JP2005024464A - ステレオカメラによる平面検出装置 - Google Patents
ステレオカメラによる平面検出装置 Download PDFInfo
- Publication number
- JP2005024464A JP2005024464A JP2003192337A JP2003192337A JP2005024464A JP 2005024464 A JP2005024464 A JP 2005024464A JP 2003192337 A JP2003192337 A JP 2003192337A JP 2003192337 A JP2003192337 A JP 2003192337A JP 2005024464 A JP2005024464 A JP 2005024464A
- Authority
- JP
- Japan
- Prior art keywords
- plane
- stereo camera
- image
- amount
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】ステレオカメラと視野内の平面との間の相対的な位置関係を、自動的且つ高精度に検出する。
【解決手段】ステレオカメラで撮像した左右の画像を水平方向に微分し（Ｓ１）、左右の微分画像をハフ平面に投影（Ｓ２）した後、左右のハフ平面データ間で照合を行ってズレ量を計算し（Ｓ３）、ズレ量と座標値とを用いて平面のパラメータを求める（Ｓ４）。これにより、ステレオカメラの視野内の地面や床面等の平面の幾何学的パラメータを自動的に求め、このパラメータにより、カメラと平面との相対的位置関係を高精度に把握することができる。
【選択図】 図３
【解決手段】ステレオカメラで撮像した左右の画像を水平方向に微分し（Ｓ１）、左右の微分画像をハフ平面に投影（Ｓ２）した後、左右のハフ平面データ間で照合を行ってズレ量を計算し（Ｓ３）、ズレ量と座標値とを用いて平面のパラメータを求める（Ｓ４）。これにより、ステレオカメラの視野内の地面や床面等の平面の幾何学的パラメータを自動的に求め、このパラメータにより、カメラと平面との相対的位置関係を高精度に把握することができる。
【選択図】 図３
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラと視野内の平面との間の相対的な位置関係を求めるステレオカメラによる平面検出装置に関する。
【０００２】
【従来の技術】
一般に、画像による三次元計測技術として、ステレオカメラで撮像した一対の画像間の対応位置を求め、この対応位置の視差とステレオカメラの取り付け間隔や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理の技術が知られている。
【０００３】
このステレオ法による画像処理の技術は、建物や敷地内への侵入物を監視する監視装置、車両の前方に存在する他の車両や歩行者を検出する車両周辺監視装置等に適用することができるが、ステレオ画像から物体の有無と物体の三次元情報を正確に得るためには、地面を這っている人間や床面の僅かな段差等、平面から僅かに高い物体（あたかも平面から僅かに浮き上がっているかのような物体）と平面そのものとを正確に識別する必要がある。
【０００４】
このような問題に対処する技術としては、例えば、特許文献１（特開平５−１６８１１号公報）に開示の技術があり、この先行技術では、ステレオカメラで撮像した左右の背景画像を補正し、補正した後の左右の画像について相関処理を施すことにより、空間内の物体の正確な検出を可能としている。
【０００５】
【特許文献１】
特開平５−１６８１１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示の技術では、左右の背景画像の補正のためには、両画像間で対応する画素の位置（踏切道と線路との交点のような両画像で共通の位置）を予め手作業で装置に入力しておくことが前提となる。
【０００７】
このため、ステレオカメラの設置時に上記対応位置の入力作業が必要になって工数がかかるばかりでなく、カメラ設置後に環境変化が生じた場合、再設定が必要となる。また、車両や移動式ロボット等の未知の画像を利用する装置では、対処困難である。
【０００８】
本発明は上記事情に鑑みてなされたもので、ステレオカメラと視野内の平面との間の相対的な位置関係を、自動的且つ高精度に検出することのできるステレオカメラによる平面検出装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明は、ステレオカメラで撮像した一対の画像のデータを用い、視野内の平面と上記ステレオカメラとの間の相対的な位置関係を検出する平面検出装置であって、上記一対の画像間の上記平面のズレ量と画像座標値との関係を、上記ステレオカメラと上記平面との間の相対的な位置関係を表す幾何学的パラメータを介した一次関係式として設定する手段と、平面上の任意の２点の各々に対し、上記一対の画像間のズレ量と、このズレ量を与える上記画像座標値とを求める手段と、上記ズレ量と上記画像座標値とを上記一次関係式に与えて上記幾何学的パラメータを求める手段とを備えたことを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図７は本発明の実施の第１形態に係わり、図１はステレオカメラ及び画像処理装置を示す構成図、図２はステレオカメラと平面との幾何学的な位置関係を示す説明図、図３は平面検出処理のフローチャート、図４は入力画像を模式的に示す説明図、図５は微分画像を模式的に示す説明図、図６は微分画像のハフ平面への投影を示す説明図、図７は左右のハフ平面のズレ量を示す説明図である。
【００１１】
図１は、一組のカメラ１ａ，１ｂからなるステレオカメラ１と、このステレオカメラ１で撮像した画像を処理する画像処理装置を示す。ステレオカメラ１を構成する２台のカメラ１ａ，１ｂは、例えば、撮像素子としてＣＣＤ（電荷結合素子）を用いたカメラであり、所定の基線長で互いの光軸（撮像面垂直軸）が同一平面上で平行となるよう配置されている。
【００１２】
本形態においては、カメラ１ａ，１ｂを左右水平に配置し、一方のカメラ１ａをステレオマッチング処理における基準画像を撮像する右カメラ、他方のカメラ１ｂをステレオマッチング処理における参照画像を撮像する左カメラ、基準画像を右画像、参照画像を左画像と表現するが、両カメラ１ａ、１ｂを上下方向や斜め方向に配置しても良い。
【００１３】
ステレオカメラ１には、各カメラ１ａ，１ｂの系統に対応して、各カメラ１ａ，１ｂからの画像信号を比例増幅するアンプ２ａ，２ｂ、アンプ２ａ，２ｂで比例増幅したアナログ画像信号を所定の輝度階調（例えば２５６階調のグレースケール）のデジタル画像信号に変換するＡ／Ｄ変換器３ａ，３ｂ、アンプ２ａ，２ｂの固有ゲインの補正等を行なう補正回路４ａ，４ｂが接続されている。補正回路４ａを経た右の元画像データ、補正回路４ｂを経た左の元画像データは、それぞれ、右画像メモリ５ａ、左画像メモリ５ｂにストアされる。
【００１４】
右画像メモリ５ａ及び左画像メモリ５ｂからなる画像メモリ５にストアされた画像データは、各種画像処理・画像認識を行うマイクロコンピュータ６にて処理される。マイクロコンピュータ６には、ファームウエアとして画像認識処理部６ａが備えられており、この画像認識処理部６ａで、左右元画像と、この左右元画像をステレオマッチングして求めた対応位置の視差による距離画像とを用い、各種の認識処理を行う。例えば、建造物への侵入物を監視する監視装置に適用する場合には、侵入物の存在と位置を認識する処理を行い、移動式ロボットに適用する場合には、自己の進行路上の障害物の有無等を認識する処理を行う。
【００１５】
また、画像認識処理部６ａでは、上述の認識処理に先立ち、ステレオカメラ１と、このステレオカメラ１の視野内に映る地面や床面等の平面との間の相対的な位置関係を自動的に計測し、カメラから見た平面の空間幾何学的パラメータを算出する（平面検出処理）。これにより、地面を這っている人間や床面の僅かな段差等、平面から僅かに高い物体（あたかも平面から僅かに浮き上がっているかのような物体）と平面そのものとを正確に識別することができる。
【００１６】
この平面検出処理は、ステレオカメラ１の基線を平面に対してほぼ平行（ロール角≒０）に配置し、ロール方向の傾斜が無視できるものとしたとき、ステレオカメラ１で撮像した左右画像における平面の対応点のズレ量が、画像上の上下方向（視差方向に直交する方向）の座標値に対して一次直線の関係にあることに着目してなされるものであり、この一次関係式からステレオカメラ１と平面との間の幾何学的パラメータを高精度に検出することができる。
【００１７】
すなわち、画像上の上下方向の座標をカメラの撮像面上の上下方向の座標として、カメラと平面との間の位置関係及びステレオ視の幾何学的関係から、ズレ量と撮像面上の上下方向の座標との関係式を導くと、この関係式は、カメラと平面との間の幾何学的パラメータを定数項とする一次式となる。従って、この関係式に、平面上の任意の２点（但し、視差方向に並んだ２点を除く）の各々のズレ量と上下方向の座標値とを与えることにより、平面の幾何学的パラメータを求めることができる。本形態においては、平面の幾何学的パラメータとして、カメラ光軸と平面との成す角、及びカメラから平面に降ろした垂線の長さを求める。
【００１８】
詳細には、図２に示すように、平面Ｓを見下ろす位置にステレオカメラ１を設置したとき、以下に示すパラメータを用い、平面の対応点のズレ量を撮像面上の上下方向の座標の関数として求める。但し、前述したように、カメラ光軸及び平面Ｓの法線はピッチ方向にのみ傾いており、ロール方向の傾斜は無視できるものとする。
Ｈ：カメラから平面に降ろした垂線の長さ
α：カメラ光軸と平面との成す角（ピッチ角）
ｒ：カメラから平面Ｓ上の或る点Ｐまでの距離
ｚ：距離ｒをカメラ光軸に投影したときの長さ
θ：カメラ光軸と、カメラ〜Ｐ点を結んだ直線との成す角
ｂ：ステレオカメラ１の基線長（図示せず）
ｆ：カメラの焦点距離（図示せず）
ｙ：点Ｐの撮像素子面への投影位置の上下座標（但し、中心をゼロ、上方向を＋、下方向を−とする）
【００１９】
図２において、点Ｐまでの距離ｒは、カメラ〜点Ｐ〜カメラから平面に降ろした垂線の足がなす三角形から、以下の（１）式で表す関係にある。
ｒ＝Ｈ／ｓｉｎ（θ＋α） …（１）
【００２０】
また、点Ｐまでの距離ｒをカメラ光軸に投影したときの長さｚは、ｚとｒとの幾何学的関係、及び（１）式から、以下の（２）式で表すことができる。
【００２１】
ここで、左右画像における平面上の点Ｐの視差をｄとすると、この視差ｄは、ステレオ視における幾何学的関係から、ステレオカメラ１の基線長ｂと焦点距離ｆとの間で以下の（３）式に示す周知の関係にある。
ｚ＝ｂ・ｆ／ｄ …（３）
【００２２】
従って、上述の（２）式と（３）式とからｚを消去し、ｄについて解くと、以下の（４）式が得られる。
ｄ＝ｂ・ｆ・（ｔａｎθ・ｃｏｓα＋ｓｉｎα）／Ｈ …（４）
【００２３】
また、撮像素子面への投影における幾何学的関係から、以下の（５）式が得られる。この（５）式を用いて上述の（４）式からθを消去し、ｙについて整理すると、以下の（６）式が得られる。
ｔａｎθ＝ｙ／ｆ … （５）
ｄ＝（ｂ・ｃｏｓα／Ｈ）・ｙ＋ｂ・ｆ・ｓｉｎα／Ｈ …（６）
【００２４】
以上の（６）式におけるｂ，ｆ，Ｈ，αは、ステレオカメラ１を平面Ｓ上方の固定位置に配置したとき、本来、全て定数であり、結局のところ、平面への視差（ズレ量）ｄは、撮像面上のｙ座標の一次関数であることがわかる。従って、平面上の２点の各々の視差とｙ座標値とを求めて（６）式に与えることで、検出対象とするピッチ角αと垂線の長さＨとを求めることができる。
【００２５】
すなわち、（６）式に、平面の２点の各々の視差ｄ１，ｄ２とｙ座標値ｙ１，ｙ２とを与えて、ピッチ角αについて解くと、以下の（７）式が得られ、ピッチ角αを求めることができる。
【００２６】
また、（６）式を垂線の長さＨについて解くと、ピッチ角αを用いた以下の（８）式が得られ、（７）式によって求めたピッチ角αを用いることにより、垂線の長さＨを求めることができる。
Ｈ＝ｂ・（ｙ１・ｃｏｓα＋ｆ・ｓｉｎα）／ｄ１ …（８）
【００２７】
以上の（７），（８）式を用いた平面の検出処理は、具体的には、図３のフローチャートに示す平面検出処理のプログラムに従って実行される。以下、この平面検出処理のプログラムについて説明する。
【００２８】
図３に示す処理は、上述の（６）式に与える平面上の２点のそれぞれのズレ量を求めるに際し、平面の画像上の特徴を考慮し、領域ベースの探索ウィンドウによるマッチングではなく、ハフ（Ｈｏｕｇｈ）変換により平面上の線分要素を検出する、いわば線分ベースのマッチングを適用するものである。
【００２９】
このため、先ず、ステップＳ１で、ステレオカメラ１で撮像した左右の画像を水平方向に微分し、更に、閾値との比較による２値化を行い、それぞれ、左微分画像、右微分画像を得る。例えば、図４に示すように地面上の道路を撮影した左右の入力画像に対して微分処理及び２値化を行い、図５に示すように、道路境界のエッジを検出した微分画像を得る。
【００３０】
この微分画像の生成には、各種の周知の手法、例えば、Ｓｏｂｅｌ，Ｒｏｂｉｎｓｏｎ，Ｐｒｅｗｉｔｔ演算子等の一次微分によるエッジ検出や、Ｌａｐｌａｃｉａｎ演算子等の２次微分によるエッジ検出の手法を適用することができるが、何れの手法を用いても良く、要は水平方向の輝度変動点を取り出せれば良い。
【００３１】
続くステップＳ２では、左右の微分画像を、それぞれハフ変換し、ハフ平面（投票平面）に投影する。図６は、図５に示す左右の微分画像の直線が投票値のピークに変換されてハフ平面に投影される様子を模式的に示すものであり、直線を一意に決定するための２つのパラメータとして画面の上下両端における切片Ｘｔ，Ｘｂを用い、縦軸がＸｔ、横軸がＸｂのパラメータ空間を設定して投票を行う。このハフ平面への投票は、微分画像の全ての画素を用いても良く、また、微分画像の全面積の一部（例えば、１／１０）の画素だけをランダムサンプリングして用いても良い。
【００３２】
尚、画像によっては、ハフ変換前の画像微分、２値化は、省略することが可能である。すなわち、入力画像の微分のみで２値化を省略してハフ変換を行うことも可能であり、また、入力画像の微分及び２値化の操作無しで、直接ハフ変換を行うことも可能である。更に、ハフ変換の直線のパラメータは、上述の画面の上下端における切片に限らず、直線の傾き及び画像の上下方向における中点のＸ座標等を採用することも可能である。
【００３３】
次に、ステップＳ３へ進み、左右のハフ平面データ間で照合を行うことで、左右のハフ平面のＸｔ，Ｘｂ軸の各方向におけるズレ量ｄｔ，ｄｂを求める。具体的には、両ハフ平面でＸｔ，Ｘｂ軸に沿った値を１区分ずつ変更しながら、両ハフ平面の投票値の差の絶対値和を計算してゆき、絶対値和が最も小さくなったときの値を、ズレ量ｄｔ，ｄｂとして出力する。この絶対値和が最も小さくなったときのズレ量ｄｔ，ｄｂは、図７に示すように、両ハフ平面のデータが一致して重なり合うときのズレ量であり、微分画像（入力画像）の画面上下端の切片Ｘｔ，Ｘｂにおける平面（地面）までの視差に等しい。
【００３４】
尚、実際には、ｄｔ，ｄｂの値次第で両ハフ平面が重なり合う面積は変化する（ｄｔ，ｄｂがゼロのときが最大）ので、絶対値和の比較の際に面積の比に応じた正規化を行うことが望ましい。
【００３５】
その後、ステップＳ４へ進み、ステップＳ３で求めたズレ量ｄｔ，ｄｂ、及び、切片Ｘｔ，Ｘｂでのｙ座標値ｙｔ，ｙｂを用い、以下の（７’），（８’）式により、カメラ光軸と平面との成す角（ピッチ角）α及びカメラから平面に降ろした垂線の長さＨを平面のパラメータとして求め、処理を終了する。
【００３６】
すなわち、ステップＳ３で求めたズレ量ｄｔ，ｄｂ、及び、切片Ｘｔ，Ｘｂでのｙ座標値ｙｔ，ｙｂは、先に説明した（７）式における平面上の２点の各々の視差ｄ１，ｄ２及びｙ座標値ｙ１，ｙ２であることから、先の（７）式は、以下に示す（７’）式で表される。このとき、カメラの焦点距離ｆは既知であり、また、ｙ座標値ｙｔ，ｙｂは、それぞれ画面の上下端に相当する撮像素子面上の上下方向の座標値であり、カメラの設計値より既知であることから、（７’）式によってピッチ角αを求めることができる。
【００３７】
同様に、先の（８）式は、ｄ１＝ｄｔ，ｙ１＝ｙｔであることから、以下の（８’）式で表され、ステレオカメラ１の基線長ｂ、焦点距離ｆ、ｙ座標値ｙｔは既知であることから、（７’）式によって求めたピッチ角αを用いることにより、垂線の長さＨを求めることができる。
Ｈ＝ｂ・（ｙｔ・ｃｏｓα＋ｆ・ｓｉｎα）／ｄｔ …（８’）
【００３８】
以上の処理により、ステレオカメラ１の視野内の地面や床面等の平面の幾何学的パラメータを自動的に求め、このパラメータにより、カメラと平面との相対的位置関係を高精度に把握することができる。これにより、例えば、侵入物監視装置に適用した場合には、地面や床面そのものと、地面や床面上の物体を正確に識別することが可能となり、監視精度の向上に寄与することができる。
【００３９】
また、平面を検出する際に、人間のオペレータが地面上の目標物を設定する必要がないため、未知の画像を利用する装置、例えば、移動式ロボット等に適用することができ、前方の未知の小さな物体も確実に検知して円滑な移動を可能することができる。
【００４０】
更には、ステレオカメラ１を地面に対して予め設定した位置関係で固定した場合に、取付け位置の誤差に対する自動的な修正が可能となり、カメラ設置時に厳密な位置調整を不要として工数を低減することができる。しかも、道路工事等で地面の様相が変化しても、再設定が不要であるという利点がある。
【００４１】
次に、本発明の実施の第２形態について説明する。図８〜図１１は本発明の実施の第２形態に係わり、図８は平面検出処理のフローチャート、図９は左画像と変形前の右画像とを模式的に示す説明図、図１０は変形右画像を模式的に示す説明図、図１１は左画像と変形右画像の重ね合わせを示す説明図である。
【００４２】
第２形態は、第１形態でのハフ変換に代えて、平面の対応点のズレ量が画像上の上下方向の座標値に対して一次関係にあることを利用した画像の変形操作を行うことにより、上述の（６）式に与える平面上の２点の各々のズレ量を求めるものである。
【００４３】
このため、図８のフローチャートに示される第２形態の平面検出処理では、先ず、ステップＳ２１で、右画像の下辺を変形量Δｘだけ右にずらす形で平行四辺形に変形させた画像を生成する。この変形させた右画像を、以下、変形右画像と呼ぶ。図９は、第１形態の図４と同様の左右の入力画像であり、右の入力画像を変形して図１０に示すような変形右画像を生成する。このとき、画像の高さ、及び上下辺の長さは不変であり、また、変形量Δｘは、０〜所定の上限値（例えば、４０画素）までの或る特定の値である。この画像変形は、各種の既知の画像処理技術を用いて行うことができる。
【００４４】
次に、ステップＳ２２へ進み、変形右画像を水平移動量Δｄだけ右に平行移動させ、左画像との一致度を計算する。このとき、水平移動量Δｄは、０〜所定の上限値（例えば、２０画素）までの或る特定の値である。また、一致度とは、変形右画像の各画素の輝度と、左画像上で異なる画素の輝度との差の絶対値を、変形右画像の全領域について合計したものとする。但し、この合計値が小さい程、一致度が高いものとする。
【００４５】
その後、ステップＳ２３へ進み、ステップＳ２３，Ｓ２２のループで変形量Δｘを０から上限値まで順次変化させて一致度を計算する処理を、ステップＳ２４〜Ｓ２１，Ｓ２２，Ｓ２３の二重ループにより水平移動量Δｄを上限値まで順次変化させながら実行する。すなわち、図１１に示すように、変形右画像を移動させて左画像と重ね合わせたとき、図中の破線で示す左画像の線分と実線で示す変形右画像の線分とが一致するよう、変形量Δｘ、水平移動量Δｄを順次変化させる。
【００４６】
そして、変形量Δｘ、水平移動量Δｄの全ての組合せについて一致度の計算が終了したとき、ステップＳ２４からステップＳ２５へ進み、一致度が最大すなわち輝度差の絶対値の合計が最小となったときの水平移動量Δｄと変形量Δｘとを求め、これらに基づいて左右画像のズレ量を平面のパラメータ（ピッチ角α及び垂線の長さＨ）に換算する。
【００４７】
すなわち、前述したように、変形右画像の水平移動量Δｄは画面上辺の右方向へのズレ量（図１１参照）であり、変形量Δｘは画面下辺の右方向へのズレ量（図１０参照）であるため、左右画像の一致度が最大となったときの水平移動量Δｄは、第１形態で説明したｙ座標値ｙｔでのズレ量ｄｔと等価である。また、このときの水平移動量Δｄ（＝ｄｔ）に変形量Δｘを加算した値が、第１形態で説明したｙ座標値ｙｂでのズレ量ｄｂとなる。従って、左右画像の一致度が最大となったときのズレ量＝ｄｔ、以下の（９）式で求めたズレ量ｄｂ、及び、それぞれに対応するｙ座標値ｙｔ，ｙｂを、第１形態で説明した（７’），（８’）式に与えることにより、ピッチ角α及び垂線の長さＨを求めることができる。
ｄｂ＝Δｘ＋ｄｔ … （９）
【００４８】
第２形態によっても、前述の第１形態と同様、ステレオカメラ１の視野内の地面や床面等の平面の幾何学的パラメータを自動的に求め、このパラメータにより、カメラと平面との相対的位置関係を高精度に把握することができる。従って、第１形態で述べたように、各種の装置に適用した場合、地面や床面等の平面そのものと、平面上の物体を正確に識別することが可能となり、また、地面や床面等の状態に左右されることがない。
【００４９】
尚、以上の各形態では、ハフ変換や画像変形によって左右画像のズレ量を求める例について説明したが、本発明は、これに限定されるものではなく、平面上に明確な目標点が或る場合、例えば、床面上に移動ロボットの走行経路を示す明確なマーカーがある場合等には、領域ベースの探索ウィンドウによるマッチングを行って左右画像間のズレ量を求め、このズレ量に基づいてステレオカメラと平面との間の空間幾何学的パラメータを求めるようにしても良い。
【００５０】
【発明の効果】
以上説明したように本発明によれば、ステレオカメラと視野内の平面との間の相対的な位置関係を自動的且つ正確に検出することができる。
【図面の簡単な説明】
【図１】本発明の実施の第１形態に係わり、ステレオカメラ及び画像処理装置を示す構成図
【図２】同上、ステレオカメラと平面との幾何学的な位置関係を示す説明図
【図３】同上、平面検出処理のフローチャート
【図４】同上、入力画像を模式的に示す説明図
【図５】同上、微分画像を模式的に示す説明図
【図６】同上、微分画像のハフ平面への投影を示す説明図
【図７】同上、左右のハフ平面のズレ量を示す説明図
【図８】本発明の実施の第２形態に係わり、平面検出処理のフローチャート
【図９】同上、左画像と変形前の右画像とを模式的に示す説明図
【図１０】同上、変形右画像を模式的に示す説明図
【図１１】同上、左画像と変形右画像の重ね合わせを示す説明図
【符号の説明】
１ ステレオカメラ
６ マイクロコンピュータ
６ａ 画像認識処理部
Ｓ 平面
Ｘｔ，Ｘｂ 切片
ｄｔ，ｄｂ ズレ量
ｙｔ，ｙｂ 座標値
Δｄ 水平移動量
Δｘ 変形量
α カメラ光軸と平面との成す角
Ｈ カメラから平面に降ろした垂線の長さ
【発明の属する技術分野】
本発明は、カメラと視野内の平面との間の相対的な位置関係を求めるステレオカメラによる平面検出装置に関する。
【０００２】
【従来の技術】
一般に、画像による三次元計測技術として、ステレオカメラで撮像した一対の画像間の対応位置を求め、この対応位置の視差とステレオカメラの取り付け間隔や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理の技術が知られている。
【０００３】
このステレオ法による画像処理の技術は、建物や敷地内への侵入物を監視する監視装置、車両の前方に存在する他の車両や歩行者を検出する車両周辺監視装置等に適用することができるが、ステレオ画像から物体の有無と物体の三次元情報を正確に得るためには、地面を這っている人間や床面の僅かな段差等、平面から僅かに高い物体（あたかも平面から僅かに浮き上がっているかのような物体）と平面そのものとを正確に識別する必要がある。
【０００４】
このような問題に対処する技術としては、例えば、特許文献１（特開平５−１６８１１号公報）に開示の技術があり、この先行技術では、ステレオカメラで撮像した左右の背景画像を補正し、補正した後の左右の画像について相関処理を施すことにより、空間内の物体の正確な検出を可能としている。
【０００５】
【特許文献１】
特開平５−１６８１１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示の技術では、左右の背景画像の補正のためには、両画像間で対応する画素の位置（踏切道と線路との交点のような両画像で共通の位置）を予め手作業で装置に入力しておくことが前提となる。
【０００７】
このため、ステレオカメラの設置時に上記対応位置の入力作業が必要になって工数がかかるばかりでなく、カメラ設置後に環境変化が生じた場合、再設定が必要となる。また、車両や移動式ロボット等の未知の画像を利用する装置では、対処困難である。
【０００８】
本発明は上記事情に鑑みてなされたもので、ステレオカメラと視野内の平面との間の相対的な位置関係を、自動的且つ高精度に検出することのできるステレオカメラによる平面検出装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明は、ステレオカメラで撮像した一対の画像のデータを用い、視野内の平面と上記ステレオカメラとの間の相対的な位置関係を検出する平面検出装置であって、上記一対の画像間の上記平面のズレ量と画像座標値との関係を、上記ステレオカメラと上記平面との間の相対的な位置関係を表す幾何学的パラメータを介した一次関係式として設定する手段と、平面上の任意の２点の各々に対し、上記一対の画像間のズレ量と、このズレ量を与える上記画像座標値とを求める手段と、上記ズレ量と上記画像座標値とを上記一次関係式に与えて上記幾何学的パラメータを求める手段とを備えたことを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図７は本発明の実施の第１形態に係わり、図１はステレオカメラ及び画像処理装置を示す構成図、図２はステレオカメラと平面との幾何学的な位置関係を示す説明図、図３は平面検出処理のフローチャート、図４は入力画像を模式的に示す説明図、図５は微分画像を模式的に示す説明図、図６は微分画像のハフ平面への投影を示す説明図、図７は左右のハフ平面のズレ量を示す説明図である。
【００１１】
図１は、一組のカメラ１ａ，１ｂからなるステレオカメラ１と、このステレオカメラ１で撮像した画像を処理する画像処理装置を示す。ステレオカメラ１を構成する２台のカメラ１ａ，１ｂは、例えば、撮像素子としてＣＣＤ（電荷結合素子）を用いたカメラであり、所定の基線長で互いの光軸（撮像面垂直軸）が同一平面上で平行となるよう配置されている。
【００１２】
本形態においては、カメラ１ａ，１ｂを左右水平に配置し、一方のカメラ１ａをステレオマッチング処理における基準画像を撮像する右カメラ、他方のカメラ１ｂをステレオマッチング処理における参照画像を撮像する左カメラ、基準画像を右画像、参照画像を左画像と表現するが、両カメラ１ａ、１ｂを上下方向や斜め方向に配置しても良い。
【００１３】
ステレオカメラ１には、各カメラ１ａ，１ｂの系統に対応して、各カメラ１ａ，１ｂからの画像信号を比例増幅するアンプ２ａ，２ｂ、アンプ２ａ，２ｂで比例増幅したアナログ画像信号を所定の輝度階調（例えば２５６階調のグレースケール）のデジタル画像信号に変換するＡ／Ｄ変換器３ａ，３ｂ、アンプ２ａ，２ｂの固有ゲインの補正等を行なう補正回路４ａ，４ｂが接続されている。補正回路４ａを経た右の元画像データ、補正回路４ｂを経た左の元画像データは、それぞれ、右画像メモリ５ａ、左画像メモリ５ｂにストアされる。
【００１４】
右画像メモリ５ａ及び左画像メモリ５ｂからなる画像メモリ５にストアされた画像データは、各種画像処理・画像認識を行うマイクロコンピュータ６にて処理される。マイクロコンピュータ６には、ファームウエアとして画像認識処理部６ａが備えられており、この画像認識処理部６ａで、左右元画像と、この左右元画像をステレオマッチングして求めた対応位置の視差による距離画像とを用い、各種の認識処理を行う。例えば、建造物への侵入物を監視する監視装置に適用する場合には、侵入物の存在と位置を認識する処理を行い、移動式ロボットに適用する場合には、自己の進行路上の障害物の有無等を認識する処理を行う。
【００１５】
また、画像認識処理部６ａでは、上述の認識処理に先立ち、ステレオカメラ１と、このステレオカメラ１の視野内に映る地面や床面等の平面との間の相対的な位置関係を自動的に計測し、カメラから見た平面の空間幾何学的パラメータを算出する（平面検出処理）。これにより、地面を這っている人間や床面の僅かな段差等、平面から僅かに高い物体（あたかも平面から僅かに浮き上がっているかのような物体）と平面そのものとを正確に識別することができる。
【００１６】
この平面検出処理は、ステレオカメラ１の基線を平面に対してほぼ平行（ロール角≒０）に配置し、ロール方向の傾斜が無視できるものとしたとき、ステレオカメラ１で撮像した左右画像における平面の対応点のズレ量が、画像上の上下方向（視差方向に直交する方向）の座標値に対して一次直線の関係にあることに着目してなされるものであり、この一次関係式からステレオカメラ１と平面との間の幾何学的パラメータを高精度に検出することができる。
【００１７】
すなわち、画像上の上下方向の座標をカメラの撮像面上の上下方向の座標として、カメラと平面との間の位置関係及びステレオ視の幾何学的関係から、ズレ量と撮像面上の上下方向の座標との関係式を導くと、この関係式は、カメラと平面との間の幾何学的パラメータを定数項とする一次式となる。従って、この関係式に、平面上の任意の２点（但し、視差方向に並んだ２点を除く）の各々のズレ量と上下方向の座標値とを与えることにより、平面の幾何学的パラメータを求めることができる。本形態においては、平面の幾何学的パラメータとして、カメラ光軸と平面との成す角、及びカメラから平面に降ろした垂線の長さを求める。
【００１８】
詳細には、図２に示すように、平面Ｓを見下ろす位置にステレオカメラ１を設置したとき、以下に示すパラメータを用い、平面の対応点のズレ量を撮像面上の上下方向の座標の関数として求める。但し、前述したように、カメラ光軸及び平面Ｓの法線はピッチ方向にのみ傾いており、ロール方向の傾斜は無視できるものとする。
Ｈ：カメラから平面に降ろした垂線の長さ
α：カメラ光軸と平面との成す角（ピッチ角）
ｒ：カメラから平面Ｓ上の或る点Ｐまでの距離
ｚ：距離ｒをカメラ光軸に投影したときの長さ
θ：カメラ光軸と、カメラ〜Ｐ点を結んだ直線との成す角
ｂ：ステレオカメラ１の基線長（図示せず）
ｆ：カメラの焦点距離（図示せず）
ｙ：点Ｐの撮像素子面への投影位置の上下座標（但し、中心をゼロ、上方向を＋、下方向を−とする）
【００１９】
図２において、点Ｐまでの距離ｒは、カメラ〜点Ｐ〜カメラから平面に降ろした垂線の足がなす三角形から、以下の（１）式で表す関係にある。
ｒ＝Ｈ／ｓｉｎ（θ＋α） …（１）
【００２０】
また、点Ｐまでの距離ｒをカメラ光軸に投影したときの長さｚは、ｚとｒとの幾何学的関係、及び（１）式から、以下の（２）式で表すことができる。
ここで、左右画像における平面上の点Ｐの視差をｄとすると、この視差ｄは、ステレオ視における幾何学的関係から、ステレオカメラ１の基線長ｂと焦点距離ｆとの間で以下の（３）式に示す周知の関係にある。
ｚ＝ｂ・ｆ／ｄ …（３）
【００２２】
従って、上述の（２）式と（３）式とからｚを消去し、ｄについて解くと、以下の（４）式が得られる。
ｄ＝ｂ・ｆ・（ｔａｎθ・ｃｏｓα＋ｓｉｎα）／Ｈ …（４）
【００２３】
また、撮像素子面への投影における幾何学的関係から、以下の（５）式が得られる。この（５）式を用いて上述の（４）式からθを消去し、ｙについて整理すると、以下の（６）式が得られる。
ｔａｎθ＝ｙ／ｆ … （５）
ｄ＝（ｂ・ｃｏｓα／Ｈ）・ｙ＋ｂ・ｆ・ｓｉｎα／Ｈ …（６）
【００２４】
以上の（６）式におけるｂ，ｆ，Ｈ，αは、ステレオカメラ１を平面Ｓ上方の固定位置に配置したとき、本来、全て定数であり、結局のところ、平面への視差（ズレ量）ｄは、撮像面上のｙ座標の一次関数であることがわかる。従って、平面上の２点の各々の視差とｙ座標値とを求めて（６）式に与えることで、検出対象とするピッチ角αと垂線の長さＨとを求めることができる。
【００２５】
すなわち、（６）式に、平面の２点の各々の視差ｄ１，ｄ２とｙ座標値ｙ１，ｙ２とを与えて、ピッチ角αについて解くと、以下の（７）式が得られ、ピッチ角αを求めることができる。
また、（６）式を垂線の長さＨについて解くと、ピッチ角αを用いた以下の（８）式が得られ、（７）式によって求めたピッチ角αを用いることにより、垂線の長さＨを求めることができる。
Ｈ＝ｂ・（ｙ１・ｃｏｓα＋ｆ・ｓｉｎα）／ｄ１ …（８）
【００２７】
以上の（７），（８）式を用いた平面の検出処理は、具体的には、図３のフローチャートに示す平面検出処理のプログラムに従って実行される。以下、この平面検出処理のプログラムについて説明する。
【００２８】
図３に示す処理は、上述の（６）式に与える平面上の２点のそれぞれのズレ量を求めるに際し、平面の画像上の特徴を考慮し、領域ベースの探索ウィンドウによるマッチングではなく、ハフ（Ｈｏｕｇｈ）変換により平面上の線分要素を検出する、いわば線分ベースのマッチングを適用するものである。
【００２９】
このため、先ず、ステップＳ１で、ステレオカメラ１で撮像した左右の画像を水平方向に微分し、更に、閾値との比較による２値化を行い、それぞれ、左微分画像、右微分画像を得る。例えば、図４に示すように地面上の道路を撮影した左右の入力画像に対して微分処理及び２値化を行い、図５に示すように、道路境界のエッジを検出した微分画像を得る。
【００３０】
この微分画像の生成には、各種の周知の手法、例えば、Ｓｏｂｅｌ，Ｒｏｂｉｎｓｏｎ，Ｐｒｅｗｉｔｔ演算子等の一次微分によるエッジ検出や、Ｌａｐｌａｃｉａｎ演算子等の２次微分によるエッジ検出の手法を適用することができるが、何れの手法を用いても良く、要は水平方向の輝度変動点を取り出せれば良い。
【００３１】
続くステップＳ２では、左右の微分画像を、それぞれハフ変換し、ハフ平面（投票平面）に投影する。図６は、図５に示す左右の微分画像の直線が投票値のピークに変換されてハフ平面に投影される様子を模式的に示すものであり、直線を一意に決定するための２つのパラメータとして画面の上下両端における切片Ｘｔ，Ｘｂを用い、縦軸がＸｔ、横軸がＸｂのパラメータ空間を設定して投票を行う。このハフ平面への投票は、微分画像の全ての画素を用いても良く、また、微分画像の全面積の一部（例えば、１／１０）の画素だけをランダムサンプリングして用いても良い。
【００３２】
尚、画像によっては、ハフ変換前の画像微分、２値化は、省略することが可能である。すなわち、入力画像の微分のみで２値化を省略してハフ変換を行うことも可能であり、また、入力画像の微分及び２値化の操作無しで、直接ハフ変換を行うことも可能である。更に、ハフ変換の直線のパラメータは、上述の画面の上下端における切片に限らず、直線の傾き及び画像の上下方向における中点のＸ座標等を採用することも可能である。
【００３３】
次に、ステップＳ３へ進み、左右のハフ平面データ間で照合を行うことで、左右のハフ平面のＸｔ，Ｘｂ軸の各方向におけるズレ量ｄｔ，ｄｂを求める。具体的には、両ハフ平面でＸｔ，Ｘｂ軸に沿った値を１区分ずつ変更しながら、両ハフ平面の投票値の差の絶対値和を計算してゆき、絶対値和が最も小さくなったときの値を、ズレ量ｄｔ，ｄｂとして出力する。この絶対値和が最も小さくなったときのズレ量ｄｔ，ｄｂは、図７に示すように、両ハフ平面のデータが一致して重なり合うときのズレ量であり、微分画像（入力画像）の画面上下端の切片Ｘｔ，Ｘｂにおける平面（地面）までの視差に等しい。
【００３４】
尚、実際には、ｄｔ，ｄｂの値次第で両ハフ平面が重なり合う面積は変化する（ｄｔ，ｄｂがゼロのときが最大）ので、絶対値和の比較の際に面積の比に応じた正規化を行うことが望ましい。
【００３５】
その後、ステップＳ４へ進み、ステップＳ３で求めたズレ量ｄｔ，ｄｂ、及び、切片Ｘｔ，Ｘｂでのｙ座標値ｙｔ，ｙｂを用い、以下の（７’），（８’）式により、カメラ光軸と平面との成す角（ピッチ角）α及びカメラから平面に降ろした垂線の長さＨを平面のパラメータとして求め、処理を終了する。
【００３６】
すなわち、ステップＳ３で求めたズレ量ｄｔ，ｄｂ、及び、切片Ｘｔ，Ｘｂでのｙ座標値ｙｔ，ｙｂは、先に説明した（７）式における平面上の２点の各々の視差ｄ１，ｄ２及びｙ座標値ｙ１，ｙ２であることから、先の（７）式は、以下に示す（７’）式で表される。このとき、カメラの焦点距離ｆは既知であり、また、ｙ座標値ｙｔ，ｙｂは、それぞれ画面の上下端に相当する撮像素子面上の上下方向の座標値であり、カメラの設計値より既知であることから、（７’）式によってピッチ角αを求めることができる。
同様に、先の（８）式は、ｄ１＝ｄｔ，ｙ１＝ｙｔであることから、以下の（８’）式で表され、ステレオカメラ１の基線長ｂ、焦点距離ｆ、ｙ座標値ｙｔは既知であることから、（７’）式によって求めたピッチ角αを用いることにより、垂線の長さＨを求めることができる。
Ｈ＝ｂ・（ｙｔ・ｃｏｓα＋ｆ・ｓｉｎα）／ｄｔ …（８’）
【００３８】
以上の処理により、ステレオカメラ１の視野内の地面や床面等の平面の幾何学的パラメータを自動的に求め、このパラメータにより、カメラと平面との相対的位置関係を高精度に把握することができる。これにより、例えば、侵入物監視装置に適用した場合には、地面や床面そのものと、地面や床面上の物体を正確に識別することが可能となり、監視精度の向上に寄与することができる。
【００３９】
また、平面を検出する際に、人間のオペレータが地面上の目標物を設定する必要がないため、未知の画像を利用する装置、例えば、移動式ロボット等に適用することができ、前方の未知の小さな物体も確実に検知して円滑な移動を可能することができる。
【００４０】
更には、ステレオカメラ１を地面に対して予め設定した位置関係で固定した場合に、取付け位置の誤差に対する自動的な修正が可能となり、カメラ設置時に厳密な位置調整を不要として工数を低減することができる。しかも、道路工事等で地面の様相が変化しても、再設定が不要であるという利点がある。
【００４１】
次に、本発明の実施の第２形態について説明する。図８〜図１１は本発明の実施の第２形態に係わり、図８は平面検出処理のフローチャート、図９は左画像と変形前の右画像とを模式的に示す説明図、図１０は変形右画像を模式的に示す説明図、図１１は左画像と変形右画像の重ね合わせを示す説明図である。
【００４２】
第２形態は、第１形態でのハフ変換に代えて、平面の対応点のズレ量が画像上の上下方向の座標値に対して一次関係にあることを利用した画像の変形操作を行うことにより、上述の（６）式に与える平面上の２点の各々のズレ量を求めるものである。
【００４３】
このため、図８のフローチャートに示される第２形態の平面検出処理では、先ず、ステップＳ２１で、右画像の下辺を変形量Δｘだけ右にずらす形で平行四辺形に変形させた画像を生成する。この変形させた右画像を、以下、変形右画像と呼ぶ。図９は、第１形態の図４と同様の左右の入力画像であり、右の入力画像を変形して図１０に示すような変形右画像を生成する。このとき、画像の高さ、及び上下辺の長さは不変であり、また、変形量Δｘは、０〜所定の上限値（例えば、４０画素）までの或る特定の値である。この画像変形は、各種の既知の画像処理技術を用いて行うことができる。
【００４４】
次に、ステップＳ２２へ進み、変形右画像を水平移動量Δｄだけ右に平行移動させ、左画像との一致度を計算する。このとき、水平移動量Δｄは、０〜所定の上限値（例えば、２０画素）までの或る特定の値である。また、一致度とは、変形右画像の各画素の輝度と、左画像上で異なる画素の輝度との差の絶対値を、変形右画像の全領域について合計したものとする。但し、この合計値が小さい程、一致度が高いものとする。
【００４５】
その後、ステップＳ２３へ進み、ステップＳ２３，Ｓ２２のループで変形量Δｘを０から上限値まで順次変化させて一致度を計算する処理を、ステップＳ２４〜Ｓ２１，Ｓ２２，Ｓ２３の二重ループにより水平移動量Δｄを上限値まで順次変化させながら実行する。すなわち、図１１に示すように、変形右画像を移動させて左画像と重ね合わせたとき、図中の破線で示す左画像の線分と実線で示す変形右画像の線分とが一致するよう、変形量Δｘ、水平移動量Δｄを順次変化させる。
【００４６】
そして、変形量Δｘ、水平移動量Δｄの全ての組合せについて一致度の計算が終了したとき、ステップＳ２４からステップＳ２５へ進み、一致度が最大すなわち輝度差の絶対値の合計が最小となったときの水平移動量Δｄと変形量Δｘとを求め、これらに基づいて左右画像のズレ量を平面のパラメータ（ピッチ角α及び垂線の長さＨ）に換算する。
【００４７】
すなわち、前述したように、変形右画像の水平移動量Δｄは画面上辺の右方向へのズレ量（図１１参照）であり、変形量Δｘは画面下辺の右方向へのズレ量（図１０参照）であるため、左右画像の一致度が最大となったときの水平移動量Δｄは、第１形態で説明したｙ座標値ｙｔでのズレ量ｄｔと等価である。また、このときの水平移動量Δｄ（＝ｄｔ）に変形量Δｘを加算した値が、第１形態で説明したｙ座標値ｙｂでのズレ量ｄｂとなる。従って、左右画像の一致度が最大となったときのズレ量＝ｄｔ、以下の（９）式で求めたズレ量ｄｂ、及び、それぞれに対応するｙ座標値ｙｔ，ｙｂを、第１形態で説明した（７’），（８’）式に与えることにより、ピッチ角α及び垂線の長さＨを求めることができる。
ｄｂ＝Δｘ＋ｄｔ … （９）
【００４８】
第２形態によっても、前述の第１形態と同様、ステレオカメラ１の視野内の地面や床面等の平面の幾何学的パラメータを自動的に求め、このパラメータにより、カメラと平面との相対的位置関係を高精度に把握することができる。従って、第１形態で述べたように、各種の装置に適用した場合、地面や床面等の平面そのものと、平面上の物体を正確に識別することが可能となり、また、地面や床面等の状態に左右されることがない。
【００４９】
尚、以上の各形態では、ハフ変換や画像変形によって左右画像のズレ量を求める例について説明したが、本発明は、これに限定されるものではなく、平面上に明確な目標点が或る場合、例えば、床面上に移動ロボットの走行経路を示す明確なマーカーがある場合等には、領域ベースの探索ウィンドウによるマッチングを行って左右画像間のズレ量を求め、このズレ量に基づいてステレオカメラと平面との間の空間幾何学的パラメータを求めるようにしても良い。
【００５０】
【発明の効果】
以上説明したように本発明によれば、ステレオカメラと視野内の平面との間の相対的な位置関係を自動的且つ正確に検出することができる。
【図面の簡単な説明】
【図１】本発明の実施の第１形態に係わり、ステレオカメラ及び画像処理装置を示す構成図
【図２】同上、ステレオカメラと平面との幾何学的な位置関係を示す説明図
【図３】同上、平面検出処理のフローチャート
【図４】同上、入力画像を模式的に示す説明図
【図５】同上、微分画像を模式的に示す説明図
【図６】同上、微分画像のハフ平面への投影を示す説明図
【図７】同上、左右のハフ平面のズレ量を示す説明図
【図８】本発明の実施の第２形態に係わり、平面検出処理のフローチャート
【図９】同上、左画像と変形前の右画像とを模式的に示す説明図
【図１０】同上、変形右画像を模式的に示す説明図
【図１１】同上、左画像と変形右画像の重ね合わせを示す説明図
【符号の説明】
１ ステレオカメラ
６ マイクロコンピュータ
６ａ 画像認識処理部
Ｓ 平面
Ｘｔ，Ｘｂ 切片
ｄｔ，ｄｂ ズレ量
ｙｔ，ｙｂ 座標値
Δｄ 水平移動量
Δｘ 変形量
α カメラ光軸と平面との成す角
Ｈ カメラから平面に降ろした垂線の長さ
Claims (7)
- ステレオカメラで撮像した一対の画像のデータを用い、視野内の平面と上記ステレオカメラとの間の相対的な位置関係を検出する平面検出装置であって、
上記一対の画像間の上記平面のズレ量と画像座標値との関係を、上記ステレオカメラと上記平面との間の相対的な位置関係を表す幾何学的パラメータを介した一次関係式として設定する手段と、
上記平面上の任意の２点の各々に対し、上記一対の画像間のズレ量と、このズレ量を与える上記画像座標値とを求める手段と、
上記ズレ量と上記画像座標値とを上記一次関係式に与えて上記幾何学的パラメータを求める手段と、
を備えたことを特徴とするステレオカメラによる平面検出装置。 - 上記一対の画像の双方をハフ変換し、ハフ変換後の一対の投票平面データを照合して上記平面上の２点の各々のズレ量を求めることを特徴とする請求項１記載のステレオカメラによる平面検出装置。
- 上記ハフ変換を、画像微分を施した上記一対の画像、或いは画像微分と２値化とを施した上記一対の画像に対して実施することを特徴とする請求項２記載のステレオカメラによる平面検出装置。
- 上記ハフ変換における直線のパラメータとして画面の上下両端における切片を用い、
上記各切片を軸とする一対の投票平面間の投票値の差の絶対値和が最小となるときの各切片軸に沿った方向のズレ量を、上記平面上の２点の各々のズレ量として求めることを特徴とする請求項２又は３記載のステレオカメラによる平面検出装置。 - 上記ハフ変換の投票を、画像中の一部の画素のみをランダムサンプリングして実施することを特徴とする請求項２〜４の何れかに記載のステレオカメラによる平面検出装置。
- 上記一対の画像の一方を平行四辺形に変形させ、この変形させた画像と他方の変形させない画像との間の水平ズレ量及び上記平行四辺形の変形量を、上記平面上の２点の各々のズレ量として求めることを特徴とする請求項１記載のステレオカメラによる平面検出装置。
- 上記幾何学的パラメータを、上記ステレオカメラの光軸と上記平面との成す角、及び上記ステレオカメラから上記平面に降ろした垂線の長さとすることを特徴とする請求項１〜６の何れかに記載のステレオカメラによる平面検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003192337A JP4409217B2 (ja) | 2003-07-04 | 2003-07-04 | ステレオカメラによる平面検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003192337A JP4409217B2 (ja) | 2003-07-04 | 2003-07-04 | ステレオカメラによる平面検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005024464A true JP2005024464A (ja) | 2005-01-27 |
| JP4409217B2 JP4409217B2 (ja) | 2010-02-03 |
Family
ID=34189665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003192337A Expired - Fee Related JP4409217B2 (ja) | 2003-07-04 | 2003-07-04 | ステレオカメラによる平面検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4409217B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009186364A (ja) * | 2008-02-07 | 2009-08-20 | Nec Corp | データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム |
| JP2019194745A (ja) * | 2018-04-30 | 2019-11-07 | 日本絨氈株式会社 | 仮想現実システムを用いたインテリア提案システム |
| CN114827571A (zh) * | 2021-01-20 | 2022-07-29 | 赫克斯冈技术中心 | 基于模型的补偿 |
-
2003
- 2003-07-04 JP JP2003192337A patent/JP4409217B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009186364A (ja) * | 2008-02-07 | 2009-08-20 | Nec Corp | データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム |
| JP2019194745A (ja) * | 2018-04-30 | 2019-11-07 | 日本絨氈株式会社 | 仮想現実システムを用いたインテリア提案システム |
| JP7093996B2 (ja) | 2018-04-30 | 2022-07-01 | 日本絨氈株式会社 | 仮想現実システムを用いたインテリア提案システム |
| CN114827571A (zh) * | 2021-01-20 | 2022-07-29 | 赫克斯冈技术中心 | 基于模型的补偿 |
| CN114827571B (zh) * | 2021-01-20 | 2024-04-05 | 赫克斯冈技术中心 | 基于模型的补偿 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4409217B2 (ja) | 2010-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7139424B2 (en) | Stereoscopic image characteristics examination system | |
| JP3895238B2 (ja) | 障害物検出装置及びその方法 | |
| US7242817B2 (en) | System and method for detecting obstacle | |
| US8508527B2 (en) | Apparatus and method of building map for mobile robot | |
| JP3539788B2 (ja) | 画像間対応付け方法 | |
| EP1526477B1 (en) | Image processing apparatus | |
| JP2003083742A (ja) | 監視システムの距離補正装置および距離補正方法 | |
| JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
| JP2004340840A (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
| US20020029127A1 (en) | Method and apparatus for measuring 3-D information | |
| JP7194015B2 (ja) | センサシステム及び距離測定方法 | |
| JP2018105682A (ja) | ステレオカメラ | |
| JP3842988B2 (ja) | 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
| US20190139177A1 (en) | Device for detecting road surface state | |
| JP6838225B2 (ja) | ステレオカメラ | |
| JP4409217B2 (ja) | ステレオカメラによる平面検出装置 | |
| JP4018950B2 (ja) | ステレオカメラの位置ずれ検査装置および位置ずれ検査方法 | |
| JPH09145368A (ja) | ステレオ画像による物体の移動追跡方法 | |
| KR102044639B1 (ko) | 스테레오 카메라 정렬 방법 및 장치 | |
| JPH11190611A (ja) | ３次元計測方法およびその方法を用いた３次元計測処理装置 | |
| KR102565603B1 (ko) | 긴급 제동 시스템의 성능평가 장치 및 방법 | |
| JP2003294422A (ja) | 対象物認識装置および対象物認識方法 | |
| US11881034B2 (en) | Processing device | |
| KR20180076458A (ko) | 우주 환경에서 스테레오 카메라를 이용한 마커기반의 거리 추정 알고리즘 | |
| JPH0425758B2 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060602 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090917 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091111 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4409217 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131120 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |