JP2004094707A

JP2004094707A - ステレオ画像による平面推定方法および物体検出装置

Info

Publication number: JP2004094707A
Application number: JP2002256453A
Authority: JP
Inventors: Chitei Aizawa; 相澤　知禎
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2002-09-02
Filing date: 2002-09-02
Publication date: 2004-03-25
Anticipated expiration: 2022-09-02
Also published as: JP4144300B2

Abstract

【課題】撮像エリア内に平面以外の物体が存在する場合でも、高精度に平面を推定可能な技術を提供する。
【解決手段】撮像装置で撮像したステレオ画像のうちの基準画像について複数の特徴点を抽出し、各特徴点について参照画像中の対応点を探索することにより視差を求める。各特徴点について、視差および画像上の座標値に基づいて他の特徴点との対比を行うことによって、当該特徴点が物体を示す点か否かを判別する。そして、物体を示す点と判別された特徴点を除いた残りの特徴点から平面の３次元的位置を算出する。
【選択図】　図４

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラ等の撮像手段によって得られた画像から車輌等の物体を検出する装置に用いられて有効な技術に関し、特に、ステレオ画像から物体が移動する平面の３次元的位置を推定する技術に関するものである。
【０００２】
【従来の技術】
従来より、高速道路や駐車場などの映像をカメラで撮影し、得られた画像から走行車輌の数や種別等を検出する装置が実用化されている。例えば、特許文献１では、２台のカメラで得られたステレオ画像から走行車輌の３次元情報を算出し、マッチング処理によって車輌種別を認識する装置が提案されている。
【０００３】
このように複数のカメラで撮像して得たステレオ画像から物体の３次元情報を求める場合には、あらかじめその物体が移動する移動平面（道路の路面等）の空間位置（３次元的位置）を定めておく必要がある。その平面の空間位置を基準にして、物体の高さ情報を算出するためである。
【０００４】
平面の３次元的位置は、設置されるカメラの平面に対する相対的な位置関係で規定される。しかしながら、一般的には、カメラを設置する際にその設置高さや俯角（カメラの光軸と平面とのなす角）を正確に調整することは難しい。そこで、おおよその位置にカメラを固定した後に、撮像した画像から平面を推定し、カメラと平面の相対的な位置関係を設定する方法が採られることがある。
【０００５】
ステレオ画像を用いた平面推定は、例えば次のようにして行うことができる。すなわち、２台のカメラから得られた画像それぞれについて、画像中の平面物体の特徴点を少なくとも３点抽出する。次に、各画像同士の特徴点の座標を比較・対応付けすることにより基準画像（基準撮像装置となる一方のカメラから得られた画像）上の各特徴点の視差を算出し、三角測量の原理で特徴点各々の実空間上の座標値を求める。そして、最小２乗法あるいはハフ変換などの統計的処理を用いて平面方程式を算出するのである。
【０００６】
ただし、この方法は、特徴点の実空間座標値を用いるため、その座標導出誤差の影響を受けやすいという問題がある。レンズの精度や量子化誤差に起因して、画像中の特徴点の座標はある程度の誤差を含んでいる。この誤差によって実空間座標上で生じる誤差は、図８に示すように、カメラからの距離が遠くなるほど大きくなる傾向にある。したがって、特徴点の画像上の座標値に依存して、実空間座標の導出精度（測距精度）にバラツキが出る。その結果、図９に示すように、平面推定精度が座標導出精度の悪い特徴点の座標導出結果に大きく左右されることとなるのである。
【０００７】
かかる問題を解決するために、画像上に設けた直交２次元座標軸に視差軸を加えた３次元空間（ＳＤＳ：Ｓｐａｔｉｏ−Ｄｉｓｐａｒｉｔｙ　Ｓｐａｃｅ）を利用した平面推定方法が提案されている（非特許文献１参照）。この方法は、ＳＤＳ上では、図１０に示すように、基準画像中の特徴点の座標の誤差がカメラからの距離にかかわらず一定となること、さらに、実空間上における平面はＳＤＳ上においても平面になることに着目したものである。
【０００８】
この方法では、基準画像上の各特徴点の視差を算出した後、その特徴点各々についてＳＤＳ上の座標値を求める。そして、ＳＤＳ上にて最小２乗法あるいはハフ変換などの統計的処理を用いて平面方程式を算出する。この方法によれば、各々の特徴点の座標導出精度のバラツキがなく、図１１に示すように、平面推定を安定した精度で行うことができる。
【０００９】
なお、これに類する手法としては、特許文献２に開示された手法も知られている。ここでも、視差軸を加えた３次元空間においてハフ変換による平面推定を行っている。
【００１０】
【特許文献１】
特開平１１−２５９６５８号公報
【特許文献２】
特開平１０−９６６０７号公報
【非特許文献１】
Ｙ．Ｙａｎｇ　ｅｔ　ａｌ．，　”Ｌｏｃａｌ，　ｇｌｏｂａｌ，　ａｎｄ　ｍｕｌｔｉｌｅｖｅｌ　ｓｔｅｒｅｏ　ｍａｔｃｈｉｎｇ，”　Ｐｒｏｃ．　ＣＶＰＲ，　ｐｐ．２７４−２７９，　１９９３．
【００１１】
【発明が解決しようとする課題】
ところで、上記のような画像処理においては、撮像エリア内を移動する物体の存在が平面推定処理に悪影響を及ぼすことがある。画像中に車輌等の物体が映り込んでいると、特徴点抽出処理において、平面を示す特徴点に加えて当該物体のエッジ部分等も特徴点として抽出される。平面推定処理にあっては、これらの物体を示す特徴点はノイズ情報にしかすぎず、最小２乗法あるいはハフ変換などの統計的処理において外れ値として作用し、平面推定精度を著しく低下させてしまうのである。それゆえ、平面推定を行う際には、撮像エリア内に平面以外の物体が存在しない状況下で画像を撮影するのが理想的である。
【００１２】
しかしながら、現実にはそのような撮影が困難な場合も多い。例えば、走行車輌や通行人がほとんど途切れることなく通過するエリアに装置を設置するケースでは、撮影タイミングを見つけることが難しく、設置作業に長時間を要してしまうことがある。とはいえ、設置作業のために交通規制をすることは多方面に与える影響やコストを考えると現実的とは言い難い。
【００１３】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、撮像エリア内に平面以外の物体が存在する場合でも、高精度に平面を推定可能な技術を提供することにある。
【００１４】
【課題を解決するための手段】
本発明者は、従来技術が有する上述の課題を解決すべく、鋭意検討を行った。以下にその概要を説明する。
【００１５】
撮像エリア内を移動する物体の存在により平面推定精度が低下するのは、物体を示す特徴点と平面を示す特徴点とが混在する特徴点群に基づいて平面の３次元的位置を算出することに原因がある。したがって、基準画像から抽出された複数の特徴点の中から、平面以外の物体を示す点をあらかじめ除外すればよい。
【００１６】
しかしながら、平面の３次元的位置が未定の段階では、画像上の座標系と実空間座標系との対応をとることができないため、特徴点の画像上の座標値のみから、当該特徴点が平面を示す点か否かを正確に判別することは困難である。
【００１７】
そこで、本発明者は、複数の特徴点の相対的な関係に基づいて、上記判別処理を精度良く行うことができないか、との着想を得た。
【００１８】
その一方で、本発明者による実験の結果、特徴点同士を相対的に比較する際に、実空間上で遠く離れた点同士を比較したとしても、妥当性に欠け、有効な判別処理を行うことができないことが明らかとなった。
【００１９】
さらに検討を行った結果、特徴点の視差が撮像手段からの距離に反比例している事実に着目し、この視差に基づいて対比対象となる特徴点を選択するという手法を想起するに至った。換言すれば、この手法は、特徴点の画像上の座標値だけでなく、特徴点の視差をも考慮することで、特徴点同士の相対的な位置関係を３次元的に比較するものである。
【００２０】
すなわち、上記目的を達成するために、本発明にあっては、物体が移動する平面を俯瞰するように複数の撮像手段を設置する。このとき、各撮像手段を所定の間隔で配置することにより、平面を俯瞰するようなステレオ画像を撮像することができる。なお、撮像手段の数は、２以上であればよい。
【００２１】
ここで「物体が移動する平面」は、撮像エリアの選び方により種々のものが想定できる。たとえば、撮像エリアが車道や歩道等の場合には、「物体」は車輌，歩行者，自転車等であり、「平面」は道路の路面である。また、撮像エリアが踏切や線路等の場合には、「物体」は電車であり、「平面」は線路である。さらには、撮像エリアが工場内の製造現場や物流現場の場合には、「物体」は製造物や搬送物であり、「平面」はベルトコンベア等の搬送装置の搬送面である。
【００２２】
このような撮像エリアを上記複数の撮像手段で撮像し、ステレオ画像を得る。そしてまず、ステレオ画像のうちの基準画像について複数の特徴点を抽出する。「特徴点」とは、画像中の他の領域と比較して明確に区別し得る特徴的な部分をいい、たとえば、物体を示す特徴点としては物体のエッジ部分や模様部分等が該当し、平面を示す特徴点としては、レーンマーキング等の平面上の模様部分や物体が平面上につくる影部分等が該当する。
【００２３】
次に、抽出した各特徴点について、他の画像（参照画像）中の対応点を探索することにより視差を求める。「対応点」とは、基準画像中の特徴点と同一の部分を示す参照画像中の点である。特徴点と対応点は撮像手段からの距離に応じて画像上の座標値が異なる。この差が特徴点の視差となる。
【００２４】
視差を求めた後、各特徴点について、視差および画像上の座標値に基づいて他の特徴点との対比を行うことによって、当該特徴点が物体を示す点か否かを判別する。視差および画像上の座標値を考慮することで、特徴点同士の相対的な位置関係を３次元的に比較することができ、良好な判別処理を行うことができる。
【００２５】
ここで、たとえば、視差に基づき対比すべき他の特徴点を選択するとともに、選択した他の特徴点と対比することによって当該特徴点が物体を示す点か否かを判別することが好適である。視差に基づき対比対象を選択することで、実空間上の位置について関連性の高い特徴点の組を見い出すことができる。そして、このように選択された特徴点同士を対比することによって、それらの相対的な位置関係を高い妥当性をもって比較することができ、当該特徴点が物体を示す点か否かの判別が可能となる。
【００２６】
そして、上記判別処理により物体を示す点と判別された特徴点を除く、残りの特徴点から平面の３次元的位置を算出する。残りの特徴点はすべて平面を示す点である蓋然性が高いので、高精度に平面の推定を行うことが可能となる。
【００２７】
上記平面推定方法において、典型的には、略同じ視差を有する特徴点を対比すべき他の特徴点として選択するとよい。これにより、たとえば物体を示す点とその物体が平面上につくる影を示す点など、より妥当性の高い対比対象を選択することができる。
【００２８】
また、典型的には、特徴点と他の特徴点の画像上の座標値の差が所定の閾値よりも大きい場合に、当該特徴点を物体を示す点と判別するとよい。このとき閾値を特徴点の視差に応じて変化させることが好ましい。
【００２９】
また、典型的には、統計的処理により平面の３次元的位置を算出するとよい。これにより、ロバスト性の高い平面推定を行うことができる。
【００３０】
さらに、画像上の座標軸と視差軸からなる３次元座標系で、前記特徴点が前記物体を示す点か否かを判別する処理、および、前記平面の３次元的位置を算出する処理を行うとよい。これにより、画像中の特徴点の座標の誤差の影響を受けず、平面推定を安定した精度で行うことができる。また、両処理を同一の座標系で行うことにより、座標変換等の余分な処理が不要となり、処理コストを削減することができる。
【００３１】
なお、基準画像中の平面の部分を対象領域として指定し、指定された対象領域から複数の特徴点を抽出することも好ましい。このように平面以外の部分（対象領域以外の部分）からは特徴点を抽出しないことにより、平面推定処理に要する処理コストを削減でき、また、あらかじめノイズ情報が削減されるため、平面推定の精度をより向上させることが可能となる。
【００３２】
以上述べた方法によれば、撮像エリア内に平面以外の物体が存在する場合であっても、高精度に平面を推定することが可能である。
【００３３】
本発明の物体検出装置は、物体が移動する平面を俯瞰するように設置されステレオ画像を撮像する複数の撮像手段、上記平面推定方法を行う平面推定手段、および、この平面推定手段によって推定した平面の３次元的位置を基準として撮像エリア内の平面上を移動する物体を検出する検出手段を備えることを特徴とする。
【００３４】
これにより、撮像エリア内に平面以外の物体が存在する状況下でも、即座に平面推定処理を実施することができ、短時間かつ簡易に設置作業を行うことが可能となる。また、高精度に平面推定を行うことができるので、物体検出の信頼性を向上することもできる。
【００３５】
【発明の実施の形態】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００３６】
なお、以下の実施の形態に記載されている構成部分の形状、大きさ、その相対配置などは、特に特定的な記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
【００３７】
（第１の実施形態）
図１は、本発明の物体検出装置の一実施形態に係る車輌検出装置の設置例を示す。
【００３８】
車輌検出装置１は、道路ＲＤの脇に設置された支柱４に取り付けられており、道路ＲＤの各車道毎の通過車輌の台数や車種の判別、特定車輌の通過速度の計測、渋滞状況の把握、違法駐車中の車輌の検出等を自動的に行う装置である。この車輌検出装置１は、２台の撮像装置２ａ，２ｂと制御装置３とを有して構成される。
【００３９】
撮像装置２ａ，２ｂは、車輌５が移動する道路ＲＤを俯瞰するように設置された撮像手段である。撮像装置２ａ，２ｂとしては、たとえばビデオカメラやＣＣＤカメラなどを用いることができる。
【００４０】
各撮像装置２ａ，２ｂは、焦点距離が同じものを用いる。また、各撮像装置２ａ，２ｂは、互いの光軸が平行になり、かつ、各撮像面が同一平面上に位置するようにして、所定間隔をあけて縦並びに取り付けられている。したがって、撮像装置２ａ，２ｂにより、道路ＲＤを俯瞰するようなステレオ画像を撮像することができる。
【００４１】
なお、同図の例では、２台の撮像装置を用いているが、これに限らず、３台以上の撮像装置を用いてもよい。また、撮像装置の配置は縦並びに限らず、横並びにしてもよい。
【００４２】
制御装置３は、ＣＰＵ（中央演算処理装置），ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ），画像メモリ等を基本ハードウエアとして備える制御手段である。装置稼動時には、ＲＯＭに格納されたプログラムがＣＰＵに読み込まれ実行されることで、後述する各機能が実現される。なお、制御装置３は、保守，点検などの必要から支柱４の基部付近に設置することが好ましい。
【００４３】
図２は、車輌検出装置１の機能構成を示す機能ブロック図である。同図に示すように、制御装置３は、概略、画像入力部３０，平面推定処理部３１，物体検出処理部３２，記憶部３３，出力部３４を有している。
【００４４】
画像入力部３０は、撮像装置２ａ，２ｂから得られる画像信号を制御装置３に入力するための機能である。撮像装置２ａ，２ｂからの入力が動画像の場合には、画像入力部３０によって１フレームの静止画像が取り込まれる。また、前記画像信号がアナログ量の場合には、画像入力部３０によってＡ／Ｄ変換されデジタル画像として取り込まれる。取り込まれた２枚の画像データは各々画像メモリに格納される。なお、ここで取り込まれる画像はカラー画像でもモノクロ画像（濃淡画像）でもよいが、車輌検出が目的であればモノクロ画像で十分である。
【００４５】
平面推定処理部３１は、画像メモリに取り込まれたステレオ画像から、車輌５が移動する平面（道路ＲＤ）の３次元的位置を推定する平面推定手段として機能する。車輌検出装置１が設置された直後は、撮像装置２ａ，２ｂと道路ＲＤの相対的な位置関係が未定の状態であり、物体検出処理を行うことができない。そこで、最初に平面推定処理を実行し、道路ＲＤの３次元的位置（具体的には撮像装置２ａ，２ｂの道路ＲＤに対する高さおよび俯角）を算出するのである。なお、この処理は、車輌検出装置１を設置した際に１回実行すれば足りる。
【００４６】
平面推定処理部３１にて算出された道路ＲＤの３次元的位置のデータ（以下、単に「平面データ」という。）は、記憶部３３に格納される。また、平面推定が正常に行われたかどうかを確認するために、必要に応じて出力部３４から平面データを出力することも可能である。
【００４７】
物体検出処理部３２は、道路ＲＤの３次元的位置を基準として撮像エリア内の道路ＲＤ上を移動する物体（車輌５）を検出する検出手段として機能する。
【００４８】
物体検出処理部３２では、画像メモリに取り込まれたステレオ画像のうち一方の基準画像に対してエッジ強度抽出処理を行って、車輌５の輪郭部分などを示す特徴点を抽出する。各々の特徴点について、他方の参照画像中の類似した濃淡パターンを探索することにより対応点を見つけ、視差を求める。そして、各特徴点について、三角測量の原理に基づき実空間上における３次元座標を算出する。
【００４９】
三角測量の原理について図３を参照して説明する。同図では、説明の簡単のため２次元で示している。
【００５０】
同図の点Ｃ_ａ，Ｃ_ｂはそれぞれ基準撮像装置２ａ，参照撮像装置２ｂを表す。基準撮像装置２ａの設置高さはＨであり、撮像装置２ａ，２ｂの俯角はθ、互いの間隔（ベース長）はＢである。撮像装置２ａ，２ｂの焦点距離をｆとすると、撮像された画像Ｉ_ａ，Ｉ_ｂは、図示のように点Ｃ_ａ，Ｃ_ｂから距離ｆだけ離れた平面として観念することができる。
【００５１】
実空間上の点Ｐは、画像Ｉ_ａ，Ｉ_ｂ中の点ｐ_ａ，ｐ_ｂの位置に現れる。点ｐ_ａが点Ｐを表す特徴点であり、点ｐ_ｂが特徴点ｐ_ａに対応する対応点である。特徴点ｐ_ａの画像Ｉ_ａ中の座標値と対応点ｐ_ｂの画像Ｉ_ｂ中の座標値は異なり、この差（ｄ_ａ＋ｄ_ｂ）が点Ｐの視差ｄとなる。
【００５２】
このとき、撮像装置２ａ，２ｂの撮像面から点Ｐまでの距離Ｌは、
Ｌ＝Ｂｆ／ｄ
により算出できる。そして、俯角θと設置高さＨが既知であれば、距離Ｌから点Ｐの実空間上における３次元座標を算出することができる。これが三角測量の原理である。
【００５３】
ここで、俯角θと設置高さＨは、記憶部３３に格納された平面データによって与えられる。すなわち、物体検出処理では、平面推定処理部３１にて推定された平面（道路ＲＤ）が高さ０であるとしたときの３次元座標が算出されるのである。
【００５４】
このようにして、物体検出処理部３２では、道路ＲＤ上に存在する物体（車輌等）の３次元形状を復元することができる。さらに、あらかじめＲＯＭに車輌のモデルデータを格納しておき、そのモデルデータと復元された３次元形状とのテンプレートマッチング処理を行えば、車輌の数や車種などを判別することも可能となる。
【００５５】
以上のように、物体検出処理は道路ＲＤの平面データが既知であることを前提としたものである。そして、物体検出の精度を高めるためには、高い精度で平面の３次元的位置を推定することが重要となる。
【００５６】
では次に、図４のフローチャートを参照して、上記平面推定処理部３１における平面推定処理について詳しく説明する。
【００５７】
まず、ステップＳ１において、各撮像装置２ａ，２ｂによってステレオ画像を撮像する。撮像装置２ａ，２ｂから取り込まれた画像信号は、画像入力部３０によってデジタルデータに変換される。生成されたデジタル量の濃淡画像データは、撮像装置２ａから取り込まれたものは基準画像として、撮像装置２ｂから取り込まれたものは参照画像として、それぞれ画像メモリに格納される。
【００５８】
ステップＳ２において、平面推定処理部３１は、画像メモリに格納された基準画像からエッジ抽出処理によって複数の特徴点を抽出する。エッジ抽出処理は、ラプラシアンフィルタやソーベルフィルタなどのエッジ抽出フィルタで画像を走査することにより行うことができる。これにより、車輌５の輪郭部分，道路ＲＤのレーンマーキングやひび割れ、道路ＲＤにうつる影部分などが特徴点として抽出される。
【００５９】
次に、平面推定処理部３１は、抽出した各特徴点について参照画像中の対応点を探索する対応付け処理を行い、視差を求める（ステップＳ３）。この対応付け処理は、たとえば特徴点の周囲数近傍の小画像をサンプルパターンとして用意し、このサンプルパターンと類似する濃度パターンを参照画像中から探索することにより行うことができる。そして、各特徴点についてＳＤＳ座標を求め、それらを候補点群としてＲＡＭに格納する。ＳＤＳ座標とは、画像上に設けた直交２次元座標軸に視差軸を加えた３次元座標であり、特徴点の画像上の水平方向の座標値をｘ、垂直方向の座標値をｙ、視差をｄとしたとき、（ｘ，ｙ，ｄ）で表される。
【００６０】
ステップＳ４では、各特徴点について、視差および画像上の座標値に基づいて他の特徴点との対比を行うことによって、当該特徴点が道路ＲＤを示す点か道路ＲＤ上の物体（車輌等）を示す点かを判別する。この判別処理は、特徴点が物体を示す点か否かを判別する判別式により行う。上記判別処理によって物体を示す点と判別された特徴点はＲＡＭ中の候補点群から除去される。
【００６１】
そして、平面推定処理部３１は、物体を示す点と判別された特徴点を除いた残りの特徴点（候補点群）から道路ＲＤの３次元的位置を算出する（ステップＳ５）。平面位置算出処理は、たとえば最小２乗法やハフ変換などの統計的処理により行うことができる。このとき特徴点は３点以上、好ましくは８点以上あるとよい。なお、上記判別処理によって特徴点が３点よりも少なくなった場合には、再びステップＳ１からの処理を繰り返す。
【００６２】
算出結果は、撮像装置２ａ，２ｂの俯角θおよび設置高さＨの形式で記憶部３３に格納されるとともに、確認のため出力部３４から出力される（ステップＳ６）。
【００６３】
上記ステップＳ４の判別処理で用いる判別式は、たとえば、次のように決定される。
【００６４】
２台の撮像装置２ａ，２ｂの間隔（ベース長）をＢ、撮像装置２ａ，２ｂのレンズの焦点距離をｆとする。基準画像上に設けた直交２次元座標系（ｘ，ｙ）に対して、実空間上において、カメラ座標系（Ｘ′，Ｙ′，Ｚ′）と地面座標系（Ｘ，Ｙ，Ｚ）を図５のように定める。ここで地面座標系とは、道路面がＸ−Ｚ平面となり、かつ、Ｘ軸と基準画像上のｘ軸とが平行になるように定めた座標系である。また、図５において、Ｈは撮像装置２ａの設置高さを、θは撮像装置２ａの俯角（光軸と道路面とのなす角）を表している。
【００６５】
このとき、視差をｄとして、式（１）が成り立つ。
【数１】

【００６６】
また、カメラ座標系（Ｘ′，Ｙ′，Ｚ′）と地面座標系（Ｘ，Ｙ，Ｚ）との関係が式（２）で定義される。
【数２】

【００６７】
さらに、道路面は式（３）を満たす平面とみなせる。
【数３】

【００６８】
一方、道路ＲＤ上の車輌５は、Ｙ＞０を満たす点の集合体とみなせる。また、車輌５の幅は道路幅より狭く、レーンマーキングなど車輌５の周囲の少なくとも一部の道路面上の特徴も併せて撮像されている蓋然性が高いことを考慮すれば、ある車輌を示す特徴点Ｐ_Ｖ（Ｘ_Ｖ，Ｙ_Ｖ，Ｚ_Ｖ）について、式（４），（５）を満たすような道路を示す特徴点Ｐ_Ｒ（Ｘ_Ｒ，Ｙ_Ｒ，Ｚ_Ｒ）が存在する。
【００６９】
なお、ΔＹ_ｔｈは、ΔＹ_ｔｈ＞０であるような所定の閾値である。ΔＹ_ｔｈの値としては、車輌のボンネットの高さ（約６０ｃｍ）を考慮して、その半分の３０ｃｍ程度に定めればよい。
【数４】

【００７０】
ここで、特徴点Ｐ_Ｖ，Ｐ_Ｒについて、ＳＤＳにおいて対応する特徴点座標を各々ｐ_Ｖ（ｘ_Ｖ，ｙ_Ｖ，ｚ_Ｖ），ｐ_Ｒ（ｘ_Ｒ，ｙ_Ｒ，ｚ_Ｒ）とすると、式（１），（２）より、
【数５】

【００７１】
式（５）よりＺは定数としてよいから、両辺をｙで偏微分して近似式（６）が得られる。
【数６】

【００７２】
一方、式（１），（２），（３）より、
【数７】

【００７３】
したがって、ＳＤＳにおいて、道路面上の２つの特徴点ｐ_Ｒ１（ｘ_Ｒ１，ｙ_Ｒ _１，ｄ_Ｒ１）およびｐ_Ｒ２（ｘ_Ｒ２，ｙ_Ｒ２，ｄ_Ｒ２）について、近似式（７）が得られる。
【数８】

【００７４】
車輌検出装置１の実際の設置場面を想定して、たとえば、Ｂは数十ｃｍ、Ｈは数ｍ、Ｚは数十ｍのオーダー、θは約２０°とすると、式（６），（７）より２つの近似式（８），（９）が得られる。
【数９】

【００７５】
式（８）より式（１０）が得られる。
【数１０】

【００７６】
さらに、式（１），（２），（４）より、
【数１１】

【００７７】
式（１０）より、ｄ_Ｒ＝ｄ_Ｖゆえ、
【数１２】

【００７８】
θ≒２０°のとき、ｃｏｓθ≒１ゆえ、次式が得られる。
【数１３】

【００７９】
以上より次のことが成り立つ。すなわち、もし、
【数１４】

ならば、式（９）より、
【数１５】

【００８０】
したがって、ＳＤＳにおける２つの特徴点ｐ_１（ｘ_１，ｙ_１，ｄ_１）およびｐ_２（ｘ_２，ｙ_２，ｄ_２）について、次の２式が満たされるとき、前記２つの特徴点のうち少なくとも特徴点ｐ_１は物体を示す特徴点であるといえる。
【数１６】

【００８１】
本実施形態では、式（１４），（１５）を判別式として採用する。
【００８２】
この判別式の特徴を以下にまとめる。
【００８３】
・判別式（１４），（１５）は、視差ｄと画像上の座標値ｙから構成されており、２つの特徴点の視差ｄおよび座標値ｙを対比するものである。すなわち、この式を用いた判別処理は、ある特徴点について、視差および画像上の座標値に基づいて他の特徴点との対比を行うことによって、当該特徴点が物体を示す点か否かを判別する処理となる。このように視差および画像上の座標値を考慮することで、特徴点同士の相対的な位置関係を３次元的に比較することができ、良好な判別処理を行うことができる。
【００８４】
・判別式（１４）は、特徴点の視差に基づき対比すべき他の特徴点を選択する処理に相当する。これにより実空間上の位置について関連性の高い特徴点の組を見い出すことができる。そして、このように選択された特徴点同士を判別式（１５）により対比することによって、それらの相対的な位置関係を高い妥当性をもって比較することができる。また、判別式（１４）によって対比対象を絞り込むことで処理コストを削減することができる。
【００８５】
・判別式（１４）では、略同じ視差を有する特徴点を対比すべき他の特徴点として選択する。これにより、たとえば物体を示す点とその物体が平面上につくる影を示す点など、より妥当性の高い対比対象を選択することができる。
【００８６】
・判別式（１５）は、特徴点と他の特徴点の画像上の座標値の差（ｙ_１−ｙ_２）が所定の閾値（ｄ_１Δｙ_ｔｈ）よりも大きい場合に、当該特徴点を物体を示す点と判別する。略同じ視差を有する特徴点同士の関係では、実空間上の高さの比較を、画像上の座標値ｙの比較に近似的に置き換えできることに着目したものである。
【００８７】
・判別式（１５）の閾値（ｄ_１Δｙ_ｔｈ）は、特徴点の視差ｄ_１に応じて変化する。撮像面からの距離が遠い物体ほど、画像上は小さく映る。つまり、特徴点同士の座標値の差は、実空間上で一定であっても、画像上では撮像面からの距離が遠くなるほど小さくなってしまう。したがって、閾値を固定値にするのは妥当でない。判別式（１５）では、視差に応じて閾値も変化させることで、画像全体にわたり良好な判別処理を行うことが可能となる。
【００８８】
・判別式（１４），（１５）は、ＳＤＳ座標における座標値（ｘ，ｙ，ｄ）に関する式である。また、上述したように平面位置算出処理もＳＤＳ座標において行われる。すなわち、画像上の座標軸と視差軸からなるＳＤＳ座標系で、判別処理および平面位置算出処理が行われるので、座標変換等の余分な処理が不要となり、処理コストを削減することができる。
【００８９】
以上述べたように、本実施形態の平面推定方法によれば、撮像エリア内の道路上に車輌等が存在する場合であっても、車輌等を示す特徴点を判別し除外することができるので、高精度に路面の３次元的位置を推定することが可能となる。
【００９０】
したがって、車輌検出装置を設置する際に、交通規制等を行うまでもなく、即座に平面推定処理を実施することができ、短時間かつ簡易に設置作業を行うことが可能となる。
【００９１】
また、高精度に平面推定を行うことができるので、物体検出の信頼性を向上することもできる。
【００９２】
（第２の実施形態）
図６は、本発明の第２の実施形態に係る車輌検出装置の機能構成を示す機能ブロック図である。
【００９３】
本実施形態の車輌検出装置は、領域指定部３５を有している。その他の構成および作用については第１の実施形態と同一なので、同一の構成部分については同一の符号を付して、その説明は省略する。
【００９４】
領域指定部３５は、基準画像中の平面の部分を特徴点抽出のための対象領域として指定する手段である。本実施形態では、モバイルコンピュータやＰＤＡなど、ディスプレイを備えた携帯端末装置により領域指定部３５を実現している。領域指定を行う際には、この携帯端末装置を制御装置３の通信Ｉ／Ｆに接続し、制御装置３と協働させることによって以下の処理を実行する。なお、領域指定部３５を制御装置３の内部機能としてもよい。
【００９５】
平面推定処理のために撮像装置２ａ，２ｂによって撮像された画像は、画像入力部３０によって取り込まれ画像メモリに格納される。すると、画像メモリ内の基準画像が領域指定部３５に送信され、ディスプレイに表示される。
【００９６】
ユーザ（設置作業者）は、ディスプレイに表示された基準画像を参照しつつ、画像中の道路の部分を範囲指定する。図７にその操作画面の一例を示す。ここでは、道路と道路外の領域との境界を示す左右２本のライン（破線）を画像上で指定することにより、対象領域（斜線部分）の指定を行っている。
【００９７】
指定された対象領域の情報は、通信Ｉ／Ｆを介して制御装置３のＲＡＭに格納される。
【００９８】
平面推定処理部３１は、基準画像からエッジ抽出処理によって特徴点を抽出する際に、ＲＡＭから指定対象領域の情報を読み込み、この領域内のみから特徴点を抽出する。
【００９９】
このように道路以外の部分（対象領域以外の部分）からは特徴点を抽出しないことにより、平面推定処理に要する処理コストを削減できる。また、あらかじめノイズ情報が削減されるため、平面推定の精度をより向上させることが可能となる。
【０１００】
【発明の効果】
以上説明したように、本発明の平面推定方法によれば、撮像エリア内に平面以外の物体が存在する場合であっても、物体を示す特徴点を判別し除外することができるので、高精度に平面の３次元的位置を推定することが可能となる。
【０１０１】
また、本発明の物体検出装置によれば、撮像エリア内に平面以外の物体が存在する状況下でも、物体を示す特徴点を判別し除外することで、即座に平面推定処理を実施することができ、短時間かつ簡易に設置作業を行うことが可能となる。
【０１０２】
また、高精度に平面推定を行うことができるので、物体検出の信頼性を向上することもできる。
【図面の簡単な説明】
【図１】本発明の物体検出装置の一実施形態に係る車輌検出装置の設置例を示す図である。
【図２】第１の実施形態に係る車輌検出装置の機能構成を示す機能ブロック図である。
【図３】三角測量の原理を説明する図である。
【図４】平面推定処理のフローチャートである。
【図５】基準画像上に設けた直交２次元座標系と、実空間上におけるカメラ座標系および地面座標系の関係を示す図である。
【図６】第２の実施形態に係る車輌検出装置の機能構成を示す機能ブロック図である。
【図７】領域指定処理の操作画面の一例である。
【図８】実空間座標における特徴点の座標導出精度を説明する図である。
【図９】実空間座標における平面推定精度を説明する図である。
【図１０】ＳＤＳ座標における特徴点の座標導出精度を説明する図である。
【図１１】ＳＤＳ座標における平面推定精度を説明する図である。
【符号の説明】
１　車輌検出装置（物体検出装置）
２ａ，２ｂ　撮像装置（撮像手段）
３　制御装置
３０　画像入力部
３１　平面推定処理部（平面推定手段）
３２　物体検出処理部（検出手段）
３３　記憶部
３４　出力部
３５　領域指定部
４　支柱
５　車輌（物体）
ＲＤ　道路（平面）

Claims

物体が移動する平面を俯瞰するように設置された複数の撮像手段によってステレオ画像を撮像し、
前記ステレオ画像のうちの基準画像について複数の特徴点を抽出し、
抽出した各特徴点について他の画像中の対応点を探索することにより視差を求め、
前記各特徴点について、視差および画像上の座標値に基づいて他の特徴点との対比を行うことによって当該特徴点が前記物体を示す点か否かを判別し、
前記物体を示す点と判別された特徴点を除いた残りの特徴点から前記平面の３次元的位置を算出する
ステレオ画像による平面推定方法。
前記各特徴点について、当該特徴点の視差に基づき対比すべき他の特徴点を選択し、その選択した他の特徴点との対比を行うことによって当該特徴点が前記物体を示す点か否かを判別する請求項１記載のステレオ画像による平面推定方法。
略同じ視差を有する特徴点を前記対比すべき他の特徴点として選択する請求項２記載のステレオ画像による平面推定方法。
前記特徴点と前記他の特徴点の画像上の座標値の差が所定の閾値よりも大きい場合に、当該特徴点を前記物体を示す点と判別する請求項１，２または３記載のステレオ画像による平面推定方法。
前記所定の閾値は、前記特徴点の視差に応じて変化する請求項４記載のステレオ画像による平面推定方法。
統計的処理により前記平面の３次元的位置を算出する請求項１〜５のうちいずれか１項記載のステレオ画像による平面推定方法。
画像上の座標軸と視差軸からなる３次元座標系で、前記特徴点が前記物体を示す点か否かを判別する処理、および、前記平面の３次元的位置を算出する処理を行う請求項１〜６のうちいずれか１項記載のステレオ画像による平面推定方法。
特徴点ｐ_ｉ（ｉは自然数）の画像上の垂直方向の座標値をｙ_ｉ、視差をｄ_ｉとしたときに、
｜ｄ_ｉ−ｄ_ｊ｜≒０　（ｊは自然数；ｉ≠ｊ）
を満たす特徴点ｐ_ｊを前記対比すべき他の特徴点として選択し、
（ｙ_ｉ−ｙ_ｊ）／ｄ_ｉ＞Δｙ_ｔｈ
（Δｙ_ｔｈは所定の定数）
を満たす場合に、特徴点ｐ_ｉを前記物体を示す点と判別する
請求項１記載のステレオ画像による平面推定方法。
前記基準画像中の前記平面の部分を対象領域として指定し、前記指定された対象領域から前記複数の特徴点を抽出する請求項１〜８のうちいずれか１項記載のステレオ画像による平面推定方法。
物体が移動する平面を俯瞰するように設置されステレオ画像を撮像する複数の撮像手段と、
前記複数の撮像手段により得られるステレオ画像から前記平面の３次元的位置を推定する平面推定手段と、
前記推定した前記平面の３次元的位置を基準として撮像エリア内の前記平面上を移動する物体を検出する検出手段と、を備え、
前記平面推定手段は、
前記ステレオ画像のうちの基準画像について複数の特徴点を抽出し、
抽出した各特徴点について他の画像中の対応点を探索することにより視差を求め、
前記各特徴点について、視差および画像上の座標値に基づいて他の特徴点との対比を行うことによって当該特徴点が前記物体を示す点か否かを判別し、
前記物体を示す点と判別された特徴点を除いた残りの特徴点から前記平面の３次元的位置を算出する
物体検出装置。
前記平面推定手段は、
前記各特徴点について、当該特徴点の視差に基づき対比すべき他の特徴点を選択し、その選択した他の特徴点との対比を行うことによって当該特徴点が前記物体を示す点か否かを判別する請求項１０記載の物体検出装置。
前記平面推定手段は、
略同じ視差を有する特徴点を前記対比すべき他の特徴点として選択する請求項１１記載の物体検出装置。
前記平面推定手段は、
前記特徴点と前記他の特徴点の画像上の座標値の差が所定の閾値よりも大きい場合に、当該特徴点を前記物体を示す点と判別する請求項１０，１１または１２記載の物体検出装置。
前記平面推定手段は、
前記所定の閾値を前記特徴点の視差に応じて変化させる請求項１３記載の物体検出装置。
前記平面推定手段は、
統計的処理により前記平面の３次元的位置を算出する請求項１０〜１４のうちいずれか１項記載の物体検出装置。
前記平面推定手段は、
画像上の座標軸と視差軸からなる３次元座標系で、前記特徴点が前記物体を示す点か否かを判別する処理、および、前記平面の３次元的位置を算出する処理を行う請求項１０〜１５のうちいずれか１項記載の物体検出装置。
前記平面推定手段は、
特徴点ｐ_ｉ（ｉは自然数）の画像上の垂直方向の座標値をｙ_ｉ、視差をｄ_ｉとしたときに、
｜ｄ_ｉ−ｄ_ｊ｜≒０　（ｊは自然数；ｉ≠ｊ）
を満たす特徴点ｐ_ｊを前記対比すべき他の特徴点として選択し、
（ｙ_ｉ−ｙ_ｊ）／ｄ_ｉ＞Δｙ_ｔｈ
（Δｙ_ｔｈは所定の定数）
を満たす場合に、特徴点ｐ_ｉを前記物体を示す点と判別する
請求項１０記載の物体検出装置。
前記基準画像中の前記平面の部分を対象領域として指定する手段を備え、
前記平面推定手段は、前記指定された対象領域から前記複数の特徴点を抽出する請求項１０〜１７のうちいずれか１項記載の物体検出装置。