JP2018195050A - 物体検出装置、物体検出方法、及びプログラム - Google Patents

Abstract

【課題】演算処理負荷を軽減した物体検出装置を提供することを目的とする。
【解決手段】物体検出装置１は、車両に搭載されたカメラ３０にて撮影された複数の画像を受信する画像受信部１０と、第１の画像の中からエッジを抽出するエッジ抽出部１５と、第２の画像においてエッジに対応する候補となる複数の候補点を移動情報に基づいて求める候補点計算部１６を備える。候補点計算部１６は、エッジの高さとして複数の高さを仮定して、それぞれの高さに対応する複数の候補点を求める。物体検出装置１は、エッジと複数の候補点のそれぞれとの相関指標値を計算し、最小の相関指標値が所定の閾値以下である場合（すなわち、最大の相関を有する候補点の相関が所定の大きさ以上である場合）に、候補点をエッジに対応する対応点であると判定する対応点検出部１７を備える。物体検出装置１は、対応点の高さが０ではない場合に、エッジの位置に物体を検出する。
【選択図】図１

Description

本発明は、物体検出装置、物体検出方法、及びプログラムに関する。

移動中の車両から異なる時刻に撮影を行うと、異なる視点からの画像が得られる。従来、車両に搭載されたカメラによって撮影した時系列の画像に基づいて、物体を検出する「Ｓｔｒｕｃｔｕｒｅｏｆ Ｍｏｔｉｏｎ（ＳｆＭ）」あるいは「移動ステレオ」と呼ばれる技術が知られている（非特許文献１）。

A.Thomas, V.Ferrari, B.Leibe, T.Tuytelaars, and L.VanGool.，"Dynamic 3d scene analysis from a moving vehicle", IEEE Conference on Computer Vision and Pattern Recognition (CVPR’07), 2007.

上記したＳｆＭの技術による物体検出は、演算処理負荷が大きいという課題があった。本発明は、上記した背景に鑑み、演算処理負荷を軽減した物体検出装置、物体検出方法およびプログラムを提供することを目的とする。

本発明の物体検出装置は、移動体に搭載されたカメラにて撮影された画像を入力する画像入力部と、前記移動体の移動情報を取得する移動情報取得部と、前記画像入力部にて入力された第１の画像の中から特徴点を抽出する特徴点抽出部と、前記第１の画像とは異なる時刻に撮影された第２の画像において、前記特徴点に対応する候補となる複数の候補点を前記移動情報に基づいて求める候補点計算部であって、前記特徴点の高さとして複数の高さを仮定して、それぞれの高さに対応する複数の候補点を求める候補点計算部と、前記特徴点と前記複数の候補点のそれぞれとの相関の大きさを計算し、当該相関の大きさに基づいて、前記候補点から前記特徴点に対応する対応点を検出する対応点検出部と、前記対応点の高さが所定値よりも大きい場合に、前記特徴点の位置に物体を検出する物体検出部とを備える。

この構成により、移動情報に基づいて特徴点に対応する複数の候補点を仮定するので、この候補点の中から対応点を検出すればよく、物体検出処理の計算処理負荷を軽減できる。

本発明の物体検出装置において、前記対応点検出部は、複数の候補点のうちで最大の相関を有する候補点の相関が所定の大きさ以上である場合に、前記候補点を前記特徴点に対応する対応点であると判定してもよい。この構成により、適切に対応点を求めることができる。

本発明の物体検出装置は、前記対応点の高さを物体の高さとして求める高さ計算部を備えてもよい。この構成により、物体検出を行うのに用いた情報を利用して物体の高さを容易に求めることができる。

本発明の物体検出装置において、前記候補点計算部は、仮定する高さの数およびその高さを、前記移動体の移動態様または前記移動体が置かれた環境に応じて変更して前記複数の候補点を求めてもよい。このように移動態様または環境に基づいて適切な高さを仮定することにより、的確に対応点を求めることができる。

本発明の物体検出装置において、前記特徴点抽出部は、前記第１の画像を走査して特徴点を探索し、特徴点が検出された場合には、その特徴点を含む所定範囲の探索を省略してもよい。特徴点が検出された場合に、その周辺を探索範囲から省くことにより、特徴点を探索する計算処理を軽減することができる。

本発明の物体検出装置において、前記特徴点抽出部は、１画素おきに特徴点か否かを判定してもよい。このように１画素おきに判定を行うことにより、特徴点の検出漏れを防ぐことができ、検出漏れを防止しつつ計算処理を軽減することができる。

本発明の物体検出装置において、前記候補点計算部は、前記特徴点の高さが０であると仮定して候補点を求め、前記特徴点と前記候補点との相関の大きさが所定の大きさ以上の場合には、当該特徴点を物体検出の処理対象から除外してもよい。高さが０であるとした場合の候補点と特徴点の相関の大きさが所定の大きさ以上の場合には、当該特徴点は路面上の点であると理解され、物体が存在しない。このような点を物体検出の処理対象から外すことにより、計算処理を軽減できる。

本発明の物体検出装置において、前記候補点計算部は、前記特徴点の高さが０であると仮定して候補点を求め、前記特徴点と前記候補点との相関の大きさが所定の大きさ以上の場合には、当該特徴点を路面上のエッジとして検出してもよい。この構成により、路面上のエッジを効率良く検出できる。

本発明の物体検出装置において、前記画像入力部は、前記移動体の移動に伴って撮影された第１の画像とそれに続く複数の第２の画像の入力を受け、前記対応点計算部は、前記第１の画像に続く最初の前記第２の画像が入力されたときには、前記第１の画像の特徴点と前記第２の画像の複数の候補点のそれぞれとの相関の大きさを求め、これを記憶しておき、新たな前記第２の画像が入力されたときは、前記第１の画像と新たな前記第２の画像の複数の候補点のそれぞれとの相関の大きさを求め、当該相関の大きさと記憶された相関の大きさに基づいて新しい相関の大きさを求め、これを記憶する処理を、新たな第２の画像の入力に伴って繰り返し行ってもよい。このように相関の大きさを逐次更新していく構成により、新しい相関の大きさを求めて記憶した後は、第２の画像を削除することも可能なので、記憶容量を削減することができる。

本発明の物体検出方法は、移動体に搭載されたカメラにて撮影された画像および移動体の移動情報に基づいて、物体検出装置が物体を検出する方法であって、前記物体検出装置が、カメラから入力された第１の画像の中から特徴点を抽出するステップと、前記物体検出装置が、前記第１の画像とは異なる時刻に撮影された第２の画像において、前記特徴点に対応する候補となる複数の候補点を前記移動情報に基づいて求めるステップであって、前記特徴点の高さとして複数の高さを仮定して、それぞれの高さに対応する複数の候補点を求めるステップと、前記物体検出装置が、前記特徴点と前記複数の候補点のそれぞれとの相関の大きさを計算し、当該相関の大きさに基づいて、前記候補点から前記特徴点に対応する対応点を検出するステップと、前記物体検出装置が、前記対応点の高さが所定の閾値よりも大きい場合に、前記特徴点の位置に物体を検出するステップとを備える。

本発明のプログラムは、移動体に搭載されたカメラにて撮影された画像および移動体の移動情報に基づいて、物体を検出するためのプログラムであって、コンピュータに、カメラから入力された第１の画像の中から特徴点を抽出するステップと、前記第１の画像とは異なる時刻に撮影された第２の画像において、前記特徴点に対応する候補となる複数の候補点を前記移動情報に基づいて求めるステップであって、前記特徴点の高さとして複数の高さを仮定して、それぞれの高さに対応する複数の候補点を求めるステップと、前記特徴点と前記複数の候補点のそれぞれとの相関の大きさを計算し、当該相関の大きさに基づいて、前記候補点から前記特徴点に対応する対応点を検出するステップと、前記対応点の高さが所定の閾値よりも大きい場合に、前記特徴点の位置に物体を検出するステップとを実行させる。

本発明は、画像から物体を検出する計算処理負荷を軽減できる。

実施の形態の物体検出装置の構成を示す図である。 （ａ）カメラを搭載した車両が左折する様子を示す図である。（ｂ）移動情報の計算例を示す図である。 （ａ）エッジ抽出部により、画像の走査を行う例を示す図である。（ｂ）非探索範囲を設定しない探索の例を示す図である。 時刻ｔ_０の画像内のエッジに対応する、時刻ｔ_１の画像中の対応点を求める処理について説明する図である。 候補点を計算する処理を示すフローチャートである。 エッジＫ及び候補点Ｐ_４０を含む十字領域を示す図である。 相関指標値の更新処理について示す図である。 路面エッジを検出する処理を示す図である。 物体検出装置１の動作を示すフローチャートである。 物体検出装置１の動作を示すフローチャートである。

以下、本発明の実施の形態の物体検出装置および物体検出方法について、図面を参照して説明する。

図１は、実施の形態の物体検出装置１の構成を示す図である。物体検出装置１は、車両に搭載して用いられる装置である。物体検出装置１は、車両に設置されたカメラ３０及び車載ＬＡＮ３１に接続されている。物体検出装置１は、地面からカメラ３０までの高さやカメラ３０の向き等のカメラ３０の設定に関する情報を記憶している。物体検出装置１は、車載ＬＡＮ３１から車両の移動に関する車載機器の情報を受信する。移動に関する車載機器の情報とは、例えば、タイヤ切れ角、車輪移動量平均値等である。

物体検出装置１は、カメラ３０にて撮影した時系列の画像（複数フレームの画像）に基づいて静止物体を検出する機能を有する。物体検出装置１は、カメラ３０から画像を受信する画像受信部１０と、車載ＬＡＮ３１から車載機器情報を受信する車載機器情報受信部１１と、物体検出の演算を行う演算処理部１２と、検出結果を出力する出力部２０とを有している。なお、物体検出装置１は、ハードウェアとしては、電子制御ユニット（ＥＣＵ）によって構成される。このようなＥＣＵを制御して、以下に説明するような機能および動作を実現するためのプログラムも本発明の範囲に含まれる。

画像受信部１０は、撮影された画像と共に各フレームの撮影時刻の情報も受信する。これにより、画像と移動情報とを関連付けることができる。すなわち、カメラ３０から取得した時系列の画像において、ある画像が撮影されたときから次の画像が撮影されたときまでに車両がどのように移動したかを把握することができる。

演算処理部１２は、移動量計算部１３と、歪み除去部１４と、エッジ抽出部１５と、候補点計算部１６と、対応点検出部１７と、路面エッジ除去部１８と、高さ計算部１９とを有している。以下、各構成について説明する。

移動量計算部１３は、車載機器情報受信部１１にて受信した車載機器の情報に基づいて、車両の移動情報、ひいては車両に設置されたカメラ３０の移動情報を計算する機能を有している。

図２（ａ）は、車両後方を撮影するリアカメラ３０を搭載した車両が右にハンドル切った状態で後退する様子を示す図であり、図２（ｂ）はこのときの移動情報の計算例を示す図である。この例では、車載機器情報として受信したタイヤ角θと車輪移動量平均Ｄからカメラ３０の移動量を計算している。なお、カメラ３０の移動量とは、フレーム間のカメラ３０の並進移動量（ｄＸ、ｄＹ）とカメラ回転角ｄθである。

図２（ｂ）に示すように、タイヤの切れ角θ［ｒａｄ］と、車両のホイールベース長ＷＢから回転半径Ｒを求め、回転半径Ｒと車輪移動量平均Ｄからカメラ３０の回転角ｄθを計算する。そして、アッカーマンモデルによりカメラ３０の並進移動量（ｄＸ、ｄＹ）を計算する。ここでは、リアカメラ３０にて後方を撮影した画像から、カメラ３０の回転角ｄθと並進移動量（ｄＸ、ｄＹ）を計算する例を挙げて説明したが、フロントカメラやサイドカメラ等のリア以外のカメラによって撮影した画像を用いても、図２で説明したのと同様に、カメラ３０の回転角ｄθと並進移動量（ｄＸ、ｄＹ）を計算することが可能である。

歪み除去部１４は、カメラ画像の特に周辺において生じる歪みを除去する機能を有する。本実施の形態では、歪み除去後の画像における画像座標と歪み除去前の画像における画像座標とを対応付けたテーブルを有しており、このテーブルを用いて歪み除去前の画像を歪み除去後の画像に変換する。なお、歪み除去を行う方法は、上記方法に限らず、他の公知の方法を用いてもよい。また、歪補正を行わずに処理を行ってもよい。

エッジ抽出部１５は、歪み除去後のカメラ画像からエッジを抽出する機能を有する。エッジとは、周辺で画素値が変化しているような点であり、例えば、物体の輪郭やコーナー点である。

図３（ａ）は、エッジ抽出部１５により、画像の走査を行う例を示す図である。図においては、ハッチングを施した箇所はエッジであることを示す。エッジ抽出部１５は、ＲＧＢ画像のうちＧ画像のみを入力とする。エッジ抽出部１５は、３×３画素の走査ウィンドウを用いて１画素おきに走査を行う。つまり、走査のスキップ幅を２画素とする。スキップ幅が２画素なので、エッジの検出漏れが起きない。例えば、画素をＡ，Ｂ，Ｃ，Ｄ・・・とすると、例えば、Ａを走査してＡＢ間のエッジの検出を行った後、２画素飛ばしてＤを走査すると、ＣＤ間のエッジの検出を行えるが、ＢＣ間のエッジの検出が漏れる。本実施の形態では、１画素おきに走査するので、Ａを走査してＡＢ間がエッジであるかどうかを確認し、次にＣを走査してＢＣ間、ＣＤ間がエッジであるかを確認する。したがって、検出漏れが生じない。エッジ抽出部１５は、選択された画素とその周囲の４点との比を計算し、閾値以上の比を有する点の組み合わせにより、コーナー点、水平線、垂直線の３つのエッジを分離抽出する。

エッジ抽出部１５は、エッジを検出したときには、当該画素を含む所定の範囲を非探索範囲とし、走査の対象から除外する。図３（ａ）に示す例では、エッジとして検出された画素を中心とする５×５画素の範囲を非探索範囲としている。検出されたエッジの周辺に存在するエッジは、検出されたエッジに係る物体と同じ物体によるものと考えられるので、非探索範囲を設定しても物体の検出漏れは起きない。

以上の構成により、エッジ抽出部１５は、スキップ幅を２画素とすることで検出されるべき物体のエッジが未検出となることを防ぎつつ、エッジ数と演算量が大きくならないようにできる。図３（ｂ）は、非探索範囲を設定しない探索の例を示す図であるが、この場合には、図３（ａ）では非探索範囲に含まれる画素Ｇ１〜Ｇ４についてもエッジか否かの判定を行う必要があり、また、画素Ｇ３がエッジとして検出されることになる。

次に、候補点計算部１６について説明する。候補点計算部１６の説明に先立って、物体検出の概要について説明する。本実施の形態の物体検出装置１では、時刻ｔ_０、ｔ_１、ｔ_２・・・という時系列で撮影した画像から物体を検出する。具体的には、時刻ｔ_０の画像（「第１の画像」に対応）にあるエッジと、時刻ｔ_１以降に撮影した画像（「第２の画像」に対応）にあるエッジとを対応付け、この対応関係に基づいて物体を検出する。

図４は、時刻ｔ_０の画像内のエッジに対応する、時刻ｔ_１の画像中の対応点を求める処理について説明する図である。物体検出装置１は、時刻ｔ_０の画像内のエッジに対応する時刻ｔ_１以降の画像のエッジから探索する際に、時刻ｔ_０から時刻ｔ_１の間のカメラ３０の移動量の情報を用いる。カメラ３０の移動量に加えて、エッジの路面からの高さが分かれば、時刻ｔ_０の画像内のエッジが時刻ｔ_１の画像においてどこに存在するかを特定することができるが、１枚の画像だけでは二次元情報しか得られないので、エッジの高さは特定できない。

本実施の形態では、時刻ｔ_０の画像内のエッジＫの路面からの高さとして複数の高さを仮定する（例えば、０ｃｍ、２０ｃｍ、４０ｃｍ、６０ｃｍ、８０ｃｍ）。そして、エッジＫの高さが仮定した各高さであるとした場合に、時刻ｔ_１の画像においてどの位置に移動するかを求め、これを候補点Ｐ_０、Ｐ_２０、Ｐ_４０、Ｐ_６０、Ｐ_８０とする。そして、時刻ｔ_０の画像内のエッジＫとの相関が最も大きい候補点を、時刻ｔ_０のエッジＫの対応点として求める。以上の処理により、エッジＫの対応点が求まると同時に、エッジＫ及び対応点の高さも分かる。エッジＫの高さが所定値より大きい、例えば、０より大きい場合には、物体検出装置１は、そのエッジＫ及び対応点の位置に物体があると判定する。ここで、高さが所定値よりも大きいかどうかを判断しているのは、高さが所定値以下であるということは、路面上のエッジであって物体ではないと判断されるからである。

候補点計算部１６の処理について説明する。図５は、候補点を計算する処理を示すフローチャートである。候補点計算部１６は、対応点を求める処理対象のエッジの画素Ｋを選択する（Ｓ１０）。次に、エッジの高さｈを仮定し（Ｓ１１）、画素Ｋのカメラ座標をＸＹＺ座標に逆投影する（Ｓ１２）。続いて、候補点計算部１６は、カメラ３０の移動量に基づいて、画素ＫのＸＹＺ座標を移動させ、移動後の点のＸＹＺ座標を計算する（Ｓ１３）。その後、移動後の点のＸＹＺ座標をカメラ座標に投影し（Ｓ１４）、時刻ｔ_１の画像において対応する点を候補点として求める。候補点計算部１６は、処理を終了するかどうかを判定する（Ｓ１５）。別の高さｈを仮定して候補点を求める場合には、処理を終了しないで続行すると判定し（Ｓ１５でＮＯ）、高さｈを仮定するステップに戻る（Ｓ１１）。仮定する高さやカメラの位置姿勢が時間変化しない場合は、ステップＳ１２とステップＳ１４での計算は、高さごとの変換テーブルを事前に計算しておくことで高速に行える。

対応点検出部１７は、時刻ｔ_１の画像内にある複数の候補点のうち、エッジＫとの相関が最も大きい候補点を対応点として検出する。ここで、相関の大きさとは、エッジＫと候補点とが類似する度合いである。本実施の形態において、相関の大きさは、エッジＫ及び候補点を含む十字領域の画素の絶対差分の総和を相関指標値として用いる。

図６は、エッジＫ及び候補点Ｐ_４０を含む十字領域を示す図である。十字領域内の同じ位置にある画素の差分の絶対値の総和を求めて相関指標値とする。したがって、相関指標値が小さいほど、相関が大きいことを意味する。ここでは、相関の大きさを見るために、絶対差分の総和を用いているが、正規化相関などの別の方法を用いることとしてもよい。対応点検出部１７は、複数の候補点の中で、相関指標値が最小となる候補点を対応点として検出する。

ここでは、簡単のため、対応点を求める際に用いる画像として時刻ｔ_１の画像のみを用いて説明したが、対応点検出の精度を高めるために、対応点検出部１７は、図７に示すように、時刻ｔ_１以降に撮影された複数の画像（時刻ｔ_１〜ｔ_ｎの画像）における各候補点との相関指標値Ｒ_１、Ｒ_２、・・・Ｒ_ｎを平均した相関指標値Ｒを用いる。なお、複数の相関指標値Ｒ_１、Ｒ_２、・・・Ｒ_ｎを総合的に考慮する方法は、平均をとる方法に限られず、例えば、最新の画像の相関指標値に、古い画像の相関指標値よりも大きい重み付けをつけて算出する等の方法も考えられる。

路面エッジ除去部１８は、時刻ｔ_０の画像から抽出されたエッジのうち、高さが０のエッジは、路面上のエッジ（「路面エッジ」という。）であるとして除去する機能を有する。路面エッジ除去部１８は、エッジの高さが０であると仮定して、時刻ｔ_１の画像において対応する点を求める。その結果、対応する点との相関の大きさが所定の閾値よりも大きいときに高さが０であると判定して、別の高さを仮定して候補点を求めることなく、処理の対象から除外する。

ここで、本実施の形態の物体検出装置１が路面エッジを検出するために用いる閾値について説明する。図８は、路面エッジを検出する処理を示す図である。図８では、時刻ｔ_０の画像中のエッジＫが路面エッジであるか否かを判定する例を示している。路面エッジ除去部１８は、エッジＫが高さ０であると仮定して、時刻ｔ_１の画像における対応点Ｋｐを求める。そして、エッジＫとその対応点Ｋｐとの相関指標値Ｓinterを求める。また、時刻ｔ_０の画像の中で、エッジＫを１画素（ランダムな値でもよい）シフトしたエッジＫｓを求め、エッジＫｓとエッジＫとの相関指標値Ｓintraを求める。この相関指標値Ｓintraに対して定数Ｃを乗じて閾値を生成する。

路面エッジ除去部１８は、相関指標値Ｓinterと閾値Ｓintra×Ｃとを比較して、相関指標値Ｓinterが閾値以下のとき、つまり、エッジＫと対応点Ｋｐとの相関の大きさが所定の大きさよりも大きいときには、エッジＫは路面上のエッジであると判定し、物体検出の処理対象から除去する。対応点Ｋｐの相関が、１画素（ランダムな値でもよい）だけずらしたエッジＫｓとの相関よりも大きいということは、高さ０という仮定が正しいためと考えられるからである。路面エッジであると判定されたエッジＫについては、対応点検出部１７にて複数の高さを仮定して候補点を求める処理等を行わない。

高さ計算部１９は、対応点検出部１７にて検出された相関の最も大きかった対応点の高さを求める。物体検出装置１は、高さ計算部１９にて、高さが０ではない対応点については、エッジが物体の一部を示すものであるとして、物体検出を行う。

（物体検出装置の動作）
図９及び図１０は、物体検出装置１の動作を示すフローチャートである。物体検出装置１は、車載ＬＡＮ３１から移動に関する車載機器の情報を受信して入力する（Ｓ２０）と共に、カメラ３０から画像を受信して入力する（Ｓ２１）。ここで入力される画像を「第１の画像」という。次に、物体検出装置１は、入力された第１の画像中にあるエッジを抽出し（Ｓ２２）、エッジの情報と移動に関する車載機器の情報を記憶する（Ｓ２３）。

次に、物体検出装置１は、車載ＬＡＮ３１から移動に関する車載機器の情報を受信して入力する（Ｓ３０）と共に、カメラ３０から画像を受信して入力する（Ｓ３１）。物体検出装置１は、第１の画像から抽出されたエッジの中から、対応点を求める処理対象となるエッジを選択する（Ｓ３２）。選択したエッジの高さを０と仮定したときの第２の画像中における対応点を、時刻ｔ_０から時刻ｔ_１におけるカメラ３０の移動情報を用いて求める（Ｓ３３）。

次に、物体検出装置１は、エッジと対応点の相関指標値（絶対差分の総和）を求め、相関指標値が閾値以下であるか否かを判定する（Ｓ３４）。ここでは、図８を用いて説明した閾値を用いる。相関指標値が閾値以下である場合（Ｓ３４でＹＥＳ）、すなわち、エッジと対応点の相関が所定の大きさより大きい場合には、当該エッジを路面エッジであると判定して、物体検出の処理から除外する。

相関指標値が閾値以下ではない場合（Ｓ３４でＮＯ）、つまり、エッジが路面エッジではない場合には、物体検出装置１は、エッジの高さとして０以外の他の高さを仮定して、第２の画像中において対応する点を候補点として求め（Ｓ３５）、エッジと各候補点との相関指標値を計算する（Ｓ３６）。

続いて、物体検出装置１は、エッジに対する相関指標値を更新する（Ｓ３７）。ここでの処理は、複数の第２の画像内における同じ高さの候補点との相関指標値の平均をとることである。物体検出装置１は、新たな第２の画像の相関指標値が求められたときに、その時点までに得られた第２の画像に基づいて計算済みの相関指標値の平均値を用いて相関指標値を更新する。例えば、時刻ｔ_１、時刻ｔ_２、・・・時刻ｔ_ｍの画像まで処理済みで、相関指標値Ｒが、各画像との相関指標値Ｒ_１、Ｒ_２、・・・Ｒ_ｍを用いて、相関指標値Ｒ＝（Ｒ_１＋Ｒ_２＋・・・＋Ｒ_ｍ）／ｍと計算され、記憶部に記憶されているとする。ここに、新たな画像を受信して、相関指標値Ｒ_ｍ＋１が計算されたとすると、物体検出装置１は、新しい相関指標値Ｒ_ｎｅｗを、記憶された相関指標値Ｒ_ｏｌｄを用いて、Ｒ_ｎｅｗ＝（Ｒ_ｍ＋１＋ｍ×Ｒ_ｏｌｄ）／（ｍ＋１）により求める。

物体検出装置１は、第１の画像から抽出された全てのエッジについて処理を行ったか否かを判定し（Ｓ３８）、全エッジについての処理を完了していないと判定された場合には（Ｓ３８でＮＯ）、処理対象となる次のエッジを選択する（Ｓ３２）。全エッジについての処理を完了したと判定された場合には（Ｓ３８でＹＥＳ）、次の画像の入力を待つか否かを判定する（Ｓ３９）。次の画像入力を待つ場合には（Ｓ３９でＹＥＳ）、車載機器情報の入力のステップＳ３０に戻る。物体検出を行うのに次の画像が必要なければ（Ｓ３９でＮＯ）、物体検出装置１は、各エッジの候補点の相関指標値に基づいて、物体検出およびその高さの検出を行う（Ｓ４０）。具体的には、物体検出装置１は、エッジの候補点の相関指標値のうち、最小の相関指標値を有する候補点を特定し、当該候補点の相関指標値が所定の閾値以下である場合に、当該エッジの位置に物体を検出する。また、物体検出装置１は、物体が検出された候補点の高さを物体の高さとして求める。

以上、本発明の実施の形態の物体検出装置１及び物体検出方法について説明した。本実施の形態の物体検出装置１は、エッジに対応する対応点を求める際に、エッジの高さとして複数の高さを仮定する。そして、仮定した複数の高さに対応する候補点との相関指標値を求め、相関指標値に基づいて対応点を検出するので、候補点について相関指標値の計算を行なえばよく、計算処理負荷を軽減できる。

以上、本発明の実施の形態の物体検出装置について説明したが、本発明の物体検出装置は上記した実施の形態に限定されるものではない。上記した実施の形態において、エッジの高さとして仮定する数およびその高さを、車両の移動速度、加速度、舵角等の移動態様や、天候、昼夜の別、道路の種類等の環境等に応じて、変更してもよい。例えば、車両の速度が大きい場合には、仮定する高さの数を増やし、候補点を細分化することで、対応点を適切に求めることができる。また、逆に、車両の速度が大きい場合に、仮定する高さを減らし、その中で候補点を細分化することで、処理の高速化を図ってもよい。

また、これらの処理で検出した物体の情報を別のアプリケーションに適用してもよい。プリクラッシュセーフティシステム（ＰＣＳ）に適用することで、検出された静止物体との衝突の可能性が高いとシステムが判断したときに、警報やブレーキ力制御により運転者の衝突回避操作を補助することができる。また、交通標識認識（ＴＳＲ）に適用することで、検出された静止物体から交通標識を抽出する処理に用いることができる。また、走行レーン逸脱防止システム（ＬＫＡ）に適用することで、例えば、ガードレール等の静止物体から道路端を検出し、その道路端に対して警報やステアリング制御を行うことができる。

本発明は、車両等の移動体に搭載されたカメラの画像から物体を検出する装置として有用である。

１ 物体検出装置
１０ 画像受信部
１１ 車載機器情報受信部
１２ 演算処理部
１３ 移動量計算部
１４ 歪み除去部
１５ エッジ抽出部
１６ 候補点計算部
１７ 対応点検出部
１８ 路面エッジ除去部
１９ 高さ計算部
２０ 出力部
３０ カメラ
３１ 車載ＬＡＮ

Claims (11)

1. 移動体に搭載されたカメラにて撮影された画像を入力する画像入力部と、
   前記移動体の移動情報を取得する移動情報取得部と、
   前記画像入力部にて入力された第１の画像の中から特徴点を抽出する特徴点抽出部と、
   前記第１の画像とは異なる時刻に撮影された第２の画像において、前記特徴点に対応する候補となる複数の候補点を前記移動情報に基づいて求める候補点計算部であって、前記特徴点の高さとして複数の高さを仮定して、それぞれの高さに対応する複数の候補点を求める候補点計算部と、
   前記特徴点と前記複数の候補点のそれぞれとの相関の大きさを計算し、前記相関の大きさに基づいて、前記候補点から前記特徴点に対応する対応点を検出する対応点検出部と、
   前記対応点の高さが所定値よりも大きい場合に、前記特徴点の位置に物体を検出する物体検出部と、
   を備えた物体検出装置。
2. 前記対応点検出部は、複数の候補点のうちで最大の相関を有する候補点の相関が所定の大きさ以上である場合に、前記候補点を前記特徴点に対応する対応点であると判定する請求項１に記載の物体検出装置。
3. 前記対応点の高さを物体の高さとして求める高さ計算部を備える請求項１または２に記載の物体検出装置。
4. 前記候補点計算部は、仮定する高さの数およびその高さを、前記移動体の移動態様または前記移動体が置かれた環境に応じて変更して前記複数の候補点を求める請求項１乃至３のいずれかに記載の物体検出装置。
5. 前記特徴点抽出部は、前記第１の画像を走査して特徴点を探索し、特徴点が検出された場合には、その特徴点を含む所定範囲の探索を省略する請求項１乃至４のいずれかに記載の物体検出装置。
6. 前記特徴点抽出部は、１画素おきに特徴点か否かを判定する請求項５に記載の物体検出装置。
7. 前記候補点計算部は、前記特徴点の高さが０であると仮定して候補点を求め、前記特徴点と前記候補点との相関の大きさが所定の大きさ以上の場合には、当該特徴点を物体検出の処理対象から除外する請求項１乃至６のいずれかに記載の物体検出装置。
8. 前記候補点計算部は、前記特徴点の高さが０であると仮定して候補点を求め、前記特徴点と前記候補点との相関の大きさが所定の大きさ以上の場合には、当該特徴点を路面上のエッジとして検出する請求項１乃至６のいずれかに記載の物体検出装置。
9. 前記画像入力部は、前記移動体の移動に伴って撮影された第１の画像とそれに続く複数の第２の画像の入力を受け、
   前記対応点計算部は、
   前記第１の画像に続く最初の前記第２の画像が入力されたときには、前記第１の画像の特徴点と前記第２の画像の複数の候補点のそれぞれとの相関の大きさを求め、これを記憶しておき、
   新たな前記第２の画像が入力されたときは、前記第１の画像と新たな前記第２の画像の複数の候補点のそれぞれとの相関の大きさを求め、当該相関の大きさと記憶された相関の大きさに基づいて新しい相関の大きさを求め、これを記憶する処理を、新たな第２の画像の入力に伴って繰り返し行う、請求項１乃至８のいずれかに記載の物体検出装置。
10. 移動体に搭載されたカメラにて撮影された画像および移動体の移動情報に基づいて、物体検出装置が物体を検出する方法であって、
    前記物体検出装置が、カメラから入力された第１の画像の中から特徴点を抽出するステップと、
    前記物体検出装置が、前記第１の画像とは異なる時刻に撮影された第２の画像において、前記特徴点に対応する候補となる複数の候補点を前記移動情報に基づいて求めるステップであって、前記特徴点の高さとして複数の高さを仮定して、それぞれの高さに対応する複数の候補点を求めるステップと、
    前記物体検出装置が、前記特徴点と前記複数の候補点のそれぞれとの相関の大きさを計算し、当該相関の大きさに基づいて前記候補点から前記特徴点に対応する対応点を検出するステップと、
    前記物体検出装置が、前記対応点の高さが所定の閾値よりも大きい場合に、前記特徴点の位置に物体を検出するステップと、
    を備える物体検出方法。
11. 移動体に搭載されたカメラにて撮影された画像および移動体の移動情報に基づいて、物体を検出するためのプログラムであって、コンピュータに、
    カメラから入力された第１の画像の中から特徴点を抽出するステップと、
    前記第１の画像とは異なる時刻に撮影された第２の画像において、前記特徴点に対応する候補となる複数の候補点を前記移動情報に基づいて求めるステップであって、前記特徴点の高さとして複数の高さを仮定して、それぞれの高さに対応する複数の候補点を求めるステップと、
    前記特徴点と前記複数の候補点のそれぞれとの相関の大きさを計算し、当該相関の大きさに基づいて、前記候補点から前記特徴点に対応する対応点を検出するステップと、
    前記対応点の高さが所定の閾値よりも大きい場合に、前記特徴点の位置に物体を検出するステップと、
    を実行させるプログラム。

Images