JP2020176892A - 物体位置検出装置、走行制御システム、および走行制御方法 - Google Patents

Abstract

【課題】物体の画角位置及び距離に関わらず、物体を精度良く検出できる物体位置検出装置を提供する。【解決手段】第１〜第２撮像部１０１，１０２から得た画像から物体の距離を検出する第１距離検出部１０５と、第１距離検出部が検出した距離に基づいて、物体の位置を検出する第１位置検出部１０６と、第１〜第２撮像部を含む複数の撮像部のいずれかから得た画像内で、第１距離検出部が検出した物体を含む処理領域を設定する処理領域設定部１０７と、処理領域内で物体の位置を検出する第２位置検出部１０９と、第２位置検出部が検出した物体の位置に基づいて、物体の距離を検出する第２距離検出部１１０と、第２位置検出部が検出した物体の位置に基づいて、物体の姿勢を検出する姿勢検出部１１１と、第１〜第２距離検出部、第１〜第２位置検出部、及び姿勢検出部でそれぞれ検出される情報に応じて、物体の距離及び位置を判定する判定部１１２と、を有する。【選択図】図１

Description

本発明は、物体の位置を検出する装置に関する。

本技術分野の背景技術として、例えば特許文献１には、ステレオカメラによる物体追跡における演算量の増大を抑える手法が提案されている。

具体的には、特許文献１では、物体を三次元認識するか、二次元認識するかを三次元認識で得られた距離や画像上の大きさから切り替えて、物体追跡を行うことが述べられている。

特開２００３−６１０７５号公報

特許文献１に記載の技術は、物体を三次元認識するか、二次元認識するかを三次元認識で得られた結果によって切り替えて物体追跡を行うので、演算負荷を低減することができるが、物体が撮像画角から外れるような場合には追跡精度が低下してしまうおそれがある。

本発明はこのような課題を解決するためになされたものであり、物体の画角位置及び距離に関わらず、物体を精度良く検出できる物体位置検出装置等を提供することを主たる目的とする。

上記した課題を解決するために本発明は、第１撮像部と第２撮像部から得た画像から物体の距離を検出する第１距離検出部と、前記第１距離検出部が検出した距離に基づいて、前記物体の位置を検出する第１位置検出部と、前記第１撮像部と前記第２撮像部を含む複数の撮像部のいずれかから得た画像内で、前記第１距離検出部が検出した前記物体を含む処理領域を設定する処理領域設定部と、前記処理領域内で前記物体の位置を検出する第２位置検出部と、前記第２位置検出部が検出した前記物体の位置に基づいて、前記物体の距離を検出する第２距離検出部と、前記第２位置検出部が検出した前記物体の位置に基づいて、前記物体の姿勢を検出する姿勢検出部と、前記第１距離検出部、前記第２距離検出部、前記第１位置検出部、前記第２位置検出部、および前記姿勢検出部でそれぞれ検出される情報に応じて、前記物体の距離および位置を判定する判定部と、を有する。

本発明によれば、物体の画角位置及び距離に関わらず、物体を精度良く検出できる。

上記した以外の本発明の課題、構成、作用および効果は、以下の実施例の説明により明らかにされる。

本発明の実施例１に係る物体位置検出装置の構成を示す図である。 本発明の実施例１に係る物体位置検出装置で撮像される撮像画像の一例を示す図である。 本発明の実施例１に係る物体位置検出装置で撮像される撮像画像と検出結果の一例を示す図である。 本発明の実施例１に係る物体位置検出装置で撮像される撮像画像と別の検出結果の一例を示す図である。 本発明の実施例１に係る物体位置検出装置の処理タイミングを示す図である。 本発明の実施例１に係る物体位置検出装置の処理フローを示す図である。 本発明の実施例１に係る物体位置検出装置における走行中の撮影画像の一例を示す図である。 本発明の実施例１に係る物体位置検出装置における検出結果と判定結果の一例を示す図である。 本発明の実施例２に係る物体位置検出装置の構成を示す図である。 本発明の実施例３に係る物体位置検出装置の構成を示す図である。 本発明の実施例４に係る物体位置検出装置の構成を示す図である。 本発明の実施例５に係る物体位置検出装置の構成を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。以下の実施形態では、位置を検出する物体の例として先行車両を挙げ、先行車両の位置を検出するが、本発明はこれに限られるものではなく、如何なる物体の位置を検出するものであってもよい。

（実施例１）
図１は、本発明の実施例１に係る物体位置検出装置の構成を示す図である。１は本実施例の物体位置検出装置である。物体位置検出装置１は、例えば車両の前方に搭載され、先行車両などの物体を認識し、例えば先行車両に追従して走行する制御を支援するシステムの一部を構成する装置である。

１０１、１０２および１０３のそれぞれは撮像部である。撮像部１０１、１０２および１０３は、画像センサに光学レンズが装着されている。これらの撮像部１０１、１０２および１０３は、所定のタイミングで１枚の画像の撮像を繰り返し、撮像した画像を出力する。撮像部１０１と撮像部１０２は、所定の距離で左右に離れて設置され、撮像部１０１で撮影した画像と撮像部１０２で撮影した画像のずれ、いわゆる視差から、物体位置検出装置１は被写体までの距離を算出することができる。

なお、図１では物体位置検出装置１の構成要素が同一の筐体に収められる例を示したが、例えば撮像部１０１および１０２を、他の構成要素とは別の筐体にまとめて収めてもよいし（図１に破線枠１１で囲んで示す。）、撮像部１０１、１０２および１０３をそれぞれ別の筐体に収めて車両に取り付けてもよい。その場合、画像信号の伝送は、図示しない接続ケーブルで各構成を接続して伝送すればよい。接続ケーブルを用いて画像を伝送する方法としては、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）方式の差動伝送路を用いた伝送方法などがある。

また、撮像部１０１、１０２および１０３の画像センサを、カラー画像センサとすることで、物体位置検出装置１は、撮像した画像の色情報を取得することが可能になり、交通信号や先行車両の後尾灯の状態を、輝度情報に加えて色情報からも判断できるようになる。

１０４は画像補正部である。画像補正部１０４は、撮像部１０１および１０２それぞれからの画像を取り込み、それぞれの画像の輝度を合わせるように予め計測されている補正値で補正し、さらにレンズによる画像の歪の補正と、撮像部１０１の画像と撮像部１０２の画像との水平位置を合わせるように予め計測されている補正値で補正する。

各補正値の計測は、物体位置検出装置１の製造工程で予め行われる。補正値適用前の物体位置検出装置１の個体毎に、特定の被写体を撮像し、取得した画像の輝度が均一になるような画素毎の輝度補正値、およびレンズ歪を打ち消し、画像が水平になるような画素毎の幾何補正値を求め、それぞれ補正テーブルとして、物体位置検出装置１の個体毎に例えば図示しない不揮発性メモリに保存しておく。

１０５はステレオ距離検出部である。ステレオ距離検出部１０５は、画像補正部１０４からの画像を入力して被写体の距離および物体の種別を検出する。距離を検出する方法として例えば次のような方法がある。ステレオ距離検出部１０５は、画像補正部１０４からの画像を取り込み、視差の算出を行う。前述のように、撮像部１０１と撮像部１０２は所定の距離で左右に離れて設置されているので、撮像した画像は視差を持つ。この視差を算出するいわゆるステレオ処理を行う。

視差の算出手法としては、例えば、ブロックマッチング方式がある。具体的には、ステレオ距離検出部１０５は、まず撮像部１０１で撮影した画像の指定された画像領域上から小さく切出した所定のサイズ、例えば縦８画素、横８画素のブロック領域に対応する、撮像部１０２の画像上の領域を探索する。ステレオ距離検出部１０５は、撮像部１０２の画像上で、同じサイズのブロック領域を水平方向に、探索密度として指定された画素数ずつずらしていき、その際の相関値を評価する。その際、ステレオ距離検出部１０５は、例えば探索範囲を１２８画素とし、探索密度を２画素とする組み合わせや、探索範囲を３２画素とし、探索密度を１画素とする組み合わせを設定することで、処理領域の指定も合わせて計算の処理負荷と精度を制御することが可能になる。探索密度を大きくすると、検出する対象物の距離の精度は粗くなるが探索範囲での処理負荷が軽減し、探索密度を小さくするほど検出する距離の精度は高くなる。

そして、撮像部１０１の撮像画像と撮像部１０２の撮像画像とにおける一致したブロック領域の位置の差が、画素数で表される視差となる。ステレオ距離検出部１０５は、この視差を用いてブロック領域に映っている対象物の実環境での距離を求めることができる。なお、この例は、距離を求める対象となる画像要素として、ブロック領域を採用したものである。相関値の評価のための一致比較の手法としては、例えば、比較するブロック領域内の画素の輝度の差分の総和が小さくなった位置を視差とする。

検出される距離は、撮像部１０１および撮像部１０２のレンズ焦点距離、撮像部１０１と撮像部１０２との距離である基線長、上記で求めた視差、および撮像センサの画素ピッチから求められることは公知である。ただし、本発明において、距離の算出方法はこれに限定するものではない。また、距離を求める対象となる画像要素として、上述のブロック領域に限られず、撮像センサを構成する個々の画素を採用してもよい。

物体を検出する方法は、例えば、ステレオ距離検出部１０５は、ほぼ同一の距離を示す距離情報が近くに存在する場合、それらを一つの集合としてグループ化し、そのグループの大きさが一定以上のときにそのグループを物体とみなす。そしてステレオ距離検出部１０５は、検出したグループの大きさと形状に基づき、例えば車両であることを検出する。物体の大きさや形状は、参照データとして予め保持しているパタンデータとの比較から検出する方法がある。この処理方式によれば、自車両から前方の物体たとえば車両の距離が精度よく得られるので、自車両の減速や停止などの衝突回避のための情報として用いられる。得られた物体の種類とその距離は、後述する位置検出部１０６、処理領域設定部１０７、認識部１０８、距離検出部１１０、姿勢検出部１１１、判定部１１２に出力される。

１０６は、位置検出部である。位置検出部１０６は、ステレオ距離検出部１０５の結果に基づいて、その物体の位置を検出する。位置情報としては、例えば、撮像部１０１と撮像部１０２の設置位置の中心と、物体の横方向の中心との差で表す左右位置である。

１０７は、処理領域設定部である。処理領域設定部１０７は、ステレオ距離検出部１０５の物体検出結果に基づいて、撮像部１０３で撮像した画像の内、後段の認識部１０８、位置検出部１０９および距離検出部１１０において物体を認識しその位置および距離を検出する、その物体を含む画像の領域を設定し切り出す。

１０８は認識部である。認識部１０８は、処理領域設定部１０７により切り出された領域に含まれる物体を認識する。この例では、認識部１０８は、単眼処理により物体を認識する。認識部１０８は、入力された画像から、想定している先行車両などを検出する。この検出方法としては、例えば、画像の中で輝度分布やエッジの形状情報と、参照データとして保持しているパタンデータとの類似量から車両などの物体を検出する方法などがある。認識部１０８は、保持するパタンデータにより、先行車両の車種、例えば乗用車やトラックなどを判別することができる。

ここで、ステレオ距離検出部１０５で検出された物体の種別を認識部１０８に入力することで、認識部１０８は、前述の物体を検出するためのパタンデータとの比較をする必要がなくなり、処理を軽減できる。

１０９は位置検出部である。位置検出部１０９は、処理領域設定部１０７により切り出された領域から認識部１０８で認識された物体の位置を検出する。位置情報としては、例えば、撮像部１０１と撮像部１０２の中間点を中心とした、物体の横方向の中心との差で表す左右位置である。さらに、位置検出部１０９は、その物体の後端面の位置を特定して、後述の姿勢検出部１１１に出力する。物体の後端面は、例えば、車両の後尾面であり、車両が旋回して車両側面が取得画像に含まれる場合に、車両側面を除いた後尾面の姿勢を検出可能として、姿勢検出の精度を向上させるためである。後端面の位置の特定方法としては、画像の輝度分布や縦方向のエッジの形状情報から検出する方法などがある。なお、位置検出部１０９は、車両と認識された物体のみを選択して検出することが可能である。

１１０は距離検出部である。距離検出部１１０は、認識部１０８で認識した物体の距離を検出する。距離検出部１１０は、検出した物体の画面上の高さと大きさにより、その距離を検出することができる。

また、距離検出部１１０は、先にステレオ距離検出部１０５で検出された物体の距離、および大きさなどが入力されることで、比較するパタンデータの数を限定することができ、必要最小限の処理で物体の距離を検出することができる。

１１１は姿勢検出部である。姿勢検出部１１１は、物体の向き、例えば先行車両と自車との水平方向の角度差Δθを検出する。この角度差は、先行車両および自車のヨー角の変化に応じて変化する。姿勢検出部１１１は、例えば、その物体の相対する面の水平方向の距離を直線近似してその傾きを求める。

例えば、物体（先行車）の後尾面の水平方向（横方向）の座標Ｘに対する距離Ｚ（奥行）を（Ｘ，Ｚ）と表す場合に、測定結果として、（Ｘ１，Ｚ１）、（Ｘ２，Ｚ２）、…、（Ｘ５，Ｚ５）が得られたとする。姿勢検出部１１１は、例えば、最小二乗法等により回帰直線（Ｚ＝ａ１×Ｘ＋ａ２；ａ１，ａ１：定数）を求め、その傾きａ１からΔθ（＝ａｒｃｔａｎ（ａ１））を算出する。

姿勢検出部１１１は、検出の際には、位置検出部１０９により先行車両の後尾面を特定する情報を入力され、車両側面を除去して後尾面に限定して姿勢を検出することで、姿勢検出の精度を向上させることができる。また、姿勢検出部１１１は、車両と認識された物体のみを選択して検出することが可能である。

１１２は判定部である。判定部１１２は、ステレオ距離検出部１０５からの距離検出結果、位置検出部１０６からの位置検出結果、姿勢検出部１１１からの姿勢検出結果、位置検出部１０９からの位置検出結果、および距離検出部１１０からの距離検出結果を受け取り、結果を判定して、物体の検出結果を物体位置検出装置１の外部へ出力する。

なお、物体位置検出装置１は、例えば、図１に示す破線枠１２内の、撮像部１０１、撮像部１０２、撮像部１０３、画像補正部１０４、およびステレオ距離検出部１０５は、電子回路で構成され、物体位置検出装置１のそれ以外の構成要素は図示しないマイコンなどによるソフトウェア処理で実現される。ステレオ距離検出部１０５をソフトウェア処理で実現することも可能である。

図２は、本発明の実施例１に係る物体位置検出装置１で撮像される撮像画像の一例を示す図である。同図中、１００１は、撮像部１０１で撮像され、画像補正部１０４で補正された撮像画像を示し、１００２は、撮像部１０２で撮像され、画像補正部１０４で補正された撮像画像を示す。また、１００３は、撮像部１０３で撮像された撮像画像を示す。２０２は、被写体である先行車両である。２０３は、被写体である歩行者である。２０４は、被写体である街路樹である。２０５は、被写体である交通信号である。

また、同図中、２０１、２０９は、撮像画像１００１および撮像画像１００２のうち共通して撮像されている領域（共通撮像領域）である。前述のように撮像画像１００１と撮像画像１００２の間には、共通して撮像されている領域のずれがあり、このずれ量すなわち視差により、被写体の距離を算出する。

撮像部１０３は、撮像部１０１および撮像部１０２に対して撮像画角がほぼ同じになるよう設定されている。撮像画像１００３は、撮像画像１００１の破線枠で囲んだ領域２０１に相当する領域の撮像画像である。また、例えば撮像部１０３の撮像センサとして、その画素数が、撮像部１０１および撮像部１０２の撮像センサの画素数よりも多いものを用いれば、撮像部１０３で撮像した撮像画像１００３の方が分解能は高くなるので、物体の検出、および距離の検出の際の精度が高くなる。

図３は、本発明の実施例１に係る物体位置検出装置１で撮像される撮像画像とステレオ距離検出部１０５、位置検出部１０６、および姿勢検出部１１１の動作の一例を示す図である。同図中、領域２０１は、撮像部１０１で撮像され、画像補正部１０４で補正された撮像画像のうち、前述のように撮像部１０２で撮像された画像と共通して撮像されている領域である。

３０１は、ステレオ距離検出部１０５が被写体の距離および物体の種別を検出する処理領域である。本実施例では、処理領域３０１は、領域２０１全体である。ステレオ距離検出部１０５は、処理領域３０１の範囲において前述のブロックマッチング方式により視差を求めその視差のグループから物体を検出する。

３０２、３０３、３０４、および３０５は物体の検出結果を破線枠で囲んで示した処理領域である。画像内の枠と数値表示は撮像した画像にはなく、画像上に重ねて明示的に示したものである。本実施例では、処理領域３０２で検出した先行車両２０２は距離１０．６ｍ、位置２．３ｍ、姿勢０．５度であり、処理領域３０３で検出した歩行者２０３は距離５．２ｍであり、処理領域３０４の街路樹２０４は距離３５．３ｍであり、そして処理領域３０５の交通信号２０５は距離１９．７ｍの位置にあることを検出している。このように、物体位置検出装置１によれば、撮影した画像全体に亘って物体の距離、位置、姿勢検出を実現できる。

これらの検出した物体の距離、位置、姿勢は、判定部１１２に出力される。

図４は、撮像部１０３で撮像された撮像画像１００３と処理領域設定部１０７、認識部１０８、位置検出部１０９、および距離検出部１１０の動作の一例を示す図である。処理領域設定部１０７は、ステレオ距離検出部１０５より出力された物体の情報から、例えば車両であることを示す物体情報を選択し、画像として切り出し、後段の認識部１０８に出力する。この例では、図２で示した処理領域３０１の内側に、先行車両２０２が存在し、処理領域設定部１０７は、先行車両２０２の情報を選択して画像を切り出し出力する。４０１は、処理領域設定部１０７により切り出して後段の認識部１０８に出力する画像の処理領域であり、それ以降の処理負荷を軽減することができる。ここでは位置検出部１０９、および距離検出部１１０の検出結果として、先行車両２０２が距離１０．６ｍ、位置２．３ｍにあることを示している。位置検出部１０９、および距離検出部１１０は、これらの検出した物体の距離、位置を判定部１１２に出力する。

図５は、本発明の実施例１に係る物体位置検出装置１の処理タイミングを示す図である。図５（Ａ）は、画像補正部１０４、ステレオ距離検出部１０５、位置検出部１０６、および姿勢検出部１１１の処理タイミングを示す。図５（Ｂ）は、処理領域設定部１０７、認識部１０８、位置検出部１０９、および距離検出部１１０の処理タイミングを示す。図５（Ｃ）は、判定部１１２の処理タイミングを示す。

図５（Ａ）では、画像補正部１０４とステレオ距離検出部１０５による、前述の距離検出処理が行われ、物体を検出し、位置検出部１０６においてその物体の位置を検出し、また姿勢検出部１１１において物体の姿勢を検出する。

また、図５（Ｂ）では、図５（Ａ）で検出された物体情報を受け、処理領域設定部１０７の指定する処理領域について、認識部１０８で物体を認識し、位置検出部１０９において物体の位置の検出が行われ、距離検出部１１０において距離検出が行われる。

図５（Ｃ）では、図５（Ａ）および図５（Ｂ）で得られた検出結果をもとに判定部１１２で判定した物体の検出結果を出力する。

図６は、本発明の実施例１に係る物体位置検出装置１の処理フローを示す図である。まず、撮像部１０１、１０２、および１０３により画像を撮影する（ステップＳ６０１）。撮像部１０１、１０２で撮影したそれぞれの画像は、前述した通り、画像補正部１０４により輝度補正、レンズ歪補正や水平位置合わせが行われる（ステップＳ６０２）。次にステレオ距離検出部１０５により、処理領域３０１内の物体の検出とその距離が検出される（ステップＳ６０３）。さらに、位置検出部１０６により物体の位置の検出（ステップＳ６０４）と、姿勢検出部１１１において姿勢検出（ステップＳ６０５）が行われる。

一方、ステレオ距離検出部１０５の検出結果から、処理領域設定部１０７において、撮像部１０３で撮影した画像から処理すべき領域を切り出し、認識部１０８に出力し（ステップＳ６０６）、その物体を含む領域で認識部１０８において物体が認識される（ステップＳ６０７）。次に位置検出部１０９において物体の位置が検出されるとともに（ステップＳ６０８）、距離検出部１１０において、物体の距離が検出される（ステップＳ６０９）。

最後に判定部１１２により、各ステップでの物体の検出結果に基づいて判定を行い、判定結果を出力する（ステップＳ６１０）。物体位置検出装置１は、これらの処理を例えば１フレーム毎に繰り返し行う。

図７は、本発明の実施例１に係る物体位置検出装置１の走行中の撮影画像の一例を示す図である。図７（Ａ）は、ある時刻ｔ１に、撮像部１０１により撮像された画像であり、先行車両２０２が撮影画角に対し全て収まった状態で画像を取得している。図７（Ｂ）は、時刻ｔ１よりも後の時刻である時刻ｔ２に、撮像部１０１により撮影された画像であり、先行車両２０２に接近した状態で、先行車両２０２が撮影画角に対し収まってはいないが正面に留まった状態で画像を取得している。さらに図７（Ｃ）は、時刻ｔ２よりも後の時刻である時刻ｔ３に、撮像した、先行車両２０２が旋回し、撮影画角から外れようとしている状態の画像を取得している。

図８は、図７（Ａ）、図７（Ｂ）および図７（Ｃ）に示した、走行中に取得した撮影画像から、時系列に検出した検出結果と、判定した最終的に用いる検出結果の割合を示す図である。時間ｔ１、ｔ２、およびｔ３は、それぞれ図７（Ａ）の撮影画像、図７（Ｂ）の撮影画像、および図７（Ｃ）の撮影画像を撮影した時刻を示す。

図８（Ａ）は、距離の検出結果を示したものであり、実線はステレオ距離検出部１０５による距離検出結果であり、破線は距離検出部１１０による距離検出結果である。図８（Ａ）において、横軸は時間であり、縦軸は距離である。時刻ｔ１付近は、先行車両２０２が撮影画角に全て収まった状態であり遠方となるため、ステレオ距離検出部１０５による距離検出では、遠方になるに従い視差の値が小さくなり誤差の影響が大きくなり、また装置の小型化のために基線長を短くすると、遠方側の距離の検出精度が低下する。従って検出誤差を含む結果となる。一方、距離検出部１１０による距離検出は、認識部１０８により画像による追跡、時系列処理が行われるため、安定した検出結果が得られる。時刻ｔ２付近は、先行車両２０２が接近した状態であり、ステレオ距離検出部１０５は視差が大きくなるため精度よく距離が検出できるが、距離検出部１１０では、先行車両２０２は画角に収まらない状態となっているので、前述のパタンデータとの比較が困難になってくるため、検出誤差が増加する。時刻ｔ３付近は、さらに接近するため、ステレオ距離検出部１０５は精度のよい検出結果が得られるが、距離検出部１１０では、車両の後尾面が斜めになるため、距離の検出誤差がさらに増し、最終的にはパタンデータとの比較ができなくなり、距離検出ができなくなる。

図８（Ｂ）は、位置の検出結果を示したものであり、実線は位置検出部１０６による位置検出結果であり、破線は位置検出部１０９による位置検出結果である。図８（Ｂ）において、横軸は時間であり、縦軸は位置である。前述のように位置検出部１０６は、ステレオ距離検出部１０５による距離検出結果から物体の位置を検出しているので、時刻ｔ１では検出誤差を含み、時刻ｔ２、時刻ｔ３と、精度よく位置の検出結果が得られる。一方、位置検出部１０９は、距離検出部１１０と同様、先行車両２０２が撮影画角に収まらなくなると検出誤差が増加し、最終的には検出できなくなる。

図８（Ｃ）は、姿勢検出部１１１の検出結果を示す。図８（Ｃ）において、横軸は時間であり、縦軸は姿勢である。本実施例では、先行車両２０２が左旋回する場合の姿勢をプラス方向としている。時刻ｔ３以降で、先行車両２０２が大きく旋回していることを示す。

図８（Ｄ）および図８（Ｅ）は、得られた距離検出結果および位置検出結果から、判定部１１２が最終的に用いる検出結果の割合を示すものである。図８（Ｄ）および図８（Ｅ）において、横軸は時間であり、縦軸は割合である。

図８（Ｄ）の曲線の下側で示される割合ａは、判定部１１２が距離検出部１１０による検出結果を使用する割合であり、図８（Ｄ）の曲線の上側で示される割合ｂは、判定部１１２がステレオ距離検出部１０５の検出結果を使用する割合である。割合ａと割合ｂの合計値は１となる。判定部１１２が使用する割合は、その時点での精度よく得られている検出結果を高い割合で使用する（重みづけを重くする。）。時刻ｔ１付近では、判定部１１２は距離検出部１１０による検出結果に重きをおいて使用する。本実施例では、時刻ｔ１付近では、割合ａは０．９であり、割合ｂは０．１である。ここで、距離検出部１１０による検出結果の距離をｚ１とし、ステレオ距離検出部１０５の検出結果の距離をｚ２とし、判定部１１２が使用する距離をｚとすると、時刻ｔ１付近では、例えば、ｚ＝０．９×ｚ１＋０．１×ｚ２で表される。

時刻ｔ２付近では、判定部１１２はステレオ距離検出部１０５による検出結果を多く使用し、時刻ｔ３では判定部１１２はステレオ距離検出部１０５の検出結果のみを使用する。さらに、位置検出結果により物体の位置が撮影画角からはみ出すような位置にある場合には、判定部１１２はステレオ距離検出部１０５による検出結果を採用する。

また、図８（Ｅ）の曲線の下側で示される割合ｃは、判定部１１２が位置検出部１０９による検出結果を使用する割合であり、図８（Ｅ）の曲線の上側で示される割合ｄは、判定部１１２が位置検出部１０６の検出結果を使用する割合である。時刻ｔ１付近では、判定部１１２は位置検出部１０９による検出結果に重きをおいて使用する。時刻ｔ２付近では、判定部１１２は位置検出部１０６による検出結果を多く使用し、時刻ｔ３では判定部１１２は位置検出部１０６の検出結果のみを使用する。さらに、距離検出結果により物体が撮影画角からはみ出すような近傍位置にある場合には、判定部１１２は位置検出部１０６による検出結果を採用する。

また、姿勢検出部１１１の検出結果が、距離検出部１１０や位置検出部１０９で検出できなくなるような角度より大きくなった場合に、判定部１１２はステレオ距離検出部１０５の距離検出結果や位置検出部１０６の位置検出結果を使用することもできる。

また、判定部１１２は、ステレオ距離検出部１０５により検出された距離が所定の距離より遠く、位置検出部１０９により検出された位置が所定の範囲内の場合、距離検出部１１０と位置検出部１０６の検出結果を採用するようにしてもよい。

また、判定部１１２は、ステレオ距離検出部１０５により検出された距離が所定の距離より近く、位置検出部１０９により検出された位置が所定の範囲外の場合、ステレオ距離検出部１０５と位置検出部１０９の検出結果を採用するようにしてもよい。

また、判定部１１２は、姿勢検出部１１１により検出された物体の姿勢が所定の角度より大きい場合、ステレオ距離検出部１０５と位置検出部１０９の検出結果を採用するようにしてもよい。

以上のように、本実施例の物体位置検出装置１によれば、先行車両２０２が撮影画角からはみ出す状態でも、先行車両２０２の距離、位置、姿勢を精度よく継続して検出することが可能になる。すなわち、物体の画角位置や距離に関わらず、物体の追跡を継続して位置、距離、姿勢情報を取得できる。

（実施例２）
図９は、本発明の実施例２に係る物体位置検出装置の構成を示す図である。本実施例では、図示しない先行車両に自動的に追従して走行する場合の例である。図１の構成と同じ機能を果たす構成については、図１と同じ符号を付して詳しい説明を省略する。物体位置検出装置１は、自動車などの車両に搭載されており、同図中、９０１は車両制御部である。判定部１１２の出力が車両制御部９０１に入力されている。

物体位置検出装置１を搭載する車両（先行車両に追従して走行する後続車両）は、先行車両の後方に配置され、先行車両を追従する。その際、物体位置検出装置１は、先行車両の距離、位置、姿勢を前述に示したように検出する。

車両制御部９０１は、判定部１１２による検出結果を受け、この検出結果に基づき、車両の図示しない他の装置に対し制御を行う。車両の制御対象としては、舵角、ブレーキ、ステアリング装置などであり、検出した結果に基づいて、先行車両に追従して走行するように制御する。これらの車両制御情報は物体位置検出装置１から図示しない他の装置に対して、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｏｗｏｒｋ）などの車内ネットワークを介して出力する。先行車両との車間距離を短く設定した追従で、撮影画角に入りきらない場合や、先行車両が旋回し、撮影画角から外れる場合であっても、本実施例の物体位置検出装置１によれば、前述のように、精度よく継続して先行車両の距離や位置、姿勢が検出可能であり、先行車両に安全に追従することが可能になる。

なお、図９では車両制御部９０１は物体位置検出装置１とは同一筐体に収められる例を示したが、それに限るものではなく、別筐体とし、車内ネットワークを介して検出結果を伝送してもよく、また、前述のように、撮像部１０１、撮像部１０２、および撮像部１０３を別筐体としてもよい。

（実施例３）
図１０は、本発明の実施例３に係る物体位置検出装置の構成を示す図である。図１の構成と同じ機能を果たす構成については、図１と同じ符号を付して詳しい説明を省略する。この実施例では、図１の撮像部１０３は設けず、撮像部１０１および撮像部１０２の２つの撮像部のみで構成され、そのうちの撮像部１０１の撮影画像が、認識部１０８に処理領域設定部１０７を介して入力される。また、距離検出部１１０も、ステレオ距離検出部１０５と同様にステレオ処理による距離検出を行う。処理領域設定部１０７には、画像補正部１０４から補正された撮像部１０１および撮像部１０２の画像が入力され、ステレオ距離検出部１０５の検出結果を受け、処理領域が設定され、距離検出部１１０に入力される。距離検出部１１０では、処理領域設定部１０７で設定された処理領域について、前述のステレオ処理による距離検出が行われる。この処理は電子回路で構成してもよいし、ソフトウェア処理で実現することの可能である。また、ステレオ距離検出部１０５を併用して、時分割で動作させてもよい。

本実施例では、撮像部１０１および撮像部１０２の２つの撮像部でステレオ距離検出と単眼による距離検出を行うことができ、装置のコスト低減が実現できる。また、２つの撮像部のうちの一方が故障して画像を取得できなくなった場合、他方の撮像部のみで距離検出と位置検出を行うことにより安全性を維持できる。

（実施例４）
図１１は、本発明の実施例４に係る物体位置検出装置の構成を示す図である。図１の構成と同じ機能を果たす構成については、図１と同じ符号を付して詳しい説明を省略する。この実施例では、処理領域設定部１０７の入力情報を、撮像部１０１、撮像部１０２、および撮像部１０３以外で構成された、距離や位置情報が得られるセンサから得るものである。例えば入力情報としては、図示しないレーダや、赤外線センサなどのセンサから得る情報であり、対象範囲の物体の距離や位置を求めることができる。その際レーダの場合では、処理領域設定部１０７によってレーダのビーム方向を処理する物体方向に絞る方法で処理領域を制御することが考えられる。それ以降の動作は前述の通りである。

（実施例５）
図１２は、本発明の実施例５に係る物体位置検出装置の構成を示す図である。図１の構成と同じ機能を果たす構成については、図１と同じ符号を付して詳しい説明を省略する。１２０１はネットワーク撮像部である。１２０３はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。１２０４は制御部である。ネットワーク撮像部１２０１は、例えば車両のフロントガラスに取り付けられる。制御部１２０４は、ネットワーク撮像部１２０１と別の筐体に収容され、車両内のスペースが確保できる場所に配置される。ＬＡＮ１２０３としては、例えば、ＩＥＥＥ８０２．３などで規定されるネットワークを用いてもよい。

ネットワーク撮像部１２０１は、ＬＡＮ１２０３を介して制御部１２０４と接続されている。また、１２０２は画像圧縮・インタフェース部である。１２０５はネットワークインタフェース部である。１２０６は画像伸張部である。

撮像部１０１、撮像部１０２、および撮像部１０３で撮影した画像は、画像補正部１０４において、輝度補正、レンズ歪補正や水平位置合わせが行われる。次に画像圧縮・インタフェース部１２０２は、画像補正部１０４からの画像を圧縮してＬＡＮ１２０３を介して制御部１２０４に送信する。画像圧縮の方式としては処理時間を少なくするため、複数の画像の時間的相関関係を使わず、一枚の画像内で圧縮を行う画面内圧縮方式を用いる方式がある。また、映像圧縮符号化方式を選択して切り換えてもよい。

画像圧縮・インタフェース部１２０２は、圧縮符号化データを生成し、所定のネットワークプロトコルに従ってデータを送信する。なお、画像補正部１０４は、制御部１２０４の画像伸張部１２０６の後段に設けてもよいが、ネットワーク撮像部１２０１の画像圧縮・インタフェース部１２０２の前段で処理することにより、レンズ歪などを補正した後に画像圧縮することで、画像圧縮の高効率化と高画質化が見込まれる。その場合は、処理領域設定部１０７による処理領域の設定は、ネットワークインタフェース部１２０５からＬＡＮ１２０３を介して、画像圧縮・インタフェース部１２０２および画像補正部１０４に伝達される。

制御部１２０４においては、ネットワークインタフェース部１２０５において、圧縮画像データの受信を、ＬＡＮ１２０３を介して行う。制御部１２０４のネットワークインタフェース部１２０５で受信した圧縮画像データは、画像伸張部１２０６において、処理領域設定部１０７により設定された処理領域について元の画像に伸張され、ステレオ距離検出部１０５により距離が検出される。これ以降の処理は前述の通りである。

本実施例によれば、ＬＡＮ１２０３を介して圧縮画像を送信するので、撮像部側の処理量を減らすことができ、撮像部側の軽量化、低消費電力化、筐体が小さくなることによる、車両設置への寸法制限を低減することが可能になる。ネットワークの伝送帯域幅が十分確保できれば、画像の圧縮伸長を施さずに伝送することも可能である。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

なお、本発明の実施例は、以下の態様であっても良い。

（１）．複数の撮像部のそれぞれで撮像された物体の画像から前記物体の位置を検出する物体位置検出装置であって、前記複数の撮像部は第１の撮像部と第２の撮像部とを含み、前記第１の撮像部から得た画像を基準画像とし、前記第２の撮像部から得た画像を参照画像とした場合、前記基準画像内の画像要素に対応する前記参照画像内の画像要素を探索することで得られた視差に基づいて、前記物体の距離を検出する第１の距離検出部と、前記第１の距離検出部で検出された距離に基づいて、前記物体の位置を検出する第1の位置検出部と、前記複数の撮像部のいずれかから得た画像内で、前記第１の距離検出部で検出した前記物体を含む処理領域を設定する処理領域設定部と、前記処理領域内で前記物体の位置を検出する第２の位置検出部と、前記第２の位置検出部で検出した前記物体の位置に基づいて、前記物体の距離を検出する第２の距離検出部と、前記第２の位置検出部で検出した前記物体の位置に基づいて、前記物体の姿勢を検出する姿勢検出部と、前記第１の距離検出部、前記第２の距離検出部、前記第１の位置検出部、前記第２の位置検出部、および前記姿勢検出部でそれぞれ検出された距離、位置、および姿勢に応じて、前記物体の距離および位置を判定する判定部と、を有する。

（２）．前記第２の位置検出部は、追跡している前記物体の所定の部位を検出し、前記姿勢検出部は、前記第２の位置検出部により検出された所定の部位から特定された前記物体の後端面の位置の姿勢を検出する、ことを特徴とする（１）に記載の物体位置検出装置。

１…物体位置検出装置、１０１〜１０３…撮像部、１０４…画像補正部、１０５…ステレオ距離検出部、１０６…位置検出部、１０７…処理領域設定部、１０８…認識部、１０９…位置検出部、１１０…距離検出部、１１１…姿勢検出部、１１２…判定部、２０１…共通撮像領域、２０２〜２０５…被写体、３０１〜３０５…処理領域、４０１…処理領域、９０１…車両制御部、１２０１…ネットワーク撮像部、１２０２…画像圧縮・インタフェース部、１２０３…ＬＡＮ、１２０４…制御部、１２０５…ネットワークインタフェース部、１２０６…画像伸張部。

Claims (7)

1. 第１撮像部と第２撮像部から得た画像から物体の距離を検出する第１距離検出部と、
   前記第１距離検出部が検出した距離に基づいて、前記物体の位置を検出する第１位置検出部と、
   前記第１撮像部と前記第２撮像部を含む複数の撮像部のいずれかから得た画像内で、前記第１距離検出部が検出した前記物体を含む処理領域を設定する処理領域設定部と、
   前記処理領域内で前記物体の位置を検出する第２位置検出部と、
   前記第２位置検出部が検出した前記物体の位置に基づいて、前記物体の距離を検出する第２距離検出部と、
   前記第２位置検出部が検出した前記物体の位置に基づいて、前記物体の姿勢を検出する姿勢検出部と、
   前記第１距離検出部、前記第２距離検出部、前記第１位置検出部、前記第２位置検出部、および前記姿勢検出部でそれぞれ検出される情報に応じて、前記物体の距離および位置を判定する判定部と、
   を有することを特徴とする物体位置検出装置。
2. 前記第２位置検出部は、追跡している前記物体の所定の部位を検出し、前記姿勢検出部は、前記第２位置検出部により検出された所定の部位から特定された前記物体の後尾面の位置の姿勢を検出する、
   ことを特徴とする請求項１に記載の物体位置検出装置。
3. 前記判定部は、前記第１距離検出部により検出された距離が所定の距離より遠く、前記第１位置検出部により検出された位置が所定の範囲内の場合、前記第２距離検出部と前記第２位置検出部の検出結果を採用する、
   ことを特徴とする請求項１又は２に記載の物体位置検出装置。
4. 前記判定部は、前記第１距離検出部により検出された距離が所定の距離より近く、前記第１位置検出部により検出された位置が所定の範囲外の場合、前記第１距離検出部と前記第１位置検出部の検出結果を採用する、
   ことを特徴とする請求項１又は２に記載の物体位置検出装置。
5. 前記判定部は、前記姿勢検出部により検出された前記物体の姿勢が所定の角度より大きい場合、前記第１距離検出部と前記第１位置検出部の検出結果を採用する、
   ことを特徴とする請求項１又は２に記載の物体位置検出装置。
6. 先行車に追従する後続車の走行を制御する走行制御システムにおいて、
   前記後続車は、前方を撮像する複数の撮像部のそれぞれで撮像された前記先行車の画像から前記先行車の位置を検出する位置検出装置を備え、
   前記複数の撮像部は第１撮像部と第２撮像部とを含み、
   前記位置検出装置は、
   前記第１撮像部から得た画像を基準画像とし、前記第２撮像部から得た画像を参照画像とした場合、前記基準画像内の画像要素に対応する前記参照画像内の画像要素を探索することで得られた視差に基づいて、前記先行車の距離を検出する第１距離検出部と、
   前記第１距離検出部で検出された距離に基づいて、前記先行車の位置を検出する第１位置検出部と、
   前記複数の撮像部のいずれかから得た画像内で、前記第１距離検出部で検出した前記先行車を含む処理領域を設定する処理領域設定部と、
   前記処理領域内で前記先行車の位置を検出する第２位置検出部と、
   前記第２位置検出部で検出した前記先行車の位置に基づいて、前記先行車の距離を検出する第２距離検出部と、
   前記第２位置検出部で検出した前記先行車の位置に基づいて、前記先行車の姿勢を検出する姿勢検出部と、
   前記第１距離検出部、前記第２距離検出部、前記第１位置検出部、前記第２位置検出部、および前記姿勢検出部でそれぞれ検出された距離、位置、および姿勢に応じて、前記先行車の距離および位置を判定する判定部と、を有し、
   前記判定部の判定に基づき前記後続車を制御する車両制御部を有する、
   ことを特徴とする走行制御システム。
7. 先行車に追従する後続車の走行を制御する走行制御方法であって、
   前記後続車の前方を撮像する複数の撮像部のうち、第１撮像部から得た画像を基準画像として、第２撮像部から得た画像を参照画像とした場合、前記基準画像内の画像要素に対応する前記参照画像内の画像要素を探索することで得られた視差に基づいて、前記先行車の第１距離を検出するステップと、
   前記第１距離を検出するステップで検出された前記第１距離に基づいて、前記先行車の第１位置を検出するステップと、
   前記複数の撮像部のいずれかで得た前記画像内で、前記第１距離を検出するステップで検出した前記先行車を含む処理領域を設定するステップと、
   前記処理領域内で前記先行車の第２位置を検出するステップと、
   前記第２位置に基づいて、前記先行車の第２距離を検出するステップと、
   前記第２位置に基づいて、前記先行車の姿勢を検出するステップと、
   前記第１距離、前記第２距離、前記第１位置、前記第２位置、および前記姿勢に応じて、前記先行車の距離および位置を判定するステップと、
   前記判定するステップの判定に基づき前記後続車を制御するステップと、
   を有する、
   ことを特徴とする走行制御方法。

Images