JP2019061314A

JP2019061314A - 物体距離検出装置

Info

Publication number: JP2019061314A
Application number: JP2017183161A
Authority: JP
Inventors: 佐々本　学; Manabu Sasamoto; 学佐々本; 松尾　茂; Shigeru Matsuo; 松尾　　茂; 英彰城戸; Hideaki Kido; 野中　進一; Shinichi Nonaka; 進一野中
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2017-09-25
Filing date: 2017-09-25
Publication date: 2019-04-18
Anticipated expiration: 2037-09-25
Also published as: JP6891082B2; EP3690812A4; EP3690812A1; WO2019058755A1

Abstract

【課題】本発明は、物体検知精度の向上と演算負荷の低減を両立させることができる物体距離検出装置を提供する。【解決手段】撮像部１０１で撮影された基準画像内の特定の画像要素に対応する画像要素を、他の撮像部１０２で撮影される参照画像内で探索を行い、探索によって得られる視差に基づいて外界の物体とこの物体の距離を検出するステレオ距離検出部１０５と、ステレオ距離検出部１０５で検出された結果に基づいて処理領域設定部１０６で撮像部１０３により取得した外界情報から選択した領域について、物体の距離を検出する距離検出部１０７とを備える。【選択図】図１

Description

本発明は、物体距離検出装置に関する。

本技術分野の背景技術として、例えば特許文献１には、ステレオカメラによる距離検出における演算量の増大を抑える手法が提案されている。

具体的には、特許文献１では、画像を縮小し、解像度を落した縮小画像でステレオ距離検出を行い、解像度を落さない画像で領域を区切ってステレオ距離検出を行うことが述べられている。

特開２０１５−２３０７０３号公報

特許文献１に記載の技術は、画像を縮小して解像度を落した画像で距離検出を行うので、演算負荷を低減することができるが、情報量が落ちてしまうので、検出する距離の精度は被写体の距離に関わらず低下してしまうおそれがある。また、画像を縮小するための処理回路が必要となる。

そこで、本発明は、物体検知精度の向上と演算負荷の低減を両立させることができる物体距離検出装置を提供することを目的とする。

本発明の物体距離検出装置は、一例として、少なくとも複数の撮像部を有する外界情報取得部と、複数の前記撮像部のうちの一つで撮影された基準画像内の特定の画像要素に対応する画像要素を、他の前記撮像部で撮影される参照画像内で探索して、該探索によって得られる視差に基づいて外界の物体と該物体の距離を検出するステレオ距離検出部と、該ステレオ距離検出部で検出された結果に基づいて、前記外界情報取得部により取得した外界情報から、前記ステレオ距離検出部よりも高い精度で前記物体の距離を検出する距離検出部と、を有する。

本発明は、物体検知精度の向上と演算負荷の低減を両立させることができる物体距離検出装置を提供することができる。

本発明の実施例における物体距離検出装置の構成を示す図である。本発明の実施例で撮像される撮像画像の一例を示す図である。本発明の実施例で撮像される撮像画像と領域制御の一例を示す図である。本発明の実施例で撮像される別の撮像画像と領域制御の一例を示す図である。本発明の実施例における物体距離検出装置の処理タイミングを示す図である。本発明の実施例における物体距離検出装置の処理フローを示す図である。本発明の実施例における撮影画像と認識結果の一例を示す図である。本発明の実施例における消費電流の一例を示す図である。本発明の別の実施例における物体距離検出装置の構成を示す図である。本発明の別の実施例における物体距離検出装置の構成を示す図である。本発明の別の実施例における物体距離検出装置の構成を示す図である。本発明の別の実施例における物体距離検出装置の構成を示す図である。

以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の物体距離検出装置の一実施例の構成を示す図である。１は本実施例の物体距離検出装置であり、例えば車両の前方に搭載され、信号や標識、障害物などを認識して運転者を支援する安全システムの一部として構成するものである。

１０１、１０２、１０３は撮像部であり、画像センサに光学レンズが装着されている。これらの撮像部は、所定のタイミングで１枚の画像の撮像を繰り返し、撮像した画像を出力する。撮像部１０１と撮像部１０２は、所定の距離で左右に離れて設置され、撮像部１０１と撮像部１０２で撮影した画像のずれ、いわゆる視差から、被写体までの距離を算出できる。

なお、図１では物体距離検出装置１の構成要素が同一の筐体に収められる例を示したが、例えば撮像部１０１、１０２を、他の構成要素とは別の筐体にまとめて収めてもよいし（同図点線枠１１）、撮像部１０１、１０２、１０３をそれぞれ別の筐体に収めて車両に取り付けてもよい。その場合、画像信号は図示しない接続ケーブルで接続すればよい。接続ケーブルを用いて画像を伝送する方法としては、ＬＶＤＳ（ＬｏｗＶｏｌｔａｇｅＤｉｆｆｅｒｅｎｔｉａｌＳｉｇｎａｌｉｎｇ）方式の差動伝送路を用いた伝送方法などがある。

また、撮像部１０１と撮像部１０２、１０３の画像センサをカラー画像センサとすることで、撮像した画像の色情報を取得することが可能になり、交通信号や先行車の後尾灯の状態を、輝度情報に加えて色情報からも判断できるようになる。

１０４は画像補正部であり、撮像部１０１、１０２からの画像を取り込み、それぞれの画像の輝度を合わせるように予め計測されている補正値で補正し、さらにレンズによる画像の歪の補正と、撮像部１０１、１０２の画像の水平位置を合わせるようにこれも予め計測されている補正値で補正する。補正値の計測は、物体距離検出装置の製造工程で行われる。補正値適用前の装置毎に、特定の被写体を撮像し、取得した画像の輝度が均一になるような画素毎の輝度補正値、およびレンズ歪を打ち消し、画像が水平になるような画素毎の幾何補正値を求め、それぞれ補正テーブルとして、装置毎に例えば図示しない不揮発性メモリに保存しておく。

１０５はステレオ距離検出部であり、画像補正部１０４からの画像を入力して被写体の距離および物体の種別を検出する。距離を検出する方法として例えば次のような方法がある。ステレオ距離検出部１０５は、画像補正部１０４からの画像を取り込み、視差の算出を行う。前述のように、撮像部１０１と撮像部１０２は所定の距離で左右に離れて設置されているので、撮像した画像は視差を持つ。この視差を算出するいわゆるステレオ処理を行う。

視差の算出手法としては、例えば、ブロックマッチング方式がある。具体的には、まず撮像部１０１で撮影した画像の指定された画像領域上から小さく切出した所定のサイズ、例えば縦８画素、横８画素のブロック領域に対応する、撮像部１０２の画像上の領域を探索する。撮像部１０２の画像上で、同じサイズのブロック領域を水平方向に、探索密度として指定された画素数ずつずらしていき、その際の相関値を評価する。その際、例えば探索範囲を１２８画素とし、探索密度を２画素とする組み合わせや、探索範囲を３２画素とし、探索密度を１画素とする組み合わせを設定することで、処理領域の指定も合わせて計算の処理負荷と精度を制御することが可能になる。探索密度は、大きくすると距離の精度は粗くなるが探索範囲での処理負荷が軽減し、小さくするほど検出する距離の精度は高くなる。

そして、撮像部１０１と撮像部１０２における一致したブロック領域の位置の差が、画素数で表される視差となる。この視差を用いてブロック領域に映っている対象物の実環境での距離を求めることができる。なお、この例は、距離を求める対象となる画像要素として、ブロック領域を採用したものである。相関値の評価のための一致比較の手法としては、例えば、比較するブロック領域内の画素の輝度の差分の総和が小さくなった位置を視差とする。

検出される距離は、撮像部１０１、撮像部１０２のレンズ焦点距離、撮像部１０１と撮像部１０２の距離である基線長、上記で求めた視差、および撮像センサの画素ピッチから求められることは公知である。ただし、距離の算出方法はこれに限定するものではない。また、距離を求める対象となる画像要素として、上述のブロック領域に限られず、撮像センサを構成する個々の画素を採用してもよい。

物体を検出する方法は、例えば、ほぼ同一の距離を示す距離情報が近くに存在する場合、それらを一つの集合としてグループ化し、そのグループの大きさが一定以上のときにそのグループを物体とみなす。そして検出したグループの大きさと形状に基づき、例えば車両や歩行者であることを検出する。物体の大きさや形状は、参照データとして予め保持しているパタンデータとの比較から検出する方法がある。この処理方式によれば、自車両から前方の物体たとえば歩行者や車両の距離が精度よく得られるので、自車両の減速や停止などの衝突回避のための情報として用いられる。得られた物体の種類とその距離は次に述べる処理領域設定部１０６、距離検出部１０７、認識部１０８に出力される。

１０６は、処理領域設定部であり、予め定めた、または、ステレオ距離検出部１０５の結果に基づいて、撮像部１０３で撮像した画像の内、後段の距離検出部１０７において距離を検出する画像の領域を設定し切り出す。

１０７は、距離検出部であり、処理領域設定部１０６で切り出された領域について、ステレオ距離検出部１０５の結果に基づいて、その領域内の物体の距離を検出する。距離検出部１０７は、この例では単眼処理により物体を検出することから、単眼距離検出部と呼ぶことができ、入力された画像から、想定している先行車両、交通信号や道路標識などを検出する。この検出方法としては、例えば、画像の中で輝度分布やエッジの形状情報と、参照データとして保持しているパタンデータとの類似量から車両、交通信号や道路標識などの物体を検出する方法などがある。これにより、画像中の物体とその画面上の位置が把握でき、検出した物体の画面上の高さと大きさにより、その距離を検出することができる。

ここで、距離検出部１０７は、ステレオ距離検出部１０５で検出された物体の種別を入力することで、前述の物体を検出するためのパタンデータとの比較をする必要がなくなり、処理を軽減できる。また、先にステレオ距離検出部１０５で検出された物体の距離、および大きさなどを入力することで、比較するパタンデータの数を限定することができ、必要最小限の処理で物体の距離を検出できる。

１０８は認識部であり、ステレオ距離検出部１０５からの検出結果と距離検出部１０７からの検出結果を受け取り、結果を統合して、認識結果の情報を物体距離検出装置１の外部へ出力するとともに処理領域設定部１０６、距離検出部１０７にも出力する。ステレオ距離検出部１０５で得られた物体の距離情報は、距離検出部１０７で得られた相当する物体の距離情報に更新される。

上述では、ステレオ距離検出部１０５の検出結果として、一定の大きさの距離グループを物体と検知し、その結果を処理領域設定部１０６、および距離設定部１０７に出力する例を示したが、認識部１０８の認識結果を処理領域設定部１０６、および距離設定部１０７に出力してもよい。

なお、物体距離検出装置１は、例えば点線枠１２内の撮像部１０１、１０２、１０３、画像補正部１０４、ステレオ距離検出部１０５は電子回路で構成され、それ以外の構成要素は図示しないマイコンなどによるソフトウェア処理で実現される。ステレオ距離検出部１０５をソフトウェア処理で実現することも可能である。

図２は、本発明の物体距離検出装置の一実施例で撮像される撮像画像の一例を示す図である。同図中、１００１は撮像部１０１で撮像され、画像補正部１０４で補正された撮像画像を、１００２は、撮像部１０２で撮像され、画像補正部１０４で補正された撮像画像を示す。また、１００３は撮像部１０３で撮像された撮像画像を示す。２０２、２０３、２０４、２０５、２０６は被写体である歩行者、対向車、交通信号、街路樹、歩行者である。

また、２０１、２０９は、撮像画像１００１および撮像画像１００２のうち共通して撮像されている領域である共通撮像領域を示す。前述のように撮像画像１００１と撮像画像１００２の間には、共通して撮像されている領域のずれがあり、このずれ量すなわち視差により、被写体の距離を算出する。

撮像部１０３は、撮像部１０１、１０２に対して撮像画角が狭く設定されていて、撮像画像１００３は、共通撮像領域２０１の点線枠で示した領域４０１に相当する領域の撮像画像である。撮像センサの画素数が撮像部１０１、１０２と撮像部１０３で同じ場合、撮像部１０３で撮像した撮像画像の方が分解能は高くなるので、距離を検出する際の精度が高くなる。

図３は、本発明の物体距離検出装置の一実施例で撮像される撮像画像とステレオ距離検出部１０５の動作の一例を示す図である。同図中、２０１は、撮像部１０１で撮像され、画像補正部１０４で補正された撮像画像のうち、前述のように撮像部１０２で撮像された画像と共通して撮像されている領域を示す。

３０１は、ステレオ距離検出部１０５が被写体の距離および物体の種別を検出する処理範囲であり、領域２０１全体を処理する。ステレオ距離検出部１０５は、処理領域３０１の範囲を前述のブロックマッチング方式により視差を求めその視差のグループから物体を検出する。

３０２、３０３、３０４、３０５、および３０６は物体の検出結果を枠で示したものである。画像内の枠と距離表示は撮像した画像にはなく、画像上に重ねて明示的に示したものである。処理領域３０２で検出した歩行者２０２が距離５．２ｍ、処理領域３０３で検出した対向車２０３が距離１００ｍ、処理領域３０４の交通信号２０４が距離１９．７ｍ処理領域３０５の街路樹２０５が距離９５ｍ、処理領域３０６の歩行者２０６が８．３ｍの位置にあることを検出している。このように、撮影した画像全体に亘って物体の距離検出を実現できる。

ステレオ距離検出部１０５は、処理領域制御部１０６、および距離検出部１０７に、検出した物体の種別、距離、位置などを出力する。

図４は、撮像部１０３で撮像された撮像画像１００３と処理領域設定部１０６、距離検出部１０７の動作の一例を示す図である。処理領域設定部１０６は、ステレオ距離検出部１０５より出力された物体の情報から、車両が安全に走行するために必要な必要最小限の物体情報を選択し、画像として切り出し後段の距離検出部１０７に出力する。この例では、図２で示した処理領域４０１の内側に、歩行者２０２、対向車２０３、および街路樹２０５が存在する。このうち、対向車２０３の情報を選択して画像を切り出し出力する。４０３は処理領域設定部１０６により切り出して後段の距離検出部１０７に出力する画像の処理領域である。距離検出部１０７は処理領域４０３に対して、距離１００ｍに先行車ありとの情報を受け、距離を検出する。この結果、この例では、先行車両が距離１０２．３ｍと、さらに正確に位置を検出している。

このように、処理領域設定部１０６は、例えばステレオ距離検出部１０５で検出された物体との距離があらかじめ定めた距離の閾値、例えば５０ｍより遠い場合に処理領域を設定するようにすることで、処理量を削減することができる。本実施例では、歩行者２０２に対しては処理領域を設定しない。

また、処理領域設定部１０６は、ステレオ距離検出部１０５で検出した物体があらかじめ定めた物体でない場合、例えば街路樹２０５に対しては処理領域を設定しないようにすることでも処理量を削減できる。

さらに、処理領域設定部１０６は、ステレオ距離検出部１０５で物体が検出できなかった場合、処理領域を設定しないことでも処理量を削減できる。

図５は、本発明の物体距離検出装置の一実施例の処理タイミングを示す図である。同図中、（１）は画像補正部１０４、ステレオ距離検出部１０５の処理タイミングを、（２）は処理領域設定部１０６と距離検出部１０７の処理タイミングを示す。

（１）では、画像補正部１０４とステレオ距離検出部１０５による、前述の距離検出処理が行われる。また、（２）では、（１）で検出された物体情報を受け、処理領域設定部１０６の指定する処理領域４０３について、距離検出部１０７において距離検出が行われる。

このように、距離検出部１０７における距離検出処理は、指定された必要な処理領域についてのみ、ステレオ距離検出部１０５の検出結果に基づいて検出処理が行われるので、処理の負荷が低減できる。

なお、本実施例では、処理領域設定部１０６で処理領域４０３を一つ設定したが、複数の処理領域が設定された場合には、（２）の距離検出処理が複数回行われる。

図６は、本発明の物体距離検出装置の一実施例の処理フローを示す図である。まず、撮像部１０１、１０２、および１０３により画像を撮影する（Ｓ６０１：Ｓはステップを表す）。撮像部１０１、１０２で撮影したそれぞれの画像は、前述した通り、画像補正部１０４により輝度補正、レンズ歪補正や水平位置合わせが行われる（Ｓ６０２）。次にステレオ距離検出部１０５により、処理領域３０１内の物体の検出とその距離が検出される（Ｓ６０３）。

その検出結果から、処理領域設定部１０６において、撮像部１０３で撮影した画像から処理すべき領域を切り出し、距離検出部１０７に出力し（Ｓ６０４）、その物体を含む領域で距離検出部１０７において物体の距離が検出される（Ｓ６０５）。

最後に認識部１０８により、各処理領域の物体の距離検出結果に基づいて、物体の認識処理を行い、認識結果を出力する（Ｓ６０６）。これらの処理を例えば１フレーム毎に繰り返し行う。

図７は、本発明の物体距離検出装置の一実施例における撮影画像と認識結果の一例を示す図である。７０１は、ある時点で撮像部１０１により撮像された画像であり、撮像部１０２もほぼ同様の画像を撮影し取得している。また、７０２、７０３、７０４、７０５，７０６は、物体の認識結果であり、画像内の枠と距離表示は撮像した画像にはなく、画像上に重ねて明示的に示したものである。

前述の処理領域３０２から検出した歩行者２０２が距離５．２ｍ、処理領域３０４の交通信号２０４が距離１９．７ｍ、処理領域３０５の街路樹２０５が距離９５ｍ、処理領域３０６の歩行者２０６が距離８．３ｍの位置にあることを検出している。また、処理領域４０３から検出した対向車２０３が距離１０２．３ｍの位置にあることを示している。このように、撮影した画像全体に亘って精度の高い物体の距離検出を実現できる。
ここで、本実施例で示したステレオ処理では、遠方になるに従い視差の値が小さくなり誤差の影響が大きくなり、また、装置の小型化のために基線長を短くすると、遠方側の距離の検出精度が低下するが、以上の方法により、遠方側の距離を距離検出部１０７で求めることにより、近傍から遠方まで距離精度を維持できる。

本実施例によれば、撮影画像から物体とその距離を検出し、その結果に基づいて物体を含む領域に対して距離検出処理を行うので、撮像画像全体についての物体認識が、処理負荷の増大なく可能になる。

図８は、本発明の物体距離検出装置の一実施例における距離検出動作時の消費電流波形の模式図である。（１）は、本発明に拠らず、撮像画像全領域に亘って、ステレオ処理による距離検出を行った場合の動作電流波形であり、フレーム全体に亘って電力が消費される。（２）は、本発明の物体距離検出装置の一実施例における距離検出動作時の電流波形であり、（１）に対し、フレーム内の限られたタイミングで電力が消費されるので、消費電力の削減を実現できる。

図９は、本発明の物体距離検出装置の別の実施例の構成を示す図である。物体距離検出装置１は、自動車などの車両に搭載されており、同図中、８０１は車両制御部である。認識部１０８の出力が車両制御部８０１に入力されている。また、認識部１０８には、撮影画像中の距離情報から、路面部分を他の物体と分離して路面領域として検出し、その領域を処理領域設定部１０６に出力する路面検出部１０８１を備え、さらに認識部１０８は、図示しないが車両速度や操舵角などの車両情報を入力して、自車両の走行経路を予測し、処理領域設定部１０６に出力する走行経路予測部１０８２を備える。

処理領域設定部１０６は、路面検出部１０８１により検出された路面情報を入力し、路面上の物体の距離を検出するよう、距離検出部１０７での処理領域を設定する。これにより、距離検出部１０７で路面上の物体の正確な距離を検出し認識部１０８にて認識することで、自車両の障害物をいち早く認識でき、安全な走行を維持できる。また、探索条件設定部１１０は、走行経路予測部１０８２から、これから走行していく経路上の物体の距離を検出するよう、処理領域を設定することで、上記のように自車両の走行経路上の障害物を認識して、安全な走行を実現できる。

また、処理領域設定部１０６は、図示しないが自車両の車両速度を入力して、例えば速度が早い場合は処理領域を設定する際の距離の閾値を遠く設定し、速度が遅い場合は距離の閾値を近く設定することで、最小限の処理量で距離検出処理を確実に行い、安全を確保することができる。

車両制御部８０１は、認識部１０８による認識結果を受け、車両の他の図示しない装置に対し制御を行う。車両の制御としては、歩行者の接近や、赤信号や道路標識を検出したことによる、運転者への警告ランプの点灯、警告音の発生、ブレーキ制動による減速、停止制御、先行車追従時のスロットル、ブレーキ制御、その他の衝突回避や車線維持のための舵角制御などである。これらの車両制御情報は物体距離検出装置１から図示しない他の装置に対して、車内ネットワークを介して出力する。

なお、図９では車両制御部８０１は物体距離検出装置１とは同一筐体に収められる例を示したが、それに限るものではなく、前述のように、撮像部１０１、１０２、１０３を別筐体としてもよい。

図１０は、本発明の別の実施例の構成を示す図である。この実施例では、特開２０１６−２０７０３０号公報で開示されているような、撮像部１０９の光学レンズが、入射角に対する像高あたりの入射角の変化率の変曲点を所定の変曲点入射角に有する特性を持つ。このようなレンズを用いると、遠方領域での解像度を維持したまま、近傍領域および遠方領域の双方の画像を取得することが可能になる。そこで、本実施例では、撮像部１０９の近傍領域の撮像画角と撮像部１０２の撮像画角が等しくなるように設定され、撮像部１０９の遠方領域の撮像画角がそれより狭く設定されている。撮像部１０２と撮像部１０９で撮影された画像は、画像補正部１０４で補正され、撮像部１０２の画像と撮像部１０９の近傍領域の画像がステレオ距離検出部１０５に入力され、前述の距離検出と物体検出が行われる。その後、撮像部１０９の遠方領域の画像が処理領域設定部１０６に入力され、ステレオ距離検出部１０５の検出結果に基づいて、前述のように、処理領域設定部１０６、距離検出部１０７で遠方領域内の物体の距離が検出される。本実施例では、２つの撮像部でステレオ距離検出と単眼による距離検出を行うことができ、装置のコスト低減が実現できる。

図１１は、本発明の別の実施例の構成を示す図である。この実施例では、処理領域設定部１０６の入力情報を撮像部１０１、１０２、１０３以外で構成された、距離情報が得られるセンサから得るものである。例えば入力情報としては、図示しないがレーダや、赤外線センサなどのセンサから得る情報であり、対象範囲の物体の距離を求めることができる。その際レーダの場合では、処理領域設定部１０６によってレーダのビーム方向を処理する物体方向に絞る方法で処理領域を制御することが考えられる。それ以降の動作は前述の通りである。

図１２は、本発明の物体距離検出装置のさらに別の実施例の構成を示す図である。９０１はネットワーク撮像部、９０３はＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）であり、９０４は制御部である。ネットワーク撮像部９０１は、ＬＡＮ９０３を介して制御部９０４と接続されている。また、９０２は画像圧縮・インタフェース部、９０５はネットワークインタフェース部、９０６は画像伸張部である。

撮像部１０１、撮像部１０２、撮像部１０３で撮影した画像は、画像補正部１０４において、輝度補正、レンズ歪補正や水平位置合わせが行われる。次に画像圧縮・インタフェース部９０２は、画像補正部１０４からの画像を圧縮してＬＡＮ９０３に送信する。画像圧縮の方式としては処理時間を少なくするため、複数の画像の時間的相関関係を使わず、一枚の画像内で圧縮を行う画面内圧縮方式を用いる方式がある。また、映像圧縮符号化方式を選択して切り換えてもよい。

画像圧縮・インタフェース部９０２は、圧縮符号化データを生成し、所定のネットワークプロトコルに従ってデータを送信する。なお、画像補正部１０４は制御部９０４の画像伸張部９０６の後段に設けてもよいが、ネットワーク撮像部９０１の画像圧縮・インタフェース部９０２の前段で処理することにより、レンズ歪などを補正した後に画像圧縮することで、画像圧縮の高効率化と高画質化が見込まれる。その場合は、処理領域設定部１０６による処理領域の設定は、ネットワークインタフェース部９０５からＬＡＮ９０３を介して、画像圧縮・インタフェース部９０２および画像補正部１０４に伝達される。

制御部９０４においては、ネットワークインタフェース部９０５において、圧縮画像データの受信を、ＬＡＮ９０３を介して行う。制御部９０４のネットワークインタフェース部９０５で受信した圧縮画像データは、画像伸張部９０６において、処理領域設定部１０６により設定された処理領域について元の画像に伸張され、ステレオ距離検出部１０５により距離が検出される。これ以降の処理は前述の通りである。

本実施例によれば、ＬＡＮ９０６を介して圧縮画像を送信するので、撮像部側の処理量を減らすことができ、撮像部側の軽量化、低消費電力化、筐体が小さくなることによる、車両設置への寸法制限を低減することが可能になる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…物体距離検出装置、１０１〜１０３…撮像部、１０４…画像補正部、１０５…ステレオ距離検出部、１０６…処理領域設定部、１０７…距離検出部、１０８…認識部、１０９…撮像部、２０１…共通撮像領域、２０２〜２０６…被写体、３０１〜３０６…処理領域、４０１、４０３…処理領域、７０２〜７０６…認識結果、８０１…車両制御部、９０１…ネットワーク撮像部、９０２…画像圧縮・インタフェース部、９０３…ＬＡＮ、９０４…制御部、９０５…ネットワークインタフェース部、９０６…画像伸張部。

Claims

少なくとも複数の撮像部を有する外界情報取得部と、
複数の前記撮像部のうちの一つで撮影された基準画像内の特定の画像要素に対応する画像要素を、他の前記撮像部で撮影される参照画像内で探索して、該探索によって得られる視差に基づいて外界の物体と該物体の距離を検出するステレオ距離検出部と、
該ステレオ距離検出部で検出された結果に基づいて、前記外界情報取得部により取得した外界情報から、前記ステレオ距離検出部よりも高い精度で前記物体の距離を検出する距離検出部と、
を有することを特徴とする物体距離検出装置。
請求項１に記載の物体距離検出装置において、
前記ステレオ距離検出部で検出した前記物体を含む処理領域を設定する処理領域設定部を備え、
前記距離検出部は、前記外界認識部により取得した前記外界情報の内、前記処理領域設定部により設定された前記処理領域に対して、前記物体の距離を検出することを特徴とする物体距離検出装置。
請求項１に記載の物体距離検出装置において、
前記距離検出部は、前記ステレオ距離検出部で検出された距離に基づいて、前記外界情報取得部により取得した前記物体の距離を検出することを特徴とする物体距離検出装置。
請求項１に記載の物体距離検出装置において、
前記ステレオ距離検出部で検出した前記物体を含む処理領域を設定する領域設定部を備え、
前記距離検出部は、前記外界認識部により取得した前記外界情報の内、前記領域設定部により設定された処理領域に対して、前記ステレオ距離検出部で検出された距離に基づいて、前記物体の距離を検出することを特徴とする物体距離検出装置。
請求項１から４のいずれかに記載の物体距離検出装置において、
前記距離検出部は、複数の前記撮像部のうちの一つで撮影された画像から単眼処理により前記物体を検出し、前記物体の距離を検出することを特徴とする物体距離検出装置。
請求項２から４のいずれかに記載の物体距離検出装置において、
前記処理領域設定部は、前記ステレオ距離検出部で検出された前記物体との距離が所定距離の閾値より遠い場合に前記処理領域を設定することを特徴とする物体距離検出装置。
請求項２から４のいずれかに記載の物体距離検出装置において、
路面を検出する路面検出手段を備え、
前記領処理域設定部は、前記路面検出手段で検出した前記路面上に前記処理領域を設定することを特徴とする物体距離検出装置。
請求項２から４のいずれかに記載の物体距離検出装置において、
走行経路を予測する走行経路予測手段を備え、
前記処理領域設定部は、前記走行経路予測手段で予測した経路上に前記処理領域を設定することを特徴とする物体距離検出装置。
請求項２から４のいずれかに記載の物体距離検出装置において、
前記処理領域設定部は、前記処理領域を設定する前記距離の閾値を車速に応じて変化させ設定することを特徴とする物体距離検出装置。
請求項２から４のいずれかに記載の物体距離検出装置において、
前記処理領域設定部は、前記ステレオ距離検出部で検出した前記物体が所定の物体でない場合、前記処理領域を設定しないことを特徴とする物体距離検出装置。
請求項２から４のいずれかに記載の物体距離検出装置において、
前記処理領域設定部は、前記ステレオ距離検出部で前記物体の距離が検出できなかった場合、前記処理領域を設定しないことを特徴とする物体距離検出装置。
請求項５に記載の物体距離検出装置において、
複数の前記撮像部は、前記ステレオ距離検出部で検出する画像範囲より前記距離検出部で検出する画像範囲が狭い画像を撮影することを特徴とする物体距離検出装置。
請求項５に記載の物体距離検出装置において、
複数の前記撮像部は、前記ステレオ距離検出部で検出する画像範囲より前記距離検出部で検出する画像範囲の解像度が高い画像を撮影することを特徴とする物体距離検出装置。