JP2021056651A - 物体検出装置、走行制御システム、および走行制御方法 - Google Patents

Abstract

【課題】物体の画角位置および距離に関わらず、物体を精度良く検出できる物体検出装置等を提供する。【解決手段】物体の距離を検出するステレオ距離検出部１０５と、物体の位置を検出する位置検出部１０６と、物体の姿勢を検出する姿勢検出部１１１と、自車両と他車両の状態情報を入力する車両情報入力部と、自車両と他車両の状態情報に基づいて、他車両の位置を推定する位置推定部１０９と、自車両と他車両の状態情報に基づいて、他車両の姿勢を推定する姿勢推定部１１０と、距離検出部、位置検出部、姿勢検出部、位置推定部、および姿勢推定部でそれぞれ検出または推定される情報に応じて、他車両の距離、位置、および姿勢を判定する判定部１１２とを有する。【選択図】図１

Description

本発明は、例えば自車両から先行車両などの物体を検出する物体検出装置に関する。

本技術分野の背景技術として、例えば特許文献１には、自車両の前方を走行する先行車両の走行軌跡を予測する手法が提案されている。
具体的には、特許文献１では、撮像装置で撮像した画像を解析して先行車両の向きや速度を検出して、走行軌跡の予測を行うことが述べられている。

特開２０１８−９７６４４号公報

特許文献１に記載の技術は、撮像装置で撮像した画像を解析して先行車両の向きや速度を検出し、走行軌跡の予測を行うので、物体が撮影画角から外れるような場合には追跡精度が低下してしまうおそれがある。

本発明はこのような課題を解決するためになされたものであり、物体の画角位置および距離に関わらず、物体を精度良く検出できる物体検出装置等を提供することを主たる目的とする。

上記課題を解決する本発明の物体検出装置は、物体の距離を検出する距離検出部と、前記距離検出部で検出された距離に基づいて、前記物体の位置を検出する位置検出部と、前記距離検出部で検出された距離に基づいて、前記物体の姿勢を検出する姿勢検出部と、自車両の状態情報を入力する第１の車両情報入力部と、他車両の状態情報を入力する第２の車両情報入力部と、前記第１の車両情報入力部および前記第２の車両情報入力部により入力した前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の位置を推定する位置推定部と、前記第１の車両情報入力部および前記第２の車両情報入力部により入力した前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の姿勢を推定する姿勢推定部と、前記距離検出部、前記位置検出部、前記姿勢検出部、前記位置推定部、および前記姿勢推定部でそれぞれ検出または推定される情報に応じて、前記他車両の距離、位置、および姿勢を判定する判定部とを有する。

本発明によれば、物体の画角位置および距離に関わらず、物体を精度良く検出できる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成および効果は、以下の実施形態の説明により明らかにされる。

第１実施形態に係る物体検出装置の構成を示す図。 左右の撮像部で同時に撮像した一対の撮像画像の一例を示す図。 図２に示す一対の撮像画像を用いて検出した結果の一例を示す図。 車両の走行軌跡の一例を示す図。 第１実施形態に係る物体検出装置の処理タイミングを示す図。 第１実施形態に係る物体検出装置の処理フローを示す図。 走行中の撮影画像の一例を示す図。 第１実施形態に係る物体検出装置による検出結果と推定結果の一例を示す図。 自車両と先行車両との位置関係の一例を説明する図。 第２実施形態に係る物体検出装置の構成を示す図。 第３実施形態に係る物体検出装置の構成を示す図。 第４実施形態に係る物体検出装置の構成を示す図。

以下、本発明の実施形態について、図面を参照して説明する。以下の実施形態では、位置を検出する物体の例として先行車両を挙げ、先行車両の位置を検出するが、本発明はこれに限られるものではなく、如何なる物体の位置を検出するものであってもよい。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る物体検出装置の構成を示す図である。１は本実施形態の物体検出装置である。物体検出装置１は、例えば自車両の前方に搭載され、他車両である先行車両などの物体を認識し、例えば先行車両に追従して走行する走行制御を支援する走行制御システムの一部を構成する装置である。

物体検出装置１は、例えば車載ステレオカメラの筐体内に収められている。物体検出装置１は、左右一対の撮像部１０１、１０２（第１撮像部、第２撮像部）と、画像補正部１０４と、ステレオ距離検出部１０５と、位置検出部１０６と、軌道予測部１０７、１０８と、位置推定部１０９と、姿勢推定部１１０と、姿勢検出部１１１と、判定部１１２を有する。

撮像部１０１および１０２は、画像センサに光学レンズが装着されている。これらの撮像部１０１および１０２は、所定のタイミングで１枚の画像の撮像を繰り返し、撮像した画像を出力する。撮像部１０１と撮像部１０２は、所定の距離で左右に離れて設置され、撮像部１０１で撮影した画像と撮像部１０２で撮影した画像のずれ、いわゆる視差から、物体検出装置１は被写体までの距離を算出することができる。

なお、図１では物体検出装置１の構成要素が同一の筐体に収められる例を示したが、例えば撮像部１０１および１０２を、他の構成要素とは別の筐体にまとめて収めてもよいし（図１に破線枠１１で囲んで示す）、撮像部１０１および１０２をそれぞれ別の筐体に収めて車両に取り付けてもよい。その場合、画像信号の伝送は、図示しない接続ケーブルで各構成を接続して伝送すればよい。接続ケーブルを用いて画像を伝送する方法としては、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）方式の差動伝送路を用いた伝送方法などがある。

また、撮像部１０１および１０２の画像センサを、カラー画像センサとすることで、物体検出装置１は、撮像した画像の色情報を取得することが可能になり、交通信号や先行車両の後尾灯の状態を、輝度情報に加えて色情報からも判断できるようになる。

画像補正部１０４は、撮像部１０１および１０２それぞれからの画像を取り込み、それぞれの画像の輝度を互いに一致させるように予め計測されている補正値で補正し、さらにレンズによる画像の歪の補正と、撮像部１０１の画像と撮像部１０２の画像との水平位置を互いに一致させるように予め計測されている補正値で補正する。

各補正値の計測は、物体検出装置１の製造工程で予め行われる。補正値適用前の物体検出装置１の個体毎に、特定の被写体を撮像し、取得した画像の輝度が均一になるような画素毎の輝度補正値、およびレンズ歪を打ち消し、画像が水平になるような画素毎の幾何補正値を求め、それぞれ補正テーブルとして、物体検出装置１の個体毎に、例えば図示しない不揮発性メモリに保存しておく。

ステレオ距離検出部１０５は、画像補正部１０４からの画像を入力して被写体の距離および物体の種別を検出する。距離を検出する方法として例えば次のような方法がある。ステレオ距離検出部１０５は、画像補正部１０４からの画像を取り込み、視差の算出を行う。前述のように、撮像部１０１と撮像部１０２は所定の距離で左右に離れて設置されているので、撮像した画像は視差を持つ。この視差を算出するいわゆるステレオ処理を行う。

視差の算出手法としては、例えば、ブロックマッチング方式がある。具体的には、ステレオ距離検出部１０５は、まず撮像部１０１で撮影した画像の指定された画像領域上から小さく切出した所定のサイズ、例えば縦８画素、横８画素のブロック領域に対応する、撮像部１０２の画像上の領域を探索する。ステレオ距離検出部１０５は、撮像部１０２の画像上で、同じサイズのブロック領域を水平方向に、探索密度として指定された画素数ずつずらしていき、その際の相関値を評価する。その際、ステレオ距離検出部１０５は、例えば探索範囲を１２８画素とし、探索密度を２画素とする組み合わせや、探索範囲を３２画素とし、探索密度を１画素とする組み合わせを設定することで、処理領域の指定も合わせて計算の処理負荷と精度を制御することが可能になる。探索密度を大きくすると、検出する対象物の距離の精度は粗くなるが探索範囲での処理負荷が軽減し、探索密度を小さくするほど検出する距離の精度は高くなる。

そして、撮像部１０１の撮像画像と撮像部１０２の撮像画像とにおける一致したブロック領域の位置の差が、画素数で表される視差となる。ステレオ距離検出部１０５は、この視差を用いてブロック領域に映っている対象物の実環境での距離を求めることができる。なお、この例は、距離を求める対象となる画像要素として、ブロック領域を採用したものである。相関値の評価のための一致比較の手法としては、例えば、比較するブロック領域内の画素の輝度の差分の総和が小さくなった位置を視差とする。

検出される距離は、撮像部１０１および、撮像部１０２のレンズ焦点距離、撮像部１０１と撮像部１０２との距離である基線長、上記で求めた視差、および撮像センサの画素ピッチから求められることは公知である。ただし、本発明において、距離の算出方法はこれに限定するものではない。また、距離を求める対象となる画像要素として、上述のブロック領域に限られず、撮像センサを構成する個々の画素を採用してもよい。

物体を検出する方法は、例えば、ステレオ距離検出部１０５は、ほぼ同一の距離を示す距離情報が近くに存在する場合、それらを一つの集合としてグループ化し、そのグループの大きさが一定以上のときにそのグループを物体とみなす。そしてステレオ距離検出部１０５は、検出したグループの大きさと形状に基づき、例えば車両であることを検出する。物体の大きさや形状は、参照データとして予め保持しているパターンデータとの比較から検出する方法がある。この処理方式によれば、自車両から前方の物体までの距離が精度よく得られるので、自車両の減速や停止などの衝突回避のための情報として用いられる。得られた物体の種類とその距離は、後述する位置検出部１０６、位置推定部１０９、姿勢推定部１１０、姿勢検出部１１１、判定部１１２に出力される。

位置検出部１０６は、ステレオ距離検出部１０５の結果に基づいて、自車両に対する物体の位置を検出する。位置検出部１０６は、例えば、撮像部１０１と撮像部１０２の設置位置の中心と、物体の横方向の中心との差で表す左右位置を検出する。位置検出部１０６は、車両と認識された物体のみを選択して検出することが可能である。

例えば、撮像部１０１、１０２が自車両の車幅方向（左右）に離れて配置されて自車両のフロントガラス越しに前方を撮像する位置に取り付けられている場合、本実施形態において検出される距離は、車両の前後方向に沿って設定された車両中心軸方向（Ｚ方向）の距離となり、本実施形態において検出される左右位置は、自車両の車幅方向（Ｘ方向）の距離となる（例えば図９を参照）。

軌道予測部１０７には、自車両の状態情報が入力される（第１の車両情報入力部）。軌道予測部１０７は、入力した自車両の状態情報に基づいて、自車両の軌道を予測する。入力する自車両の状態情報としては、操舵角、ヨーレート、速度、加速度、車輪速度、衛星による位置情報、車両の走行計画などがあげられる。

もう一つの軌道予測部１０８には、他車両の状態情報が入力される（第２の車両情報入力部）。軌道予測部１０８は、入力した先行車両の状態情報に基づいて、先行車両の軌道を予測する。入力する先行車両の状態情報としては、同じく操舵角、ヨーレート、速度、加速度、車輪速度、衛星による位置情報などがあげられる。先行車両の状態情報の入力手段としては、図示しないが、例えば無線を用いて車両間で情報をやり取りする。つまり、自車両は、先行車両との間で車車間通信を行い、先行車両の状態情報を取得する。

位置推定部１０９は、軌道予測部１０７および軌道予測部１０８により得られた自車両と先行車両の軌道予測に基づいて、自車両に対する先行車両の距離と位置を推定する。さらに、位置推定部１０９は、その物体の所定の部位である後端面の位置を特定して、後述の姿勢検出部１１１に出力する。物体の後端面は、例えば、車両の後尾面であり、車両が旋回して後尾面と車両側面の両方が取得画像に含まれている場合に、位置推定部１０９は、車両側面を除いた後尾面の姿勢を検出可能であり、姿勢検出の精度を向上させることができる。後端面の位置の特定方法としては、自車両に対する先行車両の向き（ヨー角）から検出する方法などがある。例えば、先行車両から先行車両の向きの情報を含む状態情報を車車間通信により取得することにより後端面の位置を特定することができる。

姿勢推定部１１０は、軌道予測部１０７および軌道予測部１０８により得られた自車両と先行車両の軌道予測に基づいて、自車両に対する先行車両の姿勢を推定する。姿勢とは、先行車両と自車との相対的なヨー角であり、その角度差θ（例えば図９を参照）を検出する。

姿勢検出部１１１は、物体の向き、例えば先行車両と自車との相対的な角度差であるヨー角θを検出する。この角度差は、先行車両および自車のヨー角の変化に応じて変化する。姿勢検出部１１１は、ステレオ距離検出部１０５の検出結果を用いて物体の向きを検出する。姿勢検出部１１１は、例えば、その物体の相対する面の水平方向の距離を直線近似してその傾きを求める。

例えば、物体（先行車）の後尾面の水平方向（横方向）の座標Ｘに対する距離Ｚ（奥行）を（Ｘ，Ｚ）と表す場合に、測定結果として、（Ｘ１，Ｚ１）、（Ｘ２，Ｚ２）、…、（Ｘ５，Ｚ５）が得られたとする。姿勢検出部１１１は、例えば、最小二乗法等により回帰直線（Ｚ＝ａ１×Ｘ＋ａ２；ａ１，ａ２：定数）を求め、その傾きａ１からθ（＝ａｒｃｔａｎ（ａ１））を算出する。

姿勢検出部１１１は、検出の際には、位置推定部１０９により先行車両の後尾面を特定する情報を入力され、車両側面を除去して後尾面に限定して姿勢を検出することで、姿勢検出の精度を向上させることができる。また、姿勢検出部１１１は、車両と認識された物体のみを選択して検出することが可能である。

判定部１１２は、ステレオ距離検出部１０５からの距離検出結果、位置検出部１０６からの位置検出結果、姿勢検出部１１１からの姿勢検出結果、位置推定部１０９からの位置推定結果、および姿勢推定部１１０からの姿勢推定結果を受け取り、結果を判定して、物体の検出結果を物体検出装置１の外部へ出力する。

判定部１１２は、物体の撮像状況に応じて位置検出部１０６および姿勢検出部１１１による実際の検出結果と、位置推定部１０９および姿勢推定部１１０による推定結果との使用する割合を変更する。実際の検出結果と推定結果との使用割合は、撮像画像に映っている物体の範囲に応じて決定される。

判定部１１２では、撮像部１０１、１０２の撮像画像に映っている物体の範囲を算出する処理が行われる。そして、物体の範囲に応じて実際の検出結果と推定結果の重み付けを変更する。具体的には、撮像画像に映っている物体の範囲が減少するのに応じてステレオ距離検出部１０５と位置検出部１０６と姿勢検出部１１１により検出された検出値の重み付けを低くし、位置推定部１０９と姿勢推定部１１０により推定された推定値の重み付けを高くする。

これにより、例えば撮像画像に先行車両の全体が映っている場合には実際の検出結果のみが判定部１１２から出力される。そして、先行車両が交差点を曲がること等によって撮像画像に映っている先行車両の範囲が減少した場合に、実際の検出結果を使用する割合が低くなり、それに伴い推定結果を使用する割合が高くなる。そして、画角範囲から先行車両が所定値以上はみ出した場合に、判定部１１２から出力する結果を、実際の検出結果から推定結果に完全に切り替えてもよい。そして、自車両も追従して交差点を曲がることにより、撮像画像に映っている先行車両の範囲が徐々に増加して元に戻るのに応じて実際の検出結果を使用する割合が高くなり、それに伴い推定結果を使用する割合が低くなる。

なお、物体検出装置１は、例えば、撮像部１０１、撮像部１０２、画像補正部１０４、およびステレオ距離検出部１０５は、電子回路で構成され、物体検出装置１のそれ以外の構成要素は図示しないマイコンなどによるソフトウェア処理で実現される。ステレオ距離検出部１０５をソフトウェア処理で実現することも可能である。

図２は、本発明の実施例１に係る物体検出装置１で撮像される撮像画像の一例を示す図である。同図中、１００１は、撮像部１０１で撮像され、画像補正部１０４で補正された撮像画像を示し、１００２は、撮像部１０２で撮像され、画像補正部１０４で補正された撮像画像を示す。２０２は、被写体である先行車両である。２０３は、被写体である歩行者である。２０４は、被写体である街路樹である。２０５は、被写体である交通信号である。２０６は、被写体である路面である。

また、同図中、２０１、２０９は、撮像画像１００１および撮像画像１００２のうち共通して撮像されている領域（共通撮像領域）である。前述のように撮像画像１００１と撮像画像１００２の間には、共通して撮像されている領域のずれがある。このずれ量、すなわち視差を用いて、ステレオ距離検出部１０５において被写体の距離が算出される。

図３は、第１実施形態に係る物体検出装置１で撮像される撮像画像とステレオ距離検出部１０５、位置検出部１０６、および姿勢検出部１１１の動作の一例を説明する図であり、図２に示す一対の撮像画像を用いて検出した結果の一例を示す図である。同図中、領域２０１は、撮像部１０１で撮像され、画像補正部１０４で補正された撮像画像のうち、前述のように撮像部１０２で撮像された画像と共通して撮像されている領域である。

３０１は、ステレオ距離検出部１０５が被写体の距離および物体の種別を検出する処理領域である。本実施例では、処理領域３０１は、領域２０１全体となっている。ステレオ距離検出部１０５は、処理領域３０１の範囲において前述のブロックマッチング方式により視差を求め、その視差のグループから物体を検出する。

３０２、３０３、３０４、および３０５は、物体の検出結果を破線枠で囲んで示した処理領域である。画像内の枠と数値表示は、撮像した画像にはなく、画像上に重ねて明示的に示したものである。本実施形態では、処理領域３０２内において検出された先行車両２０２は、自車両との距離ｚが１０．６ｍ、位置ｘが２．３ｍ、姿勢θが０．５度の位置にあることを検出している。そして、処理領域３０３において検出された歩行者２０３は、距離ｚが５．２ｍ、処理領域３０４の街路樹２０４は、距離ｚが３５．３ｍ、処理領域３０５の交通信号２０５は、距離ｚが１９．７ｍの位置にあることを検出している。このように、物体検出装置１によれば、撮影した画像全体に亘って物体の距離、位置、姿勢検出を実現できる。各検出部１０５、１０６、１１１によって検出された物体の距離、位置、姿勢の検出値は、判定部１１２に出力される。

図４は、車両の走行軌跡を示す図である。前述の軌道予測部１０７、１０８、および位置推定部１０９、姿勢推定部１１０の処理では、例えばデッドレコニング法により車両の位置と姿勢を推定する。まず、Ａ地点を起点とし、ある周期で次のＢ地点における車両の位置と姿勢を、Ａ地点からの車両の移動距離と車両の進行方向から推定する。推定のための車両の状態情報として、前述した操舵角、ヨーレート、速度、加速度、車輪速度、衛星による位置情報などから、その周期での移動量を算出し、Ａ地点の座標に加算することにより、Ｂ地点を推定する。さらにＢ地点からＣ地点、Ｄ地点と加算を重ねて更新していく。これにより、車両の軌道が推定でき、さらに、自車両と先行車両の軌道の差分を取ることで、自車両に対する先行車両の位置と姿勢を推定することが可能になる。本方式では、移動量に誤差を含むため、加算を重ねていくと、誤差が累積していくことになる。

また、自車両と先行車両の移動量の差分を取り、それを加算していくことで自車両に対する先行車両の位置と姿勢を推定する方法もある。さらに、他の手法としては、車両にて決定された走行計画を入力することで、軌道の予測をすることなく、位置と姿勢を推定することも可能である。

図５は、本実施形態に係る物体検出装置１の処理タイミングを示す図である。図５（Ａ）は、画像補正部１０４、ステレオ距離検出部１０５、位置検出部１０６、および姿勢検出部１１１の処理タイミングを示す。図５（Ｂ）は、軌道予測部１０７および１０８、位置推定部１０９、および姿勢推定部１１０の処理タイミングを示す。図５（Ｃ）は、判定部１１２の処理タイミングを示す。

図５（Ａ）では、画像補正部１０４とステレオ距離検出部１０５による、前述の距離検出処理が行われ、物体を検出し、位置検出部１０６においてその物体の位置を検出し、また姿勢検出部１１１において物体の姿勢を検出する。

また、図５（Ｂ）では、軌道予測部１０７および１０８で自車両および先行車両の軌道を推定し、位置推定部１０９において自車両に対する先行車両の位置の推定が行われ、姿勢推定部１１０において自車両に対する先行車両の姿勢の推定が行われる。

図５（Ｃ）では、図５（Ａ）および図５（Ｂ）で得られた検出結果をもとに判定部１１２で判定した物体の検出結果を出力する。

本実施例では、位置検出、姿勢検出、および位置推定、姿勢推定の処理の周期を同一とし、１フレームにおいて全ての処理がそれぞれ１回ずつ行われる場合について説明したが、異なっていてもよく、各判定の周期においてそれぞれの最新の結果を用いればよい。

図６は、第１実施形態に係る物体検出装置の処理フローを示す図である。まず、撮像部１０１および１０２により画像を撮影する（ステップＳ６０１）。撮像部１０１、１０２で撮影したそれぞれの画像は、前述した通り、画像補正部１０４により輝度補正、レンズ歪補正や水平位置合わせが行われる（ステップＳ６０２）。次に、ステレオ距離検出部１０５により、処理領域３０１内の物体の検出とその距離が検出される（ステップＳ６０３）。さらに、位置検出部１０６により物体の位置の検出（ステップＳ６０４）と、姿勢検出部１１１において姿勢検出（ステップＳ６０５）が行われる。

一方、自車両の状態情報を入力（ステップ６０６）するとともに、先行車両の状態情報を入力（ステップ６０７）する。それぞれの入力した情報を基に、自車両の軌道予測（ステップ６０８）、先行車両の軌道予測（ステップ６０９）が行われる。さらに、自車両および先行車両の軌道予測を基に、位置推定（ステップ６１０）および姿勢推定（ステップ６１１）が行われる。

最後に判定部１１２により、各ステップでの物体の検出結果に基づいて判定を行い、判定結果を出力する（ステップＳ６１２）。物体検出装置１は、これらの処理を例えば１フレーム毎に繰り返し行う。判定部１１２では、実際の検出結果と推定結果との使用割合を、撮像画像に映っている先行車両の撮像状況に応じて変更する。判定部１１２は、撮像画像に撮像されている先行車両の範囲を算出し、先行車両の範囲に応じて、先行車両との距離、位置および姿勢の実際の検出値と推定値との使用割合を決定する。そして、その割合に基づいて算出した距離、位置および姿勢の値を出力する。

図７は、本実施形態に係る物体検出装置１を搭載した車両から撮像した走行中の撮影画像の一例を示す図である。図７（Ａ）は、ある時刻ｔ１に、撮像部１０１により撮像された画像であり、先行車両２０２が撮影画角に対し全て収まった状態で画像を取得している。図７（Ｂ）は、時刻ｔ１よりも後の時刻である時刻ｔ２に、撮像部１０１により撮影された画像であり、先行車両２０２と接近し、先行車両２０２が左旋回して、車両全体が撮影画角に収まらない状態の画像を取得している。さらに図７（Ｃ）は、時刻ｔ２よりも後の時刻である時刻ｔ３に撮像した、先行車両２０２がさらに左旋回し、撮影画角から外れようとしている状態の画像を取得している。

図８は、図７（Ａ）、図７（Ｂ）および図７（Ｃ）に示した、走行中に取得した撮影画像から、時系列に検出した検出結果と、判定した最終的に用いる検出結果の割合を示す図である。時間ｔ１、ｔ２、およびｔ３は、それぞれ図７（Ａ）の撮影画像、図７（Ｂ）の撮影画像、および図７（Ｃ）の撮影画像を撮影した時刻を示す。

図８（Ａ）は、位置の検出結果を示したものであり、実線は位置検出部１０６による位置検出結果であり、破線は位置推定部１０９による位置推定結果である。図８（Ａ）において、横軸は時間であり、縦軸は位置である。前述のように位置検出部１０６は、ステレオ距離検出部１０５による距離検出結果から物体の左右位置を検出しているので、時刻ｔ１付近は、先行車両２０２が撮影画角に全て収まった状態であり安定した検出結果が得られる。一方、位置推定部１０９による推定結果は、前述のように誤差を含んでいる。時刻ｔ２付近は、先行車両２０２が接近し旋回している状態であり、先行車両２０２は画角に全て収まらない状態となっているので、位置検出部１０６では検出誤差が増加する。時刻ｔ３付近は、先行車両２０２が画角からほぼ外れるため、位置の検出が困難になる。一方、位置推定部１０９による位置推定は、誤差を含むものの継続している。

図８（Ｂ）は、姿勢の検出結果を示したものであり。実線は姿勢検出部１１１による姿勢検出結果であり、破線は姿勢推定部１１０による推定結果である。図８（Ｂ）において、横軸は時間であり、縦軸は姿勢である。本実施例では、先行車両２０２が左旋回する場合の姿勢をプラス方向としている。時刻ｔ１付近は、ステレオ距離検出部１０５では、先行車両２０２が撮影画角に全て収まった状態であり安定した検出結果が得られる。一方、姿勢推定部１１０による推定結果は、前述のように誤差を含んでいる。時刻ｔ２付近は、先行車両２０２が接近し旋回している状態であり、先行車両２０２は画角に全て収まらない状態となっているので、姿勢検出部１１１では検出誤差が増加する。時刻ｔ３付近は、先行車両２０２が画角からほぼ外れるため、姿勢の検出が困難になる。一方、姿勢推定部１１０では、誤差を含むものの継続して推定している。

図８（Ｃ）は、距離の検出結果を示したものであり、実線はステレオ距離検出部１０５による距離検出結果であり、破線は位置推定部１０９による推定結果である。図８（Ｃ）において、横軸は時間であり、縦軸は距離である。時刻ｔ１付近は、ステレオ距離検出部１０５では、先行車両２０２が撮影画角に全て収まった状態であり安定した検出結果が得られる。一方、位置推定部１０９による推定結果は、前述のように誤差を含んでいる。時刻ｔ２付近は、先行車両２０２が接近し旋回している状態であり、先行車両２０２は画角に全て収まらない状態となっているので、ステレオ距離検出部１０５では検出誤差が増加する。時刻ｔ３付近は、先行車両２０２が画角からほぼ外れるため、距離の検出が困難になる。一方、位置推定部１０９では、誤差を含むものの継続して推定している。

図８（Ｄ）および図８（Ｅ）は、得られた検出結果から、判定部１１２が最終的に用いる検出結果の割合を示すものである。図８（Ｄ）および図８（Ｅ）において、横軸は時間であり、縦軸は割合である。

図８（Ｄ）の曲線の下側で示される割合ａは、判定部１１２が位置検出部１０６による検出結果を使用する割合であり、図８（Ｄ）の曲線の上側で示される割合ｂは、判定部１１２が位置推定部１０９の推定結果を使用する割合である。割合ａと割合ｂの合計値は１となる。判定部１１２が使用する割合は、その時点での精度よく得られている検出結果または推定結果を高い割合で使用する（重みづけを重くする）。

時刻ｔ１付近では、判定部１１２は位置検出部１０６による検出結果に重きをおいて使用する。時刻ｔ２付近では、判定部１１２は位置推定部１０９の結果の割合を増やし、時刻ｔ３では判定部１１２は位置推定部１０９の推定結果のみを使用する。さらに、物体の位置が撮影画角から完全に外れる位置にある場合には、判定部１１２は位置推定部１０９による推定結果を採用する。

例えば、時刻ｔ２付近では、割合ａは０．８であり、割合ｂは０．２である。ここで、位置検出部１０６による実際の検出結果の位置をｘ１とし、位置推定部１０９による推定結果の距離をｘ２とし、判定部１１２が出力する距離をｘとすると、時刻ｔ２付近では、例えば、ｘ＝０．８×ｘ１＋０．２×ｘ２で表される。

また、図８（Ｅ）の曲線の下側で示される割合ｃは、判定部１１２が姿勢検出部１１１による検出結果を使用する割合であり、図８（Ｅ）の曲線の上側で示される割合ｄは、判定部１１２が姿勢推定部１１０の推定結果を使用する割合である。割合ｃと割合ｄの合計値は１となる。判定部１１２が使用する割合は、その時点での精度よく得られている検出結果または推定結果を高い割合で使用する（重みづけを重くする）。

時刻ｔ１付近では、判定部１１２は姿勢検出部１１１による検出結果に重きをおいて使用する。時刻ｔ２付近では、判定部１１２は姿勢推定部１１０による推定結果の割合を増やし、時刻ｔ３では判定部１１２は姿勢推定部１１０の推定結果のみを使用する。さらに、物体が撮影画角から完全に外れる位置にある場合には、判定部１１２は姿勢推定部１１０による推定結果を採用する。

判定部１１２は、位置検出部１０６により検出された位置が所定の範囲内の場合、ステレオ距離検出部１０５と位置検出部１０６と姿勢検出部１１１の検出結果を先行車両の位置および姿勢として採用してもよい。判定部１１２は、位置検出部１０６により検出された位置が所定の範囲外の場合、位置推定部１０９と姿勢推定部１１０の推定結果を先行車両の位置および姿勢として採用しても良い。

また、判定部１１２は、位置検出部１０６により検出された位置が所定の範囲内の場合であっても、ステレオ距離検出部１０５により検出された距離が所定の距離より遠く検出精度が確保できない場合、位置推定部１０９と姿勢推定部１１０の結果を採用するようにしてもよい。

また、判定部１１２は、ステレオ距離検出部１０５により検出された距離が所定の距離より近いが、位置検出部１０６により検出された位置が所定の範囲外で検出精度が確保できない場合、位置推定部１０９と姿勢推定部１１０の結果を採用するようにしてもよい。

さらに、軌道予測部１０８は、先行車両２０２が撮影画角から一旦外れてステレオ距離検出部１０５による距離検出ができない状態から、再び撮影画角に入り込み、ステレオ距離検出部１０５による距離検出が可能になった際に、軌道予測のための起点を、位置検出部１０６、および姿勢検出部１１１の結果を用いて再設定する。したがって、位置推定部１０９および姿勢推定部１１０において累積されていた誤差を解消することができる。

図９は、自車両と先行車両との位置関係を説明する図である。

物体検出装置１は、自車両２００に搭載されており、先行車両２０２の位置の検出を行っている。自車両２００は、物体検出装置１により検出された先行車両２０２の位置の情報を用いて先行車両２０２に追従して走行する自動運転を行っている。物体検出装置１では、自車両２００と先行車両２０２との距離Ｚａ、位置Ｘａ、姿勢θが検出される。

図９に示すように、例えば先行車両２０２が交差点を左折する場合に、自車両２００において撮像される撮像画像では、先行車両２０２のほとんどの部分が撮像画像の画角範囲からはみ出す（図７（Ｃ）を参照）。かかる場合に、判定部１１２では、位置推定部１０９および姿勢推定部１１０により推定された推定結果を用いる割合が高くなり、ステレオ距離検出部１０５、位置検出部１０６および姿勢検出部１１１により検出された検出結果を用いる割合が低くなるように調整される。そして、判定部１１２において調整された先行車両２０２の位置、距離、姿勢の情報は、外部に出力され、自車両を先行車両に追従して走行させる制御に用いられる。

本実施形態の物体検出装置１によれば、先行車両２０２が撮影画角からはみ出す状態でも、先行車両２０２の距離、位置、姿勢を継続して検出することが可能になる。すなわち、物体の画角位置や距離に関わらず、物体の追跡を継続して位置、距離、姿勢情報を取得できる。したがって、先行車両２０２が撮影画角から外れるような場合であっても先行車両２０２を精度良く検出することができ、自車両２００の追跡精度が低下するのを防ぐことができる。

＜第２実施形態＞
図１０は、第２実施形態に係る物体検出装置の構成を示す図である。本実施形態において特徴的なことは、第１実施形態の物体検出装置１に対して、先行車両に自動的に追従して走行する自動運転制御を行う車両制御部を追加して設けた場合の例である。図１の構成と同じ機能を果たす構成については、図１と同じ符号を付して詳しい説明を省略する。物体検出装置１は、自動車などの車両に搭載されており、同図中、９０１は車両制御部である。判定部１１２の出力が車両制御部９０１に入力されている。

物体検出装置１を搭載する車両（先行車両に追従して走行する後続車両）は、先行車両の後方に配置され、先行車両を追従する。その際、物体検出装置１は、先行車両の距離、位置、姿勢を前述に示したように検出する。

車両制御部９０１は、判定部１１２による検出結果を受け、この検出結果に基づき、車両の図示しない他の装置に対し制御を行う。車両の制御対象としては、舵角、ブレーキ、ステアリング装置などであり、検出した結果に基づいて、先行車両に追従して走行するように制御する。これらの車両制御情報は物体検出装置１から図示しない他の装置に対して、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの車内ネットワークを介して出力する。

先行車両との車間距離を短く設定した追従制御の場合、撮影画角に入りきらないときや、先行車両が旋回し、撮影画角から外れるときがあるが、本実施形態の物体検出装置１によれば、前述のように、継続して先行車両の距離や位置、姿勢が検出可能であり、先行車両に安全に追従することが可能になる。

なお、図１０では車両制御部９０１は物体検出装置１とは同一筐体に収められる例を示したが、それに限るものではなく、別筐体とし、車内ネットワークを介して検出結果を伝送してもよく、また、前述のように、撮像部１０１、および撮像部１０２を別筐体としてもよい。

＜第３実施形態＞
図１１は、本発明の実施例３に係る物体検出装置の構成を示す図である。図１の構成と同じ機能を果たす構成については、図１と同じ符号を付して詳しい説明を省略する。本実施形態では、物体の検出を、撮像部１０１および、撮像部１０２以外で構成された、距離や位置情報が得られるセンサにより行うことを特徴とする。

例えば入力情報としては、図示しないレーダや、赤外線センサなどのセンサから得る情報であり、対象範囲の物体の距離や位置を求めることができる。判定部１１２は、センサの検出領域に入っている先行車両の範囲に応じて位置検出部１０６および姿勢検出部１１１の検出結果と位置推定部１０９および姿勢推定部１１０の推定結果との使用割合を変更する。それ以降の動作は前述の通りである。

＜第４実施形態＞
図１２は、第４実施形態に係る物体検出装置の構成を示す図である。図１の構成と同じ機能を果たす構成については、図１と同じ符号を付して詳しい説明を省略する。本実施形態において特徴的なことは、撮像部１２０１と制御部１２０４とを別体に設けてネットワークにより互いに通信可能に接続した構成としたことである。

１２０１はネットワーク撮像部である。１２０３はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。１２０４は制御部である。ネットワーク撮像部１２０１は、例えば車両のフロントガラスに取り付けられる。制御部１２０４は、ネットワーク撮像部１２０１と別の筐体に収容され、車両内のスペースが確保できる場所に配置される。ＬＡＮ１２０３としては、例えば、ＣＡＮなどの車内ネットワークを用いてもよい。

ネットワーク撮像部１２０１は、ＬＡＮ１２０３を介して制御部１２０４と接続されている。また、１２０２は画像圧縮・インタフェース部である。１２０５はネットワークインタフェース部である。１２０６は画像伸張部である。

撮像部１０１、および撮像部１０２で撮影した画像は、画像補正部１０４において、輝度補正、レンズ歪補正や水平位置合わせが行われる。次に画像圧縮・インタフェース部１２０２は、画像補正部１０４からの画像を圧縮してＬＡＮ１２０３を介して制御部１２０４に送信する。画像圧縮の方式としては処理時間を少なくするため、複数の画像の時間的相関関係を使わず、１枚の画像内で圧縮を行う画面内圧縮方式を用いる方式がある。また、映像圧縮符号化方式を選択して切り換えてもよい。

画像圧縮・インタフェース部１２０２は、圧縮符号化データを生成し、所定のネットワークプロトコルに従ってデータを送信する。なお、画像補正部１０４は、制御部１２０４の画像伸張部１２０６の後段に設けてもよいが、ネットワーク撮像部１２０１の画像圧縮・インタフェース部１２０２の前段で処理することにより、レンズ歪などを補正した後に画像圧縮することで、画像圧縮の高効率化と高画質化が見込まれる。

制御部１２０４においては、ネットワークインタフェース部１２０５において、圧縮画像データの受信を、ＬＡＮ１２０３を介して行う。制御部１２０４のネットワークインタフェース部１２０５で受信した圧縮画像データは、画像伸張部１２０６において、元の画像に伸張され、ステレオ距離検出部１０５により距離が検出される。これ以降の処理は前述の通りである。

本実施形態によれば、ＬＡＮ１２０３を介して圧縮画像を送信するので、撮像部側の処理量を減らすことができ、撮像部側の軽量化、低消費電力化、筐体が小さくなることによる、車両設置への寸法制限を低減することが可能になる。ネットワークの伝送帯域幅が十分確保できれば、画像の圧縮伸長を施さずに伝送することも可能である。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…物体検出装置、１０１〜１０２…撮像部、１０４…画像補正部、１０５…ステレオ距離検出部、１０６…位置検出部、１０７〜１０８…軌道予測部（第１の車両情報入力部、第２の車両情報入力部）、１０９…位置推定部、１１０…姿勢推定部、１１１…姿勢検出部、１１２…判定部、２０１，２０９…共通撮像領域、２０２〜２０５…被写体、３０１〜３０５…処理領域、９０１…車両制御部、１２０１…ネットワーク撮像部、１２０２…画像圧縮・インタフェース部、１２０３…ＬＡＮ、１２０４…制御部、１２０５…ネットワークインタフェース部、１２０６…画像伸張部

Claims (10)

1. 物体の距離を検出する距離検出部と、
   前記距離検出部で検出された距離に基づいて、前記物体の位置を検出する位置検出部と、
   前記距離検出部で検出された距離に基づいて、前記物体の姿勢を検出する姿勢検出部と、
   自車両の状態情報を入力する第１の車両情報入力部と、
   他車両の状態情報を入力する第２の車両情報入力部と、
   前記第１の車両情報入力部および前記第２の車両情報入力部により入力した前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の位置を推定する位置推定部と、
   前記第１の車両情報入力部および前記第２の車両情報入力部により入力した前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の姿勢を推定する姿勢推定部と、
   前記距離検出部、前記位置検出部、前記姿勢検出部、前記位置推定部、および前記姿勢推定部でそれぞれ検出または推定される情報に応じて、前記他車両の距離、位置、および姿勢を判定する判定部と、
   を有することを特徴とする物体検出装置。
2. 前記物体を撮像する撮像部を備え、
   前記判定部は、前記距離検出部と前記位置検出部と前記姿勢検出部により検出された検出結果と、前記位置推定部と前記姿勢推定部により推定された推定結果との使用する割合を、前記撮像部で撮像された撮像画像に映っている前記物体の範囲に応じて決定することを特徴とする請求項１に記載の物体検出装置。
3. 前記判定部は、前記撮像画像に映っている前記物体の範囲が減少するのに応じて前記距離検出部と前記位置検出部と前記姿勢検出部により検出された検出値の重み付けを低くし、前記位置推定部と前記姿勢推定部により推定された推定値の重み付けを高くすることを特徴とする請求項２に記載の物体検出装置。
4. 前記判定部は、前記位置検出部により検出された位置が所定の範囲内の場合、前記距離検出部と前記位置検出部と前記姿勢検出部の検出結果を採用することを特徴とする請求項１に記載の物体検出装置。
5. 前記判定部は、前記位置検出部により検出された位置が所定の範囲外の場合、前記位置推定部と前記姿勢推定部の推定結果を採用することを特徴とする請求項１に記載の物体検出装置。
6. 前記撮像部は、互いに対をなして共通撮像領域を撮像する第１撮像部と第２撮像部とを有し、
   前記距離検出部は、前記第１撮像部と前記第２撮像部で得た画像から得られた視差に基づいて、前記物体の距離を検出する請求項２に記載の物体検出装置。
7. 前記第２の車両情報入力部は、前記他車両の状態情報を車車間通信によって取得する請求項１に記載の物体検出装置。
8. 前記位置推定部は、前記距離検出部で検出された距離に基づいて、前記物体の所定の部位を検出し、
   前記位置検出部および前記姿勢検出部は、前記位置推定部により推定された前記物体の所定の部位から前記物体の後尾面の位置および姿勢を検出することを特徴とする請求項１に記載の物体検出装置。
9. 他車両に追従する自車両の走行を制御する走行制御システムにおいて、
   前記自車両は、
   前記自車両と前記他車両との間の距離を検出する距離検出部と、
   前記距離検出部で検出された距離に基づいて、前記他車両の位置を検出する位置検出部と、
   前記距離検出部で検出された距離に基づいて、前記他車両の姿勢を検出する姿勢検出部と、
   前記自車両の状態情報を入力する第１の車両情報入力部と、
   前記他車両の状態情報を入力する第２の車両情報入力部と、
   前記第１の車両情報入力部および前記第２の車両情報入力部により入力した前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の位置を推定する位置推定部と、
   前記第１の車両情報入力部および前記第２の車両情報入力部により入力した前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の姿勢を推定する姿勢推定部と、
   前記距離検出部、前記位置検出部、前記姿勢検出部、前記位置推定部、および前記姿勢推定部でそれぞれ検出または推定される情報に応じて、前記他車両の距離、位置、および姿勢を判定する判定部と、
   前記判定部で判定した結果に基づいて、前記自車両を前記他車両に追従させる走行制御を行う制御部と、
   を有することを特徴とする走行制御システム。
10. 他車両に追従する自車両の走行を制御する走行制御方法において、
    前記自車両と他車両との間の距離を検出するステップと、
    前記検出した距離に基づいて、前記他車両の位置を検出するステップと、
    前記検出した距離に基づいて、前記他車両の姿勢を検出するステップと、
    前記自車両の状態情報を入力するステップと、
    前記他車両の状態情報を入力するステップと、
    前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の位置を推定するステップと、
    前記自車両の状態情報および前記他車両の状態情報に基づいて、前記他車両の姿勢を推定するステップと、
    前記検出した距離、位置、および姿勢と、前記推定した位置および姿勢に応じて、前記他車両の距離、位置、および姿勢を判定するステップと、
    前記判定した結果に基づいて、前記自車両を前記他車両に追従させる走行制御を行うステップと、
    を有することを特徴とする走行制御方法。
    

Images