JP2007134961A - 車両検出装置及びこれを用いた車両用表示装置 - Google Patents

Abstract

【課題】自車両の周辺に存在する他車両を精度良く検出できる車両検出装置を提供する。
【解決手段】撮像画像に基づいて自車両周囲に存在する他車両を検出する車両検出装置４であって、周辺に存在している前記他車両の車輪を検出する車輪検出手段４２と、前記車輪検出手段が検出した２つの車輪の間に、車両の構成部品が存在することに基づいて、前記他車両を検出する他車両検出手段４２とを備えている。他車両検出手段が車両の構成部品が存在することに基づいて他車両を検出するので、異なる車両に属している２つの車輪を同一の車両に属する車輪であると誤判断することを防止できる。よって、自車両の周辺に複数の他車両が存在してもこれらを正確に検出できる。
【選択図】 図１

Description

本発明は、車両の周囲を撮像した画像を用いて周辺に存在する他車両を検出する車両検出装置、及びこの検出装置を備えて自車両の周辺に存在する他車両をディスプレイ上に表示する車両用表示装置に関する。

車室内に設置したディスプレイ上に周辺の様子を表示させるようにした表示装置について従来から複数の提案がある。また、このような表示装置で、特に周辺に存在する車両（以下、他車両という）を精度良く表示できれば、運転者が車両（自車両）を停車あるいは駐車させる際などの有効な支援となる。このように表示装置を備える車両には、車外周囲を撮像するためのカメラが設置されている。しかし、カメラで撮像した他車両の画像をそのままディスプレイに表示しても見難いものとなる。

例えば特許文献１は、撮像手段により撮像された車両周囲の画像を車両上方の視点から見た車両周囲画像に変換し、この車両周囲画像上で他車両を検出する。その際に、検出した２つの車輪間の距離に基づいて他車両の大きさを推定し、推定した他車両の大きさに基づいて他車両の擬似画像をディスプレイ上に重畳表示させる。このような表示装置であれば、自車両上方から見た状態に変換して他車両を表示できるので、運転者が確認し易い画像をディスプレイ上に表示できる。

特開２００３−３０９８４４号公報

ところで、上記のようにディスプレイ上に他車両を表示させるためには、撮像画像から他車両を精度良く検出することが必要である。特許文献１の装置では、車輪を検出することによって他車両を検出するようにしている。ところが、自車両の周辺に複数の他車両が存在する場合を想定しておらず、検出した車輪が同一車両（他車両）に属するものであるか否かの判断を行っていない。

上記のように車輪のみによって他車両を確認するようにしていると、自車両の周辺に複数の他車両が接近して存在している状況で他車両を誤って検出してしまう場合がある。図１２はこのような状況を例示している。他車両Ａの後輪と他車両Ｂの前輪を検出したときに、２つの車輪を検出したことに基づいてこの位置に他車両が存在すると誤認識してしまう。しかも、異なる車両に属する２つの車輪の間隔に基づいて車両の大きさが推定される。

さらに、特許文献１では黒色であるタイヤを検出することで車輪を特定するようにしている。例えば夜間においてはタイヤとボディ部分のコントラストが低下するのでタイヤのみの抽出が困難となる。また、昼間においても太陽の向きにより他車両の影と他車両の側面とが一体化してしまう場合があり、このような場合にもタイヤの抽出が困難となる。

自車両の周辺に存在する他車両を表示できる表示装置は運転者に有効なものであるが、他車両を精度よく検出していることが前提である。ところが、上記で指摘したように、他車両を精度良く検出できない場合にはディスプレイに表示される他車両が不正確なものとなるので有効な運転支援を行えなくなる。

したがって、本発明は前述した課題を解決するためになされたもので、第１に車両周囲の撮像画像を用いて車両（自車両）の周辺の他車両を精度良く検出できる車両検出装置を提供すること、第２にこのような車両検出装置を備えてディスプレイに他車両を正確に表示できる車両用表示装置を提供することを目的とする。

上記目的は、撮像画像に基づいて自車両周囲に存在する他車両を検出する車両検出装置であって、周辺に存在している前記他車両の車輪を検出する車輪検出手段と、前記車輪検出手段が検出した２つの車輪の間に、車両の構成部品が存在することに基づいて、前記他車両を検出する他車両検出手段とを、備えたことを特徴とする車両検出装置によって達成される。

本発明によると、他車両検出手段が車両の構成部品が存在することに基づいて他車両を検出するので、異なる車両に属している２つの車輪を同一の車両に属する車輪であると誤判断することを防止できる。よって、自車両の周辺に複数の他車両が存在してもこれらを正確に検出できる。

そして、前記構成部品は、車輪間のサイドステップとすることができる。車両の車輪間には必ずサイドステップが存在するので、このサイドステップを確認するようにすれば他車両を確認できる。

また、前記車輪検出手段は、前記他車両のホイールを検出するようにすることが望ましい。車輪の中央にはホイールがあり、その外側にタイヤが装着されている。一般にホイールは銀色であり、タイヤの黒色よりも明度が高い。よって、夜間や悪天候等の状況であり車輪判断が困難なときであっても、ホイールを正確に検出して車輪を検出できる。

また、前記他車両検出手段は、同一車両の車輪位置に基づいて前記他車両の大きさをさらに推定するように構成しておくことがより好ましい。同一車両に属することが確認されている２つの車輪間の長さに基づけば、他車両の大きさを正確に推定できる。

そして、上記車両検出装置と、前記撮像画像に他車両の大きさに基づいて合成した擬似他車両の画像を重畳して表示する表示手段とを備えた車両用表示装置であれば、自車両の周囲に存在する他車両を正確に確認して表示手段に表示できる。このような車両用表示装置を搭載した車両は、運転者の運転操作を確実に支援できる。

本発明によれば、車両（自車両）の周辺に存在する他車両を精度良く検出できる車両検出装置を提供できる。このような車両検出装置を利用した車両用表示装置であればディスプレイ上に他車両を正確に表示できる。

以下、図面を参照して本発明に係る実施例について説明する。なお、以下で示す実施例では、車両（以下、自車両と称す）の周辺を撮像した画像に基づいて他車両を検出する車両検出装置を一体に組込んだ車両用表示装置１について説明する。

図１は、車両用表示装置１の構成を示した図である。車両用表示装置１はカメラ群２、測距センサ群３、画像処理装置４、ディスプレイ５、撮像条件検出装置６及び障害物位置検出装置７を備えている。

カメラ群２は自車両の周部を撮像するために配置される。カメラ群２は、自車両のボディ周縁部に取付けられる１つ以上のカメラを含んで構成されている。このようなカメラとしては、ＣＣＤカメラ、ＣＭＯＳカメラ、ステレオカメラ等を採用できる。各カメラは自車両の外周の全域を撮像できるようにボディの上部に設置し、お互いの撮像領域の両側が一部オーバーラップするように設定しておくことが望ましい。このように撮影領域の両端をオーバーラップするように設定しておくことで、片側のカメラに不都合が生じた場合でも一定範囲で補うことができる。

測距センサ群３は、自車両に取付けられて周辺に存在する障害物を検知する１つ以上のセンサである。このようなセンサとしては、クリアランスソナー、ミリ波レーダ、レーザレーダ、オートフォーカスカメラ等を採用できる。測距センサ群３は、例えば自車両の周辺に存在する他車両、道路構造物、歩行者などを検出する。上記カメラ群２が撮像した周辺の画像データ、及び上記測距センサ群３が検出した障害物の検出データは、装置本体１０側へ供給されている。

装置本体１０側には画像処理装置４、ディスプレイ５、撮像条件検出装置６、及び障害物位置検出装置７が含まれている。画像処理装置４はＣＰＵ（Central Processing Unit）を中心にしてＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含んで構成したマイクロコンピュータである。画像処理装置４は、ＲＯＭに予め格納した種々のプログラムによって、周囲画像合成部４１、車両検出部４２、擬似車両描画部４３及び画像合成部４４として機能する。なお、本実施例では、画像処理装置４の主体を成す上記ＣＰＵが上記カメラ群２及び測距センサ群３、並びに後述するディスプレイ５等の駆動を制御しており、車両用表示装置１の全体をコントロールしている。

周囲画像合成部４１は、上記カメラ群２によって得た複数の周辺画像データをそれぞれ自車両の上方の視点から見た上視点画像に透視変換し、それらの画像を合成して１枚に合成した車両周囲画像を生成させる。車両検出部４２は上記測距センサ群３の障害物の検出データ及び周囲画像合成部４１が合成した車両周囲画像を用いて、自車両の周囲に存在する他車両を検出する。この車両検出部４２が他車両を検出する手法については後に詳述する。

擬似車両描画部４３は、上記車両検出部４２が検出した他車両の車輪及びボディに合せて、他車両を上方から見た擬似的な画像（以下、擬似車両画像と称する）を描画する。画像合成部４４は、周囲画像合成部４１が合成した車両周囲画像と、擬似車両描画部４３が作成した擬似車両画像とを合成して自車両の周辺に存在する他車両を含んで表示する周囲画像（以下、合成周囲画像と称す）を生成させる。

ディスプレイ５は、画像合成部４４から供給される合成周囲画像の信号に基づいて運転者に自車両周囲の画像を表示する表示手段である。ディスプレイ５として、例えば液晶モニタ、ＨＵＤ（Head up display）、ＣＲＴモニタ、プラズマディスプレイなどを採用できる。さらに、より好ましい形態として撮影条件検出装置６及び障害物位置検出装置７を含んでいる。撮影条件検出装置６は、各カメラの設置場所、撮影レンズの光軸方向、撮影レンズの特性、撮影時刻（周囲の明るさなどを考慮する場合）など、カメラ撮影の条件を検出する装置である。また、障害物位置検出装置７は測距センサ群３の障害物の検出データに基づいて、自車両周囲の障害物の方向と距離を検出する。上記画像処理装置４は、これら撮影条件検出装置６及び障害物位置検出装置７の出力も参照することで、より正確に車両周囲画像、他車両の検出、擬似車両画像の描画、及び合成周囲画像の処理を実行する。

ここで、上記構成を備える車両用表示装置１による一連の動作を簡単に説明する。図２は、図１で示した構成を有する車両用表示装置１が、搭載された車両（自車両）のエンジンが始動したときに実行される処理をまとめて示したフローチャートである。なお、フローチャートの右側にはその動作に関連して駆動する各部を参考として示している。

自車両のエンジンが始動されると各部に電力が供給され（Ｓ１）、これに基づいてエンジンが始動したことを確認して（Ｓ２）、車両用表示装置１が起動される。まず、車両用表示装置１はカメラ群２を駆動して、自車両周辺をそれぞれのカメラで撮影する（Ｓ３）。

各カメラで撮影した自車両周辺の画像を、撮影条件検出装置６により検出した各カメラの設置場所、撮影レンズの光軸方向、撮影レンズの特性、撮影時刻などの撮影条件に基づいて、車両の上方視点から見た画像に透視変換する（Ｓ４）。各カメラにより透視変換された画像を自車両の上方視点から見た一枚の画像（車両周囲画像）に合成する（Ｓ５）。

さらに、測距センサ群３及び障害物位置検出装置７からの出力に基づいて、自車両周辺の他車両、道路構造物などの障害物の有無を判定し、同時に障害物までの距離測定、方向測定も行って障害物の位置を検出する（Ｓ６）。ここで、上記ステップ５で合成した車両周囲画像を用いて、自車両周辺の他車両の検出を行う（Ｓ７）。このステップ７での処理については後述する。

ステップ７で検出された他車両の車輪及びボディの位置に合せて、これに見合った擬似車両画像を描画する（Ｓ８）。ステップ５で作成された車両周囲画像上にステップ７で検出された他車両の車輪とボディ位置に、ステップ８で描画された擬似車両画像を上書き合成（重畳）して、合成周囲画像を生成する（Ｓ９）。図３で示すように、ステップ５による車両周囲画像は他車両が比較的歪んだ画像（Ａ）となるが、合成処理を施して形成した合成周囲画像（Ｂ）は他車両を上方から見た擬似車両画像を含む見易いものとなる。

上記ステップ９で生成させた合成画像がディスプレイ５に表示されるので、運転者はこれを確認して運転支援に利用できる（Ｓ１０）。その後、自車両のエンジンが停止され（Ｓ１１）、これを確認すると（Ｓ１２）、このフローチャートによる処理を終了する。

図４は、図２で示したフローチャート中のステップ７で実行される車両検出の処理を詳細に示したフローチャートである。この図４で示す車両検出の処理が、車両用表示装置１に組込まれている車両検出装置による特徴的な処理となる。なお、ここでの車両検出処理は、図１で示した画像処理装置４の車両検出部４２に基づくものである。また、図４の下側には検出される他車両のホイール、フェンダ角及びサイドステップ位置を確認的に示している。

先ず、最初のステップ７０１（Ｓ７０１）で、画像処理装置４は図２のステップ６で検出した障害物の検出データ、並びに障害物位置検出装置７から障害物までの距離、方位に関する情報も合せて取得する。

次に、次のステップ７０２では車輪の中でも黒色であるタイヤではなく、銀色などの明度の高い色を有しているホイールを検出する。先に指摘したが、従来においては車輪の色が黒色（タイヤ）であることを前提とし、画像に含む円また楕円の形状をパターンマッチングして検索するという手法を採用している。すなわち、従来においては黒色であるタイヤを確認することにより車輪を確認していた。しかし、車両の影は「黒色」であることを前提としているので、夜間、豪雨等のような視界不良時には、画像内で車輪のコントラストが低下してしまう。よって、従来の手法では安定して車輪を検出することが困難であった。これに対し、本実施例で採用するように、明度の高いホイールを検出するようにすれば車輪を確実に検出できる。すなわち、車輪を検出する上でのロバスト性を大幅に向上させることができる。

さらに、ステップ７０２では高速化と検出精度を向上させるため、探索領域を限定することが好ましい。例えば、予め１枚に合成した車両周囲画像を有限個の領域に分割しておき、上記ステップ７０１の障害物の位置に従って障害物が含まれる領域の中のみでホイール検索する。例えば、図５で示すように、車両周囲画像を４分割して探索領域を決定する。この場合には障害物が第２領域と第３領域とに含まれる。なお、図５で×印は障害物位置検出装置７が障害物を検知した場所を示している。そして、障害物が存在する領域内（すなわち、図５の場合は第２領域と第３領域）から円形または楕円形の形状をした「非黒色」部分を抽出する。

具体的には、先ず（１）車両周囲画像上での角度と位置に応じた楕円パラメータである長径、短径等に関する情報を予め記憶しておき、障害物が存在する領域に該当するパラメータを用いてホイールパターン（円形又は楕円形）をリアルタイムに生成させる。なお、楕円パラメータは画像処理装置４の構成の一部であるＲＯＭ等に予め記憶しておけばよい。

次に、（２）従来においてはパターンマッチングを行う前に２値化しタイヤとそれ以外の部分を分離しているが、本手法ではこのような処理を行わない。上記（１）でのホイールパターンをフィルタとして処理対象域に適用する。このようにすると、ターゲットとするホイール部分を示す円形或いは楕円形で明度の高い領域を強調し、尚且つパターンマッチング処理に不要な画像ノイズを低減することができる。

図６は、自車両ＳＣを基準に設定したＸＹ座標と、この座標での角度θ毎に予め設定されるパターン生成パラメータテーブルの一例を示した図である。図６では、障害物が４５°の方向に在り、テーブルデータの（Ｎｏ．Ｎ）（距離が３２、短径ａが１、長径ｂが５、タイヤマージンｍが１）がマッチングしている場合を例示している。

よって、（３）障害物が存在する領域内で上記（２）で強調した画像上からそれぞれのパターンを用いてパターンマッチングを行うことで、ホイールの位置を精度良く検出できる。このステップ７０２により、周辺の存在する他車両の車輪を確実に検出できる。

次のステップ７０３（Ｓ７０３）では、上記ステップ７０２で検出した車輪（ホイール）がどの車両に属している車輪であるか、すなわち同一の車両（他車両）に属する車輪であるか否かを車両の構成部品であるサイドステップに基づいて決定する。ここではサイドステップに関する情報の１つとして「フェンダ角」を利用する。すなわち、フェンダ角がサイドステップを検出するためのランドマークとなる。

図７は、他車両のフェンダ角度を検出する手法を説明するために示した図である。上記ステップ７０２で使用したホイールパターンの角度情報に応じて、図７で示すようにタイヤの前後それぞれのフェンダ角θ１、θ２について、フェンダ角パターンをリアルタイムで生成する。図７でフェンダ角パターンＡは鋭角θ１、フェンダ角パターンＢは鈍角θ２を例示するものである。なお、各パターンはフィルタをイメージして矩形で表している。

図８はフェンダ角のパターンマッチングの手法を説明するために示した図である。上記のようにして生成したフェンダ角パターンを、例えば車輪高さＨの３／４以下の部分に車輪高さＨの１／２を加えた領域を探索範囲として、パターンマッチングを行うことにより精度よくフェンダ角が検出される。

続く、ステップ７０４（Ｓ７０４）でサイドステップを検出する。上記ステップ７０３で検出したフェンダ角の頂点（θを成す直線の交点）をサイドステップ探索開始点として車輪の右側フェンダなら右へ、左側フェンダなら左側へ設定した探索範囲内でサイドステップを探索する。

図９は、サイドステップを探索する様子をまとめ示した図である。次に示す（１）〜（４）の処理を実行してサイドステップを検出する。先ず、（１） 探索領域を決定する。探索範囲（Ｘ座標区間）はフェンダ角の頂点のＸ座標間とする。画像上に車両の一方の車輪だけが写っているような場合には、探索境界の片方が画像境界を含む探索範囲となるように適宜に調整する。

次に、（２） 鋭角頂点（Ｐ１）から角度θの方向（Ｐ１→Ｐ３方向、図７参照）へエッジの探索を行う。ここでの探索は、例えば次の（ａ）〜（ｄ）のように行うことができる。（ａ） まず、Ｎ×Ｍピクセルサイズの参照領域（ＲＯＩ（Region of Interest））を一定間隔で配置する。この配置では、例えば水平方向（Ｈ軸）の画素値の平均値を求め、それを垂直方向（Ｖ軸）にプロファイリングする。

次に、（ｂ） Ｎ（Ｈ軸＝Ｘ軸）×Ｍ（Ｖ軸＝Ｙ軸）の領域内でプロファイルを計算する。この計算結果は、Ｍ次元の配列に格納される。そして、（ｃ） 上記プロファイルの一次微分または二次微分を計算して、エッジ点を求める。なお、エッジ点が検出できれば、いずれの方式を採用してもよい。（ｄ） 探索範囲での探索が完了するまで、上記（ａ）からの処理を繰り返す。

さらに、（３） 鈍角の頂点Ｑ１から９０＋θの方向（Ｑ１→Ｑ２方向）にエッジの探索を行う。探索方法は、上記（２）で説明した鋭角頂点を探索する方法と同様である。（４） 上記（２）、（３）で求めたエッジに基づいて、図９の下段で示すように最小二乗法を用いた近似処理により直線を求めて、サイドステップを特定する。

最後のステップ７０５（Ｓ７０５）では、上記ステップ７０４で求めたサイドステップの直線方程式の傾きと端点座標とフェンダ角フィルタの角度（鋭角、鈍角）に基づいて、検出した車輪がどの他車両に属するものであるかを決定する。

図１０は、検出した車輪がどの車両に属するかの判断手法を説明するために示した図である。図１０で、探索範囲Ａ，探索範囲Ｃ、探索範囲Ｄではサイドステップの端（又は画像端）までを略一直線で探索できるため探索角度Θ（又は９０＋Θ）と直線の傾き、探索開始点のＹ方向高さが検出した直線と一致（傾き±Θｍ誤差許容）している（図９参照）。このとき、探索範囲Ｄは探索範囲Ｃの車輪ｃと対になるフェンダ角フィルタを使用しているので、探索範囲Ｃと探索範囲Ｄとの直線は車両Ｂのものであることが分かる。

逆に探索範囲Ｂでは実際には車両Ａと車両Ｂとの間での探索を行っているため、決定した直線の傾きが探索角度Θ（または９０＋Θ）の誤差（±Θth誤差許容、若しくは高さ方向の誤差（高さ±Ｈth誤差許容））を超えてしまうということになる。その理由としては、直線的なサイドステップに対して、車両のフロントバンパーやリアバンパなどの非直線要素のエッジ点を探索中に誤って取得してしまうため、近似した直線が想定しない直線になってしまうことが原因である。この場合には探索範囲に含まれる車輪は別の車両のものであるとの判断を行える。

なお、上記のように他車両の確実に特定できるので、車輪間の距離を正確に検出できることになる。よって、図２で示すステップ７のステップ８で擬似車両描画を生成させるときに、検出した他車両の大きさを正確に推定して擬似車両に反映させることができることになる。

なお、図１０を参照して説明した上記例の場合、車両Ｂの車輪は、車輪ｂと車輪ｃということが決定しているので、車輪ａは車両Ａのものであるといことが自明であるが、例えば図１１で示すような画像であった場合でも、上記の条件により車輪ａと車輪ｂとが別の車両のものであることを検出できる。

以上で説明した実施例では、検出したサイドステップとフェンダ角フィルタの組（鋭角、鈍角）を評価することで、どの車輪がどの他車両に属するものであるかを判断できる。よって、周囲を撮影した画像に基づいて、自車両の周囲に存在する他車両を確実に確認できる。したがって、このような車両検出機能を備える車両用表示装置１であれば、自車両の上方の視点から見た車両周囲画像に他車両の擬似画像を上書きした合成画像をディスプレイ上に表示できる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。なお、特許請求の範囲の記載との関係では、画像形成装置４の車両検出部４２が車輪検出手段及び他車両検出手段に対応する。

実施例に係る車両用表示装置１の構成を示した図である。 図１で示した構成を有する車両用表示装置が、搭載された車両のエンジンが始動したときに実行する一連の動作例をまとめて示したフローチャートである。 他車両を上方から見た擬似車両とした合成画像に変換される様子を示した図である。 図２のステップ７で実行される車両検出の処理内容を詳細に示したフローチャートである。 探索領域を決定する様子の一例を示した図である。 自車両を基準に設定した座標と、この座標での角度θ毎に予め設定されるパターン生成パラメータテーブルの一例を示した図である。 他車両のフェンダ角度を検出する手法を説明するために示した図である。 フェンダ角のパターンマッチングの手法を説明するために示した図である。 サイドステップを探索する様子をまとめ示した図である。 検出した車輪がどの車両に属するかの判断手法を説明するために示した図である。 他車両を判断する場合の画像例を示した図である。 従来の問題を説明するために示した図である。

符号の説明

１ 車両用表示装置
２ カメラ群
３ 距離センサ群
４ 画像処理装置
４１ 周囲画像合成部
４２ 車両検出部
４３ 擬似画像描画部
４４ 画像合成部
５ ディスプレイ
６ 撮影条件検出装置
７ 障害物位置検出装置
ＳＣ 自車両

Claims (5)

1. 撮像画像に基づいて自車両周囲に存在する他車両を検出する車両検出装置であって、
   周辺に存在している前記他車両の車輪を検出する車輪検出手段と、
   前記車輪検出手段が検出した２つの車輪の間に、車両の構成部品が存在することに基づいて、前記他車両を検出する他車両検出手段とを、備えたことを特徴とする車両検出装置。
2. 前記構成部品は、車輪間のサイドステップであることを特徴とする請求項１に記載の車両検出装置。
3. 前記車輪検出手段は、前記他車両のホイールを検出することを特徴とする請求項１または２に記載の車両検出装置。
4. 前記他車両検出手段は、同一車両の車輪位置に基づいて前記他車両の大きさをさらに推定することを特徴とする請求項１から３のいずれかに記載の車両検出装置。
5. 請求項１から４のいずれかに記載の車両検出装置と、前記撮像画像に他車両の大きさに基づいて合成した擬似他車両の画像を重畳して表示する表示手段とを備えたことを特徴とする車両用表示装置。
   

Images