JP2006134232A - 車両用立体物検出装置 - Google Patents

Abstract

【課題】 本発明は、白線検出と立体物検出を効率的に画像処理する車両用立体物検出装置の提供を目的とする。
【解決手段】 撮像画像に基づいて路面上の白線及び立体物を検出処理する処理手段を有する車両用立体物検出装置において、前記立体物と自車との衝突確率を算出する算出手段を備え、前記処理手段は、前記算出手段により算出された衝突確率が所定値αより大きい場合、処理時間の短い白線検出処理よりも処理時間の長い立体物検出処理を優先的に検出処理することを特徴とする車両用立体物検出装置。
【選択図】 図２

Description

本発明は、撮像画像に基づいて路面上の白線及び立体物を検出する車両用立体物検出装置に関する。

従来、自車両の走行方向に存在する先行車両を検出し、この先行車両と自車両との衝突可能性を判断する車両の衝突防止装置が知られている（例えば、特許文献１）。この衝突防止装置では、ステレオ視により先行車両と道路上の白線を検出する技術が開示されている。このような撮像画像を用いるステレオ視により検出された先行車両情報は、プリクラッシュシステム等に用いられる。プリクラッシュシステムにおいて算出された先行車両と自車との衝突確率が高い場合には、衝突緩和のためにブレーキやシートベルト等が制御される。また、撮像画像から検出された白線情報は、車線維持支援システムや車線逸脱警報システム等に用いられる。車両が車線から逸脱する可能性が高い場合には、ステアリングの修正制御やドライバーへの警報等が行われる。
特開平１１−３９５９７号公報

ところで、上述の従来技術をはじめ、白線と先行車両等の立体物を画像処理プログラムにより検出処理する場合、白線検出処理のほうが立体物検出処理に比べ処理時間が短い。したがって、処理時間の長い立体物検出処理の後に白線検出処理を行うと、上述の車線維持システム等に要求されるステアリング制御の遅れが生じ制御性が悪くなり得る。そのため、処理時間の短い白線検出処理の後に立体物検出処理が行われる。立体物検出処理はもともと処理時間が長いので、白線検出処理が立体物検出処理の前にあることによる処理時間の遅れは、立体物検出の制御性への影響はほとんどない。

しかしながら、白線検出処理の後に立体物検出処理をするという処理手順で固定されていると、そのときの運転状態によっては必ずしも最適な処理手順にはなっていなかった。特許文献１においてもこの点についての示唆及び開示がされていない。

そこで、本発明は、白線検出と立体物検出を効率的に画像処理する車両用立体物検出装置の提供を目的とする。

上記課題を解決するため、本発明の一局面によれば、
撮像画像に基づいて路面上の白線及び立体物を検出処理する処理手段を有する車両用立体物検出装置において、
前記立体物と自車との衝突確率を算出する算出手段を備え、
前記処理手段は、前記算出手段により算出された衝突確率が所定値より大きい場合、前記白線よりも前記立体物を優先的に検出処理することを特徴とする車両用立体物検出装置が提供される。

本局面によれば、ある立体物に自車が衝突する可能性が大きいような状況において特に重要となる立体物検出を優先的に処理することができ、画像処理を効率的にすることができる。

また、前記処理手段は、前記立体物の優先的検出処理として、前記立体物を検出処理した後に前記白線を検出処理したり、前記白線の検出処理を停止して前記立体物を検出処理したり、前記立体物の周辺に検出処理する領域を設定したりしてもよい。これにより、処理時間の短い白線検出処理よりも処理時間の長い立体物検出処理を優先的に検出処理することによって、衝突確率が高くなればなるほど立体物検出処理が優先的に処理され、プリクラッシュシステムによる自車の衝突回避に関する制御等を確実にかつ迅速にでき、衝突が迫っているという状況下であっても制御の応答遅れを抑えることができる。

また、前記撮像画像を撮像する撮像手段のシャッタースピードや絞りは、前記立体物の周辺の領域に合わせて設定されてもよい。これにより、衝突確率が高ければ、衝突するおそれのある立体物に合わせて露出を調整し、その立体物を精度よく検出することができる。

本発明によれば、白線検出と立体物検出を効率的に画像処理することができる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。図１は本発明の車両用立体物検出装置の構成の一例を示した図である。本車両用立体物検出装置は、ステレオカメラ１０とステレオＥＣＵ２０を備える。

ステレオカメラ１０は、撮像素子１１，１２、カメラＣＰＵ１３及び画像通信インターフェース１４を有する。ステレオカメラ１０は車両前方を撮像可能なようにバンパーやフロントグリルやサイドミラー等に設置される。

撮像素子１１，１２は、例えば、ＣＣＤ（Charge Coupled Device）で構成されている。カメラＣＰＵ１３は、ステレオＥＣＵ２０からの制御信号に基づいてカメラ側の露出等の制御を行う。撮像素子１１，１２による撮像画像は、ステレオＥＣＵ２０に画像通信インターフェース１４を介して送信される。

ステレオＥＣＵ２０は、画像通信インターフェース２１、画像処理ＣＰＵ２２及びＳＶ−ＣＰＵ２３を有する。ステレオカメラ１０から送信された撮像画像は、画像通信インターフェース２１を介して画像処理ＣＰＵ２２に受信される。画像処理ＣＰＵ２２は、その撮像画像に基づいて白線検出処理や立体物検出処理を行う。

白線検出処理は、撮像画像から路面上の白線を検出する画像処理プログラムによる処理である。白線検出処理では、まず、撮像画像を輝度によって２値化し、２値化後の画像において路面上の白線に該当すると考えられる画素（以下、白線候補点という）を選出する。そして、白線候補点が直線的に並んでいれば、選出された白線候補点は路面上の白線であると判断する。

立体物検出処理は、例えばステレオ視の技術によって撮像画像から立体物を検出する画像処理プログラムによる処理である。立体物検出処理では、撮像画像を立体物領域と路面領域に分離する。すなわち、左右に配置された撮像素子１１，１２による左右の画像同士で３次元空間中の同一点を対応づけ、三角測量の要領で、その点の３次元位置を求めるものである。その３次元空間中の点の路面からの高さは、撮像素子１１，１２の路面からの高さによって、算出することが可能である。なお、立体物は、路面に垂直に立つものであって、先行車両、人または標識等の道路上の構造物等の自車の走行上障害となり得るものである。

また、その立体物と自車との距離は、撮像素子１１，１２による撮像画像間の視差を求めることによって算出可能である。立体物が自車の前方にある場合、撮像素子１１による画像と撮像素子１２による画像とを重ね合わせると、立体物が左右横方向にずれる。そして、片方の画像を１画素ずつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をｎとする。レンズの焦点距離をｆ、光軸間の距離をｍ、画素ピッチをｄとすると、自車から立体物までの距離Ｌは、Ｌ＝（ｆ・ｍ）／（ｎ・ｄ）という関係式が成立する。なお、（ｎ・ｄ）を視差という。

また、上記で算出された自車と立体物との距離Ｌの時間変化から相対速度Ｖｒ（立体物に対する自車の速度）が求められ、相対速度Ｖｒの時間変化から相対加速度Ａｒが求められる。また、車輪速センサによって検出された自車の車速Ｖ１と相対速度Ｖｒとの関係から立体物の移動速度Ｖ２が求められ、Ｇセンサによって検出された自車の加速度Ａ１と相対加速度Ａｒとの関係から立体物の移動加速度Ａ２が求められる。

このように立体物検出処理によって求められた距離Ｌ、相対速度Ｖｒ、相対加速度Ａｒ、自車を中心とした前方立体物の左右の位置（ずれ）等に基づいて、立体物と自車との衝突確率が算出される。例えば、距離Ｌが所定値以下で自車と前方立体物との左右のずれが所定値以下であれば、衝突確率をαとする。加えて、相対速度Ｖｒが負の所定定数以下になれば、衝突確率をαより大きいβとする。衝突確率の具体的な算出関数は、車両のシステム仕様に従って所望の関数にすればよい。

ＳＶ−ＣＰＵ２３は、各ＣＰＵを監督（supervisor）するＣＰＵである。画像処理ＣＰＵ２２が兼用しても可である。ＳＶ−ＣＰＵ２３は、画像処理ＣＰＵ２２の画像処理結果に基づいてステレオカメラ１０に制御すべき露出等の信号をカメラＣＰＵ１３に送信する。一般的に露出は絞りとシャッタースピードで変わる。絞りを大きくすると光の通る部分は狭くなり、光は減少する。また、シャッタースピードによって光を通す時間を制御可能になる。シャッタースピードを遅くすれば通る光が保持されるため暗い場所での撮影も可能になる。

また、ＳＶ−ＣＰＵ２３は、車内ＬＡＮを介して、白線検出結果や立体物検出結果等を必要とする他のＥＣＵにそれらの結果を送信する。他のＥＣＵとは、例えば、プリクラッシュシステムを制御するＥＣＵ、車線維持支援システムや車線逸脱警報システムを制御するＥＣＵ、車間ＥＣＵ、ブレーキＥＣＵ等である。

［第１の動作例］それでは、本発明の車両用立体物検出装置の第１の動作例について説明する。図２は、画像処理ＣＰＵ２２のメインルーチンである。ステップ１００において、ステレオカメラ１０から撮像画像を取り込む。次に、上述のように算出された衝突確率がαより大きいか否かを判断する（ステップ１１０）。ＣＰＵ立ち上げのとき等のため、衝突確率が算出されていなければ、所定の初期値との比較となる。衝突確率がα以下であれば、白線検出処理の後に立体物検出処理を行う（ステップ１２０，１３０）。衝突確率がαより大きければ、ステップ１４０に移行する。ステップ１４０では、その算出された衝突確率がβより大きいか否かを判断する。βはαより大きい値であり、大きい値ほど自車と立体物との衝突する確率が高いことを示す。衝突確率がβ以下であれば、立体物検出処理の後に白線検出処理を行う（ステップ１５０，１６０）。衝突確率がβより大きければ、白線検出処理は行わず立体物検出処理のみを行う（ステップ１７０）。

このように、図２のルーチンでは、衝突確率に従って検出処理の順番を変更している。白線検出処理と立体物検出処理の処理時間を比較すると、上述したように白線検出処理時間のほうが短い。なぜなら、路面のアスファルトと白線とのコントラストが大きく、また、白線は形状がおよそ一定でしかも比較的単純なため、立体物の検出よりも容易に検出可能であるからである。

つまり、図２のようなルーチンにすることによって以下のことが言える。例えば、立体物検出処理に６０ｍｓ、白線検出処理に２０ｍｓ、トータル８０ｍｓの周期でメインルーチンが繰り返されているとする。なお、トータル周期は正確には衝突確率の算出処理等を含んだものになるが、以下の説明上では不要のため無視する。図７は、各衝突確率におけるメインルーチンの検出処理の順番を示す図である。衝突確率が低いとき（図７（ａ））には、白線検出処理の後に立体物検出処理を行う。衝突確率が少し高いとき（図７（ｂ））には、立体物検出処理の後に白線検出処理を行うことよって、立体物検出処理の完了を早めることができる。例えば、立体物検出処理の２回目の検出完了時間が、図７（ａ）では１６０ｍｓになるのに対し、図７（ｂ）では１４０ｍｓになる。衝突確率がさらに高いとき（図７（ｃ））には、白線検出処理を行わないことによって、立体物検出処理の完了をさらに早めることができる。したがって、衝突確率が高くなればなるほど立体物検出が早まれば、プリクラッシュシステムによる自車の衝突回避に関する制御を確実にかつ迅速にでき、衝突が迫っているという状況下であっても制御の応答遅れを抑えることができる。

また、立体物検出処理完了の周期が速くなるということは、立体物との距離Ｌや相対速度Ｖｒのサンプリング周期が速くなるということである。したがって、距離や速度の精度も上がることになる。特に、速度は距離の微分によって算出されるので、特に、サンプリング周期が速くなることは、正確な衝突確率の算出や正確な衝突回避に関する制御をする上で望ましいことである。

なお、図７（ｃ）のように白線検出処理自体を停止してしまう点については、特に問題はない。衝突確率が非常に高くなっているときは、一刻一秒を争う制御をする必要があるからである。衝突する可能性が非常に高いという状況下で、白線検出処理に基づいて車線維持等のステアリング制御をするという必要性はほとんどない。

ところで、図２のメインルーチンとは別に、図３のようなサブルーチンをまわしてもよい。図３のサブルーチンは、車内ＬＡＮを介して白線検出結果や立体物検出結果等を必要とする他のＥＣＵにそれらの結果を一定周期で送信するタイマルーチンである。メインルーチンに対して十分速い一定周期（例えば、１６ｍｓ）でまわればよい。このタイマルーチンは、例えば、ＳＶ−ＣＰＵ２３内のルーチンである。図２のメインルーチン自体のトータル周期は一定ではない。例えば、あるときは８０ｍｓでメインルーチンの検出処理が完了するが、あるときは処理が重くて９０ｍｓや１００ｍｓに長くなることがありうる。したがって、タイマルーチンによる一定周期で送信することによって、メインルーチンの検出処理が完了していなければ前回の検出処理結果が送信されるが、メインルーチンの検出処理が完了すれば最新の検出処理結果がすぐに送信されることになる。つまり、プリクラッシュシステムによる自車の衝突回避に関する制御を確実にかつ迅速にでき、衝突が迫っているという状況下であっても制御の応答遅れを抑えることができるという効果につながる。

［第２の動作例］それでは、本発明の車両用立体物検出装置の第２の動作例について説明する。一般に、ある対象物を画像処理により検出する場合、その対象物が最適な明るさとなるようにカメラの露出を制御する。白線の検出をする場合、路面の明るさを基準に露出を制御することで、白線の検出性能を確保している。しかし、白線検出に加えて立体物検出も行う場合には、明るさの基準をどのように設定するのかという点が重要になる。効率的に画像処理を行わなければ、白線と立体物を検出することができなくなる。そこで、本発明の車両用立体物検出装置は、白線検出と立体物検出を効率的に画像処理するため、以下のように動作する。

図４は、画像処理ＣＰＵ２２のメインルーチンである。白線検出処理の後に立体物検出処理を行い（ステップ３００，３１０）、それらの検出結果をＳＶ−ＣＰＵ２３または他のＥＣＵに出力する（ステップ３２０）ことを繰り返している。図５は、カメラの露出制御ルーチンである。ステップ４００において、上述のように算出された衝突確率がある値αより大きいか否かを判断する（ステップ４００）。衝突確率がαより大きければ、図９のように衝突確率の最も高い立体物３２の周囲に明るさ基準ウインドウ３４を設定する（ステップ４１０）。衝突確率がα以下であれば、図８のように路面に明るさ基準ウインドウ３３を設定する（ステップ４２０）。図６は、露出制御値算出ルーチンである。図５で設定された基準ウインドウの平均明るさを算出する（ステップ５００）。そして、目標明るさとステップ５００で算出された平均明るさとの差分についての所定関数Ｆによって、露出制御値が算出される（ステップ５１０）。

したがって、衝突確率が低ければ、路面に検出処理する領域を設定し、その設定された領域に合わせてシャッタースピードや絞り等を制御して露出を調節し、白線を精度よく検出できるようにした。衝突確率が高ければ、白線検出よりも衝突するおそれのある立体物を精度よく検出するほうが重要と考え、立体物の周辺に検出処理する領域を設定した。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

上述の実施例では、立体物と自車との距離を撮像画像に基づく画像処理により算出していたが、レーザーレーダ、ミリ波レーダ，超音波レーダ等を用いて距離を検出してもよい。

本発明の車両用立体物検出装置の構成の一例を示した図である。 第１の実施例における画像処理ＣＰＵ２２のメインルーチンである。 白線検出結果や立体物検出結果等を一定周期で送信するタイマルーチンである。 第２の実施例における画像処理ＣＰＵ２２のメインルーチンである。 カメラシャッタ制御ルーチンである。 シャッタ制御値算出ルーチンである。 各衝突確率におけるメインルーチンの検出処理の順番を示す図である。 路面に明るさ基準ウインドウが設定されたことを示す図である。 衝突確率の最も高い立体物の周囲に明るさ基準ウインドウが設定されたことを示す図である。

符号の説明

１０ ステレオカメラ
１１，１２ 撮像素子
１３ カメラＣＰＵ
２０ ステレオＥＣＵ
２２ 画像処理ＣＰＵ
２３ ＳＶ−ＣＰＵ
３０ 白線
３１ 道路標識
３２ 自車が衝突するおそれのある立体物
３３ 衝突確率小のときの明るさ基準ウインドウ
３４ 衝突確率大のときの明るさ基準ウインドウ

Claims (6)

1. 撮像画像に基づいて路面上の白線及び立体物を検出処理する処理手段を有する車両用立体物検出装置において、
   前記立体物と自車との衝突確率を算出する算出手段を備え、
   前記処理手段は、前記算出手段により算出された衝突確率が所定値より大きい場合、前記白線よりも前記立体物を優先的に検出処理することを特徴とする車両用立体物検出装置。
2. 前記処理手段は、前記立体物の優先的検出処理として、前記立体物を検出処理した後に前記白線を検出処理する請求項１記載の車両用立体物検出装置。
3. 前記処理手段は、前記立体物の優先的検出処理として、前記白線の検出処理を停止して前記立体物を検出処理する請求項１記載の車両用立体物検出装置。
4. 前記処理手段は、前記立体物の優先的検出処理として、前記立体物の周辺に検出処理する領域を設定する請求項１記載の車両用立体物検出装置。
5. 前記撮像画像を撮像する撮像手段のシッタースピードは、前記領域に合わせて設定される請求項４記載の車両用立体物検出装置。
6. 前記撮像画像を撮像する撮像手段の絞りは、前記領域に合わせて設定される請求項４記載の車両用立体物検出装置。

Images