JP2007249324A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2007249324A5 JP2007249324A5 JP2006068663A JP2006068663A JP2007249324A5 JP 2007249324 A5 JP2007249324 A5 JP 2007249324A5 JP 2006068663 A JP2006068663 A JP 2006068663A JP 2006068663 A JP2006068663 A JP 2006068663A JP 2007249324 A5 JP2007249324 A5 JP 2007249324A5
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- monitoring system
- processing unit
- periphery monitoring
- contact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 claims description 7
- 230000001276 controlling effect Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000006399 behavior Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 7
- 230000000875 corresponding Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Description
本発明は、車両の周辺を監視するシステムに関する。
車両と歩行者や二輪車等の物体と接触することを回避するため、車載カメラにより取り込まれた映像に基づき、この車両と接触する可能性が高い物体の存在を運転者に知らせる技術が提案されている(たとえば、特許文献1参照)。また、物体との接触可能性が高いとの判定結果に応じて、この物体との接触を回避しうるように車両の挙動を制御する技術が知られている。
特開2001−006096号公報 第0017段落〜第0053段落、図3
しかし、車両周辺の複数の物体のうち、車両と接触する可能性が低いと判定されていた物体が、他の物体との接触を回避する等のためにその状態を急に変化させる場合がある。この場合、当該物体は車両と接触する可能性が高いと判定され、その存在が運転者に急に報知され、または車両挙動が急激に変化することになり、運転者の心身にストレスを与えるおそれがある。
そこで、本発明は、車両周辺に複数の物体がある場合、物体同士の相関関係等を考慮に入れて車両と接触する可能性がある物体の存在を早期に判定した上で適当な対応措置をとりうるように車両の周辺を監視するシステムを提供することを解決課題とする。
第1発明の車両周辺監視システムは、車両の周辺を監視するシステムであって、車載の撮像装置により取り込まれた映像に基づいて前記車両の周辺にある複数の物体の位置を時系列的に測定し、各物体の時系列的な測定位置に基づいて前記各物体の1次状態を予測する第1処理部と、前記第1処理部により予測された各物体の前記1次状態の相関関係に基づいて前記複数の物体のうち一部または全部の2次状態を予測し、前記物体の前記2次状態に基づいて前記車両と前記物体との接触する可能性の高低を判定し、当該判定結果(以下、適宜「2次判定結果」という。)に応じて車載機器の動作を制御する第2処理部とを備えていることを特徴とする。
第1発明の車両周辺監視システムによれば、車載の撮像装置により取り込まれた映像に基づいて各物体の1次状態が予測される。物体の「状態」はその「位置」や「速度(車両に対する相対速度も含まれる(速度は大きさおよび向きを含む。)。)」等により特定される。さらに、各物体の1次状態の相関関係に基づいて当該複数の物体のうち一部または全部の2次状態が予測される。また、物体の2次状態に基づいて車両と当該物体との接触可能性の高低が判定され、当該判定結果(2次判定結果)に応じて車載機器の動作が制御される。これにより、車両周辺に複数の物体がある場合、未来における物体の1次状態の相関関係が考慮されて判定された、車両と当該物体との接触可能性の高低に応じて早期に車載機器の動作が制御されうる。たとえば現段階では車両との接触可能性が低いものの、未来における他の物体との相関関係に鑑みて、車両との接触可能性が高くなると予想される物体がある場合、この物体との接触回避等の観点から、車載機器の動作が適当に制御されうる。したがって、車載機器の急激な動作変化が抑制され、運転者に余計なストレスが与えられる事態が回避されうる。
第2発明の車両周辺監視システムは、第1発明の車両周辺監視システムにおいて、前記第1処理部が前記各物体について予測した前記1次状態に基づいて前記車両と前記各物体との接触する可能性の高低を判定し、当該判定結果(以下、適宜「1次判定結果」という。)に応じて前記車載機器の動作を制御することを特徴とする。
第2発明の車両周辺監視システムによれば、1次状態に基づいて車両と各物体との接触可能性の高低が判定される。また、前記のように2次判定結果に応じて車載機器の動作が制御されるのみならず、当該判定結果(1次判定結果)に応じて車載機器の動作が制御されうる。
第3発明の車両周辺監視システムは、第2発明の車両周辺監視システムにおいて、前記第2処理部が前記第1処理部による前記1次判定結果に基づく前記車載機器の動作の制御形態と異なる形態で、前記2次判定結果に基づいて同一の車載機器の動作を制御する、あるいは前記第1処理部により動作が制御される前記車載機器と異なる車載機器の動作を2次判定結果に基づいて制御することを特徴とする。
各物体の時系列的な測定位置に基づいて予測された1次状態に基づく1次判定結果の信頼度は、1次状態に基づいてさらに予測(または推測)された2次状態に基づく2次判定結果の信頼度よりも一般的に高いことが多い。このため、第3発明の車両周辺監視システムによれば、車両と物体との接触可能性の高低に関する判定結果の信頼度の高低に応じて車載機器の動作が制御されうる。
第4発明の車両周辺監視システムは、第1発明の車両周辺監視システムにおいて、前記第2処理部が前記物体の前記2次状態に基づいて前記車両と前記物体とが接触する可能性が高いと判定した場合、前記物体の存在を強調する第2情報を車載の情報出力装置に出力させることを特徴とする。
第4発明の車両周辺監視システムによれば、車両周辺に複数の物体がある場合、未来における物体の1次状態の相関関係が考慮されて、車両と当該物体との接触可能性が高いと判定された物体の存在を、情報出力装置(車載機器)から出力される「第2情報」を通じて運転者に早期に認識させることができる。たとえば現段階では車両との接触可能性が低いものの、未来における他の物体との相関関係に鑑みて、車両との接触可能性が高くなると判定(または予想)された物体がある場合、この物体の存在を運転者に早期に認識させうる。したがって、車両と接触可能性が高い物体の存在が唐突に報知され、運転者に余計なストレスが与えられる事態が回避されうる。
第5発明の車両周辺監視システムは、第2発明の車両周辺監視システムにおいて、前記第1処理部が前記物体の前記1次状態に基づいて前記車両と前記物体とが接触する可能性が高いと判定した場合、前記物体の存在を強調する第1情報を車載の情報出力装置に出力させることを特徴とする。
第5発明の車両周辺監視システムによれば、1次状態に基づき、車両と各物体との接触可能性が高いと判定された物体の存在を、情報出力装置(車載機器)から出力される「第1情報」を通じて運転者に認識させることができる。
第6発明の車両周辺監視システムは、第5発明の車両周辺監視システムにおいて、前記第2処理部が前記物体の前記2次状態に基づいて前記車両と前記物体とが接触する可能性が高いと判定した場合、前記物体の存在を強調する第2情報を前記第1処理部による前記第1情報の出力形態とは異なる形態で車載の情報出力装置に出力させることを特徴とする。
第6発明の車両周辺監視システムによれば、前記のように1次判定結果の信頼度が2次判定結果の信頼度よりも一般的に高いことが多いことに鑑みて1次および2次判定結果のそれぞれに応じた第1および第2情報の出力形態が差別化される。これにより、第1および第2情報により存在が強調された物体と車両とが接触する可能性に関する判定結果がどの程度信頼に足りるものであるかを運転者に認識させることができる。
第6発明の車両周辺監視システムによれば、前記のように1次判定結果の信頼度が2次判定結果の信頼度よりも一般的に高いことが多いことに鑑みて1次および2次判定結果のそれぞれに応じた第1および第2情報の出力形態が差別化される。これにより、第1および第2情報により存在が強調された物体と車両とが接触する可能性に関する判定結果がどの程度信頼に足りるものであるかを運転者に認識させることができる。
第7発明の車両周辺監視システムは、第1発明の車両周辺監視システムにおいて、前記第2処理部が前記2次判定結果に基づいて前記車両の挙動を制御することを特徴とする。
第7発明の車両周辺監視システムによれば、車両周辺に複数の物体がある場合、未来における物体の1次状態の相関関係が考慮された、車両と当該物体との接触可能性の高低に関する判定結果に応じて、車載機器に車両の動作を早期に制御させることができる。たとえば現段階では車両との接触可能性が低いものの、未来における他の物体との相関関係に鑑みて、車両との接触可能性が高くなると判定(または予想)された物体がある場合、この物体との接触を回避しうるように車両の動作が早期に制御されうる。したがって、車両と接触可能性が高い物体の存在に応じて唐突に車両動作が変化し、運転者に余計なストレスが与えられる事態が回避されうる。
第7発明の車両周辺監視システムによれば、車両周辺に複数の物体がある場合、未来における物体の1次状態の相関関係が考慮された、車両と当該物体との接触可能性の高低に関する判定結果に応じて、車載機器に車両の動作を早期に制御させることができる。たとえば現段階では車両との接触可能性が低いものの、未来における他の物体との相関関係に鑑みて、車両との接触可能性が高くなると判定(または予想)された物体がある場合、この物体との接触を回避しうるように車両の動作が早期に制御されうる。したがって、車両と接触可能性が高い物体の存在に応じて唐突に車両動作が変化し、運転者に余計なストレスが与えられる事態が回避されうる。
第8発明の車両周辺監視システムは、第2発明の車両周辺監視システムにおいて、前記第1処理部が前記1次判定結果に基づいて前記車両の挙動を制御することを特徴とする。
第8発明の車両周辺監視システムによれば、1次判定結果に応じて車両の動作を車載機器に制御させうる。
第8発明の車両周辺監視システムによれば、1次判定結果に応じて車両の動作を車載機器に制御させうる。
第9発明の車両周辺監視システムは、第8発明の車両周辺監視システムにおいて、前記第2処理部が前記第1処理部による前記1次判定結果に基づく前記車両の挙動の制御形態とは異なる形態で、前記2次判定結果に基づいて前記車両の挙動を制御することを特徴とする。
第9発明の車両周辺監視システムによれば、前記のように1次判定結果の信頼度が2次判定結果の信頼度よりも一般的に高いことが多いことに鑑みて1次および2次判定結果のそれぞれに応じた車両の動作制御形態が差別化される。これにより、車両と物体とが接触する可能性に関する1次および2次判定結果の信頼度の高低に応じて、当該物体との接触を回避しうるように適当に車両の動作を車載機器に制御させることができる。
第10発明の車両周辺監視システムは、第1発明の車両周辺監視システムにおいて、前記第2処理部が、前記第1処理部により予測された前記各物体の前記1次状態の相関関係に加え、前記車両と前記各物体との距離または物体同士の距離に基づき、前記各物体の前記2次状態を予測することを特徴とする。
第10発明の車両周辺監視システムによればこの点に鑑みて、各物体の1次状態の相関関係のみならず、各物体と車両との距離または物体同士の距離に基づき、各物体の状態が予測される。これは、物体はその周囲に空間的余裕がある場合に当該余裕のある方向に針路を変更する等、その状態を急激に変化させる可能性が高い点に鑑みたためである。これにより、未来における物体同士の相関関係に加え、物体同士または物体と車両との位置関係が考慮された、車両と物体とが接触する可能性の高低に応じて車載機器が適当に制御されうる。
第11発明の車両周辺監視システムは、第1発明の車両周辺監視システムにおいて、第k処理部(k=2,3,‥)により予測された前記各物体のk次状態の相関関係に基づいて当該複数の物体のうち一部または全部のk+1次状態を予測し、前記物体の前記k+1次状態に基づいて前記車両と前記物体との接触する可能性の高低を判定し、当該判定結果に応じて前記車載機器の動作を制御する第k+1処理部をさらに備えていることを特徴とする。
第11発明の車両周辺監視システムによれば、2次よりもさらに高次の物体の予測状態に基づいて、車両と当該物体との接触可能性の高低が評価される。これにより、比較的遠い未来における物体同士の状態の相関関係等をも考慮に入れた、車両と物体とが接触する可能性の高低に応じて車載機器が適当に制御されうる。
第12発明の車両周辺監視システムは、第1発明の車両周辺監視システムにおいて、前記第2処理部が第1物体による第2物体との接触を回避するための針路変更または追い越しの有無を前記第1物体の前記2次状態として予測し、前記第1物体の前記2次状態として前記第2物体との接触を回避するための針路変更または追い越しを予測した場合、前記車両と前記第1物体とが接触する可能性が高いと判定することを特徴とする。
第1物体が第2物体との接触を回避するため、または第2物体を追い越すため、車両の前方にその針路を変更する可能性が高い。第12発明の車両周辺監視システムによればこの点に鑑みて、第1物体が第2物体を追い越すこと等が判定(または予測)され、この判定結果に応じて車載機器が適当に制御されうる。
第13発明の車両周辺監視システムは、第12発明の車両周辺監視システムにおいて、前記第2処理部が前記第1物体および前記第2物体のそれぞれの前記1次状態の相関関係に加え、前記車両と前記第1物体もしくは前記第2物体との距離または前記第1物体と前記第2物体との距離に基づき、前記第1物体による針路変更または前記第2物体の追い越しの有無を前記第1物体の前記2次状態として予測することを特徴とする。
物体が周囲に空間的余裕がある場合、他の物体を追い越す等のために当該余裕のある方向に針路を変更する可能性が高い等、周辺の空間的余裕に応じて物体が追い越し等をする可能性が異なる。第13発明の車両周辺監視システムによればこの点に鑑みて、第1および第2物体の1次予測状態のみならず、第1もしくは第2物体と車両との距離、または物体同士の距離に基づき、第1物体が第2物体を追い越す等のために針路変更するか否かが判定(または予測)される。これにより、第1および第2物体同士の未来の相関関係等が考慮された、車両と物体とが接触する可能性の高低に関する判定結果に応じて車載機器が適当に制御されうる。
本発明の車両周辺監視システムの実施形態について図面を用いて説明する。図1に示されているように車両1には、車両周辺監視システム10と、ナビゲーションシステム(以下「ナビシステム」という。)20とが搭載されている。車両1の前部には、車幅方向中心部に対してほぼ対称に左右一対の赤外線カメラ102が配置されている。2つの赤外線カメラ102の光軸は路面からの高さが等しく、かつ、相互に平行となるように調節されている。車両1のフロントウィンドウにはHUD(Head Up Display)122が、運転者の視界を妨げないように配置されている。HUD122には、赤外線カメラ102を通じて取得された車両1の前方の映像(画像)が表示される。また、図2に示されているように車両1には、そのヨーレートに応じた信号を出力するヨーレートセンサ104と、その速度に応じた信号を出力する速度センサ106と、方向指示器の出力に応じた信号を出力する方向指示器センサ108等、種々のセンサが搭載されている。
ナビシステム20はCPU、ROM、RAM等のメモリ、信号入力回路、信号出力回路等により構成されている。ナビシステム20はユーザにより設定された目的地までのルートを設定し、車両1のコンソールに配置されたナビディスプレイ202に、このルートを表示させる。また、ナビシステム20は、ナビディスプレイ202に、GPSにより測定された車両1の現在位置およびヨーレートセンサ104の出力に応じた車両1の進行方向を表すアイコン等を表示させる。
ナビシステム20はCPU、ROM、RAM等のメモリ、信号入力回路、信号出力回路等により構成されている。ナビシステム20はユーザにより設定された目的地までのルートを設定し、車両1のコンソールに配置されたナビディスプレイ202に、このルートを表示させる。また、ナビシステム20は、ナビディスプレイ202に、GPSにより測定された車両1の現在位置およびヨーレートセンサ104の出力に応じた車両1の進行方向を表すアイコン等を表示させる。
車両周辺監視システム10は、車両1に搭載されたコンピュータ(CPU、ROM、RAM、信号入力回路、信号出力回路等により構成されている。)と、メモリ等に格納され、当該コンピュータに諸機能を付与する本発明の「車両周辺監視プログラム」とにより構成されている。車両周辺監視プログラムは最初から車載コンピュータのメモリに格納されていてもよいが、その一部または全部が運転手または車載コンピュータからのリクエストがあったとき等、任意のタイミングで所定のサーバからダウンロードされてもよい。また、図2に示されているように車両周辺監視システム10は、第1処理部11と、第2処理部12とを備えている。
第1処理部11は赤外線カメラ102により取り込まれた映像に基づいて車両1の周辺の複数の物体の位置を逐次測定する。また、第1処理部11は各物体の時系列的な測定位置に基づいて各物体の「1次状態」を予測する。さらに、第1処理部11はこの1次状態に基づいて各物体の車両1と接触する可能性の高低を判定する。そして、第1処理部11は1次状態に鑑みて車両1と接触する可能性が高い物体の存在を示す第1情報をHUD122に表示させる。
第2処理部12は、第1処理部11により予測された各物体の1次状態の相関関係に基づいて各物体の「2次状態」を予測する。また、第2処理部12はこの2次状態に基づいて各物体の車両と接触する可能性の高低を判定する。そして、第2処理部12は2次状態に鑑みて車両と接触する可能性が高い物体の存在を示す第2情報をHUD122に表示させる。
各物体の時系列的な測定位置、予測された各物体の1次状態および2次状態、車両と各物体との接触可能性の高低についての判定結果等は、第1処理部11または第2処理部12によってメモリ(図示略)に適宜保存(格納)され、かつ、当該メモリから読み取られる。
前記構成の車両周辺監視システム10の機能について図3〜図6を用いて説明する。
まず、第1処理部11が「第1処理」を実行する(図3/S11)。
まず、第1処理部11が「第1処理」を実行する(図3/S11)。
第1処理部11は一対の赤外線カメラ102により取り込まれた映像に基づき、この映像に含まれる物体の実空間位置を測定する(図3/S111)。実空間位置とは、図1に示されているように一対のカメラ102の取り付け位置の中点を原点Oとし、水平方向、鉛直方向および前後方向をそれぞれX、YおよびZ軸とする座標系における位置を意味する。
また、第1処理部11はメモリに保存されている各物体の時系列的な測定位置に基づき、車両1に対する各物体の相対速度ベクトルを算出する(図3/S112)。さらに、第1処理部11は算出した物体の相対速度ベクトルがそのまま維持される状態を当該物体の「1次状態」として予測する(図3/S113)。また、第1処理部11は各物体の1次状態に基づいて車両1と各物体との接触可能性の高低を判定する(図3/S114)。そして、第1処理部11は車両1と物体とが接触する可能性が高いと判定した場合(図3/S114‥YES)、この物体を示す第1情報として、図6(c)に示されているように当該物体を囲む橙色の第1フレームf1をHUD122に表示させる(図3/S115)。なお、第1情報として「ピッピッピッ」等の音声がスピーカ(図示略)から出力されてもよい。さらに、第1情報としてナビディスプレイ202に当該物体の位置を示すアイコンが、車両1の針路および位置を表すアイコンとともに表示されてもよい。
物体の実空間位置の測定方法、各物体の同一性判断方法、物体の相対速度ベクトルの算出方法および1次状態に鑑みた車両1と物体との接触可能性の高低の判定方法等は、前記特許文献1(特開2001−6096号公報)、特開2003−157498号公報等に詳細な説明が記載されている。そこで、ここではこれらの詳細な説明を省略し、接触可能性の判定方法についてのみ簡単に説明する。
物体の実空間位置の測定方法、各物体の同一性判断方法、物体の相対速度ベクトルの算出方法および1次状態に鑑みた車両1と物体との接触可能性の高低の判定方法等は、前記特許文献1(特開2001−6096号公報)、特開2003−157498号公報等に詳細な説明が記載されている。そこで、ここではこれらの詳細な説明を省略し、接触可能性の判定方法についてのみ簡単に説明する。
図4に示されているように、赤外線カメラ102により監視可能な三角形領域A0よりも、車両1に対する二輪車等の物体qの相対速度vsと余裕時間Tとの積(vs×T)だけ低い三角形領域(警報判定領域)が定義される。また、当該三角形領域のうち、Z軸を中心とするX方向の幅がα+2β(α:車幅、β:余裕幅)の第1領域(接近判定領域)A1と、第1領域A1の左右の第2領域(侵入判定領域)A2LおよびA2Rとが定義される。そして、物体qが第1領域A1にある場合や、物体qが左右の第2領域A2にあって、その相対速度ベクトルvsに鑑みて第1A1領域に侵入してくることが予測される場合、この物体qと車両1とが接触する可能性が高いと判定される。
続いて、第2処理部12が「第2処理」を実行する(図3/S12)。
第2処理部12は、第1処理部11により予測され、メモリに保存されている各物体の1次状態の相関関係に基づいて各物体の「2次状態」を予測する(図3/S121)。たとえば、車両1、第1物体q1および第2物体q2がZ方向にそれぞれ速度v0,v1,v2で走行している状況を考える。この状況で次の要件1〜5が満たされる場合、第1物体q1が第2物体q2を追い越すために針路変更することが第1物体q1の「第2状態」として予測される。なお、当該要件1〜5が満たされる場合、第2物体q2が第1物体q1による追突を回避するために針路変更することが第2物体q2の「第2状態」として予測されてもよい。
(要件1)
Z方向について車両の速度が、第1物体q1および第2物体q2のそれぞれの速度よりもある程度以上高いこと。
(要件2)
第1物体q1および第2物体q2のうち、後側の物体の速度が前側の物体の速度よりもある程度以上高いこと。
(要件3)
第1物体q1および第2物体q2がともに車両1の前方であって、XおよびZ方向についてある程度近くにあること。たとえば、第1物体q1および第2物体q2がともに第2領域A2(図4参照)に位置していること。
(要件4)
第1物体q1および第2物体q2のX方向の間隔が、両物体のZ座標を同一にした場合に両物体が接触する可能性がある程度近い範囲内にあること。たとえば、第1物体q1および第2物体q2がともに左右同じ側の第2領域A2に位置していること。
(要件5)
第1物体q1および第2物体q2のうち後側の物体と車両1とがZ方向についてある程度で離れていること。なお、この要件充足性の判定基準は、車両1と当該後側の物体との相対速度に応じて可変に設定されうる。
(要件1)
Z方向について車両の速度が、第1物体q1および第2物体q2のそれぞれの速度よりもある程度以上高いこと。
(要件2)
第1物体q1および第2物体q2のうち、後側の物体の速度が前側の物体の速度よりもある程度以上高いこと。
(要件3)
第1物体q1および第2物体q2がともに車両1の前方であって、XおよびZ方向についてある程度近くにあること。たとえば、第1物体q1および第2物体q2がともに第2領域A2(図4参照)に位置していること。
(要件4)
第1物体q1および第2物体q2のX方向の間隔が、両物体のZ座標を同一にした場合に両物体が接触する可能性がある程度近い範囲内にあること。たとえば、第1物体q1および第2物体q2がともに左右同じ側の第2領域A2に位置していること。
(要件5)
第1物体q1および第2物体q2のうち後側の物体と車両1とがZ方向についてある程度で離れていること。なお、この要件充足性の判定基準は、車両1と当該後側の物体との相対速度に応じて可変に設定されうる。
また、第2処理部12は各物体の2次状態に基づいて車両1と各物体とが接触する可能性の高低を判定する(図3/S122)。たとえば第1物体q1が第2物体q2を追い越すために針路変更することが第1物体q1の「第2状態」として予測された場合、車両1と第1物体q1との接触可能性q1が高いと判定される。また、第2物体q2が第1物体q1による追突を回避するために針路変更することが第2物体q2の「第2状態」として予測された場合、車両1と第2物体q2との接触可能性q1が高いと判定される。
そして、第2処理部12は2次状態に鑑みて車両と物体とが接触する可能性が高いと判定した場合(図3/S122‥YES)、物体の存在を示す第2情報として、当該物体を囲う黄色の第2フレームf2をHUD122に表示させる(図3/S123)。なお、第2情報として第1情報よりも短い「ピッ」等の音声がスピーカから出力されてもよい。また、第2情報としてナビディスプレイ202に当該物体の位置を示すアイコンが、車両1の針路および位置を表すアイコンとともに表示されてもよい。
例として図5に示されているようにZ方向に速度v0で走行している車両1の前方左側において第1物体q1が速度v1(<v0)で走行し、第1物体q1より前で第2物体q2が速度v2(<v1)で走行している状況を考える。この状況では、第1物体q1が第2物体q2を追い越すため、図5に破線で示されているように針路変更する可能性がある。
この状況で第1物体q1および第2物体q2がともに、1次および2次状態に鑑みて車両1との接触可能性が低いと判定された場合(図3/S114‥NO,S122‥NO)、HUD122には図6(a)に示されているように単に第1物体q1および第2物体q2が表示される。これに対して第1物体q1が1次状態に鑑みて車両1との接触可能性が低いと判定された一方(図3/S114‥NO)、2次状態に鑑みて車両1との接触可能性が低いと判定された場合(S122‥YES)、HUD122には図6(b)に示されているように第1物体q1を囲うことでその存在を強調する黄色の第2フレーム(図中白枠)f2が「第2情報」として表示される。そして、第1物体q1が図5に破線で示されているように実際に左側に針路変更したことで、第1物体q1が1次状態に鑑みて車両1との接触可能性が高いと判定された場合(図3/S114‥YES)、HUD122には図6(c)に示されているように第1物体q1を囲うことでその存在を強調する橙色の第1フレーム(図中黒枠)f1が「第1情報」として表示される。
前記機能を発揮する本発明の車両周辺監視システム10によれば、物体の1次状態に鑑みて車両1との接触可能性が低い一方、物体の2次状態に鑑みて車両1との接触可能性が高い場合、HUD122には第1フレームf1(第1情報)は表示されないものの、第2フレームf2(第2情報)は出力される(図6(b)参照)。すなわち、現段階では車両1との接触可能性が低いものの、未来における第2物体q2との1次状態(要件1,2)の相関関係に鑑みて、車両1との接触可能性が高くなると予想される第1物体q1の存在が運転者に知らされうる。
したがって、車両1の周辺に複数の物体がある場合、未来における物体同士の相関関係等を考慮に入れて車両1と接触する可能性が高い物体の存在を早期に運転者に知らせることができる。HUD122に図6(b)に示されているような画像が表示され、その後で図6(c)に示されているような画像が表示された場合、HUD122に図6(c)に示されているような画像が唐突に表示された場合と比較して、早期に当該物体の存在を運転者に認識させることができ、これによって運転者が受けるストレスが著しく軽減される。
また、各物体の1次状態の相関関係(要件1,2)のみならず、各物体と車両との距離(要件3)および物体同士の距離(要件4,5)に基づき、各物体の状態が予測される。これは、物体がその周囲に空間的余裕がある場合に当該余裕のある方向に針路を変更する等、その状態を急激に変化させる可能性が高い点に鑑みたためである。これにより、未来における物体同士の相関関係に加え、物体同士または物体と車両との位置関係が考慮された形で車両1と接触する可能性が高い物体の存在を早期に運転者に知らせることができる(図6(b)参照)。
また、各物体の1次状態の相関関係(要件1,2)のみならず、各物体と車両との距離(要件3)および物体同士の距離(要件4,5)に基づき、各物体の状態が予測される。これは、物体がその周囲に空間的余裕がある場合に当該余裕のある方向に針路を変更する等、その状態を急激に変化させる可能性が高い点に鑑みたためである。これにより、未来における物体同士の相関関係に加え、物体同士または物体と車両との位置関係が考慮された形で車両1と接触する可能性が高い物体の存在を早期に運転者に知らせることができる(図6(b)参照)。
さらに、HUD122に表示される第1フレームf1(図6(c)参照)および第2フレームf2(図6(b)参照)の色彩が差別化されている。各物体の時系列的な測定位置に基づいて予測された1次状態に基づく第1フレームf1により存在が示された物体と車両1とが接触する可能性は、1次状態に基づいてさらに予測された2次状態に基づく第2フレームf2により存在が示された物体と車両1とが接触する可能性よりも一般的に高いことが多い。このため、フレームによって存在が示された物体と車両1とが接触する可能性がどの程度高いかを運転者に識別させ、その物体への適度な注意を運転者に促すことができる。
なお、前記実施形態では物体の1次状態に基づく車両1と当該物体とが接触する可能性が高いという1次判定結果に応じて、第1情報が出力されたが(図3/S114‥YES,S115、図6(c))、他の実施形態として1次判定結果に応じてこの物体との接触を回避しうるように車両1の挙動が車両挙動を制御するECU、ブレーキ機構やステアリング機構等の車載機器によって制御されてもよい。また、前記実施形態では物体の2次状態に基づく車両1と当該物体とが接触する可能性が高いという2次判定結果に応じて、第2情報が出力されたが(図3/S122‥YES,S123、図6(b))、他の実施形態として2次判定結果に応じて、この物体との接触を回避しうるように車両1の挙動が車両挙動を制御するECU、ブレーキ機構やステアリング機構等の車載機器によって制御されてもよい。さらに、1次判定結果に応じた車両1の挙動制御の形態と、2次判定結果に応じた車両1の挙動制御の形態とが差別化されていてもよい。
また、1次および2次判定結果のそれぞれに応じて、車載ライトの方向が物体の存在する領域に向けられる(ライトのスイブル制御)等、あらゆる車載機器の動作が制御されてもよい。さらに、1次判定結果に応じたライトの明度等により表される照明の形態と、2次判定結果に応じたライトによる照明形態とが差別化されていてもよい。
また、撮像装置として、遠赤外線を感知する赤外線カメラ102に代えて、可視光および近赤外線を感知するCCDカメラ等が採用されてもよい。
さらに、車両周辺監視システム10が、第2処理部12により予測された各物体の2次状態の相関関係に基づいて各物体の3次状態を予測し、各物体について3次状態に基づいて車両1と接触する可能性の高低を判定し、3次状態に鑑みて車両1と接触する可能性が高い物体の存在を示す第3情報をHUD122等に表示させる第3処理部をさらに備えていてもよい。同様に、車両周辺監視システム10が、さらに高次の物体の状態を予測等するさらなる処理部(第4処理部、第5処理部等)を備えていてもよい。
これにより、2次よりもさらに高次の物体の予測状態に基づいて、車両1と当該物体との接触可能性の高低が評価される。これにより、比較的遠い未来における物体同士の状態の相関関係等をも考慮に入れて車両1と接触する可能性がある物体の存在を早期に運転者に知らせることができる。
1‥車両、10‥車両周辺監視システム、102‥赤外線カメラ(撮像装置)、104‥ヨーレートセンサ、106‥速度センサ、108‥方向指示器センサ、11‥第1処理部、111‥第1記憶部、112‥第2記憶部、12‥第2処理部、122‥HUD(情報出力装置)、20‥ナビシステム、202‥ナビディスプレイ(情報出力装置)
Claims (13)
- 車両の周辺を監視するシステムであって、
車載の撮像装置により取り込まれた映像に基づいて前記車両の周辺にある複数の物体の位置を時系列的に測定し、各物体の時系列的な測定位置に基づいて前記各物体の1次状態を予測する第1処理部と、
前記第1処理部により予測された各物体の前記1次状態の相関関係に基づいて前記複数の物体のうち一部または全部の2次状態を予測し、前記物体の前記2次状態に基づいて前記車両と前記物体との接触する可能性の高低を判定し、当該判定結果(以下、適宜「2次判定結果」という。)に応じて車載機器の動作を制御する第2処理部とを備えていることを特徴とする車両周辺監視システム。 - 請求項1記載の車両周辺監視システムにおいて、
前記第1処理部が前記各物体について予測した前記1次状態に基づいて前記車両と前記各物体との接触する可能性の高低を判定し、当該判定結果(以下、適宜「1次判定結果」という。)に応じて前記車載機器の動作を制御することを特徴とする車両周辺監視システム。 - 請求項2記載の車両周辺監視システムにおいて、
前記第2処理部が前記第1処理部による前記1次判定結果に基づく前記車載機器の動作の制御形態と異なる形態で、前記2次判定結果に基づいて同一の車載機器の動作を制御する、あるいは前記第1処理部により動作が制御される前記車載機器と異なる車載機器の動作を2次判定結果に基づいて制御することを特徴とする車両周辺監視システム。 - 請求項1記載の車両周辺監視システムにおいて、
前記第2処理部が前記物体の前記2次状態に基づいて前記車両と前記物体とが接触する可能性が高いと判定した場合、前記物体の存在を強調する第2情報を車載の情報出力装置に出力させることを特徴とする車両周辺監視システム。 - 請求項2記載の車両周辺監視システムにおいて、
前記第1処理部が前記物体の前記1次状態に基づいて前記車両と前記物体とが接触する可能性が高いと判定した場合、前記物体の存在を強調する第1情報を車載の情報出力装置に出力させることを特徴とする車両周辺監視システム。 - 請求項5記載の車両周辺監視システムにおいて、
前記第2処理部が前記物体の前記2次状態に基づいて前記車両と前記物体とが接触する可能性が高いと判定した場合、前記物体の存在を強調する第2情報を前記第1処理部による前記第1情報の出力形態とは異なる形態で車載の情報出力装置に出力させることを特徴とする車両周辺監視システム。 - 請求項1記載の車両周辺監視システムにおいて、
前記第2処理部が前記2次判定結果に基づいて前記車両の挙動を制御することを特徴とする車両周辺監視システム。 - 請求項2記載の車両周辺監視システムにおいて、
前記第1処理部が前記1次判定結果に基づいて前記車両の挙動を制御することを特徴とする車両周辺監視システム。 - 請求項8記載の車両周辺監視システムにおいて、
前記第2処理部が前記第1処理部による前記1次判定結果に基づく前記車両の挙動の制御形態とは異なる形態で、前記2次判定結果に基づいて前記車両の挙動を制御することを特徴とする請求項11記載の車両周辺監視システム。 - 請求項1記載の車両周辺監視システムにおいて、
前記第2処理部が、前記第1処理部により予測された前記各物体の前記1次状態の相関関係に加え、前記車両と前記各物体との距離または物体同士の距離に基づき、前記各物体の前記2次状態を予測することを特徴とする車両周辺監視システム。 - 請求項1記載の車両周辺監視システムにおいて、
第k処理部(k=2,3,‥)により予測された前記各物体のk次状態の相関関係に基づいて当該複数の物体のうち一部または全部のk+1次状態を予測し、前記物体の前記k+1次状態に基づいて前記車両と前記物体との接触する可能性の高低を判定し、当該判定結果に応じて前記車載機器の動作を制御する第k+1処理部をさらに備えていることを特徴とする車両周辺監視システム。 - 請求項1記載の車両周辺監視システムにおいて、
前記第2処理部が第1物体による第2物体との接触を回避するための針路変更または追い越しの有無を前記第1物体の前記2次状態として予測し、前記第1物体の前記2次状態として前記第2物体との接触を回避するための針路変更または追い越しを予測した場合、前記車両と前記第1物体とが接触する可能性が高いと判定することを特徴とする車両周辺監視システム。 - 請求項12記載の車両周辺監視システムにおいて、
前記第2処理部が前記第1物体および前記第2物体のそれぞれの前記1次状態の相関関係に加え、前記車両と前記第1物体もしくは前記第2物体との距離または前記第1物体と前記第2物体との距離に基づき、前記第1物体による針路変更または前記第2物体の追い越しの有無を前記第1物体の前記2次状態として予測することを特徴とする車両周辺監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006068663A JP4884806B2 (ja) | 2006-03-14 | 2006-03-14 | 車両周辺監視システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006068663A JP4884806B2 (ja) | 2006-03-14 | 2006-03-14 | 車両周辺監視システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007249324A JP2007249324A (ja) | 2007-09-27 |
JP2007249324A5 true JP2007249324A5 (ja) | 2008-10-23 |
JP4884806B2 JP4884806B2 (ja) | 2012-02-29 |
Family
ID=38593592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006068663A Expired - Fee Related JP4884806B2 (ja) | 2006-03-14 | 2006-03-14 | 車両周辺監視システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4884806B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5078727B2 (ja) * | 2008-04-23 | 2012-11-21 | 本田技研工業株式会社 | 物体検知装置 |
WO2015155833A1 (ja) * | 2014-04-08 | 2015-10-15 | 三菱電機株式会社 | 衝突防止装置 |
KR101966801B1 (ko) * | 2016-07-26 | 2019-08-13 | 경성대학교 산학협력단 | 롤러 주변의 장애물 감지 방법 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10143245A (ja) * | 1996-11-07 | 1998-05-29 | Komatsu Ltd | 移動体の障害物衝突防止装置 |
JP3866349B2 (ja) * | 1996-12-27 | 2007-01-10 | 富士重工業株式会社 | 車両の衝突防止装置 |
JPH10211886A (ja) * | 1997-01-29 | 1998-08-11 | Honda Motor Co Ltd | 車両の操舵装置 |
JPH11213295A (ja) * | 1998-01-28 | 1999-08-06 | Kansei Corp | 車両割り込み検出回路及びそれを用いた追突警報装置 |
JP3515926B2 (ja) * | 1999-06-23 | 2004-04-05 | 本田技研工業株式会社 | 車両の周辺監視装置 |
JP2001148098A (ja) * | 1999-11-24 | 2001-05-29 | Oki Electric Ind Co Ltd | 車両の走行支援装置 |
JP3744314B2 (ja) * | 2000-06-12 | 2006-02-08 | トヨタ自動車株式会社 | 車両の衝突予測装置及び衝突防止装置 |
JP3451321B2 (ja) * | 2000-11-21 | 2003-09-29 | 国土交通省国土技術政策総合研究所長 | 車の衝突防止制御方法 |
JP3882568B2 (ja) * | 2001-10-17 | 2007-02-21 | 日産自動車株式会社 | 車両用接近報知装置 |
JP4165168B2 (ja) * | 2002-09-27 | 2008-10-15 | 日産自動車株式会社 | 車両用運転操作補助装置 |
JP4396281B2 (ja) * | 2004-01-16 | 2010-01-13 | 日産自動車株式会社 | 車両用運転操作補助装置 |
JP2006024106A (ja) * | 2004-07-09 | 2006-01-26 | Honda Motor Co Ltd | 車両の接触回避制御装置 |
-
2006
- 2006-03-14 JP JP2006068663A patent/JP4884806B2/ja not_active Expired - Fee Related
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9196163B2 (en) | Driving support apparatus and driving support method | |
CN102415096B (zh) | 车辆周围监测装置 | |
US8044780B2 (en) | Method and apparatus for predicting/alarming the moving of hidden objects | |
JP4517393B2 (ja) | 運転支援装置 | |
US20120320212A1 (en) | Surrounding area monitoring apparatus for vehicle | |
JP2003123196A (ja) | 車両の周辺監視装置及びプログラム | |
JP5898001B2 (ja) | 車両周辺監視装置 | |
JP2011118570A (ja) | 車両の衝突を回避するための装置 | |
KR20190102827A (ko) | 교차로에서의 차량 자동 긴급 제동 시스템 및 방법 | |
JP2008003880A (ja) | 車両周辺監視システム、車両周辺監視プログラム、車両周辺監視システムの構築方法およびサーバ | |
US11260856B2 (en) | Information display device, information display method, and recording medium | |
US20220203888A1 (en) | Attention calling device, attention calling method, and computer-readable medium | |
JP5192007B2 (ja) | 車両の周辺監視装置 | |
JP4884806B2 (ja) | 車両周辺監視システム | |
JP7234614B2 (ja) | 異常検出装置、異常検出システム及び異常検出プログラム | |
JP2007249324A5 (ja) | ||
JP2022041244A (ja) | 車載表示装置、方法およびプログラム | |
JP4768499B2 (ja) | 車載周辺他車検出装置 | |
KR20210014253A (ko) | 군집 주행 제어 장치, 그를 포함한 시스템 및 그 방법 | |
US11403948B2 (en) | Warning device of vehicle and warning method thereof | |
JP5192009B2 (ja) | 車両の周辺監視装置 | |
JP2011118723A (ja) | 車両の衝突を回避するための装置 | |
WO2021176825A1 (ja) | センシングシステム | |
JP4800078B2 (ja) | 車両周辺監視システム | |
JP4975379B2 (ja) | 車両周辺監視システム |