JP2007249324A - 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺システムの構成方法 - Google Patents

Abstract

【課題】車両周辺に複数の物体がある場合、物体同士の相関関係等を考慮に入れて車両と接触する可能性がある物体の存在を早期に運転者に知らせうるように車両の周辺を監視しうるシステム等を提供する。
【解決手段】本発明の車両周辺監視システム１０によれば、一対の赤外線カメラ１０２により取り込まれた映像に基づいて車両の周辺にある複数の物体の位置が時系列的に測定され、当該測定位置に基づいて各物体の「１次状態」が予測される。また、各物体の１次状態の相関関係に基づいて各物体の２次状態が予測される。そして、２次状態に鑑みて車両１と接触する可能性が高い物体の存在を強調する第２フレームがＨＵＤ１２２に表示される。
【選択図】 図１

Description

本発明は、車両の周辺を監視するシステム、当該システムが搭載された車両、当該監視機能を車載コンピュータに付与するプログラム、およびに関する。

車両と歩行者や二輪車等の物体と接触することを回避するため、車載カメラにより取り込まれた映像に基づき、この車両と接触する可能性が高い物体の存在を運転者に知らせる技術が提案されている（たとえば、特許文献１参照）。また、物体との接触可能性が高いとの判定結果に応じて、この物体との接触を回避しうるように車両の挙動を制御する技術が知られている。
特開２００１−００６０９６号公報 第００１７段落〜第００５３段落、図３

しかし、車両周辺の複数の物体のうち、車両と接触する可能性が低いと判定されていた物体が、他の物体との接触を回避する等のためにその状態を急に変化させる場合がある。この場合、当該物体は車両と接触する可能性が高いと判定され、その存在が運転者に急に報知され、または車両挙動が急激に変化することになり、運転者の心身にストレスを与えるおそれがある。

そこで、本発明は、車両周辺に複数の物体がある場合、物体同士の相関関係等を考慮に入れて車両と接触する可能性がある物体の存在を早期に判定した上で適当な対応措置をとりうるように車両の周辺を監視するシステム、当該システムが搭載された車両、当該監視機能を車載コンピュータに付与するプログラム、および当該システムを構成する方法を提供することを解決課題とする。

前記課題を解決するための本発明の車両周辺監視システムは、車載の撮像装置により取り込まれた映像に基づいて車両の周辺にある複数の物体の位置を時系列的に測定し、各物体の時系列的な測定位置に基づいて各物体の１次状態を予測する第１処理部と、第１処理部により予測された各物体の１次状態の相関関係に基づいて当該複数の物体のうち一部または全部の２次状態を予測し、物体の２次状態に基づいて車両と該物体との接触する可能性の高低を判定し、当該判定結果（以下、適宜「２次判定結果」という。）に応じて車載機器の動作を制御する第２処理部とを備えていることを特徴とする。

本発明の車両周辺監視システムによれば、車載の撮像装置により取り込まれた映像に基づいて各物体の１次状態が予測される。物体の「状態」はその「位置」や「速度（車両に対する相対速度も含まれる（速度は大きさおよび向きを含む。）。）」等により特定される。さらに、各物体の１次状態の相関関係に基づいて当該複数の物体のうち一部または全部の２次状態が予測される。また、物体の２次状態に基づいて車両と当該物体との接触可能性の高低が判定され、当該判定結果（２次判定結果）に応じて車載機器の動作が制御される。

これにより、車両周辺に複数の物体がある場合、未来における物体の１次状態の相関関係が考慮されて判定された、車両と当該物体との接触可能性の高低に応じて早期に車載機器の動作が制御されうる。たとえば現段階では車両との接触可能性が低いものの、未来における他の物体との相関関係に鑑みて、車両との接触可能性が高くなると予想される物体がある場合、この物体との接触回避等の観点から、車載機器の動作が適当に制御されうる。したがって、車載機器の急激な動作変化が抑制され、運転者に余計なストレスが与えられる事態が回避されうる。

また、本発明の車両周辺監視システムは、第１処理部が各物体について予測した１次状態に基づいて車両と各物体との接触する可能性の高低を判定し、当該判定結果（以下、適宜「１次判定結果」という。）に応じて車載機器の動作を制御することを特徴とする。

本発明の車両周辺監視システムによれば、１次状態に基づいて車両と各物体との接触可能性の高低が判定される。また、前記のように２次判定結果に応じて車載機器の動作が制御されるのみならず、当該判定結果（１次判定結果）に応じて車載機器の動作が制御されうる。

さらに、本発明の車両周辺監視システムは、第２処理部が第１処理部による１次判定結果に基づく車載機器の動作の制御形態と異なる形態で、２次判定結果に基づいて同一の車載機器の動作を制御する、あるいは第１処理部により動作が制御される車載機器と異なる車載機器の動作を２次判定結果に基づいて制御することを特徴とする。

各物体の時系列的な測定位置に基づいて予測された１次状態に基づく１次判定結果の信頼度は、１次状態に基づいてさらに予測（または推測）された２次状態に基づく２次判定結果の信頼度よりも一般的に高いことが多い。このため、本発明の車両周辺監視システムによれば、車両と物体との接触可能性の高低に関する判定結果の信頼度の高低に応じて車載機器の動作が制御されうる。

また、本発明の車両周辺監視システムは、第２処理部が２次判定結果に応じた情報を車載の情報出力装置に出力させることを特徴とする。

本発明の車両周辺監視システムによれば、車両周辺に複数の物体がある場合、未来における物体の１次状態の相関関係が考慮されて判定された、車両と当該物体との接触可能性の高低を、情報出力装置（車載機器）を通じて運転者に早期に認識させることができる。たとえば現段階では車両との接触可能性が低いものの、未来における他の物体との相関関係に鑑みて、車両との接触可能性が高くなると判定（または予想）された物体がある場合、この判定結果を運転者に早期に認識させうる。したがって、車両と物体との接触可能性の判定結果に応じた情報が唐突に出力され、運転者に余計なストレスが与えられる事態が回避されうる。なお、情報の出力とは、視覚、聴覚、触覚等の五感を通じて運転者（人間）に当該情報を認識させうるようなあらゆる形態で当該情報が出力されることを意味する。

さらに、本発明の車両周辺監視システムは、第１処理部が１次判定結果に応じた情報を車載の情報出力装置に出力させることを特徴とする。

本発明の車両周辺監視システムによれば、１次状態に基づいて車両と各物体との接触可能性の高低が判定され、当該判定結果（１次判定結果）に応じた情報を運転者に認識させうる。

また、本発明の車両周辺監視システムは、第２処理部が第１処理部による１次判定結果に応じた情報出力形態とは異なる形態で２次判定結果に応じた情報を情報出力装置に出力させることを特徴とする。

本発明の車両周辺監視システムによれば、前記のように１次判定結果の信頼度が２次判定結果の信頼度よりも一般的に高いことが多いことに鑑みて１次および２次判定結果のそれぞれに応じた情報の出力形態が差別化される。これにより、当該判定結果がどの程度信頼に足りるものであるかを運転者に認識（または識別）させることができる。

さらに、本発明の車両周辺監視システムは、第２処理部が物体の２次状態に基づいて車両と当該物体とが接触する可能性が高いと判定した場合、当該物体の存在を強調する第２情報を車載の情報出力装置に出力させることを特徴とする。

本発明の車両周辺監視システムによれば、車両周辺に複数の物体がある場合、未来における物体の１次状態の相関関係が考慮されて、車両と当該物体との接触可能性が高いと判定された物体の存在を、情報出力装置（車載機器）から出力される「第２情報」を通じて運転者に早期に認識させることができる。たとえば現段階では車両との接触可能性が低いものの、未来における他の物体との相関関係に鑑みて、車両との接触可能性が高くなると判定（または予想）された物体がある場合、この物体の存在を運転者に早期に認識させうる。したがって、車両と接触可能性が高い物体の存在が唐突に報知され、運転者に余計なストレスが与えられる事態が回避されうる。

また、本発明の車両周辺監視システムは、第１処理部が物体の１次状態に基づいて車両と当該物体とが接触する可能性が高いと判定した場合当該物体の存在を強調する第１情報を車載の情報出力装置に出力させることを特徴とする。

本発明の車両周辺監視システムによれば、１次状態に基づき、車両と各物体との接触可能性が高いと判定された物体の存在を、情報出力装置（車載機器）から出力される「第１情報」を通じて運転者に認識させることができる。

さらに、本発明の車両周辺監視システムは、第２処理部が物体の２次状態に基づいて車両と当該物体とが接触する可能性が高いと判定した場合、当該物体の存在を強調する第２情報を第１処理部による第１情報の出力形態とは異なる形態で車載の情報出力装置に出力させることを特徴とする。

本発明の車両周辺監視システムによれば、前記のように１次判定結果の信頼度が２次判定結果の信頼度よりも一般的に高いことが多いことに鑑みて１次および２次判定結果のそれぞれに応じた第１および第２情報の出力形態が差別化される。これにより、第１および第２情報により存在が強調された物体と車両とが接触する可能性に関する判定結果がどの程度信頼に足りるものであるかを運転者に認識させることができる。

また、本発明の車両周辺監視システムは、第２処理部が２次判定結果に基づいて車両挙動を制御することを特徴とする。

本発明の車両周辺監視システムによれば、車両周辺に複数の物体がある場合、未来における物体の１次状態の相関関係が考慮された、車両と当該物体との接触可能性の高低に関する判定結果に応じて、車載機器に車両の動作を早期に制御させることができる。たとえば現段階では車両との接触可能性が低いものの、未来における他の物体との相関関係に鑑みて、車両との接触可能性が高くなると判定（または予想）された物体がある場合、この物体との接触を回避しうるように車両の動作が早期に制御されうる。したがって、車両と接触可能性が高い物体の存在に応じて唐突に車両動作が変化し、運転者に余計なストレスが与えられる事態が回避されうる。

さらに、本発明の車両周辺監視システムは、第１処理部が１次判定結果に基づいて車両挙動を制御することを特徴とする。

本発明の車両周辺監視システムによれば、１次判定結果に応じて車両の動作を車載機器に制御させうる。

また、本発明の車両周辺監視システムは、第２処理部が第１処理部による１次判定結果に基づく車両挙動の制御形態とは異なる形態で、２次判定結果に基づいて車両挙動を制御することを特徴とする。

本発明の車両周辺監視システムによれば、前記のように１次判定結果の信頼度が２次判定結果の信頼度よりも一般的に高いことが多いことに鑑みて１次および２次判定結果のそれぞれに応じた車両の動作制御形態が差別化される。これにより、車両と物体とが接触する可能性に関する１次および２次判定結果の信頼度の高低に応じて、当該物体との接触を回避しうるように適当に車両の動作を車載機器に制御させることができる。

さらに、本発明の車両周辺監視システムは、第２処理部が、第１処理部により予測された各物体の１次状態の相関関係に加え、車両と各物体との距離または物体同士の距離に基づき、各物体の２次状態を予測することを特徴とする。

本発明の車両周辺監視システムによればこの点に鑑みて、各物体の１次状態の相関関係のみならず、各物体と車両との距離または物体同士の距離に基づき、各物体の状態が予測される。これは、物体はその周囲に空間的余裕がある場合に当該余裕のある方向に針路を変更する等、その状態を急激に変化させる可能性が高い点に鑑みたためである。これにより、未来における物体同士の相関関係に加え、物体同士または物体と車両との位置関係が考慮された、車両と物体とが接触する可能性の高低に応じて車載機器が適当に制御されうる。

また、本発明の車両周辺監視システムは、第ｋ処理部（ｋ＝２，３，‥）により予測された各物体のｋ次状態の相関関係に基づいて当該複数の物体のうち一部または全部のｋ＋１次状態を予測し、物体のｋ＋１次状態に基づいて車両と該物体との接触する可能性の高低を判定し、当該判定結果に応じて車載機器の動作を制御する第ｋ＋１処理部をさらに備えていることを特徴とする。

本発明の車両周辺監視システムによれば、２次よりもさらに高次の物体の予測状態に基づいて、車両と当該物体との接触可能性の高低が評価される。これにより、比較的遠い未来における物体同士の状態の相関関係等をも考慮に入れた、車両と物体とが接触する可能性の高低に応じて車載機器が適当に制御されうる。

さらに、本発明の車両周辺監視システムは、第２処理部が第１物体による第２物体との接触を回避するための針路変更または追い越しの有無を第１物体の２次状態として予測し、第１物体の２次状態として第２物体との接触を回避するための針路変更または追い越しを予測した場合、車両と第１物体とが接触する可能性が高いと判定することを特徴とする。

第１物体が第２物体との接触を回避するため、または第２物体を追い越すため、車両の前方にその針路を変更する可能性が高い。本発明の車両周辺監視システムによればこの点に鑑みて、第１物体が第２物体を追い越すこと等が判定（または予測）され、この判定結果に応じて車載機器が適当に制御されうる。

また、本発明の車両周辺監視システムは、第２処理部が第１および第２物体のそれぞれの１次状態の相関関係に加え、車両と第１もしくは第２物体との距離または第１物体と第２物体との距離に基づき、第１物体による針路変更または第２物体の追い越しの有無を第１物体の２次状態として予測することを特徴とする。

物体が周囲に空間的余裕がある場合、他の物体を追い越す等のために当該余裕のある方向に針路を変更する可能性が高い等、周辺の空間的余裕に応じて物体が追い越し等をする可能性が異なる。本発明の車両周辺監視システムによればこの点に鑑みて、第１および第２物体の１次予測状態のみならず、第１もしくは第２物体と車両との距離、または物体同士の距離に基づき、第１物体が第２物体を追い越す等のために針路変更するか否かが判定（または予測）される。これにより、第１および第２物体同士の未来の相関関係等が考慮された、車両と物体とが接触する可能性の高低に関する判定結果に応じて車載機器が適当に制御されうる。

前記課題を解決するための本発明の車両は、前記の車両周辺監視システムが搭載されていることを特徴とする。

本発明の車両によれば、その周辺に複数の物体がある場合、未来における物体の１次状態の相関関係が考慮されて判定された、車両と当該物体との接触可能性の高低に応じて早期に車載機器の動作が制御されうる。たとえば現段階では車両との接触可能性が低いものの、未来における他の物体との相関関係に鑑みて、車両との接触可能性が高くなると予想される物体がある場合、この物体との接触回避等の観点から、車載機器の動作が適当に制御されうる。したがって、車載機器の急激な動作変化や、車両の急激な挙動変化が抑制され、運転者に余計なストレスが与えられる事態が回避されうる。

前記課題を解決するための本発明の車両周辺監視プログラムは、車載の撮像装置により取り込まれた映像に基づいて車両の周辺にある複数の物体の位置を時系列的に測定し、各物体の時系列的な測定位置に基づいて各物体の１次状態を予測する第１処理機能と、第１処理機能により予測された各物体の１次状態の相関関係に基づいて当該複数の物体のうち一部または全部の２次状態を予測し、物体の２次状態に基づいて車両と該物体との接触する可能性の高低を判定し、当該判定結果に応じて車載機器の動作を制御する第２処理機能とを車載コンピュータに付与することを特徴とする。

本発明の車両周辺監視プログラムによれば、車両周辺に複数の物体がある場合、未来における物体の１次状態の相関関係が考慮されて判定された、車両と当該物体との接触可能性の高低に応じて早期に車載機器の動作を制御する機能が車載コンピュータに付与される。

前記課題を解決するための本発明の方法は、車両周辺監視システムを構成するために前記車両周辺監視プログラムのうち一部または全部を車載コンピュータにダウンロードすることを特徴とする。

本発明の方法によれば、車両周辺に複数の物体がある場合、未来における物体の１次状態の相関関係が考慮されて判定された、車両と当該物体との接触可能性の高低に応じて早期に車載機器の動作を制御しうるように車両周辺を監視するシステムが、車載コンピュータへの任意のタイミングでのプログラムの一部または全部のダウンロードによって構成されうる。

本発明の車両周辺監視システムおよび車両周辺監視プログラムの実施形態について図面を用いて説明する。

図１および図２は本発明の車両周辺監視システムの構成例示図であり、図３〜図６は本発明の車両周辺監視システムの機能説明図である。

図１に示されているように車両１には、車両周辺監視システム１０と、ナビゲーションシステム（以下「ナビシステム」という。）２０とが搭載されている。車両１の前部には、車幅方向中心部に対してほぼ対称に左右一対の赤外線カメラ１０２が配置されている。２つの赤外線カメラ１０２の光軸は路面からの高さが等しく、かつ、相互に平行となるように調節されている。車両１のフロントウィンドウにはＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）１２２が、運転者の視界を妨げないように配置されている。ＨＵＤ１２２には、赤外線カメラ１０２を通じて取得された車両１の前方の映像（画像）が表示される。また、図２に示されているように車両１には、そのヨーレートに応じた信号を出力するヨーレートセンサ１０４と、その速度に応じた信号を出力する速度センサ１０６と、方向指示器の出力に応じた信号を出力する方向指示器センサ１０８等、種々のセンサが搭載されている。

ナビシステム２０はＣＰＵ、ＲＯＭ、ＲＡＭ等のメモリ、信号入力回路、信号出力回路等により構成されている。ナビシステム２０はユーザにより設定された目的地までのルートを設定し、車両１のコンソールに配置されたナビディスプレイ２０２に、このルートを表示させる。また、ナビシステム２０は、ナビディスプレイ２０２に、ＧＰＳにより測定された車両１の現在位置およびヨーレートセンサ１０４の出力に応じた車両１の進行方向を表すアイコン等を表示させる。

車両周辺監視システム１０は、車両１に搭載されたコンピュータ（ＣＰＵ、ＲＯＭ、ＲＡＭ、信号入力回路、信号出力回路等により構成されている。）と、メモリ等に格納され、当該コンピュータに諸機能を付与する本発明の「車両周辺監視プログラム」とにより構成されている。車両周辺監視プログラムは最初から車載コンピュータのメモリに格納されていてもよいが、その一部または全部が運転手または車載コンピュータからのリクエストがあったとき等、任意のタイミングで所定のサーバからダウンロードされてもよい。また、図２に示されているように車両周辺監視システム１０は、第１処理部１１と、第２処理部１２とを備えている。

第１処理部１１は赤外線カメラ１０２により取り込まれた映像に基づいて車両１の周辺の複数の物体の位置を逐次測定する。また、第１処理部１１は各物体の時系列的な測定位置に基づいて各物体の「１次状態」を予測する。さらに、第１処理部１１はこの１次状態に基づいて各物体の車両１と接触する可能性の高低を判定する。そして、第１処理部１１は１次状態に鑑みて車両１と接触する可能性が高い物体の存在を示す第１情報をＨＵＤ１２２に表示させる。

第２処理部１２は、第１処理部１１により予測された各物体の１次状態の相関関係に基づいて各物体の「２次状態」を予測する。また、第２処理部１２はこの２次状態に基づいて各物体の車両と接触する可能性の高低を判定する。そして、第２処理部１２は２次状態に鑑みて車両と接触する可能性が高い物体の存在を示す第２情報をＨＵＤ１２２に表示させる。

各物体の時系列的な測定位置、予測された各物体の１次状態および２次状態、車両と各物体との接触可能性の高低についての判定結果等は、第１処理部１１または第２処理部１２によってメモリ（図示略）に適宜保存（格納）され、かつ、当該メモリから読み取られる。

前記構成の車両周辺監視システム１０の機能について図３〜図６を用いて説明する。

まず、第１処理部１１が「第１処理」を実行する（図３／Ｓ１１）。

第１処理部１１は一対の赤外線カメラ１０２により取り込まれた映像に基づき、この映像に含まれる物体の実空間位置を測定する（図３／Ｓ１１１）。実空間位置とは、図１に示されているように一対のカメラ１０２の取り付け位置の中点を原点Ｏとし、水平方向、鉛直方向および前後方向をそれぞれＸ、ＹおよびＺ軸とする座標系における位置を意味する。

また、第１処理部１１はメモリに保存されている各物体の時系列的な測定位置に基づき、車両１に対する各物体の相対速度ベクトルを算出する（図３／Ｓ１１２）。さらに、第１処理部１１は算出した物体の相対速度ベクトルがそのまま維持される状態を当該物体の「１次状態」として予測する（図３／Ｓ１１３）。また、第１処理部１１は各物体の１次状態に基づいて車両１と各物体との接触可能性の高低を判定する（図３／Ｓ１１４）。そして、第１処理部１１は車両１と物体とが接触する可能性が高いと判定した場合（図３／Ｓ１１４‥ＹＥＳ）、この物体を示す第１情報として、図６（ｃ）に示されているように当該物体を囲む橙色の第１フレームｆ₁をＨＵＤ１２２に表示させる（図３／Ｓ１１５）。なお、第１情報として「ピッピッピッ」等の音声がスピーカ（図示略）から出力されてもよい。さらに、第１情報としてナビディスプレイ２０２に当該物体の位置を示すアイコンが、車両１の針路および位置を表すアイコンとともに表示されてもよい。

物体の実空間位置の測定方法、各物体の同一性判断方法、物体の相対速度ベクトルの算出方法および１次状態に鑑みた車両１と物体との接触可能性の高低の判定方法等は、前記特許文献１（特開２００１−６０９６号公報）、特開２００３−１５７４９８号公報等に詳細な説明が記載されている。そこで、ここではこれらの詳細な説明を省略し、接触可能性の判定方法についてのみ簡単に説明する。

図４に示されているように、赤外線カメラ１０２により監視可能な三角形領域Ａ₀よりも、車両１に対する二輪車等の物体ｑの相対速度ｖ_sと余裕時間Ｔとの積（ｖ_s×Ｔ）だけ低い三角形領域（警報判定領域）が定義される。また、当該三角形領域のうち、Ｚ軸を中心とするＸ方向の幅がα＋２β（α：車幅、β：余裕幅）の第１領域（接近判定領域）Ａ₁と、第１領域Ａ₁の左右の第２領域（侵入判定領域）Ａ_2LおよびＡ_2Rとが定義される。そして、物体ｑが第１領域Ａ₁にある場合や、物体ｑが左右の第２領域Ａ₂にあって、その相対速度ベクトルｖ_sに鑑みて第１Ａ₁領域に侵入してくることが予測される場合、この物体ｑと車両１とが接触する可能性が高いと判定される。

続いて、第２処理部１２が「第２処理」を実行する（図３／Ｓ１２）。

第２処理部１２は、第１処理部１１により予測され、メモリに保存されている各物体の１次状態の相関関係に基づいて各物体の「２次状態」を予測する（図３／Ｓ１２１）。たとえば、車両１、第１物体ｑ₁および第２物体ｑ₂がＺ方向にそれぞれ速度ｖ₀，ｖ₁，ｖ₂で走行している状況を考える。この状況で次の要件１〜５が満たされる場合、第１物体ｑ₁が第２物体ｑ₂を追い越すために針路変更することが第１物体ｑ₁の「第２状態」として予測される。なお、当該要件１〜５が満たされる場合、第２物体ｑ₂が第１物体ｑ₁による追突を回避するために針路変更することが第２物体ｑ₂の「第２状態」として予測されてもよい。
（要件１）
Ｚ方向について車両の速度が、第１物体ｑ₁および第２物体ｑ₂のそれぞれの速度よりもある程度以上高いこと。
（要件２）
第１物体ｑ₁および第２物体ｑ₂のうち、後側の物体の速度が前側の物体の速度よりもある程度以上高いこと。
（要件３）
第１物体ｑ₁および第２物体ｑ₂がともに車両１の前方であって、ＸおよびＺ方向についてある程度近くにあること。たとえば、第１物体ｑ₁および第２物体ｑ₂がともに第２領域Ａ₂（図４参照）に位置していること。
（要件４）
第１物体ｑ₁および第２物体ｑ₂のＸ方向の間隔が、両物体のＺ座標を同一にした場合に両物体が接触する可能性がある程度近い範囲内にあること。たとえば、第１物体ｑ₁および第２物体ｑ₂がともに左右同じ側の第２領域Ａ₂に位置していること。
（要件５）
第１物体ｑ₁および第２物体ｑ₂のうち後側の物体と車両１とがＺ方向についてある程度で離れていること。なお、この要件充足性の判定基準は、車両１と当該後側の物体との相対速度に応じて可変に設定されうる。

また、第２処理部１２は各物体の２次状態に基づいて車両１と各物体とが接触する可能性の高低を判定する（図３／Ｓ１２２）。たとえば第１物体ｑ₁が第２物体ｑ₂を追い越すために針路変更することが第１物体ｑ₁の「第２状態」として予測された場合、車両１と第１物体ｑ₁との接触可能性ｑ₁が高いと判定される。また、第２物体ｑ₂が第１物体ｑ₁による追突を回避するために針路変更することが第２物体ｑ₂の「第２状態」として予測された場合、車両１と第２物体ｑ₂との接触可能性ｑ₁が高いと判定される。

そして、第２処理部１２は２次状態に鑑みて車両と物体とが接触する可能性が高いと判定した場合（図３／Ｓ１２２‥ＹＥＳ）、物体の存在を示す第２情報として、当該物体を囲う黄色の第２フレームｆ₂をＨＵＤ１２２に表示させる（図３／Ｓ１２３）。なお、第２情報として第１情報よりも短い「ピッ」等の音声がスピーカから出力されてもよい。また、第２情報としてナビディスプレイ２０２に当該物体の位置を示すアイコンが、車両１の針路および位置を表すアイコンとともに表示されてもよい。

例として図５に示されているようにＺ方向に速度ｖ₀で走行している車両１の前方左側において第１物体ｑ₁が速度ｖ₁（＜ｖ₀）で走行し、第１物体ｑ₁より前で第２物体ｑ₂が速度ｖ₂（＜ｖ₁）で走行している状況を考える。この状況では、第１物体ｑ₁が第２物体ｑ₂を追い越すため、図５に破線で示されているように針路変更する可能性がある。

この状況で第１物体ｑ₁および第２物体ｑ₂がともに、１次および２次状態に鑑みて車両１との接触可能性が低いと判定された場合（図３／Ｓ１１４‥ＮＯ，Ｓ１２２‥ＮＯ）、ＨＵＤ１２２には図６（ａ）に示されているように単に第１物体ｑ₁および第２物体ｑ₂が表示される。これに対して第１物体ｑ₁が１次状態に鑑みて車両１との接触可能性が低いと判定された一方（図３／Ｓ１１４‥ＮＯ）、２次状態に鑑みて車両１との接触可能性が低いと判定された場合（Ｓ１２２‥ＹＥＳ）、ＨＵＤ１２２には図６（ｂ）に示されているように第１物体ｑ₁を囲うことでその存在を強調する黄色の第２フレーム（図中白枠）ｆ₂が「第２情報」として表示される。そして、第１物体ｑ₁が図５に破線で示されているように実際に左側に針路変更したことで、第１物体ｑ₁が１次状態に鑑みて車両１との接触可能性が高いと判定された場合（図３／Ｓ１１４‥ＹＥＳ）、ＨＵＤ１２２には図６（ｃ）に示されているように第１物体ｑ₁を囲うことでその存在を強調する橙色の第１フレーム（図中黒枠）ｆ₁が「第１情報」として表示される。

前記機能を発揮する本発明の車両周辺監視システム１０によれば、物体の１次状態に鑑みて車両１との接触可能性が低い一方、物体の２次状態に鑑みて車両１との接触可能性が高い場合、ＨＵＤ１２２には第１フレームｆ₁（第１情報）は表示されないものの、第２フレームｆ₂（第２情報）は出力される（図６（ｂ）参照）。すなわち、現段階では車両１との接触可能性が低いものの、未来における第２物体ｑ₂との１次状態（要件１，２）の相関関係に鑑みて、車両１との接触可能性が高くなると予想される第１物体ｑ₁の存在が運転者に知らされうる。

したがって、車両１の周辺に複数の物体がある場合、未来における物体同士の相関関係等を考慮に入れて車両１と接触する可能性が高い物体の存在を早期に運転者に知らせることができる。ＨＵＤ１２２に図６（ｂ）に示されているような画像が表示され、その後で図６（ｃ）に示されているような画像が表示された場合、ＨＵＤ１２２に図６（ｃ）に示されているような画像が唐突に表示された場合と比較して、早期に当該物体の存在を運転者に認識させることができ、これによって運転者が受けるストレスが著しく軽減される。

また、各物体の１次状態の相関関係（要件１，２）のみならず、各物体と車両との距離（要件３）および物体同士の距離（要件４，５）に基づき、各物体の状態が予測される。これは、物体がその周囲に空間的余裕がある場合に当該余裕のある方向に針路を変更する等、その状態を急激に変化させる可能性が高い点に鑑みたためである。これにより、未来における物体同士の相関関係に加え、物体同士または物体と車両との位置関係が考慮された形で車両１と接触する可能性が高い物体の存在を早期に運転者に知らせることができる（図６（ｂ）参照）。

さらに、ＨＵＤ１２２に表示される第１フレームｆ₁（図６（ｃ）参照）および第２フレームｆ₂（図６（ｂ）参照）の色彩が差別化されている。各物体の時系列的な測定位置に基づいて予測された１次状態に基づく第１フレームｆ₁により存在が示された物体と車両１とが接触する可能性は、１次状態に基づいてさらに予測された２次状態に基づく第２フレームｆ₂により存在が示された物体と車両１とが接触する可能性よりも一般的に高いことが多い。このため、フレームによって存在が示された物体と車両１とが接触する可能性がどの程度高いかを運転者に識別させ、その物体への適度な注意を運転者に促すことができる。

なお、前記実施形態では物体の１次状態に基づく車両１と当該物体とが接触する可能性が高いという１次判定結果に応じて、第１情報が出力されたが（図３／Ｓ１１４‥ＹＥＳ，Ｓ１１５、図６（ｃ））、他の実施形態として１次判定結果に応じてこの物体との接触を回避しうるように車両１の挙動が車両挙動を制御するＥＣＵ、ブレーキ機構やステアリング機構等の車載機器によって制御されてもよい。また、前記実施形態では物体の２次状態に基づく車両１と当該物体とが接触する可能性が高いという２次判定結果に応じて、第２情報が出力されたが（図３／Ｓ１２２‥ＹＥＳ，Ｓ１２３、図６（ｂ））、他の実施形態として２次判定結果に応じて、この物体との接触を回避しうるように車両１の挙動が車両挙動を制御するＥＣＵ、ブレーキ機構やステアリング機構等の車載機器によって制御されてもよい。さらに、１次判定結果に応じた車両１の挙動制御の形態と、２次判定結果に応じた車両１の挙動制御の形態とが差別化されていてもよい。

また、１次および２次判定結果のそれぞれに応じて、車載ライトの方向が物体の存在する領域に向けられる（ライトのスイブル制御）等、あらゆる車載機器の動作が制御されてもよい。さらに、１次判定結果に応じたライトの明度等により表される照明の形態と、２次判定結果に応じたライトによる照明形態とが差別化されていてもよい。

また、撮像装置として、遠赤外線を感知する赤外線カメラ１０２に代えて、可視光および近赤外線を感知するＣＣＤカメラ等が採用されてもよい。

さらに、車両周辺監視システム１０が、第２処理部１２により予測された各物体の２次状態の相関関係に基づいて各物体の３次状態を予測し、各物体について３次状態に基づいて車両１と接触する可能性の高低を判定し、３次状態に鑑みて車両１と接触する可能性が高い物体の存在を示す第３情報をＨＵＤ１２２等に表示させる第３処理部をさらに備えていてもよい。同様に、車両周辺監視システム１０が、さらに高次の物体の状態を予測等するさらなる処理部（第４処理部、第５処理部等）を備えていてもよい。

これにより、２次よりもさらに高次の物体の予測状態に基づいて、車両１と当該物体との接触可能性の高低が評価される。これにより、比較的遠い未来における物体同士の状態の相関関係等をも考慮に入れて車両１と接触する可能性がある物体の存在を早期に運転者に知らせることができる。

本発明の車両周辺監視システムの構成例示図 本発明の車両周辺監視システムの構成例示図 本発明の車両周辺監視システムの機能例示図 本発明の車両周辺監視システムの機能例示図 本発明の車両周辺監視システムの機能例示図 本発明の車両周辺監視システムの機能例示図

符号の説明

１‥車両、１０‥車両周辺監視システム、１０２‥赤外線カメラ（撮像装置）、１０４‥ヨーレートセンサ、１０６‥速度センサ、１０８‥方向指示器センサ、１１‥第１処理部、１１１‥第１記憶部、１１２‥第２記憶部、１２‥第２処理部、１２２‥ＨＵＤ（情報出力装置）、２０‥ナビシステム、２０２‥ナビディスプレイ（情報出力装置）

Claims (19)

1. 車両の周辺を監視するシステムであって、
   車載の撮像装置により取り込まれた映像に基づいて車両の周辺にある複数の物体の位置を時系列的に測定し、各物体の時系列的な測定位置に基づいて各物体の１次状態を予測する第１処理部と、
   第１処理部により予測された各物体の１次状態の相関関係に基づいて当該複数の物体のうち一部または全部の２次状態を予測し、物体の２次状態に基づいて車両と該物体との接触する可能性の高低を判定し、当該判定結果（以下、適宜「２次判定結果」という。）に応じて車載機器の動作を制御する第２処理部とを備えていることを特徴とする車両周辺監視システム。
2. 第１処理部が各物体について予測した１次状態に基づいて車両と各物体との接触する可能性の高低を判定し、当該判定結果（以下、適宜「１次判定結果」という。）に応じて車載機器の動作を制御することを特徴とする請求項１記載の車両周辺監視システム。
3. 第２処理部が第１処理部による１次判定結果に基づく車載機器の動作の制御形態と異なる形態で、２次判定結果に基づいて同一の車載機器の動作を制御する、あるいは第１処理部により動作が制御される車載機器と異なる車載機器の動作を２次判定結果に基づいて制御することを特徴とする請求項２記載の車両周辺監視システム。
4. 第２処理部が２次判定結果に応じた情報を車載の情報出力装置に出力させることを特徴とする請求項１記載の車両周辺監視システム。
5. 第１処理部が１次判定結果に応じた情報を車載の情報出力装置に出力させることを特徴とする請求項２記載の車両周辺監視システム。
6. 第２処理部が第１処理部による１次判定結果に応じた情報出力形態とは異なる形態で２次判定結果に応じた情報を情報出力装置に出力させることを特徴とする請求項５記載の車両周辺監視システム。
7. 第２処理部が物体の２次状態に基づいて車両と当該物体とが接触する可能性が高いと判定した場合、当該物体の存在を強調する第２情報を車載の情報出力装置に出力させることを特徴とする請求項１記載の車両周辺監視システム。
8. 第１処理部が物体の１次状態に基づいて車両と当該物体とが接触する可能性が高いと判定した場合、当該物体の存在を強調する第１情報を車載の情報出力装置に出力させることを特徴とする請求項２記載の車両周辺監視システム。
9. 第２処理部が物体の２次状態に基づいて車両と当該物体とが接触する可能性が高いと判定した場合、当該物体の存在を強調する第２情報を第１処理部による第１情報の出力形態とは異なる形態で車載の情報出力装置に出力させることを特徴とする請求項８記載の車両周辺監視システム。
10. 第２処理部が２次判定結果に基づいて車両挙動を制御することを特徴とする請求項１記載の車両周辺監視システム。
11. 第１処理部が１次判定結果に基づいて車両挙動を制御することを特徴とする請求項２記載の車両周辺監視システム。
12. 第２処理部が第１処理部による１次判定結果に基づく車両挙動の制御形態とは異なる形態で、２次判定結果に基づいて車両挙動を制御することを特徴とする請求項１１記載の車両周辺監視システム。
13. 第２処理部が、第１処理部により予測された各物体の１次状態の相関関係に加え、車両と各物体との距離または物体同士の距離に基づき、各物体の２次状態を予測することを特徴とする請求項１記載の車両周辺監視システム。
14. 第ｋ処理部（ｋ＝２，３，‥）により予測された各物体のｋ次状態の相関関係に基づいて当該複数の物体のうち一部または全部のｋ＋１次状態を予測し、物体のｋ＋１次状態に基づいて車両と該物体との接触する可能性の高低を判定し、当該判定結果に応じて車載機器の動作を制御する第ｋ＋１処理部をさらに備えていることを特徴とする請求項１記載の車両周辺監視システム。
15. 第２処理部が第１物体による第２物体との接触を回避するための針路変更または追い越しの有無を第１物体の２次状態として予測し、第１物体の２次状態として第２物体との接触を回避するための針路変更または追い越しを予測した場合、車両と第１物体とが接触する可能性が高いと判定することを特徴とする請求項１記載の車両周辺監視システム。
16. 第２処理部が第１および第２物体のそれぞれの１次状態の相関関係に加え、車両と第１もしくは第２物体との距離または第１物体と第２物体との距離に基づき、第１物体による針路変更または第２物体の追い越しの有無を第１物体の２次状態として予測することを特徴とする請求項１５記載の車両周辺監視システム。
17. 請求項１〜１６のうちいずれか１つに記載の車両周辺監視システムが搭載されていることを特徴とする車両。
18. 車両周辺を監視する機能を車載コンピュータに付与するプログラムであって、
    車載の撮像装置により取り込まれた映像に基づいて車両の周辺にある複数の物体の位置を時系列的に測定し、各物体の時系列的な測定位置に基づいて各物体の１次状態を予測する第１処理機能と、
    第１処理機能により予測された各物体の１次状態の相関関係に基づいて当該複数の物体のうち一部または全部の２次状態を予測し、物体の２次状態に基づいて車両と該物体との接触する可能性の高低を判定し、当該判定結果に応じて車載機器の動作を制御する第２処理機能とを車載コンピュータに付与することを特徴とする車両周辺監視プログラム。
19. 請求項１記載の車両周辺監視システムを構成するために請求項１８記載の車両周辺監視プログラムのうち一部または全部を車載コンピュータにダウンロードすることを特徴とする方法。

Images