JP2007253781A - 車載表示システム - Google Patents

Abstract

【課題】一次衝突した歩行者等によってドライバの視界が遮られた場合に、車両前方の情報をより確実に取得・提示する。
【解決手段】表示判定部６ｅは、車両が前方の物体に衝突した場合、ステレオカメラ５から出力された一対の撮像画像のそれぞれに関するフレーム間の時系列的な輝度変化に基づいて、カメラ視界が遮られていないカメラを特定する。表示制御部６ｆは、表示判定部６ｅの判定結果に応じて、視界が遮られていないカメラの撮像画像を表示装置７に表示させる。
【選択図】図２

Description

本発明は、ドライバに提示すべき情報を表示する車載表示システムに関する。

例えば、特許文献１には、歩行者がフロントバンパ等に一次衝突した際、フードの後方を上方にリフトさせることによって、エンジン等への二次衝突を抑制する歩行者保護装置が開示されている。また、例えば、特許文献２には、一次衝突した歩行者を保護するためにフード上のエアバックが展開した際、単眼カメラによって撮像された車両前方の画像をディスプレイに表示するシステムが開示されている。この単眼カメラは、ルームミラーに設置されているとともに、展開状態のエアバックによってカメラ視界が遮られることがないように、エアバックの一部に切欠部が形成されている。
特許第３３４０７０４号公報 特開平２００４−２８４４４０号公報

しかしながら、上述した特許文献２の従来技術では、単眼カメラを用いている関係上、歩行者等の障害物によってカメラ視界のほぼ全体が遮られてしまうといったケースが容易に生じ得る。このような状況下では、車両前方の画像が有効に取得できず、ドライバの視界不良を補償し得る情報をドライバに提示するのが困難である。この問題は、例えばグリル内に単眼カメラを設置することによって、ある程度解消することが可能であるが、その反面、衝突時の衝撃によってカメラが破損し易いという新たな問題が生じる。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、一次衝突した歩行者等によってドライバの視界が遮られた場合に、車両前方の情報をより確実に取得・提示する。

また、本発明の別の目的は、衝突時対応という新たな用途をステレオカメラに加えることで、ステレオカメラの多機能化・高付加価値化を図ることである。

かかる課題を解決するために、本発明は、ステレオカメラと、表示装置と、表示判定部と、表示制御部とを有する車載表示システムを提供する。ステレオカメラは、車両前方の景色を撮像して一対の撮像画像を出力する。表示装置は、ドライバに提示すべき情報を表示する。表示判定部は、車両が前方の物体に衝突した場合、ステレオカメラから出力された一対の撮像画像間におけるフレーム内の輝度変化、または、一対の撮像画像のそれぞれに関するフレーム間の時系列的な輝度変化に基づいて、カメラ視界が遮られていないカメラを特定する。表示制御部は、表示判定部の判定結果に応じて、視界が遮られていないカメラの撮像画像を表示装置に表示させる。

ここで、本発明において、車両が前方の物体に衝突した場合に、この物体に作用する衝撃を緩衝するために、車両前方に対するドライバの視界を遮らない非作動状態からドライバの視界を遮る作動状態へと形態が変化する物体保護部をさら設けてもよい。この場合、ステレオカメラは、作動状態となった物体保護部によってカメラ視界が遮られることがない位置に取り付けられていることが好ましい。

本発明において、表示判定部には、ステレオカメラ以外の装置によって取得された車両前方の情報も入力されていてもよい。この場合、表示判定部は、ステレオカメラからの車両前方の情報およびステレオカメラ以外の装置からの車両前方の情報のいずれかを表示の優先順位にしたがって選択し、選択した情報を表示装置に表示すべき旨を表示制御部に指示することが好ましい。この車両前方の情報は、車搭レーダ装置から出力されたレーダ情報、および、車車間通信または路車間通信によって車外から取得した受信情報の少なくとも１つを含むことが望ましい。そして、表示判定部は、ステレオカメラのカメラ視界が遮られていると判定した場合、表示装置に表示すべき情報としてレーダ情報を選択してもよい。また、表示判定部は、受信情報を受信した場合、ステレオカメラのカメラ視界が遮られているか否かに関わりなく、表示装置に表示すべき情報として受信情報を選択してもよい。

また、本発明において、表示判定部は、少なくとも車両が停止するまで、表示装置の画像表示を継続するように表示制御部に指示することが好ましい。

本発明によれば、ステレオカメラからの各撮像画像に関するフレーム間の時系列的な輝度変化をモニタリングすることで、歩行者等によってカメラ視界が遮られていないカメラを特定する。これは、例えばエアバックが作動したり、歩行者が車両に衝突した場合、フレーム間において撮像画像が急激に変化するという知得に基づいている。これにより、衝突時でも表示装置を介して車両前方の状況をドライバに効果的に提示でき、ドライバの視界不良をより確実に補償することが可能になる。また、衝突時に車両前方の状況を表示するといった新たな用途をステレオカメラに付加することで、ステレオカメラの多機能化・高付加価値化を図ることも可能になる。

図１は、車載表示システムの概略構成図である。このシステムは、特に、衝突センサ１、衝突判定部２、作動制御部３および物体保護部４で構成される歩行者保護装置と、ステレオカメラ５と、制御ユニット６と、表示装置７とを有する。歩行者保護装置は、フロントバンパ等に一次衝突した歩行者の二次衝突を緩和するために、エアバック等の緩衝部材を膨張させる。二次衝突とは、一次衝突した歩行者がフードを介して剛性の高いエンジン等に更に衝突する現象をいう。衝突センサ１は、バンパ内などに設けられた感圧タイプまたは接触スイッチタイプ等のセンサであり、車両前方の障害物との衝突を検出する。具体的には、衝突時に車両に加わる外力から後方への加速度が検出され、この検出値が衝突判定部２に出力される。衝突判定部２は、検出された加速度に基づいてバンパの変形速度を算出し、この算出値等に基づいて、衝突した物体が歩行者であるか否かを判定する。この判定結果は、作動制御部３と、制御ユニット６とに出力される。なお、歩行者衝突の詳細な判定手法については、例えば特許第３３４０７０４号公報に詳述されているので、必要ならば参照されたい。

作動制御部３は、周知のインフレータ等で構成されており、衝突判定部２からの判定結果に基づき、物体保護部４を作動させる。物体保護部４としては、典型的にはフードエアバックやアクティブフードを用いることができる。前者を用いる場合、その非作動状態（通常時）においてはフード内に格納されており、これが作動状態（歩行者衝突時）になると、瞬時に膨張してフード上に展開する。フードエアバックは、格納された非作動状態ではドライバの視界を遮ることはないが、展開した作動状態では、車両前方へのドライバの視界を遮る。なお、作動状態へと形態が変化するとドライバの視界が遮られる点は、物体保護部４としてアクティブフードを用いた場合でも同様である。

ステレオカメラ５は、一対のカメラによって構成されており、車両前方の景色を撮像することによって、一対の撮像画像を出力する。それぞれのカメラ内には、ＣＣＤやＣＭＯＳといった撮像素子が内蔵されており、撮像素子によって受光された光が電気的信号に変換された上で出力される。ステレオカメラ５は、例えばルームミラー近傍のように、作動状態となった物体保護部４によって、カメラ視界が遮られることがない位置に取り付けられている。

制御ユニット６は、通常時にはステレオカメラ５を入力とした前方監視処理を行うとともに、歩行者等の物体に衝突した際は、ステレオカメラ５によって取得された撮像画像を表示装置７に表示させる。

図２は、制御ユニット６のブロック構成図である。この制御ユニット６は、ブロック６ａ〜６ｄによりなる通常処理系を基本とし、ブロック６ｅ，６ｆよりなる衝突時処理系を追加した構成を有する。なお、制御ユニット６の入力系としては、ステレオカメラ５および衝突判定部２が必要であるが、これ以外にレーダ装置８や通信装置９を接続してもよい。レーダ装置８としては、電波レーダの１つであるミリ波レーダを用いることができ、例えばフロントバンパの内部といった如く、ステレオカメラ５とは異なる位置に通常は取り付けられている。また、通信装置９は、車車間通信または路車間通信によって、車外（自車両以外の車両または道路インフラ）から情報を受信する。レーダ装置８や通信装置９からの車両前方の情報は、制御ユニット６に入力される。

通常時処理系に関して、ステレオカメラ５からの一対の撮像画像は、画像データメモリ６ａにフレーム単位で格納されるとともに、ステレオ処理部６ｂに出力される。ステレオ処理部６ｂは、一対の撮像画像を入力としたステレオマッチング処理を行って、画像平面上の位置に対応付けられた視差の集合である距離データを算出する。算出された距離データは、距離データメモリ６ｃにフレーム単位で格納される。物体認識部６ｄは、距離データメモリ３ｃから読み出したデータと、必要に応じて画像データメモリ６ａから読み出したデータとに基づいて、車両前方に存在する先行車や歩行者等といった物体の存在、および、その実空間上の位置を認識する。そして、この認識結果に応じて、例えば先行車との車間を確保すべく、ブレーキに制動やシフトダウンによる制動といった各種の車両制御が行われる。

一方、ブロック６ｅ，６ｆよりなる衝突時処理系は、衝突判定部２によって物体（典型的には歩行者）への衝突が検知された場合、物体保護部４によって視界が遮られたドライバに対して、表示装置７を介して車両前方の情報を提示する。表示判定部６ｅは、ステレオカメラ５から出力された現在のフレームの撮像画像と、画像データメモリ６ａから読み出された過去のフレームの撮像画像とに基づいて、ドライバに提示すべき画像を選択し、これを表示装置７に表示させるべく、選択結果を表示制御部６ｆに通知する。

以下、衝突時表示手法として、２つのケース、すなわち、ステレオカメラ５のみを用いたケース（第１の実施形態）と、ステレオカメラ５以外の装置も併用したケース（第２の実施形態）を挙げ、それぞれについて詳述する。

（第１の実施形態）
図３は、第１の実施形態にかかる衝突時表示処理のフローチャートである。この処理は、所定の間隔で繰り返し実行される。まず、ステップ１において、衝突が生じたか否かが判定される。すなわち、表示判定部６ｅは、衝突判定部２の判定結果が”衝突あり”の場合には、続くステップ３に処理を移行する一方、”衝突なし”の場合には、ステップ３以降のすべての処理をスキップして今回のサイクルでの処理を終了する。

ステップ３において、表示判定部６ｅは、ステレオカメラ５中の右カメラから出力された右画像に関するフレーム間の時系列的な輝度変化ΔＢrと、左カメラから出力された左画像に関するこの輝度変化ΔＢlとを算出する。これらの輝度変化ΔＢr，ΔＢlは、画面全体（或いはそれに類する領域）の平均輝度変化（絶対値）であってもよいし、各画素のフレーム間の輝度差（絶対値）の総和であってもよい。エアバックが作動したり、歩行者が車両に衝突した場合には、フレーム間で撮像画像が急激に変化するので、このような時系列的な変化を反映した輝度変化ΔＢr，ΔＢlであれば、その具体的な算出方法はこれに限定されるものではない。

ステップ４において、表示制御部６ｅは、右画像の輝度変化ΔＢrが所定の判定しきい値ΔＢthよりも小さいか否かを判定する。右画像の時系列的な輝度変化が小さいということは、右画像における遮蔽物（歩行者等）の写り込みの程度が小さいこと、換言すれば、右カメラがあまり遮蔽されていないことを意味する。したがって、このステップ４で肯定判定された場合には、遮蔽物の写り込みの程度が小さい右画像が選択され、表示制御部６ｆに対して右画像の表示が指示される（ステップ６）。この指示を受けた表示制御部６ｆは、通常画像（例えばナビゲーション表示）を表示を中断し、右カメラによって撮像された車両前方の画像を表示装置７に表示させる。

これに対して、ステップ４で否定判定された場合、表示制御部６ｅは、左画像の輝度変化ΔＢlが判定しきい値ΔＢthよりも小さいか否かを判定する（ステップ５））。左画像の時系列的な輝度変化が小さいということは、左画像における遮蔽物の写り込みの程度が小さいことを意味する。したがって、この場合には、カメラ視界があまり遮蔽されていない左カメラによって撮像された左画像が選択され、表示制御部６ｆに対して左画像の表示が指示される（ステップ７）。この指示を受けた表示制御部６ｆは、通常画像の表示に代えて、左カメラによって撮像された車両前方の画像を表示装置７に表示させる。

一方、ステップ５で否定判定された場合、左右の画像のどちらも車両前方の状況をドライバに知らせる情報としては必ずしも最適ではないが、善後策として、右画像の表示が指示される（ステップ６）。

なお、ステップ６，７に起因した車両前方の画像表示は、少なくとも車両が停止するまで継続されることが好ましい。そして、車両が停止した場合には、通常画面の表示へと復帰する。

このように、本実施形態では、歩行者等の物体への衝突時に、ステレオカメラ５から出力された一対の撮像画像のそれぞれに関するフレーム間の時系列的な輝度変化に基づいて、カメラ視界が遮られていないカメラが判定される。そして、この判定結果に応じて、カメラ視界が遮られていない方のカメラの撮像画像が表示装置７に表示される。これにより、展開した物体保護部４や歩行者が遮蔽物となって、ドライバの視界不良が生じた場合でも、表示装置７を介して車両前方の状況をドライバに的確に提示できる。特に、ステレオカメラ５では、一切のカメラ視界が遮蔽されてしまう可能性は、単眼カメラを用いる場合よりも低い。したがって、単眼カメラとの比較において、本実施形態では、ドライバの視界不良をより確実に補償できる。

また、本実施形態によれば、先行車との車間距離を制御するといった本来の用途のみならず、衝突時に車両前方の状況を表示するといった新たな用途をステレオカメラ５に付加することによって、ステレオカメラ５の一層の多機能化・高付加価値化が図れる。

なお、本実施の形態においては、一対の撮像画像のそれぞれに関するフレーム間の時系列的な輝度変化に基づいて判定する方法を用いているが、これに限定されるものではない。すなわち、画像間の輝度変化に基づいて判定することを発明の本質とし、時系列的な輝度変化だけでなく、一対の撮像画像間のフレーム内の輝度変化に基づいて判定してもよい。

例えば、左右画像（フレーム画像）のそれぞれにおいて検出されるエッジ（輝度の変化点）に基づいて、両画像で検出されるべきエッジが一方のみしか検出されない場合には検出した側は遮蔽されていないものと判定する。これは、視界が遮蔽された場合にはエッジを抽出できなくなることを利用した判定である。エッジの判定は、道路面上に存在する輝度変化点として例えば、走行区分線を検出して、この有無により行うことが好ましい。すなわち、一方の画像において白線が検出されているにもかかわらず、他方の画像において白線が検出されていない場合には、白線を検出している側の画像は視界が遮蔽されていないと判断し、これを使用する。なお、エッジの具体的な検出手法として、例えば、ある一方向（例えば水平方向）の隣接画素間の輝度差が所定のしきい値よりも大きい場合、当該部分をエッジとみなすことができる。

また、例えば、一方の画像（フレーム画像）の略全体または一部（比較的大きな領域であることが好ましい）に設定された部分的な監視領域の全体的な輝度の大きさを、他方の画像に関するそれと比較し、両者の大きさの差が所定のしきい値以上異なる場合に、輝度が高い方の画像を遮蔽されていない画像とみなし、これを使用してもよい。

（第２の実施形態）
図４は、第２の実施形態にかかる衝突時表示処理のフローチャートである。第１の実施形態で説明した図３のフローチャートと異なる点は、ステップ２，８，９が追加されている点である。なお、それ以外の点は図２と同様であるから、同様のステップ番号を付してここでの説明を省略する。

ステップ１で”衝突あり”の場合、表示判定部６ｅは、通信装置９を介して車外から情報が受信されているか否かを判定する（ステップ２）。この受信情報は、車車間通信または路車間通信によって車外から取得され、車両前方の状況を示す情報である。このステップ２で肯定判定された場合には、通信装置９の受信情報が選択され、表示制御部６ｆに対してこの受信情報の表示が指示される（ステップ８）。この指示を受けた表示制御部６ｆは、通常画像の表示に代えて、受信情報を表示装置７に表示させる。つまり、車両前方の状況を示す受信情報が存在する場合には、ステレオカメラ５のカメラ視界が遮られているか否かに関わりなく、通信装置９の受信情報が表示対象として選択される。これに対して、ステップ２で否定判定された場合には、ステレオカメラ５の撮像画像の表示を行うべく、ステップ３以降の処理に進む。

ステップ５で否定判定された場合、すなわち、左右の画像のどちらも車両前方の状況をドライバに知らせる情報として最適ではない場合には、レーダ装置８によって取得されたレーダ情報の表示が指示される（ステップ９）。この指示を受けた表示制御部６ｆは、通常画像の表示に代えて、レーダ情報を表示装置７に表示させる。一般に、レーザ情報を画像として表示した場合、カメラ画像よりも鮮明度は低下するものの車両前方の物体検出は可能である。ステレオカメラ５のカメラ視界が遮られていると判定された場合、表示装置７に表示すべき情報としてレーダ情報が選択される。レーダ情報の表示であっても、ドライバへの情報提示という目的はある程度達成される。

このように、本実施形態では、（１）通信装置９の受信情報、（２）ステレオカメラの撮像画像、（３）レーダ装置８のレーダ情報といった表示の優先順位で、いずれかの情報を選択的に表示装置７に表示する。これにより、衝突時にドライバの視界不良が生じた場合でも、車両前方の状況を示す情報を適切に表示できる可能性が高まるので、ドライバの視界不良を一層確実に補償できる。

なお、上述した実施形態では、車両前方の情報として、レーダ装置８からのレーダ情報、および、通信装置９からの受信情報の双方を用いたケースについて説明したが、どちらか一方のみを用いてもよく、その表示の優先順位も上記ケースに限定されるものではない。

車載表示システムの概略構成図 制御ユニットのブロック構成図 第１の実施形態にかかる衝突時表示処理のフローチャート 第２の実施形態にかかる衝突時表示処理のフローチャート

符号の説明

１ 衝突センサ
２ 衝突判定部
３ 作動制御部
４ 物体保護部
５ ステレオカメラ
６ 制御ユニット
７ 表示装置
８ レーダ装置
９ 通信装置
３ａ 画像データメモリ
３ｂ ステレオ処理部
３ｃ 距離データメモリ
３ｄ 物体認識部
３ｅ 表示判定部
３ｆ 表示制御部

Claims (7)

1. 車載表示システムにおいて、
   車両前方の景色を撮像して一対の撮像画像を出力するステレオカメラと、
   ドライバに提示すべき情報を表示する表示装置と、
   車両が前方の物体に衝突した場合、前記ステレオカメラから出力された一対の撮像画像間におけるフレーム内の輝度変化、または、一対の撮像画像のそれぞれに関するフレーム間の時系列的な輝度変化に基づいて、カメラ視界が遮られていないカメラを特定する表示判定部と、
   前記表示判定部の判定結果に応じて、前記視界が遮られていないカメラの撮像画像を前記表示装置に表示させる表示制御部と
   を有することを特徴とする車載表示システム。
2. 車両が前方の物体に衝突した場合に、当該物体に作用する衝撃を緩衝するために、車両前方に対するドライバの視界を遮らない非作動状態からドライバの視界を遮る作動状態へと形態が変化する物体保護部をさらに有し、
   前記ステレオカメラは、前記作動状態となった前記物体保護部によってカメラ視界が遮られることがない位置に取り付けられていることを特徴とする請求項１に記載された車載表示システム。
3. 前記表示判定部には、前記ステレオカメラ以外の装置によって取得された車両前方の情報も入力され、
   前記表示判定部は、前記ステレオカメラからの車両前方の情報および前記ステレオカメラ以外の装置からの車両前方の情報のいずれかを表示の優先順位にしたがって選択し、当該選択した情報を前記表示装置に表示すべき旨を前記表示制御部に指示することを特徴とする請求項１または２に記載された車載表示システム。
4. 前記車両前方の情報は、車搭レーダ装置から出力されたレーダ情報、および、車車間通信または路車間通信によって車外から取得した受信情報の少なくとも１つを含むことを特徴とする請求項３に記載された車載表示システム。
5. 前記表示判定部は、前記ステレオカメラのカメラ視界が遮られていると判定した場合、前記表示装置に表示すべき情報として前記レーダ情報を選択することを特徴とする４に記載された車載表示システム。
6. 前記表示判定部は、前記受信情報を受信した場合、前記ステレオカメラのカメラ視界が遮られているか否かに関わりなく、前記表示装置に表示すべき情報として前記受信情報を選択することを特徴とする請求項４または５に記載された車載表示システム。
7. 前記表示判定部は、少なくとも車両が停止するまで、前記表示装置の画像表示を継続するように前記表示制御部に指示することを特徴とする請求項１から６のいずれかに記載された車載表示システム。

Images