JP2007030753A - 障害物表示システム、及び障害物表示方法 - Google Patents

Abstract

【課題】 撮像した画像データにて検出された障害物の存在する位置を、フロントウインドウ上で確認することができる障害物表示システム、及び障害物表示方法を提供する。
【解決手段】 車両の外部を撮像する撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき障害物を検出し、検出した障害物を表示出力する障害物表示システムにおいて、撮像装置から取得した画像データ中の障害物の有無を判断し、障害物が有ると判断した場合、障害物までの距離及び方向を算出し、算出した距離及び方向に基づいて衝突する危険度を算出し、算出した危険度が所定値より大きい場合、運転者から見て障害物が実在する方向に相当するフロントウインドウ上の位置の近傍に、障害物の存在を表示出力する。
【選択図】 図６

Description

本発明は、外部を撮像する撮像装置が撮像した画像データに基づいて、歩行者等の障害物の存在を検出した場合、検出した障害物の存在する位置をフロントウインドウに表示することができる障害物表示システム、及び障害物表示方法に関する。

自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用の撮像装置を搭載し、例えば夜間走行時に、車両前方の歩行者、自転車等の存在を認識して運転者に注意を促す周囲監視システムが多々開発されている。

例えば、遠赤外用の撮像装置で人間を撮像した場合、熱源である人間は他の背景物に対して高い輝度を有する。従来の周囲監視システムは、予め人間の体温分布に応じた輝度分布を示す基準パターンを記憶しておき、遠赤外用の撮像装置で撮像した画像データと記憶してある基準パターンとをパターンマッチングすることにより、人間の存在を検出することが可能となっている。

そして、例えば特許文献１では、人間の存在を障害物の存在として検出した場合、障害物までの距離及び方向を算出して、衝突の可能性を算出することにより、ヘッドアップディスプレイに警告表示を出力する、警笛を鳴動する等の運転者に対する注意喚起手段を備える周辺監視装置が開示されている。
特開２００１−０１８７３８号公報

上述した従来の周囲監視システムの多くは、歩行者、自転車等の障害物の存在を検出した場合、検出した障害物の画像をヘッドアップディスプレイに表示することにより運転者に対して警告表示を行っている。しかし、ヘッドアップディスプレイとフロントウインドウとの間で視線を頻繁に移動する必要が生じ、運転者が前方を注視する時間が減少することにより安全が脅かされるおそれがあるという問題点があった。

また、特許文献１のようなヘッドアップディスプレイに障害物の画像を表示する場合、表示されている障害物の位置と、フロントウインドウを通じて運転者が見る障害物の位置との間には乖離が存在し、運転者が実際に障害物の存在する位置を即座に判断することが困難であることから、検出した障害物の回避動作に入るまでに相当の時間を要するという問題点もあった。

本発明は、斯かる事情に鑑みてなされたものであり、撮像した画像データにて検出された障害物の存在する位置を、フロントウインドウ上で確認することができる障害物表示システム、及び障害物表示方法を提供することを目的とする。

上記目的を達成するために第１発明に係る障害物表示システムは、車両の外部を撮像する撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき障害物を検出し、検出した障害物を表示出力する障害物表示システムにおいて、前記撮像装置から取得した画像データ中の障害物の有無を判断する障害物判断手段と、該障害物判断手段で障害物が有ると判断した場合、障害物までの距離及び方向を算出する障害物位置算出手段と、算出した距離及び方向に基づいて衝突する危険度を算出する危険度算出手段と、算出した危険度が所定値より大きいか否かを判断する判断手段と、該判断手段で危険度が所定値より大きいと判断した場合、運転者から見て障害物が実在する方向に相当するフロントウインドウ上の位置又はその近傍に、障害物の存在を表示出力する表示出力手段とを備えることを特徴とする。

また、第２発明に係る障害物表示システムは、第１発明において、前記表示出力手段は、運転者の頭部の位置を取得する手段と、取得した頭部の位置と検出した障害物の位置とを結ぶ線分がフロントウインドウと交差する位置を算出する手段と、交差する位置に障害物の存在を示す光を出力する手段とを備えることを特徴とする。

また、第３発明に係る障害物表示システムは、第２発明において、前記表示出力手段は、算出した頭部の位置と検出した障害物の位置とを結ぶ線分がフロントウインドウと交差するか否かを判断する手段を備え、該手段で、交差しないと判断した場合、前記線分を含む車両の横方向の面又は鉛直方向の面と交差するフロントウインドウの縁部に障害物の存在を示す光を出力するようにしてあることを特徴とする。

また、第４発明に係る障害物表示システムは、第１乃至第３発明のいずれか１つにおいて、点光源と、該点光源が発した光を所定の位置へ誘導する光学機構を備えており、前記表示出力手段は、前記点光源によるスポット光で障害物の存在を表示するようにしてあることを特徴とする。

また、第５発明に係る障害物表示方法は、車両の外部を撮像する撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき障害物を検出し、検出した障害物を表示出力する障害物表示方法において、前記撮像装置から取得した画像データ中の障害物の有無を判断し、障害物が有ると判断した場合、障害物までの距離及び方向を算出し、算出した距離及び方向に基づいて衝突する危険度を算出し、算出した危険度が所定値より大きいか否かを判断し、危険度が所定値より大きいと判断した場合、運転者から見て障害物が実在する方向に相当するフロントウインドウ上の位置又はその近傍に、障害物の存在を表示出力することを特徴とする。

第１発明及び第５発明では、撮像装置から取得した画像データ中の障害物の有無を判断し、障害物が有ると判断した場合、障害物までの距離及び方向を算出し、算出した距離及び方向に基づいて衝突する危険度を算出し、算出した危険度が所定値より大きい場合、運転者から見て障害物が実在する方向に相当するフロントウインドウ上の位置の近傍に、障害物の存在を表示出力する。これにより、運転者は、通常の走行状態と同様の視線移動により障害物の存在を確認することができ、障害物の存在する位置を確認するために視線を大きく移動させる必要がないことから、運転の安全を確保しつつ障害物の存在する位置を確認することが可能となる。

また、障害物の存在する位置を、フロントウインドウを通じて運転者が見る障害物の位置として即座に確認することができることから、検出した障害物の回避動作に入るまでに無駄な時間を必要とせず、より安全に障害物を回避することが可能となる。

第２発明では、運転者の頭部の位置を取得し、取得した頭部の位置と検出した障害物の位置とを結ぶ線分がフロントウインドウと交差する位置を算出し、交差する位置に障害物の存在を示す光を出力する。これにより、検出した障害物を、運転者がフロントウインドウを介して直視することができる位置の近傍に障害物の存在を示す光を表示出力することができ、運転者は通常の運転動作の延長として障害物の存在及び方向を確認することが可能となる。

第３発明では、算出した頭部の位置と検出した障害物の位置とを結ぶ線分がフロントウインドウと交差するか否かを判断し、交差しないと判断した場合、前記線分を含む車両の横方向の面又は鉛直方向の面と交差するフロントウインドウの縁部に障害物の存在を示す光を出力する。これにより、検出した障害物を、運転者がフロントウインドウを介して直視することができない場合、運転者から障害物が実在する位置を臨む視線を含む車両の横方向の面又は鉛直方向の面と交差するフロントウインドウの縁部に障害物の存在を出力することができ、運転者は障害物の存在を確認することができ、視線を大きく移動させることなく障害物の存在する方向を確認することが可能となる。

第４発明では、点光源が発した光を所定の位置へ誘導する光学機構を用い、点光源によるスポット光で障害物の存在を表示する。これにより、障害物の存在する位置をスポット光で表示することにより、障害物が存在する位置を運転者の視界を遮ることなく表示出力することができ、安全を確保しつつ障害物の存在する位置を確実に確認することが可能となる。

第１発明及び第５発明によれば、運転者は、通常の走行状態と同様の視線移動により障害物の存在を確認することができ、障害物の存在する位置を確認するために視線を大きく移動させる必要がないことから、運転の安全を確保しつつ障害物の存在する位置を確認することが可能となる。また、障害物の存在する位置を、フロントウインドウを通じて運転者が見る障害物の位置として即座に確認することができることから、検出した障害物の回避動作に入るまでに無駄な時間を必要とせず、より安全に障害物を回避することが可能となる。

第２発明によれば、検出した障害物を、運転者がフロントウインドウを介して直視することができる位置の近傍に障害物の存在を示す光を表示することができ、運転者は通常の運転動作の延長として障害物の存在及び方向を確認することが可能となる。

第３発明によれば、検出した障害物を、運転者がフロントウインドウを介して直視することができない場合、運転者から障害物が実在する位置を臨む視線を含む車両の横方向の面又は鉛直方向の面と交差するフロントウインドウの縁部に障害物の存在を出力することができ、運転者は障害物の存在を確認することができ、視線を大きく移動させることなく障害物の存在する方向を確認することが可能となる。

第４発明によれば、障害物の存在する位置をスポット光で表示することにより、障害物が存在する位置を運転者の視界を遮ることなく表示出力することができ、安全を確保しつつ障害物の存在する位置を確実に確認することが可能となる。

図１は、本発明の実施の形態に係る障害物表示システムの構成を模式的に示す図である。本実施の形態では、車両に搭載した画像認識システムにより障害物を検出し、障害物の存在する位置を算出して、衝突するおそれがある場合に障害物の存在を表示する。１、２は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外用のビデオカメラ（撮像装置）である。ビデオカメラ１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル７を介して接続してある画像処理装置３に送信される。

画像処理装置３は、ビデオカメラ１、２、操作部を備えた表示装置４、及び音声、効果音等により聴覚的な警告を発する警報装置５と、車載ＬＡＮケーブル７を介して接続されている。また、画像処理装置３は、フロントウインドウ表示装置６の動作を制御するＥＣＵとも、車載ＬＡＮケーブル７を介して接続されている。

図２は、本発明の実施の形態に係る障害物表示システムの遠赤外用ビデオカメラ１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子を備えている。画像撮像部１１は、車両の周囲の赤外光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス１５を介して信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩ基板であり、画像撮像部１１から受信したアナログ信号をＲＧＢのデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ１３へ記憶する。

通信インタフェース部１４は、ＬＳＩ基板であり、車載ＬＡＮケーブル７を介して画像処理装置３とデータの送受信を行う。通信インタフェース部１４は、画像処理装置３から送出される指令に従って、画像メモリ１３に記憶された画像データの画像処理装置３への送出、ビデオカメラ１、２で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。

図３は、本発明の実施の形態に係る画像処理装置３の構成を示すブロック図である。通信インタフェース部３１は、ビデオカメラ１、２に対する指令の送信、ビデオカメラ１、２からの画像データの受信を行う。通信インタフェース部３１は、ビデオカメラ１、２から受信した画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。

また、通信インタフェース部３１は、液晶ディスプレイ等の表示装置４に対して画像データを送信し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。さらに、フロントウインドウ表示装置６の動作を制御するＥＣＵ６４へ、動作を指示する指示信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介してビデオカメラ１、２から受信した画像データを記憶する。

ＬＳＩ３３は、画像処理を行う基板であり、画像メモリ３２に記憶された画像データをフレーム単位で読出し、読み出した画像データ中に直線部分又は角部分と認識する部分が存在するか否かを判断する。ＬＳＩ３３が、直線部分又は角部分と認識する部分が存在すると判断した場合、ＬＳＩ３３は、直線部分又は角部分を含む認識領域を画像データから削除し、通信インタフェース部３１を介して表示装置４へ削除処理を施した後の画像データを送出する。また、ＬＳＩ３３は、演算処理の途上で生成したデータを記憶するＲＡＭを内蔵している。

図４は、フロントウインドウ表示装置６の構成を模式的に示すブロック図である。フロントウインドウ表示装置６は、少なくとも点光源６１、点光源６１が発した照射光の照射方向を、上下方向及び左右方向に変更する光学機構である反射ミラー６２、反射ミラー６２の駆動源である複数のモータＭ１、Ｍ２及び複数のモータＭ１、Ｍ２の回転を制御するＥＣＵ６４で構成してある。

モータＭ１は、ベース６６に固着してあり、モータＭ１の回転によりベース６６が車両の左右方向に回転することができる。したがって、反射ミラー６２の傾斜角度を車両の左右方向で変更することができる。モータＭ２は、ベース６６に固着してあり、転回ギア６３及び６５を介して、反射ミラー６２の傾斜角度を車両の上下方向で変更することができる。よって、モータＭ１、Ｍ２の動作を制御するＥＣＵ６４へ送信される指示信号により、反射ミラー６２が車両の左右方向及び上下方向に転回し、点光源６１から照射されたスポット光がフロントウインドウで出力される位置を変更することができる。

ＬＳＩ３３での詳細な処理について以下に説明する。図５は、本発明の実施の形態に係る障害物表示システムの画像処理装置３のＬＳＩ３３の歩行者等の障害物検出処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読出し（ステップＳ５０１）、画素値に基づいてエッジ部分を抽出する（ステップＳ５０２）。エッジ部分の抽出方法は特に限定されるものではない。例えば、以下に示すように、ラプラシアンフィルタを用いてエッジ部分を抽出する。

ラプラシアンフィルタは、所定の画素の画素値と該画素の周囲に存在する画素の画素値とを対比し、画素値の差分値が所定の閾値より大きい場合に‘１’を出力し、所定の閾値より小さい場合に‘０’を出力する。すなわち、周囲の画素と画素値の差分が所定の閾値より大きい場合、エッジ部分であるとして‘１’を出力する。（数１）は、所定の画素の上下左右に存在する画素の画素値を用いる場合のラプラシアンフィルタにおける演算処理を示す数式である。

（数１）において、ｆ（ｘ、ｙ）は、受け付けた画像データにおける所定の位置での画素の画素値を、ｇ（ｘ、ｙ）は、エッジ画素の画素値を、ＴＨは所定の閾値を、それぞれ示している。ラプラシアンフィルタにより画素値が‘１’となった画素をエッジ部分として抽出する。

ＬＳＩ３３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し（ステップＳ５０３）、相関値が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ５０４）。

なお、ＬＳＩ３３が、歩行者が存在するか否かを判断するのに使用する特徴量として、人間の標準的な温度分布を示すテンプレートと、抽出したエッジ部分で構成される画像データ（ラプラシアンフィルタ適用後の画像データ）とをマッチングすることにより算出した相関値Ｒを用いる場合、相関値Ｒは（数２）に基づいて算出される。

（数２）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは人間の標準的な温度分布を示すテンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する画像におけるｋ番目の画素の画素値を、それぞれ示している。

なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。

ＬＳＩ３３が、相関値が所定の閾値より大きい領域が存在すると判断した場合（ステップＳ５０４：ＹＥＳ）、ＬＳＩ３３は、歩行者等の障害物を検出したものと判断し、車両前部中心点と検出した障害物との距離、及び障害物の方向を示す車両前部中心点からの角度を算出する（ステップＳ５０５）。方向を示す角度は、車両の進行方向に対して左側を正の角度、右側を負の角度として算出する。

なお、歩行者と認識された障害物と自車両との距離、及び障害物への方向を示す角度は、ビデオカメラ１、２をステレオ配置しておき、左右のビデオカメラ１、２の画像データをステレオ画像処理することにより算出する。検出した障害物の位置及び方向の算出方法は、特にこれに限定されるものではなく、別途レーダ装置を車両前方下部に装着しておき、直接的に歩行者と認識された障害物と自車両との距離、及び障害物への方向を示す角度を測定するものであっても良い。

ＬＳＩ３３は、算出した障害物の位置及び方向に基づいて、障害物と衝突するおそれがあるか否かを判断する。具体的には、ＬＳＩ３３は、検出した障害物と衝突するおそれの度合を示す危険度Ｐを算出し（ステップＳ５０６）、算出した危険度Ｐが所定値、例えば１より大きいか否かを判断する（ステップＳ５０７）。検出した障害物と衝突するおそれの度合を示す危険度Ｐは、障害物までの距離をＬ、車両の速度Ｖ、回避可能時間をｔとした場合、（数３）で表すことができる。

（数３）
Ｐ＝ｔ／（Ｌ／Ｖ）

すなわち、危険度Ｐが１より大きいほど衝突するおそれが高くなる。なお、危険度Ｐは、特に（数３）に限定されるものではなく、衝突するおそれの度合を表すことができる指標であれば何でも良い。なお、本実施の形態では危険度Ｐの値が大きいほど衝突するおそれが高い例について説明しているが、危険度Ｐの値が小さいほど衝突するおそれが高い指標であっても良いことは言うまでもない。

ＬＳＩ３３が、算出した危険度Ｐが１より大きいと判断した場合（ステップＳ５０７：ＹＥＳ）、ＬＳＩ３３は、衝突のおそれがあるものと判断して、表示装置４及び警報装置５に対して、通信インタフェース部３１を介して、障害物を検出した旨を示す警報情報を送出する（ステップＳ５０８）。

図６及び図７は、本発明の実施の形態に係る画像処理装置３のＬＳＩ３３の反射ミラーの動作を指示する指示信号を送信する処理手順を示すフローチャートである。ＬＳＩ３３が、算出した危険度Ｐが１より大きいと判断した場合（ステップＳ５０７：ＹＥＳ）、ＬＳＩ３３は、運転者の頭部の位置を取得する（ステップＳ６０１）。運転者の頭部の位置は、初期値としてＲＡＭに記憶しておいても良いし、例えば室内用撮像装置を備えておき、ステレオ視により三次元座標として取得しても良い。

ＬＳＩ３３は、取得した運転者の頭部の位置と検出した障害物の位置とを結ぶ線分、すなわち運転者が検出した障害物を目視で確認する視線がフロントウインドウと交差するか否かを判断する（ステップＳ６０２）。頭部の位置の特定方法は特に限定されるものではなく、例えば頭部の体積中心の座標値を用いても良いし、眼球の平均的な位置に相当する座標値を用いても良い。

ＬＳＩ３３が、取得した運転者の頭部の位置と検出した障害物の位置とを結ぶ線分がフロントウインドウと交差すると判断した場合（ステップＳ６０２：ＹＥＳ）、ＬＳＩ３３は、取得した運転者の頭部の位置と検出した障害物の位置とを結ぶ線分がフロントウインドウと交差する位置を算出する（ステップＳ６０３）。

ＬＳＩ３３は、算出したフロントウインドウ上の位置に点光源から発したスポット光を出力するように、モータＭ１、Ｍ２を回転させて反射ミラー６２の車両の上下方向及び左右方向の傾斜角度を変更すべく、モータＭ１、Ｍ２の回転を指示する指示信号をＥＣＵ６４へ送信する（ステップＳ６０４）。指示信号を受信したＥＣＵ６４は、モータＭ１、Ｍ２を回転させ、反射ミラー６２を所定の傾斜角度に変更することにより、点光源６１が発したスポット光をフロントウインドウの所定の位置へ出力する。なお、点光源の種類は特に限定されるものではなく、例えば直進性の高いハロゲンランプを用いても良い。

これにより、検出した障害物を、運転者がフロントウインドウを介して直視することができる位置の近傍に障害物の存在を示すスポット光を出力することができ、運転者は通常の運転動作の延長として障害物の存在及び方向を確認することが可能となる。

ＬＳＩ３３が、取得した運転者の頭部の位置と検出した障害物の位置とを結ぶ線分がフロントウインドウと交差しないと判断した場合（ステップＳ６０２：ＮＯ）、ＬＳＩ３３は、取得した運転者の頭部の位置と検出した障害物の位置とを結ぶ線分を含む鉛直面がフロントウインドウと交差するか否か、すなわち検出した障害物を目視する場合の運転者の視線がフロントウインドウの上側又は下側を通過するか否かを判断する（ステップＳ６０５）。ＬＳＩ３３が、交差すると判断した場合（ステップＳ６０５：ＹＥＳ）、ＬＳＩ３３は、取得した運転者の頭部の位置と検出した障害物の位置とを結ぶ線分がフロントウインドウの上側を通過するか否かを判断する（ステップＳ６０６）。

ＬＳＩ３３が、フロントウインドウの上側を通過すると判断した場合（ステップＳ６０６：ＹＥＳ）、ＬＳＩ３３は、取得した運転者の頭部の位置と検出した障害物の位置とを結ぶ線分を含む鉛直面がフロントウインドウと交差する上縁部、すなわち検出した障害物を目視する場合の運転者の視線の鉛直下方に位置するフロントウインドウの上縁部に、スポット光を出力する指示信号をＥＣＵ６４へ送信する（ステップＳ６０７）。ＬＳＩ３３が、フロントウインドウの下側を通過すると判断した場合（ステップＳ６０６：ＮＯ）、ＬＳＩ３３は、取得した運転者の頭部の位置と検出した障害物の位置とを結ぶ線分を含む鉛直面がフロントウインドウと交差する下縁部、すなわち検出した障害物を目視する場合の運転者の視線の鉛直上方に位置するフロントウインドウの下縁部に、スポット光を出力する指示信号をＥＣＵ６４へ送信する（ステップＳ６０８）。

ＬＳＩ３３が、交差しないと判断した場合（ステップＳ６０５：ＮＯ）、ＬＳＩ３３は、取得した運転者の頭部の位置と検出した障害物の位置とを結ぶ線分がフロントウインドウの左側を通過するか否か、すなわち検出した障害物を目視する場合の運転者の視線がフロントウインドウの左側を通過するか否かを判断する（ステップＳ６０９）。ＬＳＩ３３が、フロントウインドウの左側を通過すると判断した場合（ステップＳ６０９：ＹＥＳ）、ＬＳＩ３３は、取得した運転者の頭部の位置と検出した障害物の位置とを結ぶ線分を含む車両の横方向の面がフロントウインドウと交差する左縁部、すなわち検出した障害物を目視する場合の運転者の視線の横方向に位置するフロントウインドウの左縁部に、スポット光を出力する指示信号をＥＣＵ６４へ送出する（ステップＳ６１０）。

ＬＳＩ３３が、フロントウインドウの右側を通過すると判断した場合（ステップＳ６０９：ＮＯ）、ＬＳＩ３３は、取得した運転者の頭部の位置と検出した障害物の位置とを結ぶ線分を含む車両の横方向の面がフロントウインドウと交差する右縁部、すなわち検出した障害物を目視する場合の運転者の視線の横方向に位置するフロントウインドウの右縁部に、スポット光を出力する指示信号をＥＣＵ６４へ送出する（ステップＳ６１１）。

このようにすることで、運転者が検出した障害物を目視した場合に視線がフロントウインドウ上を通過しない場合であっても、フロントウインドウの縁部に検出した障害物の存在を示すスポット光を出力することができ、運転者が視線を大きく移動することなく、障害物の存在を認識することが可能となる。

なお、障害物を検出した場合に、聴覚的な警告を発する警報装置５に対して鳴動を指示する指示信号を送出することにより、視覚及び聴覚を併用して障害物の存在を運転者に警告することができ、より安全性が高まることは言うまでもない。

本発明の実施の形態に係る障害物表示システムの構成を模式的に示す図である。 本発明の実施の形態に係る障害物表示システムの遠赤外用ビデオカメラの構成を示すブロック図である。 本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 フロントウインドウ表示装置の構成を模式的に示すブロック図である。 本発明の実施の形態に係る画像処理装置のＬＳＩの歩行者等の障害物検出処理の手順を示すフローチャートである。 本発明の実施の形態に係る画像処理装置のＬＳＩの反射ミラーの動作を指示する指示信号を送信する処理手順を示すフローチャートである。 本発明の実施の形態に係る画像処理装置のＬＳＩの反射ミラーの動作を指示する指示信号を送信する処理手順を示すフローチャートである。

符号の説明

１、２ ビデオカメラ
３ 画像処理装置
４ 表示装置
５ 警報装置
６ フロントウインドウ表示装置
３１ 通信インタフェース部
３２ 画像メモリ
３３ ＬＳＩ
６１ 点光源
６２ 反射ミラー（光学機構）
６４ ＥＣＵ

Claims (5)

1. 車両の外部を撮像する撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき障害物を検出し、検出した障害物を表示出力する障害物表示システムにおいて、
   前記撮像装置から取得した画像データ中の障害物の有無を判断する障害物判断手段と、
   該障害物判断手段で障害物が有ると判断した場合、障害物までの距離及び方向を算出する障害物位置算出手段と、
   算出した距離及び方向に基づいて衝突する危険度を算出する危険度算出手段と、
   算出した危険度が所定値より大きいか否かを判断する判断手段と、
   該判断手段で危険度が所定値より大きいと判断した場合、運転者から見て障害物が実在する方向に相当するフロントウインドウ上の位置又はその近傍に、障害物の存在を表示出力する表示出力手段と
   を備えることを特徴とする障害物表示システム。
2. 前記表示出力手段は、
   運転者の頭部の位置を取得する手段と、
   取得した頭部の位置と検出した障害物の位置とを結ぶ線分がフロントウインドウと交差する位置を算出する手段と、
   交差する位置に障害物の存在を示す光を出力する手段と
   を備えることを特徴とする請求項１記載の障害物表示システム。
3. 前記表示出力手段は、
   算出した頭部の位置と検出した障害物の位置とを結ぶ線分がフロントウインドウと交差するか否かを判断する手段を備え、
   該手段で、交差しないと判断した場合、前記線分を含む車両の横方向の面又は鉛直方向の面と交差するフロントウインドウの縁部に障害物の存在を示す光を出力するようにしてあることを特徴とする請求項２記載の障害物表示システム。
4. 点光源と、
   該点光源が発した光を所定の位置へ誘導する光学機構を備えており、
   前記表示出力手段は、前記点光源によるスポット光で障害物の存在を表示するようにしてあることを特徴とする請求項１乃至３のいずれか一項に記載の障害物表示システム。
5. 車両の外部を撮像する撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき障害物を検出し、検出した障害物を表示出力する障害物表示方法において、
   前記撮像装置から取得した画像データ中の障害物の有無を判断し、
   障害物が有ると判断した場合、障害物までの距離及び方向を算出し、
   算出した距離及び方向に基づいて衝突する危険度を算出し、
   算出した危険度が所定値より大きいか否かを判断し、
   危険度が所定値より大きいと判断した場合、運転者から見て障害物が実在する方向に相当するフロントウインドウ上の位置又はその近傍に、障害物の存在を表示出力することを特徴とする障害物表示方法。

Images