JP2007087203A

JP2007087203A - 衝突判定システム、衝突判定方法及びコンピュータプログラム

Info

Publication number: JP2007087203A
Application number: JP2005276510A
Authority: JP
Inventors: Masanobu Nishimura; 政信西村
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2005-09-22
Filing date: 2005-09-22
Publication date: 2007-04-05

Abstract

【課題】サンプリングされた障害物の位置データを、現在位置を基準に補正し、補正した位置データに基づいて衝突の可能性を精度良く判定することができる衝突判定システム、衝突判定方法、及びコンピュータプログラムを提供する。
【解決手段】車両の外部を撮像する撮像装置で撮像した画像データ中の障害物の存在を検出し、障害物を検出した場合、障害物の当該車両に対する相対位置を時系列的な位置データとして検出し、衝突の可能性を判定する衝突判定システムにおいて、車両の走行状態を検出し、検出した障害物の過去の複数時点の位置データを、走行状態検出手段で検出した車両の走行状態及び位置データに基づいて補正し、補正した位置データに基づいて障害物の当該車両に対する相対移動ベクトルを算出し、算出した相対移動ベクトルに基づいて、障害物が当該車両と衝突するか否かを判定する。
【選択図】図４

Description

本発明は、車両の外部を撮像する撮像装置が撮像した画像データに基づいて、歩行者等の障害物の動きを認識し、自車両が障害物と衝突する可能性が高いか否かを判定することができる衝突判定システム、衝突判定方法及びコンピュータプログラムに関する。

自動車等の車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外用の撮像装置を搭載し、例えば夜間走行時に、車両前方の歩行者、自転車等の障害物の存在を認識し、障害物の動きを検出することにより自車両との衝突の可能性を判定する衝突判定システムが開発されている。

すなわち、遠赤外用の撮像装置では、例えば障害物として人間を撮像した場合、熱源である人間は他の背景物に対して高い輝度を有する画像として撮像される。従来の衝突判定システムでは、予め人間の体温分布に応じた輝度分布を示す基準パターンを記憶しておき、遠赤外用の撮像装置で撮像した画像データと記憶してある基準パターンとをパターンマッチングすることにより、人間が存在する領域を特定している（非特許文献１参照）。

そして、左右に備えた撮像装置で特定した障害物との相対位置を、両撮像装置で取得する画像データのずれ、すなわち視差に基づいて検出し、車両前方の歩行者等との距離及び車両の速度より、衝突する可能性を算出していた。衝突する可能性の算出精度を高めるため、例えば特許文献１では、撮像手段により取得した画像データに含まれる障害物との実際の相対位置を時系列的に算出し、算出した実際の相対位置を直線近似することにより、障害物の自車両との相対的な移動ベクトルを算出し、自車両と衝突する可能性の高低を判定していた。
特開２００１−００６０９６号公報「ホンダアールアンドディーテクニカルレビュー (Honda R&D Technical Review)」 Vol.13 No.1、２００１年４月

上述した従来の衝突判定システムでは、算出した実際の相対位置を直線近似することにより、障害物の自車両との相対的な移動ベクトルを算出していることから、自車両が直進している場合には高い精度で衝突の可能性の高低を判定することができる。しかし、車両は、運転者が直進していると感じている場合であっても実際には蛇行しており、算出した移動ベクトルの正確さに欠けるという問題点があった。

また、例えば歩行者が急に方向転換し、車道側へ入り込んだ場合、従来の衝突判定システムでは、サンプリング区間を直線近似した場合に、実際に方向転換した角度よりも緩やかな角度として算出することから、自車両と衝突する可能性が高いにもかかわらず、衝突する可能性を低く算出するおそれがあり、危険側に誤算出するおそれが高いという問題点があった。

また、車両が旋回している場合、サンプリング区間を直線近似して算出した自車両に対する相対移動ベクトルは、実際の相対移動ベクトルと大きく乖離する。したがって、例えば障害物が正面から接近している場合、旋回することにより自車両の側方へと移動しているものと判定され、側方から衝突される可能性が高いにもかかわらず、運転者に対して警告を発することができないという問題点もあった。

本発明は、斯かる事情に鑑みてなされたものであり、サンプリングされた障害物の位置データを、車両の走行状態及び現在を位置に基づいて適切に補正し、補正した位置データに基づいて衝突の可能性を精度良く判定することができる衝突判定システム、衝突判定方法、及びコンピュータプログラムを提供することを目的とする。

また本発明は、位置データの補正量が所定量より大きい場合は、過去のサンプリングデータを用いることなく移動ベクトルを算出することで、突然方向転換した場合等であっても正確に衝突の可能性を判定することができる衝突判定システム、衝突判定方法、及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る衝突判定システムは、車両の外部を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき画像データ中の障害物の存在を検出する障害物検出手段、及び該障害物検出手段で障害物を検出した場合、前記撮像手段により取得した画像データから前記障害物の当該車両に対する相対位置を時系列的な位置データとして検出する相対位置検出手段を有し、検出した障害物との衝突の可能性を判定する判定装置とを備える衝突判定システムにおいて、車両の走行状態を検出する走行状態検出手段を有し、前記判定装置は、前記相対位置検出手段で検出した前記障害物の過去の複数時点の位置データを、前記走行状態検出手段で検出した車両の走行状態及び位置データに基づいて補正する位置データ補正手段と、補正した位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段と、算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段とを備えることを特徴とする。

また、第２発明に係る衝突判定システムは、第１発明において、前記車両の走行状態を検出する手段は、速度センサ及びヨーセンサであることを特徴とする。

また、第３発明に係る衝突判定システムは、第１発明において、前記車両の走行状態を検出する手段は、速度センサ及び操舵角センサであることを特徴とする。

また、第４発明に係る衝突判定システムは、第１乃至第３発明のいずれか１つにおいて、前記位置データ補正手段は、前記相対位置検出手段で検出した前記障害物の過去の複数の位置データを直線近似する手段と、該手段で直線近似した場合の補正量が所定値より大きい位置データが存在するか否かを判断する手段とを備え、該手段で、補正量が所定値より大きい位置データが存在すると判断した場合、該位置データを補正しないようにしてあることを特徴とする。

また、第５発明に係る衝突判定システムは、第４発明において、補正量が所定値より大きい位置データが存在すると判断した場合、前記相対移動ベクトル算出手段は、最新の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出するようにしてあることを特徴とする。

また、第６発明に係る衝突判定方法は、車両の外部を撮像する撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき画像データ中の障害物の存在を検出し、障害物を検出した場合、前記撮像手段により取得した画像データから前記障害物の当該車両に対する相対位置を時系列的な位置データとして検出し、検出した障害物との衝突の可能性を判定する判定装置を用いる衝突判定方法において、車両の走行状態を検出しておき、前記判定装置は、検出した前記障害物の過去の複数時点の位置データを、車両の走行状態及び位置データに基づいて補正し、補正した位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出し、算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定することを特徴とする。

また、第７発明に係るコンピュータプログラムは、車両の外部を撮像する撮像装置で撮像した画像データを受け付けて画像認識処理を施し、処理結果に基づき画像データ中の障害物の存在を検出し、障害物を検出した場合、前記撮像手段により取得した画像データから前記障害物の当該車両に対する相対位置を時系列的な位置データとして検出し、検出した障害物との衝突の可能性を判定するコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、検出した前記障害物の過去の複数時点の位置データを、外部から受け付けた車両の走行状態及び位置データに基づいて補正する位置データ補正手段、補正した位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段、及び算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段として機能させることを特徴とする。

第１発明、第６発明及び第７発明では、車両の外部を撮像する撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき画像データ中の障害物の存在を検出し、障害物を検出した場合、撮像手段により取得した画像データから障害物の当該車両に対する相対位置を時系列的な位置データとして検出する。別個の手段により車両の走行状態を検出しておき、判定装置は、検出した障害物の過去の複数時点の位置データを、検出した車両の走行状態及び現在の位置データに基づいて補正し、補正した位置データに基づいて障害物の当該車両に対する相対移動ベクトルを算出し、算出した相対移動ベクトルに基づいて、障害物が当該車両と衝突するか否かを判定する。これにより、所定期間遡った過去の時系列的な位置データを、現在の走行状態に関する情報、例えば直進している、蛇行している、旋回している、車速６０ｋｍ／時等の情報と、現在の障害物の位置データとを用いて補正することで、車両の走行状態を反映した障害物の相対移動ベクトルを正確に算出することができ、障害物と衝突するか否かについてより正確に判定することが可能となる。

第２発明では、車両の走行状態を検出する手段は、速度センサ及びヨーセンサである。また、第３発明では、車両の走行状態を検出する手段は、速度センサ及び操舵角センサである。これにより、前者は、車両の速度及び車両のヨーイングの程度を検出することにより直進状態と仮定した場合の相対移動ベクトルとの差異を的確に補正することができ、後者は、車両の速度及び操舵角度を検出することにより直進状態と仮定した場合の相対移動ベクトルとの差異を的確に補正することが可能となる。

第４発明では、障害物の過去の複数の位置データを直線近似した場合の補正量が所定値より大きい位置データが存在する場合、補正量が所定値より大きい位置データについては過去のデータを用いて補正しない。これにより、障害物に急な進路変更等が生じた場合には、相対移動ベクトルを過去の位置データを考慮して補正することなく、急な変更ベクトルをそのまま相対移動ベクトルとして検出することができ、過去の位置データにより相対移動ベクトルを危険側へ誤認識することなく、衝突の可能性を判定することが可能となる。

第５発明では、補正量が所定値より大きい位置データが存在する場合、最新の位置データに基づいて障害物の当該車両に対する相対移動ベクトルを算出する。これにより、障害物に急な進路変更等が生じた場合には、相対移動ベクトルを過去の位置データを考慮して補正することなく、最新の位置データを微分等することで相対移動ベクトルを算出することができ、過去の位置データにより相対移動ベクトルを危険側へ誤認識することなく、衝突の可能性を判定することが可能となる。

第１発明、第６発明及び第７発明によれば、所定期間遡った過去の位置データを、現在の走行状態に関する情報、例えば直進している、蛇行している、旋回している、車速６０ｋｍ／時等の情報と、現在の障害物の位置データとを用いて補正することで、車両の走行状態を反映した障害物の相対移動ベクトルを正確に算出することができ、障害物と衝突するか否かについてより正確に判定することが可能となる。

第２発明によれば、車両の速度及び車両のヨーイングの程度を検出することにより直進状態と仮定した場合の相対移動ベクトルとの差異を的確に補正することが可能となる。第３発明によれば、車両の速度及び操舵角度を検出することにより直進状態と仮定した場合の相対移動ベクトルとの差異を的確に補正することが可能となる。

第４発明によれば、障害物に急な進路変更等が生じた場合には、相対移動ベクトルを過去の位置データを考慮して補正することなく、急な変更ベクトルをそのまま相対移動ベクトルとして検出することができ、過去の位置データにより相対移動ベクトルを危険側へ誤認識することなく、衝突の可能性を判定することが可能となる。

第５発明によれば、障害物に急な進路変更等が生じた場合には、相対移動ベクトルを過去の位置データを考慮して補正することなく、最新の位置データを微分等することで相対移動ベクトルを算出することができ、過去の位置データにより相対移動ベクトルを危険側へ誤認識することなく、衝突の可能性を判定することが可能となる。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

(実施の形態１)
図１は、本発明の実施の形態１に係る衝突判定システムの構成を示す模式図である。本実施の形態１では、車両の前方に障害物、例えば歩行者、自転車等が存在するか否かを判断し、障害物の自車両に対する相対移動ベクトルに応じて衝突の可能性を判定する場合を例として説明する。

１、２は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外用のビデオカメラ（撮像装置）である。ビデオカメラ１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル６を介して接続してある判定装置３に送信される。なお、ビデオカメラ１、２は、近赤外用のビデオカメラであっても良いし、昼間である場合には可視光用のビデオカメラであっても良い。

判定装置３は、ビデオカメラ１、２の他、操作部を備えた表示装置４、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とも、車載ＬＡＮケーブル６を介して接続されている。また、車両の速度を検出する速度センサ７、及び車両のヨーレイトを検出するヨーセンサ８とも車載ＬＡＮケーブル６を介して接続されており、それぞれ車両の走行速度及びヨーイング角度の検出値が判定装置３へ入力される。

図２は、本発明の実施の形態１に係る衝突判定システムの遠赤外用ビデオカメラ１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子を備えている。画像撮像部１１は、車両の周囲の赤外光像をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を、内部バス１５を介して信号処理部１２へ送信する。

信号処理部１２は、ＬＳＩ基板であり、画像撮像部１１から受信したアナログ信号をＲＧＢのデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして画像メモリ１３へ記憶する。

通信インタフェース部１４は、ＬＳＩ基板であり、車載ＬＡＮケーブル６を介して判定装置３とデータの送受信を行う。通信インタフェース部１４は、判定装置３から送出される指令に従って、画像メモリ１３に記憶された画像データの判定装置３への送出、ビデオカメラ１、２で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。

図３は、本発明の実施の形態１に係る衝突判定システムの判定装置３の構成を示すブロック図である。通信インタフェース部３１は、ビデオカメラ１、２に対する指令の送信、ビデオカメラ１、２からの画像データの受信を行う。通信インタフェース部３１は、ビデオカメラ１、２から受信した画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、通信インタフェース部３１は、車載ＬＡＮケーブル６を介して液晶ディスプレイ等の表示装置４に対して画像データを送出し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介してビデオカメラ１、２から受信した画像データを記憶する。

画像処理を行う基板であるＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、読み出した画像データをパターンマッチングすることにより、歩行者等の障害物が存在するか否かを判断する。ＬＳＩ３３が、障害物が存在すると判断した場合、ＬＳＩ３３は、該障害物の所定期間過去の位置データ及び自車両の速度等に基づいて、該障害物の過去の位置データを補正する。

ＬＳＩ３３は、補正した位置データに基づいて、障害物の自車両に対する相対移動ベクトルを算出する。ＬＳＩ３３は、相対移動ベクトルに基づいて、障害物が自車両と衝突するか否かを判断し、ＬＳＩ３３が、自車両と衝突すると判断した場合、通信インタフェース部３１を介して表示装置４又は警報装置５へ、警告情報を出力する。なお、ＬＳＩ３３は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶するＲＡＭ３３１を同一基板上に内蔵している。

ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態１に係る衝突判定システムの判定装置３のＬＳＩ３３の衝突可能性判定処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ４０１）、画素値に基づいてエッジ部分を抽出する（ステップＳ４０２）。エッジ部分の抽出方法は特に限定されるものではない。例えば、以下に示すように、ラプラシアンフィルタを用いてエッジ部分を抽出する。

ラプラシアンフィルタは、所定の画素の画素値と該画素の周囲に存在する画素の画素値とを対比し、画素値の差分値が所定の閾値より大きい場合に‘１’を出力し、所定の閾値より小さい場合に‘０’を出力する。すなわち、周囲の画素と画素値の差分が所定の閾値より大きい場合、エッジ部分であるとして‘１’を出力する。（数１）は、所定の画素の上下左右に存在する画素の画素値を用いる場合のラプラシアンフィルタにおける演算処理を示す数式である。

（数１）において、ｆ（ｘ、ｙ）は、受け付けた画像データにおける所定の位置での画素の画素値を、ｇ（ｘ、ｙ）は、エッジ画素の画素値を、ＴＨは所定の閾値を、それぞれ示している。ラプラシアンフィルタにより画素値が‘１’となった画素をエッジ部分として抽出する。

ＬＳＩ３３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し（ステップＳ４０３）、相関値が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ４０４）。ＬＳＩ３３が、相関値が所定の閾値より大きい領域が存在しないと判断した場合（ステップＳ４０４：ＮＯ）、ＬＳＩ３３は、ステップＳ４０１へ戻り、次の画像データを読み出す。ＬＳＩ３３が、相関値が所定の閾値より大きい領域が存在すると判断した場合（ステップＳ４０４：ＹＥＳ）、ＬＳＩ３３は、該領域が歩行者を示す領域であると判断して、歩行者を示す領域、すなわち障害物が存在する領域の位置データを自車両の前部中央を原点とした座標値として算出する（ステップＳ４０５）。

なお、ＬＳＩ３３が、歩行者が存在するか否かを判断するのに使用する特徴量として、人間の標準的な温度分布を示すテンプレートと、抽出したエッジ部分で構成される画像データ（ラプラシアンフィルタ適用後の画像データ）とをマッチングすることにより算出した相関値Ｒを用いる場合、相関値Ｒは（数２）に基づいて算出される。

（数２）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは人間の標準的な温度分布を示すテンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する画像におけるｋ番目の画素の画素値を、それぞれ示している。

なお、抽出したエッジ部分が歩行者と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、歩行者と認識される領域の大きさ、縦横比、画素値の平均値、分散等、歩行者と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。

ＬＳＩ３３は、上述した処理により歩行者と認識された障害物と自車両との距離、及び障害物の存在する方向を、車両前部の左右にステレオ配置されているビデオカメラ１、２の画像データをステレオ画像処理することにより算出する。これにより、障害物の位置データを、例えば自車両の前方中央を原点とした座標系における座標値として算出することができる。なお、別途レーダ装置を車両前方下部に装着しておき、直接的に障害物と自車両との距離、及び障害物の存在する方向を測定して、座標値を算出するものであっても良い。

ＬＳＩ３３は、所定のサンプリング間隔で、例えば３０ｍｓｅｃ間隔で障害物の位置データを算出し、ＲＡＭ３３１に時系列的に記憶する（ステップＳ４０６）。そして、例えば時刻ｔ１において位置データＰ１を算出した場合、所定の期間過去に遡って位置データを読み出す(ステップＳ４０７)。具体的には、１サンプリング時間前の時刻ｔ２、２サンプリング時間前の時刻ｔ３、・・・、（ｎ−１）サンプリング時間前の時刻ｔｎ（ｎは自然数）での位置データＰ２、Ｐ３、・・・、Ｐｎ（ｎは自然数）を読み出す。ＬＳＩ３３は、読み出した位置データＰ１、Ｐ２、・・・、Ｐｎ（ｎは自然数）を直線近似することにより自車両に対する相対移動ベクトルを算出する。なお、ｎは任意であり、実用上は安全の観点から３乃至５の範囲内である。

ここで、従来は、ＲＡＭ３３１に記憶してある過去の位置データを補正することなく直線近似して、相対移動ベクトルを算出していた。図５は、過去の位置データを補正しない場合の、障害物が接近する状態を示す図であり、図５（ａ）乃至（ｃ）は運転者からの視界をデフォルメしたイメージ図であり、図５（ｄ）は車両の前部中央を原点とした座標系での障害物の位置データを示す図である。

図５（ａ）から（ｃ）へと障害物Ｗが接近する場合、図５（ｄ）に示すように位置データはＰ３からＰ１へと変化する。したがって、車両が直進している場合は、正確に移動ベクトルを算出することができる。

一方、ＬＳＩ３３は、ヨーセンサ８の検出値を解析することにより、車両が所定の角度ヨーイングしながら蛇行しているか否かを判断することができる。ＬＳＩ３３は、車両のヨーイング角度を受け付け(ステップＳ４０８)、受け付けたヨーイング角度が所定角度より大きいか否かを判断する(ステップＳ４０９)。ＬＳＩ３３が、所定角度以下であると判断した場合(ステップＳ４０９：ＮＯ)、ＬＳＩ３３は、車両が直進していると判断し、ステップＳ４１１へスキップする。ＬＳＩ３３が、所定角度より大きいと判断した場合(ステップＳ４０９：ＹＥＳ)、ＬＳＩ３３は、車両が蛇行していると判断し、現在の位置データを基準として、ＲＡＭ３３１に記憶されている過去の位置データを補正する(ステップＳ４１０)。

図６は、過去の位置データを補正した場合の、障害物が接近する状態を示す図であり、図６（ａ）乃至（ｃ）は運転者からの視界をデフォルメしたイメージ図であり、図６（ｄ）は車両の前部中央を原点とした座標系での障害物の位置データを示す図である。

図５（ａ）から（ｃ）へと障害物Ｗが接近する場合、例えば車両が前方に対して左方向に角度αヨーイングすることにより、図５（ｄ）に示すように位置データはＰ３からＰ１へと変化する。したがって、車両が蛇行した場合であっても、最新の位置データＰ１を望む座標系を基調として、過去の位置データＰ２、Ｐ３を補正することにより、最新の位置データＰ１に係る座標系での座標値として過去の位置データを把握することができ、障害物Ｗの相対移動ベクトルを正確に算出することが可能となる。

例えば図６のように車両の左前方から障害物が接近している状態で、車両前方に対して左方向に角度αヨーイングした場合、より衝突の可能性が高いと判断されることから問題は生じない。しかし、車両前方に対し右方向に角度αヨーイングした場合、障害物と衝突する可能性が高いにもかかわらず、衝突しないものと判断されるおそれがあり、安全上の観点から問題となる。

そこで、ＬＳＩ３３は、ヨーセンサ８から車両のヨーイング角度を受け付け、現在の位置データを基準として、ＲＡＭ３３１に記憶されている過去の位置データを補正する。例えば図のように、時刻ｔ１における位置データＰ１を基準として、ヨーイング角度αに応じて位置データＰ２、Ｐ３、・・・、Ｐｎ（ｎは自然数）を補正する。すなわちヨーイング角度αとなった車両における障害物の相対移動軌跡を算出する。

ＬＳＩ３３は、例えば３乃至５サンプリング時間遡った数個の位置データについて上述した過去の位置データの補正を行い、障害物の車両に対する相対移動ベクトルを算出する。相対移動ベクトル算出に用いる過去の位置データに対応するサンプリング期間内で、障害物が略均等な移動ベクトルを有している場合には、かかる方法で相対移動ベクトルを精度良く算出することができる。

しかし、サンプリング時間における位置データには、算出誤差が存在することから、所定幅の算出誤差が存在する。したがって、算出誤差の範囲内であれば、障害物が略均等な相対移動ベクトルで移動していると考えることができる。そこでＬＳＩ３３は、障害物の過去の複数の位置データを直線近似した場合の補正量が所定値より大きいか否かを判断し、所定値より大きい場合には、該位置データを補正しないようにしている。図７は、本発明の実施の形態１に係る衝突判定システムの判定装置３のＬＳＩ３３の相対移動ベクトル算出処理の手順を示すフローチャートである。

ＬＳＩ３３は、所定の算出誤差を受け付け(ステップＳ７０１)、障害物の過去の複数の位置データを直線近似した値に算出誤差を加算した値を上限位置データとして算出し、障害物の過去の複数の位置データを直線近似した値に算出誤差を減算した値を下限位置データとして算出する(ステップＳ７０２)。ＬＳＩ３３は、障害物の位置データが上限位置データより大きいか否かを判断し(ステップＳ７０３)、ＬＳＩ３３が、上限位置データより大きいと判断した場合には(ステップＳ７０３：ＹＥＳ)、ＬＳＩ３３は、該位置データを補正せず、１サンプリング期間前の位置データが上限位置データより大きいか否かを判断する(ステップＳ７０４)。

ＬＳＩ３３が、上限位置データより大きいと判断した場合には(ステップＳ７０４：ＹＥＳ)、進路が変更されたものと判断し、補正していない位置データに基づいて相対移動ベクトルを算出する(ステップＳ７０５)。ＬＳＩ３３が、上限位置データ以下であると判断した場合には(ステップＳ７０４：ＮＯ)、ＬＳＩ３３は、特異点であると判断し、現在の位置データを上限位置データまで補正して(ステップＳ７０６)、相対移動ベクトルを算出する(ステップＳ７０５)。

ＬＳＩ３３が、上限位置データ以下であると判断した場合には(ステップＳ７０３：ＮＯ)、ＬＳＩ３３は、障害物の位置データが下限位置データより小さいか否かを判断する(ステップＳ７０７)。ＬＳＩ３３が、下限位置データより小さいと判断した場合には（ステップＳ７０７：ＹＥＳ）、ＬＳＩ３３は、該位置データを補正せず、１サンプリング期間前の位置データが下限位置データより小さいか否かを判断する(ステップＳ７０８)。

ＬＳＩ３３が、下限位置データより小さいと判断した場合には(ステップＳ７０８：ＹＥＳ)、進路が変更されたものと判断し、補正していない位置データに基づいて相対移動ベクトルを算出する(ステップＳ７０９)。ＬＳＩ３３が、下限位置データ以上であると判断した場合には(ステップＳ７０８：ＮＯ)、ＬＳＩ３３は、特異点であると判断し、該位置データを下限位置データまで補正して(ステップＳ７１０)、相対移動ベクトルを算出する(ステップＳ７０９)。

ＬＳＩ３３が、下限位置データ以上であると判断した場合には(ステップＳ７０７：ＮＯ)、ＬＳＩ３３は、補正量が算出誤差の範囲内であると判断し、算出した直線近似に基づいて相対移動ベクトルを算出する(ステップＳ７０９)。

ＬＳＩ３３が、位置データを補正することなく相対移動ベクトルを算出する場合、例えばサンプリング時刻ｔ１における位置データの微分値を算出し、相対移動ベクトルの方向とする。これにより、補正量が算出誤差の範囲を超えた位置データが存在する場合、該位置データについては過去のデータを用いて補正しないようにすることで、例えば障害物に急な進路変更等が生じた場合であっても、急な変更ベクトルをそのまま相対移動ベクトルとして検出することができ、過去の位置データにより相対移動ベクトルを危険側へ誤認識することなく、衝突の可能性を判定することが可能となる。

図８は、障害物と車両との距離と時間の関係を示す図である。図８(ａ)のように障害物が直線移動している場合、検出した位置データに基づいて算出した障害物と車両との距離Ｌのサンプリング点は、時系列にバラツキを有する。しかし、所定の幅、すなわち算出誤差の範囲内にほぼ収束しており、直線近似のみによって障害物の相対移動ベクトルは、比較的精度良く算出することができる。

しかし、図８（ｂ）のように、所定の時刻ｔ０で急な方向転換を行った場合、サンプリング区間ΔＴで直線近似したとき、時刻ｔ０を含むサンプリング区間では、方向転換後の進路よりも傾斜角度が緩やかになるよう直線近似する。したがって、車両に近づくのが遅れる方向に相対移動ベクトルを算出することになり、衝突の可能性を報知するタイミングが遅れ、危険になるおそれが残されている。

ＬＳＩ３３は、算出した障害物の相対移動ベクトル、障害物の接近速度及び速度センサ７から受け付けた車両の速度に基づいて、車両と障害物とが衝突するか否かを判断する(ステップＳ４１１)。

ＬＳＩ３３が、車両と障害物とが衝突しないと判断した場合(ステップＳ４１１：ＮＯ)、ＬＳＩ３３はステップＳ４０６へ戻って、次のサンプリング時間での位置データを取得し、上述した処理を繰り返す。ＬＳＩ３３が、車両と障害物とが衝突すると判断した場合(ステップＳ４１１：ＹＥＳ)、ＬＳＩ３３は、通信インタフェース部３１を介して運転者に対して衝突の可能性が高い旨を報知する様々な手段を起動させる起動信号を、車載ＬＡＮケーブル６を介して送出する(ステップＳ４１２)。運転者へ障害物との衝突の危険性が高い旨を報知することにより、運転者に対して衝突回避動作を促すことが可能となる。

運転者に対して衝突の可能性が高い旨を報知する手段は、例えば表示手段４に対する警告表示を指示する指示信号の送出であり、警報手段５に対する鳴動を指示する鳴動指示信号の送出である。

以上のように本実施の形態１によれば、所定期間遡った過去の位置データを、現在の走行状態に関する情報、例えば直進している、蛇行している、車速６０ｋｍ／時等の情報と、現在の障害物の位置データとを用いて補正することで、車両の走行状態を反映した障害物の相対移動ベクトルを正確に算出することができ、障害物と衝突するか否かについてより正確に判定することが可能となる。

(実施の形態２)
図９は、本発明の実施の形態２に係る衝突判定システムの構成を示す模式図である。本実施の形態２でも、車両の前方に障害物、例えば歩行者、自転車等が存在するか否かを判断し、障害物の自車両に対する相対移動ベクトルに応じて衝突の可能性を判定する場合を例として説明する。

１、２は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外用のビデオカメラ（撮像装置）である。ビデオカメラ１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル６を介して接続してある判定装置３に送信される。

判定装置３は、ビデオカメラ１、２の他、操作部を備えた表示装置４、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とも、車載ＬＡＮケーブル６を介して接続されている。また、車両の速度を検出する速度センサ７、及び車両の操舵角度を検出する操舵センサ９とも車載ＬＡＮケーブル６を介して接続されており、それぞれ車両の走行速度及び操舵角度の検出値が判定装置３へ入力される。

実施の形態２に係る遠赤外用ビデオカメラ１の構成、及び実施の形態２に係る判定装置３の構成は、実施の形態１と同様であることから、同一の符号を付することで詳細な説明は省略する。

ＬＳＩ３３での詳細な処理について以下に説明する。図１０は、本発明の実施の形態２に係る衝突判定システムの判定装置３のＬＳＩ３３の衝突可能性判定処理の手順を示すフローチャートである。

ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読出し（ステップＳ１００１）、画素値に基づいてエッジ部分を抽出する（ステップＳ１００２）。エッジ部分の抽出方法は特に限定されるものではない。

ＬＳＩ３３は、歩行者が存在するか否かを判断するのに使用する特徴量、例えば人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値を算出し（ステップＳ１００３）、相関値が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ１００４）。ＬＳＩ３３が、相関値が所定の閾値より大きい領域が存在しないと判断した場合（ステップＳ１００４：ＮＯ）、ＬＳＩ３３は、ステップＳ１００１へ戻り、次の画像データを読み出す。ＬＳＩ３３が、相関値が所定の閾値より大きい領域が存在すると判断した場合（ステップＳ１００４：ＹＥＳ）、ＬＳＩ３３は、該領域が歩行者を示す領域であると判断して、歩行者を示す領域、すなわち障害物が存在する領域の位置データを自車両の前部中央を原点とした座標値として算出する（ステップＳ１００５）。

ＬＳＩ３３は、所定のサンプリング間隔で、例えば３０ｍｓｅｃ間隔で障害物の位置データを算出し、ＲＡＭ３３１に記憶する（ステップＳ１００６）。そして、例えば時刻ｔ１において位置データＰ１を算出した場合、所定の期間過去に遡って位置データを読み出す(ステップＳ１００７)。具体的には、１サンプリング時間前の時刻ｔ２、２サンプリング時間前の時刻ｔ３、・・・、（ｎ−１）サンプリング時間前の時刻ｔｎ（ｎは自然数）での位置データＰ２、Ｐ３、・・・、Ｐｎ（ｎは自然数）を読み出す。ＬＳＩ３３は、読み出した位置データＰ１、Ｐ２、・・・、Ｐｎ（ｎは自然数）を直線近似することにより自車両に対する相対移動ベクトルを算出する。なお、ｎは任意であり、実用上は安全の観点から３乃至５の範囲内である。

ＬＳＩ３３は、操舵センサ９の検出値を解析することにより、車両が所定の回転半径で旋回しているか否かを判断することができる。ＬＳＩ３３は、車両の操舵角度及び速度センサ８で検出された車両速度を受け付け(ステップＳ１００８)、受け付けた操舵角度及び車両速度に基づいて、車両の回転半径及び旋回角速度を算出する(ステップＳ１００９)。ＬＳＩ３３は、算出した車両の回転半径及び角速度に基づき、現在の位置データを基準として、ＲＡＭ３３１に記憶されている過去の位置データを補正する(ステップＳ１０１０)。

図１１は、算出した車両の回転半径及び角速度に基づいた過去の位置データを補正する方法の説明図である。図１１では、時刻ｔ１には、障害物はＰ１に位置しており、時刻ｔ１からΔＴ経過した時点での障害物の位置がＰ２であることを、車両の前部中央を原点とした座標系で示している。

ここで、車両の旋回角速度をωとすると、図１１を時刻ｔ２での座標系とした場合、旋回により座標軸がω・ΔＴだけ回転している。したがって、時刻ｔ２の障害物の位置は、車両から見た座標系では実際にはＰ２ではなく、Ｐ２がω・ΔＴだけ回転した回転半径とＰ２から車両の左右方向、すなわちＸ軸方向への直線との交点Ｐ２’へと、見かけ上移動する。したがって、サンプリング時間が経過する都度、過去の位置データに対して同様の補正を行うことにより、実際の状況に即した障害物の相対移動ベクトルを算出することができ、より精度良く衝突するか否かの判定を行うことができる。

もちろん、実施の形態１と同様、サンプリング時間における位置データには、算出誤差が存在することから、所定幅の算出誤差が存在する。したがって、算出誤差の範囲内であれば、障害物が略均等な相対移動ベクトルで移動していると考えることができる。そこでＬＳＩ３３は、実施の形態１と同様、障害物の過去の複数の位置データを直線近似した場合の補正量が所定値より大きいか否かを判断し、所定値より大きい場合には、該位置データを補正しないようにしている。ＬＳＩ３３の処理手順は実施の形態１と同様であることから、詳細な説明は省略する。

ＬＳＩ３３は、算出した障害物の相対移動ベクトル、障害物の接近速度及び速度センサ７から受け付けた車両の速度に基づいて、車両と障害物とが衝突するか否かを判断する(ステップＳ１０１１)。

ＬＳＩ３３が、車両と障害物とが衝突しないと判断した場合(ステップＳ１０１１：ＮＯ)、ＬＳＩ３３はステップＳ１００６へ戻って、次のサンプリング時間での位置データを取得し、上述した処理を繰り返す。ＬＳＩ３３が、車両と障害物とが衝突すると判断した場合(ステップＳ１０１１：ＹＥＳ)、ＬＳＩ３３は、通信インタフェース部３１を介して運転者に対して衝突の可能性が高い旨を報知する様々な手段を起動させる起動信号を、車載ＬＡＮケーブル６を介して送出する(ステップＳ１０１２)。運転者へ障害物との衝突の危険性が高い旨を報知することにより、運転者に対して衝突回避動作を促すことが可能となる。

以上のように本実施の形態２によれば、所定期間遡った過去の位置データを、現在の走行状態に関する情報、例えば直進している、旋回している、車速３０ｋｍ／時等の情報と、現在の障害物の位置データとを用いて補正することで、車両の走行状態を反映した障害物の相対移動ベクトルを正確に算出することができ、障害物と衝突するか否かについてより正確に判定することが可能となる。

なお、上述した実施の形態１及び２では、判定装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。

本発明の実施の形態１に係る衝突判定システムの構成を示す模式図である。本発明の実施の形態１に係る衝突判定システムの遠赤外用ビデオカメラの構成を示すブロック図である。本発明の実施の形態１に係る衝突判定システムの判定装置の構成を示すブロック図である。本発明の実施の形態１に係る衝突判定システムの判定装置のＬＳＩの衝突可能性判定処理の手順を示すフローチャートである。過去の位置データを補正しない場合の、障害物が接近する状態を示す図である。過去の位置データを補正した場合の、障害物が接近する状態を示す図である。本発明の実施の形態１に係る衝突判定システムの判定装置のＬＳＩの相対移動ベクトル算出処理の手順を示すフローチャートである。障害物と車両との距離と時間の関係を示す図である。本発明の実施の形態２に係る衝突判定システムの構成を示す模式図である。本発明の実施の形態２に係る衝突判定システムの判定装置のＬＳＩの衝突可能性判定処理の手順を示すフローチャートである。算出した車両の回転半径及び角速度に基づいた過去の位置データを補正する方法の説明図である。

符号の説明

１、２ビデオカメラ
３判定装置
４表示装置
５警報装置
７速度センサ
８ヨーセンサ
９操舵センサ
３１通信インタフェース部
３２画像メモリ
３３ＬＳＩ
３３１ＲＡＭ

Claims

車両の外部を撮像する撮像装置と、
該撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき画像データ中の障害物の存在を検出する障害物検出手段、及び
該障害物検出手段で障害物を検出した場合、前記撮像手段により取得した画像データから前記障害物の当該車両に対する相対位置を時系列的な位置データとして検出する相対位置検出手段を有し、
検出した障害物との衝突の可能性を判定する判定装置と
を備える衝突判定システムにおいて、
車両の走行状態を検出する走行状態検出手段を有し、
前記判定装置は、
前記相対位置検出手段で検出した前記障害物の過去の複数時点の位置データを、前記走行状態検出手段で検出した車両の走行状態及び位置データに基づいて補正する位置データ補正手段と、
補正した位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段と、
算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段と
を備えることを特徴とする衝突判定システム。
前記車両の走行状態を検出する手段は、速度センサ及びヨーセンサであることを特徴とする請求項１記載の衝突判定システム。
前記車両の走行状態を検出する手段は、速度センサ及び操舵角センサであることを特徴とする請求項１記載の衝突判定システム。
前記位置データ補正手段は、
前記相対位置検出手段で検出した前記障害物の過去の複数の位置データを直線近似する手段と、
該手段で直線近似した場合の補正量が所定値より大きい位置データが存在するか否かを判断する手段と
を備え、
該手段で、補正量が所定値より大きい位置データが存在すると判断した場合、該位置データを補正しないようにしてあることを特徴とする請求項１乃至３のいずれか一項に記載の衝突判定システム。
補正量が所定値より大きい位置データが存在すると判断した場合、前記相対移動ベクトル算出手段は、最新の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出するようにしてあることを特徴とする請求項４記載の衝突判定システム。
車両の外部を撮像する撮像装置で撮像した画像データを取得して画像認識処理を施し、処理結果に基づき画像データ中の障害物の存在を検出し、障害物を検出した場合、前記撮像手段により取得した画像データから前記障害物の当該車両に対する相対位置を時系列的な位置データとして検出し、検出した障害物との衝突の可能性を判定する判定装置を用いる衝突判定方法において、
車両の走行状態を検出しておき、
前記判定装置は、
検出した前記障害物の過去の複数時点の位置データを、車両の走行状態及び位置データに基づいて補正し、
補正した位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出し、
算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定することを特徴とする衝突判定方法。
車両の外部を撮像する撮像装置で撮像した画像データを受け付けて画像認識処理を施し、処理結果に基づき画像データ中の障害物の存在を検出し、障害物を検出した場合、前記撮像手段により取得した画像データから前記障害物の当該車両に対する相対位置を時系列的な位置データとして検出し、検出した障害物との衝突の可能性を判定するコンピュータで実行することが可能なコンピュータプログラムにおいて、
前記コンピュータを、
検出した前記障害物の過去の複数時点の位置データを、外部から受け付けた車両の走行状態及び位置データに基づいて補正する位置データ補正手段、
補正した位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段、及び
算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段
として機能させることを特徴とするコンピュータプログラム。