JP2010198552A - 運転状況監視装置 - Google Patents

Abstract

【課題】効果的な運転教育に寄与することのできる運転状況監視装置を提供する。
【解決手段】光軸が所定間隔を介して平行であり、自車両の前方のシーンを同一タイミングで撮像するカメラ１１，１２と、カメラ１１，１２から得られる各画像に基づき自車両とその画像に映った他車両との車間距離を計測する車間距離計測部３４４と、前記車間距離と該車間距離の変化率とに基づき自車両と前記他車両との衝突の危険性を示す危険度を算出する危険度算出部３４８と、自車両の絶対的な動きを計測する自車両動き計測部３４６と、自車両の絶対的な動きと前記車間距離とに基づき前記他車両の絶対的な動きを算出する他車両絶対動き算出部３４７と、前記危険度と自車両及び他車両の絶対的な動きとに基づき前記画像が示す、自車両と前記他車両との関係における危険状況につき、自車両及び前記他車両の責任割合を示す責任度合いを算出する責任度合い算出部３４９とを備えた。
【選択図】図２

Description

本発明は、自車両及びその周囲に存在する他車両の運転状況（走行状況）を記録する運転状況監視装置に属するものである。

近年、交通事故を未然に防止するために、ステレオカメラやレーダーを利用した運転支援システムの研究が盛んに行われている。運転支援システムは、自車両に搭載され、進行方向にある他車両を検出し、他車両までの距離を測ることで、自車両が危険状態にあるか否かを判断し、運転者に警告を発したり、ブレーキ制御を行ったりするものである。また、自車両の動きと他車両の動きとを相対的に解析することにより、ドライバの運転状況を把握し、注意を促したり、教育したりすることに用いることも有効である。更に、ドライブレコーダーなどの画像を解析して事故時の車両の動きを解析するといったことも考えられる。

中でも、ステレオカメラを利用した運転支援システムは、撮影した画像を処理することで他車両を特定することが可能であるというレーダーを利用した運転支援システムにはないメリットを有している。

この種の技術分野に関連する文献として、例えば下記特許文献１〜４がある。下記特許文献１には、「車両周辺の状況を撮影するカメラによって撮影されたカメラ映像を記憶媒体に記録する記録手段と、周辺車両との事故の危険性が発生したか否かを判定する第１の判定手段と、第１の判定手段によって事故の危険性が発生したことが判定された場合、記録手段によるカメラ映像の記録を開始させる記録開始制御手段とを備えた」車載状況記憶装置が開示されている。

下記特許文献２には、「車両の走行状態に関するデータを記録する走行状態記録装置は、データを記録する記録手段と、自車両の少なくとも前方を撮像し、画像データを生成する撮像手段と、自車両の前方車両との車間距離を算出する車間距離算出手段と、前方車両との車間距離に基づき前方車両の挙動に異常があるか否かを判定する判定手段と、異常があると判定されたとき、画像データを記録手段に記録する記録制御手段とを有する」走行状態記録装置が開示されている。また、下記特許文献２には、「判定手段は、車間距離の変化率が一定値を越えたとき、または車間距離が一定値よりも小さくなったとき、前方車両の挙動に異常があると判定する（［００１２］）」と記載されている。

下記特許文献３には、事故かヒヤリハットかの判断や記録重要度の判断を行うためのパラメータとしての状況データをその内容に基づいて分類する点が開示されている。また、下記特許文献３には、「事故かヒヤリハットかの判断や、記録重要度の判断には、状況データとして、車両に作用する加速度を示す加速度データ、車両の位置を示す位置データ、車両の速度を示す速度データ、車両のブレーキが作用しているか否かを示すブレーキデータ、ドアが開閉しているか否かを示すドア開閉データ、車両側電源から電力が供給されているか否かを示す主電源状態データ等を複合的に用いればよい。（［００１０］）」、「事故やヒヤリハットの内容を事後分析するために特に有効な状況データとしては、車両に作用する加速度を示す加速度データ、車両の位置を示す位置データ及び車両の外部映像を示す動画データを挙げることができる。（［００１６］）」と記載されている。

下記特許文献４には、「自車両の前方に設置され、自車両と前車の走行速度、相対速度及び前記自車両と前車の車間距離を計測する速度及び車間距離計測手段と、前記計測された走行速度、相対速度及び車間距離から前記自車両と前車の衝突を予測する衝突予測手段と、前記自車両と前車とを画像に撮影する撮像手段と、前記撮像手段により撮影された画像データを記録可能な記録手段と、前記衝突予測手段による前記衝突の予測に基づき前記記録手段に前記画像データを記録させる制御手段とを備えた」事故時のデータ記録装置が開示されている。

特開２００７−２３７７６４号公報 特開２００６−３４７４９３号公報 特開２００７−１１９０８号公報 特開平０８−２３５４８４号公報

前記自車両と前記他車両との関係における危険状況についての各車両の責任の重さをユーザ等に提供することができれば、単に画像の記録や危険状況の解析等を行う前記引用文献１〜４よりも、更に運転教育に効果的な装置を実現することができるものと考えられる。

本発明は、上述した問題点を解決するためになされたものであり、効果的な運転教育に寄与することのできる運転状況監視装置を提供することを目的とする。

請求項１に記載の発明は、光軸が予め定められた間隔を介して平行であり、走行している自車両の周辺環境の光像を同一のタイミングで繰り返し撮像する第１及び第２の撮像部と、前記第１及び第２の撮像部の撮像動作で得られる各画像を用い、自車両の周辺に存在する前記画像に映った他車両と自車両との車間距離を計測する車間距離計測部と、前記車間距離計測部により計測された車間距離と該車間距離の変化率とに基づき、前記自車両と前記他車両との衝突の危険性を示す指標である危険度を算出する危険度算出部と、自車両の移動ベクトルを計測する自車両動き計測部と、前記自車両動き計測部により計測された自車両の動きと、前記車間距離計測部により計測された車間距離とに基づき、他車両の移動ベクトルを算出する他車両動き算出部と、前記危険度算出部により算出された危険度と、前記自車両動き計測部により計測された自車両の移動ベクトルと、前記他車両動き算出部により算出された他車両の移動ベクトルとに基づき、前記画像が示す前記自車両と前記他車両との関係における危険状況について、前記自車両及び前記他車両の責任の割合を示す指標である責任度合いを算出する責任度合い算出部とを備える運転状況監視装置である。

この発明によれば、第１及び第２の撮像部により、走行している自車両の周辺環境の光像が同一のタイミングで繰り返し撮像される。第１及び第２の撮像部から画像が出力されると、車間距離計測部により、その画像に基づき、自車両の周辺に存在する前記画像に映った他車両と自車両との車間距離が計測される。また、危険度算出部により、前記車間距離計測部により計測された車間距離と該車間距離の変化率とに基づき、前記自車両と前記他車両との衝突の危険性を示す指標である危険度が算出される。

一方、自車両動き計測部により、自車両の移動ベクトルが計測され、他車両動き算出部により、前記自車両の動きと前記車間距離計測部により計測された車間距離とに基づき、他車両の移動ベクトルが算出される。

そして、責任度合い算出部により、前記危険度算出部により算出された危険度と、前記自車両動き計測部により計測された自車両の移動ベクトルと、前記他車両動き算出部により算出された他車両の移動ベクトルとに基づき、前記画像が示す前記自車両と前記他車両との関係における危険状況について、前記自車両及び前記他車両の責任の割合を示す指標である責任度合いが算出される。

この算出した責任度合いの情報をユーザ等に提供することにより、前記自車両と前記他車両との関係における危険状況についての各車両の責任の重さをユーザ等に認識させることが可能となる。

請求項２に記載の発明は、請求項１に記載の運転状況監視装置において、前記責任度合いは、前記危険度算出部により算出された危険度と、自車両の運転操作状況と、他車両の前記移動ベクトルとをパラメータとして設定されているものである。

この発明によれば、前記責任度合いを、前記危険度算出部により算出された危険度と、自車両の運転操作状況と、他車両の前記移動ベクトルとをパラメータとして設定したので、前自車両及び他車両の各操作状況に応じた適切な責任度合いを算出することが可能となる。

請求項３に記載の発明は、請求項１又は２に記載の運転状況監視装置において、前記責任度合いは、前記危険度算出部により算出された危険度と、自車両及び他車両の前記移動ベクトルからそれぞれ求められる各車両の運転操作状況とをパラメータとして設定されているものである。

この発明によれば、前記責任度合いを、前記危険度算出部により算出された危険度と、自車両及び他車両の前記移動ベクトルからそれぞれ求められる各車両の運転操作状況とをパラメータとして設定したので、前自車両及び他車両の各操作状況に応じた適切な責任度合いを算出することが可能となる。

自車両及び他車両の責任度合いを設定するためのルールとして、請求項４〜７に記載の発明のようなルールが一例として考えられる。例えば、請求項４に記載の発明のように、前記危険度が増大している期間、自車両及び前記他車両のうち運転操作に変化が発生した側の車両の方が、該危険状況の主な要因となっている可能性が高い点に基づき、自車両及び前記他車両のうち運転操作に変化が発生した側の車両の責任度合いを相対的に増大させるルールが考えられる。

また、請求項５に記載の発明のように、前記危険度算出部により算出される危険度が予め定められた閾値以上となっている状態で前記自車両における運転操作に変化がない状態が続いている場合には、自車両にも危険回避責任があるにも拘らず危険回避操作を怠っているという点に基づき、前記自車両の責任度合いを相対的に増大させるルールが考えられる。

また、請求項６に記載の発明のように、前記危険度が減少している期間、自車両及び前記他車両のうち運転操作に変化が発生した側の車両は、危険回避操作を行ったものと考えられる点に基づき、運転操作に変化が発生した側の車両の責任度合いを相対的に減少させるルールが考えられる。

また、請求項７に記載の発明のように、前記危険度算出部により算出される危険度が予め定められた閾値以上となっているとき、走行速度が大きい側の車両の方が、該危険状況の主な要因となっている可能性が高い点に基づき、走行速度が大きい側の車両の責任度合いを相対的に増大させるルールが考えられる。

請求項８に記載の発明は、請求項１乃至７のいずれかに記載の運転状況監視装置において、自車両における運転操作に予め定められた閾値を超える変化が発生したときに、トリガ信号を出力するトリガ信号出力部を備え、前記責任度合い算出部は、前記トリガ信号出力部からトリガ信号が出力されると、その出力時点を含む一定期間に前記第１及び第２の撮像部から得られた画像に基づき、前記責任度合いを算出するものである。

この発明によれば、トリガ信号の出力時点を含む一定期間に前記第１及び第２の撮像部から得られた画像に基づいて前記責任度合いを算出するようにしたので、前記責任度合いの算出に重要な画像（責任度合いに大きな影響を与える画像）のみを、責任度合いの算出に利用することになる。これにより、前記第１及び第２の撮像部から得られた全ての画像に基づいて前記責任度合いを算出する場合に比して、利用対象の画像の数や容量を低減することができ、延いては、前記責任度合いの算出に要するコストを低減することができる。

請求項９に記載の発明は、請求項１乃至８のいずれかに記載の運転状況監視装置において、前記責任度合い算出部により算出された責任度合いを、前記第１及び第２の撮像部の撮像動作により得られた画像とともに保存する画像保存部を更に備えるものである。

この発明によれば、自車両及び他車両の走行状況等の画像を確認することができる。

請求項１０に記載の発明は、請求項１乃至８のいずれかに記載の運転状況監視装置において、前記第１及び第２の撮像部の撮像動作により得られた画像を保存するための画像保存部と、前記責任度合い算出部により算出された責任度合いに応じて、前記第１及び第２の撮像部の撮像動作により得られた画像の前記画像保存部に対する記録制御を行う記録制御部とを更に備えるものである。

この発明によれば、例えば前記責任度合いに応じて前記画像の記録制御を行うようにしたので、例えば、自車両の責任度合いと他車両の責任度合いとが同等の場合には、画像保存部に画像を記録せず、自車両及び他車両のいずれか一方の責任度合いが相対的に大きい場合に、画像保存部に画像を記録するという記録制御が可能となる。このように、前記責任度合いに応じて画像の記録の有無などを制御することにより、責任度合いの大きさに関係なく全ての画像を画像保存部に保存する場合に比して、当該運転状況監視装置に搭載すべき画像保存部を記憶容量の小さいものにすることが可能となる。

本発明によれば、前記自車両と前記他車両との関係における危険状況についての各車両の責任の重さをユーザ等に認識させることが可能となるため、運転教育に効果的な装置を実現することができる。

本発明に係る運転状況監視装置の１実施形態の全体構成図である。 運転状況監視装置の機能ブロック図である。 ステレオカメラの設置箇所の一例を示した図である。 ステレオカメラの概略構成を示す図である。 第１記憶部のバッファ領域の構造を示す図である。 第２記憶部への画像の複製処理の説明図である。 （ａ）は、或るタイミングで撮像された基準画像の一例を示す図、（ｂ）は、（ａ）に示す基準画像と同一のタイミングで撮像された参照画像を示す図である。 路面に対するステレオカメラの配置を説明する図である。 路面パラメータの推定方法の説明図である。 車間距離算出部が注目点を路面に投影した結果を示す図である。 図１０に示した投影点Ｑから、車間距離算出部が投影点Ｑの集合を選択した結果を示す図である。 図１１に示した他車両範囲から車間距離算出部が他車両領域を特定した結果を示す図である。 ３次元オプティカルフローの算出処理の説明図である。 （ａ）、（ｂ）は、視差の２乗値（ｄ^２）と２次元動きベクトルの垂直成分（Δｙ）とをそれぞれ座標軸とする２次元座標を示している。 自車両のパン方向の角速度の算出方法を説明するための図である。 到達時間と危険度との関係の一例を示す図である。 演算装置の動作を示すフローチャートである。 図１７の運転状況解析処理を示すフローチャートである。 或る時刻ｔとその次の撮影タイミング（ｔ＋Δｔ）とにおいてステレオカメラ２により撮影される他車両の走行状況の例を、路面の上方から見た図である。 或る時刻ｔとその次の撮影タイミング（ｔ＋Δｔ）とにおいてステレオカメラ２により撮影される他車両の走行状況を路面の上方から見た図である。 或る時刻ｔとその次の撮影タイミング（ｔ＋Δｔ）とにおいてステレオカメラ２により撮影される他車両の走行状況を路面の上方から見た図である。 或る時刻ｔとその次の撮影タイミング（ｔ＋Δｔ）とにおいてステレオカメラ２により撮影される他車両の走行状況を路面の上方から見た図である。 図１９に自車両の絶対動きの表記を追加した図である。 図２３に他車両Ｘ，Ｙの絶対動きの表記を追加した図である。 図２１に自車両の絶対動きの表記を追加した図である。 図２５に他車両Ｘ，Ｙの絶対動きの表記を追加した図である。 自車両及び他車両の動きと危険度とルール１〜４にしたがって算出される他車両の責任度合いの変化の一例を示すグラフである。 自車両及び他車両の動きと危険度とルール１〜４にしたがって算出される他車両の責任度合いの変化の一例を示すグラフである。

本発明に係る運転状況監視装置の実施形態について説明する。図１は、本発明に係る運転状況監視装置の１実施形態の全体構成図、図２は、運転状況監視装置１の機能ブロック図である。

運転状況監視装置１は、自動車や２輪車等の車両に搭載されるものである。以下の説明では、当該運転状況監視装置１が搭載された車両を「自車両」というものとする。運転状況監視装置１は、ステレオカメラ２と、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えるハードウエアにより構成された演算装置３とを備えて成り、ステレオカメラ２と演算装置３とは互いに通信可能に構成されている。

図３は、ステレオカメラ２の設置箇所の一例を示した図である。ステレオカメラ２は、例えば図３（ａ），（ｂ）に示すように、自動車のルーフのうちフロントガラス側の部位において、前方に傾けて取り付けられている。但し、これは一例であり、ステレオカメラ２は、自動車の前方に光軸が向く位置であればどのような位置に取り付けられてもよい。

図４は、ステレオカメラ２の概略構成を示す図である。図４に示すように、ステレオカメラ２は、複数の画素がマトリックス状に配列されてなるＣＣＤ等の撮像素子と、各撮像素子に光像を導く光学系とをそれぞれ備えた一対のカメラ１１，１２（前記第１及び第２の撮影部の一例）を備えて構成されている。

カメラ１１，１２は、その光軸が予め定められた間隔（基線長Ｌ）を介して互いに平行となるように設置され、それぞれ同一時刻に撮影動作が実施されるように撮影タイミングの同期が図られつつ、所定のフレームレートΔｔで自車両の前方のシーンを撮影する。カメラ１１，１２は、撮影動作により得た画像を演算装置４に出力する。なお、以下の説明においては、カメラ１１，１２の撮影範囲に存在する車両を「他車両」というものとする。

前記光学系の焦点距離及び前記撮像素子の撮像面の大きさは、カメラ１１とカメラ１２とで同一となっているため、カメラ１１の画角とカメラ１２の画角とは同一である。また、カメラ１１，１２は、例えば０（黒）〜２５５（白）の２５６階調値を有するデジタルの画像をそれぞれ出力する。以下、カメラ１１，１２のうち一方のカメラ１１により撮影された画像を基準画像、他方のカメラ１２により撮影された画像を参照画像と称するとともに、前記参照画像及び基準画像を総称して撮影画像という。

図１，図２に戻り、演算装置３は、カメラ１１，１２から順次出力される画像に対して以下に説明する各種の画像処理を施し、自車両及び他車両の動きを解析して後述する責任度合いの算出等を行うものであり、第１記憶部３１、トリガ発生部３２、第２記憶部３３、運転状況解析部３４、データ保存部３５及び無線通信部３６を有する。

第１記憶部３１は、カメラ１１，１２で一定時間Ｔ（例えば１分）の間に撮影される画像の容量分のバッファを有する。図５は、第１記憶部３１のバッファ領域の構造を示す図である。第１記憶部３１は、例えば、直線状に配置されたバッファの両端が論理的に繋げられることにより論理的にリング状に配置されたリングバッファ構造を有する記憶部であり、記憶領域が画像で満杯になると、古い画像を記憶している記憶領域から順に新しい画像を上書き方式で記憶する。

図５に示すブロックのうち、上段のブロック列は、カメラ１１の撮影動作で得られた基準画像を記憶するバッファの列を示し、下段のブロック列は、カメラ１２の撮影動作で得られた参照画像を記憶するバッファの列を示している。また、図５において各ブロックに向かう太い矢印は、各バッファに画像が記憶されることを示したものであり、この太い矢印の間隙に表記された細い矢印は、各バッファに画像が記憶される順番を示したものである。以上の構成により、第１記憶部３１は、常に、現在の時点から前記一定時間Ｔだけ過去の時点までの撮影画像を保持する。

トリガ発生部３２は、例えば自車両の前進方向や旋回方向の加速度を検出する加速度センサ（いずれも図示せず）等を含んで構成されており、例えば急ブレーキや急ハンドルを行ったときなど、危険を回避する運転操作が行われた瞬間の加速度が予め定められた値を超えた場合に、運転状況解析部３４による処理の開始の契機となるトリガ信号を出力する。

第２記憶部３３は、前記トリガ発生部３２から前記トリガ信号が出力されたときに、例えば前記トリガ発生部３２によるトリガ信号の出力タイミングを含む一定期間内に生成された撮影画像を、第１記憶部３１から複製して記憶するものである。すなわち、図６に示すように、矢印Ａのタイミングで前記トリガ発生部３２から前記トリガ信号が出力されたものとすると、第２記憶部３３は、前記トリガ信号の出力タイミングより所定時間ｔ１だけ前のタイミングから、前記出力タイミングより所定時間ｔ２だけ後のタイミングまでの期間に生成された撮影画像を第１記憶部３１から複製して記憶する。

なお、第２記憶部３３が撮影画像を第１記憶部３１から複製して記憶する処理は、前記トリガ信号の出力タイミングから前記所定時間ｔ２経過時点以降、好ましくは前記所定時間ｔ２経過時点で実施される。また、第２記憶部３３が前記第１記憶部３１から複製して記憶する画像は、「前記トリガ信号の出力タイミングより所定時間ｔ１だけ前のタイミングから、前記出力タイミングより所定時間ｔ２だけ後のタイミングまでの期間に生成された撮影画像」というように時間で定義されるものに限定されず、例えば、「前記トリガ信号の出力タイミングで得られた撮影画像と、それより前に得られたｍ枚の撮影画像と、それより後に得られたｎ枚の撮影画像」のように撮影画像の枚数で定義されてもよい。

データ保存部３５は、例えばＳＤカードなどの不揮発性記録媒体やハードディスクなどの比較的大きな記憶容量を有する記録媒体からなり、本実施形態では、後述する運転状況解析部３４により解析結果が出力されたときに、この解析結果と前記第２記憶部３３に記憶された撮影画像とを対応付けて記憶するものである。

無線通信部３６は、図略の管理センターにおけるコンピュータとの間で無線通信を行うものであり、後述する運転状況解析部３４による解析結果が所定の解析結果となった場合に、その旨を前記コンピュータに無線通信により報知するものである。前記所定の解析結果については後述する。

運転状況解析部３４は、前記第２記憶部３３に記憶された撮影画像（基準画像及び参照画像）を用いて、自車両及び他車両の運転状況（走行状況）を解析するものであり、視差演算部３４１、路面パラメータ推定部３４２、２次元動きベクトル算出部３４３、車間距離算出部３４４、他車両相対動き検出部３４５、自車両動き検出部３４６、他車両絶対動き検出部３４７、危険度算出部３４８及び責任度合い算出部３４９を備えている。

視差演算部３４１は、同一タイミングの撮影動作で得られた基準画像と参照画像との間で、同一被写体の画像がどれだけの距離だけ離間しているかを算出するものである。すなわち、カメラ１１とカメラ１２とはその光軸の位置が異なるため、同一の被写体であっても、画像に映る該被写体の画像の位置が基準画像と参照画像とで異なる。視差演算部３４１は、この位置ずれ量を視差として算出する。

図７（ａ）は、或るタイミングで撮影された基準画像の一例を示す図、図７（ｂ）は、図７（ａ）に示す基準画像と同一のタイミングで撮像された参照画像を示す図である。図７（ａ），（ｂ）に示す基準画像及び参照画像には、路面１００１、他車両１００２，１００３、遮音壁１００４、中央分離帯１００５及び空１００６が映っている。

視差演算部３４１は、まず、前記基準画像及び参照画像に対して、それらの中心を原点とする２次元座標系（ｘ−ｙ座標系）を設定するとともに、基準画像に注目点Ｐ１（ｘ１，ｙ１）を設定し、該注目点Ｐ１（ｘ１，ｙ１）に対応する参照画像の点Ｐ２（ｘ２，ｙ２））を探索する。注目点Ｐ１に対応する参照画像の点Ｐ２とは、注目点Ｐ１における被写体が映っている参照画像上の点を意味し、この注目点Ｐ１（ｘ１，ｙ１）に対応する参照画像の点Ｐ２（ｘ２，ｙ２）を対応点というものとする。

視差演算部３４１は、注目点Ｐ１（ｘ１，ｙ１）と該注目点に対応する対応点Ｐ２（ｘ２，ｙ２）とについて、水平成分同士の差（ｘ１−ｘ２）及び垂直成分同士の差（ｙ１−ｙ２）をそれぞれ求め、例えばそれらの組（ｘ１−ｘ２，ｙ１−ｙ２）を視差ｄとして算出する。なお、本実施形態の運転状況監視装置１においては、カメラ１１，１２の光軸は同一高さ位置にあるため、前記ｙ座標ｙ１及びｙ座標ｙ２は等しくなり、視差ｄは、

で表される。

視差演算部３４１は、以上の処理を各タイミングで得られた基準画像及び参照画像の組ごとについて実施する。なお、基準画像を構成する全ての画素をそれぞれ注目点として設定してもよいし、或いは、所定の画素間隔で間引いた後の画素をそれぞれ注目点として設定してもよい。また、対応点の探索処理としては、例えばＰＯＣ（位相限定相関法）やＳＡＤ（sum of absolute differences）等の探索手法を用いた処理が採用可能である。

路面パラメータ推定部３４２は、基準画像に映っている路面１００１を認識し、路面１００１に対するステレオカメラ２の高さ位置ｈ及び姿勢（後述するピッチ方向の傾斜角度φ）を推定するものである。以下、ステレオカメラ２の高さ位置ｈ及び姿勢（ピッチ方向の傾斜角度φ）を路面パラメータという。

図８は、路面１００１に対するステレオカメラ２の配置を説明する図である。図８において、Ｙ−Ｚ座標系は道路に固定された座標系であり、Ｚ軸は路面１００１上に存在し、＋Ｚ方向は、道路がカーブすることなく直線状の延びているものとした場合の該道路の延伸方向に対応する。また、ｙ−ｚ座標系は、ステレオカメラ２の位置を基準（原点）とする座標系であり、ｚ軸はカメラ１１，１２の光軸と平行で、＋ｚ方向は、ステレオカメラ１１の視線方向に対応する。Ｙ−Ｚ座標系の原点はｙ−ｚ座標系の原点の真下に位置するものとする。

ステレオカメラ１１は、ピッチ方向（ＹＺ平面に垂直な軸の周りに回転する方向）であって下方に傾けて設定されており、ステレオカメラ２の視線方向（＋ｚ方向）と道路の延伸方向（＋Ｚ方向）とのなす角度はφであるとする。また、ステレオカメラ１１のヨー方向（Ｙ軸の周りに回転する方向）及びロール方向（Ｚ軸の周りに回転する方向）の傾きは、実質的に零であるとする。

このとき、注目点Ｐ（ｘ，ｙ）と表すものとすると、該注目点Ｐのｙ座標ｙと、ステレオカメラ２の直下に存在するＹ−Ｚ座標系の原点から注目点Ｐに映っている被写体Ａまでの距離Ｄとの関係は、

但し、α＝ｆ／ｐ＝Ｎ／２θ、ｆはカメラ１１，１２の光学系の焦点距離、ｐは画素ピッチ、Ｎは、カメラ１１，１２の撮像素子のｙ軸方向における画素数、θはカメラ１１，１２のｙ軸方向における画角の半分をそれぞれ示している。

ここで、ｈ／Ｄ、ｙ／αが１に比べて十分小さい場合は、前記式（２）は次式（３）に簡略化することができる。

式（３）より、前記距離Ｄは、次式（４）で表される。

一方、注目点Ｐ（ｘ，ｙ）における視差ｄと前記距離Ｄの関係は、次式（５）で表される。

したがって、前記視差ｄと注目点Ｐのｙ座標ｙとは、式（４）と式（５）とから、以下の関係式（６）で表される関係を有する。

ここで、角度φ、基線長Ｌ及びパラメータαは、ステレオカメラ１１の光学特性から予め算出できるため、前記式（６）においては、角度φ、基線長Ｌ及びパラメータαを定数とみることができる。よって、前記式（６）を、視差ｄと注目点Ｐのｙ座標ｙとを変数とする１次関数（直線）とみることができる。したがって、ｄ，ｙを変数とするｄ−ｙ座標系を設定し、注目点Ｐのｙ座標ｙと注目点Ｐにおける視差ｄとの複数の組み合わせをプロットすると、各プロット点は、傾斜がＢ／ｈで、ｙ切片が（Ｂ・α・φ）／ｈの直線上に乗るもしくは該直線の近傍に集合するものと考えられる。

路面パラメータ推定部３４２は、この点を利用して、路面パラメータを推定する。すなわち、路面パラメータ推定部３４２は、図９（ａ）に示すように、注目点Ｐのｙ座標ｙと注目点Ｐにおける視差ｄ（注目点Ｐとその対応点との視差）との複数の組み合わせを前記ｄ−ｙ座標系にプロットして、プロット点が集中する直線ｇ１を検出する。そして、路面パラメータ推定部３４２は、図９（ｂ）に示すように、その直線ｇ１の傾斜Ｂ／ｈ及びｙ切片（Ｂ・α・φ）／ｈから、路面１００１に対するステレオカメラ２の高さ位置ｈ及びピッチ方向の傾斜角度φを推定的に導き出す。

２次元動きベクトル算出部３４３は、前記注目点にある被写体の画像の移動の態様を示す動きベクトル（以下、２次元動きベクトルという）を算出する。すなわち、２次元動きベクトル算出部３４３は、カメラ１１により撮影された時系列的に連続する１組の基準画像のうち一方の基準画像に設定した注目点に対応する対応点（注目点における被写体が映っている他方の基準画像上の点）を、前述したＰＯＣやＳＡＤといった探索手法を用いて他方の画像から探索する。そして、２次元動きベクトル算出部３４３は、一対の注目点及び対応点を用いて、各注目点の２次元動きベクトルを算出する。２次元動きベクトルとしては、注目点と対応点との水平成分及び垂直成分同士の位置の差分を採用することができる。

車間距離算出部３４４は、自車両と基準画像及び参照画像に映っている他車両との車間距離を検出するものである。車間距離算出部３４４は、まず、路面パラメータを用いて基準画像上で注目点Ｐを路面１００１に投影する。すなわち、車間距離算出部３４４は、注目点Ｐに対応する３次元実空間上の点をステレオカメラ２から路面１００１に投影した３次元実空間上の点に対応する基準画像上の点（投影点）Ｑに注目点Ｐを投影する。

ここで、注目点Ｐに映っている三次元実空間上の点の路面１００１からの高さＨが下記式（７）で表される。

したがって、投影点Ｑのｙ座標ｙ_Ｐは、式（７）においてＨ＝０，ｙ＝ｙ_Ｐとした式（８）で表される。

図１０は、車間距離算出部３４４が注目点Ｐを路面１００１に投影した結果を示す図である。図１０には、他車両１００２に由来する投影点Ｑの集合１０１２、他車両１００３に由来する投影点Ｑの集合１０１３、遮音壁１００４に由来する投影点Ｑの集合１０１４、中央分離帯１００５に由来する投影点Ｑの集合１０１５が示されている。

次に、車間距離算出部３４４は、このようにして得られた複数の投影点Ｑから特定の分布を有する投影点Ｑの集合を選択し、特定の分布を有する投影点Ｑの集合が存在する範囲を、他車両が存在する範囲（以下、他車両範囲という）として特定する。すなわち、車間距離算出部３４４は、検出すべき他車両に由来する投影点Ｑの集合が有していると予想される分布を有する投影点Ｑの集合、例えば、特定の長さ、傾き又は形状を有する線素を構成する投影点Ｑの集合を選択する。ここで、線素を構成する投影点Ｑの集合の抽出は、（１）ハフ変換による直線パラメータの推定、（２）推定された直線パラメータで表される直線の近傍の投影点のグループ化の２つの段階を経て行うことができる。

図１１は、図１０に示した投影点Ｑから、車間距離算出部３４４が投影点Ｑの集合１０１２，１０１３を選択した結果を示す図である。図１１には、前述の条件を満たす線素を構成する他車両１００２に由来する投影点Ｑの集合１０１２、他車両１００３に由来する投影点Ｑの集合１０１３のみが選択され、前述の条件を満たさない、線素を構成する遮音壁１００４に由来する投影点Ｑの集合１０１４や、中央分離帯１００５に由来する投影点Ｑの集合１０１５は選択されないことを示している。

車間距離算出部３４４は、前記他車両範囲であって、路面１００１からの高さＨがＨ１ｍｍ＜Ｈ＜Ｈ２ｍｍ（Ｈ１は例えば３０ｍｍ，Ｈ２は例えば１５００ｍｍ）となる基準画像上の領域を検出すべき他車両が映っている他車両領域として特定する。

図１２は、図１１に示した他車両範囲から車間距離算出部３４４が他車両領域１０２２，１０２３を特定した結果を示す図である。図１２には、衝突の可能性がある他車両が映っている範囲がハッチングで示される他車両領域１０２２，１０２３として特定されたことが示されている。

車間距離算出部３４４は、他車両領域１０２２，１０２３の内にある注目点での視差から他車両領域１０２２，１０２３に映っている他車両までの距離（車間距離）Ｄを式（９）にしたがって検出する。

他車両相対動き検出部３４５は、自車両に対する他車両の相対的な動きを検出するものである。他車両相対動き検出部３４５は、まず、自車両の周囲の各位置における３次元実空間上での位置情報（Ｘ，Ｙ，Ｚ）を、前記車間距離Ｄ、カメラ１１，１２の光学系の焦点距離ｆ、基線長Ｌ及び視差ｄを用いて例えば以下の式より算出する。

Ｘ＝ｘ・Ｄ／ｆ
Ｙ＝ｙ・Ｄ／ｆ
Ｚ＝ｆ・Ｌ／ｄ
但し、ｘ、ｙは注目点の画像上での座標を示す。

次に、他車両相対動き検出部３４５は、前記位置情報（Ｘ，Ｙ，Ｚ）と、２次元動きベクトル算出部３４３により算出された各注目点の２次元動きベクトルとに基づき、各注目点の３次元オプティカルフローを算出する。図１３は、３次元オプティカルフローの算出処理の説明図である。これは時刻（ｔ−１）のタイミングで撮影された画像Ｉ（ｔ−１）上の注目点（ｘ_ｔ−１，ｙ_ｔ−１）が、時刻ｔのタイミングで撮影された画像Ｉ（ｔ）上のどこかの位置（ｘ_ｔ，ｙ_ｔ）に移動していることを示している。

一方、注目点（ｘ_ｔ−１，ｙ_ｔ−１）と対応点（ｘ_ｔ，ｙ_ｔ）との３次元実空間における位置情報（Ｘ_ｔ−１，Ｙ_ｔ−１，Ｚ_ｔ−１）、（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）は、位置情報から特定することができる。したがって、対応点（ｘ_ｔ，ｙ_ｔ）の位置情報（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）と注目点（ｘ_ｔ−１，ｙ_ｔ−１）の位置情報（Ｘ_ｔ−１，Ｙ_ｔ−１，Ｚ_ｔ−１）との差分ベクトル（Ｘ_ｔ−Ｘ_ｔ−１，Ｙ_ｔ−Ｙ_ｔ−１，Ｚ_ｔ−Ｚ_ｔ−１）を求めることで、３次元オプティカルフロー（ＯＦＸｔ，ＯＦＹｔ，ＯＦＺｔ）を算出することができる。このように、３次元オプティカルフローＯＦ３は自車両の絶対速度と他車両の絶対速度との合成ベクトルによって表される。

３次元オプティカルフローＯＦ３は、時刻（ｔ−１）のフレームにおける注目点と時刻ｔのフレームにおける対応点との３次元実空間上での位置情報の差分ベクトル（Ｘ_ｔ−Ｘ_ｔ−１，Ｙ_ｔ−Ｙ_ｔ−１，Ｚ_ｔ−Ｚ_ｔ−１＝ＯＦＸｔ，ＯＦＹｔ，ＯＦＺｔ＝ＯＦ３）、すなわち３次元ベクトルにより表されるため、注目点の１フレーム間での移動距離、すなわち、注目点の１フレームあたりの速度を表すことになる。

自車両動き検出部３４６は、自車両の前進速度及びパン方向の角速度を自車両の絶対的な動き（以下、自車両の絶対動きという；前記自車両の移動ベクトルに相当）として算出する。具体的には、以下のような処理が実行される。自車両動き検出部３４６は、まず、各注目点に対する視差の２乗と２次元動きベクトルの垂直成分とを求める。次に、自車両動き検出部３４６は、視差の２乗と２次元動きベクトルの垂直成分とを座標軸とする２次元座標空間に各注目点をプロットする。

図１４（ａ）、（ｂ）は、視差の２乗値（ｄ^２）と２次元動きベクトルの垂直成分（Δｙ）とをそれぞれ座標軸とする２次元座標を示している。図１４に示すグラフにおいて、縦軸は２次元動きベクトルの垂直成分（Δｙ）を示し、横軸は視差の２乗値（ｄ^２）を示している。図１４（ａ）に示すように、２次元座標空間に各注目点がプロットされていることが分かる。

次に、自車両動き検出部３４６は、最小二乗法、ハフ変換等の直線算出手法を用いて、プロットした各点によって描かれる直線ｇ２を算出する。そして、自車両動き検出部３４６は、直線ｇ２の傾き及び切片を求め、得られた傾きから前進速度を算出する。ここで、視差の２乗（ｄ^２）と、２次元動きベクトルの垂直成分（Δｙ）とは式（１０）の関係を有することを本発明者は発見した。

但し、ｖは自車両の前進速度を示し、Δｔはフレーム周期を示し、ωはピッチ方向の角速度を示している。Δｔは定数である。すなわち、式（１０）は、図１４（ｂ）に示すように、Δｙ、ｄ２を変数とし、（１／α）・（ｖ・Δｔ／１）・（ｈ／Ｂ２）を傾きとし、−α・ω・Δｔを切片とした場合の直線ｇ２を表している。

したがって、直線ｇ２の傾きと切片とを求め、定数α，Ｂ，Δｔを用いることで、ｈ・ｖとを算出することができる。

また、自車両動き検出部３４６は、２次元動きベクトルの水平成分、前進速度、視差、及び注目点の水平成分を基に得られる第１の座標値と、前進速度及び視差を基に得られる第２の座標値とにより規定される２次元座標空間上に各注目点をプロットすることで、撮影画像に含まれる道路面上に位置する注目点群を表す直線を求め、当該直線の傾きを基に自車両のパン方向の角速度を算出する。具体的には、以下のような処理が実行される。

まず、各注目点に対する第１の座標値と第２の座標値とを求める。ここで、第１の座標値は、Δｘ−（１／α）・（ｖ・Δｔ／１）・（１／Ｌ）・ｄ・ｘにより算出される。但し、Δｘは２次元動きベクトルの水平成分を示し、ｘは注目点の水平成分を示している。なお、α，Ｌ，Δｔは定数であり、Δｘ、ｄ、ｘはすでに得られているため、第１の座標値を算出することができる。

また、第２の座標値は、−（α＋（ｖ・Δｔ／２）・（１／Ｂ）・ｄ）σ・Δｔにより算出される。但し、σは自車両のパン方向の角速度を示している。ここで、α，Ｂ，Δｔは定数であり、ｖはすでに得られているため、第２の座標値を算出することができる。

次に、第１及び第２の座標値を座標軸とする２次元座標空間に各注目点をプロットする。図１５は、自車両のパン方向の角速度の算出方法を説明するための図であり、（ａ）、（ｂ）は第１及び第２の座標値を座標軸とする２次元座標空間を示している。図１５のグラフにおいて、縦軸は第１の座標値を示し、横軸は第２の座標値を示している。図１５（ａ）に示すように、２次元座標空間に各注目点がプロットされていることが分かる。

次に、最小二乗法、ハフ変換等の直線算出手法を用いて、プロットした各点によって描かれる直線Ｇ３を算出する。次に、直線Ｇ３の傾きを求め、得られた傾きからパン方向の角速度σを算出する。ここで、パン方向の角速度σは、式（１１）の関係を有することを本発明者は発見した。

すなわち、式（１１）は、図１５（ｂ）に示すように、第１及び第２の座標値を変数とし、σ・Δｔを傾きとした場合の直線を表している。したがって、直線Ｇ３の傾きを求め、Δｔを用いることでパン方向の角速度σを算出することができ、この角速度σを積分することでハンドルの操舵量を算出することができる。

他車両絶対動き検出部３４７は、他車両相対動き検出部３４５により検出された３次元オプティカルフローと、自車両動き検出部３４６により検出された自車両の絶対動きとに基づき、他車両の絶対的な動き（路面に対する動き；前記他車両の移動ベクトルに相当）を検出するものである。前述したように、３次元オプティカルフローＯＦ３は、自車両の絶対速度と物体の絶対速度との合成ベクトルであることから、３次元オプティカルフローＯＦ３と自車の絶対動きを示すベクトルとの差分ベクトルを求めることにより、他車両の絶対的な動きを検出することができる。

危険度算出部３４８は、同一タイミングで得られた一対の基準画像及び参照画像ごとに、他車両相対動き検出部３４５により検出された３次元オプティカルフロー（車間距離の変化率）と、車間距離算出部３４４により算出された車間距離とに基づき、当該撮影画像が得られた時点での他車両に対する自車両の危険性（衝突の危険性）を示す指標である危険度を算出するものである。

本実施形態では、自車両の位置を含む所定の大きさの領域（自車両を中心とする半径１ｍ以内の領域）が危険領域として予め設定されている。危険度算出部３４８は、３次元オプティカルフローと前記車間距離とに基づき、本実施形態では他車両がこの危険領域に到達するまでの時間を算出し、その到達時間に応じて危険度を算出する。なお、本実施形態では、例えば図１６に示すように、前記到達時間に応じて危険度が５段階に設定されている。

責任度合い算出部３４９は、前記危険度算出部３４８により算出された危険度と、自車両動き検出部３４６により検出された自車両動きと、前記他車両絶対動き検出部３４７により検出された他車両の絶対動きとに基づき、同一タイミングで得られた一対の基準画像及び参照画像ごとに、自車両及び他車両の責任度合い（責任割合）を算出するものである。責任度合いは、当該撮影画像から求められる自車両及び他車両の走行状態（運転状態）の不適正の程度に相当する。自車両及び他車両の責任度合いは、例えば次のようなルール１〜４にしたがって算出される。

ルール１：危険度が増大している期間に、加減速又は操舵を行っている方の責任度合いを上昇させる
ルール２：危険度が予め定められた閾値以上である状態で、自車両の運転操作に変化のない状態が続くと、自車両の責任度合いを上昇させる
ルール３：危険度が減少している期間に、加減速又は操舵を行っている方の責任度合いを低下させる
ルール４：危険度が前記閾値以上である状態では、走行速度が大きい方の車両の責任度合いを、走行速度が小さい方の車両の責任度より高くする
ルール１は、危険度が増大している期間、自車両及び前記他車両のうち運転操作に変化が発生した側の車両の方が、該危険の主な要因となっている可能性が高いという考えに基づいて設定されたルールである。

ルール２は、危険度が予め定められた閾値以上となっている状態で前記自車両における運転操作に変化がない状態が続いている場合には、自車両にも危険回避責任があるにも拘らず危険回避操作を怠っている点に鑑みて設定されたルールである。

ルール３は、前記危険度が減少している期間、自車両及び前記他車両のうち運転操作に変化が発生した側の車両は、危険回避操作を行ったものと考えられる点に基づいて設定されたルールである。

ルール４は、危険度が予め定められた閾値以上となっているとき、走行速度が大きい側の車両の方が、該危険の主な要因となっている可能性が高いとの考えに基づいて設定されたルールである。

図１７は、演算装置３の動作を示すフローチャートである。図１７に示すように、演算装置３は、ステレオカメラ２から基準画像及び参照画像を取得すると（ステップ♯１でＹＥＳ）、それらの画像を第１記憶部３１に記憶する（ステップ♯２）。演算装置３は、トリガ発生部３２からトリガ信号が出力されていない間は（ステップ♯３でＮＯ）、ステップ♯１，♯２の動作を繰り返し実行する。

そして、前記トリガ発生部３２からトリガ信号が出力されると（ステップ♯３でＹＥＳ）、トリガ信号が出力されたタイミングを含む一定期間の撮影画像を第１記憶部３１から複写して第２記憶部３３に記憶する（ステップ♯４）。

そして、運転状況解析部３４は、前記第２記憶部３３に記憶された基準画像及び参照画像に基づき、自車両及び他車両の運転状況についての解析を実施し（ステップ♯５）、その解析結果と前記撮影画像とをデータ保存部３５に記録する（ステップ♯６）。また、無線通信部３６は、前記解析結果が所定の解析結果である場合には（ステップ♯７でＹＥＳ）、その解析結果と撮影画像とを管理センターに送信する（ステップ♯８）。

図１８は、図１７の運転状況解析処理を示すフローチャートである。

図１８に示すように、視差演算部３４１は、第２記憶部３３に記憶された基準画像及び参照画像に基づき前記視差ｄを算出する（ステップ♯１１）。また、路面パラメータ推定部３４２は、前記路面パラメータ（ステレオカメラの高さ位置ｈ及びピッチ方向の傾斜角度φ）を推定し、２次元動きベクトル算出部３４３は、基準画像と参照画像との間で同一被写体の画像（注目点と対応点と）がどれだけどの方向に異なるかを示す２次元動きベクトルを算出する（ステップ♯１２）。

次に、車間距離算出部３４４は、ステップ♯１２で推定された路面パラメータを用いて、前記基準画像及び参照画像における他車両の画像及び該他車両の画像を用いて車間距離を検出し、また、自車両動き検出部３４６は、ステップ♯１１で算出された視差ｄの２乗値と２次元動きベクトルの垂直成分とに基づき、自車両動きを検出する（ステップ♯１３）。また、他車両相対動き検出部３４５は、自車両の周囲の各位置における３次元実空間上での位置情報（Ｘ，Ｙ，Ｚ）と、ステップ♯１２で２次元動きベクトル算出部３４３により算出された各注目点の２次元動きベクトルとに基づき、各注目点の３次元オプティカルフロー、すなわち他車両の相対動きを検出し（ステップ♯１４）、ステップ♯１４で他車両相対動き検出部３４５により検出された３次元オプティカルフローと、車間距離算出部３４４により検出された車間距離とに基づき、危険度を算出する（ステップ♯１５）。

図１９〜図２２は、或る時刻ｔとその次の撮影タイミング（ｔ＋Δｔ）とにおいてステレオカメラ２により撮影される他車両の走行状況の例を、路面の上方から見た図である。なお、図１９〜図２２の「Ｒ１」〜「Ｒ３」は、車線であり、自車両は中央の車線Ｒ２を走行しているものとする。

図１９は、時刻ｔ及び時刻（ｔ＋Δｔ）とも、自車両Ｍが走行する中央の車線Ｒ２上を他車両Ｘが走行し、最右車線Ｒ３上の前記他車両Ｘの後方側において他車両Ｙが走行している状態を示している。また、図１９は、時刻ｔと時刻（ｔ＋Δｔ）とで、自車両Ｍと他車両Ｙとの位置関係に変化はないが、自車両Ｍと他車両Ｘとの位置関係に変化があり、車線方向に他車両Ｘが自車両Ｍに相対速度Ｖで近づいている状態を示している。

このとき、危険度算出部３４８は、該他車両Ｘが前記危険領域に到達する時間をΔｔ５（＞Δｔ４；図１５参照）と算出したものとすると、例えば図１５に示す到達時間と危険度との関係に基づき、危険度を「１」と算出する。

図２０に示す走行状況は、図１９と他車両Ｘの走行状況のみが異なる。すなわち、図２０は、他車両Ｘが自車両Ｍに近づいてくる相対速度が５Ｖである状態を示している。このとき、危険度算出部３４８は、該他車両Ｘが前記危険領域に到達する時間がΔｔ６（＜Δｔ１；図１５参照）と算出したものとすると、例えば図１５に示す到達時間と危険度との関係に基づき、危険度を「５」と算出する。

図２１は、時刻ｔでは、自車両Ｍが走行する中央の車線Ｒ２に他車両Ｘが走行し、最右車線Ｒ３上の前記他車両Ｘの後方側において他車両Ｙが走行している状態を示している。また、図２１は、時刻ｔと時刻（ｔ＋Δｔ）とで、他車両Ｘ，Ｙとも自車両Ｍに対する位置関係に変化があり、他車両Ｘは、走行方向に相対速度Ｖで自車両Ｍから離れている状態であり、他車両Ｙは、前記最右車線Ｒ３から自車両Ｍが走行する中央の車線Ｒ２に向けて、車線と直交する方向に相対速度Ｖで車線変更してきている状態を示している。

このとき、危険度算出部３４８は、該他車両Ｙが前記危険領域に到達する時間がΔｔ３（図１５参照）と算出したものとすると、例えば図１５に示す到達時間と危険度との関係に基づき、危険度を「２」と算出する。

図２２は、図２１と他車両Ｙの走行状況が異なる状態を示しており、他車両Ｙは、前記最右車線Ｒ３から中央の車線Ｒ２に向けて車線変更し、該他車両Ｙが前記最右車線Ｒ３から中央の車線Ｒ２に向けて、車線と直交する方向に相対速度２Ｖで車線変更してきている状態を示している。

このとき、危険度算出部３４８は、該他車両Ｙが前記危険領域に到達する時間がΔｔ２（図１５参照）と算出したものとすると、例えば図１５に示す到達時間と危険度との関係に基づき、危険度を「３」と算出する。

図１８に戻り、他車両絶対動き検出部３４７は、ステップ♯１３で自車両動き検出部３４６により検出された自車両動きと、ステップ♯１４で検出された他車両の相対動きとに基づき、他車両の絶対動きを検出する（ステップ♯１５）。

図２３は、図１９に示す状況と同一の状況を示した図であるが、図１９に対し自車両の絶対動き（ここでは絶対的な前進速度）の表記を追加している。図２３に示すように、自車両の絶対的な前進速度が４Ｖであるものとすると、他車両絶対動き検出部３４７は、他車両Ｘ，Ｙの絶対動きが、自車両Ｍの前進速度を示す動きベクトルと、他車両Ｘ，Ｙの自車両Ｍに対する相対的な動きベクトルとの合成ベクトルで表されることに基づき、図２４に示すように、他車両Ｘの絶対動き（絶対的な前進速度）を３Ｖ（＝４Ｖ−Ｖ）、他車両Ｙの絶対動き（絶対的な前進速度）を４Ｖと検出する。

図２５は、図２１に示す状況と同一の状況を示した図であるが、図２３と同様、図２１に対し自車両の絶対動き（ここでは絶対的な前進速度）の表記を追加している。図２５に示すように、自車両の絶対的な前進速度が４Ｖであるものとすると、他車両絶対動き検出部３４７は、図２６に示すように、他車両Ｘの絶対動き（絶対的な前進速度）を５Ｖ（＝４Ｖ＋Ｖ）、他車両Ｙの絶対動き（絶対的な前進速度）を１７^{（１／２）}・Ｖ（＝（４^２＋１^２）^１／２・Ｖ）と検出する。

図１８に戻り、責任度合い算出部３４９は、ステップ♯１５で算出された他車両の絶対動きと、ステップ♯１３で検出された自車両の絶対動きと、ステップ♯１５で算出された危険度とに基づき、自車両及び他車両の責任度合いを算出する（ステップ♯１７）。

図２７は、自車両及び他車両の絶対動き（走行速度（絶対値）及び操舵角）と、危険度算出部３４８により算出される危険度と、前記ルール１〜４にしたがって算出される他車両の責任度合いとにおける変化の一例を示すグラフである。なお、図２７では、自車両に対する他車両の責任度合いの相対的な変化を示している。

図２７（ａ）は、自車両と同一の車線を走行する他車両の運転者が一時的にブレーキをかけて減速したことにより、自車両の運転者も一時的にブレーキをかけて減速した状況を想定したものであり、図２７（ａ）には、自車両の走行状況と前記他車両の走行状況との関係に３つのパターンが現れている。

すなわち、図２７は、矢印ｗ１で示すように、時刻ｔ１に前記他車両の減速し、その後の時刻ｔ２に該他車両が前記減速前の速度まで加速する一方、この間、自車両の走行状況に変化がない第１のパターンと、時刻ｔ２から時刻ｔ３までの間、自車両及び他車両とも走行状況に変化がない第２のパターンと、矢印ｗ２で示すように、時刻ｔ３に、前記自車両が減速し、その後、自車両が前記減速前の速度まで加速する一方、この間、他車両の走行状況に変化がない第３のパターンとを示している。

前記第１のパターンにおいては、他車両の減速により自車両と他車両との距離が縮まっていく。そのため、矢印ｗ３で示すように、危険度算出部３４８により算出される危険度が上昇していく。したがって、前記第１のパターンは、前記ルール１に規定するパターンに該当し、責任度合い算出部３４９は、矢印ｗ７で示すように、ルール１に基づき、他車両の責任度合いを相対的に増大させる。

前記第２のパターンにおいては、矢印ｗ４で示すように、危険度算出部３４８により算出される危険度が閾値を超えている。これは、前述した他車両の減速によって、自車両と他車両との距離が縮まり該他車両が危険領域内に進入してきたためである。ところが、自車両の走行状況（運転操作）に変化がない。したがって、前記第２のパターンは、前記ルール２に規定するパターンに該当し、責任度合い算出部３４９は、矢印ｗ６で示すように、ルール２に基づき、自車両の責任度合いを相対的に増大させる（他車両の責任度合いを相対的に減少させる）。

前記第３のパターンにおいては、自車両の減速により自車両と他車両との距離が広がっていく。そのため、矢印ｗ５で示すように、危険度算出部３４８により算出される危険度が低下していき、該危険度が前記閾値を下回る。したがって、前記第３のパターンは、前記ルール３に規定するパターンに該当し、責任度合い算出部３４９は、矢印ｗ８で示すように、ルール３に基づき、自車両の責任度合いを相対的に減少させる（他車両の責任度合いを相対的に増大させる）。

図２８は、自車両及び他車両の動き（走行速度（絶対値）及び操舵量）と、危険度算出部３４８により算出される危険度と、前記ルール１〜４にしたがって算出される他車両の責任度合いの変化の他の例を示すグラフである。なお、図２８においても、責任度合いについては、自車両に対する他車両の責任度合いの相対的な変化を示している。

図２８は、自車両が走行する車線に他車両が一旦車線変更したがすぐさまもとの車線にもどる一方、前記他車両による車線変更によって自車両と該他車両との車間距離が縮まったために減速した状況を想定したものであり、図２８にも、自車両の走行状況と前記他車両の走行状況との関係に３つのパターンが現れている。

すなわち、図２８は、矢印ｗ９で示すように、時刻ｔ１１に他車両の運転者が例えば反時計回りに或る操舵量だけハンドルをきって、ハンドルを元に戻し、さらに時刻ｔ２で時計回りに或る操舵量だけハンドルをきって、ハンドルを元に戻す一方、この間、自車両の走行状況に変化がない第４のパターンと、時刻ｔ１２から時刻ｔ１３までの間、自車両及び他車両とも走行状況に変化がない第５のパターンと、矢印ｗ１０で示すように、自車両が減速し、その後、減速前の速度まで加速する一方、この間、他車両の走行状況に変化がない第６のパターンを示している。

前記第４のパターンにおいては、他車両の運転者の操舵により自車両と他車両との車間距離が縮まっていく。そのため、矢印ｗ１１で示すように、危険度算出部３４８により算出される危険度が上昇していく。したがって、前記第４のパターンは、前記ルール１に規定するパターンに該当し、責任度合い算出部３４９は、矢印ｗ１４で示すように、ルール１に基づき、他車両の責任度合いを相対的に増大させる。

前記第５のパターンにおいては、矢印ｗ１２で示すように、危険度算出部３４８により算出される危険度が閾値を超えている。これは、前述した他車両の一時的な車線変更によって、自車両の走行速度が他車両の走行速度より大きく、自車両と他車両との距離が縮まり該他車両が危険領域内に進入してきたためである。ところが、自車両の走行状況（運転操作）に変化がない。したがって、前記第５のパターンは、前記ルール２，４に規定するパターンに該当し、責任度合い算出部３４９は、矢印ｗ１５で示すように、ルール２，４に基づき、自車両の責任度合いを相対的に増大させる（他車両の責任度合いを相対的に減少させる）。

前記第６のパターンにおいては、自車両の減速により自車両と他車両との車間距離が広がっていく。そのため、矢印ｗ１３で示すように、危険度算出部３４８により算出される危険度が低下していく。したがって、前記第６のパターンは、前記ルール３に規定するパターンに該当し、責任度合い算出部３４９は、矢印ｗ１６で示すように、ルール１３に基づき、自車両の責任度合いを相対的に減少させる（他車両の責任度合いを相対的に増大させる）。

無線通信部３６は、カメラ１１，１２による撮影画像及び前記責任度合い算出部３４９により算出された責任度合いのうち、自車両と他車両との車間距離が零と計測された撮影画像とこの撮影画像に基づいて算出された責任度合いとを管理センターに送信する。なお、前記所定の解析結果は、自車両と他車両との車間距離が零と計測された撮影画像とこの撮影画像に基づいて算出された責任度合いとを含む。

以上のように、本実施形態では、前記自車両と前記他車両との関係における危険状況についての各車両の責任度合いをユーザ等に提供することができる。その結果、運転教育に効果的な運転状況監視装置を実現することができる。また、仮に、自車両と他車両との間で衝突事故が発生した場合に、当該運転状況監視装置１で算出された責任度合いを、その事故に対する責任分担の判断の一助として提供することができる。

本件は、前記実施形態に代えて、或いは前記実施形態に加えて次のような変形形態も採用可能である。

［１］前記第２記憶部３３は必須のものではなく、前記トリガ発生部３２によるトリガ信号の出力タイミングを含む一定期間内に生成された撮影画像を、第１記憶部３１からデータ保存部３５に複製し、このデータ保存部３５に複製された撮影画像に対して、運転状況解析部３４による解析処理を行うようにしてもよい。

［２］前記実施形態では、責任度合いを画像とともにデータ保存部３５に記録するようにしたが、この記録処理の実施やデータ保存部３５の設置は必須ではなく、前記記録に加えて或いは該記録に代えて、例えば算出した責任度合いをその場で報知したり、例えば自車両の運転者に対して「あなたの運転は不適切です」とか「減速すべきです」などの警告メッセージを出力したりする形態も想定される。

また、前記実施形態では、運転状況解析部３４により出力された解析結果（画像及び責任度合い）を全てデータ保存部３５に記録するようにしたが、自車両の責任度合いと他車両の責任度合いとが同等の場合には、データ保存部３５に解析結果を記録せず、自車両及び他車両の責任度合いが比較的大きく異なる場合に、データ保存部３５に解析結果を記録するというように、前記責任度合いに応じて解析結果の記録の有無などを制御してもよく、このような制御を採用することにより、責任度合いの大きさに関係なく全ての解析結果をデータ保存部３５に保存する場合に比して、当該運転状況監視装置１に搭載すべきデータ保存部３５を記憶容量の小さいものにすることができる。

［３］ルール１〜４は一例であり、ルール１〜４に代えて他のルールを採用して責任度合いを算出するようにしてもよい。また、ルール１〜４と他のルールとを合わせて採用して責任度合いを算出するようにしてもよい。

１ 運転状況監視装置
２ ステレオカメラ
３ 演算装置
１１，１２ カメラ
３１ 第１記憶部
３２ トリガ発生部
３３ 第２記憶部
３４ 運転状況解析部
３５ データ保存部
３６ 無線通信部
３４１ 視差演算部
３４２ 路面パラメータ推定部
３４３ ２次元動きベクトル算出部
３４４ 車間距離算出部
３４５ 他車両相対動き検出部
３４６ 自車両動き検出部
３４７ 他車両絶対動き検出部
３４８ 危険度算出部
３４９ 責任度合い算出部
１００１ 路面
１００２，１００３ 他車両
１００４ 遮音壁
１００５ 中央分離帯
１００６ 空

Claims (10)

1. 光軸が互いに所定の間隔を空けて配置され、走行している自車両の周辺環境の光像を同一のタイミングで繰り返し撮像する第１及び第２の撮像部と、
   前記第１及び第２の撮像部の撮像動作で得られる各画像を用い、自車両の周辺に存在する前記画像に映った他車両と自車両との車間距離を計測する車間距離計測部と、
   前記車間距離計測部により計測された車間距離と該車間距離の変化率とに基づき、前記自車両と前記他車両との衝突の危険性を示す指標である危険度を算出する危険度算出部と、
   自車両の移動ベクトルを計測する自車両動き計測部と、
   前記自車両動き計測部により計測された自車両の動きと、前記車間距離計測部により計測された車間距離とに基づき、他車両の移動ベクトルを算出する他車両動き算出部と、
   前記危険度算出部により算出された危険度と、前記自車両動き計測部により計測された自車両の移動ベクトルと、前記他車両動き算出部により算出された他車両の移動ベクトルとに基づき、前記画像が示す前記自車両と前記他車両との関係における危険状況について、前記自車両及び前記他車両の責任の割合を示す指標である責任度合いを算出する責任度合い算出部と
   を備える運転状況監視装置。
2. 前記責任度合いは、前記危険度算出部により算出された危険度と、自車両の運転操作状況と、他車両の前記移動ベクトルとをパラメータとして設定されている請求項１に記載の運転状況監視装置。
3. 前記責任度合いは、前記危険度算出部により算出された危険度と、自車両及び他車両の前記移動ベクトルからそれぞれ求められる各車両の運転操作状況とをパラメータとして設定されている請求項１又は２に記載の運転状況監視装置。
4. 前記責任度合い算出部は、前記危険度が増大している期間、自車両及び前記他車両のうち運転操作に変化が発生した側の車両の責任度合いを相対的に増大させる請求項２又は３に記載の運転状況監視装置。
5. 前記責任度合い算出部は、前記危険度算出部により算出される危険度が予め定められた閾値以上となっている状態で前記自車両における運転操作に変化がない状態が続くと、前記自車両の責任度合いを相対的に増大させる請求項２又は３に記載の運転状況監視装置。
6. 前記責任度合い算出部は、前記危険度が減少している期間、自車両及び前記他車両のうち運転操作に変化が発生した側の車両の責任度合いを相対的に減少させる請求項２乃至５のいずれかに記載の運転状況監視装置。
7. 前記責任度合い算出部は、前記危険度算出部により算出される危険度が予め定められた閾値以上となっているとき、走行速度が大きい側の車両の責任度合いを相対的に増大させる請求項６に記載の運転状況監視装置。
8. 自車両における運転操作に予め定められた閾値を超える変化が発生したときに、トリガ信号を出力するトリガ信号出力部を備え、
   前記責任度合い算出部は、前記トリガ信号出力部からトリガ信号が出力されると、その出力時点を含む一定期間に前記第１及び第２の撮像部から得られた画像に基づき、前記責任度合いを算出する請求項１乃至７のいずれかに記載の運転状況監視装置。
9. 前記責任度合い算出部により算出された責任度合いを、前記第１及び第２の撮像部の撮像動作により得られた画像とともに保存する画像保存部を更に備える請求項１乃至８のいずれかに記載の運転状況監視装置。
10. 前記第１及び第２の撮像部の撮像動作により得られた画像を保存するための画像保存部と、
    前記責任度合い算出部により算出された責任度合いに応じて、前記第１及び第２の撮像部の撮像動作により得られた画像の前記画像保存部に対する記録制御を行う記録制御部と
    を更に備える請求項１乃至８のいずれかに記載の運転状況監視装置。

Images