JP2021196826A - 安全支援システム、および車載カメラ画像分析方法 - Google Patents

Abstract

【課題】運転シーン（前方車の右左折、駐車車両の回避、曲路（カーブ）走行など、自車の周辺物体（歩行者、前方車、対向車、バイクや自転車、四輪車、固定物（ビル、電柱など））との関係性）に適する特徴量（例えば、車間距離など）を求める演算手法を切り替える技術について提案する。【解決手段】本開示による安全支援システムは、車載カメラで撮像された画像を分析するための特徴量を演算する安全支援装置であって、画像分析のためのプログラムを格納する記憶デバイスと、記憶デバイスからプログラムを読み込んで実行するプロセッサと、を備え、プロセッサは、画像と、車両の特徴を示す車両情報データを取得し、画像から車両の周辺に存在する対象物体を検知する物体検知処理と、物体検知処理によって得た結果に基づいて、車両と対象物体との関係を示す運転シーンを推定する運転シーン推定処理と、推定した運転シーンの情報に基づいて、特徴量を算出するための特徴量算出手法を決定する特徴量算出手法決定処理と、を実行する。【選択図】図１

Description

本開示は、安全支援システム、および車載カメラ画像分析方法に関する。

ドライブレコーダーは、カメラ撮影による映像とＧＰＳによる走行記録、時間、速度等の走行データを記録する安全支援装置である。事故やヒヤリハットの状況が記録されるため、事故分析や安全運転対策として、運送事業者をはじめさまざまな業種で導入が広がっている。

車両の安全支援技術として、例えば、特許文献１には、運転状況推定装置において、車両の挙動を表す挙動データ及びドライバーの操作を表す操作データからなる検出データから運転環境を判定すること、が開示されている。

また、特許文献２には、自動車の自動運転や運転アシストに用いる自己位置推定のためのモジュールとして利用することを目的に安定的に位置姿勢推定を行うために２つの撮像装置を用いたステレオ構成のセンサを用いて、安定的な幾何情報、及び、位置姿勢情報を求めること、が開示されている。

特開２０１３−１７８８２７号公報 特開２０１９−１２５１１２号公報

交通事故が発生した場合、正確な事故状況の把握と事故処理の迅速化につながるドライブレコーダーの映像解析は、近年、多くの業種・業界から注目が集まっている。特に、損害保険会社や弁護士事務所から交通事故解析、また法令順守、自動車保険料カットを目指す大手企業から交通安全分析に関する映像解析の需要が高まっている。交通事故解析や交通安全分析において重要な特徴量のひとつが車間距離である。

また、大衆車に最も普及しているドライブレコーダーの車載カメラにおいて、前方車との車間距離等の特徴量を求める際に前方車との車間距離を求める手法が様々あるものの一長一短であり、実環境では単独手法で求めることができないなどの課題がある。そこで、運転シーン（運転環境）を推定することで精度を高める手法が提案されている。

この点、上記特許文献１では、車両の挙動を表す挙動データ及びドライバーの操作を表す操作データからなる検出データを取得し、様々な運転環境において取得された検出データをクラスタリングし、それぞれが異なった運転環境に対応する複数のクラスタからなるクラスタ分布を使用し、逐次取得される検出データをクラスタ分布と照合することによって運転環境を判定している。

しかしながら、特許文献１では、運転シーン（運転環境）を推定するために、車両の挙動を表す挙動データ及びドライバーの操作を表す操作データからなる検出データを用いている。このため、前方車との車間距離等の特徴量を求める際に前方車の挙動が分からず、最適な手法を選択できない。また、予め様々な運転環境において取得された検出データを用意することが必要であり、実益に乏しい。全ての運転環境を網羅することが困難なためである。

一方、特許文献２では、運転環境推定に関し、自動車の自動運転や運転アシストに用いる自己位置推定のためのモジュールとして利用している。具体的には、安定的に位置姿勢推定を行う技術として、撮像視野の少なくとも一部が重複するように配置される２つの撮像装置を用いたステレオ構成のセンサを用いて、３系統の仮の幾何情報、３系統の仮の位置姿勢情報を推定し、それらの推定結果から安定的な幾何情報、及び、位置姿勢情報を求めている。ここで、幾何情報とは、撮影したシーンの三次元形状を表すものであり、画像の各画素に距離値を格納した距離画像（距離に応じて色が変化している画像）であ。この距離画像を用いて車間距離を算出している。これによれば、提案手法によって撮像装置の不具合に対してロバストに位置姿勢推定を行うことができる。

しかしながら、特許文献２では、撮像視野の少なくとも一部が重複するように配置される２つの撮像装置を含む撮像手段を前提としており、最も普及しているドライブレコーダーの単眼カメラでは適用できない。同様に、画像は距離画像であることが記載されており、本発明が想定しているドライブレコーダーの車載カメラには適用できない。

本開示は、このような状況に鑑み、運転シーン（前方車の右左折、駐車車両の回避、曲路（カーブ）走行など、自車の周辺物体（歩行者、前方車、対向車、自転車、バイク、四輪車、固定物（ビル、電柱など））との関係性）に適する特徴量（例えば、車間距離など）を求める演算手法を切り替える技術について提案する。

上記課題を解決するために、本開示は、例えば、車載カメラで撮像された画像を分析するための特徴量を演算する安全支援装置であって、画像分析のためのプログラムを格納する記憶デバイスと、記憶デバイスからプログラムを読み込んで実行するプロセッサと、を備え、プロセッサは、画像と、車両の特徴を示す車両情報データを取得し、画像から車両の周辺に存在する対象物体を検知する物体検知処理と、物体検知処理によって得た結果に基づいて、車両と対象物体との関係を示す運転シーンを推定する運転シーン推定処理と、推定した運転シーンの情報に基づいて、特徴量を算出するための特徴量算出手法を決定する特徴量算出手法決定処理と、を実行する安全支援システムについて提案する。

本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。
本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではないことを理解する必要がある。

本開示の技術によれば、運転シーンに適した特徴量の演算手法を用いて特徴量を算出することができ、よって、より正確に交通事故分析や交通安全分析を実行することができるようになる。

本実施形態による安全支援処理における動作分析ロジックを示すブロック図である。 運転シーン推定部２０の概略内部構成例を示す図である。 運転シーンを説明するための一例を示す図である。図３（Ａ）は前方車までの距離が遠い運転シーンを示す概略図である。図３（Ｂ）は前方車までの距離が近い運転シーンを示す概略図である。図３（Ｃ）は左折する前方車に近接する運転シーンである。 運転シーン推定部２０におけるデータ構成の一例を示す図である。 特徴量演算部４０の概要内部構成例を示す図である。 距離算出点検知部４１における距離算出点の一例を示す概略図である。図６（Ａ）は、前方車の接地点中央値を示す概略図である。図６（Ｂ）は、前方車の車幅を示す概略図である。 本実施形態による安全支援処理の動作を説明するためのフローチャートである。 本実施形態による安全支援装置１０００の概略構成例を示す図である。 本実施形態による安全支援装置２０００の概略構成例を示す図である。 特徴量表示部５０によって表示装置（後述の分析者６が操作するコンピュータの表示部）に表示される特徴量の例（グラフ）を示す図である。

本実施形態は、車載カメラ画像と制御データから運転シーン（前方車の右左折や駐車車両をよける、カーブを曲がるなど、自車の周辺物体（歩行者、前方車、対向車、自転車、バイク、四輪車、固定物（ビル、電柱など））との関係性：運転環境とも言う）を推定し、運転シーンに応じた最適な特徴量算出手法（特徴量演算手法）を選択することについて説明する。以下、添付図面を参照しながら本実施形態の内容を詳説する。なお、各図において、同一又は類似の構成要素には同じ符号を付し、説明を省略する。また、添付図面は本開示の原理に則った具体的な実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。

本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

更に、本開示の実施形態は、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。

＜安全支援処理における動作ロジック＞
図１は、本実施形態による安全支援処理における動作分析ロジックを示すブロック図である。当該動作分析ロジックは、例えば、自車車体の寸法や車載カメラの取り付け位置情報を含む車両情報データＤ１０と車載カメラで撮像された車載カメラデータＤ２０を入力とし、車載カメラデータの画像上の前方車のような物体を検知する物体検知部１０と、物体検知部１０から出力された検知した物体のクラス（四輪車両、二輪車両、人など）とその物体を含む矩形（バウンディングボックス）画像を入力とし、運転シーンを推定する運転シーン推定部２０と、検知した物体のクラスとその物体を含む矩形画像と運転シーン推定部から出力された運転シーンと地図情報や天候情報である環境情報データＤ３０を入力とし、予め用意されている複数の特徴量演算手法から１つを選択する（特徴量演算手法を切り換える）特徴量演算切り換え部３０と、アクセルやブレーキ、ステアリングなど自車車両を制御する制御データＤ４０と特徴量演算切り換え部３０から出力された特徴量算出手法を入力とし、車間距離等の特徴量を算出する特徴量演算部４０と、特徴量演算部４０から出力された特徴量を入力とし、特徴量を表示する特徴量表示部５０によって構成される。

車両情報データＤ１０は、車種、自車車体の寸法、カメラ機種、カメラの取り付け位置情報、およびフレームレート、解像度、ＲＯＩ（Region Of Interest：カメラの視野に関するデータ）、センサパラメータといった撮像モードを含む車両情報である。車載カメラの取り付け位置情報とは具体的にはカメラのキャリブレーション情報であり、カメラ外部パラメータやカメラ内部パラメータを含む。

制御データＤ４０は、自車車両を制御するデータであり、具体的にはドライバーのアクセルやブレーキ操作量、自車速度、自車加速度、操舵角、ブレーキタイミングなどである。例えば、制御データは、車載ＥＣＵによって収集される。

物体検知部１０は、入力された車両情報データＤ１０と車載カメラデータＤ２０から画像処理を使って対象物である物体を検知する。物体とは自動ブレーキ作動の判断に有用な前方車や歩行者、バイクおよび自転車などである。物体検知とは画像を取り込み、画像の中から定められた物体の位置とカテゴリー（クラス）を検出することである。出力されるデータは、検知した物体のクラスとその物体を含む矩形画像である。

特徴量演算切り換え部３０は、検知した物体のクラスとその物体を含む矩形画像と環境情報データＤ３０と運転シーンを入力とし、特徴量演算手法を切り換える。ここで、環境情報データＤ３０とは、地図情報および天候状況など、自車周辺の道路環境データである。また、特徴量とは、対象物の高さ、車間距離、対象物に対する速度、対象物に対する加速度といったカメラ画像の縦方向の物理量と、対象物の幅、対象物の横方向に対する速度、対象物の横方向に対する加速度といったカメラ画像の横方向の物理量と、カメラ画像の縦方向と横方向の物理量の比率や積、衝突余裕時間（Time to collision）や衝突余裕度（Margin to collision）、またはその組み合わせである。
特徴量演算部４０は、制御データと特徴量演算手法を入力とし、車間距離等の特徴量を算出する。

特徴量表示部５０は、特徴量を入力とし、特徴量を表示する。入力された画像に特徴量を付加して表示する方法としては、演算された特徴量をグラフ化し、時系列グラフデータとして表示する方法や、あらかじめ閾値を決めておき、算出された特徴量が閾値を超えた場合のみ特徴量を表示する方法が考えられる。また、簡単に特徴量を計算できない運転シーンでは目視確認が必要、等のアラームを表示する方法が考えられる。
なお、運転シーン推定部２０、特徴量演算切り換え部３０、および特徴量演算部４０の詳細については後述する（図２から図６参照）。

＜運転シーン推定部２０の内部構成例＞
図２は、運転シーン推定部２０の概略内部構成例を示す図である。運転シーン推定部２０は、物体検知部１０から出力された検知した物体のクラスとその物体を含む矩形画像を入力とし、物体の座標を検出する物体位置検出部２１と、検知した物体のクラスとその物体を含む矩形画像を入力とし、物体の角度を検出する物体角度検出部２２と、物体位置座標データおよび物体角度データを入力とし、運転シーンを推定する推定部２３と、を備え、推定された運転シーンの情報を特徴量演算切り換え部３０へ出力する。

物体位置検出部２１は、検知した物体のクラスとその物体を含む矩形画像を入力とし、物体の座標を検出する。物体の座標とは例えば矩形の四隅の座標位置である。なお、検知した物体と自車との相対的位置関係が時系列で変化する場合には、当該座標位置も時系列で変化する。

物体角度検出部２２は、検知した物体のクラスとその物体を含む矩形画像を入力とし、物体の角度を検出する。角度を検出するには、矩形のアスペクト比の変化率を使う方法（例えば、平均的車両の縦横比が予め分かっているので、その情報を用いてアスペクト比の変化を算出することができる）やナンバープレートを検出してナンバープレート（ナンバープレートは車両の種類に依らずに大きさは一定である）の面積の変化率を算出する方法が考えられる。

推定部２３は、物体位置座標データおよび物体角度データを入力とし、運転シーンを推定する。ここで、運転シーンとは、対象物および周辺物体との距離や対象物および周辺物体の挙動といった、対象物および周辺物体との関係を示す情報である。また、対象物の例として、４輪車、バイク、自転車や歩行者などであり、周辺物体とは道路工事や駐車車両といった障害物、ガードレール、歩道、トンネルや料金所のレーンなどが挙げることができる。

＜運転シーンの例＞
図３は、運転シーンを説明するための一例を示す図である。図３では、一例として前方車の挙動を中心とした運転シーン（自車の周辺に存在する物体との関係）が示されている。図３（Ａ）は前方車までの距離が遠い運転シーンを示す概略図であり、図３（Ｂ）は前方車までの距離が近い運転シーンを示す概略図であり、図３（Ｃ）は左折する前方車に近接する運転シーンである。このように自車の周辺に存在する物体（図３では前方車）との関係（カメラ視野における遠近および左右の位置関係）を分類するのは、自車と周辺物体との位置関係によって適用すべき最適な特徴量演算手法が異なるからである。

＜運転シーン推定部２０におけるデータ構成例＞
図４は、運転シーン推定部２０におけるデータ構成の一例を示す図である。当該データ構成項目は、運転シーン種別、前方車中心位置の情報、前方車角度の情報、前方車下端の情報、前方車車幅の情報、前方車高さの情報などを含む。

前方車中心位置の情報は、前方車までの距離を示し、遠い、または近いかを示す情報である。前方車角度の情報は、前方車が直進、または右左折かなど挙動を示す情報である。前方車下端の情報は、前走車の路面接地点がカメラ画像に写っているか否かを示す情報である。前方車車幅の情報は、前走車の幅方向の全体がカメラ画像に写っているか、否かを示す情報である。前方車高さの情報は、前走車の高さ方向の全体がカメラ画像に写っているか否かを示す情報である。

＜特徴量算出手法決定処理：特徴量演算切り換え部３０の動作＞
（i）まず、特徴量演算切り換え部３０は、運転シーン推定部２０から提供された運転シーンの情報に基づいて特徴量算出手法を仮決めする。具体的には、例えば、メモリ（図示せず）に運転シーンの情報に対応付けられた特徴量演算手法（アルゴリズム）が複数格納されており、運転シーン推定部２０から取得した運転シーンから対応する特徴量演算手法が一意に選択されるように構成することができる。特徴量の種類によって算出手法は多数あるが、例えば衝突余裕時間を算出する場合は、前方車下端位置とカメラパラメータの幾何情報を使う手法や、前方車の車幅の変化率を使う手法や平均車幅からの変化率を使う手法などの方法がある。

図３（Ａ）に示した前方車までの距離が遠い運転シーンは、前方車位置が遠く、前方車角度がまっすぐ、前方車下端が見えている運転シーンである。このため、前方車下端位置とカメラパラメータの幾何情報を使う手法が最適の算出手法となる。図３（Ｂ）に示した前方車までの距離が近い運転シーンは、前方車位置が近く、前方車角度がまっすぐ、前方車下端が見えていない、前方車の車幅は見えている運転シーンである。このため、前方車の車幅の変化率を使う手法、平均車幅からの変化率を使う手法などの方法が適している。一方で、図３（Ｃ）に示した左折する前方車に近接する運転シーンは、前方車が見切れているため、入力画像の特徴量のみを使った簡単な手法では特徴量を算出できない。この場合、特徴量算出手法が自動抽出できないことが分析者に通知される。

（ii）次に、特徴量演算切り換え部３０は、仮決めした特徴量算出手法に対して、環境情報データＤ３０を用いて特徴量算出手法を決定する。例えば、仮決めした特徴量算出手法が前方車下端位置とカメラパラメータの幾何情報を使う手法であったとき、道路形状が坂道の場合には、ピッチ変動があると前方車下端位置の算出精度が低くなる。そのため、特徴量演算切り換え部３０は、上記手法を前方車の車幅の変化率を使う手法に切り換えるようにする。なお、ピッチ変動（上下方向の揺れ）の値は、例えば、加速度センサのＺ成分によって検知することができる。

同様に、例えば夜間や雨の日などはカメラ画像の明度が下がるため、前方車下端位置の算出精度が低くなる。そのため、特徴量演算切り換え部３０は、上記手法を前方車の車幅の変化率を使う手法に切り換える。さらに、特徴量算出手法が自動抽出できない場合（図３（Ｃ）のような場合）には、特徴量演算切り換え部３０は、参考データとして全ての特徴量算出手法を選択する。

＜特徴量演算部４０の内部構成例＞
図５は、特徴量演算部４０の概要内部構成例を示す図である。特徴量演算部４０は、特徴量演算切り換え部３０から提供される特徴量演算手法を入力とし、距離を算出するための座標位置を検知する距離算出点検知部４１と、算出された距離算出点座標位置と制御データＤ４０を入力とし、距離算出点座標位置の位置補正を行う距離算出点補正部４２と、補正された座標位置を入力とし、距離(特徴量)演算を行う演算部４３と、を備え、算出した特徴量を特徴量表示部５０に出力する。なお、簡単に特徴量を計算できない運転シーンでは、参考データとして全ての特徴量算出手法で特徴量が算出される。

図６は、距離算出点検知部４１における距離算出点の一例を示す概略図である。図６（Ａ）は、前方車の接地点中央値を示す概略図である。左右どちらかまたは両方が見えない場合は、前方車車幅の中心点を使う方法が考えられる。図６（Ｂ）は、前方車の車幅を示す概略図である。前方車の右左折やカーブを曲がることによって、前方車の背面以外が検知された場合には物体検知枠の幅方向を使う方法や背面の車幅を使う方法が考えられる。

距離算出点補正部４２は、制御データＤ４０と距離算出点座標位置を入力とし、距離算出点座標位置を補正する。距離算出点補正部４２は、例えば、制御データＤ４０に含まれるアクセルやブレーキ操作、操舵角に対してあらかじめ閾値を設定しておき、閾値を超えた場合はピッチ変動が生じたと判断し、ピッチ変動補正を行う。ピッチ変動があると、その周期が分かるので、それを座標位置の情報に反映させる。また、例えば、ピッチ変動を連続的な時間で見ると、変動の平均値を算出することができるので、距離算出点座標位置（例えば、ナンバープレートの位置）の変動が推定することができる。その他、ピッチ変動を補正する方法は、例えば、白線を検知して消失点位置の変化から補正量を算出する方法や、ピッチ変動を記録したセンサデータを用いる方法などが考えられる。

演算部４３は、補正された距離算出点座標位置を入力とし、特徴量を出力する。特徴量のうち、対象物の高さ、車間距離、対象物の幅は、補正された距離算出点座標位置から算出することができる。例えば、車間距離については、前方車の画像（矩形）の大きさとカメラパラメータから車間距離（画像の大きさと凡その車間距離との対応が取れている）は算出（推定）することができる。一方、対象物に対する速度、対象物に対する加速度、対象物の横方向に対する速度、対象物の横方向に対する加速度、衝突余裕時間や衝突余裕度といった特徴量は、補正された距離算出点座標位置に加え、制御データＤ４０や、演算部４３で算出された特徴量を使って算出することができる。例えば、衝突余裕時間については、自車および前方車の相対速度と車間距離とに基づいて算出することができる。

＜特徴量の表示＞
図１０は、特徴量表示部５０によって表示装置（例えば、後述の分析者６が操作するコンピュータの表示部）に表示される特徴量の例（グラフ）を示す図である。図１０は、横軸を時間、縦軸を特徴量（例えば、車間距離あるいは衝突余裕時間）としたグラフである。

図１０のグラフは、時間ｔ＝０のときに撮影が開始され、車間距離あるいは衝突余裕時間が時間と共に減少していく様子を示している。リミット時間Ｔ１では、対象物（例えば、前方車）が衝突直前にカメラの視野から外れるため、そのときの車間距離や衝突余裕時間が０とはならない。
このように、特徴量の時間的変化を可視化することにより、事故状況などを正確に分析することができるようになる。

＜安全支援処理の動作フローチャート＞
図７は、本実施形態による安全支援処理の動作を説明するためのフローチャートである。基本的には既に説明したことの繰り返しとなるので、詳細な説明は省略する。

図７に示すように、動作分析を開始すると、車載カメラ撮像ステップＦ１では、車載コンピュータ（プロセッサ）２００（図８）は、車載カメラを制御し、自車前方を撮像して、車載カメラデータＤ２０を出力する。処理は、物体検知ステップＦ３に進む。なお、後述の図９に示すように分析装置が車両とは別の構成となっている場合には、以下のステップにおける動作主体は、車両とは別個独立の安全支援装置（安全支援システム）２０００のコンピュータ（プロセッサ２００）である。

車両制御ステップＦ２では、上記車載コンピュータは、ドライバーのアクセル、ブレーキやステアリング操作などを入力とし、制御データＤ４０を収集する。そして、処理は、特徴量演算ステップＦ６へ進む。

物体検知ステップＦ３では、物体検知部（プロセッサ２００が担う一機能）１０は、車両情報データＤ１０と車載カメラデータＤ２０を入力とし、車載カメラ画像上の前方車といった対象物を検知し、クラスと矩形画像Ｄ５０を出力する。そして、処理は、運転シーン推定ステップＦ４へ進む。

運転シーン推定ステップＦ４では、運転シーン推定部（プロセッサ２００が担う一機能）２０は、クラスと矩形画像Ｄ５０を入力として、推定した運転シーンを出力する。そして、処理は、特徴量演算切り換えステップＦ５へ進む。

特徴量演算切り換えステップＦ５では、特徴量演算切り換え部（プロセッサ２００が担う一機能）３０は、環境情報データＤ３０とステップＦ３で算出されたクラスと矩形画像Ｄ５０と、ステップＦ４で算出された運転シーンを入力として、特徴量演算手法の切り換えを行い、特徴量演算手法を出力する。そして、処理は、特徴量演算ステップＦ６へ進む。

特徴量演算ステップＦ６では、特徴量演算部（プロセッサ２００が担う一機能）４０は、ステップＦ２で算出された制御データＤ４０とステップＦ５で算出された特徴量算出手法を入力として特徴量を演算して特徴量Ｄ６０を出力する。そして、処理は、特徴量表示ステップＦ７へ進む。

特徴量表示ステップＦ７では、特徴量表示部５０は、ステップＦ６で算出された特徴量Ｄ６０を表示して、特徴量Ｄ６０を出力する。なお、図８に示すように、外部のコンピュータ（例えば、分析者６のコンピュータ）に特徴量Ｄ６０を表示する場合、特徴量表示部５０は、特徴量を可視化するための特徴量可視化データを生成し、ネットワークを介して外部コンピュータに送信する。特徴量可視化データを受信した外部コンピュータは、当該特徴量可視化データを表示部の画面上に表示する。以上により、一連の処理は終了となる。

＜安全支援装置の構成例＞
図８は、本実施形態による安全支援装置１０００の概略構成例を示す図である。図８は、安全支援装置１０００が車両内に組み込まれている構成を示している。

図８に示すように、安全支援装置（安全支援システム：車載動作分析装置とも言う）１０００は、例えば、自車車体の寸法や車載カメラの取り付け位置情報を含む車両情報Ｄ.Ｂ.１と、車載カメラ２で撮像した車載カメラ画像とＥＣＵ３に記録された自車車両の制御データＤ４０と地図情報や天候情報を含む環境情報Ｄ.Ｂ.４から出力された環境情報データＤ３０を入力とし、車載カメラ画像内の対象物の特徴量を演算する動作分析部１００（図１参照）と、動作分析部１００から出力された特徴量を入力として保存し、分析作業者６へ出力する分析結果Ｄ.Ｂ.５と、を備えている。動作分析部１００の内部構成例および動作例については既に説明したことの繰り返しとなるので、詳細な説明は省略する。

車両情報Ｄ.Ｂ.１は、車両情報データＤ１０を保持している装置である。車体寸法が変わる、車載カメラ２の取り付け位置が変わらない限り、データ内容は変化しないので、ＲＯＭで実装する形態が考えられる。

車載カメラ２は、撮像して車載カメラデータＤ２０を取得する装置である。車載カメラ２に車両情報データＤ１０を保持させることにより、車両情報Ｄ.Ｂ.１を省略する構成とすることもできる。

ＥＣＵ３は、制御データＤ４０を取得する装置である。ＥＣＵ３に車両情報データＤ１０を保持させることにより、車両情報Ｄ.Ｂ.１を省略する構成とすることもできる。なお、ＥＣＵ３に上記動作分析部１００の処理を実行させる構成としてもよい。

環境情報Ｄ.Ｂ.４は、環境情報データＤ３０を取得する装置である。環境情報データＤ３０は、例えば、地図情報や天候情報に加え、ＧＰＳデータや道路交通情報などを含むことができる。
分析結果Ｄ.Ｂ.５は、演算された特徴量を保存し、ネットワーク（無線あるいは有線）を介して分析作業者６のコンピュータに出力（送信）する。
分析作業者６は、有線または無線のネットワークを介して分析結果Ｄ.Ｂ.５にアクセスし、上記演算された特徴量を取得することができる。

以上のようにして特徴量を自動的に算出することで、例えばＡＣＣ、ＦＣＷやＬＫＡＳのような運転支援機能の動作検証を自動ですることができ、安全支援装置の動作分析者の作業量を低減させることができる。

＜安全支援システムの構成例＞
図９は、本実施形態による安全支援装置（安全支援システム）２０００の概略構成例を示す図である。図８に示される安全支援装置１０００は、車両内に組み込まれた装置であるが、図９に示された安全支援装置２０００は、車両とは別個独立に設けられ、車両から各種データを取得して分析する装置である。従って、安全支援装置１０００が組み込まれていない車両であっても車載カメラ画像等から特徴量を算出し、分析することが可能となる。

安全支援装置２０００は、車両から取得した各種データを用いて車載カメラ画像内の対象物の特徴量を算出する動作分析部１００と、動作分析部１００によって算出された特徴量を保存する分析結果Ｄ.Ｂ.５と、分析結果Ｄ.Ｂ.５から特徴量を取得する分析作業者６のコンピュータと、を備える。なお、分析者６のコンピュータがコンピュータ２００を兼ねていてもよい。また、車両情報Ｄ.Ｂ.１、動作分析部１００、分析結果Ｄ.Ｂ.５および分析作業者６のコンピュータについては既に説明したことの繰り返しとなるので、詳細な説明は省略する。

動作分析部１００が車両から取得する各種データは、図９に示されるように、例えば、自車車体の寸法や車載カメラの取り付け位置情報を含む車両情報Ｄ.Ｂ.１から出力された車両情報データＤ１０と、車載カメラ画像を保持する車載カメラ画像Ｄ.Ｂ.７から出力された車載カメラデータＤ２０と、地図情報や天候情報を含む環境情報Ｄ.Ｂ.４から出力された環境情報データＤ３０と、制御Ｄ.Ｂ.８に記録された自車車両の制御データＤ４０と、を含んでいる。なお、車載カメラ画像Ｄ.Ｂ.７が車載の車載カメラ２で撮像された車載カメラデータＤ２０を保持し、制御Ｄ.Ｂ.８が車載ＥＣＵに記録された制御データＤ４０を保持するようにしてもよい。

＜まとめ＞
（i）本実施形態による安全支援システム（安全支援装置）によれば、車載カメラで撮像した画像（車載カメラ画像）と、車両の特徴を示す車両情報データを取得し、車載カメラ画像から車両の周辺に存在する対象物体を検知し、当該物体検知結果に基づいて、車両と対象物体との関係を示す運転シーンを推定し、推定した運転シーンの情報に基づいて、特徴量を算出するための特徴量算出手法を決定する。例えば、運転シーンの種別に応じて（運転シーンと対応付けて）複数種類の特徴量算出手法（アルゴリズム）をシステム内の記憶デバイス（メモリやＨＤＤ）に格納しておき、運転シーンに対応した特徴量算出手法を選択する。この選択した特徴量算出手法にＥＣＵによって取得された制御データを適用して特徴量が算出される。このようにすることにより、自車周辺環境に適した特徴量算出手法を選択することができ、よって特徴量を正確に算出することができるようになる。また、特徴量として、車間距離や衝突余裕時間（Time to collision）といった分析内容に適した特徴量を用いることにより、交通事故分析や交通安全分析を適切に実行することができる。また、上述の特徴量を用いれば、ＡＣＣ（Adaptive Cruise Control System:アダプティブクルーズコントロール）、ＦＣＷ（Forward Collision Warning:前方衝突警告）、ＬＫＡＳ（Lane Keeping Assist System：車線逸脱防止支援システム）といったＡＤＡＳ（Advanced Driver-Assistance Systems、先進運転支援システム）を実現することができる。さらに、当該特徴量は、当て逃げや車上荒らしといった車の事件・事故の原因究明や車の監視システムや自動駐車やＡＤ（Autonomous Driving:自動運転）の車載センシングデータに用いることができる。

また、本実施形態では、推定した運転シーンに対応する特徴量算出手法を決定するが、道路状況（凹凸などの路面状態）や自車が走行する地域の天候などによってそのまま適用することができない場合には、別の特徴量算出手法に切り換えることができる。このように、状況に応じて特徴量を算出する方法を適宜変更することができ、特徴量の算出精度を向上させることができる。

（ii）本実施形態の機能は、ソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本開示を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

なお、本開示の技術は、上記実施形態に限定されるものではなく、様々な変形例が含まれる。本実施形態は、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、実施形態の構成の一部を削除したり、他の構成に置き換えたり、他の構成を加えたりすることも可能である。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際にはほとんどすべての構成が相互
に接続されていると考えてもよい。

１ 車両情報Ｄ.Ｂ.、２ 車載カメラ、３ ＣＵ、４ 環境情報Ｄ.Ｂ.、５ 分析結果Ｄ.Ｂ.、６ 分析者（分析者のコンピュータ）、７ 車載カメラ画像Ｄ.Ｂ.、８ 制御Ｄ.Ｂ.、１０ 物体検知部、２０ 運転シーン推定部、２１ 物体位置検出部、２２ 物体角度検出部、２３ 推定部、３０ 特徴量演算切り換え部、４０ 特徴量演算部、５０ 特徴量表示部、１００ 動作分析部、１０００ 安全支援装置、２０００ 安全支援システム、Ｄ１０ 車両情報データ、Ｄ２０ 車載カメラデータ、Ｄ３０ 環境情報データ、Ｄ４０ 制御データ、Ｄ５０ クラスと矩形画像、Ｄ６０ 特徴量

Claims (14)

1. 車載カメラで撮像された画像を分析するための特徴量を演算する安全支援装置であって、
   画像分析のためのプログラムを格納する記憶デバイスと、
   前記記憶デバイスから前記プログラムを読み込んで実行するプロセッサと、を備え、
   前記プロセッサは、
   前記画像と、車両の特徴を示す車両情報データを取得し、前記画像から前記車両の周辺に存在する対象物体を検知する物体検知処理と、
   前記物体検知処理によって得た結果に基づいて、前記車両と前記対象物体との関係を示す運転シーンを推定する運転シーン推定処理と、
   前記推定した運転シーンの情報に基づいて、前記特徴量を算出するための特徴量算出手法を決定する特徴量算出手法決定処理と、
   を実行する安全支援システム。
2. 請求項１において、
   前記プロセッサは、さらに、
   前記車両の制御データを取得し、当該制御データを前記決定した特徴量算出手法に適用して特徴量を演算する特徴量演算処理と、
   前記演算した特徴量を可視化し、表示装置の表示画面上に表示する特徴量表示処理と、
   を実行する安全支援システム。
3. 請求項１において、
   前記運転シーンは、前記車両と前記対象物体との距離あるいは前記対象物体の挙動の少なくとも１つを含む、前記車両と前記対象物体との関係を示す情報である、安全支援システム。
4. 請求項１において、
   前記特徴量算出手法決定処理において、前記プロセッサは、さらに地図情報および天候情報を含む環境情報データを取得し、前記運転シーンの情報と前記環境情報データとに基づいて、前記特徴量算出手法を決定する、安全支援システム。
5. 請求項１において、
   前記車両情報データは、前記車両の車種、車体の寸法、カメラ機種、カメラの取り付け位置情報、カメラパラメータおよび撮像モードを含む、安全支援システム。
6. 請求項２において、
   前記特徴量演算処理において、前記プロセッサは、前記特徴量として、(i)前記対象物体の高さ、前記車両と前記対象物体との距離、前記対象物体に対する前記車両の速度、および前記対象物体に対する前記車両の加速度を含む前記画像の縦方向の物理量のうち少なくとも１つの物理量、(ii)前記対象物体の幅、前記対象物体の横方向に対する前記車両の速度、および前記対象物体の横方向に対する前記車両の加速度を含む前記画像の横方向の物理量のうち少なくとも１つの物理量、(iii)前記画像の縦方向と横方向の物理量の比率、(iv)前記画像の縦方向と横方向の物理量の積、(v)衝突余裕時間（Time to collision）、(vi)衝突余裕度（Margin to collision）、あるいは、(vii)それらのうちいくつかの組み合わせを演算する、安全支援システム。
7. 請求項２において、
   前記プロセッサは、前記特徴量を可視化した特徴量可視化データを生成し、ネットワークを介して外部コンピュータに送信し、当該外部コンピュータの表示画面上に表示させる、安全支援システム。
8. 車載カメラで撮像された画像を分析するための特徴量を演算する車載カメラ画像分析方法であって、
   前記画像を分析するためのプログラムを読み込んで実行するプロセッサが、前記画像と、車両の特徴を示す車両情報データを取得することと、
   前記プロセッサが、前記画像から前記車両の周辺に存在する対象物体を検知することと、
   前記プロセッサが、前記対象物体を検知することによって得た結果に基づいて、前記車両と前記対象物体との関係を示す運転シーンを推定することと、
   前記プロセッサが、前記推定した運転シーンの情報に基づいて、前記特徴量を算出するための特徴量算出手法を決定することと、
   を含む方法。
9. 請求項８において、さらに、
   前記プロセッサが、前記車両の制御データを取得することと、
   前記プロセッサが、前記制御データを前記決定した特徴量算出手法に適用して特徴量を演算することと、
   前記プロセッサが、前記演算した特徴量を可視化し、表示装置の表示画面上に表示させることと、
   を含む方法。
10. 請求項８において、
    前記運転シーンは、前記車両と前記対象物体との距離あるいは前記対象物体の挙動の少なくとも１つを含む、前記車両と前記対象物体との関係を示す情報である、方法。
11. 請求項８において、
    さらに、前記プロセッサが、地図情報および天候情報を含む環境情報データを取得することを含み、
    前記プロセッサは、前記特徴量算出手法を決定する際に、前記運転シーンの情報と前記環境情報データとに基づいて、前記特徴量算出手法を決定する、方法。
12. 請求項８において、
    前記車両情報データは、前記車両の車種、車体の寸法、カメラ機種、カメラの取り付け位置情報、カメラパラメータおよび撮像モードを含む、方法。
13. 請求項９において、
    前記プロセッサは、前記特徴量を演算する際に、前記特徴量として、(i)前記対象物体の高さ、前記車両と前記対象物体との距離、前記対象物体に対する前記車両の速度、および前記対象物体に対する前記車両の加速度を含む前記画像の縦方向の物理量のうち少なくとも１つの物理量、(ii)前記対象物体の幅、前記対象物体の横方向に対する前記車両の速度、および前記対象物体の横方向に対する前記車両の加速度を含む前記画像の横方向の物理量のうち少なくとも１つの物理量、(iii)前記画像の縦方向と横方向の物理量の比率、(iv)前記画像の縦方向と横方向の物理量の積、(v)衝突余裕時間（Time to collision）、(vi)衝突余裕度（Margin to collision）、あるいは、(vii)それらのうちいくつかの組み合わせを演算する、方法。
14. 請求項９において、
    前記プロセッサは、前記表示装置の表示画面上に表示させる際に、前記特徴量を可視化した特徴量可視化データを生成し、ネットワークを介して外部コンピュータに送信し、当該外部コンピュータの表示画面上に表示させる、安全支援システム。

Images