JP2008204304A - 車両挙動再現方法およびシステム - Google Patents

Abstract

【課題】
車載端末により取得したセンサ情報と映像情報を利用して、詳細の車両挙動を推定、再生する。
【解決手段】
車両から収集記録した情報から車両の挙動を再現するシステムにおいて、車両の通過した時間，位置，姿勢の情報を少なくとも２時点以上に対し対話的に指示することで概略動作情報を定義するステップと、車両から収集記録した規定時間間隔毎の車両挙動情報を参照し、該概略動作情報を拘束条件として、拘束条件との差分が最小になるように、該車両挙動情報を補正することで該概略動作を設定した以外の時点における車両の絶対的な位置，姿勢を演算する挙動推定を行うステップとを持つ。
【選択図】図１

Description

本発明は、車両に搭載した装置により取得したデータにより、車両の挙動を再現し、客観的な評価を行う技術に関する。

第１の従来例として、車両にＧＰＳセンサを設置し、車両の動態管理を行うドライブレコーダとして特開２００６−１５１００６号公報がある。これは、加速度センサを利用し、事故時に発生する衝撃をトリガにその事象の前後数十秒の状況を記録するものである。記録するデータは、加速度センサにより取得したデータ，車載カメラにより取得した映像などである。これにより、事故前後の車両の挙動と周囲環境の記録と同期して記憶し、事故検証の際にどういった事象が発生したかを映像とデータで確認することができる。

第２の従来例として、加速度センサや角速度センサを複数設置することで詳細な挙動解析を行う事例がある。この事例として、特開平９−５２５６９号公報がある。これは、感度の異なるセンサを多重化し、センサ間のデータの関連性からデータを補正し、詳細な挙動解析を行うものである。

第３の従来例として、ＣＧ(Computer Graphics) で利用されるキーフレームアニメーションがある。これは、物体の位置・姿勢を特徴的なフレーム（時間）のみ定義することで、途中の時間の位置・姿勢を定義されたフレーム（キーフレーム）で設定された値を利用し、線形や多項式で補間するものである。

特開２００６−１５１００６号公報 特開平９−５２５６９号公報 特開平１０−１７２００９号公報

従来のドライブレコーダーでは、事故時の状況を映像上で確認することができるが、自車の動きが他車からどのように見えたのかなどの客観的な視点での評価ができないという問題がある。

更に、センサによる車両情報を利用する際の課題として、ＧＰＳセンサでは位置を取得することができるが誤差が大きく、サンプリング周期が１秒程度と粗いため、急ブレーキをかけたなどの細かい挙動を再現することが難しい。また、車両の挙動を細かく計測するために、加速度センサを利用する場合、加速度センサ自体の精度や、取り付け状態により絶対的に正しい加速度値が得られるとは限らず、単純に加速度センサの値を積分しても、誤差が累積してしまうという問題がある。

そこで第２の従来例のように、センサを多重化することでデータの精度を向上させることにより、正確な運動計測による挙動解析は可能となるが、精度の異なるセンサを多重化して持つ必要がある。また、車両の挙動を解析する場合、加速度データだけでは、並進方向の運動しか取得できず、回転方向の運動が推定できないために角速度センサを利用する必要がある。このため、種類の異なるセンサを複数設置する必要もあり、コストがかかるという問題がある。

また、車両の動作を可視化する際に、車両の動作を定義するために、第３の従来例のように車両から収集した車両の挙動情報に基づいたキーフレームを用いる場合、キーフレーム間の映像を補間するための補間式では、キーフレームの位置・姿勢情報を、線形または多項式であらわすことになる。このため、複雑な車両挙動を定義しようとすると、細かくキーフレームを定義しなくてはならず、多大な作業が必要となってしまう。

本発明は、以上のような高精度のセンサの利用や、詳細な動作設定を行うことなく、車両から取得した車両情報から、詳細な車両の挙動を推定することを目的とするものである。

本発明は、上記課題を解決するために、下記の手段により構成するものである。

車両の通過した時間，位置，姿勢の情報を少なくとも二時点以上に対し対話的に指示することで概略動作情報を定義するステップと、車両から収集記録した規定時間間隔毎の車両挙動情報を参照し、該概略動作情報を拘束条件として、拘束条件との差分が最小になるように、該車両挙動情報を補正することで該概略動作を設定した以外の時点における車両の絶対的な位置，姿勢を演算する挙動推定を行うステップとを持つ。

ここで、車両挙動情報は、車両の進行方向，左右方向，上下方向についての加速度値の時系列データであり、補正処理は、各加速度データの０値補正およびスケール値の変更を行い、補正後の値を利用して車両の絶対位置，姿勢を積分により求める。

これにより、加速度センサのデータだけでは、単純に積分すると誤差の累積により位置がずれてしまうという問題と、回転成分を求めることができないという問題を、拘束条件に適応させることで回避することが可能となる。

また、該概略動作設定ステップでは、該車両情報と同時に取得した車載ＧＰＳセンサによる測位値の時系列データを概略動作情報とする。

また、さらに、該概略動作設定ステップでは、取得した場所の近辺の地図情報を入力とし、地図の位置に合わせて、指定時間に車両が実際に通過した位置および姿勢の情報を地図上で対話的に定義することで、概略動作情報とする。

また、さらに、該概略動作設定ステップでは、該車両情報と同時に取得した車載カメラによる時系列の映像情報を入力し、概略の位置，姿勢を定義する時刻の映像情報を表示し、さらに、上記地図情報を、車載カメラからの撮影条件を参照して車載カメラにより撮影した際に見えるであろう位置に３次元座標変換することで重畳し、対話処理により、該２つの重畳表示が重なるように車両の位置，姿勢を調整させる。

さらに、挙動推定ステップでは、フレーム毎に推定した位置および姿勢の変化量から、想定される映像の移動量と、実際に取得した映像の移動量を演算するステップと、両移動量の差分を求め、差分が最小になるように車両の姿勢成分の変化量を補正するステップを設ける。

さらに、概略動作設定ステップの中に、自車両以外の対象物の形状データを入力とし、上記地図情報または映像情報上に、定義時間毎に該対象物が存在した位置と姿勢を対話的に定義し、オブジェクト概略動作情報を作成するステップがあり、該オブジェクト概略動作情報を利用し、該オブジェクトに関して定義されていない時間の存在位置，姿勢を演算し、動作補間結果として格納する動作補間処理ステップがある。

さらに、生成された自車の挙動推定結果と、自車以外の対象物の動作補間結果および、地図データ，対象物のオブジェクト形状データを入力とし、事象の動画情報を生成する挙動再生処理を持つ。

また、複数の事象を管理し、該地図上に発生場所の表示をアイコンにより示し、さらに該アイコンを指示することで、事象を複数の視点による動画として表示する手段を設ける。

これにより、ＧＰＳ測位の絶対位置からのズレ補正を行うことが可能となり、より正確な挙動を再現することが可能となる。また、ＧＰＳデータがない場合でも、車両の通過した場所が複数特定できれば、挙動推定を行うことが可能となる。

また、映像を取得した位置、つまり、車両の通過した位置および姿勢を正確に設定することが可能となり、加速度センサだけでは取得できない回転成分のさらに正確な補正を行うことができる。

そして、車両から取得した精度の低い加速度センサ情報に対して、映像および地図を利用した位置・姿勢の拘束条件を設定することで、並進，旋回を考慮した詳細な挙動を推定することができる。

本発明の一実施例を、図を参考に説明する。

図１は、本発明を用いた第１の実施例における構成を示す図である。

パソコンなどの処理装置１０１には、対話を行うためのキーボードやマウスなどの入力装置１０３と、表示装置１０２が接続されている。本実施例１は、処理装置１０１内で動作するシステムおよび方法および、このシステムを動作させるプログラムが保存された記憶媒体に関する。処理装置１０１の入力としては、車両挙動情報１２１，ＧＰＳ測位情報１２２，地図情報１３１などがある。

図２は、車に搭載する装置の構成例を示したものである。車両２０１に対して、車両の前方を撮影するカメラ２１１，衝撃を取得する加速度センサ２１２，ＧＰＳセンサ２１３を入力装置として動作する挙動記録処理２１４がある。挙動記録処理２１４は、カメラ
２１１,加速度センサ２１２,ＧＰＳセンサ２１３からの情報を一定時間分常にメモリに書き込み続ける。それぞれの格納先が、図２における映像情報１２３，車両挙動情報１２１，ＧＰＳ測位情報１２２である。そして、加速度センサ２１２からのデータにより一定量の衝撃を検知すると、書き込み済のデータと、その後の一定時間分のデータをフラッシュメモリなどの不揮発メモリに格納する。これら情報を、メモリーカードや通信媒体を利用してパソコンで動作する処理装置１０１に転送する。

車両挙動情報１２１の具体的な内容の一例を図３に示す。図３に示すように、車両挙動情報１２１は車両挙動情報テーブル３０１で構成されており、その内容は、加速度センサ２１２のサンプリング間隔（フレーム）毎の、進行方向加速度，横方向加速度，上下方向加速度の時系列データである。加速度センサ２１２はその精度や、センサの取り付け傾きの関係から、０値やスケールが個体毎にばらつく。車両挙動情報テーブル３０１には、カメラ２１１，加速度センサ２１２，ＧＰＳセンサ２１３から取得した生のデータが格納される。本実施例では、加速度センサ２１２，ＧＰＳセンサ２１３からのデータ取得間隔は、映像の取得間隔と一緒とし、フレーム（例えば１／３０秒）でカウントすることにした。

ＧＰＳ測位情報１２２の具体的な内容の一例を図４に示す。ＧＰＳ測位情報１２２は図４に示すように、ＧＰＳ測位情報テーブル４０１により構成されており、ＧＰＳ測位情報テーブル４０１の内容は、ＧＰＳセンサ２１３のサンプリング間隔毎の緯度，経度値と方位情報の時系列データである。なお、ＧＰＳセンサ２１３の通常サンプリング間隔は１秒程度であり、取得時間（取得フレーム）は１フレーム毎ではなく飛び飛びの値となっている。

映像情報１２３の具体的な内容の一例を図１１に示す。映像情報１２３は図１１に示すように、映像情報テーブル１１０１と、取得した画像データ１１０２からなる。映像情報テーブル１１０１の内容は、取得時間と対応する画像データを示すポインタからなる。なお、時間間隔が一定の場合や、画像サイズが既知の場合は、画像データを配列の形式でシーケンシャルにメモリに展開しても良い。また、画像データは静止画に限らず、動画の格納方式であるモーションＪＰＥＧやＭＰＥＧなどのフォーマットを使って格納しても良い。

カメラ２１１，加速度センサ２１２，ＧＰＳセンサ２１３などから取得した情報を利用して、車両の挙動推定を行う処理に関して以下説明する。

まず、概略動作設定処理１１１に関して説明する。この処理は、挙動推定処理１１２で利用する拘束条件を概略動作情報１４１として作成するものである。概略動作設定処理
１１１の対話画面５０１の例を図５に示す。対話画面５０１に表示された対象をカーソル５０２で操作することにより、データの定義，編集を指示する。対話画面５０１には、地図表示５０３がある。地図上には車両の位置を示す車両アイコン５０４が表示される。この車両アイコン５０４の変更処理は、カーソル５０２により編集モードアイコン５０５の対応するモードを選択することにより行い、カーソル５０２によってを平行移動，回転することで地図上の任意の位置に車両アイコン５０４の配置を変更し、地図表示上での車両アイコン５０４の座標と向きから車両の緯度経度及び方位を求める。

車両の動きを設定するためには、車両の位置や向きだけでなくこれに対応する時間を指定する必要がある。これを行うのが時間スケール５０６である。時間スケール５０６には、現在表示されている地図表示５０３に対応した時刻を示す表示時刻アイコン５０７がある。この表示時刻アイコン５０７をカーソル５０２により移動することで、地図表示503における表示の時刻を変更することが可能である。また、再生制御ボタン５０９をカーソル５０２で選択することにより、再生，停止，コマ送りなどを行うことができる。位置決めフレームアイコン５０８は、拘束条件として地図表示５０３上で指定する車両の位置，姿勢を対応付ける時刻にマークとして示されるものである。任意の時間，位置に表示時刻アイコン５０７を移動し、その後、車両アイコン５０４の位置や姿勢を地図表示５０３上で編集することで、表示時刻アイコン５０７が置かれた位置に対応する時刻に位置決めフレームアイコン５０８が設定されることになる。操作ボタン５４０は、概略動作を設定した後、車両の挙動推定処理の実行を指示するためのボタンと、挙動の推定結果をファイルなどに出力するためのボタンを示している。

図５では、車両の概略位置をすべて対話処理で設定する場合を示している。しかし、
ＧＰＳセンサ２１３によるＧＰＳ測位情報１２２がある場合には、この情報を利用して拘束条件を設定することができる。ＧＰＳ測位情報１２２内の情報を読み込んだ場合の画面表示例を図６に示す。図６ではＧＰＳ測位情報１２２から読み込まれたＧＰＳセンサ213による測位結果の１つに対応する位置を、薄く表示した点６０１で示している。図４に示したＧＰＳ測位情報テーブル４０１の各レコードについて、記録されている緯度経度に対応する地図上の位置に点をプロットし、プロットされたこれらの点に対応するＧＰＳ測位情報テーブル４０１の各レコードの値を仮の拘束条件として時間順に結んだ線は、仮の移動経路６０２を表すことになる。この仮の移動経路の情報を用いて、挙動推定処理１１２により実際の移動経路を推定する。推定処理の詳細は後述する。また、ここではＧＰＳセンサ２１３で取得したデータのサンプリング間隔で拘束条件を設定したことになるので、位置決めフレームアイコンは６０５に示すようにＧＰＳ測位情報１２２をサンプリングした間隔毎に設定されている。

ＧＰＳセンサ２１３はその特性から、測位結果と実際の位置とでは数メートルの誤差が起きる可能性がある。つまり、単純にＧＰＳ測位情報テーブル４０１から読み込んだデータを地図に重ねると、仮の移動経路６０２が示すように道路からはみ出した移動経路を描いてしまうことがある。この場合、誤差を解消するためには、経路全体を相対的に平行移動すればよい。移動経路の移動編集処理は、概略動作設定処理１１１が図６に示す対話画面５０１を使用して行う。ユーザは、カーソル５０２を利用し、編集モードアイコン505の中から平行移動の操作を指示するアイコンを選択して平行移動モードにする。その後、カーソル５０２により仮の移動経路６０２を選択し、移動経路に対応する図形を地図表示上の所望の位置に移動する。概略動作設定処理１１１は、地図表示上で指示された移動量を地図座標系での移動量に換算し、移動経路の描画に用いたＧＰＳ測位情報テーブル401の各レコードに記録されているＧＰＳ測位情報１２２の緯度，経度の値に対し、この換算した移動量を加え、概略動作情報１４１に格納する。以上の結果、ＧＰＳセンサ２１３の測位誤差を解消するように緯度経度の値を変更した後の、各サンプリング時間における位置６０３とこれらを時間順に結んだ仮の移動経路６０４が表示される。

このようにして定義した概略動作情報１４１の一例を図７に示す。概略動作情報１４１は、概略動作情報テーブル７０１で構成され、概略動作情報テーブル７０１の各レコードには、位置決めフレームアイコンの設定が行われた時間（フレーム）と、その時間における車両の通過位置を示す緯度，経度及び車両の姿勢を示す方位の時系列データが格納される。

次に、概略動作情報１４１と、車両挙動情報１２１を入力とし、車両の挙動推定結果
１４２を求める挙動推定処理１１２の内容について説明する。

概略動作設定処理１１１により、概略動作情報１４１には、図１２のＡ，Ｂ，Ｃに示すような時間毎の車両の位置と姿勢のデータが設定されているものとする。このときの概略動作情報１４１には、図１３に示す概略動作情報テーブル１３０１のように、Ａ，Ｂ，Ｃに対応するデータが格納されている。ここでは、１０秒（３００フレーム）毎に車両の位置と姿勢が設定されている例を示している。以下、これら車両の位置と姿勢が設定されているフレームを拘束フレームと呼び、拘束フレームに対して設定されている車両の位置と姿勢及び時間のデータを拘束条件と呼ぶ。

車両挙動情報１２１には、車両挙動情報テーブルの形で図３に示すような、進行方向加速度，横方向加速度，上下方向加速度のそれぞれの値が格納されているものとする。なお、平面上の動作を推定する場合には、上下方向加速度は不要である。また、回転成分をジャイロセンサなどにより取得できるのであれば、車両の挙動推定のための計算条件として利用することもできる。また、車速も同様に挙動推定のためのデータとして取得できるのならば利用することができる。

ここでは、説明を簡略化するため、進行方向加速度と、横方向加速度を利用して説明をする。上下方向の加速度も同様の処理を行うことで推定することができる。

車両の挙動推定において推定を行うパラメータは、車両の初速，加速度センサの０値オフセット値，加速度センサのスケール値である。通常、加速度センサはサンプリングレートは高いが、センサの取り付けの傾きや精度の関係から、出力値の０.０ は必ずしも絶対値０.０Ｇ(１.０Ｇは約９.８ｍ／ｓ²)の加速度とは限らない。また、１.０が１.０Ｇを示すわけでもない。つまり、センサからの値をそのまま積分し、速度，位置に変換しても誤差が蓄積し、実際のデータとは乖離してしまう。例えば、図１４に示すように、進行方向加速度１４０１，横方向加速度１４０２が得られているとき、真のゼロ値１４１１とは外れた１４１２や１４１３をゼロ値としてしまうと、それぞれ、速度が１４２２，１４２３のように真のゼロ値１４１１から求めた速度１４２１とずれてしまい、また位置は1433，１４３２のようになり、真の拘束条件データに基づく位置１４３１とずれてしまう。そこで、挙動推定処理１１２では、この０値とオフセット値を求めることで、途中の真の速度１４２１と位置１４３１を求める。

データから真値を推定する推定処理には、さまざまの手法が考えられる。主な手法として、焼きなまし法（Simulated Annealing，ＳＡ）や遺伝的アルゴリズム（Genetic
Algorithms，ＧＡ）などがある。これら手法を利用した処理ステップの概要を図１５に示す。

まずステップ１５０１で推定パラメータを初期化する。通常、初速は拘束フレーム間を等速で通過したと仮定した値を初期値とする。車速センサ値が使えるのならば、その値を初期値とする。またここでは０値オフセットを０.０、スケール値を１.０とする。そしてステップ１５０２以下を挙動推定で車両の速度，姿勢，位置を求める全フレームに対して繰り返す。ステップ１５０３では、現在の推定パラメータを用いて、フレーム毎に車両の速度，姿勢，位置を加速度を積分することにより求める。ここで、車両は常に進行方向を向いて進むという前程で姿勢を求めることにする。計算の概要を図１９に示す。現在速度Ｖ_n１９１１（以下、ｎはフレーム番号とする）、現在位置Ｐ_n１９０１に対し、次フレーム速度Ｖ_n+1１９１２と次フレーム位置Ｐ_n+1１９０２を以下の式で求める。

Ｖ_n+1＝Ｖ_n＋Ａ_n＊Δｔ
Ｐ_n+1＝Ｐ_n＋Ｖ_n＊Δｔ
ここでΔｔは、フレーム間の時間間隔である。

速度変化分Ａ_n１９２１は進行方向加速度Ａｘ_nと横方向加速度Ａｙ_n で表される加速度ベクトルを示し、それぞれ以下の式で求める。

Ａｘ_n＝（ａｘ_n−ａｘzero）＊ａｘscale
Ａｙ_n＝（ａｙ_n−ａｙzero）＊ａｙscale
ここで、ａｘzero，ａｙzeroは、それぞれ進行方向加速度の０値オフセットと横方向加速度の０値オフセットを示す。また、ａｘscale，ａｙscaleは、それぞれ進行方向加速度のスケール値と横方向加速度のスケール値を示している。

以上の位置と姿勢（進行方向）の演算を、順次各フレームに対して繰り返す。ステップ１５０４で演算したフレームが拘束フレームの場合、ステップ１５０５で拘束条件の位置と姿勢のデータと、演算された位置と姿勢のデータとの差分を二乗和などにより計算し、各拘束フレームにおける差分を累積してゆく。

以上の処理を全フレームに適応した結果、ステップ１５０６で拘束フレームにおける差分累積値が一定以下の場合、推定パラメータの値が求まったとして終了する。また差分累積値が規定値以上の場合、ステップ１５０７で推定パラメータである初速，加速度の０値オフセット，スケール値を修正して、ステップ１５０２に戻り、再度積分演算処理を行う。この０値オフセット，スケール値の修正に焼きなまし法や遺伝的アルゴリズムを適用する。

求まった推定パラメータの値を利用して全フレームにおける車両の挙動（位置，姿勢）データを演算した結果は、操作ボタン５１０の結果出力による指示により、挙動推定結果１４２として出力される。図１６が挙動推定結果１４２の出力例である。この例では、挙動推定結果１４２を、各フレームの位置情報（緯度，経度）と姿勢（方位）が時系列に並んだ挙動推定結果テーブル１６０１として出力されている。

以上により、車載端末により誤差を含んだ加速度情報を利用し、簡単な操作により拘束条件を設定するだけで、正確な車両の挙動を推定することが可能となる。

次に、第２の実施例について説明する。

この第２の実施例では、第１の実施例と比べ、概略動作設定処理８１１においてカメラ２１１で撮影した映像情報を利用する点が異なる。第２の実施例の構成例を図８に示す。図１の構成例に対し、概略動作設定処理８１１への入力として、映像情報１２３とカメラ２１１の撮影条件を格納した撮影条件情報１３２が追加されている。ここで、映像情報
１２３は挙動記録処理２１４により車両挙動情報１２１と並行して取得したものである。映像情報１２３の内容は、先に説明したのでここでは省略する。

撮影条件情報１３２の内容の一例を図１０に示す。撮影条件情報１３２は、撮影条件情報テーブル１００１からなり、その内容は、車両２０１に取り付けたカメラ２１１の地上からの高さを示す基準高さデータ，カメラ２１１の水平面に対する傾きを示す基準ピッチ角と基準ロール角データ、また、撮影される映像の水平方向画角と鉛直方向画角が保持される。また、レンズの光学的な歪補正を示すデータを持ったほうがより正確な推定を行うことができる。

第２の実施例における概略動作設定処理８１１の対話画面９００を図９に示す。図９に示すように、図５に示した第１の実施例における対話画面５０１の例に対し、カメラ211で取得した映像を表示する映像表示エリア９０１が追加される。このエリアには、取得した映像９０３だけでなく、カメラ２１１が撮影条件情報１３２の下で撮影したときに見えるであろう道路境界などの形状を３次元表示地図９０２として、カメラ２１１で取得した映像と重畳表示することができる。カメラ２１１が撮影条件情報１３２の下で撮影したときに見えるであろう道路境界などの形状は、映像９０３のフレームに該当する車両位置に基づき、地図情報１３１から道路の形状データを読み出して、これを３次元座標変換することにより求める。地図情報１３１は２次元のデータであるため、３次元変換処理では、撮影条件情報１３２と、現在のフレームの位置，姿勢情報を利用することで３次元表示地図９０２を求めることが可能である。

図９に示すように、映像９０３と３次元表示地図９０２は、カメラの撮影位置，姿勢のデータが正しければ一致するはずである。これらがずれているということは、カメラの撮影位置，姿勢のデータが映像９０３を取得した際の真値とは違うということを示している。これを利用し、第１の実施例で説明したようにカーソル５０２などを利用し、車両アイコン５０４を移動回転させることで調整する。車両アイコン５０４の表示位置及び方向を変更させることによって、第１の実施例と同様、表示時刻アイコンに対応した時刻における車両の緯度経度及び方位が変更され、これに伴い、地図情報１３１から読み出した道路の形状データに対して３次元変換処理を行い、映像９０３に重畳表示する。これにより、映像９０３と３次元表示地図９０２を一致させて、正確な位置決めを行うことが可能となる。

位置姿勢の推定方法の別案として、以下の方式を取ることも可能である。まず、取得映像に対して輝度の大きく変わる点をエッジ抽出により求める。これにより、道路境界などの線状の特徴量を抽出する。これに対し、３次元化した地図の対応する特徴量が最も近づくように位置姿勢を推定する。これにより、位置姿勢の自動設定が可能となる。ただし、この場合、初期値は真値の近いところからはじめる必要がある。このため、ＧＰＳセンサ２１３での測位データを利用する場合などで有効である。また、手作業で、真値に近いところまで設定し、後は自動的に最適値を推定するといった操作にすることも可能である。

本実施例により、取得した映像を利用することで、正確な位置姿勢情報を概略動作情報として定義することが可能となる。

本発明の第３の実施例に関して以下説明する。

第３の実施例の構成例を図１７に示す。本発明では、第２の実施例に対し、挙動推定処理１７００において撮影した映像を利用して挙動をさらに詳細に推定するものである。概略動作情報１４１を作成する処理までは、第２の実施例と同じである。また、推定された結果が出力される挙動推定結果１４２も、第２の実施例と同じである。

第３の実施例における挙動推定処理１７００は、第２の実施例で示した挙動推定処理
１１２と同じ処理を行う推定処理１７０１と、この処理結果のデータである推定結果1711、推定結果１７１１のデータと撮影条件情報１３２を使用して撮影された映像がどのように移動するかを推定する移動映像推定処理１７０２、この推定された結果の移動推定データ１７１２、また、取得した映像情報１２３から映像の動きを抽出する移動情報抽出処理１７０３と、その抽出結果である移動抽出データ１７１３、および、移動推定データ1712と移動抽出データ１７１３のデータから推定結果１７１１を補正する補正処理１７０３からなる。

推定結果１７１１のデータの内容は、挙動推定結果１４２と同様である。つまり、推定処理と補正処理により収束した計算結果の推定結果１７１１の内容を、挙動推定結果142として出力することになる。

以上の構成の中で、第３の挙動推定処理１７００の詳細処理を説明する。

まず、移動映像推定処理１７０２は、次のようにして移動推定データ１７１２を作成する。まず、移動映像推定処理１７０２は、撮影条件情報１３２と、推定結果１７１１を参照する。これにより、仮想的な地面のモデルが仮想的なカメラの動きによりどのように移動するかを把握できる。この時、図１８（Ａ）の映像例１８０１に示すように、画面に格子状にサンプリングした点１８１１を仮想的な地面１８２１上に３次元座標変換し、この３次元上の点が、推定結果１７１１による仮想的なカメラの移動によりそれぞれどのように画面上移動するかオプティカルフローを推定する。推定したオプティカルフローを移動ベクトルとして表示したものが１８１２である。

一方、車載カメラから取得した映像情報１２３のデータを参照し、移動情報抽出処理
１７０３は、図１８（Ｂ）の映像例１８０２に示すように、同じく画面上にサンプリングした点１８３１がフレーム間でどのように移動したかを求める。この方法は画像処理としてオプティカルフローと呼ばれる方法で求めることができる。基本的な処理は、各格子点の小ウインドウ領域が次のフレームでどこに移動したかを探索するものである。この映像から抽出された移動ベクトルによりオプティカルフローを示したものが１８３２である。

推定処理１７０１による車両の挙動推定が正しければ、各格子点で推定したオプティカルフローの移動ベクトルと映像から抽出したオプティカルフローの移動ベクトルは同じ傾向で取得されるはずである。両者がずれているということは、車両の挙動を正確に求める為には車両挙動情報１２１で取得できなかった情報が必要であったためである。特に、車両挙動情報１２１が、移動加速度データだけの場合、回転成分が取得できないため、車両の位置や方位の推定結果に誤差が起きる。第２の実施例までは、車両は進行方向に必ず向いているという前程で推定を行っていたため、進行方向と車両の向きがずれた場合などにこの誤差が起きる。第３の実施例は、これを補正しようとするものである。

具体的には、カメラの横平行移動と、回転を分離することができれば良い。カメラの横平行移動では、遠景と近景で画像の移動量が異なる。近景では大きく動くのに対して、遠景の点はほとんど移動しない。一方、回転では遠景，近景とも同じ移動量になる。この原理を利用し、補正処理１７０３では、映像から抽出した移動データ１７１３に対して、カメラの移動に伴う推定データ１７１２が一致するよう推定結果１７１１のデータに対して、回転成分を平行移動成分に補正する。図１９でこの処理の概略を説明する。推定結果として次フレームの速度Ｖ_n+1１９１２ が求まったとする。これに対し、補正処理１７０３により方向の補正１９０３を行うことで、補正速度１９１３が求まる。

回転成分から平行移動成分への補正量は、補正処理１７０３による以下の処理によって求めることができる。補正処理１７０３では、移動推定データ１７１２と移動抽出データ１７１３を参照し、フレーム毎に各格子点について移動推定データ１７１２と移動抽出データ１７１３とにおける移動ベクトルの差分を求める。この差分が一定量以下ならばそのフレームについては補正処理１７０３を行わない。また差分が一定量以上ならば、推定結果１７１１の次フレームにおける位置Ｐ_n+1１９０２の周りに次フレームにおける速度
Ｖ_n+1１９１２ を回転させ、移動ベクトルの差分が最小になるようにする。最小になった時の速度を補正速度１９１３とし、推定結果１７１１に格納する。

なお、移動抽出データ１７１３は映像からオプティカルフローにより求めるため、車両前方に他の車両や障害物がある場合は、正しく求まらない場合がある。その場合は、障害物のエリアを除いた領域の格子点で評価を行う。なお、この障害物のエリアを除く処理は、後述する第４の実施例で自車以外の対象の動作を設定することで可能となる。具体的には、自車以外の定義された対象物の３次元形状を、撮影条件に従い２次元映像上に投影することで障害物が表示されるであろうエリアを特定できる。

以上の処理は、挙動推定処理１１２内の処理で行われる。挙動推定処理１１２内の処理フローを図２０に示す。処理としては第２の実施例までの処理フローと、ステップ2004，２００５の処理を除き同じ処理である。ステップ１５０１では、推定パラメータを初期化する。ステップ１５０２では、全フレームに関して以下の処理を繰り返す。ステップ1503では、加速度データから速度，位置を積分し、推定値を求める。次に、ステップ２００４において、移動映像推定処理１７０２，移動情報抽出処理１７０３を利用し、推定結果から映像移動分の推定と、取得した映像から移動分を抽出する。ステップ２００５において、補正処理１７０３により、推定と抽出の映像移動分の差分を解消するように推定値の方向成分を補正する。

次に、ステップ１５０４は、現在処理しているフレームが、拘束フレームかどうかを判断し、拘束フレームならば、ステップ１５０５により拘束条件と推定値の差分を計算する。

以上の処理を全フレームに対し繰り返したならば、ステップ１５０６により、拘束フレームの差分二乗和が一定値以下かどうか判断する。一定値以下でなければ、ステップ1507により、推定パラメータを修正する。拘束フレームの差分二乗和が一定値以下になれば処理を終了し、推定結果１７１１の挙動データを挙動推定結果１４２として出力する。

以上の処理により、加速度センサ２１２からのデータだけでは補足できない回転成分を補正することが可能となり、より正確な挙動推定ができる。

次に第４の実施例を図２１に示す。

第３の実施例では、データを取得した車両の挙動推定だけを対象に説明した。第４の実施例では、周りに存在する物体も含めて動きを推定する点が追加される。

第２の実施例に対し、概略動作設定処理２１１１の入力として、オブジェクト形状133を入力として追加している。オブジェクト形状とは、車の形状や人の形状など自車以外のオブジェクトを示すものである。２次元で挙動を表す場合は、２次元のアイコンであり、３次元で挙動を表す場合は、３次元空間上の形状データとなる。なお、形状データは詳細な形でも良いが、単純化したモデルでもよい。たとえば、車ならば直方体で代用、人ならば円柱で代用することも可能である。また、平面に人や車の画像をテクスチャマップしたもので代用することも可能である。具体的なデータの持ち方は一般的な図形描画処理で利用される方法を利用してよい。

概略動作設定処理２１１１の対話画面２２００の例を図２２に示す。この対話画面2200では、挙動推定を行う他の対象物を選択するオブジェクトテンプレートアイコン２２０１が追加されている。カーソル５０２を利用し、表示したい対象のアイコンをこのオブジェクトテンプレートアイコン２２０１の中から選択すると、そのアイコンに対応したオブジェクトを地図表示エリア５０３及び映像表示エリア９０１上に追加する追加モードになる。その状態で、地図表示エリア５０３または、映像表示エリア９０１をカーソルで指示することで、その指示した位置に選択したオブジェクトのアイコン２２０３または、オブジェクトのモデル２２０２が表示される。図２２の例では、トラックを選択し配置している様子を示している。

オブジェクトの配置は、第２の実施例で示した例と同様に、車載カメラで取得した映像情報１２３に対して対象オブジェクトを重畳することで位置決めを簡易化することも可能である。図２２では、映像に写っているトラックの画像２２１１に対して、仮想的なトラックのモデル（ここでは簡易化のために直方体の外接矩形で表示）を位置決めしている様子を示している。また、挙動推定を行うオブジェクトの配置を直接映像表示エリア９０１上にカーソル５０２で指示することで位置を決定することも可能である。車両など対象物は、地表面から離れることはないので、カーソル５０２の示す地表上の位置を定義位置として定義することができる。位置決めは、代表的な時間に時間を移動し、それぞれで位置決めをする。これを複数の時点で繰り返す。図２２では、位置決めフレームアイコン508の数が３つであることから、３つの時点の位置決めをしていることが示されている。

概略動作設定処理２１１１では、上記の対話処理により、動作を生成しようとする必要なオブジェクト分だけ設定処理を繰り返す。これにより車両の拘束フレームを設定する処理と同様にして、オブジェクト概略動作情報１４３を生成する。次に、動作補間処理113では、オブジェクト毎に設定された位置姿勢を時間により補間することで、途中の動作を生成する。その結果を動作補間結果１４４として格納する。なお、動作補間処理１１３の具体的な処理は、一般にアニメーション生成などで利用されるキーフレーム法を利用することが可能である。また、このときの補間方法は、拘束条件間を線形やスプライン補間などを利用し計算することができる。ここで、オブジェクト概略動作情報１４３および、動作補間結果１４４のデータ内容は、それぞれ概略動作情報１４１，挙動推定結果１４２と同じフォーマットであり、各オブジェクトについてフレーム単位の時系列データを保持することになる。

配置できるオブジェクトは、移動するものだけでなく、街路樹や看板，電柱，壁といった固定物も配置可能である。また、信号機など状態の変化するものも配置することも可能である。この時、取得した映像情報１２３から信号の変化時刻を取得し、動作として設定することも可能である。

また、道路や町並みに関しては、２次元の地図情報を地上面に座標変換することで、概略の位置を把握させるように表示することも可能である。

この実施例により、自車だけでなく他の車や通行人との事象の関連性を可視化できるようになる。また、障害物や信号タイミングなど道路環境の情報を評価することが可能となる。

次に、このようにして推定した車両の挙動を再生する環境について説明する。

図２３が再生処理の構成である。第４の実施例で示した処理により得られた挙動推定結果１４２及び動作補間結果１４４と、地図情報１３１，オブジェクト形状１３３とを入力とし、入力装置２３１２の指示に従い、挙動再生処理２３０１は表示装置２３１１に表示を行う。

挙動再生処理２３０１は、車や人などのオブジェクト形状データを２次元または３次元空間上で、推定された動作データである挙動推定結果１４２，動作補間結果１４４のデータを適用することでアニメーション表示する。なお、入力装置２３１２は、表示の拡大，回転，視点変換を指示するものである。この挙動再生処理２３０１自体は、一般的なアニメーション表示処理を利用することで可能となる。３次元での表示の代表的なものとしてＶＲＭＬ（Virtual Reality Modeling Language）ビューアなどがある。

この挙動再生処理２３０１による車両及びオブジェクトの挙動の表示例を図２４，図
２５に示す。

図２４（Ａ）では、車両の挙動を２次元表示のアニメーションで表した例である。画面２４０１に表示エリア２４１１と再生コントロールボタン２４１２がある。表示エリア
２４１１に地図２４２３と、走行する自車車両２４２１と対象オブジェクトである相手車両２４２２が表示されている。一方、図２４（Ｂ）では表示エリアに３次元の映像が表示されている。ここでは環境のモデル（町並み，道路，信号機など）と自車両２４４１、及び相手車両２４４２が表示されている。ここでは取得した映像から信号機の変更タイミングを決定し、変化させることもできる。なお、町並みや道路は、２次元地図情報を地表面に３次元変換し簡易表示することもできる。表示切り替え２４３２は現在の視点を切り替えるためのものであり、図２４（Ｂ）では車両位置とは独立な仮想的な視点からの表示である。このほかに、自車の運転席位置，相手者の運転席位置，車の後方視点，歩行車の視点などを切り替えることが可能である。

図２５で示す例は、複数の視点を同時に表示したものである。表示画面２５０１に対して、複数視点のアニメーションを同時にコントロールする再生コントロールボタン2512と複数の表示エリア２５２１，２５２２がある。各表示エリアは表示切り替え２５２３，
２５２４により独立に視点を選択できるものとする。これにより、お互いの当事者でどのように見えていたのかを確認することができる。

以上のような挙動再生処理２３０１を用いることで、事故などの事象を挙動推定結果を用いることにより客観的な視点から評価することが可能となる。

個々の事象を図２４，図２５のような形態で表示するだけでなく、複数の挙動推定結果を管理，表示することも考えられる。この形態の一実施例の画面例を図２６に示す。この実施例は、取得した挙動推定結果をデータベース化し、それぞれの発生場所を地図上にマッピングすることで、事故の多発地点などを可視化するものである。

画面２６０１に対して地図表示エリア２６１１および、事象リスト２６１２が表示されている。地図表示エリア２６１１には、事象に対応する発生場所を示すアイコン２６１３が表示されている。カーソル２６０２により、アイコン２６１３または、リスト２６１２の事象を選択することで事象の詳細を把握する。このとき、詳細情報は、先の実施例で示したような挙動再生処理２３０１を利用することで表示することができる。

この実施例により、事故が多発している場所を共有化できる効果がある。従来でも、地図上に事故発生地点をマッピングすることで情報を共有するシステムは存在している。本発明では、事故の詳細を表示するときに、車両の挙動推定結果に基づく仮想的な３次元モデルで表示することに特徴がある。従来では、取得した映像をそのまま表示するしかなかったが、この場合、撮影された対象に対するプライバシーの問題などある。このため、すべての映像が公開できないという問題がある。本発明では、モデルを仮想化するため、プライバシーの問題を回避し、かつ詳細に事象を分析することが可能となる。

第１の実施例の構成を示す図。 車載の挙動記録処理部の構成を示す図。 車両挙動情報テーブルの例。 ＧＰＳ測位情報テーブルの例。 編集画面例。 編集画面例での軌跡移動処理例。 概略動作情報テーブルの例。 第２の実施例の構成を示す図。 映像付きの編集画面例。 撮影条件テーブルの例。 映像情報テーブルと画像データ格納例。 概略動作設定例。 概略動作情報テーブルの例。 挙動推定処理概要説明図。 挙動推定処理フロー。 挙動推定結果テーブル。 第３の実施例の構成を示す図。 移動映像推定処理説明図。 加速度積分説明図。 挙動推定処理フロー。 第４の実施例の構成を示す図。 第４の実施例における編集画面例。 挙動再生処理の構成例。 挙動再生処理の表示例。 挙動再生処理の表示例。 事象共有システムでの対話画面例。

符号の説明

１０１ 処理装置
１０２ 画面
１０３ 入力装置
１１１ 概略動作設定処理
１１２ 挙動推定処理
１１３ 動作補間処理
１２１ 車両挙動情報
１２２ ＧＰＳ測位情報
１２３ 映像情報
１３１ 地図情報
１３２ 撮影条件情報
１３３ オブジェクト形状
１４１ 概略動作情報
１４２ 挙動推定結果
１４３ オブジェクト概略動作情報
１４４ 動作補間結果
２０１ 車両
２１１ カメラ
２１２ 加速度センサ
２１３ ＧＰＳセンサ
２１４ 挙動記録処理
５０１ 対話画面
５０２ カーソル
５０３ 地図表示エリア
５０４ 車両アイコン
５０５ 編集モードアイコン
５０６ 時間スケール
５０７ 表示時刻アイコン
５０９ 再生制御ボタン
５１０ 操作ボタン
９０１ 映像表示エリア
２３０１ 挙動再生処理

Claims (8)

1. 車両から収集記録した情報から車両の挙動を再現する車両挙動再現方法において、
   少なくとも２時点以上について車両の通過した時間，位置，姿勢の情報を指示した概略動作情報を定義するステップと、
   車両から収集記録した規定時間間隔毎の車両挙動情報を参照し、前記該概略動作情報を拘束条件として、当該拘束条件との差分が最小になるように、前記車両挙動情報を補正して、前記概略動作情報を設定した時点以外の時点における車両の位置及び姿勢を演算する挙動推定を行うステップと
   を有することを特徴とする車両挙動再現方法。
2. 請求項１の車両挙動再現方法において、
   前記車両挙動情報は、車両の進行方向，左右方向，上下方向についての加速度値の時系列データであり、
   前記挙動推定を行うステップにおける前記車両挙動情報の補正処理においては、前記加速度値の時系列データの０値補正およびスケール値の変更を行った後の値を利用して、車両の位置及び姿勢を積分により求める処理を行うこと
   を特徴とする車両挙動再現方法。
3. 請求項１または請求項２の車両挙動再現方法において、
   前記概略動作情報を定義するステップにおいては、前記車両挙動情報と同時に取得したＧＰＳセンサによる測位値の時系列データを概略動作情報とすること
   を特徴とする車両挙動再現方法。
4. 請求項１または請求項２の車両挙動再現方法のいずれかにおいて、
   前記概略動作情報を定義するステップにおいては、前記車両挙動情報を取得した場所の近辺の地図情報を表示し、
   表示された地図の位置に合わせて、指定時間に車両が通過した位置および姿勢の情報を地図上で指定することにより、概略動作情報を定義すること
   を特徴とする車両挙動再現方法。
5. 請求項４の車両挙動再現方法において、
   該概略動作情報を定義するステップでは、前記車両挙動情報と同時に取得した車載カメラによる時系列の映像情報を用いて、車両の概略位置及び姿勢を定義する時刻の映像情報を表示し、
   前記地図情報は、車載カメラからの撮影条件を用いて車載カメラを視点位置とした座標変換を行って前記映像情報に重畳表示し、
   前記映像情報に座標変換された前記地図情報が重なるように車両の位置及び姿勢を調整することにより車両の概略位置及び姿勢を定義すること
   を特徴とする車両挙動再現方法。
6. 請求項５の車両挙動再現方法において、
   前記挙動推定を行うステップでは、前記映像情報のフレーム毎に推定した車両の位置および姿勢の変化量から推定される映像の移動量と、実際に取得した映像の移動量を演算するステップと、
   推定される映像の移動量と取得した映像の移動量の差分を求め、当該差分が最小になるように車両の姿勢の前記変化量を補正するステップをさらに設けたこと
   を特徴とする車両挙動再現方法。
7. 車両から収集記録した情報から車両の挙動を再現する車両挙動再現システムにおいて、
   少なくとも２時点以上について車両の通過した時間，位置，姿勢の情報を指示した概略動作情報を定義する概略動作情報定義部と、
   前記定義された概略動作情報を記憶する第１の記憶手段と、
   車両から収集記録した規定時間間隔毎の車両挙動情報を記憶する第２の記憶手段と、
   前記車両挙動情報を参照し、前記該概略動作情報を拘束条件として、当該拘束条件との差分が最小になるように、前記車両挙動情報を補正し、前記概略動作情報を設定した時点以外の時点における車両の位置及び姿勢を演算する挙動推定を行う挙動推定処理部と
   を有することを特徴とする車両挙動再現システム。
8. 請求項７の車両挙動再現システムにおいて、
   前記車両挙動情報は、車両の進行方向，左右方向，上下方向についての加速度値の時系列データであり、
   前記挙動推定処理部では、前記加速度値の時系列データの０値補正およびスケール値の変更を行った後の値を利用して、車両の位置及び姿勢を積分により求めること
   を特徴とする車両挙動再現方法システム。

Images