JP2009211678A - 交通事故解析装置、交通事故解析方法、及びプログラム - Google Patents

交通事故解析装置、交通事故解析方法、及びプログラム Download PDF

Info

Publication number
JP2009211678A
JP2009211678A JP2008137231A JP2008137231A JP2009211678A JP 2009211678 A JP2009211678 A JP 2009211678A JP 2008137231 A JP2008137231 A JP 2008137231A JP 2008137231 A JP2008137231 A JP 2008137231A JP 2009211678 A JP2009211678 A JP 2009211678A
Authority
JP
Japan
Prior art keywords
coordinates
vehicle
traffic accident
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008137231A
Other languages
English (en)
Other versions
JP4989557B2 (ja
Inventor
Junji Tanaka
準二 田中
Yuki Nikaido
雄基 二階堂
Masato Nakajima
真人 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2008137231A priority Critical patent/JP4989557B2/ja
Publication of JP2009211678A publication Critical patent/JP2009211678A/ja
Application granted granted Critical
Publication of JP4989557B2 publication Critical patent/JP4989557B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

【課題】車載カメラが撮影した事故映像に基づいて、様々な交通事故原因によって発生し得る交通事故発生時の状況を高精度に解析すること。
【解決手段】本発明の交通事故解析装置1は、情報を出力する表示部13と、入力操作を受け付ける操作部15と、動画像を入力する画像入力部11と、前記動画像を構成する静止画像上の任意のピクセル座標を、車載カメラが設置された位置を基準として設定された地上座標系に変換する射影変換部193と、前記射影変換部によって変換された前記任意のピクセル座標に対応する地上座標に基づいて、前記車載カメラが撮影した動画像に含まれる、解析されるべき対象物の変移量を算出する他対象変移量算出部197と、を有する演算処理部19と、を備えている。
【選択図】図1

Description

本発明は、車両に搭載される車載カメラによって撮影した交通事故発生時の動画像を基に、該交通事故発生時の状況を解析する交通事故解析装置、交通事故解析方法、及び、その交通事故解析方法を実行するプログラムに関する。
従来、交差点に設置されたカメラを備え、そのカメラによりその交差点付近の撮影を継続して行い、その交差点付近で交通事故が発生したときに、カメラにより撮影した映像のうちの、その交通事故が発生した時点を含む箇所(以後、この箇所のことを事故映像と称する。)を記録する交通事故記録装置はよく知られている。現在では、この交通事故記録装置によって記録された事故映像を利用して、該交通事故発生当時の状況を解明することが期待されている。
事故映像の一つの用途としては、事故映像を人が視聴することによって交通事故発生原因を検証することが挙げられる。しかしながら、この用途では、人がその事故映像から事故発生当時の状況を判断することになるため、交通事故に係わった車両が事故発生当時どのような走行をしていたかを定量的に判断することが困難であった。例えば、事故発生当時における該車両の走行速度、走行方向などを人が正確に判断することは、極めて困難である。
また、事故映像の一つの用途としては、計算機による画像処理技術を利用して事故映像を解析することが挙げられる。この用途では、交通事故に係わった車両が事故発生当時どのような走行をしていたかを定量的に判断することが可能となるため、注目されている。例えば、特許文献1には、ある場所に固定的に設置されたカメラ、特に交差点に設置されたカメラ、が撮影した事故映像を解析の対象とした交通事故記録映像解析システムについて開示されている。
特開2004−102426号公報
しかしながら、全ての車道で発生し得る交通事故時の事故映像を撮影するために、全ての車道を少なくとも一台のカメラが撮影するように該カメラを設置することは、極めて困難である。このため、ある場所に固定的に設置されたカメラによる事故映像を解析の対象とする特許文献1のシステムでは、カメラが設置されていない場所で発生した交通事故には対処のしようがない。
そこで、任意の場所で発生し得る交通事故に対処するために、車両に搭載された車載カメラが撮影した事故映像を解析の対象とする交通事故解析装置についての研究が進められている。この交通事故解析装置では、カメラが移動することを想定していない特許文献1のシステムとは異なり、事故映像を撮影する車載カメラ自身が車両と共に移動していることを想定しなければならず、したがって、車載カメラの移動を考慮に入れた事故映像の解析アルゴリズムを発明する必要がある。
近年、研究が進められている上記解析アルゴリズムは、主に、車載カメラを搭載した車両(以下、自車両と称する。)と、自車両の進行方向前方の物体(この物体には、自車両前方を自車両と同一の進行方向に走行する他車両や、自車両前方を自車両と逆の進行方向に走行する他車両や、標識、ガードレールなどの車道に設けられた固定物などが含まれる。)と、が係わる追突事故発生時の事故映像を解析の対象としている。上記解析アルゴリズムが追突事故発生時の事故映像を解析の対象としている理由は、追突事故が交通事故原因として多いことによる。
しかしながら、上記解析アルゴリズムを、交通事故原因の異なる他の交通事故、例えば、追突事故と同じく交通事故原因として多い出会い頭での事故(自車両と、自車両の進行方向とは異なる方向を走行する他車両と、が係わる交通事故。)に適用すると、その出会い頭での事故発生時の状況を精度良く解析することができない。不意に車載カメラの撮影範囲に現れる他車両は、事故映像から他車両の走行状況を認識し辛いためである。このため、様々な交通事故原因によって発生し得る交通事故発生において、他車両の走行状況を高精度に解析することができる解析アルゴリズムが求められる。
本発明は、上述した事情に鑑みてなされたものであり、その目的は、車載カメラが撮影した事故映像に基づいて、様々な交通事故原因によって発生し得る交通事故発生時において、他車両の走行状況を高精度に解析することができる交通事故解析装置、交通事故解析方法、及びプログラムを提供することにある。
前述した目的を達成するために、本発明に係る交通事故解析装置は、下記(1)〜(4)を特徴としている。
(1) 情報を出力する表示部と、
入力操作を受け付ける操作部と、
動画像を入力する画像入力部と、
前記動画像を構成する静止画像上の任意のピクセル座標を、車載カメラが設置された位置を基準として設定された地上座標系に変換する射影変換部と、前記射影変換部によって変換された前記任意のピクセル座標に対応する地上座標に基づいて、前記車載カメラが撮影した動画像に含まれる、解析されるべき対象物の変移量を算出する他対象変移量算出部と、を有する演算処理部と、
を備えた交通事故解析装置であって、
前記表示部は、前記動画像を構成する、時間的な連続性を有する少なくとも二つの静止画像を出力し、
前記操作部は、前記表示部に出力した前記少なくとも二つの静止画像毎に、無限遠点に対応する無限遠点ピクセル座標と、車道に設置された第1の固定物に位置する第1のピクセル座標と、前記第1の固定物とは異なる、車道に設置された第2の固定物に位置する第2のピクセル座標と、解析されるべき対象物の進行方向前方の前端部に位置するピクセル座標であって、該前端部における該静止画像に向かって奥行き方向に並ぶ二つの端部に位置する第3のピクセル座標及び第4のピクセル座標と、を、交通事故を解析するための条件として入力し、
前記射影変換部は、前記操作部によって入力した前記無限遠点ピクセル座標と、前記車載カメラが設置された位置を基準として設定された地上座標系と、に基づいて、前記少なくとも二つの静止画像それぞれにおける前記第1のピクセル座標と前記第2のピクセル座標と前記第3のピクセル座標と前記第4のピクセル座標とを前記地上座標系に変換し、
前記他対象変移量算出部は、前記少なくとも二つの静止画像それぞれにおける、前記第1のピクセル座標に対応する地上座標と前記第2のピクセル座標に対応する地上座標と前記第3のピクセル座標に対応する地上座標と前記第4のピクセル座標に対応する地上座標とに基づいて、前記対象物の変移量を算出し
前記表示部は、前記他対象変移量算出部によって算出した前記他対象の変移量を出力する、
こと。
(2) 上記(1)の構成の交通事故解析装置において、
前記演算処理部は、前記画像入力部によって入力した画像の歪みを補正する歪み補正部をさらにを備え、
前記表示部は、前記歪み補正部によって歪みを補正した動画像を構成する、時間的な連続性を有する少なくとも二つの静止画像を出力する、
こと。
(3) 上記(1)または(2)の構成の交通事故解析装置において、
前記他対象変移量算出部は、前記他対象の変移量として、少なくとも、前記他対象が移動した距離、前記他対象が移動した方向、及び、前記他対象の向きの変化量を算出する、
こと。
(4) 上記(1)から(3)のいずれか一つの構成の交通事故解析装置において、
前記表示部は、前記自車両変移量算出部によって算出した前記車両の変移量、または前記他対象変移量算出部によって算出した前記他対象の変移量を、交通事故が発生した地域を含む地図データ上に出力する、
こと。
上記(1)の構成の交通事故解析装置によれば、車載カメラが撮影した事故映像に基づいて、様々な交通事故原因によって発生し得る交通事故発生時において、他車両の走行状況を高精度に且つ正確に解析することができる。
また、上記(2)の構成の交通事故解析装置によれば、車載カメラに用いられるレンズが広角レンズであっても、事故映像の解析する際に解析精度を落とす原因になるレンズの歪みを補正することができるため、交通事故発生時の状況を高精度に解析することができる。
また、上記(3)の構成の交通事故解析装置によれば、車載カメラによって撮影された他対象の交通事故発生時の状況を具体的に把握することができる。
また、上記(4)の構成の交通事故解析装置によれば、事故発生時の自車両の変移量及び他車両の変移量を地図上に表示することができるため、事故現場の周囲の環境が事故に与えた影響についても検討することを可能にする。
また、前述した目的を達成するために、本発明に係る交通事故解析方法、及びプログラムは、下記(5)及び(6)を特徴としている。
(5) 車両に搭載された車載カメラにより車道を撮影した動画像に基づいて、交通事故を解析する交通事故解析方法であって、
前記車載カメラにより撮影した動画像を入力する画像入力ステップと、
前記画像入力ステップにて入力した動画像を構成する、時間的な連続性を有する少なくとも二つの静止画像を表示する画像表示ステップと、
前記少なくとも二つの静止画像それぞれにおける、無限遠点に対応する無限遠点ピクセル座標と、車道に設置された第1の固定物に位置する第1のピクセル座標と、前記第1の固定物とは異なる、車道に設置された第2の固定物に位置する第2のピクセル座標と、解析されるべき対象物の進行方向前方の前端部に位置するピクセル座標であって、該前方端部における該補正画像に向かって奥行き方向に並ぶ二つの端部に位置する第3のピクセル座標及び第4のピクセル座標と、を、交通事故を解析するための条件として入力する解析条件入力ステップと、
前記解析条件入力ステップにて入力した前記無限遠点ピクセル座標と、前記車載カメラが設置された位置を基準として設定された地上座標系と、に基づいて、前記少なくとも二つの静止画像それぞれにおける前記第1のピクセル座標と前記第2のピクセル座標と前記第3のピクセル座標と前記第4のピクセル座標とを前記地上座標系に変換する変換ステップと、
前記少なくとも二つの静止画像それぞれにおける、前記第1のピクセル座標に対応する地上座標と前記第2のピクセル座標に対応する地上座標と前記第3のピクセル座標に対応する地上座標と前記第4のピクセル座標に対応する地上座標とに基づいて、前記他対象の変移量を算出する他対象変移量算出ステップと、
前記他対象変移量算出ステップにて算出した前記他対象の変移量を出力する変移量出力ステップと、
を有すること。
(6) コンピュータに、上記(5)の構成の交通事故解析方法の各ステップを実行させること。
上記(5)の構成の交通事故解析方法、及び上記(6)の構成のプログラムによれば、車載カメラが撮影した事故映像に基づいて、様々な交通事故原因によって発生し得る交通事故発生時において、他車両の走行状況を高精度に且つ正確に解析することができる。
本発明によれば、車載カメラが撮影した事故映像に基づいて、様々な交通事故原因によって発生し得る交通事故発生時において、他車両の走行状況を高精度に且つ正確に解析することができる。この結果、自車両の交通事故発生時の状況を容易にかつ正確に判断することができる。
以下、本発明に係る好適な実施形態を図面に基づいて詳細に説明する。
(第1実施形態)
図1は、本発明の一実施形態に係る交通事故解析装置のブロック図である。本発明の一実施形態に係る交通事故解析装置1は、画像入力部11と、表示部13と、操作部15と、演算処理部19と、を含んで構成される。交通事故解析装置1は、PCに代表される計算機によって実現される。
画像入力部11は、車載カメラによって撮影された動画像を交通事故解析装置1に入力する機能を備えている。画像入力部11を構成するハードウェアの一例を説明すると、車載カメラが、撮影した動画像をCF(CompactFlush)カードに記録する場合、画像入力部11は、そのCFカードからデータの読み取りまたはそのCFカードへのデータの書き込みを行うCFカードR/W、及び、一端がCFカードR/Wに他端が交通事故解析装置1に接続され、CFカードR/Wと交通事故解析装置1の間でデータ通信を実施するUSBケーブル、によって構成される。なお、本発明の一実施形態では、画像入力部11がCFカードR/W及びUSBケーブルによって構成される場合について説明するが、画像入力部11を構成するハードウェアはこれに限られるものではない。画像入力部11を構成するハードウェアには、車載カメラから交通事故解析装置1へのデータ転送を実現する各種インタフェースを適用可能である。
表示部13は、演算処理部19による演算結果を電気信号に変換し、ディスプレイに出力する機能を備えている。表示部13を構成するハードウェアの一例を説明すると、表示部13は、PCの出力装置として利用される各種ディスプレイによって構成される。
操作部15は、交通事故解析装置1を利用して事故映像を解析しようとする者(解析者)によってなされた入力操作を電気信号に変換し、演算処理部19に出力する機能を備えている。操作部15を構成するハードウェアの一例を説明すると、操作部15は、マウス、キーボード、またはタッチパネルなどの入力デバイスによって構成される。
演算処理部19は、画像入力部11によって入力した動画像を構成するデータ、操作部15から入力した電気信号、及び、該演算処理部19に演算処理を実行させるためのプログラムに基づいて、演算処理を実行する。演算処理部19は、歪み補正部191と、射影変換部193と、他対象変移量算出部197と、の機能ブロックによって構成される。演算処理部19における各機能ブロックによる演算処理の詳細については、以降に説明する。演算処理部19を構成するハードウェアは、CPU、ROM、RAM、ビデオカード、A/D変換回路、D/A変換回路などの各種デバイスによって構成される。事故映像を解析する場合には、ハードディスクドライブに記録されている上記動画像を構成するデータ、及び上記プログラムを、演算処理部19を構成するこれらのデバイスのうちのRAMの記憶領域上に展開しておき、CPUがRAMに展開されたデータ及びプログラムを参照して上記機能ブロックによる演算処理を実行する。
次に、本発明の一実施形態に係る交通事故解析装置による交通事故解析処理の一連の流れを説明する。図2は、本発明の一実施形態に係る交通事故解析装置による交通事故解析処理の概略を示すフローチャートである。
図2に示すように、本発明の一実施形態に係る交通事故解析装置は、まず、事故映像(動画像)を撮影した車載カメラの位置を入力し、交通事故解析装置1(例えば、交通事故解析装置1が備えるRAM)に記録する(ステップ201。この処理のことを、車載カメラ取り付け位置入力処理と称する。)。
続いて、車載カメラが撮影した動画像を画像入力部11によって入力し、交通事故解析装置1(例えば、交通事故解析装置1が備えるハードディスクドライブ)に保存する(ステップ202。この処理のことを、事故映像入力処理と称する)。
続いて、事故映像入力処理によって保存した動画像を構成する、交通事故解析に必要な全てのフレームに生じている歪みを補正し、交通事故解析装置1(例えば、交通事故解析装置1が備えるRAM)に記録する(ステップ203。この処理のことを、歪み補正処理と称する。)
続いて、解析を行う上での条件となるパラメータの入力を促すために、歪み補正処理にて記録したフレームのうちの一つのフレームFn(動画像を構成するn番目のフレームをフレームFnと記載する。)を表示部13に出力し、上記パラメータの入力を操作部15によって受け付ける(ステップ204。この処理のことを、解析条件入力処理と称する。)。
続いて、解析条件入力処理にて入力したパラメータを参照して、解析条件入力処理にて表示部13に出力したフレームFnに対して解析を実行し、その解析結果を交通事故解析装置1(例えば、交通事故解析装置1が備えるRAM)に記録する(ステップ205。この処理のことを、変移量算出処理と称する。)。変量算出処理において、既にフレームFn−1に対して解析を実行しており、その解析結果が記録されている場合には、解析条件入力処理にて入力したパラメータとフレームFn−1に対する解析結果を参照して、解析条件入力処理にて表示部13に出力したフレームFnに対して解析を実行する。
上述した解析条件入力処理及び変移量算出処理を、時間的に連続するフレームFnに対してnを繰り上げ(ステップ206、N。ステップ207)つつ順次行い、事故映像を構成する動画像の最終フレームに対する解析を実行すると(ステップ206、Y)、続いて、変移量算出処理にて記録した一連の解析結果を適宜、表示部13に出力する(ステップ208。この処理のことを、変移量出力処理と称する。)。
次に、図2のフローチャートを参照して説明したステップ201からステップ205、及びステップ208の各処理について、詳細に説明する。
[車載カメラ取り付け位置入力処理]
図3(a)は、車載カメラ取り付け位置を入力する際の表示部による表示例である。図3に示す表示例では、車載カメラ−路面の距離31、車載カメラ−自車両前方先端の距離32、自車両の車幅33、の3つの項目に入力を促す画面を表示することによって、その3つの項目への解析者による数値の入力を補助する。解析者は、予め測定しておいた、事故映像を撮影した車両における上記の項目の長さを、各項目が指し示すセルに入力することになる。このようにして入力された数値が、交通事故解析装置が備えるRAMに記憶される。
事故映像を撮影した車両における車載カメラ−路面の距離31及び車載カメラ−自車両前方先端の距離32を解析者が測定する際、どの位置をもって車載カメラが取り付けられた位置とするかについて定義する必要がある。車載カメラが取り付けられた位置は、厳密には、車載カメラのレンズの焦点の位置である。車載カメラ−路面の距離31を計測する場合、レンズの焦点の位置から当該焦点から鉛直方向下方に位置する路面の表面までの距離を計測する必要があり、また、車載カメラ−自車両前方先端の距離32を計測する場合、レンズの焦点の位置から当該焦点から進行方向前方に位置する自車両の前方端部までの距離を計測する必要がある。ただし、本発明の交通事故解析方法を実施する上では、実用上、車載カメラの外形を形成する筐体の任意の一点を車載カメラが取り付けられた位置とすればよい。
図3(b)は、交通事故に係わる他車両の形状を入力する際の表示部による表示例である。図3に示す表示例では、他車両前方先端の距離34、他車両の車幅35、の2つの項目に入力を促す画面を表示することによって、その2つの項目への解析者による数値の入力を補助する。解析者は、予め測定しておいた、事故映像に撮影されていた他車両における上記の項目の長さを、各項目が指し示すセルに入力することになる。このようにして入力された数値が、交通事故解析装置が備えるRAMに記憶される。
なお、車載カメラ−路面の距離31、車載カメラ−自車両前方先端の距離32、自車両の車幅33、他車両前方先端の距離34、他車両の車幅35、の5つの項目をパラメータとして入力する必要性については、後述する[変移量算出処理]及び[変移量出力処理]にて説明する。
[事故映像入力処理]
車載カメラが、撮影した動画像をCFカードに記録していた場合、交通事故解析装置1は、CFカードから該動画像を構成するデータを読み取り、ハードディスクドライブに書き込む。CFカードなどの記録媒体から交通事故解析装置のハードディスクドライブへのデータの転送する処理を実行する際には、例えば、PCに備わるOSの一機能として提供されているファイル管理ツールを利用する。
[歪み補正処理]
車載カメラが備えるレンズには、より広い範囲を撮影するために、広角レンズが利用されている。この結果、図4(a)の、樽型歪みを補正前の画像の一例のように、車載カメラが撮影した動画像には、画像中央を中心に屈曲した樽型の歪みが生じてしまう。歪みが生じた動画像を基に解析を行うとその歪みが解析結果の精度を下げてしまうため、図4(b)の、樽型歪みを補正した画像の一例のように、解析を実行する前に動画像に生じている樽型の歪みを補正しておく必要がある。
本発明の一実施形態に係る交通事故解析装置では、歪み補正処理として既存の技術(例えば、特開2004−102426号公報の図2、図4参照)を利用する。一般に、樽型歪み補正に関しては、レンズの焦点距離及び画角などに対応した定数が係数となる、画像の縦画像座標と横画像座標との関係を表す多項式(歪み補正関数)が用いられる。車載カメラを特定することができれば、その車載カメラに搭載されたレンズの焦点距離及び画角を特定することができ、その結果、歪み補正関数における上記定数もまた特定することができる。本発明の一実施形態に係る交通事故解析装置では、例えば、車載カメラ毎に、あるいはレンズの焦点距離及び画角毎に歪み補正関数における各定数の対応表を記録しておき、車載カメラの品番やレンズの焦点距離及び画角の入力を操作部15によって受け付けると、その対応表のうちの、その入力した条件に対応する各定数が読み取り、歪み補正関数を決定する。
本発明の一実施形態に係る交通事故解析装置は、[事故映像入力処理]にてハードディスクドライブに保存しておいた事故映像(動画像)を読み取り、その事故映像を構成する各フレームに対して上述のように決定した歪み補正関数を利用して歪み補正を実行し、歪みを補正した各フレームをRAMに記憶する。
なお、本発明の一実施形態に係る交通事故解析装置では、車載カメラが広角レンズを搭載している場合について説明するが、車載カメラが広角レンズを使う代わりに歪みの生じにくいレンズを搭載するようにしてもよい。この構成であれば、歪み補正処理を行うことは必須ではない。
[解析条件入力処理]
図5は、本発明の一実施形態に係る交通事故解析装置による解析条件入力処理の流れを示すフローチャートである。図5を参照して、事故映像の解析を行う上での条件となるパラメータを解析者から受け付ける処理について説明する。
まず、[歪み補正処理]にて歪み補正したフレームのうちの先頭のフレームF0を表示部13に出力する(ステップ501)。その後、フレームF0に対する解析条件入力処理を実行する操作を操作部15により受け付ければ(ステップ502、Y)、以降説明する解析条件入力処理に移行し、一方、フレームF0に対する解析条件入力処理をスキップする操作を操作部15により受け付ければ、フレームF0に対する解析条件入力処理及び変移量算出処理をスキップし、[歪み補正処理]にて歪み補正したフレームのうちの、次のフレームF1を表示部13に出力する(ステップ506)。
歪み補正したフレームを表示させ、そのフレームに対する事故映像の解析を行う上での条件となるパラメータを入力する構成の場合、解析者は、表示されたフレームを視て、そのフレームを解析の対象とすべきか否かを判断することができる。例えば、事故映像のうちの先頭のフレームから数フレームは、交通事故が発生した要因とは関わりの無い、またはかかわりの薄い状況が撮影されたフレームであり、解析する必要がない場合が多い。また、事故映像のうちの最終のフレームに至る数フレームは、交通事故後、既に自車が停止した状況が撮影されたフレームであることが多いため、解析する必要がない場合が多い。このようなフレームに対する解析条件入力処理をスキップすることによって、解析の必要性の低いフレームに対する解析条件の入力に係る手間を省くことができるとともに、そのフレーム対する解析を実行しないことによって、演算処理に係る負担を軽減することができる。なお、一旦フレームFnに対する解析条件入力処理をスキップして、フレームFn+1を表示部13に表示した後、フレームFnを表示する操作を操作部15により受け付ければ、再度、フレームFnを表示部13に出力し、そのフレームFnに対する解析条件入力処理を実行する操作を受け付けるようにしてもよい。これにより、解析の必要性があったフレームに対する解析条件入力処理をスキップした場合にでも、スキップしたそのフレームに戻って、再度、そのフレームに対する解析条件入力処理を実行することができる。
フレームFnに対する解析条件入力処理を実行する操作を操作部15により受け付けた場合(ステップ502、Y)、まず、自車両が走行している道路領域(すなわち、車道のうちの、自車両の直進方向に沿った領域)を指定する操作を受け付ける(ステップ503)。図6は、道路領域を指定する際の表示部による表示例を示す図である。幅が変わらずに真っ直ぐに伸びる車道を鉛直方向上方から見た場合、車道の両端部に沿う直線が交差することはないが、該車道を車両の進行方向に沿って見た場合、車道の両端部に沿う直線がある一点で交差する。この一点は、FOE(Focus of Expansion)における無限遠点に相当する。図6の表示例は、無限遠点61aの画像座標を画像幅方向に移動させるX座標スクロールバー61b、無限遠点61aを画像高さ方向に移動させるY座標スクロールバー61c、車道の一端部(画像左側)に沿う直線62aの傾きを変える傾き(左)スクロールバー62b、車道の一端部(画像右側)に沿う直線63aの傾きを変える傾き(右)スクロールバー63b、のそれぞれのスクロールバーを操作することによって、無限遠点61a、直線62a、直線63a、の表示位置を制御する場合を示している。無限遠点61a、直線62a、直線63a、の画像座標を設定することによって、表示部13に表示されたフレームにおける、自車両が走行している道路領域を指定することになる。
なお、図6の表示例では、本発明の一実施形態に係る交通事故解析装置による解析条件入力処理として、各スクロールバーによって道路領域を指定する操作について説明したが、本発明の解析条件入力処理はこの操作に限定されるものではない。本発明の解析条件入力処理には、画像における無限遠点61aの画像座標、及び、その無限遠点61aを一端とする直線62a、直線63aの傾き(または直線62a、直線63aの他端の画像座標)を指定するための種々のユーザインタフェースを適用可能である。
なお、本発明の一実施形態に係る交通事故解析装置による解析条件入力処理において、道路領域を指定する操作を解析者が行うようにしたが、これは、本発明の交通事故解析装置によって解析される事故映像が、車道の両端部を規定する白線が無い、または薄れている一般道路にて発生した交通事故の動画像である場合を想定しているためである。解析対象となる事故映像が、上記白線を画像上から明確に判断できる車道(例えば高速道路。)にて発生した交通事故の動画像である場合には、事故映像を構成する各フレームから白線を特定し(この画像処理技術は、例えば、特開2000−276697号公報に開示されている。)、上述した無限遠点61a、直線62a、直線63a、の表示位置を算出することによって、自車両が走行している道路領域を算出するようにしてもよい。
なお、無限遠点61aの画像座標をパラメータとして入力する必要性については、後述する[変移量算出処理]にて説明する。
ステップ503にて、自車両が走行している道路領域を指定した後、続いて、その道路領域に設置されている少なくとも二つの固定物の画像座標を指定する操作を受け付ける(ステップ504)。固定物としては、例えば、路面文字(例えば、「止まれ」、「速度落とせ」など)、排水溝、電柱、停止線、横断歩道、事故映像において駐停車中の車両、などの事故映像において不動であると判断できるものである。図7は、二つの固定物を指定する際の表示部による表示例を示す図である。図7の表示例は、道路領域における排水溝71aを第1の固定物、路面文字72aを第2の固定物として指定する場合のものであり、排水溝71aの角に相当する画像座標に第1のフラッグ71bを、路面文字72aの先端に相当する画像座標に第2のフラッグ72bを、それぞれ表示させたものである。
固定物には、路面文字、排水溝、停止線、横断歩道などのように鉛直方向の高さをほとんど無視できるものがあり、一方で電柱、車両などのように鉛直方向の高さを無視できないものがある。解析者が、鉛直方向の高さを無視できないものを固定物として選択し、その固定物の画像座標を指定する操作を行う場合、高さゼロの面(すなわち、車道表面と同じ高さ)における固定物の画像座標を指定することによって、解析をより高精度に行うことができる。この理由については、後述する[変移量算出処理]にて説明する。
なお、該道路領域の外の領域に設置されている固定物を指定する構成であっても構わない。ステップ504において、ステップ503にて指定した道路領域上の固定物を指定するように説明したのは、上述した高さゼロの面における固定物の画像座標を指定することを無意識的に解析者に促すためである。道路領域上には、鉛直方向の高さをほとんど無視できる固定物しかないため(道路領域上に、車両の進行を阻害する、鉛直方向の高さを無視できない固定物があることは考え難い。)、解析者は、鉛直方向の高さをほとんど無視できる固定物を必然的に選択することになる。該道路領域の外の領域に設置されている固定物を解析者が指定する場合であっても、高さゼロの面における固定物の画像座標を指定することによって、解析をより高精度に行うことができる。
なお、少なくとも二つの固定物の画像座標をパラメータとして入力する必要性については、後述する[変移量算出処理]にて説明する。
ステップ504にて、少なくとも二つの固定物の画像座標を入力した後、続いて、他対象の二つの画像座標を指定する操作を受け付ける(ステップ505)。ここで、他対象は、交通事故に係わる人や、自車両を除く、自転車、自動二輪車、自動四輪者などの他車両や、自車両が衝突した電柱、壁などの人や他車両以外の固定物、を総称している。図8は、他対象を指定する際の表示部による表示例を示す図である。図8の表示例は、他車両81a(車載カメラを搭載した自車両以外の車両)を他対象として指定する場合のものであり、高さゼロの面における他対象の二つの画像座標81b、81cを結ぶ直線81dを表示させたものである。
他対象は、鉛直方向の高さを無視できないものである。このため、解析者が、鉛直方向の高さを無視できない他対象を選択し、その他対象の画像座標を指定する操作を行う場合、高さゼロの面における他対象の画像座標を指定することによって、解析をより高精度に行うことができる。図8の表示例では、高さゼロの面における他車両81aの二つの画像座標81b、81cとして、他車両81aを鉛直方向上方から見たときに車道に投影される、該他車両81aの進行方向前方のバンパーの両端部を指定している。
なお、他対象の二つの画像座標をパラメータとして入力する必要性については、後述する[変移量算出処理]にて説明する。
上述した、無限遠点61a、直線62a、直線63a、の画像座標の入力と、少なくとも二つの固定物の画像座標の入力と、フレームに他対象が撮影されている場合には他対象の二つの画像座標の入力と、を完了すると、続く[変移量算出処理]に移行する。なお、ステップ503、ステップ504、ステップ505の処理の順に各パラメータを入力することが、事故映像に対する解析を高精度に行うという点から好ましいが、この順に限るものではない。
[変移量算出処理]
図9は、本発明の一実施形態に係る交通事故解析装置による変移量算出処理の流れを示すフローチャートである。図9を参照して、事故映像に対する解析処理について説明する。
フレームF0に対する解析条件入力処理が完了すると、[車載カメラ取り付け位置入力処理]にて入力した車載カメラ−路面の距離31、及び[解析条件入力処理]にて入力した無限遠点61aの画像座標に基づいて、フレームF0における二つの固定物の画像座標及び他対象の二つの画像座標に対して射影変換処理を実行する。
射影変換処理について説明すると、まず、数1に示す三次元射影変換式を線形化し、基準点である無限遠点61aの地上座標(X、Y、Z)=(0、∞、車載カメラ−路面の距離)と該無限遠点61aの画像座標(x、y)=(x0、y0)とを代入することで、パラメータbi(i=1、2、3…11)を推定する。なお、地上座標のX軸、Y軸、Z軸の向きはそれぞれ、X軸が車両進行方向に対して垂直な方向に設定され、Y軸が車両進行方向に設定され、Z軸が鉛直方向に設定される。このように設定された地上座標系において、車両の直進方向に車載カメラから無限に離れた無限遠点61a地上座標(X、Y、Z)は、(0、∞、車載カメラ−路面の距離)と表現できる。また、無限遠点61aの画像座標(x、y)には、[解析条件入力処理]にて入力した無限遠点61aの画像位置を(x0、y0)として用いる。
Figure 2009211678
続いて、数1を変形した数2に、推定したパラメータbiと[解析条件入力処理]にて入力した二つの固定物の画像座標を代入し、該二つの固定物の地上座標を算出する(ステップ901)。なお、地上座標が3つの変数X、Y、Zで表現されるのに対し、独立した式が二つの式しかないため、二つの固定物の地上座標のうちのZ座標は「0」と仮定している。射影変換処理において、二つの固定物の地上座標のうちのZ座標を「0」と仮定する必要があるため、[解析条件入力処理]にてその固定物の画像座標を指定する操作を行う場合、高さゼロの面(すなわち、Z座標「0」)における固定物の画像座標を指定する必要があった。
Figure 2009211678
さらに、[解析条件入力処理]にて他対象の二つの画像座標がパラメータとして入力されている場合、上記二つの固定物の画像座標に対して射影変換処理を実行したように、他対象の二つの画像座標に対して射影変換処理を実行する。すなわち、数1を変形した数2に、推定したパラメータbiと[解析条件入力処理]にて入力した他対象の二つの画像座標を代入し、該他対象の二つの地上座標を算出する(ステップ902)。
ステップ901及びステップ902にて算出される、二つの固定物の地上座標(X、Y)及び他対象の二つの地上座標(X、Y)は、鉛直方向上方から射影した車道上の点として表現され、その座標系は、車載カメラの設置位置(厳密には、車載カメラのレンズの焦点の位置)を原点(0、0)とし、X軸が車両進行方向に対して垂直な方向に設定され、Y軸が車両進行方向に設定される。このように、少なくとも二つの固定物の画像座標及び他対象の二つの画像座標に対する射影変換処理を実行することによって、該少なくとも二つの固定物の画像座標及び他対象の二つの画像座標を車道表面における地上座標へと変換することができる。
ステップ901及びステップ902にて算出した二つの固定物の地上座標と他対象の二つの地上座標をフレームの順番(すなわち、0番目)に対応させてRAMに記録する(ステップ903)。上述したステップ901及びステップ902では、事故映像の先頭のフレームF0に対する射影変換処理であるため(ステップ904、Y)、続いて、[歪み補正処理]にて歪み補正したフレームのうちの、フレームを繰り上げ(ステップ908)次のフレームF1を表示部13に出力する(ステップ506)。以降、[解析条件入力処理]におけるステップ501からステップ505にかけての処理をフレームF1に対して実行し、解析条件を入力する。このとき、ステップ504においてフレームF1に対して指定する二つの固定物の指定箇所、及びステップ505においてフレームF1に対して指定する他対象の指定箇所は、フレームF0に対して指定した箇所と同一である必要がある。続いて、ステップ901からステップ902にかけての処理をフレームF1に対して実行し、二つの固定物の地上座標と他対象の二つの地上座標を算出し、算出した二つの固定物の地上座標と他対象の二つの地上座標をフレームの順番(すなわち、1番目)に対応させてRAMに記録する(ステップ903)。
あるフレームFn−1で指定していた二つの固定物のいずれか一方または両方が、自車両の移動に伴って車載カメラの撮影範囲から外れることによって、次のフレームFnに含まれなくなることが考えられる。この場合には、再度ステップ504において、フレームFnにおける別の二つの固定物を指定する必要がある。フレームFn+1以降のフレームに対して指定する二つの固定物の指定箇所は、フレームFnに対して指定した箇所と同一である必要がある。
続いて、時間的な連続性を有する二つのフレームに関して算出した二つの固定物の地上座標を基に、自車両の変移量を算出する(ステップ905。自車両の変移量を算出する処理のことを以後、自車両変移量算出処理と称する。)。図10は、本発明の一実施形態に係る交通事故解析装置による自車両変移量算出処理を説明する図である。図10(a)は、フレームF0に対応する二つの固定物の地上座標をプロットした図である。図10(b)は、フレームF1に対応する二つの固定物の地上座標をプロットした図である。図10(a)において、第1の固定物が位置する地上座標をP1(x1、y1)、第2の固定物が位置する地上座標をP2(x2、y2)、として記載している。また、図10(b)において、第1の固定物が位置する地上座標をP1’(x1’、y1’)、第2の固定物が位置する地上座標をP2’(x2’、y2’)、として記載している。
第1の固定物及び第2の固定物が、車道上に設置された不動の対象であることを考慮すると、フレームF0における第1の固定物の地上座標P1(x1、y1)がフレームF1における第1の固定物の地上座標P1’(x1’、y1’)へ、フレームF0における第2の固定物の地上座標P2(x2、y2)がフレームF1における第2の固定物の地上座標P2’(x2’、y2’)へ、それぞれ移動したのは、自車両が進行したために相対的に移動したためと考えることができる。このため、第1の固定物の地上座標P1、P1’及び第2の固定物の地上座標P2、P2’の変化量から、フレームF0−フレームF1間における自車両の変移量を算出することができる。
まず、自車両の変移量のうち、該自車両が移動した距離L及び移動した方向Vを算出する。図10(c)は、自車両が移動した距離L及び移動した方向Vの算出方法を説明する図である。自車両変移量算出処理では、自車両は、フレームF1における第1の固定物の地上座標P1’からフレームF0における第1の固定物の地上座標P1へ移動したものと考える。このため、自車両が移動した距離L01(フレームFnからフレームFn+1にかけての自車両が移動した距離を、L(n)(n+1)と表記することにする。ここでは、フレームF0からフレームF1にかけての距離であるため、L01と表記している。)は、数3の式によって算出することができる。また、自車両が移動した方向V01(フレームFnからフレームFn+1にかけて自車両が移動した方向を、V(n)(n+1)と表記することにする。ここでは、フレームF0からフレームF1にかけての方向であるため、V01と表記している。)は、数4の式によって算出することができる。
Figure 2009211678
Figure 2009211678
また、自車両の変移量のうち、ハンドルによる舵角の操作によって変わる、該自車両の車体の向きの変化量ΔΘを算出する。図10(d)は、自車両の車体の向きの変化量ΔΘの算出方法を説明する図である。車体の向きの変化量ΔΘ01は(フレームFnからフレームFn+1にかけての車体の向きの変化量を、ΔΘ(n)(n+1)と表記することにする。ここでは、フレームF0からフレームF1にかけての車体の向きの変化量であるため、ΔΘ01と表記している。)、図10(d)に示すように、フレームF1における第1の固定物の地上座標P1’とフレームF0における第1の固定物の地上座標P1とを重ね合わせるように、フレームF1における第1の固定物の地上座標P1’とフレームF1における第2の固定物の地上座標P2’を移動させた場合の、∠P2’P1’P2(または、∠P2’P1P2)と一致する。∠P2’P1’P2は、ベクトルP1’P’とベクトルP1’P2の内積によって算出することができる。自車両変移量算出処理では、上述した移動した距離L、移動した方向V、車体の向きの変化量ΔΘを算出し、これらの情報を時系列順にRAMに記憶する。
なお、本発明の一実施形態に係る交通事故解析装置による自車両変移量算出処理は、上述したとおりであるが、フレームFn−1における第1、2の固定物の地上座標と、フレームFnにおける第1、2の固定物の地上座標と、に基づいて自車両の変移量を算出する各種アルゴリズムを適用可能である。
続いて、時間的な連続性を有する二つのフレームを基に、他対象の変移量を算出する(ステップ906。他対象の変移量を算出する処理のことを以後、他対象変移量算出処理と称する。)。図11は、本発明の一実施形態に係る交通事故解析装置による他対象変移量算出処理を説明する図である。図11(a)は、フレームF0に対応する二つの固定物の地上座標と他対象の地上座標をプロットした図である。図11(b)は、フレームF1に対応する二つの固定物の地上座標と他対象の地上座標をプロットした図である。図11(a)において、P1、P2は、図10を参照して説明したとおりであり、他対象の二つの地上座標のうちの一つをQ1(x3、y3)、他対象の二つの地上座標のうちの残りの一つをQ2(x4、y4)、として記載している。また、図11(b)において、P1’、P2’は、図10を参照して説明したとおりであり、他対象の二つの地上座標のうちの一つをQ1’(x3’、y3’)、他対象の二つの地上座標のうちの残りの一つをQ2’(x4’、y4’)、として記載している。
他対象の二つの地上座標のうちの一つQ1はQ1’へ、他対象の二つの地上座標のうちの残りの一つQ2はQ2’へそれぞれ変移しているが、この変移は、走行している車載カメラから見たものであるため、自車両の変移に対する相対的な変移である。このため、まず、他対象の二つの地上座標の変移から、自車両の変移に伴う相対的な変移を除く必要がある。
図11(c)は、他対象の二つの地上座標の変移を絶対的な変移へ変換する処理を説明する図である。図11(c)に示すように、フレームF1における第1の固定物の地上座標P1’、P2’がフレームF0における第1の固定物の地上座標P1、P2に一致するように、フレームF1における座標系を変換する。この座標系の変換には、自車両変移算出処理で算出した移動した方向V、車体の向きの変化量ΔΘを基に算出する。この座標系の変換の結果、フレームF0と、座標系が変換されたフレームF1とは、停止中の自車両の車載カメラによって撮影されたものと同様であり、つまり、該フレームF1から自車両の変移に伴う相対的な変移を除くことができる。この座標系の変換に伴い、他対象の二つの地上座標のうちの一つQ1’(x3’、y3’)はQ1”(x3”、y3”)へ変換され、他対象の二つの地上座標のうちの残りの一つQ2’(x4’、y4’)はQ2”(x4”、y4”)へ変換されたものとする。
図11(c)に示すように、他対象は、フレームF0における他対象の地上座標Q1、Q2から、座標変換されたフレームF1における他対象の地上座標Q1”、Q2”へ、移動したと考えることができる。このため、他対象の二つの地上座標のうちの一つQ1、Q1”、及び他対象の二つの地上座標のうちの残りの一つQ2、Q2”の変化量から、フレームF0−フレームF1間における他対象の変移量を算出することができる。
まず、他対象の変移量のうち、該他対象が移動した距離l及び移動した方向vを算出する。図11(d)は、他対象が移動した距離l及び移動した方向vの算出方法を説明する図である。他対象変移量算出処理では、他対象は、フレームF0における他対象の二つの地上座標のうちの一つQ1からフレームF1における他対象の二つの地上座標のうちの一つQ1”へ移動したものと考える。このため、他対象が移動した距離l01(フレームFnからフレームFn+1にかけての他対象が移動した距離を、l(n)(n+1)と表記することにする。ここでは、フレームF0からフレームF1にかけての距離であるため、l01と表記している。)は、数5の式によって算出することができる。また、他対象が移動した方向v01(フレームFnからフレームFn+1にかけて他対象が移動した方向を、v(n)(n+1)と表記することにする。ここでは、フレームF0からフレームF1にかけての方向であるため、v01と表記している。)は、数6の式によって算出することができる。
Figure 2009211678
Figure 2009211678
また、他対象の変移量のうち、ハンドルによる舵角の操作によって変わる、該他対象の車体の向きの変化量Δθを算出する。図11(e)は、他対象の車体の向きの変化量Δθの算出方法を説明する図である。車体の向きの変化量Δθは、図11(e)に示すように、フレームF0における他対象の二つの地上座標のうちの一つQ1とフレームF1における他対象の二つの地上座標のうちの一つQ1”とを重ね合わせるように、フレームF1における他対象の二つの地上座標Q1”、Q2”を移動させた場合の、∠Q2”Q1”Q2(または、∠Q2”Q1Q2)と一致する。∠Q2”Q1”Q2は、ベクトルQ1”Q2”’とベクトルQ1”Q2の内積によって算出することができる。他対象変移量算出処理では、上述した移動した距離l、移動した方向v、車体の向きの変化量Δθを算出し、これらの情報を時系列順にRAMに記憶する。
ステップ905における自車両変移量算出処理、及びステップ906における他対象変移量算出処理を行った後、[歪み補正処理]にて歪み補正したフレームのうちの、次のフレームF2を表示部13に出力する(ステップ907、908、506)。以降、自車両変移量算出処理及び他対象変移量算出処理をフレームの順番nを繰り上げ(ステップ908)つつ順次行い、事故映像を構成する動画像の最終フレームに対する解析を実行すると(ステップ907、Y)、変移量算出処理を終了する。
なお、本発明の一実施形態に係る交通事故解析装置による他対象変移量算出処理は、上述したとおりであるが、フレームFn−1における第1、2の固定物の地上座標、及び他対象の2つの地上座標と、フレームFnにおける第1、2の固定物の地上座標、及び他対象の2つの地上座標と、に基づいて自車両の変移量を算出する各種アルゴリズムを適用可能である。
[変移量出力処理]
[変移両算出処理]にてRAMに記憶した、距離L、移動した方向V、車体の向きの変化量ΔΘに基づく自車両の変移量、及び他車両に関する移動した距離l、移動した方向v、車体の向きの変化量Δθに基づく他車両の変移量を表示部13に表示することによって、交通事故発生時における自車両の走行軌跡と他対象の走行軌跡を可視化する。図12は、本発明の一実施形態に係る交通事故解析装置による走行軌跡の表示例である。図12(a)から図12(d)にかけての表示例は、フレームレート10(fps)の事故映像を解析した場合の、0.2秒間隔おきの解析結果を出力したものである。図12(a)は、解析を開始してから0.6秒後の解析結果を、図12(b)は、解析を開始してから0.8秒後の解析結果を、図12(c)は、解析を開始してから1.0秒後の解析結果を、図12(d)は、解析を開始してから1.2秒後の解析結果を、それぞれ示している。なお、図12の各表示例は、自車両の変異量と他車両の変異量とを同時に出力する場合の表示例であるが、他車両の変移量のみを表示して、他車両の走行軌跡のみを解析者に確認させるするようにしてもよい。
図12の各表示例において、下方から上方に向けて移動している四角形が自車両121であり、左方から右方に向けて移動している四角形が他対象122である。自車両121の四角形の形状は、[車載カメラ取り付け位置入力処理]にて入力した車載カメラ−自車両前方先端の距離32及び自車両の車幅33によって決定される。すなわち、自車両121の四角形の形状の縦の長さ(上下の長さ)は車載カメラ−自車両前方先端の距離32をによって、自車両121の四角形の形状の横の長さ(左右の長さ)は自車両の車幅33によって、それぞれ決定される。図12の各表示例における自車両121の地上座標は、解析を開始した以降における該自車両121が移動した距離L、移動した方向Vを逐次足し合わせることによって特定することができ、特定した自車両121の地上座標の前方に、縦の長さを車載カメラ−自車両前方先端の距離32とし、横の長さを自車両の車幅33とする四角形を表示させる。
同様に、他車両122の四角形の形状は、[車載カメラ取り付け位置入力処理]にて入力した他車両前方先端の距離34及び他車両の車幅35によって決定される。すなわち、他車両122の四角形の形状の縦の長さ(上下の長さ)は他車両前方先端の距離34によって、他車両122の四角形の形状の横の長さ(左右の長さ)は他車両の車幅35によって、それぞれ決定される。図12の各表示例における他対象122の地上座標は、解析を開始した以降における該他対象122が移動した距離l、移動した方向vを逐次足し合わせることによって特定することができ、特定した他対象122の地上座標の前方に、四角形を表示させる。
なお、ここでは、自車両121及び他車両122の地上座標の前方に四角形を表示させる表示例について説明したが、これに限るものではない。[車載カメラ取り付け位置入力処理]にて入力する条件を適宜変えることによって、自車両121及び他車両122を表す表示をより自車両及び他車両の形状に近いものにしてもよい。
さらに、車体の向きの変化量ΔΘに応じて自車両121を表す四角形を傾けて表示することによって、また、車体の向きの変化量Δθに応じて他対象122を表す四角形を傾けて表示することによって、自車両121の走行軌跡または他対象122の走行軌跡をより詳細に可視化することができる。
また、図12の各表示例において、各表示例の所定秒後のフレームにおける解析結果と、それまでのフレームにおける解析結果を識別可能に表示することによって(図12の各表示例では、所定秒後の自車両121及び他対象122を実線で、一方、それまでの自車両121及び他対象122を点線で、それぞれ表示している。)、自車両121の走行軌跡または他対象122の走行軌跡をより見やすくすることができる。
また、図12の各表示例において、自車両速度123及び他対象速度124を表示させている。自車両速度123は、自車両121がフレーム間に移動した距離L(n)(n+1)とフレームの時間間隔に基づいて算出する。同様に、他対象速度124は、他対象122がフレーム間に移動した距離l(n)(n+1)とフレームの時間間隔に基づいて算出する。例えば、図12(a)に表示されている自車両速度123は、自車両121がフレームF1からフレームF2にかけて移動した距離L12を、フレームの時間間隔0.1秒によって割ることによって算出されている。
また、図12の各表示例において、自車両121が走行する車道125、及び他対象122が走行する車道126を表示している。自車両121が走行する車道125は、[解析条件入力処理]にて入力した、無限遠点61a、車道125の両端部に沿う直線62a、直線63aの画像座標を基に射影変換処理を行い、表示部に表示させる。また、他対象122が走行する車道126もまた、[解析条件入力処理]にて車道126の両端部に沿う直線、直線の画像座標を入力するようにしておき、その画像座標を基に射影変換処理を行い、表示部に表示させるようにしてもよい。
以上、本発明の一実施形態に係る交通事故解析装置によれば、事故映像を撮影する車載カメラ自身が移動している場合であっても、他対象の走行軌跡を高精度に算出し、それらの走行軌跡を可視化することができる。この結果、交通事故が発生した場合における他対象の走行状況を事故映像から定量的に判断することができる。
また、本発明の一実施形態に係る交通事故解析装置によれば、如何なる原因によって発生し得る交通事故であっても、その交通事故発生時における他対象の走行状況を高精度に解析することができる。このため、本発明の一実施形態に係る交通事故解析装置は、解析対象とする交通事故原因を追突事故に限るものではない。追突事故と同程度に発生し得る出会い頭での事故に対しても適応することができる。
また、本発明の一実施形態に係る交通事故解析装置によれば、一台の自車両と一台の他対象とによって引き起こされる交通事故に適用できるのはもちろんのこと、[解析条件入力処理]において、交通事故に係わる複数台の他対象毎に二つの画像座標を入力することによって、一台の自車両と複数台の他対象によって引き起こされる交通事故に対しても適用することができる。さらに言えば、自車両が交通事故に巻き込まれておらず、複数の他対象が引き起こした交通事故を偶然にも撮影した場合であっても、その事故映像を解析することによってその交通事故が発生した状況や原因を定量的に判断することができる。
(第2実施形態)
以下、本発明に係る好適な別の実施形態を図面に基づいて詳細に説明する。
第1実施形態では、[射影変換処理]において、他対象の二つの地上座標のうちのZ座標を「0」と仮定する必要があるため、[解析条件入力処理]にてその他対象の画像座標を指定する操作を行う場合、高さゼロの面(すなわち、Z座標「0」)における他対象の画像座標を指定する必要があると述べた。しかしながら、解析者が、上記の高さゼロの面における他対象の画像座標を指定できないことも考えられる。例えば、自車両と他対象が衝突する直前のフレームにおいては、他対象が自車両に極めて接近しているためにフレーム中に他対象の高さゼロの面における箇所が撮影されていないことや、自車両のボディによって他対象の高さゼロの面における箇所が遮られて撮影されていないことが考えられる。このような場合を想定し、第2実施形態では、高さがゼロよりも大きい面における他車両81aの二つの画像座標81b、81cを指定することによって、高さゼロの面における他車両81aの二つの画像座標81b、81cを間接的に指定することができる手法について説明する。第2実施形態にて説明する[解析条件入力処理]及び[射影変換処理]以外の処理については、第1実施形態で説明したとおりであるため、ここでの説明を省略する。図13に、他対象を指定する際の表示部による表示例を示す図を示す。
まず、解析者は、[解析条件入力処理]にて他車両81aの二つの画像座標を指定する際、図13に示すように、高さがゼロよりも大きい面における他対象の画像座標を指定する。図13の表示例では、高さがゼロよりも大きい面における他車両81aの二つの画像座標131b、131cとして、他車両81aの2つのフロントランプを指定している。
[解析条件入力処理]にて高さがゼロよりも大きい面における他対象の画像座標を指定した場合、[解析条件入力処理]ではさらに、上述した他対象の二つの画像座標131b、131c(xa、ya)に対して、次の変換処理を行うことにより、該他対象の二つの画像座標(xa、ya)を高さゼロの面における画像座標(xb、yb)に変換する。そのためには、まず、他車両81aの二つの画像座標として指定した箇所の実際の高さh’を計測しておく必要がある。計測しておいた、他車両81aの二つの画像座標として指定した箇所の実際の高さh’、車載カメラ−路面の距離hを利用した下記の数7に、他対象の二つの画像座標(xa、ya)を代入することによって、高さゼロの面における画像座標(xb、yb)を得ることができる。このようにして変換した他対象の二つの画像座標(xb、yb)を高さゼロの面における他対象の画像座標とし、第1実施形態にて説明したステップ902にて、他対象の二つの地上座標を算出する。
Figure 2009211678
以上、本発明の第2実施形態に係る交通事故解析装置によれば、解析者が、高さゼロの面における他対象の画像座標をフレームから指定できない場合であっても、予め実際の高さが測定されている、ゼロよりも高さが大きい面における他対象の画像座標を指定することにより、高さゼロの面における他対象の画像座標を間接的に指定することができる。このため、他対象が自車両に極めて接近しているためにフレーム中に他対象の高さゼロの面における箇所が撮影されていない場合や、自車両のボディによって他対象の高さゼロの面における箇所が遮られて撮影されていない場合であっても、高さゼロの面における他対象の画像座標を指定することができ、この結果、高さゼロの面における他対象の画像座標を基に、解析をより高精度に行うことができる。
(第3実施形態)
以下、本発明に係る好適な別の実施形態を図面に基づいて詳細に説明する。
第3実施形態では、[変移量出力処理]にて、自車両の走行軌跡と他対象の走行軌跡を事故が発生した地域を含む地図上に重畳して出力する処理について説明する。走行軌跡を地図上に重畳して表示出力するために、[解析条件入力処理]及び[変移量出力処理]にて新たに処理を追加する。図14に、本発明の一実施形態に係る交通事故解析装置による解析条件入力処理の流れを示すフローチャートを、図15に、二つの固定物に対応する地図座標の入力例を示す。
[解析条件入力処理]において、少なくとも二つの固定物の画像座標を入力した後(ステップ504)、画像座標を入力した二つの固定物に対応する地図上の座標を入力する(ステップ1401)。以下、地図上の座標のことを地図座標と称する。画像座標を入力した二つの固定物に対応する地図座標を入力する入力例としては、図15に示すものが考えられる。
まず、事故が発生した地域を含む地図データ(好ましくは2次元データ)を表示部に表示する(図15(a))。地図データの縮尺については、解析者が任意に設定できる構成であればよい。解析者は、ステップ504にて画像座標を入力した二つの固定物が地図上において位置する地図座標151、152をそれぞれプロットする(図15(b))。地図座標としては、例えば、緯度、経度であってもよいし、地図を形成する画像のピクセル座標であってもよい。要は、二つの固定物の画像座標と、地図上に位置する二つの固定物の座標と、さえ対応付けられさえすればよい。この後、ステップ505の処理に移行する。
さらに、[変移量出力処理]において、[変移両算出処理]にてRAMに記憶した、距離L、移動した方向V、車体の向きの変化量ΔΘに基づく自車両の変移量、及び他車両に関する移動した距離l、移動した方向v、車体の向きの変化量Δθに基づく他車両の変移量を表示部13に表示する際に、地図上にこれらの情報を重畳して、交通事故発生時における自車両の走行軌跡と他対象の走行軌跡を可視化する。ここで注意すべきは、[変移両算出処理]にて算出された自車両の変移量及び他車両の変移量は地上座標を基に算出されたものであるため、そのまま地図上に重畳することはできず、自車両の変移量及び他車両の変移量を地図座標系に変換した上で、地図上に重畳する必要がある点である。上記自車両の変移量及び他車両の変移量を地図座標系に変換するためには、[解析条件入力処理]にて入力した二つの固定物の地図座標と、[変移量算出処理]にて算出した二つの固定物の地上座標と、を基に、具体的には、地図座標及び地上座標の二つの固定物間の距離の比、平行移動量、及び回転量を考慮して、変換式を算出する必要がある。こうして、地図座標系に変換した自車両の変移量及び他車両の変移量を地図上に重畳して表示する(図15(c))。
なお、あるフレームFn−1で指定していた二つの固定物のいずれか一方または両方が、自車両の移動に伴って車載カメラの撮影範囲から外れることによって、次のフレームFnに含まれなくなることが考えられる。この場合には、再度ステップ504において、フレームFnにおける別の二つの固定物を指定した後、再度ステップ1401にて画像座標を入力した二つの固定物に対応する地図上の座標を入力する必要がある。
以上、本発明の第3実施形態に係る交通事故解析装置によれば、事故発生時の自車両の変移量及び他車両の変移量を地図上に表示することができるため、事故現場の周囲の環境が事故に与えた影響についても検討することを可能にする。この結果、より詳細に事故発生の原因を調査することができる。
本発明の一実施形態に係る交通事故解析装置のブロック図 本発明の一実施形態に係る交通事故解析装置による交通事故解析処理の概略を示すフローチャート 図3(a)は車載カメラ取り付け位置を入力する際の表示部による表示例、図3(b)は交通事故に係わる他車両の形状を入力する際の表示部による表示例 広角レンズによって撮影した画像であって、図4(a)は樽型歪みを補正前の画像の一例、図4(b)は樽型歪みを補正した画像の一例 本発明の一実施形態に係る交通事故解析装置による解析条件入力処理の流れを示すフローチャート 道路領域を指定する際の表示部による表示例を示す図 二つの固定物を指定する際の表示部による表示例を示す図 他対象を指定する際の表示部による表示例を示す図 本発明の一実施形態に係る交通事故解析装置による変移量算出処理の流れを示すフローチャート 本発明の一実施形態に係る交通事故解析装置による自車両変移量算出処理を説明する図 本発明の一実施形態に係る交通事故解析装置による他対象変移量算出処理を説明する図 本発明の一実施形態に係る交通事故解析装置による走行軌跡の表示例 他対象を指定する際の表示部による表示例 本発明の一実施形態に係る交通事故解析装置による解析条件入力処理の流れを示すフローチャート 二つの固定物に対応する地図座標の入力例
符号の説明
1 交通事故解析装置
11 画像入力部
13 表示部
15 操作部
19 演算処理部
191 歪み補正部
193 射影変換部
197 他対象変移量算出部

Claims (6)

  1. 情報を出力する表示部と、
    入力操作を受け付ける操作部と、
    動画像を入力する画像入力部と、
    前記動画像を構成する静止画像上の任意のピクセル座標を、車載カメラが設置された位置を基準として設定された地上座標系に変換する射影変換部と、前記射影変換部によって変換された前記任意のピクセル座標に対応する地上座標に基づいて、前記車載カメラが撮影した動画像に含まれる、解析されるべき対象物の変移量を算出する他対象変移量算出部と、を有する演算処理部と、
    を備えた交通事故解析装置であって、
    前記表示部は、前記動画像を構成する、時間的な連続性を有する少なくとも二つの静止画像を出力し、
    前記操作部は、前記表示部に出力した前記少なくとも二つの静止画像毎に、無限遠点に対応する無限遠点ピクセル座標と、車道に設置された第1の固定物に位置する第1のピクセル座標と、前記第1の固定物とは異なる、車道に設置された第2の固定物に位置する第2のピクセル座標と、解析されるべき対象物の進行方向前方の前端部に位置するピクセル座標であって、該前端部における該静止画像に向かって奥行き方向に並ぶ二つの端部に位置する第3のピクセル座標及び第4のピクセル座標と、を、交通事故を解析するための条件として入力し、
    前記射影変換部は、前記操作部によって入力した前記無限遠点ピクセル座標と、前記車載カメラが設置された位置を基準として設定された地上座標系と、に基づいて、前記少なくとも二つの静止画像それぞれにおける前記第1のピクセル座標と前記第2のピクセル座標と前記第3のピクセル座標と前記第4のピクセル座標とを前記地上座標系に変換し、
    前記他対象変移量算出部は、前記少なくとも二つの静止画像それぞれにおける、前記第1のピクセル座標に対応する地上座標と前記第2のピクセル座標に対応する地上座標と前記第3のピクセル座標に対応する地上座標と前記第4のピクセル座標に対応する地上座標とに基づいて、前記対象物の変移量を算出し
    前記表示部は、前記他対象変移量算出部によって算出した前記他対象の変移量を出力する、
    ことを特徴とする交通事故解析装置。
  2. 前記演算処理部は、前記画像入力部によって入力した画像の歪みを補正する歪み補正部をさらにを備え、
    前記表示部は、前記歪み補正部によって歪みを補正した動画像を構成する、時間的な連続性を有する少なくとも二つの静止画像を出力する、
    ことを特徴とする請求項1または請求項2に記載の交通事故解析装置。
  3. 前記他対象変移量算出部は、前記他対象の変移量として、少なくとも、前記他対象が移動した距離、前記他対象が移動した方向、及び、前記他対象の向きの変化量を算出する、
    ことを特徴とする請求項1または請求項2に記載の交通事故解析装置。
  4. 前記表示部は、前記自車両変移量算出部によって算出した前記車両の変移量、または前記他対象変移量算出部によって算出した前記他対象の変移量を、交通事故が発生した地域を含む地図データ上に出力する、
    ことを特徴とする請求項1から請求項3のいずれか一項に記載の交通事故解析装置。
  5. 車両に搭載された車載カメラにより車道を撮影した動画像に基づいて、交通事故を解析する交通事故解析方法であって、
    前記車載カメラにより撮影した動画像を入力する画像入力ステップと、
    前記画像入力ステップにて入力した動画像を構成する、時間的な連続性を有する少なくとも二つの静止画像を表示する画像表示ステップと、
    前記少なくとも二つの静止画像それぞれにおける、無限遠点に対応する無限遠点ピクセル座標と、車道に設置された第1の固定物に位置する第1のピクセル座標と、前記第1の固定物とは異なる、車道に設置された第2の固定物に位置する第2のピクセル座標と、解析されるべき対象物の進行方向前方の前端部に位置するピクセル座標であって、該前端部における該静止画像に向かって奥行き方向に並ぶ二つの端部に位置する第3のピクセル座標及び第4のピクセル座標と、を、交通事故を解析するための条件として入力する解析条件入力ステップと、
    前記解析条件入力ステップにて入力した前記無限遠点ピクセル座標と、前記車載カメラが設置された位置を基準として設定された地上座標系と、に基づいて、前記少なくとも二つの静止画像それぞれにおける前記第1のピクセル座標と前記第2のピクセル座標と前記第3のピクセル座標と前記第4のピクセル座標とを前記地上座標系に変換する変換ステップと、
    前記少なくとも二つの静止画像それぞれにおける、前記第1のピクセル座標に対応する地上座標と前記第2のピクセル座標に対応する地上座標と前記第3のピクセル座標に対応する地上座標と前記第4のピクセル座標に対応する地上座標とに基づいて、前記他対象の変移量を算出する他対象変移量算出ステップと、
    前記他対象変移量算出ステップにて算出した前記他対象の変移量を出力する変移量出力ステップと、
    を有することを特徴とする交通事故解析方法。
  6. コンピュータに、請求項5に記載の交通事故解析方法の各ステップを実行させるためのプログラム。
JP2008137231A 2008-02-05 2008-05-26 交通事故解析装置、交通事故解析方法、及びプログラム Expired - Fee Related JP4989557B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008137231A JP4989557B2 (ja) 2008-02-05 2008-05-26 交通事故解析装置、交通事故解析方法、及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008025179 2008-02-05
JP2008025179 2008-02-05
JP2008137231A JP4989557B2 (ja) 2008-02-05 2008-05-26 交通事故解析装置、交通事故解析方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2009211678A true JP2009211678A (ja) 2009-09-17
JP4989557B2 JP4989557B2 (ja) 2012-08-01

Family

ID=41184718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008137231A Expired - Fee Related JP4989557B2 (ja) 2008-02-05 2008-05-26 交通事故解析装置、交通事故解析方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP4989557B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4553071B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 3次元情報表示装置および3次元情報表示方法
JP4553072B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 画像統合装置および画像統合方法
JP2010246166A (ja) * 2010-07-21 2010-10-28 Konica Minolta Holdings Inc 3次元情報表示装置および3次元情報表示方法
JP2016197856A (ja) * 2015-04-02 2016-11-24 アクシス アーベー ズームレンズの焦点距離決定方法
JP2018005390A (ja) * 2016-06-29 2018-01-11 日産自動車株式会社 物体追跡方法及び物体追跡装置
JP2020194263A (ja) * 2019-05-27 2020-12-03 東京海上日動火災保険株式会社 事故分析装置、事故分析方法及びプログラム
JP2021196826A (ja) * 2020-06-12 2021-12-27 株式会社日立製作所 安全支援システム、および車載カメラ画像分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002057879A (ja) * 2000-08-10 2002-02-22 Ricoh Co Ltd 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
JP2004102426A (ja) * 2002-09-05 2004-04-02 Mitsubishi Electric Engineering Co Ltd 交通事故記録映像解析システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002057879A (ja) * 2000-08-10 2002-02-22 Ricoh Co Ltd 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
JP2004102426A (ja) * 2002-09-05 2004-04-02 Mitsubishi Electric Engineering Co Ltd 交通事故記録映像解析システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4553071B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 3次元情報表示装置および3次元情報表示方法
JP4553072B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 画像統合装置および画像統合方法
JP2010246166A (ja) * 2010-07-21 2010-10-28 Konica Minolta Holdings Inc 3次元情報表示装置および3次元情報表示方法
JP4609603B2 (ja) * 2010-07-21 2011-01-12 コニカミノルタホールディングス株式会社 3次元情報表示装置および3次元情報表示方法
JP2016197856A (ja) * 2015-04-02 2016-11-24 アクシス アーベー ズームレンズの焦点距離決定方法
JP2018005390A (ja) * 2016-06-29 2018-01-11 日産自動車株式会社 物体追跡方法及び物体追跡装置
JP2020194263A (ja) * 2019-05-27 2020-12-03 東京海上日動火災保険株式会社 事故分析装置、事故分析方法及びプログラム
JP2021196826A (ja) * 2020-06-12 2021-12-27 株式会社日立製作所 安全支援システム、および車載カメラ画像分析方法
JP7402753B2 (ja) 2020-06-12 2023-12-21 日立Astemo株式会社 安全支援システム、および車載カメラ画像分析方法

Also Published As

Publication number Publication date
JP4989557B2 (ja) 2012-08-01

Similar Documents

Publication Publication Date Title
JP4989557B2 (ja) 交通事故解析装置、交通事故解析方法、及びプログラム
US10587801B2 (en) Bird's-eye view video generation device, bird'S-eye view video generation system, bird's-eye view video generation method, and non-transitory storage medium
JP4985142B2 (ja) 画像認識装置および画像認識装置の画像認識処理方法
US7253389B2 (en) Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program and computer-readable recording medium
US7250593B2 (en) Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program, and readable recording medium
EP1718062A1 (en) Operation support device
JP4609603B2 (ja) 3次元情報表示装置および3次元情報表示方法
JP5418661B2 (ja) 車両周辺監視装置
JP2011100174A (ja) 車線内車両検出装置及び車線内車両検出方法
JP5825713B2 (ja) 車両用危険場面再現装置
CN108422932B (zh) 驾驶辅助系统、方法和车辆
JP6241172B2 (ja) 自車位置推定装置及び自車位置推定方法
JP4553071B1 (ja) 3次元情報表示装置および3次元情報表示方法
JP4020071B2 (ja) 周囲状況表示装置
JP5182930B2 (ja) 交通事故解析装置、交通事故解析方法、及びプログラム
US8983196B2 (en) Vehicle periphery monitoring apparatus
JP4783898B2 (ja) 画像処理による交差点での異常事象検出方法
US10730434B2 (en) Vehicular display control device, vehicular display system, vehicular display control method, and non-transitory storage medium
CN110081901B (zh) 路口显示方法、装置、设备及计算机可读存储介质
KR20140090872A (ko) 카메라의 캘리브레이션 장치 및 방법
CN113614810A (zh) 图像处理装置、车辆控制装置、方法和程序
JP6041780B2 (ja) 運転支援装置
JP4847303B2 (ja) 障害物検出方法、障害物検出プログラムおよび障害物検出装置
JP4075879B2 (ja) 車両用衝突警報装置及び車両用衝突警報方法
KR102633950B1 (ko) Cctv 영상을 이용하여 오브젝트의 속도를 측정하는방법 및 전자 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120427

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4989557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees