JP2023104982A - Accident analysis device - Google Patents

Accident analysis device Download PDF

Info

Publication number
JP2023104982A
JP2023104982A JP2023084402A JP2023084402A JP2023104982A JP 2023104982 A JP2023104982 A JP 2023104982A JP 2023084402 A JP2023084402 A JP 2023084402A JP 2023084402 A JP2023084402 A JP 2023084402A JP 2023104982 A JP2023104982 A JP 2023104982A
Authority
JP
Japan
Prior art keywords
vehicle
accident
absolute position
analysis unit
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023084402A
Other languages
Japanese (ja)
Other versions
JP7507930B2 (en
Inventor
一晃 沓沢
Kazuaki Kutsuzawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokio Marine and Nichido Fire Insurance Co Ltd
Original Assignee
Tokio Marine and Nichido Fire Insurance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokio Marine and Nichido Fire Insurance Co Ltd filed Critical Tokio Marine and Nichido Fire Insurance Co Ltd
Priority to JP2023084402A priority Critical patent/JP7507930B2/en
Priority claimed from JP2023084402A external-priority patent/JP7507930B2/en
Publication of JP2023104982A publication Critical patent/JP2023104982A/en
Application granted granted Critical
Publication of JP7507930B2 publication Critical patent/JP7507930B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

To provide a technology that makes it possible to suitably analyze an accident state.SOLUTION: Provided is an accident analysis device including: a first estimation unit for estimating the absolute position of a vehicle on the basis of position information having been measured by a positioning device which the vehicle is provided with; a second estimation unit for estimating the absolute position of the vehicle at a second timing, on the basis of the position information measured by the positioning device at a first timing when the first frame of video data is captured and the relative position of the vehicle to the position information measured at the first timing that is obtained by analyzing the video data of a second timing when the second frame of video data is captured; and a third estimation unit for averaging the absolute position estimated by the first estimation unit at the second timing and the absolute position estimated by the second estimation unit at the second timing, on the basis of a prescribed weight, so as to estimate the absolute position of the vehicle at the second timing.SELECTED DRAWING: Figure 9

Description

本発明は、事故分析装置に関する。 The present invention relates to an accident analysis device.

現在、自動車が走行している間、進行方向等の映像を例えば常時記録しておくことが可能なドライブレコーダーと呼ばれる車載カメラが提供されている。ドライバーは、自身が運転する自動車にドライブレコーダーを取り付けておくことで、事故発生時の状況説明や事故が生じた原因の推定等に役立てることができる。 2. Description of the Related Art Currently, an on-vehicle camera called a drive recorder is provided that can always record images such as the direction of travel while an automobile is running. By installing a drive recorder in the car that the driver drives, it can be used to explain the situation when an accident occurs and to estimate the cause of the accident.

特開２０１８－６５６８０号公報JP 2018-65680 A

交通事故が発生すると、保険会社は、事故状況を整理することで事故状況を正確に把握し、事故状況と過去の事故事例とを突合することで過失割合を算出する。従来、これらの作業は人手で行っており、手間のかかる作業であった。 When a traffic accident occurs, the insurance company accurately grasps the circumstances of the accident by sorting out the circumstances of the accident, and calculates the percentage of negligence by matching the circumstances of the accident with past accident cases. Conventionally, these operations have been performed manually and have been time-consuming operations.

そこで、本発明は、事故状況を好適に分析可能とする技術を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a technique that enables suitable analysis of an accident situation.

本発明の一態様に係る事故分析装置は、車両が備えるセンサにより計測される車両データと車両が備えるカメラで撮影される映像データとを取得する取得部と、車両データに基づいて、車両の絶対位置を推定する車両位置推定部と、を備え、車両位置推定部は、車両が備える測位装置により測定された位置情報に基づいて車両の絶対位置を推定する第１推定部と、映像データの１フレーム目が撮影された第１タイミングにおいて測位装置により測定された位置情報と、映像データの２フレーム目が撮影された第２タイミングの映像データを解析することで得られる、第１タイミングで測定された位置情報に対する車両の相対位置と、に基づいて第２タイミングにおける車両の絶対位置を推定する第２推定部と、第２タイミングにおいて第１推定部により推定した絶対位置と、第２タイミングにおいて第２推定部により推定した絶対位置と、を所定の重みに基づいて平均することで、第２タイミングにおける車両の絶対位置を推定する第３推定部と、を含む。 An accident analysis device according to an aspect of the present invention includes an acquisition unit that acquires vehicle data measured by a sensor provided in a vehicle and video data captured by a camera provided in the vehicle; a vehicle position estimator for estimating a position, wherein the vehicle position estimator includes a first estimator for estimating the absolute position of the vehicle based on position information measured by a positioning device provided in the vehicle; Measured at the first timing obtained by analyzing the position information measured by the positioning device at the first timing when the second frame was shot and the video data at the second timing when the second frame of the video data was shot. a second estimating unit that estimates the absolute position of the vehicle at the second timing based on the relative position of the vehicle with respect to the position information that is obtained; the absolute position estimated by the first estimating unit at the second timing; a third estimating unit that estimates the absolute position of the vehicle at the second timing by averaging the absolute positions estimated by the second estimating units based on a predetermined weight.

本発明によれば、事故状況を好適に分析可能とする技術を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the technique which can analyze an accident situation suitably can be provided.

本実施形態に係る事故分析システムの一例を示す図である。It is a figure which shows an example of the accident analysis system which concerns on this embodiment. 事故分析装置が事故の状況を分析する際の処理手順の概要を示すフローチャートである。4 is a flow chart showing an outline of a processing procedure when an accident analysis device analyzes the circumstances of an accident; 事故分析装置が出力する事故の状況を示す情報の一例を示す図である。It is a figure which shows an example of the information which shows the situation of the accident which an accident analysis apparatus outputs. 事故分析装置のハードウェア構成例を示す図である。It is a figure which shows the hardware structural example of an accident analysis apparatus. 事故分析装置の機能ブロック構成例を示す図である。It is a figure which shows the functional block structural example of an accident analysis apparatus. 事故分析装置が周辺物の検出及び座標特定を行う際の処理手順を説明するための図である。FIG. 4 is a diagram for explaining a processing procedure when the accident analysis device detects surrounding objects and specifies coordinates; 事故分析装置が車両と周辺物との相対的な位置関係を推定する際の処理手順を説明するための図である。FIG. 4 is a diagram for explaining a processing procedure when an accident analysis device estimates a relative positional relationship between a vehicle and surrounding objects; 事故分析装置が車両と周辺物との絶対位置を推定する際の処理手順を説明するための図である。FIG. 3 is a diagram for explaining a processing procedure when an accident analysis device estimates absolute positions of a vehicle and surrounding objects; 車両の絶対位置を推定する処理を説明するための図である。FIG. 4 is a diagram for explaining a process of estimating an absolute position of a vehicle; FIG. 事故分析装置が生成する画像の一例を示す図である。It is a figure which shows an example of the image which an accident-analysis apparatus produces|generates. 衝突方向を説明するための図である。It is a figure for demonstrating a collision direction. 接触対象を判定する処理を説明するための図である。It is a figure for demonstrating the process which determines a contact target. 接触部位を説明するための図である。It is a figure for demonstrating a contact part. 歩行者と横断歩道・安全地帯の位置関係を特定する処理を説明するための図である。It is a figure for demonstrating the process which specifies the positional relationship of a pedestrian, a pedestrian crossing, and a safety zone. 車両及び他車の進行方向を説明するための図である。FIG. 2 is a diagram for explaining traveling directions of a vehicle and other vehicles; 事故の状況に関する特定内容を示す図である。FIG. 10 is a diagram showing specific content regarding accident situations; 事故事例ＤＢの一例を示す図である。It is a figure which shows an example of accident example DB.

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。 Embodiments of the present invention will be described with reference to the accompanying drawings. It should be noted that, in each figure, the same reference numerals have the same or similar configurations.

＜システム構成＞
図１は、本実施形態に係る事故分析システムの一例を示す図である。図１に示す事故分析システム１は、事故分析装置１０と、端末２０とを含む。事故分析装置１０と、端末２０は、無線又は有線の通信ネットワークＮを介して接続され、相互に通信を行うことができる。 <System configuration>
FIG. 1 is a diagram showing an example of an accident analysis system according to this embodiment. The accident analysis system 1 shown in FIG. 1 includes an accident analysis device 10 and a terminal 20. The accident analysis system 1 shown in FIG. The accident analysis device 10 and the terminal 20 are connected via a wireless or wired communication network N and can communicate with each other.

事故分析装置１０は、事故車両である車両Ｃ（以下の説明において、便宜上「自車」と呼ぶことがある）が備えるセンサにより計測される車両データと、車両Ｃが備えるカメラＤで撮影された映像データとを取得し、取得した車両データと映像データとに基づいて、車両Ｃが起こした事故の状況を分析する機能を有する。また、事故分析装置１０は、分析により得られた事故の状況と、過去に生じた事故の状況と過去の事故事例に関する情報（以下、「事故事例」と言う。）とを対応づけた事故事例データベースとを比較することで、車両Ｃが起こした事故の状況に対応する事故事例を検索する機能を有する。また、事故分析装置１０は、事故の状況を分析することで得られた車両Ｃの位置と他車の位置とを地図データ上にマッピングすることで、車両Ｃが起こした事故の状況を示す画像を生成する機能を有する。車両Ｃが起こした事故の状況を示す画像はどのようなものであってもよいが、例えば俯瞰図であってもよいし、動画であってもよい。 The accident analysis device 10 collects vehicle data measured by a sensor provided in vehicle C (which may be referred to as “own vehicle” for convenience in the following description), which is the accident vehicle, and photographed by a camera D provided in vehicle C. It has a function of acquiring video data and analyzing the situation of an accident caused by the vehicle C based on the acquired vehicle data and video data. The accident analysis device 10 also provides an accident case obtained by associating the situation of the accident obtained by the analysis with the situation of the accident that occurred in the past and information on the past accident case (hereinafter referred to as "accident case"). It has a function of retrieving an accident case corresponding to the situation of the accident caused by the vehicle C by comparing with the database. Further, the accident analysis device 10 maps the position of the vehicle C and the positions of the other vehicles obtained by analyzing the circumstances of the accident on the map data, thereby creating an image showing the circumstances of the accident caused by the vehicle C. has a function to generate The image showing the circumstances of the accident caused by the vehicle C may be of any kind, and may be, for example, a bird's-eye view or a moving image.

事故分析装置１０は、１又は複数の物理的な情報処理装置等から構成されていてもよいし、ハイパーバイザー（hypervisor）上で動作する仮想的な情報処理装置を用いて構成されていてもよいし、クラウドサーバを用いて構成されていてもよい。 The accident analysis device 10 may be configured from one or more physical information processing devices or the like, or may be configured using a virtual information processing device that operates on a hypervisor. However, it may be configured using a cloud server.

車両Ｃが備えるセンサは、例えば、ＧＰＳ受信器、車速センサ、加速度センサ、地磁気センサ、スロットルセンサ及び／又はウィンカー検出センサ等であってもよい。また、車両Ｃが備えるセンサにより計測される車両データとは、例えば、車両Ｃの現在位置を示す緯度及び経度データ、車両Ｃの車速、車両Ｃの加速度、車両Ｃの向いている方向（例えば北を０度とした場合の角度）、スロットル開度（アクセル開度）及びウィンカーの動作状況等であってもよい。これに限定されず、車両Ｃは更に他のセンサを備えていてもよい。また、以上列挙したセンサは、車両Ｃが備えるセンサであってもよいし、カメラＤが備えるセンサであってもよい。例えば、ＧＰＳ受信器、加速度センサ及び地磁気センサは、車両ＣではなくカメラＤが備えるセンサであってもよい。 The sensors provided in the vehicle C may be, for example, a GPS receiver, vehicle speed sensor, acceleration sensor, geomagnetic sensor, throttle sensor and/or blinker detection sensor. Further, the vehicle data measured by the sensors provided in the vehicle C includes, for example, latitude and longitude data indicating the current position of the vehicle C, vehicle speed of the vehicle C, acceleration of the vehicle C, direction in which the vehicle C is facing (for example, north is assumed to be 0 degrees), throttle opening (accelerator opening), operation status of winkers, and the like. The vehicle C is not limited to this, and may further include other sensors. Further, the sensors listed above may be the sensors provided in the vehicle C or the sensors provided in the camera D. For example, the GPS receiver, the acceleration sensor, and the geomagnetic sensor may be sensors provided in the camera D instead of the vehicle C.

カメラＤは、少なくとも車両Ｃの進行方向の映像を撮影することができるように、車両Ｃのフロント部分又はフロントガラスに取り付けられている。カメラＤは、ドライブレコーダーであってもよい。また、カメラＤは、更に、車両Ｃの側面方向及び後方を撮影可能なものであってもよい。 The camera D is attached to the front portion of the vehicle C or the windshield so that it can capture at least an image in the direction in which the vehicle C is traveling. Camera D may be a drive recorder. In addition, the camera D may be capable of photographing the side direction of the vehicle C and the rear.

端末２０は、例えば保険会社のオペレータ等が操作する端末であり、事故分析装置１０が分析した事故の状況、事故の状態に対応する事故事例、及び事故分析装置１０が生成した画像を表示する。端末２０は、パーソナルコンピュータ（ＰＣ）、ノートＰＣ、タブレット端末、スマートフォンなど、ディスプレイを備えた情報処理装置であればあらゆる情報処理装置を用いることができる。 The terminal 20 is a terminal operated by, for example, an operator of an insurance company, and displays an accident situation analyzed by the accident analysis device 10, an accident case corresponding to the accident situation, and an image generated by the accident analysis device 10. The terminal 20 can be any information processing device having a display, such as a personal computer (PC), a notebook PC, a tablet terminal, and a smart phone.

図２は、事故分析装置１０が事故の状況を分析する際の処理手順の概要を示すフローチャートである。まず、事故分析装置１０は、事故を起こした車両Ｃの車両データと事故時の映像データとを取得する（Ｓ１０、Ｓ１１）。当該車両データ及び映像データは、例えば、ＳＤカードやＵＳＢメモリ等の非一時的な記憶媒体に記録されており、当該記録媒体を事故分析装置１０に接続することで事故分析装置１０に取り込まれもよい。若しくは、車両Ｃ又はカメラＤが備える通信機能を用いて、無線信号により事故分析装置１０に送信されることとしてもよい。 FIG. 2 is a flow chart showing an outline of a processing procedure when the accident analysis device 10 analyzes the circumstances of an accident. First, the accident analysis device 10 acquires vehicle data of the vehicle C that caused the accident and video data at the time of the accident (S10, S11). The vehicle data and video data are recorded in a non-temporary storage medium such as an SD card or USB memory, and can be imported into the accident analysis device 10 by connecting the recording medium to the accident analysis device 10. good. Alternatively, the information may be transmitted to the accident analysis device 10 using a wireless signal using the communication function of the vehicle C or the camera D.

続いて、事故分析装置１０は、事故時の映像データをフレームごとに画像解析することで、フレームごとの画像に写っている車両Ｃの周囲に存在する１以上の周辺物（他の車両、人、標識、道路の構造物など）を特定し、更に、特定した周辺物が画像内に写っている位置を示す座標を特定する（Ｓ１２）。続いて、事故分析装置１０は、特定した周辺物の座標に基づいて、車両Ｃと車両Ｃの周辺に存在する周辺物との間の相対的な位置関係を推定する（Ｓ１３）。 Subsequently, the accident analysis device 10 performs image analysis on each frame of the video data at the time of the accident, thereby detecting one or more peripheral objects (other vehicles, people, etc.) existing around the vehicle C shown in each frame image. , signs, road structures, etc.), and furthermore, the coordinates indicating the position of the identified peripheral object in the image are specified (S12). Subsequently, the accident analysis device 10 estimates the relative positional relationship between the vehicle C and surrounding objects existing around the vehicle C based on the specified coordinates of the surrounding objects (S13).

続いて、事故分析装置１０は、車両Ｃが備えるＧＰＳセンサにより取得された車両Ｃの位置情報及び／又は事故時の映像データを用いて車両Ｃの絶対位置を推定する。また、事故分析装置１０は、推定した車両Ｃの絶対位置と、ステップＳ１３の処理手順で推定した、車両Ｃと車両Ｃの周辺に存在する周辺物との間の相対的な位置関係とに基づいて、車両Ｃの周辺に存在する周辺物の絶対位置を推定する（Ｓ１４）。 Subsequently, the accident analysis device 10 estimates the absolute position of the vehicle C using the position information of the vehicle C acquired by the GPS sensor provided in the vehicle C and/or the image data at the time of the accident. Further, the accident analysis device 10 performs the following operation based on the estimated absolute position of the vehicle C and the relative positional relationship between the vehicle C and surrounding objects existing around the vehicle C estimated in the processing procedure of step S13. Then, the absolute positions of surrounding objects existing around the vehicle C are estimated (S14).

続いて、事故分析装置１０は、算出した車両Ｃと車両Ｃの周辺に存在する周辺物との絶対位置を地図データにマッピングすることで、事故の状況を示す画像（俯瞰図や動画を含む）を生成する（Ｓ１５）。 Subsequently, the accident analysis device 10 maps the calculated absolute positions of the vehicle C and surrounding objects existing around the vehicle C on the map data to generate an image (including bird's-eye view and video) showing the circumstances of the accident. is generated (S15).

続いて、事故分析装置１０は、車両Ｃが備える加速度センサにより取得された、衝突の瞬間に車両Ｃに発生した前後方向及び左右方向の加速度に基づいて、車両Ｃが他の車両や障害物等に衝突した方向（例えば正面から衝突した等）を推定する（Ｓ１６）。 Subsequently, the accident analysis device 10 determines whether or not the vehicle C is an obstacle or other vehicle based on the longitudinal and lateral accelerations generated in the vehicle C at the moment of the collision. (S16).

続いて、事故分析装置１０は、車両Ｃの車両データと、事故時の映像データと、ステップＳ１４の処理手順で推定した車両Ｃ及び車両Ｃの周辺に存在する周辺物の絶対位置と、ステップＳ１６の処理手順で推定した車両Ｃの衝突方向と、地図データとを用いて、車両Ｃが起こした事故の状況を示す情報を分析する（Ｓ１７）。当該情報には複数の項目（タグと称してもよい）が含まれており、各項目の組み合わせにより事故の状況が特定される。続いて、事故分析装置１０は、各項目をキーに事故事例データベースを検索することで、車両Ｃが起こした事故の状況に対応する事故事例を取得する（Ｓ１８）。 Subsequently, the accident analysis device 10 collects the vehicle data of the vehicle C, the image data at the time of the accident, the absolute positions of the vehicle C and surrounding objects existing around the vehicle C estimated in the processing procedure of step S14, and the Using the collision direction of vehicle C estimated in the procedure of 1. and the map data, information indicating the circumstances of the accident caused by vehicle C is analyzed (S17). The information includes a plurality of items (which may be called tags), and the combination of each item specifies the circumstances of the accident. Subsequently, the accident analysis device 10 searches the accident case database using each item as a key to obtain an accident case corresponding to the situation of the accident caused by the vehicle C (S18).

以上説明した処理手順の順序は、処理に矛盾が生じない限り任意に入れ替えることができる。例えば、ステップＳ１５の処理手順は、ステップＳ１６、ステップＳ１７又はステップＳ１８の処理手順のいずれかの後であってもよい。 The order of the processing procedures described above can be arbitrarily changed as long as there is no contradiction in the processing. For example, the processing procedure of step S15 may be performed after any of the processing procedures of step S16, step S17, or step S18.

図３は、事故の状況を示す情報に含まれる項目の一例を示す図である。事故の状況を示す情報は、図３に示すようにＡ～Ｎまでの複数の項目を含んでいる。なお、図３に示す「Ａ：接触の対象（自動車、障害物等）」は、車両Ｃが接触した対象物を示す情報である。「Ｂ：接触部位」は、車両Ｃが対象物と接触した部位（例えば、正面、右側面、左前バンパーなど）を示す。「Ｃ：道路種別」は、事故時に車両Ｃが走行していた道路の種別（直線、カーブ、交差点、Ｔ字路、高速道路等）を示す。「Ｄ：自車及び他車の信号色」は、交差点における事故において、車両Ｃ側の信号色及び相手方の信号色を示す。「Ｅ：歩行者と横断歩道・安全地帯の位置関係」は、歩行者が横断歩道又は安全地帯上で事故にあったのか、又は、歩行者が横断歩道又は安全地帯ではない場所で事故にあったのかを示す。 FIG. 3 is a diagram showing an example of items included in information indicating the circumstances of an accident. The information indicating the circumstances of the accident includes a plurality of items A to N as shown in FIG. Note that "A: object of contact (automobile, obstacle, etc.)" shown in FIG. 3 is information indicating the object with which the vehicle C has come into contact. "B: contact site" indicates a site where the vehicle C contacts the object (for example, front, right side, left front bumper, etc.). "C: road type" indicates the type of road on which vehicle C was traveling at the time of the accident (straight line, curve, intersection, T-junction, expressway, etc.). "D: signal color of own vehicle and other vehicle" indicates the signal color of the vehicle C side and the other party's signal color in the accident at the intersection. “E: Positional relationship between pedestrians and crosswalks/safety zones” indicates whether the pedestrian had an accident on a crosswalk or a safety zone, or whether the pedestrian had an accident in a place other than a crosswalk or safety zone. indicates whether

「Ｆ：自車・他車進行方向」は、車両Ｃ及び他車が、事故時において、直進していたのか、車線変更していたのか、左折していたのか、右折していたのか、早回り右折をしていたのか等を示す。「Ｇ：高速道路上の車線位置」は、高速道路で事故が生じた場合における車両Ｃが走行していた車線（本線、追い越し車線）を示す。「Ｈ：交差点における優先関係」は、交差点で事故が発生した場合に、車両Ｃ及び他車のうちどちらが交差点を優先して通貨すべきであったのかを示す。「Ｉ：一時停止、信号無視違反の有無」は、車両Ｃ及び他車が、一時停止違反又は信号無視をしていたか否かを示す。「Ｊ：制限速度を守っているか否か」は、車両Ｃ及び他車が、事故直前に制限速度を守っていたか否かを示す。「Ｋ：自車・他車の衝突前速度」は、事故直前における車両Ｃ及び他車の車速を示す。「Ｌ：道路上の障害物の有無」は、衝突時、車両Ｃが走行していた道路に障害物が存在していたか否かを示す。「Ｍ：衝突対象のドアの開閉」は、衝突時に、相手車両のドアが開いたのか否かを示す。「Ｎ：衝突前のウィンカーの有無」は、衝突前に、車両Ｃがウィンカーを作動させていたか否かを示す。 "F: Traveling direction of own vehicle/other vehicle" indicates whether vehicle C and other vehicle were going straight, changing lanes, turning left, or turning right at the time of the accident. Indicates whether the vehicle was turning right or not. "G: Lane position on expressway" indicates the lane (main lane, overtaking lane) in which vehicle C was traveling when an accident occurred on the expressway. “H: Priority relationship at intersection” indicates which of the vehicle C and the other vehicle should have had priority at the intersection when an accident occurred at the intersection. "I: Presence/absence of violation of temporary stop or ignoring signal" indicates whether or not vehicle C and another vehicle violated a temporary stop or ignoring a signal. "J: Whether or not speed limit is observed" indicates whether vehicle C and other vehicles were observing speed limit immediately before the accident. "K: pre-collision speed of own vehicle/other vehicle" indicates the vehicle speed of vehicle C and other vehicle immediately before the accident. “L: Presence or absence of obstacle on road” indicates whether or not there was an obstacle on the road on which vehicle C was traveling at the time of the collision. "M: Opening/closing of collision target door" indicates whether or not the door of the other vehicle was opened at the time of collision. “N: presence/absence of winker before collision” indicates whether or not the vehicle C operated the winker before the collision.

＜ハードウェア構成＞
図４は、事故分析装置１０のハードウェア構成例を示す図である。事故分析装置１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical processing unit）等のプロセッサ１１、メモリ、ＨＤＤ（Hard Disk Drive）及び／又はＳＳＤ（Solid State Drive）等の記憶装置１２、有線又は無線通信を行う通信ＩＦ（Interface）１３、入力操作を受け付ける入力デバイス１４、及び情報の出力を行う出力デバイス１５を有する。入力デバイス１４は、例えば、キーボード、タッチパネル、マウス及び／又はマイク等である。出力デバイス１５は、例えば、ディスプレイ及び／又はスピーカ等である。 <Hardware configuration>
FIG. 4 is a diagram showing a hardware configuration example of the accident analysis device 10. As shown in FIG. The accident analysis device 10 includes a processor 11 such as a CPU (Central Processing Unit) or a GPU (Graphical Processing Unit), a memory, a storage device 12 such as a HDD (Hard Disk Drive) and/or an SSD (Solid State Drive), wired or wireless. It has a communication IF (Interface) 13 for communication, an input device 14 for receiving input operations, and an output device 15 for outputting information. The input device 14 is, for example, a keyboard, touch panel, mouse and/or microphone. The output device 15 is, for example, a display and/or a speaker.

＜機能ブロック構成＞
図５は、事故分析装置１０の機能ブロック構成例を示す図である。事故分析装置１０は、記憶部１００と、取得部１０１と、分析部１０２と、生成部１０３と、検索部１０４と、出力部１０５とを含む。記憶部１００は、事故分析装置１０が備える記憶装置１２を用いて実現することができる。また、取得部１０１と、分析部１０２と、生成部１０３と、検索部１０４と、出力部１０５とは、事故分析装置１０のプロセッサ１１が、記憶装置１２に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体（Non-transitory computer readable medium）であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、ＵＳＢメモリ又はＣＤ－ＲＯＭ等の記憶媒体であってもよい。 <Functional block configuration>
FIG. 5 is a diagram showing a functional block configuration example of the accident analysis device 10. As shown in FIG. Accident analysis device 10 includes storage unit 100 , acquisition unit 101 , analysis unit 102 , generation unit 103 , retrieval unit 104 , and output unit 105 . The storage unit 100 can be implemented using the storage device 12 included in the accident analysis device 10 . Acquisition unit 101 , analysis unit 102 , generation unit 103 , search unit 104 , and output unit 105 are generated by processor 11 of accident analysis device 10 executing a program stored in storage device 12 . can be realized. Also, the program can be stored in a storage medium. The storage medium storing the program may be a non-transitory computer readable medium. The non-temporary storage medium is not particularly limited, but may be a storage medium such as a USB memory or CD-ROM, for example.

記憶部１００は、事故の状況と事故の事故事例とを対応づけた事故事例ＤＢ（DataBase）と、地図データＤＢとを記憶する。事故事例ＤＢには、過失割合を示す情報が含まれていてもよい。発生した事故の状況に対応する事故事例及び過失割合は、事故の状況を示す情報をキーとして検索可能であってもよい。地図データＤＢには、道路データ、道路幅、進行方向、道路種別、交通標識（一時停止、進入禁止等）、制限速度、信号機の位置、交差点における交差道路数等の各種データが含まれる。なお、記憶部１００は、事故分析装置１０と通信可能な外部のサーバで実現されることとしてもよい。 The storage unit 100 stores an accident case DB (DataBase) in which accident situations and accident cases are associated with each other, and a map data DB. The accident case DB may include information indicating the percentage of negligence. The accident case and fault ratio corresponding to the situation of the accident that occurred may be searchable using information indicating the situation of the accident as a key. The map data DB includes various data such as road data, road width, direction of travel, road type, traffic signs (stop, no entry, etc.), speed limit, position of traffic lights, number of intersecting roads at intersections, and the like. Note that the storage unit 100 may be realized by an external server that can communicate with the accident analysis device 10 .

取得部１０１は、車両Ｃ（事故車両）が備えるセンサにより計測される車両データと車両Ｃが備えるカメラで撮影される映像データとを取得する機能を有する。 The acquisition unit 101 has a function of acquiring vehicle data measured by a sensor provided in the vehicle C (accident vehicle) and image data captured by a camera provided in the vehicle C. FIG.

分析部１０２は、取得部１０１が取得した車両データと映像データとに基づいて、車両Ｃが起こした事故の状況を分析する機能を有する。なお、分析部１０２が分析する事故の状況には、少なくとも、車両Ｃが交差点を通過する場合における信号の色、交差点を通過する際の優先関係、及び、車両Ｃの車速が制限速度を超えているか否かを含んでいてもよい。 The analysis unit 102 has a function of analyzing the circumstances of the accident caused by the vehicle C based on the vehicle data and the image data acquired by the acquisition unit 101 . The accident situation analyzed by the analysis unit 102 includes at least the color of the traffic light when the vehicle C passes through the intersection, the priority relationship when the vehicle C passes through the intersection, and the speed limit when the vehicle C exceeds the speed limit. may include whether or not

また、車両Ｃの車両データには、少なくとも車両Ｃが備えるＧＰＳ装置により測定された車両Ｃの絶対位置を示す情報が含まれており、分析部１０２は、車両Ｃの絶対位置を示す情報と、映像データに写っている他車の映像を解析することで得られる、車両Ｃと当該他車との相対的な位置関係を示す情報とに基づいて当該他車の絶対位置を推定するようにしてもよい。また、分析部１０２は、車両Ｃ及び他車の絶対位置を時系列で推定するようにしてもよい。 Further, the vehicle data of vehicle C includes at least information indicating the absolute position of vehicle C measured by a GPS device provided in vehicle C. Analysis unit 102 includes information indicating the absolute position of vehicle C, The absolute position of the other vehicle is estimated based on information indicating the relative positional relationship between the vehicle C and the other vehicle, which is obtained by analyzing the image of the other vehicle shown in the image data. good too. Also, the analysis unit 102 may estimate the absolute positions of the vehicle C and the other vehicle in time series.

また、分析部１０２は、当該映像データを分析することで車両Ｃの絶対位置を推定し、映像データを分析することで推定した事故車両の絶対位置と、ＧＰＳ装置により測定された車両Ｃの絶対位置とを所定の重みに基づいて平均した絶対位置を、車両Ｃの絶対位置とみなすことで、事故の状況を分析するようにしてもよい。 Further, the analysis unit 102 estimates the absolute position of the vehicle C by analyzing the video data, the absolute position of the accident vehicle estimated by analyzing the video data, and the absolute position of the vehicle C measured by the GPS device. The accident situation may be analyzed by regarding the absolute position of the vehicle C as the absolute position obtained by averaging the positions based on a predetermined weight.

また、分析部１０２は、映像データのうち他車が写っている箇所の画像サイズと、画像サイズと距離との対応関係を示すデータとを比較し、車両Ｃと他車との相対的な位置関係を示す情報の一つである、車両Ｃと当該他車との間の距離を推定することで、事故の状況を分析するようにしてもよい。 Further, the analysis unit 102 compares the image size of a portion of the video data in which the other vehicle is shown with data indicating the correspondence relationship between the image size and the distance, and determines the relative positions of the vehicle C and the other vehicle. The situation of the accident may be analyzed by estimating the distance between the vehicle C and the other vehicle, which is one of the information indicating the relationship.

また、分析部１０２は、映像データのうち他車が写っている箇所の座標と映像データの中心座標との差分と、座標と角度との対応関係を示すデータとを比較し、車両Ｃと他車との相対的な位置関係を示す情報の一つである、車両Ｃの進行方向と他車が存在する方向との角度差を推定することで、事故の状況を分析するようにしてもよい。 In addition, the analysis unit 102 compares the difference between the coordinates of the location where the other vehicle is shown in the image data and the central coordinates of the image data, and the data indicating the correspondence relationship between the coordinates and the angle, and compares the vehicle C with the other vehicle. The situation of the accident may be analyzed by estimating the angular difference between the traveling direction of the vehicle C and the direction in which the other vehicle is present, which is one of the information indicating the relative positional relationship with the vehicle. .

生成部１０３は、車両Ｃの絶対位置と他車の絶対位置とを地図データにマッピングすることで、車両Ｃが起こした事故の状況を示す画像を生成する機能を有する。当該画像には、俯瞰図や動画を含んでいてもよい。例えば、生成部１０３は、事故の状況を示す画像を時系列順に並べた動画を生成するようにしてもよい。 The generator 103 has a function of mapping the absolute position of the vehicle C and the absolute positions of other vehicles on the map data to generate an image showing the circumstances of the accident caused by the vehicle C. FIG. The image may include a bird's-eye view or a moving image. For example, the generation unit 103 may generate a moving image in which images showing the circumstances of the accident are arranged in chronological order.

検索部１０４は、分析部１０２により分析された車両Ｃが起こした事故の状況と、事故の状況と過去の事故事例とを対応づけた事故事例ＤＢ（事故事例データ）とを比較することで、車両Ｃが起こした事故の状況に対応する事故事例を検索する機能を有する。また、検索部１０４は、車両Ｃが起こした事故の状況に対応する事故事例として、車両Ｃが起こした事故における車両Ｃの過失割合を検索するようにしてもよい。 The search unit 104 compares the situation of the accident caused by the vehicle C analyzed by the analysis unit 102 with an accident case DB (accident case data) in which the situation of the accident and past accident cases are associated with each other. It has a function of retrieving an accident case corresponding to the situation of the accident caused by the vehicle C. Further, the search unit 104 may search for the rate of fault of the vehicle C in the accident caused by the vehicle C as an accident case corresponding to the situation of the accident caused by the vehicle C.

また、事故事例には、過失割合を修正する１以上の修正割合（修正情報）が含まれていてもよい。検索部１０４は、１以上の修正割合の中に、事故車両が起こした事故の状況に対応する修正割合が存在する場合、事故車両の過失割合を当該修正割合に従って修正するようにしてもよい。修正割合については後述する。 Further, the accident case may include one or more correction ratios (correction information) for correcting the negligence ratio. If one or more correction ratios include a correction ratio corresponding to the situation of the accident caused by the accident vehicle, the search unit 104 may correct the fault ratio of the accident vehicle according to the correction ratio. The correction ratio will be described later.

出力部１０５は、分析部１０２が分析した事故の状況を示す情報、検索部１０４が検索した事故の状態に対応する事故事例、及び、生成部１０３が生成した事故の状況を示す画像を端末２０に出力する機能を有する。 The output unit 105 outputs the information indicating the accident situation analyzed by the analysis unit 102, the accident case corresponding to the accident state searched by the search unit 104, and the image showing the accident situation generated by the generation unit 103 to the terminal 20. It has a function to output to

＜処理手順＞
続いて、事故分析装置１０が、車両Ｃが起こした事故状況を分析する際の処理手順を、図２で説明した処理手順に沿って詳細に説明する。以下の説明においては、事故分析装置１０は、事故を起こした車両Ｃから車両データ及び映像データを取得済みであるものとする。また、車両データ及び映像データには、それぞれ時刻情報又は同期情報が含まれているものとする。すなわち、本実施形態では、ある時点における映像データを分析する際、当該時点に対応する車両データを用いて分析を行うことが可能である、逆に、ある時点における車両データを分析する際、当該時点に対応する映像データを用いて分析を行うことが可能である。 <Processing procedure>
Next, the processing procedure when the accident analysis device 10 analyzes the accident situation caused by the vehicle C will be described in detail along the processing procedure described with reference to FIG. In the following description, it is assumed that the accident analysis device 10 has obtained vehicle data and video data from the vehicle C that caused the accident. Also, it is assumed that the vehicle data and the video data each include time information or synchronization information. That is, in this embodiment, when analyzing video data at a certain point in time, analysis can be performed using vehicle data corresponding to that point in time. Analysis can be performed using video data corresponding to time points.

（周辺物の検出及び座標特定）
図６は、事故分析装置１０が周辺物の検出及び座標特定を行う際の処理手順を説明するための図である。当該処理手順は、図２のステップＳ１２の処理手順に対応する。 (Detection of surrounding objects and identification of coordinates)
FIG. 6 is a diagram for explaining a processing procedure when the accident analysis device 10 detects surrounding objects and specifies coordinates. This processing procedure corresponds to the processing procedure of step S12 in FIG.

分析部１０２は、映像データをフレームごとに分解することで得られた各画像を解析することで、画像内に写っている車両、人、自転車、交通標識、信号機（信号の色や矢印信号を含む）、道路周辺の構造物（電柱、街路灯、ガードレール等）、落下物、路面文字、横断歩道及び車線等を含む１以上の周辺物を特定する。また、分析部１０２は、特定した１以上の周辺物の各々について、画像内にて周辺物が写っている領域の座標を特定する。 The analysis unit 102 analyzes each image obtained by decomposing video data for each frame, and identifies vehicles, people, bicycles, traffic signs, and traffic lights (signal colors and arrow signals) appearing in the images. ), structures around the road (telephone poles, street lights, guardrails, etc.), fallen objects, road markings, pedestrian crossings, lanes, etc., are identified. In addition, the analysis unit 102 identifies the coordinates of the area in the image in which the peripheral object is captured for each of the identified one or more peripheral objects.

図６の例は、映像データをフレームごとに分解することで得られた各画像のうちＸフレーム目の画像例を示している。Ｘ軸は、左端を０とする左右方向のピクセル数（Ｘ方向の座標）を示し、Ｙ軸は、下端を０とする上下方向のピクセル数（Ｙ方向の座標）を示している。図６の例では、車両Ｃが走行している車線（左から２つ目の車線）の左側の車線の奥にトラックが写っており、車両Ｃが走行している車線の右側の車線に乗用車が写っている。分析部１０２は、認識対象（例えば他の車両、人、自転車、道路標識、信号機、道路周辺の構造物（電柱、街路灯、ガードレール等）、落下物及び車線等）を認識することが可能な能力を学習した学習済みモデルを備えており、当該学習済みモデルに画像を入力することで、画像内に写っている１以上の周辺物の種別及び周辺物の領域を特定するようにしてもよい。このような処理は、例えばＹＯＬＯ（Your Only Look Once）、Ｍａｓｋ Ｒ－ＣＮＮ（Mask Regional Convolutional Neural Network）等の既存技術を利用することで実現することが可能である。 The example of FIG. 6 shows an example of the X-th frame image among the images obtained by decomposing the video data for each frame. The X-axis indicates the number of pixels in the horizontal direction (X-direction coordinates) with the left end being 0, and the Y-axis indicates the number of pixels in the vertical direction (Y-direction coordinates) with the bottom end being 0. In the example of FIG. 6, a truck is shown in the back of the lane on the left side of the lane in which vehicle C is traveling (the second lane from the left), and a passenger car is in the lane on the right side of the lane in which vehicle C is traveling. is in the picture. The analysis unit 102 can recognize recognition targets (for example, other vehicles, people, bicycles, road signs, traffic lights, structures around the road (electric poles, street lights, guardrails, etc.), fallen objects, lanes, etc.). A trained model that has learned abilities may be provided, and by inputting an image into the trained model, one or more peripheral object types and peripheral object areas captured in the image may be specified. . Such processing can be realized by using existing technologies such as YOLO (Your Only Look Once) and Mask R-CNN (Mask Regional Convolutional Neural Network).

図６のＡの例では、分析部１０２は、領域Ｃ１（Ｘ＝７００及びＹ＝３００の点を左上とし、Ｘ＝９００及びＹ＝３００の点を右下とする長方形領域）にトラックが写っていることと、領域Ｃ２（Ｘ＝１４００及びＹ＝２５０の点を左上とし、Ｘ＝１７５０及びＹ＝５０の点を右下とする長方形領域）に乗用車が写っていることを特定している。また、同様に、領域Ｃ３～Ｃ６（座標は図示せず）には、電柱が写っていることを特定している。 In the example of A in FIG. 6, the analysis unit 102 determines that the track is captured in area C1 (a rectangular area in which the point of X=700 and Y=300 is the upper left and the point of X=900 and Y=300 is the lower right). and that the passenger car is in area C2 (a rectangular area with the point of X=1400 and Y=250 as the upper left and the point of X=1750 and Y=50 as the lower right). . Similarly, it is specified that utility poles are shown in areas C3 to C6 (coordinates not shown).

図６のＢの例は、分析部１０２が、フレーム毎に周辺物を特定した結果の例を示している。 The example of B in FIG. 6 shows an example of the result of the analysis unit 102 identifying peripheral objects for each frame.

また、分析部１０２は、フレームごとの画像の解析結果を突合することで、車両がウィンカーを点滅させているか否か、車両のドアが開閉したか否か及び人が立っているのか座っているのか又は倒れているのかを特定するようにしてもよい。例えば、分析部１０２は、ウィンカーの点滅有無を、各画像にて認識された車両のウィンカー部分の色が周期的に変化しているか否かを判定することで特定するようにしてもよい。 In addition, the analysis unit 102 compares the analysis results of the image for each frame to determine whether the vehicle blinks its turn signals, whether the vehicle doors are opened and closed, and whether the person is standing or sitting. You may make it specify whether it is on or down. For example, the analysis unit 102 may determine whether or not the winkers are blinking by determining whether the color of the winker portion of the vehicle recognized in each image changes periodically.

また、分析部１０２は、車両のドアが開閉したか否かを、各画像にて認識された車両のドア部分の変化を判定することで特定するようにしてもよい。また、分析部１０２は、人が立っているのか座っているのか又は倒れているのかを、人が写っている領域の上下方向の長さと左右方向の長さの比率に基づいて特定するようにしてもよい。なお、人の姿勢の特定は、例えば、Realtime Multi-Person 2D Pose Estimation using Part Affinity Fie
lds等の従来技術を利用することができる。 Further, the analysis unit 102 may determine whether or not the door of the vehicle has been opened or closed by determining a change in the door portion of the vehicle recognized in each image. In addition, the analysis unit 102 identifies whether the person is standing, sitting, or lying down based on the ratio of the length in the vertical direction and the length in the horizontal direction of the area in which the person is captured. may For example, realtime multi-person 2D pose estimation using Part Affinity Fie
Conventional techniques such as lds can be used.

（自車と周辺物との相対的な位置関係の推定）
図７は、事故分析装置１０が車両Ｃと周辺物との相対的な位置関係を推定する際の処理手順を説明するための図である。当該処理は、図２のステップＳ１３の処理手順に対応する。 (Estimation of relative positional relationship between own vehicle and surrounding objects)
FIG. 7 is a diagram for explaining a processing procedure when the accident analysis device 10 estimates the relative positional relationship between the vehicle C and surrounding objects. This processing corresponds to the processing procedure of step S13 in FIG.

分析部１０２は、画像内で特定された１以上の周辺物が写っている領域に基づいて、車両Ｃと車両Ｃの周辺に存在する周辺物との間の相対的な位置関係を周辺物ごとに推定する。より詳細には、分析部１０２は、周辺物が写っている領域の大きさに基づいて、車両Ｃから当該周辺物までの距離（図７のＢにおけるｄ１及びｄ２）を推定する。また、分析部１０２は、周辺物が写っている領域の中心座標と画像の中心座標との左右方向の差分に基づいて、車両Ｃの進行方向（画像の中心方向）を基準（０度）とした場合における、当該周辺物が存在する左右方向の角度（図７のＢにおけるθ１及びθ２）を推定する。 The analysis unit 102 determines the relative positional relationship between the vehicle C and surrounding objects existing around the vehicle C for each surrounding object, based on the region in which the one or more surrounding objects are identified in the image. estimated to . More specifically, the analysis unit 102 estimates the distance from the vehicle C to the peripheral object (d1 and d2 in B of FIG. 7) based on the size of the area in which the peripheral object is captured. Further, the analysis unit 102 determines the direction of travel of the vehicle C (the direction of the center of the image) as the reference (0 degrees) based on the difference in the horizontal direction between the center coordinates of the region in which the peripheral object is captured and the center coordinates of the image. Estimate the horizontal angles (θ1 and θ2 in B of FIG. 7) at which the peripheral object exists when

［周辺物までの距離の算出例］
図７のＡを用いて具体例を示す。まず、分析部１０２には、カメラＤを用いて１ｍ先に、長さ１ｍの物体を垂直方向（又は水平方向）に置いて撮影した場合、画像内において何ピクセルを占めるのかを示すデータが格納済みであるものとする。当該データは、カメラの画角（レンズ角）によって異なることから、カメラＤの機種ごとに対応づけられて格納されていてもよい。また、カメラＤの機種によっては、広角レンズ又は魚眼レンズを利用していることが多い。そのため、分析部１０２は、カメラＤで撮影された映像データについて、カメラＤのレンズ特性に合わせて歪み補正を行った後で、以下に示す、周辺物までの距離の算出及び周辺物が存在する左右方向の角度の算出を行うようにしてもよい。歪み補正については、キューピック補間等の従来技術を利用することで実現可能である。 [Calculation example of distance to surrounding objects]
A specific example is shown using A in FIG. First, the analysis unit 102 stores data indicating how many pixels are occupied in an image when an object with a length of 1 m is placed vertically (or horizontally) and photographed 1 m ahead using the camera D. shall have been completed. Since the data varies depending on the angle of view (lens angle) of the camera, the data may be stored in association with each model of the camera D. FIG. Further, depending on the model of the camera D, a wide-angle lens or a fish-eye lens is often used. Therefore, the analysis unit 102 corrects the distortion of the video data captured by the camera D in accordance with the lens characteristics of the camera D, and then calculates the distance to the surrounding object and determines if the surrounding object exists, as described below. You may make it calculate the angle of a left-right direction. Distortion correction can be realized by using conventional techniques such as cupic interpolation.

図７のＡの例では、１ｍ先に長さ１ｍの物体を垂直方向に置いて撮影した場合、垂直方向に１００ピクセルであると仮定する。同様に、１０ｍ先に、長さ１ｍの物体を垂直方向（又は水平方向）に置いて撮影した場合、画像内において何ピクセルを占めるのかを予め調べておく。図７の例では、１０ｍ先に長さ１ｍの物体を垂直方向に置いて撮影した場合、垂直方向に１０ピクセルであると仮定する。 In the example of A of FIG. 7, it is assumed that when an object with a length of 1 m is placed vertically at a distance of 1 m and photographed, there are 100 pixels in the vertical direction. Similarly, when an object with a length of 1 m is placed vertically (or horizontally) and photographed 10 meters ahead, the number of pixels occupied in the image is checked in advance. In the example of FIG. 7, it is assumed that when an object with a length of 1 m is vertically placed 10 m ahead and photographed, there are 10 pixels in the vertical direction.

また、周辺物ごとに垂直方向（又は水平方向）の大きさを予め定めておく。例えば、トラックの場合、垂直方向の長さ（高さ）は２ｍであり、乗用車の場合は１．５ｍといったように定めてもよい。 Also, the size in the vertical direction (or horizontal direction) is determined in advance for each peripheral object. For example, a truck may have a vertical length (height) of 2 m, while a passenger car may have a vertical length of 1.5 m.

前述した通り、１ｍ先にある長さ１ｍの物体の垂直方向のピクセル数が１００ピクセルであり、１０ｍ先にある長さ１ｍの物体の垂直方向のピクセル数が１０ピクセルであるとすると、高さ２ｍのトラックが１ｍ先にある場合、垂直方向のピクセル数は２００ピクセルであり、高さ２ｍのトラックが１０ｍ先にある場合、垂直方向のピクセル数は２０ピクセルであると計算することができる。より具体的には、ピクセル数をＸとし、距離をＹとすると、以下の式が成立する。 As mentioned above, if the number of pixels in the vertical direction of a 1m-long object 1m away is 100 pixels, and the number of vertical pixels of a 1m-long object 10m away is 10 pixels, then the height It can be calculated that if a 2m truck is 1m away, the number of pixels in the vertical direction is 200 pixels, and if a 2m high truck is 10m away, the number of pixels in the vertical direction is 20 pixels. More specifically, when the number of pixels is X and the distance is Y, the following formula holds.

Ｙ＝２００÷Ｘ （式１）
次に、分析部１０２は、式１を用いて、車両Ｃとトラックとの間の距離を算出する。図７のＡの例では、領域Ｃ１の垂直方向の長さは、５０（（４００－３００）÷２）＝５０ピクセルである。従って、式１によれば、Ｙ＝２００÷５０＝４ｍであると算出することができる。 Y=200/X (Formula 1)
Next, the analysis unit 102 uses Equation 1 to calculate the distance between the vehicle C and the truck. In the example of FIG. 7A, the vertical length of region C1 is 50 ((400-300)/2)=50 pixels. Therefore, according to Equation 1, it can be calculated that Y=200/50=4m.

なお、車両ＣにカメラＤを取り付ける高さ（地面からの高さ）及びカメラＤを向けるべき方向が高精度で固定されている状況であれば、Ｙ軸の値のみで周辺物までの距離を特定することが可能である。しかしながら、以上説明した処理手順によれば、ドライブレコーダーをレンタルする場合等のようにカメラＤの取り付け位置がドライバーによって異なる場合であっても、車両Ｃと周辺物との間の距離を特定することが可能になる。 If the height (height from the ground) at which the camera D is attached to the vehicle C and the direction in which the camera D should be directed are fixed with high accuracy, the distance to the surrounding object can be calculated only by the value of the Y axis. can be specified. However, according to the processing procedure described above, even if the mounting position of the camera D differs depending on the driver, such as when renting a drive recorder, the distance between the vehicle C and surrounding objects can be specified. becomes possible.

［周辺物が存在する左右方向の角度の算出例］
図７のＡを用いて具体例を示す。まず、分析部１０２には、カメラＤの画角（レンズ角）を示すデータを格納してあるものとする。当該データは、カメラＤの機種によって異なることから、カメラＤの機種ごとに対応づけられて格納されていてもよい。 [Calculation example of the angle in the left-right direction with surrounding objects]
A specific example is shown using A in FIG. First, it is assumed that data indicating the angle of view (lens angle) of the camera D is stored in the analysis unit 102 . Since the data differs depending on the model of camera D, the data may be stored in association with each model of camera D. FIG.

ここで、カメラＤの画角を画面の左右方向のピクセル数で割ることで、１ピクセルが画角の何度に該当するのかが判明する。例えば画面の左右方向の全ピクセル数が２０００ピクセルであり、カメラＤの画角が８０度である場合、２００ピクセルは８度に該当する。つまり、画像において周辺物が写っている領域の中心位置と、画像の中心位置との水平方向におけるピクセル数の差分を計算することで、周辺物が、車両Ｃの進行方向を０度とした場合に、周辺物が存在する左右方向の角度（水平面における角度）を算出することができる。 Here, by dividing the angle of view of the camera D by the number of pixels in the horizontal direction of the screen, it is possible to determine how many times in the angle of view one pixel corresponds to. For example, if the total number of pixels in the horizontal direction of the screen is 2000 pixels and the angle of view of camera D is 80 degrees, 200 pixels corresponds to 8 degrees. In other words, by calculating the difference in the number of pixels in the horizontal direction between the center position of the area in which the surrounding object is shown in the image and the center position of the image, the surrounding object is assumed to be 0 degrees in the traveling direction of the vehicle C. In addition, the angle in the left-right direction (angle in the horizontal plane) at which the peripheral object exists can be calculated.

例えば、図７のＡにおいてトラックが写っている領域のＸ方向の中心位置は、Ｘ＝８００である。また、カメラＤの画角は８０度であり、画面の左右方向の全ピクセル数は２０００ピクセルであるとする。また、画像の中心位置は、Ｘ＝１０００である。従って、トラックが写っている領域の中心位置と、画像の中心位置とは、２００ピクセル（１０００－８００）離れている。前述した通り、２００ピクセルは８度に該当することから、車両Ｃとトラックとの間の左右方向の角度（図７のＢのθ１）は８度であると算出することができる。 For example, the center position in the X direction of the area where the track is shown in A of FIG. 7 is X=800. It is also assumed that the angle of view of camera D is 80 degrees and the total number of pixels in the horizontal direction of the screen is 2000 pixels. Also, the center position of the image is X=1000. Therefore, the center position of the area in which the track is captured and the center position of the image are separated by 200 pixels (1000-800). As described above, since 200 pixels correspond to 8 degrees, it can be calculated that the horizontal angle (θ1 in B of FIG. 7) between the vehicle C and the truck is 8 degrees.

なお、以上説明した計算方法では、周辺物が車両Ｃに極端に接近し、周辺物の一部が画像の外に出てしまった場合には距離及び角度の算出が不可能になる。しかしながら、周辺物の一部が画像の外に出ている場合は、周辺物と車両Ｃとの距離は一定の距離以内であると推定することが可能である。また、前後のフレームの画像における周辺物の位置の変化に基づいて、画像から消えた周辺物の位置を推定することも可能である。 It should be noted that, with the above-described calculation method, it becomes impossible to calculate the distance and angle when the peripheral object is extremely close to the vehicle C and a part of the peripheral object is out of the image. However, if part of the surrounding object is out of the image, it can be estimated that the distance between the surrounding object and the vehicle C is within a certain distance. It is also possible to estimate the position of the peripheral object that has disappeared from the image based on the change in the position of the peripheral object in the images of the previous and subsequent frames.

例えば、あるフレームＸの画像では周辺物の一部が画像の外に出ているが、１フレーム前であるフレームＸ－１の画像では、当該周辺物の全体が写っており、車両Ｃと当該周辺物との間の距離が１０ｍであったと仮定する。また、更に１フレーム前であるフレームＸ－２の画像では、車両Ｃと当該周辺物との間の距離が１１ｍであったと仮定する。この場合、フレームＸの画像における車両Ｃと当該周辺物との間の距離は、９ｍの距離であると推定することができる。また、周辺物が車両である場合、車両全体を画像認識することで距離の推定を行うのではなく、車両の一部（例えばナンバープレートなど）に限定して画像認識するようにしてもよい。これにより、車両の一部が画像の外に出た場合であっても、ナンバープレートが画像に写っている限り、車両Ｃとの間の距離及び角度を推定することが可能になる。 For example, in the image of a certain frame X, a part of the surrounding object is out of the image, but in the image of the frame X-1, which is one frame before, the entire surrounding object is shown, and the vehicle C and the vehicle C are shown. Assume that the distance between the surrounding objects was 10m. Further, it is assumed that the distance between the vehicle C and the surrounding object is 11 m in the image of the frame X-2, which is one frame before. In this case, the distance between the vehicle C and the surrounding object in the image of frame X can be estimated to be 9 m. Further, when the surrounding object is a vehicle, the image recognition may be limited to a part of the vehicle (for example, a license plate) instead of recognizing the image of the entire vehicle to estimate the distance. As a result, even if part of the vehicle is out of the image, the distance and angle to the vehicle C can be estimated as long as the license plate is visible in the image.

（自車位置と周辺物の絶対位置を推定）
図８は、事故分析装置１０が車両Ｃと周辺物との絶対位置を推定する際の処理手順を説明するための図である。当該処理は、図２のステップＳ１４の処理手順に対応する。 (estimates vehicle position and absolute position of surrounding objects)
FIG. 8 is a diagram for explaining a processing procedure when the accident analysis device 10 estimates the absolute positions of the vehicle C and surrounding objects. This processing corresponds to the processing procedure of step S14 in FIG.

まず、分析部１０２は、車両Ｃの絶対位置を推定する。分析部１０２は、車両Ｃの車両データに含まれる、車両Ｃが備えるＧＰＳセンサにより取得された車両Ｃの位置情報を用いて、車両Ｃの絶対位置を推定するようにしてもよい。又は、分析部１０２は、事故時の映像データを、例えばStructure From MotionまたはSimultaneous Localization and Mappingと呼ばれる従来技術（以下、便宜上「ＳＦＭ」と言う）を用いて分析することで得られた車両Ｃの絶対位置と、ＧＰＳセンサにより推定された車両Ｃの絶対位置とを合成することで、より正確な車両Ｃの絶対位置を推定するようにしてもよい。 First, the analysis unit 102 estimates the absolute position of the vehicle C. As shown in FIG. The analysis unit 102 may estimate the absolute position of the vehicle C using the position information of the vehicle C that is included in the vehicle data of the vehicle C and that is acquired by the GPS sensor that the vehicle C has. Alternatively, the analysis unit 102 analyzes the video data at the time of the accident, for example, using a conventional technique called Structure From Motion or Simultaneous Localization and Mapping (hereinafter referred to as "SFM" for convenience). A more accurate absolute position of the vehicle C may be estimated by synthesizing the absolute position and the absolute position of the vehicle C estimated by the GPS sensor.

［ＳＦＭに基づく車両Ｃの絶対位置の推定］
ＳＦＭを用いることで、映像データにおける各フレームの画像に含まれる特徴点を抽出し、抽出した特徴点から各フレームの画像における対応点（対応する特徴点）を特定し、更に特定した対応点の動きを追うことでカメラの動きを再現することができる。特徴点の抽出には、例えば、ＳＩＦＴ特徴量と呼ばれる従来技術を用いることで実現することができる。また、対応点の特定は、例えばＦＬＡＮＮ（Fast Library for Approximate Nearest Neighbors）と呼ばれる従来技術を用いることで実現することができる。 [Estimation of absolute position of vehicle C based on SFM]
By using SFM, the feature points included in the image of each frame in the video data are extracted, the corresponding points (corresponding feature points) in the image of each frame are specified from the extracted feature points, and the specified corresponding points are identified. By following the movement, the movement of the camera can be reproduced. Extraction of feature points can be realized by using a conventional technique called SIFT feature quantity, for example. Further, identification of corresponding points can be realized by using a conventional technique called FLANN (Fast Library for Approximate Nearest Neighbors), for example.

ここで、映像データを撮影したカメラは、車両Ｃに搭載されたカメラＤであることから、再現されたカメラの動きは、車両Ｃの動きであるとみなすことができる。また、車両Ｃの車両データには車速データが含まれていることから、当該車速データと映像データにおけるフレームレートとを突合することで、各フレーム間で車両Ｃが移動した距離を推定することができる。例えば、車両Ｃが時速６０ｋｍで走行しており、映像データのフレームレートが１秒間に１５フレームである場合、１フレームあたりの車両Ｃの移動距離は約１ｍになる。 Here, since the camera that captured the video data is the camera D mounted on the vehicle C, the reproduced camera movement can be regarded as the vehicle C movement. Further, since the vehicle data of the vehicle C includes vehicle speed data, by matching the vehicle speed data with the frame rate of the video data, it is possible to estimate the distance traveled by the vehicle C between frames. can. For example, when the vehicle C is traveling at a speed of 60 km/h and the frame rate of the video data is 15 frames per second, the moving distance of the vehicle C per frame is approximately 1 m.

なお、並走している他の車両ではなく、周囲の環境に対する車両Ｃの動きを求めるために、分析部１０２は、特徴点を抽出する際、移動している周辺物の特徴点を除外し、固定的に設置されている周辺物を対象に特徴点を抽出する。例えば、分析部１０２は、交通標識、信号機及び道路周辺の構造物（電柱、街路灯、ガードレール等）を対象に特徴点を抽出するようにしてもよい。なお、周辺物の種別については、前述した学習済みモデルに識別させることで把握可能である。 Note that in order to obtain the movement of the vehicle C relative to the surrounding environment instead of the other vehicles running side by side, the analysis unit 102 excludes feature points of moving surrounding objects when extracting feature points. , feature points are extracted from surrounding objects that are fixedly installed. For example, the analysis unit 102 may extract feature points from traffic signs, traffic lights, and structures around roads (telephone poles, street lights, guardrails, etc.). It should be noted that the types of surrounding objects can be grasped by making the above-described learned model identify them.

例えば、図８のＡは、フレームＮにおける画像データであり、図８のＢは、フレームＮ＋１における画像データを示している。図８のＡと図８のＢでは、固定的に設置されている周辺物に対応する領域Ｃ３～Ｃ６は車両Ｃの移動に従って後方に移動しているが、移動しているトラックの領域Ｃ１の位置は殆ど変化しておらず、対向車線を車両Ｃに向かって走行している乗用車の領域Ｃ２の位置は、大きく変化している。 For example, FIG. 8A shows image data at frame N, and FIG. 8B shows image data at frame N+1. In FIGS. 8A and 8B, the areas C3 to C6 corresponding to the fixedly installed peripheral objects move backward as the vehicle C moves, but the area C1 of the moving truck moves backward. The position hardly changes, and the position of the region C2 of the passenger car traveling toward the vehicle C in the oncoming lane changes greatly.

ＳＦＭを用いることで、分析部１０２は、例えば、２フレーム目の車両Ｃの位置は、１フレーム目と比較して２ｍ前方かつ１ｍ左に移動しており、３フレーム目の車両Ｃの位置は、２フレーム目と比較して２．５ｍ前方かつ０．５ｍ左に移動しているといったように、映像データの１フレーム目を基準とした車両Ｃの相対位置を示す情報を算出することができる。 By using the SFM, the analysis unit 102 determines that, for example, the position of the vehicle C in the second frame is 2 m forward and 1 m to the left compared to the first frame, and the position of the vehicle C in the third frame is , and moved 2.5 m forward and 0.5 m to the left compared to the second frame. .

続いて、分析部１０２は、ＧＰＳセンサにより取得された車両Ｃの絶対位置を示す位置情報の中から、映像データの１フレーム目が撮影された時刻に該当する位置情報を選択する。ＧＰＳセンサにより取得された位置情報には時刻情報が含まれており、本実施形態における映像データにも録画された時刻を示す時刻情報が含まれている。従って、分析部１０２は、映像データに含まれる時刻と位置情報に含まれる時刻とを突合することで、映像データの１フレーム目に該当するＧＰＳの位置情報を選択することができる。 Subsequently, the analysis unit 102 selects the position information corresponding to the time when the first frame of the video data was captured from the position information indicating the absolute position of the vehicle C acquired by the GPS sensor. The position information acquired by the GPS sensor includes time information, and the video data in this embodiment also includes time information indicating the time when the video data was recorded. Therefore, the analysis unit 102 can select the GPS position information corresponding to the first frame of the video data by matching the time included in the video data with the time included in the position information.

続いて、分析部１０２は、映像データの１フレーム目に該当するＧＰＳの位置情報を用いて、映像データの２フレーム目以降における車両Ｃの絶対位置を特定する。前述した通り、分析部１０２は、フレーム間における相対的な移動を示す情報を算出している。また、本実施形態における車両データには、映像の正面方向がどの方角を向いているのかを示す方位データが含まれており、前方がどの方向を指しているのかを方位データより把握可能である。従って、分析部１０２は、選択したＧＰＳの位置情報を１フレーム目における車両Ｃの絶対位置とすることで、２フレーム目の車両Ｃの相対位置（ＳＦＭにより求めた相対位置）に相当する車両Ｃの絶対位置（緯度及び経度）を算出することができる。例えば、ＧＰＳセンサにより取得された１フレーム目の緯度が１３４．４５度であり、経度が３２．８５度である場合、当該緯度及び経度を起点として、北方向に２ｍ前方かつ西方向に１ｍ移動した位置に該当する緯度及び経度が、２フレーム目における車両Ｃの絶対位置になる。分析部１０２は、当該処理をフレームごとに繰り返すことで、ＳＦＭに基づく車両Ｃの絶対位置（緯度及び経度）を、全てのフレームについて算出する。 Subsequently, the analysis unit 102 identifies the absolute position of the vehicle C in the second and subsequent frames of the video data using the GPS position information corresponding to the first frame of the video data. As described above, the analysis unit 102 calculates information indicating relative movement between frames. In addition, the vehicle data in this embodiment includes orientation data indicating which direction the front direction of the image is facing, and it is possible to grasp which direction the front is pointing from the orientation data. . Therefore, the analysis unit 102 uses the selected GPS position information as the absolute position of the vehicle C in the first frame, so that the vehicle C corresponding to the relative position of the vehicle C in the second frame (relative position obtained by SFM) , the absolute position (latitude and longitude) of can be calculated. For example, if the latitude of the first frame acquired by the GPS sensor is 134.45 degrees and the longitude is 32.85 degrees, the latitude and longitude are taken as the starting point, and the vehicle moves 2 m forward in the north direction and 1 m in the west direction. The latitude and longitude corresponding to the determined position are the absolute position of the vehicle C in the second frame. The analysis unit 102 repeats the process for each frame to calculate the absolute position (latitude and longitude) of the vehicle C based on the SFM for all frames.

［車両Ｃの絶対位置の推定］
図９に示すように、分析部１０２は、ＳＦＭに基づく車両Ｃの絶対位置と、ＧＰＳによる車両Ｃの絶対位置とを用いて、車両Ｃの絶対位置をフレームごとに推定する。図９の左図に示す地点ｆ１１～ｆ１６は、それぞれ、映像データの１フレーム～６フレームを解析することで得られた車両Ｃの絶対位置であると仮定する。また、図９の中央の図に示す地点ｆ２１～ｆ２６は、ＧＰＳにより得られた車両Ｃの絶対位置のうち、映像データの１フレーム～６フレームに対応する時刻における車両Ｃの絶対位置であると仮定する。図９の右図に示す地点ｆ３１～ｆ３６は、推定された車両Ｃの絶対位置を示す。なお、前述した通り、映像データの１フレームに対応する車両Ｃの絶対位置を示す地点ｆ１１は、地点ｆ２１と同一地点である。 [Estimation of Absolute Position of Vehicle C]
As shown in FIG. 9, the analysis unit 102 estimates the absolute position of the vehicle C for each frame using the absolute position of the vehicle C based on the SFM and the absolute position of the vehicle C based on the GPS. It is assumed that the points f11 to f16 shown in the left diagram of FIG. 9 are the absolute positions of the vehicle C obtained by analyzing the 1st to 6th frames of the video data, respectively. Further, points f21 to f26 shown in the central diagram of FIG. 9 are the absolute positions of the vehicle C at times corresponding to the 1st to 6th frames of the video data among the absolute positions of the vehicle C obtained by GPS. Assume. Points f31 to f36 shown in the right diagram of FIG. 9 indicate the estimated absolute positions of the vehicle C. As shown in FIG. As described above, the point f11 indicating the absolute position of the vehicle C corresponding to one frame of the video data is the same point as the point f21.

分析部１０２は、例えば、ＳＦＭに基づく車両Ｃの絶対位置と、ＧＰＳによる車両Ｃの絶対位置とを単純に平均した絶対位置を、車両Ｃの絶対位置として推定してもよい。例えば、時速３０ｋｍ以上については、合計値を２で割った値を車両Ｃの絶対位置とするようにしてもよい。もし、地点ｆ１３及び地点ｆ２３における車両Ｃの車速が３０ｋｍ以上であった場合、車両Ｃの絶対位置（地点ｆ３３）のうち緯度は、（地点ｆ１３の緯度＋地点ｆ２３の緯度）÷２で算出することができる。同様に、車両Ｃの絶対位置（地点ｆ３３）のうち経度は、（地点ｆ１３の経度＋地点ｆ２３の経度）÷２で算出することができる。 The analysis unit 102 may estimate, as the absolute position of the vehicle C, an absolute position obtained by simply averaging the absolute position of the vehicle C based on SFM and the absolute position of the vehicle C based on GPS, for example. For example, when the speed is 30 km/h or more, the absolute position of the vehicle C may be obtained by dividing the total value by 2. If the speed of vehicle C at points f13 and f23 is 30 km or more, the latitude of the absolute position of vehicle C (point f33) is calculated by (latitude of point f13 + latitude of point f23)/2. be able to. Similarly, the longitude of the absolute position (point f33) of the vehicle C can be calculated by (longitude of point f13+longitude of point f23)/2.

また、分析部１０２は、車両Ｃの車速に応じて、ＳＦＭに基づく車両Ｃの絶対位置と、ＧＰＳによる車両Ｃの絶対位置とを所定の重みで平均した絶対位置を、車両Ｃの絶対位置とするものであってもよい。例えば、時速３０ｋｍ未満（例えば５ｋｍなど）については、ＳＦＭに基づく車両Ｃの絶対位置の方が精度が高いとみなして、ＳＦＭに基づく車両Ｃの絶対位置と、ＧＰＳによる車両Ｃの絶対位置とを、例えば４：１の割合で平均した絶対位置を、車両Ｃの絶対位置とするようにしてもよい。もし、地点ｆ１６及び地点ｆ２６における車両Ｃの車速が５ｋｍ以上であった場合、車両Ｃの絶対位置（地点ｆ３６）のうち緯度は、（地点ｆ１６の緯度×４＋地点ｆ２６の緯度×１）÷５で算出することができる。同様に、車両Ｃの絶対位置（地点ｆ３６）のうち経度は、（地点ｆ１６の経度×４＋地点ｆ２６の経度×１）÷５で算出することができる。 In addition, the analysis unit 102 determines the absolute position of the vehicle C by averaging the absolute position of the vehicle C based on the SFM and the absolute position of the vehicle C based on the GPS with a predetermined weight according to the vehicle speed of the vehicle C. It may be something to do. For example, for a speed of less than 30 km/h (for example, 5 km), the absolute position of vehicle C based on SFM is considered to be more accurate, and the absolute position of vehicle C based on SFM and the absolute position of vehicle C based on GPS are combined. , for example, the absolute position averaged at a ratio of 4:1 may be used as the absolute position of the vehicle C. FIG. If the speed of vehicle C at points f16 and f26 is 5 km or more, the latitude of the absolute position of vehicle C (point f36) is (latitude of point f16 x 4 + latitude of point f26 x 1)/5. can be calculated by Similarly, the longitude of the absolute position (point f36) of the vehicle C can be calculated by (longitude of point f16×4+longitude of point f26×1)÷5.

なお、分析部１０２は、ノイズ除去処理がなされたＳＦＭに基づく車両Ｃの絶対位置と、ノイズ除去処理がなされたＧＰＳによる車両Ｃの絶対位置と用いて、車両Ｃの絶対位置をフレームごとに推定するようにしてもよい。ノイズ除去には、例えばカルマンフィルタを利用することとしてもよい。ＳＦＭに基づく車両Ｃの絶対位置のノイズを除去するために使用するカルマンフィルタと、ＧＰＳによる車両Ｃの絶対位置のノイズを除去するために使用するカルマンフィルタとは、異なるカルマンフィルタであってもよい。推定する車両Ｃの絶対位置の精度をより向上させることが可能になる。 Note that the analysis unit 102 estimates the absolute position of the vehicle C for each frame by using the absolute position of the vehicle C based on the noise-removed SFM and the absolute position of the vehicle C obtained by the noise-removed GPS. You may make it For noise removal, for example, a Kalman filter may be used. The Kalman filter used to denoise the absolute position of vehicle C based on SFM and the Kalman filter used to denoise the absolute position of vehicle C by GPS may be different Kalman filters. It is possible to further improve the accuracy of the estimated absolute position of the vehicle C.

［周辺物の絶対位置を推定］
分析部１０２は、推定したフレームごとの車両Ｃの絶対位置と、フレームごとの車両Ｃと周辺物との相対的な位置関係とに基づき、周辺物の絶対位置をフレームごとに算出する。前述した通り、車両Ｃと周辺物との相対的な位置関係は、図７のＢに示すように、車両Ｃと周辺物との間の距離と、車両Ｃの進行方向（画像の中心方向）を基準（０度）とした場合における、当該周辺物が存在する左右方向の角度で示される。分析部１０２は、フレームごとの車両Ｃの絶対位置についてフレーム間で差分を取ることで得られた車両Ｃの絶対位置の移動方向を車両Ｃの進行方向とし、推定した進行方向を基準として、周辺物の相対位置に対応する緯度及び経度を算出することで、周辺物の絶対位置（緯度、経度）を得ることができる。 [Estimate the absolute position of surrounding objects]
The analysis unit 102 calculates the absolute position of the peripheral object for each frame based on the estimated absolute position of the vehicle C for each frame and the relative positional relationship between the vehicle C and the peripheral object for each frame. As described above, the relative positional relationship between the vehicle C and the surrounding objects depends on the distance between the vehicle C and the surrounding objects and the traveling direction of the vehicle C (center direction of the image), as shown in FIG. 7B. is the angle in the left-right direction at which the peripheral object exists, with the reference (0 degrees). The analysis unit 102 sets the movement direction of the absolute position of the vehicle C obtained by taking the difference between the frames for the absolute position of the vehicle C for each frame as the traveling direction of the vehicle C, and uses the estimated traveling direction as a reference to determine the surrounding area. By calculating the latitude and longitude corresponding to the relative position of the object, the absolute position (latitude and longitude) of the surrounding object can be obtained.

（事故状況を示す画像の生成）
生成部１０３は、以上説明した処理手順により推定した、フレームごとの車両Ｃの絶対位置と周辺物の絶対位置とを道路地図上にマッピングすることで事故状況を示す画像を生成する。当該処理は、図２のステップＳ１５の処理手順に対応する。 (Generation of image showing accident situation)
The generation unit 103 generates an image showing the accident situation by mapping the absolute position of the vehicle C and the absolute positions of the surrounding objects for each frame on the road map, which are estimated by the processing procedure described above. This processing corresponds to the processing procedure of step S15 in FIG.

図１０は、事故分析装置１０が生成する画像の一例を示す図である。図１０におけるＹ軸及びＸ軸は、それぞれ、緯度及び経度に対応する。図１０のＡ～Ｅに示す道路において、中央の線は中央分離帯を示している。また、右側２車線は下から上に向かって走行する車線であり、左側２車線は、上から下に向かって走行する車線である。図１０のＡ～Ｅは、それぞれ、フレームＸ、フレームＸ＋１、フレームＸ＋２、フレームＸ＋３、フレームＸ＋４に対応しているものと仮定するが、あくまで一例でありこれに限定されるものではない。フレームごとの車両Ｃの絶対位置と周辺物の絶対位置とを道路地図上にマッピングすることで、事故の状況を再現することができる。例えば図１０のＡの時点では車両Ｃの対向車線から乗用車Ｖ２走ってきており、図１０のＢの時点で車両Ｃと乗用車Ｖ２が接近しており衝突した様子が図示されている。なお、衝突の有無及び衝突部位の表示については、後述する「衝突位置の推定」に関する処理手順により推定した結果を利用することとしてもよい。 FIG. 10 is a diagram showing an example of an image generated by the accident analysis device 10. As shown in FIG. The Y-axis and X-axis in FIG. 10 correspond to latitude and longitude, respectively. In the roads shown in FIGS. 10A to 10E, the central line indicates the median strip. The two right lanes are lanes for driving from bottom to top, and the two left lanes are lanes for driving from top to bottom. It is assumed that A to E in FIG. 10 correspond to frame X, frame X+1, frame X+2, frame X+3, and frame X+4, respectively, but this is only an example and is not limited to this. By mapping the absolute position of the vehicle C and the absolute positions of surrounding objects for each frame on the road map, the situation of the accident can be reproduced. For example, at time A in FIG. 10, passenger car V2 is running from the oncoming lane of vehicle C, and at time B in FIG. 10, vehicle C and passenger car V2 are approaching and collided. It should be noted that the presence or absence of a collision and the display of the collision site may use the result of estimation by a processing procedure relating to "estimation of the collision position", which will be described later.

なお、図１０のＣ～Ｅでは、乗用車Ｖ２が存在しない。これは、車両Ｃの後方に乗用車Ｖ２が移動したことで、カメラＤに乗用車Ｖ２が写らなくなったためである。もし、カメラＤが、車両の後方も撮影可能である場合、車両Ｃの後方を撮影した映像データを解析することで、衝突後における乗用車Ｖ２の動きを推定して事故状況を示す画像に反映させることが可能である。 In C to E of FIG. 10, the passenger car V2 does not exist. This is because the passenger car V2 has moved behind the vehicle C, and the camera D no longer captures the passenger car V2. If the camera D can also photograph the rear of the vehicle, the movement of the passenger car V2 after the collision is estimated by analyzing the video data photographed behind the vehicle C and reflected in the image showing the accident situation. Is possible.

（衝突方向の推定）
分析部１０２は、衝突の瞬間に車両Ｃに発生した加速度に基づいて、車両Ｃが他の車両、障害物等に衝突した方向を推定する。当該処理は、図２のステップＳ１６の処理手順に対応する。 (estimation of collision direction)
The analysis unit 102 estimates the direction in which the vehicle C collided with another vehicle, an obstacle, or the like, based on the acceleration generated in the vehicle C at the moment of collision. This processing corresponds to the processing procedure of step S16 in FIG.

より具体的には、分析部１０２は、衝突の瞬間に車両Ｃに発生した加速度パターンにより、衝突の方向判断を行う。衝突が発生すると、車両Ｃには、衝突対象が存在する方向にマイナスの加速度が発生するともに、衝突の反動によって、衝突方向とは反対向きにも加速度が発生する。つまり、車両Ｃには、衝突物のある方向と、当該方向と１８０度反対方向を結ぶ軸上で往復するように加速度が発生することが一般的である。 More specifically, the analysis unit 102 determines the direction of the collision based on the acceleration pattern generated in the vehicle C at the moment of the collision. When a collision occurs, the vehicle C undergoes negative acceleration in the direction in which the object of collision exists, and acceleration in the direction opposite to the collision direction also occurs due to the recoil of the collision. In other words, the vehicle C generally undergoes acceleration so as to reciprocate on an axis connecting the direction of the collision object and the direction 180 degrees opposite to the direction.

そこで、分析部１０２は、衝突時点の時刻から所定の期間内における加速度センサからの出力値を方向別に合計し、合計値が大きい方向を衝突方向と推定する。より詳細には、図１１のＡに示すように、加速度の方向を、車両Ｃの正面方向を０度とした場合に、正面（Ｄ１：３３７．５度～２２．５度）、右前方（Ｄ２：２２．５度～６７．５度）、右（Ｄ３方向：６７．５度～１１２．５度）、右後方（Ｄ４：１１２．５度～１５７．５度）、後方（Ｄ５：１５７．５度～２０２．５度）、左後方（Ｄ６：２０２．５度～２４７．５度）、左（Ｄ７：２４７．５度～２９２．５度）、及び左前方（Ｄ８：２９２．５度～３３７．５度）の８方向別に合計し、合計値が大きい方向を衝突方向とみなす。なお、加速度センサで計測される加速度は、慣性の法則に従った加速度である。従って、衝突の際、衝突方向に正の加速度が計測される。 Therefore, the analysis unit 102 totals the output values from the acceleration sensor for each direction within a predetermined period from the time of collision, and estimates the direction with the largest total value as the direction of collision. More specifically, as shown in FIG. 11A, when the direction of acceleration is 0 degrees in the front direction of the vehicle C, the front (D1: 337.5 degrees to 22.5 degrees), the right front ( D2: 22.5 degrees to 67.5 degrees), right (D3 direction: 67.5 degrees to 112.5 degrees), right rear (D4: 112.5 degrees to 157.5 degrees), rear (D5: 157 degrees) .5 degrees to 202.5 degrees), left rear (D6: 202.5 degrees to 247.5 degrees), left (D7: 247.5 degrees to 292.5 degrees), and left front (D8: 292.5 degrees) degrees to 337.5 degrees), and the direction with the largest total value is regarded as the collision direction. Note that the acceleration measured by the acceleration sensor is the acceleration according to the law of inertia. Therefore, in the event of a crash, a positive acceleration is measured in the crash direction.

なお、分析部１０２は、加速度センサが最も大きな加速度を検出した時点を衝突時点の時刻とみなすようにしてもよい。カメラＤがドライブレコーダーである場合、分析部１０２は、ドライブレコーダーに記録された衝突時点の時刻を衝突時点の時刻とみなすようにしてもよい。 Note that the analysis unit 102 may regard the point of time when the acceleration sensor detects the maximum acceleration as the point of time of the collision. If the camera D is a drive recorder, the analysis unit 102 may regard the time of collision recorded in the drive recorder as the time of collision.

図１１のＢに示すように、車両Ｃが車両Ｖと右前方で接触した場合、加速度センサからは、例えば、時刻１（４５度方向、３．０Ｇ）、時刻２（４７度方向、１．０Ｇ）、時刻３（２２５度方向、２．５Ｇ）、時刻４（２２７度方向、０．５Ｇ）、時刻５（４０度方向、２．０Ｇ）という加速度データが時系列順に取得されたと仮定する。つまり、車両Ｃは、時刻１の時点で車両Ｖと衝突したことで、急激に減速し、その後、右前方及び左後方との間で往復するような加速度が生じている。 As shown in B of FIG. 11, when the vehicle C contacts the vehicle V on the right front, the acceleration sensor outputs, for example, time 1 (45 degrees direction, 3.0 G), time 2 (47 degrees direction, 1.0 G), 0 G), time 3 (225 degrees direction, 2.5 G), time 4 (227 degrees direction, 0.5 G), and time 5 (40 degrees direction, 2.0 G) are acquired in chronological order. . That is, the vehicle C collided with the vehicle V at the time 1, and then decelerated rapidly, and then reciprocating acceleration occurred between the right front and the left rear.

この場合、右前方（Ｄ２）に該当する加速度の合計は、３．０Ｇ＋１．０Ｇ＋２．０Ｇ＝６．０Ｇであり、左後方（Ｄ６）に該当する加速度の合計は、２．５Ｇ＋０．５Ｇ＝３．０Ｇである。従って、分析部１０２は、右前方（Ｄ２）方向を、衝突方向と推定する。 In this case, the total acceleration corresponding to the right front (D2) is 3.0G+1.0G+2.0G=6.0G, and the total acceleration corresponding to the left rear (D6) is 2.5G+0.5G=3. .0G. Therefore, the analysis unit 102 estimates the right front (D2) direction as the collision direction.

また、分析部１０２は、映像データを分析することで、車両Ｃが歩行者に衝突した方向を推定するようにしてもよい。例えば、前述した周辺物の検出を行う処理において、画像において、歩行者が所定の大きさ以上に写った場合に、車両Ｃと歩行者とが、正面（Ｄ１）方向で衝突したと推定するようにしてもよい。車両Ｃと歩行者とが衝突する場合、加速度センサが検出する加速度は、他車と衝突する場合と比較して小さいこと、及び、車両Ｃと歩行者とが衝突する場合、正面衝突することが殆どである。従って、車両Ｃと歩行者との衝突を検出する場合、映像データを分析することが好ましい。 The analysis unit 102 may also estimate the direction in which the vehicle C collided with the pedestrian by analyzing the video data. For example, in the above-described process of detecting a surrounding object, if a pedestrian appears larger than a predetermined size in the image, it is assumed that the vehicle C and the pedestrian have collided in the front (D1) direction. can be When the vehicle C collides with a pedestrian, the acceleration detected by the acceleration sensor is smaller than that when colliding with another vehicle. Mostly. Therefore, when detecting a collision between the vehicle C and a pedestrian, it is preferable to analyze video data.

（事故の状況を示す情報の出力）
分析部１０２は、車両Ｃが起こした事故の状況を示す情報を出力する。当該処理は、図２のステップＳ１７の処理手順に対応する。前述したように、分析部１０２は、事故の状況を示す情報として、図３に示す各項目を出力する。以下、図３に示す各項目を特定する際の処理手順を詳細に説明する。なお、以下の説明にて、「他車」とは車両Ｃが衝突した相手を意味する。 (Output of information indicating accident status)
The analysis unit 102 outputs information indicating the circumstances of the accident that the vehicle C caused. This processing corresponds to the processing procedure of step S17 in FIG. As described above, the analysis unit 102 outputs each item shown in FIG. 3 as information indicating the circumstances of the accident. A processing procedure for specifying each item shown in FIG. 3 will be described in detail below. In the following description, "another vehicle" means an opponent with which vehicle C has collided.

［Ａ：接触の対象（自動車、障害物等）］
分析部１０２は、車両Ｃが衝突した時刻において、車両Ｃの衝突方向を中心とする所定範囲（例えば４５度の範囲）に存在する周辺物のうち車両Ｃに最も近い周辺物を、車両Ｃに接触した対象物であると特定する。より具体的には、分析部１０２は、車両Ｃが衝突した時刻における周辺物の絶対位置（又は車両Ｃが衝突した時刻に最も近いフレームの画像を検索することで得られた周辺物の絶対位置）のうち、車両Ｃの衝突方向を中心とする所定範囲に存在し、かつ、車両Ｃに最も近い位置に存在する周辺物を抽出し、抽出した周辺物を、車両Ｃに接触した対象物であると特定する。 [A: Object of contact (car, obstacle, etc.)]
At the time when vehicle C collides, the analysis unit 102 identifies the closest peripheral object to vehicle C among the peripheral objects existing within a predetermined range (for example, a range of 45 degrees) centering on the collision direction of vehicle C. Identifies the object as being in contact. More specifically, the analysis unit 102 determines the absolute position of the surrounding object at the time when the vehicle C collided (or the absolute position of the surrounding object obtained by retrieving the image of the frame closest to the time when the vehicle C collided). ), a surrounding object that exists within a predetermined range centered on the collision direction of the vehicle C and that is closest to the vehicle C is extracted, and the extracted surrounding object is an object that has come into contact with the vehicle C. Identify there is.

図１２を用いて具体例を説明する。図１２において、車両Ｃは右前方で周辺物と衝突したものと仮定する。図１２のＡの場合、車両Ｃの右前方方向に最も近い位置にある対象物は乗用車Ｖ１である。従って、分析部１０２は、車両Ｃは、乗用車Ｖ１と衝突したと特定する。同様に図１２のＢの場合、車両Ｃの右前方方向に最も近い位置にある対象物は乗用車Ｖ５である。従って、分析部１０２は、車両Ｃは、乗用車Ｖ５と衝突したと特定する。 A specific example will be described with reference to FIG. In FIG. 12, it is assumed that vehicle C has collided with a surrounding object on the right front. In the case of A of FIG. 12, the object closest to the right front of the vehicle C is a passenger car V1. Therefore, the analysis unit 102 identifies that the vehicle C has collided with the passenger car V1. Similarly, in the case of B in FIG. 12, the object closest to the right front of the vehicle C is a passenger car V5. Therefore, the analysis unit 102 identifies that the vehicle C has collided with the passenger car V5.

なお、車両Ｃの衝突方向が、カメラＤで撮影していない方向である場合（つまり、車両Ｃの前方しか撮影していない場合）、その方向については周辺物の絶対値を推定することができないことから、接触した対象物を特定することができない。この場合、分析部１０２は、何らかの車が衝突したものとみなすようにしてもよい。 Note that if the collision direction of the vehicle C is a direction that is not captured by the camera D (that is, if only the front of the vehicle C is captured), the absolute value of the surrounding objects cannot be estimated for that direction. Therefore, the contacting object cannot be specified. In this case, the analysis unit 102 may consider that some vehicle has collided.

［Ｂ：接触部位］
分析部１０２は、車両Ｃの衝突位置に応じて、接触部位を特定する。具体的には、衝突方向が図１１の正面（Ｄ１）である場合、接触部位は、図１３に示す前バンパーであるとする。また、衝突方向が右前方（Ｄ２）である場合、接触部位は、図１３に示す右前バンパーであるとする。また、衝突方向が右（Ｄ３）である場合、接触部位は、図１３に示す右側面であるとする。また、衝突方向が右後方（Ｄ４）である場合、接触部位は、図１３に示す右後バンパーであるとする。また、衝突方向が後方（Ｄ５）である場合、接触部位は、図１３に示す後バンパーであるとする。また、衝突方向が左後方（Ｄ６）である場合、接触部位は、図１３に示す左後バンパーであるとする。また、衝突方向が左（Ｄ７）である場合、接触部位は、図１３に示す左側面であるとする。また、衝突方向が左前方（Ｄ８）である場合、接触部位は、図１３に示す左前バンパーであるとする。 [B: contact part]
The analysis unit 102 identifies the contact portion according to the collision position of the vehicle C. FIG. Specifically, when the collision direction is the front (D1) in FIG. 11, the contact portion is assumed to be the front bumper shown in FIG. Also, if the collision direction is the right front (D2), the contact portion is assumed to be the right front bumper shown in FIG. Also, when the collision direction is right (D3), the contact portion is assumed to be the right side surface shown in FIG. Also, if the collision direction is right rearward (D4), the contact site is assumed to be the right rear bumper shown in FIG. Also, when the collision direction is rearward (D5), the contact portion is assumed to be the rear bumper shown in FIG. Also, if the collision direction is left rear (D6), the contact site is assumed to be the left rear bumper shown in FIG. Also, when the collision direction is left (D7), the contact portion is assumed to be the left side surface shown in FIG. Also, when the collision direction is the left front (D8), the contact portion is assumed to be the left front bumper shown in FIG.

［Ｃ：道路種別］
分析部１０２は、車両Ｃが衝突した時刻における車両Ｃの絶対位置と、地図データとを突合することで、衝突時に車両Ｃが走行していた道路の道路種別を特定する。分析部１０２が特定する道路種別には、一般道、高速道路といった情報に加えて、直線道路、カーブ、交差点の中及びＴ字路の中といった情報が含まれていてもよい。 [C: Road type]
The analysis unit 102 identifies the road type of the road on which the vehicle C was traveling at the time of the collision by matching the absolute position of the vehicle C at the time when the vehicle C collided with the map data. The road type specified by the analysis unit 102 may include information such as straight roads, curves, inside intersections, and inside T-junctions, in addition to information such as general roads and highways.

［Ｄ：自車及び他車の信号色］
分析部１０２は、映像データをフレームごとに画像解析することで特定した信号機の色や矢印信号を用いて、信号色を特定する。例えば、分析部１０２は、衝突時に車両Ｃが走行していた道路の道路種別が交差点の中である場合、映像データを解析することで特定された信号機の色のうち、衝突時の時刻に最も近い時刻のフレームの画像であって、かつ、車両Ｃが交差点に進入する前に特定された信号機の色を、車両Ｃ側の信号色（青、黄、赤のいずれか）であると特定する。車両Ｃが交差点に進入する前か否かは、車両Ｃの絶対位置と地図データとを突合することで判定可能である。 [D: Signal color of own vehicle and other vehicle]
The analysis unit 102 identifies the signal color using the color of the traffic signal and the arrow signal identified by image analysis of the video data for each frame. For example, if the road type of the road on which vehicle C was traveling at the time of the collision is an intersection, the analysis unit 102 determines that the color of the traffic light specified by analyzing the image data is the most at the time of the collision. The color of the traffic signal, which is an image of a frame at a near time and is specified before the vehicle C enters the intersection, is specified as the signal color (either blue, yellow, or red) of the vehicle C side. . Whether or not the vehicle C has entered the intersection can be determined by matching the absolute position of the vehicle C with the map data.

なお、交差点において交差する側の信号色は映像データには映らないか、又はごく短い時間しか映っておらず判定が困難であることが想定される。そこで、分析部１０２は、車両Ｃ側の信号色が青である場合、交差する側の信号色は赤であると特定するようにしてもよい。もし、車両Ｃと衝突した他車が交差点を交差する側の道路を走行している場合、当該他車の側の信号は赤であった（つまり、他車は赤信号で交差点に進入した）と特定されることになる。同様に、分析部１０２は、車両Ｃ側の信号色が赤である場合、交差する側の信号色は青であると特定するようにしてもよい。もし、車両Ｃと衝突した他車が交差点を交差する側の道路を走行している場合、当該他車の側の信号は青であった（つまり、他車は青信号で交差点に進入した）と特定されることになる。 In addition, it is assumed that the signal color of the crossing side at the intersection is not reflected in the video data, or is reflected only for a very short period of time, making it difficult to judge. Therefore, when the signal color on the vehicle C side is green, the analysis unit 102 may specify that the signal color on the crossing side is red. If the other vehicle that collided with the vehicle C was traveling on the road crossing the intersection, the traffic light on the other vehicle's side was red (that is, the other vehicle entered the intersection with a red light). will be specified. Similarly, when the signal color on the vehicle C side is red, the analysis unit 102 may specify that the signal color on the crossing side is blue. If the other vehicle that collided with the vehicle C is traveling on the road crossing the intersection, it is assumed that the signal of the other vehicle was green (that is, the other vehicle entered the intersection with a green light). will be identified.

［Ｅ：歩行者と横断歩道・安全地帯の位置関係］
車両Ｃと接触した対象が歩行者である場合、分析部１０２は、映像データをフレームごとに画像解析することで特定した歩行者の絶対位置及び横断歩道（又は安全地帯）の絶対位置を用いて、歩行者と横断歩道・安全地帯の位置関係を特定する。なお、分析部１０２は、横断歩道の絶対位置については、地図データから取得するようにしてもよい。 [E: Positional relationship between pedestrians, pedestrian crossings, and safety zones]
When the object that has come into contact with the vehicle C is a pedestrian, the analysis unit 102 uses the absolute position of the pedestrian and the absolute position of the pedestrian crossing (or safety zone) identified by image analysis of the video data for each frame. , identify the positional relationship between pedestrians and crosswalks/safety zones. Note that the analysis unit 102 may acquire the absolute position of the pedestrian crossing from the map data.

分析部１０２は、車両Ｃが歩行者と衝突した時刻よりも前のフレームの画像であって最後に横断歩道又は安全地帯が写っているフレームの画像を解析することで得られる車両Ｃの絶対位置と、接触した歩行者の絶対位置とを結んだ線が横断歩道又は安全地帯の領域のうち最も車両Ｃから遠い側とぶつかる点を算出する。続いて、分析部１０２は、人の絶対位置と当該点との距離が所定距離（例えば７ｍ）以内である場合、事故に遭った歩行者は横断歩道又は安全地帯上にいたと特定する。また、分析部１０２は、人の絶対位置と当該点との距離が所定距離（例えば７ｍ）を超える場合、事故に遭った歩行者は横断歩道又は安全地帯上にはいなかったと特定する。 The analysis unit 102 obtains the absolute position of the vehicle C by analyzing the image of the frame before the time when the vehicle C collided with the pedestrian and the last frame in which the pedestrian crossing or the safety zone is shown. , and the absolute position of the pedestrian who came in contact with the crosswalk or the safety zone, the farthest side from the vehicle C is calculated. Subsequently, if the distance between the absolute position of the person and the point is within a predetermined distance (for example, 7 m), the analysis unit 102 identifies that the pedestrian who had the accident was on the crosswalk or safety zone. Also, if the distance between the absolute position of the person and the point exceeds a predetermined distance (for example, 7 m), the analysis unit 102 determines that the pedestrian involved in the accident was not on the crosswalk or safety zone.

図１４は、歩行者と横断歩道・安全地帯の位置関係を特定する処理を説明するための図である。例えば、図１４において、分析部１０２は、車両Ｃの絶対位置（車両Ｃの中心の絶対位置）Ｐ１と歩行者の絶対位置Ｐ３を結ぶ線Ｌが横断歩道のうち最も車両Ｃから遠い側とぶつかる点Ｐ２を算出し、歩行者の絶対位置Ｐ３と点Ｐ２との間の距離が所定距離である場合、歩行者Ｒは横断歩道上にいたものとみなす。 FIG. 14 is a diagram for explaining the process of identifying the positional relationship between pedestrians and pedestrian crossings/safety zones. For example, in FIG. 14, the analysis unit 102 determines that the line L connecting the absolute position P1 of the vehicle C (the absolute position of the center of the vehicle C) and the absolute position P3 of the pedestrian collides with the farthest side of the pedestrian crossing from the vehicle C. When the point P2 is calculated and the distance between the pedestrian's absolute position P3 and the point P2 is a predetermined distance, the pedestrian R is considered to be on the crosswalk.

図１４のＡの例では、歩行者は横断歩道上にいるが、図１４のＢの例では、歩行者は横断歩道上にはいない。しかしながら、どちらの例も、分析部１０２は、歩行者の絶対値Ｐ３と点Ｐ２との距離が所定距離以内であれは、歩行者は横断歩道上にあるとみなす。これは、事故事例上、事故にあった歩行者が横断歩道上を確実に歩いていたのか否かはそれほど重要ではなく、横断歩道から多少はみ出ていたとしても横断歩道を歩いていたものと判断されることが多いためである。 In the example of FIG. 14A, the pedestrian is on the crosswalk, but in the example of FIG. 14B, the pedestrian is not on the crosswalk. However, in both examples, the analysis unit 102 determines that the pedestrian is on the crosswalk if the distance between the pedestrian's absolute value P3 and the point P2 is within a predetermined distance. In this case, it is not so important whether the pedestrian involved in the accident was definitely walking on the crosswalk or not. This is because it is often

［Ｆ：交差点における自車・他車の走行軌跡］
分析部１０２は、事故が交差点付近で生じた場合（車両Ｃが衝突した時刻における車両Ｃの絶対位置が、交差点の中心位置から所定の範囲内である場合）、フレームごとの車両Ｃの絶対位置を交差点の地図データ上に並べることで、車両Ｃの走行軌跡を特定する。また、分析部１０２は、フレームごとの他車の絶対位置を交差点の地図データ上に並べることで、他車の走行軌跡を特定する。より具体的には、分析部１０２は、走行軌跡の曲率の大きさ及び方向に基づいて、車両Ｃ及び他車が交差点を直進したのか、右折したのか、左折したのか、早回り右折をしたのかを特定する。 [F: Running trajectory of own vehicle/other vehicle at intersection]
When an accident occurs near an intersection (when the absolute position of vehicle C at the time when vehicle C collides is within a predetermined range from the center position of the intersection), analysis unit 102 calculates the absolute position of vehicle C for each frame. are arranged on the map data of the intersection, the travel locus of the vehicle C is specified. In addition, the analysis unit 102 identifies the travel locus of the other vehicle by arranging the absolute positions of the other vehicle for each frame on the intersection map data. More specifically, the analysis unit 102 determines whether the vehicle C and the other vehicle went straight through the intersection, turned right, turned left, or made a quick right turn, based on the magnitude and direction of the curvature of the travel path. identify.

図１５は、車両Ｃ及び他車の進行方向を説明するための図である。例えば、分析部１０２は、交差点を含む所定領域内の走行軌跡の曲率が所定の値未満である場合、車両Ｃ又は他車は交差点を直進したと判定し、当該所定領域内の走行軌跡の曲率が所定の値以上である場合、車両Ｃ又は他車は交差点を左折又は右折したと判定するようにしてもよい。また、分析部１０２は、右折をする自車及び他車の走行軌跡が交差点中心の内側を通っている場合、早回り右折と判定するようにしてもよい。また、分析部１０２は、所定時間（例えば２秒等）以内に曲率が逆方向になった場合、車両Ｃ及び他車は車線変更をしたと判定するようにしてもよい。 FIG. 15 is a diagram for explaining the traveling directions of the vehicle C and the other vehicle. For example, when the curvature of the trajectory within a predetermined area including the intersection is less than a predetermined value, the analysis unit 102 determines that the vehicle C or the other vehicle has gone straight through the intersection, and determines that the curvature of the trajectory within the predetermined area is is equal to or greater than a predetermined value, it may be determined that the vehicle C or the other vehicle has turned left or right at the intersection. In addition, the analysis unit 102 may determine a quick right turn when the travel trajectories of the own vehicle and the other vehicle making the right turn pass inside the center of the intersection. Further, the analysis unit 102 may determine that the vehicle C and the other vehicle have changed lanes when the curvature is reversed within a predetermined time (for example, 2 seconds).

「Ｇ：高速道路上の車線位置」
分析部１０２は、事故が高速道路上で生じた場合（車両Ｃが衝突した時刻における車両Ｃの絶対位置が、高速道路上である場合）、映像データをフレームごとに分析することで、又は、車両Ｃの絶対位置と地図データとを突合することで、車両Ｃが、本線を走行していたのか追い越し車線を走行していたのかを特定する。例えば、一番右の車線を走行している場合は追い越し車線を走行していたと特定し、一番右以外の車線を走行している場合は本線を走行していたと特定する。 "G: Lane position on expressway"
When an accident occurs on a highway (when the absolute position of vehicle C at the time when vehicle C collides is on a highway), analysis unit 102 analyzes video data for each frame, or By comparing the absolute position of the vehicle C with the map data, it is specified whether the vehicle C was traveling on the main line or the passing lane. For example, if the vehicle is traveling in the rightmost lane, it is specified that the vehicle is traveling in the overtaking lane, and if the vehicle is traveling in a lane other than the rightmost lane, it is specified that the vehicle is traveling on the main lane.

「Ｈ：交差点における優先関係」
分析部１０２は、事故が交差点付近で生じた場合、地図データから、交差点における一時停止標識の有無及び道路幅を抽出することで、車両Ｃが優先的に交差点に進入可能な側であったのか否かを判定する。より具体的には、交差点を交差する道路のうち、一時停止標識が無い側を走行している車両を優先であると特定する。また、交差点を交差する道路幅に二倍以上の差異がある場合、広い方の道路を走行している車両を優先であると特定する。また、一時停止標識が存在せず、かつ、道路幅に差異がない場合は、優先関係がないと特定する。 "H: Priority relationship at intersection"
When an accident occurs near an intersection, the analysis unit 102 extracts the presence or absence of a stop sign at the intersection and the width of the road from the map data to determine whether the vehicle C was on the side where vehicle C could enter the intersection preferentially. determine whether or not More specifically, a vehicle traveling on the side without a stop sign among the roads intersecting the intersection is identified as having priority. Also, if there is a difference of two times or more in the width of the roads intersecting the intersection, the vehicle traveling on the wider road is identified as having priority. Also, if there is no stop sign and there is no difference in road width, it is determined that there is no priority relationship.

「Ｉ：一時停止、信号無視違反の有無」
分析部１０２は、フレームごとの車両Ｃ及び他車の絶対位置を並べることで得られる車両Ｃの走行軌跡と地図データとを突合することで、車両Ｃ及び他車が一時停止標識を停止せずに通過したか否かを特定する。また、分析部１０２は、車両Ｃ又は他車が一時停止標識を停止せずに通過した場合、通過した時点における車両Ｃ又は他車の車速が、一時停止標識の前後の所定区間（例えば前後３ｍ等）において所定速度（例えば５ｋｍ等）以上である場合、一時停止違反であると特定する。一方、分析部１０２は、通過した時点における車両Ｃ又は他車の車速が所定速度未満である場合、一時停止違反をしていないと特定する。 "I: Presence or absence of violations of stoppages and ignoring traffic lights"
The analysis unit 102 compares the travel trajectory of the vehicle C obtained by arranging the absolute positions of the vehicle C and the other vehicle for each frame with the map data, so that the vehicle C and the other vehicle do not stop at the stop sign. to determine whether or not the Further, when the vehicle C or the other vehicle passes through the stop sign without stopping, the analysis unit 102 determines that the vehicle speed of the vehicle C or the other vehicle at the time of passing the stop sign is a predetermined section (for example, 3 m before and after the stop sign). etc.), if the speed is equal to or higher than a predetermined speed (eg, 5 km, etc.), it is identified as a stop violation. On the other hand, if the speed of the vehicle C or the other vehicle at the time of passing is less than the predetermined speed, the analysis unit 102 determines that the stop has not been violated.

また、分析部１０２は、フレームごとの車両Ｃの絶対位置を並べることで得られる車両Ｃの走行軌跡と地図データとを突合することで、車両Ｃが信号を通過したか否かを検出する。信号を通過している場合、分析部１０２は、信号を通過した時刻よりも前のフレームの画像であって最後に信号機が写っているフレームの画像を解析することで得られる信号機の色を取得する。信号の色が赤であった場合、分析部１０２は、車両Ｃは、信号を通過する際に信号無視をしていたと特定する。 Further, the analysis unit 102 detects whether or not the vehicle C has passed through a signal by matching the travel locus of the vehicle C obtained by arranging the absolute positions of the vehicle C for each frame with the map data. When the traffic signal is passed through, the analysis unit 102 obtains the color of the traffic light obtained by analyzing the image of the last frame in which the traffic light is captured, which is the image of the frame before the time when the signal is passed. do. When the color of the signal is red, the analysis unit 102 identifies that the vehicle C was ignoring the signal when passing through the signal.

「Ｊ：制限速度を守っているか否か」
分析部１０２は、フレームごとの車両Ｃの絶対位置を並べることで得られる車両Ｃの走行軌跡と地図データとを突合することで、車両Ｃが走行した道路に設定されている制限速度を特定する。また、分析部１０２は、車両Ｃの車両データに含まれる車速データのうち、車両Ｃが衝突した時刻より所定時間前（例えば５秒前）のタイミングの車速と制限速度とを突合する。当該車速が制限速度を上回っている場合、分析部１０２は、車両Ｃは速度違反をしていたと特定する。当該車速が制限速度以下である場合、分析部１０２は、車両Ｃは速度違反をしていなかったと特定する。 "J: Do you follow the speed limit?"
The analysis unit 102 identifies the speed limit set for the road on which the vehicle C has traveled by matching the travel locus of the vehicle C obtained by arranging the absolute positions of the vehicle C for each frame with the map data. . In addition, the analysis unit 102 compares the vehicle speed data included in the vehicle data of the vehicle C with the speed limit at a predetermined time (for example, 5 seconds) before the time when the vehicle C collided. If the vehicle speed exceeds the speed limit, the analysis unit 102 identifies that the vehicle C was speeding. If the vehicle speed is less than or equal to the speed limit, the analysis unit 102 determines that the vehicle C did not speed.

「Ｋ：自車・他車の衝突前速度」
分析部１０２は、車両Ｃの車両データに含まれる車速データから、車両Ｃの衝突前の速度を特定する。また、分析部１０２は、他車の車速を、映像データのフレームごとに推定した他車の絶対位置の変化から算出する。例えば、１フレームあたりの他車の移動距離が１ｍであり、映像データのフレームレートが１秒間に１５フレームである場合、他車は時速６０ｋｍで走行していたと特定することができる。 "K: Pre-collision speed of own vehicle/other vehicle"
The analysis unit 102 identifies the speed of the vehicle C before the collision from the vehicle speed data included in the vehicle data of the vehicle C. FIG. The analysis unit 102 also calculates the vehicle speed of the other vehicle from the change in the absolute position of the other vehicle estimated for each frame of the video data. For example, if the moving distance of the other vehicle per frame is 1 m and the frame rate of the video data is 15 frames per second, it can be determined that the other vehicle was traveling at a speed of 60 km/h.

「Ｌ：道路上の障害物の有無」
分析部１０２は、映像データをフレームごとに画像解析することで、道路上の障害物の有無を特定する。分析部１０２は、車両Ｃが走行している車線道路上に道路と判断できない対象物が存在し、当該対象物が人、車、自転車及びバイクのいずれでもなく、かつ、フレーム間で絶対位置が移動していない場合、障害物であるとみなすようにしてもよい。 "L: Presence or absence of obstacles on the road"
The analysis unit 102 identifies the presence or absence of an obstacle on the road by image-analyzing the video data for each frame. The analysis unit 102 determines that there is an object that cannot be determined as a road on the lane road on which the vehicle C is traveling, that the object is neither a person, a car, a bicycle, nor a motorcycle, and that the absolute position between frames is If it is not moving, it may be considered as an obstacle.

「Ｍ：衝突した他車のドアの開閉」
分析部１０２は、映像データをフレームごとに画像解析することで、他車のドアが開いていたのか閉していたのかを特定する。 "M: Opening and closing the door of the other car that collided"
The analysis unit 102 identifies whether the door of the other vehicle was open or closed by performing image analysis on the video data for each frame.

「Ｎ：衝突前のウィンカー動作の有無」
分析部１０２は、車両Ｃの車両データに含まれるウィンカー作動情報から、車両Ｃが衝突前にウィンカーを動作させていたのか否かを特定する。また、分析部１０２は、映像データをフレームごとに画像解析することで、衝突前にウィンカーを動作させていたのか否かを特定する。 "N: Presence or absence of blinker operation before collision"
The analysis unit 102 identifies whether or not the vehicle C operated the blinkers before the collision from the blinker operation information included in the vehicle data of the vehicle C. In addition, the analysis unit 102 identifies whether or not the blinkers were operated before the collision by performing image analysis on the video data for each frame.

事故の状況を示す情報に含まれる各項目について、以上説明した処理手順により特定される内容を図１６に示す。 FIG. 16 shows the contents specified by the processing procedure described above for each item included in the information indicating the accident situation.

（対応する事故事例の検索）
図１７は、事故事例ＤＢの一例を示す図である。図１７に示すように、事故事例は、事故事例を検索するための「検索条件」と、事故の内容を示す「事故内容」と、基本の過失割合を示す「過失割合（基本）」と、過失割合の修正が必要になる条件である「修正要素」とを含む。 (Search for corresponding accident cases)
FIG. 17 is a diagram illustrating an example of an accident case DB; As shown in FIG. 17, the accident cases include "search conditions" for searching for accident cases, "accident content" indicating the content of the accident, "fault rate (basic)" indicating the basic fault rate, and "correcting factors," which are the conditions under which percentage-of-fault corrections are required.

図１７の例では、車両Ｃが衝突した対象が車であり（図１６の項目Ａにて「乗用車又はトラック」に該当）、交差点の中で車両Ｃと車が衝突した事故であり（項目Ｃにて「交差点の中」に該当）、直進車と右折車の事故であり（項目Ｆにて、車両Ｃが直進で他車が右折、又は、他車が直進で車両Ｃが右折に該当）、直進車は赤信号であり右折車は黄色である（項目Ｄにて、車両Ｃが赤で他車が黄色、又は、車両Ｃが黄色で他車が赤）である場合に、事故事例１に該当することと、直進車と右折車の過失割合は７０対３０であることが示されている。 In the example of FIG. 17, the object with which vehicle C collided was a car (corresponding to "passenger car or truck" in item A in FIG. ), and the accident was between a vehicle going straight and a vehicle turning right (in Item F, vehicle C going straight and another vehicle turning right, or other vehicle going straight and vehicle C turning right) , the traffic light is red for vehicles going straight and yellow for vehicles turning right (in item D, vehicle C is red and the other vehicle is yellow, or vehicle C is yellow and the other vehicle is red), accident case 1 and that the ratio of fault between straight-ahead vehicles and right-turn vehicles is 70:30.

また、修正要素として、直進車が１５ｋｍ以上の速度違反である場合（項目Ｊ及びＫにて１５ｋｍ以上の速度違反）には、直進車と右折車の過失割合は７５対２５になることが示されている。同様に、直進車が３０ｋｍ以上の速度違反である場合（項目Ｊ及びＫにて３０ｋｍ以上の速度違反）には、直進車と右折車の過失割合は８０対２０になることが示されている。また、右折車がウィンカーをつけずに右折した場合（項目Ｎにてウィンカー無し）には、直進車と右折車の過失割合は６０対４０になることが示されている。 In addition, as a correction factor, if the straight vehicle violates the speed of 15 km or more (15 km or more in items J and K), the ratio of fault between the straight vehicle and the right turning vehicle is 75:25. It is Similarly, when a straight-ahead vehicle violates a speed limit of 30 km or more (items J and K for a speed violation of 30 km or more), the rate of fault between the straight-moving vehicle and the right-turning vehicle is shown to be 80:20. . In addition, when the right-turning vehicle turns right without turning on the turn signal (there is no turn signal in item N), the ratio of fault between the straight-ahead vehicle and the right-turning vehicle is shown to be 60:40.

なお、修正要素には、過失割合のうち「その他の著しい過失」など、事故分析装置１０での判定が困難である修正要素も含まれていてもよい。 Note that the corrective factors may also include corrective factors such as "other significant negligence" in the percentage of fault, which are difficult for the accident analysis device 10 to determine.

検索部１０４は、事故の状況を示す情報の各項目について特定された内容と、事故事例ＤＢとを突合することで、特定された内容と一致する事故事例を検索する。また、検索部１０４は、事故事例ＤＢから、検索した事故事例に対応する過失割合を取得する。また、検索部１０４は、検索した事故事例の修正要素と、事故の状況を示す各項目とを突合することで、該当する修正要素の有無を検索する。該当する修正要素が存在する場合、検索部１０４は、該当した修正要素の修正割合に応じて過失割合を修正する。 The search unit 104 searches for an accident case that matches the specified content by matching the content specified for each item of the information indicating the accident situation with the accident case DB. Further, the search unit 104 acquires the fault ratio corresponding to the searched accident case from the accident case DB. In addition, the search unit 104 searches for the presence or absence of a corresponding correction factor by matching the correction factor of the retrieved accident case with each item indicating the circumstances of the accident. If there is a corresponding correction factor, the search unit 104 corrects the fault ratio according to the correction ratio of the corresponding correction factor.

また、出力部１０５は、検索部１０４で検索された事故事例の事故内容と過失割合とを端末２０に出力する。また、修正要素に、事故分析装置１０での判定が困難である修正要素が含まれている場合、出力部１０５は、事故事例の番号と、判定した過失割合と、判定が困難な修正要素の文言とを端末２０に出力するようにしてもよい。 The output unit 105 also outputs to the terminal 20 the details of the accident and the percentage of fault of the accident case retrieved by the retrieval unit 104 . If the correction elements include correction elements that are difficult to determine by the accident analysis device 10, the output unit 105 outputs the accident case number, the determined fault rate, and the correction elements that are difficult to determine. The wording may be output to the terminal 20. FIG.

検索部１０４は、事故事例ＤＢを検索する際、検索条件の全てに該当する事故事例に加えて、検索条件の一部に該当する事故事例も検索するようにしてもよい。また、検索部１０４は、検索条件の一部に該当する事故事例を検索する場合、一致しない項目の数に応じて、事故事例を順位付けし、出力部１０５は、順位順に事故内容を出力するようにしてもよい。 When searching the accident case DB, the search unit 104 may search for accident cases that meet part of the search conditions in addition to accident cases that meet all of the search conditions. When searching for accident cases that meet part of the search conditions, the search unit 104 ranks the accident cases according to the number of items that do not match, and the output unit 105 outputs the accident details in order of rank. You may do so.

また、事故事例には、更に、発生件数が多い順にランク付けされており、検索部１０４は、当該ランクが高い順に事故事例ＤＢを検索するようにしてもよい。 Further, the accident cases are ranked in descending order of the number of occurrences, and the search unit 104 may search the accident case DB in descending order of rank.

＜まとめ＞
以上説明した実施形態によれば、事故分析装置１０は、車両Ｃから取得した車両データと映像データとに基づいて、事故の状況を示す情報を分析するようにした。これにより事故状況と事故事例との突合を迅速に行うことが可能になった。 <Summary>
According to the embodiment described above, the accident analysis device 10 analyzes the information indicating the circumstances of the accident based on the vehicle data acquired from the vehicle C and the image data. This has made it possible to quickly compare accident situations with accident cases.

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態で説明したフローチャート、シーケンス、実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。 The embodiments described above are for facilitating understanding of the present invention, and are not intended to limit and interpret the present invention. Flowcharts, sequences, elements included in the embodiments, their arrangement, materials, conditions, shapes, sizes, and the like described in the embodiments are not limited to those illustrated and can be changed as appropriate. Also, it is possible to partially replace or combine the configurations shown in different embodiments.

１０…事故分析装置、１１…プロセッサ、１２…記憶装置、１３…通信ＩＦ、１４…入力デバイス、１５…出力デバイス、２０…端末、１００…記憶部、１０１…取得部、１０２…分析部、１０３…生成部、１０４…検索部、１０５…出力部 DESCRIPTION OF SYMBOLS 10... Accident analysis apparatus, 11... Processor, 12... Storage device, 13... Communication IF, 14... Input device, 15... Output device, 20... Terminal, 100... Storage part, 101... Acquisition part, 102... Analysis part, 103 ... generation unit, 104 ... search unit, 105 ... output unit

Claims (1)

車両が備えるセンサにより計測される車両データと前記車両が備えるカメラで撮影される映像データとを取得する取得部と、
前記車両データに基づいて、前記車両の絶対位置を推定する車両位置推定部と、を備え、
前記車両位置推定部は、
前記車両が備える測位装置により測定された位置情報に基づいて前記車両の絶対位置を推定する第１推定部と、
前記映像データの１フレーム目が撮影された第１タイミングにおいて前記測位装置により測定された位置情報と、前記映像データの２フレーム目が撮影された第２タイミングの前記映像データを解析することで得られる、前記第１タイミングで測定された位置情報に対する前記車両の相対位置と、に基づいて前記第２タイミングにおける前記車両の絶対位置を推定する第２推定部と、
前記第２タイミングにおいて前記第１推定部により推定した絶対位置と、前記第２タイミングにおいて前記第２推定部により推定した絶対位置と、を所定の重みに基づいて平均することで、前記第２タイミングにおける前記車両の絶対位置を推定する第３推定部と、を含む、
事故分析装置。 an acquisition unit that acquires vehicle data measured by a sensor provided in the vehicle and video data captured by a camera provided in the vehicle;
a vehicle position estimation unit that estimates the absolute position of the vehicle based on the vehicle data;
The vehicle position estimation unit
a first estimating unit that estimates an absolute position of the vehicle based on position information measured by a positioning device provided in the vehicle;
Obtained by analyzing the position information measured by the positioning device at the first timing when the first frame of the video data was shot and the video data at the second timing when the second frame of the video data was shot. a second estimation unit for estimating the absolute position of the vehicle at the second timing based on the relative position of the vehicle with respect to the position information measured at the first timing;
By averaging the absolute position estimated by the first estimating unit at the second timing and the absolute position estimated by the second estimating unit at the second timing based on a predetermined weight, the second timing a third estimating unit that estimates the absolute position of the vehicle in
Accident analyzer.
JP2023084402A 2023-05-23 Accident Analysis Equipment Active JP7507930B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023084402A JP7507930B2 (en) 2023-05-23 Accident Analysis Equipment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020044900A JP7285799B2 (en) 2020-03-16 2020-03-16 Accident analysis device, accident analysis method and program
JP2023084402A JP7507930B2 (en) 2023-05-23 Accident Analysis Equipment

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020044900A Division JP7285799B2 (en) 2020-03-16 2020-03-16 Accident analysis device, accident analysis method and program

Publications (2)

Publication Number Publication Date
JP2023104982A true JP2023104982A (en) 2023-07-28
JP7507930B2 JP7507930B2 (en) 2024-06-28

Family

ID=

Also Published As

Publication number Publication date
JP7285799B2 (en) 2023-06-02
JP2020194528A (en) 2020-12-03

Similar Documents

Publication Publication Date Title
JP6679152B1 (en) Accident analysis device, accident analysis method and program
US11767024B2 (en) Augmented reality method and apparatus for driving assistance
CN112700470B (en) Target detection and track extraction method based on traffic video stream
McCall et al. Video-based lane estimation and tracking for driver assistance: survey, system, and evaluation
CN102765365B (en) Pedestrian detection method based on machine vision and pedestrian anti-collision warning system based on machine vision
JP7285799B2 (en) Accident analysis device, accident analysis method and program
JP4624594B2 (en) Object recognition method and object recognition apparatus
KR102613839B1 (en) Detection of emergency vehicles
US8620032B2 (en) System and method for traffic signal detection
US20200257911A1 (en) Automatically perceiving travel signals
CN105620489A (en) Driving assistance system and real-time warning and prompting method for vehicle
CN106462727A (en) Systems and methods for lane end recognition
KR102001002B1 (en) Method and system for recognzing license plate based on deep learning
CN111595357B (en) Visual interface display method and device, electronic equipment and storage medium
JP2003123197A (en) Recognition device for road mark or the like
WO2018195150A1 (en) Automatically perceiving travel signals
KR20200043252A (en) Overlooking image generation system of vehicle and method thereof
CN113676702A (en) Target tracking monitoring method, system and device based on video stream and storage medium
JP2002190023A (en) Device and method for discriminating car model, and storage medium storing car model discriminating program readable in computer
Kim et al. An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing
Chen et al. Video-based on-road driving safety system with lane detection and vehicle detection
US20230033314A1 (en) Method and processor circuit for operating an automated driving function with object classifier in a motor vehicle, as well as the motor vehicle
Bhandari et al. Fullstop: A camera-assisted system for characterizing unsafe bus stopping
JP7507930B2 (en) Accident Analysis Equipment
JP7140895B1 (en) Accident analysis device, accident analysis method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240528