JP2020177444A - 乗員損傷推定サーバ、乗員損傷推定システム、乗員損傷推定方法、及びプログラム - Google Patents

Abstract

【課題】車両事故の際に乗員の損傷状況を正確且つ迅速に推定する。【解決手段】乗員損傷推定システムにおいて、乗員損傷推定サーバ１０は、車両に設けられた車両内を撮像する撮像装置から映像データ、車両の衝突を検出する衝突センサから信号データ及び車両の速度を少なくとも含む車両の状態を検出する状態センサからコンテキストデータを受信する受信部１１、映像データ、信号データ及びコンテキストデータを推定モデルに入力して、車両事故による乗員の損傷を推定する推定部１２及び車両事故による乗員の損傷の推定結果を表示する表示部１３を備える。車両事故の際に、映像データ、信号データ、コンテキストデータを収集し、それらのデータから推定モデルに基づいて車両事故による乗員の損傷を推定することで、遠隔で車両事故による乗員の損傷状況を知ることができ、それにより緊急車両の発動など緊急処置を適切且つ迅速に決定することが可能となる。【選択図】図３

Description

本発明は、車両事故による乗員の損傷を推定する乗員損傷推定サーバ、乗員損傷推定システム、乗員損傷推定方法、及びプログラムに関する。

交通事故による死亡者数が世界で年間１３０万人を超えてさらに増加傾向にあることで、自動車社会は死亡者数を減少させることを目指している。例えば、車両事故時にエアバックが作動することに応じて車両の位置情報等をコールセンターに通報し、オペレータが運転手と通信して乗員の状況を把握し、そして緊急車両を出動するなど緊急処置を指示することを可能とする事故自動緊急通報装置の導入が義務付けられている（非特許文献１参照）。しかし、車両事故の場合、運転手自身が重度の損傷を受けて又は錯乱してオペレータと話すことができないこともある。また、心臓が停止してから約３分後、呼吸が停止してから約１０分後、多量出血から約３０分後に死亡率が５０％に到達することから、車両事故の発生から迅速に緊急処置を指示する必要がある。

迅速に緊急処置を指示するには、車両事故時の乗員の損傷を可能な限り正確に把握する必要がある。例えば、非特許文献２には、車両事故による衝撃が乗員の人体のどこに集中するかを有限要素法を用いて解析し、人体のどの部位にどの程度の損傷が発生するかをルールベースで決定する交通事故傷害予測の方法が開示されている。また、特許文献１には、Ｇセンサが事故発生により車両に加わる衝撃を検知すると、衝撃が発生した前後にカメラによって撮像された車両の前方の映像が事務所ＰＣに送信され、事務所ＰＣ上に事故映像が表示される運行管理システムが開示されている。これにより、管理者は、事故映像より事故の状況を判断し、救急処置を指示することが可能となる。
特許文献１ 特開２０１８−２８８５５号公報
非特許文献１ 国土交通省、「事故自動緊急通報装置の国際基準について」、平成３０年７月１８日、<URL: http://www.mlit.go.jp/report/press/jidosha07_hh_000277.html>
非特許文献２ 宇治橋貞幸、「人体デジタルモデルを用いた交通事故傷害予測に関する研究」、平成２２年度（本報告）、タカタ財団助成研究論文、<URL: http://www.takatafound.or.jp/support/articles/pdf/111220_03.pdf>

しかしながら、非特許文献２に記載の方法による傷害予測の精度は、迅速且つ適切に緊急処置を指示するのに十分に高くない。また、特許文献１に記載の運行管理システムでは、映像を介した判断では必ずしも十分正確に事故の状況を把握することができず、車両の前方の映像からでは車両の乗員の損傷を確認することができない。緊急車両の発動など緊急処置を迅速且つ適切に決定するために、遠隔手段により、車両事故による乗員の損傷状況を正確に推定する必要がある。

本発明の第１の態様においては、車両事故による乗員の損傷を推定する乗員損傷推定サーバであって、車両に設けられた車両内を撮像する撮像装置から映像データ、車両の衝突を検出する衝突センサから信号データ、及び車両の速度を少なくとも含む車両の状態を検出する状態センサからコンテキストデータを受信する受信部と、映像データ、信号データ、及びコンテキストデータを推定モデルに入力して、車両事故による乗員の損傷を推定する推定部と、車両事故による乗員の損傷の推定結果を表示する表示部と、を備える乗員損傷推定サーバが提供される。

本発明の第２の態様においては、第１の態様の乗員損傷推定サーバと、車両内を撮像する車載用の撮像装置と、車両の衝突を検出する車載用の衝突センサと、車両の速度を少なくとも含む車両の状態を検出する車載用の状態センサと、を備える乗員損傷推定システムが提供される。

本発明の第３の態様においては、車両事故による乗員の損傷を推定する乗員損傷推定方法であって、車両に設けられた車両内を撮像する撮像装置から映像データ、車両の衝突を検出する衝突センサから信号データ、及び車両の速度を少なくとも含む車両の状態を検出する状態センサからコンテキストデータを受信する段階と、映像データ、信号データ、及びコンテキストデータを推定モデルに入力して、車両事故による乗員の損傷を推定する段階と、車両事故による乗員の損傷の推定結果を表示する段階と、を備える乗員損傷推定方法が提供される。

本発明の第４の態様においては、コンピュータに、車両に設けられた車両内を撮像する撮像装置から映像データ、車両の衝突を検出する衝突センサから信号データ、及び車両の速度を少なくとも含む車両の状態を検出する状態センサからコンテキストデータを受信する手順と、映像データ、信号データ、及びコンテキストデータを推定モデルに入力して、車両事故による乗員の損傷を推定する手順と、車両事故による乗員の損傷の推定結果を表示する手順と、を実行させるプログラムが提供される。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る乗員損傷推定システムの構成を示す。 各車両に搭載される乗員損傷推定装置の構成を示す。 本実施形態に係る乗員損傷推定サーバの機能構成を示す。 映像データ、信号データ、及びコンテキストデータの処理フローを示す。 乗員の損傷の推定結果の表示の一例を示す。 車両事故による乗員の損傷を推定する乗員損傷推定方法のフローを示す。 車両事故による乗員の損傷を推定する乗員損傷推定方法の別のフローを示す。 本実施形態に係るコンピュータの構成の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１に、一実施形態に係る乗員損傷推定システム１の構成を示す。乗員損傷推定システム１は、ネットワーク９を介して、複数の車両２０ａ，２０ｂ，…，２０ｎから映像データ、信号データ、及びコンテキストデータを収集し、車両事故が発生した場合に、それらのデータから機械学習モデルに基づいて車両の乗員の損傷を推定し、その推定結果に基づくことで遠隔で車両事故による乗員の損傷状況を知ることを可能とし、それにより緊急車両の発動など緊急処置を適切且つ迅速に決定することを可能とするネットワークシステムである。乗員損傷推定システム１は、ネットワーク９を介して通信可能に接続された乗員損傷推定サーバ１０、車両２０ａ，２０ｂ，…，２０ｎ、及びビーコン３０を備える。

なお、ネットワーク９は、一例としてインターネットとするが、これに限らず、乗員損傷推定サーバ１０と各端末との間で相互に通信することができれば、ローカルエリアネットワーク、電話回線等、任意の通信網を採用してもよいし、複数の通信網が混在したネットワークとしてもよい。

乗員損傷推定サーバ１０は、乗員損傷推定システム１を管理する管理者が使用するパーソナルコンピュータ等のコンピュータ装置により実装される。なお、乗員損傷推定サーバ１０は、クラウド（複数の分散サーバ或いは複数のサブシステム等）により実装されてもよい。乗員損傷推定サーバ１０は、中央処理装置（ＣＰＵ（不図示））、通信装置（不図示）、及びデータベース１９を有する。

ＣＰＵは、サーバ専用プログラムを実行することにより、乗員損傷推定サーバ１０に乗員損傷推定システム１を管理及び運用するサーバ機能を発現させる。乗員損傷推定サーバ１０の機能構成については後述する。なお、サーバ専用プログラムは、例えば、ＲＯＭ（不図示）に記憶され、それをＣＰＵが読み出す、或いはＣＤ−ＲＯＭ等の記憶媒体に記憶され、それをＣＰＵが読み取り装置（不図示）を用いて読み出してＲＡＭに展開することで起動される。

通信装置は、ネットワーク９を介して通信手段を備えた複数の車両２０ａ，２０ｂ，…，２０ｎ及びビーコン３０と通信する手段であり、一例としてＴＣＰ／ＩＰ等のプロトコルを利用して通信することができる。

データベース１９は、各車両２０ａ，２０ｂ，…，２０ｎに乗車する乗員の情報を記憶するハードディスクドライブ（ＨＤＤ）等の記憶装置を有する。乗員の情報は、車両２０ａ，２０ｂ，…，２０ｎの所有者により任意に登録されてよく、車両事故により受ける損傷をより正確に推定するのに有用な情報又は車両に登場した乗員を特定するための情報、例えば性別、身長、体重を含む。所有者は、自分自身に限らず、家族、友人、社員等、その車両に乗車し得るすべての乗員の情報を登録することができる。データベース１９は、各車両２０ａ，２０ｂ，…，２０ｎから送信される映像データ、信号データ、及びコンテキストデータを記憶してもよい。本実施形態では、データベース１９は、例えばＳＣＳＩ、ＳＡＴＡ等のインタフェースを介して乗員損傷推定サーバ１０に接続されている。なお、ネットワーク９上に通信可能に接続された記憶装置をデータベース１９としてもよい。

車両２０ａ，２０ｂ，…，２０ｎは、乗員損傷推定システム１により車両事故による乗員損傷推定を受ける対象車両である。車両２０ａ，２０ｂ，…，２０ｎは、普通自動車、軽自動車、大型自動車等、任意の種類の車両を含んでよく、それぞれが乗員損傷推定を受けるための乗員損傷推定装置２０を搭載している。乗員損傷推定装置２０の構成については後述する。

ビーコン３０は、車両２０ａ，２０ｂ，…，２０ｎが走行する路面上（或いは路肩等）に複数に設けられた無線標識であり、路面の状態を示す路面情報をその路上を走行する車両２０ａ，２０ｂ，…，２０ｎ又は乗員損傷推定サーバ１０に向けて送信する。ビーコン３０は、路面情報を検出するための各種センサを含んでよい。路面情報は、例えば、天候（例えば、晴れ、雨、曇り、雪）、路面の温度、路面の状態（例えば、路面上の降水量、路面の濡れ具合、積雪量）、道路の交通混雑の状況（例えば、単位時間当たりの通行車両数）を含んでよい。

図２に、各車両２０ａ，２０ｂ，…，２０ｎに搭載される乗員損傷推定装置２０の構成を示す。乗員損傷推定装置２０は、撮像装置２１、衝突センサ２２、状態センサ２３、及び通信モジュール２４を含む。

撮像装置２１は、車両２０ａ，２０ｂ，…，２０ｎ内を撮像する車載装置であり、例えばドライブレコーダ、ドライバステータスモニタ、車内カメラ、及びバックカメラのうちの少なくとも１つを含む。ドライブレコーダは、車両のフロントガラス、ダッシュボード等に取り付けられたカメラを有し、これを用いて車両内の映像を記録する。なお、ドライブレコーダは、車両外、特に車両前方の映像を記録してもよい。また、ドライブレコーダは、映像に加えて、車両内の音声、車両の加速度、ＧＰＳに基づいた現在位置等を併せて記録してもよい。ドライバステータスモニタは、運転席前に取り付けられたカメラを有し、これを用いて運転手の顔或いは上半身を撮影し、画像解析により運転手の状態を検出する。車内カメラは、フロントガラス、天井等に取り付けられたカメラを有し、これを用いて車両内、運転席及び助手席だけでなく後部座席の映像を記録する。バックカメラ（リアカメラとも呼ぶ）は、車両のリアガラス等に取り付けられたカメラを有し、これを用いて車両後方の映像を記録する。撮像装置２１により記録された映像データは、通信モジュール２４に送信される。なお、映像データを車載モニタ等に映し出してもよい。

衝突センサ２２は、車両２０ａ，２０ｂ，…，２０ｎの衝突を検出する車載装置であり、例えばミリ波センサ、ＬｉＤＥＲを含む。ミリ波センサ及びＬｉＤＥＲは、車両のボディに取り付けられ、車両の周囲に向けて検出波（それぞれ、ミリ波及びレーザ）を発射し、反射波を受信することにより障害物を検出する。その検出信号（信号データとも呼ぶ）は、通信モジュール２４に送信されて、車両が別の車両等の障害物に衝突したのを検出するのに用いられる。なお、衝突センサ２２として、車両２０ａ，２０ｂ，…，２０ｎに加わる加速度を検出する加速度センサを採用してもよい。

状態センサ２３は、車両２０ａ，２０ｂ，…，２０ｎの状態を検出する車載装置であり、例えばイベントデータレコーダー（ＥＤＲ）を含む。状態センサ２３により検出される車両の状態は、車両の速度を少なくとも含み、その他、アクセルペダルの踏込量、ブレーキペダルの踏込量、ハンドルの回転角度、シートベルトの装着の有無、エアバックの作動の有無のような車両制御に関する情報を含んでもよいし、さらに、時刻、車両の現在位置の情報（例えば、緯度及び経度）を含んでもよい。なお、これらのデータは、もっぱら時間に依存しないデータであり、コンテキストデータと呼ぶ。状態センサ２３により得られたコンテキストデータは、通信モジュール２４に送信される。

通信モジュール２４は、撮像装置２１から受信する映像データ、衝突センサ２２から受信する信号データ、及び状態センサ２３から受信するコンテキストデータを乗員損傷推定サーバ１０に向けて送信する無線通信機器である。通信モジュール２４は、これらのデータを解析する機能及び一時的に記憶する機能を有してよく、例えば、衝突センサ２２の信号データが車両２０ａ，２０ｂ，…，２０ｎの衝突を示した場合に、その衝突時から又は衝突の予め定められた時間（例えば１分前、３分前等）前から衝突後の予め定められた時間（例えば１分、３分、１０分等）までの映像データ、信号データ、及びコンテキストデータを乗員損傷推定サーバ１０に向けて送信する。これにより、車両事故のタイミングに応じて乗員の損傷を推定するのに最低限必要な期間のデータのみを得ることができる。なお、車両事故が起きた後もデータを送信し続けてもよい。それにより、車両事故の状態がより正確に反映される。

図３に、乗員損傷推定サーバ１０の機能構成を示す。乗員損傷推定サーバ１０は、受信部１１、推定部１２、表示部１３、及び学習部１４を含む。

受信部１１は、車両２０ａ，２０ｂ，…，２０ｎに搭載された乗員損傷推定装置２０から各種データを受信する機能部である。受信部１１は、各種データとして、撮像装置２１から映像データ、衝突センサ２２から信号データ、及び状態センサ２３からコンテキストデータを受信する。また、受信部１１は、車両２０ａ，２０ｂ，…，２０ｎを介して又は直接、ビーコン３０から路面情報を受信してもよい。これらの受信したデータは、データベース１９に記録してもよい。

推定部１２は、映像データ、信号データ、及びコンテキストデータを推定モデルに入力して、車両事故による乗員の損傷を推定する機能部である。推定部１２は、車両の乗員のそれぞれについて、車両事故により障害を受けた部位及びその部位の損傷の程度と総合の損傷の程度を推定する。

図４に、推定部１２による、映像データ、信号データ、及びコンテキストデータの処理フローを示す。まず、推定部１２は、映像データ、信号データ、及びコンテキストデータを畳込みニューラルネットワーク（ＣＮＮ）に通してそれぞれ特徴量を抽出する。画像データ及び信号データは時系列データであることから、推定部１２は、画像データ及び信号データから得られた特徴量を１つの時系列データに融合し（ビデオ・信号融合）、融合したデータを双方向ＬＳＴＭ（Long short-term memory）を用いて順方向及び逆方向に処理する。なお、双方向ＬＳＴＭに代えて、ＧＲＵ（Gated Recurrent Unit）を用いてデータを処理してもよい。次いで、推定部１２は、ＬＳＴＭ処理された時系列データにコンテキストデータから得られた特徴量を加えて融合し（ビデオ・信号・コンテキスト融合）、その融合データを推定モデル（ＦＣ層）に入力する。それにより、特徴量を適切に圧縮して推定モデルに入力することができる。

なお、推定部１２は、映像データを推定モデルに入力するに先立って、映像データに赤外画像が含まれる場合にその赤外画像をＲＧＢ画像に変換する、撮像装置２１の取り付け位置及び取り付けアングルに伴う映像データのずれを統一する、映像データの解像度又はＦＰＳを統一する等の前処理を行ってもよい。それにより、映像データを前処理、特に規格化して推定モデルに入力することで、規格のずれに伴って乗員の損傷の推定がぶれるのを防ぐことができる。

推定部１２は、さらに、車両の各座席に着座する乗員に関する情報を推定モデルに入力してもよい。それにより、各座席に着座する乗員を特定し、乗員のそれぞれについて車両事故による損傷の程度をより正確に推定することができる。

推定部１２は、さらに、路面情報を推定モデルに入力してもよい。ここで、路面情報は、コンテキストデータに含めて処理されてよい。これにより、さらに路面情報に基づくことで車両事故の原因が反映されて、車両事故による乗員の損傷の程度をより正確に推定することができる。

表示部１３は、車両事故による乗員の損傷の推定結果をディスプレイ等の表示装置に表示する機能部である。

図５に、乗員の損傷の推定結果の表示の一例を示す。右上に運転席の乗員１に関する損傷の推定結果が表示されている。ここで、乗員１が車両事故により損傷を受けた部位、頭部、胸部等のそれぞれについて損傷の程度が例えば１から５までのスコア（一例として頭部３、胸部２）で表示され、これらを総合した損傷の程度が１から５までのスコア（一例として５）で表示される。左上に助手席の乗員２に関する損傷の推定結果、すなわち乗員２が車両事故により損傷を受けた部位及びその損傷の程度（一例として頭部２、胸部２）並びにこれらを総合した損傷の程度（一例として４）が表示されている。右下に右後部座席の乗員３に関する損傷の推定結果、すなわち乗員３が車両事故により損傷を受けた部位及びその損傷の程度（一例として頭部２、胸部１）並びにこれらを総合した損傷の程度（一例として３）が表示されている。左下に左後部座席の乗員４に関する損傷の推定結果、すなわち乗員４が車両事故により損傷を受けた部位及びその損傷の程度（一例として頭部１、胸部１）並びにこれらを総合した損傷の程度（一例として２）が表示されている。

このように各乗員について損傷を受けた部位、その損傷の程度、さらに総合の損傷の程度が推定、そして表示されることで、遠隔で車両事故による乗員の損傷の状況を詳細に知ることが可能となる。

学習部１４は、推定モデルを機械学習する機能部である。学習部１４は、例えば、実際に車両事故が起きた場合に、その車両から送信された映像データ、信号データ、及びコンテキストデータを入力とし、その車両事故に遭遇した乗員が病院に搬送された際に医者により判断される乗員の損傷の程度（すなわち、スコア）を教師データとして使用することで、推定モデルを機械学習する。車両事故に遭遇した乗員が病院に搬送され、処置が施されて乗員の生存率がほぼ決定するタイミングで判断される乗員の損傷の程度を教師データとすることで、生存率を反映した乗員の損傷の程度を推定する推定モデルを構築することができる。それにより、推定結果に基づいて生存率が上がるよう緊急処置を決定することが可能となる。

なお、車両事故に遭遇した乗員が要した医療費の額を教師データとして使用してもよい。また、緊急車両が事故現場に到着した際に緊急隊員等により判断される乗員の損傷の程度（すなわち、スコア）を教師データとして使用してもよい。また、シミュレータで、入力用の映像データを作成してもよい。また、ＬＤＡ（Linear Discriminant Analysis）により学習データを圧縮してもよい。

なお、学習部１４は、海外で得られた映像データ、信号データ、及びコンテキストデータを入力とし、対応する乗員の損傷を教師データとして使用することで、推定モデルを機械学習してもよい。ここで、映像データが得られた国では車両は右側通行帯を走行する場合、車両事故時の車内の映像データを左右反転処理して使用することとする。このようにして作成した教師データを機械学習に使用することで、推定モデルを早期に構築することができる。

図６に、車両事故による乗員の損傷を推定する乗員損傷推定方法のフローを示す。この例では、車両２０ａが別の車両と衝突したものとする。ここで、車両事故の有無に関係なく、車両２０ａに搭載された乗員損傷推定装置２０に含まれる撮像装置２１は車両２０ａ内を撮像し、衝突センサ２２は車両２０ａの衝突を検出し、状態センサ２３は車両２０ａの状態を検出し、それらのデータは通信モジュール２４に送信されて解析及び一時記憶される。

ステップＳ１０２では、車両２０ａが別の車両と衝突したか否かを検出する。通信モジュール２４の解析機能は、乗員損傷推定装置２０に含まれる衝突センサ２２の信号データを解析し、車両２０ａの衝突を検出する。衝突が検出されない場合、ステップＳ１０２が繰り返し実行される。衝突が検出されると、次のステップＳ１０４に進む。

ステップＳ１０４では、車両２０ａの乗員損傷推定装置２０（通信モジュール２４）により撮像装置２１により撮像された車両２０ａ内の映像データ、衝突センサ２２により検出された車両２０ａの衝突を示す信号データ、及び状態センサ２３により検出された車両２０ａの状態を示すコンテキストデータを乗員損傷推定サーバ１０に送信する。ここで、乗員損傷推定装置２０の通信モジュール２４は、衝突時から又は衝突の予め定められた時間前から衝突後の予め定められた時間までの映像データ、信号データ、及びコンテキストデータを送信してもよい。これにより、車両事故のタイミングに応じて乗員の損傷を推定するのに最低限必要な期間のデータのみを得ることができる。なお、車両事故が起きた後、乗員損傷推定サーバ１０の管理者が受信を止めるまでデータを送信し続けてもよい。それにより、車両事故の状態がより正確に反映される。

ステップＳ１０６では、乗員損傷推定サーバ１０（受信部１１）が、車両２０ａの乗員損傷推定装置２０から送信された映像データ、信号データ、及びコンテキストデータを受信する。乗員損傷推定サーバ１０は、車両２０ａを介して又は直接、ビーコン３０から路面情報を受信してもよい。

ステップＳ１０８では、乗員損傷推定サーバ１０（推定部１２）が、受信した映像データ、信号データ、及びコンテキストデータを推定モデルに入力して、車両事故による乗員の損傷を推定する。それらのデータの処理については先述のとおりである。車両の各座席に着座する乗員に関する情報をデータベース１９から読み出して推定モデルに入力してもよいし、ビーコン３０により得られる路面情報を推定モデルに入力してもよい。推定部１２は、車両の乗員のそれぞれについて、車両事故により障害を受けた部位及びその部位の損傷の程度と総合の損傷の程度を推定する。

ステップＳ１１０では、乗員損傷推定サーバ１０（表示部１３）が、車両事故による乗員の損傷の推定結果（図５参照）をディスプレイ等の表示装置に表示する。管理者は、推定結果に基づいて緊急車両の発動などの車両事故に対する緊急処置を決定する。

なお、乗員損傷推定システム１において、乗員損傷推定装置２０の撮像装置２１はさらに車両の周囲を撮像する装置を含んでもよい。斯かる場合に、推定部１２は、車両２０ａが別の車両に衝突した際にその相手車両の乗員の損傷を推定してもよい。また、推定部１２は、車両２０ａが通行人と衝突した際にその通行人の損傷を推定してもよい。

なお、乗員損傷推定装置２０を搭載した車両２０ａ，２０ｂが衝突した場合、相手車両２０ｂの乗員損傷推定装置２０により得られるデータ、特に相手車両２０ｂの周囲の映像データをさらに推定モデルに入力して、車両事故による車両２０ａの乗員の損傷を推定してもよい。

図７に、それぞれ乗員損傷推定装置２０を搭載した車両２０ａ，２０ｂの衝突事故による車両２０ａの乗員の損傷を推定する乗員損傷推定方法の別のフローを示す。

ステップＳ１０２ａでは、車両２０ａが別の車両（本例では車両２０ｂ）と衝突したか否かを検出する。衝突が検出されない場合、ステップＳ１０２ａが繰り返し実行される。衝突が検出されると、次のステップＳ１０４ａに進む。

ステップＳ１０２ｂでは、車両２０ｂが別の車両（本例では車両２０ａ）と衝突したか否かを検出する。衝突が検出されない場合、ステップＳ１０２ｂが繰り返し実行される。衝突が検出されると、次のステップＳ１０４ｂに進む。

ステップＳ１０４ａでは、車両２０ａの乗員損傷推定装置２０（通信モジュール２４）により撮像装置２１により撮像された車両２０ａ内の映像データ、衝突センサ２２により検出された車両２０ａの衝突を示す信号データ、及び状態センサ２３により検出された車両２０ａの状態を示すコンテキストデータを乗員損傷推定サーバ１０に送信する。

ステップＳ１０４ｂでは、車両２０ｂの乗員損傷推定装置２０（通信モジュール２４）により撮像装置２１により撮像された車両２０ｂの周囲の映像データ、衝突センサ２２により検出された車両２０ｂの衝突を示す信号データ、及び状態センサ２３により検出された車両２０ｂの状態を示すコンテキストデータを乗員損傷推定サーバ１０に送信する。ただし、車両２０ｂの乗員損傷推定装置２０は、少なくとも車両２０ｂの周囲の映像データを送信すればよい。

ステップＳ１０６では、乗員損傷推定サーバ１０（受信部１１）が、車両２０ａ，２０ｂのそれぞれの乗員損傷推定装置２０から送信された映像データ、信号データ、及びコンテキストデータを受信する。乗員損傷推定サーバ１０は、車両２０ａ，２０ｂを介して又は直接、ビーコン３０から路面情報を受信してもよい。

ステップＳ１０８では、乗員損傷推定サーバ１０（推定部１２）が、車両２０ａ，２０ｂのそれぞれの乗員損傷推定装置２０から受信した映像データ、信号データ、及びコンテキストデータを推定モデルに入力して、車両事故による車両２０ａの乗員の損傷を推定する。

ステップＳ１１０では、先述のとおり、乗員損傷推定サーバ１０（表示部１３）が、車両事故による車両２０ａの乗員の損傷の推定結果（図５参照）をディスプレイ等の表示装置に表示する。

このように車両２０ａが衝突した相手車両２０ｂから見える周囲の映像データを推定モデルに入力することで、衝突した車両２０ａの状態がより詳細に推定モデルに取り込まれて、車両事故による車両２０ａの乗員の損傷の程度をより正確に推定することが可能となる。

なお、乗員損傷推定サーバ１０（受信部１１）は、車両２０ａの乗員損傷推定装置２０から送信されるデータ及び相手車両２０ｂの乗員損傷推定装置２０から送信されるデータのそれぞれを独立に受信するに限らず、車両２０ａの乗員損傷推定装置２０（通信モジュール２４）が車間通信を利用して相手車両２０ｂの乗員損傷推定装置２０から送信されるデータを受信し、車両２０ａの乗員損傷推定装置２０が自車のデータとともに相手車両２０ｂのデータを併せて送信することにより、両データを受信することとしてもよい。

本実施形態に係る乗員損傷推定サーバ１０によると、車両２０ａに設けられた車両２０ａ内を撮像する撮像装置２１から映像データ、車両２０ａの衝突を検出する衝突センサ２２から信号データ、及び車両２０ａの速度を少なくとも含む車両２０ａの状態を検出する状態センサ２３からコンテキストデータを受信する受信部１１、映像データ、信号データ、及びコンテキストデータを推定モデルに入力して、車両事故による乗員の損傷を推定する推定部１２、及び車両事故による乗員の損傷の推定結果を表示する表示部１３を備える。車両事故の際に、車両２０ａに設けられた撮像装置２１から車内の映像データ、衝突センサ２２から車両２０ａの衝突を示す信号データ、状態センサ２３から車両２０ａの速度を少なくとも含む車両２０ａの状態を示すコンテキストデータを収集し、それらのデータから推定モデルに基づいて車両事故による乗員の損傷を推定することで、遠隔で車両事故による乗員の損傷状況を知ることができ、それにより緊急車両の発動など緊急処置を適切且つ迅速に決定することが可能となる。

また、本実施形態に係る乗員損傷推定システム１によると、乗員損傷推定サーバ１０、車両内を撮像する車載用の撮像装置２１、車両の衝突を検出する車載用の衝突センサ２２、車両の速度を少なくとも含む車両の状態を検出する車載用の状態センサ２３を備える。これにより、エンドツーエンドで時間的に流れるデータを処理して車両事故による乗員の損傷状況を推定するネットワークシステムが構築される。

本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

図８は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。

ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。なお、グラフィックコントローラ２２１６は、イメージデータをディスプレイデバイス２２１８上に表示する処理に限らず、ＣＰＵ２２１２と同様にイメージデータを生成するなどのデータ処理のすべて又は一部を行うこととしてもよい。

通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ−ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ−ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。

プログラムが、ＤＶＤ−ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭドライブ２２２６（ＤＶＤ−ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１…乗員損傷推定システム、９…ネットワーク、１０…乗員損傷推定サーバ、１１…受信部、１２…推定部、１３…表示部、１４…学習部、１９…データベース、２０…乗員損傷推定装置、２０ａ，２０ｂ，…，２０ｎ…車両、２１…撮像装置、２２…衝突センサ、２３…状態センサ、２４…通信モジュール、３０…ビーコン、２２００…コンピュータ、２２０１…ＤＶＤ−ＲＯＭ、２２１０…ホストコントローラ、２２１２…ＣＰＵ、２２１４…ＲＡＭ、２２１６…グラフィックコントローラ、２２１８…ディスプレイデバイス、２２２０…入／出力コントローラ、２２２２…通信インタフェース、２２２４…ハードディスクドライブ、２２２６…ＤＶＤ−ＲＯＭドライブ、２２４０…入／出力チップ、２２４２…キーボード。

Claims (19)

1. 車両事故による乗員の損傷を推定する乗員損傷推定サーバであって、
   車両に設けられた車両内を撮像する撮像装置から映像データ、前記車両の衝突を検出する衝突センサから信号データ、及び前記車両の速度を少なくとも含む前記車両の状態を検出する状態センサからコンテキストデータを受信する受信部と、
   前記映像データ、前記信号データ、及び前記コンテキストデータを推定モデルに入力して、前記車両事故による乗員の損傷を推定する推定部と、
   前記車両事故による乗員の損傷の推定結果を表示する表示部と、
   を備える乗員損傷推定サーバ。
2. 前記推定部は、前記車両の乗員のそれぞれについて、前記車両事故により障害を受けた部位及び該部位の損傷の程度と総合の損傷の程度との少なくとも一方を推定する、請求項１に記載の乗員損傷推定サーバ。
3. 前記受信部は、前記車両を介して、前記車両が走行する路面上に設けられたビーコンから前記路面の状態を示す路面情報を受信し、
   前記推定部は、さらに、前記路面情報を推定モデルに入力する、請求項１又は２に記載の乗員損傷推定サーバ。
4. 前記乗員が病院に搬送された際に医者により判断される前記乗員の損傷の程度を教師データとして使用することにより前記推定モデルを機械学習する学習部をさらに備える、請求項１から３のいずれか一項に記載の乗員損傷推定サーバ。
5. 前記学習部は、海外で得られた車両事故時の車内の映像データを左右反転して得られる映像データ、車両の衝突を示す信号データ、及び車両の速度を少なくとも含む車両の状態を示すコンテキストデータを入力、対応する乗員の損傷を教師データとして使用することにより前記推定モデルを機械学習する、請求項４に記載の乗員損傷推定サーバ。
6. 前記推定部は、前記映像データを前記推定モデルに入力するに先立って、前記映像データに赤外画像が含まれる場合に該赤外画像をＲＧＢ画像に変換すること、前記撮像装置の取り付け位置及び取り付けアングルに伴う前記映像データのずれを統一すること、前記映像データの解像度又はＦＰＳを統一すること、のうちの少なくとも１つを行う、請求項１から５のいずれか一項に記載の乗員損傷推定サーバ。
7. 前記受信部は、前記信号データが前記車両の衝突を示した場合に前記車両から送信される該衝突時から又は衝突の予め定められた時間前からの前記映像データ、前記信号データ、及び前記コンテキストデータを受信する、請求項１から６のいずれか一項に記載の乗員損傷推定サーバ。
8. 前記推定部は、前記映像データ及び前記信号データを１つの時系列データに融合してＬＳＴＭ処理し、該時系列データ及び前記コンテキストデータを１つの融合データに融合して前記推定モデルに入力する、請求項１から７のいずれか一項に記載の乗員損傷推定サーバ。
9. 前記撮像装置は、ドライブレコーダ、ドライバステータスモニタ、車内カメラ、及びバックカメラのうちの少なくとも１つを含む、請求項１から８のいずれか一項に記載の乗員損傷推定サーバ。
10. 前記衝突センサは、前記車両の周囲に向けて検出波を発射し、反射波を受信することにより障害物を検出するセンサである、請求項１から９のいずれか一項に記載の乗員損傷推定サーバ。
11. 前記状態センサにより検出される前記車両の状態は、さらに、アクセルの踏込量、ブレーキの踏込量、ハンドルの回転角度、シートベルトの装着の有無、及びエアバックの作動の有無のうちの少なくとも１つを含む、請求項１から１０のいずれか一項に記載の乗員損傷推定サーバ。
12. 前記推定部は、さらに、前記車両の各座席に着座する乗員に関する情報を前記推定モデルに入力する、請求項１から１１のいずれか一項に記載の乗員損傷推定サーバ。
13. 前記受信部は、さらに、前記車両が衝突した別の車両から該別の車両の周囲の別の映像データを受信し、
    前記推定部は、さらに、前記別の映像データを前記推定モデルに入力する、請求項１から１２のいずれか一項に記載の乗員損傷推定サーバ。
14. 前記受信部は、さらに、前記車両を介して、該車両が衝突した別の車両の周囲の別の映像データを受信し、
    前記推定部は、さらに前記別の映像データを前記推定モデルに入力する、請求項１から１１のいずれか一項に記載の乗員損傷推定サーバ。
15. 前記撮像装置は、前記車両の周囲を撮像する装置をさらに含み、
    前記推定部は、前記車両が別の車両に衝突した場合に該別の車両の乗員の損傷を推定する、請求項１から１４のいずれか一項に記載の乗員損傷推定サーバ。
16. 前記推定部は、前記車両が通行人と衝突した場合に該通行人の損傷を推定する、請求項１５に記載の乗員損傷推定サーバ。
17. 請求項１から１６のいずれか一項に記載の乗員損傷推定サーバと、
    車両内を撮像する車載用の撮像装置と、
    前記車両の衝突を検出する車載用の衝突センサと、
    前記車両の速度を少なくとも含む前記車両の状態を検出する車載用の状態センサと、
    を備える乗員損傷推定システム。
18. 車両事故による乗員の損傷を推定する乗員損傷推定方法であって、
    車両に設けられた車両内を撮像する撮像装置から映像データ、前記車両の衝突を検出する衝突センサから信号データ、及び前記車両の速度を少なくとも含む前記車両の状態を検出する状態センサからコンテキストデータを受信する段階と、
    前記映像データ、前記信号データ、及び前記コンテキストデータを推定モデルに入力して、前記車両事故による乗員の損傷を推定する段階と、
    前記車両事故による乗員の損傷の推定結果を表示する段階と、
    を備える乗員損傷推定方法。
19. コンピュータに、
    車両に設けられた車両内を撮像する撮像装置から映像データ、前記車両の衝突を検出する衝突センサから信号データ、及び前記車両の速度を少なくとも含む前記車両の状態を検出する状態センサからコンテキストデータを受信する手順と、
    前記映像データ、前記信号データ、及び前記コンテキストデータを推定モデルに入力して、車両事故による乗員の損傷を推定する手順と、
    前記車両事故による乗員の損傷の推定結果を表示する手順と、
    を実行させるプログラム。

Images