JP2023012146A - 危険要因推定装置、危険要因推定システム、及び危険要因推定プログラム - Google Patents

Abstract

【課題】危険な状況の要因を推定可能な危険要因推定装置、危険要因推定システム、及び危険要因推定プログラムを提供することを目的とする。【解決手段】推定部５０は、車両の周辺を撮影部２４によって撮影した撮影画像、並びに、車両情報検出部２２によって検出した車両の走行に関する車両情報及び撮影部２４によって運転者を撮影した撮影画像の少なくとも一方を取得する。また、推定部５０は、車両周辺の撮影画像から危険な状況として危険シートを推定して、車両情報及び運転者の撮影画像少なくとも一方から危険シーンの要因を推定する処理を行う。【選択図】図２

Description

本発明は、運転の際の危険な状況の要因を推定する危険要因推定装置、危険要因推定システム、及び危険要因推定プログラムに関する。

特許文献１には、横軸をドライバの危険運転挙動の度合い、縦軸を危険運転挙動の度合いに応じたドライバ数とし、記憶部に記憶されているドライバの走行履歴情報を用いて判定された安全ドライバ群と危険ドライバ群の分布と、診断対象ドライバの危険運転挙動についての診断結果とを含む画面情報を生成して出力する運転診断装置が開示されている。

特許文献２には、ドライバの首振り角度を含む挙動を取得する挙動取得部と、ドライバの挙動を参照して、危険の予兆を判定する危険予兆判定部と、危険の予兆の判定結果を出力する出力部と、を備えた危険予兆判定装置が開示されている。

特開２０１６－１９７３０８号公報 特開２０１９－７９１５０号公報

特許文献１では、他の運転者の危険運転挙動についての診断結果の分布に対して自身の診断結果が分かる画面情報を生成しているが、危険運転の要因までは分からず、運転の改善ポイントを提案するためには改善の余地がある。

また、特許文献２では、ドライバを撮影した画像のみを用いて危険予兆を判定しているが、車外環境を考慮していないため、危険な状況の要因では分からず、運転の改善ポイントを提案するためには改善の余地がある。

そこで、本発明は、危険な状況の要因を推定可能な危険要因推定装置、危険要因推定システム、及び危険要因推定プログラムを提供することを目的とする。

上記目的を達成するために請求項１に記載の危険要因推定装置は、車両周辺を車両から撮影した周辺撮影画像、並びに、車両の走行に関する車両情報及び運転者を撮影した運転者撮影画像の少なくとも一方を取得する取得部と、前記取得部によって取得された前記周辺撮影画像から危険な状況を推定する危険推定部と、前記取得部によって取得された前記少なくとも一方から前記危険推定部によって推定された前記危険な状況の要因を推定する要因推定部と、を含む。

請求項１に記載の発明によれば、取得部では、車両周辺を車両から撮影した周辺撮影画像、並びに、車両の走行に関する車両情報及び運転者を撮影した運転者撮影画像の少なくとも一方が取得される。

危険推定部では、取得部によって取得された周辺撮影画像から危険な状況が推定される。

そして、要因推定部では、取得部によって取得された少なくとも一方から危険推定部によって推定された危険な状況の要因が推定される。これにより、危険な状況を推定して、推定された危険な状況の要因を推定するので、危険な状況の要因を推定可能な危険要因推定装置を提供できる。

なお、前記取得部が、前記周辺撮影画像及び前記車両情報を取得し、前記要因推定部は、前記危険な状況の推定時の前記車両情報から乱暴運転を前記要因として推定してもよい。これにより、車両情報から運転の操作状況が分かるので、乱暴運転を危険な状況の要因として推定することが可能となる。

また、前記取得部が、前記周辺撮影画像及び前記運転者撮影画像を取得し、前記要因推定部が、前記危険な状況の推定時の前記運転者撮影画像から運転者の注意不足を前記要因として推定してもよい。これにより、危険な状況の推定時の運転者撮影画像から運転者の注意不足であるか否かが分かるので、危険な状況の推定時の運転者撮影画像から運転者の注意不足を要因として推定可能となる。

また、前記要因推定部は、前記周辺撮影画像から求めた危険度ヒートマップの予め定めた閾値以上の領域に、前記運転者撮影画像から求めた視線方向が重複しない場合に、前記注意不足を前記要因として推定してもよい。これにより、注意不足の場合には、危険な状況の方向を運転者が見ていないため、周辺撮影画像から求めた危険度ヒートマップの予め定めた閾値以上の領域に、運転者撮影画像から求め視線方向が重複しない場合に、運転者の注意不足を要因として推定可能となる。

なお、上記危険要因推定装置と、前記周辺撮影画像、並びに、前記車両情報及び前記運転者撮影画像の少なくとも一方を前記危険要因推定装置に送信する車両と、を含む危険要因推定システムとしてもよい。これにより、危険な状況を推定して、推定された危険な状況の要因を推定するので、危険な状況の要因を推定可能な危険要因推定システムを提供できる。

また、コンピュータに、車両周辺を車両から撮影した周辺撮影画像、並びに、車両の走行に関する車両情報及び運転者を撮影した運転者撮影画像の少なくとも一方を取得し、前記周辺撮影画像から危険な状況を推定して、前記少なくとも一方から前記危険な状況の要因を推定する処理を実行させるための危険要因推定プログラムとしてもよい。これにより、危険な状況を推定して、推定された危険な状況の要因を推定するので、危険な状況の要因を推定可能な危険要因推定プログラムを提供できる。

以上説明したように本発明によれば、危険な状況の要因を推定可能な危険要因推定装置、危険要因推定システム、及び危険要因推定プログラムを提供できる。

本実施形態に係る運転評価システムの概略構成を示す図である。 本実施形態に係る運転評価システムにおける車載器及びクラウドサーバの機能構成を示す機能ブロック図である。 車載器の制御部及びクラウドサーバの中央処理部の構成を示すブロック図である。 推定部の詳細な機能構成を示すブロック図である。 本実施形態に係る運転評価システムのクラウドサーバにおいて、中央処理部の推定部の機能で行われる処理の流れの一例を示すフローチャートである。 運転者状態推定処理の流れの一例を示すフローチャートである。 車両挙動推定処理の流れの一例を示すフローチャートである。 注意不足判定処理の流れの一例を示すフローチャートである。 フレーム画像、視線方向の領域、及び危険度が閾値以上の領域の一例、並びに危険注視度の算出例を示す図である。 乱暴運転判定処理の流れの一例を示すフローチャートである。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。本実施形態では、危険要因推定システムの一例として、運転者の運転を評価する運転評価システムについて説明する。図１は、本実施形態に係る運転評価システムの概略構成を示す図である。

本実施形態に係る運転評価システム１０は、車両１４に搭載された車載器１６と、危険要因推定装置の一例としてのクラウドサーバ１２とが通信ネットワーク１８を介して接続されている。本実施形態に係る運転評価システム１０では、複数の車載器１６の撮影によって得られる画像情報及び各車両１４の状態を表す車両情報をクラウドサーバ１２に送信して、クラウドサーバ１２が画像情報及び車両情報を蓄積する。また、クラウドサーバ１２が、蓄積した情報に基づいて、危険シーンの検出や危険シーンにおける危険な状況の要因を推定する処理や、運転者を評価する処理等を行う。

図２は、本実施形態に係る運転評価システム１０における車載器１６及びクラウドサーバ１２の機能構成を示す機能ブロック図である。

車載器１６は、制御部２０、車両情報検出部２２、撮影部２４、通信部２６、及び表示部２８を備えている。

車両情報検出部２２は、車両１４に関する車両情報を検出する。車両情報の一例としては、例えば、車両１４の位置情報、車速、加速度、舵角、アクセル開度、車両周辺の障害物までの距離、経路等の車両情報を検出する。車両情報検出部２２は、具体的には、車両１４の周辺環境がどのような状況かを表す情報を取得する複数種のセンサや装置を適用できる。センサや装置の一例としては、車速センサ、及び加速度センサなどの車両１４に搭載されるセンサや、ＧＮＳＳ（Global Navigation Satellite System）装置、車載通信機、ナビゲーションシステム、及びレーダ装置などが挙げられる。ＧＮＳＳ装置は、複数のＧＮＳＳ衛星からＧＮＳＳ信号を受信して自車両１４の位置を測位する。ＧＮＳＳ装置は受信可能なＧＮＳＳ信号の数が多くなるに従って測位の精度が向上する。車載通信機は、通信部２６を介して他の車両１４との間の車車間通信及び路側機との間の路車間通信の少なくとも一方を行う通信装置である。ナビゲーションシステムは、地図情報を記憶する地図情報記憶部を含み、ＧＮＳＳ装置から得られる位置情報と地図情報記憶部に記憶された地図情報とに基づいて、自車両１４の位置を地図上で表示したり、目的地迄の経路を案内したりする処理を行う。また、レーダ装置は、検出範囲が互いに異なる複数のレーダを含み、自車両１４の周辺に存在する歩行者や他車両１４等の物体を検出し、検出した物体と自車両１４の相対位置及び相対速度を取得する。また、レーダ装置は周辺の物体の探知結果を処理する処理装置を内蔵している。当該処理装置は、直近の複数回の探知結果に含まれる個々の物体との相対位置や相対速度の変化等に基づき、ノイズやガードレール等の路側物等を監視対象から除外し、歩行者や他車両１４等を監視対象物体として追従監視する。そしてレーダ装置は、個々の監視対象物体との相対位置や相対速度等の情報を出力する。なお、本実施形態では、車両情報として、少なくとも車速を検出する。

撮影部２４は、本実施形態では、車両の外側を撮影する外向きカメラと、車室内を撮影する内向きカメラを有する。撮影部２４は、外向きカメラにより前方等の車両周辺を撮影し、動画像の撮影画像を表す外向き動画像データを画像情報として生成する。また、撮影部２４は、内向きカメラにより車室内の運転者を撮影し、動画像の撮影画像を表す内向き動画像データを画像情報として生成する。例えば、外向きカメラとしてはドライブレコーダ等を適用し、内向きカメラとしては運転者モニタカメラ等を適用できる。なお、外向きカメラは、車両１４の側方及び後方の少なくとも一方の車両周辺を更に撮影してもよい。

通信部２６は、通信ネットワーク１８を介してクラウドサーバ１２と通信を確立して、撮影部２４の撮影によって得られる画像情報や車両情報検出部２２によって検出された車両情報等の情報をＣＡＮ（Controller Area Network）データとして送受信を行う。

表示部２８は、情報を表示することにより、乗員に各種情報を提供する。本実施形態では、例えば、クラウドサーバ１２から提供される情報等を表示する。

制御部２０は、図３に示すように、ＣＰＵ（Central Processing Unit）２０Ａ、ＲＯＭ（Read Only Memory）２０Ｂ、ＲＡＭ（Random Access Memory）２０Ｃ、ストレージ２０Ｄ、インタフェース（Ｉ／Ｆ）２０Ｅ、及びバス２０Ｆ等を含む一般的なマイクロコンピュータで構成されている。

制御部２０は、撮影部２４によって撮影された画像を表す動画像の画像情報、及び画像の撮影時に車両情報検出部２２によって検出された車両情報をクラウドサーバ１２にアップロードする制御等を行う。なお、画像情報及び車両情報をアップロードする際には、車両及び運転者の少なくとも一方を識別する識別情報を付与して送信する。運転者を識別する情報は、例えば、運転者を撮影した撮影画像でもよいし、運転者が携帯するスマートキーの識別情報でもよいし、運転者を識別可能な他の情報でもよい。

一方、クラウドサーバ１２は、中央処理部３０、中央通信部３６、及びＤＢ（データベース）３８を備えている。

中央処理部３０は、図３に示すように、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、及びＲＡＭ３０Ｃ、ストレージ３０Ｄ、インタフェース（Ｉ／Ｆ）３０Ｅ、及びバス３０Ｆ等を含む一般的なマイクロコンピュータで構成されている。

中央処理部３０は、ＣＰＵ３０ＡがＲＯＭ３０Ｂに格納されたプログラムをＲＡＭ３０Ｃに展開して実行することで、車両情報収集部４４、動画データ収集部４８、及び推定部５０の機能を有する。

車両情報収集部４４は、複数の車両１４の車載器１６の各々で検出された車両情報を収集して、ＤＢ３８に蓄積する処理を行う。車両情報としては、車両１４に搭載された各種センサ等によって検出された情報を収集する。

動画データ収集部４８は、複数の車両１４の車載器１６各々で撮影された動画像データを画像情報として収集して、ＤＢ３８に蓄積する処理を行う。本実施形態では、撮影部２４によって撮影された外向き動画像データ及び内向き動画像データのそれぞれを画像情報としてＤＢ３８に蓄積する。

推定部５０は、車両１４の周辺を撮影部２４によって撮影した撮影画像、並びに、車両情報検出部２２によって検出した車両１４の走行に関する車両情報及び撮影部２４によって運転者を撮影した撮影画像の少なくとも一方を取得する。また、推定部５０は、車両周辺の撮影画像から危険な状況として危険シートを推定して、車両情報及び運転者の撮影画像の少なくとも一方から危険な状況としての危険シーンの要因を推定する処理を行う。例えば、推定部５０は、危険シーンを推定する処理や、危険シーンにおける運転者の状態の推定、車両挙動の推定を行うことにより、危険要因を推定する処理を行う。

中央通信部３６は、通信ネットワーク１８を介して車載器１６と通信を確立して、画像情報や車両情報等の情報の送受信を行う。

ＤＢ３８には、車両情報収集部４４によって収集された車両情報、及び動画データ収集部４８によって収集された動画像データと、車両及び運転者の少なくとも一方を識別する識別情報とを対応付けて蓄積する。

クラウドサーバ１２は、ＤＢ３８に蓄積された情報に基づいて、危険シーンを検出する処理や、危険シーンの要因を推定する処理、運転者を評価する処理等を行う。そして、クラウドサーバ１２は、運転評価結果を運転者にフィードバックするサービスなどの各種サービスを提供する。

続いて、クラウドサーバ１２の中央処理部３０における上述の推定部５０の詳細な機能構成について説明する。図４は、推定部５０の詳細な機能構成を示すブロック図である。

推定部５０は、図４に示すように、外向き動画取得部５２、外向き動画フレーム読込部５４、及び、危険シーン推定部５６の機能を有する。また、推定部５０は、内向き動画取得部５８、内向き動画フレーム読込部６０、運転者状態推定部６２、車両情報取得部６４、車両挙動推定部６６、及び危険運転要因推定部６８の機能を有する。なお、外向き動画取得部５２、内向き動画取得部５８、及び車両情報取得部６４は取得部の一例に対応する。また、危険シーン推定部５６は危険推定部の一例に対応し、危険運転要因推定部６８は要因推定部の一例に対応する。

外向き動画取得部５２は、車載器１６から収集してＤＢ３８に格納された画像情報のうち外向きカメラで撮影された外向き動画データを取得する。詳細には、外向き動画取得部５２は、注目する車両又は運転者の外向き動画データを取得する。

外向き動画フレーム読込部５４は、外向き動画取得部５２が取得した外向き動画データからフレーム画像を抽出する。

危険シーン推定部５６は、外向き動画フレーム読込部５４によって抽出されたフレーム画像が危険シーンに該当するか否かを判定して危険シーンを推定する。危険シーンの推定は、例えば、機械学習等により予め定めたモデルを用いて、一時不停止、歩行者妨害、車間距離不保持等の危険シーンを推定する。

内向き動画取得部５８は、車載器１６から収集してＤＢ３８に格納された撮影画像のうち内向きカメラで撮影された内向き動画データを取得する。詳細には、内向き動画取得部５８は、注目する車両又は運転者の内向き動画データを取得する。

内向き動画フレーム読込部６０は、内向き動画取得部５８が取得した内向き動画データから危険シーン推定部５６によって推定された危険シーンの時刻に対応するフレーム画像を抽出する。なお、危険シーンの時刻と同じ時刻のフレーム画像がない場合は、危険シーンの時刻に近いフレーム画像を抽出してもよい。

運転者状態推定部６２は、外向き動画フレーム読込部５４によって抽出されたフレーム画像から運転者の顔の向きや視線、覚醒度等を推定することにより運転者状態を推定する。これにより、危険シーンの推定時の外向き動画のフレーム画像から運転者の注意不足であるか否かが分かるので、危険シーンの推定時の運転者の注意不足を要因として推定可能となる。

車両情報取得部６４は、ＤＢ３８に格納された車両情報のうち、危険シーン推定部５６によって推定された危険シーンの時刻に対応する車両情報を取得する。詳細には、車両情報取得部６４は、注目する車両又は運転者の危険シーンの時刻に対応する車両情報を取得する。なお、車両情報取得部６４は、危険シーンの時刻と同じ時刻の車両情報がない場合は、危険シーンの時刻に近い車両情報を取得してもよい。

車両挙動推定部６６は、車両情報取得部６４が取得した車両情報から危険シーン推定部５６によって推定された危険シーンにおける急加速や、急減速、急ハンドル等の車両挙動を推定する。これにより、車両情報から運転の操作状況が分かるので、乱暴運転を危険シーンの要因として推定することが可能となる。

危険運転要因推定部６８は、運転者状態推定部６２及び車両挙動推定部６６の各々の推定結果に基づいて、危険運転の要因を推定する。具体的には、危険運転要因推定部６８は、運転者状態推定部６２によって推定された運転者の視線の向き等からよそ見運転の有無を推定する。推定方法としては、パターンマッチングや予め定めた機械学習モデル等の周知の技術を用いて推定する。また、危険運転要因推定部６８は、注目の車両又は運転者の車両情報の危険シーンに対応する時刻の車両情報と、他の車両の車両情報の平均値との乖離が予め定めた閾値以上か否かを判断することにより、急加速や急減速、急ハンドル等の乱暴運転の有無を推定する。例えば、危険運転要因推定部６８は、よそ見が推定され、正常な車両挙動が推定された場合には注意不足と推定する。また、危険運転要因推定部６８は、運転者状態が正常であると推定され、車両挙動が急加速と推定された場合には乱暴運転と推定する。

続いて、上述のように構成された本実施形態に係る運転評価システム１０のクラウドサーバ１２において、中央処理部３０の推定部５０の機能で具体的に行われる処理について説明する。図５は、本実施形態に係る運転評価システム１０のクラウドサーバ１２において、中央処理部３０の推定部５０の機能で行われる処理の流れの一例を示すフローチャートである。なお、図５の処理は、例えば、予め定めた期間毎に開始してもよいし、クラウドサーバ１２のオペレータ等の操作者によって指示された場合に開始してもよい。

ステップ１００では、ＣＰＵ３０Ａが、外向き動画を取得してステップ１０２へ移行する。すなわち、外向き動画取得部５２が、ＤＢ３８に格納され外向きカメラで撮影された外向き動画データのうち、注目の車両又は運転者の外向き動画データを取得する。

ステップ１０２では、ＣＰＵ３０Ａが、外向き動画か動画フレームを読み込んでステップ１０４へ移行する。すなわち、外向き動画フレーム読込部５４が、外向き動画取得部５２が取得した外向き動画データから注目するフレーム画像を抽出する。

ステップ１０４では、ＣＰＵ３０Ａが、注目のフレーム画像から危険シーンを推定してステップ１０６へ移行する。すなわち、危険シーン推定部５６が、外向き動画フレーム読込部５４によって抽出されたフレーム画像が危険シーンに該当するか否かを判定して危険シーンを推定する。危険シーンの推定は、例えば、機械学習等により予め定めたモデルを用いて、一時不停止、歩行者妨害、車間距離不保持等の危険シーンを推定する。

ステップ１０６では、ＣＰＵ３０Ａが、危険シーンがあるか否かを判定する。該判定が肯定された場合にはステップ１０８へ移行し、否定された場合にはステップ１１４へ移行する。

ステップ１０８では、ＣＰＵ３０Ａが、運転者の状態を推定する運転者状態推定処理を実行してステップ１１０へ移行する。運転者状態推定処理の詳細については後述する。

ステップ１１０では、ＣＰＵ３０Ａが、車両の挙動を推定する車両挙動推定処理を実行してステップ１１２へ移行する。車両挙動推定処理の詳細については後述する。

ステップ１１２では、ＣＰＵ３０Ａが、危険シーンの危険要因を推定する危険要因推定処理を実行してステップ１１４へ移行する。危険要因推定処理の詳細については後述する。

ステップ１１４では、ＣＰＵ３０Ａが、次フレームがないか否かを判定する。該判定が否定された場合にはステップ１０２に戻って上述の処理を繰り返し、判定が肯定されたところで一連の処理を終了する。

ここで、上述の運転者状態推定処理について詳細に説明する。図６は、運転者状態推定処理の流れの一例を示すフローチャートである。

ステップ２００では、ＣＰＵ３０Ａが、内向き動画を取得してステップ２０２へ移行する。すなわち、内向き動画取得部５８が、ＤＢ３８に格納された内向き動画データのうち注目の車両又は運転者の内向き動画データを取得する。

ステップ２０２では、ＣＰＵ３０Ａが、注目中の外向き動画データの画像フレームに対応する内向き動画データの動画フレームを取得してステップ２０４へ移行する。すなわち、内向き動画フレーム読込部６０が、内向き動画取得部５８が取得した内向き動画データから危険シーン推定部５６によって推定された危険シーンの時刻に対応するフレーム画像を抽出する。なお、危険シーンの時刻と同じ時刻のフレーム画像がない場合は、危険シーンの時刻に近いフレーム画像を抽出してもよい。

ステップ２０４では、ＣＰＵ３０Ａが、運転者の視線や、覚醒度等の運転者状態を推定して一連の運転者状態推定処理を終了して図５のステップ１１０へ移行する。すなわち、運転者状態推定部６２が、外向き動画フレーム読込部５４によって抽出されたフレーム画像から運転者の顔の向きや視線、覚醒度等を推定することにより運転者状態を推定し、運転者の視線の向き等からよそ見運転の有無を推定する。

次に、上述の車両挙動推定処理について詳細に説明する。図７は、車両挙動推定処理の流れの一例を示すフローチャートである。

ステップ３００では、ＣＰＵ３０Ａが、車両情報を取得してステップ３０２へ移行する。すなわち、車両情報取得部６４が、ＤＢ３８に格納された車両情報のうち、注目の車両又は運転者の車両情報を取得する。

ステップ３０２では、ＣＰＵ３０Ａが、外向き動画データのフレーム画像に対応する車両情報を取得してステップ３０４へ移行する。すなわち、車両情報取得部６４が、取得した車両情報のうち、危険シーン推定部５６によって推定された危険シーンの時刻に対応する車両情報を取得する。なお、車両情報取得部６４は、危険シーンの時刻と同じ時刻の車両情報がない場合は、危険シーンの時刻に近い車両情報を取得してもよい。

ステップ３０４では、ＣＰＵ３０Ａが、急加速や、急減速、急ハンドル操作等の車両挙動を推定して車両挙動推定処理を終了して図５のステップ１１２へ移行する。すなわち、車両挙動推定部６６が、注目の車両又は運転者の車両情報のうち、危険シーンに対応する時刻の車両情報を抽出して他の車両の車両情報の平均値を算出し、注目車両の車両情報との乖離が予め定めた閾値以上か否かを判断する。これにより、急加速や急減速、急ハンドル等の車両挙動を推定する。

次に、上述の危険要因推定処理について詳細に説明する。本実施形態では、危険要因推定処理として、運転者の注意不足を判定する注意不足判定処理と、運転者の乱暴運転を判定する乱暴運転判定処理とを行う。

まず、注意不足判定処理について詳細に説明する。図８は、注意不足判定処理の流れの一例を示すフローチャートである。

ステップ４００では、ＣＰＵ３０Ａが、視線方向を外向き画像フレーム内にマッピングしてステップ４０２へ移行する。具体的には、危険運転要因推定部６８が、車両挙動推定部６６によって推定された運転者の視線方向の位置を、注目の外向き動画のフレーム画像内に対応させて、フレーム画像中の視線方向の領域を特定する。図９に示すフレーム画像の例では、点線の矩形領域が視線方向の領域として特定された例を示す。

ステップ４０２では、ＣＰＵ３０Ａが、危険度ヒートマップを作成してステップ４０４へ移行する。具体的には、危険運転要因推定部６８が、注目の外向き動画のフレーム画像に対して危険度を評価して危険度のヒートマップを作成し、予め定めた閾値以上の領域を特定する。図９に示すフレーム画像の例では、フレーム画像中の実線の矩形領域が閾値以上の領域として特定された例を示す。

ステップ４０４では、ＣＰＵ３０Ａが、危険注視度を算出してステップ４０６へ移行する。具体的には、危険運転要因推定部６８が、視線方向の領域と、危険度が閾値以上の領域のＩｏＵ（Intersection over Union）を算出する。すなわち、視線方向の領域と危険度が閾値以上の領域の重なり度合いを表す指標を算出する。例えば、危険注視度は、図９に示すように、視線方向の領域と危険度が閾値以上の領域が重なる領域を、視線方向と危険度が閾値以上の領域の双方を含む領域で除算することで算出する。これにより、注意不足の場合には、危険シーンの方向を運転者が見ていないため、危険度ヒートマップの予め定めた閾値以上の領域に、運転者の視線方向が重複しない場合に、運転者の注意不足を要因として推定可能となる。

ステップ４０６では、ＣＰＵ３０Ａが、危険注視度が閾値以上であるか否かを判定する。該判定は、危険運転要因推定部６８が、ステップ４０４で算出したＩｏＵの値が予め定めた閾値以下であるか否かを判定する。該判定が否定された場合には注意不足判定処理を終了して図５のステップ１１４へ移行し、判定が肯定された場合にはステップ４０８へ移行する。

ステップ４０８では、ＣＰＵ３０Ａが、よそ見と見なして注意不足と判定し、注意不足判定処理を終了して図５のステップ１１４へ移行する。すなわち、危険運転要因推定部６８が、危険シーンの要因として、よそ見運転の注意不足があると判定する。

続いて、乱暴運転判定処理について詳細に説明する。図１０は、乱暴運転判定処理の流れの一例を示すフローチャートである。

ステップ５００では、ＣＰＵ３０Ａが、位置情報を元に危険シーン観測地点の平均センサ値を算出してステップ５０２へ移行する。詳細には、危険運転要因推定部６８が、注目車両の位置情報を元に危険シーン観測地点の他の車両１４の平均センサ値を算出する。

ステップ５０２では、ＣＰＵ３０Ａが、注目車両のセンサ値と、他の車両の平均センサ値の乖離が予め定めた閾値以上であるか否かを判定する。該判定が否定された場合には乱暴運転判定処理を終了して図５のステップ１１４へ移行し、判定が肯定された場合にはステップ５０４へ移行する。

ステップ５０４では、ＣＰＵ３０Ａが、乱暴運転と判定し、乱暴運転判定処理を終了して図５のステップ１１４へ移行する。すなわち、危険運転要因推定部６８が、危険シーンの要因として、乱暴運転があると判定する。

このようにクラウドサーバ１２が処理を行うことにより、危険状況としての危険シーンを推定し、運転者の注意不足や乱暴運転等の危険シーンの要因を推定することが可能となる。

また、危険シーンの要因が推定可能となることで、運転の改善ポイントを提案することが可能となる。

なお、上記の実施形態では、クラウドサーバ１２が、車両情報及び内向き動画フレームのそれぞれを取得して危険な状況の要因を推定する例を説明したが、これに限るものではない。例えば、車両情報又は内向き動画フレームを取得し、上述の注意不足判定処理又は乱暴運転判定処理を行う形態としてもよい。

また、上記の実施形態では、危険シーンの検出をクラウドサーバ１２側で行う例を説明したが、これに限るものではない。例えば、車載器１６側で危険シーンを検出して検出結果をクラウドサーバ１２に送信する形態としてもよいし、他のサーバで危険シーンを検出してクラウドサーバ１２に送信する形態としてもよい。

また、上記の各実施形態におけるクラウドサーバ１２で行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、これに限るものではない。例えば、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、及びＦＰＧＡ（Field-Programmable Gate Array）等のハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ソフトウエアの処理とした場合には、プログラムを各種記憶媒体に記憶して流通させるようにしてもよい。

さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

１０ 運転評価システム
１２ クラウドサーバ
１４ 車両
１６ 車載器
２２ 車両情報検出部
２４ 撮影部
３０ 中央処理部
３８ ＤＢ
４４ 車両情報収集部
４８ 動画データ収集部
５０ 推定部
５２ 外向き動画取得部（取得部）
５４ 外向き動画フレーム読込部
５６ 危険シーン推定部（危険推定部）
５８ 内向き動画取得部（取得部）
６０ 内向き動画フレーム読込部
６２ 運転者状態推定部
６４ 車両情報取得部（取得部）
６６ 車両挙動推定部
６８ 危険運転要因推定部（要因推定部）

Claims (6)

1. 車両周辺を車両から撮影した周辺撮影画像、並びに、車両の走行に関する車両情報及び運転者を撮影した運転者撮影画像の少なくとも一方を取得する取得部と、
   前記取得部によって取得された前記周辺撮影画像から危険な状況を推定する危険推定部と、
   前記取得部によって取得された前記少なくとも一方から前記危険推定部によって推定された前記危険な状況の要因を推定する要因推定部と、
   を含む危険要因推定装置。
2. 前記取得部が、前記周辺撮影画像及び前記車両情報を取得し、
   前記要因推定部は、前記危険な状況の推定時の前記車両情報から乱暴運転を前記要因として推定する請求項１に記載の危険要因推定装置。
3. 前記取得部が、前記周辺撮影画像及び前記運転者撮影画像を取得し、
   前記要因推定部が、前記危険な状況の推定時の前記運転者撮影画像から運転者の注意不足を前記要因として推定する請求項１又は請求項２に記載の危険要因推定装置。
4. 前記要因推定部は、前記周辺撮影画像から求めた危険度ヒートマップの予め定めた閾値以上の領域に、前記運転者撮影画像から求めた視線方向が重複しない場合に、前記注意不足を前記要因として推定する請求項３に記載の危険要因推定装置。
5. 請求項１～４の何れか１項に記載の危険要因推定装置と、
   前記周辺撮影画像、並びに、前記車両情報及び前記運転者撮影画像の少なくとも一方を前記危険要因推定装置に送信する車両と、
   を含む危険要因推定システム。
6. コンピュータに、
   車両周辺を車両から撮影した周辺撮影画像、並びに、車両の走行に関する車両情報及び運転者を撮影した運転者撮影画像の少なくとも一方を取得し、
   前記周辺撮影画像から危険な状況を推定して、前記少なくとも一方から前記危険な状況の要因を推定する処理を実行させるための危険要因推定プログラム。

Images