JP2021099720A - 危険運転判定装置、危険運転判定方法、および危険運転判定プログラム - Google Patents

Abstract

【課題】車種ごとに精度よく危険運転を検出できる危険運転判定装置を提供する。【解決手段】危険運転判定装置において、画像取得部１２は、車両の周囲を撮影した画像を取得する。車両検出部５３は、取得される画像から周辺車両を検出する。車種認識部５５は、検出された周辺車両の車種を認識する。サイズ測定部５６は、検出された周辺車両の画像上のサイズを測定する。基準記憶部５８は、車種ごとにあらかじめ定められた危険運転と判定するためのサイズの基準を記憶する。危険検出部５９は、測定されたサイズと基準に基づいて周辺車両の危険運転を検出する。危険検出部５９は、さらに周辺車両が検出された位置に基づいてその車両の危険運転を検出する。危険検出部５９は、さらに測定されたサイズの変化態様に基づいてその車両の危険運転を検出する。【選択図】図１

Description

本発明は、周辺車両の危険運転を検出する危険運転判定装置、危険運転判定方法、および危険運転判定プログラムに関する。

後方車両のナンバープレートの種類や車体形状から特定される車種に基づいてその後方車両が確保すべき車間距離を算出し、その車間距離を示す映像を道路に照射する技術が知られている（例えば、特許文献１参照）。

特開２０１９−１５１１６９号公報

近年、いわゆる「あおり運転」をはじめとする危険運転の多発が社会問題となっている。この点、上記技術のように車間距離を算出するだけでは、危険運転と正常運転を精度よく区別するのは難しい。そのため、精度よく危険運転を検出できる技術の確立が求められている。

本発明はこうした状況に鑑みてなされたものであり、その目的は、車種ごとに精度よく危険運転を検出できる危険運転判定装置を提供することにある。

上記課題を解決するために、本発明のある態様の危険運転判定装置は、車両の周囲を撮影した画像を取得する画像取得部と、画像取得部で取得される画像から周辺車両を検出する車両検出部と、車両検出部で検出された周辺車両の車種を認識する車種認識部と、車両検出部で検出された周辺車両の画像上のサイズを測定するサイズ測定部と、車種ごとにあらかじめ定められた危険運転と判定するためのサイズの基準を記憶する基準記憶部と、サイズ測定部で測定されたサイズと基準に基づいて周辺車両の危険運転を検出する危険検出部と、を備える。

本発明の別の態様は、危険運転判定方法である。この方法は、車両の周囲を撮影した画像を取得する過程と、画像を取得する過程で取得される画像から周辺車両を検出する過程と、周辺車両を検出する過程で検出された周辺車両の車種を認識する過程と、周辺車両を検出する過程で検出された周辺車両の画像上のサイズを測定する過程と、車種ごとにあらかじめ定められた危険運転と判定するためのサイズの基準を読み出す過程と、サイズを測定する過程で測定されたサイズと基準に基づいて周辺車両の危険運転を検出する過程と、を備える。

なお、以上の構成要素の任意の組合せや本発明の構成要素や表現を、方法、装置、システム、プログラムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、車種ごとに精度よく危険運転を検出できる危険運転判定装置を提供することができる。

ドライブレコーダの機能構成を模式的に示すブロック図である。 後方カメラの映像における周辺車両の識別状態を模式的に例示する図である。 後方カメラの映像における危険運転車両の認識状態を模式的に例示する図である。 危険運転を検出する過程を示すフローチャートである。

以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。以下説明する実施の形態においては、危険運転判定装置として主にドライブレコーダおよびナビゲーション装置を例示する。

図１は、ドライブレコーダ１０の機能構成を模式的に示すブロック図である。図示する各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。

ドライブレコーダ１０は、画像取得部１２、音声取得部１４、車両情報取得部１６、イベント検出部１８、記録制御部２０、一時記憶部２２、通信部２４、操作受付部２６、画像処理部５０、基準記憶部５８、危険検出部５９、表示制御部２８、音声出力部２９を備える。画像取得部１２は、車両情報取得部１６の一部として構成されてもよく、画像取得部１２が車両情報取得部１６に含まれてもよい。ドライブレコーダ１０は、車両に搭載される。通信部２４は、外部機器との間で無線通信接続によって情報を送受信する。操作受付部２６は、ユーザの操作入力を受け付ける。表示制御部２８は、撮影した画像の表示装置４９への表示を制御する。表示装置４９は、ナビゲーション装置１１が備えるモニタであるが、変形例としては、ドライブレコーダ１０が表示装置４９を内蔵する形で構成してもよいし、図示しないがインフォテインメントシステムや電子ミラー、ヘッドアップディスプレイなどの車両に装備されている表示装置に重畳表示や割り込み表示する形で構成してもよい。音声出力部２９は、録音した音声や警告音などの音声を出力するスピーカ４７への音声出力を制御する。スピーカ４７は、ナビゲーション装置１１または車両が備えるスピーカであるが、変形例としては、ドライブレコーダ１０がスピーカ４７を内蔵する形で構成してもよい。ドライブレコーダ１０とナビゲーション装置１１の接続は、通信部２４を介した無線通信接続であってもよいし、ＵＡＲＴ（Universal Asynchronous Receiver/Transmitter）やＵＳＢ（Universal Serial Bus）などの有線通信接続であってもよい。

画像取得部１２は、車両に設けられる前方カメラ４０および後方カメラ４２が撮影する動画像の映像データを取得する。前方カメラ４０は、車両の周囲、特に自車両の前方を撮影するように構成される。後方カメラ４２は、車両の周囲、特に自車両の後方を撮影するように構成される。前方カメラ４０は、自車両の前方および室内の双方を撮影するように構成されてもよく、自車両の前方や側方および室内をすべて撮影する構成として、周囲３６０度を撮影可能な一つの全周カメラで構成してもよいし、前後や側方を撮影する複数のカメラで構成してもよい。前方カメラ４０、後方カメラ４２は、ドライブレコーダ１０に内蔵されてもよいし、ドライブレコーダ１０とは別体であってもよい。後方カメラ４２は、ナビゲーション装置１１にも後方の映像を送るカメラであり、ドライブレコーダ１０とナビゲーション装置１１の両方のカメラとして兼用される。

画像取得部１２は、車両の走行に関する車両情報として前方カメラ４０、後方カメラ４２が撮影した映像を取得してもよく、画像取得部１２を車両情報取得部１６の一部とみなしてもよい。画像取得部１２は、前方カメラ４０からの映像を取得し、また、後方カメラ４２からの映像を、ギアがリバースに入れられていることを示す車両情報が取得されるかどうかにかかわらず取得する。表示制御部２８は、ギアがドライブやパーキングなどリバース以外に入れられていることを示す車両情報が取得される間は前方カメラ４０からの映像を表示装置４９に表示させる。ギアがリバースに入れられていることを示す車両情報が取得される間は後方カメラ４２からの映像を表示装置４９に表示させる。ただし、後述するように、少なくとも危険運転をしている可能性のある周辺車両が検出された場合は、後方カメラ４２からの映像を表示装置４９に表示させる。変形例としては、ギアがリバースに入れられていることを示す車両情報が取得されるかどうかにかかわらず、前方カメラ４０からの映像だけでなく、後方カメラ４２からの映像も合わせて表示装置４９に常時表示させてもよい。

音声取得部１４は、車両に設けられるマイク４４が取得する音声データを取得する。マイク４４は、車両の内外から集音するよう構成される。マイク４４は、ドライブレコーダ１０に内蔵されてもよいし、ドライブレコーダ１０とは別体であってもよいし、前方カメラ４０または後方カメラ４２と一体であってもよい。あるいは、ナビゲーション装置１１に内蔵されてもよい。ナビゲーション装置１１に内蔵される場合、マイク４４はナビゲーション装置１１の音声認識操作に用いられる。音声取得部１４は、車両の走行に関する車両情報としてマイク４４により音声を取得してもよく、音声取得部１４を車両情報取得部１６の一部とみなしてもよい。

車両情報取得部１６は、車両に設けられる車載装置４６から車両の走行に関する車両情報を取得する。車載装置４６の具体例として、車速センサ、舵角センサ、アクセル操作量センサ、ブレーキ操作量センサ、加速度センサ、ジャイロセンサ、レーダセンサ、ライダ（ＬｉＤＡＲ；Light Detection and Ranging）、位置情報センサ（例えば、ＧＮＳＳ；Global Navigation Satellite System）、乗員の着座センサなどが挙げられるが、これらに限定されるものではない。車両情報取得部１６は、各種制御ＥＣＵ（Electronic Control Unit）を介して車両情報を取得してもよいし、ナビゲーション装置１１を介して車両情報を取得してもよい。また、ナビゲーション装置１１が内蔵する位置情報センサから位置情報を取得してもよい。車両情報取得部１６は、通信部２４を介してユーザの携帯電話等の端末に内蔵された加速度センサ、ジャイロセンサ、位置情報センサ等の各センサによって検出された情報を取得してもよい。車両情報取得部１６は、ドライブレコーダ１０が内蔵するセンサから車両の走行に関する情報を取得してもよい。例えば、ドライブレコーダ１０が加速度センサや位置情報センサなどのセンサを内蔵してもよい。なお、前方カメラ４０、後方カメラ４２やマイク４４を車載装置の一つとしてみなし、車両情報取得部１６が画像取得部１２や音声取得部１４を含むように構成されてもよい。

車両情報取得部１６は、例えば車両の状態に関する情報、車両に対する操作に関する情報、車両の速度に関する情報、車両の位置に関する情報、車両の周囲の障害物に関する情報、車両の運転支援機能の作動状態に関する情報などを車載装置４６から取得する。車両情報取得部１６が取得する各種情報は、後述する画像処理部５０による画像認識で車両周囲の物体を検出するのとは異なり、カメラ以外のセンサからの検知情報である。車両情報取得部１６は、車両の状態に関する情報として、例えばドアや窓の開閉状態を示す情報を取得してもよい。車両情報取得部１６は、車両に対する操作に関する情報として、例えばドアや窓の開閉を指示する操作があったことを示す情報を取得してもよい。車両情報取得部１６は、車両の周囲の障害物に関する情報として、車両の周囲の一定範囲内に他車両が存在するか否かや、走行中の車線上に歩行者や自転車、落下物や建造物などの障害物が存在するか否かを示す情報を取得してもよい。車両情報取得部１６は、車両内に乗員が存在するか否かを示す情報を取得してもよい。車両情報取得部１６は、車両の運転支援機能の作動状態に関する状態として、自動運転機能や遠隔操作機能のオンオフに関する情報や、特定の運転支援機能が作動中であるか否かに関する情報を取得してもよい。運転支援機能として、例えば、アダプティブ・クルーズ・コントロール（ＡＣＣ；Adaptive Cruise Control）やレーン・キープ・アシスト（ＬＫＡＳ；Lane Keeping Assistance System）などが挙げられるが、これらに限定されるものではない。

イベント検出部１８は、画像取得部１２が取得する映像データ、音声取得部１４が取得する音声データ、車両情報取得部１６が取得する車両情報に基づいて、予め定められた各種イベント（以下、「トリガーイベント」という）の発生を検出する。

トリガーイベントは、車両の事故やトラブル等の重大事象として想定され、その発生や検出があった場合に映像データを上書き禁止データとして保存する契機となる保存契機イベントである。イベント検出部１８は、トリガーイベントとして、例えば車両の衝突、接触、横転、転落などの事故や、周辺車両の運転者による粗暴行為や危険運転などのトラブルの発生を検知する。なお、本実施の形態においては、周辺車両の危険運転の検知方法に主な特徴があり、周辺車両の危険運転が検出された場合もまたトリガーイベントが発生したものとするが、その詳細は後述する。イベント検出部１８は、例えば前方カメラ４０、後方カメラ４２によって取得される映像データやマイク４４によって取得される音声データから、所定の認識パターンに基づく画像認識や音声認識によって事故やトラブルの発生を検出してもよい。イベント検出部１８は、例えば車両の走行速度や加速度の情報、アクセル、ブレーキおよびステアリングなどの操作情報から、急発進、急停止、急旋回などによる車両挙動の急激な変化を認識することでトリガーイベントの発生を検出してもよい。イベント検出部１８は、前方カメラ４０、後方カメラ４２の映像データや車両のレーダセンサなどの情報から、所定の認識パターンに基づいて車両周囲の物体との接近、走行中の車線からの逸脱などを認識することでトリガーイベントの発生を検出してもよい。イベント検出部１８は、ドライブレコーダ１０に設けられた保存開始ボタンの押下や保存開始を示す音声指示を操作受付部２６が受け付けたときにも、これをトリガーイベントの発生として検出してもよい。

画像処理部５０は、物体検出部５１、車種データ記憶部５４、車種認識部５５、サイズ測定部５６、画像合成部５７を有する。物体検出部５１は、物体検出エンジン５２、車両検出部５３を含む。物体検出エンジン５２は、画像から様々な物体を検出するための画像認識パターンを予め記憶するとともに、その画像認識パターンに基づいて所定の画像認識アルゴリズムを用いて画像に写る物体を検出する。画像認識パターンは、深層学習などの機械学習によって定義されてもよいし、特にドライブレコーダのカメラによって撮影し得る物体、例えば四輪車、二輪車、歩行者、道路設置物などの道路およびその周辺に存在し得る物体に特化した画像認識パターンであってもよい。物体検出エンジン５２は、道路上の白線や車線をさらに認識する。車両検出部５３は、後方カメラ４２によって撮影される画像から物体検出エンジン５２によって検出された物体のうち、四輪車や二輪車などの車両を周辺車両として検出する。車両検出部５３は、物体検出エンジン５２の一部として一体的に構成されてもよい。

車種データ記憶部５４は、あらかじめ収集された多数の車両の画像から深層学習などの機械学習の結果として抽出された車種ごとの形状や色彩などの画像的特徴に関するデータである車種データを保持する。車種としては、乗用車、トラック、バス、バイクといったカテゴリで分けられてもよく、さらにそれぞれのカテゴリの中で大型車、中型車、小型車に分けられてもよいし、あるいは、自動車メーカー名、車名、型式、年式などの詳細な車種で分けられてもよい。車種ごとの画像的特徴のデータは、主に後方カメラ４２の映像に写ったときの画像的特徴として車種ごとに前方から見たときの形状や各パーツの配置、色彩などの各特徴に関する情報である。その他、側方から見たときの画像的特徴データや、後方から見たときの画像的特徴のデータも同様に、車種ごとに記憶される。変形例として、車種ごとの画像的特徴のデータとしてその車種の画像そのものを記憶させておき、その画像との近似度の高さによって車種を認識するようにしてもよい。その場合、車種ごとの画像を多数枚ずつ記憶させておいてもよい。

車種認識部５５は、車両検出部５３によって画像から検出された周辺車両に関して、その車種を、車種データ記憶部５４が保持する車種データに基づいて認識する。車両検出部５３によって画像から検出された周辺車両は、画像合成部５７によってその画像上で強調表示される。例えば、画像合成部５７は、画像から検出された周辺車両の周囲に矩形状の強調枠の線を画像上に重ねて合成する。なお、変形例として、画像から検出されるナンバープレートの大きさを基準の一つとしてその周辺車両の車種を認識するようにしてもよい。

サイズ測定部５６は、車両検出部５３により検出された周辺車両の画像上のサイズおよび位置を測定する。周辺車両の画像上のサイズは、画像上で検出される車両の像の縦および横のうち少なくともいずれかの長さを示すピクセル数である。例えば、画像合成部５７によって周辺車両の像の周囲に合成される強調枠の縦サイズおよび横サイズを周辺車両の画像上のサイズとして扱ってもよい。サイズ測定部５６は、周辺車両の縦サイズおよび横サイズの双方を測定する。変形例として縦サイズおよび横サイズの一方のみを測定する仕様としてもよいが、その場合、より誤差が出にくい縦サイズを測定することとしてもよい。測定対象の周辺車両が他の車両の陰に隠れると縦サイズより横サイズの方が幅全体を見えずに測定不能となりやすいためである。あるいは、測定対象の周辺車両を斜めから捉えると車両側方が見えるために横幅が捉えにくくなるためである。また、変形例として、画像上で検出される車両の像の面積を画像上のサイズとしてもよい。サイズ測定部５６は、画像取得部１２が取得する映像に含まれるフレーム画像ごとに周辺車両の画像上のサイズを測定することで、後述するようにサイズの変化が検出される。

サイズ測定部５６は、車両検出部５３により検出された周辺車両の画像上の位置をさらに検出する。周辺車両の画像上の位置は、例えば水平方向における相対的な位置であり、画像を左右に二分する仮想的な垂直中心線に対して左右どちら側にどれだけずれた位置にあるかを示す情報であってもよい。また、物体検出エンジン５２が検出する道路上の白線や車線の位置に基づき、対象とする周辺車両の車線からの逸脱度を車両の画像上の位置の情報として検出してもよい。これらの位置情報により、後方の周辺車両が自車両の真後ろを走行しているかどうかを判別することができる。

基準記憶部５８は、車種ごとにあらかじめ定められた危険運転と判定するための画像上のサイズの閾値を危険判定基準として記憶する。基準記憶部５８は、画像上のサイズの閾値だけでなく、車両の画像上における検出位置やその変化態様、サイズの変化態様をさらに危険判定基準として保持する。車両の画像上のサイズは、前方カメラ４０および後方カメラ４２に搭載されるレンズの歪みなどの特性や画像センサのサイズによって異なるため、レンズや画像センサごとにあらかじめ測定または計算されて定められる。危険判定基準の具体例については後述する。

危険検出部５９は、サイズ測定部５６により測定された周辺車両の画像上のサイズと、基準記憶部５８に保持される危険判定基準とに基づいて、周辺車両の危険運転を検出する。ここで、仮に車種の違いを考慮せずに画像上のサイズのみからその車両の接近を検出しようとすれば、大型車両ほど画像上のサイズが大きくなり、実際の車間距離よりも接近しているとの誤判定をするおそれがある。本実施の形態によれば、車種ごとに実際の車両の大きさに応じて接近時の画像上のサイズがあらかじめ基準として定められるため、精度よく危険な範囲への接近を判定することができる。また、周辺車両と自車両との車間距離を推測したり、計測したりすることなく、画像上のサイズが車種ごとの基準を超えるか否かだけで周辺車両の危険な接近を効率的に検出することができる。危険検出部５９は、画像取得部１２が取得する映像からだけでなく、音声取得部１４が取得する音声からも周辺車両の危険運転を検出する。例えば、周囲の音声からクラクション音を検出した場合であって、そのクラクション音が所定時間以上継続したり、その検出回数が所定回数以上連続したりした場合に、周辺車両の危険運転を検出する。危険検出部５９が危険運転を検出した場合、イベント検出部１８はトリガーイベントが発生したものとしてこれを検出する。

画像合成部５７は、表示用の映像に、検出された周辺車両を囲んでその存在を強調するための破線で描く強調枠である識別車両枠を、その周辺車両を囲むように合成する。危険運転が検出された場合、画像合成部５７はその危険運転をする車両の周囲に実線で描く強調枠である注意車両枠を表示する。なお、表示用の映像に識別車両枠や注意車両枠を合成する処理は、ナビゲーション装置１１に含まれる画像合成部５７に相当する機能に実行させる仕様としてもよく、その場合、重ね合わせるオブジェクト画像とその画像を表示する位置座標の情報をナビゲーション装置１１に送信してもよい。

記録制御部２０は、前方カメラ４０または後方カメラ４２により常時撮影されて画像取得部１２が取得した映像データ、マイク４４により常時集音されて音声取得部１４が取得した音声データ、車両情報取得部１６が取得した車両情報を、一時記憶部２２へ一時的に記憶させる。記録制御部２０は、一時記憶部２２に記憶される映像データおよび音声データをリングバッファ方式で記録媒体４８に記録する。

一時記憶部２２は、フラッシュメモリないしソリッドステートドライブ（ＳＳＤ；Solid State Drive）などの不揮発性メモリ、または、ＤＲＡＭなどの揮発性メモリで構成されるバッファメモリであってもよい。記録媒体４８は、例えば、ＳＤカード（登録商標）などのメモリカードであり、ドライブレコーダ１０に設けられるスロットに挿入して使用され、ドライブレコーダ１０から取り外し可能となるよう構成される。記録媒体４８は、ソリッドステートドライブやハードディスクドライブなどの補助記憶装置で構成されてもよいし、このような補助記憶装置としてナビゲーション装置１１が内蔵する補助記憶装置を利用してもよい。なお、一時記憶部２２へ記憶させる音声データや記録媒体４８に記録される音声データは、映像データと合成された動画像データの形式で記憶ないし記録される。ただし、ユーザが選択するモードに応じて、音声データが含まれない無音の映像データとして動画像データが記憶ないし記録される場合もある。したがって、以下に説明する「映像データ」の概念には、特に説明しないが、音声データが含まれる場合と含まれない場合とがあり得る。

一時記憶部２２へ記憶させる映像データは、ＭＰＥＧ２−ＴＳなどの所定時間で区切られたストリーミング形式の動画像データとして記憶させてもよい。記録媒体４８へ記録する映像データは、一時記憶部２２へ記憶させる映像データと同じ形式でもよいし、異なる形式、例えばＭＰ４形式などのより圧縮率の高い形式でもよい。

記録制御部２０は、映像データをリングバッファ方式で一時記憶部２２および記録媒体４８へ記録するため、一時記憶部２２および記録媒体４８に記録されたデータが容量一杯になると、最も古いデータから上書きされる。記録制御部２０は、映像データを上書き可能の属性で一時記憶部２２および記録媒体４８にいったん記録する。

記録制御部２０は、イベント検出部１８によりトリガーイベントの発生が検出された場合に、記録媒体４８に記録された映像データのうち、少なくともトリガーイベントの検出タイミングを含む期間の映像データに上書き不可の保存形式を設定する。この「トリガーイベントの発生」には、危険検出部５９によって危険運転が検出された場合も含まれる。上書き可能および上書き不可の属性は、例えば映像データに含まれる所定のフラグ等に書き込むことによって設定してもよいし、映像データから独立したインデックス等の管理ファイルに上書き可否の属性を書き込むことによって設定してもよい。元の映像データ自体に上書き可否の属性を書き込む場合、例えば元の映像データのうち上書き不可とする保存対象の期間の開始位置と終了位置を示す情報を書き込んでもよい。この場合、保存対象以外の部分、すなわち上書き可能とする部分を後から別データで上書きする際に、保存対象の開始位置から終了位置までが結果的に切り出されて残るようにそれ以外の部分に上書きする。また、保存対象とする部分を元の映像データから切り出して独立させたファイルの形で別途保存することで、上書き可能と上書き不可を区別する仕様としてもよい。保存対象として切り出す部分が複数の映像データをまたぐ場合、それぞれの映像データから切り出して連結したファイルを保存してもよい。独立させたファイルの形で別途保存する場合、上書き可能なデータが記録された領域とは異なる特定の領域、例えば特定のフォルダに記録することで、上書き可能と上書き不可を区別する仕様としてもよい。上書き不可の属性が設定されたデータは、ユーザの明示的な操作によって削除または上書き可能の属性への変更がされるまで上書き禁止の状態が保持される。記録制御部２０は、危険運転の検出をトリガーイベントとして映像データを保存する場合、危険検出部５９による危険運転の検出が終了するまで、または、注意車両枠で囲んだ周辺車両が画像取得部１２で取得する映像から検出されなくなるまで、映像データを保存する。周辺車両の危険運転が検出されたことを契機として映像データを保存することにより、例えば衝突や事故などの重大事由が発生していなくとも、その前段階から映像データを保存でき、保存の確実性を高めることができる。

表示制御部２８は、画像合成部５７によって合成される識別車両枠や注意車両枠をナビゲーション装置１１の画面に表示させることにより、危険運転をする車両が周囲に存在することを運転者や同乗者に視覚的に報知する。表示制御部２８は、後続の車両が危険運転をしていると判定された場合に、後方カメラ４２に設けられた赤色ＬＥＤランプを点灯または点滅させることで録画中であることを示し、危険運転車両の運転手に警告してもよい。音声出力部２９は、危険検出部５９によって危険運転が検出された場合に、危険運転をする車両が周囲に存在することを運転者や同乗者に聴覚的に報知する。本実施の形態における報知態様として、視覚的な報知および聴覚的な報知を例示したが、変形例においては触覚による報知、例えばステアリングに振動を与えることにより運転者に注意喚起する報知態様を実現してもよい。

なお、危険検出部５９は、危険運転を検出した場合に、車両の属性別、例えば車種別や色別の危険度に関するフィードバック情報として基準記憶部５８に蓄積してもよい。例えば、危険度が高い属性の車両ほど、画像上のサイズの閾値を小さくして、より早いタイミングで危険運転であると判定できるようにしてもよいし、逆に危険度が低い属性の車両ほど、画像上のサイズの閾値を大きくして、安易に危険運転であるとの判定がされにくいようにしてもよい。危険検出部５９は、車両の属性別の危険度に関するフィードバック情報を通信部２４を介して所定のサーバへ送信し、車両の属性ごとの危険度の傾向を深層学習によって認識するための学習データとして蓄積させてもよい。こうしたデータは、危険運転が発生しやすいエリアの統計情報としても活用でき、あるいは自動車の保険料の算定根拠として活用することもできる。

図２は、後方カメラ４２の映像における周辺車両の識別状態を模式的に例示する。本図の映像例では、後方カメラ４２の映像である後方画像６６に４台の周辺車両である第１周辺車両６０ａ、第２周辺車両６０ｂ、第３周辺車両６０ｃ、第４周辺車両６０ｄが写っている。車両検出部５３が後方画像６６から周辺車両６０を検出し、それぞれに一意の識別情報を付与して車両を区別する。図示しないが前方カメラ４０の映像からも同様に、車両検出部５３が周辺車両６０を検出し、それぞれに一意の識別情報を付与する。ただし、後方画像６６から検出された周辺車両６０が自車両を追い越して前方カメラ４０の映像に写るようになった場合は、同一の車両が同じ識別情報を引き継ぐように付与する。同様に、前方カメラ４０の映像から検出された周辺車両６０を自車両が追い越して後方画像６６に写るようになった場合は、同一の車両が同じ識別情報を引き継ぐように付与する。

車両検出部５３により検出された周辺車両６０の車種を車種認識部５５が認識する。これら周辺車両６０の周囲には、各車両を囲むように識別車両枠６４が表示される。識別車両枠６４は破線で描かれた矩形である。識別車両枠６４の大きさは、周辺車両６０の輪郭が識別車両枠６４に内接するように設定される。画像上の周辺車両６０が移動してサイズが変化した場合はその変化に追随するように識別車両枠６４の大きさも変化させる。識別車両枠６４の矩形の縦サイズと横サイズが周辺車両６０の画像上のサイズとしてサイズ測定部５６により測定されてもよい。変形例においては、識別車両枠６４を車種ごとに区別できるよう異なる線種や太さ、色彩で表示してもよいし、画像上のサイズが大きいほど強調されるよう異なる線種や太さ、色彩で表示してもよい。あるいは、周辺車両６０を検出して車種を識別した場合であっても、特に識別車両枠６４のような識別状態を映像内に表示しない仕様としてもよい。

図３は、後方カメラ４２の映像における危険運転車両の認識状態を模式的に例示する。検出された周辺車両６０のうち、危険運転が検出された車両に対しては、識別車両枠６４に代えて注意車両枠６２で囲むように表示する。図３の例では、第１周辺車両６０ａが自車両に接近し、後方画像６６上の車両のサイズが閾値を超えた状態となったことにより危険運転であると判定している。例えば、注意車両枠６２の縦サイズは、図２の第１周辺車両６０ａを囲む識別車両枠６４の縦サイズの１．２倍となっており、この車種の危険判定基準である所定の閾値を超えていることから、危険運転車両であると判定されている。注意車両枠６２の矩形状の線は、識別車両枠６４の矩形状の線よりも太く目立つ線種であり、その存在が識別車両枠６４よりも強調される実線で描かれる。注意車両枠６２の大きさは、周辺車両６０の輪郭が注意車両枠６２に内接するように設定される。画像上の周辺車両６０が移動してサイズが変化した場合はその変化に追随するように注意車両枠６２の位置や大きさも変化させる。注意車両枠６２の線種や線の太さ、色彩は、危険度のレベルに応じて異なる態様としてもよい。例えば、危険度が高い車両ほど赤や黄色などの強調の度合いが強い色で表示する。基準記憶部５８が保持するフィードバック情報に基づき、車両の属性ごとの危険度の高さによって識別車両枠６４や注意車両枠６２を色分けしてもよい。

危険運転の多くは、一般に「あおり運転」と呼ばれる。「あおり運転」にも様々な態様があるものの、そのほとんどが最初に後方から車間距離を極端に詰めて威嚇する行為から始まる点で共通する。そこで、本実施の形態では危険運転車両を検出するために、後方画像６６から車間距離を過度に接近させる周辺車両を特定する。その時点でいったん危険運転であると判定するが、偶発的に接近してしまったにすぎない危険運転ではない車両についても危険運転であると誤判定してしまう場合があり得る。そのため、いったん危険運転と判定した周辺車両は注意車両枠６２で囲んで表示するとともに、その後の画像上のサイズの変化や画像上の検出位置の変化を追随することで、「あおり運転」の各態様に対応する危険判定基準を満たすかどうかが判定される。危険運転の態様としては、（１）車間距離の過度な接近だけでなく、例えば（２）蛇行運転、（３）幅寄せ、（４）強引な進路変更による追い越しや割り込み、（５）前方を塞ぐ急減速や急停止、などがある。また、（６）クラクション、ハイビーム、パッシングによる威嚇、といった行為も含まれる。これらの危険運転を判定するための危険判定基準として、画像上の車両サイズに基づいて判定するものと、画像上の車両位置に基づいて判定するもの、車両サイズの変化態様や車両位置の変化態様に基づいて判定するものがある。危険検出部５９は、基準記憶部５８が保持する危険判定基準に基づいて周辺車両の危険運転を判定する。以下、各危険判定基準と判定方法について説明する。

（１）車間距離の過度な接近に関する危険判定基準
後方に位置する周辺車両と自車両との車間距離が所定の危険な距離（例えば３メートル）となったときのその車両の画像上のサイズの閾値が車種ごとに危険判定基準としてあらかじめ定義される。危険検出部５９は、車両検出部５３により検出された周辺車両の画像上のサイズが、図３に示すように、その車種の危険判定基準として定義される画像上のサイズの閾値以上となったときに、その車両が自車両からの危険な範囲、すなわち過度な接近範囲まで迫ったと判定する。危険検出部５９は、車両の画像上のサイズが所定の閾値以上となった瞬間に危険運転であると判定してもよいし、その閾値以上となった状態が所定時間以上経過したときに危険運転であると判定してもよい。あるいは、車両の画像上のサイズが所定の閾値以上となった瞬間に識別車両枠６４で囲んで表示するとともに、その閾値以上となった状態が所定時間以上経過したときに危険度が高まったとして識別車両枠６４の表示色を強調色に変更することで、強調の度合いを高める表示をしてもよい。

危険判定基準として、車両の画像上のサイズの閾値だけでなく、そのサイズの変化態様がさらに定義されてもよい。例えば、周辺車両が接近、離脱、接近を交互に繰り返す場合のサイズの変化態様が定義される。この場合、画像上のサイズが閾値以上となったり閾値未満となったりを交互に繰り返す変化態様となる。また例えば、周辺車両が急激に接近した場合のようにサイズ変化が急速である変化態様が危険判定基準として定義される。危険検出部５９は、後方画像６６における周辺車両６０のサイズや位置の変化態様が危険判定基準に合致したときに危険運転であると判定する。なお、危険検出部５９は、危険運転でなくとも車間距離が狭くなりやすい、停車中や渋滞中といった状況を除外してもよい。例えば、車両情報取得部１６から取得が取得する速度情報や画像取得部１２が取得する映像から画像認識によって測定する自車両の速度情報に基づいて、自車両の速度が所定の低い時速以下にあるときは危険運転とは判定しないようにしてもよく、これらの状況が除外されるような速度情報に関する条件が危険判定基準に定められてもよい。

（２）蛇行運転に関する危険判定基準
（１）の基準によりいったん危険運転が検出された周辺車両６０について、後方画像６６上の車両の検出位置が中心線を境に左右に交互に移動を繰り返すような変化態様が蛇行運転の危険判定基準として定められる。左右に交互に移動を繰り返す回数としては、例えば左右の移動を２往復以上繰り返したことを危険判定基準として定義してもよい。また、画像上の車両の検出位置が左右に移動を繰り返す蛇行運転の間は過度な接近状態になくてもよく、したがってその間は画像上の車両のサイズが（１）の基準以上となっていなくてもよい。これにより、自車両の後方に過度に接近した後に蛇行を繰り返すことで威嚇するような危険運転を継続的に検出することができる。

（３）幅寄せに関する危険判定基準
（１）の基準によりいったん危険運転が検出された周辺車両６０が自車両の側方へ移動して並走し、幅寄せする行為を検出する危険判定基準として、その周辺車両６０が前方カメラ４０の側方画像において自車両に対する危険な接近位置にあるときのその車両の画像上のサイズの閾値が車種ごとに定義される。危険検出部５９は、前方カメラ４０の側方画像上の車両のサイズが所定の閾値以上となっている状態を危険運転であると判定する。ただし、前方カメラ４０による側方の映像は、側方の窓越しの映像であるため、周辺車両が自車両の側方に接近しすぎた状況ではその周辺車両の全体が窓越しに写るとは限らない。そのため、側方画像上の車両のサイズとしては、車両全体のサイズの代わりに車両の一部、例えば窓等のサイズの閾値が定義されてもよい。これにより、自車両の後方に過度に接近した後で自車両の側方に過度に接近する幅寄せ行為で威嚇するような危険運転を継続的に検出することができる。

（４）強引な進路変更による追い越しや割り込みに関する危険判定基準
強引な進路変更による追い越しに関する危険判定基準として、（１）の基準により危険運転が検出された周辺車両６０について、後方画像６６上における検出位置が所定の速度以上で中心線を外れて車線を逸脱する変化態様と、前方カメラ４０の側方画像上における検出位置が所定の速度以上で前進する変化態様が定義される。また強引な進路変更による割り込みに関する危険判定基準として、（１）の基準により危険運転が検出された周辺車両６０について、前方カメラ４０の側方画像上における検出位置が所定の速度以上で前進する変化態様と、前方カメラ４０の側方画像上における検出位置が所定の速度以上で自車両の正面に移動する変化態様が定義される。これにより、自車両の後方に過度に接近した後で急加速で強引に自車両を追い越して強引に正面に割り込むような危険運転を継続的に検出することができる。

（５）前方を塞ぐ急減速や急停止に関する危険判定基準
（１）の基準により危険運転が検出された周辺車両６０が自車両を追い越して前方に割り込んだ上で、前方を塞ぐ急減速や急停止をする行為を検出するための危険判定基準として、その周辺車両６０が前方で過度に接近した状態の前方カメラ４０の画像上におけるサイズの閾値が車種ごとに定義される。また、周辺車両６０が前方で急減速や急停止をする場合、自車両との車間距離が急速に詰まることから、周辺車両６０の前方カメラ４０の画像上におけるサイズの変化速度の閾値がさらに定義され、その閾値以上の変化速度でサイズが大きくなった場合に急減速や急停止があったと判定してもよい。また、前方カメラ４０の画像上で周辺車両６０のブレーキランプの点灯を画像処理で検出することで急減速や急停止があったと判定してもよい。これにより、自車両の後方に過度に接近した後で自車両を追い越して前方を塞ぐ形で急減速や急停止するような危険運転を継続的に検出することができる。

（６）ハイビーム、パッシング、クラクションなどによる威嚇行為に関する危険判定基準
（１）の基準によりいったん危険運転が検出された周辺車両６０について、後方画像６６上におけるヘッドライトのハイビーム点灯への切替や瞬間的なハイビーム点灯の繰り返し（いわゆるパッシング）を画像認識により検出するための画像認識パターンが威嚇行為に関する危険判定基準として定義される。また、周囲の音声からクラクション音等の警笛音を過度に鳴らす行為を検出するための音声認識パターンが威嚇行為に関する危険判定基準として定義される。あるいは周辺車両６０の運転手や同乗者が窓から身を乗り出したり下車したりして威嚇するような状態を検出するための画像認識パターンや、それら運転手や同乗者が大声で威嚇する状態を検出するための音声認識パターンがさらに定義されてもよい。

なお、（１）〜（６）の危険判定基準のうち一つまたは複数を繰り返す状態の経過時間の長さによって危険度を分けた上で、その危険度に応じて注意車両枠６２を色分けしてもよい。

図４は、危険運転を検出する過程を示すフローチャートである。画像取得部１２が画像を取得し（Ｓ１０）、車両検出部５３が後方画像６６から周辺車両６０を検出した場合（Ｓ１２のＹ）、その検出された周辺車両６０の車種を車種認識部５５が認識する（Ｓ１４）。危険検出部５９は、車種ごとの危険判定基準を読み出し（Ｓ１６）、周辺車両６０の画像上のサイズが車種ごとの危険判定基準以上であった場合に（Ｓ１８のＹ）、その周辺車両６０に対して危険運転であると判定し（Ｓ２０）、記録制御部２０が映像データを保存するとともに表示制御部２８が危険運転の車両を運転者に報知する（Ｓ２２）。Ｓ１２において車両検出部５３が後方画像６６から周辺車両６０を検出しない場合はＳ１４以降の処理をスキップする（Ｓ１２のＮ）。Ｓ１８において、周辺車両６０の画像上のサイズが車種ごとの危険判定基準以上でなかった場合はＳ２０以降の処理をスキップする（Ｓ１８のＮ）。

以上、実施の形態において説明したように、車種ごとに実際の車両の大きさに応じて接近時の画像上のサイズがあらかじめ基準として定められるため、精度よく危険な範囲への接近を判定することができる。また、周辺車両と自車両との車間距離を推測したり、計測したりすることなく、画像上のサイズが車種ごとの基準を超えるか否かだけで周辺車両の危険な接近を効率的に検出することができる。さらに、周辺車両の危険運転が検出されたことを契機として映像データを保存することにより、例えば衝突や事故などの重大事由が発生していなくとも、その前段階から映像データを保存でき、保存の確実性を高めることができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０ ドライブレコーダ、 １１ ナビゲーション装置、 １２ 画像取得部、 ２０ 記録制御部、 ４０ 前方カメラ、 ４２ 後方カメラ、 ５３ 車両検出部、 ５４ 車種データ記憶部、 ５５ 車種認識部、 ５６ サイズ測定部、 ５８ 基準記憶部、 ５９ 危険検出部、 ６０ 周辺車両。

Claims (5)

1. 車両の周囲を撮影した画像を取得する画像取得部と、
   前記画像取得部で取得される画像から周辺車両を検出する車両検出部と、
   前記車両検出部で検出された周辺車両の車種を認識する車種認識部と、
   前記車両検出部で検出された周辺車両の画像上のサイズを測定するサイズ測定部と、
   車種ごとにあらかじめ定められた危険運転と判定するためのサイズの基準を記憶する基準記憶部と、
   前記サイズ測定部で測定されたサイズと前記基準に基づいて周辺車両の危険運転を検出する危険検出部と、
   を備えることを特徴とする危険運転判定装置。
2. 前記危険検出部は、さらに前記周辺車両が検出された位置に基づいて周辺車両の危険運転を検出することを特徴とする請求項１に記載の危険運転判定装置。
3. 前記危険検出部は、さらに前記測定されたサイズの変化態様に基づいて周辺車両の危険運転を検出することを特徴とする請求項１または２に記載の危険運転判定装置。
4. 車両の周囲を撮影した画像を取得する過程と、
   前記画像を取得する過程で取得される画像から周辺車両を検出する過程と、
   前記周辺車両を検出する過程で検出された周辺車両の車種を認識する過程と、
   前記周辺車両を検出する過程で検出された周辺車両の画像上のサイズを測定する過程と、
   車種ごとにあらかじめ定められた危険運転と判定するためのサイズの基準を読み出す過程と、
   前記サイズを測定する過程で測定されたサイズと前記基準に基づいて周辺車両の危険運転を検出する過程と、
   を備えることを特徴とする危険運転判定方法。
5. 車両の周囲を撮影した画像を取得する機能と、
   前記画像を取得する機能で取得される画像から周辺車両を検出する機能と、
   前記周辺車両を検出する機能で検出された周辺車両の車種を認識する機能と、
   前記周辺車両を検出する機能で検出された周辺車両の画像上のサイズを測定する機能と、
   車種ごとにあらかじめ定められた危険運転と判定するためのサイズの基準を記憶する機能と、
   前記サイズを測定する機能で測定されたサイズと前記基準に基づいて周辺車両の危険運転を検出する機能と、
   をコンピュータに実現させることを特徴とする危険運転判定プログラム。

Images