JP2008021177A - 危険状況判断装置及び危険状況記録装置 - Google Patents

Abstract

【解決課題】高精度に自車の危険状況を判断することができるようにする。
【解決手段】危険語彙の検出有無を取得し（１７０）、ブレーキペダルへの踏み替え動作の有無を取得し（１７２）、後方確認行動の有無を取得する（１７４）。そして、危険語彙が検出されてから一定時間内に、踏み替え動作が検出された場合に、自車が危険な状況であると判断する（１７６、１７８）。また、危険語彙が検出されてから一定時間内に、後方確認動作が検出された場合に、自車が危険な状況であると判断し（１７６、１８２）、また、ブレーキペダルへの踏み替え動作が検出されてから一定時間内に、後方確認動作が検出された場合に、自車が危険な状況であると判断する（１８０、１８２）。そして、危険場面の映像信号及び音声信号をメモリカードに記録する（１８４）。
【選択図】図５

Description

本発明は、危険状況判断装置及び危険状況記録装置に係り、特に、自車が危険な状況であるか判断する危険状況判断装置、及び該危険状況判断装置によって自車が危険な状況であると判断されたときに、車外を撮像した画像を記録する危険状況記録装置に関する。

従来より、車両に加わる衝撃を検出する衝撃センサと、車体に生じた衝撃音を検出する音響センサを用い、これらの信号から交通事故の発生を検出して画像等を記録保存する車載用映像記録装置が知られている（例えば、特許文献１）。この車載用映像記録装置では、急ブレーキなどで発生する加速度の変化を検出し、記録開始トリガとすることにより、事故に至らない場合においても、その時の状況を危険場面としてドライブレコーダに記録する。

また、車両の挙動に加え、車内外の音と様子とにより危険場面を特定し、運転者に報知し、さらに、事故発生時には、画像などを記録保存するとともに無線にて自動通報を行う事故状況記録通報装置が知られている（例えば、特許文献２）。この事故状況記録通報装置では、危険度推定部によって、車内の音声から危険度を推定し、事故の予測を行っている。また、外部カメラで撮像した画像を用い、前方車両、並走車両、後続車両、及びガードレールとの接近具合から危険度を推定し、内部カメラで撮像した画像を用い、搭乗者の動作から危険度を推定している。
特開平８−１５３２９８号公報 特開２００５−７５２５３号公報

しかしながら、特許文献１に記載の技術では、運転者が具体的に車両制御の行動を起こさなかった場合には、危険場面を検出することができない、という問題がある。

また、特許文献２に記載の技術では、車内音声のみで危険度を推定するため、危険場面の誤検出が頻繁に生じてしまう、という問題がある。例えば、同乗の子供を注意する「危ないからおとなしくしていて」にも「危ない」が含まれているし、ラジオなどの別の音源にも「危ない」という語彙が含まれる可能性があり、車内の音声のみでは外部の環境に対する危険場面を精度よく検出することはできない。また、前方車両等との接近具合のみで危険度を推定するため、危険場面の誤検出が頻繁に生じてしまう。例えば、幅の狭い道路での対向車とのすれ違い場面、あるいは片道１車線道路において路上駐車車両の右側や右折待ち前方車の左側をゆっくりと通過する場面であっても、接近距離が近いという条件に合致してしまう可能性がある。

また、搭乗者の動作のみで危険度を推定するため、危険場面の誤検出が頻繁に生じてしまう。例えば、運転者の動作が緩慢となり検出信号を発生したとして、その時点において自車周囲の状況が本当に事故に結びつくような危険場面であるとは限らない。

このように、車内の音声、車外及び車内の様子の各々から危険度を推定すると、危険度から検出された危険場面の多くは誤検出となってしまう、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、高精度に自車の危険状況を判断することができる危険状況判断装置及び危険状況記録装置を提供することを目的とする。

上記の目的を達成するために第１の発明に係る危険状況判断装置は、自車の搭乗者の音声中に、予め定められた危険時に発する音声が含まれるか否かを判定する危険音声判定手段と、ドライバの足位置を検出する足位置検出手段と、前記足位置検出によって検出された足位置に基づいて、ブレーキペダルを踏み込むための動作が行われたか否かを判定する足動作判定手段と、前記危険音声判定手段によって、前記危険時に発する音声が含まれると判定され、かつ、前記足動作判定手段によって、前記ブレーキペダルを踏み込むための動作が行われたと判定された場合に、自車が危険な状況であると判断する危険状況判断手段とを含んで構成されている。

第１の発明に係る危険状況判断装置によれば、危険音声判定手段によって、自車の搭乗者の音声中に、予め定められた危険時に発する音声が含まれるか否かを判定する。また、足位置検出手段によって、ドライバの足位置を検出し、足動作判定手段によって、足位置検出手段によって検出された足位置に基づいて、ブレーキペダルを踏み込むための動作が行われたか否かを判定する。

そして、危険音声判定手段によって、危険時に発する音声が含まれると判定され、かつ、足動作判定手段によって、ブレーキペダルを踏み込むための動作が行われたと判定された場合に、危険状況判断手段によって、自車が危険な状況であると判断する。

このように、２つの判定を組み合わせて、搭乗者の音声中に、危険時に発する音声が含まれ、かつ、ブレーキペダルを踏み込むための動作が行われたときに、自車が危険な状況であると判断することにより、危険な状況であると誤って判断することを防止するため、高精度に自車の危険状況を判断することができる。

第２の発明に係る危険状況判断装置は、自車の搭乗者の音声中に、予め定められた危険時に発する音声が含まれるか否かを判定する危険音声判定手段と、ドライバの行動を撮像するドライバ撮像手段と、前記ドライバ撮像手段によって撮像された前記ドライバの行動に基づいて、前記ドライバが危険状況を確認したか否かを判定する危険状況行動判定手段と、前記危険音声判定手段によって、前記危険時に発する音声が含まれると判定され、かつ、前記危険状況行動判定手段によって、前記ドライバが危険状況を確認したと判定された場合に、自車が危険な状況であると判断する危険状況判断手段とを含んで構成されている。

第２の発明に係る危険状況判断装置によれば、危険音声判定手段によって、自車の搭乗者の音声中に、予め定められた危険時に発する音声が含まれるか否かを判定する。また、ドライバ撮像手段によって、ドライバの行動を撮像し、危険状況行動判定手段によって、ドライバ撮像手段によって撮像されたドライバの行動に基づいて、ドライバが危険状況を確認したか否かを判定する。

そして、危険音声判定手段によって、危険時に発する音声が含まれると判定され、かつ、危険状況行動判定手段によって、ドライバが危険状況を確認したと判定された場合に、危険状況判断手段によって、自車が危険な状況であると判断する。

このように、２つの判定を組み合わせて、搭乗者の音声中に、危険時に発する音声が含まれ、かつ、ドライバが危険状況を確認したときに、自車が危険な状況であると判断することにより、危険な状況であると誤って判断することを防止するため、高精度に自車の危険状況を判断することができる。

第３の発明に係る危険状況判断装置は、ドライバの足位置を検出する足位置検出手段と、前記足位置検出手段によって検出された足位置に基づいて、ブレーキペダルを踏み込むための動作が行われたか否かを判定する足動作判定手段と、ドライバの行動を撮像するドライバ撮像手段と、前記ドライバ撮像手段によって撮像された前記ドライバの行動に基づいて、前記ドライバが危険状況を確認したか否かを判定する危険状況行動判定手段と、前記足動作判定手段によって、前記ブレーキペダルを踏み込むための動作が行われたと判定され、かつ、前記危険状況行動判定手段によって、前記ドライバが危険状況を確認したと判定された場合に、自車が危険な状況であると判断する危険状況判断手段とを含んで構成されている。

第３の発明に係る危険状況判断装置によれば、足位置検出手段によって、ドライバの足位置を検出し、足動作判定手段によって、足位置検出手段によって検出された足位置に基づいて、ブレーキペダルを踏み込むための動作が行われたか否かを判定する。また、ドライバ撮像手段によって、ドライバの行動を撮像し、危険状況行動判定手段によって、ドライバ撮像手段によって撮像されたドライバの行動に基づいて、ドライバが危険状況を確認したか否かを判定する。

そして、足動作判定手段によって、ブレーキペダルを踏み込むための動作が行われたと判定され、かつ、危険状況行動判定手段によって、ドライバが危険状況を確認したと判定された場合に、危険状況判断手段によって、自車が危険な状況であると判断する。

このように、２つの判定を組み合わせて、ブレーキペダルを踏み込むための動作が行われ、かつ、ドライバが危険状況を確認したときに、自車が危険な状況であると判断することにより、危険な状況であると誤って判断することを防止するため、高精度に自車の危険状況を判断することができる。

第３の発明に係る危険状況判断装置は、自車が後退しているか否かを判定する後退判定手段を更に含み、危険状況判断手段は、後退判定手段によって自車が後退していると判定された場合には、自車が危険な状況ではないと判断することができる。これにより、自車が後退しているときに、危険な状況であると誤って判断することを防止するため、更に高精度に自車の危険状況を判断することができる。

第４の発明に係る危険状況判断装置は、自車の搭乗者の音声中に、予め定められた危険時に発する音声が含まれるか否かを判定する危険音声判定手段と、ドライバの足位置を検出する足位置検出手段と、前記足位置検出手段によって検出された足位置に基づいて、ブレーキペダルを踏み込むための動作が行われたか否かを判定する足動作判定手段と、ドライバの行動を撮像するドライバ撮像手段と、前記ドライバ撮像手段によって撮像された前記ドライバの行動に基づいて、前記ドライバが危険状況を確認したか否かを判定する危険状況行動判定手段と、前記危険音声判定手段の判定結果、前記足動作判定手段の判定結果、及び前記危険状況行動判定手段の判定結果の少なくとも２つに基づいて、自車が危険な状況であるか否かを判断する危険状況判断手段とを含んで構成されている。

第４の発明に係る危険状況判断装置によれば、危険状況判断手段によって、危険音声判定手段の判定結果、足動作判定手段の判定結果、及び危険状況行動判定手段の判定結果の少なくとも２つに基づいて、自車が危険な状況であるか否かを判断する。

このように、危険音声判定、足動作判定、及び危険状況行動判定の少なくとも２つの判定結果を組み合わせて、自車が危険な状況であると判断することにより、危険な状況であると誤って判断することを防止するため、高精度に自車の危険状況を判断することができる。

また、第５の発明に係る危険状況記録装置は、上記の危険状況判断装置と、前記自車の車外を撮像する車外撮像手段と、前記危険状況判断手段によって自車が危険な状況であると判断されたときに、前記車外撮像手段によって撮像された画像を記録する危険状況画像記録手段とを含んで構成されている。

第５の発明に係る危険状況記録装置によれば、車外撮像手段によって、自車の車外を撮像する。そして、危険状況判断装置によって自車が危険な状況であるか否かを判断されたときに、車外撮像手段によって撮像された画像を危険状況画像記録手段に記録する。

このように、危険な状況であると誤って判断することを防止し、高精度に自車の危険状況を判断して、撮像された画像を記録するため、自車の危険状況における車外の画像を誤りなく記録することができる。

以上説明したように、本発明の危険状況判断装置によれば、複数の判定を組み合わせて、自車が危険な状況であると判断することにより、危険な状況であると誤って判断することを防止するため、高精度に自車の危険状況を判断することができる、という効果が得られる。

本発明の危険状況記録装置によれば、危険な状況であると誤って判断することを防止し、高精度に自車の危険状況を判断して、撮像された画像を記録するため、自車の危険状況における車外の画像を誤りなく記録することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載されたドライブレコーダに本発明を適用した場合を例に説明する。

図１に示すように、本実施の形態に係るドライブレコーダ１０は、自車の搭乗者の音声の中に、危険時に発話される語彙（以下、危険語彙という）が含まれているかを検出する危険語彙検出部１２と、ドライバの足位置がブレーキペダルの上にあるかを検出する足位置検出部１４と、ドライバの顔画像から視線方向を同定し、ルームミラーやサイドミラーで後方確認したかを検出する後方確認行動検出部１６と、危険語彙検出部１２、足位置検出部１４、及び後方確認行動検出部１６から出力される信号に基づいて、自車が危険な状況であるか否かを判断する危険状況判断部１８と、危険状況判断部１８からの記録開始トリガにより、自車の危険場面の映像及び音声を記憶する記録部２０とを備えている。

危険語彙検出部１２は、音響センサで搭乗者の音声を収集する車内音声検出部２２と、ニューラルネットワークなどの手法を用い、車内音声検出部２２で収集された音声中に含まれる語彙を抽出する語彙抽出部２４と、自動車運転時における危険場面に遭遇したときに発せられる語彙（例えば、「危ない」、「ぶつかる」、「わー」、「キャー」など）を予め登録した危険語彙データベース２６と、搭乗者の発話した語彙と危険語彙データベース２６の登録語彙とを比較して、同じ語彙が存在するか否かを判定する危険語彙判定部２８とを備えている。危険語彙判定部２８は、同じ語彙が存在すると判定したときに、危険時に発する音声が含まれると判断して、危険状況判断部１８に検出信号を送る。この検出信号は、危険語彙を発話してからペダルの踏み替えや後方確認が行われるまでの遅れ時間を考慮して、一定時間保持するようにする。

危険語彙検出部１２は、運転者もしくは同乗者が危険を感じたときにとっさに声が出る特性を利用して、危険時の語彙を含む音声の発話が存在するか否か判定して、検出信号を危険状況判断部１８に出力している。

足位置検出部１４は、ブレーキペダルの周辺に設けられ、ブレーキペダル上にドライバの足が位置していることを検出する光電センサ３０と、光電センサ３０から出力される信号に基づいて、ブレーキペダルの踏み込みではなく、ブレーキペダルを踏み込むための動作として、アクセルペダルからブレーキペダルへ踏み替えて、ブレーキペダルの上に足が移動したか否かを判定する踏み替え判定部３２とを備えている。踏み替え判定部３２は、ブレーキペダル上に足が移動したときに、危険状況判断部１８へ検出信号を送る。この検出信号は、ブレーキペダルの踏み替えがなされてから後方確認行動が行われるまでの遅れ時間を考慮して、一定時間保持するようにする。なお、足位置の検出は、光電センサに限らず、他のセンサで行ってもよい。

足位置検出部１４は、運転者が危険を感じたときにブレーキを掛けようとする特性を利用して、ブレーキペダルに踏み替える動作があったか否かを判定し、検出信号を危険状況判断部１８に出力している。また、踏み替えたときには、危険場面を通り過ぎてしまうなど、実際にはブレーキを掛けないこともあるため、ブレーキペダルの踏み込み動作ではなく、踏み込むための動作としての踏み替え動作を検出している。

後方確認行動検出部１６は、ＣＣＤ、Ａ／Ｄ変換部、及び画像メモリ（図示省略）を有し、ドライバの行動を示す画像としての顔画像を撮像するための顔画像カメラ３４と、顔画像カメラ３４によって撮像された画像に基づいて、ドライバの視線方向を同定し、危険な状況を確認するための後方確認行動として、ある単位時間中において、ルームミラー又はサイドミラーを見続けた累積時間が一定時間以上になったか、あるいは、ルームミラー又はサイドミラーを一定回数以上見たかを判定する後方確認行動判定部３６とを備えている。なお、視線方向の同定は、アイカメラなど他の視線検出装置で行ってもよい。

後方確認行動検出部１６は、運転者が危険を感じたときに、それが何であったか、どのような状況であったのか、また結果がどうなったのかを確認し自己学習して、運転能力を向上しようとする行動特性を利用して、ミラーで一定時間もしくは一定回数以上の後方確認をしたと判定した場合には、その直前が危険場面であった可能性があったとして、検出信号を危険状況判断部１８に出力している。

記録部２０は、ダッシュボードなどに設けられ、車外の状況を示す映像信号及び音声信号を出力する車外カメラ３８と、現在時刻から一定時間前（例えば１〜２分程度）までの映像信号及び音声信号をエンドレスに記憶するメモリ４０と、危険状況判断部１８が発生する記録開始トリガに応じて、記録開始トリガ発生前後の一定時間内（例えば、記録開始トリガ発生２０秒前から１５秒後まで）の映像信号及び音声信号を、メモリ４０から転送させて記録する着脱可能なメモリカード４２とを備えている。

次に、本実施の形態に係るドライブレコーダ１０の作用について説明する。

まず、危険語彙検出部１２では、図２に示す危険語彙を検出するための処理が常時実行される。ステップ１００において、検出保持時間を例えば３秒にセットし、ステップ１０２で、車内音声検出部２２によって、車内の搭乗者が発した音声を取得し、ステップ１０４で、ステップ１０２で取得された音声中から語彙を抽出する。

そして、ステップ１０６では、ステップ１０４で抽出された語彙と、危険語彙データベース２６に登録されている語彙とを比較して、音声中に危険語彙があるか否かを判定し、抽出された語彙と、危険語彙データベース２６の登録語彙とが一致すると、ステップ１０８において、危険状況判断部１８への検出信号の出力を開始して、ステップ１０２へ戻り、再び車内音声を取得する。なお、この検出信号の出力は、ステップ１００〜ステップ１０６の処理と並行して、検出保持時間の間継続される。一方、ステップ１０６において、抽出された語彙と、危険語彙データベース２６の登録語彙とが一致しない場合には、ステップ１０２へ戻る。

以上のように、危険語彙検出部１２によって、搭乗者が発した音声中に危険語彙が含まれるか否かを判定し、危険語彙が検出されると、一定の検出保持時間の間、検出信号を出力する。

また、足位置検出部１４では、図３に示すブレーキペダルへの踏み替え動作を検出する処理が常時実行される。まず、ステップ１２０において、検出保持時間として例えば３秒がセットされ、ステップ１２２で、直前に足位置がブレーキペダル上にあったか否かを示す直前状態Ｓ０をリセットし、ステップ１２４において、光電センサ３０から出力される信号を取得する。

そして、ステップ１２６において、ステップ１２４で取得した信号に基づいて、ブレーキペダル上に足が位置しているか否かを判定し、ブレーキペダルの上に足が位置している場合には、ステップ１２８で、現在状態Ｓ１に１をセットするが、一方、ブレーキペダルの上に足が位置していない場合には、ステップ１３０で、現在状態Ｓ０に０をセットする。

次のステップ１３２では、現在状態Ｓ１が１であり、かつ、直前状態Ｓ０が０であるか否かを判定し、現在ブレーキペダルの上に足が位置し、直前にはブレーキペダルの上に足が位置しておらず、ブレーキペダルへの踏み替え動作が発生したと判断される場合には、ステップ１３４で、危険状況判断部１８への検出信号の出力を開始し、ステップ１３６へ移行する。なお、この検出信号の出力は、ステップ１２０〜ステップ１３６の処理と並行して、検出保持時間の間継続される。一方、ステップ１３２において、現在ブレーキペダルの上に足が位置していない場合や、直前にブレーキペダルの上に足が位置していた場合には、ステップ１３６で、現在状態Ｓ１を直前状態Ｓ０にセットして、ステップ１２４へ戻り、再び光電センサからの信号を取得する。

以上のように、足位置検出部１４によって、ドライバがブレーキペダルへの踏み替え動作を行ったか否かを判定し、踏み替え動作が検出されると、一定の検出保持時間の間、検出信号を出力する。

また、後方確認行動検出部１６では、図４に示すドライバの後方を確認する行動を検出する処理が常時実行される。まず、ステップ１５０において、顔画像カメラ３４で撮像された画像に基づいて、ドライバの視線方向を同定し、ステップ１５２で、同定された視線方向に基づいて、過去のある単位時間内（例えば２秒間）のルームミラー又はサイドミラーの確認回数と注視した累積時間とを計算する。

そして、ステップ１５４において、ステップ１５２で計算された確認回数が規定回数以上であるか否かを判定し、ドライバが後方を確認するために、ルームミラー又はサイドミラーを規定回数以上見た場合には、ステップ１５８へ移行するが、一方、ルームミラー又はサイドミラーの確認回数が規定回数未満であったときには、ステップ１５６へ移行する。なお、上記の規定回数については、危険場面の確認のためにドライバが後方確認する場合に、ミラーを見る回数を実験的又は統計的に予め求めて、求めた回数を規定回数として予め設定しておけばよい。

ステップ１５６では、ステップ１５２で計算された累積時間が規定時間以上であるか否かを判定し、ドライバが後方を確認するために、ルームミラー又はサイドミラーを規定時間以上累積して注視した場合には、ステップ１５８へ移行するが、一方、ルームミラー又はサイドミラーを注視した累積時間が規定時間未満であったときには、ステップ１６０へ移行する。なお、上記の規定時間については、危険場面の確認のためにドライバが後方確認する場合に、ミラーを注視する累積時間を実験的又は統計的に予め求めて、求めた累積時間を規定時間として予め設定しておけばよい。

ステップ１５８では、検出信号を危険状況判断部１８へ継続して出力し、ステップ１５０へ戻り、再び視線方向を同定する。また、ステップ１６０では、後方確認の行動が終了したと判断し、検出信号を解除して、ステップ１５０へ戻る。

以上のように、後方確認行動検出部１６によって、ドライバが後方を確認する行動を行ったか否かを判定し、後方確認行動が検出されると、検出信号を出力する。

また、記録部２０では、常時、車外の状況を示す映像信号及び音声信号を車外カメラ３８によって取得し、現在時刻から一定時間前までの映像信号及び音声信号をエンドレスにメモリ４０に記憶する。

次に、危険状況判断部１８で実行される危険状況判断処理ルーチンについて図５を用いて説明する。まず、ステップ１７０において、危険語彙検出部１２からの検出信号に基づいて、危険語彙の検出有無を取得し、ステップ１７２で、足位置検出部１４からの検出信号に基づいて、ブレーキペダルへの踏み替え動作の有無を取得し、ステップ１７４で、後方確認行動検出部１６からの検出信号に基づいて、後方確認行動の有無を取得する。

そして、ステップ１７６では、自車の搭乗者が発した音声中から危険語彙が検出されたか否かを判定し、ステップ１７０で危険語彙検出部１２から検出信号が出力されており、危険語彙が検出された場合には、ステップ１７８において、ブレーキペダルへの踏み替え動作が検出されたか否かを判定し、危険語彙が検出されてから一定時間内に、ステップ１７２で足位置検出部１４から検出信号が出力されており、踏み替え動作が検出された場合には、自車が危険な状況であると判断し、ステップ１８４へ移行する。また、上記のステップ１７８で、足位置検出部１４から検出信号が出力されずに、踏み替え動作が検出されなかった場合には、ステップ１８２へ移行する。

一方、ステップ１７６で、危険語彙検出部１２から検出信号が出力されておらず、危険語彙が検出されなかった場合には、ステップ１８０で、ブレーキペダルへの踏み替え動作が検出されたか否かを判定し、ステップ１７２で足位置検出部１４から検出信号が出力されており、踏み替え動作が検出された場合には、ステップ１８２で、ドライバの後方確認行動が検出されたか否かを判定し、危険語彙が検出されてから一定時間内、又はブレーキペダルへの踏み替え動作が検出されてから一定時間内に、ステップ１７４で後方確認行動検出部１６から検出信号が出力されており、後方確認動作が検出された場合には、自車が危険な状況であると判断し、ステップ１８４へ移行する。

一方、上記のステップ１８０において、足位置検出部１４から検出信号が出力されず、踏み替え動作が検出されなかった場合には、自車が危険な状況ではないと判断し、危険状況判断処理ルーチンを終了し、また、上記のステップ１８２で、後方確認行動検出部１６から検出信号が出力されず、後方確認動作が検出されなかった場合には、自車が危険な状況ではないと判断し、危険状況判断処理ルーチンを終了する。

ステップ１８４では、記録開始トリガを記録部２０に出力し、記録開始トリガ発生２０秒前から１５秒後までの危険場面の映像信号及び音声信号をメモリ４０から取り出して、メモリカード４２に記録して、危険状況判断処理ルーチンを終了する。

上記の危険状況判断処理ルーチンは、常時繰り返し実行され、（ａ）搭乗者が発する音声中に危険語彙が含まれると共に、その後一定期間内にドライバがブレーキペダルへの踏み替えを行ったとき、（ｂ）搭乗者が発する音声中に危険語彙が含まれると共に、その後一定期間内にドライバが後方の確認行動を行ったとき、及び（ｃ）ブレーキペダルへの踏み替えが行われると共に、その後一定期間内にドライバが後方の確認行動を行ったとき、である３つの条件の何れかに当てはまる場合、自車が危険な状況であると判断し、記録部２０に記録開始トリガを出力する。

上記の３つの条件を満たす状況は、車両挙動とは直接関係しないため、上記の危険状況判断処理ルーチンを実行することにより、車両挙動が全く変化しない危険場面を検出して、危険場面の映像及び音声を記録する。また、上記の３つの条件を満たす状況の各々は、単独では、通常の運転時において頻繁に見られる状況であり、何れか一つの状況だけでは、危険な状況であると判断することができないため、上記の３つの条件の何れか２つの組み合わせを満たす状況を、危険な状況として検出して、危険場面の映像及び音声を記録する。

以上説明したように、第１の実施の形態に係るドライブレコーダによれば、危険語彙判定、踏み替え動作判定、及び後方確認行動判定の少なくとも２つの判定結果を組み合わせて、自車が危険な状況であるか否かを判断することにより、危険な状況であると誤って判断することを防止するため、高精度に自車の危険状況を判断することができる。

また、危険な状況であると誤って判断することを防止し、高精度に自車の危険状況を判断して、危険な状況の映像及び音声を記録するため、自車の危険状況における車外の映像及び音声を誤りなく記録することができる。

自動車の運転中には、事故には至らないまでも大小さまざまな危険場面に遭遇し、遭遇する危険場面の中には、ブレーキなどの回避操作で車両挙動に大きな変化が現れる危険場面もあれば、車両挙動の変化が小さいか、あるいは回避操作が行われないうちに通り過ぎてしまう危険場面も数多く存在するが、本発明によれば、車両挙動の変化が小さいか全く無いために従来型のドライブレコーダでは記録されなかった危険場面の映像及び音声を誤検出無く記録することができる。

なお、上記の実施の形態では、危険語彙判定、踏み替え動作判定、及び後方確認行動判定の何れか２つの判定が肯定されるときに、危険場面と判断し、記録開始トリガを出力する場合を例に説明したが、３つ全ての判定が肯定されるときにのみ、危険場面と判断し、記録開始トリガを出力するようにしてもよい。

また、踏み替え動作が検出され、かつ、後方確認行動が検出されたときに、危険場面であると判断する場合を例に説明したが、この場合に、車両が後退しているか否かを判定して、車両が後退している場合には、危険場面ではないと判断するようにしてもよい。

また、足位置検出部の光電センサは、ブレーキペダルの周辺に設けられ、ブレーキペダルに足が位置しているかを検出するようにした場合を例に説明したが、これに限定されるものでなく、光電センサをアクセルペダルの周辺に設け、アクセルペダルの上に足が位置しなくなったことを検出して、ブレーキペダルへの踏み替え動作を検出するようにしてもよい。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分について、同一符号を付して説明を省略する。

第２の実施の形態では、事故発生時及び急減速による事故回避時の状況の映像信号及び音声信号を更に記録している点が第１の実施の形態と異なっている。

図６に示すように、第２の実施の形態に係るドライブレコーダ２１０は、自車の車体への衝撃検出用の加速度センサ２１２と、事故音検出用の音響センサ２１４とを備え、危険状況判断部２１８では、加速度センサ２１２から出力される信号に基づいて、事故が発生したか否かを判断すると共に、急ブレーキによる急減速があったか否かを判断する。また、危険状況判断部２１８は、音響センサ２１４から出力される信号に基づいて、事故が発生したか否かを判断する。

なお、ドライブレコーダ２１０の他の構成については、第１の実施の形態と同様であるため、説明を省略する。

次に、第２の実施の形態に係る危険状況判断処理ルーチンについて図７を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ２５０で、急減速又は事故が発生したか否かを判定し、加速度センサ２１２からの信号に基づいて、事故による衝撃や事故回避のための急減速が検出された場合や、音響センサ２１４からの信号に基づいて、事故音が検出された場合には、ステップ１８４へ移行する。

一方、加速度センサ２１２からの信号や音響センサ２１４からの信号に基づいて、急減速や事故の発生が検出されない場合には、ステップ１７０へ移行し、危険語彙の検出有無を取得し、ステップ１７２で、ブレーキペダルへの踏み替え動作の有無を取得し、ステップ１７４で、後方確認行動の有無を取得する。

そして、ステップ１７６では、音声中から危険語彙が検出されたか否かを判定し、危険語彙が検出された場合には、ステップ１７８において、ブレーキペダルへの踏み替え動作が検出されたか否かを判定し、踏み替え動作が検出された場合には、ステップ１８４へ移行する。また、上記のステップ１７８で、踏み替え動作が検出されなかった場合には、ステップ１８２へ移行する。

一方、ステップ１７６で、危険語彙が検出されていなかった場合には、ステップ１８０で、ブレーキペダルへの踏み替え動作が検出されたか否かを判定し、踏み替え動作が検出された場合には、ステップ１８２で、ドライバの後方確認行動が検出されたか否かを判定し、後方確認行動が検出された場合には、ステップ１８４へ移行する。

一方、上記のステップ１８０で、踏み替え動作が検出されなかった場合には、危険状況判断処理ルーチンを終了し、また、上記のステップ１８２で、後方確認行動が検出されなかった場合には、危険状況判断処理ルーチンを終了する。

ステップ１８４では、記録開始トリガを記録部２０に出力し、記録開始トリガ発生２０秒前から１５秒後までの危険場面の映像信号及び音声信号をメモリ４０から取り出して、メモリカード４２に記録して、危険状況判断処理ルーチンを終了する。

以上説明したように、第２の実施の形態に係るドライブレコーダによれば、事故発生時及び急ブレーキによる事故回避時の状況の映像及び音声を更に記録することができる。

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分について、同一符号を付して説明を省略する。

第３の実施の形態では、車両が後退中であるか否かを検出し、後退中には危険場面ではないと判断している点と、危険語彙検出部がない点とが第１の実施の形態と異なっている。

図８に示すように、第３の実施の形態に係るドライブレコーダ３１０は、自車が後退中であるか否かを検出し、検出信号を危険状況判断部３１８に出力する後退検出部３１２を備えている。

後退検出部３１２は、車両のシフトの位置を検出するシフト位置センサ３１４と、シフト位置センサ３１４からの出力に基づいて、車両が後退中であるか否かを判定する後退判定部３１６とを備えており、後退判定部３１６によって、車両が後退中であると判定されている間は、危険状況判断部３１８に検出信号が出力される。

次に、第３の実施の形態に係る危険状況判断処理ルーチンについて図９を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ１７２で、ブレーキペダルへの踏み替え動作の有無を取得し、ステップ１７４で、後方確認行動の有無を取得する。

そして、ステップ３３０において、ブレーキペダルへの踏み替え動作が検出されたか否かを判定し、踏み替え動作が検出された場合には、ステップ３３２へ移行するが、一方、踏み替え動作が検出されなかった場合には、危険状況判断処理ルーチンを終了する。

ステップ３３２では、ドライバの後方確認行動が検出されたか否かを判定し、ブレーキペダルへの踏み替え動作が検出されてから一定時間内に、後方確認行動が検出された場合には、ステップ３３４へ移行するが、一方、後方確認行動が検出されなかった場合には、危険状況判断処理ルーチンを終了する。

ステップ３３４では、自車が後退中であるか否かを判定し、後退検出部３１２から検出信号が出力された場合には、ドライバが単に車両を後退させているだけであって、危険場面ではないと判断し、危険状況判断処理ルーチンを終了するが、後退検出部３１２から検出信号が出力されていない場合には、ステップ１８４で、記録開始トリガを記録部２０に出力し、記録開始トリガ発生２０秒前から１５秒後までの危険場面の映像信号及び音声信号をメモリ４０から取り出して、メモリカード４２に記録して、危険状況判断処理ルーチンを終了する。

以上説明したように、第３の実施の形態に係るドライブレコーダによれば、踏み替え動作判定及び後方確認行動判定の２つの判定を組み合わせて、踏み替え動作を検出し、かつ、危険状況確認のための後方確認行動を検出したときに、自車が危険な状況であると判断することにより、危険な状況であると誤って判断することを防止するため、高精度に自車の危険状況を判断することができる。

また、自車が後退しているときは、踏み替え動作を検出し、かつ、危険状況確認のための後方確認行動を検出したとしても、単に車両を後退させているだけの可能性が高いため、危険な状況であると誤って判断することを防止することにより、更に高精度に自車の危険状況を判断することができる。

なお、後退検出部にシフト位置センサを設けた場合を例に説明したが、これに限定されるものではなく、車両の後退が判別可能であれば、車両に搭載されたＥＣＵ（電子制御装置）などから後退中であることを検出してもよい。

次に、第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分について、同一符号を付して説明を省略する。

図１０に示すように、第４の実施の形態に係るドライブレコーダ４１０では、足位置検出部がなく、危険語彙検出部１２からの検出信号と後方確認行動検出部１６からの信号とが危険状況判断部４１８に入力される。

危険状況判断部４１８では、音声中に危険語彙が含まれると判定されて、危険語彙検出部１２から検出信号が入力され、かつ、後方の確認行動が行われたと判定されて、後方確認行動検出部１６から検出信号が入力された場合に、危険場面であると判断し、記録開始トリガを記録部２０に出力し、危険場面の映像信号及び音声信号をメモリカード４２に記録する。

第４の実施の形態に係るドライブレコーダによれば、危険語彙判定及び後方確認行動判定の２つの判定を組み合わせて、搭乗者の音声中の語彙に、危険語彙が含まれ、かつ、ドライバが危険状況の確認のための後方確認をしたときに、自車が危険な状況であると判断することにより、危険な状況であると誤って判断することを防止するため、高精度に自車の危険状況を判断することができる。

次に、第５の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分について、同一符号を付して説明を省略する。

図１１に示すように、第５の実施の形態に係るドライブレコーダ５１０では、後方確認行動検出部がなく、危険語彙検出部１２からの検出信号と足位置検出部１４からの信号とが危険状況判断部５１８に入力される。

危険状況判断部５１８では、音声中に危険語彙が含まれると判定されて、危険語彙検出部１２から検出信号が入力され、かつ、ブレーキペダルへの踏み替え動作が行われたと判定されて、足位置検出部１４から検出信号が入力された場合に、危険場面であると判断し、記録開始トリガを記録部２０に出力し、危険場面の映像信号及び音声信号をメモリカード４２に記録する。

第５の実施の形態に係るドライブレコーダによれば、危険語彙判定及び踏み替え動作判定の２つの判定を組み合わせて、搭乗者の音声中の語彙に、危険語彙が含まれ、かつ、ブレーキペダルへの踏み替え動作が行われたときに、自車が危険な状況であると判断することにより、危険な状況であると誤って判断することを防止するため、高精度に自車の危険状況を判断することができる。

本発明の第１の実施の形態に係るドライブレコーダを示すブロック図である。 本発明の第１の実施の形態に係るドライブレコーダにおける危険語彙を検出するための処理の内容を示す流れ図である。 本発明の第１の実施の形態に係るドライブレコーダにおけるブレーキペダルへの踏み替え動作を検出するための処理の内容を示す流れ図である。 本発明の第１の実施の形態に係るドライブレコーダにおけるドライバの後方を確認する行動を検出するための処理の内容を示す流れ図である。 本発明の第１の実施の形態に係るドライブレコーダにおける危険状況判断処理ルーチンの内容を示す流れ図である。 本発明の第２の実施の形態に係るドライブレコーダを示すブロック図である。 本発明の第２の実施の形態に係るドライブレコーダにおける危険状況判断処理ルーチンの内容を示す流れ図である。 本発明の第３の実施の形態に係るドライブレコーダを示すブロック図である。 本発明の第３の実施の形態に係るドライブレコーダにおける危険状況判断処理ルーチンの内容を示す流れ図である。 本発明の第４の実施の形態に係るドライブレコーダを示すブロック図である。 本発明の第５の実施の形態に係るドライブレコーダを示すブロック図である。

符号の説明

１０、２１０、３１０、４１０、５１０ ドライブレコーダ
１２ 危険語彙検出部
１４ 足位置検出部
１６ 後方確認行動検出部
１８、２１８、３１８、４１８、５１８ 危険状況判断部
２０ 記録部
２２ 車内音声検出部
２６ 危険語彙データベース
３０ 光電センサ
３４ 顔画像カメラ
３８ 車外カメラ
４２ メモリカード
３１２ 後退検出部

Claims (6)

1. 自車の搭乗者の音声中に、予め定められた危険時に発する音声が含まれるか否かを判定する危険音声判定手段と、
   ドライバの足位置を検出する足位置検出手段と、
   前記足位置検出手段によって検出された足位置に基づいて、ブレーキペダルを踏み込むための動作が行われたか否かを判定する足動作判定手段と、
   前記危険音声判定手段によって、前記危険時に発する音声が含まれると判定され、かつ、前記足動作判定手段によって、前記ブレーキペダルを踏み込むための動作が行われたと判定された場合に、自車が危険な状況であると判断する危険状況判断手段と、
   を含む危険状況判断装置。
2. 自車の搭乗者の音声中に、予め定められた危険時に発する音声が含まれるか否かを判定する危険音声判定手段と、
   ドライバの行動を撮像するドライバ撮像手段と、
   前記ドライバ撮像手段によって撮像された前記ドライバの行動に基づいて、前記ドライバが危険状況を確認したか否かを判定する危険状況行動判定手段と、
   前記危険音声判定手段によって、前記危険時に発する音声が含まれると判定され、かつ、前記危険状況行動判定手段によって、前記ドライバが危険状況を確認したと判定された場合に、自車が危険な状況であると判断する危険状況判断手段と、
   を含む危険状況判断装置。
3. ドライバの足位置を検出する足位置検出手段と、
   前記足位置検出手段によって検出された足位置に基づいて、ブレーキペダルを踏み込むための動作が行われたか否かを判定する足動作判定手段と、
   ドライバの行動を撮像するドライバ撮像手段と、
   前記ドライバ撮像手段によって撮像された前記ドライバの行動に基づいて、前記ドライバが危険状況を確認したか否かを判定する危険状況行動判定手段と、
   前記足動作判定手段によって、前記ブレーキペダルを踏み込むための動作が行われたと判定され、かつ、前記危険状況行動判定手段によって、前記ドライバが危険状況を確認したと判定された場合に、自車が危険な状況であると判断する危険状況判断手段と、
   を含む危険状況判断装置。
4. 自車が後退しているか否かを判定する後退判定手段を更に含み、
   前記危険状況判断手段は、前記後退判定手段によって自車が後退していると判定された場合には、自車が危険な状況ではないと判断する請求項３記載の危険状況判断装置。
5. 自車の搭乗者の音声中に、予め定められた危険時に発する音声が含まれるか否かを判定する危険音声判定手段と、
   ドライバの足位置を検出する足位置検出手段と、
   前記足位置検出手段によって検出された足位置に基づいて、ブレーキペダルを踏み込むための動作が行われたか否かを判定する足動作判定手段と、
   ドライバの行動を撮像するドライバ撮像手段と、
   前記ドライバ撮像手段によって撮像された前記ドライバの行動に基づいて、前記ドライバが危険状況を確認したか否かを判定する危険状況行動判定手段と、
   前記危険音声判定手段の判定結果、前記足動作判定手段の判定結果、及び前記危険状況行動判定手段の判定結果の少なくとも２つに基づいて、自車が危険な状況であるか否かを判断する危険状況判断手段と、
   を含む危険状況判断装置。
6. 請求項１〜請求項５の何れか１項記載の危険状況判断装置と、
   前記自車の車外を撮像する車外撮像手段と、
   前記危険状況判断手段によって自車が危険な状況であると判断されたときに、前記車外撮像手段によって撮像された画像を記録する危険状況画像記録手段と、
   を含む危険状況記録装置。

Images