JP2018092554A - 事故発生予測装置 - Google Patents

Abstract

【課題】車両運転中の運転者の状態を把握と車両の周囲の状況を検知する事故発生予測装置を提供する。【解決手段】安全運転補助装置１００は、運転席および後部映像を撮影するルームミラーカメラ１０と、運転手の状態を解析する運転手状態得映像解析部１１と、自車の周囲の物体を解析する後方カメラ２０（ルームミラーカメラで兼用可能）と方映像解析部２１、前方カメラまたはステレオカメラ３０と前方映像解析部３１、右後部カメラ４０と右後部映像解析部４１、左後部カメラ５０と左後部映像解析部５１の解析結果と、車載ネットワークまたは車載センサーよりの各種センサー信号６０、車両状況取得センサー信号６１を接続した通状況総合解析演算部７０により運転手主体の判断を行い、脅威と判断された場合、車載ネットワーク接続出力デバイス８０、システム内蔵表示装置音声デバイス８１から警告を出力し、同時に外部接続機器８２にも信号を出力する、またモバイルネットワークモジュール部９０を通じて外部へデータを送信でき、また外部と会話機能も有している。【選択図】図１

Description

本発明は、運転者の状態と、自車の周りの交通状況を認識して事故発生を予測する装置に関する。

カメラと画像処理を利用して事故発生を予測または回避する技術として、例えば特許文献１に記載の物体検出装置、特許文献２に記載の運転支援装置、特許文献３に記載のステレオ式監視装置およびステレオ式監視方法を組み合わせた運転支援システム アイサイト（ＥｙｅＳｉｇｈｔ）がある。
この運転支援システム アイサイト（ＥｙｅＳｉｇｈｔ）は物体を検知するプリクラシュブレーキ、先行者を追尾する全車速追従機能付クルーズコントロール、車線を逸脱しないアクティブプレーンキープ、操作ミスによる事故を防ぐＡＴ誤発進抑制制御／ＡＴ誤後退抑制制御、危険な運転を検知する警報＆お知らせ機能から構成される。

特開２００８−０４５９７４ 特開２００７−１７６２９０ 特開２００３−３０４５２８

「富士重工業株式会社スバルＬＥＶＯＲＥ ＥｙｅＳｉｇｈｔ（ｖｅｒ．３）取扱説明書」

特許文献１〜３を組み合わせた運転支援システム アイサイト（ＥｙｅＳｉｇｈｔ）では、自車の挙動と、前方の物体の検知のみを想定している。
前方のみの監視なので自車から追突する事を防げても、後方や左右の車両から追突される事は防げない為に、他車要因の事故防止としては充分でない場合がある。
また、運転手に問題が無い状態でたまたま自車の挙動が乱れた場合でも警告が発せられるし、運転手が居眠りをしている状態でも自車の挙動が乱れなければ警告が発せられないなどの運転者へ対応が十分でない場合があり、運転者が危険を認識しているか否かにかかわらず必ず警報を出力する融通の利かない部分も存在する。

本発明の目的は上記問題に鑑み、運転者を直接監視、また後方、左右後方の運転状況を把握し、死角がない事故予測装置を提供する事にある。
また、運転手が運転状況を認識しているか否かを表情や視線等で判断し、過剰な警告を抑制する事も含む。
あわせてモバイルネットワークを利用したネットワーク機能を有する事でデータ送信を行う事で外部より運転手や運転中の状況が把握でき、双方向ボイスチャットなどよって運転手とコミュニケーションを行う形での事故回避にも対応する。
更に、カメラの映像を含む全てのデータを記録する事により、事故を回避出来なかった場合の原因解明、証拠保全に役立てる事も出来る。

上記目標を達成するための本発明に関わる事故予測装置の特徴的構造は、ルームミラーカメラ映像より運転手を顔認識し、運転者の頭の動き、瞳孔、視線、顔の向き、身体の動きなどを認識する運転手状態映像解析部と、前記前方監視に加え、後方、右後方、左後方の監視が可能なカメラユニットと映像解析部と、それらのデータと車載センサーまたは内蔵車両状況取得センサーとのデータ元に判断する交通状況総合解析演算部と、外部との通信を行うモバイルネットワーク部、映像や解析結果を記録する多重録画装置を備えている事にある。

この様な特徴構成とすれば、車両の運転中において、運転者の状態を把握し、周囲の交通状況を把握し、運転手が正常な状態で運転を行っているか、それとも居眠りやよそ見を行っているかを適切に認識し、加えて各カメラの映像解析により、状況の脅威の有無が無いか判断し、運転者の動作と合わせて警告を出すか否かを判断する事ができる。
したがって、運転者と車両の周囲の安全を確保すると共に、過剰な警告を排除した上で事故発生予測を行う事が可能となる。

また、前述の運転者の状態と周囲の状況から導き出される事故発生予測で警告の抑止が行われた場合でも、更に周囲の状況を監視し、適切な回避などの対策が行われずに、事故発生の脅威度が高まった場合は、運転者の状態に関わらず警告を発報する事で運転者の判断のみに頼らない対応も可能である。

このような構成とすれば、運転手は認識している、いないに関わらず常に発報される警告に煩わされる事もなくなり、常に警告が発報される事に対する緊張から解放されストレスを軽減する事が可能となる。

また、走行中に前方の車両などの物体との距離が接近した場合、映像フレーム単位の位置を測定する事で、自車との距離が危険と判断される距離まで狭まった場合、運転手の状態から状況を認識していないと判断された場合は直ちに警告を発報する。
逆に運転手が状況を把握していると判断された場合は、直ちに警告の発報を行わないが、更に接近し追突の可能性が発生すると判断された場合は警告を発報し、可能であれば自動ブレーキ指示も行う。
前方に障害物が存在し、その障害物との距離が接近した場合も同様に運転手の状態と物体との距離とで上記同様な処理を行う事が可能である。

加えて、自車が停止している状態で前方の物体が移動体と変化した場合、映像フレーム単位の位置を測定する事で、自車との距離が自動車１台分以上に広がった際に、運転手の状態から状況を認識していないと判断された場合は直ちに警告を発報する。
逆に運転手が状況を把握していると判断された場合は、直ちに警告の発報を行わないが、更に自車との距離が広がったと判断された場合は警告を発報する

更に、自車が走行中に赤信号や、停止標識などを検知しても一定時間運転手の状態に変化が無い、減速やブレーキ操作が無い場合に警告を発報し、可能であれば自動ブレーキ指示も行う。
自車が停止中の場合、前方の信号が青信号に変化した、右折車線で右折指示が表示された等を検知しても一定時間運転手の状態に変化が無い、車が停止状態のままの場合に警告を発報する。

加えて、運転手の状態に関わらず、自車が右折または左折を行う際に、移動中に近接する移動体が存在する場合、停止中に近接する移動体が存在しなくなって一定時間が経過した場合に警告を発報する。

また、後方の車両などの物体が接近した場合、映像フレーム単位の位置を測定する事で相対距離が計算する事で自車との距離が危険と判断される距離まで狭まった場合、運転手の状態から状況を認識していないと判断された場合は直ちに警告を発報する。
逆に運転手が状況を把握していると判断された場合は、直ちに警告発報を行わないが、更に接近してきて追突の可能性が発生すると判断された場合は警告を発報する。

加えて、自車が停止している状態で後方の物体が移動体と変化した場合、映像フレーム単位の位置を測定する事で、自車との距離が危険と判断される距離まで縮まった際に、運転手の状態から状況を認識していないと判断された場合は直ちに警告を発報する。
逆に運転手が状況を把握していると判断された場合は、直ちに警告の発報を行わないが、更に自車との距離が縮まったと判断された場合は警告を発報する

更に自車が後退動作を行っている際に、後方に物体を検知した場合、映像フレーム単位の位置を測定する事で、自車との距離が危険と判断される距離まで縮まった際に、運転手の状態から状況を認識していないと判断された場合は直ちに警告を発報する。
逆に運転手が状況を把握していると判断された場合は、直ちに警告の発報を行わないが、更に自車との距離が縮まったと判断された場合は警告を発報する

また、右後方に走行車線内部に入る様に車両などの物体が接近した場合、運転手の状態に関わらず警告を発報する。
右後方を移動中の移動体を検知している際に、自車が現在走行している車線から右側に移動した際に、移動先の車線を走行中の移動体との映像フレーム単位の位置を測定する事で、自車との距離が危険と判断される距離まで縮まった際に、運転手の状態から状況を認識していないと判断された場合は直ちに警告を発報する。
逆に運転手が状況を把握していると判断された場合は、直ちに警告の発報を行わないが、更に自車との距離が縮まったと判断された場合は警告を発報する

加えて、自車が停止している状態で右後方より移動体が接近した場合、映像フレーム単位の位置を測定する事で、自車との距離が危険と判断される距離まで縮まった際に、運転手の状態から状況を認識していないと判断された場合は直ちに警告を発報する。
逆に運転手が状況を把握していると判断された場合は、直ちに警告の発報を行わないが、更に自車との距離が縮まったと判断された場合は警告を発報する

更に自車が後退動作を行っている際に、右後方に物体を検知した場合、映像フレーム単位の位置を測定する事で、自車との距離が危険と判断される距離まで縮まった際に、運転手の状態から状況を認識していないと判断された場合は直ちに警告を発報する。
逆に運転手が状況を把握していると判断された場合は、直ちに警告の発報を行わないが、更に自車との距離が縮まったと判断された場合は警告を発報する

また、左後方に走行車線内部に入る様に車両などの物体が接近した場合、運転手の状態に関わらず警告を発報する。
左後方を移動中の移動体を検知している際に、自車が現在走行している車線から左側に移動した際に、移動先の車線を走行中の移動体との映像フレーム単位の位置を測定する事で、自車との距離が危険と判断される距離まで縮まった際に、運転手の状態から状況を認識していないと判断された場合は直ちに警告を発報する。
逆に運転手が状況を把握していると判断された場合は、直ちに警告の発報を行わないが、更に自車との距離が縮まったと判断された場合は警告を発報する

加えて、自車が停止している状態で左後方より移動体が接近した場合、映像フレーム単位の位置を測定する事で、自車との距離が危険と判断される距離まで縮まった際に、運転手の状態から状況を認識していないと判断された場合は直ちに警告を発報する。
逆に運転手が状況を把握していると判断された場合は、直ちに警告の発報を行わないが、更に自車との距離が縮まったと判断された場合は警告を発報する

更に自車が後退動作を行っている際に、左後方に物体を検知した場合、映像フレーム単位の位置を測定する事で、自車との距離が危険と判断される距離まで縮まった際に、運転手の状態から状況を認識していないと判断された場合は直ちに警告を発報する。
逆に運転手が状況を把握していると判断された場合は、直ちに警告の発報を行わないが、更に自車との距離が縮まったと判断された場合は警告を発報する

また、カメラ映像および映像解析部だけではなく、車載ネットワークから得られる情報、または車載センサー類から得られる情報、システム内蔵の車両状況取得センサー類から得られる情報を映像甲斐西部のデータと組み合わせて交通状況総合解析部で解析の精度を上げる事が可能である。

また警告の発報は社内の車載ネットワークを通じて行われるが、車載ネットワークが存在しない場合は、システム内蔵の表示装置、音声デバイスなどから行う。
外部警報出力端子を介してフラッシュ、バイブレーター、パトランプ等を接続し、警報の発報と同時に動作させる事も可能である。

また、モバイルネットワークを利用して、取得した映像データを含む全てのデータを外部へ送信、また外部からもモバイルネットワークを通じて操作により警告表示や、ボイスチャットによる双方向通話を可能とする。

更に多重録画装置には、全てのカメラの映像、映像解析部のデータ、車載ネットワークまたは車載センサーからの情報、システム内蔵の車両状況取得センサーの情報、交通状況総合解析部の判断結果などの記録を可能とする。

上述したように本発明の事故発生予測装置は、運転手の状態を把握すると同時に車両の前方、後方、左右後方の状況も解析し脅威を判断可能な為に、より確実な事故防止システムを提供できる。

また、カメラ映像や各解析部の解析結果、交通状況総合解析部の判定結果などを保存、蓄積し、モバイルネットワークを通じて外部へ送信を可能とする事で、解析の精度向上も可能とするものである。

本発明を実施するための機能構成図である。 事故予測システムを構築するための概略構成図である。 事故予測システムで必要なカメラの設置場所に対する説明である。 ルームミラーカメラにおける、顔認識を利用した人物認識に対する説明である。 ルームミラーカメラにおける、後方映像の説明図である。 運転手の状態の検知に関する説明である。 前方映像解析部で行われる処理の説明である。 前方映像解析部で行われる前方車との距離による判定の説明である。 前方映像解析部で行われる行き止まりの場合の判定、前方に障害物が発生した場合の説明である。 前方映像解析部で行われる自動二輪、自転車のすり抜けの場合の判定の説明である。 前方映像解析部で行われる移動体が他車線より自車線に移動してきた場合の判定の説明である。 前方映像解析部で行われる路肩に停止していた物体が移動を開始した、Ｔ字路、十字路などより車両が合流してきた場合の判定の説明である。 前方映像解析部で行われる道路を横断する移動体（歩行者、自転車等）に対する判定の説明である。 前方映像解析部で行われる対向の移動体が自車線を越えて自車に接近した時の判定の説明である。 前方映像解析部で行われる信号機の判定の説明である。 前方映像解析部で行われる前方物体が移動体に変化した場合の判定の説明である。 前方映像解析部で行われる道路に施されるペイントの判定の説明である。 前方映像解析部で行われる標識の判定の説明である。 後方映像解析部で行われる処理の説明である。 後方映像解析部で行われる後方車との距離による判定の説明である。 後方映像解析部で行われる他車線からの合流車両による判定の説明である。 後方映像解析部で行われる後退時の物体との処理の説明である。 右後方映像解析部で行われる処理の説明である。 右後方映像解析部で行われる他車線からの合流車両、自車線内のすり抜けによる判定の説明である。 右後方映像解析部で行われる右折時の歩行者巻き込み判定の説明である。 右後方映像解析部で行われる後退時の物体判定の説明である。 左後方映像解析部で行われる処理の説明である。 左後方映像解析部で行われる路肩または、側道からの合流車両による判定の説明である。 左後方映像解析部で行われる他車線からの合流車両による判定、自車線内のすり抜けの説明である。 左後方映像解析部で行われる左折時の歩行者巻き込み判定の説明である。 左後方映像解析部で行われる後退時の物体判定の説明である。 モバイルインターネットを利用した外部との接続機能の説明である。

以下、本発明の実施の形態を図１〜図３２に基づいて説明する。

図１はシステムの構成図である。
１０は車内および自車の後方を映し出すルームミラーカメラで、出力される映像信号は、１１の運転手状態映像解析部および、２１の後方映像解析部に入力される。
２０は自車の後部を映し出す後方カメラで、出力される映像信号は２１の後方映像解析部に入力される。
３０は自車の前部を映し出す前方カメラまたはステレオカメラで、出力される映像信号は３１の前方映像解析部に入力される。
４０は自車の右後部を映し出す右後方カメラで、出力される映像信号は４１の右後方映像解析部に入力される。
５０は自車の左後部を映し出す左後方カメラで、出力される映像信号は５１の左後方映像解析部に入力される。
１１の運転手状態映像解析部、２１の後方映像解析部、３１の前方映像解析部、４１の右後方映像解析部、５１の左後方映像解析部では、入力された映像を解析し、結果を最終的な判断を行う７０の交通状況総合解析演算部に送信する。
同時に２１の後方映像解析部、３１の前方映像解析部、４１の右後方映像解析部、５１の左後方映像解析部に入力される映像信号はスルー出力され、７１の多重映像録画装置に入力され録画される。
多重装置には映像だけではなく、各情報解析部の解析データ、７０の交通状況総合解析演算部の演算結果データも同時に保存する事も可能である。
７０の交通状況総合解析演算部では、６０の車載ネットワークから送信される車速センサー、アクセルポジションセンサー、ブレーキセンサー、転舵角センサー、ギアポジションセンサーなどの車両の状態センサーと、システム内蔵のＧＰＳ、加速度センサー、ジャイロセンサー、傾斜角センサー、電子コンパスなどの車両状況取得センサーとのデータと、各解析部より送信される解析データを総合的に判断し、警告が必要な場合は、８０の車載ネットワーク接続出力デバイス、８１のシステム内蔵表示装置、音声デバイス、８２の外部接続機器に警報出力を行う。
また、７１の多重映像録画装置に入力されたリアルタイム映像と、録画映像、１１の運転手状態映像解析部、２１の後方映像解析部、３１の前方映像解析部、４１の右後方映像解析部、５１の左後方映像解析部の解析結果と、７０の交通状況総合解析演算部の演算結果は９０のモバイルネットワークモジュール部を通じて、インターネット経由で外部よりデータを取得できる。また外部と８１のマイクスピーカーを使用することで通話も可能で、またナビゲーションの様に外部から一方的に音声を送る事も可能。

図２はシステムの概略図である。
システムユニットボックスには、図１の１００の太枠線内よりカメラを除いた機能を持った電子機器が格納されており、入力される各カメラ映像の解析、車載ネットワークからのデータにより導き出される脅威を判定し、脅威があれば車載ネットワーク、外部接続機器に信号を送信する。
また、モバイルネットワークで接続される外部のパソコンへデータの送信、外部パソコンからの音声伝達、ボイスチャットを可能とする。

図３はカメラの設置に関する概略図である。
▲１▼は運転手および後方監視用のルームミラーカメラ、▲２▼と▲３▼は前方監視用のステオカメラで、このカメラはステレオカメラを用いずに通常の単独カメラでも可能である。
また▲１▼、▲２▼、▲３▼については上部ではなく、フロントパネル上に設置も可能とする。
▲４▼は右後方監視用のカメラで右バックミラーの周辺に設置する。▲５▼は左後方監視用のカメラで左バックミラーの周辺に設置する。
▲６▼は後方監視用のカメラで、車体が長い車や、後方の視界が塞がれているトラックなどで、▲１▼のルームミラーカメラの補助として設置できる。

図４は顔認識による人物判定と、運転手特定の概略図である。
ルームミラーカメラ映像より顔認識（間隔が広い黒点線枠）により人物を判定し、ハンドルの有無によって運転手（間隔の狭い黒点線枠）を特定する。
これにより同乗者が居る状態での左ハンドルの場合も正確に特定が可能
夜間、トンネル内、悪天候の場合の照度不足でルームミラーカメラの人物特定が難しい場合はカメラ前面に赤外線照射ランプなどを置く事で対応を可能とする。

図５は車体後部窓より自車後方の物体、移動体の認識を行う概念図である。
ルームミラーカメラ映像より、後部窓の範囲を特定（間隔の狭い白点線枠）し、その範囲内の車両後部の移動体、障害物を検知する。
自動車や二輪車の車両種類の特定ができない場合でもまとめて移動体として認識し、自車との距離などを算出して処理を行う。
車の構造などで後部映像の取得が困難の場合は、後部カメラとして利用しない事も可能

図６は運転手の状態の判定の概念図である。
（１）正常な状態とは、適度に左右に視線が動き、顔の向きを変えてもすぐ正面を向き、身体の向きは進行方向に正対し、こまめにハンドル操作を行っているなどの状態である。
（２）よそ見は、視線が前方正面以外に固定される、頭の向きが正面以外を向き続ける、身体の向きが斜めに固定される、ハンドル操作が行われない等を総合的に判断した状態である。
カーナビゲーションシステムや、スマートフォン、タブレット端末の画面に目が固定される様な事を言う。
（３）うたた寝は、完全に寝入ってはいないが疲労などで、目を閉じる、開くを頻繁に繰り返す、身体が不規則に前後左右に動く、自車の挙動がふらつく等の状態である。
居眠りは目を閉じた状態が続き、頭の位置が下がる、身体が不規則に前後左右に動く、自車の挙動がふらつく等の状態である。
この場合は即座に警報を発報し、覚醒を促す。

図７は前方解析部の内部で処理される、画像解析イメージ図である。
路側帯、車線を認識し、現在走行中の車線を特定する。黒の点線は識別した車線のラインである。前方の物体を解析し、物体が停止しているか、移動しているか、車両であるか、物体との距離は何メートルで、自車の車速から計算して何秒後に最接近するを判断する。白の点線枠は認識した車両で、数字はその物体までの距離である。
更に、前方解析部は路肩、走行車線の識別、走行車線の区別（グリーンゾーンなど）、標識、道路上の横断歩道、止まれのペイント、信号、前方の物体（移動体含む）を検出し、自車の走行に脅威が存在しないかを判断する。
路肩に物体が有る場合は、車両であればブレーキランプや方向指示器より自車の前に割り込んでくる可能性を判定しつつ、更にその物体が移動しないかを通過するまで監視する。
前方中に移動体が有る場合は、その移動体との車間距離は適切か、自車は走行車線を逸脱していないか、標識に自車の走行に影響するものがないかを判断する。

図８は前方解析部の内部で処理される、前方車警戒のイメージ図である。
前方車との距離による判定方法
（１）警戒エリア後方を走行（警告無し）
（２）走行中に前方車がブレーキＯＮまたは自車がアクセルＯＮで警戒エリア１内に突入
運転手の状態を判断 正常であれば警報は出さない、よそ見などの場合は警報を発報
（３）さらに前車との距離が接近し、警戒エリア２内に突入
車載ネットワークや車載センサー、内蔵のセンサーなどで減速を検知し、衝突せずに停止可能の場合、警報は出さない。
減速を検知しない状態であれば警報を発報、更に追突の危険性があれば、車載ネットワークを通じて 自動ブレーキを指示する。

図９は前方解析部の内部で処理される、前方障害物警戒のイメージ図である。
（１）Ｌ字路や、壁などの進行方向が行き止まりの場合の判定方法
前方車との判定同様に警戒エリア１では運転手の状態により、警告を出すか判断。
警戒エリア２では既に減速処理が行われている事を判定した場合は何もせず、行われて無い場合は警報を発報、更に追突の危険性があれば、車載ネットワークを通じて自動ブレーキを指示する。
（２）進行方向に障害物が発生した場合の判定方法（固定障害物）
動きを検出し、移動体ではなく固定の障害物と判定した場合、前方車との判定同様に警戒エリア１では運転手の状態により、警告を出すか判断
警戒エリア２では既に回避処理が行われている事を判定した場合は何もせず、行われて無い場合は警報を発報、更に追突の危険性があれば、車載ネットワークを通じて自動ブレーキを指示する。

図１０は前方解析部の内部で処理される、同一走行車線をすり抜ける移動体の判定イメージ図である。
（１）自動車以外の自動二輪車、自転車（同一走行車線の移動体）などのすり抜けの判定方法
自車が停止または徐行中の場合は警告は抑制する。また自車と移動体の大きさ、距離、相対速度を把握し、衝突の可能性を判断する。
一定以上の速度で走行中に後方より移動体が危険エリア内に入った場合は運転手の状態により警告を出すか判断する。（但し、後方画像解析検知部が既に検知して警報を出している場合は、継続する）
エリアを抜けるまで監視を続け、進行方向を塞いで衝突の可能性が発生した場合は警報を発報し、車載ネットワークを通じて自動ブレーキを指示する。
（２）すり抜けた移動体が安全な位置まで離れるまでの判定方法
警戒エリア２では、進行方向を塞いた場合は警報を発報、更に追突の危険性があれば、車載ネットワークを通じて自動ブレーキを指示する。
警戒エリア１では、進行方向を塞いで衝突の可能性が発生した場合は運転手が正常以外の場合は警告を発報する。
警戒エリア１より離れた場合は、全ての警告を停止する。

図１１は前方解析部の内部で処理される、移動体が、他車線より自車線に移動してきた場合の判定の判定イメージ図である。
自車線内に突入してきた段階で、自車線内のすり抜け（図１０）と同じ判定を行う。

図１２は前方解析部の内部で処理される、停止していた物体が移動体となり自車線に移動してきた場合の判定イメージ図である。
（１）路肩に停止していた物体が移動体になった場合の判定方法
停車中の車両が走行し始めた（物体が移動体に変化した）場合の判定方法
自車線内に突入してきた段階で、自車線内のすり抜け（図１０）と同じ判定を行う。
（２）側道で一時停止していた物体が移動体になった場合の判定方法
側道から合流しようとしている移動体が自車車線内に突入してきた段階で、自社内のすり抜け（図１０）と同じ判定を行う。

図１３は前方解析部の内部で処理される、自車線を横断する移動体（人間または自転車などの軽車両）の判定イメージ図である。
自車と移動体の距離と相対速度、移動体のベクトルを把握し、節食の可能性を判断する。
（１）の様に検出時点で自車の前方中央にいるが、その位置に到達時に接触の可能性が無いと判断される場合は、なにもしない。
（２）の様に衝突の危険性が有る場合、前方車との判定同様に警戒エリア１では運転手の状態により、警告を出すか判断。
警戒エリア２では既に減速処理が行われている事を判定した場合は何もせず、行われて無い場合は警報を発報、更に追突の危険性があれば、車載ネットワークを通じて自動ブレーキを指示する。

図１４は前方解析部の内部で処理される、対向移動体との距離による判定イメージ図である。
対向車線を走行している移動体が、（１）の様に中央車線を越えて自車線内に突入した場合、警戒エリア１〜２、危険エリアのいずれの場合も運転手の状態に関わらず直ちに警報を発報する
（２）の様に車線を逸脱した移動体が自車線内より去った場合は警報を止める。

図１５は前方解析部の内部で処理される、信号機の判定イメージ図である。
（１）は信号の色の配置を示したものである。
（２）の場合、信号の変化を検知して、走行中に青から赤に変化した場合に運転手の状態が異常か、また安全に停止できない位置に近づいているのに減速操作が無い場合は停止を促す警告を発報し、更に追突の危険性があれば、車載ネットワークを通じて自動ブレーキを指示する。
（３）の場合、停車中に、赤から青の変化を検知しても停止したままの場合は発進促進警告を発報する。

図１６は前方解析部の内部で処理される、前方移動体の移動判定イメージ図である。
前方の物体の後方に停車していた時に、前方の物体が移動体に変化し、自動車１台分の距離を離れた場合は警告を行う。

図１７は前方解析部の内部で処理される、道路上のペイントの検知イメージ図である。
（１）横断歩道を検知した時に、運転手の状態が異常だった場合は、横断歩道警報発報する。
（２）一時停止を検知した時に、運転手の状態が異常だった場合は、停止警報を発報する。
（３）道路全体がペイントされているゾーンを検知した場合は、スクールゾーン注意警報を発報する。

図１８は前方解析部の内部で処理される、道路標識の検知イメージ図である。
（１）通行止め標識を検知し、運転手の状態が異常または直進しようとした時に進入禁止警報を発報
（２）車両通行止め標識を検知し、運転手の状態が異常または直進しようとした時に進入禁止警報を発報
（３）車両進入禁止標識を検知し、運転手の状態が異常または直進しようとした時に進入禁止警報を発報
（４）一時停止標識を検知し、運転手の状態が異常または安全に停止できない距離で減速を行わない時に停止警報を発報
（５）徐行標識を検知し、運転手の状態が異常または徐行速度に減速を行わない時に徐行警報を発報
（６）最高速度制限標識を検知し、運転手の状態が異常または指定速度を超えている時に速度超過警報を発報

図１９は後方解析部の内部で処理される、画像解析イメージ図である。
路側帯、車線を認識し、現在後方を走行中の車線を特定する。黒の点線は識別した車線のラインである。後方の物体を解析し、物体が停止しているか、移動しているか、車両であるか、物体との距離は何メートルで、自車の車速から計算して何秒後に最接近するかを判断する。白の点線枠は認識した車両で、数字はその物体までの距離である。
更に、後方解析部は路肩、走行車線の識別、後方の物体（移動体含む）を検出し、自車の走行に脅威が存在しないかを判断する。
自車の左右に物体が有る場合は、その物体が移動しないかを一定距離まで監視する。
後方の同一車線に移動体が有る場合は、その移動体との車間距離は適切かを監視する。
後方の同一車線以外に移動体が有る場合は、その移動体が車線を逸脱しないか、自車と一定距離を保っているかを監視する。
また、ギアポジションがバックの時は、後方に移動体を含む物体が有る場合は、その移動体との車間距離は適切か、物体と接触の危険性はないか等、自車の走行に影響する可能性が無いかを判断する。

図２０は後方解析部の内部で処理される、後方移動体接近時の画像解析イメージ図である。
（１）後方移動体が警戒エリア後方を走行は警報は行わない。
（２）走行中に後方車がアクセルＯＮで加速または自車がブレーキＯＮで警戒エリア１内に突入した場合、運転手の状態を判断し正常であれば警報は出さない、異常の場合は警報を発報
（３）さらに前車との距離が接近し、警戒エリア２内に突入
車載ネットワークや車載センサー、内蔵のセンサーなどで自車の回避や加速を検知し、車間距離を保った場合は警報は出さない。
加速や回避を検知しない状態であれば警報を発報する。

図２１は後方解析部の内部で処理される、他車線の後方移動体が自車線に移動してきた時の画像解析イメージ図である。
自車線内に突入してきた段階で、警告エリア１に突入してきた場合は、運転手の状態が異常の場合は警告を行う。
警告エリア２に突入した場合、車載ネットワークや車載センサー、内蔵のセンサーなどで加速や転舵を検知し、衝突する可能性が低い場合は警報を出さない。
回避行動を検知しない状態であれば警報を発報する。

図２２は後方解析部の内部で処理される、後退時の物体検知の画像解析イメージ図である。
（１）の様に後退にてＵターンを行う場合、後方に物体（移動体を含む）が存在し、自車に移動または後方物体の移動により、距離が接近し接触の可能性が出た時点で後退時物体接近警報を発報する。
（２）に様に後退にて駐車を行う場合、後方より移動体が横切った場合は移動体との距離とベクトルを計算し、接触の可能性が出た時点で後退時物体接近警報を発報する。
また、移動体が通り過ぎた後も、後方の壁に追突しないかの判定を継続して行い、追突の危険性がある場合は停止警報を発報する。

図２３は右後方解析部の内部で処理される、画像解析イメージ図である。
中央分離帯を含む車線を認識し、現在右後方を走行中の車線を特定する。黒の点線は識別した車線のラインである。後方の物体を解析し、物体が停止しているか、移動しているか、車両であるか、物体との距離は何メートルで、自車の車速から計算して何秒後に最接近するかを判断する。白の点線枠は認識した車両で、数字はその物体までの距離である。
更に、後方解析部は中央車線、走行車線の識別、右後方の物体（移動体含む）を検出し、自車の走行に脅威が存在しないかを判断する。
自車の右に物体が有る場合は、その物体が移動しないかを一定距離まで監視する。
右後方の同一車線以外に移動体が有る場合は、その移動体が車線を逸脱しないか、自車と一定距離を保っているかを監視する。
また、ギアポジションがバックの時は、右後方に移動体を含む物体が有る場合は、その移動体との車間距離は適切か、物体と接触の危険性はないか等、自車の走行に影響する可能性が無いかを判断する。

図２４は右後方解析部の内部で処理される、後方から自車の危険エリアに突入した時の画像解析イメージ図である。
（１）他車線より自車線に移動してきた場合、危険エリアに突入、もしくは対象移動体の距離が接触する危険性がある範囲に入った場合に警報を行う。
（２）自動車以外の自動二輪車、自転車（同一走行車線の移動体）などがすり抜けて来た場合、自車が停止または徐行中の場合警告は行わない。また自車と移動体の大きさ、距離、相対速度を把握し、衝突の可能性を判断し、徐行以上の速度で走行中に後方より移動体が危険エリア内に入った場合は警告を発報する。
しかし危険エリア突入後の後方車との相対距離に変化が無い場合は警告を出さない。

図２５は右後方解析部の内部で処理される、自動車、自動二輪車以外の自転車、歩行者の右折時の（同一走行車線の移動体）巻き込みなどの画像解析イメージ図である。
自車が右折動作を行う際に、移動体を検知した場合自車の動きと移動体の移動速度、ベクトル、相対距離などから衝突の可能性を判断する。衝突の危険があれば、運転手の状態が異常の場合警告を発報し、更に追突の危険性があれば、車載ネットワークを通じて自動ブレーキを指示する。

図２６は右後方解析部の内部で処理される、後退時の画像解析イメージ図である。
（１）後退時に移動体が自車の右側面に移動してきた場合、自車と移動体の大きさ、距離、相対速度を把握し、衝突の可能性が有る場合は警告を発報する。
（２）後退時に物体が自車の右側面に出現した場合、自車と物体の大きさ、距離を把握し、衝突の可能性が有る場合は警告を発報する。

図２７は左後方解析部の内部で処理される、画像解析イメージ図である。
路側帯を含む車線を認識し、現在左後方を走行中の車線を特定する。黒の点線は識別した車線のラインである。後方の物体を解析し、物体が停止しているか、移動しているか、車両であるか、物体との距離は何メートルで、自車の車速から計算して何秒後に最接近するかを判断する。白の点線枠は認識した車両で、数字はその物体までの距離である。
更に、後方解析部は路側帯、走行車線の識別、左後方の物体（移動体含む）を検出し、自車の走行に脅威が存在しないかを判断する。
自車の左に物体が有る場合は、その物体が移動しないかを一定距離まで監視する。
左後方の同一車線以外に移動体が有る場合は、その移動体が車線を逸脱しないか、自車と一定距離を保っているかを監視する。
また、ギアポジションがバックの時は、左後方に移動体を含む物体が有る場合は、その移動体との車間距離は適切か、物体と接触の危険性はないか等、自車の走行に影響する可能性が無いかを判断する。

図２８は左後方解析部の内部で処理される、停止していた物体が移動体となった時の画像解析イメージ図である。
（１）自車線内に突入してきた移動体との距離が、接触する危険性がある範囲に入った場合に警報を行う。
（２）側道から合流しようとしている移動体が自車車線内に突入してきた、移動体との距離が、接触する危険性がある範囲に入った場合に警報を行う。

図２９は左後方解析部の内部で処理される、後方から自車の危険エリアに突入した時の画像解析イメージ図である。
（１）他車線より自車線に移動してきた場合、危険エリアに突入、もしくは対象移動体の距離が接触する危険性がある範囲に入った場合に警報を行う。
（２）自動車以外の自動二輪車、自転車（同一走行車線の移動体）などがすり抜けて来た場合、自車が停止または徐行中の場合警告は行わない。また自車と移動体の大きさ、距離、相対速度を把握し、衝突の可能性を判断し、徐行以上の速度で走行中に後方より移動体が危険エリア内に入った場合は警告を発報する。
しかし危険エリア突入後の後方車との相対距離に変化が無い場合は警告を出さない。

図３０は左後方解析部の内部で処理される、自動車、自動二輪車以外の自転車、歩行者の左折時の（同一走行車線の移動体）巻き込みなどの画像解析イメージ図である。
自車が左折動作を行う際に、移動体を検知した場合自車の動きと移動体の移動速度、ベクトル、相対距離などから衝突の可能性を判断する。衝突の危険があれば、運転手の状態が異常の場合警告を発報し、更に追突の危険性があれば、車載ネットワークを通じて自動ブレーキを指示する。

図３１は左後方解析部の内部で処理される、後退時の画像解析イメージ図である。
（１）後退時に移動体が自車の左側面に移動してきた場合、自車と移動体の大きさ、距離、相対速度を把握し、衝突の可能性が有る場合は警告を発報する。
（２）後退時に物体が自車の左側面に出現した場合、自車と物体の大きさ、距離を把握し、衝突の可能性が有る場合は警告を発報する。

図３２はモバイルネットワーク接続の概略図である。
モバイルネットワークおよびインターネット経由で外部より、現在のカメラデータ、録画データ、システム内の警告データ、運転手の状態データなどがリアルタイムに取得でき合わせて、運転手とリアルタイムで会話が可能。
また、複数の車両を一元管理も可能とする。

Ａ１ 警戒エリア１（通常操作で安全に停止できる制動距離）
Ａ２ 警戒エリア２（急制動で停止できる制動距離）
Ａ３ 危険エリア（急制動以外の操作による回避が必要）
Ａ３ 移動監視エリア（前方物体の移動を監視）
ＡＬ１ 運転手状態異常時警報発報
ＡＬ２ 追突予測警報発報
ＡＬ３ 停止警報発報
ＡＬ４ 発進警報発報
ＡＬ５ 横断歩道警報発報
ＡＬ６ スクールゾーン警報発報
ＡＬ７ 進入禁止警報発報
ＡＬ８ 徐行警報発報
ＡＬ９ 速度超過警報発報
ＡＬ１０ 後退時物体接近警報
Ｂ１ ブレーキランプ点灯
Ｂ１ ブレーキランプ点灯継続
Ｃ１ 自車走行車線前方に検出した物体
Ｃ２ 自車走行車線以外の車線上に検出した物体
ＣＭ１ ルームミラーカメラ
ＣＭ２ 前方監視ステレオカメラ（右）
ＣＭ３ 前方監視ステレオカメラ（左）
ＣＭ４ 右後方監視カメラ
ＣＭ５ 左後方監視カメラ
ＣＭ６ 後方監視カメラ
Ｄ１ 検出した物体との距離
Ｈ 人間や自転車などの物体
Ｌ１ 道路の路肩の境界線
Ｌ２ 走行中車線の左右のライン
Ｌ３ 中央分離帯、中央線のライン
Ｏ 落下障害物
ＲＳ１ 自車の走行に影響する交通標識

Claims (6)

1. ルームミラーカメラからの映像より運転者を顔認識し、瞳孔や表情など各情報により運転手の状態を把握する運転手状態映像解析部と、前方カメラまたは前方ステレオカメラからの映像を解析し、自車に接近してくる物体および距離、物体の種類の把握を行う前方映像解析部と、後方カメラからの映像を解析し、自車に接近してくる物体および距離、物体の種類の把握を行う後方映像解析部と、右後方カメラからの映像を解析し、自車に接近してくる物体および距離、物体の種類の把握を行う右後方前方映像解析部と、左後方カメラからの映像を解析し、自車に接近してくる物体および距離、物体の種類の把握を行う左後方前方映像解析部からの各データと、車載ネットワークからの情報または車載センサーからの情報または内蔵センサーの情報より判断を行い、判断結果で危険と判定された場合、車載ネットワークへの警告発報、システム内蔵デバイスへの警告発報、付随する出力機器への発報を行う事故発生予測装置
2. 前記運転手状態映像解析部は、カメラ映像の中より運転手の顔認識を行い、顔と判定された情報より運転手全体の人物を認識し、頭の位置、瞳孔、視線、表情、身体の向きや動きなどを総合的に判断する請求項１に記載の事故発生予測装置
3. 前記前方映像解析部は単一カメラまたはステレオカメラの映像の中より物体を検知し、判別し、物体の種類によって物体の挙動、物体との距離等から前方の危険性を判断する請求項１に記載の事故発生予測装置
4. 前記後方および左後方、右後方映像解析部は単一カメラの映像の中より物体を検知し、判別し、物体の種類によって物体の挙動、物体との距離等から後方の危険性を判断する請求項１に記載の事故発生予測装置
5. 前記交通状況総合解析演算部は、各映像解析部からの判断結果と、車載ネットワークまたは、車載センサーまたは、内蔵車両状況取得センサーによる自車の状態把握により総合的に状況を判断し、必要があれば接続されている出力装置を利用して警報を出力する事故発生予測装置
6. 前記ネットワークモジュール部は、各カメラからの映像データ、各映像解析部の解析データ、交通状態総合解析演算部の警告データを外部に送信する機能を有し、それに加え双方向のボイスチャットを可能とする事故発生予測装置。

Images