JP2021195016A - 車両周囲監視装置 - Google Patents

Abstract

【課題】自車の周囲の他車の自動運転レベルに応じて、その他車の運転手の状態を自車の運転手に、適切に通知する車両周囲監視装置を提供する。【解決手段】車両周囲監視装置１００は、自車の後方車両の自動運転レベルを認識する自動運転レベル認識部２０と、他車の運転手の状態を取得する後方車両運転状態判定部６１（後方車両運転状態認識部６１ｃ）と、自動運転レベルと許容される運転手の状態とを対応付けて記憶した自動運転ガイドラインＤＢ部４０と、自動運転レベルに対応付けられて自動運転ガイドラインＤＢ部４０に記憶された、許容される運転手の状態と取得された他車の運転手の状態とを比較して他車の運転手の状態が許容できるものか否かを判定する後方車両運転状態判定部６１（総合判定部６１ｄ）と、判定結果が許容できるものでない場合は、自車の運転手にその旨を通知する警告情報発信部６２と、を備える。【選択図】図１

Description

本発明は、車両周囲監視装置に関する。

自車の後方画像に基づいて、後方車の運転手の運転状態を識別する後方運転手状態識別部と、後方画像を含む自車の周囲画像に基づいて、自車の周辺状況を判断する周辺状況判断部と、後方運転手状態識別部で識別された運転状態および周辺状況判断部で判断された周辺状況に基づいて自車の自動運転を制御する自動運転部と、外部との通信を行う通信部とを備え、後方運転手状態識別部は、後方車の運転手の顔の向き、目の開閉の有無をパターンマッチングで判定することで運転状態を認識し、危険運転状態と判断される場合は、通信部を介して、後方車に危険運転状態であることを通知し、自動運転部は、後方車が危険運転状態と判断された場合は、周辺状況判断部で判断された周辺状況に基づいて、後方車との衝突を回避するように自動運転を制御する技術が提案されている（例えば、特許文献１参照）。

国際公開第２０１８／０９２２６５号

しかし、特許文献１に開示された技術は、後方車の運転手が例えばわき見をしていれば、後方車は危険運転状態にあることを自車の運転手に通知することになるが、後方車の自動運転レベルが高い場合は、必ずしも、危険運転状態といえないこともある。

本発明は上記事情に鑑みなされたものであり、自車の周囲の他車の自動運転レベルに応じて、その他車の運転手の状態を自車の運転手に、適切に通知する車両周囲監視装置を提供することを目的とする。

本発明は、自車の周囲に存在する他車の自動運転レベルを認識する自動運転レベル認識部と、前記他車の運転手の状態を取得する運転手状態取得部と、自動運転レベルと許容される運転手の状態とを対応付けて記憶した記憶部と、前記自動運転レベル認識部により認識した自動運転レベルに対応付けられて前記記憶部に記憶された前記許容される運転手の状態と、前記運転手状態取得部により取得された前記他車の運転手の状態とを比較して、前記他車の運転手の状態が許容できるものか否かを判定する判定部と、前記判定部による判定の結果が、許容できるものでない場合は、前記自車の運転手に、その旨を通知する通知部と、を備えた車両周囲監視装置である。

本発明に係る車両周囲監視装置によれば、自車の周囲の他車の自動運転レベルに応じて、その他車の運転手の状態を自車の運転手に、適切に通知することができる。

本発明の一実施形態に係る車両周囲監視装置の一例を示すブロック図である。 図１における後方車両運転状態判定部の詳細の構成を示すブロック図である。 図１，２に示した車両周囲監視装置の処理の流れを示すフローチャートである。 自動運転レベルと許容される運転手の状態及びＯＤＤの対応関係を規定した自動運転ガイドラインの一例を示す表である。

以下、本発明に係る車両周囲監視装置の具体的な実施の形態について、図面を参照して説明する。

（構成）
図１は本発明の一実施形態に係る車両周囲監視装置の一例を示すブロック図、図２は図１に示した後方車両運転状態判定部６１の詳細の構成を示すブロック図、図３は図１に示した車両周囲監視装置の処理の流れを示すフローチャート、図４は自動運転レベルと許容される運転手の状態及びＯＤＤの対応関係を規定した自動運転ガイドラインの一例を示す表である。

図１に示した後方車両監視装置１００は、本発明に係る車両周囲監視装置の一実施形態であり、車両（以下、自車という。）に設けられている。後方車両監視装置１００は、自車の周囲のうち、自車の主に後方を走行する他の車両（以下、他車という）を監視する。なお、本発明に係る車両周囲監視装置は、自車の後方を走行する他車のみを監視する後方車両監視装置１００だけでなく、自車の側方や側後方、前方や側前方当自車の周囲を走行する全ての他車を監視するものであってもよい。また、他車は１台に限定されず、複数であってもよい。

後方車両監視装置１００は、自動運転レベル認識部と、運転手状態取得部と、記憶部と、判定部と、通知部と、を備えている。

自動運転レベル認識部は、自車の後方を走行する他車（後方車両）の自動運転レベルを認識する機能を発揮するものであり、図１における自動運転レベル認識部２０が該当する。

自動運転レベル認識部２０は、後方車両である他車の通信部２００から出力された、当該他車の自動運転レベルを示す信号（自動運転レベル信号）を、後方車両監視装置１００の通信部５０で受信（取得）し、制御部６０を介して入力されたこの自動運転レベル信号により、当該他車の自動運転レベルを認識する。

ここで、自動運転レベルは、例えば、１から５の５段階に設定されているいずれか１つのレベルである。自動運転レベル１は、５段階のうちもっとも自動運転の実現度合が低いレベルであり、自動運転レベル２、自動運転レベル３、自動運転レベル４、自動運転レベル５という順序で、自動運転の実現度合が高く設定されている。

なお、他車の自動運転レベルは、上述した他車の通信部２００から出力された自動運転レベルを示す信号を自車の通信部５０で受信する車車間通信によって、取得し、認識するものに限定されない。すなわち、後述する、自車に設けられた後方監視カメラ１１０で、他車に表示された当該他車の自動運転レベルの表示そのものを読み取ったり、当該他車の車種や年式を認識して自動運転車両のＤＢ（データベース）に登録された当該他車の情報を参照することで当該他車の自動運転レベルを入手したりして、自動運転レベル認識部２０により認識するものであってもよい。

運転手状態取得部は、後方車両の運転手の状態を取得するものであり、自車に設けられた、自車の後方を監視する後方監視カメラ１１０によって撮像された後方車両の画像（画像信号）を取得して、その画像信号に信号処理を施す撮像信号処理部１０と、制御部６０の後方車両運転状態判定部６１における後方車両運転状態認識部６１ｃ（図２参照）とが該当する。

ここで、後方車両の運転手の状態は、一例として具体的には、
（ｉ）運転手が睡眠状態であるか又は睡眠状態でないかの別、
（ｉｉ）睡眠状態でない場合、すなわち、目を開けている状態であるが、手をステアリングホイールから離した状態（例えば、スマートフォン等を手で操作している状態）であるか又は手をステアリングホールに添えている状態かの別、
（ｉｉｉ）手をステアリングホイールに添えている状態である場合は、視線が前方ではなく、側方や後方又は下方を向いたわき見の状態か又は前方かの別、
を取得する。

記憶部は、例えば５段階の自動運転レベルと、各自動運転レベルにおいてそれぞれ許容される運転手の状態とを対応付けて記憶したものであり、自車に設けられたアンテナ１３０を通じて、外部のサーバから自動運転ガイドライン受信部３０によって受信した自動運転ガイドラインを記憶する自動運転ガイドラインＤＢ（データベース）部４０が該当する。

自動運転ガイドライン受信部３０は、例えば、自車の始動時（イグニッションスイッチ（又は通電）がオンになったとき）ごとに自動運転ガイドラインを受信する。

この自動運転ガイドライン受信部３０が受信する自動運転ガイドラインは、前述した５段階の自動運転レベル１〜５と、各自動運転レベル１〜５においてそれぞれ許容された運転手の状態とを対応付けられたものであり、例えば図４の表に示したものである。

図４の表に示した一例の自動運転ガイドラインは、自動運転レベル１においては、運転手の状態として、睡眠、スマートフォンの操作、及びわき見のいずれも許容されていない。

ここで、わき見は、視線が前方から外れた状態の一例であり、スマートフォンの操作は、手がステアリングホイールから離れた状態の一例であり、睡眠は、運転に必要とされる意識の集中状態に瞬時に戻らない状態の一例として設定されている。

なお、自動運転ガイドラインには、上述した許容される運転手の状態の他に、車両の運転環境として予め設定された範囲（ＯＤＤ：Operational Design Domain（運行設計領域））にあるか否かの別も条件として含まれる。

表に示した自動運転ガイドラインは、自動運転レベル２においては、運転手の状態として、睡眠、スマートフォンの操作、及びわき見のいずれも許容されていない。なお、自動運転ガイドラインにおける自動運転レベル１と自動運転レベル２とは、運転手の状態として許容される状態は同じであり、自動運転システムがサポートするハードウェアに差異がある。

具体的には、自動運転レベル１は、自動運転システムが、車両のステアリング操作又は加減速のいずれか一方をサポートし、自動運転レベル２は、自動運転システムが、車両のステアリング操作及び加減速の両方をサポートする。

表に示した自動運転ガイドラインは、自動運転レベル３においては、運転手の状態として、睡眠及びスマートフォンの操作は許容されていないが、わき見は許容されている。

表に示した自動運転ガイドラインは、自動運転レベル４においては、運転手の状態として、睡眠は許容されていないが、スマートフォンの操作及びわき見は許容されている。

表に示した自動運転ガイドラインは、自動運転レベル５においては、運転手の状態として、睡眠、スマートフォンの操作及びわき見のすべてが許容されている。なお、自動運転レベル１〜４は、いずれもＯＤＤが設定されているが、自動運転レベル５はＯＤＤが設定されていない。すなわち、自動運転レベル５は、任意の環境下で、睡眠、スマートフォンの操作及びわき見のすべてが許容された自動運転を実現しているレベルである。

自動運転ガイドラインＤＢ部４０は、上述した自動運転ガイドライン受信部３０から入力された自動運転ガイドラインを記憶するとともに、自動運転レベル認識部２０により認識された後方車両の自動運転レベルの入力を受ける。

そして、自動運転ガイドラインＤＢ部４０は、記憶された自動運転ガイドラインの５つの自動運転レベルのうち、自動運転レベル認識部２０から入力された後方車両の自動運転レベルに一致する自動運転レベルを選択し、その選択された自動運転レベルに対応付けられた自動運転ガイドラインにおける運転手に許容される状態とＯＤＤの有無とを、後方車両運転状態判定部６１の自動運転ガイドライン認識部６１ａ（図２参照）に出力する。

判定部は、自動運転レベル認識部（自動運転レベル認識部２０）により認識した自動運転レベルに対応付けられて記憶部（自動運転ガイドラインＤＢ部４０）に記憶された、許容される運転手の状態と、運転手状態取得部（撮像信号処理部１０）により取得された他車の運転手の状態とを比較して、他車の運転手の状態が許容できるものか否かを判定するものであり、制御部６０における後方車両運転状態判定部６１の総合判定部６１ｄが該当する。

後方車両運転状態判定部６１は、図２に示すように、自動運転ガイドライン認識部６１ａと、走行道路情報認識部６１ｂと、後方車両運転状態認識部６１ｃと、総合判定部６１ｄと、を備える。

自動運転ガイドライン認識部６１ａは、自動運転ガイドラインＤＢ部４０に記憶された自動運転ガイドラインを読み出して、各自動運転レベルに対応付けられた運転手の状態及びＯＤＤを認識する。

走行道路情報認識部６１ｂは、自車に設けられたカーナビゲーション部１２０から入力された自車の位置情報に基づいて、自車が走行している道路が、自動運転レベルに対応したＯＤＤに該当するか又は該当しないかの別を認識する。例えば具体的には、自動運転レベルに応じて設定されたＯＤＤとしては、自動車専用道路（高速道路や、その他高速道路に準じた特定の道路）であり、この場合、走行道路情報認識部６１ｂは、自車が走行している道路が自動車専用道路であるか又は自動車専用道路でないかの別を認識する。

後方車両運転状態認識部６１ｃは、前述したように、撮像信号処理部１０から入力された信号処理済みの撮像信号に基づいて、
（ｉ）運転手が睡眠状態であるか又は睡眠状態でないかの別、
（ｉｉ）睡眠状態でない場合、すなわち、目を開けている状態であるが、手をステアリングホイールから離した状態（例えば、スマートフォン等を手で操作している状態）であるか又は手をステアリングホールに添えている状態かの別、
（ｉｉｉ）手をステアリングホイールに添えている状態である場合は、視線が前方ではなく、側方や後方又は下方を向いたわき見の状態か又は前方かの別、
を認識する。

判定部は、自動運転レベル認識部（自動運転レベル認識部２０）により認識した自動運転レベルに対応付けられて記憶部（自動運転ガイドラインＤＢ部４０）に記憶された、許容される運転手の状態と、運転手状態取得部（撮像信号処理部１０）により取得された他車の運転手の状態とを比較して、他車の運転手の状態が許容できるものか否かを判定するものであり、制御部６０における後方車両運転状態判定部６１の総合判定部６１ｄが該当する。

すなわち、総合判定部６１ｄは、後方車両運転状態認識部６１ｃにより認識された後方車両における運転手の状態（上記（ｉ），（ｉｉ），（ｉｉｉ）のいずれか）と、走行道路情報認識部６１ｂにより認識された自車の走行している道路と、に基づいて、後方車両の運転手の状態が、その後方車両の自動運転レベルに対応して、自動運転ガイドラインにおいて許容された状態であるか又は許容された状態でないかの別を、判定する。

通信部は、判定部による判定の結果が、後方車両の運転手の状態が、後方車両の自動運転レベルに対応して自動運転ガイドラインで許容された運転手の状態でないとき、自車の運転手に、その旨を通知し、また、後方車両の通信部２００に対してもその旨を通知するものである。

この通信部は、自車の運転手にその旨を通知するものとして、後方車両監視装置１００の制御部６０における警告情報発信部６２が該当し、後方車両の通信部２００に対してその旨を通知するものとして、通信部５０が該当する。

（動作）
以上のように構成された後方車両監視装置１００の動作を、図３に示したフローチャートを参照して説明する。

まず、自車の始動時に、自動運転ガイドライン受信部３０は、自動運転ガイドラインを受信し、自動運転ガイドラインＤＢ部に格納する（Ｓ１）。

自車の制御部６０は、自車の後方の所定範囲に、他車（後方車両）が存在するか否かを判定する（Ｓ２）。具体的には、制御部６０は、後方車両の通信部２００から自車の通信部５０に、車車間通信で後方車両である他車の自動運転レベルを取得したときは、後方車両が存在すると判定し（Ｓ２においてＹＥＳ）、通信部５０が車車間通信で他車の自動運転レベルを取得しないときは、後方車両が存在しないと判定する（Ｓ２においてＮＯ）。

なお、後方車両の存在の判定（Ｓ２）は、上述した車車間通信によるものの他、後方監視カメラ１１０によって撮像された画像に基づいて、後方車両を認識したか否かによって行ってもよいし、自車に、ソナー装置やレーダ装置、ＬｉＤＡＲ等を備えている場合は、それらのソナー装置やレーダ装置、ＬｉＤＡＲ等によって後方車両を検出したか否かによって行ってもよい。

制御部６０が、後方車両が存在すると判定したときは、通信部５０で受信した（Ｓ３）後方車両の自動運転レベルを、制御部６０から自動運転レベル認識部２０に出力し、自動運転レベル認識部２０は、その後方車両の自動運転レベルを字度運転ガイドラインＤＢ部に出力する。

自動運転ガイドラインＤＢ部４０は、入力された後方車両の自動運転レベルを、記憶した自動運転ガイドライン（図４）における各自動運転レベルを比較し、後方車両の自動運転レベルに一致した、自動運転ガイドラインにおける自動運転レベルに対応付けられた、許容された運転手の状態及びＯＤＤを、制御部６０における後方車両運転状態判定部６１の自動運転ガイドライン認識部６１ａに出力する。

また、自車のカーナビゲーション部１２０から、制御部６０における後方車両運転状態判定部６１の走行道路情報認識部６１ｂに、自車が走行中の道路の種別等が入力され、走行道路情報認識部６１ｂは、走行中の道路の種別等を判定する（Ｓ４）。判定した道路の種別は、総合判定部６１ｄに入力される。

道路の種別等の判定により、総合判定部６１ｄは、自動運転ガイドラインにおけるＯＤＤへの対応状況を特定することができる。

存在が確認されている後方車両について、後方監視カメラ１１０から入力された後方車両の画像を撮像信号処理部１０が信号処理して、後方車両運転状態認識部６１ｃに入力する（Ｓ５）。

後方車両運転状態認識部６１ｃは、入力された信号処理済みの後方車両の画像に基づいて、後方車両の運転手の状態を認識する。具体的には、例えば運転手の顔の向きに基づいて、わき見をしているか否か、例えばステアリングホイールに手が添えられているか否かと顔の向きとに基づいて、スマートフォン等を操作しているか否か、例えば目を閉じているか否かに基づいて、睡眠しているか否か、という運転手の状態を認識して、総合判定部６１ｄに出力する。

総合判定部６１ｄは、自動運転ガイドライン認識部６１ａから入力された、許容される運転手の状態と、走行道路情報認識部６１ｂから入力された走行中の道路の種別等の情報と、後方車両運転状態認識部６１ｃから入力された、後方車両の運転手の状態と、に基づいて、後方車両の運転手の状態が、その後方車両の自動運転レベルに対応して不適切であるか否かを判定する（Ｓ６）。

具体的には、走行中の道路が後方車両の自動運転レベルに対応している場合で、かつ後方車両の運転手の状態が、後方車両の自動運転レベルに許容された運転手の状態であるときは、総合判定部６１ｄは不適切とは判定せずに（Ｓ６においてＮＯ）、処理を継続する。

一方、走行中の道路が後方車両の自動運転レベルに対応していない場合や、走行中の道路が後方車両の自動運転レベルに対応している場合であるが、後方車両の運転手の状態が、後方車両の自動運転レベルに許容された運転手の状態でないときは、総合判定部６１ｄは不適切とは判定する（Ｓ６においてＹＥＳ）。

そして、総合判定部６１ｄが不適切と判定したときは、警告情報発信部６２が、自車の運転手に対して、注意を喚起する出力を行うとともに、通信部５０が後方車両に対して、注意喚起の警告を行って（Ｓ７）、処理を終了する。

以上、詳細に説明したように、本実施形態の後方車両監視装置１００は、自車の後方を走行する他車の自動運転レベルと走行している道路の種別等（ＯＤＤ）に応じて、当該他車の運転手の状態が許容された状態でない場合に、自車の運転手に通知し、当該他車の運転手の状態が許容された状態である場合は、自車の運転手に通知しないことで、自車の運転手に適切に通知を行うことができる。

そして、総合判定部６１ｄが不適切と判定したときは、警告情報発信部６２が、自車の運転手に対して、注意を喚起する出力を行うとともに、通信部５０が後方車両に対して、注意喚起の警告を行って（Ｓ７）、処理を終了する。

なお、本実施形態の後方車両監視装置１００は、自車の後方を走行する他車の自動運転レベルとＯＤＤに応じて、当該他車の運転手の状態が許容された状態であるか否かを判定するが、後方車両監視装置１００は、ＯＤＤにある場合に動作するという前提の場合は、後方車両監視装置１００は、自車の後方を走行する他車の自動運転レベルのみに応じて、当該他車の運転手の状態が許容された状態であるか否かを判定してもよい。

したがって、本発明に係る車両周囲監視装置も、自車の周囲を走行する他車の自動運転レベルとＯＤＤに応じて、当該他車の運転手の状態が許容された状態であるか否かを判定するものであってもよいし、その車両周囲監視装置が、ＯＤＤにある場合に動作するように設定されたものの場合は、車両周囲監視装置は、自車の周囲を走行する他車の自動運転レベルのみに応じて、当該他車の運転手の状態が許容された状態であるか否かを判定してもよい。

本実施形態の後方車両監視装置１００は、自車の後方を走行する他車の身を対象として取得、認識及び通知等の監視処理を行うものであるが、本発明に係る車両周囲監視装置は、自車の後方を走行する他車のみを対象とするのではなく、自車の側後方、側方、側前方、前方をそれぞれ走行する他車を監視処理の対象とするものであってもよい。

なお、自車の前方や側方や前方を走行する他車の運転手の状態は、自車に設けられた監視カメラでは取得することができない可能性があるが、この場合は、車車間通信により、監視対象となっている他車自体が有する、当該他車の社内を映すカメラの画像を取得したり、又は、監視対象の他車の前方を走行する別の他車の監視カメラの画像を取得したりすることで、得ることができる。

２０ ：自動運転レベル認識部
４０ ：自動運転ガイドラインＤＢ部
６１ ：後方車両運転状態判定部
６１ｃ ：後方車両運転状態認識部
６１ｄ ：総合判定部
６２ ：警告情報発信部
１００ ：後方車両監視装置

Claims (4)

1. 自車の周囲に存在する他車の自動運転レベルを認識する自動運転レベル認識部と、
   前記他車の運転手の状態を取得する運転手状態取得部と、
   自動運転レベルと許容される運転手の状態とを対応付けて記憶した記憶部と、
   前記自動運転レベル認識部により認識した自動運転レベルに対応付けられて前記記憶部に記憶された前記許容される運転手の状態と、前記運転手状態取得部により取得された前記他車の運転手の状態とを比較して、前記他車の運転手の状態が許容できるものか否かを判定する判定部と、
   前記判定部による判定の結果が、許容できるものでない場合は、前記自車の運転手に、その旨を通知する通知部と、を備えた車両周囲監視装置。
2. 前記自動運転レベルと許容される運転手の状態とを対応付けた自動運転ガイドラインを、前記自車の始動時に外部から受信する自動運転ガイドライン受信部を備え、
   前記記憶部は、前記自動運転ガイドライン受信部により受信した前記自動運転ガイドラインを記憶する請求項１に記載の車両周囲監視装置。
3. 前記自動運転レベル認識部は、前記他車から出力された前記他車の自動運転レベルを、前記自車が取得することにより、前記他車の自動運転レベルを認識するものである請求項１又は２に記載の車両周囲監視装置。
4. 前記自動運転レベル認識部は、前記他車に表示された前記他車の自動運転レベルを、前記自車が読み取ることにより、前記他車の自動運転レベルを認識するものである請求項１又は２に記載の車両周囲監視装置。

Images