JP2018151683A - 監視装置、方法、及びプログラム - Google Patents

Abstract

【課題】監視カメラの撮影範囲が遮蔽されている場合にその原因を判別できるようにする。【解決手段】監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる、前記運転者の状態を監視する監視装置にあって、前記監視カメラにより取得される映像が、前記ステアリングホイールの支持部材を含むか否かを、前記ステアリングホイールの操舵角に基づいて判定する判定部を具備する。【選択図】図２

Description

この発明は、車両の運転席に座する運転者の状態を監視する監視装置、方法、及びプログラムに関する。

近年、運転者の運転操作に基づいて車両を走行させる手動運転に加え、運転者の運転操作によらずに車両を走行させる自動運転の開発が進められている。自動運転では、例えば、ＧＰＳ（Global Positioning System）を利用したナビゲーションシステムの情報、路車間通信により取得される交通情報、及び周辺の人や車両の位置と動きとを監視する周辺モニタリングシステムの情報に基づき、パワーユニット、操舵装置、及びブレーキ等が制御される（例えば特許文献１を参照）。

自動運転では、自動化の度合いに応じてレベル０〜４が定義されている。最高レベルである自動運転レベル４の車両は、緊急時対応を含め、加速、操舵、及び制動のすべてを車両側で制御する。自動運転レベル４の車両に搭乗する運転者は、運転に関与する必要が無いため、運転席に座しているにも関わらず、書籍や携帯端末等へ注意を向けてしまうことも想定される。

ところで、自動運転は運転者の運転操作の負担軽減、及び交通渋滞の緩和等の効果が期待できるものの、走行開始から走行終了までのすべての運転操作を自動化することは現実的に困難である。このため、自動運転モードから手動運転モードへの切り替えを適切に行うことが求められている。運転モードを自動運転モードから手動運転モードに切り替える場合には、切り替えに先立ち運転者が手動運転操作可能な状態にあることを、例えば監視カメラにより確認する必要がある。

特開２０１５−１４１０５３号公報

ところが、監視カメラは、運転者の表情を正面から撮影するために、運転者から見てステアリングホイールの裏側の、メータパネル付近に設置される場合が多い。この場合、ステアリングホイールの回転角度によっては、ステアリングホイールの支持部材により監視カメラの撮影範囲が遮られてしまう。また、運転者が例えばガイドブック等の書籍や、スマートフォン等の携帯端末を見ている場合にも、監視カメラの撮影範囲は遮られる。

そこで、監視カメラの撮影範囲が障害物により遮られている場合には、運転者に対し障害物の除去を促すためのアナウンス等を行うことが考えられている。しかし、障害物には、書籍や携帯端末等のように運転者が手に持っている物ばかりでなく、先に述べたようにステアリングホイールの支持部材も含まれる。このため、監視カメラの撮影範囲が遮蔽されているからといって、一義的にアナウンスをすることは適切ではない。

この発明は上記事情に着目してなされたもので、監視カメラの撮影範囲が遮蔽されている場合にその原因を判別できるようにした監視装置、方法、及びプログラムを提供しようとするものである。

上記課題を解決するためにこの発明の第１の態様は、監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる、前記運転者の状態を監視する監視装置にあって、前記監視カメラにより取得される映像が、前記ステアリングホイールの支持部材を含むか否かを、前記ステアリングホイールの操舵角に基づいて判定する判定部を具備するようにしたものである。

この発明の第２の態様は、前記判定部が、前記監視カメラにより取得される映像を解析することで、前記映像に前記運転者以外の物体が含まれているか否かを判定する画像解析部と、前記画像解析部により前記映像に含まれていると判定された物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを、前記操舵角が予め設定された角度幅に含まれるか否かに基づいて判定する遮蔽判定部とを備えるようにしたものである。

この発明の第３の態様は、前記判定部が、前記映像に基づいて集中度を判定する集中度判定部をさらに備え、前記画像解析部は、前記集中度判定部により集中度が判定できない場合、前記集中度の判定に用いられた映像に、前記運転者以外の物体が含まれているか否かを判定し、前記遮蔽判定部は、前記集中度の判定に用いられた映像が取得された際の前記ステアリングホイールの操舵角に基づき、前記画像解析部により前記映像に含まれていると判定された物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを判定するようにしたものである。

この発明の第４の態様は、前記判定部が、前記遮蔽判定部により、前記映像に含まれていると判定された物体が前記ステアリングホイールの支持部材でないと判定された場合に、当該物体の除去を促す報知情報を発生させるための制御信号を出力する通知制御部をさらに備えるようにしたものである。

この発明の第１の態様によれば、判定部は、映像を解析することで映像が、ステアリングホイールの支持部材を含むか否かを、ステアリングセンサにより検出される操舵角に基づいて判定するようにしている。このため、判定部は、複雑な画像解析によらずに、監視カメラの撮影範囲を遮っている障害物が、ステアリングホイールの支持部材なのか否かを判定することが可能となる。

この発明の第２の態様によれば、画像解析部は、映像を解析することで映像に障害物が含まれているか否かを判定する。遮蔽判定部は、障害物を含んでいると判定された映像を取得した際のステアリングホイールの操舵角が、予め設定される角度幅内に含まれるか否かを判定する。そして、この操舵角が角度幅内に含まれない場合、遮蔽判定部は、映像に含まれている障害物が、ステアリングホイールの支持部材でないと判定するようにしている。このため、判定部は、複雑な画像解析によらずに、監視カメラの撮影範囲を遮っている物が、ステアリングホイールの支持部材なのか、それ以外の障害物なのかを正確に判別することが可能となる。

この発明の第３の態様によれば、画像解析部は、集中度判定部で集中度が判定できない場合、集中度判定部から通知される映像を解析することで映像に障害物が含まれているか否かを判定する。そして、遮蔽判定部は、映像に含まれていると判定された障害物が、ステアリングホイールの支持部材であるか否かを、集中度を判定できなかったと判定された映像を取得した際のステアリングホイールの操舵角に基づいて判定するようにしている。このため、判定部における処理を軽減することが可能となる。

この発明の第４の態様によれば、通知制御部は、遮蔽判定部により、映像に含まれていると判定された障害物がステアリングホイールの支持部材でないと判定された場合、この物体の除去を促すメッセージをアナウンスするための制御信号を出力するようにしている。このため、判定部は、障害物がステアリングホイールの支持部材か否かを判別した上で、障害物の除去を運転者へ促すことが可能となる。

すなわちこの発明の各態様によれば、監視カメラの撮影範囲が遮蔽されている場合にその原因を判別できるようにした監視装置、方法、及びプログラムを提供することができる。

この発明の一実施形態に係る運転モード切替制御装置を備えた自動運転制御システムの全体構成を示す図。 図１に示される運転モード切替制御装置の機能構成を示すブロック図。 図１に示されるドライバカメラの設置位置を表す図。 図２に示される運転モード切替制御装置に設けられる制御ユニットが通知装置を介して運転者へ障害物を移動させるように通知する際の手順を示すフローチャート。 本実施形態において想定されるドライバカメラの撮影範囲を遮蔽する障害物を表す図。

以下、図面を参照してこの発明に係わる実施形態を説明する。

［一実施形態］
（構成）
図１は、この発明の一実施形態に係る運転モード切替制御装置を備えた自動運転制御システムの全体構成の例を示す図で、この自動運転制御システムは乗用車等の車両１に搭載される。

車両１は、基本設備として、動力源、及び変速装置を含むパワーユニット２と、ステアリングホイール４が装備された操舵装置３とを備え、さらに運転モードとしては手動運転モードと自動運転モードとを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。

手動運転モードは、例えば、運転者（以下ドライバとも称する）の手動による運転操作を主体として車両１を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。

運転操作支援制御は、例えば、車両１のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作（例えばアクセルペダルの操作）またはブレーキ操作（例えばブレーキペダルの操作）を支援する制御と、手動操舵（操舵の手動運転）および手動速度調整（速度調整の手動運転）も含まれる。手動操舵は、運転者のステアリングホイール４の操作を主体として車両１の操舵を行う。手動速度調整は、運転者のアクセル操作又はブレーキ操作を主体として車両の速度調整を行う。

なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件（例えば車両の車線逸脱等）の下で車両の走行に強制的に介入する制御は含まれない。

自動運転モードは、例えば、車両の走行する道路に沿って自動で車両を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件の下で車両の走行に強制的に介入する制御が含まれる。

図１に示される自動運転制御システムは、自動運転モードによる運転制御を実行するための自動運転制御装置５を有している。自動運転制御装置５は、ステアリングセンサ９、アクセルペダルセンサ１０、ブレーキペダルセンサ１１、ＧＰＳ受信機１２、ジャイロセンサ１３、及び車速センサ１４からそれぞれセンシングデータを取得する。そして、これらのセンシングデータと、図示しないナビゲーションシステムで生成される経路情報、路車間通信により取得される交通情報、及び周辺の人や車両の位置と動きとを監視する周辺モニタリングシステムにより得られる情報をもとに、車両１の走行を自動制御する。

自動制御には、例えば、自動操舵（操舵の自動運転）と自動速度調整（速度の自動運転）とがある。自動操舵は、操舵装置３を自動で制御する運転状態である。自動操舵にはＬＫＡ（Lane Keeping Assist）が含まれる。ＬＫＡは、例えば、運転者がステアリング操作をしない場合であっても、車両１が走行車線から逸脱しないように自動で操舵装置３を制御する。なお、ＬＫＡの実行中であっても、車両１が走行車線を逸脱しない範囲（許容範囲）において運転者のステアリング操作を車両の操舵に反映してもよい。なお、自動操舵はＬＫＡに限らない。

自動速度調整は、車両１の速度を自動で制御する運転状態である。自動速度調整にはＡＣＣ（Adaptive Cruise Control）が含まれる。ＡＣＣとは、例えば、車両１の前方に先行車が存在しない場合は予め設定された設定速度で車両１を定速走行させる定速制御を行い、車両１の前方に先行車が存在する場合には先行車との車間距離に応じて車両１の車速を調整する追従制御を行うものである。自動運転制御装置５は、ＡＣＣを実行中であっても、運転者のブレーキ操作（例えばブレーキペダルの操作）に応じて車両１を減速させる。また自動運転制御装置５は、ＡＣＣを実行中であっても、予め設定された最大許容速度（例えば走行中の道路において法的に定められた最高速度）まで、運転者のアクセル操作（例えばアクセルペダルの操作）に応じて車両を加速させることもできる。なお、自動速度調整は、ＡＣＣに限らず、ＣＣ（Cruise Control：定速制御）等も含まれる。

また、図１に示される自動運転制御システムは、手動運転モードと自動運転モードとの間で設定を切り替えるための装置として、運転モード切替制御装置６と、ドライバカメラ７と、通知装置８と、ステアリングセンサ９とを備えている。

ドライバカメラ７は、例えば、運転者から見てステアリングホイールの裏側の、メータパネル付近に配置されている。ドライバカメラ７は、運転者を撮影することで取得されるデータである監視映像データを取得する。ドライバカメラ７は、取得した監視映像データを運転モード切替制御装置６へ出力する。通知装置８は、例えば、スピーカ等により実現され、運転モード切替制御装置６から出力される音声データに基づくメッセージを運転者へ通知する。ステアリングセンサ９は、ステアリングホイール４の操舵角を検出する。ステアリングセンサ９は、検出した操舵角を表す操舵角データを運転モード切替制御装置６へ出力する。

図２は、図１に示される運転モード切替制御装置６の機能構成の例を示すブロック図である。運転モード切替制御装置６は、自動運転制御装置５に対し、手動運転モードと自動運転モードとの間の切り替えを統括的に制御する装置である。なお、運転モード切替制御装置６は、本実施形態においては、監視装置と換言することも可能である。

図２によれば、運転モード切替制御装置６は、制御ユニット６１と、入出力インタフェースユニット６２と、記憶ユニット６３とを備えている。

入出力インタフェースユニット６２は、ドライバカメラ７から出力される監視映像データ、及びステアリングセンサ９から出力される操舵角データを受信する。入出力インタフェースユニット６２は、受信した監視映像データ、及び操舵角データを所定の方式に則って変換し、制御ユニット６１へ出力する。また、入出力インタフェースユニット６２は、制御ユニット６１から出力される音声データを通知装置８へ出力する。また、入出力インタフェースユニット６２は、制御ユニット６１から出力される運転モード切替制御信号を自動運転制御装置５へ出力する。

記憶ユニット６３は、記憶媒体として、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等の随時書き込み、及び読み出しが可能な不揮発性メモリ、並びに、ＲＡＭ（Random Access Memory）のような揮発性メモリ等により実現される。本実施形態を実施するために使用する記憶領域として、監視映像記憶領域６３１と、集中度記憶領域６３２と、履歴記憶領域６３３とを備えている。

制御ユニット６１は、コンピュータを構成するＣＰＵ（Central Processing Unit）、及びプログラムメモリを有する。制御ユニット６１では、プログラムメモリに格納されたプログラムをＣＰＵに実行させることにより、本実施形態を実施するために必要な制御機能である、監視映像取得制御部６１１と、集中度判定部６１２と、画像解析部６１３と、遮蔽判定部６１４と、通知制御部６１５と、運転モード切替制御部６１６とが実現される。なお、制御ユニット６１は、本実施形態において、判定部と換言することが可能である。

監視映像取得制御部６１１は、ドライバカメラ７により取得された映像データを取得する機能を有する。例えば、監視映像取得制御部６１１は、入出力インタフェースユニット６２から出力される映像監視データを受信する。監視映像取得制御部６１１は、受信した監視映像データを、所定のサンプリングレートで記憶ユニット６３の監視映像記憶領域６３１に記憶させる。

集中度判定部６１２は、監視映像取得制御部６１１により取得された監視映像データに基づいて集中度を判定する機能を有する。例えば、集中度判定部６１２は、予め設定された時間間隔で、予め設定される数の監視映像データを、監視映像記憶領域６３１から読み込む。集中度判定部６１２は、読み込んだ監視映像データに基づき、運転者の動き、及び／又は運転者の表情を認識する。集中度判定部６１２は、認識した運転者の動き、及び／又は運転者の表情を、予め定義されている運転者の動き、及び表情に関する判定基準に照合させ、運転者の運転に対する集中度を判定する。集中度判定部６１２は、集中度の判定結果を表す情報を運転モード切替制御部６１６へ出力する。また、集中度判定部６１２は、集中度の判定結果を表す情報を、タイムスタンプを付して集中度記憶領域６３２に記憶させる。

本実施形態において、集中度とは、運転者が運転にどれだけ適しているかを示す指標である。例えば、車両１を普通に運転している状態であれば、運転者の動きとしては、前方注視と、バックミラー、又はサイドミラーを見るための所定方向への注視等とが検出される。例えば、検出される運転者の動作が、前方注視と、所定方向への注視とでほぼ占められているような状態は、運転者が運転に十分に集中しているとみなされる。その逆に、例えば運転者が運転中、あまり前方を注視していなかったり、話をしていたり、眠そうであったり、口に食べ物を運んでいたり、あるいはあってはならないことであるが携帯電話、又はスマートフォンを操作していたり、通話しているような場合には、運転者は運転にあまり集中していないとみなされる。また、運転者の表情としては、例えば、運転者の眼の開眼の状態、まばたきの頻度、又は眼球運動等が検出される。

判定基準では、例えば、運転者の動きの例えば８０％以上が前方注視、又は所定方向への注視である場合、集中度が「高」と定義されている。また、判定基準では、例えば、運転者の動きの例えば２０％以上が前方注視、又は所定方向への注視であったり、運転者の動きに携帯電話、又はスマートフォンの操作、並びに通話の様子が含まれている場合、集中度が「低」と定義されている。集中度判定部６１２は、監視映像記憶領域６３１に記憶された監視映像データから認識した運転者の動きを、判定基準を参照して判定する。

画像解析部６１３は、読み込んだ監視映像データを解析し、監視映像データに運転者以外の物体が映り込んでいるか否かを判定する機能を有する。例えば、画像解析部６１３は、監視映像データを監視映像記憶領域６３１から読み込む。画像解析部６１３は、読み込んだ監視映像データを解析し、監視映像データに運転者以外の物体が映り込んでいるか否かを判定する。

遮蔽判定部６１４は、画像解析部６１３により映り込まれていると判定された物体が、ステアリングホイール４の支持部材であるか否かを判定する機能を有する。例えば、通知制御部６１５は、入出力インタフェースユニット６２から出力される操舵角データを受信する。通知制御部６１５は、受信した操舵角データにより表される操舵角が予め設定される遮蔽角度幅内に含まれるか否かに基づき、ドライバカメラ７がステアリングホイール４の支持部材により遮蔽された状態にあるか否かを判定する。

図３は、図１に示されるドライバカメラ７の設置位置の例を表す模式図である。ドライバカメラ７は、運転者から見てステアリングホイール４の裏側から車両１の後方へ向けて運転者を撮像する。そのため、ステアリングホイール４の操舵角によっては、ステアリングホイール４の支持部材４１−１〜４１−３によって撮影範囲が遮られることになる。本実施形態において、遮蔽角度幅とは、ドライバカメラ７の撮影範囲が支持部材４１−１〜４１−３によって遮られる操舵角の幅を表す。遮蔽角度幅は、例えば、車両１に搭載されるステアリングホイール４の形状に基づいて予め設定されている。

遮蔽判定部６１４は、画像解析部６１３により運転者以外の物体が映り込んでいると判定された監視映像データの取得時に、ステアリングホイール４の支持部材はドライバカメラ７の撮影範囲を遮蔽していないと判定した場合、画像解析部６１３により監視映像データに含まれていると判定された物体は、ステアリングホイール４の支持部材ではないと判定する。

通知制御部６１５は、ドライバカメラ７の撮影範囲に置かれている障害物を移動させる旨を運転者へ通知するように通知装置８を制御する機能を有する。例えば、通知制御部６１５は、遮蔽判定部６１４によりステアリングホイール４の支持部材でないと判定された障害物を移動させるように促す指示を運転者へ与えるように通知装置８を制御する。なお、このときの指示は、運転者の顔がドライバカメラ７の撮影範囲に入るように促す指示と換言することも可能である。

運転モード切替制御部６１６は、集中度判定部６１２で判定された集中度に基づき、手動運転モードと、自動運転モードとの間で設定を切り替えるように自動運転制御装置５を制御する。運転モード切替制御部６１６は、切替制御を表す情報を、タイムスタンプを付して履歴記憶領域６３３に記憶させる。

（動作）
次に、以上のように構成された運転モード切替制御装置６の動作を説明する。
図４は、図２に示される運転モード切替制御装置６に設けられる制御ユニット６１が通知装置８を介して運転者へ障害物を移動させるように通知する際の手順の例を示すフローチャートである。

まず、運転が開始されるとドライバカメラ７、及びステアリングセンサ９が起動する。ドライバカメラ７は、運転者の顔を含む所定の範囲を連続的に撮影する。ドライバカメラ７は、運転者を撮影することで得られた監視映像データを運転モード切替制御装置６へ出力する。なお、ドライバカメラ７は、ドライバの状態を判定する時間間隔より短い周期で間欠的にドライバを撮影してもよい。また、ドライバカメラ７、又は入出力インタフェースユニット６２は、映像信号を所定の符号化方式に応じて符号化するようにしても構わない。このようにすることで、監視映像データの情報量を減らして監視映像記憶領域６３１の記憶容量を節約することが可能となる。

ステアリングセンサ９は、ステアリングホイール４の操舵角を検出する。ステアリングセンサ９は、検出した操舵角を表す操舵角データを運転モード切替制御装置６へ出力する。

制御ユニット６１の画像解析部６１３は、入出力インタフェースユニット６２を介してドライバカメラ７から出力された監視映像データを受信する（ステップＳ４１）。また、遮蔽判定部６１４は、入出力インタフェースユニット６２を介してステアリングセンサ９から出力された操舵角データを受信する（ステップＳ４２）。

画像解析部６１３は、受信した監視映像データを解析する（ステップＳ４３）。監視映像データを解析するアルゴリズムには、既存の如何なるアルゴリズムが用いられても構わない。例えば、画像解析部６１３は、目、鼻、及び口等の顔器官の特徴点群で構成される３次元顔モデルを監視画像内の顔部分に当てはめるモデルフィッティングの手法により、顔の位置、顔の大きさ、顔の向き、及び各顔器官の位置等を認識する。また、画像解析部６１３は、顔の奥行方向（カメラの光軸方向）の位置（すなわち、ドライバカメラ７と顔との距離）については、監視映像データ内の顔の大きさ等から認識する。

画像解析部６１３は、解析結果に基づき、監視映像データに運転者以外の物体が映り込んでいるか否かを判定する（ステップＳ４４）。例えば、監視映像内で、３次元顔モデルのフィッティングが顔の一部に対して実施されない場合、画像解析部６１３は、ドライバカメラ７の撮影範囲が障害物により遮られていると判定する。また、運転者が運転席に存在しているにも関わらず、３次元顔モデルのフィッティングが顔全体で実施されない場合、画像解析部６１３は、ドライバカメラ７の撮影範囲が障害物により遮られていると判定する。

なお、運転手が運転席に存在していることの認識は、例えば、以下のように行われる。画像解析部６１３は、時系列に沿って得られる複数の監視映像データに対して３次元顔モデルをフィッティングさせ、運転者の顔を認識する。画像解析部６１３は、認識した顔をトラッキングする。トラッキングしている顔が監視映像中に位置する場合、画像解析部６１３は、運転手が運転席に存在していると判定する。一方、時間の経過に伴い、トラッキングしている顔が監視映像内からフレームアウトした場合、画像解析部６１３は、運転者は運転席から離席したと判定する。トラッキングしている顔が監視映像中においてフレームアウト以外の要因で突然消えた場合、画像解析部６１３は、運転者は運転席に存在はしているが、障害物によりドライバカメラ７の撮影範囲が遮られたと判定する。

画像解析部６１３は、ドライバカメラ７の撮影範囲が障害物により遮られていると判定すると（ステップＳ４４のＹｅｓ）、ドライバカメラ７の撮影範囲が障害物により遮られていることを表す障害信号を遮蔽判定部６１４へ出力する。

遮蔽判定部６１４は、画像解析部６１３で障害信号が生成されると、記憶ユニット６３から予め設定されている遮蔽角度幅を読み出す。遮蔽判定部６１４は、障害物を含む監視映像を取得した際のステアリングホイール４の操舵角が遮蔽角度幅内に含まれるか否かを判定する（ステップＳ４５）。操舵角データにより表される操舵角が予め設定される遮蔽角度幅内に含まれる場合（ステップＳ４５のＹｅｓ）、遮蔽判定部６１４は、障害物を含む監視映像を取得した際のステアリングホイール４の操舵角が遮蔽角度幅内に含まれている、すなわち、画像解析部６１３により監視映像データに含まれていると判定された障害物は、ステアリングホイール４の支持部材であると判定する（ステップＳ４６）。

一方、操舵角データにより表される操舵角が予め設定される遮蔽角度幅内に含まれない場合（ステップＳ４５のＮｏ）、遮蔽判定部６１４は、障害物を含む監視映像を取得した際のステアリングホイール４の操舵角が遮蔽角度幅内に含まれていない、すなわち、画像解析部６１３により監視映像データに含まれていると判定された障害物は、ステアリングホイール４の支持部材ではないと判定する（ステップＳ４７）。

通知制御部６１５は、遮蔽判定部６１４により、監視映像データに含まれている障害物は、ステアリングホイール４の支持部材ではないと判定された場合、記憶ユニット６３から音声データを読み出す（ステップＳ４８）。このとき、音声データは、例えば、図５に示される、運転者によりステアリングホイール４上に移動可能な物が置かれた状態、又は運転者が手に持っている物によりドライバカメラ７の撮影方向が遮蔽された状態を想定して予め作成されている。なお、図５では、書籍を例に記載しているが、書籍に限定されない。ステアリングホイール４上に置かれる物、及び運転者が手に持っている物は、スマートフォン、タブレットＰＣ等、その他、運転者が所持する如何なるものであってもよい。このように作成された音声データは、例えば、「遮蔽物を移動させてください。」、及び「顔がカメラに向くようにしてください。」等を表す。通知制御部６１５は、読み出した音声データと共に、この音声データを再生する旨の制御信号を通知装置８へ出力する（ステップＳ４９）。

通知装置８は、通知制御部６１５から出力される音声データ、及び制御信号を受信すると、音声データに基づくメッセージを運転者へアナウンスする。

ステップＳ４９において通知制御部６１５から音声データ、及び制御信号が通知装置８へ出力されると、制御ユニット６１は、運転が終了したか否かを判定する（ステップＳ４１０）。制御ユニット６１は、運転が終了した場合（ステップＳ４１０のＹｅｓ）、処理を終了させる。一方、運転が終了しない場合（ステップＳ４１０のＮｏ）、制御ユニット６１は、処理をステップＳ４１へ移行させ、ステップＳ４１からステップＳ４９の動作を車両１の運転が終了するまで繰り返す。

また、ステップＳ４２において障害物が存在しないと判定された場合、制御ユニット６１は、処理をステップＳ４１０へ移行する。また、ステップＳ４７において監視映像データに含まれている障害物はステアリングホイール４の支持部材ではないと判定された場合、制御ユニット６１は、処理をステップＳ４１０へ移行する。

（効果）
以上詳述したようにこの発明の一実施形態では、制御ユニット６１は、監視映像データを解析することで監視映像データに含まれていると判定された障害物が、ステアリングホイール４の支持部材であるか否かを、ステアリングセンサ９により検出される操舵角に基づいて判定するようにしている。このため、制御ユニット６１は、複雑な画像解析によらずに、ドライバカメラ７の撮影範囲を遮っている障害物が、ステアリングホイール４の支持部材なのか否かを判定することが可能となる。

したがって、本実施形態によれば、監視カメラを遮っている障害物が、運転者が所持している物なのか、又はステアリングホイールの支持部材なのかを正確に判別することができる。これにより、監視カメラの撮影範囲を遮っている、ステアリングホイールの支持部材以外の障害物を運転者に正確に除去させることが可能となるため、例えば、自動運転モードから手動運転モードへの切り替えの際に、運転者が所有する物によりドライバカメラ７の撮影範囲が遮られて運転者の集中度を判定できないといった状況を回避することができる。

また、本実施形態では、画像解析部６１３は、３次元顔モデルを監視映像内の顔部分に当てはめるモデルフィッティングの手法を用いることで監視映像に障害物が含まれているか否かを判定する。遮蔽判定部６１４は、障害物を含んでいると判定された監視映像を取得した際の操舵角が、予め設定される遮蔽角度幅内に含まれるか否かを判定する。そして、この操舵角が遮蔽角度幅内に含まれない場合、遮蔽判定部６１４は、監視映像に含まれている障害物が、ステアリングホイール４の支持部材でないと判定するようにしている。このため、制御ユニット６１は、複雑な画像解析によらずに、ドライバカメラ７の撮影範囲を遮っている物が、ステアリングホイール４の支持部材なのか、それ以外の障害物なのかを正確に判別することが可能となる。

また、本実施形態では、通知制御部６１５は、遮蔽判定部６１４により、監視映像データに含まれていると判定された障害物がステアリングホイール４の支持部材でないと判定された場合、この物体の除去を促すメッセージをアナウンスするための制御信号を通知装置８へ出力するようにしている。このため、制御ユニット６１は、障害物がステアリングホイール４の支持部材か否かを判別した上で、障害物の除去を運転者へ促すことが可能となる。

［他の実施形態］
前記一実施形態では、運転が開始されると制御ユニット６１が、図４に示される処理を実施する場合を例に説明した。しかしながら、制御ユニット６１が図４に示される処理を開始するのは、運転が開始された際に限られない。例えば、制御ユニット６１は、集中度判定部６１２により集中度が判定できない場合に、図４に示される処理を実施するようにしてもよい。

具体的には、例えば、集中度判定部６１２は、集中度を判定する際に用いる、予め設定される数の監視映像データのうち、所定の数の監視映像データにおいて、運転者の動き、及び／又は運転者の表情が認識できない場合、集中度を判定することができない。集中度判定部６１２は、集中度を判定することができない場合、原因となった監視映像データを、画像解析部６１３へ通知する。画像解析部６１３、遮蔽判定部６１４、及び通知制御部６１５は、集中度判定部６１２から通知された監視映像データに対して図４に示される処理を実施する。これにより、処理が必要となった場合にのみ図４に示される処理が実施されることになるため、制御ユニット６１における処理を軽減することが可能となる。

その他、車両の種類、自動運転制御装置５の機能、並びに、運転モード切替制御装置６の制御機能、制御手順、及び制御内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られるものではない。

（付記１）
監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる、前記運転者の状態を監視する監視装置であって、
前記ステアリングホイールの操舵角について予め設定された角度幅を記憶するメモリと、
前記メモリと接続する少なくとも１つのハードウェアプロセッサであって、前記少なくとも１つのハードウェアプロセッサは、
前記監視カメラにより取得される映像を解析することで、前記映像に前記運転者以外の物体が含まれているか否かを判定し、
前記映像に含まれていると判定した物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを、前記ステアリングホイールの操舵角が予め設定された角度幅に含まれるか否かに基づいて判定する監視装置。

（付記２）
監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる、前記運転者の状態を監視する装置が実行する障害物判別方法であって、
少なくとも１つのハードウェアプロセッサを用いて実行される、
前記監視カメラにより取得される映像を解析することで、前記映像に前記運転者以外の物体が含まれているか否かを判定する過程と、
前記映像に含まれていると判定した物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを、ステアリングホイールの操舵角が予め設定される角度幅に含まれるか否かに基づいて判定する過程と
を備える障害物判別方法。

１…車両、２…パワーユニット、３…操舵装置、４…ステアリングホイール、４１−１，４１−２，４１−３…支持部材、５…自動運転制御装置、６…運転モード切替制御装置、６１…制御ユニット、６１１…監視映像取得制御部、６１２…集中度判定部、６１３…画像解析部、６１４…遮蔽判定部、６１５…通知制御部、６１６…運転モード切替制御部、６２…入出力インタフェースユニット、６３…記憶ユニット、６３１…監視映像記憶領域、６３２…集中度記憶領域、６３３…履歴記憶領域、７…ドライバカメラ、８…通知装置、９…ステアリングセンサ、１０…アクセルペダルセンサ、１１…ブレーキペダルセンサ、１２…ＧＰＳ受信機、１３…ジャイロセンサ、１４…車速センサ。

Claims (6)

1. 監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる、前記運転者の状態を監視する監視装置であって、
   前記監視カメラにより取得される映像が、前記ステアリングホイールの支持部材を含むか否かを、前記ステアリングホイールの操舵角に基づいて判定する判定部を具備する監視装置。
2. 前記判定部は、
   前記監視カメラにより取得される映像を解析することで、前記映像に前記運転者以外の物体が含まれているか否かを判定する画像解析部と、
   前記画像解析部により前記映像に含まれていると判定された物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを、前記操舵角が予め設定された角度幅に含まれるか否かに基づいて判定する遮蔽判定部と
   を備える請求項１記載の監視装置。
3. 前記判定部は、前記映像に基づいて集中度を判定する集中度判定部をさらに備え、
   前記画像解析部は、前記集中度判定部により前記集中度が判定できない場合に、前記集中度の判定に用いられた映像に、前記運転者以外の物体が含まれているか否かを判定し、
   前記遮蔽判定部は、前記集中度の判定に用いられた映像が取得された際の前記ステアリングホイールの操舵角に基づき、前記画像解析部により前記映像に含まれていると判定された物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを判定する請求項２記載の監視装置。
4. 前記判定部は、
   前記遮蔽判定部により、前記映像に含まれていると判定された物体が前記ステアリングホイールの支持部材でないと判定された場合に、当該物体の除去を促す報知情報を発生させるための制御信号を出力する通知制御部をさらに備える請求項２又は３に記載の監視装置。
5. 監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる前記運転者の状態を監視する装置が実行する障害物判別方法であって、
   前記監視カメラにより取得される映像を解析することで、前記映像に前記運転者以外の物体が含まれているか否かを判定する過程と、
   前記映像に含まれていると判定された物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを、前記ステアリングホイールの操舵角に基づいて判定する過程と
   を備える障害物判別方法。
6. 請求項１乃至請求項５の何れかに記載の監視装置が備える前記各部としてコンピュータを機能させるプログラム。