JP2018151683A - 監視装置、方法、及びプログラム - Google Patents
監視装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2018151683A JP2018151683A JP2017045215A JP2017045215A JP2018151683A JP 2018151683 A JP2018151683 A JP 2018151683A JP 2017045215 A JP2017045215 A JP 2017045215A JP 2017045215 A JP2017045215 A JP 2017045215A JP 2018151683 A JP2018151683 A JP 2018151683A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- steering wheel
- monitoring
- determination unit
- steering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】監視カメラの撮影範囲が遮蔽されている場合にその原因を判別できるようにする。【解決手段】監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる、前記運転者の状態を監視する監視装置にあって、前記監視カメラにより取得される映像が、前記ステアリングホイールの支持部材を含むか否かを、前記ステアリングホイールの操舵角に基づいて判定する判定部を具備する。【選択図】図2
Description
この発明は、車両の運転席に座する運転者の状態を監視する監視装置、方法、及びプログラムに関する。
近年、運転者の運転操作に基づいて車両を走行させる手動運転に加え、運転者の運転操作によらずに車両を走行させる自動運転の開発が進められている。自動運転では、例えば、GPS(Global Positioning System)を利用したナビゲーションシステムの情報、路車間通信により取得される交通情報、及び周辺の人や車両の位置と動きとを監視する周辺モニタリングシステムの情報に基づき、パワーユニット、操舵装置、及びブレーキ等が制御される(例えば特許文献1を参照)。
自動運転では、自動化の度合いに応じてレベル0〜4が定義されている。最高レベルである自動運転レベル4の車両は、緊急時対応を含め、加速、操舵、及び制動のすべてを車両側で制御する。自動運転レベル4の車両に搭乗する運転者は、運転に関与する必要が無いため、運転席に座しているにも関わらず、書籍や携帯端末等へ注意を向けてしまうことも想定される。
ところで、自動運転は運転者の運転操作の負担軽減、及び交通渋滞の緩和等の効果が期待できるものの、走行開始から走行終了までのすべての運転操作を自動化することは現実的に困難である。このため、自動運転モードから手動運転モードへの切り替えを適切に行うことが求められている。運転モードを自動運転モードから手動運転モードに切り替える場合には、切り替えに先立ち運転者が手動運転操作可能な状態にあることを、例えば監視カメラにより確認する必要がある。
ところが、監視カメラは、運転者の表情を正面から撮影するために、運転者から見てステアリングホイールの裏側の、メータパネル付近に設置される場合が多い。この場合、ステアリングホイールの回転角度によっては、ステアリングホイールの支持部材により監視カメラの撮影範囲が遮られてしまう。また、運転者が例えばガイドブック等の書籍や、スマートフォン等の携帯端末を見ている場合にも、監視カメラの撮影範囲は遮られる。
そこで、監視カメラの撮影範囲が障害物により遮られている場合には、運転者に対し障害物の除去を促すためのアナウンス等を行うことが考えられている。しかし、障害物には、書籍や携帯端末等のように運転者が手に持っている物ばかりでなく、先に述べたようにステアリングホイールの支持部材も含まれる。このため、監視カメラの撮影範囲が遮蔽されているからといって、一義的にアナウンスをすることは適切ではない。
この発明は上記事情に着目してなされたもので、監視カメラの撮影範囲が遮蔽されている場合にその原因を判別できるようにした監視装置、方法、及びプログラムを提供しようとするものである。
上記課題を解決するためにこの発明の第1の態様は、監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる、前記運転者の状態を監視する監視装置にあって、前記監視カメラにより取得される映像が、前記ステアリングホイールの支持部材を含むか否かを、前記ステアリングホイールの操舵角に基づいて判定する判定部を具備するようにしたものである。
この発明の第2の態様は、前記判定部が、前記監視カメラにより取得される映像を解析することで、前記映像に前記運転者以外の物体が含まれているか否かを判定する画像解析部と、前記画像解析部により前記映像に含まれていると判定された物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを、前記操舵角が予め設定された角度幅に含まれるか否かに基づいて判定する遮蔽判定部とを備えるようにしたものである。
この発明の第3の態様は、前記判定部が、前記映像に基づいて集中度を判定する集中度判定部をさらに備え、前記画像解析部は、前記集中度判定部により集中度が判定できない場合、前記集中度の判定に用いられた映像に、前記運転者以外の物体が含まれているか否かを判定し、前記遮蔽判定部は、前記集中度の判定に用いられた映像が取得された際の前記ステアリングホイールの操舵角に基づき、前記画像解析部により前記映像に含まれていると判定された物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを判定するようにしたものである。
この発明の第4の態様は、前記判定部が、前記遮蔽判定部により、前記映像に含まれていると判定された物体が前記ステアリングホイールの支持部材でないと判定された場合に、当該物体の除去を促す報知情報を発生させるための制御信号を出力する通知制御部をさらに備えるようにしたものである。
この発明の第1の態様によれば、判定部は、映像を解析することで映像が、ステアリングホイールの支持部材を含むか否かを、ステアリングセンサにより検出される操舵角に基づいて判定するようにしている。このため、判定部は、複雑な画像解析によらずに、監視カメラの撮影範囲を遮っている障害物が、ステアリングホイールの支持部材なのか否かを判定することが可能となる。
この発明の第2の態様によれば、画像解析部は、映像を解析することで映像に障害物が含まれているか否かを判定する。遮蔽判定部は、障害物を含んでいると判定された映像を取得した際のステアリングホイールの操舵角が、予め設定される角度幅内に含まれるか否かを判定する。そして、この操舵角が角度幅内に含まれない場合、遮蔽判定部は、映像に含まれている障害物が、ステアリングホイールの支持部材でないと判定するようにしている。このため、判定部は、複雑な画像解析によらずに、監視カメラの撮影範囲を遮っている物が、ステアリングホイールの支持部材なのか、それ以外の障害物なのかを正確に判別することが可能となる。
この発明の第3の態様によれば、画像解析部は、集中度判定部で集中度が判定できない場合、集中度判定部から通知される映像を解析することで映像に障害物が含まれているか否かを判定する。そして、遮蔽判定部は、映像に含まれていると判定された障害物が、ステアリングホイールの支持部材であるか否かを、集中度を判定できなかったと判定された映像を取得した際のステアリングホイールの操舵角に基づいて判定するようにしている。このため、判定部における処理を軽減することが可能となる。
この発明の第4の態様によれば、通知制御部は、遮蔽判定部により、映像に含まれていると判定された障害物がステアリングホイールの支持部材でないと判定された場合、この物体の除去を促すメッセージをアナウンスするための制御信号を出力するようにしている。このため、判定部は、障害物がステアリングホイールの支持部材か否かを判別した上で、障害物の除去を運転者へ促すことが可能となる。
すなわちこの発明の各態様によれば、監視カメラの撮影範囲が遮蔽されている場合にその原因を判別できるようにした監視装置、方法、及びプログラムを提供することができる。
以下、図面を参照してこの発明に係わる実施形態を説明する。
[一実施形態]
(構成)
図1は、この発明の一実施形態に係る運転モード切替制御装置を備えた自動運転制御システムの全体構成の例を示す図で、この自動運転制御システムは乗用車等の車両1に搭載される。
(構成)
図1は、この発明の一実施形態に係る運転モード切替制御装置を備えた自動運転制御システムの全体構成の例を示す図で、この自動運転制御システムは乗用車等の車両1に搭載される。
車両1は、基本設備として、動力源、及び変速装置を含むパワーユニット2と、ステアリングホイール4が装備された操舵装置3とを備え、さらに運転モードとしては手動運転モードと自動運転モードとを備えている。動力源としては、エンジンまたはモータ、あるいはその両方が用いられる。
手動運転モードは、例えば、運転者(以下ドライバとも称する)の手動による運転操作を主体として車両1を走行させるモードである。手動運転モードには、例えば、運転者の運転操作のみに基づいて車両を走行させる動作モードと、運転者の運転操作を主体としながら運転者の運転操作を支援する運転操作支援制御を行う動作モードが含まれる。
運転操作支援制御は、例えば、車両1のカーブ走行時にカーブの曲率に基づいて運転者の操舵が適切な操舵量となるように操舵トルクをアシストする。また運転操作支援制御には、運転者のアクセル操作(例えばアクセルペダルの操作)またはブレーキ操作(例えばブレーキペダルの操作)を支援する制御と、手動操舵(操舵の手動運転)および手動速度調整(速度調整の手動運転)も含まれる。手動操舵は、運転者のステアリングホイール4の操作を主体として車両1の操舵を行う。手動速度調整は、運転者のアクセル操作又はブレーキ操作を主体として車両の速度調整を行う。
なお、運転操作支援制御には、運転者の運転操作に強制的に介入して、車両を自動走行させる制御は含まれない。すなわち、手動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件(例えば車両の車線逸脱等)の下で車両の走行に強制的に介入する制御は含まれない。
自動運転モードは、例えば、車両の走行する道路に沿って自動で車両を走行させる運転状態を実現するモードである。自動運転モードには、例えば、運転者が運転操作をすることなく、予め設定された目的地に向かって自動的に車両を走行させる運転状態が含まれる。自動運転モードは、必ずしも車両の全ての制御を自動で行う必要はなく、予め設定された許容範囲において運転者の運転操作を車両の走行に反映する運転状態も自動運転モードに含まれる。すなわち、自動運転モードには、予め設定された許容範囲において運転者の運転操作を車両の走行に反映させるが、一定条件の下で車両の走行に強制的に介入する制御が含まれる。
図1に示される自動運転制御システムは、自動運転モードによる運転制御を実行するための自動運転制御装置5を有している。自動運転制御装置5は、ステアリングセンサ9、アクセルペダルセンサ10、ブレーキペダルセンサ11、GPS受信機12、ジャイロセンサ13、及び車速センサ14からそれぞれセンシングデータを取得する。そして、これらのセンシングデータと、図示しないナビゲーションシステムで生成される経路情報、路車間通信により取得される交通情報、及び周辺の人や車両の位置と動きとを監視する周辺モニタリングシステムにより得られる情報をもとに、車両1の走行を自動制御する。
自動制御には、例えば、自動操舵(操舵の自動運転)と自動速度調整(速度の自動運転)とがある。自動操舵は、操舵装置3を自動で制御する運転状態である。自動操舵にはLKA(Lane Keeping Assist)が含まれる。LKAは、例えば、運転者がステアリング操作をしない場合であっても、車両1が走行車線から逸脱しないように自動で操舵装置3を制御する。なお、LKAの実行中であっても、車両1が走行車線を逸脱しない範囲(許容範囲)において運転者のステアリング操作を車両の操舵に反映してもよい。なお、自動操舵はLKAに限らない。
自動速度調整は、車両1の速度を自動で制御する運転状態である。自動速度調整にはACC(Adaptive Cruise Control)が含まれる。ACCとは、例えば、車両1の前方に先行車が存在しない場合は予め設定された設定速度で車両1を定速走行させる定速制御を行い、車両1の前方に先行車が存在する場合には先行車との車間距離に応じて車両1の車速を調整する追従制御を行うものである。自動運転制御装置5は、ACCを実行中であっても、運転者のブレーキ操作(例えばブレーキペダルの操作)に応じて車両1を減速させる。また自動運転制御装置5は、ACCを実行中であっても、予め設定された最大許容速度(例えば走行中の道路において法的に定められた最高速度)まで、運転者のアクセル操作(例えばアクセルペダルの操作)に応じて車両を加速させることもできる。なお、自動速度調整は、ACCに限らず、CC(Cruise Control:定速制御)等も含まれる。
また、図1に示される自動運転制御システムは、手動運転モードと自動運転モードとの間で設定を切り替えるための装置として、運転モード切替制御装置6と、ドライバカメラ7と、通知装置8と、ステアリングセンサ9とを備えている。
ドライバカメラ7は、例えば、運転者から見てステアリングホイールの裏側の、メータパネル付近に配置されている。ドライバカメラ7は、運転者を撮影することで取得されるデータである監視映像データを取得する。ドライバカメラ7は、取得した監視映像データを運転モード切替制御装置6へ出力する。通知装置8は、例えば、スピーカ等により実現され、運転モード切替制御装置6から出力される音声データに基づくメッセージを運転者へ通知する。ステアリングセンサ9は、ステアリングホイール4の操舵角を検出する。ステアリングセンサ9は、検出した操舵角を表す操舵角データを運転モード切替制御装置6へ出力する。
図2は、図1に示される運転モード切替制御装置6の機能構成の例を示すブロック図である。運転モード切替制御装置6は、自動運転制御装置5に対し、手動運転モードと自動運転モードとの間の切り替えを統括的に制御する装置である。なお、運転モード切替制御装置6は、本実施形態においては、監視装置と換言することも可能である。
図2によれば、運転モード切替制御装置6は、制御ユニット61と、入出力インタフェースユニット62と、記憶ユニット63とを備えている。
入出力インタフェースユニット62は、ドライバカメラ7から出力される監視映像データ、及びステアリングセンサ9から出力される操舵角データを受信する。入出力インタフェースユニット62は、受信した監視映像データ、及び操舵角データを所定の方式に則って変換し、制御ユニット61へ出力する。また、入出力インタフェースユニット62は、制御ユニット61から出力される音声データを通知装置8へ出力する。また、入出力インタフェースユニット62は、制御ユニット61から出力される運転モード切替制御信号を自動運転制御装置5へ出力する。
記憶ユニット63は、記憶媒体として、例えばSSD(Solid State Drive)やHDD(Hard Disk Drive)等の随時書き込み、及び読み出しが可能な不揮発性メモリ、並びに、RAM(Random Access Memory)のような揮発性メモリ等により実現される。本実施形態を実施するために使用する記憶領域として、監視映像記憶領域631と、集中度記憶領域632と、履歴記憶領域633とを備えている。
制御ユニット61は、コンピュータを構成するCPU(Central Processing Unit)、及びプログラムメモリを有する。制御ユニット61では、プログラムメモリに格納されたプログラムをCPUに実行させることにより、本実施形態を実施するために必要な制御機能である、監視映像取得制御部611と、集中度判定部612と、画像解析部613と、遮蔽判定部614と、通知制御部615と、運転モード切替制御部616とが実現される。なお、制御ユニット61は、本実施形態において、判定部と換言することが可能である。
監視映像取得制御部611は、ドライバカメラ7により取得された映像データを取得する機能を有する。例えば、監視映像取得制御部611は、入出力インタフェースユニット62から出力される映像監視データを受信する。監視映像取得制御部611は、受信した監視映像データを、所定のサンプリングレートで記憶ユニット63の監視映像記憶領域631に記憶させる。
集中度判定部612は、監視映像取得制御部611により取得された監視映像データに基づいて集中度を判定する機能を有する。例えば、集中度判定部612は、予め設定された時間間隔で、予め設定される数の監視映像データを、監視映像記憶領域631から読み込む。集中度判定部612は、読み込んだ監視映像データに基づき、運転者の動き、及び/又は運転者の表情を認識する。集中度判定部612は、認識した運転者の動き、及び/又は運転者の表情を、予め定義されている運転者の動き、及び表情に関する判定基準に照合させ、運転者の運転に対する集中度を判定する。集中度判定部612は、集中度の判定結果を表す情報を運転モード切替制御部616へ出力する。また、集中度判定部612は、集中度の判定結果を表す情報を、タイムスタンプを付して集中度記憶領域632に記憶させる。
本実施形態において、集中度とは、運転者が運転にどれだけ適しているかを示す指標である。例えば、車両1を普通に運転している状態であれば、運転者の動きとしては、前方注視と、バックミラー、又はサイドミラーを見るための所定方向への注視等とが検出される。例えば、検出される運転者の動作が、前方注視と、所定方向への注視とでほぼ占められているような状態は、運転者が運転に十分に集中しているとみなされる。その逆に、例えば運転者が運転中、あまり前方を注視していなかったり、話をしていたり、眠そうであったり、口に食べ物を運んでいたり、あるいはあってはならないことであるが携帯電話、又はスマートフォンを操作していたり、通話しているような場合には、運転者は運転にあまり集中していないとみなされる。また、運転者の表情としては、例えば、運転者の眼の開眼の状態、まばたきの頻度、又は眼球運動等が検出される。
判定基準では、例えば、運転者の動きの例えば80%以上が前方注視、又は所定方向への注視である場合、集中度が「高」と定義されている。また、判定基準では、例えば、運転者の動きの例えば20%以上が前方注視、又は所定方向への注視であったり、運転者の動きに携帯電話、又はスマートフォンの操作、並びに通話の様子が含まれている場合、集中度が「低」と定義されている。集中度判定部612は、監視映像記憶領域631に記憶された監視映像データから認識した運転者の動きを、判定基準を参照して判定する。
画像解析部613は、読み込んだ監視映像データを解析し、監視映像データに運転者以外の物体が映り込んでいるか否かを判定する機能を有する。例えば、画像解析部613は、監視映像データを監視映像記憶領域631から読み込む。画像解析部613は、読み込んだ監視映像データを解析し、監視映像データに運転者以外の物体が映り込んでいるか否かを判定する。
遮蔽判定部614は、画像解析部613により映り込まれていると判定された物体が、ステアリングホイール4の支持部材であるか否かを判定する機能を有する。例えば、通知制御部615は、入出力インタフェースユニット62から出力される操舵角データを受信する。通知制御部615は、受信した操舵角データにより表される操舵角が予め設定される遮蔽角度幅内に含まれるか否かに基づき、ドライバカメラ7がステアリングホイール4の支持部材により遮蔽された状態にあるか否かを判定する。
図3は、図1に示されるドライバカメラ7の設置位置の例を表す模式図である。ドライバカメラ7は、運転者から見てステアリングホイール4の裏側から車両1の後方へ向けて運転者を撮像する。そのため、ステアリングホイール4の操舵角によっては、ステアリングホイール4の支持部材41−1〜41−3によって撮影範囲が遮られることになる。本実施形態において、遮蔽角度幅とは、ドライバカメラ7の撮影範囲が支持部材41−1〜41−3によって遮られる操舵角の幅を表す。遮蔽角度幅は、例えば、車両1に搭載されるステアリングホイール4の形状に基づいて予め設定されている。
遮蔽判定部614は、画像解析部613により運転者以外の物体が映り込んでいると判定された監視映像データの取得時に、ステアリングホイール4の支持部材はドライバカメラ7の撮影範囲を遮蔽していないと判定した場合、画像解析部613により監視映像データに含まれていると判定された物体は、ステアリングホイール4の支持部材ではないと判定する。
通知制御部615は、ドライバカメラ7の撮影範囲に置かれている障害物を移動させる旨を運転者へ通知するように通知装置8を制御する機能を有する。例えば、通知制御部615は、遮蔽判定部614によりステアリングホイール4の支持部材でないと判定された障害物を移動させるように促す指示を運転者へ与えるように通知装置8を制御する。なお、このときの指示は、運転者の顔がドライバカメラ7の撮影範囲に入るように促す指示と換言することも可能である。
運転モード切替制御部616は、集中度判定部612で判定された集中度に基づき、手動運転モードと、自動運転モードとの間で設定を切り替えるように自動運転制御装置5を制御する。運転モード切替制御部616は、切替制御を表す情報を、タイムスタンプを付して履歴記憶領域633に記憶させる。
(動作)
次に、以上のように構成された運転モード切替制御装置6の動作を説明する。
図4は、図2に示される運転モード切替制御装置6に設けられる制御ユニット61が通知装置8を介して運転者へ障害物を移動させるように通知する際の手順の例を示すフローチャートである。
次に、以上のように構成された運転モード切替制御装置6の動作を説明する。
図4は、図2に示される運転モード切替制御装置6に設けられる制御ユニット61が通知装置8を介して運転者へ障害物を移動させるように通知する際の手順の例を示すフローチャートである。
まず、運転が開始されるとドライバカメラ7、及びステアリングセンサ9が起動する。ドライバカメラ7は、運転者の顔を含む所定の範囲を連続的に撮影する。ドライバカメラ7は、運転者を撮影することで得られた監視映像データを運転モード切替制御装置6へ出力する。なお、ドライバカメラ7は、ドライバの状態を判定する時間間隔より短い周期で間欠的にドライバを撮影してもよい。また、ドライバカメラ7、又は入出力インタフェースユニット62は、映像信号を所定の符号化方式に応じて符号化するようにしても構わない。このようにすることで、監視映像データの情報量を減らして監視映像記憶領域631の記憶容量を節約することが可能となる。
ステアリングセンサ9は、ステアリングホイール4の操舵角を検出する。ステアリングセンサ9は、検出した操舵角を表す操舵角データを運転モード切替制御装置6へ出力する。
制御ユニット61の画像解析部613は、入出力インタフェースユニット62を介してドライバカメラ7から出力された監視映像データを受信する(ステップS41)。また、遮蔽判定部614は、入出力インタフェースユニット62を介してステアリングセンサ9から出力された操舵角データを受信する(ステップS42)。
画像解析部613は、受信した監視映像データを解析する(ステップS43)。監視映像データを解析するアルゴリズムには、既存の如何なるアルゴリズムが用いられても構わない。例えば、画像解析部613は、目、鼻、及び口等の顔器官の特徴点群で構成される3次元顔モデルを監視画像内の顔部分に当てはめるモデルフィッティングの手法により、顔の位置、顔の大きさ、顔の向き、及び各顔器官の位置等を認識する。また、画像解析部613は、顔の奥行方向(カメラの光軸方向)の位置(すなわち、ドライバカメラ7と顔との距離)については、監視映像データ内の顔の大きさ等から認識する。
画像解析部613は、解析結果に基づき、監視映像データに運転者以外の物体が映り込んでいるか否かを判定する(ステップS44)。例えば、監視映像内で、3次元顔モデルのフィッティングが顔の一部に対して実施されない場合、画像解析部613は、ドライバカメラ7の撮影範囲が障害物により遮られていると判定する。また、運転者が運転席に存在しているにも関わらず、3次元顔モデルのフィッティングが顔全体で実施されない場合、画像解析部613は、ドライバカメラ7の撮影範囲が障害物により遮られていると判定する。
なお、運転手が運転席に存在していることの認識は、例えば、以下のように行われる。画像解析部613は、時系列に沿って得られる複数の監視映像データに対して3次元顔モデルをフィッティングさせ、運転者の顔を認識する。画像解析部613は、認識した顔をトラッキングする。トラッキングしている顔が監視映像中に位置する場合、画像解析部613は、運転手が運転席に存在していると判定する。一方、時間の経過に伴い、トラッキングしている顔が監視映像内からフレームアウトした場合、画像解析部613は、運転者は運転席から離席したと判定する。トラッキングしている顔が監視映像中においてフレームアウト以外の要因で突然消えた場合、画像解析部613は、運転者は運転席に存在はしているが、障害物によりドライバカメラ7の撮影範囲が遮られたと判定する。
画像解析部613は、ドライバカメラ7の撮影範囲が障害物により遮られていると判定すると(ステップS44のYes)、ドライバカメラ7の撮影範囲が障害物により遮られていることを表す障害信号を遮蔽判定部614へ出力する。
遮蔽判定部614は、画像解析部613で障害信号が生成されると、記憶ユニット63から予め設定されている遮蔽角度幅を読み出す。遮蔽判定部614は、障害物を含む監視映像を取得した際のステアリングホイール4の操舵角が遮蔽角度幅内に含まれるか否かを判定する(ステップS45)。操舵角データにより表される操舵角が予め設定される遮蔽角度幅内に含まれる場合(ステップS45のYes)、遮蔽判定部614は、障害物を含む監視映像を取得した際のステアリングホイール4の操舵角が遮蔽角度幅内に含まれている、すなわち、画像解析部613により監視映像データに含まれていると判定された障害物は、ステアリングホイール4の支持部材であると判定する(ステップS46)。
一方、操舵角データにより表される操舵角が予め設定される遮蔽角度幅内に含まれない場合(ステップS45のNo)、遮蔽判定部614は、障害物を含む監視映像を取得した際のステアリングホイール4の操舵角が遮蔽角度幅内に含まれていない、すなわち、画像解析部613により監視映像データに含まれていると判定された障害物は、ステアリングホイール4の支持部材ではないと判定する(ステップS47)。
通知制御部615は、遮蔽判定部614により、監視映像データに含まれている障害物は、ステアリングホイール4の支持部材ではないと判定された場合、記憶ユニット63から音声データを読み出す(ステップS48)。このとき、音声データは、例えば、図5に示される、運転者によりステアリングホイール4上に移動可能な物が置かれた状態、又は運転者が手に持っている物によりドライバカメラ7の撮影方向が遮蔽された状態を想定して予め作成されている。なお、図5では、書籍を例に記載しているが、書籍に限定されない。ステアリングホイール4上に置かれる物、及び運転者が手に持っている物は、スマートフォン、タブレットPC等、その他、運転者が所持する如何なるものであってもよい。このように作成された音声データは、例えば、「遮蔽物を移動させてください。」、及び「顔がカメラに向くようにしてください。」等を表す。通知制御部615は、読み出した音声データと共に、この音声データを再生する旨の制御信号を通知装置8へ出力する(ステップS49)。
通知装置8は、通知制御部615から出力される音声データ、及び制御信号を受信すると、音声データに基づくメッセージを運転者へアナウンスする。
ステップS49において通知制御部615から音声データ、及び制御信号が通知装置8へ出力されると、制御ユニット61は、運転が終了したか否かを判定する(ステップS410)。制御ユニット61は、運転が終了した場合(ステップS410のYes)、処理を終了させる。一方、運転が終了しない場合(ステップS410のNo)、制御ユニット61は、処理をステップS41へ移行させ、ステップS41からステップS49の動作を車両1の運転が終了するまで繰り返す。
また、ステップS42において障害物が存在しないと判定された場合、制御ユニット61は、処理をステップS410へ移行する。また、ステップS47において監視映像データに含まれている障害物はステアリングホイール4の支持部材ではないと判定された場合、制御ユニット61は、処理をステップS410へ移行する。
(効果)
以上詳述したようにこの発明の一実施形態では、制御ユニット61は、監視映像データを解析することで監視映像データに含まれていると判定された障害物が、ステアリングホイール4の支持部材であるか否かを、ステアリングセンサ9により検出される操舵角に基づいて判定するようにしている。このため、制御ユニット61は、複雑な画像解析によらずに、ドライバカメラ7の撮影範囲を遮っている障害物が、ステアリングホイール4の支持部材なのか否かを判定することが可能となる。
以上詳述したようにこの発明の一実施形態では、制御ユニット61は、監視映像データを解析することで監視映像データに含まれていると判定された障害物が、ステアリングホイール4の支持部材であるか否かを、ステアリングセンサ9により検出される操舵角に基づいて判定するようにしている。このため、制御ユニット61は、複雑な画像解析によらずに、ドライバカメラ7の撮影範囲を遮っている障害物が、ステアリングホイール4の支持部材なのか否かを判定することが可能となる。
したがって、本実施形態によれば、監視カメラを遮っている障害物が、運転者が所持している物なのか、又はステアリングホイールの支持部材なのかを正確に判別することができる。これにより、監視カメラの撮影範囲を遮っている、ステアリングホイールの支持部材以外の障害物を運転者に正確に除去させることが可能となるため、例えば、自動運転モードから手動運転モードへの切り替えの際に、運転者が所有する物によりドライバカメラ7の撮影範囲が遮られて運転者の集中度を判定できないといった状況を回避することができる。
また、本実施形態では、画像解析部613は、3次元顔モデルを監視映像内の顔部分に当てはめるモデルフィッティングの手法を用いることで監視映像に障害物が含まれているか否かを判定する。遮蔽判定部614は、障害物を含んでいると判定された監視映像を取得した際の操舵角が、予め設定される遮蔽角度幅内に含まれるか否かを判定する。そして、この操舵角が遮蔽角度幅内に含まれない場合、遮蔽判定部614は、監視映像に含まれている障害物が、ステアリングホイール4の支持部材でないと判定するようにしている。このため、制御ユニット61は、複雑な画像解析によらずに、ドライバカメラ7の撮影範囲を遮っている物が、ステアリングホイール4の支持部材なのか、それ以外の障害物なのかを正確に判別することが可能となる。
また、本実施形態では、通知制御部615は、遮蔽判定部614により、監視映像データに含まれていると判定された障害物がステアリングホイール4の支持部材でないと判定された場合、この物体の除去を促すメッセージをアナウンスするための制御信号を通知装置8へ出力するようにしている。このため、制御ユニット61は、障害物がステアリングホイール4の支持部材か否かを判別した上で、障害物の除去を運転者へ促すことが可能となる。
[他の実施形態]
前記一実施形態では、運転が開始されると制御ユニット61が、図4に示される処理を実施する場合を例に説明した。しかしながら、制御ユニット61が図4に示される処理を開始するのは、運転が開始された際に限られない。例えば、制御ユニット61は、集中度判定部612により集中度が判定できない場合に、図4に示される処理を実施するようにしてもよい。
前記一実施形態では、運転が開始されると制御ユニット61が、図4に示される処理を実施する場合を例に説明した。しかしながら、制御ユニット61が図4に示される処理を開始するのは、運転が開始された際に限られない。例えば、制御ユニット61は、集中度判定部612により集中度が判定できない場合に、図4に示される処理を実施するようにしてもよい。
具体的には、例えば、集中度判定部612は、集中度を判定する際に用いる、予め設定される数の監視映像データのうち、所定の数の監視映像データにおいて、運転者の動き、及び/又は運転者の表情が認識できない場合、集中度を判定することができない。集中度判定部612は、集中度を判定することができない場合、原因となった監視映像データを、画像解析部613へ通知する。画像解析部613、遮蔽判定部614、及び通知制御部615は、集中度判定部612から通知された監視映像データに対して図4に示される処理を実施する。これにより、処理が必要となった場合にのみ図4に示される処理が実施されることになるため、制御ユニット61における処理を軽減することが可能となる。
その他、車両の種類、自動運転制御装置5の機能、並びに、運転モード切替制御装置6の制御機能、制御手順、及び制御内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られるものではない。
(付記1)
監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる、前記運転者の状態を監視する監視装置であって、
前記ステアリングホイールの操舵角について予め設定された角度幅を記憶するメモリと、
前記メモリと接続する少なくとも1つのハードウェアプロセッサであって、前記少なくとも1つのハードウェアプロセッサは、
前記監視カメラにより取得される映像を解析することで、前記映像に前記運転者以外の物体が含まれているか否かを判定し、
前記映像に含まれていると判定した物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを、前記ステアリングホイールの操舵角が予め設定された角度幅に含まれるか否かに基づいて判定する監視装置。
監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる、前記運転者の状態を監視する監視装置であって、
前記ステアリングホイールの操舵角について予め設定された角度幅を記憶するメモリと、
前記メモリと接続する少なくとも1つのハードウェアプロセッサであって、前記少なくとも1つのハードウェアプロセッサは、
前記監視カメラにより取得される映像を解析することで、前記映像に前記運転者以外の物体が含まれているか否かを判定し、
前記映像に含まれていると判定した物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを、前記ステアリングホイールの操舵角が予め設定された角度幅に含まれるか否かに基づいて判定する監視装置。
(付記2)
監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる、前記運転者の状態を監視する装置が実行する障害物判別方法であって、
少なくとも1つのハードウェアプロセッサを用いて実行される、
前記監視カメラにより取得される映像を解析することで、前記映像に前記運転者以外の物体が含まれているか否かを判定する過程と、
前記映像に含まれていると判定した物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを、ステアリングホイールの操舵角が予め設定される角度幅に含まれるか否かに基づいて判定する過程と
を備える障害物判別方法。
監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる、前記運転者の状態を監視する装置が実行する障害物判別方法であって、
少なくとも1つのハードウェアプロセッサを用いて実行される、
前記監視カメラにより取得される映像を解析することで、前記映像に前記運転者以外の物体が含まれているか否かを判定する過程と、
前記映像に含まれていると判定した物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを、ステアリングホイールの操舵角が予め設定される角度幅に含まれるか否かに基づいて判定する過程と
を備える障害物判別方法。
1…車両、2…パワーユニット、3…操舵装置、4…ステアリングホイール、41−1,41−2,41−3…支持部材、5…自動運転制御装置、6…運転モード切替制御装置、61…制御ユニット、611…監視映像取得制御部、612…集中度判定部、613…画像解析部、614…遮蔽判定部、615…通知制御部、616…運転モード切替制御部、62…入出力インタフェースユニット、63…記憶ユニット、631…監視映像記憶領域、632…集中度記憶領域、633…履歴記憶領域、7…ドライバカメラ、8…通知装置、9…ステアリングセンサ、10…アクセルペダルセンサ、11…ブレーキペダルセンサ、12…GPS受信機、13…ジャイロセンサ、14…車速センサ。
Claims (6)
- 監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる、前記運転者の状態を監視する監視装置であって、
前記監視カメラにより取得される映像が、前記ステアリングホイールの支持部材を含むか否かを、前記ステアリングホイールの操舵角に基づいて判定する判定部を具備する監視装置。 - 前記判定部は、
前記監視カメラにより取得される映像を解析することで、前記映像に前記運転者以外の物体が含まれているか否かを判定する画像解析部と、
前記画像解析部により前記映像に含まれていると判定された物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを、前記操舵角が予め設定された角度幅に含まれるか否かに基づいて判定する遮蔽判定部と
を備える請求項1記載の監視装置。 - 前記判定部は、前記映像に基づいて集中度を判定する集中度判定部をさらに備え、
前記画像解析部は、前記集中度判定部により前記集中度が判定できない場合に、前記集中度の判定に用いられた映像に、前記運転者以外の物体が含まれているか否かを判定し、
前記遮蔽判定部は、前記集中度の判定に用いられた映像が取得された際の前記ステアリングホイールの操舵角に基づき、前記画像解析部により前記映像に含まれていると判定された物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを判定する請求項2記載の監視装置。 - 前記判定部は、
前記遮蔽判定部により、前記映像に含まれていると判定された物体が前記ステアリングホイールの支持部材でないと判定された場合に、当該物体の除去を促す報知情報を発生させるための制御信号を出力する通知制御部をさらに備える請求項2又は3に記載の監視装置。 - 監視カメラが運転者から見てステアリングホイールの裏側に設置されている車両で用いられる前記運転者の状態を監視する装置が実行する障害物判別方法であって、
前記監視カメラにより取得される映像を解析することで、前記映像に前記運転者以外の物体が含まれているか否かを判定する過程と、
前記映像に含まれていると判定された物体が、前記ステアリングホイールの支持部材であるか、それ以外の物体であるかを、前記ステアリングホイールの操舵角に基づいて判定する過程と
を備える障害物判別方法。 - 請求項1乃至請求項5の何れかに記載の監視装置が備える前記各部としてコンピュータを機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017045215A JP2018151683A (ja) | 2017-03-09 | 2017-03-09 | 監視装置、方法、及びプログラム |
PCT/JP2017/036706 WO2018163493A1 (ja) | 2017-03-09 | 2017-10-10 | 監視装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017045215A JP2018151683A (ja) | 2017-03-09 | 2017-03-09 | 監視装置、方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018151683A true JP2018151683A (ja) | 2018-09-27 |
Family
ID=63447449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017045215A Pending JP2018151683A (ja) | 2017-03-09 | 2017-03-09 | 監視装置、方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2018151683A (ja) |
WO (1) | WO2018163493A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024116333A1 (ja) * | 2022-11-30 | 2024-06-06 | 三菱電機株式会社 | 情報処理装置、制御方法、及び制御プログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7151393B2 (ja) * | 2018-11-08 | 2022-10-12 | トヨタ自動車株式会社 | 車両情報提供装置、車両情報提供方法及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004334786A (ja) * | 2003-05-12 | 2004-11-25 | Nissan Motor Co Ltd | 状態検出装置及び状態検出システム |
JP2008204107A (ja) * | 2007-02-19 | 2008-09-04 | Toyota Motor Corp | 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム |
JP2008213823A (ja) * | 2007-02-06 | 2008-09-18 | Denso Corp | 車両用制御装置 |
JP2009248777A (ja) * | 2008-04-07 | 2009-10-29 | Toyota Motor Corp | 運転者状態判定装置 |
JP2010225089A (ja) * | 2009-03-25 | 2010-10-07 | Toyota Motor Corp | 運転者監視装置 |
-
2017
- 2017-03-09 JP JP2017045215A patent/JP2018151683A/ja active Pending
- 2017-10-10 WO PCT/JP2017/036706 patent/WO2018163493A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004334786A (ja) * | 2003-05-12 | 2004-11-25 | Nissan Motor Co Ltd | 状態検出装置及び状態検出システム |
JP2008213823A (ja) * | 2007-02-06 | 2008-09-18 | Denso Corp | 車両用制御装置 |
JP2008204107A (ja) * | 2007-02-19 | 2008-09-04 | Toyota Motor Corp | 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム |
JP2009248777A (ja) * | 2008-04-07 | 2009-10-29 | Toyota Motor Corp | 運転者状態判定装置 |
JP2010225089A (ja) * | 2009-03-25 | 2010-10-07 | Toyota Motor Corp | 運転者監視装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024116333A1 (ja) * | 2022-11-30 | 2024-06-06 | 三菱電機株式会社 | 情報処理装置、制御方法、及び制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2018163493A1 (ja) | 2018-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7080598B2 (ja) | 車両制御装置および車両制御方法 | |
JP6785704B2 (ja) | 推論された車両状態に基づいたユーザ・インタフェース体験の提供 | |
JP7006326B2 (ja) | 自動運転システム | |
JP5958303B2 (ja) | テキスト読み上げ装置 | |
JP2018062308A (ja) | 運転モード切替制御装置、方法およびプログラム | |
CN110192084B (zh) | 自动驾驶辅助装置、方法及程序 | |
JP5082834B2 (ja) | 脇見検出装置および方法、並びに、プログラム | |
CN109843690B (zh) | 驾驶模式切换控制装置、系统以及方法 | |
KR20170094583A (ko) | 운송 기기를 제어하는 제어 장치 및 이의 운송 기기 제어 방법 | |
US20200017123A1 (en) | Drive mode switch controller, method, and program | |
US20190210586A1 (en) | Drive mode switch controller, method, and program | |
JP2018151754A (ja) | 運転モード切替制御装置、システム、方法、およびプログラム | |
JP6856086B2 (ja) | 報知管理装置及び報知管理プログラム | |
WO2018168019A1 (ja) | 運転切り替え判定装置、運転切り替え判定方法及び運転切り替え判定のためのプログラム | |
JP2014160298A (ja) | 運転支援システムおよび運転支援方法 | |
WO2018163493A1 (ja) | 監視装置、方法、及びプログラム | |
WO2018163492A1 (ja) | 運転モード切替制御装置、方法、及びプログラム | |
JP2018149822A (ja) | 運転モード切替制御装置、方法及びプログラム | |
JP6627810B2 (ja) | 運転モード切替制御装置、方法およびプログラム | |
JP2021106005A (ja) | 電子機器、制御方法及びプログラム | |
JP6648722B2 (ja) | 故障判定装置、方法およびプログラム | |
JP2008305283A (ja) | 運転支援装置および運転支援方法 | |
JP2018149862A (ja) | 運転モード切替制御装置、方法およびプログラム | |
JP2018149940A (ja) | 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム | |
US11043126B2 (en) | Vehicle, vehicle control method, and vehicle control program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200519 |