JP2019046273A - 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法 - Google Patents

Abstract

【課題】自動運転中に運転者が運転操作、特にハンドル操作を迅速に引き継ぐことができる状態にあるか否かを、運転者の手による物体の把持状態から正確に判定することができる運転者状態把握装置を提供すること。【解決手段】自動運転システム１を備えた車両２の運転者４の状態を把握する運転者状態把握装置２０であって、運転者４を撮影するカメラ３１で撮影された画像を取得する画像取得部２２ａと、画像取得部２２ａで取得した画像から運転者４の手を検出する手検出部２２ｂと、手検出部２２ｂで検出された運転者４の手による物体の把持状態を検出する物体把持状態検出部２２ｃと、物体把持状態検出部２２ｃにより検出された物体の把持状態に基づいて、自動運転中に運転者４が車両２のハンドル５をすぐに操作できる状態にあるか否かを判定する即応性判定部２２ｄとを装備する。【選択図】図３

Description

本発明は運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法に関し、より詳細には、自動運転が可能な車両の運転者の状態を把握する運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法に関する。

近年、車両の自動運転技術の開発がさかんに進められている。また、自動運転車両に関する技術基準の国際的な検討も進められている。例えば、自動ハンドル操作に関する国際基準については、時速１０ｋｍ以上でハンドルを握った状態での自動ハンドル操作技術（自動車線維持や自動車線変更など）に関する国際基準の改定について、現在議論が進められている。

さらに今後、時速１０ｋｍ以上でハンドルを離した状態での自動ハンドル操作技術（自動車線維持や連続自動運転など）に関する国際基準についても検討が進められる予定となっている。上記ハンドルを離した状態での自動ハンドル操作技術に関する基準策定にあたっては、様々な要件が必要になると考えられている。これら要件の一つとして、例えば、自動運転システムからの要請時に自動運転から手動運転への引き継ぎが円滑に行えるように、前記システム側が運転者の状態を監視することなどが検討されている。

運転者の状態を監視する技術の一つとして、下記の特許文献１には、運転者による車両の運転中に、運転者のハンドル把持情報及び運転者の視線方向情報に基づいて、運転者が携帯端末の操作を行っているか否かを判定し、運転者が携帯端末の操作を行っていると判定された場合、当該携帯端末の機能を制限する技術が開示されている。特許文献１記載の技術によれば、車両の運転中における携帯端末の操作機能を制限することにより、安全運転に支障が出ることを回避可能になるとしている。

［発明が解決しようとする課題］
ところで、自動運転中に運転者が携帯端末の操作を行っている状況で、自動運転システムに異常や故障が発生して、突然、手動運転への引き継ぎ要請がなされた場合、運転者が即座に運転操作を引き継ぐことは容易ではない。

そこで、自動運転が可能な車両における運転者の状態を把握する技術として特許文献１記載の技術を適用することも考えられる。ところが、特許文献１記載の技術では、運転者が両手でハンドルを把持しておらず、かつ運転者の視線が前方に向いていない場合に、運転者が携帯端末の操作を行っていると判断するようになっている。すなわち、特許文献１記載の技術では、運転者がハンドルを把持していない場合における運転者の実際の手の状態については何ら把握できていない。

ハンドルを把持しておく必要のない自動運転中においては、運転者は携帯端末を手に持って操作する以外に、様々な物を手に持って行動を起こすことが想定される。これら行動の中には、例えば、両手を使って飲食を行うなど、運転者が即座に運転操作を引き継ぐことが困難な行動も含まれる。特許文献１記載の技術では、自動運転中に想定される運転者の手を使った様々な行動を適切に把握することはできず、運転者の手がハンドル操作を迅速に引き継ぐことができる状態にあるかどうかを正確に把握できないという課題があった。

特開２０１４−１０６５７３号公報

課題を解決するための手段及びその効果

本発明は上記課題に鑑みなされたものであって、自動運転中に運転者の手の状態がハンドルの操作を迅速に引き継ぐことができる状態にあるかどうかを正確に把握することができる運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法を提供することを目的としている。

上記目的を達成するために本発明に係る運転者状態把握装置は、自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握装置であって、
前記運転者を撮影するカメラで撮影された画像を取得する画像取得部と、
該画像取得部で取得した前記画像から前記運転者の手を検出する手検出部と、
該手検出部で検出された前記運転者の手による物体の把持状態を検出する物体把持状態検出部と、
該物体把持状態検出部で検出された前記物体の把持状態に基づいて、自動運転中に前記運転者の手が前記車両のハンドルをすぐに操作できる状態にあるか否かを判定する即応性判定部とを備え、前記物体が、前記運転者が手で操作する前記車両の装備品とは異なる物であることを特徴としている。

上記運転者状態把握装置によれば、前記画像から前記運転者の手が検出され、該運転者の手による前記物体の把持状態が検出され、該物体の把持状態に基づいて、自動運転中に前記運転者の手が前記車両のハンドルをすぐに操作できる状態にあるか否かが判定される。これにより、自動運転中に前記運転者の手の状態が前記ハンドルの操作を迅速に引き継ぐことができる状態にあるかどうかを正確に把握できるとともに、自動運転中に、前記自動運転システムに故障が発生した場合等であっても、自動運転から手動運転への引き継ぎ、特に前記ハンドルの操作の引き継ぎを迅速かつ円滑に行えるように適切に支援することが可能となる。

また本発明に係る運転者状態把握装置は、前記物体把持状態検出部が、前記画像から前記運転者の手とともに動く領域部分の特徴を検出し、前記画像から検出した前記運転者の手とともに動く領域部分の特徴に基づいて、前記運転者が前記物体を把持している状態であるか否かを検出するものであってもよい。

上記運転者状態把握装置によれば、前記画像から前記運転者の手とともに動く領域部分の特徴が検出され、前記画像から検出された前記運転者の手とともに動く領域部分の特徴に基づいて、前記運転者が前記物体を把持している状態であるか否かが検出される。前記運転者の手で前記物体が把持されている場合、該物体は前記運転者の手とともに動くため、前記画像中における前記運転者の手とともに動く領域部分、すなわち前記運転者の手に隣接する領域部分の特徴を解析することにより、前記運転者が前記物体を把持している状態であるか否かを正確に検出することができる。前記運転者の手とともに動く領域部分の特徴は、該領域部分の大きさ又は形状でもよいし、色情報又は輝度情報でもよく、また、これらを組み合わせてもよい。

また本発明に係る運転者状態把握装置は、前記即応性判定部が、前記物体把持状態検出部により前記運転者が両手とも前記物体を把持していない所定の状態が検出された場合、自動運転中に前記運転者が前記ハンドルをすぐに操作できる状態にあると判定するものであってもよい。

上記運転者状態把握装置によれば、前記運転者が両手とも前記物体を把持していない所定の状態が検出された場合、自動運転中に前記運転者が前記ハンドルをすぐに操作できる状態にあると判定される。前記運転者が両手とも前記物体を把持していない所定の状態は、例えば、前記運転者が両手とも前記物体を把持していない状態が所定時間継続している状態でもよいし、前記運転者が両手とも前記物体を把持していない状態が一定時間内に所定回数検出された状態などでもよい。これにより、前記運転者が両手で前記ハンドルをすぐに操作できる状態にあることを正確に判定することが可能になる。

また本発明に係る運転者状態把握装置は、前記即応性判定部が、前記物体把持状態検出部により前記運転者が少なくとも片手で前記物体を把持している所定の状態が検出された場合、自動運転中に前記運転者が前記ハンドルをすぐに操作できる状態にないと判定するものであってもよい。

上記運転者状態把握装置によれば、前記運転者が少なくとも片手で前記物体を把持している所定の状態が検出された場合、自動運転中に前記運転者が前記ハンドルをすぐに操作できる状態にないと判定される。前記運転者が少なくとも片手で前記物体を把持している所定の状態は、例えば、前記運転者が少なくとも片手で前記物体を把持している状態が所定時間継続している状態でもよいし、前記運転者が少なくとも片手で前記物体を把持している状態が一定時間内に所定回数検出された状態などでもよい。これにより、前記運転者が両手で前記ハンドルをすぐに操作できる状態にないことを適切に判定することが可能となる。

また本発明に係る運転者状態把握装置は、前記即応性判定部が、前記物体把持状態検出部により前記物体の把持状態が検出された場合、前記物体の大きさに基づいて、自動運転中に前記運転者の手が前記車両のハンドルをすぐに操作できる状態にあるか否かを判定するものであってもよい。

上記運転者状態把握装置によれば、前記物体の大きさに基づいて、自動運転中に前記運転者の手が前記車両のハンドルをすぐに操作できる状態にあるか否かが判定されるので、例えば、前記物体の大きさが、前記ハンドルを把持するのに支障のない大きさである場合は、即応性があると判定することが可能となる。

また本発明に係る運転者状態把握装置は、前記運転者による前記ハンドルの把持状態を検出するハンドル把持状態検出部を備え、
前記即応性判定部が、
前記物体把持状態検出部で検出された前記物体の把持状態、及び前記ハンドル把持状態検出部で検出された前記ハンドルの把持状態に基づいて、自動運転中に前記運転者が前記ハンドルをすぐに操作できる状態にあるか否かを判定するものであってもよい。

上記運転者状態把握装置によれば、前記物体の把持状態、及び前記ハンドルの把持状態に基づいて、自動運転中に前記運転者が前記ハンドルをすぐに操作できる状態にあるか否かが判定される。これにより、前記ハンドルを把持している状態が、ハンドル以外の他の物体を把持している状態であると誤検出されることを防止でき、前記運転者がハンドル以外の物体を把持している状態であるか否かを精度良く判定することができる。その結果、自動運転中に前記運転者の手が前記車両のハンドルをすぐに操作できる状態にあるか否かの判定精度を高めることができる。

また本発明に係る運転者状態把握装置は、前記ハンドルに設けられたセンサから前記運転者の手の接触に基づくセンサ信号を取得するセンサ信号取得部を備え、
前記ハンドル把持状態検出部が、前記センサ信号取得部で取得した前記センサ信号に基づいて、前記運転者による前記ハンドルの把持状態を検出するものであってもよい。

上記運転者状態把握装置によれば、前記ハンドルに設けられた前記センサから取得した前記センサ信号に基づいて、前記運転者による前記ハンドルの把持状態が検出される。したがって、前記ハンドルに設けられた前記センサから前記センサ信号を取得することにより、前記運転者による前記ハンドルの把持状態を直接的に検出することができる。

また本発明に係る運転者状態把握装置は、前記ハンドル把持状態検出部が、前記運転者による前記ハンドルの把持状態を前記画像から検出するものであってもよい。

上記運転者状態把握装置によれば、前記ハンドルにセンサなどを設けることなく、前記画像から前記運転者による前記ハンドルの把持状態を検出することが可能となる。例えば、前記画像から検出した前記運転者の手の動きが前記ハンドルを回転させる方向と同じ場合、該ハンドルを把持していると判定してもよい。また、前記画像から検出した前記運転者の手の動きが前記ハンドルを回転させる方向とは異なる場合、該ハンドルを把持していないと判定してもよい。また、前記ハンドルの上に前記運転者の手があるかどうかを前記画像から検出することにより、前記運転者による前記ハンドルの把持状態を検出してもよい。また、前記運転者の腕が伸びている方法などから前記ハンドルの把持状態を検出してもよい。

また本発明に係る運転者状態把握装置は、前記即応性判定部により、前記運転者の手が前記ハンドルをすぐに操作できる状態にないと判定された場合、前記運転者に対する支援を実行する支援実行部を備えてもよい。

上記運転者状態把握装置によれば、前記運転者の手が前記ハンドルをすぐに操作できる状態にないと判定された場合、前記運転者に対する支援が実行される。これにより、自動運転中であっても前記ハンドルをすぐに操作できる手の状態を保つように、前記運転者に手の状態の適正化を促すための支援が可能となる。

また本発明に係る運転者状態把握装置は、前記自動運転システムから自動運転中の情報を取得する情報取得部を備え、
前記支援実行部が、
前記即応性判定部による判定結果と、前記情報取得部で取得した前記自動運転中の情報とに基づいて、前記運転者に対する通知処理を行うものであってもよい。

上記運転者状態把握装置によれば、前記即応性判定部による判定結果と、前記情報取得部で取得した前記自動運転中の情報とに応じて前記運転者に対する通知処理が行われる。これにより、前記自動運転システムの状況に応じて、運転者に必要以上に多様な通知を行う必要がなくなり、通知に必要な電力・処理を低減することができる。

また本発明に係る運転者状態把握装置は、前記自動運転中の情報には、前記車両の周囲が安全な状態であるか否かを判断するための情報を含み、
前記支援実行部が、
前記即応性判定部により、前記運転者の手が前記ハンドルをすぐに操作できる状態にないと判定された場合、前記車両の周囲が安全な状態であるか否かに応じて、前記運転者に手の状態の適正化を促すための通知レベルを変えて通知処理を行うものであってもよい。

上記運転者状態把握装置によれば、前記運転者の手が前記ハンドルをすぐに操作できる状態にないと判定された場合、前記車両の周囲が安全な状態であるか否かに応じて、前記運転者に手の状態の適正化を促すための通知レベルを変えて通知処理を行うことが可能となる。前記車両の周囲が安全な状態であるか否かを判断するための情報には、例えば、前記車両周囲の監視情報が含まれていることが好ましい。前記車両周囲の監視情報は、例えば、自車両近辺に他の車両が急接近してきた情報でもよいし、細い道の急カーブなど、システムの機能限界が想定される道路を走行する情報などでもよい。
前記車両の周囲が安全な状態でない場合は、例えば、前記通知レベルを上げて、前記ハンドルの操作をすぐに引き継ぐことができる手の状態をとるように、より強い注意を促す通知、例えば、表示、音声、振動などを組み合わせた通知を行うことが望ましい。また、前記車両の周囲が安全な状態である場合は、前記通知レベルを下げて、例えば、表示のみによる軽度の通知を行うことが望ましい。

また本発明に係る運転者状態把握装置は、前記自動運転中の情報には、自動運転から手動運転への引き継ぎ要請情報を含み、
前記支援実行部が、
前記即応性判定部により、前記運転者の手が前記ハンドルをすぐに操作できる状態にないと判定され、前記情報取得部で前記引き継ぎ要請情報を取得した場合、前記運転者にハンドル操作を引き継ぐことを促すための通知処理を行うものであってもよい。

上記運転者状態把握装置によれば、前記運転者の手が前記ハンドルをすぐに操作できる状態にないと判定され、前記引き継ぎ要請情報を取得した場合、前記運転者にハンドル操作を引き継ぐことを促すための通知処理を行うことが可能となる。前記引き継ぎ要請情報は、例えば、自動運転から手動運転への引き継ぎ区間に入った情報などでもよいし、前記自動運転システムの一部に異常や故障が発生した情報などでもよい。前記引き継ぎ要請情報を取得した場合は、実際にハンドル操作が必要になるため、例えば、速やかに前記ハンドルを把持するように通知を行うことが望ましい。

また本発明に係る運転者状態把握システムは、上記運転者状態把握装置のいずれかと、前記運転者を撮影するカメラとを備えていてもよい。

上記運転者状態把握システムによれば、前記運転者状態把握装置と、前記運転者を撮影するカメラとによりシステムが構成される。これにより、自動運転中であっても前記運転者の手が前記ハンドルの操作を迅速に引き継ぐことができる状態にあるかどうかを適切に把握できるとともに、自動運転中に前記自動運転システムに故障が発生した場合等であっても、自動運転から手動運転への引き継ぎを迅速かつ円滑に行えるように適切に支援することができるシステムを構築することができる。

また本発明に係る運転者状態把握方法は、自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握方法であって、
前記運転者を撮影するカメラで撮影された画像を取得するステップと、
取得した前記画像を画像記憶部に記憶させるステップと、
前記画像記憶部から前記画像を読み出すステップと、
読み出した前記画像から前記運転者の手を検出するステップと、
検出された前記運転者の手による物体の把持状態を検出するステップと、
検出された前記物体の把持状態に基づいて、自動運転中に前記運転者の手が前記車両のハンドルをすぐに操作できる状態にあるか否かを判定するステップと、を含み、前記物体が、前記運転者が手で操作する前記車両の装備品とは異なる物であることを特徴としている。

上記運転者状態把握方法によれば、前記画像から前記運転者の手を検出し、該運転者の手による前記物体の把持状態を検出し、該物体の把持状態に基づいて、自動運転中に前記運転者の手が前記車両のハンドルをすぐに操作できる状態にあるか否かを判定する。これにより、自動運転中に前記運転者の手が前記ハンドルの操作を迅速に引き継ぐことができる状態にあるかどうかを正確に把握できるとともに、自動運転中に、前記自動運転システムに故障が発生した場合等であっても、自動運転から手動運転への引き継ぎ、特にハンドル操作の引き継ぎを迅速かつ円滑に行えるように適切に支援することが可能となる。

本発明の実施の形態（１）に係る運転者状態把握装置を含む自動運転システムの要部構成を示すブロック図である。 実施の形態（１）に係る運転者状態把握システムが搭載された車両の運転席周辺を示す側面図である。 実施の形態（１）に係る運転者状態把握装置のハードウェア構成を示すブロック図である。 実施の形態（１）に係る運転者状態把握装置における制御部の行う処理動作を示すフローチャートである。 実施の形態（２）に係る運転者状態把握装置を含む自動運転システムの要部構成を示すブロック図である。 実施の形態（２）に係る運転者状態把握システムが搭載された車両の運転席周辺を示す側面図である。 実施の形態（２）に係る運転者状態把握装置のハードウェア構成を示すブロック図である。 実施の形態（２）に係る運転者状態把握装置における制御部の行う処理動作を示すフローチャートである。

以下、本発明に係る運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法の実施の形態を図面に基づいて説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であり、技術的に種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

図１は、実施の形態（１）に係る運転者状態把握装置２０を含む自動運転システム１の要部構成を示すブロック図である。
自動運転システム１は、運転者状態把握装置２０、カメラ３１、ナビゲーション装置４０、自動運転制御装置５０、周辺監視センサ６０、音声出力部６１、及び表示部６２を含んで構成され、これら各部がバスライン７０で接続されている。

自動運転システム１は、車両の加速、操舵及び制動を含む走行制御のうち少なくとも一部をシステムが主体となって自動的に行う自動運転モードと、運転者が運転操作を行う手動運転モードとを備え、これらモードの切替が可能なシステムになっている。

本実施の形態における自動運転モードは、加速、操舵及び制動の全てを自動運転システム１が自動的に行い、自動運転システム１から要請があったときに運転者が対応するモード（いわゆるレベル３相当以上の自動化レベル）を想定しているが、本発明の適用はこの自動化レベルに限定されない。また、自動運転システム１が自動運転中に手動運転への引き継ぎを要請するときとは、例えば、システムの異常や故障の発生時、システムの機能限界時、自動運転区間の終了時などが含まれる。

運転者状態把握装置２０は、自動運転システム１を備えた車両の運転者の状態を把握するための装置であって、運転者の手の状態を把握して、自動運転中であっても運転者がすぐにハンドルを操作できる状態にあるか否かを判定することにより、自動運転システム１から手動運転への引き継ぎ要請があった場合に、運転者がすぐに手動運転、特にハンドル操作を引き継ぐことができるように支援するための装置である。

運転者状態把握装置２０は、外部インターフェース（外部Ｉ／Ｆ）２１、制御部２２、及び記憶部２６を含んで構成されている。制御部２２は、Central Processing Unit（ＣＰＵ）２３、Random Access Memory（ＲＡＭ）２４、及びRead Only Memory（ＲＯＭ）２５を含んで構成されている。

記憶部２６は、フラッシュメモリ、ハードディスクドライブ、ソリッドステートドライブ、その他の不揮発性メモリや揮発性メモリなど、半導体素子によってデータを記憶する記憶装置を含んで構成されている。記憶部２６には、運転者状態把握装置２０で実行するプログラム２７などが記憶されている。なお、プログラム２７の一部または全部を制御部２２のＲＯＭ２５などに記憶させてもよい。

カメラ３１は、運転席に着座している運転者を撮影するための装置である。カメラ３１は、図示しないレンズ部、撮像素子部、光照射部、入出力部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、ＣＣＤやＣＭＯＳなどの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。前記光照射部は、ＬＥＤなどの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線ＬＥＤなどであってもよい。前記制御部は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭを含み、画像処理回路を含んで構成されていてもよい。前記制御部が、前記撮像素子部や前記光照射部を制御して、該光照射部から光（例えば、近赤外線など）を照射し、前記撮像素子部でその反射光を撮像する制御などを行う。

図２は、実施の形態（１）に係る運転者状態把握システム１０が搭載された車両２の運転席周辺を示す側面図である。
カメラ３１の車室内での取付位置は、運転席３に着座している運転者４の上半身を撮像できる位置であれば特に限定されないが、ハンドル５から運転席３までの空間部分を撮影できる位置に取り付けることが好ましい。例えば、図２に示すようにルームミラー近傍位置などが好ましい。また、別の取付位置としては、ハンドル内Ａ、メーターパネル部分Ｂ、ダッシュボードの上Ｃ、ハンドル５のコラム部分Ｄ、Ａピラー部分Ｅの他、ナビゲーション装置４０などであってもよい。

カメラ３１の数は、１台でもよいし、２台以上であってもよい。カメラ３１は、運転者状態把握装置２０と別体（別筐体）で構成してもよいし、運転者状態把握装置２０と一体（同一筐体）で構成してもよい。また、カメラ３１の種類は特に限定されず、可視光カメラでもよいし、近赤外線カメラや遠赤外線カメラでもよく、これらを組み合わせてもよい。また、単眼カメラでもよいし、単眼３Ｄカメラでもよいし、ステレオカメラなどでもよい。前記単眼３Ｄカメラは、撮像素子として距離計測イメージチップを備え、監視対象物の有無、大きさ、位置、姿勢などを認識することができる構成となっている。このようなカメラ３１で撮影された画像データが運転者状態把握装置２０へ送出される。運転者状態把握装置２０と、カメラ３１とを含んで運転者状態把握システム１０が構成されている。運転者状態把握装置２０とカメラ３１とは、有線で接続してもよいし、無線で接続してもよい。

図１に示すナビゲーション装置４０は、自車両の現在位置や該現在位置から目的地までの走行経路などの情報を運転者に案内するための装置であり、図示しない制御部、表示部、音声出力部、操作部、及び地図データ記憶部などを含んで構成されている。また、図示しないＧＰＳ受信機、ジャイロセンサ、車速センサなどからの信号を取得できるように構成されている。

ナビゲーション装置４０は、前記ＧＰＳ受信機などで計測された車両の位置情報と前記地図データ記憶部の地図情報とに基づいて、自車両が走行する道路や車線などの情報を割り出して、現在位置を前記表示部に表示する。また、ナビゲーション装置４０は、車両の現在位置から目的地までの経路などを演算し、該経路情報などを前記表示部へ表示し、前記音声出力部から経路案内などの音声出力を行う。

また、ナビゲーション装置４０で演算された車両の位置情報、走行道路の情報、及び走行予定経路の情報などが自動運転制御装置５０へ出力される。走行予定経路の情報には、自動運転区間の開始終了地点の情報、自動運転から手動運転への引き継ぎ区間の情報など、自動運転と手動運転との切り替え制御に関連する情報が含まれていてもよい。

自動運転制御装置５０は、車両の自動運転に関する各種制御を実行する装置であり、図示しない制御部、記憶部、及び入出力部などを備えた電子制御ユニットで構成されている。自動運転制御装置５０は、図示しない操舵制御装置、動力源制御装置、制動制御装置、操舵センサ、アクセルペダルセンサ、プレーキペダルセンサなどにも接続されている。これら制御装置及びセンサも自動運転システム１の構成に含めてもよい。

自動運転制御装置５０は、自動運転システム１に含まれる各部から取得した情報に基づいて、自動運転を行う制御信号を各制御装置へ出力して、車両の自動走行制御（自動操舵制御、自動速度調整制御、自動ブレーキ制御など）を行い、また、自動運転モードと手動運転モードとの切替制御なども行う。

自動運転とは、運転席にいる運転者が運転操作をすることなく、自動運転制御装置５０の行う制御によって車両を道路に沿って自動で走行させることをいう。例えば、予め設定された目的地までのルート、車外の状況や地図情報に基づいて自動的に生成された走行ルートなどに従って、自動で車両を走行させる運転状態が含まれる。そして、自動運転制御装置５０は、予め定められた自動運転の解除条件を満たした場合、自動運転を終了（解除）してもよい。例えば、自動運転制御装置５０は、自動運転中の車両が予め定められた自動運転の終了地点に到達したと判定した場合に自動運転を終了する制御を行ってもよい。また、自動運転制御装置５０は、運転者が自動運転解除操作（例えば、自動運転解除ボタンの操作、運転者によるハンドル、アクセル又はブレーキの操作など）を行なった場合に、自動運転を終了する制御を行ってもよい。手動運転とは、運転者が運転操作を行う主体となって車両を走行させる運転である。

周辺監視センサ６０は、車両の周辺に存在する対象物を検出するセンサである。前記対象物には、車、自転車、人などの移動物体の他、路面標示（白線など）、ガードレール、中央分離帯、その他車両の走行に影響を与える構造物などが含まれていてもよい。周辺監視センサ６０は、前方監視カメラ、後方監視カメラ、レーダ（Ｒａｄａｒ）、ライダー、即ちLight Detection and Ranging、又は、Laser Imaging Detection and Ranging（ＬＩＤＥＲ）、及び超音波センサのうち少なくとも１つを含む。周辺監視センサ６０で検出された対象物の検出データが自動運転制御装置５０などへ出力される。前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、距離などを検出する。

音声出力部６１は、運転者状態把握装置２０からの指示に基づく各種の通知などを音や音声で出力する装置であり、スピーカなどを含んで構成されている。
表示部６２は、運転者状態把握装置２０などからの指示に基づく各種の通知や案内を文字や図形で表示したり、又はランプ等を点灯点滅表示したりする装置であり、各種のディスプレイや表示ランプなどを含んで構成されている。

図３は、実施の形態（１）に係る運転者状態把握装置２０のハードウェア構成を示すブロック図である。
運転者状態把握装置２０は、外部Ｉ／Ｆ２１、制御部２２、及び記憶部２６を含んで構成されている。外部Ｉ／Ｆ２１は、カメラ３１の他に、自動運転制御装置５０、周辺監視センサ６０、音声出力部６１、表示部６２など、自動運転システム１の各部と接続可能に構成され、これら各部との間で信号の授受を行うためのインターフェース回路や接続コネクタなどで構成されている。

制御部２２は、画像取得部２２ａ、手検出部２２ｂ、物体把持状態検出部２２ｃ、及び即応性判定部２２ｄを含んで構成され、さらに通知処理部２２ｅを含んで構成してもよい。通知処理部２２ｅは支援実行部の一例である。記憶部２６は、画像記憶部２６ａ、手検出方法記憶部２６ｂ、物体把持状態検出方法記憶部２６ｃ、及び判定方法記憶部２６ｄを含んで構成されている。

画像記憶部２６ａには、画像取得部２２ａで取得されたカメラ３１の画像データが記憶される。手検出方法記憶部２６ｂには、制御部２２の手検出部２２ｂで実行される手検出プログラムや該プログラムの実行に必要なデータなどが記憶されている。

物体把持状態検出方法記憶部２６ｃには、制御部２２の物体把持状態検出部２２ｃで実行される、運転者の手による物体の把持状態を検出する物体把持状態検出プログラムや該プログラムの実行に必要なデータなどが記憶されている。

判定方法記憶部２６ｄには、制御部２２の即応性判定部２２ｄで実行される、運転者の手がハンドルをすぐに操作できる状態にあるか否かを判定する判定プログラムや該プログラムの実行に必要なデータなどが記憶されている。

制御部２２は、記憶部２６と協働して、記憶部２６に各種データを記憶する処理や記憶部２６に記憶された各種データや各種プログラムを読み出し、これらプログラムをＣＰＵ２３で実行することで、画像取得部２２ａ、手検出部２２ｂ、物体把持状態検出部２２ｃ、即応性判定部２２ｄ、及び通知処理部２２ｅなどの働きを実現する装置である。

制御部２２を構成する画像取得部２２ａは、カメラ３１で撮影された運転者の画像を取得する処理を行い、取得した画像データを画像記憶部２６ａに記憶する処理を行う。運転者の画像は、静止画であってもよいし、動画であってもよい。運転者の画像の取得は、例えば、運転者状態把握装置２０の起動後に所定の間隔（フレームレート）で取得するようにすればよい。

手検出部２２ｂは、画像記憶部２６ａから画像データを読み出し、手検出方法記憶部２６ｂから読み出したプログラムに基づいて、画像データに対して所定の画像処理を施し、画像から運転者の手を検出する処理を行う。運転者の手には、手首から先の部分が含まれていればよく、腕を含んでいてもよい。

手検出部２２ｂにおける処理には、カメラ３１で撮影された画像を処理して運転者の手が写っている座標やその領域を検出する各種の画像処理が採用され得る。例えば、例えば、カメラ３１に可視光カメラが用いられ、撮影された画像がカラー画像である場合は、各画素のＲＧＢ値などの色情報から肌色領域を抽出し、抽出した肌色領域の大きさや形状などの特徴から運転者の手を検出する画像処理を行ってもよい。

また、カメラ３１に近赤外線カメラが用いられ、撮影された画像が近赤外線画像である場合は、各画素の輝度値などの情報から肌色に対応する輝度領域を抽出し、抽出した輝度領域の大きさや形状などの特徴から運転者の手を検出する画像処理を行ってもよい。
また、カメラ３１に遠赤外線カメラが用いられ、撮影された画像が遠赤外線画像である場合は、画像から得られる運転者の肌温度情報に基づいて、肌温度領域を抽出し、抽出した肌温度領域の大きさや形状などの特徴から運転者の手を検出する画像処理を行ってもよい。また、カメラ３１に単眼３Ｄカメラを用いた場合は、該単眼３Ｄカメラで検出された運転者の各部位の検出位置や姿勢などの取得情報を用いて運転者の手の位置を検出するようにしてもよい。

物体把持状態検出部２２ｃは、手検出部２２ｂで検出された運転者の手による物体の把持状態を検出する処理、具体的には、運転者が手で操作する車両２の装備品とは異なる物を運転者が把持している状態であるか否かを検出する処理などを行う。運転者が手で操作する車両２の装備品には、ハンドル５やシフトレバー（図示せず）などが含まれる。

物体把持状態検出部２２ｃにおける処理には、カメラ３１で撮影された画像を処理して、運転者の手による物体の把持状態を検出する各種の画像処理が採用され得る。例えば、カメラ３１で撮影された画像から運転者の手とともに動く領域部分、すなわち、運転者の手に隣接する領域部分の特徴を検出し、検出した運転者の手とともに動く領域部分の特徴に基づいて、運転者が物体を把持している状態であるか否かを検出する処理を行ってもよい。

前記運転者の手とともに動く領域部分の特徴は、該領域部分の大きさや形状でもよいし、色情報や輝度情報でもよく、また、これらを組み合わせてもよい。
当該処理によれば、運転者の手の移動を検出し、運転者の手の移動の前後における運転者の手に隣接する領域の色情報が略同一であった場合、該色情報が略同一の領域は、運転者が把持している物体を示す領域であると判定し、運転者が物体を把持している状態であると検出することが可能となる。

また、前記色情報が略同一の領域の大きさ又は形状に基づいて、運転者が物体を把持している状態であるか否かを検出するようにしてもよい。係る構成によれば、前記色情報が略同一の領域の大きさや形状が、ハンドルを把持するのに支障のない大きさ又は形状である場合、換言すれば、運転者が把持している物体が小さいもの、例えば、たばこや車の鍵などの小物である場合は、運転者が物体を把持していない状態として検出してもよい。

即応性判定部２２ｄは、物体把持状態検出部２２ｃで検出された物体の把持状態に基づいて、自動運転中に運転者の手が車両のハンドルをすぐに操作できる状態にあるか否か、すなわち、ハンドル操作への即応性が高いか否かを判定する処理を行う。
例えば、物体把持状態検出部２２ｃにより運転者が両手とも物体を把持していない所定の状態が検出された場合、ハンドル操作への即応性が高いと判定してもよい。運転者が両手とも物体を把持していない所定の状態は、例えば、運転者が両手とも物体を把持していない状態が所定時間継続している状態でもよいし、運転者が両手とも物体を把持していない状態が一定時間内に所定回数検出された状態などでもよい。
ハンドル操作の即応性とは、自動運転システム１が何らかの理由により動作しなくなり、自動運転を継続できなくなった場合に、運転手がハンドル５を操作することができる迅速性を指す。したがってハンドル操作の即応性の高い状態とは、運転手がハンドルを操作しようと思えば、すぐに操作可能であればよく、ハンドルを把持している必要はない。

また、物体把持状態検出部２２ｃにより運転者が少なくとも片手で物体を把持している所定の状態が検出された場合、ハンドル操作への即応性が低いと判定してもよい。運転者が少なくとも片手で物体を把持している所定の状態は、例えば、運転者が少なくとも片手で物体を把持している状態が所定時間継続している状態でもよいし、運転者が少なくとも片手で物体を把持している状態が一定時間内に所定回数検出された状態などでもよい。

通知処理部２２ｅは、即応性判定部２２ｄで運転者の手がハンドルをすぐに操作できる状態にない、すなわち、ハンドル操作への即応性が低いと判定された場合、音声出力部６１や表示部６２に、ハンドルをすぐに操作できる手の状態をとることを促す音声の出力や表示の出力を行うための通知処理を行う。また通知処理部２２ｅは、自動運転制御装置５０に対して、自動運転を解除せず、自動運転を継続させるように通知する信号を出力してもよい。

図４は、実施の形態（１）に係る運転者状態把握装置２０における制御部２２の行う処理動作を示すフローチャートである。ここでは、自動運転システム１が自動運転モードに設定されている状態、すなわち車両が自動運転制御で走行している状態にあるとして説明する。本処理動作は、自動運転モード中において繰り返し実行される。

まず、ステップＳ１では、カメラ３１で撮影された運転者の画像データを取得する処理を行う。画像データは、カメラ３１から１フレームずつ取得してもよいし、複数フレーム又は一定時間分をまとめて取得してもよい。次のステップＳ２では、取得した画像データを画像記憶部２６ａに記憶する処理を行い、その後ステップＳ３に進む。

ステップＳ３では、画像記憶部２６ａに記憶された画像データを読み出し、その後ステップＳ４に進む。画像データは、画像記憶部２６ａから１フレームずつ読み出してもよいし、複数フレーム又は一定時間分をまとめて読み出してもよい。ステップＳ４では、読み出した画像データから運転者の手を検出する処理、例えば、画像中における運転者の手の座標位置や手の領域を検出する処理を行い、その後ステップＳ５に進む。

ステップＳ４で実行する、画像データから運転者の手を検出する処理には、カメラ３１の特性に応じた各種の画像処理を適用することが可能である。
例えば、カメラ３１に可視光カメラが用いられ、撮影された画像がカラー画像である場合は、各画素のＲＧＢ値などの色情報から肌色領域を抽出し、抽出した肌色領域の大きさや形状などの特徴から運転者の手を検出し、画像中における運転者の手の座標データ又は領域データを出するようにしてもよい。

また、カメラ３１に近赤外線カメラが用いられ、撮影された画像が近赤外線画像である場合は、各画素の輝度値などの情報から肌色に対応する輝度領域を抽出し、抽出した輝度領域の大きさや形状などの特徴から運転者の手を検出し、画像中における運転者の手の座標データ又は領域データを出力するようにしてもよい。

また、カメラ３１に遠赤外線カメラが用いられ、撮影された画像が遠赤外線画像である場合は、画像データから得られる運転者の肌温度情報に基づいて、肌温度領域を抽出し、抽出した肌温度領域の大きさや形状などの特徴から運転者の手を検出し、画像中における運転者の手の座標データ又は領域データを出力するようにしてもよい。

また、カメラ３１に単眼３Ｄカメラを用いた場合は、該単眼３Ｄカメラで検出された運転者の各部位の検出位置や姿勢などの取得情報を用いて、画像中における運転者の手の位置を検出し、検出したデータを出力するようにしてもよい。

ステップＳ５では、運転者の手が検出されたか否かを判定する。ステップＳ５では、運転者の手が所定時間継続して検出されなかったか否かを判定してもよいし、運転者の手が一定時間内に所定回数検出されなかったか否かを判定してもよい。運転者の手が検出されない場合とは、カメラ３１の撮影領域内に運転者の手がない状態や運転者の手が何らかの物体の後ろにある状態などによって、画像中に運転者の手が写っていない場合である。

ステップＳ５において、運転者の手が検出されなかったと判断すればステップＳ９に進む。一方ステップＳ５において、運転者の手が検出されたと判断すればステップＳ６に進む。ステップＳ６では、運転者の手による物体の把持状態を検出する処理を行い、その後ステップＳ７に進む。ステップＳ６で実行する、運転者の手による物体の把持状態を検出する処理には、各種の画像処理を適用することができる。ここでの物体は、運転者が手で操作する車両２の装備品（例えば、ハンドルやシフトレバーなど）とは異なる物である。

例えば、運転者の手とともに動く領域部分（手に隣接する領域部分）の特徴を画像から検出し、検出した運転者の手とともに動く領域部分の特徴に基づいて、運転者が物体を把持している状態であるか否かを検出する処理を行ってもよい。

前記運転者の手とともに動く領域部分の特徴は、該領域部分の大きさや形状でもよいし、色情報や輝度情報でもよく、また、これらを組み合わせてもよい。
例えば、運転者の手の移動を検出し、運転者の手の移動の前後における運転者の手に隣接する領域の色情報や輝度情報が略同一であった場合、該色情報や輝度情報が略同一の領域は、運転者が把持している物体を示す領域であると判定し、運転者が物体を把持している状態であると検出してもよい。また、運転者の手の移動の前後における前記色情報や輝度情報が略同一の領域の大きさ又は形状に基づいて、運転者が物体を把持している状態であるか否かを検出するようにしてもよい。

ステップＳ７では、ステップＳ６での検出処理の結果、運転者が少なくとも片手で物体を把持している所定の状態が検出されたか否か判断し、運転者が少なくとも片手で物体を把持している所定の状態が検出されたと判断すればステップＳ８に進む。運転者が少なくとも片手で物体を把持している所定の状態は、運転者が少なくとも片手で物体を把持している状態が所定時間継続している状態であってもよいし、運転者が少なくとも片手で物体を把持している状態が一定時間内に所定回数検出された状態でもよい。

なお、ステップＳ７の処理の代わりに、運転者が両手とも物体を把持していない所定の状態が検出されたか否かを判断する処理を採用してもよい。この場合は、運転者が両手とも物体を把持していない所定の状態が検出されなかったと判断した場合にステップＳ８に進む一方、運転者が両手とも物体を把持していない所定の状態が検出されたと判断した場合にステップＳ１０に進むようにすればよい。

ステップＳ８では、運転者が把持している物体の大きさが、ハンドルを把持するのに支障のない大きさであるか否か、すなわち、運転者が把持している物体が小さいか否かを判断し、運転者が把持している物体が小さくない、すなわち、ハンドルを把持するのに支障のある大きさであると判断すればステップＳ９に進む。なお、ステップＳ８は必ずしも必要ではなく、ステップＳ７で運転手が少なくとも片手で物体を把持している所定の状態が検出されたと判断すればステップＳ９へ進んでもよい。

ステップＳ９では、自動運転中に運転者の手が車両のハンドルをすぐに操作できる状態にあるか否かを判定するための即応性フラグｆを０に設定し、その後ステップＳ１１に進む。即応性フラグｆが０であるとは、ハンドルをすぐに操作できる状態にない、すなわち、ハンドル操作への即応性が低い状態にあることを示している。

一方、ステップＳ７において、運転者が少なくとも片手で物体を把持している所定の状態が検出されなかった、換言すれば、運転者が両手とも物体を把持していない状態が検出されたと判断すればステップＳ１０に進む。

また、ステップＳ８において、運転者が把持している物体の大きさが、ハンドルを把持するのに支障のない大きさである、すなわち、運転者が把持している物体が小さいと判断すればステップＳ１０に進む。ハンドルを把持するのに支障があるか否かは、例えば、運転者が物体を把持している場合に親指と親指以外の指とが接触可能か否かを基準としてもよい。ハンドルを把持するのに支障のない大きさの物体としては、例えば、たばこや車の鍵など、指２本程度で持つことができる小さな物が挙げられる。一方、ハンドルを把持するのに支障がある大きさの物体としては、例えばハンバーガーなど、手の平と同程度以上の大きさの食べ物やペットボトルなどの飲料容器、スマートフォンなどの携帯端末、又は雑誌や本など、手全体を使わなければ持つことが難しい大きさの物が挙げられる。

ステップＳ１０では、自動運転中に運転者の手が車両のハンドルをすぐに操作できる状態にあるか否かを判定するための即応性フラグｆを１に設定し、その後ステップＳ１１に進む。即応性フラグｆが１であるとは、ハンドルをすぐに操作できる状態にある、すなわち、ハンドル操作への即応性が高い状態にあることを示している。

ステップＳ１１では、即応性フラグｆが１であるか否かを判断し、即応性フラグｆが１である、すなわち、ハンドル操作への即応性が高い状態にあると判断すれば、その後処理を終える。なお、別の実施の形態では、運転者の手の即応性が高い状態であることを運転者に知らせるための通知処理、例えば、表示部６２に適正姿勢通知ランプを設け、該適正姿勢通知ランプを点灯するようにしてもよい。また、自動運転制御装置５０に対して、ハンドルをすぐに操作できる状態にあること、すなわち、自動運転を継続するのに適した状態であることを通知する信号を出力してもよい。

一方ステップＳ１１において、即応性フラグｆが１ではなく、０である、すなわち、ハンドル操作への即応性が低い状態にあると判断すれば、ステップＳ１２に進む。ステップＳ１２では、運転者に対する通知処理を行う。

前記通知処理としては、音声出力部６１から所定の音声を出力する処理を行ってもよいし、表示部６２に所定の表示を行ってもよい。前記通知処理は、運転者に対して、自動運転システム１に故障等が発生した場合などに、すぐにハンドルを操作することができる手の状態をとるように注意を促すための処理である。例えば、「手に持っているものを置いてください。」といった音声を出力したり、手に物を持たないように促すための表示を行ったりしてもよい。またステップＳ１２では、自動運転制御装置５０に対して、自動運転を解除せず、自動運転を継続させるように通知する信号を出力してもよい。

上記実施の形態（１）に係る運転者状態把握装置２０によれば、手検出部２２ｂによりカメラ３１で撮影された画像から運転者の手が検出され、物体把持状態検出部２２ｃにより運転者の手による物体の把持状態が検出され、即応性判定部２２ｄにより、前記物体の把持状態に基づいて、自動運転中に運転者の手が車両のハンドルをすぐに操作できる状態にあるか否かが判定される。これにより、自動運転中に運転者の手の状態がハンドルの操作を迅速に引き継ぐことができる状態にあるかどうかを正確に把握できるとともに、自動運転中に、自動運転システム１に故障が発生した場合等であっても、自動運転から手動運転への引き継ぎ、特にハンドル操作の引き継ぎを迅速かつ円滑に行えるように適切に支援することが可能となる。

また、運転者状態把握装置２０によれば、物体把持状態検出部２２ｃにより、画像中における運転者の手とともに動く領域部分の特徴が解析されるので、運転者が手で操作する車両の装備品とは異なる物体を運転者が把持している状態であるか否かを正確に検出することができる。また、運転者の手とともに動く領域部分の大きさ又は形状が、ハンドルを把持するのに支障のない大きさ又は形状である場合、運転者が物体を把持していない状態として検出することも可能となり、ハンドルの操作に支障のある物体を把持している状態であるかどうかなど、実際のハンドル操作に即した検出を行うことが可能となる。

また、運転者状態把握装置２０によれば、即応性判定部２２ｄにより、運転者が少なくとも片手で物体を把持している所定の状態が検出された場合、即応性が低い状態にあると判定される。これにより、運転者が両手でハンドルをすぐに操作できる状態にないことを適切に判定することが可能となる。

また、運転者状態把握装置２０によれば、即応性判定部２２ｄにより、運転者が両手とも物体を把持していない所定の状態が検出された場合、即応性が高い状態にあると判定される。これにより、運転者が両手でハンドルをすぐに操作できる状態にあることを正確に判定することができる。

また、運転者状態把握装置２０によれば、即応性判定部２２ｄにより、運転者の手が車両のハンドルをすぐに操作できる状態にないと判定された場合、通知処理部２２ｅにより運転者に通知する処理が行われる。これにより、自動運転中であってもハンドルをすぐに操作できる手の状態を保つように、運転者に手の状態の適正化を促すことが可能となる。

図５は、実施の形態（２）に係る運転者状態把握装置２０Ａを含む自動運転システム１の要部構成を示すブロック図である。図１に示した自動運転システム１と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。
実施の形態（１）に係る運転者状態把握システム１０では、カメラ３１が使用されていたが、実施の形態（２）に係る運転者状態把握システム１０Ａでは、カメラ３１とともにハンドルセンサ３２が装備されている点が大きく相違している。

図６は、実施の形態（２）に係る運転者状態把握システム１０Ａが搭載された車両２の運転席周辺を示す側面図である。
ハンドルセンサ３２は、車両２のハンドル５に設けられ、ハンドル５に触れられた手を検出することができるセンサであれば特に限定されない。ハンドルセンサ３２は、例えば、静電容量式センサや感圧式センサなどでもよいし、ハンドル５に触れられた手から心拍又は脈波などの生体情報を検出する生体センサなどでもよい。

前記静電容量式センサは、ハンドル５に設けた電極部と手との間に生じる静電容量の変化を検出して、ハンドル５への接触を検出するセンサである。前記感圧式センサは、ハンドル５に設けた電極部と検出部との接触面積（抵抗値）の変化により、ハンドル５を把持したときの圧力を検出して、ハンドル５への接触を検出するセンサである。ハンドルセンサ３２は、ハンドル５の円周上やスポーク部分に複数設けて、ハンドル５への手の接触位置も検出できるようにしてもよい。ハンドルセンサ３２で検出された信号が運転者状態把握装置２０Ａに出力される。

図７は、実施の形態（２）に係る運転者状態把握装置２０Ａのハードウェア構成を示すブロック図である。なお、図３に示した運転者状態把握装置２０と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。

実施の形態（２）に係る運転者状態把握装置２０Ａが、実施の形態（１）に係る運転者状態把握装置２０と相違するところは、制御部２２Ａが、センサ信号取得部２２ｆ、ハンドル把持状態検出部２２ｇ、及び情報取得部２２ｉをさらに備えているところと、これらの追加に伴い即応性判定部２２ｈ、及び通知処理部２２ｊで実行する処理が相違しているところである。

制御部２２Ａは、画像取得部２２ａ、手検出部２２ｂ、物体把持状態検出部２２ｃ、センサ信号取得部２２ｆ、ハンドル把持状態検出部２２ｇ、即応性判定部２２ｈ、情報取得部２２ｉ、及び通知処理部２２ｊを含んで構成されている。通知処理部２２ｊは支援実行部の一例である。記憶部２６Ａは、画像記憶部２６ａ、手検出方法記憶部２６ｂ、物体把持状態検出方法記憶部２６ｃ、及び判定方法記憶部２６ｅを含んで構成されている。

画像記憶部２６ａには、画像取得部２２ａで取得されたカメラ３１の画像データが記憶される。手検出方法記憶部２６ｂには、制御部２２Ａの手検出部２２ｂで実行される手検出プログラムや該プログラムの実行に必要なデータなどが記憶されている。物体把持状態検出方法記憶部２６ｃには、制御部２２Ａの物体把持状態検出部２２ｃで実行される物体把持状態検出プログラムや該プログラムの実行に必要なデータなどが記憶されている。

判定方法記憶部２６ｅには、制御部２２Ａの即応性判定部２２ｈで実行される、運転者の手がハンドルをすぐに操作できる状態にあるか否かを判定する判定プログラムや該プログラムの実行に必要なデータなどが記憶されている。

制御部２２Ａを構成する画像取得部２２ａは、カメラ３１で撮影された運転者の画像を取得する処理を行い、取得した画像データを画像記憶部２６ａに記憶する処理を行う。
手検出部２２ｂは、画像記憶部２６ａから画像データを読み出し、手検出方法記憶部２６ｂから読み出したプログラムに基づいて画像データに対して所定の画像処理を施して、画像中における運転者の手を検出する処理を行う。

物体把持状態検出部２２ｃは、手検出部２２ｂで検出された運転者の手による物体の把持状態を検出する処理、例えば、運転者が物体を把持している状態であるか否かを検出する処理などを行う。

センサ信号取得部２２ｆは、ハンドルセンサ３２で検出されたセンサ信号を取得する処理を行う。ハンドル把持状態検出部２２ｇは、センサ信号取得部２２ｆで取得したセンサ信号に基づいて、運転者によるハンドルの把持状態を検出する処理を行う。なお、ハンドルの把持状態には、ハンドルを手で握っている状態だけでなく、ハンドルに手が接触している（手が添えられている）状態も含めてもよい。

即応性判定部２２ｈは、物体把持状態検出部２２ｃで検出された物体の把持状態、及びハンドル把持状態検出部２２ｇで検出されたハンドルの把持状態に基づいて、自動運転中に運転者の手がハンドルをすぐに操作できる状態にあるか否かを判定する処理を行う。

例えば、ハンドル把持状態検出部２２ｇによりハンドルが把持されていない状態が検出され、かつ物体把持状態検出部２２ｃにより運転者が両手とも物体を把持していない状態が検出された場合、自動運転中に運転者がハンドルをすぐに操作できる状態にあると判定してもよい。
また、ハンドル把持状態検出部２２ｇによりハンドルが把持されていない状態が検出され、かつ物体把持状態検出部２２ｃにより運転者が少なくとも片手で物体を把持している状態が検出された場合、自動運転中に運転者がハンドルをすぐに操作できる状態にないと判定してもよい。
また、ハンドル把持状態検出部２２ｇによりハンドルが両手で把持されている状態が検出された場合、物体把持状態検出部２２ｃによる検出状態に関わらずに、自動運転中に運転者がハンドルをすぐに操作できる状態にあると判定してもよい。

情報取得部２２ｉは、自動運転システム１の各部から自動運転中の情報を取得する。該自動運転中の情報には、周辺監視センサ６０で検出される車両周囲の監視情報、及び自動運転制御装置５０から送出される自動運転から手動運転への引き継ぎ要請情報のうちの少なくともいずれかが含まれている。

通知処理部２２ｊは、即応性判定部２２ｈで、運転者がハンドルをすぐに操作できる状態にないと判定された場合に、情報取得部２２ｉで取得した自動運転中の情報に応じて、音声出力部６１や表示部６２に、ハンドルをすぐに操作できる手の状態をとることを促すための音声出力や表示出力を行う処理を行う。また通知処理部２２ｊは、自動運転制御装置５０に対して、自動運転を解除せず、自動運転を継続させるように通知する信号を出力してもよい。

図８は、実施の形態（２）に係る運転者状態把握装置２０Ａにおける制御部２２Ａの行う処理動作を示すフローチャートである。図４に示したフローチャートの処理動作と相違するところは、ステップＳ６とステップＳ７との間にステップＳ２１、Ｓ２２が挿入され、ステップＳ１２に代えて、ステップＳ３１〜Ｓ３６が挿入されているところである。図４に示したフローチャートの処理動作と同一内容の処理動作には同一符号を付し、その説明を省略する。

まず、ステップＳ１では、カメラ３１で撮影された運転者の画像を取得する処理を行い、次のステップＳ２では、取得した画像を画像記憶部２６ａに記憶する処理を行う。ステップＳ３では、画像記憶部２６ａから画像を読み出し、次のステップＳ４では、読み出した画像データから運転者の手を検出する処理を行い、その後ステップＳ５に進む。

ステップＳ５では、運転者の手が検出されたか否かを判定する。ステップＳ５において、運転者の手が検出されなかったと判断すればステップＳ９に進む一方、ステップＳ５において、運転者の手が検出されたと判断すればステップＳ６に進む。ステップＳ６では、運転者の手による物体の把持状態を検出する処理を行い、その後ステップＳ２１に進む。

ステップＳ２１では、ハンドルセンサ３２からセンサ信号を取得する処理を行い、次のステップＳ２２では、取得したセンサ信号に基づいて、ハンドルを両手で把持しているか否かを判断する。センサ信号が２箇所の接触があることを示す信号である場合は、ハンドルを両手で把持していると判断する。
ステップＳ２２において、ハンドルを両手で把持していない、すなわち、片手で把持している、又は両手とも把持していないと判断した場合、ステップＳ７に進む。

ステップＳ７では、ステップＳ６での検出処理の結果、運転者が少なくとも片手で物体を把持している所定の状態が検出されたか否か判断し、運転者が少なくとも片手で物体を把持している所定の状態が検出されたと判断すればステップＳ８に進む。

ステップＳ８では、運転者が把持している物体の大きさが、ハンドルを把持するのに支障のない大きさであるか否か、すなわち、運転者が把持している物体が小さいか否かを判断し、運転者が把持している物体が小さくない、すなわち、ハンドルを把持するのに支障のある大きさであると判断すればステップＳ９に進む。なお、ステップＳ８は必ずしも必要ではなく、ステップＳ７で運転手が少なくとも片手で物体を把持している所定の状態が検出されたと判断すればステップＳ９に進んでもよい。

ステップＳ９では、即応性フラグｆを０に設定し、その後ステップＳ１１に進む。即応性フラグｆが０であるとは、ハンドルをすぐに操作できる状態にない、すなわち、ハンドル操作への即応性が低い状態にあることを示している。

一方、ステップＳ２２において、ハンドルを両手で把持していると判断した場合はステップＳ１０に進む。
また、ステップＳ７において、運転者が少なくとも片手で物体を把持している所定の状態が検出されなかった、換言すれば、運転者が両手とも物体を把持していない状態が検出されたと判断すればステップＳ１０に進む。
さらに、ステップＳ８において、運転者が把持している物体の大きさが、ハンドルを把持するのに支障のない大きさである、すなわち、運転者が把持している物体が小さいと判断すればステップＳ１０に進む。

ステップＳ１０では、即応性フラグｆを１に設定し、その後ステップＳ１１に進む。即応性フラグｆが１であるとは、ハンドルをすぐに操作できる状態にある、すなわち、ハンドル操作への即応性が高い状態にあることを示している。

ステップＳ１１では、即応性フラグｆが１であるか否かを判断し、即応性フラグｆが１である、すなわち、ハンドル操作への即応性が高い状態にあると判断すれば、その後処理を終える。一方ステップＳ１１において、即応性フラグｆが１ではなく、０である、すなわち、ハンドル操作への即応性が低い状態にあると判断すれば、ステップＳ３１に進む。

ステップＳ３１では、自動運転システム１から情報を取得して、ステップＳ３２に進む。前記情報には、周辺監視センサ６０で検出された周辺監視情報や自動運転制御装置５０から出力される手動運転への引き継ぎ要請情報が含まれる。該引き継ぎ要請情報には、例えば、システムの異常（故障）発生信号、システムの機能限界信号、または引き継ぎ区間への進入信号などが含まれる。

ステップＳ３２では、周辺監視センサ６０から取得した周辺監視情報に基づいて、車両周囲が安全な状態であるか否かを判断する。ステップＳ３２において、車両周囲が安全な状態ではない、例えば、車両の周囲（前方、側方、及び後方のいずれか）の一定範囲内に他車両、人、その他障害物を検出した情報、他の車両が急接近してきた情報、細い道の急カーブなど、システムの機能限界が想定される道路を走行する情報などを取得したと判断すれば、ステップＳ３４の重度の通知処理に進む。ステップＳ３４では、すぐにハンドルを操作することができる手の状態を速やかにとるように重度の通知処理を行い、その後処理を終える。重度の通知処理では、表示と音声とを組み合わせた通知を行うことが好ましい。また、運転席等への振動付与など、表示や音声以外による通知を組み合わせてもよい。また、ステップＳ３４では、自動運転制御装置５０に対して、自動運転を解除せず、自動運転を継続させるように通知する信号を出力してもよい。

一方ステップＳ３２において、車両周囲が安全な状態であると判断すればステップＳ３３に進む。ステップＳ３３では、自動運転制御装置５０から手動運転への引き継ぎ要請情報を取得したか、すなわち、引き継ぎ要請があったか否かを判断する。

ステップＳ３３において、引き継ぎ要請がなかったと判断すれば、ステップＳ３５の軽度の通知処理に進む。ステップＳ３５では、ハンドルを把持することができる手の状態をとるように軽度の通知処理を行い、その後処理を終える。軽度の通知処理では、表示のみの通知など、運転者にとってやさしい通知を行うことが、自動運転と運転者との調和を図る上で好ましい。

一方ステップＳ３３において、引き継ぎ要請があったと判断すれば、ステップＳ３６に進む。ステップＳ３６では、直ちにハンドルを把持して運転を引き継ぐように音声や表示による引継の通知を行い、その処理を終える。

上記実施の形態（２）に係る運転者状態把握装置２０Ａによれば、物体把持状態検出部２２ｃで検出される物体の把持状態、及びハンドル把持状態検出部２２ｇで検出されるハンドルの把持状態に基づいて、自動運転中に運転者がハンドルをすぐに操作できる状態にあるか否かが判定される。これにより、ハンドルを把持している状態が、ハンドル以外の他の物体を把持している状態であると誤検出されることを防止でき、運転者がハンドル以外の物体を把持している状態であるか否かを精度良く判定することができる。その結果、自動運転中に運転者の手がハンドルをすぐに操作できる状態にあるか否かの判定精度を高めることができる。

また、運転者状態把握装置２０Ａによれば、通知処理部２２ｊにより、情報取得部２２ｉで取得した自動運転中の情報に応じて運転者に通知処理が行われる。車両周囲が安全な状態ではないことを示す周辺監視情報を取得した場合は、通知処理部２２ｊで行う通知のレベルを上げて、ハンドルの操作をすぐに引き継ぐことができる手の状態をとるように、重度の通知により強い注意を促すことができる。また、車両周囲が安全であり、引き継ぎ要請もない状態のときは、軽度の通知により、運転者に手の状態の適正化をやさしく促すことができる。また、引き継ぎ要請があった場合は、すぐに引き継ぎ体勢をとるように運転者に通知を行うことが可能となる。

これにより、自動運転システム１の状況に応じて、運転者に必要以上に多様な通知を行う必要がなくなり、該通知に必要な電力や処理を低減することができる。また、システムの故障発生時や動作限界時、又は手動運転への引き継ぎ要請時などにおいて、運転者がハンドルを把持して運転操作の引き継ぎが完了するまでの対応時間を短くすることができ、迅速かつ円滑な引き継ぎが可能となる。また、自動運転システム１の状況に応じた、運転者にもやさしい、適切な通知を行うことが可能となる。

なお、実施の形態（１）に係る運転者状態把握装置２０に、情報取得部２２ｉを設け、図４のステップＳ１２に代えて、図８のステップＳ３１〜Ｓ３６と同様の処理、すなわち、情報取得部２２ｉで取得した自動運転中の情報に応じた運転者への各種通知処理など、運転者に対する支援を実行するようにしてもよい。

また、上記実施の形態（２）に係る運転者状態把握装置２０Ａでは、ハンドルセンサ３２からセンサ信号を取得し、取得したセンサ信号に基づいてハンドルの把持状態を検出するように構成されているが、別の実施の形態では、ハンドルセンサ３２を設けることなく、カメラ３１で撮影された画像から運転者がハンドルを把持している状態であるかどうかを検出するようにしてもよい。

例えば、カメラ３１で撮影された画像にハンドルが写っている場合は、ハンドルの上にある手を肌の色情報や輝度情報などに基づいて検出するようにすればよい。また、画像にハンドルが写っていない場合は、運転者の腕がハンドルのある方向に伸びているかどうかなどの画像の情報からハンドルを把持しているかどうかを検出するようにしてもよい。

１ 自動運転システム
１０、１０Ａ 運転者状態把握システム
２０、２０Ａ 運転者状態把握装置
２１ 外部Ｉ／Ｆ
２２、２２Ａ 制御部
２２ａ 画像取得部
２２ｂ 手検出部
２２ｃ 物体把持状態検出部
２２ｄ、２２ｈ 即応性判定部
２２ｅ、２２ｊ 通知処理部
２２ｆ センサ信号取得部
２２ｇ ハンドル把持状態検出部
２２ｉ 情報取得部
２３ ＣＰＵ
２４ ＲＡＭ
２５ ＲＯＭ
２６、２６Ａ 記憶部
２６ａ 画像記憶部
２６ｂ 手検出方法記憶部
２６ｃ 物体把持状態検出方法記憶部
２６ｄ、２６ｅ 判定方法記憶部
２７ プログラム
３１ カメラ
３２ ハンドルセンサ
４０ ナビゲーション装置
５０ 自動運転制御装置
６０ 周辺監視センサ
６１ 音声出力部
６２ 表示部

Claims (14)

1. 自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握装置であって、
   前記運転者を撮影するカメラで撮影された画像を取得する画像取得部と、
   該画像取得部で取得した前記画像から前記運転者の手を検出する手検出部と、
   該手検出部で検出された前記運転者の手による物体の把持状態を検出する物体把持状態検出部と、
   該物体把持状態検出部で検出された前記物体の把持状態に基づいて、自動運転中に前記運転者の手が前記車両のハンドルをすぐに操作できる状態にあるか否かを判定する即応性判定部とを備え、
   前記物体が、前記運転者が手で操作する前記車両の装備品とは異なる物であることを特徴とする運転者状態把握装置。
2. 前記物体把持状態検出部が、
   前記画像から前記運転者の手とともに動く領域部分の特徴を検出し、前記画像から検出した前記運転者の手とともに動く領域部分の特徴に基づいて、前記運転者が前記物体を把持している状態であるか否かを検出するものであることを特徴とする請求項１記載の運転者状態把握装置。
3. 前記即応性判定部が、
   前記物体把持状態検出部により前記運転者が両手とも前記物体を把持していない所定の状態が検出された場合、自動運転中に前記運転者が前記ハンドルをすぐに操作できる状態にあると判定するものであることを特徴とする請求項１又は請求項２記載の運転者状態把握装置。
4. 前記即応性判定部が、
   前記物体把持状態検出部により前記運転者が少なくとも片手で前記物体を把持している所定の状態が検出された場合、自動運転中に前記運転者が前記ハンドルをすぐに操作できる状態にないと判定するものであることを特徴とする請求項１又は請求項２記載の運転者状態把握装置。
5. 前記即応性判定部が、
   前記物体把持状態検出部により前記物体の把持状態が検出された場合、前記物体の大きさに基づいて、自動運転中に前記運転者の手が前記車両のハンドルをすぐに操作できる状態にあるか否かを判定するものであることを特徴とする請求項１又は請求項２記載の運転者状態把握装置。
6. 前記運転者による前記ハンドルの把持状態を検出するハンドル把持状態検出部を備え、
   前記即応性判定部が、
   前記物体把持状態検出部で検出された前記物体の把持状態、及び前記ハンドル把持状態検出部で検出された前記ハンドルの把持状態に基づいて、自動運転中に前記運転者が前記ハンドルをすぐに操作できる状態にあるか否かを判定するものであることを特徴とする請求項１又は請求項２記載の運転者状態把握装置。
7. 前記ハンドルに設けられたセンサから前記運転者の手の接触に基づくセンサ信号を取得するセンサ信号取得部を備え、
   前記ハンドル把持状態検出部が、
   前記センサ信号取得部で取得した前記センサ信号に基づいて、前記運転者による前記ハンドルの把持状態を検出するものであることを特徴とする請求項６記載の運転者状態把握装置。
8. 前記ハンドル把持状態検出部が、
   前記運転者による前記ハンドルの把持状態を前記画像から検出するものであることを特徴とする請求項６記載の運転者状態把握装置。
9. 前記即応性判定部により、前記運転者の手が前記ハンドルをすぐに操作できる状態にないと判定された場合、前記運転者に対する支援を実行する支援実行部を備えていることを特徴とする請求項１〜８のいずれかの項に記載の運転者状態把握装置。
10. 前記自動運転システムから自動運転中の情報を取得する情報取得部を備え、
    前記支援実行部が、
    前記即応性判定部による判定結果と、前記情報取得部で取得した前記自動運転中の情報とに基づいて、前記運転者に対する通知処理を行うものであることを特徴とする請求項９記載の運転者状態把握装置。
11. 前記自動運転中の情報には、前記車両の周囲が安全な状態であるか否かを判断するための情報を含み、
    前記支援実行部が、
    前記即応性判定部により、前記運転者の手が前記ハンドルをすぐに操作できる状態にないと判定された場合、前記車両の周囲が安全な状態であるか否かに応じて、前記運転者に手の状態の適正化を促すための通知レベルを変えて通知処理を行うものであることを特徴とする請求項１０記載の運転者状態把握装置。
12. 前記自動運転中の情報には、自動運転から手動運転への引き継ぎ要請情報を含み、
    前記支援実行部が、
    前記即応性判定部により、前記運転者の手が前記ハンドルをすぐに操作できる状態にないと判定され、前記情報取得部で前記引き継ぎ要請情報を取得した場合、前記運転者にハンドル操作を引き継ぐことを促すための通知処理を行うものであることを特徴とする請求項１０記載の運転者状態把握装置。
13. 請求項１〜１２のいずれかの項に記載の運転者状態把握装置と、
    前記運転者を撮影するカメラとを備えていることを特徴とする運転者状態把握システム。
14. 自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握方法であって、
    前記運転者を撮影するカメラで撮影された画像を取得するステップと、
    取得した前記画像を画像記憶部に記憶させるステップと、
    前記画像記憶部から前記画像を読み出すステップと、
    読み出した前記画像から前記運転者の手を検出するステップと、
    検出された前記運転者の手による物体の把持状態を検出するステップと、
    検出された前記物体の把持状態に基づいて、自動運転中に前記運転者の手が前記車両のハンドルをすぐに操作できる状態にあるか否かを判定するステップと、を含み、
    前記物体が、前記運転者が手で操作する前記車両の装備品とは異なる物であることを特徴とする運転者状態把握方法。

Images