JP2019091255A - 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム - Google Patents

Abstract

【課題】運転者の視線方向の検出精度を向上させることができる技術を提供する。【解決手段】車両の運転者の顔を含む画像を取得する画像取得部と、該画像取得部により取得された前記画像から前記運転者の視線方向を検出する検出部と、該検出部による検出結果を蓄積する蓄積部と、該蓄積部に蓄積された前記検出結果を用いることで、前記運転者にとっての視線方向の基準を決定する基準決定部とを装備する。【選択図】図３

Description

本発明は情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラムに関する。

近年、カメラで撮影された運転者の顔画像から運転者の顔の向きや視線の方向を検出し、該検出した運転者の顔の向きや視線の方向などに基づいて、車両走行時の運転者の状態を判定する技術が提案されている。

例えば、特許文献１には、カメラで撮影された運転者の顔画像から求めた眼球中心位置と瞳孔中心位置とに基づいて運転者の視線の方向を検出する技術が開示されている。また、特許文献２には、カメラで撮影された運転者の顔画像から顔の中央線を決定し、該中央線から顔の輪郭位置までの距離に基づき、正面方向をゼロ度としたときの左右方向への顔向き度を検出する技術が開示されている。

［発明が解決しようとする課題］
上記特許文献１、２に開示されている運転者の顔の向きや視線方向を検出する技術は、装置側で予め設定された正面方向を基準として、運転者の顔の向きや視線方向を推定している。ところが、運転者が車両の進行方向の正面を見ている場合でも運転者の視線方向、例えば、奥行き方向（上下方向）の視線などには個人差がある。また、同じ運転者であっても、運転環境などによって車両の進行方向の正面を見ている状態での視線方向が変化していることもある。

上記特許文献１、２に開示されている従来の技術では、車両の進行方向の正面に対する運転者の視線方向の個人差が考慮されていないため、前記運転者の視線方向を精度良く検出することができないという課題があった。

特開２００７−６８９１７号公報 特開２００９−２３２９４５号公報

課題を解決するための手段及びその効果

本発明は上記課題に鑑みなされたものであって、運転者の視線方向の検出精度を向上させることができる情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラムを提供することを目的としている。

上記目的を達成するために本開示に係る情報処理装置（１）は、
車両の運転者の顔を含む画像を取得する画像取得部と、
該画像取得部により取得された前記画像から前記運転者の視線方向を検出する検出部と、
該検出部による検出結果を蓄積する蓄積部と、
該蓄積部に蓄積された前記検出結果を用いることで、前記運転者にとっての視線方向の基準を決定する基準決定部とを備えていることを特徴としている。

上記情報処理装置（１）によれば、前記検出部により前記画像から前記運転者の視線方向が検出され、該検出結果が前記蓄積部に蓄積され、前記基準決定部により前記検出結果を用いることで、前記運転者にとっての視線方向の基準が決定される。したがって、前記運転者の視線方向の個人差に対応させた形で前記基準を決定することができ、前記基準を用いることで、前記運転者の視線方向の検出精度を向上させることが可能となる。

また本開示に係る情報処理装置（２）は、上記情報処理装置（１）において、前記基準決定部が、前記蓄積部に蓄積された前記検出結果から求めた視線方向の最頻値を前記基準として決定することを特徴としている。

上記情報処理装置（２）によれば、前記基準決定部により、前記検出結果から求めた視線方向の最頻値が前記基準として決定される。したがって、前記運転者にとって最も良く見ていると推定される方向を前記基準として決定することができ、前記運転者の視線方向の検出精度を向上させることが可能となる。

また本開示に係る情報処理装置（３）は、上記情報処理装置（１）又は（２）において、前記基準決定部で決定された前記基準を用い、前記画像から前記基準に対する前記運転者の視線方向を算出する算出部を備えていることを特徴としている。

上記情報処理装置（３）によれば、前記基準決定部で決定された前記基準を用いることで、前記運転者の視線方向、例えば、前記基準からのずれを算出することでき、前記運転者の視線方向の検出精度を高めることができる。

また本開示に係る情報処理装置（４）は、上記情報処理装置（３）において、前記算出部で算出された、前記基準に対する前記運転者の視線方向に基づいて、所定の処理を行う処理部を備えていることを特徴としている。

上記情報処理装置（４）によれば、前記処理部により、前記算出部で算出された前記基準に対する前記運転者の視線方向に基づいて、所定の処理を行うことが可能となる。前記所定の処理は、例えば、前記運転者の脇見を判定する処理でもよいし、前記運転者の集中度や疲労度などの意識状態を判定する処理でもよい。また、前記車両が自動運転システムを搭載している場合には、前記所定の処理は、自動運転から手動運転への切替許可の判定処理などであってもよい。

また本開示に係る情報処理装置（５）は、上記情報処理装置（４）において、前記処理部により処理された結果を前記運転者へ報知する報知部を備えていることを特徴としている。

上記情報処理装置（５）によれば、前記報知部によって、前記処理部で処理された結果を前記運転者へ報知することが可能となる。

また本開示に係る情報処理装置（６）は、上記情報処理装置（３）〜（５）のいずれかにおいて、前記基準決定部で決定された前記基準を記憶する基準記憶部を備え、
前記算出部が、前記基準記憶部から読み出した前記基準を用いることで、前記画像から前記基準に対する前記運転者の視線方向を算出することを特徴としている。

上記情報処理装置（６）によれば、前記基準記憶部から前記基準を読み出して、前記運転者の視線方向を算出することができるので、前記基準決定部による前記基準を決定するための処理負担を減らすことができる。

また本開示に係る情報処理装置（７）は、上記情報処理装置（３）〜（６）のいずれかにおいて、前記基準決定部で決定された前記基準を変更する基準変更部を備えていることを特徴としている。

上記情報処理装置（７）によれば、前記基準変更部により前記基準を変更することが可能となるので、前記基準を適正に維持することができ、精度の高い視線方向の検出を継続的に行うことができる。

また本開示に係る情報処理装置（８）は、上記情報処理装置（７）において、前記基準変更部が、前記算出部で算出された、前記基準に対する前記運転者の視線方向と、前記基準との差が所定範囲内である状態で継続している場合に、前記差が小さくなるように前記基準を補正することを特徴としている。

上記情報処理装置（８）によれば、長時間の運転や運転環境の変化などにより、前記運転者の視線方向が無意識のうちに少しずつ変化した場合であっても、前記基準を適切に補正することができるので、精度の高い視線方向の検出を継続的に行うことができる。

また本開示に係る情報処理装置（９）は、上記情報処理装置（１）〜（８）のいずれかにおいて、前記車両の走行状態に関する情報を取得する情報取得部と、
該情報取得部により取得された前記情報に基づいて、前記車両が特定の走行状態にあるかを判定する判定部とを備え、
前記基準決定部が、前記判定部により前記特定の走行状態にあると判定されているときの前記視線方向に基づいて前記基準を決定することを特徴としている。

上記情報処理装置（９）によれば、前記特定の走行状態にあるときの前記運転者の視線方向に基づいて、前記基準が決定される。したがって、前記基準を前記特定の走行状態と対応させた形で決定することができ、前記車両の運転に適切な前記基準を決定することができる。

また本開示に係る情報処理装置（１０）は、上記情報処理装置（９）において、前記特定の走行状態が、前記車両が直進している走行状態であることを特徴としている。
上記情報処理装置（１０）によれば、前記車両が直進している走行状態における、前記運転者の視線方向に基づいて前記基準が決定される。したがって、前記運転者が前記車両の直進方向を見ていると推定される状態における前記運転者の視線方向を前記基準にすることができる。

また本開示に係る情報処理装置（１１）は、上記情報処理装置（９）において、前記情報取得部が、少なくとも前記車両の車速情報と、前記車両の操舵情報とを取得し、
前記判定部が、前記車両の車速が所定の速度域にあり、かつ前記車両が所定の非操舵状態にある場合、前記車両が特定の走行状態にあると判定することを特徴としている。

上記情報処理装置（１１）によれば、前記車両の車速が所定の速度域にあり、かつ前記車両が所定の非操舵状態にある場合、前記車両が特定の走行状態にあると判定される。したがって、前記運転者が前記車両の直進方向を見ていると推定される状態における前記運転者の視線方向に基づいて、前記基準を決定することができる。

また本開示に係る情報処理装置（１２）は、上記情報処理装置（９）において、前記情報取得部が、少なくとも前記車両の加減速情報、及び前記車両の傾斜情報のうちのいずれかを取得し、
前記判定部が、前記車両が所定の加速又は減速の状態にある場合、或いは前記車両が所定の傾斜姿勢にある場合を、前記車両が特定の走行状態から除外することを特徴としている。

上記情報処理装置（１２）によれば、前記車両が所定の加速又は減速の状態にある場合、或いは前記車両が所定の傾斜姿勢にある場合は、前記運転者の視線が大きく揺れたりして、視線の向きが変化する可能性があるため、このような状況下で前記基準が決定されることを防止できる。

また本開示に係る情報処理装置（１３）は、上記情報処理装置（９）において、前記情報取得部が、前記車両の位置情報と、前記車両の周辺の地図情報とを取得するものであり、
前記判定部が、前記車両が直線道路を移動している場合、前記車両が特定の走行状態にあると判定することを特徴としている。

上記情報処理装置（１３）によれば、前記車両の位置情報と、前記車両の周辺の地図情報とに基づいて、前記車両が直線道路を移動していると判定された場合に、前記車両が特定の走行状態にあると判定される。したがって、前記運転者が前記車両の直進方向を見ていると推定される状態における前記運転者の視線方向に基づいて、前記基準を決定することができる。

また本開示に係る情報処理装置（１４）は、上記情報処理装置（１）〜（１３）のいずれかにおいて、前記運転者を識別する識別部を備え、前記基準決定部が、前記識別部で識別された運転者毎に、前記基準を決定することを特徴としている。

上記情報処理装置（１４）によれば、前記識別部により前記運転者が識別され、該識別された運転者毎に、前記基準を決定することができるので、前記運転者が異なる場合でも、運転者毎に精度の高い視線方向の検出を行うことが可能となる。

また本開示に係る運転者モニタリングシステムは、上記情報処理装置（１）〜（１４）のいずれかと、前記画像取得部で取得される前記運転者の顔を含む画像を撮像する少なくとも１つのカメラとを備えていることを特徴としている。

上記運転者モニタリングシステムによれば、上記情報処理装置のいずれかの効果を得ることができる運転者モニタリングシステムを安価に実現することができる。

また本開示に係る情報処理方法は、車両の運転者の顔を含む画像を取得する画像取得ステップと、
該画像取得ステップにより取得された前記画像から前記運転者の視線方向を検出する検出ステップと、
該検出ステップによる検出結果を蓄積部に蓄積する蓄積ステップと、
前記蓄積部に蓄積された前記検出結果を用いることで、前記運転者にとっての視線方向の基準を決定する基準決定ステップとを含むステップを実行させることを特徴としている。

上記情報処理方法によれば、前記検出ステップにより前記画像から前記運転者の視線方向が検出され、前記蓄積ステップにより前記検出結果が前記蓄積部に蓄積され、前記基準決定ステップにより前記検出結果を用いることで、前記運転者にとっての視線方向の基準が決定される。したがって、前記基準を前記運転者の視線方向の個人差に対応させた形で決定することができ、前記基準を用いることで、前記運転者の視線方向の検出精度を向上させることが可能となる。

また本開示に係る情報処理プログラムは、少なくとも１つのコンピュータに、
車両の運転者の顔を含む画像を取得する画像取得ステップと、
該画像取得ステップにより取得された前記画像から前記運転者の視線方向を検出する検出ステップと、
該検出ステップによる検出結果を蓄積部に蓄積する蓄積ステップと、
前記蓄積部に蓄積された前記検出結果を用いることで、前記運転者にとっての視線方向の基準を決定する基準決定ステップとを実行させることを特徴としている。

上記情報処理プログラムによれば、前記少なくとも１つのコンピュータに、上記各ステップを実行させることにより、前記運転者の視線方向の個人差に対応した前記基準を決定することができ、前記基準を用いることで、前記運転者の視線方向の検出精度を向上させることが可能な情報処理装置を実現できる。

実施の形態に係る情報処理装置を含む運転者モニタリングシステムの車両への適用例を示す概略図である。 実施の形態（１）に係る運転者モニタリングシステムを備えた車載システムの構成例を示すブロック図である。 実施の形態（１）に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 実施の形態（１）に係る情報処理装置における制御ユニットの行う基準決定処理動作の一例を示すフローチャートである。 実施の形態（１）に係る情報処理装置における制御ユニットの行う視線方向検出処理動作の一例を示すフローチャートである。 実施の形態（１）に係る情報処理装置における制御ユニットの行うモニタリング処理動作の一例を示したフローチャートである。 実施の形態（２）に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 実施の形態（２）に係る情報処理装置における制御ユニットの行う基準決定処理動作の一例を示すフローチャートである。 実施の形態（２）に係る情報処理装置における制御ユニットの行うモニタリング処理動作の一例を示したフローチャートである。 実施の形態（２）に係る情報処理装置における制御ユニットの行う基準変更処理動作の一例を示したフローチャートである。

以下、本発明に係る情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラムの実施の形態を図面に基づいて説明する。

［適用例］
図１は、実施の形態に係る情報処理装置を含む運転者モニタリングシステムの車両への適用例を示す概略図である。
運転者モニタリングシステム１は、車両２の運転者Ｄの状態を把握するための情報処理を行う情報処理装置１０と、運転者Ｄの顔を含む画像を撮像するカメラ２０とを含んで構成されている。

情報処理装置１０は、車両２に搭載されている車載機器３に接続され、車載機器３から車両２の走行状態に関する各種情報を取得できるとともに、車載機器３に対して制御信号などを出力できる。情報処理装置１０は、制御ユニット、記憶ユニット、入出力インターフェースなどが電気的に接続されて構成されている。

車載機器３には、車両２の動力源、操舵機構、制動機構などを制御する各種の制御装置の他、車両２の各種情報を提示する提示装置、車外と通信する通信装置、車両２の状態や車外の状態を検出する各種のセンサなどが含まれてもよい。また、車載機器３は、車載ネットワーク、例えば、ＣＡＮ(Controller Area Network)で相互に通信可能に構成されていてもよい。

前記制御装置には、車両２の加減速、操舵、及び制動のうちのいずれかの運転操作を自動で制御して、運転者の運転操作を支援する運転支援装置が含まれてよい。また、前記制御装置には、車両２の加減速、操舵、及び制動のうちの複数又は全ての運転操作を自動で制御する自動運転制御装置が含まれてよい。前記提示装置には、ナビゲーション装置、報知装置、各種のユーザインターフェースが含まれてもよい。また、情報処理装置１０が、車載機器３の一部に組み込まれてもよい。

カメラ２０は、運転者Ｄを撮像する装置であり、例えば、図示しないレンズ部、撮像素子部、光照射部、インターフェース部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。前記撮像素子部は、可視領域の光を受けて撮像画像を形成できるものを含む他、紫外線又は赤外線を受けて撮像画像を形成できるＣＣＤ、ＣＭＯＳ、或いはフォトダイオード等の赤外線センサを含んでもよい。前記光照射部は、ＬＥＤ(Light Emitting Diode)などの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線ＬＥＤなどを用いてもよい。前記制御部は、例えば、ＣＰＵ(Central Processing Unit)、メモリ、画像処理回路などを含んで構成されている。前記制御部が、前記撮像素子部や前記光照射部を制御して、該光照射部から光（例えば、近赤外線など）を照射し、前記撮像素子部でその反射光を撮像する制御などを行う。カメラ２０は所定のフレームレート（例えば、毎秒３０〜６０フレーム）で画像を撮像し、カメラ２０で撮像された画像のデータが情報処理装置１０へ出力されるようになっている。

カメラ２０の数は、１台でもよいし、２台以上であってもよい。また、カメラ２０は、情報処理装置１０と別体（別筐体）で構成してもよいし、情報処理装置１０と一体（同一筐体）で構成してもよい。カメラ２０は、単眼カメラでもよいし、ステレオカメラであってもよい。

カメラ２０の車室内での設置位置は、少なくとも運転者Ｄの顔を含む視野を撮像できる位置であれば、特に限定されない。例えば車両２のダッシュボード中央付近の他、ハンドル部分、ハンドルコラム部分、メーターパネル部分、ルームミラー近傍位置、Ａピラー部分、又はナビゲーション装置などに設置してもよい。また、カメラ２０の仕様（画角や画素数（縦×横）など）及び位置姿勢（取付角度や所定の原点（ハンドル中央位置など）からの距離など）を含む情報がカメラ２０又は情報処理装置１０に記憶されてもよい。

情報処理装置１０は、車両２の運転者Ｄの状態を把握するための情報処理の一つとして、運転者Ｄの視線方向を把握する処理を実行する。そして、情報処理装置１０の特徴の一つは、運転者Ｄの視線方向を把握する処理を行うときに用いる、運転者Ｄにとっての視線方向の基準を決定する処理にある。

背景技術の欄に記載したように、運転者が車両の進行方向の正面を見ている状態でも運転者の視線方向、例えば、奥行き方向の視線の方向などには個人差がある。また、同じ運転者であっても、運転環境などによって車両の進行方向の正面を見ている状態での視線方向が変化していることもある。

そこで、情報処理装置１０では、運転者の視線方向を把握する処理を行う場合に、前記視線方向に個人差等があったとしても、高い精度で視線方向の検出が行えるように、運転者Ｄにとっての視線方向の基準を決定する。情報処理装置１０は、運転者Ｄにとっての視線方向の基準を用いることで、運転者の視線方向の検出精度を高めようとするものである。

具体的には、情報処理装置１０は、カメラ２０で撮像された画像を取得し、該取得した画像から運転者Ｄの視線方向を検出し、検出結果を蓄積する。
なお、別の実施の形態では、情報処理装置１０が、カメラ２０で撮像された画像を取得する処理を行い、また、車載機器３から車両２の走行状態に関する情報を取得し、車両２が特定の走行状態にあるか否かを判定し、前記特定の走行状態にあるときの運転者Ｄの視線方向を検出し、その検出結果を蓄積（記憶）するようにしてもよい。車両２の走行状態に関する情報として、例えば、車両２の車速情報や操舵情報を取得してもよい。これら情報は、後述されている「車両情報」の一例である。この車両情報は、例えば、ＣＡＮで接続された車載機器３から取得したデータであってもよい。前記特定の走行状態は、例えば、車速が所定の車速域にあり、かつ非操舵状態にある走行状態、すなわち、車両２が直進している走行状態とすることができる。

次に、蓄積された検出結果を用いて、運転者にとっての視線方向の基準を決定する処理を実行する。例えば、蓄積された検出結果を分析し、検出頻度が最も高い視線方向を示す最頻値を視線方向の基準として決定してもよい。

運転者Ｄの視線方向には、運転者の顔の向きと、目領域の情報（目頭、眼尻及び瞳孔の位置など）との関係から推定される視線方向が含まれてもよい。運転者Ｄの視線方向は、画像例２１に示すように、例えば、３次元座標上における視線ベクトルＶ（３次元ベクトル）などで示すことができる。視線ベクトルＶは、例えば、運転者Ｄの顔のＸ軸（左右軸）回りの角度(上下の向き)であるピッチ（Pitch）角、顔のＹ軸(上下軸)回りの角度（左右の向き）であるヨー(Yaw)角、及び顔のＺ軸（前後軸）回りの角度（左右傾き）であるロール(Roll)角のうち、少なくとも１つと、前記目領域の情報とから推定されたものでもよい。また、視線ベクトルＶは、その３次元ベクトルの一部の値を顔の向きのベクトルの値と共通（例えば、3次元座標の原点を共通）にして示したり、顔の向きのベクトルを基準とした相対角度（顔の向きのベクトルの相対値）で示したりしてもよい。

本実施の形態では、情報処理装置１０が、カメラ２０から運転者Ｄの画像を取得し、取得した画像から運転者Ｄの視線方向を検出し、検出結果を蓄積していく。そして、情報処理装置１０が、蓄積された視線方向の検出結果を用いて、運転者Ｄにとっての視線方向の基準を決定する。したがって、前記視線方向の基準を、例えば、運転者Ｄの正面に対する視線方向の個人差に対応させた形で決定することができ、決定した前記視線方向の基準を用いることで、運転者により異なる視線方向の個人差の影響を受けることなく、運転者Ｄにとっての視線方向の検出精度を高めることができる。

また、従来行われていた一般的なカメラのキャリブレーションの方法は、所定のスイッチなどを運転者に注視させて、前記スイッチと運転者との位置関係を取得し、取得した位置関係からキャリブレーションを行う方法である。そのため、運転者が意識的に何らかの操作や注視を行わなければならず、手間がかかり煩わしいものであったが、本実施の形態では、運転者が意識することなく、視線方向の基準が決定されるので、使い勝手も向上させることができる。

［構成例１］
図２は、実施の形態（１）に係る運転者モニタリングシステムが搭載された車載システムの一例を示すブロック図である。
車載システム４は、運転者モニタリングシステム１と、自動運転制御装置３０とを含んで構成されている。運転者モニタリングシステム１は、上記したように情報処理装置１０と、カメラ２０とを含んで構成されている。情報処理装置１０のハードウェア構成については後述する。なお、本実施の形態では車載システム４に自動運転システムを適用した一例について説明するが、適用可能なシステムはこれに限定されない。

自動運転制御装置３０は、車両２の加減速、操舵、及び制動を含む走行制御のうちの少なくとも一部又は全ての運転操作をシステムが主体となって自動的に行う自動運転モードと、運転者が運転操作を行う手動運転モードとを切り替える構成を備えてもよい。自動運転とは、例えば、運転者が運転操作を行うことなく、自動運転制御装置３０の行う制御によって車両２を自動で走行させる運転のことである。前記自動運転は、米国自動車技術会（SAE）が提示している自動運転レベルにおけるレベル１（ドライバー支援）、レベル２（部分的自動運転）、レベル３（条件付自動運転）、レベル４（高度自動運転）、及びレベル５（完全自動運転）のうちのいずれのレベルであってもよい。また、手動運転とは、運転者が運転操作を行う主体となって車両２を走行させる運転のことである。

車載システム４には、運転者モニタリングシステム１、及び自動運転制御装置３０の他、自動運転及び手動運転の各種制御に必要なセンサや制御装置などが含まれている。例えば、操舵センサ３１、アクセルペダルセンサ３２、ブレーキペダルセンサ３３、操舵制御装置３４、動力源制御装置３５、制動制御装置３６、報知装置３７、始動スイッチ３８、周辺監視センサ３９、ＧＰＳ受信機４０、ジャイロセンサ４１、車速センサ４２、ナビゲーション装置４３、通信装置４４などが含まれている。これら各種センサや制御装置が通信ライン５０を介して電気的に接続されている。

また、車両２には、エンジンやモーターなどの動力源であるパワーユニット５１、運転者が操舵するハンドル５２を備えた操舵装置５３が装備されている。

自動運転制御装置３０は、車両２の自動運転に関する各種制御を実行する装置であり、図示しない制御部、記憶部、入出力部などを備えた電子制御ユニットで構成されている。前記制御部は、１つ以上のハードウェアプロセッサを含み、前記記憶部に記憶されているプログラムを読み出して、各種の車両制御を実行する。

自動運転制御装置３０は、情報処理装置１０の他、操舵センサ３１、アクセルペダルセンサ３２、ブレーキペダルセンサ３３、操舵制御装置３４、動力源制御装置３５、制動制御装置３６、周辺監視センサ３９、ＧＰＳ（Global Positioning System）受信機４０、ジャイロセンサ４１、車速センサ４２、ナビゲーション装置４３、通信装置４４などに接続されている。自動運転制御装置３０は、これら各部から取得した情報に基づいて、自動運転を行うための制御信号を各制御装置へ出力して、車両２の自動操舵、自動速度調整、自動制動などの自動運転制御を行う。

また、自動運転制御装置３０は、予め定められた条件を満たした場合、自動運転を終了してもよい。例えば、自動運転制御装置３０は、自動運転中の車両２が予め定められた自動運転の終了地点に到達したと判定した場合、運転者の姿勢が手動運転可能な姿勢になったと判断した場合に自動運転を終了してもよい。また、自動運転制御装置３０は、運転者が自動運転解除操作（例えば、自動運転解除ボタンの操作、運転者によるハンドル５２、アクセル又はブレーキの操作など）を行なった場合に、自動運転を終了する制御を行ってもよい。

操舵センサ３１は、ハンドル５２に対する操舵量を検出するセンサであり、例えば、車両２のステアリングシャフトに設けられ、運転者によりハンドル５２に与えられる操舵トルク又はハンドル５２の操舵角を検出する。操舵センサ３１で検出された、運転者のハンドル操作に応じた信号が自動運転制御装置３０と操舵制御装置３４の少なくとも一方へ出力される。

アクセルペダルセンサ３２は、アクセルペダルの踏込み量（アクセルペダルの位置）を検出するセンサであり、例えばアクセルペダルのシャフト部分に設けられる。アクセルペダルセンサ３２で検出されたアクセルペダルの踏込み量に応じた信号が自動運転制御装置３０と動力源制御装置３５の少なくとも一方へ出力される。

ブレーキペダルセンサ３３は、ブレーキペダルの踏込み量（ブレーキペダルの位置）又は操作力（踏力など）を検出するセンサである。ブレーキペダルセンサ３３で検出されたブレーキペダルの踏込み量や操作力に応じた信号が自動運転制御装置３０と制動制御装置３６の少なくとも一方へ出力される。

操舵制御装置３４は、車両２の操舵装置（例えば、電動パワーステアリング装置）５３を制御する電子制御ユニットである。操舵制御装置３４は、車両２の操舵トルクをコントロールするモーターを駆動させることにより、車両２の操舵トルクを制御する。また、自動運転モードでは、操舵制御装置３４は、自動運転制御装置３０からの制御信号に応じて操舵トルクを制御する。

動力源制御装置３５は、パワーユニット５１を制御する電子制御ユニットである。動力源制御装置３５は、例えば、エンジンに対する燃料の供給量及び空気の供給量、又はモーターに対する電気の供給量を制御することで車両２の駆動力を制御する。また、自動運転モードでは、動力源制御装置３５は、自動運転制御装置３０からの制御信号に応じて車両２の駆動力を制御する。

制動制御装置３６は、車両２のブレーキシステムを制御する電子制御ユニットである。制動制御装置３６は、例えば、液圧ブレーキシステムに付与する液圧を調整することで、車両２の車輪へ付与する制動力を制御する。また、自動運転モードでは、制動制御装置３６は、自動運転制御装置３０からの制御信号に応じて車輪への制動力を制御する。

報知装置３７は、運転者に対して所定の情報を伝えたり、知らせたりするための装置である。報知装置３７は、例えば、各種案内又は警告などを音又は音声で出力する音声出力部、各種案内又は警告を文字又は図形で表示したり、ランプを点灯表示したりする表示出力部、或いは運転席又はハンドルなどを振動させたりする振動通知部（いずれも図示せず）などを含んで構成されてよい。報知装置３７は、例えば、情報処理装置１０や自動運転制御装置３０などから出力された制御信号に基づいて動作する。

始動スイッチ３８は、パワーユニット５１を始動及び停止させるためのスイッチであり、エンジンを始動させるイグニッションスイッチや走行用モーターを始動させるパワースイッチなどで構成されている。始動スイッチ３８の操作信号が、情報処理装置１０や自動運転制御装置３０に入力されてもよい。

周辺監視センサ３９は、車両２の周辺に存在する対象物を検出するセンサである。前記対象物には、車、自転車、人などの移動物体、路面標示（白線など）、ガードレール、中央分離帯、その他車両の走行に影響を与える構造物などを含めてよい。周辺監視センサ３９は、前方監視カメラ、後方監視カメラ、レーダ（Ｒａｄａｒ）、ライダー、即ちLight Detection and Ranging、又は、Laser Imaging Detection and Ranging（ＬＩＤＥＲ）、及び超音波センサのうち少なくとも１つを含んでよい。周辺監視センサ３９で検出された対象物の検出データが自動運転制御装置３０などへ出力される。前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、距離などを検出する。

ＧＰＳ受信機４０は、図示しないアンテナを介して人工衛星からのＧＰＳ信号を受信し、受信したＧＰＳ信号に基づいて自車位置を割り出す処理（ＧＰＳ航法）を行う装置である。ＧＰＳ受信機４０で、割り出された自車位置を示す位置情報が自動運転制御装置３０とナビゲーション装置４３の少なくとも一方へ出力される。なお、車両２の自車位置を検出する装置は、ＧＰＳ受信機４０に限定されるものではなく、例えば、ＧＰＳの他、日本の準天頂衛星、ロシアのグロナス（GLONASS）、欧州のガリレオ（Galileo）,中国のコンパス（Compass）等の他の衛星測位システムに対応した装置であってもよい。

ジャイロセンサ４１は、車両２の回転角速度（ヨーレート）を検出するセンサである。ジャイロセンサ４１で検出された回転角速度信号が自動運転制御装置３０とナビゲーション装置４３の少なくとも一方へ出力される。

車速センサ４２は、車両２の速度を検出するセンサであり、例えば、車輪やドライブシャフトなどに設けて車輪の回転速度を検出する車輪速センサなどで構成されている。車速センサ４２で検出された速度を示す車速情報、例えば、車速を割り出すためのパルス信号が自動運転制御装置３０とナビゲーション装置４３の少なくとも一方などへ出力される。

ナビゲーション装置４３は、ＧＰＳ受信機４０などで計測された車両２の位置情報と地図データベース（図示せず）の地図情報とに基づいて、車両２が走行する道路や車線を割り出し、車両２の現在位置から目的地までの経路などを演算し、該経路を表示部（図示せず）へ表示し、音声出力部（図示せず）から経路案内などの音声出力を行う。ナビゲーション装置４３で求められた、車両２の位置情報、走行道路の情報、及び走行予定経路の情報などが自動運転制御装置３０へ出力されてもよい。走行予定経路の情報には、自動運転区間の開始地点や終了地点、自動運転の開始予告地点や終了予告地点などの自動運転の切り替え制御に関連する情報も含まれてもよい。ナビゲーション装置４３は、図示しない制御部、表示部、音声出力部、操作部、地図データ記憶部などを含んで構成されている。

通信装置４４は、無線通信網、例えば、携帯電話網、ＶＩＣＳ（Vehicle Information and Communication System）（登録商標）、ＤＳＲＣ（Dedicated Short Range Communications）（登録商標）などの通信網を介して各種の情報を取得する装置である。通信装置４４は、車々間通信機能や路車間通信機能を備えてもよい。例えば、道路脇に設けられた路側送受信機、例えば光ビーコン、ＩＴＳ（Intelligent Transport Systems）スポット（登録商標）などとの路車間通信により、車両２の進路上の道路環境情報（車線規制情報など）を取得してもよい。また、車々間通信により、他車両に関する情報（位置情報、走行制御に関する情報など）や他車両により検出された道路環境情報などを取得してもよい。

図３は、実施の形態（１）に係る情報処理装置１０のハードウェア構成の一例を示すブロック図である。
情報処理装置１０は、入出力インターフェース（Ｉ／Ｆ）１１、制御ユニット１２、及び記憶ユニット１３を含んで構成されている。

入出力Ｉ／Ｆ１１は、カメラ２０、自動運転制御装置３０、報知装置３７などに接続され、これら外部機器との間で信号の授受を行うためのインターフェース回路や接続コネクタなどを含んで構成されている。

制御ユニット１２は、画像取得部１２ａ、検出部１２ｂ、及び基準決定部１２ｃを含んで構成され、さらに、算出部１２ｄ、処理部１２ｅを含んで構成してもよい。制御ユニット１２は、Central Processing Unit（ＣＰＵ）、Graphics processing unit（ＧＰＵ）などの１つ以上のハードウェアプロセッサを含んで構成されている。

記憶ユニット１３は、画像記憶部１３ａ、蓄積部１３ｂ、基準記憶部１３ｃ、及びプログラム記憶部１３ｄを含んで構成されている。記憶ユニット１３は、Random Access Memory（ＲＡＭ）、Read Only Memory（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、その他の不揮発性メモリや揮発性メモリなど、半導体素子によってデータを記憶可能な１つ以上の記憶装置で構成されている。なお、ＲＡＭ及びＲＯＭを制御ユニット１２に含んで構成してもよい。

画像記憶部１３ａには、画像取得部１２ａによりカメラ２０から取得された運転者の画像が記憶される。
蓄積部１３ｂには、検出部１２ｂで検出された各画像の運転者の視線方向に関する情報が、画像記憶部１３ａに記憶される各画像と対応付けて記憶される。
基準記憶部１３ｃには、基準決定部１２ｃで決定された、運転者の視線方向の基準に関する情報、例えば、前記基準を示す値（基準値）などが記憶される。
プログラム記憶部１３ｄには、制御ユニット１２の各部で実行される情報処理プログラムや該プログラムの実行に必要なデータなどが記憶されている。

制御ユニット１２は、記憶ユニット１３に各種データを記憶する処理を行う。また、制御ユニット１２は、記憶ユニット１３に記憶された各種データや各種プログラムを読み出し、これらプログラムを実行する。制御ユニット１２が記憶ユニット１３と協働して、画像取得部１２ａ、検出部１２ｂ、及び基準決定部１２ｃの動作、さらには、算出部１２ｄ、及び処理部１２ｅの動作が実現される。

画像取得部１２ａは、所定のフレームレートで撮像された運転者の画像をカメラ２０から取得する処理を行い、カメラ２０から取得した画像を画像記憶部１３ａに記憶する処理などを行う。

検出部１２ｂは、画像記憶部１３ａに記憶された画像を毎フレーム、又は所定間隔のフレーム毎に読み出し、該画像から運転者の視線方向を検出する処理を行い、検出した運転者の視線方向に関する情報を、当該画像と対応付けて蓄積部１３ｂに記憶する処理を行う。
運転者の視線方向に関する情報には、画像処理により検出された運転者の視線方向を示す３次元座標上でのベクトル情報や角度情報を含んでもよい。また、運転者の視線方向に関する情報には、顔の向きと、目頭、眼尻、瞳孔などの目領域の位置に関する情報、例えば、目領域の代表的又は特徴的な位置を示す特徴点に関する情報を含んでもよい。

基準決定部１２ｃは、蓄積部１３ｂに蓄積された、視線方向の検出結果を用いて、運転者にとっての視線方向の基準を決定し、決定した視線方向の基準に関する情報を基準記憶部１３ｃに記憶する処理を行う。

具体的には、蓄積部１３ｂに、所定フレーム数の画像の視線方向の検出結果が蓄積されたか否かを判断し、蓄積されたと判定すれば、次に、これら画像の視線方向の検出結果に基づいて、視線方向の基準を決定する。視線方向の基準の決定方法は、統計処理などを用い、検出頻度が最も高い視線方向を基準値として決定する方法でもよい。なお、この場合において、正面方向を示す所定の範囲から外れている検出結果は除外して基準値を決定してもよい。基準値は、３次元座標上におけるベクトルや角度で示してよい。

上記した検出部１２ｂ、基準決定部１２ｃ、及び蓄積部１３ｂが協働して、運転者にとっての視線方向の基準を決定する処理を実行する。
また、算出部１２ｄ、処理部１２ｅ、及び基準記憶部１３ｃが協働して、運転者の状態を把握（モニタリング）する処理を実行する。

算出部１２ｄは、基準決定部１２ｃで決定された視線方向の基準を基準記憶部１３ｃから読み出し、読み出した視線方向の基準を用い、画像取得部１２ａで取得した画像から、視線方向の基準に対する運転者の視線方向（例えば、基準値からのずれ量）を算出する処理を行い、算出結果を処理部１２ｅに出力する。前記基準値からのずれ量は、例えば、３次元座標上におけるベクトルや角度の変化量として示すことができる。

処理部１２ｅは、算出部１２ｄで算出された、視線方向の基準に対する運転者の視線方向（例えば、基準値からのずれ量）に基づいて、所定の処理を行う。
所定の処理は、例えば、脇見状態にあるか否かの判定処理を行い、脇見状態にある場合（例えば、左右方向の視線が基準値から所定値以上ずれている場合）、報知装置３７に報知を指示する処理でもよいし、報知処理を行うことなく、脇見状態にある視線方向の情報を、記憶ユニット１３に記憶する処理、又は自動運転制御装置３０に出力する処理でもよい。

また、処理部１２ｅは、集中度や疲労度（眠気などを含む）の判定処理を行い、集中度が低下し、又は疲労度が高い場合（例えば、下方向の視線が基準値から所定値以上ずれている場合）、報知装置３７に報知を指示する処理を行ってもよい。また、処理部１２ｅは、報知処理に代えて、又は報知処理とともに、集中度が低下し、又は疲労度が高い状態になっている視線方向の情報を記憶ユニット１３に記憶する処理を行ってもよい。また、処理部１２ｅは、脇見状態の判定などは行わずに、算出部１２ｄで算出された視線方向の情報を記憶ユニット１３に記憶する処理を行ってもよい。

また、所定の処理は、自動運転モードから手動運転モードへの切り替え時において、運転者が手動運転への引き継ぎが可能な状態にあるか否かの判定処理を行い、引き継ぎが可能な状態にあると判定した場合（例えば、基準値からの視線方向のずれが、手動運転に適切な所定範囲内である場合）、自動運転制御装置３０に、手動運転への切り替えを許可する信号を出力する処理でもよい。

［動作例１］
図４は、実施の形態（１）に係る情報処理装置１０の制御ユニット１２が行う基準決定処理動作の一例を示すフローチャートである。本処理動作は、例えば、車両２の始動スイッチ３８がＯＮされた後、一定期間のみ実行されてもよいし、カメラ２０が起動されている間、常時実行されてもよい。

まずステップＳ１では、制御ユニット１２、運転者の視線方向を検出する処理を行う。カメラ２０では、毎秒所定フレーム数の画像が撮像される。制御ユニット１２は、これら撮像された画像を時系列で取り込み、毎フレーム、又は所定間隔のフレーム毎に本処理を実行してもよい。

図５は、制御ユニット１２が実行する、ステップＳ１の運転者の視線方向の検出処理動作の一例を示したフローチャートである。まず、ステップＳ１１において、制御ユニット１２が、カメラ２０で撮像された画像を取得し、次のステップＳ１２では、制御ユニット１２が、取得された画像から運転者の顔（例えば、顔の領域）を検出する処理を行い、その後ステップＳ１３に進む。

制御ユニット１２が実行する、画像から顔を検出する手法は特に限定されないが、高速で高精度に顔を検出する手法を採用することが好ましい。例えば、顔の局所的な領域の明暗差（輝度差）やエッジ強度、これら局所的領域間の関連性（共起性）を特徴量とし、顔をおおまかにとらえるような識別器を階層構造の最初の方に配置し、顔の細部をとらえるような識別器を階層構造の深い位置に配置した階層的な検出器を用いることで、画像から顔の領域を探索する処理を高速に実行することが可能となる。

ステップＳ１３では、制御ユニット１２が、ステップＳ１２で検出された顔の領域から、目、鼻、口、眉などの顔器官の位置や形状を検出する処理を行う。画像中の顔の領域から顔器官を検出する手法は特に限定されないが、高速で高精度に顔器官を検出できる手法を採用することが好ましい。例えば、３次元顔形状モデルを作成し、これを２次元画像上の顔の領域にフィッティングさせ、顔の各器官の位置と形状を検出する手法が採用され得る。３次元の顔形状モデルは、顔の各器官の特徴点に対応するノードによって構成される。この手法によれば、カメラ２０の設置位置や画像中の顔の向きに関わらず、正確に顔の各器官の位置と形状を検出することが可能となる。画像中の人の顔に３次元顔形状モデルをフィッティングさせる技術として、例えば、特開２００７−２４９２８０号公報に記載された技術を適用することができるが、これに限定されるものではない。

制御ユニット１２が、３次元顔形状モデルを画像中の運転者の顔にフィッティングさせる処理の一例を説明する。３次元顔形状モデルは、顔を正面から見たときの左右水平方向の軸をＸ軸、上下垂直方向の軸をＹ軸、奥行き（前後）方向の軸をＺ軸とした場合の、Ｘ軸回りの回転（ピッチ）、Ｙ軸回りの回転（ヨー）、Ｚ軸回りの回転（ロール）、拡大縮小などの複数のパラメータを有しており、これらパラメータを用いることで、３次元顔形状モデルの形状を変形させることが可能となっている。

また、予め行われた誤差相関学習によって、誤差推定行列（変換行列）が取得されている。前記誤差推定行列は、３次元顔形状モデルの各器官の特徴点が誤った位置（検出すべき各器官の特徴点と異なる位置）に配置されたときにどの方向に修正すべきかの相関関係についての学習結果であり、多変量回帰を用いて、特徴点での特徴量から上記パラメータの変化分へ変換するための行列である。

まず、制御ユニット１２は、顔の検出結果から、その顔の位置、向き、大きさに対して適切な位置に３次元顔形状モデルを初期配置する。次に、初期位置における各特徴点の位置を求め、各特徴点での特徴量を計算する。次に、各特徴点での特徴量を、誤差推定行列に入力し、正解位置近傍への形状変化パラメータの変化分（誤差推定量）を求める。そして、現在位置での３次元顔形状モデルの形状変化パラメータに、上記誤差推定量を加算し、正解モデルパラメータの推定値を取得する。次に、取得した正解モデルパラメータが正常範囲内であり、処理が収束したか否かを判断する。処理が収束していないと判断すれば、取得した正解モデルパラメータに基づいて作成した新たな３次元顔形状モデルの各特徴点の特徴量を取得して処理を繰り返す。一方、処理が収束したと判断すれば、正解位置近傍への３次元顔形状モデルの配置を完了する。制御ユニット１２が行うこれら処理により３次元顔形状モデルが画像上の正解位置近傍へ高速にフィッティングされ、正解位置にフィッティングされた３次元顔形状モデルから顔の各器官の位置や形状を算出する。

次のステップＳ１４では、制御ユニット１２が、ステップＳ１３で求めた顔の各器官の位置や形状のデータに基づいて、運転者の顔の向きを検出する。例えば、上記正解位置近傍に配置された３次元顔形状モデルのパラメータに含まれている、上下回転（Ｘ軸回り）のピッチ角、左右回転（Ｙ軸回り）のヨー角、及び全体回転（Ｚ軸回り）のロール角のうちの少なくとも１つを運転者の顔の向きに関する情報として検出してもよい。

ステップＳ１５では、制御ユニット１２が、ステップＳ１４で求めた運転者の顔の向き、及びステップＳ１３で求めた運転者の顔器官の位置や形状、特に目の特徴点（目尻、目頭、瞳孔）の位置や形状に基づいて、視線方向を検出し、その後ステップＳ１６に進む。
視線方向は、例えば、様々な顔の向きと視線方向の目の画像の特徴量（目尻、目頭、瞳孔の相対位置、又は白目部分と黒目部分の相対位置、濃淡、テクスチャーなど）とを予め学習器を用いて学習し、これら学習した特徴量データとの類似度を評価することで視線方向を検出してもよい。または、３次元顔形状モデルのフィッティング結果などを用いて、顔の大きさや向きと目の位置などから眼球の大きさと中心位置とを推定するとともに、瞳孔（黒目）の位置を検出し、眼球の中心と瞳孔の中心とを結ぶベクトルを視線方向として検出してもよい。

ステップＳ１６では、制御ユニット１２が、ステップＳ１５で検出した運転者の視線方向に関する情報を当該画像と対応付けて蓄積部１３ｂに記憶する処理を行い、ステップＳ１７に進む。ステップＳ１７では、制御ユニット１２が、視線方向が検出された画像をカウントするカウンタＫに１を加算し、その後処理を終え、次の画像に対する視線方向の検出処理を繰り返す。

ステップＳ１における運転者の視線方向の検出処理が行われた後、図４に示すステップＳ２に進む。ステップＳ２では、制御ユニット１２が、カウンタＫが所定値Ｎになったか否か、すなわち所定フレーム数の画像の視線方向の検出結果が蓄積されたか否かを判断し、カウンタＫが所定値Ｎ未満である（蓄積されていない）と判定すれば、その後処理を終える一方、カウンタＫが所定値Ｎ以上なった（蓄積された）と判断すればステップＳ３に進む。

ステップＳ３では、制御ユニット１２が、運転者の視線方向の基準を決定する処理を行い、その後ステップＳ４に進む。具体的には、蓄積部１３ｂから所定フレーム数の画像の視線方向の検出結果を読み出し、前記各画像の運転者の視線方向に関する情報を用いて、視線方向の基準を決定する。所定フレーム数の画像の視線方向のうち、最も検出頻度が高かった視線方向、すなわち、視線方向の最頻値を基準値としてよい。視線方向の基準は、３次元座標上のベクトルで示してもよいし、角度で示してもよい。また、顔の向きと目（目頭、眼尻、瞳孔などの特徴点）の位置に関する情報を含んでもよい。

ステップＳ４では、制御ユニット１２は、ステップＳ３で決定した視線方向の基準に関する情報を基準記憶部１３ｃに記憶する処理を行い、その後処理を終える。基準記憶部１３ｃには、視線方向の基準（基準値）とともに、日時データ、運転環境データ（例えば、車外照度データ）などの付加情報も併せて記憶してもよい。

また、別の実施の形態では、制御ユニット１２に、運転者を識別する識別部（図示せず）を設け、該識別部で識別された運転者毎に、視線方向の基準を決定してもよい。前記識別部は、画像を用いた顔認証処理により運転者を識別するものでもよいし、スイッチなどの操作部を介して、運転者を設定又は選択するものでもよい。

例えば、上記ステップＳ１の視線方向の検出処理において、制御ユニット１２が、画像から運転者の顔を検出した後（ステップＳ１２）、運転者の顔認証処理を行い、新規の運転者であるか、登録済みの運転者であるかを判断する。顔認証処理の手法は特に限定されない。公知の顔認証アルゴリズムを用いることができる。顔認証処理の結果、新規の運転者であると判断した場合は、その後ステップＳ２、Ｓ３の処理を行い、ステップＳ４において、運転者の顔認証の情報（顔の特徴量など）とともに、視線方向の基準に関する情報を基準記憶部１３ｃに記憶する処理を行う。一方、登録済みの運転者である場合は、基準記憶部１３ｃに、当該運転者に対応付けられた視線方向の基準が記憶されているので、その後処理を終えるようにしてもよい。

次に情報処理装置１０の制御ユニット１２が行う運転者状態の把握（モニタリング）処理について説明する。
図６は、実施の形態（１）に係る情報処理装置１０の制御ユニット１２が行う運転者のモニタリング処理動作の一例を示すフローチャートである。カメラ２０では、毎秒所定フレーム数の画像が撮像されるようになっており、制御ユニット１２は、これら撮像された画像を時系列で取り込み、毎フレーム、又は所定間隔のフレーム毎に本処理を実行してもよい。

まずステップＳ２１では、制御ユニット１２が、運転者の視線方向を検出する処理を行う。当該運転者の視線方向の検出処理は、図５で示したステップＳ１１〜Ｓ１６と同様の処理を行ってもよく、ここではその説明を省略する。

ステップＳ２１で運転者の視線方向の検出処理を行った後、ステップＳ２２に進む。ステップＳ２２では、制御ユニット１２が、基準記憶部１３ｃから視線方向の基準を読み出し、ステップＳ２１で検出した運転者の視線方向と前記視線方向の基準とのずれ（例えば、基準値からのずれ）を算出する処理を行い、ステップＳ２３に進む。
視線方向の基準には、例えば、３次元座標上における視線方向の基準ベクトルや基準角度を示す情報が基準値として含まれている。これら基準値と、ステップＳ２１で検出した運転者の視線方向との角度差を演算し、該演算した角度差を前記基準値からのずれとしてもよい。

ステップＳ２３では、制御ユニット１２が、ステップＳ２２で算出した、基準値からのずれ（例えば、上下方向、左右方向のうち少なくとも１つの角度差）が、第１の範囲（例えば、所定の角度差）を超えている状態か否かを判定する。

前記第１の範囲は、モニタリングの目的に応じて様々な範囲に設定することが可能である。例えば、脇見状態にあるか否かの判定を行う場合は、第１の範囲（脇見判定角度）として、左右方向を少なくとも含む所定の角度範囲を設定してもよい。
運転の集中度や疲労度（眠気などを含む）を判定する場合は、第１の範囲（集中・疲労度判定角度）として、上下方向を少なくとも含む所定の角度範囲を設定してもよい。
また、自動運転モードから手動運転モードへの切り替え可能な運転姿勢であるか否かの判定を行う場合は、第１の範囲（引継判定角度）として、左右方向と上下方向とを少なくとも含む所定の角度範囲を設定してもよい。

ステップＳ２３において、前記基準値からのずれが、第１の範囲を超えていない、すなわち、運転者の視線方向が適切な範囲内にあると判断すれば、その後処理を終える。一方、第１の範囲を超えている、すなわち、運転者の視線方向が適切な範囲外にあると判断すればステップＳ２４に進む。ステップＳ２４では、制御ユニット１２が、第１の範囲を超えている状態が、所定期間継続しているか否かを判定する。所定期間には、モニタリングの目的に応じて適切な期間（時間をカウントしてもよいし、画像のフレーム数をカウントしてもよい）を設定すればよい。

ステップＳ２４において、第１の範囲を超えている状態が所定期間継続していないと判断すれば、その後処理を終える一方、所定時間継続していると判断すればステップＳ２５に進む。

ステップＳ２５では、制御ユニット１２が、報知装置３７に報知信号を出力し、その後処理を終える。報知信号は、モニタリングの目的に応じた報知処理を報知装置３７で実行させるための信号である。

報知装置３７では、情報処理装置１０からの報知信号に基づいて、所定の報知処理を行う。報知処理は、音や音声による報知でもよいし、光による報知でもよいし、表示による報知でもよいし、ハンドル５２や座席の振動による報知でもよく、さまざまな報知形態を適用可能である。

モニタリングの目的が脇見状態の判定である場合は、例えば、運転者に脇見状態にあることを知らせる、又は脇見をやめて正面を向くように促すための報知を行ってもよい。また、モニタリングの目的が運転の集中度や疲労度の判定である場合は、例えば、運転者に集中度が低下していることや疲労度が高い状態にあることを報知してもよい。また、モニタリングの目的が自動運転モードから手動運転モードへの切替を許可する判定である場合は、例えば、適切な運転姿勢をとることを促すための報知を行ってもよい。

なお、ステップＳ２３、Ｓ２４、Ｓ２５の処理は必須ではなく、ステップＳ２２で算出された、基準値からのずれに関する情報を記憶ユニット１３に記憶する処理に置き換えてもよい。
また、ステップＳ２５の処理の代わりに、Ｓ２３、２４での判定情報（ずれが第１の範囲外であり、かつ所定期間継続していることを示す情報やその時の視線方向に関する情報）を記憶ユニット１３に記憶する処理を行ってもよい。または、ステップＳ２５の処理の代わりに、自動運転制御装置３０に、ステップＳ２３、Ｓ２４での判定情報を出力する処理を行ってもよい。

［作用・効果］
上記実施の形態（１）に係る情報処理装置１０によれば、検出部１２ｂにより、画像取得部１２ａで取得した画像から運転者の視線方向が検出され、該検出結果が蓄積部１３ｂに蓄積され、基準決定部１２ｃにより前記検出結果を用いて、当該運転者にとっての視線方向の基準が決定される。また、算出部１２ｄにより、視線方向の基準を用い、運転者にとっての正面に対する視線方向が算出される。したがって、視線方向の基準を運転者の視線方向の個人差に対応させた形で決定することができ、視線方向の基準を用いることで、制御ユニット１２に処理負荷をかけることなく、運転者にとっての視線方向の検出精度を向上させることができる。

また、基準記憶部１３ｃから視線方向の基準を読み出して、運転者にとっての正面に対する視線方向を算出することができるので、基準決定部１２ｃよる視線方向の基準を決定するための処理負担を軽減することができる。
また、処理部１２ｅにより、算出部１２ｄで算出された運転者の正面に対する視線方向に基づいて、運転者への報知処理など各種の処理を精度良く実行することが可能となり、車両走行時の安全性などを向上させることができる。

また、上記実施の形態（１）に係る運転者モニタリングシステム１によれば、情報処理装置１０と、カメラ２０とを備えているので、情報処理装置１０の種々の効果を得ることができる運転者モニタリングシステムを安価に実現することができる。

［構成例２］
図７は、実施の形態（２）に係る情報処理装置１０Ａのハードウェア構成の一例を示すブロック図である。なお、図３に示した情報処理装置１０と同一機能を有する構成部品には同一符号を付し、ここではその説明を省略する。

実施の形態（２）に係る情報処理装置１０Ａでは、制御ユニット１２Ａに、車両２の走行状態に関する情報を取得する情報取得部１２ｆと、情報取得部１２ｆで取得した前記情報に基づいて、車両２が特定の走行状態にあるか否かを判定する判定部１２ｇとをさらに備え、検出部１２ｂが、特定の走行状態にあるときの運転者の視線方向を検出するように構成されている。

また、実施の形態（２）に係る情報処理装置１０Ａでは、制御ユニット１２Ａに、基準決定部１２ｃで決定された視線方向の基準を変更する基準変更部１２ｈをさらに備えている。

記憶ユニット１３Ａは、画像記憶部１３ａ、蓄積部１３ｅ、基準記憶部１３ｃ、及びプログラム記憶部１３ｆを含んで構成されている。プログラム記憶部１３ｆには、制御ユニット１２Ａの各部で実行される情報処理プログラムや該プログラムの実行に必要なその他のデータなどが記憶されている。

上記の構成が、実施の形態（１）に係る情報処理装置１０と相違している主な点である。
また、情報処理装置１０Ａとカメラ２０とを含んで運転者モニタリングシステム１Ａが構成されている。

情報取得部１２ｆは、自動運転制御装置３０を介して車両２の走行状態に関する情報を取得する処理を行い、取得した前記情報を判定部１２ｇに出力する。情報取得部１２ｆの処理と、画像取得部１２ａの処理との先後は問わない、これら処理を並行して行ってもよい。なお、情報取得部１２ｆは、自動運転制御装置３０を介さずに、車載システム４の各部から前記情報を取得するようにしてもよい。

走行状態に関する情報には、少なくとも車両２の車速情報と、車両２の操舵情報とが含まれる。車速情報には、車速センサ４２で検出された車速情報などが含まれる。操舵情報には、操舵センサ３１で検出された操舵角や操舵トルク、又はジャイロセンサ４１で検出された回転角速度などが含まれる。

また、情報取得部１２ｆは、車両２の加減速情報や車両２の傾斜情報を取得してもよい。加減速情報には、例えば、アクセルペダルセンサ３２やブレーキペダルセンサ３３で検出されたペダルの踏込み量、動力源制御装置３５から出力される駆動制御信号、又は制動制御装置３６から出力される制動制御信号などの情報が含まれる。車両２の傾斜情報を示す情報には、車両２にも設けられた傾斜センサ（図示せず）で検出された傾斜情報、又はナビゲーション装置４３で割り出された自車位置の道路の傾斜情報などが含まれる。

また、情報取得部１２ｆは、車両２の位置情報と、車両２の周辺の地図情報とを取得してもよい。これら情報には、例えば、ナビゲーション装置４３で割り出された自車位置と、該自車位置の周辺の地図情報などが含まれる。

さらに、情報取得部１２ｆは、車両２の周辺、特に進行方向に存在する他車両や人などの監視対象物に関する情報を取得してもよい。これら情報には、例えば、周辺監視センサ３９で検出された、対象物の種類や対象物までの距離に関する情報などが含まれる。

判定部１２ｇは、情報取得部１２ｆで取得した、走行状態に関する情報に基づいて、車両２が特定の走行状態にあるか否かを判定する処理を行い、判定結果を検出部１２ｂに出力する。前記特定の走行状態には、運転者の顔の向きに変化が少ない、すなわち顔姿勢が安定していると推定される走行状態、例えば、車両２が直進している走行状態が含まれる。

より具体的には、車両２が特定の走行状態にある場合には、車両２の車速が所定の速度域にあり、かつ非操舵状態にある場合が含まれる。非操舵状態とは、ハンドル５２の操舵が実質的になされていない状態である。例えば、操舵センサ３１で検出された操舵角が０°に近い、狭い範囲内にある場合、又は操舵トルクが０Ｎ・ｍに近い、狭い範囲内にある場合などである。また、前記所定の速度域は、特に限定されないが、中速度（４０ｋｍ／ｈ）以上であることが好ましい。低速度のときは、車間距離が狭い場合や道路が狭い場合など、運転者の顔姿勢が安定しない状況が想定されるためである。

また、判定部１２ｇは、車両２の位置情報と、車両２の周辺の地図情報とから車両２が直線道路を移動している場合、車両２が特定の走行状態にあると判定してもよい。前記直線道路は、例えば、平坦な直線道路である。前記平坦か否かは、前記地図情報に含まれる道路の勾配情報に基づいて判定すればよい。

また、判定部１２ｇは、車両２が所定の加速又は減速の状態にある場合、或いは車両２が所定の傾斜姿勢にある場合を、特定の走行状態から除外してもよい。。所定の加速又は減速の状態には、急加速や急減速の状態が含まれる。所定の傾斜姿勢には、所定勾配以上の坂道を走行しているときの傾斜姿勢が含まれる。これらの場合を特定の走行状態から除外する理由は、運転者の顔姿勢が安定せず、顔の向きの変化が生じやすい状況が想定されるためである。

また、判定部１２ｇは、周辺監視センサ３９で検出された、他車両との距離が、車間距離が狭くなっていることを示す所定値以下の場合、車両２が特定の走行状態ではないと判定してもよい。その理由は、車間距離が狭い状態においては、運転者の顔姿勢が安定しない状況が想定されるからである。

検出部１２ｂは、判定部１２ｇから特定の走行状態にある旨の判定結果を取得すると、特定の走行状態にあるときに取得した画像から運転者の視線方向を検出する処理を行う。そして、検出した運転者の視線方向に関する情報を、当該画像と対応付けて蓄積部１３ｅに記憶する処理を行う。このときに特定の走行状態に関する情報も対応付けて記憶してもよい。

基準変更部１２ｈは、基準決定部１２ｃで決定された視線方向の基準、例えば、前記基準を示す基準値を変更する処理を行い、変更した基準値を基準記憶部１３ｃに記憶する処理を行う。
例えば、特定の走行状態（例えば、直進している走行状態）であるときに、算出部１２ｄで算出された運転者の視線方向と、視線方向の基準との差が所定範囲内である状態（例えば、基準値から一定の方向に視線方向がずれているが、脇見ほどずれていない状態）で一定期間又は断続的に継続している場合に、前記差が小さくなるように視線方向の基準を変更、例えば補正してもよい。また、基準変更部１２ｈが行う処理には、運転者が変わった場合に、顔の向きの基準を変更する処理も含まれる。

上記した情報取得部１２ｆ、判定部１２ｇ、検出部１２ｂ、基準決定部１２ｃ、及び蓄積部１３ｅが協働して、特定の走行状態にあるときの運転者にとっての視線方向の基準を決定する処理を実行する。
また、算出部１２ｄ、処理部１２ｅ、及び基準記憶部１３ｃが協働して、運転者の状態を把握（モニタリング）する処理を実行し、算出部１２ｄ、基準変更部１２ｈ、及び基準記憶部１３ｃが協働して、視線方向の基準を変更する処理を実行する。

［動作例２］
図８は、実施の形態（２）に係る情報処理装置１０Ａの制御ユニット１２Ａが行う基準決定処理動作の一例を示すフローチャートである。本処理動作は、例えば、車両２の始動スイッチ３８がＯＮされた後、一定期間のみ実行されてもよいし、カメラ２０が起動されている間、常時実行されてもよい。

まずステップＳ３１では、制御ユニット１２Ａが、車両２の走行状態に関する情報（以下、車両情報ともいう）を取得する処理を行う。なお、ステップＳ３１の処理と並行して、カメラ２０から画像を取得する処理を行ってもよい。
車両情報には、例えば、少なくとも車両２の車速情報と操舵情報とが含まれる。また、車両情報として、車両２の加減速情報や車両２の傾斜情報を取得してもよい。また、車両２の位置情報や車両２の周辺の地図情報を取得してもよい。さらに、車両２の周辺、特に進行方向に存在する他車両や人などの監視対象物に関する情報を取得してもよい。なお、車両情報は、自動運転制御装置３０を介して取得してもよいし、車載システム４の各部から直接取得してもよい。

次のステップＳ３２では、制御ユニット１２Ａが、ステップＳ３１で取得した車両情報に基づいて、車両２が特定の走行状態にあるか否かを判定する処理を行う。特定の走行状態には、例えば、車両２が直進している走行状態が含まれる。

ステップＳ３２において、制御ユニット１２Ａが、特定の走行状態にあると判定した場合、例えば、車両２の車速情報及び操舵情報に基づいて、車両２の車速が所定の速度域（例えば、中速度以上）であり、かつ非操舵状態（実質的に操舵されていない状態）であると判定した場合、または、車両２の位置情報と車両２の周辺の地図情報とに基づいて、車両２が平坦な直線道路を移動（直進）していると判定した場合、ステップＳ３３に進む。

一方ステップＳ３２において、制御ユニット１２Ａが、特定の走行状態ではないと判定した場合、例えば、車両２の車速が所定の速度域（例えば、低速度域にある）、又は操舵状態にあると判定した場合、急加速や急減速がなされた状態にあると判定した場合、所定勾配以上の坂道を走行している場合、或いは他車両との距離が所定値以下になって車間距離が狭くなった状態と判定した場合、その後処理を終える。

ステップＳ３３では、制御ユニット１２Ａが、車両２が特定の走行状態にあるときの運転者の視線方向を検出する処理を行い、その後ステップＳ３４に進む。当該運転者の視線方向の検出処理は、図５で示したステップＳ１１〜Ｓ１７と同様の処理を行ってもよく、ここではその説明を省略する。

ステップＳ３４では、制御ユニット１２Ａが、カウンタＫが所定値Ｎになったか否か、すなわち、特定の走行状態にあるときの所定フレーム数の画像の視線方向の検出結果が蓄積されたか否かを判断し、カウンタＫが所定値Ｎ未満である（蓄積されていない）と判定すれば、その後処理を終える一方、カウンタＫが所定値Ｎ以上なった（蓄積された）と判断すればステップＳ３５に進む。

ステップＳ３５では、制御ユニット１２Ａが、特定の走行状態における運転者の視線方向の基準を決定する処理を行い、その後ステップＳ３６に進む。具体的には、蓄積部１３ｂから、特定の走行状態における所定フレーム数の画像の視線方向の検出結果を読み出し、前記各画像の運転者の視線方向に関する情報を用いて、視線方向の基準、例えば、該基準を示す基準値を決定する。所定フレーム数の画像の視線方向のうち、最も検出頻度が高かった視線方向、すなわち、視線方向の最頻値を基準値としてよい。基準値は、３次元座標上のベクトルで示してもよいし、角度で示してもよい。

ステップＳ３６では、ステップＳ３５で決定した視線方向の基準（基準値）を基準記憶部１３ｃに記憶する処理を行い、その後処理を終える。基準記憶部１３ｃには、視線方向の基準（基準値）とともに、特定の走行状態に関する情報、日時データ、運転環境データ（例えば、車外照度データ）などの付加情報も併せて記憶してもよい。

なお、基準記憶部１３ｃには、運転者一人につき、一つの視線方向の基準を記憶してもよいし、複数の視線方向の基準を記憶してもよい。例えば、車両２の走行速度域（中速度域、高速度域）に応じて、各速度域の視線方向の基準を決定して記憶してもよい。また、車両２のヘッドライトのオン／オフ（昼と夜）に応じて、それぞれの視線方向の基準を決定して記憶してもよい。このように、運転者が正面を向いているときの視線方向が微妙に変化することが推定される、車両２の走行状態に応じて、それぞれの視線方向の基準を決定して記憶してもよい。

次に情報処理装置１０Ａの制御ユニット１２Ａが行う運転者状態の把握（モニタリング）処理と基準値変更処理について説明する。
図９は、実施の形態（２）に係る情報処理装置１０Ａの制御ユニット１２Ａが行う運転者状態の把握（モニタリング）処理動作の一例を示すフローチャートである。カメラ２０では、毎秒所定フレーム数の画像が撮像されるようになっており、制御ユニット１２Ａは、これら撮像された画像を時系列で取り込み、毎フレーム、又は所定間隔のフレーム毎に本処理を実行してもよい。

ステップＳ２１からＳ２５で行われる処理は、図６で説明したステップＳ２１からＳ２５の処理と同様であるため、ここではその説明を省略する。
なお、基準記憶部１３ｃに、車両２の走行状態に応じた複数の視線方向の基準が記憶されている場合、ステップＳ２１で視線方向検出処理を行った後、ステップＳ２２において、次の処理を行ってもよい。すなわち、車両情報を取得し、車両２の走行状態を判定し、該判定した走行状態に対応した、視線方向の基準を基準記憶部１３ｃから読み出し、前記視線方向の基準からのずれを算出する処理を行うようにしてもよい。

ステップＳ２３において、制御ユニット１２Ａが、前記基準値からのずれが第１の範囲を超えていないと判断すればステップＳ２６の基準値変更処理に進む。ステップＳ２６の基準値変更処理については、図１０に示すフローチャートを用いて説明する。

図１０は、実施の形態（２）に係る情報処理装置１０Ａの制御ユニット１２Ａが行う基準値変更処理動作の一例を示すフローチャートである。
まずステップＳ４１では、制御ユニット１２Ａが、ステップＳ２２で算出した、視線方向の基準（基準値）からのずれが、該基準値の示す方向（正面）を見ているとみなす第２の範囲（視線の角度範囲）を超えているか否か（第２の範囲外か否か）を判断する。なお、第２の範囲は第１の範囲より狭い角度範囲であり、例えば、視線方向の基準から上下又は左右±５度程度の角度範囲に設定してもよい。

ステップＳ４１において、視線方向の基準（基準値）からのずれが、第２の範囲を超えていない、換言すれば、運転者の顔が、前記基準値の示す方向（正面とみなす方向）を向いていると判断すれば、その後処理を終える。一方、ステップＳ４１において、視線方向の基準（基準値）からのずれが第２の範囲を超えている（視線方向が正面とみなす方向から少しずれている状態）と判断すればステップＳ４２に進む。

ステップＳ４２では、制御ユニット１２Ａが、ステップＳ２３で算出された基準値からのずれを示す情報（すなわち、第１の範囲内にあり、かつ第２の範囲を超えている状態のずれ情報）を、当該画像の視線方向の検出情報に紐付けて、蓄積部１３ｅに記憶し、ステップＳ４３に進む。なお、別の実施の形態では、ステップＳ４２の前に、車両２が特定の走行状態にあるか否かを判断し（図８のステップＳ３２と同様の処理を行い）、特定の走行状態にある場合、ステップＳ４２の処理に進むようにしてもよい。係る構成により基準値を変更する場合の条件を一定にすることが可能となる。

ステップＳ４３では、制御ユニット１２Ａが、蓄積部１３ｅから、前記ずれ情報が紐付けされた画像の視線方向の検出情報を読み出し、基準値からのずれが一定の方向（略同じ方向）を示している画像が、所定の頻度（又は比率）で検出されたか否かを判断する。すなわち、運転者の視線方向が、基準値の示す正面から一定の方向に少しだけずれている状態（脇見状態というほどではない状態）が頻発しているか否かを判断する。

ステップＳ４３において、基準値からのずれが一定の方向を示している画像が、所定の頻度で検出されていないと判断すれば、その後処理を終える一方、所定の頻度で検出されたと判断すれば、ステップＳ４４に進む。

ステップＳ４４では、制御ユニット１２Ａが、視線方向の基準を変更する処理を行う。例えば、前記一定の方向にずれている視線方向の状態が、運転者の視線方向の正面であると判断されやすくなるように、基準値を変更する処理を行い、その後ステップＳ４５に進む。具体的には、基準値からの視線方向のずれが、例えば下向きに３°程度生じていた場合、基準値を下向きに３°下げる補正、又は３°に近づくように（ずれが小さくなるように）変更する。

ステップＳ４５では、ステップＳ４４で変更した基準値を、基準記憶部１３ｃに記憶して、その後処理を終える。
このような、基準値の変更を行うことにより、例えば、長時間の運転や運転環境の変化（天候の変化や時間帯）などで姿勢が変化し、運転者の視線方向が無意識のうちに少しずつ変化していた場合であっても、その変化した状態における運転者にとっての正面を示す視線方向を、視線方向の基準に設定することができ、視線方向の検出精度を向上させることができる。

［作用・効果］
上記実施の形態（２）に係る情報処理装置１０Ａによれば、判定部１２ｇにより車両２が特定の走行状態にあるか否かが判定され、検出部１２ｂにより前記特定の走行状態にあるときの運転者の視線方向が検出され、該検出された運転者の視線方向の情報が蓄積部１３ｅに蓄積される。そして、基準決定部１２ｃにより、蓄積された前記特定の走行状態にあるときの運転者の視線方向に基づいて、運転者にとっての視線方向の基準が決定され、算出部１２ｄにより、視線方向の基準を用い、運転者にとっての視線方向が算出される。

したがって、特定の走行状態、及び運転者の視線方向の個人差に対応した視線方向の基準を決定することができ、該視線方向の基準を用いることで、制御ユニット１２に処理負荷をかけることなく、前記運転者にとっての視線方向の検出精度を向上させることができる。また、基準変更部１２ｈにより基準決定部１２ｃで決定された視線方向の基準を変更することが可能となるので、常に精度の高い視線方向の検出を行うことができる。

また、上記実施の形態に係る運転者モニタリングシステム１Ａによれば、情報処理装置１０Ａと、カメラ２０とを備えているので、情報処理装置１０Ａの種々の効果を得ることができる運転者モニタリングシステムを安価に実現することができる。
なお上記実施の形態では、運転者モニタリングシステム１、１Ａを車両２に適用した場合について説明したが、車両以外の他の乗り物に適用してもよい。

以上、本発明の実施の形態を詳細に説明したが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。
例えば、上記実施の形態では、運転者の視線方向を検出するように構成されているが、情報処理装置が、運転者の視線方向に代えて、又は視線方向とともに、運転者の顔の向きを検出し、該顔の向きの基準を決定し、該基準を用いて、運転者の顔の向きを算出するように構成してもよい。

［付記］
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
（付記１）
車両（２）の運転者（Ｄ）の顔を含む画像（２１）を取得する画像取得部（１２ａ）と、
画像取得部（１２ａ）により取得された画像（２１）から運転者（Ｄ）の視線方向（Ｖ）を検出する検出部（１２ｂ）と、
検出部（１２ｂ）による検出結果を蓄積する蓄積部（１３ｂ）と、
蓄積部（１３ｂ）に蓄積された前記検出結果を用いることで、運転者（Ｄ）にとっての視線方向の基準を決定する基準決定部（１２ｃ）とを備えていることを特徴とする情報処理装置（１０）。

（付記２）
情報処理装置（１０）と、
画像取得部（１２ａ）で取得される運転者（Ｄ）の顔を含む画像（２１）を撮像する少なくとも１つのカメラ（２０）とを備えていることを特徴とする運転者モニタリングシステム（１）。

（付記３）
車両（２）の運転者（Ｄ）の顔を含む画像（２１）を取得する画像取得ステップ（Ｓ１１）と、
画像取得ステップ（Ｓ１１）により取得された画像（２１）から運転者（Ｄ）の視線方向（Ｖ）を検出する検出ステップ（Ｓ１５）と、
検出ステップ（Ｓ１５）による検出結果を蓄積部（１３ｂ）に蓄積する蓄積ステップ（Ｓ１６）と、
蓄積部（１３ｂ）に蓄積された前記検出結果を用いることで、運転者（Ｄ）にとっての視線方向の基準を決定する基準決定ステップ（Ｓ３）とを含むステップを実行させることを特徴とする情報処理方法。

（付記４）
少なくとも１つのコンピュータ（１２）に、
車両（２）の運転者（Ｄ）の顔を含む画像（２１）を取得する画像取得ステップ（Ｓ１１）と、
画像取得ステップ（Ｓ１１）により取得された画像（２１）から運転者（Ｄ）の視線方向を検出する検出ステップ（Ｓ１５）と、
検出ステップ（Ｓ１５）による検出結果を蓄積部（１３ｂ）に蓄積する蓄積ステップ（Ｓ１６）と、
蓄積部（１３ｂ）に蓄積された前記検出結果を用いることで、運転者（Ｄ）にとっての視線方向の基準を決定する基準決定ステップ（Ｓ３）とを実行させることを特徴とする情報処理プログラム。

１、１Ａ 運転者モニタリングシステム
２ 車両
３ 車載機器
４ 車載システム
１０、１０Ａ 情報処理装置
１１ 入出力Ｉ／Ｆ
１２、１２Ａ 制御ユニット
１２ａ 画像取得部
１２ｂ 検出部
１２ｃ 基準決定部
１２ｄ 算出部
１２ｅ 処理部
１２ｆ 情報取得部
１２ｇ 判定部
１２ｈ 基準変更部
１３、１３Ａ 記憶ユニット
１３ａ 画像記憶部
１３ｂ、１３ｅ 蓄積部
１３ｃ 基準記憶部
１３ｄ、１３ｆ プログラム記憶部
２０ カメラ
３０ 自動運転制御装置
３１ 操舵センサ
３２ アクセルペダルセンサ
３３ ブレーキペダルセンサ
３４ 操舵制御装置
３５ 動力源制御装置
３６ 制動制御装置
３７ 報知装置
３８ 始動スイッチ
３９ 周辺監視センサ
４０ ＧＰＳ受信機
４１ ジャイロセンサ
４２ 車速センサ
４３ ナビゲーション装置
４４ 通信装置
５０ 通信ライン
５１ パワーユニット
５２ ハンドル
５３ 操舵装置

Claims (17)

1. 車両の運転者の顔を含む画像を取得する画像取得部と、
   該画像取得部により取得された前記画像から前記運転者の視線方向を検出する検出部と、
   該検出部による検出結果を蓄積する蓄積部と、
   該蓄積部に蓄積された前記検出結果を用いることで、前記運転者にとっての視線方向の基準を決定する基準決定部とを備えていることを特徴とする情報処理装置。
2. 前記基準決定部が、前記蓄積部に蓄積された前記検出結果から求めた視線方向の最頻値を前記基準として決定することを特徴とする請求項１記載の情報処理装置。
3. 前記基準決定部で決定された前記基準を用い、前記画像から前記基準に対する前記運転者の視線方向を算出する算出部を備えていることを特徴とする請求項１又は請求項２記載の情報処理装置。
4. 前記算出部で算出された、前記基準に対する前記運転者の視線方向に基づいて、所定の処理を行う処理部を備えていることを特徴とする請求項３記載の情報処理装置。
5. 前記処理部により処理された結果を前記運転者へ報知する報知部を備えていることを特徴とする請求項４記載の情報処理装置。
6. 前記基準決定部で決定された前記基準を記憶する基準記憶部を備え、
   前記算出部が、前記基準記憶部から読み出した前記基準を用いることで、前記画像から前記基準に対する前記運転者の視線方向を算出することを特徴とする請求項３〜５のいずれかの項に記載の情報処理装置。
7. 前記基準決定部で決定された前記基準を変更する基準変更部を備えていることを特徴とする請求項３〜６のいずれかの項に記載の情報処理装置。
8. 前記基準変更部が、
   前記算出部で算出された、前記基準に対する前記運転者の視線方向と、前記基準との差が所定範囲内である状態で継続している場合に、前記差が小さくなるように前記基準を補正することを特徴とする請求項７記載の情報処理装置。
9. 前記車両の走行状態に関する情報を取得する情報取得部と、
   該情報取得部により取得された前記情報に基づいて、前記車両が特定の走行状態にあるかを判定する判定部とを備え、
   前記基準決定部が、前記判定部により前記特定の走行状態にあると判定されているときの前記視線方向に基づいて前記基準を決定することを特徴とする請求項１〜８のいずれかの項に記載の情報処理装置。
10. 前記特定の走行状態が、前記車両が直進している走行状態であることを特徴とする請求項９記載の情報処理装置。
11. 前記情報取得部が、少なくとも前記車両の車速情報と、前記車両の操舵情報とを取得し、
    前記判定部が、前記車両の車速が所定の速度域にあり、かつ前記車両が所定の非操舵状態にある場合、前記車両が特定の走行状態にあると判定することを特徴とする請求項９記載の情報処理装置。
12. 前記情報取得部が、少なくとも前記車両の加減速情報、及び前記車両の傾斜情報のうちのいずれかを取得し、
    前記判定部が、前記車両が所定の加速又は減速の状態にある場合、或いは前記車両が所定の傾斜姿勢にある場合を、前記車両が特定の走行状態から除外することを特徴とすることを特徴とする請求項９記載の情報処理装置。
13. 前記情報取得部が、前記車両の位置情報と、前記車両の周辺の地図情報とを取得するものであり、
    前記判定部が、前記車両が直線道路を移動している場合、前記車両が特定の走行状態にあると判定することを特徴とする請求項９記載の情報処理装置。
14. 前記運転者を識別する識別部を備え、
    前記基準決定部が、前記識別部で識別された運転者毎に、前記基準を決定することを特徴とする請求項１〜１３のいずれかの項に記載の情報処理装置。
15. 請求項１〜１４のいずれかの項に記載の情報処理装置と、
    前記画像取得部で取得される前記運転者の顔を含む画像を撮像する少なくとも１つのカメラとを備えていることを特徴とする運転者モニタリングシステム。
16. 車両の運転者の顔を含む画像を取得する画像取得ステップと、
    該画像取得ステップにより取得された前記画像から前記運転者の視線方向を検出する検出ステップと、
    該検出ステップによる検出結果を蓄積部に蓄積する蓄積ステップと、
    前記蓄積部に蓄積された前記検出結果を用いることで、前記運転者にとっての視線方向の基準を決定する基準決定ステップとを含むステップを実行させることを特徴とする情報処理方法。
17. 少なくとも１つのコンピュータに、
    車両の運転者の顔を含む画像を取得する画像取得ステップと、
    該画像取得ステップにより取得された前記画像から前記運転者の視線方向を検出する検出ステップと、
    該検出ステップによる検出結果を蓄積部に蓄積する蓄積ステップと、
    前記蓄積部に蓄積された前記検出結果を用いることで、前記運転者にとっての視線方向の基準を決定する基準決定ステップとを実行させることを特徴とする情報処理プログラム。

Images