JP2014218140A - 運転者状態監視装置、および運転者状態監視方法 - Google Patents

Abstract

【課題】車載システムや車載ディスプレイ等の車室内の領域のうち、運転者が目視している領域を高精度で特定する。
【解決手段】運転者の顔画像を撮像して、この顔画像に基づいて、運転者の頭部位置に加えて、運転者の顔の向きを検出する。そして、検出した頭部位置と顔の向きとの両方に基づいて、運転者が目視している車室内の領域である車室内領域を特定する。この結果、運転者が目視している車室内の領域を高精度で特定することが可能となる。
【選択図】図３

Description

本発明は、運転者の状態を監視する運転者状態監視装置に関し、詳しくは運転者の目視している領域を検出する技術に関する。

車両には運転に必要な様々な計器類が搭載されているが、近年では、これらの計器類に加えて、運転を快適にするための様々なシステム（空調システムや、ナビゲーションシステム、オーディオシステムなど）が搭載されるようになっている。このため近年の運転者は、車両の運転以外にも様々なシステムの操作を覚える必要に迫られる傾向がある。

そこで、運転者のこのような負担を軽減するために、次のような技術が提案されている。たとえば、車載カメラで撮影した運転者の画像から、運転者の動作や視線を検出することにより、運転者が操作しようとしている機器と、その機器に対する操作内容とを推定する。そして、推定した操作内容に関する情報を運転者に提示する技術が提案されている（特許文献１）。あるいは、運転者の視線が車載ディスプレイを向いていることを検出して、視線が車載ディスプレイを向いている場合には、運転者が運転に用いる補助情報を提示する技術も提案されている（特許文献２）。

特開２００８−２０１１４６号公報 特開２０１１−９８６１６号公報

しかし、上記の提案されている何れの技術においても、運転者に対して常に適切な情報が提示できるとは限らないという問題があった。すなわち、運転者が操作しようとしてある機器に視線を向けたときに別の機器についての情報が提示されたり、あるいは、運転者の視線が車載ディスプレイに向いているにも拘わらずディスプレイ上に補助情報が表示されなかったりする場合があった。そして、このような事態が生じるのは、運転者が視線を向けている機器を特定する精度が十分でないためであると考えられる。

この発明は、従来の技術が有する上述した課題に鑑みてなされたものであり、運転者が視線を向けている領域を精度良く特定することが可能な技術の提供を目的とする。

上述した課題を解決するために、本発明の運転者状態監視装置および運転者状態監視方法は、運転者の顔画像を撮像して、この顔画像に基づいて、運転者の顔の向きだけでなく、運転者の頭部位置も検出する。そして、検出した顔の向きと頭部位置との両方に基づいて、運転者が目視している車室内の領域である車室内領域を特定する。

運転者の視線の向きを検出するために従来から提案されている技術は、運転者が車室外の何れの領域を見ているかを検出する技術であった。たとえば、車両の走行中に運転者が進行方向を見ているのか、信号機を見ているのか、あるいは側道の歩行者を見ているのかといったことを判断するための技術であった。このような場合、運転者が見ている対象は１０メートル程度、遠方にあるので、運転者が運転席に座る姿勢を変えて頭部位置を数十センチメートル程度移動させても、視線を向けている対象が変わる可能性は低い。従って、運転者の視線の向き（顔の向き）が分かれば（頭部位置は分からなくても）、運転者が車室外の何れの領域を目視しているかを精度良く検出することができる。
これに対して、運転者が視線を向けている車室内の機器（運転者が目視している車室内の領域）を特定する場合は、車室内の運転者から近い機器（車室内に設定された狭い領域）に視線を向けていることを特定する必要があるため、運転者の頭部位置が異なると、運転者が視線を向けている機器（領域）も異なる可能性が高い。従って、運転者の頭部位置は考慮せずに、運転者の視線の向き（顔の向き）から運転者が目視している車室内の領域を特定すると、この特定精度が低くなってしまう。この点、本発明の運転者状態監視装置および運転者状態監視方法は、運転者の顔の向きだけでなく運転者の頭部位置にも基づいて、運転者が目視している車室内の領域を特定するので、運転者が目視している車室内の領域を高精度で特定することが可能となる。

また、上述した本発明の運転者状態監視装置においては、車室内の頭部の位置が基準位置にあると仮定すれば、このときの顔の向き（基準顔向き）に対応する車室内領域を特定できるので、この基準顔向きと車室内領域との対応関係を予め記憶しておいてもよい。そして、運転者の顔の向きを運転者の頭部位置に基づいて基準顔向きに変換し、基準顔向きから対応関係を参照することによって車室内領域を特定する。

こうすれば、運転者の顔の向きを基準顔向きに変換することで、運転者の頭部位置にかかわらず共通の対応関係を参照することができるので、記憶容量を節約することができるとともに、車室内領域を特定する際の処理負担を軽減することが可能となる。

また、上述した本発明の運転状態監視装置においては、車室を構成する構成要素（例えば、ルームミラーやディスプレイ等）が仮想的に形成された３次元空間を予め記憶しておいてもよい。そして、この３次元空間内に、運転者の頭部位置と顔の向きとに基づいて運転者の仮想的な頭部を配置し、該仮想的な頭部から顔の向きに延びる直線が交差する車室の構成要素を車室内領域として特定することとしてもよい。

こうすれば、現実空間における運転者の頭部位置と車室の構成要素との位置関係や、運転者の顔の向きを、３次元空間内に再現した上で運転者が目視している車室内の領域（車室内領域）を特定するので、車室内領域を高精度で特定することが可能となる。

本実施例の運転者状態監視装置１０の大まかな構成を示す説明図である。 本実施例の運転者状態監視装置１０の詳細な構成を示す説明図である。 本実施例のＣＰＵ１２が実行する車室内領域特定処理を示すフローチャートである。 本実施例の近赤外光カメラ１１に対する頭部位置の角度を検出する様子を示す説明図である。 本実施例の顔画像における顔領域内から特徴点が検出される様子を示す説明図である。 本実施例の３次元空間を概念的に示す説明図である。 顔の向きだけに基づいて運転者が目視している車室の領域を判定する場合の問題点を説明するための説明図である。 第１変形例の運転者の顔の向きを基準顔向きに変換する様子を示す説明図である。 第１変形例の車室内領域特定テーブルを概念的に示す説明図である。 第２変形例の運転者の顔の向きを基準顔向きに変換する様子を示す説明図である。

以下では、上述した本願発明の内容を明確にするために運転者状態監視装置の実施例について説明する。
Ａ．装置構成 ：
図１には、運転者状態監視装置１０の大まかな構成が示されている。図示されるように、運転者状態監視装置１０は車両１００に設けられており、近赤外光を用いて撮像する近赤外光カメラ１１で運転者の顔を定期的に（例えば１秒間に３０回）撮像することにより、運転者の顔画像を取得している。

図２には、運転者状態監視装置１０の詳細な構成が示されている。図示されるように、運転者状態監視装置１０は、ＣＰＵ１２を中心として、上述した近赤外光カメラ１１、ＣＰＵ１２が実行するプログラム等が記憶されているＲＯＭ１３、ＣＰＵ１２の作業領域であるとともに近赤外光カメラ１１によって撮像された運転者の顔画像が記憶されるＲＡＭ１４、所定の情報が出力されるディプレイ等の出力装置１５等が、バス１６を介して接続されている。運転者状態監視装置１０では、ＣＰＵ１２がＲＯＭ１３に記憶されているプログラムを実行することによって、運転者が目視している車室内の領域（ルームミラーが配置された領域や、ナビゲーションシステムのディスプレイが配置された領域等、以下「車室内領域」という）を特定する処理（車室内領域特定処理）が行われる。

Ｂ．車室内領域特定処理 ：
図３には、運転者状態監視装置１０のＣＰＵ１２が実行する車室内領域特定処理のフローチャートが示されている。本実施例の車室内領域特定処理は所定の条件が成立している場合（たとえば運転者操作によって処理の起動が指示されている場合）に所定時間毎（たとえば０．５ｓ毎）に起動される。ＣＰＵ１２は、車室内領域特定処理を開始すると、近赤外光カメラ１１を利用して運転者の顔を撮像するとともに、撮像された顔画像をＲＡＭ１４に記憶する（Ｓ１００）。続いて、ＲＡＭ１４に記憶された顔画像を読み出して、読み出した顔画像に対してエッジ検出等の各種処理を施すことによって、運転者の顔画像中の顔が占める領域（以下「顔領域」という）を検出する（Ｓ１０２）。そして、検出した顔領域に基づいて、運転者の頭部位置を検出する（Ｓ１０４）。この処理では先ず、近赤外光カメラ１１に対する頭部位置の角度を検出する。

図４には、近赤外光カメラ１１に対する頭部位置の角度を検出する様子を示す説明図が示されている。図４に示すように、近赤外光カメラ１１に対する頭部位置の角度は、顔画像中の顔領域の位置に対応している。たとえば、顔画像中の中心より上側に顔領域が存在する場合は、近赤外光カメラ１１が撮像可能な範囲の中心より上側に運転者の頭部が存在し、顔画像中の中心より右側に顔領域が存在する場合は、近赤外光カメラ１１が撮像可能な範囲の中心より右側に運転者の頭部が存在する。また、運転者の頭部（頭部の中心位置）は、近赤外光カメラ１１から種々の角度で放射状に延びる仮想的な直線のうち、何れかの直線上に存在する。そこで、Ｓ１０４の処理では先ず、画像上の顔領域の位置（顔領域の中心位置）に基づき頭部位置（頭部の中心位置）が存在する直線の角度（頭部位置の近赤外光カメラ１１に対する角度）を決定する。尚、こうして決定された「頭部位置が存在する直線」を以下では「頭部位置直線」という。

上述した処理では、頭部位置が頭部位置直線上に存在することは検出しているものの、頭部位置直線上の何れの位置に頭部位置が存在するか（頭部位置直線上の頭部位置）は未だ検出できていない。そこで、Ｓ１０４の処理では次に、決定した頭部位置直線上の頭部位置を検出する。頭部位置直線上の頭部位置は、近赤外光カメラ１１から頭部位置までの距離、すなわち、顔画像中の顔領域の大きさに対応している。そこで、顔画像中の顔領域の大きさに基づいて、近赤外光カメラ１１から頭部位置までの距離を検出する。たとえば、運転者の頭部位置が近赤外光カメラ１１から所定の距離に存在する場合の顔領域の標準大きさを記憶しておき、この標準大きさと実際の顔領域の大きさとを比較することによって、近赤外光カメラ１１から頭部位置までの距離を検出する。そして、この検出した距離だけ近赤外光カメラ１１から離れた、頭部位置直線上の位置を頭部位置として検出する。

尚、運転者の頭部位置の検出には、種々の方法を採用することができ、上述した方法以外にも、測距センサを用いて頭部位置を検出する方法や、複数のカメラで顔画像を撮像することで得られる視差を利用して頭部位置を検出する方法等が例示できる。

こうして、運転者の頭部位置を検出したら（Ｓ１０４）、ＲＡＭ１４に記憶された顔画像を読み出して、読み出した顔画像に対してエッジ検出等の各種処理を施すことによって、特徴点を検出する（Ｓ１０６）。図５には、顔画像から特徴点が検出される様子が例示されている。図５に示すように、特徴点としては、顔画像上の顔の各部位（目頭、目尻、鼻、口、耳など）が検出される。

こうして、顔画像から特徴点を検出したら、この特徴点に基づいて運転者の顔の向きを検出する（Ｓ１０８）。運転者の顔の向きは、複数の特徴点の位置関係に基づいて検出する。たとえば、「２つの目頭の特徴点を結ぶ直線の中点を鼻の特徴点と口の特徴点とを通過する直線が通過し、口の特徴点と鼻の特徴点との距離が特定の距離である場合」を、顔の向きが正面であるとする。そして、「顔の向きが正面である場合の特徴点（あるいは複数の特徴点の位置関係）」に対する「実際に検出された特徴点（あるいは複数の特徴点の位置関係）」の変位量に基づいて、運転者の顔の向きを検出する。
尚、運転者の顔の向きの検出には、種々の方法を採用することができ、上述した方法以外にも、基準となる特徴点を予め記憶しておき、この基準となる特徴点と実際の特徴点とを比較することによって顔の向きを検出する方法等が例示できる。

こうして、運転者の頭部位置および顔の向きを検出したら（Ｓ１０４，Ｓ１０８）、この頭部位置と顔の向きとに基づいて、運転者の仮想的な頭部を３次元空間に配置する（Ｓ１１０）。
図６には、本実施例の３次元空間を概念的に示す説明図が示されている。本実施例のＲＯＭ１３には、車室を構成する構成要素（が配置された領域）がポリゴンによって仮想的に形成された３次元空間が記憶されている。たとえば、図示されているように、フロントガラスや、ルームミラー、ナビ画面等が仮想的に形成されている。もちろん、これらの車室の各構成要素は、現実の構成要素の位置関係と近似するように、３次元空間に配置されている。

図６に示すように、３次元空間に運転者の仮想的な頭部を配置したら（Ｓ１１０）、該頭部の顔の向きに延びる直線が車室の構成要素を形成するポリゴンと交差するか否かを判断する（Ｓ１１２）。顔の向きに延びる直線は運転者の視線であることから、この判断処理では結局のところ、運転者が車室の何れかの構成要素を目視しているか否かが判断される。その結果、顔の向きに延びる直線が車室の構成要素を形成するポリゴンと交差する場合は（Ｓ１１２：ｙｅｓ）、このポリゴンによって形成される車室の構成要素（が配置された領域）を運転者が目視している車室内の領域（車室内領域）として特定する（Ｓ１１４）。

こうして、運転者が目視している車室内の領域（車室内領域）を特定したら、該車室内領域に対応する情報を出力装置１５に表示する（Ｓ１１６）。たとえば、「ルームミラー」が配置された領域が車室内領域として特定された場合は、ルームミラーの角度を変更するための操作方法を出力装置１５に出力する（画像出力や音声出力を行う）。

以上のように、本実施例の運転者状態監視装置１０は、運転者の顔の向きに加えて、運転者の頭部位置にも基づいて、運転者が目視している車室内の領域を特定する。ここで、顔の向きと頭部位置のうち、顔の向きだけに基づいて運転者が目視している車室内の領域を判定する場合の問題点について説明する。
図７は、顔の向きだけに基づいて運転者が目視している車室の領域を判定する場合の問題点を説明するための説明図である。運転者の視線の向きを検出するために従来から提案されている技術は、運転者が車室外の何れの領域を見ているかを検出する技術であった。たとえば、車両の走行中に運転者が進行方向を見ているのか、信号機を見ているのか、あるいは側道の歩行者を見ているのかといったことを判断するための技術であった。このような場合は、図７（ａ）に示すように、運転者が見ている対象は１０メートル程度、遠方にあるので、運転者が運転席に座る姿勢を変えて頭部位置を数十センチメートル程度移動させても、視線を向けている対象が変わる可能性は低い。従って、運転者の視線の向き（顔の向き）が分かれば（頭部位置は分からなくても）、運転者が車室外の何れの領域を目視しているかを精度良く検出することができる。
これに対して、運転者が視線を向けている車室内の機器（運転者が目視している車室内の領域）を特定する場合は、車室内の運転者から近い機器（車室内に設定された狭い領域）に視線を向けていることを特定する必要があるため、運転者の頭部位置が異なると、運転者が視線を向けている機器（領域）も異なる可能性が高い。すなわち、図７（ｂ）に示すように、頭部位置が異なっていれば顔の向きが同じであっても運転者が目視している領域が異なるので、車室内領域を誤って判定する可能性が高くなる。この点、本発明の運転者状態監視装置１０は、運転者の顔の向きだけでなく運転者の頭部位置にも基づいて、運転者が目視している車室内の領域を特定するので、運転者が目視している車室内の領域を高精度で特定することが可能となる。

また、本実施例の運転者状態監視装置１０は、仮想的な３次元空間に車室の各構成要素を形成して、この３次元空間に運転者の頭部位置および顔の向きに基づいて仮想的な頭部を配置する。そして、仮想的な頭部の顔の向きに延びる直線が交差した車室の構成要素を車室内領域として特定する。こうすれば、現実空間における運転者の頭部位置と車室の構成要素との位置関係や、運転者の顔の向きを、３次元空間内に再現した上で運転者が目視している車室内の領域（車室内領域）を特定するので、車室内領域を高精度で特定することが可能となる。

尚、近赤外光カメラ１１は運転者の顔画像を撮像する。したがって、近赤外光カメラ１１は本発明における「顔画像撮像手段」に対応している。また、ＣＰＵ１２は、顔画像に基づいて運転者の頭部位置を検出する。したがって、ＣＰＵ１２は本発明における「頭部位置検出手段」に対応している。また、ＣＰＵ１２は、顔画像に基づいて運転者の顔の向きを検出する。したがって、ＣＰＵ１２は本発明における「顔向き検出手段」に対応している。また、ＲＯＭ１３は、車室を形成する構成要素が仮想的に形成された３次元空間を記憶する。したがって、ＲＯＭ１３は本発明における「３次元空間記憶手段」に対応している。また、ＣＰＵ１２は、頭部位置と顔の向きとに基づいて運転者の仮想的な頭部を３次元空間に配置し、該３次元空間において、該仮想的な頭部の顔の向きに延びる直線が交差する車室の構成要素を車室内領域として特定する。したがって、ＣＰＵ１２は本発明における「特定手段」に対応している。

Ｃ．第１変形例 ：
上述した実施例では、車室の構成要素が仮想的に形成された３次元空間に、運転者の仮想的な頭部を配置することによって車室内領域を特定する構成とした。第１変形例では、運転者の顔の向きを「基準位置」での顔の向きに変換することによって車室内領域を特定する。

第１変形例でもＣＰＵ１２は、図３に示すＳ１００〜Ｓ１０６と同様に、運転者の頭部位置および顔の向きを検出する。そして、運転者の頭部位置および顔の向きを検出したら、この顔の向きを「基準位置」での顔の向き（以下「基準顔向き」という）に変換する。本変施例では、近赤外光カメラ１１よって撮像可能な範囲中の所定の位置が「基準位置」として予め定められている。
図８には、運転者の顔の向きを基準顔向きに変換する様子を示す説明図が示されている。図８に示すように、本実施例では、ＲＯＭ１３に、近赤外光カメラ１１の位置を原点Ｘ（０，０，０）として車両の進行方向をＸ軸、左右方向をＹ軸、高さ方向をＺ軸とする仮想的な３次元空間が予め記憶されている。
図８に示す３次元空間において、Ｆ（Ｘｆ，Ｙｆ，Ｚｆ）は図３のＳ１０４と同様の処理で検出された頭部位置を示す座標であり、Ａ（Ｘａ，Ｙａ，Ｚａ）は図３のＳ１０８と同様の処理で検出された顔の向きを示す単位ベクトルである。また、Ｂ（Ｘｂ，Ｙｂ，Ｚｂ）は基準位置を示す座標である。

また、この３次元空間には、中心が基準位置Ｂで半径がＲの球（以下「判定球」という）が配置されている。この判定球の球面（判定球面）は、仮想的な車室の構成要素を配置するとしたら（図６参照）、該車室の構成要素が存在することとなる領域の近傍に形成されている。したがって、顔の向きＡ（Ｘａ，Ｙａ，Ｚａ）の延長線と判定球面との交点Ｐは、運転者が目視している車室の構成要素が存在する領域（車室内領域）に対応している。

図９には、基準顔向きを示す回転角度と車室内領域との対応関係が設定された車室内領域特定テーブルが概念的に示されている。この車室内領域特定テーブルは、実際に基準位置で車室の各構成要素を目視することで得られた「頭部の回転角度（基準顔向き）の範囲」と「車室内領域（車室の構成要素）」とを対応付けて設定されたデータテーブルであり、予めＲＯＭ１３の所定アドレスに記憶されている。このような車室内領域特定テーブルを記憶することにより、概念的には、各基準顔向きの範囲に対応する車室内領域が判定球面に貼り付けられている状態となる。

以上のように、半径Ｒの判定球、運転者の頭部位置Ｆ、運転者の顔の向きＡ（頭部位置での顔の向き）、基準位置Ｂが３次元空間に設定された状態で、基準顔向き（基準位置Ｂでの顔の向き）を示すベクトルＶを算出する。まず、交点Ｐは顔の向きＡの延長線上の点であるので、媒介変数ｔを用いて次のように表現できる。

また、交点Ｐは判定球面上に存在するため、基準位置Ｂと交点Ｐとの距離はＲである。

そして、（１）、（２）式より、

この結果、ｔの値は、次のように導き出すことができる。

もっとも、後を振り返る場合は考慮する必要はないのでｔ＞０となるｔを選択する。

したがって、基準顔向きを示すベクトルＶは、次のように表すことができる。

こうして、基準顔向きを示すベクトルＶを検出したら、このベクトルＶを３次元空間における水平（左右）方向および垂直（上下）方向の回転角度（すなわち、基準顔向きを示す回転角度）に変換する。以上のようにして、運転者の顔の向きを、基準位置での顔の向き（基準顔向き）に変換する。

続いて、基準顔向きを示す回転角度に基づいて、運転者が目視している車室の構成要素が存在する領域（車室内領域）を特定する。すなわち、図９を用いて前述した車室内領域特定テーブルを参照して、検出した基準顔向きに対応する車室内領域を特定する。例えば、図６に示すように、基準顔向きの水平方向の回転角度が−６２°〜−４４°の範囲であり、垂直方向の回転角度が−１２°〜４°の範囲である場合は（図中Ｅの範囲）、車室内領域として「ルームミラー」が特定され、基準顔向きの水平方向の回転角度が−２４°〜−８°の範囲であり、垂直方向の回転角度が−３６°〜−２８°の範囲である場合は、車室内領域として「ナビ画面」（ナビゲーションシステムのディスプレイ）が特定される。

こうして、運転者の車室内領域を判定したら、図３を用いて前述したＳ１１６の処理と同様に、当該車室内領域に対応する情報を出力装置１５に表示する。当然ながら、基準顔向きに対応する構成要素が存在しない場合は、この表示処理は省略される。

以上のように、本変形例の運転者状態監視装置１０は、運転者の顔の向きだけでなく運転者の頭部位置にも基づいて、運転者が目視している車室内の領域（車室内領域）を特定する。この結果、運転者が目視している車室内の領域を高精度で特定することが可能となる。

また、運転者の顔の向きを運転者の頭部位置に基づいて基準位置での顔の向き（基準顔向き）に変換する。そして、車室内領域特定テーブルを参照して基準顔向きに対応する車室内領域を特定する。したがって、運転者の顔の向きを基準顔向きに変換することで、運転者の頭部位置にかかわらず共通の対応関係（車室内領域特定テーブル）を参照することができるので、記憶容量を節約することができ、車室内領域を特定する際の処理負担を軽減することが可能となる。

Ｄ．第２変形例 ：
上述した第１変形例では、３次元空間に判定球を配置して、判定球と顔の向きＡの延長線との交点Ｐを車室内領域とした。これに限らず、図１０に示すように、３次元空間に判定平面を配置して、判定平面と顔の向きＡの延長線との交点Ｑを車室内領域としてもよい。もちろんこの場合は、図９を用いて前述した車室内領域特定テーブルを記憶することにより、概念的には、各基準顔向きの範囲に対応する車室内領域が判定平面に貼り付けられている状態となる。

尚、ＲＯＭ１３は、車室内の所定の基準位置に頭部がある場合の顔の向きである基準顔向きと車室内領域との対応関係を車室内領域特定テーブルとして記憶している。したがって、ＲＯＭ１３は本発明における「対応関係記憶手段」に対応している。また、ＣＰＵ１２は、運転者の顔の向きを頭部位置に基づいて基準顔向きに変換し、該基準顔向きから車室内領域特定テーブル（対応関係）を参照することによって車室内領域を特定する。したがって、ＣＰＵ１２は本発明における「特定手段」に対応している。

以上、本実施例および変形例の運転者状態監視装置１０について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

例えば、上述した実施例および変形例では、車室内領域を判定したら該車室内領域に対応する情報を出力することとした。これに限らず、車室内領域を判定したら、該車室内領域がルームミラーや、右ミラー、左ミラーであれば、これらの角度を自動的に調節することとしても良いし、該車室内領域がナビ画面であれば、ナビ画面の輝度を高くする（例えば節電モードからの復帰）こととしてもよい。

１０…運転者状態監視装置、 １１…近赤外光カメラ、 １２…ＣＰＵ、
１３…ＲＯＭ、 １４…ＲＡＭ、 １５…出力装置、
１６…バス、 １００…車両

Claims (4)

1. 車室内に設けられて、
   運転者の顔画像を撮像する顔画像撮像手段と、
   前記顔画像に基づいて前記運転者の頭部位置を検出する頭部位置検出手段と、
   前記顔画像に基づいて前記運転者の顔の向きを検出する顔向き検出手段と、
   前記頭部位置と前記顔の向きとに基づいて、前記運転者が目視している前記車室内の領域である車室内領域を特定する特定手段と
   を備える運転者状態監視装置。
2. 請求項１に記載の運転状態監視装置であって、
   前記車室内の所定の基準位置に頭部がある場合の顔の向きである基準顔向きと前記車室内領域との対応関係を記憶している対応関係記憶手段を備え、
   前記特定手段は、前記顔の向きを前記頭部位置に基づいて前記基準顔向きに変換し、該基準顔向きから前記対応関係を参照することによって前記車室内領域を特定する手段である運転状態監視装置。
3. 請求項１に記載の運転状態監視装置であって、
   前記車室を構成する構成要素が仮想的に形成された３次元空間を記憶している３次元空間記憶手段を備え、
   前記特定手段は、前記頭部位置と前記顔の向きとに基づいて前記運転者の仮想的な頭部を前記３次元空間に配置し、該３次元空間において、該仮想的な頭部の顔の向きに延びる直線が交差する前記構成要素を前記車室内領域として特定する手段である運転状態監視装置。
4. 運転者の顔画像を撮像する工程と、
   前記顔画像に基づいて前記運転者の頭部位置を検出する工程と、
   前記顔画像に基づいて前記運転者の顔の向きを検出する工程と、
   前記頭部位置と前記顔の向きとに基づいて、前記運転者が目視している車室内の領域である車室内領域を特定する工程と
   を備える運転者状態監視方法。

Images