JP2012123515A - 顔向き検出装置 - Google Patents

Abstract

【課題】ユーザの顔向きを精度良く検出できる顔向き検出装置を提供すること。
【解決手段】顔向き検出装置は、交差する縦縞及び横縞から構成された縞模様の光をユーザの顔に照射する（Ｓ１１）。その顔をカメラで撮像する（Ｓ１２）。撮像した顔画像から、光の縞模様を構成する矩形に対応する矩形対応部分をそれぞれ特定する（Ｓ１３）。矩形対応部分ごとに、各矩形対応部分の変形具合に基づいて各矩形の法線方向を算出する（Ｓ１４）。三次元モデルＤＢ４０に記憶された三次元の顔モデルの各部位の法線方向と各矩形の法線方向との誤差を算出する（Ｓ１５）。誤差が閾値未満か否かを判断する（Ｓ１６）。誤差が閾値より大きい場合には（Ｓ１６：Ｎｏ）、閾値未満になるように顔モデルの三次元パラメータを変更する（Ｓ１７）。誤差が閾値未満になったときの顔モデルの顔向きを運転者の顔向きとして決定する（Ｓ１８）。
【選択図】図４

Description

本発明は、ユーザの顔を撮像してその撮像した画像に基づいてユーザの顔向きを検出する顔向き検出装置に関する。

従来、車両の運転者などのユーザの顔向きを検出する顔向き検出装置が知られている。ここで、図１４は、従来の顔向き検出装置の概略構成を示した図である。図１４に示すように、従来では、ＬＥＤ１０１が、ユーザの顔ｆに近赤外光などの光１０４を照射する。その光１０４がユーザの顔ｆに照射された状態で、カメラ１０２がユーザの顔ｆを撮像する。そして、マイコン（図示外）が、カメラ１０２で撮像された顔の画像１０３に基づいて、ユーザの顔ｆの顔向きを検出する。より具体的には、マイコンは、例えば、顔の画像１０３に含まれる特徴量（エッジ情報）から口や鼻などの顔ｆのパーツを検出し、その顔ｆのパーツの位置などに基づいて顔向きを検出する。

また、特許文献１では、格子パターン投影法を用いてユーザの顔の形状（顔の幅、鼻の位置等）を検出するとともに、その顔の形状（鼻の向き等）に基づいて顔の上下左右の角度（顔向き）を検出する顔向き検出装置が開示されている。より具体的には、特許文献１の顔向き検出装置は、ユーザの顔に複数のスリット光を照射する。この際、各スリット光を特定できるようにするために、他のスリット光よりも太い基準スリット光が定められる。それらスリット光が照射されたユーザの顔を撮像する。その撮像した顔の画像から各スリット光を特定する。特定した各スリット光の形状や位置に基づいて、光切断法を用いた顔形状の三次元データを生成する。そして、その三次元データの顔形状に基づいて顔向きを検出する。

特開２０１０−１２９０５０号公報

しかしながら、上記した顔の画像から顔のパーツを検出して顔向きを検出する方法では、その顔の画像は奥行き方向の情報が欠落しているので、顔向きの推定誤差が生じるという問題点がある。また、顔のパーツを画像全体から探索する必要があるので、類似した特徴量を持つものに顔のパーツが誤検出されやすい。この場合には、顔向きの検出精度が低下してしまう。この点、特許文献１の顔向き検出装置では、顔形状の三次元データに基づいて顔向きを検出しているので上記の問題点は無いが、三次元データの顔形状からどのようにして顔向きを検出するかについては特許文献１には具体的な記載は無い。

本発明は上記問題点に鑑みてなされたものであり、ユーザの顔向きを精度良く検出できる顔向き検出装置を提供することを課題とする。

上記課題を解決するために、本発明に係る顔向き検出装置は、交差する縦縞及び横縞から構成された縞模様の光をユーザの顔に照射する照射手段と、
前記縞模様の光が照射されたユーザの顔の画像であるユーザ顔画像を取得する画像取得手段と、
その画像取得手段が取得した前記ユーザ顔画像から、前記縞模様の最小単位を構成する矩形に対応する矩形対応部分をそれぞれ特定する矩形特定手段と、
その矩形特定手段が特定した前記矩形対応部分ごとに、前記矩形対応部分の形状に基づいて前記矩形の法線方向を算出する法線方向算出手段と、
その法線方向算出手段が算出した各矩形の法線方向に基づいて前記ユーザの顔向きを決定する顔向き決定手段と、を備えることを特徴とする。

これによれば、照射手段が、交差する縦縞及び横縞から構成された縞模様の光をユーザの顔に照射する。その縞模様は、縦縞と横縞の交点を頂点とする矩形を最小単位として構成される。縞模様がユーザの顔に照射されると、縞模様を構成する各矩形はユーザの顔の表面に沿って傾けられる。そのため、画像取得手段が取得するユーザ顔画像における矩形に対応する矩形対応部分は、矩形が変形された形状とされる。その矩形対応部分の形状は、矩形の傾きに応じたものとされる。よって、法線方向算出手段は、矩形特定手段が特定した矩形対応部分の形状に基づいて、各矩形の法線方向（矩形の傾き）を算出することができる。各矩形の法線方向は、ユーザの顔の三次元情報が反映されたもの、つまりユーザの顔向きが反映されたものとされるので、顔向き決定手段は、各矩形の法線方向に基づいてユーザの顔向きを決定することができる。このように、本発明の顔向き検出装置は、ユーザの顔の三次元情報に基づいて顔向きを決定しているので、顔向きを精度良く検出できる。

また、本発明の顔向き検出装置は、人の顔の三次元モデルである顔モデルが記憶された顔モデル記憶手段を備え、
前記顔向き決定手段は、前記矩形の法線方向のそれぞれと前記顔モデルの各部分の法線方向のそれぞれとの誤差を算出する誤差算出手段と、
その誤差算出手段が算出した前記誤差が最小となるように、前記顔モデルの顔向きを変化させる顔モデル変化手段と、を含み、
前記顔向き決定手段は、前記顔モデル変化手段が変化させた前記顔モデルの顔向きを前記ユーザの顔向きとして決定することを特徴とする。

これによれば、顔向き決定手段における誤差算出手段は、矩形の法線方向のそれぞれと顔モデル記憶手段に記憶された顔モデルの各部分の法線方向のそれぞれとの誤差を算出する。ここで、顔モデルは人の顔の三次元モデルであるので、顔モデルの各部分の法線方向は、顔モデルの顔向きが反映されたものとされる。よって、誤差算出手段が算出する誤差は、ユーザの顔向きと顔モデルの顔向きとの差に相当する。そして、顔モデル変化手段が、その誤差が最小となるように顔モデルの顔向きを変化させるので、顔モデルの顔向きをユーザの顔向きに近づけることができる。これにより、顔向き決定手段は、顔モデルの顔向きをユーザの顔向きとして決定することができる。

また、本発明の顔向き検出装置における前記顔モデル変化手段は、前記顔モデルの顔向きとして、前記顔モデルの上下方向の軸回りの角度であるヨー角、前記顔モデルの左右方向の軸回りの角度であるピッチ角及び前記顔モデルの前後方向の軸回りの角度であるロール角を変化させることを特徴とする。

これによれば、ヨー角、ピッチ角及びロール角の三つの角度をパラメータとして顔向きを決定しているので、顔向きを精度良く検出できる。

また、本発明の顔向き検出装置における前記顔モデル変化手段は、前記顔モデルの顔向きに加え、前記ユーザ顔画像で示される前記ユーザの顔の大きさに近づける方向に、前記顔モデルの大きさを変化させることを特徴とする。

これによれば、顔モデル変化手段は、ユーザの顔に近づける方向に顔モデルの大きさを変化させるので、ユーザの顔の大きさにかかわらず、誤差算出手段は上記誤差を精度良く算出することができる。よって、顔向きを精度良く検出できる。

また、本発明の顔向き検出装置における前記顔モデル変化手段は、前記顔モデルの顔向きに加え、前記ユーザ顔画像で示される前記ユーザの顔の重心位置に近づける方向に、前記顔モデルの重心位置を変化させることを特徴とする。

これによれば、顔モデル変化手段は、ユーザの顔の重心位置に近づける方向に顔モデルの重心位置を変化させるので、ユーザ顔画像がどの重心位置であっても、換言するとユーザの顔が上下左右のどの位置にあるとしても、誤差算出手段は上記誤差を精度良く算出することができる。よって、顔向きを精度良く検出できる。

また、本発明の顔向き検出装置における前記照射手段は、
縦縞模様の光を前記ユーザの顔に照射する縦縞用照射手段と、
前記縦縞模様に交差する横縞模様の光を前記ユーザの顔に照射する横縞用照射手段と、を含むものとすることができる。

これによれば、縦縞用照射手段が縦縞模様の光をユーザの顔に照射し、横縞用照射手段が横縞模様の光をユーザの顔に照射するので、縦縞及び横縞から構成された縞模様の光をユーザの顔に照射することができる。

また、本発明の顔向き検出装置における前記照射手段は、
光を照射する光源と、
その光源からの光が入射され、その光を一方向の縞模様の光となるように回折させて前記ユーザの顔に照射させる回折素子と、
前記ユーザの顔に照射された光の縞模様が縦縞模様と横縞模様の間で変化するように前記回折素子を回転させる第一の回転手段と、を含み、
前記画像取得手段は、前記縦縞模様の光が照射された前記ユーザの顔の画像及び前記横縞模様の光が照射された前記ユーザの顔の画像を、前記ユーザ顔画像として取得するとしてもよい。

これによれば、第一の回転手段が回折素子を回転させるので、一つの光源及び回折素子で、縦縞模様の光と横縞模様に光とを時間をずらしてユーザの顔に照射することができる。そして、画像取得手段が取得する各縞模様の光の画像を、ユーザ顔画像として用いることができる。

また、本発明の顔向き検出装置は、前記顔向き決定手段が前回に決定した前記ユーザの顔向きと同じ角度だけ前記照射手段による前記縞模様の光を回転させる第二の回転手段を備えることを特徴とする。

これによれば、第二の回転手段が、前回のユーザの顔向きと同じ角度だけ縞模様の光を回転させるので、常に一定の方向の縞模様の光をユーザの顔に照射することができる。よって、各回のユーザの顔向きの検出を安定させることができる。

第一実施形態の顔向き検出装置１の概略構成を示したブロック図である。 照明部２０の詳細を説明する図である。 照明部２０からの光５０が運転者の顔ｆにどのように照射されるかを説明する図である。 第一実施形態の顔向き検出処理の手順を示したフローチャートである。 顔画像６０を示した図である。 矩形５４０の法線方向ｎ１の算出方法を説明する図である。 顔モデル７０を示した図である。 第二実施形態の顔向き検出装置２の概略構成を示したブロック図である。 照明部２５の詳細を説明する図である。 第二実施形態の顔向き検出処理の手順を示したフローチャートである。 変形例１に係る照明部２６を示した図である。 変形例２の顔向き検出処理の手順を示したフローチャートである。 光５０を顔向きに追従させて回転させた状態を示した図である。 従来の顔向き検出装置の概略構成を示した図である。

（第一実施形態）
次に、本発明に係る顔向き検出装置の第一実施形態について図面を参照しながら説明する。本実施形態では、車両の運転者の顔向きを検出するドライバモニタシステムに本発明を適用した例について説明する。ここで、図１は、本実施形態の顔向き検出装置１の概略構成を示したブロック図である。その顔向き検出装置１は車両（図示外）に搭載される。図１に示すように、顔向き検出装置１は、照明部２０、カメラ３０、三次元モデルＤＢ４０及びこれらと接続された制御部１０を備えている。

照明部２０は、後述するカメラ３０で運転者の顔を明瞭に撮像するために、運転者の顔に光を照射するものである。図２は、その照明部２０の詳細を説明する図であり、具体的には図２（ａ）は照明部２０の外観斜視図であり、図２（ｂ）は照明部２０から照射される光５０を説明する図である。なお、図２（ａ）は、第一筐体２１１、第二筐体２２１の内部が透視された図とされる。また、図２（ｂ）は、光５０が直交する面におけるその光５０の模様を示した図とされる。図１、図２に示すように、照明部２０は、縦縞用照明部２１及び横縞用照明部２２から構成される。縦縞用照明部２１は、第一筐体２１１、第一ＬＥＤ２１２及び第一回折素子２１３を有している。また、横縞用照明部２２は、第二筐体２２１、第二ＬＥＤ２２２及び第二回折素子２２３を有している。第一筐体２１１は、第一ＬＥＤ２１２及び第一回折素子２１３が収容された円筒状の筐体である。また、第二筐体２２１は、第二ＬＥＤ２２２及び第二回折素子２２３が収容された円筒状の筐体である。各筐体２１１、２２１は、各ＬＥＤ２１２、２２２から照射される光が周囲に漏れないように、光を透過しない材質で形成されている。また、各筐体２１１、２２１の端部２１１ａ、２２１ａには、回折素子２１３、２２３から出射される光が外部に照射されるように、開口が形成されている。

第一ＬＥＤ２１２及び第二ＬＥＤ２２２は、それぞれ近赤外光を照射する近赤外ＬＥＤとされる。照射する光を近赤外光としているのは、運転者の顔に光を照射した際に運転者にその光を眩しく感じさせないようにするためである。第一ＬＥＤ２１２は、第一筐体２１１内において、第一筐体２１１の端部２１１ａと対向する位置に設けられる。すなわち、第一ＬＥＤ２１２は、端部２１１ａに向けて光を照射する位置に設けられている。同様に、第二ＬＥＤ２２２は、第二筐体２２１内において、第二筐体２２１の端部２２１ａと対向する位置に、すなわち端部２２１ａに向けて光を照射する位置に設けられる。

第一回折素子２１３及び第二回折素子２２３は、それぞれ一方向の縞模様の光となるように入射された光を回折させるものである。より具体的には、それら回折素子２１３、２２３は、板状のガラス等で形成され、その板面には、互いに平行に周期的に並んだ直線状の凹凸から構成された格子パターン２１３ａ、２２３ａが形成されている。なお、それら格子パターン２１３ａ、２２３ａは、互いに同じ形状の凹凸から構成され、凹凸間の間隔も同じとされる。各回折素子２１３、２２３は、それぞれ各筐体２１１、２２１の端部２１１ａ、２２１ａ周辺に設けられる。この際、各格子パターン２１３ａ、２２３ａの方向が互いに直角の関係となるように、各回折素子２１３、２２３の設置向きが調整されている。

以上の構成を有する各照明部２１、２２は、左右や上下に並べて配置される。各ＬＥＤ２１２、２２２からの光が各回折素子２１３、２２３に入射され、その光は各格子パターン２１３ａ、２２３ａにしたがって回折される。そして、回折された光は、各筐体２１１、２２１の端部２１１ａ、２２１ａから外部に出射される。この際、各格子パターン２１３ａ、２２３ａが、平行に周期的に並んだ直線状の凹凸から構成されているので、その凹凸に応じた間隔で光が強め合う（干渉する）。つまり、各照明部２１、２２からの光は、図２（ｂ）に示すように、それぞれ一方向の縞模様（干渉縞）の光５１、５２とされる。また、各回折素子２１３、２２３の設置向きが上記のように調整されているので、それら光５１、５２の縞５１ａ、５２ａは互いに直交している。なお、以下、縦縞用照明部２１からの光５１を縦縞模様の光と言い、横縞用照明部２２からの光５２を横縞模様の光と言う。それら縦縞模様の光５１、横縞模様の光５２が組み合わされることで、照明部２０全体として、交差する縦縞５１ａ及び横縞５２ａから構成された縞模様の光５０が照射されるようになっている。

その光５０は、縦縞模様の光５１と横縞模様の光５２の各縞５１ａ、５２ａの交点５３を頂点とした矩形５４を最小単位として構成されている。本実施形態では、各格子パターン２１３ａ、２２３ａの形状及び凹凸間隔が互いに同じとされているので、縦縞模様の光５１の縦縞５１ａの間隔と横縞模様の光５２の横縞５２ａの間隔は略同じとされる。よって、光５０の矩形５４は略正方形とされる。なお、光５０の矩形５４は正方形でなくてもよく、長方形であってもよい。この場合には、各格子パターン２１３ａ、２２３ａの形状や凹凸間隔を調整すればよい。

以上の構成を有する照明部２０は、運転者の顔に光を照射できる位置に設けられ、具体的には例えば運転席前方のステアリングコラムの上面（図示外）に設けられる。ここで、図３は、照明部２０からの光５０が運転者の顔ｆにどのように照射されるかを説明する図である。なお、図３では、照明部２０、運転者の顔ｆに加え、後述するカメラ３０を図示している。上記したように、各ＬＥＤ２１２、２２２からの光は、各回折素子２１３、２２３で回折されて縞模様の光５０（図２（ｂ）参照）として外部に出射される。その光５０は、運転者の顔ｆに照射される。なお、顔ｆに到達される前の光５０と区別するために、以下、運転者の顔ｆの位置における光５０の縦縞５１ａを符号「５１０ａ」で表し、横縞５２ａを符号「５２０ａ」で表し、縦縞と横縞の交点５３を符号「５３０」で表し、矩形５４を符号「５４０」で表す。

図３に示すように、光５０の縦縞５１０ａ、横縞５２０ａが、運転者の顔ｆの表面に沿った位置に表示される。ここで、顔ｆの頭と顎間の方向を上下方向とし、顔ｆの左右の耳間の方向を左右方向とし、顔ｆ側と顔ｆの裏側間の方向を前後方向としたときに、縦縞５１０ａが顔ｆの上下方向と凡そ平行になるように、横縞５２０ａが顔ｆの左右方向と凡そ平行になるように、各回折素子２１３、２２３の向きが調整されている。また、光５０の各交点５３０で形成される各矩形５４０の法線方向ｎ１は、運転者の顔ｆの形状に応じた方向とされる。なお、照明部２０が本発明の「照射手段」に相当する。また、縦縞用照明部２１が本発明の「縦縞用照射手段」に相当し、横縞用照明部２２が本発明の「横縞用照射手段」に相当する。

図１の説明に戻り、カメラ３０は、例えばＣＣＤイメージセンサから構成され、光５０が照射された状態の運転者の顔ｆ（図３参照）を一定の方向から撮像するものである。そのカメラ３０は、運転者の顔ｆを撮像できる位置に設けられ、具体的には例えば、照明部２０と同様にステアリングコラムの上面（図示外）に設けられる。

三次元モデルＤＢ４０は、人の顔の三次元モデルである顔モデルが記憶されたデータベースとされる。その顔モデルは、人の顔の全体の形状や鼻や耳等の各部の形状を示したデータである。顔モデルは、各種の三次元測定技術（例えば磁場を利用した技術やステレオ画像を利用した技術）を利用して予め実験室で測定されたものとすることができる。なお、顔モデルの被験者は、車両の運転者にかかわらず、任意の人とすることができる。なお、三次元モデルＤＢ４０が本発明の「顔モデル記憶手段」に相当する。

制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されたコンピュータとされ、ＣＰＵがＲＯＭに記憶された制御プログラムにしたがった処理を実行することで、運転者の顔向きを検出する顔向き検出処理を実行するものである。以下、その顔向き検出処理の詳細を説明する。図４は、顔向き検出処理の手順を示したフローチャートである。なお、図４のフローチャートの処理は、例えば車両のエンジン始動時に開始され、その後、エンジン停止されるまで繰り返し実行される。

先ず、照明部２０の各ＬＥＤ２１２、２２２（図２（ａ）参照）を点灯させる（Ｓ１１）。各ＬＥＤ２１２、２２２が点灯されると、縞模様の光５０が運転者の顔ｆに照射される（図３参照）。次いで、運転者の顔ｆをカメラ３０で撮像して運転者の顔画像（ユーザ顔画像）を取得する（Ｓ１２）。図５は、運転者の顔画像６０を模式的に示した図である。図５に示すように、顔画像６０には、光５０の縦縞５１０ａ（図３参照）に対応する複数の縦縞画像６１及び光５０の横縞５２０ａ（図３参照）に対応する複数の横縞画像６２が表示される。それら縦縞画像６１、横縞画像６２の各交点６３を頂点として、元の矩形５４０に対応する複数の矩形対応部分６４が構成される。また、各矩形対応部分６４は、運転者の顔ｆの形状に応じて、より厳密には対応する矩形５４０の法線方向ｎ１（図３参照）に応じて、元の矩形５４０に対して形状が変形されている。なお、カメラ３０及びＳ１２を実行する制御部１０が本発明の「画像取得手段」に相当する。

次いで、顔画像６０に表示されている各矩形対応部分６４を特定する（Ｓ１３）。具体的には、顔画像６０から、縦縞画像６１と横縞画像６２の交点６３をそれぞれ抽出する。そして、隣接する４つの交点６３を頂点として、縦縞画像６１及び横縞画像６２で囲まれる部分を矩形対応部分６４として特定する。なお、Ｓ１３を実行する制御部１０が本発明の「矩形特定手段」に相当する。

次いで、矩形対応部分６４ごとに、各矩形対応部分６４に対応する矩形５４０の法線方向ｎ１を算出する（Ｓ１４）。具体的には、アフィン変換の考え方に基づいてその法線方向ｎ１を算出する。ここで、図６は、アフィン変換の考え方を説明する図であり、図６（ａ）は、一つの矩形５４０を正面から見た図を示しており、図６（ｂ）は、図６（ａ）の矩形５４０をカメラ３０の撮像方向から見た図を示している。図６に示すように、縦縞と横縞の交点５３０で形成される矩形５４０が正確な矩形であったとしても（図６（ａ）参照）、その矩形５４０をカメラ３０の撮像方向から見ると、見た目上矩形５４０の形状が変形する（図６（ｂ）参照）。この矩形５４０の変形具体は、矩形５４０の法線方向ｎ１に応じたものとされる。アフィン変換は、図６（ａ）の矩形５４０の形状を、図６（ｂ）の法線方向ｎ１の面に展開したときの形状に変換する手法である。つまり、アフィン変換の手法を用いることで、図６（ｂ）の矩形５４０の形状の変形具合を算出することができる。これを逆算すると、図６（ｂ）の矩形５４０の形状の変形具合に基づいてその矩形５４０の法線方向ｎ１を算出できることになる。図５に示す顔画像６０においては、図６（ｂ）の交点５３０は交点６３として表示され、図６（ｂ）の矩形５４０は矩形対応部分６４として表示されるので、その矩形対応部分６４の形状に対してアフィン変換をすることで、元の矩形５４０の法線方向ｎ１を算出できる。なお、Ｓ１４を実行する制御部１０が本発明の「法線方向算出手段」に相当する。

ここで、図７は、三次元モデルＤＢ４０に記憶されている顔モデル７０を模試的に示した図を示している。図７に示す顔モデル７０は三次元モデルであるので、顔モデル７０の各部位の法線方向ｎ２は各部位に応じた値となる。そこで、以降のＳ１５〜Ｓ１８では、Ｓ１４で算出した各矩形５４０の法線方向ｎ１と、顔モデル７０の各部位の法線方向ｎ２との誤差Δｎが最小となるように、顔モデル７０の三次元パラメータＰを決定する。本実施形態では、最小二乗法を利用して顔モデル７０の三次元パラメータＰを決定している。なお、三次元パラメータＰの詳細は後述する。

具体的には、先ず、三次元モデルＤＢ４０を参照して、現時点の顔モデル７０の三次元パラメータＰ（ｉ）における上記誤差Δｎを算出する（Ｓ１５）。その誤差Δｎとして、以下の（式１）に示すように、各法線方向ｎ１、ｎ２の残差の二乗和を算出する。なお、顔画像６０から得られる部位（矩形５４０の数）は有限であるので、隣接する複数の矩形５４０の法線方向ｎ１を線形補間することで、それら二つの法線方向ｎ１間の法線方向ｎ１も求めることができる。本実施形態では、その線形補間して求めた法線方向ｎ１も用いて誤差Δｎを算出する。これによって、精度の良い誤差Δｎを算出できる。なお、Ｓ１５を実行する制御部１０が本発明の「誤差算出手段」に相当する。
Δｎ＝Σ（ｎ１−ｎ２）^２ ・・・（式１）

次いで、Ｓ１５で算出した誤差Δｎが所定の閾値Δｎ０未満であるか否かを判断する（Ｓ１６）。その閾値Δｎ０は、誤差Δｎが最小であるとみなせる程度に小さい値に設定されている。誤差Δｎが閾値Δｎ０より大きい場合には（Ｓ１６：Ｎｏ）、処理をＳ１７に進める。Ｓ１７では、誤差Δｎが小さくなるように、顔モデル７０の三次元パラメータＰを変更する。具体的には、現時点の三次元パラメータＰ（ｉ）からの変更量ΔＰを誤差Δｎに基づいて決定する。そして、以下の（式２）に示すように、現時点の三次元パラメータＰ（ｉ）にその変更量ΔＰを加算することで、次の時点の三次元パラメータＰ（ｉ＋１）を決定する。
Ｐ（ｉ＋１）＝Ｐ（ｉ）＋ΔＰ ・・・（式２）

顔モデル７０の三次元パラメータＰとして、顔モデル７０の顔向き（角度）がある。図７に示すように、顔モデル７０の上下方向の軸Ｌ１回りの角度θ１をヨー角、顔モデル７０の左右方向の軸Ｌ２回りの角度θ２をピッチ角、顔モデル７０の前後方向の軸Ｌ３回りの角度θ３をロール角としたときに、それらヨー角θ１、ピッチ角θ２及びロール角θ３を顔モデル７０の顔向きを示した三次元パラメータＰとする。この場合には、Ｓ１７では、顔モデル７０の顔向き（ヨー角θ１、ピッチ角θ２、ロール角θ３）が変更されることになる。

また、顔モデル７０の三次元パラメータＰとして、顔モデル７０のスケール（大きさ）がある。顔画像６０のスケール（運転者の顔ｆの大きさ）と顔モデル７０のスケールとが大きく異なると、Ｓ１５にて誤差Δｎを正確に算出できなくなってしまうので、それらスケールを同じにするのが好ましい。そこで、Ｓ１７では、三次元パラメータＰとしての顔モデル７０のスケールを変更して、顔モデル７０のスケールを顔画像６０のスケールに近づけるようにする。これによって、運転者の顔ｆの大きさや、運転者の顔ｆとカメラ３０との距離にかかわらず、誤差Δｎを正確に算出できる。

また、顔モデル７０の三次元パラメータＰとして、顔モデル７０の重心Ｇ（図７参照）の位置がある。上記のスケールの場合と同様に、顔画像６０の重心位置と顔モデル７０の重心Ｇの位置とを同じにするのが好ましい。そこで、Ｓ１７では、三次元パラメータＰとしての顔モデル７０の重心Ｇの位置を変更して、顔モデル７０の重心Ｇの位置を顔画像６０の重心位置に近づけるようにする。これによって、運転者の顔ｆがカメラ３０の撮像範囲のどの位置にあるとしても誤差Δｎを正確に算出できる。

その他、顔モデル７０の口や目等の各部位の形状を、顔モデル７０の三次元パラメータＰとして変更するようにしてもよい。具体的には、例えば、それぞれ口の開き度合いが異なる複数の口の形状を予め用意しておく。そして、顔画像６０に含まれる口の形状に近づくように、用意された複数の口の形状間で顔モデル７０の口の形状を変更していく。口以外の部位（目など）の形状も、口の形状と同様の方法で変更することができる。これによって、より一層、誤差Δｎを正確に算出でき、かつ、部位の動きを検出することが可能になる。

なお、運転者の顔ｆが車両前方に真正面を向いている状態を予め定め、その状態における顔向きを例えばヨー角θ１＝０°、ピッチ角θ２＝０°、ロール角θ３＝０°として、Ｓ１７では顔モデル７０の三次元パラメータＰを決定する。なお、Ｓ１６及びＳ１７を実行する制御部１０が本発明の「顔モデル変化手段」に相当する。

Ｓ１７で三次元パラメータＰを変更した後、その変更後の顔モデル７０の法線方向ｎ２と矩形５４０の法線方向ｎ１との誤差Δｎを再度算出し（Ｓ１５）、その誤差Δｎが閾値Δｎ０未満であるか否かを再度判断する（Ｓ１６）。つまり、誤差Δｎが閾値Δｎ０未満になるまで、Ｓ１５〜Ｓ１７の処理が繰り返され、顔モデル７０の三次元パラメータＰが最小二乗法で反復的に更新されていくことになる。そして、Ｓ１７で、誤差Δｎが閾値Δｎ０未満となった場合には（Ｓ１６：Ｙｅｓ）、処理をＳ１８に進める。そして、顔モデル７０の最新の顔向き（ヨー角θ１、ピッチ角θ２、ロール角θ３）を、運転者の顔ｆの顔向きとして決定する（Ｓ１８）。なお、Ｓ１５〜Ｓ１８を実行する制御部１０が本発明の「顔向き決定手段」に相当する。その後、図４のフローチャートの処理を終了する。

図４の処理によって運転者の顔向きを決定した後は、制御部１０は、その顔向きに基づいて、例えば運転者が車両前方を見ているか否かを判断し、車両前方を見ていない場合には警告をする。なお、顔向きを決定した後の処理は本発明と直接には関係ないので、詳細な説明は省略する。

以上説明したように、本実施形態の顔向き検出装置１では、運転者の顔ｆに照射された光５０の矩形５４０の法線方向ｎ１を算出することで、運転者の顔ｆの三次元形状を算出できる。そして、運転者の顔ｆの三次元形状に基づいて、運転者の顔向きを検出しているので、精度良くその検出をすることができる。また、顔モデル７０の三次元パラメータＰを最小二乗法で反復的に更新しているので、運転者の顔ｆ（矩形５４０）の法線方向ｎ１との誤差Δｎが最小となる三次元パラメータＰを精度良く算出できる。つまり、精度良く顔向きを検出できる。

（第二実施形態）
次に、本発明に係る顔向き検出装置の第二実施形態について第一実施形態と異なる部分を中心にして説明する。ここで、図８は、第二実施形態に係る顔向き検出装置２の概略構成を示したブロック図である。なお、図８において、第一実施形態と変更がない部分に同一符号を付している。図８に示すように、顔向き検出装置２は、第一実施形態の顔向き検出装置１（図１参照）と比べて、制御部１１、照明部２５及びモータ８０が異なっていて、その他は同じとされる。図９は、照明部２５の外観斜視図を示している。なお、図９（ａ）及び図９（ｂ）はどちらも同一の照明部２５を示しているが、図９（ａ）と図９（ｂ）とでは回折素子２５３に形成された格子パターン２５３ａの向きが異なっている。具体的には、図９（ａ）は格子パターン２５３ａが縦になっている状態を示しており、図９（ｂ）は格子パターン２５３ａが横になっている状態を示している。

図９に示すように、照明部２５は、第一実施形態のそれと同様の形状及び位置に設けられた筐体２５１、ＬＥＤ２５２及び回折素子２５３から構成される。ただし、照明部２５は、縦縞用照明部と横縞用照明部に分かれておらず、モータ８０（図８参照）によって、円筒状の筐体２５１の軸回り（図９の矢印Ｑの方向）に回転されるようになっている。そのモータ８０は、照明部２５の筐体２５１に接続されており、制御部１０からの指示に基づいて、筐体２５１を図９の矢印Ｑの方向に回転させるものである。より具体的には、図９（ａ）の状態と図９（ｂ）の状態のいずれか一方となるように、モータ８０は筐体２５１を回転させる。このように、本実施形態は、一つの照明部２５を回転させることで、縦縞模様の光と横縞模様の光を時分割して、運転者の顔に照射する実施形態とされる。なお、照明部２５が本発明の「照射手段」に相当する。

制御部１１は、第一実施形態の制御部１０と同様に、顔向き検出処理を実行するものであるが、その顔向き検出処理の内容が第一実施形態のそれと異なっている。ここで、図１０は、本実施形態の顔向き検出処理の手順を示したフローチャートである。なお、図１０では、図４のフローチャートの処理と変更がない処理には同一符号を付している。先ず、照明部２５が図９（ａ）、（ｂ）のいずれか一方の状態のときに、ＬＥＤ２５２を点灯させる（Ｓ２１）。なお、ここでは、照明部２５は図９（ａ）の状態であるとする。この場合、図３に示す縦縞５１０ａの光が、運転者の顔ｆに照射されることになる。次いで、運転者の顔ｆに縦縞５１０ａの光が照射された状態で、カメラ３０で顔ｆを撮像する（Ｓ２２）。

次いで、モータ８０を駆動させて、照明部２５（回折素子２５３）を９０度回転させる（Ｓ２３）。つまり、照明部２５を図９（ｂ）の状態にさせる。この場合、図３に示す横縞５２０ａの光が、運転者の顔ｆに照射されることになる。なお、モータ８０及びＳ２３を実行する制御部１１が本発明の「第一の回転手段」に相当する。次いで、運転者の顔ｆに横縞５２０ａが照射された状態で、カメラ３０で顔ｆを撮像する（Ｓ２４）。なお、Ｓ２２の撮像とＳ２４の撮像との間隔は、カメラ３０で連続撮像するときのフレーム間隔と同じとする。つまり、Ｓ２２で撮像した後、カメラ３０が次のフレームの撮像をするときまでに、Ｓ２３で照明部２５を回転させる。

次いで、Ｓ２２で撮像した顔画像とＳ２４で撮像した顔画像とを、交差する縦縞５１０ａ及び横縞５２０ａから構成された縞模様の光５０（図３参照）が照射された顔画像（ユーザ顔画像）として取得する（Ｓ２５）。具体的には、Ｓ２２で撮像した顔画像に含まれる縦縞５１０ａに対応する縦縞画像（図５の縦縞画像６１に相当する画像）と、Ｓ２４で撮像した顔画像に含まれる横縞５２０ａに対応する横縞画像（図５の横縞画像６２に相当する画像）との交点を求めることができるように、それら顔画像を平均して、一つの顔画像にする。すなわち、Ｓ２５では、図５の顔画像６０と同等の顔画像を取得することになる。その後、第一実施形態と同じ処理を実行して、運転者の顔向きを検出する（Ｓ１３〜Ｓ１８）。なお、カメラ３０並びにＳ２２、Ｓ２４及びＳ２５の処理を実行する制御部１１が本発明の「画像取得手段」に相当する。

このように、本実施形態では、複数の照明部を設けなくても、運転者の顔向きを精度良く検出できる。

（変形例１）
上記第二実施形態では、ＬＥＤ２５２及び回折素子２５３は同一の筐体２５１に収容され、その筐体２５１が回転されることで、回折素子２５３のみならずＬＥＤ２５２も回転されていたが、図１１に示す照明部２６を採用してもよい。この図１１は、変形例１に係る照明部２６の外観斜視図であり、図１１（ａ）は格子パターン２５３ａが縦になっている状態を示しており、図１１（ｂ）は格子パターン２５３ａが横になっている状態を示している。なお、図１１では、図９の照明部２５の変更がない部分には同一符号を付している。図１１に示す照明部２６では、ＬＥＤ２５２が収容される筐体２６１と回折素子２５３が収容される筐体２６２とが分離されている。図８に示すモータ８０は、回折素子２５３が収容される筐体２６２に接続されている。その筐体２６２は、モータ８０によって、図１１の矢印Ｑの方向に回転されて、図１１（ａ）の状態と図１１（ｂ）の状態のいずれか一方に切り替わるようになっている。これによっても第二実施形態と同じ作用効果を得ることができる。なお、照明部２６が本発明の「照射手段」に相当する。

（変形例２）
上記第二実施形態では、照明部からの光の縦縞及び横縞の方向は、運転者の顔向きにかかわらず固定としていたが、光の縦縞及び横縞の方向を運転者の顔向きに追従させてもよい。ここで、図１２は、この変形例２に係る図８の制御部１１が実行する顔向き検出処理を示したフローチャートである。なお、図１２では、図１０の処理と変更がない処理には同一符号を付している。図１２の顔向き検出処理は、図１０のそれと比べて、Ｓ１８の処理の後にＳ２６の処理が追加されている点が異なっており、その他は同じとされる。つまり、Ｓ１８で運転者の顔向きを検出した後、Ｓ２６の処理を実行する。そのＳ２６では、モータ８０（図８参照）を駆動させて、Ｓ１８で検出した顔向きのうちのロール角θ３と同じ角度だけ照明部２５（図８、図９参照）を回転させる（Ｓ２６）。その後、Ｓ２１の処理に戻る。なお、モータ８０及びＳ２６を実行する制御部１１が本発明の「第二の回転手段」に相当する。

これによって、次にＳ２１以下の処理を実行するときに、図１３に示すように、光５０の縦縞５１０ａ及び横縞５２０ａを運転者の顔向き（ロール角θ３）に追従させることができる。つまり、運転者の顔向きにかかわらず、光５０の縦縞５１０ａを常に運転者の顔ｆの上下方向と同じ方向に、光５０の横縞５２０ａを常に運転者の顔ｆの左右方向と同じ方向に照射することができる。その結果、各縞５１０ａ、５２０ａの交点が常に同一部位（目、鼻、口など）を指す可能性が高くなるので、各回の顔向きの検出を安定させることができる。

なお、本発明に係る顔向き検出装置は上記実施形態に限定されるものではなく、特許請求の範囲の記載を逸脱しない限度で、各種変形をすることができる。例えば、上記実施形態では、一方向の干渉縞となるように光を回折させる回折素子を採用した例について説明したが、一つの回折素子で、同時に、交差する縦縞及び横縞の縞模様となるように干渉させることができるのであれば、第一実施形態のように複数の照明部（縦縞用照明部、横縞用照明部）を設けなくても良く、また、第二実施形態のように照明部をモータで回転させなくても良い。また、上記実施形態では車両の運転者の顔向きを検出する例について説明したが、他のユーザの顔向き検出にも本発明を適用することができる。

１、２ 顔向き検出装置
１０、１１ 制御部
２０、２５、２６ 照明部（照射手段）
２１ 縦縞用照明部（縦縞用照射手段）
２２ 横縞用照明部（横縞用照射手段）
２１１、２２１、２５１、２６１、２６２ 筐体
２１２、２２２、２５２ ＬＥＤ（光源）
２１３、２２３、２５３ 回折素子
２１３ａ、２２３ａ、２５３ａ 格子パターン
３０ カメラ
４０ 三次元モデルＤＢ（顔モデル記憶手段）
５０ 縞模様の光
５１ａ、５１０ａ 縦縞
５２ａ、５２０ａ 横縞
５３、５３０ 交点
５４、５４０ 矩形
６０ 顔画像（ユーザ顔画像）
６１ 縦縞画像
６２ 横縞画像
６３ 交点
６４ 矩形対応部分
７０ 顔モデル
８０ モータ

Claims (8)

1. 交差する縦縞及び横縞から構成された縞模様の光をユーザの顔に照射する照射手段と、
   前記縞模様の光が照射されたユーザの顔の画像であるユーザ顔画像を取得する画像取得手段と、
   その画像取得手段が取得した前記ユーザ顔画像から、前記縞模様の最小単位を構成する矩形に対応する矩形対応部分をそれぞれ特定する矩形特定手段と、
   その矩形特定手段が特定した前記矩形対応部分ごとに、前記矩形対応部分の形状に基づいて前記矩形の法線方向を算出する法線方向算出手段と、
   その法線方向算出手段が算出した各矩形の法線方向に基づいて前記ユーザの顔向きを決定する顔向き決定手段と、を備えることを特徴とする顔向き検出装置。
2. 人の顔の三次元モデルである顔モデルが記憶された顔モデル記憶手段を備え、
   前記顔向き決定手段は、前記矩形の法線方向のそれぞれと前記顔モデルの各部分の法線方向のそれぞれとの誤差を算出する誤差算出手段と、
   その誤差算出手段が算出した前記誤差が最小となるように、前記顔モデルの顔向きを変化させる顔モデル変化手段と、を含み、
   前記顔向き決定手段は、前記顔モデル変化手段が変化させた前記顔モデルの顔向きを前記ユーザの顔向きとして決定することを特徴とする請求項１に記載の顔向き検出装置。
3. 前記顔モデル変化手段は、前記顔モデルの顔向きとして、前記顔モデルの上下方向の軸回りの角度であるヨー角、前記顔モデルの左右方向の軸回りの角度であるピッチ角及び前記顔モデルの前後方向の軸回りの角度であるロール角を変化させることを特徴とする請求項２に記載の顔向き検出装置。
4. 前記顔モデル変化手段は、前記顔モデルの顔向きに加え、前記ユーザ顔画像で示される前記ユーザの顔の大きさに近づける方向に、前記顔モデルの大きさを変化させることを特徴とする請求項２又は３に記載の顔向き検出装置。
5. 前記顔モデル変化手段は、前記顔モデルの顔向きに加え、前記ユーザ顔画像で示される前記ユーザの顔の重心位置に近づける方向に、前記顔モデルの重心位置を変化させることを特徴とする請求項２〜４のいずれか１項に記載の顔向き検出装置。
6. 前記照射手段は、
   縦縞模様の光を前記ユーザの顔に照射する縦縞用照射手段と、
   前記縦縞模様に交差する横縞模様の光を前記ユーザの顔に照射する横縞用照射手段と、を含むことを特徴とする請求項１〜５のいずれか１項に記載の顔向き検出装置。
7. 前記照射手段は、
   光を照射する光源と、
   その光源からの光が入射され、その光を一方向の縞模様の光となるように回折させて前記ユーザの顔に照射させる回折素子と、
   前記ユーザの顔に照射された光の縞模様が縦縞模様と横縞模様の間で変化するように前記回折素子を回転させる第一の回転手段と、を含み、
   前記画像取得手段は、前記縦縞模様の光が照射された前記ユーザの顔の画像及び前記横縞模様の光が照射された前記ユーザの顔の画像を、前記ユーザ顔画像として取得することを特徴とする請求項１〜５のいずれか１項に記載の顔向き検出装置。
8. 前記顔向き決定手段が前回に決定した前記ユーザの顔向きと同じ角度だけ前記照射手段による前記縞模様の光を回転させる第二の回転手段を備えることを特徴とする請求項１〜７のいずれか１項に記載の顔向き検出装置。

Images