JP2007265367A

JP2007265367A - 視線検出方法および装置ならびにプログラム

Info

Publication number: JP2007265367A
Application number: JP2006093391A
Authority: JP
Inventors: Takaharu Hisanaga; 隆治久永
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-03-30
Filing date: 2006-03-30
Publication date: 2007-10-11
Also published as: US20070230797A1

Abstract

【課題】全体画像内の顔の視線の検出を効率よく行う。
【解決手段】顔検出手段１０において全体画像Ｐの中から顔画像ＦＰが検出される。次に、特徴点抽出手段２０により検出された顔画像ＦＰから複数の目特徴点ＥＣＰおよび顔特徴点ＦＣＰが抽出される。その後、特徴量生成手段３０において抽出した各特徴点ＥＣＰ、ＦＣＰから目特徴量ＥＦおよび顔特徴量ＦＦが生成され、これらをベクトル成分とする特徴ベクトルＣＢが生成される。そして、視線検出手段４０において、生成された特徴ベクトルＣＢを用いて視線の向きの検出が行われる。
【選択図】図１

Description

本発明は、画像中の人物の視線の向きを検出する視線検出方法および装置ならびにプログラムに関するものである。

従来、自動車の運転手の視線を検出することにより自動車制御を行う、もしくは被写体の視線を検出することにより撮影した画像の取捨選択を行う等、人間の視線を用いた各種技術が提案されており、これらの方法を実現するために人間の視線を検出する方法が研究されている。視線を検出する一例として赤外線照射装置や頭部固定カメラ等を用いて人物の目を撮影することにより瞳の位置を検出し視線を特定する方法がある。

一方、上述した視線検出用の装置を用いることなく画像処理によって人物被写体の視線を検出する方法が提案されている。画像処理による視線検出の方法として、虹彩あるいは瞳孔中心位置を検出し視線を検出する方法がある（たとえば非特許文献１参照）。非特許文献１においては、まず顔の輪郭の検出し顔向きを検出する一方、瞳の輪郭や瞳の中心の位置等から目の向いている方向を検出する。そして、顔の向きと目の向きとの関係から視線の向きを検出するようになっている。
"Passive Driver Gaze Tracking with Active Appearance Models", Takahiro Ishikawa, Simon Baker, Iain Matthews and Takeo Kanade, CMU-RI-TR-04-08

しかし、非特許文献１のように、顔の向きの検出と目の向きの検出とを別々に行った場合、顔の向きの計算と目の向きの計算がそれぞれ必要になり、計算量が多くなり視線検出に時間が掛かってしまうという問題がある。

そこで、本発明は、効率的に視線の向きを検出することができる視線検出方法および装置ならびにプログラムを提供することを目的とするものである。

本発明の視線検出方法は、全体画像の中から顔画像を検出し、検出した顔画像の目から複数の目特徴点を抽出するとともに、顔画像の顔を構成する部位から複数の顔特徴点を抽出し、抽出した複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成し、生成した目特徴量と顔特徴量とを用いて視線の向きを検出することを特徴とするものである。

本発明の視線検出装置は、全体画像の中から顔画像を検出する顔検出手段と、顔検出手段により検出された顔画像の目から複数の目特徴点を抽出するとともに、顔を構成する部位から複数の顔特徴点を抽出する特徴点抽出手段と、特徴点抽出手段により抽出された複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成する特徴量生成手段と、特徴量生成手段により生成された目特徴量と顔特徴量とを用いて視線の向きを検出する視線検出手段とを有することを特徴とするものである。

本発明の視線検出プログラムは、コンピュータに、全体画像の中から顔画像を検出し、検出した顔画像の目から複数の目特徴点を抽出するとともに、顔画像の顔を構成する部位から複数の顔特徴点を抽出し、抽出した複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成し、生成した目特徴量と顔特徴量とを用いて視線の向きを検出することを実行させることを特徴とするものである。

ここで、「顔画像を構成する部位」とは、たとえば目、鼻、唇、耳、顔の輪郭等の顔の構成要素を意味し、１つであってもよいし複数であってもよい。よって、顔特徴点はたとえば顔特徴点は鼻および唇から抽出したものであってもよい。また、目特徴点は顔画像の目から抽出したものであれば良く、たとえば目特徴点は瞳の端部および目の外周から抽出したものであってよい。

特徴点抽出手段は、特徴点を検出するものであればその手法は問わず、たとえばパターンマッチングやアダブースティングアルゴリズムもしくはＳＶＭ（support Vector Machine）アルゴリズム等を用いて特徴点を検出するようにしてもよい。

なお、特徴量生成手段は、特徴点を用いてそれぞれ顔特徴量および目特徴量を算出するものであればよく、たとえば複数の目特徴点間の距離をそれぞれ算出し、算出した距離の比を目特徴量として生成するものであってもよい。さらに、特徴量生成手段は、複数の顔特徴点間の距離をそれぞれ算出し、算出した距離の比を顔特徴量として生成するものであってもよい。

また、視線検出手段は、顔特徴量と目特徴量との双方を用いて視線を検出するものであればその手法を問わず、たとえば、生成した目特徴量と顔特徴量とをベクトル成分とする特徴ベクトルを生成し、たとえばＳＶＭアルゴリズムやニューラルネットワーク等によりパターン分類することにより視線の向きを検出するものであってもよい。このとき、視線検出手段は、視線が正面を向いているクラスとそれ以外にあるクラスとを判別するように機械学習されたものであり、特徴ベクトルを用いたパターン分類を行うことにより視線の向きを検出するものであってもよい。

また、顔検出手段は、いかなる顔の検出方法も用いることができ、たとえば全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器とを備えたものであってもよい。

なお、顔検出手段は、全体画像から正面顔のみを検出するものであってもよいし、正面顔と横顔と斜め顔とを検出する機能を有するものであってもよい。このとき、視線検出手段は顔検出手段により検出された正面顔、横顔、斜め顔に対応した複数の視線検出器を備えたものであってもよい。

本発明の視線検出方法および装置ならびにプログラムによれば、全体画像の中から顔画像を検出し、検出した顔画像の目から複数の目特徴点を抽出するとともに、顔画像の顔を構成する部位から複数の顔特徴点を抽出し、抽出した複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成し、生成した目特徴量と顔特徴量とを用いて視線の向きを検出することにより、顔の向きと目の向きとを別々に検出することなく視線の向きを検出することができるため、効率的に視線の向きの検出を行うことができる。

なお、視線検出手段が、生成した目特徴量と顔特徴量とをベクトル成分とする特徴ベクトルを生成し、特徴ベクトルを用いてパターン分類することにより視線の向きを検出するものであるとき、効率的に視線の向きの検出を行うことができる。

さらに、視線検出手段が、特徴ベクトルを用いて視線が正面を向いているクラスとそれ以外にあるクラスとにパターン分類するように機械学習されたものであれば、視線が正面を向いている顔画像を正確にパターン分類することができる。

また、特徴量生成手段が、複数の目特徴点間の距離をそれぞれ算出し、算出した距離の比を目特徴量として生成するものであり、複数の顔特徴点間の距離をそれぞれ算出し、算出した距離の比を顔特徴量として生成するものであれば、目の位置や顔を構成する部位の位置等の個人差によるズレをなくし、視線検出の汎用性を高めることができる。

また、顔検出手段が、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。

また、目特徴点が瞳の端部および目の外周から抽出したものからなり、顔特徴点が鼻および唇から抽出したものからなるものであれば、目の向きおよび顔の向きを確実に検出することができる。

また、顔検出手段が正面顔と横顔と斜め顔とにそれぞれ対応した複数の顔判別器を備えたものであり、視線検出手段が顔検出手段により検出された正面顔と横顔と斜め顔とにそれぞれ対応した複数設けられたものであれば、様々な顔向きに対して視線の検出を行うことができる。

以下、図面を参照して本発明の視線検出装置の好ましい実施の形態を詳細に説明する。なお、図１のような視線検出装置１の構成は、補助記憶装置に読み込まれた視線検出プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この視線検出プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

視線検出装置１は、正面顔の視線の向きを検出するものであって、全体画像Ｐの中から顔画像ＦＰを検出する顔検出手段１０と、顔画像ＦＰから複数の目特徴点ＥＣＰと複数の顔特徴点ＦＣＰとを抽出する特徴点抽出手段２０と、複数の目特徴点ＥＣＰを用いて目の向きを示す目特徴量ＥＦを生成するとともに、複数の顔特徴点ＦＣＰを用いて顔の向きを示す顔特徴量ＦＦを生成する特徴量生成手段３０と、生成された目特徴量ＥＦと顔特徴量ＦＦとを用いて視線の向きを検出する視線検出手段４０とを有している。

顔検出手段１０は、たとえばデジタルカメラ２等において取得された全体画像Ｐの中から顔を判別し、判別した顔を顔画像ＦＰとして抽出する機能を有している。顔検出手段１０は、図２に示すように、全体画像Ｐ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰにおいて、顔である部分画像を検出する顔判別器１２とを有している。

なお、部分画像生成手段１１に入力される全体画像Ｐは前処理手段１０ａにより前処理が施されている。前処理手段１０ａは、全体画像Ｐに対し図３（Ａ）〜（Ｄ）に示すように、全体画像Ｐを多重解像度化して解像度の異なる複数の全体画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有している。さらに、前処理手段１０ａは、生成した複数の全体画像Ｐに対して、局所的な領域におけるコントラストのばらつきを抑制し全体画像Ｐの全領域においてコントラストを所定レベルに揃える正規化（以下、局所正規化という）を施す機能を有している。

部分画像生成手段１１は、図３（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷを全体画像Ｐ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。なお、部分画像生成手段１１は、図３（Ｂ）〜（Ｄ）に示すように、生成された低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。このように、低解像度画像からも部分画像ＰＰを生成することにより、全体画像ＰにおいてサブウィンドウＷ内に顔もしくは顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、検出を確実に行うことができる。

図２の顔判別器１２は、部分画像ＰＰが顔であるか非顔かの２値判別を行う機能を有し、たとえばアダブースティングアルゴリズム（ＡｄａｂｏｏｓｔｉｎｇＡｌｇｏｒｉｔｈｍ）により学習されたものであって、複数の弱判別器ＣＦ_１〜ＣＦ_Ｍ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ_１〜ＣＦ_Ｍはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を備える。そして、顔判別器１２は弱判別器ＣＦ_１〜ＣＦ_Ｍおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。

具体的には、各弱判別器ＣＦ_１〜ＣＦ_Ｍは図４に示すように部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおける輝度値等を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおける輝度値等をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせた輝度の差分を特徴量ｘとする。各弱判別器ＣＦ_１〜ＣＦ_Ｍ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ_１では座標Ｐ１ａ、Ｐ１ｃにおける輝度の差分を特徴量として用い、弱判別器ＣＦ_２では座標Ｐ２ａ、Ｐ２ｂにおける輝度の差分を特徴量として用いるようになっている。

なお、各弱判別器ＣＦ_１〜ＣＦ_Ｍがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ_１〜ＣＦ_Ｍに入力するようにしてもよい。さらに、輝度値を用いた場合について例示しているが、コントラスト、エッジ等の情報を用いるようにしても良い。

各弱判別器ＣＦ_１〜ＣＦ_Ｍは図５に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ_１（ｘ）〜ｆ_Ｍ（ｘ）を出力する。さらに、各弱判別器ＣＦ_１〜ＣＦ_Ｍは判別性能を示す信頼度β_１〜β_Ｍを有している。各弱判別器ＣＦ_１〜ＣＦ_Ｍは、スコアｆ_１（ｘ）〜ｆ_Ｍ（ｘ）と信頼度β_１〜β_Ｍとを用いて判定スコアβ_ｍ・ｆ_ｍ（ｘ）を算出するようになっている。そして、各弱判別器ＣＦ_ｍの判定スコアβ_ｍ・ｆ_ｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを判断し、設定しきい値以上であるときに顔であると判別する（β_ｍ・ｆ_ｍ（ｘ）≧Ｓｒｅｆ）。

ここで、顔判別器１２の各弱判別器ＣＦ_１〜ＣＦ_Ｍはカスケード構造を有しており、各弱判別器ＣＦ_１〜ＣＦ_Ｍのすべてが顔であると判別した部分画像ＰＰのみを顔画像ＦＰとして出力するようになっている。つまり、弱判別器ＣＦ_ｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦ_ｍ＋１による判別を行い、弱判別器ＣＦ_ｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦ_ｍ＋１による判別は行わない。これにより、下流側の弱判別器において判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。なお、カスケード構造を有する判別器の詳細は、Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月に開示されている。

なお、各弱判別器ＣＦ_１〜ＣＦ_Ｍから出力された判定スコアＳ_１〜Ｓ_Ｍをそれぞれ個別に判定スコアしきい値Ｓｒｅｆ以上であるか否かを判断するのではなく、弱判別器ＣＦ_ｍにおいて判別を行う際、弱判別器ＣＦ_ｍの上流側の弱判別器ＣＦ_１〜ＣＦ_ｍ−１での判定スコアの和Σ_ｒ=1 ^ｍβ_ｒ・ｆ_ｒが判定スコアしきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い（Σ_ｒ=1 ^ｍβ_ｒ・ｆ_ｒ（ｘ）≧Ｓ１ｒｅｆ）。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。

また、顔検出手段１０はアダブースティングアルゴリズムを用いて顔を検出する場合について例示しているが、公知のＳＶＭ（Support Vector Machine）アルゴリズムを用いて下を検出するものであっても良い。

図１の特徴点抽出手段２０は、顔検出手段１０により検出された顔画像ＦＰから目特徴点ＥＣＰおよび顔特徴点ＦＣＰを抽出するものであって、たとえば特開平６−３４８８５１号公報に開示されている方法や、avid Cristinacce “A Multi-Stage Approach to Facial Feature Detection”, In Proc. of BMVC, Pages 231-240, 2004あるいは特願２００６−４５４９３号に開示されている方法等の技術を用いて特徴点を検出するものである。具体的には、特徴点抽出手段２０は、顔画像ＦＰから特徴点の候補となる特徴点候補を検出する特徴点候補判別器２１と、特徴点候補検出手段２１により検出された各特徴点候補が特徴点である確率を算出する確率算出手段２２と、確率算出手段２２により算出された確率を用いて特徴点を推定する特徴点推定手段２３とを有している。特徴点候補判別器２１は、図７に示すような略中心に特徴点を有するサンプル画像ＳＰを用いてＡｄａＢｏｏｓｔアルゴリズムにより学習されたものであり、上述した顔検出と同様の手法により特徴点候補Ｘｉを検出する。具体的には、顔画像ＦＰから部分顔画像を生成し、部分顔画像から特徴量を抽出し、この特徴量を用いて部分顔画像が特徴点を略中心に含むものであるか否かを判定する。そして、特徴点候補判別器２１は特徴点を略中心に含むと判定された部分顔画像が存在する顔画像ＦＰ上から特徴点候補Ｘｉを検出する。

確率算出手段２２はデータベース２２に記憶された存在確率分布を用いて各特徴点候補Ｘｉが特徴点である確率を算出する。具体的には、このデータベース２２ａにはたとえば図８（Ａ）に示すような右目尻を基準としたときの右口角の存在確率分布、図８（Ｂ）に示すような右目尻を基準としたときの右口角の存在確率分布、図８（Ｃ）に示すような右目尻を基準としたときの右口角の存在確率分布等が記憶されている。そして、確率算出手段２２は、それぞれの特徴点候補Ｘｉについて他のすべての特徴点候補Ｘｉから推測される存在確率の和（もしくは積）を算出する。そして、特徴点推定手段２３は、算出された存在確率の和（もしくは積）に基づいて検出された確率の高い特徴点候補を特徴点として抽出する。すると、図９に示すように、顔画像ＦＰの目および顔を構成する部位（鼻、唇）から複数の目特徴点ＥＣＰ１〜ＥＣＰ１２および顔特徴点ＦＣＰ１〜ＦＣＰ４が抽出されることになる。

図１の特徴量生成手段３０は、目特徴点ＥＣＰ１〜ＥＣＰ１２を用いて目特徴量ＥＦを生成し、顔特徴点ＦＣＰ１〜ＦＣＰ４を用いて顔特徴量ＦＦを生成するようになっている。ここで、特徴量生成手段３０は各特徴点の距離の比を各特徴量として生成する。具体的には特徴量生成手段３０は、目尻ＥＣＰ１から瞳ＥＣＰ９までの距離（白眼の長さ）／目尻ＥＣＰ１から目頭ＥＣＰ２までの距離、目頭ＥＣＰ２から瞳ＥＣＰ１０までの距離（白眼の長さ）／目尻ＥＣＰ１から目頭ＥＣＰ２までの距離を右目の左右方向の向きを示す目特徴量として抽出する。また、特徴量生成手段３０は、目尻ＥＣＰ６から瞳ＥＣＰ１２までの距離（白眼の距離）／目尻ＥＣＰ６から目頭ＥＣＰ５までの距離、目頭ＥＣＰ５から瞳ＥＣＰ１１までの距離（白眼の距離）／目尻ＥＣＰ６から目頭ＥＣＰ５までの距離を左目の左右方向の向きを示す目特徴量として抽出する。さらに、上まぶたＥＣＰ３から下まぶたＥＣＰ４までの距離（白眼の距離）／目尻ＥＣＰ１から目頭ＥＣＰ２までの距離、上まぶたＥＣＰ７から下まぶたＥＣＰ８までの距離（白眼の距離）／目尻ＥＣＰ６から目頭ＥＣＰ５までの距離を右目および左目の上下方向の向きを示す目特徴量ＥＦとして生成する。

同時に、特徴量生成手段３０は、右目の目尻ＥＣＰ１から目頭ＥＣＰ２までの距離の中点と鼻頭ＦＣＰ１との距離／左目の目尻ＥＣＰ６から目頭ＥＣＰ５までの距離の中点と鼻頭ＦＣＰ１との距離、右口角ＦＣＰ２と唇中央ＦＣＰ４との距離／右口角ＦＣＰ３と唇中央ＦＣＰ４との距離を顔特徴量ＦＦとして生成する。以上、特徴量生成手段３０は６つの目特徴量ＥＦと２つの顔特徴量ＦＦとを生成する。目特徴量ＥＦおよび顔特徴量ＦＦとして距離の比を用いることにより、人物被写体の違いによる各特徴点の存在する位置のずれによる検出精度の低下を防止することができる。

視線検出手段４０は、ＳＶＭ（Support Vector Machine）アルゴリズムを用いて視線が正面（撮影装置２側）を向いているクラスと正面以外を向いているクラスとにパターン分類することにより視線を検出するようになっている。具体的には、視線検出手段４０は、複数の目特徴量ＥＦおよび複数の顔特徴量ＦＦをベクトル成分とする特徴ベクトルＣＢを生成し、この特徴ベクトルＣＢに対し２値の出力値を計算する。たとえば視線検出手段４０は、線形識別関数y(x)=sign(ω^Tx-h)（ω^Tはシナプス加重に対応するパラメータ、ｈは所定のしきい値）に特徴ベクトルＣＢを入力することにより、視線が正面を向いているか（y(x)=1）もしくは正面以外を向いているか（y(x)=-1）を出力するようになっている。なお、パラメータω^T、ｈは、視線検出手段４０が正面を向いているサンプル画像を用いて機械学習されることにより決定されたものである。視線検出手段４０は上述したＳＶＭアルゴリズムではなく、たとえばニューラルネットワーク等公知のパターン分類技術を用いて視線を検出するものであっても良い。

図１０は本発明の視線検出方法の好ましい実施の形態を示すフローチャートであり、図１から図１１を参照して視線検出方法について説明する。まず、顔検出手段１０において全体画像Ｐの中から顔画像ＦＰが検出される（ステップＳＴ１、図２〜図５参照）。次に、特徴点抽出手段２０により検出された顔画像ＦＰから複数の目特徴点ＥＣＰおよび顔特徴点ＦＣＰが抽出される（ステップＳＴ２、図６〜図９参照）。その後、特徴量生成手段３０において抽出した各特徴点ＥＣＰ、ＦＣＰから目特徴量ＥＦおよび顔特徴量ＦＦが生成される（ステップＳＴ３）。そして、視線検出手段４０において、生成された目特徴量ＥＦおよび顔特徴量ＦＦをベクトル成分とする後特徴ベクトルＣＢが生成され、視線の向きの検出が行われる（ステップＳＴ４）。

これにより、目特徴量ＥＦと顔特徴量ＦＦとの関係から視線の向きを検出することにより、効率的な視線検出を行うことが可能となる。すなわち、従来の視線検出においては、目の向きと顔の向きとをそれぞれ判別して両者の向きの関係から人物被写体がいずれの方向を見ているかを検出するようにしているため、目の向きの検出処理と顔の向きの検出処理が必要である。一方、上述した視線検出方法および装置１においては、目の向きと顔の向きとの相対的関係が判別できれば、目の向きおよび顔の向きがそれぞれ独立して検出されなくても視線を検出することができることに着目し、目の向きおよび顔の向きを判別することなく目特徴量ＥＦと顔特徴量ＦＦとの相対的関係により視線の検出を行うようにしている。よって、視線検出を行う際の計算量および計算時間を短縮することができるため、効率的な視線検出を行うことができる。

図１１は本発明の視線検出装置の別の実施の形態を示すブロック図である。なお、図１１の視線検出装置１００において、図１の視線検出装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。図１１の視線検出装置１００が図１の視線検出装置１と異なる点は、正面顔、横顔、斜め顔のそれぞれに対応した顔検出手段、特徴点検出手段、特徴量生成手段、特徴ベクトル生成手段および視線検出手段が設けられている点である。

各顔検出手段１１０ａ〜１１０ｃは上述した顔検出手段１０と同様の手法（図１参照）により各顔を検出するものであるが、検出すべき顔の向きに応じた学習が施された顔検出器を有している。この各顔検出手段１１０ａ〜１１０ｃによって、正面顔ＦＰ１、横顔ＦＰ２、斜め顔ＦＰ３が検出される。また、各特徴点抽出手段１２０ａ〜１２０ｃは正面顔ＦＰ１（図１２（Ａ）参照）、横顔ＦＰ２（図１２（Ｂ）参照）、斜め顔ＦＰ３（図１２（Ｃ）参照）において、それぞれ顔の各構成部位の形状（見え方）が異なるのに伴い、各顔向きにおいて異なるテンプレート画像ＴＰを用いるとともに、視線検出を行うのに好ましい顔画像ＦＰ１〜ＦＰ３の位置から特徴点の抽出を行うようになっている。

各特徴量生成手段１３０ａ〜１３０ｃは、上述した特徴量生成手段３０と同様の手法により（図１参照）、検出された特徴点を用いて目特徴量ＥＦおよび顔特徴量ＦＦを生成する。そして、各視線検出手段１４０ａ〜１４０ｃは複数の目特徴量ＥＦおよび複数の顔特徴量ＦＦをベクトル成分とする特徴ベクトルＣＢを生成し、特徴ベクトルＣＢを用いて上述した視線検出手段４０と同様の手法により視線を検出するようになっている。なお各視線検出手段１４０ａ〜１４０ｃは各顔向きにおいて視線が正面を向いているときの目特徴量ＥＦと顔特徴量ＦＦとの相対的関係をサンプルデータとして用い学習されている。

このように、正面顔ＦＰ１、横顔ＦＰ２、斜め顔ＦＰ３の各顔毎に顔検出、特徴点の抽出、特徴量の生成および視線の検出を行うことにより、各顔向きに対応した視線検出を行うことができるため、顔向きの異なる場合の視線の検出を効率的に精度良く行うことができる。つまり、たとえば視線が正面を向いている場合であっても、正面顔と斜め顔とでは、目における目尻・目頭と瞳の位置関係（目特徴点および目特徴量）が異なるとともに、目・鼻・唇の位置関係（顔特徴点および顔特徴量）が異なる。具体的には、視線の向きは顔の向きと視線の向きとの相対関係によって決定する。たとえば図１２（Ａ）のように視線が正面を向いている顔画像ＦＰを検出する場合、正面顔の場合には顔および目が撮影装置２のレンズ側を向いるものを検出すればよい。しかし、図１２（Ｃ）のように顔が右を向いている場合には目が顔の向きに対して左側（撮影装置２のレンズ側）を向いている顔画像ＦＰを検出する必要がある。そこで、各顔向きに合わせた各検出器を設けることにより、いずれの顔向きであって正確で効率的な視線の検出を行うことができる。

上記実施の形態によれば、生成した目特徴量ＥＦと顔特徴量ＦＦとを用いてパターン分類することにより視線の向きを検出することにより、顔の向きと目の向きとを別々に検出することなく視線の向きを検出することができるため、効率的に視線の向きの検出を行うことができる。

また、図１の特徴量生成手段３０が、複数の目特徴点ＥＦ間の距離をそれぞれ算出し、算出した距離の比を目特徴量として生成するものであり、複数の顔特徴点ＦＦ間の距離をそれぞれ算出し、算出した距離の比を顔特徴量として生成するものであれば、目の位置や顔を構成する部位の位置等の個人差によるズレをなくし、視線検出の汎用性を高めることができる。

さらに、図２の顔検出手段１０が、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段により生成された複数の部分画像ＰＰのうち顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて部分画像ＰＰが顔であるか否かを判別する顔判別器とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。

また、目特徴点ＥＣＰが瞳の端部および目の外周から抽出したものからなり、顔特徴点ＦＣＰが鼻および唇から抽出したものからなるものであれば、目の向きおよび顔の向きを確実に検出することができる。

さらに、視線検出手段４０が、視線が正面を向いているクラスとそれ以外にあるクラスとを判別するように機械学習されたものであり、特徴ベクトルを用いてパターン分類を行うことにより視線の向きを検出するものであるとき、視線の向きを精度良く検出することができる。

また、顔検出手段が正面顔と横顔と斜め顔とにそれぞれ対応した複数の顔判別器を備えたものであり、視線検出手段が顔検出手段により検出された正面顔と横顔と斜め顔とに対応して複数設けられているものであれば、様々な顔向きに対して視線の検出を行うことができる。

本発明の視線検出装置の好ましい実施の形態を示すブロック図図１の視線検出装置における顔検出手段の一例を示すブロック図図２の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図図２の弱判別器により部分画像から特徴量が抽出される様子を示す模式図図２の弱判別器が有するヒストグラムの一例を示すグラフ図図１の特徴点抽出手段の一例を示すブロック図図６の特徴点抽出手段においてテンプレートマッチングを行う様子を示す模式図図６の特徴点抽出手段においてテンプレート画像から特徴点を抽出する様子を示す模式図図６の特徴点抽出手段において特徴点が抽出された顔画像の一例を示す模式図本発明の視線検出方法の好ましい実施の形態を示すフローチャート本発明の対象検出装置の別の実施の形態を示すブロック図視線が正面を向いている正面顔と斜め顔との各特徴点および各特徴量の違いを示す模式図

符号の説明

１、１００視線検出装置
１０、１１０顔検出手段
２０、１２０特徴点抽出手段
３０、１３０特徴量生成手段
３５特徴ベクトル生成手段
４０、１４０視線検出手段
ＣＢ特徴ベクトル
ＥＦ目特徴量
ｆ_１スコア
ＦＣＰ顔特徴点
ＦＦ顔特徴量
ＦＰ顔画像

Claims

全体画像の中から顔画像を検出し、
検出した前記顔画像の目から複数の目特徴点を抽出するとともに、前記顔画像の顔を構成する部位から複数の顔特徴点を抽出し、
抽出した前記複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、前記複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成し、
生成した前記目特徴量と前記顔特徴量とを用いて視線の向きを検出する
ことを特徴とする視線検出方法。
全体画像の中から顔画像を検出する顔検出手段と、
該顔検出手段により検出された前記顔画像の目から複数の目特徴点を抽出するとともに、顔を構成する部位から複数の顔特徴点を抽出する特徴点抽出手段と、
該特徴点抽出手段により抽出された前記複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、前記複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成する特徴量生成手段と、
該特徴量生成手段により生成された前記目特徴量と前記顔特徴量とを用いて視線の向きを検出する視線検出手段と
を有することを特徴とする視線検出装置。
前記視線検出手段が、生成した前記目特徴量と前記顔特徴量とをベクトル成分とする特徴ベクトルを生成し、該特徴ベクトルを用いてパターン分類することにより視線の向きを検出するものであることを特徴とする請求項２記載の視線検出装置。
前記視線検出手段が、前記特徴ベクトルを視線が正面を向いているクラスとそれ以外にあるクラスとにパターン分類するように機械学習されたものであることを特徴とする請求項３記載の視線検出装置。
前記特徴量生成手段が、前記各目特徴点間の距離をそれぞれ算出し、算出した距離の比を前記目特徴量として生成するとともに、前記各顔特徴点間の距離をそれぞれ算出し、算出した距離の比を前記顔特徴量として生成するものであることを特徴とする請求項２から４のいずれか１項記載の視線検出装置。
前記目特徴点が目の瞳、目尻、目頭からそれぞれ抽出したものであり、前記顔特徴点が鼻および唇から抽出したものであることを特徴とする請求項２から５のいずれか１項記載の視線検出装置。
前記顔検出手段が、
前記画像もしくは前記全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、
該部分画像生成手段により生成された前記複数の部分画像のうち顔である該部分画像を判別する顔判別器と
を有し、
該顔判別器が、複数の弱判別器による複数の判別結果を用いて前記部分画像が顔であるか否かを判別するものであることを特徴とする請求項２から６のいずれか１項記載の視線検出装置。
前記顔検出手段が正面顔と横顔と斜め顔とにそれぞれ対応した複数の前記顔判別器を備えたものであり、視線検出手段が前記顔検出手段により検出された前記正面顔と横顔と斜め顔とにそれぞれ対応して複数複数設けられているものであることを特徴とする請求項７記載の視線検出装置。
コンピュータに、
検出した前記顔画像の目から複数の目特徴点を抽出するとともに、前記顔画像の顔を構成する部位から複数の顔特徴点を抽出し、
抽出した前記複数の目特徴点を用いて目の向きを示す目特徴量を生成するとともに、前記複数の顔特徴点を用いて顔の向きを示す顔特徴量を生成し、
生成した前記目特徴量と前記顔特徴量とをベクトル成分とする特徴ベクトルを生成し、
生成した特徴ベクトルを用いてパターン分類することにより視線の向きを検出する
ことを実行させるための視線検出プログラム。