JP2004094491A - Face orientation estimation device and method and its program - Google Patents
Face orientation estimation device and method and its program Download PDFInfo
- Publication number
- JP2004094491A JP2004094491A JP2002253328A JP2002253328A JP2004094491A JP 2004094491 A JP2004094491 A JP 2004094491A JP 2002253328 A JP2002253328 A JP 2002253328A JP 2002253328 A JP2002253328 A JP 2002253328A JP 2004094491 A JP2004094491 A JP 2004094491A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- face direction
- estimating
- estimating apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】
【発明の属する技術分野】
本発明は、入力された画像中の顔が向いている方向を推定する顔の向き推定装置およびその方法、並びに、顔の向き推定プログラム（以下、顔の向き推定方式と記載する）に関するものである。
【０００２】
【従来の技術】
従来、この種の技術として、特開２００１−２９１１０８号公報、特開平１１−２８１６６１号公報に記載の方式が知られている。特開２００１−２９１１０８号公報に記載の記載のブロック図を図２０に示す。この手法では、予め複数人の正面顔データを取得して平均顔を作成し、平均顔を３Ｄモデルに張り合わせて任意の角度回転させた画像を生成して、入力画像と最も相関度の高い角度の画像を決定することで入力画像の顔の向きを推定するように構成されている。
【０００３】
また、特開１１−２８１６６１号公報記載の手法では、肌色を抽出することで、両目および口の位置と顔幅を検出し、それらの位置関係から顔の向きを推定する。
【０００４】
【発明が解決しようとする課題】
これらの従来技術の第１の問題点は、正面方向など特殊な方向の特徴を利用することが困難で、全ての顔向き方向で同等の類似度計算を行う必要があることであり、顔向き方向の評価にテンプレートを生成する必要があることである。
【０００５】
その理由は、様々な顔向き方向のテンプレートとの類似度を比較することで入力画像の顔向きを推定するため、様々な顔向き画像での類似度の比較が必要なためであり、テンプレートは用いる顔データの人種（白人・黒人・黄色人種）による色や顔の形状の違いや、顔以外の領域（背景部分）の輝度などの影響を受けやすいことである。
【０００６】
本発明は、このような事情に鑑みてなされたもので、顔向き方向を精度よく検出する顔の向き推定方式を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明では以下の特徴により、上記の目的を達成している。
【０００８】
画像中の顔の向きを推定する顔向き推定装置において、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換手段と、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価手段とを備える。
【０００９】
また、前記顔向き推定装置において、顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、前記照明変動除去手段は、前記顔向き変換手段により作成された顔向き変換顔について照明変動の影響を除去した画像を生成し、前記特定方向顔向き評価手段は、前記照明変動の影響が除去された画像を用いて、顔の向きを推定することを特徴とする。
【００１０】
また、前記顔向き推定装置において、
顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、
前記照明変動除去手段は、
前記画像について照明変動の影響を除去した画像を生成し、
前記顔向き変換手段は、
前記照明変動除去手段で生成した画像中の顔の向きを変換する画像処理を施し、
顔向き変換顔を作成することを特徴とする。
【００１１】
また、前記顔向き推定装置において、前記特定方向顔向き判定手段は、複数の特定方向顔画像の平均を求めることにより特定方向平均顔を予め生成しておき、前記顔向き変換顔と上記特定方向平均顔との類似度により特定方向顔向き評価を行うことを特徴とする。
【００１２】
また、前記顔向き推定装置において、前記特定方向顔向き評価手段は、前記画像中の顔の向きを評価する方向として正面を用い、前記顔向き変換顔の正面顔らしさを評価する正面顔向き評価手段を備えたことを特徴とする。
【００１３】
また、前記顔向き推定装置において、前記正面顔向き評価手段は、前記特定方向顔向き評価手段が前記正面顔向き評価を顔向き変換顔の左右対称性の度合いにより正面向き評価することを特徴とする。
【００１４】
また、前記顔向き推定装置において、前記正面顔向き評価手段は、人物の正面顔の左右対称性の度合いを評価するために、前記特定方向顔向き評価手段が顔とその顔を左右反転した顔との類似度を計ることで正面顔評価を行うことを特徴とする。
【００１５】
また、前記顔向き推定装置において、前記特定方向顔向き評価手段は、前記画像中の顔の向きを評価する方向として真横を用い、前記顔向き変換顔の真横顔らしさを評価する真横顔向き評価手段を備えたことを特徴とする。
【００１６】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点の画像上の位置を用い、画像上の顔の向きを変更することを特徴とする。
【００１７】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点として両目、口の両端、鼻の左右の穴、両眉のうち、いずれか１つ、またはいずれかの組み合わせを用いることを特徴とする。
【００１８】
また、前記顔向き推定装置において、前記顔向き変換手段は、人物顔の特徴点として目、口の端、鼻の穴、眉のうち、いずれか１つ、またはいずれかの組み合わせを用いることを特徴とする。
【００１９】
また、前記顔向き推定装置において、前記顔向き変換手段は、人の顔の立体形状を記述した顔立体形状モデルに顔画像をマッピングし方向変換させることを特徴とする。
【００２０】
また、前記顔向き推定装置において、前記顔向き変換手段は、人の顔の立体形状モデルとして複数人の顔形状の平均として記述した顔立体形状モデルを用いることを特徴とする。
【００２１】
また、前記顔向き推定装置において、前記顔向き変換手段は、前記顔立体形状モデルとして楕円体を用いることを特徴とする。
【００２２】
また、前記顔向き推定装置において、前記顔向き変換手段は、画像上の顔の向き変更を顔領域のイメージ・ワーピングにより行うことを特徴とする。
【００２３】
また、前記顔向き変換手段において、画像上の顔の向きを変更するワーピング手段として予め学習画像により生成した変換パラメータを入力画像に適用することで顔向きを変更することを特徴とする。
【００２４】
また、前記顔向き推定装置において、前記顔向き推定方向をいくつかの特定方向カテゴリーとして出力することを特徴とする。
【００２５】
また、前記顔向き推定装置において、特定方向カテゴリーとして正面・上・下・右・右上・右下・左・左上・左下の９種類のうち、いずれか一種類またはその組み合わせを用いることを特徴とする。
【００２６】
また、前記顔向き推定装置において、前記特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとして出力することを特徴とする。
【００２７】
さらに、本願発明は、画像中の顔の向きを推定する顔向き推定方法において、画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
を含むことを特徴とする。
【００２８】
さらに、本願発明は、画像中の顔の向きを推定する顔向き推定プログラムにおいて、
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
をコンピュータに実行させることを特徴とする。
【００２９】
【発明の実施の形態】
以下、本発明の一実施形態による顔向き推定装置を図面を参照して説明する。
【００３０】
まず、本発明における顔向き推定の原理を説明する。
【００３１】
なお、顔の向きを表す方向の尺度として、カメラ等の撮像媒体に対して被撮影者から見て右を向いている場合は＋で、左側を向いている場合は−、上を向いている場合は＋、下を向いている場合は−の角度を用いることとする。特に明記しない場合、φは左右方向、θは上下方向の角度を表すものとする。γ、ψはφ，θの組み合わせで表される３次元方向とする。
【００３２】
例えば、正面以外の方向を向いている顔に対し−ψ分の顔向き変換を施したとき、変換後の顔が正面顔であれば、変換前の顔はψの方向を向いていることとなる。一般的に、γ以外の方向を向いている顔に対しγ−ψ分の顔向き変換を施したとき、変換後の顔がγの方向を向いた顔であれば、変換前の顔はψの方向を向いていることとなる。
【００３３】
この顔向き変換の方法としては、入力画像中の顔に顔立体形状モデルを当てはめて方向変換を行う方法などが用いられる。
【００３４】
顔立体形状モデルとは人物の顔形状を３次元であらわしたモデルである。レンジファインダ等の計測器を用い、複数人物の顔形状を計測し、その平均を用いることで作成することができる。
【００３５】
顔立体形状モデルに関しては、特開２０００−３２２５７７号公報「画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体」に詳しい。
【００３６】
しかし、このようなモデルを当てはめる方法では、入力画像中の顔向き方向および顔の位置が既知であることが要求される。
【００３７】
このため、本発明では、変換前の顔向き方向をψと仮定し、ψ方向を向いた人物顔モデルを作成し、そのモデルをγ方向へ（γ−ψ）の方向変換を行うことで、γの方向の顔向き変換をおこなうこととする。
【００３８】
補正後の顔向き方向の角度γとしては、任意の角度について行っても良いが、以下では特にγ（φ，θ）＝（０，０）度の場合、つまり正面顔への顔向き変換について説明する。
【００３９】
上記の顔向き変換方法の動作について、図２に示す横に＋３０度を向いた顔を含んだ入力画像を例に説明する。
【００４０】
ここでは、θ＝０として顔向き方向を横に限定して説明するが、縦向き方向の変化に対しても角度（φ，θ）の組み合わせが増えるのみで原理的には変らないため同様の処理で行うことができる。
【００４１】
まず、入力画像の顔の向きは未知であるため、顔の向きをφ＝−２０度と仮定する。この場合、図３に示すような−２０度傾いた顔立体形状モデルを用意する。図４のように、顔の特徴点として得られた両目の位置を利用してこのモデルと入力顔画像の位置あわせを行う。図１８に示したように、入力画像の画素Ｐを顔立体形状モデルに平行投影する。この処理を画像上の全ての画素Ｐに対して行うことをマッピングと呼ぶ。次に、入力画像をマッピングした顔モデルが正面を向くように＋２０度変換を行い、平行投影により顔向き変換顔画像を生成する。しかし、＋３０度を向いた顔を−２０度向いた顔と誤って仮定しているため、正しいマッピングを行えず、得られる変換後の顔は正面顔とはならない。
【００４２】
続いて、図２の入力顔画像の向きを＋３０度と仮定した場合では、得られた両目の位置を利用し、図６の＋３０度傾いた顔立体形状モデルに入力顔画像を図７に示すように位置合わせすることができる。そして、図１９に示すようにマッピングした顔モデルが正面を向くように−３０度変換を行い、平行投影により顔向き変換顔画像を生成する。この場合、変換後の顔は正面顔となり、正面顔評価により正面顔と判定されることで＋３０度の仮定が正しいかの判定を行える。
【００４３】
このように、入力画像の顔向きをφと設定し、φを向いた顔立体形状モデルに入力顔画像をマッピングし、−φ変換を行い作成される顔向き変換顔が正面顔であれば、入力画像の顔向きがφとなり、入力画像中の顔の向きを判定することができる。つまり、入力画像中の顔向き方向の判定精度を顔向き変換後の顔の特定方向顔向き顔との類似度として評価することができるため、例えば、特定の方向として正面とすると、人物の正面顔の特徴を利用した評価を行えることが特徴となる。
【００４４】
なお、上記の説明ではマッピングでの位置合わせに用いる顔の特徴点として、両目の位置を用いて説明したが、図５に示すように両目以外にも、口の両端、鼻の両穴、両眉の両端の位置を用いることもできる。以下、特徴点として両目の位置を用いることとして説明を行う。
【００４５】
（構成の説明）
次に、本発明の実施の形態について図面を参照して詳細に説明する。ここでは以下、特定方向を正面として説明する。
【００４６】
図１を参照すると、本発明の実施の形態は画像入力手段１と、顔向き変換手段２と、特定方向顔向き評価手段３と、顔向き出力手段４とを含む。
【００４７】
画像入力手段１では、顔が写っている画像をデジタル情報として取得する。取得方法としては、デジタルカメラ、ビデオカメラ等の撮像デバイスを用いても、写真などをスキャナにより取り込んでもよい。
【００４８】
顔向き変換手段２では、入力された画像中の顔向きを別の方向に変換する処理を施す。例えば、入力された顔画像に対し、顔向き方向をφと仮定し、（γ−φ）角度分変換する画像処理を施す。顔向き変換手段２は、例えば、図示しない記憶装置などに保存された顔立体形状モデルを参照することにより、φ方向を向いた顔モデルをγ方向顔へ変換する画像処理を施すことで実現できる。なおこの場合、例えば、＋９０度から−９０度の１度毎に顔立体形状モデルを記憶装置に保存しておく。特定方向顔向き評価手段３では、変換後の顔向きが特定方向を向いているかの評価を行う。前例では、変換された顔向きがγ方向を向いた顔かの評価を行う。顔向き変換手段２および特定方向顔向き評価手段３はループ構成であり、様々な顔向きにおける評価を行う。
【００４９】
顔向き出力手段４では、特定方向顔向き評価手段３での評価を用いて、特定方向の顔向き変換を行った変換量を求め、入力画像における顔向きを計算し、出力する。
【００５０】
（動作の説明）
以下、図８に示すフローチャートを用いて第一の実施形態における顔向き推定の動作を説明する。画像入力手段１では、画像を取得し（ステップＡ１）、
取得した画像の両目の位置を抽出し、それぞれ（Ｅｒ，Ｅｌ）とする（ステップＡ２）。両目の位置の取得方法については、ユーザーが手動で与えても、特開平１１−２８１６６１号公報のように肌色領域内を目のテンプレートマッチングにより自動で抽出しても構わない。
【００５１】
なお、画像によって顔の位置や大きさが異なると処理が複雑になるため、左右対称な特徴点（両目）の間隔距離を用いて、大きさを揃える処理を行う。入力画像中の左右対称な顔の特徴点として、ここでは両目の位置を用いることとするが口の両端や鼻の穴の位置などを用いても構わない。例えば、２５６ｘ２５６画素サイズの画像に対し、両目の位置を被撮像者の右目の座標を（９７，１００）、左目の座標を（１６０，１００）にするように画像を幾何学変換（平行移動・縮小拡大・回転）操作で行うことができる。
【００５２】
顔向き変換手段２では、入力手段１で得られた両目の位置を利用して、顔立体形状モデルにより顔向きを変更する。ただし、入力画像中の顔の向きが未知であるため、顔の向きをφと仮定し、入力画像の顔向きと最も類似するφ方向を向いた顔立体形状モデルを以下のステップで抽出する。
【００５３】
まず、ある探索角φに対し、φ度向きの顔立体形状モデルを生成する（ステップＡ３）。この顔立体形状モデルへと入力画像の顔の位置合わせを行い、顔立体形状モデルにマッピングする（ステップＡ４）。そして、０度（正面）へ−φ度の向き補正（ステップＡ５）を行う。
【００５４】
特定方向顔向き評価手段３では、顔向き補正後の顔の正面らしさ表す評価尺度として正面顔度を計算する（ステップＡ６）。
【００５５】
正面顔度の計算方法としては、予め一人または複数人の正面画像から正面を向いた人物の顔テンプレートを作成しておき、このテンプレートと補正画像との輝度値の差分の絶対値をとることで類似度を計算することができる。計算方法としては、式（１）に示すように原画像とテンプレート画像との差の絶対値を総画素数で割ったものの総和を正面顔度Ｓ１とする方法を用いる。
【００５６】
【数１】
ただし、Ｆ（ｘ，ｙ）、Ｔ（ｘ，ｙ）はそれぞれ入力画像およびテンプレート画像の座標（ｘ，ｙ）における輝度値を表す関数であり、Ｘｍａｘ，Ｙｍａｘはそれぞれ画像の横および縦幅を表す定数である。
【００５８】
顔の向きの探索角φが設定角度内かの判定を行う（ステップ７）。とり得る範囲としては真横より前向きの顔の向きが推定角度の対象となるため、設定角度は−９０度から＋９０度となるが、顔向きの角度が予め限定されている場合は、限定角度内で探索を行うと良い。探索角度が範囲内の場合は、探索角度を新たに仮定し、ステップ３，４，５，６の処理を繰り返す（ステップＡ８）。
【００５９】
新たに仮定する角度は前回の探索角度を１度増やしたものとする。顔向き推定角度の精度を上げたい場合は増やす幅を細かく、精度を落しても顔向き推定処理の速度をあげたい場合では、増やす幅を粗くすると良い。
【００６０】
顔向き出力手段４では、設定角度内の探索終了後に、最も正面顔度が高くなる変換を行った顔向き角度を出力することで、顔向き推定を行う（ステップＡ９）。
【００６１】
上記では顔向き方向が横向き方向のみの場合について説明したが、縦方向を加えた場合については、図９に示すフローチャートを用いて本発明の動作の説明を行う。
【００６２】
図９において、上下方向の角度θを制御するステップＡ１７、Ａ１８を設けたことと、Ａ３に代わり上下方向の角度θにも対応した３Ｄモデル作成ステップＡ１３を設けたこと、Ａ９に代わり上下方向の角度θにも対応した顔向き方向出力ステップＡ１９を設けたこと以外は図８と同様の構成となっており、同一構成要素には同一符号を付してある。
【００６３】
顔向き変換手段２では、探索範囲内の（φ，θ）の全ての組み合わせをについて３Ｄモデルを生成する（図９ステップＡ１３）。
【００６４】
特定方向顔向き評価手段３では、正面顔度を計算することで、最も正面顔度の高い（φ，θ）を出力することで顔向き推定を行う（ステップＡ１９）。
【００６５】
上記の設定角度範囲内を全て探索する方法以外では、評価値があるしきい値を超えた場合に、ループ処理を打ち切りその角度を出力する方法を用いても良い。
【００６６】
（発明の他の実施の形態）
（第２の実施形態）
次に、第２の実施形態を図１０を参照して詳細に説明する。図１０は本発明の第２の実施形態による顔向き推定の主要部構成を示すフローチャート図である。
【００６７】
図１０において、第２の実施形態による顔向き推定の主要部は左右対称度を計算するステップＡ２６を設けた以外は図８に示す第一の実施形態による顔向き推定装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００６８】
人物の正面顔はほぼ左右対称となるため、左右対称性を計ることで正面顔度を計算することができる。正面顔の左右対称性を利用する正面顔度評価方法では、顔テンプレートを予め作成する必要がないことや、自分自身の顔のみを用いて計算するため、各個人により異なる肌の色・顔の形に影響を受けずに計算を行える。
特定方向顔向き評価手段３では、計算方法として式（２）に示すように、左右反転させた画像と原画像との比較により左右対称の度合いにより正面顔度Ｓ２を計算する。これにより横向き方向の顔の向きφを推定する。（ステップＡ２６）
本方法を用いて横向き方向φを最初に推定したのち、図９に示した方法を用いて上下方向の向きθを推定することも可能である。
【００６９】
【数２】
（第３の実施形態）
次に、第３の実施形態を図１０を参照して詳細に説明する。以上の説明では、変換後の角度を０度、つまり正面としたが、正面以外の角度を利用してもよく、図１１のように、例えば真横の９０度としてもよい。つまりこの場合では、入力画像の顔向きをφと仮定し、φ傾いた顔立体形状モデルに入力顔画像をマッピングし、（９０−φ）度変換を行った際に顔向き変換顔が真横顔であれば、入力画像の顔向きがφと判定できる。
【００７１】
図１２は本発明の第３の実施形態による顔向き推定方法の主要部構成を示すフローチャート図である。図１２において、本発明の第３の実施形態による顔向き推定方法の主要部は顔モデルを真横へ向き補正するステップＡ３５と顔向き変換顔の真横顔らしさ表す真横顔類似度を計算するステップＡ３６とを設けた以外は図８に示す第１の実施形態による顔向き推定方法の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００７２】
（第４の実施形態）
次に、第４の実施形態を図１３を参照して詳細に説明する。
【００７３】
いままでの説明では、入力画像中の顔向き（φ，θ）を求めるために、ループによる探索をおこなったが、並列に処理することもできる。図１３は本発明の第４の実施形態による顔向き推定方法の主要部構成を示すフローチャート図である。図１３において、第４の実施形態による顔向き推定方法の主要部は図９に示す本発明の第一の実施形態による顔向き推定方法の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００７４】
様々な探索角度での正面顔度評価は、様々な角度での補正画像を並列に作成し、その中から最良の角度を抽出する。例えば、−９０度から＋９０度までの５度おきの角度に対しての処理を並列に行い、最も高い正面顔度を持つ角度を出力する。
【００７５】
（第５の実施形態）
次に、第５の実施形態を図１４を参照して詳細に説明する。第５の実施形態は、第１の実施形態における顔立体形状モデルとして、楕円体モデルを用いる。本発明の第１〜４の実施形態は上記説明では、顔立体形状モデルを用いて顔向変換を行ったが、顔立体形状モデルとは人物の顔形状を３次元であらわしたモデルであるため、情報量が多く、顔向き変換処理も複雑となり、大型コンピュータ以外では処理時間がかかり有効とならない場合がある。
【００７６】
このような場合では、簡略化した顔立体モデルを用いると良い。簡略化顔立体モデルとしては、図１４に示すような楕円体を用いる。図１４の＋印で示したように、楕円体の表面上に両目の位置を定義し顔立体モデルとする。これにより、処理時間を短縮することが出来る。
【００７７】
（第６の実施形態）
次に、第６の実施形態を詳細に説明する。
【００７８】
本発明の第６の実施形態は、第１〜５の実施形態における顔立体形状モデルによる顔向き変換手段に代わり、イメージ・ワーピングを用いた顔向き変換を行うことを特徴とする。
【００７９】
ワーピングとは人の顏が動物の顔へ移行するような例で言えば、目の位置や、顔の輪郭を対応づけすることにより、画素の色だけでなく形全体が対応づけられた場所へと移動するようにワープさせる画像処理である。これにより、顔の向き変換は、物理的な立体モデルを用なくとも、画像の変換パラメータを学習画像により学習させることで行える。
【００８０】
例えば、人物Ａの正面向きの顔画像をＩｍｇＡ０、人物Ａの＋３０度向きの顔画像をＩｍｇＡ３０とした際に、ＩｍｇＡ０の画素がＩｍｇＡ３０のどの画素に対応しているかを示す変換パラメータは、オプティカルフローに代表される変換ベクトルで表すことができ、この変換ベクトルを
【００８１】
【数３】
とする。このとき、人物Ｂの正面向きの顔画像をＩｍｇＢ０、ＩｍｇＡ０の画素がＩｍｇＢ０のどの画素に対応しているかを示す変換ベクトルを
【００８３】
【数４】
とすると、人物Ｂの＋３０度向きの顔画像ＩｍｇＢ３０は、ＩｍｇＡ０を
【００８５】
【数５】
変換することで求めることができる。
【００８７】
この変換パラメータの推定および変換画像の合成については、Ｄ． Ｂｅｙｍｅｒ， Ａ． Ｓｈａｓｈｕａ， ａｎｄ Ｔ． Ｐｏｇｇｉｏ， Ｅｘａｍｐｌｅ Ｂａｓｅｄ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ａｎｄ Ｓｙｎｔｈｅｓｉｓ， Ａ．Ｉ．Ｍｅｍｏ １４３１， ＭＩＴ， １９９３に詳しい。
【００８８】
（第７の実施形態）
次に、第７の実施形態を詳細に説明する。
【００８９】
本発明の第７の実施形態は、第１〜６の実施形態における顔向き推定方向の出力を特定方向のカテゴリーとして出力することを特徴とする。
【００９０】
第１〜６の実施形態では、顔向き推定方向の出力を角度（φ，θ）として出力しているが、正確な顔向き推定が必要なく、ラフな顔向きのみでよい用途では、顔向き方向をおおまかなカテゴリーに分類し、そのカテゴリーを出力することもできる。
【００９１】
例えば、顔向き方向を正面・上・下・右・右上・右下・左・左上・左下の９つのカテゴリーに分類し、出力するとよい。カテゴリーへの分類方法としては、推定方向の角度（φ，θ）を以下のようなしきい値処理により行う。
正面： −５＜＝φ＜＝＋５ かつ −５＜＝θ＜＝＋５
上： −５＜φ＜＋５ かつ ＋５＜θ
下： −５＜φ＜＋５ かつ θ＜−５
右： φ＜−５ かつ −５＜θ＜＋５
右上： φ＜−５ かつ ＋５＜θ
右下： φ＜−５ かつ θ＜−５
左： ＋５＜φ かつ −５＜θ＜＋５
左上： ＋５＜φ かつ ＋５＜θ
左下： ＋５＜φ かつ θ＜−５
また、９つのカテゴリーを代表する角度（φ，θ）に対し正面顔度をそれぞれ計算し、最も高い正面顔度をもつカテゴリーを出力させると、正面顔度の計算回数がカテゴリー数となるため、計算コストを減少させることができる。上記の例では、代表方向の角度（φ，θ）として例えば、
正面： （０，０）
上： （０，＋１０）
下： （０，−１０）
右： （−１０，０）
右上： （−１０，＋１０）
右下： （−１０，−１０）
左： （＋１０，０）
左上： （＋１０，＋１０）
左下： （＋１０，−１０）
の９通りの組み合わせ例を選び、これらのみを用いて顔向き方向のカテゴリー分類を行うことができる。
【００９２】
（第８及び第９の実施形態）
次に、第８，９の実施形態を図１６および図１７を参照して詳細に説明する。図１６，１７はそれぞれ第８および第９の実施形態による顔向き推定装置の主要部構成を示すブロック図である。
【００９３】
図１６，１７において、第８および第９の実施形態による顔向き推定装置の主要部は照明変動除去手段１０，１１を設けた以外は図１に示す本発明の第一の実施形態による顔向き推定装置の主要部と同様の構成となっており、同一構成要素には同一符号を付してある。
【００９４】
また、同一構成要素の動作は本発明の第１の実施形態による顔向き推定装置の主要部と同様である。本発明の第８および第９の実施形態は、入力画像中の顔が照明方向の影響を受けている場合に用いる。
【００９５】
照明方向の影響とは、図１５に示すように、顔の向きに関わらず、照明光源の方向や光源の強度の違いにより、顔の明るさが異なるため、同一方向を向いた顔であっても輝度値が異なることを言う。
照明変動除去は、顔画像（Ｘｍａｘ，Ｙｍａｘ）の画素をＸｍａｘ×Ｙｍａｘ次元のベクトル
【００９６】
【数６】
とみなして作られる画像空間による方法を用いる。
【００９８】
ある顔向きにおける様々な照明変動を受けたＮ個の顔画像ベクトル
【００９９】
【数７】
が張る照明変動空間は、画像空間において凸錐体をなしている。この照明変動空間の大部分は、低次元の線形空間に含まれているため、入力画像における照明変動の成分はこれらの低次元の線形空間で近似できることが知られている。
【０１０１】
そこで、照明変動成分を表す空間の基底ベクトルを主成分分析を用いて求める。式（３）に示すように、画像ベクトル
【０１０２】
【数８】
を並べて作成される行列Ｓの共分散行列Ｖを求め、Ｖの固有値σｉが大きい順に固有ベクトル
【０１０４】
【数９】
をＭ個求める。
【０１０６】
【数１０】
【数１１】
は照明変動下での平均的な顔成分を表しているため、入力画像の顔画像ベクトルに含まれる照明変動成分は、Ｍ−１個の固有ベクトル
【０１０９】
【数１２】
を用いて近似することができる。つまり、
【０１１１】
【数１３】
が照明変動成分を表す空間の基底ベクトルとなる。入力画像の顔画像ベクトルを、固有ベクトル
【０１１３】
【数１４】
に射影したベクトル
【０１１５】
【数１５】
が入力画像中の照明変動を表しており、入力画像から照明変動成分
【０１１７】
【数１６】
を差し引くことで照明変動を除去することができる。詳しくは、「照明条件と姿勢の両者の自動補正による顔照合」電子情報通信学会信学技報ＰＲＭＵ２００１−１６２ ｐｐ．５９−６４を参照のこと。
【０１１９】
上記の照明変動除去処理を、想定される顔向き範囲の様々な顔向き画像に対して予め行っておくことで、任意の入力画像の顔向きに対し、照明変動除去を行うことができる。
【０１２０】
次に、第８の実施形態を図１６を参照して詳細に説明する。図１６に示す実施形態が図１に示す第１の実施形態と異なる点は、任意顔向きでの照明変動除去手段１０を設けた点である。任意顔向きでの照明変動除去手段１０は、画像入力手段１で取得した顔画像における照明変動除去を行う。
【０１２１】
入力画像の照明変動成分を除去した上で顔向き変更および顔向き評価を行うことで顔向き判定を行う。
【０１２２】
次に、第９の実施形態を図１７を参照して詳細に説明する。
【０１２３】
図１７に示す実施形態が図１に示す第１の実施形態と異なる点は、特定顔向きでの照明変動除去手段１１を設けた点である。特定顔向きでの照明変動除去手段１１は、顔向き変換手段２で特定方向へ顔向き変換した顔画像における照明変動除去を行う。このため、図１６に示した実施形態のように任意の顔向きに対する照明変動除去が不要となり、特定の顔向きγに対して照明変動除去を行うだけで済む。
【０１２４】
以上、本願発明を説明したが、本実施の形態で開示した機能手段をコンピュータで実行可能なプログラムによって、本願発明を実施することも可能である。この場合、第１の実施の形態においては、顔向き変換手段２、特定方向顔向き変換手段３等をコンピュータによって実現するプログラムを作成し、コンピュータに備えるＣＰＵ等によって当該プログラムを実行することによって、本願発明が実現可能である。
【０１２５】
【発明の効果】
第１の効果は、正面顔の左右対称性など、特定の顔向き方向に特化した特長を用いて顔向き評価を行うことができることである。
【０１２６】
このため、正面顔では、左右対称性を評価することでテンプレートを用いずに顔向き評価を行うことができる。その理由は、変換後の顔が特定方向の顔の特徴を最も満足する顔向き変換パラメータを探索することで顔向き推定を行うためである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のブロック図である。
【図２】＋３０度の方向を向いた入力顔画像を示す図である。
【図３】−２０度の顔立体形状モデルの正面へ変換を示す図である。
【図４】−２０度の顔立体形状モデルに入力画像をマッピングした図である。
【図５】顔の特徴点を示す図であり、左から両目、両口の端、鼻の穴、両眉の両端を示す図である。
【図６】＋３０度の顔立体形状モデルの正面へ変換を示す図である。
【図７】＋３０度の顔立体形状モデルに入力画像をマッピングした図である。
【図８】本発明の動作を説明するためのフローチャートである。
【図９】本発明の動作を説明するためのフローチャートである。
【図１０】本発明の第２の実施の動作を説明するためのフローチャートである。
【図１１】＋３０度の顔立体形状モデルの真横へ変換を示す図である。
【図１２】本発明の第３の実施の動作を説明するためのフローチャートである。
【図１３】本発明の第５の実施の動作を説明するためのフローチャートである。
【図１４】楕円体を用いた顔立体形状モデルを示す図である。
【図１５】照明変動を受けた画像の例を示す図である。
【図１６】本発明の第８の実施の形態のブロック図である。
【図１７】本発明の第９の実施の形態のブロック図である。
【図１８】マッピングを用いた顔向き方向変換の例を示す図である。
【図１９】マッピングを用いた顔向き方向変換の例を示す図である。
【図２０】従来技術を説明するブロック図である。
【符号の説明】
１ 画像入力装置
２ 顔向き変更手段
３ 特定方向顔向き評価手段
４ 顔向き出力手段
１０ 任意顔向きでの照明変動除去手段
１１ 特定顔向きでの照明変動除去手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a face direction estimating apparatus and method for estimating a direction in which a face in an input image faces, and a face direction estimating program (hereinafter, referred to as a face direction estimating method). is there.
[0002]
[Prior art]
Conventionally, as this type of technology, the methods described in JP-A-2001-291108 and JP-A-11-281661 are known. FIG. 20 is a block diagram described in JP-A-2001-291108. In this method, an average face is created by acquiring frontal face data of a plurality of persons in advance, an image obtained by attaching the average face to a 3D model and rotating by an arbitrary angle is generated, and an angle having the highest degree of correlation with the input image is generated. Is determined so as to estimate the orientation of the face of the input image.
[0003]
In the method described in Japanese Patent Application Laid-Open No. 11-281661, the positions of both eyes and mouth and the face width are detected by extracting the skin color, and the orientation of the face is estimated from the positional relationship between them.
[0004]
[Problems to be solved by the invention]
The first problem of these prior arts is that it is difficult to use features in a special direction such as the front direction, and it is necessary to perform the same similarity calculation in all face directions. It is necessary to generate a template for evaluating the direction.
[0005]
The reason is that, since the face orientation of the input image is estimated by comparing the similarity with the template in various face orientation directions, it is necessary to compare the similarity in various face orientation images. It is susceptible to differences in color and face shape depending on the race (white, black, yellow) of the face data to be used, and the luminance of an area other than the face (background portion).
[0006]
The present invention has been made in view of such circumstances, and it is an object of the present invention to provide a face direction estimating method for accurately detecting a face direction.
[0007]
[Means for Solving the Problems]
The invention achieves the above object by the following features.
[0008]
In a face direction estimating device for estimating the direction of a face in an image,
A face direction conversion means for creating a face direction converted face by performing image processing for converting the direction of the face in the image,
A specific direction face direction evaluation means for evaluating the direction of the face of the face direction converted face.
[0009]
The face orientation estimating apparatus may further include an illumination variation removing unit that removes an influence of illumination variation from the face image, wherein the illumination variation removing unit includes an illumination variation removing unit that generates the illumination variation for the face orientation converted face created by the face orientation converting unit. An image in which the influence of the illumination fluctuation is removed is generated, and the specific direction face direction evaluation unit estimates the direction of the face by using the image in which the influence of the illumination fluctuation is removed.
[0010]
Further, in the face direction estimating device,
The image processing apparatus further includes an illumination variation removing unit configured to remove an influence of illumination variation from the face image,
The illumination fluctuation removing means,
Generate an image with the effect of illumination fluctuations removed for the image,
The face direction conversion means,
Perform image processing to convert the orientation of the face in the image generated by the illumination fluctuation removal means,
A face direction conversion face is created.
[0011]
Further, in the face direction estimating device, the specific direction face direction determining unit generates a specific direction average face in advance by calculating an average of a plurality of specific direction face images, and the face direction conversion face and the specific direction It is characterized in that the face orientation in a specific direction is evaluated based on the similarity with the average face.
[0012]
Further, in the face direction estimating apparatus, the specific direction face direction evaluation unit uses a front as a direction in which the direction of the face in the image is evaluated, and evaluates the likelihood of a front face of the face direction converted face. Means are provided.
[0013]
Further, in the face direction estimating apparatus, the front face direction evaluation means is characterized in that the specific direction face direction evaluation means evaluates the front face direction based on the degree of left-right symmetry of the face direction converted face. I do.
[0014]
Further, in the face direction estimating apparatus, the frontal face direction evaluating means is configured to evaluate the degree of left-right symmetry of the frontal face of a person, and the specific direction face direction evaluating means is used to evaluate a face and a face obtained by inverting the face. Is characterized in that frontal face evaluation is performed by measuring the degree of similarity with.
[0015]
Further, in the face direction estimating apparatus, the specific direction face direction evaluation means uses a sideways direction as a direction for evaluating the direction of the face in the image, and a sideways face direction evaluation for evaluating the likelihood of the sideways converted face. Means are provided.
[0016]
Further, in the face direction estimating apparatus, the face direction conversion means changes the direction of the face on the image using the position of the feature point of the human face on the image.
[0017]
Further, in the face direction estimating device, the face direction conversion means may use any one of, or a combination of, both eyes, both ends of a mouth, left and right holes of a nose, and both eyebrows as characteristic points of a human face. It is characterized by using.
[0018]
Further, in the face direction estimating apparatus, the face direction conversion means may use any one or a combination of any of an eye, an end of a mouth, a nostril, and an eyebrow as a feature point of the human face. Features.
[0019]
Further, in the face direction estimating apparatus, the face direction conversion means maps a face image onto a face three-dimensional shape model describing a three-dimensional shape of a human face and changes the direction.
[0020]
Further, in the face direction estimating device, the face direction conversion means uses a face three-dimensional shape model described as an average of a plurality of face shapes as a three-dimensional shape model of a human face.
[0021]
Further, in the face direction estimating apparatus, the face direction conversion means uses an ellipsoid as the face three-dimensional shape model.
[0022]
Further, in the face direction estimating apparatus, the face direction conversion means changes the direction of the face on the image by image warping of the face area.
[0023]
Further, in the face direction conversion means, the face direction is changed by applying a conversion parameter previously generated from a learning image to an input image as a warping means for changing a face direction on an image.
[0024]
Further, the face direction estimating apparatus outputs the face direction estimated direction as some specific direction categories.
[0025]
Further, in the face direction estimating device, any one of nine types of front, upper, lower, right, upper right, lower right, left, upper left, and lower left as a specific direction category or a combination thereof is used. I do.
[0026]
Further, the face direction estimating apparatus outputs the face direction as a specific direction category by performing face direction conversion and evaluation only for a direction representing each of the specific direction categories.
[0027]
Further, the present invention provides a face direction estimating method for estimating the direction of a face in an image, a face direction converting step of creating a face direction converted face by performing image processing for converting the direction of the face in the image,
A specific direction face direction evaluation step of evaluating the direction of the face of the face direction conversion face,
It is characterized by including.
[0028]
Further, the present invention provides a face direction estimation program for estimating the direction of a face in an image,
A face direction conversion step of creating a face direction converted face by performing image processing for converting the direction of the face in the image,
A specific direction face direction evaluation step of evaluating the direction of the face of the face direction conversion face,
Is executed by a computer.
[0029]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a face direction estimating apparatus according to an embodiment of the present invention will be described with reference to the drawings.
[0030]
First, the principle of face direction estimation in the present invention will be described.
[0031]
In addition, as a scale of the direction representing the direction of the face, the direction is + when facing the imaging medium such as a camera as viewed from the subject, and-when facing the left side and facing upward. In this case, an angle of + is used, and when facing downward, an angle of-is used. Unless otherwise specified, φ represents an angle in the left-right direction and θ represents an angle in the up-down direction. γ and ψ are three-dimensional directions represented by a combination of φ and θ.
[0032]
For example, when a face direction conversion of −ψ is performed on a face facing a direction other than the front, if the converted face is a front face, the face before the conversion is facing the direction of ψ. Become. In general, when a face facing in a direction other than γ is subjected to γ−ψ face direction conversion, if the converted face is a face facing γ, the face before conversion is ψ In this direction.
[0033]
As a method of the face direction conversion, a method of applying a face three-dimensional shape model to a face in an input image to perform a direction conversion is used.
[0034]
The face three-dimensional shape model is a model representing the face shape of a person in three dimensions. It can be created by measuring the face shapes of a plurality of persons using a measuring instrument such as a range finder and using the average thereof.
[0035]
The face three-dimensional shape model is described in detail in Japanese Patent Application Laid-Open No. 2000-322577, "Image Matching Apparatus, Image Matching Method, and Recording Medium Recording Control Program Therefor".
[0036]
However, the method of applying such a model requires that the face direction and the face position in the input image be known.
[0037]
For this reason, in the present invention, the face direction before conversion is assumed to be ψ, and a human face model oriented in the ψ direction is created, and the model is subjected to direction conversion in the γ direction (γ−ψ). The face direction conversion in the direction of γ is performed.
[0038]
As the angle γ of the face direction after the correction, the angle γ may be set at an arbitrary angle. However, in the following, particularly, in the case of γ (φ, θ) = (0, 0) degrees, that is, the face direction conversion to the front face explain.
[0039]
The operation of the above-described face direction conversion method will be described using an input image including a face facing +30 degrees horizontally as shown in FIG. 2 as an example.
[0040]
Here, the description will be made by limiting the face direction to the horizontal direction with θ = 0. However, even in the case of the change in the vertical direction, the combination of the angles (φ, θ) only increases, and in principle it does not change. Processing can be done.
[0041]
First, since the face direction of the input image is unknown, it is assumed that the face direction is φ = −20 degrees. In this case, a face three-dimensional shape model inclined at −20 degrees as shown in FIG. 3 is prepared. As shown in FIG. 4, the position of this model and the input face image are aligned using the positions of both eyes obtained as feature points of the face. As shown in FIG. 18, the pixels P of the input image are projected in parallel to the face three-dimensional shape model. Performing this process for all the pixels P on the image is called mapping. Next, +20 degree conversion is performed so that the face model on which the input image is mapped faces forward, and a face direction converted face image is generated by parallel projection. However, since a face facing +30 degrees is erroneously assumed to be a face facing -20 degrees, correct mapping cannot be performed, and the resulting converted face does not become a front face.
[0042]
Subsequently, when the direction of the input face image in FIG. 2 is assumed to be +30 degrees, the input face image is shown in FIG. 7 in the face three-dimensional shape model inclined in +30 degrees in FIG. Can be aligned as follows. Then, as shown in FIG. 19, -30 degrees conversion is performed so that the mapped face model faces the front, and a face orientation converted face image is generated by parallel projection. In this case, the converted face is a front face, and the front face is determined as a front face by the front face evaluation, so that it is possible to determine whether the assumption of +30 degrees is correct.
[0043]
In this way, the face direction of the input image is set to φ, the input face image is mapped to the face three-dimensional shape model facing φ, and the face direction conversion face created by performing −φ conversion is a front face, The face direction of the input image becomes φ, and the direction of the face in the input image can be determined. In other words, since the accuracy of the determination of the face direction in the input image can be evaluated as the similarity between the face after the face direction conversion and the face in the specific direction, for example, if the specific direction is the front, the front of the person The feature is that evaluation using the features of the face can be performed.
[0044]
In the above description, the positions of the eyes are used as the feature points of the face used for the alignment in the mapping. However, as shown in FIG. 5, in addition to the eyes, both ends of the mouth, both holes of the nose, The positions of both ends of the eyebrow can also be used. Hereinafter, the description will be made assuming that the positions of both eyes are used as the feature points.
[0045]
(Description of configuration)
Next, embodiments of the present invention will be described in detail with reference to the drawings. Here, the specific direction will be described as the front.
[0046]
Referring to FIG. 1, the embodiment of the present invention includes an
[0047]
The
[0048]
The face direction conversion means 2 performs a process of converting the face direction in the input image to another direction. For example, the input face image is subjected to image processing for converting by (γ-φ) angle, assuming that the face direction is φ. The face direction conversion means 2 can be realized by performing image processing for converting a face model oriented in the φ direction into a γ direction face by referring to a face three-dimensional shape model stored in, for example, a storage device (not shown). . In this case, for example, the face three-dimensional shape model is stored in the storage device every time from +90 degrees to -90 degrees. The specific direction face direction evaluation means 3 evaluates whether the converted face direction is in a specific direction. In the previous example, whether the converted face orientation is in the γ direction is evaluated. The face direction conversion means 2 and the specific direction face direction evaluation means 3 have a loop configuration and perform evaluation in various face directions.
[0049]
The face direction output means 4 obtains a conversion amount obtained by performing face direction conversion in a specific direction by using the evaluation by the specific direction face direction evaluation means 3, calculates the face direction in the input image, and outputs the calculated face direction.
[0050]
(Description of operation)
Hereinafter, the operation of the face direction estimation in the first embodiment will be described with reference to the flowchart shown in FIG. The image input means 1 acquires an image (step A1),
The positions of both eyes of the acquired image are extracted and set as (Er, El) (step A2). Regarding the method of acquiring the positions of both eyes, the user may give the positions manually or automatically extract the inside of the skin color region by eye template matching as disclosed in JP-A-11-281661.
[0051]
If the position and size of the face are different depending on the image, the processing becomes complicated. Therefore, the processing of equalizing the size is performed using the distance between the symmetric feature points (both eyes). Here, the positions of both eyes are used as the feature points of the symmetrical face in the input image, but the positions of both ends of the mouth and the positions of the nostrils may be used. For example, for an image having a size of 256 × 256 pixels, the image is geometrically transformed (translation / translation) so that the position of both eyes is (97, 100) for the right eye and (160, 100) for the left eye of the subject. (Reduction / enlargement / rotation) operation.
[0052]
The face
[0053]
First, for a certain search angle φ, a face three-dimensional shape model oriented at φ degrees is generated (step A3). The face of the input image is aligned with the face three-dimensional shape model and mapped to the face three-dimensional shape model (step A4). Then, the direction of -φ degrees is corrected to 0 degrees (front) (step A5).
[0054]
The specific direction face direction evaluation means 3 calculates the front face degree as an evaluation scale indicating the likelihood of the front of the face after the face direction correction (step A6).
[0055]
As a method of calculating the front face degree, a face template of a person facing the front is created in advance from one or more front images, and the absolute value of the difference between the luminance value of this template and the corrected image is calculated. Similarity can be calculated. As a calculation method, as shown in Expression (1), a method is used in which the sum of the absolute values of the differences between the original image and the template image divided by the total number of pixels is used as the front face degree S1.
[0056]
(Equation 1)
Here, F (x, y) and T (x, y) are functions representing the luminance value at the coordinates (x, y) of the input image and the template image, respectively, and Xmax and Ymax represent the horizontal and vertical widths of the image, respectively. Is a constant that represents
[0058]
It is determined whether the search angle φ of the face direction is within the set angle (step 7). As a range that can be taken, the direction of the face facing forward from the side is the target of the estimated angle, so the set angle is from −90 degrees to +90 degrees, but if the angle of the face direction is limited in advance, it is within the limited angle. It is good to search in. If the search angle is within the range, the process of
[0059]
The newly assumed angle is obtained by increasing the previous search angle by one degree. When it is desired to increase the accuracy of the face direction estimation angle, the width of the increase is fine. When it is desired to increase the speed of the face direction estimation processing even if the accuracy is lowered, the width of the increase is coarse.
[0060]
After the search within the set angle is completed, the face
[0061]
Although the case where the face direction is only the horizontal direction has been described above, the operation of the present invention will be described with reference to the flowchart shown in FIG. 9 when the vertical direction is added.
[0062]
In FIG. 9, steps A17 and A18 for controlling the vertical angle θ are provided, and a 3D model creation step A13 corresponding to the vertical angle θ is provided instead of A3. The configuration is the same as that of FIG. 8 except that a face direction output step A19 corresponding to the angle θ is provided, and the same components are denoted by the same reference numerals.
[0063]
The face direction conversion means 2 generates a 3D model for all combinations of (φ, θ) within the search range (step A13 in FIG. 9).
[0064]
The specific direction face direction evaluation means 3 estimates the face direction by calculating the front face degree and outputting (φ, θ) having the highest front face degree (step A19).
[0065]
Other than the method of searching the whole set angle range, a method of terminating the loop processing and outputting the angle when the evaluation value exceeds a certain threshold value may be used.
[0066]
(Other Embodiments of the Invention)
(Second embodiment)
Next, a second embodiment will be described in detail with reference to FIG. FIG. 10 is a flowchart showing the main configuration of the face direction estimation according to the second embodiment of the present invention.
[0067]
In FIG. 10, the main part of the face direction estimation according to the second embodiment is the same as the main part of the face direction estimation device according to the first embodiment shown in FIG. 8, except that a step A26 for calculating the degree of left-right symmetry is provided. The same components are denoted by the same reference numerals.
[0068]
Since the front face of a person is almost symmetrical, the degree of frontal face can be calculated by measuring the symmetry. In the frontal face degree evaluation method using the left-right symmetry of the frontal face, there is no need to create a face template in advance, and the calculation is performed using only one's own face. Perform calculations without being affected by shape.
The specific direction face direction evaluation means 3 calculates the front face degree S2 based on the degree of left-right symmetry by comparing the left-right inverted image with the original image as shown in Expression (2) as a calculation method. Thereby, the face direction φ in the horizontal direction is estimated. (Step A26)
After first estimating the horizontal direction φ using this method, it is also possible to estimate the vertical direction θ using the method shown in FIG. 9.
[0069]
(Equation 2)
(Third embodiment)
Next, a third embodiment will be described in detail with reference to FIG. In the above description, the angle after the conversion is 0 degrees, that is, the front, but an angle other than the front may be used. For example, as shown in FIG. That is, in this case, the face direction of the input image is assumed to be φ, and the input face image is mapped to the face three-dimensional shape model inclined by φ. Then, the face direction of the input image can be determined to be φ.
[0071]
FIG. 12 is a flowchart showing the main configuration of the face direction estimating method according to the third embodiment of the present invention. In FIG. 12, the main part of the face orientation estimating method according to the third embodiment of the present invention is a step A35 of correcting the face model to be right or left, and a step A36 of calculating a right or wrong face similarity representing the likelihood of the face-converted face. The configuration is the same as that of the main part of the face direction estimating method according to the first embodiment shown in FIG. 8 except for the provision of the same components, and the same components are denoted by the same reference numerals.
[0072]
(Fourth embodiment)
Next, a fourth embodiment will be described in detail with reference to FIG.
[0073]
In the description so far, a search using a loop has been performed in order to obtain the face direction (φ, θ) in the input image, but it is also possible to perform processing in parallel. FIG. 13 is a flowchart showing the main configuration of the face direction estimating method according to the fourth embodiment of the present invention. 13, a main part of the face direction estimating method according to the fourth embodiment has the same configuration as the main part of the face direction estimating method according to the first embodiment of the present invention shown in FIG. Are given the same reference numerals.
[0074]
In the front face evaluation at various search angles, corrected images at various angles are created in parallel, and the best angle is extracted from the images. For example, the processing is performed in parallel for every five degrees from -90 degrees to +90 degrees, and the angle having the highest front face degree is output.
[0075]
(Fifth embodiment)
Next, a fifth embodiment will be described in detail with reference to FIG. In the fifth embodiment, an ellipsoid model is used as the face three-dimensional shape model in the first embodiment. In the first to fourth embodiments of the present invention, in the above description, the face direction conversion is performed using the face three-dimensional shape model. However, the face three-dimensional shape model is a model representing the face shape of a person in three dimensions. In addition, the amount of information is large, and the face direction conversion process is complicated.
[0076]
In such a case, a simplified face three-dimensional model may be used. An ellipsoid as shown in FIG. 14 is used as the simplified face three-dimensional model. As shown by the + mark in FIG. 14, the positions of both eyes are defined on the surface of the ellipsoid, and a face three-dimensional model is obtained. Thereby, the processing time can be shortened.
[0077]
(Sixth embodiment)
Next, a sixth embodiment will be described in detail.
[0078]
The sixth embodiment of the present invention is characterized in that the face direction conversion using image warping is performed instead of the face direction conversion unit using the face three-dimensional shape model in the first to fifth embodiments.
[0079]
Warping is an example where a person's face shifts to an animal's face.By associating the position of the eyes and the outline of the face, it is possible to go to places where not only the color of the pixels but also the entire shape is associated. This is image processing for warping to move. Thereby, the face direction conversion can be performed by learning the conversion parameters of the image from the learning image without using a physical three-dimensional model.
[0080]
For example, when the face image of the person A facing the front is ImgA0 and the face image of the person A facing +30 degrees is ImgA30, the conversion parameter indicating which pixel of the ImgA0 corresponds to the pixel of the ImgA30 is optical flow. Can be represented by a transformation vector represented by
[0081]
[Equation 3]
And At this time, the front face image of the person B is represented by ImgB0, and a conversion vector indicating which pixel of ImgA0 corresponds to which pixel of ImgB0.
[0083]
(Equation 4)
Then, the + 30-degree face image ImgB30 of the person B becomes ImgA0.
[0085]
(Equation 5)
It can be obtained by conversion.
[0087]
For the estimation of the conversion parameters and the synthesis of the converted image, see D.S. Beymer, A .; Shashua, and T.W. Poggio, Example Based Image Analysis and Synthesis, A.M. I. Memo 1431, MIT, 1993.
[0088]
(Seventh embodiment)
Next, a seventh embodiment will be described in detail.
[0089]
The seventh embodiment of the present invention is characterized in that the output of the face direction estimation direction in the first to sixth embodiments is output as a category of a specific direction.
[0090]
In the first to sixth embodiments, the output of the face direction estimation direction is output as the angle (φ, θ). However, in applications where accurate face direction estimation is not required and only a rough face direction is required, the face direction is output. The directions can be roughly classified into categories, and the categories can be output.
[0091]
For example, the face directions may be classified into nine categories of front, upper, lower, right, upper right, lower right, left, upper left, and lower left, and output. As a method of classifying into categories, the angle (φ, θ) of the estimated direction is performed by the following threshold processing.
Front: -5 <= φ <= + 5 and -5 <= θ <= + 5
Above: −5 <φ <+5 and +5 <θ
Bottom: −5 <φ <+5 and θ <−5
Right: φ <−5 and −5 <θ <+5
Upper right: φ <−5 and +5 <θ
Lower right: φ <−5 and θ <−5
Left: +5 <φ and -5 <θ <+5
Upper left: +5 <φ and +5 <θ
Lower left: +5 <φ and θ <−5
Also, when the front face degree is calculated for each of the angles (φ, θ) representing the nine categories, and the category having the highest front face degree is output, the number of calculation of the front face degree becomes the number of categories. Calculation costs can be reduced. In the above example, the representative direction angle (φ, θ) is, for example,
Front: (0,0)
Above: (0, + 10)
Bottom: (0, -10)
Right: (-10,0)
Upper right: (-10, +10)
Lower right: (−10, −10)
Left: (+10,0)
Upper left: (+10, +10)
Lower left: (+10, -10)
The nine combinations are selected, and the categorization of the face direction can be performed using only these combinations.
[0092]
(Eighth and Ninth Embodiments)
Next, eighth and ninth embodiments will be described in detail with reference to FIGS. FIGS. 16 and 17 are block diagrams showing the main components of the face direction estimating apparatus according to the eighth and ninth embodiments, respectively.
[0093]
16 and 17, the main part of the face direction estimating apparatus according to the eighth and ninth embodiments is that the face direction according to the first embodiment of the present invention shown in FIG. The configuration is the same as that of the main part of the estimation device, and the same components are denoted by the same reference numerals.
[0094]
The operation of the same component is the same as that of the main part of the face direction estimating device according to the first embodiment of the present invention. The eighth and ninth embodiments of the present invention are used when the face in the input image is affected by the illumination direction.
[0095]
The influence of the illumination direction refers to a face that faces in the same direction because the brightness of the face is different due to the difference in the direction of the illumination light source and the intensity of the light source irrespective of the face direction, as shown in FIG. Also means that the brightness values are different.
Illumination fluctuation elimination is performed by converting pixels of the face image (Xmax, Ymax) into an Xmax × Ymax-dimensional vector.
[0096]
(Equation 6)
And a method based on an image space created by using
[0098]
N face image vectors subjected to various lighting fluctuations in a certain face direction
[0099]
(Equation 7)
The illumination variation space that is formed is a convex cone in the image space. Since most of the illumination variation space is included in the low-dimensional linear space, it is known that the components of the illumination variation in the input image can be approximated by these low-dimensional linear spaces.
[0101]
Therefore, a base vector of the space representing the illumination fluctuation component is obtained by using principal component analysis. As shown in equation (3), the image vector
[0102]
(Equation 8)
Are obtained and the covariance matrix V of the matrix S created is determined.
[0104]
(Equation 9)
Are obtained M times.
[0106]
(Equation 10)
[Equation 11]
Represents an average face component under illumination fluctuations. Therefore, the illumination fluctuation components included in the face image vector of the input image are M−1 eigenvectors.
[0109]
(Equation 12)
Can be approximated. That is,
[0111]
(Equation 13)
Is the base vector of the space representing the illumination fluctuation component. The face image vector of the input image is
[0113]
[Equation 14]
Vector projected on
[0115]
[Equation 15]
Represents the illumination fluctuation in the input image, and the illumination fluctuation component from the input image.
[0117]
(Equation 16)
Is subtracted, the illumination fluctuation can be removed. For details, see “Face matching by automatic correction of both lighting condition and posture” IEICE Technical Report, PRMU 2001-162 pp. See 59-64.
[0119]
By performing the above-described illumination variation removal processing on various face orientation images in an assumed face orientation range in advance, illumination variation removal can be performed on the face orientation of an arbitrary input image.
[0120]
Next, an eighth embodiment will be described in detail with reference to FIG. The embodiment shown in FIG. 16 differs from the first embodiment shown in FIG. 1 in that an illumination
[0121]
The face direction is determined by removing the illumination fluctuation component of the input image and then performing face direction change and face direction evaluation.
[0122]
Next, a ninth embodiment will be described in detail with reference to FIG.
[0123]
The embodiment shown in FIG. 17 differs from the first embodiment shown in FIG. 1 in that an illumination
[0124]
Although the invention of the present application has been described above, the present invention can be implemented by a computer-executable program that executes the functional units disclosed in the present embodiment. In this case, in the first embodiment, a program that realizes the face
[0125]
【The invention's effect】
The first effect is that the face orientation can be evaluated using features specific to a specific face orientation, such as the left-right symmetry of the front face.
[0126]
Therefore, for the frontal face, the face orientation can be evaluated without using a template by evaluating the left-right symmetry. The reason is that the face direction is estimated by searching for a face direction conversion parameter that makes the converted face most satisfy the face characteristics in the specific direction.
[Brief description of the drawings]
FIG. 1 is a block diagram of a first embodiment of the present invention.
FIG. 2 is a diagram showing an input face image facing in a direction of +30 degrees.
FIG. 3 is a diagram showing conversion of a −20-degree face three-dimensional shape model to the front.
FIG. 4 is a diagram in which an input image is mapped to a -20 degree face three-dimensional shape model.
FIG. 5 is a diagram showing feature points of the face, showing both eyes, ends of both mouths, nostrils, and both ends of both eyebrows from the left.
FIG. 6 is a diagram showing conversion of a + 30-degree face three-dimensional shape model to the front.
FIG. 7 is a diagram in which an input image is mapped to a + 30-degree face three-dimensional shape model.
FIG. 8 is a flowchart for explaining the operation of the present invention.
FIG. 9 is a flowchart for explaining the operation of the present invention.
FIG. 10 is a flowchart for explaining the operation of the second embodiment of the present invention.
FIG. 11 is a diagram showing conversion of a + 30-degree face three-dimensional shape model to the side.
FIG. 12 is a flowchart illustrating the operation of the third embodiment of the present invention.
FIG. 13 is a flowchart for explaining the operation of the fifth embodiment of the present invention.
FIG. 14 is a diagram showing a face three-dimensional shape model using an ellipsoid.
FIG. 15 is a diagram illustrating an example of an image subjected to illumination fluctuation.
FIG. 16 is a block diagram of an eighth embodiment of the present invention.
FIG. 17 is a block diagram of a ninth embodiment of the present invention.
FIG. 18 is a diagram illustrating an example of face direction conversion using mapping.
FIG. 19 is a diagram illustrating an example of face direction conversion using mapping.
FIG. 20 is a block diagram illustrating a conventional technique.
[Explanation of symbols]
1 Image input device
2 Face direction changing means
3 Specific direction face direction evaluation means
4 Face direction output means
10. Lighting fluctuation removal means for arbitrary face orientation
11 Illumination fluctuation removal means for specific face orientation
Claims (21)
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換手段と、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価手段と、
を備えることを特徴とする顔向き推定装置。In a face direction estimating device for estimating the direction of a face in an image,
A face direction conversion means for creating a face direction converted face by performing image processing for converting the direction of the face in the image,
A specific direction face direction evaluation means for evaluating the direction of the face of the face direction converted face,
A face direction estimating device comprising:
顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、
前記照明変動除去手段は、前記顔向き変換手段により作成された顔向き変換顔について照明変動の影響を除去した画像を生成し、
前記特定方向顔向き評価手段は、前記照明変動の影響が除去された画像を用いて、顔の向きを推定することを特徴とする顔向き推定装置。The face direction estimating apparatus according to claim 1,
The image processing apparatus further includes an illumination variation removing unit configured to remove an influence of illumination variation from the face image,
The illumination variation removing unit generates an image from which the influence of illumination variation has been removed for the face direction converted face created by the face direction converting unit,
The face direction estimating apparatus, wherein the specific direction face direction evaluation unit estimates a face direction using an image from which the influence of the illumination fluctuation has been removed.
顔画像から照明変動の影響を除去する照明変動除去手段をさらに備え、
前記照明変動除去手段は、
前記画像について照明変動の影響を除去した画像を生成し、
前記顔向き変換手段は、
前記照明変動除去手段で生成した画像中の顔の向きを変換する画像処理を施し、
顔向き変換顔を作成することを特徴とする顔向き推定装置。The face direction estimating apparatus according to claim 1,
The image processing apparatus further includes an illumination variation removing unit configured to remove an influence of illumination variation from the face image,
The illumination fluctuation removing means,
Generate an image with the effect of illumination fluctuations removed for the image,
The face direction conversion means,
Perform image processing to convert the orientation of the face in the image generated by the illumination fluctuation removal means,
A face direction estimating device for creating a face direction converted face.
前記特定方向顔向き評価手段は、
複数の特定方向顔画像の平均を求めることにより特定方向平均顔を予め生成しておき、前記顔向き変換顔と上記特定方向平均顔との類似度により特定方向顔向き評価を行うことを特徴とする顔向き推定装置。The face direction estimating apparatus according to any one of claims 1 to 3,
The specific direction face orientation evaluation means,
A specific direction average face is generated in advance by calculating an average of a plurality of specific direction face images, and a specific direction face direction is evaluated based on the similarity between the face direction converted face and the specific direction average face. Face direction estimating device.
前記特定方向顔向き評価手段は、
前記画像中の顔の向きを推定する方向として正面を用い、前記顔向き変換顔の正面顔らしさを評価する正面顔向き評価手段を備えたことを特徴とする顔向き推定装置。The face direction estimating apparatus according to any one of claims 1 to 4,
The specific direction face orientation evaluation means,
A face direction estimating apparatus comprising: a front face direction estimating unit that evaluates a front face likeness of the face direction converted face by using a front as a direction for estimating a face direction in the image.
前記正面顔向き評価手段は、
前記特定方向顔向き評価手段が前記正面顔向き評価を顔向き変換顔の左右対称性の度合いにより正面向き評価することを特徴とする顔向き推定装置。The face direction estimating device according to claim 5,
The front face orientation evaluation means,
A face direction estimating apparatus, wherein the specific direction face direction evaluation means evaluates the front face direction based on the degree of left-right symmetry of the face direction converted face.
前記正面顔向き評価手段は、
人物の正面顔の左右対称性の度合いを評価するために、前記特定方向顔向き評価手段が顔とその顔を左右反転した顔との類似度を計ることで正面顔評価を行うことを特徴とする顔向き推定装置。The face direction estimating device according to claim 6,
The front face orientation evaluation means,
In order to evaluate the degree of left-right symmetry of the frontal face of the person, the specific direction face direction evaluation means performs frontal face evaluation by measuring the similarity between the face and a face obtained by inverting the face. Face direction estimating device.
前記特定方向顔向き評価手段は、
前記画像中の顔の向きを評価する方向として真横を用い、前記顔向き変換顔の真横顔らしさを評価する真横顔向き評価手段を備えたことを特徴とする顔向き推定装置。The face direction estimating apparatus according to any one of claims 1 to 4,
The specific direction face orientation evaluation means,
A face direction estimating apparatus, comprising: a side-by-side face direction evaluation unit that uses the side-by-side direction as a direction to evaluate the direction of a face in the image, and evaluates the likelihood of the side-to-side face of the face-direction converted face.
前記顔向き変換手段は、
人物顔の特徴点の画像上の位置を用い、画像上の顔の向きを変更することを特徴とする顔向き推定装置。The face direction estimating apparatus according to any one of claims 1 to 8,
The face direction conversion means,
A face direction estimating apparatus characterized by using a position of a feature point of a human face on an image to change a face direction on the image.
前記顔向き変換手段は、人物顔の特徴点として両目、口の両端、鼻の左右の穴、両眉のうち、いずれか１つ、またはいずれかの組み合わせを用いることを特徴とする顔向き推定装置。The face direction estimating device according to claim 9,
The face direction estimating means uses one or a combination of both eyes, both ends of a mouth, left and right holes of a nose, and both eyebrows as feature points of a human face. apparatus.
前記顔向き変換手段は、人物顔の特徴点として目、口の端、鼻の穴、眉のうち、いずれか１つ、またはいずれかの組み合わせを用いることを特徴とする顔向き推定装置。The face direction estimating device according to claim 9,
The face direction estimating apparatus is characterized in that the face direction conversion means uses any one or a combination of an eye, an end of a mouth, a nostril, and an eyebrow as a feature point of a human face.
前記顔向き変換手段は、人の顔の立体形状を記述した顔立体形状モデルに顔画像をマッピングし方向変換させることを特徴とする顔向き推定装置。The face direction estimating apparatus according to any one of claims 9 to 11,
The face direction estimating device, wherein the face direction conversion means maps a face image to a face three-dimensional shape model describing a three-dimensional shape of a human face and changes the direction of the face image.
前記顔向き変換手段は、人の顔の立体形状モデルとして複数人の顔形状の平均として記述した顔立体形状モデルを用いることを特徴とする顔向き推定装置。The face direction estimating apparatus according to claim 12,
A face direction estimating apparatus, wherein the face direction conversion means uses a face three-dimensional shape model described as an average of a plurality of face shapes as a three-dimensional shape model of a human face.
前記顔向き変換手段は、前記顔立体形状モデルとして楕円体を用いることを特徴とする顔向き推定装置。The face direction estimating apparatus according to claim 12,
The face direction estimating device, wherein the face direction conversion unit uses an ellipsoid as the face three-dimensional shape model.
前記顔向き変換手段は、画像上の顔の向き変更を顔領域のイメージ・ワーピングにより行うことを特徴とする顔向き推定装置。The face direction estimating apparatus according to any one of claims 9 to 11,
A face direction estimating apparatus, wherein the face direction conversion means changes the direction of a face on an image by image warping of a face area.
画像上の顔の向きを変更するワーピング手段として予め学習画像により生成した変換パラメータを入力画像に適用することで顔向きを変更することを特徴とする顔向き推定装置。The face direction conversion means according to claim 15,
A face direction estimating apparatus characterized in that a face direction is changed by applying a conversion parameter generated by a learning image in advance to an input image as a warping means for changing a direction of a face on an image.
前記顔向き推定方向をいくつかの特定方向カテゴリーとして出力することを特徴とする顔向き推定装置。The face direction estimating apparatus according to any one of claims 1 to 16,
A face direction estimating apparatus, wherein the face direction estimating direction is output as some specific direction categories.
前記特定方向カテゴリーそれぞれを代表する方向のみに対し顔向き変換および評価を行うことで顔向きを特定方向カテゴリーとして出力することを特徴とする顔向き推定装置。The face direction estimating apparatus according to any one of claims 17 and 18,
A face direction estimating apparatus, wherein a face direction is output as a specific direction category by performing face direction conversion and evaluation only in a direction representing each of the specific direction categories.
画像中の顔の向きを変換する画像処理を施すことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
を含むことを特徴とする顔向き推定方法。In a face direction estimating method for estimating the direction of a face in an image,
A face direction conversion step of creating a face direction converted face by performing image processing for converting the direction of the face in the image,
A specific direction face direction evaluation step of evaluating the direction of the face of the face direction conversion face,
A face direction estimating method comprising:
画像中の顔の向きを変換する画像処理を施しすことで顔向き変換顔を作成する顔向き変換ステップと、
前記顔向き変換顔の顔の向きを評価する特定方向顔向き評価ステップと、
をコンピュータに実行させることを特徴とする顔向き推定プログラム。In a face direction estimating program for estimating the direction of a face in an image,
A face direction conversion step of creating a face direction converted face by performing image processing for converting the direction of the face in the image;
A specific direction face direction evaluation step of evaluating the direction of the face of the face direction conversion face,
A face direction estimating program characterized by causing a computer to execute.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002253328A JP4238542B2 (en) | 2002-08-30 | 2002-08-30 | Face orientation estimation apparatus, face orientation estimation method, and face orientation estimation program |
| PCT/JP2003/010742 WO2004025564A1 (en) | 2002-08-30 | 2003-08-26 | Face direction estimation device, face direction estimation method, and face direction estimation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002253328A JP4238542B2 (en) | 2002-08-30 | 2002-08-30 | Face orientation estimation apparatus, face orientation estimation method, and face orientation estimation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004094491A true JP2004094491A (en) | 2004-03-25 |
| JP4238542B2 JP4238542B2 (en) | 2009-03-18 |
Family
ID=31986281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002253328A Expired - Lifetime JP4238542B2 (en) | 2002-08-30 | 2002-08-30 | Face orientation estimation apparatus, face orientation estimation method, and face orientation estimation program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4238542B2 (en) |
| WO (1) | WO2004025564A1 (en) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006158701A (en) * | 2004-12-08 | 2006-06-22 | Hitachi Medical Corp | Medical image processing apparatus |
| JP2006227739A (en) * | 2005-02-15 | 2006-08-31 | Toyota Motor Corp | Image processing device and image processing method |
| JP2007026073A (en) * | 2005-07-15 | 2007-02-01 | National Univ Corp Shizuoka Univ | Face posture detection system |
| JP2007272578A (en) * | 2006-03-31 | 2007-10-18 | Toyota Motor Corp | Image processing apparatus and method |
| JP2008130030A (en) * | 2006-11-24 | 2008-06-05 | Toyota Motor Corp | Face direction detection device |
| JP2008252296A (en) * | 2007-03-29 | 2008-10-16 | Kddi Corp | Face index preparation apparatus for moving image and face image tracking method thereof |
| JP2009025874A (en) * | 2007-07-17 | 2009-02-05 | Nec Corp | Face image registration device, face discrimination device, face image registration method, face identification method and face image registration program |
| JP2009043065A (en) * | 2007-08-09 | 2009-02-26 | Panasonic Corp | Face authentication device |
| US7522752B2 (en) | 2004-08-27 | 2009-04-21 | Aisin Seiki Kabushiki Kaisha | Central location of a face detecting device, method and program |
| JP2009199417A (en) * | 2008-02-22 | 2009-09-03 | Denso Corp | Face tracking device and face tracking method |
| JP2009237993A (en) * | 2008-03-27 | 2009-10-15 | Secom Co Ltd | Image monitoring device |
| JP2010103980A (en) * | 2008-09-09 | 2010-05-06 | Nec (China) Co Ltd | Image processing method, image processing apparatus, and system |
| US7756302B2 (en) | 2005-06-02 | 2010-07-13 | Seiko Epson Corporation | Method and apparatus for detecting face orientation, and recording medium having recorded program for executing the method |
| JP2010176531A (en) * | 2009-01-30 | 2010-08-12 | Secom Co Ltd | Image monitor |
| WO2011040513A1 (en) * | 2009-10-01 | 2011-04-07 | 三洋電機株式会社 | Image display device |
| KR101184097B1 (en) * | 2009-12-07 | 2012-09-18 | 삼성전자주식회사 | Method for determining frontal pose of face |
| JP2013110630A (en) * | 2011-11-22 | 2013-06-06 | Nippon Telegr & Teleph Corp <Ntt> | Conversation video display system |
| WO2013176263A1 (en) * | 2012-05-24 | 2013-11-28 | 株式会社日立国際電気 | Similar image search system |
| JP2013254999A (en) * | 2012-06-05 | 2013-12-19 | Nippon Telegr & Teleph Corp <Ntt> | Image conversation system |
| WO2015005426A1 (en) * | 2013-07-10 | 2015-01-15 | グローリー株式会社 | Face matching device, face matching method and face matching program |
| JP2015018399A (en) * | 2013-07-10 | 2015-01-29 | グローリー株式会社 | Face collation device, face collation method, and face collation program |
| JP2015018401A (en) * | 2013-07-10 | 2015-01-29 | グローリー株式会社 | Face collation device, face collation method, and face collation program |
| US8971613B2 (en) | 2010-07-07 | 2015-03-03 | Nec Corporation | Image processing learning device, image processing learning method, and image processing learning program |
| US9349038B2 (en) | 2012-09-11 | 2016-05-24 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating position of head, computer readable storage medium thereof |
| US9412010B2 (en) | 2011-07-15 | 2016-08-09 | Panasonic Corporation | Posture estimation device, posture estimation method, and posture estimation program |
| EP3336753A2 (en) | 2016-12-13 | 2018-06-20 | Fujitsu Limited | Face direction estimation device and face direction estimation method |
| JP2018101212A (en) * | 2016-12-19 | 2018-06-28 | 矢崎総業株式会社 | On-vehicle device and method for calculating degree of face directed to front side |
| KR101906431B1 (en) * | 2017-07-20 | 2018-10-11 | 네이버랩스 주식회사 | Method and system for 3d modeling based on 2d image recognition |
| KR20200108196A (en) * | 2019-03-08 | 2020-09-17 | 동국대학교 산학협력단 | Device and method for estimating driver's distraction |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2019208182B2 (en) | 2018-07-25 | 2021-04-08 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
| US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11203455A (en) * | 1998-01-09 | 1999-07-30 | Omron Corp | Image generating device, its method and recording medium |
| JP2000306095A (en) * | 1999-04-16 | 2000-11-02 | Fujitsu Ltd | Image collation/retrieval system |
| JP3926059B2 (en) * | 1999-05-12 | 2007-06-06 | 日本電気株式会社 | Image collation device, image collation method thereof, and recording medium recording control program thereof |
| JP4675492B2 (en) * | 2001-03-22 | 2011-04-20 | 本田技研工業株式会社 | Personal authentication device using facial images |
-
2002
- 2002-08-30 JP JP2002253328A patent/JP4238542B2/en not_active Expired - Lifetime
-
2003
- 2003-08-26 WO PCT/JP2003/010742 patent/WO2004025564A1/en active Application Filing
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7522752B2 (en) | 2004-08-27 | 2009-04-21 | Aisin Seiki Kabushiki Kaisha | Central location of a face detecting device, method and program |
| JP2006158701A (en) * | 2004-12-08 | 2006-06-22 | Hitachi Medical Corp | Medical image processing apparatus |
| JP2006227739A (en) * | 2005-02-15 | 2006-08-31 | Toyota Motor Corp | Image processing device and image processing method |
| US7756302B2 (en) | 2005-06-02 | 2010-07-13 | Seiko Epson Corporation | Method and apparatus for detecting face orientation, and recording medium having recorded program for executing the method |
| JP4501003B2 (en) * | 2005-07-15 | 2010-07-14 | 国立大学法人静岡大学 | Face posture detection system |
| JP2007026073A (en) * | 2005-07-15 | 2007-02-01 | National Univ Corp Shizuoka Univ | Face posture detection system |
| JP2007272578A (en) * | 2006-03-31 | 2007-10-18 | Toyota Motor Corp | Image processing apparatus and method |
| JP2008130030A (en) * | 2006-11-24 | 2008-06-05 | Toyota Motor Corp | Face direction detection device |
| JP4577301B2 (en) * | 2006-11-24 | 2010-11-10 | トヨタ自動車株式会社 | Face orientation detection device |
| JP2008252296A (en) * | 2007-03-29 | 2008-10-16 | Kddi Corp | Face index preparation apparatus for moving image and face image tracking method thereof |
| JP2009025874A (en) * | 2007-07-17 | 2009-02-05 | Nec Corp | Face image registration device, face discrimination device, face image registration method, face identification method and face image registration program |
| JP2009043065A (en) * | 2007-08-09 | 2009-02-26 | Panasonic Corp | Face authentication device |
| JP2009199417A (en) * | 2008-02-22 | 2009-09-03 | Denso Corp | Face tracking device and face tracking method |
| JP2009237993A (en) * | 2008-03-27 | 2009-10-15 | Secom Co Ltd | Image monitoring device |
| JP2010103980A (en) * | 2008-09-09 | 2010-05-06 | Nec (China) Co Ltd | Image processing method, image processing apparatus, and system |
| JP4642128B2 (en) * | 2008-09-09 | 2011-03-02 | エヌイーシー（チャイナ）カンパニー， リミテッド | Image processing method, image processing apparatus and system |
| JP2010176531A (en) * | 2009-01-30 | 2010-08-12 | Secom Co Ltd | Image monitor |
| JP5442746B2 (en) * | 2009-10-01 | 2014-03-12 | 三洋電機株式会社 | Image display device |
| WO2011040513A1 (en) * | 2009-10-01 | 2011-04-07 | 三洋電機株式会社 | Image display device |
| KR101184097B1 (en) * | 2009-12-07 | 2012-09-18 | 삼성전자주식회사 | Method for determining frontal pose of face |
| US8811744B2 (en) | 2009-12-07 | 2014-08-19 | Samsung Electronics Co., Ltd | Method for determining frontal face pose |
| US8971613B2 (en) | 2010-07-07 | 2015-03-03 | Nec Corporation | Image processing learning device, image processing learning method, and image processing learning program |
| US9412010B2 (en) | 2011-07-15 | 2016-08-09 | Panasonic Corporation | Posture estimation device, posture estimation method, and posture estimation program |
| JP2013110630A (en) * | 2011-11-22 | 2013-06-06 | Nippon Telegr & Teleph Corp <Ntt> | Conversation video display system |
| US9135273B2 (en) | 2012-05-24 | 2015-09-15 | Hitachi Kokusai Electric Inc. | Similar image search system |
| WO2013176263A1 (en) * | 2012-05-24 | 2013-11-28 | 株式会社日立国際電気 | Similar image search system |
| JP2013254999A (en) * | 2012-06-05 | 2013-12-19 | Nippon Telegr & Teleph Corp <Ntt> | Image conversation system |
| US9349038B2 (en) | 2012-09-11 | 2016-05-24 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating position of head, computer readable storage medium thereof |
| WO2015005426A1 (en) * | 2013-07-10 | 2015-01-15 | グローリー株式会社 | Face matching device, face matching method and face matching program |
| JP2015018401A (en) * | 2013-07-10 | 2015-01-29 | グローリー株式会社 | Face collation device, face collation method, and face collation program |
| JP2015018399A (en) * | 2013-07-10 | 2015-01-29 | グローリー株式会社 | Face collation device, face collation method, and face collation program |
| EP3336753A2 (en) | 2016-12-13 | 2018-06-20 | Fujitsu Limited | Face direction estimation device and face direction estimation method |
| JP2018097573A (en) * | 2016-12-13 | 2018-06-21 | 富士通株式会社 | Computer program for estimating orientation of face, device for estimating orientation of face, and method of estimating orientation of face |
| US10740923B2 (en) | 2016-12-13 | 2020-08-11 | Fujitsu Limited | Face direction estimation device and face direction estimation method for estimating the direction of a face represented on an image |
| JP2018101212A (en) * | 2016-12-19 | 2018-06-28 | 矢崎総業株式会社 | On-vehicle device and method for calculating degree of face directed to front side |
| KR101906431B1 (en) * | 2017-07-20 | 2018-10-11 | 네이버랩스 주식회사 | Method and system for 3d modeling based on 2d image recognition |
| KR20200108196A (en) * | 2019-03-08 | 2020-09-17 | 동국대학교 산학협력단 | Device and method for estimating driver's distraction |
| KR102236469B1 (en) * | 2019-03-08 | 2021-04-07 | 동국대학교 산학협력단 | Device and method for estimating driver's distraction |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2004025564A1 (en) | 2004-03-25 |
| JP4238542B2 (en) | 2009-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4238542B2 (en) | Face orientation estimation apparatus, face orientation estimation method, and face orientation estimation program | |
| US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
| JP4556873B2 (en) | Image collation system and image collation method | |
| JP5873442B2 (en) | Object detection apparatus and object detection method | |
| JP4284664B2 (en) | Three-dimensional shape estimation system and image generation system | |
| US7486808B2 (en) | Image processing device, image processing method and image processing program | |
| JP4445454B2 (en) | Face center position detection device, face center position detection method, and program | |
| WO2009091029A1 (en) | Face posture estimating device, face posture estimating method, and face posture estimating program | |
| JP4774818B2 (en) | Image processing apparatus and image processing method | |
| WO2016107638A1 (en) | An image face processing method and apparatus | |
| JP2007042072A (en) | Tracking apparatus | |
| JP6822482B2 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
| JP5170094B2 (en) | Spoofing detection system, spoofing detection method, and spoofing detection program | |
| JP2000339476A (en) | Eye position and face position detection device | |
| JP2018163648A (en) | Image processor, method for image processing, and program | |
| JP4874914B2 (en) | Jaw position calculation apparatus, image processing apparatus using the same, jaw position calculation method, and program | |
| JP6942566B2 (en) | Information processing equipment, information processing methods and computer programs | |
| JPWO2020213166A1 (en) | Image processing device, image processing method, and image processing program | |
| JP2007312206A (en) | Imaging apparatus and image reproducing apparatus | |
| JP6098133B2 (en) | Face component extraction device, face component extraction method and program | |
| JP2000268161A (en) | Real time expression detector | |
| JP2005092451A (en) | Head detector and head detecting method and head detecting program | |
| JPH11306348A (en) | Method and device for object detection | |
| JP4623320B2 (en) | Three-dimensional shape estimation system and image generation system | |
| JPH11283036A (en) | Object detector and object detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20021129 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050308 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050715 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070115 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20080606 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081208 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4238542 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| EXPY | Cancellation because of completion of term |