JP2004199386A - 顔画像合成装置および顔画像の瞬き検出方法 - Google Patents
顔画像合成装置および顔画像の瞬き検出方法 Download PDFInfo
- Publication number
- JP2004199386A JP2004199386A JP2002367010A JP2002367010A JP2004199386A JP 2004199386 A JP2004199386 A JP 2004199386A JP 2002367010 A JP2002367010 A JP 2002367010A JP 2002367010 A JP2002367010 A JP 2002367010A JP 2004199386 A JP2004199386 A JP 2004199386A
- Authority
- JP
- Japan
- Prior art keywords
- state
- image
- eye
- image data
- open
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】電球を配設することなく、自然に被験者を撮影しても、瞬きを検出することができる顔画像合成装置および顔画像の瞬き検出方法を提供。
【解決手段】キャラクタ動画生成装置10は、画像入力部12で顔画像を撮影し、顔画像蓄積部14に顔の画像データ12aとして蓄積し、読み出した画像データ14aを表情抽出部16に供給し、目について状態判断部16aで単に目を撮影し、この目を覆う瞼により目がどのような状態にあるかを判断し、この判定結果を含む表情情報16iをキャラクタ動画生成部20に出力する。キャラクタ動画生成部20は、キャラクタ蓄積部18からのキャラクタ画像データ18aに表情情報16iを反映させたキャラクタ画像データ20aをディスプレイ22に送って表示させる。
【選択図】 図１
【解決手段】キャラクタ動画生成装置10は、画像入力部12で顔画像を撮影し、顔画像蓄積部14に顔の画像データ12aとして蓄積し、読み出した画像データ14aを表情抽出部16に供給し、目について状態判断部16aで単に目を撮影し、この目を覆う瞼により目がどのような状態にあるかを判断し、この判定結果を含む表情情報16iをキャラクタ動画生成部20に出力する。キャラクタ動画生成部20は、キャラクタ蓄積部18からのキャラクタ画像データ18aに表情情報16iを反映させたキャラクタ画像データ20aをディスプレイ22に送って表示させる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、顔画像合成装置および顔画像の瞬き検出方法に関し、本発明の顔画像合成装置は、たとえば被対象の顔を撮影し、その顔が表す表情をモデル化した画像に反映させるモデル動画生成装置等に適用して好適なものであり、また、本発明の顔画像の瞬き検出方法は、たとえば角膜反射像の観測をしないで瞼の動きを検出する方法として好適なものである。
【０００２】
【従来の技術】
カメラで撮影した顔画像から目の瞬きを検出し、3次元人物モデルに目の瞬きを行わせる人物の実時間認識合成方法が提案されている（特許文献１の特許第2534617号を参照）。この方法は、撮影した人物（被験者）の顔にマーカを貼り付け、この被験者を撮影した画像中のマーカを追跡することにより、顔の動きを検出する。
【０００３】
また、この方法では、カメラの横に光源として電球を設置し、光源の点灯時に生じる電球の角膜反射像が観測できたか否かの結果に応じて目の瞬きを検出している。人物モデルにおける瞼の動作は、検出された顔の動きおよび瞬きの検出結果に基づき行われている。
【０００４】
【特許文献１】
特許第2534617号
【特許文献２】
特許第3055666号。
【０００５】
【発明が解決しようとする課題】
ところで、上述した方法は、被験者の顔にマーカを貼り付けて撮影を行うことになる。このため、この方法には、第１に、実施する際にマーカを貼り付ける作業が要求され、被験者にも不快感を与えてしまう。また、瞬きの検出には、光源が用いられる。さらに、瞬きの検出において行われる角膜反射像の観測は、光源の設置位置により難しくなってしまう場合がある。
【０００６】
本発明はこのような従来技術の欠点を解消し、電球を配設することなく、自然に被験者を撮影しても、瞬きを検出することができる顔画像合成装置および顔画像の瞬き検出方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、対象にする人物の顔画像を撮影し、この撮影した顔画像を画像データにして出力する撮影手段と、この画像データを蓄積する第１のデータ蓄積手段と、この蓄積した画像データを用いて、人物の顔に表れる表情を抽出する表情抽出手段と、人物の顔画像に対する顔のモデル画像を蓄積する第２の蓄積手段と、第２の蓄積手段から読み出した顔のモデル画像に抽出した表情を反映させた顔のモデル画像を生成し、この生成した顔のモデル画像から動画を生成する表情合成手段とを含み、表情抽出手段は、人物の顔を特徴付ける器官の一つである目においてこの目に光源の像を形成させずにこの目を撮影し、この目の表面を覆い開閉する瞼がどのような状態にあるかを判断する状態判断手段を含むことを特徴とする。
【０００８】
本発明の顔画像合成装置は、撮影手段で撮影した顔画像を第１のデータ蓄積手段に保存し、この後、画像データを第１のデータ蓄積手段から読み出して表情抽出手段に供給する。表情抽出手段では、状態判断手段で瞼の状態から目の開閉状態がどのような状態にあるかを判断して表情合成手段に送る。第２の蓄積手段は、表情合成手段に顔のモデル画像を供給する。表情合成手段は、光源を用いずに目の開閉状態に合わせて、顔のモデル画像に表情を持たせる合成を行うことができる。
【０００９】
また、本発明は上述の課題を解決するために、対象者の顔を撮影し、この顔が表す表情をモデル化した画像に反映させる際に、人物における顔の特徴を表す部位である目における瞬きを検出する方法において、この目に光源の像を形成させずにこの目を撮影し、この顔の撮影により得られる顔画像データを用いて、この顔画像に含まれる目の位置を検出する第１の工程と、この検出した目の位置を基に処理範囲に対応する領域を抽出する第２の工程と、この抽出した画像データを用いて、目の開閉状態に対応するそれぞれの処理によって得られる状態データを生成し、この状態データの差分値とあらかじめ設定された基準値の差分値とを比較して目の開閉状態を判定する第３の工程とを含むことを特徴とする。
【００１０】
本発明に係る顔画像の瞬き検出方法は、顔画像データ中の目の位置を検出し、顔画像データからこの位置を含む該当処理領域を抽出し、開閉状態それぞれの対応処理で得られる状態データを生成し、状態データの差分値と基準値の差分値とを比較して瞼の開閉状態による目の開状態または閉状態かを判定する。この際の判定には角膜反射像を用いていないので、光源が不要になる。
【００１１】
【発明の実施の形態】
次に添付図面を参照して本発明による顔画像合成装置の実施例を詳細に説明する。
【００１２】
本実施例は、本発明の顔画像合成装置をキャラクタ動画生成装置10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１３】
キャラクタ動画生成装置10には、図１に示すように、画像入力部12、顔画像蓄積部14、表情抽出部16、キャラクタ蓄積部18、キャラクタ動画生成部20およびディスプレイ22が含まれている。キャラクタ動画生成装置10は、角膜反射像を撮影するための光源となる電球の設置を不要としても、目の開閉状態を検出できる点に特徴がある。画像入力部12は、固体撮像装置を用いる。固体撮像装置には、CCD（Charge Coupled Device)タイプやC-MOS（Complementary-Metal Oxide Semiconductor)タイプがある。画像入力部12は、動画撮影した顔画像信号をディジタル化した動画像データ12aを顔画像蓄積部14に出力する。
【００１４】
顔画像蓄積部14は、画像入力部12から供給される動画像データ12aを記憶するストレージである。顔画像蓄積部14は、供給される動画像データ12aを一時的に蓄積し、直ちに送出する場合、半導体メモリでもよい。また、顔画像蓄積部14には、長時間にわたる動画像データ12aの蓄積を行う場合、ハードディスク装置等が用いられる。顔画像蓄積部14は、蓄積した動画像データ12aを図示しないシステム制御部の制御に応じて動画像データ14aとして読み出して、表情抽出部16に送出する。
【００１５】
表情抽出部16は、動画像を構成する顔画像における各フレーム画像に含まれる顔の表情を抽出する。表情の抽出とは、時間とともに変化する顔の部位である目、眉毛、鼻、口等に設けた特徴点の位置変位等を検出することによって人間による表情の特徴を表出させる手法である。
【００１６】
表情抽出部16には、特に、目に関して開閉状態を検出する状態判断部16aが含まれている。状態判断部16aには、両眼位置検出部16bおよび開閉判定部16cが備えられている。両眼位置検出部16bは、供給される顔に関する一枚のフレーム画像データを用いてテンプレートを作成する。撮影対象者のテンプレートは、対象者毎にあらかじめ作成し、このテンプレートにおける目の中心位置も決定しておく。両眼位置検出部16bは、供給されたテンプレートと撮影対象者のテンプレートとのマッチング処理を施して、一致するテンプレートを検索するテンプレートマッチング手法を用いる。両眼位置検出部16bは、検索結果が一致した際に供給されるテンプレートにおける目の中心位置を決定し、中心位置情報16dを開閉判定部16cに送る。
【００１７】
開閉判定部16cには、図２に示すように、領域抽出回路160、フィルタバンク162、状態決定部164を含んでいる。領域抽出回路160には、フレーム画像データ14aおよび中央位置情報16dが供給される。領域抽出回路160は、中央位置情報16dを基にフレーム画像データ14aの中から目の開閉判定処理に使用する画像データの抽出を行う機能を有している。領域抽出回路160は、抽出した画像データ16eをフィルタバンク162に供給する。
【００１８】
フィルタバンク162は、２つのガボールフィルタ1620, 1622を有している。ガボールフィルタ1620, 1622は、目の開いた状態と目の閉じた状態にそれぞれ対応している。ガボールフィルタについてはさらに後段にて詳述する。フィルタバンク162は、フィルタ出力162a, 162bを状態決定部164に出力する。
【００１９】
状態決定部164には、加算器1640および比較判定部1642が含まれている。加算器1640には、端子1640aにフィルタ出力162aが加算入力され、端子1640bにフィルタ出力162bが減算入力される。加算器1640は、演算結果として差分値d（16f）を比較判定回路1642に出力する。
【００２０】
比較判定回路1642は、目の開閉状態がいずれにあるか判定する機能を有している。比較判定回路1642には、加算器1640からの差分値d（16f）が供給されるとともに、あらかじめ外部から目の開状態と閉状態の基準値16gが供給されている。比較判定回路1642は、供給される２つの基準値16gの差分値Dを求め、目の開いた際の大きさとしている。差分値Dに係数kを乗算して得られた値と差分値dと比較する。ここで、係数kは、たとえば、0.25<k<0.5の範囲とする。比較判定回路1642は、撮影対象者の目が開いているか否かの開閉情報16hを出力する。
【００２１】
図１に戻って、開閉判定部16cは、目の開閉状態を判定した結果、すなわち開閉情報16hを状態判断部16aの出力として表情抽出部16に出力する。さらに、表情抽出部16は、目以外の特徴点からの変位情報等と開閉情報16hとを合わせた表情情報16iをキャラクタ動画生成部20に供給する。
【００２２】
キャラクタ蓄積部18は、モデル画像に対応するキャラクタ画像データを蓄積するストレージである。キャラクタ蓄積部18には、図示していないが、たとえば、外部のサーバと通信接続し、所望するキャラクタ画像データをダウンロードして格納する機能も有している。キャラクタ画像データには、２次元または３次元の画像データがある。キャラクタ蓄積部18は、ユーザ（操作者）によって選択されたキャラクタ画像データ18aをキャラクタ動画生成部20に供給する。
【００２３】
キャラクタ動画生成部20は、供給されるキャラクタ画像データ18aに表情情報16iを基に表情を持たせるようにキャラクタ画像データを変形させる機能を有している。キャラクタ動画生成部20は、たとえば供給される表情情報16iを用いて各特徴点のずれ量や開閉状態を反映させた変形パラメータに変換し、この変形パラメータに基づき変形したキャラクタ画像を生成する。さらに、キャラクタ動画生成部20は、テクスチャマッピング・レンダリング処理等順次行って一つのキャラクタ画像を生成する。表示を終了しない限り、このキャラクタ画像の生成が所定の動画表示間隔を満足するように行われる。この繰返し処理により動画が生成される。キャラクタ動画生成部20は、それぞれ生成したキャラクタ画像データ20aをディスプレイ22に送る。より具体的には、特許第3055666号に記載されている。
【００２４】
ディスプレイ22は、携帯機器に搭載する場合、液晶ディスプレイが有利である。また、ディスプレイ22は、液晶ディスプレイに限定されるものでなく、この他の方式を用いるプラズマディスプレイやCRT（Cathode-Ray Tube)でもよい。ディスプレイ22には、生成したキャラクタ画像が表示される。
【００２５】
次にキャラクタ動画生成装置10の動作を簡単に説明する。まず、撮影対象者の顔を画像入力部12で撮影する（ステップS10）。これにより図4(a)に示すような顔画像が得られる。図３に戻って、得られた顔の画像データ12aを顔画像蓄積部14に保存する（ステップS12）。この書込み後、顔画像蓄積部14は、１フレームの顔の画像データ14aとして読み出す（ステップS14）。画像データ14aは、表情抽出部16に供給される。あらわに図示していないが、動作終了の指示がない限り、たとえばステップS10からステップS14の処理は、動画撮影の関係を維持するように動作させている。
【００２６】
表情抽出部16の両眼位置検出部16bでは、前述したテンプレートマッチングを用いて目の中心位置が決定される（ステップS16)。図4(b)に示す顔画像は、目の中心位置C1, C2をそれぞれクロス記号で示す。そして、得られた中央位置情報16dを基に領域抽出回路160では、顔の画像データ14aから図4(c)に示す枠160a, 160b内を目の領域として抽出する（ステップS18）。目の領域の画像データ16eがフィルタバンク162に供給される。次に目が開状態か否かの判定に進む（サブルーチンSUB1へ）。
【００２７】
目が開状態と目が閉状態とそれぞれ判定する（サブルーチンSUB1）。この判定については後段でさらに説明する。表情抽出部16は、目に関する開閉状態の結果を含む表情情報16iをキャラクタ動画生成部20に供給する。
【００２８】
キャラクタ動画生成部20では、キャラクタ画像データ18aに表情情報16iを考慮して一枚のフレーム画像を合成し、生成する（ステップS20）。生成されたフレーム画像データ20aがキャラクタ動画生成部20からディスプレイ22に供給される。ディスプレイ22では、供給されたフレーム画像を表示する（ステップS22）。この後、上述した一連の処理を繰り返すか否かの判断が行われる（ステップS24）。すなわち、処理を繰り返す場合（NO）、供給される顔の画像データ14aから表情抽出する処理に戻る。これに対応して目の位置検出が行われる（ステップS16へ）。また、処理を終了する場合（YES）、キャラクタ動画生成装置10の動作を終了させる。
【００２９】
次に開閉判定処理（サブルーチンSUB1）を説明する。図５に示すように、領域抽出回路160から供給される画像データ16eにフィルタバンク162に供給される。フィルタバンク162には、目の開いた状態に対応するガボールフィルタと目の閉じた状態に対応するガボールフィルタが含まれ、各フィルタにより供給される画像データ16eに対してフィルタ処理が施される（サブステップSS10）。
【００３０】
ここで、フィルタバンク162が有するガボールフィルタについて説明する。ガボールフィルタは、ガウス関数を窓関数に用いたガボール関数（Gabor function)の処理結果を出力するものである。本実施例のガボール関数G(x0,y0)は、
【００３１】
【数１】
と表される。
ここで、x0, y0は、フィルタ座標系の位置、x, yは画像の座標系における位置で、fA, fBはそれぞれx-方向とy-方向の影響範囲を示す。また、u0, v0はそれぞれx-方向とy-方向の周波数である。このとき、ガボールフィルタは、次式のフィルタ出力を出力する。
【００３２】
【数２】
ここで、g(x,y)はフィルタの出力値である。A(x,y)は画素の輝度値で、たとえば0〜255の範囲にわたる値で設定される。wxはガボールフィルタの幅で、wyはガボールフィルタの高さである。
【００３３】
ガボールフィルタは、窓関数の範囲外でゼロにすることから、画像の位置データx, yを入力してガボール変換し、さらに画素の輝度値を考慮してフィルタの出力値を出力することにより、図6(a), (b)に示すように顔画像における目の開いた範囲を検出する。このため、図２に示すようにガボールフィルタ1620, 1622が、少なくとも、目の開いた状態と目の閉じた状態を検出するフィルタとして用いられる。目の開いた状態と目の閉じた状態は、ガボールフィルタの影響範囲fAとfBにより規定される。
【００３４】
目の開いた状態と目の閉じた状態の判定は図７に示すような原理によって行われる。図7(a)に示すように顔画像のうち、開いた目の周辺画像を開いた目用のガボールフィルタ1620に入力すると、ガボールフィルタ1620は、入力に応じて実部と虚部のパターンがそれぞれ得られる。さらにガボールフィルタ1620にてさらに統計的な処理等を施して、ガボールフィルタ1620は、たとえば５個のデータを出力する。このフィルタ出力の内、黒（図中のクロスハッチング部分）が示すデータはフィルタ出力値が小さいにもかかわらず、フィルタとの一致度が高いものとする。一方、白が示すデータはフィルタ出力値が大きいにもかかわらず、フィルタとの一致度が低いものとする。
【００３５】
また、図7(b)に示すように開いた目の周辺画像を閉じた目用のガボールフィルタ1622に入力すると、ガボールフィルタ1622は、図7(a)と実部と虚部のデータパターンがそれぞれ異なるパターンを生成する。ガボールフィルタ1622は、さらに各種の処理を行って５個のデータを出力する。このとき、得られるデータは、図7(b)に示すように白に近いことから一致度が低い。これにより、一致度の高いことを示すガボールフィルタは開いた目用のガボールフィルタ1620であることがわかり、入力画像が開いた目の状態にあったと判定できる。逆に、目を閉じた顔画像が入力されると、ガボールフィルタ1622が高い一致度を出力することにより、目を閉じた状態と判定する。
【００３６】
また、ガボールフィルタは、図示していないが、上述したような一致度を求めるためメモリと統計演算機能部を有している。１フレームの顔の画像データに対する２次元のフィルタ出力値を記憶する。記憶したフィルタ出力値を用いて統計演算機能部は、たとえばフィルタ出力値の統計値として平均値を算出する。
【００３７】
なお、統計演算機能部は、平均値の算出だけでなく、比較機能を用いて最大値・最小値を求めるようにしてもよい。
【００３８】
ガボールフィルタ1620は、開いた状態検出用で左目に対するフィルタ出力値をaL, 右目に対するフィルタ出力値をaRとする。ガボールフィルタ1622は、閉じた状態検出用で左目に対するフィルタ出力値をbL, 右目に対するフィルタ出力値をbRとする。ガボールフィルタ1620, 1622は、それぞれ同じ側の目に対するフィルタ出力値をそれぞれ加算器1640に出力する。
【００３９】
次に加算器1640では、差分値dを出力する（サブステップSS12）。ここでの差分値dは、左右の目を区別しない場合の差分値である。左右の目それぞれに対して求めるとき、差分値dL, dRと添字のLとRで区別している。差分値dLは（aL-bL), dRは（ａR-bR)である。加算器1640は、各目に対する差分値dL, dRを比較判定回路1642に供給する。
【００４０】
次に比較判定回路1642では、目の開いた状態と目の閉じた状態に対する基準値をそれぞれ読み込む（サブステップSS14）。基準値は、たとえば過去の判定結果に基づいて目の開いた状態と目の閉じた状態のフィルタ出力値をそれぞれ平均した値A, Bとする。このとき目の状態に加えて、左右の目を区別するために基準値AL, AR, BL, BRとする。基準値AL, AR, BL, BRは、図２に示すように本実施例では比較判定回路1642の外部から基準値16gとして供給される。
【００４１】
次に比較判定回路1642では、目の開いた状態と閉じた状態の基準値の差分値をDとして算出する（サブステップSS16）。さらに、左右を区別するために左目における基準値の差分値DL=AL-BL, 右目における基準値の差分値DR=AR-BRを求めている。
【００４２】
次に比較判定回路は、加算器1640から供給される現フレームにおける差分値dL, dRと基準値の差分値DL, DRとをそれぞれ比較し、現フレームにおける目の開閉状態を判定する（サブステップSS18）。ただし、基準値の差分値DL, DRには、本実施例では係数k（0.25<k<0.5）を乗算している。この場合、係数kの割合が目の開閉状態における基準になる。係数kは、外部から設定してもよい。
【００４３】
条件を満足するとき（YES)、目は閉じた状態と判定する。この判定を受けて比較判定回路1642は、目が開状態であることを示す開閉情報16hを出力する（サブステップSS20）。また、条件を満足しないとき（NO)、目は開いた状態と判定する。この場合、比較判定回路1642は、閉状態であることを示す開閉情報16hを出力する（サブステップSS22）。これら開閉情報16hを出力した後、リターンに移行してサブルーチンSUB1を終了する。
【００４４】
開閉判定について図８を用いて説明する。ここで、説明を簡単にするため目の区別はしない。図８において、目の開いた状態でのフィルタ出力値Aと目の閉じた状態でのフィルタ出力値Bは、それぞれ、過去の基準値で外部から供給される。時刻t1でのフレームに対するガボールフィルタ1620, 1622からフィルタ出力が出力される。このとき加算器1640で差分値dが得られる。比較判定回路1642では、基準値Aと基準値Bの差分値Dを求め、係数kを乗算した値と差分値dとを比較する。時刻t1にて得られた差分値dは、D×k=JDより小さい値であるから目を閉じた状態と判定される。また、時刻t2では、差分値d=A-Bである。この場合、差分値dは、D×k=JDより大きい値であるから目を開いた状態と判定される。
【００４５】
このようにフィルタ出力の差分値と基準値の差分値に係数kを乗算した判定基準JDとの比較により目の開閉状態を検知し、表情抽出部16から表情情報16iをキャラクタ動画生成部20に供給することができる。
【００４６】
キャラクタ動画生成装置10は、光源が不要になることから、設置の手間を省き、角膜反射像を得るため撮影対象者に眩しい思いをさせることもなくすことができる。開閉判定部に複数のフィルタを用いることにより、フィルタへの反応における個人差を抑え、良好に検出することができる。特に、撮影した現フレームの顔画像を用いて目の開閉状態が決定されることから、撮影対象者の瞬き等を含めた瞬間的な目の開閉状態をキャラクタの画像に反映させる上で有効である。
【００４７】
次にキャラクタ動画生成装置10における変形例について説明する。本実施例におけるキャラクタ動画生成装置10は、図９に示すように、比較判定回路1642に追加構成として仮判定メモリ42a、総合状態判定部42bおよび開閉情報蓄積部42cを含む点に特徴がある。仮判定メモリ42aは、開閉情報16hを格納するメモリである。仮判定メモリ42aは、一時保持した開閉情報420を総合状態決定部42bに供給する。
【００４８】
総合状態決定部42bは、現フレームの開閉情報420と過去の開閉情報422から総合的な条件を考慮して目の開閉状態を決定し、開閉情報を出力する機能を有している。また、開閉情報蓄積部42cは、過去の開閉情報を記憶しておくメモリである。開閉情報蓄積部42cは、総合判定状態決定部42bの開閉情報424を書き込み、総合判定状態決定部42bに過去の開閉情報422を読み出して、供給している。
【００４９】
本実施例の動作について図10を用いて説明する。比較判定回路1642は、現フレームに対する開閉情報16hを得るまで先の実施例と同じ手順である。開閉情報16hは、仮判定または仮決定の状態として仮判定メモリ42aに格納される。本実施例は過去の開閉情報422を条件に応じて優先的に使用する点に特徴がある。過去の開閉情報422が、図10(a)に示すように開閉情報蓄積部42cから総合判定状態決定部422に読み出されている。また、総合判定状態決定部422には、図10(b)に示すような開閉情報420が供給されている。
【００５０】
総合判定状態決定部422では、第１の条件として、目を開いているとの決定後、過去の開閉情報422が連続的に閉じた状態を仮判定として供給されている場合、総合判定は、閉じた状態とする。また、第２の条件として、目を閉じているとの決定後、過去の開閉情報422が連続的に開いた状態を仮判定して供給されている場合、総合判定は、開いた状態とする。
【００５１】
これについて具体的な例を図10(a), (b)に示す。図10(a), (b)には、それぞれ、過去の開閉情報422と現フレームとしての開閉情報16hが示されている。このとき、現フレームの開閉情報16hが時刻t3で開いた状態と仮判定しても、過去の開閉情報422がたとえば、連続してpフレーム閉状態にあれば、総合判定状態決定部42bは開閉情報424を閉状態にする。また、現フレームの開閉情報16hが時刻t4で閉じた状態と仮判定しても、過去の開閉情報422がたとえば、連続してqフレーム開状態にあれば、総合判定状態決定部42bは開閉情報424を開状態にする。
【００５２】
これらの条件のいずれにも該当しない場合を第３の条件として現フレームに対する直前のフレームで決定された目の開閉状態を現フレームの開閉状態とする。このような複数の条件を用いて現フレームの目の開閉状態をキャラクタに反映させるのでなく、一定期間連続したとき目の開閉動作を行わせる。これにより、ノイズ等により目の開閉検出が良好に行えなかった場合でも、この結果がキャラクタの動作に現れない。撮影対象者による目をウインクやこの対象者が寝ている場合等の目の動作を確実にキャラクタに反映させる場合に有効である。
【００５３】
なお、開閉情報蓄積部42cには、総合状態決定部42bの開閉情報424を蓄積させてるだけでなく、仮判定メモリ42aの仮判定した開閉情報16hを蓄積させてもよい。開閉情報16hの取得は、開閉判定部16cの方法に限定されるものでない。
【００５４】
以上のように構成することにより、表情抽出部で単に目を撮影し、この目を覆う瞼により目がどのような状態にあるかを判断して、これまでの光源を不要にして設置の手間を省くことができる。また、光源を使用した際に得られる角膜反射像の条件を考慮しなくても済む。したがって、使い勝手のよいキャラクタ動画生成装置を提供することができる。
【００５５】
また、開閉判定部に複数のフィルタを用いて、個人差を抑えて良好な判定を行うことができる。さらに、瞬間的な開閉の変化に対応して判定できるので、キャラクタの動作に反映させることができる。
【００５６】
比較判定部での判定において条件を考慮した総合的な判定を行うことにより、ノイズ等に強い判定を行うことができる。これにより、撮影対象者の目の動作をキャラクタに確実に反映させることができる。
【００５７】
顔画像の瞬き検出方法は、目の位置を検出し、検出した位置を基に領域を抽出し、この領域の画像データに処理を施して状態データを生成し、状態データの差分値とあらかじめ設定された基準値の差分値とを比較して目の開閉状態を判定することにより、これまで角膜反射像を得るために使用されてきた光源を不要にし、これにともなう設置条件を考慮した手間のかかる設置を行わずに済み、撮影対象者における目の動作に関して追従性の良好なキャラクタ動作を行わせることができる。
【００５８】
さらに、判定において条件を考慮して、ノイズ等に強い判定を行うことにより、撮影対象者の目の動作をキャラクタに確実に反映させることができる
【発明の効果】
このように本発明の顔画像合成装置によれば、撮影手段で撮影した顔画像を第１のデータ蓄積手段に保存し、この後、画像データを第１のデータ蓄積手段から読み出して表情抽出手段に供給し、表情抽出手段では、状態判断手段で瞼の状態から目の開閉状態がどのような状態にあるかを判断して表情合成手段に送り、第２の蓄積手段では、表情合成手段に顔のモデル画像を供給することにより、表情合成手段は、光源を用いずに目の開閉状態に合わせて、顔のモデル画像に表情を持たせる合成を行うことができる。したがって、顔画像合成装置の構成要素にこれまで含まれていた光源が不要にして、撮影対象者が被る照明による不快感をなくすことおよび照明の設置における位置調整をなくすことができる。使い勝手のよい顔画像合成装置を提供することができる。
【００５９】
また、顔画像の瞬き検出方法によれば、顔画像データ中の目の位置を検出し、顔画像データからこの位置を含む該当処理領域を抽出し、開閉状態それぞれの対応処理で得られる状態データを生成し、状態データの差分値と基準値の差分値とを比較して瞼の開閉状態による目の開状態または閉状態かを判定する。これにより、この際の判定には角膜反射像を用いないので、光源が不要にして構成要素の削減を図り、設置位置の調整等もなくすことができる。
【図面の簡単な説明】
【図１】本発明の顔画像合成装置を適用したキャラクタ動画生成装置の概略的な構成を示すブロック図である。
【図２】図１の状態判断部における概略的な構成を示すブロック図である。
【図３】図１のキャラクタ動画合成装置の動作手順を説明するフローチャートである。
【図４】図１のキャラクタ動画合成装置における顔画像と目の検出の関係を説明する図である。
【図５】図３の動作手順に含まれる開閉判定処理の手順を説明するフローチャートである。
【図６】図４に示した目の検出範囲での目の開閉状態を説明する図である。
【図７】ガボールフィルタによる目の開閉を判定する原理を説明する図である。
【図８】図５の開閉判定処理における判定基準JDと差分値dによる開閉判定を説明する図である。
【図９】図２に示した比較判定回路において追加された構成を示すブロック図である。
【図１０】図９の構成を適用した場合における目の開閉状態と総合判定の関係を説明する図である。
【符号の説明】
10 キャラクタ動画生成装置
12 画像入力部
14 顔画像蓄積部
16 表情抽出部
16a 状態判断部
16b 両眼位置検出部
16c 開閉判定部
18 キャラクタ蓄積部
20 キャラクタ動画生成部
22 ディスプレイ
160 領域抽出部
162 フィルタバンク
164 状態決定部
1620, 1622 ガボールフィルタ
1640 加算器
1642 比較判定回路
【発明の属する技術分野】
本発明は、顔画像合成装置および顔画像の瞬き検出方法に関し、本発明の顔画像合成装置は、たとえば被対象の顔を撮影し、その顔が表す表情をモデル化した画像に反映させるモデル動画生成装置等に適用して好適なものであり、また、本発明の顔画像の瞬き検出方法は、たとえば角膜反射像の観測をしないで瞼の動きを検出する方法として好適なものである。
【０００２】
【従来の技術】
カメラで撮影した顔画像から目の瞬きを検出し、3次元人物モデルに目の瞬きを行わせる人物の実時間認識合成方法が提案されている（特許文献１の特許第2534617号を参照）。この方法は、撮影した人物（被験者）の顔にマーカを貼り付け、この被験者を撮影した画像中のマーカを追跡することにより、顔の動きを検出する。
【０００３】
また、この方法では、カメラの横に光源として電球を設置し、光源の点灯時に生じる電球の角膜反射像が観測できたか否かの結果に応じて目の瞬きを検出している。人物モデルにおける瞼の動作は、検出された顔の動きおよび瞬きの検出結果に基づき行われている。
【０００４】
【特許文献１】
特許第2534617号
【特許文献２】
特許第3055666号。
【０００５】
【発明が解決しようとする課題】
ところで、上述した方法は、被験者の顔にマーカを貼り付けて撮影を行うことになる。このため、この方法には、第１に、実施する際にマーカを貼り付ける作業が要求され、被験者にも不快感を与えてしまう。また、瞬きの検出には、光源が用いられる。さらに、瞬きの検出において行われる角膜反射像の観測は、光源の設置位置により難しくなってしまう場合がある。
【０００６】
本発明はこのような従来技術の欠点を解消し、電球を配設することなく、自然に被験者を撮影しても、瞬きを検出することができる顔画像合成装置および顔画像の瞬き検出方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、対象にする人物の顔画像を撮影し、この撮影した顔画像を画像データにして出力する撮影手段と、この画像データを蓄積する第１のデータ蓄積手段と、この蓄積した画像データを用いて、人物の顔に表れる表情を抽出する表情抽出手段と、人物の顔画像に対する顔のモデル画像を蓄積する第２の蓄積手段と、第２の蓄積手段から読み出した顔のモデル画像に抽出した表情を反映させた顔のモデル画像を生成し、この生成した顔のモデル画像から動画を生成する表情合成手段とを含み、表情抽出手段は、人物の顔を特徴付ける器官の一つである目においてこの目に光源の像を形成させずにこの目を撮影し、この目の表面を覆い開閉する瞼がどのような状態にあるかを判断する状態判断手段を含むことを特徴とする。
【０００８】
本発明の顔画像合成装置は、撮影手段で撮影した顔画像を第１のデータ蓄積手段に保存し、この後、画像データを第１のデータ蓄積手段から読み出して表情抽出手段に供給する。表情抽出手段では、状態判断手段で瞼の状態から目の開閉状態がどのような状態にあるかを判断して表情合成手段に送る。第２の蓄積手段は、表情合成手段に顔のモデル画像を供給する。表情合成手段は、光源を用いずに目の開閉状態に合わせて、顔のモデル画像に表情を持たせる合成を行うことができる。
【０００９】
また、本発明は上述の課題を解決するために、対象者の顔を撮影し、この顔が表す表情をモデル化した画像に反映させる際に、人物における顔の特徴を表す部位である目における瞬きを検出する方法において、この目に光源の像を形成させずにこの目を撮影し、この顔の撮影により得られる顔画像データを用いて、この顔画像に含まれる目の位置を検出する第１の工程と、この検出した目の位置を基に処理範囲に対応する領域を抽出する第２の工程と、この抽出した画像データを用いて、目の開閉状態に対応するそれぞれの処理によって得られる状態データを生成し、この状態データの差分値とあらかじめ設定された基準値の差分値とを比較して目の開閉状態を判定する第３の工程とを含むことを特徴とする。
【００１０】
本発明に係る顔画像の瞬き検出方法は、顔画像データ中の目の位置を検出し、顔画像データからこの位置を含む該当処理領域を抽出し、開閉状態それぞれの対応処理で得られる状態データを生成し、状態データの差分値と基準値の差分値とを比較して瞼の開閉状態による目の開状態または閉状態かを判定する。この際の判定には角膜反射像を用いていないので、光源が不要になる。
【００１１】
【発明の実施の形態】
次に添付図面を参照して本発明による顔画像合成装置の実施例を詳細に説明する。
【００１２】
本実施例は、本発明の顔画像合成装置をキャラクタ動画生成装置10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１３】
キャラクタ動画生成装置10には、図１に示すように、画像入力部12、顔画像蓄積部14、表情抽出部16、キャラクタ蓄積部18、キャラクタ動画生成部20およびディスプレイ22が含まれている。キャラクタ動画生成装置10は、角膜反射像を撮影するための光源となる電球の設置を不要としても、目の開閉状態を検出できる点に特徴がある。画像入力部12は、固体撮像装置を用いる。固体撮像装置には、CCD（Charge Coupled Device)タイプやC-MOS（Complementary-Metal Oxide Semiconductor)タイプがある。画像入力部12は、動画撮影した顔画像信号をディジタル化した動画像データ12aを顔画像蓄積部14に出力する。
【００１４】
顔画像蓄積部14は、画像入力部12から供給される動画像データ12aを記憶するストレージである。顔画像蓄積部14は、供給される動画像データ12aを一時的に蓄積し、直ちに送出する場合、半導体メモリでもよい。また、顔画像蓄積部14には、長時間にわたる動画像データ12aの蓄積を行う場合、ハードディスク装置等が用いられる。顔画像蓄積部14は、蓄積した動画像データ12aを図示しないシステム制御部の制御に応じて動画像データ14aとして読み出して、表情抽出部16に送出する。
【００１５】
表情抽出部16は、動画像を構成する顔画像における各フレーム画像に含まれる顔の表情を抽出する。表情の抽出とは、時間とともに変化する顔の部位である目、眉毛、鼻、口等に設けた特徴点の位置変位等を検出することによって人間による表情の特徴を表出させる手法である。
【００１６】
表情抽出部16には、特に、目に関して開閉状態を検出する状態判断部16aが含まれている。状態判断部16aには、両眼位置検出部16bおよび開閉判定部16cが備えられている。両眼位置検出部16bは、供給される顔に関する一枚のフレーム画像データを用いてテンプレートを作成する。撮影対象者のテンプレートは、対象者毎にあらかじめ作成し、このテンプレートにおける目の中心位置も決定しておく。両眼位置検出部16bは、供給されたテンプレートと撮影対象者のテンプレートとのマッチング処理を施して、一致するテンプレートを検索するテンプレートマッチング手法を用いる。両眼位置検出部16bは、検索結果が一致した際に供給されるテンプレートにおける目の中心位置を決定し、中心位置情報16dを開閉判定部16cに送る。
【００１７】
開閉判定部16cには、図２に示すように、領域抽出回路160、フィルタバンク162、状態決定部164を含んでいる。領域抽出回路160には、フレーム画像データ14aおよび中央位置情報16dが供給される。領域抽出回路160は、中央位置情報16dを基にフレーム画像データ14aの中から目の開閉判定処理に使用する画像データの抽出を行う機能を有している。領域抽出回路160は、抽出した画像データ16eをフィルタバンク162に供給する。
【００１８】
フィルタバンク162は、２つのガボールフィルタ1620, 1622を有している。ガボールフィルタ1620, 1622は、目の開いた状態と目の閉じた状態にそれぞれ対応している。ガボールフィルタについてはさらに後段にて詳述する。フィルタバンク162は、フィルタ出力162a, 162bを状態決定部164に出力する。
【００１９】
状態決定部164には、加算器1640および比較判定部1642が含まれている。加算器1640には、端子1640aにフィルタ出力162aが加算入力され、端子1640bにフィルタ出力162bが減算入力される。加算器1640は、演算結果として差分値d（16f）を比較判定回路1642に出力する。
【００２０】
比較判定回路1642は、目の開閉状態がいずれにあるか判定する機能を有している。比較判定回路1642には、加算器1640からの差分値d（16f）が供給されるとともに、あらかじめ外部から目の開状態と閉状態の基準値16gが供給されている。比較判定回路1642は、供給される２つの基準値16gの差分値Dを求め、目の開いた際の大きさとしている。差分値Dに係数kを乗算して得られた値と差分値dと比較する。ここで、係数kは、たとえば、0.25<k<0.5の範囲とする。比較判定回路1642は、撮影対象者の目が開いているか否かの開閉情報16hを出力する。
【００２１】
図１に戻って、開閉判定部16cは、目の開閉状態を判定した結果、すなわち開閉情報16hを状態判断部16aの出力として表情抽出部16に出力する。さらに、表情抽出部16は、目以外の特徴点からの変位情報等と開閉情報16hとを合わせた表情情報16iをキャラクタ動画生成部20に供給する。
【００２２】
キャラクタ蓄積部18は、モデル画像に対応するキャラクタ画像データを蓄積するストレージである。キャラクタ蓄積部18には、図示していないが、たとえば、外部のサーバと通信接続し、所望するキャラクタ画像データをダウンロードして格納する機能も有している。キャラクタ画像データには、２次元または３次元の画像データがある。キャラクタ蓄積部18は、ユーザ（操作者）によって選択されたキャラクタ画像データ18aをキャラクタ動画生成部20に供給する。
【００２３】
キャラクタ動画生成部20は、供給されるキャラクタ画像データ18aに表情情報16iを基に表情を持たせるようにキャラクタ画像データを変形させる機能を有している。キャラクタ動画生成部20は、たとえば供給される表情情報16iを用いて各特徴点のずれ量や開閉状態を反映させた変形パラメータに変換し、この変形パラメータに基づき変形したキャラクタ画像を生成する。さらに、キャラクタ動画生成部20は、テクスチャマッピング・レンダリング処理等順次行って一つのキャラクタ画像を生成する。表示を終了しない限り、このキャラクタ画像の生成が所定の動画表示間隔を満足するように行われる。この繰返し処理により動画が生成される。キャラクタ動画生成部20は、それぞれ生成したキャラクタ画像データ20aをディスプレイ22に送る。より具体的には、特許第3055666号に記載されている。
【００２４】
ディスプレイ22は、携帯機器に搭載する場合、液晶ディスプレイが有利である。また、ディスプレイ22は、液晶ディスプレイに限定されるものでなく、この他の方式を用いるプラズマディスプレイやCRT（Cathode-Ray Tube)でもよい。ディスプレイ22には、生成したキャラクタ画像が表示される。
【００２５】
次にキャラクタ動画生成装置10の動作を簡単に説明する。まず、撮影対象者の顔を画像入力部12で撮影する（ステップS10）。これにより図4(a)に示すような顔画像が得られる。図３に戻って、得られた顔の画像データ12aを顔画像蓄積部14に保存する（ステップS12）。この書込み後、顔画像蓄積部14は、１フレームの顔の画像データ14aとして読み出す（ステップS14）。画像データ14aは、表情抽出部16に供給される。あらわに図示していないが、動作終了の指示がない限り、たとえばステップS10からステップS14の処理は、動画撮影の関係を維持するように動作させている。
【００２６】
表情抽出部16の両眼位置検出部16bでは、前述したテンプレートマッチングを用いて目の中心位置が決定される（ステップS16)。図4(b)に示す顔画像は、目の中心位置C1, C2をそれぞれクロス記号で示す。そして、得られた中央位置情報16dを基に領域抽出回路160では、顔の画像データ14aから図4(c)に示す枠160a, 160b内を目の領域として抽出する（ステップS18）。目の領域の画像データ16eがフィルタバンク162に供給される。次に目が開状態か否かの判定に進む（サブルーチンSUB1へ）。
【００２７】
目が開状態と目が閉状態とそれぞれ判定する（サブルーチンSUB1）。この判定については後段でさらに説明する。表情抽出部16は、目に関する開閉状態の結果を含む表情情報16iをキャラクタ動画生成部20に供給する。
【００２８】
キャラクタ動画生成部20では、キャラクタ画像データ18aに表情情報16iを考慮して一枚のフレーム画像を合成し、生成する（ステップS20）。生成されたフレーム画像データ20aがキャラクタ動画生成部20からディスプレイ22に供給される。ディスプレイ22では、供給されたフレーム画像を表示する（ステップS22）。この後、上述した一連の処理を繰り返すか否かの判断が行われる（ステップS24）。すなわち、処理を繰り返す場合（NO）、供給される顔の画像データ14aから表情抽出する処理に戻る。これに対応して目の位置検出が行われる（ステップS16へ）。また、処理を終了する場合（YES）、キャラクタ動画生成装置10の動作を終了させる。
【００２９】
次に開閉判定処理（サブルーチンSUB1）を説明する。図５に示すように、領域抽出回路160から供給される画像データ16eにフィルタバンク162に供給される。フィルタバンク162には、目の開いた状態に対応するガボールフィルタと目の閉じた状態に対応するガボールフィルタが含まれ、各フィルタにより供給される画像データ16eに対してフィルタ処理が施される（サブステップSS10）。
【００３０】
ここで、フィルタバンク162が有するガボールフィルタについて説明する。ガボールフィルタは、ガウス関数を窓関数に用いたガボール関数（Gabor function)の処理結果を出力するものである。本実施例のガボール関数G(x0,y0)は、
【００３１】
【数１】
ここで、x0, y0は、フィルタ座標系の位置、x, yは画像の座標系における位置で、fA, fBはそれぞれx-方向とy-方向の影響範囲を示す。また、u0, v0はそれぞれx-方向とy-方向の周波数である。このとき、ガボールフィルタは、次式のフィルタ出力を出力する。
【００３２】
【数２】
【００３３】
ガボールフィルタは、窓関数の範囲外でゼロにすることから、画像の位置データx, yを入力してガボール変換し、さらに画素の輝度値を考慮してフィルタの出力値を出力することにより、図6(a), (b)に示すように顔画像における目の開いた範囲を検出する。このため、図２に示すようにガボールフィルタ1620, 1622が、少なくとも、目の開いた状態と目の閉じた状態を検出するフィルタとして用いられる。目の開いた状態と目の閉じた状態は、ガボールフィルタの影響範囲fAとfBにより規定される。
【００３４】
目の開いた状態と目の閉じた状態の判定は図７に示すような原理によって行われる。図7(a)に示すように顔画像のうち、開いた目の周辺画像を開いた目用のガボールフィルタ1620に入力すると、ガボールフィルタ1620は、入力に応じて実部と虚部のパターンがそれぞれ得られる。さらにガボールフィルタ1620にてさらに統計的な処理等を施して、ガボールフィルタ1620は、たとえば５個のデータを出力する。このフィルタ出力の内、黒（図中のクロスハッチング部分）が示すデータはフィルタ出力値が小さいにもかかわらず、フィルタとの一致度が高いものとする。一方、白が示すデータはフィルタ出力値が大きいにもかかわらず、フィルタとの一致度が低いものとする。
【００３５】
また、図7(b)に示すように開いた目の周辺画像を閉じた目用のガボールフィルタ1622に入力すると、ガボールフィルタ1622は、図7(a)と実部と虚部のデータパターンがそれぞれ異なるパターンを生成する。ガボールフィルタ1622は、さらに各種の処理を行って５個のデータを出力する。このとき、得られるデータは、図7(b)に示すように白に近いことから一致度が低い。これにより、一致度の高いことを示すガボールフィルタは開いた目用のガボールフィルタ1620であることがわかり、入力画像が開いた目の状態にあったと判定できる。逆に、目を閉じた顔画像が入力されると、ガボールフィルタ1622が高い一致度を出力することにより、目を閉じた状態と判定する。
【００３６】
また、ガボールフィルタは、図示していないが、上述したような一致度を求めるためメモリと統計演算機能部を有している。１フレームの顔の画像データに対する２次元のフィルタ出力値を記憶する。記憶したフィルタ出力値を用いて統計演算機能部は、たとえばフィルタ出力値の統計値として平均値を算出する。
【００３７】
なお、統計演算機能部は、平均値の算出だけでなく、比較機能を用いて最大値・最小値を求めるようにしてもよい。
【００３８】
ガボールフィルタ1620は、開いた状態検出用で左目に対するフィルタ出力値をaL, 右目に対するフィルタ出力値をaRとする。ガボールフィルタ1622は、閉じた状態検出用で左目に対するフィルタ出力値をbL, 右目に対するフィルタ出力値をbRとする。ガボールフィルタ1620, 1622は、それぞれ同じ側の目に対するフィルタ出力値をそれぞれ加算器1640に出力する。
【００３９】
次に加算器1640では、差分値dを出力する（サブステップSS12）。ここでの差分値dは、左右の目を区別しない場合の差分値である。左右の目それぞれに対して求めるとき、差分値dL, dRと添字のLとRで区別している。差分値dLは（aL-bL), dRは（ａR-bR)である。加算器1640は、各目に対する差分値dL, dRを比較判定回路1642に供給する。
【００４０】
次に比較判定回路1642では、目の開いた状態と目の閉じた状態に対する基準値をそれぞれ読み込む（サブステップSS14）。基準値は、たとえば過去の判定結果に基づいて目の開いた状態と目の閉じた状態のフィルタ出力値をそれぞれ平均した値A, Bとする。このとき目の状態に加えて、左右の目を区別するために基準値AL, AR, BL, BRとする。基準値AL, AR, BL, BRは、図２に示すように本実施例では比較判定回路1642の外部から基準値16gとして供給される。
【００４１】
次に比較判定回路1642では、目の開いた状態と閉じた状態の基準値の差分値をDとして算出する（サブステップSS16）。さらに、左右を区別するために左目における基準値の差分値DL=AL-BL, 右目における基準値の差分値DR=AR-BRを求めている。
【００４２】
次に比較判定回路は、加算器1640から供給される現フレームにおける差分値dL, dRと基準値の差分値DL, DRとをそれぞれ比較し、現フレームにおける目の開閉状態を判定する（サブステップSS18）。ただし、基準値の差分値DL, DRには、本実施例では係数k（0.25<k<0.5）を乗算している。この場合、係数kの割合が目の開閉状態における基準になる。係数kは、外部から設定してもよい。
【００４３】
条件を満足するとき（YES)、目は閉じた状態と判定する。この判定を受けて比較判定回路1642は、目が開状態であることを示す開閉情報16hを出力する（サブステップSS20）。また、条件を満足しないとき（NO)、目は開いた状態と判定する。この場合、比較判定回路1642は、閉状態であることを示す開閉情報16hを出力する（サブステップSS22）。これら開閉情報16hを出力した後、リターンに移行してサブルーチンSUB1を終了する。
【００４４】
開閉判定について図８を用いて説明する。ここで、説明を簡単にするため目の区別はしない。図８において、目の開いた状態でのフィルタ出力値Aと目の閉じた状態でのフィルタ出力値Bは、それぞれ、過去の基準値で外部から供給される。時刻t1でのフレームに対するガボールフィルタ1620, 1622からフィルタ出力が出力される。このとき加算器1640で差分値dが得られる。比較判定回路1642では、基準値Aと基準値Bの差分値Dを求め、係数kを乗算した値と差分値dとを比較する。時刻t1にて得られた差分値dは、D×k=JDより小さい値であるから目を閉じた状態と判定される。また、時刻t2では、差分値d=A-Bである。この場合、差分値dは、D×k=JDより大きい値であるから目を開いた状態と判定される。
【００４５】
このようにフィルタ出力の差分値と基準値の差分値に係数kを乗算した判定基準JDとの比較により目の開閉状態を検知し、表情抽出部16から表情情報16iをキャラクタ動画生成部20に供給することができる。
【００４６】
キャラクタ動画生成装置10は、光源が不要になることから、設置の手間を省き、角膜反射像を得るため撮影対象者に眩しい思いをさせることもなくすことができる。開閉判定部に複数のフィルタを用いることにより、フィルタへの反応における個人差を抑え、良好に検出することができる。特に、撮影した現フレームの顔画像を用いて目の開閉状態が決定されることから、撮影対象者の瞬き等を含めた瞬間的な目の開閉状態をキャラクタの画像に反映させる上で有効である。
【００４７】
次にキャラクタ動画生成装置10における変形例について説明する。本実施例におけるキャラクタ動画生成装置10は、図９に示すように、比較判定回路1642に追加構成として仮判定メモリ42a、総合状態判定部42bおよび開閉情報蓄積部42cを含む点に特徴がある。仮判定メモリ42aは、開閉情報16hを格納するメモリである。仮判定メモリ42aは、一時保持した開閉情報420を総合状態決定部42bに供給する。
【００４８】
総合状態決定部42bは、現フレームの開閉情報420と過去の開閉情報422から総合的な条件を考慮して目の開閉状態を決定し、開閉情報を出力する機能を有している。また、開閉情報蓄積部42cは、過去の開閉情報を記憶しておくメモリである。開閉情報蓄積部42cは、総合判定状態決定部42bの開閉情報424を書き込み、総合判定状態決定部42bに過去の開閉情報422を読み出して、供給している。
【００４９】
本実施例の動作について図10を用いて説明する。比較判定回路1642は、現フレームに対する開閉情報16hを得るまで先の実施例と同じ手順である。開閉情報16hは、仮判定または仮決定の状態として仮判定メモリ42aに格納される。本実施例は過去の開閉情報422を条件に応じて優先的に使用する点に特徴がある。過去の開閉情報422が、図10(a)に示すように開閉情報蓄積部42cから総合判定状態決定部422に読み出されている。また、総合判定状態決定部422には、図10(b)に示すような開閉情報420が供給されている。
【００５０】
総合判定状態決定部422では、第１の条件として、目を開いているとの決定後、過去の開閉情報422が連続的に閉じた状態を仮判定として供給されている場合、総合判定は、閉じた状態とする。また、第２の条件として、目を閉じているとの決定後、過去の開閉情報422が連続的に開いた状態を仮判定して供給されている場合、総合判定は、開いた状態とする。
【００５１】
これについて具体的な例を図10(a), (b)に示す。図10(a), (b)には、それぞれ、過去の開閉情報422と現フレームとしての開閉情報16hが示されている。このとき、現フレームの開閉情報16hが時刻t3で開いた状態と仮判定しても、過去の開閉情報422がたとえば、連続してpフレーム閉状態にあれば、総合判定状態決定部42bは開閉情報424を閉状態にする。また、現フレームの開閉情報16hが時刻t4で閉じた状態と仮判定しても、過去の開閉情報422がたとえば、連続してqフレーム開状態にあれば、総合判定状態決定部42bは開閉情報424を開状態にする。
【００５２】
これらの条件のいずれにも該当しない場合を第３の条件として現フレームに対する直前のフレームで決定された目の開閉状態を現フレームの開閉状態とする。このような複数の条件を用いて現フレームの目の開閉状態をキャラクタに反映させるのでなく、一定期間連続したとき目の開閉動作を行わせる。これにより、ノイズ等により目の開閉検出が良好に行えなかった場合でも、この結果がキャラクタの動作に現れない。撮影対象者による目をウインクやこの対象者が寝ている場合等の目の動作を確実にキャラクタに反映させる場合に有効である。
【００５３】
なお、開閉情報蓄積部42cには、総合状態決定部42bの開閉情報424を蓄積させてるだけでなく、仮判定メモリ42aの仮判定した開閉情報16hを蓄積させてもよい。開閉情報16hの取得は、開閉判定部16cの方法に限定されるものでない。
【００５４】
以上のように構成することにより、表情抽出部で単に目を撮影し、この目を覆う瞼により目がどのような状態にあるかを判断して、これまでの光源を不要にして設置の手間を省くことができる。また、光源を使用した際に得られる角膜反射像の条件を考慮しなくても済む。したがって、使い勝手のよいキャラクタ動画生成装置を提供することができる。
【００５５】
また、開閉判定部に複数のフィルタを用いて、個人差を抑えて良好な判定を行うことができる。さらに、瞬間的な開閉の変化に対応して判定できるので、キャラクタの動作に反映させることができる。
【００５６】
比較判定部での判定において条件を考慮した総合的な判定を行うことにより、ノイズ等に強い判定を行うことができる。これにより、撮影対象者の目の動作をキャラクタに確実に反映させることができる。
【００５７】
顔画像の瞬き検出方法は、目の位置を検出し、検出した位置を基に領域を抽出し、この領域の画像データに処理を施して状態データを生成し、状態データの差分値とあらかじめ設定された基準値の差分値とを比較して目の開閉状態を判定することにより、これまで角膜反射像を得るために使用されてきた光源を不要にし、これにともなう設置条件を考慮した手間のかかる設置を行わずに済み、撮影対象者における目の動作に関して追従性の良好なキャラクタ動作を行わせることができる。
【００５８】
さらに、判定において条件を考慮して、ノイズ等に強い判定を行うことにより、撮影対象者の目の動作をキャラクタに確実に反映させることができる
【発明の効果】
このように本発明の顔画像合成装置によれば、撮影手段で撮影した顔画像を第１のデータ蓄積手段に保存し、この後、画像データを第１のデータ蓄積手段から読み出して表情抽出手段に供給し、表情抽出手段では、状態判断手段で瞼の状態から目の開閉状態がどのような状態にあるかを判断して表情合成手段に送り、第２の蓄積手段では、表情合成手段に顔のモデル画像を供給することにより、表情合成手段は、光源を用いずに目の開閉状態に合わせて、顔のモデル画像に表情を持たせる合成を行うことができる。したがって、顔画像合成装置の構成要素にこれまで含まれていた光源が不要にして、撮影対象者が被る照明による不快感をなくすことおよび照明の設置における位置調整をなくすことができる。使い勝手のよい顔画像合成装置を提供することができる。
【００５９】
また、顔画像の瞬き検出方法によれば、顔画像データ中の目の位置を検出し、顔画像データからこの位置を含む該当処理領域を抽出し、開閉状態それぞれの対応処理で得られる状態データを生成し、状態データの差分値と基準値の差分値とを比較して瞼の開閉状態による目の開状態または閉状態かを判定する。これにより、この際の判定には角膜反射像を用いないので、光源が不要にして構成要素の削減を図り、設置位置の調整等もなくすことができる。
【図面の簡単な説明】
【図１】本発明の顔画像合成装置を適用したキャラクタ動画生成装置の概略的な構成を示すブロック図である。
【図２】図１の状態判断部における概略的な構成を示すブロック図である。
【図３】図１のキャラクタ動画合成装置の動作手順を説明するフローチャートである。
【図４】図１のキャラクタ動画合成装置における顔画像と目の検出の関係を説明する図である。
【図５】図３の動作手順に含まれる開閉判定処理の手順を説明するフローチャートである。
【図６】図４に示した目の検出範囲での目の開閉状態を説明する図である。
【図７】ガボールフィルタによる目の開閉を判定する原理を説明する図である。
【図８】図５の開閉判定処理における判定基準JDと差分値dによる開閉判定を説明する図である。
【図９】図２に示した比較判定回路において追加された構成を示すブロック図である。
【図１０】図９の構成を適用した場合における目の開閉状態と総合判定の関係を説明する図である。
【符号の説明】
10 キャラクタ動画生成装置
12 画像入力部
14 顔画像蓄積部
16 表情抽出部
16a 状態判断部
16b 両眼位置検出部
16c 開閉判定部
18 キャラクタ蓄積部
20 キャラクタ動画生成部
22 ディスプレイ
160 領域抽出部
162 フィルタバンク
164 状態決定部
1620, 1622 ガボールフィルタ
1640 加算器
1642 比較判定回路
Claims (6)
- 対象にする人物の顔画像を撮影し、該撮影した顔画像を画像データにして出力する撮影手段と、
該画像データを蓄積する第１のデータ蓄積手段と、
該蓄積した画像データを用いて、前記人物の顔に表れる表情を抽出する表情抽出手段と、
前記人物の顔画像に対する顔のモデル画像を蓄積する第２の蓄積手段と、
第２の蓄積手段から読み出した顔のモデル画像に前記抽出した表情を反映させた顔のモデル画像を生成し、該生成した顔のモデル画像から動画を生成する表情合成手段とを含み、
前記表情抽出手段は、前記人物の顔を特徴付ける器官の一つである目において、該目に光源の像を形成させずに該目を撮影し、該目の表面を覆い開閉する瞼がどのような状態にあるかを判断する状態判断手段を含むことを特徴とする顔画像合成装置。 - 請求項１に記載の装置において、前記状態判断手段は、前記目の位置を検出する位置検出手段と、
該検出した目の位置を基に所定の範囲の画像データを抽出し、該画像データから前記瞼の開閉を判定する開閉判定手段とを含み、
該開閉判定手段は、前記所定の範囲の画像データを抽出する領域抽出手段と、
該抽出した画像データを入力し、該画像データに対する前記目が開いた状態と前記目が閉じた状態とそれぞれの開閉状態の程度を表す状態データをそれぞれ出力する複数のフィルタ手段と、
該状態データのそれぞれを用いて該状態データの差分値を求め、該差分値とあらかじめ設定した基準値とを比較して前記目の開閉状態を決定する状態決定手段とを含むことを特徴とする顔画像合成装置。 - 請求項２に記載の装置において、前記開閉判定手段は、所定の期間にわたって前記目の開閉状態が前記蓄積した状態の変化と同じ状態に連続してあるか否かの判断に応じて現在の目における表示を変更させる比較判定手段を含み、
さらに、該比較判定手段は、供給される現在の画像データに対する前記状態データを仮判定として記憶する仮判定記憶手段と、
前記状態データの過去分を記憶している状態情報蓄積手段と、
前記現在の画像データが示す状態データと過去のある画像データが示す状態データとに対して与えた条件を考慮して、総合的に出力する状態データを決定する総合状態決定手段とを含むことを特徴とする顔画像合成装置。 - 対象者の顔を撮影し、該顔が表す表情をモデル化した画像に反映させる際に、人物における顔の特徴を表す部位である目における瞬きを検出する方法において、該方法は、
該目に光源の像を形成させずに該目を撮影し、該顔の撮影により得られる顔画像データを用いて、該顔画像に含まれる前記目の位置を検出する第１の工程と、
該検出した目の位置を基に処理範囲に対応する領域を抽出する第２の工程と、
該抽出した画像データを用いて、前記目の開閉状態に対応するそれぞれの処理によって得られる状態データを生成し、該状態データの差分値とあらかじめ設定された基準値の差分値とを比較して前記目の開閉状態を判定する第３の工程とを含むことを特徴とする顔画像の瞬き検出方法。 - 請求項４に記載の方法において、第３の工程は、前記目の開閉状態における判定に際して、前記目の開閉状態に対する判定結果を仮の状態データとする第１の判定と、
与えた条件を満たすとき、過去のある画像データが示す仮の状態データを前記現在の画像データが示す状態データとする第２の判定と、
第１および第２の判定以外では、前記現在の画像データの直前に決定した目の開閉状態を前記現在の画像データにおける前記目の開閉状態とする第３の判定とに応じて前記現在の画像データにおける状態データを変更することを特徴とする顔画像の瞬き検出方法。 - 請求項５に記載の方法において、前記条件は、前記目の開閉いずれかの状態を決定した後、該決定した目の状態と逆の状態が所定の期間にわたる継続であり、該条件に応じて判定することを特徴とする顔画像の瞬き検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002367010A JP2004199386A (ja) | 2002-12-18 | 2002-12-18 | 顔画像合成装置および顔画像の瞬き検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002367010A JP2004199386A (ja) | 2002-12-18 | 2002-12-18 | 顔画像合成装置および顔画像の瞬き検出方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004199386A true JP2004199386A (ja) | 2004-07-15 |
Family
ID=32764042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002367010A Withdrawn JP2004199386A (ja) | 2002-12-18 | 2002-12-18 | 顔画像合成装置および顔画像の瞬き検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004199386A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006070680A1 (ja) * | 2004-12-28 | 2006-07-06 | Oki Electric Industry Co., Ltd. | 画像合成装置 |
| JP2006323774A (ja) * | 2005-05-20 | 2006-11-30 | Fujitsu Ltd | 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置 |
| WO2012118206A1 (ja) * | 2011-03-03 | 2012-09-07 | アイシン精機株式会社 | 状態推定装置、状態推定方法及びプログラム |
| JP2013504114A (ja) * | 2009-09-01 | 2013-02-04 | エルジー イノテック カンパニー リミテッド | 目状態検出装置及び方法 |
| WO2018155303A1 (ja) * | 2017-02-24 | 2018-08-30 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2002
- 2002-12-18 JP JP2002367010A patent/JP2004199386A/ja not_active Withdrawn
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006070680A1 (ja) * | 2004-12-28 | 2006-07-06 | Oki Electric Industry Co., Ltd. | 画像合成装置 |
| JP2006323774A (ja) * | 2005-05-20 | 2006-11-30 | Fujitsu Ltd | 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置 |
| JP4645301B2 (ja) * | 2005-05-20 | 2011-03-09 | 富士通株式会社 | 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置 |
| JP2013504114A (ja) * | 2009-09-01 | 2013-02-04 | エルジー イノテック カンパニー リミテッド | 目状態検出装置及び方法 |
| CN103403756A (zh) * | 2011-03-03 | 2013-11-20 | 爱信精机株式会社 | 状态推断装置、状态推断方法及程序 |
| JP2012185586A (ja) * | 2011-03-03 | 2012-09-27 | Aisin Seiki Co Ltd | 状態推定装置、状態推定方法及びプログラム |
| WO2012118206A1 (ja) * | 2011-03-03 | 2012-09-07 | アイシン精機株式会社 | 状態推定装置、状態推定方法及びプログラム |
| US9064397B2 (en) | 2011-03-03 | 2015-06-23 | Aisin Seiki Kabushiki Kaisha | State estimation device, state estimation method, and program |
| CN103403756B (zh) * | 2011-03-03 | 2016-04-13 | 爱信精机株式会社 | 状态推断装置、状态推断方法 |
| WO2018155303A1 (ja) * | 2017-02-24 | 2018-08-30 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN110313019A (zh) * | 2017-02-24 | 2019-10-08 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
| JPWO2018155303A1 (ja) * | 2017-02-24 | 2019-12-19 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US11231591B2 (en) | 2017-02-24 | 2022-01-25 | Sony Corporation | Information processing apparatus, information processing method, and program |
| JP7156264B2 (ja) | 2017-02-24 | 2022-10-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN110313019B (zh) * | 2017-02-24 | 2023-07-04 | 索尼公司 | 信息处理设备、信息处理方法和计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7787022B2 (en) | Red-eye filter method and apparatus | |
| US8385598B2 (en) | Action analysis apparatus | |
| JP4692526B2 (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
| EP1422922A2 (en) | Camera system with eye monitoring | |
| EP1422923A2 (en) | Method for determining an area of importance in an image using eye monitoring information | |
| WO2010026688A1 (ja) | 画像処理装置、対象物追跡装置および画像処理方法 | |
| JP2008234208A (ja) | 顔部位検出装置及びプログラム | |
| JPWO2011061940A1 (ja) | 画像処理方法および画像処理装置 | |
| JP2017204673A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US6975763B2 (en) | Shade component removing apparatus and shade component removing method for removing shade in image | |
| JP2007074033A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
| JP2009237993A (ja) | 画像監視装置 | |
| JP2008171108A (ja) | 顔状況判定処理装置および撮像装置 | |
| CN114531549B (zh) | 图像采集方法、电子设备和计算机可读存储介质 | |
| JP2009123081A (ja) | 顔検出方法及び撮影装置 | |
| JP2004199386A (ja) | 顔画像合成装置および顔画像の瞬き検出方法 | |
| JP2009244944A (ja) | 画像回復装置および撮影装置 | |
| JPH08263623A (ja) | 可塑性物体特徴検出装置 | |
| CN113744266B (zh) | 一种病灶检测框的显示方法、装置、电子设备及存储介质 | |
| JP2004157778A (ja) | 鼻位置の抽出方法、およびコンピュータに当該鼻位置の抽出方法を実行させるためのプログラムならびに鼻位置抽出装置 | |
| JP2005287878A (ja) | 生体判別装置および認証装置ならびに生体判別方法 | |
| JP5276454B2 (ja) | 表情測定方法、表情測定プログラムならびに表情測定装置 | |
| JP3797839B2 (ja) | 個人識別装置及び個人識別方法 | |
| CN111083345B (zh) | 独照生成装置和方法及其非易失性计算机可读媒体 | |
| JP4036005B2 (ja) | 撮影条件検出装置および撮影条件検出プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060307 |