JP2005339288A

JP2005339288A - 画像処理装置及びその方法

Info

Publication number: JP2005339288A
Application number: JP2004158352A
Authority: JP
Inventors: Mayumi Yuasa; 真由美湯浅
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-05-27
Filing date: 2004-05-27
Publication date: 2005-12-08
Also published as: US20050265604A1; US7486825B2

Abstract

【課題】顔を撮影した画像から目や唇の輪郭を精度よく検出する画像処理装置を提供する。
【解決手段】画像が入力する画像入力部１２と、前記入力した画像中から前記対象物の複数の特徴点を検出する特徴点検出部１４と、前記検出し複数の特徴点から顔向き表す回転角を推定する顔向き推定部１６と、前記検出した複数の特徴点から前記目や唇の輪郭を検出するための初期パラメータを推定し、前記推定した初期パラメータを前記推定された回転角によって修正する初期パラメータ修正部２２と、前記修正した初期パラメータを用いて前記対象物の輪郭を初期輪郭を生成する初期輪郭部２４と、この初期輪郭部から最終的な輪郭を生成する輪郭生成部２６とを有する。
【選択図】図１

Description

本発明は、画像から対象物の輪郭を抽出する画像処理装置及びその方法に関する。

対象物の輪郭を抽出する方法としては、例えば、非特許文献１にあるように、動的輪郭モデルを用いる方法がある。動的輪郭モデルは輪郭モデルに対してエネルギーを設定して、それを最小化することにより輪郭を抽出するものである。対象物の輪郭エッジが途切れていても抽出できるといった利点があるが、収束計算をするため、処理時間がかかる、初期パラメータが離れている場合には失敗するといった問題点がある。

また、最近では非特許文献２にあるように、アフィン変換を使った輪郭抽出方法もある。この輪郭抽出方法はモデルに対して変動することを許しているだけで、その変換パラメータを積極的に得るものではない。

さらに、人物の顔画像中から目などの特徴点を検出する方法も開示されている（例えば、特許文献１、非特許文献３参照）。しかし、この輪郭抽出方法は、顔向きの変動は特に考慮されていなかったため、パターン照合の際に学習データが大量に必要であるという問題点がある。
特許第３２７９９１３号公報 M. Kass, A. Witkin, and D. Terzopoulos, "Snakes: Active Contour Models,"International Journal of Computer Vision, Vol. 1, No. 4, pp.321-331, 1988. H. H. S. Ip, D. Shen, "An affine-invariant active contour model (AI-snake) for model-based segmentation," Image and Vision Computing, Vol. 16, p.125-146, 1998. 福井和広、山口修: "形状抽出とパターン照合の組合せによる顔特徴点抽出",信学論(D-II), vol. J80-D-II, no. 9, pp. 2170-2177, Aug. 1997

ところで、最近は、顔画像を入力して、その顔画像にデジタル的にメイクを施すデジタルメイクが提案されている（非特許文献６：湯浅他「瞳輪郭の高精度抽出とデジタルメイクへの応用」, PRMU2002-62, pp.37-42, July 2002.）。

このデジタルメイクは、顔画像の目の回りにアイシャドーをデジタル的に施したり、また、唇に口紅を施すものである。このようなデジタルメイクを行う場合に、顔が正面から撮影された顔画像であれば、目の回りなどの目的の範囲にメイクを施すことができる。しかし、顔が正面でなく、向きが正面から回転していると、入力した顔画像にうまくメイクが施されず、目的の範囲からはみ出たりするという問題点がある。

この問題点が発生する理由は、顔が傾いているために目や唇などの輪郭が正確に抽出されていないことに起因する。すなわち、輪郭を抽出する際に必要な初期パラメータが、その顔向きの変動に対応した初期パラメータに変更されていないからである。そして、上記のような従来の輪郭抽出方法では、この顔向きの変動を考慮して初期パラメータを変更して、正確に、かつ、迅速に輪郭を抽出することは困難である。

そこで、本発明は上記の問題を解決するために、顔などの対象物の姿勢によって、特徴点もしくは輪郭を検出の際に用いる初期パラメータを変換することにより、特徴点もしくは輪郭の検出を容易に行なうことができる画像処理装置及びその方法を提供する。

請求項１に係る発明は、対象物が撮影された画像から前記対象物の輪郭を抽出する画像処理装置において、前記画像が入力する画像入力手段と、前記入力した画像中から前記対象物の複数の特徴点を検出する特徴点検出手段と、前記検出し複数の特徴点から前記対象物の姿勢を表す回転角を推定する姿勢推定手段と、前記検出した複数の特徴点から前記対象物の輪郭を検出するための初期パラメータを推定する初期パラメータ推定手段と、前記推定した初期パラメータを、前記推定された回転角によって修正する初期パラメータ修正手段と、前記修正した初期パラメータを用いて前記対象物の輪郭を生成する輪郭生成手段と、を有することを特徴とする画像処理装置である。

請求項２に係る発明は、前記画像入力手段には、前記対象物が撮影された動画像が入力し、前記特徴点検出手段は、前記入力した動画像の各フレーム毎に前記対象物の複数の特徴点を求め、前記姿勢推定手段は、前記求めた各フレーム毎の複数の特徴点から因数分解法に基づいて前記各特徴点の三次元座標を求め、前記求めた各特徴点の三次元座標を要素に持つ形状行列を求め、前記入力した動画像の中で輪郭を求めたい対象物が撮影された画像から検出した複数の特徴点の二次元座標を要素にもつ計測行列を求め、前記求めた計測行列と前記求めた形状行列から前記対象物の姿勢を表す運動行列を求め、前記運動行列から前記対象物の回転角を求めることを特徴とする請求項１記載の画像処理装置である。

請求項３に係る発明は、前記初期パラメータ推定手段は、前記検出した複数の特徴点から輪郭を抽出するのに必要な基準点を推定し、この推定した基準点を初期パラメータとすることを特徴とする請求項１記載の画像処理装置である。

請求項４に係る発明は、前記初期パラメータ修正手段は、予め記憶されたサンプル主成分ベクトルから正規化輪郭ベクトルを計算し、前記計算した正規化輪郭ベクトルと前記推定した基準点を、前記推定した対象物の回転角に基づいて修正して、修正基準点と修正正規化輪郭ベクトルを計算することを特徴とする請求項３記載の画像処理装置である。

請求項５に係る発明は、前記輪郭生成手段は、前記修正した初期パラメータから初期輪郭を求め、前記求めた初期輪郭から最終的な輪郭を求めることを特徴とする請求項１記載の画像処理装置である。

請求項６に係る発明は、前記求めたい対象物の輪郭が、人物の目の輪郭、または、唇の輪郭であって、前記姿勢は前記人物の顔向きであることを特徴とする請求項１から５のうち少なくとも一項に記載の画像処理装置である。

請求項７に係る発明は、対象物が撮影された画像から前記対象物の輪郭を抽出する画像処理方法において、前記画像が入力する画像入力ステップと、前記入力した画像中から前記対象物の複数の特徴点を検出する特徴点検出ステップと、前記検出し複数の特徴点から前記対象物の姿勢を表す回転角を推定する姿勢推定ステップと、前記検出した複数の特徴点から前記対象物の輪郭を検出するための初期パラメータを推定する初期パラメータ推定ステップと、前記推定した初期パラメータを、前記推定された回転角によって修正する初期パラメータ修正ステップと、前記修正した初期パラメータを用いて前記対象物の輪郭を生成する輪郭生成ステップと、を有することを特徴とする画像処理方法である。

請求項８に係る発明は、対象物が撮影された画像から前記対象物の輪郭を抽出する画像処理方法をコンピュータによって実現するプログラムにおいて、前記画像が入力する画像入力機能と、前記入力した画像中から前記対象物の複数の特徴点を検出する特徴点検出機能と、前記検出し複数の特徴点から前記対象物の姿勢を表す回転角を推定する姿勢推定機能と、前記検出した複数の特徴点から前記対象物の輪郭を検出するための初期パラメータを推定する初期パラメータ推定機能と、前記推定した初期パラメータを、前記推定された回転角によって修正する初期パラメータ修正機能と、前記修正した初期パラメータを用いて前記対象物の輪郭を生成する輪郭生成機能と、を実現することを特徴とする画像処理方法のプログラムである。

本発明によれば、顔などの対象物の姿勢によって、輪郭を抽出の際に用いる初期パラメータを変換することにより、輪郭の抽出を容易に行なうことができる。

以下に本発明の各実施形態を詳細に説明する。

（第１の実施形態）
本発明に関わる第１の実施形態について述べる。本実施形態は人物の顔を含む画像から目の輪郭を抽出する画像処理装置１０である。

（１）画像処理装置１０の構成
図１は本実施形態の画像処理装置１０の構成を表わす図である。

画像入力部１２は、カメラから動画像を入力する。

特徴点検出部１４は、画像中から必要な特徴点を検出する。

顔向き推定部１６は、検出された特徴点から顔向きを推定する。

基準点推定部１８は、検出された特徴点を利用して推定基準点の位置を求める。

輪郭モデルデータ２０は、予め作成された輪郭を表現するために必要なデータである。

初期パラメータ修正部２２では、基準点推定部１８で推定された推定基準点の位置座標と、輪郭モデルデータ２０から構成される初期パラメータを、推定された顔向きを利用して修正する。

初期輪郭生成部２４では、初期パラメータ修正部２２で修正されたパラメータを利用して初期輪郭を生成する。

輪郭抽出部２６では、初期輪郭生成部２４で生成された初期輪郭を利用して、対象物の正確な輪郭を抽出する。

各構成部１２〜２６の構成について以下で詳細に述べるが、これら各構成部１２〜２６の機能は、コンピュータに記憶されたプログラムによって実現される。

（２）画像入力部１２
画像入力部１２においては、ビデオカメラから顔が撮影された動画像を入力する。この入力された顔画像は逐次、特徴点検出部１４に送られる。

（３）特徴点検出部１４
特徴点検出部１４では、特許文献１に示された方法で特徴点を検出する。ここで検出する特徴点は図２で示す両目、鼻孔、口端の６点である。ここでは６点の場合について説明するが、本実施形態では少なくとも両目２点とそれ以外に２点以上が必要である。

以下、その検出方法を説明する。

第１に、画像全体に対して円形分離度フィルタにより、分離度マップを作成する。分離度は２領域間の分離度合を正規化された値で表わすことができるもので、エッジ強度として利用する。

第２に、上記分離度マップにおいて、分離度の値のピークを検出し、それらのピーク位置を特徴点の候補とする。

第３に、得られた特徴点候補に対してパターン類似度を求める前に、左右瞳、鼻孔、口端の６点組の候補を絶対及び相対位置関係を用いて絞り込む。

第４に、それらの組に対してそれぞれ局所画像パターン照合による検証を行ない、最終的な特徴点を検出する。

（４）顔向き推定部１６
顔向き推定部１６においては、特徴点検出部１４で検出された特徴点から幾何学に顔向きを推定する。

ここでは特許文献２（特開２００３−１４１５５２）で提案された特徴点の位置座標から顔の向きを計算する方法について説明する。

第１に、予め顔の映っている画像（互いに異なる顔向きの画像が３フレーム以上）から、目、鼻、口端などの特徴点（４点以上）を検出する。

第２に、その特徴点位置座標から、因子分解法（例えば、非特許文献４（C. Tomasi and T. Kanade: Technical Report CMU-CS-91172, CMU (1991)）と非特許文献５（International Journal of Computer Vision, 9:2, 137-154 (1992)）参照）を用いて特徴点の三次元座標を求める。この特徴点の三次元座標を要素にもつ行列を形状行列Ｓとして保持する。

第３に、向きを求めたい顔の映っている画像が入力されたら、その画像から特徴点を検出する。

第４に、その特徴点の二次元座標を要素にもつ計測行列Ｗ_ｎｅｗに形状行列Ｓの一般化逆行列Ｓ^＋を掛ければ、顔の向きを表す運動行列Ｍ_ｎｅｗが求まり、ロール、ピッチ、ヨーなどの回転角がわかる。

運動行列Ｍ_ｎｅｗを計算する様子を図３に示す．この図３では，カメラを固定して顔を動かす様子を相対的に、顔を固定してカメラ向きが変化するとみなしている。特徴点座標は特徴検出部１４で検出されたものを利用すればよく、向き自体は行列の掛け算を一度するだけで求まるため、非常に高速な手法であり、フレーム毎に独立に計算できるため誤差が蓄積することもない。

（５）基準点推定部１８
基準点推定部１８では特徴点検出部１４で推定された目尻、目頭点の候補位置を仮の基準点（以下、推定基準点という）とする。本実施形態は目の輪郭を抽出するため、図４の４０１の×で表わされる点である。このような基準点を求めるのは、輪郭抽出に必要な初期パラメータだからである。

ここでは、図４に基づいて両瞳位置から目頭目尻の候補位置を所定の方法で決定する。

第１に、求めた特徴点である両瞳中心を結ぶ直線上で、両瞳間の距離Ｒを計算する。

第２に、求めた両瞳間の距離Ｒに所定の係数を掛けてｄｉ及びｄ０を求める。このｄｉ及びｄ０は、瞳中心から内側及び外側に離れた距離を示し、これらの位置をそれぞれ目頭目尻の候補位置とした推定基準点Ａ、Ｂとする。

（６）輪郭モデルデータ２０
輪郭モデルデータ２０について述べる。このデータはコンピュータのハードディスクなどに記憶されている。

本実施形態で扱う輪郭は、目頭、目尻の候補位置を基準として、輪郭生成用のサンプル主成分ベクトルを元に初期輪郭を生成する。その際に用いるサンプル主成分ベクトルが輪郭モデルデータ２０に予め計算されて記憶されている。

（６−１）サンプル主成分ベクトルの計算方法
まず、このサンプル主成分ベクトルの計算方法について、左目（向かって右）の場合について説明する。目頭及び目尻点の候補点をサンプル基準点Ａ０（ａ_ｘ，ａ_ｙ），Ｂ０（ｂ_ｘ，ｂ_ｙ）とする。サンプル主成分ベクトルの次元をＮとするとき、ｊ番目の主成分ベクトルｐ^ｊ＝（ｐ^ｊ _１，・・・ｐ^ｊ _Ｎ）を求めることになる。

第１に、サンプル基準点Ａ０、Ｂ０を決める。

第２に、サンプル基準点Ａ０、Ｂ０の間の距離Ｄ０を求める（図５参照）。

第３に、サンプル基準点Ａ０、Ｂ０を結ぶ線分を所定の分割数ｎ−１で分割する。

第４に、分割したそれぞれの分割点ｓ_ｉ（ｉ＝１，・・・，２ｎ）において、サンプル基準点Ａ０、Ｂ０を結ぶ線分に垂直に図６に示す向きに伸ばした直線が輪郭と交わる点をそれぞれｔ_ｉ（ｉ＝１，・・・，２ｎ）とする（図６参照）。

第５に、ｓ_ｉとｔ_ｉの間の符号付距離をＡ０、Ｂ０間の距離Ｄ０で正規化したものをサンプルベクトルのｉ番目の成分ｐｉとする（図７参照）。このときＡ０からＢ０の間（上側）についてがｉ＝０，・・・ｎに、Ｂ０からＡ０の間（下側）ｉ＝ｎ＋１，・・・Ｎ、（但し、ｓ＝２ｎ）に対応させる。

第５に、このようなサンプルベクトルに対して、主成分分析を行なう。得られたサンプル主成分ベクトルが先に述べたｐ^ｊ＝（ｐ^ｊ _１，・・・ｐ^ｊ _Ｎ）となる。

（６−２）正規化輪郭ｑの計算方法
この記憶されているサンプル主成分ベクトルから正規化輪郭ｑを、数１を用いて計算する。正規化輪郭ｑを計算するのは、初期輪郭を計算するのに必要だからである。

但し、Ｃ^ｊは任意に決めた係数である。ここではｋ番目までの主成分を用いることとする。

（７）初期パラメータ修正部２２
初期パラメータ修正部２２では、顔向き推定の結果を用いて、基準点推定部１８で推定した推定基準点Ａ、Ｂと、輪郭モデルデータ２０に記憶されたデータ（ここではサンプル主成分ベクトルから計算した正規化輪郭ベクトルｑを用いる）を初期パラメータとして、この初期パラメータを顔向きに応じて修正して、修正した初期パラメータ（修正基準点Ａ’、Ｂ’と正規化輪郭ベクトルｑ’）を求める。

顔の正面に対する回転角を（θ、φ、ψ）とする。それぞれロール、ヨー、ピッチを表わす。それぞれの角度は顔の場合、ロールは画面内の回転（首を倒す角度）、ヨーは左右の顔向き、ピッチは上下の顔向きである。正規化輪郭は以下の変換によって修正される。但し、ロールに関してはすでに輪郭生成の際に正規化されているため、ここでは用いない。

（７−１）修正正規化輪郭ベクトルｑ’の計算方法
修正正規化輪郭ベクトルｑ’の計算方法について説明する。

顔向きに応じて修正すると、修正正規化輪郭ベクトルｑ’は正規化輪郭ｑから数２を用いて計算できる。

Ｆは対象物の３Ｄモデルによって異なり、一般的に求めるのは難しいが、目の輪郭の場合には以下の近似でも十分である。

ここでＦ_ｉｉ（φ，ψ）は数３で表わされる。なお、Ｆは対角行列とする。

（７−２）修正基準点Ａ’、Ｂ’の計算方法
推定基準点Ａ’、Ｂ’の計算方法について説明する。

推定基準点Ａ＝（ａ_ｘ，ａ_ｙ）の場合について、ａ＝（ａ_ｘ，ａ_ｙ）^Ｔとする。また、推定基準点Ａを顔向きに応じて修正した修正基準点Ａ’＝（ａ’_ｘ，ａ’_ｙ）とし、ａ’＝（ａ’_ｘ，ａ’_ｙ）^Ｔとする。すると、修正基準点Ａ’のａ’は数４によって求まる。

（８）初期輪郭生成部２４
初期輪郭生成部２４では、初期パラメータ修正部２２で修正された修正基準点Ａ’、Ｂ’と修正正規化輪郭ベクトルｑ’を用いて初期輪郭を生成する。

生成方法は、修正基準点Ａ’，Ｂ’と、修正正規化輪郭ｑ’を利用して、輪郭モデルデータ２０のところで述べた方法と同様に初期輪郭を生成する。

具体的には、次のように行う。

第１に、修正基準点Ａ’、Ｂ’に対してその間の距離Ｄ’を算出する。

第２に、修正基準点Ａ’、Ｂ’をｎ−１等分した点ｓ’_ｉを求める。

第３に、点ｓ’_ｉから修正基準点Ａ’、Ｂ’に垂直な方向Ｄ’ｑ’_ｉだけの距離にある点ｔ’_ｉを求める。

第４に、点ｔ’_ｉを結んだものが初期輪郭となる。

ここでは簡単のために、正規化輪郭ベクトルｑ’は数１においてｋ＝１、すなわち、サンプル主成分ベクトルのうちの、第一主成分のみから構成されるものを用いることにする。

（９）輪郭抽出部２６
輪郭抽出部２６では修正された初期輪郭の初期パラメータを用いて正確な輪郭を抽出する。

正確な輪郭を抽出する方法はさまざまな方法が考えられるが、例えば、非特許文献１に表される動的輪郭モデルを用いて、エネルギー最小化により輪郭抽出を行なう。

ここでは初期パラメータの修正基準点Ａ、Ｂの座標と数１で用いた主成分の係数Ｃ^ｊを用いて、初期輪郭が表現される。このように限定されたパラメータの基では、非特許文献６で提案されている瞳輪郭抽出方法を応用することが有効である。この非特許文献６では楕円モデルが用いられているが、その代わりに特徴点座標と主成分係数もしくはそれらの組み合わせを用いれば同様に輪郭が検出可能である。

この方式について簡単に述べる。

第１に、初期パラメータを用いてパターンの正規化を行ない、特徴ベクトルを生成する。正規化方法については例えば、輪郭に沿って周辺を帯状に画素を取り出すといった方法が考えられる。また、予め記憶されているサンプルパラメータに基づいてパターン正規化を行なった特徴量に関して部分空間を生成しておく。この部分空間を「正解部分空間」と呼ぶ。

第２に、サンプルパラメータを所定量変化させたパラメータに関して同様にパターン正規化を行なった特徴量に関して部分空間を生成する。これを「ガイド部分空間」と呼ぶ。

第３に、正解部分空間及びガイド部分空間との類似度を部分空間法によって求める。

第４に、最も類似度が高くなる部分空間について、それが正解であればそこで停止し、次のステップに進む。

第５に、それがガイド部分空間であれば、そのガイド部分空間のパラメータに応じてパラメータ空間内で適切な方向にパラメータを変化させる。

第６に、正解部分空間との類似度が最も高くなるか、もしくは所定の回数繰り返した後、次の処理に移る。

第７に、輪郭に沿ったエッジ強度を求める。エッジ強度に関しては通常の微分フィルタでもよいし、先に述べた分離度を用いるとさらに頑健である。

第８に、そのようにして求めたエッジ強度と正解部分空間との類似度の和が最も高くなるように、パラメータ空間内でさらに探索を行なう。そのようにして求められたパラメータから生成される輪郭が本実施形態で求める輪郭抽出結果である。

（第２の実施形態）
次に、画像処理装置１０の第２の実施形態について説明する。本実施形態では唇を検出する。

唇輪郭の場合にも目の輪郭と同様の方法で輪郭抽出を行なう。

特徴点は両口端の２点とする。但し、唇輪郭は目の輪郭に比較して変形度合いが大きいため、パラメータ数は許す変形の度合いによって増加させなければならない。

また、対角行列Ｆに関しても、回転角の一次変数で表わすのは困難である場合もある。

しかしながら、それは最後に輪郭を抽出する場合のことであり、初期パラメータ修正の段階では、そこまで正確さを求める必要性は少ない。

そこで、ここでは、初期輪郭は目の輪郭と同様、第一主成分のみを用い、実際に輪郭を抽出する際にはパラメータを増やして輪郭抽出を行なう。

（変形例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

（１）変形例１
第１及び第２の実施形態では輪郭を検出する例について述べたが、検出するものは輪郭ではなく、複数個の特徴点の組でもよい。

（２）変形例２
第１及び第２の実施形態で、輪郭モデルは主成分輪郭を用いたが、これに限らず、任意のパラメトリックなモデルを使うことができる。例えばスプライン曲線を用いてもよい。

（３）変形例３
回転角から求められる行列Ｆとしてここでは対角行列を用いたが、これに限るものではない。

（４）変形例４
回転角から変形する際に、正面からの回転角を用いたが、これに限らず、動画であることを利用して、前フレームからの回転量を基に変換してもよい。こうすることでより正確な初期パラメータ設定が可能となる。

（５）変形例５
サンプル輪郭から輪郭モデルを作成する際に、距離Ｄでのみ正規化を行なったが、数２で示した変換の逆変換を加えることで、サンプル収集時の顔向きによるデータのばらつきを抑えると、より効果的である。

（６）変形例６
上記実施形態では、顔向きに関して説明したが、他の対象物の場合には、その姿勢に基づいて初期パラメータを修正すればよい。

本発明は、画像から対象物の輪郭を検出する場合に有効であり、例えば、画像中の顔にデジタルメイクを行う場合に、メイクの対象となる顔の輪郭抽出に用いれば、目的の位置にメイクを施すことができる。

第１の実施形態の構成図である。特徴点位置を表わす図である。顔向き推定の説明図である。目輪郭パラメータの説明図である。目輪郭モデルの説明図１である。目輪郭モデルの説明図２である。目輪郭モデルの説明図３である。

符号の説明

１２画像入力部
１４特徴点検出部
１６顔向き推定部
１８基準点推定部
２０輪郭モデルデータ
２２初期パラメータ修正部
２４初期輪郭生成部
２６輪郭抽出部

Claims

対象物が撮影された画像から前記対象物の輪郭を抽出する画像処理装置において、
前記画像が入力する画像入力手段と、
前記入力した画像中から前記対象物の複数の特徴点を検出する特徴点検出手段と、
前記検出し複数の特徴点から前記対象物の姿勢を表す回転角を推定する姿勢推定手段と、
前記検出した複数の特徴点から前記対象物の輪郭を検出するための初期パラメータを推定する初期パラメータ推定手段と、
前記推定した初期パラメータを、前記推定された回転角によって修正する初期パラメータ修正手段と、
前記修正した初期パラメータを用いて前記対象物の輪郭を生成する輪郭生成手段と、
を有する
ことを特徴とする画像処理装置。
前記画像入力手段には、前記対象物が撮影された動画像が入力し、
前記特徴点検出手段は、前記入力した動画像の各フレーム毎に前記対象物の複数の特徴点を求め、
前記姿勢推定手段は、
前記求めた各フレーム毎の複数の特徴点から因数分解法に基づいて前記各特徴点の三次元座標を求め、
前記求めた各特徴点の三次元座標を要素に持つ形状行列を求め、
前記入力した動画像の中で輪郭を求めたい対象物が撮影された画像から検出した複数の特徴点の二次元座標を要素にもつ計測行列を求め、
前記求めた計測行列と前記求めた形状行列から前記対象物の姿勢を表す運動行列を求め、
前記運動行列から前記対象物の回転角を求める
ことを特徴とする請求項１記載の画像処理装置。
前記初期パラメータ推定手段は、
前記検出した複数の特徴点から輪郭を抽出するのに必要な基準点を推定し、この推定した基準点を初期パラメータとする
ことを特徴とする請求項１記載の画像処理装置。
前記初期パラメータ修正手段は、
予め記憶されたサンプル主成分ベクトルから正規化輪郭ベクトルを計算し、
前記計算した正規化輪郭ベクトルと前記推定した基準点を、前記推定した対象物の回転角に基づいて修正して、修正基準点と修正正規化輪郭ベクトルを計算する
ことを特徴とする請求項３記載の画像処理装置。
前記輪郭生成手段は、
前記修正した初期パラメータから初期輪郭を求め、
前記求めた初期輪郭から最終的な輪郭を求める
ことを特徴とする請求項１記載の画像処理装置。
前記求めたい対象物の輪郭が、人物の目の輪郭、または、唇の輪郭であって、前記姿勢は前記人物の顔向きである
ことを特徴とする請求項１から５のうち少なくとも一項に記載の画像処理装置。
対象物が撮影された画像から前記対象物の輪郭を抽出する画像処理方法において、
前記画像が入力する画像入力ステップと、
前記入力した画像中から前記対象物の複数の特徴点を検出する特徴点検出ステップと、
前記検出し複数の特徴点から前記対象物の姿勢を表す回転角を推定する姿勢推定ステップと、
前記検出した複数の特徴点から前記対象物の輪郭を検出するための初期パラメータを推定する初期パラメータ推定ステップと、
前記推定した初期パラメータを、前記推定された回転角によって修正する初期パラメータ修正ステップと、
前記修正した初期パラメータを用いて前記対象物の輪郭を生成する輪郭生成ステップと、
を有する
ことを特徴とする画像処理方法。
対象物が撮影された画像から前記対象物の輪郭を抽出する画像処理方法をコンピュータによって実現するプログラムにおいて、
前記画像が入力する画像入力機能と、
前記入力した画像中から前記対象物の複数の特徴点を検出する特徴点検出機能と、
前記検出し複数の特徴点から前記対象物の姿勢を表す回転角を推定する姿勢推定機能と、
前記検出した複数の特徴点から前記対象物の輪郭を検出するための初期パラメータを推定する初期パラメータ推定機能と、
前記推定した初期パラメータを、前記推定された回転角によって修正する初期パラメータ修正機能と、
前記修正した初期パラメータを用いて前記対象物の輪郭を生成する輪郭生成機能と、
を実現する
ことを特徴とする画像処理方法のプログラム。