JP2007299051A

JP2007299051A - 画像処理装置、方法およびプログラム

Info

Publication number: JP2007299051A
Application number: JP2006124148A
Authority: JP
Inventors: Tatsuo Kosakaya; 達夫小坂谷
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-04-27
Filing date: 2006-04-27
Publication date: 2007-11-15

Abstract

【課題】認識対象の非剛体な変形を抑制し、高精度に認識処理を行う。
【解決手段】本発明の画像処理装置は、画像入力部と；入力された画像から複数の特徴
点を検出する特徴点検出部と；顔モデルの３次元形状情報と顔モデル上の基準特徴点座標
とを記憶しておく３次元顔形状情報記憶部と；検出された特徴点と基準特徴点との対応関
係から入力物体の姿勢を推定する対応関係推定部と；特徴点と基準特徴点との座標の誤差
を推定された対応関係に基づいて求め、この誤差を抑制するように顔モデルを変形する変
形処理部と、変形された顔モデルを用いて認識用画像を生成するパターン生成部と；生成
された認識用画像とあらかじめ記憶されているパターンとを用いて前記人物の認識を行う
認識部と；を具備する。
【選択図】図１

Description

本発明は画像認識装置、方法およびプログラムに関する。

顔画像は、立ち位置や顔の向きといった姿勢だけでなく、表情や発話動作によっても複
雑に変化する。そのため高精度な顔画像認識を行うためには、顔の向きのような顔の３次
元的な姿勢変化に加えて、表情に起因する顔パターンの変動も考慮する必要がある。

非特許文献１が開示する顔画像認識手法は、あらかじめ複数の顔の３次元形状を撮影し
ておき、それらの形状の線形結合により顔の形状、姿勢、照明を推定して顔画像認識を行
うものである。しかし、例えば表情変化は顔形状の単純な線形結合では表現することが困
難であるため、任意の顔の変形に対しては対応することができなかった。

非特許文献２が開示する顔画像認識手法は、動画像を用いることにより顔パターンの変
動を抑え、姿勢や表情の変化に対して高精度な認識を行うことができる。しかし、高精度
な認識を行うためには、あらかじめ動画により多様な表情変化を収集する必要がある。

特許文献１が開示する顔画像認識手法は、入力画像から抽出された顔の特徴点を基準と
なる顔画像の特徴点と一致させるように変形された画像に基づいて顔画像認識を行うこと
により表情変化に対応している。しかし、この手法はアフィン変換を用いて顔の姿勢を眼
と口の中心を一致させるように正規化するので、顔の回転だけでなく向きを含む３次元的
な動きがある場合には、表情変化を正しく推定することができない。
特開平１１−１６１７９１号公報 Volker Blanz , Thomas Vetter, Face Recognition Based on Fitting a 3D Morphable Model, IEEE Transactions on Pattern Analysis and Machine Intelligence, v.25 n.9, p.1063-1074, September 2003. 山口、福井、「顔向き表情変化にロバストな顔認識システム‘smartface’」, 信学論 (D-II), vol.J84-D-II, No.6, p.1045-1052, 2001.

従来技術には、顔の３次元的な姿勢変化と顔の表情などの非剛体な変形との両方に、１
枚の画像で対応することができないという問題があった。

本発明は、上記従来技術の問題点を解決するためになされたものであって、３次元形状
情報を用いて姿勢変化を推定し、基準空間に射影された特徴点との誤差に基づいて３次元
形状情報を変形することにより、顔の表情変化による認識精度の低下を抑制することがで
きる画像処理装置およびその方法を提供することを目的とする。

本発明の一側面に関する画像認識装置は：人物の顔が写っている顔画像を入力する画像
入力部と；前記顔画像から複数の特徴点を検出する特徴点検出部と；顔モデルの３次元形
状の情報および前記顔モデル上の基準特徴点の座標を含んだ３次元顔形状情報を記憶する
３次元顔形状情報記憶部と；前記特徴点と前記基準特徴点との対応関係を推定する対応関
係推定部と；前記特徴点と前記基準特徴点との対応関係に基づいて前記特徴点と前記基準
特徴点との座標の誤差を求め、前記誤差を抑制するように前記顔モデルを変形させる変形
処理部と；前記変形された顔モデルの３次元形状に基づいて前記顔画像を正規化すること
により、認識用顔画像を生成するパターン生成部と；前記認識用顔画像とあらかじめ記憶
されているパターンとを用いて前記人物の認識を行う認識部と；を有する。

本発明の他の側面はコンピュータを上記の画像認識装置として機能させるためのプログ
ラムに関する。

本発明のさらに他の側面は上記の画像認識装置にて行われる画像認識方法に関する。

本発明によれば、表情の変化による顔画像認識の精度の低下を抑制することができる。

以下、図面を参照して本発明の一実施形態を説明する。

図１は本実施形態の画像認識装置のブロック図である。本実施形態の画像認識装置は、
認識対象となる人物の顔画像を入力する画像入力部１０１と、入力された顔画像内から特
徴点を抽出する特徴点検出部１０２と、顔モデルの３次元形状情報および前記顔モデル上
の基準特徴点の座標を記憶しておく３次元顔形状情報記憶部１０７と、顔の姿勢を推定す
ることにより抽出された特徴点と３次元顔形状上の基準特徴点との対応関係を推定する対
応関係推定部１０３と、抽出された特徴点と基準特徴点との座標の誤差を抑制するように
前記顔モデルを変形する変形処理部１０４と、変形後の３次元顔形状情報を用いて顔パタ
ーンを生成するパターン生成部１０５と、顔認識用の登録辞書を記憶する登録辞書記憶部
１０８と、生成された顔パターンと前記登録辞書との認識処理を行う認識部１０６とを備
えている。

図３は本実施形態の画像認識装置が行う処理のフローチャートである。図１及び図３を
用いて本実施形態の画像認識装置の動作について説明する。

まず、画像入力部１０１は、処理対象となる顔画像を入力する（ステップＳ３０１）。
画像入力部１０１の例として、ＵＳＢカメラやデジタルカメラが挙げられる。また、顔画
像データを記憶している記録媒体（例えば、ＤＶＤ、ビデオテープ、ＨＤＤ）から入力し
ても構わないし、顔写真をスキャンするスキャナを用いて入力しても構わない。あるいは
、ネットワーク等を経由して画像を入力しても構わない。

画像入力部１０１より得られた画像は特徴点検出部１０２に出力される。

特徴点検出部１０２は、顔特徴点として用いる顔部位の画像中の座標を検出する（ステ
ップＳ３０２）。顔特徴点の検出には、例えば、文献（福井、山口、「形状抽出とパター
ン照合の組合せによる顔特徴点抽出」, 信学論(D-II) vol.J80-D-II, No.9, p.2170-2177
, 1997.）で述べられている手法を用いて検出することができる。なお、顔特徴点の検出
手法はこの手法に限られるものではなく、他の手法を用いても構わない。

検出する特徴点は、同一平面上に存在しない４点以上の点であればどのような部位でも
構わない。例えば、瞳、眉毛の端点（眉端）、鼻孔、口の端点（口端）を用いることがで
きる。ただし、ここで抽出された特徴点を変形の際の制御点として用いるため、変形の基
準となる特徴点（例えば口の両端の動きを補正する場合には口端）が抽出されているか、
または他の特徴点から変形の基準となる点が推定されていることが望ましい。

３次元顔形状情報記憶部１０７は、顔モデルの３次元形状情報である３次元顔形状情報
と、顔モデルの特徴点である基準特徴点の座標とを記憶する。３次元顔形状情報記憶部１
０７が記憶する基準特徴点は、特徴点検出部１０２により検出される可能性がある特徴点
の種類を含む。

例えば、特徴点検出部１０２が瞳、眉端、鼻孔、口端を抽出するように本装置を構成す
る場合には、３次元顔形状情報記憶部１０７は瞳、眉端、鼻孔、口端を含んだ基準特徴点
の座標を記憶する。また、顔モデルの３次元の形状情報は複数人の顔の形状から作成する
平均形状や、一般的な顔を表現するような一般形状でも良いし、個人ごとの顔形状が得ら
れている場合には、それを用いることによりさらなる高精度化が可能である。

対応関係推定部１０３は、３次元顔形状情報記憶部１０７が記憶する３次元顔形状情報
と基準特徴点とを用いて、入力された顔の３次元的な姿勢を推定することにより基準特徴
点と特徴点との対応関係を求める（ステップＳ３０３）。顔の姿勢を表す射影行列Ｍは、
特徴点検出部１０２から得られた顔特徴点（ｘ_ｉ，ｙ_ｉ）と、この顔特徴点に対応する３
次元顔形状上の基準特徴点（ｘ_ｉ’，ｙ_ｉ’，ｚ_ｉ’）とを用いて（１）式、（２）式お
よび（３）式により定義される。

すなわち、射影行列Ｍは、３次元顔形状上の基準特徴点の重心を原点とする座標系で表
現された３次元顔形状上の基準特徴点を、顔特徴点の座標の重心を原点とする座標系で表
現された顔特徴点に射影変換する行列である。

なお、本明細書では「ｘ」の上に「￣」を伴うものを「ｘ￣」と表記する。上記（１）
式の（ｘ￣，ｙ￣）は入力画像上での特徴点の重心の座標である。上記（２）式の（ｘ’
￣，ｙ’￣，ｚ’￣）は入力画像上での基準特徴点の座標である。

（３）式について、行列Ｓの一般化逆行列Ｓ^†を計算することにより射影行列Ｍが算出
され、射影行列Ｗの一般化逆行列Ｗ^†を計算することにより射影行列Ｍ^†が算出される（
（４）式、（５）式）。

なお、射影行列ＭおよびＭ^†の求め方は上述した方法に限らない。例えば、上述した方
法では、簡単のため平行投影モデルを用いて射影行列ＭおよびＭ^†を計算したが、より現
実世界に近い透視投影モデルに基づいて特徴点を定義し、射影行列ＭおよびＭ^†を計算す
ることで、より高精度に姿勢推定を行うこともできる。

また、本実施形態では射影行列ＭおよびＭ^†を用いて説明を行うが、３次元顔形状情報
と顔画像との対応付けがなされるようなものであれば何を用いても構わない。例えば、３
次元顔形状と顔画像との対応付けを表すテーブルを求めても以後に説明する手法が容易に
適用可能である。

変形処理部１０４は、対応関係推定部１０３で求めた射影行列に基づいて、特徴点検出
部１０２で検出された顔特徴点を基準空間に射影し、射影された特徴点と基準特徴点との
誤差を抑制させるための変形パラメータを求める（ステップＳ３０４）。そして、求めら
れた変形パラメータを用いて顔モデルを変形する（ステップＳ３０５）。

まず、抽出された特徴点（ｘ_ｉ，ｙ_ｉ）を射影行列Ｍ^†と基準特徴点の重心（ｘ’￣，
ｙ’￣，ｚ’￣）と特徴点の重心（ｘ￣，ｙ￣）に基づいて、３次元顔形状上の点（ａ_ｉ
，ｂ_ｉ，ｃ_ｉ）に射影することができる（（６）式）。

また、（ｘ_ｉ，ｙ_ｉ）から（ａ_ｉ，ｂ_ｉ，ｃ_ｉ）を求めるのは関係式２つに対して未知
数３つの不良設定問題であるため、何らかの仮定をおくことでより精度よく求めることも
できる。例えば、変形前と変形後では奥行き方向には変化しないと仮定するとｃ_ｉ＝ｚ_ｉ
’であるため、未知数は２つとなり、射影行列Ｍを用いて容易に残りのａ_ｉとｂ_ｉを計算
することが可能である。これ以外にも任意の仮定をおいたり、他のいかなる方法で（ａ_ｉ
，ｂ_ｉ，ｃ_ｉ）を求めても良い。

姿勢推定に用いた３次元顔形状情報で表現することができない顔の特徴や変形は、この
射影された特徴点（ａ_ｉ，ｂ_ｉ，ｃ_ｉ）と対応する３次元顔形状上の基準特徴点（ｘ’，
ｙ’，ｚ’）との差で表現される。そこで、対応する基準特徴点（ｘ’，ｙ’，ｚ’）を
この射影された特徴点（ａ_ｉ，ｂ_ｉ，ｃ_ｉ）に一致させるように３次元顔形状を変形させ
ることで、この変形を補正することができる。

特徴点を一致させる際には、基準特徴点のみを移動させても意味が無く、基準特徴点の
周囲ある点に関しても適切に変形させる必要がある。つまり、基準特徴点を含む３次元顔
形状情報をメッシュ構造として表現したときに、基準特徴点と連結している他の点も適切
に変形させなければ、結果として得られる変形後の３次元顔形状は不自然なものになって
しまう。

メッシュ上のある点を動かした際に、周囲の点の変位量を求める方法は既にいくつか提
案されており、例えば、文献（Takeo Igarashi, Tomer Moscovich, John F. Hughes, "As
-Rigid-As-Possible Shape Manipulation", ACM Transactions on Computer Graphics, V
ol.24, No.3, ACM SIGGRAPH 2005, Los Angels, USA, 2005.）で述べられている方法で実
現することができる。

これは、２次元平面にある物体が３角形パッチの集合したメッシュで構成されている場
合に、少数の制御点を動かすだけで、変形後の各３角形パッチの歪みによる誤差の総和が
最小となるような変形パラメータを求める手法である。この手法は２次元平面上の物体の
変形のみを扱っているが、例えばｚ座標は変形に対して不変とすれば、３次元顔形状にも
容易に適用可能である。これにより、基準特徴点を制御点として任意の位置へ移動したと
きに、適切に変形された３次元顔形状を得ることができる。

変形処理部１０４は、変形パラメータを用いて３次元顔形状上の各点（ｘ，ｙ，ｚ）を
変形して、移動後の座標（Ｘ，Ｙ，Ｚ）を求める。

なお、３次元顔形状の変形方法はこれに限るものではなく、任意の手法が適用可能であ
り、ｚ座標も考慮して変形を行うことや、人間の顔の筋肉のモデル等を考慮して変形させ
ることでより高精度化が可能である。また、全ての基準特徴点を射影した特徴点に一致さ
せる必要はなく、その種類は適宜選択可能である。

パターン生成部１０５は、変形処理部１０４によって変形された後の顔モデルに基づい
て、認識処理に用いるための顔パターン画像を生成する（ステップＳ３０６）。

変形後の顔モデル上の各点の座標（Ｘ，Ｙ，Ｚ）に対する入力画像上の点（ｓ，ｔ）は
、射影行列Ｍと基準特徴点の重心（ｘ’￣，ｙ’￣，ｚ’￣）と入力画像上での特徴点の
重心（ｘ￣，ｙ￣）を用いて以下の（７）式の関係により求められる。

（７）式に基づく計算により得られた点（ｓ，ｔ）における入力画像のピクセル値Ｉ（
ｓ，ｔ）を変形前の３次元顔形状の座標（ｘ，ｙ，ｚ）のピクセル値とし、この処理を３
次元顔形状上の任意の座標に適用する。これにより、変形パラメータで表現される変形が
抑制された顔パターンの生成が可能である。

認識部１０６は、登録時初期億部１０８に記憶されている登録辞書を用いて、パターン
生成部１０５で得られた顔パターンの認識処理を行う（ステップＳ３０７）。パターン生
成部１０５により、姿勢と変形が正規化された顔パターンが得られており、また、顔の部
位も基準特徴点として得られているので、認識部１０６はこれまで提案されている任意の
パターン認識手法が適用可能である。

例えば、よく知られる固有顔法や、特徴点を摂動させて切り出して複数の顔パターンを
生成して主成分分析し、登録されている部分空間との類似度を計算することもできる。部
分空間同士の類似度は非特許文献２にある相互部分空間法などにより計算可能である。

さらに、生成された顔パターンに対して任意の特徴抽出処理を適用しても構わない。例
えば、ヒストグラム平坦化処理、縦微分処理、フーリエ変換を用いて、より顔パターンの
持つ本質的な情報を抽出し、認識精度を向上させることが可能である。

また、複数枚の画像入力があった場合でも、生成された複数枚の顔パターンを認識部１
０６において統合し、認識処理を行うことも可能である。この統合に際しても、複数の顔
パターンを１つの特徴量として統合しても構わないし、複数の顔パターンを複数の特徴量
として計算した後に類似度を統合しても構わない。また、１枚の顔パターンから異なる特
徴抽出処理を行うことで複数の特徴量を抽出して認識を行うことによって、より多様な特
徴を捉えて認識を行うことが可能である。

このように、本実施形態に係わる画像処理装置は、３次元顔形状情報を用いて姿勢変化
を推定しているので顔向きの変化による認識精度の低下を抑制できる。また、基準空間に
射影された特徴点との誤差に基づいて３次元顔形状情報を変形しているので、表情の変化
による認識精度の低下を抑制することが可能である。

（変形例１）
図２は変形例１の顔認識装置のブロック図である。

変形処理部１０４により得られた変形後の顔モデルを用いて、再度基準特徴点と特徴点
との対応関係を求めても構わない。

対応関係推定部１０３で最初に得られる射影行列は、３次元顔形状上の基準特徴点と入
力顔画像の特徴点との対応関係を求めることにより得られるが、３次元顔形状上の基準特
徴点と入力顔画像の特徴点とが完全に一致していることは稀であるので、姿勢変化を表す
射影行列そのものにも誤差が発生する。

その誤差を減少させるために、変形処理部１０４により得られた変形後の顔モデルを用
いて再度姿勢推定を行う。変形後の顔モデルは真の形状へと近づくと考えられるため、顔
モデルに基づいた姿勢推定をより精度良く行うことが可能である。このフィードバック処
理は何度行っても構わない。また、姿勢推定や変形推定に用いる特徴点の種類を適宜変更
しても構わないし、フィードバック処理を繰り返す場合はフィードバック処理毎に特徴点
の種類を変えても構わない。

（変形例２）
変形処理部１０４が複数のセットの変形パラメータを求めることにより、様々な状況に
対応することが可能となる。複数のセットの変形パラメータを生成する方法はどのような
方法を用いてもかまわない。例えば、特徴点検出部１０２において検出された特徴点の座
標に摂動を加えて複数の特徴点の組を生成し、特徴点の各組の変形パラメータを求めるこ
とが考えられる。これは、特徴点がズレて検出されている可能性を考慮することに相当す
る。この変形パラメータには、全く変形を含まない変位が全てゼロとなるようなパラメー
タとの組み合わせも含まれる。

予め特徴点のズレを考慮して複数のセットの変形パラメータを生成しておくことで、特
徴点のズレがあった場合においても、高精度に認識を行うことが可能となる。また、予め
良く発生する特徴点の変位を記録しておき、それらに従って変形パラメータを計算するこ
とも考えられる。これにより、良く発生する顔の変形を検出誤差などに依存しないで行う
ことができ、笑顔などの代表的な表情において、よりロバストに対応することが可能とな
る。

上記の実施形態および各変形例に限らず、本発明はコンピュータ上で実行されるプログ
ラムとして実現されても構わない。このプログラムはコンピュータ読み取り可能な記録媒
体に記録されたものであっても構わないし、他のコンピュータからネットワーク経由で転
送されるものであっても構わない。

さらに、本発明は上記の実施形態および各変形例に限定されるものではなく、実施段階
ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態
に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。
例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに
、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態の画像認識装置のブロック図。変形例１の画像認識装置のブロック図。本発明の一実施形態の画像認識装置による処理のフローチャート。

符号の説明

１０１・・・画像入力部１０２・・・特徴点検出部
１０３・・・対応関係推定部１０４・・・変形処理部
１０５・・・パターン生成部１０６・・・認識部
１０７・・・３次元顔形状情報記憶部１０８・・・登録辞書記憶部

Claims

人物の顔が写っている顔画像を入力する画像入力部と；
前記顔画像から複数の特徴点を検出する特徴点検出部と；
顔モデルの３次元形状の情報および前記顔モデル上の基準特徴点の座標を含んだ３次元
顔形状情報を記憶する３次元顔形状情報記憶部と；
前記特徴点と前記基準特徴点との対応関係を推定する対応関係推定部と；
前記特徴点と前記基準特徴点との対応関係に基づいて前記特徴点と前記基準特徴点との
座標の誤差を求め、前記誤差を抑制するように前記顔モデルを変形させる変形処理部と；
前記変形された顔モデルの３次元形状に基づいて前記顔画像を正規化することにより、
認識用顔画像を生成するパターン生成部と；
前記認識用顔画像とあらかじめ記憶されているパターンとを用いて前記人物の認識を行
う認識部と；
を有することを特徴とする画像認識装置。
前記対応関係推定部は、前記検出された特徴点と前記基準特徴点との間の射影行列を計
算することを特徴とする、請求項１に記載された画像認識装置。
前記変形処理部は、前記射影行列を用いた射影変換で前記特徴点と前記基準特徴点との
同一の空間上での座標の誤差を求めることにより、前記顔モデル上の各点の変位を推定す
ることを特徴とする、請求項２に記載された画像認識装置。
前記対応関係推定部は、前記特徴点と前記変形処理部で変形された顔モデル上の基準特
徴点との対応関係を推定することを特徴とする、請求項１から請求項３までのいずれか一
項に記載された画像認識装置。
コンピュータを画像認識装置として機能させるためのプログラムであって、前記コンピ
ュータを、
人物の顔が写っている顔画像を入力する画像入力手段と；
前記画像入力手段に入力された前記顔画像から複数の特徴点を検出する特徴点検出手段
と；
顔モデルの３次元形状の情報および前記顔モデル上の基準特徴点の座標を含んだ３次元
顔形状情報を記憶する３次元顔形状情報記憶手段と；
前記特徴点検出手段によって検出された前記特徴点と前記３次元顔形状情報記憶手段に
記憶された前記基準特徴点との対応関係を推定する対応関係推定手段と；
前記対応関係推定手段によって推定された前記特徴点と前記基準特徴点との対応関係に
基づいて前記特徴点と前記基準特徴点との誤差を求め、前記誤差を抑制するように前記顔
モデルを変形させる変形処理手段と；
前記変形処理手段によって変形された前記顔モデルの３次元形状に基づいて前記顔画像
を正規化することにより、認識用顔画像を生成するパターン生成手段と；
前記パターン生成手段により生成された前記認識用顔画像とあらかじめ記憶されている
パターンとを用いて前記人物の認識を行う認識手段と；
して機能させるプログラム。
前記対応関係推定手段は、前記特徴点検出手段によって検出された前記特徴点と前記３
次元顔形状情報記憶手段に記憶された前記基準特徴点との間の射影行列を計算することを
特徴とする、請求項５に記載されたプログラム。
前記変形処理手段は、前記対応関係推定手段により計算された前記射影行列を用いた射
影変換で前記特徴点と前記基準特徴点との同一の空間上での座標の誤差を求めることによ
り、前記顔モデル上の各点の変位を推定することを特徴とする、請求項６に記載されたプ
ログラム。
前記対応関係推定手段は、前記特徴点と前記変形処理部で変形された顔モデル上の基準
特徴点との対応関係を推定することを特徴とする、請求項５から請求項７までのいずれか
一項に記載されたプログラム。
人物の顔が写っている顔画像を入力し；
前記画像入力手段に入力された前記顔画像から複数の特徴点を検出し；
顔モデルの３次元形状の情報および前記顔モデル上の基準特徴点の座標を含んだ３次元
顔形状情報を記憶し；
検出された前記特徴点と記憶された前記基準特徴点との対応関係を推定し；
前記対応関係推定手段によって推定された前記特徴点と前記基準特徴点との対応関係に
基づいて前記特徴点と前記基準特徴点との誤差を求め、前記誤差を抑制するように前記顔
モデルを変形し；
前記変形された顔モデルの３次元形状に基づいて前記顔画像を正規化することにより、
認識用顔画像を生成し；
生成された前記認識用顔画像とあらかじめ記憶されているパターンとを用いて前記人物
の認識を行う；
ことを特徴とする画像認識方法。