JP2007299051A - 画像処理装置、方法およびプログラム - Google Patents
画像処理装置、方法およびプログラム Download PDFInfo
- Publication number
- JP2007299051A JP2007299051A JP2006124148A JP2006124148A JP2007299051A JP 2007299051 A JP2007299051 A JP 2007299051A JP 2006124148 A JP2006124148 A JP 2006124148A JP 2006124148 A JP2006124148 A JP 2006124148A JP 2007299051 A JP2007299051 A JP 2007299051A
- Authority
- JP
- Japan
- Prior art keywords
- face
- feature point
- image
- recognition
- correspondence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Abstract
【課題】 認識対象の非剛体な変形を抑制し、高精度に認識処理を行う。
【解決手段】 本発明の画像処理装置は、画像入力部と;入力された画像から複数の特徴
点を検出する特徴点検出部と;顔モデルの3次元形状情報と顔モデル上の基準特徴点座標
とを記憶しておく3次元顔形状情報記憶部と;検出された特徴点と基準特徴点との対応関
係から入力物体の姿勢を推定する対応関係推定部と;特徴点と基準特徴点との座標の誤差
を推定された対応関係に基づいて求め、この誤差を抑制するように顔モデルを変形する変
形処理部と、変形された顔モデルを用いて認識用画像を生成するパターン生成部と;生成
された認識用画像とあらかじめ記憶されているパターンとを用いて前記人物の認識を行う
認識部と;を具備する。
【選択図】 図1
【解決手段】 本発明の画像処理装置は、画像入力部と;入力された画像から複数の特徴
点を検出する特徴点検出部と;顔モデルの3次元形状情報と顔モデル上の基準特徴点座標
とを記憶しておく3次元顔形状情報記憶部と;検出された特徴点と基準特徴点との対応関
係から入力物体の姿勢を推定する対応関係推定部と;特徴点と基準特徴点との座標の誤差
を推定された対応関係に基づいて求め、この誤差を抑制するように顔モデルを変形する変
形処理部と、変形された顔モデルを用いて認識用画像を生成するパターン生成部と;生成
された認識用画像とあらかじめ記憶されているパターンとを用いて前記人物の認識を行う
認識部と;を具備する。
【選択図】 図1
Description
本発明は画像認識装置、方法およびプログラムに関する。
顔画像は、立ち位置や顔の向きといった姿勢だけでなく、表情や発話動作によっても複
雑に変化する。そのため高精度な顔画像認識を行うためには、顔の向きのような顔の3次
元的な姿勢変化に加えて、表情に起因する顔パターンの変動も考慮する必要がある。
雑に変化する。そのため高精度な顔画像認識を行うためには、顔の向きのような顔の3次
元的な姿勢変化に加えて、表情に起因する顔パターンの変動も考慮する必要がある。
非特許文献1が開示する顔画像認識手法は、あらかじめ複数の顔の3次元形状を撮影し
ておき、それらの形状の線形結合により顔の形状、姿勢、照明を推定して顔画像認識を行
うものである。しかし、例えば表情変化は顔形状の単純な線形結合では表現することが困
難であるため、任意の顔の変形に対しては対応することができなかった。
ておき、それらの形状の線形結合により顔の形状、姿勢、照明を推定して顔画像認識を行
うものである。しかし、例えば表情変化は顔形状の単純な線形結合では表現することが困
難であるため、任意の顔の変形に対しては対応することができなかった。
非特許文献2が開示する顔画像認識手法は、動画像を用いることにより顔パターンの変
動を抑え、姿勢や表情の変化に対して高精度な認識を行うことができる。しかし、高精度
な認識を行うためには、あらかじめ動画により多様な表情変化を収集する必要がある。
動を抑え、姿勢や表情の変化に対して高精度な認識を行うことができる。しかし、高精度
な認識を行うためには、あらかじめ動画により多様な表情変化を収集する必要がある。
特許文献1が開示する顔画像認識手法は、入力画像から抽出された顔の特徴点を基準と
なる顔画像の特徴点と一致させるように変形された画像に基づいて顔画像認識を行うこと
により表情変化に対応している。しかし、この手法はアフィン変換を用いて顔の姿勢を眼
と口の中心を一致させるように正規化するので、顔の回転だけでなく向きを含む3次元的
な動きがある場合には、表情変化を正しく推定することができない。
特開平11−161791号公報
Volker Blanz , Thomas Vetter, Face Recognition Based on Fitting a 3D Morphable Model, IEEE Transactions on Pattern Analysis and Machine Intelligence, v.25 n.9, p.1063-1074, September 2003.
山口、福井、「顔向き表情変化にロバストな顔認識システム‘smartface’」, 信学論 (D-II), vol.J84-D-II, No.6, p.1045-1052, 2001.
なる顔画像の特徴点と一致させるように変形された画像に基づいて顔画像認識を行うこと
により表情変化に対応している。しかし、この手法はアフィン変換を用いて顔の姿勢を眼
と口の中心を一致させるように正規化するので、顔の回転だけでなく向きを含む3次元的
な動きがある場合には、表情変化を正しく推定することができない。
従来技術には、顔の3次元的な姿勢変化と顔の表情などの非剛体な変形との両方に、1
枚の画像で対応することができないという問題があった。
枚の画像で対応することができないという問題があった。
本発明は、上記従来技術の問題点を解決するためになされたものであって、3次元形状
情報を用いて姿勢変化を推定し、基準空間に射影された特徴点との誤差に基づいて3次元
形状情報を変形することにより、顔の表情変化による認識精度の低下を抑制することがで
きる画像処理装置およびその方法を提供することを目的とする。
情報を用いて姿勢変化を推定し、基準空間に射影された特徴点との誤差に基づいて3次元
形状情報を変形することにより、顔の表情変化による認識精度の低下を抑制することがで
きる画像処理装置およびその方法を提供することを目的とする。
本発明の一側面に関する画像認識装置は:人物の顔が写っている顔画像を入力する画像
入力部と;前記顔画像から複数の特徴点を検出する特徴点検出部と;顔モデルの3次元形
状の情報および前記顔モデル上の基準特徴点の座標を含んだ3次元顔形状情報を記憶する
3次元顔形状情報記憶部と;前記特徴点と前記基準特徴点との対応関係を推定する対応関
係推定部と;前記特徴点と前記基準特徴点との対応関係に基づいて前記特徴点と前記基準
特徴点との座標の誤差を求め、前記誤差を抑制するように前記顔モデルを変形させる変形
処理部と;前記変形された顔モデルの3次元形状に基づいて前記顔画像を正規化すること
により、認識用顔画像を生成するパターン生成部と;前記認識用顔画像とあらかじめ記憶
されているパターンとを用いて前記人物の認識を行う認識部と;を有する。
入力部と;前記顔画像から複数の特徴点を検出する特徴点検出部と;顔モデルの3次元形
状の情報および前記顔モデル上の基準特徴点の座標を含んだ3次元顔形状情報を記憶する
3次元顔形状情報記憶部と;前記特徴点と前記基準特徴点との対応関係を推定する対応関
係推定部と;前記特徴点と前記基準特徴点との対応関係に基づいて前記特徴点と前記基準
特徴点との座標の誤差を求め、前記誤差を抑制するように前記顔モデルを変形させる変形
処理部と;前記変形された顔モデルの3次元形状に基づいて前記顔画像を正規化すること
により、認識用顔画像を生成するパターン生成部と;前記認識用顔画像とあらかじめ記憶
されているパターンとを用いて前記人物の認識を行う認識部と;を有する。
本発明の他の側面はコンピュータを上記の画像認識装置として機能させるためのプログ
ラムに関する。
ラムに関する。
本発明のさらに他の側面は上記の画像認識装置にて行われる画像認識方法に関する。
本発明によれば、表情の変化による顔画像認識の精度の低下を抑制することができる。
以下、図面を参照して本発明の一実施形態を説明する。
図1は本実施形態の画像認識装置のブロック図である。本実施形態の画像認識装置は、
認識対象となる人物の顔画像を入力する画像入力部101と、入力された顔画像内から特
徴点を抽出する特徴点検出部102と、顔モデルの3次元形状情報および前記顔モデル上
の基準特徴点の座標を記憶しておく3次元顔形状情報記憶部107と、顔の姿勢を推定す
ることにより抽出された特徴点と3次元顔形状上の基準特徴点との対応関係を推定する対
応関係推定部103と、抽出された特徴点と基準特徴点との座標の誤差を抑制するように
前記顔モデルを変形する変形処理部104と、変形後の3次元顔形状情報を用いて顔パタ
ーンを生成するパターン生成部105と、顔認識用の登録辞書を記憶する登録辞書記憶部
108と、生成された顔パターンと前記登録辞書との認識処理を行う認識部106とを備
えている。
認識対象となる人物の顔画像を入力する画像入力部101と、入力された顔画像内から特
徴点を抽出する特徴点検出部102と、顔モデルの3次元形状情報および前記顔モデル上
の基準特徴点の座標を記憶しておく3次元顔形状情報記憶部107と、顔の姿勢を推定す
ることにより抽出された特徴点と3次元顔形状上の基準特徴点との対応関係を推定する対
応関係推定部103と、抽出された特徴点と基準特徴点との座標の誤差を抑制するように
前記顔モデルを変形する変形処理部104と、変形後の3次元顔形状情報を用いて顔パタ
ーンを生成するパターン生成部105と、顔認識用の登録辞書を記憶する登録辞書記憶部
108と、生成された顔パターンと前記登録辞書との認識処理を行う認識部106とを備
えている。
図3は本実施形態の画像認識装置が行う処理のフローチャートである。図1及び図3を
用いて本実施形態の画像認識装置の動作について説明する。
用いて本実施形態の画像認識装置の動作について説明する。
まず、画像入力部101は、処理対象となる顔画像を入力する(ステップS301)。
画像入力部101の例として、USBカメラやデジタルカメラが挙げられる。また、顔画
像データを記憶している記録媒体(例えば、DVD、ビデオテープ、HDD)から入力し
ても構わないし、顔写真をスキャンするスキャナを用いて入力しても構わない。あるいは
、ネットワーク等を経由して画像を入力しても構わない。
画像入力部101の例として、USBカメラやデジタルカメラが挙げられる。また、顔画
像データを記憶している記録媒体(例えば、DVD、ビデオテープ、HDD)から入力し
ても構わないし、顔写真をスキャンするスキャナを用いて入力しても構わない。あるいは
、ネットワーク等を経由して画像を入力しても構わない。
画像入力部101より得られた画像は特徴点検出部102に出力される。
特徴点検出部102は、顔特徴点として用いる顔部位の画像中の座標を検出する(ステ
ップS302)。顔特徴点の検出には、例えば、文献(福井、山口、「形状抽出とパター
ン照合の組合せによる顔特徴点抽出」, 信学論(D-II) vol.J80-D-II, No.9, p.2170-2177
, 1997.)で述べられている手法を用いて検出することができる。なお、顔特徴点の検出
手法はこの手法に限られるものではなく、他の手法を用いても構わない。
ップS302)。顔特徴点の検出には、例えば、文献(福井、山口、「形状抽出とパター
ン照合の組合せによる顔特徴点抽出」, 信学論(D-II) vol.J80-D-II, No.9, p.2170-2177
, 1997.)で述べられている手法を用いて検出することができる。なお、顔特徴点の検出
手法はこの手法に限られるものではなく、他の手法を用いても構わない。
検出する特徴点は、同一平面上に存在しない4点以上の点であればどのような部位でも
構わない。例えば、瞳、眉毛の端点(眉端)、鼻孔、口の端点(口端)を用いることがで
きる。ただし、ここで抽出された特徴点を変形の際の制御点として用いるため、変形の基
準となる特徴点(例えば口の両端の動きを補正する場合には口端)が抽出されているか、
または他の特徴点から変形の基準となる点が推定されていることが望ましい。
構わない。例えば、瞳、眉毛の端点(眉端)、鼻孔、口の端点(口端)を用いることがで
きる。ただし、ここで抽出された特徴点を変形の際の制御点として用いるため、変形の基
準となる特徴点(例えば口の両端の動きを補正する場合には口端)が抽出されているか、
または他の特徴点から変形の基準となる点が推定されていることが望ましい。
3次元顔形状情報記憶部107は、顔モデルの3次元形状情報である3次元顔形状情報
と、顔モデルの特徴点である基準特徴点の座標とを記憶する。3次元顔形状情報記憶部1
07が記憶する基準特徴点は、特徴点検出部102により検出される可能性がある特徴点
の種類を含む。
と、顔モデルの特徴点である基準特徴点の座標とを記憶する。3次元顔形状情報記憶部1
07が記憶する基準特徴点は、特徴点検出部102により検出される可能性がある特徴点
の種類を含む。
例えば、特徴点検出部102が瞳、眉端、鼻孔、口端を抽出するように本装置を構成す
る場合には、3次元顔形状情報記憶部107は瞳、眉端、鼻孔、口端を含んだ基準特徴点
の座標を記憶する。また、顔モデルの3次元の形状情報は複数人の顔の形状から作成する
平均形状や、一般的な顔を表現するような一般形状でも良いし、個人ごとの顔形状が得ら
れている場合には、それを用いることによりさらなる高精度化が可能である。
る場合には、3次元顔形状情報記憶部107は瞳、眉端、鼻孔、口端を含んだ基準特徴点
の座標を記憶する。また、顔モデルの3次元の形状情報は複数人の顔の形状から作成する
平均形状や、一般的な顔を表現するような一般形状でも良いし、個人ごとの顔形状が得ら
れている場合には、それを用いることによりさらなる高精度化が可能である。
対応関係推定部103は、3次元顔形状情報記憶部107が記憶する3次元顔形状情報
と基準特徴点とを用いて、入力された顔の3次元的な姿勢を推定することにより基準特徴
点と特徴点との対応関係を求める(ステップS303)。顔の姿勢を表す射影行列Mは、
特徴点検出部102から得られた顔特徴点(xi,yi)と、この顔特徴点に対応する3
次元顔形状上の基準特徴点(xi’,yi’,zi’)とを用いて(1)式、(2)式お
よび(3)式により定義される。
と基準特徴点とを用いて、入力された顔の3次元的な姿勢を推定することにより基準特徴
点と特徴点との対応関係を求める(ステップS303)。顔の姿勢を表す射影行列Mは、
特徴点検出部102から得られた顔特徴点(xi,yi)と、この顔特徴点に対応する3
次元顔形状上の基準特徴点(xi’,yi’,zi’)とを用いて(1)式、(2)式お
よび(3)式により定義される。
すなわち、射影行列Mは、3次元顔形状上の基準特徴点の重心を原点とする座標系で表
現された3次元顔形状上の基準特徴点を、顔特徴点の座標の重心を原点とする座標系で表
現された顔特徴点に射影変換する行列である。
現された3次元顔形状上の基準特徴点を、顔特徴点の座標の重心を原点とする座標系で表
現された顔特徴点に射影変換する行列である。
なお、本明細書では「x」の上に「 ̄」を伴うものを「x ̄」と表記する。上記(1)
式の(x ̄,y ̄)は入力画像上での特徴点の重心の座標である。上記(2)式の(x’
 ̄,y’ ̄,z’ ̄)は入力画像上での基準特徴点の座標である。
式の(x ̄,y ̄)は入力画像上での特徴点の重心の座標である。上記(2)式の(x’
 ̄,y’ ̄,z’ ̄)は入力画像上での基準特徴点の座標である。
なお、射影行列MおよびM†の求め方は上述した方法に限らない。例えば、上述した方
法では、簡単のため平行投影モデルを用いて射影行列MおよびM†を計算したが、より現
実世界に近い透視投影モデルに基づいて特徴点を定義し、射影行列MおよびM†を計算す
ることで、より高精度に姿勢推定を行うこともできる。
法では、簡単のため平行投影モデルを用いて射影行列MおよびM†を計算したが、より現
実世界に近い透視投影モデルに基づいて特徴点を定義し、射影行列MおよびM†を計算す
ることで、より高精度に姿勢推定を行うこともできる。
また、本実施形態では射影行列MおよびM†を用いて説明を行うが、3次元顔形状情報
と顔画像との対応付けがなされるようなものであれば何を用いても構わない。例えば、3
次元顔形状と顔画像との対応付けを表すテーブルを求めても以後に説明する手法が容易に
適用可能である。
と顔画像との対応付けがなされるようなものであれば何を用いても構わない。例えば、3
次元顔形状と顔画像との対応付けを表すテーブルを求めても以後に説明する手法が容易に
適用可能である。
変形処理部104は、対応関係推定部103で求めた射影行列に基づいて、特徴点検出
部102で検出された顔特徴点を基準空間に射影し、射影された特徴点と基準特徴点との
誤差を抑制させるための変形パラメータを求める(ステップS304)。そして、求めら
れた変形パラメータを用いて顔モデルを変形する(ステップS305)。
部102で検出された顔特徴点を基準空間に射影し、射影された特徴点と基準特徴点との
誤差を抑制させるための変形パラメータを求める(ステップS304)。そして、求めら
れた変形パラメータを用いて顔モデルを変形する(ステップS305)。
まず、抽出された特徴点(xi,yi)を射影行列M†と基準特徴点の重心(x’ ̄,
y’ ̄,z’ ̄)と特徴点の重心(x ̄,y ̄)に基づいて、3次元顔形状上の点(ai
,bi,ci)に射影することができる((6)式)。
y’ ̄,z’ ̄)と特徴点の重心(x ̄,y ̄)に基づいて、3次元顔形状上の点(ai
,bi,ci)に射影することができる((6)式)。
また、(xi,yi)から(ai,bi,ci)を求めるのは関係式2つに対して未知
数3つの不良設定問題であるため、何らかの仮定をおくことでより精度よく求めることも
できる。例えば、変形前と変形後では奥行き方向には変化しないと仮定するとci=zi
’であるため、未知数は2つとなり、射影行列Mを用いて容易に残りのaiとbiを計算
することが可能である。これ以外にも任意の仮定をおいたり、他のいかなる方法で(ai
,bi,ci)を求めても良い。
数3つの不良設定問題であるため、何らかの仮定をおくことでより精度よく求めることも
できる。例えば、変形前と変形後では奥行き方向には変化しないと仮定するとci=zi
’であるため、未知数は2つとなり、射影行列Mを用いて容易に残りのaiとbiを計算
することが可能である。これ以外にも任意の仮定をおいたり、他のいかなる方法で(ai
,bi,ci)を求めても良い。
姿勢推定に用いた3次元顔形状情報で表現することができない顔の特徴や変形は、この
射影された特徴点(ai,bi,ci)と対応する3次元顔形状上の基準特徴点(x’,
y’,z’)との差で表現される。そこで、対応する基準特徴点(x’,y’,z’)を
この射影された特徴点(ai,bi,ci)に一致させるように3次元顔形状を変形させ
ることで、この変形を補正することができる。
射影された特徴点(ai,bi,ci)と対応する3次元顔形状上の基準特徴点(x’,
y’,z’)との差で表現される。そこで、対応する基準特徴点(x’,y’,z’)を
この射影された特徴点(ai,bi,ci)に一致させるように3次元顔形状を変形させ
ることで、この変形を補正することができる。
特徴点を一致させる際には、基準特徴点のみを移動させても意味が無く、基準特徴点の
周囲ある点に関しても適切に変形させる必要がある。つまり、基準特徴点を含む3次元顔
形状情報をメッシュ構造として表現したときに、基準特徴点と連結している他の点も適切
に変形させなければ、結果として得られる変形後の3次元顔形状は不自然なものになって
しまう。
周囲ある点に関しても適切に変形させる必要がある。つまり、基準特徴点を含む3次元顔
形状情報をメッシュ構造として表現したときに、基準特徴点と連結している他の点も適切
に変形させなければ、結果として得られる変形後の3次元顔形状は不自然なものになって
しまう。
メッシュ上のある点を動かした際に、周囲の点の変位量を求める方法は既にいくつか提
案されており、例えば、文献(Takeo Igarashi, Tomer Moscovich, John F. Hughes, "As
-Rigid-As-Possible Shape Manipulation", ACM Transactions on Computer Graphics, V
ol.24, No.3, ACM SIGGRAPH 2005, Los Angels, USA, 2005.)で述べられている方法で実
現することができる。
案されており、例えば、文献(Takeo Igarashi, Tomer Moscovich, John F. Hughes, "As
-Rigid-As-Possible Shape Manipulation", ACM Transactions on Computer Graphics, V
ol.24, No.3, ACM SIGGRAPH 2005, Los Angels, USA, 2005.)で述べられている方法で実
現することができる。
これは、2次元平面にある物体が3角形パッチの集合したメッシュで構成されている場
合に、少数の制御点を動かすだけで、変形後の各3角形パッチの歪みによる誤差の総和が
最小となるような変形パラメータを求める手法である。この手法は2次元平面上の物体の
変形のみを扱っているが、例えばz座標は変形に対して不変とすれば、3次元顔形状にも
容易に適用可能である。これにより、基準特徴点を制御点として任意の位置へ移動したと
きに、適切に変形された3次元顔形状を得ることができる。
合に、少数の制御点を動かすだけで、変形後の各3角形パッチの歪みによる誤差の総和が
最小となるような変形パラメータを求める手法である。この手法は2次元平面上の物体の
変形のみを扱っているが、例えばz座標は変形に対して不変とすれば、3次元顔形状にも
容易に適用可能である。これにより、基準特徴点を制御点として任意の位置へ移動したと
きに、適切に変形された3次元顔形状を得ることができる。
変形処理部104は、変形パラメータを用いて3次元顔形状上の各点(x,y,z)を
変形して、移動後の座標(X,Y,Z)を求める。
変形して、移動後の座標(X,Y,Z)を求める。
なお、3次元顔形状の変形方法はこれに限るものではなく、任意の手法が適用可能であ
り、z座標も考慮して変形を行うことや、人間の顔の筋肉のモデル等を考慮して変形させ
ることでより高精度化が可能である。また、全ての基準特徴点を射影した特徴点に一致さ
せる必要はなく、その種類は適宜選択可能である。
り、z座標も考慮して変形を行うことや、人間の顔の筋肉のモデル等を考慮して変形させ
ることでより高精度化が可能である。また、全ての基準特徴点を射影した特徴点に一致さ
せる必要はなく、その種類は適宜選択可能である。
パターン生成部105は、変形処理部104によって変形された後の顔モデルに基づい
て、認識処理に用いるための顔パターン画像を生成する(ステップS306)。
て、認識処理に用いるための顔パターン画像を生成する(ステップS306)。
変形後の顔モデル上の各点の座標(X,Y,Z)に対する入力画像上の点(s,t)は
、射影行列Mと基準特徴点の重心(x’ ̄,y’ ̄,z’ ̄)と入力画像上での特徴点の
重心(x ̄,y ̄)を用いて以下の(7)式の関係により求められる。
、射影行列Mと基準特徴点の重心(x’ ̄,y’ ̄,z’ ̄)と入力画像上での特徴点の
重心(x ̄,y ̄)を用いて以下の(7)式の関係により求められる。
(7)式に基づく計算により得られた点(s,t)における入力画像のピクセル値I(
s,t)を変形前の3次元顔形状の座標(x,y,z)のピクセル値とし、この処理を3
次元顔形状上の任意の座標に適用する。これにより、変形パラメータで表現される変形が
抑制された顔パターンの生成が可能である。
s,t)を変形前の3次元顔形状の座標(x,y,z)のピクセル値とし、この処理を3
次元顔形状上の任意の座標に適用する。これにより、変形パラメータで表現される変形が
抑制された顔パターンの生成が可能である。
認識部106は、登録時初期億部108に記憶されている登録辞書を用いて、パターン
生成部105で得られた顔パターンの認識処理を行う(ステップS307)。パターン生
成部105により、姿勢と変形が正規化された顔パターンが得られており、また、顔の部
位も基準特徴点として得られているので、認識部106はこれまで提案されている任意の
パターン認識手法が適用可能である。
生成部105で得られた顔パターンの認識処理を行う(ステップS307)。パターン生
成部105により、姿勢と変形が正規化された顔パターンが得られており、また、顔の部
位も基準特徴点として得られているので、認識部106はこれまで提案されている任意の
パターン認識手法が適用可能である。
例えば、よく知られる固有顔法や、特徴点を摂動させて切り出して複数の顔パターンを
生成して主成分分析し、登録されている部分空間との類似度を計算することもできる。部
分空間同士の類似度は非特許文献2にある相互部分空間法などにより計算可能である。
生成して主成分分析し、登録されている部分空間との類似度を計算することもできる。部
分空間同士の類似度は非特許文献2にある相互部分空間法などにより計算可能である。
さらに、生成された顔パターンに対して任意の特徴抽出処理を適用しても構わない。例
えば、ヒストグラム平坦化処理、縦微分処理、フーリエ変換を用いて、より顔パターンの
持つ本質的な情報を抽出し、認識精度を向上させることが可能である。
えば、ヒストグラム平坦化処理、縦微分処理、フーリエ変換を用いて、より顔パターンの
持つ本質的な情報を抽出し、認識精度を向上させることが可能である。
また、複数枚の画像入力があった場合でも、生成された複数枚の顔パターンを認識部1
06において統合し、認識処理を行うことも可能である。この統合に際しても、複数の顔
パターンを1つの特徴量として統合しても構わないし、複数の顔パターンを複数の特徴量
として計算した後に類似度を統合しても構わない。また、1枚の顔パターンから異なる特
徴抽出処理を行うことで複数の特徴量を抽出して認識を行うことによって、より多様な特
徴を捉えて認識を行うことが可能である。
06において統合し、認識処理を行うことも可能である。この統合に際しても、複数の顔
パターンを1つの特徴量として統合しても構わないし、複数の顔パターンを複数の特徴量
として計算した後に類似度を統合しても構わない。また、1枚の顔パターンから異なる特
徴抽出処理を行うことで複数の特徴量を抽出して認識を行うことによって、より多様な特
徴を捉えて認識を行うことが可能である。
このように、本実施形態に係わる画像処理装置は、3次元顔形状情報を用いて姿勢変化
を推定しているので顔向きの変化による認識精度の低下を抑制できる。また、基準空間に
射影された特徴点との誤差に基づいて3次元顔形状情報を変形しているので、表情の変化
による認識精度の低下を抑制することが可能である。
を推定しているので顔向きの変化による認識精度の低下を抑制できる。また、基準空間に
射影された特徴点との誤差に基づいて3次元顔形状情報を変形しているので、表情の変化
による認識精度の低下を抑制することが可能である。
(変形例1)
図2は変形例1の顔認識装置のブロック図である。
図2は変形例1の顔認識装置のブロック図である。
変形処理部104により得られた変形後の顔モデルを用いて、再度基準特徴点と特徴点
との対応関係を求めても構わない。
との対応関係を求めても構わない。
対応関係推定部103で最初に得られる射影行列は、3次元顔形状上の基準特徴点と入
力顔画像の特徴点との対応関係を求めることにより得られるが、3次元顔形状上の基準特
徴点と入力顔画像の特徴点とが完全に一致していることは稀であるので、姿勢変化を表す
射影行列そのものにも誤差が発生する。
力顔画像の特徴点との対応関係を求めることにより得られるが、3次元顔形状上の基準特
徴点と入力顔画像の特徴点とが完全に一致していることは稀であるので、姿勢変化を表す
射影行列そのものにも誤差が発生する。
その誤差を減少させるために、変形処理部104により得られた変形後の顔モデルを用
いて再度姿勢推定を行う。変形後の顔モデルは真の形状へと近づくと考えられるため、顔
モデルに基づいた姿勢推定をより精度良く行うことが可能である。このフィードバック処
理は何度行っても構わない。また、姿勢推定や変形推定に用いる特徴点の種類を適宜変更
しても構わないし、フィードバック処理を繰り返す場合はフィードバック処理毎に特徴点
の種類を変えても構わない。
いて再度姿勢推定を行う。変形後の顔モデルは真の形状へと近づくと考えられるため、顔
モデルに基づいた姿勢推定をより精度良く行うことが可能である。このフィードバック処
理は何度行っても構わない。また、姿勢推定や変形推定に用いる特徴点の種類を適宜変更
しても構わないし、フィードバック処理を繰り返す場合はフィードバック処理毎に特徴点
の種類を変えても構わない。
(変形例2)
変形処理部104が複数のセットの変形パラメータを求めることにより、様々な状況に
対応することが可能となる。複数のセットの変形パラメータを生成する方法はどのような
方法を用いてもかまわない。例えば、特徴点検出部102において検出された特徴点の座
標に摂動を加えて複数の特徴点の組を生成し、特徴点の各組の変形パラメータを求めるこ
とが考えられる。これは、特徴点がズレて検出されている可能性を考慮することに相当す
る。この変形パラメータには、全く変形を含まない変位が全てゼロとなるようなパラメー
タとの組み合わせも含まれる。
変形処理部104が複数のセットの変形パラメータを求めることにより、様々な状況に
対応することが可能となる。複数のセットの変形パラメータを生成する方法はどのような
方法を用いてもかまわない。例えば、特徴点検出部102において検出された特徴点の座
標に摂動を加えて複数の特徴点の組を生成し、特徴点の各組の変形パラメータを求めるこ
とが考えられる。これは、特徴点がズレて検出されている可能性を考慮することに相当す
る。この変形パラメータには、全く変形を含まない変位が全てゼロとなるようなパラメー
タとの組み合わせも含まれる。
予め特徴点のズレを考慮して複数のセットの変形パラメータを生成しておくことで、特
徴点のズレがあった場合においても、高精度に認識を行うことが可能となる。また、予め
良く発生する特徴点の変位を記録しておき、それらに従って変形パラメータを計算するこ
とも考えられる。これにより、良く発生する顔の変形を検出誤差などに依存しないで行う
ことができ、笑顔などの代表的な表情において、よりロバストに対応することが可能とな
る。
徴点のズレがあった場合においても、高精度に認識を行うことが可能となる。また、予め
良く発生する特徴点の変位を記録しておき、それらに従って変形パラメータを計算するこ
とも考えられる。これにより、良く発生する顔の変形を検出誤差などに依存しないで行う
ことができ、笑顔などの代表的な表情において、よりロバストに対応することが可能とな
る。
上記の実施形態および各変形例に限らず、本発明はコンピュータ上で実行されるプログ
ラムとして実現されても構わない。このプログラムはコンピュータ読み取り可能な記録媒
体に記録されたものであっても構わないし、他のコンピュータからネットワーク経由で転
送されるものであっても構わない。
ラムとして実現されても構わない。このプログラムはコンピュータ読み取り可能な記録媒
体に記録されたものであっても構わないし、他のコンピュータからネットワーク経由で転
送されるものであっても構わない。
さらに、本発明は上記の実施形態および各変形例に限定されるものではなく、実施段階
ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態
に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。
例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに
、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態
に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。
例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに
、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
101・・・画像入力部 102・・・特徴点検出部
103・・・対応関係推定部 104・・・変形処理部
105・・・パターン生成部 106・・・認識部
107・・・3次元顔形状情報記憶部 108・・・登録辞書記憶部
103・・・対応関係推定部 104・・・変形処理部
105・・・パターン生成部 106・・・認識部
107・・・3次元顔形状情報記憶部 108・・・登録辞書記憶部
Claims (9)
- 人物の顔が写っている顔画像を入力する画像入力部と;
前記顔画像から複数の特徴点を検出する特徴点検出部と;
顔モデルの3次元形状の情報および前記顔モデル上の基準特徴点の座標を含んだ3次元
顔形状情報を記憶する3次元顔形状情報記憶部と;
前記特徴点と前記基準特徴点との対応関係を推定する対応関係推定部と;
前記特徴点と前記基準特徴点との対応関係に基づいて前記特徴点と前記基準特徴点との
座標の誤差を求め、前記誤差を抑制するように前記顔モデルを変形させる変形処理部と;
前記変形された顔モデルの3次元形状に基づいて前記顔画像を正規化することにより、
認識用顔画像を生成するパターン生成部と;
前記認識用顔画像とあらかじめ記憶されているパターンとを用いて前記人物の認識を行
う認識部と;
を有することを特徴とする画像認識装置。 - 前記対応関係推定部は、前記検出された特徴点と前記基準特徴点との間の射影行列を計
算することを特徴とする、請求項1に記載された画像認識装置。 - 前記変形処理部は、前記射影行列を用いた射影変換で前記特徴点と前記基準特徴点との
同一の空間上での座標の誤差を求めることにより、前記顔モデル上の各点の変位を推定す
ることを特徴とする、請求項2に記載された画像認識装置。 - 前記対応関係推定部は、前記特徴点と前記変形処理部で変形された顔モデル上の基準特
徴点との対応関係を推定することを特徴とする、請求項1から請求項3までのいずれか一
項に記載された画像認識装置。 - コンピュータを画像認識装置として機能させるためのプログラムであって、前記コンピ
ュータを、
人物の顔が写っている顔画像を入力する画像入力手段と;
前記画像入力手段に入力された前記顔画像から複数の特徴点を検出する特徴点検出手段
と;
顔モデルの3次元形状の情報および前記顔モデル上の基準特徴点の座標を含んだ3次元
顔形状情報を記憶する3次元顔形状情報記憶手段と;
前記特徴点検出手段によって検出された前記特徴点と前記3次元顔形状情報記憶手段に
記憶された前記基準特徴点との対応関係を推定する対応関係推定手段と;
前記対応関係推定手段によって推定された前記特徴点と前記基準特徴点との対応関係に
基づいて前記特徴点と前記基準特徴点との誤差を求め、前記誤差を抑制するように前記顔
モデルを変形させる変形処理手段と;
前記変形処理手段によって変形された前記顔モデルの3次元形状に基づいて前記顔画像
を正規化することにより、認識用顔画像を生成するパターン生成手段と;
前記パターン生成手段により生成された前記認識用顔画像とあらかじめ記憶されている
パターンとを用いて前記人物の認識を行う認識手段と;
して機能させるプログラム。 - 前記対応関係推定手段は、前記特徴点検出手段によって検出された前記特徴点と前記3
次元顔形状情報記憶手段に記憶された前記基準特徴点との間の射影行列を計算することを
特徴とする、請求項5に記載されたプログラム。 - 前記変形処理手段は、前記対応関係推定手段により計算された前記射影行列を用いた射
影変換で前記特徴点と前記基準特徴点との同一の空間上での座標の誤差を求めることによ
り、前記顔モデル上の各点の変位を推定することを特徴とする、請求項6に記載されたプ
ログラム。 - 前記対応関係推定手段は、前記特徴点と前記変形処理部で変形された顔モデル上の基準
特徴点との対応関係を推定することを特徴とする、請求項5から請求項7までのいずれか
一項に記載されたプログラム。 - 人物の顔が写っている顔画像を入力し;
前記画像入力手段に入力された前記顔画像から複数の特徴点を検出し;
顔モデルの3次元形状の情報および前記顔モデル上の基準特徴点の座標を含んだ3次元
顔形状情報を記憶し;
検出された前記特徴点と記憶された前記基準特徴点との対応関係を推定し;
前記対応関係推定手段によって推定された前記特徴点と前記基準特徴点との対応関係に
基づいて前記特徴点と前記基準特徴点との誤差を求め、前記誤差を抑制するように前記顔
モデルを変形し;
前記変形された顔モデルの3次元形状に基づいて前記顔画像を正規化することにより、
認識用顔画像を生成し;
生成された前記認識用顔画像とあらかじめ記憶されているパターンとを用いて前記人物
の認識を行う;
ことを特徴とする画像認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006124148A JP2007299051A (ja) | 2006-04-27 | 2006-04-27 | 画像処理装置、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006124148A JP2007299051A (ja) | 2006-04-27 | 2006-04-27 | 画像処理装置、方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007299051A true JP2007299051A (ja) | 2007-11-15 |
Family
ID=38768513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006124148A Pending JP2007299051A (ja) | 2006-04-27 | 2006-04-27 | 画像処理装置、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007299051A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009128784A1 (en) * | 2008-04-14 | 2009-10-22 | Xid Technologies Pte Ltd | Face expressions identification |
JP2009301353A (ja) * | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | 三次元形状推定装置及びコンピュータプログラム |
JP2011039869A (ja) * | 2009-08-13 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | 顔画像処理装置およびコンピュータプログラム |
WO2011148596A1 (ja) * | 2010-05-26 | 2011-12-01 | 日本電気株式会社 | 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム |
-
2006
- 2006-04-27 JP JP2006124148A patent/JP2007299051A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009128784A1 (en) * | 2008-04-14 | 2009-10-22 | Xid Technologies Pte Ltd | Face expressions identification |
JP2009301353A (ja) * | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | 三次元形状推定装置及びコンピュータプログラム |
JP2011039869A (ja) * | 2009-08-13 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | 顔画像処理装置およびコンピュータプログラム |
WO2011148596A1 (ja) * | 2010-05-26 | 2011-12-01 | 日本電気株式会社 | 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム |
CN102906786A (zh) * | 2010-05-26 | 2013-01-30 | 日本电气株式会社 | 脸部特征点位置校正设备、脸部特征点位置校正方法以及脸部特征点位置校正程序 |
KR101365789B1 (ko) | 2010-05-26 | 2014-02-20 | 닛본 덴끼 가부시끼가이샤 | 얼굴 특징점 위치 보정 장치, 얼굴 특징점 위치 보정 방법, 및 얼굴 특징점 위치 보정 프로그램을 기록한 컴퓨터 판독가능 기록 매체 |
US8737697B2 (en) | 2010-05-26 | 2014-05-27 | Nec Corporation | Facial feature point position correction device, facial feature point position correcting method, and facial feature point position correcting program |
JP5772821B2 (ja) * | 2010-05-26 | 2015-09-02 | 日本電気株式会社 | 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4950787B2 (ja) | 画像処理装置及びその方法 | |
Dai et al. | A 3d morphable model of craniofacial shape and texture variation | |
JP4653606B2 (ja) | 画像認識装置、方法およびプログラム | |
US7995805B2 (en) | Image matching apparatus, image matching method, computer program and computer-readable storage medium | |
Shi et al. | Automatic acquisition of high-fidelity facial performances using monocular videos | |
Ferrari et al. | A dictionary learning-based 3D morphable shape model | |
JP5406705B2 (ja) | データ補正装置及び方法 | |
JP4093273B2 (ja) | 特徴点検出装置、特徴点検出方法および特徴点検出プログラム | |
US9443325B2 (en) | Image processing apparatus, image processing method, and computer program | |
TWI394093B (zh) | 一種影像合成方法 | |
JP2007072620A (ja) | 画像認識装置及びその方法 | |
Vretos et al. | 3D facial expression recognition using Zernike moments on depth images | |
JP5170094B2 (ja) | なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム | |
JP2007316809A (ja) | 顔照合装置および方法並びにプログラム | |
JP7064257B2 (ja) | 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体 | |
JP2005025748A (ja) | 立体結合顔形状の位置合わせ | |
US20140093142A1 (en) | Information processing apparatus, information processing method, and information processing program | |
KR20110020720A (ko) | 3차원 얼굴 캡쳐링 장치 및 방법 | |
Song et al. | Robust 3D face landmark localization based on local coordinate coding | |
JP2007299051A (ja) | 画像処理装置、方法およびプログラム | |
KR102550864B1 (ko) | 개체 이미지의 패턴에 의한 개체 인식 식별 방법 및 시스템 | |
JP4816874B2 (ja) | パラメータ学習装置、パラメータ学習方法、およびプログラム | |
CN112990047A (zh) | 一种结合面部角度信息的多姿态人脸验证方法 | |
JP6430102B2 (ja) | 人物属性推定装置、人物属性推定方法及びプログラム | |
US20230368409A1 (en) | Storage medium, model training method, and model training device |