JP2009211148A - Face image processor - Google Patents

Face image processor Download PDF

Info

Publication number
JP2009211148A
JP2009211148A JP2008050772A JP2008050772A JP2009211148A JP 2009211148 A JP2009211148 A JP 2009211148A JP 2008050772 A JP2008050772 A JP 2008050772A JP 2008050772 A JP2008050772 A JP 2008050772A JP 2009211148 A JP2009211148 A JP 2009211148A
Authority
JP
Japan
Prior art keywords
face
face image
dimensional
shape model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008050772A
Other languages
Japanese (ja)
Inventor
Naoyuki Takada
直幸 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2008050772A priority Critical patent/JP2009211148A/en
Publication of JP2009211148A publication Critical patent/JP2009211148A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a face image processor for creating a three-dimensional image of a candidate from the two-dimensional face image of the candidate without using any special surface measurement device. <P>SOLUTION: The face image processor includes: an image input means 210 for inputting a two-dimensional face image; a storage means 250 for storing a three-dimensional shape model and the feature point positions of the face in the three-dimensional shape model in advance; a derived model creation means 231 for creating a derived shape model by making the rate of length to a feature point at the upper part of a reference point, the reference point being set on the positive middle line of the face surface of the three-dimensional shape model, to length to a feature point at the lower part of the reference point different from that of the three-dimensional shape model; a selection means (232, 233) for comparing the derived shape model and the three-dimensional shape model with the two-dimensional face image, and for selecting the shape model which is most similar to the two-dimensional face image; and a personal model creation means 240 for compounding the selected shape model with the two-dimensional face image to create a three-dimensional face image corresponding to the face of the person. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、顔画像処理装置に関し、特に、個人を撮影した2次元の顔画像と3次元の顔形状モデルからその個人の3次元の顔形状を推定して3次元顔画像を作成する顔画像処理装置に関する。   The present invention relates to a face image processing apparatus, and more particularly to a face image that creates a 3D face image by estimating the 3D face shape of the individual from a 2D face image obtained by photographing the individual and a 3D face shape model. The present invention relates to a processing apparatus.

従来より、対象者の顔を撮影して取得した2次元の顔画像を登録された顔画像と照合することにより、その対象者を認証する顔認証装置が提案されている。このような顔認証装置は、事前に対象者本人の顔画像を登録しておき、利用時に取得した顔画像と比較した結果に基づいて、認証の可否を決定する。そのため、登録時の顔画像と利用時の顔画像との間に、顔の向き、照明条件、表情などにおいて差異が生じていると、照合の際の誤り率が高くなる。   Conventionally, there has been proposed a face authentication device that authenticates a target person by collating a two-dimensional face image acquired by photographing the face of the target person with a registered face image. Such a face authentication apparatus registers the face image of the subject person in advance, and determines whether or not to authenticate based on the result of comparison with the face image acquired at the time of use. For this reason, if there are differences in face orientation, lighting conditions, facial expressions, and the like between the face image at the time of registration and the face image at the time of use, the error rate at the time of matching increases.

そこで、顔画像の照合に使用するための、対象者の顔の複数の2次元画像を作成するサンプル画像収集方法が提案されている(特許文献1を参照)。係る画像収集方法は、表面計測装置を用いて取得した顔の3次元の表面形状データ及びカラー情報から、対象者の顔の3次元コンピュータグラフィックスモデルを作成する。そして、その画像収集方法は、そのモデルに基づいて顔の向き又は照明条件を変動させてレンダリングすることにより、複数の2次元顔画像を作成する。   Therefore, a sample image collection method for creating a plurality of two-dimensional images of the subject's face for use in face image matching has been proposed (see Patent Document 1). Such an image collection method creates a three-dimensional computer graphics model of the subject's face from the three-dimensional surface shape data and color information of the face acquired using the surface measuring device. Then, the image collection method creates a plurality of two-dimensional face images by rendering with the face orientation or illumination conditions varied based on the model.

また、標準的な顔の3次元形状を表す標準フレームモデルを用いて、照合の際に使用する複数の参照顔画像を作成する顔画像照合装置が提案されている(特許文献2を参照)。係る顔画像照合装置は、照合の際に取得した対象者の2次元顔画像と上記の標準フレームモデルを合成して対象者の顔に対応した3次元顔モデル(3次元顔画像)を作成する。そして顔画像照合装置は、3次元顔モデルに対して顔の向き、照明条件、または表情といった変動要因を考慮してレンダリングを行うことにより、参照顔画像を作成する。   Further, a face image matching device has been proposed that uses a standard frame model representing a standard three-dimensional shape of a face to create a plurality of reference face images to be used for matching (see Patent Document 2). The face image matching device generates a three-dimensional face model (three-dimensional face image) corresponding to the face of the subject by combining the two-dimensional face image of the subject acquired at the time of matching with the standard frame model. . Then, the face image collation device creates a reference face image by rendering the three-dimensional face model in consideration of a variation factor such as a face direction, illumination conditions, or facial expressions.

特開平4−256185号公報JP-A-4-256185 特開2003−6645号公報JP 2003-6645 A

特許文献1に記載された画像収集方法では、対象者ごとに顔の3次元コンピュータグラフィックスモデルを作成する必要がある。しかし、そのモデルの作成には、特殊な表面計測装置を用いて対象者本人の顔を計測する必要があるため、各対象者の顔の3次元コンピュータグラフィックスモデルを作成することは容易でない。そのため、係る画像収集方法を、一般に利用される顔認証装置に適用することは困難であった。   In the image collection method described in Patent Document 1, it is necessary to create a three-dimensional computer graphics model of a face for each subject. However, since it is necessary to measure the face of the subject person using a special surface measuring device in order to create the model, it is not easy to create a three-dimensional computer graphics model of each subject person's face. For this reason, it has been difficult to apply such an image collection method to a commonly used face authentication apparatus.

一方、特許文献2に記載された顔画像照合装置では、3次元形状を表すモデルとして、標準的な顔に対応する標準フレームモデルが1ないし複数準備される。この標準フレームモデルは、一度作成すればよく、係る顔画像照合装置の何れについても使用することができるので、上記のような問題は生じない。しかし、標準フレームモデルは、標準的な顔の形状に対応するものであるため、例えば、鼻の頂点である鼻尖点と眼の間隔、鼻尖点と口の間隔など、個々人が持つ顔形状の特徴を反映しない。特に顔の中央に位置し立体形状が顕著となる鼻周辺の形状は、フレームモデルと2次元顔画像を合成する際の位置決め精度に与える影響が大きいが、標準的なフレームモデルでは個々人毎に異なる立体形状を反映できない。そのため、標準フレームモデルと2次元顔画像を合成するために、例えば、顔の凹凸形状において支配的な鼻尖点を中心として標準フレームモデルと2次元顔画像を位置合わせしようとしても、立体形状が異なれば顔の各特徴点間の距離も異なるため、適切な位置合わせを行えない場合があった。
どのような顔の特徴を持つ対象者に対しても顔形状の類似した標準フレームモデルを準備するためには、予め非常に多数の人の顔の形状データを取得する必要がある。しかも形状データが取得される各顔の形状は、互いに類似せず、できるだけ異なるものであることが望ましい。しかし、そのような多人数の顔の形状データを収集することは、多大な労力が必要となってしまう。また標準フレームモデルの数が増えるほど、照合時の計算量が増大するので、標準フレームモデルの数を増やし過ぎることは望ましくない。
On the other hand, in the face image matching apparatus described in Patent Document 2, one or more standard frame models corresponding to a standard face are prepared as models representing a three-dimensional shape. This standard frame model only needs to be created once and can be used for any of such face image collation apparatuses, so the above-mentioned problems do not occur. However, since the standard frame model corresponds to the standard face shape, for example, the characteristics of the face shape that each person has, such as the nose tip-to-eye spacing, the nose tip-to-mouth spacing, which is the tip of the nose. Does not reflect. In particular, the shape around the nose, which is located in the center of the face and has a prominent three-dimensional shape, has a large effect on positioning accuracy when combining a frame model and a two-dimensional face image. The solid shape cannot be reflected. Therefore, in order to synthesize the standard frame model and the two-dimensional face image, for example, even if an attempt is made to align the standard frame model and the two-dimensional face image around the nose tip that is dominant in the uneven shape of the face, the three-dimensional shape is different. For example, since the distance between each feature point of the face is different, there is a case where proper alignment cannot be performed.
In order to prepare a standard frame model having a similar face shape for a subject having any facial feature, it is necessary to acquire a large number of face shape data of a large number of people in advance. Moreover, it is desirable that the shapes of the faces from which the shape data is acquired are not similar to each other and are as different as possible. However, collecting such face shape data for a large number of people requires a great deal of labor. Also, as the number of standard frame models increases, the amount of calculation at the time of collation increases, so it is not desirable to increase the number of standard frame models too much.

そこで、本発明の目的は、少数の、顔の3次元形状を表す3次元形状モデルを用いて、対象者の2次元の顔画像から当該対象者の顔形状を良好に再現した3次元顔画像を作成する顔画像処理装置を提供することにある。
また本発明の他の目的は、対象者の2次元の顔画像から作成された3次元顔画像を用いて、照合の誤り率が低い顔認証装置を提供することにある。
Therefore, an object of the present invention is to use a small number of three-dimensional shape models representing the three-dimensional shape of a face, and to reproduce the target person's face shape well from the target person's two-dimensional face image. Is to provide a face image processing apparatus for generating
Another object of the present invention is to provide a face authentication apparatus having a low verification error rate using a three-dimensional face image created from a two-dimensional face image of a subject.

かかる課題を解決するための本発明は、人物の顔が含まれる2次元顔画像と顔の3次元形状を表す3次元形状モデルを合成してその人物の顔に対応した3次元顔画像を作成する顔画像処理装置を提供する。係る顔画像処理装置は、2次元顔画像を入力する画像入力手段と、予め3次元形状モデルとその3次元形状モデルにおける顔の特徴点位置とを記憶する記憶手段と、3次元形状モデルから、その3次元形状モデルの顔表面の正中線に沿った少なくとも上下に特徴点が存在する位置に設定された基準点に対し、基準点より上部の特徴点までの長さと基準点より下部の特徴点までの長さの比率を3次元形状モデルと異ならせた派生形状モデルを作成する派生モデル作成手段と、派生形状モデル及び3次元形状モデルを2次元顔画像と比較して2次元顔画像に最も類似するものを選択する選択手段と、選択された派生形状モデルまたは3次元形状モデルと2次元顔画像を合成して、その人物の顔に対応した3次元顔画像を作成する個人モデル作成手段とを有する。   To solve this problem, the present invention creates a three-dimensional face image corresponding to the face of a person by synthesizing a two-dimensional face image including the face of the person and a three-dimensional shape model representing the three-dimensional shape of the face. A face image processing apparatus is provided. The face image processing apparatus includes an image input unit that inputs a two-dimensional face image, a storage unit that stores in advance a three-dimensional shape model and a facial feature point position in the three-dimensional shape model, and a three-dimensional shape model. The length from the reference point to the feature point above the reference point and the feature point below the reference point with respect to the reference point set at a position where the feature point exists at least above and below the midline of the face surface of the three-dimensional shape model A derived model creating means for creating a derived shape model in which the ratio of the length to the 3D shape model is different from that of the 3D shape model, and comparing the derived shape model and the 3D shape model with the 2D face image, A selecting means for selecting a similar one, and a personal model creating hand that creates a 3D face image corresponding to the face of the person by synthesizing the selected derived shape model or 3D shape model with the 2D face image. With the door.

顔の立体形状は個々人毎に異なる。そこで、本発明の顔画像処理装置は、予め記憶した顔の3次元形状モデルに対し基準点上下の長さの比が異なる派生形状モデルを作成することで、立体形状の大きさや長さが異なる顔形状のバリエーションを作成でき、より対象者の顔形状に類似した形状モデルを選択して3次元顔画像を作成することができる。   The three-dimensional shape of the face varies from person to person. Therefore, the face image processing apparatus of the present invention creates a derived shape model in which the ratio of the lengths above and below the reference point is different from the pre-stored three-dimensional shape model of the face, so that the size and length of the three-dimensional shape are different. Variations in face shape can be created, and a 3D face image can be created by selecting a shape model more similar to the face shape of the subject.

また本発明において、基準点は鼻尖点であることが好ましい。
さらに本発明において、派生モデル作成手段は、鼻尖点から鼻根点若しくは両目の中心位置を表す特徴点までの顔の正中線に沿った距離と、鼻尖点から口点を表す特徴点までの距離の比率を異ならせて少なくとも一つの派生形状モデルを作成することが好ましい。
In the present invention, the reference point is preferably a nose tip.
Further, in the present invention, the derivation model creating means includes a distance along the midline of the face from the nose tip to the feature point representing the nose root point or the center position of both eyes, and a distance from the nose tip to the feature point representing the mouth point. It is preferable to create at least one derived shape model with different ratios.

さらに本発明において、派生モデル作成手段は、3次元形状モデルの顔の輪郭形状を、水平方向と垂直方向の長さの比が変わるように変形して少なくとも一つの派生形状モデルを作成することが好ましい。   Furthermore, in the present invention, the derived model creating means can create at least one derived shape model by transforming the contour shape of the face of the three-dimensional shape model so that the ratio of the length in the horizontal direction to the vertical direction is changed. preferable.

さらに本発明に係る顔画像処理装置は、所定方向を向いた、少なくとも一人の登録者の参照顔画像を記憶する参照顔画像記憶手段と、3次元顔画像の顔向きを3次元空間で回転させて、その人物の顔が所定方向を向いた補正顔画像を作成する補正顔画像作成手段と、補正顔画像と参照顔画像を照合し、その人物を登録者として認証するか否かを決定する照合手段と、をさらに有することが好ましい。   The face image processing apparatus according to the present invention further includes a reference face image storage unit that stores a reference face image of at least one registrant facing a predetermined direction, and rotates the face direction of the three-dimensional face image in a three-dimensional space. The corrected face image creating means for creating a corrected face image in which the face of the person is directed in a predetermined direction is compared with the corrected face image and the reference face image to determine whether or not to authenticate the person as a registrant. It is preferable to further have a collation means.

本発明に係る顔画像処理装置は、少数の、顔の3次元形状モデルを用いて、対象者の2次元の顔画像から当該対象者の顔形状を良好に再現した3次元顔画像を作成できるという効果を奏する。
また本発明に係る顔認証装置は、対象者の2次元の顔画像から作成された3次元顔画像を用いて照合を行うことにより、照合の誤り率を低く抑制できるという効果を奏する。
The face image processing apparatus according to the present invention can create a three-dimensional face image that well reproduces the face shape of the subject from the two-dimensional face image of the subject using a small number of three-dimensional face models. There is an effect.
In addition, the face authentication apparatus according to the present invention has an effect that the verification error rate can be reduced by performing matching using a three-dimensional face image created from a two-dimensional face image of the subject.

以下、本発明に係る顔画像処理装置の実施の形態について図を参照しつつ説明する。
本発明を適用した顔画像処理装置は、対象者の顔画像を取得すると、その顔画像と事前に準備された顔の3次元形状を表す3次元形状モデルを位置合わせした上で合成し、対象者の3次元顔モデルを作成する。その際、顔画像処理装置は、3次元形状モデルを、鼻尖点などの基準点に対する高さ方向上下の長さの比率を変えるように変形して顔の特徴点間の距離や立体形状の大きさが異なる派生形状モデルを作成することにより、対象者の顔形状と良好に一致する顔形状を持つ3次元顔モデルの作成を図る。この3次元顔モデルは、本発明の3次元顔画像であって、2次元画像として得られる対象者の顔画像を、対象者の顔形状に適合した3次元形状モデル上に合成することで、当該3次元顔モデルを任意の方向に回転させることで、対象者の顔の向きが変化した画像を出力可能とするものである。
Hereinafter, embodiments of a face image processing apparatus according to the present invention will be described with reference to the drawings.
When a face image processing apparatus to which the present invention is applied acquires a face image of a target person, the face image and a 3D shape model representing a 3D shape of a face prepared in advance are aligned and synthesized, A three-dimensional face model of the person is created. At that time, the face image processing device transforms the three-dimensional shape model so as to change the ratio of the length in the height direction with respect to a reference point such as the tip of the nose to change the distance between the feature points of the face and the size of the three-dimensional shape. By creating derivative shape models having different heights, a three-dimensional face model having a face shape that well matches the face shape of the subject is created. This three-dimensional face model is the three-dimensional face image of the present invention, and the face image of the subject obtained as a two-dimensional image is synthesized on a three-dimensional shape model that matches the face shape of the subject, By rotating the three-dimensional face model in an arbitrary direction, an image in which the orientation of the subject's face is changed can be output.

図1は、本発明を適用した顔画像処理装置200の概略構成を示す。図1に示すように、顔画像処理装置200は、画像入力手段210、顔特徴点抽出手段220、位置合わせ情報算出手段230、個人モデル作成手段240及び記憶手段250を有する。
このうち、顔特徴点抽出手段220、位置合わせ情報算出手段230及び個人モデル作成手段240は、それぞれ、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、顔画像処理装置200の各部について詳細に説明する。
FIG. 1 shows a schematic configuration of a face image processing apparatus 200 to which the present invention is applied. As shown in FIG. 1, the face image processing apparatus 200 includes an image input unit 210, a face feature point extraction unit 220, an alignment information calculation unit 230, a personal model creation unit 240, and a storage unit 250.
Of these, the facial feature point extraction means 220, the alignment information calculation means 230, and the personal model creation means 240 are functional modules implemented by a microprocessor, a memory, peripheral circuits thereof, and software operating on the microprocessor, respectively. is there. Alternatively, these means may be integrated by firmware. Moreover, you may comprise some or all of these means with an independent electronic circuit, firmware, a microprocessor, etc. Hereinafter, each part of the face image processing apparatus 200 will be described in detail.

記憶手段250は、ROM、RAMなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶手段250は、顔画像処理装置200を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶手段250は、顔の3次元形状モデル及び3次元形状モデルに対応する3D顔特徴点の3次元位置情報を記憶する。3次元形状モデルは複数存在してもよく、また一つであってもよい。3次元形状モデルは、人物の顔の3次元形状を表すフレームモデルであって、ワイヤーフレームモデルあるいはサーフェイスモデル等が用いられる。なお3次元形状モデルは、例えば、複数の人物の顔形状からそれぞれ作成されたり、多数の人物の顔形状を模した顔形状モデルを平均化して作成される。   The storage unit 250 includes a semiconductor memory such as a ROM and a RAM, or a magnetic recording medium and its access device or an optical recording medium and its access device. The storage unit 250 stores a computer program, various parameters, data, and the like for controlling the face image processing apparatus 200. The storage unit 250 stores a 3D shape model of the face and 3D position information of 3D face feature points corresponding to the 3D shape model. There may be a plurality of three-dimensional shape models or one. The three-dimensional shape model is a frame model representing the three-dimensional shape of a human face, and a wire frame model, a surface model, or the like is used. Note that the three-dimensional shape model is created, for example, from the face shapes of a plurality of persons, or by averaging face shape models simulating the face shapes of a large number of persons.

また、3D顔特徴点は、目、鼻、口など、形状若しくは色成分について他と異なる特徴的な部位の何れかの点、例えばそれらの部位の中心点若しくは端点を表す。例えば、3D顔特徴点には、眉頭、眉尻、黒目中心、目領域中心、目頭、目尻、鼻尖点、鼻孔中心、口点、口角点などが含まれる。なお、記憶する3D顔特徴点の種類及び数に制限はないが、少なくとも顔特徴点抽出手段220において抽出可能な顔特徴点と同じ部位の特徴点を全て含むことが好ましい。本実施形態では、3D顔特徴点として、左右それぞれの目領域中心、目頭及び目尻と、鼻尖点、口点、及び左右の口角点の10箇所を記憶するものとした。   In addition, the 3D face feature point represents any point of a characteristic part such as an eye, a nose, or a mouth that is different from the other in terms of shape or color component, for example, a center point or an end point of those parts. For example, the 3D face feature points include an eyebrow head, an eyebrow butt, a black eye center, an eye region center, an eye head, an eye corner, a nose tip, a nostril center, a mouth point, a mouth corner point, and the like. The type and number of 3D face feature points to be stored are not limited, but preferably include at least all the feature points of the same part as the face feature points that can be extracted by the face feature point extraction unit 220. In the present embodiment, as the 3D face feature points, the left and right eye region centers, the eyes and the corners of the eyes, the nose apex, the mouth point, and the left and right mouth corner points are stored.

画像入力手段210は、例えば、監視カメラ等の画像取得手段と接続されるインターフェース回路であり、画像取得手段により2次元顔画像として取得された対象者の顔画像100を顔画像処理装置200に入力する。また、予め撮影された1ないし複数の顔画像を含む履歴情報を記録した記録媒体が存在する場合、画像入力手段210は、そのような記録媒体にアクセスするための読み取り装置と、キーボード、マウスなどの入力デバイスとディスプレイを含むユーザインターフェースとを有していてもよい。この場合、ユーザは、画像入力手段210のユーザインターフェースを介して、履歴情報から何れか一つの顔画像100を選択する。なお、顔画像100は、顔全体を含み、かつ顔の各特徴部分(目、鼻、口など)を他の特徴部分と区別できるものである。さらに顔画像100は、グレースケールまたはカラーの多階調の画像とすることができるが、人の肌部分の特徴を抽出し易いカラーの多階調画像とすることが好ましい。本実施形態では、顔画像100を、128×128画素を有し、RGB各色について8ビットの輝度分解能を持つカラー画像とした。ただし、顔画像100として、この実施形態以外の解像度及び階調を有するものを使用してもよい。   The image input unit 210 is an interface circuit connected to an image acquisition unit such as a surveillance camera, for example, and inputs the face image 100 of the subject acquired as a two-dimensional face image by the image acquisition unit to the face image processing apparatus 200. To do. In addition, when there is a recording medium that records history information including one or more face images taken in advance, the image input unit 210 includes a reading device for accessing such a recording medium, a keyboard, a mouse, and the like. And a user interface including a display. In this case, the user selects any one face image 100 from the history information via the user interface of the image input unit 210. The face image 100 includes the entire face, and each facial feature (such as eyes, nose, and mouth) can be distinguished from other feature parts. Further, the face image 100 can be a grayscale or color multi-tone image, but is preferably a color multi-tone image that easily extracts the characteristics of the human skin portion. In the present embodiment, the face image 100 is a color image having 128 × 128 pixels and having an 8-bit luminance resolution for each color of RGB. However, the face image 100 may have a resolution and gradation other than this embodiment.

顔特徴点抽出手段220は、画像入力手段210により取得された顔画像100から顔特徴点を抽出する。そして顔特徴点抽出手段220は、抽出した顔特徴点の種別と顔画像100上の位置情報(例えば、顔画像100の左上端部を原点とする2次元座標値)を、位置合わせ情報算出手段230へ出力する。本実施形態において、顔特徴点抽出手段220は、記憶手段250に記憶されている各3D顔特徴点(目領域中心、鼻尖点、口角点などの10箇所)に対応する顔特徴点を抽出する。顔特徴点抽出手段220は、顔画像100から顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔特徴点抽出手段220は、顔画像100に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔特徴点抽出手段220は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また顔特徴点抽出手段220は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔特徴点抽出手段220は、顔の各部位に相当するテンプレートと顔画像100とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。さらにまた、顔特徴点抽出手段220は、キーボード、マウス及びディスプレイなどで構成されるユーザインターフェース(図示せず)を介してユーザに各顔特徴点の位置を指定させることにより、各顔特徴点を取得してもよい。   The face feature point extraction unit 220 extracts face feature points from the face image 100 acquired by the image input unit 210. Then, the face feature point extraction means 220 uses the extracted face feature point type and position information on the face image 100 (for example, a two-dimensional coordinate value with the upper left corner of the face image 100 as the origin) as position information calculation means. 230. In the present embodiment, the face feature point extraction unit 220 extracts face feature points corresponding to the respective 3D face feature points (10 locations such as the center of the eye region, the tip of the nose, the corner of the mouth) stored in the storage unit 250. . The face feature point extraction unit 220 can use various known methods for extracting face feature points from the face image 100. For example, the face feature point extraction unit 220 performs edge extraction processing on the face image 100 to extract edge pixels having a large luminance difference from surrounding pixels. Then, the face feature point extraction means 220 checks whether or not the feature amount obtained based on the position and pattern of the edge pixel satisfies a predetermined condition for a part such as an eye, nose, and mouth. Each facial feature point can be extracted by specifying the position. In addition, instead of performing edge extraction processing to extract edge pixels, the facial feature point extraction means 220 performs Gabor conversion processing or wavelet conversion processing to extract pixels with large local changes in different spatial frequency bands. May be. Furthermore, the face feature point extraction unit 220 may extract the face feature points by performing template matching between the template corresponding to each part of the face and the face image 100 to specify the position of each part of the face. Furthermore, the face feature point extraction unit 220 causes each user to specify the position of each face feature point through a user interface (not shown) including a keyboard, a mouse, a display, and the like. You may get it.

位置合わせ情報算出手段230は、記憶手段250に記憶された3次元形状モデルを、3D顔特徴点の相対的な位置関係が変わるように変形した派生形状モデルを複数作成し、それら派生形状モデル及び3次元形状モデルと、画像入力手段210で取得された顔画像100の顔の向きが等しくなるように位置合わせを行う。そして位置合わせ情報算出手段230は、その位置合わせの結果として得られる位置合わせ情報を参照し、派生形状モデル及び3次元形状モデルのうち、最も位置合わせ誤差の少ない形状モデルを、個人モデル作成手段240へ出力する。そのために、位置合わせ情報算出手段230は、派生モデル作成手段231と、位置合わせ手段232と、類似形状選択手段233とを有する。位置合わせ手段232と類似形状選択手段233とが、本発明の選択手段として機能する。   The alignment information calculation unit 230 creates a plurality of derived shape models obtained by modifying the 3D shape model stored in the storage unit 250 so that the relative positional relationship of the 3D face feature points changes, and the derived shape model and Position alignment is performed so that the orientation of the face of the face image 100 acquired by the image input unit 210 is equal to the three-dimensional shape model. Then, the alignment information calculation unit 230 refers to the alignment information obtained as a result of the alignment, and selects the shape model with the least alignment error from among the derived shape model and the three-dimensional shape model as the individual model creation unit 240. Output to. For this purpose, the alignment information calculation unit 230 includes a derived model creation unit 231, an alignment unit 232, and a similar shape selection unit 233. The alignment unit 232 and the similar shape selection unit 233 function as the selection unit of the present invention.

派生モデル作成手段231は、記憶手段250に記憶されている3次元形状モデルを、3D顔特徴点の相対的な位置関係が変わるように変形した派生形状モデルを複数個作成する。
図2に、派生形状モデル作成の際に基準となる3次元の正規直交座標系(u,v,w)を示す。図2に示すように、正規直交座標系(u,v,w)のu軸は、3次元形状モデル110に対して、顔の正中線に沿った垂直軸として設定される。v軸は、3次元形状モデル110に対して、顔を左右に横断する方向の水平軸として設定される。w軸は、3次元形状モデル110に対して、顔を前後に横断する方向の水平軸として設定される。
The derived model creating unit 231 creates a plurality of derived shape models obtained by transforming the 3D shape model stored in the storage unit 250 so that the relative positional relationship of the 3D face feature points changes.
FIG. 2 shows a three-dimensional orthonormal coordinate system (u, v, w) that serves as a reference when creating a derived shape model. As shown in FIG. 2, the u axis of the orthonormal coordinate system (u, v, w) is set as a vertical axis along the midline of the face with respect to the three-dimensional shape model 110. The v-axis is set as a horizontal axis in the direction crossing the face left and right with respect to the three-dimensional shape model 110. The w axis is set with respect to the three-dimensional shape model 110 as a horizontal axis in a direction crossing the face back and forth.

派生モデル作成手段231は、3次元形状モデルの変形方法の一例として、基準点より上方の3D顔特徴点までの高さ方向の距離を変更することができる。なお、本実施形態では、基準点を鼻尖点とした。この場合、派生モデル作成手段231は、記憶手段250から3次元形状モデル及びその3D顔特徴点を読み出すと、左右それぞれの目領域中心の中点と鼻尖点とのu軸に沿った距離L1を求める。そして派生モデル作成手段231は、鼻尖点より上方の各3D顔特徴点について、鼻尖点に対するu軸方向に沿った距離(すなわち、垂直方向の距離)が所定の拡大/縮小率M1にしたがって拡大または縮小するように、鼻尖点より上方の各3D顔特徴点の位置を修正して派生形状モデルを作成する。その際、派生モデル作成手段231は、作成された派生形状モデルにおける左右それぞれの目領域中心の中点と鼻尖点とのu軸に沿った距離L1 'と、オリジナルの3次元形状モデルについて求めた距離L1の比がRLからRUの範囲(ただし、RU>1.0>RL>0.0)内で、拡大/縮小率M1をN段階設定する。そして派生モデル作成手段231は、各段階の拡大/縮小率M1に基づいて、N個の派生形状モデルを作成する。なお、距離L1を、鼻尖点と両目頭の中点若しくは両目尻の中点間の正中線に沿った距離としてもよい。また、3D顔特徴点に鼻根点を含む場合、距離L1を鼻尖点と鼻根点間の距離としてもよい。 Derived model creation means 231 can change the distance in the height direction to a 3D face feature point above the reference point as an example of a deformation method of the three-dimensional shape model. In the present embodiment, the reference point is the nose tip. In this case, when the derived model creation unit 231 reads the 3D shape model and the 3D face feature point from the storage unit 250, the distance L 1 along the u axis between the midpoint of the center of each eye region and the nose tip point. Ask for. The derived model creating means 231 then enlarges the distance along the u-axis direction with respect to the nose apex (that is, the vertical distance) for each 3D face feature point above the nose apex according to a predetermined enlargement / reduction ratio M 1. Alternatively, a derived shape model is created by correcting the position of each 3D face feature point above the nose tip so as to reduce. At that time, the derivation model creation means 231 obtains the distance L 1 along the u-axis between the center point of the left and right eye region center and the nose tip in the created derivation shape model, and the original three-dimensional shape model. The enlargement / reduction ratio M 1 is set in N stages within the range of the distance L 1 within the range of R L to R U (where R U >1.0> R L > 0.0). Then, the derived model creating means 231 creates N derived shape models based on the enlargement / reduction ratio M 1 at each stage. Incidentally, the distance L 1, may be distance along the midline between the midpoint of the nose apex point and both inner corner or both outer corners of the midpoint. Also, if it contains nasion point to 3D face feature point, the distance L 1 may be the distance between the nose cusp and root of the nose point.

派生モデル作成手段231は、3次元形状モデルの変形方法の別の一例として、基準点である鼻尖点より下方の3D顔特徴点までの高さ方向の距離を変更することができる。この場合、派生モデル作成手段231は、記憶手段250から3次元形状モデル及びその3D顔特徴点を読み出すと、口点と鼻尖点とのu軸に沿った距離L2を求める。そして派生モデル作成手段231は、鼻尖点より下方の各3D顔特徴点について、鼻尖点に対するu軸方向に沿った距離(すなわち、垂直方向の距離)が所定の拡大/縮小率M2にしたがって拡大または縮小するように、鼻尖点より下方の各3D顔特徴点の位置を修正して派生形状モデルを作成する。その際、派生モデル作成手段231は、作成された派生形状モデルにおける口点と鼻尖点とのu軸に沿った距離L2 'と、オリジナルの3次元形状モデルについて求めた距離L2の比がRLからRUの範囲(ただし、RU>1.0>RL>0.0)内で、拡大/縮小率M2をN段階設定する。そして派生モデル作成手段231は、各段階の拡大/縮小率M2に基づいて、N個の派生形状モデルを作成する。なお、距離L2を、鼻尖点と両口角点の中点との間の正中線に沿った距離としてもよい。
また派生モデル作成手段231は、上記の拡大/縮小率M1、M2を独立かつ両方とも変化させ、それら拡大/縮小率にしたがって各3D顔特徴点の垂直方向の位置を変更することにより、派生形状モデルを作成してもよい。
As another example of the deformation method of the three-dimensional shape model, the derived model creating unit 231 can change the distance in the height direction to the 3D face feature point below the nose apex point that is the reference point. In this case, the derived model generating means 231, by reading the 3-dimensional shape model and 3D facial feature points from the storage means 250, obtains the distance L 2 along the u axis of the mouth point and nose cusps. Enlargement and the derived model generating means 231, for each 3D face feature point below the nose cusp, distance along the u-axis direction with respect to the nose apex point (i.e., distance in the vertical direction) in accordance with a predetermined enlargement / reduction ratio M 2 Alternatively, the derived shape model is created by correcting the position of each 3D face feature point below the nose tip so as to reduce. At that time, the derived model generating means 231, the distance L 2 'along the u axis of the mouth point and nose apex point in the derived geometric model generated, the ratio of the distance L 2 calculated for the original 3-dimensional shape model Within the range of R L to R U (where R U >1.0> R L > 0.0), the enlargement / reduction ratio M 2 is set to N levels. Then, the derived model creating means 231 creates N derived shape models based on the enlargement / reduction rate M 2 at each stage. Note that the distance L 2, may be distance along the midline between the midpoint of the nose apex point and both corners of the mouth point.
In addition, the derived model creating means 231 changes the magnification / reduction ratios M 1 and M 2 independently and both, and changes the vertical position of each 3D face feature point according to the enlargement / reduction ratios. A derived shape model may be created.

上記の距離L1とL2の比は、個人によって異なるものである。さらに、3次元形状モデル全体を同じ拡大/縮小率で線形に変形させてもL1とL2との比は変わらない。このため、対象者の顔画像100におけるL1とL2の比が、3次元形状モデルにおけるL1とL2の比と異なる場合、3次元形状モデル全体を拡大または縮小しても、顔画像100と3次元形状モデルを適切に位置合わせすることはできない。しかし、上記のような変形を行って、L1とL2の比が互いに異なる複数の派生形状モデルを作成することにより、顔画像100と適切に位置合わせすることができる形状モデルを得ることが可能となる。 The ratio of the distances L 1 and L 2 varies depending on the individual. Further, even if the entire three-dimensional shape model is linearly deformed at the same enlargement / reduction ratio, the ratio between L 1 and L 2 does not change. Therefore, when the ratio of L 1 and L 2 in the face image 100 of the subject is different from the ratio of L 1 and L 2 in the three-dimensional shape model, the face image can be enlarged or reduced even if the entire three-dimensional shape model is enlarged or reduced. 100 and the 3D shape model cannot be properly aligned. However, it is possible to obtain a shape model that can be properly aligned with the face image 100 by creating a plurality of derived shape models having different ratios of L 1 and L 2 by performing the above-described deformation. It becomes possible.

なお、派生形状モデルの作成数Nは、例えば、上記の拡大/縮小率M1またはM2を、RLからRUの範囲内で一定の変化量δずつ変化させる場合、以下の式で表せる。

Figure 2009211148
この式から明らかなように、変化量δを小さくするほど、あるいはRUとRLの差を大きくするほど、作成される派生形状モデルの数Nは多くなる。そして、変化量δを小さくするほど、L1とL2との比を細かく設定できるので、顔画像100の各顔特徴点との位置ずれ量が小さい3D顔特徴点を持つ派生形状モデルを作成することができる。また、RUとRLの差を大きくするほど、L1とL2との比の値の範囲が拡がるので、様々な顔に対してL1とL2との比の差が小さい派生形状モデルを作成することができる。 Incidentally, creation speed N of the derived shape model, for example, the enlargement / reduction ratio M 1 or M 2 of the case of changing from R L by R constant change amount in the range of U [delta], represented by the following formula .
Figure 2009211148
As is apparent from this equation, the smaller the amount of change δ or the greater the difference between R U and R L , the greater the number N of derived shape models created. Since the ratio between L 1 and L 2 can be set more finely as the amount of change δ is reduced, a derived shape model having a 3D face feature point with a small positional deviation from each face feature point of the face image 100 is created. can do. Also, R U and the larger the difference between the R L, L 1 and the range of the ratio of the values of L 2 is expanded, L 1 and derived form the difference in specific small and L 2 with respect to various face A model can be created.

なお、拡大/縮小率M1、M2の最小値RL及び最大値RUは、L1とL2との比が人の顔として現実的に取り得る範囲をカバーするように設定される。例えば、3次元形状モデルが、上記のように多数の人物の顔形状を模した顔形状モデルを平均化して作成された、標準的な顔形状を有するものである場合、RL=0.8、RU=1.2とすることができる。また、変化量δは、顔画像100と派生形状モデルとの位置合わせについて求められる精度と、派生形状モデルの作成及び派生形状モデルと顔画像100の位置合わせに要する計算時間とを総合的に考量して決定される。例えば、RL=0.8、RU=1.2の場合、変化量δは、0.05に設定することができる。しかし、RL、RU、δは、上記の値に限定されず、本発明の実施形態及び顔画像処理装置200に採用されるマイクロプロセッサの能力などに応じて、適宜最適化される。
派生モデル作成手段231は、作成した複数の派生形状モデルを位置合わせ手段232へ出力する。
The minimum value R L and the maximum value R U enlargement / reduction ratio M 1, M 2 is set to cover a range where the ratio between L 1 and L 2 are obtained practically taken as a human face . For example, when the three-dimensional shape model has a standard face shape created by averaging the face shape models imitating the face shapes of many persons as described above, R L = 0.8, R U = 1.2 can be set. The amount of change δ comprehensively considers the accuracy required for the alignment between the face image 100 and the derived shape model, and the calculation time required to create the derived shape model and align the derived shape model with the face image 100. To be determined. For example, when R L = 0.8 and R U = 1.2, the change amount δ can be set to 0.05. However, R L , R U , and δ are not limited to the above values, and are appropriately optimized according to the ability of the microprocessor employed in the embodiment of the present invention and the face image processing apparatus 200.
The derived model creation unit 231 outputs the created plurality of derived shape models to the alignment unit 232.

位置合わせ手段232は、3次元形状モデル及び各派生形状モデルを回転、拡大/縮小して、顔画像100と、それぞれ対応する顔特徴点同士の位置が最も一致するように、即ち顔向きが等しくなるように位置合わせを行い、その位置合わせ情報を算出する。そして位置合わせ手段232は、算出した各位置合わせ情報を評価するために、各位置合わせ情報を用いて顔画像100と3次元形状モデルを位置合わせした場合の位置合わせ誤差を算出する。   The alignment means 232 rotates, enlarges / reduces the three-dimensional shape model and each derived shape model so that the positions of the face image 100 and the corresponding face feature points most closely match, that is, the face direction is equal. Alignment is performed so that the alignment information is calculated. The alignment unit 232 calculates an alignment error when the face image 100 and the 3D shape model are aligned using each alignment information in order to evaluate each calculated alignment information.

位置合わせ情報は、例えば、3次元形状モデルまたは派生形状モデルに対して設定された3次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大/縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、3次元形状モデル上の複数の3D顔特徴点の重心を原点とし、顔に対して水平かつ左から右へ向かう方向にX軸、顔に対して水平かつ後方から前方へ向かう方向にY軸、顔に対して垂直に下から上へ向かう方向にZ軸が設定される。   The alignment information includes, for example, the rotation angle, translation amount, and expansion / contraction along each axis of the three-dimensional orthonormal coordinate system (X, Y, Z) set for the three-dimensional shape model or the derived shape model. Includes reduction ratio. In the orthonormal coordinate system (X, Y, Z), for example, the center of gravity of a plurality of 3D face feature points on the three-dimensional shape model is set as the origin, and the X axis in the direction horizontal to the face and from left to right. A Y-axis is set in a direction horizontal to the face and from the back to the front, and a Z-axis is set in a direction from bottom to top perpendicular to the face.

位置合わせ手段232は、例えば、以下のように位置合わせ誤差を算出する。まず、派生形状モデル上の3D顔特徴点を、2次元画像である顔画像100上に投影する。そして位置合わせ手段232は、投影された各3D顔特徴点と、対応する各顔特徴点との距離Eiを算出し、その距離Eiの重み付き和として全体の位置ずれ量Eを求める。全体の位置ずれ量Eは、例えば以下の式で表される。

Figure 2009211148
(2)式において、αiは、距離Eiに対する重み係数である。重み係数αiは、例えば、顔特徴点抽出手段220において抽出された各顔特徴点の位置の信頼度が高いほど、大きな値となるように設定される。例えば、顔特徴点抽出手段220が顔の各部位に相当するテンプレートを用いたテンプレートマッチングにより各顔特徴点の位置を決定する場合、顔特徴点の位置の信頼度は、テンプレートと顔画像100が最も一致する場合の一致度とすることができる。また、特定の顔特徴点(例えば、鼻尖点)の位置合わせを重視したい場合には、その重視したい顔特徴点に対応する重み係数αiを、他の顔特徴点に対応する重み係数よりも大きくしてもよい。なお、顔特徴点の位置の信頼度が評価できない場合若しくは各顔特徴点の位置の信頼度がほぼ等しい場合、あるいは、全ての顔特徴点について位置ずれ量が均等になるように位置合わせしたい場合には、全ての重み係数αiを同じ値(例えば'1')に設定する。 The alignment unit 232 calculates the alignment error as follows, for example. First, the 3D face feature points on the derived shape model are projected onto the face image 100 which is a two-dimensional image. Then, the alignment means 232 calculates the distance E i between each projected 3D face feature point and each corresponding face feature point, and obtains the total displacement E as a weighted sum of the distance E i . The total positional deviation amount E is expressed by the following equation, for example.
Figure 2009211148
In the equation (2), α i is a weighting factor for the distance E i . For example, the weighting coefficient α i is set to be larger as the reliability of the position of each facial feature point extracted by the facial feature point extraction unit 220 is higher. For example, when the face feature point extraction unit 220 determines the position of each face feature point by template matching using a template corresponding to each part of the face, the reliability of the position of the face feature point is determined by the template and the face image 100. The degree of coincidence can be determined as the best match. In addition, when it is important to position a particular facial feature point (for example, the nose tip), the weighting coefficient α i corresponding to the facial feature point to be emphasized is set to be higher than the weighting coefficients corresponding to other facial feature points. You may enlarge it. When the reliability of the position of the face feature points cannot be evaluated, or when the reliability of the positions of the face feature points is almost equal, or when it is desired to align all the face feature points so that the amount of displacement is equal. In this case, all the weighting factors α i are set to the same value (eg, “1”).

位置合わせ手段232は、この位置ずれ量Eが最小となるように、3次元形状モデルまたは派生形状モデルを、3次元の正規直交座標系(X,Y,Z)の各軸に沿って回転または並進させたり、拡大または縮小させる。位置合わせ手段232は、例えば、シミュレーティッドアニーリングまたは最急降下法などのエネルギー最小化手法を用いて、位置ずれ量Eが最小となるときの派生形状モデルの姿勢変化量(回転角、並進量、及び拡大/縮小率)を求めることができる。位置合わせ手段232は、上記の姿勢変化により各形状モデル毎に最小となった位置ずれ量Eを、顔画像100と位置合わせした3次元形状モデルまたはその派生形状モデルに対する位置合わせ誤差とする。
また、位置合わせ手段232は、顔画像100について抽出された各顔特徴点を3次元空間内へ投影した後、3次元形状モデルまたは派生形状モデル上の3D顔特徴点との位置ずれ量が最小となるように3次元形状モデルまたは派生形状モデルを回転、拡大/縮小して、位置合わせ誤差を算出してもよい。
位置合わせ手段232は、得られた位置合わせ誤差を、類似形状選択手段233へ出力する。
The alignment means 232 rotates or rotates the three-dimensional shape model or the derived shape model along each axis of the three-dimensional orthonormal coordinate system (X, Y, Z) so that the positional deviation amount E is minimized. Translate or zoom in or out. The alignment unit 232 uses, for example, an energy minimization method such as simulated annealing or steepest descent method to change the posture change amount (rotation angle, translation amount, and translation amount) of the derived shape model when the positional deviation amount E is minimized. (Magnification / reduction ratio) can be obtained. The alignment unit 232 sets the positional deviation amount E, which is minimized for each shape model due to the above-described posture change, as the alignment error for the three-dimensional shape model aligned with the face image 100 or its derived shape model.
In addition, the registration unit 232 projects each facial feature point extracted from the facial image 100 into the three-dimensional space, and then the positional deviation amount with the 3D facial feature point on the three-dimensional shape model or the derived shape model is minimized. The alignment error may be calculated by rotating, enlarging / reducing the three-dimensional shape model or the derived shape model so that
The alignment unit 232 outputs the obtained alignment error to the similar shape selection unit 233.

類似形状選択手段233は、3次元形状モデル及び派生形状モデルの中で位置合わせ誤差が最も小さいもの(すなわち、各3D顔特徴点の位置が顔画像100の対応する各顔特徴点の位置と最も一致するもの)を最類似形状モデルとして個人モデル作成手段240へ出力する。   The similar shape selection unit 233 has the smallest alignment error among the three-dimensional shape model and the derived shape model (that is, the position of each 3D face feature point is the most similar to the position of each corresponding face feature point in the face image 100). That match) is output to the individual model creation means 240 as the most similar shape model.

個人モデル作成手段240は、最類似顔形状モデルに、顔画像100をテクスチャ画像としてマッピングすることにより、対象者の3次元顔モデルを作成する。すなわち、顔画像100について抽出されている各顔特徴点と、最類似形状モデルとして選択された3次元形状モデル又は派生形状モデルについての3D顔特徴点との位置が合うように、位置合わせ情報を用いて顔画像100をテクスチャ画像として最類似顔形状モデルにマッピングする。なお、鼻などの顔上に突起した部位に隠れて、あるいは遮蔽物などにより顔の一部が見えなくなるオクルージョンが発生し、顔画像100において顔の一部分の情報が欠落していることもある。そこで、顔画像100をマッピングした3次元顔モデルに顔の情報やテクスチャの欠落部分が生じる場合、個人モデル作成手段240は、マッピングを行う前あるいはマッピングを行なった後に、欠落部分の周囲の画素の輝度情報を用いて補間処理(例えば、スプライン補間、線形補間)を行って、欠落部分の画素の輝度値を算出する。あるいは、個人モデル作成手段240は、人の顔には対称性があることを利用して、欠落部分の対称位置に相当する画素の輝度値を、その欠落部分の画素の輝度値としてもよい。具体的には、欠落部分に対して、顔の正中線を中心とした線対称の位置の画素の輝度値を、その欠落部分の画素の輝度値とすることができる。このような補間処理を行うことにより、顔画像100が取得された時に、対象者が顔の一部が隠れる方向を向いていたり、遮蔽物の陰に対象者の顔の一部が隠れている場合であっても、対象者の顔全体を表現した3次元顔モデルを作成することができる。
個人モデル作成手段240は、作成した3次元顔モデルを、記憶手段250に記憶するか、あるいは、顔画像処理装置200を利用して、照合処理を行う顔認証装置などへ出力する。
The personal model creation unit 240 creates a 3D face model of the subject by mapping the face image 100 as a texture image onto the most similar face shape model. That is, the alignment information is set so that each face feature point extracted for the face image 100 and the 3D face feature point for the three-dimensional shape model or derived shape model selected as the most similar shape model are aligned. The face image 100 is used as a texture image and mapped to the most similar face shape model. Occlusion may occur where a part of the face is hidden due to a part protruding on the face such as the nose, or due to a shield or the like, and information on a part of the face is missing in the face image 100. Therefore, when a missing portion of face information or texture occurs in the three-dimensional face model to which the face image 100 is mapped, the personal model creation means 240 can detect pixels around the missing portion before mapping or after mapping. Interpolation processing (for example, spline interpolation or linear interpolation) is performed using the luminance information, and the luminance value of the missing pixel is calculated. Alternatively, the personal model creation means 240 may use the luminance value of the pixel corresponding to the symmetrical position of the missing portion as the luminance value of the pixel of the missing portion by utilizing the symmetry of the human face. Specifically, the luminance value of a pixel at a line-symmetrical position around the midline of the face with respect to the missing portion can be set as the luminance value of the pixel of the missing portion. By performing such an interpolation process, when the face image 100 is acquired, the subject faces the direction in which part of the face is hidden, or part of the subject's face is hidden behind the shielding object. Even in this case, a three-dimensional face model that represents the entire face of the subject can be created.
The personal model creation unit 240 stores the created three-dimensional face model in the storage unit 250 or outputs it to a face authentication device or the like that performs a matching process using the face image processing device 200.

以下、図3に示したフローチャートを参照しつつ、本発明を適用した顔画像処理装置200による3次元顔モデル作成処理の動作を説明する。なお、以下に説明する動作のフローは、顔画像処理装置200を構成するマイクロプロセッサ上で動作し、顔画像処理装置200全体を制御する制御手段(図示せず)により制御される。
最初に、顔画像処理装置200は、画像入力手段210を介して、2次元画像である対象者の顔画像100を取得する(ステップS310)。次に、顔特徴点抽出手段220は、取得された顔画像100から顔特徴点を抽出する(ステップS320)。
Hereinafter, the operation of the three-dimensional face model creation process by the face image processing apparatus 200 to which the present invention is applied will be described with reference to the flowchart shown in FIG. The flow of operations described below is controlled by a control unit (not shown) that operates on the microprocessor constituting the face image processing apparatus 200 and controls the entire face image processing apparatus 200.
First, the face image processing apparatus 200 acquires the face image 100 of the subject as a two-dimensional image via the image input unit 210 (step S310). Next, the face feature point extraction unit 220 extracts face feature points from the acquired face image 100 (step S320).

次に、各3次元形状モデル及びその3次元形状モデルに関連付けられた3D顔特徴点が記憶手段250から読み込まれる(ステップS330)。そして、位置合わせ情報算出手段230の派生モデル作成手段231は、鼻尖点から上方の3D顔特徴点の位置関係と、鼻尖点から下方の3D顔特徴点の位置関係とを、垂直方向において非線形に変化させた派生形状モデルを複数作成する(ステップS340)。その後、位置合わせ情報算出手段230の位置合わせ手段232は、各3次元形状モデル及び派生形状モデルを、顔画像100から抽出された各顔特徴点と、各3次元形状モデル及び派生形状モデルの対応する3D顔特徴点の2次元投影点の位置ずれ量Eが最小となるように、各形状モデルを、正規直交座標系(X,Y,Z)の各軸に沿って回転または併進させたり、拡大/縮小させる。位置合わせ手段232は、その位置ずれ量Eが最小となったときにこれを位置合わせ誤差として算出する(ステップS350)。   Next, each 3D shape model and 3D face feature points associated with the 3D shape model are read from the storage unit 250 (step S330). Then, the derived model creation unit 231 of the alignment information calculation unit 230 nonlinearly determines the positional relationship between the 3D face feature points above the nose apex and the positional relationship between the 3D face feature points below the nose apex in the vertical direction. A plurality of changed derived shape models are created (step S340). After that, the registration unit 232 of the registration information calculation unit 230 associates each 3D shape model and the derived shape model with each face feature point extracted from the face image 100, and each 3D shape model and the derived shape model. Each shape model can be rotated or translated along each axis of the orthonormal coordinate system (X, Y, Z) so that the positional deviation amount E of the 2D projection point of the 3D face feature point to be minimized Enlarge / reduce. The positioning means 232 calculates this as a positioning error when the positional deviation amount E is minimized (step S350).

ステップS350の後、全ての3次元形状モデル及びこれらから作成した全ての派生形状モデルに対して、位置合わせ誤差が算出されたか否かが判定される(ステップS360)。そして、位置合わせ誤差を未算出の派生形状モデルまたは3次元形状モデルが存在する場合、制御はステップS350に戻り、位置合わせ誤差を未算出の派生形状モデルまたは3次元形状モデルに対してステップS350の処理が繰り返される。   After step S350, it is determined whether or not alignment errors have been calculated for all three-dimensional shape models and all derived shape models created from these models (step S360). If there is a derived shape model or three-dimensional shape model for which the alignment error has not been calculated, the control returns to step S350, and the alignment error is not calculated for the derived shape model or the three-dimensional shape model in step S350. The process is repeated.

次に、位置合わせ情報算出手段230の類似形状選択手段233は、全ての3次元形状モデル及び派生形状モデルの中から、位置合わせ誤差が最小となるものを最類似形状モデルとして選択する(ステップS370)。
最後に、個人モデル作成手段240は、最類似顔形状モデルに、顔画像100をテクスチャ画像としてマッピングすることにより、対象者の3次元顔モデルを作成する(ステップS380)。
Next, the similar shape selection unit 233 of the alignment information calculation unit 230 selects, from among all the three-dimensional shape models and derived shape models, the one with the smallest alignment error as the most similar shape model (step S370). ).
Finally, the personal model creation means 240 creates a 3D face model of the subject by mapping the face image 100 as a texture image on the most similar face shape model (step S380).

以上説明してきたように、本発明を適用した顔画像処理装置200は、予め準備された3次元形状モデルについて、顔特徴点間の相対的な位置関係を非線形に変化させる。そして、係る顔画像処理装置200は、3次元形状モデル上の3D顔特徴点と2次元顔画像上の対応する顔特徴点が最も一致するように3次元形状モデルを変形したものに2次元顔画像を合成して対象者の3次元顔モデルを作成するので、特殊な表面計測装置を用いることなく、また予め多人数の顔の形状データを収集していなくても、対象者の2次元の顔画像から、当該対象者の顔表面の立体形状を良好に再現した3次元顔モデルを作成できる。また、複数の3次元形状モデルを準備することにより、多様な派生形状モデルを作成できるので、対象者の2次元顔画像に対して各顔特徴点の位置が良好に一致する派生形状モデルを提供できる可能性がより高くなる。   As described above, the face image processing apparatus 200 to which the present invention is applied changes the relative positional relationship between facial feature points in a non-linear manner with respect to a three-dimensional shape model prepared in advance. Then, the face image processing apparatus 200 changes the two-dimensional face into the one obtained by modifying the three-dimensional shape model so that the three-dimensional face feature point on the three-dimensional shape model and the corresponding face feature point on the two-dimensional face image most closely match. Since the subject's three-dimensional face model is created by combining the images, the subject's two-dimensional face model can be obtained without using a special surface measurement device or collecting face shape data of a large number of people in advance. From the face image, it is possible to create a three-dimensional face model that well reproduces the three-dimensional shape of the subject's face. In addition, a variety of derived shape models can be created by preparing multiple 3D shape models, providing a derived shape model in which the position of each facial feature point matches well with the 2D face image of the subject. More likely to be able to do it.

次に、上記の顔画像処理装置200を使用した顔画像登録装置について説明する。係る顔画像登録装置は、対象者の顔画像に基づいて作成された3次元形状モデルから、顔の向き、照明条件または表情を変えた複数の参照顔画像を作成するものである。なお、顔画像処理装置200自体に、下記の顔画像登録装置の各部機能を備えるようにしてもよい。
図4に、係る顔画像登録装置400の概略構成図を示す。顔画像登録装置400は、上記の顔画像処理装置200に対応する3次元顔モデル作成手段410と、変動顔画像作成手段420と、顔画像登録手段430と、レンダリング条件記憶手段440とを有する。ここで、レンダリング条件記憶手段440は、ROM、RAMなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。なお、レンダリング条件記憶手段440は、3次元顔モデル作成手段410(顔画像処理装置200)の記憶手段250と同一のハードウェアにより構成することもできる。また、変動顔画像作成手段420及び顔画像登録手段430は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。さらに、変動顔画像作成手段420及び顔画像登録手段430は、3次元顔モデル作成手段410(顔画像処理装置200)の各機能モジュールが実装されるマイクロプロセッサ上で動作するものであってもよい。
また、図5に、顔画像登録装置400による、参照顔画像作成処理の動作フローチャートを示す。以下、図4及び図5を参照しつつ、顔画像登録装置400の各部及び参照顔画像作成処理について説明する。
Next, a face image registration apparatus using the face image processing apparatus 200 will be described. Such a face image registration device creates a plurality of reference face images with different face orientations, illumination conditions or facial expressions from a three-dimensional shape model created based on the face image of the subject. The face image processing apparatus 200 itself may be provided with the functions of the following parts of the face image registration apparatus.
FIG. 4 shows a schematic configuration diagram of such a face image registration apparatus 400. The face image registration device 400 includes a three-dimensional face model creation unit 410 corresponding to the face image processing device 200, a variable face image creation unit 420, a face image registration unit 430, and a rendering condition storage unit 440. Here, the rendering condition storage unit 440 includes a semiconductor memory such as a ROM and a RAM, or a magnetic recording medium and its access device or an optical recording medium and its access device. The rendering condition storage unit 440 can also be configured by the same hardware as the storage unit 250 of the three-dimensional face model creation unit 410 (face image processing apparatus 200). The variable face image creation unit 420 and the face image registration unit 430 are functional modules implemented by a microprocessor, a memory, a peripheral circuit thereof, and software operating on the microprocessor. Furthermore, the fluctuating face image creation means 420 and the face image registration means 430 may operate on a microprocessor in which each functional module of the three-dimensional face model creation means 410 (face image processing device 200) is mounted. .
FIG. 5 shows an operation flowchart of reference face image creation processing by the face image registration apparatus 400. Hereinafter, each part of the face image registration apparatus 400 and reference face image creation processing will be described with reference to FIGS. 4 and 5.

顔画像登録装置400は、例えば、監視カメラ等で撮影された顔画像の履歴情報から、対象者の2次元顔画像100を取得すると、3次元顔モデル作成手段410により、その対象者の3次元顔モデルを作成する(ステップS510)。なお、3次元顔モデル作成手段410は、上記の顔画像処理装置200と同様の構成及び機能を有するため、ここでは、その詳細な説明を省略する。   For example, when the face image registration apparatus 400 acquires the target person's two-dimensional face image 100 from the history information of the face image photographed by a surveillance camera or the like, the three-dimensional face model creation means 410 causes the target person's three-dimensional face image 100 to be obtained. A face model is created (step S510). Note that the three-dimensional face model creation unit 410 has the same configuration and function as the face image processing apparatus 200 described above, and thus detailed description thereof is omitted here.

次に、顔画像登録装置400の変動顔画像作成手段420は、レンダリング条件記憶手段440から、複数のレンダリング条件を読み出す。そして変動顔画像作成手段420は、各レンダリング条件にしたがって、対象者の3次元顔モデルから、顔の向き、照明条件、表情などを変化させた複数の変動顔画像を作成する(ステップS520)。なお、レンダリング条件には、顔の向き、照明方向及び照明光の輝度などを規定した照明条件、及び表情を指定した表情情報が含まれる。また、レンダリング手法として公知の様々な手法を用いることができるため、レンダリング手法の詳細な説明は省略する。   Next, the fluctuating face image creation unit 420 of the face image registration device 400 reads a plurality of rendering conditions from the rendering condition storage unit 440. Then, the varying face image creating means 420 creates a plurality of varying face images in which the face direction, lighting conditions, facial expressions, and the like are changed from the three-dimensional face model of the subject in accordance with each rendering condition (step S520). The rendering condition includes an illumination condition that defines the face direction, the illumination direction, and the luminance of the illumination light, and facial expression information that specifies an expression. Further, since various known methods can be used as the rendering method, detailed description of the rendering method is omitted.

そして、顔画像登録手段430は、作成された各変動顔画像を、例えば顔認証装置の参照顔画像として、その対象者の識別情報と関連付けて登録する(ステップS530)。顔画像登録装置400は、登録された参照顔画像を、顔画像登録装置400の外部に設けられた記憶装置に記憶してもよく、あるいは、3次元顔モデル作成手段410(顔画像処理装置200)の記憶手段250に記憶してもよい。   Then, the face image registration unit 430 registers each created variation face image, for example, as a reference face image of the face authentication device in association with the identification information of the target person (step S530). The face image registration device 400 may store the registered reference face image in a storage device provided outside the face image registration device 400, or the three-dimensional face model creation unit 410 (the face image processing device 200). ) May be stored in the storage means 250.

以上のように、本発明を適用した顔画像登録装置は、特殊な表面計測装置を用いることなく作成された対象者の3次元顔モデルから任意のレンダリング条件にしたがって参照顔画像を作成するので、顔の向き、照明条件、表情などを任意に変化させた多数の参照顔画像を容易に作成することができる。   As described above, the face image registration device to which the present invention is applied creates a reference face image according to an arbitrary rendering condition from a three-dimensional face model of a subject created without using a special surface measurement device. A large number of reference face images can be easily created by arbitrarily changing the face direction, lighting conditions, facial expressions, and the like.

次に、本発明を適用した別の実施形態である顔認証装置について説明する。係る顔認証装置は、対象者の顔画像に基づいて作成された3次元形状モデルから作成された所定の向き、照明条件、表情の顔画像と、予め登録された登録者の参照顔画像とを照合して、対象者を認証するか否か決定するものである。なお、顔画像処理装置200自体に、下記の顔認証装置の各部機能を備えるようにしてもよい。
図6に、係る顔認証装置600の概略構成図を示す。顔認証装置600は、画像取得手段610と、上記の顔画像処理装置200に対応する3次元顔モデル作成手段620と、入力顔画像補正手段630と、顔画像照合手段640と、参照顔画像記憶手段650とを有する。ここで、参照顔画像記憶手段650は、ROM、RAMなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。なお、参照顔画像記憶手段650は、3次元顔モデル作成手段620(顔画像処理装置200)の記憶手段250と同一のハードウェアにより構成することもできる。また、入力顔画像補正手段630及び顔画像照合手段640は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。さらに、入力顔画像補正手段630及び顔画像照合手段640は、3次元顔モデル作成手段620(顔画像処理装置200)の各機能モジュールが実装されるマイクロプロセッサ上で動作するものであってもよい。
また、図7に、顔認証装置600による、認証処理の動作フローチャートを示す。以下、図6及び図7を参照しつつ、顔認証装置600の各部及び認証処理について説明する。
Next, a face authentication apparatus according to another embodiment to which the present invention is applied will be described. The face authentication apparatus includes a face image having a predetermined orientation, lighting conditions, and facial expression created from a three-dimensional shape model created based on the face image of the subject, and a reference face image of the registrant registered in advance. The collation is performed to determine whether or not to authenticate the target person. The face image processing apparatus 200 itself may be provided with the functions of the following face authentication apparatuses.
FIG. 6 shows a schematic configuration diagram of such a face authentication apparatus 600. The face authentication apparatus 600 includes an image acquisition means 610, a three-dimensional face model creation means 620 corresponding to the face image processing apparatus 200, an input face image correction means 630, a face image collation means 640, and a reference face image storage. Means 650. Here, the reference face image storage means 650 includes a semiconductor memory such as a ROM and a RAM, or a magnetic recording medium and its access device or an optical recording medium and its access device. The reference face image storage unit 650 can also be configured by the same hardware as the storage unit 250 of the three-dimensional face model creation unit 620 (face image processing apparatus 200). The input face image correcting unit 630 and the face image collating unit 640 are functional modules implemented by a microprocessor, a memory, a peripheral circuit thereof, and software operating on the microprocessor. Further, the input face image correcting unit 630 and the face image collating unit 640 may operate on a microprocessor in which each functional module of the three-dimensional face model creating unit 620 (face image processing apparatus 200) is mounted. .
FIG. 7 shows an operation flowchart of authentication processing by the face authentication apparatus 600. Hereinafter, each unit and authentication processing of the face authentication apparatus 600 will be described with reference to FIGS. 6 and 7.

まず、画像取得手段610により、対象者の2次元顔画像100が取得される(ステップS710)。画像取得手段610は、例えば、CCD、C-MOSセンサなどの光電変換素子の2次元アレイを有する検出器と、その検出器上に結像する光学系と、プロセッサ及びその周辺回路を有する。画像取得手段610は、光学系によって所定領域の像を検出器上に結像させて、その所定領域を撮影した画像データを取得する。そして画像取得手段610のプロセッサは、得られた画像データから、所定領域内に入った対象者の顔に相当する領域を切り出すことにより、顔画像100を取得する。ここで、対象者の顔に相当する領域の抽出は、公知の様々な方法を用いて行うことができる。例えば、顔に対応するテンプレートを予め準備しておき、画像取得手段610は、そのテンプレートを用いて、画像データ全体とのテンプレートマッチングを行って一致度を算出する。そして画像取得手段610は、画像データ中、所定以上の一致度が得られた領域を切り出し、顔画像100とする。
なお、画像取得手段610は、1枚の画像データから、1枚の顔画像のみを切り出してもよく、あるいは、1枚の画像データから、複数枚の顔画像を切り出してもよい。
First, the two-dimensional face image 100 of the subject is acquired by the image acquisition unit 610 (step S710). The image acquisition unit 610 includes, for example, a detector having a two-dimensional array of photoelectric conversion elements such as a CCD and a C-MOS sensor, an optical system that forms an image on the detector, a processor, and its peripheral circuits. The image acquisition unit 610 forms an image of a predetermined area on the detector using an optical system, and acquires image data obtained by photographing the predetermined area. The processor of the image acquisition unit 610 acquires the face image 100 by cutting out an area corresponding to the face of the subject who entered the predetermined area from the obtained image data. Here, the extraction of the area corresponding to the face of the subject can be performed using various known methods. For example, a template corresponding to the face is prepared in advance, and the image acquisition unit 610 performs template matching with the entire image data using the template to calculate the degree of coincidence. Then, the image acquisition unit 610 cuts out an area in which the degree of coincidence of a predetermined level or more is obtained from the image data, and sets it as the face image 100.
Note that the image acquisition unit 610 may cut out only one face image from one piece of image data, or may cut out a plurality of face images from one piece of image data.

次に、顔認証装置600の3次元顔モデル作成手段620は、対象者の2次元顔画像100から、その対象者の3次元顔モデルを作成する(ステップS720)。なお、3次元顔モデル作成手段620は、上記の顔画像処理装置200と同様の構成及び機能を有するため、ここでは、その詳細な説明を省略する。そして、顔認証装置600の入力顔画像補正手段630は、対象者の3次元顔モデルを、対象者の顔が所定の方向(例えば、正面方向)を向くように仮想3次元空間で回転し、2次元画像としてレンダリングして、入力補正顔画像を作成する(ステップS730)。なお、レンダリングを行う際、入力顔画像補正手段630は、照合に使用する参照顔画像の何れかに含まれる顔の特定部位(例えば、顔の皮膚部分の全体若しくは一部、あるいは鼻、目、口など)の平均輝度と、入力補正顔画像に含まれる、対応する特定部位の平均輝度が略等しくなるように、照明条件を調整してもよい。さらに、対象者の表情も、所定の表情となるように調整してもよい。また、レンダリング手法として公知の様々な手法を用いることができるため、レンダリング手法の詳細な説明は省略する。   Next, the 3D face model creation means 620 of the face authentication apparatus 600 creates the 3D face model of the subject from the 2D face image 100 of the subject (step S720). Note that the three-dimensional face model creation unit 620 has the same configuration and function as the face image processing apparatus 200 described above, and thus detailed description thereof is omitted here. Then, the input face image correction unit 630 of the face authentication device 600 rotates the subject's three-dimensional face model in a virtual three-dimensional space so that the subject's face faces a predetermined direction (for example, the front direction), Rendering as a two-dimensional image creates an input corrected face image (step S730). Note that when rendering, the input face image correcting unit 630 includes a specific part of the face (for example, the whole or part of the skin portion of the face, or the nose, eyes, The illumination condition may be adjusted so that the average luminance of the mouth and the like and the average luminance of the corresponding specific part included in the input corrected face image are substantially equal. Furthermore, the subject's facial expression may be adjusted to be a predetermined facial expression. Further, since various known methods can be used as the rendering method, detailed description of the rendering method is omitted.

入力補正顔画像が作成されると、顔認証装置600の顔画像照合手段640は、入力補正顔画像と参照顔画像記憶手段650から読み込んだ各参照顔画像とを照合する(ステップS740)。各参照顔画像は、顔認証装置600において事前に登録された登録者の顔画像であり、例えば、登録者の顔が上記の所定の方向(例えば、正面方向)を向いた状態の画像である。また、参照顔画像記憶手段650は、入力補正顔画像に写っている対象者の顔の向きが上記の所定の方向とずれた場合、あるいは顔画像100の取得時の照明条件または対象者の表情の違いに対応して、正確に照合できるように、一人の登録者につき、顔の向き、照明条件、表情を変えた複数の参照顔画像を有していてもよい。なお、各参照顔画像は、例えば、上記の顔画像登録装置400を用いて登録者の顔画像を取得することにより、予め作成されたものとすることができる。あるいは、各参照顔画像は、登録者の顔を、異なる角度、異なる照明条件、若しくは異なる表情で撮影した画像としてもよい。また、照合処理として、公知の様々な照合方法を用いることができる。例えば、顔画像照合手段640は、入力補正顔画像と参照顔画像のパターンマッチングを行う。そして顔画像照合手段640は、入力補正顔画像に含まれる顔領域内の各画素と参照顔画像の対応画素の輝度値の差の二乗和を、入力補正顔画像の顔領域に含まれる画素数で割って正規化した値の逆数を一致度として求める。顔画像照合手段640は、各参照顔画像について求めた一致度のうち、最も高い一致度が所定の基準値を超える場合、対象者を、一致度が最も高い値を有する参照顔画像に対応する登録者として認証する。一方、顔画像照合手段640は、何れの一致度も所定の基準値を超えない場合、対象者を認証しない。
認証結果は、顔認証装置600から出力され、例えば、認証に成功した場合にのみ出入口を開放するようなセキュリティシステムにおいて利用される。
When the input corrected face image is created, the face image collating unit 640 of the face authentication apparatus 600 collates the input corrected face image with each reference face image read from the reference face image storage unit 650 (step S740). Each reference face image is a registrant's face image registered in advance in the face authentication device 600. For example, the registrant's face is an image in a state where the face of the registrant faces the predetermined direction (for example, the front direction). . Further, the reference face image storage unit 650 is configured so that the orientation of the face of the subject in the input corrected face image deviates from the predetermined direction described above, or the illumination condition or facial expression of the subject when the face image 100 is acquired. Each registrant may have a plurality of reference face images in which the face direction, lighting conditions, and facial expressions are changed so that the matching can be accurately performed in accordance with the difference. Each reference face image can be created in advance by, for example, acquiring a registrant's face image using the face image registration device 400 described above. Alternatively, each reference face image may be an image obtained by photographing the registrant's face with a different angle, a different lighting condition, or a different facial expression. Further, various known collation methods can be used as the collation processing. For example, the face image matching unit 640 performs pattern matching between the input corrected face image and the reference face image. Then, the face image matching unit 640 calculates the number of pixels included in the face area of the input correction face image by calculating the sum of squares of the luminance values of each pixel in the face area included in the input correction face image and the corresponding pixel of the reference face image. The reciprocal of the normalized value divided by is obtained as the degree of coincidence. When the highest matching score among the matching scores obtained for each reference face image exceeds a predetermined reference value, the face image matching unit 640 corresponds the target person to the reference face image having the highest matching score. Authenticate as a registrant. On the other hand, the face image collating unit 640 does not authenticate the target person when any degree of coincidence does not exceed the predetermined reference value.
The authentication result is output from the face authentication apparatus 600, and is used in a security system that opens an entrance only when authentication is successful, for example.

以上のように、本発明を適用した顔認証装置は、対象者の顔の特徴的な部位の位置に合わせて3次元形状モデルを変形し、そのモデルと対象者の顔の2次元顔画像を合成した3次元顔モデルに基づいて照合するので、照合精度を高めることができる。さらに係る顔認証装置は、参照顔画像の何れかとほぼ同じ顔の向きに調節した入力補正顔画像を照合に使用するので、撮影時に対象者がどちらを向いていても、正確に認証することができる。   As described above, the face authentication device to which the present invention is applied deforms a three-dimensional shape model according to the position of a characteristic part of the subject's face, and obtains a two-dimensional face image of the model and the subject's face. Since matching is performed based on the synthesized three-dimensional face model, the matching accuracy can be increased. Furthermore, since the face authentication apparatus uses an input corrected face image adjusted to approximately the same face orientation as any of the reference face images for verification, it is possible to accurately authenticate regardless of which direction the subject faces at the time of shooting. it can.

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、各3次元形状モデルとして、形状の類似度が高い顔が同じカテゴリになるように、多数の顔形状モデルをカテゴライズし、同一カテゴリ内の顔形状モデルを平均化するなどして作成したものを用いてもよい。そして、位置合わせ情報算出手段230は、各3次元形状モデルについてそれぞれ派生形状モデルを作成し、各派生形状モデルに対して位置合わせ情報を算出するようにしてもよい。   The preferred embodiments of the present invention have been described above, but the present invention is not limited to these embodiments. For example, each three-dimensional shape model created by categorizing a number of face shape models and averaging the face shape models in the same category so that faces with high similarity in shape are in the same category May be used. Then, the alignment information calculation unit 230 may create a derived shape model for each three-dimensional shape model and calculate alignment information for each derived shape model.

また、派生モデル作成手段231は、鼻尖点以外の顔特徴点を基準点とし、その基準点からの距離が拡大または縮小されるように、他の顔特徴点の位置を変更して派生形状モデルを作成してもよい。例えば、基準点を、鼻根点に設定してもよい。そして派生モデル作成手段231は、鼻根点から鼻根点より上方の顔特徴点(例えば、眉間点)までの距離を変更したり、鼻根点から鼻根点より下方の顔特徴点(例えば、鼻尖点、口点、オトガイ点)までの距離を変更して派生形状モデルを作成してもよい。また、基準点を口点に設定してもよい。そして派生モデル作成手段231は、口点からオトガイ点までの長さと、口点から鼻尖点若しくは鼻根点までの長さの比率を異ならせるように3次元形状モデルを変形して派生形状モデルを作成してもよい。
さらに、派生モデル作成手段231は、3次元形状モデルの鼻の高さを変えた派生形状モデルを作成してもよい。この場合、派生モデル作成手段231は、例えば、派生形状モデルの鼻の高さが、元の3次元形状モデルの鼻の高さの0.8倍〜1.2倍となるように、上記のw軸方向(すなわち、顔の前後方向)に沿って3次元形状モデルを拡大または縮小する。
The derived model creating means 231 uses a facial feature point other than the nose tip as a reference point, and changes the position of the other facial feature point so that the distance from the reference point is enlarged or reduced. May be created. For example, the reference point may be set to the nose root point. Then, the derived model creation means 231 changes the distance from the nose root point to a face feature point above the nose root point (for example, the eyebrow point), or the face feature point below the nose root point (for example, from the nose root point). The derived shape model may be created by changing the distance to the nose tip, mouth point, and genital point. The reference point may be set as the mouth point. Then, the derived model creating means 231 modifies the three-dimensional shape model so that the ratio between the length from the mouth point to the mental point and the length from the mouth point to the nose tip or root point is changed to obtain the derived shape model. You may create it.
Furthermore, the derived model creation means 231 may create a derived shape model in which the nose height of the three-dimensional shape model is changed. In this case, for example, the derived model creating means 231 may use the w-axis direction (see above) so that the nose height of the derived shape model is 0.8 to 1.2 times the nose height of the original three-dimensional shape model. That is, the three-dimensional shape model is enlarged or reduced along the front-rear direction of the face.

また、派生モデル作成手段231は、顔内部の眉、目、鼻、口などの特徴部分の位置を変えるだけでなく、顔の輪郭形状も変更した派生形状モデルを作成してもよい。特に、本発明を適用した顔認証装置が、照合の際に顔の輪郭形状も照合情報として用いる場合、照合に使用する入力補正顔画像における顔の輪郭形状も、対象者の顔の輪郭形状に近似させることができるため、認証精度を向上することができる。顔の輪郭形状も変更した派生形状モデルを作成する場合、派生モデル作成手段231は、他の顔特徴点と同様に、垂直方向の拡大/縮小率を基準点である鼻尖点の上下で変更することにより、顔の輪郭形状を変更することができる。また、派生モデル作成手段231は、顔の輪郭形状を、その他の顔特徴点とは別個に変形し、その後において合成して派生形状モデルとしてもよい。この場合、顔の輪郭形状を変形するために、髪の毛に隠れる可能性の低い部位、例えば、左右の顎角点の中点を基準点とする。あるいは、顔の全体領域の重心を基準点としてもよい。そして派生モデル作成手段231は、その基準点の上下で垂直方向の拡大/縮小率を変更することにより、顔の輪郭形状を変更する。さらに、派生モデル作成手段231は、顔の輪郭形状について、水平方向の拡大/縮小率と垂直方向の拡大/縮小率を異ならせてもよい。このような変形を行うことにより、丸顔、細面など、様々な顔の輪郭形状を持つ派生形状モデルを作成することができる。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
In addition, the derived model creating means 231 may create a derived shape model that not only changes the position of the characteristic parts such as the eyebrows, eyes, nose, and mouth inside the face but also changes the contour shape of the face. In particular, when the face authentication device to which the present invention is applied uses the face contour shape as matching information at the time of matching, the face contour shape in the input correction face image used for matching is also changed to the contour shape of the subject's face. Since it can be approximated, the authentication accuracy can be improved. When creating a derived shape model in which the contour shape of the face is also changed, the derived model creating means 231 changes the vertical enlargement / reduction rate above and below the nose apex, which is the reference point, in the same manner as other face feature points. Thus, the contour shape of the face can be changed. The derived model creating means 231 may deform the face contour shape separately from the other face feature points, and then combine them to form a derived shape model. In this case, in order to deform the contour shape of the face, a reference point is a portion that is less likely to be hidden by the hair, for example, the midpoint of the left and right jaw angle points. Alternatively, the center of gravity of the entire face area may be used as the reference point. The derived model creating means 231 changes the contour shape of the face by changing the vertical enlargement / reduction ratio above and below the reference point. Further, the derived model creation means 231 may change the horizontal enlargement / reduction ratio and the vertical enlargement / reduction ratio for the facial contour shape. By performing such deformation, it is possible to create derivative shape models having various face contour shapes such as round faces and thin faces.
As described above, various modifications can be made within the scope of the present invention according to the embodiment to be implemented.

本発明を適用した画像処理装置の概略構成図である。1 is a schematic configuration diagram of an image processing apparatus to which the present invention is applied. 派生形状モデル作成の基準となる座標系を示す図である。It is a figure which shows the coordinate system used as the reference | standard of derivative shape model preparation. 本発明を適用した画像処理装置における3次元顔モデル作成処理の一例を示すフローチャートである。It is a flowchart which shows an example of the three-dimensional face model creation process in the image processing apparatus to which this invention is applied. 本発明を適用した顔画像登録装置の概略構成図である。It is a schematic block diagram of the face image registration apparatus to which this invention is applied. 本発明を適用した顔画像登録装置における参照顔画像登録処理の一例を示すフローチャートである。It is a flowchart which shows an example of the reference face image registration process in the face image registration apparatus to which this invention is applied. 本発明を適用した顔認証装置の概略構成図である。It is a schematic block diagram of the face authentication apparatus to which this invention is applied. 本発明を適用した顔認証装置における認証処理の一例を示すフローチャートである。It is a flowchart which shows an example of the authentication process in the face authentication apparatus to which this invention is applied.

符号の説明Explanation of symbols

100 顔画像
200 顔画像処理装置
210 画像入力手段
220 顔特徴点抽出手段
230 位置合わせ情報算出手段
231 派生モデル作成手段
232 位置合わせ手段
233 類似形状選択手段
240 個人モデル作成手段
250 記憶手段
400 顔画像登録装置
410 3次元顔モデル作成手段(顔画像処理装置)
420 変動顔画像作成手段
430 顔画像登録手段
440 レンダリング条件記憶手段
600 顔認証装置
610 画像取得手段
620 3次元顔モデル作成手段(顔画像処理装置)
630 入力顔画像補正手段
640 顔画像照合手段
650 参照顔画像記憶手段
DESCRIPTION OF SYMBOLS 100 Face image 200 Face image processing apparatus 210 Image input means 220 Face feature point extraction means 230 Registration information calculation means 231 Derived model creation means 232 Position alignment means 233 Similar shape selection means 240 Individual model creation means 250 Storage means 400 Face image registration Apparatus 410 3D face model creation means (face image processing apparatus)
420 Fluctuating face image creation means 430 Face image registration means 440 Rendering condition storage means 600 Face authentication device 610 Image acquisition means 620 3D face model creation means (face image processing device)
630 Input face image correcting means 640 Face image collating means 650 Reference face image storing means

Claims (5)

人物の顔が含まれる2次元顔画像と顔の3次元形状を表す3次元形状モデルを合成して該人物の顔に対応した3次元顔画像を作成する顔画像処理装置であって、
前記2次元顔画像を入力する画像入力手段と、
予め前記3次元形状モデルと該3次元形状モデルにおける顔の特徴点位置とを記憶する記憶手段と、
前記3次元形状モデルから、該3次元形状モデルの顔表面の正中線に沿った少なくとも上下に前記特徴点が存在する位置に設定された基準点に対し、該基準点より上部の前記特徴点までの長さと該基準点より下部の前記特徴点までの長さの比率を前記3次元形状モデルと異ならせた派生形状モデルを作成する派生モデル作成手段と、
前記派生形状モデル及び前記3次元形状モデルを前記2次元顔画像と比較して前記2次元顔画像に最も類似するものを選択する選択手段と、
前記選択された派生形状モデルまたは前記3次元形状モデルと前記2次元顔画像を合成して、前記人物の顔に対応した前記3次元顔画像を作成する個人モデル作成手段と、
を有することを特徴とする顔画像処理装置。
A face image processing device that generates a 3D face image corresponding to a face of a person by synthesizing a 2D face image including the face of the person and a 3D shape model representing the 3D shape of the face,
Image input means for inputting the two-dimensional face image;
Storage means for previously storing the three-dimensional shape model and facial feature point positions in the three-dimensional shape model;
From the three-dimensional shape model to the feature point above the reference point with respect to a reference point set at a position where the feature point exists at least above and below the midline of the face surface of the three-dimensional shape model A derived model creating means for creating a derived shape model in which the ratio of the length of the reference point to the feature point below the reference point is different from the three-dimensional shape model;
Selecting means for comparing the derived shape model and the three-dimensional shape model with the two-dimensional face image to select the one most similar to the two-dimensional face image;
A personal model creating means for creating the 3D face image corresponding to the face of the person by combining the 2D face image with the selected derived shape model or the 3D shape model;
A face image processing apparatus comprising:
前記基準点は鼻尖点である、請求項1に記載の顔画像処理装置。   The face image processing apparatus according to claim 1, wherein the reference point is a nose tip. 前記派生モデル作成手段は、鼻尖点から鼻根点若しくは両目の中心位置を表す特徴点までの顔の正中線に沿った距離と、鼻尖点から口点を表す特徴点までの距離の比率を異ならせて前記少なくとも一つの派生形状モデルを作成する、請求項2に記載の顔画像処理装置。   The derivation model creation means is different in the ratio of the distance along the midline of the face from the nose tip to the feature point representing the nose root point or the center position of both eyes and the distance from the nose tip to the feature point representing the mouth point. The face image processing apparatus according to claim 2, wherein the at least one derived shape model is created. 前記派生モデル作成手段は、前記3次元形状モデルの顔の輪郭形状を、水平方向と垂直方向の長さの比が変わるように変形して前記少なくとも一つの派生形状モデルを作成する、請求項1〜3の何れか一項に記載の顔画像処理装置。   2. The derived model creating means creates the at least one derived shape model by deforming a face contour shape of the three-dimensional shape model so that a ratio of lengths in a horizontal direction and a vertical direction is changed. The face image processing apparatus according to claim 1. さらに、所定方向を向いた、少なくとも一人の登録者の参照顔画像を記憶する参照顔画像記憶手段と、
前記3次元顔画像の顔向きを3次元空間で回転させて、前記人物の顔が前記所定方向を向いた補正顔画像を作成する補正顔画像作成手段と、
前記補正顔画像と前記参照顔画像を照合し、前記人物を前記登録者として認証するか否かを決定する照合手段と、
を有する請求項1〜4の何れか一項に記載の顔画像処理装置。
Furthermore, a reference face image storage means for storing a reference face image of at least one registrant facing a predetermined direction;
A corrected face image creating means for creating a corrected face image in which the face of the person faces the predetermined direction by rotating the face direction of the three-dimensional face image in a three-dimensional space;
Collating means for collating the corrected face image with the reference face image and determining whether to authenticate the person as the registrant;
The face image processing apparatus according to any one of claims 1 to 4, further comprising:
JP2008050772A 2008-02-29 2008-02-29 Face image processor Pending JP2009211148A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008050772A JP2009211148A (en) 2008-02-29 2008-02-29 Face image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008050772A JP2009211148A (en) 2008-02-29 2008-02-29 Face image processor

Publications (1)

Publication Number Publication Date
JP2009211148A true JP2009211148A (en) 2009-09-17

Family

ID=41184279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008050772A Pending JP2009211148A (en) 2008-02-29 2008-02-29 Face image processor

Country Status (1)

Country Link
JP (1) JP2009211148A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068719A (en) * 2010-09-21 2012-04-05 Fujitsu Ltd Image processing program and image processing device
JP2012185545A (en) * 2011-03-03 2012-09-27 Secom Co Ltd Face image processing device
JP2014126445A (en) * 2012-12-26 2014-07-07 Sharp Corp Alignment device, defect inspection device, alignment method and control program
JP2014199536A (en) * 2013-03-29 2014-10-23 株式会社コナミデジタルエンタテインメント Face model generating device, method for controlling face model generating device, and program
JP2016218729A (en) * 2015-05-20 2016-12-22 キヤノン株式会社 Image processor, image processing method and program
KR102373606B1 (en) * 2021-04-19 2022-03-14 주식회사 쓰리디팩토리 Electronic apparatus and method for image formation, and program stored in computer readable medium performing the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04256185A (en) * 1991-02-08 1992-09-10 Nippon Telegr & Teleph Corp <Ntt> Method for collecting sample picture of picture recognition system
JPH08329278A (en) * 1995-02-02 1996-12-13 Matsushita Electric Ind Co Ltd Picture processor
JP2002183728A (en) * 2000-11-03 2002-06-28 Nec Corp Method for selecting image from plural three- dimensional model most similar to input image
JP2003006645A (en) * 2001-06-20 2003-01-10 Secom Co Ltd Face image collating device for identity authentication
JP2008017169A (en) * 2006-07-06 2008-01-24 Nikon Corp Electronic camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04256185A (en) * 1991-02-08 1992-09-10 Nippon Telegr & Teleph Corp <Ntt> Method for collecting sample picture of picture recognition system
JPH08329278A (en) * 1995-02-02 1996-12-13 Matsushita Electric Ind Co Ltd Picture processor
JP2002183728A (en) * 2000-11-03 2002-06-28 Nec Corp Method for selecting image from plural three- dimensional model most similar to input image
JP2003006645A (en) * 2001-06-20 2003-01-10 Secom Co Ltd Face image collating device for identity authentication
JP2008017169A (en) * 2006-07-06 2008-01-24 Nikon Corp Electronic camera

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068719A (en) * 2010-09-21 2012-04-05 Fujitsu Ltd Image processing program and image processing device
JP2012185545A (en) * 2011-03-03 2012-09-27 Secom Co Ltd Face image processing device
JP2014126445A (en) * 2012-12-26 2014-07-07 Sharp Corp Alignment device, defect inspection device, alignment method and control program
JP2014199536A (en) * 2013-03-29 2014-10-23 株式会社コナミデジタルエンタテインメント Face model generating device, method for controlling face model generating device, and program
JP2016218729A (en) * 2015-05-20 2016-12-22 キヤノン株式会社 Image processor, image processing method and program
KR102373606B1 (en) * 2021-04-19 2022-03-14 주식회사 쓰리디팩토리 Electronic apparatus and method for image formation, and program stored in computer readable medium performing the same

Similar Documents

Publication Publication Date Title
CN106909875B (en) Face type classification method and system
JP4999731B2 (en) Face image processing device
JP4950787B2 (en) Image processing apparatus and method
US7512255B2 (en) Multi-modal face recognition
Wechsler Reliable Face Recognition Methods: System Design, Impementation and Evaluation
JP4284664B2 (en) Three-dimensional shape estimation system and image generation system
US9262671B2 (en) Systems, methods, and software for detecting an object in an image
US7221809B2 (en) Face recognition system and method
JP5751865B2 (en) Face image processing device
US20160232712A1 (en) Method and device for generating a simplified model of a real pair of spectacles
US7672482B2 (en) Shape detection using coherent appearance modeling
JP4696778B2 (en) Authentication apparatus, authentication method, and program
JP2009211148A (en) Face image processor
JP4539494B2 (en) Authentication apparatus, authentication method, and program
JP5419757B2 (en) Face image synthesizer
JP2000357221A (en) Method and device for image processing and recording medium with image processing program recorded
JPWO2009004916A1 (en) Spoofing detection system, spoofing detection method, and spoofing detection program
JP2002024811A (en) Shadow component removing device
JP4814666B2 (en) Face analysis system
WO2023273247A1 (en) Face image processing method and device, computer readable storage medium, terminal
JP5419773B2 (en) Face image synthesizer
JP5419777B2 (en) Face image synthesizer
JP5639499B2 (en) Face image processing device
JP5244345B2 (en) Face recognition device
JP2017122993A (en) Image processor, image processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120522