JP2009031996A - Image collation device - Google Patents

Image collation device Download PDF

Info

Publication number
JP2009031996A
JP2009031996A JP2007194751A JP2007194751A JP2009031996A JP 2009031996 A JP2009031996 A JP 2009031996A JP 2007194751 A JP2007194751 A JP 2007194751A JP 2007194751 A JP2007194751 A JP 2007194751A JP 2009031996 A JP2009031996 A JP 2009031996A
Authority
JP
Japan
Prior art keywords
image
collation
feature point
registered
deformed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007194751A
Other languages
Japanese (ja)
Inventor
Megumi Yamaoka
めぐみ 山岡
Keisuke Hayata
啓介 早田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2007194751A priority Critical patent/JP2009031996A/en
Publication of JP2009031996A publication Critical patent/JP2009031996A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image collation device which collates two deformed images, and outputs a collation result. <P>SOLUTION: This image collation device is provided with: a change amount database for storing the change amount of the position of the featured point of an object shape included in a first image which has changed in the case of deforming the first image by matching the position of the featured point of the object shape included in the first image with the position of the featured point of a reference shape; an image deformation part for deforming a second image by moving the position of the featured point of the object shape included in the second image by using the change amount; and a collation part for collating the deformed first image with the deformed second image, and for outputting the collation result. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、画像に含まれる物体を照合する画像照合装置に関する。   The present invention relates to an image collation device that collates objects included in an image.

従来の画像照合装置としては、顔画像の特徴点が標準的な顔画像の特徴点と一致するように変形された顔画像と、新たに入力された顔画像の特徴点を標準的な顔画像の特徴点と一致するように変形された顔画像との相関値に基づいて個人識別を行うものがあった(例えば、特許文献1参照)。図11は、特許文献1に記載された従来の画像照合装置を示す。   As a conventional image matching device, a face image transformed so that the feature point of the face image matches the feature point of the standard face image, and the feature point of the newly input face image are used as the standard face image. There is one that performs personal identification based on a correlation value with a face image deformed so as to coincide with the feature point (see, for example, Patent Document 1). FIG. 11 shows a conventional image matching apparatus described in Patent Document 1.

図11において、画像入力部1111は、識別対象者の顔画像を取り込む。一次顔正規化部1112は、識別対象者の顔画像を、眼と口の位置が予め指定した位置にくるように正規化する。特徴点抽出部1113は、正規化された顔画像から特徴点の位置情報を抽出する。二次顔正規化部1115は、特徴点抽出部1113で検出された特徴点が標準顔画像特徴点データベース部1114に登録された人間の標準的な顔の特徴点位置にくるように、正規化された顔画像を変形する。画像相関演算部1117は、標準的な顔画像の特徴点と一致するように変形された人物毎の基準顔画像(データベース部1116)と、二次顔正規化部1115で変形された顔画像との相関を求める。また、変位量演算部1121は、特徴点抽出部1113で抽出された位置情報と標準顔の特徴点座標との変位量を演算する。そして、変位量相関演算部1123は、標準顔画像の特徴点に対する人物毎の顔画像の特徴点の変位量と、変位量演算部1121で演算された特徴点の変位量との相関を求める。判断部1118は、画像相関演算部1117と変位量相関演算部1123でそれぞれ演算された2つの相関値に基づき、画像入力部1111から画像が入力された顔の人物を特定していた。
特開平11−161791号公報
In FIG. 11, an image input unit 1111 captures a face image of a person to be identified. The primary face normalization unit 1112 normalizes the face image of the person to be identified so that the positions of the eyes and the mouth are in a predesignated position. The feature point extraction unit 1113 extracts feature point position information from the normalized face image. The secondary face normalization unit 1115 normalizes the feature points detected by the feature point extraction unit 1113 so as to come to the standard human face feature point positions registered in the standard face image feature point database unit 1114. Deform the face image. The image correlation calculation unit 1117 includes a reference face image (database unit 1116) for each person deformed so as to match the feature points of a standard face image, and the face image deformed by the secondary face normalization unit 1115. Find the correlation. Further, the displacement amount calculation unit 1121 calculates a displacement amount between the position information extracted by the feature point extraction unit 1113 and the feature point coordinates of the standard face. Then, the displacement amount correlation calculation unit 1123 obtains a correlation between the displacement amount of the feature point of the face image for each person with respect to the feature point of the standard face image and the displacement amount of the feature point calculated by the displacement amount calculation unit 1121. Based on the two correlation values calculated by the image correlation calculation unit 1117 and the displacement amount correlation calculation unit 1123, the determination unit 1118 specified the face person to whom the image was input from the image input unit 1111.
Japanese Patent Laid-Open No. 11-161791

しかしながら、上記した従来の画像照合装置においては、画像相関演算部1117で演算された顔画像の相関と、変位量相関演算部1123で演算された特徴点位置の変位量の相関は、異なる傾向を持つ相関である。ここで、2つの異なる相関を統合しなければならないという課題を有していた。   However, in the conventional image matching device described above, the correlation between the face image calculated by the image correlation calculation unit 1117 and the correlation between the displacement amount of the feature point position calculated by the displacement amount correlation calculation unit 1123 tend to be different. It has a correlation. Here, there was a problem that two different correlations had to be integrated.

本発明は、かかる点に鑑みてなされたものであり、変形された2つの画像を照合し、照合結果を出力する画像照合装置を提供することを目的とする。   The present invention has been made in view of this point, and an object of the present invention is to provide an image collation apparatus that collates two deformed images and outputs a collation result.

本発明の画像照合装置は、第一の画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記第一の画像を変形する際に変化した前記第一の画像に含まれる物体形状の特徴点の位置の変化量を格納する変化量データベースと、前記変化量を用いて第二の画像に含まれる物体形状の特徴点の位置を移動することにより前記第二の画像を変形する画像変形部と、前記変形された第一の画像と前記変形された第二の画像を照合し、照合結果を出力する照合部と、を具備する構成を採る。   The image collating apparatus according to the present invention changes the first image that is changed when the first image is deformed by matching the position of the feature point of the object shape included in the first image with the position of the feature point of the reference shape. A change amount database for storing a change amount of the position of the feature point of the object shape included in the image, and the position of the feature point of the object shape included in the second image by using the change amount An image deforming unit that deforms the image of the image, and a collation unit that collates the deformed first image with the deformed second image and outputs a collation result.

本発明の画像照合装置は、登録画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記登録画像を変形する際に変化した前記物体形状の特徴点の位置の変化量を格納する変化量データベースと、前記変形された登録画像を変形登録画像として格納する変形登録画像データベースと、画像を照合画像として入力する照合画像入力部と、前記照合画像に含まれる物体形状の特徴点を照合特徴点として検出する照合特徴点検出部と、前記変化量を用いて前記照合特徴点の位置を移動することにより前記照合画像を変形し、変形照合画像を生成する照合画像変形部と、前記変形登録画像と前記変形照合画像を照合し、照合結果を出力する照合部と、を具備する構成を採る。   The image matching apparatus according to the present invention is configured such that the position of the feature point of the object shape changed when the registered image is deformed by matching the position of the feature point of the object shape included in the registered image with the position of the feature point of the reference shape A change amount database that stores a change amount of the image, a deformation registration image database that stores the deformed registered image as a deformation registration image, a collation image input unit that inputs an image as a collation image, and an object included in the collation image A matching feature point detection unit that detects a feature point of a shape as a matching feature point, and a matching image that generates a modified matching image by deforming the matching image by moving the position of the matching feature point using the change amount The configuration includes a deformation unit, and a collation unit that collates the deformation registration image and the deformation collation image and outputs a collation result.

本発明の画像照合装置は、登録画像と、前記登録画像に含まれる物体形状の特徴点の位置を登録特徴点の位置として格納する登録画像データベースと、画像を照合画像として入力する照合画像入力部と、前記照合画像の特徴点を照合特徴点として検出する照合画像特徴点検出部と、基準形状の特徴点の位置を基準特徴点の位置として格納する基準特徴点データベースと、前記照合特徴点の位置を前記基準特徴点の位置に合わせることにより前記照合画像を変形し、変形照合画像を生成し、前記照合特徴点の位置の変化量と前記変形照合画像を出力する照合画像変形部と、前記出力された変化量を格納する変化量データベースと、前記変化量データベースに格納されている変化量を用いて前記登録特徴点の位置を移動することにより前記登録画像を変形し、変形登録画像を生成する登録画像変形部と、前記変形照合画像と前記変形登録画像とを照合し、照合結果を出力する照合部と、を具備する構成を採る。   The image collating apparatus of the present invention includes a registered image, a registered image database that stores the position of the feature point of the object shape included in the registered image as the position of the registered feature point, and a collated image input unit that inputs the image as a collated image A matching image feature point detection unit that detects a feature point of the matching image as a matching feature point, a reference feature point database that stores a position of a feature point of a reference shape as a position of a reference feature point, and A collation image deformation unit that deforms the collation image by matching a position with the position of the reference feature point, generates a deformation collation image, and outputs a change amount of the position of the collation feature point and the deformation collation image; A change amount database for storing the output change amount, and the registered image by moving the position of the registered feature point using the change amount stored in the change amount database. Deformed and a registered image deformation unit configured to generate a modified reference image, the collated deformation collation image and said modified registration image, employs a configuration having a, a collating unit for outputting a verification result.

本発明によれば、変形された2つの画像を照合し、照合結果を出力できる。   According to the present invention, two deformed images can be collated and a collation result can be output.

以下、本実施の形態について、図面を参照しながら説明する。以下、本実施の形態において、照合対象の物体を人の顔として説明する。しかし、本実施の形態は、動物等の物体または人の全身のみならず、動物等の物体または人の手、動物の顔など物体の一部を照合対象として適用することができる。   Hereinafter, the present embodiment will be described with reference to the drawings. Hereinafter, in this embodiment, the object to be collated is described as a human face. However, this embodiment can apply not only an object such as an animal or the whole body of a person but also an object such as an animal or a part of an object such as a human hand or an animal's face as an object to be collated.

(実施の形態1)
図1は、本発明の実施の形態1における画像照合装置の構成を示すブロック図である。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of an image collating apparatus according to Embodiment 1 of the present invention.

図1において、100は照合画像入力部である。照合画像入力部100は、カメラなどを用いて照合用の顔画像(物体形状)を含む画像を照合画像として撮影し、照合画像を出力する。   In FIG. 1, reference numeral 100 denotes a collation image input unit. The collation image input unit 100 captures an image including a collation face image (object shape) as a collation image using a camera or the like, and outputs the collation image.

101は、照合画像入力部100で撮影した画像から顔画像(顔の領域)を検出し、顔画像と照合特徴点を出力する照合画像特徴点検出部である。照合画像特徴点検出部101は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を照合特徴点として検出し、照合特徴点の位置を推定して、顔画像と照合特徴点を出力する。   Reference numeral 101 denotes a collation image feature point detection unit that detects a face image (face area) from an image photographed by the collation image input unit 100 and outputs a face image and a collation feature point. The matching image feature point detection unit 101 detects feature points such as eyebrows, eyebrows, eyes, corners of eyes, both ends of the mouth, points on the contour of the face, and the like as matching feature points. The position is estimated, and the face image and matching feature points are output.

102は、照合画像特徴点検出部101から出力された顔画像と照合特徴点の位置を入力し、各照合特徴点を予め指定された位置に合わせることにより顔画像を変形し、変形後の顔画像を変形照合画像として出力する照合画像変形部である。   102, the face image output from the matching image feature point detection unit 101 and the position of the matching feature point are input, and the face image is deformed by matching each matching feature point with a predesignated position. It is a collation image deformation | transformation part which outputs an image as a deformation | transformation collation image.

103は、照合画像変形部102が出力する変形照合画像と、変形登録画像データベース104に予め登録されている変形登録画像とを照合する照合部である。   Reference numeral 103 denotes a collation unit that collates the deformation collation image output from the collation image deformation unit 102 and the deformation registration image registered in advance in the deformation registration image database 104.

104は、カメラなどで撮影される画像又は撮影済みの画像である登録画像に含まれる顔画像の特徴点の位置を基準的な顔画像(基準形状)の特徴点の位置に合わせることにより、変形された登録画像を格納する変形登録画像データベースである。   104 is modified by matching the position of the feature point of the face image included in the registered image, which is an image photographed with a camera or the like, or the photographed image, with the position of the feature point of the standard face image (reference shape). 10 is a modified registered image database for storing registered images.

105は、登録画像(第一の画像)に含まれる顔画像の特徴点の位置を基準的な顔画像(基準形状)の特徴点の位置に合わせることにより登録画像を変形する際に変化した登録画像に含まれる顔画像の特徴点の位置の変化量(移動量)を格納する変化量データベースである。   Reference numeral 105 denotes a registration that has changed when the registered image is deformed by matching the position of the feature point of the face image included in the registered image (first image) with the position of the feature point of the reference face image (reference shape). It is a change amount database that stores a change amount (movement amount) of a feature point position of a face image included in an image.

かかる構成において、照合画像入力部100は、顔画像を含む画像を照合画像として撮影する。照合画像特徴点検出部101は、照合画像に含まれる顔の領域を検出し、図2に示すような眉頭・眉尻・目頭・目尻・鼻頭・口の左右端・口の上下端・顔の輪郭上の点といった照合特徴点を検出する。   In such a configuration, the collation image input unit 100 captures an image including a face image as a collation image. The collation image feature point detection unit 101 detects a face area included in the collation image, and the eyebrows, eyebrows, eyes, corners, nose, left and right ends of the mouth, upper and lower ends of the mouth, and face Matching feature points such as points on the contour are detected.

ここで、撮影時において顔の領域の検出を容易にするために、図3に示すように、撮影時に矩形領域を表示し、その矩形領域に顔が納まるようユーザに撮影時の注意を促してもよい。また、テンプレートマッチングやブースティング(boosting)などの手法を用いて、顔の領域を自動的に検出するようにしてもよい。   Here, in order to facilitate the detection of the face area at the time of shooting, as shown in FIG. 3, a rectangular area is displayed at the time of shooting, and the user is cautioned at the time of shooting so that the face fits in the rectangular area. Also good. Further, a face region may be automatically detected using a method such as template matching or boosting.

顔の領域から画像面内の特徴点の座標を検出する際は、テンプレートマッチングやエッジに基づいて眉領域、目領域、口領などを検出してもよいし、Active Shape ModelsやActive Appearance Modelsなど予め顔のモデルを作成し、モデルとのマッチングにより特徴点位置を検出する手法を用いてもよい。   When detecting the coordinates of feature points in the image area from the face area, you may detect eyebrow area, eye area, mouth area, etc. based on template matching and edges, Active Shape Models, Active Appearance Models, etc. A method of creating a face model in advance and detecting the feature point position by matching with the model may be used.

顔の領域から画像面内の特徴点の座標と顔の凹凸を表す奥行き方向の位置を検出する際は、Active Shape ModelsやActive Appearance ModelsやBundle adjustmentといった手法を用いるとよい。   When detecting the coordinates of feature points in the image plane and the position in the depth direction representing the unevenness of the face from the face area, it is preferable to use a method such as Active Shape Models, Active Appearance Models, or Bundle adjustment.

図4は、正面に向いた顔の登録画像を平均顔のような基準的な顔形状に変形させた際の各特徴点の位置の変化量を示す図である。変化量データベース105は、登録対象人物毎の変化量を予め格納している。照合画像変形部102は、これらの変化量(一組の変化量)を用いて、検出された照合特徴点の位置を移動することにより、入力した照合用の照合画像全体を変形し、変形照合画像を生成する。   FIG. 4 is a diagram illustrating the amount of change in the position of each feature point when a registered image of a face facing the front is transformed into a standard face shape such as an average face. The change amount database 105 stores a change amount for each person to be registered in advance. The matching image deformation unit 102 uses the amount of change (a set of changes) to move the position of the detected matching feature point, thereby deforming the entire matching image for matching, and deforming matching. Generate an image.

図4において、x、y座標は画像面に平行な平面上の座標であり、z座標は画像面に垂直な座標、つまり、顔の奥行き方向の顔の凹凸を表す座標を示す。図4では座標を三次元座標にしているが、x、y座標のみの二次元座標でもよい。二次元座標の場合、照合画像変形部102は、画像平面内での照合特徴点の位置を移動して照合画像を変形する。三次元座標の場合、照合画像変形部102は、顔の立体形状を考慮した照合特徴点の位置を移動し、照合画像を変形する。二次元座標の場合は、三次元座標に比べて比較的処理量が少なく、且つ、高速な位置合わせが可能となる。三次元座標の場合は、顔の凹凸を考慮した正確な位置合わせが可能となる。   In FIG. 4, x and y coordinates are coordinates on a plane parallel to the image plane, and z coordinates are coordinates perpendicular to the image plane, that is, coordinates representing the unevenness of the face in the depth direction of the face. In FIG. 4, the coordinates are three-dimensional coordinates, but two-dimensional coordinates including only x and y coordinates may be used. In the case of two-dimensional coordinates, the matching image deformation unit 102 moves the position of the matching feature point in the image plane to deform the matching image. In the case of three-dimensional coordinates, the collation image deformation unit 102 moves the position of the collation feature point in consideration of the three-dimensional shape of the face, and deforms the collation image. In the case of two-dimensional coordinates, the amount of processing is relatively small compared to three-dimensional coordinates, and high-speed alignment is possible. In the case of three-dimensional coordinates, it is possible to perform accurate positioning considering the unevenness of the face.

照合画像変形部102で行う画像の変形について、更に具体的に説明する。まず、照合画像変形部102は、変化量データベース105に格納されている各変化量を照合画像特徴点検出部101で検出した各照合特徴点の座標に加算し、変形後の特徴点の位置を求め、照合画像全体を変形する。特徴点の座標が三次元座標の場合は、照合画像変形部102は、三次元座標を画像面に射影し、画像面内における二次元座標を求める。照合画像変形部102は、ここで求めた座標位置に変形前の特徴点の位置の画素値を与える。   The image deformation performed by the collation image deformation unit 102 will be described more specifically. First, the collation image deformation unit 102 adds each change amount stored in the change amount database 105 to the coordinates of each collation feature point detected by the collation image feature point detection unit 101, and determines the position of the feature point after deformation. The entire collation image is deformed. When the coordinates of the feature points are three-dimensional coordinates, the collation image deformation unit 102 projects the three-dimensional coordinates onto the image surface and obtains the two-dimensional coordinates in the image surface. The collation image deformation unit 102 gives the pixel value of the position of the feature point before deformation to the coordinate position obtained here.

<画像の濃淡パターンの比較>
次に、変形登録画像の濃淡パターンと変形照合画像の濃淡パターンとを比較することにより、顔画像の照合を行う例について説明する。
<Comparison of light and shade patterns of image>
Next, an example in which face image matching is performed by comparing the shading pattern of the deformation registered image and the shading pattern of the deformation matching image will be described.

顔画像の濃淡パターンは、3つの特徴点で囲まれる領域の画素値を顔領域全体で求めることにより得られる。   The shading pattern of the face image is obtained by obtaining the pixel value of the area surrounded by the three feature points over the entire face area.

例えば、照合画像変形部102は、図5に示すように、3つの特徴点を繋ぐ3角形領域ごとに画素値の合計を求める。図5は、照合画像変形部102で変形後の顔の形状を示している。具体的に、図5の三角形abcについて説明する。頂点a,b,cの座標をそれぞれ(x,y),(x,y),(x,y)とすると、三角形abc内の任意の座標は(x,y)は、(x,y),(x,y),(x,y)を用いて、次の2式のように表すことができる。
(x,y)=α(x,y)+β(x,y)+γ(x,y) (式1)
α+β+γ=1 (式2)
変形後の特徴点の座標は、この2式を満たすα、β、γを用いて求められる。
For example, as shown in FIG. 5, the collation image deformation unit 102 obtains the sum of pixel values for each triangular region that connects three feature points. FIG. 5 shows the shape of the face after deformation by the collation image deformation unit 102. Specifically, the triangle abc in FIG. 5 will be described. If the coordinates of the vertices a, b, and c are (x a , y a ), (x b , y b ), and (x c , y c ), the arbitrary coordinates in the triangle abc are (x, y) , (X a , y a ), (x b , y b ), and (x c , y c ) can be expressed as the following two equations.
(X, y) = α ( x a, y a) + β (x b, y b) + γ (x c, y c) ( Equation 1)
α + β + γ = 1 (Formula 2)
The coordinates of the feature points after deformation are obtained using α, β, and γ that satisfy these two expressions.

次に、変形前の特徴点の座標をα、β、γを用いて求める。変形前の頂点a,b,cの座標をそれぞれ(x',y'),(x',y'),(x',y')とし、変形前の三角形abc内の任意の座標を(x',y')とすると、次の式のように表すことができる。
(x',y')=α(x',y')+β(x',y')+γ(x',y') (式3)
α+β+γ=1 (式2)
このとき、変形後の座標(x,y)の画素値を変形前の(x',y')の画素値とする。
Next, the coordinates of the feature points before deformation are obtained using α, β, and γ. The coordinates of the vertices a, b, and c before transformation are (x ′ a , y ′ a ), (x ′ b , y ′ b ), and (x ′ c , y ′ c ), respectively, and inside the triangle abc before transformation If any coordinate of is (x ′, y ′), it can be expressed as follows.
(X ′, y ′) = α (x ′ a , y ′ a ) + β (x ′ b , y ′ b ) + γ (x ′ c , y ′ c ) (Formula 3)
α + β + γ = 1 (Formula 2)
At this time, the pixel value of the coordinate (x, y) after deformation is set as the pixel value of (x ′, y ′) before deformation.

以上のようにして照合画像変形部102で照合用の変形照合画像が生成されると、照合部103は、変形登録画像データベース104に格納されている変形登録画像と、変形照合画像とを照合する。これにより、照合する物体の幾何学的形状特徴を反映した変形を照合画像に施して、2つの画像を照合することができる。ここで、照合の手法はパターンマッチングにおける任意の手法でよい。例えば、照合部103は、2つの画像の濃淡パターンの類似度を照合し、顔画像が同一人物であるか否かを判定する。具体的には、2つの画像間で、同じ画素位置にある濃淡値の類似度を照合する。ここで、類似度の算出方法としては、一つの画像の濃淡値の並びをラスタスキャン順に一列に並べて一つのベクトルを作り、2つの画像間の類似度を、2つのベクトルの相関値で判定する方法などがある。   When the modified collation image for collation is generated in the collation image deformation unit 102 as described above, the collation unit 103 collates the deformation registration image stored in the deformation registration image database 104 with the deformation collation image. . As a result, the two images can be verified by applying a deformation reflecting the geometric shape characteristics of the object to be verified to the verification image. Here, the matching method may be any method in pattern matching. For example, the collation unit 103 collates the similarity between the light and shade patterns of two images, and determines whether the face images are the same person. Specifically, the similarity of the gray value at the same pixel position is collated between two images. Here, as a method for calculating the similarity, one vector is formed by arranging the grayscale values of one image in a line in the raster scan order, and the similarity between the two images is determined by the correlation value of the two vectors. There are methods.

ここで、変形登録画像は、上述の手法で登録画像を基準的な顔の形状に変形させた画像である。基準的な顔の形状は、任意の顔の形状を用いてよいが、平均的な顔の形状を用いてもよい。以上により、登録画像の顔画像を基準形状に変換するときに求められる変化量(Δ)を照合画像に施すことで、図6に示すように、照合画像が登録画像と同一人物の顔であれば基準形状の顔の形状に類似した変形照合画像となる。また、図6に示すように、照合画像が登録画像と異なる人物(Aさん)の顔、つまり、照合画像が登録画像(Bさんの画像)の顔と異なる形状の顔であれば、変形量Δ2で照合画像を変形すると基準形状とは異なる形状の顔の照合画像となる。これにより、照合部103は、変形登録画像と変形照合画像とについて、画像の濃淡パターン特徴の照合と顔の形状特徴の照合とを行う。図6に示す例では、照合部103は、照合画像がAさんであるか又はBさんであるかを照合する。そして、照合部103は、照合画像がAさんであること示す信号を結果として出力する。   Here, the deformation registration image is an image obtained by deforming the registration image into a standard face shape by the above-described method. As the standard face shape, an arbitrary face shape may be used, but an average face shape may be used. As described above, the amount of change (Δ) required when the face image of the registered image is converted into the reference shape is applied to the collated image, so that the collated image can be the face of the same person as the registered image as shown in FIG. For example, a deformation matching image similar to the face shape of the reference shape is obtained. Also, as shown in FIG. 6, if the collation image is a face of a person (Mr. A) different from the registered image, that is, the collation image is a face different in shape from the face of the registration image (Mr. B), the amount of deformation When the collation image is deformed by Δ2, a face collation image having a shape different from the reference shape is obtained. Thus, the matching unit 103 performs matching of the shading pattern feature of the image and matching of the shape feature of the face with respect to the deformation registered image and the deformation matching image. In the example illustrated in FIG. 6, the collation unit 103 collates whether the collation image is Mr. A or Mr. B. And the collation part 103 outputs the signal which shows that a collation image is Mr. A as a result.

一般的に、笑顔の時は、口元が上がる傾向がある。図6に示す照合画像は、Aさんの普通の顔の登録画像と比べて、口元の形状に差分(変化)が現れる。また、表情に変化がない時は口に差分はでない。そのため、変形登録画像と変形照合画像を照合する場合は、口元の形状を除いた他の形状を比較し、変形登録画像と変形照合画像を照合することで、照合精度が向上する。   Generally, when you smile, your mouth tends to go up. The comparison image shown in FIG. 6 shows a difference (change) in the shape of the mouth compared to the registered image of Mr. A's normal face. Also, when there is no change in facial expression, there is no difference in the mouth. Therefore, when collating the deformation registration image and the deformation collation image, the collation accuracy is improved by comparing other shapes excluding the shape of the mouth and collating the deformation registration image and the deformation collation image.

ここで、変形登録画像に含まれる顔の形状と基準形状とは同じ形になるが、本実施の形態では、変形登録画像と変形照合画像の画像間の濃淡パターンの照合を行うため、変形登録画像データベース104には、複数の登録対象者用の複数の変形登録画像を格納する必要がある。   Here, the face shape and the reference shape included in the deformation registration image are the same, but in the present embodiment, the shading pattern matching between the deformation registration image and the deformation collation image is performed. The image database 104 needs to store a plurality of modified registration images for a plurality of registration subjects.

そして、照合画像変形部102は、各変形登録画像に対応する変化量を用いて1つの照合画像を複数の登録画像について変形する。照合部103は、変形登録画像と、この変形登録画像に対応する変化量を用いて変形された1つの変形照合画像とを照合し、顔画像の照合結果を出力する。出力結果をディスプレイに表示したり、出力結果を音声で通知したり、又は出力結果を他の照合処理に利用してもよい。   Then, the collation image deformation unit 102 deforms one collation image with respect to a plurality of registration images using the change amount corresponding to each deformation registration image. The collation unit 103 collates the deformation registration image with one deformation collation image deformed using the change amount corresponding to the deformation registration image, and outputs a face image collation result. The output result may be displayed on the display, the output result may be notified by voice, or the output result may be used for other collation processing.

図7は、照合画像が特定の人であるか否かを照合する例を説明する図である。図7に示す例では、照合画像がBさんであるか否かを照合する。照合画像変形部102は、照合画像をBさんの変化量Δ2で変形する。照合部103は、Bさんの変形登録画像と変形照合画像の画像とについて、画像の濃淡パターン特徴の照合および顔の形状特徴の照合を行う。照合部103は、照合結果として、Bさんでないことを示す信号を出力する。   FIG. 7 is a diagram for explaining an example of collating whether or not the collation image is a specific person. In the example shown in FIG. 7, it is collated whether or not the collation image is Mr. B. The collation image deformation unit 102 deforms the collation image with the change amount Δ2 of Mr. B. The collation unit 103 collates the shade pattern feature of the image and the facial shape feature of the deformation registration image of Mr. B and the image of the deformation collation image. The collation unit 103 outputs a signal indicating that it is not Mr. B as the collation result.

上述のように、本実施の形態では、照合する2つの物体画像に関する濃淡パターンの相関と、特徴点位置の相関という異なる傾向を持つ相関を統合した変形登録画像および変形照合画像を照合することで、照合結果を出力することができる。   As described above, in the present embodiment, by comparing the deformation registered image and the deformation matching image, which integrate the correlations of the light and shade patterns related to the two object images to be compared with the correlations having different tendencies of the feature point positions. The collation result can be output.

(変形例)
なお、本実施の形態において、登録画像を基準形状に変形し照合画像を登録画像の変形量(Δ)を用いて変形した。これに限らず、照合画像を基準形状に変形した際に求められる変化量(Δ’)を用いて登録画像を変形し、照合してもよい。また、本実施の形態では、照合時について述べたが、学習時にも同様の変形を行うようにしてもよい。
(Modification)
In the present embodiment, the registered image is transformed into a reference shape, and the collation image is transformed using the deformation amount (Δ) of the registered image. However, the present invention is not limited to this, and the registered image may be deformed and collated using the amount of change (Δ ′) obtained when the collated image is transformed into the reference shape. Further, in the present embodiment, the case of collation has been described, but the same modification may be performed at the time of learning.

(実施の形態2)
図8は、本発明の実施の形態2における画像照合装置のブロック図である。本実施の形態では、実施の形態1の構成に、登録画像入力部110、登録画像特徴点検出部111、登録画像変形部112、および基準特徴点データベース113が新たな構成として追加されている。他の構成は、実施の形態1の構成と同様であるため、その説明を省略する。
(Embodiment 2)
FIG. 8 is a block diagram of an image collating apparatus according to Embodiment 2 of the present invention. In the present embodiment, a registered image input unit 110, a registered image feature point detection unit 111, a registered image deformation unit 112, and a reference feature point database 113 are added as new configurations to the configuration of the first embodiment. Other configurations are the same as those of the first embodiment, and thus the description thereof is omitted.

登録画像入力部110は、カメラなどを用いて登録用の顔画像(物体形状)を含む画像を登録画像として撮影し、登録画像を出力する。   The registered image input unit 110 captures an image including a registration face image (object shape) as a registered image using a camera or the like, and outputs the registered image.

登録画像特徴点検出部111は、登録画像入力部110で撮影した画像から顔画像(顔の領域)を検出し、登録画像としての顔画像と登録特徴点を出力する。登録画像特徴点検出部111は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を登録特徴点として検出し、登録特徴点の位置を推定して、登録画像と登録特徴点を登録画像変形部112に出力する。   The registered image feature point detection unit 111 detects a face image (face region) from the image captured by the registered image input unit 110, and outputs a face image as a registered image and a registered feature point. The registered image feature point detection unit 111 detects, as registered feature points, feature points such as the eyebrows, the eyebrows, the eyes, the corners of the eyes, the ends of the mouth, and the points on the contour of the face from the face image. The position is estimated, and the registered image and registered feature points are output to the registered image transformation unit 112.

登録画像変形部112は、登録画像特徴点検出部111から出力された登録画像と登録特徴点の位置を入力し、各登録特徴点を予め指定された基準特徴点の位置に合わせることにより登録画像を変形して変形登録画像を生成する。登録画像変形部112は、登録特徴点の位置の変化量を変化量データベースに105格納し、変形登録画像を変形登録画像データベース104に格納する。   The registered image transformation unit 112 receives the registered image output from the registered image feature point detection unit 111 and the position of the registered feature point, and matches each registered feature point with the position of the reference feature point specified in advance. Is used to generate a deformation registration image. The registered image deformation unit 112 stores the change amount of the position of the registered feature point in the change amount database 105, and stores the deformation registered image in the deformation registered image database 104.

基準特徴点データベース113は、基準形状の特徴点の位置を基準特徴点の位置として格納する。   The reference feature point database 113 stores the position of the feature point of the reference shape as the position of the reference feature point.

本実施の形態によれば、照合対象者の登録特徴点の位置の変化量を変化量データベースに105格納し、変形登録画像を変形登録画像データベース104に新たに登録することができる。   According to the present embodiment, the change amount of the position of the registered feature point of the person to be collated can be stored in the change amount database 105, and the deformation registration image can be newly registered in the deformation registration image database 104.

(実施の形態3)
図9は、本発明の実施の形態3における画像照合装置のブロック図である。実施の形態1では、登録特徴点の位置の変化量を用いて照合特徴点の位置を移動することにより照合画像を変形する例を説明した。本実施の形態では、照合特徴点の位置の変化量を用いて登録特徴点の位置を移動することにより照合画像を変形する例を説明する。
(Embodiment 3)
FIG. 9 is a block diagram of an image collating apparatus according to Embodiment 3 of the present invention. In the first embodiment, the example in which the collation image is deformed by moving the position of the collation feature point using the change amount of the position of the registered feature point has been described. In the present embodiment, an example will be described in which the collation image is deformed by moving the position of the registered feature point using the amount of change in the position of the collation feature point.

照合画像入力部100は、カメラなどを用いて照合用の顔画像(物体形状)を含む画像を照合画像として撮影し、照合画像を出力する。   The collation image input unit 100 captures an image including a collation face image (object shape) as a collation image using a camera or the like, and outputs the collation image.

照合画像特徴点検出部101は、照合画像入力部100で撮影した画像から顔画像(顔の領域)を検出し、照合画像としての顔画像と照合特徴点を出力する。照合画像特徴点検出部101は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を照合特徴点として検出し、照合特徴点の位置を推定して、照合画像と照合特徴点を出力する。   The collation image feature point detection unit 101 detects a face image (face region) from the image captured by the collation image input unit 100, and outputs a face image as a collation image and a collation feature point. The matching image feature point detection unit 101 detects feature points such as eyebrows, eyebrows, eyes, corners of eyes, both ends of the mouth, points on the contour of the face, and the like as matching feature points. A position is estimated and a collation image and a collation feature point are output.

照合画像変形部102は、照合画像特徴点検出部101から出力された照合画像と照合特徴点の位置を入力し、各照合特徴点を予め指定された基準特徴点の位置に合わせることにより照合画像を変形して変形照合画像を生成する。照合画像変形部102は、照合特徴点の位置の変化量を変化量データベースに105格納し、変形照合画像を照合部103に出力する。   The collation image deformation unit 102 receives the collation image output from the collation image feature point detection unit 101 and the position of the collation feature point, and matches each collation feature point to the position of the reference feature point designated in advance. Is deformed to generate a modified collation image. The collation image deformation unit 102 stores the amount of change in the position of the collation feature point in the change amount database 105 and outputs the deformation collation image to the collation unit 103.

基準特徴点データベース113は、基準形状の特徴点の位置を基準特徴点の位置として格納する。   The reference feature point database 113 stores the position of the feature point of the reference shape as the position of the reference feature point.

登録画像データベース114は、登録画像と登録画像特徴点を予め格納する。   The registered image database 114 stores registered images and registered image feature points in advance.

登録画像変形部112は、登録画像データベース114から出力された登録画像と登録特徴点の位置を入力し、変化量データベース105に格納された変化量を用いて各登録特徴点の位置を移動することにより登録画像を変形し、変形登録画像を生成し、変形登録画像を照合部103に出力する。   The registered image transformation unit 112 inputs the registered image output from the registered image database 114 and the position of the registered feature point, and moves the position of each registered feature point using the change amount stored in the change amount database 105. Then, the registered image is deformed, a deformed registered image is generated, and the deformed registered image is output to the matching unit 103.

照合部103は、変形照合画像と変形登録画像とを照合し、照合結果を出力する。   The collation unit 103 collates the deformation collation image and the deformation registration image, and outputs a collation result.

本実施の形態によれば、照合対象者の照合特徴点の位置の変化量を変化量データベース105に格納するだけで、複数の変形登録画像と変形照合画像を照合できる。   According to the present embodiment, it is possible to collate a plurality of deformation registered images and deformation collation images only by storing the amount of change of the collation feature point position of the collation target person in the change amount database 105.

(実施の形態4)
図10は、本発明の実施の形態4における画像照合装置のブロック図である。本実施の形態では、実施の形態3の構成に、登録画像入力部110、登録画像特徴点検出部111が新たな構成として追加されている。他の構成は、実施の形態3の構成と同様であるため、その説明を省略する。
(Embodiment 4)
FIG. 10 is a block diagram of an image collating apparatus according to Embodiment 4 of the present invention. In the present embodiment, a registered image input unit 110 and a registered image feature point detection unit 111 are added to the configuration of the third embodiment as new configurations. Other configurations are the same as the configurations of the third embodiment, and thus the description thereof is omitted.

登録画像入力部110は、カメラなどを用いて登録用の顔画像(物体形状)を含む画像を登録画像として撮影し、登録画像を出力する。   The registered image input unit 110 captures an image including a registration face image (object shape) as a registered image using a camera or the like, and outputs the registered image.

登録画像特徴点検出部111は、登録画像入力部110で撮影した画像から顔画像(顔の領域)を検出し、登録画像としての顔画像と登録特徴点を出力する。登録画像特徴点検出部111は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を登録特徴点として検出し、登録特徴点の位置を推定して、登録画像と登録特徴点を登録画像データベース114に出力する。   The registered image feature point detection unit 111 detects a face image (face region) from the image captured by the registered image input unit 110, and outputs a face image as a registered image and a registered feature point. The registered image feature point detection unit 111 detects, as registered feature points, feature points such as the eyebrows, the eyebrows, the eyes, the corners of the eyes, the ends of the mouth, and the points on the contour of the face from the face image. The position is estimated, and the registered image and registered feature points are output to the registered image database 114.

登録画像データベース114は、登録画像特徴点検出部111から出力された登録画像と登録画像特徴点を格納する。   The registered image database 114 stores registered images and registered image feature points output from the registered image feature point detection unit 111.

本実施の形態によれば、照合対象者の登録画像と登録画像特徴点を登録画像データベース114に新たに登録することができる。   According to the present embodiment, the registered image and registered image feature points of the person to be collated can be newly registered in the registered image database 114.

本発明に係る画像照合装置は、形状と濃淡パターンの変化の少ない任意の物体の照合に適用可能であり、任意の物体照合に応用できる。   The image matching apparatus according to the present invention can be applied to matching any object with little change in shape and shading pattern, and can be applied to any object matching.

本発明の実施の形態1における画像照合装置のブロック図1 is a block diagram of an image matching device according to Embodiment 1 of the present invention. 本発明の実施の形態1における画像照合装置で検出する特徴点の一例を表す図The figure showing an example of the feature point detected with the image collation apparatus in Embodiment 1 of this invention. 本発明の実施の形態1における画像照合装置での撮影時のディスプレイの一例を表す図The figure showing an example of the display at the time of imaging | photography with the image collation apparatus in Embodiment 1 of this invention. 本発明の実施の形態1における画像照合装置で登録画像の特徴点の変化量の一例を表す図The figure showing an example of the variation | change_quantity of the feature point of a registration image with the image collation apparatus in Embodiment 1 of this invention. 本発明の実施の形態1における画像照合装置で顔を変形する際の領域分割の一例を表す図The figure showing an example of the area | region division at the time of deform | transforming a face with the image collation apparatus in Embodiment 1 of this invention. 本発明の実施の形態1における画像照合装置の照合例1を表す図The figure showing the collation example 1 of the image collation apparatus in Embodiment 1 of this invention. 本発明の実施の形態1における画像照合装置の照合例2を表す図The figure showing the collation example 2 of the image collation apparatus in Embodiment 1 of this invention. 本発明の実施の形態2における画像照合装置のブロック図The block diagram of the image collation apparatus in Embodiment 2 of this invention 本発明の実施の形態3における画像照合装置のブロック図The block diagram of the image collation apparatus in Embodiment 3 of this invention 本発明の実施の形態4における画像照合装置のブロック図The block diagram of the image collation apparatus in Embodiment 4 of this invention 従来の画像照合装置のブロック図Block diagram of a conventional image matching device

符号の説明Explanation of symbols

100 照合画像入力部
101 照合画像特徴点検出部
102 照合画像変形部
103 照合部
104 変形登録画像データベース
105 変化量データベース
110 登録画像入力部
111 登録画像特徴点検出部
112 登録画像変形部
113 基準特徴点データベース
114 登録画像データベース
DESCRIPTION OF SYMBOLS 100 Collation image input part 101 Collation image feature point detection part 102 Collation image deformation | transformation part 103 Collation part 104 Deformation registration image database 105 Change amount database 110 Registration image input part 111 Registration image feature point detection part 112 Registration image deformation | transformation part 113 Reference | standard feature point Database 114 Registered image database

Claims (17)

第一の画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記第一の画像を変形する際に変化した前記第一の画像に含まれる物体形状の特徴点の位置の変化量を格納する変化量データベースと、
前記変化量を用いて第二の画像に含まれる物体形状の特徴点の位置を移動することにより前記第二の画像を変形する画像変形部と、
前記変形された第一の画像と前記変形された第二の画像を照合し、照合結果を出力する照合部と、
を具備する画像照合装置。
The feature of the object shape included in the first image changed when the first image is deformed by matching the position of the feature point of the object shape included in the first image with the position of the feature point of the reference shape A change amount database for storing the change amount of the point position;
An image deformation unit that deforms the second image by moving the position of the feature point of the object shape included in the second image using the change amount;
A collation unit that collates the deformed first image and the deformed second image and outputs a collation result;
An image collating apparatus comprising:
前記特徴点の位置は、画像中の二次元座標である、
請求項1記載の画像照合装置。
The position of the feature point is a two-dimensional coordinate in the image.
The image collating apparatus according to claim 1.
前記特徴点の位置は、物体上の三次元座標である、
請求項1記載の画像照合装置。
The position of the feature point is a three-dimensional coordinate on the object,
The image collating apparatus according to claim 1.
前記照合部は、前記変形された第一の画像の物体形状と前記変形された第二の画像の物体形状とを照合し、照合結果を出力する、
請求項1から請求項3のいずれかに記載の画像照合装置。
The collation unit collates the object shape of the deformed first image with the object shape of the deformed second image, and outputs a collation result.
The image collating apparatus according to claim 1.
前記照合部は、前記変形された第一の画像の濃淡パターンと前記変形された第二の画像の濃淡パターンとを照合し、照合結果を出力する、
請求項1から請求項4のいずれかに記載の画像照合装置。
The collation unit collates the shade pattern of the deformed first image with the shade pattern of the deformed second image, and outputs a collation result.
The image collation apparatus in any one of Claims 1-4.
前記第一の画像は、1つまたは複数の登録画像であり、
前記第二の画像は、1つの照合画像であり、
前記変化量データベースは、複数の登録画像に対応する複数の変化量を格納する、
請求項1から請求項5のいずれかに記載の画像照合装置。
The first image is one or more registered images;
The second image is one collation image,
The change amount database stores a plurality of change amounts corresponding to a plurality of registered images.
The image collation apparatus according to claim 1.
前記画像変形部は、前記変形された各登録画像に対応する各変化量を用いて1つの照合画像を変形し、
前記照合部は、前記変形された登録画像と、前記変形された登録画像に対応する変化量を用いて変形された1つの照合画像とを照合し、照合結果を出力する、
請求項6記載の画像照合装置。
The image deformation unit deforms one collation image using each change amount corresponding to each deformed registered image,
The collation unit collates the deformed registered image with one collation image deformed using a change amount corresponding to the deformed registered image, and outputs a collation result.
The image collating apparatus according to claim 6.
前記複数の変化量のうち特定の登録画像に対応する1組の変化量を指定する指定手段、を更に具備し、
前記画像変形部は、前記特定の登録画像に対応する変化量を用いて1つの照合画像を変形し、
前記照合部は、前記変形された特定の登録画像と、前記変形された特定の登録画像に対応する変化量を用いて変形された1つの照合画像とを照合し、照合結果を出力する、
請求項6記載の画像照合装置。
A specifying means for specifying a set of change amounts corresponding to a specific registered image among the plurality of change amounts;
The image deformation unit deforms one collation image using a change amount corresponding to the specific registered image,
The collation unit collates the deformed specific registration image with one collation image deformed using a change amount corresponding to the deformed specific registration image, and outputs a collation result.
The image collating apparatus according to claim 6.
前記第一の画像は、1つの照合画像であり、
前記第二の画像は、1つまたは複数の登録画像であり、
前記変化量データベースは、1つの照合画像に対応する変化量を格納し、
前記画像変形部は、前記1つの照合画像に対応する変化量を用いて各登録画像を変形し、
前記照合部は、前記変形された各登録画像と前記変形された1つの照合画像とを照合し、照合結果を出力する、
請求項1記載の画像照合装置。
The first image is one collation image;
The second image is one or more registered images;
The change amount database stores a change amount corresponding to one collation image,
The image deformation unit deforms each registered image using a change amount corresponding to the one collation image,
The collation unit collates each deformed registered image and the one collated image, and outputs a collation result.
The image collating apparatus according to claim 1.
登録画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記登録画像を変形する際に変化した前記物体形状の特徴点の位置の変化量を格納する変化量データベースと、
前記変形された登録画像を変形登録画像として格納する変形登録画像データベースと、
画像を照合画像として入力する照合画像入力部と、
前記照合画像に含まれる物体形状の特徴点を照合特徴点として検出する照合特徴点検出部と、
前記変化量を用いて前記照合特徴点の位置を移動することにより前記照合画像を変形し、変形照合画像を生成する照合画像変形部と、
前記変形登録画像と前記変形照合画像を照合し、照合結果を出力する照合部と、
を具備する画像照合装置。
The amount of change for storing the amount of change in the position of the feature point of the object shape changed when the registered image is deformed by matching the position of the feature point of the object shape included in the registered image with the position of the feature point of the reference shape A database,
A modified registered image database for storing the modified registered image as a modified registered image;
A collation image input unit for inputting an image as a collation image;
A matching feature point detection unit that detects a feature point of an object shape included in the matching image as a matching feature point;
A collation image deformation unit that deforms the collation image by moving the position of the collation feature point using the change amount, and generates a deformation collation image;
A collation unit that collates the deformation registration image and the deformation collation image and outputs a collation result;
An image collating apparatus comprising:
前記特徴点の位置は、画像中の二次元座標である、
請求項10記載の画像照合装置。
The position of the feature point is a two-dimensional coordinate in the image.
The image collating apparatus according to claim 10.
前記特徴点の位置は、物体上の三次元座標である、
請求項10記載の画像照合装置。
The position of the feature point is a three-dimensional coordinate on the object,
The image collating apparatus according to claim 10.
前記登録画像を入力する登録画像入力部と、
前記登録画像に含まれる物体形状の特徴点を登録特徴点として検出する登録画像特徴点検出部と、
前記登録特徴点の位置を基準形状の特徴点の位置に合わせることにより前記登録画像を変形して前記変形登録画像を生成し、前記登録特徴点の位置の変化量を前記変化量データベースに格納し、前記変形登録画像を前記変形画像データベースに格納する登録画像変形部と、
基準形状の特徴点の位置を基準特徴点の位置として格納する基準特徴点データベースと、
を更に具備する請求項10から請求項12のいずれかに記載の画像照合装置。
A registered image input unit for inputting the registered image;
A registered image feature point detection unit that detects a feature point of an object shape included in the registered image as a registered feature point;
The registered image is deformed by matching the position of the registered feature point with the position of the feature point of the reference shape to generate the deformed registered image, and the change amount of the position of the registered feature point is stored in the change amount database. A registered image deformation unit for storing the deformation registered image in the deformed image database;
A reference feature point database for storing the position of the feature point of the reference shape as the position of the reference feature point;
The image collating apparatus according to claim 10, further comprising:
登録画像と、前記登録画像に含まれる物体形状の特徴点の位置を登録特徴点の位置として格納する登録画像データベースと、
画像を照合画像として入力する照合画像入力部と、
前記照合画像の特徴点を照合特徴点として検出する照合画像特徴点検出部と、
基準形状の特徴点の位置を基準特徴点の位置として格納する基準特徴点データベースと、
前記照合特徴点の位置を前記基準特徴点の位置に合わせることにより前記照合画像を変形し、変形照合画像を生成し、前記照合特徴点の位置の変化量と前記変形照合画像を出力する照合画像変形部と、
前記出力された変化量を格納する変化量データベースと、
前記変化量データベースに格納されている変化量を用いて前記登録特徴点の位置を移動することにより前記登録画像を変形し、変形登録画像を生成する登録画像変形部と、
前記変形照合画像と前記変形登録画像とを照合し、照合結果を出力する照合部と、
を具備する画像照合装置。
A registered image, and a registered image database that stores the position of the feature point of the object shape included in the registered image as the position of the registered feature point;
A collation image input unit for inputting an image as a collation image;
A matching image feature point detection unit for detecting a feature point of the matching image as a matching feature point;
A reference feature point database for storing the position of the feature point of the reference shape as the position of the reference feature point;
A matching image that deforms the matching image by matching the position of the matching feature point with the position of the reference feature point, generates a modified matching image, and outputs the amount of change in the position of the matching feature point and the modified matching image A deformation part;
A change amount database for storing the output change amount;
A registered image deformation unit that deforms the registered image by moving the position of the registered feature point using a change amount stored in the change amount database, and generates a deformed registered image;
A collation unit that collates the deformation collation image and the deformation registration image and outputs a collation result;
An image collating apparatus comprising:
前記特徴点の位置は、画像中の二次元座標である、
請求項14記載の画像照合装置。
The position of the feature point is a two-dimensional coordinate in the image.
The image collating apparatus according to claim 14.
前記特徴点の位置は、物体上の三次元座標である、
請求項14記載の画像照合装置。
The position of the feature point is a three-dimensional coordinate on the object,
The image collating apparatus according to claim 14.
前記登録画像を入力する登録画像入力部と、
前記登録画像から登録特徴点の位置を検出し前記登録画像データベースに登録画像と共に格納する登録画像特徴点検出部と、
を更に具備する請求項14から請求項16のいずれかに記載の画像照合装置。
A registered image input unit for inputting the registered image;
A registered image feature point detection unit that detects a position of a registered feature point from the registered image and stores it in the registered image database together with the registered image;
The image collating apparatus according to claim 14, further comprising:
JP2007194751A 2007-07-26 2007-07-26 Image collation device Pending JP2009031996A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007194751A JP2009031996A (en) 2007-07-26 2007-07-26 Image collation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007194751A JP2009031996A (en) 2007-07-26 2007-07-26 Image collation device

Publications (1)

Publication Number Publication Date
JP2009031996A true JP2009031996A (en) 2009-02-12

Family

ID=40402437

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007194751A Pending JP2009031996A (en) 2007-07-26 2007-07-26 Image collation device

Country Status (1)

Country Link
JP (1) JP2009031996A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244251A (en) * 2009-04-03 2010-10-28 Seiko Epson Corp Image processor for detecting coordinate position for characteristic site of face
JP2014164573A (en) * 2013-02-26 2014-09-08 Nippon Telegr & Teleph Corp <Ntt> Image processing device, image processing method, and image processing program
JP2017136354A (en) * 2016-01-29 2017-08-10 キヤノン株式会社 Image processor, image processing method, image processing system, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244251A (en) * 2009-04-03 2010-10-28 Seiko Epson Corp Image processor for detecting coordinate position for characteristic site of face
JP2014164573A (en) * 2013-02-26 2014-09-08 Nippon Telegr & Teleph Corp <Ntt> Image processing device, image processing method, and image processing program
JP2017136354A (en) * 2016-01-29 2017-08-10 キヤノン株式会社 Image processor, image processing method, image processing system, and program

Similar Documents

Publication Publication Date Title
US9262671B2 (en) Systems, methods, and software for detecting an object in an image
JP4950787B2 (en) Image processing apparatus and method
JP4653606B2 (en) Image recognition apparatus, method and program
USRE45768E1 (en) Method and system for enhancing three dimensional face modeling using demographic classification
Decarlo et al. Optical flow constraints on deformable models with applications to face tracking
US7876931B2 (en) Face recognition system and method
JP4284664B2 (en) Three-dimensional shape estimation system and image generation system
US8811726B2 (en) Method and system for localizing parts of an object in an image for computer vision applications
WO2016011834A1 (en) Image processing method and system
Kumano et al. Pose-invariant facial expression recognition using variable-intensity templates
JP6207210B2 (en) Information processing apparatus and method
JP4466951B2 (en) Alignment of 3D face shape
JP2008194146A (en) Visual line detecting apparatus and its method
JP2007213623A (en) Virtual makeup device and method therefor
WO2004025564A1 (en) Face direction estimation device, face direction estimation method, and face direction estimation program
WO2019003973A1 (en) Facial authentication device, facial authentication method, and program recording medium
JPWO2009004916A1 (en) Spoofing detection system, spoofing detection method, and spoofing detection program
Yu et al. A video-based facial motion tracking and expression recognition system
Loconsole et al. Real-time emotion recognition: an improved hybrid approach for classification performance
JP3577908B2 (en) Face image recognition system
WO2020032254A1 (en) Attention target estimating device, and attention target estimating method
JP4814666B2 (en) Face analysis system
JP2009031996A (en) Image collation device
JP7247579B2 (en) Information processing device, information processing method and program
JP5092093B2 (en) Image processing device