JP2009031996A - Image collation device - Google Patents
Image collation device Download PDFInfo
- Publication number
- JP2009031996A JP2009031996A JP2007194751A JP2007194751A JP2009031996A JP 2009031996 A JP2009031996 A JP 2009031996A JP 2007194751 A JP2007194751 A JP 2007194751A JP 2007194751 A JP2007194751 A JP 2007194751A JP 2009031996 A JP2009031996 A JP 2009031996A
- Authority
- JP
- Japan
- Prior art keywords
- image
- collation
- feature point
- registered
- deformed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、画像に含まれる物体を照合する画像照合装置に関する。 The present invention relates to an image collation device that collates objects included in an image.
従来の画像照合装置としては、顔画像の特徴点が標準的な顔画像の特徴点と一致するように変形された顔画像と、新たに入力された顔画像の特徴点を標準的な顔画像の特徴点と一致するように変形された顔画像との相関値に基づいて個人識別を行うものがあった(例えば、特許文献1参照)。図11は、特許文献1に記載された従来の画像照合装置を示す。
As a conventional image matching device, a face image transformed so that the feature point of the face image matches the feature point of the standard face image, and the feature point of the newly input face image are used as the standard face image. There is one that performs personal identification based on a correlation value with a face image deformed so as to coincide with the feature point (see, for example, Patent Document 1). FIG. 11 shows a conventional image matching apparatus described in
図11において、画像入力部1111は、識別対象者の顔画像を取り込む。一次顔正規化部1112は、識別対象者の顔画像を、眼と口の位置が予め指定した位置にくるように正規化する。特徴点抽出部1113は、正規化された顔画像から特徴点の位置情報を抽出する。二次顔正規化部1115は、特徴点抽出部1113で検出された特徴点が標準顔画像特徴点データベース部1114に登録された人間の標準的な顔の特徴点位置にくるように、正規化された顔画像を変形する。画像相関演算部1117は、標準的な顔画像の特徴点と一致するように変形された人物毎の基準顔画像(データベース部1116)と、二次顔正規化部1115で変形された顔画像との相関を求める。また、変位量演算部1121は、特徴点抽出部1113で抽出された位置情報と標準顔の特徴点座標との変位量を演算する。そして、変位量相関演算部1123は、標準顔画像の特徴点に対する人物毎の顔画像の特徴点の変位量と、変位量演算部1121で演算された特徴点の変位量との相関を求める。判断部1118は、画像相関演算部1117と変位量相関演算部1123でそれぞれ演算された2つの相関値に基づき、画像入力部1111から画像が入力された顔の人物を特定していた。
しかしながら、上記した従来の画像照合装置においては、画像相関演算部1117で演算された顔画像の相関と、変位量相関演算部1123で演算された特徴点位置の変位量の相関は、異なる傾向を持つ相関である。ここで、2つの異なる相関を統合しなければならないという課題を有していた。
However, in the conventional image matching device described above, the correlation between the face image calculated by the image
本発明は、かかる点に鑑みてなされたものであり、変形された2つの画像を照合し、照合結果を出力する画像照合装置を提供することを目的とする。 The present invention has been made in view of this point, and an object of the present invention is to provide an image collation apparatus that collates two deformed images and outputs a collation result.
本発明の画像照合装置は、第一の画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記第一の画像を変形する際に変化した前記第一の画像に含まれる物体形状の特徴点の位置の変化量を格納する変化量データベースと、前記変化量を用いて第二の画像に含まれる物体形状の特徴点の位置を移動することにより前記第二の画像を変形する画像変形部と、前記変形された第一の画像と前記変形された第二の画像を照合し、照合結果を出力する照合部と、を具備する構成を採る。 The image collating apparatus according to the present invention changes the first image that is changed when the first image is deformed by matching the position of the feature point of the object shape included in the first image with the position of the feature point of the reference shape. A change amount database for storing a change amount of the position of the feature point of the object shape included in the image, and the position of the feature point of the object shape included in the second image by using the change amount An image deforming unit that deforms the image of the image, and a collation unit that collates the deformed first image with the deformed second image and outputs a collation result.
本発明の画像照合装置は、登録画像に含まれる物体形状の特徴点の位置を基準形状の特徴点の位置に合わせることにより前記登録画像を変形する際に変化した前記物体形状の特徴点の位置の変化量を格納する変化量データベースと、前記変形された登録画像を変形登録画像として格納する変形登録画像データベースと、画像を照合画像として入力する照合画像入力部と、前記照合画像に含まれる物体形状の特徴点を照合特徴点として検出する照合特徴点検出部と、前記変化量を用いて前記照合特徴点の位置を移動することにより前記照合画像を変形し、変形照合画像を生成する照合画像変形部と、前記変形登録画像と前記変形照合画像を照合し、照合結果を出力する照合部と、を具備する構成を採る。 The image matching apparatus according to the present invention is configured such that the position of the feature point of the object shape changed when the registered image is deformed by matching the position of the feature point of the object shape included in the registered image with the position of the feature point of the reference shape A change amount database that stores a change amount of the image, a deformation registration image database that stores the deformed registered image as a deformation registration image, a collation image input unit that inputs an image as a collation image, and an object included in the collation image A matching feature point detection unit that detects a feature point of a shape as a matching feature point, and a matching image that generates a modified matching image by deforming the matching image by moving the position of the matching feature point using the change amount The configuration includes a deformation unit, and a collation unit that collates the deformation registration image and the deformation collation image and outputs a collation result.
本発明の画像照合装置は、登録画像と、前記登録画像に含まれる物体形状の特徴点の位置を登録特徴点の位置として格納する登録画像データベースと、画像を照合画像として入力する照合画像入力部と、前記照合画像の特徴点を照合特徴点として検出する照合画像特徴点検出部と、基準形状の特徴点の位置を基準特徴点の位置として格納する基準特徴点データベースと、前記照合特徴点の位置を前記基準特徴点の位置に合わせることにより前記照合画像を変形し、変形照合画像を生成し、前記照合特徴点の位置の変化量と前記変形照合画像を出力する照合画像変形部と、前記出力された変化量を格納する変化量データベースと、前記変化量データベースに格納されている変化量を用いて前記登録特徴点の位置を移動することにより前記登録画像を変形し、変形登録画像を生成する登録画像変形部と、前記変形照合画像と前記変形登録画像とを照合し、照合結果を出力する照合部と、を具備する構成を採る。 The image collating apparatus of the present invention includes a registered image, a registered image database that stores the position of the feature point of the object shape included in the registered image as the position of the registered feature point, and a collated image input unit that inputs the image as a collated image A matching image feature point detection unit that detects a feature point of the matching image as a matching feature point, a reference feature point database that stores a position of a feature point of a reference shape as a position of a reference feature point, and A collation image deformation unit that deforms the collation image by matching a position with the position of the reference feature point, generates a deformation collation image, and outputs a change amount of the position of the collation feature point and the deformation collation image; A change amount database for storing the output change amount, and the registered image by moving the position of the registered feature point using the change amount stored in the change amount database. Deformed and a registered image deformation unit configured to generate a modified reference image, the collated deformation collation image and said modified registration image, employs a configuration having a, a collating unit for outputting a verification result.
本発明によれば、変形された2つの画像を照合し、照合結果を出力できる。 According to the present invention, two deformed images can be collated and a collation result can be output.
以下、本実施の形態について、図面を参照しながら説明する。以下、本実施の形態において、照合対象の物体を人の顔として説明する。しかし、本実施の形態は、動物等の物体または人の全身のみならず、動物等の物体または人の手、動物の顔など物体の一部を照合対象として適用することができる。 Hereinafter, the present embodiment will be described with reference to the drawings. Hereinafter, in this embodiment, the object to be collated is described as a human face. However, this embodiment can apply not only an object such as an animal or the whole body of a person but also an object such as an animal or a part of an object such as a human hand or an animal's face as an object to be collated.
(実施の形態1)
図1は、本発明の実施の形態1における画像照合装置の構成を示すブロック図である。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of an image collating apparatus according to
図1において、100は照合画像入力部である。照合画像入力部100は、カメラなどを用いて照合用の顔画像(物体形状)を含む画像を照合画像として撮影し、照合画像を出力する。
In FIG. 1,
101は、照合画像入力部100で撮影した画像から顔画像(顔の領域)を検出し、顔画像と照合特徴点を出力する照合画像特徴点検出部である。照合画像特徴点検出部101は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を照合特徴点として検出し、照合特徴点の位置を推定して、顔画像と照合特徴点を出力する。
102は、照合画像特徴点検出部101から出力された顔画像と照合特徴点の位置を入力し、各照合特徴点を予め指定された位置に合わせることにより顔画像を変形し、変形後の顔画像を変形照合画像として出力する照合画像変形部である。
102, the face image output from the matching image feature
103は、照合画像変形部102が出力する変形照合画像と、変形登録画像データベース104に予め登録されている変形登録画像とを照合する照合部である。
104は、カメラなどで撮影される画像又は撮影済みの画像である登録画像に含まれる顔画像の特徴点の位置を基準的な顔画像(基準形状)の特徴点の位置に合わせることにより、変形された登録画像を格納する変形登録画像データベースである。 104 is modified by matching the position of the feature point of the face image included in the registered image, which is an image photographed with a camera or the like, or the photographed image, with the position of the feature point of the standard face image (reference shape). 10 is a modified registered image database for storing registered images.
105は、登録画像(第一の画像)に含まれる顔画像の特徴点の位置を基準的な顔画像(基準形状)の特徴点の位置に合わせることにより登録画像を変形する際に変化した登録画像に含まれる顔画像の特徴点の位置の変化量(移動量)を格納する変化量データベースである。
かかる構成において、照合画像入力部100は、顔画像を含む画像を照合画像として撮影する。照合画像特徴点検出部101は、照合画像に含まれる顔の領域を検出し、図2に示すような眉頭・眉尻・目頭・目尻・鼻頭・口の左右端・口の上下端・顔の輪郭上の点といった照合特徴点を検出する。
In such a configuration, the collation
ここで、撮影時において顔の領域の検出を容易にするために、図3に示すように、撮影時に矩形領域を表示し、その矩形領域に顔が納まるようユーザに撮影時の注意を促してもよい。また、テンプレートマッチングやブースティング(boosting)などの手法を用いて、顔の領域を自動的に検出するようにしてもよい。 Here, in order to facilitate the detection of the face area at the time of shooting, as shown in FIG. 3, a rectangular area is displayed at the time of shooting, and the user is cautioned at the time of shooting so that the face fits in the rectangular area. Also good. Further, a face region may be automatically detected using a method such as template matching or boosting.
顔の領域から画像面内の特徴点の座標を検出する際は、テンプレートマッチングやエッジに基づいて眉領域、目領域、口領などを検出してもよいし、Active Shape ModelsやActive Appearance Modelsなど予め顔のモデルを作成し、モデルとのマッチングにより特徴点位置を検出する手法を用いてもよい。 When detecting the coordinates of feature points in the image area from the face area, you may detect eyebrow area, eye area, mouth area, etc. based on template matching and edges, Active Shape Models, Active Appearance Models, etc. A method of creating a face model in advance and detecting the feature point position by matching with the model may be used.
顔の領域から画像面内の特徴点の座標と顔の凹凸を表す奥行き方向の位置を検出する際は、Active Shape ModelsやActive Appearance ModelsやBundle adjustmentといった手法を用いるとよい。 When detecting the coordinates of feature points in the image plane and the position in the depth direction representing the unevenness of the face from the face area, it is preferable to use a method such as Active Shape Models, Active Appearance Models, or Bundle adjustment.
図4は、正面に向いた顔の登録画像を平均顔のような基準的な顔形状に変形させた際の各特徴点の位置の変化量を示す図である。変化量データベース105は、登録対象人物毎の変化量を予め格納している。照合画像変形部102は、これらの変化量(一組の変化量)を用いて、検出された照合特徴点の位置を移動することにより、入力した照合用の照合画像全体を変形し、変形照合画像を生成する。
FIG. 4 is a diagram illustrating the amount of change in the position of each feature point when a registered image of a face facing the front is transformed into a standard face shape such as an average face. The
図4において、x、y座標は画像面に平行な平面上の座標であり、z座標は画像面に垂直な座標、つまり、顔の奥行き方向の顔の凹凸を表す座標を示す。図4では座標を三次元座標にしているが、x、y座標のみの二次元座標でもよい。二次元座標の場合、照合画像変形部102は、画像平面内での照合特徴点の位置を移動して照合画像を変形する。三次元座標の場合、照合画像変形部102は、顔の立体形状を考慮した照合特徴点の位置を移動し、照合画像を変形する。二次元座標の場合は、三次元座標に比べて比較的処理量が少なく、且つ、高速な位置合わせが可能となる。三次元座標の場合は、顔の凹凸を考慮した正確な位置合わせが可能となる。
In FIG. 4, x and y coordinates are coordinates on a plane parallel to the image plane, and z coordinates are coordinates perpendicular to the image plane, that is, coordinates representing the unevenness of the face in the depth direction of the face. In FIG. 4, the coordinates are three-dimensional coordinates, but two-dimensional coordinates including only x and y coordinates may be used. In the case of two-dimensional coordinates, the matching
照合画像変形部102で行う画像の変形について、更に具体的に説明する。まず、照合画像変形部102は、変化量データベース105に格納されている各変化量を照合画像特徴点検出部101で検出した各照合特徴点の座標に加算し、変形後の特徴点の位置を求め、照合画像全体を変形する。特徴点の座標が三次元座標の場合は、照合画像変形部102は、三次元座標を画像面に射影し、画像面内における二次元座標を求める。照合画像変形部102は、ここで求めた座標位置に変形前の特徴点の位置の画素値を与える。
The image deformation performed by the collation
<画像の濃淡パターンの比較>
次に、変形登録画像の濃淡パターンと変形照合画像の濃淡パターンとを比較することにより、顔画像の照合を行う例について説明する。
<Comparison of light and shade patterns of image>
Next, an example in which face image matching is performed by comparing the shading pattern of the deformation registered image and the shading pattern of the deformation matching image will be described.
顔画像の濃淡パターンは、3つの特徴点で囲まれる領域の画素値を顔領域全体で求めることにより得られる。 The shading pattern of the face image is obtained by obtaining the pixel value of the area surrounded by the three feature points over the entire face area.
例えば、照合画像変形部102は、図5に示すように、3つの特徴点を繋ぐ3角形領域ごとに画素値の合計を求める。図5は、照合画像変形部102で変形後の顔の形状を示している。具体的に、図5の三角形abcについて説明する。頂点a,b,cの座標をそれぞれ(xa,ya),(xb,yb),(xc,yc)とすると、三角形abc内の任意の座標は(x,y)は、(xa,ya),(xb,yb),(xc,yc)を用いて、次の2式のように表すことができる。
(x,y)=α(xa,ya)+β(xb,yb)+γ(xc,yc) (式1)
α+β+γ=1 (式2)
変形後の特徴点の座標は、この2式を満たすα、β、γを用いて求められる。
For example, as shown in FIG. 5, the collation
(X, y) = α ( x a, y a) + β (x b, y b) + γ (x c, y c) ( Equation 1)
α + β + γ = 1 (Formula 2)
The coordinates of the feature points after deformation are obtained using α, β, and γ that satisfy these two expressions.
次に、変形前の特徴点の座標をα、β、γを用いて求める。変形前の頂点a,b,cの座標をそれぞれ(x'a,y'a),(x'b,y'b),(x'c,y'c)とし、変形前の三角形abc内の任意の座標を(x',y')とすると、次の式のように表すことができる。
(x',y')=α(x'a,y'a)+β(x'b,y'b)+γ(x'c,y'c) (式3)
α+β+γ=1 (式2)
このとき、変形後の座標(x,y)の画素値を変形前の(x',y')の画素値とする。
Next, the coordinates of the feature points before deformation are obtained using α, β, and γ. The coordinates of the vertices a, b, and c before transformation are (x ′ a , y ′ a ), (x ′ b , y ′ b ), and (x ′ c , y ′ c ), respectively, and inside the triangle abc before transformation If any coordinate of is (x ′, y ′), it can be expressed as follows.
(X ′, y ′) = α (x ′ a , y ′ a ) + β (x ′ b , y ′ b ) + γ (x ′ c , y ′ c ) (Formula 3)
α + β + γ = 1 (Formula 2)
At this time, the pixel value of the coordinate (x, y) after deformation is set as the pixel value of (x ′, y ′) before deformation.
以上のようにして照合画像変形部102で照合用の変形照合画像が生成されると、照合部103は、変形登録画像データベース104に格納されている変形登録画像と、変形照合画像とを照合する。これにより、照合する物体の幾何学的形状特徴を反映した変形を照合画像に施して、2つの画像を照合することができる。ここで、照合の手法はパターンマッチングにおける任意の手法でよい。例えば、照合部103は、2つの画像の濃淡パターンの類似度を照合し、顔画像が同一人物であるか否かを判定する。具体的には、2つの画像間で、同じ画素位置にある濃淡値の類似度を照合する。ここで、類似度の算出方法としては、一つの画像の濃淡値の並びをラスタスキャン順に一列に並べて一つのベクトルを作り、2つの画像間の類似度を、2つのベクトルの相関値で判定する方法などがある。
When the modified collation image for collation is generated in the collation
ここで、変形登録画像は、上述の手法で登録画像を基準的な顔の形状に変形させた画像である。基準的な顔の形状は、任意の顔の形状を用いてよいが、平均的な顔の形状を用いてもよい。以上により、登録画像の顔画像を基準形状に変換するときに求められる変化量(Δ)を照合画像に施すことで、図6に示すように、照合画像が登録画像と同一人物の顔であれば基準形状の顔の形状に類似した変形照合画像となる。また、図6に示すように、照合画像が登録画像と異なる人物(Aさん)の顔、つまり、照合画像が登録画像(Bさんの画像)の顔と異なる形状の顔であれば、変形量Δ2で照合画像を変形すると基準形状とは異なる形状の顔の照合画像となる。これにより、照合部103は、変形登録画像と変形照合画像とについて、画像の濃淡パターン特徴の照合と顔の形状特徴の照合とを行う。図6に示す例では、照合部103は、照合画像がAさんであるか又はBさんであるかを照合する。そして、照合部103は、照合画像がAさんであること示す信号を結果として出力する。
Here, the deformation registration image is an image obtained by deforming the registration image into a standard face shape by the above-described method. As the standard face shape, an arbitrary face shape may be used, but an average face shape may be used. As described above, the amount of change (Δ) required when the face image of the registered image is converted into the reference shape is applied to the collated image, so that the collated image can be the face of the same person as the registered image as shown in FIG. For example, a deformation matching image similar to the face shape of the reference shape is obtained. Also, as shown in FIG. 6, if the collation image is a face of a person (Mr. A) different from the registered image, that is, the collation image is a face different in shape from the face of the registration image (Mr. B), the amount of deformation When the collation image is deformed by Δ2, a face collation image having a shape different from the reference shape is obtained. Thus, the
一般的に、笑顔の時は、口元が上がる傾向がある。図6に示す照合画像は、Aさんの普通の顔の登録画像と比べて、口元の形状に差分(変化)が現れる。また、表情に変化がない時は口に差分はでない。そのため、変形登録画像と変形照合画像を照合する場合は、口元の形状を除いた他の形状を比較し、変形登録画像と変形照合画像を照合することで、照合精度が向上する。 Generally, when you smile, your mouth tends to go up. The comparison image shown in FIG. 6 shows a difference (change) in the shape of the mouth compared to the registered image of Mr. A's normal face. Also, when there is no change in facial expression, there is no difference in the mouth. Therefore, when collating the deformation registration image and the deformation collation image, the collation accuracy is improved by comparing other shapes excluding the shape of the mouth and collating the deformation registration image and the deformation collation image.
ここで、変形登録画像に含まれる顔の形状と基準形状とは同じ形になるが、本実施の形態では、変形登録画像と変形照合画像の画像間の濃淡パターンの照合を行うため、変形登録画像データベース104には、複数の登録対象者用の複数の変形登録画像を格納する必要がある。
Here, the face shape and the reference shape included in the deformation registration image are the same, but in the present embodiment, the shading pattern matching between the deformation registration image and the deformation collation image is performed. The
そして、照合画像変形部102は、各変形登録画像に対応する変化量を用いて1つの照合画像を複数の登録画像について変形する。照合部103は、変形登録画像と、この変形登録画像に対応する変化量を用いて変形された1つの変形照合画像とを照合し、顔画像の照合結果を出力する。出力結果をディスプレイに表示したり、出力結果を音声で通知したり、又は出力結果を他の照合処理に利用してもよい。
Then, the collation
図7は、照合画像が特定の人であるか否かを照合する例を説明する図である。図7に示す例では、照合画像がBさんであるか否かを照合する。照合画像変形部102は、照合画像をBさんの変化量Δ2で変形する。照合部103は、Bさんの変形登録画像と変形照合画像の画像とについて、画像の濃淡パターン特徴の照合および顔の形状特徴の照合を行う。照合部103は、照合結果として、Bさんでないことを示す信号を出力する。
FIG. 7 is a diagram for explaining an example of collating whether or not the collation image is a specific person. In the example shown in FIG. 7, it is collated whether or not the collation image is Mr. B. The collation
上述のように、本実施の形態では、照合する2つの物体画像に関する濃淡パターンの相関と、特徴点位置の相関という異なる傾向を持つ相関を統合した変形登録画像および変形照合画像を照合することで、照合結果を出力することができる。 As described above, in the present embodiment, by comparing the deformation registered image and the deformation matching image, which integrate the correlations of the light and shade patterns related to the two object images to be compared with the correlations having different tendencies of the feature point positions. The collation result can be output.
(変形例)
なお、本実施の形態において、登録画像を基準形状に変形し照合画像を登録画像の変形量(Δ)を用いて変形した。これに限らず、照合画像を基準形状に変形した際に求められる変化量(Δ’)を用いて登録画像を変形し、照合してもよい。また、本実施の形態では、照合時について述べたが、学習時にも同様の変形を行うようにしてもよい。
(Modification)
In the present embodiment, the registered image is transformed into a reference shape, and the collation image is transformed using the deformation amount (Δ) of the registered image. However, the present invention is not limited to this, and the registered image may be deformed and collated using the amount of change (Δ ′) obtained when the collated image is transformed into the reference shape. Further, in the present embodiment, the case of collation has been described, but the same modification may be performed at the time of learning.
(実施の形態2)
図8は、本発明の実施の形態2における画像照合装置のブロック図である。本実施の形態では、実施の形態1の構成に、登録画像入力部110、登録画像特徴点検出部111、登録画像変形部112、および基準特徴点データベース113が新たな構成として追加されている。他の構成は、実施の形態1の構成と同様であるため、その説明を省略する。
(Embodiment 2)
FIG. 8 is a block diagram of an image collating apparatus according to
登録画像入力部110は、カメラなどを用いて登録用の顔画像(物体形状)を含む画像を登録画像として撮影し、登録画像を出力する。
The registered
登録画像特徴点検出部111は、登録画像入力部110で撮影した画像から顔画像(顔の領域)を検出し、登録画像としての顔画像と登録特徴点を出力する。登録画像特徴点検出部111は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を登録特徴点として検出し、登録特徴点の位置を推定して、登録画像と登録特徴点を登録画像変形部112に出力する。
The registered image feature
登録画像変形部112は、登録画像特徴点検出部111から出力された登録画像と登録特徴点の位置を入力し、各登録特徴点を予め指定された基準特徴点の位置に合わせることにより登録画像を変形して変形登録画像を生成する。登録画像変形部112は、登録特徴点の位置の変化量を変化量データベースに105格納し、変形登録画像を変形登録画像データベース104に格納する。
The registered
基準特徴点データベース113は、基準形状の特徴点の位置を基準特徴点の位置として格納する。
The reference
本実施の形態によれば、照合対象者の登録特徴点の位置の変化量を変化量データベースに105格納し、変形登録画像を変形登録画像データベース104に新たに登録することができる。
According to the present embodiment, the change amount of the position of the registered feature point of the person to be collated can be stored in the
(実施の形態3)
図9は、本発明の実施の形態3における画像照合装置のブロック図である。実施の形態1では、登録特徴点の位置の変化量を用いて照合特徴点の位置を移動することにより照合画像を変形する例を説明した。本実施の形態では、照合特徴点の位置の変化量を用いて登録特徴点の位置を移動することにより照合画像を変形する例を説明する。
(Embodiment 3)
FIG. 9 is a block diagram of an image collating apparatus according to
照合画像入力部100は、カメラなどを用いて照合用の顔画像(物体形状)を含む画像を照合画像として撮影し、照合画像を出力する。
The collation
照合画像特徴点検出部101は、照合画像入力部100で撮影した画像から顔画像(顔の領域)を検出し、照合画像としての顔画像と照合特徴点を出力する。照合画像特徴点検出部101は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を照合特徴点として検出し、照合特徴点の位置を推定して、照合画像と照合特徴点を出力する。
The collation image feature
照合画像変形部102は、照合画像特徴点検出部101から出力された照合画像と照合特徴点の位置を入力し、各照合特徴点を予め指定された基準特徴点の位置に合わせることにより照合画像を変形して変形照合画像を生成する。照合画像変形部102は、照合特徴点の位置の変化量を変化量データベースに105格納し、変形照合画像を照合部103に出力する。
The collation
基準特徴点データベース113は、基準形状の特徴点の位置を基準特徴点の位置として格納する。
The reference
登録画像データベース114は、登録画像と登録画像特徴点を予め格納する。
The registered
登録画像変形部112は、登録画像データベース114から出力された登録画像と登録特徴点の位置を入力し、変化量データベース105に格納された変化量を用いて各登録特徴点の位置を移動することにより登録画像を変形し、変形登録画像を生成し、変形登録画像を照合部103に出力する。
The registered
照合部103は、変形照合画像と変形登録画像とを照合し、照合結果を出力する。
The
本実施の形態によれば、照合対象者の照合特徴点の位置の変化量を変化量データベース105に格納するだけで、複数の変形登録画像と変形照合画像を照合できる。
According to the present embodiment, it is possible to collate a plurality of deformation registered images and deformation collation images only by storing the amount of change of the collation feature point position of the collation target person in the
(実施の形態4)
図10は、本発明の実施の形態4における画像照合装置のブロック図である。本実施の形態では、実施の形態3の構成に、登録画像入力部110、登録画像特徴点検出部111が新たな構成として追加されている。他の構成は、実施の形態3の構成と同様であるため、その説明を省略する。
(Embodiment 4)
FIG. 10 is a block diagram of an image collating apparatus according to Embodiment 4 of the present invention. In the present embodiment, a registered
登録画像入力部110は、カメラなどを用いて登録用の顔画像(物体形状)を含む画像を登録画像として撮影し、登録画像を出力する。
The registered
登録画像特徴点検出部111は、登録画像入力部110で撮影した画像から顔画像(顔の領域)を検出し、登録画像としての顔画像と登録特徴点を出力する。登録画像特徴点検出部111は、顔画像に対して、眉頭・眉尻・目頭・目尻・口の両端・顔の輪郭上の点などの特徴点を登録特徴点として検出し、登録特徴点の位置を推定して、登録画像と登録特徴点を登録画像データベース114に出力する。
The registered image feature
登録画像データベース114は、登録画像特徴点検出部111から出力された登録画像と登録画像特徴点を格納する。
The registered
本実施の形態によれば、照合対象者の登録画像と登録画像特徴点を登録画像データベース114に新たに登録することができる。
According to the present embodiment, the registered image and registered image feature points of the person to be collated can be newly registered in the registered
本発明に係る画像照合装置は、形状と濃淡パターンの変化の少ない任意の物体の照合に適用可能であり、任意の物体照合に応用できる。 The image matching apparatus according to the present invention can be applied to matching any object with little change in shape and shading pattern, and can be applied to any object matching.
100 照合画像入力部
101 照合画像特徴点検出部
102 照合画像変形部
103 照合部
104 変形登録画像データベース
105 変化量データベース
110 登録画像入力部
111 登録画像特徴点検出部
112 登録画像変形部
113 基準特徴点データベース
114 登録画像データベース
DESCRIPTION OF
Claims (17)
前記変化量を用いて第二の画像に含まれる物体形状の特徴点の位置を移動することにより前記第二の画像を変形する画像変形部と、
前記変形された第一の画像と前記変形された第二の画像を照合し、照合結果を出力する照合部と、
を具備する画像照合装置。 The feature of the object shape included in the first image changed when the first image is deformed by matching the position of the feature point of the object shape included in the first image with the position of the feature point of the reference shape A change amount database for storing the change amount of the point position;
An image deformation unit that deforms the second image by moving the position of the feature point of the object shape included in the second image using the change amount;
A collation unit that collates the deformed first image and the deformed second image and outputs a collation result;
An image collating apparatus comprising:
請求項1記載の画像照合装置。 The position of the feature point is a two-dimensional coordinate in the image.
The image collating apparatus according to claim 1.
請求項1記載の画像照合装置。 The position of the feature point is a three-dimensional coordinate on the object,
The image collating apparatus according to claim 1.
請求項1から請求項3のいずれかに記載の画像照合装置。 The collation unit collates the object shape of the deformed first image with the object shape of the deformed second image, and outputs a collation result.
The image collating apparatus according to claim 1.
請求項1から請求項4のいずれかに記載の画像照合装置。 The collation unit collates the shade pattern of the deformed first image with the shade pattern of the deformed second image, and outputs a collation result.
The image collation apparatus in any one of Claims 1-4.
前記第二の画像は、1つの照合画像であり、
前記変化量データベースは、複数の登録画像に対応する複数の変化量を格納する、
請求項1から請求項5のいずれかに記載の画像照合装置。 The first image is one or more registered images;
The second image is one collation image,
The change amount database stores a plurality of change amounts corresponding to a plurality of registered images.
The image collation apparatus according to claim 1.
前記照合部は、前記変形された登録画像と、前記変形された登録画像に対応する変化量を用いて変形された1つの照合画像とを照合し、照合結果を出力する、
請求項6記載の画像照合装置。 The image deformation unit deforms one collation image using each change amount corresponding to each deformed registered image,
The collation unit collates the deformed registered image with one collation image deformed using a change amount corresponding to the deformed registered image, and outputs a collation result.
The image collating apparatus according to claim 6.
前記画像変形部は、前記特定の登録画像に対応する変化量を用いて1つの照合画像を変形し、
前記照合部は、前記変形された特定の登録画像と、前記変形された特定の登録画像に対応する変化量を用いて変形された1つの照合画像とを照合し、照合結果を出力する、
請求項6記載の画像照合装置。 A specifying means for specifying a set of change amounts corresponding to a specific registered image among the plurality of change amounts;
The image deformation unit deforms one collation image using a change amount corresponding to the specific registered image,
The collation unit collates the deformed specific registration image with one collation image deformed using a change amount corresponding to the deformed specific registration image, and outputs a collation result.
The image collating apparatus according to claim 6.
前記第二の画像は、1つまたは複数の登録画像であり、
前記変化量データベースは、1つの照合画像に対応する変化量を格納し、
前記画像変形部は、前記1つの照合画像に対応する変化量を用いて各登録画像を変形し、
前記照合部は、前記変形された各登録画像と前記変形された1つの照合画像とを照合し、照合結果を出力する、
請求項1記載の画像照合装置。 The first image is one collation image;
The second image is one or more registered images;
The change amount database stores a change amount corresponding to one collation image,
The image deformation unit deforms each registered image using a change amount corresponding to the one collation image,
The collation unit collates each deformed registered image and the one collated image, and outputs a collation result.
The image collating apparatus according to claim 1.
前記変形された登録画像を変形登録画像として格納する変形登録画像データベースと、
画像を照合画像として入力する照合画像入力部と、
前記照合画像に含まれる物体形状の特徴点を照合特徴点として検出する照合特徴点検出部と、
前記変化量を用いて前記照合特徴点の位置を移動することにより前記照合画像を変形し、変形照合画像を生成する照合画像変形部と、
前記変形登録画像と前記変形照合画像を照合し、照合結果を出力する照合部と、
を具備する画像照合装置。 The amount of change for storing the amount of change in the position of the feature point of the object shape changed when the registered image is deformed by matching the position of the feature point of the object shape included in the registered image with the position of the feature point of the reference shape A database,
A modified registered image database for storing the modified registered image as a modified registered image;
A collation image input unit for inputting an image as a collation image;
A matching feature point detection unit that detects a feature point of an object shape included in the matching image as a matching feature point;
A collation image deformation unit that deforms the collation image by moving the position of the collation feature point using the change amount, and generates a deformation collation image;
A collation unit that collates the deformation registration image and the deformation collation image and outputs a collation result;
An image collating apparatus comprising:
請求項10記載の画像照合装置。 The position of the feature point is a two-dimensional coordinate in the image.
The image collating apparatus according to claim 10.
請求項10記載の画像照合装置。 The position of the feature point is a three-dimensional coordinate on the object,
The image collating apparatus according to claim 10.
前記登録画像に含まれる物体形状の特徴点を登録特徴点として検出する登録画像特徴点検出部と、
前記登録特徴点の位置を基準形状の特徴点の位置に合わせることにより前記登録画像を変形して前記変形登録画像を生成し、前記登録特徴点の位置の変化量を前記変化量データベースに格納し、前記変形登録画像を前記変形画像データベースに格納する登録画像変形部と、
基準形状の特徴点の位置を基準特徴点の位置として格納する基準特徴点データベースと、
を更に具備する請求項10から請求項12のいずれかに記載の画像照合装置。 A registered image input unit for inputting the registered image;
A registered image feature point detection unit that detects a feature point of an object shape included in the registered image as a registered feature point;
The registered image is deformed by matching the position of the registered feature point with the position of the feature point of the reference shape to generate the deformed registered image, and the change amount of the position of the registered feature point is stored in the change amount database. A registered image deformation unit for storing the deformation registered image in the deformed image database;
A reference feature point database for storing the position of the feature point of the reference shape as the position of the reference feature point;
The image collating apparatus according to claim 10, further comprising:
画像を照合画像として入力する照合画像入力部と、
前記照合画像の特徴点を照合特徴点として検出する照合画像特徴点検出部と、
基準形状の特徴点の位置を基準特徴点の位置として格納する基準特徴点データベースと、
前記照合特徴点の位置を前記基準特徴点の位置に合わせることにより前記照合画像を変形し、変形照合画像を生成し、前記照合特徴点の位置の変化量と前記変形照合画像を出力する照合画像変形部と、
前記出力された変化量を格納する変化量データベースと、
前記変化量データベースに格納されている変化量を用いて前記登録特徴点の位置を移動することにより前記登録画像を変形し、変形登録画像を生成する登録画像変形部と、
前記変形照合画像と前記変形登録画像とを照合し、照合結果を出力する照合部と、
を具備する画像照合装置。 A registered image, and a registered image database that stores the position of the feature point of the object shape included in the registered image as the position of the registered feature point;
A collation image input unit for inputting an image as a collation image;
A matching image feature point detection unit for detecting a feature point of the matching image as a matching feature point;
A reference feature point database for storing the position of the feature point of the reference shape as the position of the reference feature point;
A matching image that deforms the matching image by matching the position of the matching feature point with the position of the reference feature point, generates a modified matching image, and outputs the amount of change in the position of the matching feature point and the modified matching image A deformation part;
A change amount database for storing the output change amount;
A registered image deformation unit that deforms the registered image by moving the position of the registered feature point using a change amount stored in the change amount database, and generates a deformed registered image;
A collation unit that collates the deformation collation image and the deformation registration image and outputs a collation result;
An image collating apparatus comprising:
請求項14記載の画像照合装置。 The position of the feature point is a two-dimensional coordinate in the image.
The image collating apparatus according to claim 14.
請求項14記載の画像照合装置。 The position of the feature point is a three-dimensional coordinate on the object,
The image collating apparatus according to claim 14.
前記登録画像から登録特徴点の位置を検出し前記登録画像データベースに登録画像と共に格納する登録画像特徴点検出部と、
を更に具備する請求項14から請求項16のいずれかに記載の画像照合装置。 A registered image input unit for inputting the registered image;
A registered image feature point detection unit that detects a position of a registered feature point from the registered image and stores it in the registered image database together with the registered image;
The image collating apparatus according to claim 14, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007194751A JP2009031996A (en) | 2007-07-26 | 2007-07-26 | Image collation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007194751A JP2009031996A (en) | 2007-07-26 | 2007-07-26 | Image collation device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009031996A true JP2009031996A (en) | 2009-02-12 |
Family
ID=40402437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007194751A Pending JP2009031996A (en) | 2007-07-26 | 2007-07-26 | Image collation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009031996A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244251A (en) * | 2009-04-03 | 2010-10-28 | Seiko Epson Corp | Image processor for detecting coordinate position for characteristic site of face |
JP2014164573A (en) * | 2013-02-26 | 2014-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Image processing device, image processing method, and image processing program |
JP2017136354A (en) * | 2016-01-29 | 2017-08-10 | キヤノン株式会社 | Image processor, image processing method, image processing system, and program |
-
2007
- 2007-07-26 JP JP2007194751A patent/JP2009031996A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244251A (en) * | 2009-04-03 | 2010-10-28 | Seiko Epson Corp | Image processor for detecting coordinate position for characteristic site of face |
JP2014164573A (en) * | 2013-02-26 | 2014-09-08 | Nippon Telegr & Teleph Corp <Ntt> | Image processing device, image processing method, and image processing program |
JP2017136354A (en) * | 2016-01-29 | 2017-08-10 | キヤノン株式会社 | Image processor, image processing method, image processing system, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9262671B2 (en) | Systems, methods, and software for detecting an object in an image | |
JP4950787B2 (en) | Image processing apparatus and method | |
JP4653606B2 (en) | Image recognition apparatus, method and program | |
USRE45768E1 (en) | Method and system for enhancing three dimensional face modeling using demographic classification | |
Decarlo et al. | Optical flow constraints on deformable models with applications to face tracking | |
US7876931B2 (en) | Face recognition system and method | |
JP4284664B2 (en) | Three-dimensional shape estimation system and image generation system | |
US8811726B2 (en) | Method and system for localizing parts of an object in an image for computer vision applications | |
WO2016011834A1 (en) | Image processing method and system | |
Kumano et al. | Pose-invariant facial expression recognition using variable-intensity templates | |
JP6207210B2 (en) | Information processing apparatus and method | |
JP4466951B2 (en) | Alignment of 3D face shape | |
JP2008194146A (en) | Visual line detecting apparatus and its method | |
JP2007213623A (en) | Virtual makeup device and method therefor | |
WO2004025564A1 (en) | Face direction estimation device, face direction estimation method, and face direction estimation program | |
WO2019003973A1 (en) | Facial authentication device, facial authentication method, and program recording medium | |
JPWO2009004916A1 (en) | Spoofing detection system, spoofing detection method, and spoofing detection program | |
Yu et al. | A video-based facial motion tracking and expression recognition system | |
Loconsole et al. | Real-time emotion recognition: an improved hybrid approach for classification performance | |
JP3577908B2 (en) | Face image recognition system | |
WO2020032254A1 (en) | Attention target estimating device, and attention target estimating method | |
JP4814666B2 (en) | Face analysis system | |
JP2009031996A (en) | Image collation device | |
JP7247579B2 (en) | Information processing device, information processing method and program | |
JP5092093B2 (en) | Image processing device |