JP2000105829A - Method and device for face parts image detection - Google Patents
Method and device for face parts image detectionInfo
- Publication number
- JP2000105829A JP2000105829A JP10274925A JP27492598A JP2000105829A JP 2000105829 A JP2000105829 A JP 2000105829A JP 10274925 A JP10274925 A JP 10274925A JP 27492598 A JP27492598 A JP 27492598A JP 2000105829 A JP2000105829 A JP 2000105829A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- mouth
- nose
- face
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像中の顔のパー
ツ（目、鼻、口）の位置を検出する方法及びその装置に
関するものである。[0001] 1. Field of the Invention [0002] The present invention relates to a method and an apparatus for detecting the positions of facial parts (eyes, nose, mouth) in an image.
【０００２】[0002]
【従来の技術】顔のパーツの位置の探索の技術は、顔画
像を使ったセキュリティシステムの実現に必要不可欠な
技術である。２つの顔画像が同一人物のものであるかを
比較する際、顔の濃淡パターンをベースにして抽出され
た顔の特徴が使用されることが多い。このような場合予
め濃淡パターンの大きさ傾きなどを正規化しておかなけ
れば正確な比較が非常に困難になる。正確な正規化のた
めには、まず顔のパーツ（例えば左目と右目）の位置を
探索し、それらの位置が予め定められた基準の位置に一
致するように拡大／縮小、回転などの変換を施す。した
がって、顔のパーツの検出精度が非常に重要となる。2. Description of the Related Art A technique for searching for the position of a face part is an indispensable technique for realizing a security system using a face image. When comparing whether two face images belong to the same person, a feature of the face extracted based on the shading pattern of the face is often used. In such a case, accurate comparison becomes extremely difficult unless the size gradient of the light and shade pattern is normalized in advance. For accurate normalization, first, the positions of the face parts (for example, the left eye and the right eye) are searched, and conversions such as enlargement / reduction and rotation are performed so that the positions match predetermined reference positions. Apply. Therefore, detection accuracy of face parts is very important.
【０００３】また、顔全体のパターンで比べるのではな
く目、鼻、口といった顔の部分パターン毎に比較を行な
いそれらの結果を統合して最終的な判断を行なう方法
や、顔のパーツや特徴点の位置関係を用いて顔の比較を
行なう方法も盛んに研究されている。このような場合に
も顔のパーツの位置が正確に検出されているかどうかが
認識精度に大きな影響を与える。[0003] In addition, a method of making a final judgment by comparing the partial patterns of the face such as eyes, nose, and mouth rather than comparing them with the pattern of the entire face, and integrating the results thereof, and the parts and features of the face. A method of comparing faces using the positional relationship of points has also been actively studied. Also in such a case, whether or not the position of the face part is accurately detected has a great influence on the recognition accuracy.
【０００４】従来、顔のパーツの位置の探索に関して
は、スリット法とテンプレートマッチング法が知られて
いる。スリット法とは、画像の各点の濃淡値（、微分値
またはそれらを２値化した値）Ｉ（ｘ，ｙ）をｘ軸方
向、ｙ軸方向に射影して得られる次式の情報、Conventionally, for searching for the position of a face part, a slit method and a template matching method are known. The slit method refers to information of the following formula obtained by projecting a gray value (a differential value or a value obtained by binarizing them) I (x, y) of each point of an image in the x-axis direction and the y-axis direction;
【０００５】[0005]
【数１】 (Equation 1)
【０００６】を使って顔のパーツの位置を探索する方法
である。この方法は、坂井利之、長尾真、金出武雄、”
計算機による顔写真の解析”、信学論Ｄ、５６−Ｄ、
４、ｐｐ２２６−２３３（１９７３−０４）に説明され
ている。また、特開平７−６５１４９号公報、特開平７
−２８２２２７号公報に開示されている装置は、この方
法を応用している。[0006] This is a method of searching for the position of a part of a face by using the method. This method is based on Toshiyuki Sakai, Makoto Nagao, Takeo Kanade,
Analysis of Face Photo by Computer ", IEICE D, 56-D,
4, pp. 226-233 (1973-04). Also, JP-A-7-65149 and JP-A-7-65149
The apparatus disclosed in Japanese Patent Application No. 282227 is an application of this method.
【０００７】テンプレートマッチング法とは、顔のパー
ツのパターンをテンプレートとして画像全体を走査し、
最もマッチする位置を見つける方法である。特開平５−
１７４１４９号公報に開示されている方法では、テンプ
レートマッチング法とモザイク化の方法を組み合わせる
ことにより認識対象の位置を見つけている。この発明で
は、認識対象となる物体画像を粗くモザイク化し、これ
を探索時の対象画像の特徴として用いて、未知の画像を
走査しおおよその位置と大きさを見つける。次に、認識
対象となる物体画像を細かくモザイク化し、これを用い
て、既に得られた大まかな位置付近を走査し、正確な位
置と大きさを見つける。さらに、認識対象物体の画像を
細かくモザイク化し、未知画像のモザイクとのマッチン
グをとるものである。The template matching method scans the entire image using a pattern of a face part as a template,
This is a way to find the best match. Japanese Patent Laid-Open No. 5-
In the method disclosed in Japanese Patent No. 174149, the position of the recognition target is found by combining the template matching method and the mosaic method. According to the present invention, an object image to be recognized is roughly mosaiced, and an unknown image is scanned to find an approximate position and size using this as a feature of the target image at the time of search. Next, the object image to be recognized is finely mosaiced, and by using the mosaic, the vicinity of the already obtained rough position is scanned to find an accurate position and size. Furthermore, the image of the recognition target object is finely mosaiced, and matching with the mosaic of an unknown image is performed.
【０００８】また、これら以外の方法としては、特開平
７−３１１８３３号公報に開示されているものが挙げら
れる。その処理フローチャートを図４に示し、説明す
る。４０１は目、口候補領域検出ステップ、４０２は
目、口検出ステップ、４０３は顔領域検出ステップであ
る。目、口候補領域検出ステップ４０１では、人物の顔
が撮影されている画像中を、画像の天地方向に調べた時
に、明るさが明から暗そして明に変化する点と、暗から
明に変化する点で挟まれる領域を検出する。目、口検出
ステップ４０２は、目、口候補領域検出ステップ４０１
で検出された候補領域から、領域の形状特徴と領域内の
輝度特徴が人物の目、人物の口に近い領域をそれぞれ取
り出す。顔領域検出ステップ４０３では、目、口検出ス
テップ４０２で検出された目の候補領域から２つ、口の
候補領域から１つ重複せずに任意に組み合わせて、人物
の顔らしい配置をなしている組み合わせを取り出して顔
候補領域として検出する。As another method, there is a method disclosed in JP-A-7-31833. The processing flowchart is shown in FIG. 4 and will be described. Reference numeral 401 denotes an eye / mouth candidate area detection step, 402 denotes an eye / mouth detection step, and 403 denotes a face area detection step. In the eye / mouth candidate area detection step 401, when the image in which the face of the person is photographed is examined in the vertical direction of the image, the point at which the brightness changes from light to dark and then to the light, and the point at which the light changes from dark to light The region between the two points is detected. An eye / mouth detection step 402 is an eye / mouth candidate area detection step 401.
From the candidate regions detected in step (1), regions in which the shape characteristics of the region and the luminance characteristics in the region are close to the eyes of the person and the mouth of the person are extracted. In the face area detecting step 403, two of the eye candidate areas detected in the eye and mouth detecting step 402 and one of the mouth candidate areas are arbitrarily combined without overlapping to form a human face-like arrangement. The combination is extracted and detected as a face candidate area.
【０００９】しかしながら、前記従来技術は、それぞれ
以下のような課題を有していた。スリット法は、画像の
各点の情報（濃淡値、微分値など）を一方の軸に射影し
た後に顔のパーツの位置（ｘ座標、ｙ座標）を探索する
もので、大まかな位置を短い処理時間で探索するには適
しているが、各パーツの正確な位置を見つけるには適さ
ない。また、一方の軸方向の濃淡変化のみによって各座
標値を決めているため、メガネの有無などの影響を除去
することも難しい。例えば、濃淡変動が、目の存在によ
って生じたのか、メガネのフレームの影響によるものな
のかを一方の軸に射影された情報だけを使って区別する
ことは困難であると考えられる。However, each of the above-mentioned prior arts has the following problems. The slit method searches the position (x-coordinate, y-coordinate) of a face part after projecting information (shade value, differential value, etc.) of each point of an image on one axis, and short processing of rough positions Suitable for searching by time, but not for finding the exact location of each part. In addition, since each coordinate value is determined only by a change in shading in one axial direction, it is difficult to remove the influence of the presence or absence of glasses. For example, it may be difficult to distinguish whether the grayscale variation is caused by the presence of the eyes or the influence of the frame of the glasses using only the information projected on one axis.
【００１０】一方、テンプレートマッチング法は、濃淡
パターンの情報を使って各パーツの探索を行なってお
り、スリット法よりも正確な位置を見つけることが可能
である。しかしながら抽出しようとするパターン以外の
パターンとテンプレートがマッチしてしまうことも多
い。例えば、テンプレートマッチング法を用いて、１８
０枚の免許証写真の目の位置を抽出する実験を行なった
ところ、２５枚の免許証写真に関しては口の位置や鼻の
下の影や眉を誤って目として抽出した。また、上記特開
平５−１７４１４９号公報では顔全体の領域のパターン
をテンプレートとしてマッチングを行なう例が挙げられ
ているが顔全体のパターンを利用するのみでは、顔の大
まかな位置しか検出できず、顔の大きさ、傾きの正規化
のための情報としては不十分である。On the other hand, in the template matching method, each part is searched for using the information of the grayscale pattern, and it is possible to find a more accurate position than the slit method. However, there are many cases where the template matches a pattern other than the pattern to be extracted. For example, using a template matching method, 18
When an experiment was performed to extract the positions of the eyes of 0 license photos, the position of the mouth, the shadow under the nose, and the eyebrows were erroneously extracted as the eyes for the 25 license photos. Also, Japanese Patent Application Laid-Open No. 5-174149 discloses an example in which matching is performed using a pattern of the entire face area as a template. However, using only the entire face pattern can only detect a rough position of the face. The information is not sufficient for normalizing the size and inclination of the face.
【００１１】上記特開平７−３１１８３３号公報に開示
された方法では、天地方向の濃淡変動、候補領域の形状
特徴、輝度特徴を使って目、口の候補領域を定めた後、
人物の顔のパーツの配置に関する先見知識を使って最終
的な判断を行なっており、スリット法、テンプレートマ
ッチング法に比べて探索精度が向上するものと考えられ
る。しかし、目や口の濃淡パターン／形状は、眉、メガ
ネのフレームの一部、鼻や口の下の影などに類似してお
り、濃淡変動、候補領域の形状特徴、輝度特徴をもとに
目や口を探索する場合、上記類似領域を誤抽出してしま
う可能性も高い。また、上記類似領域の存在位置は、目
や口の位置と類似している場合もあり、目、口の位置関
係に関する先見知識をうまく活かすことも困難である。In the method disclosed in the above-mentioned Japanese Patent Application Laid-Open No. Hei 7-31833, after the shading variation in the vertical direction, the shape feature and the brightness feature of the candidate area, and the eye and mouth candidate areas are determined,
The final judgment is made using the a priori knowledge regarding the arrangement of the parts of the face of the person, and it is considered that the search accuracy is improved as compared with the slit method and the template matching method. However, the shading pattern / shape of the eyes and mouth is similar to the eyebrows, part of the frame of the glasses, the shadow under the nose and mouth, etc., and is based on shading, the shape characteristics of the candidate area, and the brightness characteristics. When searching for an eye or a mouth, there is a high possibility that the similar region is erroneously extracted. In addition, the location of the similar region may be similar to the position of the eyes and the mouth, and it is difficult to make good use of the prior knowledge regarding the positional relationship between the eyes and the mouth.
【００１２】[0012]
【発明が解決しようとする課題】従って、上記従来の構
成では、目、口を精度良く探索することは困難で、誤っ
て抽出された目の位置などを用いて顔の大きさ、傾きを
正規化しても、不正確な結果しか得ることができないと
いう課題を有している。Therefore, it is difficult to accurately search for the eyes and mouth in the above-described conventional configuration, and the size and inclination of the face can be normalized using the positions of the eyes that are erroneously extracted. However, there is a problem that only inaccurate results can be obtained.
【００１３】本発明は、前記従来の課題を解決するもの
で、眉、メガネのフレームの一部、鼻や口の下の影など
を誤抽出を抑制しながら精度良く目、口の位置を抽出す
ることを目的とする。The present invention solves the above-mentioned conventional problems, and accurately extracts the positions of the eyes and mouth while suppressing erroneous extraction of eyebrows, a part of the frame of glasses, shadows under the nose and mouth, and the like. The purpose is to do.
【００１４】[0014]
【課題を解決するための手段】この課題を解決するため
に本発明は、鼻画像パターンをテンプレートとし、画像
全体あるいは画像中の指定された領域を走査し最もマッ
チする位置を鼻の位置として出力する鼻探索手段と画像
中鼻の位置よりも上の領域を目存在領域と考え、目画像
パターンをテンプレートとして目存在領域を走査してマ
ッチングをとり、ある閾値よりもマッチ度が大きい画素
の集合である目存在候補位置集合を求める目候補位置探
索手段と、上記目存在候補位置集合に含まれる画素を連
結領域に分割する目候補クラスタ生成手段と、上記目存
在候補クラスタ生成手段によって生成されたクラスタの
各代表画素の位置と上記鼻探索手段によって探索された
鼻の位置の間の距離を求め、その距離が最も短くなるク
ラスタを目の存在するクラスタであると決定する目クラ
スタ決定手段を設けたものである。In order to solve this problem, the present invention uses a nose image pattern as a template, scans the entire image or a designated area in the image, and outputs a position that best matches as a nose position. A set of pixels having a degree of matching greater than a certain threshold value, considering the region above the position of the nose in the image and the position of the nose in the image as an eye existing region, scanning the eye existing region using the eye image pattern as a template, and performing matching. Eye candidate position searching means for obtaining the eye existing candidate position set, eye candidate cluster generating means for dividing the pixels included in the eye existing candidate position set into connected areas, and eye candidate cluster generating means The distance between the position of each representative pixel of the cluster and the position of the nose searched by the nose search means is determined, and the cluster having the shortest distance is determined by the presence of eyes. Is provided with a eye cluster determining means for determining that the clusters that.
【００１５】上記構成により、目、口の領域は横方向に
細長い輝度の低い領域であり眉、メガネのフレームの一
部、鼻や口の下の影などのパターンと類似しており誤検
出の可能性が高い。これに対し鼻の領域は類似パターン
の領域が顔の中になく濃淡パターンのマッチングだけで
も高い精度で抽出可能である。この事実を利用して本発
明では、まず鼻の位置を決定しその情報に基づいて目、
口の位置を探索する。これにより、目、口の存在可能位
置を絞ることができ、眉、メガネのフレームの一部、鼻
や口の下の影などの影響による誤抽出を抑制しながら精
度良く目、口の位置を抽出することができる。According to the above configuration, the eye and mouth regions are elongated in the horizontal direction and have low luminance, and are similar to patterns such as eyebrows, a part of a frame of eyeglasses, and shadows under the nose and mouth. Probability is high. On the other hand, the nose region can be extracted with high accuracy only by matching a light and shade pattern since there is no similar pattern region in the face. In the present invention, utilizing this fact, the position of the nose is first determined, and the eyes,
Search for the position of the mouth. As a result, the possible positions of the eyes and the mouth can be narrowed, and the positions of the eyes and the mouth can be accurately determined while suppressing erroneous extraction due to the influence of the eyebrows, a part of the frame of the glasses, the shadow under the nose and the mouth. Can be extracted.
【００１６】[0016]
【発明の実施の形態】本発明の請求項１に記載の発明
は、テンプレートマッチングにより定められた鼻の位置
を基準にして、目の存在領域を決定し、目の存在領域内
でテンプレートマッチングにより目の存在候補位置を求
め、マッチ度と顔のパーツの位置関係の情報を用い目の
存在候補位置のうちから正しい目の位置を求めるように
したもので、誤検出の可能性の低い鼻の位置を基準にし
て目の位置を求めることにより、高精度な目の検出が可
能になるという作用を有する。According to the first aspect of the present invention, an eye-existing region is determined based on a position of a nose determined by template matching, and template matching is performed within the eye-existing region. Eye position candidate positions are obtained, and the correct eye position is calculated from the eye position candidate positions using information on the degree of matching and the positional relationship between the face parts. Obtaining the position of the eye with reference to the position has the effect of enabling highly accurate eye detection.
【００１７】請求項２に記載の発明は、テンプレートマ
ッチングにより定められた鼻の位置を基準にして、口の
存在領域を決定し、口の存在領域内でテンプレートマッ
チングにより口の存在候補位置を求め、マッチ度と顔の
パーツの位置関係の情報を用い口の存在候補位置のうち
から正しい口の位置を求めるようにしたもので、誤検出
の可能性の低い鼻の位置を基準にして口の位置を求める
ことにより、高精度な口の検出が可能になるという作用
を有する。According to a second aspect of the present invention, a mouth existence region is determined based on a nose position determined by template matching, and a mouth existence candidate position is obtained by template matching within the mouth existence region. It uses the information on the degree of match and the positional relationship between the face parts to determine the correct position of the mouth from the candidate positions of the mouth. Determining the position has the effect of enabling highly accurate mouth detection.
【００１８】請求項３に記載の発明は、鼻の位置より上
の領域を目の存在領域とし、目の存在領域内でのテンプ
レートマッチングの結果マッチ度が大きい点を目の存在
候補位置と考え、存在候補位置の集合をクラスタ分割し
た後、鼻に一番近いクラスタの中で最もマッチ度が大き
い位置を目の候補位置として求めている。誤検出の可能
性の低い鼻の位置を基準にして目の存在領域を設定し且
つ鼻に近いクラスタを目の存在候補位置と考えることに
より、最も発生しやすい眉と目との誤検出の可能性を防
いでおり、高精度な目の位置の検出が可能になるという
作用を有する。According to a third aspect of the present invention, an area above the position of the nose is defined as an eye presence area, and a point having a high degree of matching as a result of template matching in the eye presence area is regarded as an eye presence candidate position. After the set of existence candidate positions is divided into clusters, the position having the highest matching degree in the cluster closest to the nose is determined as the eye candidate position. By setting the eye existence region based on the position of the nose that is unlikely to be erroneously detected and considering the cluster near the nose as the candidate position of the eye, erroneous detection of eyebrows and eyes that are most likely to occur is possible. This has the effect that the eye position can be detected with high accuracy.
【００１９】請求項４に記載の発明は、鼻の位置より下
の領域を口の存在領域とし、口の存在領域内でのテンプ
レートマッチングの結果マッチ度が大きい点を口の存在
候補位置と考え、存在候補位置の集合をクラスタ分割し
た後、口に一番近いクラスタの中で最もマッチ度が大き
い位置を口の候補位置として求めている。誤検出の可能
性の低い鼻の位置を基準にして口の存在領域を設定し且
つ鼻に近いクラスタを口の存在候補位置と考えることに
より、最も発生しやすい口と口の下の陰影との誤検出の
可能性を防いでおり、高精度な口の位置の検出が可能に
なるという作用を有する。According to a fourth aspect of the present invention, a region below the position of the nose is defined as a mouth presence region, and a point having a high degree of matching as a result of template matching in the mouth presence region is regarded as a mouth presence candidate position. After the set of candidate positions is divided into clusters, the position having the highest matching degree in the cluster closest to the mouth is determined as the candidate position of the mouth. By setting the region where the mouth is present with reference to the position of the nose that is unlikely to be erroneously detected, and considering clusters near the nose as candidate positions for the presence of the mouth, the most likely occurrence of the mouth and the shadow below the mouth This prevents the possibility of erroneous detection and has the effect of enabling highly accurate detection of the position of the mouth.
【００２０】請求項５に記載の発明は、鼻の位置をテン
プレートマッチングによって求める際の前処理として、
顔全体の大まかな位置と大きさを見つけ、顔画像の切り
出しと大きさの正規化を行なったのち目の位置検出を行
うようにしたもので、顔の切り出しの段階で正規化をす
る事によって鼻と２つの目の位置検出の際にそれぞれ大
きさの正規化を考える必要がなくなり処理速度の向上を
図ることができるという作用を有する。According to a fifth aspect of the present invention, as a pre-process for determining the position of the nose by template matching,
This is to find the approximate position and size of the entire face, cut out the face image and normalize the size, and then detect the position of the eyes.By normalizing at the stage of cutting out the face, It is not necessary to consider the normalization of the size when detecting the position of the nose and the position of the two eyes, and the processing speed can be improved.
【００２１】請求項６に記載の発明は、鼻の位置をテン
プレートマッチングによって求める際の前処理として、
顔全体の大まかな位置と大きさを見つけ、顔画像の切り
出しと大きさの正規化を行った後、目の位置検出を行う
ようにしたもので、顔の切り出しの段階で正規化をする
事によって鼻と口の位置検出の際にそれぞれ大きさの正
規化を考える必要がなくなり処理速度の向上を図ること
ができるという作用を有する。According to a sixth aspect of the present invention, as a pre-process for determining the position of the nose by template matching,
After finding the approximate position and size of the entire face, extracting the face image and normalizing the size, then detecting the position of the eyes, it is necessary to normalize at the stage of extracting the face Accordingly, when detecting the positions of the nose and the mouth, it is not necessary to consider the normalization of the size, and the processing speed can be improved.
【００２２】請求項７に記載の発明は、鼻画像パターン
をテンプレートとし、画像全体あるいは画像中の指定さ
れた領域を走査し最もマッチする位置を鼻の位置として
出力する鼻探索手段と、画像中鼻の位置よりも上の領域
を目存在領域と考え、目画像パターンをテンプレートと
して目存在領域を走査してマッチングをとり、ある閾値
よりもマッチ度が大きい画素の集合である目候補位置集
合を求める目候補位置探索手段と、上記目候補位置集合
に含まれる画素を連結領域に分割する目候補クラスタ生
成手段と、上記目候補クラスタ生成手段によって生成さ
れたクラスタの各代表画素の位置と上記鼻探索手段によ
って探索された鼻の位置の間の距離を求め、その距離が
最も短くなるクラスタを目の存在するクラスタであると
決定する目クラスタ決定手段と、目クラスタ決定手段に
よって決定されたクラスタに含まれる画素の中で、目候
補位置探索手段で計算されたマッチ度が最も高いものを
求める目位置決定手段を具備するもので、誤検出の可能
性の低い鼻の位置を基準にして目の位置を求めることに
より、高精度な目の検出が可能になるという作用を有す
る。According to a seventh aspect of the present invention, there is provided a nose search means which scans the entire image or a designated area in the image using the nose image pattern as a template and outputs the best matching position as the nose position. Considering the region above the nose position as the eye existence region, scanning the eye existence region using the eye image pattern as a template and performing matching, an eye candidate position set that is a set of pixels having a degree of matching greater than a certain threshold value is obtained. Eye candidate position searching means to be obtained, eye candidate cluster generating means for dividing the pixels included in the eye candidate position set into connected regions, positions of respective representative pixels of the cluster generated by the eye candidate cluster generating means, and the nose Eye class for determining the distance between the positions of the nose searched by the search means and determining the cluster with the shortest distance as the cluster where the eye is located Determining means for determining a pixel having the highest degree of matching calculated by the eye candidate position searching means among the pixels included in the cluster determined by the eye cluster determining means; By obtaining the position of the eyes with reference to the position of the nose that is unlikely to be detected, it is possible to perform highly accurate eye detection.
【００２３】請求項８に記載の発明は、鼻画像パターン
をテンプレートとし、画像全体あるいは画像中の指定さ
れた領域を走査し最もマッチする位置を鼻の位置として
出力する鼻探索手段と、画像中鼻の位置よりも下の領域
を口存在領域と考え、口画像パターンをテンプレートと
して口存在領域を走査してマッチングをとり、ある閾値
よりもマッチ度が大きい画素の集合である口候補位置集
合を求める口候補位置探索手段と、口候補位置集合に含
まれる画素を連結領域に分割する口候補クラスタ生成手
段と、上記口候補クラスタ生成ステップによって生成さ
れたクラスタの各画素の代表位置と上記鼻探索ステップ
によって探索された鼻の位置の間の距離を求め、その距
離が最も短くなるクラスタを口の存在するクラスタであ
ると決定する口クラスタ決定手段と、口クラスタ決定ス
テップによって決定されたクラスタに含まれる点の中
で、口候補位置探索ステップで計算されたマッチ度が最
も高いものを求める口位置決定手段を具備するもので、
誤検出の可能性の低い鼻の位置を基準にして口の位置を
求めることにより、高精度な口の検出が可能になるとい
う作用を有する。According to an eighth aspect of the present invention, there is provided a nose search means for scanning a whole area of an image or a designated area in an image using a nose image pattern as a template, and outputting a position of best matching as a nose position. The region below the nose position is considered as a mouth existing region, and the mouth existing region is scanned and matched using the mouth image pattern as a template. Mouth candidate position searching means to be sought, mouth candidate cluster generating means for dividing pixels included in the mouth candidate position set into connected regions, representative position of each pixel of the cluster generated by the mouth candidate cluster generating step, and the nose search The distance between the positions of the nose searched in the step is determined, and the cluster having the shortest distance is determined as the cluster having the mouth. A static determination unit, among points included in the cluster determined by the mouth cluster determination step, those having a mouth position determining means for determining what the highest matching degree calculated by the mouth candidate position searching step,
Determining the position of the mouth with reference to the position of the nose that is unlikely to be erroneously detected has the effect of enabling highly accurate detection of the mouth.
【００２４】請求項９に記載の発明は、コンピュータに
より顔パーツを検出するプログラムを記録した記録媒体
であって、テンプレートマッチングにより定められた鼻
の位置を基準にして、目の存在領域を決定し、目の存在
領域内でテンプレートマッチングにより目の存在候補位
置を求め、マッチ度と顔のパーツの位置関係の情報を用
い目の存在候補位置のうちから正しい目の位置を求める
ようにしたもので、誤検出の可能性の低い鼻の位置を基
準にして目の位置を求めることにより、高精度な目の検
出が可能になるという作用を有する。According to a ninth aspect of the present invention, there is provided a recording medium on which a program for detecting a face part by a computer is recorded, wherein an eye existence area is determined based on a nose position determined by template matching. In the eye existence region, the eye existence candidate position is obtained by template matching, and the correct eye position is obtained from the eye existence candidate positions using information on the degree of matching and the positional relationship between the face parts. By obtaining the position of the eye with reference to the position of the nose where the possibility of erroneous detection is low, it is possible to perform highly accurate eye detection.
【００２５】請求項１０に記載の発明は、コンピュータ
により顔パーツを検出するプログラムを記録した記録媒
体であって、テンプレートマッチングにより定められた
鼻の位置を基準にして、口の存在領域を決定し、口の存
在領域内でテンプレートマッチングにより口の存在候補
位置を求め、マッチ度と顔のパーツの位置関係の情報を
用い口の存在候補位置のうちから正しい口の位置を求め
るようにしたもので、誤検出の可能性の低い鼻の位置を
基準にして口の位置を求めることにより、高精度な目の
検出が可能になるという作用を有する。According to a tenth aspect of the present invention, there is provided a recording medium on which a program for detecting a face part by a computer is recorded, wherein a region in which a mouth is located is determined based on a nose position determined by template matching. In the region where the mouth is present, the candidate position of the mouth is obtained by template matching, and the correct mouth position is obtained from the candidate positions of the mouth using information on the degree of matching and the positional relationship between the face parts. By obtaining the position of the mouth with reference to the position of the nose where the possibility of erroneous detection is low, it is possible to detect eyes with high accuracy.
【００２６】以下、本発明の実施の形態について、図１
から図３を用いて説明する。 （実施の形態１）図１は、本発明の実施の形態１におけ
る顔パーツ検出装置の構成図を示したものである。Hereinafter, an embodiment of the present invention will be described with reference to FIG.
This will be described with reference to FIG. (Embodiment 1) FIG. 1 shows a configuration diagram of a face part detecting apparatus according to Embodiment 1 of the present invention.
【００２７】図１において、１０１は入力画像を取り込
むビデオカメラ、１０２はカメラ信号をＡ／Ｄ変換する
Ａ／Ｄ変換器、１０３は本発明の検出方式のアルゴリズ
ムを実行するＣＰＵ、１０４はカメラから入力された画
像が格納される画像メモリ、１０５は鼻のテンプレート
画像が格納される鼻テンプレートメモリ、１０６は目の
テンプレート画像が格納される目テンプレートメモリ、
１０７は顔パーツ検出処理で使われる可能性のあるテン
プレートを記憶しておくハードディスク、１０８はＣＰ
Ｕ１０３の処理の中間結果を格納するメモリで、入力画
像の各画素毎に目テンプレートとの類似度、目候補領域
クラスタの識別子を記憶することができる。１０９はＣ
ＰＵ１０３の処理の中間結果である正規化した顔画像を
格納する顔画像メモリ、１１０はバスである。In FIG. 1, reference numeral 101 denotes a video camera for capturing an input image; 102, an A / D converter for A / D converting a camera signal; 103, a CPU for executing an algorithm of the detection method of the present invention; An image memory for storing an input image; 105, a nose template memory for storing a nose template image; 106, an eye template memory for storing an eye template image;
Reference numeral 107 denotes a hard disk that stores a template that may be used in the face part detection processing.
A memory for storing an intermediate result of the process of U103 can store the similarity with the eye template and the identifier of the eye candidate area cluster for each pixel of the input image. 109 is C
A face image memory 110 stores a normalized face image which is an intermediate result of the processing of the PU 103, and a bus 110.
【００２８】以下その動作を説明する。まず、ビデオカ
メラ１０１から入力された画像は、Ａ／Ｄ変換器１０２
によりディジタル化されて画像メモリ１０４に格納され
る。また、カメラ１０１によって取り込まれた画像と近
い撮影状況で撮影された鼻と目のテンプレートをハード
ディスク１０７から選び鼻テンプレートメモリ１０５、
目テンプレートメモリ１０６にそれぞれ格納する。ＣＰ
Ｕ１０３では、顔パーツ検出方式を使って画像メモリ１
０４に記憶されている画像から顔領域を切り出し、大き
さ傾きを正規化して顔画像メモリ１０９に格納する。さ
らに、ＣＰＵ１０３は、顔パーツ検出方式を使って画像
メモリ１０４に記憶されている画像から目の位置を検出
する。その際テンプレートとしては鼻テンプレートメモ
リ１０５、目テンプレートメモリ１０６に記憶されてい
るものが使用される。The operation will be described below. First, an image input from the video camera 101 is input to an A / D converter 102.
And stored in the image memory 104. Further, a nose and eye template photographed in a photographing situation close to the image captured by the camera 101 is selected from the hard disk 107, and a nose template memory 105,
Each is stored in the eye template memory 106. CP
In U103, the image memory 1 is used by using the face part detection method.
The face area is cut out from the image stored in the image memory 04, the size gradient is normalized, and stored in the face image memory 109. Further, the CPU 103 detects the position of the eyes from the image stored in the image memory 104 using the face part detection method. At this time, templates stored in the nose template memory 105 and the eye template memory 106 are used.
【００２９】以下、ＣＰＵ１０３で行なわれる顔パーツ
検出装置の動作について、図２に示す動作フロー図を用
いて説明する。Hereinafter, the operation of the face part detecting apparatus performed by the CPU 103 will be described with reference to an operation flowchart shown in FIG.
【００３０】画像入力ステップ２００は、カメラ１０１
によって取り込まれた画像と近い撮影状況で撮影された
鼻と目のテンプレートをハードディスク１０７から選び
鼻テンプレートメモリ１０５、目テンプレートメモリ１
０６にそれぞれ格納する。The image input step 200 includes the camera 101
Nose template memory 105, eye template memory 1
06 respectively.
【００３１】顔画像切出しステップ２０１は、画像メモ
リ１０４に格納された画像から顔の部分を大まかに切り
出す。切り出す方法としては、背景差分をとる方法、顔
領域のテンプレートマッチングを行なう方法、肌いろを
検出する方法などがある。The face image extracting step 201 roughly extracts a face portion from the image stored in the image memory 104. As a method of extracting, there are a method of obtaining a background difference, a method of performing template matching of a face region, and a method of detecting skin color.
【００３２】正規化ステップ２０２は、次に切り出され
た領域が予め定められた大きさになるように拡大縮小変
換を行ない、結果を顔画像メモリ１０９に格納する。ま
た、顔画像メモリ１０９に格納された画像は大きさが正
規化されており、鼻の存在位置もある程度特定すること
ができる。したがって鼻の存在予想領域を先見知識を使
って予め定めておくことにする。In the normalization step 202, the next cut-out area is scaled so as to have a predetermined size, and the result is stored in the face image memory 109. The size of the image stored in the face image memory 109 is normalized, and the position of the nose can be specified to some extent. Therefore, the nose existence expected area is determined in advance using the foresight knowledge.
【００３３】鼻探索ステップ２０３は、鼻画像パターン
をテンプレートとし、画像全体あるいは画像中の指定さ
れた領域（鼻の存在予想領域）を走査し、最もマッチす
る位置を鼻の位置として出力する。目候補位置探索ステ
ップ２０４は、画像中鼻の位置よりも上の領域を目存在
領域と考え、目画像パターンをテンプレートとして上記
目存在領域を走査してマッチングをとり、ある閾値より
もマッチ度が大きい位置を目候補位置として算出する目
候補クラスタ生成ステップ２０５は、目候補位置探索ス
テップ２０４によって算出された目候補位置集合に含ま
れる点を連結領域に分割する。目クラスタ決定ステップ
２０６は、目候補クラスタ生成ステップ２０５によって
生成されたクラスタの各代表位置と上記鼻探索ステップ
によって探索された鼻の位置の間の距離を求め、その距
離が最も短くなるクラスタを目の存在するクラスタであ
ると決定する。The nose search step 203 scans the entire image or a designated area (predicted nose existence area) in the image using the nose image pattern as a template, and outputs the most matching position as the nose position. The eye candidate position search step 204 considers an area above the position of the nose in the image as an eye existence area, scans the above-mentioned eye existence area using the eye image pattern as a template, and performs matching. An eye candidate cluster generation step 205 of calculating a large position as an eye candidate position divides points included in the eye candidate position set calculated in the eye candidate position search step 204 into connected regions. The eye cluster determination step 206 finds a distance between each representative position of the cluster generated in the eye candidate cluster generation step 205 and the position of the nose searched in the nose search step, and determines the cluster having the shortest distance. It is determined that the cluster exists.
【００３４】目位置決定ステップ２０７は、目クラスタ
決定ステップ２０６によって決定されたクラスタに含ま
れる画素の中で、目候補位置探索ステップ２０４で計算
されたマッチ度が最も高いものを見つける。The eye position determining step 207 finds a pixel having the highest degree of matching calculated in the eye candidate position searching step 204 among the pixels included in the cluster determined in the eye cluster determining step 206.
【００３５】以下、これらの各ステップにおける動作を
詳細に説明する。まず、顔画像切出しステップ２０１
は、画像の中から肌色の領域を抽出し、その領域に含ま
れる画素の位置を出力する。例えば、表色系としてＨＶ
Ｓ系を使いＨ軸（色相）の値が予め定められた値（顔の
色に対応する値）に近い画素の位置を顔の領域に含まれ
る画素の位置として出力する。Hereinafter, the operation in each of these steps will be described in detail. First, face image extraction step 201
Extracts a skin color region from an image and outputs the positions of pixels included in the region. For example, HV as a color system
Using the S system, the position of a pixel whose H-axis (hue) value is close to a predetermined value (a value corresponding to the color of the face) is output as the position of a pixel included in the face area.
【００３６】正規化ステップ２０２は、顔画像切出しス
テップ２０１によって切り出された領域の面積（領域に
含まれる画素数）が予め定められた値に一致するように
拡大・縮小変換を行う。In the normalizing step 202, enlargement / reduction conversion is performed so that the area (the number of pixels included in the area) of the area cut out in the face image cutting step 201 matches a predetermined value.
【００３７】鼻探索ステップ２０３では、顔画像メモリ
１０９の画像の各画素の近傍領域Ｖ＝（Ｖｉ）と鼻テン
プレートメモリ１０５に格納されている鼻のテンプレー
トＴ＝（Ｔｉ）との相互相関係数を（数２）により算出
し、In the nose search step 203, the cross-correlation coefficient between the neighboring area V = (Vi) of each pixel of the image in the face image memory 109 and the nose template T = (Ti) stored in the nose template memory 105 is obtained. Is calculated by (Equation 2),
【００３８】[0038]
【数２】 (Equation 2)
【００３９】相互相関係数が最大になる画素（鼻の位
置）を見つける。但し（数２）で、Ｎは近傍領域とテン
プレートの画素数である。Find the pixel (nose position) where the cross-correlation coefficient is maximum. However, in (Equation 2), N is the number of pixels in the neighborhood area and the template.
【００４０】目候補位置探索ステップ２０４では、鼻探
索ステップ２０３で見つけられた鼻の位置より上の領域
を目存在領域と考え、目テンプレートメモリ１０６に格
納されている目の濃淡パターンをテンプレートとして上
記目存在領域を走査して各画素毎に（数２）に基づいて
相互相関係数を算出し、メモリ１０８にに格納する。In the eye candidate position search step 204, an area above the nose position found in the nose search step 203 is considered as an eye existence area, and the shade pattern of the eyes stored in the eye template memory 106 is used as a template. The eye existence region is scanned, a cross-correlation coefficient is calculated for each pixel based on (Equation 2), and stored in the memory 108.
【００４１】更に、目候補位置探索ステップ２０４で
は、メモリ１０８に格納された相互相関係数の値の最大
値Ｍと最小値ｍを用い（数３）によって閾値ＴｈFurther, in the eye candidate position search step 204, the threshold value Th is obtained by using the maximum value M and the minimum value m of the cross-correlation coefficient stored in the memory 108 (Equation 3).
【００４２】[0042]
【数３】 (Equation 3)
【００４３】を定め（Ｒは予め定められた値であり０＜
Ｒ＜１を満たしているである）、閾値Ｔより大きい相互
相関係数を持つ点を目候補位置として見つける。(R is a predetermined value and 0 <
R <1), and a point having a cross-correlation coefficient larger than the threshold value T is found as an eye candidate position.
【００４４】目候補クラスタ生成ステップ２０５では、
目候補位置探索ステップ２０４によって見つけられた目
候補位置の画素の集合を連結領域に分割し、各クラスタ
の識別子の値を画素毎にメモリ１０８に格納する。クラ
スタの識別子は、１以上の整数とし、どのクラスタにも
属さない画素（目候補位置として選ばれなかった画素）
の識別子の値は０とする。In the eye candidate cluster generation step 205,
The set of pixels at the eye candidate position found in the eye candidate position search step 204 is divided into connected regions, and the value of the identifier of each cluster is stored in the memory 108 for each pixel. The cluster identifier is an integer of 1 or more, and pixels that do not belong to any cluster (pixels not selected as eye candidate positions)
Is 0.
【００４５】目クラスタ決定ステップ２０６では、メモ
リ１０８に格納されている各クラスタを構成する画素の
情報をもとに各クラスタの代表位置を求め、それらの代
表位置と鼻探索ステップ２０３によって探索された鼻の
位置の間の距離を求め、距離が最も短くなるクラスタを
目の存在するクラスタであると決定する。In the eye cluster determination step 206, the representative positions of each cluster are obtained based on the information of the pixels constituting each cluster stored in the memory 108, and the representative positions and the nose search step 203 are searched. The distance between the positions of the nose is determined, and the cluster having the shortest distance is determined to be the cluster where the eye exists.
【００４６】なお、代表位置はクラスタの重心位置を用
いてもよいし、クラスタを構成する画素に対応する相互
相関係数の値がクラスタ内で最も大きい画素の位置を用
いても良い。As the representative position, the position of the center of gravity of the cluster may be used, or the position of the pixel having the largest value of the cross-correlation coefficient corresponding to the pixels constituting the cluster may be used.
【００４７】目位置決定ステップ２０７では、目クラス
タ決定ステップ２０６によって決定されたクラスタに含
まれる画素の中で、対応する相互相関係数の値が最も高
い画素を見つけその座標を目の位置として出力する。In the eye position determining step 207, a pixel having the highest value of the corresponding cross-correlation coefficient among the pixels included in the cluster determined in the eye cluster determining step 206 is found, and its coordinates are output as the eye position. I do.
【００４８】具体的な検出例を図３を用いて説明する。
目候補クラスタ生成ステップ２０５では、目候補位置探
索ステップ２０４によって見つけられた目候補位置の画
素の集合を連結領域に分割する。図３に示すように、連
結領域は目の位置だけでなく、眉の位置にも存在する場
合がある。また、最もマッチ度の高い点が眉の連結領域
に含まれることもある。そこで目クラスタ決定ステップ
２０６により正しく目の位置を見つける。目クラスタ決
定ステップ２０６では、各クラスタ毎に最もマッチ度が
高い画素の位置（：クラスタの代表位置（図３では×印
で示した））を見つけ、それらの位置と鼻探索ステップ
２０３によって探索された鼻の位置との距離を求め、距
離が最も短くなるクラスタを目の存在するクラスタと決
定する。目は眉より鼻に近い位置にあるのでこの処理に
より、目のクラスタを正しく選択することができる。A specific detection example will be described with reference to FIG.
In the eye candidate cluster generation step 205, a set of pixels at the eye candidate position found in the eye candidate position search step 204 is divided into connected regions. As shown in FIG. 3, the connection region may exist not only at the position of the eye but also at the position of the eyebrows. In addition, the point with the highest matching degree may be included in the eyebrow connection area. Therefore, the eye position is correctly found by the eye cluster determination step 206. In the eye cluster determination step 206, the position of the pixel with the highest matching degree (: representative position of the cluster (indicated by an X mark in FIG. 3)) is found for each cluster, and these positions and the nose search step 203 are searched. The distance to the position of the nose is determined, and the cluster having the shortest distance is determined as the cluster where the eyes are present. Since the eyes are located closer to the nose than the eyebrows, this process allows the eye cluster to be correctly selected.
【００４９】[0049]
【発明の効果】以上の様に、本発明では、精度良く抽出
可能な鼻の位置の情報を使って、目、口の抽出を行なう
ことにより、眉、メガネのフレームの一部、鼻や口の下
の影などの影響による誤抽出を抑え、高精度な抽出が実
現できる。As described above, according to the present invention, the eye and the mouth are extracted by using the information of the position of the nose which can be accurately extracted, so that the eyebrows, a part of the frame of the glasses, the nose and the mouth are extracted. This prevents erroneous extraction due to the influence of shadows under the image, and realizes highly accurate extraction.
【００５０】また、顔全体の大まかな位置、大きさを求
めておき、顔全体を正規化した後に目、口を抽出するこ
とにより、探索精度が向上する。Further, the approximate position and size of the entire face are obtained, and the eyes and the mouth are extracted after normalizing the entire face, thereby improving the search accuracy.
【図１】本発明の実施の形態１における顔パーツ検出装
置の構成図FIG. 1 is a configuration diagram of a face part detection device according to a first embodiment of the present invention.
【図２】本発明の実施の形態１における顔パーツ検出装
置の動作フロー図FIG. 2 is an operation flowchart of the face part detection device according to the first embodiment of the present invention.
【図３】検出例を示す図FIG. 3 is a diagram showing a detection example.
【図４】従来方法の顔パーツ検出方法を示す動作フロー
図FIG. 4 is an operation flowchart showing a face part detection method according to a conventional method.
１０１ ビデオカメラ １０２ Ａ／Ｄ変換器 １０３ ＣＰＵ １０４ 画像メモリ １０５ 鼻テンプレートメモリ １０６ 目テンプレートメモリ １０７ ハードディスク １０８ メモリ １０９ 顔画像メモリ １１０ バス 101 Video Camera 102 A / D Converter 103 CPU 104 Image Memory 105 Nose Template Memory 106 Eye Template Memory 107 Hard Disk 108 Memory 109 Face Image Memory 110 Bus
Claims (10)
た鼻の位置を基準にして、目の存在領域を決定し、前記
目の存在領域内でテンプレートマッチングにより目の存
在候補位置を求め、マッチ度と顔のパーツの位置関係の
情報を用い目の存在候補位置のうちから正しい目の位置
を求めることを特徴とする顔パーツ検出方法。1. An eye existence region is determined based on a nose position determined by template matching, an eye existence candidate position is obtained by template matching in the eye existence region, and a match degree and a face degree are determined. A face part detection method, wherein a correct eye position is obtained from eye candidate positions using information on a positional relationship between parts.
た鼻の位置を基準にして、口の存在領域を決定し、口の
存在領域内でテンプレートマッチングにより口の存在候
補位置を求め、マッチ度と顔のパーツの位置関係の情報
を用い口の存在候補位置のうちから正しい口の位置を求
めることを特徴とする顔パーツ検出方法。2. A mouth existence region is determined based on a nose position determined by template matching, a mouth existence candidate position is determined by template matching within the mouth existence region, and a match degree and a face part are determined. A face part detection method, wherein a correct mouth position is determined from candidate mouth positions using information on the positional relationship of the face.
し、目の存在領域内でのテンプレートマッチングの結果
マッチ度が大きい点を目の存在候補位置と考え、存在候
補位置の集合をクラスタ分割した後、鼻に一番近いクラ
スタの中で最もマッチ度が大きい位置を目の候補位置と
して求めることを特徴とする請求項１記載の顔パーツ検
出方法。3. A region above the nose position is defined as an eye existence region, and a point having a high degree of matching as a result of template matching in the eye existence region is considered as an eye existence candidate position. 2. The face part detecting method according to claim 1, wherein, after the cluster division, a position having the highest matching degree among the clusters closest to the nose is obtained as an eye candidate position.
し、口の存在領域内でのテンプレートマッチングの結果
マッチ度が大きい点を口の存在候補位置と考え、存在候
補位置の集合をクラスタ分割した後、口に一番近いクラ
スタの中で最もマッチ度が大きい位置を口の候補位置と
して求めることを特徴とする請求項１記載の顔パーツ検
出方法。4. A region below the nose position is defined as a mouth existence region, and a point having a high degree of matching as a result of template matching within the mouth existence region is considered as a mouth existence candidate position. 2. The face part detection method according to claim 1, wherein, after the cluster division, a position having the highest matching degree among the clusters closest to the mouth is obtained as a mouth candidate position.
って求める際の前処理として、顔全体の大まかな位置と
大きさを見つけ、顔画像の切り出しと大きさの正規化を
行なうことを特徴とする請求項１記載の顔パーツ検出方
法。5. The method according to claim 1, wherein a rough position and a size of the entire face are found, and a face image is cut out and the size is normalized as a pre-processing for obtaining the position of the nose by template matching. 1. The method for detecting face parts according to item 1.
って求める際の前処理として、顔全体の大まかな位置と
大きさを見つけ、顔画像の切り出しと大きさの正規化を
行なうことを特徴とする請求項２記載の顔パーツ検出方
法。6. The pre-processing for determining the position of the nose by template matching is to find the approximate position and size of the entire face, cut out the face image and normalize the size. 2. The face part detection method according to 2.
る顔領域粗探索手段と、前記顔領域粗探索手段の結果を
もとに顔画像を大まかに切り出し、顔画像の大きさを予
め定められた大きさに変換する顔画像正規化手段と、前
記顔画像正規化手段の結果得られた画像に鼻画像パター
ンをテンプレートとし、画像全体あるいは画像中の指定
された領域を走査し最もマッチする位置を鼻の位置とし
て出力する鼻探索手段と、画像中鼻の位置よりも上の領
域を目存在領域と考え、目画像パターンをテンプレート
として目存在領域を走査してマッチングをとり、マッチ
度が大きい画素の集合である目候補位置集合を求める目
候補位置探索手段と、目候補位置集合に含まれる画素を
連結領域に分割する目候補クラスタ生成手段と、上記目
候補クラスタ生成手段によって生成されたクラスタの各
代表画素の位置と上記鼻探索手段によって探索された鼻
の位置の間の距離を求め、その距離が最も短くなるクラ
スタを目の存在するクラスタであると決定する目クラス
タ決定手段と、目クラスタ決定手段によって決定された
クラスタに含まれる画素の中で、目候補位置探索手段で
計算されたマッチ度が最も高いものを求める目位置決定
手段とからなることを特徴とする顔パーツ検出装置。7. A rough face area search means for finding a rough position and size of the entire face, and a face image is roughly cut out based on the result of the rough face area search means, and the size of the face image is determined in advance. A face image normalizing unit for converting the image into a given size, and a nose image pattern as a template for the image obtained as a result of the face image normalizing unit. A nose search unit that outputs the position as a nose position, and an area above the nose position in the image is regarded as an eye existing area, and the eye existing area is scanned and matched using the eye image pattern as a template. Eye candidate position searching means for obtaining an eye candidate position set which is a set of large pixels; eye candidate cluster generating means for dividing pixels included in the eye candidate position set into connected regions; The distance between the position of each representative pixel of the cluster generated by the step and the position of the nose searched by the nose search means is determined, and the cluster having the shortest distance is determined to be the cluster where the eye exists. A cluster determining means, and an eye position determining means for obtaining a pixel having the highest degree of matching calculated by the eye candidate position searching means among the pixels included in the cluster determined by the eye cluster determining means. Face parts detection device.
る顔領域粗探索手段と、前記顔領域粗探索手段の結果を
もとに顔画像を大まかに切り出し、顔画像の大きさを予
め定められた大きさに変換する顔画像正規化手段と、前
記顔画像正規化手段の結果得られた画像に鼻画像パター
ンをテンプレートとし、画像全体あるいは画像中の指定
された領域を走査し最もマッチする位置を鼻の位置とし
て出力する鼻探索手段と、画像中鼻の位置よりも下の領
域を口存在領域と考え、口画像パターンをテンプレート
として口存在領域を走査してマッチングをとり、ある閾
値よりもマッチ度が大きい画素の集合である口候補位置
集合を求める口候補位置探索手段と、上記口候補位置集
合に含まれる点を連結領域に分割する口候補クラスタ生
成手段と、上記口候補クラスタ生成手段によって生成さ
れたクラスタの各代表画素の位置と上記鼻探索手段によ
って探索された鼻の位置の間の距離を求め、その距離が
最も短くなるクラスタを口の存在するクラスタであると
決定する口クラスタ決定手段と、口クラスタ決定手段に
よって決定されたクラスタに含まれる点の中で、口候補
位置探索ステップで計算されたマッチ度が最も高いもの
を求める口位置決定手段からなることを特徴とする顔パ
ーツ検出装置。8. A rough face area search means for finding a rough position and size of the entire face, and a face image is roughly cut out based on the result of the rough face area search means, and the size of the face image is determined in advance. A face image normalizing unit for converting the image into a given size, and a nose image pattern as a template for the image obtained as a result of the face image normalizing unit. A nose search unit that outputs the position as the position of the nose, and a region below the position of the nose in the image is considered as a mouth existing region, and the mouth existing region is scanned and matched using the mouth image pattern as a template, and a matching is performed. A mouth candidate position searching means for obtaining a mouth candidate position set which is a set of pixels having a high degree of matching; a mouth candidate cluster generating means for dividing a point included in the mouth candidate position set into a connected region; The distance between the position of each representative pixel of the cluster generated by the complementary cluster generating means and the position of the nose searched by the nose searching means is obtained, and the cluster having the shortest distance is regarded as the cluster having the mouth. The mouth cluster determining means to be determined and the mouth position determining means for finding the highest matching degree calculated in the mouth candidate position searching step among the points included in the cluster determined by the mouth cluster determining means. Characterized face parts detection device.
プログラムを記録した記録媒体であって、テンプレート
マッチングにより定められた鼻の位置を基準にして、目
の存在領域を決定し、目の存在領域内でテンプレートマ
ッチングにより目の存在候補位置を求め、マッチ度と顔
のパーツの位置関係の情報を用い目の存在候補位置のう
ちから正しい目の位置を求めることを特徴とする顔パー
ツ検出プログラムを記録した記録媒体。9. A recording medium on which a program for detecting a face part by a computer is recorded, wherein an eye existence area is determined based on a position of a nose determined by template matching. A face part detection program characterized by finding candidate eye positions by template matching and finding the correct eye position from candidate eye positions using information on the degree of matching and the positional relationship between face parts. recoding media.
るプログラムを記録した記録媒体であって、テンプレー
トマッチングにより定められた鼻の位置を基準にして、
口の存在領域を決定し、口の存在領域内でテンプレート
マッチングにより口の存在候補位置を求め、マッチ度と
顔のパーツの位置関係の情報を用い口の存在候補位置の
うちから正しい口の位置を求める顔パーツ検出プログラ
ムを記録した記録媒体。10. A recording medium recording a program for detecting a face part by a computer, wherein a nose position determined by template matching is used as a reference.
Determine the region where the mouth is located, find the candidate position of the mouth by template matching within the region where the mouth is located, and use the information on the degree of matching and the positional relationship between the face parts to determine the correct position of the mouth from the candidate positions of the mouth. A recording medium on which a face part detection program for obtaining a face is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10274925A JP2000105829A (en) | 1998-09-29 | 1998-09-29 | Method and device for face parts image detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10274925A JP2000105829A (en) | 1998-09-29 | 1998-09-29 | Method and device for face parts image detection |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000105829A true JP2000105829A (en) | 2000-04-11 |
Family
ID=17548464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10274925A Pending JP2000105829A (en) | 1998-09-29 | 1998-09-29 | Method and device for face parts image detection |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000105829A (en) |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007087346A (en) * | 2005-09-26 | 2007-04-05 | Canon Inc | Information processing device, control method therefor, computer program, and memory medium |
| JP2007087345A (en) * | 2005-09-26 | 2007-04-05 | Canon Inc | Information processing device, control method therefor, computer program, and memory medium |
| JP2008191785A (en) * | 2007-02-01 | 2008-08-21 | Toyota Motor Corp | Eye closure detection apparatus, doze detection apparatus, eye closure detection method, and program for eye closure detection |
| JP2008209969A (en) * | 2007-02-23 | 2008-09-11 | Aisin Seiki Co Ltd | Apparatus for detecting face feature point, method of detecting face feature point, and program |
| JP2009237620A (en) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | Detection of face area and organ area in image |
| EP2391115A2 (en) | 2010-05-24 | 2011-11-30 | Canon Kabushiki Kaisha | Image processing apparatus, control method, and program |
| US8374439B2 (en) | 2008-06-25 | 2013-02-12 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and computer-readable print medium |
| US8391595B2 (en) | 2006-05-26 | 2013-03-05 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| US8442315B2 (en) | 2010-07-16 | 2013-05-14 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US8457397B2 (en) | 2010-07-16 | 2013-06-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US8532431B2 (en) | 2007-05-08 | 2013-09-10 | Canon Kabushiki Kaisha | Image search apparatus, image search method, and storage medium for matching images with search conditions using image feature amounts |
| US8542928B2 (en) | 2005-09-26 | 2013-09-24 | Canon Kabushiki Kaisha | Information processing apparatus and control method therefor |
| US9002107B2 (en) | 2010-07-16 | 2015-04-07 | Canon Kabushiki Kaisha | Color balance correction based on skin color and highlight color |
| US9014487B2 (en) | 2012-07-09 | 2015-04-21 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| CN104573704A (en) * | 2013-10-09 | 2015-04-29 | 爱信精机株式会社 | Eye part detection apparatus and method |
| US9189681B2 (en) | 2012-07-09 | 2015-11-17 | Canon Kabushiki Kaisha | Image processing apparatus, method thereof, and computer-readable storage medium |
| US9208595B2 (en) | 2012-07-09 | 2015-12-08 | Canon Kabushiki Kaisha | Apparatus, image processing method and storage medium storing program |
| US9214027B2 (en) | 2012-07-09 | 2015-12-15 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9275270B2 (en) | 2012-07-09 | 2016-03-01 | Canon Kabushiki Kaisha | Information processing apparatus and control method thereof |
| US9280720B2 (en) | 2012-07-09 | 2016-03-08 | Canon Kabushiki Kaisha | Apparatus, method, and computer-readable storage medium |
| US9292760B2 (en) | 2012-07-09 | 2016-03-22 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9299177B2 (en) | 2012-07-09 | 2016-03-29 | Canon Kabushiki Kaisha | Apparatus, method and non-transitory computer-readable medium using layout similarity |
| US9436706B2 (en) | 2013-09-05 | 2016-09-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium for laying out images |
| US9501688B2 (en) | 2012-07-09 | 2016-11-22 | Canon Kabushiki Kaisha | Apparatus, processing method and storage medium storing program |
| US9509870B2 (en) | 2013-09-05 | 2016-11-29 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium enabling layout varations |
| US9519842B2 (en) | 2012-07-09 | 2016-12-13 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9542594B2 (en) | 2013-06-28 | 2017-01-10 | Canon Kabushiki Kaisha | Information processing apparatus, method for processing information, and program |
| US9558212B2 (en) | 2012-07-09 | 2017-01-31 | Canon Kabushiki Kaisha | Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information |
| US9563823B2 (en) | 2012-07-09 | 2017-02-07 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9846681B2 (en) | 2012-07-09 | 2017-12-19 | Canon Kabushiki Kaisha | Apparatus and method for outputting layout image |
| US9904879B2 (en) | 2013-09-05 | 2018-02-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| US10013395B2 (en) | 2012-07-09 | 2018-07-03 | Canon Kabushiki Kaisha | Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images |
| CN111461073A (en) * | 2020-05-06 | 2020-07-28 | 深圳市梦网视讯有限公司 | Reverse face detection method, system and equipment based on nose positioning |
-
1998
- 1998-09-29 JP JP10274925A patent/JP2000105829A/en active Pending
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007087345A (en) * | 2005-09-26 | 2007-04-05 | Canon Inc | Information processing device, control method therefor, computer program, and memory medium |
| JP2007087346A (en) * | 2005-09-26 | 2007-04-05 | Canon Inc | Information processing device, control method therefor, computer program, and memory medium |
| US8542928B2 (en) | 2005-09-26 | 2013-09-24 | Canon Kabushiki Kaisha | Information processing apparatus and control method therefor |
| US8391595B2 (en) | 2006-05-26 | 2013-03-05 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| JP2008191785A (en) * | 2007-02-01 | 2008-08-21 | Toyota Motor Corp | Eye closure detection apparatus, doze detection apparatus, eye closure detection method, and program for eye closure detection |
| JP2008209969A (en) * | 2007-02-23 | 2008-09-11 | Aisin Seiki Co Ltd | Apparatus for detecting face feature point, method of detecting face feature point, and program |
| US8532431B2 (en) | 2007-05-08 | 2013-09-10 | Canon Kabushiki Kaisha | Image search apparatus, image search method, and storage medium for matching images with search conditions using image feature amounts |
| JP2009237620A (en) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | Detection of face area and organ area in image |
| US8374439B2 (en) | 2008-06-25 | 2013-02-12 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and computer-readable print medium |
| US8639030B2 (en) | 2010-05-24 | 2014-01-28 | Canon Kabushiki Kaisha | Image processing using an adaptation rate |
| EP2391115A2 (en) | 2010-05-24 | 2011-11-30 | Canon Kabushiki Kaisha | Image processing apparatus, control method, and program |
| US9398282B2 (en) | 2010-05-24 | 2016-07-19 | Canon Kabushiki Kaisha | Image processing apparatus, control method, and computer-readable medium |
| US8457397B2 (en) | 2010-07-16 | 2013-06-04 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US8442315B2 (en) | 2010-07-16 | 2013-05-14 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US8842914B2 (en) | 2010-07-16 | 2014-09-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US8934712B2 (en) | 2010-07-16 | 2015-01-13 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US9002107B2 (en) | 2010-07-16 | 2015-04-07 | Canon Kabushiki Kaisha | Color balance correction based on skin color and highlight color |
| US9406003B2 (en) | 2010-07-16 | 2016-08-02 | Canon Kabushiki Kaisha | Image processing with color balance correction |
| US9275270B2 (en) | 2012-07-09 | 2016-03-01 | Canon Kabushiki Kaisha | Information processing apparatus and control method thereof |
| US9519842B2 (en) | 2012-07-09 | 2016-12-13 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9208595B2 (en) | 2012-07-09 | 2015-12-08 | Canon Kabushiki Kaisha | Apparatus, image processing method and storage medium storing program |
| US9214027B2 (en) | 2012-07-09 | 2015-12-15 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US10127436B2 (en) | 2012-07-09 | 2018-11-13 | Canon Kabushiki Kaisha | Apparatus, image processing method and storage medium storing program |
| US9280720B2 (en) | 2012-07-09 | 2016-03-08 | Canon Kabushiki Kaisha | Apparatus, method, and computer-readable storage medium |
| US9292760B2 (en) | 2012-07-09 | 2016-03-22 | Canon Kabushiki Kaisha | Apparatus, method, and non-transitory computer-readable medium |
| US9299177B2 (en) | 2012-07-09 | 2016-03-29 | Canon Kabushiki Kaisha | Apparatus, method and non-transitory computer-readable medium using layout similarity |
| US10055640B2 (en) | 2012-07-09 | 2018-08-21 | Canon Kabushiki Kaisha | Classification of feature information into groups based upon similarity, and apparatus, image processing method, and computer-readable storage medium thereof |
| US9014487B2 (en) | 2012-07-09 | 2015-04-21 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US10013395B2 (en) | 2012-07-09 | 2018-07-03 | Canon Kabushiki Kaisha | Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images |
| US9501688B2 (en) | 2012-07-09 | 2016-11-22 | Canon Kabushiki Kaisha | Apparatus, processing method and storage medium storing program |
| US9852325B2 (en) | 2012-07-09 | 2017-12-26 | Canon Kabushiki Kaisha | Apparatus, image processing method and storage medium storing program |
| US9189681B2 (en) | 2012-07-09 | 2015-11-17 | Canon Kabushiki Kaisha | Image processing apparatus, method thereof, and computer-readable storage medium |
| US9846681B2 (en) | 2012-07-09 | 2017-12-19 | Canon Kabushiki Kaisha | Apparatus and method for outputting layout image |
| US9558212B2 (en) | 2012-07-09 | 2017-01-31 | Canon Kabushiki Kaisha | Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information |
| US9563823B2 (en) | 2012-07-09 | 2017-02-07 | Canon Kabushiki Kaisha | Apparatus and method for managing an object extracted from image data |
| US9542594B2 (en) | 2013-06-28 | 2017-01-10 | Canon Kabushiki Kaisha | Information processing apparatus, method for processing information, and program |
| US9509870B2 (en) | 2013-09-05 | 2016-11-29 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium enabling layout varations |
| US9904879B2 (en) | 2013-09-05 | 2018-02-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
| US9436706B2 (en) | 2013-09-05 | 2016-09-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium for laying out images |
| US9646215B2 (en) | 2013-10-09 | 2017-05-09 | Aisin Seiki Kabushiki Kaisha | Eye part detection apparatus |
| CN104573704A (en) * | 2013-10-09 | 2015-04-29 | 爱信精机株式会社 | Eye part detection apparatus and method |
| EP2860663A3 (en) * | 2013-10-09 | 2015-06-03 | Aisin Seiki Kabushiki Kaisha | Eye part detection apparatus |
| CN111461073A (en) * | 2020-05-06 | 2020-07-28 | 深圳市梦网视讯有限公司 | Reverse face detection method, system and equipment based on nose positioning |
| CN111461073B (en) * | 2020-05-06 | 2023-12-08 | 深圳市梦网视讯有限公司 | Reverse face detection method, system and equipment based on nose positioning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000105829A (en) | Method and device for face parts image detection | |
| KR100480781B1 (en) | Method of extracting teeth area from teeth image and personal identification method and apparatus using teeth image | |
| KR101971866B1 (en) | Method and apparatus for detecting object in moving image and storage medium storing program thereof | |
| US8170368B2 (en) | Correcting device and method for perspective transformed document images | |
| US7929728B2 (en) | Method and apparatus for tracking a movable object | |
| US8879847B2 (en) | Image processing device, method of controlling image processing device, and program for enabling computer to execute same method | |
| US9092868B2 (en) | Apparatus for detecting object from image and method therefor | |
| JP2000132688A (en) | Method and device for detecting parts of face | |
| JP2002259994A (en) | Automatic image pattern detecting method and image processor | |
| TW201437925A (en) | Object identification device, method, and storage medium | |
| US7869632B2 (en) | Automatic trimming method, apparatus and program | |
| JP2002342756A (en) | Method for detecting position of eye and mouth in digital image | |
| WO2009114967A1 (en) | Motion scan-based image processing method and device | |
| JP4226247B2 (en) | Image processing device | |
| US8300927B2 (en) | Mouth removal method for red-eye detection and correction | |
| JP2012068948A (en) | Face attribute estimating apparatus and method therefor | |
| CN112507767B (en) | Face recognition method and related computer system | |
| JP2011107878A (en) | Position detection apparatus and position detection method | |
| JP2006285959A (en) | Learning method of face recognition device, and method, device and program for face recognition | |
| JPH11306348A (en) | Method and device for object detection | |
| JPH08190690A (en) | Method for determining number plate | |
| JP5051671B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2006244385A (en) | Face-discriminating apparatus, program and learning method for the apparatus | |
| TW200527319A (en) | Chin detecting method, chin detecting system and chin detecting program for a chin of a human face | |
| JP2013029996A (en) | Image processing device |