JP2000105829A - Method and device for face parts image detection - Google Patents

Method and device for face parts image detection

Info

Publication number
JP2000105829A
JP2000105829A JP10274925A JP27492598A JP2000105829A JP 2000105829 A JP2000105829 A JP 2000105829A JP 10274925 A JP10274925 A JP 10274925A JP 27492598 A JP27492598 A JP 27492598A JP 2000105829 A JP2000105829 A JP 2000105829A
Authority
JP
Japan
Prior art keywords
position
nose
eye
mouth
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10274925A
Other languages
Japanese (ja)
Inventor
Kenji Nagao
Masayoshi Soma
正宜 相馬
健司 長尾
Original Assignee
Matsushita Electric Ind Co Ltd
松下電器産業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Ind Co Ltd, 松下電器産業株式会社 filed Critical Matsushita Electric Ind Co Ltd
Priority to JP10274925A priority Critical patent/JP2000105829A/en
Publication of JP2000105829A publication Critical patent/JP2000105829A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To precisely extract the position of the eyes and mouth while suppressing misextraction of shades below the eyebrows, the frame of spectacles, the nose, and the mouth by determining the position of the eyes based on the position of the nose determined by template matching and finding candidate positions for the eyes in the position the eyes. SOLUTION: The part of the face is cut out of an image stored in an image memory 104. Then a specified area in the image is scanned by using a nose image pattern as a template and the most matching position is outputted as the position of the nose. Then it is considered that area above the position of the nose in the image is the eye area and the eye area is scanned by using an eye image pattern as a template and matched to calculate the positions where the matching degree is larger than a threshold as eye candidate positions. Dots included in the calculated eye candidate position set are divided into connection areas, the distances between respective representative positions of generated clusters and the position of the nose are found, and the cluster having the shortest distance is determined as the cluster where the eyes are present.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、画像中の顔のパーツ(目、鼻、口)の位置を検出する方法及びその装置に関するものである。 The present invention relates are those parts of the face in the image (eyes, nose, mouth) to a method and apparatus for detecting the position of.

【0002】 [0002]

【従来の技術】顔のパーツの位置の探索の技術は、顔画像を使ったセキュリティシステムの実現に必要不可欠な技術である。 Search of the technology of the position of the Prior Art] face of the parts is an essential technology to the realization of the security system that uses a face image. 2つの顔画像が同一人物のものであるかを比較する際、顔の濃淡パターンをベースにして抽出された顔の特徴が使用されることが多い。 When two face images are compared for those of the same person, it is often used facial features extracted in the base of the density pattern of the face. このような場合予め濃淡パターンの大きさ傾きなどを正規化しておかなければ正確な比較が非常に困難になる。 In advance of the density pattern size gradient and such cases be kept normalized accurate comparison becomes very difficult. 正確な正規化のためには、まず顔のパーツ(例えば左目と右目)の位置を探索し、それらの位置が予め定められた基準の位置に一致するように拡大/縮小、回転などの変換を施す。 For accurate normalization, first searches the position of the parts of the face (e.g. left and right eyes), enlargement / reduction to match the position of the reference their position is predetermined, the conversion of such rotational applied. したがって、顔のパーツの検出精度が非常に重要となる。 Therefore, the detection accuracy of the parts of the face is very important.

【0003】また、顔全体のパターンで比べるのではなく目、鼻、口といった顔の部分パターン毎に比較を行ないそれらの結果を統合して最終的な判断を行なう方法や、顔のパーツや特徴点の位置関係を用いて顔の比較を行なう方法も盛んに研究されている。 [0003] The face entire eye rather than comparing the pattern, the nose, and a method for performing performs comparison for each partial pattern of the face, such as the mouth integration to final judgment of the results, the face of the parts and features a method of using a positional relationship of the point to compare the face has been actively studied. このような場合にも顔のパーツの位置が正確に検出されているかどうかが認識精度に大きな影響を与える。 Whether such case in the position of the parts of the face has been detected accurately is a significant impact on recognition accuracy.

【0004】従来、顔のパーツの位置の探索に関しては、スリット法とテンプレートマッチング法が知られている。 [0004] Conventionally, with regard to the search for the position of parts of the face, slit method and the template matching method is known. スリット法とは、画像の各点の濃淡値(、微分値またはそれらを2値化した値)I(x,y)をx軸方向、y軸方向に射影して得られる次式の情報、 The slit method, the gray value of each point of the image (differential value or they binarized value) I (x, y) in the x-axis direction, the following expression information obtained by projecting the y-axis direction,

【0005】 [0005]

【数1】 [Number 1]

【0006】を使って顔のパーツの位置を探索する方法である。 [0006] using a method of searching for the location of the parts of the face. この方法は、坂井利之、長尾真、金出武雄、” This method, Toshiyuki Sakai, Shin Nagao, Takeo Kanade, "
計算機による顔写真の解析”、信学論D、56−D、 Analysis photograph of the face by a computer ", IEICE Transactions D, 56-D,
4、pp226−233(1973−04)に説明されている。 4 is described in pp226-233 (1973-04). また、特開平7−65149号公報、特開平7 Further, JP-A-7-65149, JP-A No. 7
−282227号公報に開示されている装置は、この方法を応用している。 Apparatus disclosed in -282227 discloses are applying this method.

【0007】テンプレートマッチング法とは、顔のパーツのパターンをテンプレートとして画像全体を走査し、 [0007] The template matching method, to scan the entire image of the pattern of the parts of the face as a template,
最もマッチする位置を見つける方法である。 It is a method to find the most matching position. 特開平5− JP-5
174149号公報に開示されている方法では、テンプレートマッチング法とモザイク化の方法を組み合わせることにより認識対象の位置を見つけている。 In the method disclosed in 174149 JP, it is finding the position of the recognition target by combining the method of template matching and mosaic. この発明では、認識対象となる物体画像を粗くモザイク化し、これを探索時の対象画像の特徴として用いて、未知の画像を走査しおおよその位置と大きさを見つける。 This invention, coarsely mosaic the object image to be recognized, and used as features of the search time of the target image, finding the approximate location and size by scanning the unknown image. 次に、認識対象となる物体画像を細かくモザイク化し、これを用いて、既に得られた大まかな位置付近を走査し、正確な位置と大きさを見つける。 Then, finely mosaic the object image to be recognized and used to scan the vicinity of previously obtained rough position, finding the exact location and size. さらに、認識対象物体の画像を細かくモザイク化し、未知画像のモザイクとのマッチングをとるものである。 Furthermore, finely mosaic image of the recognition target object is intended to take the matching with the mosaic of unknown images.

【0008】また、これら以外の方法としては、特開平7−311833号公報に開示されているものが挙げられる。 [0008] As a method other than the above include those disclosed in JP-A-7-311833. その処理フローチャートを図4に示し、説明する。 Shows the process flow chart in FIG. 4, it will be described. 401は目、口候補領域検出ステップ、402は目、口検出ステップ、403は顔領域検出ステップである。 401 eyes, mouth candidate region detection step, 402 eyes, mouth detection step, 403 is a face area detection step. 目、口候補領域検出ステップ401では、人物の顔が撮影されている画像中を、画像の天地方向に調べた時に、明るさが明から暗そして明に変化する点と、暗から明に変化する点で挟まれる領域を検出する。 Eyes, change in the mouth candidate region detection step 401, through the image face of the person is photographed, when examined in the vertical direction of the image, a point which changes the light to dark and bright brightness, the dark to light detecting a region between in that. 目、口検出ステップ402は、目、口候補領域検出ステップ401 Eyes, mouth detection step 402, the eyes, mouth candidate region detection step 401
で検出された候補領域から、領域の形状特徴と領域内の輝度特徴が人物の目、人物の口に近い領域をそれぞれ取り出す。 From in the detected candidate region, the luminance characteristics in the shape features of regions and areas taken eye of the person, the area close to the mouth of the person, respectively. 顔領域検出ステップ403では、目、口検出ステップ402で検出された目の候補領域から2つ、口の候補領域から1つ重複せずに任意に組み合わせて、人物の顔らしい配置をなしている組み合わせを取り出して顔候補領域として検出する。 In the face area detection step 403, the eyes, two from the detected eye candidate region at the mouth detection step 402, in any combination without overlapping one from the mouth of the candidate region, and has an arrangement likely human face Remove the combination is detected as a face candidate region.

【0009】しかしながら、前記従来技術は、それぞれ以下のような課題を有していた。 However, the prior art has respectively have the following problems. スリット法は、画像の各点の情報(濃淡値、微分値など)を一方の軸に射影した後に顔のパーツの位置(x座標、y座標)を探索するもので、大まかな位置を短い処理時間で探索するには適しているが、各パーツの正確な位置を見つけるには適さない。 Slit method, for each point of the image information (gray value, etc. differential value) in which to search for the position of the face of the part after the projection on one of the axis (x-coordinate, y-coordinate), short treatment rough position It is suitable to explore in time, not suitable for finding the exact position of each part. また、一方の軸方向の濃淡変化のみによって各座標値を決めているため、メガネの有無などの影響を除去することも難しい。 Further, since the determined coordinate values ​​by only shading change in one axial direction, it is difficult to remove the influence of presence or absence of glasses. 例えば、濃淡変動が、目の存在によって生じたのか、メガネのフレームの影響によるものなのかを一方の軸に射影された情報だけを使って区別することは困難であると考えられる。 For example, shading variations, whether caused by the presence of the eye, it is considered to be difficult to distinguish using only information that the whether the been projected on one axis and the impact of the eyeglass frame.

【0010】一方、テンプレートマッチング法は、濃淡パターンの情報を使って各パーツの探索を行なっており、スリット法よりも正確な位置を見つけることが可能である。 On the other hand, the template matching method uses the information of the density pattern and conduct a search for each part, it is possible to find the precise location than the slit method. しかしながら抽出しようとするパターン以外のパターンとテンプレートがマッチしてしまうことも多い。 However, the pattern and the template other than the pattern to be extracted resulting in a match many. 例えば、テンプレートマッチング法を用いて、18 For example, using a template matching method, 18
0枚の免許証写真の目の位置を抽出する実験を行なったところ、25枚の免許証写真に関しては口の位置や鼻の下の影や眉を誤って目として抽出した。 It was conducted an experiment to extract a 0 sheet of the license position of the eyes of the photograph, with respect to 25 pieces of the driver's license photo was extracted as the eye by mistake a shadow or eyebrow under the position and the nose of the mouth. また、上記特開平5−174149号公報では顔全体の領域のパターンをテンプレートとしてマッチングを行なう例が挙げられているが顔全体のパターンを利用するのみでは、顔の大まかな位置しか検出できず、顔の大きさ、傾きの正規化のための情報としては不十分である。 Also, in only an example in which performing matching listed patterns of the entire region face as a template using the pattern of the entire face is the Japanese Patent 5-174149 discloses, not only detect a rough position of the face, the size of the face is insufficient as information for the normalization of the slope.

【0011】上記特開平7−311833号公報に開示された方法では、天地方向の濃淡変動、候補領域の形状特徴、輝度特徴を使って目、口の候補領域を定めた後、 [0011] After the above-mentioned Japanese Laid-Open 7-311833 discloses the method disclosed, which defines the circumferential direction of the gray variation, the shape features of the candidate region, the eye with the luminance characteristic, a candidate region of the mouth,
人物の顔のパーツの配置に関する先見知識を使って最終的な判断を行なっており、スリット法、テンプレートマッチング法に比べて探索精度が向上するものと考えられる。 And conduct a final judgment using priori knowledge about the arrangement of parts of a person's face, a slit method, search accuracy is considered to be improved as compared with the template matching method. しかし、目や口の濃淡パターン/形状は、眉、メガネのフレームの一部、鼻や口の下の影などに類似しており、濃淡変動、候補領域の形状特徴、輝度特徴をもとに目や口を探索する場合、上記類似領域を誤抽出してしまう可能性も高い。 However, density pattern / shape of the eyes and mouth, eyebrows, a part of the eyeglass frame is similar like the shadow under the nose and mouth, shading variations, shape feature of the candidate area, based on the luminance characteristic when searching for the eyes and mouth, high possibility of erroneous extracts the similar region. また、上記類似領域の存在位置は、目や口の位置と類似している場合もあり、目、口の位置関係に関する先見知識をうまく活かすことも困難である。 The presence position of the similar region is sometimes similar to the position of the eyes and mouth, eyes, it is also difficult to utilize successfully priori knowledge about the position relationship of the mouth.

【0012】 [0012]

【発明が解決しようとする課題】従って、上記従来の構成では、目、口を精度良く探索することは困難で、誤って抽出された目の位置などを用いて顔の大きさ、傾きを正規化しても、不正確な結果しか得ることができないという課題を有している。 [SUMMARY OF THE INVENTION Therefore, in the conventional configuration, the eyes, mouth accurately search it difficult, erroneously extracted eyes by using a position size of the face, the inclination normal be turned into, there is a problem that it is only possible to obtain inaccurate results.

【0013】本発明は、前記従来の課題を解決するもので、眉、メガネのフレームの一部、鼻や口の下の影などを誤抽出を抑制しながら精度良く目、口の位置を抽出することを目的とする。 [0013] The present invention is the one that solves the conventional problem, extract eyebrows, a portion of the eyeglass frame, precisely eyes while suppressing erroneous extraction and shadows under the nose and mouth, the position of the mouth an object of the present invention is to.

【0014】 [0014]

【課題を解決するための手段】この課題を解決するために本発明は、鼻画像パターンをテンプレートとし、画像全体あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する鼻探索手段と画像中鼻の位置よりも上の領域を目存在領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が大きい画素の集合である目存在候補位置集合を求める目候補位置探索手段と、上記目存在候補位置集合に含まれる画素を連結領域に分割する目候補クラスタ生成手段と、上記目存在候補クラスタ生成手段によって生成されたクラスタの各代表画素の位置と上記鼻探索手段によって探索された鼻の位置の間の距離を求め、その距離が最も短くなるクラスタを目の存在 Means for Solving the Problems The present invention to solve this problem, it outputs a nose image pattern as a template, the entire image or specified region by scanning the most matched position in the image as the position of the nose considered eye presence region an area above the position of the nose searching means and an image in the nose to take the matching by scanning the eye presence region an eye image pattern as a template, a set of pixels matching degree is greater than a certain threshold eye candidate cluster generation means for dividing the eye candidate position search means for obtaining an eye presence candidate position set, the pixel connected region included in the first presence candidate position set is, generated by the first presence candidate cluster generation means It obtains the distance between the position of the nose which is searched by the position and the nose searching means of each representative pixel cluster, the presence of eye clusters whose distance is the shortest るクラスタであると決定する目クラスタ決定手段を設けたものである。 Is provided with a eye cluster determining means for determining that the clusters that.

【0015】上記構成により、目、口の領域は横方向に細長い輝度の低い領域であり眉、メガネのフレームの一部、鼻や口の下の影などのパターンと類似しており誤検出の可能性が高い。 [0015] With this configuration, the eye, the area of ​​the mouth are lower elongated laterally luminance region eyebrows, the spectacle frame part, nose and the like shadows under the mouth pattern similar to and misdetection Probability is high. これに対し鼻の領域は類似パターンの領域が顔の中になく濃淡パターンのマッチングだけでも高い精度で抽出可能である。 In contrast region of the nose it can be extracted at high just matching without shading patterns in regions of similar patterns of the face accuracy. この事実を利用して本発明では、まず鼻の位置を決定しその情報に基づいて目、 In the present invention utilizes this fact, first determine the position of the nose eyes on the basis of that information,
口の位置を探索する。 To explore the position of the mouth. これにより、目、口の存在可能位置を絞ることができ、眉、メガネのフレームの一部、鼻や口の下の影などの影響による誤抽出を抑制しながら精度良く目、口の位置を抽出することができる。 Thus, the eye, it is possible to narrow the possible existence position of the mouth, eyebrows, a part of the eyeglass frame, accurately while suppressing erroneous extraction by influence of the shadow under the nose and mouth eyes, mouth positions it can be extracted.

【0016】 [0016]

【発明の実施の形態】本発明の請求項1に記載の発明は、テンプレートマッチングにより定められた鼻の位置を基準にして、目の存在領域を決定し、目の存在領域内でテンプレートマッチングにより目の存在候補位置を求め、マッチ度と顔のパーツの位置関係の情報を用い目の存在候補位置のうちから正しい目の位置を求めるようにしたもので、誤検出の可能性の低い鼻の位置を基準にして目の位置を求めることにより、高精度な目の検出が可能になるという作用を有する。 The invention according to claim 1 of the embodiment of the present invention, based on the position of the nose defined by template matching, to determine the existence region of the eye, by template matching in the eye presence region for the presence candidate position of the eye, obtained by to obtain the correct position of the eyes from among the existing candidate positions eyes using information on the position relationship between the matching degree and the face parts, a low possibility of erroneous detection nose by determining the position of the eye position with respect to the, it has an effect of enabling highly accurate eye detection.

【0017】請求項2に記載の発明は、テンプレートマッチングにより定められた鼻の位置を基準にして、口の存在領域を決定し、口の存在領域内でテンプレートマッチングにより口の存在候補位置を求め、マッチ度と顔のパーツの位置関係の情報を用い口の存在候補位置のうちから正しい口の位置を求めるようにしたもので、誤検出の可能性の低い鼻の位置を基準にして口の位置を求めることにより、高精度な口の検出が可能になるという作用を有する。 [0017] The invention according to claim 2, based on the position of the nose defined by template matching, to determine the existence region of the mouth, for the presence candidate position of the mouth by template matching within the existing area of ​​the mouth , which was to seek the correct position of the mouth of the presence candidate position of port using information on the position relationship between the matching degree and the face parts, based on the position of the low probability of false detection nose mouth by obtaining the position, an effect that allows detection of high accuracy mouth.

【0018】請求項3に記載の発明は、鼻の位置より上の領域を目の存在領域とし、目の存在領域内でのテンプレートマッチングの結果マッチ度が大きい点を目の存在候補位置と考え、存在候補位置の集合をクラスタ分割した後、鼻に一番近いクラスタの中で最もマッチ度が大きい位置を目の候補位置として求めている。 [0018] According to a third aspect of the invention, the area above the position of the nose and the eye presence region, the eye presence candidate position and consider the point of eyes results matching degree is larger template matching in the presence in the area of after set cluster split of existence candidate position, seeking the best match of a large position in the closest cluster to the nose as a candidate positions of the eyes. 誤検出の可能性の低い鼻の位置を基準にして目の存在領域を設定し且つ鼻に近いクラスタを目の存在候補位置と考えることにより、最も発生しやすい眉と目との誤検出の可能性を防いでおり、高精度な目の位置の検出が可能になるという作用を有する。 By considering the near and sets the presence area of ​​the eyes and the position of the low probability of false detection nose reference nose cluster with the presence candidate position of the eyes, possible erroneous detection of the most prone eyebrows and eyes and prevent gender, an effect that allows detection of the position of the precision eye.

【0019】請求項4に記載の発明は、鼻の位置より下の領域を口の存在領域とし、口の存在領域内でのテンプレートマッチングの結果マッチ度が大きい点を口の存在候補位置と考え、存在候補位置の集合をクラスタ分割した後、口に一番近いクラスタの中で最もマッチ度が大きい位置を口の候補位置として求めている。 [0019] According to a fourth aspect of the invention, the region below the position of the nose and the presence area of ​​the mouth, there candidate position and ideas results matching degree is larger point mouth template matching in the existing area of ​​the mouth after collection Clustering the existence candidate position, seeking the highest degree of matching is greater position in the closest cluster mouth as a candidate position of the mouth. 誤検出の可能性の低い鼻の位置を基準にして口の存在領域を設定し且つ鼻に近いクラスタを口の存在候補位置と考えることにより、最も発生しやすい口と口の下の陰影との誤検出の可能性を防いでおり、高精度な口の位置の検出が可能になるという作用を有する。 By considering the near and sets the presence area of ​​the mouth to the position of the low probability of false detection nose reference nose cluster with the presence candidate position of the mouth, the shadow under the most prone mouth and mouth and preventing the possibility of erroneous detection, an effect that allows detection of the position of the high-precision mouth.

【0020】請求項5に記載の発明は、鼻の位置をテンプレートマッチングによって求める際の前処理として、 [0020] The invention according to claim 5, as a pretreatment for obtaining the position of the nose by the template matching,
顔全体の大まかな位置と大きさを見つけ、顔画像の切り出しと大きさの正規化を行なったのち目の位置検出を行うようにしたもので、顔の切り出しの段階で正規化をする事によって鼻と2つの目の位置検出の際にそれぞれ大きさの正規化を考える必要がなくなり処理速度の向上を図ることができるという作用を有する。 Find the approximate location and size of the entire face, which was to perform the later-th position detection performed normalized cut and the size of the face image, by which the normalization in the stage of cutting out a face an effect that it is possible to improve the nose and it is unnecessary processing speed considering the normalization of each size in the two eye position detection.

【0021】請求項6に記載の発明は、鼻の位置をテンプレートマッチングによって求める際の前処理として、 [0021] The invention according to claim 6, as preprocessing for obtaining the position of the nose by the template matching,
顔全体の大まかな位置と大きさを見つけ、顔画像の切り出しと大きさの正規化を行った後、目の位置検出を行うようにしたもので、顔の切り出しの段階で正規化をする事によって鼻と口の位置検出の際にそれぞれ大きさの正規化を考える必要がなくなり処理速度の向上を図ることができるという作用を有する。 Find the approximate location and size of the entire face, after the normalization of the cut and the size of the face image, which has to perform the position detection of the eye, making the normalization at the stage of cutting out a face an effect that it is possible to improve it is unnecessary processing speed considering the normalized magnitude each time position detection of the nose and mouth by.

【0022】請求項7に記載の発明は、鼻画像パターンをテンプレートとし、画像全体あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する鼻探索手段と、画像中鼻の位置よりも上の領域を目存在領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が大きい画素の集合である目候補位置集合を求める目候補位置探索手段と、上記目候補位置集合に含まれる画素を連結領域に分割する目候補クラスタ生成手段と、上記目候補クラスタ生成手段によって生成されたクラスタの各代表画素の位置と上記鼻探索手段によって探索された鼻の位置の間の距離を求め、その距離が最も短くなるクラスタを目の存在するクラスタであると決定する目クラス [0022] The invention according to claim 7, the nose image pattern as a template, and the nose searching means for outputting the specified scanning the region best match location in the entire image or image as the position of the nose, in the image considered eye presence region an area above the position of the nose, take matching by scanning the eye presence region an eye image pattern as a template, the eye candidate position set is a set of pixels having large matching degree than a certain threshold eye candidate position search means for obtaining said first candidate and the eye candidate cluster generation means for dividing the pixel into coupling area included in the position set, position and the nose of each representative pixel of clusters generated by the first candidate cluster generation means obtains the distance between the position of the nose which is searched by the search means, eye class to determine its distance is clusters present eyes shortest cluster 決定手段と、目クラスタ決定手段によって決定されたクラスタに含まれる画素の中で、目候補位置探索手段で計算されたマッチ度が最も高いものを求める目位置決定手段を具備するもので、誤検出の可能性の低い鼻の位置を基準にして目の位置を求めることにより、高精度な目の検出が可能になるという作用を有する。 Determining means, among the pixels included in the cluster determined by the eye cluster determining unit, those having a eye position determination means for determining what the highest matching degree calculated by the eye candidate position searching means, false detection by then possible to lower the nose position in the reference determining the position of the eye, it has an effect of enabling highly accurate eye detection.

【0023】請求項8に記載の発明は、鼻画像パターンをテンプレートとし、画像全体あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する鼻探索手段と、画像中鼻の位置よりも下の領域を口存在領域と考え、口画像パターンをテンプレートとして口存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が大きい画素の集合である口候補位置集合を求める口候補位置探索手段と、口候補位置集合に含まれる画素を連結領域に分割する口候補クラスタ生成手段と、上記口候補クラスタ生成ステップによって生成されたクラスタの各画素の代表位置と上記鼻探索ステップによって探索された鼻の位置の間の距離を求め、その距離が最も短くなるクラスタを口の存在するクラスタであると決定する口ク [0023] The invention according to claim 8, the nose image pattern as a template, and the nose searching means for outputting the specified scanning the region best match location in the entire image or image as the position of the nose, in the image believed mouth existence region a region below the position of the nose, take matching by scanning the mouth existence area mouth image pattern as a template, the mouth candidate position set is a set of pixels having large matching degree than a certain threshold and mouth candidate position search means for obtaining, and mouth candidate cluster generating means for dividing pixels included in the mouth candidate position set in connection region, the representative position and the nose search of each pixel of the clusters generated by the port candidate cluster generation step obtains the distance between the position of the nose which is searched by step, determining that the cluster whose distance is present in the mouth shortest cluster mouth click スタ決定手段と、口クラスタ決定ステップによって決定されたクラスタに含まれる点の中で、口候補位置探索ステップで計算されたマッチ度が最も高いものを求める口位置決定手段を具備するもので、 A static determination unit, among points included in the cluster determined by the mouth cluster determination step, those having a mouth position determining means for determining what the highest matching degree calculated by the mouth candidate position searching step,
誤検出の可能性の低い鼻の位置を基準にして口の位置を求めることにより、高精度な口の検出が可能になるという作用を有する。 By determining the position of the mouth position of the low probability of false detection nose as a reference, has the effect that it becomes possible to detect with high precision the mouth.

【0024】請求項9に記載の発明は、コンピュータにより顔パーツを検出するプログラムを記録した記録媒体であって、テンプレートマッチングにより定められた鼻の位置を基準にして、目の存在領域を決定し、目の存在領域内でテンプレートマッチングにより目の存在候補位置を求め、マッチ度と顔のパーツの位置関係の情報を用い目の存在候補位置のうちから正しい目の位置を求めるようにしたもので、誤検出の可能性の低い鼻の位置を基準にして目の位置を求めることにより、高精度な目の検出が可能になるという作用を有する。 The invention described in claim 9 is the recording medium for recording a program for detecting a face part by a computer, the position of the nose defined by template matching based on to determine the existence region of the eye , for the presence candidate position of the eye by the template matching in the eye presence region, which was to determine a position of the right eye from among presence candidate position of eyes using information on the position relationship between the matching degree and face parts , an effect that by obtaining the position of the eyes relative to the position of the low probability of false detection nose allows highly accurate eye detection.

【0025】請求項10に記載の発明は、コンピュータにより顔パーツを検出するプログラムを記録した記録媒体であって、テンプレートマッチングにより定められた鼻の位置を基準にして、口の存在領域を決定し、口の存在領域内でテンプレートマッチングにより口の存在候補位置を求め、マッチ度と顔のパーツの位置関係の情報を用い口の存在候補位置のうちから正しい口の位置を求めるようにしたもので、誤検出の可能性の低い鼻の位置を基準にして口の位置を求めることにより、高精度な目の検出が可能になるという作用を有する。 [0025] The invention of claim 10 is a recording medium recording a program for detecting a face part by a computer, the position of the nose defined by template matching based on to determine the existence region of the mouth , for the presence candidate position of the mouth by template matching within the existing area of ​​the mouth, which was then to obtain the correct position of the mouth of the presence candidate position of port using information on the position relationship between the matching degree and face parts , an effect that by obtaining the position of the mouth relative to the position of the low probability of false detection nose allows highly accurate eye detection.

【0026】以下、本発明の実施の形態について、図1 [0026] Hereinafter, embodiments of the present invention, FIG. 1
から図3を用いて説明する。 It will be described with reference to FIG. 3. (実施の形態1)図1は、本発明の実施の形態1における顔パーツ検出装置の構成図を示したものである。 1 (Embodiment 1), there is shown a block diagram of a face part detecting apparatus according to a first embodiment of the present invention.

【0027】図1において、101は入力画像を取り込むビデオカメラ、102はカメラ信号をA/D変換するA/D変換器、103は本発明の検出方式のアルゴリズムを実行するCPU、104はカメラから入力された画像が格納される画像メモリ、105は鼻のテンプレート画像が格納される鼻テンプレートメモリ、106は目のテンプレート画像が格納される目テンプレートメモリ、 [0027] In FIG. 1, 101 a video camera for capturing an input image, 102 denotes an A / D converter for a camera signal converted A / D, 103 are CPU, 104 to perform an algorithm of detection method of the present invention from the camera image memory input image is stored, the nose template memory the template image of the nose is stored 105, the eye template memory eye template image is stored 106,
107は顔パーツ検出処理で使われる可能性のあるテンプレートを記憶しておくハードディスク、108はCP 107 stores a template that may be used in a face part detecting process hard, 108 CP
U103の処理の中間結果を格納するメモリで、入力画像の各画素毎に目テンプレートとの類似度、目候補領域クラスタの識別子を記憶することができる。 Memory to store intermediate results of the processing of U103, similarity to the eye template for each pixel of the input image, it is possible to store the identifier of the eye candidate region cluster. 109はC 109 C
PU103の処理の中間結果である正規化した顔画像を格納する顔画像メモリ、110はバスである。 Face image memory for storing the normalized face image, which is an intermediate result of the processing of PU103, 110 denotes a bus.

【0028】以下その動作を説明する。 [0028] the operation thereof will be described below. まず、ビデオカメラ101から入力された画像は、A/D変換器102 First, the image input from the video camera 101, A / D converter 102
によりディジタル化されて画像メモリ104に格納される。 It is digitized and stored in the image memory 104 by. また、カメラ101によって取り込まれた画像と近い撮影状況で撮影された鼻と目のテンプレートをハードディスク107から選び鼻テンプレートメモリ105、 Also, select nasal template memory 105 the nose and eyes of the template taken in the captured image and close shooting conditions by the camera 101 from the hard disk 107,
目テンプレートメモリ106にそれぞれ格納する。 Respectively stored in the eye template memory 106. CP CP
U103では、顔パーツ検出方式を使って画像メモリ1 In U103, image memory 1 by using a face parts detection method
04に記憶されている画像から顔領域を切り出し、大きさ傾きを正規化して顔画像メモリ109に格納する。 04 cut a face area from the image stored, stores the size of inclination of the face image memory 109 is normalized. さらに、CPU103は、顔パーツ検出方式を使って画像メモリ104に記憶されている画像から目の位置を検出する。 Further, CPU 103 detects the position of the eyes from images stored in the image memory 104 using the face part detecting method. その際テンプレートとしては鼻テンプレートメモリ105、目テンプレートメモリ106に記憶されているものが使用される。 In that case as the template nasal template memory 105, which is stored in the eye template memory 106 are used.

【0029】以下、CPU103で行なわれる顔パーツ検出装置の動作について、図2に示す動作フロー図を用いて説明する。 [0029] The operation of the face part detecting apparatus performed in the CPU 103, will be described with reference to an operation flowchart shown in FIG.

【0030】画像入力ステップ200は、カメラ101 The image input step 200, camera 101
によって取り込まれた画像と近い撮影状況で撮影された鼻と目のテンプレートをハードディスク107から選び鼻テンプレートメモリ105、目テンプレートメモリ1 Select nasal template memory 105 the captured image and the close photographing availability captured nose and eyes of the template from the hard disk 107 by, eye template memory 1
06にそれぞれ格納する。 Respectively stored in 06.

【0031】顔画像切出しステップ201は、画像メモリ104に格納された画像から顔の部分を大まかに切り出す。 The face image cut-out step 201, roughly cut out portion of the face from an image stored in the image memory 104. 切り出す方法としては、背景差分をとる方法、顔領域のテンプレートマッチングを行なう方法、肌いろを検出する方法などがある。 As a method of cut out, and a method of detecting method, a method of performing a template matching of the face area, the skin color to take background subtraction.

【0032】正規化ステップ202は、次に切り出された領域が予め定められた大きさになるように拡大縮小変換を行ない、結果を顔画像メモリ109に格納する。 The normalization step 202, then the cut-out area is subjected to scaling transformation to become a predetermined size, and stores the result in the face image memory 109. また、顔画像メモリ109に格納された画像は大きさが正規化されており、鼻の存在位置もある程度特定することができる。 The image stored in the face image memory 109 is normalized in size, it can also be a certain degree of particularity location of the nose. したがって鼻の存在予想領域を先見知識を使って予め定めておくことにする。 Thus it is determined in advance of the presence prediction area of ​​the nose with a priori knowledge.

【0033】鼻探索ステップ203は、鼻画像パターンをテンプレートとし、画像全体あるいは画像中の指定された領域(鼻の存在予想領域)を走査し、最もマッチする位置を鼻の位置として出力する。 [0033] Nasal search step 203, the nose image pattern as a template, scans the designated area of ​​the entire image or in the image (the presence prediction area of ​​the nose), and outputs the best match to the position as the position of the nose. 目候補位置探索ステップ204は、画像中鼻の位置よりも上の領域を目存在領域と考え、目画像パターンをテンプレートとして上記目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が大きい位置を目候補位置として算出する目候補クラスタ生成ステップ205は、目候補位置探索ステップ204によって算出された目候補位置集合に含まれる点を連結領域に分割する。 Eye candidate position searching step 204, considered eye presence region an area above the position of the image in the nose, take matching by scanning the eye presence region an eye image pattern as a template, the matching degree than a certain threshold eye candidate cluster generation step 205 of calculating a position greater as eye candidate position divides the points contained in the eye candidate position set calculated by the eye candidate position search step 204 the connection area. 目クラスタ決定ステップ206は、目候補クラスタ生成ステップ205によって生成されたクラスタの各代表位置と上記鼻探索ステップによって探索された鼻の位置の間の距離を求め、その距離が最も短くなるクラスタを目の存在するクラスタであると決定する。 Eye cluster decision step 206 determines the distance between the position of the nose which is searched by the representative position and the nose search step of clusters generated by eye candidate cluster generation step 205, the eye clusters whose distance is the shortest and is a cluster in the presence of decision.

【0034】目位置決定ステップ207は、目クラスタ決定ステップ206によって決定されたクラスタに含まれる画素の中で、目候補位置探索ステップ204で計算されたマッチ度が最も高いものを見つける。 The eye position determination step 207, in a pixel included in the cluster determined by the eye cluster decision step 206, find the one with the highest matching degree calculated by the eye candidate position searching step 204.

【0035】以下、これらの各ステップにおける動作を詳細に説明する。 [0035] Hereinafter, the operation in each of these steps in detail. まず、顔画像切出しステップ201 First, the face image extraction step 201
は、画像の中から肌色の領域を抽出し、その領域に含まれる画素の位置を出力する。 Extracts the skin color region from the image, and outputs the position of the pixels included in the region. 例えば、表色系としてHV For example, HV as color system
S系を使いH軸(色相)の値が予め定められた値(顔の色に対応する値)に近い画素の位置を顔の領域に含まれる画素の位置として出力する。 The value of the H axis using the S system (hue) is output as the position of the pixels included the position of a pixel in the region of the face close to the predetermined value (a value corresponding to the color of the face).

【0036】正規化ステップ202は、顔画像切出しステップ201によって切り出された領域の面積(領域に含まれる画素数)が予め定められた値に一致するように拡大・縮小変換を行う。 The normalization step 202 performs scaling conversion so that the area of ​​the region extracted by the face image cutting step 201 (the number of pixels included in the area) is coincident with the predetermined value.

【0037】鼻探索ステップ203では、顔画像メモリ109の画像の各画素の近傍領域V=(Vi)と鼻テンプレートメモリ105に格納されている鼻のテンプレートT=(Ti)との相互相関係数を(数2)により算出し、 [0037] In the nose search step 203, cross-correlation coefficient between the = region near V of each pixel (Vi) and the nose template nose stored in the memory 105 a template T = (Ti) of the image of the face image memory 109 calculated by the equation (2),

【0038】 [0038]

【数2】 [Number 2]

【0039】相互相関係数が最大になる画素(鼻の位置)を見つける。 The cross-correlation coefficient to find maximized pixel (nose position). 但し(数2)で、Nは近傍領域とテンプレートの画素数である。 In However (number 2), N is the number of pixels neighboring region and the template.

【0040】目候補位置探索ステップ204では、鼻探索ステップ203で見つけられた鼻の位置より上の領域を目存在領域と考え、目テンプレートメモリ106に格納されている目の濃淡パターンをテンプレートとして上記目存在領域を走査して各画素毎に(数2)に基づいて相互相関係数を算出し、メモリ108にに格納する。 [0040] In the eye candidate position search step 204, considering the area above the eye presence region from the position of the nose found in nasal searching step 203, the shading pattern of the eye that is stored in the eye template memory 106 as a template scanning the eye presence region to calculate the cross-correlation coefficient based on the equation (2) for each pixel, it is stored in the memory 108.

【0041】更に、目候補位置探索ステップ204では、メモリ108に格納された相互相関係数の値の最大値Mと最小値mを用い(数3)によって閾値Th [0041] Furthermore, the eye candidate position search step 204, the threshold value Th by using the maximum value M and minimum value m of the stored cross-correlation coefficient values ​​in the memory 108 (the number 3)

【0042】 [0042]

【数3】 [Number 3]

【0043】を定め(Rは予め定められた値であり0< [0043] The set (R is at a predetermined value 0 <
R<1を満たしているである)、閾値Tより大きい相互相関係数を持つ点を目候補位置として見つける。 R <is meets 1), find a point with a threshold value T is greater than the cross-correlation coefficients as eye candidate position.

【0044】目候補クラスタ生成ステップ205では、 [0044] In the eye candidate cluster generation step 205,
目候補位置探索ステップ204によって見つけられた目候補位置の画素の集合を連結領域に分割し、各クラスタの識別子の値を画素毎にメモリ108に格納する。 The set of pixels that have been found eye candidate position by the eye candidate position search step 204 divides the connecting area, and stores the value of the identifier of each cluster in the memory 108 for each pixel. クラスタの識別子は、1以上の整数とし、どのクラスタにも属さない画素(目候補位置として選ばれなかった画素) Cluster identifier, one or more (pixels which are not selected as eye candidate position) is an integer, not belonging pixel any cluster
の識別子の値は0とする。 The value of the identifier is set to 0.

【0045】目クラスタ決定ステップ206では、メモリ108に格納されている各クラスタを構成する画素の情報をもとに各クラスタの代表位置を求め、それらの代表位置と鼻探索ステップ203によって探索された鼻の位置の間の距離を求め、距離が最も短くなるクラスタを目の存在するクラスタであると決定する。 [0045] In eyes cluster decision step 206 determines a representative position of each cluster based on the information of the pixels constituting each cluster stored in the memory 108, it is searched by their representative position and nose search step 203 obtains the distance between the position of the nose, the distance is determined to be the clusters present eyes shortest cluster.

【0046】なお、代表位置はクラスタの重心位置を用いてもよいし、クラスタを構成する画素に対応する相互相関係数の値がクラスタ内で最も大きい画素の位置を用いても良い。 [0046] The representative location may be used the position of the center of gravity of the cluster, the value of cross-correlation coefficient corresponding to the pixels that make up the cluster may be used the position of the largest pixel cluster.

【0047】目位置決定ステップ207では、目クラスタ決定ステップ206によって決定されたクラスタに含まれる画素の中で、対応する相互相関係数の値が最も高い画素を見つけその座標を目の位置として出力する。 [0047] In the eye position determination step 207, among the pixels included in the cluster determined by the eye cluster decision step 206, it outputs the coordinates to find the corresponding value is the highest pixel in the cross-correlation coefficient as the position of the eye to.

【0048】具体的な検出例を図3を用いて説明する。 [0048] The specific detection example will be described with reference to FIG.
目候補クラスタ生成ステップ205では、目候補位置探索ステップ204によって見つけられた目候補位置の画素の集合を連結領域に分割する。 In eye candidate cluster generation step 205, it divides the set of pixels that have been found eye candidate position by the eye candidate position search step 204 the connection area. 図3に示すように、連結領域は目の位置だけでなく、眉の位置にも存在する場合がある。 As shown in FIG. 3, the connecting region, not only the position of the eye, may be present in the position of the eyebrow. また、最もマッチ度の高い点が眉の連結領域に含まれることもある。 Also, sometimes the point highest degree of matching is included in the connection region of the eyebrow. そこで目クラスタ決定ステップ206により正しく目の位置を見つける。 Then find the correct eye position by eye cluster decision step 206. 目クラスタ決定ステップ206では、各クラスタ毎に最もマッチ度が高い画素の位置(:クラスタの代表位置(図3では×印で示した))を見つけ、それらの位置と鼻探索ステップ203によって探索された鼻の位置との距離を求め、距離が最も短くなるクラスタを目の存在するクラスタと決定する。 In eyes cluster decision step 206, the position of the best match of a high pixel for each cluster (: representative position of the cluster (indicated by × mark in FIG. 3)) found a, searched by their position and nose search step 203 was determined the distance between the position of the nose, the distance is determined to be shortest clusters eyes existing cluster. 目は眉より鼻に近い位置にあるのでこの処理により、目のクラスタを正しく選択することができる。 Eyes by this process because it is located closer to the nose than the eyebrow, it is possible to properly select the desired cluster.

【0049】 [0049]

【発明の効果】以上の様に、本発明では、精度良く抽出可能な鼻の位置の情報を使って、目、口の抽出を行なうことにより、眉、メガネのフレームの一部、鼻や口の下の影などの影響による誤抽出を抑え、高精度な抽出が実現できる。 As the foregoing, in the present invention, by using the information of the position of accurately extractable nose, eyes, by performing mouth extraction, eyebrows, a part of the eyeglass frame, nose or mouth suppressing erroneous extraction with influence of shadow under, highly accurate extraction can be realized.

【0050】また、顔全体の大まかな位置、大きさを求めておき、顔全体を正規化した後に目、口を抽出することにより、探索精度が向上する。 [0050] Further, rough position of the entire face, to previously obtain the magnitude eyes after normalizing the entire face, by extracting the mouth, search accuracy is improved.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の実施の形態1における顔パーツ検出装置の構成図 Block diagram of a face part detecting apparatus according to a first embodiment of the present invention; FIG

【図2】本発明の実施の形態1における顔パーツ検出装置の動作フロー図 Operation flowchart of the face part detecting apparatus in the first embodiment of the present invention; FIG

【図3】検出例を示す図 FIG. 3 shows an example of detection

【図4】従来方法の顔パーツ検出方法を示す動作フロー図 [Figure 4] operation flow diagram showing the face parts detection method of the conventional method

【符号の説明】 DESCRIPTION OF SYMBOLS

101 ビデオカメラ 102 A/D変換器 103 CPU 104 画像メモリ 105 鼻テンプレートメモリ 106 目テンプレートメモリ 107 ハードディスク 108 メモリ 109 顔画像メモリ 110 バス 101 video camera 102 A / D converter 103 CPU 104 image memory 105 nasal template memory 106 th template memory 107 hard disk 108 memory 109 face image memory 110 bus

Claims (10)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 テンプレートマッチングにより定められた鼻の位置を基準にして、目の存在領域を決定し、前記目の存在領域内でテンプレートマッチングにより目の存在候補位置を求め、マッチ度と顔のパーツの位置関係の情報を用い目の存在候補位置のうちから正しい目の位置を求めることを特徴とする顔パーツ検出方法。 1. A based on the position of the nose defined by template matching, to determine the existence region of the eye, for the presence candidate position of the eye by template matching in the presence region of the eye, the matching degree and face face part detecting method characterized by determining the position of the right eye from among the existing candidate position information of the eye with relation position of the part.
  2. 【請求項2】 テンプレートマッチングにより定められた鼻の位置を基準にして、口の存在領域を決定し、口の存在領域内でテンプレートマッチングにより口の存在候補位置を求め、マッチ度と顔のパーツの位置関係の情報を用い口の存在候補位置のうちから正しい口の位置を求めることを特徴とする顔パーツ検出方法。 Wherein based on the position of the nose defined by template matching, to determine the existence region of the mouth, for the presence candidate position of the mouth by template matching within the existing area of ​​the mouth, matching degree and face parts face part detecting method characterized by determining the position of the correct mouth of the presence candidate position information to use port relationships position of.
  3. 【請求項3】 鼻の位置より上の領域を目の存在領域とし、目の存在領域内でのテンプレートマッチングの結果マッチ度が大きい点を目の存在候補位置と考え、存在候補位置の集合をクラスタ分割した後、鼻に一番近いクラスタの中で最もマッチ度が大きい位置を目の候補位置として求めることを特徴とする請求項1記載の顔パーツ検出方法。 Wherein the region above the eye presence region from the position of the nose, attributed to the degree of matching points presence candidate position eyes large template matching in the eye presence region, a set of presence candidate position after the cluster splitting, face part detecting method according to claim 1, wherein the determination of the best match degree is larger position within the closest cluster to the nose as a candidate position of the eye.
  4. 【請求項4】 鼻の位置より下の領域を口の存在領域とし、口の存在領域内でのテンプレートマッチングの結果マッチ度が大きい点を口の存在候補位置と考え、存在候補位置の集合をクラスタ分割した後、口に一番近いクラスタの中で最もマッチ度が大きい位置を口の候補位置として求めることを特徴とする請求項1記載の顔パーツ検出方法。 4. The area below the position of the nose and the presence area of ​​the mouth, considered presence candidate position results matching degree point is large mouth template matching in the existing area of ​​the mouth, the set of presence candidate position after the cluster splitting, face part detecting method according to claim 1, wherein the determination of the best match degree is larger position within the closest cluster mouth as a candidate position of the mouth.
  5. 【請求項5】 鼻の位置をテンプレートマッチングによって求める際の前処理として、顔全体の大まかな位置と大きさを見つけ、顔画像の切り出しと大きさの正規化を行なうことを特徴とする請求項1記載の顔パーツ検出方法。 5. A position of the nose as a pretreatment for obtaining the template matching, the claims finds the approximate location and size of the entire face, and performing normalization of the cut and the size of the face image face parts detection method of 1, wherein the.
  6. 【請求項6】 鼻の位置をテンプレートマッチングによって求める際の前処理として、顔全体の大まかな位置と大きさを見つけ、顔画像の切り出しと大きさの正規化を行なうことを特徴とする請求項2記載の顔パーツ検出方法。 6. A position of the nose as a pretreatment for obtaining the template matching, the claims finds the approximate location and size of the entire face, and performing normalization of the cut and the size of the face image face parts detection method of the second aspect.
  7. 【請求項7】 顔全体の大まかな位置と大きさを見つける顔領域粗探索手段と、前記顔領域粗探索手段の結果をもとに顔画像を大まかに切り出し、顔画像の大きさを予め定められた大きさに変換する顔画像正規化手段と、前記顔画像正規化手段の結果得られた画像に鼻画像パターンをテンプレートとし、画像全体あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する鼻探索手段と、画像中鼻の位置よりも上の領域を目存在領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、マッチ度が大きい画素の集合である目候補位置集合を求める目候補位置探索手段と、目候補位置集合に含まれる画素を連結領域に分割する目候補クラスタ生成手段と、上記目候補クラスタ生成手 7. A find approximate location and size of the entire face facial region coarse search unit, roughly cut out face image based on the result of the face area coarse search unit, a predetermined size of the facial image a face image normalization means for converting the magnitude that is, a template nose image pattern in the image obtained as a result of the face image normalization means, the best match to scan the designated area of ​​the entire image or in the image and nose searching means for outputting position as the position of the nose, considered eye presence region an area above the position of the image in the nose, take matching by scanning the eye presence region an eye image pattern as a template match degree eye candidate position search means for obtaining an eye candidate position set is a set of pixels having large, the eye candidate cluster generation means for dividing the pixel into coupling area included in the eye candidate position set, the first candidate cluster generation hands 段によって生成されたクラスタの各代表画素の位置と上記鼻探索手段によって探索された鼻の位置の間の距離を求め、その距離が最も短くなるクラスタを目の存在するクラスタであると決定する目クラスタ決定手段と、目クラスタ決定手段によって決定されたクラスタに含まれる画素の中で、目候補位置探索手段で計算されたマッチ度が最も高いものを求める目位置決定手段とからなることを特徴とする顔パーツ検出装置。 Obtains the distance between the position of the nose which is searched by the position and the nose searching means of each representative pixel of clusters generated by the step, it is determined that the distance is a clusters present eyes shortest cluster eyes and cluster determining unit, among the pixels included in the cluster determined by the eye cluster determining means, and characterized by comprising the eye position determination means for determining what the highest matching degree calculated by the eye candidate position searching means face parts detection device that.
  8. 【請求項8】 顔全体の大まかな位置と大きさを見つける顔領域粗探索手段と、前記顔領域粗探索手段の結果をもとに顔画像を大まかに切り出し、顔画像の大きさを予め定められた大きさに変換する顔画像正規化手段と、前記顔画像正規化手段の結果得られた画像に鼻画像パターンをテンプレートとし、画像全体あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する鼻探索手段と、画像中鼻の位置よりも下の領域を口存在領域と考え、口画像パターンをテンプレートとして口存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が大きい画素の集合である口候補位置集合を求める口候補位置探索手段と、上記口候補位置集合に含まれる点を連結領域に分割する口候補クラスタ生成手段と、上記口候 8. A find approximate location and size of the entire face facial region coarse search unit, roughly cut out face image based on the result of the face area coarse search unit, a predetermined size of the facial image a face image normalization means for converting the magnitude that is, a template nose image pattern in the image obtained as a result of the face image normalization means, the best match to scan the designated area of ​​the entire image or in the image and nose searching means for outputting position as the position of the nose, believed mouth existence region a region below the position of the image in the nose, take matching by scanning the mouth existence area mouth image pattern as a template, than a certain threshold and mouth candidate cluster generating means for dividing and mouth candidate position search means for obtaining a mouth candidate position set is also a set of pixels is large degree of matching, a point included in the port candidate position set in connection region, the opening weather 補クラスタ生成手段によって生成されたクラスタの各代表画素の位置と上記鼻探索手段によって探索された鼻の位置の間の距離を求め、その距離が最も短くなるクラスタを口の存在するクラスタであると決定する口クラスタ決定手段と、口クラスタ決定手段によって決定されたクラスタに含まれる点の中で、口候補位置探索ステップで計算されたマッチ度が最も高いものを求める口位置決定手段からなることを特徴とする顔パーツ検出装置。 It obtains the distance between the position of the nose which is searched by the position and the nose searching means of each representative pixel of clusters generated by the auxiliary cluster generation means, if it is clusters present in the mouth cluster to which the distance is shortest and mouth cluster determining means determining, among the points included in the cluster determined by the mouth cluster determining means, to become the mouth position determining means for determining what the highest matching degree calculated by the mouth candidate position search step face part detecting apparatus according to claim.
  9. 【請求項9】 コンピュータにより顔パーツを検出するプログラムを記録した記録媒体であって、テンプレートマッチングにより定められた鼻の位置を基準にして、目の存在領域を決定し、目の存在領域内でテンプレートマッチングにより目の存在候補位置を求め、マッチ度と顔のパーツの位置関係の情報を用い目の存在候補位置のうちから正しい目の位置を求めることを特徴とする顔パーツ検出プログラムを記録した記録媒体。 9. A recording medium recording a program for detecting a face part by a computer, based on the position of the nose defined by template matching, to determine the existence region of the eye, the eye in the presence area for the presence candidate position of the eye by template matching was recorded face part detecting program characterized by determining the position of the right eye from among the matching degree and presence candidate position information of the eye with relation position of the parts of the face recoding media.
  10. 【請求項10】 コンピュータにより顔パーツを検出するプログラムを記録した記録媒体であって、テンプレートマッチングにより定められた鼻の位置を基準にして、 10. A recording medium recording a program for detecting a face part by a computer, based on the position of the nose defined by template matching,
    口の存在領域を決定し、口の存在領域内でテンプレートマッチングにより口の存在候補位置を求め、マッチ度と顔のパーツの位置関係の情報を用い口の存在候補位置のうちから正しい口の位置を求める顔パーツ検出プログラムを記録した記録媒体。 Determining the existence region of the mouth, for the presence candidate position of the mouth by template matching within the existing area of ​​the mouth, the position of the correct mouth of the presence candidate position of port using information on the position relationship between the matching degree and face parts recording medium recording the face parts detection program seeking.
JP10274925A 1998-09-29 1998-09-29 Method and device for face parts image detection Pending JP2000105829A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10274925A JP2000105829A (en) 1998-09-29 1998-09-29 Method and device for face parts image detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10274925A JP2000105829A (en) 1998-09-29 1998-09-29 Method and device for face parts image detection

Publications (1)

Publication Number Publication Date
JP2000105829A true JP2000105829A (en) 2000-04-11

Family

ID=17548464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10274925A Pending JP2000105829A (en) 1998-09-29 1998-09-29 Method and device for face parts image detection

Country Status (1)

Country Link
JP (1) JP2000105829A (en)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087345A (en) * 2005-09-26 2007-04-05 Canon Inc Information processing device, control method therefor, computer program, and memory medium
JP2007087346A (en) * 2005-09-26 2007-04-05 Canon Inc Information processing device, control method therefor, computer program, and memory medium
JP2008191785A (en) * 2007-02-01 2008-08-21 Aisin Seiki Co Ltd Eye closure detection apparatus, doze detection apparatus, eye closure detection method, and program for eye closure detection
JP2008209969A (en) * 2007-02-23 2008-09-11 Aisin Seiki Co Ltd Apparatus for detecting face feature point, method of detecting face feature point, and program
JP2009237620A (en) * 2008-03-25 2009-10-15 Seiko Epson Corp Detection of face area and organ area in image
EP2391115A2 (en) 2010-05-24 2011-11-30 Canon Kabushiki Kaisha Image processing apparatus, control method, and program
US8374439B2 (en) 2008-06-25 2013-02-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and computer-readable print medium
US8391595B2 (en) 2006-05-26 2013-03-05 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US8442315B2 (en) 2010-07-16 2013-05-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
US8457397B2 (en) 2010-07-16 2013-06-04 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
US8532431B2 (en) 2007-05-08 2013-09-10 Canon Kabushiki Kaisha Image search apparatus, image search method, and storage medium for matching images with search conditions using image feature amounts
US8542928B2 (en) 2005-09-26 2013-09-24 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
US9002107B2 (en) 2010-07-16 2015-04-07 Canon Kabushiki Kaisha Color balance correction based on skin color and highlight color
US9014487B2 (en) 2012-07-09 2015-04-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN104573704A (en) * 2013-10-09 2015-04-29 爱信精机株式会社 Eye part detection apparatus and method
US9189681B2 (en) 2012-07-09 2015-11-17 Canon Kabushiki Kaisha Image processing apparatus, method thereof, and computer-readable storage medium
US9208595B2 (en) 2012-07-09 2015-12-08 Canon Kabushiki Kaisha Apparatus, image processing method and storage medium storing program
US9214027B2 (en) 2012-07-09 2015-12-15 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
US9275270B2 (en) 2012-07-09 2016-03-01 Canon Kabushiki Kaisha Information processing apparatus and control method thereof
US9280720B2 (en) 2012-07-09 2016-03-08 Canon Kabushiki Kaisha Apparatus, method, and computer-readable storage medium
US9292760B2 (en) 2012-07-09 2016-03-22 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
US9299177B2 (en) 2012-07-09 2016-03-29 Canon Kabushiki Kaisha Apparatus, method and non-transitory computer-readable medium using layout similarity
US9436706B2 (en) 2013-09-05 2016-09-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for laying out images
US9501688B2 (en) 2012-07-09 2016-11-22 Canon Kabushiki Kaisha Apparatus, processing method and storage medium storing program
US9509870B2 (en) 2013-09-05 2016-11-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium enabling layout varations
US9519842B2 (en) 2012-07-09 2016-12-13 Canon Kabushiki Kaisha Apparatus and method for managing an object extracted from image data
US9542594B2 (en) 2013-06-28 2017-01-10 Canon Kabushiki Kaisha Information processing apparatus, method for processing information, and program
US9558212B2 (en) 2012-07-09 2017-01-31 Canon Kabushiki Kaisha Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information
US9563823B2 (en) 2012-07-09 2017-02-07 Canon Kabushiki Kaisha Apparatus and method for managing an object extracted from image data
US9846681B2 (en) 2012-07-09 2017-12-19 Canon Kabushiki Kaisha Apparatus and method for outputting layout image
US9904879B2 (en) 2013-09-05 2018-02-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US10013395B2 (en) 2012-07-09 2018-07-03 Canon Kabushiki Kaisha Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087346A (en) * 2005-09-26 2007-04-05 Canon Inc Information processing device, control method therefor, computer program, and memory medium
JP2007087345A (en) * 2005-09-26 2007-04-05 Canon Inc Information processing device, control method therefor, computer program, and memory medium
US8542928B2 (en) 2005-09-26 2013-09-24 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
US8391595B2 (en) 2006-05-26 2013-03-05 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP2008191785A (en) * 2007-02-01 2008-08-21 Aisin Seiki Co Ltd Eye closure detection apparatus, doze detection apparatus, eye closure detection method, and program for eye closure detection
JP2008209969A (en) * 2007-02-23 2008-09-11 Aisin Seiki Co Ltd Apparatus for detecting face feature point, method of detecting face feature point, and program
US8532431B2 (en) 2007-05-08 2013-09-10 Canon Kabushiki Kaisha Image search apparatus, image search method, and storage medium for matching images with search conditions using image feature amounts
JP2009237620A (en) * 2008-03-25 2009-10-15 Seiko Epson Corp Detection of face area and organ area in image
US8374439B2 (en) 2008-06-25 2013-02-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and computer-readable print medium
US8639030B2 (en) 2010-05-24 2014-01-28 Canon Kabushiki Kaisha Image processing using an adaptation rate
US9398282B2 (en) 2010-05-24 2016-07-19 Canon Kabushiki Kaisha Image processing apparatus, control method, and computer-readable medium
EP2391115A2 (en) 2010-05-24 2011-11-30 Canon Kabushiki Kaisha Image processing apparatus, control method, and program
US8457397B2 (en) 2010-07-16 2013-06-04 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
US8842914B2 (en) 2010-07-16 2014-09-23 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
US8934712B2 (en) 2010-07-16 2015-01-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
US9002107B2 (en) 2010-07-16 2015-04-07 Canon Kabushiki Kaisha Color balance correction based on skin color and highlight color
US8442315B2 (en) 2010-07-16 2013-05-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
US9406003B2 (en) 2010-07-16 2016-08-02 Canon Kabushiki Kaisha Image processing with color balance correction
US9014487B2 (en) 2012-07-09 2015-04-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9189681B2 (en) 2012-07-09 2015-11-17 Canon Kabushiki Kaisha Image processing apparatus, method thereof, and computer-readable storage medium
US9208595B2 (en) 2012-07-09 2015-12-08 Canon Kabushiki Kaisha Apparatus, image processing method and storage medium storing program
US10013395B2 (en) 2012-07-09 2018-07-03 Canon Kabushiki Kaisha Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images
US9275270B2 (en) 2012-07-09 2016-03-01 Canon Kabushiki Kaisha Information processing apparatus and control method thereof
US9280720B2 (en) 2012-07-09 2016-03-08 Canon Kabushiki Kaisha Apparatus, method, and computer-readable storage medium
US9292760B2 (en) 2012-07-09 2016-03-22 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
US9299177B2 (en) 2012-07-09 2016-03-29 Canon Kabushiki Kaisha Apparatus, method and non-transitory computer-readable medium using layout similarity
US9214027B2 (en) 2012-07-09 2015-12-15 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
US10055640B2 (en) 2012-07-09 2018-08-21 Canon Kabushiki Kaisha Classification of feature information into groups based upon similarity, and apparatus, image processing method, and computer-readable storage medium thereof
US9852325B2 (en) 2012-07-09 2017-12-26 Canon Kabushiki Kaisha Apparatus, image processing method and storage medium storing program
US9501688B2 (en) 2012-07-09 2016-11-22 Canon Kabushiki Kaisha Apparatus, processing method and storage medium storing program
US9846681B2 (en) 2012-07-09 2017-12-19 Canon Kabushiki Kaisha Apparatus and method for outputting layout image
US9519842B2 (en) 2012-07-09 2016-12-13 Canon Kabushiki Kaisha Apparatus and method for managing an object extracted from image data
US9563823B2 (en) 2012-07-09 2017-02-07 Canon Kabushiki Kaisha Apparatus and method for managing an object extracted from image data
US9558212B2 (en) 2012-07-09 2017-01-31 Canon Kabushiki Kaisha Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information
US10127436B2 (en) 2012-07-09 2018-11-13 Canon Kabushiki Kaisha Apparatus, image processing method and storage medium storing program
US9542594B2 (en) 2013-06-28 2017-01-10 Canon Kabushiki Kaisha Information processing apparatus, method for processing information, and program
US9509870B2 (en) 2013-09-05 2016-11-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium enabling layout varations
US9436706B2 (en) 2013-09-05 2016-09-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for laying out images
US9904879B2 (en) 2013-09-05 2018-02-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
EP2860663A3 (en) * 2013-10-09 2015-06-03 Aisin Seiki Kabushiki Kaisha Eye part detection apparatus
CN104573704A (en) * 2013-10-09 2015-04-29 爱信精机株式会社 Eye part detection apparatus and method
US9646215B2 (en) 2013-10-09 2017-05-09 Aisin Seiki Kabushiki Kaisha Eye part detection apparatus

Similar Documents

Publication Publication Date Title
Miao et al. A hierarchical multiscale and multiangle system for human face detection in a complex background using gravity-center template
Cai et al. Detecting human faces in color images
Chen et al. Automatic detection and recognition of signs from natural scenes
Terrillon et al. Comparative performance of different chrominance spaces for color segmentation and detection of human faces in complex scene images
US5982912A (en) Person identification apparatus and method using concentric templates and feature point candidates
DE60312427T2 (en) A method of verifying a user and updating a database, and a face inspection system using this method
JP3954484B2 (en) Image processing apparatus and program
US7035461B2 (en) Method for detecting objects in digital images
JP5121506B2 (en) Image processing apparatus, image processing method, program, and storage medium
US7127086B2 (en) Image processing apparatus and method
KR100374708B1 (en) Non-contact type human iris recognition method by correction of rotated iris image
JP4505362B2 (en) Red-eye detection apparatus and method, and program
US6118887A (en) Robust multi-modal method for recognizing objects
US7197166B2 (en) Iris extraction method capable of precisely determining positions and sizes of irises in a digital face image
US20030179911A1 (en) Face detection in digital images
US8184870B2 (en) Apparatus, method, and program for discriminating subjects
JP4744655B2 (en) A method for automatically detecting human eyes in digital images.
US20020126893A1 (en) Automatic color defect correction
EP1693782A1 (en) Method for facial features detection
US6792134B2 (en) Multi-mode digital image processing method for detecting eyes
JP5107045B2 (en) Method for identifying a pixel representing an iris in an image acquired for the eye
KR100617390B1 (en) Face identification apparatus, face identification method, and medium for recording face identification program
JP4830650B2 (en) Tracking device
EP1271394A2 (en) Method for automatically locating eyes in an image
JP4739355B2 (en) Fast object detection method using statistical template matching