JP2006072770A - Face detection device and face direction estimation device - Google Patents

Face detection device and face direction estimation device Download PDF

Info

Publication number
JP2006072770A
JP2006072770A JP2004256263A JP2004256263A JP2006072770A JP 2006072770 A JP2006072770 A JP 2006072770A JP 2004256263 A JP2004256263 A JP 2004256263A JP 2004256263 A JP2004256263 A JP 2004256263A JP 2006072770 A JP2006072770 A JP 2006072770A
Authority
JP
Japan
Prior art keywords
face
area
image
similarity
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004256263A
Other languages
Japanese (ja)
Inventor
Masahiko Yamada
晶彦 山田
Original Assignee
Sanyo Electric Co Ltd
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd, 三洋電機株式会社 filed Critical Sanyo Electric Co Ltd
Priority to JP2004256263A priority Critical patent/JP2006072770A/en
Publication of JP2006072770A publication Critical patent/JP2006072770A/en
Application status is Withdrawn legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00228Detection; Localisation; Normalisation
    • G06K9/00248Detection; Localisation; Normalisation using facial parts and geometric relationships

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device capable of detecting a face and estimating a face direction with high detection accuracy even if the face has any direction in a detection target image, without accompanying increase of a detection time or a used memory amount. <P>SOLUTION: A front face is divided into a left half and a right half, and a face-detecting parameter is generated to each the half face. When detecting the face, a notice area is divided into right and left, and similarity of each the divided area and the corresponding parameter of two parameters is calculated. When one similarity is a threshold value or above, it is distinguished that the notice area is a face area. The direction of the face and an angle are distinguished from magnitude relation of the similarity to each the division area. Thereby, the face detection and the face direction estimation become possible with the high detection accuracy even if the face has any direction without accompanying the increase of the detection time or the used memory amount. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、画像中から顔領域とその顔向きを検出する顔検出装置および顔向き推定装置に関するものである。 The present invention relates to a face detector and face direction estimating apparatus detects a face area and the face direction from an image.

人の顔の検出技術は、ビルの監視システムなどで用いられつつある。 Detection techniques of a person's face is becoming used in buildings monitoring system. また、最近では、デジタルカメラにおける人物(顔)へのオートフォーカス機能や、自動露光補正機能、さらには顔認識による個人認証などでも使用されつつある。 Further, there recently, auto-focus function and to the person (face) in the digital camera, the automatic exposure correction function, while further also be used in personal authentication by the face recognition. この他、デジタルビデオにおける画像検索やインデクシング、あるいは、画像アルバム整理などにおいて、動画や静止画から人物を抽出するための技術としても使用されつつある。 In addition, an image retrieval and indexing in a digital video, or in an image album organizing, also being used as a technique for extracting a person from a moving image or a still image.

従来の顔検出技術では、一定の顔の向きに対するパラメータ、すなわち、正面顔用のパラメータや横向き顔用のパラメータなどを用いて顔検出を行うのが一般的であった(以下では、従来技術1と呼ぶ)。 In the conventional face detection technology, the parameters for the orientation of the fixed face, i.e., perform face detection by using a parameter for parameters and sideways face for the front face were common (hereinafter, prior art 1 the call). しかし、正面顔用のパラメータを使って顔検出を行う場合には、正面顔以外の顔の向きに対する検出率が低くなってしまうとの問題が生じる。 However, when performing face detection using parameters for the front face, there is a problem in that the detection rate becomes lower with respect to the orientation of the face other than the front Facial. つまり、パラメータと同じ顔の向きに対しては検出精度が高いが、他の顔の向きとなると、検出率がかなり落ちてしまうとの問題が生じる。 That is, although a high detection accuracy for the orientation of the same face as the parameter, if the direction of the other face, the problem of the detection rate will considerably drop occurs.

そこで、最近では、顔向きに拘わらず検出精度を向上できる技術が開発されている。 Therefore, recently, a technique capable of improving the detection accuracy regardless of the face direction has been developed. たとえば、このような技術として、 For example, as such a technique,
(1)多様な顔の向きの画像データベースから一つのパラメータを生成し、これをもとに顔検出を行う技術(以下では、従来技術2と呼ぶ)、 (1) generates one parameter from the image database orientation of various face, a technique for face detection based on this (hereinafter, referred to as prior art 2),
(2)複数の顔向きについてパラメータを準備(例えば、右用、正面用、左用など複数準備)し、これをもとに顔検出を行う技術(以下では、従来技術3と呼ぶ)、 (2) a plurality of face orientation prepare parameters for (e.g., a right, a front, a plurality preparation, etc. for the left), and a technique for face detection based on this (hereinafter, referred to as prior art 3),
の2つが知られている。 The two are known.

このうち、従来技術3に関しては、例えば、ピクセル差分特徴を用いて、顔の向き毎に作成した複数の検出器をツリー構造に組み合わせて識別器を構成し、顔向き変化に対応した顔検出を行う技術(非特許文献1、参照)や、Haarウェーブレット特徴を用いて、顔の向き毎に作成した複数の検出器をピラミッド型に組み合わせて識別器を構成することで、顔向き変化に対応した顔検出を行う技術(非特許文献2、参照)が知られている。 Among them, with respect to the prior art 3, for example, using the pixel difference feature, by combining a plurality of detectors created for each orientation of the face in a tree structure constitutes a classifier, a corresponding face detected face direction change performing technology (non-patent document 1, reference) and using the Haar wavelet features, a plurality of detectors created for each orientation of the face by configuring the classifier combined pyramid, corresponding to the face direction change technology (non-patent document 2, the reference) for performing face detection are known.

上記の従来技術2は、多様な顔向きの画像から特徴量を抽出し、これらを、例えば平均化するなどして、全ての顔の向きに汎用的に使用できる一つのパラメータを生成するものである。 Prior art 2 described above, it extracts the feature quantity from a variety of face orientation of the image, these, for example, by averaging, and generates one parameter that can be used universally in the direction of all the faces is there. この技術によれば、一つのパラメータで対応可能なため、検出時間や使用メモリ量が従来技術1の場合と同程度で済むとのメリットがある。 According to this technique, since it can handle a single parameter, the detection time and the amount of memory used is a merit of requiring the same extent as in the prior art 1. しかし、一般に、このように多様な顔向きの画像の特徴を一つに加味したパラメータを用いると、例えば正面近くの顔向き以外に関しては、検出精度が従来技術1と比べて向上するが、正面近くの顔向きにおいては、従来技術1と比べて検出精度が落ちてしまう、との欠点を有している。 However, in general, the use of parameters that takes into account the characteristics One such diverse face direction of the image, for example, the front with respect to other nearby face direction is the detection accuracy is improved compared to prior art 1, the front in the vicinity of the face direction has detection accuracy compared to prior art 1 falls, the disadvantages of the.

これに対し、従来技術3では、顔の向き毎に生成したパラメータを用いるため、どの顔の向きでも検出精度を高めることができる。 In contrast, in the prior art 3, since using the parameters generated for each face orientation, it is possible to improve the detection accuracy in the orientation of any face. しかし、この場合には、複数のパラメータを用いることから、従来技術1や2と比べて検出時間や使用メモリ量がかなり大きくなってしまうとの欠点を有する。 However, in this case, has a disadvantage from the use of a plurality of parameters, the detection time and the amount of used memory in comparison to prior art 1 and 2 becomes considerably large.

そこで、本発明は、検出時間や使用メモリ量を低く抑えながら、どの顔の向きに対しても検出精度を高めることができる顔検出装置を提供することを課題とする。 The present invention, while suppressing the detection time and the amount of memory used is also an object to provide a face detection device which can improve the detection accuracy with respect to the orientation of any face. また、検出した顔がどの向きを向いているかを精度よく検出できる顔向き推定装置を提供することを課題とする。 Another object is to provide a face orientation estimating device whether the detected face is facing any direction can be detected accurately.

本発明は、一つの顔を検出する際に、従来技術1と異なり正面顔に関するパラメータを使用するのではなく、たとえば正面顔を左半分と右半分に分け、各々の顔情報に関するパラメータを使用して検出を行うものであり、正面の顔の検出率は従来技術1程度に維持し、かつ正面以外の顔の向きでも顔の検出率が従来技術3に匹敵する程度に向上する顔検出技術および顔向き推定技術に関する装置に関するものである。 The present invention, when detecting one of the faces, rather than using the parameters relating to frontal face unlike the prior art 1, for example, divide the front face to the left and right halves, using the parameters for each of the face information Te is intended to detect, maintaining the detection rate about the prior art 1 face the front, and face detection technology detection rate of the face in the direction of the face other than the front is improved to an extent comparable to the prior art 3 and to an apparatus on the face direction estimation techniques. なお、パラメータの情報量が従来技術1と同程度となり、その結果、検索時間、使用メモリ量は従来技術1と同程度となる特徴も有する。 The information amount of parameters becomes the same level as the prior art 1 has a result, the search time, amount of memory used can be characterized as the same level as the prior art 1.

請求項1の発明に係る顔検出装置は、画像中に含まれる顔領域を当該画像の画像データをもとに検出する顔検出装置において、前記画像上に、フレーム領域を設定する領域設定手段と、前記フレーム領域を領域分割して得られる特定の分割領域に対応して個別に割り当てられたパラメータを格納する格納手段と、前記それぞれのパラメータと、このパラメータが割り当てられた分割領域の画像データをもとに、前記フレーム領域が設定された画像領域が顔領域であるかを判別する判別手段とを有する、ことを特徴とする。 Face detecting apparatus according to a first aspect of the invention, the face detection unit that detects a face area included in an image based on the image data of the image, on the image, an area setting means for setting a frame region a storage means for storing the parameters assigned individually to correspond to the particular divided region obtained by the frame area by area division, said the respective parameters, the image data of the divided area where the parameter is assigned based on the image area frame region is set and a determination means for determining whether a face area, it is characterized.

請求項2の発明は前記請求項1に係る顔検出装置において、前記分割領域は、前記フレーム領域を左右に領域分割したときの領域であって、前記パラメータは、左右の分割領域に対応してそれぞれ準備されている、ことを特徴とする。 In the invention of claim 2 face detecting apparatus according to claim 1, wherein the divided area is an area when the area division of the frame region in the left and right, the parameter corresponding to the left and right divided area They are prepared respectively, and wherein the.

請求項3の発明は前記請求項2に係る顔検出装置において、前記判別手段は、前記それぞれのパラメータと、このパラメータが割り当てられた分割領域の画像データとを比較演算して当該パラメータにて規定される画像と当該分割領域の画像の類似度を求め、求めた類似度をもとに、前記フレーム領域が設定された画像領域が顔領域であるかを判別する、ことを特徴とする。 Defined in the face detecting apparatus invention according to claim 2 of claim 3, wherein the determining means, wherein the respective parameters in the image data and the comparison operation on the parameter of the divided area where the parameter is assigned is calculated the similarity between images of the divided regions, based on the similarity calculated, the image area frame region is set to determine whether the face region, it is characterized.

請求項4の発明は前記請求項3に係る顔検出装置において、前記判別手段は、前記左右の分割領域に対する類似度を閾値と比較し、少なくとも何れか一方の類似度が前記閾値以上であるときに、前記フレーム領域が設定された画像領域が顔領域であるかを判別する、ことを特徴とする。 In the invention of claim 4 is a face detecting device according to claim 3, wherein the determination means compares with a threshold degree of similarity with respect to the left and right divided area, when at least one of the similarity is greater than or equal to said threshold value , the image region where the frame region is set to determine whether a face area, characterized in that.

請求項5の発明は前記請求項1ないし4のいずれか一項に係る顔検出装置において、前記それぞれのパラメータは、正面顔の画像データベースから各分割領域の特徴量を抽出することにより生成されており、前記一つのフレーム領域に対して一つのみ準備されている、ことを特徴とする。 In the invention either face detecting apparatus according to one of the claims 1 to 4 according to claim 5, wherein each of the parameters, is generated by extracting the feature amount of each divided area from the image database of the front face cage, are prepared one only for the one frame area, characterized in that.

請求項6の発明に係る顔向き推定装置は、フレーム領域に含まれる顔の向きを当該フレーム領域内の画像データをもとに検出する顔向き推定装置であって、前記フレーム領域を領域分割して得られる特定の分割領域に対応して個別に割り当てられたパラメータを格納する格納手段と、前記それぞれのパラメータと、このパラメータが割り当てられた分割領域の画像データをもとに、当該フレーム領域に含まれる顔の向きを判別する判別手段とを有する、ことを特徴とする。 Face direction estimating apparatus according to the invention of claim 6 is the face orientation estimating device for detecting the orientation of the face included in the frame region based on the image data of the frame region, the frame region divided into areas storage means for storing the parameters assigned individually to correspond to the particular divided region obtained Te, wherein the respective parameters, based on the image data of the divided area where the parameter is assigned, in the frame region and a determination means for determining the orientation of the face contained, characterized in that.

請求項7の発明は前記請求項6に係る顔向き推定装置において、前記分割領域は、前記フレーム領域を左右に領域分割したときの領域であって、前記パラメータは、左右の分割領域に対応してそれぞれ準備されている、ことを特徴とする。 The invention of claim 7 is the face orientation estimating device according to claim 6, wherein the divided region is a region when the region dividing the frame region on the left and right, the parameter may correspond to the left and right divided area are prepared respectively Te, characterized in that.

請求項8の発明は前記請求項7に係る顔向き推定装置において、前記判別手段は、前記それぞれのパラメータと、このパラメータが割り当てられた分割領域の画像データとを比較演算して当該パラメータにて規定される画像と当該分割領域の画像の類似度を求め、求めた類似度をもとに、当該フレーム領域に含まれる顔の左右方向の向きを判別する、ことを特徴とする。 In the invention the face orientation estimating device according to claim 7 of claim 8, wherein the determining means, wherein the respective parameters at the parameter by comparing operation on the image data of the divided area where the parameter is assigned It obtains the degree of similarity defined by the image and the image of the divided regions, based on the similarity calculated, to determine the lateral direction of the orientation of the face contained in the frame region, characterized in that.

請求項9の発明は前記請求項8に係る顔向き推定装置において、前記判別手段は、前記左右の分割領域に対する類似度の大小関係をもとに、当該フレーム領域に含まれる顔の左右方向の向きを判別する、ことを特徴とする。 In the face orientation estimating device The invention according to claim 8 according to claim 9, wherein the determining means, based on the similarity of the magnitude relationship with respect to the left and right divided area in the lateral direction of the face included in the frame region to determine the orientation, characterized in that.

請求項10の発明は前記請求項9に係る顔向き推定装置において、前記判別手段は、前記左右の分割領域に対する類似度と閾値とを比較して、当該フレーム領域に含まれる顔の左右方向の向きの大きさを判別する、ことを特徴とする。 In the face orientation estimating device The invention according to claim 9 according to claim 10, wherein the determination means compares the similarity with a threshold value for said left and right divided area in the lateral direction of the face included in the frame region to determine the size of the orientation, characterized in that.

請求項1ないし5の発明によれば、パラメータが割り当てられた分割領域の画像が、当該パラメータによって規定される画像にどの程度マッチングするかによって、フレームが設定された画像領域が顔を含むか否かを判別するようにしたことにより、当該フレームが設定された画像領域内の顔がパラメータによる顔向きとは異なる向きを向いていても、当該画像領域が顔領域であると判別する率を高めることができる。 According to the invention of claims 1 to 5, whether the parameter is an image of the divided region assigned by how much matching image defined by the parameter, the image area frame is set including a face by which is adapted to determine the face of the frame image area set even though oriented in different directions from the facing direction by the parameter, improve the rate at which the image region is determined to be a face region be able to.

この場合、パラメータは、正面顔用のパラメータとすることができ、よって、本発明によれば、正面顔の検出精度を高く維持しながら、正面顔以外の顔向きに対しても、顔検出精度を高めることができる。 In this case, the parameter may be a parameter for the front face, thus, according to the present invention, while maintaining a high detection accuracy of the front face, against a face orientation other than the front Facial, face detection accuracy it can be increased.

また、分割領域毎にパラメータを保持するものであるから、全フレーム領域について足し合わせたときのパラメータの総容量は、全フレーム領域に対して一つのパラメータを保持する場合(上記従来技術1)と同程度とすることができ、上記従来技術3のように、パラメータの容量が飛躍的に大きくなることもない。 Further, since each of the divided regions is to hold the parameters, the total capacity of the parameters when the sum for all the frame region includes a case that holds one parameter for all frame area (the prior art 1) can be comparable, as in the above prior art 3, the capacity parameter is not also increased dramatically. また、分割領域毎のマッチング算出を同時平行で行えば、処理時間が長期化することもない。 Further, by performing matching calculation of each divided region in the simultaneous parallel processing time nor prolonged.

このように、本発明によれば、検出時間や使用メモリ量を低く抑えながら、どの顔の向きに対しても検出精度を高めることができる顔検出装置を提供することができる。 Thus, according to the present invention, while suppressing the detection time and the amount of memory used can also provide a face detection device which can improve the detection accuracy with respect to the orientation of any face.

より具体的には、請求項2ないし4のように構成すると、顔の左半分に関するパラメータ、顔の右半分に関するパラメータの2つのパラメータを使用することで、正面の顔の検出率は従来技術1程度に維持し、かつ正面以外の顔の向きでも顔の検出率を従来技術3に匹敵する程度に向上させることができる。 More specifically, when configured as claims 2 to 4, parameters related to the left half of the face, the use of two parameters parameters for the right half of the face, the prior art detection rate of the face of the front 1 maintaining a degree, and the detection rate of the face in the direction of the face other than the front can be improved to a degree comparable to prior art 3. すなわち、顔の左半分に関するパラメータ、顔の右半分に関するパラメータを用いるので、正面顔の検出率は従来技術1と比べて劣らない上、例えば、左向きの顔の場合には顔の右半分に関するパラメータによる検出率が高く、右向きの顔の場合には顔の左半分に関するパラメータによる検出率が高くなるので、正面以外の顔の向きでも顔の検出率を従来技術3に匹敵する程度に向上させることができる。 That is, the parameter relating to the left half of the face, so using parameters relating to the right half of the face, on detection rate of the front face not inferior as compared with the prior art 1, for example, parameters relating to the right half of the face when the face of the left high detection rate by, since the detection rate increases by the parameter regarding the left half of the face when the face of the right, to improve a degree comparable detection rate of the face in the direction of the face other than the front to the prior art 3 can.

なお、顔の左半分に関するパラメータ、顔の右半分に関するパラメータの2つで1つの顔に関するパラメータとなるので、パラメータの情報量が1つの顔に関する量とほぼ同じ、すなわち従来技術1と同程度となる。 The parameter related to the left half of the face, because the parameters relating to 2 Tsude one face of parameters relating to the right half of the face, the information amount of parameters to the amount for one face substantially the same, i.e. the same level as the prior art 1 Become. よって、使用メモリ量は従来技術1と同程度となり、また、左顔と右顔の検出処理を平行して行えば、処理速度も長期化することはない。 Therefore, the using memory amount becomes the same level as the prior art 1, also be performed in parallel detection processing of the left face and right face, processing speed will not be prolonged.

また、請求項6ないし10によれば、パラメータが割り当てられた分割領域の画像が、当該パラメータによって規定される画像にどの程度マッチングするかによって、フレーム内に含まれる顔がどの方向を向いているかを判別するものであるから、簡単な処理により、顔向き方向を検出することができる。 Also, according to claims 6 to 10, or the image of the divided region parameter is allocated, by how much matching image defined by the parameters, a face included in the frame is oriented in any direction since it is intended to determine, by simple processing, it is possible to detect the face orientation direction.

特に、本発明は、上記請求項1ないし5の発明と同様、分割領域毎にパラメータを割り当て、分割領域毎のマッチング度合いをもとに判別を行うものであるから、上記請求項1ないし5の発明における処理結果をそのまま用いることができ、よって、請求項1ないし5の発明による顔検出結果に続いた顔向き推定処理を、処理ルーチンの複雑化を招くことなく行うことができる。 In particular, the present invention is similar to the invention described in claims 1 to 5, assigned parameters for each divided region, because the degree of matching of each divided region is performed to determine on the basis of the claims 1 to 5 processing results in the invention can be directly used, thus, the face direction estimating process that followed the face detection result by the invention of claims 1 to 5, can be performed without complicating the process routine. すなわち、本発明は、上記請求項1ないし5の発明とともに用いることにより、飛躍的な処理ルーチンの簡素化を図ることができる。 That is, the present invention uses in conjunction with the invention of the claims 1 to 5, it is possible to simplify the dramatic routine.

より具体的には、請求項7ないし9のように構成すると、顔の左半分に関するパラメータによる検出結果(類似度)と、顔の右半分に関するパラメータによる検出結果(類似度)の双方の数値の組み合わせから、左右方向の顔の向きないしその大きさを円滑に検出することができる。 More specifically, when configured as claims 7 to 9, the result detected by the parameter regarding the left half of the face and (similarity), both of numerical results detected by the parameter relating to the right half of the face (similarity) combinations, the direction or the magnitude of the horizontal direction of the face may be smoothly detected.

本発明の意義ないし効果は、以下に示す実施形態の説明により更に明らかとなろう。 The significance and benefits of the present invention will become more apparent from the description of the embodiments given below.

ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。 However, the form the following exemplary, merely, a one embodiment of the present invention, the meanings of the terms of the present invention and its features are intended to be limited to those described in the following embodiments Absent.

以下、本発明の実施の形態につき図面を参照して説明する。 Hereinafter will be described with reference to the accompanying drawings embodiments of the present invention.

本実施形態に係る顔検出および顔向き推定装置では、正面顔のサンプル画像データベースを学習処理して顔検出用のパラメータを生成し、これをもとに、対象画像に対する顔検出処理が行われる。 In face detection and face direction estimation apparatus according to the present embodiment generates a parameter for face detection with a learning process the sample image database the front face, on the basis of this, the face detection processing for the target image. ここで、パラメータは、一般的には、輝度情報やエッジ情報、これらの情報に関する統計学的データ、顔検出のために特徴を際立たせるアルゴリズムにおける設定要素、などから構成される。 The parameter is generally luminance information and the edge information, statistical data on these information, the setting element in the algorithm accentuate features for face detection, and the like. 本実施例では、パラメータとしてエッジ情報を用い、これをもとに、正規化相互相間法にて類似度を算出し、顔検出を行っている。 In this embodiment, using the edge information as parameters, based on this, to calculate the similarity by normalized cross phase during process, is carried out face detection.

本実施形態では、顔全体に対して1つのパラメータを用いるのではなく、顔全体のうちの左半分(以下、左顔と呼ぶ)に関するパラメータと、右半分(以下、右顔と呼ぶ)に関するパラメータの2つが用いられる。 In this embodiment, rather than using a single parameter for the entire face, the left half of the entire face (hereinafter, referred to as the left face) and parameters relating to the right half (hereinafter referred to as the right face) related parameter two is used. すなわち、これらのパラメータは、図1(a)に示されている様に、1つの正面顔を、左顔、右顔に分割したときの、左顔に関するパラメータと、右顔に関するパラメータからなっている。 That is, these parameters are as shown in FIG. 1 (a), one of the front face, Hidarikao, when divided into the right face, and a parameter relating Hidarikao, taken from the parameter related to the right face there. 各々のパラメータは、左顔用のサンプル画像データベース(正面顔)と左顔用のサンプル画像データベース(正面顔)について、それぞれ個別に学習処理を行うことによって生成される。 Each parameter for the sample image database for the left face (front face) and the sample image database (frontal face) of the left face, is produced by performing a respective individual learning process. パラメータの生成はオフラインで行われ、顔検出および顔向き推定装置内にストアされる。 Parameter generation is done off-line and stored in the face detection and face direction estimating apparatus.

図1(b)を参照して、顔検出および顔向き推定処理においては、画像データにおいて、顔があるかどうかの検出を行う領域(以下、この領域を注目領域と呼ぶ)を左、右の領域に等分割し、このうち左領域に対し右顔に関するパラメータを用いて比較演算(類似度の算出)を行い、右領域に対し左顔に関するパラメータを用いて比較演算を行う。 Referring to FIG. 1 (b), in the face detection and face direction estimating process, in the image data, area for detect whether there is a face (hereinafter, this area is referred to as a region of interest) to the left, the right is equally divided into regions, perform these comparison operation using the parameters relating to the right face to the left region (the similarity calculation), a comparison operation using the parameters related Hidarikao to the right area. なお、左領域および右領域の各々に対する演算を左右同時に行うようにしても良い。 It is also possible to perform operations on each of the left area and right area right at the same time. 比較演算は、正規化相互相間法に従って行われ、その算出結果として類似度が、左領域と右領域の各々において別々に算出される。 Comparison operation is performed according to the normalized cross-between methods, similarity as the calculation result is calculated separately in each of the left area and right area. この左領域と右領域の類似度各々を、各レベル値(閾値)と比較し、左領域における比較結果、右領域における比較結果を用いて顔検出および顔向き推定を行う。 The similarity of each of the left area and the right area, as compared to the level value (threshold value), the comparison result in the left area, perform face detection and face direction estimation using the result of comparison in the right area.

まず、図2に本実施の形態に係る顔検出および顔向き推定装置100の機能ブロック図を示す。 First, a functional block diagram of a face detection and face direction estimating apparatus 100 according to the embodiment in FIG.

図2を参照して、10は顔検出および顔向き推定を行う対象画像などを検出処理終了まで記憶しておく画像記憶部、11は画像のエッジ情報を計算するエッジ情報計算部、12は各演算処理および各部の動作の処理や判断などの制御を行う演算処理部、13は検出処理の結果(顔領域情報や顔向き情報など)を検出装置100の後段に出力する出力部である。 Referring to FIG. 2, 10 is an image storage section that stores up detection process ends and the object image to be a face detection and face direction estimation, 11 edge information calculating unit that calculates the edge information of the image, 12 each processing unit that performs control such as calculation processing and the operation of each part of the processing and judgment, 13 is an output unit for outputting to the subsequent detection device 100 the result of the detection process (such as the face area information and face direction information).

14および15は各々左顔および右顔に関するパラメータであって、当該検出装置100の内蔵メモリに格納されている。 14 and 15 is a parameter for each left Facial and Migikao, stored in the internal memory of the detection device 100. 16は画像の左領域および右領域の各々について右顔および左顔に関するパラメータ14、15を用いて類似度を計算する類似度計算部、17および18は算出された左および右領域の各々についての類似度をもとに顔判定および顔向き判定を行う顔判定部および顔向き判定部である。 16 similarity calculation unit for calculating a degree of similarity with the parameters 14 and 15 relating to the right Facial and Hidarikao for each of the left area and the right area of ​​the image, 17 and 18 for each of the calculated left and right regions the similarity is a face determining unit and the face orientation determining unit for performing face determination and the face orientation determining based. 19は演算結果や検出情報などを格納するメモリである。 19 is a memory for storing such calculation results and the detection information.

ここで、検出装置100の各部の動作について説明する。 Here, the operation of each part of the detection apparatus 100.

まず、検出装置100に顔検出および顔向き推定を行う対象画像のデータが入力されると、この画像データは画像記憶部10に記憶される。 First, when the data of the target image to be a face detection and face direction estimating the detection device 100 is inputted, the image data is stored in the image storage unit 10. この画像記憶部10から、画像データがエッジ情報計算部11に入力され、画像データのエッジ情報が計算される。 The from the image storage unit 10, image data is input to the edge information calculating unit 11, the edge information of the image data is calculated. 注目領域の左領域および右領域の各々についてのエッジ情報はここから読み出される。 Edge information for each of the left area and the right area of ​​the region of interest is read from here. 本実施例ではこれらのエッジ情報をベクトル値として扱い、正規化相互相間法をもとに、類似度の計算を行う。 In the present embodiment treats these edge information as a vector value, based on the normalized cross phase during process, the calculation of similarity. なお、演算処理部12の制御により、一つの注目領域に対する検出処理が終了する毎に、画像の大きさに留意しながら、注目領域が横方向または縦方向に1画素ずれた領域に更新される。 Incidentally, the control of the arithmetic processing unit 12, every time the detection processing for one region of interest is completed, keeping in mind the size of the image is updated in a region where the region of interest is shifted by one pixel horizontally or vertically . これにより、入力画像全体に亘って、顔検出および顔向き推定処理が行われる。 Thus, over the entire input image, face detection and face direction estimation processing is performed. さらに、演算処理部12は、後述のように、画像記憶部10に保存された画像を縮小する処理も行う。 Further, the arithmetic processing unit 12, as described below, performs processing for reducing the image stored in the image storage unit 10.

類似度計算部16では、左領域および右領域の各々についてのエッジ情報のベクトル値と、左顔および右顔に関するパラメータ14および15を用いて、左領域および右領域の各々における類似度が計算される。 In the similarity calculation section 16, and the vector value of the edge information for each of the left area and right area, using the parameters 14 and 15 about the left Facial and Migikao similarity in each of the left region and the right region is calculated that. 顔判定部17および顔向き判定部18は、これら類似度と、所定のレベル値とを比較し、類似度がどのレベルにあるかを判別する(詳細は後述)。 Face determination unit 17 and the face orientation determining unit 18 compares the these similarities, the predetermined level value, to determine the degree of similarity is at any level (described in detail later). そして、その判別結果をもとに、顔検出、顔向き推定を行う(詳細は後述)。 Then, based on the determination result, the face detection, performs face direction estimating (described in detail later).

なお、これらの検出結果から顔および顔の向きに関する情報、例えば、顔位置情報や顔領域情報、顔向き角度情報など、検出装置100の後段において有意義な情報が得られる。 The direction information about the face and the face of these detection results, for example, the face position information and the face area information, such as a face direction angle information, meaningful information is obtained in a subsequent stage of the detection apparatus 100. これらの情報はメモリ19に格納され、必要に応じて出力部13から出力される。 This information is stored in the memory 19, is output from the output unit 13 as needed.

次に、検出装置100における顔検出および顔向き推定の動作フローについて説明する。 Next, the operation flow of the face detection and face direction estimation in the detection apparatus 100.

本実施形態では、顔検出および顔向き推定用に一種類の大きさのテンプレートが設定され、このテンプレートを左右均等に分割した領域に、上記左顔用のパラメータと右顔用のパラメータが割り当てられる。 In the present embodiment, one kind of size of the template for the face detection and face direction estimation is set, the areas obtained by dividing the template into laterally equalized, parameters for the parameter and the right face for the left face is assigned . 上述の注目領域の大きさは、テンプレート領域と同サイズに設定されており、注目領域の左領域および右領域から取得したエッジ情報(ベクトル値)と、テンプレートの右顔用パラメータおよび左顔用パラメータとを比較演算することにより、当該注目領域の左領域画像および右領域画像と、右顔用パラメータおよび左顔用パラメータの類似度が算出される。 The size of the aforementioned region of interest is set in the template region and the same size, obtained edge information from the left area and the right area of ​​the region of interest (the vector value), the right facial parameters and left facial template parameter by comparison operation the door, and left area image and the right area image of the region of interest, the similarity parameters and left facial parameters for the right face are calculated.

なお、注目領域は、先に説明したように、検出処理が終了する毎に一画素ずつ左右方向または上下方向にずらされる。 Incidentally, the region of interest, as described above, is shifted in the lateral direction or the vertical direction by one pixel every time the detection process is terminated. この際、演算処理部12は、注目領域が入力画像領域の右端または下端に至ったかの判定、すなわち、注目領域に対する領域判定処理を行う。 In this case, the arithmetic processing unit 12 determines whether the region of interest reaches the right or bottom edge of the input image area, i.e., performs area determination processing for the region of interest. これにより、注目領域は、検出処理が終了する都度、入力画像領域の左上から右下方向に向けて、ラスタースキャン方式で1画素ずつずらしながら、更新設定される。 Thus, the region of interest, every time the detection process is completed, toward the lower right direction from the upper left of the input image area, while shifting by one pixel in a raster scanning method, it is updated set.

なお、本実施形態では、一種類の大きさのテンプレートを用いて入力画像内における様々な大きさの顔の検出を行えるよう、ラスタースキャン方式で入力画像の右下までの検出作業が終了する毎に、入力画像を定められた倍率で縮小し、再度、ラスタースキャン方式で上記の検出作業を入力画像の左上から右下方向に向けて行う処理が行われる。 In the present embodiment, each to perform the detection of the face of different sizes in the input image, the detection operations to the lower right of the input image in a raster scanning method is terminated with a single type of size of the template to, reduced with a defined input image magnification, again, the processing performed toward the lower right direction from the upper left of the input image of the above detection task in a raster scan method is performed. これを規定回数繰り返すことにより、入力画像における様々な大きさの顔が検出可能となっている。 By repeating this specified number of times, the face of various sizes in the input image can be detected.

図3を参照して、入力画像を徐々に縮小しながら、入力画像内における様々な大きさの顔の検出を行う動作について説明する。 Referring to FIG. 3, while gradually reducing the input image, the operation will be described for detecting the face of different sizes in the input image. 同図では、入力画像中に、顔Aと顔Bが含まれている。 In the figure, in the input image, a face is included A and the face B.

同図(a)は、入力画像上において、注目領域をラスタースキャン方式で1画素ずつ右方または下方にずらして顔検出を行う際の動作を示すものである。 FIG (a), in the input image, showing the operation for the face detection region of interest right by one pixel in a raster scanning method or shifted downward. この場合、注目領域に比べて顔Aと顔Bが大きいため、顔A、顔Bの何れも検出することができない。 In this case, because of the large face A and the face B as compared with the region of interest, it can not detect any of the face A, face B.

同図(b)は、同図(a)の場合よりも入力画像を縮小し、その後、同図(a)の場合と同様に、注目領域をラスタースキャン方式で1画素ずつ右方または下方にずらして顔検出を行う際の動作を示すものである。 FIG (b) is to reduce the input image than the case of FIG (a), then, as in the case of FIG. (A), the right by one pixel region of interest in a raster scan manner or downward illustrates the operation for face detection are shifted. この場合、顔Bが注目領域とほぼ一致する大きさとなるため、顔Bは検出されるが、顔Aは検出されない。 In this case, since the magnitude face B substantially coincides with the region of interest, but the face B is detected, the face A is not detected.

同図(c)は、同図(b)の状態の後、縮小処理とスキャン処理を何度か繰り返した際の処理動作を示すものである。 FIG (c), after the state shown in FIG. (B), it shows a processing operation when the repeated or reduction processing and the scan process a number of times. この場合、顔Aが注目領域とほぼ一致する大きさとなり、顔Aを検出することができる。 In this case, the size of a face A substantially coincides with the region of interest, it is possible to detect a face A.

これ以後も、入力画像の縮小処理と注目領域のスキャン処理を規定回数まで繰り返す。 It also subsequently repeated scanning process of the attention area and the reduction processing of the input image to the specified number of times. その結果、入力画像から顔Aと顔Bが検出され、入力画像のどこに顔があるか、その顔の向きとその角度はいくらか、などの情報がメモリ19に蓄積される。 As a result, the face A and the face B from the input image is detected, where there is a face in the input image, the orientation and the angle of the face somewhat, information such as is stored in the memory 19.

さて、本実施形態では、類似度計算のアルゴリズムとして正規化相互相関を用いる。 Now, in the present embodiment, a normalized cross-correlation as an algorithm for similarity calculation. 正規化相互相関では、計算式「S=(Vf-Mf)*(T-Mt)/(|Vf-Mf||T-Mt|)」で表される演算の結果から類似度Sが得られる。 The normalized cross-correlation calculation formula "S = (Vf-Mf) * (T-Mt) / (| Vf-Mf || T-Mt |)" similarity S from the result of the operation represented by the obtained . なお、式中の*はベクトル内積演算子、|A|はベクトルAの大きさを表す。 Incidentally, in the formula * vector dot product operator, | A | denotes the magnitude of the vector A. Vfは注目領域のエッジ情報行列を行ベクトル(又は列ベクトル)表記したもの、Tはテンプレートのエッジ情報行列を行ベクトル(又は列ベクトル)表記したものである。 Vf is that denoted edge information matrix of the region of interest row vector (or column vector), T is obtained by a row vector (or column vector) notation edge information matrix template. Mfは、その全成分が、注目領域のエッジ情報ベクトルの全要素の平均値mであるベクトル、すなわち、「Mf=mE(E=[1,1,1…,1])」で表されるベクトルである。 Mf, the entire component, the vector is an average value m of all the elements of edge information vector of the target region, i.e., "Mf = mE (E = [1,1,1 ..., 1])" represented by it is a vector. Mtは、その全成分が、テンプレートのエッジ情報ベクトルの全要素の平均値tであるベクトル、すなわち、「Mt=tE」で表されるベクトルである。 Mt, that all components, the vector is an average value t of all the elements of the template edge information vector, i.e., a vector represented by "Mt = tE '. なお、正規化相互相関におけるパラメータは、T、Mtである。 The parameter in the normalized cross-correlation, T, is Mt.

顔検出および顔向き推定動作の動作フローを図4に示す。 The operation flow of the face detection and face direction estimating operation shown in FIG. なお、この動作フローでは、前段階として、顔検出および顔向き推定を行う画像が画像記憶部10に入力される処理が行われる。 In this operation flow, as a pre-stage, processing the image to perform face detection and face direction estimation is input to the image storage unit 10 is performed.

図4を参照して、ステップS1では、画像記憶部10に入力された画像または後述の縮小画像についてエッジ情報計算部11で、エッジ情報の計算を行う。 Referring to FIG 4, in step S1, the input image or below the reduced image in the image storage unit 10 by the edge information calculating unit 11, the calculation of the edge information.

ステップS2では、顔検出および顔向き推定する領域、すなわち注目領域を特定し、注目領域における左右各領域のエッジ情報を取り出す。 In step S2, the region estimating face detection and face direction, i.e. to identify a region of interest, retrieve the edge information of the right and left regions in the region of interest. これにより、ベクトル値Vfが得られる(以下、画像ベクトルと呼ぶ)。 Thus, the vector value Vf is obtained (hereinafter, referred to as an image vector).

ステップS3では、画像ベクトルを用い、注目領域における、左右各領域内の顔検出、顔向き推定を行う。 In step S3, using the image vectors, the region of interest, face detection each of right and left areas, performs face direction estimation. 動作の詳細は後で述べる。 Details of the operation will be described later.

ステップS4では、ステップS3で得られた検出結果をメモリ19へ格納する。 In step S4, and stores the detection result obtained in step S3 to the memory 19.

ステップS5では、注目領域が入力画像の右下まで至ったかを判定することで、入力画像の全領域におけるスキャンが終了したかを判断する。 In step S5, that region of interest to determine led to the lower right of the input image, it is determined whether scanning at all the regions of the input image is finished. 終了した場合は、ステップS6へ進み。 If you have finished, the process proceeds to step S6. 終了していない場合は、ステップS2へ戻り、注目領域を再設定する。 If it is not finished, it returns to step S2, and re-set the region of interest.

ステップS6では、規定回数まで入力画像の縮小がなされたかの判断を行う。 In step S6, it performs the determination of whether the reduced input image has been made to the specified number of times. 規定回数まで縮小がなされた場合は、当該全検出動作の終了となる。 If reduced to specified number of times has been performed, the end of the entire detection operation. 終了していない場合は、ステップS7へ進む。 If it is not finished yet, the process proceeds to step S7.

ステップS7では、現在検出を行った対象画像の縮小画像を作成する。 In step S7, creating a reduced image of the target image subjected to the current detection. その後、当該縮小画像の顔検出および顔向き推定を行うため、ステップS1へ戻る。 Thereafter, in order to perform the face detection and face direction estimation of the reduced image, the flow returns to step S1.

顔および非顔検出動作(ステップS3)の動作フローを図5に示す。 Face and non-face detection operation of the operation flow (step S3) shown in FIG.

図5を参照して、ステップS31では、ステップS2で計算された注目領域のエッジ情報のうち左半分のものを取り出す。 Referring to FIG. 5, in step S31, it takes out those left half of the edge information of the calculated attention area in step S2.

ステップS33では、ステップS2で計算された注目領域のエッジ情報のうち右半分のものを取り出す。 In step S33, it takes out those of the right half of the edge information of the calculated attention area in step S2.

ステップS32、S34では、注目領域のうちの左領域、右領域の各々に関して、正規化相互相関を用いて類似度を計算する。 In step S32, S34, the left area of ​​the region of interest for each of the right region, the degree of similarity is calculated using the normalized cross-correlation. 詳細については、後で述べる。 For more information, described later.

ステップS35では、ステップS32、S34で計算された左領域、右領域の各々の類似度を用いて顔検出、顔向き推定を行う。 In step S35, it performs face detection, face direction estimation using the calculated left area in step S32, S34, each similarity of the right region. これも詳細については、後で述べる。 This is also For more information, described later. その後、ステップS4へ進む。 Then, the process proceeds to step S4.

半顔における類似度計算動作(ステップS32またはS34)の動作フローを図6に示す。 The operation flow of similarity calculation operation in half face (step S32 or S34) shown in FIG. なお、ステップS32とステップS34の動作は同様なので、ここでは、ステップS32についてのみ述べる。 Since the operation of step S32 and step S34 similar, Here, we only step S32.

図6を参照して、ステップS321では、左顔用のテンプレート等のパラメータが左顔パラメータ14に読み込まれているか確認を行う。 Referring to FIG 6, in step S321, and confirms whether the parameter template or the like for the left face is loaded into the left face parameter 14. 読み込まれていればステップS323へ進む。 If the read operation proceeds to step S323. 読み込まれていないときはステップS322へ進む。 When not loaded, the process proceeds to step S322.

ステップS322では、左顔用のテンプレート等のパラメータの読み込みを行う。 In step S322, it reads the parameters of the template or the like for the left face.

ステップS323では、正規化相互相関を用いて類似度を計算する。 In step S323, the degree of similarity is calculated using the normalized cross-correlation. 具体的には、先に述べた計算式を用いて計算を行う。 Specifically, the calculation is performed using the formula previously described.

ステップS324では、算出した類似度Sをメモリ19に格納する。 At step S324, and stores the calculated degree of similarity S in the memory 19.

顔および顔向きの検出動作(ステップS35)の動作フローを図7に示す。 Face and face direction detecting operation an operation flow of (step S35) shown in FIG.

図7を参照して、ステップS351では、ステップS32で計算された左半顔における類似度S Bが閾値T B以上であるか、またはステップS34で計算された右半顔における類似度S Aが閾値T A以上であるかの判断を行う。 7, in step S351, the similarity S A in the calculated right half face similarity S B is either the threshold T B above or steps S34, in the calculated left half face Step S32 It performs determination of whether the threshold value T a or more. 少なくとも一方が満たされているときは、左顔領域および右顔領域の少なくとも一方が顔であると判断され、ステップS352へ進む。 When at least one of which is filled, at least one of the left face area and right face region is determined to be a face, the process proceeds to step S352. 両方共に満たされないときは、左顔領域および右顔領域双方とも顔ではないと判断され、ステップS353へ進む。 When not satisfied in both is determined not to be the left face area and right facial areas both faces, the flow proceeds to step S353.

ステップS352では、左顔領域および右顔領域の少なくとも一方が顔と判断できたので、注目領域は顔であると判定される。 In step S352, since at least one of the left face area and right face area it can be determined that the face, the region of interest is determined to be a face.

ステップS353では、左顔領域および右顔領域の両方が顔ではないと判断されたので、注目領域は顔ではないと判定される。 In step S353, since both the left face area and right face region is determined not to be a face, the region of interest is determined not to be a face.

ステップS354では、類似度S Aおよび類似度S Bの各々が、例えば、テーブルにおいてどの範囲に位置しているかによって、判定された顔が入力画像においてどちらを向いているのかを検出する。 In step S354, each of the similarity S A and similarity S B is, for example, depending on whether you are located in any range in the table, determined face to detect whether facing either the input image.

以上のように、検出装置100において顔検出および顔向き推定の動作が行われる。 As described above, the operation of the face detection and face direction estimating is performed in the detection apparatus 100.

次に、正規化相互相関による類似度から、顔向き推定がどのように行われるのか(S354)について述べる。 Then, from the similarity by normalized cross-correlation describes how the face orientation estimation is how performed (S354). 正規化相互相関における類似度の最大値は、先に述べた式から1であることが分かる(ベクトル(Vf-Mf)とベクトル(T-Mt)の向きが一致するとき)。 The maximum degree of similarity in the normalized cross-correlation (when the direction of the vector (Vf-Mf) and vector (T-Mt) matches) which it can be seen that a 1 from the equation mentioned earlier. 例えば、顔向き判定部18には、図8に示すようなテーブルが格納されており、類似度計算部16にて算出された類似度S Aおよび類似度S Bの各々が、このテーブルにおいてどの範囲に位置していれば、入力画像において判定された顔が正面に対して何度左または右を向いているのかが分かる。 For example, the face orientation determining unit 18 is stored a table as shown in FIG. 8, each of the degree of similarity S A and similarity S B calculated by the similarity calculation unit 16, which in this table if located in the range seen whether the determined face in the input image is facing again left or right with respect to the front is. 顔向き判定部18は、算出された類似度S A 、S Bとテーブルとを比較し、顔向きの方向と角度を判別する。 Face orientation determining unit 18, calculated similarity S A, compares the S B and the table to determine the direction and angle of the face direction. このテーブルでは、顔の向きの角度は、正面の場合を0度、右向きを負値、左向きを正値としている。 In this table, the angular orientation of the face is in the case of the front 0-degree, negative value the right, a positive value for left.

なお、テーブル中に示された閾値は一例であって、検証結果等に基づき適宜変更可能である。 Incidentally, the threshold value shown in the table is an example, it can be changed as appropriate based on verification result, and the like. また、顔向き角度をこれより細かく設定しても良く、逆に、荒く設定しても良い。 Also, may be set finer than this face angle, conversely, it may be set roughly. なお、顔向き角度を判別せずに、右と左の何れを向いているかのみを判別する場合には、類似度S A 、S Bのうち何れが閾値以上となっているかによって顔向きを判別するようにしても良い。 Incidentally, without discriminating the face direction angle, when determining only whether facing one of right and left, determines the face orientation by either the similarity S A, is any of S B is equal to or greater than the threshold value it may be. このとき、類似度S A 、S Bのうち何れもが閾値以上となっている場合には、顔向き推定を正面とするか、あるいは、類似度の高い方を優先して顔向き方向の判別を行えばよい。 In this case, the similarity S A, if none of the S B is equal to or greater than the threshold value, either the front face direction estimation or determination of the face direction direction with priority higher similarity the may be performed. なお、類似度S A 、S Bが同じ値の場合または略同じの場合は、図8のテーブルの場合と同様、正面を向いているとする。 Incidentally, the similarity S A, in the case of when or substantially the same is S B of the same value, as in the case of the table of FIG. 8, and facing forward.

ところで、上記実施形態では、類似度計算のアルゴリズムとして正規化相互相関を用いるようにしたが、顔検出において用いられているその他の類似度算出手法を用いることも勿論可能である。 Incidentally, in the above embodiment, to use a normalized cross-correlation as an algorithm for similarity calculation, it is of course possible to use other similarity calculation method used in the face detection.

例えば、顔画像の標本および顔以外(非顔)の画像の標本の確率分布を用いて類似度を計算してもよい。 For example, the probability distribution of the sample image other than the specimen and the face of the face image (non-face) may calculate the similarity by using. 具体的には、多数の顔画像ならびに非顔画像を左右に2等分し、各々の画像(非顔画像に関しても顔画像と同様に各々を左顔画像、右顔画像と呼ぶ)に関する画像情報の標本を用いて、各々における正規化された確率分布に関する平均値Mと標準偏差σを算出する。 Specifically, the number of face images and non-face images divided into two equal parts in the left and right, the image information for each of the images (Hidarikao images respectively Like the facial image with respect to non-face images, referred to as a right face image) using the specimen to calculate the average value M and the standard deviation σ regarding the normalized probability distribution in each. なお、非顔画像には、顔検出の際に顔と紛らわしいと考えられる物の画像が選択される。 Note that the non-face image, the image of the object is considered confusing the face when the face detection is selected. この場合のパラメータは、以上の8つの値と、顔の確率分布と非顔の確率分布の差を際立たせるために使用する投影ベクトルであり、具体的には、顔画像および非顔画像の各々について、左、右顔画像各々の正規化確率分布における平均値Mと標準偏差σが4組と、顔画像と非顔画像で共通の左右顔画像の各投影ベクトルが2つである。 Each of the parameters in this case, a projection vector that is used to accentuate the eight values ​​above, the difference between the probability distribution of the probability distribution and the non-face of the face, particularly the face image and non-face images for the left, and the average value M and the standard deviation σ four sets in the normalized probability distribution of the right face images respectively, each projection vector common lateral face images in the face image and non-face images is two.

類似度Sは、式「S=P F (V*T)/P NF (V*T)」で表され、左顔画像、右顔画像の各々について算出される。 Similarity S is represented by the formula "S = P F (V * T ) / P NF (V * T) ", Hidarikao image is calculated for each of the right facial image. なお、式中の*はベクトル内積演算子であり、P F (x)、P NF (x)は各々、顔画像および非顔画像の正規分布N(M,σ 2 )に対する確率密度関数を表し、「x=V*T」の時の確率を表す。 Incidentally, in the formula * is a vector dot product operator, P F (x), P NF (x) are each normal distribution N (M, σ 2) of the face images and non-face image represents the probability density function for represents the probability of the time of "x = V * T". Vは、例えば、注目領域のエッジ情報行列を行ベクトル(又は列ベクトル)表記したものである。 V, for example, a row vector (or column vector) edge information matrix of the region of interest is obtained by notation. なお、上式はその領域の顔である確率と非顔である確率の比を表しており、注目領域に顔画像が含まれる場合には、類似度は大きくなることが分かる。 Incidentally, the above formula represents the ratio of the probability is the probability and non-face is the face of the region, if it contains the facial image in the region of interest, the similarity is can be seen that large. なお、この場合の動作フローは正規化相互相関を用いた場合と同じである。 The operation flow of this case is the same as the case of using the normalized cross-correlation.

また、本実施形態における類似度計算のアルゴリズムとして、線形判別式、差分自乗和による計算手法を用いてもよい。 Further, as an algorithm of similarity calculation in the present embodiment, a linear discriminant, it may be used calculation method according to sum of squared differences. 線形判別式は、顔画像のみの標本の正規化確率分布および投影ベクトルを用いる。 Linear discriminant is used normalized probability distribution and projection vectors specimens only the face image. 類似度は式「S=(M―V*T)/σ」で表され、左顔画像、右顔画像の各々について算出される。 Similarity is represented by the formula "S = (M-V * T) / σ ', Hidarikao image is calculated for each of the right facial image. なお、式中の文字、記号は、上で用いたものと同じである。 Letters in the formula, the symbols are the same as those used above.

差分自乗和は、類似度Sは式「S=(Mf−V) 1/2 」で表され、左顔画像、右顔画像の各々について算出される。 Sum of squared differences is the similarity S is represented by the formula "S = (Mf-V) 1/2", Hidarikao image is calculated for each of the right facial image. Mf、Vは先に述べたものと同じである。 Mf, V is the same as that described above.

なお、線形判別式や差分自乗和を用いた場合の類似度Sは、正規化相互相関や正規分布の確率密度関数を用いた場合と異なり、マッチング度合いが高くなるほど類似度Sの値が小さくなる。 Incidentally, the similarity S of the case of using the linear discriminant or sum of squared differences, unlike the case of using a probability density function of the normalized cross-correlation and normal distribution, the value of the similarity S as the degree of matching is high is reduced . よって、動作フローは、図7ではなくて図9に変更する必要がある。 Thus, the operation flow, it is necessary to change in FIG. 9, rather than Fig. 図9と図7のフローにおいて異なる点は、類似度Sと閾値Tの大小関係を規定する不等号の向きが逆向きとなっている点のみである。 It differs in the flow of FIG. 9 and FIG. 7 only in that the inequality of orientation which defines the magnitude of similarity S and the threshold value T has become reversed. すなわち、図7のステップS351が図9においてステップS355に変更されている。 That is, step S351 in FIG. 7 is changed to step S355 in FIG. 9. なお、その他のステップは同じである。 The other steps are the same.

本実施形態によれば、多様な向きの顔に対応した円滑かつ適正に顔検出および顔向き推定を行うことができる。 According to this embodiment, it is possible to perform smoothly and properly face detection and face direction estimation corresponding to the face of a variety of orientations. その検証結果を図10に示す。 The verification results shown in FIG. 10.

図10を参照して、縦軸は類似度であり、横軸は顔の向きを示している。 Referring to FIG. 10, the vertical axis represents the degree of similarity, the horizontal axis represents the orientation of the face. 横軸の中央が正面を向いている場合で、中央より右に行くと左向顔となり、左に行くと右向き顔となる。 In the case where the center of the horizontal axis is directed to the front, and go to the right than the center becomes the left toward the face, the right face and go to the left. 横軸における数値は、横軸下方にある画像の画像No. Numbers in the horizontal axis, the image on the horizontal axis lower image No. を表している。 A represents.

図中のS AおよびS Bは、右顔テンプレート(右顔用のパラメータ)および左顔テンプレート(左顔用のパラメータ)を用いた場合の類似度のグラフを示し、S WHOLEは正面顔全体をテンプレートに用いた場合の類似度(上記従来技術1)のグラフを示している。 S A and S B in the figure, shows a graph of the similarity in the case of using the right face template (parameters for the right face) and Hidarikao templates (parameters for the left face), the entire S WHOLE front face similarity when used in the template shows a graph of (the prior art 1). 各テンプレートのパラメータは、正面顔の画像データベースを学習処理して生成されている。 Parameters for each template are generated by learning processing an image database frontal face.

なお、類似度の算出は、正規化相互相関法に従う算出アルゴリズムによって行った(T.Sim and S.Baker and M.Bsat,"The CMU Pose, Illumination, and Expression PIE Database", Proceedings of the 5th International Conference on Automatic Face and Gesture Recognition, 2002)。 It should be noted that the calculation of the degree of similarity was carried out by the calculation algorithm according to the normalized cross-correlation method (T.Sim and S.Baker and M.Bsat, "The CMU Pose, Illumination, and Expression PIE Database", Proceedings of the 5th International Conference on Automatic Face and Gesture Recognition, 2002). また、上記実施形態とは異なり、入力画像をスキャンする工程を行わずに、各テンプレートと入力画像の目の位置を人為的に合わせて各類似度の値の算出を行った。 Also, unlike the above embodiment, without performing the step of scanning the input image, it was calculated for each similarity value artificially align the eye in the input image and each template. すなわち、右顔テンプレートは、その目の位置を入力画像の右顔の目の位置に合わせ、左顔テンプレートは、その目の位置を入力画像の左顔の目の位置に合わせて類似度の算出を行った。 That is, the right face template is matched to eye position of the right face of the input image the position of the eyes, Hidarikao template, the calculation of the similarity in accordance with the eye position of the left face of the input image the position of the eye It was carried out. 比較例(上記従来技術1)のテンプレートは、両目の位置を入力画像の左顔の目の位置に合わせて類似度の算出を行った。 Template Comparative Example (the prior art 1) was performed to calculate the similarity by aligning the eyes in the eye of the position of the left face of the input image.

上記実施形態のように1画素ずつラスタースキャンする場合にも、目の位置が合う状態は起こるため、図10と同様の特性が得られるものと想定される。 When raster scan pixel by pixel as in the above embodiment also, since the state where the eye positions matches occur, it is assumed that the same characteristics as in FIG. 10 is obtained. すなわち、図10の特性は、各画像をラスタースキャンしたときに目の位置が合ったタイミングの類似度と見ることができる。 That is, the characteristics of FIG. 10 may be seen as the similarity of the timing that suits eyes position when raster scan each image.

なお、類似度の算出は、やや下向き、やや上向きの画像に対しても併せて行った。 The calculation of similarity was performed together slightly downward, even for slightly upward of the image. 図中の画像番号C9、C25、C31の画像は、C27、C2、C14の画像に比べ、同じ左右の向き角度でやや下向きとなっている。 Image of the image number C9, C25, C31 in the figure, compared to the C27, C2, C14 of the image, and has a slightly downward orientation angle of the same side. また、画像番号C7の画像は、C27の画像に比べ、やや下向きとなっている。 The image of the image number C7 is compared with an image of C27, and has a slightly downward.

同図を参照して、S WHOLEのグラフは、中央において類似度が一番高く横軸に沿って左右へ行くほど類似度が低下する特性を示している。 With reference to the figure, a graph of the S WHOLE is similarity toward the right and left along the high horizontal axis similarity is the most in the center shows the characteristic decrease. つまり、正面顔の顔検出率は高いが、左右顔の顔検出率は低いことを示している。 That is, although the face detection rate of the front face high, the face detection rate of the right and left face shows low.

Aのグラフは横軸に沿って右へ行くほど類似度が向上する特性を示している。 Graph of S A represents the characteristic of improving the higher similarity to go right along the horizontal axis. 中央から右においてはS WHOLEの値よりも高い値となっている。 In the right from the center it has a higher value than the value of S WHOLE. しかし、中央から左においてはS WHOLEの値よりも低い値となっている。 However, it has a value lower than the value of S WHOLE in the left from the center. つまり、正面顔から右顔にかけての顔検出率はS WHOLEの場合よりも優れているが、左顔の顔検出率は劣っていることを示している。 That is, although the face detection rate to right face from the front face is superior to the case of S WHOLE, indicates that the inferior face detection rate of the left face.

一方、S Bの特性は、横軸に沿って左へ行くほど類似度が向上する特性を示している。 On the other hand, the characteristics of S B is the similarity toward the left along the horizontal axis represents a characteristic to be improved. 中央から左においてはS WHOLEの値よりも高い値となっている。 In the left from the center has a higher value than the value of S WHOLE. しかし、中央から右においてはS WHOLEの値よりも低い値となっている。 However, it has a value lower than the value of S WHOLE in right from the center. つまり、正面顔から左顔にかけての顔検出率はS WHOLEの場合よりも優れているが、右顔の顔検出率は劣っていることを示している。 That is, although the face detection rate toward the left face from the front face is superior to the case of S WHOLE, it shows that the face detection rate of the right face is inferior. 丁度S Aの特性と逆となっている。 It has become a characteristic and the reverse of S A just.

上記実施形態では、S B ≧T Bであるか、または、S A ≧T Aのときに顔であると判別するものであるから、図10においては、画像が左向きの場合には類似度S Bをもとに顔であると判別され、画像が右向きの場合には類似度S Aをもとに顔であると判別されることとなる。 In the above embodiment, whether the S B ≧ T B, or, S A ≧ T since those determined to be a face at A, in Fig. 10, when the image is a leftward similarity S is determined to be the face B to the original, so that is determined to be a face based on the similarity S a in the case image is a right. 結局、本実施形態では、図10において、正面から左向き側の領域における類似度S Bと、正面から右向き側の領域における類似度S Aとを併せた類似度特性を有するのと等価となる。 After all, in the present embodiment, in FIG. 10, from the front and the similarity S B at left side of the area, as equivalent having similar size characteristics in conjunction with the similarity S A at right side of the region from the front.

このように、本実施例によれば、正面顔全体をテンプレートに用いた従来技術1に比べ、正面顔に対する顔検出能力を同等に保ちながら、これ以外の向きに対しても、顔検出精度を高く維持することができる。 Thus, according to this embodiment, compared with the conventional art 1 using the entire front face template, while equally maintaining the face detection capability with respect to the front face, even for other orientations, face detection accuracy it can be maintained at a high level. 本実施形態によれば、多様な向きにおける顔の検出能力を高めることができ、検出率の大幅な改善を図ることができる。 According to this embodiment, it is possible to enhance the detection capability of the face in a variety of orientations, it is possible to achieve significant improvements in detection rates.

なお、本実施形態では左顔用と右顔用の2つのパラメータを使用したが、顔を左右対称と仮定する場合は、右顔用または左顔用のパラメータを簡単な変換により他方の顔のパラメータとして使用可能であるので、右顔用または左顔用のどちらか一方のパラメータのみを装置に具備しておけばよい。 In the present embodiment, although two parameters for the right face left face, if it is assumed that symmetrical faces, by simple transformation parameters for the right facial or left face other face because it is usable as a parameter, it is sufficient to comprise only the device either parameter for the right facial or left face. これにより、図2の左顔パラメータ14または右顔パラメータ15のどちらかが不要となり、パラメータのメモリ使用量を先述の従来技術1の半分程度に削減できる。 Thus, either the left face parameter 14 or the right face parameter 15 in Figure 2 is not required, thereby reducing the memory usage parameters to about half of the foregoing prior art 1.

また、本実施形態では画像のエッジ情報を使用したが、通常の画像の輝度情報に基づいて類似度を算出してもよい。 Although using edge information of the image in the present embodiment, it may calculate the similarity based on the luminance information of the normal image. この場合のパラメータは、前述のように、輝度情報と、これらの情報に関する統計学的データなどから構成される。 Parameters in this case, as described above, the luminance information, and the like statistical data on these information.

なお、本実施の形態における顔検出装置および顔向き推定装置は、ハードウェア的には、任意のコンピュータのCPU、メモリ、その他のLSIなどで実現できる。 Incidentally, the face detection unit and face orientation estimating device in the present embodiment, the hardware such as a CPU, a memory, can be implemented in such other LSI. また、ソフトウェア的には、メモリにロードされた顔検出および顔向き推定機能のあるプログラムなどによって実現される。 Moreover, and in software by a program with loaded into memory the face detection and face direction estimating function. 図2には、ハードウェアおよびソフトウェアによって実現される顔検出および顔向き推定の機能ブロックが示されている。 2 shows functional blocks of the face detection and face direction estimation realized by hardware and software are shown. ただし、これらの機能ブロックが、ハードウェアのみ、ソフトウェアのみ、あるいは、それらの組合せ等、いろいろな形態で実現できることは言うまでもない。 However, these functional blocks, hardware only, software only, or a combination thereof, etc., can of course be realized in a variety of forms.

本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。 Embodiments of the present invention, within the scope of the set forth in the appended claims technical idea, as appropriate, and various modifications are possible.

実施の形態に係る顔パラメータ、ならびに顔検出および顔向き推定作業を説明する図である。 Face parameters according to the embodiment, and is a diagram for explaining a face detection and face direction estimation work. 実施の形態に係る顔検出および顔向き推定装置の機能ブロック図である。 It is a functional block diagram of a face detection and face direction estimation apparatus according to the embodiment. 実施の形態に係る入力画像内における様々な大きさの顔の検出を行う動作を説明する図である。 It is a diagram for explaining an operation for detecting a face of different sizes in the input image according to the embodiment. 実施の形態に係る顔検出および顔向き推定動作の動作フローチャートである。 An operation flowchart of the face detection and face direction estimation operation according to the embodiment. 実施の形態に係る顔検出および顔向き推定動作の動作フローチャートである。 An operation flowchart of the face detection and face direction estimation operation according to the embodiment. 実施の形態に係る顔検出および顔向き推定動作の動作フローチャートである。 An operation flowchart of the face detection and face direction estimation operation according to the embodiment. 実施の形態に係る顔検出および顔向き推定動作の動作フローチャートである。 An operation flowchart of the face detection and face direction estimation operation according to the embodiment. 実施の形態に係る顔向き推定に使用するテーブルの一例を示す図 Diagram illustrating an example of a table used for face orientation estimation according to the embodiment 実施の形態に係る顔検出および顔向き推定動作の動作フローチャートである。 An operation flowchart of the face detection and face direction estimation operation according to the embodiment. 実施の形態に係る正規化相互相関を用いた場合の顔の向きに対する類似度を示すグラフである。 Is a graph showing the similarity to the orientation of the face in the case of using the normalized cross-correlation according to the embodiment.

符号の説明 DESCRIPTION OF SYMBOLS

10 画像記憶部 12 演算処理部 14 左顔パラメータ 15 右顔パラメータ 16 類似度計算部 17 顔判定部 18 顔向き判定部 100 顔検出および顔向き推定装置 10 image storing section 12 processing unit 14 Hidarikao parameter 15 right face parameter 16 similarity calculator 17 face determination unit 18 face orientation determining unit 100 face detection and face direction estimating apparatus

Claims (10)

  1. 画像中に含まれる顔領域を当該画像の画像データをもとに検出する顔検出装置において、 In face detection device which detects a face area included in an image based on the image data of the image,
    前記画像上に、フレーム領域を設定する領域設定手段と、 On the image, an area setting means for setting a frame region,
    前記フレーム領域を領域分割して得られる特定の分割領域に対応して個別に割り当てられたパラメータを格納する格納手段と、 Storage means for storing the parameters assigned individually to correspond to the particular divided region obtained by the frame area by area division,
    前記それぞれのパラメータと、このパラメータが割り当てられた分割領域の画像データをもとに、前記フレーム領域が設定された画像領域が顔領域であるかを判別する判別手段とを有する、 Wherein the respective parameters, based on the image data of the divided area where the parameter is assigned, the image area frame region is set and a determination means for determining whether a face area,
    ことを特徴とする顔検出装置。 Face detection apparatus characterized by.
  2. 請求項1において、 According to claim 1,
    前記分割領域は、前記フレーム領域を左右に領域分割したときの領域であって、前記パラメータは、左右の分割領域に対応してそれぞれ準備されている、 The divided region, the an area when the area division of the frame area to the right and left, the parameters are prepared in correspondence to the left and right divided area,
    ことを特徴とする顔検出装置。 Face detection apparatus characterized by.
  3. 請求項2において、 According to claim 2,
    前記判別手段は、前記それぞれのパラメータと、このパラメータが割り当てられた分割領域の画像データとを比較演算して当該パラメータにて規定される画像と当該分割領域の画像の類似度を求め、求めた類似度をもとに、前記フレーム領域が設定された画像領域が顔領域であるかを判別する、 Said determining means, said the respective parameters, the parameter comparison operation to the image data of the divided area allocated is calculated the similarity of the image of the image and the divided regions defined by the parameters were determined based on the similarity, an image region where the frame region is set to determine whether the face area,
    ことを特徴とする顔検出装置。 Face detection apparatus characterized by.
  4. 請求項3において、 According to claim 3,
    前記判別手段は、前記左右の分割領域に対する類似度を閾値と比較し、少なくとも何れか一方の類似度が前記閾値以上であるときに、前記フレーム領域が設定された画像領域が顔領域であるかを判別する、 The determination means compares with a threshold degree of similarity with respect to the left and right divided area, when at least one of the similarity degree is greater than or equal to the threshold value, whether the image area frame region is set is a face region to determine,
    ことを特徴とする顔検出装置。 Face detection apparatus characterized by.
  5. 請求項1ないし4のいずれか一項において、 In any one of claims 1 to 4,
    前記それぞれのパラメータは、正面顔の画像データベースから各分割領域の特徴量を抽出することにより生成されており、前記一つのフレーム領域に対して一つのみ準備されている、 Wherein each of the parameters is generated by extracting the feature amount of each divided area from the image database of the front face, it is prepared one only for the one frame area,
    ことを特徴とする顔検出装置。 Face detection apparatus characterized by.
  6. フレーム領域に含まれる顔の向きを当該フレーム領域内の画像データをもとに検出する顔向き推定装置であって、 The orientation of the face included in the frame region a face direction estimating apparatus for detecting on the basis of the image data of the frame region,
    前記フレーム領域を領域分割して得られる特定の分割領域に対応して個別に割り当てられたパラメータを格納する格納手段と、 Storage means for storing the parameters assigned individually to correspond to the particular divided region obtained by the frame area by area division,
    前記それぞれのパラメータと、このパラメータが割り当てられた分割領域の画像データをもとに、当該フレーム領域に含まれる顔の向きを判別する判別手段とを有する、 Wherein a and each parameter, based on the image data of the divided area where the parameter is assigned, and a discriminating means for discriminating the orientation of the face contained in the frame region,
    ことを特徴とする顔向き推定装置。 Face direction estimating apparatus characterized by.
  7. 請求項6において、 According to claim 6,
    前記分割領域は、前記フレーム領域を左右に領域分割したときの領域であって、前記パラメータは、左右の分割領域に対応してそれぞれ準備されている、 The divided region, the an area when the area division of the frame area to the right and left, the parameters are prepared in correspondence to the left and right divided area,
    ことを特徴とする顔向き推定装置。 Face direction estimating apparatus characterized by.
  8. 請求項7において、 According to claim 7,
    前記判別手段は、前記それぞれのパラメータと、このパラメータが割り当てられた分割領域の画像データとを比較演算して当該パラメータにて規定される画像と当該分割領域の画像の類似度を求め、求めた類似度をもとに、当該フレーム領域に含まれる顔の左右方向の向きを判別する、 Said determining means, said the respective parameters, the parameter comparison operation to the image data of the divided area allocated is calculated the similarity of the image of the image and the divided regions defined by the parameters were determined based on similarity to determine the lateral direction of the orientation of the face contained in the frame region,
    ことを特徴とする顔向き推定装置。 Face direction estimating apparatus characterized by.
  9. 請求項8において、 According to claim 8,
    前記判別手段は、前記左右の分割領域に対する類似度の大小関係をもとに、当該フレーム領域に含まれる顔の左右方向の向きを判別する、 The determination means, based on the similarity of the magnitude relationship with respect to the left and right divided regions, to determine the lateral direction of the orientation of the face contained in the frame region,
    ことを特徴とする顔向き推定装置。 Face direction estimating apparatus characterized by.
  10. 請求項9において、 According to claim 9,
    前記判別手段は、前記左右の分割領域に対する類似度と閾値とを比較して、当該フレーム領域に含まれる顔の左右方向の向きの大きさを判別する、 The determination means compares the similarity with a threshold value for said left and right divided regions, to determine the magnitude of the horizontal direction of orientation of the face contained in the frame region,
    ことを特徴とする顔向き推定装置。 Face direction estimating apparatus characterized by.
JP2004256263A 2004-09-02 2004-09-02 Face detection device and face direction estimation device Withdrawn JP2006072770A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004256263A JP2006072770A (en) 2004-09-02 2004-09-02 Face detection device and face direction estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004256263A JP2006072770A (en) 2004-09-02 2004-09-02 Face detection device and face direction estimation device

Publications (1)

Publication Number Publication Date
JP2006072770A true JP2006072770A (en) 2006-03-16

Family

ID=36153322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004256263A Withdrawn JP2006072770A (en) 2004-09-02 2004-09-02 Face detection device and face direction estimation device

Country Status (1)

Country Link
JP (1) JP2006072770A (en)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249852A (en) * 2006-03-17 2007-09-27 Sony Corp Information processor and method, recording medium and program
JP2008015814A (en) * 2006-07-06 2008-01-24 Megachips System Solutions Inc Image analysis device and object recognition method
JP2008130095A (en) * 2006-11-17 2008-06-05 Shindorico Co Ltd Face area detection device and correction method for photograph printing
JP2008287704A (en) * 2007-04-20 2008-11-27 Panasonic Corp Face image detection device, face image detection method and photographing device
JP2009031760A (en) * 2007-07-04 2009-02-12 Sanyo Electric Co Ltd Imaging apparatus and automatic focus control method
JP2009205467A (en) * 2008-02-28 2009-09-10 Seiko Epson Corp Image output method, image output device, and image output program
JP2010108138A (en) * 2008-10-29 2010-05-13 Denso Corp Person detection device and program
WO2011000841A1 (en) * 2009-06-29 2011-01-06 Tessera Technologies Ireland Limited Methods and apparatuses for half-face detection
US7916903B2 (en) 2006-11-21 2011-03-29 Sony Corporation Personal identification device, personal identification method, updating method for identification dictionary data, and updating program for identification dictionary data
US7962629B2 (en) 2005-06-17 2011-06-14 Tessera Technologies Ireland Limited Method for establishing a paired connection between media devices
US7965875B2 (en) 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
US8005265B2 (en) 2003-06-26 2011-08-23 Tessera Technologies Ireland Limited Digital image processing using face detection information
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US8064655B2 (en) 2007-04-20 2011-11-22 Panasonic Corporation Face image detection device, face image detection method and imaging apparatus
US8134604B2 (en) 2006-11-13 2012-03-13 Sanyo Electric Co., Ltd. Camera shake correction device, camera shake correction method and imaging device
JP2012203691A (en) * 2011-03-25 2012-10-22 Toshiba Corp Image identification device and image identification method
US8432475B2 (en) 2008-03-03 2013-04-30 Sanyo Electric Co., Ltd. Imaging device
US8520089B2 (en) 2008-07-30 2013-08-27 DigitalOptics Corporation Europe Limited Eye beautification
US8526761B2 (en) 2009-12-17 2013-09-03 Sanyo Electric Co., Ltd. Image processing apparatus and image sensing apparatus
US8633999B2 (en) 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
US8681241B2 (en) 2008-07-30 2014-03-25 DigitalOptics Corporation Europe Limited Automatic face and skin beautification using face detection
US8929598B2 (en) 2011-06-29 2015-01-06 Olympus Imaging Corp. Tracking apparatus, tracking method, and storage medium to store tracking program
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
WO2016043872A1 (en) * 2014-09-19 2016-03-24 Intel Corporation Real time skin smoothing image enhancement filter

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005265B2 (en) 2003-06-26 2011-08-23 Tessera Technologies Ireland Limited Digital image processing using face detection information
US8224108B2 (en) 2003-06-26 2012-07-17 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8131016B2 (en) 2003-06-26 2012-03-06 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8126208B2 (en) 2003-06-26 2012-02-28 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US7962629B2 (en) 2005-06-17 2011-06-14 Tessera Technologies Ireland Limited Method for establishing a paired connection between media devices
JP4556891B2 (en) * 2006-03-17 2010-10-06 ソニー株式会社 An information processing apparatus and method, recording medium, and program
JP2007249852A (en) * 2006-03-17 2007-09-27 Sony Corp Information processor and method, recording medium and program
US7844108B2 (en) 2006-03-17 2010-11-30 Sony Corporation Information processing apparatus and method, recording medium and program
US7965875B2 (en) 2006-06-12 2011-06-21 Tessera Technologies Ireland Limited Advances in extending the AAM techniques from grayscale to color images
JP2008015814A (en) * 2006-07-06 2008-01-24 Megachips System Solutions Inc Image analysis device and object recognition method
US8134604B2 (en) 2006-11-13 2012-03-13 Sanyo Electric Co., Ltd. Camera shake correction device, camera shake correction method and imaging device
JP2008130095A (en) * 2006-11-17 2008-06-05 Shindorico Co Ltd Face area detection device and correction method for photograph printing
JP2012185827A (en) * 2006-11-17 2012-09-27 Shindorico Co Ltd Face area detection device and correction method for photo printing
US7916903B2 (en) 2006-11-21 2011-03-29 Sony Corporation Personal identification device, personal identification method, updating method for identification dictionary data, and updating program for identification dictionary data
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US8064655B2 (en) 2007-04-20 2011-11-22 Panasonic Corporation Face image detection device, face image detection method and imaging apparatus
JP2008287704A (en) * 2007-04-20 2008-11-27 Panasonic Corp Face image detection device, face image detection method and photographing device
JP2009031760A (en) * 2007-07-04 2009-02-12 Sanyo Electric Co Ltd Imaging apparatus and automatic focus control method
JP2009205467A (en) * 2008-02-28 2009-09-10 Seiko Epson Corp Image output method, image output device, and image output program
US8170299B2 (en) 2008-02-28 2012-05-01 Seiko Epson Corporation Image output method, image output device, and image output program
US8432475B2 (en) 2008-03-03 2013-04-30 Sanyo Electric Co., Ltd. Imaging device
US8902326B2 (en) 2008-07-30 2014-12-02 DigitalOptics Corporation Europe Limited Automatic face and skin beautification using face detection
US8681241B2 (en) 2008-07-30 2014-03-25 DigitalOptics Corporation Europe Limited Automatic face and skin beautification using face detection
US8520089B2 (en) 2008-07-30 2013-08-27 DigitalOptics Corporation Europe Limited Eye beautification
JP2010108138A (en) * 2008-10-29 2010-05-13 Denso Corp Person detection device and program
US8633999B2 (en) 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
WO2011000841A1 (en) * 2009-06-29 2011-01-06 Tessera Technologies Ireland Limited Methods and apparatuses for half-face detection
US8605955B2 (en) 2009-06-29 2013-12-10 DigitalOptics Corporation Europe Limited Methods and apparatuses for half-face detection
JP2012530994A (en) * 2009-06-29 2012-12-06 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッドDigitaloptics Corporation Europe Limited Method and apparatus for semi facial detection
US8526761B2 (en) 2009-12-17 2013-09-03 Sanyo Electric Co., Ltd. Image processing apparatus and image sensing apparatus
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8977056B2 (en) 2010-07-26 2015-03-10 Fotonation Limited Face detection using division-generated Haar-like features for illumination invariance
JP2012203691A (en) * 2011-03-25 2012-10-22 Toshiba Corp Image identification device and image identification method
US8929598B2 (en) 2011-06-29 2015-01-06 Olympus Imaging Corp. Tracking apparatus, tracking method, and storage medium to store tracking program
WO2016043872A1 (en) * 2014-09-19 2016-03-24 Intel Corporation Real time skin smoothing image enhancement filter
US9390478B2 (en) 2014-09-19 2016-07-12 Intel Corporation Real time skin smoothing image enhancement filter

Similar Documents

Publication Publication Date Title
JP4898800B2 (en) Image segmentation
JP4469275B2 (en) System and method for estimating the pose angle
JP4740657B2 (en) Stereo 3D reconstruction system and process based on color segmentation
EP1958149B1 (en) Stereoscopic image display method and apparatus, method for generating 3d image data from a 2d image data input and an apparatus for generating 3d image data from a 2d image data input
EP1677250B9 (en) Image collation system and image collation method
EP2153409B1 (en) Camera pose estimation apparatus and method for augmented reality imaging
US7127127B2 (en) System and method for adaptive video fast forward using scene generative models
JP4642093B2 (en) System for automatic detection and tracking of multiple individuals using multiple queues
US20100142828A1 (en) Image matching apparatus and method
US20070013791A1 (en) Tracking apparatus
EP1542155B1 (en) Object detection
US7689034B2 (en) Learning method for detectors, face detection method, face detection apparatus, and face detection program
US8050454B2 (en) Processing digital video using trajectory extraction and spatiotemporal decomposition
JP4443722B2 (en) Image recognition apparatus and method
JP4619927B2 (en) Face detection method and apparatus, as well as program
WO2009113231A1 (en) Image processing device and image processing method
US20070122005A1 (en) Image authentication apparatus
Krull et al. Learning analysis-by-synthesis for 6D pose estimation in RGB-D images
US5930378A (en) Dynamic image processing apparatus and method
JP3576987B2 (en) Template matching method and image processing apparatus of the image
US7366330B2 (en) Method, apparatus, and program for detecting faces
US7194110B2 (en) Method and apparatus for tracking features in a video sequence
JP5500242B2 (en) Detection apparatus and method for detecting a target multiple classes
CN101086788B (en) The method of generating disparity map and a stereo matching method and apparatus and apparatus
JP2005316973A (en) Red-eye detection apparatus, method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070112

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090603