JP2006301811A - Image processor and image processing method - Google Patents
Image processor and image processing method Download PDFInfo
- Publication number
- JP2006301811A JP2006301811A JP2005120348A JP2005120348A JP2006301811A JP 2006301811 A JP2006301811 A JP 2006301811A JP 2005120348 A JP2005120348 A JP 2005120348A JP 2005120348 A JP2005120348 A JP 2005120348A JP 2006301811 A JP2006301811 A JP 2006301811A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- similarity
- face detection
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、画像データから人物の顔の有無及び顔の位置を検出する画像処理装置及び画像処理方法に関し、特に、撮像する環境のうち照明環境が変動した場合であっても精度良く顔の有無及び顔の位置を検出できる画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for detecting the presence / absence of a person's face and the position of a face from image data, and in particular, the presence / absence of a face with high accuracy even when the illumination environment changes in an imaging environment. The present invention also relates to an image processing apparatus and an image processing method capable of detecting the position of a face.
従来より、ＣＣＤカメラ等で撮像した濃淡画像を入力とし、当該濃淡画像に含まれる顔画像を検出する技術としては、下記の特許文献１に記載された顔抽出装置などが知られている。 2. Description of the Related Art Conventionally, as a technique for detecting a face image included in a grayscale image using a grayscale image captured by a CCD camera or the like as an input, a face extraction device described in Patent Document 1 below is known.
このような顔抽出装置は、予め顔画像のテンプレートを用意しておき、撮像した画像の各位置でテンプレートとの比較をしながら、画像上でテンプレートを走査して、画像における各位置での類似度を計算する。そして、この顔抽出装置では、画像とテンプレートとの類似度が所定のしきい値よりも大きいような局所的なピークが検出された画像内位置に顔が位置していることを判定している。 Such a face extraction device prepares a template for a face image in advance, scans the template on the image while comparing it with the template at each position of the captured image, and makes a similarity at each position in the image. Calculate the degree. In this face extraction device, it is determined that the face is located at a position in the image where a local peak whose degree of similarity between the image and the template is greater than a predetermined threshold is detected. .
このように、画像中から顔位置を特定するに際して使用する類似度の計算手法としては、テンプレートの任意画素値と入力画像の対応画素値との差分を累積して、当該差分が小さいほど類似度を高くする手法や、画像全体の均一的な明るさ変動を抑制するために、テンプレートの任意画素値と入力画像の対応画素値との差分を正規化する正規化相関法が挙げられる。 As described above, as a method of calculating the degree of similarity used when specifying the face position from the image, the difference between the arbitrary pixel value of the template and the corresponding pixel value of the input image is accumulated, and the degree of similarity becomes smaller as the difference becomes smaller. And a normalized correlation method that normalizes the difference between the arbitrary pixel value of the template and the corresponding pixel value of the input image in order to suppress uniform brightness fluctuations in the entire image.
更に、特許文献１のように、予め顔形状を円、楕円、多角形に設定して、相似形で異なる大きさのテンプレートを複数用意しておいて、ハフ変換によって画像中の円形領域を検索することによって顔位置を検索する技術も知られている。
しかしながら、従来において類似度を算出するに際し、画像データとテンプレートとの差分を累積する手法や正規化相関法では、画像データの撮像領域での照明方向が変化すると、顔内の明暗分布がテンプレートとは大きく異なってしまい、正確な類似度を演算することができない問題がある。したがって、この手法では、画像内で正確な顔位置が検出できない問題があった。 However, when calculating the degree of similarity in the past, in the method of accumulating the difference between the image data and the template or the normalized correlation method, if the illumination direction in the imaging region of the image data changes, the brightness distribution in the face becomes the template. Are greatly different, and there is a problem that an accurate similarity cannot be calculated. Therefore, this method has a problem that an accurate face position cannot be detected in an image.
また、特許文献１に記載されているように、円などの予め設定した顔外郭形状を利用する技術では、顔部分の背景画像にも円に類似した物体が存在する場合に、正確な顔位置が検出できないという問題があった。 Further, as described in Patent Document 1, in the technique using a pre-set face outline shape such as a circle, an accurate face position is obtained when an object similar to a circle exists in the background image of the face portion. There was a problem that could not be detected.
そこで、本発明は、上述した実情に鑑みて提案されたものであり、顔の有無及び位置を検出するための撮像領域において照明環境が変動した場合であっても、正確に顔の有無及び顔の位置を検出することができる画像処理装置及び画像処理方法を提供することを目的とする。 Therefore, the present invention has been proposed in view of the above-described circumstances, and even when the illumination environment changes in the imaging region for detecting the presence and position of the face, the presence and absence of the face and the face are accurately determined. An object of the present invention is to provide an image processing apparatus and an image processing method capable of detecting the position of the image.
本発明は、予め、所定の撮像領域に対する一又は複数の照明モデルに基づいて作成された顔検出用テンプレート画像を記憶させておき、所定の撮像領域を撮像して得た、当該所定の撮像領域に含まれる顔位置を検出するための画像データを入力すると、入力した画像データと、記憶しておいた顔画像テンプレート画像とを比較して類似度を演算して、当該類似度に基づいて前記所定の撮像領域における顔の有無及び顔の位置を検出する。これにより、所定の撮像領域の照明環境と顔検出用テンプレート画像の照明モデルとが合致している時には、高い類似度を得ることができ、一方で、所定の撮像領域の照明環境と顔検出用テンプレート画像の照明モデルとが合致していない時には、高い類似度を得ることができず、当該類似度の相違によって顔の有無及び顔の位置の検出を行うことによって、上述の課題を解決する。 The present invention prestores a face detection template image created based on one or a plurality of illumination models for a predetermined imaging area, and obtains the predetermined imaging area by imaging the predetermined imaging area. When image data for detecting a face position included in the image is input, the input image data is compared with the stored face image template image to calculate a similarity, and based on the similarity, the The presence / absence of a face and the position of the face in a predetermined imaging region are detected. As a result, when the illumination environment of the predetermined imaging area and the illumination model of the face detection template image match, a high similarity can be obtained, while the illumination environment of the predetermined imaging area and the face detection When the illumination model of the template image does not match, a high similarity cannot be obtained, and the above problem is solved by detecting the presence / absence of the face and the position of the face based on the difference in the similarity.
本発明によれば、予め一又は複数の照明モデルに基づいて作成された顔検出用テンプレート画像を記憶させておき、画像データと、顔検出用テンプレート画像とを比較して類似度を演算して、当該類似度に基づいて前記所定の撮像領域における顔の有無及び顔の位置を検出するので、顔の有無及び位置を検出するための撮像領域において照明環境が変動した場合であっても、実際の照明環境に基づいた顔検出用テンプレート画像を用意しておくことにより、正確に顔の有無及び顔の位置を検出することができる。 According to the present invention, a face detection template image created in advance based on one or a plurality of illumination models is stored, and the similarity is calculated by comparing the image data with the face detection template image. Since the presence / absence of the face and the position of the face in the predetermined imaging area are detected based on the similarity, even if the illumination environment varies in the imaging area for detecting the presence / absence and position of the face, By preparing a face detection template image based on the lighting environment, it is possible to accurately detect the presence of a face and the position of the face.
以下、本発明の実施の形態について図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
［第１実施形態］
本発明を適用した第１実施形態に係る画像処理装置は、図１に示すように、撮像部１で画像データを生成して、当該画像データに対して顔検出装置２で画像処理を施して、当該画像処理結果として顔検出結果情報を出力する。この顔検出結果情報は、後述するが、撮像部１の所定の撮像領域に人物の顔が含まれるか否かを示す顔有無情報と、所定の撮像領域に人物の顔が存在する場合の顔位置を示す顔位置情報とを含む。そして、画像処理装置は、当該顔検出結果情報に基づいて人物の顔の表情認識を行って自動対話を行う対話システムや、顔検出結果情報に基づいて個人認証を行うセキュリティシステム等に出力し、当該システムに顔位置に基づいた処理を可能とさせる。
[First Embodiment]
As shown in FIG. 1, the image processing apparatus according to the first embodiment to which the present invention is applied generates image data by the imaging unit 1, and performs image processing on the image data by the face detection apparatus 2. The face detection result information is output as the image processing result. As will be described later, the face detection result information includes face presence / absence information indicating whether or not a person's face is included in a predetermined imaging area of the imaging unit 1, and a face when a person's face exists in the predetermined imaging area. And face position information indicating the position. Then, the image processing apparatus outputs to a dialogue system that performs automatic dialogue by performing facial expression recognition of a person based on the face detection result information, a security system that performs personal authentication based on the face detection result information, The system enables processing based on the face position.
この第１実施形態に係る画像処理装置は、撮像部１と、画像入力部１１、顔検出用テンプレート記憶部１２、濃度勾配方向抽出部１３、濃度勾配方向画像記憶部１４、顔検出部１５を有する顔検出装置２とを備えて構成されている。この画像処理装置において、撮像部１は、平均的な身長の人物の顔を含むような撮像方向及び画角となるように設置されたＣＣＤ（Charge Coupled Device）カメラから構成され、顔検出装置２は、撮像部１と接続された入出力インターフェース回路、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等からなるマイクロコンピュータで構成される。 The image processing apparatus according to the first embodiment includes an imaging unit 1, an image input unit 11, a face detection template storage unit 12, a density gradient direction extraction unit 13, a density gradient direction image storage unit 14, and a face detection unit 15. And a face detection device 2 having the same. In this image processing apparatus, the imaging unit 1 is composed of a CCD (Charge Coupled Device) camera installed so as to have an imaging direction and an angle of view so as to include the face of an average tall person. Is configured by a microcomputer including an input / output interface circuit connected to the imaging unit 1, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
画像入力部１１は、撮像部１と接続され、画像データを入力とする入力インターフェース回路からなり、撮像部１から取り込んだ画像データを濃度勾配方向抽出部１３に出力する。この画像入力部１１で入力する画像データは、図２に示すように、撮像部１の視点（撮像位置）から人物の顔を前方から撮像したデータである。この顔検出装置２は、画像入力部１１によって所定期間ごとに画像データを取り込ませて、当該所定期間ごとの画像データを使用して、所定期間ごとに顔検出結果情報を出力する。 The image input unit 11 is connected to the imaging unit 1 and includes an input interface circuit that receives image data. The image input unit 11 outputs the image data captured from the imaging unit 1 to the density gradient direction extraction unit 13. As shown in FIG. 2, the image data input by the image input unit 11 is data obtained by imaging a human face from the viewpoint (imaging position) of the imaging unit 1 from the front. The face detection device 2 causes the image input unit 11 to capture image data for each predetermined period, and uses the image data for each predetermined period to output face detection result information for each predetermined period.
顔検出用テンプレート記憶部１２は、一又は複数の顔検出用テンプレート画像を記憶するＲＯＭからなる。この顔検出用テンプレート記憶部１２は、照明モデルごとの一又は複数の顔検出用テンプレート画像を記憶している。この顔検出用テンプレート画像は、撮像部１の撮像領域における照明モデルごとに作成されて、予め顔検出用テンプレート記憶部１２に記憶されている。 The face detection template storage unit 12 includes a ROM that stores one or a plurality of face detection template images. The face detection template storage unit 12 stores one or a plurality of face detection template images for each illumination model. The face detection template image is created for each illumination model in the imaging region of the imaging unit 1 and stored in the face detection template storage unit 12 in advance.
具体的には、顔検出用テンプレート記憶部１２には、図２に上面図を示すように、人物の前方方向から照明が当てられた照明モデル（以下、前方向照明モデルと呼ぶ。）の顔検出用テンプレート画像、人物の後方方向から照明が当てられた照明モデル（以下、後方向照明モデルと呼ぶ。）の顔検出用テンプレート画像、人物の左方向から照明が当てられた照明モデル（以下、左方向照明モデルと呼ぶ。）の顔検出用テンプレート画像、人物の右方向から照明が当てられた照明モデル（以下、右方向照明モデルと呼ぶ。）の顔検出用テンプレート画像が記憶されている。 Specifically, as shown in the top view of FIG. 2, the face detection template storage unit 12 is a face of an illumination model illuminated from the front of a person (hereinafter referred to as a front illumination model). A template image for detection, a face detection template image of an illumination model illuminated from the rear direction of the person (hereinafter referred to as a rearward illumination model), an illumination model illuminated from the left direction of the person (hereinafter referred to as the illumination model) The face detection template image of the left direction illumination model) and the face detection template image of the illumination model illuminated from the right direction of the person (hereinafter referred to as the right direction illumination model) are stored.
濃度勾配方向抽出部１３は、画像入力部１１で入力した画像データの濃度勾配方向を計算して、画素単位又は画素ブロック単位で濃度勾配方向を示す情報を付加した濃度勾配方向画像を作成する。このとき、濃度勾配方向抽出部１３は、複数個の画素ブロックからなる領域内において、輝度値が低い画素（暗）から輝度値が高い画素（明）への方向を検出するために、例えば一次元方向の濃淡の段差を検出する１次微分フィルタであるソーベルフィルタを使用し、水平方向の微分強度ｄｘと垂直方向の微分強度ｄｙの逆正接（Arc tan）を算出して各画素ブロックにおける濃度勾配方向を求めて、当該濃度勾配方向を画素ブロックの方向値（画素値）とした濃度勾配方向画像を作成し、濃度勾配方向画像記憶部１４に記憶させる。 The density gradient direction extraction unit 13 calculates the density gradient direction of the image data input by the image input unit 11 and creates a density gradient direction image to which information indicating the density gradient direction is added in units of pixels or pixel blocks. At this time, the density gradient direction extraction unit 13 detects, for example, a primary direction in order to detect a direction from a pixel having a low luminance value (dark) to a pixel having a high luminance value (bright) in an area including a plurality of pixel blocks. Using a Sobel filter, which is a first-order differential filter that detects the level difference in the original direction, the arc tangent (Arc tan) of the differential intensity dx in the horizontal direction and the differential intensity dy in the vertical direction is calculated. A density gradient direction is obtained, a density gradient direction image is created with the density gradient direction as the pixel block direction value (pixel value), and is stored in the density gradient direction image storage unit 14.
図３（ａ）、（ｂ）は、濃度勾配方向画像１００を、画像内上方向の画素ほど明るくなる上方向領域１００ａ、画像内下方向の画素ほど明るくなる下方向領域１００ｂ、画像内左方向の画素ほど明るくなる左方向領域１００ｃ、画像内右方向の画素ほど明るくなる右方向領域１００ｄに分類して表示したものである。なお、濃度勾配方向画像１００を４種に分類して表示したのは、説明の便宜を図るためであり、実際の濃度勾配方向値が４種に限られることを意味するものではない。 3 (a) and 3 (b) show the density gradient direction image 100 in the upward direction area 100a that becomes brighter as the pixels in the upper direction in the image, the lower direction area 100b that becomes brighter as the pixels in the lower direction in the image, and the left direction in the image. This is classified and displayed in a left direction area 100c where the pixels are brighter and a right direction area 100d where the pixels in the right direction in the image are brighter. The density gradient direction images 100 are displayed in four types for convenience of explanation, and do not mean that the actual density gradient direction values are limited to four types.
このように、濃度勾配方向抽出部１３は、例えば、図４（ａ）に左方向から所定の撮像領域に照明を当てた左方向照明モデルでの顔部分における濃度勾配方向画像と、図４（ｂ）に右方向から所定の撮像領域に照明を当てた右方向照明モデルでの顔部分における濃度勾配方向画像とのように、照明モデルによって異なる濃度勾配方向画像を作成することができる。すなわち、図４（ａ）と図４（ｂ）とを比較すると、人物の頬、鼻、額の部分を中心として、反対方向の方向値となっている部分（例えば鼻周辺部分）が存在し、且つ、図４（ａ）によれば、左方向から照明が当てられているので左方向領域１００ｃに分類される方向値が多く抽出された濃度勾配方向画像を作成することができ、図４（ｂ）によれば、右方向から照明が当てられているので右方向領域１００ｄに分類される方向値が多く抽出された濃度勾配方向画像を作成することができる。 In this way, the density gradient direction extraction unit 13, for example, the density gradient direction image in the face portion in the left direction illumination model in which a predetermined imaging region is illuminated from the left direction in FIG. Different density gradient direction images can be created depending on the illumination model, such as the density gradient direction image in the face portion in the right direction illumination model in which a predetermined imaging area is illuminated from the right direction in b). That is, when FIG. 4 (a) is compared with FIG. 4 (b), there is a portion (for example, a nose peripheral portion) having a direction value in the opposite direction centering on the cheek, nose, and forehead portions of the person. 4A, since the illumination is applied from the left direction, it is possible to create a density gradient direction image in which many direction values classified into the left direction region 100c are extracted. According to (b), since illumination is applied from the right direction, it is possible to create a density gradient direction image in which many direction values classified into the right direction region 100d are extracted.
濃度勾配方向画像記憶部１４は、濃度勾配方向抽出部１３により抽出された濃度勾配方向画像１００を一時的に記憶するＲＡＭからなり、当該濃度勾配方向画像１００が顔検出部１５に読み込まれる。 The density gradient direction image storage unit 14 includes a RAM that temporarily stores the density gradient direction image 100 extracted by the density gradient direction extraction unit 13, and the density gradient direction image 100 is read into the face detection unit 15.
顔検出用テンプレート記憶部１２には、撮像部１における所定の撮像領域に対する一又は複数の照明モデルの顔検出用テンプレート画像が記憶されている。この顔検出用テンプレート画像は、後述の顔検出部１５で読み込まれて、濃度勾配方向画像記憶部１４に記憶された濃度勾配方向画像１００と比較される濃度勾配方向画像である。 The face detection template storage unit 12 stores one or a plurality of illumination model face detection template images for a predetermined imaging region in the imaging unit 1. This face detection template image is a density gradient direction image that is read by the face detection unit 15 described later and compared with the density gradient direction image 100 stored in the density gradient direction image storage unit 14.
この顔検出用テンプレート記憶部１２に記憶される顔検出用テンプレート画像は、図５（ａ）に示すように、濃度勾配方向抽出部１３で生成して濃度勾配方向画像記憶部１４に記憶した濃度勾配方向画像１００と同様の濃度勾配方向画像である。また、この顔検出用テンプレート画像は、図５（ｂ）〜（ｅ）に示すように、顔部分のみを示す濃度勾配方向画像であって、異なる４種の照明モデルごとの濃度勾配方向画像となっている。 The face detection template image stored in the face detection template storage unit 12 is generated by the density gradient direction extraction unit 13 and stored in the density gradient direction image storage unit 14 as shown in FIG. It is a density gradient direction image similar to the gradient direction image 100. In addition, as shown in FIGS. 5B to 5E, the face detection template image is a density gradient direction image showing only the face portion, and a density gradient direction image for each of four different illumination models. It has become.
このような顔検出用テンプレート記憶部１２に記憶される４種類の照明モデルにおける各顔検出用テンプレート画像を概念的に説明したものが図６で、ハッチングの相違で示すように顔の部位の方向値の特徴を４種類の方向に分類して表現したものである。ここでは、方向値を、上方向領域１００ａに分類されるもの、下方向領域１００ｂに分類されるもの、左方向領域１００ｃに分類されるもの、右方向領域１００ｄに分類されるものごとに図７に示すように表現している。 FIG. 6 conceptually illustrates the face detection template images in the four types of illumination models stored in the face detection template storage unit 12 as shown in FIG. 6. The feature of the value is expressed by classifying into four types of directions. Here, the direction values are shown in FIG. 7 for each of those classified into the upward region 100a, those classified into the downward region 100b, those classified into the left region 100c, and those classified into the right region 100d. It is expressed as shown in
このような照明モデルごとの顔検出用テンプレート画像を見ると、左方向から照明を当てた左方照明モデルと右方向から照明を当てた右方照明モデルとは、濃度勾配方向抽出部１３で算出した図４（ａ）と図４（ｂ）との比較した結果と同様に、人物の頬、鼻、額の部分を中心として、略々左右対称となっている部分が存在し、且つ、左方照明モデルでは左方向領域１００ｃが多く抽出された濃度勾配方向画像を作成することができ、右方照明モデルでは右方向領域１００ｄが多く抽出された濃度勾配方向画像を作成することができる。 Looking at the face detection template image for each illumination model, the density gradient direction extraction unit 13 calculates the left illumination model illuminated from the left direction and the right illumination model illuminated from the right direction. Similar to the result of comparison between FIG. 4 (a) and FIG. 4 (b), there is a portion that is substantially symmetric with respect to the cheek, nose, and forehead of the person, and the left In the direction illumination model, it is possible to create a density gradient direction image in which many left direction regions 100c are extracted, and in the right direction illumination model, it is possible to create a concentration gradient direction image in which many right direction regions 100d are extracted.
なお、この照明モデルごとの顔検出用テンプレート画像は、予め作成されて記憶されたものとしているが、画像処理装置の製造時において、標準となる照明モデル環境下で撮像された顔画像のみの画像データから濃度勾配方向抽出部１３で作成されて顔検出用テンプレート記憶部１２に記憶され、書き換え不能とされていても良い。 Although the face detection template image for each illumination model is created and stored in advance, only the face image captured in the standard illumination model environment at the time of manufacturing the image processing apparatus. It may be created by the density gradient direction extraction unit 13 from the data and stored in the face detection template storage unit 12 so that it cannot be rewritten.
顔検出部１５は、濃度勾配方向画像記憶部１４に記憶された濃度勾配方向画像１００と顔検出用テンプレート記憶部１２に記憶された照明モデルごとの顔検出用テンプレート画像とを比較して類似度を演算して、当該類似度に基づいて所定の撮像領域における顔の有無及び顔の位置を検出する。 The face detection unit 15 compares the density gradient direction image 100 stored in the density gradient direction image storage unit 14 with the face detection template image for each illumination model stored in the face detection template storage unit 12 to compare the similarity. And the presence / absence of a face and the position of the face in a predetermined imaging region are detected based on the similarity.
具体的には、先ず顔検出部１５は、差分絶対値の総和を計算する処理、又は、一般化ハフ変換を行い、４種の顔検出用テンプレート画像のそれぞれが濃度勾配方向画像１００上で最も類似度が高い濃度勾配方向画像１００内の位置を求めると共に、４種の照明モデルごとの類似度を求める。詳しくは、前方向照明モデルの顔検出用テンプレート画像を濃度勾配方向画像１００上で走査させて最も高い類似度及び当該類似度が得られた画像内位置を求め、後方向照明モデルの顔検出用テンプレート画像を濃度勾配方向画像１００上で走査させて最も高い類似度及び当該類似度が得られた画像内位置を求め、左方向照明モデルの顔検出用テンプレート画像を濃度勾配方向画像１００上で走査させて最も高い類似度及び当該類似度が得られた画像内位置を求め、右方向照明モデルの顔検出用テンプレート画像を濃度勾配方向画像１００上で走査させて最も高い類似度及び当該類似度が得られた画像内位置を求める。 Specifically, first, the face detection unit 15 performs processing for calculating the sum of absolute difference values or generalized Hough transform, and each of the four types of face detection template images is the most on the density gradient direction image 100. A position in the density gradient direction image 100 having a high similarity is obtained, and a similarity for each of the four types of illumination models is obtained. More specifically, the face detection template image of the front illumination model is scanned on the density gradient direction image 100 to obtain the highest similarity and the position in the image where the similarity is obtained, and for the face detection of the rear illumination model The template image is scanned on the density gradient direction image 100 to obtain the highest similarity and the position in the image where the similarity is obtained, and the face detection template image of the left direction illumination model is scanned on the density gradient direction image 100. Then, the highest similarity and the position in the image from which the similarity is obtained are obtained, and the face detection template image of the right direction illumination model is scanned on the density gradient direction image 100 to obtain the highest similarity and the similarity. The obtained position in the image is obtained.
このようなテンプレートマッチングによれば、所定の撮像領域の照明環境と顔検出用テンプレート画像の照明モデルとが合致している時であって、人物の顔付近では著しく高い類似度を得ることができ、一方で、所定の撮像領域の照明環境と顔検出用テンプレート画像の照明モデルとが合致しておらず、更には人物の顔付近に該当しない場合には、著しく低い類似度を算出することができる。 According to such template matching, when the illumination environment of a predetermined imaging area matches the illumination model of the face detection template image, a remarkably high degree of similarity can be obtained near the face of a person. On the other hand, if the illumination environment of the predetermined imaging area does not match the illumination model of the face detection template image, and if it does not fall near the face of a person, a remarkably low similarity can be calculated. it can.
そして、顔検出部１５は、各照明モデルごとに得られた類似度のうち、所定の類似度しきい値を超えている類似度が少なくとも１種類存在するか否かを判定し、所定の類似度しきい値を超えている類似度が得られた画像内位置に人物の顔が存在すると判定する。一方、所定の類似度しきい値を超える類似度が存在しないものと判定した場合には現在撮像部１の撮像領域には人物が存在しないものと判定する。 Then, the face detection unit 15 determines whether or not there is at least one kind of similarity exceeding a predetermined similarity threshold among the similarities obtained for each illumination model, and determines the predetermined similarity It is determined that a person's face exists at a position in the image where the similarity exceeding the degree threshold is obtained. On the other hand, when it is determined that there is no similarity exceeding the predetermined similarity threshold, it is determined that there is no person in the imaging region of the imaging unit 1 at present.
このように、顔検出部１５は、濃度勾配方向画像記憶部１４に記憶された濃度勾配方向画像１００上で、顔検出用テンプレート記憶部１２に記憶された４種の照明モデルごとの顔検出用テンプレート画像のそれぞれを走査させてテンプレートマッチングを行い、濃度勾配方向画像１００と顔検出用テンプレート画像との類似度に基づく顔の有無検出処理及び顔の位置検出処理を行う。 As described above, the face detection unit 15 performs face detection for each of the four types of illumination models stored in the face detection template storage unit 12 on the density gradient direction image 100 stored in the density gradient direction image storage unit 14. Template matching is performed by scanning each of the template images, and face presence / absence detection processing and face position detection processing based on the similarity between the density gradient direction image 100 and the face detection template image are performed.
なお、所定の類似度しきい値を超えた類似度が複数存在する場合には、所定の類似度を超えたもののうち最も類似度が高い類似度を求めて、当該類似度が得られた画像内位置に人物の顔が存在するものと判定しても良く、又は、複数の人物の顔が存在するものと判定しても良い。 If there are a plurality of similarities exceeding a predetermined similarity threshold, the image having the highest similarity is obtained by obtaining the similarity having the highest similarity among those exceeding the predetermined similarity. It may be determined that a human face exists at the internal position, or it may be determined that a plurality of human faces exist.
このように、顔検出部１５は、顔有無情報と、顔位置情報とを含む顔検出結果情報を出力することができる。 In this way, the face detection unit 15 can output face detection result information including face presence / absence information and face position information.
［第１実施形態の効果］
以上詳細に説明したように、本発明を適用した画像処理装置は、一又は複数の照明モデルごとの顔検出用テンプレート画像を顔検出用テンプレート記憶部１２に記憶させておき、撮像部１によって所定の撮像領域を撮像して得た画像データと、照明モデルごとの顔検出用テンプレート画像との比較によって類似度を演算して、当該照明モデルごとの類似度のうち、所定の類似度しきい値を超えた類似度が検出された場合に、当該類似度が得られた画像内位置の撮像部１の撮像領域に人物の顔が存在することができる。したがって、この画像処理装置によれば、撮像領域における照明環境の変動に合致した照明モデルの顔検出用テンプレート画像を用意しておくだけで、実際の照明環境の変動に合致した照明モデルの顔検出用テンプレート画像によってのみ高い類似度を得ることができ、正確に顔の有無及び顔の位置を検出することができる。
[Effect of the first embodiment]
As described above in detail, the image processing apparatus to which the present invention is applied stores a face detection template image for each of one or a plurality of illumination models in the face detection template storage unit 12, and the imaging unit 1 performs predetermined processing. The similarity is calculated by comparing the image data obtained by imaging the imaging region and the face detection template image for each illumination model, and a predetermined similarity threshold value among the similarities for each illumination model is calculated. When a similarity exceeding 1 is detected, a human face can exist in the imaging area of the imaging unit 1 at the position in the image where the similarity is obtained. Therefore, according to this image processing apparatus, it is only necessary to prepare an illumination model face detection template image that matches the change in the illumination environment in the imaging region, and the face detection of the illumination model that matches the change in the actual illumination environment. A high similarity can be obtained only by using the template image, and the presence / absence of the face and the position of the face can be accurately detected.
また、この画像処理装置によれば、例えば人物の背景に、人物の顔外郭と類似した外郭の物体が存在する場合であっても、照明モデルによって顔形状による方向値分布の相違を表した顔検出用テンプレート画像を用意してテンプレートマッチングを行うことにより、人物以外の物体を人物の顔であると判定する誤認識を確実に回避できる効果もある。 Further, according to this image processing apparatus, for example, even when an object having an outline similar to the face outline of the person exists in the background of the person, the face representing the difference in the direction value distribution depending on the face shape by the illumination model By preparing a template image for detection and performing template matching, there is an effect that it is possible to reliably avoid erroneous recognition that determines that an object other than a person is the face of a person.
［第２実施形態］
つぎに、本発明を適用した第２実施形態に係る画像処理装置について説明する。なお、上述した第１実施形態に係る画像処理装置と同様の部分については、同一符号を付することによりその詳細な説明を省略する。
[Second Embodiment]
Next, an image processing apparatus according to a second embodiment to which the present invention is applied will be described. In addition, about the part similar to the image processing apparatus which concerns on 1st Embodiment mentioned above, the detailed description is abbreviate | omitted by attaching | subjecting the same code | symbol.
この第２実施形態に係る画像処理装置は、図１と同様の構成を有し、顔検出用テンプレート記憶部１２に、図８に示すような顔全体を示す顔検出用テンプレート画像１０１を、顔の特徴部位を示す特徴部位テンプレート画像１０２と、顔の非特徴部位を示す非特徴部位テンプレート画像１０３とに分割して予め記憶させておき、当該特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３を用いて顔検出処理を行う点で、第１実施形態に係る画像処理装置とは異なる。 The image processing apparatus according to the second embodiment has the same configuration as that shown in FIG. 1, and a face detection template image 101 showing the entire face as shown in FIG. The feature part template image 102 showing the feature part of the face and the non-feature part template image 103 showing the non-feature part of the face are divided and stored in advance, and the feature part template image 102 and the non-feature part template image 103 are stored. It differs from the image processing apparatus according to the first embodiment in that the face detection process is used.
顔検出用テンプレート画像１０１から特徴部位テンプレート画像１０２と非特徴部位テンプレート画像１０３とを作成して、顔検出用テンプレート記憶部１２に記憶させておく処理は、画像処理装置の製造時や設計時等に行われる。この特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３を作成する手法は、複数の照明モデルに共通して画像変動が少なく照明変動の影響を受けにくい顔部位を特徴的な部位として特徴部位テンプレート画像１０２を作成し、当該特徴部位テンプレート画像１０２以外の画像変動が多い顔部位を非特徴部位テンプレート画像１０３として作成する。 The process of creating the feature part template image 102 and the non-feature part template image 103 from the face detection template image 101 and storing them in the face detection template storage unit 12 is performed at the time of manufacturing or designing the image processing apparatus. To be done. The method of creating the feature part template image 102 and the non-feature part template image 103 is a feature part template image in which a face part that is less affected by illumination fluctuations and is less affected by illumination fluctuations is common to a plurality of illumination models. 102, and a face part having a large image variation other than the feature part template image 102 is created as a non-feature part template image 103.
具体的には、図９に示すように、前方向照明モデルの顔検出用テンプレート画像１０１Ａ、後方向照明モデルの顔検出用テンプレート画像１０１Ｂ、左方向照明モデルの顔検出用テンプレート画像１０１Ｃ、右方向照明モデルの顔検出用テンプレート画像１０１Ｄを用意し、当該顔検出用テンプレート画像１０１Ａ〜１０１ＤにＡＮＤ処理を掛ける。このＡＮＤ処理は、４種の顔検出用テンプレート画像１０１Ａ〜１０１Ｄの同一座標の画素の方向値同士を比較して、略同じ方向値である場合に、当該画素を抽出して特徴部位テンプレート画像１０２とする。このように、異なる照明モデルの顔検出用テンプレート画像間で同じ方向値を有する箇所は、照明変動によって影響が少ない部位（特徴部位）と言える。 Specifically, as shown in FIG. 9, the face detection template image 101A of the forward illumination model, the face detection template image 101B of the backward illumination model, the face detection template image 101C of the left illumination model, the right direction An illumination model face detection template image 101D is prepared, and AND processing is applied to the face detection template images 101A to 101D. This AND processing compares the direction values of the pixels of the same coordinates in the four types of face detection template images 101A to 101D, and extracts the pixels when the direction values are approximately the same, thereby extracting the feature part template image 102. And Thus, it can be said that the part which has the same direction value between the face detection template images of different illumination models is a part (characteristic part) which has little influence by illumination variation.
また、このＡＮＤ処理は、４種の顔検出用テンプレート画像１０１Ａ〜１０１Ｄの同一座標の画素ブロックの平均方向値同士を比較して、差が小さい場合に、当該画素ブロックを抽出して特徴部位テンプレート画像１０２としても良い。このように、１画素ブロックの画素数を多くしたり、特徴部位テンプレート画像１０２に含めるための平均方向値同士の差をある程度大きくすることにより、顔全体に対する特徴部位テンプレート画像１０２の面積を大きくできる。 Also, this AND processing compares the average direction values of the pixel blocks of the same coordinates in the four types of face detection template images 101A to 101D, and extracts the pixel block when the difference is small to extract the feature part template. The image 102 may be used. As described above, by increasing the number of pixels of one pixel block or by increasing the difference between the average direction values for inclusion in the feature part template image 102 to some extent, the area of the feature part template image 102 with respect to the entire face can be increased. .
特徴部位テンプレート画像１０２を作成した後、照明モデルごとの顔検出用テンプレート画像１０１Ａ〜１０１Ｄのそれぞれから、特徴部位テンプレート画像１０２を差し引いて、図１０に示すように、前方向照明モデルの非特徴部位テンプレート画像１０３、後方向照明モデルの非特徴部位テンプレート画像１０３、左方向照明モデルの非特徴部位テンプレート画像１０３、右方向照明モデルの非特徴部位テンプレート画像１０３として作成する。 After the feature part template image 102 is created, the feature part template image 102 is subtracted from each of the face detection template images 101A to 101D for each illumination model, and as shown in FIG. The template image 103, the non-feature part template image 103 of the backward illumination model, the non-feature part template image 103 of the left illumination model, and the non-feature part template image 103 of the right illumination model are created.
また、顔検出用テンプレート画像１０１から特徴部位テンプレート画像１０２と非特徴部位テンプレート画像１０３とを作成する他の手法としては、エッジ成分が多く検出される顔の眼、鼻、口部位を含む領域を特徴部位テンプレート画像１０２として作成し、顔検出用テンプレート画像１０１Ａ〜１０１Ｄのそれぞれから特徴部位テンプレート画像１０２を差し引いて他の額、頬、顎部位を含む領域を含む非特徴部位テンプレート画像１０３を作成しても良い。 As another method for creating the feature part template image 102 and the non-feature part template image 103 from the face detection template image 101, an area including the eye, nose, and mouth part of the face where many edge components are detected is used. Created as a feature part template image 102 and subtracted the feature part template image 102 from each of the face detection template images 101A to 101D to create a non-feature part template image 103 that includes regions including other foreheads, cheeks, and jaw parts. May be.
このように単一の特徴部位テンプレート画像１０２と照明モデルごとの４種の非特徴部位テンプレート画像１０３とを予め作成して顔検出用テンプレート記憶部１２に記憶させておき、画像処理装置は、撮像部１からの画像データを画像入力部１１で入力すると、顔の有無及び顔位置の検出を行う。 In this way, a single feature part template image 102 and four types of non-feature part template images 103 for each illumination model are created in advance and stored in the face detection template storage unit 12. When the image data from the unit 1 is input by the image input unit 11, the presence / absence of the face and the face position are detected.
この顔の有無及び顔位置の検出処理は、先ず濃度勾配方向抽出部１３により、第１実施形態と同様に、図３（ｂ）に示すような濃度勾配方向画像１００を作成して、濃度勾配方向画像記憶部１４に記憶させる。 In this face presence / absence detection process and face position detection process, the density gradient direction extraction unit 13 first creates a density gradient direction image 100 as shown in FIG. It is stored in the direction image storage unit 14.
次に、顔検出部１５は、特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３を用いて、濃度勾配方向画像記憶部１４に記憶された濃度勾配方向画像１００と特徴部位テンプレート画像１０２との比較を行って類似度を演算し、濃度勾配方向画像記憶部１４に記憶された濃度勾配方向画像１００と非特徴部位テンプレート画像１０３との比較を行って類似度を演算する。そして双方の類似度に基づいて、撮像部１の所定の撮像領域における顔の有無及び顔位置の検出を行う。 Next, the face detection unit 15 compares the density gradient direction image 100 stored in the density gradient direction image storage unit 14 with the feature site template image 102 using the feature site template image 102 and the non-feature site template image 103. The similarity is calculated by comparing the density gradient direction image 100 stored in the density gradient direction image storage unit 14 with the non-feature part template image 103. Based on both similarities, the presence / absence of a face and the face position in a predetermined imaging region of the imaging unit 1 are detected.
この顔検出部１５は、その内部構成の一例を図１１に示すように、特徴部位テンプレート画像１０２を用いて類似度を求める特徴部位テンプレートマッチング処理部２１と、非特徴部位テンプレート画像１０３を用いて類似度を求める非特徴部位テンプレートマッチング処理部２２と、特徴部位テンプレートマッチング処理部２１で求められた類似度を一時記憶する第１の類似度保存用バッファ２３と、非特徴部位テンプレートマッチング処理部２２で求められた類似度を一時記憶する第２の類似度保存用バッファ２４と、加算部２５と、第３の類似度保存用バッファ２６と、顔有無・位置特定部２７とを有する。 As shown in FIG. 11, the face detection unit 15 uses a feature part template matching processing unit 21 that obtains similarity using a feature part template image 102 and a non-feature part template image 103 as shown in FIG. A non-feature part template matching processing unit 22 for obtaining a similarity, a first similarity storage buffer 23 for temporarily storing the similarity obtained by the feature part template matching processing unit 21, and a non-feature part template matching processing unit 22 The second similarity storage buffer 24 that temporarily stores the similarity calculated in step S3, an adder 25, a third similarity storage buffer 26, and a face presence / absence / position specifying unit 27.
このような顔検出部１５は、特徴部位テンプレートマッチング処理部２１により顔検出用テンプレート記憶部１２の特徴部位テンプレート画像１０２を読み出し、当該特徴部位テンプレート画像１０２を濃度勾配方向画像記憶部１４に記憶された濃度勾配方向画像１００上で走査させてテンプレートマッチングを行い、最も高い類似度及び当該類似度が得られた画像内位置を第１の類似度保存用バッファ２３に記憶させる。同時に、顔検出部１５は、非特徴部位テンプレートマッチング処理部２２により、顔検出用テンプレート記憶部１２の何れかの照明モデルの非特徴部位テンプレート画像１０３を読み出し、当該非特徴部位テンプレート画像１０３を濃度勾配方向画像１００上で走査させてテンプレートマッチングを行い、最も高い類似度及び当該類似度が得られた画像内位置を第２の類似度保存用バッファ２４に記憶させる。 In such a face detection unit 15, the feature site template matching processing unit 21 reads the feature site template image 102 of the face detection template storage unit 12, and the feature site template image 102 is stored in the density gradient direction image storage unit 14. Template matching is performed by scanning on the density gradient direction image 100, and the highest similarity and the position in the image where the similarity is obtained are stored in the first similarity storage buffer 23. At the same time, the face detection unit 15 causes the non-feature part template matching processing unit 22 to read out the non-feature part template image 103 of any one of the illumination models in the face detection template storage unit 12, and uses the non-feature part template image 103 as the density. Template matching is performed by scanning on the gradient direction image 100, and the highest similarity and the position in the image where the similarity is obtained are stored in the second similarity storage buffer 24.
次に、顔検出部１５は、加算部２５により、第１の類似度保存用バッファ２３に記憶された類似度と、第２の類似度保存用バッファ２４に記憶された照明モデルごとの類似度とを加算して、第３の類似度保存用バッファ２６に記憶させる。顔検出部１５は、照明モデルごとに、非特徴部位テンプレートマッチング処理部２２で最も高い類似度及び当該類似度が得られた画像内位置を求めて第２の類似度保存用バッファ２４に記憶させ、加算部２５で加算させて加算後の類似度を第３の類似度保存用バッファ２６に記憶させる。 Next, the face detector 15 uses the adder 25 to store the similarity stored in the first similarity storage buffer 23 and the similarity for each illumination model stored in the second similarity storage buffer 24. Are added and stored in the third similarity storage buffer 26. For each illumination model, the face detection unit 15 obtains the highest similarity in the non-feature part template matching processing unit 22 and the position in the image from which the similarity is obtained, and stores it in the second similarity storage buffer 24. Then, the addition unit 25 adds them, and stores the added similarity in the third similarity storage buffer 26.
これにより、図１２に示すように、特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３Ａから求めた前方向照明モデルの類似度を第３の類似度保存用バッファ２６に記憶させ、特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３Ｂから求めた後方向照明モデルの類似度を第３の類似度保存用バッファ２６に記憶させ、特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３Ｃから求めた左方向照明モデルの類似度を第３の類似度保存用バッファ２６に記憶させ、特徴部位テンプレート画像１０２及び非特徴部位テンプレート画像１０３Ｄから求めた右方向照明モデルの類似度を第３の類似度保存用バッファ２６に記憶させる。 Accordingly, as shown in FIG. 12, the similarity of the forward illumination model obtained from the feature part template image 102 and the non-feature part template image 103A is stored in the third similarity degree saving buffer 26, and the feature part template image 102, the similarity of the backward illumination model obtained from the non-feature part template image 103B is stored in the third similarity storage buffer 26, and the leftward illumination obtained from the characteristic part template image 102 and the non-feature part template image 103C is stored. The similarity of the model is stored in the third similarity storage buffer 26, and the similarity of the right direction illumination model obtained from the feature part template image 102 and the non-feature part template image 103D is stored in the third similarity storage buffer 26. Remember me.
次に顔検出部１５は、顔有無・位置特定部２７により、４種の類似度のうち、所定の類似度しきい値を超えている類似度がある場合には、当該類似度が得られた画像内位置に人物の顔が位置していると判定できる。一方、４種の類似度のうち、所定の類似度しきい値を超えた類似度が存在しない場合には、撮像部１の所定の撮像領域に人物の顔が存在しないと判定できる。なお、特徴部位テンプレート画像１０２を使用して求めた画像内位置と非特徴部位テンプレート画像１０３を使用して得た画像内位置とのうち何れかを使用して顔の位置を特定しても良い。 Next, when there is a similarity that exceeds a predetermined similarity threshold among the four types of similarity, the face detection unit 15 obtains the similarity by the face presence / absence / position specifying unit 27. It can be determined that the person's face is located at the position in the image. On the other hand, when there is no similarity that exceeds a predetermined similarity threshold among the four types of similarity, it can be determined that a human face does not exist in the predetermined imaging region of the imaging unit 1. It should be noted that the position of the face may be specified using either the in-image position obtained using the feature part template image 102 or the in-image position obtained using the non-feature part template image 103. .
［第２実施形態の効果］
以上詳細に説明したように、本発明を適用した第２実施形態に係る画像処理装置によれば、顔検出用テンプレート記憶部１２に特徴部位テンプレート画像１０２と非特徴部位テンプレート画像１０３とを分割して記憶させておき、特徴部位テンプレート画像１０２を用いた類似度演算を１回行い、非特徴部位テンプレート画像１０３を用いた類似度演算を４回行うのみで、顔の有無及び顔位置の検出を行うことができるので、処理量を少なくでき、処理速度を高めることができる。
[Effects of Second Embodiment]
As described above in detail, according to the image processing apparatus according to the second embodiment to which the present invention is applied, the feature part template image 102 and the non-feature part template image 103 are divided into the face detection template storage unit 12. The similarity calculation using the feature part template image 102 is performed once, and the similarity calculation using the non-feature part template image 103 is performed only four times. Since it can be performed, the amount of processing can be reduced and the processing speed can be increased.
すなわち、特徴部位テンプレート画像１０２と非特徴部位テンプレート画像１０３とが同じ画素数で構成されているとすると、照明モデルを考慮せずに単一の顔検出用テンプレート画像を使用して類似度を計算する場合と比較して、２．５倍という処理量に抑制して照明モデルごとの類似度を求めることができる。 That is, assuming that the feature part template image 102 and the non-feature part template image 103 are configured with the same number of pixels, the similarity is calculated using a single face detection template image without considering the illumination model. Compared with the case where it does, it can suppress to the processing amount of 2.5 times, and can obtain | require the similarity for every illumination model.
また、この画像処理装置によれば、特徴部位テンプレート画像１０２として複数の照明モデルに共通して画像変動が少ない顔の部位を抽出した濃度勾配方向画像を使用し、非特徴部位テンプレート画像１０３として照明モデルごとに画像変動が多い顔の部位を抽出した濃度勾配方向画像を使用しているので、照明モデルごとに特徴部位テンプレート画像１０２を用いたテンプレートマッチングを行わなくても、精度の高い顔の有無及び顔位置の検出を行うことができる。 In addition, according to this image processing apparatus, a density gradient direction image obtained by extracting a facial part with little image variation common to a plurality of illumination models is used as the feature part template image 102, and illumination is performed as the non-feature part template image 103. Since a density gradient direction image obtained by extracting a facial part with a large image variation for each model is used, the presence or absence of a highly accurate face can be obtained without performing template matching using the feature part template image 102 for each illumination model. In addition, the face position can be detected.
更に、上述の画像処理装置の説明では、特徴部位テンプレート画像１０２と照明モデルごとの非特徴部位テンプレート画像１０３とを記憶しておき、それぞれのテンプレート画像１０２，１０３を用いて類似度を演算したが、非特徴部位テンプレート画像１０３を記憶させずに、特徴部位テンプレート画像１０２のみを記憶させておいても良い。この特徴部位テンプレート画像１０２は、図９を参照して説明したように、先ず複数の照明モデルごとのテンプレート画像をアンド処理して画像内で変動の少ない顔特徴部位の領域情報を取得し、当該アンド処理の対象となったテンプレート画像１０１Ａ〜１０１Ｄのそれぞれ又は何れかから特徴部位の領域を取得して、特徴部位テンプレート画像を作成しておく。 Further, in the above description of the image processing apparatus, the feature part template image 102 and the non-feature part template image 103 for each illumination model are stored, and the similarity is calculated using the template images 102 and 103. Instead of storing the non-feature part template image 103, only the characteristic part template image 102 may be stored. As described with reference to FIG. 9, the feature part template image 102 first performs AND processing on the template image for each of the plurality of illumination models to obtain area information of the face feature part with little variation in the image. A region of a characteristic part is acquired from each or any of the template images 101A to 101D subjected to AND processing, and a characteristic part template image is created.
これによって、特徴部位テンプレート画像１０２を用いて演算した類似度のみによって、顔の有無及び顔位置の検出を行うことができ、更に処理量を抑制することができる。 Accordingly, the presence / absence of the face and the face position can be detected based only on the similarity calculated using the feature part template image 102, and the processing amount can be further suppressed.
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made depending on the design and the like as long as the technical idea according to the present invention is not deviated from this embodiment. Of course, it is possible to change.
すなわち、上述した実施形態では、濃度勾配方向画像を顔検出用テンプレート画像として顔検出用テンプレート記憶部１２に記憶させておき、撮像部１で撮像した画像データから濃度勾配方向画像１００を作成して比較する場合について説明したが、これに限らず、エッジ画像である２値画像又は濃淡画像を照明モデルごとに顔検出用テンプレート記憶部１２に記憶させておき、当該顔検出用テンプレート画像の種類に応じて撮像部１で撮像された画像データを処理しても良い。そして、照明モデルごとの顔検出用テンプレート画像との比較を行って、撮像部１の撮像領域における照明モデルが変動した場合であっても、正確な顔の有無検出及び顔の位置検出を行える。 That is, in the above-described embodiment, the density gradient direction image is stored in the face detection template storage unit 12 as a face detection template image, and the density gradient direction image 100 is created from the image data captured by the imaging unit 1. Although the case of comparison has been described, the present invention is not limited to this, and a binary image or grayscale image that is an edge image is stored in the face detection template storage unit 12 for each illumination model, and the type of the face detection template image is selected. Accordingly, the image data captured by the imaging unit 1 may be processed. And even if it is a case where the illumination model in the imaging region of the imaging part 1 fluctuates by comparing with the template image for face detection for every illumination model, the presence detection of a face and the position detection of a face can be performed correctly.
また、上述した実施形態では、照明モデルとして前方照明モデル、後方照明モデル、左方照明モデル、右方照明モデルの４種について説明したが、画像処理装置の設置場所によっては、４種よりも少なくても良く、更に他の方角から人物に光を当てられる環境である場合には、４種以上であっても、上述と同様の効果を得ることができるのは勿論である。 In the above-described embodiment, four types of illumination models, ie, a front illumination model, a rear illumination model, a left illumination model, and a right illumination model have been described. However, depending on the installation location of the image processing apparatus, there are fewer than four types. Of course, in an environment where a person can be exposed to light from other directions, the same effects as described above can be obtained even if there are four or more types.
１ 撮像部
２ 顔検出装置
１１ 画像入力部
１２ 顔検出用テンプレート記憶部
１３ 濃度勾配方向抽出部
１４ 濃度勾配方向画像記憶部
１５ 顔検出部
２１ 特徴部位テンプレートマッチング処理部
２２ 非特徴部位テンプレートマッチング処理部
２３ 第１の類似度保存用バッファ
２４ 第２の類似度保存用バッファ
２５ 加算部
２６ 第３の類似度保存用バッファ
２７ 顔有無・位置特定部
１００ 濃度勾配方向画像
１０１ 顔検出用テンプレート画像
１０２ 特徴部位テンプレート画像
１０３ 非特徴部位テンプレート画像
DESCRIPTION OF SYMBOLS 1 Image pick-up part 2 Face detection apparatus 11 Image input part 12 Face detection template memory | storage part 13 Density gradient direction extraction part 14 Density gradient direction image memory | storage part 15 Face detection part 21 Feature part template matching process part 22 Non-feature part template matching process part 23 First similarity storage buffer 24 Second similarity storage buffer 25 Adder 26 Third similarity storage buffer 27 Face presence / absence / position specifying unit 100 Density gradient direction image 101 Face detection template image 102 Features Part template image 103 Non-characteristic part template image
Claims (6)
前記所定の撮像領域に対する一又は複数の照明モデルに基づいて作成された顔検出用テンプレート画像が記憶された顔検出用テンプレート記憶手段と、
前記画像入力手段で入力した画像データと、前記顔検出用テンプレート記憶手段に記憶された顔検出用テンプレート画像とを比較して類似度を演算して、当該類似度に基づいて前記所定の撮像領域における顔の有無及び顔の位置を検出する顔検出手段と
を備えることを特徴とする画像処理装置。 Image input means for inputting image data for detecting a face position included in the predetermined imaging area, obtained by imaging a predetermined imaging area;
Face detection template storage means for storing a face detection template image created based on one or a plurality of illumination models for the predetermined imaging region;
The image data input by the image input means and the face detection template image stored in the face detection template storage means are compared to calculate a similarity, and the predetermined imaging area is calculated based on the similarity An image processing apparatus comprising: a face detection unit that detects presence / absence of a face and a face position.
前記顔検出手段は、前記画像入力手段で入力された画像データと前記特徴部位テンプレート画像とを比較して類似度を演算して、当該類似度に基づいて前記所定の撮像領域における顔の有無及び顔の位置を検出することを特徴とする請求項１に記載の画像処理装置。 The face detection template storage means stores a feature part template image indicating a feature part of a face as the face detection template image,
The face detection unit compares the image data input by the image input unit and the feature part template image to calculate a similarity, and based on the similarity, the presence / absence of a face in the predetermined imaging region and The image processing apparatus according to claim 1, wherein the position of the face is detected.
前記顔検出手段は、前記画像入力手段で入力された画像データと前記特徴部位テンプレート画像とを比較して類似度を演算すると共に、前記画像入力手段で入力された画像データと前記非特徴部位テンプレート画像とを比較して類似度を演算して、当該類似度に基づいて前記所定の撮像領域における顔の有無及び顔の位置を検出することを特徴とする請求項１又は請求項２に記載の画像処理装置。 The face detection template storage means stores, as the face detection template image, a feature part template image indicating a facial feature part and a non-feature part template image showing a non-feature part of a face,
The face detection unit compares the image data input by the image input unit and the feature part template image to calculate the similarity, and also calculates the similarity between the image data input by the image input unit and the non-feature part template. The degree of similarity is calculated by comparing with an image, and the presence or absence of a face and the position of the face in the predetermined imaging region are detected based on the similarity. Image processing device.
複数の照明モデルに共通して画像変動が少ない顔の部位を前記特徴部位を示す前記特徴部位テンプレート画像として記憶され、
複数の照明モデルごとに作成された複数の顔の画像間で画像変動が多い顔の部位を前記非特徴部位を示す前記非特徴部位テンプレート画像として記憶されていること
を特徴とする請求項３に記載の画像処理装置。 The face detection template storage means includes
A part of the face with little image variation common to a plurality of illumination models is stored as the feature part template image indicating the feature part,
4. The face part having a large image variation among a plurality of face images created for each of a plurality of illumination models is stored as the non-feature part template image indicating the non-feature part. The image processing apparatus described.
当該生成した画像データと、予め記憶しておいた所定の撮像領域に対する所定の照明状態の一又は複数の照明モデルの顔検出用テンプレート画像との類似度を演算し、
当該類似度に基づいて前記所定の撮像領域における顔の有無及び顔の位置を検出すること
を特徴とする画像処理方法。
Image a predetermined imaging area, generate image data for detecting a face position included in the predetermined imaging area,
Calculating the degree of similarity between the generated image data and a face detection template image of one or more illumination models in a predetermined illumination state with respect to a predetermined imaging region stored in advance;
An image processing method comprising: detecting the presence / absence of a face and the position of a face in the predetermined imaging region based on the similarity.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005120348A JP4661319B2 (en) | 2005-04-18 | 2005-04-18 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005120348A JP4661319B2 (en) | 2005-04-18 | 2005-04-18 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006301811A true JP2006301811A (en) | 2006-11-02 |
| JP4661319B2 JP4661319B2 (en) | 2011-03-30 |
Family
ID=37470053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005120348A Expired - Fee Related JP4661319B2 (en) | 2005-04-18 | 2005-04-18 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4661319B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009140423A (en) * | 2007-12-10 | 2009-06-25 | Panasonic Electric Works Co Ltd | Face centerline detecting device |
| WO2011083749A1 (en) * | 2010-01-06 | 2011-07-14 | 日本電気株式会社 | Learning device, identification device, learning identification system and learning identification device |
| JP2017004295A (en) * | 2015-06-11 | 2017-01-05 | 株式会社ミツバ | Traffic light recognition apparatus and traffic light recognition method |
| JP2019139801A (en) * | 2019-04-25 | 2019-08-22 | 株式会社ミツバ | Traffic light machine recognition device, signal recognition system, and traffic light machine recognition method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08212353A (en) * | 1994-08-25 | 1996-08-20 | Sony Corp | Image recognition device |
| JP2004005509A (en) * | 2002-03-25 | 2004-01-08 | Toshiba Corp | Image processor and its method |
-
2005
- 2005-04-18 JP JP2005120348A patent/JP4661319B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08212353A (en) * | 1994-08-25 | 1996-08-20 | Sony Corp | Image recognition device |
| JP2004005509A (en) * | 2002-03-25 | 2004-01-08 | Toshiba Corp | Image processor and its method |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009140423A (en) * | 2007-12-10 | 2009-06-25 | Panasonic Electric Works Co Ltd | Face centerline detecting device |
| WO2011083749A1 (en) * | 2010-01-06 | 2011-07-14 | 日本電気株式会社 | Learning device, identification device, learning identification system and learning identification device |
| US9036903B2 (en) | 2010-01-06 | 2015-05-19 | Nec Corporation | Learning device, identification device, learning identification system and learning identification device |
| JP5768719B2 (en) * | 2010-01-06 | 2015-08-26 | 日本電気株式会社 | Learning device, identification device, learning identification system, and learning identification device |
| JP2017004295A (en) * | 2015-06-11 | 2017-01-05 | 株式会社ミツバ | Traffic light recognition apparatus and traffic light recognition method |
| JP2019139801A (en) * | 2019-04-25 | 2019-08-22 | 株式会社ミツバ | Traffic light machine recognition device, signal recognition system, and traffic light machine recognition method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4661319B2 (en) | 2011-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9922238B2 (en) | Apparatuses, systems, and methods for confirming identity | |
| US6606397B1 (en) | Face image processing apparatus for extraction of an eye image based on the position of the naris | |
| JP4307496B2 (en) | Facial part detection device and program | |
| KR100374708B1 (en) | Non-contact type human iris recognition method by correction of rotated iris image | |
| US7925093B2 (en) | Image recognition apparatus | |
| US20080193020A1 (en) | Method for Facial Features Detection | |
| JP2012113687A (en) | Method of authenticating driver's face in vehicle | |
| JP2006146626A (en) | Pattern recognition method and device | |
| JP2000105829A (en) | Method and device for face parts image detection | |
| US9449217B1 (en) | Image authentication | |
| US9349071B2 (en) | Device for detecting pupil taking account of illuminance and method thereof | |
| JP4661319B2 (en) | Image processing apparatus and image processing method | |
| KR101769741B1 (en) | Method and apparatus for recognizing iris through pupil detection | |
| KR20060058197A (en) | Method and apparatus for eye detection | |
| CN112990140B (en) | Gesture contour extraction method and device, readable storage medium and electronic equipment | |
| JPH11306348A (en) | Method and device for object detection | |
| JP2010186246A (en) | Image processing apparatus, method, and program | |
| JP3906221B2 (en) | Image processing method and image processing apparatus | |
| KR20100011187A (en) | Method of an image preprocessing for recognizing scene-text | |
| JP2005209137A (en) | Method and apparatus for object identification, and face direction identification apparatus | |
| JP2010146159A (en) | Eyelid detection apparatus, eyelid detection method, and program | |
| JP2007257242A (en) | White line recognition device | |
| CA2648054C (en) | Apparatus and method for detection and analysis of imagery | |
| JP2007025901A (en) | Image processor and image processing method | |
| KR100713335B1 (en) | Method for recognizing of picture in wireless terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101207 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101220 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |