JP2007257253A

JP2007257253A - Face detection method and photographic apparatus using the method

Info

Publication number: JP2007257253A
Application number: JP2006080262A
Authority: JP
Inventors: Yoshiro Kitamura; 嘉郎北村
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-03-23
Filing date: 2006-03-23
Publication date: 2007-10-04

Abstract

<P>PROBLEM TO BE SOLVED: To achieve high-speed face detection for a color image. <P>SOLUTION: A first photoreceptor 2a is used to photograph a human subject and acquire a color image of the human subject, and a second photoreceptor 2b is used to photograph the human subject and acquire an approximate luminance image of colors with luminance close to the luminance information of the human subject. Then, a face is detected from the approximate luminance image P, in a facial detection means 10, so that a face image FP is detected from the inside of an original image. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、デジタルカメラ等を用いて取得された人物被写体の画像から顔画像を検出する顔検出方法およびこれを用いた撮影装置に関するものである。 The present invention relates to a face detection method for detecting a face image from an image of a human subject acquired using a digital camera or the like, and a photographing apparatus using the face detection method.

顔検出の基本原理は顔か顔ではないかの２クラス判別であり、この判別方法としてブースティング（Ｂｏｏｓｔｉｎｇ）と呼ばれる手法が広く用いられている（たとえば特許文献１参照）。ブースティングアルゴリズムは複数の弱い判別器（弱判別器）を結合することにより１つの強い判別器を形成する２クラス判別器の学習方法である。 The basic principle of face detection is two-class discrimination of whether it is a face or a face, and a method called boosting is widely used as this discrimination method (see, for example, Patent Document 1). The boosting algorithm is a learning method for a two-class classifier that forms a strong classifier by combining a plurality of weak classifiers (weak classifiers).

特に、ブースティングによる顔検出処理の高速化を図るために、複数の弱判別器でカスケードを構成する判別器が提案されている（たとえば特許文献２参照）。この判別器では、顔もしくは非顔の判別において、上流側の弱判別器が顔であると判別した画像について下流側の弱判別器がさらに顔か非顔かの判別を行うようになっている。
特開平８−３２９０３１号公報米国特許出願公開２００２／１０２０２４号明細書 In particular, in order to increase the speed of face detection processing by boosting, a classifier that constitutes a cascade with a plurality of weak classifiers has been proposed (see, for example, Patent Document 2). In this discriminator, in the discrimination of a face or a non-face, the downstream weak discriminator further discriminates whether it is a face or a non-face with respect to an image determined that the upstream weak discriminator is a face. .
JP-A-8-329031 US Patent Application Publication No. 2002/102024

特許文献１に示すようなブースティングアルゴリズムによる顔検出においては、通常、画像の輝度情報（Ｙ信号）が用いられる。一方、デジタルカメラ等により取得された画像のデータはＲＧＢ信号からなる場合が多い。したがって、デジタルカメラ等により取得された画像に対し顔検出処理を行うとき、ＲＧＢ信号からＹ信号を生成することが必要になってしまい、情報処理量の増加が顔検出の高速化を妨げる原因になってしまう。特に、デジタルカメラに撮影装置を実装し、取得した画像に直ぐ顔検出処理を施すような場合、Ｙ信号の生成処理が高速化を阻害する大きな要因となってしまう。 In face detection by a boosting algorithm as shown in Patent Document 1, luminance information (Y signal) of an image is usually used. On the other hand, image data acquired by a digital camera or the like often consists of RGB signals. Therefore, when performing face detection processing on an image acquired by a digital camera or the like, it is necessary to generate a Y signal from RGB signals, and an increase in the amount of information processing hinders speeding up of face detection. turn into. In particular, when a photographing device is mounted on a digital camera and face detection processing is performed immediately on the acquired image, the Y signal generation processing is a major factor that hinders speeding up.

そこで、本発明は、高速に顔の検出を行うことができる顔検出方法およびこれを用いた撮影装置を提供することを目的とするものである。 Therefore, an object of the present invention is to provide a face detection method capable of detecting a face at high speed and a photographing apparatus using the face detection method.

本発明の顔検出方法は、人物被写体からの入射光を色分解することにより、人物被写体の原画像と、人物被写体の輝度情報に近い明度を有する色からなる輝度近似画像とを取得し、取得した輝度近似画像から顔を検出することにより、原画像内の顔を検出することを特徴とするものである。 The face detection method of the present invention obtains an original image of a human subject and a luminance approximate image composed of colors having lightness close to luminance information of the human subject by performing color separation on incident light from the human subject. By detecting a face from the brightness approximated image, the face in the original image is detected.

本発明の撮影装置は、人物被写体からの入射光を色分解することにより人物被写体のカラー画像を取得する第１撮像手段と、人物被写体からの入射光を色分解することにより人物被写体の輝度情報に近い明度を有する色からなる輝度近似画像を取得する第２撮像手段と、第２撮像手段により取得された輝度近似画像から顔を検出することにより、第１撮像手段により取得された原画像内の顔を検出する顔検出手段とを備えたことを特徴とするものである。 The imaging apparatus of the present invention includes a first imaging unit that obtains a color image of a human subject by color-separating incident light from the human subject, and luminance information of the human subject by color-separating incident light from the human subject. In the original image acquired by the first imaging unit by detecting a face from the luminance approximated image acquired by the second imaging unit and the luminance approximated image acquired by the second imaging unit. And a face detecting means for detecting the face.

ここで、原画像はいかなる表色系からなる画像であっても良く、たとえばＲＧＢ（レッド、グリーン、ブルー）信号からなる画像であっても良いし、ＣＹＭＧ（シアン、イエロー、マゼンダ、グリーン）信号からなる画像であっても良い。また、輝度近似画像は、第２撮像素子から直接的に取得することができ、輝度情報ではないが輝度情報に近い明度を有する色からなる画像であればどのようなものであってもよく、たとえばホワイト信号からなる画像等が挙げられる。 Here, the original image may be an image composed of any color system, for example, an image composed of RGB (red, green, blue) signals, or a CYMG (cyan, yellow, magenta, green) signal. The image which consists of may be sufficient. Further, the luminance approximate image can be obtained directly from the second image sensor, and may be any image as long as it is an image composed of a color that is not luminance information but has a brightness close to luminance information, For example, an image composed of a white signal can be used.

また、第２撮像手段は、第１撮像手段と同一の被写体を撮影し輝度近似信号からなる輝度近似画像を取得するものであればいずれの構成であってもよく、たとえば第１撮像手段が平面上に配列された複数の第１受光素子から構成されており、第２撮像手段が複数の第１受光素子の間に配列された、第１受光素子よりも受光面積の小さい複数の第２受光素子から構成されたものであってもよいし、第１撮像素子および第２撮像素子がそれぞれ独立したＣＣＤ等の撮像素子からなっていてもよい。 Further, the second imaging unit may have any configuration as long as it captures the same subject as the first imaging unit and acquires a luminance approximate image made up of luminance approximate signals. For example, the first imaging unit is a plane. A plurality of second light receiving elements each having a light receiving area smaller than that of the first light receiving elements, the second light receiving means being arranged between the plurality of first light receiving elements. It may be constituted by an element, or the first imaging element and the second imaging element may be constituted by independent imaging elements such as a CCD.

また、顔検出手段は、いかなる顔の検出方法を用いることができ、たとえば輝度近似画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器とを備えたものであってもよい。 The face detection means can use any face detection method. For example, a partial image generation means for generating a plurality of partial images by scanning a sub-window having a set number of pixels on a luminance approximate image, and a partial image A face discriminator that discriminates whether or not a partial image is a face using a plurality of discrimination results by a plurality of weak discriminators that detect a partial image that is a face among a plurality of partial images generated by a generating unit; It may be provided.

このとき、複数の弱判別器は、どのような構成を有するものであってもよく、たとえば複数の弱判別器でカスケードを構成し、上流側の弱判別器が顔であると判別した部分画像について下流側の弱判別器が判別を行うものであってもよい。 At this time, the plurality of weak classifiers may have any configuration, for example, a partial image in which a plurality of weak classifiers constitute a cascade and the upstream weak classifier is determined to be a face. The weak discriminator on the downstream side may perform discrimination.

さらに、顔検出手段が、部分画像生成手段により生成された部分画像が顔であるか否かを判別し、顔の可能性のある部分画像を候補画像として検出する候補検出手段をさらに有し、顔判別器が、候補判別器により判別された部分画像について顔であるか否かを判別するものであってもよい。 Furthermore, the face detection means further includes candidate detection means for determining whether or not the partial image generated by the partial image generation means is a face, and detecting a partial image that may be a face as a candidate image, The face discriminator may discriminate whether or not the partial image discriminated by the candidate discriminator is a face.

本発明の顔検出方法およびこれを用いた撮影装置によれば、人物被写体からの入射光を色分解することにより、人物被写体の原画像と、人物被写体の輝度情報に近い明度を有する色からなる輝度近似画像とを取得し、取得した輝度近似画像から顔を検出することにより、原画像内の顔を検出することにより、人物被写体を撮影した際の顔を検出するとき、従来のように第１撮像手段により取得した原画像から輝度信号を抽出し顔検出を行うのではなく、第２撮像手段により直接取得した輝度近似画像を用いて顔検出を行うことができるため、顔検出のための信号処理の負担を軽減し顔検出速度を向上させることができる。 According to the face detection method of the present invention and the photographing apparatus using the face detection method, the incident light from the human subject is separated into colors, and thereby the original image of the human subject and the color having brightness close to the luminance information of the human subject are formed. When detecting a face when photographing a human subject by detecting a face in the original image by detecting a face from the acquired brightness approximate image and detecting a face from the acquired brightness approximate image. Instead of extracting the luminance signal from the original image acquired by the first imaging means and performing face detection, face detection can be performed using the luminance approximate image directly acquired by the second imaging means. The burden of signal processing can be reduced and the face detection speed can be improved.

なお、第１撮像手段が平面上に配列された複数の第１受光素子から構成されており、第２撮像手段が複数の第１受光素子の間にそれぞれ配列された複数の第２受光素子から構成されているものであるとき、取得する原画像の画質の劣化を起こさずに、原画像と輝度近似画像とを効率的に取得することができる。 The first imaging means is composed of a plurality of first light receiving elements arranged on a plane, and the second imaging means is composed of a plurality of second light receiving elements respectively arranged between the plurality of first light receiving elements. When configured, the original image and the luminance approximate image can be efficiently acquired without causing deterioration of the image quality of the original image to be acquired.

また、顔検出手段が、輝度近似画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。 In addition, the face detection unit scans a sub-window having a set number of pixels on the luminance approximate image to generate a plurality of partial images, and among the plurality of partial images generated by the partial image generation unit If there is a face discriminator that discriminates whether or not a partial image is a face using a plurality of discrimination results by a plurality of weak discriminators that detect a partial image that is a face, it is efficient with high accuracy Face detection can be performed.

さらに、顔検出手段が、部分画像生成手段により生成された部分画像が顔であるか否かを判別し、顔である可能性のある部分画像を候補画像として検出する候補検出手段をさらに有し、顔判別器が、候補判別器により判別された部分画像について顔であるか否かを判別するものであれば、顔判別器が検出すべき部分画像の数を低減することができるため、判別作業の高速化を図ることができる。 Further, the face detection means further includes candidate detection means for determining whether or not the partial image generated by the partial image generation means is a face, and detecting a partial image that may be a face as a candidate image. If the face discriminator discriminates whether or not the partial image discriminated by the candidate discriminator is a face, the number of partial images to be detected by the face discriminator can be reduced. Work speed can be increased.

以下、図面を参照して本発明の撮影装置の実施の形態を詳細に説明する。図１は本発明の撮影装置の好ましい実施の形態を示すブロック図である。撮影装置１はたとえばデジタルカメラ等であって、人物被写体を撮影し原画像および輝度近似信号からなる輝度近似画像Ｐを取得する撮影手段２と、輝度近似画像から顔を検出する顔検出手段１０とを備えている。そして、画像出力手段３は、輝度近似画像内で顔が検出された領域をＲＧＢ信号からなる画像内において認識可能な状態（ウィンドウ枠で囲う等）で液晶ディスプレイ等の表示部に出力するようになっている。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the photographing apparatus of the present invention will be described below in detail with reference to the drawings. FIG. 1 is a block diagram showing a preferred embodiment of the photographing apparatus of the present invention. The photographing apparatus 1 is, for example, a digital camera or the like, and includes a photographing unit 2 that photographs a human subject and obtains a luminance approximate image P including an original image and a luminance approximate signal, and a face detection unit 10 that detects a face from the luminance approximate image. It has. Then, the image output means 3 outputs the region in which the face is detected in the luminance approximate image to a display unit such as a liquid crystal display in a state where it can be recognized in the image composed of RGB signals (for example, surrounded by a window frame). It has become.

撮影手段２は、図２（ａ）に示すように、いわゆるハニカムプラス構造を有しており、複数の第１受光素子２ａと、第１受光素子２ａよりも受光面積の小さい複数の第２受光素子２ｂとを備えている。なお図２（ａ）は複数の第１受光素子２ａは第１撮像手段として機能し、複数の第２受光素子２ｂは第２撮像手段として機能するものであって、同じ人物被写体を撮影するようになっている。ここで、複数の第１受光素子２ａは、人物被写体からの入射光を色分解プリズムやカラーフィルタ等を用いて色分解することによりたとえばＲＧＢ信号やＣＹＭＧ信号等からなる原画像を取得するものである。一方、複数の第２受光素子２ｂは、人物被写体からの入射光を色分解することにより入射する光のうち輝度近似信号であるホワイト信号を受光し輝度近似画像を取得するようになっている。つまり、撮影手段２は、同一の被写体についてそれぞれ異なる信号成分からなる２つの画像を取得するようになっている。 As shown in FIG. 2A, the imaging unit 2 has a so-called honeycomb plus structure, and includes a plurality of first light receiving elements 2a and a plurality of second light receiving areas having a light receiving area smaller than that of the first light receiving elements 2a. And an element 2b. In FIG. 2A, the plurality of first light receiving elements 2a function as first image pickup means, and the plurality of second light receiving elements 2b function as second image pickup means so that the same person subject can be photographed. It has become. Here, the plurality of first light receiving elements 2a acquire an original image composed of, for example, an RGB signal or a CYMG signal by color-separating incident light from a human subject using a color separation prism, a color filter, or the like. is there. On the other hand, the plurality of second light receiving elements 2b are configured to receive a white signal that is a luminance approximate signal out of incident light by color-separating incident light from a human subject and acquire a luminance approximate image. That is, the photographing unit 2 acquires two images each having different signal components for the same subject.

なお、撮影手段２の構造として、図２（ｂ）に示すような第１受光素子２ａと第１受光素子２ａよりも受光面積の小さい第２受光素子２ｂとにより１つのハニカム形状を形成したいわゆるダブルハニカム構造を用いるようにしてもよい。この場合であっても、第１受光素子２ａによりＲＧＢ信号やＣＹＭＧ信号等からなる原画像が取得され、第２受光素子２ｂにより輝度近似信号からなる輝度近似画像が取得される。 In addition, as a structure of the photographing means 2, a so-called honeycomb shape is formed by a first light receiving element 2a and a second light receiving element 2b having a smaller light receiving area than the first light receiving element 2a as shown in FIG. A double honeycomb structure may be used. Even in this case, the first light receiving element 2a acquires an original image made up of RGB signals, CYMG signals, etc., and the second light receiving element 2b gets a luminance approximate image made up of luminance approximate signals.

この輝度近似画像とは、輝度情報（Ｙ信号）ではないが、第２受光素子から直接的に取得することができる輝度情報（Ｙ信号）に近い信号からなる画像を意味し、たとえば上述したホワイト信号が挙げられる。このホワイト信号は図３（ａ）に示すように、波長帯域によらず輝度情報（Ｙ信号）に比例して大きくなるものであって、図３（ｂ）に示すように、ＲＧＢの各波長帯域に輝度情報（Ｙ信号）の強度が依存するものとは異なる点に特徴がある。 This luminance approximate image means an image that is not luminance information (Y signal) but is composed of signals close to luminance information (Y signal) that can be obtained directly from the second light receiving element. Signal. As shown in FIG. 3A, the white signal increases in proportion to the luminance information (Y signal) regardless of the wavelength band. As shown in FIG. It is characterized in that it differs from that in which the intensity of luminance information (Y signal) depends on the band.

図１の顔検出手段１０は、撮影手段２により取得された輝度近似画像にたとえばアダブースティングアルゴリズムによる顔検出処理を施すものである。ここで、図４は顔検出手段１０の一例を示すブロック図であり、図４を参照して顔検出手段１０について説明する。顔検出手段１０は、輝度近似画像Ｐ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰにおいて、横顔である部分画像を検出する横顔検出手段２０と、正面顔である部分画像を検出する正面顔検出手段３０とを有している。 The face detection unit 10 in FIG. 1 performs a face detection process using, for example, an adaborating algorithm on the luminance approximate image acquired by the photographing unit 2. Here, FIG. 4 is a block diagram showing an example of the face detection means 10, and the face detection means 10 will be described with reference to FIG. The face detection means 10 includes a partial image generation means 11 that generates a partial image PP by scanning the subwindow W on the luminance approximate image P, and a plurality of partial images PP generated by the partial image generation means 11 in a profile. It has a side face detection means 20 for detecting a partial image and a front face detection means 30 for detecting a partial image that is a front face.

顔検出手段１０は、第２撮像手段２ｂにより取得された輝度近似画像Ｐにアダブースティングアルゴリズム等による顔検出処理を施すものであって、輝度近似画像Ｐ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰにおいて、横顔である部分画像を検出する横顔検出手段２０と、正面顔である部分画像を検出する正面顔検出手段３０とを有している。 The face detection means 10 performs face detection processing such as an add boosting algorithm on the luminance approximate image P acquired by the second image pickup means 2b, and scans the subwindow W over the luminance approximate image P. A partial image generating unit 11 that generates an image PP, a side face detecting unit 20 that detects a partial image that is a side face in a plurality of partial images PP generated by the partial image generating unit 11, and a partial image that is a front face are detected. And a front face detecting means 30.

部分画像生成手段１１に入力される輝度近似画像Ｐは前処理手段１０ａにより前処理が施されている。前処理手段１０ａは、輝度近似画像Ｐを構成する画素データを一定間隔で間引きする機能を有している。これにより、輝度近似画像Ｐのデータ量を減少させ顔検出処理の高速化を図ることができる。さらに、前処理手段１０ａは、輝度近似画像Ｐに対し図５（Ａ）〜（Ｄ）に示すように、輝度近似画像Ｐを多重解像度化して解像度の異なる複数の輝度近似画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有している。さらに、前処理手段１０ａは、生成した複数の輝度近似画像Ｐに対して、局所的な領域におけるコントラストのばらつきを抑制し輝度近似画像Ｐの全領域においてコントラストを所定レベルに揃える正規化（以下、局所正規化という）・ガンマ変換を施す機能を有している。 The luminance approximate image P input to the partial image generating unit 11 is preprocessed by the preprocessing unit 10a. The pre-processing unit 10a has a function of thinning out pixel data constituting the luminance approximate image P at regular intervals. Thereby, the data amount of the brightness approximate image P can be reduced, and the speed of the face detection process can be increased. Further, as shown in FIGS. 5A to 5D, the preprocessing unit 10a multi-resolutions the brightness approximate image P with respect to the brightness approximate image P to obtain a plurality of brightness approximate images P2, P3, and P4 having different resolutions. It has the function to generate. Furthermore, the preprocessing unit 10a normalizes the plurality of generated approximate brightness images P by suppressing the variation in contrast in the local area and aligning the contrast at a predetermined level in the entire area of the approximate brightness image P (hereinafter, referred to as “normalization”). It has a function to perform gamma conversion.

部分画像生成手段１１は、図５（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷを輝度近似画像Ｐ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。 As shown in FIG. 5A, the partial image generation unit 11 scans the subwindow W having the set number of pixels (for example, 32 pixels × 32 pixels) in the luminance approximate image P, and is surrounded by the subwindow W. A partial image PP having a set number of pixels is generated by cutting out the region.

なお、部分画像生成手段１１は、図５（Ｂ）〜（Ｄ）に示すように、生成された低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。このように、低解像度画像からも部分画像ＰＰを生成することにより、輝度近似画像ＰにおいてサブウィンドウＷ内に正面顔もしくは横顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、検出を確実に行うことができる。 As shown in FIGS. 5B to 5D, the partial image generating unit 11 also generates a partial image PP when the sub window W is scanned on the generated low resolution image. Yes. As described above, by generating the partial image PP also from the low resolution image, even if the front face or the side face does not fit in the subwindow W in the luminance approximate image P, the subwindow W is displayed on the low resolution image. And can be reliably detected.

図４の横顔検出手段２０は、複数の部分画像ＰＰの中から横顔である部分画像を検出するものであって、複数の部分画像ＰＰについて横顔であるか否かを判別し、横顔である可能性のある部分画像ＰＰを候補画像として判別する横顔候補判別手段２１と、横顔候補判別手段２１により検出された候補画像が正面顔であるか否かを判別する横顔判別手段２２とを有している。 The profile detection unit 20 in FIG. 4 detects a profile image that is a profile from among the plurality of partial images PP, and determines whether or not the profile image is a profile, and can be a profile. Profile candidate determining means 21 for determining a characteristic partial image PP as a candidate image, and profile determining means 22 for determining whether or not the candidate image detected by the profile candidate determining means 21 is a front face. Yes.

横顔候補判別手段２１は、部分画像ＰＰが横顔であるか否かの２値判別を行う機能を有し、図６に示すような複数の弱判別器を有する横顔候補判別器からなっている。横顔候補判別器２１は、アダブースティングアルゴリズム（ＡｄａｂｏｏｓｔｉｎｇＡｌｇｏｒｉｔｈｍ）により学習されたものであって、複数の弱判別器ＣＦ_１〜ＣＦ_Ｍ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ_１〜ＣＦ_Ｍはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を有する。そして、横顔候補判別器２１は弱判別器ＣＦ_１〜ＣＦ_Ｍおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。 The side face candidate discriminating means 21 has a function of performing binary discrimination as to whether or not the partial image PP is a side face, and includes a side face candidate discriminator having a plurality of weak discriminators as shown in FIG. The side face candidate discriminator 21 is learned by the Adaboosting Algorithm and has a plurality of weak discriminators CF _{1 to} CF _M (M: the number of weak discriminators). Each of the weak classifiers CF ₁ ~CF _M respectively extracts the feature x from the partial images PP, partial images PP by using the feature x has a function of performing determination of whether or not a face. The profile candidate classifier 21 is configured to perform the final determination of whether or not a face with a weak classifiers CF ₁ ~CF _M definitive determination result.

具体的には、図７に示すように各弱判別器ＣＦ_１〜ＣＦ_Ｍは部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおける輝度近似信号値を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおける輝度近似信号値をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせた輝度近似信号値の差分を特徴量ｘとする。各弱判別器ＣＦ_１〜ＣＦ_Ｍ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ_１では座標Ｐ１ａ、Ｐ１ｃにおける輝度近似信号値の差分を特徴量として用い、弱判別器ＣＦ_２では座標Ｐ２ａ、Ｐ２ｂにおける輝度近似信号値の差分を特徴量として用いるようになっている。 Specifically, each of the weak classifiers _CF 1 _~CF _M 7 set coordinates P1a in the partial image PP, P1b, extracts a luminance approximate signal value at P1c. Further, the brightness approximate signal values at the set coordinate positions P2a and P2b in the low resolution image PP2 of the partial image PP and the set coordinate positions P3a and P3b in the low resolution image PP3 are extracted. Thereafter, two of the seven coordinates P1a to P3b described above are combined as a pair, and the difference between the combined luminance approximate signal values is defined as a feature amount x. Using each of the weak classifiers _CF every 1 ~CF _M are those different feature amounts are used, respectively, for example, the weak classifiers CF ₁ The coordinate P1a, as the characteristic amount of the difference of the luminance approximate signal values in P1c, weak classifiers CF ₂ , the difference between the luminance approximate signal values at the coordinates P2a and P2b is used as the feature amount.

なお、各弱判別器ＣＦ_１〜ＣＦ_Ｍがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ_１〜ＣＦ_Ｍに入力するようにしてもよい。 Note that although the case where each of the weak classifiers CF ₁ ~CF _M extracts characteristic amounts x, respectively, in advance extracts a feature x described above for a plurality of partial images PP, each of the weak classifiers CF it may be input to the _{1 ~CF} _M.

各弱判別器ＣＦ_１〜ＣＦ_Ｍは図８に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ_１（ｘ）〜ｆ_Ｍ（ｘ）を出力する。さらに、各弱判別器ＣＦ_１〜ＣＦ_Ｍは判別性能を示す信頼度β_１〜β_Ｍを有している。各弱判別器ＣＦ_１〜ＣＦ_Ｍは、スコアｆ_１（ｘ）〜ｆ_Ｍ（ｘ）と信頼度β_１〜β_ｍとを用いて判定スコアβ_ｍ・ｆ_ｍ（ｘ）を算出するようになっている。そして、各弱判別器ＣＦ_ｍの判定スコアβ_ｍ・ｆ_ｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを判断し、設定しきい値以上であるときに顔であると判別する（β_ｍ・ｆ_ｍ（ｘ）≧Ｓｒｅｆ）。 Each weak discriminator CF _{1 to} CF _M has a histogram as shown in FIG. 8, and outputs scores f ₁ (x) to f _M (x) corresponding to the value of the feature quantity x based on this histogram. To do. Further, each of the weak classifiers _CF 1 _~CF _M have confidence values β ₁ ~β _M indicating the discrimination performance. Each of the weak classifiers _CF 1 _~CF _M so as to calculate the determination score β _m · _f _m (x) with a score _{_{f 1 (x) ~f M (}} x) and reliability β ₁ ~β _m It has become. Then, it is determined whether or not the determination score β _m · f _m (x) itself of each weak discriminator CF _m is equal to or greater than a set threshold value Sref, and when it is equal to or greater than the set threshold value, it is determined that the face is a face. (Β _m · f _m (x) ≧ Sref).

また、横顔候補判別器２１の各弱判別器ＣＦ_１〜ＣＦ_Ｍはカスケード構造を有しており、各弱判別器ＣＦ_１〜ＣＦ_Ｍのすべてが顔であると判別した部分画像ＰＰのみを候補画像ＣＰとして出力するようになっている。つまり、弱判別器ＣＦ_ｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦ_ｍ＋１による判別を行い、弱判別器ＣＦ_ｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦ_ｍ＋１による判別は行わない。これにより、下流側の弱判別器において判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。 Further, each of the weak classifiers _CF 1 _~CF _M profile candidate classifier 21 has a cascade structure, the partial images PP only candidates all of the weak classifiers _CF 1 _~CF _M is determined to be a face An image CP is output. That is, only the partial image PP determined to be a face by the weak classifier CF _m is determined by the downstream weak classifier CF _{m + 1,} and the partial image PP determined to be a non-face by the weak classifier CF _m is downstream. No discrimination is performed by the weak discriminator CF _{m + 1} on the side. As a result, the amount of the partial image PP to be discriminated in the downstream weak discriminator can be reduced, so that the discrimination operation can be speeded up.

なお、各弱判別器ＣＦ_１〜ＣＦ_Ｍから出力された判定スコアＳ_１〜Ｓ_Ｍをそれぞれ個別に設定しきい値Ｓｒｅｆ以上であるか否かを判断するのではなく、弱判別器ＣＦ_ｍにおいて判別を行う際、弱判別器ＣＦ_ｍの上流側の弱判別器ＣＦ_１〜ＣＦ_ｍ−１での判定スコアの和Σ_ｒ=1 ^ｍβ_ｒ・ｆ_ｒが設定しきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしてもよい（Σ_ｒ=1 ^ｍβ_ｒ・ｆ_ｒ（ｘ）≧Ｓ１ｒｅｆ）。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。 Incidentally, each of the weak classifiers _CF 1 _~CF _M a determination score _S 1 to S _M output from the not respectively in to determine whether a separately set threshold value Sref above, in the weak classifier CF _m when performing the determination, whether the weak classifier CF sum _{^{_{Σ r = 1 m β r ·}}} f r of determination score on the upstream side of the weak classifiers _{_CF 1} _~CF _m-1 _m is set threshold S1ref more may be performed judged by whether _{^{_{(Σ r = 1 m β r}}} · f r (x) ≧ S1ref). Thereby, since the determination which considered the determination score by an upstream weak discriminator can be performed, the determination precision can be improved.

図４の横顔判別手段２２は、画像内の顔の向き（角度）が０°の顔、すなわち正面顔を判別する０°横顔判別器２２−１、３０°の顔画像を判別する３０°横顔判別器２２−２等を備えたものであって、−９０°〜＋９０°の範囲で３０°ずつ回転角度の異なる７個の横顔判別器２２−１〜２２−７を有している。また、たとえば０°横顔判別器２２−１は回転角度が０°を中心に−１５°〜＋１５°の範囲内にある顔を判別できるようになっている。なお各横顔判別器２２−１〜２２−７は上述した横顔候補判別器２１と同様にアダブースティングアルゴリズムを用いて学習された複数の弱判別器を有しており（図６参照）、横顔候補判別手段２１と同様の判別手法により判別が行われるようになっている。 4 is a 0 ° side face discriminator 22-1 for discriminating a face whose orientation (angle) is 0 °, that is, a front face, and a 30 ° side face for discriminating a 30 ° face image. The apparatus includes a discriminator 22-2 and the like, and has seven side face discriminators 22-1 to 22-7 having different rotation angles by 30 ° in a range of −90 ° to + 90 °. For example, the 0 ° side face discriminator 22-1 can discriminate a face whose rotation angle is in the range of −15 ° to + 15 ° with 0 ° as the center. Each of the side face classifiers 22-1 to 22-7 has a plurality of weak classifiers learned using the Adaboosting algorithm in the same manner as the side face candidate classifier 21 described above (see FIG. 6). Discrimination is performed by the same discriminating method as the candidate discriminating means 21.

次に、正面顔検出手段３０について説明する。正面顔検出手段３０は、複数の部分画像ＰＰの中から正面顔である部分画像ＰＰを検出するものであって、複数の部分画像ＰＰについて正面顔であるか否かを判別し、正面顔である可能性のある部分画像ＰＰを候補画像ＣＰとして判別する正面顔候補判別手段３１と、正面顔候補判別手段３１により検出された候補画像が正面顔であるか否かを判別する正面顔判別手段３２とを有している。 Next, the front face detection means 30 will be described. The front face detection means 30 detects a partial image PP that is a front face from among the plurality of partial images PP, and determines whether or not the plurality of partial images PP are front faces. Front face candidate determining means 31 for determining a possible partial image PP as a candidate image CP, and front face determining means for determining whether or not the candidate image detected by the front face candidate determining means 31 is a front face. 32.

正面顔候補判別手段３１は、部分画像ＰＰが横顔であるか非顔かの２値判別を行う機能を有し、上記横顔候補検出器２１と同様、アダブースティングアルゴリズムにより学習された複数の弱判別器を有する候補判別器からなっている（図６参照）。 The front face candidate discriminating means 31 has a function of performing binary discrimination of whether the partial image PP is a side face or a non-face, and, similar to the side face candidate detector 21, a plurality of weaknesses learned by the Adaboosting algorithm. It consists of a candidate classifier having a classifier (see FIG. 6).

正面顔判別手段３２は、画像の縦方向と顔の中心線との角度が０°の顔を判別する０°正面顔判別器３２−１、３０°の顔画像を判別する３０°正面顔判別器３２−２等を備えたものであって、３０°〜３３０°の範囲で回転角度が３０°ずつ異なる１２個の正面顔判別器３２−１〜３０−１２を有している。なお、たとえば０°正面顔判別器３２−１は回転角度が０°を中心に−１５°（＝３４５°）〜＋１５°の範囲内にある顔を判別できるようになっている。そして、原画像と輝度近似画像とは同一の被写体を撮影するものであるため、原画像において輝度近似画像と同じ領域に顔が存在する。よって、顔検出手段１０は輝度近似画像から顔を検出することにより、原画像内から顔を検出することができる。 The front face discrimination means 32 is a 0 ° front face discriminator 32-1, which discriminates a face whose angle between the vertical direction of the image and the face center line is 0 °, and a 30 ° front face discrimination which discriminates a 30 ° face image. Which includes twelve front face discriminators 32-1 to 30-12 whose rotation angles are different by 30 ° in the range of 30 ° to 330 °. For example, the 0 ° front face discriminator 32-1 can discriminate a face whose rotation angle is in the range of −15 ° (= 345 °) to + 15 ° with 0 ° as the center. Since the original image and the luminance approximate image are for photographing the same subject, a face exists in the same area as the luminance approximate image in the original image. Therefore, the face detection unit 10 can detect the face from the original image by detecting the face from the luminance approximate image.

なお、複数の正面顔判別器３２−１〜３２−１２は、上述した横顔候補判別手段２１のように、それぞれブースティングアルゴリズムにより学習された複数の弱判別器を有しており（図６参照）、横顔候補判別手段２１と同様の判別手法により判別が行われるようになっている。 The plurality of front face discriminators 32-1 to 32-12 each include a plurality of weak discriminators learned by a boosting algorithm, like the side face candidate discriminating means 21 described above (see FIG. 6). ), And the discrimination is performed by the same discrimination method as the side face candidate discrimination means 21.

ここで、上述した各候補判別器２１、３１および各顔判別器２２、３２において、弱判別器での判別に用いる特徴量として輝度近似画像から抽出した輝度近似信号（ホワイト信号）が用いられている。つまり従来の顔判別器のように輝度情報（Ｙ信号）を用いて顔の判別を行うのではなく、ＲＧＢ信号の中の輝度近似信号を用いて顔の判別を行うものである。従来のように、顔の判別に用いる信号として輝度情報を用いた場合、肌の色の違い等の個人差による顔検出のブレをなくすことができるが、ＲＧＢ信号からなる画像から輝度情報を抽出する際には、輝度値Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂという人間の比視感度に基づく変換式によりデータ変換しなければならない。 Here, in each of the candidate discriminators 21 and 31 and the face discriminators 22 and 32 described above, the luminance approximate signal (white signal) extracted from the luminance approximate image is used as a feature amount used for discrimination by the weak discriminator. Yes. In other words, the face is not discriminated using the luminance information (Y signal) as in the conventional face discriminator, but the face is discriminated using the luminance approximate signal in the RGB signals. When luminance information is used as a signal used for face discrimination as in the prior art, face detection blur due to individual differences such as skin color differences can be eliminated, but luminance information is extracted from an image made up of RGB signals. In this case, the data must be converted by a conversion formula based on the human specific visual sensitivity of luminance value Y = 0.299R + 0.587G + 0.114B.

一方、上述したような第２撮像手段である第２受光素子２ｂから直接受光させることにより取得された輝度近似画像Ｐを用いて顔検出を行うことにより、従来の輝度情報を用いたときの検出性能をほぼ維持しつつ、ＲＧＢ信号やＣＹＭＧ信号から輝度情報への変換処理が不要となり、顔検出の高速化を図ることができる。 On the other hand, the detection using the conventional luminance information is performed by performing face detection using the luminance approximate image P acquired by directly receiving light from the second light receiving element 2b as the second imaging unit as described above. While substantially maintaining the performance, conversion processing from RGB signals or CYMG signals to luminance information becomes unnecessary, and the speed of face detection can be increased.

ここで、図９は本発明の顔検出方法の好ましい実施の形態を示すフローチャートであり、図１から図９を参照して撮影装置１の動作例について説明する。まず、第１受光素子２ａを用いて人物被写体を撮影し人物被写体のたとえばＲＧＢ信号等からなる原画像が取得されるとともに、第２受光素子２ｂを用いて人物被写体を撮影し人物被写体の輝度情報に近い明度を有する色からなる輝度近似画像が取得される（ステップＳＴ１）。その後、前処理手段１０ａにおいて、輝度近似画像Ｐに対する画素の間引き、規格化およびガンマ変換が行われる（ステップＳＴ２）。そして、部分画像生成手段１１において、輝度近似画像Ｐ上をサブウィンドウＷが一定の走査間隔で走査することにより複数の部分画像ＰＰが生成される（ステップＳＴ３）。そして、顔である可能性のある候補画像ＣＰが検出され（ステップＳＴ４）、さらに、候補画像ＣＰが正面顔もしくは横顔であるか否かが横顔判別器２２および正面顔判別器３２により部分画像ＰＰの輝度近似信号を用いて判別される（ステップＳＴ５）。そして、輝度近似画像の中から正面顔もしくは横顔からなる顔画像ＦＰが判別されることにより、輝度近似画像の顔が検出された領域から原画像内の顔が検出される。 Here, FIG. 9 is a flowchart showing a preferred embodiment of the face detection method of the present invention, and an operation example of the photographing apparatus 1 will be described with reference to FIGS. 1 to 9. First, a person subject is photographed using the first light receiving element 2a, and an original image of the person subject such as an RGB signal is acquired, and the person subject is photographed using the second light receiving element 2b to obtain luminance information of the person subject. A luminance approximate image consisting of a color having a brightness close to is acquired (step ST1). Thereafter, in the preprocessing unit 10a, pixel thinning, normalization, and gamma conversion are performed on the luminance approximate image P (step ST2). Then, the partial image generation means 11 generates a plurality of partial images PP by scanning the subwindow W at a constant scanning interval on the luminance approximate image P (step ST3). Then, a candidate image CP that may be a face is detected (step ST4), and whether or not the candidate image CP is a front face or a side face is determined by the side face discriminator 22 and the front face discriminator 32 by the partial image PP. Is determined using the luminance approximate signal (step ST5). Then, a face image FP consisting of a front face or a side face is discriminated from the luminance approximate image, whereby a face in the original image is detected from an area where the face of the luminance approximate image is detected.

上記実施の形態によれば、撮影条件の異なる複数の輝度近似画像に顔検出処理を施し、複数の輝度近似画像のいずれかから検出した顔に合わせて撮影条件を設定することにより、
本発明の撮影装置によれば、人物被写体を撮影しＲＧＢ信号からなる画像を取得する第１受光素子２ａ（第１撮像手段）と、人物被写体を撮影し輝度近似画像を取得する第２受光素子２ｂ（第２撮像手段）と、輝度近似画像から顔を検出する顔検出手段１０とを備えたことにより、人物被写体を撮影した際の顔を検出するとき、従来のようにＲＧＢ信号からなる原画像から輝度信号を抽出し顔検出を行うのではなく、第２受光素子２ｂから直接取得した輝度近似画像から直接顔検出を行うことができるため、顔検出のための信号処理の負担を軽減し顔検出速度を向上させることができる。 According to the above embodiment, by performing face detection processing on a plurality of luminance approximate images with different shooting conditions and setting the shooting conditions according to the face detected from any of the plurality of luminance approximate images,
According to the photographing apparatus of the present invention, the first light receiving element 2a (first imaging means) for photographing a human subject and obtaining an image composed of RGB signals, and the second light receiving element for photographing a human subject and obtaining a luminance approximate image. 2b (second image pickup means) and face detection means 10 for detecting a face from a luminance approximate image, when detecting a face when a human subject is photographed, an original composed of RGB signals as in the prior art. Instead of extracting a luminance signal from an image and performing face detection, face detection can be performed directly from a luminance approximate image obtained directly from the second light receiving element 2b, thereby reducing the burden of signal processing for face detection. The face detection speed can be improved.

また、図２に示すように、第１受光素子２ａおよび第２受光素子２ｂが、ハニカムプラス構造もしくはダブルハニカム構造を有しているとき、通常のＣＣＤ素子のように受光素子が水平および垂直方向に配列されている画素の一部を輝度近似信号を受光するように構成した場合に比べて取得する原画像の画質の劣化を起こさずに、原画像と輝度近似画像とを効率的に取得することができる。 In addition, as shown in FIG. 2, when the first light receiving element 2a and the second light receiving element 2b have a honeycomb plus structure or a double honeycomb structure, the light receiving elements are in the horizontal and vertical directions as in a normal CCD element. The original image and the luminance approximate image are efficiently acquired without causing deterioration of the image quality of the original image acquired compared to the case where a part of the pixels arranged in the configuration is configured to receive the luminance approximate signal. be able to.

また、顔検出手段１０が、輝度近似画像Ｐ上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰのうち顔である部分画像ＰＰを検出する複数の弱判別器による複数の判別結果を用いて部分画像ＰＰが顔であるか否かを判別する顔判別器とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。 In addition, the face detection unit 10 scans a sub-window having a frame of a set number of pixels on the luminance approximate image P to generate a plurality of partial images, and a plurality of partial images generated by the partial image generation unit 11 What is provided is a face discriminator that discriminates whether or not the partial image PP is a face using a plurality of discrimination results by a plurality of weak discriminators that detect the partial image PP that is a face among the partial images PP. Thus, the face can be detected accurately and efficiently.

さらに、顔検出手段１０が、部分画像生成手段１１により生成された部分画像が顔であるか否かを判別し、顔である可能性のある部分画像ＰＰを候補画像ＣＰとして検出する候補検出手段をさらに有し、顔判別器２２、３２が、候補判別器２１、３１により判別された部分画像について顔であるか否かを判別するものであれば、顔判別器２２、３２が検出すべき部分画像ＰＰの数を低減することができるため、判別作業の高速化を図ることができる。 Further, the face detection unit 10 determines whether or not the partial image generated by the partial image generation unit 11 is a face, and detects a partial image PP that may be a face as a candidate image CP. If the face discriminators 22 and 32 discriminate whether or not the partial images discriminated by the candidate discriminators 21 and 31 are faces, the face discriminators 22 and 32 should detect Since the number of partial images PP can be reduced, the speed of the discrimination operation can be increased.

本発明の実施の形態は、上記実施の形態に限定されない。たとえば図２において、撮像手段２が第１受光素子２ａおよび第２受光素子２ｂを有している場合について例示しているが、第１撮像手段および第２撮像手段毎がそれぞれ独立したＣＣＤ等の受光素子からなっていてもよいし、１つのＣＣＤ素子において原画像を受光する受光画素と輝度近似信号を受光する受光素子とを有するものであっても良い。また、上記実施の形態において、ブースティングアルゴリズムを用いて顔検出を行った場合について例示しているが、その他公知の顔検出に用いることができる。 The embodiment of the present invention is not limited to the above embodiment. For example, FIG. 2 illustrates the case where the image pickup means 2 includes the first light receiving element 2a and the second light receiving element 2b. However, the first image pickup means and the second image pickup means are independent of each other, such as a CCD. It may be composed of a light receiving element, or may have a light receiving pixel that receives an original image and a light receiving element that receives a luminance approximate signal in one CCD element. Moreover, in the said embodiment, although the case where face detection was performed using the boosting algorithm was illustrated, it can be used for other well-known face detection.

本発明の撮影装置の好ましい実施の形態を示すブロック図The block diagram which shows preferable embodiment of the imaging device of this invention 図１の撮影装置における第１受光素子および第２受光素子の一例を示す模式図1 is a schematic diagram showing an example of a first light receiving element and a second light receiving element in the imaging apparatus of FIG. 輝度情報と輝度近似信号またはＲＧＢ信号との相関関係を示すグラフGraph showing correlation between luminance information and luminance approximate signal or RGB signal 図１の撮影装置における顔検出手段の好ましい実施の形態を示すブロック図1 is a block diagram showing a preferred embodiment of face detection means in the photographing apparatus of FIG. 図１の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図Schematic diagram showing how the sub-window is scanned in the partial image generating means of FIG. 図１の横顔候補検出手段の候補判別器の一例を示すブロック図The block diagram which shows an example of the candidate discriminator of the side face candidate detection means of FIG. 図１の弱判別器により部分画像から特徴量が抽出される様子を示す模式図Schematic diagram showing how feature quantities are extracted from partial images by the weak classifier of FIG. 図１の弱判別器が有するヒストグラムの一例を示すグラフ図The graph figure which shows an example of the histogram which the weak discriminator of FIG. 1 has 図１の撮影装置の動作例を示すフローチャートThe flowchart which shows the operation example of the imaging device of FIG.

Explanation of symbols

１撮影装置
２ａ第１受光素子（第１撮影手段）
２ｂ第２受光素子（第２撮影手段）
１０顔検出手段
１１部分画像生成手段
２０横顔検出手段
３０正面顔検出手段
ＣＦ_１〜ＣＦ_Ｍ弱判別器
ＣＰ候補画像
Ｐ輝度近似画像
ＰＰ部分画像 1 photographing device 2a first light receiving element (first photographing means)
2b Second light receiving element (second photographing means)
10 face detecting means 11 partial image generating means 20 profile detecting means 30 front face detecting unit _CF 1 _~CF _M weak classifiers CP candidate image P luminance approximation image PP partial image

Claims

By color-separating incident light from a human subject, an original image of the human subject and a luminance approximate image composed of colors having brightness close to luminance information of the human subject are obtained.
A face detection method, wherein a face in the original image is detected by detecting a face from the acquired luminance approximate image.

First imaging means for acquiring an original image of the human subject by color-separating incident light from the human subject;
A second imaging unit that obtains a luminance approximate image composed of colors having lightness close to luminance information of the human subject by color-separating incident light from the human subject;
And a face detection means for detecting a face in the original image acquired by the first imaging means by detecting a face from the luminance approximate image acquired by the second imaging means. Shooting device to do.

The first light receiving element, wherein the first image pickup means is composed of a plurality of first light receiving elements arranged on a plane, and the second image pickup means is arranged between the plurality of first light receiving elements, respectively. The imaging device according to claim 2, comprising a plurality of second light receiving elements having a smaller light receiving area.

The face detection means is
A partial image generating means for generating a plurality of partial images by scanning a sub-window having a frame of a set number of pixels on the luminance approximate image;
Face detection means for detecting the partial image that is a face among the plurality of partial images generated by the partial image generation means;
The face detection means comprises a face discriminator that discriminates whether or not the partial image is a face using a plurality of discrimination results by a plurality of weak discriminators. The imaging device according to Item 3.

The plurality of weak classifiers form a cascade, and the weak classifiers on the downstream side determine the partial images determined that the upstream weak classifiers are faces. Item 5. The photographing apparatus according to any one of Items 2 to 4.

The face detection means further comprises candidate detection means for determining whether or not the partial image generated by the partial image generation means is a face, and detecting the partial image that may be a face as a candidate image. 6. The photographing apparatus according to claim 2, wherein the face discriminator discriminates whether or not the partial image discriminated by the candidate discriminator is a face. .