JP2008263320A - Imaging device and control method - Google Patents

Imaging device and control method Download PDF

Info

Publication number
JP2008263320A
JP2008263320A JP2007103303A JP2007103303A JP2008263320A JP 2008263320 A JP2008263320 A JP 2008263320A JP 2007103303 A JP2007103303 A JP 2007103303A JP 2007103303 A JP2007103303 A JP 2007103303A JP 2008263320 A JP2008263320 A JP 2008263320A
Authority
JP
Japan
Prior art keywords
detection
image
predetermined object
detection result
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007103303A
Other languages
Japanese (ja)
Other versions
JP4819737B2 (en
JP2008263320A5 (en
Inventor
Takaaki Fukui
貴明 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007103303A priority Critical patent/JP4819737B2/en
Publication of JP2008263320A publication Critical patent/JP2008263320A/en
Publication of JP2008263320A5 publication Critical patent/JP2008263320A5/ja
Application granted granted Critical
Publication of JP4819737B2 publication Critical patent/JP4819737B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To suppress a decrease in precision of image processing on an image obtained by photography when the image processing is carried out. <P>SOLUTION: The imaging device has an imaging unit (102) which photographs a subject and outputs an electric image signal, a detecting means (120, 121) of detecting a predetermined object from the image signal, a determining means (112) of determining photographic conditions to be used for photography using the detection result of the predetermined object, a signal processing circuit (104) which performs image processing on an image signal obtained through photography of the imaging unit under the determined photographic conditions using the detection result of the predetermined object obtained by the detecting means, and a control means of controlling the timing of detection of the predetermined object for use of the detection result of the predetermined object by the image processing circuit to behind the timing of detection of the predetermined object for use of the detection result of the predetermined object by the determining means. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、撮像装置及びその制御方法に関し、更に詳しくは、顔検出を行い、その検出結果を用いた処理を行う撮像装置及びその制御方法に関する。   The present invention relates to an imaging apparatus and a control method thereof, and more particularly to an imaging apparatus that performs face detection and performs processing using the detection result and a control method thereof.

近年、デジタルカメラでは、撮影時に顔検出を行い、検出された顔の大きさや明るさ等に応じて、撮影や画像処理に最適な設定を行うものがある。   In recent years, some digital cameras perform face detection at the time of shooting, and perform optimal settings for shooting and image processing according to the size and brightness of the detected face.

例えば顔の検出結果を利用するデジタルカメラとして、特許文献1に、人の顔を検出し、検出された顔領域に焦点と露出を合わせるものが開示されている。   For example, as a digital camera using a face detection result, Patent Document 1 discloses a camera that detects a human face and adjusts the focus and exposure to the detected face area.

また、特許文献2には、顔領域の色を抽出して、その肌色領域の色相の補正を行うものが開示されている。   Japanese Patent Application Laid-Open No. H10-228561 discloses a technique for extracting the color of the face area and correcting the hue of the skin color area.

また、特許文献3には、顔が検出された場合に顔領域以外の領域でホワイトバランス(WB)の補正値を取得することで、顔領域の色が「白」と誤判別されることを防ぎ、ホワイトバランスの性能を向上させる技術が開示されている。   Patent Document 3 discloses that when a face is detected, a white balance (WB) correction value is acquired in an area other than the face area, so that the color of the face area is erroneously determined as “white”. Techniques for preventing and improving white balance performance are disclosed.

このように従来、顔検出の機能を利用して、顔領域の露出が適正になるように自動露出制御処理(AE)やフラッシュの調光の制御を行ったり、顔領域に合焦するように自動焦点調節処理(AF)するものが提案されている。更に、顔領域の色が所望の色になるようにホワイトバランスや色再現の調整を行うことより、より好ましい画像を得ることが可能となる。   As described above, conventionally, the face detection function is used to perform automatic exposure control processing (AE) and flash light control so that the exposure of the face area is appropriate, or to focus on the face area. An automatic focus adjustment process (AF) has been proposed. Furthermore, it is possible to obtain a more preferable image by adjusting white balance and color reproduction so that the color of the face region becomes a desired color.

顔検出方法としては、例えば、ニュートラルネットワークに代表される学習を用いた方法や、目や鼻と言った物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて解析する手法が挙げられる(例えば、特許文献4及び5を参照)。また、現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔を検出する方法等や、テンプレートマッチング等を組み合わせた方法などがある。他にも多数の顔検出方法が提案されている。   As a face detection method, for example, a method using learning typified by a neutral network or a method of extracting a part having a physical shape such as an eye or nose from an image region by template matching is known. . In addition, there is a method of detecting an image feature amount such as a skin color or an eye shape and analyzing it using a statistical method (see, for example, Patent Documents 4 and 5). Also, what is currently proposed as a product includes a method of detecting a face using wavelet transform and image feature amounts, a method of combining template matching, and the like. Many other face detection methods have been proposed.

ここで、顔検出方法の一例について、図9乃至図12を参照して説明する。なお、図10(a)は顔検出を行う対象画像を示している。   Here, an example of the face detection method will be described with reference to FIGS. FIG. 10A shows a target image for face detection.

ステップS501では顔検出の対象画像から肌色の領域を抽出する。図11はCIELABのLa*b*色空間における代表色を示した色度図であり、図中、楕円200は肌色である可能性が高い領域(以下、「肌色領域」と呼ぶ。)を示している。図10(b)は、図10(a)に示す顔検出の対象画像から、肌色領域200内の画素値を有する画像領域を抽出したものを示した図である。ステップS502で、抽出した画像に対してハイパスフィルタをかける。図12は2次元ハイパスフィルタの一例を示す係数であり、図10(c)は抽出された図10(b)の画像にハイパスフィルタ処理を施した概念を示す画像である。   In step S501, a skin color region is extracted from the face detection target image. FIG. 11 is a chromaticity diagram showing representative colors in the CIELAB La * b * color space. In the figure, an ellipse 200 indicates a region that is highly likely to be a skin color (hereinafter referred to as a “skin color region”). ing. FIG. 10B is a diagram showing an image region having a pixel value in the skin color region 200 extracted from the face detection target image shown in FIG. In step S502, a high-pass filter is applied to the extracted image. FIG. 12 is a coefficient showing an example of a two-dimensional high-pass filter, and FIG. 10C is an image showing a concept obtained by performing high-pass filter processing on the extracted image of FIG. 10B.

ステップS503では、テンプレートマッチングを行って画像中における目の検出を行い、ステップS504では、検出した目の領域の位置関係から顔認識を行い、方向・大きさ等の特徴量の抽出を行う。図10(d)は上述したようにして行われた顔検出結果として、顔検出枠を表示した場合を示す図である。   In step S503, template matching is performed to detect eyes in the image. In step S504, face recognition is performed based on the positional relationship between the detected eye regions, and feature quantities such as direction and size are extracted. FIG. 10D is a diagram showing a case where a face detection frame is displayed as a result of face detection performed as described above.

このようにして得た顔検出結果をAF、AE、WB等に利用することによって、人を撮影する場合には、より顔に適したAF、AE、WB等を行うことができる。   By using the face detection result obtained in this way for AF, AE, WB, etc., when photographing a person, AF, AE, WB, etc. more suitable for the face can be performed.

撮影動作において顔検出結果をAFに利用する場合、大まかな顔の領域の判別ができていればよい。これは、検出すべき領域に顔領域が含まれていれば、その領域のコントラスト値が最大になるようにレンズの制御ができるため、AFの精度としては問題無いからである。従って、AFの制御を行うための顔検出は、顔検出されるべき領域が厳密に特定されている必要はない。   When the face detection result is used for AF in the shooting operation, it is only necessary to roughly determine the face area. This is because if the face area is included in the area to be detected, the lens can be controlled so that the contrast value of the area is maximized, and there is no problem with the accuracy of AF. Therefore, face detection for performing AF control does not require that the area to be face-detected be specified precisely.

AEにおいても同様に、露出値を計算する際に、大まかな顔領域の判別がなされていれば、顔領域を含む領域における露出値を合わせることで、露出を最適に制御することが可能である。   Similarly, in AE, if a rough face area is determined when calculating the exposure value, it is possible to optimally control the exposure by combining the exposure values in the area including the face area. .

一方、ホワイトバランスの計算において顔検出結果を利用する手法は、例えば、顔領域以外の領域を用いてホワイトバランスの計算を行う手法(特許文献3)と、顔領域を積極的に検出し、その領域の顔色を最適にするような手法(特許文献2)がある。   On the other hand, a method of using the face detection result in white balance calculation is, for example, a method of calculating white balance using an area other than the face area (Patent Document 3), and detecting a face area positively. There is a technique (Patent Document 2) that optimizes the facial color of a region.

特開2005−8668号公報Japanese Patent Laying-Open No. 2005-8668 特開2004−180114号公報JP 2004-180114 A 特開2003−189325号公報JP 2003-189325 A 特開平10−232934号公報JP-A-10-232934 特開2000−48184号公報JP 2000-48184 A

しかしながら、顔検出結果を利用するWBでは、顔検出されるべき領域が厳密に特定されていないと、WB精度に悪影響を及ぼす。   However, in the WB that uses the face detection result, the WB accuracy is adversely affected unless the area where the face is to be detected is strictly specified.

例えば、顔領域以外の領域を用いてホワイトバランスの計算を行う手法の場合では、顔領域以外と判別されている部分に誤って顔の肌色が含まれている場合に、肌色の部分を白色と誤判定してしまうことがあり、正しいWBの評価値が得られないことがある。   For example, in the method of calculating the white balance using an area other than the face area, if the skin color of the face is mistakenly included in the part determined to be other than the face area, the skin color part is set to white. An erroneous determination may occur, and a correct WB evaluation value may not be obtained.

また、例えば、顔領域の顔色を最適にするような手法では、顔以外の領域が顔領域と誤判断され、肌色以外の色(例えば、背景の芝生や青空等)が混ざってしまうと、正しい顔色の評価が行われず、適切なWBを行うことができなくなってしまう。   In addition, for example, in a method for optimizing the face color of the face area, if the area other than the face is mistakenly determined as the face area, and colors other than the skin color (for example, background lawn or blue sky) are mixed, it is correct. The face color is not evaluated and appropriate WB cannot be performed.

つまり、AEやAFで必要な顔検出領域の精度とWBで必要となる顔検出領域の精度は異なる。   That is, the accuracy of the face detection area required for AE and AF differs from the accuracy of the face detection area required for WB.

本発明は上記問題点を鑑みてなされたものであり、本発明の撮像装置は、被写体を撮影して電気的な画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号から所定の対象を検出する検出手段と、前記検出手段による前記所定の対象の検出結果を用いて、撮影に用いる撮影条件を決定する決定手段と、前記決定手段により決定された撮影条件を用いて前記撮像手段により撮影して得られた画像信号に対して、前記検出手段による前記所定の対象の検出結果を用いて、画像処理を行う画像処理手段と、前記画像処理手段が前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングを、前記決定手段が前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングよりも後になるように制御する制御手段とを有する。   The present invention has been made in view of the above problems, and an imaging apparatus according to the present invention has an imaging unit that captures an image of a subject and outputs an electrical image signal, and an image signal output from the imaging unit. Detection means for detecting a target of the image, determination means for determining an imaging condition used for imaging using the detection result of the predetermined object by the detection means, and the imaging using the imaging condition determined by the determination means An image processing means for performing image processing on the image signal obtained by photographing with the means using the detection result of the predetermined object by the detecting means, and the image processing means for detecting the predetermined object The timing of detection of the predetermined target for using the predetermined object is controlled to be later than the timing of detection of the predetermined target for the determination means to use the detection result of the predetermined target. And a control means.

被写体を撮影して電気的な画像信号を出力する撮像手段を有する撮像装置の制御方法であって、前記撮像手段により撮影を行う撮像工程と、前記撮像手段から出力された画像信号から所定の対象を検出する検出工程と、前記検出工程による前記所定の対象の検出結果を用いて、撮影に用いる撮影条件を決定する決定工程と、前記決定工程により決定された撮影条件を用いて前記撮像手段により撮影して得られた画像信号に対して、前記検出工程による前記所定の対象の検出結果を用いて、画像処理を行う画像処理工程と、前記画像処理工程で前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングを、前記決定工程で前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングよりも後になるように制御する制御工程とを有する。 A method for controlling an image pickup apparatus having an image pickup unit that takes an image of a subject and outputs an electrical image signal, the image pickup step for taking an image by the image pickup unit, and a predetermined target from the image signal output from the image pickup unit A detection step of detecting the predetermined object, a determination step of determining a shooting condition to be used for shooting using the detection result of the predetermined object by the detection step, and a shooting condition determined by the determination step by the imaging means An image processing process for performing image processing on the image signal obtained by photographing using the detection result of the predetermined object in the detection process, and using the detection result of the predetermined object in the image processing process The detection timing of the predetermined target for the determination is to be later than the detection timing of the predetermined target for using the detection result of the predetermined target in the determining step. And a control step of.

本発明によれば、撮影して得られた画像に画像処理を行う場合に画像処理の精度が落ちることを抑制することが可能となる。   ADVANTAGE OF THE INVENTION According to this invention, when performing image processing on the image obtained by image | photographing, it becomes possible to suppress that the precision of image processing falls.

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。   The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.

図1は顔検出を行う回路を有する装置の一例として、撮像装置の構成を示したブロック図である。   FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus as an example of an apparatus having a circuit for performing face detection.

図1において、101は、フォーカスレンズ、ズームレンズ、絞り等を含む鏡筒である。102は、メカシャッターや、CCDやCMOSセンサ等に代表される、光電変換により被写体光学像を電気的な画像信号に変換して出力する撮像素子や、撮像素子から出力されるアナログ画像信号をデジタル画像信号に変換するA/D変換器等を含む撮像部である。112は撮像装置全体を制御するシステムコントローラである。   In FIG. 1, reference numeral 101 denotes a lens barrel including a focus lens, a zoom lens, a diaphragm, and the like. Reference numeral 102 denotes an image sensor that converts a subject optical image into an electrical image signal by photoelectric conversion, represented by a mechanical shutter, a CCD, a CMOS sensor, or the like, and an analog image signal output from the image sensor. An imaging unit including an A / D converter that converts the image signal. A system controller 112 controls the entire imaging apparatus.

111はシステムコントローラ112に対して、操作者が各種の動作指示を入力するためのユーザインタフェースであり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ユーザインタフェース111はシャッターボタンを含み、シャッターボタンの第1ストローク(例えば半押し)によりSW1がONとなり、自動焦点調節(AF)処理、自動露出制御(AE)処理、フラッシュプリ発光(EF)処理等の動作開始が指示される。更に、SW1のONを経て、シャッターボタンの第2ストローク(例えば全押し)によりSW2がONとなり、露光処理、現像処理、及び記録処理からなる一連の本撮影の開始が指示される。   Reference numeral 111 denotes a user interface for an operator to input various operation instructions to the system controller 112. The user interface 111 includes a single switch or a combination of a plurality of switches, dials, touch panels, pointing by eye-gaze detection, voice recognition devices, and the like. The The user interface 111 includes a shutter button, and SW1 is turned on by a first stroke (for example, half-press) of the shutter button, and automatic focus adjustment (AF) processing, automatic exposure control (AE) processing, flash pre-flash (EF) processing, and the like. Is started. Further, after SW1 is turned on, SW2 is turned on by a second stroke (for example, full press) of the shutter button, and an instruction to start a series of main photographing including exposure processing, development processing, and recording processing is given.

ユーザによりユーザインタフェース111に含まれるシャッターボタンを介して撮影が指示されると、システムコントローラ112は、鏡筒101のレンズ位置や絞りを制御する。更に、撮像部102のメカシャッター及び撮像素子、さらにフラッシュ撮影を行う際には発光部105を制御して、撮影を行う。撮影が行われると、撮像部102から画像信号が出力され、バッファメモリ103に一旦蓄えられる。その後、信号処理回路104によって画像生成用の信号処理(画像処理)がなされてYUV画像データが生成され、再びバッファメモリ103に記憶される。信号処理回路104は、信号処理(画像処理)の1つとして、ホワイトバランス(WB)補正も行う。   When shooting is instructed by the user via the shutter button included in the user interface 111, the system controller 112 controls the lens position and the aperture of the lens barrel 101. Further, the mechanical shutter and the image sensor of the image capturing unit 102 and the light emitting unit 105 are controlled when performing flash photographing, and photographing is performed. When shooting is performed, an image signal is output from the imaging unit 102 and temporarily stored in the buffer memory 103. Thereafter, signal processing (image processing) for image generation is performed by the signal processing circuit 104 to generate YUV image data, which is stored in the buffer memory 103 again. The signal processing circuit 104 also performs white balance (WB) correction as one of signal processing (image processing).

上述したようにして生成されたYUV画像データは、バッファメモリ103から読み出され、圧縮・伸長回路106に送られて、例えば、JPEGファイルに画像圧縮される。そして、記録・読み出し回路107によって記録媒体108に記録される。   The YUV image data generated as described above is read from the buffer memory 103, sent to the compression / decompression circuit 106, and is compressed into, for example, a JPEG file. Then, the data is recorded on the recording medium 108 by the recording / reading circuit 107.

更に、バッファメモリ103に蓄えられたYUV画像データは、不図示のD/A変換器によりアナログ信号に変換され、LCD等の表示器109に表示される。予め決められた周期で撮像部102により撮像し、バッファメモリ103に一時記憶された画像データを、表示器109に逐次表示することで、電子ビューファインダー(EVF)機能を実現することができる。   Further, the YUV image data stored in the buffer memory 103 is converted into an analog signal by a D / A converter (not shown) and displayed on a display 109 such as an LCD. An electronic viewfinder (EVF) function can be realized by sequentially displaying the image data picked up by the image pickup unit 102 at a predetermined cycle and temporarily stored in the buffer memory 103 on the display device 109.

また、顔検出を行う場合には、顔検出領域決定部122は、システムコントローラ112より撮像装置の動作状態がEVF動作中であるか、SW1がONの状態であるか、SW2がONされた後か、の情報を受け取る。そして、顔検出の精度と顔検出の対象領域を判断して顔検出領域を決定し、画像リサイズ処理部120に出力する。バッファメモリ103に蓄えられたYUV画像データは、画像リサイズ処理部120によって顔位置検出部121で顔検出が可能なサイズに合わせてリサイズされる。本実施の形態においてはQVGAサイズにリサイズを行い、顔位置検出部121によって顔検出が行われる。   When performing face detection, the face detection area determination unit 122 determines whether the operation state of the imaging apparatus is the EVF operation, the SW1 is on, or the SW2 is turned on by the system controller 112. Or receive information. The face detection area is determined by judging the face detection accuracy and the face detection target area, and outputs the face detection area to the image resizing processing unit 120. The YUV image data stored in the buffer memory 103 is resized by the image resizing processing unit 120 in accordance with a size that allows the face position detecting unit 121 to detect the face. In the present embodiment, resizing is performed to the QVGA size, and face detection is performed by the face position detection unit 121.

顔位置検出部121によって顔領域が検出されると、検出された顔領域の画像における座標位置や大きさ、さらには目の位置や目の大きさを算出し、座標値を出力する。123は、顔検出パラメータを決定する顔検出設定決定部である。顔検出パラメータとしては、例えば、肌色領域を検出する際の色相・輝度の範囲、目などの特徴点のパターンマッチングをさせる際の大きさの範囲や形状の類似度の閾値がある。他にも、目・口・鼻など、特徴点間の位置関係や距離などの閾値、基準パターンを切り替えるために用いられる画像解像度などがあげられる。   When a face area is detected by the face position detection unit 121, the coordinate position and size of the detected face area image, and further the eye position and eye size are calculated, and the coordinate value is output. Reference numeral 123 denotes a face detection setting determination unit that determines face detection parameters. The face detection parameters include, for example, a hue / luminance range when detecting a skin color region, a size range when performing pattern matching of feature points such as eyes, and a shape similarity threshold. Other examples include threshold values such as the positional relationship and distance between feature points such as eyes, mouth, and nose, and image resolution used for switching the reference pattern.

なお、上述した各構成の内、なお顔位置検出部121は検出手段の一例であり、人の顔を検出の対象とした場合の構成である。また、顔検出領域決定部122、顔検出設定決定部123が、システムコントローラと共に制御手段を構成する。画像リサイズ処理部120は、顔検出領域決定部122の制御に基づいてYVF画像データを顔検出用のリサイズするため、検出手段の一部を構成することになる。   Of the above-described configurations, the face position detection unit 121 is an example of a detection unit, and is a configuration when a human face is a detection target. Further, the face detection area determination unit 122 and the face detection setting determination unit 123 constitute a control unit together with the system controller. The image resizing processing unit 120 constitutes a part of detection means for resizing the YVF image data for face detection based on the control of the face detection area determination unit 122.

<第1の実施形態>
次に、上記構成を有する撮像装置における第1の実施形態の処理について説明する。
<First Embodiment>
Next, the process of the first embodiment in the imaging apparatus having the above configuration will be described.

図2は、本第1の実施形態におけるEVF動作中の顔検出処理を示すフローチャートである。なお、EVF動作は、ユーザインタフェース111により撮像モードが設定されると共に、EVF動作を行うように設定されている場合に実施される。   FIG. 2 is a flowchart showing face detection processing during EVF operation in the first embodiment. The EVF operation is performed when the imaging mode is set by the user interface 111 and the EVF operation is set to be performed.

EVF用の画像(以下、EVF画像)は、一般的に、撮像装置に備え付けられた表示器109に表示可能なサイズ程度の画像であり、ここではQVGAサイズ(320x240画素)の画像とする。   An image for EVF (hereinafter referred to as an EVF image) is generally an image of a size that can be displayed on the display 109 provided in the imaging apparatus, and is an image of QVGA size (320 × 240 pixels) here.

EVF動作中、ステップS101において、撮像装置の操作者により、例えば再生モード等の他のモードへの移行やSW1のON操作(第1の操作)が行われたかどうかを判断する。SW1のON操作または他のモードへの切り替えが検出されると、SW1のON操作であれば後述する図3の処理に進み、他のモードへの切り替えであれば、ステップS107で切り替えられたモードに移行し、EVF動作中の顔検出処理を終了する。一方、ステップS101の判断でNOであればステップS102に進み、撮像部102から取得され、バッファメモリ103に蓄積されているEVF用の画像(EVF画像)を取得する。   During the EVF operation, in step S101, it is determined whether the operator of the imaging apparatus has performed a transition to another mode such as a playback mode or an ON operation (first operation) of SW1. When the SW1 ON operation or switching to another mode is detected, if the SW1 ON operation is detected, the process proceeds to the processing of FIG. 3 described later. If the switching is to another mode, the mode switched in step S107 is performed. The face detection process during the EVF operation is terminated. On the other hand, if the determination in step S101 is NO, the process proceeds to step S102, and an EVF image (EVF image) acquired from the imaging unit 102 and accumulated in the buffer memory 103 is acquired.

ステップS103において、EVF用の顔検出領域(第1の領域)を顔検出領域決定部122より、また、顔検出パラメータを顔検出設定決定部123より取得し、ステップS104にて顔位置検出部121を用いて顔検出を行う。ここで、顔検出領域のサイズをEVF画像のサイズと同じQVGAサイズとすることで、リサイズ処理の必要を無くすることができる。なお、サイズが異なる場合には、リサイズ処理が必要となることはいうまでもない。   In step S103, the EVF face detection area (first area) is acquired from the face detection area determination unit 122, and the face detection parameter is acquired from the face detection setting determination unit 123. In step S104, the face position detection unit 121 is acquired. Face detection using. Here, the size of the face detection area is set to the same QVGA size as that of the EVF image, thereby eliminating the need for resizing processing. Needless to say, resizing processing is required when the sizes are different.

ステップS104では、顔検出パラメータを用いて顔検出領域に相当する画像信号について顔検出処理を行う。顔が検出されなかった場合には(ステップS105でNO)ステップS101に戻り、上述した処理を繰り返す。顔が検出された場合は(ステップS105でYES)、ステップS106で、検出された顔の位置、大きさ、画素値等の情報を含む顔検出結果をシステムコントローラ112に通知してから、ステップS101に戻る。システムコントローラ112では、新たに顔検出結果が通知される度に、顔検出結果の更新を行う。なお、顔検出処理は、周期的に取得されたEVF画像全てに対して行う必要はなく、例えば、予め設定された時間間隔で行うようにしたり、ステップS105までの処理が終了する毎に新たに取得したEVF画像に対して行うようにしても良い。   In step S104, face detection processing is performed on the image signal corresponding to the face detection region using the face detection parameter. If no face is detected (NO in step S105), the process returns to step S101 and the above-described processing is repeated. If a face is detected (YES in step S105), in step S106, the system controller 112 is notified of the face detection result including information such as the detected face position, size, and pixel value, and then in step S101. Return to. The system controller 112 updates the face detection result every time a new face detection result is notified. Note that the face detection process does not have to be performed on all periodically acquired EVF images. For example, the face detection process is performed at a preset time interval or newly performed every time the process up to step S105 ends. You may make it perform with respect to the acquired EVF image.

EVF画像のサイズ(例えば、QVGAサイズ)で顔検出を行う場合、解像度が低いために顔検出処理の速度を速くすることが可能となるが、精度は下がる。   When face detection is performed with the size of the EVF image (for example, QVGA size), since the resolution is low, the speed of the face detection process can be increased, but the accuracy is lowered.

図3は本第1の実施形態におけるSW1がONされた場合の撮影シーケンスを示すフローチャートである。なお、図3に示す処理はSW1またはSW1を介してSW2がONされている場合に実行され、SW1がOFFされると、図2に示すEVF動作に戻る。   FIG. 3 is a flowchart showing a photographing sequence when SW1 is turned on in the first embodiment. 3 is executed when SW2 is turned on via SW1 or SW1, and when SW1 is turned off, the EVF operation shown in FIG. 2 is resumed.

SW1のON後は、EVF動作時よりも高解像度で画像の取得を行うことで、EVF動作時と比較してより高精細な画像を基に顔検出を行う。本実施の形態ではSW1のON後の画像は、VGAサイズ(640×480画素)で取得されるものとする。   After SW1 is turned on, an image is acquired with a higher resolution than during EVF operation, so that face detection is performed based on a higher definition image than during EVF operation. In the present embodiment, it is assumed that the image after SW1 is turned on is acquired in the VGA size (640 × 480 pixels).

SW1がONされると、ステップS201で、EVF動作時に顔が検出されているかどうかを判断する。検出されている場合、ステップS202においてシステムコントローラ112に記憶されている顔領域に対して重点的にAFを行う。例えば、フォーカスレンズを動作させながら顔領域のみのコントラストが最大になるフォーカスレンズ位置の検出を行う。更に、ステップS203において、検出された顔領域に対して重点的にAE動作を行い、露出を決定する。   When SW1 is turned on, it is determined in step S201 whether a face is detected during the EVF operation. If it has been detected, AF is focused on the face area stored in the system controller 112 in step S202. For example, the focus lens position at which the contrast of only the face area is maximized is detected while operating the focus lens. Further, in step S203, an AE operation is focused on the detected face area to determine exposure.

また顔が検出されていない場合には、ステップS204において一般的なAF動作、例えば、フォーカスレンズを動作させながら画像全域におけるコントラスト値が最も高くなるフォーカスレンズ位置を検出する動作を行う。更に、ステップS205において通常のAE動作(例えば、中央重点評価測光によるAE動作)を行う。   If no face is detected, a general AF operation is performed in step S204, for example, an operation for detecting the focus lens position where the contrast value is highest in the entire image while operating the focus lens. In step S205, a normal AE operation (for example, an AE operation based on center-weighted evaluation metering) is performed.

図4(a)は中央重点評価測光時の測光領域(太枠で示す)及びその際にAE計算で用いられる重みの例を示し、図4(b)は顔評価測光時の測光領域(太枠で示す)及びその際にAE計算で用いられる重みの例を示す図である。   FIG. 4A shows an example of a metering area (shown by a thick frame) at the time of center-weighted evaluation metering and the weight used in the AE calculation at that time, and FIG. It is a figure which shows the example of the weight used by AE calculation in that).

ステップS206では、EVF動作時または、SW1のON後で且つ以前に行った顔検出結果から、顔検出を行う対象となる顔検出領域(第2の領域)およびパラメータを決定する。そして、ステップS207で、決定されたパラメータを用いて、顔検出領域に相当する画像信号に対して顔検出処理を行う。   In step S206, a face detection area (second area) and parameters to be subjected to face detection are determined from the face detection result that was previously performed during the EVF operation or after SW1 is turned on. In step S207, face detection processing is performed on the image signal corresponding to the face detection area using the determined parameters.

上述したように、本実施の形態では顔検出はQVGAサイズで行う。ここで、SW1のON後の画像サイズはVGAサイズであるため、取得した画像に対して画像リサイズ処理部120でリサイズ処理およびトリミング(抽出)処理を行ってから顔位置検出部121に入力する。その際、SW1のON後の画像をそのまま320×240画像に低解像度化するのではなく、前回検出した顔位置情報をもとにトリミングを行って、より詳細な位置での顔検出を行うようにする。   As described above, in this embodiment, face detection is performed in the QVGA size. Here, since the image size after SW1 is turned on is the VGA size, the image resizing processing unit 120 performs resizing processing and trimming (extraction) processing on the acquired image, and inputs the result to the face position detecting unit 121. At that time, instead of reducing the resolution of the SW1 ON image to the 320 × 240 image as it is, trimming is performed based on the previously detected face position information to detect the face at a more detailed position. To.

また顔検出パラメータも同様に、トリミング位置およびリサイズ処理と画像入力解像度に合わせて設定することで、より高精度な顔検出を行うことが可能となる。本第1の実施形態では2倍の解像度の顔検出が可能となり、顔検出の位置精度も2倍程度の向上が見込まれる。例えば、目を探す顔検出方法の場合は、テンプレートのサイズを2倍の大きさにして類似度を検出することで精度向上が可能である。   Similarly, the face detection parameters can be set in accordance with the trimming position, the resizing process, and the image input resolution, so that more accurate face detection can be performed. In the first embodiment, face detection with double resolution is possible, and the positional accuracy of face detection is expected to be improved by about twice. For example, in the case of a face detection method for searching for eyes, the accuracy can be improved by detecting the similarity by making the size of the template twice.

ステップS207における顔検出結果はシステムコントローラ112に通知され、システムコントローラ112は、新たに顔検出結果が通知される度に、顔検出結果を更新する。このように、顔検出結果を更新することで、SW1のON後においても最新の顔検出結果を次の顔検出処理に利用することが可能となる。これにより、SW1のON時間が長い場合や、SW1のON時に大きく画角が変更された場合にも、より正確に顔領域を検出することが可能となる。   The face detection result in step S207 is notified to the system controller 112, and the system controller 112 updates the face detection result every time a new face detection result is notified. Thus, by updating the face detection result, the latest face detection result can be used for the next face detection processing even after SW1 is turned on. As a result, the face area can be detected more accurately even when the ON time of SW1 is long or when the angle of view is greatly changed when SW1 is ON.

ステップS208では、撮像装置の操作者により、SW2がON操作(第2の操作)されたかどうかを判断し、OFFの場合にはステップS206に戻る。SW2がON操作されるとステップS209に進んで、静止画の本撮影を行う。本撮影後はステップS210において最新の顔検出結果を利用して、顔領域が検出されていれば、顔領域の色が最適になるようなホワイトバランス係数を演算する。なお、ステップS210におけるホワイトバランス係数の演算方法については、図5のフローチャートを参照して詳細に後述する。   In step S208, it is determined whether or not SW2 has been turned ON (second operation) by the operator of the imaging apparatus. If it is OFF, the process returns to step S206. When SW2 is turned on, the process proceeds to step S209 to perform actual shooting of a still image. After the actual photographing, in step S210, the latest face detection result is used to calculate a white balance coefficient that optimizes the color of the face area if the face area is detected. The white balance coefficient calculation method in step S210 will be described later in detail with reference to the flowchart of FIG.

ステップS211では、ステップS210で演算したホワイトバランス係数や、その他の画像処理パラメータを用いて信号処理を行い、ステップS212で処理した画像を記録し、図2のステップS101に戻る。   In step S211, signal processing is performed using the white balance coefficient calculated in step S210 and other image processing parameters, the image processed in step S212 is recorded, and the process returns to step S101 in FIG.

ステップS211で行うホワイトバランス処理としては、顔領域を用いて、例えば、特開平11−262029号公報や、特開2003−333616号公報等に記載されているホワイトバランス補正方法を用いることができる。勿論、ホワイトバランス補正方法はこれらに限るものではなく、他の公知の方法を用いても良いことは言うまでもない。   As the white balance processing performed in step S211, a white balance correction method described in, for example, Japanese Patent Application Laid-Open Nos. 11-262029 and 2003-333616 can be used using a face region. Of course, the white balance correction method is not limited to these, and other known methods may be used.

次に、ステップS207で行われるホワイトバランス係数の演算処理の一例について図5のフローチャートを参照して説明する。   Next, an example of white balance coefficient calculation processing performed in step S207 will be described with reference to the flowchart of FIG.

ステップS301では、ステップS209における本撮影で得られた画像から、顔領域を利用しない通常の手法を用いてホワイトバランス係数(以下、「通常WB係数」と呼ぶ。)を算出する。この手法については、例えば、特開平11−262029号公報に記載された方法を用いることができるため、詳細な説明は省略する。   In step S301, a white balance coefficient (hereinafter, referred to as “normal WB coefficient”) is calculated from the image obtained by the main photographing in step S209 using a normal method that does not use a face area. For this method, for example, the method described in JP-A-11-262029 can be used, and thus detailed description thereof is omitted.

ステップS302では、システムコントローラ112に記憶された顔検出結果から顔が検出されたかどうか判別を行い、顔が検出されなかった場合には、ステップS308にてステップS301で算出した通常WB係数を出力し、処理を終了する。一方、顔が検出がされている場合には、ステップS303において顔検出領域の画像信号の平均値を求めることにより、色評価値を取得する。更に、ステップS304で通常WB係数をステップS303で求めた色評価値に乗じて、WB係数乗算後の顔領域の色評価値を算出する(以下、「肌色評価値」と呼ぶ。)。   In step S302, it is determined whether a face is detected from the face detection result stored in the system controller 112. If no face is detected, the normal WB coefficient calculated in step S301 is output in step S308. The process is terminated. On the other hand, if a face has been detected, the color evaluation value is obtained by obtaining the average value of the image signals in the face detection area in step S303. In step S304, the color evaluation value obtained in step S303 is multiplied by the normal WB coefficient to calculate the color evaluation value of the face area after multiplication by the WB coefficient (hereinafter referred to as “skin color evaluation value”).

次に、ステップS305で、ステップS304で出力された肌色評価値と、あらかじめ取得してある基準肌色領域との比較を行う。基準肌色領域は、予め様々な人種や光源において肌色分布を取得し、統計的な処理を行うことで求めることが可能である。   In step S305, the skin color evaluation value output in step S304 is compared with a reference skin color area acquired in advance. The reference skin color region can be obtained by acquiring the skin color distribution in various races and light sources in advance and performing statistical processing.

ステップS306では、ステップS305での比較結果に基づいて通常WB係数の補正量を算出し、この求めた補正量に基づき、ステップS307において補正後のWB係数を算出する。   In step S306, the correction amount of the normal WB coefficient is calculated based on the comparison result in step S305, and the corrected WB coefficient is calculated in step S307 based on the obtained correction amount.

以下、顔領域のホワイトバランス係数を演算する手法について、数式および具体的な例により詳細に説明を行う。   Hereinafter, a method of calculating the white balance coefficient of the face area will be described in detail with mathematical expressions and specific examples.

撮像部102の撮像素子が図6に示すベイヤー配列のカラーフィルタにより覆われている場合に、撮像素子の各画素から出力されるカラーフィルタの各色に対応した値をR、G1、G2、Bとする。このときに、カラーフィルタの色に対応した顔領域からの平均値をRave、G1ave、G2ave、Baveとし、また、各色の通常WB係数をWBR、WBG1、WBG2、WBBとする。   When the image pickup device of the image pickup unit 102 is covered with the color filters of the Bayer array shown in FIG. 6, values corresponding to the colors of the color filters output from the pixels of the image pickup device are R, G1, G2, and B. To do. At this time, the average value from the face area corresponding to the color of the color filter is Rave, G1ave, G2ave, and Bave, and the normal WB coefficient of each color is WBR, WBG1, WBG2, and WBB.

また、ステップS301で求めた通常WB係数をステップS303で取得した顔領域の色評価値に乗算した後の値である肌色評価値を(Dx,Dy)とすると(ステップS304)、下記の通り表すことができる。   Further, assuming that the skin color evaluation value obtained by multiplying the normal WB coefficient obtained in step S301 by the color evaluation value of the face area acquired in step S303 is (Dx, Dy) (step S304), it is expressed as follows. be able to.

先ず、G1’、R’、B’、G2’を
G1’=G1ave ×WBG1
R’=Rave ×WBR
B’=Bave ×WBB
G2’=G2ave ×WBG2
First, G1 ′, R ′, B ′, and G2 ′ are set to G1 ′ = G1ave × WBG1
R '= Rave x WBR
B '= Bave x WBB
G2 '= G2ave x WBG2

とすると、Dx、Dyは
Dx=(R’−B’)/Y
Dy=(R’−B’−2G’)/Y
Y=(R’+G1’+G2’+B’)/4
となる。
あらかじめ、様々な人種や光源について肌色評価値(Dx,Dy)を取得し、肌色分布を取得し、統計的な処理を行うことで、基準肌色領域を求めることができる。
Then, Dx and Dy are Dx = (R′−B ′) / Y
Dy = (R′−B′−2G ′) / Y
Y = (R ′ + G1 ′ + G2 ′ + B ′) / 4
It becomes.
By obtaining skin color evaluation values (Dx, Dy) for various races and light sources in advance, obtaining a skin color distribution, and performing statistical processing, a reference skin color region can be obtained.

図7は、基準肌色領域とそれ以外の領域との領域境界を示す模式図である。図7において、TH_SK1〜TH_SK4は基準肌色領域の領域境界値で、
TH_SK1は基準肌色領域の下限境界値、
TH_SK2は基準肌色領域の上限境界値、
TH_SK3は基準肌色領域の上限境界値、
TH_SK4は基準肌色領域の下限境界値
FIG. 7 is a schematic diagram showing a region boundary between a reference skin color region and other regions. In FIG. 7, TH_SK1 to TH_SK4 are region boundary values of the reference skin color region.
TH_SK1 is the lower boundary value of the reference skin color area,
TH_SK2 is the upper boundary value of the reference skin color area,
TH_SK3 is the upper boundary value of the reference skin color area,
TH_SK4 is the lower boundary value of the standard skin color area

である。算出された肌色評価値Dx,Dyが図7に示す位置にある場合、基準肌色領域との比較結果は下記のとおり表現できる(ステップS305)。
ΔDx=Dx−TH_SK1
ΔDy=Dy−TH_SK4
つまり、ΔDxおよびΔDyの値が補正すべき顔色領域からの補正値となる(ステップS306)。もちろん、肌色評価値が基準肌色領域内にあるときには、補正は行わない。
It is. When the calculated skin color evaluation values Dx and Dy are at the positions shown in FIG. 7, the comparison result with the reference skin color region can be expressed as follows (step S305).
ΔDx = Dx−TH_SK1
ΔDy = Dy−TH_SK4
That is, the values of ΔDx and ΔDy are correction values from the face color area to be corrected (step S306). Of course, when the skin color evaluation value is within the reference skin color region, no correction is performed.

またWB係数は、下式で示すようにWB係数自体の評価値として2つの値として表現できる。
R_s =(1024 / WBR)×1024
G1_s =(1024 / WBG1)×1024
G2_s =(1024 / WBG2)×1024
B_s =(1024 / WBB0×1024
The WB coefficient can be expressed as two values as evaluation values of the WB coefficient itself as shown in the following equation.
R_s = (1024 / WBR) x 1024
G1_s = (1024 / WBG1) x 1024
G2_s = (1024 / WBG2) x 1024
B_s = (1024 / WBB0 x 1024

とすると、
Cx= {(R_s − B_s) /Y1}×1024
Cy= {(R_s+B_s−G1_s−G2_s) /Y1}×1024
ただし、Y1=(R_s +G1_s +G2_s +B_s) /4
次に、上述したようにして算出されたΔDxとΔDyの値から、新たに算出するWB係数に対応した評価値Cx’,Cy’は、下記のとおり算出される。
Cx’=Cx+ΔDx
Cy’=Cy+ΔDy
Then,
Cx = {(R_s − B_s) / Y1} × 1024
Cy = {(R_s + B_s−G1_s−G2_s) / Y1} × 1024
However, Y1 = (R_s + G1_s + G2_s + B_s) / 4
Next, evaluation values Cx ′ and Cy ′ corresponding to the newly calculated WB coefficient are calculated as follows from the values of ΔDx and ΔDy calculated as described above.
Cx ′ = Cx + ΔDx
Cy '= Cy + ΔDy

補正後のWB係数評価値Cx’、Cy’から、顔領域をWB補正するためのWB係数(WBR_f,WBG1_f,WBG2_f,WBB_f)は、下記のようにして算出方法することができる(ステップS307)。
A = (1024 − Cy'/4) /1024
B = (1024 + Cx'/2 +Cy/4) /1024
C = (1024 − Cx'/2 +Cy/4) /1024
D = (1024 − Cy'/4) /1024
Y2 = (A +B +C +D) /4
From the corrected WB coefficient evaluation values Cx ′ and Cy ′, WB coefficients (WBR_f, WBG1_f, WBG2_f, and WBB_f) for WB correction of the face area can be calculated as follows (step S307). .
A = (1024 − Cy '/ 4) / 1024
B = (1024 + Cx '/ 2 + Cy / 4) / 1024
C = (1024 − Cx '/ 2 + Cy / 4) / 1024
D = (1024 − Cy '/ 4) / 1024
Y2 = (A + B + C + D) / 4

とし、
G1_c = Y2 × 1024 /A
R_c = Y2 × 1024 /B
B_c = Y2 × 1024 /C
G2_c = Y2 × 1024 /D
Y3_c = (G1+R+B+G2) /4
とすると、
WBR_f = 1024 × R_c /Y3
WBG1_f = 1024 × G1_c /Y3
WBG2_f = 1024 × G2_c /Y3
WBB_f = 1024 × B_c /Y3
以上のようにすることで、顔領域のWB補正用のWB係数を求めることができる。
age,
G1_c = Y2 × 1024 / A
R_c = Y2 × 1024 / B
B_c = Y2 × 1024 / C
G2_c = Y2 × 1024 / D
Y3_c = (G1 + R + B + G2) / 4
Then,
WBR_f = 1024 × R_c / Y3
WBG1_f = 1024 × G1_c / Y3
WBG2_f = 1024 × G2_c / Y3
WBB_f = 1024 × B_c / Y3
By doing so, the WB coefficient for WB correction of the face area can be obtained.

上記の通り本第1の実施形態によれば、AF処理とAE処理のような、撮影条件を決定する処理と、本撮影で得られた画像に対するWB処理とで、異なるタイミングで別々に処理を行う。これにより、それぞれの処理に適した精度および速度で顔検出を行うことが可能となる。   As described above, according to the first embodiment, processing for determining shooting conditions such as AF processing and AE processing and WB processing for an image obtained by main shooting are performed separately at different timings. Do. Thus, face detection can be performed with accuracy and speed suitable for each processing.

なお、上記第1の実施形態においては、撮影条件としてAF処理とAE処理の両方を行うものとして説明したが、必ずしも両方行う必要はない。また、検出精度の高い顔処理結果を利用する処理はWB処理に限るものではなく、例えば、個人を特定する処理など、他の処理に利用しても良いことは言うまでもない。   In the first embodiment, it has been described that both the AF process and the AE process are performed as imaging conditions. However, it is not always necessary to perform both. Further, the process using the face processing result with high detection accuracy is not limited to the WB process, and it goes without saying that the process may be used for other processes such as a process for specifying an individual.

<第2の実施形態>
上記第1の実施形態においては、図3に示すSW1のON後の処理において、本撮影時に顔検出を行わない場合について説明したが、本撮影時にも顔検出を行うようにしても構わない。
<Second Embodiment>
In the first embodiment, the case where face detection is not performed during main photographing in the processing after turning on SW1 shown in FIG. 3 has been described. However, face detection may also be performed during main photographing.

図8は、本第2の実施形態における、本撮影時にも顔検出を行う場合の処理を示すフローチャートである。なお、図8に示す処理において、図3と同じ処理には同じステップ番号を付して説明を省略する。   FIG. 8 is a flowchart showing processing in the case where face detection is performed even during actual photographing in the second embodiment. In the process shown in FIG. 8, the same step numbers are assigned to the same processes as in FIG.

図3に示す処理と異なるのは、SW2がONされた後においても顔検出を行う点である。この場合においても、SW1のON時と同様に、ステップS221において、システムコントローラ112に記憶された直近の顔検出結果をもとに、顔領域のトリミング及びリサイズ処理位置と顔検出パラメータを変更する。そして、ステップS222において、本撮影により得られた画像のうち、変更したパラメータなどを用いて、トリミングされた顔領域に対して顔検出処理を行う。このようにすることで、より高精細に顔検出を行うことが可能となる。   The difference from the processing shown in FIG. 3 is that face detection is performed even after SW2 is turned on. Also in this case, similarly to when SW1 is turned on, in step S221, based on the latest face detection result stored in the system controller 112, the face area trimming and resizing processing position and the face detection parameter are changed. In step S222, face detection processing is performed on the trimmed face area using the changed parameter or the like in the image obtained by the main photographing. By doing in this way, it becomes possible to perform face detection with higher definition.

特に本撮影で得られる画像はEVF時やSW1のON時に得られる画像と比較して高精細であるため、顔検出を行う顔領域がある程度特定されていることは、処理速度と顔検出位置精度を高める上で非常に有効である。   In particular, since the image obtained by the actual photographing is higher in definition than the image obtained at the time of EVF or when SW1 is turned on, the face area for performing face detection is specified to some extent. It is very effective in increasing

なお、本撮影で得られた画像に対して顔検出を行う場合には、ステップS206及びステップS207の処理を省略することも可能である。   Note that when face detection is performed on an image obtained by actual shooting, the processing in steps S206 and S207 may be omitted.

なお、上記第1及び第2の実施形態では、顔領域を検出する場合について説明したが、本発明は顔に限るものではなく、所定の対象を検出するように構成しても構わない。   In the first and second embodiments, the case where a face area is detected has been described. However, the present invention is not limited to a face, and may be configured to detect a predetermined target.

更に、上記第1及び第2の実施形態では、撮像モードにおいてEVF動作を行っている場合について説明したが、EVF動作を行わず、不図示の光学ファインダを利用してしている場合には、SW1がONされた後、以下の処理を行う様にすればよい。即ち、図3または図8の処理において、SW1のON後、先ず、EVF動作時と同程度の解像度の画像を撮像し、EVF動作時と同様にして顔検出を行う。そして、顔が検出されれば、ステップS202に進み、検出されなければ、ステップS204に進む。このようにすることで、光学ファインダを利用する場合にも、本発明を適用することができる。   Further, in the first and second embodiments, the case where the EVF operation is performed in the imaging mode has been described. However, when the EVF operation is not performed and an optical finder (not shown) is used, After SW1 is turned on, the following processing may be performed. That is, in the process of FIG. 3 or FIG. 8, after SW1 is turned on, first, an image having the same resolution as that in the EVF operation is taken, and face detection is performed in the same manner as in the EVF operation. If a face is detected, the process proceeds to step S202, and if not detected, the process proceeds to step S204. In this way, the present invention can be applied even when an optical finder is used.

本発明の実施の形態における撮像装置の概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an imaging apparatus according to an embodiment of the present invention. 本発明の第1の実施形態におけるEVF動作時の顔検出手順を示すフローチャートである。It is a flowchart which shows the face detection procedure at the time of EVF operation | movement in the 1st Embodiment of this invention. 本発明の第1の実施形態におけるSW1のON後の顔検出を含む撮影手順を示すフローチャートである。It is a flowchart which shows the imaging | photography procedure including the face detection after ON of SW1 in the 1st Embodiment of this invention. 本発明の第1の実施形態におけるAE動作の差異を説明するための図である。It is a figure for demonstrating the difference of AE operation | movement in the 1st Embodiment of this invention. 本発明の第1の実施形態におけるホワイトバランス係数の演算処理を示すフローチャートである。It is a flowchart which shows the calculation process of the white balance coefficient in the 1st Embodiment of this invention. 本発明の第1の実施形態におけるカラーフィルタの配列を示す模式図である。It is a schematic diagram which shows the arrangement | sequence of the color filter in the 1st Embodiment of this invention. 本発明の第1の実施形態における顔領域に用いるホワイトバランス係数の演算方法を説明するための図である。It is a figure for demonstrating the calculation method of the white balance coefficient used for the face area | region in the 1st Embodiment of this invention. 本発明の第2の実施形態におけるSW1のON後の顔検出を含む撮影手順を示すフローチャートである。It is a flowchart which shows the imaging | photography procedure including the face detection after ON of SW1 in the 2nd Embodiment of this invention. 従来の顔検出方法を説明するためのフローチャートである。It is a flowchart for demonstrating the conventional face detection method. 従来の顔認識方法を説明する図である。It is a figure explaining the conventional face recognition method. CIELab色空間における代表的な色度図である。It is a typical chromaticity diagram in the CIELab color space. 従来の顔検出で用いられるハイパスフィルタの例を示す図である。It is a figure which shows the example of the high pass filter used by the conventional face detection.

符号の説明Explanation of symbols

101 鏡筒
102 撮像部
103 バッファメモリ
104 信号処理回路
105 発光部
106 圧縮・伸長回路
107 記録・読み出し回路
108 記録媒体
109 表示器
111 ユーザインターフェース
112 システムコントローラ
120 画像リサイズ処理手部
121 顔位置検出部
122 顔検出領域決定部
123 顔検出設定決定部
DESCRIPTION OF SYMBOLS 101 Lens tube 102 Image pick-up part 103 Buffer memory 104 Signal processing circuit 105 Light emission part 106 Compression / decompression circuit 107 Recording / reading circuit 108 Recording medium 109 Display 111 User interface 112 System controller 120 Image resizing process hand part 121 Face position detection part 122 Face detection area determination unit 123 Face detection setting determination unit

Claims (12)

被写体を撮影して電気的な画像信号を出力する撮像手段と、
前記撮像手段から出力された画像信号から所定の対象を検出する検出手段と、
前記検出手段による前記所定の対象の検出結果を用いて、撮影に用いる撮影条件を決定する決定手段と、
前記決定手段により決定された撮影条件を用いて前記撮像手段により撮影して得られた画像信号に対して、前記検出手段による前記所定の対象の検出結果を用いて、画像処理を行う画像処理手段と、
前記画像処理手段が前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングを、前記決定手段が前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングよりも後になるように制御する制御手段と
を有することを特徴とする撮像装置。
Imaging means for photographing a subject and outputting an electrical image signal;
Detecting means for detecting a predetermined target from the image signal output from the imaging means;
A determination unit that determines a shooting condition to be used for shooting using the detection result of the predetermined object by the detection unit;
Image processing means for performing image processing on the image signal obtained by photographing with the imaging means using the photographing condition determined by the determining means, using the detection result of the predetermined target by the detecting means. When,
The detection timing of the predetermined object for the image processing means to use the detection result of the predetermined object, and the detection timing of the predetermined object for the determination means to use the detection result of the predetermined object. An image pickup apparatus comprising: a control unit configured to perform control later.
前記制御手段は、前記所定の対象の検出結果を前記決定手段で用いる場合に、前記画像処理手段で用いる場合よりも、解像度の低い前記画像信号を用いて前記所定の対象を検出するように前記検出手段を制御することを特徴とする請求項1に記載の撮像装置。   The control means detects the predetermined object using the image signal having a lower resolution when the detection result of the predetermined object is used by the determining means than when the detection result is used by the image processing means. The image pickup apparatus according to claim 1, wherein the detection unit is controlled. 前記制御手段は、前記所定の対象の検出結果を前記画像処理手段で用いる場合に、前記決定手段で用いる場合よりも、解像度の高い前記画像信号を用いて前記所定の対象を検出するように前記検出手段を制御することを特徴とする請求項1に記載の撮像装置。   When the detection result of the predetermined object is used by the image processing means, the control means detects the predetermined object using the image signal having a higher resolution than when the determination means uses the detection result. The image pickup apparatus according to claim 1, wherein the detection unit is controlled. 前記制御手段は、前記所定の対象の検出結果を前記画像処理手段で用いる場合に、直近の前記所定の対象の検出結果を利用して、前記画像信号の内、前記検出手段が検出処理を行う検出の対象領域の画像信号を抽出し、
前記検出手段は前記抽出された検出の対象領域の画像信号について検出を行うことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
When the detection result of the predetermined object is used in the image processing means, the control means uses the detection result of the most recent predetermined object, and the detection means performs a detection process among the image signals. Extract the image signal of the detection target area,
The imaging apparatus according to claim 1, wherein the detection unit detects an image signal of the extracted detection target region.
前記制御手段は、前記所定の対象の検出結果を前記画像処理手段で用いる場合に、前記決定手段で用いる場合よりも検出精度が高くなる検出パラメータを前記検出手段に設定することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。   The control means, when using the detection result of the predetermined object in the image processing means, sets a detection parameter that has higher detection accuracy than that used in the determination means in the detection means. Item 5. The imaging device according to any one of Items 1 to 4. 前記決定手段は、操作者による第1の操作に応じて、前記所定の対象の検出結果を用いて撮影に用いる撮影条件を決定し、前記画像処理手段は、前記第1の操作の後の前記操作者による第2の操作に応じて、前記決定手段により決定された撮影条件を用いて前記撮像手段により撮影して得られた画像信号に対して、前記第1の操作から前記第2の操作の間に得られた前記検出手段による前記所定の対象の検出結果を用いて画像処理を行うことを特徴とする請求項1に記載の撮像装置。   The determining unit determines a shooting condition to be used for shooting using a detection result of the predetermined object in response to a first operation by an operator, and the image processing unit is configured to perform the operation after the first operation. In response to the second operation by the operator, the second operation from the first operation to the image signal obtained by the imaging unit using the imaging condition determined by the determination unit. The image pickup apparatus according to claim 1, wherein image processing is performed using a detection result of the predetermined target obtained by the detection unit during the period. 前記決定手段は、操作者による第1の操作に応じて、前記所定の対象の検出結果を用いて撮影に用いる撮影条件を決定し、前記画像処理手段は、前記第1の操作の後の前記操作者による第2の操作に応じて、前記決定手段により決定された撮影条件を用いて前記撮像手段により撮影して得られた画像信号に対して、前記第2の操作の後に得られた前記検出手段による前記所定の対象の検出結果を用いて画像処理を行うことを特徴とする請求項1に記載の撮像装置。   The determining unit determines a shooting condition to be used for shooting using a detection result of the predetermined object in response to a first operation by an operator, and the image processing unit is configured to perform the operation after the first operation. The image signal obtained after the second operation with respect to the image signal obtained by the imaging unit using the imaging condition determined by the determination unit according to the second operation by the operator. The imaging apparatus according to claim 1, wherein image processing is performed using a detection result of the predetermined object by a detection unit. 前記決定手段は、前記撮像手段の第1の領域に相当する画像信号から前記所定の対象を検出した検出結果を用い、前記画像処理手段は、前記撮像手段の第1の領域に相当する画像信号から前記所定の対象を検出した検出結果に基づき、前記撮像手段の前記第1の領域よりも小さい第2の領域に相当する画像信号から前記所定の対象を検出した検出結果を用いることを特徴とする請求項1に記載の撮像装置。   The determining means uses a detection result obtained by detecting the predetermined target from an image signal corresponding to the first area of the imaging means, and the image processing means is an image signal corresponding to the first area of the imaging means. Based on a detection result obtained by detecting the predetermined object from the image, the detection result obtained by detecting the predetermined object from an image signal corresponding to a second area smaller than the first area of the imaging unit is used. The imaging device according to claim 1. 前記撮影条件を決定する処理は、焦点調節処理及び露出制御処理の少なくとも一方を含み、前記画像処理は、ホワイトバランス補正を含むことを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。   9. The process according to claim 1, wherein the process for determining the photographing condition includes at least one of a focus adjustment process and an exposure control process, and the image process includes white balance correction. Imaging device. 前記所定の対象は、人の顔であることを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the predetermined target is a human face. 被写体を撮影して電気的な画像信号を出力する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段により撮影を行う撮像工程と、
前記撮像手段から出力された画像信号から所定の対象を検出する検出工程と、
前記検出工程による前記所定の対象の検出結果を用いて、撮影に用いる撮影条件を決定する決定工程と、
前記決定工程により決定された撮影条件を用いて前記撮像手段により撮影して得られた画像信号に対して、前記検出工程による前記所定の対象の検出結果を用いて、画像処理を行う画像処理工程と、
前記画像処理工程で前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングを、前記決定工程で前記所定の対象の検出結果を用いるための前記所定の対象の検出のタイミングよりも後になるように制御する制御工程と
を有することを特徴とする撮像装置の制御方法。
A method for controlling an imaging apparatus having imaging means for photographing a subject and outputting an electrical image signal,
An imaging step of performing imaging by the imaging means;
A detection step of detecting a predetermined target from the image signal output from the imaging means;
A determination step of determining a shooting condition to be used for shooting, using the detection result of the predetermined object by the detection step;
An image processing step of performing image processing on the image signal obtained by photographing with the imaging means using the photographing condition determined in the determination step, using the detection result of the predetermined target in the detection step. When,
The detection timing of the predetermined object for using the detection result of the predetermined object in the image processing step is based on the detection timing of the predetermined object for using the detection result of the predetermined object in the determination step. And a control step of controlling the image pickup apparatus to come later.
前記撮影条件を決定する処理は、焦点調節処理及び露出制御処理の少なくとも一方を含み、前記画像処理は、ホワイトバランス補正を含むことを特徴とする請求項11に記載の撮像装置の制御方法。   12. The method of controlling an imaging apparatus according to claim 11, wherein the process for determining the photographing condition includes at least one of a focus adjustment process and an exposure control process, and the image process includes white balance correction.
JP2007103303A 2007-04-10 2007-04-10 Imaging apparatus and control method Expired - Fee Related JP4819737B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007103303A JP4819737B2 (en) 2007-04-10 2007-04-10 Imaging apparatus and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007103303A JP4819737B2 (en) 2007-04-10 2007-04-10 Imaging apparatus and control method

Publications (3)

Publication Number Publication Date
JP2008263320A true JP2008263320A (en) 2008-10-30
JP2008263320A5 JP2008263320A5 (en) 2010-05-27
JP4819737B2 JP4819737B2 (en) 2011-11-24

Family

ID=39985501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007103303A Expired - Fee Related JP4819737B2 (en) 2007-04-10 2007-04-10 Imaging apparatus and control method

Country Status (1)

Country Link
JP (1) JP4819737B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318554A (en) * 2004-04-01 2005-11-10 Canon Inc Imaging device, control method thereof, program, and storage medium

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318554A (en) * 2004-04-01 2005-11-10 Canon Inc Imaging device, control method thereof, program, and storage medium

Also Published As

Publication number Publication date
JP4819737B2 (en) 2011-11-24

Similar Documents

Publication Publication Date Title
JP5398156B2 (en) WHITE BALANCE CONTROL DEVICE, ITS CONTROL METHOD, AND IMAGING DEVICE
JP4217698B2 (en) Imaging apparatus and image processing method
US8106961B2 (en) Image processing method, apparatus and computer program product, and imaging apparatus, method and computer program product
JP5089405B2 (en) Image processing apparatus, image processing method, and imaging apparatus
KR101303410B1 (en) Image capture apparatus and image capturing method
US8026932B2 (en) Image processing apparatus, image processing method, image processing program, and image pickup apparatus
JP2009010813A (en) Image processing device and method, and program
KR101728042B1 (en) Digital photographing apparatus and control method thereof
JP2009010616A (en) Imaging device and image output control method
JP4914045B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2007188126A (en) Image brightness calculation device, method, and program
JP5407373B2 (en) Imaging apparatus and program
JP2014179920A (en) Imaging apparatus, control method thereof, program, and storage medium
JP4807582B2 (en) Image processing apparatus, imaging apparatus, and program thereof
JP5569361B2 (en) Imaging apparatus and white balance control method
JP5167236B2 (en) Subject tracking device and control method thereof
JP5414216B2 (en) Imaging apparatus, control method thereof, and program
JP4807623B2 (en) Imaging apparatus, imaging method, and imaging program
JP4632417B2 (en) Imaging apparatus and control method thereof
JP2018107741A (en) Image processing system, image processing method, and program
JP5278483B2 (en) Imaging apparatus, imaging method, and imaging program
JP5160655B2 (en) Image processing apparatus and method, and program
JP2009252069A (en) Image processor, imaging device, image processing method and program
JP2016046610A (en) Imaging apparatus
JP5222429B2 (en) Subject tracking device and control method thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110901

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees