JP2008263478A

JP2008263478A - Imaging apparatus

Info

Publication number: JP2008263478A
Application number: JP2007105567A
Authority: JP
Inventors: Tomokazu Nakamura; 友和中村; Masahiko Sugimoto; 雅彦杉本
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-04-13
Filing date: 2007-04-13
Publication date: 2008-10-30

Abstract

<P>PROBLEM TO BE SOLVED: To provide optimum image quality for an object by using an optimum parameter taking a sight on the object for each image in all images acquired during consecutive photographing, in an imaging apparatus having a consecutive photographing function. <P>SOLUTION: In the imaging apparatus having a consecutive photographic functions, when a prescribed object cannot be detected from image data acquired during consecutive photographing, area information of the object in the acquired image data is estimated from one or more pieces of area information of the object stored immediately prior to this; and a parameter for image processing to be applied to the acquired image data and/or a parameter for imaging control in immediate imaging is calculated, on the basis of the estimated area information of the object. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は撮像装置に関し、特に連写機能を有する撮像装置に関するものである。 The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus having a continuous shooting function.

従来よりデジタルカメラやデジタルビデオカメラ等の撮像装置において、画像データから顔等の対象物を検出し、その対象物の検出結果に基づいて自動露出制御や自動合焦制御等を行って被写体を撮像する撮像方法が知られている。またユーザの所望する撮影画像を取得するために、被写体に対して複数の撮影いわゆる連写を行う連写機能を有する撮像装置も知られている。そこで近年、このような連写機能を有する撮像装置において、顔検出を利用することにより連写により取得される画像の画質を向上させた撮像装置が提案されている。 Conventionally, in an imaging device such as a digital camera or digital video camera, an object such as a face is detected from image data, and the subject is imaged by performing automatic exposure control, automatic focusing control, etc. based on the detection result of the object. An imaging method is known. There is also known an imaging apparatus having a continuous shooting function for performing a plurality of shootings, so-called continuous shooting, on a subject in order to acquire a captured image desired by a user. Therefore, in recent years, an imaging apparatus that improves the image quality of an image acquired by continuous shooting by using face detection has been proposed in an imaging apparatus having such a continuous shooting function.

しかしながら、上記のような撮像装置では、連写により得られた複数の画像において、必ずしも全ての画像から顔が検出できるものではなく、顔が未検出となったときには、被写体中に顔が存在しているにも関わらず、被写体の明るさ（輝度）やピント（合焦位置）、ホワイトバランス等が、顔が存在しないとして設定されてしまう問題があった。 However, in the imaging apparatus as described above, in a plurality of images obtained by continuous shooting, a face cannot always be detected from all images. When a face is not detected, the face exists in the subject. In spite of this, there is a problem that the brightness (luminance), focus (focus position), white balance, etc. of the subject are set as no face exists.

そこで連写中に顔が検出されなかった場合、所定時間内に得られた顔検出結果に基づいて自動露出制御や自動合焦制御等を行う撮像装置が提案されている（特許文献１）。
特開２００６−１５７６１７号公報 In view of this, there has been proposed an imaging apparatus that performs automatic exposure control, automatic focusing control, and the like based on a face detection result obtained within a predetermined time when a face is not detected during continuous shooting (Patent Document 1).
JP 2006-157617 A

しかしながら、特許文献１に記載された上記撮像装置は、所定時間内に得られた顔検出結果つまり顔が未検出であった画像とは異なる時刻に撮像された画像の顔検出結果を使用するため、顔情報の精度が低減してしまう虞がある。また精度を向上させるために未検出であった画像の前後の画像データにおける顔情報を補間処理し算出した顔情報を使用する方法は、連写において少なくとも前後の撮像により得られた画像を記憶してから顔情報を算出するので、算出された顔情報は、撮像後に算出可能な画像処理パラメータの算出に使用することは可能であるが、撮像時には既に決定している必要がある撮像制御パラメータの算出に使用することは困難である。 However, the imaging device described in Patent Document 1 uses a face detection result obtained within a predetermined time, that is, a face detection result of an image captured at a time different from an image in which no face has been detected. The accuracy of face information may be reduced. In addition, the method of using face information calculated by interpolating face information in image data before and after an undetected image in order to improve accuracy stores images obtained by at least front and rear imaging in continuous shooting. Therefore, the calculated face information can be used to calculate image processing parameters that can be calculated after imaging, but the imaging control parameters that must already be determined at the time of imaging are used. It is difficult to use for calculation.

本発明はかかる事情に鑑みてなされたものであり、連写時に取得した画像データにおいて顔等の対象物が検出できないときでも、連写時に取得した全ての画像において、画像毎に対象物に照準の合った最適なパラメータを使用することにより、対象物に対して最適な画質にすることができる撮像装置を提供することを目的とするものである。 The present invention has been made in view of such circumstances, and even when an object such as a face cannot be detected in image data acquired at the time of continuous shooting, the object is aimed at each image in all images acquired at the time of continuous shooting. It is an object of the present invention to provide an imaging apparatus that can achieve an optimum image quality for an object by using optimal parameters that match each other.

本発明の撮像装置は、被写体を撮像して画像データを取得する、連写機能を有する撮像手段と、
画像データから所定の対象物を検出する対象物検出手段と、
対象物検出手段により検出された対象物の画像データにおける領域情報を記憶する記憶手段と、
対象物検出手段が連写中に取得した画像データから対象物を検出できないとき、記憶手段に直前に記憶された１つ以上の対象物の領域情報から、前記取得した画像データにおける対象物の領域情報を推定する対象物領域推定手段と、
推定された対象物の領域情報に基づいて、前記取得した画像データに対して施す画像処理のパラメータ及び／又は直後の撮像における撮像制御のパラメータを算出するパラメータ算出手段とを備えていることを特徴とするものである。 An imaging apparatus according to the present invention includes an imaging unit having a continuous shooting function that captures an image of a subject and acquires image data;
Object detection means for detecting a predetermined object from the image data;
Storage means for storing region information in the image data of the object detected by the object detection means;
When the object detection means cannot detect the object from the image data acquired during continuous shooting, the area of the object in the acquired image data is obtained from the area information of one or more objects stored immediately before in the storage means. Object region estimation means for estimating information;
Parameter calculation means for calculating parameters of image processing to be performed on the acquired image data and / or parameters of imaging control in the immediately subsequent imaging based on the estimated area information of the object. It is what.

本発明の撮像装置は、前記領域情報が、位置情報及び／又は大きさ情報であることが好ましい。 In the imaging apparatus of the present invention, it is preferable that the area information is position information and / or size information.

また本発明の撮像装置は、前記領域情報が位置情報を含むときに、
対象物領域推定手段が、記憶手段に直前に記憶された１つ以上の対象物の位置情報から該対象物の移動軌跡を直線又は曲線で近似し、該近似された移動軌跡に基づいて前記取得した画像データにおける対象物の位置情報を推定することができる。 In the imaging apparatus of the present invention, when the area information includes position information,
The object region estimation means approximates the movement trajectory of the object by a straight line or a curve from the position information of one or more objects stored immediately before in the storage means, and the acquisition is performed based on the approximated movement trajectory. It is possible to estimate the position information of the object in the obtained image data.

また本発明の撮像装置は、前記領域情報が大きさ情報を含むときに、
対象物領域推定手段が、記憶手段に直前に記憶された１つ以上の対象物の大きさ情報から該対象物の大きさ変動を直線又は曲線で近似し、該近似された大きさ変動に基づいて前記取得した画像データにおける対象物の大きさ情報を推定することができる。 In the imaging apparatus of the present invention, when the area information includes size information,
The object region estimation means approximates the size variation of the target object with a straight line or a curve from the size information of one or more objects stored immediately before in the storage means, and based on the approximate size variation Thus, the size information of the object in the acquired image data can be estimated.

なお本発明の撮像装置は、画像処理パラメータが、ホワイトバランス調整処理、ノイズ低減処理、輪郭強調処理のいずれか１つ以上のパラメータであることが好ましい。 In the imaging apparatus of the present invention, it is preferable that the image processing parameter is one or more parameters of white balance adjustment processing, noise reduction processing, and edge enhancement processing.

また本発明の撮像装置は、撮像制御パラメータが、自動露出及び／又は自動焦点の設定値であることが好ましい。 In the imaging apparatus of the present invention, it is preferable that the imaging control parameter is a set value of automatic exposure and / or autofocus.

本発明の撮像装置によれば、連写中に取得した画像データから対象物を検出できないとき、記憶手段に直前に記憶された１つ以上の対象物の領域情報から、前記取得した画像データにおける対象物の領域情報を推定し、推定された対象物の領域情報に基づいて、前記取得した画像データに対して施す画像処理のパラメータ及び／又は直後の撮像における撮像制御のパラメータを算出するので、前記取得した画像データにおける対象物の領域情報を、次の撮像により取得される画像データを使用せずに、直前つまり過去に記憶された対象物の領域情報から推定することができるため、推定された対象物の領域情報は、撮像後に算出可能な画像処理パラメータの算出に使用することができると共に撮像時には既に決定している必要がある撮像制御パラメータの算出にも使用することができる。 According to the imaging apparatus of the present invention, when the object cannot be detected from the image data acquired during the continuous shooting, the area information of one or more objects stored immediately before in the storage unit is used to determine the acquired image data. Since the area information of the object is estimated, and based on the estimated area information of the object, the parameters of the image processing to be performed on the acquired image data and / or the parameters of the imaging control in the immediately subsequent imaging are calculated. Since the area information of the object in the acquired image data can be estimated from the area information of the object stored immediately before, that is, in the past without using the image data acquired by the next imaging, it is estimated. The target area information can be used to calculate image processing parameters that can be calculated after imaging, and imaging control that must already be determined at the time of imaging It can also be used in the calculation of the parameters.

これにより連写時に取得した画像データにおいて対象物が検出できないときでも、連写時に取得した全ての画像において、画像毎に対象物に照準の合った最適なパラメータを使用することができるので、対象物に対して最適な画質の画像を取得することができる。 As a result, even when the target object cannot be detected in the image data acquired at the time of continuous shooting, it is possible to use optimal parameters that are aimed at the target object for each image in all images acquired at the time of continuous shooting. It is possible to acquire an image having an optimum image quality for an object.

以下、本発明にかかる撮像装置の一実施形態を、図面を参照して詳細に説明する。尚、以下の実施の形態では、本発明における撮像装置としてデジタルカメラを例に説明するが、本発明の適用範囲はこれに限定されず、例えば、カメラ付き携帯電話、カメラ付きＰＤＡ等、電子撮像機能を備えた他の電子機器に対しても適用可能である。 Hereinafter, an embodiment of an imaging apparatus according to the present invention will be described in detail with reference to the drawings. In the following embodiments, a digital camera will be described as an example of the imaging apparatus in the present invention. However, the scope of the present invention is not limited to this, and for example, electronic imaging such as a mobile phone with a camera, a PDA with a camera, etc. The present invention can also be applied to other electronic devices having functions.

図１及び図２は、デジタルカメラの一例を示すものであり、それぞれ背面側及び前面側から見た斜視図である。デジタルカメラ１の本体１０の背面には、図１に示す如く、撮影者による操作のためのインターフェースとして、動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下矢印レバー１３、左右矢印ボタン１４、Ｂａｃｋ（戻る）ボタン１５、表示切替ボタン１６が設けられ、更に撮影のためのファインダ１７及び撮影並びに再生のための液晶モニタ１８が設けられている。また本体１０の上面には、シャッタボタン１９が設けられている。 1 and 2 show an example of a digital camera, and are perspective views seen from the back side and the front side, respectively. As shown in FIG. 1, an operation mode switch 11, a menu / OK button 12, a zoom / up / down arrow lever 13, a left / right arrow button 14, A Back button 15 and a display switching button 16 are provided, and a finder 17 for photographing and a liquid crystal monitor 18 for photographing and reproduction are further provided. A shutter button 19 is provided on the upper surface of the main body 10.

動作モードスイッチ１１は、静止画撮影モード、動画撮影モード、再生モードの各動作モードを切り替えるためのスライドスイッチである。 The operation mode switch 11 is a slide switch for switching operation modes of a still image shooting mode, a moving image shooting mode, and a playback mode.

メニュー／ＯＫボタン１２は、押下される毎に撮影モード、フラッシュ発光モード、顔検出連写モード、セルフタイマーＯＮ／ＯＦＦ、記録画素数や感度等の設定を行うための各種メニューを液晶モニタ１８に表示させたり、液晶モニタ１８に表示されたメニューに基づく選択・設定を確定させたりするためのボタンである。顔検出連写モードは、顔検出機能を使用して被写体を連写するモードである。なおメニュー／ＯＫボタン１２により、撮影モードを露出やホワイトバランスを全て自動で設定するためのオートモード、及びマニュアルで設定するためのマニュアルモードに設定可能である。 Each time the menu / OK button 12 is pressed, the LCD monitor 18 displays various menus for setting the shooting mode, flash emission mode, face detection continuous shooting mode, self-timer ON / OFF, recording pixel number, sensitivity, and the like. This is a button for displaying or confirming selection / setting based on a menu displayed on the liquid crystal monitor 18. The face detection continuous shooting mode is a mode in which a subject is continuously shot using a face detection function. The menu / OK button 12 can be used to set the shooting mode to an auto mode for automatically setting exposure and white balance and a manual mode for setting manually.

ズーム／上下矢印レバー１３は、上下方向にレバーを倒すことによって、撮影時には望遠／広角の調整を行い、各種設定時に液晶モニタ１８に表示されるメニュー画面中のカーソルを上下に移動して表示させるためのレバーである。左右矢印ボタン１４は、各種設定時に液晶モニタ１８に表示されるメニュー画面中のカーソルを左右に移動して表示させるためのボタンである。 The zoom / up / down arrow lever 13 tilts the lever in the up / down direction to adjust the telephoto / wide angle during shooting, and moves the cursor in the menu screen displayed on the liquid crystal monitor 18 during various settings to display it. It is a lever for. The left and right arrow buttons 14 are buttons for moving the cursor in the menu screen displayed on the liquid crystal monitor 18 at the time of various settings to be displayed left and right.

Ｂａｃｋ（戻る）ボタン１５は、押下されることによって各種設定操作を中止し、液晶モニタ１８に１つ前の画面を表示するためのボタンである。表示切替ボタン１６は、押下されることによって液晶モニタ１８の表示のＯＮ／ＯＦＦ、各種ガイド表示、文字表示のＯＮ／ＯＦＦ等を切り替えるためのボタンである。 The Back button 15 is a button for stopping various setting operations when pressed and displaying the previous screen on the liquid crystal monitor 18. The display switching button 16 is a button for switching ON / OFF of display on the liquid crystal monitor 18, various guide displays, ON / OFF of character display, and the like when pressed.

ファインダ１７は、撮影者が被写体を撮影する際に構図やピントを合わせるために覗くためのものである。ファインダ１７から見える被写体像は、本体１０の前面にあるファインダ窓２３を介して映し出される。 The viewfinder 17 is used by the photographer to look into the subject for composition and focus when photographing the subject. The subject image seen from the finder 17 is projected through the finder window 23 on the front surface of the main body 10.

以上説明した各ボタン及びスイッチ等の操作によって設定された内容は、液晶モニタ１８中の表示や、ファインダ１７内のランプ、スライドレバーの位置等によって確認可能となっている。 The contents set by the operation of each button and switch described above can be confirmed by the display on the liquid crystal monitor 18, the position of the lamp in the finder 17, the position of the slide lever, and the like.

また液晶モニタ１８は、撮影の際に被写体確認用のスルー画像が表示されることにより、電子ビューファインダとして機能する他、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。 The liquid crystal monitor 18 functions as an electronic viewfinder by displaying a through image for checking a subject at the time of shooting, and also displays a still image and a moving image after shooting and displays various setting menus.

更に、本体１０の前面には、図２に示す如く、撮影レンズ２０、レンズカバー２１、電源スイッチ２２、ファインダ窓２３、フラッシュライト２４及びセルフタイマーランプ２５が設けられ、側面にはメディアスロット２６が設けられている。 Further, as shown in FIG. 2, a photographing lens 20, a lens cover 21, a power switch 22, a finder window 23, a flash light 24 and a self-timer lamp 25 are provided on the front surface of the main body 10, and a media slot 26 is provided on the side surface. Is provided.

撮影レンズ２０は、被写体像を所定の結像面上（本体１０内部にあるＣＣＤ等）に結像させるためのものであり、フォーカスレンズやズームレンズ等によって構成される。レンズカバー２１は、デジタルカメラ１の電源がオフ状態のとき、再生モードであるとき等に撮影レンズ２０の表面を覆い、汚れやゴミ等から撮影レンズ２０を保護するものである。 The photographic lens 20 is for forming a subject image on a predetermined image plane (CCD or the like inside the main body 10), and includes a focus lens, a zoom lens, and the like. The lens cover 21 covers the surface of the photographic lens 20 when the power of the digital camera 1 is turned off or in the playback mode, and protects the photographic lens 20 from dirt and dust.

電源スイッチ２２は、デジタルカメラ１の電源のＯＮ／ＯＦＦを切り替えるためのスイッチである。フラッシュライト２４は、シャッタボタン１９が押下され、本体１０の内部にあるシャッタが開いている間に、撮影に必要な光を被写体に対して瞬間的に照射するためのものである。 The power switch 22 is a switch for switching on / off the power of the digital camera 1. The flashlight 24 is used to instantaneously irradiate the subject with light necessary for photographing while the shutter button 19 is pressed and the shutter inside the main body 10 is opened.

セルフタイマーランプ２５は、セルフタイマーによって撮影する際に、シャッタの開閉タイミングすなわち露光の開始及び終了を被写体に知らせるためものである。メディアスロット２６は、メモリカード等の外部記録メディア７０が充填されるための充填口であり、外部記録メディア７０が充填されると、データの読み取り／書き込みが行われる。 The self-timer lamp 25 is used to notify the subject of the opening / closing timing of the shutter, that is, the start and end of exposure when shooting with the self-timer. The media slot 26 is a filling port for filling an external recording medium 70 such as a memory card. When the external recording medium 70 is filled, data reading / writing is performed.

図３にデジタルカメラ１の機能構成を示すブロック図を示す。図３に示す如く、デジタルカメラ１の操作系として、前述の動作モードスイッチ１１、メニュー／ＯＫボタン１２、ズーム／上下矢印レバー１３、左右矢印ボタン１４、Ｂａｃｋ（戻り）ボタン１５、表示切替ボタン１６、シャッタボタン１９、電源スイッチ２２と、これらのスイッチ、ボタン、レバー類の操作内容をＣＰＵ７５に伝えるためのインターフェースである操作系制御部７４が設けられている。 FIG. 3 is a block diagram showing the functional configuration of the digital camera 1. As shown in FIG. 3, as the operation system of the digital camera 1, the above-described operation mode switch 11, menu / OK button 12, zoom / up / down arrow lever 13, left / right arrow button 14, Back (return) button 15, and display switching button 16 are provided. The shutter button 19 and the power switch 22 and an operation system controller 74 which is an interface for transmitting the operation contents of these switches, buttons and levers to the CPU 75 are provided.

また、撮影レンズ２０を構成するものとして、フォーカスレンズ２０ａ及びズームレンズ２０ｂが設けられている。これらの各レンズは、モータとモータドライバからなるフォーカスレンズ駆動部５１、ズームレンズ駆動部５２によってステップ駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部５１は、ＡＦ処理部６２から出力されるフォーカス駆動量データに基づいてフォーカスレンズ２０ａをステップ駆動する。ズームレンズ駆動部５２は、ズーム／上下矢印レバー１３の操作量データに基づいてズームレンズ２０ｂのステップ駆動を制御する。 Further, a focus lens 20a and a zoom lens 20b are provided as components of the photographing lens 20. Each of these lenses is step-driven by a focus lens driving unit 51 and a zoom lens driving unit 52 including a motor and a motor driver, and is configured to be movable in the optical axis direction. The focus lens driving unit 51 step-drives the focus lens 20 a based on the focus driving amount data output from the AF processing unit 62. The zoom lens driving unit 52 controls step driving of the zoom lens 20 b based on the operation amount data of the zoom / up / down arrow lever 13.

絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。この絞り駆動部５５は、ＡＥ（自動露出）処理部６３から出力される絞り値データに基づいて絞り５４の絞り径の調整を行う。 The diaphragm 54 is driven by a diaphragm driving unit 55 including a motor and a motor driver. The aperture driving unit 55 adjusts the aperture diameter of the aperture 54 based on aperture value data output from the AE (automatic exposure) processing unit 63.

シャッタ５６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部５７によって駆動される。シャッタ駆動部５７は、シャッタボタン１９の押下により発生する信号と、ＡＥ処理部６３から出力されるシャッタ速度データとに応じてシャッタ５６の開閉の制御を行う。 The shutter 56 is a mechanical shutter and is driven by a shutter drive unit 57 including a motor and a motor driver. The shutter drive unit 57 controls the opening and closing of the shutter 56 according to a signal generated by pressing the shutter button 19 and the shutter speed data output from the AE processing unit 63.

上記光学系の後方には、撮影素子であるＣＣＤ５８を有している。ＣＣＤ５８は、多数の受光素子がマトリクス状に配置されてなる光電面を有しており、光学系を通過した被写体光が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ（不図示）と、ＲＧＢ各色のフィルタが規則的に配列されてなるカラーフィルタアレイ（不図示）とが配置されている。 At the back of the optical system, there is a CCD 58 that is a photographing element. The CCD 58 has a photoelectric surface in which a large number of light receiving elements are arranged in a matrix, and subject light that has passed through the optical system is imaged on the photoelectric surface and subjected to photoelectric conversion. In front of the photocathode, a microlens array (not shown) for condensing light on each pixel and a color filter array (not shown) in which RGB filters are regularly arranged are arranged. Yes.

ＣＣＤ５８は、ＣＣＤ制御部５９から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を１ラインずつ読み出してシリアルなアナログ画像信号として出力する。各画素における電荷の蓄積時間、即ち露出時間は、ＣＣＤ制御部５９から与えられる電子シャッタ駆動信号によって決定される。そして上記光学系及びＣＣＤ５８、ＣＣＤ制御部５９を含めて撮像部（撮像手段）１００が構成される。 The CCD 58 reads out the charge accumulated for each pixel line by line in synchronization with the vertical transfer clock signal and horizontal transfer clock signal supplied from the CCD control unit 59 and outputs them as a serial analog image signal. The charge accumulation time in each pixel, that is, the exposure time, is determined by an electronic shutter drive signal given from the CCD controller 59. An imaging unit (imaging means) 100 is configured including the optical system, the CCD 58, and the CCD control unit 59.

ＣＣＤ５８が出力するアナログ画像信号は、アナログ信号処理部６０に入力される。このアナログ信号処理部６０は、アナログ画像信号のノイズ除去を行う相関２重サンプリング回路（ＣＤＳ）と、アナログ画像信号のゲイン調整を行うオートゲインコントローラ（ＡＧＣ）と、アナログ画像信号をデジタル画像データに変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。そしてこのデジタル信号に変換されたデジタル画像データは、画素毎にＲＧＢの濃度値を持つＣＣＤ−ＲＡＷデータである。 The analog image signal output from the CCD 58 is input to the analog signal processing unit 60. The analog signal processing unit 60 includes a correlated double sampling circuit (CDS) that removes noise from the analog image signal, an auto gain controller (AGC) that adjusts the gain of the analog image signal, and converts the analog image signal into digital image data. It comprises an A / D converter (ADC) for conversion. The digital image data converted into the digital signal is CCD-RAW data having RGB density values for each pixel.

タイミングジェネレータ７２は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部５７、ＣＣＤ制御部５９、アナログ信号処理部６０に入力されて、シャッタボタン１９の操作と、シャッタ５６の開閉、ＣＣＤ５８の電荷取り込み、アナログ信号処理６０の処理の同期が取られる。フラッシュ制御部７３は、フラッシュ２４の発光動作を制御する。 The timing generator 72 generates a timing signal. The timing signal is input to the shutter drive unit 57, the CCD control unit 59, and the analog signal processing unit 60, and the operation of the shutter button 19 and the opening / closing of the shutter 56 are performed. The charge capturing of the CCD 58 and the processing of the analog signal processing 60 are synchronized. The flash control unit 73 controls the light emission operation of the flash 24.

画像入力コントローラ６１は、上記アナログ信号処理部６０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ６６に書き込む。このフレームメモリ６６は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が使用される。 The image input controller 61 writes the CCD-RAW data input from the analog signal processing unit 60 in the frame memory 66. The frame memory 66 is a working memory used when various digital image processing (signal processing) described later is performed on image data. For example, an SDRAM that performs data transfer in synchronization with a bus clock signal having a certain period. (Synchronous Dynamic Random Access Memory) is used.

表示制御部７１は、フレームメモリ６６に格納された画像データをスルー画像として液晶モニタ１８に表示させるためのものであり、例えば、輝度（Ｙ）信号と色（Ｃ）信号を一緒にして１つの信号としたコンポジット信号に変換して、液晶モニタ１８に出力する。スルー画像は、撮影モードが選択されている間、所定時間間隔で取得されて液晶モニタ１８に表示される。また、表示制御部７１は、外部記録メディア７０に記憶され、メディア制御部６７によって読み出された画像ファイルに含まれる画像データに基づいた画像を液晶モニタ１８に表示させる。 The display control unit 71 is for displaying the image data stored in the frame memory 66 on the liquid crystal monitor 18 as a through image. For example, the display control unit 71 combines a luminance (Y) signal and a color (C) signal together. The signal is converted into a composite signal and output to the liquid crystal monitor 18. Through images are acquired at predetermined time intervals and displayed on the liquid crystal monitor 18 while the shooting mode is selected. In addition, the display control unit 71 causes the liquid crystal monitor 18 to display an image based on the image data stored in the external recording medium 70 and read out by the media control unit 67.

顔検出部（対象物検出手段）６９は、画像データから人物の顔を検出するためのものであり、顔検出連写モードが選択されているときにＯＮに設定される。顔検出部６９は、具体的には、顔に含まれる顔の特徴、すなわち顔らしさを有する領域（例えば肌色を有する、目を有する、顔の形状を有する等）を顔領域として算出するものであり、画像データの各領域毎に取得される顔らしさを表す顔評価値が所定の閾値よりも大きい値であるときに、顔があると判断する。なお「顔評価値」とは顔らしさを表す数値であり、例えば口らしさ、目らしさ、鼻らしさ等を総合的に評価して定量化したものである。 The face detection unit (object detection means) 69 is for detecting a human face from image data, and is set to ON when the face detection continuous shooting mode is selected. Specifically, the face detection unit 69 calculates a facial feature included in the face, that is, a region having facialness (for example, having skin color, having eyes, or having a facial shape) as the facial region. Yes, it is determined that there is a face when the face evaluation value representing the face-likeness acquired for each area of the image data is larger than a predetermined threshold value. The “face evaluation value” is a numerical value representing the likelihood of a face, and is, for example, quantified by comprehensively evaluating mouth-likeness, eye-feeling, noseiness, and the like.

また顔検出部６９は、例えば図示しない顔検出ボタンによって顔検出のＯＮ／ＯＦＦを設定するようにしてもよいし、メニュー／ＯＫボタン１２等によって顔検出のＯＮ／ＯＦＦを選択するようにしてもよいし、適宜変更可能である。 Further, the face detection unit 69 may set face detection ON / OFF using a face detection button (not shown), for example, or may select face detection ON / OFF using the menu / OK button 12 or the like. It can be changed as appropriate.

本実施形態では、人物の顔を検出するものとして以下説明するが、動物の顔や自動車等、特徴点すなわちその対象物らしさを有するものであれば別の対象物を検出するようにしてもよい。そして顔検出がＯＮに設定された場合には常時スルー画像から顔の検出処理が行われる。 In this embodiment, the following description will be made on the assumption that a human face is detected. However, another object may be detected as long as it has a feature point, that is, an object-like character, such as an animal face or a car. . When face detection is set to ON, face detection processing is always performed from a through image.

顔領域推定部（対象物領域推定手段）８３は、連写中に顔検出部６９が撮像部１００により取得された画像データから顔を検出できないときに、顔の領域情報を推定する。なおこの顔領域推定部８３については、後で詳細に説明する。 A face area estimation unit (object area estimation unit) 83 estimates face area information when the face detection unit 69 cannot detect a face from image data acquired by the imaging unit 100 during continuous shooting. The face area estimation unit 83 will be described later in detail.

パラメータ算出部（パラメータ算出手段）８０は、画像データにおける顔領域情報に基づいて算出されるものであり、画像データに対して施す画像処理のパラメータ及び／又は撮像における撮像制御のパラメータすなわち撮像部１００の設定値を算出する。 The parameter calculation unit (parameter calculation means) 80 is calculated based on face area information in the image data, and is a parameter for image processing applied to the image data and / or a parameter for imaging control in imaging, that is, the imaging unit 100. The set value of is calculated.

画像処理パラメータとしては、画像データのホワイトバランスの調整処理、ノイズ低減処理、輪郭強調処理（シャープネス処理）等のパラメータがあり、パラメータ算出部８０はこれらパラメータのうちいずれか１つ以上のパラメータを算出する。なおホワイトバランスの調整処理のパラメータは、後述のＡＷＢ処理部６４を介して算出される。 Image processing parameters include parameters such as white balance adjustment processing of image data, noise reduction processing, and contour enhancement processing (sharpness processing). The parameter calculation unit 80 calculates any one or more of these parameters. To do. The parameters for white balance adjustment processing are calculated via an AWB processing unit 64 described later.

撮像制御パラメータとしては、後述する自動焦点処理（ＡＦ処理）や自動露出処理（ＡＥ処理）等の設定値があり、パラメータ算出部８０はこれら設定値の少なくとも一方を算出する。なお自動焦点の設定値（合焦設定値）は後述のＡＦ処理部６２を介して、自動露出の設定値（露出設定値）は後述のＡＥ処理部６３を介してそれぞれ算出される。 As the imaging control parameters, there are set values such as an automatic focus process (AF process) and an automatic exposure process (AE process) described later, and the parameter calculation unit 80 calculates at least one of these set values. The autofocus setting value (focusing setting value) is calculated via an AF processing unit 62 described later, and the automatic exposure setting value (exposure setting value) is calculated via an AE processing unit 63 described later.

なお本実施形態におけるパラメータ算出部８０は上記画像処理パラメータと撮像制御パラメータの両方を算出するものとするが、本発明はこれに限られるものではなく、どちらか一方のみを算出することも可能である。 The parameter calculation unit 80 in this embodiment calculates both the image processing parameter and the imaging control parameter. However, the present invention is not limited to this, and it is possible to calculate only one of them. is there.

ＡＦ処理部６２は、画像データに基づいて焦点位置を検出して合焦設定値（フォーカス駆動量）を決定し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が適用される。 The AF processing unit 62 detects a focus position based on the image data, determines a focus setting value (focus drive amount), and outputs focus drive amount data (AF processing). As a focus position detection method, for example, a passive method is used in which a focus position is detected using a feature that the contrast of an image is high when a desired subject is in focus.

ＡＥ処理部６３は、画像データに基づいて被写体輝度（測光値）を測定し、測定した被写体輝度に基づいて絞り値及びシャッタスピード等の露出設定値を決定し、絞り値データ及びシャッタスピードデータを出力する（ＡＥ処理）。 The AE processing unit 63 measures subject luminance (photometric value) based on the image data, determines an exposure setting value such as an aperture value and shutter speed based on the measured subject luminance, and obtains the aperture value data and shutter speed data. Output (AE processing).

ＡＷＢ処理部６４は、撮像時のホワイトバランスを自動調整する（ＡＷＢ処理）。なお、ＡＷＢ処理部６４は、撮像前でも、本撮像後でもホワイトバランスの調整を行うことができる。 The AWB processing unit 64 automatically adjusts the white balance at the time of imaging (AWB processing). Note that the AWB processing unit 64 can adjust the white balance before and after the actual imaging.

なお、露出及びホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ１の撮影者がマニュアル操作により設定可能である。また、露出及びホワイトバランスが自動で設定された場合にも、撮影者が操作系から指示を行うことにより、露出及びホワイトバランスをマニュアル調整することが可能である。 The exposure and white balance can be set manually by the photographer of the digital camera 1 when the shooting mode is set to the manual mode. Even when the exposure and white balance are set automatically, the photographer can manually adjust the exposure and white balance by giving an instruction from the operation system.

画像処理部（画像処理手段）６８は、本画像の画像データに対してガンマ補正処理、輪郭強調（シャープネス）処理、コントラスト処理、ノイズ低減処理等の画質補正処理を施すと共に、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。このときノイズ低減処理及び輪郭強調処理は上述のパラメータ算出部により算出されたパラメータに基づいて行うものとする。 An image processing unit (image processing means) 68 performs gamma correction processing, contour enhancement (sharpness) processing, contrast processing, noise reduction processing, and other image quality correction processing on the image data of the main image, and converts the CCD-RAW data. YC processing is performed for conversion into YC data composed of Y data that is a luminance signal, Cb data that is a blue color difference signal, and Cr data that is a red color difference signal. At this time, the noise reduction processing and the contour enhancement processing are performed based on the parameters calculated by the parameter calculation unit described above.

なお本画像とは、撮影者によって撮像指示がなされた時、例えばシャッタボタン１９が全押し操作された時にＣＣＤ５８から取り込まれ、アナログ信号処理部６０、画像入力コントローラ６１経由でフレームメモリ６６に格納された画像データによる画像である。本画像の画素数の上限はＣＣＤ５８の画素数によって決定されるが、例えば、撮影者が設定可能な画質設定（ファイン、ノーマル等の設定）により、記録画素数を変更することができる。一方、スルー画像等の画素数は本画像より少なくてもよく、例えば、本画像の１／１６程度の画素数で取り込まれてもよい。 Note that the main image is taken in from the CCD 58 when an imaging instruction is given by the photographer, for example, when the shutter button 19 is fully pressed, and stored in the frame memory 66 via the analog signal processing unit 60 and the image input controller 61. The image is based on the image data. The upper limit of the number of pixels of the main image is determined by the number of pixels of the CCD 58. For example, the number of recorded pixels can be changed by image quality settings (settings such as fine and normal) that can be set by the photographer. On the other hand, the number of pixels of the through image or the like may be smaller than that of the main image. For example, the through image may be captured with a pixel number about 1/16 of that of the main image.

圧縮／伸長処理部６５は、画像処理部６８によって画質補正等の処理が行われた本画像の画像データに対して、例えばＪＰＥＧ等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆ形式等に基づいて、撮影日時や、連写時に何番目に撮像された画像であるか等の付帯情報が格納されたタグが付加される。またこの圧縮／伸長処理部６５は、再生モードにおいては外部記録メディア７０から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示制御部７１に出力され、表示制御部７１は画像データに基づいた画像を液晶モニタ１８に表示する。 The compression / decompression processing unit 65 performs compression processing, for example, in a compression format such as JPEG on the image data of the main image that has been subjected to processing such as image quality correction by the image processing unit 68, and generates an image file. Based on the Exif format or the like, a tag that stores supplementary information such as the shooting date and time and the number of images captured during continuous shooting is added to the image file. In the playback mode, the compression / decompression processing unit 65 reads the compressed image file from the external recording medium 70 and performs decompression processing. The decompressed image data is output to the display control unit 71, and the display control unit 71 displays an image based on the image data on the liquid crystal monitor 18.

メディア制御部６７は、図２におけるメディアスロット２６に相当し、外部記録メディア７０に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。 The media control unit 67 corresponds to the media slot 26 in FIG. 2, and reads an image file or the like stored in the external recording medium 70 or writes an image file.

内部メモリ（記憶手段）８５は、デジタルカメラ１において設定される各種定数、及び、ＣＰＵ７５が実行するプログラム等を格納すると共に顔検出部６９により検出された顔の画像データにおける領域情報を記憶する。この領域情報は、位置情報及び／又は大きさ情報である。なおこの内部メモリ８５には、上述の顔らしさの評価値、顔の明るさ、顔の色味（色相）、顔の中央度、正面顔や横顔等の顔の向き等も記憶される。 The internal memory (storage means) 85 stores various constants set in the digital camera 1, a program executed by the CPU 75, and region information in the face image data detected by the face detection unit 69. This area information is position information and / or size information. The internal memory 85 also stores the above-described evaluation value of the face-likeness, the brightness of the face, the color of the face (hue), the centrality of the face, the orientation of the face such as the front face and the side face.

撮像制御部（撮像制御手段）８１は、パラメータ算出部８０により決定された撮像制御御パラメータに基づいて撮像が行われるように、撮像部１００を設定するものであり、合焦設定値に基づいてフォーカスレンズ駆動部５１を制御すると共に、露出設定値に基づいて、絞り駆動部５５及びシャッタ駆動部５７を制御する。なおこの撮像制御部８１はＣＰＵ７５の機能の一部としてもよい。 The imaging control unit (imaging control unit) 81 sets the imaging unit 100 so that imaging is performed based on the imaging control control parameter determined by the parameter calculation unit 80, and based on the focus setting value. The focus lens driving unit 51 is controlled, and the diaphragm driving unit 55 and the shutter driving unit 57 are controlled based on the exposure setting value. The imaging control unit 81 may be part of the function of the CPU 75.

ＣＰＵ７５は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ１の本体各部を制御する。またデータバス７６は、画像入力コントローラ６１、各種処理部６２〜６５、６８、フレームメモリ６６、各種制御部６７、７１、８１、顔検出部６９、パラメータ算出部８０、撮像制御部８１、内部メモリ８２、顔領域推定部８３及びＣＰＵ７５に接続されており、このデータバス７６を介して各種信号、データの送受信が行われる。 The CPU 75 controls each part of the main body of the digital camera 1 in accordance with operations of various buttons, levers, switches, and signals from the respective function blocks. The data bus 76 includes an image input controller 61, various processing units 62 to 65, 68, a frame memory 66, various control units 67, 71, 81, a face detection unit 69, a parameter calculation unit 80, an imaging control unit 81, and an internal memory. 82, the face area estimation unit 83 and the CPU 75, and various signals and data are transmitted and received through the data bus 76.

次に、以上の構成のデジタルカメラ１において連写時に行われる処理について説明する。図４は顔検出連写モードが選択されたときのデジタルカメラ１の連写処理のフローチャートである。なおこの連写処理の前後は、顔検出がＯＮに設定された撮影モードであり、この状態からさらに連写モードが選択されることにより、顔検出連写モードとなる。したがって連写処理の前後では、液晶モニタ１８にスルー画像が表示され、このスルー画像において所定間隔にて顔検出が繰り返し行われて、この顔検出結果は内部メモリ８２に記憶される。なおこの顔検出結果は、例えばユーザが予め設定した個数を記憶したときには、次回の顔検出結果は、古い顔検出結果に上書きして記憶するように設定してもよい。 Next, processing performed during continuous shooting in the digital camera 1 having the above configuration will be described. FIG. 4 is a flowchart of the continuous shooting process of the digital camera 1 when the face detection continuous shooting mode is selected. Note that before and after the continuous shooting process, the face detection mode is set to ON, and the face detection continuous shooting mode is set by further selecting the continuous shooting mode from this state. Accordingly, before and after the continuous shooting process, a through image is displayed on the liquid crystal monitor 18, and face detection is repeatedly performed at a predetermined interval in the through image, and the face detection result is stored in the internal memory 82. For example, when the number of face detection results stored in advance by the user is stored, the next face detection result may be stored by overwriting the old face detection result.

連写処理は、まず図４に示す如く、ユーザが撮影枚数Ｎを設定する（ステップＳ１）。なお撮影枚数Ｎの設定は、例えば液晶モニタ１８に撮影枚数を複数表示し、ユーザがメニュー／ＯＫボタン１２等を操作することにより選択／確定するようにしてもよい。 In the continuous shooting process, first, as shown in FIG. 4, the user sets the number N of shots (step S1). The number of shots N may be set / selected by, for example, displaying a plurality of shots on the liquid crystal monitor 18 and operating the menu / OK button 12 or the like by the user.

次に撮像部１００が被写体の撮像を行い（ステップＳ２）、顔検出部６９がこの撮像により取得された画像データから顔の検出を行う（ステップＳ３）。そして顔が検出されていない場合は（ステップＳ４；ＮＯ）、顔領域推定部８３が、この取得された画像データにおける顔の領域情報を推定する（ステップＳ１１）。 Next, the imaging unit 100 images a subject (step S2), and the face detection unit 69 detects a face from the image data acquired by the imaging (step S3). If no face is detected (step S4; NO), the face area estimation unit 83 estimates face area information in the acquired image data (step S11).

ここで顔領域推定部８３による顔の領域の推定処理を詳細に説明する。本実施形態では、顔の領域情報は顔の位置情報及び大きさ情報とするため、先ず顔の位置の推定処理について説明する。図５に顔位置の推移を示すグラフ、図６に顔の大きさの推移を示すグラフ、図７（ａ）に顔位置の推定処理を説明する図、図７（ｂ）に顔の大きさの推定処理を説明する図をそれぞれ示す。 Here, the face area estimation processing by the face area estimation unit 83 will be described in detail. In the present embodiment, since the face area information is face position information and size information, the face position estimation process will be described first. FIG. 5 is a graph showing the transition of the face position, FIG. 6 is a graph showing the transition of the face size, FIG. 7A is a diagram for explaining the estimation process of the face position, and FIG. The figure explaining the estimation process of each is shown.

先ず顔の位置の移動を算出するために、図７（ａ）に示す如く、顔領域から特徴点を一点、算出点として選択する。本実施形態では算出点を右目とするが、本発明はこれに限られるものではなく、例えば鼻であっても左右の目の中間点であっても顔領域の重点等であってもよく、適宜変更可能である。 First, in order to calculate the movement of the face position, as shown in FIG. 7A, one feature point is selected as a calculation point from the face area. In this embodiment, the calculation point is the right eye, but the present invention is not limited to this, for example, it may be the nose, the midpoint of the left and right eyes, or the emphasis of the face area, It can be changed as appropriate.

そして顔検出結果として、図７（ａ）に示す如く、例えば画像データＰの左下を原点に設定して顔の位置情報を記録しておき、この顔領域をＸ軸（横軸）とＹ軸（縦軸）からなる座標上に配置して、算出点としての目のＸ軸方向及びＹ軸方向の座標点を検出する。例えば内部メモリ８２に記憶された顔の領域情報が、過去から順に顔Ｆ１、顔Ｆ２、顔Ｆ３の３つある場合には、それぞれ座標点（Ｘ，Ｙ）は顔Ｆ１（Ｘ１，Ｙ１）、顔Ｆ２（Ｘ２，Ｙ２）、顔Ｆ３（Ｘ３，Ｙ３）となる。 As the face detection result, as shown in FIG. 7A, for example, the position information of the face is recorded by setting the lower left of the image data P as the origin, and this face area is recorded on the X axis (horizontal axis) and the Y axis. It arranges on the coordinates which consist of (vertical axis), and detects the coordinate point of the X-axis direction and Y-axis direction of eyes as a calculation point. For example, when the face area information stored in the internal memory 82 includes the face F1, the face F2, and the face F3 in order from the past, the coordinate point (X, Y) is the face F1 (X1, Y1), A face F2 (X2, Y2) and a face F3 (X3, Y3) are obtained.

そして顔の位置の推定処理は、ステップＳ２における撮像の直前に記憶された１つ以上（本実施形態では５つ）の顔の位置情報から、上述のように顔Ｆすなわち目の座標点をそれぞれ検出し、Ｘ軸方向については図５（ａ）に示す如く、横軸を時間とする座標上に配置し（黒丸）、時間経過に伴う顔の動きを直線近似して、この近似直線上の点（白丸）を、ステップＳ２にて取得した画像データにおいて推定したＸ軸方向の顔位置とする。 In the face position estimation process, the face F, that is, the coordinate point of the eye is respectively determined as described above from one or more (five in the present embodiment) face position information stored immediately before imaging in step S2. As shown in FIG. 5 (a), the X-axis direction is arranged on the coordinate with the horizontal axis as time (black circle), and the face motion with the passage of time is linearly approximated. The point (white circle) is set as the face position in the X-axis direction estimated in the image data acquired in step S2.

同様にしてＹ軸方向についても図５（ｂ）に示す如く、時間経過に伴う顔の動きを直線近似して、この近似直線上の点（白丸）を、前記取得した画像データにおいてしたＹ軸方向の顔位置とする。このようにして連写時に顔が検出できなかった画像データにおける顔位置を推定する。 Similarly, in the Y-axis direction, as shown in FIG. 5 (b), the movement of the face over time is linearly approximated, and a point (white circle) on the approximated line is represented by the Y-axis in the acquired image data. The face position in the direction. In this way, the face position in the image data where the face could not be detected during continuous shooting is estimated.

次に顔の大きさの推定処理について説明する。顔の大きさの推定処理は上記顔位置の推定処理と同様に、図７（ｂ）に示す如く、画像データＰの左下を原点に設定して顔の領域すなわち大きさ情報を記録しておき、この顔領域を顔の横サイズ方向Ｃ（横軸）と顔の縦サイズ方向Ｌ（縦軸）からなる座標上に配置して、顔領域の上端点と下端点との差分値すなわち顔の縦サイズΔＬ及び顔領域の左端点と右端点との差分値すなわち顔の横サイズΔＣを検出する。 Next, face size estimation processing will be described. Similar to the face position estimation process, the face size estimation process records the face area, that is, the size information by setting the lower left of the image data P as the origin, as shown in FIG. The face area is arranged on the coordinates of the horizontal size direction C (horizontal axis) of the face and the vertical size direction L (vertical axis) of the face, and the difference value between the upper end point and the lower end point of the face area, that is, the face The vertical size ΔL and the difference value between the left end point and the right end point of the face area, that is, the face horizontal size ΔC are detected.

そして上記顔の位置の推定処理と同様に、ステップＳ２における撮像の直前に記憶された１つ以上（本実施形態では５つ）の顔の大きさ情報から、上述のように顔Ｆの縦サイズΔＬ及び横サイズΔＣそれぞれ検出し、縦サイズΔＬについては図６（ａ）に示す如く、横軸を時間とする座標上に配置し（黒丸）、時間経過に伴う顔の大きさの縦サイズΔＬの変化を直線近似して、この近似直線上の点（白丸）を、ステップＳ２にて取得した画像データにおいて推定した顔の縦サイズΔＬとする。同様にしてＹ軸方向についても図６（ｂ）に示す如く、時間経過に伴う顔の動きを直線近似して、この近似直線上の点（白丸）を前記取得した画像データにおいて推定した顔の横サイズΔＣとする。このようにして連写時に顔が検出できなかった画像データにおける顔の大きさを推定する。 Similar to the face position estimation process, the vertical size of the face F as described above is obtained from one or more (five in this embodiment) face size information stored immediately before imaging in step S2. Each of ΔL and horizontal size ΔC is detected, and the vertical size ΔL is arranged on the coordinate with the horizontal axis as time (black circle) as shown in FIG. 6A, and the vertical size ΔL of the face size with the passage of time. And a point (white circle) on the approximate line is set as the face vertical size ΔL estimated in the image data acquired in step S2. Similarly, in the Y-axis direction, as shown in FIG. 6 (b), the movement of the face over time is linearly approximated, and a point (white circle) on the approximate line is estimated in the acquired image data. The horizontal size is ΔC. In this way, the size of the face in the image data that could not be detected during continuous shooting is estimated.

なお例えば連写中、一番目に撮像された画像データから顔が検出されなかったときには、この一番目の撮像の直前に、上述したようにスルー画像から検出され記憶された５つの顔の領域情報を使用して上記と同様に顔位置及び顔の大きさを推定する。また連写中、例えば三番目に撮像された画像データから顔が検出されなかったときには、一番目と二番目に撮像された画像データから検出され記憶された顔の領域情報と、一枚目の直前にスルー画像から検出され記憶された３つの顔の領域情報を使用して顔位置及び顔の大きさを推定する。また６枚の連写を行うときに、六番目に撮像された画像データから顔が検出されなかったときには、一番目〜五番目に撮像された画像データからそれぞれ検出され記憶された顔の領域情報を使用する。 For example, during continuous shooting, when a face is not detected from the first imaged image data, the area information of the five faces detected from the through image and stored as described above immediately before the first imaging. Is used to estimate the face position and face size as described above. Also, during continuous shooting, for example, when a face is not detected from the third imaged image data, the face area information detected and stored from the first and second imaged image data, and the first image The face position and face size are estimated using the three face area information detected and stored immediately before from the through image. In addition, when six consecutive shots are taken, if no face is detected from the sixth imaged image data, face area information detected and stored from the first to fifth imaged image data, respectively. Is used.

このようにして顔が検出できないときには顔領域を推定して（ステップＳ１１）、取得した画像データにおいて推定した顔の領域情報を内部メモリ８２に記憶する。このように顔領域を推定することにより、顔が検出されなかった画像データにおいても、顔が存在していることにすることができる。その後、ＣＰＵ７５は処理をステップＳ５へ移行する。なおステップＳ５以降の処理は後で詳細に説明する。 When the face cannot be detected in this way, the face area is estimated (step S11), and the estimated face area information in the acquired image data is stored in the internal memory 82. By estimating the face area in this way, it can be determined that a face exists even in image data in which no face is detected. Thereafter, the CPU 75 shifts the processing to step S5. The processing after step S5 will be described in detail later.

一方、ステップＳ４にて顔が検出された場合は（ステップＳ４；ＹＥＳ）、検出された顔の画像データにおける領域情報を内部メモリ８２に記憶する。なおこのとき画像データから複数の顔が検出された場合には、顔らしさの評価値、顔の明るさ、顔の色味（色相）、顔の中央度、正面顔や横顔等の顔の向き等を選択基準とし、例えばこの中の一つを基準として代表顔を決定してもよいし、上記選択基準からいくつかを選び、選んだ選択基準に重みを算出して重み基準として代表顔を決定してもよい。また前記選択基準のうち、この顔が検出された画像データの撮像の直前に内部メモリ８２に記憶された前記選択基準との差分が最も小さいものを優先的に代表顔としてもよい。内部メモリ８２には上記のように決定された代表顔の領域情報を記憶する。 On the other hand, if a face is detected in step S4 (step S4; YES), the area information in the detected face image data is stored in the internal memory 82. At this time, if multiple faces are detected from the image data, the evaluation value of the face quality, the brightness of the face, the color of the face (hue), the centrality of the face, the orientation of the face such as the front face or the side face For example, the representative face may be determined based on one of the selection criteria, or some of the selection criteria may be selected, a weight is calculated for the selected selection criteria, and the representative face is selected as the weight criterion. You may decide. Further, among the selection criteria, the one with the smallest difference from the selection criteria stored in the internal memory 82 immediately before the image data in which the face is detected may be preferentially used as the representative face. The internal memory 82 stores the area information of the representative face determined as described above.

そして上述のように顔検出又は推定により顔の領域情報が求められて、内部メモリ８２に記憶されると、次にパラメータ算出部８０が、内部メモリ８２に記憶された、顔の領域情報又は推定された顔の領域情報に基づいて上述した画像処理のパラメータ及び撮像制御パラメータを算出する（ステップＳ５）。そして撮像制御部８１は、ステップＳ５にて算出された撮像制御パラメータすなわち合焦設定値（フォーカス駆動量）及び露出設定値（絞り値及びシャッタスピード）に従って、次回の撮像用に撮像部１００の設定を更新する（ステップＳ６）。 When face area information is obtained by face detection or estimation as described above and stored in the internal memory 82, the parameter calculation unit 80 then stores the face area information or estimation stored in the internal memory 82. Based on the face area information thus obtained, the above-described image processing parameters and imaging control parameters are calculated (step S5). Then, the imaging control unit 81 sets the imaging unit 100 for the next imaging according to the imaging control parameters calculated in step S5, that is, the focus setting value (focus drive amount) and the exposure setting value (aperture value and shutter speed). Is updated (step S6).

次に画像処理部６８が、ステップＳ５にて算出された画像処理パラメータすなわちホワイトバランスの調整処理、ノイズ低減処理、輪郭強調処理（シャープネス処理）のパラメータに従ってステップＳ２にて取得された画像データに対して画像処理を行う（ステップＳ７）。なおこのとき画像処理が施された本画像データに対してさらに圧縮／伸長処理部６７によって圧縮処理が施されて画像ファイルが生成されてもよい。 Next, the image processing unit 68 applies the image processing parameters calculated in step S5, that is, the image data acquired in step S2 according to the parameters of white balance adjustment processing, noise reduction processing, and contour enhancement processing (sharpness processing). Then, image processing is performed (step S7). At this time, the compression / decompression processing unit 67 may further perform compression processing on the main image data subjected to image processing to generate an image file.

そしてＣＰＵ７５は、画像処理が施された本画像データを、メディア制御部６７を介して外部記録メディア７０に記憶する（ステップＳ８）。 Then, the CPU 75 stores the main image data subjected to the image processing in the external recording medium 70 via the media control unit 67 (step S8).

次にＣＰＵ７５は、撮像回数すなわちステップＳ２〜ステップＳ８の処理が何回繰り返されたかをカウントし（ステップＳ９）、カウント数がステップＳ１にてユーザにより設定された数Ｎであるか否かを判別する（ステップＳ１０）。カウント数がＮでない場合には（ステップＳ１０；ＮＯ）、ＣＰＵ７５は処理をステップＳ２へ移行して、設定されたカウント数Ｎになるまで以降の処理を繰り返す。 Next, the CPU 75 counts the number of times of imaging, that is, how many times the processing of steps S2 to S8 has been repeated (step S9), and determines whether or not the count number is the number N set by the user in step S1. (Step S10). If the count number is not N (step S10; NO), the CPU 75 shifts the process to step S2 and repeats the subsequent processes until the set count number N is reached.

一方、カウント数がＮである場合には（ステップＳ１０；ＹＥＳ）、ＣＰＵ７５はメディア制御部６７を介してステップＳ８にて外部記録メディア７０に記録された画像ファイルを読み出し、表示制御部７１を介して液晶モニタ１８に一覧表示する（ステップＳ１２）。このようにしてデジタルカメラ１は、被写体の連写を行う。 On the other hand, if the count is N (step S10; YES), the CPU 75 reads out the image file recorded on the external recording medium 70 in step S8 via the media control unit 67, and via the display control unit 71. The list is displayed on the liquid crystal monitor 18 (step S12). In this way, the digital camera 1 performs continuous shooting of the subject.

以上のようなデジタルカメラ１によれば、連写中に取得した画像データから顔が検出できないときに、前記取得した画像データにおける顔の領域情報を、次の撮像により取得される画像データを使用せずに、直前つまり過去に記憶された顔の領域情報から推定することができるため、推定された顔の領域情報は、撮像後に算出可能な画像処理パラメータの算出に使用することができると共に撮像時には既に決定している必要がある撮像制御パラメータの算出にも使用することができる。これにより連写時に取得した画像データにおいて顔が検出できないときでも、連写時に取得した全ての画像において、画像毎に顔に照準の合った最適なパラメータを使用することにより、顔に対して最適な画質の画像を取得することができる。 According to the digital camera 1 as described above, when the face cannot be detected from the image data acquired during continuous shooting, the face area information in the acquired image data is used as the image data acquired by the next imaging. Therefore, the estimated face area information can be used for calculation of image processing parameters that can be calculated after imaging and imaging. It can also be used to calculate imaging control parameters that sometimes need to be determined. As a result, even when the face cannot be detected in the image data acquired at the time of continuous shooting, all the images acquired at the time of continuous shooting are optimized for the face by using optimal parameters that are aimed at the face for each image. A high quality image can be acquired.

なお本発明の撮像装置は、上述した実施形態のデジタルカメラ１に限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜設計変更可能である。 The image pickup apparatus of the present invention is not limited to the digital camera 1 of the above-described embodiment, and can be appropriately changed in design without departing from the spirit of the present invention.

デジタルカメラの背面図Rear view of digital camera デジタルカメラの前面図Front view of digital camera 本発明にかかる一実施形態のデジタルカメラの機能ブロック図1 is a functional block diagram of a digital camera according to an embodiment of the present invention. 図３のデジタルカメラの連写処理のフローチャートを示す図The figure which shows the flowchart of the continuous shooting process of the digital camera of FIG. 顔位置の推移を示すグラフGraph showing changes in face position 顔の大きさの推移を示すグラフGraph showing changes in face size 推定処理を説明する図Diagram explaining the estimation process

Explanation of symbols

１デジタルカメラ（撮像装置）
１００撮像部（撮像手段）
１８液晶モニタ
１９シャッタボタン
６２ＡＦ（自動焦点）処理部
６３ＡＥ（自動露出）処理部
６４ＡＷＢ処理部
６８画像処理部（画像処理手段）
６９顔検出部（対象物検出手段）
７０外部記録メディア
７５ＣＰＵ
８０パラメータ算出部（パラメータ算出手段）
８１撮像制御部
８２内部メモリ（記録手段）
８３顔領域推定部（対象物領域推定手段） 1 Digital camera (imaging device)
100 imaging unit (imaging means)
18 Liquid crystal monitor 19 Shutter button 62 AF (automatic focus) processing unit 63 AE (automatic exposure) processing unit 64 AWB processing unit 68 Image processing unit (image processing means)
69 Face detection unit (object detection means)
70 External recording media 75 CPU
80 Parameter calculation unit (parameter calculation means)
81 Imaging control unit 82 Internal memory (recording means)
83 Face area estimation unit (object area estimation means)

Claims

An imaging means having a continuous shooting function for capturing an image of a subject and acquiring image data;
Object detection means for detecting a predetermined object from the image data;
Storage means for storing region information in the image data of the object detected by the object detection means;
When the object detection unit cannot detect the object from the image data acquired during continuous shooting, the acquired image data is obtained from area information of one or more objects stored immediately before in the storage unit. Object region estimation means for estimating region information of the object in
Parameter calculating means for calculating parameters of image processing to be performed on the acquired image data and / or parameters of imaging control in the immediately subsequent imaging based on the estimated area information of the object. An imaging device that is characterized.

The imaging apparatus according to claim 1, wherein the area information is position information and / or size information.

When the area information includes the position information,
The object region estimation means approximates the movement trajectory of the object with a straight line or a curve from the position information of one or more of the objects stored immediately before in the storage means, and based on the approximated movement trajectory The imaging apparatus according to claim 2, wherein position information of the object in the acquired image data is estimated.

When the area information includes the size information,
The object area estimation means approximates the size variation of the object by a straight line or a curve from the size information of one or more objects previously stored in the storage means, and the approximate size The imaging apparatus according to claim 2, wherein size information of the object in the acquired image data is estimated based on a change.

5. The imaging apparatus according to claim 1, wherein the image processing parameter is one or more of a white balance adjustment process, a noise reduction process, and an edge enhancement process.

The imaging apparatus according to claim 1, wherein the imaging control parameter is a set value of automatic exposure and / or automatic focus.