JP2007235531A

JP2007235531A - Digital camera

Info

Publication number: JP2007235531A
Application number: JP2006054598A
Authority: JP
Inventors: Hiroo Naito; 裕郎内藤
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-03-01
Filing date: 2006-03-01
Publication date: 2007-09-13

Abstract

PROBLEM TO BE SOLVED: To provide a digital camera capable of surely alleviating a bloodshot eyes phenomenon at photographing a person using flash emission, without being affected by automatic adjustment for the one, such as white balance and chroma. SOLUTION: An image pick-up means 30 photographs an object image irradiated with flash emission. A processing means 16 performs image processings on the image photographed by the imaging means 30, to generate a first and a second images different in white balance or colors, respectively. From the first image, a detection means 42 detects red-eye regions generated at the object image of the first image according to flash emission. In the second image, a correction means 44 corrects colors of a same region as the red-eye regions in the first image. COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、閃光発光を用いて人物を撮影する時に発生するいわゆる赤目現象を、画像処理を用いて軽減する機能を有するデジタルカメラに関する。 The present invention relates to a digital camera having a function of reducing a so-called red-eye phenomenon that occurs when a person is photographed using flash light emission using image processing.

従来のデジタルカメラでは、閃光発光を用いて人物撮影を行うと、この閃光発光が目の網膜の毛細管で反射されて、目の部分が赤く写ってしまう赤目現象が発生する場合がある。このような赤目現象を軽減する手法として、撮影された人物画像の顔の色彩（明度、彩度及び色相）を判定することによって、赤目現象が発生している目の画像を検出し、検出した目の画像に対して色彩を修正する手法が開示されている（例えば、特許文献１）。
特開平１０−２３３９２９号公報 In a conventional digital camera, when a person is photographed using flash light emission, a red-eye phenomenon may occur in which the flash light emission is reflected by the capillary of the retina of the eye and the eye part appears red. As a technique for reducing such a red-eye phenomenon, an image of an eye in which a red-eye phenomenon occurs is detected by detecting the face color (brightness, saturation, and hue) of the captured human image. A technique for correcting the color of an eye image is disclosed (for example, Patent Document 1).
JP-A-10-233929

ところで、上述した手法では、撮影された人物の顔の色彩を再現するために、デジタルカメラにより取得された画像に対してホワイトバランスや彩度等の調整が自動的に行われる場合がある。例えば、ホワイトバランスの自動調整は、上述した閃光発光の色温度を考慮して行われる。しかし、色温度が閃光発光に比べて低い電球照明等の下における撮影では、閃光発光を浴びた人物画像と、電球照明下にある背景画像の両方の色彩を正確に再現することは難しい。このため、人物画像の顔の色彩を正確に再現できず、上述した赤目現象を軽減できない場合があった。 By the way, in the above-described method, in order to reproduce the color of the face of a photographed person, adjustments such as white balance and saturation may be automatically performed on an image acquired by a digital camera. For example, automatic white balance adjustment is performed in consideration of the color temperature of the flash emission described above. However, it is difficult to accurately reproduce both the color of a person image exposed to flash light and the background image under light bulb illumination when shooting under a light bulb illumination or the like whose color temperature is lower than that of flash light emission. For this reason, the face color of the human image cannot be accurately reproduced, and the above-described red-eye phenomenon may not be reduced.

本発明の目的は、閃光発光を用いた人物の撮影時に、ホワイトバランスや彩度等の自動調整による影響を受けることなく、赤目現象を確実に軽減可能なデジタルカメラを提供することである。 An object of the present invention is to provide a digital camera that can reliably reduce the red-eye phenomenon without being affected by automatic adjustment of white balance, saturation, and the like when photographing a person using flash light emission.

請求項１のデジタルカメラでは、撮像手段は、閃光発光が照射された被写体像を撮像する。処理手段は、撮像手段により撮像された画像に対して画像処理を行って、ホワイトバランスもしくは色彩のそれぞれ異なる第１及び第２画像を生成する。検出手段は、第１画像から、閃光発光に応じて第１画像の被写体像に発生した赤目の領域を検出する。補正手段は、第２画像において赤目の領域と同じ領域の色彩を補正する。 According to another aspect of the digital camera of the present invention, the imaging means captures the subject image irradiated with the flash light emission. The processing means performs image processing on the image picked up by the image pickup means to generate first and second images having different white balance or color. The detection means detects a red-eye region generated in the subject image of the first image in response to the flash emission from the first image. The correcting unit corrects the color of the same area as the red-eye area in the second image.

請求項２のデジタルカメラでは、処理手段は、閃光発光の発光量に応じて画像のホワイトバランスを調整するホワイトバランス処理を行って第１画像を生成する。
請求項３のデジタルカメラでは、画像生成手段は、画像を縮小した縮小画像を生成する。処理手段は、縮小画像に対して画像処理を行って第１画像を生成する。
請求項４のデジタルカメラでは、撮像手段は、閃光発光が照射された被写体像を撮像する。第１処理手段は、撮像手段により撮像された画像に対して第１補正情報を用いてホワイトバランス処理を行って第１画像を生成する。記録手段は、第１画像を第１及び第２補正情報に対応付けて記録する。復元手段は、記録手段に記録されている第１補正情報を用いて、第１画像を元の画像に復元する。第２処理手段は、元の画像に対して、記録手段に記録されている第２補正情報を用いてホワイトバランス処理を行って第２画像を生成する。検出手段は、閃光発光に応じて第２画像の被写体像に発生した赤目の領域を検出する。補正手段は、第１画像において赤目の領域と同じ領域の色彩を補正する。 In the digital camera of the second aspect, the processing means generates a first image by performing white balance processing for adjusting the white balance of the image in accordance with the amount of flash emission.
According to another aspect of the digital camera of the present invention, the image generation means generates a reduced image obtained by reducing the image. The processing means performs image processing on the reduced image to generate a first image.
According to another aspect of the digital camera of the present invention, the imaging means captures the subject image irradiated with the flash light emission. The first processing unit generates a first image by performing white balance processing on the image captured by the imaging unit using the first correction information. The recording unit records the first image in association with the first and second correction information. The restoring means restores the first image to the original image using the first correction information recorded in the recording means. The second processing means performs white balance processing on the original image using the second correction information recorded in the recording means to generate a second image. The detection means detects a red-eye region generated in the subject image of the second image in response to flash emission. The correcting unit corrects the color of the same area as the red-eye area in the first image.

ホワイトバランスや彩度等の自動調整による影響を受けることなく、赤目現象を確実に軽減できる。 The red-eye phenomenon can be reliably reduced without being affected by automatic adjustments such as white balance and saturation.

以下、本発明の実施形態を図面を用いて説明する。
図１は本発明のデジタルカメラの第１の実施形態を示している。デジタルカメラ１００は、露出制御部１０、Ａ／Ｄ変換回路１２、メモリ１４、画像処理部１６（処理手段）、赤目処理部１８、画像記録素子２０、表示装置２２、ＲＯＭ２４、設定部２６及び制御部２８を有している。なお、撮影レンズ、シャッター機構、絞り機構、ミラー機構等は、図示を省略している。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows a first embodiment of a digital camera of the present invention. The digital camera 100 includes an exposure control unit 10, an A / D conversion circuit 12, a memory 14, an image processing unit 16 (processing means), a red-eye processing unit 18, an image recording element 20, a display device 22, a ROM 24, a setting unit 26, and a control. A portion 28 is provided. The photographing lens, shutter mechanism, aperture mechanism, mirror mechanism, etc. are not shown.

露出制御部１０は、ＣＣＤやＣＭＯＳイメージセンサ等で構成される撮像素子３０（撮像手段）、信号増幅回路３２及びフラッシュ装置３４を有している。撮像素子３０は、撮像面に撮影レンズを介して結像した被写体像を光電変換し、電気信号を出力する。信号増幅回路３２は、この電気信号を増幅し、増幅した電気信号をＡ／Ｄ変換回路１２に出力する。 The exposure control unit 10 includes an image pickup device 30 (image pickup means) composed of a CCD, a CMOS image sensor, or the like, a signal amplification circuit 32, and a flash device 34. The image sensor 30 photoelectrically converts a subject image formed on the imaging surface via a photographing lens and outputs an electrical signal. The signal amplification circuit 32 amplifies the electric signal and outputs the amplified electric signal to the A / D conversion circuit 12.

フラッシュ装置３４は、図示しない高圧制御回路やキセノン管等で構成される。フラッシュ装置３４は、高圧制御回路により充電した電荷を用いてキセノン管を発光させることによって、撮影の際に被写体に対してフラッシュ光（閃光発光）を照射可能である。なお、フラッシュ装置３４による発光の有無は、設定部２６を介してユーザにより決定されるものでも、撮像素子３０を介した測光情報に応じて制御部２８により決定されるものでもよい。 The flash device 34 includes a high-pressure control circuit, a xenon tube, or the like (not shown). The flash unit 34 can emit flash light (flash light emission) onto the subject during photographing by causing the xenon tube to emit light using the charge charged by the high-voltage control circuit. Whether or not the flash device 34 emits light may be determined by the user via the setting unit 26 or may be determined by the control unit 28 according to photometric information via the image sensor 30.

Ａ／Ｄ変換回路１２は、信号増幅回路３２より受けた電気信号をＡ／Ｄ変換して、画像データを生成する。メモリ１４には、画像データが一時的に記録される。画像処理部１６は、ホワイトバランス調整処理部３６、色再現処理部３８及び彩度調整処理部４０を有している。赤目処理部１８は、赤目検出処理部４２（検出手段）及び赤目補正処理部４４（補正手段）を有している。 The A / D conversion circuit 12 A / D converts the electrical signal received from the signal amplification circuit 32 to generate image data. Image data is temporarily recorded in the memory 14. The image processing unit 16 includes a white balance adjustment processing unit 36, a color reproduction processing unit 38, and a saturation adjustment processing unit 40. The red-eye processing unit 18 includes a red-eye detection processing unit 42 (detection unit) and a red-eye correction processing unit 44 (correction unit).

ＲＯＭ２４は、フラッシュメモリ等で構成され、デジタルカメラ１００の電源がオフの間も、画像処理部１６により生成された画像データを含む各種データを保持する。ＲＯＭ２４には、制御部２８により実行されるプログラムが格納されている。設定部２６は、被写体の撮影時に押下げられるレリーズスイッチや、デジタルカメラ１００の動作モード等を選択するための選択スイッチ等で構成される。制御部２８は、ＲＯＭ２４に格納されたプログラムを実行することによって各回路の動作を制御する。 The ROM 24 is configured by a flash memory or the like, and holds various data including image data generated by the image processing unit 16 even when the digital camera 100 is turned off. The ROM 24 stores a program executed by the control unit 28. The setting unit 26 includes a release switch that is pressed down when a subject is photographed, a selection switch for selecting an operation mode of the digital camera 100, and the like. The control unit 28 controls the operation of each circuit by executing a program stored in the ROM 24.

図２は、デジタルカメラの第１の実施形態における赤目現象の軽減動作を示している。図２に示す動作は、制御部２８がＲＯＭ２４に格納されたプログラムを実行することによって実現される。
まず、ステップＳ１００において、制御部２８は、撮影者によるレリーズスイッチの全押しに応答して、撮像素子３０を制御することによって被写体である人物を撮像する。この後、処理はステップＳ１０２に移行する。 FIG. 2 shows an operation of reducing the red-eye phenomenon in the first embodiment of the digital camera. The operation shown in FIG. 2 is realized by the control unit 28 executing a program stored in the ROM 24.
First, in step S 100, the control unit 28 images the person who is the subject by controlling the image sensor 30 in response to the photographer fully pressing the release switch. Thereafter, the process proceeds to step S102.

ステップＳ１０２において、制御部２８は、撮像時にフラッシュ装置３４により被写体に対してフラッシュ光が照射されたか否かを判定する。フラッシュ光が照射された場合、処理はステップＳ１０４に移行する。一方、フラッシュ光が照射されなかった場合、処理はステップＳ１１６に移行する。
ステップＳ１０４において、ホワイトバランス調整処理部３６は、メモリ１４に記録されている画像データのＲ（赤）、Ｂ（青）画素レベルに補正値Ｇｒｆ、Ｇｂｆをそれぞれ乗算する処理（以下、第１ホワイトバランス処理）を行って赤目検出用画像（第１画像）を生成する。なお、この赤目検出用画像は、上述したフラッシュ光に応じて赤目現象が発生している目の画像（以下、赤目画像）を検出するための画像である。また、補正値Ｇｒｆ、Ｇｂｆは、フラッシュ光の発光量の大きさを示す発光ガイドナンバーに対応付けてＬＵＴとしてＲＯＭ２４に予め格納されている。フラッシュ光の色温度は、一般的に、フラッシュ光の発光量の大きさに依存する。したがって、ホワイトバランス調整処理部３６は、人物の顔に照射されるフラッシュ光の色温度に合わせて画像のホワイトバランスを調整できる。 In step S 102, the control unit 28 determines whether flash light is emitted to the subject by the flash device 34 during imaging. When the flash light is irradiated, the process proceeds to step S104. On the other hand, when the flash light is not irradiated, the process proceeds to step S116.
In step S104, the white balance adjustment processing unit 36 multiplies the R (red) and B (blue) pixel levels of the image data recorded in the memory 14 by the correction values Grf and Gbf (hereinafter referred to as the first white). A balance process is performed to generate a red-eye detection image (first image). The red-eye detection image is an image for detecting an eye image (hereinafter referred to as a red-eye image) in which a red-eye phenomenon occurs according to the flash light described above. The correction values Grf and Gbf are stored in advance in the ROM 24 as an LUT in association with a light emission guide number indicating the amount of light emission of the flash light. The color temperature of flash light generally depends on the amount of flash light emitted. Therefore, the white balance adjustment processing unit 36 can adjust the white balance of the image in accordance with the color temperature of the flash light applied to the face of the person.

色再現処理部３８は、赤目検出用画像を示す赤目検出データをＣＩＥ（Commission Internationale d'Eclairage）により定義されたＬ^*、ａ^*、ｂ^*データ（Ｌ^*：明度、ａ^*、ｂ^*：色度）に変換し、このＬ^*、ａ^*、ｂ^*データに対応する新たなＬ^*、ａ^*、ｂ^*データを出力する処理（以下、第１色再現処理）を行う。なお、新たなＬ^*、ａ^*、ｂ^*データは、フラッシュ光を浴びた被写体の色彩を正確に再現するために実験等によって予め決定されたパラメータである。また、このパラメータは、ＣＩＥにより定義されたＬ^*、ａ^*、ｂ^*データに対応付けてＲＯＭ２４に予め格納されている。この後、処理はステップＳ１０６に移行する。 The color reproduction processing unit 38 converts red eye detection data indicating a red eye detection image into L ^* , a ^* , b ^* data (L ^* : brightness, a ^* , b ^* ) defined by CIE (Commission Internationale d'Eclairage). Chromaticity), and a process of outputting new L ^* , a ^* , b ^* data corresponding to the L ^* , a ^* , b ^* data (hereinafter referred to as a first color reproduction process) is performed. The new L ^* , a ^* , and b ^* data are parameters determined in advance by experiments or the like in order to accurately reproduce the color of the subject that has been exposed to the flash light. This parameter is stored in advance in the ROM 24 in association with L ^* , a ^* , b ^* data defined by the CIE. Thereafter, the process proceeds to step S106.

ステップＳ１０６において、赤目検出処理部４２は、画像処理部１６により生成された赤目検出用画像から人物の顔画像を抽出する処理（以下、顔抽出処理）を行う。なお、顔抽出処理の方法には特に限定はなく、公知の各種の方法が利用可能である。例えば、顔画像の候補領域における基本的な色である基準色と候補領域の全画素の色とを比較し、それらの色差が所定の閾値以下である画素の集合を顔画像として抽出する方法（特許文献１参照）がある。 In step S 106, the red-eye detection processing unit 42 performs processing for extracting a human face image from the red-eye detection image generated by the image processing unit 16 (hereinafter, face extraction processing). Note that the method of face extraction processing is not particularly limited, and various known methods can be used. For example, a method of comparing a reference color, which is a basic color in a candidate area of a face image, with the colors of all pixels in the candidate area, and extracting a set of pixels whose color difference is equal to or less than a predetermined threshold as a face image ( Patent Document 1).

赤目検出処理部４２は、抽出した顔画像から赤目画像を検出する処理（以下、赤目検出処理）を行う。なお、赤目検出処理の方法には特に限定はなく、公知の各種の方法が利用可能である。例えば、顔画像を構成する全ての画素毎に、彩度及び色相を予め決められた各閾値と比較する方法（特許文献１参照）がある。この後、処理はステップＳ１０８に移行する。 The red-eye detection processing unit 42 performs processing for detecting a red-eye image from the extracted face image (hereinafter, red-eye detection processing). There is no particular limitation on the method of red-eye detection processing, and various known methods can be used. For example, there is a method (see Patent Document 1) in which the saturation and the hue are compared with predetermined threshold values for every pixel constituting the face image. Thereafter, the process proceeds to step S108.

ステップＳ１０８において、ホワイトバランス調整処理部３６は、メモリ１４に格納されている画像データをＲ（赤）、Ｇ（緑）、Ｂ（青）成分に分解し、各色成分のデジタル値の総和を求める。ホワイトバランス調整処理部３６は、求めた色成分の総和をそれぞれの画素数で割り、各色成分の平均値Ｒａｖ、Ｇａｖ、Ｂａｖを求める。そして、ホワイトバランス調整処理部３６は、各色成分の出力が等しくなるように、以下の演算式（１）を用いて、Ｒ（赤）、Ｂ（青）のレベルを補正するための補正値Ｇｒｄ、Ｇｂｄを求める。 In step S108, the white balance adjustment processing unit 36 decomposes the image data stored in the memory 14 into R (red), G (green), and B (blue) components, and obtains the sum of digital values of the respective color components. . The white balance adjustment processing unit 36 divides the total sum of the obtained color components by the number of pixels, and obtains average values Rav, Gav, and Bav of the respective color components. Then, the white balance adjustment processing unit 36 uses the following arithmetic expression (1) so that the outputs of the respective color components are equal, and the correction value Grd for correcting the levels of R (red) and B (blue). , Gbd.

ホワイトバランス調整処理部３６は、補正値Ｇｒｄ、Ｇｂｄを画像データのＲ（赤）、Ｂ（青）画素レベルにそれぞれ乗算する処理（以下、第２ホワイトバランス処理）を行って、ユーザに提供される本画像（第２画像）を生成する。
色再現処理部３８は、その本画像を示す本画像データをＣＩＥにより定義されたＬ^*、ａ^*、ｂ^*データに変換して、このＬ^*、ａ^*、ｂ^*データを補正する処理（以下、第２色再現処理）を行う。彩度調整処理部４０は、ユーザによる彩度の調整操作に応じて、本画像の彩度を調整する処理（以下、彩度調整処理）を行う。この後、処理はステップＳ１１０に移行する。 The white balance adjustment processing unit 36 performs processing for multiplying the correction values Grd and Gbd by the R (red) and B (blue) pixel levels of the image data (hereinafter, second white balance processing), and is provided to the user. A main image (second image) is generated.
The color reproduction processing unit 38 converts main image data representing the main image into L ^* , a ^* , b ^* data defined by the CIE, and corrects the L ^* , a ^* , b ^* data ( Hereinafter, the second color reproduction process) is performed. The saturation adjustment processing unit 40 performs processing for adjusting the saturation of the main image (hereinafter, saturation adjustment processing) in accordance with the saturation adjustment operation by the user. Thereafter, the process proceeds to step S110.

ステップＳ１１０において、制御部２８は、ステップＳ１０６で赤目画像が検出されたか否かを判定する。赤目画像が検出された場合、処理はステップＳ１１２に移行する。一方、赤目画像が検出されなかった場合、処理はステップＳ１２０に移行する。
ステップＳ１１２において、赤目補正処理部４４は、赤目画像を構成する画素の座標値及び画素数を算出する。この後、処理はステップＳ１１４に移行する。 In step S110, the control unit 28 determines whether or not a red-eye image is detected in step S106. If a red-eye image is detected, the process proceeds to step S112. On the other hand, when a red-eye image is not detected, the process proceeds to step S120.
In step S112, the red-eye correction processing unit 44 calculates the coordinate value and the number of pixels of the pixels constituting the red-eye image. Thereafter, the process proceeds to step S114.

ステップＳ１１４において、赤目補正処理部４４は、算出した座標値及び画素数に基づいて、本画像において赤目画像と同じ領域の色彩を補正する処理（以下、赤目補正処理）を行う。なお、赤目補正処理の方法には特に限定はなく、公知の各種の方法が利用可能である。例えば、赤目画像と同じ領域の彩度または明度を低減する方法（特許文献１参照）がある。そして、処理はステップＳ１１６に移行する。 In step S114, the red-eye correction processing unit 44 performs processing for correcting the color of the same region as the red-eye image in the main image (hereinafter, red-eye correction processing) based on the calculated coordinate value and the number of pixels. The red-eye correction processing method is not particularly limited, and various known methods can be used. For example, there is a method for reducing the saturation or brightness of the same region as the red-eye image (see Patent Document 1). Then, the process proceeds to step S116.

ステップＳ１１６において、制御部２８は、赤目検出用画像を示す赤目検出データを消去する。この後、処理はステップＳ１２０に移行する。
一方、ステップＳ１０２でフラッシュ光が照射されなかった場合、ステップＳ１１８において、画像処理部１６は、ステップＳ１０８と同様に、画像データに対して第２ホワイトバランス処理、第２色再現処理や彩度調整処理を行って本画像を生成する。この後、処理はステップＳ１２０に移行する。 In step S116, the control unit 28 deletes the red-eye detection data indicating the red-eye detection image. Thereafter, the process proceeds to step S120.
On the other hand, when the flash light is not irradiated in step S102, in step S118, the image processing unit 16 performs the second white balance process, the second color reproduction process, and the saturation adjustment on the image data in the same manner as in step S108. Processing is performed to generate the main image. Thereafter, the process proceeds to step S120.

ステップＳ１１６で赤目検出データが消去された後、あるいは、ステップＳ１１８で本画像データが生成された後、ステップＳ１２０において、制御部２８は、本画像データを画像記録素子２０に保存し、あるいは、本画像を表示装置２２に表示する。そして、デジタルカメラの第１の実施形態における赤目現象の軽減動作が終了する。
以上、第１の実施形態では、画像処理部１６は、第２ホワイトバランス処理によるホワイトバランス調整や、彩度調整処理による彩度調整の影響を受けることなく、画像データに対して専用の画像処理（第１ホワイトバランス処理及び第１色再現処理）を行って赤目検出用画像を生成できる。したがって、画像処理部１６は、フラッシュ光を浴びた人物の顔画像の色彩を正確に再現できる。このため、赤目検出処理部４２は、人物の顔画像の色彩に基づいて、赤目検出用画像から赤目画像を正確に検出できる。この結果、赤目補正処理部４４による赤目補正処理によって、赤目現象を確実に軽減できる。 After the red-eye detection data is deleted in step S116, or after the main image data is generated in step S118, in step S120, the control unit 28 stores the main image data in the image recording element 20, or The image is displayed on the display device 22. Then, the operation for reducing the red-eye phenomenon in the first embodiment of the digital camera ends.
As described above, in the first embodiment, the image processing unit 16 performs dedicated image processing on image data without being affected by white balance adjustment by the second white balance process or saturation adjustment by the saturation adjustment process. It is possible to generate a red-eye detection image by performing (first white balance processing and first color reproduction processing). Therefore, the image processing unit 16 can accurately reproduce the color of the face image of the person exposed to the flash light. Therefore, the red-eye detection processing unit 42 can accurately detect the red-eye image from the red-eye detection image based on the color of the person's face image. As a result, the red-eye correction process by the red-eye correction processing unit 44 can surely reduce the red-eye phenomenon.

図３は、デジタルカメラの第２の実施形態における赤目現象の軽減動作を示している。この実施形態では、制御部２８が実行するためにＲＯＭ２４格納されているプログラムが、デジタルカメラの第１の実施形態と相違する。図３は、第１の実施形態（図２）のステップＳ１０４の代わりに、ステップＳ２００、Ｓ２０２が実行される点を除いて、図２と同じである。なお、上述した図２と同じ処理については、詳細な説明を省略する。また、図３に示す動作は、制御部２８がＲＯＭ２４に格納されたプログラムを実行することによって実現される。 FIG. 3 shows a red-eye reduction operation in the second embodiment of the digital camera. In this embodiment, a program stored in the ROM 24 for execution by the control unit 28 is different from that of the first embodiment of the digital camera. FIG. 3 is the same as FIG. 2 except that steps S200 and S202 are executed instead of step S104 of the first embodiment (FIG. 2). Detailed description of the same processing as in FIG. 2 described above will be omitted. 3 is realized by the control unit 28 executing a program stored in the ROM 24.

まず、ステップＳ１００〜Ｓ１０２が実行され、撮像時にフラッシュ装置３４によりフラッシュ光が照射されたことが検出された場合、ステップＳ２００において、画像処理部１６（画像生成手段）は、撮像により得られた画像データで表される画像の解像度を下げて縮小画像を生成する。この後、処理はステップＳ２０２に移行する。
ステップＳ２０２において、画像処理部１６は、縮小画像を示す縮小画像データに対して第１ホワイトバランス処理及び第１色再現処理を行って赤目検出用画像を生成する。このように、画像処理部１６は、画像データで表される画像に比べて解像度の低い縮小画像に対して第１ホワイトバランス処理及び第１色再現処理を行う。したがって、画像処理部１６は、赤目検出用画像を速やかに生成できる。この後、処理はステップＳ１０８〜Ｓ１２０が実行され、デジタルカメラの第２の実施形態における赤目現象の軽減動作が終了する。 First, when steps S100 to S102 are executed and it is detected that flash light is emitted by the flash device 34 at the time of imaging, in step S200, the image processing unit 16 (image generating means) obtains an image obtained by imaging. A reduced image is generated by reducing the resolution of the image represented by the data. Thereafter, the process proceeds to step S202.
In step S202, the image processing unit 16 performs a first white balance process and a first color reproduction process on the reduced image data indicating the reduced image to generate a red-eye detection image. As described above, the image processing unit 16 performs the first white balance process and the first color reproduction process on the reduced image having a lower resolution than the image represented by the image data. Therefore, the image processing unit 16 can quickly generate a red-eye detection image. Thereafter, steps S108 to S120 are executed, and the red-eye reduction operation in the second embodiment of the digital camera is completed.

以上、第２の実施形態では、第１の実施形態と同様な効果を得ることができる。更に、画像処理部１６は、赤目検出用画像を速やかに生成できる。
図４は、デジタルカメラの第３の実施形態における撮影動作を示している。この実施形態では、制御部２８が実行するためにＲＯＭ２４格納されているプログラムが、デジタルカメラの第１の実施形態と相違する。また、図４に示す動作は、制御部２８がＲＯＭ２４に格納されたプログラムを実行することによって実現される。 As described above, in the second embodiment, the same effect as that of the first embodiment can be obtained. Furthermore, the image processing unit 16 can quickly generate a red-eye detection image.
FIG. 4 shows a photographing operation in the third embodiment of the digital camera. In this embodiment, a program stored in the ROM 24 for execution by the control unit 28 is different from that of the first embodiment of the digital camera. Further, the operation shown in FIG. 4 is realized by the control unit 28 executing a program stored in the ROM 24.

まず、ステップＳ３００において、制御部２８は、図２のステップＳ１００と同様に、撮影者によるレリーズスイッチの全押しに応答して、撮像素子３０を制御することによって被写体である人物を撮像する。この後、処理はステップＳ３０２に移行する。
ステップＳ３０２において、ホワイトバランス調整処理部３６（第１処理手段）は、図２のステップＳ１０８と同様に、補正値Ｇｒｄ、Ｇｂｄ（第１補正情報）を画像データのＲ（赤）、Ｂ（青）画素レベルにそれぞれ乗算する処理を行って、ユーザに提供される本画像（第１画像）を生成する。この後、処理はステップＳ３０４に移行する。 First, in step S300, as in step S100 in FIG. 2, the control unit 28 controls the image sensor 30 to capture a person who is a subject in response to the photographer fully pressing the release switch. Thereafter, the process proceeds to step S302.
In step S302, the white balance adjustment processing unit 36 (first processing means) converts the correction values Grd and Gbd (first correction information) to R (red) and B (blue) of the image data, as in step S108 of FIG. ) A process of multiplying each pixel level is performed to generate a main image (first image) provided to the user. Thereafter, the process proceeds to step S304.

ステップＳ３０４において、制御部２８は、本画像データに、補正値Ｇｒｄ、Ｇｂｄと図２のステップＳ１０４で述べた補正値Ｇｒｆ、Ｇｂｆ（第２補正情報）とを付加する。この後、処理はステップＳ３０６に移行する。
ステップＳ３０６において、制御部２８は、図２のステップＳ１２０と同様に、本画像データを画像記録素子２０に保存し、あるいは、本画像を表示装置２２に表示する。そして、デジタルカメラの第３の実施形態における撮影動作が終了する。 In step S304, the control unit 28 adds the correction values Grd and Gbd and the correction values Grf and Gbf (second correction information) described in step S104 in FIG. 2 to the main image data. Thereafter, the process proceeds to step S306.
In step S306, the control unit 28 stores the main image data in the image recording element 20 or displays the main image on the display device 22, as in step S120 of FIG. Then, the shooting operation in the third embodiment of the digital camera ends.

図５は、デジタルカメラの第３の実施形態における赤目現象の軽減動作を示している。また、図５に示す動作は、制御部２８（復元手段）がＲＯＭ２４に格納されたプログラムを実行することによって実現される。なお、この動作は、撮影時のレリーズスイッチの押し下げとは別の指示（例えば、再生モードでのユーザによる赤目修正指示）に応じて実行される。また、この動作は、デジタルカメラ１００ではなくパーソナルコンピュータ等の別環境で実行されてもよい。 FIG. 5 shows an operation for reducing the red-eye phenomenon in the third embodiment of the digital camera. 5 is realized by the control unit 28 (restoring means) executing a program stored in the ROM 24. This operation is executed in response to an instruction (for example, a red-eye correction instruction by the user in the playback mode) other than pressing the release switch during shooting. In addition, this operation may be executed in another environment such as a personal computer instead of the digital camera 100.

まず、ステップＳ４００において、制御部２８は、画像記録素子２０（記録手段）に記録されている補正値Ｇｒｄ、Ｇｂｄを用いて、本画像を元の画像に復元する。この後、処理はステップＳ４０２に移行する。
ステップＳ４０２において、ホワイトバランス調整処理部３６（第２処理手段）は、図２のステップＳ１０４と同様に、画像記録素子２０に記録されている補正値Ｇｒｆ、Ｇｂｆを元の画像データのＲ（赤）、Ｂ（青）画素レベルにそれぞれ乗算する処理を行って赤目検出用画像（第２画像）を生成する。この後、処理はステップＳ４０４に移行する。 First, in step S400, the control unit 28 restores the original image to the original image using the correction values Grd and Gbd recorded in the image recording element 20 (recording unit). Thereafter, the process proceeds to step S402.
In step S402, the white balance adjustment processing unit 36 (second processing means) uses the correction values Grf and Gbf recorded in the image recording element 20 as R (red) of the original image data, as in step S104 of FIG. ) And B (blue) pixel levels are respectively multiplied to generate a red-eye detection image (second image). Thereafter, the process proceeds to step S404.

ステップＳ４０４において、赤目検出処理部４２は、図２のステップＳ１０６と同様に顔抽出処理及び赤目検出処理を行って、赤目検出用画像から赤目画像を検出する。この後、処理はステップＳ４０６に移行する。
ステップＳ４０６において、制御部２８は、ステップＳ４０６で赤目画像が検出されたか否かを判定する。赤目画像が検出された場合、処理はステップＳ４０８に移行する。一方、赤目画像が検出されなかった場合、デジタルカメラの第３の実施形態における赤目現象の軽減動作が終了する。 In step S404, the red-eye detection processing unit 42 performs face extraction processing and red-eye detection processing in the same manner as step S106 in FIG. 2, and detects a red-eye image from the red-eye detection image. Thereafter, the process proceeds to step S406.
In step S406, the control unit 28 determines whether or not a red-eye image is detected in step S406. If a red-eye image is detected, the process proceeds to step S408. On the other hand, when the red-eye image is not detected, the operation for reducing the red-eye phenomenon in the third embodiment of the digital camera ends.

ステップＳ４０８において、赤目補正処理部４４は、図２のステップＳ１１２と同様に、赤目画像を構成する画素の座標値及び画素数を算出する。この後、処理はステップＳ４１０に移行する。
ステップＳ４１０において、赤目補正処理部４４は、算出した座標値及び画素数に基づいて、図２のステップＳ１１４と同様に赤目補正処理を行って、本画像において赤目画像と同じ領域の色彩を補正する。そして、処理はステップＳ４１２に移行する。 In step S408, the red-eye correction processing unit 44 calculates the coordinate values and the number of pixels that constitute the red-eye image, as in step S112 in FIG. Thereafter, the process proceeds to step S410.
In step S410, the red-eye correction processing unit 44 performs a red-eye correction process based on the calculated coordinate value and the number of pixels in the same manner as in step S114 in FIG. . Then, the process proceeds to step S412.

ステップＳ４１２において、制御部２８は、赤目検出用画像を示す赤目検出データを消去する。そして、デジタルカメラの第３の実施形態における赤目現象の軽減動作が終了する。
以上、第３の実施形態では、第１の実施形態と同様な効果を得ることができる。更に、撮影時に赤目補正処理部４４により赤目検出処理や赤目補正処理が実施されないので、撮影動作が高速に終了する。このため、画像記録素子２０に対する本画像データの保存と、表示装置２２に対する本画像の表示が速やかに行われる。 In step S412, the control unit 28 erases the red-eye detection data indicating the red-eye detection image. Then, the operation for reducing the red-eye effect in the third embodiment of the digital camera is completed.
As described above, in the third embodiment, the same effect as in the first embodiment can be obtained. Furthermore, since the red-eye detection processing and the red-eye correction processing are not performed by the red-eye correction processing unit 44 at the time of shooting, the shooting operation is completed at high speed. Therefore, the main image data is stored in the image recording element 20 and the main image is displayed on the display device 22 promptly.

ホワイトバランス調整処理部３６は、元の画像データに対して補正値Ｇｒｆ、Ｇｂｆを用いた専用のホワイトバランス処理を行って赤目検出用画像を生成できる。したがって、赤目検出処理部４２は、赤目検出用画像から赤目画像を高精度に検出できる。このため、赤目補正処理部４４は、赤目現象を従来技術に比べて大幅に軽減できる。
なお、上述した第１及び第２の実施形態では、補正値Ｇｒｆ、Ｇｂｆが発光ガイドナンバーに対応付けてＲＯＭ２４に格納される例について述べた。本発明はかかる実施形態に限定されるものではない。ホワイトバランス調整処理部３６は、フラッシュ光の色温度に対応付けてＲＯＭ２４に予め格納された補正値Ｇｒｆ、Ｇｂｆを、メモリ１４に記録されている画像データのＲ（赤）、Ｂ（青）画素レベルに乗算する処理を行って赤目検出用画像（第１画像）を生成するものでもよい。 The white balance adjustment processing unit 36 can generate a red-eye detection image by performing dedicated white balance processing using the correction values Grf and Gbf on the original image data. Therefore, the red-eye detection processing unit 42 can detect the red-eye image from the red-eye detection image with high accuracy. For this reason, the red-eye correction processing unit 44 can significantly reduce the red-eye phenomenon as compared with the prior art.
In the first and second embodiments described above, the example in which the correction values Grf and Gbf are stored in the ROM 24 in association with the light emission guide number has been described. The present invention is not limited to such an embodiment. The white balance adjustment processing unit 36 uses correction values Grf and Gbf stored in advance in the ROM 24 in association with the color temperature of flash light as R (red) and B (blue) pixels of image data recorded in the memory 14. A process for multiplying the level may be performed to generate a red-eye detection image (first image).

以上、本発明について詳細に説明してきたが、上記の実施形態及びその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。 As mentioned above, although this invention was demonstrated in detail, said embodiment and its modification are only examples of this invention, and this invention is not limited to this. Obviously, modifications can be made without departing from the scope of the present invention.

本発明は、閃光発光を用いて人物を撮影する時に発生するいわゆる赤目現象を、画像処理を用いて軽減する機能を有するデジタルカメラに適用される。 The present invention is applied to a digital camera having a function of reducing a so-called red-eye phenomenon that occurs when a person is photographed using flash light emission using image processing.

本発明のデジタルカメラの第１の実施形態を示すブロック図である。It is a block diagram which shows 1st Embodiment of the digital camera of this invention. デジタルカメラの第１の実施形態における赤目現象の軽減動作を示すフローチャートである。It is a flowchart which shows the reduction operation | movement of the red-eye phenomenon in 1st Embodiment of a digital camera. デジタルカメラの第２の実施形態における赤目現象の軽減動作を示すフローチャートである。It is a flowchart which shows the mitigation operation | movement of the red-eye phenomenon in 2nd Embodiment of a digital camera. デジタルカメラの第３の実施形態における撮影動作を示すフローチャートである。It is a flowchart which shows the imaging | photography operation | movement in 3rd Embodiment of a digital camera. デジタルカメラの第３の実施形態における赤目現象の軽減動作を示すフローチャートである。It is a flowchart which shows the mitigation operation | movement of the red-eye phenomenon in 3rd Embodiment of a digital camera.

Explanation of symbols

１０…露出制御部、１２…Ａ／Ｄ変換回路、１４…メモリ、１６…画像処理部、１８…赤目処理部、２０…画像記録素子、２２…表示装置、２４…ＲＯＭ、２６…設定部、２８…制御部、３０…撮像素子、３２…信号増幅回路、３４…フラッシュ装置、３６…ホワイトバランス調整処理部、３８…色再現処理部、４０…彩度調整処理部、４２…赤目検出処理部、４４…赤目補正処理部、１００…デジタルカメラ DESCRIPTION OF SYMBOLS 10 ... Exposure control part, 12 ... A / D conversion circuit, 14 ... Memory, 16 ... Image processing part, 18 ... Red eye processing part, 20 ... Image recording element, 22 ... Display apparatus, 24 ... ROM, 26 ... Setting part, DESCRIPTION OF SYMBOLS 28 ... Control part, 30 ... Image pick-up element, 32 ... Signal amplifier circuit, 34 ... Flash apparatus, 36 ... White balance adjustment process part, 38 ... Color reproduction process part, 40 ... Saturation adjustment process part, 42 ... Red-eye detection process part 44 ... Red-eye correction processing unit 100 ... Digital camera

Claims

Imaging means for capturing a subject image irradiated with flash light;
Processing means for performing image processing on an image picked up by the image pickup means to generate first and second images having different white balance or color;
Detecting means for detecting, from the first image, a red-eye region generated in a subject image of the first image in response to the flash emission;
A digital camera comprising: correction means for correcting a color in the same area as the red-eye area in the second image.

The digital camera according to claim 1, wherein
The digital camera according to claim 1, wherein the processing unit generates a first image by performing a white balance process for adjusting a white balance of the image according to a light emission amount of the flash light emission.

The digital camera according to claim 1, wherein
Image generating means for generating a reduced image obtained by reducing the image;
The digital camera characterized in that the processing means performs the image processing on the reduced image to generate the first image.

Imaging means for capturing a subject image irradiated with flash light;
First processing means for generating a first image by performing white balance processing on the image captured by the imaging means using first correction information;
Recording means for recording the first image in association with the first and second correction information;
Restoring means for restoring the first image to the original image using the first correction information recorded in the recording means;
Second processing means for generating a second image by performing white balance processing on the original image using second correction information recorded in the recording means;
Detecting means for detecting a red-eye region generated in the subject image of the second image in response to the flash emission;
A digital camera comprising: correction means for correcting a color in the same area as the red-eye area in the first image.