JP2007036462A - Image processing apparatus - Google Patents

Image processing apparatus Download PDF

Info

Publication number
JP2007036462A
JP2007036462A JP2005214443A JP2005214443A JP2007036462A JP 2007036462 A JP2007036462 A JP 2007036462A JP 2005214443 A JP2005214443 A JP 2005214443A JP 2005214443 A JP2005214443 A JP 2005214443A JP 2007036462 A JP2007036462 A JP 2007036462A
Authority
JP
Japan
Prior art keywords
color
specific
area
image
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2005214443A
Other languages
Japanese (ja)
Inventor
Tomokazu Nakamura
友和 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fujifilm Holdings Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Holdings Corp filed Critical Fujifilm Holdings Corp
Priority to JP2005214443A priority Critical patent/JP2007036462A/en
Publication of JP2007036462A publication Critical patent/JP2007036462A/en
Abandoned legal-status Critical Current

Links

Images

Landscapes

  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus for good color correction. <P>SOLUTION: A color image from a photographing part is sent to a first factor determining part 11. The first factor determining part 11 specifies a human face from the color image as a specified object, and extracts a part that is to be flesh color as a specific color from the region of the face. The extracted flesh color is compared with positions of flesh colors reproduced under various light sources and color temperatures, and the kind of light source or color temperature of least color difference is specified as the light source for the color image. Factors corresponding to the specified light source are obtained and set for a white balance adjusting circuit 15, a linear matrix circuit 16 and a color difference matrix circuit 19. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、画像処理装置に関し、さらに詳しくは色補正を行なう画像処理装置に関するものである。   The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus that performs color correction.

例えばデジタルカメラ等の撮影装置では、被写体の色を適切に再現するための色補正機能を有しており、色補正機能の１つとしては、カラーバランスを正確にするためのホワイトバランス調整機能がある。また、所定の表色系において色再現を可能にするための色補正機能もある。   For example, a photographing apparatus such as a digital camera has a color correction function for appropriately reproducing the color of a subject, and one of the color correction functions is a white balance adjustment function for accurately adjusting the color balance. is there. There is also a color correction function for enabling color reproduction in a predetermined color system.

例えばホワイトバランス調整機能は、光源の種類や光源の色温度の違い等によって生じるカラーバランスの崩れを補正するものであり、白あるいはグレーの被写体を撮影した際の赤色，緑色，青色の各信号レベルが同じになるように調整する。ホワイトバランス調整機能としては、色温度の変化等に追随して自動調整するオートホワイトバランス、撮影に利用する光源の下で白色や灰色の紙等の被写体を撮影した状態にして調整を指示することで調整されるリセットホワイトバラン、予め用意された光源の種類、例えば「昼光」，「白熱灯」，「蛍光灯」等を操作者が選択することにより、その選択された光源に応じて調整を行なうプリセットホワイトバランスが知られている。   For example, the white balance adjustment function corrects the loss of color balance caused by the type of light source and the color temperature of the light source, and each red, green, and blue signal level when shooting a white or gray subject. Adjust so that they are the same. The white balance adjustment function includes automatic white balance that automatically adjusts according to changes in color temperature, etc., and directs adjustments after shooting a subject such as white or gray paper under a light source used for shooting. Reset white balun adjusted in step 1, the type of light source prepared in advance, for example, “Daylight”, “Incandescent light”, “Fluorescent light”, etc., can be adjusted according to the selected light source. A preset white balance for performing is known.

上記各種ホワイトバランスの手法のうちオートホワイトバランスでは、撮影中の画像から無彩色領域を推測し、その領域の色情報から光源の種類や色温度を特定したり、画像全体の色の平均が無彩色となるものとして光源の種類や色温度を特定するなどして、適切なカラーバランスとなるようにしており、撮影者が特別な操作をしなくてもよいので便利である。   Among the various white balance methods described above, with auto white balance, an achromatic region is estimated from the image being shot, the type of light source and color temperature are identified from the color information in that region, and there is no average color for the entire image. It is convenient that the color balance is set appropriately by specifying the type and color temperature of the light source as the coloring, and the photographer does not have to perform any special operation.

一方、ソフトフォーカスの画像処理を行なうモードを選択した場合に、撮影した画像の中から肌色領域を識別してその肌色領域が所定の肌色となるように自動的にホワイトバランスを調整するデジタルカメラが特許文献１によって知られている。また、画像内の特定色相にのみに色補正する技術が特許文献２によって知られている。   On the other hand, when a mode for performing soft focus image processing is selected, a digital camera that identifies a skin color area from a photographed image and automatically adjusts white balance so that the skin color area becomes a predetermined skin color. This is known from US Pat. Further, Japanese Patent Application Laid-Open No. 2004-133867 discloses a technique for performing color correction only for a specific hue in an image.

特開２００１−３１１８６７号公報JP 2001-311867 A 特開２００１−９２９５６号公報JP 2001-92956 A

ところで、上記のように、無彩色領域を推測したり、肌色領域を識別したりして、その領域に基づいてホワイトバランスを調整する場合では、画像中に無彩色領域，肌色領域がない場合には正しくホワイトバランスを調整することができない。また、ホワイトバランスが調整されていない下で撮影された画像からでは、無彩色領域や肌色領域を特定できない場合があり、そのような場合にもホワイトバランスを正しく調整することができないという問題がある。このような問題は、ホワイトバランスに限らず各種の色補正する場合にも同様である。   By the way, as described above, when the achromatic region is estimated or the skin color region is identified and the white balance is adjusted based on the region, there is no achromatic region or skin color region in the image. Cannot adjust the white balance correctly. In addition, it may not be possible to specify an achromatic region or a skin color region from an image taken under a white balance that has not been adjusted. In such a case, the white balance cannot be adjusted correctly. . Such a problem is not limited to white balance, but is also applicable to various color corrections.

本発明は上記問題を解消するためになされたもので、好ましい色補正が行える画像処理装置を提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is that it provides an image processing apparatus capable of performing preferable color correction.

上記目的を達成するために、入力されるカラー画像から予め決められた特定対象物の領域を検出する対象領域検出手段と、前記特定対象物の領域が検出された場合に、検出された特定対象物の領域中から前記特定対象物に応じた特定色と推測される部分を特定色領域として抽出する色領域抽出手段と、抽出された特定色領域の色に基づいて、カラー画像の光源の種類または色温度を特定する光源特定手段と、特定した光源の種類または色温度に応じて色補正を行なう色補正手段とを備えたものである。   In order to achieve the above object, target area detecting means for detecting a predetermined target object area from an input color image, and a specific target detected when the specific target object area is detected A color area extracting means for extracting a portion estimated as a specific color corresponding to the specific object from the area of the object as a specific color area, and a type of light source of the color image based on the color of the extracted specific color area Alternatively, light source specifying means for specifying the color temperature and color correction means for performing color correction in accordance with the type or color temperature of the specified light source are provided.

また、入力されるカラー画像から予め決められた特定対象物の領域を検出する対象領域検出手段と、前記特定対象物の領域が検出された場合に、検出された特定対象物の領域中から前記特定対象物に応じた特定色と推測される部分を特定色領域として抽出する色領域抽出手段と、抽出された特定色領域の色が色再現目標の色に近づくように色補正用の係数を求める係数算出手段と、決定された色補正用の係数を用いて色補正を行なう色補正手段とを備えるようにするのもよく、この場合に係数算出手段を、抽出した特定色領域の色と色再現目標の色との色差を最小となる色補正用の係数を求めるようにするのが好ましい。   Further, target area detecting means for detecting a predetermined target object area from the input color image, and when the specific target object area is detected, the target target area is detected from the detected target target area. Color area extraction means for extracting a portion estimated to be a specific color according to a specific object as a specific color area, and a coefficient for color correction so that the color of the extracted specific color area is close to the color reproduction target color It is also possible to provide a coefficient calculation means to be obtained and a color correction means for performing color correction using the determined color correction coefficient. In this case, the coefficient calculation means is configured to select the color of the extracted specific color region. It is preferable to obtain a color correction coefficient that minimizes the color difference from the color reproduction target color.

特定対象物としては、人の顔を採用することがで、このときに特定色を肌色とするのがよい。また、特定対象物の領域の外側の画素値よりも大きな閾値以上の画素の集合部分を特定色領域として抽出するのが簡便であり、検出すべき特定対象物について予め決められた特定対象物の１個以上の特徴部分を抽出し、抽出した特徴部分の位置に基づいて特定色領域として抽出するのも、特定色領域の抽出精度を高くすることができるので、好ましい。   A human face can be adopted as the specific object, and at this time, the specific color is preferably a skin color. In addition, it is convenient to extract a set portion of pixels having a threshold value larger than the pixel value outside the area of the specific object as the specific color area, and the specific object predetermined for the specific object to be detected is extracted. It is also preferable to extract one or more feature parts and extract them as specific color areas based on the positions of the extracted feature parts because the extraction accuracy of the specific color areas can be increased.

光源を特定する際には、所定の色度図上または色空間上における各光源の種類及び色温度によって特定色が再現される色の各位置のうち抽出された特定色領域の色に対応する位置に最も近い位置の光源の種類または色温度を入力される画像の光源の種類または色温度として特定するのがよい。所定の色度図または色空間としては、赤色と緑色の比と青色と緑色の比をそれぞれ軸とする色度図，ＵＣＳ色度図，均等色空間のいずれかを採用するのが好ましい。   When specifying the light source, it corresponds to the color of the specific color region extracted from each position of the color where the specific color is reproduced by the type and color temperature of each light source on a predetermined chromaticity diagram or color space. The type or color temperature of the light source closest to the position may be specified as the type of light source or color temperature of the input image. As the predetermined chromaticity diagram or color space, it is preferable to employ any one of a chromaticity diagram, a UCS chromaticity diagram, and a uniform color space with the ratio of red and green and the ratio of blue and green as axes.

色補正としては、ホワイトバランスを調整するホワイトバランス調整手段，ＲＧＢ信号に対してマトリクス演算を行なって色補正を行なう補正手段，色差信号に対してマトリクス演算を行って色補正を行なう補正手段に利用可能である。   For color correction, white balance adjustment means for adjusting white balance, correction means for performing color correction by performing matrix calculation on RGB signals, and correction means for performing color correction by performing matrix calculation on color difference signals Is possible.

本発明によれば、特定対象物の領域を検出し、その特定対象物の領域から特定色と推測される特定色領域を抽出しているので、特定色の部分を精度良く抽出し、その部分の色から光源の種類または色温度を特定して色補正行なう、あるいは抽出された部分の色が色再現目標の色に近づくように求めた色補正用の係数を用いて色補正を行なうから適切な色再現性を得ることができる。   According to the present invention, since a specific color area that is assumed to be a specific color is extracted from the area of the specific target object by detecting the specific target area, the specific color portion is accurately extracted, and the portion Appropriate because color correction is performed by specifying the type of light source or color temperature from the color of the color, or using the color correction coefficient obtained so that the color of the extracted portion approaches the color reproduction target color. Color reproducibility can be obtained.

図１に本発明を実施したデジタルカメラの構成を示す。デジタルカメラ２は、図示しないレリーズボタンの操作に応答して、イメージセンサで撮影した被写体像を記憶媒体に記録するように構成されている。画像入力手段としての撮影部３は、撮影レンズ４，イメージセンサ５，アンプ６，Ａ／Ｄ変換器７から構成してある。撮影レンズ４は、ピント調節機構（図示省略）により被写体にピントが合致するように調整される。撮影レンズ４の背後にイメージセンサ５を配してある。   FIG. 1 shows the configuration of a digital camera embodying the present invention. The digital camera 2 is configured to record a subject image captured by an image sensor in a storage medium in response to an operation of a release button (not shown). The photographing unit 3 serving as an image input means includes a photographing lens 4, an image sensor 5, an amplifier 6, and an A / D converter 7. The taking lens 4 is adjusted by a focus adjustment mechanism (not shown) so that the subject is in focus. An image sensor 5 is disposed behind the taking lens 4.

イメージセンサ５は、入射する光をその光量に応じた電荷に変換して蓄積する多数の画素を受光面にマトリクス状に配列してあり、撮影レンズ４によって受光面に結像される光学的な画像を電気的な画像信号に変換して出力する。イメージセンサ５は、カラー画像を撮影するためのものであって、その各画素には、赤色（Ｒ），緑色（Ｇ），青色（Ｂ）のいずれかの微小なカラーフィルタが設けられており、これら画素で蓄積される電荷が順次に転送されることで電気的な画像信号に変換されて出力される。イメージセンサ５としては、ＣＣＤイメージセンサやＭＯＳ型等の各種のものを利用できる。   In the image sensor 5, a large number of pixels that convert incident light into charges corresponding to the amount of light and store the same are arranged in a matrix on the light receiving surface, and an optical image formed on the light receiving surface by the photographing lens 4. The image is converted into an electrical image signal and output. The image sensor 5 is for taking a color image, and each pixel is provided with a minute color filter of red (R), green (G), or blue (B). The charges accumulated in these pixels are sequentially transferred to be converted into an electrical image signal and output. As the image sensor 5, various types such as a CCD image sensor and a MOS type can be used.

アンプ６は、画像信号を適当なゲインで増幅する。Ａ／Ｄ変換器７は、アンプ６によって増幅された画像信号を電荷の転送に同期してサンプリングすることによって、その信号レベルに応じた画像データを出力する。この画像データへの変換により、赤色のカラーフィルタを有する画素からは赤色画像データが、緑色のカラーフィルタを有する画素からは緑色画像データが、青色のカラーフィルタを有する画素からは青色画像データが生成される。この画像データはいわゆるＣＣＤ−ＲＡＷデータと呼ばれるものである。   The amplifier 6 amplifies the image signal with an appropriate gain. The A / D converter 7 samples the image signal amplified by the amplifier 6 in synchronization with the charge transfer, and outputs image data corresponding to the signal level. This conversion to image data produces red image data from pixels with a red color filter, green image data from pixels with a green color filter, and blue image data from pixels with a blue color filter. Is done. This image data is so-called CCD-RAW data.

撮影部３からの画像データは、画像処理ユニット８に送られる。画像処理ユニット８は、撮影部３で撮影された撮影画像（入力画像）のホワイトバランスの調整及び色補正を行なうものであり、データ処理部１０，第１係数決定部１１，第２係数決定部１２，制御部１３からなる。   Image data from the imaging unit 3 is sent to the image processing unit 8. The image processing unit 8 performs white balance adjustment and color correction of a photographed image (input image) photographed by the photographing unit 3, and includes a data processing unit 10, a first coefficient determining unit 11, and a second coefficient determining unit. 12 and control unit 13.

データ処理部１０は、ホワイトバランス調整回路１５，リニアマトリクス回路１６，γ変換回路１７，ＲＧＢ補間／ＹＣ変換回路（以下、補間／変換回路という）１８，色差マトリクス回路１９から構成される。   The data processing unit 10 includes a white balance adjustment circuit 15, a linear matrix circuit 16, a γ conversion circuit 17, an RGB interpolation / YC conversion circuit (hereinafter referred to as an interpolation / conversion circuit) 18, and a color difference matrix circuit 19.

ホワイトバランス調整回路１５は、光源の種類あるいは光源の色温度に応じた比率で各色の画像データを増減することにより、撮影画像を適切なホワイトバランスに調整、すなわち白色が色味を帯びないように色補正する。このホワイトバランス調整回路１５によるホワイトバランスの調整は、調整前の赤色，緑色，青色の画像データをＲ0，Ｇ0，Ｂ0、調整後の赤色，緑色，青色の画像データをＲ1，Ｇ1，Ｂ1としたときに、次の式（１）〜（３）によって行なわれる。式中のホワイトバランス係数α，β，γは、第１係数決定部１１または第２係数決定部１２によって、光源の種類または色温度に応じた値が設定される。なお、この例では、３色の各画像データにホワイトバランス係数をそれぞれ乗じているが、１色を基準にして他の２色を増減するように、例えば緑色を基準にして２色（赤色と青色）の画像データに係数を乗じるように構成することもできる。
Ｒ1＝α・Ｒ0・・・（１）
Ｇ1＝β・Ｇ0・・・（２）
Ｂ1＝γ・Ｂ0・・・（３） The white balance adjustment circuit 15 adjusts the captured image to an appropriate white balance by increasing / decreasing the image data of each color at a ratio according to the type of light source or the color temperature of the light source, that is, white is not tinted. Correct the color. The white balance adjustment by the white balance adjustment circuit 15 is performed by R 0 , G 0 , B 0 for red, green, and blue image data before adjustment, and R 1 , G for red, green, and blue image data after adjustment. when the 1, B 1, is performed by the following equation (1) to (3). The white balance coefficients α, β, and γ in the equation are set by the first coefficient determination unit 11 or the second coefficient determination unit 12 according to the type of light source or the color temperature. In this example, each of the three color image data is multiplied by a white balance coefficient. However, for example, two colors (red and red) are defined based on green so that the other two colors are increased or decreased based on one color. The image data of blue) may be multiplied by a coefficient.
R 1 = α · R 0 (1)
G 1 = β · G 0 (2)
B 1 = γ · B 0 (3)

ホワイトバランス調整回路１５からの各色の画像データは、リニアマトリクス回路１６に送られる。このリニアマトリクス回路１６は、入力される各色の画像データにマトリクス演算を行なうことで、イメージセンサ４のカラーフィルタの分光特性等に応じた色補正を撮影画像に行なう。リニアマトリクス回路１６は、１画素についての補正前の赤色，緑色，青色の画像データをＲ1，Ｇ1，Ｂ1、補正後の赤色，緑色，青色の画像データをＲ2，Ｇ2，Ｂ2としたときに、次の式（４）〜（６）で示される演算処理を行なう。式中のリニアマトリクス係数ａij（ｉ，ｊ＝１，２，３）は、第１係数決定部１１または第２係数決定部１２によって、光源の種類または色温度に応じた値のものが設定される。
Ｒ2＝ａ11・Ｒ1＋ａ12・Ｇ1＋ａ13・Ｂ1・・・（４）
Ｇ2＝ａ21・Ｒ1＋ａ22・Ｇ1＋ａ23・Ｂ1・・・（５）
Ｂ2＝ａ31・Ｒ1＋ａ32・Ｇ1＋ａ33・Ｂ1・・・（６） The image data of each color from the white balance adjustment circuit 15 is sent to the linear matrix circuit 16. The linear matrix circuit 16 performs color correction on the photographed image according to the spectral characteristics of the color filter of the image sensor 4 by performing matrix calculation on the input image data of each color. The linear matrix circuit 16 uses R 1 , G 1 , B 1 for red, green, and blue image data before correction for one pixel, and R 2 , G 2 , B for red, green, and blue image data after correction. When set to 2 , the arithmetic processing represented by the following equations (4) to (6) is performed. The linear matrix coefficients a ij (i, j = 1, 2, 3) in the equation are set by the first coefficient determination unit 11 or the second coefficient determination unit 12 according to the type of light source or the color temperature. Is done.
R 2 = a 11 · R 1 + a 12 · G 1 + a 13 · B 1 ··· (4)
G 2 = a 21 · R 1 + a 22 · G 1 + a 23 · B 1 (5)
B 2 = a 31 · R 1 + a 32 · G 1 + a 33 · B 1 (6)

なお、リニアマトリクス回路１６に入力される画像データは、１画素について１色であるので、マトリクス演算の前処理として、後述する補間／変換回路１８と同様なＲＧＢ補間処理、あるいはより簡易なＲＧＢ補間処理で１画素について３色の画像データを取得している。   Since the image data input to the linear matrix circuit 16 has one color for each pixel, RGB interpolation processing similar to the interpolation / conversion circuit 18 described later or simpler RGB interpolation is performed as preprocessing for matrix calculation. Three color image data is acquired for one pixel in the processing.

γ変換回路１７には、リニアマトリクス回路１６からの画像データが入力される。このγ変換回路１７は、入力される画像データに対して階調変換処理を行なうことによって、ディスプレイ等の再生系の階調特性に応じた階調に撮影画像を補正する。   Image data from the linear matrix circuit 16 is input to the γ conversion circuit 17. The γ conversion circuit 17 corrects a photographed image to a gradation according to the gradation characteristics of a reproduction system such as a display by performing a gradation conversion process on the input image data.

補間／変換回路１８は、各画素のそれぞれについて、欠落している２色の色情報を補間して３色の画像データとするＲＧＢ補間処理と、赤色，緑色，青色を表す画像データを輝度（Ｙ）及び各色差（Ｃｒ，Ｃｂ）で表す画像データに変換する。補間／変換回路１８からの輝度及び各色差の画像データは、色差マトリクス回路１９に送られる。   For each pixel, the interpolation / conversion circuit 18 interpolates the missing two-color information into three-color image data, and converts the image data representing red, green, and blue into luminance ( Y) and image data represented by each color difference (Cr, Cb). The luminance and color difference image data from the interpolation / conversion circuit 18 are sent to the color difference matrix circuit 19.

色差マトリクス回路１９は、輝度及び各色差で色再現を行なうＹＣ系において適切な色再現となるように色補正を行なう。この色差マトリクス回路１９は、輝度，各色差の補正前の画像データをＹ2，Ｃｒ2，Ｃｂ2、補正後の画像データをＹ3，Ｃｒ3，Ｃｂ3としたときに、次の式（７）〜（９）に示す演算処理を行なう。式中の色差マトリクス係数ｃij（ｉ，ｊ＝１，２，３）は、第１係数決定部１１または第２係数決定部１２によって、光源の種類または色温度に応じた値のものが設定される。色差マトリクス回路１９からの画像データは、出力系に送られる。
Ｙ3＝Ｙ2 ・・・（７）
Ｃｒ3＝Ｃ11・Ｃｒ2＋Ｃ12・Ｃｂ2・・・（８）
Ｃｂ3＝Ｃ21・Ｃｒ2＋Ｃ22・Ｃｂ2・・・（９） The color difference matrix circuit 19 performs color correction so as to achieve appropriate color reproduction in a YC system that performs color reproduction with luminance and each color difference. The color difference matrix circuit 19, the luminance, the image data before correction of the color difference Y 2, Cr 2, Cb 2 , the image data after correction is taken as Y 3, Cr 3, Cb 3 , the following equation ( The arithmetic processing shown in 7) to (9) is performed. The color difference matrix coefficient c ij (i, j = 1,2,3) in the equation is set by the first coefficient determination unit 11 or the second coefficient determination unit 12 to have a value corresponding to the type of light source or the color temperature. Is done. The image data from the color difference matrix circuit 19 is sent to the output system.
Y 3 = Y 2 (7)
Cr 3 = C 11 · Cr 2 + C 12 · Cb 2 (8)
Cb 3 = C 21 · Cr 2 + C 22 · Cb 2 (9)

出力系は、ＲＧＢ変換部２１とメモリ部２２とから構成してあり、ＲＧＢ変換部２１で輝度，各色差の画像データを再び赤色，緑色，青色の画像データに変換した後に、メモリ部２２でデータ圧縮等の処理を行なってから記憶媒体、例えばデジタルカメラに装着されたメモリカードに書き込む。なお、出力形態としては種々のものを採用することができ、メモリカード等に記憶する他、例えばディスプレイ等に表示したり、記録紙にプリントしたりしてもよい。   The output system includes an RGB conversion unit 21 and a memory unit 22. The RGB conversion unit 21 converts the luminance and color difference image data into red, green, and blue image data again, and then the memory unit 22 performs conversion. After processing such as data compression, the data is written in a storage medium, for example, a memory card attached to a digital camera. Note that various output forms can be employed, and they may be stored on a memory card or the like, or displayed on a display or printed on recording paper, for example.

第１係数決定部１１は、詳細を後述するように、撮影画像に基づいて光源の種類あるいは色温度を特定し、その特定した光源の種類あるいは色温度に応じた適切なホワイトバランス係数α，β，γ、リニアマトリクス係数ａij、色差マトリクス係数Ｃijを算出して、ホワイトバランス調整回路１５，リニアマトリクス回路１６，色差マトリクス回路１９に設定する。 As will be described in detail later, the first coefficient determination unit 11 specifies the type or color temperature of the light source based on the captured image, and appropriate white balance coefficients α and β according to the specified type or color temperature of the light source. , Γ, linear matrix coefficient a ij , and color difference matrix coefficient C ij are calculated and set in the white balance adjustment circuit 15, linear matrix circuit 16, and color difference matrix circuit 19.

第２係数決定部１２は、ホワイトバランス係数α，β，γ、リニアマトリクス係数ａij，色差マトリクス係数Ｃijを対応する各回路１５，１６，１９に設定するが、第２係数決定部１２は、撮影画像に基づいて従来の方式を用いて設定すべき各係数を算出する。従来の手法としては、例えば画像全体の色の平均が無彩色となるように各係数を算出する方式を用いたり、無彩色領域を推測してその部分の画像データから光源の種類や色温度を特定したりする方式等の公知の各種方式を採用することができる。また、第２係数決定部１２に外部からの操作で光源の種類や色温度を指定し、それに基づいた各係数を設定するように構成してもよい。 The second coefficient determination unit 12 sets the white balance coefficients α, β, γ, the linear matrix coefficient a ij , and the color difference matrix coefficient C ij in the corresponding circuits 15, 16, 19, but the second coefficient determination unit 12 Based on the photographed image, each coefficient to be set is calculated using a conventional method. As a conventional method, for example, a method of calculating each coefficient so that the average of the color of the entire image becomes an achromatic color, or an achromatic color region is estimated and the type of light source and the color temperature are determined from the image data of that portion. Various known methods such as a specifying method can be employed. Alternatively, the second coefficient determination unit 12 may be configured to specify the type of light source and the color temperature by an external operation, and to set each coefficient based thereon.

制御部１３は、上記各回路１５，１６，１９への各係数の設定を制御する。この制御部１３の制御により、後述のように第１係数決定回路１１が所定の手順での係数決定を行うことができたときに、この第１係数決定部１１によって決定された各係数の設定を行い、それ以外のときには第２係数決定部１２によって決定された各係数の設定を行う。   The control unit 13 controls the setting of each coefficient in each of the circuits 15, 16 and 19. When the first coefficient determination circuit 11 can determine a coefficient in a predetermined procedure as described later under the control of the control unit 13, the setting of each coefficient determined by the first coefficient determination unit 11 is performed. In other cases, the coefficients determined by the second coefficient determination unit 12 are set.

第１係数決定部１１は、例えば演算を行なうＣＰＵ，係数決定のためのプログラムや後述する各種光源下で肌色が再現される色の情報を記憶したＲＯＭ，ワークメモリとして利用されるＲＡＭ等から構成されており、撮影部２からの画像データに基づいて各係数を算出する。なお、図１には、第１係数決定部１１を機能ブロックで示してある。   The first coefficient determination unit 11 includes, for example, a CPU that performs calculation, a coefficient determination program, a ROM that stores color information for reproducing skin color under various light sources described later, a RAM that is used as a work memory, and the like. Each coefficient is calculated based on the image data from the photographing unit 2. In FIG. 1, the first coefficient determination unit 11 is shown as a functional block.

対象領域検出手段２４は、特定対象物の領域を撮影画像中から検出する特定対象物検出処理を行なう。この例では、人の顔を特定対象物としており、図２に模式的に示すように、入力される画像３０から特定対象物（人の顔）の領域３１を検出する。この対象領域検出手段２４による特定対象物の領域の検出は、例えば画像中の赤色画像データを参照して濃度変化や形状等を調べて判断することで行なわれる。   The target area detection means 24 performs a specific target object detection process for detecting a specific target area from a captured image. In this example, a human face is used as a specific object, and a region 31 of the specific object (human face) is detected from an input image 30 as schematically shown in FIG. The detection of the area of the specific object by the object area detection means 24 is performed by examining and determining the density change, the shape, etc. with reference to the red image data in the image, for example.

また、対象領域検出手段２４は、人の顔を検出できたか否かの結果を制御部１３に送り、この結果に基づいて制御部１３が第１係数決定部１１または第２係数決定部１２のいずれからの各係数を設定するか否かを制御する。なお、特定対象物の検出が可能であったか否かに代えて、後述する特定色領域が抽出できたか否か、光源の種類あるいは色温度が適切に特定できたか否かなどを判断して、その結果に基づいて制御を行なってもよい。   In addition, the target area detection unit 24 sends a result indicating whether or not a human face has been detected to the control unit 13, and the control unit 13 determines whether the first coefficient determination unit 11 or the second coefficient determination unit 12 is based on the result. It controls whether to set each coefficient. Instead of determining whether or not a specific object can be detected, it is determined whether or not a specific color region described later has been extracted, whether or not a light source type or color temperature has been appropriately specified, and the like. Control may be performed based on the result.

色領域抽出手段２５は、対象領域検出手段２４で検出された特定対象物の領域中から、特定対象物に特有な特定色であると推測される部分を特定色領域として抽出する色領域抽出処理を行なう。この例では、人の顔を特定対象物としていることに対応して肌色を特定色として予め決めてあり、色領域抽出手段２５は、特定対象物の領域から肌色となると推測される部分を特定色領域として抽出する。   The color area extraction means 25 extracts a color area extraction process for extracting, as a specific color area, a portion that is presumed to be a specific color unique to the specific object from the area of the specific object detected by the target area detection means 24. To do. In this example, the skin color is determined in advance as a specific color corresponding to the person's face as the specific target, and the color area extraction unit 25 specifies the part that is assumed to be the skin color from the specific target area. Extract as a color area.

また、特定色領域の抽出では、特定対象物の領域の外側の画素値よりも大きな閾値以上の画素の集合部分を特定色領域として抽出する。画素値としては、赤色，緑色，青色のいずれかの信号レベルであってもよく、赤色，緑色，青色の信号レベルから算出することができる輝度であってもよい。また、特定対象物の領域の外側の画素値としては、その領域の外側の各画素値の平均値、すなわち平均輝度または赤色，緑色，青色のいずれかの信号レベルの平均値を用いるのがよい。この例では、色領域抽出手段２５は、図２に示すように、特定対象物（人の顔）の領域３１の周囲に設定した適当なサイズの外領域３２の平均輝度を求め、その平均輝度よりも大きな閾値以上となる特定対象物の領域３１の部分を特定色領域として抽出する。   In the extraction of the specific color area, a set portion of pixels having a threshold value larger than the pixel value outside the area of the specific object is extracted as the specific color area. The pixel value may be any one of red, green, and blue signal levels, and may be a luminance that can be calculated from the red, green, and blue signal levels. Further, as the pixel value outside the area of the specific object, it is preferable to use an average value of each pixel value outside the area, that is, an average luminance or an average value of signal levels of red, green, and blue. . In this example, as shown in FIG. 2, the color area extraction means 25 obtains the average luminance of the outer area 32 of an appropriate size set around the area 31 of the specific object (human face), and calculates the average luminance. A portion of the region 31 of the specific object that is greater than or equal to a larger threshold is extracted as a specific color region.

なお、この例においては特定対象物を人の顔とし、それに応じて特定色を肌色としているが、特定対象物と特定色の組み合せとしては、例えば草木と緑色，空と青色あるいは雲と白色等のように、あまり大きな色の差がない特有な色を持つも対象物と色の組み合わせであればよく、種々の特定対象物と特定色とを採用することができる。   In this example, the specific object is a human face, and the specific color is a skin color accordingly. As a combination of the specific object and the specific color, for example, plants and green, sky and blue, clouds and white, etc. As described above, a specific color having no great color difference may be used as long as it is a combination of an object and a color, and various specific objects and specific colors can be adopted.

光源特定手段２６は、入力されるカラー画像の光源の種類または色温度を特定する光源特定処理を行なう。光源特定処理には、抽出された特定色領域の代表色を求める代表色算出処理、所定の色空間または色度図上にける代表色と各種の光源下及び色温度の光源下で再現される特定色の色（以下、再現色という）との各色差（距離）を比較し、その比較結果に基づいて光源の種類または色温度を特定する比較特定処理とが含まれる。   The light source specifying means 26 performs a light source specifying process for specifying the type or color temperature of the light source of the input color image. In the light source identification process, a representative color calculation process for obtaining a representative color of the extracted specific color region, a representative color in a predetermined color space or chromaticity diagram, and various light sources and color light sources are reproduced. A comparison specifying process for comparing each color difference (distance) with a specific color (hereinafter referred to as a reproduction color) and specifying the type of light source or the color temperature based on the comparison result is included.

この例では、代表色算出処理及び比較特定処理には、図３に示すように、赤色と緑色の比（Ｒ／Ｇ）と青色と緑色の比（Ｂ／Ｇ）をそれぞれ軸とする色度図（以下、Ｒ／Ｇ−Ｂ／Ｇ色度図という）を用いている。また、光源の種類としては昼光色蛍光灯、昼白色蛍光灯，白色蛍光灯を、色温度としては２５００Ｋ〜９４００Ｋの間で特定するようしてあり、特定色である肌色の各光源下、及び各色温度の光源下での再現色をそれぞれＲ／Ｇ−Ｂ／Ｇ色度図上の再現色座標としてＲＯＭに記憶してある。図３では、Ｒ／Ｇ−Ｂ／Ｇ色度図上における、各色温度の光源下での再現色の位置を符号Ｓ１〜Ｓ３で、また各色温度の光源下での再現色の位置を符号ＳＬで示す曲線で示してある。なお、再現色座標は、実験値や理論値として求めている。   In this example, as shown in FIG. 3, the representative color calculation process and the comparison specific process include chromaticities with the ratio of red to green (R / G) and the ratio of blue to green (B / G) as axes. FIG. (Hereinafter referred to as R / GB / G chromaticity diagram) is used. Further, the daylight fluorescent lamp, the daylight white fluorescent lamp, and the white fluorescent lamp are specified as the types of light sources, and the color temperature is specified between 2500K to 9400K. Reproduced colors under a temperature light source are stored in the ROM as reproduced color coordinates on the R / GB / G chromaticity diagram. In FIG. 3, on the R / GB / G chromaticity diagram, the position of the reproduced color under the light source of each color temperature is denoted by reference numerals S1 to S3, and the position of the reproduced color under the light source of each color temperature is denoted by reference numeral SL. It is shown by the curve shown by. The reproduced color coordinates are obtained as experimental values or theoretical values.

代表色算出処理では、特定色領域の各画像データを用いて、特定色領域の各画素の色をＲ／Ｇ−Ｂ／Ｇ色度図上の座標にそれぞれ変換し、それら各座標の重心の座標を求める。このようにして、特定色領域中の各画素の色を代表する代表色をその座標として求める。   In the representative color calculation process, using the image data of the specific color region, the color of each pixel of the specific color region is converted into coordinates on the R / GB / G chromaticity diagram, and the center of gravity of each coordinate is calculated. Find the coordinates. In this way, a representative color representing the color of each pixel in the specific color region is obtained as its coordinates.

比較特定処理では、代表色算出処理で求めた代表色の座標を基点とした各再現色座標への各距離をそれぞれ求め、それら距離を比較し、この比較で最も距離が最も短くなる再現色座標に対応する光源の種類を撮影画像の光源の種類として特定する。   In the comparison and identification process, each distance to each reproduction color coordinate based on the coordinates of the representative color obtained in the representative color calculation process is obtained, the distances are compared, and the reproduction color coordinate having the shortest distance in this comparison is obtained. The type of light source corresponding to is specified as the type of light source of the captured image.

光源の種類または色温度を特定する際には、上記のＲ／Ｇ−Ｂ／Ｇ色度図の他の色度図あるいは色空間を用いることができるが、光源の種類，色温度を精度よく特定する点からは、色度図上または色空間上における任意の方向に対して、等しい距離が等しい色差となるようなＵＣＳ色度図や均等色空間を用いるのが好ましい。   When specifying the type or color temperature of the light source, another chromaticity diagram or color space of the above R / GB / G chromaticity diagram can be used. From a specific point, it is preferable to use a UCS chromaticity diagram or a uniform color space in which an equal distance gives an equal color difference in an arbitrary direction on the chromaticity diagram or the color space.

また、第１係数決定部１１には、１画素について１色の画像データが入力されるから、例えば補間／変換回路１８と同様なＲＧＢ補間処理、あるいはより簡易なＲＧＢ補間処理によって１画素について３色の画像データを取得してから、画素の色をＲ／Ｇ−Ｂ／Ｇ色度図上の座標にそれぞれ変換して、代表色の座標を求める。代表色の座標を求める手法は、これに限らず、例えば赤色，緑色，青色の各画素がそれぞれ１個以上含まれる複数の小領域に特定色領域を分割し、小領域の各画素の３色の各画像データを用いてその小領域についての色の色空間上の座標を算出して、各小領域の座標から代表色の座標を求めてもよい。また、特定色領域内の各赤色画像データの平均値、緑色画像データの平均値，青色画像データの平均値をそれぞれ求め、その平均値から色空間上の代表色の座標を求めてもよい。   Further, since one color of image data is input to the first coefficient determination unit 11, for example, the same RGB interpolation processing as that of the interpolation / conversion circuit 18, or simpler RGB interpolation processing, 3 for each pixel. After obtaining the color image data, the pixel color is converted into coordinates on the R / GB / G chromaticity diagram to obtain the coordinates of the representative color. The method for obtaining the coordinates of the representative color is not limited to this. For example, the specific color region is divided into a plurality of small regions each including one or more pixels of red, green, and blue, and three colors of each pixel in the small region are obtained. The coordinates of the color of the small area may be calculated using each image data, and the coordinates of the representative color may be obtained from the coordinates of each small area. Alternatively, the average value of each red image data, the average value of green image data, and the average value of blue image data in a specific color region may be obtained, and the coordinates of representative colors in the color space may be obtained from the average values.

ＷＢ係数算出手段２７は、光源検出手段２６によって特定された光源の種類または色温度に対して適切となるホワイトバランス係数α，β，γを算出する。また、マトリクス係数算出手段２８は、特定された光源の種類または色温度に対して適切となるリニアマトリクス補正係数ａijと、色差マトリクス係数ｃijとを算出する。 The WB coefficient calculation unit 27 calculates white balance coefficients α, β, and γ that are appropriate for the type or color temperature of the light source specified by the light source detection unit 26. In addition, the matrix coefficient calculation unit 28 calculates a linear matrix correction coefficient a ij and a color difference matrix coefficient c ij that are appropriate for the specified light source type or color temperature.

なお、各色温度について、適当な個数のいくつかの色温度について再現色座標を用意しておき、２点の各再現色座標の間を線形補間するなどして、距離、色温度を算出，特定するようにしてもよい。また、光源の種類また色温度毎の各係数を予め用意しておき、光源の種類また色温度に応じて、対応する係数を取り出すようにしてもよいが、各係数を記憶に必要なデータ容量を考慮すると、適当な個数のいくつかの色温度についてホワイトバランス係数，リニアマトリクス補正係数、色差マトリクス係数を用意しておき、２点の各再現色座標の間の各係数を線形補間によって求めるようにすることが好ましい。   For each color temperature, reproduction color coordinates are prepared for an appropriate number of color temperatures, and distances and color temperatures are calculated and specified by linear interpolation between the two reproduction color coordinates. You may make it do. Also, each coefficient for each light source type or color temperature may be prepared in advance, and the corresponding coefficient may be extracted according to the light source type or color temperature. In consideration of the above, white balance coefficients, linear matrix correction coefficients, and color difference matrix coefficients are prepared for an appropriate number of color temperatures, and each coefficient between two reproduction color coordinates is obtained by linear interpolation. It is preferable to make it.

次に上記構成の作用について説明する。デジタルカメラを起動すると、イメージセンサ５によるカラー画像の撮影が行なわれ、被写体像が画像信号に変換されて出力される。画像信号は、アンプ６，Ａ／Ｄ変換器７を介して画像データに変換されてから、ホワイトバランス調整回路１５，第１，第２係数決定部１１，１２にそれぞれ送られる。   Next, the operation of the above configuration will be described. When the digital camera is activated, a color image is taken by the image sensor 5, and the subject image is converted into an image signal and output. The image signal is converted into image data through the amplifier 6 and the A / D converter 7 and then sent to the white balance adjustment circuit 15 and the first and second coefficient determination units 11 and 12, respectively.

上記のように画像データが入力されると第１係数決定部１１は、画像データを用いて特定対象物検出処理を行ない、画像データのうちの赤色画像データに基づいて人の顔を特定対象物として、撮影画像中から特定対象物の領域を検出する。そして、特定対象物の領域が検出されると、引き続き特定対象物の領域から特定色領域として抽出する色領域抽出処理を行なう。この色領域抽出処理により、撮影画像中の人の顔の領域中に含まれる肌色であると推測される部分が特定色領域として抽出される。このように濃度変化や形状等から人の顔の領域を特定し、その領域から肌色となるであろう部分を抽出しているので特定色、すなわち肌色の部分を精度良く抽出可能である。   When the image data is input as described above, the first coefficient determination unit 11 performs the specific object detection process using the image data, and identifies the human face based on the red image data of the image data. As described above, the region of the specific object is detected from the captured image. When the area of the specific object is detected, a color area extraction process for extracting the area of the specific object as the specific color area is performed. By this color area extraction processing, a part that is presumed to be a skin color included in the human face area in the photographed image is extracted as the specific color area. As described above, the human face region is specified from the density change, shape, and the like, and the portion that will be the skin color is extracted from the region, so that the specific color, that is, the skin color portion can be extracted with high accuracy.

次に、上記のように抽出した特定色領域内の各画素の画像データを用いて代表色算出処理が行なわれる。すなわち、特定色領域内の各画素の色は、Ｒ／Ｇ−Ｂ／Ｇ色度図上における座標に変換された後に、各座標の重心が求められ、その座標が特定色領域の代表色の座標とされる。次に比較特定処理が行なわれ、求めた代表色の座標と予め求めてＲＯＭに保持している各再現色座標との距離をそれぞれ算出し、それら距離を比較する。そして、この比較で距離が最も短い再現色座標に対応する光源の種類または色温度が撮影画像の光源の種類または色温度として特定される。   Next, a representative color calculation process is performed using the image data of each pixel in the specific color area extracted as described above. That is, the color of each pixel in the specific color area is converted into coordinates on the R / GB / G chromaticity diagram, and then the center of gravity of each coordinate is obtained, and the coordinates are the representative colors of the specific color area. It is a coordinate. Next, a comparison specifying process is performed, and the distances between the obtained representative color coordinates and the reproduction color coordinates obtained in advance and stored in the ROM are calculated, and the distances are compared. In this comparison, the type or color temperature of the light source corresponding to the reproduction color coordinate having the shortest distance is specified as the type or color temperature of the light source of the captured image.

上記のようにして光源の種類または色温度を特定すると、第１係数決定部１１は、特定された光源の種類または色温度に対して適切となるホワイトバランス係数α，β，γと、リニアマトリクス係数ａijと、色差マトリクス係数ｃijとを算出する。 When the type or color temperature of the light source is specified as described above, the first coefficient determination unit 11 determines the white balance coefficients α, β, γ appropriate for the specified type or color temperature of the light source, and the linear matrix. A coefficient a ij and a color difference matrix coefficient c ij are calculated.

そして、この場合には特定対象物の領域が検出されているので、制御部１３による制御によって、上記のようにして算出されたホワイトバランス係数α，β，γがホワイトバランス調整回路１５に、またリニアマトリクス係数ａijがリニアマトリクス回路１６に、さらに色差マトリクス係数ｃijが色差マトリクス回路１９にそれぞれ設定される。なお、この場合には、第２係数決定部１２による係数の設定は行なわれない。 In this case, since the area of the specific object is detected, the white balance coefficients α, β, and γ calculated as described above are supplied to the white balance adjustment circuit 15 by the control of the control unit 13. The linear matrix coefficient a ij is set in the linear matrix circuit 16, and the color difference matrix coefficient c ij is set in the color difference matrix circuit 19. In this case, the coefficient is not set by the second coefficient determination unit 12.

以上のようにして決定された各係数が設定されると、それ以降撮影部３からの撮影画像は、その設定されたホワイトバランス係数α，β、γを用いてホワイトバランス調整回路１５でホワイトバランスの調整が行なわれ、またリニアマトリクス係数ａijを用いたリニアマトリクス回路１６による演算処理、及び色差マトリクス係数ｃijを用いた色差マトリクス回路１９による演算処理で色補正が行なわれる。最適な色再現性が得られる。 When the coefficients determined as described above are set, the captured image from the imaging unit 3 is then white balance adjusted by the white balance adjustment circuit 15 using the set white balance coefficients α, β, γ. In addition, color correction is performed by arithmetic processing by the linear matrix circuit 16 using the linear matrix coefficient a ij and arithmetic processing by the color difference matrix circuit 19 using the color difference matrix coefficient c ij . Optimal color reproducibility is obtained.

例えば、上記のような各係数を決定する処理がレリーズボタンを半押しとすることに応答して行なわれ、レリーズボタンを全押しにすると、その決定された各係数ホワイトバランスの調整、各色補正が施された画像がメモリカードに書き込まれる。これにより、最適な色再現性を有するカラー画像を得ることができる。   For example, the processing for determining each coefficient as described above is performed in response to half-pressing the release button, and when the release button is fully pressed, adjustment of each coefficient white balance and correction of each color determined are performed. The applied image is written to the memory card. Thereby, a color image having optimum color reproducibility can be obtained.

一方、第１係数決定部１１によって、入力された撮影画像から特定対象物の領域が検出されなかった場合には、第２係数決定部１２による公知の手法で画像データから光源の種類あるいは色温度が特定され、それに基づいて決定されたホワイトバランス係数α，β，γ、リニアマトリクス係数ａij、色差マトリクス係数ｃijが各回路１５，１６，１９にそれぞれ設定され、それら係数を用いたホワイトバランスの調整，色補正が行なわれる。これにより、人の顔を撮影していない場合でも、ある程度適切な色再現性を得ることができる。 On the other hand, if the region of the specific object is not detected from the input captured image by the first coefficient determination unit 11, the type or color temperature of the light source is determined from the image data by a known method by the second coefficient determination unit 12. Are determined and white balance coefficients α, β, γ, linear matrix coefficients a ij , and color difference matrix coefficients c ij determined based on the white balance coefficients α, β, and γ are set in the circuits 15, 16, and 19, respectively. Adjustment and color correction. Thereby, even when a human face is not photographed, appropriate color reproducibility can be obtained to some extent.

上記実施形態では、検出された特定対象物としての人の顔の領域の周囲に適当なサイズの外領域を設定し、その外領域の平均輝度を参考に肌色となる特定色領域を抽出しているが、抽出の手法はこれに限るものではなく、特定対象物の１個以上の形状や色，色の変化等に特徴を有する特徴部分を抽出し、その抽出した特徴部分の位置に基づいて特定色領域を抽出してもよい。例えば、図４に示すように、特定対象領域として検出された顔の領域３１内から、特徴部分として目，鼻，口等の顔の構成部を検出し、それらの位置関係から頬の部分を特定し、その頬の部分を特定色領域３５として抽出するようにししてもよい。このようにすることによって、肌色の領域をより精度よく抽出することができる。   In the above embodiment, an outer area of an appropriate size is set around the human face area as the detected specific object, and the specific color area that becomes the skin color is extracted with reference to the average luminance of the outer area. However, the extraction method is not limited to this, and a feature part having a feature in one or more shapes, colors, color changes, and the like of a specific object is extracted, and based on the position of the extracted feature part A specific color region may be extracted. For example, as shown in FIG. 4, from the face region 31 detected as the specific target region, face constituent parts such as eyes, nose and mouth are detected as characteristic parts, and the cheek portion is determined from their positional relationship. The cheek portion may be identified and extracted as the specific color region 35. In this way, the skin color region can be extracted with higher accuracy.

図５に本発明をプリンタに適用した例を示す。なお、上記実施形態と実質的に同じ機能の部材に同一の符号を付してその説明を省略する。プリンタ４０には、画像入力部４１からプリントすべき画像の各画素について赤色，緑色，青色の画像データが入力される。この画像入力部４１は、デジタルカメラやコンピュータやメモリカードリーダなどで構成される。   FIG. 5 shows an example in which the present invention is applied to a printer. In addition, the same code | symbol is attached | subjected to the member of the substantially same function as the said embodiment, and the description is abbreviate | omitted. The printer 40 receives red, green, and blue image data from the image input unit 41 for each pixel of the image to be printed. The image input unit 41 includes a digital camera, a computer, a memory card reader, and the like.

プリンタ４０は、画像処理ユニット４２，出力系を備えている。画像処理ユニット４２は、大別して、画像メモリ４３，データ処理部４４，第１，第２係数決定部４５，４６，制御部１３からなる。画像入力部４１からの赤色，緑色，青色の画像データは、画像メモリ４３，第１，第２係数決定部４５，４６に送られる。   The printer 40 includes an image processing unit 42 and an output system. The image processing unit 42 is roughly divided into an image memory 43, a data processing unit 44, first and second coefficient determination units 45 and 46, and a control unit 13. The red, green and blue image data from the image input unit 41 is sent to the image memory 43 and the first and second coefficient determination units 45 and 46.

画像メモリ４３は、データ処理部４４にいずれかの係数決定部から色差マトリクス係数ｃijが設定されるまでの間、画像入力部４１からの赤色，緑色，青色の画像データを一時的に保持する。色差マトリクス係数ｃijの設定後、画像メモリ４３から読み出された画像データがデータ処理部４４のＹＣ変換回路４７に送られる。 The image memory 43 temporarily holds the red, green, and blue image data from the image input unit 41 until the color difference matrix coefficient c ij is set from any coefficient determination unit in the data processing unit 44. . After setting the color difference matrix coefficient c ij , the image data read from the image memory 43 is sent to the YC conversion circuit 47 of the data processing unit 44.

ＹＣ変換回路４７は、赤色，緑色，青色の画像データを輝度（Ｙ）及び各色差（Ｃｒ，Ｃｂ）の画像データに変換する。ＹＣ変換回路４７からの画像データは、色差マトリクス回路１９によって、前述の式（７）〜（９）を用いて色補正された後に出力系に送られる。   The YC conversion circuit 47 converts red, green, and blue image data into image data of luminance (Y) and color differences (Cr, Cb). Image data from the YC conversion circuit 47 is color-corrected by the color difference matrix circuit 19 using the aforementioned equations (7) to (9) and then sent to the output system.

出力系はＲＧＢ変換回路２１とプリント部４８とからなり、色差マトリクス回路１９からの画像データは、ＲＧＢ変換回路２１によって赤色，緑色，青色の画像データに変換された後にプリント部４８に送られ、プリント部４８がその入力される画像データに基づいて記録紙にカラー画像を記録する。   The output system includes an RGB conversion circuit 21 and a print unit 48. Image data from the color difference matrix circuit 19 is converted into red, green, and blue image data by the RGB conversion circuit 21, and then sent to the print unit 48. The printing unit 48 records a color image on recording paper based on the input image data.

第１係数決定部４５は、対象領域検出手段２４，色領域検出手段２５によって入力画像中から特定対象物の領域の検出，特定色と推測される部分である特定色領域の抽出が行なわれる。この例においても、上記実施形態と同様に人の顔を特定対象物とし、肌色を特定色としてある。   In the first coefficient determination unit 45, the target area detection unit 24 and the color area detection unit 25 detect a specific target area from the input image and extract a specific color area that is assumed to be a specific color. Also in this example, the face of a person is set as a specific object and the skin color is set as a specific color, as in the above embodiment.

目標値入力手段４９は、目標値を色差マトリクス係数算出手段４９に与える。目標値は、抽出した特定色領域の色を色補正して再現する際の目標となる色（色再現目標の色）を示すものであり、この例では予め決められた特定色すなわち肌色を均等色空間（ＣＩＥＬ*ａ*ｂ*）の座標（Ｌ１*，ａ１*，ｂ１*）で示したものとなっている。目標値入力手段４９としては、予め決めた目標値を与えることができるものであれば、どのような構成でもよく、この例では座標（Ｌ１*，ａ１*，ｂ１*）を予め書き込んだＲＯＭで構成してあり、その座標が色差マトリクス係数を決定する際に目標値として読み出される。なお、目標値入力手段４９を種々の色再現目標の色を記録したメモリと、そのうちの１つの色再現目標の色を選択する選択手段で構成し、複数の色再現目標の色に対応できるようにしてもよい。   The target value input means 49 gives the target value to the color difference matrix coefficient calculation means 49. The target value indicates a target color (color reproduction target color) when the extracted color of the specific color region is corrected and reproduced. In this example, a predetermined specific color, that is, a skin color is evenly distributed. This is indicated by coordinates (L1 *, a1 *, b1 *) of the color space (CIEL * a * b *). The target value input means 49 may have any configuration as long as a predetermined target value can be given. In this example, the target value input means 49 is a ROM in which coordinates (L1 *, a1 *, b1 *) are written in advance. The coordinates are read out as target values when the color difference matrix coefficients are determined. The target value input means 49 is composed of a memory in which colors of various color reproduction targets are recorded and a selection means for selecting one of the color reproduction target colors so that it can correspond to a plurality of color reproduction target colors. It may be.

色差マトリクス係数算出手段５０は、目標値に示される色と特定色領域の色との色差を近づける色差マトリクス係数ｃijを算出する係数決定処理を行う。この例では色差を近づけて最小にする色差マトリクス係数ｃijを算出する。具体的には、係数決定処理では次式に示される色差ΔＥを最小にする色差マトリクス係数ｃijを滑降シンプレックス法などの多変数関数最小値求解アルゴリズムを用いて求める。
ΔＥ＝（（Ｌ１*−Ｌ２*）2＋（ａ１−ａ２）2＋（ｂ１−ｂ２）2）1/2 The color difference matrix coefficient calculation means 50 performs a coefficient determination process for calculating a color difference matrix coefficient c ij that brings the color difference between the color indicated by the target value and the color of the specific color region closer. In this example, a color difference matrix coefficient c ij that minimizes the color difference is calculated. Specifically, in the coefficient determination process, the color difference matrix coefficient c ij that minimizes the color difference ΔE shown in the following equation is obtained using a multivariable function minimum value solving algorithm such as the downhill simplex method.
ΔE = ((L1 * −L2 *) 2 + (a1−a2) 2 + (b1−b2) 2 ) 1/2

上記式中の「Ｌ１*，ａ１*，ｂ１*」は、上述のように、抽出した特定色領域の色を色補正して再現する際の目標となる色を示す均等色空間上の座標である。また、「Ｌ２*，ａ２*，ｂ２*」は、特定色領域中の代表色をＹＣ変換した後、色差マトリクス回路１９と同等の色補正した後の色を色差マトリクス係数ｃijを含む関数として表した均等色空間の座標である。色差マトリクス係数算出手段４９によってΔＥを最小とするように決定された色差マトリクス係数ｃijは、色差マトリクス回路１９に設定される。 As described above, “L1 *, a1 *, b1 *” in the above formula is a coordinate in the uniform color space indicating a target color when the color of the extracted specific color region is corrected and reproduced. is there. In addition, “L2 *, a2 *, b2 *” is a function including the color difference matrix coefficient c ij after performing color correction equivalent to the color difference matrix circuit 19 after YC conversion of the representative colors in the specific color region. The coordinates of the uniform color space represented. The color difference matrix coefficient c ij determined by the color difference matrix coefficient calculating unit 49 so as to minimize ΔE is set in the color difference matrix circuit 19.

第２係数決定部４６は、入力画像に基づいて従来の方式を用いて設定すべき色差マトリクス補正係数ｃijを算出する。 The second coefficient determination unit 46 calculates a color difference matrix correction coefficient c ij to be set using a conventional method based on the input image.

このように構成することにより、プリンタ４０は、画像入力部４１から入力される入力画像中に人の顔が含まれている場合には、その人の顔から肌色となる部分を抽出し、その抽出した部分の色が目標値に示される肌色となるように色差マトリクス係数ｃijが決められる。そして、色差マトリクス係数ｃijを用いて色補正された画像データで記録紙にカラー画像が記録される。 With this configuration, the printer 40 extracts a skin color portion from the person's face when the input image input from the image input unit 41 includes a person's face. The color difference matrix coefficient c ij is determined so that the color of the extracted portion becomes the skin color indicated by the target value. Then, a color image is recorded on the recording paper with image data color-corrected using the color difference matrix coefficient c ij .

上記各実施形態では、デジタルカメラ，プリンタを例にして説明したが、本発明は、動画撮影を行うビデオカメラ，モニタなどの各種再生装置にも利用できる。   In each of the above embodiments, the digital camera and the printer have been described as examples. However, the present invention can also be used for various playback devices such as a video camera and a monitor that perform moving image shooting.

本発明を実施したデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera which implemented this invention. 特定対象物の領域と外領域とを示す説明図である。It is explanatory drawing which shows the area | region and outer area | region of a specific target object. 赤色と緑色の比と青色と緑色の比をそれぞれ軸とする色度図と各種光源及び色温度によって再現される肌色の位置を示すグラフである。It is a graph which shows the position of the skin color reproduced by the chromaticity diagram centering on the ratio of red and green, and the ratio of blue and green, respectively, various light sources, and color temperature. 目，鼻，口の位置から肌色の部分を特定色領域として抽出する例を示すものである。An example in which a skin color portion is extracted as a specific color region from the positions of eyes, nose, and mouth is shown. 色差を最小にするように色差マトリクス係数を決定する例の構成を示すプリンタのブロック図である。FIG. 3 is a block diagram of a printer showing a configuration of an example in which color difference matrix coefficients are determined so as to minimize the color difference.

符号の説明Explanation of symbols

８，４２ 画像処理ユニット
１０，４４ データ処理部
１５ ホワイトバランス調整回路
１６ リニアマトリクス回路
１９ 色差マトリクス回路
２４ 対象領域検出手段
２５ 色領域抽出手段
２６ 光源特定手段
２７，２８ 係数算出手段
５０ 色差マトリクス係数算出手段
8, 42 Image processing unit 10, 44 Data processing unit 15 White balance adjustment circuit 16 Linear matrix circuit 19 Color difference matrix circuit 24 Target area detection means 25 Color area extraction means 26 Light source identification means 27, 28 Coefficient calculation means 50 Color difference matrix coefficient calculation means

Claims (10)

入力されるカラー画像から予め決められた特定対象物の領域を検出する対象領域検出手段と、前記特定対象物の領域が検出された場合に、検出された特定対象物の領域中から前記特定対象物に応じた特定色と推測される部分を特定色領域として抽出する色領域抽出手段と、抽出された特定色領域の色に基づいて、カラー画像の光源の種類または色温度を特定する光源特定手段と、特定した光源の種類または色温度に応じて色補正を行なう色補正手段とを備えたことを特徴とする画像処理装置。   Target area detecting means for detecting a predetermined area of the specific object from the input color image, and the specific object from the detected area of the specific object when the area of the specific object is detected Color area extraction means that extracts a part that is estimated to be a specific color according to the object as a specific color area, and a light source specification that specifies the type or color temperature of the light source of the color image based on the color of the extracted specific color area An image processing apparatus comprising: means; and color correction means for performing color correction according to the specified type or color temperature of the light source. 入力されるカラー画像から予め決められた特定対象物の領域を検出する対象領域検出手段と、前記特定対象物の領域が検出された場合に、検出された特定対象物の領域中から前記特定対象物に応じた特定色と推測される部分を特定色領域として抽出する色領域抽出手段と、抽出された特定色領域の色が色再現目標の色に近づくように色補正用の係数を求める係数算出手段と、決定された色補正用の係数を用いて色補正を行なう色補正手段とを備えたことを特徴とする画像処理装置。   Target area detecting means for detecting a predetermined area of the specific object from the input color image, and the specific object from the detected area of the specific object when the area of the specific object is detected Color area extraction means for extracting a portion estimated to be a specific color according to the object as a specific color area, and a coefficient for obtaining a coefficient for color correction so that the color of the extracted specific color area approaches the color reproduction target color An image processing apparatus comprising: a calculation unit; and a color correction unit that performs color correction using the determined color correction coefficient. 前記係数算出手段は、抽出した特定色領域の色と色再現目標の色との色差を最小とする色補正用の係数を求めることを特徴とする請求項２記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the coefficient calculating unit obtains a coefficient for color correction that minimizes a color difference between the color of the extracted specific color region and the color to be reproduced. 前記対象領域検出手段は、人の顔を前記特定対象物として検出することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the target area detection unit detects a human face as the specific target object. 前記色領域抽出手段は、肌色を前記特定色として特定色領域を抽出することを特徴とする請求項４記載の画像処理装置。   The image processing apparatus according to claim 4, wherein the color area extracting unit extracts a specific color area using the skin color as the specific color. 前記色領域抽出手段は、特定対象物の領域の外側の画素値よりも大きな閾値以上の画素の集合部分を特定色領域として抽出することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。   The said color area extraction means extracts the collection part of the pixel more than a threshold value larger than the pixel value outside the area | region of a specific target object as a specific color area, The any one of Claim 1 thru | or 3 characterized by the above-mentioned. The image processing apparatus described. 前記色領域抽出手段は、検出すべき特定対象物について予め決められた特定対象物の１個以上の特徴部分を抽出し、抽出した特徴部分の位置に基づいて特定色領域として抽出することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。   The color area extracting means extracts one or more feature parts of a specific object predetermined for the specific object to be detected, and extracts the specific color area based on the position of the extracted feature part. The image processing apparatus according to any one of claims 1 to 3. 前記光源特定手段は、所定の色度図上または色空間上における各光源の種類及び色温度によって特定色が再現される色の各位置のうち抽出された特定色領域の色に対応する位置に最も近い位置の光源の種類または色温度を入力される画像の光源の種類または色温度として特定することを特徴とする請求項１記載の画像処理装置。   The light source specifying means is located at a position corresponding to the color of the extracted specific color region among the positions of the color where the specific color is reproduced by the type and color temperature of each light source on a predetermined chromaticity diagram or color space. 2. The image processing apparatus according to claim 1, wherein the type or color temperature of the light source at the closest position is specified as the type or color temperature of the input image. 前記所定の色度図または色空間は、赤色と緑色の比と青色と緑色の比をそれぞれ軸とする色度図，ＵＣＳ色度図，均等色空間のいずれかであることを特徴とする請求項６記載の画像処理装置。   The predetermined chromaticity diagram or color space is any one of a chromaticity diagram, a UCS chromaticity diagram, and a uniform color space each having a red / green ratio and a blue / green ratio as axes. Item 7. The image processing apparatus according to Item 6. 前記色補正手段は、ホワイトバランスを調整するホワイトバランス調整手段，ＲＧＢ信号に対してマトリクス演算を行なって色補正を行なう補正手段，色差信号に対してマトリクス演算を行って色補正を行なう補正手段少なくともいずれかを含むことを特徴とする請求項１記載の画像処理装置。
The color correction means includes at least white balance adjustment means for adjusting white balance, correction means for performing color correction by performing matrix calculation on RGB signals, and correction means for performing color correction by performing matrix calculation on color difference signals. The image processing apparatus according to claim 1, further comprising:
JP2005214443A 2005-07-25 2005-07-25 Image processing apparatus Abandoned JP2007036462A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005214443A JP2007036462A (en) 2005-07-25 2005-07-25 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005214443A JP2007036462A (en) 2005-07-25 2005-07-25 Image processing apparatus

Publications (1)

Publication Number Publication Date
JP2007036462A true JP2007036462A (en) 2007-02-08

Family

ID=37795202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005214443A Abandoned JP2007036462A (en) 2005-07-25 2005-07-25 Image processing apparatus

Country Status (1)

Country Link
JP (1) JP2007036462A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236101A (en) * 2007-03-19 2008-10-02 Ricoh Co Ltd Imaging device and imaging method
JP2009010814A (en) * 2007-06-29 2009-01-15 Fujifilm Corp Image processing device and method, and program, and imaging apparatus and method, and program
JP2009010813A (en) * 2007-06-29 2009-01-15 Fujifilm Corp Image processing device and method, and program
JP2009170966A (en) * 2008-01-10 2009-07-30 Canon Inc Image processing apparatus, image processing method, and program
JP2009225150A (en) * 2008-03-17 2009-10-01 Canon Inc Imaging device and its white balance control method
JP2010045580A (en) * 2008-08-12 2010-02-25 Toshiba Corp Image processing apparatus and image sensor
JP2010154529A (en) * 2008-12-12 2010-07-08 Tektronix Inc Method and system for automatically detecting object inside video
JP2011078137A (en) * 2011-01-12 2011-04-14 Fujifilm Corp Image processing apparatus and method, and program
CN102682728A (en) * 2012-04-18 2012-09-19 深圳Tcl新技术有限公司 Color temperature adjusting method, device and system based on face recognition
CN103871390A (en) * 2012-12-12 2014-06-18 联想(北京)有限公司 Color temperature adjusting method and electronic equipment
JP2016110357A (en) * 2014-12-05 2016-06-20 株式会社メガチップス Color signal processor and color signal processing method
CN106357988A (en) * 2016-11-09 2017-01-25 广东欧珀移动通信有限公司 White balance adjustment method, device and terminal equipment

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103508A (en) * 1999-09-28 2001-04-13 Nikon Corp Digital camera
JP2001148863A (en) * 1999-11-19 2001-05-29 Victor Co Of Japan Ltd White balance adjustment method and adjustment device
JP2002315019A (en) * 2001-04-11 2002-10-25 Fuji Photo Film Co Ltd Printer system, white balance control method therefor, electronic camera and printer
JP2003209856A (en) * 2001-11-08 2003-07-25 Fuji Photo Film Co Ltd White balance correction method
WO2004002166A1 (en) * 2002-06-25 2003-12-31 Koninklijke Philips Electronics N.V. Method and system for white balancing images using facial color as a reference signal
JP2005072694A (en) * 2003-08-28 2005-03-17 Nikon Corp Image pickup apparatus
JP2005136497A (en) * 2003-10-28 2005-05-26 Canon Inc Image processing method, and image processing apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103508A (en) * 1999-09-28 2001-04-13 Nikon Corp Digital camera
JP2001148863A (en) * 1999-11-19 2001-05-29 Victor Co Of Japan Ltd White balance adjustment method and adjustment device
JP2002315019A (en) * 2001-04-11 2002-10-25 Fuji Photo Film Co Ltd Printer system, white balance control method therefor, electronic camera and printer
JP2003209856A (en) * 2001-11-08 2003-07-25 Fuji Photo Film Co Ltd White balance correction method
WO2004002166A1 (en) * 2002-06-25 2003-12-31 Koninklijke Philips Electronics N.V. Method and system for white balancing images using facial color as a reference signal
JP2005072694A (en) * 2003-08-28 2005-03-17 Nikon Corp Image pickup apparatus
JP2005136497A (en) * 2003-10-28 2005-05-26 Canon Inc Image processing method, and image processing apparatus

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236101A (en) * 2007-03-19 2008-10-02 Ricoh Co Ltd Imaging device and imaging method
JP2009010814A (en) * 2007-06-29 2009-01-15 Fujifilm Corp Image processing device and method, and program, and imaging apparatus and method, and program
JP2009010813A (en) * 2007-06-29 2009-01-15 Fujifilm Corp Image processing device and method, and program
JP4668956B2 (en) * 2007-06-29 2011-04-13 富士フイルム株式会社 Image processing apparatus and method, and program
JP2009170966A (en) * 2008-01-10 2009-07-30 Canon Inc Image processing apparatus, image processing method, and program
JP2009225150A (en) * 2008-03-17 2009-10-01 Canon Inc Imaging device and its white balance control method
US8427550B2 (en) 2008-08-12 2013-04-23 Kabushiki Kaisha Toshiba Image processing device correcting image data, image sensor and image processing method
JP2010045580A (en) * 2008-08-12 2010-02-25 Toshiba Corp Image processing apparatus and image sensor
US8781222B2 (en) 2008-12-12 2014-07-15 Tektronix, Inc. Method and apparatus for automatic illuminant compensation in video surveillance
JP2010154529A (en) * 2008-12-12 2010-07-08 Tektronix Inc Method and system for automatically detecting object inside video
JP2011078137A (en) * 2011-01-12 2011-04-14 Fujifilm Corp Image processing apparatus and method, and program
CN102682728A (en) * 2012-04-18 2012-09-19 深圳Tcl新技术有限公司 Color temperature adjusting method, device and system based on face recognition
CN103871390A (en) * 2012-12-12 2014-06-18 联想(北京)有限公司 Color temperature adjusting method and electronic equipment
CN103871390B (en) * 2012-12-12 2016-10-05 联想(北京)有限公司 A kind of color temperature adjusting method and electronic equipment
JP2016110357A (en) * 2014-12-05 2016-06-20 株式会社メガチップス Color signal processor and color signal processing method
CN106357988A (en) * 2016-11-09 2017-01-25 广东欧珀移动通信有限公司 White balance adjustment method, device and terminal equipment
CN106357988B (en) * 2016-11-09 2020-03-06 Oppo广东移动通信有限公司 White balance adjusting method and device and terminal equipment

Similar Documents

Publication Publication Date Title
JP2007036462A (en) Image processing apparatus
US8106961B2 (en) Image processing method, apparatus and computer program product, and imaging apparatus, method and computer program product
JP4217698B2 (en) Imaging apparatus and image processing method
JP4287179B2 (en) Method for automatic white balance of digital images
JP4815267B2 (en) White balance control method, imaging apparatus, and white balance control program
US7084907B2 (en) Image-capturing device
JP4244063B2 (en) Image processing apparatus, image processing method, and program
US20090002518A1 (en) Image processing apparatus, method, and computer program product
EP1185082B1 (en) Method and apparatus for correcting white balance
JP2008236101A (en) Imaging device and imaging method
CN101472188A (en) White balance control device and white balance control method
TWI243610B (en) Image pickup apparatus
JP4874752B2 (en) Digital camera
JP2007067815A (en) Image processing device and image processing method
US20090231462A1 (en) Image-pickup apparatus and white-balance control method provided therefor
JP2004200902A (en) Image processor, electronic camera, and image processing program
JP2006301803A (en) Image recognition device and image recognition method
US20060215034A1 (en) Imaging device
JP3821729B2 (en) Digital camera
JP2000148978A (en) Method and device for estimating photographic light source, method and device for processing image and recording medium
JP4726251B2 (en) Imaging apparatus and image processing method
JP3853224B2 (en) White balance correction method
JP4052001B2 (en) Image processing apparatus and method, recording medium, and program
JP2003224867A (en) White balance correction method
JP4859502B2 (en) Imaging device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20070116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110119

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20110309