JP2010187050A

JP2010187050A - Image processor, imaging apparatus, and image processing method

Info

Publication number: JP2010187050A
Application number: JP2009028053A
Authority: JP
Inventors: Kazuhiro Yoshida; 和弘吉田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2009-02-10
Filing date: 2009-02-10
Publication date: 2010-08-26

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor capable of performing a color correction by gray scales without losing the saturation of images, to provide an imaging apparatus with the image processor, and to provide an image processing method. <P>SOLUTION: This image processor includes a gray scale classified color correcting function of determining the gray scale (S12) pixel by pixel (S11) for YCbCr image data, calculating a color correction value corresponding to the gray scale obtained in the gray scale determination from a color correction table having a prescribed color correction value corresponding to the prescribed gray scale (S13), and correcting color difference signals Cb and Cr according to the color correction value (S14). <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、入力される画像データについて階調別に色補正を行う画像処理装置、該画像処理装置を備え電子画像を撮像・再生するカメラ等の撮像装置並びにカメラ等で撮影した画像を処理する画像処理アルゴリズムからなる画像処理方法に関するものである。 The present invention relates to an image processing apparatus that performs color correction on input image data for each gradation, an imaging apparatus such as a camera that includes the image processing apparatus and captures and reproduces an electronic image, and an image that processes an image captured by the camera. The present invention relates to an image processing method comprising a processing algorithm.

近年、固体撮像素子では高画素化が進み、それに伴い固体撮像素子を駆動する駆動パルスの高速化が進んでいる。その結果、画素の微細化に伴う隣接画素からの光の回り込みや、電荷転送不良により、隣の画素の信号量が漏れ込んでくる混色が発生する場合がある。 In recent years, the number of pixels in a solid-state image sensor has been increased, and accordingly, the drive pulse for driving the solid-state image sensor has been accelerated. As a result, there may be a color mixture in which the signal amount of the adjacent pixel leaks due to the wraparound of light from the adjacent pixel accompanying the miniaturization of the pixel or the charge transfer failure.

また、ＣＣＤでは特殊な電荷転送を行うものも登場しており、画像の黒レベルが不安定となり特定の階調で着色が発生する場合がある。 In addition, CCDs that perform special charge transfer have appeared, and the black level of an image may become unstable, and coloring may occur at a specific gradation.

従来方式では、このような階調により着色が発生した場合には、階調によって(例えば、低輝度、高輝度など)色を抑圧する方式が用いられているが、色を抑圧することにより彩度を失い白黒画像となってしまう問題があった。 In the conventional method, when coloring occurs due to such a gradation, a method of suppressing the color by the gradation (e.g., low luminance, high luminance, etc.) is used, but the coloring is suppressed by suppressing the color. There was a problem that the black and white image was lost.

なお、特許文献１では、色補正量決定部の決定結果と輝度信号Ｙのレベルに応じて色相、彩度を補正する技術が提案されているが、輝度信号Ｙのレベル（階調）に対して色補正量を決定する方法については記載されていない。 In Patent Document 1, a technique for correcting the hue and saturation according to the determination result of the color correction amount determination unit and the level of the luminance signal Y is proposed, but the level (gradation) of the luminance signal Y is proposed. The method for determining the color correction amount is not described.

本発明は、以上の従来技術における問題に鑑みてなされたものであり、画像の彩度を失うことなく階調別に色補正を行うことが可能な画像処理装置、該画像処理装置を備える撮像装置並びに画像処理方法を提供することを目的とする。 The present invention has been made in view of the above problems in the prior art, and an image processing apparatus capable of performing color correction for each gradation without losing the saturation of the image, and an imaging apparatus including the image processing apparatus An object of the present invention is to provide an image processing method.

前記課題を解決するために提供する本発明は、以下の通りである。
〔１〕輝度信号Ｙと２つの色差信号Ｃｂ、Ｃｒからなる画像データが入力される画像入力部と、所定階調に対応して所定の色補正値を有する１または複数の色補正テーブルを記憶する色補正テーブル記憶部と、前記色補正テーブル記憶部に記憶された１または複数の色補正テーブルから所定の色補正テーブルを選択する色補正テーブル選択部と、入力画像データの所定画素数ごとに輝度信号Ｙから階調を判定する階調判定部と、前記色補正テーブル選択部で選択された色補正テーブルから前記階調判定部で判定された階調に対応する色補正値Ａを入力画像データの所定画素数ごとに算出する色補正値算出部と、入力画像データの所定画素数ごとに、算出された色補正値Ａ及び色差信号Ｃｂ、Ｃｒを用いて、下記の式（１），（２）により色信号Ｃｂ’、Ｃｒ’を算出し、輝度信号Ｙと色差信号Ｃｂ’、Ｃｒ’からなる色補正後の画像データとする色信号補正部と、を備えることを特徴とする画像処理装置。
Ｃｂ’＝（１＋Ａ）×Ｃｂ・・・（１）
Ｃｒ’＝（１＋Ａ）×Ｃｒ・・・（２）
〔２〕前記色補正テーブルは、複数階調それぞれに対応して色補正値が設定されていることを特徴とする前記〔１〕に記載の画像処理装置。
〔３〕前記色補正テーブルは、前記画像データで取りうる輝度範囲に対応した全階調それぞれに色補正値を有するものであることを特徴とする前記〔１〕に記載の画像処理装置。
〔４〕前記色補正テーブルは、前記画像データで取りうる輝度範囲において幾つかの階調で設定される色補正値を色補正代表点として持つものであり、前記色補正値算出部は、該色補正テーブルの色補正代表点間を線形補間して色補正値Ａを算出することを特徴とする前記〔１〕に記載の画像処理装置。
〔５〕前記色補正テーブルは、色差信号Ｃｂ、Ｃｒそれぞれに対応して別に設けられた色補正テーブルのペアからなり、該ペアの色補正テーブルそれぞれにおける所定階調と色補正値との関係を同じ設定又は異なる設定とされていることを特徴とする前記〔１〕に記載の画像処理装置。
〔６〕前記画像データについて補色方向に色補正するときに、前記色補正テーブル選択部は、所定階調と色補正値との関係が同じ設定とされた前記ペアの色補正テーブルを選択することを特徴とする前記〔５〕に記載の画像処理装置。
〔７〕前記〔１〕〜〔６〕のいずれかに記載の画像処理装置を備えることを特徴とする撮像装置。
〔８〕記憶部を有する演算装置に入力される輝度信号Ｙと２つの色差信号Ｃｂ、Ｃｒからなる画像データについて階調別に色補正する画像処理方法であって、所定階調に対応して所定の色補正値を有する１または複数の色補正テーブルを前記記憶部に記憶させる色補正テーブル記憶工程と、前記色補正テーブル記憶工程で記憶された１または複数の色補正テーブルから所定の色補正テーブルを選択する色補正テーブル選択工程と、入力画像データの所定画素数ごとに輝度信号Ｙから階調を判定する階調判定工程と、前記色補正テーブル選択工程で選択された色補正テーブルから前記階調判定工程で判定された階調に対応する色補正値Ａを入力画像データの所定画素数ごとに算出する色補正値算出工程と、入力画像データの所定画素数ごとに、算出された色補正値Ａ及び色差信号Ｃｂ、Ｃｒを用いて、下記の式（１），（２）により色信号Ｃｂ’、Ｃｒ’を算出し、輝度信号Ｙと色差信号Ｃｂ’、Ｃｒ’からなる色補正後の画像データとする色信号補正工程と、を備えることを特徴とする画像処理方法。
Ｃｂ’＝（１＋Ａ）×Ｃｂ・・・（１）
Ｃｒ’＝（１＋Ａ）×Ｃｒ・・・（２） The present invention provided to solve the above problems is as follows.
[1] An image input unit to which image data composed of a luminance signal Y and two color difference signals Cb and Cr is input, and one or a plurality of color correction tables having a predetermined color correction value corresponding to a predetermined gradation are stored. A color correction table storage unit, a color correction table selection unit that selects a predetermined color correction table from one or a plurality of color correction tables stored in the color correction table storage unit, and a predetermined number of pixels of input image data A gradation determination unit that determines a gradation from the luminance signal Y, and a color correction value A corresponding to the gradation determined by the gradation determination unit from the color correction table selected by the color correction table selection unit is input image Using the color correction value calculation unit that calculates for each predetermined number of pixels of data and the calculated color correction value A and color difference signals Cb and Cr for each predetermined number of pixels of input image data, According to (2) An image processing apparatus comprising: a color signal correction unit that calculates signals Cb ′ and Cr ′ and uses the luminance signal Y and the color difference signals Cb ′ and Cr ′ as image data after color correction.
Cb ′ = (1 + A) × Cb (1)
Cr ′ = (1 + A) × Cr (2)
[2] The image processing apparatus according to [1], wherein the color correction table is set with color correction values corresponding to each of a plurality of gradations.
[3] The image processing apparatus according to [1], wherein the color correction table has color correction values for all gradations corresponding to a luminance range that can be taken by the image data.
[4] The color correction table has color correction values set at several gradations in a luminance range that can be taken by the image data as color correction representative points, and the color correction value calculation unit includes: The image processing apparatus according to [1], wherein the color correction value A is calculated by linearly interpolating between color correction representative points of the color correction table.
[5] The color correction table is composed of a pair of color correction tables separately provided corresponding to the color difference signals Cb and Cr, and the relationship between the predetermined gradation and the color correction value in each of the color correction tables of the pair. The image processing apparatus according to [1], wherein the setting is the same or different.
[6] When performing color correction on the image data in the complementary color direction, the color correction table selection unit selects the pair of color correction tables in which the relationship between the predetermined gradation and the color correction value is set to be the same. The image processing apparatus according to [5], characterized in that:
[7] An imaging apparatus comprising the image processing apparatus according to any one of [1] to [6].
[8] An image processing method for performing color correction for each gradation on image data composed of a luminance signal Y and two color difference signals Cb and Cr input to an arithmetic unit having a storage unit. A color correction table storage step for storing one or a plurality of color correction tables having the color correction values in the storage unit, and a predetermined color correction table from the one or a plurality of color correction tables stored in the color correction table storage step A color correction table selection step for selecting a color tone, a gradation determination step for determining a gray level from a luminance signal Y for each predetermined number of pixels of input image data, and the color correction table selected in the color correction table selection step. A color correction value calculation step for calculating the color correction value A corresponding to the gradation determined in the tone determination step for each predetermined number of pixels of the input image data, and for each predetermined number of pixels of the input image data, Using the calculated color correction value A and the color difference signals Cb and Cr, the color signals Cb ′ and Cr ′ are calculated by the following equations (1) and (2), and the luminance signal Y and the color difference signals Cb ′ and Cr ′ are calculated. And a color signal correcting step for color-corrected image data.
Cb ′ = (1 + A) × Cb (1)
Cr ′ = (1 + A) × Cr (2)

本発明によれば、画像データの輝度信号Ｙに対して階調判定部で判定を行い階調判定部の結果に応じた色補正値を用いて色信号Ｃｂ、Ｃｒを補正することにより、各階調毎に適切な色補正を行うことができる。また、特定階調で着色が発生する場合には特定階調のみに色補正が行え、効果的な階調別の色補正を行うことができる。更に、従来の色抑圧方式では抑圧レベルによっては色味を失い白黒の画像になってしまうという問題があったが、本発明では色味を失うことなく補正を行うことができる。 According to the present invention, the gradation determination unit determines the luminance signal Y of the image data, and corrects the color signals Cb and Cr using the color correction value according to the result of the gradation determination unit. Appropriate color correction can be performed for each key. Further, when coloring occurs at a specific gradation, color correction can be performed only on the specific gradation, and effective color correction for each gradation can be performed. Further, the conventional color suppression method has a problem that the color tone is lost depending on the suppression level, resulting in a black and white image. In the present invention, correction can be performed without losing the color tone.

本発明に係る撮像装置に一態様であるデジタルカメラの外観図である。1 is an external view of a digital camera that is an embodiment of an imaging apparatus according to the present invention. 図１のデジタルカメラの制御系のブロック図である。It is a block diagram of the control system of the digital camera of FIG. 基本的な画像処理に関するフローチャートである。It is a flowchart regarding basic image processing. ガンマ補正曲線と出力装置の入出力特性の関係を示す図である。It is a figure which shows the relationship between a gamma correction curve and the input-output characteristic of an output device. 色補正処理の説明図である。It is explanatory drawing of a color correction process. エッジ強調処理の説明図である。It is explanatory drawing of an edge emphasis process. 本発明に係る画像処理装置における画像処理に関するフローチャートである。5 is a flowchart relating to image processing in the image processing apparatus according to the present invention. 階調別色補正ブロックにおける画像処理に関するフローチャートである。It is a flowchart regarding the image processing in the color correction block classified by gradation. 所定階調に対応して所定の色補正値が設定された色補正テーブルの説明図である。It is explanatory drawing of the color correction table in which the predetermined color correction value was set corresponding to the predetermined gradation. Ｃｂ、Ｃｒ信号の色補正テーブル設定例（１）を示す図である。It is a figure which shows the color correction table setting example (1) of a Cb, Cr signal. Ｃｂ、Ｃｒ信号の色補正テーブル設定例（２）を示す図である。It is a figure which shows the color correction table setting example (2) of a Cb, Cr signal. Ｃｂ、Ｃｒ信号の色補正テーブル設定例（３）を示す図である。It is a figure which shows the color correction table setting example (3) of a Cb, Cr signal.

以下に、本発明に係る画像処理装置、撮像装置並びに画像処理方法について説明する。
ここでは、本発明についてデジタルカメラの実施形態を用いて説明を行うがこれに限定されず、カメラ機能を持つ電子機器、あるいは、画像を処理する画像処理ＩＣ、画像処理ソフトなど画像処理全般に適用することが可能である。 Hereinafter, an image processing apparatus, an imaging apparatus, and an image processing method according to the present invention will be described.
Here, the present invention will be described using an embodiment of a digital camera. However, the present invention is not limited to this, and the present invention is applied to general image processing such as an electronic device having a camera function, an image processing IC for processing an image, or image processing software. Is possible.

図１は、本発明に係る撮像装置に一態様であるデジタルカメラの外観図であり、図２は、同デジタルカメラの制御系のブロック図である。
図１に示すように、デジタルカメラは、カメラ上面には、サブＬＣＤ（１）と、レリーズボタン（２）と、撮影／再生切り換えダイヤル（４）とを有する。サブＬＣＤ（１）は、例えば、撮影可能枚数など表示するための表示部である。また、カメラ正面には、ストロボ発光部（３）と、測距ユニット（５）と、リモコン受光部（６）と、鏡胴ユニット（７）と、光学ファインダー（正面）（１１ａ）とを有する。メモリカードスロットル（１２１）は、メモリカード（１３０）を挿入するスロットルであり、カメラ側面に設けてある。更に、カメラ裏面には、ＡＦＬＥＤ（オートフォーカスＬＥＤ）（８）と、ストロボＬＥＤ（９）と、ＬＣＤモニタ（１０）と、光学ファインダー（裏面）（１１ｂ）と、ズームボタン（１２）と、電源スイッチ（１３）と、操作部（１４）とを有する。 FIG. 1 is an external view of a digital camera which is an embodiment of the imaging apparatus according to the present invention, and FIG. 2 is a block diagram of a control system of the digital camera.
As shown in FIG. 1, the digital camera has a sub LCD (1), a release button (2), and a shooting / playback switching dial (4) on the upper surface of the camera. The sub LCD (1) is a display unit for displaying, for example, the number of shootable images. In addition, a strobe light emitting unit (3), a distance measuring unit (5), a remote control light receiving unit (6), a lens barrel unit (7), and an optical viewfinder (front) (11a) are provided on the front of the camera. . The memory card throttle (121) is a throttle for inserting the memory card (130), and is provided on the side of the camera. Further, on the back side of the camera, AFLED (autofocus LED) (8), strobe LED (9), LCD monitor (10), optical viewfinder (back side) (11b), zoom button (12), power supply A switch (13) and an operation unit (14) are provided.

図１，図２に基づいてデジタルカメラの動作を説明する。
図１，図２において、ストロボ発光部（３），ストロボ回路（１１４）は、自然光などの光が足りない場合に光量を補う装置である。暗い場所や被写体が暗い場合の撮影においては、後述するデジタルスチルカメラプロセッサ（１０４）からストロボ回路（１１４）にストロボ発光信号を送信し、ストロボ回路（１１４）は、ストロボ発光部（３）を発光させ被写体を明るくする。 The operation of the digital camera will be described with reference to FIGS.
1 and 2, a strobe light emitting unit (3) and a strobe circuit (114) are devices that compensate for the amount of light when light such as natural light is insufficient. When shooting in a dark place or when the subject is dark, a digital flash camera processor (104), which will be described later, transmits a flash emission signal to the flash circuit (114), and the flash circuit (114) emits the flash light emission unit (3). Make the subject brighter.

測距ユニット（５）は、カメラと被写体との距離を測る装置である。現在、デジタルカメラでは、撮像素子（ＣＣＤ）に形成された像のコントラストを検出し、最もコントラストの高い位置にレンズを移動させてフォーカスを合わせるＣＣＤ−ＡＦ方式が用いられている。しかし、ＣＣＤ−ＡＦ方式は、レンズを少しずつ動かしコントラストを探していくためフォーカス動作が遅いという問題があった。そこで、測距ユニット（５）を用いて被写体との距離情報を常に取得し、距離情報からレンズを一気に移動してフォーカス動作を高速化している。温度センサ（不図示）は環境温度を測定する装置で、カメラ内外の温度を測定し、温度が異常に上昇している場合にはカメラの電源を落としたり、温度センサのデータを参照してカメラの制御内容を変更したりする。 The distance measuring unit (5) is a device that measures the distance between the camera and the subject. Currently, a digital camera uses a CCD-AF method in which the contrast of an image formed on an image sensor (CCD) is detected, and the lens is moved to a position with the highest contrast to adjust the focus. However, the CCD-AF method has a problem that the focusing operation is slow because the lens is moved little by little to search for contrast. Therefore, distance information with the subject is always obtained using the distance measuring unit (5), and the lens is moved from the distance information at a stretch to speed up the focusing operation. A temperature sensor (not shown) measures the ambient temperature, measures the temperature inside and outside the camera, and if the temperature is abnormally high, turn off the camera or refer to the temperature sensor data. Or change the control content of.

鏡胴ユニット（７）は、被写体の光学画像を取り込むズームレンズ（７−１ａ）、ズーム駆動モータ（７−１ｂ）からなるズーム光学系（７−１）、フォーカスレンズ（７−２ａ）、フォーカス駆動モータ（７−２ｂ）からなるフォーカス光学系（７−２）、絞り（７−３ａ）、絞りモータ（７−３ｂ）からなる絞りユニット（７−３）、メカシャッタ（７−４ａ）、メカシャッタモータ（７−４ｂ）からなるメカシャッタユニット（７−４）、各モータを駆動するモータドライバ（７−５）を有する。そして、モータドライバ（７−５）は、リモコン受光部（６）入力や操作部Ｋｅｙユニット（ＳＷ１〜ＳＷ１３）の操作入力に基づく、後述するカメラプロセッサ（１０４）内にあるＣＰＵブロック（１０４−３）からの駆動指令により駆動制御される。 The lens barrel unit (7) includes a zoom lens (7-1a) for capturing an optical image of a subject, a zoom optical system (7-1) including a zoom drive motor (7-1b), a focus lens (7-2a), and a focus. Focus optical system (7-2) composed of drive motor (7-2b), diaphragm (7-3a), diaphragm unit (7-3) composed of diaphragm motor (7-3b), mechanical shutter (7-4a), mechanical It has a mechanical shutter unit (7-4) composed of a shutter motor (7-4b) and a motor driver (7-5) for driving each motor. The motor driver (7-5) is a CPU block (104-3) in a camera processor (104), which will be described later, based on an input from the remote control light receiving unit (6) and an operation input from the operation unit key units (SW1 to SW13). The drive is controlled by a drive command from).

ＲＯＭ（１０８）には、ＣＰＵブロック（１０４−３）にて解読可能なコードで記述された、制御プログラムや制御するためのパラメータが格納されている。このデジタルカメラの電源がオン状態になると、前記プログラムは不図示のメインメモリにロードされ、前記ＣＰＵブロック（１０４−３）はそのプログラムに従って装置各部の動作を制御するとともに、制御に必要なデータ等を、一時的に、ＲＡＭ（１０７）、及び後述するカメラプロセッサ（１０４）内にあるＬｏｃａｌＳＲＡＭ（１０４−４）に保存する。ＲＯＭ（１０８）に書き換え可能なフラッシュＲＯＭを使用することで、制御プログラムや制御するためのパラメータを変更することが可能となり、機能のＶｅｒＵｐが容易に行える。 The ROM (108) stores control programs and parameters for control described in codes readable by the CPU block (104-3). When the power of the digital camera is turned on, the program is loaded into a main memory (not shown), and the CPU block (104-3) controls the operation of each part of the apparatus according to the program, as well as data necessary for control, etc. Are temporarily stored in a RAM (107) and a local SRAM (104-4) in a camera processor (104) described later. By using a rewritable flash ROM for the ROM (108), it becomes possible to change the control program and parameters for control, and the function can be easily upgraded.

ＣＣＤ（１０１）は、光学画像を光電変換するための固体撮像素子であり、Ｆ／Ｅ（フロントエンド）−ＩＣ（１０２）は、画像ノイズ除去用相関二重サンプリングを行うＣＤＳ（１０２−１）、利得調整を行うＡＧＣ（１０２−２）、ディジタル信号変換を行うＡ／Ｄ（１０２−３）、ＣＣＤ１信号処理ブロック（１０４−１）より、垂直同期信号（以下、ＶＤと記す。）、水平同期信号（以下、ＨＤと記す。）を供給され、ＣＰＵブロック（１０４−３）によって制御されるＣＣＤ（１０１）、及びＦ／Ｅ−ＩＣ（１０２）の駆動タイミング信号を発生するＴＧ（１０２−４）を有する。 The CCD (101) is a solid-state imaging device for photoelectrically converting an optical image, and the F / E (front end) -IC (102) is a CDS (102-1) that performs correlated double sampling for image noise removal. AGC (102-2) for gain adjustment, A / D (102-3) for digital signal conversion, CCD1 signal processing block (104-1), vertical synchronization signal (hereinafter referred to as VD), horizontal A synchronization signal (hereinafter referred to as HD) is supplied, and a TG (102−) that generates drive timing signals for the CCD (101) and the F / E-IC (102) controlled by the CPU block (104-3). 4).

デジタルスチルカメラプロセッサ（１０４）は、ＣＣＤ（１０１）よりＦ／Ｅ―ＩＣ（１０２）の出力データにホワイトバランス設定やガンマ設定を行い、又、前述したように、ＶＤ信号、ＨＤ信号を供給するＣＣＤ１信号処理ブロック（１０４−１）、フィルタリング処理により、輝度データ・色差データへの変換を行うＣＣＤ２信号処理ブロック（１０４−２）、前述した装置各部の動作を制御するＣＰＵブロック（１０４−３）、前述した制御に必要なデータ等を、一時的に、保存するＬｏｃａｌＳＲＡＭ（１０４−４）、パソコンなどの外部機器とＵＳＢ通信を行うＵＳＢブロック（１０４−５）、パソコンなどの外部機器とシリアル通信を行うシリアルブロック（１０４−６）、ＪＰＥＧ圧縮・伸張を行うＪＰＥＧＣＯＤＥＣブロック（１０４−７）、画像データのサイズを補間処理により拡大／縮小するＲＥＳＩＺＥブロック（１０４−８）、画像データを液晶モニタやＴＶなどの外部表示機器に表示するためのビデオ信号に変換するＴＶ信号表示ブロック（１０４−９）、撮影された画像データを記録するメモリカードの制御を行うメモリカードコントローラブロック（１０４−１０）を有する。 The digital still camera processor (104) performs white balance setting and gamma setting on the output data of the F / E-IC (102) from the CCD (101), and supplies the VD signal and HD signal as described above. CCD1 signal processing block (104-1), CCD2 signal processing block (104-2) for converting into luminance data / chrominance data by filtering processing, and CPU block (104-3) for controlling the operation of each unit described above The local SRAM (104-4) for temporarily storing the data necessary for the control described above, the USB block (104-5) for USB communication with an external device such as a personal computer, and the serial with an external device such as a personal computer Serial block (104-6) for communication, JPEG CODEC block for JPEG compression / decompression (104-7), a RESIZE block (104-8) for enlarging / reducing the size of the image data by interpolation processing, and converting the image data into a video signal for display on an external display device such as a liquid crystal monitor or TV. A TV signal display block (104-9) and a memory card controller block (104-10) for controlling a memory card for recording photographed image data are provided.

ＳＤＲＡＭ（１０３）は、前述したカメラプロセッサ（１０４）で画像データに各種処理を施す際に、画像データを一時的に保存する。保存される画像データは、例えば、ＣＣＤ（１０１）から、Ｆ／Ｅ−ＩＣ（１０２）を経由して取りこんで、ＣＣＤ１信号処理ブロック（１０４−１）でホワイトバランス設定、ガンマ設定が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」やＣＣＤ２信号処理ブロック（１０４−２）で輝度データ・色差データ変換が行われた状態の「ＹＣｂＣｒ画像データ」、ＪＰＥＧＣＯＤＥＣブロック（１０４−７）で、ＪＰＥＧ圧縮された「ＪＰＥＧ画像データ」などである。 The SDRAM (103) temporarily stores image data when the camera processor (104) performs various processes on the image data. For example, the image data to be stored is acquired from the CCD (101) via the F / E-IC (102), and the white balance setting and the gamma setting are performed by the CCD1 signal processing block (104-1). "RAW-RGB image data" in the state and "YCbCr image data" in which the luminance data / color difference data conversion has been performed in the CCD2 signal processing block (104-2), JPEG compression in the JPEG CODEC block (104-7) “JPEG image data” or the like.

メモリカードスロットル（１２１）は、着脱可能なメモリカードを装着するためのスロットルである。内蔵メモリ（１２０）は、前述したメモリカードスロットル（１２１）にメモリカードが装着されていない場合でも、撮影した画像データを記憶できるようにするためのメモリである。 The memory card throttle (121) is a throttle for mounting a removable memory card. The built-in memory (120) is a memory for storing captured image data even when no memory card is attached to the memory card throttle (121).

ＬＣＤドライバ（１１７）は、後述するＬＣＤモニタ（１０）に駆動するドライブ回路であり、ＴＶ信号表示ブロック（１０４−９）から出力されたビデオ信号を、ＬＣＤモニタ（１０）に表示するための信号に変換する機能も有している。 The LCD driver (117) is a drive circuit that drives the LCD monitor (10) to be described later, and a signal for displaying the video signal output from the TV signal display block (104-9) on the LCD monitor (10). It also has the function of converting to

ＬＣＤモニタ（１０）は、撮影前に被写体の状態を監視する、撮影した画像を確認する、メモリカードや前述した内蔵メモリ（１２０）に記録した画像データを表示する、などを行うためのモニタである。 The LCD monitor (10) is a monitor for monitoring the state of a subject before photographing, confirming a photographed image, displaying image data recorded in a memory card or the built-in memory (120), and the like. is there.

ビデオＡＭＰ（１１８）は、ＴＶ信号表示ブロック（１０４−９）から出力されたビデオ信号を、７５Ωインピーダンス変換するためのアンプであり、ビデオジャック（１１９）は、ＴＶなどの外部表示機器と接続するためのジャックである。 The video AMP (118) is an amplifier for converting the impedance of the video signal output from the TV signal display block (104-9) to 75Ω, and the video jack (119) is connected to an external display device such as a TV. Jack for.

ＵＳＢコネクタ（１２２）は、パソコンなどの外部機器とＵＳＢ接続を行う為のコネクタである。シリアルドライバ回路（１２３−１）は、パソコンなどの外部機器とシリアル通信を行うために、前述したシリアルブロック（１０４−６）の出力信号を電圧変換するための回路であり、ＲＳ−２３２Ｃコネクタ（１２３−２）は、パソコンなどの外部機器とシリアル接続を行う為のコネクタである。 The USB connector (122) is a connector for performing USB connection with an external device such as a personal computer. The serial driver circuit (123-1) is a circuit for converting the voltage of the output signal of the serial block (104-6) described above in order to perform serial communication with an external device such as a personal computer. The RS-232C connector ( 123-2) is a connector for serial connection with an external device such as a personal computer.

ＳＵＢ−ＣＰＵ（１０９）は、ＲＯＭ・ＲＡＭをワンチップに内蔵したＣＰＵであり、操作Ｋｅｙユニット（ＳＷ１〜１３）やリモコン受光部（６）の出力信号をユーザの操作情報として、前述したＣＰＵブロック（１０４−３）に出力したり、前述したＣＰＵブロック（１０４−３）より出力されるカメラの状態を、後述するサブＬＣＤ（１）、ＡＦＬＥＤ（８）、ストロボＬＥＤ（９），ブザー（１１３）の制御信号に変換して、出力する。 The SUB-CPU (109) is a CPU in which ROM and RAM are built in one chip, and the CPU block described above using the output signals of the operation key units (SW1 to SW13) and the remote control light receiving unit (6) as user operation information. (104-3), and the camera status output from the CPU block (104-3) described above, the sub LCD (1), AF LED (8), strobe LED (9), buzzer (described later) 113) and output.

サブＬＣＤ（１）は、例えば、撮影可能枚数など表示するための表示部であり、ＬＣＤドライバ（１１１）は、前述したＳＵＢ−ＣＰＵ（１０９）の出力信号より、前述したサブＬＣＤ（１）を駆動するためのドライブ回路である。 The sub LCD (1) is a display unit for displaying, for example, the number of shootable images, and the LCD driver (111) is configured to display the sub LCD (1) described above based on the output signal of the SUB-CPU (109). A drive circuit for driving.

ＡＦＬＥＤ（８）は、撮影時の合焦状態を表示するためのＬＥＤであり、ストロボＬＥＤ（９）は、ストロボ充電状態を表すためのＬＥＤである。尚、このＡＦＬＥＤ（８）とストロボＬＥＤ（９）を、メモリカードアクセス中などの別の表示用途に使用しても良い。 The AF LED (8) is an LED for displaying an in-focus state at the time of photographing, and the strobe LED (9) is an LED for representing a strobe charging state. The AF LED (8) and the strobe LED (9) may be used for another display application such as when a memory card is being accessed.

操作Ｋｅｙユニット（ＳＷ１〜１３）は、ユーザが操作するＫｅｙ回路であり、リモコン受光部（６）は、ユーザが操作したリモコン送信機の信号の受信部である。 The operation key units (SW1 to SW13) are key circuits operated by the user, and the remote control light receiving unit (6) is a signal reception unit of the remote control transmitter operated by the user.

音声記録ユニット（１１５）は、ユーザが音声信号を入力するマイク（１１５−３）、入力された音声信号を増幅するマイクＡＭＰ（１１５−２）、増幅された音声信号を記録する音声記録回路（１１５―３）からなる。また、音声再生ユニット（１１６）は、記録された音声信号をスピーカーから出力できる信号に変換する音声再生回路（１１６−１）、変換された音声信号を増幅し、スピーカーを駆動するためのオーディオＡＭＰ（１１６−２）、音声信号を出力するスピーカー（１１６−３）からなる。 The voice recording unit (115) includes a microphone (115-3) for a user to input a voice signal, a microphone AMP (115-2) for amplifying the input voice signal, and a voice recording circuit (115) for recording the amplified voice signal. 115-3). The audio reproduction unit (116) also converts an audio reproduction circuit (116-1) that converts the recorded audio signal into a signal that can be output from the speaker, and an audio AMP that amplifies the converted audio signal and drives the speaker. (116-2) and a speaker (116-3) for outputting an audio signal.

上述のように構成されたデジタルカメラにおいて、本発明の構成について説明する。
まず、デジタルカメラの基本的な画像処理について説明する。 The configuration of the present invention in the digital camera configured as described above will be described.
First, basic image processing of a digital camera will be described.

＜基本的画像処理＞
図３に、基本的な画像処理手順のフローチャートを示す。
図３に示す画像処理は、図２のＣＣＤ１信号処理ブロック（１０４−１）及びＣＣＤ２信号処理ブロック（１０４−２）内に含まれる。なお、ＣＣＤ（１０１）から出力される信号を１画素毎にサンプリングしＡ／Ｄ変換したものを画像処理されていない段階であるため一般的にＲＡＷデータと呼び、画像処理部に入力するデータはこのＲＡＷデータである。 <Basic image processing>
FIG. 3 shows a flowchart of a basic image processing procedure.
The image processing shown in FIG. 3 is included in the CCD1 signal processing block (104-1) and the CCD2 signal processing block (104-2) shown in FIG. Note that the signal output from the CCD (101) is sampled for each pixel and A / D converted and is not processed by the image, so it is generally called RAW data, and the data input to the image processing unit is This RAW data.

（Ｓ１：ホワイトバランス(ＷＢ)処理）
被写体からの光量を蓄積するＣＣＤ（１０１）のフォトダイオード上には１画素１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥのいずれか１色のカラーフィルタが貼付されているが、フィルタの色によって透過する光量が変わってくるためフォトダイオードに蓄積される電荷量が異なっている。最も感度が高いのはＧＲＥＥＮで、ＲＥＤとＢＬＵＥはＧＲＥＥＮと比較すると感度が低く約半分程度である。ホワイトバランス（ＷＢ）処理では、これらの感度差を補い、撮影画像の中の白色を白く見せるために、ＲとＢにゲインを掛ける処理を行う。また、物の色は光源色（例えば、太陽光、蛍光灯など）によって変わってくるため、光源が変わっても白色を白く見せるようにＲとＢのゲインを変更し、制御する機能を有している。 (S1: White balance (WB) processing)
A color filter of any one of RED, GREEN, and BLUE is attached to each pixel on the photodiode of the CCD (101) that accumulates the amount of light from the subject. Because of this change, the amount of charge stored in the photodiode is different. The most sensitive is GREEN, and RED and BLUE are less sensitive than GREEN and are about half. In the white balance (WB) process, a process of multiplying R and B is performed in order to compensate for these sensitivity differences and make white in the captured image appear white. Moreover, since the color of an object changes with light source colors (for example, sunlight, a fluorescent lamp, etc.), even if a light source changes, it has the function to change and control the gain of R and B so that white may appear white. ing.

（Ｓ２：ガンマ（γ）補正処理）
図４（ａ）は、γ補正の曲線の一例を示すものである。横軸に入力信号、縦軸に出力信号を示しており、非線形な入出力変換を行う。一般的にＬＣＤやＣＲＴなどの出力装置では、図４（ｂ）に示すように入力に対して出力は非線形な特性で出力される。このような非線形な出力の場合、明るさに階調性がなく、また画像が暗くなるため人は正しく画像を見ることができない。そこで、出力装置の特性を考慮して、出力が線形性を保つように予め入力信号に処理を行うのがガンマ補正処理である。 (S2: Gamma (γ) correction processing)
FIG. 4A shows an example of a curve for γ correction. The horizontal axis indicates the input signal, and the vertical axis indicates the output signal, and performs nonlinear input / output conversion. In general, in an output device such as an LCD or CRT, as shown in FIG. 4B, the output is output with nonlinear characteristics with respect to the input. In the case of such a non-linear output, there is no gradation in brightness, and the image becomes dark, so that a person cannot see the image correctly. Therefore, in consideration of the characteristics of the output device, it is gamma correction processing that performs processing on the input signal in advance so that the output maintains linearity.

（Ｓ３：補間処理）
ＣＣＤ（１０１）ではベイヤ配列と呼ばれる配列で、１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥのいずれか１色のカラーフィルタが貼付されており、ＲＡＷデータは１画素に１色の情報しかない。しかし、ＲＡＷデータから画像として見るためには、１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥの３色の情報が必要であり、足りない２色を補うために周辺の画素から補間する補間処理を行う。 (S3: Interpolation process)
The CCD (101) is an array called a Bayer array, and a color filter of any one of RED, GREEN, and BLUE is attached to one pixel, and RAW data has only one color information per pixel. However, in order to view an image from RAW data, information of three colors RED, GREEN, and BLUE is required for one pixel, and interpolation processing is performed to interpolate from surrounding pixels in order to compensate for two missing colors.

（Ｓ４：ＹＣｂＣｒ変換処理）
ＲＡＷデータの段階では、ＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥの３色によるＲＧＢデータ形式であるが、ＹＣｂＣｒ変換では輝度信号Ｙと色差信号ＣｂＣｒのＹＣｂＣｒデータ形式に変換を行う。デジタルカメラ等で一般的に用いられるファイル形式のＪＰＥＧ画像では、ＹＣｂＣｒデータから画像が作成されるため、ＲＧＢデータをＹＣｂＣｒデータに変換する。変換式は、以下の通りである。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｂ＝ −０．２９９×Ｒ−０．５８７×Ｇ＋０．８８６×Ｂ
Ｃｒ＝０．７０１×Ｒ−０．５８７×Ｇ−０．１１４×Ｂ (S4: YCbCr conversion process)
In the RAW data stage, the RGB data format is RED, GREEN, and BLUE, but the YCbCr conversion converts the luminance signal Y and the color difference signal CbCr into the YCbCr data format. In a JPEG image of a file format generally used in a digital camera or the like, an image is created from YCbCr data, and therefore RGB data is converted to YCbCr data. The conversion formula is as follows.
Y = 0.299 × R + 0.587 × G + 0.114 × B
Cb = −0.299 × R−0.587 × G + 0.886 × B
Cr = 0.701 × R−0.587 × G−0.114 × B

（Ｓ５：色補正処理）
色補正では、彩度設定、色相設定、部分的な色相変更設定、色抑圧設定などある。
図５はＣｂＣｒ色空間を示すものである。ここで、彩度設定は色の濃さを決定するパラメータ設定であり、例えば、第２象限でＲＥＤの色に対して原点からＲＥＤのドットまでのベクトルの長さが長い程色の濃さは濃くなる。次に色相設定では、色合いを決定するパラメータである。例えば、図５の第３象限でＧＲＥＥＮの色に対してベクトルの長さが同じであってもベクトルの向きが異なると色合いは変わってくる。部分的な色相変更設定では、図５の第４象限に示すように部分的な色領域を回転させる設定である。彩度が強いと色が濃くなる一方で色ノイズが強くなる傾向にある。そこで色抑圧設定では、例えば輝度信号に対してしきい値を設け、しきい値よりも低い又は高い領域に対して彩度を抑えることにより色ノイズを抑える制御を行う。 (S5: Color correction processing)
Color correction includes saturation setting, hue setting, partial hue change setting, color suppression setting, and the like.
FIG. 5 shows the CbCr color space. Here, the saturation setting is a parameter setting that determines the color intensity. For example, the longer the vector length from the origin to the RED dot with respect to the RED color in the second quadrant, the greater the color intensity. It becomes darker. Next, hue setting is a parameter for determining a hue. For example, in the third quadrant of FIG. 5, even if the vector length is the same as the GREEN color, the hue changes if the vector direction is different. In the partial hue change setting, the partial color region is rotated as shown in the fourth quadrant of FIG. When the saturation is strong, the color becomes dark while the color noise tends to become strong. Therefore, in the color suppression setting, for example, a threshold value is provided for the luminance signal, and control for suppressing color noise is performed by suppressing the saturation for an area lower or higher than the threshold value.

（Ｓ６：エッジ強調処理）
エッジ強調処理とは、図６に示すように画像の輝度（Ｙ）信号からエッジ部分を抽出するエッジ抽出フィルタ部と、エッジ抽出フィルタにより抽出されたエッジに対してゲインを掛けるゲイン乗算部と、エッジ抽出と並行して画像のノイズを除去するローパスフィルタ（ＬＰＦ）部と、ゲイン乗算後のエッジ抽出データとＬＰＦ処理後の画像データを加算する加算部からなる。エッジの強弱は、ゲイン乗算部のゲインによって決まり、ゲインが大きい場合にはエッジが強くなり、ゲインが小さい場合にはエッジが弱くなる。また、エッジ抽出フィルタのフィルタ係数によってもエッジの検出方向やエッジの抽出量が変わるため重要なパラメータである。ＬＰＦのフィルタ係数では、画像を平滑化させて画像のノイズを減らしているが、ＬＰＦを強く掛けるとノイズは少なくなるが、一方で平滑化により細かな部分が潰れてしまい解像度が失われる傾向にある。 (S6: Edge enhancement processing)
The edge enhancement processing includes an edge extraction filter unit that extracts an edge portion from a luminance (Y) signal of an image as shown in FIG. 6, a gain multiplication unit that multiplies the edge extracted by the edge extraction filter, A low pass filter (LPF) unit that removes image noise in parallel with edge extraction, and an adder unit that adds edge extracted data after gain multiplication and image data after LPF processing. The strength of the edge is determined by the gain of the gain multiplication unit. When the gain is large, the edge becomes strong, and when the gain is small, the edge becomes weak. Further, the edge detection direction and the amount of edge extraction are also important parameters depending on the filter coefficient of the edge extraction filter. With the LPF filter coefficients, the image is smoothed to reduce the noise of the image. However, when the LPF is applied strongly, the noise is reduced, but on the other hand, the finer portions are crushed by the smoothing and the resolution tends to be lost. is there.

（その他の処理）
画像処理には、その他に保存する画像サイズに変更するリサイズ処理、情報量を圧縮するＪＰＥＧ圧縮処理などがある。 (Other processing)
Other image processing includes resizing processing for changing the image size to be stored, JPEG compression processing for compressing the information amount, and the like.

つぎに、本発明の根幹部分である画像処理フローを説明する。
図７は、本発明の画像処理手順を示すフローチャートである。前述の図３の一般的な画像処理のフローチャートに対して、ステップＳ５の色補正の後にステップＳ５Ａとして階調別色補正ブロック（機能）が追加されている点が異なっている。なお、この階調別色補正ブロックはステップＳ４のＹＣｂＣｒ変換の後であればどのタイミングで行ってもよい。例えば、ステップＳ５の色補正の前でもよいし、ステップＳ６のエッジ強調処理の後でもよい。なお、図１、図２に示すデジタルカメラにおいて、図７の画像処理を行う部分を画像処理装置と捉えることができる。 Next, an image processing flow that is a fundamental part of the present invention will be described.
FIG. 7 is a flowchart showing the image processing procedure of the present invention. The general image processing flowchart of FIG. 3 is different in that a color correction block (function) for each gradation is added as step S5A after the color correction in step S5. The gradation-specific color correction block may be performed at any timing after the YCbCr conversion in step S4. For example, it may be before color correction in step S5 or after edge enhancement processing in step S6. In the digital camera shown in FIGS. 1 and 2, the part that performs image processing in FIG. 7 can be regarded as an image processing apparatus.

すなわち、本発明に係る画像処理装置は、ＹＣｂＣｒデータについて所定画素数分ずつ、例えば１画素ずつ輝度信号Ｙから色補正値を算出し、色差信号Ｃｂ、Ｃｒを補正していく階調別色補正機能を有する。詳しくは、本発明に係る画像処理装置は、輝度信号Ｙと２つの色差信号Ｃｂ、Ｃｒからなる画像データが入力される画像入力部と、所定階調に対応して所定の色補正値を有する１または複数の色補正テーブルを記憶する色補正テーブル記憶部と、前記色補正テーブル記憶部に記憶された１または複数の色補正テーブルから所定の色補正テーブルを選択する色補正テーブル選択部と、入力画像データの所定画素数ごとに輝度信号Ｙから階調を判定する階調判定部と、前記色補正テーブル選択部で選択された色補正テーブルから前記階調判定部で判定された階調に対応する色補正値Ａを入力画像データの所定画素数ごとに算出する色補正値算出部と、入力画像データの所定画素数ごとに、算出された色補正値Ａ及び色差信号Ｃｂ、Ｃｒを用いて、下記の式（１），（２）により色信号Ｃｂ’、Ｃｒ’を算出し、輝度信号Ｙと色差信号Ｃｂ’、Ｃｒ’からなる色補正後の画像データとする色信号補正部と、を備えることを特徴とするものである。
Ｃｂ’＝（１＋Ａ）×Ｃｂ・・・（１）
Ｃｒ’＝（１＋Ａ）×Ｃｒ・・・（２） That is, the image processing apparatus according to the present invention calculates a color correction value from the luminance signal Y by a predetermined number of pixels for YCbCr data, for example, one pixel at a time, and corrects the color difference signals Cb and Cr by gradation. It has a function. Specifically, the image processing apparatus according to the present invention has an image input unit to which image data including a luminance signal Y and two color difference signals Cb and Cr is input, and a predetermined color correction value corresponding to a predetermined gradation. A color correction table storage unit that stores one or more color correction tables; a color correction table selection unit that selects a predetermined color correction table from one or more color correction tables stored in the color correction table storage unit; A gradation determination unit that determines the gradation from the luminance signal Y for each predetermined number of pixels of the input image data, and the gradation determined by the gradation determination unit from the color correction table selected by the color correction table selection unit. A color correction value calculation unit that calculates the corresponding color correction value A for each predetermined number of pixels of the input image data, and the calculated color correction value A and the color difference signals Cb and Cr for each predetermined number of pixels of the input image data. And A color signal correction unit that calculates the color signals Cb ′ and Cr ′ by the equations (1) and (2) and uses the luminance signal Y and the color difference signals Cb ′ and Cr ′ as image data after color correction. It is characterized by comprising.
Cb ′ = (1 + A) × Cb (1)
Cr ′ = (1 + A) × Cr (2)

この発明内容の詳細について図８を用いて説明する。
図８は、階調別色補正ブロックの処理内容を示すフローチャートである。
（Ｓ１１：１画素分のＹ，Ｃｂ，Ｃｒ信号取得（画像入力部））
階調別色補正ブロックではまず始めに、画像開始位置の１画素分のＹ、Ｃｂ、Ｃｒ信号を取得する。なお、図７で階調別色補正ブロック（Ｓ５Ａ）への入力時には、ＹＣｂＣｒブロック（Ｓ４）で画像データがＲＧＢ形式からＹＣｂＣｒに変換されてＹＣｂＣｒ形式になっている。 Details of the present invention will be described with reference to FIG.
FIG. 8 is a flowchart showing the processing contents of the color correction block for each gradation.
(S11: Y, Cb, Cr signal acquisition for one pixel (image input unit))
In the gradation-specific color correction block, first, Y, Cb, and Cr signals for one pixel at the image start position are acquired. In FIG. 7, at the time of input to the gradation-specific color correction block (S5A), the YCbCr block (S4) converts the image data from the RGB format to the YCbCr format to the YCbCr format.

（Ｓ１２：階調判定（階調判定部））
次に取得した１画素分のＹ、Ｃｂ、Ｃｒ信号のＹ信号（輝度信号）からどの階調にあるかを判定する。通常、Ｙ信号は８ビットであり０から２５５の間の値をとる。階調判定は輝度信号が０から２５５のどの値であるかを判定する。 (S12: Tone determination (tone determination unit))
Next, it is determined which gradation is present from the obtained Y signal (luminance signal) of Y, Cb, and Cr signals for one pixel. Normally, the Y signal is 8 bits and takes a value between 0 and 255. The gradation determination determines which value the luminance signal is from 0 to 255.

（Ｓ１３：色補正テーブル参照（色補正テーブル選択部、色補正値算出部））
次に、色補正テーブル参照である。ここで、色補正テーブルの概要について説明する。
図９は、色補正テーブルをグラフに表したものである。横軸を輝度信号Ｙ、縦軸を色補正値Ａにとり、（Ｃｂ又はＣｒ信号について）所定階調に対応して所定の色補正値が設定されている。例えば、色補正テーブルは、複数階調それぞれに対応して色補正値が設定されている。また、色補正値Ａはプラスまたはマイナスの設定可能な小数とする。 (S13: Refer to color correction table (color correction table selection unit, color correction value calculation unit))
Next, reference is made to the color correction table. Here, an outline of the color correction table will be described.
FIG. 9 is a graph showing the color correction table. The horizontal axis is the luminance signal Y, the vertical axis is the color correction value A, and a predetermined color correction value is set corresponding to a predetermined gradation (for a Cb or Cr signal). For example, in the color correction table, color correction values are set corresponding to each of a plurality of gradations. The color correction value A is a decimal that can be set to plus or minus.

図９（ａ）は、輝度信号Ｙの１ＬＳＢ（最下位ビット）に１つずつ色補正値Ａを設定しており、色補正テーブルは、輝度信号Ｙが取りうる０から２５５の整数値に対応した２５６個の色補正値となる。すなわち、画像データで取りうる輝度範囲に対応した全階調それぞれに色補正値を有する。これにより、階調ごとに細かく色補正を行うことができる。 In FIG. 9A, one color correction value A is set for each 1 LSB (least significant bit) of the luminance signal Y, and the color correction table corresponds to integer values from 0 to 255 that the luminance signal Y can take. The 256 color correction values are obtained. That is, a color correction value is provided for each of all gradations corresponding to the luminance range that can be obtained with image data. Thereby, fine color correction can be performed for each gradation.

一方、図９（ｂ）は、輝度信号Ｙに対しドットで示した色補正代表点を設定し、色補正代表点間は線形補間した例である。例えば、色補正テーブルとしては、画像データで取りうる輝度範囲において幾つかの階調で設定される色補正値を色補正代表点として持ち、後述する色補正値算出において、該色補正テーブルの色補正代表点間を線形補間して色補正値Ａを算出する。これにより、色補正テーブルを記憶保持するＲＯＭ（１０８）（色補正テーブル記憶部）のメモリ容量を減らすことができるとともに、補正値設定の作業負担を軽減することができる。図９（ｂ）の場合には、１６個の色補正代表点を設定で済むため、色補正テーブルは１６個のデータとなり、図９（ａ）の場合に比べて１／１６のデータ量となる。なお、色補正代表点の設定は、輝度信号Ｙと色補正値Ａの組み合わせで任意に変更できるようにするとよい。 On the other hand, FIG. 9B is an example in which color correction representative points indicated by dots are set for the luminance signal Y and linear interpolation is performed between the color correction representative points. For example, the color correction table has color correction values set at several gradations in the luminance range that can be taken by the image data as color correction representative points. A color correction value A is calculated by linear interpolation between the corrected representative points. As a result, the memory capacity of the ROM (108) (color correction table storage unit) that stores and holds the color correction table can be reduced, and the work load for setting the correction value can be reduced. In the case of FIG. 9B, since it is sufficient to set 16 color correction representative points, the color correction table has 16 data, which is 1/16 of the data amount compared to the case of FIG. Become. The setting of the color correction representative point may be arbitrarily changed by a combination of the luminance signal Y and the color correction value A.

また、色補正テーブルは、Ｃｂ信号とＣｒ信号それぞれに対応して個別に持つようにし、Ｃｂ信号とＣｒ信号の色補正テーブルを同じ設定にしてもよいし、それぞれ異なる設定値としてもよい。すなわち、前記色補正テーブルは、色差信号Ｃｂ、Ｃｒそれぞれに対応して別に設けられた色補正テーブルのペアからなり、該ペアの色補正テーブルそれぞれにおける所定階調と色補正値との関係を同じ設定又は異なる設定とされていることとしてもよい。このように色補正テーブルをＣｂ信号とＣｒ信号とで個別に設定できることにより、階調別の色補正に自由度が生まれ様々な補正方法が可能となる。 Further, the color correction table may be individually provided corresponding to each of the Cb signal and the Cr signal, and the color correction tables of the Cb signal and the Cr signal may be set to the same or different setting values. That is, the color correction table is composed of a pair of color correction tables provided separately for the color difference signals Cb and Cr, and the relationship between the predetermined gradation and the color correction value in each of the color correction tables of the pair is the same. It is good also as being set as a setting or different. As described above, since the color correction table can be individually set for the Cb signal and the Cr signal, a degree of freedom is provided for color correction for each gradation, and various correction methods are possible.

このような色補正テーブルを１又は複数予め設定して用意し、図２に示すＲＯＭ（１０８）（色補正テーブル記憶部）に格納しておき、ＳＤＲＡＭ（１０３）或いはＬｏｃａｌＳＲＡＭ（１０４−４）に適宜読み出して使用する（色補正テーブル選択部）。このときの色補正テーブルの選択は、ユーザが色補正テーブルの候補から手動で選択できるようにしてもよいし、撮影モードに対応して自動的に選択されたり、撮影シーン（例えば高輝度階調の色補正）に応じて自動的に選択されたりするようにしてもよい。 One or a plurality of such color correction tables are set and prepared in advance and stored in the ROM (108) (color correction table storage unit) shown in FIG. 2, and the SDRAM (103) or the local SRAM (104-4). Are read out and used as needed (color correction table selection unit). In this case, the color correction table may be selected manually by the user from the color correction table candidates, automatically selected according to the shooting mode, or a shooting scene (for example, a high luminance gradation). The color may be automatically selected according to (color correction).

以上のような色補正テーブルを用いて、階調判定で判定した輝度信号Ｙに対応する色補正値Ａを選択された色補正テーブルから算出する（色補正値算出部）。 Using the color correction table as described above, the color correction value A corresponding to the luminance signal Y determined in the gradation determination is calculated from the selected color correction table (color correction value calculation unit).

（Ｓ１４：Ｃｂ，Ｃｒ補正（色信号補正部））
次に、算出した色補正値Ａから色差信号Ｃｂ、Ｃｒに対して色補正を行う。補正にあたっては、以下の式（１），（２）を用いて色信号Ｃｂ’、Ｃｒ’を算出し、色差信号Ｃｂ，Ｃｒに代えて輝度信号Ｙと補正後の色差信号Ｃｂ’、Ｃｒ’とする。
Ｃｂ’＝（１＋Ａ）×Ｃｂ・・・（１）
Ｃｒ’＝（１＋Ａ）×Ｃｒ・・・（２） (S14: Cb, Cr correction (color signal correction unit))
Next, color correction is performed on the color difference signals Cb and Cr from the calculated color correction value A. In the correction, the color signals Cb ′ and Cr ′ are calculated using the following equations (1) and (2), and the luminance signal Y and the corrected color difference signals Cb ′ and Cr ′ are substituted for the color difference signals Cb and Cr. And
Cb ′ = (1 + A) × Cb (1)
Cr ′ = (1 + A) × Cr (2)

（Ｓ１５）
以上の処理が画像データの全画素について行われるまで繰り返して実行され、色補正後の画像データを得て終了する。 (S15)
The above processing is repeatedly performed until all the pixels of the image data are performed, and the image data after color correction is obtained and the processing ends.

以下に、階調別色補正ブロックによる補正効果について、３つの例を用いて説明する。
（補正効果例１）
図１０は、低輝度部で緑色に着色した場合のＣｂ、Ｃｒ信号の色補正テーブル設定例である。ここでは、Ｃｂ信号とＣｒ信号の色補正テーブルにおける所定階調と色補正値との関係を同じ設定としている。
輝度信号Ｙが小さい領域で色補正値をプラス方向に設定することで、階調別色補正ブロックの処理により低輝度部の色を緑色から緑色の補色であるマゼンタ色側にシフトすることができ、低輝度部での緑色着色を緩和することができる。また、Ｃｂ、Ｃｒ信号の色補正テーブルを同じにすることで原点方向に向けてマゼンタ側にシフトさせており、色相が変化することがないため階調別色補正による色変化の違和感は少ない。 Below, the correction effect by the color correction block classified by gradation is demonstrated using three examples.
(Correction effect example 1)
FIG. 10 is an example of setting a color correction table for Cb and Cr signals when colored in green in the low luminance part. Here, the relationship between the predetermined gradation and the color correction value in the color correction table of the Cb signal and the Cr signal is set to be the same.
By setting the color correction value in the positive direction in the region where the luminance signal Y is small, the color of the low luminance part can be shifted from green to magenta, which is the complementary color of green, by the color correction block for each gradation. , Green coloring in the low-luminance part can be reduced. Further, by making the color correction tables of the Cb and Cr signals the same, the color is shifted to the magenta side toward the origin, and since the hue does not change, there is little discomfort in color change due to tone-based color correction.

（補正効果例２）
図１１は、高輝度部でマゼンタ色に着色した場合のＣｂ、Ｃｒ信号の色補正テーブル設定例である。ここでは、Ｃｂ信号とＣｒ信号の色補正テーブルにおける所定階調と色補正値との関係を同じ設定としている。
輝度信号Ｙが大きい領域で色補正値をマイナス方向に設定することで、階調別色補正ブロックの処理により高輝度部の色をマゼンタ色からマゼンタ色の補色である緑側にシフトすることができ、高輝度部でのマゼンタ色着色を緩和することができる。また、Ｃｂ、Ｃｒ信号の色補正テーブルを同じにすることで原点方向に向けて緑側にシフトさせており、色相が変化することがないため階調別色補正による色変化の違和感は少ない。 (Correction effect example 2)
FIG. 11 is an example of setting a color correction table for Cb and Cr signals when magenta is colored in the high luminance part. Here, the relationship between the predetermined gradation and the color correction value in the color correction table of the Cb signal and the Cr signal is set to be the same.
By setting the color correction value in the minus direction in the region where the luminance signal Y is large, the color of the high luminance portion can be shifted from magenta to green, which is a complementary color of magenta, by the processing of the color correction block for each gradation. And magenta coloring in the high luminance part can be mitigated. Further, by making the color correction tables of the Cb and Cr signals the same, the color is shifted to the green side in the direction of the origin, and the hue does not change.

（補正効果例３）
図１２は、Ｃｒ信号は補正せず、Ｃｂ信号のみ補正するときの色補正テーブル設定例である。Ｃｒ信号の色補正テーブルで色補正値を全階調において０にすることで、Ｃｒ信号に対しては色補正がされない。一方、Ｃｂ信号の方は、中間輝度よりやや高めの輝度信号領域で色補正値をマイナス方向に設定することで、中間輝度よりやや高めの階調で青色の補色である黄色側にシフトすることができ、状況により一部階調で青色に着色した場合には着色を緩和することができる。 (Correction effect example 3)
FIG. 12 shows a color correction table setting example when only the Cb signal is corrected without correcting the Cr signal. By setting the color correction value to 0 in all gradations in the color correction table of the Cr signal, color correction is not performed on the Cr signal. On the other hand, the Cb signal is shifted to the yellow side, which is a complementary color of blue, at a slightly higher gradation than the intermediate luminance by setting the color correction value in the minus direction in the luminance signal region slightly higher than the intermediate luminance. The coloration can be alleviated when it is colored blue with some gradation depending on the situation.

本実施例では、３つの色補正テーブル例を示したが、色補正テーブル設定例はこれ以外にも如何様にも設定可能であり、階調毎のホワイトバランス変更のような使い方も可能である。また、本発明は静止画像に限定されず、スルー画像や動画像においても実施可能である。例えばＬＣＤモニタ（１０）にスルー画像を出力するときに、ＬＣＤモニタ（１０）のバックライトの色味でスルー画像が青白かったり、黄ばんでしまったりするような場合の補正に使用することができる。 In this embodiment, three color correction table examples are shown. However, the color correction table setting example can be set in any manner other than this, and can be used such as changing the white balance for each gradation. . In addition, the present invention is not limited to still images, and can be implemented for through images and moving images. For example, when a through image is output to the LCD monitor (10), it can be used for correction when the through image is bluish or yellowish due to the color of the backlight of the LCD monitor (10). .

なお、本発明は、前述した画像処理装置において実行される画像処理工程（階調別色補正ブロック）をＰＣなどの演算装置において実行される画像処理方法として捉えることができる。
すなわち、本発明に係る画像処理方法は、記憶部を有する演算装置に入力される輝度信号Ｙと２つの色差信号Ｃｂ、Ｃｒからなる画像データについて階調別に色補正する画像処理方法であって、所定階調に対応して所定の色補正値を有する１または複数の色補正テーブルを前記記憶部に記憶させる色補正テーブル記憶工程と、前記色補正テーブル記憶工程で記憶された１または複数の色補正テーブルから所定の色補正テーブルを選択する色補正テーブル選択工程と、入力画像データの所定画素数ごとに輝度信号Ｙから階調を判定する階調判定工程と、前記色補正テーブル選択工程で選択された色補正テーブルから前記階調判定工程で判定された階調に対応する色補正値Ａを入力画像データの所定画素数ごとに算出する色補正値算出工程と、入力画像データの所定画素数ごとに、算出された色補正値Ａ及び色差信号Ｃｂ、Ｃｒを用いて、下記の式（１），（２）により色信号Ｃｂ’、Ｃｒ’を算出し、輝度信号Ｙと色差信号Ｃｂ’、Ｃｒ’からなる色補正後の画像データとする色信号補正工程と、を備えることを特徴とするものである。
Ｃｂ’＝（１＋Ａ）×Ｃｂ・・・（１）
Ｃｒ’＝（１＋Ａ）×Ｃｒ・・・（２）
また、本発明は、本発明の画像処理方法を演算装置で順次実行するように制御することとしたプログラムにも適用可能である。 In the present invention, the image processing process (tone-specific color correction block) executed in the above-described image processing apparatus can be regarded as an image processing method executed in an arithmetic device such as a PC.
That is, the image processing method according to the present invention is an image processing method for performing color correction for each gradation on image data composed of a luminance signal Y and two color difference signals Cb and Cr input to an arithmetic unit having a storage unit, A color correction table storage step of storing in the storage unit one or more color correction tables having a predetermined color correction value corresponding to a predetermined gradation; and one or more colors stored in the color correction table storage step A color correction table selection step for selecting a predetermined color correction table from the correction table, a gradation determination step for determining a gradation from the luminance signal Y for each predetermined number of pixels of the input image data, and a selection in the color correction table selection step A color correction value calculation step for calculating a color correction value A corresponding to the gradation determined in the gradation determination step for each predetermined number of pixels of the input image data from the color correction table thus obtained; Using the calculated color correction value A and the color difference signals Cb and Cr for each predetermined number of pixels of the image data, the color signals Cb ′ and Cr ′ are calculated by the following formulas (1) and (2), and the luminance signal And a color signal correction step for making image data after color correction composed of Y and color difference signals Cb ′ and Cr ′.
Cb ′ = (1 + A) × Cb (1)
Cr ′ = (1 + A) × Cr (2)
The present invention is also applicable to a program that is controlled so that the image processing method of the present invention is sequentially executed by an arithmetic device.

なお、これまで本発明を図面に示した実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 Although the present invention has been described with the embodiments shown in the drawings, the present invention is not limited to the embodiments shown in the drawings, and other embodiments, additions, modifications, deletions, etc. Can be changed within the range that can be conceived, and any embodiment is included in the scope of the present invention as long as the effects and advantages of the present invention are exhibited.

１サブＬＣＤ
２レリーズボタン
３ストロボ発光部
４撮影／再生切り換えダイヤル
５測距ユニット
６リモコン受光部
７鏡胴ユニット
７−１ズーム光学系
７−１ａズームレンズ
７−１ｂズーム駆動モータ
７−２フォーカス光学系
７−２ａフォーカスレンズ
７−２ｂフォーカス駆動モータ
７−３絞りユニット
７−３ａ絞り
７−３ｂ絞りモータ
７−４メカシャッタユニット
７−４ａメカシャッタ
７−４ｂメカシャッタモータ
７−５モータドライバ
８ＡＦＬＥＤ（オートフォーカスＬＥＤ）
９ストロボＬＥＤ
１０ＬＣＤモニタ
１１ａ，１１ｂ光学ファインダー
１２ズームボタン
１３電源スイッチ
１４操作部
１０１ＣＣＤ
１０２Ｆ／Ｅ−ＩＣ
１０２−１ＣＤＳ
１０２−２ＡＧＣ
１０２−３Ａ／Ｄ
１０２−４ＴＧ
１０３ＳＤＲＡＭ
１０４デジタルスチルカメラプロセッサ
１０４−１ＣＣＤ１信号処理ブロック
１０４−２ＣＣＤ２信号処理ブロック
１０４−３ＣＰＵブロック
１０４−４ＬｏｃａｌＳＲＡＭ
１０４−５ＵＳＢブロック
１０４−６シリアルブロック
１０４−７ＪＰＥＧＣＯＤＥＣブロック
１０４−８ＲＥＳＩＺＥブロック
１０４−９ＴＶ信号表示ブロック
１０４−１０メモリカードコントローラブロック
１０７ＲＡＭ
１０８ＲＯＭ
１０９ＳＵＢ−ＣＰＵ
１１１ＬＣＤドライバ
１１３ブザー
１１４ストロボ回路
１１５−１音声記録回路
１１５−２マイクＡＭＰ
１１５−３マイク
１１６−１音声再生回路
１１６−２オーディオＡＭＰ
１１６−３スピーカー
１１７ＬＣＤドライバ
１１８ビデオＡＭＰ
１１９ビデオジャック
１２０内蔵メモリ
１２１メモリカードスロットル
１２２ＵＳＢコネクタ
１２３−１シリアルドライバ回路
１２３−２ＲＳ−２３２Ｃコネクタ
１３０メモリカード
ＳＷ１〜ＳＷ１３ｋｅｙユニット 1 Sub LCD
2 Release button 3 Strobe light emitting unit 4 Shooting / playback switching dial 5 Ranging unit 6 Remote control light receiving unit 7 Lens barrel unit 7-1 Zoom optical system 7-1a Zoom lens 7-1b Zoom drive motor 7-2 Focus optical system 7- 2a focus lens 7-2b focus drive motor 7-3 aperture unit 7-3a aperture 7-3b aperture motor 7-4 mechanical shutter unit 7-4a mechanical shutter 7-4b mechanical shutter motor 7-5 motor driver 8 AF LED (autofocus) LED)
9 Strobe LED
DESCRIPTION OF SYMBOLS 10 LCD monitor 11a, 11b Optical finder 12 Zoom button 13 Power switch 14 Operation part 101 CCD
102 F / E-IC
102-1 CDS
102-2 AGC
102-3 A / D
102-4 TG
103 SDRAM
104 Digital Still Camera Processor 104-1 CCD1 Signal Processing Block 104-2 CCD2 Signal Processing Block 104-3 CPU Block 104-4 Local SRAM
104-5 USB block 104-6 Serial block 104-7 JPEG CODEC block 104-8 RESIZE block 104-9 TV signal display block 104-10 Memory card controller block 107 RAM
108 ROM
109 SUB-CPU
111 LCD Driver 113 Buzzer 114 Strobe Circuit 115-1 Audio Recording Circuit 115-2 Microphone AMP
115-3 Microphone 116-1 Audio reproduction circuit 116-2 Audio AMP
116-3 Speaker 117 LCD Driver 118 Video AMP
119 Video jack 120 Internal memory 121 Memory card throttle 122 USB connector 123-1 Serial driver circuit 123-2 RS-232C connector 130 Memory card SW1 to SW13 key unit

特開２００６−１４８６０７号公報JP 2006-148607 A

Claims

An image input unit to which image data composed of a luminance signal Y and two color difference signals Cb and Cr is input;
A color correction table storage unit that stores one or a plurality of color correction tables having a predetermined color correction value corresponding to a predetermined gradation;
A color correction table selection unit that selects a predetermined color correction table from one or more color correction tables stored in the color correction table storage unit;
A gradation determination unit that determines a gradation from the luminance signal Y for each predetermined number of pixels of the input image data;
A color correction value calculation unit that calculates a color correction value A corresponding to the gradation determined by the gradation determination unit from the color correction table selected by the color correction table selection unit for each predetermined number of pixels of the input image data; ,
Color signals Cb ′ and Cr ′ are calculated by the following equations (1) and (2) using the calculated color correction value A and color difference signals Cb and Cr for each predetermined number of pixels of the input image data, and luminance A color signal correction unit for making image data after color correction including the signal Y and the color difference signals Cb ′ and Cr ′;
An image processing apparatus comprising:
Cb ′ = (1 + A) × Cb (1)
Cr ′ = (1 + A) × Cr (2)

The image processing apparatus according to claim 1, wherein the color correction table is set with color correction values corresponding to each of a plurality of gradations.

The image processing apparatus according to claim 1, wherein the color correction table has color correction values for all gradations corresponding to a luminance range that can be taken by the image data.

The color correction table has color correction values set as several gradations in a luminance range that can be taken by the image data as color correction representative points.
The image processing apparatus according to claim 1, wherein the color correction value calculation unit calculates a color correction value A by linearly interpolating between color correction representative points of the color correction table.

The color correction table is composed of a pair of color correction tables separately provided corresponding to the color difference signals Cb and Cr, and the relationship between the predetermined gradation and the color correction value in each of the color correction tables of the pair is the same or The image processing apparatus according to claim 1, wherein the settings are different.

When performing color correction in the complementary color direction for the image data, the color correction table selection unit selects the pair of color correction tables in which a relationship between a predetermined gradation and a color correction value is set to be the same. The image processing apparatus according to claim 5.

An imaging apparatus comprising the image processing apparatus according to claim 1.

An image processing method for performing color correction for each gradation on image data including a luminance signal Y and two color difference signals Cb and Cr input to an arithmetic unit having a storage unit,
A color correction table storage step of storing in the storage unit one or a plurality of color correction tables having a predetermined color correction value corresponding to a predetermined gradation;
A color correction table selection step of selecting a predetermined color correction table from one or a plurality of color correction tables stored in the color correction table storage step;
A gradation determination step for determining gradation from the luminance signal Y for each predetermined number of pixels of the input image data;
A color correction value calculation step of calculating a color correction value A corresponding to the gradation determined in the gradation determination step from the color correction table selected in the color correction table selection step for each predetermined number of pixels of the input image data; ,
Color signals Cb ′ and Cr ′ are calculated by the following equations (1) and (2) using the calculated color correction value A and color difference signals Cb and Cr for each predetermined number of pixels of the input image data, and luminance A color signal correcting step for making image data after color correction composed of the signal Y and the color difference signals Cb ′ and Cr ′;
An image processing method comprising:
Cb ′ = (1 + A) × Cb (1)
Cr ′ = (1 + A) × Cr (2)