JP2007312125A - Image processor, image processing method, and image processing program - Google Patents
Image processor, image processing method, and image processing program Download PDFInfo
- Publication number
- JP2007312125A JP2007312125A JP2006139287A JP2006139287A JP2007312125A JP 2007312125 A JP2007312125 A JP 2007312125A JP 2006139287 A JP2006139287 A JP 2006139287A JP 2006139287 A JP2006139287 A JP 2006139287A JP 2007312125 A JP2007312125 A JP 2007312125A
- Authority
- JP
- Japan
- Prior art keywords
- color
- conversion
- definition data
- color reproduction
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000006243 chemical reaction Methods 0.000 claims abstract description 373
- 238000000034 method Methods 0.000 claims abstract description 129
- 238000012545 processing Methods 0.000 claims abstract description 108
- 238000001514 detection method Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 abstract description 41
- 238000012937 correction Methods 0.000 abstract description 38
- 238000004458 analytical method Methods 0.000 abstract description 17
- 239000002131 composite material Substances 0.000 abstract description 15
- 239000003086 colorant Substances 0.000 abstract description 5
- 230000002194 synthesizing effect Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 63
- 230000015572 biosynthetic process Effects 0.000 description 27
- 238000003786 synthesis reaction Methods 0.000 description 26
- 230000014509 gene expression Effects 0.000 description 25
- 239000000463 material Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000011068 loading method Methods 0.000 description 2
- 235000012736 patent blue V Nutrition 0.000 description 2
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000005092 sublimation method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
本発明は、出力デバイスの色再現特性に対応した色空間に色変換するために予め規定された色変換定義データを用いて入力画像データの色変換を行う画像処理装置、画像処理方法及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing for performing color conversion of input image data using color conversion definition data defined in advance for color conversion into a color space corresponding to the color reproduction characteristics of an output device. Regarding the program.
CRT(Cathode Ray Tube)や液晶(liquid crystal)、カラープリンタ等の画像処理装置においてカラーマッチングを行う場合、基準となる色空間PCS(Profile Connection Space)を定義して、画像処理装置をその色空間へ合わせるといった方法がとられる。画像処理装置は、再現出可能な色空間の明度及び彩度等の特性(以下、「色再現特性」という。)が装置毎に異なり、その固有特性によって個々の色空間を有する。このため、画像処理装置をPCSに合わせるためには、その固有特性に合わせた補正を装置毎に行う必要がある。 When color matching is performed in an image processing apparatus such as a CRT (Cathode Ray Tube), a liquid crystal, or a color printer, a reference color space PCS (Profile Connection Space) is defined, and the image processing apparatus is set to the color space. A method such as fitting is used. Image processing apparatuses have different characteristics such as brightness and saturation of color spaces that can be reproduced (hereinafter referred to as “color reproduction characteristics”), and have individual color spaces depending on their unique characteristics. For this reason, in order to match the image processing apparatus to the PCS, it is necessary to perform correction according to the specific characteristics for each apparatus.
ところが、画像処理装置の固有特性は、装置自体が構造的に抱えているものであって、例えば、カラープリンタであれば色材、記録紙への記録特性及び電気回路固有の変動等が装置毎に異なるため、各々の固有特性を持つこととなる。これらの特性は適宜補正されるものの、各要素が複雑な上、それら要素が複雑に絡み合うのため、画像処理装置における画像データの入出力関係を単純な計算式で表わすことは困難である。 However, the intrinsic characteristics of the image processing apparatus are structurally owned by the apparatus itself. For example, in the case of a color printer, the color material, the recording characteristics on the recording paper, the fluctuations inherent in the electric circuit, etc. Therefore, each has its own characteristic. Although these characteristics are corrected as appropriate, since each element is complicated and these elements are intertwined, it is difficult to express the input / output relationship of image data in the image processing apparatus with a simple calculation formula.
また、PCSから各装置に依存する色空間への色変換を正確に行う必要があるが、例えば、カラープリンタの出力特性に強い非線型性があるように、画像処理装置の入出力関数が未知であればPCSへの正確な写像は難しくなる。そこで、最近では、デジタル化した画像データの正確な色再現、並びに画像データの異なるデバイス間での色変換のための技術として、3次元ルックアップテーブル(以下、「3D−LUT」という。)やカラープロファイルの色変換定義データを用いた色変換が主流になっている。 In addition, it is necessary to accurately perform color conversion from the PCS to the color space depending on each device. For example, the input / output function of the image processing device is unknown so that the output characteristics of the color printer have strong nonlinearity. Then, accurate mapping to PCS becomes difficult. Therefore, recently, as a technique for accurate color reproduction of digitized image data and color conversion between devices having different image data, a three-dimensional lookup table (hereinafter referred to as “3D-LUT”) or the like. Color conversion using color profile color conversion definition data has become the mainstream.
色変換定義データは、入力画像データの信号値と、出力画像データの信号値との対応関係を表わすデータテーブルである。入出力信号の色変換は、入力画像データの信号値に対応付けられた出力信号値を3D−LUTから検索して出力デバイスに出力することで実現される。 The color conversion definition data is a data table representing the correspondence between the signal value of the input image data and the signal value of the output image data. The color conversion of the input / output signal is realized by searching the output signal value associated with the signal value of the input image data from the 3D-LUT and outputting it to the output device.
デジタルスチルカメラ等で撮影された画像は、その撮影時の条件により、主要な被写体が適切な濃度で色再現されるように階調補正が行われている。具体的には、入力された画像に上述した3D−LUTを用いて出力デバイスに依存した色空間にカラーマッピングすると共に、その画像の撮影時のシーン情報を判別し、カラーマッピングした画像にシーン情報に応じた階調補正をRGB色成分毎に行う。ここで、シーン情報とは、被写体を撮影する時の順光、逆光及びストロボといった光源の条件やアンダー撮影等の露出条件といった撮影シーンを示すデータである。 An image shot with a digital still camera or the like is subjected to gradation correction so that a main subject is reproduced with an appropriate density according to the shooting conditions. Specifically, the input image is color-mapped to the color space depending on the output device using the above-described 3D-LUT, scene information at the time of shooting the image is determined, and scene information is displayed on the color-mapped image. The gradation correction corresponding to is performed for each RGB color component. Here, the scene information is data indicating a shooting scene such as light source conditions such as forward light, backlight, and strobe light and exposure conditions such as under shooting when shooting a subject.
このシーン情報を判別する技術としては、例えば、撮影画像データを明度と色相の組み合わせからなる領域に分割し、その分割領域の当該撮影画像データ全体に占める割合から撮影シーンを判別して、階調変換の方法を決定する技術が知られている(特許文献1参照)。また、画像データにグレーバランスの調整処理を行った後、画像データから判別した撮影シーンに応じてプリントの明るさを調整する技術が知られている(特許文献2参照)。
しかし、特許文献1のようにシーン情報に基づいて決定した階調変換を行う場合、出力デバイスの色再現特性に合わせたきめ細かいカラーマッピングが考慮されていないため、入力画像に適した階調変換を行ったにも拘わらず、例えば、人間の肌の色、空の青、草の緑というような画像の主要な被写体となり得る画像中の特徴的な部分に不自然な色味の変化が生じたり、高彩度色につぶれが生じてしたりといった色再現が為されてしまうことがある。このため、特定の濃度領域にカラーバランスが崩れてしまう恐れがあった。
However, when performing gradation conversion determined based on scene information as in
また、特許文献2の技術では、撮影シーンに応じて明るさの調整を行っているが、画像データに施したグレーバランスの調整が再び崩れてしまい、グレー色に色味が加わって、色の弁別性が損なわれてしまう可能性があった。
In the technique of
本発明は、上述した課題に鑑みて為されたものであり、その目的とするところは、適切な階調で色再現すると共に、カラーバランスや色の弁別性の向上を図ることである。 The present invention has been made in view of the above-described problems, and an object of the present invention is to achieve color reproduction with appropriate gradation and to improve color balance and color discrimination.
上記課題を解決するため、請求項1に記載の発明は、
出力デバイスの色再現特性に対応した色空間に色変換するために予め規定された色変換定義データを用いて入力画像データの色変換を行う画像処理装置において、
前記入力画像データにシーン判別処理を施して、当該入力画像データのシーン情報を判別するシーン判別手段と、
前記シーン判別手段により判別されたシーン情報に基づいて階調変換方法を決定する階調変換方法決定手段と、
前記規定された色変換定義データの色再現特性と、前記決定された階調変換を施した当該色変換定義データの色再現特性とを比較して、両色再現特性の差異を求める比較手段と、
前記色再現特性の差異が所定閾値以上の場合に、その差異を抑制するように前記階調変換を施した色再現定義データの色再現特性を調整する調整手段と、
前記調整手段により色再現特性が調整された色再現定義データを用いて前記入力画像データの色変換を行う画像変換手段と、
を備えることを特徴としている。
In order to solve the above-mentioned problem, the invention described in
In an image processing apparatus that performs color conversion of input image data using color conversion definition data defined in advance to perform color conversion to a color space corresponding to the color reproduction characteristics of the output device,
Scene determination means for performing scene determination processing on the input image data and determining scene information of the input image data;
Gradation conversion method determination means for determining a gradation conversion method based on the scene information determined by the scene determination means;
A comparing means for comparing the color reproduction characteristics of the specified color conversion definition data with the color reproduction characteristics of the color conversion definition data subjected to the determined gradation conversion to obtain a difference between the two color reproduction characteristics; ,
Adjusting means for adjusting the color reproduction characteristics of the color reproduction definition data subjected to the gradation conversion so as to suppress the difference when the difference in the color reproduction characteristics is equal to or greater than a predetermined threshold;
Image conversion means for performing color conversion of the input image data using color reproduction definition data whose color reproduction characteristics are adjusted by the adjustment means;
It is characterized by having.
請求項2に記載の発明は、請求項1に記載の発明において、
前記比較手段は、
前記規定された色変換定義データの色相特性と、前記階調変換を施した当該色変換定義データの色相特性とを比較を比較して、両色相特性の差異を求める色相比較手段を有し、
前記調整手段は、
前記色相特性の差異が所定閾値以上である場合に、当該色相特性の差異を抑制するように前記規定された色変換定義データの色相特性を調整する色相調整手段を有することを特徴としている。
The invention according to
The comparison means includes
Comparing the hue characteristics of the specified color conversion definition data with the hue characteristics of the color conversion definition data subjected to the gradation conversion, and having a hue comparison means for obtaining a difference between both hue characteristics;
The adjusting means includes
When the difference in hue characteristics is equal to or greater than a predetermined threshold value, there is provided a hue adjustment unit that adjusts the hue characteristics of the specified color conversion definition data so as to suppress the difference in hue characteristics.
請求項3に記載の発明は、請求項1又は2に記載の発明において、
前記比較手段による比較の結果に基づいて、前記階調変換を施した色変換定義データの色再現特性の色域外との境界部分からつぶれを検出する検出手段を更に備え、
前記調整手段は、
前記検出手段により検出されたつぶれの度合いが所定閾値以上である場合に、当該つぶれの度合いを抑制するように前記階調変換を施した色変換定義データの色再現特性を調整するつぶれ調整手段を有することを特徴としている。
The invention according to
Based on the result of the comparison by the comparison means, further comprising a detection means for detecting a collapse from a boundary portion between the color reproduction definition data subjected to the gradation conversion and the color reproduction characteristic outside the color gamut,
The adjusting means includes
A crush adjustment unit that adjusts the color reproduction characteristics of the color conversion definition data subjected to the gradation conversion so as to suppress the crushing degree when the crushing degree detected by the detection unit is equal to or greater than a predetermined threshold; It is characterized by having.
請求項4に記載の発明は、請求項3に記載の発明において、
前記つぶれ調整手段は、
特定彩度領域のつぶれの度合いを抑制するように前記色変換定義データの色再現特性の調整を行うことを特徴としている。
The invention according to claim 4 is the invention according to
The crushing adjusting means includes
The color reproduction characteristics of the color conversion definition data are adjusted so as to suppress the degree of collapse of the specific saturation area.
請求項5に記載の発明は、請求項1〜4の何れか一項に記載の発明において、
前記比較手段は、
前記規定された色変換定義データの色味特性と、前記階調変換を施した前記色変換定義データの色味特性とを比較を比較して、両色味特性の差異を求める色味比較手段を有し、
前記調整手段は、
グレー色における前記色味特性の差異が所定閾値以上である場合に、前記階調変換を施した色再現変換テーブルの色味特性を抑制するように調整する色味調整手段を有することを特徴としている。
The invention according to
The comparison means includes
A color comparison means for comparing the color characteristics of the specified color conversion definition data and the color characteristics of the color conversion definition data subjected to the gradation conversion to obtain a difference between the two color characteristics Have
The adjusting means includes
Characterized by having a tint adjusting means for adjusting so as to suppress the tint characteristics of the color reproduction conversion table subjected to the gradation conversion when the difference in the tint characteristics in the gray color is equal to or greater than a predetermined threshold value. Yes.
請求項6に記載の発明は、請求項1〜5の何れか一項に記載の発明において、
前記調整手段は、
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する色度特性に応じて定めることを特徴としている。
The invention according to
The adjusting means includes
The threshold value and the degree of adjustment of the color reproduction characteristics of the color conversion definition data subjected to the gradation conversion process are determined according to the chromaticity characteristics of the input image data.
請求項7に記載の発明は、請求項1〜6の何れか一項に記載の発明において、
前記調整手段は、
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する色相特性に応じて定めることを特徴としている。
The invention according to
The adjusting means includes
The threshold value and the degree of adjustment of the color reproduction characteristic of the color conversion definition data subjected to the gradation conversion process are determined according to the hue characteristic of the input image data.
請求項8に記載の発明は、請求項1〜7の何れか一項に記載の発明において、
前記調整手段は、
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する彩度特性に応じて定めることを特徴としている。
The invention according to
The adjusting means includes
The threshold value and the degree of adjustment of the color reproduction characteristic of the color conversion definition data subjected to the gradation conversion process are determined according to the saturation characteristic of the input image data.
請求項9に記載の発明は、請求項1〜8の何れか一項に記載の発明において、
前記調整手段は、
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する明度特性に応じて定めることを特徴としている。
The invention according to
The adjusting means includes
The threshold value and the degree of adjustment of the color reproduction characteristic of the color conversion definition data subjected to the gradation conversion process are determined according to the brightness characteristic of the input image data.
請求項10に記載の発明は、請求項1〜9の何れか一項に記載の発明において、
前記色再現定義データは、前記色変換時の入力データと出力データとを対応付けて記憶する多次元ルックアップテーブルであることを特徴としている。
The invention according to
The color reproduction definition data is a multidimensional lookup table that stores input data and output data associated with the color conversion in association with each other.
請求項11に記載の発明は、請求項1〜10の何れか一項に記載の発明において、
前記階調変換は、
入力データと、当該入力データに当該階調変換を予め施した出力データとを対応付けて記憶する1次元ルックアップテーブルを用いて行うことを特徴としている。
The invention according to
The gradation conversion is
It is characterized by using a one-dimensional lookup table that stores input data and output data obtained by performing gradation conversion on the input data in advance.
請求項12に記載の発明は、
出力デバイスの色再現特性に対応した色空間に色変換するために予め規定された色変換定義データを用いて入力画像データの色変換を行う画像処理方法において、
前記入力画像データにシーン判別処理を施して、当該入力画像データのシーン情報を判別するシーン判別工程と、
前記シーン判別工程において判別されたシーン情報に基づいて階調変換方法を決定する階調変換方法決定工程と、
前記規定された色変換定義データの色再現特性と、前記決定された階調変換を施した当該色変換定義データの色再現特性とを比較して、両色再現特性の差異を求める比較工程と、
前記色再現特性の差異が所定閾値以上の場合に、その差異を抑制するように前記階調変換を施した色再現定義データの色再現特性を調整する調整工程と、
前記調整工程において色再現特性が調整された色再現定義データを用いて前記入力画像データの色変換を行う画像変換工程と、
を含むことを特徴としている。
The invention according to
In an image processing method for performing color conversion of input image data using color conversion definition data defined in advance in order to perform color conversion into a color space corresponding to the color reproduction characteristics of the output device,
A scene determination step of performing scene determination processing on the input image data to determine scene information of the input image data;
A gradation conversion method determination step for determining a gradation conversion method based on the scene information determined in the scene determination step;
A comparison step of comparing a color reproduction characteristic of the specified color conversion definition data with a color reproduction characteristic of the color conversion definition data subjected to the determined gradation conversion to obtain a difference between the two color reproduction characteristics; ,
An adjustment step of adjusting the color reproduction characteristics of the color reproduction definition data subjected to the gradation conversion so as to suppress the difference when the difference in the color reproduction characteristics is equal to or greater than a predetermined threshold;
An image conversion step of performing color conversion of the input image data using color reproduction definition data in which color reproduction characteristics are adjusted in the adjustment step;
It is characterized by including.
請求項13に記載の発明は、請求項12に記載の発明において、
前記比較工程は、
前記規定された色変換定義データの色相特性と、前記階調変換を施した当該色変換定義データの色相特性とを比較して、両色相特性の差異を求める色相比較工程を含み、
前記調整工程は、
前記色相特性の差異が所定閾値以上である場合に、当該色相特性の差異を抑制するように前記規定された色変換定義データの色相特性を調整する色相調整工程を含むことを特徴としている。
The invention according to claim 13 is the invention according to
The comparison step includes
A hue comparison step of comparing the hue characteristic of the specified color conversion definition data with the hue characteristic of the color conversion definition data subjected to the gradation conversion to obtain a difference between the two hue characteristics;
The adjustment step includes
And a hue adjustment step of adjusting the hue characteristic of the specified color conversion definition data so as to suppress the difference in hue characteristic when the difference in hue characteristic is equal to or greater than a predetermined threshold value.
請求項14に記載の発明は、請求項12又は13に記載の発明において、
前記比較工程における比較の結果に基づいて、前記階調変換を施した色変換定義データの色再現特性の色域外との境界部分からつぶれを検出する検出工程を更に含み、
前記調整工程は、
前記検出工程において検出されたつぶれの度合いが所定閾値以上である場合に、当該つぶれの度合いを抑制するように前記階調変換を施した色変換定義データの色再現特性を調整するつぶれ調整工程を含むことを特徴としている。
The invention according to
Based on the result of the comparison in the comparison step, further including a detection step of detecting a collapse from a boundary portion between the color reproduction definition data subjected to the gradation conversion and the color reproduction characteristic outside the color gamut,
The adjustment step includes
A crushing adjustment step of adjusting a color reproduction characteristic of the color conversion definition data subjected to the gradation conversion so as to suppress the crushing degree when the crushing degree detected in the detection step is equal to or greater than a predetermined threshold; It is characterized by including.
請求項15に記載の発明は、請求項14に記載の発明において、
前記つぶれ調整工程は、
特定彩度領域のつぶれの度合いを抑制するように前記色変換定義データの色再現特性の調整を行うことを特徴としている。
The invention according to
The crushing adjustment process includes:
The color reproduction characteristics of the color conversion definition data are adjusted so as to suppress the degree of collapse of the specific saturation area.
請求項16に記載の発明は、請求項12〜15の何れか一項に記載の発明において、
前記比較工程は、
前記規定された色変換定義データの色味特性と、前記階調変換を施した前記色変換定義データの色味特性とを比較を比較して、両色味特性の差異を求める色味比較工程を含み、
前記調整工程は、
グレー色における前記色味特性の差異が所定閾値以上である場合に、前記階調変換を施した色再現変換テーブルの色味特性を抑制するように調整する色味調整工程を含むことを特徴としている。
The invention according to claim 16 is the invention according to any one of
The comparison step includes
A color comparison step of comparing the color characteristics of the specified color conversion definition data with the color characteristics of the color conversion definition data subjected to the gradation conversion to obtain a difference between the two color characteristics Including
The adjustment step includes
Including a tint adjustment step of adjusting so as to suppress the tint characteristics of the color reproduction conversion table subjected to the gradation conversion when the difference in the tint characteristics in the gray color is equal to or greater than a predetermined threshold. Yes.
請求項17に記載の発明は、請求項12〜16の何れか一項に記載の発明において、
前記調整工程は、
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する色度特性に応じて定めることを特徴としている。
The invention according to claim 17 is the invention according to any one of
The adjustment step includes
The threshold value and the degree of adjustment of the color reproduction characteristics of the color conversion definition data subjected to the gradation conversion process are determined according to the chromaticity characteristics of the input image data.
請求項18に記載の発明において、請求項12〜17の何れか一項に記載の発明において、
前記調整工程は、
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する色相特性に応じて定めることを特徴としている。
In the invention according to claim 18, in the invention according to any one of
The adjustment step includes
The threshold value and the degree of adjustment of the color reproduction characteristic of the color conversion definition data subjected to the gradation conversion process are determined according to the hue characteristic of the input image data.
請求項19に記載の発明は、請求項12〜18の何れか一項に記載の発明において、
前記調整工程は、
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する彩度特性に応じて定めることを特徴としている。
The invention according to claim 19 is the invention according to any one of
The adjustment step includes
The threshold value and the degree of adjustment of the color reproduction characteristic of the color conversion definition data subjected to the gradation conversion process are determined according to the saturation characteristic of the input image data.
請求項20に記載の発明は、請求項12〜19の何れか一項に記載の発明において、
前記調整工程は、
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する明度特性に応じて定めることを特徴としている。
The invention according to
The adjustment step includes
The threshold value and the degree of adjustment of the color reproduction characteristic of the color conversion definition data subjected to the gradation conversion process are determined according to the brightness characteristic of the input image data.
請求項21に記載の発明は、請求項12〜20の何れか一項に記載の発明において、
前記色再現定義データは、前記色変換時の入力データと出力データとを対応付けて記憶する多次元ルックアップテーブルであることを特徴としている。
The invention according to claim 21 is the invention according to any one of
The color reproduction definition data is a multidimensional lookup table that stores input data and output data associated with the color conversion in association with each other.
請求項22に記載の発明は、請求項12〜21の何れか一項に記載の発明において、
前記階調変換は、
入力データと、当該入力データに当該階調変換を予め施した出力データとを対応付けて記憶する1次元ルックアップテーブルを用いて行うことを特徴としている。
The invention according to claim 22 is the invention according to any one of
The gradation conversion is
It is characterized by using a one-dimensional lookup table that stores input data and output data obtained by performing gradation conversion on the input data in advance.
請求項23に記載のプログラムは、コンピュータを、
入力画像データにシーン判別処理を施して、当該入力画像データのシーン情報を判別するシーン判別手段、
前記シーン判別手段により判別されたシーン情報に基づいて階調変換方法を決定する階調変換方法決定手段、
出力デバイスの色再現特性に対応した色空間に色変換するために予め規定された色変換定義データの色再現特性と、前記決定された階調変換を施した当該色変換定義データの色再現特性とを比較して、両色再現特性の差異を求める比較手段、
前記色再現特性の差異が所定閾値以上の場合に、その差異を抑制するように前記階調変換を施した色再現定義データの色再現特性を調整する調整手段、
前記調整手段により色再現特性が調整された色再現定義データを用いて前記入力画像データの色変換を行う画像変換手段、
として機能させることを特徴としている。
The program according to claim 23 is a computer,
Scene discrimination means for performing scene discrimination processing on the input image data and discriminating scene information of the input image data;
Gradation conversion method determination means for determining a gradation conversion method based on the scene information determined by the scene determination means;
Color reproduction characteristics of color conversion definition data defined in advance for color conversion to a color space corresponding to the color reproduction characteristics of the output device, and color reproduction characteristics of the color conversion definition data subjected to the determined gradation conversion A comparison means for determining the difference between the two color reproduction characteristics,
Adjusting means for adjusting the color reproduction characteristics of the color reproduction definition data subjected to the gradation conversion so as to suppress the difference when the difference in the color reproduction characteristics is equal to or greater than a predetermined threshold;
Image conversion means for performing color conversion of the input image data using color reproduction definition data whose color reproduction characteristics have been adjusted by the adjustment means;
It is characterized by making it function as.
請求項24に記載の発明は、請求項23に記載の発明において、
前記比較手段は、
前記規定された色変換定義データの色相特性と、前記階調変換を施した当該色変換定義データの色相特性とを比較して、両色相特性の差異を求める色相比較手段を有し、
前記調整手段は、
前記色相特性の差異が所定閾値以上である場合に、当該色相特性の差異を抑制するように前記規定された色変換定義データの色相特性を調整する色相調整手段を有することを特徴としている。
The invention described in claim 24 is the invention described in claim 23,
The comparison means includes
A hue comparison unit that compares the hue characteristic of the specified color conversion definition data with the hue characteristic of the color conversion definition data subjected to the gradation conversion to obtain a difference between the two hue characteristics;
The adjusting means includes
When the difference in hue characteristics is equal to or greater than a predetermined threshold value, there is provided a hue adjustment unit that adjusts the hue characteristics of the specified color conversion definition data so as to suppress the difference in hue characteristics.
請求項25に記載の発明は、請求項23又は24に記載の発明において、
前記比較手段による比較の結果に基づいて、前記階調変換を施した色変換定義データの色再現特性の色域外との境界部分からつぶれを検出する検出手段として前記コンピュータを更に機能させ、
前記調整手段は、
前記検出手段により検出されたつぶれの度合いが所定閾値以上である場合に、当該つぶれの度合いを抑制するように前記階調変換を施した色変換定義データの色再現特性を調整するつぶれ調整手段を有することを特徴としている。
The invention according to
Based on the result of the comparison by the comparison means, the computer further functions as a detection means for detecting a crush from a boundary portion outside the color gamut of the color reproduction characteristics of the color conversion definition data subjected to the gradation conversion,
The adjusting means includes
A crush adjustment unit that adjusts the color reproduction characteristics of the color conversion definition data subjected to the gradation conversion so as to suppress the crushing degree when the crushing degree detected by the detection unit is equal to or greater than a predetermined threshold; It is characterized by having.
請求項26に記載の発明は、請求項25に記載の発明において、
前記つぶれ調整手段は、
特定彩度領域のつぶれの度合いを抑制するように前記色変換定義データの色再現特性の調整を行うことを特徴としている。
The invention described in
The crushing adjusting means includes
The color reproduction characteristics of the color conversion definition data are adjusted so as to suppress the degree of collapse of the specific saturation area.
請求項27に記載の発明は、請求項23〜26の何れか一項に記載の発明において、
前記比較手段は、
前記規定された色変換定義データの色味特性と、前記階調変換を施した前記色変換定義データの色味特性とを比較して、両色味特性の差異を求める色味比較手段を有し、
前記調整手段は、
グレー色における前記色味特性の差異が所定閾値以上である場合に、前記階調変換を施した色再現変換テーブルの色味特性を抑制するように調整する色味調整手段を有することを特徴としている。
The invention according to claim 27 is the invention according to any one of claims 23 to 26,
The comparison means includes
There is a color comparison means for comparing the color characteristics of the specified color conversion definition data with the color characteristics of the color conversion definition data subjected to the gradation conversion to obtain a difference between the two color characteristics. And
The adjusting means includes
Characterized by having a tint adjusting means for adjusting so as to suppress the tint characteristics of the color reproduction conversion table subjected to the gradation conversion when the difference in the tint characteristics in the gray color is equal to or greater than a predetermined threshold value. Yes.
請求項28に記載の発明は、請求項23〜27の何れか一項に記載の発明において、
前記調整手段は、
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する色度特性に応じて定めることを特徴としている。
The invention according to claim 28 is the invention according to any one of claims 23 to 27,
The adjusting means includes
The threshold value and the degree of adjustment of the color reproduction characteristics of the color conversion definition data subjected to the gradation conversion process are determined according to the chromaticity characteristics of the input image data.
請求項29に記載の発明は、請求項23〜28の何れか一項に記載の発明において、
前記調整手段は、
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する色相特性に応じて定めることを特徴としている。
The invention according to claim 29 is the invention according to any one of claims 23 to 28,
The adjusting means includes
The threshold value and the degree of adjustment of the color reproduction characteristic of the color conversion definition data subjected to the gradation conversion process are determined according to the hue characteristic of the input image data.
請求項30に記載の発明は、請求項23〜29の何れか一項に記載の発明において、
前記調整手段は、
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する彩度特性に応じて定めることを特徴としている。
The invention described in
The adjusting means includes
The threshold value and the degree of adjustment of the color reproduction characteristic of the color conversion definition data subjected to the gradation conversion process are determined according to the saturation characteristic of the input image data.
請求項31に記載の発明は、請求項23〜30の何れか一項に記載の発明において、
前記調整手段は、
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する明度特性に応じて定めることを特徴としている。
The invention according to
The adjusting means includes
The threshold value and the degree of adjustment of the color reproduction characteristic of the color conversion definition data subjected to the gradation conversion process are determined according to the brightness characteristic of the input image data.
請求項32に記載の発明は、請求項23〜31の何れか一項に記載の発明において、
前記色再現定義データは、前記色変換時の入力データと出力データとを対応付けて記憶する多次元ルックアップテーブルであることを特徴としている。
The invention according to
The color reproduction definition data is a multidimensional lookup table that stores input data and output data associated with the color conversion in association with each other.
請求項33に記載の発明は、請求項23〜32の何れか一項に記載の発明において、
前記階調変換は、
入力データと、当該入力データに当該階調変換を予め施した出力データとを対応付けて記憶する1次元ルックアップテーブルを用いて行うことを特徴としている。
The invention according to
The gradation conversion is
It is characterized by using a one-dimensional lookup table that stores input data and output data obtained by performing gradation conversion on the input data in advance.
本発明によれば、入力画像データから判別したシーン情報に基づいて階調変換方法を決定し、色変換定義データの色再現特性と、当該階調変換を施した当該色変換定義データの色再現特性との差異が所定閾値以上の場合に、その差異を抑制するように階調変換を施した色再現定義データの色再現特性を調整する。このため、シーン情報に基づいて決定した入力画像データに適した階調変換によって生ずる不自然な色味の変化や、高彩度色に発生したつぶれを抑制することができる。従って、適切な階調で色再現すると共に、カラーバランスや色の弁別性の向上を図ることができる。 According to the present invention, a gradation conversion method is determined based on scene information determined from input image data, color reproduction characteristics of color conversion definition data, and color reproduction of the color conversion definition data subjected to the gradation conversion. When the difference from the characteristic is equal to or greater than a predetermined threshold, the color reproduction characteristic of the color reproduction definition data subjected to gradation conversion is adjusted so as to suppress the difference. For this reason, it is possible to suppress an unnatural color change caused by gradation conversion suitable for input image data determined based on scene information, and a collapse generated in a highly saturated color. Accordingly, it is possible to reproduce the color with an appropriate gradation and to improve the color balance and the color discrimination.
以下、本発明の画像形成装置の実施形態について図1〜図26を参照して詳細に説明する。先ず、本発明を適用した画像形成装置の構成について説明する。 Hereinafter, an embodiment of an image forming apparatus according to the present invention will be described in detail with reference to FIGS. First, the configuration of an image forming apparatus to which the present invention is applied will be described.
図1は、画像処理装置1の外観の一例を示す斜視図である。画像処理装置1は、図1に示すように、筐体2の一側面に、感光材料を装填するためのマガジン装填部3が備えられている。筐体2の内側には、感光材料に露光する露光処理部4と、露光された感光材料を現像処理して乾燥し、プリントを作成するためのプリント作成部5が備えられている。筐体2の他側面には、プリント作成部5で作成されたプリントを排出するためのトレー6が備えられている。
FIG. 1 is a perspective view showing an example of the appearance of the
また、筐体2の上部には、CRT(Cathode Ray Tube)等の表示部8、透過原稿を読み込む装置であるフィルムスキャナ部9、反射原稿入力部10、操作部11が設けられている。この表示部8は、プリントを作成しようとする画像データを表示画面上に再生表示する。更に、筐体2には、各種デジタル記録媒体に記録された画像データの読み取り可能な画像読込部14と、各種デジタル記録媒体に画像データの書き込み(出力)が可能な画像書込部15とが設けられている。
In addition, a
画像読込部14には、PCカード用アダプタ14a、フロッピー(登録商標)ディスク用アダプタ14bが備えられ、PCカード13aやフロッピーディスク13bが差し込み可能になっている。PCカード13a及びフロッピーディスク13bは、デジタルカメラで撮像された複数の駒画像データが記録される。
The
画像書込部15には、フロッピーディスク用アダプタ15a、MO用アダプタ15b、光ディスク用アダプタ15cが備えられ、フロッピーディスク16a、MO16b、CD−R、DVD−R等の光ディスク16cがそれぞれ装填可能に構成されている。尚、図1では、感光材料に露光して現像してプリントを作成する画像処理装置1を一例として上げているが、そのプリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
The
<画像処理装置1の主要部構成>
図2に、画像処理装置1の主要部構成を示す。画像処理装置1は、図2に示すように、制御部7、露光処理部4、プリント作成部5、フィルムスキャナ部9、反射原稿入力部10、画像読込部14、通信部(入力)32、画像書込部15、データ蓄積部73、操作部11、表示部8及び通信部(出力)33を備えて構成される。
<Configuration of Main Parts of
FIG. 2 shows a main part configuration of the
制御部7は、マイクロコンピュータにより構成され、ROM(Read Only Memory)等の記憶部に記憶されている各種制御プログラムと、CPU(Central Processing Unit)との協働により、画像処理装置1を構成する各部の動作を制御する。
The
制御部7は、操作部11からの入力信号に基づいて、フィルムスキャナ部9や反射原稿入力部10から読み取られた画像データ、画像読込部14から読み込まれた画像データ、外部機器から通信部32を介して入力された画像データに対して、画像処理を施して露光用画像データを生成し、露光処理部4に出力する。また、画像処理部70は、画像処理された画像データに対して出力形態に応じた変換処理を施して出力する。
Based on the input signal from the
露光処理部4は、感光材料に画像の露光を行い、この感光材料をプリント作成部5に出力する。プリント作成部5は、露光された感光材料を現像処理して乾燥して、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントP1や、A4サイズのプリントP2、名刺サイズのプリントP3を作成する。
The exposure processing unit 4 exposes an image to the photosensitive material and outputs the photosensitive material to the
フィルムスキャナ部9は、アナログカメラにより撮像された現像済みのネガフィルムN、リバーサルフィルム等の透過原稿に記録された駒画像を読み取り、駒画像のデジタル画像データに変換する。反射原稿入力部10は、フラットベットスキャナによってプリントP上の画像を読み取り、デジタル画像データに変換する。
The
画像読込部14は、PCカード13aやフロッピーディスク13bに記録された駒画像情報を読み出して制御部7に転送する。この画像読込部14は、画像転送部30として、PCカード用アダプタ14a、フロッピーディスク用アダプタ14b等を有する。画像読込部14は、PCカード13aやフロッピーディスク13bに記録された駒画像データを読み取り、制御部7に転送する。
The
画像書込部15は、画像搬送部31として、フロッピーディスク用アダプタ15a、MO用アダプタ15b、光ディスク用アダプタ15cを備えて構成され、制御部7からの指示に従って、フロッピーディスク16aやMO16b、光ディスク16cに画像データを書き込む。
The
データ蓄積部73は、画像データとそれに対応する注文情報(どの駒の画像から何枚プリントを作成するかを示す情報、プリントサイズの情報等)とを記憶し、順次蓄積する。
The
操作部11は、例えば、キーボードやマウス、タッチパネル等を備えて構成され、押下されたキーや指定された表示部8上の座標位置に対応する信号を入力信号として制御部7に出力する。表示部8は、制御部7から入力された表示制御信号に従って、画像情報等を表示する。
The
通信部(入力)32は、外部機器から撮像画像を表す画像データやプリント命令信号等を受信し、通信部(出力)33は、画像処理を施した後の撮影画像を表す画像データと、それに付帯する注文情報を、外部機器に送信する。 A communication unit (input) 32 receives image data representing a captured image, a print command signal, and the like from an external device, and a communication unit (output) 33 receives image data representing a captured image after image processing, Attached order information is transmitted to the external device.
<画像処理部の構成>
図3に、画像処理部70の構成例を示す。画像処理部70は、画像入力部71から入力された画像データに各種画像処理を施して画像出力部72に出力する。画像入力部71は、フィルムスキャナ部9、反射原稿入力部10から入力された画像データに対し、当該フィルムスキャナ部9及び反射原稿入力部10固有の校正操作、ネガポジ反転、ゴミキズ除去、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等の処理を施して画像処理部70に出力する。
<Configuration of image processing unit>
FIG. 3 shows a configuration example of the
また、画像入力部71は、画像転送部30や通信部32から入力された画像データに対し、その画像データのデータ書式に従って必要に応じた圧縮符号の復元、色データの表現方法の変換等を施した後、画像処理部70内の演算に適したデータ形式に変換して出力する。
In addition, the
画像処理部70は、操作部11又は制御部7の指示に基づいて、画像入力部71から入力された画像データに対し、後述の画像処理を施して、出力媒体上での鑑賞に最適化された画像形成用のデジタル画像データを生成し、画像出力部72に出力する。
Based on an instruction from the
最適化処理においては、例えばsRGB規格に準拠したCRTディスプレイモニタに表示することを前提とした場合、sRGB規格の色域内で最適な色再現が得られるように処理される。また、銀塩印画紙への出力を前提とした場合、銀塩印画紙の色域内で最適な色再現が得られるように処理される。また、色域の圧縮の以外にも、16bitから8bitへの階調圧縮、出力画素数の低減、及び出力デバイスの出力特性への対応処理等も含まれる。さらにノイズ抑制、鮮鋭化、グレーバランス調整、彩度調整、或いは覆い焼き処理等の階調圧縮処理が行われることは言うまでもない。 In the optimization process, for example, when it is assumed that the image is displayed on a CRT display monitor compliant with the sRGB standard, the optimal color reproduction is performed within the color gamut of the sRGB standard. Also, assuming output to silver salt photographic paper, processing is performed so that optimum color reproduction is obtained within the color gamut of the silver salt photographic paper. In addition to color gamut compression, gradation compression from 16 bits to 8 bits, reduction of the number of output pixels, and processing for handling output characteristics of the output device are also included. Furthermore, it goes without saying that tone compression processing such as noise suppression, sharpening, gray balance adjustment, saturation adjustment, or dodging processing is performed.
画像出力部72は、画像処理部70から出力された画像データに対して、画素数変更やカラーマッチング、プリンタ固有の構成処理を施して表示部8及び露光処理部4に出力する。また、画像処理装置1に、大判インクジェットプリンタ等の外部プリンタ51が接続可能な場合には、そのプリンタ固有の校正処理、カラーマッチング、画素数変更等の処理を施し、処理済の画像データを外部プリンタ51に出力する。
The
また、画像処理部70から入力された画像データに対して、JPEG、TIFF、Exif等に代表される各種の汎用画像フォーマットへの変換を施し、処理済の画像データを画像搬送部31や通信部33に出力する。尚、画像入力部71や画像出力部72は、画像処理部70の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のCPUによるソフトウエア処理の種類の区分として実現してもよい。
Further, the image data input from the
画像処理部70は、シーン解析部710と、画像変換部730と、色変換定義調整部750とを備えて構成される。図4(a)に、シーン解析部710の内部構成を示す。
The
<シーン解析部の構成>
シーン解析部710は、図4(a)に示すように、割合算出部712、指標算出部713及び画像処理条件算出部714を備えて構成される。また、割合算出部712は、図4(b)に示すように、表色系変換部715、ヒストグラム作成部716及び占有率演算部717を備えて構成される。
<Configuration of scene analysis unit>
As shown in FIG. 4A, the
表色系変換部715は、撮影画像データのRGB値をHSV表色系に変換する。HSV表色系とは、画像データを、色相、彩度及び明度の3つの要素で表すものである。尚、本実施形態において、「明度」は、一般に用いられる「明るさ」の意味する。また、以下の説明において、HSV表色系のV(0〜255)を明度として扱っているが、他の如何なる表色系の明るさを表す単位系を用いてもよい。
The color
ヒストグラム作成部716は、撮影画像データを、所定の色相と明度の組み合わせからなる領域に分割し、分割された領域毎に累積画素数を算出することによって2次元ヒストグラムを作成する。また、ヒストグラム作成部716は、撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度との組み合わせからなる所定の領域に分割し、その領域毎に累積画素数を算出することによって2次元ヒストグラムを作成する。尚、撮影画像データの画面の外縁からの距離、明度及び色相の組み合わせからなる領域に分割して、3次元ヒストグラムを作成するようにしてもよい。
The
占有率演算部717は、明度と色相の組み合わせによって分割された領域毎に、ヒストグラム作成部716において算出された累積画素数の全画素数(撮影画像データ全体)に占める割合を示す第1の占有率(表1参照)を算出する。また、占有率演算部717は、撮影画像データの画面の外縁からの距離と明度の組み合わせによって分割された領域毎に、ヒストグラム作成部716において算出された累積画素数の全画素数に占める割合を示す第2の占有率(表4参照)を算出する。
The
指標算出部713は、占有率演算部717において領域毎に算出された第1の占有率に、撮影条件に応じて予め(例えば、判別分析によって)設定された第1の係数(表2参照)を乗算して和をとることにより、撮影シーンを特定するための指標1を算出する。ここで、撮影シーンとは、順光、逆光、ストロボ等の、被写体を撮影する時の光源条件及びアンダー撮影等の露出条件を示す。
The
指標1は、屋内撮影度、近接撮影度、顔色高明度等のストロボ撮影時の特徴を示すもので、シーン情報として「ストロボ撮影シーン」と判別されるべき画像を他の撮影シーンから分離するためのものである。指標1の算出の際、指標算出部713は、所定の高明度の肌色色相領域と、当該高明度の肌色色相領域以外の色相領域とで、異なる符号の係数を用いる。ここで、所定の高明度の肌色色相領域には、HSV表色系の明度値で170〜224の領域が含まれる。また、高明度の肌色色相領域以外の色相領域には、青色色相領域(色相値161〜250)、緑色色相領域(色相値40〜160)の少なくとも一方の高明度領域が含まれる。
The
指標算出部713は、占有率演算部717において領域毎に算出された第1の占有率に、撮影条件に応じて予め設定された第2の係数(表3参照)を乗算して和をとることにより、撮影シーンを特定するための指標2を算出する。指標2は、屋外撮影度、空色高明度、顔色低明度等の逆光撮影時の特徴を複合的に示すもので、シーン情報として「逆光シーン」と判別されるべき画像を他の撮影シーンから分離するためのものである。
The
指標2の算出の際、指標算出部713は、肌色色相領域(色相値0〜39、330〜359)の中間明度領域と、当該中間明度領域以外の明度領域とで、異なる符号の係数を用いる。この肌色色相領域の中間明度領域には、明度値85〜169の領域が含まれる。また、当該中間明度領域以外の明度領域には、例えば、シャドー領域(明度値26〜84)が含まれる。
When calculating the
更に、指標算出部713は、占有率演算部717において領域毎に算出された第2の占有率に、撮影条件に応じて予め設定された第3の係数(表5参照)を乗算して和をとることにより、撮影シーンを特定するための指標3を算出する。指標3は、逆光とストロボ間における、撮影画像データの画面の中心と外側の明暗関係の差異を示すものであり、シーン情報として「逆光シーン」又は「ストロボ撮影シーン」と判別されるべき画像のみを定量的に示すものである。指標3の算出の際、指標算出部713は、撮影画像データの画面の外縁からの距離に応じて異なる値の係数を用いる。
Further, the
また、指標算出部713は、少なくとも、撮影画像データの画像中央部における肌色の平均輝度値に、撮影条件に応じて予め設定された第4の係数を乗算して和をとることにより、撮影シーンを特定するための指標4を算出する。より好ましくは、撮影画像データの画像中央部における肌色の平均輝度値だけでなく、撮影画像データの最大輝度値と平均輝度値との差分値、輝度標準偏差、画像中央部における平均輝度値、画像の肌色最大輝度値と肌色最小輝度値の差分値と肌色平均輝度値との比較値(式(8)参照)の各々に、撮影条件に応じて予め設定された第4の係数を乗算して和をとることにより、撮影シーンを特定するための指標4を算出する。
In addition, the
指標4は、ストロボ撮影シーンとアンダー撮影シーンにおける、撮影画像データの画面の中心と外側の明暗関係の差異を示すだけでなく、輝度ヒストグラムにおける分布情報を示すものであり、「ストロボ撮影シーン」又は「アンダー撮影シーン」と判別されるべき画像のみを定量的に示すものである。 The index 4 indicates not only the difference in brightness between the center and outside of the screen of the captured image data in the flash shooting scene and the under shooting scene, but also the distribution information in the luminance histogram. Only the image that should be identified as “under shooting scene” is quantitatively shown.
指標4を算出する際、指標算出部713では、撮影画像データの画像中央部における肌色の平均輝度値、画像の最大輝度値と平均輝度値との差分値及び輝度標準偏差、画像中央部における平均輝度値、画像の肌色最大輝度値と肌色最小輝度値の差分値と肌色平均輝度値との比較値を用いている。ここでいう輝度値とは、明るさを表す指標であり、他の明るさを表す指標(例えば、HSV表色系の明度値等)を用いてもよい。
When calculating the index 4, the
指標算出部713は、指標1と指標3それぞれに撮影条件に応じて予め設定された係数を乗算して和をとることにより指標5を算出する。より好ましくは指標1、指標3及び指標4'(画像中央部における肌色の平均輝度値)に、それぞれ、撮影条件に応じて予め設定された係数を乗算して和をとることにより指標5を算出してもよい(式(10)参照)。
The
更に、指標算出部713は、指標2及び指標3それぞれに撮影条件に応じて予め設定された係数を乗算して和をとることにより指標6を算出する。より好ましくは指標2、指標3及び指標4'(画像中央部における肌色の平均輝度値)それぞれに、撮影条件に応じて予め設定された係数を乗算して和をとることにより指標6を算出してもよい(式(11)参照)。尚、指標算出部713における指標1〜6の具体的な算出方法は、後述のシーン解析部710の動作説明において詳細に説明する。
Further, the
図4(c)に、画像処理条件算出部714の内部構成を示す。画像処理条件算出部714は、図4(c)に示すように、シーン判別部718、階調変換方法決定部719、階調変換パラメータ算出部720及び階調変換量算出部721を備えて構成される。
FIG. 4C shows the internal configuration of the image processing
シーン判別部718は、指標算出部713において算出された指標4、指標5及び指標6の値に基づいて、撮影画像データの撮影シーン(光源条件及び露出条件)を判別する。
The
階調変換方法決定部719は、シーン判別部718において判別された撮影シーンに応じて、撮影画像データに対する階調変換の方法を決定する。例えば、順光シーンであると判別した場合は、入力された撮影画像データの画素値を平行移動(オフセット)補正する階調変換方法Aを選択する。また、逆光シーンであると判別した場合は、入力された撮影画像データの画素値をガンマ補正する階調変換方法Bを選択する。
The gradation conversion
また、ストロボ撮影シーンであると判別した場合、入力された撮影画像データの画素値をガンマ補正及び平行移動補正する階調変換方法Cを選択する。また、アンダー撮影シーンであると判別した場合は、階調変換方法Bを選択する。 Further, when it is determined that the scene is a flash photography scene, a gradation conversion method C for selecting gamma correction and parallel movement correction for the pixel value of the inputted photographed image data is selected. If it is determined that the scene is an under shooting scene, the gradation conversion method B is selected.
階調変換パラメータ算出部720は、指標算出部713において算出された指標4、指標5、指標6の値に基づいて、階調変換に必要なパラメータ(キー補正値等)を算出する。
The tone conversion
階調変換量算出部721は、階調変換パラメータ算出部720において算出された階調変換パラメータに基づいて、撮影画像データに対する階調変換量を算出(決定)する。具体的に、階調変換量算出部721は、階調変換方法決定部719において決定された階調変換方法に対応して予め設定された複数の階調変換曲線の中から、階調変換パラメータ算出部720において算出された階調変換パラメータに対応する階調変換曲線を選択する。なお、階調変換パラメータ算出部720において算出された階調変換パラメータに基づいて階調変換曲線(階調変換量)を算出するようにしてもよい。
The tone conversion
<シーン解析部の具体的な動作>
次に、シーン解析部710の具体的な動作について説明する。先ず、シーン解析部710は、図5に示すフローチャートのように、入力された撮影画像データを所定の画像領域に分割して、各分割領域が撮影画像データ全体に占める割合を示す占有率を算出する占有率算出処理を実行する(ステップS1)。
<Specific operation of the scene analysis unit>
Next, a specific operation of the
次いで、割合算出部712において算出された占有率と、少なくとも、撮影画像データの画像中央部における肌色の平均輝度値と、撮影条件に応じて予め設定された係数とに基づいて指標1〜6を算出する(ステップS2)。次いで、ステップS2において算出された指標に基づいて撮影シーンを判別し、判別結果に応じて撮影画像データに対する階調変換方法を決定する(ステップS3)。
Next, the
ステップS1における占有率算出処理では、図6に示すフローチャートに従った処理を行う。先ず、表色系変換部715が、入力された撮影画像データのRGB値をHSV表色系に変換し(ステップS10)、その変換後の撮影画像データにヒストグラム作成部716が、2次元ヒストグラムを作成する(ステップS11)。
In the occupation ratio calculation process in step S1, a process according to the flowchart shown in FIG. 6 is performed. First, the color
例えば、明度(V)は、図7及び図8に示すように、0〜25(v1)、26〜50(v2)、51〜84(v3)、85〜169(v4)、170〜199(v5)、200〜224(v6)、225〜255(v7)の7つの領域に分割される。また、色相(H)は、色相値が0〜39、330〜359の肌色色相領域(H1)、色相値が40〜160の緑色色相領域(H2)、161〜250の青色色相領域(H3)、赤色色相領域(H4)の4つの領域に分割される。 For example, as shown in FIGS. 7 and 8, the brightness (V) is 0 to 25 (v1), 26 to 50 (v2), 51 to 84 (v3), 85 to 169 (v4), 170 to 199 ( v5), 200 to 224 (v6), and 225 to 255 (v7). Further, the hue (H) is a flesh color hue area (H1) having a hue value of 0 to 39 and 330 to 359, a green hue area (H2) having a hue value of 40 to 160, and a blue hue area (H3) having a hue value of 161 to 250. , And is divided into four regions of a red hue region (H4).
尚、赤色色相領域(H4)は、撮影シーンの判別への寄与が少ないとの知見から、以下の計算は用いていない。肌色色相領域(H1)は、更に、肌色領域とそれ以外の領域に分割される。以下、肌色色相領域のうち、下記の式(1)を満たす色相’(H)を肌色領域(H1)とし、式(1)を満たさない領域を(H2)とする。 The following calculation is not used because the red hue region (H4) has a small contribution to the determination of the shooting scene. The skin color hue area (H1) is further divided into a skin color area and other areas. Hereinafter, in the flesh-colored hue region, the hue '(H) satisfying the following formula (1) is defined as the flesh-colored region (H1), and the region not satisfying the formula (1) is denoted as (H2).
10 < 彩度(S) <175、
色相'(H) = 色相(H) + 60 (0 ≦ 色相(H) < 300のとき)、
色相'(H) = 色相(H) - 300 (300 ≦ 色相(H) < 360のとき)、
輝度(Y) = InR × 0.30 + InG × 0.59 + InB × 0.11 (A)
として、
色相'(H)/輝度(Y) < 3.0 ×(彩度(S)/255)+0.7 ・・・(1)
従って、撮影画像データの分割領域の数は4×7=28個となる。なお、式(A)及び(1)において明度(V)を用いることも可能である。また、InR、InG、InBは、入力画像データのRGB値である。
10 <Saturation (S) <175,
Hue '(H) = Hue (H) + 60 (when 0 ≤ Hue (H) <300),
Hue '(H) = Hue (H)-300 (when 300 ≤ Hue (H) <360),
Luminance (Y) = InR x 0.30 + InG x 0.59 + InB x 0.11 (A)
As
Hue '(H) / Luminance (Y) <3.0 × (Saturation (S) / 255) +0.7 (1)
Therefore, the number of divided areas of the captured image data is 4 × 7 = 28. In addition, it is also possible to use the brightness (V) in the formulas (A) and (1). InR, InG, and InB are RGB values of the input image data.
ヒストグラム作成部716により2次元ヒストグラムが作成されると、占有率演算部717は、第1の占有率を算出する(ステップS12)。明度領域Vi、色相領域Hjの組み合わせからなる分割領域において算出された第1の占有率をRijとすると、各分割領域における第1の占有率は表1のように表される。
<指標1及び指標2の算出方法>
次に、指標1及び指標2の算出方法について説明する。表2に、ストロボ撮影シーンとしての確度、即ち、ストロボ撮影時の顔領域の明度状態を定量的に示す指標1を算出するために必要な第1の係数を分割領域別に示す。表2に示された各分割領域の係数は、表1に示した各分割領域の第1の占有率Rijに乗算する重み係数であり、撮影条件に応じて予め設定されている。
Next, a method for calculating the
図7に、明度(V)−色相(H)平面を示す。表2によると、図7において高明度の肌色色相領域に分布する領域(r1)から算出される第1の占有率には、正の係数が用いられ、それ以外の色相である青色色相領域(r2)から算出される第1の占有率には、負の係数が用いられる。 FIG. 7 shows a lightness (V) -hue (H) plane. According to Table 2, a positive coefficient is used for the first occupancy calculated from the region (r1) distributed in the high brightness skin color hue region in FIG. 7, and the blue hue region (hue other than that) A negative coefficient is used for the first occupancy calculated from r2).
図9は、肌色領域(H1)における第1の係数と、その他の領域(例えば、緑色色相領域(H3))における第1の係数を、明度全体に渡って連続的に変化する係数曲線として示したものである。表2及び図9によると、高明度(V=170〜224)の領域では、肌色領域(H1)における第1の係数の符号は正であり、その他の領域における第1の係数の符号は負であり、両領域での係数に大きな違いがあることが分かる。 FIG. 9 shows the first coefficient in the skin color area (H1) and the first coefficient in other areas (for example, the green hue area (H3)) as coefficient curves that continuously change over the entire brightness. It is a thing. According to Table 2 and FIG. 9, in the area of high brightness (V = 170 to 224), the sign of the first coefficient in the skin color area (H1) is positive, and the sign of the first coefficient in the other areas is negative. It can be seen that there is a large difference in the coefficients in both regions.
明度領域Vi、色相領域Hjにおける第1の係数をCijとすると、指標1を算出するためのHk領域の和は、式(2)のように定義される。
従って、H1〜H4領域の和は、下記の式(2−1)〜(2−4)のように表される。
H1領域の和=R11×(-44.0)+R21×(-16.0)+・・・+R71×(-11.3) ・・・(2−1)
H2領域の和=R12×0.0+R22×8.6+・・・ +R72×(-11.1) ・・・(2−2)
H3領域の和=R13×0.0+R23×(-6.3)+・・・+R73×(-10.0) ・・・(2−3)
H4領域の和=R14×0.0+R24×(-1.8)+・・・+R74×(-14.6) ・・・(2−4)
Accordingly, the sum of the H1 to H4 regions is expressed by the following formulas (2-1) to (2-4).
Sum of H1 regions = R11 x (-44.0) + R21 x (-16.0) + ... + R71 x (-11.3) (2-1)
Sum of H2 area = R12 x 0.0 + R22 x 8.6 + ... + R72 x (-11.1) (2-2)
Sum of H3 regions = R13 x 0.0 + R23 x (-6.3) + ... + R73 x (-10.0) (2-3)
Sum of H4 region = R14 x 0.0 + R24 x (-1.8) + ... + R74 x (-14.6) (2-4)
指標1は、式(2−1)〜(2−4)で示されたH1〜H4領域の和を用いて、式(3)のように定義される。
指標1=H1領域の和+H2領域の和+H3領域の和+H4領域の和+4.424 ・・・(3)
The
表3に、逆光シーンとしての確度、即ち、逆光撮影時の顔領域の明度状態を定量的に示す指標2を算出するために必要な第2の係数を分割領域別に示す。表3に示された各分割領域の係数は、表1に示した各分割領域の第1の占有率Rijに乗算する重み係数であり、撮影条件に応じて予め設定されている。
図8に、明度(V)−色相(H)平面を示す。表3によると、図8において肌色色相領域の中間明度に分布する領域(r4)から算出される占有率には負の係数が用いられ、肌色色相領域の低明度(シャドー)領域(r3)から算出される占有率には正の係数が用いられる。図10は、肌色領域(H1)における第2の係数を、明度全体に渡って連続的に変化する係数曲線として示したものである。 FIG. 8 shows a lightness (V) -hue (H) plane. According to Table 3, a negative coefficient is used for the occupancy calculated from the region (r4) distributed in the intermediate lightness of the flesh color hue region in FIG. 8, and from the low lightness (shadow) region (r3) of the flesh color hue region. A positive coefficient is used for the calculated occupation ratio. FIG. 10 shows the second coefficient in the skin color region (H1) as a coefficient curve that continuously changes over the entire brightness.
表3及び図10によると、肌色色相領域の、明度値が85〜169(v4)の中間明度領域の第2の係数の符号は負であり、明度値が26〜84(v2,v3)の低明度(シャドー)領域の第2の係数の符号は正であり、両領域での係数の符号が異なっていることがわかる。 According to Table 3 and FIG. 10, the sign of the second coefficient of the intermediate lightness region of the skin color hue region with the lightness value of 85 to 169 (v4) is negative, and the lightness value of 26 to 84 (v2, v3). It can be seen that the sign of the second coefficient in the low lightness (shadow) region is positive, and the sign of the coefficient in both regions is different.
明度領域vi、色相領域Hjにおける第2の係数をDijとすると、指標2を算出するためのHk領域の和は、式(4)のように定義される。
従って、H1〜H4領域の和は、下記の式(4−1)〜(4−4)のように表される。
H1領域の和=R11×(-27.0)+R21×4.5+・・・+R71×(-24.0) ・・・(4−1)
H2領域の和=R12×0.0+R22×4.7+・・・ +R72×(-8.5) ・・・(4−2)
H3領域の和=R13×0.0+R23×0.0+・・・+R73×0.0 ・・・(4−3)
H4領域の和=R14×0.0+R24×(-5.1)+・・・+R74×7.2 ・・・(4−4)
Accordingly, the sum of the H1 to H4 regions is expressed by the following formulas (4-1) to (4-4).
Sum of H1 regions = R11 x (-27.0) + R21 x 4.5 + ... + R71 x (-24.0) (4-1)
Sum of H2 regions = R12 x 0.0 + R22 x 4.7 + ... + R72 x (-8.5) (4-2)
Sum of H3 regions = R13 x 0.0 + R23 x 0.0 + ... + R73 x 0.0 (4-3)
Sum of H4 region = R14 x 0.0 + R24 x (-5.1) + ... + R74 x 7.2 (4-4)
指標2は、式(4−1)〜(4−4)で示されたH1〜H4領域の和を用いて、式(5)のように定義される。
指標2=H1領域の和+H2領域の和+H3領域の和+H4領域の和+1.554 ・・・(5)
指標1及び指標2は、撮影画像データの明度と色相の分布量に基づいて算出されるため、撮影画像データがカラー画像である場合の撮影シーンの判別に有効である。
The
Since the
<指標3の算出方法>
次に、指標3の算出方法について説明する。指標3の算出においては、図11のフローチャートに従った第2の占有率算出処理が行われる。
<Calculation method for
Next, a method for calculating the
先ず、表色系変換部715が、撮影画像データのRGB値をHSV表色系に変換する(ステップS20)。次いで、ヒストグラム作成部716が、撮影画像データを分割した領域毎に累積画素数を算出することにより2次元ヒストグラムを作成する(ステップS21)。
First, the color
図12(a)〜(d)に、撮影画像データの画像の外縁からの距離に応じて分割された4つの領域n1〜n4を示す。図12(a)に示す領域n1が外枠であり、図12(b)に示す領域n2が、外枠の内側の領域であり、図12(c)に示す領域n3が、領域n2の更に内側の領域であり、図12(d)に示す領域n4が、撮影画像の中心部の領域である。また、明度は、上述のようにv1〜v7の7つの領域に分割されるものとする。従って、撮影画像データを、画面の外縁からの距離と明度の組み合わせからなる領域に分割した場合の分割領域の数は4×7=28個となる。 FIGS. 12A to 12D show four regions n1 to n4 divided according to the distance from the outer edge of the image of the captured image data. A region n1 shown in FIG. 12A is an outer frame, a region n2 shown in FIG. 12B is a region inside the outer frame, and a region n3 shown in FIG. A region n4 shown in FIG. 12D is an inner region and is a central region of the captured image. In addition, the brightness is assumed to be divided into seven regions v1 to v7 as described above. Therefore, when the captured image data is divided into areas each formed by combining the distance from the outer edge of the screen and the brightness, the number of divided areas is 4 × 7 = 28.
2次元ヒストグラムが作成されると、占有率演算部717は、第2の占有率を算出する(ステップS22)。明度領域vi、画像領域njの組み合わせからなる分割領域において算出された第2の占有率をQijとすると、各分割領域における第2の占有率は表4のように表される。
表5に、指標3を算出するために必要な第3の係数を分割領域別に示す。表5に示された各分割領域の係数は、表4に示した各分割領域の第2の占有率Qijに乗算する重み係数であり、撮影条件に応じて予め設定されている。
図13は、画像領域n1〜n4における第3の係数を、明度全体に渡って連続的に変化する係数曲線として示したものである。明度領域vi、画像領域njにおける第3の係数をEijとすると、指標3を算出するための画像領域nkの和は、式(6)のように定義される。
従って、n1〜n4領域の和は、下記の式(6−1)〜(6−4)のように表される。
n1領域の和=Q11×40.1+Q21×37.0+・・・+Q71×22.0 ・・・(6−1)
n2領域の和=Q12×(-14.8)+Q22×(-10.5)+・・・+Q72×0.0 ・・・(6−2)
n3領域の和=Q13×24.6+Q23×12.1+・・・+Q73×10.1 ・・・(6−3)
n4領域の和=Q14×1.5+Q24×(-32.9)+・・・+Q74×(-52.2) ・・・(6−4)
Accordingly, the sum of the n1 to n4 regions is represented by the following formulas (6-1) to (6-4).
Sum of n1 region = Q11 × 40.1 + Q21 × 37.0 + ... + Q71 × 22.0 (6-1)
Sum of n2 regions = Q12 x (-14.8) + Q22 x (-10.5) + ... + Q72 x 0.0 (6-2)
Sum of n3 regions = Q13 x 24.6 + Q23 x 12.1 + ... + Q73 x 10.1 (6-3)
n4 region sum = Q14 x 1.5 + Q24 x (-32.9) + ... + Q74 x (-52.2) ... (6-4)
指標3は、式(6−1)〜(6−4)で示されたn1〜n4領域の和を用いて、式(7)のように定義される。
指標3=n1領域の和+n2領域の和+n3領域の和+n4領域の和−12.6201・・・(7)
指標3は、撮影画像データの明度の分布位置による構図的な特徴(撮影画像データの画像の外縁からの距離)に基づいて算出されるため、カラー画像だけでなくモノクロ画像の撮影シーンを判別するのにも有効である。
The
The
〈指標4の算出方法〉
次に、図14のフローチャートを参照して、指標算出部713において実行される指標4の算出処理について説明する。
<Calculation method of index 4>
Next, the index 4 calculation process executed in the
先ず、指標算出部713は、撮影画像データのRGB値から、式(A)を用いて輝度Yを算出する。そして、撮影画像データの領域n3及びn4により構成される画像中央部における肌色領域の平均輝度値x1と、最大輝度値及び平均輝度値の差分値x2とを算出する(ステップS23,S24)。
First, the
次いで、撮影画像データの輝度の標準偏差x3を算出した後(ステップS25)、画像中央部における平均輝度値x4を算出する(ステップS26)。指標算出部713は、撮影画像データにおける肌色領域の最大輝度値Yskin_maxと最小輝度値Yskin_minの差分値と、肌色領域の平均輝度値Yskin_aveとの比較値x5を算出する(ステップS27)。この比較値x5は、下記の式(8)のように表される。
x5=(Yskin_max−Yskin_min)/2 −Yskin_ave ・・・(8)
Next, after calculating the standard deviation x3 of the luminance of the photographed image data (step S25), the average luminance value x4 at the center of the image is calculated (step S26). The
x5 = (Yskin_max−Yskin_min) / 2−Yskin_ave (8)
次いで、ステップS23〜S27で算出された値x1〜x5の各々に、撮影条件に応じて予め設定された第4の係数を乗算し、和をとることにより、指標4を算出する(ステップS28)。指標4は、下記の式(9)のように定義される。
指標4=0.06×x1+1.13×x2+0.02×x3+(-0.01)×x4+0.03×x5−6.50・・・(9)
Next, the index 4 is calculated by multiplying each of the values x1 to x5 calculated in steps S23 to S27 by a fourth coefficient set in advance according to the shooting conditions and taking the sum (step S28). . The index 4 is defined as the following formula (9).
Index 4 = 0.06 x x 1 + 1.13 x x 2 + 0.02 x x 3 + (-0.01) x x 4 + 0.03 x x 5-6.50 (9)
この指標4は、撮影画像データの画面の構図的な特徴だけでなく、輝度ヒストグラム分布情報を持ち合わせており、特にストロボ撮影シーンとアンダー撮影シーンの判別に有効である。撮影画像データの画像中央部における肌色領域の平均輝度値を指標4'とする。尚、ここでの画像中央部とは、例えば、図12の領域n2、n3及n4から構成される領域である。このとき、指標5は、指標1、指標3、指標4'を用いて式(10)のように定義され、指標6は、指標2〜3、指標4'を用いて式(11)のように定義される。
This index 4 has not only the compositional characteristics of the screen of the photographed image data but also the luminance histogram distribution information, and is particularly effective for discriminating between the flash photography scene and the under photography scene. The average luminance value of the skin color area in the center of the captured image data is defined as an index 4 ′. Here, the image center portion is, for example, a region composed of the regions n2, n3, and n4 in FIG. At this time, the
指標5=0.46×指標1+0.61×指標3+0.01×指標4'−0.79 ・・・(10)
指標6=0.58×指標2+0.18×指標3+(-0.03)×指標4'+3.34 ・・・(11)
ここで、式(10)及び式(11)において各指標に乗算される重み係数は、撮影条件に応じて予め設定されている。
Here, the weighting coefficient by which each index is multiplied in Expression (10) and Expression (11) is set in advance according to the shooting conditions.
<画像処理条件決定処理>
次に、図15のフローチャートを参照して、画像処理条件算出部714において実行される画像処理条件決定処理(図5のステップS3)について説明する。
<Image processing condition determination process>
Next, the image processing condition determination process (step S3 in FIG. 5) executed in the image processing
先ず、シーン判別部718は、指標算出部713において算出された指標4、指標5及び指標6の値に基づいて、撮影画像データの撮影シーンを判別する(ステップS30)。
First, the
図16(a)は、順光、逆光、ストロボの各光源条件で60枚ずつ撮影し、合計180枚のデジタル画像データについて、指標5及び指標6を算出してプロットしたものである。図16(a)によれば、指標5の値が0.5より大きい場合、ストロボ撮影シーンが多く、指標5の値が0.5以下で、指標6の値が−0.5より大きい場合、逆光シーンが多いことがわかる。このように指標5及び指標6の値により撮影シーンを定量的に判別することができる。
FIG. 16A is a graph in which
更に、順光、逆光、ストロボの各撮影シーンを判別できる指標5及び指標6に、指標4を加えることで、3次元的に撮影シーンが判別可能となり、撮影シーンの判別精度を一層向上させることが可能となる。指標4は、特に、画像全体を暗くする階調変換が行われるストロボ撮影シーンと、画像全体を明るくする階調変換が行われるアンダー撮影シーンとを判別するのに有効である。
Furthermore, by adding the index 4 to the
図16(b)は、ストロボ撮影シーンとアンダー撮影シーンの撮影画像各60枚のうち、指標5が0.5より大きい画像の指標4及び指標5を算出してプロットしたものである。図16(b)によれば、指標4の値が0より大きい場合、ストロボ撮影シーンが多く、指標4の値が0以下の場合、アンダー撮影シーンが多いことがわかる。表6に、指標4、指標5及び指標6の値による撮影シーンの判別内容を示す。
撮影シーンが判別されると、階調変換方法決定部719が、その判別された撮影シーンに応じて、撮影画像データに対する階調変換の方法を決定する(ステップS31)。図17に示すように、撮影シーンが順光である場合は図18(a)に示す階調変換方法Aを選択し、逆光シーンである場合は階調変換方法Bを、ストロボ撮影シーンである場合は階調変換方法Cを、アンダー撮影シーンである場合は階調変換方法Bを選択する。
When the photographic scene is determined, the gradation conversion
階調変換方法が決定されると、階調変換パラメータ算出部720は、指標算出部713において算出された各指標に基づいて、階調変換に必要なパラメータを算出する(ステップS32)。ステップS32では、階調変換に必要なパラメータとして、下記のP1〜P9のパラメータを算出する。
P1:撮影画面全体の平均輝度
P2:ブロック分割平均輝度
P3:肌色領域(H1)の平均輝度
P4:輝度補正値1=P1−P2
P5:再現目標修正値=輝度再現目標値(30360)−P4
P6:オフセット値1=P5−P1
P7:キー補正値
P7':キー補正値2
P8:輝度補正値2
P9:オフセット値2=P5−P8−P1
When the gradation conversion method is determined, the gradation conversion
P1: Average luminance of the entire photographing screen P2: Block division average luminance P3: Average luminance of the flesh color area (H1) P4:
P5: Reproduction target correction value = luminance reproduction target value (30360) -P4
P6: Offset
P7: Key correction value P7 ':
P8:
P9: Offset
ここで、図19及び20を参照して、パラメータP2(ブロック分割平均輝度)の算出方法について説明する。先ず、階調変換パラメータ算出部720は、撮影画像データを正規化するために、CDF(累積密度関数)を作成する。次いで、得られたCDFから最大値と最小値をRGB値毎に求める。ここで、求められたRGB値毎の最大値と最小値を、それぞれ、Rmax、Rmin、Gmax、Gmin、Bmax、Bminとする。
Here, a calculation method of the parameter P2 (block division average luminance) will be described with reference to FIGS. First, the gradation conversion
次いで、撮影画像データの任意の画素(Rx,Gx,Bx)に対する正規化画像データを算出する。RプレーンにおけるRxの正規化データをRpoint、GプレーンにおけるGxの正規化データをGpoint、BプレーンにおけるBxの正規化データをBpointとすると、正規化データRpoint、Gpoint、Bpointは、それぞれ、式(12)〜(14)のように表される。 Next, normalized image data for any pixel (Rx, Gx, Bx) of the captured image data is calculated. Assuming that Rx normalization data in the R plane is Rpoint, Gx normalization data in the G plane is Gpoint, and Bx normalization data in the B plane is Bpoint, the normalization data Rpoint, Gpoint, and Bpoint respectively ) To (14).
Rpoint={(Rx−Rmin)/(Rmax−Rmin)}×65535 ・・・(12)
Gpoint={(Gx−Gmin)/(Gmax−Gmin)}×65535 ・・・(13)
Bpoint={(Bx−Bmin)/(Bmax−Bmin)}×65535 ・・・(14)
Rpoint = {(Rx−Rmin) / (Rmax−Rmin)} × 65535 (12)
Gpoint = {(Gx−Gmin) / (Gmax−Gmin)} × 65535 (13)
Bpoint = {(Bx−Bmin) / (Bmax−Bmin)} × 65535 (14)
次いで、式(15)により画素(Rx,Gx,Bx)の輝度Npointを算出する。
Npoint=(Bpoint+Gpoint+Rpoint)/3 ・・・(15)
Next, the luminance Npoint of the pixel (Rx, Gx, Bx) is calculated by Expression (15).
Npoint = (Bpoint + Gpoint + Rpoint) / 3 (15)
図19(a)は、正規化する前のRGB画素の輝度の度数分布(ヒストグラム)であり、横軸が輝度、縦軸が画素の頻度を示している。このヒストグラムは、RGB毎に作成する。輝度のヒストグラムが作成されると、式(12)〜(14)により、撮影画像データに対し、プレーン毎に正規化を行う。図19(b)は、式(15)により算出された輝度のヒストグラムを示している。撮影画像データが65535で正規化されているため、各画素は、最大値が65535で最小値が0の間で任意の値をとる。 FIG. 19A shows a frequency distribution (histogram) of luminance of RGB pixels before normalization, in which the horizontal axis represents luminance and the vertical axis represents pixel frequency. This histogram is created for each RGB. When the luminance histogram is created, normalization is performed for each plane with respect to the captured image data according to equations (12) to (14). FIG. 19B shows a histogram of luminance calculated by the equation (15). Since the captured image data is normalized by 65535, each pixel takes an arbitrary value between the maximum value of 65535 and the minimum value of 0.
図19(b)に示す輝度ヒストグラムを所定の範囲で区切ってブロックに分割すると、図19(c)に示すような度数分布が得られる。尚、図19(c)において、横軸はブロック番号(輝度)、縦軸は頻度である。 When the luminance histogram shown in FIG. 19B is divided into blocks divided by a predetermined range, a frequency distribution as shown in FIG. 19C is obtained. In FIG. 19C, the horizontal axis represents the block number (luminance) and the vertical axis represents the frequency.
次いで、図19(c)に示された輝度ヒストグラムから、高輝度領域(ハイライト領域)、低輝度領域(シャドー領域)を削除する処理を行う。これは、白壁や雪上シーンでは、平均輝度が非常に高くなり、暗闇のシーンでは平均輝度は非常に低くなっているため、ハイライト、シャドー領域は、平均輝度制御に悪影響を与えてしまうことによる。そこで、図19(c)に示した輝度ヒストグラムのハイライト領域、シャドー領域を制限することによって、両領域の影響を減少させる。図20(a)又は(c)に示す輝度ヒストグラムにおいて、敗退路領域及びシャドー領域を削除すると、図20(b)のようになる。 Next, a process of deleting a high luminance area (highlight area) and a low luminance area (shadow area) is performed from the luminance histogram shown in FIG. This is because the average brightness is very high in white walls and snow scenes, and the average brightness is very low in dark scenes, so highlights and shadow areas adversely affect average brightness control. . Therefore, by limiting the highlight area and the shadow area of the luminance histogram shown in FIG. 19C, the influence of both areas is reduced. In the luminance histogram shown in FIG. 20 (a) or (c), when the loss path area and the shadow area are deleted, the result is as shown in FIG. 20 (b).
次いで、図20(c)に示すように、輝度ヒストグラムにおいて、頻度が所定の閾値より大きい領域を削除する。これは、頻度が極端に多い部分が存在すると、この部分のデータが、撮影画像全体の平均輝度に強く影響を与えてしまうため、誤補正が生じやすいことによる。そこで、図20(c)に示すように、閾値以上の画素数を制限する。図20(d)は、画素数の制限処理を行った後の輝度ヒストグラムである。 Next, as shown in FIG. 20C, an area having a frequency greater than a predetermined threshold is deleted from the luminance histogram. This is because if there is a part having an extremely high frequency, the data in this part strongly affects the average luminance of the entire captured image, and thus erroneous correction is likely to occur. Therefore, as shown in FIG. 20C, the number of pixels equal to or greater than the threshold is limited. FIG. 20D is a luminance histogram after the pixel number limiting process is performed.
正規化された輝度ヒストグラムから、ハイライト領域及びシャドー領域を削除し、更に、累積画素数を制限することによって得られた輝度ヒストグラム(図20(d))の各ブロック番号と、それぞれの頻度に基づいて、輝度の平均値を算出したものがパラメータP2である。 From the normalized luminance histogram, the highlight area and the shadow area are deleted, and further, the number of pixels is limited, and the block number of each luminance histogram (FIG. A parameter P2 is obtained by calculating the average value of the brightness based on the parameter P2.
パラメータP1は、撮影画像データ全体の輝度の平均値であり、パラメータP3は、撮影画像データのうち肌色領域(H1)の輝度の平均値である。パラメータP7のキー補正値、パラメータP7'のキー補正値2、パラメータP8の輝度補正値2は、それぞれ、式(16)、式(17)、式(18)のように定義される。
P7(キー補正値)=[P3 −((指標6/6)×18000+22000)]/24.78 ・・・(16)
P7'(キー補正値2)=[P3−((指標4/6)×10000+30000)]/24.78 ・・・(17)
P8(輝度補正値2)=(指標5/6)×17500 ・・・(18)
The parameter P1 is an average value of the luminance of the entire captured image data, and the parameter P3 is an average value of the luminance of the skin color region (H1) in the captured image data. The key correction value of the parameter P7, the
P7 (key correction value) = [P3-((
P7 ′ (key correction value 2) = [P3 − ((index 4/6) × 10000 + 30000)] / 24.78 (17)
P8 (Luminance correction value 2) = (
階調変換パラメータが算出されると、階調変換量算出部721が、その算出された階調変換パラメータに基づいて、撮影画像データに対する階調変換量を決定する(ステップS33)。
When the gradation conversion parameter is calculated, the gradation conversion
ステップS33では、具体的に、ステップS31において決定された階調変換方法に対応して予め設定された複数の階調変換曲線の中から、ステップS32において算出された階調変換パラメータに対応する階調変換曲線を選択する。以下、各撮影シーンの階調変換曲線の決定方法について説明する。 In step S33, specifically, the step corresponding to the gradation conversion parameter calculated in step S32 is selected from a plurality of gradation conversion curves set in advance corresponding to the gradation conversion method determined in step S31. Select a key conversion curve. Hereinafter, a method for determining a gradation conversion curve for each shooting scene will be described.
<順光シーンの場合>
撮影シーンが順光シーンである場合、パラメータP1をP5と一致させるオフセット補正(8bit値の平行シフト)を下記の式(19)により行う。
出力画像のRGB値=入力画像のRGB値+P6 ・・・(19)
従って、順光シーンの場合、図18(a)に示す複数の階調変換曲線の中から、式(19)に対応する階調変換曲線を選択するか、当該式(19)に基づいた階調変換曲線を算出する。
<For light-lit scenes>
When the shooting scene is a front light scene, offset correction (parallel shift of 8-bit value) for matching the parameter P1 with P5 is performed by the following equation (19).
RGB value of output image = RGB value of input image + P6 (19)
Therefore, in the case of a front light scene, a gradation conversion curve corresponding to Expression (19) is selected from the plurality of gradation conversion curves shown in FIG. 18A, or a floor based on Expression (19) is selected. A key conversion curve is calculated.
<逆光シーンの場合>
撮影シーンが逆光シーンである場合、図18(b)に示す複数の階調変換曲線の中から、式(16)に示すパラメータP7に対応する階調変換曲線を選択する。図18(b)の階調変換曲線の具体例を図21に示す。パラメータP7の値と、選択する階調変換曲線の対応関係は、次のようになる。
<For backlit scenes>
When the shooting scene is a backlight scene, a gradation conversion curve corresponding to the parameter P7 shown in Expression (16) is selected from the plurality of gradation conversion curves shown in FIG. A specific example of the gradation conversion curve of FIG. 18B is shown in FIG. The correspondence relationship between the value of the parameter P7 and the gradation conversion curve to be selected is as follows.
−50 < P7 < +50 の場合 → L3
+50 ≦ P7 < +150 の場合 → L4
+150≦ P7 < +250 の場合 → L5
−150< P7 ≦ −50 の場合 → L2
−250< P7 ≦ −150 の場合 → L1
If -50 <P7 <+50 → L3
When +50 ≤ P7 <+150 → L4
When + 150 ≦ P7 <+250 → L5
If -150 <P7 ≤ -50 → L2
When −250 <P7 ≦ −150 → L1
尚、逆光シーンの場合、この階調変換曲線を用いた階調変換と共に、覆い焼き処理を併せて行うことが好ましい。この場合、逆光シーンの度合いを示す指標6に応じて覆い焼き処理の程度を調整されることが望ましい。
In the case of a backlight scene, it is preferable to perform the dodging process together with the gradation conversion using the gradation conversion curve. In this case, it is desirable to adjust the degree of the dodging process according to the
<アンダー撮影シーンの場合>
撮影シーンがアンダー撮影シーンである場合、図18(b)に示す複数の階調変換曲線の中から、式(17)に示すパラメータP7'に対応する階調変換曲線を選択する。具体的には、逆光シーンの場合における階調変換曲線の選択と同様に、図21に示す階調変換曲線の中から、パラメータP7'の値に対応した階調変換曲線を選択する。尚、アンダー撮影シーンである場合は、覆い焼き処理を行わない。
<Under shooting scene>
When the shooting scene is an under shooting scene, a tone conversion curve corresponding to the parameter P7 ′ shown in Expression (17) is selected from a plurality of tone conversion curves shown in FIG. Specifically, the gradation conversion curve corresponding to the value of the parameter P7 ′ is selected from the gradation conversion curves shown in FIG. 21 in the same manner as the selection of the gradation conversion curve in the case of the backlight scene. In the case of an under shooting scene, dodging is not performed.
<ストロボの場合>
撮影シーンがストロボ撮影シーンである場合、オフセット補正を式(20)を用いて行う。
出力画像のRGB値=入力画像のRGB値+P9 ・・・(20)
従って、ストロボ撮影シーンの場合、図18(c)に示す複数の階調変換曲線の中から、式(20)に対応する階調変換曲線を選択するか、式(20)に基づいた階調変換曲線を算出する。尚、式(20)のパラメータP9の値が、予め設定された所定値αを上回った場合、図21に示す曲線L1〜L5の中から、キー補正値がP9−αに対応する曲線を選択する。
<In the case of strobe>
If the shooting scene is a flash shooting scene, offset correction is performed using equation (20).
RGB value of output image = RGB value of input image + P9 (20)
Therefore, in the case of a flash photography scene, a gradation conversion curve corresponding to Expression (20) is selected from a plurality of gradation conversion curves shown in FIG. 18C, or gradation based on Expression (20) is selected. A conversion curve is calculated. When the value of parameter P9 in equation (20) exceeds a predetermined value α, a curve corresponding to the key correction value P9-α is selected from the curves L1 to L5 shown in FIG. To do.
尚、本実施形態では、実際に撮影画像データに対して階調変換処理を施す場合、上述の各画像処理条件を16bitから8bitに変更するものとする。また、順光、逆光、ストロボ、アンダー間で階調変換方法が大きく異なる場合、撮影シーンの誤判別時の画質への影響が懸念される。このため、順光、逆光、ストロボ、アンダー間に、階調変換が緩やかに移行する中間領域を設定することが望ましい。また、撮影画像データから判別した撮影シーンに基づいて階調変換方法を決定することとしたが、ユーザにより選択操作に従って階調変換方法を決定することとしてもよい。 In the present embodiment, when the gradation conversion process is actually performed on the captured image data, the above-described image processing conditions are changed from 16 bits to 8 bits. In addition, when the gradation conversion method is greatly different among the forward light, the backlight, the strobe, and the under, there is a concern about the influence on the image quality when the shooting scene is erroneously determined. For this reason, it is desirable to set an intermediate region in which gradation conversion gradually shifts between forward light, backlight, strobe, and under. In addition, although the gradation conversion method is determined based on the photographic scene determined from the captured image data, the gradation conversion method may be determined by the user according to the selection operation.
以上のように、シーン解析部710は、撮影画像データの撮影シーンを定量的に示す指標から撮影シーンを判別し、判別結果に応じて撮影画像データに対する階調変換の方法を決定し、撮影画像データの階調変換量(階調変換曲線)を決定する。
As described above, the
そして、その決定した階調変換曲線に対応する1次元ルックアップテーブル(1D−LUT)を作成する。即ち、図18の中から選択した階調変換曲線における入力データと出力データとを対応付けたデータテーブルを階調補正用の1D−LUT(以下、「階調補正用LUT」という。)として作成する。 Then, a one-dimensional lookup table (1D-LUT) corresponding to the determined gradation conversion curve is created. That is, a data table in which input data and output data in the gradation conversion curve selected from FIG. 18 are associated is created as a gradation correction 1D-LUT (hereinafter referred to as “gradation correction LUT”). To do.
<画像変換部の構成>
図3に戻り、画像変換部730は、画像入力部71から入力された撮影画像データに種々の画像処理を施して画像出力部72に出力する。具体的には、先ず、撮影画像データの画像サイズを縮小する画像縮小処理を行う。
<Configuration of image conversion unit>
Returning to FIG. 3, the
画像縮小処理としては、公知の方法(例えば、バイリニア法、バイキュービック法、ニアレストネ−バー法等)を用いることができる。縮小率としては特に限定はないが、処理速度の観点及びシーン判別工程の精度の観点で、元画像の1/2〜1/10程度が好ましい。この画像縮小処理により画像サイズを縮小した撮影画像データに対して、上述したシーン解析処理を施すことにより、当該解析処理の処理時間を短縮することが可能になる。 As the image reduction process, a known method (for example, a bilinear method, a bicubic method, a nearest neighbor method, or the like) can be used. The reduction ratio is not particularly limited, but is preferably about 1/2 to 1/10 of the original image from the viewpoint of processing speed and the accuracy of the scene discrimination process. By performing the above-described scene analysis processing on the captured image data whose image size has been reduced by the image reduction processing, the processing time of the analysis processing can be shortened.
画像縮小処理を行う場合には、入力された撮影画像データを図3に示す記憶部80の画像データ保持部81に記憶しておき、画像縮小前の撮影画像データを別途保持しておく。画像変換部730は、画像データ保持部81に保持された撮影画像データに、3D−LUTを用いたマッピング処理を施して、当該撮影画像データを、出力デバイスの色再現特性に対応した色空間に色変換する。
When the image reduction process is performed, the input captured image data is stored in the image
3D−LUTは、入力された撮影画像データを表示部8や露光処理部4、外部プリンタ51等の出力デバイスの色再現特性に合わせて色変換するための入力データと出力データとの対応関係を表わすデータテーブルである。この3D−LUTは、例えば、RGB値やXYZ値の入力データと、L*a*b*色空間の信号値の出力データとを対応付けたデータテーブルを出力デバイス毎に図3に示す記憶部80の色変換定義データ保持部82に予め保持されている。この色変換定義データ保持部82に予め保持された3D−LUTを以下「マッピング用LUT」という。
The 3D-LUT shows the correspondence between input data and output data for color conversion of input captured image data in accordance with the color reproduction characteristics of output devices such as the
画像変換部730は、入力された撮影画像データの画素毎のデータに対応する出力データをマッピング用LUTから検索して出力することで、出力デバイス固有の色再現特性に対応した色空間に色変換するマッピング処理を実現する。
The
但し、マッピング用LUTを用いたマッピング処理の他に、上述した階調補正用LUTを用いて撮影画像データに階調補正を施すと、マッピング用LUTが色変換の対象として狙う出力デバイス固有の色空間、即ち、本来の望まれる色再現の色から、特定濃度領域においてカラーバランスが崩れてしまう可能性がある。 However, in addition to the mapping process using the mapping LUT, if gradation correction is performed on the captured image data using the above-described gradation correction LUT, the color unique to the output device targeted by the mapping LUT as the target of color conversion There is a possibility that the color balance may be lost in the specific density region from the space, that is, the desired color reproduction color.
そこで、本実施形態では、色変換定義調整部750が、階調補正用LUTと、マッピング用LUTとを合成し、その合成後の3D−LUT(以下、「合成LUT」という。)を、マッピング用LUTの色再現特性に近づけるように調整することで、そのカラーバランスの崩れを抑制する。
Therefore, in this embodiment, the color conversion
<画像処理部の全体動作>
以下、画像処理部70の全体動作と共に、色変換定義調整部750の具体的な動作を合わせて図22〜図26を参照して説明する。
<Overall Operation of Image Processing Unit>
Hereinafter, the overall operation of the
先ず、画像処理部70は、画像入力部71からの撮影画像データを入力し(ステップS40)、画像変換部730により当該撮影画像データに画像縮小処理を施す(ステップS41)。そして、シーン解析処理を施して決定した階調補正方法に基づいて階調補正用の1D−LUTを作成する(ステップS43)。次いで、マッピング用LUTと階調補正用LUTとを合成して、当該1D−LUTの階調補正作用を含む合成LUTを作成する(ステップS44)。
First, the
マッピング用LUTと階調補正用LUTとの合成は、例えば、マッピング用LUTの出力データを、階調補正用LUTの入力データとした際に対応する当該階調補正用LUTの出力データを、マッピング用LUTの入力データと対応付けて合成LUTとすることにより行われる。 The synthesis of the mapping LUT and the gradation correction LUT is performed by mapping the output data of the corresponding gradation correction LUT when the output data of the mapping LUT is used as the input data of the gradation correction LUT, for example. This is done by associating the input data of the LUT with the combined LUT.
そして、図23に示すLUT調整処理を行った後(ステップS45)、そのLUT調整処理により調整した3D−LUT(以下、「調整LUT」という。)を用いて撮影画像データのマッピング処理を行い(ステップS46)、そのマッピング処理後の撮影画像データを画像出力部72に出力する。
Then, after performing the LUT adjustment process shown in FIG. 23 (step S45), the 3D-LUT adjusted by the LUT adjustment process (hereinafter referred to as “adjustment LUT”) is used to perform the mapping process of the captured image data (see FIG. 23). In step S46), the captured image data after the mapping processing is output to the
図23のLUT調整処理において、色変換定義調整部750は、先ず、サンプルとなる色データを3D−LUTの入力データとし(ステップS51)、その色データを、マッピング用LUTを用いて色変換すると共に(ステップS52)、その一方で、合成LUTを用いて同じ色データを色変換する(ステップS53)。
In the LUT adjustment processing of FIG. 23, the color conversion
ステップS51において入力する色データは、例えば、一次独立な色相のsRGBの各色毎にN段の入力信号値(ri,gi,bi(i=1〜N))を組み合わせたN×N×Nのパッチにより生成される。 The color data input in step S51 is, for example, N × N in which N stages of input signal values (r i , g i , b i (i = 1 to N)) are combined for each color of sRGB having a primary independent hue. Generated with × N patches.
そして、色変換定義調整部750は、ステップS52及びS53それぞれの色変換の結果を比較し、その比較結果に基づいて、合成LUTの色再現特性の調整を行って調整LUTとして作成する(ステップS54)。この色再現特性の調整は、マッピング用LUTと合成LUTそれぞれの色相特性、彩度特性及びグレー色の色味特性について行う。
Then, the color conversion
<色相特性の調整>
先ず、色相特性における合成LUTの調整は、次のように行う。即ち、特定色相の各色データに対するマッピング用LUTを用いた色変換後の出力データと、合成LUTを用いた色変換後の出力データとを、L*a*b*表色系の変換する。そして、それぞれの色相特性の差異Δhが所定の閾値以上であった場合に、合成LUTを用いた色変換後の出データの色相特性を、マッピング用LUTの出力データの色相特性側に抑制するように調整する。
<Adjustment of hue characteristics>
First, adjustment of the synthesis LUT in the hue characteristics is performed as follows. That is, the output data after color conversion using the mapping LUT for each color data of a specific hue and the output data after color conversion using the synthesis LUT are converted in the L * a * b * color system. When the difference Δh between the hue characteristics is equal to or greater than a predetermined threshold, the hue characteristics of the output data after color conversion using the synthesis LUT is suppressed to the hue characteristics side of the output data of the mapping LUT. Adjust to.
尚、色相特性hは、次の式(21)により求められる。
例えば、出力デバイスの色再現特性に対応するマッピング用LUTを用いた色変換後の出力データの色再現に、図24(a)に示す色相特性c1が求められるものとする。これに対して、合成LUTを用いた色変換後の出力データの色再現が色相特性c2になったとする。このとき、色相特性c1と色相特性c2との差異が所定の閾値以上となった場合には、色相特性c1及びc2の差異がその閾値以内となるように、色相特性c2を色相特性c1側に抑制するようにシフトして調整する。そして、その調整後の色相特性c3を有するように、当該合成LUTを修正した調整LUTを作成する。 For example, it is assumed that the hue characteristic c1 shown in FIG. 24A is obtained for color reproduction of output data after color conversion using the mapping LUT corresponding to the color reproduction characteristic of the output device. On the other hand, it is assumed that the color reproduction of the output data after color conversion using the synthesis LUT becomes the hue characteristic c2. At this time, when the difference between the hue characteristic c1 and the hue characteristic c2 is equal to or greater than a predetermined threshold value, the hue characteristic c2 is set to the hue characteristic c1 side so that the difference between the hue characteristics c1 and c2 is within the threshold value. Shift and adjust to suppress. Then, an adjustment LUT is created by correcting the combined LUT so as to have the adjusted hue characteristic c3.
尚、色相特性による合成LUTの調整に際しては、その合成LUTに不連続や逆転が生じないように、調整を行うデータと、調整を行わないデータとの間に補完処理等を施すことにより、合成LUTのデータの連続性を保つことが望ましい。 When adjusting the synthesis LUT based on the hue characteristics, the synthesis LUT is subjected to a complementing process or the like between the data to be adjusted and the data to be adjusted so that discontinuity or inversion does not occur in the synthesis LUT. It is desirable to maintain continuity of LUT data.
図24(b)は、色相特性による合成LUTの調整をイメージ化した図である。尚、色相は、図24(a)においては、a*軸とb*軸との原点からの角度によって表されるが、図24(b)においては、その角度を横軸に示して色相を表わすこととする。 FIG. 24B is an image of adjustment of the combined LUT based on the hue characteristics. The hue is represented by the angle from the origin of the a * axis and the b * axis in FIG. 24 (a), but in FIG. 24 (b), the hue is indicated by the horizontal axis. To represent.
例えば、図24(b)に示すように、ある特性色における調整前の合成LUTの色相特性c2に対して、色相特性c1との差異が所定閾値以上である合成LUTの出力データを含む調整区間AR2を設定する。そして、その調整区間AR2内において、色相特性c1の目標とする色相特性c3に合わせて調整を施す。このとき、調整区間AR2内では、その調整が滑らかになるように補完処理を行う。これにより、調整区間AR2内と、調整区間AR2外との境界部分のデータ連続性が保たれるようになる。 For example, as shown in FIG. 24B, an adjustment section including output data of a combined LUT in which the difference from the hue characteristic c1 is equal to or greater than a predetermined threshold with respect to the hue characteristic c2 of the combined LUT before adjustment for a certain characteristic color. Set AR2. In the adjustment section AR2, adjustment is performed in accordance with the target hue characteristic c3 of the hue characteristic c1. At this time, in the adjustment section AR2, complement processing is performed so that the adjustment is smooth. As a result, data continuity is maintained at the boundary between the adjustment section AR2 and the outside of the adjustment section AR2.
<彩度特性の調整>
次に、彩度特性における合成LUTの調整は、次のように行う。即ち、特定色相の各色データに対するマッピング用LUTを用いた色変換後の出力データと、合成LUTを用いた色変換後の出力データとを、L*C*h表色系に変換する。そして、それぞれの彩度特性の差異ΔC*が所定の閾値以上であった場合に、合成LUTを用いた色変換後の出データの彩度特性を、マッピング用LUTの出力データの彩度特性側に抑制するように調整する。
<Adjustment of saturation characteristics>
Next, adjustment of the synthesis LUT in the saturation characteristic is performed as follows. That is, the output data after color conversion using the mapping LUT for each color data of a specific hue and the output data after color conversion using the synthesis LUT are converted into the L * C * h color system. If the difference ΔC * between the respective saturation characteristics is equal to or greater than a predetermined threshold value, the saturation characteristics of the output data after color conversion using the synthesis LUT are represented by the saturation characteristics side of the output data of the mapping LUT. Adjust to suppress.
例えば、出力デバイスの色再現特性に対応するマッピング用LUTを用いた色変換後の出力データの色再現に、図25(a)に示す彩度特性c4が求められるものとする。ここで、図25(a)は、横軸にマッピング用LUT及び合成LUTの入力データの彩度C*in、縦軸に出力データの彩度C*outを示した図である。 For example, it is assumed that the saturation characteristic c4 shown in FIG. 25A is obtained for color reproduction of output data after color conversion using a mapping LUT corresponding to the color reproduction characteristic of the output device. Here, FIG. 25A is a diagram in which the horizontal axis represents the saturation C * in of the input data of the mapping LUT and the synthesis LUT, and the vertical axis represents the saturation C * out of the output data.
これに対して、合成LUTを用いた色変換後の出力データの色再現が彩度特性c5になり、この彩度特性c4と色相特性c5との差異が所定の閾値以上となった場合には、彩度特性c4及びc5の差異がその閾値以内となるように、合成LUTを用いた色変換後の出力データの彩度特性c4を彩度特性c5側に抑制するように調整する。そして、その調整後の彩度特性c6を有するように、当該合成LUTを修正した調整LUTを作成する。 On the other hand, when the color reproduction of the output data after color conversion using the synthesis LUT becomes the saturation characteristic c5, and the difference between the saturation characteristic c4 and the hue characteristic c5 is equal to or greater than a predetermined threshold value. The saturation characteristic c4 of the output data after color conversion using the synthesis LUT is adjusted to be suppressed to the saturation characteristic c5 side so that the difference between the saturation characteristics c4 and c5 is within the threshold value. Then, an adjustment LUT is created by correcting the combined LUT so as to have the adjusted saturation characteristic c6.
また、彩度特性の調整においては、出力デバイス固有の色空間の当該色空間外との境界領域となる高彩度領域又は低彩度領域に発生しうるつぶれを検出し、そのつぶれの度合いが所定の閾値以上である場合に、当該つぶれを抑制するように合成LUTの彩度特性を調整する。 Further, in the adjustment of the saturation characteristic, a collapse that may occur in a high saturation region or a low saturation region that is a boundary region between the color space unique to the output device and the outside of the color space is detected, and the degree of the collapse is determined to be a predetermined level. If the threshold is equal to or greater than the threshold, the saturation characteristic of the synthesis LUT is adjusted so as to suppress the collapse.
ここで、彩度特性のつぶれとは、彩度C*inに対する彩度C*outの変化の比率がゼロに近くなることにより、彩度の変化が平坦になることをいう。また、出力デバイス固有の色空間の境界領域は、例えば、その色空間の最高彩度値又は最低彩度値からの色差が1以内の領域に設定する。 Here, the loss of saturation characteristics means that the change in saturation becomes flat when the ratio of the change in saturation C * out to saturation C * in is close to zero. Further, the boundary area of the color space unique to the output device is set to an area where the color difference from the maximum saturation value or the minimum saturation value of the color space is within 1, for example.
尚、つぶれの度合いは、彩度を所定区間毎に区切って、その区間毎に次の式(22)によって求められる。
例えば、図25(a)においては、高彩度領域AR1に合成LUTの彩度特性c5の傾き(傾斜)がゼロに近似して、つぶれが発生していると検出して、高彩度領域AR1における彩度特性c5のつぶれを抑制するように、マッピング用LUTの彩度特性c4側に調整する。 For example, in FIG. 25 (a), the saturation (slope) of the saturation characteristic c5 of the composite LUT approximates to zero in the high saturation area AR1, and it is detected that the collapse has occurred, and the saturation in the high saturation area AR1. Adjustment is made to the saturation characteristic c4 side of the mapping LUT so as to suppress the collapse of the characteristic c5.
この彩度特性の調整は、例えば、図25(b)に示すような彩度の入力データC*inと、出力データC*outとの対応関係を有する3D−LUTを予め設けておき、合成LUTのつぶれの発生している境界領域の入出力データを、この3D−LUTで色変換することで、部分的に彩度特性を調整する。彩度特性の調整の度合いは、図25(b)に示す3D−LUT85の調整量tを変化させることで、容易に変更可能である。
For example, the saturation characteristic is adjusted by providing a 3D-LUT having a correspondence relationship between the saturation input data C * in and the output data C * out as shown in FIG. Saturation characteristics are partially adjusted by color-converting the input / output data of the boundary area where the LUT is crushed with this 3D-LUT. The degree of adjustment of the saturation characteristic can be easily changed by changing the adjustment amount t of the 3D-
尚、彩度特性による合成LUTの調整に際しても、その合成LUTに不連続や逆転が生じないように、調整を行うデータと、調整を行わないデータとの間のデータには補完処理等を施すことにより、データの連続性を保つことが望ましい。 In addition, when adjusting the synthesis LUT based on the saturation characteristics, a complementary process or the like is performed on the data between the data to be adjusted and the data to which the adjustment is not performed so that discontinuity or inversion does not occur in the synthesis LUT. Therefore, it is desirable to maintain data continuity.
また、色相特性及び彩度特性の差異を判別する閾値は、人間が色の変化を許容できる度合いに応じて定めることが望ましく、実験的又は経験的に具体的な値を求めて設定されて、図3に示す記憶部80の閾値データ保持部83に予め保持されている。
Further, the threshold value for discriminating the difference between the hue characteristic and the saturation characteristic is preferably determined according to the degree to which a human can tolerate a color change, and is set by obtaining a specific value experimentally or empirically, It is held in advance in the threshold
例えば、撮影画像データが有する画像領域の色相特性hが0°≦h≦30°又は340°≦h≦360°、彩度C*が20≦C*≦80、明度L*が30≦L*≦85という条件を満たす場合は、その画像領域が肌色であると判定して閾値を2に設定し、当該条件を満たさない場合には、閾値を5に設定する。一般に、人物の肌色は、色相が僅かに変化した場合でも、他の色と比較して不自然な印象を当たることが多いため、撮影画像の肌色に着目して閾値を小さく設定することで、肌色領域のカラーバランスの崩れを抑制することができる。 For example, the hue characteristic h of the image area included in the captured image data is 0 ° ≦ h ≦ 30 ° or 340 ° ≦ h ≦ 360 °, the saturation C * is 20 ≦ C * ≦ 80, and the lightness L * is 30 ≦ L *. If the condition of ≦ 85 is satisfied, the image area is determined to be skin color and the threshold value is set to 2. If the condition is not satisfied, the threshold value is set to 5. In general, even when the hue of a person changes slightly, the person's skin color often has an unnatural impression compared to other colors, so by focusing on the skin color of the captured image and setting the threshold small, The collapse of the color balance in the skin color area can be suppressed.
尚、このL*C*h色空間における閾値の設定は、上述した例に限られず適宜変更可能であり、例えば、顔の「肌色」、空の「青色」、木の「緑色」といったカラーバランスの変化が顕著になり易い色相について、閾値を小さく設定することで、色変換による不自然な色合いを抑制することができる。 The setting of the threshold value in the L * C * h color space is not limited to the above example, and can be changed as appropriate. For example, color balance such as “skin color” of the face, “blue” of the sky, “green” of the tree By setting a small threshold value for a hue in which the change in color tends to be noticeable, an unnatural hue due to color conversion can be suppressed.
<グレー色味特性の調整>
次に、グレー色の色味特性における合成LUTの調整は、次のように行う。即ち、グレー色の色データに対するマッピング用LUTを用いた色変換後の出力データと、合成LUTを用いた色変換後の出力データとを、L*a*b*表色系の変換する。そして、それぞれのグレー色の色味特性(a*、b*を成分とするベクトル量)の差異の大きさが所定の閾値以上であった場合に、合成LUTを用いた色変換後の出力データの色味特性を、マッピング用LUTの出力データの色味特性側に抑制するように調整する。
<Adjustment of gray color characteristics>
Next, adjustment of the composite LUT in the gray color characteristics is performed as follows. That is, the output data after color conversion using the mapping LUT for the gray color data and the output data after color conversion using the synthesis LUT are converted in the L * a * b * color system. Then, when the magnitude of the difference between the color characteristics of the respective gray colors (vector amounts having a * and b * as components) is equal to or greater than a predetermined threshold, the output data after color conversion using the synthesis LUT Is adjusted so as to be suppressed to the color characteristic side of the output data of the mapping LUT.
尚、特定色の色味特性の大きさ(スカラー量)は、当該特定色の彩度C*であり、色味特性は、a*及びb*のベクトル量により表され、彩度C*は、次の式(23)によって求められる。
ここで、グレー色は、本来、色味のない無彩色であるため、出力デバイスの色再現特性に対応した色変換においても、色味の生じない無彩色に色変換されるのが理想である。しかし、階調変換を施すことにより、そのグレー色に色味がついてしまうことがある。 Here, since the gray color is originally an achromatic color having no color, it is ideal that the color conversion corresponding to the color reproduction characteristics of the output device is color-converted to an achromatic color that does not generate a color. . However, the gray color may be tinted by gradation conversion.
例えば、出力デバイスの色再現特性に対応するマッピング用LUTを用いた色変換後の出力データの色再現において、グレー軸近傍の色味特性c7が図26(a)のように彩度a*、b*が0の無彩色になるとする。この図26(a)は、グレー軸(原点に垂直な軸)近傍のa*、b*を示した図である。 For example, in the color reproduction of the output data after color conversion using the mapping LUT corresponding to the color reproduction characteristic of the output device, the color characteristic c7 near the gray axis has a saturation a *, as shown in FIG. Assume that b * is an achromatic color of 0. FIG. 26A shows a * and b * in the vicinity of the gray axis (axis perpendicular to the origin).
これに対して、合成LUTを用いた色変換後の出力データの色再現が色味特性c8のようになり、この色味特性c8の彩度C*が所定の閾値b以上となった場合には、色味特性c9の彩度C*がその閾値以内となるように、合成LUTを用いた色変換後の出力データの色味特性c8をグレー軸に近づける方向へその彩度C*を抑制するように調整する。そして、その調整後の色味特性c9を有するように、当該合成LUTを修正した調整LUTを作成する。 On the other hand, when the color reproduction of the output data after color conversion using the synthesis LUT becomes a color characteristic c8, and the saturation C * of the color characteristic c8 is equal to or greater than a predetermined threshold value b. Suppresses the saturation C * in the direction in which the color characteristic c8 of the output data after color conversion using the synthesis LUT is brought closer to the gray axis so that the saturation C * of the color characteristic c9 is within the threshold value. Adjust to Then, an adjustment LUT is created by correcting the combined LUT so as to have the adjusted color characteristic c9.
尚、色味特性の差異の判別の基準となる閾値bは、人間が色の変化を許容できる度合いに応じて定めることが望ましく、実験的又は経験的に具体的な値を求めて設定される。例えば、撮影画像データが有する画像領域の彩度C*がC*≧10のときに閾値を5、C*≦5のとき閾値を2、5<C*<10のとき閾値を0.6×C*−1に設定する。これにより、撮影画像のグレー色に着目して閾値を小さく設定することで、グレー色領域の色味変化を抑制することができる。 It should be noted that the threshold value b serving as a criterion for discriminating the difference in color characteristics is preferably determined according to the degree to which a human can tolerate a color change, and is set by obtaining a specific value experimentally or empirically. . For example, the threshold is 5 when the saturation C * of the image area of the captured image data is C * ≧ 10, the threshold is 2 when C * ≦ 5, and the threshold is 0.6 × when 5 <C * <10. Set to C * -1. Thus, by changing the threshold value by focusing on the gray color of the photographed image, it is possible to suppress the color change of the gray color region.
また、上述した色相特性、彩度特性及びグレー色の色味特性それぞれの調整を適宜組み合わせて行うこととしてよく、例えば、肌色とグレー色についての色の変化を抑制するようにすることとしてもよい。 Further, the adjustment of each of the above-described hue characteristics, saturation characteristics, and gray color characteristics may be performed in an appropriate combination. For example, it is also possible to suppress changes in the color of skin color and gray color. .
また、グレー色の色味特性による合成LUTの調整に際して、その合成LUTに不連続や逆転が生じないように、調整を行うデータと、調整を行わないデータとの間のデータには補完処理等を施すことにより、データの連続性を保つことが望ましい。 In addition, when adjusting the composite LUT based on the gray color characteristics, a complementary process or the like is performed on data between the data to be adjusted and the data to be adjusted so that discontinuity or inversion does not occur in the composite LUT. It is desirable to maintain data continuity by applying.
例えば、図26(b)に示すように、ある特定色における合成LUTのグレー色の色味特性c8上の所定閾値を超えた格子点c10に対して、調整領域AR3を設定する。そして、その調整領域AR3内を格子点c10を中心に放射状に分割する。格子点c10を格子点c11に向けてシフト調整する際には、調整領域AR3の調整前の図26(b)の各領域と、調整後の図26(c)の各領域とがそれぞれ対応するようにシフト調整する。これにより、色味特性の調整後の調整LUTのデータの連続性が保たれるようになる。 For example, as shown in FIG. 26B, the adjustment area AR3 is set for a lattice point c10 that exceeds a predetermined threshold on the gray color characteristic c8 of the combined LUT in a specific color. Then, the adjustment area AR3 is radially divided around the lattice point c10. When the shift adjustment of the lattice point c10 toward the lattice point c11 is performed, the respective regions in FIG. 26B before the adjustment of the adjustment region AR3 correspond to the respective regions in FIG. 26C after the adjustment. Adjust the shift as follows. Thereby, the continuity of the data of the adjustment LUT after the adjustment of the color characteristic is maintained.
以上、本実施形態によれば、シーン解析処理により決定した撮影シーンに応じた階調変換方法に基づいて階調補正用LUTを作成し、マッピング用LUTと合成することで合成LUTを作成する。そして、マッピング用LUTと、合成LUTとの色相特性、彩度特性、グレー色の色味特性とを比較することにより、合成LUTの各特性がマッピング用LUTから所定閾値以上ずれている場合には、マッピング用LUTの特性に近づけるように合成LUTを調整する。 As described above, according to the present embodiment, the tone correction LUT is created based on the tone conversion method according to the photographic scene determined by the scene analysis process, and the synthesized LUT is created by synthesizing with the mapping LUT. When the characteristics of the composite LUT are deviated from the mapping LUT by a predetermined threshold or more by comparing the hue characteristics, saturation characteristics, and gray color characteristics of the mapping LUT with the composite LUT, The composite LUT is adjusted so as to approximate the characteristics of the mapping LUT.
これにより、撮影シーンに応じた階調変換によって生ずる、色味変化の不自然さやカラーバランスが崩れることを抑制することができる。また、高彩度領域や低彩度領域に生ずるつぶれを軽減するように合成LUTを調整するため、階調変換により発生する色のつぶれを抑制することができる。従って、適切な階調で色再現すると共に、カラーバランスや色の弁別性の向上を図ることができる。 Thereby, it is possible to suppress the unnaturalness of the color change and the color balance from being lost due to the gradation conversion according to the shooting scene. In addition, since the synthesis LUT is adjusted so as to reduce the collapse that occurs in the high saturation region and the low saturation region, it is possible to suppress color collapse that occurs due to tone conversion. Accordingly, it is possible to reproduce the color with an appropriate gradation and to improve the color balance and the color discrimination.
また、階調補正用LUTと、マッピング用LUTとを合成して作成した合成LUTと、当該マッピング用LUTとを比較することにより、合成LUTの調整を行うため、容易にその調整処理を行うことが可能になる。 In addition, the synthesis LUT is adjusted by comparing the synthesis LUT created by synthesizing the gradation correction LUT and the mapping LUT with the mapping LUT. Therefore, the adjustment process can be easily performed. Is possible.
尚、上述した実施形態は、本発明を適用した一例であり、その適用可能な範囲は上述したものに限られない。例えば、LUT調整処理において、マッピング用LUTを用いた色変換の結果と、合成LUTを用いた色変換の結果とを比較した結果から、合成LUTを調整する処理を施すこととして説明したが、次のようにしてもよい。 In addition, embodiment mentioned above is an example to which this invention is applied, The applicable range is not restricted to what was mentioned above. For example, in the LUT adjustment process, it has been described that the process of adjusting the composite LUT is performed based on the result of comparing the color conversion result using the mapping LUT and the color conversion result using the composite LUT. It may be as follows.
即ち、合成LUTに予め調整する処理を施した3D−LUT(調整LUT)をデータベース化して記憶しておき、マッピング用LUT及び合成LUTそれぞれを用いた色変換の結果の比較結果から、適した調整LUTを検索することとしてもよい。これにより、合成LUTに対する調整処理の処理時間の短縮され、撮影画像データの色変換の処理速度の向上が図れる。 That is, a 3D-LUT (adjustment LUT) that has been subjected to adjustment processing in advance is stored in a database, and an appropriate adjustment is made based on the comparison results of the color conversion results using the mapping LUT and the synthesis LUT. It is good also as searching LUT. As a result, the processing time of the adjustment processing for the composite LUT is shortened, and the processing speed of the color conversion of the photographed image data can be improved.
また、シーン解析部710の撮影シーンの判別結果に基づいて、階調変換方法を決定することとして説明したが、例えば、ユーザが所望の階調変換方法を選択可能にしてもよいし、また、撮影シーンの判別結果に基づいて複数の階調変換方法を決定した後にユーザが所望の階調変換方法を選択することとしてもよく、上述した実施形態と同様の効果が得られるのは無論である。
In addition, although it has been described that the gradation conversion method is determined based on the determination result of the shooting scene of the
また、本発明の画像処理装置を、図1に示すようなプリントを形成するプリンタに適用することとして説明したが、画像データの入出力を行う装置であれば、適宜適用可能であり、例えば、デジタルカメラやスキャナ等に適用してもよい。 Further, the image processing apparatus of the present invention has been described as being applied to a printer that forms a print as shown in FIG. 1, but any apparatus that inputs and outputs image data can be applied as appropriate. You may apply to a digital camera, a scanner, etc.
1 画像処理装置
4 露光処理部
5 プリント作成部
7 制御部
8 表示部
9 フィルムスキャナ部
10 反射原稿入力部
51 外部プリンタ
70 画像処理部
71 画像入力部
72 画像出力部
80 記憶部
81 画像データ保持部
82 色変換定義データ保持部
83 閾値データ保持部
710 シーン解析部
712 割合算出部
713 指標算出部
714 画像処理条件算出部
715 表色系変換部
716 ヒストグラム作成部
717 占有率演算部
718 シーン判別部
719 階調変換方法決定部
720 階調変換パラメータ算出部
721 階調変換量算出部
730 画像変換部
750 色変換定義調整部
A 階調変換方法
B 階調変換方法
C 階調変換方法
DESCRIPTION OF
Claims (33)
前記入力画像データにシーン判別処理を施して、当該入力画像データのシーン情報を判別するシーン判別手段と、
前記シーン判別手段により判別されたシーン情報に基づいて階調変換方法を決定する階調変換方法決定手段と、
前記規定された色変換定義データの色再現特性と、前記決定された階調変換を施した当該色変換定義データの色再現特性とを比較して、両色再現特性の差異を求める比較手段と、
前記色再現特性の差異が所定閾値以上の場合に、その差異を抑制するように前記階調変換を施した色再現定義データの色再現特性を調整する調整手段と、
前記調整手段により色再現特性が調整された色再現定義データを用いて前記入力画像データの色変換を行う画像変換手段と、
を備えることを特徴とする画像処理装置。 In an image processing apparatus that performs color conversion of input image data using color conversion definition data defined in advance to perform color conversion to a color space corresponding to the color reproduction characteristics of the output device,
Scene determination means for performing scene determination processing on the input image data and determining scene information of the input image data;
Gradation conversion method determination means for determining a gradation conversion method based on the scene information determined by the scene determination means;
A comparing means for comparing the color reproduction characteristics of the specified color conversion definition data with the color reproduction characteristics of the color conversion definition data subjected to the determined gradation conversion to obtain a difference between the two color reproduction characteristics; ,
Adjusting means for adjusting the color reproduction characteristics of the color reproduction definition data subjected to the gradation conversion so as to suppress the difference when the difference in the color reproduction characteristics is equal to or greater than a predetermined threshold;
Image conversion means for performing color conversion of the input image data using color reproduction definition data whose color reproduction characteristics are adjusted by the adjustment means;
An image processing apparatus comprising:
前記規定された色変換定義データの色相特性と、前記階調変換を施した当該色変換定義データの色相特性とを比較して、両色相特性の差異を求める色相比較手段を有し、
前記調整手段は、
前記色相特性の差異が所定閾値以上である場合に、当該色相特性の差異を抑制するように前記規定された色変換定義データの色相特性を調整する色相調整手段を有することを特徴とする請求項1に記載の画像処理装置。 The comparison means includes
A hue comparison unit that compares the hue characteristic of the specified color conversion definition data with the hue characteristic of the color conversion definition data subjected to the gradation conversion to obtain a difference between the two hue characteristics;
The adjusting means includes
The hue adjustment means for adjusting the hue characteristic of the specified color conversion definition data so as to suppress the difference in the hue characteristic when the difference in the hue characteristic is equal to or greater than a predetermined threshold. The image processing apparatus according to 1.
前記調整手段は、
前記検出手段により検出されたつぶれの度合いが所定閾値以上である場合に、当該つぶれの度合いを抑制するように前記階調変換を施した色変換定義データの色再現特性を調整するつぶれ調整手段を有することを特徴とする請求項1又は2に記載の画像処理装置。 Based on the result of the comparison by the comparison means, further comprising a detection means for detecting a collapse from a boundary portion between the color reproduction definition data subjected to the gradation conversion and the color reproduction characteristic outside the color gamut,
The adjusting means includes
A crush adjustment unit that adjusts the color reproduction characteristics of the color conversion definition data subjected to the gradation conversion so as to suppress the crushing degree when the crushing degree detected by the detection unit is equal to or greater than a predetermined threshold; The image processing apparatus according to claim 1, wherein the image processing apparatus is provided.
特定彩度領域のつぶれの度合いを抑制するように前記色変換定義データの色再現特性の調整を行うことを特徴とする請求項3に記載の画像処理装置。 The crushing adjusting means includes
The image processing apparatus according to claim 3, wherein the color reproduction characteristics of the color conversion definition data are adjusted so as to suppress a degree of collapse of the specific saturation area.
前記規定された色変換定義データの色味特性と、前記階調変換を施した前記色変換定義データの色味特性とを比較して、両色味特性の差異を求める色味比較手段を有し、
前記調整手段は、
グレー色における前記色味特性の差異が所定閾値以上である場合に、前記階調変換を施した色再現変換テーブルの色味特性を抑制するように調整する色味調整手段を有することを特徴とする請求項1〜4の何れか一項に記載の画像処理装置。 The comparison means includes
There is a color comparison means for comparing the color characteristics of the specified color conversion definition data with the color characteristics of the color conversion definition data subjected to the gradation conversion to obtain a difference between the two color characteristics. And
The adjusting means includes
Characterized in that it has a color adjustment means for adjusting so as to suppress the color characteristics of the color reproduction conversion table subjected to the gradation conversion when the difference in the color characteristics in the gray color is equal to or greater than a predetermined threshold value. The image processing apparatus according to any one of claims 1 to 4.
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する色度特性に応じて定めることを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。 The adjusting means includes
6. The threshold value and a degree of adjustment of color reproduction characteristics of color conversion definition data subjected to the gradation conversion process are determined according to chromaticity characteristics of the input image data. The image processing apparatus according to any one of the above.
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する色相特性に応じて定めることを特徴とする請求項1〜6の何れか一項に記載の画像処理装置。 The adjusting means includes
The threshold value and the degree of adjustment of color reproduction characteristics of the color conversion definition data subjected to the gradation conversion processing are determined according to hue characteristics of the input image data. The image processing apparatus according to any one of the above.
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する彩度特性に応じて定めることを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。 The adjusting means includes
8. The threshold value and a degree of adjustment of color reproduction characteristics of color conversion definition data subjected to the gradation conversion process are determined according to a saturation characteristic of the input image data. The image processing apparatus according to any one of the above.
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する明度特性に応じて定めることを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。 The adjusting means includes
9. The threshold value and the degree of adjustment of color reproduction characteristics of the color conversion definition data subjected to the gradation conversion process are determined according to lightness characteristics of the input image data. The image processing apparatus according to any one of the above.
入力データと、当該入力データに当該階調変換を予め施した出力データとを対応付けて記憶する1次元ルックアップテーブルを用いて行うことを特徴とする請求項1〜10の何れか一項に記載の画像処理装置。 The gradation conversion is
11. The method according to claim 1, wherein the input data is performed using a one-dimensional lookup table that stores the input data and output data obtained by performing gradation conversion on the input data in advance. The image processing apparatus described.
前記入力画像データにシーン判別処理を施して、当該入力画像データのシーン情報を判別するシーン判別工程と、
前記シーン判別工程において判別されたシーン情報に基づいて階調変換方法を決定する階調変換方法決定工程と、
前記規定された色変換定義データの色再現特性と、前記決定された階調変換を施した当該色変換定義データの色再現特性とを比較して、両色再現特性の差異を求める比較工程と、
前記色再現特性の差異が所定閾値以上の場合に、その差異を抑制するように前記階調変換を施した色再現定義データの色再現特性を調整する調整工程と、
前記調整工程において色再現特性が調整された色再現定義データを用いて前記入力画像データの色変換を行う画像変換工程と、
を含むことを特徴とする画像処理方法。 In an image processing method for performing color conversion of input image data using color conversion definition data defined in advance in order to perform color conversion into a color space corresponding to the color reproduction characteristics of the output device,
A scene determination step of performing scene determination processing on the input image data to determine scene information of the input image data;
A gradation conversion method determination step for determining a gradation conversion method based on the scene information determined in the scene determination step;
A comparison step of comparing a color reproduction characteristic of the specified color conversion definition data with a color reproduction characteristic of the color conversion definition data subjected to the determined gradation conversion to obtain a difference between the two color reproduction characteristics; ,
An adjustment step of adjusting the color reproduction characteristics of the color reproduction definition data subjected to the gradation conversion so as to suppress the difference when the difference in the color reproduction characteristics is equal to or greater than a predetermined threshold;
An image conversion step of performing color conversion of the input image data using color reproduction definition data in which color reproduction characteristics are adjusted in the adjustment step;
An image processing method comprising:
前記規定された色変換定義データの色相特性と、前記階調変換を施した当該色変換定義データの色相特性とを比較して、両色相特性の差異を求める色相比較工程を含み、
前記調整工程は、
前記色相特性の差異が所定閾値以上である場合に、当該色相特性の差異を抑制するように前記規定された色変換定義データの色相特性を調整する色相調整工程を含むことを特徴とする請求項12に記載の画像処理方法。 The comparison step includes
A hue comparison step of comparing the hue characteristic of the specified color conversion definition data with the hue characteristic of the color conversion definition data subjected to the gradation conversion to obtain a difference between the two hue characteristics;
The adjustment step includes
A hue adjustment step of adjusting a hue characteristic of the specified color conversion definition data so as to suppress the difference in the hue characteristic when the difference in the hue characteristic is equal to or greater than a predetermined threshold value. 12. The image processing method according to 12.
前記調整工程は、
前記検出工程において検出されたつぶれの度合いが所定閾値以上である場合に、当該つぶれの度合いを抑制するように前記階調変換を施した色変換定義データの色再現特性を調整するつぶれ調整工程を含むことを特徴とする請求項12又は13に記載の画像処理方法。 Based on the result of the comparison in the comparison step, further including a detection step of detecting a collapse from a boundary portion between the color reproduction definition data subjected to the gradation conversion and the color reproduction characteristic outside the color gamut,
The adjustment step includes
A crushing adjustment step of adjusting a color reproduction characteristic of the color conversion definition data subjected to the gradation conversion so as to suppress the crushing degree when the crushing degree detected in the detection step is equal to or greater than a predetermined threshold; 14. The image processing method according to claim 12, further comprising:
特定彩度領域のつぶれの度合いを抑制するように前記色変換定義データの色再現特性の調整を行うことを特徴とする請求項14に記載の画像処理方法。 The crushing adjustment process includes:
The image processing method according to claim 14, wherein the color reproduction characteristics of the color conversion definition data are adjusted so as to suppress a degree of collapse of the specific saturation area.
前記規定された色変換定義データの色味特性と、前記階調変換を施した前記色変換定義データの色味特性とを比較して、両色味特性の差異を求める色味比較工程を含み、
前記調整工程は、
グレー色における前記色味特性の差異が所定閾値以上である場合に、前記階調変換を施した色再現変換テーブルの色味特性を抑制するように調整する色味調整工程を含むことを特徴とする請求項12〜15の何れか一項に記載の画像処理方法。 The comparison step includes
A color comparison step of comparing the color characteristic of the specified color conversion definition data with the color characteristic of the color conversion definition data subjected to the gradation conversion to obtain a difference between the two color characteristics ,
The adjustment step includes
Including a tint adjustment step of adjusting so as to suppress the tint characteristics of the color reproduction conversion table subjected to the gradation conversion when the difference in the tint characteristics in the gray color is a predetermined threshold value or more. The image processing method according to any one of claims 12 to 15.
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する色度特性に応じて定めることを特徴とする請求項12〜16の何れか一項に記載の画像処理方法。 The adjustment step includes
17. The threshold value and the degree of adjustment of color reproduction characteristics of the color conversion definition data subjected to the gradation conversion process are determined according to chromaticity characteristics of the input image data. An image processing method according to any one of the above.
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する色相特性に応じて定めることを特徴とする請求項12〜17の何れか一項に記載の画像処理方法。 The adjustment step includes
18. The threshold value and the degree of adjustment of the color reproduction characteristic of the color conversion definition data subjected to the gradation conversion process are determined according to the hue characteristic of the input image data. The image processing method according to any one of the above.
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する彩度特性に応じて定めることを特徴とする請求項12〜18の何れか一項に記載の画像処理方法。 The adjustment step includes
19. The threshold value and the degree of adjustment of color reproduction characteristics of the color conversion definition data subjected to the gradation conversion process are determined according to a saturation characteristic of the input image data. An image processing method according to any one of the above.
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する明度特性に応じて定めることを特徴とする請求項12〜19の何れか一項に記載の画像処理方法。 The adjustment step includes
20. The threshold value and the degree of adjustment of color reproduction characteristics of the color conversion definition data subjected to the gradation conversion process are determined according to lightness characteristics of the input image data. The image processing method according to any one of the above.
入力データと、当該入力データに当該階調変換を予め施した出力データとを対応付けて記憶する1次元ルックアップテーブルを用いて行うことを特徴とする請求項12〜21の何れか一項に記載の画像処理方法。 The gradation conversion is
The input data and a one-dimensional lookup table that stores the input data and the output data obtained by performing the gradation conversion in advance on the input data in association with each other. The image processing method as described.
入力画像データにシーン判別処理を施して、当該入力画像データのシーン情報を判別するシーン判別手段、
前記シーン判別手段により判別されたシーン情報に基づいて階調変換方法を決定する階調変換方法決定手段、
出力デバイスの色再現特性に対応した色空間に色変換するために予め規定された色変換定義データの色再現特性と、前記決定された階調変換を施した当該色変換定義データの色再現特性とを比較して、両色再現特性の差異を求める比較手段、
前記色再現特性の差異が所定閾値以上の場合に、その差異を抑制するように前記階調変換を施した色再現定義データの色再現特性を調整する調整手段、
前記調整手段により色再現特性が調整された色再現定義データを用いて前記入力画像データの色変換を行う画像変換手段、
として機能させるための画像処理プログラム。 Computer
Scene discrimination means for performing scene discrimination processing on the input image data and discriminating scene information of the input image data;
Gradation conversion method determination means for determining a gradation conversion method based on the scene information determined by the scene determination means;
Color reproduction characteristics of color conversion definition data defined in advance for color conversion to a color space corresponding to the color reproduction characteristics of the output device, and color reproduction characteristics of the color conversion definition data subjected to the determined gradation conversion A comparison means for determining the difference between the two color reproduction characteristics,
Adjusting means for adjusting the color reproduction characteristics of the color reproduction definition data subjected to the gradation conversion so as to suppress the difference when the difference in the color reproduction characteristics is equal to or greater than a predetermined threshold;
Image conversion means for performing color conversion of the input image data using color reproduction definition data whose color reproduction characteristics have been adjusted by the adjustment means;
Image processing program to function as
前記規定された色変換定義データの色相特性と、前記階調変換を施した当該色変換定義データの色相特性とを比較して、両色相特性の差異を求める色相比較手段を有し、
前記調整手段は、
前記色相特性の差異が所定閾値以上である場合に、当該色相特性の差異を抑制するように前記規定された色変換定義データの色相特性を調整する色相調整手段を有することを特徴とする請求項23に記載の画像処理プログラム。 The comparison means includes
A hue comparison unit that compares the hue characteristic of the specified color conversion definition data with the hue characteristic of the color conversion definition data subjected to the gradation conversion to obtain a difference between the two hue characteristics;
The adjusting means includes
The hue adjustment means for adjusting the hue characteristic of the specified color conversion definition data so as to suppress the difference in the hue characteristic when the difference in the hue characteristic is equal to or greater than a predetermined threshold. The image processing program according to 23.
前記調整手段は、
前記検出手段により検出されたつぶれの度合いが所定閾値以上である場合に、当該つぶれの度合いを抑制するように前記階調変換を施した色変換定義データの色再現特性を調整するつぶれ調整手段を有することを特徴とする請求項23又は24に記載の画像処理プログラム。 Based on the result of the comparison by the comparison means, the computer further functions as a detection means for detecting a crush from a boundary portion outside the color gamut of the color reproduction characteristics of the color conversion definition data subjected to the gradation conversion,
The adjusting means includes
A crush adjustment unit that adjusts the color reproduction characteristics of the color conversion definition data subjected to the gradation conversion so as to suppress the crushing degree when the crushing degree detected by the detection unit is equal to or greater than a predetermined threshold; An image processing program according to claim 23 or 24, comprising:
特定彩度領域のつぶれの度合いを抑制するように前記色変換定義データの色再現特性の調整を行うことを特徴とする請求項25に記載の画像処理プログラム。 The crushing adjusting means includes
26. The image processing program according to claim 25, wherein the color reproduction characteristic of the color conversion definition data is adjusted so as to suppress a degree of collapse of the specific saturation area.
前記規定された色変換定義データの色味特性と、前記階調変換を施した前記色変換定義データの色味特性とを比較して、両色味特性の差異を求める色味比較手段を有し、
前記調整手段は、
グレー色における前記色味特性の差異が所定閾値以上である場合に、前記階調変換を施した色再現変換テーブルの色味特性を抑制するように調整する色味調整手段を有することを特徴とする請求項23〜26の何れか一項に記載の画像処理プログラム。 The comparison means includes
There is a color comparison means for comparing the color characteristics of the specified color conversion definition data with the color characteristics of the color conversion definition data subjected to the gradation conversion to obtain a difference between the two color characteristics. And
The adjusting means includes
Characterized in that it has a color adjustment means for adjusting so as to suppress the color characteristics of the color reproduction conversion table subjected to the gradation conversion when the difference in the color characteristics in the gray color is equal to or greater than a predetermined threshold value. The image processing program according to any one of claims 23 to 26.
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する色度特性に応じて定めることを特徴とする請求項23〜27の何れか一項に記載の画像処理プログラム。 The adjusting means includes
28. The threshold value and the degree of adjustment of color reproduction characteristics of the color conversion definition data subjected to the gradation conversion process are determined according to chromaticity characteristics of the input image data. The image processing program according to any one of the above.
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する色相特性に応じて定めることを特徴とする請求項23〜28の何れか一項に記載の画像処理プログラム。 The adjusting means includes
29. The threshold value and the degree of adjustment of the color reproduction characteristic of the color conversion definition data subjected to the gradation conversion process are determined according to a hue characteristic of the input image data. The image processing program according to any one of the above.
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する彩度特性に応じて定めることを特徴とする請求項23〜29の何れか一項に記載の画像処理プログラム。 The adjusting means includes
30. The threshold value and the degree of adjustment of the color reproduction characteristic of the color conversion definition data subjected to the gradation conversion process are determined according to a saturation characteristic of the input image data. The image processing program according to any one of the above.
前記閾値と、前記階調変換処理を施した色変換定義データの色再現特性の調整の度合いとを、前記入力画像データが有する明度特性に応じて定めることを特徴とする請求項23〜30の何れか一項に記載の画像処理プログラム。 The adjusting means includes
The threshold value and the degree of adjustment of color reproduction characteristics of the color conversion definition data subjected to the gradation conversion process are determined according to lightness characteristics of the input image data. The image processing program according to any one of the above.
入力データと、当該入力データに当該階調変換を予め施した出力データとを対応付けて記憶する1次元ルックアップテーブルを用いて行うことを特徴とする請求項23〜32の何れか一項に記載の画像処理プログラム。 The gradation conversion is
33. The method according to any one of claims 23 to 32, wherein the input data is performed using a one-dimensional lookup table that stores the input data and output data obtained by performing gradation conversion on the input data in advance. The image processing program described.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006139287A JP2007312125A (en) | 2006-05-18 | 2006-05-18 | Image processor, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006139287A JP2007312125A (en) | 2006-05-18 | 2006-05-18 | Image processor, image processing method, and image processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007312125A true JP2007312125A (en) | 2007-11-29 |
Family
ID=38844565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006139287A Pending JP2007312125A (en) | 2006-05-18 | 2006-05-18 | Image processor, image processing method, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007312125A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010141435A (en) * | 2008-12-09 | 2010-06-24 | Noritsu Koki Co Ltd | Method, program and apparatus for photographic image processing |
CN114512094A (en) * | 2020-11-16 | 2022-05-17 | 华为技术有限公司 | Screen color adjusting method, device, terminal and computer readable storage medium |
CN115701129A (en) * | 2021-07-31 | 2023-02-07 | 荣耀终端有限公司 | Image processing method and electronic equipment |
-
2006
- 2006-05-18 JP JP2006139287A patent/JP2007312125A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010141435A (en) * | 2008-12-09 | 2010-06-24 | Noritsu Koki Co Ltd | Method, program and apparatus for photographic image processing |
CN114512094A (en) * | 2020-11-16 | 2022-05-17 | 华为技术有限公司 | Screen color adjusting method, device, terminal and computer readable storage medium |
CN114512094B (en) * | 2020-11-16 | 2023-03-24 | 华为技术有限公司 | Screen color adjusting method, device, terminal and computer readable storage medium |
CN115701129A (en) * | 2021-07-31 | 2023-02-07 | 荣耀终端有限公司 | Image processing method and electronic equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7076119B2 (en) | Method, apparatus, and program for image processing | |
US6975437B2 (en) | Method, apparatus and recording medium for color correction | |
JP2006319714A (en) | Method, apparatus, and program for processing image | |
US20070133017A1 (en) | Image processing apparatus, photographing apparatus, image processing system, image processing method and program | |
US7333136B2 (en) | Image processing apparatus for carrying out tone conversion processing and color correction processing using a three-dimensional look-up table | |
JP2005190435A (en) | Image processing method, image processing apparatus and image recording apparatus | |
WO2006123492A1 (en) | Image processing method, image processing device, imaging device and image processing program | |
US6744920B1 (en) | Method, apparatus, and recording medium for processing image data to obtain color-balance adjusted image data based on white-balance adjusted image data | |
JPWO2005112428A1 (en) | Image processing method, image processing apparatus, image recording apparatus, and image processing program | |
JP2007184888A (en) | Imaging apparatus, image processor, image processing method, and image processing program | |
US20040036899A1 (en) | Image forming method, image processing apparatus, print producing apparatus and memory medium | |
JP2006318255A (en) | Image processing method, image processor and image processing program | |
JP2005192162A (en) | Image processing method, image processing apparatus, and image recording apparatus | |
JP2007312125A (en) | Image processor, image processing method, and image processing program | |
JP2002033934A (en) | Apparatus and method for image processing | |
WO2006033235A1 (en) | Image processing method, image processing device, imaging device, and image processing program | |
JP2002051222A (en) | Image processing method and storage medium recording image processing program | |
JP2020145553A (en) | Image processing apparatus, image processing method and program | |
WO2006033236A1 (en) | Image processing method, image processing device, imaging device, and image processing program | |
JP2005192158A (en) | Image processing method, image processing apparatus, and image recording apparatus | |
JP2006094000A (en) | Image processing method, image processing apparatus, and image processing program | |
JP2007243542A (en) | Imaging apparatus, image processing apparatus, image processing method, and image processing program | |
JP2006203571A (en) | Imaging apparatus, image processing apparatus, and image recording apparatus | |
JP2006203573A (en) | Imaging apparatus, image processor, and image recording apparatus | |
JP2005332054A (en) | Image processing method, image processor, image recording device and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20070827 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20080221 |