JP2012010227A - Image processing apparatus, and image processing method - Google Patents
Image processing apparatus, and image processing method Download PDFInfo
- Publication number
- JP2012010227A JP2012010227A JP2010146067A JP2010146067A JP2012010227A JP 2012010227 A JP2012010227 A JP 2012010227A JP 2010146067 A JP2010146067 A JP 2010146067A JP 2010146067 A JP2010146067 A JP 2010146067A JP 2012010227 A JP2012010227 A JP 2012010227A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- luminance signal
- color difference
- unit
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、画像処理に係り、特に、過剰なリソースを必要とせずに、色再現性を良好に保ちつつ階調補正を行なうことができる画像処理装置および画像処理方法に関する。 The present invention relates to image processing, and more particularly, to an image processing apparatus and an image processing method capable of performing tone correction while maintaining good color reproducibility without requiring excessive resources.
人間の視覚が非常に広いダイナミックレンジを持っているのに対し、ビデオカメラ等の撮像装置はダイナミックレンジが狭い。このため、人物などの主要な被写体と背景とを同時に撮影する場合、見た目と異なり、主要な被写体が暗く撮影されたり、背景が白く飛んで撮影されたりすることがある。このような画像に対して、暗すぎる部分を明るめにしたり、明るすぎる部分を暗めにする階調補正を施すことで、より自然で良好な画像に補正することが行なわれている。 While human vision has a very wide dynamic range, an imaging device such as a video camera has a narrow dynamic range. For this reason, when shooting a main subject such as a person and the background at the same time, unlike the appearance, the main subject may be shot dark or the background may fly white. Such an image is corrected to a more natural and good image by performing gradation correction that brightens an excessively dark portion or darkens an excessively bright portion.
しかしながら、カラー画像に対して階調補正を行なうと、ＲＧＢ等の色成分の比率が変化したり、色再現範囲を超える等によって、色相と彩度が変化してしまい、色の再現性が悪化する場合があるという課題があり、この課題に対応するため、従来から種々の方法が提案されている。 However, when tone correction is performed on a color image, the hue and saturation change due to changes in the ratio of color components such as RGB or exceeding the color reproduction range, resulting in poor color reproducibility. In order to cope with this problem, various methods have been conventionally proposed.
例えば、特許文献１には、原画像から算出された輝度信号に対してガンマ変換を施すことで階調を補正し、階調補正前の輝度信号に対する階調補正後の輝度信号の比率である変化率を算出した後、変化率を原画像のＲＧＢ成分それぞれに乗じる第１の階調補正と、変化率を原画像から算出された色差信号それぞれに加える第２の階調補正とを行ない、原画像の画素の輝度値に応じて、第１の階調補正、第２の階調補正のいずれか、あるいは両補正の合成を選択することにより、色彩と彩度の変化のない階調補正を行なうことが記載されている。 For example, Patent Document 1 discloses a ratio of a luminance signal after gradation correction with respect to a luminance signal before gradation correction by correcting the gradation by performing gamma conversion on the luminance signal calculated from the original image. After calculating the rate of change, a first tone correction that multiplies the RGB rate of each original image by the rate of change and a second tone correction that adds the rate of change to each color difference signal calculated from the original image are performed. Gradation correction with no change in color and saturation by selecting either the first gradation correction, the second gradation correction, or a combination of both corrections according to the luminance value of the pixel of the original image Is described.
また、特許文献２には、原画像から算出された輝度信号に対してガンマ変換を施すことで階調を補正し、階調補正前の輝度信号に対する階調補正後の輝度信号の比率である変化率を算出した後、変化率をＲＧＢ成分とＲＧＢ成分の最大値との比を乗じることでＲＧＢ成分毎、画素毎に補正し、補正後変化率を原画像のＲＧＢ成分にそれぞれ乗算することにより、彩度変化のない階調補正を行なうことが記載されている。 Japanese Patent Application Laid-Open No. 2004-228688 describes the ratio of the luminance signal after the gradation correction to the luminance signal before the gradation correction by performing the gamma conversion on the luminance signal calculated from the original image. After calculating the rate of change, multiply the rate of change by the ratio of the RGB component and the maximum value of the RGB component for each RGB component and each pixel, and multiply the corrected RGB rate by the RGB component of the original image. Describes that gradation correction without saturation change is performed.
ところで、階調を改善する手法として、特許文献１、特許文献２に記載されているような輝度信号に対してガンマ変換を施す手法の他に、視覚の色恒常性と空間特性を考慮したＲｅｔｉｎｅｘ理論を適用して、より人間の視覚に近い画像を得るような手法が知られている。 By the way, as a technique for improving gradation, in addition to a technique for performing gamma conversion on luminance signals as described in Patent Documents 1 and 2, Retinex considering visual color constancy and spatial characteristics. There is known a technique that applies a theory to obtain an image closer to human vision.
Ｒｅｔｉｎｅｘ理論によると、人間の視覚は、各物体の反射率の比によって色を知覚する。反射率は、照明に依存しない被写体の画像成分であり、したがって、入力画像Ｉから照明光Ｌを分離して反射光Ｒを得ることによって、画像の階調改善が可能になると考えられる。一般に、入力画像から照明光Ｌを正確に分離することは困難であるため、照明光成分は、入力画像から推定された値である推定照明光成分が用いられる。 According to Retinex theory, human vision perceives color by the ratio of the reflectance of each object. The reflectance is an image component of the subject that does not depend on illumination. Therefore, it is considered that the gradation of the image can be improved by separating the illumination light L from the input image I and obtaining the reflected light R. In general, since it is difficult to accurately separate the illumination light L from the input image, an estimated illumination light component that is a value estimated from the input image is used as the illumination light component.
数１は、Ｒｅｔｉｎｅｘ理論を適用したＬｉｎｅａｒ Ｒｅｔｉｎｅｘアルゴリズムを表わす数式であり、輝度信号Ｙのぼけ画像を推定照明光（右辺括弧内分母）として用いている。
上述のように、カラー画像に対して階調補正を行なうと、色相と彩度が変化してしまい色の再現性が悪化する場合があるという課題に対応するため、従来から種々の方法が提案されている。しかしながら、特許文献１、特許文献２に記載されているような従来の方法は、ＲＧＢ信号それぞれに対して画素毎に補正を行なうため、大量の演算を行なわなくてはならず、多くのメモリと演算リソースとが要求される。 As described above, various methods have been proposed in the past to deal with the problem that when hue correction is performed on a color image, hue and saturation may change and color reproducibility may deteriorate. Has been. However, the conventional methods as described in Patent Document 1 and Patent Document 2 perform correction for each pixel with respect to each of the RGB signals, so a large amount of computation must be performed, and a large amount of memory and Compute resources are required.
また、ガンマ変換による輝度信号の階調補正と輝度信号の変化率に基づく色信号の補正を行なう場合に、全画面で一様な比率で補正を行なうため、階調補正と色再現性のバランスを保つ補正処理を行なうことが困難であるという課題がある。 In addition, when correcting the gradation of the luminance signal by gamma conversion and correcting the color signal based on the rate of change of the luminance signal, the correction is performed at a uniform ratio on the entire screen, so the balance between gradation correction and color reproducibility is achieved. There is a problem that it is difficult to perform a correction process for maintaining the above.
一般に、ビデオカメラ等の撮像装置は、組み込み機器として構成されることが多く、装置に搭載されるメモリや、積和演算等を高速に実行するための演算素子に制約が課せられるのに加え、画像を映像として出力するために一定の時間内に複数の処理を行なう必要がある。このため、従来の方法をそのまま適用すると、装置が大型化したり、大容量のメモリや高速の演算素子を多数用いることによってコストアップを招くことになり好ましくない。 In general, an imaging device such as a video camera is often configured as an embedded device, and in addition to imposing restrictions on the memory mounted in the device and arithmetic elements for executing product-sum operations at high speed, In order to output an image as a video, it is necessary to perform a plurality of processes within a certain time. For this reason, if the conventional method is applied as it is, it is not preferable because the apparatus is increased in size or a large amount of memory or a high-speed arithmetic element is used, resulting in an increase in cost.
そこで、本発明は、過剰なリソースを必要とせずに、色再現性を良好に保ちつつ階調補正を行なうことができる画像処理装置および画像処理方法を提供することを目的とする。 Therefore, an object of the present invention is to provide an image processing apparatus and an image processing method capable of performing gradation correction while maintaining good color reproducibility without requiring excessive resources.
上記課題を解決するため、本発明の第１の態様である画像処理装置は、入力画像の輝度信号に対して階調補正を行なう輝度信号補正部と、前記入力画像の輝度信号と前記階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出部と、前記輝度信号変化率を用いて前記入力画像の色差信号を補正する色差信号補正部と、先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価部と、を備え、前記輝度信号補正部は、前記評価部の評価結果に応じて、前記階調補正の量を制御し、前記色差信号補正部は、前記評価部の評価結果に応じて、前記輝度信号変化率算出部によって算出された輝度信号変化率を修正して、前記色差信号の補正に用いることを特徴とする。 In order to solve the above problem, an image processing apparatus according to a first aspect of the present invention includes a luminance signal correction unit that performs gradation correction on a luminance signal of an input image, the luminance signal of the input image, and the gradation. A luminance signal change rate calculation unit that calculates a luminance signal change rate from the corrected luminance signal, a color difference signal correction unit that corrects a color difference signal of the input image using the luminance signal change rate, and a preceding input image An evaluation unit that evaluates the correction result performed according to a predetermined standard, and the luminance signal correction unit controls the amount of the gradation correction according to the evaluation result of the evaluation unit, and the color difference The signal correction unit corrects the luminance signal change rate calculated by the luminance signal change rate calculation unit according to the evaluation result of the evaluation unit, and uses the correction value to correct the color difference signal.
ここで、前記輝度信号補正部は、前記入力画像の輝度信号から得られる推定照明光成分に対して前記評価部の評価結果に応じた非線形補正を行なって得られた補正後推定照明光成分を用いて、前記入力画像の輝度信号を補正することで、階調補正後の輝度信号を得ることができる。 Here, the luminance signal correction unit obtains a post-correction estimated illumination light component obtained by performing nonlinear correction according to the evaluation result of the evaluation unit on the estimated illumination light component obtained from the luminance signal of the input image. The luminance signal after the gradation correction can be obtained by correcting the luminance signal of the input image.
また、前記色差信号補正部は、特定の輝度値範囲の画素を対象に前記輝度信号変化率を修正することができる。 Further, the color difference signal correction unit can correct the luminance signal change rate for pixels in a specific luminance value range.
また、前記評価部は、先行する入力画像に対して行なった輝度信号の階調補正および色差信号の補正について、過補正の度合いを所定の基準にしたがって評価することができる。 In addition, the evaluation unit can evaluate the degree of overcorrection according to a predetermined standard for the gradation correction of the luminance signal and the correction of the color difference signal performed on the preceding input image.
また、前記評価部は、対象入力画像に先行する連続した入力画像の相関を評価し、相関の度合いが所定値よりも高い場合に、前記対象入力画像についての前記輝度信号の階調補正および前記色差信号の補正を行なうように制御することができる。 In addition, the evaluation unit evaluates a correlation between successive input images preceding the target input image, and when the degree of correlation is higher than a predetermined value, the gradation correction of the luminance signal for the target input image and the Control can be performed to correct the color difference signal.
また、前記階調補正された輝度信号および前記補正された色差信号に対して、補正前の輝度信号および補正前の色差信号を合成する合成部をさらに備えるようにしてもよい。 In addition, a synthesizing unit that synthesizes the luminance signal before correction and the color difference signal before correction may be further provided for the luminance signal subjected to gradation correction and the corrected color difference signal.
上記課題を解決するため、本発明の第２の態様である画像処理方法は、画像処理装置における画像処理方法であって、入力画像の輝度信号に対して階調補正を行なう輝度信号補正ステップと、前記入力画像の輝度信号と前記階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出ステップと、前記輝度信号変化率を用いて前記入力画像の色差信号を補正する色差信号補正ステップと、先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価ステップと、を有し、前記輝度信号補正ステップは、前記評価ステップにおける評価結果に応じて、前記階調補正の量を制御し、前記色差信号補正ステップは、前記評価ステップにおける評価結果に応じて、前記輝度信号変化率算出ステップによって算出された輝度信号変化率を修正して、前記色差信号の補正に用いることを特徴とする。 In order to solve the above problems, an image processing method according to a second aspect of the present invention is an image processing method in an image processing apparatus, and includes a luminance signal correction step for performing gradation correction on a luminance signal of an input image; A luminance signal change rate calculating step of calculating a luminance signal change rate from the luminance signal of the input image and the luminance signal after gradation correction, and correcting the color difference signal of the input image using the luminance signal change rate A color difference signal correction step, and an evaluation step for evaluating a correction result performed on the preceding input image according to a predetermined standard, wherein the luminance signal correction step is performed according to the evaluation result in the evaluation step, The amount of gradation correction is controlled, and the color difference signal correction step is calculated by the luminance signal change rate calculation step according to the evaluation result in the evaluation step. The correct the luminance signal change rates, is characterized by using the correction of the color difference signals.
本発明によれば、過剰なリソースを必要とせずに、色再現性を良好に保ちつつ階調補正を行なうことができる画像処理装置および画像処理方法が提供される。 According to the present invention, there is provided an image processing apparatus and an image processing method capable of performing gradation correction while maintaining good color reproducibility without requiring excessive resources.
本発明の実施の形態について図面を参照して詳細に説明する。以下では、本発明の画像処理装置をビデオカメラに適用した場合について説明する。
（第１実施形態）
まず、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態に係るビデオカメラの構成を示すブロック図である。本図に示すように、ビデオカメラ１００は、撮像部１１０と、入力信号処理部１２０と、輝度信号補正部１３０と、輝度信号変化率算出部１４０と、色差信号補正部１５０と、評価部１６０と、バッファメモリ部１７０と、記録・再生部１８０と、表示部１９０とを備えている。
Embodiments of the present invention will be described in detail with reference to the drawings. Below, the case where the image processing apparatus of this invention is applied to a video camera is demonstrated.
(First embodiment)
First, a first embodiment of the present invention will be described. FIG. 1 is a block diagram showing the configuration of the video camera according to the first embodiment of the present invention. As shown in the figure, the video camera 100 includes an imaging unit 110, an input signal processing unit 120, a luminance signal correction unit 130, a luminance signal change rate calculation unit 140, a color difference signal correction unit 150, and an evaluation unit 160. A buffer memory unit 170, a recording / reproducing unit 180, and a display unit 190.
撮像部１１０は、レンズ、絞り等の光学系や、ＣＣＤやＣＭＯＳ等の撮像素子、露出やピントの制御部等を備えており、レンズを通して撮像素子に入力された光情報を所定のタイミングで電気信号として取り出し、入力信号処理部１２０に送る。 The imaging unit 110 includes an optical system such as a lens and a diaphragm, an imaging device such as a CCD and a CMOS, an exposure and focus control unit, and the like, and electrically transmits light information input to the imaging device through the lens at a predetermined timing. This is taken out as a signal and sent to the input signal processing unit 120.
入力信号処理部１２０は、撮像部１１０から送られた電気信号を受信して、所定の信号方式に変換を行なう。具体的には、受信した電気信号に対してＡ／Ｄ変換等を施した後、ＲＧＢ形式の色信号に変換し、さらに、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換を行なう。色差信号Ｃｂ、Ｃｒは、輝度信号Ｙと時間軸多重を行なうことによって帯域を制限するようにしてもよい。本実施形態では、主として輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを用いて画像処理を行なうことにより、画像補正に必要なメモリや演算リソースを節減することができる。 The input signal processing unit 120 receives the electrical signal sent from the imaging unit 110 and converts it into a predetermined signal system. Specifically, after A / D conversion or the like is performed on the received electrical signal, it is converted into an RGB format color signal, and further converted into a luminance signal Y and color difference signals Cb, Cr. The color difference signals Cb and Cr may be band-limited by performing time axis multiplexing with the luminance signal Y. In the present embodiment, by performing image processing mainly using the luminance signal Y and the color difference signals Cb and Cr, memory and calculation resources necessary for image correction can be saved.
輝度信号補正部１３０は、入力信号処理部１２０から輝度信号Ｙを入力し、輝度信号の階調補正処理を行なう。本実施形態では、Ｒｅｔｉｎｅｘ理論に基づいた階調補正処理を行なうものとする。具体的には、原画像の推定照明光成分を算出し、推定照明光成分の階調補正を行なうために非線形補正を行なう。そして、原画像の輝度信号Ｙを階調補正後の推定照明光成分で割ることにより、輝度信号Ｙの階調補正を行なう。 The luminance signal correction unit 130 receives the luminance signal Y from the input signal processing unit 120 and performs gradation correction processing of the luminance signal. In the present embodiment, it is assumed that gradation correction processing based on Retinex theory is performed. Specifically, the estimated illumination light component of the original image is calculated, and nonlinear correction is performed to perform gradation correction of the estimated illumination light component. Then, the tone signal of the luminance signal Y is corrected by dividing the luminance signal Y of the original image by the estimated illumination light component after the tone correction.
これらの処理を行なうために、輝度信号補正部１３０は、推定照明光算出部１３１、非線形補正部１３２、非線形曲線設定部１３３、補正輝度信号算出部１３４を備えている。 In order to perform these processes, the luminance signal correction unit 130 includes an estimated illumination light calculation unit 131, a nonlinear correction unit 132, a nonlinear curve setting unit 133, and a corrected luminance signal calculation unit 134.
推定照明光算出部１３１は、輝度信号Ｙのぼけ画像を算出し、推定照明光成分として出力する。輝度信号Ｙのぼけ画像は、輝度信号Ｙに対してガウスフィルタ等を施すことにより得ることができる。 The estimated illumination light calculation unit 131 calculates a blurred image of the luminance signal Y and outputs it as an estimated illumination light component. A blurred image of the luminance signal Y can be obtained by applying a Gaussian filter or the like to the luminance signal Y.
非線形補正部１３２は、推定照明光成分に対して、非線形曲線設定部１３３が設定する非線形曲線を用いた補正を施すことにより、階調特性を変化させる非線形補正を行なう。非線形曲線は、入力信号（補正前推定照明光）と出力信号（補正後推定照明光）の特性を示した曲線である。ただし、パラメータ、関数、その他の手法を用いて推定照明光成分の非線形補正を行なうようにしてもよい。 The non-linear correction unit 132 performs non-linear correction that changes the gradation characteristics by performing correction using the non-linear curve set by the non-linear curve setting unit 133 on the estimated illumination light component. The non-linear curve is a curve indicating the characteristics of the input signal (pre-correction estimated illumination light) and the output signal (post-correction estimated illumination light). However, non-linear correction of the estimated illumination light component may be performed using parameters, functions, and other methods.
非線形曲線設定部１３３は、原画像の平均輝度値、輝度ヒストグラム等に対応した非線形曲線を仮設定し、さらに、評価部１６０による先行する画像の補正結果等に対する評価に基づいて、仮設定された非線形曲線を修正して、非線形補正に用いる非線形曲線を設定する。仮設定された非線形曲線の修正は、主として、先行する画像で過補正が多く生じた場合に、それを抑制する目的で行なう。 The non-linear curve setting unit 133 temporarily sets a non-linear curve corresponding to the average luminance value, luminance histogram, and the like of the original image, and is further temporarily set based on the evaluation of the correction result of the preceding image by the evaluation unit 160 The nonlinear curve is corrected to set a nonlinear curve used for nonlinear correction. The temporarily set nonlinear curve is corrected mainly for the purpose of suppressing the excessive correction when a large amount of overcorrection occurs in the preceding image.
補正輝度信号算出部１３４は、入力信号処理部１２０から入力した輝度信号Ｙを、階調補正後の推定照明光成分で割ることにより、補正後の輝度信号Ｙ'を算出する。算出された補正後輝度信号Ｙ'は、バッファメモリ部１７０に格納されるとともに、輝度信号変化率算出部１４０に出力される。 The corrected luminance signal calculation unit 134 calculates the corrected luminance signal Y ′ by dividing the luminance signal Y input from the input signal processing unit 120 by the estimated illumination light component after gradation correction. The calculated corrected luminance signal Y ′ is stored in the buffer memory unit 170 and is output to the luminance signal change rate calculating unit 140.
また、補正輝度信号算出部１３４は、輝度信号Ｙを補正後の推定照明光成分で割った値が、所定の基準値を超えた画素、すなわち、補正によって元の輝度値が大きく変化した画素に関する情報を輝度過補正情報として評価部１６０に出力する。輝度過補正情報は、評価部１６０によって評価され、後続画像における非線形曲線の修正に用いられる。 Further, the corrected luminance signal calculation unit 134 relates to a pixel in which the value obtained by dividing the luminance signal Y by the corrected estimated illumination light component exceeds a predetermined reference value, that is, a pixel whose original luminance value has greatly changed by correction. The information is output to the evaluation unit 160 as over-luminance correction information. The luminance overcorrection information is evaluated by the evaluation unit 160 and used for correcting the non-linear curve in the subsequent image.
輝度信号変化率算出部１４０は、入力信号処理部１２０から入力した輝度信号Ｙと、輝度信号補正部１３０によって階調補正された輝度信号Ｙ'とから輝度信号の変化率を算出する。 The luminance signal change rate calculation unit 140 calculates the change rate of the luminance signal from the luminance signal Y input from the input signal processing unit 120 and the luminance signal Y ′ subjected to gradation correction by the luminance signal correction unit 130.
色差信号補正部１５０は、入力信号処理部１２０から色差信号Ｃｂ、Ｃｒを入力し、輝度信号の階調補正に伴って色再現性が悪化しないように色差信号の補正処理を行なう。具体的には、原画像の色差信号Ｃｂ、Ｃｒに対して、輝度変化率に基づく値を掛け合わせて補正後の色差信号Ｃｂ'、Ｃｒ'とする。 The color difference signal correction unit 150 receives the color difference signals Cb and Cr from the input signal processing unit 120 and performs color difference signal correction processing so that the color reproducibility does not deteriorate with the gradation correction of the luminance signal. Specifically, the color difference signals Cb ′ and Cr ′ after correction are obtained by multiplying the color difference signals Cb and Cr of the original image by values based on the luminance change rate.
例えば、明るい領域の階調を保持したまま暗い部分を明るめにする補正を行なっている場合は、明るい領域、すなわち、輝度値が所定の基準値より高い画素については、輝度変化率が小さくなるように補正が行なわれているため、求められた輝度変化率をそのまま原画像の色差信号に掛け合わせる。 For example, when correction is performed to brighten a dark part while maintaining the gradation of a bright area, the luminance change rate is reduced for a bright area, that is, a pixel whose luminance value is higher than a predetermined reference value. Therefore, the obtained luminance change rate is directly multiplied by the color difference signal of the original image.
一方、暗い領域、すなわち、輝度値が所定の基準値以下の画素については、先行画面の画素が色再現範囲内であれば、輝度変化率をそのまま色差に掛け合わせ、先行画面の画素が色再現範囲外であれば、過補正を抑制するために輝度変化率を小さく修正して原画像の色差信号に掛け合わせる。 On the other hand, for pixels in dark areas, that is, pixels whose luminance value is less than or equal to the predetermined reference value, if the pixels on the preceding screen are within the color reproduction range, the luminance change rate is multiplied by the color difference as it is, and the pixels on the preceding screen perform color reproduction. If it is out of range, the luminance change rate is corrected to be small and multiplied by the color difference signal of the original image in order to suppress overcorrection.
これらの処理を行なうために、色差信号補正部１５０は、補正色差信号算出部１５１、輝度変化率修正部１５２を備えている。 In order to perform these processes, the color difference signal correction unit 150 includes a correction color difference signal calculation unit 151 and a luminance change rate correction unit 152.
色差信号補正部１５０は、色差信号Ｃｂ、Ｃｒに対して、輝度変化率に基づく値を掛け合わせて補正後色差信号Ｃｂ'、Ｃｒ'を算出する。算出された補正後色差信号Ｃｂ'、Ｃｒ'は、バッファメモリ部１７０に格納される。 The color difference signal correction unit 150 calculates the corrected color difference signals Cb ′ and Cr ′ by multiplying the color difference signals Cb and Cr by a value based on the luminance change rate. The calculated color difference signals Cb ′ and Cr ′ after correction are stored in the buffer memory unit 170.
また、色差信号補正部１５０は、補正後色差信号Ｃｂ'、Ｃｒ'が色再現範囲外となった画素に関する情報を色差過補正情報として評価部１６０に出力する。色差過補正情報は、評価部１６０によって評価され、後続画像における色差信号の補正の際の輝度変化率の修正に用いられる。さらに、後続画像における推定照明光成分の補正の際の非線形曲線の修正に用いるようにしてもよい。 In addition, the color difference signal correction unit 150 outputs information regarding pixels whose corrected color difference signals Cb ′ and Cr ′ are out of the color reproduction range to the evaluation unit 160 as color difference overcorrection information. The color difference overcorrection information is evaluated by the evaluation unit 160 and used for correcting the luminance change rate when correcting the color difference signal in the subsequent image. Further, it may be used for correcting a non-linear curve when correcting the estimated illumination light component in the subsequent image.
輝度変化率修正部１５２は、評価部１６０の評価に基づき、必要に応じて、色差信号補正部１５０が補正に用いる輝度変化率の修正を行なう。輝度変化率の修正は、先行する画像に対する色差補正において過補正が発生して色再現範囲となった場合に、色差補正を抑制して色再現性を保持するために行なう。 Based on the evaluation by the evaluation unit 160, the luminance change rate correction unit 152 corrects the luminance change rate used by the color difference signal correction unit 150 for correction as necessary. The luminance change rate is corrected in order to suppress color difference correction and maintain color reproducibility when overcorrection occurs in the color difference correction for the preceding image and the color reproduction range is reached.
例えば、明るい領域の階調を保持したまま暗い部分を明るめにする補正を行なっている場合は、輝度値が所定の基準値より高い画素については、輝度変化率を修正しない。 For example, when correction is performed to brighten dark parts while maintaining the gradation of bright areas, the luminance change rate is not corrected for pixels whose luminance value is higher than a predetermined reference value.
一方、輝度値が所定の基準値以下の画素については、先行画面の画素が色再現範囲内であれば、輝度変化率を修正せず、先行画面の画素が色再現範囲外であれば、輝度変化率を小さく修正する。輝度変化率を小さく修正する方法は、例えば、所定の値でクリップしたり、１未満の係数を乗じる等とすることができる。 On the other hand, for pixels whose luminance value is less than or equal to the predetermined reference value, if the pixel on the preceding screen is within the color reproduction range, the luminance change rate is not corrected, and if the pixel on the preceding screen is outside the color reproduction range, the luminance is Correct the rate of change to be small. As a method of correcting the luminance change rate to be small, for example, clipping with a predetermined value or multiplication by a coefficient less than 1 can be performed.
評価部１６０は、先行する画像に対する補正結果等を評価して、後続の画像に対する補正内容を制御する。具体的には、先行する画像に対して行なった輝度信号補正の結果、過補正となった画素の数に応じて輝度信号補正部１３０の補正内容を制御する。また、先行する画像に対して行なった色差信号補正の結果、過補正となった画素に対して色差信号補正部１５０の補正内容を制御する。このため、評価部１６０は、評価に用いるデータを格納する評価用データ格納部１６１を備えている。 The evaluation unit 160 evaluates the correction result for the preceding image and controls the correction content for the subsequent image. Specifically, the correction content of the luminance signal correction unit 130 is controlled in accordance with the number of pixels that are overcorrected as a result of the luminance signal correction performed on the preceding image. Further, the correction content of the color difference signal correction unit 150 is controlled for pixels that have been overcorrected as a result of the color difference signal correction performed on the preceding image. Therefore, the evaluation unit 160 includes an evaluation data storage unit 161 that stores data used for evaluation.
バッファメモリ部１７０は、階調補正された輝度信号Ｙ'および、補正後の色差信号Ｃｂ'、Ｃｒ'を一時的に保持しておくメモリである。 The buffer memory unit 170 is a memory that temporarily holds the luminance signal Y ′ after gradation correction and the color difference signals Cb ′ and Cr ′ after correction.
記録・再生部１８０は、バッファメモリ部１７０に保持された補正後輝度信号Ｙ'、補正後色差信号Ｃｂ'、Ｃｒ'を映像として表示部１９０に表示したり、補正後輝度信号Ｙ'、補正後色差信号Ｃｂ'、Ｃｒ'からＪＰＥＧ方式等にしたがって符号化データを生成してメディアに記録したり、メディアに記録されている符号化データを読み出して伸張処理を施して、映像として表示部１９０に表示する等の処理を行なう。 The recording / reproducing unit 180 displays the corrected luminance signal Y ′ and the corrected color difference signals Cb ′ and Cr ′ held in the buffer memory unit 170 as images on the display unit 190, or the corrected luminance signal Y ′ and the corrected luminance signal Y ′. The encoded data is generated from the post-color difference signals Cb ′ and Cr ′ according to the JPEG method and recorded on the medium, or the encoded data recorded on the medium is read and decompressed to display the image 190 as a video. The display process is performed.
また、ＮＴＳＣ信号方式等に変換して外部に出力したり、表示部１９０への映像表示の際に、制御情報などをキャラクタデータとして表示したり、スーパーインポーズ処理等を行なうこともできる。 Further, it can be converted into the NTSC signal system or the like and output to the outside, or control information or the like can be displayed as character data at the time of video display on the display unit 190, or a superimpose process or the like can be performed.
表示部１９０は、ＬＣＤパネルなどの表示デバイスで構成することができる。 The display unit 190 can be configured by a display device such as an LCD panel.
なお、輝度信号補正部１３０、輝度信号変化率算出部１４０、色差信号補正部１５０、評価部１６０は、画像処理装置として機能し、１または複数の演算処理装置、メモリその他のハードウェアを用いて構成することができる。 Note that the luminance signal correction unit 130, the luminance signal change rate calculation unit 140, the color difference signal correction unit 150, and the evaluation unit 160 function as an image processing device, and use one or a plurality of arithmetic processing devices, a memory, and other hardware. Can be configured.
次に、本実施形態の第１実施形態におけるビデオカメラ１００の画像処理動作について図２のフローチャートを参照して説明する。ここでは、明るい領域の階調を保持したまま暗い部分を明るめにする補正を行なう画像処理を例に説明するため、撮像部１１０では、高輝度部分が大幅に飽和しない程度に露出を低めに撮影を行なうようにする。 Next, the image processing operation of the video camera 100 in the first embodiment of the present embodiment will be described with reference to the flowchart of FIG. Here, in order to explain an example of image processing in which a dark portion is brightened while maintaining the gradation of a bright region, the imaging unit 110 takes a picture with a low exposure so that the high luminance portion is not significantly saturated. To do.
入力信号処理部１２０は、撮像部１１０から画像信号を入力すると（Ｓ１０１）、ＲＧＢ形式の色信号に変換し、さらに、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換を行なう（Ｓ１０２）。変換された輝度信号Ｙは輝度信号補正部１３０、輝度信号変化率算出部１４０に出力され、色差信号Ｃｂ、Ｃｒは、色差信号補正部１５０に出力される。また、ＲＧＢ形式の色信号と輝度信号Ｙは、評価部１６０に出力される。 When the image signal is input from the imaging unit 110 (S101), the input signal processing unit 120 converts the signal into an RGB format color signal, and further converts it into a luminance signal Y and color difference signals Cb and Cr (S102). The converted luminance signal Y is output to the luminance signal correction unit 130 and the luminance signal change rate calculation unit 140, and the color difference signals Cb and Cr are output to the color difference signal correction unit 150. Further, the RGB color signal and the luminance signal Y are output to the evaluation unit 160.
次に、輝度信号補正部１３０の推定照明光算出部１３１が、輝度信号Ｙのぼけ画像を算出し、推定照明光成分を得る（Ｓ１０３）。また、得られた推定照明光成分についてのヒストグラムを算出し、評価部１６０に出力する。 Next, the estimated illumination light calculation unit 131 of the luminance signal correction unit 130 calculates a blurred image of the luminance signal Y to obtain an estimated illumination light component (S103). In addition, a histogram for the estimated illumination light component obtained is calculated and output to the evaluation unit 160.
そして、非線形補正部１３２が、得られた推定照明光成分に対して、非線形曲線設定部１３３が設定する非線形曲線を用いた補正を施すことにより、階調特性を変化させる非線形補正を行なう（Ｓ１０４）。 Then, the non-linear correction unit 132 performs non-linear correction for changing the gradation characteristic by performing correction using the non-linear curve set by the non-linear curve setting unit 133 on the obtained estimated illumination light component (S104). ).
ここで、推定照明光成分に対する非線形補正（Ｓ１０４）の詳細な手順について図３のフローチャートを参照して説明する。 Here, a detailed procedure of nonlinear correction (S104) for the estimated illumination light component will be described with reference to the flowchart of FIG.
まず、平均輝度値、輝度信号のヒストグラムを評価して、大まかな非線形曲線を仮設定する（Ｓ１０４１）。この処理は、従来のＲｅｔｉｎｅｘ理論における推定照明光成分に対する階調補正と同様に行なうことができる。 First, the average luminance value and the histogram of the luminance signal are evaluated, and a rough nonlinear curve is temporarily set (S1041). This process can be performed in the same manner as the gradation correction for the estimated illumination light component in the conventional Retinex theory.
例えば、暗い領域が暗くなりすぎて階調表現が十分でない画像であれば暗部を明るくするための非線形曲線を仮設定し、明るい領域が明るくなりすぎて階調表現が十分でない画像であれば暗部を暗くするための非線形曲線を仮設定する。なお、仮設定のための画像評価に用いる平均輝度値、輝度信号ヒストグラムは、入力される輝度信号Ｙから内部生成してもよいし、撮像の際に露出やレンズ制御を行なうために生成したデータを用いてもよい。 For example, if a dark area is too dark and the gradation expression is not sufficient, a non-linear curve is temporarily set to brighten the dark area. If the bright area is too bright and the gradation expression is insufficient, the dark area is temporarily set. A non-linear curve for darkening is temporarily set. Note that the average luminance value and luminance signal histogram used for image evaluation for temporary setting may be internally generated from the input luminance signal Y, or data generated for performing exposure and lens control during imaging. May be used.
本例では、暗い領域が暗くなりすぎて階調表現が十分でない画像について、明るい部分の階調を維持しながら、過補正なく暗い部分の階調を拡大する補正を想定しているため、図４（ａ）に示すような、暗部を持ち上げるような非線形曲線を仮設定するものとする。 In this example, for an image in which the dark area is too dark and the gradation expression is not sufficient, it is assumed that the gradation of the dark part is enlarged without overcorrection while maintaining the gradation of the bright part. It is assumed that a non-linear curve that lifts the dark part as shown in 4 (a) is temporarily set.
次に、評価部１６０が、評価用データ格納部１６１に格納されている先行画像の過補正情報にしたがって、仮設定された非線形曲線に対して修正が必要かどうかを判定する（Ｓ１０４３）。 Next, the evaluation unit 160 determines whether or not the temporarily set nonlinear curve needs to be corrected according to the overcorrection information of the preceding image stored in the evaluation data storage unit 161 (S1043).
ここで、過補正情報は、先行する画像の輝度信号補正において、輝度信号Ｙを補正後の推定照明光成分で割った値が、所定の基準値を超えた画素、すなわち、補正によって元の輝度値が大きく変化した画素の数とすることができ、この数が、所定の基準値よりも多い場合に、仮設定された非線形曲線に対して修正が必要であると判定するものとする。 Here, the overcorrection information is a pixel in which the value obtained by dividing the luminance signal Y by the corrected estimated illumination light component in the preceding image luminance signal correction exceeds a predetermined reference value, that is, the original luminance by the correction. It can be the number of pixels whose value has changed greatly, and when this number is larger than a predetermined reference value, it is determined that correction is necessary for the temporarily set nonlinear curve.
あるいは、先行する画像の輝度信号補正において、輝度信号変化率が所定の基準値を超えた画素の数を過補正情報としてもよい。さらに、先行する画像の色差過補正情報を考慮して、色差信号補正の結果、色再現範囲外となった画素の数を用いて修正の有無の判定を行なったり、推定照明光成分のヒストグラム、色差信号の最大値等を用いて修正の有無の判定を行なうようにしてもよい。 Alternatively, in the correction of the luminance signal of the preceding image, the number of pixels whose luminance signal change rate exceeds a predetermined reference value may be used as overcorrection information. Further, in consideration of the color difference overcorrection information of the preceding image, as a result of the color difference signal correction, the number of pixels that are out of the color reproduction range is used to determine whether there is correction, or the histogram of the estimated illumination light component, It may be determined whether or not correction is performed using the maximum value of the color difference signal.
なお、先行する画像は、処理対象画像の直前あるいは数フレーム前の１画像とすることができる。あるいは、先行する複数フレームを平均化して先行画像として扱うようにしてもよい。 The preceding image can be one image immediately before the processing target image or several frames before. Alternatively, a plurality of preceding frames may be averaged and handled as a preceding image.
判定の結果、仮設定された非線形曲線に対して修正が必要と判定された場合には（Ｓ１０４３：Ｙｅｓ）、仮設定された非線形曲線に対して修正を行なう（Ｓ１０４４）。ここでは、暗い領域に対して階調補正の効果を抑え、過補正画素を減らすため、図５（ａ）に示すように、仮設定された非線形曲線の輝度の低い側において、出力値を明るい値でクリップする修正を行なうものとする。 As a result of the determination, if it is determined that correction is necessary for the temporarily set nonlinear curve (S1043: Yes), the temporarily set nonlinear curve is corrected (S1044). Here, in order to suppress the effect of gradation correction in a dark region and reduce overcorrection pixels, as shown in FIG. 5A, the output value is bright on the low-luminance side of the temporarily set nonlinear curve. Suppose you make a modification to clip by value.
このとき、過補正画素が多いほど、より明るい値でクリップを行なって階調補正が抑制されるようにし、過補正画素が少ないほど、より暗い値でクリップを行なうようにする。これにより、連続する画像において、非線形曲線に対する修正が最適化されていくため、映像が良好な画像に収束していくことになる。 At this time, as the number of overcorrection pixels increases, clipping is performed with a brighter value to suppress gradation correction, and as the number of overcorrection pixels decreases, clipping is performed with a darker value. As a result, the correction to the non-linear curve is optimized in successive images, and the video converges to a good image.
ただし、修正の方法は、クリップに限られず、例えば、仮設定された非線形曲線に対して、所定の輝度値以下について、ある係数を乗じることで、暗い領域に対して階調補正の効果を抑えるようにしてもよい。また、輝度信号変化率や推定照明光成分のヒストグラム等の修正の有無の判定に用いた情報を用いて非線形曲線に対する修正を行なうようにしてもよい。 However, the correction method is not limited to clipping, and for example, by multiplying a temporarily set nonlinear curve by a certain coefficient for a predetermined luminance value or less, the effect of gradation correction is suppressed for dark areas. You may do it. In addition, the nonlinear curve may be corrected using information used for determining whether or not the luminance signal change rate and the histogram of the estimated illumination light component are corrected.
一方、仮設定された非線形曲線に対して修正が不要と判定された場合には（Ｓ１０４３：Ｎｏ）、仮設定の非線形曲線をそのまま補正に用いる非線形曲線として設定する。 On the other hand, when it is determined that correction is not necessary for the temporarily set nonlinear curve (S1043: No), the temporarily set nonlinear curve is set as a nonlinear curve used for correction as it is.
そして、非線形補正部１３２が、推定照明光成分に対して、非線形曲線設定部１３３が設定した非線形曲線を施すことにより、非線形補正を行ない、階調特性を変化させる（Ｓ１０４５）。 Then, the non-linear correction unit 132 performs non-linear correction by applying the non-linear curve set by the non-linear curve setting unit 133 to the estimated illumination light component, and changes the gradation characteristics (S1045).
図２のフローチャートの説明に戻って、補正輝度信号算出部１３４は、入力信号処理部１２０から入力した輝度信号Ｙを、上記の手順で得られた階調補正後の推定照明光成分で割ることにより、補正後の輝度信号Ｙ'を算出する（Ｓ１０５）。算出された補正後輝度信号Ｙ'は、バッファメモリ部１７０に格納するとともに、輝度信号変化率算出部１４０に出力し、さらに、輝度信号Ｙを補正後の推定照明光成分で割った値が、所定の基準値を超えた画素に関する情報を輝度過補正情報として評価部１６０に出力する。 Returning to the description of the flowchart of FIG. 2, the corrected luminance signal calculation unit 134 divides the luminance signal Y input from the input signal processing unit 120 by the estimated illumination light component after gradation correction obtained by the above procedure. Thus, the corrected luminance signal Y ′ is calculated (S105). The calculated corrected luminance signal Y ′ is stored in the buffer memory unit 170 and output to the luminance signal change rate calculating unit 140. Further, the value obtained by dividing the luminance signal Y by the corrected estimated illumination light component is Information relating to pixels exceeding a predetermined reference value is output to the evaluation unit 160 as luminance overcorrection information.
図４（ｂ）は、仮設定のままの非線形曲線で補正された照明光成分を用いて算出された補正後輝度信号Ｙ'の一例を示し、図５（ｂ）は、修正された非線形曲線で補正された照明光成分を用いて算出された補正後輝度信号Ｙ'の一例を示している。これらの図に示されるように、仮設定された非線形曲線に対して修正を行なうことによって、暗い領域に対する階調補正の効果が抑えられている。したがって、輝度信号の変化率が抑圧されることで色差信号に対する過補正が抑制されて、色相の変化が抑制されるとともに、輝度信号に対する色差信号のバランスが保たれて、彩度の変化が抑制される。 FIG. 4B shows an example of the corrected luminance signal Y ′ calculated using the illumination light component corrected with the non-linear curve as it is temporarily set, and FIG. 5B shows the corrected non-linear curve. 3 shows an example of a corrected luminance signal Y ′ calculated using the illumination light component corrected in (1). As shown in these figures, the effect of gradation correction on dark areas is suppressed by correcting the temporarily set nonlinear curve. Therefore, by suppressing the rate of change of the luminance signal, overcorrection on the color difference signal is suppressed, the change in hue is suppressed, the balance of the color difference signal with respect to the luminance signal is maintained, and the change in saturation is suppressed. Is done.
次に、輝度信号変化率算出部１４０が、入力信号処理部１２０から入力した輝度信号Ｙと、輝度信号補正部１３０によって階調補正された輝度信号Ｙ'とから輝度信号の変化率を算出する（Ｓ１０６）。なお、帯域を制限するために時間軸多重された色差信号に対して補正を行なう場合には、２画素分を平均した値を輝度信号変化率とする。 Next, the luminance signal change rate calculation unit 140 calculates the change rate of the luminance signal from the luminance signal Y input from the input signal processing unit 120 and the luminance signal Y ′ subjected to gradation correction by the luminance signal correction unit 130. (S106). When correction is performed on the color difference signals multiplexed on the time axis in order to limit the band, a value obtained by averaging two pixels is used as the luminance signal change rate.
図４（ｃ）は、仮設定のままの非線形曲線で補正された照明光成分を用いて算出された補正後輝度信号Ｙ'から得られる輝度信号の変化率の一例を示し、図５（ｃ）は、修正された非線形曲線で補正された照明光成分を用いて算出された補正後輝度信号Ｙ'から得られる輝度信号の変化率の一例を示している。これらの図に示されるように、仮設定された非線形曲線に対して修正を行なうことによって、暗い領域における輝度変化率が抑えられている。 FIG. 4C shows an example of the change rate of the luminance signal obtained from the corrected luminance signal Y ′ calculated using the illumination light component corrected with the non-linear curve as it is temporarily set. ) Shows an example of the change rate of the luminance signal obtained from the corrected luminance signal Y ′ calculated using the illumination light component corrected with the corrected nonlinear curve. As shown in these drawings, the luminance change rate in the dark region is suppressed by correcting the temporarily set nonlinear curve.
そして、色差信号補正部１５０が、原画像の色差信号Ｃｂ、Ｃｒに対して、算出された輝度変化率に基づく値を掛け合わせて色差信号の補正を行なう（Ｓ１０７）。 Then, the color difference signal correction unit 150 corrects the color difference signal by multiplying the color difference signals Cb and Cr of the original image by a value based on the calculated luminance change rate (S107).
ここで、色差信号の補正（Ｓ１０７）の詳細な手順について図６のフローチャートを参照して説明する。 Here, the detailed procedure of the color difference signal correction (S107) will be described with reference to the flowchart of FIG.
色差信号の補正は、画素毎に行なうため、まず、対象画素を特定する（Ｓ１０７１）。そして、対象画素の輝度値が、所定の基準値より大きいかどうかを判定する（Ｓ１０７２）。本例では、明るい部分の階調を維持したまま、暗い部分を明るくする画像補正を行なっているため、対象画素の明るさに応じて場合分けを行なっている。基準値を３つ以上設けて、さらに処理を細分化するようにしてもよい。なお、本判定は、評価部１６０が行なってもよいし、色差信号補正部１５０が行なってもよい。 Since the color difference signal is corrected for each pixel, the target pixel is first identified (S1071). Then, it is determined whether the luminance value of the target pixel is larger than a predetermined reference value (S1072). In this example, image correction is performed to brighten the dark part while maintaining the gradation of the bright part, so that the case is classified according to the brightness of the target pixel. Three or more reference values may be provided to further subdivide the processing. This determination may be performed by the evaluation unit 160 or the color difference signal correction unit 150.
その結果、対象画素の輝度値が、所定の基準値より大きい場合（Ｓ１０７２：Ｙｅｓ）は、輝度変化率をそのまま原画像の色差信号に掛け合わせることで、色差信号の補正を行なう（Ｓ１０７３）。これにより、色相、彩度を保持することができる。 As a result, when the luminance value of the target pixel is larger than the predetermined reference value (S1072: Yes), the color difference signal is corrected by multiplying the luminance change rate with the color difference signal of the original image as it is (S1073). Thereby, hue and saturation can be maintained.
一方、対象画素の輝度値が、所定の基準値以下の場合（Ｓ１０７２：Ｎｏ）は、さらに、評価部１６０が、先行画像の対応画素が色再現範囲内であったかどうかを判定する（Ｓ１０７４）。その結果、先行画像の画素が色再現範囲内であった場合（Ｓ１０７４：Ｙｅｓ）は、輝度変化率をそのまま原画像の色差信号に掛け合わせることで、色差信号の補正を行なう（Ｓ１０７３）。これにより、色相、彩度を保持することができる。 On the other hand, when the luminance value of the target pixel is equal to or smaller than the predetermined reference value (S1072: No), the evaluation unit 160 further determines whether or not the corresponding pixel of the preceding image is within the color reproduction range (S1074). As a result, when the pixel of the preceding image is within the color reproduction range (S1074: Yes), the color difference signal is corrected by multiplying the luminance change rate with the color difference signal of the original image as it is (S1073). Thereby, hue and saturation can be maintained.
先行画像の画素が色再現範囲内でなかった場合（Ｓ１０７４：Ｎｏ）は、所定の値でクリップしたり、１未満の係数を乗じる等により、輝度変化率を小さく修正する（Ｓ１０７５）。そして、修正後の輝度変化率を原画像の色差信号Ｃｂ、Ｃｒに掛け合わせることで、色差信号の補正を行なう（Ｓ１０７６）。これにより、色差信号の過補正を抑えることで色相、彩度を保持するようにする。 If the pixel of the preceding image is not within the color reproduction range (S1074: No), the luminance change rate is corrected to be small by clipping with a predetermined value or multiplying by a coefficient less than 1 (S1075). Then, the correction of the color difference signal is performed by multiplying the corrected luminance change rate by the color difference signals Cb and Cr of the original image (S1076). Thereby, the hue and saturation are held by suppressing overcorrection of the color difference signal.
以上の処理を全画素に対して施すことで、色差信号の補正が行なわれる（Ｓ１０７７）。これらの処理の結果得られた補正後色差信号Ｃｂ'、Ｃｒ'は、バッファメモリ部１７０に格納される。また、補正後色差信号Ｃｂ'、Ｃｒ'が色再現範囲を超えた画素に関する情報は、色差過補正情報として評価部１６０に出力される。 By performing the above processing on all the pixels, the color difference signal is corrected (S1077). The corrected color difference signals Cb ′ and Cr ′ obtained as a result of these processes are stored in the buffer memory unit 170. In addition, information regarding pixels for which corrected color difference signals Cb ′ and Cr ′ exceed the color reproduction range is output to the evaluation unit 160 as color difference overcorrection information.
以上の画像処理を、入力される画像データに対して繰り返し行なうことで、補正後の輝度信号Ｙ'、補正後の色差信号Ｃｂ'、Ｃｒ'が好ましい状態に収束していき、色再現性が良好に保たれ、階調が補正された良好な映像を得ることができる。また、補正は輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに対して、照明光の非線形補正の修正と、輝度変化率の補正とによって行なうため、過剰なリソースは必要としない。このため、装置が大型化したり、大容量のメモリや高速の演算素子を多数用いることによるコストアップを防ぐことができる。 By repeating the above image processing on the input image data, the corrected luminance signal Y ′ and corrected color difference signals Cb ′ and Cr ′ converge to a preferable state, and color reproducibility is improved. It is possible to obtain a good image which is kept good and whose gradation is corrected. Further, since the correction is performed on the luminance signal Y and the color difference signals Cb and Cr by correcting the nonlinear correction of the illumination light and correcting the luminance change rate, excessive resources are not required. For this reason, it is possible to prevent an increase in cost due to an increase in the size of the apparatus or a large number of large-capacity memories and high-speed arithmetic elements.
以上説明したように、本実施形態における輝度階調の改善は、Ｒｅｔｉｎｅｘ理論における推定照明光成分を非線形に補正を行なうことで、低輝度領域の階調改善を主に行ない、高輝度領域では階調を維持するよう補正を行なっている。このため、輝度信号の変化率を基本とする色差信号の補正量は、低輝度領域ほど大きくなる傾向となる。 As described above, the improvement of the luminance gradation in the present embodiment is performed mainly by improving the gradation in the low luminance region by correcting the estimated illumination light component in the Retinex theory in a non-linear manner, and in the high luminance region. Corrections are made to maintain the tone. For this reason, the correction amount of the color difference signal based on the change rate of the luminance signal tends to increase as the low luminance region.
したがって、高輝度領域については輝度信号の変化率そのものを使用して色差信号を補正しても、色相と彩度の変化を抑えた補正を行なえ、低輝度領域については、色再現範囲内に収まるように必要に応じて輝度信号の変化率を減少させて色差信号を補正することで、色相の変化を抑えるような補正を行なっている。 Therefore, even if the color difference signal is corrected using the rate of change of the luminance signal itself for the high luminance region, correction can be performed while suppressing changes in hue and saturation, and the low luminance region is within the color reproduction range. In this way, correction is performed so as to suppress the change in hue by correcting the color difference signal by reducing the change rate of the luminance signal as necessary.
なお、第１実施形態においては、画像処理装置をビデオカメラ１００に適用した場合について説明したが、本発明は、輝度信号と色差信号からなるディジタル画像データを入出力することが可能である任意の装置、あるいはＲＧＢの原色色信号から輝度信号Ｙと色差信号Ｃｂ、Ｃｒを分離して処理を行なう任意の装置、例えば、ディスプレイ等の表示装置やコンピュータ等の情報処理装置に適用することができる。 In the first embodiment, the case where the image processing apparatus is applied to the video camera 100 has been described. However, the present invention can arbitrarily input / output digital image data including a luminance signal and a color difference signal. The present invention can be applied to a device or any device that performs processing by separating the luminance signal Y and the color difference signals Cb and Cr from RGB primary color signals, for example, a display device such as a display or an information processing device such as a computer.
また、第１実施形態においては、ビデオカメラ１００による処理を例に説明を行なったため、連続した画像データについて先行する画像に対する補正評価を利用して後続する画像の階調補正を行なう場合について説明してきたが、本発明は静止画に対しても適用することができる。この場合は、対象画像に対する補正結果の評価を反映してさらに対象画像を補正することで、補正の最適化を図ることができる。 Further, in the first embodiment, the processing by the video camera 100 has been described as an example, so that the case where tone correction of the subsequent image is performed using the correction evaluation on the preceding image with respect to continuous image data has been described. However, the present invention can also be applied to still images. In this case, the correction can be optimized by further correcting the target image reflecting the evaluation of the correction result for the target image.
また、第１実施形態においては、明るい領域の階調を保ったまま、暗い領域を明るめに補正する場合を例にしたが、本発明は、暗い領域の階調を保ったまま、明るい領域を暗めに補正する場合や、暗い領域をより暗く、あるいは、明るい領域をより明るく補正する場合にも適用することができる。この場合、非線形曲線に対する修正内容や、輝度変化率に対する修正内容は、それぞれの状況に対応させるものとする。
（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態では、先行する画像の補正結果を評価して、処理対象の画像の補正内容を制御していた。このため、連続する画像において、シーンが切り替わった場合には、画像の内容が変化するため、先行画像の補正結果を考慮することは好ましくない。そこで、第２実施形態では、連続する画像においてシーンの切り替わりを検出して、シーンが切り替わった直後においては、先行画像の補正結果の評価を利用した補正を行なわないようにする。このため、連続する画像の相関の度合いが所定値よりも高い場合に、対象入力画像についての輝度信号の階調補正および色差信号の補正を行なうように制御する。
In the first embodiment, the dark area is corrected to be brighter while maintaining the gradation of the bright area. However, in the first embodiment, the bright area is corrected while maintaining the gradation of the dark area. The present invention can also be applied to a case where correction is made darker, a dark region is made darker, or a bright region is made brighter. In this case, the correction contents for the non-linear curve and the correction contents for the luminance change rate are made to correspond to the respective situations.
(Second Embodiment)
Next, a second embodiment of the present invention will be described. In the first embodiment, the correction result of the image to be processed is controlled by evaluating the correction result of the preceding image. For this reason, it is not preferable to consider the correction result of the preceding image because the contents of the image change when the scene is switched in successive images. Therefore, in the second embodiment, scene switching is detected in successive images, and correction using evaluation of the correction result of the preceding image is not performed immediately after the scene switching. Therefore, when the degree of correlation between successive images is higher than a predetermined value, control is performed so as to perform gradation correction of the luminance signal and correction of the color difference signal for the target input image.
第２実施形態においても、画像処理装置をビデオカメラに適用した場合を例に説明する。第２実施形態におけるビデオカメラの構成は、図１に示した第１実施形態と同様である。ただし、評価部１６０は、先行する複数の画像、例えば、前々画像と前画像との内容を評価して、両者に相関があるか否か、すなわち、連続するシーンであるか否かの判定を行なう機能をさらに備えている。また、評価用データ格納部１６１は、少なくとも２画面分の評価結果を格納できるようになっている。 Also in the second embodiment, a case where the image processing apparatus is applied to a video camera will be described as an example. The configuration of the video camera in the second embodiment is the same as that of the first embodiment shown in FIG. However, the evaluation unit 160 evaluates the contents of a plurality of preceding images, for example, the previous image and the previous image, and determines whether or not there is a correlation between them, that is, whether or not they are continuous scenes. The function to perform is further provided. The evaluation data storage unit 161 can store evaluation results for at least two screens.
第２実施形態におけるビデオカメラ１００の画像処理動作について図７のフローチャートを参照して説明する。図２に示したフローチャートと同じ処理については同じ符号を付して、説明を簡略化する。 The image processing operation of the video camera 100 in the second embodiment will be described with reference to the flowchart of FIG. The same processes as those in the flowchart shown in FIG. 2 are denoted by the same reference numerals, and the description is simplified.
入力信号処理部１２０は、撮像部１１０から画像信号を入力すると（Ｓ１０１）、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換を行なう（Ｓ１０２）。これらのデータは、評価部１６０の評価用データ格納部１６１に格納される。 When the input signal processing unit 120 receives an image signal from the imaging unit 110 (S101), the input signal processing unit 120 performs conversion into a luminance signal Y and color difference signals Cb and Cr (S102). These data are stored in the evaluation data storage unit 161 of the evaluation unit 160.
次に、評価部１６０が、評価用データ格納部１６１に格納されている評価用データを用いて前々画像と、前画像との相関の有無を評価する（Ｓ２０１）。 Next, the evaluation unit 160 uses the evaluation data stored in the evaluation data storage unit 161 to evaluate the presence / absence of a correlation between the previous image and the previous image (S201).
相関の評価は、例えば、両画像の平均輝度値の差と輝度信号のヒストグラム分布と推定照明光のヒストグラムを用いて行なうことができ、平均輝度値の差分値があらかじめ設定された閾値以上であり、かつ輝度信号のヒストグラム分布と推定照明光のヒストグラムとが所定の基準より大きく変化した場合に、２つの画面の相関がないと判断することができる。この場合、先行する２画面分の平均輝度値と輝度信号のヒストグラム分布と推定照明光のヒストグラムを評価用データ格納部１６１に格納しておくようにする。もちろん、従来用いられている他の方法を用いて相関の評価を行なってもよい。 The correlation can be evaluated using, for example, a difference between the average luminance values of both images, a histogram distribution of luminance signals, and a histogram of estimated illumination light, and the difference value of the average luminance values is equal to or greater than a preset threshold value. When the luminance signal histogram distribution and the estimated illumination light histogram change more than a predetermined reference, it can be determined that there is no correlation between the two screens. In this case, the average luminance value of two preceding screens, the histogram distribution of the luminance signal, and the histogram of the estimated illumination light are stored in the evaluation data storage unit 161. Of course, the correlation may be evaluated using other methods conventionally used.
その結果、前々画像と前画像とが相関ありと判定された場合（Ｓ２０２：Ｙｅｓ）は、第１実施形態と同様の処理を行なって、処理対象画像の輝度階調補正、色差補正を行なう（Ｓ１０３〜）。 As a result, if it is determined that there is a correlation between the previous image and the previous image (S202: Yes), the same processing as in the first embodiment is performed to perform luminance gradation correction and color difference correction of the processing target image. (S103-).
一方、前々画像と前画像とが相関なしと判定された場合（Ｓ２０２：Ｎｏ）は、前画像の補正結果を用いて補正を行なうことは好ましくないため、先行画像の補正結果の評価を利用した補正は行なわずに、入力信号に係る輝度信号Ｙと色差信号Ｃｂ、Ｃｒをそのままバッファメモリ部１７０に格納する。ただし、後続画像の補正のために、評価用データは作成して評価部１６０の評価用データ格納部１６１に格納する（Ｓ２０３）。また、先行画像を利用しない画像補正は行なうようにしてもよい。
（第３実施形態）
次に、本発明の第３実施形態について説明する。第１実施形態では、先行する画像の補正結果を評価して、処理対象の画像の補正内容を制御していた。このため、補正が最適化されるまで、過補正が生じたりして多少のタイムラグが生じることになる。そこで、第３実施形態では、入力画像と補正後の画像とを必要に応じて合成することにより、補正が収束するまでの過渡期においても良好な画像が得られるようにする。
On the other hand, when it is determined that there is no correlation between the previous image and the previous image (S202: No), it is not preferable to perform correction using the correction result of the previous image, and thus the evaluation of the correction result of the preceding image is used. Without performing the correction, the luminance signal Y and the color difference signals Cb and Cr relating to the input signal are stored in the buffer memory unit 170 as they are. However, for correction of subsequent images, evaluation data is created and stored in the evaluation data storage unit 161 of the evaluation unit 160 (S203). Further, image correction without using the preceding image may be performed.
(Third embodiment)
Next, a third embodiment of the present invention will be described. In the first embodiment, the correction result of the image to be processed is controlled by evaluating the correction result of the preceding image. For this reason, until the correction is optimized, an overcorrection may occur and some time lag will occur. Therefore, in the third embodiment, the input image and the corrected image are combined as necessary, so that a good image can be obtained even in the transition period until the correction converges.
図８は、本発明の第３実施形態に係るビデオカメラ１００ａの構成を示すブロック図である。図１に示した第１実施形態に係るビデオカメラ１００と同じ構成については同じ符号を付し、説明を省略する。 FIG. 8 is a block diagram showing a configuration of a video camera 100a according to the third embodiment of the present invention. The same components as those of the video camera 100 according to the first embodiment shown in FIG.
本図に示すように、第３実施形態に係るビデオカメラ１００ａは、バッファメモリ部１７０の前段に、入力信号に係る輝度信号Ｙと色差信号Ｃｂ、Ｃｒと、補正された輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'とを所定の比率で合成する合成部２１０を備えている。 As shown in this figure, the video camera 100a according to the third embodiment includes a luminance signal Y and color difference signals Cb and Cr related to an input signal, a corrected luminance signal Y ′, and a color difference before the buffer memory unit 170. A synthesizer 210 that synthesizes the signals Cb ′ and Cr ′ at a predetermined ratio is provided.
第３実施形態におけるビデオカメラ１００ａの画像処理動作について図９のフローチャートを参照して説明する。図２に示したフローチャートと同じ処理については同じ符号を付して、説明を簡略化する。 The image processing operation of the video camera 100a in the third embodiment will be described with reference to the flowchart of FIG. The same processes as those in the flowchart shown in FIG. 2 are denoted by the same reference numerals, and the description is simplified.
ビデオカメラ１００ａは、第１実施形態と同様に、入力画像に対して輝度信号の階調補正と色差信号の補正を行なう（Ｓ１０１〜Ｓ１０７）。補正後の輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'は、合成部２１０に入力される。また、補正前の輝度信号Ｙと色差信号Ｃｂ、Ｃｒも、合成部２１０に入力される。 Similar to the first embodiment, the video camera 100a performs gradation correction of the luminance signal and correction of the color difference signal on the input image (S101 to S107). The corrected luminance signal Y ′ and color difference signals Cb ′ and Cr ′ are input to the combining unit 210. Further, the luminance signal Y and the color difference signals Cb and Cr before correction are also input to the combining unit 210.
そして、補正後の輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'に、補正前の輝度信号Ｙと色差信号Ｃｂ、Ｃｒを合成するか否かを判定する（Ｓ３０１）。合成するか否かの判定は、例えば、第２実施形態で行なったようなシーンの切り替わりを判別し、シーンが切り替わってから所定時間であれば合成を行なうようにすることができる。あるいは、常に合成を行なうように判定してもよい。 Then, it is determined whether or not the luminance signal Y before correction and the color difference signals Cb and Cr are combined with the luminance signal Y ′ after correction and the color difference signals Cb ′ and Cr ′ (S301). For example, the determination of whether or not to combine the images can be performed by determining the scene switching as performed in the second embodiment and performing the combining for a predetermined time after the scene is switched. Alternatively, it may be determined that synthesis is always performed.
この結果、合成を行なわないと判定した場合（Ｓ３０１：Ｎｏ）は、合成を行なわずに、輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'をバッファメモリ部１７０に格納する。 As a result, when it is determined that the synthesis is not performed (S301: No), the luminance signal Y ′ and the color difference signals Cb ′ and Cr ′ are stored in the buffer memory unit 170 without performing the synthesis.
一方、合成を行なうと判定した場合（Ｓ３０１：Ｙｅｓ）は、補正後の輝度信号Ｙ'と色差信号Ｃｂ'、Ｃｒ'に対して、所定の割合で補正前の輝度信号Ｙと色差信号Ｃｂ、Ｃｒを合成してバッファメモリ部１７０に格納する（Ｓ３０２）。 On the other hand, when it is determined that synthesis is to be performed (S301: Yes), the luminance signal Y before correction and the color difference signal Cb at a predetermined ratio with respect to the luminance signal Y ′ and color difference signals Cb ′ and Cr ′ after correction. Cr is synthesized and stored in the buffer memory unit 170 (S302).
この際に、例えば、補正前の輝度信号Ｙが所定の輝度値以下の画素についてのみ合成を行なうようにしてもよい。明るい部分の階調を保ったまま、暗い部分を明るめに補正している場合には、暗い部分で過補正によるＳ／Ｎ悪化が起きやすいからである。もちろん、画像補正の状況によっては、全画素に対して合成を行なったり、所定の輝度値以上の画素についてのみ合成を行なうようにしてもよい。さらには、合成比率を動的に変更するようにしてもよい。
（第４実施形態）
次に、本発明の第４実施形態について説明する。近年、撮影装置において、見かけ上のダイナミックレンジを拡大するために、異なる露出で撮影した複数の画像を合成することが行なわれている。第４実施形態では、見かけ上のダイナミックレンジを拡大した画像に対して輝度信号補正と色差信号補正を行なう場合について説明する。
At this time, for example, synthesis may be performed only for pixels whose luminance signal Y before correction is equal to or lower than a predetermined luminance value. This is because when the dark part is corrected to be brighter while maintaining the gradation of the bright part, the S / N deterioration easily occurs in the dark part due to overcorrection. Of course, depending on the situation of image correction, synthesis may be performed for all pixels, or only for pixels having a predetermined luminance value or more. Furthermore, the composition ratio may be changed dynamically.
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described. In recent years, in order to expand the apparent dynamic range, a plurality of images shot at different exposures are combined in a photographing apparatus. In the fourth embodiment, a case where luminance signal correction and color difference signal correction are performed on an image whose apparent dynamic range is expanded will be described.
図１０は、本発明の第４実施形態に係るビデオカメラ１００ｂの構成を示すブロック図である。図１に示した第１実施形態に係るビデオカメラ１００と同じ構成については同じ符号を付し、説明を省略する。 FIG. 10 is a block diagram showing a configuration of a video camera 100b according to the fourth embodiment of the present invention. The same components as those of the video camera 100 according to the first embodiment shown in FIG.
本図に示すように、第４実施形態に係るビデオカメラ１００ｂは、入力信号処理部１２０の後段に、露出の異なる複数の画像を合成して見かけ上のダイナミックレンジを広げるダイナミックレンジ拡大部２２０を備えている。輝度信号補正部１３０は、見かけ上のダイナミックレンジ拡大後の輝度信号に対して補正を行ない、色差信号補正部１５０は、見かけ上のダイナミックレンジ拡大後の色差信号に対して補正を行なう。 As shown in this figure, the video camera 100b according to the fourth embodiment includes a dynamic range expansion unit 220 that combines a plurality of images with different exposures to expand the apparent dynamic range after the input signal processing unit 120. I have. The luminance signal correction unit 130 corrects the luminance signal after the apparent dynamic range expansion, and the color difference signal correction unit 150 corrects the color difference signal after the apparent dynamic range expansion.
第３実施形態におけるビデオカメラ１００ｂの画像処理動作について図１１のフローチャートを参照して説明する。図２に示したフローチャートと同じ処理については同じ符号を付して、説明を簡略化する。 The image processing operation of the video camera 100b in the third embodiment will be described with reference to the flowchart of FIG. The same processes as those in the flowchart shown in FIG. 2 are denoted by the same reference numerals, and the description is simplified.
ビデオカメラ１００ｂの入力信号処理部１２０は、撮像部１１０によって露出を変更して連続的に撮影された複数の画像データを入力して、それぞれ輝度信号Ｙ、色差信号Ｃｂ、Ｃｒへの変換を行なう（Ｓ４０１）。複数の画像データは、例えば、シャッタースピードを調整して、高輝度領域に露出を合せた画像データと、低輝度領域に露出を合せた画像データとすることができる。 The input signal processing unit 120 of the video camera 100b inputs a plurality of image data continuously photographed by changing the exposure by the imaging unit 110, and performs conversion into a luminance signal Y and color difference signals Cb and Cr, respectively. (S401). The plurality of pieces of image data can be, for example, image data in which exposure is adjusted to a high luminance area and image data in which exposure is adjusted to a low luminance area by adjusting a shutter speed.
次いで、これらの複数の画像に対してダイナミックレンジ拡大部２２０が見かけ上のダイナミックレンジを拡大する処理を行なう（Ｓ４０２）。見かけ上のダイナミックレンジを拡大する処理は、例えば、以下に示すような、従来から知られている手順で行なうことができる。 Next, the dynamic range expansion unit 220 performs a process of expanding the apparent dynamic range for the plurality of images (S402). The process of expanding the apparent dynamic range can be performed by a conventionally known procedure as shown below, for example.
すなわち、シャッタースピードの比率を次ブロックの入力ダイナミックレンジで正規化した、ゲイン補正のパラメータをそれぞれ乗算することで、次ブロックの入力ダイナミックレンジの中で被写体の照度に応じた領域にマッピングする。次いで、ゲインが補正された画像データのうち、所定の規則にしたがって設定された基準画像について、あらかじめ設定された閾値による有効領域を求める。そして、求められた有効領域を重み付けのパラメータとして、重み付けられたそれぞれの画像データを加算することで見かけ上のダイナミックレンジを拡大した合成画像データを得る。 That is, by multiplying the gain correction parameter obtained by normalizing the shutter speed ratio with the input dynamic range of the next block, the ratio is mapped to an area corresponding to the illuminance of the subject in the input dynamic range of the next block. Next, an effective area based on a preset threshold is obtained for a reference image set according to a predetermined rule among the image data whose gain has been corrected. Then, the obtained effective area is used as a weighting parameter, and the weighted image data is added to obtain composite image data in which the apparent dynamic range is expanded.
以降は、見かけ上のダイナミックレンジが拡大した合成画像データの輝度信号Ｙと色差信号Ｃｂ、Ｃｒに対して、第１実施形態と同様の補正処理を行なう（Ｓ１０３〜）。この際にＲｅｔｉｎｅｘ理論による階調圧縮効果を利用することで、後段の処理のダイナミックレンジに適した階調改善効果を得ることができる。 Thereafter, correction processing similar to that in the first embodiment is performed on the luminance signal Y and the color difference signals Cb and Cr of the composite image data whose apparent dynamic range is expanded (S103-). At this time, by using the tone compression effect based on the Retinex theory, it is possible to obtain a tone improvement effect suitable for the dynamic range of subsequent processing.
なお、本実施形態における見かけ上のダイナミックレンジの拡大は、被写体を高輝度領域と低輝度領域に区分し、それぞれに適するように露出を変化させて撮像する場合について説明したが、さらに多くの異なる露出を設定して得られた複数の撮像データを用いて、見かけ上のダイナミックレンジの拡大処理を行なうようにしてもよい。 In this embodiment, the apparent dynamic range has been expanded by dividing the subject into a high-luminance region and a low-luminance region and changing the exposure so as to be suitable for each. The apparent dynamic range may be expanded using a plurality of imaging data obtained by setting the exposure.
また、本実施形態における見かけ上のダイナミックレンジの拡大は、露出を変化させ複数回撮像することで、異なる明るさに適応した画像データを得る場合について説明したが、明るさの異なる領域の撮像データを同時に撮像する撮像素子を利用して見かけ上のダイナミックレンジの拡大処理を行なうようにしてもよい。 In addition, the expansion of the apparent dynamic range in the present embodiment has been described for the case where image data adapted to different brightness is obtained by changing the exposure and imaging a plurality of times. The apparent dynamic range may be expanded using an image sensor that captures images simultaneously.
また、本実施形態における見かけ上のダイナミックレンジの拡大は、露出の比率によるゲインのパラメータを乗算した後に重み付けを行ない、合成する場合について説明したが、露出の比率によるオフセットのパラメータを加算した後に重み付けを行ない、合成することにより、見かけ上のダイナミックレンジの拡大処理を行なうようにしてもよい。 Further, in the present embodiment, the apparent dynamic range is increased by multiplying the gain parameter by the exposure ratio and then performing weighting and combining. However, the weighting is performed after adding the offset parameter by the exposure ratio. The apparent dynamic range may be expanded by performing and synthesizing.
１００…ビデオカメラ、１１０…撮像部、１２０…入力信号処理部、１３０…輝度信号補正部、１３１…推定照明光算出部、１３２…非線形補正部、１３３…非線形曲線設定部、１３４…補正輝度信号算出部、１４０…輝度信号変化率算出部、１５０…色差信号補正部、１５１…補正色差信号算出部、１５２…輝度変化率修正部、１６０…評価部、１６１…評価用データ格納部、１７０…バッファメモリ部、１８０…記録・再生部、１８０…記録・再生部、１９０…表示部、２１０…合成部、２２０…ダイナミックレンジ拡大部 DESCRIPTION OF SYMBOLS 100 ... Video camera, 110 ... Imaging part, 120 ... Input signal processing part, 130 ... Luminance signal correction part, 131 ... Estimated illumination light calculation part, 132 ... Nonlinear correction part, 133 ... Nonlinear curve setting part, 134 ... Correction luminance signal Calculation unit 140 ... luminance signal change rate calculation unit 150 ... color difference signal correction unit 151 151 correction color difference signal calculation unit 152 ... luminance change rate correction unit 160 ... evaluation unit 161 ... evaluation data storage unit 170 Buffer memory unit 180 ... Recording / reproducing unit 180 ... Recording / reproducing unit 190 ... Display unit 210 ... Combining unit 220 ... Dynamic range expanding unit
Claims (7)
前記入力画像の輝度信号と前記階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出部と、
前記輝度信号変化率を用いて前記入力画像の色差信号を補正する色差信号補正部と、
先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価部と、を備え、
前記輝度信号補正部は、前記評価部の評価結果に応じて、前記階調補正の量を制御し、
前記色差信号補正部は、前記評価部の評価結果に応じて、前記輝度信号変化率算出部によって算出された輝度信号変化率を修正して、前記色差信号の補正に用いることを特徴とする画像処理装置。 A luminance signal correction unit that performs gradation correction on the luminance signal of the input image;
A luminance signal change rate calculating unit that calculates a luminance signal change rate from the luminance signal of the input image and the luminance signal after the gradation correction;
A color difference signal correction unit that corrects a color difference signal of the input image using the luminance signal change rate;
An evaluation unit that evaluates a correction result performed on the preceding input image according to a predetermined criterion,
The luminance signal correction unit controls the amount of the gradation correction according to the evaluation result of the evaluation unit,
The color difference signal correction unit corrects the luminance signal change rate calculated by the luminance signal change rate calculation unit according to the evaluation result of the evaluation unit, and uses the corrected color difference signal to correct the color difference signal. Processing equipment.
前記輝度信号補正部は、前記入力画像の輝度信号から得られる推定照明光成分に対して前記評価部の評価結果に応じた非線形補正を行なって得られた補正後推定照明光成分を用いて、前記入力画像の輝度信号の階調補正を行なうことを特徴とする画像処理装置。 The image processing apparatus according to claim 1,
The luminance signal correction unit uses a corrected estimated illumination light component obtained by performing nonlinear correction according to the evaluation result of the evaluation unit for the estimated illumination light component obtained from the luminance signal of the input image, An image processing apparatus that performs gradation correction of a luminance signal of the input image.
前記色差信号補正部は、特定の輝度値範囲の画素を対象に前記輝度信号変化率を修正することを特徴とする画像処理装置。 The image processing apparatus according to claim 1, wherein:
The image processing apparatus, wherein the color difference signal correcting unit corrects the luminance signal change rate for pixels in a specific luminance value range.
前記評価部は、先行する入力画像に対して行なった輝度信号の階調補正および色差信号の補正について、過補正の度合いを所定の基準にしたがって評価することを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 3,
The evaluation unit evaluates the degree of overcorrection according to a predetermined standard for gradation correction of a luminance signal and correction of a color difference signal performed on a preceding input image.
前記評価部は、対象入力画像に先行する連続した入力画像の相関を評価し、相関の度合いが所定値よりも高い場合に、前記対象入力画像についての前記輝度信号の階調補正および前記色差信号の補正を行なうように制御することを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 4,
The evaluation unit evaluates a correlation between successive input images preceding the target input image, and when the degree of correlation is higher than a predetermined value, gradation correction of the luminance signal and the color difference signal for the target input image An image processing apparatus that performs control so as to perform correction.
前記階調補正された輝度信号および前記補正された色差信号に対して、補正前の輝度信号および補正前の色差信号を合成する合成部をさらに備えたことを特徴とする画像処理装置。 An image processing apparatus according to any one of claims 1 to 5,
An image processing apparatus, further comprising: a synthesis unit that synthesizes a luminance signal before correction and a color difference signal before correction with the luminance signal subjected to gradation correction and the corrected color difference signal.
入力画像の輝度信号に対して階調補正を行なう輝度信号補正ステップと、
前記入力画像の輝度信号と前記階調補正後の輝度信号とから輝度信号変化率を算出する輝度信号変化率算出ステップと、
前記輝度信号変化率を用いて前記入力画像の色差信号を補正する色差信号補正ステップと、
先行する入力画像に対して行なった補正結果を所定の基準にしたがって評価する評価ステップと、を有し、
前記輝度信号補正ステップは、前記評価ステップにおける評価結果に応じて、前記階調補正の量を制御し、
前記色差信号補正ステップは、前記評価ステップにおける評価結果に応じて、前記輝度信号変化率算出ステップによって算出された輝度信号変化率を修正して、前記色差信号の補正に用いることを特徴とする画像処理方法。 An image processing method in an image processing apparatus,
A luminance signal correction step for performing gradation correction on the luminance signal of the input image;
A luminance signal change rate calculating step of calculating a luminance signal change rate from the luminance signal of the input image and the luminance signal after gradation correction;
A color difference signal correction step of correcting a color difference signal of the input image using the luminance signal change rate;
An evaluation step for evaluating a correction result performed on the preceding input image according to a predetermined standard,
The luminance signal correction step controls the amount of gradation correction according to the evaluation result in the evaluation step,
In the color difference signal correction step, the luminance signal change rate calculated by the luminance signal change rate calculation step is corrected according to the evaluation result in the evaluation step, and is used for correcting the color difference signal. Processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010146067A JP5365881B2 (en) | 2010-06-28 | 2010-06-28 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010146067A JP5365881B2 (en) | 2010-06-28 | 2010-06-28 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012010227A true JP2012010227A (en) | 2012-01-12 |
| JP5365881B2 JP5365881B2 (en) | 2013-12-11 |
Family
ID=45540235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010146067A Active JP5365881B2 (en) | 2010-06-28 | 2010-06-28 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5365881B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013145365A1 (en) * | 2012-03-30 | 2013-10-03 | Eizo 株式会社 | Image display device and/or method therefor |
| JP2014063268A (en) * | 2012-09-20 | 2014-04-10 | Sharp Corp | Image processing apparatus, image display device, image pickup device and image printer, gradation conversion method, and program |
| JP2014068131A (en) * | 2012-09-25 | 2014-04-17 | Sharp Corp | Image processing apparatus |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04150171A (en) * | 1990-10-09 | 1992-05-22 | Matsushita Electric Ind Co Ltd | Gradation correction method and gradation correction device |
| JPH0576036A (en) * | 1991-09-17 | 1993-03-26 | Matsushita Electric Ind Co Ltd | Gradation correcting method and device |
| JPH0614325A (en) * | 1992-06-26 | 1994-01-21 | Sanyo Electric Co Ltd | Television receiver and video signal processing circuit |
| JPH11252584A (en) * | 1998-02-26 | 1999-09-17 | Victor Co Of Japan Ltd | Signal processing circuit for television receiver |
| JP2004354913A (en) * | 2003-05-30 | 2004-12-16 | Fuji Photo Film Co Ltd | Device and method for image display |
| JP2006115444A (en) * | 2004-09-17 | 2006-04-27 | Nikon Corp | Method, device, program for image processing, and electronic camera |
| JP2006128885A (en) * | 2004-10-27 | 2006-05-18 | Victor Co Of Japan Ltd | Image correction device |
-
2010
- 2010-06-28 JP JP2010146067A patent/JP5365881B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04150171A (en) * | 1990-10-09 | 1992-05-22 | Matsushita Electric Ind Co Ltd | Gradation correction method and gradation correction device |
| JPH0576036A (en) * | 1991-09-17 | 1993-03-26 | Matsushita Electric Ind Co Ltd | Gradation correcting method and device |
| JPH0614325A (en) * | 1992-06-26 | 1994-01-21 | Sanyo Electric Co Ltd | Television receiver and video signal processing circuit |
| JPH11252584A (en) * | 1998-02-26 | 1999-09-17 | Victor Co Of Japan Ltd | Signal processing circuit for television receiver |
| JP2004354913A (en) * | 2003-05-30 | 2004-12-16 | Fuji Photo Film Co Ltd | Device and method for image display |
| JP2006115444A (en) * | 2004-09-17 | 2006-04-27 | Nikon Corp | Method, device, program for image processing, and electronic camera |
| JP2006128885A (en) * | 2004-10-27 | 2006-05-18 | Victor Co Of Japan Ltd | Image correction device |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013145365A1 (en) * | 2012-03-30 | 2013-10-03 | Eizo 株式会社 | Image display device and/or method therefor |
| JP2013210709A (en) * | 2012-03-30 | 2013-10-10 | Eizo Corp | Image display apparatus and method for the same |
| CN104221051A (en) * | 2012-03-30 | 2014-12-17 | Eizo株式会社 | Image display device and/or method therefor |
| US10134359B2 (en) | 2012-03-30 | 2018-11-20 | Eizo Corporation | Device or method for displaying image |
| JP2014063268A (en) * | 2012-09-20 | 2014-04-10 | Sharp Corp | Image processing apparatus, image display device, image pickup device and image printer, gradation conversion method, and program |
| JP2014068131A (en) * | 2012-09-25 | 2014-04-17 | Sharp Corp | Image processing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5365881B2 (en) | 2013-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5148989B2 (en) | Imaging device | |
| JP6282156B2 (en) | Image device, image processing method, control program, and storage medium | |
| JP5392560B2 (en) | Image processing apparatus and image processing method | |
| KR101099401B1 (en) | Image processing apparatus and computer-readable medium | |
| JP2010056774A (en) | Apparatus, method and program for processing image | |
| JP5901667B2 (en) | Image processing apparatus and method, image processing program, and imaging apparatus | |
| JP4810473B2 (en) | Image processing apparatus and image processing program | |
| JP4479527B2 (en) | Image processing method, image processing apparatus, image processing program, and electronic camera | |
| JP4066803B2 (en) | Image processing apparatus, image processing program, image processing method, and electronic camera | |
| JP2014179756A (en) | Image processing device, control method therefor and control program | |
| JP5911525B2 (en) | Image processing apparatus and method, image processing program, and imaging apparatus | |
| JP2011228807A (en) | Image processing program, image processing apparatus, and image processing method | |
| JP2004326082A5 (en) | ||
| CN106575434B (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP2018182376A (en) | Image processing apparatus | |
| US10387999B2 (en) | Image processing apparatus, non-transitory computer-readable medium storing computer program, and image processing method | |
| JP5365881B2 (en) | Image processing apparatus and image processing method | |
| JP2008118462A (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| US8102446B2 (en) | Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal | |
| JP2006114006A (en) | Gradation conversion apparatus, program, electronic camera, and method therefor | |
| JP6397261B2 (en) | Image processing apparatus and method | |
| JP5561389B2 (en) | Image processing program, image processing apparatus, electronic camera, and image processing method | |
| JP2008227959A (en) | Image processing device, image processing method and image processing system | |
| JP2005159693A (en) | Image processing apparatus | |
| JP6543786B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120724 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130828 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5365881 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |