JP2019053402A

JP2019053402A - 画像処理装置及び画像処理方法及びプログラム

Info

Publication number: JP2019053402A
Application number: JP2017175798A
Authority: JP
Inventors: 文貴中山; Fumitaka Nakayama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-09-13
Filing date: 2017-09-13
Publication date: 2019-04-04
Anticipated expiration: 2037-09-13
Also published as: JP6929174B2; US10375304B2; US20190082104A1

Abstract

【課題】輝度系と色系でそれぞれ最適化した階調変換処理を行う場合に、画質劣化を抑制した画像処理装置を提供する。【解決手段】輝度出力用の所定の色空間の色成分データを生成する第１の生成部と、色差出力用の所定の色空間の色成分データを生成する第２の生成部と、第１の生成部で生成した輝度出力用の階調を変換する第１の変換部と、第２の生成部で生成した色差出力用の階調を変換する第２の変換部と、第１の変換部で得られた各色成分データと第２の変換部で得られた各色成分データを合成し、合成後の各色成分データを生成する合成部と、合成部で得られた各色成分データから、輝度データ、色差データそれぞれに分離する分離部と、該分離部で得られた輝度データ、色差データそれぞれの階調を補正する補正部とを有する。第２の変換部は、各色成分データについて、入力データの取り得る、負から予め設定された正の閾値までの範囲で非負の値を出力する。【選択図】図２

Description

本発明は画像処理装置及び画像処理方法及びプログラムに関するものである。

近年、ディスプレイの表示輝度が高くなることと表現可能な色域が広がることに伴い、より見た目に近い階調、色域で再現できるＨＤＲ（ハイダイナミックレンジ）カメラシステムが提案されている。そして、カメラ内でＨＤＲ規格に対応した映像信号を生成する場合、色差出力用の信号処理（色系信号処理）と、輝度出力用の信号処理（輝度系信号処理）をそれぞれ最適化する技術も知られている（特許文献１）。

特許第３９１９３８９号公報

上記特許文献１では、入力画像に対して色系信号処理で分離される輝度成分と、輝度系信号処理で生成される輝度成分との間に振幅レベルの差が発生する場合がある。さらに、ＨＤＲ規格に対応したＳＴ．２０８４のガンマカーブは、ＳＤＲ（標準ダイナミックレンジ）カメラシステムで用いられてきたガンマカーブに対して暗部の立ち上がりが急峻な特性を持っており、輝度成分の振幅レベルの差がガンマ変換によって強調されることがある。その結果、カメラから出力される映像信号を、ＨＤＲモニタ内で表示用の色空間に変換する際、カメラ内で発生した前記輝度振幅レベルの差が、表示用の色空間内で偽信号を生成し、画質を著しく損なうことがある。

本発明はかかる問題に鑑みなされたものであり、輝度系と色系でそれぞれ最適化した階調変換処理を行い、且つ、画質劣化を抑制する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
入力画像データから輝度出力用の所定の色空間の色成分データを生成する第１の生成手段と、
前記入力画像データから色差出力用の前記所定の色空間の色成分データを生成する第２の生成手段と、
前記第１の生成手段で生成した前記輝度出力用の各色成分データの階調を変換する第１の変換手段と、
前記第２の生成手段で生成した前記色差出力用の各色成分データの階調を変換する第２の変換手段と、
前記第１の変換手段の変換で得られた各色成分データと前記第２の変換手段の変換で得られた各色成分データを合成し、合成後の各色成分データを生成する合成手段と、
前記合成手段で得られた各色成分データから、輝度データ、色差データそれぞれに分離する分離手段と、
該分離手段で得られた輝度データ、色差データそれぞれの階調を補正する補正手段とを有し、
前記第２の変換手段は、各色成分データについて、入力データの取り得る、負から予め設定された正の閾値までの範囲で非負の値を出力する変換特性を有することを特徴とする。

本発明によれば、輝度系と色系でそれぞれ最適化した階調変換処理を行う場合に、０近傍の信号レベルを抑制することで、画質劣化を抑制した画像処理装置を提供することが可能となる。

実施形態によるデジタルカメラのブロック構成図。実施形態における画像処理部のブロック構成図。第２、第３の階調変換部における入力／出力特性を示す図。第１の実施形態における色輝度補正部の補正処理を説明するための図。第２の実施形態の画像処理部のブロック構成図。第２の実施形態における暗部色抑圧部の処理を説明するための図。第２、第３の階調変換部の特性を示す図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
以下、第１の実施形態では、デジタルカメラに代表される撮像装置に適用した例を説明する。

図１は、本実施形態による撮像装置のブロック構成図である。撮像装置は、装置全体の制御を司るためのシステム制御部１１４を有する。このシステム制御部１１４は、ＣＰＵ、ＣＰＵが実行するプログラムや各種パラメータを格納するＲＯＭ（もしくは書き込み可能な不揮発性メモリ）、ＣＰＵのワークエリアとして使用されるＲＡＭで構成される。また、撮像装置は、ズームレンズ、フォーカスレンズを含むレンズ群１０１、絞り機能を備えるシャッター１０２、光学像を電気信号に変換するＣＭＯＳ素子等で構成される撮像部１０３、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器１０４を有する。また、撮像装置は、Ａ／Ｄ変換器１０４から出力される画像データに対し、ホワイトバランス処理、デモザイク、ノイズリダクション、輪郭強調、階調変換、色補正などの各種画像処理を行う画像処理部１０５を有する。また、撮像装置は、画像メモリ１０６、画像メモリ１０６を制御するメモリ制御部１０７、入力デジタル信号をアナログ信号に変換するＤ／Ａ変換器１０８、ＬＣＤ等の表示器１０９、画像データを圧縮符号化・復号化するコーデック部１１０を有する。そして、撮像装置は、撮像画像を記憶するメモリカードやハードディスク等の脱着可能な記録媒体１１２を接続するためのインターフェース１１１、本装置で生成した映像信号をＨＤＲモニタなどの外部機器に出力するための出力端子１１３を有する。

次に、上記のように構成されたデジタルカメラにおける基本動作について説明する。撮像部１０３は、レンズ１０１及びシャッター１０２を介して入射した光を光電変換して得られたアナログ画像信号をＡ／Ｄ変換器１０４へ供給する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号（以下、単に画像データという）に変換し、画像処理部１０５に供給する。

なお、実施形態では、ＨＤＲ画像を生成するものであるので、Ａ／Ｄ変換器１０４が生成する各成分は例えば１０ビットの精度であるものとする。また、以降の各種処理部での処理制度も同ビット数で行うものとする。なお、１０ビット精度はあくまで例示であると認識されたい。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、コーデック部、外部出録端子に出力するための、映像信号を生成する。また、画像処理部１０５は、処理して得た画像データを、メモリ制御部１０７を介して画像メモリ１０６に書き込む。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。

また、Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている表示用の画像データをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示器であって、Ｄ／Ａ変換器１０８からのアナログ信号に応じた階調画像の表示を行う。

コーデック部１１０は、システム制御部の制御下にて、画像データの圧縮符号化、復号処理を行う。例えば、コーデック部１１０は、画像メモリ１０６に記録された画像データを圧縮符号化し、生成された符号化画像データをインターフェース１１１を介して記録媒体１１２に格納する。また、コーデック部１１０は、記録媒体１１２に格納された符号化画像データをインターフェース１１１から読み出し、復号処理を行い、得られた画像データを画像メモリ１０６に格納する。画像メモリ１０６に格納された画像データは、映像信号として、外部出力端子１１３を介してＨＤＲモニタなどの外部出力機器に出力される。

図２は、実施形態における画像処理部１０５のブロック構成図である。以下同図を参照して、画像処理部１０５の構成要素を説明する。

輝度用信号生成部２００は、入力画像データ（ベイヤ配列のＲＡＷ画像データ）から、輝度信号に適した所定の色空間の色成分データを生成する。色差用信号生成部２０１は、入力画像データから、色差信号に適した所定の色成分データを生成する。実施形態では、この色空間をＲＧＢ空間とする。従って、輝度用信号生成部２００、色差用信号生成部２０１は、共にＲ，Ｇ，Ｂの色成分データを生成する。

ここで、人間の視覚系は、明るさの変化に対しては、空間周波数の応答性が高い。そのため、輝度用信号生成部２００は、高周波成分を多く含むよう、Ａ／Ｄ変換器１０４から出力された画像データに対して、デモザイク処理、ノイズリダクション処理、輪郭補償処理などを行う。一方、人間の視覚系は、色の変化に対しては、空間周波数の応答性が低い。そのため、色差用信号生成部２０１は、ノイズや画像処理によるエイリアシングなど、高周波成分に起因した画質劣化がなるべく低減されるよう、Ａ／Ｄ変換器１０４から出力された画像データに対して、デモザイク処理、ノイズリダクション処理、色補正処理などを行う。

色域変換部２０７は、色差用信号生成部２０１で行われた色補正処理後の信号に対してＢＴ．２０２０の色域に変換するためのマトリクス演算を行う。

第１の階調変換部２０２は、輝度用信号生成部２００の出力｛Ｒｙ，Ｇｙ，Ｂｙ｝に対して、第１の階調変換を行う。また、第２の階調変換部２０３は、色差用信号生成部２０１の出力｛Ｒｃ，Ｇｃ，Ｂｃ｝に対して、第２の階調変換を行う。

ここで、第１の階調変換部２０２と第２の階調変換部２０３の階調変換処理について説明する。

式（１）〜式（６）は、第１の階調変換部２０２での輝度用のＲＧＢ信号Ｒ１ｙ’，Ｇ１ｙ’，Ｂ１ｙ’、第２の階調変換部２０３輝度用での色差用のＲＧＢ信号Ｒ１ｃ’，Ｇ１ｃ’，Ｂ１ｃ’を生成する階調変換処理における演算式である。これらの階調変換処理は、ｘを入力、ｙを出力、変換特性のゲイン（ｙ／ｘ）をｆ１（ｘ）とすると、ｙ＝ｘ＊ｆ１（ｘ）と表記できる。
Ｒ１ｃ’＝Ｒｃ＊ｆ１ｃ（Ｒｃ） …（１）
Ｒ１ｙ’＝Ｒｙ＊ｆ１ｙ（Ｒｙ） …（２）
Ｇ１ｃ’＝Ｇｃ＊ｆ１ｃ（Ｇｃ） …（３）
Ｇ１ｙ’＝Ｇｙ＊ｆ１ｙ（Ｇｙ） …（４）
Ｂ１ｃ’＝Ｂｃ＊ｆ１ｃ（Ｂｃ） …（５）
Ｂ１ｙ’＝Ｂｙ＊ｆ１ｙ（Ｂｙ） …（６）

信号統合部２０４は、第１の階調変換部２０２から出力される輝度用のＲＧＢデータ｛Ｒ１ｙ’，Ｇ１ｙ’，Ｂ１ｙ’｝、第２の階調変換部２０３から出力される色差用のＲＧＢデータ｛Ｒ１ｃ’，Ｇ１ｃ’，Ｂ１ｃ’｝を入力する。そして、信号統合部２０４は、これら２系統のＲＧＢデータを統合（もしくは合成）して、統合後（合成後）の１系統のＲＧＢデータ｛Ｒmix，Ｇmix，Ｂmix｝を生成する。具体的には、信号統合部２０４は次式（７）〜（９）に従って統合後のＲＧＢデータ｛Ｒmix，Ｇmix，Ｂmix｝を求める。
Ｒmix＝Ｒ１ｃ’＋ａ＊（Ｒ１ｙ’−Ｒ１ｃ’）＋ｂ＊（Ｇ１ｙ’−Ｇ１ｃ’）
＋ｃ＊（Ｂ１ｙ’−Ｂ１ｃ’） …（７）
Ｇmix＝Ｇ１ｃ’＋ａ＊（Ｒ１ｙ’−Ｒ１ｃ’）＋ｂ＊（Ｇ１ｙ’−Ｇ１ｃ’）
＋ｃ＊（Ｂ１ｙ’−Ｂ１ｃ’） …（８）
Ｂmix＝Ｂ１ｃ’＋ａ＊（Ｒ１ｙ’−Ｒ１ｃ’）＋ｂ＊（Ｇ１ｙ’−Ｇ１ｃ’）
＋ｃ＊（Ｂ１ｙ’−Ｂ１ｃ’） …（９）
上記において、係数ａ，ｂ，ｃ，は予め設定された実数であり、ａ＋ｂ＋ｃ＝１の関係を有する。

第３の階調変換部２０５は、信号統合部２０４から出力されるＲＧＢデータ｛Ｒmix，Ｇmix，Ｂmix｝に対して、次式（１０）乃至（１２）に示す第３の階調変換を行ってＲＧＢデータ｛Ｒ２’、Ｇ２’，Ｂ２’｝を生成する。ここで、第３の階調変換部での変換処理は、ｘを入力、ｙを出力、変換特性の係数をｆ２（ｘ）とすると、ｙ＝ｘ＊ｆ２（ｘ）と表記できる。
Ｒ２’＝Ｒmix*ｆ２(Ｒmix) …（１０）
Ｇ２’＝Ｇmix*ｆ２(Ｇmix) …（１１）
Ｂ２’＝Ｂmix*ｆ２(Ｂmix) …（１２）

色輝度分離部２０６は、次式（１３）〜（１５）の演算を行って、第３の階調変換部２０５から出力されるＲＧＢデータ｛Ｒ２’，Ｇ２’，Ｂ２’｝から、輝度データＹと、色差データＵ，Ｖとに分離する。なお、次式（１３）〜（１５）における係数ａ，ｂ，ｃは、式（７）から（９）で用いた係数ａ，ｂ，ｃと同一の値である。
Ｙ＝ａ＊Ｒ２’＋ｂ＊Ｇ２’＋ｃ＊Ｂ２’ …（１３）
Ｕ＝（１−ｃ）＊Ｂ２’−ａ＊Ｒ２’−ｂ＊Ｇ２’ …（１４）
Ｖ＝（１−ａ）＊Ｒ２’−ｃ＊Ｂ２’−ｂ＊Ｇ２’ …（１５）

ＢＴ２０２０のような高色域に変換するために、負の係数を含むマトリクスを乗算すると、第２の階調変換部２０３の変換処理で用いる式（１）、（３）、（５）の左辺が負を含む０近傍の値をとることがある。この場合、色系信号と輝度系信号を統合した信号、すなわち、式（７）〜（９）の右辺が０近傍で大きく変動する。その結果、第３の階調変換部２０５で輝度成分の振幅レベル差が強調されることで画質劣化を生じてしまう可能性でてくる。

そこで、本実施形態では、第２の階調変換部２０３の出力で０近傍の値が発生しないようにする。この結果、統合後の信号も０近傍の値が発生しにくくなり、結果、第３の階調変換部２０５においても、０近傍の信号値が増幅されないため画質劣化を抑制できる。これらの具体的内容に関して図７を用いて説明を行う。

図７を参照して、第２の階調変換部２０３による階調変換特性を説明する。同図（ａ）は、水平軸が階調変換前の入力データの値、垂直軸が階調変換後の出力データの値を示す階調変換の座標空間を示している。水平軸は、式（１）、（３）、（５）のＲｃ，Ｇｃ，Ｂｃを示し、垂直軸が同式のＲ１ｃ’、Ｇ１ｃ’、Ｂ１ｃ’に対応する。

なお、破線で示す参照符号７０１がＢＴ２０２０による階調変換特性（以下、従来の階調変換特性と呼ぶ）を示し、実線で示す参照符号７０２が本実施形態における階調変換特性を示している。図示の如く、実施形態における階調変換特性７０２は、入力データの取り得る範囲における負から閾値ｔｈ１までの範囲に対して、非負の値を変換結果として生成する。

図７（ｂ）は、階調変換特性のゲイン（ｙ/ｘ）を表す座標空間を示しており、式（１）、（３）、（５）のｆ１ｃ（）に相当する。図７（ａ）と同様、参照符号７１１が従来の階調変換特性を表すゲイン曲線、参照符号７１２が本実施形態の階調変換特性を表すゲイン曲線を示している。

この階調変換特性について、入力ｘが予め設定された閾値ｔｈ１（図７の７１６）より大きい区間７１５、入力ｘが閾値ｔｈ１以下である正の区間７１４、入力ｘが負値の区間７１３の３区間に分けて説明する。なお、閾値ｔｈ１は上述した画質劣化度合いと、後述する色輝度補正の補正量を鑑みて設定可能なパラメータである。

まず、区間７１５であるが、この区間では、従来の階調変換特性との差は無い。次に、区間７１４について説明する。従来の階調変換特性だと係数が大きい区間のため、係数７１２は係数７１１より小さくする。次に区間７１３について説明する。区間７１３も区間７１４と同様、従来の階調変換特性だと係数が大きくなる区間であるが、実施形態では負側へ増幅されることで画質劣化も大きくなる。そこで、区間７１３は、係数７１２が係数７１１よりも小さくすることに加えて、係数７１２を負の値とすることで、入力値（負の値）との乗算によって正値の出力になるようにする。この結果、統合後の信号値に負信号が発生しなくなり、画質劣化を抑制することができる。

なお、区間７１３、７１４は、従来の階調変換特性に対して出力値が正側に大きくなるため、統合後の信号は、低輝度部の信号値が高くなり（暗部が明るくなる）、低輝度部の彩度が低下する。

この仕組みを図３を参照して説明する。図３（ａ）、（ｂ）、（ｃ）は図７（ａ）、（ｂ）と同様の入出力特性を表し、点線が従来の入出力特性、実線が本実施形態の入出力特性を示している。

まず、図３（ａ）を用いてＲＧＢ全チャネルの入力信号Ｒin,Ｇin,Ｂinが０に近い低輝度信号の場合を説明する。入力される全成分の入力信号Ｒin,Ｇin,Ｂinが０に近いというのは、本来は低輝度信号を意味するが、特性３０２で階調変換を行うとそれらの入力値が参照符号３０５で示す値となり、特性３０１で階調変換を行た場合の値（参照符号３０４）よりも、全チャネルの信号値が高くなる。つまり、暗部であった画素や領域が明るくなることになる。

次に図３（ｂ）を用いて入力信号が低輝度高彩度信号の場合を説明する。低輝度高彩度信号とは各色成分の値が比較的小さく領域あり、且つ、各色成分のうち少なくとも２つの差がある程度以上は大きい場合である。図示は、入力信号のうち、Ｒin信号が参照符号３１３の値を有し、他のＧin、Ｂinが参照符３１５にある例を示している。入力信号のうち、Ｒin信号については、特性３１１、３１２どちらの特性で変換を行っても同じ出力値３１４となるが、Ｇin、Ｂinは特性３１２で階調変換を行うと参照符号３１７の値となり、従来の特性３１１での階調変換の結果を示す参照符号３１６よりも値が高くなる。そのため、本来は低輝度高彩度信号のはずだが、特性３１２で階調変換を行うと低輝度信号が高くなり、Ｒ，Ｇ，Ｂ間の差が小さくなり、彩度が低下することになる。

最後に図３（ｃ）を用いて高輝度高彩度信号の場合を説明する。高輝度高彩度信号とは、各色成分の値が比較的高く、且つ、各成分のうち少なくとも２つの差がある程度は大きい場合である。図示では、入力信号のうち、Ｒin信号が参照符号３２３の値を有し、他のＧin、Ｂin信号が参照符３２５にある例を示している。図示の場合、特性３２１、３２２のいずれの特性で変換を行っても同じ出力値となるため、どちらの階調変換特性を用いても出力信号は変わらない。

このように、階調変換特性を変えることで生じる色および輝度を本来の色に補正する処理を行うのが、実施形態における色輝度補正処理２０８である。次式（１６）〜（１８）に、色輝度補正処理２０８の処理例を示す。
Ｙ‘＝Ｙ＊Ｇｙ（Ｙ） …（１６）
Ｕ‘＝Ｕ＊Ｇｃ（Ｙ） …（１７）
Ｖ‘＝Ｖ＊Ｇｃ（Ｙ） …（１８）

これらの具体的処理について図４（ａ），（ｂ）を用いて説明する。図４（ａ）は、輝度補正処理の入出力特性を示している。水平軸が式（１６）のＹ（輝度）、垂直軸が同式のＧｙ（Ｙ）に相当する。なお、輝度信号は式（１３）と同様の式で生成することが可能であり、その組成比としてa：b：c＝３：６：１などを用いるものとする。

上述したように、第２の階調変換を行うことで低輝度側の信号値が大きくなるため、輝度０から所定の閾値までの低輝度信号である区間４０１に対しては、輝度レベルが小さくなる１．０以下のゲインとする。なお、ゲインはＧｙ＿ｍｉｎを下限値としているが、出力信号の輝度レベルを鑑みて０．０〜１．０の範囲で調整できるものとする。

一方、高輝度信号である区間４０３は輝度レベルが従来と変わらない１．０のゲイン、低輝度から高輝度までの中間輝度域である区間４０２は、低輝度から高輝度になるに連れてＧｙ＿ｍｉｎから１．０へ増加するゲインとする。

色信号も輝度信号と同様の補正を行う。図４（ｂ）は色補正処理の入出力特性であり、水平が式（１７）、（１８）のＹ（輝度）、垂直軸が同式のＧｃ（Ｙ）に相当する。

上述した様に、第２の階調変換を行うことで低輝度側の彩度が低下するため、輝度０以上の低輝度信号である区間４１１に対しては彩度が高くなるような１．０以上のゲインとする。なお、ゲインはＧｃ＿ｍａｘを上限値としているが、出力信号の彩度を鑑みて調整できるものとする。

一方、高輝度信号である区間４１３は彩度が従来と変わらない１．０のゲイン、低輝度から高輝度までの中間輝度域である区間４１２は、低輝度から高輝度になるに連れてＧｃ＿ｍａｘから１．０へ減少するゲインとする。

このような処理を行うことで、第２の階調変換特性を変更したことによる色および輝度の変化を色輝度補正処理２０８で補正することが可能となる。また、色輝度補正処理部２０８から出力された輝度、色差信号は、画像メモリ、またはコーデック部を経由して、外部出力端子から、ＨＤＲモニタに供給され、表示されることになる。

以上のように、本実施形態の画像処理装置によれば、第２の階調変換出力で０近傍の値が発生しないような階調変換特性を行うことで出力画像の画質劣化を抑制することができる。

また、上記処理は第３の階調変換処理に適用しても良い。上述した処理を行っても、輝度用信号生成部２００の処理内容によっては統合後のＲＧＢ信号に０近傍の信号値が発生する可能性がある。例えば、輪郭補償処理でアンダーシュート側の輪郭を強調すると、元の信号値から補正信号を減算することで０近傍の信号が発生し、その結果、統合後の信号値に０近傍の信号値が発生することになる。

そこで、第３の階調変換処理においても、第２の階調変換と同様の処理を行うことで、０近傍の信号に対して大きな係数が乗算されにくくすることが可能となる。なお、従来の階調変換特性に対して出力値が正側に大きくなることで、低輝度信号値が高くなることと、低輝度高彩度信号の彩度が低下することが同様に発生するため、色輝度補正部２０８において、式（１６）〜（１８）ならびに図４に示した特性を用いて輝度および色の補正を行う。

さらに、ここまでは第２の階調変換特性および第３の階調変換特性それぞれに対する処理を説明しているが、第２の階調変換特性、第３の階調変換特性両方に対して処理を行っても良い。なお、第３の階調変換処理のみに対して処理を行っても、統合後の信号値に０近傍の信号値が発生することを抑制することになり、一定の効果を得ることができる。

なお、第１の階調変換特性に対してこのような処理を行うと、低輝度信号の階調が圧縮されることで低輝度側のコントラストが低下するので、第１の階調変換特性では上述した処理は行わないようにする。また、図７の区間７１５（信号値の高い入力信号の区間）における第２の階調変換特性と、第１の階調変換特性の入出力特性は同一の特性であっても良い。

本実施形態では、輝度用信号生成処理と色差用信号生成処理を行う色空間をＲＧＢとしたが、XYZ、LMSなど、他の混色系表色系の色空間で処理を行ってもよい。また、階調変換処理後に色輝度分離を行う色空間をYUVとしたが、ICtCpなど、色輝度分離形式の他の色空間で処理を行ってもよい。

なお、実施形態では、画像処理部１０５のハードウェア構成が図２の構成を有するものとして説明したが、図２に示す各処理部を、ＣＰＵ、及び、ＣＰＵが実行するプログラムにより実現させても良い。また、上記実施形態では、階調変換などに係る変換処理を数式を用いて説明したが、ルックアップテーブルテーブルでもって実現しても構わない。係る点は、以下に説明する第２の実施形態でも同様である。

［第２の実施形態］
以下、本発明の第２の実施形態おける、デジタルカメラについて説明する。第２の実施形態は、画像処理部１０５の構成が第１の実施形態と異なる。以下、図５を用いて、本第２の実施形態における画像処理部１０５の処理内容について詳細な説明を行う。なお、第１の実施形態と同じ作用をする構成要素については同参照符号を付す。

図５において、輝度用信号生成部５００は、入力画像から輝度信号に適したRGBの信号成分を生成する。色差用信号生成部５０１は、入力画像から色差信号に適したRGBの信号成分を生成する。色変換部５０７は、色差用信号生成部５０１で行われた色補正処理後の信号に対してＢＴ．２０２０等の色域に変換するためのマトリクス演算を行う。第１の階調変換部５０２は、輝度用信号生成部５００の出力に対して第１の階調変換を行う。第２の階調変換部部５０３は、第２の階調変換を行う。信号統合部５０４は、第１の階調変換部５０２、第２の階調変換部５０３から出力される、輝度信号用、色差信号用、２系統のRGB信号を統合して１系統のRGB信号を生成する。第３の階調変換部５０５は統合後の信号に対して第３の階調変換を行う。色輝度分離部５０６は第３の階調変換部５０５から出力されるRGB信号から、輝度信号と色差信号を分離する。色輝度補正部５０８は、色輝度分離部５０６で生成された輝度信号ならびに色信号に対して補正を行う。

本第２の実施形態における第２の階調変換部５０３ならびに色輝度補正部５０８は第１の実施形態における第２の階調変換部２０３ならびに色輝度補正部２０８と同様の処理を行うものとすると、色輝度補正部５０８は、第２の階調変換部５０３で下がった低輝度側の有彩色信号の彩度が上げるゲインがかかっている。しかしながら、センサノイズによって発生する色差信号に対してもゲインがかかることで、低輝度側の無彩色信号の色差も大きくなり、結果として低輝度側の無彩色信号に色つき（色かぶり）が発生してしまう。そのため、本第２の実施形態では、第２の階調変換部５０３による変換を行う前に、暗部色抑圧部５０９で値の小さいＲＧＢが同じ値に近づくような処理を行う。

暗部色抑圧部５０９が行う処理は次式（１９）、（２０）に従ったものとなる。
Ｕ‘＝Ｕ＊Ｇｃ（Ｙ）・・・（１９）
Ｖ‘＝Ｖ＊Ｇｃ（Ｙ）・・・（２０）

また、図６を用いて式（１９）、（２０）の関係を説明する。図６の水平軸が式のＹ（輝度）、縦軸が式のＧｃ（Ｙ）に相当する。なお、輝度信号は式（１３）と同様の式で生成することが可能であり、その組成比としてa：b：c＝３：６：１などを用いるものとする。低輝度信号である区間６０３に対しては輝度レベルが小さくなる１．０以下のゲインとする。なお、ゲインはＧｃ＿ｍｉｎを下限値としているが、暗部の色つき度合いを鑑みて０．０〜１．０の範囲で調整できるものとする。一方、高輝度信号である区間６０５は階調変換特性が従来と変わらないので色差を維持する１．０のゲイン、低輝度から高輝度までの中間輝度域である区間６０４は、低輝度から高輝度になるに連れてＧｃ＿ｍｉｎから１．０へ増加するゲインとする。

なお、暗部の色つきが発生する要因として第２の階調変換処理における階調変換特性を例にしているが、第３の階調変換部５０５の変換処理における階調変換特性を行う場合、さらには、第２の階調変換部５０３と第３の階調変換部５０５の変換特性両方を行う場合であっても良い。なお、第３の階調変換特性のみを行う場合であっても、一定の効果を得ることができる。

さらに、第１の実施形態と同様に、輝度用信号生成処理と色差用信号生成処理を行う色空間をRGBとしたが、XYZ、LMSなど、他の混色系表色系の色空間で処理を行ってもよい。また、階調変換処理後に色輝度分離を行う色空間をYUVとしたが、ICtCpなど、色輝度分離形式の他の色空間で処理を行ってもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０５…画像処理部、２００…輝度用信号生成部、２０１…色差用信号生成部、２０２……第１の階調変換部、２０３…第２の階調変換部、２０４…信号統合部、２０５…第３の階調変換部、２０６…色輝度分離部、２０７…色域変換部、２０８…色輝度補正部

Claims

入力画像データから輝度出力用の所定の色空間の色成分データを生成する第１の生成手段と、
前記入力画像データから色差出力用の前記所定の色空間の色成分データを生成する第２の生成手段と、
前記第１の生成手段で生成した前記輝度出力用の各色成分データの階調を変換する第１の変換手段と、
前記第２の生成手段で生成した前記色差出力用の各色成分データの階調を変換する第２の変換手段と、
前記第１の変換手段の変換で得られた各色成分データと前記第２の変換手段の変換で得られた各色成分データを合成し、合成後の各色成分データを生成する合成手段と、
前記合成手段で得られた各色成分データから、輝度データ、色差データそれぞれに分離する分離手段と、
該分離手段で得られた輝度データ、色差データそれぞれの階調を補正する補正手段とを有し、
前記第２の変換手段は、各色成分データについて、入力データの取り得る、負から予め設定された正の閾値までの範囲で非負の値を出力する変換特性を有する
ことを特徴とする画像処理装置。
前記補正手段は、
前記輝度データについては、入力データの取り得る範囲における輝度０から予め設定された正の第１の閾値までの範囲では、正であって入力データが示す値より小さいゲインを有し、
前記色差データについては、入力データの取り得る範囲の輝度０から前記第１の閾値までの範囲では、正であって入力データが示す値より大きいゲインを有する
ことを特徴とする請求項１に記載の画像処理装置。
前記補正手段は、輝度データ、色差データとも、前記閾値を超える入力データについては、入力データが示す値を出力する１のゲインを有することを特徴とする請求項２に記載の画像処理装置。
前記入力画像を生成するための撮像手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
入力画像データから輝度出力用の所定の色空間の色成分データを生成する第１の生成工程と、
前記入力画像データから色差出力用の前記所定の色空間の色成分データを生成する第２の生成工程と、
前記第１の生成工程で生成した前記輝度出力用の各色成分データの階調を変換する第１の変換工程と、
前記第２の生成工程で生成した前記色差出力用の各色成分データの階調を変換する第２の変換工程と、
前記第１の変換工程の変換で得られた各色成分データと前記第２の変換工程の変換で得られた各色成分データを合成し、合成後の各色成分データを生成する合成工程と、
前記合成工程で得られた各色成分データから、輝度データ、色差データそれぞれに分離する分離工程と、
該分離工程で得られた輝度データ、色差データそれぞれの階調を補正する補正工程とを有し、
前記第２の変換工程は、各色成分データについて、入力データの取り得る、負から予め設定された正の閾値までの範囲で非負の値を出力する変換特性を有する
ことを特徴とする画像処理方法。
コンピュータが読み込み実行することで、前記コンピュータに、請求項５に記載の方法の各工程を実行させるためのプログラム。
入力画像データから輝度出力用の所定の色空間の色成分データを生成する第１の生成手段と、
前記入力画像データから色差出力用の前記所定の色空間の色成分データを生成する第２の生成手段と、
前記第１の生成手段で生成した前記輝度出力用の各色成分データの階調を変換する第１の変換手段と、
前記第２の生成手段で生成した前記色差出力用の各色成分データの階調を変換する第２の変換手段と、
前記第１の変換手段の変換で得られた各色成分データと前記第２の変換手段の変換で得られた各色成分データを合成し、合成後の各色成分データを生成する合成手段と、
前記合成手段で得られた各色成分データの階調を変換する第３の変換手段とを有し、
前記第２の変換手段と第３の変換手段の少なくとも一方は、色成分データについて、入力データの取り得る、負から予め設定された正の閾値までの範囲で非負の値を出力する変換特性を有する
ことを特徴とする画像処理装置。