JP2020080502A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】色曲りや擬似階調を目立ち難くする処理を実現可能とすることを課題とする。【解決手段】画像処理装置は、画像信号の画素における対象色の信号値を他色の信号値を基に補正する拡張処理を行う拡張処理手段（１０２）と、画像信号の階調変換処理に用いるゲイン値を決定し、拡張処理がなされた後の画像信号に対してゲイン値によるゲインをかけて階調変換処理を行う階調変換手段（１０３）と、を有し、拡張処理手段（１０２）は、階調変換手段（１０３）がゲイン値を決定する際に用いる情報を基に、拡張処理で使用する補正量を算出し、当該補正量を用いて拡張処理を行うことを特徴とする。【選択図】図１

Description

本発明は、撮像により取得された画像の階調等を処理する技術に関する。

特許文献１には、撮像装置で撮影した画像に対し、色に応じて異なるゲインをかけてカラーバランスを調整するホワイトバランス調整を行い、その調整後の色信号を色毎の飽和レベルに応じて補正することで高輝度領域の階調を拡張する技術が開示されている。なお、拡張処理では、Ｒ，Ｇ，Ｂの色信号毎の飽和レベルに応じて補正処理を行うため、非飽和画素の信号値の大きさや補正結果によっては、被写体の持っている色相が変化する現象、すなわちいわゆる色曲りと呼ばれる現象が発生することがある。また、拡張処理では、画素単位での処理が行われるため、画像内において補正を行う部分と行わない部分とで階調の不連続が発生し、同一被写体内に擬似的な階調段差が生ずることがある。

特開２０１５−１５６６１５号公報

ここで、前述のような拡張処理を行った信号に対して、焼きこみ処理すなわち高輝度域に対してゲインダウンする階調変換処理を行えば、飽和レベルが所定以上となる飽和領域の信号をより視認し易くすることができる。しかしながら、拡張処理を行った信号に対し、焼きこみ処理として高輝度域にゲインダウンを行った場合、例えば色曲りや擬似階調の発生部分の輝度値が下がることになり、それら色曲りや擬似階調がより目立つようになってしまう。

そこで、本発明は、色曲りや擬似階調を目立ち難くすることを目的とする。

本発明の画像処理装置は、画像信号の画素における対象色の信号値を他色の信号値を基に補正する拡張処理を行う拡張処理手段と、画像信号の階調変換処理に用いるゲイン値を決定し、前記拡張処理がなされた後の画像信号に対して前記ゲイン値によるゲインをかけて前記階調変換処理を行う階調変換手段と、を有し、前記拡張処理手段は、前記階調変換手段が前記ゲイン値を決定する際に用いる情報を基に、前記拡張処理で使用する補正量を算出し、当該補正量を用いて前記拡張処理を行うことを特徴とする。

本発明によれば、色曲りや擬似階調を目立ち難くすることができる。

第１の実施形態の画像処理装置の概略構成を示す図である。 第１の実施形態に係る画像処理のフローチャートである。 拡張処理に使用する補正量の算出処理のフローチャートである。 拡張処理の説明図である。 階調変換処理の説明図である。 拡張処理に関する情報に基づく判定処理の説明図である。 補正量算出に使用する重み係数の説明図である。 第２の実施形態の画像処理装置の概略構成を示す図である。 第２の実施形態に係る画像処理のフローチャートである。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
本実施形態の画像処理装置は、撮像画像信号の各画素に対してホワイトバランスを調整する処理を行い、その処理後の色信号を色毎の飽和レベルに応じて補正することで高輝度領域の階調を拡張する処理を行う。詳細は後述するが、本実施形態の画像処理装置は、階調変換処理で用いる情報を基に、拡張処理で使用する補正量を制御可能となされている。なお本実施形態の画像処理装置ではデジタル化された画像信号（画像データ）を扱うが、以下の説明では特に明示する場合を除き、画像信号を単に画像と表記するものとする。また以下、ホワイトバランスをＷＢと表記することにする。

＜第１の実施形態＞
図１は第１の実施形態の画像処理装置の概略構成を示すブロック図である。
図１において、画像取得部１０１は、入力画像として、不図示の撮像部から撮像画像を取得、あるいは、外部の撮像装置や記録装置、ネットワーク等から撮像画像を取得する。撮像画像は例えばいわゆるＲＡＷ画像であるとする。

拡張処理部１０２は、画像取得部１０１が取得した撮像画像に対し、Ｒ，Ｇ，Ｂ等の複数の色信号に対するＷＢゲイン処理を行い、そのＷＢゲイン処理によるＷＢ補正後の各色のうち、対象色の信号値を他色の信号値を基に拡張する処理を行う。本実施形態の場合、拡張処理部１０２は、ＷＢ補正後の色信号を色毎の飽和レベルに応じて補正することで、高輝度領域の階調を残すような拡張処理を行う。

ここで本実施形態において、拡張処理部１０２は、後段の階調変換部１０３においてゲイン値を算出する際に用いられる階調特性の情報を基に、拡張処理で最終的に使用する補正量を算出し、その算出した補正量を用いた拡張処理を行う。拡張処理部１０２による拡張処理後の画像と、拡張処理に関する情報は、階調変換部１０３に送られる。階調特性の情報に基づく補正量の算出処理と、拡張処理に関する情報の詳細については後述する。

階調変換部１０３は、拡張処理部１０２による拡張処理後の画像信号に対してゲインをかけることによる階調変換処理を行う。階調変換部１０３は、ゲイン算出部１１１とゲイン処理部１１２とを有して構成されている。

ゲイン算出部１１１は、拡張処理部１０２による拡張処理後の画像に対して階調変換処理を施す際のゲイン値を、拡張処理部１０２の拡張処理に関する情報を基に算出する。詳細は後述するが、本実施形態の場合、ゲイン算出部１１１は、画像の輝度値とゲイン値との対応関係を表すゲインテーブルを用い、画像の輝度値に応じたゲイン値を取得するようなゲイン取得処理を行う。そして、そのゲイン値と、拡張処理部１０２による拡張処理後の画像とは、ゲイン処理部１１２に送られる。

ゲイン処理部１１２は、ゲイン算出部１１１により得られたゲイン値を基に、拡張処理後の画像に対してゲインをかけるゲイン処理を行うことによる階調変換処理を実行する。この階調変換処理後の画像つまりゲイン処理後の画像は、信号処理部１０４に送られる。
信号処理部１０４は、ゲイン処理部１１２でゲイン処理された画像に対して現像処理などの各種信号処理を行って出力画像を生成する。

図２は本実施形態の画像処理装置にて行われる画像処理の流れを示すフローチャートである。以下の説明では、図２のフローチャートの各処理のステップＳ２０１〜ステップＳ２０６をＳ２０１〜Ｓ２０６と略記する。このことは後述する他のフローチャートでも同様とする。以下、本実施形態に係る画像処理の詳細を図２および図３〜図７を用いて説明する。

先ずＳ２０１の処理として、画像取得部１０１は、本実施形態の画像処理装置において使用する撮像画像を取得する。
次にＳ２０２の処理として、拡張処理部１０２は、画像取得部１０１にて取得された撮像画像に対し、先ずＷＢゲインをかけるＷＢ補正処理を行う。ここで、入力された撮像画像の画素のＲ，Ｇ，Ｂの各信号値をそれぞれ信号Ｒ(x,y)，Ｇ(x,y)，Ｂ(x,y)とすると、ＷＢゲイン処理によるＷＢ補正後の信号Ｒｗ(x,y)，Ｇｗ(x,y)，Ｂｗ(x,y)は、下記の式（１）で算出される。式（１）のＷＢ＿Ｒ，ＷＢ＿Ｇ，ＷＢ＿Ｂは、Ｒ，Ｇ，Ｂの各信号値に対するＷＢゲインの係数である。

Ｒｗ(x,y)＝ＷＢ＿Ｒ×Ｒ(x,y)
Ｇｗ(x,y)＝ＷＢ＿Ｇ×Ｇ(x,y) 式（１）
Ｂｗ(x,y)＝ＷＢ＿Ｂ×Ｂ(x,y)

次にＳ２０３の処理として、拡張処理部１０２は、ＷＢ補正後のＲ，Ｇ，Ｂの信号値に対し、以下に説明するようにして拡張処理に使用する補正量を算出し、その算出した補正量を用いた拡張処理を行う。
図３は、図２のＳ２０３において、拡張処理に使用する補正量を算出する際の詳細な処理のフローチャートを示している。
先ずＳ３０１の処理として、拡張処理部１０２は、ＷＢ補正後の色信号に対する拡張処理に使用する補正量を算出する。

Ｓ３０１における補正量算出の処理について図４を用いて説明する。
図４（ａ）のグラフ４０１は、着目画素のＲ，Ｇ，Ｂについて、ＷＢ補正前の各信号値およびＷＢ補正後の各信号値と、拡張処理後の各信号値とを表している。
Ｓ３０１において、拡張処理部１０２は、先ずＲとＢのＷＢ補正後の信号値を用いて、それらＲとＢの信号値のいずれを拡張するかを決定し、その決定した信号値を拡張するための補正量を算出する。本実施形態において、拡張処理が行われる信号は、ＲとＢのうち信号値の小さい方となされる。例えば、ＷＢ補正後のＲの信号Ｒｗ(x,y)よりもＢの信号Ｂｗ(x,y)が小さい場合には、Ｂの信号値を拡張する処理が行われる。逆に、ＷＢ補正後のＢの信号Ｂｗ(x,y)の方がＲの信号Ｒｗ(x,y)より大きい場合には、Ｒの信号値を拡張する処理が行われる。

ＲとＢのうち拡張する信号を決めると、拡張処理部１０２は、当該拡張する信号について式（２）を用いた拡張処理を行う場合の補正量を、式（３）により算出する。なお式（２）のＤｗ(x,y)は拡張すると決定された方の信号値であり、Ｎｗ(x,y)は拡張されない方の信号値である。また、式（２）のＤ'(x,y)は拡張すると決定された方の信号Ｄｗ(x,y)を拡張処理した場合の信号値を表している。一方、Ｎ'(x,y)は拡張されない方の信号Ｎｗ(x,y)における拡張処理後の信号値を表しており、実際には拡張されないため信号Ｎ'(x,y)と信号Ｎｗ(x,y)の値は等しくなる。さらに、式（２）のαは予め決められた加重加算の係数であり０．０〜１．０の値となされている。また式（３）のＣ(x,y)は着目画素における補正量の値であり、Ｄｗ(x,y)とＤ'(x,y)は式（２）で用いた信号値である。つまりＳ３０１において、拡張処理部１０２は、式（２）の拡張処理における補正量を式（３）により算出する。

Ｄ'(x,y)＝（１．０−α）×Ｎｗ(x,y)＋α×Ｄｗ(x,y)
Ｎ'(x,y)＝Ｎｗ(x,y) 式（２）

Ｃ(x,y)＝Ｄ'(x,y)／Ｄｗ(x,y) 式（３）

図４（ｂ）のグラフ４０２は、Ｒの信号Ｒｗ(x,y)よりもＢの信号Ｂｗ(x,y)の値が小さい場合を例に挙げており、ＷＢ補正後（つまり拡張処理前）のＲとＢの信号値、および式（２）による拡張処理を行った場合のＲとＢの信号値を表している。図４（ｂ）のグラフ４０２の例の場合、式（２）と式（３）のＤｗ(x,y)はＷＢ補正後のＢの信号Ｂｗ(x,y)であり、式（２）のＮｗ(x,y)はＷＢ補正後のＲの信号Ｒｗ(x,y)である。また、式（２）と式（３）のＤ'(x,y)はＢにおける拡張処理後の信号Ｂ'(x,y)となり、式（２）のＮ'(x,y)はＲにおける拡張処理後の信号Ｒ'(x,y)となる。一方、Ｒにおける拡張処理後の信号Ｒ'(x,y)は拡張処理前の信号Ｒｗ(x,y)と同じ値であり、拡張されないことになる。すなわち、グラフ４０２の例のように、Ｒの信号Ｒｗ(x,y)よりもＢの信号Ｂｗ(x,y)の値が小さい場合、拡張処理部１０２は、Ｂの信号値を拡張処理するための補正量Ｃ(x,y)を算出する。

また拡張処理部１０２は、ＲとＢの拡張されない方のＷＢ補正後の信号値と、ＧのＷＢ補正後の信号値とを比較して、それらのいずれを拡張するかを決定し、その決定した信号値を拡張するための補正量を前述同様にして算出する。例えば、ＲとＢの拡張されない方の信号値よりもＧの信号値が小さい場合、拡張処理部１０２は、Ｇの信号値を拡張するための補正量を算出する。

図４（ｃ）のグラフ４０３は、グラフ４０２の例で拡張されないＲのＷＢ補正後の信号値およびＧのＷＢ補正後の信号値と、拡張処理後のＲとＧの各信号値を表している。この図４（ｃ）の場合、ＷＢ補正後の信号Ｒｗ(x,y)よりＧのＷＢ補正後の信号Ｇｗ(x,y)の値が小さい例を挙げている。なお、グラフ４０３の例の場合、前述した式（２）のＤｗ(x,y)はＧｗ(x,y)であり、Ｎｗ(x,y)はＲｗ(x,y)、Ｄ'(x,y)はＧ'(x,y)、Ｎ'(x,y)はＲ'(x,y)となる。すなわちグラフ４０２のように拡張されないＲのＷＢ補正後の信号Ｒｗ(x,y)よりもＧのＷＢ補正後の信号Ｇｗ(x,y)の値が小さい場合、拡張処理部１０２は、Ｇの信号値を拡張するための補正量Ｃ(x,y)を算出する。

次に、Ｓ３０２以降の処理により、拡張処理部１０２は、拡張処理に関する情報を基に、拡張処理が行われた場合に色曲りや擬似階調がより目立つようになるか否かを判定し、その判定結果を基に、色曲りや擬似階調を抑えるための補正量を算出する。

ここで、本実施形態において、拡張処理に関する情報は、着目画素についての、拡張処理で使用する補正量の値と、補正量の勾配値と、拡張処理前後の画像の画素差分値とで構成される。本実施形態の場合、拡張処理部１０２は、着目画素について拡張処理で使用する補正量の値については前述した式（３）により算出する。また、拡張処理部１０２は、着目画素における補正量とその周辺画素における補正量との差分値を、補正量の勾配値として算出する。また、拡張処理部１０２は、着目画素の画素位置について拡張処理前の画素値と拡張処理後の画素値との差分の絶対値を、拡張処理前後の画素差分値として算出する。拡張処理部１０２は、これらの拡張処理に関する情報を保持し、その情報を基に、後述するように拡張処理で色曲りや擬似階調がより目立つようになるか否かを判定し、色曲りや擬似階調を抑えるための補正量を算出する。

本実施形態の場合、拡張処理部１０２は、Ｓ３０２において、後段の階調変換部８０３が階調変換処理を行う際に用いる階調特性の情報を取得し、その階調特性の情報を基に、階調変換処理のゲイン処理で用いるゲイン値を算出する。具体的に説明すると、ゲイン値を算出する際、拡張処理部１０２は、先ずＷＢ補正後のベイヤー画像信号を基に、下記の式（４）を用いて画素毎の入力輝度Ｙを算出する。

Ｙ＝0.299×Ｒ＋0.587×Ｇ＋0.114×Ｂ 式（４）

次に、拡張処理部１０２は、式（４）にて算出した入力輝度Ｙと、階調変換部８０３から取得した階調特性とを基に、ゲインの値を算出する。
以下、図５を参照しながら、ゲイン値の算出処理について説明する。図５（ａ）は撮像画像５０１の一例を示す図である。図５（ｂ）は階調変換部８０３における階調変換処理の階調特性を表す図であり、ゲイン値と、画像の輝度値（Ｙ）との対応関係を表したゲインテーブルのグラフ５０２を示している。図５（ｃ）は、図５（ｂ）のグラフ５０２に示したゲインテーブルを用いて、画素毎に得られた各ゲイン値を、それぞれ画素座標に対応して配置したゲインマップ５０３を示した図である。

ここで、本実施形態において、ゲイン値の算出処理に使用する階調特性は、図５（ｂ）のグラフ５０２で示すように、横軸が入力輝度Ｙの値、縦軸がゲイン値となされたゲインテーブルとして表されるものである。すなわち、本実施形態におけるゲイン値の算出処理は、式（４）で算出した入力輝度Ｙの値に対応するゲイン値を、図５（ｂ）のグラフ５０２で表されるゲインテーブルから取得する処理となされている。そして、拡張処理部１０２は、画素毎に取得したゲイン値を、画素座標に対応して配置したゲインマップ５０３を生成する。なお本実施形態では、入力輝度Ｙを算出する際に式（４）を使用したが、これに限定されるものではなく、他の方式を使用してもよい。

次にＳ３０３の処理として、拡張処理部１０２は、前述した拡張処理に関する情報と、Ｓ３０２で算出したゲイン値の情報とを基に、拡張処理によって色曲りが発生するか否かを判定する。
以下、図６を参照しながら、拡張処理によって色曲りが発生するか否かの判定処理の詳細を説明する。
図６（ａ）のグラフ６０１は、着目画素のＲ，Ｇ，Ｂについて、ＷＢ補正前の各信号値、ＷＢ補正後の各信号値、拡張処理後の各信号値を表している。このグラフ６０１では、前述の図４の例と同様、ＷＢ補正後のＲとＢのうち信号値が小さいのはＢであるためＷＢ補正後のＢの信号値が拡張され、さらに拡張されていないＲと、ＷＢ補正後のＧとの比較の結果、ＷＢ補正後のＧの信号値が拡張される例を挙げている。つまりこの例の場合、拡張処理に関する情報の補正量としては、着目画素のＧとＢにおける補正量が取得される。

この図６（ａ）の例の場合、拡張処理部１０２は、Ｓ３０３において、拡張処理の際のＧの信号値に対する補正量とＢの信号値に対する補正量とを比較することにより、色曲りが発生するか否かを判定する。具体的には、拡張処理部１０２は、以下の式（５）を用いた補正量の比較処理を行う。なお、式（５）において、Ｄif(x,y)は拡張処理で使用する補正量間の差分値、Ｃ_B(x,y)はＢにおける補正量、Ｃ_G(x,y)はＧにおける補正量である。

Ｄif(x,y)＝｜Ｃ_B(x,y)−Ｃ_G(x,y)｜ 式（５）

さらに、Ｓ３０３において、拡張処理部１０２は、式（５）で算出される補正量間の差分値Ｄif(x,y)が、所定の閾値Ｔｈ以上である場合、拡張処理後の信号の色相が変化することにより色曲りが発生すると判定する。そして、Ｓ３０３において、拡張処理部１０２は、色曲りが発生すると判定した場合にはＳ３０４に処理を進め、一方、色曲りが発生しないと判定した場合にはＳ３０６に処理を進める。

なお、本実施形態では、補正量間の差分値Ｄif(x,y)を算出して色曲りの発生判定を行ったが、拡張処理前後の画像の差分値を使用して色曲りの発生判定を行っても良い。具体的には、拡張処理部１０２は、各色信号の拡張処理前後の画素値の差分値が所定の閾値以上の場合、色相が変化して色曲りが発生すると判定する。

Ｓ３０４の処理に進むと、拡張処理部１０２は、前述のＳ３０２において着目画素の画素位置で算出されたゲイン値を基に、後段の階調変換部１０３でゲインダウンになる階調変換処理が行われるか否かを判定する。そして、拡張処理部１０２は、ゲインダウンになると判定した場合にはＳ３０５に処理を進め、一方、ゲインダウにならないと判定した場合には図３のフローチャートの処理を終了する。

ここで、階調変換処理においてゲインダウンがなされる場合、当該ゲインダウンによって輝度値が下がることで色曲りが目立ち易くなるような状態になる。このため、拡張処理部１０２は、ゲインダウンによる色曲りを抑えるような補正量を算出する。すなわちこの場合、拡張処理部１０２は、拡張処理により色曲りが発生し、さらに階調変換処理でゲインダウンする画素に対し、色曲りを抑制するような補正量を算出する。より具体的に説明すると、拡張処理部１０２は、前述のように算出した色毎の補正量を比較し、その中から指定する対象色の補正量を他色の補正量により置き換える処理を行う。例えば前述した例のように、ＢとＧについて拡張処理の補正量が算出されている場合、拡張処理部１０２は、対象色としてのＧの補正量を他色であるＢの補正量に置き換えることで、ＧとＢとを同じ補正量にする。

その後、拡張処理部１０２では、前述したようにして算出した各色の補正量を用いた拡張処理を行う。これにより、拡張処理によって、被写体の持っている色相が変化するのを防ぐことができるようになる。

本実施形態では、対象色の補正量を他色の補正量に置き換えてから拡張処理を行う例を挙げたが、補正量が最大値となる色の補正量を小さくするようにしてから拡張処理を行ってもよい。
以下、この場合の補正量算出処理について、図７を用いて説明する。図７は、最大値の補正量と他色の補正量とにおける補正量間の差分値と、補正量算出に使用する重み係数との対応関係を表した図である。

例えば拡張処理としてＢとＧの補正量が算出されている場合、Ｂの補正量とＧの補正量のうち最大値となる補正量を対象色の補正量とし、その最大値の補正量を小さくして、他色の補正量に近づけることで、色曲りの発生を防ぐことができる。この例の場合、拡張処理部１０２は、最大値の補正量について、図７（ａ）のグラフ７０１に示す重み係数Ｗ１(x,y)を用いることにより、値を小さくした補正量を算出する。具体的には、補正量間の差分値が所定の閾値Ｔｈ１以上の場合には色曲りが発生すると判定し、拡張処理部１０２は、グラフ７０１のように補正量間の差分値が閾値Ｔｈ１以上では徐々に小さくなるような重み係数を取得する。そして、拡張処理部１０２は、その取得した重み係数を用いて、最終的に使用する補正量を下記の式（６）を用いて算出する。なお、式（６）のＣ'_MAX(x,y)は最終的に使用する補正量であり、Ｃ_MAX(x,y)は最大値と判定される色信号に対する補正量であり、Ｗ１(x,y)はグラフ７０１から取得された重み係数である。

Ｃ'_MAX(x,y)＝Ｗ１(x,y)×Ｃ_MAX(x,y) 式（６）

そしてこの例の場合も、拡張処理部１０２は、前述のようにして算出した補正量を用いた拡張処理を行う。この例の場合も、拡張処理によって、被写体の持っている色相が変化するのを防ぐことができるようになる。

また図３のフローチャートにおいて、Ｓ３０６の処理に進んだ場合、拡張処理部１０２は、前述した拡張処理に関する情報と、Ｓ３０２で算出したゲイン値の情報とを基に、拡張処理によって擬似階調が発生するか否かを判定する。
以下、図６を参照しながら、拡張処理によって擬似階調が発生するか否かの判定処理の詳細を説明する。

図６（ｂ）のグラフ６０２は、着目画素のＲ，Ｇ，Ｂについて、ＷＢ補正前の各信号値、ＷＢ補正後の各信号値、拡張処理が行われた場合の各信号値を表している。このグラフ６０２の例では、着目画素について、ＷＢ補正後のＲとＢのうち信号値が小さいのはＲであるためＷＢ補正後のＲの信号値が拡張され、さらに拡張されていないＢと、ＷＢ補正後のＧとの比較の結果、ＷＢ補正後のＧの信号値が拡張される例を挙げている。つまりこの例の場合、着目画素について、拡張処理に関する情報の補正量としては、着目画素のＧとＲにおける補正量が取得される。

図６（ｃ）のグラフ６０３は、着目画素の周辺画素のＲ，Ｇ，Ｂについて、ＷＢ補正前の各信号値、ＷＢ補正後の各信号値、拡張処理が行われた場合の各信号値を表している。このグラフ６０３の例では、周辺画素について、ＷＢ補正後のＲとＢの信号値が同じ値であるためいずれも拡張されず、さらにＲおよびＢのいずれも拡張されていないため、ＷＢ補正後のＧについても拡張されていない例を挙げている。つまりこの例の場合、周辺画素について、拡張処理に関する情報として補正量の値はゼロまたは取得されないことになる。

Ｓ３０６において、拡張処理部１０２は、先ず拡張処理に関する情報を基に、着目画素について拡張処理を行うかどうかを判定する。図６（ｂ）の例の場合、着目画素についての拡張処理に関する情報として補正量を算出しており、拡張処理部１０２は、拡張処理を行うと判定する。
また拡張処理部１０２は、拡張処理に関する情報から補正量の勾配値を取得して、着目画素の信号値と周辺画素の信号値との差分が大きいかどうかを判定する。なお、拡張処理を行わないと判定した場合、拡張処理部１０２は、この図３のフローチャートの処理を終了する。

ここで、補正量の勾配値が所定の閾値以上である場合、階調の不連続による擬似的な階調段差が発生し易くなって、擬似階調が発生し易くなる。また、着目画素の周辺画素について拡張処理が行われない場合、あるいは周辺画素における拡張処理の補正量が所定の閾値未満である場合、拡張処理後の画素値に差が生じて階調が不連続となり、擬似階調が発生し易くなる。なお、着目画素の周辺画素について拡張処理が行われない場合は、周辺画素における拡張処理の補正量が所定の閾値未満である場合に含まれる。このため、拡張処理部１０２は、補正量の勾配値が所定の閾値以上である場合、あるいは、周辺画素について拡張処理の補正量が所定の閾値未満である場合、擬似階調が発生すると判定する。

そして、拡張処理部１０２は、Ｓ３０６において擬似階調が発生すると判定した場合にはＳ３０７に処理を進め、発生していないと判定した場合にはこのフローチャートの処理を終了する。
Ｓ３０７に進むと、拡張処理部１０２は、擬似階調が発生すると判定した着目画素の位置において、前述した階調特性を用いて算出したゲイン値を基に、後段の階調変換部１０３でゲインダウンになる階調変換処理が行われるか否かを判定する。そして、拡張処理部１０２は、ゲインダウンになると判定した場合にはＳ３０８に処理を進め、一方、ゲインダウにならないと判定した場合には図３のフローチャートの処理を終了する。

ここで、階調変換処理においてゲインダウンがなされる場合、当該ゲインダウンによって輝度値が下がることで擬似階調が目立ち易くなるような状態になる。このため、拡張処理部１０２は、ゲインダウンによる擬似階調を抑えるような補正量を算出する。すなわちこの場合、拡張処理部１０２は、拡張処理により擬似階調が発生し、さらに階調変換処理でゲインダウンする画素に対し、擬似階調を抑制するような補正量を算出する。より具体的に説明すると、拡張処理部１０２は、前述のように算出した色毎の補正量を小さくすることにより擬似階調を抑制する。前述した例のように、ＢとＧについて拡張処理の補正量が算出されている場合、拡張処理部１０２は、ＢとＧの両方の補正量を小さくする。すなわち、着目画素の値が、周辺の拡張処理が行われない画素の値に近づくようにする。これにより、階調の段差が少なくなって、擬似階調が目立たないようになる。

以下、図７を参照しながら補正量の値を小さくする処理について説明する。
拡張処理部１０２は、図７（ｂ）のグラフ７０２の重み係数Ｗ２(x,y)を用いて、値を小さくする補正量を算出する。例えば前述の図６（ｂ），（ｃ）のように、着目画素ではＢとＧについて拡張処理の補正量が算出され、周辺画素では拡張処理が行われない場合、着目画素のＢの補正量とＧの補正量の両方の値を小さくし、周辺の拡張処理されない画素の値に近づけるようにする。この例の場合、拡張処理部１０２は、着目画素について、図７（ｂ）のグラフ７０２に示す重み係数Ｗ２(x,y)を用いることにより、補正量の値を小さくする。具体的には、拡張処理部１０２は、補正量の勾配値の差分値が所定の閾値以上の場合は擬似階調が発生すると判定し、図７（ｂ）のグラフ７０２のように勾配値の差分値が閾値Ｔｈ２以上の場合、徐々に値が小さくなる重み係数Ｗ２(x,y)を算出する。そして、拡張処理部１０２は、その算出した重み係数を用いて、最終的に使用する補正量を下記の式（７）を用いて算出する。なお、式（７）のＣ'_B(x,y)は最終的に使用するＢの信号の補正量、Ｃ_B(x,y)はＢの信号の補正量、Ｃ'_G(x,y)は最終的に使用するＧの信号の補正量、Ｃ_G(x,y)はＧの信号の補正量である。

Ｃ'_B(x,y)＝Ｗ２(x,y)×Ｃ_B(x,y)
Ｃ'_G(x,y)＝Ｗ２(x,y)×Ｃ_G(x,y) 式（７）

その後、拡張処理部１０２では、前述のようにして算出した各色の補正量を用いた拡張処理を行う。これにより、拡張処理によって、擬似階調が生ずるのを抑制することができるようになる。
なお、本実施形態では、補正量を小さくして拡張処理を行う例を挙げたが、補正量を算出した領域に対して拡張処理を行わないように処理を変更してもよい。

図２のフローチャートのＳ２０３では、前述のようにして、階調変換処理で用いる階調特性の情報に基づいて算出した補正量を使用して、各色の信号値に対する拡張処理が行われる。
次に図２のフローチャートのＳ２０４の処理に進むと、階調変換部１０３のゲイン算出部１１１は、階調変換処理で使用するゲイン値を算出する。本実施形態の場合、ゲイン算出部１１１は、Ｓ３０２と同様に、式（４）を用い、拡張処理後の着目画素位置のＲ，Ｇ，Ｂの信号値から、入力輝度Ｙの値を算出し、図５（ｂ）に示した階調特性のグラフ５０２を用いてゲイン値を算出する。

次にＳ２０５の処理に進むと、ゲイン処理部１１２は、画像取得部１０１にて取得された撮像画像と、ゲイン算出部１１１にて算出されたゲイン値とを用い、階調変換処理としてゲインをかける処理を行う。このゲイン処理は、下記の式（８）により表される。なお式（８）のｏｕｔ(x,y)は着目画素の座標(x,y)のゲイン処理後の出力信号値、ｉｎ(x,y)は着目画素の座標(x,y)の入力された信号値、ＧＶ(x,y)はゲイン値である。

ｏｕｔ(x,y)＝ＧＶ(x,y)×ｉｎ(x,y) 式（８）

その後、Ｓ２０６の処理に進むと、信号処理部１０４は、ゲイン処理後の信号に対し現像処理などの各種信号処理を行い、その信号処理後の画像を出力する。
以上説明したように、第１の実施形態の画像処理装置は、拡張処理で色曲りや擬似階調が生ずる画素を判定し、その判定結果を基に、拡張処理で使用する補正量を制御することにより、色曲りや擬似階調が目立ち難い拡張処理を実行可能である。

＜第２の実施形態＞
次に第２の実施形態について説明する。
第２の実施形態では、入力画像の各画素について、ＷＢ補正後の色信号からは拡張処理で使用する補正量のみを算出する。そして第２の実施形態の場合、ＷＢ補正後の信号に対して階調変換処理を行った後、その階調変換処理で用いたゲイン値を基に、拡張処理の補正量を調節し、その調節後の補正量を用いて、階調変換処理後の信号に対する拡張処理を行う。

以下、第２の実施形態について、図８と図９を用いて説明する。図８は第２の実施形態に係る画像処理装置の概略構成を示すブロック図であり、図９は第２の実施形態に係る画像処理のフローチャートである。図８の構成において、第１の実施形態の図１に示した構成との差異は、ＷＢ処理部８０２と拡張処理部８０４において行われる処理である。ＷＢ処理部８０２は、補正量算出部８１０を含んでおり、画像取得部８０１と階調変換部８０３との間に設けられている。拡張処理部８０４は、補正量調節部８１３を含んでおり、階調変換部８０３と信号処理部８０５との間に設けられている。図８の画像取得部８０１、階調変換部８０３のゲイン算出部８１１およびゲイン処理部８１２、信号処理部８０５は、それぞれ図１の対応した各構成要素と同様であるため、それらの説明は省略する。

第２の実施形態において、ＷＢ処理部８０２は、前述の第１の実施形態の場合と同様のＷＢ補正処理を行う。第２の実施形態の場合、ＷＢ処理部８０２は、補正量算出部８１０を含んでおり、補正量算出部８１０は後段の拡張処理部８０４で用いられる補正量を算出する。拡張処理部８０４の補正量調節部８１３は、補正量算出部８１０が算出した補正量を基に色曲りや擬似階調の発生判定を行い、さらに階調変換部８０３で用いたゲイン値を基に補正量を調節する処理を行う。

以下、第２の実施形態の画像処理について図９のフローチャートを参照しながら説明する。なお、図９のフローチャートにおいて、図２のフローチャートとの主な差異は、拡張処理で使用する補正量を算出するＳ９０３の処理、階調特性を基に補正量を調節して拡張処理を行うＳ９０６の処理である。図９のＳ９０１、Ｓ９０２、Ｓ９０４、Ｓ９０５、Ｓ９０７の処理は、図２の対応した処理ステップ（Ｓ２０１、Ｓ２０２、Ｓ２０４、Ｓ２０５、Ｓ２０６）と同様であるため、それらの説明は省略する。図９のフローチャートの場合、Ｓ９０２の処理後にＳ９０３の処理に進み、Ｓ９０３の処理後にＳ９０４の処理に進み、さらにＳ９０５の処理後にＳ９０６の処理に進み、Ｓ９０６の処理後にＳ９０７の処理に進む。

第２の実施形態の場合、ＷＢ処理部８０２は、Ｓ９０３の処理として撮像画像にＷＢゲインをかけるＷＢ補正処理を行う。そして、ＷＢ処理部８０２内の補正量算出部８１０は、そのＷＢ補正後の画素値を基に、後段の拡張処理で使用する補正量を算出する。第２の実施形態において、補正量の算出処理は、前述したＳ２０３の処理と同様であり、式（２）と式（３）を用いて前述同様に行われる。第２の実施形態の場合、補正量算出部８１０にて算出された補正量は後段の拡張処理部８０４に送られる。

またＳ９０６の処理に進むと、拡張処理部８０４の補正量調節部８１３は、Ｓ９０３で算出された補正量を基に色曲りや擬似階調の発生判定処理を行い、またゲイン処理部８１２で用いたゲイン値を基に補正量を調節する処理を行う。補正量を使用した色曲りや擬似階調の発生判定処理は、前述したＳ３０３、Ｓ３０６と同様の処理である。また、補正量調節部８１３は、着目画素について色曲りや擬似階調が発生すると判定した場合、階調変換部８０３のゲイン処理部８１２から取得した当該画素位置のゲイン値を用いて、ゲインダウンがされているかどうかの判定を行う。そして、補正量調節部８１３は、ゲインダウンがされていると判定した場合には、色曲りや擬似階調の発生に応じて前述したＳ３０５、Ｓ３０８の補正量が得られるように、Ｓ９０３で算出された補正量を調節する。その後、拡張処理部８０４は、ゲイン処理後の信号に対し、前述のように調節した補正量を用いた拡張処理を行う。

第２の実施形態では、ＷＢ補正後の信号から拡張処理で使用する補正量を算出し、ＷＢ補正後の信号を階調変換処理した後、その階調変換処理で用いたゲイン値を基に補正量を調節し、その調節後の補正量を用いて階調変換処理後の信号の拡張処理を行う。これにより、第２の実施形態においても、色曲りや擬似階調が目立ち難くする拡張処理を実行可能である。

前述した各実施形態の各機能やフローチャートの処理は、ハードウェア構成のみで実現されてもよいし、ＣＰＵ等がプログラムを実行することによるソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。このソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。

また前述の実施形態の画像処理装置で扱う撮像画像は、例えばデジタルカメラ、スマートフォン、タブレット端末、監視カメラ、工業用カメラ、車載カメラ、医療用カメラなどにより撮像された画像のいずれあってもよい。

本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１，８０１：画像取得部、１０２，８０４：拡張処理部、１０３，８０３：階調変換部、１０４，８０５：信号処理部、１１１：ゲイン算出部、１１２：ゲイン処理部、８１０：補正量算出部、８１３：補正量調節部

Claims (15)

1. 画像信号の画素における対象色の信号値を他色の信号値を基に補正する拡張処理を行う拡張処理手段と、
   画像信号の階調変換処理に用いるゲイン値を決定し、前記拡張処理がなされた後の画像信号に対して前記ゲイン値によるゲインをかけて前記階調変換処理を行う階調変換手段と、を有し、
   前記拡張処理手段は、前記階調変換手段が前記ゲイン値を決定する際に用いる情報を基に、前記拡張処理で使用する補正量を算出し、当該補正量を用いて前記拡張処理を行うことを特徴とする画像処理装置。
2. 前記拡張処理手段は、ホワイトバランスを調整した後の前記画像信号に対して、前記拡張処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 画像信号の画素における対象色の信号値を他色の信号値を基に補正する拡張処理で使用する補正量を算出する補正量算出手段と、
   画像信号の階調変換処理に用いるゲイン値を決定し、前記画像信号に対して前記ゲイン値によるゲインをかけて前記階調変換処理を行う階調変換手段と、
   前記階調変換手段が前記ゲイン値を決定する際に用いた情報を基に前記補正量を調節し、当該調節した補正量を使用して、前記階調変換処理がなされた後の画像信号に対して前記拡張処理を行う拡張処理手段と、
   を有することを特徴とする画像処理装置。
4. 前記拡張処理手段は、ホワイトバランスを調整した後に前記階調変換処理された画像信号に対して、前記拡張処理を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記ゲイン値を決定する際に用いる情報は、前記階調変換処理の階調特性を表す情報であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記拡張処理手段は、着目画素について、前記対象色の補正量の値が大きく、前記他色の補正量の値が小さい場合、前記拡張処理によって色相に変化が生ずると判定することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記拡張処理手段は、着目画素について、前記拡張処理の前後の画像の差分値が大きくなる場合、前記拡張処理によって色相に変化が生ずると判定することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記拡張処理手段は、
   前記色相に変化が生ずると判定した場合、前記着目画素の画素位置の前記ゲイン値によってゲインダウンになるかを判定し、
   前記ゲインダウンになると判定した場合には、前記画素位置での補正量を、指定した色の補正量に置き換えることを特徴とする請求項６または７に記載の画像処理装置。
9. 前記拡張処理手段は、
   前記色相に変化が生ずると判定した場合、前記着目画素の画素位置の前記ゲイン値によってゲインダウンになるかを判定し、
   前記ゲインダウンになると判定した場合には、前記画素位置の前記補正量のうち最大値の補正量となる色の補正量を小さくすることを特徴とする請求項６または７に記載の画像処理装置。
10. 前記拡張処理手段は、着目画素について、前記補正量の勾配値が大きく、前記着目画素に対する周辺画素の補正量が小さい場合、擬似階調が生ずると判定することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記拡張処理手段は、
    前記擬似階調が生ずると判定した場合、前記着目画素の画素位置の前記ゲイン値によってゲインダウンになるかを判定し、
    前記ゲインダウンになると判定した場合には、前記画素位置の前記補正量を小さくすることを特徴とする請求項１０に記載の画像処理装置。
12. 前記拡張処理手段は、前記着目画素の画素位置の前記補正量を、前記周辺画素の補正量に合わせるように小さくすることを特徴とする請求項１１に記載の画像処理装置。
13. 画像処理装置が実行する画像処理方法であって、
    画像信号の画素における対象色の信号値を他色の信号値を基に補正する拡張処理を行う拡張処理工程と、
    画像信号の階調変換処理に用いるゲイン値を決定し、前記拡張処理がなされた後の画像信号に対して前記ゲイン値によるゲインをかけて前記階調変換処理を行う階調変換工程と、を有し、
    前記拡張処理工程では、前記階調変換工程で前記ゲイン値を決定する際に用いる情報を基に、前記拡張処理で使用する補正量を算出し、当該補正量を用いて前記拡張処理を行うことを特徴とする画像処理方法。
14. 画像処理装置が実行する画像処理方法であって、
    画像信号の画素における対象色の信号値を他色の信号値を基に補正する拡張処理で使用する補正量を算出する補正量算出工程と、
    画像信号の階調変換処理に用いるゲイン値を決定し、前記画像信号に対して前記ゲイン値によるゲインをかけて前記階調変換処理を行う階調変換工程と、
    前記階調変換工程で前記ゲイン値を決定する際に用いた情報を基に前記補正量を調節し、当該調節した補正量を使用して、前記階調変換処理がなされた後の画像信号に対して前記拡張処理を行う拡張処理工程と、
    を有することを特徴とする画像処理方法。
15. コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images