JP2009071621A - 画像処理装置及びデジタルカメラ - Google Patents

Abstract

【課題】画像の劣化を防止しつつ、画素単位で視覚処理を行なうことができるようにする。
【解決手段】視覚処理中の画素である着目画素の画素値と前記視覚処理後の画素値との関係を定めた所定の関数に基づいて、画素単位で視覚処理を行なう視覚処理部１２０を設ける。また、視覚処理部１２０に入力される画像データの解像度を復元する信号処理、及び視覚処理による信号劣化を補正する信号処理の少なくとも一方の信号処理を、画素単位で行なう入力信号処理部１５０を設ける。そして、この入力信号処理部１５０では、前記関数を用いて定めたゲインに応じ、前記信号処理を行う。
【選択図】図１

Description

本発明は、デジタルカメラ等の撮像装置において、ダイナミックレンジの圧縮、階調補正、コントラスト強調等のような、人の視覚特性に基づいた信号処理を行なう画像処理装置に関するものである。

デジタルカメラ等の撮像装置によって逆光条件下で人物を撮像すると、撮像して得た画像データには、暗部から明部に至るダイナミックレンジの広い輝度情報が含まれる。そのため、デジタルカメラ等の撮像装置には、このような画像データを適正な画質に補正する画像処理装置を備えているものがある。

このような画像処理装置の一例としては、補正処理中の画素（着目画素）の周辺画素の輝度分布に基づき、着目画素の輝度を、暗部は明るく明部は暗く補正する視覚処理技術を採用した画像処理装置が知られている（例えば、特許文献１を参照）。

特許文献１の画像処理装置では、まず、入力信号の低域空間のみを通過させる低域空間フィルタによりアンシャープ信号ＵＳを得る。このアンシャープ信号ＵＳは、着目画素（詳しくは低域空間フィルタの中心画素）の周辺画素の輝度分布情報を表している。また、この画像処理装置は、２次元ＬＵＴ（ルックアップテーブル）を備えており、２次元ＬＵＴには、プロファイルデータと呼ばれるマトリクスデータが登録されている。プロファイルデータは、入力信号の種々の画素値毎に対応する行と、アンシャープ信号ＵＳの種々の画素値毎に対応する列とを有している。行列の要素として、入力信号とアンシャープ信号ＵＳとの組み合わせに対応する視覚処理信号Ｓｉの画素値が格納されている。そして、この画像処理装置は、２次元ＬＵＴを参照して補正後の画素値を出力する。これにより、周辺画素の輝度分布に応じ、画素毎に最適な明るさの調整を行なうことが可能になる。

また、画像処理装置の他の一例としては、画像データを複数の領域に分割したブロック領域毎に、前記画像データの有する輝度情報に係るヒストグラムに基づいてゲイン値を算出し、そのゲイン値分だけ輝度値を変更するヒストグラムイコライゼーション処理を施すとともに、前記ブロック領域毎に、前記ゲイン値に応じた強度でノイズリダクション処理を施すようにした画像処理装置がある（例えば、特許文献２を参照）。
特開２００６−２４１７６号公報 特開２００６−５００４２号公報

しかし、特許文献１の画像処理装置では、輝度値が広いダイナミックレンジを有している画像データを視覚処理すると、ゲインを上げるように視覚処理された画素ではノイズ成分も同様にゲインが上げられ、その結果、補正後の画像データではノイズ成分が目立つ可能性がある。つまり、視覚処理を施すことによって却って画質が劣化する可能性がある。

例えば、明るい風景が見える窓を背にして人物が立つ逆光状態のように輝度値が広いダイナミックレンジを有している画像データに視覚処理を施すと、人物部分が明るくなるように、人物部分のみのゲインを上げるよう処理される。その結果、人物部分は明るくなるが、人物部分はノイズ成分もゲインが上げられてしまう。

これに対して、特許文献２に記載された画像処理装置は、ヒストグラムに基づいて算出したゲインに基づいて、ヒストグラムイコライゼーション（輝度の変更）とノイズリダクション処理を行うので、ヒストグラムイコライゼーションの強さに応じた強さでノイズリダクション処理が行なわれる。

しかしながら、ブロック単位でこれらの処理が行なわれるので、ブロック内の画素の輝度値が広いダイナミックレンジを有していると、ヒストグラムイコライゼーションの効果が強すぎる画素や、不足した画素ができる可能性がある。また、ブロック内の全画素に対して一様な強さでノイズリダクション処理を行なうと、ノイズ成分が多い画素のノイズを十分に抑圧できなかったり、逆に、ノイズの振幅が小さい部分のエッジが鈍化したりする場合が考えられる。これに対しては、ブロックサイズを極力小さくすることが考えられるが、ヒストグラムを求めるためのデータ処理量は、ブロックサイズを小さくすればするほど増大する。すなわち、ブロックサイズを小さくするにも限界があり、適切な視覚処理と、ノイズの抑制（画像の劣化を防止）との両立は難しい。

本発明は上記の問題に着目してなされたものであり、画像の劣化を防止しつつ、画素単位で視覚処理を行なうことができるようにすることを目的としている。

上記の課題を解決するため、本発明では、複数の画素からなる画像データに対して、人の視覚特性に基づく信号処理である視覚処理を画素単位で行なう。その際、視覚処理前の画像データの解像度を復元する信号処理、及び視覚処理による信号劣化を補正する信号処理の少なくとも一方の信号処理を、視覚処理の強さに応じて画素単位で行なう。

例えば、本発明の一態様は、
複数の画素からなる画像データに対して信号処理を行なう画像処理装置であって、
前記画像データに対して、人の視覚特性に基づく信号処理である視覚処理を、画素単位で行なう視覚処理部と、
前記視覚処理部に入力される前記画像データの解像度を復元する信号処理、及び前記視覚処理による信号劣化を補正する信号処理の少なくとも一方の信号処理を、画素単位で行なう入力信号処理部と、
を備え、
前記視覚処理部は、前記視覚処理中の画素である着目画素の画素値と前記視覚処理後の画素値との関係を定めた所定の関数に基づいて、前記視覚処理を行なうように構成されており、
前記入力信号処理部は、前記関数を用いて定めたゲインに応じ、前記信号処理を行うことを特徴とする。

これにより、視覚処理前にすでに劣化している解像度の復元や、視覚処理後に劣化した画像データの特性の補正が可能になる。

本発明によれば、画像の劣化を防止しつつ、画素単位で視覚処理を行なうことが可能になる。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下の各実施形態や各変形例の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。

《発明の実施形態１》
図１は、本発明の実施形態１に係る画像処理装置１００の構成を示すブロック図である。この画像処理装置１００は、例えばデジタルカメラ等に組み込まれて、複数の画素からなる画像データのそれぞれの画素に対して、人の視覚特性に基づいた信号処理を行なう。

（画像処理装置１００の構成）
画像処理装置１００は、図１に示すように、空間処理部１１０、視覚処理部１２０、ＬＵＴ格納メモリ１３０、ゲイン算出部１４０、及び入力信号処理部１５０を備えている。

空間処理部１１０は、処理中の画素の周辺画素の信号レベルの分布を示す信号（信号レベル分布信号と呼ぶ）を生成するようになっている。本実施形態では、空間処理部１１０は、信号レベル分布信号の一例として、入力信号に対して画素毎にアンシャープ信号ＵＳを生成する。

ここで、入力信号とは、レンズ等からなる光学系を介した光をＣＣＤやＣＭＯＳ等のイメージセンサが電気信号に変換し、イメージセンサが出力するアナログ信号にノイズ除去、信号増幅、Ａ／Ｄ変換などの信号処理を施した画像データをいう。

また、アンシャープ信号ＵＳは、元の画像からぼけた画像を生成して画素毎に得た信号である。

アンシャープ信号ＵＳの求め方としては、例えば、入力信号の局所的な平均値、最大値あるいは最小値などが考えられる。

また、アンシャープ信号ＵＳは、複数の画素値を加重平均して求める方法もある。例えば、加重平均は、式Ｆ＝（Σ［Ｗｉｊ］×［Ａｉｊ］）／（Σ［Ｗｉｊ］）に基づいて計算する。ここで、［Ｗｉｊ］は、処理対象の画素、及び周辺画素において、ｉ行ｊ列目に位置する画素の重み係数である。［Ａｉｊ］は、処理対象画素及び周辺画素において、ｉ行ｊ列目に位置する画素の画素値である。なお、「Σ」は、対象画素及び周辺画素のそれぞれの画素についての合計の計算を行うことを意味している。

重み係数［Ｗｉｊ］は、対象画素と周辺画素との画素値の差及び距離に基づいて定められる値である。より具体的には、画素値の差の絶対値が大きいほど小さい値の重み係数が与えられる。また、距離が大きいほど小さい重み係数が与えられる。

上記のようにして求めた、アンシャープ信号ＵＳは、処理中の画素の周辺画素の信号レベルの分布であり、周辺画素の輝度分布情報を表す。

本実施形態では、空間処理部１１０は、低域空間フィルタによりアンシャープ信号ＵＳを得る。低域空間フィルタとしては、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｅｓ）型の低域空間フィルタや、ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｅｓ）型の低域空間フィルタなどを用いることができる。

視覚処理部１２０は、入力信号に対して画素毎に、人の視覚特性に基づいた信号処理（視覚処理）を行なうようになっている。視覚処理としては、例えば、ダイナミックレンジの圧縮、階調補正、コントラスト強調等が挙げられる。

視覚処理部１２０は、入力信号と、視覚処理部１２０による処理後の信号（視覚処理信号Ｓｉと呼ぶ）との関係を定めた関数に基づいて、視覚処理信号Ｓｉの画素値を求める。画像処理装置１００では、後述するようにＬＵＴ格納メモリ１３０内に、アンシャープ信号ＵＳの種々の値毎に関数が定義されている。視覚処理部１２０は、処理中の画素（着目画素）対応したアンシャープ信号ＵＳに基づいて、これらの関数（関数群）の中から１つを選択し、その関数を用いて視覚処理信号Ｓｉの画素値を求めて出力する。

ＬＵＴ格納メモリ１３０は、視覚処理部１２０で使用する関数群が２次元ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）として格納されている。２次元ＬＵＴは、一例として図２のように構成することができる。この２次元ＬＵＴには、プロファイルデータと呼ばれるマトリクスデータが登録されている。プロファイルデータは、入力信号の種々の画素値のそれぞれに対応する行と、アンシャープ信号ＵＳの種々の画素値のそれぞれに対応する列とを有している。行列の要素として、入力信号とアンシャープ信号ＵＳとの組み合わせに対応する視覚処理信号Ｓｉの画素値が格納されている。

本実施形態では具体的には、２次元ＬＵＴは、５×５のマトリクス形式で表現されている（図２を参照）。２次元ＬＵＴにおけるＩ０、Ｉ１、・・・Ｉ４は、着目画素の画素値が取りうる値の範囲を５等分した画素値をそれぞれ示しており、Ｂ０、Ｂ１、・・・Ｂ４は、アンシャープ信号ＵＳが取りうる値の範囲を５等分した値をそれぞれ示している。また、テーブル内の各要素の値は、視覚処理部１２０による処理後の画素値（この例では８ビット）を示している。この例は、階調補正後の画素値の例である。つまり、本実施形態のＬＵＴ格納メモリ１３０は、階調変換曲線群を格納している。この２次元ＬＵＴに格納されていない値（例えばＢ０とＢ１との中間値）に対応する処理後の画素値は、この２次元ＬＵＴ内の値を用いて線形補間を行なうことで求めればよい。なお、２次元ＬＵＴの行と列の関係は、上記の例とは逆にしてもよい。

２次元ＬＵＴに格納する視覚処理信号Ｓｉの画素値は、階調補正後の画素値の他にも、ダイナミックレンジ圧縮処理やコントラスト強調などの信号処理後の画素値を採用することができる。すなわち、プロファイルデータを変更することで、様様な視覚処理を実現することが可能になる。なお、これらの値はパーソナルコンピュータなどによって予め算出して登録しておくとよい。

ゲイン算出部１４０は、入力信号と視覚処理後の信号との関係をゲインＧとして算出するようになっている。具体的には、ゲイン算出部１４０は、入力信号とアンシャープ信号ＵＳとが入力され、２次元ＬＵＴを参照して、処理後の画素値を求める。そして、求めた処理後の画素値を、ゲイン算出部１４０は、本実施形態では、０．００〜２．００の範囲の値のゲインＧに換算して出力する。

入力信号処理部１５０は、視覚処理部１２０で処理されたことによって劣化した入力信号の特性を補正するようになっている。入力信号処理部１５０による補正の強さは、ゲインＧによって定められる。

入力信号処理部１５０は、具体的には、図３に示すように、ノイズリダクション処理回路１５１、輝度信号生成回路１５２、色分離回路１５３、アパーチャ補正処理回路１５４、及びマトリクス処理回路１５５を備えている。

ノイズリダクション処理回路１５１は、画像データのノイズ成分を除去するようになっている。ノイズリダクション処理回路１５１の詳しい構成については後述する。

輝度信号生成回路１５２は、ノイズリダクション処理回路１５１の出力信号から輝度信号を生成するようになっている。

色分離回路１５３は、ノイズリダクション処理回路１５１の出力信号から色信号を生成するようになっている。

アパーチャ補正処理回路１５４は、輝度信号生成回路１５２が生成した輝度信号に高周波数成分を足し合わせて解像度を高く見せる処理を行うようになっている。

マトリクス処理回路１５５は、イメージセンサの分光特性や信号処理で崩れた色相バランスの調整を、色分離回路１５３の出力に対して行なうようになっている。

（ノイズリダクション処理回路１５１の構成）
次に、ノイズリダクション処理回路１５１について詳述する。

ノイズリダクション処理回路１５１は、図４に示すように、ノイズリダクションフィルタ１５１ａ、効果調整部１５１ｂ、乗算器１５１ｃ、乗算器１５１ｄ、及び加算器１５１ｅを備えている。

ノイズリダクションフィルタ１５１ａは、視覚処理部１２０が出力した視覚処理信号Ｓｉにノイズリダクション処理を施した信号（ノイズリダクション信号ＳＮＲ）を出力する。具体的には、ノイズリダクションフィルタ１５１ａとしては、ローパスフィルタやメディアンフィルタ等、従来から用いられているノイズ低減技術を利用する。

効果調整部１５１ｂは、ノイズリダクション処理効果の強さを定める効果調整信号αと（１−α）とを、ゲイン算出部１４０が出力したゲインＧに基づいて算出して出力する。例えば、図５は、ゲイン値Ｇ、効果調整信号α、（１−α）の関係を示すテーブルである。この例では、効果調整信号α＝ゲイン値Ｇ／２の式により、ゲインＧと効果調整信号αとの関係を定めている。図５に示すように、ゲイン値Ｇが最大値２．００のときは、効果調整信号αが０．００となり、ゲイン値Ｇが０．００のときは効果調整信号αが１．００となる。これにより、効果調整部１５１ｂは、０．００〜１．００の範囲の効果調整信号αと（１−α）を出力する。

乗算器１５１ｃは、ノイズリダクション信号ＳＮＲと、効果調整部１５１ｂの出力値である効果調整信号αとを乗算した値を出力する。

乗算器１５１ｄは、視覚処理信号Ｓｉと効果調整部１５１ｂの出力値である（１−α）とを乗算した値を出力する。

加算器１５１ｅは、乗算器１５１ｃの出力と乗算器１５１ｄの出力とを合成して、出力信号Ｓｏｕｔとして出力する。

（画像処理装置１００の動作）
画像処理装置１００では、入力信号が与えられると、まず空間処理部１１０が入力信号に対して画素毎にアンシャープ信号ＵＳを生成する。

アンシャープ信号ＵＳが生成されるとゲイン算出部１４０は、ＬＵＴ格納メモリ１３０内の２次元ＬＵＴを参照して、処理後の画素値を求めるとともに、求めた処理後の画素値を、ゲインＧに換算して入力信号処理部１５０に出力する。

一方、視覚処理部１２０は、アンシャープ信号ＵＳが生成されると、入力信号に対して画素毎に、人の視覚特性に基づいた信号処理を行なって視覚処理信号Ｓｉを出力する。この際、視覚処理部１２０は、処理中の画素（着目画素）対応したアンシャープ信号ＵＳの値に応じて、ＬＵＴ格納メモリ１３０内の関数の中から１つを選択し、その関数を用いて視覚処理信号Ｓｉの画素値を求める。

図６は、図２に示した２次元ＬＵＴに基づく視覚処理部１２０の入出力特性を曲線で表わしたものである。アンシャープ信号ＵＳのレベルＢ０に対応する特性は、図６の最上部の曲線であり、アンシャープ信号ＵＳのレベルＢ４に対応する特性は、図６の最下部の曲線である。これは、画像中の異なる場所に存在する同じ信号レベルＬの画素を、一様に処理するのでなく、周囲情報（アンシャープ信号ＵＳ）によって明るくしたり、暗くしたりすることができることを示している。すなわち、画像処理装置１００では、周辺画素の輝度分布に応じ、画素毎に最適な明るさの調整ができることを示している。

例えば、入力信号の値だけに基づいて画素値を変換すると、画像中の異なる場所で同じ信号レベルの画素が存在する場合には、同じ明るさの変換が行われてしまう。つまり、画像中の人物の背景の暗い場所を明るくすると、同じ濃度の人物の髪の毛も明るくなる。しかしながら、画像処理装置１００では、着目画素の周囲情報に応じて処理の強さを変更するので、例えば画像中の人物の髪の毛の濃度を変えずに、同じ濃度の背景を明るくすることができる。

図７は、明るい風景が見える窓を背にして人物が立つ逆光状態を示している。画像処理装置１００では、図７のような逆光状態でも、窓の外の風景の部分は明るいままで、人物部分の部分のみゲインを上げ明るくすることが可能になる。

視覚処理部１２０が視覚処理信号Ｓｉを出力すると、入力信号処理部１５０は、視覚処理信号Ｓｉに対してノイズリダクション処理を行なう。

例えば、視覚処理部１２０の処理において、ある画素の処理に対して図６の最上部のような特性が選択された場合、画像データに含まれるノイズ成分についても同様にゲインが上げられてＳ／Ｎが悪くなる。また、同じ入力信号レベルＬの別の画素に対して、図６の最下部のような特性が選択された場合には、逆にノイズの振幅が抑圧されて、ノイズは目立たない。この場合、全画素に対して一様な強さでノイズリダクション処理を行なうと、ノイズ成分が多い画素のノイズを十分に抑圧できなかったり、逆に、ノイズの振幅が小さい部分のエッジが鈍化したりする場合が考えられる。そのため、ノイズの強さに応じて適応的に強度を変更するノイズリダクション処理が必要になる。

入力信号処理部１５０では、ゲイン算出部１４０が算出したゲインＧを利用して画素毎にノイズリダクション効果を調整する。

例えば、ゲイン値Ｇが大きいときには、画像データに含まれるノイズ成分にもゲインが上げられてＳ／Ｎ比が悪くなっている。この場合は、ノイズリダクション信号ＳＮＲの割合を増し、逆に視覚処理信号Ｓｉの割合を下げる。また、ゲインＧが小さいときには、ノイズ成分の増幅率も小さいことから、視覚処理信号Ｓｉの割合を増し、ノイズリダクション信号ＳＮＲの割合を下げる。すなわち、視覚処理の強さに相当するゲインＧに応じて、ノイズリダクション処理の効果を適応的に変更しながら出力信号Ｓｏｕｔを出力する。

以上のように、本実施形態によれば、視覚処理によってノイズ成分が目立った部分に対してのみ、適切にノイズリダクション処理が施される。それゆえ、ノイズリダクション処理が過度に施されることにより、画像データ内の物体のエッジが鈍化されたり、画像データ全体の解像感が失われてぼけた画像になったりするといった弊害を避け、画素単位で良好な画像データを得ることができる。つまり、本実施形態によれば、画像の劣化を防止しつつ、画素単位で視覚処理を行なうことが可能になる。

なお、入力信号処理部１５０の構成は、上記の例には限定されない。例えば、ノイズリダクション処理回路１５１よりも後段の構成要素は、この画像処理装置がどのような製品に組み込まれるかに応じて適宜変更が可能である。そのため、製品によっては、例えばアパーチャ補正処理回路１５４を省略したり、マトリクス処理回路１５５を省略したりすることも可能である。また、入力信号処理部１５０では、組み込まれる製品に応じて、信号特性を補正する処理としてノイズリダクション処理以外の信号処理を採用してもよい。

《発明の実施形態１の変形例１》
ＬＵＴ格納メモリ１３０に格納するプロファイルデータは、視覚処理後の画素値そのものではなく、ゲインＧを登録しておいてもよい。この場合は、視覚処理部１２０は、そのゲインＧと着目画素の画素値とを乗算して処理後の画素値を求めるようにする。

図８は、図２の特性をゲインＧの表示に変換したものである。また、図９は、図８の２次元ＬＵＴに基づく視覚処理部１２０の入出力特性を曲線で表わしたものである。図６の例と同様に、アンシャープ信号のレベルＢ０に対応する特性は、図９の最上部の曲線であり、アンシャープ信号のレベルＢ４に対応する特性は、図９の最下部の曲線である。

したがって、入力信号処理部１５０がＬＵＴ格納メモリ１３０を参照するようにすれば、ゲイン算出部１４０を設けなくてもよい。

《発明の実施形態１の変形例２》
図１０は、本発明の実施形態１の変形例２に係る画像処理装置の構成を示すブロック図である。この例では、ゲインＧが視覚処理部１２０にも入力されており、視覚処理部１２０は、入力信号に対して画素毎にゲインＧを乗算し補正を行うように構成されている。

これにより、視覚処理部１２０がＬＵＴ格納メモリ１３０を参照する必要がなくなり、処理時間の短縮を実現することが可能になる。

《発明の実施形態２》
図１１は、本発明の実施形態２に係る画像処理装置２００の構成を示すブロック図である。画像処理装置２００も、例えばデジタルカメラ等に組み込まれて、複数の画素からなる画像のそれぞれの画素に対して、人の視覚特性に基づいた信号処理を行なう。

画像処理装置２００は、その信号処理を行なう前に、入力信号の解像度を復元する処理を行なう画像処理装置の例である。

画像処理装置２００では、解像度を復元する処理の１つであるアパーチャ補正処理を行なう。レンズや光学ローパスフィルタを介して入力された入力信号は、高周波成分が鈍ってしまう。アパーチャ補正処理は、高周波成分が鈍って入力された入力信号に対し、元の信号のように高周波成分を持ち上げて、解像度を復元する補正処理である。

例えば、図１２の（ａ）に示すように、高周波成分が鈍った信号Ｓ１が入力されると、アパーチャ補正処理では、信号Ｓ１に高域空間フィルタをかけて、入力信号の高周波成分つまり入力信号の輪郭のみを抜き出した信号Ｓ２（図１２の（ｂ）を参照）を生成する。そして、信号Ｓ１（実信号）に信号Ｓ２を加算することで、鈍っていた高周波成分を持ち上げて輪郭を強調した信号Ｓ３（図１２の（ｃ）を参照）を得ることが可能となる。

画像処理装置２００では、輝度信号生成後に、輝度信号に対してアパーチャ補正処理を行なう。

（画像処理装置２００の構成）
画像処理装置２００は、図１１に示すように、視覚処理部１２０、ゲイン算出部１４０、輝度信号生成回路２１０、高域空間フィルタ処理回路２２０、効果調整部２３０、乗算器２４０、及び加算器２５０を備えている。

輝度信号生成回路２１０は、入力信号から輝度信号を生成して出力するようになっている。

高域空間フィルタ処理回路２２０は、輝度信号生成回路２１０が出力した輝度信号から、入力信号の高周波成分（高周波成分ＡＰ）を抜き出すようになっている。

効果調整部２３０は、高周波成分を持ち上げる量を示す効果調整信号αを、ゲイン算出部１４０が求めたゲインＧに基づいて、画素毎に求めるようになっている。

本実施形態では、ゲイン値Ｇと効果調整信号αとの関係は、ＡＰ＝Ｇ×αの式で表わされる。ＡＰは、視覚処理を施した後の信号に含まれる高周波成分の振幅である。つまり、視覚処理を施した後の信号に含まれる高周波成分の振幅がＡＰとなるように、視覚処理前の高周波成分を持ち上げる量を定めるのである。図１３は、この式に基づくゲインＧと効果調整信号αの関係を示すグラフである。

乗算器２４０は、高周波成分ＡＰと効果調整信号αとを乗算した信号（高周波成分ＡＰ）を加算器２５０に出力するようになっている。この補正高周波成分ＡＰ２は、高周波成分ＡＰを補正した信号である
加算器２５０は、輝度信号生成回路２１０が出力した輝度信号と、乗算器２４０が出力した補正高周波成分ＡＰ２とを加算して、視覚処理部１２０に出力するようになっている。

（画像処理装置２００の動作）
例えば、ＬＵＴ格納メモリ１３０内のプロファイルデータが図１４のような特性であったとする。この場合、視覚処理を施す際には、同じ入力号値Ｌでも周辺情報（アンシャープ信号ＵＳ）により、特性（Ａ）のような特性が選択されたり、特性（Ｂ）のような特性が選択されたりする。

例えば、特性（Ａ）のような特性が選択された場合には、入力信号のレベルの振幅が抑えられる。そのため、図１２の（ｃ）のＳ３のように強調された鮮鋭成分は、視覚処理後には、図１５のＳ４のように潰されてしまう。逆に、特性（Ｂ）のような特性が選択された場合には、図１５のＳ５のように鮮鋭成分が過度に強調されてしまう。

その結果、視覚処理後の画像は、入力信号レベルとその周辺画素の輝度分布により、局所的にコントラストが低下していたり、逆にコントラストが過度に強調されたりというコントラストのムラがある画像になってしまう可能性がある。

そこで、画像処理装置２００では、ゲイン算出部１４０が出力したゲインＧによって高周波成分の信号Ｓ２（図１２の（ｂ）を参照）を低下させたり増幅させたりする。これにより、視覚処理後の画像データのコントラストのムラを回避することが可能になる。

画像処理装置２００では、まず、ゲイン算出部１４０が入力信号からゲインＧを求める。一方、輝度信号生成回路２１０は、入力信号から輝度信号を生成する。

輝度信号生成回路２１０が輝度信号を生成すると、高域空間フィルタ処理回路２２０は、その輝度信号から、入力信号の高周波成分ＡＰを抜き出す。一方、効果調整部２３０は、ゲインＧに基づいて効果調整信号αを求める。そして、乗算器２４０は、高周波成分ＡＰと効果調整信号αとを乗算して補正高周波成分ＡＰ２を出力する。これにより、加算器２５０は、輝度信号と補正高周波成分ＡＰ２とを加算して視覚処理部１２０に出力する。

視覚処理部１２０は、加算器２５０の出力に対して視覚処理（例えば ダイナミックレンジの圧縮や階調補正）を行なう。前述の通り、効果調整信号αがＡＰ＝Ｇ×αの関係式で定められているので、視覚処理部１２０が視覚処理を行った後の信号に含まれる高周波成分はＡＰとなる。

したがって、本実施形態によれば、視覚処理部１２０で行なわれる信号処理の強さに応じ、解像度を復元する処理（この例ではアパーチャ補正処理）の強さが、画素毎に定められる。上記の例では、具体的には、視覚処理によってコントラストが低下すると想定される高周波成分に対しては、強めにアパーチャ補正をかけることが可能になる。また、逆にコントラストが強調されると想定される部分には、弱めにアパーチャ補正をかけるように効果を調整することが可能になる。

なお、実施形態２においても、実施形態１やその変形例のように、視覚処理部１２０の後段に入力信号処理部１５０をさらに設け、ゲインＧに応じてノイズリダクション処理を行うようにしてもよい。

また、実施形態１とその変形例、及び実施形態２の画像処理装置で用いられるプロファイルデータの形式は、５×５のマトリクス形式に限定されない。例えば、入力信号及びアンシャープ信号ＵＳが８ビットで表現される場合は、プロファイルデータは、２５６×２５６のマトリクス形式とすることが考えられる。この場合、２次元ＬＵＴに必要なメモリ容量は増えるが、より正確な視覚処理を実現することが可能となる。

また、メモリ容量が小さいシステムにおいては、許容される容量でプロファイルデータを格納しておき、必要なプロファイルデータが２次元ＬＵＴ内にない場合には、出力ゲイン値及び視覚処理信号の値を隣接するプロファイルデータで線形補間をすればよい。これにより、最小限のプロファイルデータで視覚処理等の実現が可能になる。

また、ノイズリダクション処理も、視覚処理前に行なってもよい。この場合、ゲイン値Ｇに応じて、ノイズリダクション処理の強度を変更しながら、視覚処理で増幅するであろうと想定されるノイズ成分に対して、視覚処理前に予め強めにノイズリダクション処理を行なう。

《発明の実施形態３》
実施形態３では、上記の画像処理装置を備えたデジタルカメラの例を説明する。図１６は、本実施形態に係るデジタルカメラ３００の構成を示すブロック図である。デジタルカメラ３００は、同図に示すように、画像処理装置１００（実施形態１を参照）、撮像部３１０、入力信号セレクタ３２０、表示部３３０、圧縮変換部３４０、及び記録保存部３５０を備えている。

撮像部３１０は、被写体を撮像して、その像に対応するデジタルの画像データを出力するようになっている。この例では、撮像部３１０は、光学系３１１、イメージセンサ３１２、アナログフロントエンド３１３（図中ではＡＦＥと略記）、及びタイミングジェネレータ３１４（図中ではＴＧと略記）を備えている。

光学系３１１は、レンズ等からなり、被写体をイメージセンサ３１２上に結像させるようになっている。

イメージセンサ３１２は、光学系３１１から入射した光を電気信号に変換するようになっている。イメージセンサ３１２としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いたイメージセンサや、ＣＭＯＳを用いたイメージセンサ等、種々のイメージセンサを採用できる。

アナログフロントエンド３１３は、イメージセンサ３１２が出力したアナログ信号に対してノイズ除去、信号増幅、Ａ／Ｄ変換などの信号処理を行い、画像データとして出力するようになっている。

タイミングジェネレータ３１４は、イメージセンサ３１２やアナログフロントエンド３１３の動作タイミングの基準となるクロック信号をこれらに供給するようになっている。

入力信号セレクタ３２０は、圧縮変換部３４０の出力（後述）及びアナログフロントエンド３１３の出力の何れを画像処理装置１００に入力するかを切り替えるようになっている。この切り替えは、例えば、デジタルカメラ３００に設けられた操作スイッチ（図示せず）等を用いてユーザが指示する。

表示部３３０は、画像処理装置１００の出力（画像処理後の画像データ）を表示するようになっている。

圧縮変換部３４０は、画像処理装置１００の出力をＪＰＥＧ等の所定の規格で圧縮／伸張変換するようになっている。詳しくは、圧縮変換部３４０は、記録保存部３５０に対しては、圧縮した画像データを出力し、入力信号セレクタ３２０に対しては、記録保存部３５０によって読み出された画像データを伸張して入力信号セレクタ３２０に出力する。

記録保存部３５０は、圧縮された画像データ（ファイルデータ）を受け取って、記録媒体（例えば不揮発性メモリ等）に記録する。また、記録保存部３５０は、圧縮されて記録媒体に記録されている画像データを読み出して圧縮変換部３４０に出力する。

（デジタルカメラ３００の動作）
デジタルカメラ３００では、撮像時には、撮像部３１０が出力した画像データが入力信号セレクタ３２０を介して画像処理装置１００に入力される。画像処理装置１００では、入力信号に対して画素毎に適正な視覚処理、及び視覚処理によって劣化した信号の特性の補正を行なう。画像処理装置１００の出力は、表示部３３０に表示されるとともに、圧縮変換部３４０で圧縮される。圧縮変換部３４０で圧縮された画像データは記録保存部３５０によって記録媒体に記録される。

例えばユーザが、圧縮変換部３４０の出力が画像処理装置１００に入力されるように入力信号セレクタ３２０を切り替えると、画像処理装置１００は、その入力信号に対して、画素毎に適正な視覚処理、及び視覚処理によって劣化した信号の特性の補正を行なう。この信号は、撮像時と同様に、表示部３３０に表示されるとともに、必要に応じて、圧縮変換部３４０で圧縮された後、記録保存部３５０によって記録媒体に記録される。

以上のように、本実施形態によれば、撮像時の画像データに対し、適正な視覚処理、及び視覚処理によって劣化した信号の特性の補正を画素毎に行なうことが可能になる。

しかも、デジタルカメラ３００では、入力信号セレクタ３２０及び圧縮変換部３４０を備えているので、撮像部３１０が出力した画像データのみならず、一旦ＪＰＥＧ等に圧縮変換されて記録媒体に記録されている画像データを画像処理装置１００の入力信号とすることも可能である。すなわち、撮像後の画像データに対しても、適正な視覚処理、及び視覚処理によって劣化した信号の特性の補正を画素毎に行なうことが可能になる。例えば、図７に示したような逆光状態の画像として記録されてしまった画像データに対しても、視覚処理を施して人物部分を明るくし、さらに、その変化量に応じてノイズリダクション処理及びアパーチャ補正処理を施すことが可能になる。

なお、デジタルカメラ３００では、画像処理装置１００の代わりに、画像処理装置１００の変形例として説明した画像処理装置や、実施形態２の画像処理装置２００を用いてもよい。

また、デジタルカメラにおいては、モニタ表示用の画像データなどは解像度が低いため、多少のコントラストの低下や強調は無視できる。そのため、画像処理装置２００を採用したデジタルカメラでは、モニタ表示用の画像データに対しては、アパーチャ補正処理のゲイン値Ｇによる効果調整を禁止すれば、画像処理の処理速度を早くすることも可能になる。

本発明に係る画像処理装置は、画像の劣化を防止しつつ、画素単位で視覚処理を行なうことが可能になるという効果を有している。したがって、デジタルカメラ等の撮像装置において、ダイナミックレンジの圧縮、階調補正、コントラスト強調等のような、人の視覚特性に基づいた信号処理を行なう画像処理装置等として有用である。

実施形態１に係る画像処理装置１００の構成を示すブロック図である。 ２次元ＬＵＴの構成例である。 入力信号処理部１５０の構成例を示すブロック図である。 ノイズリダクション処理回路１５１の構成例を示すブロック図である。 ゲイン値Ｇ、効果調整信号α、（１−α）の関係を示すテーブルである。 図２の入出力特性を曲線で表わしたものである。 視覚処理が必要となる逆光状態を表す図である。 図２の特性をゲインＧの表示に変換したものである。 図８の入出力特性を曲線で表わしたものである。 実施形態１の変形例２に係る画像処理装置の構成を示すブロック図である。 実施形態２に係る画像処理装置２００の構成を示すブロック図である。 アパーチャ補正処理の基本概念の説明図である。 ゲインＧと効果調整信号αの関係を示すグラフである。 プロファイルデータの特性の一例である。 視覚処理後の画素値の分布を示す図である。 本実施形態３に係るデジタルカメラ３００の構成を示すブロック図である。

符号の説明

１００ 画像処理装置
１１０ 空間処理部
１２０ 視覚処理部
１３０ ＬＵＴ格納メモリ
１４０ ゲイン算出部
１５０ 入力信号処理部
１５１ ノイズリダクション処理回路
１５１ａ ノイズリダクションフィルタ
１５１ｂ 効果調整部
１５１ｃ 乗算器
１５１ｄ 乗算器
１５１ｅ 加算器
１５２ 輝度信号生成回路
１５３ 色分離回路
１５４ アパーチャ補正処理回路
１５５ マトリクス処理回路
２００ 画像処理装置
２１０ 輝度信号生成回路
２２０ 高域空間フィルタ処理回路
２３０ 効果調整部
２４０ 乗算器
２５０ 加算器
３００ デジタルカメラ
３１０ 撮像部
３１１ 光学系
３１２ イメージセンサ
３１３ アナログフロントエンド
３１４ タイミングジェネレータ
３２０ 入力信号セレクタ
３３０ 表示部
３４０ 圧縮変換部
３５０ 記録保存部
ＡＰ 高周波成分
ＡＰ２ 補正高周波成分
Ｇ ゲイン
ＵＳ アンシャープ信号
α 効果調整信号
ＳＮＲ ノイズリダクション信号
Ｓｉ 視覚処理信号

Claims (13)

1. 複数の画素からなる画像データに対して信号処理を行なう画像処理装置であって、
   前記画像データに対して、人の視覚特性に基づく信号処理である視覚処理を、画素単位で行なう視覚処理部と、
   前記視覚処理部に入力される前記画像データの解像度を復元する信号処理、及び前記視覚処理による信号劣化を補正する信号処理の少なくとも一方の信号処理を、画素単位で行なう入力信号処理部と、
   を備え、
   前記視覚処理部は、前記視覚処理中の画素である着目画素の画素値と前記視覚処理後の画素値との関係を定めた所定の関数に基づいて、前記視覚処理を行なうように構成されており、
   前記入力信号処理部は、前記関数を用いて定めたゲインに応じ、前記信号処理を行うことを特徴とする画像処理装置。
2. 請求項１の画像処理装置であって、
   前記視覚処理は、ダイナミックレンジの圧縮、階調補正、及びコントラスト強調のうちの少なくとも１つであることを特徴とする画像処理装置。
3. 請求項１の画像処理装置であって、
   さらに、前記着目画素の周辺画素の信号レベルの分布に基づく信号である信号レベル分布信号を生成する空間処理部を備え、
   前記視覚処理部は、前記着目画素の信号レベルと補正後の着目画素の信号レベルとの関係を前記信号レベル分布信号の種々の値毎に定義した複数の関数に基づいて、前記補正処理を行なうことを特徴とする画像処理装置。
4. 請求項３の画像処理装置であって、
   前記信号レベル分布信号は、アンシャープ信号であることを特徴とする画像処理装置。
5. 請求項３の画像処理装置であって、
   前記視覚処理部は、前記信号レベル分布信号のレベルに応じ、前記複数の関数の中から１つを選択し、選択した関数に基づいて前記視覚処理を行なうことを特徴とする画像処理装置。
6. 請求項３の画像処理装置であって、
   さらに、前記複数の関数をマトリクス形式で格納するＬＵＴ格納メモリを備えたことを特徴とする画像処理装置。
7. 請求項１の画像処理装置であって、
   前記信号劣化を補正する信号処理は、ノイズリダクション処理であることを特徴とする画像処理装置。
8. 請求項１の画像処理装置であって、
   前記解像度を復元する信号処理は、アパーチャ補正処理であることを特徴とする画像処理装置。
9. 請求項１の画像処理装置であって、
   前記入力信号処理部は、前記ゲインが所定の値以下の場合には、前記信号処理が禁止されることを特徴とする画像処理装置。
10. 被写体を撮像して、その像に対応する複数の画素からなる画像データを出力する撮像部と、
    前記撮像部の出力に対して画素単位で信号処理を行なう、請求項１に記載の画像処理装置と、
    を備えたことを特徴とするデジタルカメラ。
11. 請求項１０のデジタルカメラであって、さらに、
    前記画像処理装置が処理した画像データを所定の圧縮フォーマットで圧縮した圧縮データ、及び所定の記録媒体に記録された前記圧縮データを伸張した伸張データを出力する圧縮変換部と、
    前記撮像部の出力及び前記伸張データの何れを前記画像処理装置に出力するかを切り替える入力信号セレクタと、
    を備えたことを特徴とするデジタルカメラ。
12. 請求項１０のデジタルカメラであって、
    前記入力信号処理部は、前記ゲインが所定の値以下の場合には、前記信号処理が禁止されることを特徴とするデジタルカメラ。
13. 請求項１０のデジタルカメラであって、
    さらに、前記入力信号処理部の信号処理の効果量を、前記ゲイン値に応じて設定する効果調整部を備えたことを特徴とするデジタルカメラ。