JP2006319781A

JP2006319781A - 画像処理装置、画像処理プログラム

Info

Publication number: JP2006319781A
Application number: JP2005141538A
Authority: JP
Inventors: Takeo Tsuruoka; 建夫鶴岡
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2005-05-13
Filing date: 2005-05-13
Publication date: 2006-11-24
Anticipated expiration: 2025-05-13
Also published as: EP1881695A1; WO2006120864A1; US20080085062A1; US8184924B2; EP1881695A4; JP4427001B2

Abstract

【課題】ノイズ成分の変化を考慮した最適な階調変換を行うことにより高画質な映像信号を得ることができる画像処理装置等を提供する。
【解決手段】ＣＣＤ３により得られた映像信号を縮小し、縮小された映像信号に対して特性の異なる複数の階調変換処理を行い、映像信号の情報量と、ノイズの情報量と、を算出する情報量算出部１２と、この情報量算出部１２により算出された情報量に基づいて、階調変換特性に対する映像信号の情報量およびノイズの情報量の関係を定式化し、有効な情報量を最大にする階調変換曲線を階調変換処理に用いる階調変換曲線として設定する設定部１３と、設定部１３により設定された階調変換曲線に基づいて映像信号に対して階調変換処理を行う階調変換部１４と、を備えた画像処理装置。
【選択図】図１

Description

本発明は、映像信号に対して適応的に階調変換処理を行う画像処理装置、画像処理プログラムに係り、特に、ノイズ成分の影響を考慮した最適な階調変換処理を行い得る画像処理装置、画像処理プログラムに関する。

現在のデジタルスチルカメラやビデオカメラなどの撮像装置においては、デジタル信号処理の桁落ちによる画質劣化を防止するために、最終的な出力信号の階調幅（通常８ｂｉｔ）に対して、入力系および処理系における信号の階調幅（１０〜１２ｂｉｔ程度）をより広く設定するのが一般的である。

このような構成の場合には、出力系の階調幅に合致するように、絵作り処理と併せて、階調変換処理を行う必要がある。

このとき、従来の階調変換処理は、標準的なシーンに対する固定的な階調変換曲線を用いて、映像信号の階調変換を行っていた。

これに対して、適応的に階調変換処理を行う技術も提案されており、例えば、ヒストグラムに基づいて画像毎に階調変換曲線を求め、求めた階調変換曲線に基づき階調変換を行うものが挙げられる。

さらに、特許３４２４０６０号には、映像信号を所定数の領域に分割して、分割した領域毎にヒストグラムに基づき階調変換曲線を求め、求めた階調変換曲線により階調変換処理を行い、その後に、変換後の各領域を合成する技術が記載されている。

加えて、特許３４６５２２６号には、テクスチャ情報に基づき映像信号を複数の領域に分割し、分割した領域毎にヒストグラムに基づき階調変換曲線を求めて、求めた階調変換曲線により階調変換処理を行う技術が記載されている。

また、特開２００３−６９８２１号公報には、撮影状況を推定することにより、主要被写体を重視した階調変換処理を行う技術が記載されている。該公報には、さらに、得られた階調変換曲線に一定の制限を課すことにより、ノイズなどの副作用を抑制する技術が記載されている。

ノイズを低減する技術は、その他にも種々のものが提案されており、例えば、特開２００４−７２４２２号公報には、ノイズ量を動的に推定することにより、高品位なノイズ低減処理を行う技術が記載されている。
特許３４２４０６０号特許３４６５２２６号特開２００３−６９８２１号公報特開２００４−７２４２２号公報

しかしながら、上述したような、従来の固定的な階調変換曲線では、逆光などの標準的でない状況では適切な映像信号が得られないという課題がある。

また、上記特許３４２４０６０号や特許３４６５２２６号に記載された技術では、ヒストグラムに基づき画像毎に階調変換曲線を求めるものとなっているために、ノイズ成分の増加に関しての考慮がなされておらず、画質的に最適な階調変換処理が行われるとは限らないという課題がある。

さらに、特開２００３−６９８２１号公報に記載された技術では、事前に定められた制限下で階調変換処理を行っているために、一般的な画像においてはノイズによる破綻が生じないものの、明暗比の大きい画像などでは十分なノイズ抑制効果が得られないという課題がある。加えて、該公報に記載の技術では、常に最適な階調変換処理が行われる保証がなく、画質的に不十分になる可能性があるという課題がある。

そして、特開２００４−７２４２２号公報に記載された技術では、ノイズ低減処理と階調変換処理とが独立しているために、相互を最適に活用することができないという課題がある。

本発明は上記事情に鑑みてなされたものであり、ノイズ成分の変化を考慮した最適な階調変換を行うことにより高画質な映像信号を得ることができる画像処理装置、画像処理プログラムを提供することを目的としている。

また、本発明は、ノイズ低減処理によるノイズ成分の変化と、階調変換処理によるノイズ成分の変化と、の両方を考慮した最適な階調変換を行うことにより、高画質な映像信号を得ることができる画像処理装置、画像処理プログラムを提供することを目的としている。

上記の目的を達成するために、第１の発明による画像処理装置は、撮像系から得られた映像信号に対して階調変換処理を行う画像処理装置において、上記映像信号から映像信号の情報量とノイズの情報量とを算出する情報量算出手段と、上記情報量に基づき階調変換処理に用いる階調変換曲線を設定する設定手段と、上記階調変換曲線に基づき上記映像信号に対して階調変換処理を行う階調変換手段と、を具備したものである。

また、第２の発明による画像処理装置は、撮像系から得られた映像信号に対して階調変換処理を行う画像処理装置において、上記映像信号を複数の領域に分割する分割手段と、上記領域の映像信号から映像信号の情報量とノイズの情報量とを算出する情報量算出手段と、上記情報量に基づき階調変換処理に用いる階調変換曲線を設定する設定手段と、上記階調変換曲線に基づき上記領域の映像信号に対して階調変換処理を行う階調変換手段と、上記領域毎に上記情報量算出手段と上記設定手段と上記階調変換手段とを順次適用するように制御する制御手段と、を具備したものである。

さらに、第３の発明による画像処理装置は、撮像系から得られた映像信号に対してノイズ低減処理と階調変換処理とを行う画像処理装置において、上記映像信号のノイズ量を画素単位または所定単位面積毎に推定するノイズ推定手段と、上記映像信号に対して上記ノイズ量に基づきノイズ低減処理を行うノイズ低減手段と、上記ノイズ低減処理後の映像信号から映像信号の情報量とノイズの情報量とを算出する情報量算出手段と、上記情報量に基づき階調変換処理に用いる階調変換曲線を設定する設定手段と、上記階調変換曲線に基づき上記ノイズ低減処理後の映像信号に対して階調変換処理を行う階調変換手段と、を具備したものである。

第４の発明による画像処理装置は、撮像系から得られた映像信号に対してノイズ低減処理と階調変換処理とを行う画像処理装置において、上記映像信号のノイズ量を画素単位または所定単位面積毎に推定するノイズ推定手段と、上記映像信号に対して上記ノイズ量に基づきノイズ低減処理を行うノイズ低減手段と、上記ノイズ低減処理後の映像信号を複数の領域に分割する分割手段と、上記領域の映像信号から映像信号の情報量とノイズの情報量とを算出する情報量算出手段と、上記情報量に基づき階調変換処理に用いる階調変換曲線を設定する設定手段と、上記階調変換曲線に基づき上記ノイズ低減処理後の領域の映像信号に対して階調変換処理を行う階調変換手段と、上記領域毎に上記情報量算出手段と上記設定手段と上記階調変換手段とを順次適用するように制御する制御手段と、を具備したものである。

第５の発明による画像処理装置は、上記第１または第２の発明による画像処理装置において、上記情報量算出手段が、上記映像信号または上記領域の映像信号を所定の縮小率で縮小映像信号へ変換する縮小手段と、上記縮小映像信号に対して階調特性の異なる複数の階調変換曲線を用いて階調変換処理を行う前処理手段と、上記階調変換処理がなされた縮小映像信号から映像信号の情報量を算出する第１の算出手段と、上記階調変換処理がなされた縮小映像信号のノイズ量を画素単位または所定単位面積毎に推定するノイズ推定手段と、上記ノイズ量からノイズの情報量を算出する第２の算出手段と、を有して構成されたものである。

第６の発明による画像処理装置は、上記第３または第４の発明による画像処理装置において、上記情報量算出手段が、上記映像信号または上記領域の映像信号を所定の縮小率で縮小映像信号へ変換する縮小手段と、上記縮小映像信号に対して階調特性の異なる複数の階調変換曲線を用いて階調変換処理を行う前処理手段と、上記階調変換処理がなされた縮小映像信号から映像信号の情報量を算出する第１の算出手段と、上記階調変換処理がなされた縮小映像信号のノイズ量を画素単位または所定単位面積毎に推定する第２のノイズ推定手段と、上記ノイズ量からノイズの情報量を算出する第２の算出手段と、上記ノイズの情報量に対して上記ノイズ低減処理による低減効果に相応する補正を行う補正手段と、を有して構成されたものである。

第７の発明による画像処理装置は、上記第５または第６の発明による画像処理装置において、上記前処理手段が、所定の基準階調変換曲線と、この基準階調変換曲線に所定の乗算係数を乗算して生成した派生階調変換曲線と、上記乗算係数と、を記録する記録手段を有して構成されたものである。

第８の発明による画像処理装置は、上記第５または第６の発明による画像処理装置において、上記前処理手段が、上記映像信号のレベルに基づき適正露光域を抽出する適正域抽出手段と、上記適正露光域に関してエッジ量を算出するエッジ算出手段と、上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、上記階調変換曲線と所定の基準階調変換曲線間との距離を算出する距離算出手段と、上記距離を調整することにより派生階調変換曲線を生成する生成手段と、を有して構成されたものである。

第９の発明による画像処理装置は、上記第１または第３の発明による画像処理装置において、上記情報量算出手段が、上記映像信号から関心領域を抽出する関心領域抽出手段と、上記関心領域に関して重み係数を設定する重み係数設定手段と、上記重み係数に基づき上記映像信号の情報量とノイズの情報量との少なくとも一方に補正を行う重み係数補正手段と、を有して構成されたものである。

第１０の発明による画像処理装置は、上記第９の発明による画像処理装置において、上記関心領域抽出手段が、上記映像信号から色と周波数とテクスチャとの内の少なくとも１つに関する特徴量を算出する特徴量算出手段を有して構成されたものである。

第１１の発明による画像処理装置は、上記第２または第４の発明による画像処理装置において、上記情報量算出手段が、上記領域に関して重み係数を設定する重み係数設定手段と、上記重み係数に基づき上記映像信号の情報量とノイズの情報量との少なくとも一方に補正を行う重み係数補正手段と、を有して構成されたものである。

第１２の発明による画像処理装置は、上記第２または第４の発明による画像処理装置において、上記分割手段が、上記映像信号から色と周波数とテクスチャとの内の少なくとも１つに関する特徴量を算出する特徴量算出手段と、上記映像信号に対して上記特徴量に基づきラベル付けを行うラベル付け手段と、を有して構成されたものである。

第１３の発明による画像処理装置は、上記第２または第４の発明による画像処理装置において、上記分割手段が、上記映像信号を表示し得るとともにタッチパネル機能を有する画像表示手段と、上記画像表示手段からの指示に基づき領域を分割する領域設定手段と、上記映像信号に対して上記画像表示手段からの指示に基づきラベル付けを行うラベル付け手段と、を有して構成されたものである。

第１４の発明による画像処理装置は、上記第２または第４の発明による画像処理装置において、上記分割手段が、上記映像信号を複数のブロック領域に分割して表示し得る画像表示手段と、上記複数のブロック領域の内の少なくとも１つのブロック領域を選択するためのブロック選択手段と、上記映像信号に対して上記選択されたブロック領域に基づきラベル付けを行うラベル付け手段と、を有して構成されたものである。

第１５の発明による画像処理装置は、上記第１から第４の発明による画像処理装置において、上記設定手段が、上記映像信号の情報量と所定の予測式とに基づいて階調変換特性に対する映像信号の情報量の関係を定式化する第１の定式化手段と、上記ノイズの情報量と所定の予測式とに基づいて階調変換特性に対するノイズの情報量の関係を定式化する第２の定式化手段と、上記映像信号に関する情報量の定式と上記ノイズに関する情報量の定式とに基づいて有効な情報量を最大にする階調変換特性を探索する探索手段と、上記階調変換特性に対応する階調変換曲線を出力する出力手段と、を有して構成されたものである。

第１６の発明による画像処理装置は、上記第１５の発明による画像処理装置において、上記設定手段が、上記階調変換特性として基準階調変換曲線に対する乗算係数を用いるものである。

第１７の発明による画像処理装置は、上記第１５の発明による画像処理装置において、上記設定手段が、上記階調変換特性として基準階調変換曲線に対する距離を用いるものである。

第１８の発明による画像処理装置は、上記第１５の発明による画像処理装置において、上記第１の定式化手段と上記第２の定式化手段との少なくとも一方が、上記予測式として２次関数式を用いるものである。

第１９の発明による画像処理装置は、上記第３から第６の発明による画像処理装置において、上記ノイズ推定手段が、上記撮像系の温度値と上記映像信号に対するゲイン値とに関する情報を収集する収集手段と、上記収集手段で得られない情報に関して標準値を付与する標準値付与手段と、上記画素または上記所定単位面積を包含する所定サイズの局所領域の映像信号の平均値を算出する平均算出手段と、上記収集手段または上記標準値付与手段からの情報と上記平均値とに基づいてノイズ量を求めるノイズ量算出手段と、を有して構成されたものである。

第２０の発明による画像処理装置は、上記第３または第４の発明による画像処理装置において、上記ノイズ低減手段が、上記推定されたノイズ量に基づきノイズ範囲を設定するノイズ範囲設定手段と、上記映像信号がノイズ範囲に属する場合に該映像信号に平滑化を行う第１のスムージング手段と、上記映像信号がノイズ範囲に属さない場合に該映像信号に補正を行う第２のスムージング手段と、を有して構成されたものである。

第２１の発明による画像処理装置は、上記第２または第４の発明による画像処理装置において、上記階調変換処理後の各領域の映像信号を合成する合成手段をさらに具備したものである。

第２２の発明による画像処理装置は、上記第１から第４の発明による画像処理装置において、上記撮像系が、Ｒ（赤），Ｇ（緑），Ｂ（青）Ｂａｙｅｒ型原色フィルタを前面に配置した単板撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子、を有して構成されたものである。

第２３の発明による画像処理プログラムは、コンピュータに、撮像系から得られた映像信号に対して階調変換処理を行わせるための画像処理プログラムであって、コンピュータに、上記映像信号から映像信号の情報量とノイズの情報量とを算出する情報量算出手順、上記情報量に基づき階調変換処理に用いる階調変換曲線を設定する設定手順、上記階調変換曲線に基づき上記映像信号に対して階調変換処理を行う階調変換手順、を実行させるためのプログラムである。

第２４の発明による画像処理プログラムは、コンピュータに、撮像系から得られた映像信号に対して階調変換処理を行わせるための画像処理プログラムであって、コンピュータに、上記映像信号を複数の領域に分割する分割手順、上記領域の映像信号から映像信号の情報量とノイズの情報量とを算出する情報量算出手順、上記情報量に基づき階調変換処理に用いる階調変換曲線を設定する設定手順、上記階調変換曲線に基づき上記領域の映像信号に対して階調変換処理を行う階調変換手順、上記領域毎に上記情報量算出手順と上記設定手順と上記階調変換手順とを順次適用するように制御する制御手順、を実行させるためのプログラムである。

第２５の発明による画像処理プログラムは、コンピュータに、撮像系から得られた映像信号に対してノイズ低減処理と階調変換処理とを行わせるための画像処理プログラムであって、コンピュータに、上記映像信号のノイズ量を画素単位または所定単位面積毎に推定するノイズ推定手順、上記映像信号に対して上記ノイズ量に基づきノイズ低減処理を行うノイズ低減手順、上記ノイズ低減処理後の映像信号から映像信号の情報量とノイズの情報量とを算出する情報量算出手順、上記情報量に基づき階調変換処理に用いる階調変換曲線を設定する設定手順、上記階調変換曲線に基づき上記ノイズ低減処理後の映像信号に対して階調変換処理を行う階調変換手順、を実行させるためのプログラムである。

第２６の発明による画像処理プログラムは、コンピュータに、撮像系から得られた映像信号に対してノイズ低減処理と階調変換処理とを行わせるための画像処理プログラムであって、コンピュータに、上記映像信号のノイズ量を画素単位または所定単位面積毎に推定するノイズ推定手順、上記映像信号に対して上記ノイズ量に基づきノイズ低減処理を行うノイズ低減手順、上記ノイズ低減処理後の映像信号を複数の領域に分割する分割手順、上記領域の映像信号から映像信号の情報量とノイズの情報量とを算出する情報量算出手順、上記情報量に基づき階調変換処理に用いる階調変換曲線を設定する設定手順、上記階調変換曲線に基づき上記ノイズ低減処理後の領域の映像信号に対して階調変換処理を行う階調変換手順、上記領域毎に上記情報量算出手順と上記設定手順と上記階調変換手順とを順次適用するように制御する制御手順、を実行させるためのプログラムである。

第２７の発明による画像処理プログラムは、上記第２３または第２４の発明による画像処理プログラムにおいて、上記情報量算出手順が、上記映像信号または上記領域の映像信号を所定の縮小率で縮小映像信号へ変換する縮小手順と、上記縮小映像信号に対して階調特性の異なる複数の階調変換曲線を用いて階調変換処理を行う前処理手順と、上記階調変換処理がなされた縮小映像信号から映像信号の情報量を算出する第１の算出手順と、上記階調変換処理がなされた縮小映像信号のノイズ量を画素単位または所定単位面積毎に推定するノイズ推定手順と、上記ノイズ量からノイズの情報量を算出する第２の算出手順と、を含む。

第２８の発明による画像処理プログラムは、上記第２５または第２６の発明による画像処理プログラムにおいて、上記情報量算出手順が、上記映像信号または上記領域の映像信号を所定の縮小率で縮小映像信号へ変換する縮小手順と、上記縮小映像信号に対して階調特性の異なる複数の階調変換曲線を用いて階調変換処理を行う前処理手順と、上記階調変換処理がなされた縮小映像信号から映像信号の情報量を算出する第１の算出手順と、上記階調変換処理がなされた縮小映像信号のノイズ量を画素単位または所定単位面積毎に推定する第２のノイズ推定手順と、上記ノイズ量からノイズの情報量を算出する第２の算出手順と、上記ノイズの情報量に対して上記ノイズ低減処理による低減効果に相応する補正を行う補正手順と、を含む。

第２９の発明による画像処理プログラムは、上記第２３または第２５の発明による画像処理プログラムにおいて、上記情報量算出手順が、上記映像信号から関心領域を抽出する関心領域抽出手順と、上記関心領域に関して重み係数を設定する重み係数設定手順と、上記重み係数に基づき上記映像信号の情報量とノイズの情報量との少なくとも一方に補正を行う重み係数補正手順と、を含む。

第３０の発明による画像処理プログラムは、上記第２４または第２６の発明による画像処理プログラムにおいて、上記情報量算出手順が、上記領域に関して重み係数を設定する重み係数設定手順と、上記重み係数に基づき上記映像信号の情報量とノイズの情報量との少なくとも一方に補正を行う重み係数補正手順と、を含む。

第３１の発明による画像処理プログラムは、上記第２３から第２６の発明による画像処理プログラムにおいて、上記設定手順が、上記映像信号の情報量と所定の予測式とに基づいて階調変換特性に対する映像信号の情報量の関係を定式化する第１の定式化手順と、上記ノイズの情報量と所定の予測式とに基づいて階調変換特性に対するノイズの情報量の関係を定式化する第２の定式化手順と、上記映像信号に関する情報量の定式と上記ノイズに関する情報量の定式とに基づいて有効な情報量を最大にする階調変換特性を探索する探索手順と、上記階調変換特性に対応する階調変換曲線を出力する出力手順と、を含む。

第３２の発明による画像処理プログラムは、上記第３１の発明による画像処理プログラムにおいて、上記第１の定式化手順と上記第２の定式化手順との少なくとも一方が、上記予測式として２次関数式を用いる手順である。

本発明の画像処理装置、画像処理プログラムによれば、ノイズ成分の変化を考慮した最適な階調変換を行うことにより高画質な映像信号を得ることができる。

また、本発明の画像処理装置、画像処理プログラムによれば、ノイズ低減処理によるノイズ成分の変化と、階調変換処理によるノイズ成分の変化と、の両方を考慮した最適な階調変換を行うことにより、高画質な映像信号を得ることができる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１５は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図、図２はＢａｙｅｒ型原色フィルタの構成を示す図、図３は色差線順次型補色フィルタの構成を示す図、図４は情報量算出部の構成を示すブロック図、図５は階調変換曲線を示す線図、図６はノイズ量推定部の構成を示すブロック図、図７は設定部の構成を示すブロック図、図８は情報量を最大化する階調変換曲線を探索する際の階調変換特性パラメータと情報量との関係を示す線図、図９は情報量算出部の他の構成例を示すブロック図、図１０は図９に示した構成例における階調変換曲線を示す線図、図１１は画像処理装置の他の構成例を示すブロック図、図１２は画像処理プログラムによる処理の全体を示すフローチャート、図１３は画像処理プログラムにおける情報量算出の処理を示すフローチャート、図１４は画像処理プログラムにおける階調変換曲線設定の処理を示すフローチャート、図１５は画像処理プログラムにおけるノイズ量推定の処理を示すフローチャートである。

この実施形態は、画像処理装置を撮像装置に適用したものとなっている。

この撮像装置は、図１に示すように、レンズ系１と、絞り２と、ＣＣＤ３と、Ｇａｉｎ４と、Ａ／Ｄ変換部５と、バッファ６と、ＰｒｅＷＢ部７と、測光評価部８と、合焦点検出部９と、ＡＦモータ１０と、Ｙ／Ｃ分離部１１と、情報量算出部１２と、設定部１３と、階調変換部１４と、彩度強調部１５と、Ｙ／Ｃ合成部１６と、信号処理部１７と、出力部１８と、制御部１９と、外部Ｉ／Ｆ部２０と、を有して構成されている。

レンズ系１は、被写体像を結像するための撮像光学系である。

絞り２は、このレンズ系１内に配置されていて、該レンズ系１における光束の通過範囲を規定するためのものである。

ＣＣＤ３は、この絞り２を介してレンズ系１により結像される光学的な被写体像を光電変換して電気的な映像信号を出力するものであり、例えばＢａｙｅｒ型原色フィルタが前面に配置された単板ＣＣＤ等でなる撮像素子となっている。

Ｇａｉｎ４は、このＣＣＤ３から出力される映像信号を増幅するものである。

Ａ／Ｄ変換部５は、このＧａｉｎ４により増幅されたアナログの映像信号をデジタル信号へ変換するものである。

バッファ６は、このＡ／Ｄ変換部５から出力されるデジタルの画像データを一時的に記憶するものである。

ＰｒｅＷＢ部７は、バッファ６に記憶された画像データの内の所定輝度レベルの信号を色信号毎に積算することにより、簡易ホワイトバランス係数を算出し、Ｇａｉｎ４へ出力するものである。

測光評価部８は、バッファ６に記憶された画像データに基づき被写体に関する測光評価を行い、その評価結果に基づき絞り２、ＣＣＤ３、およびＧａｉｎ４の制御を行うものである。

合焦点検出部９は、バッファ６に記憶された画像データに基づき合焦点検出を行い、検出結果に基づきＡＦモータ１０を駆動するものである。

ＡＦモータ１０は、この合焦点検出部９により制御されて、レンズ系１に含まれるフォーカスレンズ等の駆動を行うものである。

Ｙ／Ｃ分離部１１は、バッファ６から映像信号を読み出して、輝度信号と色差信号とに分離する分離手段である。

情報量算出部１２は、Ｙ／Ｃ分離部１１により分離された輝度信号から、複数の階調変換曲線に対する映像信号の情報量とノイズの情報量とを算出する情報量算出手段である。

設定部１３は、情報量算出部１２により算出された、複数の階調変換曲線に対する映像信号の情報量およびノイズの情報量に基づいて、有効な情報量を最大化する階調変換特性を探索し、探索された階調変換特性に対応する階調変換曲線を算出する設定手段である。

階調変換部１４は、設定部１３からの階調変換曲線を用いて、Ｙ／Ｃ分離部１１からの輝度信号Ｙに対して階調変換処理を行う階調変換手段である。

彩度強調部１５は、Ｙ／Ｃ分離部１１からの色差信号Ｃｂ，Ｃｒに対して所定のゲインを乗算することにより彩度強調処理を行う彩度強調手段である。

Ｙ／Ｃ合成部１６は、階調変換部１４からの輝度信号Ｙと、彩度強調部１５からの色差信号Ｃｂ，Ｃｒと、に基づき、Ｒ，Ｇ，Ｂ信号を算出するものである。

信号処理部１７は、Ｙ／Ｃ合成部１６からのＲ，Ｇ，Ｂ信号に公知の圧縮処理などの信号処理を施すものである。

出力部１８は、信号処理部１７により処理された映像信号を、例えばメモリカード等の記録媒体に記録し保存するものである。

制御部１９は、例えばマイクロコンピュータ等を含んで構成され、この撮像装置全体を制御するための制御手段であって、収集手段を兼ねたものとなっている。この制御部１９は、Ｇａｉｎ４、Ａ／Ｄ変換部５、ＰｒｅＷＢ部７、測光評価部８、合焦点検出部９、Ｙ／Ｃ分離部１１、情報量算出部１２、設定部１３、階調変換部１４、彩度強調部１５、Ｙ／Ｃ合成部１６、信号処理部１７、出力部１８、外部Ｉ／Ｆ部２０、と双方向に接続されていて、これらを制御するようになっている。

外部Ｉ／Ｆ２０は、撮像装置の電源をオン／オフするための電源スイッチ、撮像動作を指示入力するためのシャッタボタン、撮影時の各種モードを切り換えるためのモード切換ボタン、などの外部とのインターフェースを備えたものである。

次に、図１に示したような撮像装置における信号の流れについて説明する。

この撮像装置は、外部Ｉ／Ｆ部２０を介してＩＳＯ感度などの撮影条件を設定した後に、２段式の押しボタンスイッチでなるシャッタボタンを半押しにすることにより、プリ撮像モードに入る。

レンズ系１および絞り２を介してＣＣＤ３により撮影され出力された映像信号は、アナログ信号として出力される。

なお、本実施形態においては、上述したように、Ｂａｙｅｒ型原色フィルタを前面に配置した単板撮像素子（単板ＣＣＤ）を含む撮像系を想定している。ここに、Ｂａｙｅｒ型原色フィルタの構成は、図２に示すようになっている。Ｂａｙｅｒ型は、２×２画素を基本単位として、対角方向の２画素に緑（Ｇ）フィルタが、他の対角方向の２画素に赤（Ｒ），青（Ｂ）フィルタが１画素ずつ、それぞれ配置されたものである。

ただし、撮像素子としてＢａｙｅｒ型原色フィルタを用いた構成に限定される必要はない。例えば、図３に示すような色差線順次型補色フィルタを前面に配置した単板撮像素子を適用することも可能である。この色差線順次型補色フィルタは、例えば、奇数ラインにシアン（Ｃｙ），イエロー（Ｙｅ）フィルタが交互に、偶数ラインに緑（Ｇ），マゼンタ（Ｍｇ）フィルタが交互に、それぞれ配列されたものであって、かつ、偶数ラインの開始位置にあるフィルタが緑（Ｇ）とマゼンタ（Ｍｇ）とで交互に入れ替わるように構成されたものである。さらに、撮像素子としては、これらに限らず、二板撮像素子や三板撮像素子を利用することも可能である。

また、ＣＣＤ３から出力されたアナログの映像信号は、Ａ／Ｄ変換部５によりデジタルの映像信号に変換される。ここに、Ａ／Ｄ変換部５は、例えば、１２ビット（０〜４０９５）のビット精度の映像信号に変換するものを想定している。

Ａ／Ｄ変換部５から出力されるデジタルの映像信号は、バッファ６に記憶された後に、ＰｒｅＷＢ部７と、測光評価部８と、合焦点検出部９と、へそれぞれ転送される。

ＰｒｅＷＢ部７は、所定輝度レベルの信号を色信号毎に積算することにより簡易ホワイトバランス係数を算出する。このＰｒｅＷＢ部７により算出された簡易ホワイトバランス係数は、Ｇａｉｎ４へ転送される。Ｇａｉｎ４は、簡易ホワイトバランス係数に基づき色信号毎に異なるゲインを設定することにより、簡易ホワイトバランス処理を行う。

測光評価部８は、設定されたＩＳＯ感度や手ぶれ限界のシャッタ速度などを考慮しながら、映像信号中の輝度レベルを求めて、適正露光となるように絞り２による絞り値やＣＣＤ３の電子シャッタ速度やＧａｉｎ４の増幅率などを制御する。

また、合焦点検出部９は、映像信号中のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ１０を制御し合焦信号を得る。

このようなプリ撮像モードの動作を行うことにより本撮影の準備が整ったところで、次に、外部Ｉ／Ｆ部２０を介してシャッタボタンが全押しにされたことを検出すると、制御部１９は、本撮影の制御を行う。

本撮影の動作が開始されると、ＰｒｅＷＢ部７により求められた簡易ホワイトバランス係数と、測光評価部８により求められた露光条件と、合焦点検出部９により求められた合焦条件と、に基づき本撮影が行われる。また、これらの撮影時の条件は、制御部１９へも転送される。

こうして、ＣＣＤ３から出力される映像信号は、バッファ６へ転送され、さらに、Ｙ／Ｃ分離部１１へ転送される。

Ｙ／Ｃ分離部１１は、制御部１９の制御に基づいて、Ｒ，Ｇ，Ｂ信号毎に公知の補間処理を行って三板状態の信号に変換した後に、次の数式１に示すように、輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを求める。
［数１］
Ｙ＝０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ

上記輝度信号Ｙは、情報量算出部１２および階調変換部１４へ、上記色差信号Ｃｂ，Ｃｒは彩度強調部１５へ、それぞれ転送される。

情報量算出部１２は、制御部１９の制御に基づいて、上記輝度信号Ｙから複数の階調変換曲線に対する映像信号の情報量Ｅimg とノイズの情報量Ｅnoise とを算出する。算出された映像信号の情報量Ｅimg とノイズの情報量Ｅnoise と複数の階調変換曲線を特徴付ける階調変換特性とは、設定部１３へ転送される。

設定部１３は、制御部１９の制御に基づいて、情報量算出部１２からの映像信号の情報量Ｅimg とノイズの情報量Ｅnoise と階調変換特性とから、有効な情報量を最大化する階調変換特性を探索し、探索した階調変換特性に対応する階調変換曲線を算出する。算出された階調変換曲線は、階調変換部１４へ転送される。

階調変換部１４は、制御部１９の制御に基づいて、設定部１３からの階調変換曲線を用いてＹ／Ｃ分離部１１からの輝度信号Ｙに対して階調変換処理を行う。なお、これら情報量算出部１２、設定部１３、階調変換部１４の動作は、制御部１９の制御に基づいて、順次実行されるようになっている。

また、彩度強調部１５は、制御部１９の制御に基づいて、Ｙ／Ｃ分離部１１からの色差信号Ｃｂ，Ｃｒに対して所定のゲインを乗算することにより、彩度強調処理を行う。

階調変換部１４からの輝度信号Ｙと、彩度強調部１５からの色差信号Ｃｂ，Ｃｒとは、Ｙ／Ｃ合成部１６へ転送されて、次の数式２に示すように、Ｒ，Ｇ，Ｂ信号が算出される。
［数２］
Ｒ＝Ｙ＋１．４０２００Ｃｒ
Ｇ＝Ｙ−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ
Ｂ＝Ｙ＋１．７７２００Ｃｂ

なお、これら階調変換部１４、彩度強調部１５、Ｙ／Ｃ合成部１６の動作は、制御部１９の制御に基づいて、同期して実行されるようになっている。

Ｙ／Ｃ合成部１６からのＲ，Ｇ，Ｂ信号は、信号処理部１７へ転送される。信号処理部１７は、転送されたＲ，Ｇ，Ｂ信号に公知の圧縮処理などを行い、処理結果を出力部１８へ転送する。

出力部１８は、制御部１９の制御に基づいて、信号処理部１７から転送された映像信号を、メモリカードなどの記録媒体へ記録して保存する。

次に、図４を参照して、情報量算出部１２の構成の一例について説明する。

この情報量算出部１２は、縮小部２１と、縮小画像用バッファ２２と、テクスチャ解析部２３と、関心領域抽出部２４と、重み係数設定部２５と、重み係数用バッファ２６と、階調変換曲線ＲＯＭ２７と、前処理部２８と、ノイズ量推定部２９と、出現確率算出部３０と、エントロピー算出部３１と、を有して構成されている。

また、制御部１９は、縮小部２１、テクスチャ解析部２３、関心領域抽出部２４、重み係数設定部２５、前処理部２８、ノイズ量推定部２９、出現確率算出部３０、エントロピー算出部３１と双方向に接続されていて、これらを制御するようになっている。

縮小手段たる縮小部２１は、制御部１９の制御に基づいて、Ｙ／Ｃ分離部１１から数式１に示した輝度信号Ｙを読み込み、所定の縮小率によって縮小し、縮小画像用バッファ２２へ転送する。なお、縮小部２１の縮小率は、処理速度と画質とを考量して、任意に設定することができる。また、画質を最優先する場合には、縮小処理を省略して原信号をそのまま縮小画像用バッファ２２へ転送することも可能である。

テクスチャ解析部２３は、制御部１９の制御に基づいて、縮小画像用バッファ２２から縮小輝度信号Ｙを読み込み、テクスチャの解析を行うものであり、関心領域抽出手段と特徴量算出手段とを兼ねたものである。このテクスチャ解析部２３は、例えば上述した特許３４６５２２６号に記載されているような公知のテクスチャ解析を用いるようになっている。

関心領域抽出手段たる関心領域抽出部２４は、縮小画像用バッファ２２から縮小輝度信号Ｙを、テクスチャ解析部２３からテクスチャ解析の結果を読み込む。次に、関心領域抽出部２４は、上記テクスチャ解析の結果に基づき、テクスチャ構造の存在する領域を関心領域とするとともに、テクスチャ構造の存在しない領域を背景領域として分離し、両方の領域を重み係数設定部２５へ転送する。

重み係数設定手段たる重み係数設定部２５は、制御部１９の制御に基づいて、関心領域抽出部２４から関心領域と背景領域とを読み込む。次に、重み係数設定部２５は、関心領域には重み係数として例えば２．０を設定し、背景領域には重み係数として例えば１．０を設定して、設定した各重み係数を重み係数用バッファ２６へ転送する。

一方、前処理手段たる前処理部２８は、制御部１９の制御に基づいて、縮小画像用バッファ２２から縮小輝度信号Ｙを読み込むとともに、階調変換曲線ＲＯＭ２７から３種類の階調変換曲線を読み込む。

ここで、図５は、前処理手段であり記録手段たる階調変換曲線ＲＯＭ２７に記録されている３種類の階調変換曲線の一例を示したものである。図５のＴｏｎｅ（Ｇａｉｎ＝１．０）は基準階調変換曲線を、Ｔｏｎｅ（Ｇａｉｎ＝１．２）はＴｏｎｅ（Ｇａｉｎ＝１．０）の変化率に乗算係数Ｇａｉｎ＝１．２を乗算して生成した派生階調変換曲線を、Ｔｏｎｅ（Ｇａｉｎ＝０．８）はＴｏｎｅ（Ｇａｉｎ＝１．０）の変化率に乗算係数Ｇａｉｎ＝０．８を乗算して生成した派生階調変換曲線を、それぞれ示している。

ここに、乗算係数Ｇａｉｎは、階調変換曲線を特徴付ける階調変換特性の一つとなっていて、上述したように、基準階調変換曲線はＧａｉｎ＝１．０である。そして、これらの階調変換特性としての乗算係数Ｇａｉｎも、階調変換曲線ＲＯＭ２７に記録されている。

前処理部２８は、上述したような３種類の階調変換曲線を用いて、縮小画像用バッファ２２から読み込んだ縮小輝度信号Ｙに対して階調変換処理を行い、この結果をノイズ量推定部２９と出現確率算出部３０とへ転送する。また、前処理部２８は、階調変換曲線ＲＯＭ２７から読み込んだ基準階調変換曲線を設定部１３へ転送する。

ノイズ推定手段たるノイズ量推定部２９は、制御部１９の制御に基づいて、前処理部２８から３種類の階調変換曲線により階調変換処理がなされた縮小輝度信号Ｙを順次読み込んで、対応するノイズ量を推定し、ノイズ信号を生成する。このノイズ信号生成の過程については、図６を参照して後で説明する。

重み係数補正手段たる出現確率算出部３０は、制御部１９の制御に基づいて、前処理部２８から３種類の縮小輝度信号Ｙを読み込むとともに、ノイズ量推定部２９から３種類のノイズ信号を読み込んで、出現確率Ｐｒｏ（ｉ）を算出する。ここに、「ｉ」は画素値（本実施形態では１２ビットを想定しているために、ｉ＝０〜４０９５）を意味している。また、出現確率Ｐｒｏ（ｉ）は、より詳しくは、３種類の縮小輝度信号ＹからＰｒｏ＿ｉｍｇ_j（ｉ）が、３種類のノイズ信号からＰｒｏ＿ｎｏｉｓｅ_j（ｉ）が、それぞれ算出されるために、結局、全体で６種類の出現確率が算出されることになる。なお、「ｊ」は、ｊ＝０〜２の値をとり、上記信号（縮小輝度信号、ノイズ信号）の種類（つまり、図５に示したような、１つの基準階調変換曲線と２つの派生階調変換曲線とに対応した種類）を意味している。また、出現確率算出部３０は、重み係数用バッファ２６から重み係数を読み込んで、読み込んだ重み係数に応じて出現確率を調整する。本実施形態では、上述したように、関心領域に重み係数２．０を設定することを想定しているために、関心領域にある画素値は２．０倍存在しているものとして出現確率が算出される。こうして出現確率算出部３０により算出された６種類の出現確率Ｐｒｏ＿ｉｍｇ_j（ｉ），Ｐｒｏ＿ｎｏｉｓｅ_j（ｉ）は、エントロピー算出部３１へ転送される。

エントロピー算出部３１は、第１の算出手段、第２の算出手段、重み係数補正手段を兼ねたものであって、制御部１９の制御に基づいて、出現確率算出部３０から６種類の出現確率Ｐｒｏ＿ｉｍｇ_j（ｉ），Ｐｒｏ＿ｎｏｉｓｅ_j（ｉ）を読み込み、映像信号の情報量としてのエントロピーＥ＿ｉｍｇ_jと、ノイズ信号の情報量としてのエントロピーＥ＿ｎｏｉｓｅ_jとを、次の数式３に示すように各算出する。
［数３］

こうしてエントロピー算出部３１により算出された映像信号の情報量Ｅ＿ｉｍｇ_jと、ノイズ信号の情報量Ｅ＿ｎｏｉｓｅ_jとは、設定部１３へ転送される。

続いて、図６を参照して、ノイズ量推定部２９の構成の一例について説明する。

このノイズ量推定部２９は、平均算出部４１と、ゲイン算出部４２と、標準値付与部４３と、ノイズＬＵＴ４４と、を有して構成されている。

また、制御部１９は、平均算出部４１、ゲイン算出部４２、標準値付与部４３、ノイズＬＵＴ４４と双方向に接続されていて、これらを制御するようになっている。

平均算出手段たる平均算出部４１は、制御部１９の制御に基づいて、前処理部２８から３種類の縮小輝度信号Ｙを読み込み、注目画素を包含する所定サイズ、例えば３×３画素単位の局所領域を順次抽出する。ここに、局所領域は注目画素毎に設定されるようになっていて、注目画素が画素単位で走査されるために、局所領域は重複して抽出されることになる。そして、平均算出部４１は、抽出した局所領域毎に平均値を算出して、算出した平均値をノイズＬＵＴ４４へ転送する。

収集手段たるゲイン算出部４２は、制御部１９から転送される露光条件とホワイトバランス係数に関する情報とに基づいて、Ｇａｉｎ４における増幅量を求め、求めた増幅量をノイズＬＵＴ４４へ転送する。

また、標準値付与手段たる標準値付与部４３は、ＣＣＤ３の動作温度として所定の温度値をノイズＬＵＴ４４へ転送する。

ノイズ量算出手段たるノイズＬＵＴ４４は、平均算出部４１からの映像信号の信号値レベル、ゲイン算出部４２からの映像信号の増幅量、および標準値付与部４３からのＣＣＤ３の動作温度と、ノイズ量と、の間の関係を記録したルックアップテーブルである。このルックアップテーブルは、例えば上述した特開２００３−６９８２１号公報に記載されているような公知の技術を用いて設計されたものである。そして、ノイズＬＵＴ４４は、制御部１９の制御に基づいて、平均算出部４１から転送される注目画素に対するノイズ量を画素単位で順次求めて、これを出現確率算出部３０へ転送する。

次に、図７を参照して、設定部１３の構成の一例について説明する。

設定部１３は、第１定式化部５１と、第２定式化部５２と、探索部５３と、基準階調変換曲線用バッファ５４と、階調変換曲線算出部５５と、を有して構成されている。

また、制御部１９は、第１定式化部５１、第２定式化部５２、探索部５３、階調変換曲線算出部５５と双方向に接続されていて、これらを制御するようになっている。

第１の定式化手段たる第１定式化部５１は、情報量算出部１２から、３種類の階調変換曲線に対する映像信号の情報量Ｅ＿ｉｍｇ_jと、３種類の階調変換曲線を特徴付ける階調変換特性（本実施形態においては、図５に示したような、Ｇａｉｎ１＝１．０，Ｇａｉｎ２＝１．２，Ｇａｉｎ３＝０．８）と、を読み込む。図８に示す曲線Ｅimg は、映像信号の情報量（Ｅimg ）と階調変換特性パラメータ（Ｐ）との間の関係を示すものであり、例えば２次関数を用いて次の数式４に示すようにモデル化される。
［数４］

ここに、数式４におけるａ1 ，ｂ1 ，ｃ1 は、定数項である。また、階調変換特性を表すパラメータＰは、本実施形態では乗算係数Ｇａｉｎとなる。従って、上記３種類の映像信号の情報量Ｅ＿ｉｍｇ_jと階調変換特性である乗算係数Ｇａｉｎ１，Ｇａｉｎ２，Ｇａｉｎ３とを数式４に代入することにより、３つの未知数ａ1 ，ｂ1 ，ｃ1 を含む３つの独立した一次式が作成され、これらを連立することにより、数式４における定数項ａ1 ，ｂ1 ，ｃ1 を一意に算出することができる。こうして、第１定式化部５１により算出された定数項ａ1 ，ｂ1 ，ｃ1 は、探索部５３へ転送される。

同様に、第２の定式化手段たる第２定式化部５２は、情報量算出部１２から、３種類の階調変換曲線に対するノイズの情報量Ｅ＿ｎｏｉｓｅ_jと、３種類の階調変換曲線を特徴付ける階調変換特性である乗算係数Ｇａｉｎ１，Ｇａｉｎ２，Ｇａｉｎ３と、を読み込む。図８に示す曲線Ｅnoise は、ノイズの情報量（Ｅnoise ）と階調変換特性パラメータ（Ｐ）との間の関係を示すものであり、上述と同様に、例えば２次関数を用いて次の数式５に示すようにモデル化される。
［数５］

ここに、数式５におけるａ2 ，ｂ2 ，ｃ2 は、定数項である。また、階調変換特性を表すパラメータＰは、本実施形態では上述したように乗算係数Ｇａｉｎとなる。従って、上記３種類のノイズの情報量Ｅ＿ｎｏｉｓｅ_jと階調変換特性である乗算係数Ｇａｉｎ１，Ｇａｉｎ２，Ｇａｉｎ３とを数式５に代入することにより、３つの未知数ａ2 ，ｂ2 ，ｃ2 を含む３つの独立した一次式が作成され、これらを連立することにより、数式５における定数項ａ2 ，ｂ2 ，ｃ2 を一意に算出することができる。こうして、第２定式化部５２により算出された上記定数項ａ2 ，ｂ2 ，ｃ2 は、探索部５３へ転送される。

探索手段たる探索部５３は、映像信号の情報量Ｅimg からノイズの情報量Ｅnoise を減算した情報量を有意な情報量Ｅeff として定義し、この有意な情報量Ｅeff を最大化する階調変換特性を求める。図８に示す曲線Ｅeff は、上記有意な情報量（Ｅeff ）と階調変換特性パラメータ（Ｐ）との間の関係を示すものである。数式４に示したように映像信号の情報量Ｅimg が２次関数によりモデル化され、数式５に示したようにノイズの情報量Ｅnoise が２次関数によりモデル化されているために、有意な情報量Ｅeff も次の数式６に示すように２次関数によりモデル化されることになる。
［数６］

この数式６を最大化する階調変換特性パラメータ（Ｐmax ）は、有意な情報量Ｅeff を階調変換特性パラメータＰにより偏微分したときの値が０になる、という次の数式７で示す条件式を満たすものとして与えられる。
［数７］

従って、Ｐmax は、次の数式８に示すようになる。
［数８］

探索部５３は、第１定式化部５１からの定数項ａ1 ，ｂ1 ，ｃ1 および第２定式化部５２からの定数項ａ2 ，ｂ2 ，ｃ2 に基づき、数式８から有意な情報量を最大化する階調変換特性パラメータ（Ｐmax ）を求めて、これを階調変換曲線算出部５５へ転送する。

一方、基準階調変換曲線用バッファ５４は、情報量算出部１２から転送される基準階調変換曲線を記録する。なお、本実施形態においては、上述したように、図５に示した曲線Ｔｏｎｅ（Ｇａｉｎ１＝１．０）が基準階調変換曲線となる。

出力手段たる階調変換曲線算出部５５は、探索部５３から有意な情報量を最大化する階調変換特性パラメータ（Ｐmax ）（本実施形態においては、階調変換特性パラメータは、上述したように乗算係数Ｇａｉｎに相当する値となる）を読み込むとともに、基準階調変換曲線用バッファ５４から基準階調変換曲線Ｔｏｎｅ（Ｇａｉｎ１＝１．０）を読み込む。そして、階調変換曲線算出部５５は、基準階調変換曲線の変化率にＰmax に対応する乗算係数Ｇａｉｎを乗算することにより、有意な情報量を最大化する階調変換曲線を算出して、これを階調変換部１４へ転送する。

なお、上述では、情報量の算出に必要な階調変換曲線や付随するパラメータ等を予めＲＯＭに記録しておく構成としているが、このような構成に限定される必要はない。例えば、映像信号毎に、適応的に階調変換曲線を算出するように構成しても構わない。このような例について、図９を参照して説明する。

図９は、情報量算出部１２の他の構成例を示したものである。

この図９に示す情報量算出部１２は、図４に示した情報量算出部１２に、適正露光域抽出部３２と、エッジ算出部３３と、ヒストグラム作成部３４と、階調変換曲線作成部３５と、距離算出部３６と、派生階調変換曲線作成部３７と、を追加した構成となっている。その他の基本的な構成は図４に示したものと同様であるために、同一の構成には同一の名称と符号とを付して、説明を適宜省略し、主として異なる部分についてのみ説明する。

なお、制御部１９は、適正露光域抽出部３２、エッジ算出部３３、ヒストグラム作成部３４、階調変換曲線作成部３５、距離算出部３６、派生階調変換曲線作成部３７と双方向に接続されていて、これらを制御するようになっている。

前処理手段であり適正域抽出手段たる適正露光域抽出部３２は、制御部１９の制御に基づいて、縮小画像用バッファ２２から縮小輝度信号Ｙを読み込み、所定の閾値と比較することにより適正露光域のみを抽出する。この適正露光域抽出部３２により抽出された適正露光域の輝度信号は、エッジ算出部３３と、ヒストグラム作成部３４と、へそれぞれ転送される。

前処理手段でありエッジ算出手段たるエッジ算出部３３は、制御部１９の制御に基づいて、上記適正露光域抽出部３２から出力された適正露光域の輝度信号からエッジ信号を抽出し、抽出したエッジ信号をヒストグラム作成部３４へ転送する。

前処理手段でありヒストグラム作成手段たるヒストグラム作成部３４は、制御部１９の制御に基づいて、エッジ算出部３３からのエッジ信号が所定の閾値以上となる画素に関して、適正露光域抽出部３２から出力された適正露光域の輝度信号からヒストグラムを作成し、これを階調変換曲線作成部３５へ転送する。

前処理手段であり階調変換曲線算出手段たる階調変換曲線作成部３５は、制御部１９の制御に基づいて、ヒストグラム作成部３４からのヒストグラムを累積して正規化することにより、映像信号に対する階調変換曲線を生成する。そして、階調変換曲線作成部３５は、生成した階調変換曲線を、距離算出部３６と派生階調変換曲線作成部３７とへそれぞれ転送する。

前処理手段であり距離算出手段たる距離算出部３６は、制御部１９の制御に基づいて、階調変換曲線ＲＯＭ２７から基準階調変換曲線を読み込むとともに、階調変換曲線作成部３５から映像信号に対する階調変換曲線を読み込む。図１０において、Ｔｏｎｅstd は基準階調変換曲線を、Ｔｏｎｅimg は映像信号に対する階調変換曲線を、それぞれ示している。距離算出部３６は、これらの階調変換曲線の距離ｄi （本実施形態では１２ビットを想定しているために、ｉ＝０〜４０９５）を、次の数式９に示すように算出する。
［数９］
ｄi ＝Ｔｏｎｅimg − Ｔｏｎｅstd

そして、距離算出部３６は、数式９に示すような距離ｄi と基準階調変換曲線Ｔｏｎｅstd とを、派生階調変換曲線作成部３７へ転送する。

前処理手段であり生成手段たる派生階調変換曲線作成部３７は、制御部１９の制御に基づいて、階調変換曲線作成部３５から映像信号に対する階調変換曲線Ｔｏｎｅimg を読み込むとともに、距離算出部３６から距離ｄi を読み込む。その後、派生階調変換曲線作成部３７は、読み込んだ階調変換曲線Ｔｏｎｅimg と距離ｄi とに基づいて、次の数式１０に示すように、派生階調変換曲線Ｔｏｎｅder を生成する。
［数１０］
Ｔｏｎｅder ＝Ｔｏｎｅimg ＋ｋｄi
ここに、数式１０におけるｋは、定数項である。この数式１０の定数項ｋを調整することにより、多様な種類の派生階調変換曲線を生成することが可能である。

図１０におけるＴｏｎｅder は、派生階調変換曲線の一例を示したものである。この図１０に示す例では、派生階調変換曲線Ｔｏｎｅder は、階調変換曲線Ｔｏｎｅimg と基準階調変換曲線Ｔｏｎｅstd との中間的な曲線となっている。

派生階調変換曲線作成部３７は、基準階調変換曲線Ｔｏｎｅstd と、映像信号に対する階調変換曲線Ｔｏｎｅimg と、派生階調変換曲線Ｔｏｎｅder とを、前処理部２８へ転送する。なお、このような構成においては、階調変換曲線を特徴付ける階調変換特性は、距離の総和ｋΣｄi が対応している。

これ以後は、図４において説明したのと同様にして、情報量が算出される。

さらに、上述では、レンズ系１，絞り２，ＣＣＤ３，Ｇａｉｎ４，Ａ／Ｄ変換部５，ＰｒｅＷＢ部７，測光評価部８，合焦点検出部９，ＡＦモータ１０を有してなる撮像部と一体化された構成の撮像装置を画像処理装置の例として示したが、画像処理装置は、このような構成に限定される必要はない。例えば、別体の撮像部で撮像された映像信号を、未処理のＲａｗデータの形態でメモリカード等の記録媒体に記録するとともに、該記録媒体に、さらに撮像条件などの付随情報をヘッダ部等として記録しておく。そして、この記録媒体を図１１に示すような画像処理装置に接続して、該画像処理装置により処理するようにすることも可能である。

図１１に示す画像処理装置は、図１に示したような撮像装置の構成から、レンズ系１と絞り２とＣＣＤ３とＧａｉｎ４とＡ／Ｄ変換部５とＰｒｅＷＢ部７と測光評価部８と合焦点検出部９とＡＦモータ１０とを省略するとともに、入力部６１とヘッダ情報解析部６２とを追加した構成となっている。その他の基本的な構成は図１に示したものと同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。

入力部６１は、メモリカード等の記録媒体が接続されるものであり、バッファ６とヘッダ情報解析部６２とへそれぞれ接続されている。また、制御部１９は、入力部６１とヘッダ情報解析部６２とに、双方向に接続されていて、これらの制御も行うようになっている。

このような構成の作用が、図１に示したような構成の作用と異なる部分は、以下のようになっている。

マウスやキーボードなどの外部Ｉ／Ｆ部２０を介して、画像再生の操作が入力されると、制御部１９の制御により、メモリカード等の記録媒体に保存された映像信号とヘッダ情報とが、入力部６１から読み込まれる。

この入力部６１により読み込まれた映像信号はバッファ６へ転送される。また、入力部６１により読み込まれたヘッダ情報は、ヘッダ情報解析部６２へ転送される。

ヘッダ情報解析部６２は、ヘッダ情報から撮影時の情報を抽出して、抽出した情報を制御部１９へ転送する。これ以後の処理は、図１を参照して説明したものとほぼ同様である。

加えて、上述では、ハードウェアにより処理を行うことを前提としていたが、これに限定されるものではなく、例えばソフトウェアによって処理することも可能である。すなわち、ＣＣＤ３からの映像信号を、未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録するとともに、制御部１９からの撮像条件などの付随情報をヘッダ情報として該記録媒体に記録しておく。そして、該記録媒体をコンピュータに接続し、該コンピュータ上で別途の画像処理プログラムを実行することにより、処理することも可能である。このとき、ＣＣＤ３からのＲａｗデータを、記録媒体を介することなく、コンピュータへ直接、あるいは通信回線を介して、入力するようにしても良いことは勿論である。

図１２を参照して、画像処理プログラムによる処理を説明する。

処理を開始すると、まず、映像信号と、ゲインなどのヘッダ情報と、を読み込む（ステップＳ１）。

そして、公知の補間処理を行うとともに、数式１に示したような輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへの変換を行う（ステップＳ２）。

次に、後で図１３を参照して説明するように、輝度信号Ｙを用いて、複数の階調変換曲線に対する、映像信号の情報量と、ノイズの情報量と、を算出する（ステップＳ３）。

続いて、後で図１４を参照して説明するように、有効な情報量を最大化する階調変換特性を設定する（ステップＳ４）。

その後、設定された階調変換特性に基づき、輝度信号Ｙに対して階調変換処理を行う（ステップＳ５）。

一方で、色差信号Ｃｂ，Ｃｒに対して、彩度強調処理を行う（ステップＳ６）。

そして、ステップＳ５で算出された階調変換後の輝度信号Ｙと、ステップＳ６で算出された彩度強調後の色差信号Ｃｂ，Ｃｒと、を用いて、数式２に示したように、Ｒ，Ｇ，Ｂ信号を算出する（ステップＳ７）。

さらに、算出したＲ，Ｇ，Ｂ信号に、公知の圧縮処理などの信号処理を行う（ステップＳ８）。

こうして、処理後の信号を出力し（ステップＳ９）、この処理を終了する。

次に、図１３を参照して、上記ステップＳ３における情報量算出の処理について説明する。

この処理を開始すると、まず、輝度信号Ｙを所定の縮小率によって縮小する（ステップＳ１０）。

そして、縮小輝度信号のテクスチャ解析を行う（ステップＳ１１）。

その後、テクスチャ構造の存在する領域を関心領域とし、テクスチャ構造の存在しない領域を背景領域として、分離する（ステップＳ１２）。

次に、関心領域と背景領域とに個別の重み係数を設定する（ステップＳ１３）。ここでは、例えば、関心領域に重み係数２．０を、背景領域に重み係数１．０を、それぞれ設定するものとする。

一方、図５に示したような３種類の階調変換曲線を読み込む（ステップＳ１４）。

続いて、前処理として、これら３種類の階調変換曲線を用いて、縮小輝度信号に対して階調変換処理を行う（ステップＳ１５）。

そして、後で図１５を参照して説明するようにノイズ量を推定して、ノイズ信号を生成する（ステップＳ１６）。

次に、ステップＳ１３により設定された重み係数に基づいて調整しながら、縮小輝度信号の画素値毎の出現確率を算出するとともに、ステップＳ１６により推定されたノイズ量の画素値毎の出現確率を算出する（ステップＳ１７）。

その後、数式３に示したようなエントロピーに基づいて、映像信号の情報量と、ノイズの情報量と、を算出する（ステップＳ１８）。

続いて、算出された情報量を出力して（ステップＳ１９）、この処理から図１２に示した処理に復帰する。

また、図１４を参照して、上記ステップＳ４における階調変換曲線設定の処理について説明する。

この処理を開始すると、まず、映像信号の情報量を数式４に示した２次関数式により定式化する（ステップＳ２０）。

次に、ノイズの情報量を数式５に示した２次関数式により定式化する（ステップＳ２１）。

そして、数式６に示したような有意な情報量を最大化する階調変換特性を、数式８に基づいて算出する（ステップＳ２２）。

続いて、基準階調変換曲線と階調変換特性とに基づいて、有意な情報量を最大化する階調変換曲線を算出する（ステップＳ２３）。

その後、算出された階調変換曲線を出力して（ステップＳ２４）、この処理から図１２に示した処理に復帰する。

次に、図１５を参照して、上記ステップＳ１６におけるノイズ量推定の処理について説明する。

この処理を開始すると、注目画素を包含する所定サイズの局所領域、例えば、３×３画素単位の局所領域、を順次抽出し、その平均値を算出する（ステップＳ３０）。

続いて、読み込まれたヘッダ情報から、ゲインなどのパラメータを求める。ここで、もし、ヘッダ情報に必要なパラメータが存在しない場合には、所定の標準値を割り当てる処理を行う（ステップＳ３１）。

そして、ノイズ量に関するテーブルを読み込んで、ノイズ量を求める（ステップＳ３２）。

その後、算出されたノイズ量を出力して（ステップＳ３３）、この処理から図１３に示した処理に復帰する。

このような実施形態１によれば、映像信号の情報量からノイズの情報量を減算した有意な情報量を最大化する階調変換曲線が求められるために、ノイズの影響を考慮した最適な階調変換処理が可能となって、結果として高品位な映像信号を得ることができる。

また、縮小した映像信号から、映像信号の情報量と、ノイズの情報量と、を算出するために、処理を高速化することができる。

さらに、必要な階調変換曲線と付随するパラメータとをＲＯＭに記録しておくことにより、多様な階調変換曲線を利用することが可能となり、処理の自由度が向上する。

そして、テクスチャなどの特徴量に基づいて関心領域を設定し、重み係数によって情報量を補正するようにしているために、情報量と主観的な評価との相関関係が向上して、主観的により好ましい高品位な映像信号を得ることができる。

加えて、階調変換特性として基準階調変換曲線に対する乗算係数を用いるようにしているために、必要とする記憶容量が少なくて済み、システムの低コスト化を図ることが可能となる。

また、情報量の定式化に２次関数式を用いているために、比較的演算量が少なく、処理を高速化することができるとともに、情報量の推移と親和性が高いために、高精度な定式化が可能となる。

さらに、ノイズ量に関係する各種情報を撮影毎に動的に求めるようにしているために、ノイズ量を高精度に推定することが可能となる。

このとき、標準値付与部により標準値を設定するようにしたために、必要な情報を動的に得ることができない場合でも、ノイズ量を推定することが可能となり、安定したシステムを構築することができる。

そして、撮像素子として、Ｂａｙｅｒ型原色フィルタまたは色差線順次型補色フィルタを前面に配置した単板撮像素子を用いているために、現状の撮影部との親和性が高くなり、多くの撮像部への適用を容易に行うことが可能となる。

また、図９や図１０に示したような構成を採用することにより、情報量を算出する処理において映像信号から適応的に階調変換曲線が算出されるために、多様な映像信号に対して情報量を高精度に算出することが可能となる。そして、階調変換特性として基準階調変換曲線に対する距離を用いているために、派生階調変換曲線の算出を高速化することができる。

［実施形態２］
図１６から図２３は本発明の実施形態２を示したものであり、図１６は撮像装置の構成を示すブロック図、図１７は領域分割部の構成を示すブロック図、図１８は外部Ｉ／Ｆ部を用いてフリーフォームにより分割する領域を入力する例を示す図、図１９は外部Ｉ／Ｆ部を用いてブロック領域を選択することにより分割する領域を入力する例を示す図、図２０は情報量算出部の構成を示すブロック図、図２１は画像処理プログラムによる処理の全体を示すフローチャート、図２２は画像処理プログラムにおける領域分割の処理を示すフローチャート、図２３は画像処理プログラムにおける情報量算出の処理を示すフローチャートである。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態の撮像装置は、図１６に示すようになっており、実施形態１の図１に示した構成と比較すると、情報量算出部１２が情報量算出部７２に置換され、領域分割部７１と、領域合成部７３と、が追加された構成になっている。その他の基本的な構成は、実施形態１の図１に示したものと同様である。

Ｙ／Ｃ分離部１１は領域分割部７１へ接続されていて、この領域分割部７１は、情報量算出部７２と、階調変換部１４と、彩度強調部１５と、へ接続されている。

また、情報量算出手段たる情報量算出部７２は、設定部１３を介して階調変換部１４へ接続されている。

さらに、階調変換部１４と彩度強調部１５とは、領域合成部７３へ接続されている。この領域合成部７３は、さらに、Ｙ／Ｃ合成部１６へ接続されている。

そして、信号処理部１７は、出力部１８へ接続されるとともに、さらに、外部Ｉ／Ｆ部２０へも接続されている。

制御部１９は、領域分割部７１、情報量算出部７２、および領域合成部７３と双方向に接続されていて、これらの制御も行うようになっている。

次に、図１６に示したような撮像装置の作用は、基本的には上述した実施形態１と同様であるために、主として異なる部分についてのみ、信号の流れに沿って説明する。

Ｙ／Ｃ分離部１１からの輝度信号Ｙと色差信号Ｃｂ，Ｃｒとは、領域分割部７１へ転送される。

分割手段たる領域分割部７１は、制御部１９の制御に基づいて、所定の分割条件で輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを領域に分割するためのラベル信号を算出する。ここに、所定の分割条件は、本実施形態においては、人物の顔領域であるか否かに応じて領域を分割するものとする。なお、この分割処理においては、処理時間を優先して重複領域（領域同士が境界において重なる部分）を無しとして単純に分割することも可能であり、あるいは、画質を優先して境界に重複領域を設定して分割することも可能である。この領域分割部７１から出力される信号の内の、分割された上記輝度信号Ｙは階調変換部１４へ、分割された上記色差信号Ｃｂ，Ｃｒは彩度強調部１５へ、分割された上記輝度信号Ｙおよびラベル信号は情報量算出部７２へ、それぞれ転送される。

情報量算出部７２は、制御部１９の制御に基づいて、上記輝度信号Ｙから複数の階調変換曲線に対する映像信号の情報量Ｅ＿ｉｍｇ_jとノイズの情報量Ｅ＿ｎｏｉｓｅ_jとを算出する。これらの情報量は、領域分割部７１からのラベル信号に基づいて、領域に対し補正される。この情報量算出部７２により算出された映像信号の情報量Ｅ＿ｉｍｇ_jとノイズの情報量Ｅ＿ｎｏｉｓｅ_jと複数の階調変換曲線を特徴付ける階調変換特性とは、設定部１３へ転送される。

設定部１３は、制御部１９の制御に基づいて、情報量算出部１２からの、映像信号の情報量Ｅ＿ｉｍｇ_jとノイズの情報量Ｅ＿ｎｏｉｓｅ_jと階調変換特性とから、有効な情報量を最大化する階調変換特性を探索し、探索された階調変換特性に対応する階調変換曲線を算出する。この設定部１３により算出された階調変換曲線は、階調変換部１４へ転送される。

階調変換部１４は、制御部１９の制御に基づいて、設定部１３からの階調変換曲線を用いてＹ／Ｃ分離部１１からの分割された輝度信号Ｙを階調変換する。

また、彩度強調部１５は、制御部１９の制御に基づいて、Ｙ／Ｃ分離部１１からの分割された色差信号Ｃｂ，Ｃｒに対して所定のゲインを乗算することにより、彩度強調処理を行う。

なお、上述した情報量算出部７２、設定部１３、階調変換部１４、および彩度強調部１５の各動作は、制御部１９の制御に基づいて、領域単位で順次実行されるようになっている。

上記階調変換部１４からの輝度信号Ｙと彩度強調部１５からの色差信号Ｃｂ，Ｃｒとは、領域合成部７３へ転送されて、合成手段たる該領域合成部７３により合成される。ここに、領域合成部７３は、上述した領域分割部７１の分割処理において重複領域が無い場合には、単純に領域を統合するだけの合成処理を行う。これに対して、領域合成部７３は、領域分割部７１の分割処理において重複領域がある場合には、重複領域で２つの映像信号を領域からの距離に応じて重み付け加算することにより、境界部の連続性を改善しながら、合成処理を行う。

上記領域合成部７３からの輝度信号Ｙと色差信号Ｃｂ，Ｃｒとは、Ｙ／Ｃ合成部１６へ転送されて、該Ｙ／Ｃ合成部１６により数式２に示したようにＲ，Ｇ，Ｂ信号が算出され、信号処理部１７へ転送される。

信号処理部１７は、公知の圧縮処理などを行い、処理後の映像信号を出力部１８へ転送する。また、信号処理部１７は、映像信号を、外部Ｉ／Ｆ部２０に含まれる表示装置に合わせるためのリサイズ処理なども行うようになっており、必要に応じて処理後の映像信号を外部Ｉ／Ｆ部２０へ転送する。

次に、図１７を参照して、領域分割部７１の構成の一例について説明する。

この領域分割部７１は、色相算出部８１と、エッジ算出部８２と、人物判断部８３と、ラベル付与部８４と、ラベルバッファ８５と、抽出部８６と、領域バッファ８７と、を有して構成されている。

Ｙ／Ｃ分離部１１は、色相算出部８１、エッジ算出部８２、および抽出部８６へそれぞれ接続されている。

色相算出部８１およびエッジ算出部８２は、人物判断部８３、ラベル付与部８４、ラベルバッファ８５、および抽出部８６を介して、領域バッファ８７へそれぞれ接続されている。

領域バッファ８７は、情報量算出部７２、階調変換部１４、および彩度強調部１５へそれぞれ接続されている。

また、制御部１９は、色相算出部８１、エッジ算出部８２、人物判断部８３、ラベル付与部８４、抽出部８６と双方向に接続されていて、これらを制御するようになっている。

特徴量算出手段たる色相算出部８１は、制御部１９の制御に基づいて、Ｙ／Ｃ分離部１１から色差信号Ｃｂ，Ｃｒを読み込み、読み込んだ色差信号Ｃｂ，Ｃｒを所定の閾値と比較することにより肌色領域を抽出し、この結果を人物判断部８３へ転送する。

特徴量算出手段たるエッジ算出部８２は、制御部１９の制御に基づいて、Ｙ／Ｃ分離部１１から輝度信号Ｙを読み込み、読み込んだ輝度信号Ｙを所定の閾値と比較することにより、髪の周波数成分に対応する高周波領域を抽出し、この結果を人物判断部８３へ転送する。

特徴量算出手段たる人物判断部８３は、制御部１９の制御に基づいて、色相算出部８１からの肌色領域とエッジ算出部８２からの高周波領域の情報とに基づき、人物の顔と判断される領域を抽出し、この結果をラベル付与部８４へ転送する。

ラベル付け手段たるラベル付与部８４は、制御部１９の制御に基づいて、人物判断部８３からの顔領域に対して所定のラベル、例えば「１」を付与し、その他の領域に所定のラベル、例えば「０」を付与する。

ラベル付与部８４から出力されるラベル信号は、ラベルバッファ８５へ入力されて保存される。

抽出部８６は、ラベルバッファ８５に記憶されているラベル信号に基づいて、Ｙ／Ｃ分離部１１からの輝度信号Ｙおよび差信号Ｃｂ，Ｃｒを、顔領域とその他の領域とに分離して、ラベル信号と共に領域バッファ８７へ転送する。

領域バッファ８７に記憶されている領域毎の輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ、およびラベル信号は、必要に応じて情報量算出部７２、階調変換部１４、および彩度強調部１５へ転送される。

なお、ここでは、領域分割部７１が、色と周波数情報とに基づいて人物の顔領域を自動的に分割する構成の例を示したが、これに限定されるものではない。例えば、図１８、あるいは図１９に示すように、領域を手動で分割するように構成することも可能である。

ここで、図１８を参照して、手動による領域の分割に係る外部Ｉ／Ｆ部２０の具体的な構成の一例について説明する。

この図１８は、撮像装置の外面（例えば背面）に配設された、各種の操作スイッチや表示装置等を示している。

すなわち、撮像装置には、上述した外部Ｉ／Ｆ部２０に含まれる構成要素として、例えばタッチパネルとして構成されていて入力装置を兼ねた表示装置である液晶９１（画像表示手段、領域設定手段）と、この液晶９１をオン／オフ操作するための液晶オン／オフスイッチ９２と、ペン入力モードに移行するための領域設定手段たるペン入力スイッチ９３と、０から９までの各数字を入力し得るように配列された数値キー９４と、例えば十字キーとして構成されていて選択操作を行うための選択キー９５と、入力した領域の確定操作を行うためのものであり領域設定手段たる確定スイッチ９６と、が設けられている。

このような構成において、主要被写体領域を手動で指定する場合には、まず、液晶オン／オフスイッチ９２をオン操作することにより、信号処理部１７からの映像信号が外部Ｉ／Ｆ部２０に読み込まれて、液晶９１への表示が行われる。

その後、ペン入力スイッチ９３が操作されることによりペン入力モードに移行すると、ペン等を用いて液晶９１上で閉曲線を描くことにより、主要被写体領域が指定される。この指定された主要被写体領域は、図１８に示すように、液晶９１上に被写体像と重畳して表示される。

ここで、確定スイッチ９６を操作することにより、制御部１９は、指定された閉曲線の内部を主要被写体領域として抽出して、領域分割部７１へ転送する。

領域分割部７１は、転送された主要被写体領域と、その他の領域と、を区別するようにラベル信号を生成し、領域の分割を行う。

次に、図１９を参照して、手動による領域の分割に係る外部Ｉ／Ｆ部２０の具体的な構成の他の例について説明する。

この例においては、上述した外部Ｉ／Ｆ部２０に含まれる構成要素として、画像表示手段でありブロック選択手段たる上記液晶９１と、上記液晶オン／オフスイッチ９２と、上記数値キー９４と、ブロック選択手段たる上記選択キー９５と、ブロック選択手段たる上記確定スイッチ９６と、ブロック選択モードに移行するためのブロック選択手段たるブロック選択スイッチ９７と、が設けられている。なお、この図１９に示す構成の場合には、液晶９１は、上述と異なり、入力装置を兼ねている必要はなく、タッチパネルではない通常の液晶パネルを用いることが可能である。

このような構成において、主要被写体領域を手動で指定する場合には、上述と同様に、まず、液晶オン／オフスイッチ９２をオン操作することにより、信号処理部１７からの映像信号が外部Ｉ／Ｆ部２０に読み込まれて、液晶９１への表示が行われる。

その後、ブロック選択スイッチ９７が操作されることによりブロック選択モードに移行すると、液晶９１上の画像に、所定サイズのブロック領域を示す分割線が重畳して表示される。使用者が、選択キー９５を操作することにより着目ブロックを他のブロックへ移動させ、所望のブロックが着目ブロックとなったところで確定スイッチ９６を操作することにより、ブロック領域の選択が行われる。こうして選択されたブロック領域は、例えばハイライト表示等を行うことにより、選択された旨が表示される。なお、このときには、例えば選択キー９５の操作と併用して他の操作キー等を操作することにより、複数のブロックを着目ブロックとすることも可能である。また、画像におけるブロック領域の大きさは、別途の操作により、任意に変更することができるようにしても構わない。

こうして、確定スイッチ９６が操作されたところで、制御部１９は指定されたブロック領域を主要被写体領域として抽出して、領域分割部７１へ転送する。

次に、図２０を参照して、情報量算出部７２の構成の一例について説明する。

この情報量算出部７２は、縮小部１０１と、縮小画像用バッファ２２と、重み係数設定部１０２と、階調変換曲線ＲＯＭ２７と、前処理部２８と、ノイズ量推定部２９と、出現確率算出部３０と、エントロピー算出部３１と、を有して構成されている。

この情報量算出部７２の構成は、基本的には、実施形態１の図４に示した情報量算出部１２と同様であるが、縮小部２１が縮小部１０１に、重み係数設定部２５が重み係数設定部１０２に、それぞれ置換され、テクスチャ解析部２３，関心領域抽出部２４，重み係数用バッファ２６が省略された点が異なっている。

領域分割部７１は縮小部１０１へ接続されている。また、縮小部１０１は、縮小画像用バッファ２２と、重み係数設定部１０２と、へ接続されている。

縮小画像用バッファ２２は、前処理部２８へ接続されている。

重み係数設定手段たる重み係数設定部１０２は、エントロピー算出部３１へ接続されている。

また、制御部１９は、縮小部１０１、重み係数設定部１０２と双方向に接続されていて、これらを制御するようになっている。

縮小部１０１は、制御部１９の制御に基づいて、領域分割部７１から領域毎の輝度信号Ｙと対応するラベル信号とを読み込み、所定の縮小率によって縮小する。この縮小部１０１からの縮小輝度信号Ｙは、縮小画像用バッファ２２へ転送される。また、縮小部１０１は、読み込んだラベル信号を、重み係数設定部１０２へ転送する。

重み係数設定部１０２は、縮小部１０１から転送されたラベル信号に基づき、現在処理をしている領域が顔領域（本実施形態ではラベル「１」）とその他の領域（ラベル「０」）との何れであるかを判断する。ここで、重み係数設定部１０２は、現在処理をしている領域が顔領域であると判断した場合には、ノイズの増加に敏感な領域であるとして、エントロピー算出部３１によって算出されるノイズの情報量Ｅ＿ｎｏｉｓｅ_jに対して、所定量の増分、例えば２０％の増分を行うようにエントロピー算出部３１へ指示を出力する。一方、重み係数設定部１０２は、現在処理をしている領域が顔領域以外の領域であると判断した場合は、上述したようなノイズの情報量を増分させる指示は出力しない。

出現確率算出部３０は、実施形態１の情報量算出部１２における出現確率算出部３０と同様に、出現確率Ｐｒｏ＿ｉｍｇ_j（ｉ）および出現確率Ｐｒｏ＿ｎｏｉｓｅ_j（ｉ）を算出する。ただし、出現確率算出部３０は、関心領域に関する重み係数の補正は行わない。

エントロピー算出部３１は、実施形態１の情報量算出部１２におけるエントロピー算出部３１と同様に、３種類の出現確率Ｐｒｏ＿ｉｍｇ_j（ｉ）に基づいて３種類の映像信号の情報量としてのエントロピーＥ＿ｉｍｇ_jを算出するとともに、３種類の出現確率Ｐｒｏ＿ｎｏｉｓｅ_j（ｉ）に基づいて３種類のノイズの情報量としてのエントロピーＥ＿ｎｏｉｓｅ_jを算出する。さらに、エントロピー算出部３１は、重み係数設定部１０２からノイズの情報量に関する増分指示が出力されている場合には、ノイズの情報量に所定の増分、本実施形態では２０％の増分を行う。

なお、上述では、ハードウェアにより処理を行うことを前提としていたが、これに限定されるものではなく、例えばソフトウェアによって処理することも可能である。すなわち、ＣＣＤ３からの映像信号を、未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録するとともに、制御部１９からの撮像条件などの付随情報をヘッダ情報として該記録媒体に記録しておく。そして、該記録媒体をコンピュータに接続し、該コンピュータ上で別途の画像処理プログラムを実行することにより、処理することも可能である。このとき、ＣＣＤ３からのＲａｗデータを、記録媒体を介することなく、コンピュータへ直接、あるいは通信回線を介して、入力するようにしても良いことは勿論である。

図２１を参照して、画像処理プログラムによる処理を説明する。なお、この図２１において、実施形態１の図１２に示した処理と同様である部分には、同一の符号を付して説明を適宜省略する。

ステップＳ２の処理を終了したら、後で図２２を参照して説明するように、領域分割とラベル信号の算出とを行う（ステップＳ４０）。

次に、領域と、領域に対応するラベル信号と、を順次抽出する（ステップＳ４１）。

そして、後で図２３を参照して説明するように、輝度信号から、複数の階調変換曲線に対する、映像信号の情報量と、ノイズの情報量と、を算出する（ステップＳ４２）。

その後、上述したようなステップＳ４からステップＳ６の処理を行う。

続いて、全領域の抽出が完了したか否かを判断し（ステップＳ４３）、完了していない場合にはステップＳ４１へ戻って、次の領域について、上述したような処理を繰り返して行う。

また、ステップＳ４３において、全領域の抽出が完了したと判断された場合には、領域の合成を行う（ステップＳ４４）。

その後は、上述したようなステップＳ７からステップＳ９の処理を行う。ただし、ステップＳ８においては、上述したように、必要に応じて、表示装置に合わせるためのリサイズ処理なども行う。こうして、ステップＳ９の処理が行われたところで、この処理を終了する。

次に、図２２を参照して、上記ステップＳ４０における領域分割の処理について説明する。

この処理を開始すると、まず、映像信号から肌色領域の抽出を行う（ステップＳ５０）。

その一方で、映像信号から、髪の周波数成分に対応する高周波領域を抽出する（ステップＳ５１）。

さらに、ステップＳ５０で抽出された肌色領域の情報と、ステップＳ５１で抽出された高周波領域の情報と、に基づいて、人物の顔と判断される領域を抽出する（ステップＳ５２）。

そして、顔領域に対して所定のラベル、例えば「１」を付与するとともに、その他の領域に所定のラベル、例えば「０」を付与する（ステップＳ５３）。

その後、顔領域とその他の領域とに分離して、ラベル信号と共に映像信号を出力して（ステップＳ５４）、この処理から図２１に示した処理に復帰する。

続いて、図２３を参照して、上記ステップＳ４２における情報量算出の処理について説明する。なお、この図２３において、実施形態１の図１３に示した処理と同様である部分には、同一の符号を付して説明を適宜省略する。

ステップＳ１０の処理に続いて、ラベル信号に基づき、顔領域（本実施形態ではラベル「１」）とその他の領域（ラベル「０」）との判断を行い、顔領域である場合にはノイズの情報量に対して＋２０％の重み係数を、その他の領域である場合にはノイズの情報量に対して０％の重み係数を、それぞれ設定する（ステップＳ６０）。

一方、ステップＳ１０の処理に続いて、上述したようなステップＳ１４からステップＳ１７の処理を行う。

そして、数式３に示したようなエントロピーに基づいて、映像信号の情報量と、ノイズの情報量と、を算出し、ステップＳ６０からの重み係数に基づいて情報量の補正を行う（ステップＳ６１）。

その後、ステップＳ１９の処理を行って、この処理から図２１に示した処理に復帰する。

なお、本実施形態においても、実施形態１において述べたのと同様に、画像処理装置を、撮像部と一体化された構成にするに限るものではない。すなわち、例えば、別体の撮像部で撮像された映像信号を、未処理のＲａｗデータの形態でメモリカード等の記録媒体に記録するとともに、該記録媒体に、さらに撮像条件などの付随情報をヘッダ部等として記録しておく。そして、この記録媒体を、図１１に示したものとほぼ同様に、図１６に示す画像処理装置から撮像部を取り除いた画像処理装置に接続して、該画像処理装置により処理するようにすることも可能である。

また、上述では階調変換曲線を映像信号から適応的に算出するようにしているが、このような構成に限定される必要はない。例えば、上述した実施形態１と同様に、ＲＯＭから読み出すように構成することも可能である。

さらに、上述では重み係数に基づきノイズの情報量に補正を行うように構成しているが、これに限定されるものでもない。例えば、映像信号の情報量を補正するように構成しても構わないし、あるいは、映像信号の情報量とノイズの情報量との両方を補正するように構成することも可能である。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、映像信号を領域に分割して、各領域単位で有意な情報量を最大化する階調変換曲線を求めることができ、ノイズの影響を考慮した最適な階調変換処理を行うことが可能となって、結果として高品位な映像信号を得ることができる。

また、階調変換処理を領域毎に独立して行っているために、明暗比の大きいシーンに対しても適切な処理を行うことができる。

さらに、色や周波数などの特徴量に基づいて領域を設定し、設定した領域毎に重み係数に基づいて映像信号の情報量とノイズの情報量とを補正しているために、情報量と主観的な評価との相関関係が向上して、主観的により好ましい高品位な映像信号を得ることができる。

そして、液晶を用いて手動で関心領域を設定する場合には、撮影者の意図する領域に適切に分割することができ、主観的に好ましい高品位な映像信号を得ることができる。

また、階調変換処理後の各領域の映像信号を合成するようにしているために、従来の処理系や出力装置を適用することができ、システムの汎用性が向上する。

［実施形態３］
図２４から図２８は本発明の実施形態３を示したものであり、図２４は撮像装置の構成を示すブロック図、図２５はノイズ低減部の構成を示すブロック図、図２６は情報量算出部の構成を示すブロック図、図２７は画像処理プログラムによる処理の全体を示すフローチャート、図２８は画像処理プログラムにおける情報量算出の処理を示すフローチャートである。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態の撮像装置は、図２４に示すようになっており、実施形態１の図１に示した構成と比較すると、情報量算出部１２が情報量算出部１１４に置換され、温度センサ１１１と、ノイズ推定部１１２と、ノイズ低減部１１３と、が追加された構成になっている。その他の基本的な構成は、実施形態１の図１に示したものと同様である。

温度センサ１１１は、ＣＣＤ３の温度を検出するために該ＣＣＤ３の近傍に配置されていて、検出結果の信号は制御部１９へ出力されるようになっている。

バッファ６は、ＰｒｅＷＢ部７、測光評価部８、および合焦点検出部９へ接続されるとともに、さらに、ノイズ推定部１１２とノイズ低減部１１３とへそれぞれ接続されている。

ノイズ推定部１１２は、ノイズ低減部１１３へ接続されている。

ノイズ低減部１１３は、Ｙ／Ｃ分離部１１と情報量算出部１１４とへそれぞれ接続されている。

Ｙ／Ｃ分離部１１は、階調変換部１４および彩度強調部１５へ接続されるとともに、さらに、情報量算出部１１４へ接続されている。

情報量算出手段たる情報量算出部１１４は、設定部１３へ接続されている。

また、制御部１９は、ノイズ推定部１１２、ノイズ低減部１１３、情報量算出部１１４と双方向に接続されていて、これらを制御するようになっている。

次に、図２４に示したような撮像装置の作用は、基本的には上述した実施形態１と同様であるために、主として異なる部分についてのみ、信号の流れに沿って説明する。

バッファ６に記憶された映像信号は、ノイズ推定部１１２へ転送される。

ノイズ推定手段たるノイズ推定部１１２は、基本的には、実施形態１の図６に示したノイズ量推定部２９と同様であるが、該ノイズ量推定部２９においては前処理部２８から輝度信号を読み込んでいたのに対して、このノイズ推定部１１２では、バッファ６からの信号、つまり、図２に示したようなＢａｙｅｒ型原色フィルタを前面に配置した単板撮像素子たるＣＣＤ３からの信号、を読み込む点が異なっている。また、平均算出部４１は、上述したＢａｙｅｒ型の色フィルタ配置に基づいて、ＲＧＢ信号に分離して、個別の平均値を算出する処理を行う。さらに、上述したノイズ量推定部２９では標準値付与部４３がＣＣＤ３の動作温度として所定の温度値をノイズＬＵＴ４４へ転送していたが、このノイズ推定部１１２においては、制御部１９が温度センサ１１１からの温度値をノイズＬＵＴ４４へ転送することになる。そして、ノイズＬＵＴ４４は、ＲＧＢの三信号に関して、映像信号の信号値レベル，映像信号の増幅量，撮像素子の動作温度と、ノイズ量と、の間の関係を記録したルックアップテーブルとなっている。こうして、ノイズ推定部１１２は、制御部１９の制御に基づいて、ノイズ低減処理を行おうとする注目画素に対するノイズ量を推定して、これをノイズ低減部１１３へ転送する。

ノイズ低減手段たるノイズ低減部１１３は、制御部１９の制御に基づいて、まず、注目画素がノイズに属するか否かを判断する。そして、ノイズ低減部１１３は、注目画素がノイズに属すると判断した場合には平滑化処理を行い、一方、ノイズに属さないと判断した場合には連続性を確保するための補正処理を行う。こうしてノイズに関する処理がなされた映像信号は、ノイズ低減部１１３からＹ／Ｃ分離部１１へ転送される。また、上記平滑化処理に関する情報は、ノイズ低減部１１３から情報量算出部１１４へ転送される。

なお、上述したノイズ推定部１１２およびノイズ低減部１１３の処理は、制御部１９の制御に基づいて、注目画素単位で同期して行われる。

Ｙ／Ｃ分離部１１は、制御部１９の制御に基づいて、Ｒ，Ｇ，Ｂ信号毎に公知の補間処理を行って三板状態の信号に変換した後に、数式１に示したように、輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを求める。

情報量算出部１１４は、制御部１９の制御に基づいて、Ｙ／Ｃ分離部１１により分離された輝度信号Ｙから、複数の階調変換曲線に対する映像信号の情報量Ｅ＿ｉｍｇ_jおよびノイズの情報量Ｅ＿ｎｏｉｓｅ_jを算出する。さらに、情報量算出部１１４は、ノイズ低減部１１３からの平滑化処理に関する情報に基づいて、ノイズの情報量Ｅ＿ｎｏｉｓｅ_jを補正する。情報量算出部１１４は、こうして算出した、映像信号の情報量Ｅ＿ｉｍｇ_jと、ノイズの情報量Ｅ＿ｎｏｉｓｅ_jと、複数の階調変換曲線を特徴付ける階調変換特性とを、設定部１３へ転送する。

これ以降の処理は、実施形態１において説明したものと同様である。

次に、図２５を参照して、ノイズ低減部１１３の構成の一例について説明する。

このノイズ低減部１１３は、範囲設定部１２１と、切換部１２２と、第１スムージング部１２３と、第２スムージング部１２４と、を有して構成されている。

ノイズ推定部１１２は、範囲設定部１２１に接続されている。

範囲設定部１２１は、切換部１２２と、第１スムージング部１２３と、第２スムージング部１２４と、に接続されている。

バッファ６は、切換部１２２に接続されている。

切換部１２２は、第１スムージング部１２３と、第２スムージング部１２４と、に接続されている。

第１スムージング部１２３および第２スムージング部１２４は、Ｙ／Ｃ分離部１１に接続されている。

制御部１９は、範囲設定部１２１、切換部１２２、第１スムージング部１２３、第２スムージング部１２４と双方向に接続されていて、これらを制御するようになっている。

このようなノイズ低減部１１３の作用は、次のようになっている。

ノイズ推定部１１２は、ＲＧＢ三信号毎の平均値ＡＶとノイズ量Ｎとを範囲設定部１２１へ転送する。

ノイズ範囲設定手段たる範囲設定部１２１は、制御部１９の制御に基づいて、ＲＧＢ三信号のノイズ量に関する許容範囲として、上限Ｕｐと下限Ｌｏｗとを、次の数式１１に示すように設定する。
［数１１］
Ｕｐ＝ＡＶ＋Ｎ／２
Ｌｏｗ＝ＡＶ−Ｎ／２

そして、範囲設定部１２１は、このように設定した許容範囲Ｕｐ，Ｌｏｗを、切換部１２２へ転送する。さらに、範囲設定部１２１は、ＲＧＢ三信号毎の平均値ＡＶとノイズ量Ｎとを、第１スムージング部１２３と第２スムージング部１２４とへそれぞれ転送する。

切換部１２２は、制御部１９の制御に基づいて、バッファ６から注目画素の映像信号を読み込み、上述したような許容範囲に属するか否かを判断する。ここに、切換部１２２が行う判断は、注目画素の映像信号が、「ノイズ範囲に属している」，「ノイズ範囲を上回っている」，「ノイズ範囲を下回っている」の何れかの三通りである。そして、切換部１２２は、注目画素の映像信号が「ノイズ範囲に属している」と判断した場合には第１スムージング部１２３へ、それ以外の場合には第２スムージング部１２４へ、注目画素の映像信号を転送する。

第１のスムージング手段たる第１スムージング部１２３は、切換部１２２からの注目画素の映像信号Ｐｉｘに、範囲設定部１２１からの平均値ＡＶを代入する処理を行う。
［数１２］
Ｐｉｘ＝ＡＶ

この数式１２に基づいて平滑化処理がなされたＲＧＢ信号は、Ｙ／Ｃ分離部１１へ転送される。なお、数式１２による平滑化処理の性能は、平均値ＡＶを算出するために使われた局所領域のサイズ（本実施形態においては３×３画素を想定する）により異なり、例えば局所領域のサイズを大きくすれば、平滑化の性能は向上する。しかし、局所領域のサイズを大きくすると、今度は、エッジ部のボケなどの副作用も大きくなってしまう。このために、局所領域のサイズは、一般に、ＩＳＯ感度や夜景などの撮影状況に基づいて変更されることになる。このような平滑化の性能（例えば、局所領域を３×３画素としたときには３ｄＢの改善が見られ、局所領域を５×５画素としたときには５ｄＢの改善が見られる、など）を事前に調査しておき、平滑化処理に関する情報として情報量算出部１１４へ転送する。

また、第２のスムージング手段たる第２スムージング部１２４は、切換部１２２からの注目画素の映像信号Ｐｉｘに、範囲設定部１２１からの平均値ＡＶとノイズ量Ｎとを用いて、補正処理を行う。まず、注目画素の映像信号が「ノイズ範囲を上回っている」場合には、次の数式１３に示すように補正する。
［数１３］
Ｐｉｘ＝Ｐｉｘ−Ｎ／２

一方、第２スムージング部１２４は、注目画素の映像信号が「ノイズ範囲を下回っている」場合には、次の数式１４に示すように補正する。
［数１４］
Ｐｉｘ＝Ｐｉｘ＋Ｎ／２

これら数式１３または数式１４により補正処理がなされたＲＧＢ信号は、第２スムージング部１２４からＹ／Ｃ分離部１１へ転送される。

次に、図２６を参照して、情報量算出部１１４の構成の一例について説明する。

この情報量算出部１１４は、縮小部２１と、縮小画像用バッファ２２と、テクスチャ解析部２３と、関心領域抽出部２４と、重み係数設定部２５と、重み係数用バッファ２６と、階調変換曲線ＲＯＭ２７と、前処理部２８と、ノイズ量推定部２９と、出現確率算出部３０と、エントロピー算出部３１と、ノイズ低減補正部１３１と、を有して構成されている。

この情報量算出部１１４の構成は、実施形態１の図４に示した情報量算出部１２と基本的に同様であり、ノイズ低減補正部１３１が追加されたものとなっている。

ノイズ低減部１１３とノイズ量推定部２９とは、ノイズ低減補正部１３１にそれぞれ接続されている。

ノイズ低減補正部１３１は、出現確率算出部３０に接続されている。

制御部１９は、ノイズ低減補正部１３１と双方向に接続されていて、これを制御するようになっている。

この図２６に示したような情報量算出部１１４の作用の内、実施形態１の情報量算出部１２の作用と異なる部分は、以下のようである。

補正手段たるノイズ低減補正部１３１は、ノイズ低減部１１３から、平滑化処理の性能に関する情報、例えば３ｄＢの改善の情報、などを受信する。そして、ノイズ低減補正部１３１は、受信した情報に基づいて、ノイズ量推定部２９から転送されるノイズ信号に関して平滑化処理による改善効果分に相当するノイズ成分を減衰させる。

こうして減衰された後のノイズ信号は、ノイズ低減補正部１３１から出現確率算出部３０へ転送される。

これ以後の処理は、実施形態１において情報量算出部１２について説明したものと同様である。

図２７を参照して、画像処理プログラムによる処理を説明する。なお、この図２７において、実施形態１の図１２に示した処理と同様である部分には、同一の符号を付して説明を適宜省略する。

ステップＳ１の処理を終了したら、図１５に示したようにノイズ量の推定を行う（ステップＳ７０）。

次に、注目画素の映像信号が、数式１１に示したような許容範囲内に属するか否かを判断する（ステップＳ７１）。

ここで、注目画素の映像信号が許容範囲内に属すると判断された場合には、数式１２に示したような処理を行う（ステップＳ７２）。

また、注目画素の映像信号が許容範囲内に属さないと判断された場合には、数式１３または数式１４に示したような処理を行う（ステップＳ７３）。

ステップＳ７２またはステップＳ７３の処理が終了したら、次に、ステップＳ２の処理を行い、その後に、後で図２８を参照して説明するように、輝度信号Ｙを用いて、複数の階調変換曲線に対する、映像信号の情報量と、ノイズの情報量と、を算出する（ステップＳ７４）。

その後は、ステップＳ４〜Ｓ９の処理を行って、この処理を終了する。

続いて、図２８を参照して、上記ステップＳ７４における情報量算出の処理について説明する。なお、この図２８において、実施形態１の図１３に示した処理と同様である部分には、同一の符号を付して説明を適宜省略する。

ステップＳ１０〜Ｓ１６までの処理が終了したら、次に、上述したステップＳ７２の平滑化処理による改善効果分に相当するノイズ成分を減衰させる（ステップＳ８０）。

その後、上述と同様にステップＳ１７〜Ｓ１９の処理を行って、図２７に示した処理に復帰する。

なお、上述では、ノイズ推定部１１２と、情報量算出部１１４内のノイズ量推定部２９と、を分離して構成しているが、これに限定されるものではない。これらの機能は基本的に同一であるために、何れか一方を省略するように構成することも可能である。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、映像信号にノイズ低減処理を行い、ノイズ低減処理後に残留するノイズの影響を考慮した有意な情報量を最大化する階調変換曲線を求めるようにしているために、最適な階調変換処理が可能となって、結果として高品位な映像信号を得ることができる。

また、ノイズ低減処理と組み合わせたシステムにおいても、高精度にノイズの情報量を算出することができるために、ノイズ低減処理と階調変換処理との両方の性能を最大限に発揮させることが可能となる。

さらに、ノイズ低減処理は、ノイズ範囲に属すると判断された注目画素に平滑化処理を、ノイズ範囲に属さないと判断された注目画素に補正処理を、それぞれ行うものとなっているために、不連続性の発生を防止して高品位な信号を得ることができる。

［実施形態４］
図２９、図３０は本発明の実施形態４を示したものであり、図２９は撮像装置の構成を示すブロック図、図３０は画像処理プログラムによる処理の全体を示すフローチャートである。

この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態の撮像装置は、図２９に示すようになっており、実施形態１の図１に示した構成と比較すると、情報量算出部１２が情報量算出部１４５に置換され、温度センサ１４１と、ノイズ推定部１４２と、ノイズ低減部１４３と、領域分割部１４４と、領域合成部１４６と、が追加された構成になっている。その他の基本的な構成は、実施形態１の図１に示したものと同様である。

温度センサ１４１は、ＣＣＤ３の温度を検出するために該ＣＣＤ３の近傍に配置されていて、検出結果の信号は制御部１９へ出力されるようになっている。

バッファ６は、ＰｒｅＷＢ部７、測光評価部８、および合焦点検出部９へ接続されるとともに、さらに、ノイズ推定部１４２とノイズ低減部１４３とへそれぞれ接続されている。

ノイズ推定部１４２は、ノイズ低減部１４３へ接続されている。

ノイズ低減部１４３は、Ｙ／Ｃ分離部１１と情報量算出部１４５とへそれぞれ接続されている。

Ｙ／Ｃ分離部１１は、領域分割部１４４へ接続されている。

領域分割部１４４は、情報量算出部１４５、階調変換部１４、および彩度強調部１５へそれぞれ接続されている。

情報量算出手段たる情報量算出部１４５は、設定部１３を介して、階調変換部１４へ接続されている。

階調変換部１４および彩度強調部１５は、領域合成部１４６へ接続されている。

領域合成部１４６は、Ｙ／Ｃ合成部１６へ接続されている。

また、制御部１９は、ノイズ推定部１４２、ノイズ低減部１４３、領域分割部１４４、情報量算出部１４５、領域合成部１４６と双方向に接続されていて、これらを制御するようになっている。

次に、図２９に示したような撮像装置の作用は、基本的には上述した実施形態１と同様であるために、主として異なる部分についてのみ、信号の流れに沿って説明する。

バッファ６に記憶された映像信号は、ノイズ推定部１４２へ転送される。

ノイズ推定手段たるノイズ推定部１４２は、上述した実施形態３のノイズ推定部１１２と同様に、ノイズ低減処理を行う注目画素に対するノイズ量を推定して、これをノイズ低減部１４３へ転送する。

ノイズ低減手段たるノイズ低減部１４３は、制御部１９の制御に基づいて、まず、注目画素がノイズに属するかを判断する。そして、ノイズ低減部１４３は、注目画素がノイズに属すると判断した場合には平滑化処理を行い、一方、ノイズに属さないと判断した場合には連続性を確保するための補正処理を行う。こうしてノイズ低減処理がなされた映像信号は、ノイズ低減部１４３からＹ／Ｃ分離部１１へ転送される。また、上記平滑化処理に関する情報は、ノイズ低減部１４３から情報量算出部１４５へ転送される。

なお、上述したノイズ推定部１４２およびノイズ低減部１４３の処理は、制御部１９の制御に基づいて、注目画素単位で同期して行われる。

Ｙ／Ｃ分離部１１は、制御部１９の制御に基づいて、Ｒ，Ｇ，Ｂ信号毎に公知の補間処理を行って三板状態の信号に変換した後に、数式１に示したように、輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを求める。このＹ／Ｃ分離部１１により求められた輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒは、領域分割部１４４へ転送される。

分割手段たる領域分割部１４４は、制御部１９の制御に基づいて、上述した実施形態２と同様に、所定の分割条件で輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒを領域に分割するためのラベル信号を算出する。この領域分割部１４４から出力される信号の内の、分割された上記輝度信号Ｙは階調変換部１４へ、分割された上記色差信号Ｃｂ，Ｃｒは彩度強調部１５へ、分割された上記輝度信号Ｙおよびラベル信号は情報量算出部１４５へ、それぞれ転送される。

情報量算出部１４５は、制御部１９の制御に基づいて、上記輝度信号Ｙから複数の階調変換曲線に対する映像信号の情報量Ｅ＿ｉｍｇ_jおよびノイズの情報量Ｅ＿ｎｏｉｓｅ_jを算出する。また、情報量算出部１４５は、領域分割部１４４からのラベル信号に基づいて、領域に対する上記情報量の補正を行う。さらに、情報量算出部１４５は、ノイズ低減部１４３からの平滑化処理に関する情報に基づいて、ノイズの情報量Ｅ＿ｎｏｉｓｅ_jの補正を行う。こうして算出された、映像信号の情報量Ｅ＿ｉｍｇ_jと、ノイズの情報量Ｅ＿ｎｏｉｓｅ_jと、複数の階調変換曲線を特徴付ける階調変換特性と、が情報量算出部１４５から設定部１３へ転送される。

設定部１３は、制御部１９の制御に基づいて、情報量算出部１４５からの映像信号の情報量Ｅ＿ｉｍｇ_jとノイズの情報量Ｅ＿ｎｏｉｓｅ_jと階調変換特性とから、有効な情報量を最大化する階調変換特性を探索し、探索された階調変換特性に対応する階調変換曲線を算出する。この設定部１３により算出された階調変換曲線は、階調変換部１４へ転送される。

階調変換部１４は、制御部１９の制御に基づいて、設定部１３からの階調変換曲線を用いてＹ／Ｃ分離部１１からの輝度信号Ｙを階調変換する。

また、彩度強調部１５は、制御部１９の制御に基づいて、上記色差信号Ｃｂ，Ｃｒに対して所定のゲインを乗算することにより、彩度強調処理を行う。

なお、上述した情報量算出部１４５、設定部１３、階調変換部１４、および彩度強調部１５の各動作は、制御部１９の制御に基づいて、領域単位で順次実行されるようになっている。

上記階調変換部１４からの輝度信号Ｙと彩度強調部１５からの色差信号Ｃｂ，Ｃｒとは、領域合成部１４６へ転送されて、合成手段たる該領域合成部１４６により合成される。

上記領域合成部１４６からの輝度信号Ｙと色差信号Ｃｂ，Ｃｒとは、Ｙ／Ｃ合成部１６へ転送されて、該Ｙ／Ｃ合成部１６により数式２に示したようにＲ，Ｇ，Ｂ信号が算出され、信号処理部１７へ転送される。

図３０を参照して、画像処理プログラムによる処理を説明する。なお、この図３０において、実施形態１の図１２に示した処理と同様である部分には、同一の符号を付して説明を適宜省略する。

ステップＳ１の処理を終了したら、図１５に示したようにノイズ量の推定を行う（ステップＳ９０）。

次に、注目画素の映像信号が、数式１１に示したような許容範囲内に属するか否かを判断する（ステップＳ９１）。

ここで、注目画素の映像信号が許容範囲内に属すると判断された場合には、数式１２に示したような処理を行う（ステップＳ９２）。

また、注目画素の映像信号が許容範囲内に属さないと判断された場合には、数式１３または数式１４に示したような処理を行う（ステップＳ９３）。

ステップＳ９２またはステップＳ９３の処理が終了したら、次に、ステップＳ２の処理を行い、その後に、図２２に示したように、領域分割とラベル信号の算出とを行う（ステップＳ９４）。

次に、領域と、領域に対応するラベル信号と、を順次抽出する（ステップＳ９５）。

そして、図２３に示したように、輝度信号から、複数の階調変換曲線に対する、映像信号の情報量と、ノイズの情報量と、を算出する（ステップＳ９６）。

続いて、全領域の抽出が完了したか否かを判断し（ステップＳ９７）、完了していない場合にはステップＳ９５へ戻って、次の領域について、上述したような処理を繰り返して行う。

また、ステップＳ９７において、全領域の抽出が完了したと判断された場合には、領域の合成を行う（ステップＳ９８）。

その後は、上述したようなステップＳ７からステップＳ９の処理を行ってから、この処理を終了する。

このような実施形態４によれば、上述した実施形態１〜３とほぼ同様の効果を奏するとともに、映像信号にノイズ低減処理および領域分割処理を行い、ノイズ低減処理後に残留するノイズの影響を考慮した有意な情報量を最大化する階調変換曲線が求めるようにしているために、最適な階調変換処理が可能となって、結果として高品位な映像信号を得ることができる。

さらに、階調変換処理を領域毎に独立して行っているために、より自由度が向上して、明暗比の大きいシーンに対しても高品位な映像信号を得ることが可能となる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明は、映像信号に対して適応的に階調変換処理を行う画像処理装置、画像処理プログラムに好適に利用することができる。

本発明の実施形態１における撮像装置の構成を示すブロック図。上記実施形態１におけるＢａｙｅｒ型原色フィルタの構成を示す図。上記実施形態１における色差線順次型補色フィルタの構成を示す図。上記実施形態１における情報量算出部の構成を示すブロック図。上記実施形態１における階調変換曲線を示す線図。上記実施形態１におけるノイズ量推定部の構成を示すブロック図。上記実施形態１における設定部の構成を示すブロック図。上記実施形態１において、情報量を最大化する階調変換曲線を探索する際の階調変換特性パラメータと情報量との関係を示す線図。上記実施形態１における情報量算出部の他の構成例を示すブロック図。上記図９に示した構成例における階調変換曲線を示す線図。上記実施形態１における画像処理装置の他の構成例を示すブロック図。上記実施形態１の画像処理プログラムによる処理の全体を示すフローチャート。上記実施形態１の画像処理プログラムにおける情報量算出の処理を示すフローチャート。上記実施形態１の画像処理プログラムにおける階調変換曲線設定の処理を示すフローチャート。上記実施形態１の画像処理プログラムにおけるノイズ量推定の処理を示すフローチャート。本発明の実施形態２における撮像装置の構成を示すブロック図。上記実施形態２における領域分割部の構成を示すブロック図。上記実施形態２において、外部Ｉ／Ｆ部を用いてフリーフォームにより分割する領域を入力する例を示す図。上記実施形態２において、外部Ｉ／Ｆ部を用いてブロック領域を選択することにより分割する領域を入力する例を示す図。上記実施形態２における情報量算出部の構成を示すブロック図。上記実施形態２の画像処理プログラムによる処理の全体を示すフローチャート。上記実施形態２の画像処理プログラムにおける領域分割の処理を示すフローチャート。上記実施形態２の画像処理プログラムにおける情報量算出の処理を示すフローチャート。本発明の実施形態３における撮像装置の構成を示すブロック図。上記実施形態３におけるノイズ低減部の構成を示すブロック図。上記実施形態３における情報量算出部の構成を示すブロック図。上記実施形態３の画像処理プログラムによる処理の全体を示すフローチャート。上記実施形態３の画像処理プログラムにおける情報量算出の処理を示すフローチャート。本発明の実施形態４における撮像装置の構成を示すブロック図。上記実施形態４の画像処理プログラムによる処理の全体を示すフローチャート。

符号の説明

１…レンズ系
２…絞り
３…ＣＣＤ
４…Ｇａｉｎ
５…Ａ／Ｄ変換部
６…バッファ
７…ＰｒｅＷＢ部
８…測光評価部
９…合焦点検出部
１０…ＡＦモータ
１１…Ｙ／Ｃ分離部
１２，７２，１１４，１４５…情報量算出部（情報量算出手段）
１３…設定部（設定手段）
１４…階調変換部（階調変換手段）
１５…彩度強調部
１６…Ｙ／Ｃ合成部
１７…信号処理部
１８…出力部
１９…制御部（制御手段、収集手段）
２０…外部Ｉ／Ｆ部
２１…縮小部（縮小手段）
２２…縮小画像用バッファ
２３…テクスチャ解析部（関心領域抽出手段、特徴量算出手段）
２４…関心領域抽出部（関心領域抽出手段）
２５，１０２…重み係数設定部（重み係数設定手段）
２６…重み係数用バッファ
２７…階調変換曲線ＲＯＭ（前処理手段、記録手段）
２８…前処理部（前処理手段）
２９…ノイズ量推定部（ノイズ推定手段）
３０…出現確率算出部（重み係数補正手段）
３１…エントロピー算出部（第１の算出手段、第２の算出手段、重み係数補正手段）
３２…適正露光域抽出部（前処理手段、適正域抽出手段）
３３…エッジ算出部（前処理手段、エッジ算出手段）
３４…ヒストグラム作成部（前処理手段、ヒストグラム作成手段）
３５…階調変換曲線作成部（前処理手段、階調変換曲線算出手段）
３６…距離算出部（前処理手段、距離算出手段）
３７…派生階調変換曲線作成部（前処理手段、生成手段）
４１…平均算出部（平均算出手段）
４２…ゲイン算出部（収集手段）
４３…標準値付与部（標準値付与手段）
４４…ノイズＬＵＴ（ノイズ量算出手段）
５１…第１定式化部（第１の定式化手段）
５２…第２定式化部（第２の定式化手段）
５３…探索部（探索手段）
５４…基準階調変換曲線用バッファ
５５…階調変換曲線算出部（出力手段）
６１…入力部
６２…ヘッダ情報解析部
７１，１４４…領域分割部（分割手段）
７３，１４６…領域合成部（合成手段）
８１…色相算出部（特徴量算出手段）
８２…エッジ算出部（特徴量算出手段）
８３…人物判断部（特徴量算出手段）
８４…ラベル付与部（ラベル付け手段）
８５…ラベルバッファ
８６…抽出部
８７…領域バッファ
９１…液晶（画像表示手段、領域設定手段、ブロック選択手段）
９２…液晶オン／オフスイッチ
９３…ペン入力スイッチ（領域設定手段）
９４…数値キー
９５…選択キー（ブロック選択手段）
９６…確定スイッチ（領域設定手段、ブロック選択手段）
９７…ブロック選択スイッチ（ブロック選択手段）
１０１…縮小部
１１１，１４１…温度センサ
１１２，１４２…ノイズ推定部（ノイズ推定手段）
１１３，１４３…ノイズ低減部（ノイズ低減手段）
１２１…範囲設定部（ノイズ範囲設定手段）
１２２…切換部
１２３…第１スムージング部（第１のスムージング手段）
１２４…第２スムージング部（第２のスムージング手段）
１３１…ノイズ低減補正部（補正手段）

Claims

撮像系から得られた映像信号に対して階調変換処理を行う画像処理装置において、
上記映像信号から、映像信号の情報量と、ノイズの情報量と、を算出する情報量算出手段と、
上記情報量に基づき、階調変換処理に用いる階調変換曲線を設定する設定手段と、
上記階調変換曲線に基づき、上記映像信号に対して階調変換処理を行う階調変換手段と、
を具備したことを特徴とする画像処理装置。
撮像系から得られた映像信号に対して階調変換処理を行う画像処理装置において、
上記映像信号を複数の領域に分割する分割手段と、
上記領域の映像信号から、映像信号の情報量と、ノイズの情報量と、を算出する情報量算出手段と、
上記情報量に基づき、階調変換処理に用いる階調変換曲線を設定する設定手段と、
上記階調変換曲線に基づき、上記領域の映像信号に対して階調変換処理を行う階調変換手段と、
上記領域毎に上記情報量算出手段と上記設定手段と上記階調変換手段とを順次適用するように制御する制御手段と、
を具備したことを特徴とする画像処理装置。
撮像系から得られた映像信号に対してノイズ低減処理と階調変換処理とを行う画像処理装置において、
上記映像信号のノイズ量を画素単位または所定単位面積毎に推定するノイズ推定手段と、
上記映像信号に対して上記ノイズ量に基づきノイズ低減処理を行うノイズ低減手段と、
上記ノイズ低減処理後の映像信号から、映像信号の情報量と、ノイズの情報量と、を算出する情報量算出手段と、
上記情報量に基づき、階調変換処理に用いる階調変換曲線を設定する設定手段と、
上記階調変換曲線に基づき、上記ノイズ低減処理後の映像信号に対して階調変換処理を行う階調変換手段と、
を具備したことを特徴とする画像処理装置。
撮像系から得られた映像信号に対してノイズ低減処理と階調変換処理とを行う画像処理装置において、
上記映像信号のノイズ量を画素単位または所定単位面積毎に推定するノイズ推定手段と、
上記映像信号に対して上記ノイズ量に基づきノイズ低減処理を行うノイズ低減手段と、
上記ノイズ低減処理後の映像信号を複数の領域に分割する分割手段と、
上記領域の映像信号から、映像信号の情報量と、ノイズの情報量と、を算出する情報量算出手段と、
上記情報量に基づき、階調変換処理に用いる階調変換曲線を設定する設定手段と、
上記階調変換曲線に基づき、上記ノイズ低減処理後の領域の映像信号に対して階調変換処理を行う階調変換手段と、
上記領域毎に上記情報量算出手段と上記設定手段と上記階調変換手段とを順次適用するように制御する制御手段と、
を具備したことを特徴とする画像処理装置。
上記情報量算出手段は、
上記映像信号または上記領域の映像信号を所定の縮小率で縮小映像信号へ変換する縮小手段と、
上記縮小映像信号に対して階調特性の異なる複数の階調変換曲線を用いて階調変換処理を行う前処理手段と、
上記階調変換処理がなされた縮小映像信号から映像信号の情報量を算出する第１の算出手段と、
上記階調変換処理がなされた縮小映像信号のノイズ量を画素単位または所定単位面積毎に推定するノイズ推定手段と、
上記ノイズ量からノイズの情報量を算出する第２の算出手段と、
を有して構成されたものであることを特徴とする請求項１または請求項２に記載の画像処理装置。
上記情報量算出手段は、
上記映像信号または上記領域の映像信号を所定の縮小率で縮小映像信号へ変換する縮小手段と、
上記縮小映像信号に対して階調特性の異なる複数の階調変換曲線を用いて階調変換処理を行う前処理手段と、
上記階調変換処理がなされた縮小映像信号から映像信号の情報量を算出する第１の算出手段と、
上記階調変換処理がなされた縮小映像信号のノイズ量を画素単位または所定単位面積毎に推定する第２のノイズ推定手段と、
上記ノイズ量からノイズの情報量を算出する第２の算出手段と、
上記ノイズの情報量に対して上記ノイズ低減処理による低減効果に相応する補正を行う補正手段と、
を有して構成されたものであることを特徴とする請求項３または請求項４に記載の画像処理装置。
上記前処理手段は、所定の基準階調変換曲線と、この基準階調変換曲線に所定の乗算係数を乗算して生成した派生階調変換曲線と、上記乗算係数と、を記録する記録手段を有して構成されたものであることを特徴とする請求項５または請求項６に記載の画像処理装置。
上記前処理手段は、
上記映像信号のレベルに基づき適正露光域を抽出する適正域抽出手段と、
上記適正露光域に関してエッジ量を算出するエッジ算出手段と、
上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
上記ヒストグラムに基づき階調変換曲線を算出する階調変換曲線算出手段と、
上記階調変換曲線と所定の基準階調変換曲線間との距離を算出する距離算出手段と、
上記距離を調整することにより派生階調変換曲線を生成する生成手段と、
を有して構成されたものであることを特徴とする請求項５または請求項６に記載の画像処理装置。
上記情報量算出手段は、
上記映像信号から関心領域を抽出する関心領域抽出手段と、
上記関心領域に関して重み係数を設定する重み係数設定手段と、
上記重み係数に基づき、上記映像信号の情報量と、ノイズの情報量と、の少なくとも一方に補正を行う重み係数補正手段と、
を有して構成されたものであることを特徴とする請求項１または請求項３に記載の画像処理装置。
上記関心領域抽出手段は、上記映像信号から、色と周波数とテクスチャとの内の少なくとも１つに関する特徴量を算出する特徴量算出手段を有して構成されたものであることを特徴とする請求項９に記載の画像処理装置。
上記情報量算出手段は、
上記領域に関して重み係数を設定する重み係数設定手段と、
上記重み係数に基づき、上記映像信号の情報量と、ノイズの情報量と、の少なくとも一方に補正を行う重み係数補正手段と、
を有して構成されたものであることを特徴とする請求項２または請求項４に記載の画像処理装置。
上記分割手段は、
上記映像信号から、色と周波数とテクスチャとの内の少なくとも１つに関する特徴量を算出する特徴量算出手段と、
上記映像信号に対して上記特徴量に基づきラベル付けを行うラベル付け手段と、
を有して構成されたものであることを特徴とする請求項２または請求項４に記載の画像処理装置。
上記分割手段は、
上記映像信号を表示し得るとともにタッチパネル機能を有する画像表示手段と、
上記画像表示手段からの指示に基づき領域を分割する領域設定手段と、
上記映像信号に対して上記画像表示手段からの指示に基づきラベル付けを行うラベル付け手段と、
を有して構成されたものであることを特徴とする請求項２または請求項４に記載の画像処理装置。
上記分割手段は、
上記映像信号を複数のブロック領域に分割して表示し得る画像表示手段と、
上記複数のブロック領域の内の少なくとも１つのブロック領域を選択するためのブロック選択手段と、
上記映像信号に対して上記選択されたブロック領域に基づきラベル付けを行うラベル付け手段と、
を有して構成されたものであることを特徴とする請求項２または請求項４に記載の画像処理装置。
上記設定手段は、
上記映像信号の情報量と所定の予測式とに基づいて階調変換特性に対する映像信号の情報量の関係を定式化する第１の定式化手段と、
上記ノイズの情報量と所定の予測式とに基づいて階調変換特性に対するノイズの情報量の関係を定式化する第２の定式化手段と、
上記映像信号に関する情報量の定式と上記ノイズに関する情報量の定式とに基づいて有効な情報量を最大にする階調変換特性を探索する探索手段と、
上記階調変換特性に対応する階調変換曲線を出力する出力手段と、
を有して構成されたものであることを特徴とする請求項１、請求項２、請求項３、または請求項４に記載の画像処理装置。
上記設定手段は、上記階調変換特性として、基準階調変換曲線に対する乗算係数を用いるものであることを特徴とする請求項１５に記載の画像処理装置。
上記設定手段は、上記階調変換特性として、基準階調変換曲線に対する距離を用いるものであることを特徴とする請求項１５に記載の画像処理装置。
上記第１の定式化手段と上記第２の定式化手段との少なくとも一方は、上記予測式として、２次関数式を用いるものであることを特徴とする請求項１５に記載の画像処理装置。
上記ノイズ推定手段は、
上記撮像系の温度値と、上記映像信号に対するゲイン値と、に関する情報を収集する収集手段と、
上記収集手段で得られない情報に関して標準値を付与する標準値付与手段と、
上記画素または上記所定単位面積を包含する所定サイズの局所領域の映像信号の平均値を算出する平均算出手段と、
上記収集手段または上記標準値付与手段からの情報と、上記平均値と、に基づいてノイズ量を求めるノイズ量算出手段と、
を有して構成されたものであることを特徴とする請求項３、請求項４、請求項５、または請求項６に記載の画像処理装置。
上記ノイズ低減手段は、
上記推定されたノイズ量に基づきノイズ範囲を設定するノイズ範囲設定手段と、
上記映像信号がノイズ範囲に属する場合に該映像信号に平滑化を行う第１のスムージング手段と、
上記映像信号がノイズ範囲に属さない場合に該映像信号に補正を行う第２のスムージング手段と、
を有して構成されたものであることを特徴とする請求項３または請求項４に記載の画像処理装置。
上記階調変換処理後の各領域の映像信号を合成する合成手段をさらに具備したことを特徴とする請求項２または請求項４に記載の画像処理装置。
上記撮像系は、Ｒ（赤），Ｇ（緑），Ｂ（青）Ｂａｙｅｒ型原色フィルタを前面に配置した単板撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子、を有して構成されたものであることを特徴とする請求項１、請求項２、請求項３、または請求項４に記載の画像処理装置。
コンピュータに、撮像系から得られた映像信号に対して階調変換処理を行わせるための画像処理プログラムであって、
コンピュータに、
上記映像信号から、映像信号の情報量と、ノイズの情報量と、を算出する情報量算出手順、
上記情報量に基づき、階調変換処理に用いる階調変換曲線を設定する設定手順、
上記階調変換曲線に基づき、上記映像信号に対して階調変換処理を行う階調変換手順、
を実行させるための画像処理プログラム。
コンピュータに、撮像系から得られた映像信号に対して階調変換処理を行わせるための画像処理プログラムであって、
コンピュータに、
上記映像信号を複数の領域に分割する分割手順、
上記領域の映像信号から、映像信号の情報量と、ノイズの情報量と、を算出する情報量算出手順、
上記情報量に基づき、階調変換処理に用いる階調変換曲線を設定する設定手順、
上記階調変換曲線に基づき、上記領域の映像信号に対して階調変換処理を行う階調変換手順、
上記領域毎に上記情報量算出手順と上記設定手順と上記階調変換手順とを順次適用するように制御する制御手順、
を実行させるための画像処理プログラム。
コンピュータに、撮像系から得られた映像信号に対してノイズ低減処理と階調変換処理とを行わせるための画像処理プログラムであって、
コンピュータに、
上記映像信号のノイズ量を画素単位または所定単位面積毎に推定するノイズ推定手順、
上記映像信号に対して上記ノイズ量に基づきノイズ低減処理を行うノイズ低減手順、
上記ノイズ低減処理後の映像信号から、映像信号の情報量と、ノイズの情報量と、を算出する情報量算出手順、
上記情報量に基づき、階調変換処理に用いる階調変換曲線を設定する設定手順、
上記階調変換曲線に基づき、上記ノイズ低減処理後の映像信号に対して階調変換処理を行う階調変換手順、
を実行させるための画像処理プログラム。
コンピュータに、撮像系から得られた映像信号に対してノイズ低減処理と階調変換処理とを行わせるための画像処理プログラムであって、
コンピュータに、
上記映像信号のノイズ量を画素単位または所定単位面積毎に推定するノイズ推定手順、
上記映像信号に対して上記ノイズ量に基づきノイズ低減処理を行うノイズ低減手順、
上記ノイズ低減処理後の映像信号を複数の領域に分割する分割手順、
上記領域の映像信号から、映像信号の情報量と、ノイズの情報量と、を算出する情報量算出手順、
上記情報量に基づき、階調変換処理に用いる階調変換曲線を設定する設定手順、
上記階調変換曲線に基づき、上記ノイズ低減処理後の領域の映像信号に対して階調変換処理を行う階調変換手順、
上記領域毎に上記情報量算出手順と上記設定手順と上記階調変換手順とを順次適用するように制御する制御手順、
を実行させるための画像処理プログラム。
上記情報量算出手順は、
上記映像信号または上記領域の映像信号を所定の縮小率で縮小映像信号へ変換する縮小手順と、
上記縮小映像信号に対して階調特性の異なる複数の階調変換曲線を用いて階調変換処理を行う前処理手順と、
上記階調変換処理がなされた縮小映像信号から映像信号の情報量を算出する第１の算出手順と、
上記階調変換処理がなされた縮小映像信号のノイズ量を画素単位または所定単位面積毎に推定するノイズ推定手順と、
上記ノイズ量からノイズの情報量を算出する第２の算出手順と、
を含むことを特徴とする請求項２３または請求項２４に記載の画像処理プログラム。
上記情報量算出手順は、
上記映像信号または上記領域の映像信号を所定の縮小率で縮小映像信号へ変換する縮小手順と、
上記縮小映像信号に対して階調特性の異なる複数の階調変換曲線を用いて階調変換処理を行う前処理手順と、
上記階調変換処理がなされた縮小映像信号から映像信号の情報量を算出する第１の算出手順と、
上記階調変換処理がなされた縮小映像信号のノイズ量を画素単位または所定単位面積毎に推定する第２のノイズ推定手順と、
上記ノイズ量からノイズの情報量を算出する第２の算出手順と、
上記ノイズの情報量に対して上記ノイズ低減処理による低減効果に相応する補正を行う補正手順と、
を含むことを特徴とする請求項２５または請求項２６に記載の画像処理プログラム。
上記情報量算出手順は、
上記映像信号から関心領域を抽出する関心領域抽出手順と、
上記関心領域に関して重み係数を設定する重み係数設定手順と、
上記重み係数に基づき、上記映像信号の情報量と、ノイズの情報量と、の少なくとも一方に補正を行う重み係数補正手順と、
を含むことを特徴とする請求項２３または請求項２５に記載の画像処理プログラム。
上記情報量算出手順は、
上記領域に関して重み係数を設定する重み係数設定手順と、
上記重み係数に基づき、上記映像信号の情報量と、ノイズの情報量と、の少なくとも一方に補正を行う重み係数補正手順と、
を含むことを特徴とする請求項２４または請求項２６に記載の画像処理プログラム。
上記設定手順は、
上記映像信号の情報量と所定の予測式とに基づいて階調変換特性に対する映像信号の情報量の関係を定式化する第１の定式化手順と、
上記ノイズの情報量と所定の予測式とに基づいて階調変換特性に対するノイズの情報量の関係を定式化する第２の定式化手順と、
上記映像信号に関する情報量の定式と上記ノイズに関する情報量の定式とに基づいて有効な情報量を最大にする階調変換特性を探索する探索手順と、
上記階調変換特性に対応する階調変換曲線を出力する出力手順と、
を含むことを特徴とする請求項２３、請求項２４、請求項２５、または請求項２６に記載の画像処理プログラム。
上記第１の定式化手順と上記第２の定式化手順との少なくとも一方は、上記予測式として、２次関数式を用いる手順であることを特徴とする請求項３１に記載の画像処理プログラム。