JP2015005001A - 画像信号処理装置，撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】信号レベルを補正する画像補正を行う際に、入力信号の局所的な補正特性に応じて適切にノイズを抑制した高画質な画像信号を低コストで生成する。
【解決手段】注目画素を含む局所領域の画素値の統計量を局所情報として算出する局所情報取得部と、局所情報取得部より取得した局所情報を用いてノイズ補正処理を行いノイズ補正した画像信号を出力するノイズ補正手段と、信号レベル補正処理を行いレベル補正した画像信号を出力する画像信号補正手段と、補正強度を決定して信号レベル補正処理の入出力特性を変化させる画像信号補正強度制御手段と、補正強度を元に画像信号補正手段の信号レベル補正処理によるレベル補正の特性を推定する信号補正特性推定手段と、信号補正特性推定手段の推定したレベル補正の特性に連動してノイズ補正手段におけるノイズ補正処理の補正強度を演算して制御するノイズ補正強度制御手段と、を有する画像信号処理装置。
【選択図】図１５

Description

本発明は，画像信号処理装置に関する。例えば，ノイズ補正と，信号レベルを変化させる種々の画像補正とを行う画像信号処理装置に関する。

本技術の背景分野として，例えば特許４１０９００１号公報（特許文献１）がある。該公報には，「本発明は、コントラスト補正や明るさ補正といった規定の画質補正を施すときに、画像に対して良好なノイズ除去を行うことでその画質補正を改善する新たな画質補正方法の提供する」ことを目的とし，「画像に対して規定の画質補正を施すときにあって、（１）画像のレベル値に基づいて、そのレベル値に対しての画質補正の補正量を算出する過程と、（２）ノイズ除去処理を適用する画像の部位またはその近傍の部位における補正量に基づいて、ノイズの除去強度を決定する過程と、（３）決定したノイズ除去強度に従って、画像の部位を単位にしてノイズを除去する過程と、（４）ノイズを除去した画像に対して画質補正を施す過程とを備えるように構成する」という技術が開示されている。

特許４１０９００１

近年，入力画像の全体または領域毎のヒストグラムを参照して画像処理による信号伸張や階調補正などを行うことで，様々なシーンにおける視認性の向上を実現する画像補正機能の実用化が進んでいる。画像補正機能としては例えば，逆光補正機能や霧・かすみ補正機能，広ダイナミックレンジ機能などがあり，民生カメラや監視カメラ等に採用されている。このとき，信号伸張や階調補正を行うと信号に含まれるノイズ成分も強調される。そこで，画像補正機能による信号伸張や階調補正の特性を踏まえて，前処理としてノイズ補正処理を制御することが望ましい。

前記特許文献１では，ノイズ除去量を決定する過程で画質補正の補正量を予め算出する必要があり，特に複雑な画質補正を行うと計算負荷が膨大となる。そのためコストの増加や，動画における動的なシーンに対するリアルタイム性が損なわれるという問題がある。また，ノイズ除去後の画像信号を元に画質補正の補正量を決めることで画質補正の性能向上が図れるが，本構成では実現できない。

本発明の目的は，高画質かつ高視認性な撮像装置の提供である。例えば，画像補正処理における補正強度の制御量を元に代表的な明るさごとの信号の補正特性を推定し，推定結果に連動して明るさごとのノイズ補正の補正強度を制御することで，被写体や撮影シーン，撮影条件によらず適切なノイズ補正と画像補正による高画質化と視認性向上を低コストかつリアルタイムに実現する。

上記目的を解決するために，例えば特許請求の範囲に記載の構成を採用する。

本発明によれば，ノイズ補正と画像補正による高画質化と視認性向上を低コストかつリアルタイムに実現することができる。

本発明の第１実施例に係る画像信号処理装置を示す第一の模式図 本発明の第１実施例に係る画像信号処理装置のノイズ補正強度制御に関する処理シーケンスの一例を示す図 本発明の第１実施例に係る統計情報を用いた信号レベル補正の補正強度制御方法の一例を示す図 本発明の第１実施例に係る決定した補正強度により画像信号補正部０１０４が行う信号レベル補正方法の一例を示す図 本発明の第１実施例に係る信号補正特性推定処理の一例を示す第１の図 本発明の第１実施例に係る信号補正特性推定処理の一例を示す第２の図 本発明の第１実施例に係る代表明るさにおける信号補正量を用いたノイズ補正強度の制御方法の一例を示す図 本発明の第１実施例に係る明るさごとのノイズ補正強度の制御方法の一例を示す図 本発明の第１実施例に係るノイズ補正強度の制御の効果の一例を示す図 本発明の第２実施例に係る画像信号処理装置を示す模式図 本発明の第２実施例に係るＡＣ成分の補正強度の制御方法の一例を示す図 本発明の第２実施例に係る代表明るさにおける周波数別のノイズ補正強度の制御方法の一例を示す図 本発明の第２実施例に係る周波数ごとのノイズ補正強度の制御方法の一例を示す図 本発明の第３実施例に係る画像信号処理装置を示す模式図 本発明の第３実施例に係る信号補正特性推定情報の格納方法の一例を示す図 本発明の第４実施例に係る画像信号処理装置を示す模式図 本発明の第４実施例に係る代表明るさにおける信号補正量を用いたエッジ強調強度の制御方法の一例を示す図 本発明の第４実施例に係る明るさごとのエッジ強調強度の制御方法の一例を示す図 本発明の第５実施例に係る画像信号処理装置を示す模式図 本発明の第５実施例に係る代表明るさにおける信号補正量を用いた色ノイズ補正強度の制御方法の一例を示す図 本発明の第５実施例に係る明るさごとの色ノイズ補正強度の制御方法の一例を示す図 本発明の第６実施例に係る撮像装置を示す模式図 本発明の第６実施例に係るノイズ補正の補正強度制御方法の一例を示す図 本発明の第６実施例に係る信号レンジ補正処理の補正強度制御方法の一例を示す図 本発明の第７実施例に係る画像信号処理装置および撮像装置を示す模式図

以下，図面を用いて本発明の実施例を説明する。

図１は，本発明の第１実施例に係る画像信号処理装置を示す第一の模式図である。図１において，０１０１は画像信号入力部，０１０２は局所情報取得部，０１０３はノイズ補正部，０１０４は画像信号補正部，０１０５は統計情報取得部，０１０６は信号補正強度制御部，０１０７は信号補正特性推定部，０１０８はノイズ補正強度制御部である。

図１に示した画像信号処理装置において，画像信号入力部０１０１は，映像ケーブルと接続したキャプチャボードやＬＡＮ，ＵＳＢなどを介して撮像機器ないし映像機器と接続し，画像信号が入力される。あるいは，画像信号入力部０１０１がレンズおよび撮像素子およびＡ／Ｄ変換部を備え，撮像処理を行うことで画像信号を生成するといった形態を取っても良い。あるいは，不図示の画像記録部にあらかじめ格納された画像信号の読み込みを行うといった形態を取っても良い。

局所情報取得部０１０２は画像信号入力部０１０１より出力された画像信号を取得し，各画素に対して局所的な明るさを算出し、算出した明るさ情報を出力する。局所的な明るさの算出方法としては，例えば，画像信号がビデオ信号のように輝度信号を持つ場合は画素値をそのまま注目画素の明るさと見做して良いし，注目画素とその近傍画素の画素値との加重平均を取ることでノイズや絵柄の影響を低減しても良い。また，画像信号がベイヤ配列からなる撮像素子から出力された生データ，すなわちＲＡＷデータであれば，注目画素と同色の近傍画素の画素値との加重平均を取って明るさ情報としても良い。また，画像信号がＲＧＢデータのようなカラーデータであれば，予め各色のデータを加重平均したものを輝度信号と見做し，その後に注目画素と近傍画素の画素値との加重平均を取って明るさ情報としても良い。また，明るさ情報は画素ごとに算出せずに，一定の間隔ごとに算出して複数の画素で共有することで，演算量の低減を図ってもよい。

ノイズ補正部０１０３は，画像信号入力部０１０１より出力された画像信号を取得し，画像信号中の各画素に対して局所情報取得部０１０２の算出した明るさ情報に対して異なる補正強度で，ガウシアンフィルタ等の平滑化フィルタやメディアンフィルタ等のノイズ成分を除去する効果のある空間フィルタを用いた二次元ノイズ補正処理や，画像信号入力部０１０１より出力された画像信号が動画像であった場合に，時間軸方向の信号レベルの加重平均を取ることでランダムノイズを補正する三次元ノイズ補正処理等の信号処理を実施し，ノイズを補正した画像信号を生成して出力する。注目画素の明るさ情報とその時の補正強度の相関は，予め基準となる対応関係を関数やテーブル等で持たせておき，それを元に決定すれば良い。なお，この基準となる対応関係に対し，ユーザの操作や自動演算などで求めた補正パラメータによりさらに補正を行うことで，明るさごとの補正強度を自由に調整できるようにしても良い。

また，基準となる対応関係は複数の代表的な明るさと補正強度の相関のみを持たせておき，間の明るさに対する補正強度の相関は補間から算出することで，テーブルサイズの低減を図っても良い。また，ノイズ補正処理の方式として，特性の異なる複数の種類の二次元ノイズ補正処理または三次元ノイズ補正処理を多段的に組み合わせて用いたり，同じ入力信号に並行して異なる処理を行ってから合成したりすることにより，特性の異なるノイズ成分を除去できる構成としても良い。また，入力する画像信号を前処理で低周波成分と高周波成分に分離し，それぞれに対し異なるノイズ補正処理を行うことでエッジの精細感を残しながらノイズのみを効果的に除去できる構成としても良い。

画像信号補正部０１０４は信号補正強度制御部０１０６の出力する信号レベル補正の補正強度に基づき画像信号の入出力特性を決定し，その入出力特性に基づきノイズ補正部０１０３より出力された画像信号の画素毎の信号値である信号レベルを補正して出力信号を生成する。画像信号補正部０１０４の実施する画像信号の補正は信号レベルを補正することによる逆光時の露出アンダーの信号潰れ補正や霧・かすみ補正，広ダイナミックレンジ化処理等を含み，例えば，予め入力値に対する出力値の対応を関数の係数や対応付けのルックアップテーブルとして保持し，信号レベル補正の補正強度を元に関数の係数やルックアップテーブルの値を補正して入出力特性を定め，その入出力特性に基づき画像信号の信号レベルを変換することで実現できる。

また，予め複数の明るさや補正強度に対応した補正のための関数の係数や対応付けのルックアップテーブルを複数保持し，処理時に信号補正強度制御部０１０６の出力する補正強度を元に使用する関数の係数や対応付けのルックアップテーブルを選択ないし補間して使用し，演算コストを低減することを図っても良い。

ここで，画像信号補正部０１０４に入力される画像信号が輝度信号で有れば，各画素の画素値を入出力特性に基づき補正することで，明るさの補正を行うことができる。また，輝度信号の代わりに局所情報取得部０１０２と同様の処理で明るさ情報を算出して，明るさ情報のみを入出力特性に基づき補正して明るさ情報の入出力比を求め，明るさ情報の入出力比に基づき元の画像信号の画素値を補正することで，ＲＧＢ信号などでも明るさ補正ができる構成としても良い。また，入力する画像信号を複数の成分に分離してそれぞれ異なる補正処理を行い合成しても良い。例えば，前処理で低周波成分と高周波成分に分離し，低周波成分を明るさ情報と見做せば，それぞれに対し異なる信号レベル補正処理を行うことで被写体の明るさとエッジの精細感をそれぞれ補正することが可能である。また，画像信号中の領域毎に異なる入出力特性で信号レベル補正処理を行うことで，画像内の被写体ごとに最適な補正が行えるようにしても良い。

なお，ノイズ補正部０１０３で実施するノイズ補正処理や，画像信号補正部０１０４で実施する信号レベル補正処理は，画像信号がビデオ信号のように輝度信号と色信号を持つ場合は入出力のそれぞれで輝度信号と色信号の比率が同様となるように同じ特性の処理を実施すればよい。または，輝度信号と色信号で異なる特性の処理を実施したり，あるいは，いずれか一方の信号のみに処理を実施するという構成とし，性能または計算コストの最適化を図ったりしても良い。

統計情報取得部０１０５はノイズ補正部０１０３の出力する画像信号を入力とし，信号値の統計情報を測定して出力する。ここで，統計情報とは，例えば画像信号中の各画素の信号値のヒストグラム分布，あるいは，平均値，最大値，最小値，標準偏差等の統計量であり，信号補正強度制御部０１０６が画像信号中のシーンを判別して，画像信号補正部０１０４が信号レベルを補正する際の補正強度を適正にするために使用する情報である。このとき，画像信号中の予め定めた所定の領域内の画素の信号値の統計情報を取得したり，画像認識により検出された被写体の存在する領域内の画素の信号値の統計情報を取得したり，あるいは，信号値が所定の範囲内の画素についてのみ統計情報を取得することでシーンの判別性能の向上を図っても良い。例えば，画像信号補正部０１０４が画像信号中の領域毎に異なる入出力特性で信号レンジ補正処理を行う場合，その領域に合わせた単位で統計情報を取得することで，領域毎に最適な信号レンジ補正処理が実現できる。

信号補正強度制御部０１０６は統計情報取得部０１０５の出力する統計情報を元に画像信号中のシーンを判別して，画像信号補正部０１０４が信号レベルを補正する際の明るさごとの補正強度を決定する。画像信号補正部０１０４が画像信号中の領域毎に異なる入出力特性で信号レンジ補正処理を行う場合，その領域に合わせた単位で信号補正強度制御部０１０６が測定した統計情報を取得し，領域毎に補正強度を決定しても良い。この信号レベル補正処理の補正強度の制御方法については図３を用いて後述する。

信号補正特性推定部０１０７は信号補正強度制御部０１０６の決定した補正強度を元に画像信号補正部０１０４で行う信号レベルの補正により信号が明るさごとにどの程度増幅されたかを示す評価値である信号補正特性を推定する。信号補正特性の推定は，例えば，信号レベル補正の補正強度が大きいほど信号補正量が大きくなるように正の相関を持たせた場合は，信号レベル補正の補正強度に明るさごとの重みを付けたものを信号補正特性と看做して扱えばよい。また，信号レベル補正の補正強度と信号補正特性を対応付ける関数の係数や変換テーブルを元に信号レベル補正の補正強度から信号補正量を算出することで精度を向上するようにしても良い。

ノイズ補正強度制御部０１０８は信号補正特性推定部０１０７の推定した信号補正特性を元にノイズ補正部０１０３の行うノイズ補正処理の明るさごとの補正強度を決定し，制御する。ノイズ補正部０１０３はこの補正強度に基づきノイズ補正を行うことで，画像信号補正部０１０４におけるそれぞれの画素の補正量に応じて適正なノイズ補正を行うことが可能となる。統計情報取得部０１０５がノイズ補正部０１０３の出力する画像信号のかわりに画像信号入力部０１０１の出力する画像信号より統計情報を取得する構成であっても構わない。また，信号補正強度制御部０１０６が統計情報取得部０１０５の出力する統計情報を用いずに不図示の入力部から入力した値を信号レベル補正処理の補正強度として決定する構成であっても構わない。この場合，画像信号中のシーンに連動した補正強度の制御ができないが，統計情報取得部０１０５を省略することができ，ソフトウェアで実現した場合の計算時間の低減やハードウェアで実現した場合の開発コスト低減を図ることができる。

なお，図１で示した画像信号処理装置は本実施例に直接関する処理部に注目して記載しているが，実際に画像処理を行う上で重要なその他の高画質化処理や信号フォーマットの変換処理，圧縮伸張処理などを各処理の前後ないし途中で実施しても構わない。

また，局所情報取得処理やノイズ補正処理，信号レベル補正処理，統計情報取得処理，信号レベル補正の補正強度制御処理，信号補正特性推定処理，ノイズ補正の補正強度制御処理は，例えばパソコンであれば、ＨＤＤなどに記憶されたプログラムをＣＰＵがメモリに展開し、ＣＰＵがプログラムに従って演算することで実施され，組み込み機器であればマイコンやＤＳＰ，専用のＬＳＩなどにて実施される。また，信号処理である局所情報取得処理や，ノイズ補正処理，信号レベル補正処理，統計情報取得処理をＤＳＰ，専用のＬＳＩで実施し，制御処理である信号レベル補正の補正強度制御処理，信号補正特性推定処理，ノイズ補正の補正強度制御処理をマイコンで実施することで，コストや性能の最適化を図っても良い。本実施例および以降の実施例では説明を簡単にするために、ＣＰＵがプログラムに従って演算することで局所情報取得処理やノイズ補正処理，信号レベル補正処理，統計情報取得処理，信号レベル補正の補正強度制御処理，信号補正特性推定処理，ノイズ補正の補正強度制御処理が実施される場合であっても各処理部が各処理を実施するとして説明する。

また，図１で示した画像信号処理装置は複数のソフトウェアおよび複数のハードウェアで実現される構成としても良い。例えば，局所情報取得処理や，ノイズ補正処理，信号レベル補正処理，統計情報取得処理とを異なるＤＳＰや専用のＬＳＩで実施し，信号レベル補正の補正強度制御処理，信号補正特性推定処理およびノイズ補正の補正強度制御処理を共通のマイコンで実施するといった構成をとっても良い。また，局所情報取得処理とノイズ補正処理とノイズ補正の補正強度制御処理とを第一のＤＳＰおよびマイコンで，信号レベル補正処理，統計情報取得処理，信号レベル補正の補正強度制御処理，信号補正特性推定処理とを第二のＤＳＰおよびマイコンで実現するような構成としても良いし、ひとつの処理を複数のプログラムや複数のＬＳＩが実現するような構成としても良い。

図２は，本実施例の第１実施例に係る画像信号処理装置のノイズ補正強度制御に関する処理シーケンスの一例を示す図である。図２で示すノイズ補正強度処理シーケンスは，図１で示した信号補正強度制御部０１０６，信号補正特性推定部０１０７，ノイズ補正強度制御部０１０８で実行される。

図２に示すノイズ補正強度制御に関する処理シーケンスにおいて，ＳＴ０２０１では信号補正強度制御部０１０６が統計情報取得部０１０５より取得した統計情報を元に、画像信号補正部０１０４の信号レベル補正処理の補正強度を補正パラメータとして算出し，画像信号補正部０１０４に出力する。信号補正強度制御部０１０６における信号レベル補正処理の補正強度の制御方法については図３を用いて後述する。

ＳＴ０２０２では信号補正特性推定部０１０７が画像信号補正部０１０４の算出した補正パラメータを元に，入力した画像信号を基準とした複数の所定の代表的な明るさにおける画像信号補正量を推定する。信号補正特性推定部０１０７における信号補正特性推定処理の制御方法については図４を用いて後述する。

ＳＴ０２０３では，ノイズ補正強度制御部０１０８が信号補正特性推定部０１０７の算出した代表的な明るさにおける画像信号補正量を元に，代表的な明るさにおけるノイズ補正量を決定し，ノイズ補正部０１０３に出力する。ノイズ補正強度制御部０１０８におけるノイズ補正の補正強度制御処理の制御方法については図５を用いて後述する。これにより，画像信号補正部０１０４を行う信号レベル補正処理の明るさごとの補正量に応じて予め適正なノイズ補正を行うことで信号レベル補正時にノイズも共に強調されることを抑制し，高画質化が可能となる。

なお，統計情報取得部０１０５が画像信号補正部０１０４の出力するノイズ補正後の画像信号から統計情報を算出し，ノイズ補正強度制御部０１０８はノイズ補正部０１０３がノイズ補正を行う補正強度を制御するため、制御のタイミング順序が逆になる。このため，静止画処理を行う際には，ノイズ補正を補正強度の初期値で実施し，ノイズ補正後の画像から得られた統計情報を用いて信号レベル補正処理の補正強度を制御し，そのときの画像信号補正量の推定結果から改めてノイズ補正の補正強度を行って，再度一連の処理を繰り返すといったループ処理を行うことで上記のような制御が実現できる。一方で，本構成が連続的な撮像信号を入力としフレームごとに一連の処理を行うような動画像処理を行う際には，フレーム間で撮影対象が大きく変化しないため，前フレームで統計情報取得部０１０５が算出した統計情報を用いて現フレームの信号補正特性の推定処理やノイズ補正強度制御処理を行えば良く，リアルタイムにシーンに適応したノイズ補正処理と画像信号補正処理を行うことができる。

なお、フレーム間で撮影対象が大きく変化した場合には，前フレームの統計情報の信頼性が損なわれている可能性があるため，前フレームの統計情報を参照せず，ノイズ補正処理の補正強度を初期値に戻すことで，過剰な補正がかかることを抑制できる。

本実施例に基づく方式では，ノイズ補正処理の補正強度を制御するのに用いるのは実際の画像信号補正処理の出力結果ではなく、補正パラメータに基づく補正量の推定値であるため，画像信号補正処理はノイズ補正処理の後段で１フレーム期間に一度行えばよい。このため，ビデオカメラにおいて動画像処理を行う場合には，ノイズ補正処理と画像信号補正処理を１フレーム期間に一度ずつ行うだけで画像信号補正処理の補正特性に連動したノイズ補正処理が行うことが可能であり，ハードウェアで実現する際の回路規模やソフトウェアで実現する際の演算コストを低減できる。特に画像信号補正処理が複雑な入出力特性の処理を行い回路規模が増大しても，本構成ではソフトウェアによる制御処理を追加するのみでよいため，コストの大幅な増大を抑制できる。

また，統計情報取得部０１０５はノイズ補正部０１０３の出力するノイズ補正後の画像信号からノイズの影響の小さい統計情報を算出することにより，シーン判別を高精度に行え，画像信号補正処理による視認性の向上が高精度に行えるという利点もある。

図３は，本実施例の第１実施例に係る信号レベル補正の補正強度制御方法の一例を示す第１の図である。
本実施例において信号レベル補正の補正強度制御処理は信号補正強度制御部０１０６で実施される。図３（ａ）は統計情報を用いた信号レベル補正の補正強度制御方法の一例を示す図であり，図３（ｂ）は決定した補正強度により画像信号補正部０１０４が行う信号レベル補正方法の一例を示す図である。この例では，照度差が非常に大きく黒潰れが発生する，あるいは，逆光や強い光が画角内に映り込むことにより自動露光が全体にアンダーとなり主要被写体の黒潰れが発生する場合に，明るい被写体を白飛びさせることなく暗い被写体の黒潰れを改善するようなコントラスト補正を実現している。

図３（ａ）に示すように，統計情報取得部０１０５は画像信号の輝度ヒストグラムを取得し，その形状，すなわち暗部の輝度の重心や分散といった統計情報から露光アンダーによる黒潰れの度合いを評価する。一例として，暗部の輝度の重心が低く，かつ，分散が小さければ黒つぶれが発生としていると判断することができる。このとき，さらに高輝度の被写体が存在するかを判定し，その結果に応じて逆光や強い光により露光アンダーが発生しているかを判断しても良い。例えば高輝度の被写体が存在していなければ単純に露光不足として，露光制御やゲイン処理，ガンマ処理等の画面を明るくする処理を行えば良い。一方，高輝度の被写体が存在する場合は，単純に画面全体を明るくすると高輝度の被写体が完全に白飛びするため，暗い場所は明るくし，明るい場所は暗くするといったような明るさごとの信号レベル補正を行うことが好ましい。

そこで，先述の判断の結果，露光アンダーが発生していると判定した場合は画像信号補正部０１０４の補正強度を大きく，露光アンダーが発生していないと判定した場合は画像信号補正部０１０４の補正強度を小さくなるように制御する。図３（ｂ）に示すように，画像信号補正部０１０４は信号補正強度制御部０１０６の決定した補正強度が大きい場合に入出力特性の暗部の傾きと明部の傾きを大きくし，補正強度が小さい場合に入出力特性をリニアに近づける。このとき，暗部の補正量を明部の補正量より大きくすることで，明部のコントラストを低下させずに暗部のコントラストを伸張し，黒潰れを改善することが可能となる。

ここで，本例では分かりやすく一つの補正強度で暗部と明部の補正量が同時に変化する制御を示したが，暗部と明部がそれぞれヒストグラムの形状に応じて補正強度を変えられる制御としても良い。また，暗部と明部で異なる入出力特性を設けてそれぞれヒストグラムの形状に応じて補正強度を変えられるようにし，入力信号を所定の閾値と比較してその結果に応じてどちらの入出力特性を用いるか選択する制御としても良い。これらの制御を用いた場合にはより補正の自由度が向上するため，より撮影シーンに適した補正を行えるようになる。

図４は，本実施例の第１実施例に係る信号補正特性推定処理の制御方法の一例を示す図である。
本実施例において信号補正特性推定処理は信号補正特性推定部０１０７で実施される。図４（ａ）は信号補正特性推定処理の一例を示す第１の図であり，図４（ｂ）は信号補正特性推定処理の一例を示す第２の図である。

図４（ａ）に示すように，信号補正特性推定部０１０７は代表的な明るさ１から３のそれぞれにおいて，入力信号の信号レベルａ１からａ３と出力信号と入力信号の差分，すなわち補正量であるΔａ１からΔａ３を取得し，その比であるΔａ１／ａ１からΔａ３／ａ３をそれぞれの明るさにおける信号補正量の推定値Ａ１からＡ３として算出する。これにより，信号のゲイン量に則してノイズがどの程度強調されるかを信号補正量の推定値から容易に類推することができる。

また，図４（ｂ）に示すように，信号補正特性推定部０１０７は代表的な明るさ１から３のそれぞれにおいて，その明るさを含む局所的な入力信号の信号レベルのレンジΔｉ１からΔｉ３に対する入出力特性の傾きをそれぞれの信号補正量の推定値Ａ１からＡ３として算出してもよい。この場合はある信号レベルにおけるランダムノイズがガウス分布で生じる場合に，信号の伸張量に則してどの程度強調されるかを信号補正量の推定値から容易に類推することができる。このとき，入力信号の信号レベルに応じてノイズの分散が異なることを考慮し，Δｉ１からΔｉ３の広さをそれぞれ異ならせてもよい。これにより，画像信号補正部０１０４の補正強度に応じて適応的に，複数の所定の代表的な明るさにおける画像信号補正量を推定することができ，ノイズもどの程度強調されるかが類推可能となる。

図５は，本実施例の第１実施例に係るノイズ補正の補正強度制御方法の一例を示す図である。本実施例においてノイズ補正の補正強度制御処理はノイズ補正強度制御部０１０８で実施される。図５（ａ）は代表明るさにおける信号補正量を用いたノイズ補正強度の制御方法の一例を示す図であり，図５（ｂ）は明るさごとのノイズ補正強度の制御方法の一例を示す図である。図５（ｃ）はノイズ補正強度の制御の効果の一例を示す図である。

図５（ａ）に示すように，ノイズ補正強度制御部０１０８は信号補正量Ａ１からＡ３を元に，ノイズ補正部０１０３の明るさごとのノイズ補正処理の補正強度Ｂ１からＢ３を制御する。このとき，信号補正量が大きくなるにつれてノイズ補正処理の補正強度を大きくする。これにより，信号補正強度制御部０１０６が信号を伸張するように信号レンジ補正処理を行った場合，信号補正量に応じてノイズの補正効果を強くすることで，ノイズ成分も同時に強調されることによる画質の低下を抑制することができる。このとき，図５（ａ）に示すように，例えば所定の閾値１より信号補正量が小さい場合に，ノイズ補正強度が最小値を下回らないようにすることで，信号レンジ補正処理の効果が弱い場合でも一定のノイズ補正を行うことができる。

また，所定の閾値２より信号補正量が大きい場合に，ノイズ補正強度が最大値を上回らないようにすることで，ノイズ補正がかかりすぎて精細感が過剰に損なわれることを防止することや，ノイズ補正強度が設定可能な範囲を超えないようにすることができる。また，図５（ａ）では説明を簡易にするために信号補正量とノイズ補正強度が閾値１と閾値２の間で線形に変化しているが，非線形に変化するように制御したり，間に閾値をさらに設けて複数の線分で補間するよう制御したり，離散的に補正強度を設けて不連続で変化するように制御しても良い。また，信号補正量Ａ１からＡ３とノイズ補正強度Ｂ１からＢ３の関係を同一の入出力特性で示しているが，代表明るさ１から３においてそれぞれ異なる閾値や傾きを持つようにし，ノイズの目立ちやすい暗部でノイズ補正強度がより強く，目立ちにくい明部でより弱くなるようにしても良い。

図５（ｂ）に示すように，代表的な明るさ以外の明るさにおいては，ノイズ補正強度を補間して算出することにより，局所情報取得部０１０２の算出する全ての局所的な明るさに対して対応するノイズ補正強度を決定し，ノイズ補正部０１０３がノイズ補正を行うことが可能となる。

なお，本実施例においては，代表明るさは暗部，中間部，明部を示す３点を選択したが，局所情報取得部０１０２の算出する局所的な明るさの取りうる値全てを代表明るさとして精度を高めても良いし，ポイント数を減らすことで演算負荷を低減しても良い。

本実施例に示すノイズ補正の補正強度制御を行うことで，図５（ｃ）に示すように，例えばヘッドライトの強い光により露光がアンダーとなり全体的に黒潰れしたシーンで，ヘッドライト周辺の視認性を維持したまま黒潰れした被写体の視認性を改善することができ，このときヘッドライト周辺の明るい被写体ではノイズ補正を弱めることで精細感の低減を抑制し，それ以外の暗い被写体ではノイズ補正を強めて信号を伸張した際のノイズの強調を抑制することができるため，映像全体で高画質かつ高視認性な映像が得られる。

かように本実施例によれば，信号レベル補正の補正強度の制御情報から明るさごとのノイズ補正の補正強度を決定することで信号レベル補正の特性に応じて最適なノイズ補正を実施し，低コストで高画質かつ視認性の高い画像を生成することが可能となる。

図６は，本発明の第２実施例に係る画像信号処理装置を示す模式図である。図６において，０６０１は画像信号入力部，０６０２は局所情報取得部，０６０３はノイズ補正部，０６０４は画像信号補正部，０６０４＿１は周波数分離部，０６０４＿２はＤＣ成分補正部，０６０４＿３はＡＣ成分補正部，０６０４＿４は周波数統合部，０６０５は統計情報取得部，０６０６は信号補正強度制御部，０６０７は信号補正特性推定部，０６０８はノイズ補正強度制御部である。図６で示した画像信号処理装置と図１で示した画像信号処理装置との差異は，画像信号補正部０６０４が周波数分離部０６０４＿１，ＤＣ成分補正部０６０４＿２，ＡＣ成分補正部０６０４＿３，周波数統合部０６０４＿４をそれぞれ備え，周波数成分ごとに異なる信号補正を行える構成となっていることである。なお、第１実施例と同名の処理部は特に断りのない限り第１実施例で説明したものと同様の機能を備えている。

図６に示した画像信号処理装置において，局所情報取得部０６０２は画像信号入力部０６０１より出力された画像信号を取得し，各画素に対して局所的な明るさに加え，局所領域における周波数ごとの信号成分を算出して出力する。周波数ごとの信号成分は例えば離散コサイン変換処理を行ったり，フィルタ係数やフィルタサイズの異なる複数のローパスフィルタ，バンドパスフィルタ，ハイパスフィルタなどをそれぞれ適用することで行ったりすることで算出できる。

ノイズ補正部０６０３は，画像信号入力部０６０１より出力された画像信号を取得し，画像信号中の各画素に対して局所情報取得部０６０２の算出した局所的な明るさまたは局所領域における周波数ごとの信号成分の組成に応じた補正強度で，ガウシアンフィルタ等の平滑化フィルタやメディアンフィルタ等のノイズ成分を除去する効果のある空間フィルタを用いた二次元ノイズ補正処理や，画像信号入力部０６０１より出力された画像信号が動画像であった場合に，時間軸方向の信号レベルの加重平均を取ることでランダムノイズを補正する三次元ノイズ補正処理等の信号処理を実施し，ノイズを補正した画像信号を生成して出力する。または，ノイズ補正部０６０３が局所情報取得部０６０２において離散コサイン変換処理により算出した周波数ごとの信号成分に対してそれぞれ異なる補正強度で補正を行った後に，逆離散コサイン変換処理を行うことで，所望の周波数帯のノイズを低減したノイズ補正信号を生成する構成を取っても良い。

画像信号補正部０６０４において，周波数分離部０６０４＿１はノイズ補正部０６０３より出力された画像信号を周波数毎の成分に分離し，明るさ情報と見做せるＤＣ成分と，エッジやノイズの情報を多く含む周波数毎の複数のＡＣ成分をそれぞれ算出し，出力する。周波数分離処理は局所情報取得部０６０２の周波数ごとの信号成分の算出処理と同様に離散コサイン変換処理を行ったり，フィルタ係数やフィルタサイズの異なる複数のローパスフィルタ，バンドパスフィルタ，ハイパスフィルタなどをそれぞれ適用することで行ったりすることで算出できる。また，Ｒｅｔｉｎｅｘ理論に基づく処理を行い，照明光成分をＤＣ成分として，反射光成分をＡＣ成分として算出してもよい。

ＤＣ成分補正部０６０４＿２は信号補正強度制御部０６０６の出力する信号レベル補正の補正強度に基づき画像信号の入出力特性を決定し，その入出力特性に基づき画像信号の明るさ情報と見做せるＤＣ成分の信号レベルを補正して出力信号を生成する。

ＡＣ成分補正部０６０４＿３は信号補正強度制御部０６０６の出力する信号レベル補正の補正強度に基づき周波数毎のＡＣ成分の補正ゲインを決定し，その補正ゲインに基づきＡＣ成分の信号レベルを補正して出力信号を生成する。

周波数統合部０６０４＿４は逆離散コサイン変換処理などの周波数分離部の逆処理を行うことにより信号レベルを補正したＤＣ成分とＡＣ成分を統合し，出力する。これにより，被写体の明るさとエッジの精細感の双方を補正し視認性を向上することができる。

信号補正強度制御部０６０６は統計情報取得部０６０５の出力する統計情報を元に画像信号中のシーンを判別して，画像信号補正部０６０４が信号レベルを補正する際の明るさごとの補正強度，すなわちＤＣ成分の補正強度と，周波数毎の補正強度，すなわちＡＣ成分の補正強度を決定する。ＤＣ成分は注目画素における明るさ情報と見做せるため，ＤＣ成分の補正強度の制御方法は図３に示す本発明の第１実施例に係る信号レベル補正の補正強度制御方法の一例と同様にすれば良い。また，ＡＣ成分の補正強度の制御方法については図７を用いて後述する。

信号補正特性推定部０６０７は信号補正強度制御部０６０６の決定した補正強度を元に画像信号補正部０６０４で行う信号レベルの補正により信号が明るさ及び周波数ごとにどの程度増幅されたかを示す評価値である信号補正特性を推定する。

ノイズ補正強度制御部０６０８は信号補正特性推定部０６０７の推定した信号補正特性を元にノイズ補正部０６０３の行うノイズ補正処理の明るさ及び周波数ごとの補正強度を決定し，制御する。

ノイズ補正部０６０３はこの補正強度に基づきノイズ補正を行うことで，画像信号補正部０６０４におけるそれぞれの画素の補正量に応じて適正なノイズ補正を行うことが可能となる。

図７は，本発明の第２実施例に係るＡＣ成分の補正強度の制御方法の一例を示す図である。本実施例においてＡＣ成分の補正強度の制御処理は信号補正強度制御部０６０６で実施される。信号補正強度制御部０６０６は代表明るさ１から３のそれぞれで，代表的な周波数ｆ１からｆ３に対応するＡＣ成分補正量Ａ’１からＡ’３を算出する。これは例えば基準となる対応を予めテーブルとして格納しておけば良い。これにより，見た目に影響しやすい周波数のエッジの精細感を優先して向上することで視認性を改善することができる。また，このとき，ＡＣ成分の補正量をＤＣ成分の補正量に応じてゲイン処理を行うことで増減しても良く，これによりＤＣ成分の補正量が大きい被写体では同時にＡＣ成分の補正量を大きくしてよりエッジの精細感を向上することができる。逆に，ＤＣ成分の補正量が大きい被写体ではＡＣ成分の補正量を小さくして，ノイズの強調の抑制を優先しても良い。

図８は，本発明の第２実施例に係るノイズ補正の補正強度制御方法の一例を示す図である。本実施例においてノイズ補正の補正強度制御処理はノイズ補正強度制御部０６０８で実施される。図８（ａ）は代表明るさにおける周波数別のノイズ補正強度の制御方法の一例を示す図であり，図８（ｂ）は周波数ごとのノイズ補正強度の制御方法の一例を示す図である。

図８（ａ）に示すように，ノイズ補正強度制御部０６０８は図５（ａ）に示す本発明の第１実施例に係るノイズ補正の補正強度制御方法の一例と同様に，代表明るさごとのノイズ補正強度Ｂ１からＢ３を算出した後，代表明るさ１におけるノイズ補正強度Ｂ１に対しては，周波数ｆ１からｆ３ごとに異なる入出力特性の補正を行うことで，周波数別のノイズ補正強度Ｂ１１からＢ１３を算出する。例えば，周波数ｆ１からｆ３におけるノイズ補正強度の補正特性はＡＣ成分補正部０６０４＿３におけるＡＣ成分補正の周波数毎の比率に合わせれば良い。図中省略しているが，代表明るさ２，３におけるノイズ補正強度Ｂ２，Ｂ３に対しても同様の補正を行う。このとき，例えば暗部である代表明るさ１ではノイズ補正強度の補正特性をより小さくして，明部である表明るさ３ではノイズ補正強度の補正特性をより大きくするといった用に明るさごとにノイズ補正強度の補正特性を変えても良い。これにより，例えば暗部でノイズ補正を行った際に，ノイズの消え残りが信号レベルを補正した場合に強調され，却って不自然な映像になるといった現象を抑制することができる。

図８（ｂ）に示すように，代表的な周波数以外の周波数においては，ノイズ補正強度を補間して算出することにより，局所情報取得部０６０２の算出する全ての局所的な明るさ及び周波数に対して対応するノイズ補正強度を決定し，ノイズ補正部０６０３がノイズ補正を行うことが可能となる。これにより，画像信号補正部０６０４が入力画像に対し明るさとエッジの精細感の双方を改善する場合に，それぞれの補正特性に合わせて適正なノイズ補正を行うことが可能となる。

なお，上記の例では画像信号補正部０６０４の明るさおよび周波数ごとの補正量に連動してノイズ補正部０６０３のノイズ補正強度を決定しているが，いずれか一方のみに連動してノイズ補正強度を決定することで演算負荷の低減を図っても良い。

かように本実施例によれば，信号レベル補正の特性に応じて明るさだけでなく周波数成分にも着目してノイズ補正を行うことで，より高画質かつ視認性の高い画像を生成することが可能となる。

図９は，本発明の第３実施例に係る画像信号処理装置を示す模式図である。図９において，０９０１は画像信号入力部，０９０２は局所情報取得部，０９０３はノイズ補正部，０９０４は画像信号補正部，０９０５は統計情報取得部，０９０６は信号補正強度制御部，０９０７は信号補正特性推定部，０９０８はノイズ補正強度制御部，０９０９は信号補正特性推定情報格納部であり，図１に示した本発明の第１実施例に係る画像信号処理装置を示す模式図に信号補正特性推定情報格納部０９０９を加えた構成となっている。なお、他の実施例と同名の処理部は、特に断りのない限り既に説明したものと同様の機能を備えている。

図９に示した画像信号処理装置において，信号補正特性推定情報格納部０９０９はプログラム上のＲＯＭ領域や不揮発性メモリ，記録媒体などに該当し信号補正特性推定部０９０７が信号補正強度制御部０９０６の決定する信号レベル補正の補正強度を元に画像信号補正部０９０４が信号レベル補正を行う際の信号補正特性を推定するための信号補正特性推定情報を格納する。信号補正特性推定情報は画像信号補正部０９０４における信号レベル補正の入出力特性が既知である場合は，その入出力特性に則した信号補正量を予め求めて格納すればよく，未知であれば事前の校正により推定した値を格納すればよい。また，画像信号補正部０９０４が入力信号の明るさ及び周波数ごとに異なる補正特性で信号レベル補正を行う場合は，代表的な明るさや代表的な周波数における入出力特性に則した補正量を格納すれば良い。

信号補正特性推定部０９０７は信号補正強度制御部０９０６の決定した信号レベル補正の補正強度と信号補正特性推定情報格納部０９０９より取得した信号補正特性推定情報を用いることで画像信号補正部０９０４の信号レベル補正の入出力特性に則した信号補正特性を高精度に推定することが可能となる。これにより，信号レベル補正処理の補正効果に応じて最適なノイズ補正を行うことが可能となり，高画質かつ視認性の高い画像信号を生成することが可能となる。

図１０は，本発明の第３実施例に係る信号補正特性推定情報の格納方法の一例を示す図である。本実施例において信号補正特性推定情報の格納は信号補正特性推定情報格納部０９０９で実施される。

図１０に示すように，信号補正特性推定情報格納部０９０９は信号補正強度制御部０９０６の決定した信号レベル補正の補正強度に対し，代表的な補正強度に対応する信号補正量を制御点として格納して，実際の補正強度に応じた信号補正量の推定値を補間処理により算出する。このとき，信号補正量は図３（ｂ）に示すように入力信号の代表的な明るさに応じて異なるため，代表的な補正強度に対応する信号補正量も代表的な明るさごとにそれぞれ制御点として格納することで，それぞれの明るさにおける画像信号補正部０９０４の信号補正量が容易に推定できるようになる。

画像信号補正部０９０４が入力信号の明るさ及び周波数ごとに異なる補正特性で信号レベル補正を行う場合は，例えば，代表的な明るさと代表的な周波数ごとに代表的な補正強度に対応する信号補正量を格納する，すなわち３次元テーブルとしてデータを保持すれば良い。これにより，画像信号補正処理の補正パラメータから信号レベルの補正特性を簡単な計算のみで容易に推定することが可能となり，制御ソフトウェアの演算コストを大幅に低減することができる。

かように本実施例によれば，信号補正特性の推定情報を用いることで信号レベル補正の補正強度の制御情報からノイズ補正の補正強度を容易に算出することができ，信号レベル補正の効果に応じて最適なノイズ補正を低コストに実行することが可能となる。

図１１は，本発明の第４実施例に係る画像信号処理装置を示す模式図である。図１１において，１１０１は画像信号入力部，１１０２は局所情報取得部，１１１０はエッジ強調部，１１０４は画像信号補正部，１１０５は統計情報取得部，１１０６は信号補正強度制御部，１１０７は信号補正特性推定部，１１１１はエッジ強調強度制御部，１１０９は信号補正特性推定情報格納部である。

図１１で示した画像信号処理装置と図９で示した画像信号処理装置との差異は，図１１で示した画像信号処理装置においてノイズ補正部０９０３，ノイズ補正強度制御部０９０８をそれぞれエッジ強調部１１１０，エッジ強調強度制御部１１１１に置き換えた構成となっていることである。なお、他の実施例と同名の処理部は、特に断りのない限り既に説明したものと同様の機能を備えている。

図１１に示した画像信号処理装置においてエッジ強調部１１１０は，画像信号入力部１１０１より出力された画像信号に，画像信号中の各画素に対して局所情報取得部１１０２の算出した局所的な明るさに対して異なる補正強度でエッジ強調処理を行った上で出力する画像信号を生成する。エッジ強調処理は，例えば，入力した画像信号に対しハイパスフィルタやバンドパスフィルタで所定の周波数域の信号成分を抽出し，ゲイン処理を行った後で入力した画像信号に加算することで実現できる。エッジ強調強度制御部１１１１は信号補正特性推定部１１０７の推定した信号補正特性を元にエッジ強調部１１１０の行うエッジ強調処理の明るさごとの強調強度を決定し，制御する。

図１２は，本発明の第４実施例に係るエッジ強調の強調強度制御方法の一例を示す図である。本実施例においてエッジ強調の強調強度制御処理はエッジ強調強度制御部１１１１で実施される。図１２（ａ）は代表明るさにおける信号補正量を用いたエッジ強調強度の制御方法の一例を示す図であり，図１２（ｂ）は明るさごとのエッジ強調強度の制御方法の一例を示す図である。

図１２（ａ）に示すように，エッジ強調強度制御部１１１１は信号補正量Ａ１からＡ３を元に，エッジ強調部１１１０の明るさごとのエッジ強調処理の補正強度Ｃ１からＣ３を制御する。このとき，信号補正量が大きくなるにつれてエッジ強調処理の補正強度を小さくする。これにより，信号補正強度制御部１１０６が信号を伸張するように信号レンジ補正処理を行った場合，信号補正量に応じてエッジの強調効果を弱めることで，ノイズ成分が強調されることによる画質の低下を抑制することができる。

図１２（ａ）では説明を簡易にするために信号補正量とエッジ強調強度が閾値３と閾値４の間で線形に変化しているが，非線形に変化するように制御したり，間に閾値をさらに設けて複数の線分で補間するよう制御したり，離散的に補正強度を設けて不連続で変化するように制御しても良い。また，信号補正量Ａ１からＡ３とエッジ強調強度Ｃ１からＣ３の関係を同一の入出力特性で示しているが，代表明るさ１から３においてそれぞれ異なる閾値や傾きを持つようにし，ノイズの目立ちやすい暗部でエッジ強調強度がより弱く，目立ちにくい明部でより強くなるようにしても良い。

図１２（ｂ）に示すように，代表的な明るさ以外の明るさにおいては，エッジ強調強度を補間して算出することにより，局所情報取得部１１０２の算出する全ての局所的な明るさに対して対応するエッジ強調強度を決定し，エッジ強調部１１１０がエッジ強調を行うことが可能となる。

かように本実施例によればノイズ補正処理の補正強度の代わりにエッジ強調処理の補正強度を制御することでも，信号レベル補正の特性に応じたノイズ抑制を実施し，低コストで高画質かつ視認性の高い画像を生成することが可能となる。

図１３は，本発明の第５実施例に係る画像信号処理装置を示す模式図である。図１３において，１３０１は画像信号入力部，１３０２は局所情報取得部，１３１２は色ノイズ補正部，１３０４は画像信号補正部，１３０５は統計情報取得部，１３０６は信号補正強度制御部，１３０７は信号補正特性推定部，１３１３は色ノイズ補正強度制御部，１３０９は信号補正特性推定情報格納部である。なお、他の実施例と同名の処理部は、特に断りのない限り既に説明したものと同様の機能を備えている。

図１３で示した画像信号処理装置と図９で示した画像信号処理装置との差異は，図１３で示した画像信号処理装置においてノイズ補正部０９０３，ノイズ補正強度制御部０９０８をそれぞれ色ノイズ補正部１３１２，色ノイズ補正強度制御部１３１３に置き換えた構成となっていることである。

図１３に示した画像信号処理装置において色ノイズ補正部１３１２は，画像信号入力部１３０１より出力された画像信号の色信号に対し，画像信号中の各画素に対して局所情報取得部１３０２の算出した局所的な明るさに対して異なる補正強度で色ノイズ補正処理を行った上で出力する画像信号を生成する。色ノイズ補正処理は，例えば，入力した画像信号中の色信号に対しローパスフィルタにより周辺の色に対する色のばらつきを低減したり，色信号の飽和度を低減して色自体を薄くしたりすることで実現できる。

色ノイズ補正強度制御部１３１３は信号補正特性推定部１３０７の推定した信号補正特性を元に色ノイズ補正部１３１２の行う色ノイズ補正処理の明るさごとの強調強度を決定し，制御する。

図１４は，本発明の第５実施例に係る色ノイズ補正の色ノイズ補正強度制御方法の一例を示す図である。本実施例において色ノイズ補正の色ノイズ補正強度制御処理は色ノイズ補正強度制御部１３１３で実施される。図１４（ａ）は代表明るさにおける信号補正量を用いた色ノイズ補正強度の制御方法の一例を示す図であり，図１４（ｂ）は明るさごとの色ノイズ補正強度の制御方法の一例を示す図である。

図１４（ａ）に示すように，色ノイズ補正強度制御部１３１３は信号補正量Ａ１からＡ３を元に，色ノイズ補正部１３１２の明るさごとの色ノイズ補正処理の補正強度Ｄ１からＤ３を制御する。このとき，信号補正量が大きくなるにつれて色ノイズ補正処理の補正強度を大きくする。これにより，信号補正強度制御部１３０６が信号を伸張するように信号レンジ補正処理を行った場合，信号補正量に応じて色ノイズ補正の補正効果を弱めることで，色ノイズ成分が強調されることによる画質の低下を抑制することができる。

図１４（ａ）では説明を簡易にするために信号補正量とエッジ強調強度が閾値５と閾値６の間で線形に変化しているが，非線形に変化するように制御したり，間に閾値をさらに設けて複数の線分で補間するよう制御したり，離散的に補正強度を設けて不連続で変化するように制御しても良い。また，信号補正量Ａ１からＡ３とエッジ強調強度Ｄ１からＤ３の関係を同一の入出力特性で示しているが，代表明るさ１から３においてそれぞれ異なる閾値や傾きを持つようにし，色ノイズの目立ちやすい暗部で色ノイズ補正強度がより強く，目立ちにくい明部でより弱くなるようにしても良い。逆に色ノイズ補正処理として色信号の飽和度を低減する処理を行う場合は，色信号をの飽和度を低減しすぎると，必要な情報が損なわれ，画像信号補正部１３０４で色信号の信号レベルを補正しても視認性が向上しない可能性があるため，逆に暗部で色ノイズ補正強度が弱くなるように制御してもよい。

図１４（ｂ）に示すように，代表的な明るさ以外の明るさにおいては，色ノイズ補正強度を補間して算出することにより，局所情報取得部１３０２の算出する全ての局所的な明るさに対して対応する色ノイズ補正強度を決定し，色ノイズ補正部１３１２が色ノイズ補正を行うことが可能となる。

かように本実施例によれば輝度信号に対するノイズ補正処理の補正強度だけでなく色ノイズ補正の補正強度も明るさ情報に連動して制御することで，信号レベル補正の特性に応じた色ノイズ抑制を実施し，低コストで高画質かつ視認性の高い画像を生成することが可能となる。

図１５は，本発明の第６実施例に係る撮像装置を示す模式図である。図１５において，１５０１は撮像部，１５０３はカメラ信号処理部，１５０３＿１は露光量検出部，１５０３＿２はデジタルゲイン部，１５０３＿３は局所情報取得部，１５０３＿４はノイズ補正部，１５０４は画像信号補正部，１５０５は統計情報取得部，１５０６は信号補正強度制御部，１５０７は信号補正特性推定部，１５０８はノイズ補正強度制御部，１５０９は信号補正特性推定情報格納部，１５１４は露光制御部である。なお、他の実施例と同名の処理部は、特に断りのない限り既に説明したものと同様の機能を備えている。

図１５に示した撮像装置において，撮像部１５０１は，ズームレンズ及びフォーカスレンズを含むレンズ群や，アイリスや，シャッタや，CCDまたはCMOSなどの撮像素子や，CDSやAGCや，ADコンバータ等を適宜用いて構成され，撮像素子に受光した光学像を光電変換し，画像信号として出力する。カメラ信号処理部１５０３は，少なくとも露光量検出部１５０３＿１やデジタルゲイン部１５０３＿２や局所情報取得部１５０３＿３やノイズ補正部１５０３＿４を備え，撮像部１５０１の出力した画像信号に対し，露光量の評価値の検出処理やデジタルゲイン処理や各画素に対する局所的な明るさの算出処理やノイズ補正処理を行い，出力する画像信号を生成する。

また，輝度信号と色信号への分離処理や，エッジ強調処理や，ガンマ処理や，色差変換処理や，ホワイトバランス補正処理やデジタルズームなどの種々のデジタル信号処理を行い，高画質化や機能付加を行っても良い。各信号処理を行うときに用いる係数，例えば明るさ補正量やガンマ特性などは，予め設定して不揮発性メモリなどに格納しておいた値を用いても良いし，画像信号から検出した輝度分布などの各種の情報を基に制御値を変えても良い。

画像信号補正部１５０４は信号補正強度制御部１５０６の出力する信号レベル補正の補正強度を元に画像信号の入出力特性を決定し，その入出力特性に基づきカメラ信号処理部１５０３より出力された画像信号の画素毎の信号値である信号レベルを補正して出力信号を生成し，不図示の映像出力部や映像圧縮部などに出力する。

画像信号補正部１５０４の実施する画像信号の補正は信号レベルを補正することによる逆光補正や霧・かすみ補正，広ダイナミックレンジ化処理等を含み，例えば，予め入力値に対する出力値の対応を関数の係数や対応付けのルックアップテーブルとして保持し，信号レベル補正の補正強度を元に関数の係数やルックアップテーブルの値を補正して入出力特性を定め，その入出力特性に基づき画像信号の信号レベルを変換することで実現できる。また，予め複数の補正強度に対応した補正のための関数の係数や対応付けのルックアップテーブルを複数保持し，処理時に信号補正強度制御部１５０６の出力する補正強度を元に使用する関数の係数や対応付けのルックアップテーブルを選択ないし補間して使用し，演算コストを低減することを図っても良い。

また，輝度信号の代わりに局所情報取得部１５０３＿３と同様の処理で明るさ情報を算出して，明るさ情報のみを入出力特性に基づき補正して明るさ情報の入出力比を求め，明るさ情報の入出力比に基づき元の画像信号の画素値を補正することで，ＲＧＢ信号などでも明るさ補正ができる構成としても良い。また，入力する画像信号を複数の成分に分離してそれぞれ異なる補正処理を行い合成しても良い。例えば，前処理で低周波成分と高周波成分に分離し，低周波成分を明るさ情報と見做せば，それぞれに対し異なる信号レベル補正処理を行うことで被写体の明るさとエッジの精細感をそれぞれ補正することが可能である。

また，画像信号中の領域毎に異なる入出力特性で信号レベル補正処理を行うことで，画像内の被写体ごとに最適な補正が行えるようにしても良い。また，輝度信号と色信号のそれぞれに対し，入出力のそれぞれで輝度信号と色信号の比率が同様となるように同じ特性の処理を実施すれば良い。輝度信号と色信号で異なる特性の処理を実施したり，あるいは，いずれか一方の信号のみに処理を実施するという構成とし，性能または計算コストの最適化を図ったりしても良い。統計情報取得部１５０５はカメラ信号処理部１５０３の出力する画像信号を入力とし，信号値の統計情報を測定して出力する。

ここで，統計情報とは，例えば画像信号中の各画素の信号値のヒストグラム分布，あるいは，平均値，最大値，最小値，標準偏差等の統計量であり，信号補正強度制御部１５０６が画像信号中のシーンを判別して，画像信号補正部１５０４が信号レベルを補正する際の補正強度を適正にするために使用する。このとき，画像信号中の予め定めた所定の領域内の画素の信号値の統計情報を取得したり，画像認識により検出された被写体の存在する領域内の画素の信号値の統計情報を取得したり，あるいは，信号値が所定の範囲内の画素についてのみ統計情報を取得することでシーンの判別性能の向上を図っても良い。例えば，画像信号補正部１５０４が画像信号中の領域毎に異なる入出力特性で信号レンジ補正処理を行う場合，その領域に合わせた単位で統計情報を取得することで，領域毎に最適な信号レンジ補正処理が実現できる。

信号補正強度制御部１５０６は統計情報取得部１５０５の出力する統計情報を元に画像信号中のシーンを判別して，画像信号補正部１５０４が信号レベルを補正する際の補正強度を決定する。画像信号補正部１５０４が画像信号中の領域毎に異なる入出力特性で信号レンジ補正処理を行う場合，その領域に合わせた単位で信号補正強度制御部１５０６が測定した統計情報を取得し，領域毎に補正強度を決定しても良い。

なお，統計情報取得部１５０５がカメラ信号処理部１５０３の内部にあり，撮像部１５０１より出力された画像信号またはデジタル信号処理の途中の画像信号より統計情報を取得する構成であっても構わない。この場合，カメラ信号処理部１５０３における各種の信号処理の制御に用いる統計情報を，画像信号補正部１５０４における信号レベル補正処理の補正強度の制御にも活用することができ，コストの低減が図れる。

また，信号補正強度制御部１５０６が統計情報取得部１５０５の出力する統計情報を用いずに不図示の入力部から入力した値を信号レベル補正処理の補正強度として決定する構成であっても構わない。この場合，画像信号中のシーンに連動した補正強度の制御ができないが，統計情報取得部１５０５を省略することができ，ソフトウェアで実現した場合の計算時間の低減やハードウェアで実現した場合の開発コスト低減を図ることができる。

また，信号補正強度制御部１５０６が決定した補正強度に対し，露光制御部１５１４から取得した露光制御情報を元にさらに補正を行い，演算した最終の補正強度を制御値として出力する構成としても良い。これにより露光制御の状態と画像信号中のシーンの両方に連動して，画像信号補正部１５０４における信号レベル補正処理の補正強度を制御することが可能となる。

露光制御情報を用いた信号レベル補正処理の補正強度の制御方法については図１７を用いて後述する。信号補正特性推定部１５０７は信号補正強度制御部１５０６の決定した補正強度と信号補正特性推定情報格納部１５０９より取得した信号補正特性推定情報とを元に画像信号補正部１５０４で行う信号レベルの補正により信号が明るさごとにどの程度増幅されたかを示す評価値である信号補正特性を推定する。

信号補正特性推定情報格納部１５０９はプログラム上のＲＯＭ領域や不揮発性メモリ，記録媒体などに該当し信号補正特性推定部１５０７が信号補正強度制御部１５０６の決定する信号レベル補正の補正強度を元に画像信号補正部１５０４が信号レベル補正を行う際の明るさごとの信号補正量を推定するための信号補正特性推定情報を格納する。信号補正特性推定情報は画像信号補正部１５０４における信号レベル補正の入出力特性が既知である場合は，その入出力特性に則した信号補正量を予め求めて格納すればよく，未知であれば事前の校正により推定した値を格納すればよい。また，画像信号補正部１５０４が入力信号の明るさ及び周波数ごとに異なる補正特性で信号レベル補正を行う場合は，代表的な明るさや代表的な周波数における入出力特性に則した補正量を格納すれば良い。

ノイズ補正強度制御部１５０８は信号補正特性推定部１５０７の推定した信号補正特性と露光制御部１５１４から取得した露光制御情報を元にノイズ補正部１５０３＿４の行うノイズ補正処理の明るさごとの補正強度を決定し，制御する。ノイズ補正部１５０３＿４はこの補正強度に基づきノイズ補正を行うことで，画像信号補正部１５０４が行う信号レベル補正処理の補正強度に応じてノイズ補正を行うことが可能となる。

露光制御部１５１４は露光量検出部１５０３＿１より光量の評価値を取得して，目標とする所定の露光量に実際の露光量が近づくように撮像部１５０１のアイリスの絞りやシャッタタイミングやAGCのアナログゲイン量，デジタルゲイン部１５０３＿２のデジタルゲイン量などを制御する。また，同時にアイリスの絞りの度合いやシャッタの開いている期間の時間，アナログゲイン量やデジタルゲイン量，あるいは，アナログゲインやデジタルゲインによる信号の増幅率などを露光制御情報として出力する。これにより，ノイズ補正強度制御部１５０８は露光制御による信号の増幅と信号レベル補正処理による信号補正量の両方に連動して最適なノイズ補正の補正強度の制御が行え，高画質化を実現できる。

ノイズ補正強度制御部１５０８が露光制御情報と信号レンジ補正処理の補正強度に連動してカメラ信号処理部１５０３のノイズ補正処理の補正強度だけでなく，エッジ強調処理の強調強度やガンマ処理のガンマ補正強度などの種々の信号処理の効果を同様に制御することで，信号処理全体の画質を露光制御と信号レンジ補正処理の双方に連動して最適に制御できる構成としても良い。なお，例えば，カメラ信号処理や信号レベル補正処理，統計情報取得処理はＤＳＰ，専用のＬＳＩなどにて実施され，信号レベル補正の補正強度制御処理，信号補正特性推定処理，ノイズ補正の補正強度制御処理，露光制御処理はマイコンなどにて実施される。本実施例のように撮像装置内で各種の信号処理やノイズ補正制御，画質補正制御を全て行った場合，量子化誤差の影響が少なく信号レンジが最大限に活用できることから高画質化が実現でき，また，映像遅延の影響も小さいという利点がある。

なお，統計情報取得部１５０５が画像信号補正部１５０４の出力するノイズ補正後の画像信号から統計情報を算出し，ノイズ補正強度制御部１５０８はノイズ補正部１５０３＿４がノイズ補正を行う補正強度を制御するため制御のタイミング順序が逆になる。静止画処理を行う際には，ノイズ補正を補正強度の初期値で実施し，ノイズ補正後の画像から得られた統計情報を用いて信号レベル補正処理の補正強度を制御し，そのときの画像信号補正量の推定結果から改めてノイズ補正の補正強度を行って，再度一連の処理を繰り返すといったループ処理を行うことで実現できる。

一方で，本構成が連続的な撮像信号を入力としフレームごとに一連の処理を行うような動画像処理を行う際には，フレーム間で撮影対象が大きく変化しないため，前フレームで統計情報取得部１５０５が算出した統計情報を用いて現フレームの信号補正特性の推定処理やノイズ補正強度制御処理を行えば良く，リアルタイムにシーンに適応したノイズ補正処理と画像信号補正処理が行える。フレーム間で撮影対象が大きく変化した場合には，前フレームの統計情報の信頼性が損なわれている可能性があるため，前フレームの統計情報を参照せず，ノイズ補正処理の補正強度を初期値に戻すことで，過剰な補正がかかることを抑制できる。

本実施例に基づく方式では，ノイズ補正処理の補正強度を制御するのに用いるのは実際の画像信号補正処理の出力結果ではなく補正パラメータに基づく補正量の推定値であるため，画像信号補正処理はノイズ補正処理の後段で１フレーム期間に一度行えばよい。そのため，ビデオカメラにおいて動画像処理を行う場合には，ノイズ補正処理と画像信号補正処理を１フレーム期間に一度ずつ行うだけで画像信号補正処理の補正特性に連動したノイズ補正処理が行うことが可能であり，ハードウェアで実現する際の回路規模やソフトウェアで実現する際の演算コストを低減できる。特に画像信号補正処理が複雑な入出力特性の処理を行い回路規模が増大しても，本構成ではソフトウェアによる制御処理を追加するのみでよいため，コストの大幅な増大を抑制できる。

また，統計情報取得部１５０５はカメラ信号処理部１５０３の出力するノイズ補正後の画像信号からノイズの影響の小さい統計情報を算出することにより，シーン判別を高精度に行え，画像信号補正処理による視認性の向上が高精度に行えるという利点もある。

図１６は，本発明の第６実施例に係るノイズ補正の補正強度制御方法の一例を示す図である。本実施例においてノイズ補正の補正強度制御処理はノイズ補正強度制御部１５０８で実施される。

図１６に示すように，露光制御情報としてアナログゲインやデジタルゲインによる信号の増幅率を，信号レベル補正処理による信号補正量に積算したものを総合の信号補正量としてノイズ補正処理の補正強度の制御に用いれば良い。これにより，撮影シーンが十分な明るさでなく，露光制御部１５１４がゲイン量を大きくするように制御を行った場合，ゲイン量に応じてノイズの補正効果を強くすることで，ノイズ成分も同時に増幅されることによる画質の低下を抑制することができる。このとき，信号レベル補正処理の補正強度が小さい場合は，露光制御に連動したノイズ補正を行い，信号レベル補正処理の補正強度が大きい場合露光制御と信号レベル補正処理の両方に連動したノイズ補正を行うことが可能となる。

図１７は，本発明の第６実施例に係る信号レンジ補正処理の補正強度制御方法の一例を示す図である。本実施例において信号レンジ補正処理の補正強度制御処理は信号補正強度制御部１５０６で実施される。

図１７に示したように，信号補正強度制御部１５０６は統計情報取得部１５０５の出力する統計情報を元に決定した信号レンジ補正処理の補正強度の中間値に対して露光制御情報に応じた補正を行って最終の補正強度を決定し，出力する。例えば，露光制御によるアナログゲイン量やデジタルゲイン量が小さい場合は，統計情報を元に決定した制御値をそのまま使用し，アナログゲイン量やデジタルゲイン量が大きくなるにつれて統計情報を元に決定した制御値を基準に小さくなるように補正した値を使用するように制御する。これにより，アナログゲイン量やデジタルゲイン量が大きくノイズが非常に強調された画像に対して十分にノイズ補正処理を行えない場合に，信号レベル補正処理を行うことでノイズが非常に強調され視認性が低下することを防止することができる。

また，信号補正特性推定部１５０７の推定する信号補正特性は信号レンジ補正処理の補正強度に連動して算出するため，ノイズ補正強度制御部１５０８の制御するノイズ補正の補正強度も信号レンジ補正処理の補正強度に連動して定まる。よって，アナログゲイン量やデジタルゲイン量が大きい場合は，信号レンジ補正処理の補正強度が小さいため，ノイズ補正の補正強度は主にアナログゲイン量やデジタルゲイン量に依存して制御されるため，信号レンジ補正処理が存在しない場合と同様の効果が得られ，信号レンジ補正処理を用いた機能をオフにしたのと同等の画質が得られる。

なお，この例では，アナログゲイン量やデジタルゲイン量が大きくなるにつれて信号レンジ補正処理の補正強度を弱める方法を記載したが，統計情報を元に信号レンジ補正処理の補正強度およびノイズ補正強度を弱める制御を行っても良い。例えば画像信号中の平均輝度が所定の閾値より下回り，かつ高輝度が存在しない場合に，信号レンジ補正処理の補正強度を弱めることで，入力される映像が非常に暗い場合に信号レベル補正処理によりノイズが非常に強調されることを防止することができる。

かように本実施例によれば，信号レベル補正の補正強度の制御情報と露光制御情報からノイズ補正の補正強度を決定することで露光の状態や信号レベル補正の効果に応じて最適なノイズ補正を実施し，低コストで高画質かつ視認性の高い画像を撮像することが可能となる。

図１８は，本発明の第７実施例に係る画像信号処理装置および撮像装置を示す模式図である。図１８において，１８０１は画像信号入力部，１８０４は画像信号補正部，１８０５は統計情報取得部，１８０６は信号補正強度制御部，１８０７は信号補正特性推定部，１８０８はノイズ補正強度制御部，１８０９は信号補正特性推定情報格納部，１８１５は通信部，１８１６は画像信号入力部１８０１から信号補正特性推定情報格納部１８０９までを実現する画像処理プログラムを備えた画像信号処理装置，１８１７は局所的な明るさ情報に応じたノイズ補正調整機能を備えた撮像装置である。なお、他の実施例と同名の処理部は、特に断りのない限り既に説明したものと同様の機能を備えている。

図１８に示した画像信号処理装置と図９に示した画像信号処理装置の差異は，ノイズ補正処理を画像信号処理装置１８１６内ではなく，局所的な明るさ情報に応じたノイズ補正調整機能を備えた撮像装置１８１７で行い，通信部１８１５を介して画像信号処理装置１８１６から局所的な明るさ情報に応じたノイズ補正調整機能を備えた撮像装置１８１７にノイズ補正処理の補正強度を調整値として送信できることである。

図１８に示した画像信号処理装置および撮像装置において，画像信号入力部１８０１は映像ケーブルと接続したキャプチャボードやＬＡＮ，ＵＳＢなどを介して局所的な明るさ情報に応じたイズ補正調整機能を備えた撮像装置１８１７と接続し，局所的な明るさ情報に応じたノイズ補正調整機能を備えた撮像装置１８１７の撮像した画像信号を取得する。

画像信号補正部１８０４は信号補正強度制御部１８０６の出力する信号レベル補正の補正強度を元に画像信号の入出力特性を決定し，その入出力特性に基づき画像信号入力部１８０１より出力された画像信号の画素毎の信号値である信号レベルを補正して出力信号を生成する。

統計情報取得部１８０５は画像信号入力部１８０１の出力する画像信号を入力とし，信号値の統計情報を測定して出力する。ノイズ補正強度制御部１８０８は信号補正特性推定部１８０７の推定した明るさごとの信号補正量を元に局所的な明るさ情報に応じたノイズ補正調整機能を備えた撮像装置１８１７のノイズ補正調整値を決定し，通信部１８１５に出力する。

通信部１８１５はシリアルポートやパラレルポート，ＬＡＮを経由した通信などにより局所的な明るさ情報に応じたノイズ補正調整機能を備えた撮像装置１８１７にノイズ補正調整値を送信する。これにより，ノイズ補正処理を含むカメラ信号処理を行う撮像装置と信号レベル補正処理を行う画像信号処理装置が異なる装置であっても，信号レベル補正処理の補正強度に応じて最適なノイズ補正を実施し，低コストで高画質かつ視認性の高い画像を撮像することが可能となる。

なお，本発明は上記した実施例に限定されるものではなく，様々な変形例が含まれる。例えば，上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり，必ずしも説明した全ての構成を備えるものに限定されるものではない。また，ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり，また，ある実施例の構成に他の実施例の構成を加えることも可能である。

なお、本発明は例えば，民生や監視や車載や業務用途において，撮像装置やＰＣアプリケーション，画像処理装置などに利用可能である。

０１０１ 画像信号入力部
０１０２ 局所情報取得部
０１０３ ノイズ補正部
０１０４ 画像信号補正部
０１０５ 統計情報取得部
０１０６ 信号補正強度制御部
０１０７ 信号補正特性推定部
０１０８ ノイズ補正強度制御部
０６０１ 画像信号入力部
０６０２ 局所情報取得部
０６０３ ノイズ補正部
０６０４ 画像信号補正部
０６０４＿１ 周波数分離部
０６０４＿２ ＤＣ成分補正部
０６０４＿３ ＡＣ成分補正部
０６０４＿４ 周波数統合部
０６０５ 統計情報取得部
０６０６ 信号補正強度制御部
０６０７ 信号補正特性推定部
０６０８ ノイズ補正強度制御部
０９０１ 画像信号入力部
０９０２ 局所情報取得部
０９０３ ノイズ補正部
０９０４ 画像信号補正部
０９０５ 統計情報取得部
０９０６ 信号補正強度制御部
０９０７ 信号補正特性推定部
０９０８ ノイズ補正強度制御部
０９０９ 信号補正特性推定情報格納部
１１０１ 画像信号入力部
１１０２ 局所情報取得部
１１０４ 画像信号補正部
１１０５ 統計情報取得部
１１０６ 信号補正強度制御部
１１０７ 信号補正特性推定部
１１０９ 信号補正特性推定情報格納部
１１１０ エッジ強調部
１１１１ エッジ強調強度制御部
１３０１ 画像信号入力部
１３０２ 局所情報取得部
１３０４ 画像信号補正部
１３０５ 統計情報取得部
１３０６ 信号補正強度制御部
１３０７ 信号補正特性推定部
１３０９ 信号補正特性推定情報格納部
１３１２ 色ノイズ補正部
１３１３ 色ノイズ補正強度制御部
１５０１ 撮像部
１５０３ カメラ信号処理部
１５０３＿１ 露光量検出部
１５０３＿２ デジタルゲイン部
１５０３＿３ 局所情報取得部
１５０３＿４ ノイズ補正部
１５０４ 画像信号補正部
１５０５ 統計情報取得部
１５０６ 信号補正強度制御部
１５０７ 信号補正特性推定部
１５０８ ノイズ補正強度制御部
１５０９ 信号補正特性推定情報格納部
１５１４ 露光制御部
１８０１ 画像信号入力部
１８０４ 画像信号補正部
１８０５ 統計情報取得部
１８０６ 信号補正強度制御部
１８０７ 信号補正特性推定部
１８０８ ノイズ補正強度制御部
１８０９ 信号補正特性推定情報格納部
１８１５ 通信部
１８１６ 画像信号処理装置

Claims (19)

1. 画像信号を入力する画像信号入力手段と，
   該画像信号入力手段より入力された画像信号から注目画素を含む局所領域の画素値の統計量を局所情報として算出する局所情報取得部と，
   前記画像信号入力手段より入力された画像信号に該局所情報取得部より取得した局所情報を用いてノイズ補正処理を行いノイズ補正した画像信号を出力するノイズ補正手段と，
   前記ノイズ補正手段の出力した画像信号に信号レベル補正処理を行いレベル補正した画像信号を出力する画像信号補正手段と，
   該画像信号補正手段における信号レベル補正処理の補正強度を決定して該信号レベル補正処理の入出力特性を変化させる画像信号補正強度制御手段と，
   該画像信号補正強度制御手段の決定した補正強度を元に前記画像信号補正手段の信号レベル補正処理によるレベル補正の特性を推定する信号補正特性推定手段と，
   該信号補正特性推定手段の推定したレベル補正の特性に連動して前記ノイズ補正手段におけるノイズ補正処理の局所情報に応じた補正強度を制御するノイズ補正強度制御手段と，
   を備えること，
   を特徴とする画像信号処理装置。
2. 請求項１に記載の画像信号処理装置において,
   前記局所情報とは該画像信号入力手段より入力された画像信号における注目画素の明るさ成分であること，
   を特徴とする画像信号処理装置。
3. 請求項１に記載の画像信号処理装置において,
   前記局所情報とは該画像信号入力手段より入力された画像信号における注目画素を含む局所領域の周波数ごとの信号成分であること，
   を特徴とする画像信号処理装置。
4. 請求項１乃至請求項３のいずれかに記載の画像信号処理装置において,
   前記画像信号補正手段は前記ノイズ補正手段の出力した画像信号の注目画素の明るさに応じて，暗部と明部でそれぞれ信号を伸張し，かつ暗部の伸張量が明部の伸張量より大きくなるような補正特性で信号レベル補正処理を行うこと，
   を特徴とする画像信号処理装置。
5. 請求項４に記載の画像信号処理装置において，
   前記信号補正特性推定手段は前記画像信号補正手段の信号レベル補正処理によるレベル補正の特性を暗部と明部のそれぞれで推定し，
   前記ノイズ補正強度制御手段が該記信号補正特性推定手段の推定した暗部と明部のレベル補正の特性に連動して前記ノイズ補正手段におけるノイズ補正処理の暗部の補正強度を明部の補正強度より強くなるように制御すること，
   を特徴とする画像信号処理装置。
6. 請求項５に記載の画像信号処理装置において，
   前記ノイズ補正強度制御手段が前記ノイズ補正手段におけるノイズ補正処理の補正強度を，さらに注目画素を含む局所領域の周波数ごとの信号成分によっても異ならせること，
   を特徴とする画像信号処理装置。
7. 請求項１乃至請求項６いずれかに記載の画像信号処理装置において,
   前記信号レベル補正処理によるレベル補正の特性は，前記基準画像信号補正の信号レベル補正処理の入出力特性における複数の代表的な信号レベルの入力値と補正量との比率であること，
   を特徴とする画像信号処理装置。
8. 請求項１乃至請求項６いずれかに記載の画像信号処理装置において,
   前記信号レベル補正処理によるレベル補正の特性は，前記基準画像信号補正の信号レベル補正処理の入出力特性における複数の代表的な信号レベルをそれぞれ含む複数の２つの信号レベル間の入力値の差分と出力値の差分との比率であること，
   を特徴とする画像信号処理装置。
9. 請求項８に記載の画像信号処理装置において,
   前記複数の２つの信号レベル間の間隔が，複数の代表的な信号レベルに応じて異なること，
   を特徴とする画像信号処理装置。
10. 請求項１乃至請求項９のいずれかに記載の画像信号処理装置において,さらに，
    前記画像信号入力手段より入力された画像信号または前記ノイズ補正手段の出力したノイズ補正した画像信号のいずれかを入力として該画像信号の全体または所定の領域の信号値の分布または統計量を統計情報として算出し出力する統計情報取得手段を備え，
    前記画像信号補正強度制御手段は該統計情報取得手段の出力した統計情報を元に前記画像信号補正手段における信号レベル補正処理の補正強度を制御すること，
    を特徴とする画像信号処理装置。
11. 請求項１乃至請求項１０のいずれかに記載の画像信号処理装置において,さらに，
    前記画像信号補正強度制御手段の決定する信号レベル補正処理の補正強度に対応する前記画像信号補正手段の信号レベル補正処理による信号レベルの補正特性を推定するための情報を信号補正特性推定情報として格納する信号補正特性推定情報格納部を備え，
    前記信号伸張推定部は該信号補正特性推定情報格納部より信号補正特性推定情報を取得して，該信号補正特性推定情報と前記画像信号補正強度制御手段の決定した補正強度を元に前記画像信号補正手段の信号レベル補正処理による信号補正の特性を推定すること，
    を特徴とする画像信号処理装置。
12. 請求項１乃至請求項１１のいずれかに記載の画像信号処理装置において,
    前記ノイズ補正手段は前記画像信号入力手段より入力された画像信号に前記第一の局所情報取得部より取得した局所情報を用いてエッジ強調処理を行いエッジ強調した画像信号を出力するエッジ強調処理を含み，
    前記ノイズ補正強度制御手段は前記信号補正特性推定手段の推定したレベル補正の特性に連動して前記ノイズ補正手段におけるエッジ強調処理の補正強度を明るさごとに演算して弱めることでノイズを抑制すること，
    を特徴とする画像信号処理装置。
13. 請求項１乃至請求項１２のいずれかに記載の画像信号処理装置において,
    前記画像信号入力手段より入力された画像信号は輝度信号と色信号からなり，
    前記第一の局所情報取得部は局所情報として該画像信号入力手段より入力された画像信号の輝度信号から注目画素の明るさを算出し，前記ノイズ補正手段は前記注目画素の明るさに応じて異なる補正強度で色信号に対して色ノイズ補正処理を行い，
    前記ノイズ補正強度制御手段は前記信号補正特性推定手段の推定したレベル補正の特性に連動して前記ノイズ補正手段における色ノイズ補正処理の補正強度を明るさごとに演算して制御すること，
    を特徴とする画像信号処理装置。
14. 請求項１乃至１３のいずれかに記載の画像信号処理装置を備えること，
    を特徴とする撮像装置。
15. 撮像を行い画像信号を生成して出力する撮像手段と，
    該撮像手段の露光量を検出する露光量検出部と，
    該露光量検出部の検出した露光量を元に前記撮像手段の露光を制御する露光制御手段と，
    前記撮像手段の出力した画像信号から注目画素を含む局所領域の画素値の統計量を局所情報として算出する局所情報取得部と，
    前記撮像手段の出力した画像信号に該局所情報取得部より取得した局所情報を用いてノイズ補正処理を行いノイズ補正した画像信号を出力するノイズ補正手段と，
    前記ノイズ補正手段の出力した画像信号に信号レベル補正処理を行いレベル補正した像信号を出力する画像信号補正手段と，
    該画像信号補正手段における信号レベル補正処理の補正強度を決定して該信号レベル補正処理の入出力特性を変化させる画像信号補正強度制御手段と，
    該画像信号補正強度制御手段の決定した補正強度を元に前記画像信号補正手段の信号レベル補正処理によるレベル補正の特性を推定する信号補正特性推定手段と，
    該信号補正特性推定手段の推定したレベル補正の特性と前記露光制御手段における露光制御の度合いに連動して前記ノイズ補正手段におけるノイズ補正処理の局所情報に応じた補正強度を演算して制御するノイズ補正強度制御手段と，
    を備えること，
    を特徴とする撮像装置。
16. 請求項１５に記載の画像信号処理装置において，
    前記画像信号補正強度制御手段は前記画像信号補正手段における信号レベル補正処理の補正強度を前記露光制御手段における露光制御の度合いに連動して補正すること，
    を特徴とする撮像装置。
17. 請求項１６に記載の画像信号処理装置において，
    前記画像信号補正強度制御手段は前記露光制御手段が信号ゲインの大きくなる露光制御をするにつれて信号レベル補正処理の補正強度を小さくすること，
    を特徴とする撮像装置。
18. 請求項１乃至１３のいずれか記載の画像信号処理装置を実現すること，
    を特徴とする画像処理プログラム
19. 注目画素を含む局所領域の画素値の統計量を局所情報として算出し該局所情報を用いてノイズ補正処理を行うノイズ補正調整機能を備えた撮像装置と接続し画像信号を入力する画像信号入力手段と，
    該画像信号入力手段より入力された画像信号に信号レベル補正処理を行いレベル補正した像信号を出力する画像信号補正手段と，
    該画像信号補正手段における信号レベル補正処理の補正強度を決定して該信号レベル補正処理の入出力特性を変化させる画像信号補正強度制御手段と，
    該信号補正強度制御手段の決定した補正強度を元に前記画像信号補正手段の信号レベル補正処理によるレベル補正の特性を推定する信号補正特性推定手段と，
    該信号補正特性推定手段の推定したレベル補正の特性に連動して前記撮像装置におけるノイズ補正調整機能の設定値を演算するノイズ補正強度制御手段と，
    該ノイズ補正強度制御手段の演算した前記撮像装置における局所情報に応じたノイズ補正調整機能の設定値を前記撮像装置に送信する通信手段と，
    を備えること，
    を特徴とする画像処理プログラム。

Images