JP2004072422A - 撮像システムおよび画像処理プログラム - Google Patents

Abstract

【課題】動的なノイズ要因に対応してノイズ量を低減し、高品質な画像を得る撮像システム等を提供する。
【解決手段】ノイズに影響を与える信号レベル、撮影時のＣＣＤ４の温度、露光時間、ゲインなどの要因を動的に取得して、ＣＣＤ４上のノイズレベルをノイズ推定部１３により局所的（例えば画素単位）に推定し、映像信号中のこのノイズレベル以下の信号成分をノイズ低減部１２によって抑制することにより、画像のエッジなどを保存しながら、ノイズの少ない高品質な画像を得る。このとき、ＣＣＤ４の温度は、オプティカルブラック領域の信号の分散と温度との相関関係によりノイズ推定部１３内で推定する。さらに、ノイズ推定部１３は、信号レベルを局所領域における平均値として算出する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像システムおよび画像処理プログラム、より詳しくは、撮像素子系に起因するランダムノイズの低減を図る撮像システムおよび画像処理プログラムに関する。
【０００２】
【従来の技術】
撮像素子とそれに付随するアナログ回路およびＡ／Ｄコンバータから得られるデジタル化された信号中には、一般にノイズ成分が含まれており、このノイズ成分は、固定パターンノイズとランダムノイズとに大別することができる。
【０００３】
上記固定パターンノイズは、欠陥画素などに代表されるような、主に撮像素子に起因するノイズである。
【０００４】
一方、ランダムノイズは、撮像素子およびアナログ回路において発生するものであり、ホワイトノイズ特性に近い特性を有している。
【０００５】
後者のランダムノイズに関しては、例えば特開２００１−１５７０５７号公報において、静的に与えられる定数項ａ，ｂ，ｃと濃度値に変換した信号レベルＤとを用いて、ノイズ量Ｎを、Ｎ＝ａｂ^ｃＤにより関数化し、この関数から信号レベルＤに対するノイズ量Ｎを推定して、推定したノイズ量Ｎに基づきフィルタリングの周波数特性を制御する技術が開示されていて、これにより、信号レベルに対して適応的なノイズ低減処理が行われるようになっている。
【０００６】
また、他の例として、特開２００２−５７９００号公報には、注目画素とその近傍画素との差分値Δを求めて、求めた差分値Δと静的に与えられる定数項ａ，ｂとを用いて、移動平均法で用いる平均画素数ｎを、ｎ＝ａ／（Δ＋ｂ）により制御するとともに、求めた差分値Δが所定の閾値以上である場合には移動平均を行わないようにする技術が記載されている。このような技術を用いることにより、エッジなどの原信号を劣化させることなくノイズ低減処理が行われるようにしている。
【０００７】
【発明が解決しようとする課題】
しかしながら、ノイズ量は撮影時の温度，露光時間，ゲインなどの要因により動的に変化するために、上記特開２００１−１５７０５７号公報に記載されたような静的な定数項を用いる技術では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣ってしまっていた。また、ノイズ量からフィルタリングの周波数特性を制御するが、このフィルタリングは平坦部分もエッジ部分も区別することなく同等に処理するために、信号レベルに基づきノイズ量が大であると推定された領域にあるエッジ部は劣化することになる。すなわち、原信号とノイズを区別した処理に対応することができず、原信号の保存性が良くないという課題がある。
【０００８】
また、特開２００２−５７９００号公報に記載の技術は、移動平均法を行うか否かの選択を閾値との比較によって行っているが、この閾値も静的に与えられるものであるために、ノイズ量が信号レベルにより異なることに対応できず、平均画素数や移動平均法の選択を最適に制御することはできない。このために、ノイズ成分が残存して原信号の劣化などが発生することになる。
【０００９】
本発明は上記事情に鑑みてなされたものであり、画像内のノイズ量を適切に低減して高品質な画像を得ることができる撮像システムおよび画像処理プログラムを提供することを目的としている。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による撮像システムは、複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を一画素毎にまたは複数画素でなる所定の単位面積毎に推定するノイズ推定手段と、このノイズ推定手段により推定されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手段と、を具備したものである。
【００１１】
また、第２の発明による撮像システムは、上記第１の発明による撮像システムにおいて、上記撮像素子の前面に配置された色フィルタと、該撮像素子から出力される信号をこの色フィルタ毎の信号に分離する分離手段と、をさらに具備したものである。
【００１２】
さらに、第３の発明による撮像システムは、上記第１または第２の発明による撮像システムにおいて、上記ノイズ推定手段が、上記信号の信号値レベルと上記撮像素子の温度と上記信号に対するゲインと撮影時のシャッタ速度との内の少なくとも１つの情報に基づいてパラメータを算出するパラメータ算出手段と、このパラメータ算出手段により算出されたパラメータに基づいて推定ノイズ量を算出するノイズ量算出手段と、を有して構成されたものである。
【００１３】
第４の発明による撮像システムは、上記第１または第２の発明による撮像システムにおいて、上記ノイズ推定手段が、上記推定されたノイズ量に対して上限値を設定する上限値設定手段を有して構成されたものである。
【００１４】
第５の発明による撮像システムは、上記第１または第２の発明による撮像システムにおいて、上記ノイズ低減手段が、上記ノイズ推定手段により推定されたノイズ量に基づいて一画素毎にまたは複数画素でなる所定の単位面積毎にノイズの振幅値を閾値として設定する閾値設定手段と、この閾値設定手段により設定された閾値以下となる上記信号中の振幅成分を低減するスムージング手段と、を有して構成されたものである。
【００１５】
第６の発明による撮像システムは、上記第１または第２の発明による撮像システムにおいて、上記ノイズ低減手段が、上記ノイズ推定手段により推定されたノイズ量に基づいて平滑化処理の周波数特性を制御するための制御値を設定する制御値設定手段と、この制御値設定手段により設定された制御値に基づき上記信号中の特定周波数帯域を低減する平滑化処理を行うスムージング手段と、を有して構成されたものである。
【００１６】
第７の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記パラメータ算出手段が、注目画素を含む所定サイズの近傍領域または上記単位面積中の複数の画素値の平均をとることにより上記信号値レベルを求める信号値算出手段を有して構成されたものである。
【００１７】
第８の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記パラメータ算出手段が、上記記撮像素子の温度を測定する温度センサを有して構成されたものである。
【００１８】
第９の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記撮像素子が、ＯＢ（Ｏｐｔｉｃａｌ　Ｂｌａｃｋ：オプティカルブラック）領域を有して構成されたものであって、上記パラメータ算出手段は、このＯＢ領域の信号の分散を算出する分散算出手段と、この分散算出手段により算出された分散に基づき上記撮像素子の温度を推定する温度推定手段と、を有して構成されたものである。
【００１９】
第１０の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記パラメータ算出手段が、ＩＳＯ感度と露出情報とホワイトバランス情報との内の少なくとも１つの情報に基づいて上記ゲインを求めるゲイン算出手段を有して構成されたものである。
【００２０】
第１１の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記パラメータ算出手段が、上記撮影時のシャッタ速度を露出情報から求めるシャッタ速度算出手段を有して構成されたものである。
【００２１】
第１２の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記ノイズ量算出手段が、パラメータとして上記信号の信号値レベルＬと上記撮像素子の温度Ｔと上記信号に対するゲインＧと撮影時のシャッタ速度Ｓとを用いてノイズ量Ｎを算出するものであって、上記温度ＴとゲインＧとをパラメータとする３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）と上記シャッタ速度Ｓをパラメータとする関数ｄ（Ｓ）とに基づき４つの係数Ａ，Ｂ，Ｃ，Ｄを各々算出する係数算出手段と、この係数算出手段により算出された上記４つの係数Ａ，Ｂ，Ｃ，Ｄで規定される関数式
Ｎ＝（ＡＬ^Ｂ＋Ｃ）Ｄ
に基づいてノイズ量Ｎを算出する関数演算手段と、を有して構成されたものである。
【００２２】
第１３の発明による撮像システムは、上記第１２の発明による撮像システムにおいて、上記ノイズ量算出手段が、標準のパラメータ値を付与する付与手段をさらに有して構成され、上記パラメータは、上記パラメータ算出手段により算出された値または上記付与手段によって付与された標準値である。
【００２３】
第１４の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記ノイズ量算出手段が、上記パラメータ算出手段から得られなかったパラメータに関して標準のパラメータ値を付与する付与手段と、上記パラメータ算出手段または上記付与手段から得られる信号値レベルと温度とゲインとシャッタ速度とを入力としてノイズ量を求めるルックアップテーブル手段と、を有して構成されたものである。
【００２４】
第１５の発明による撮像システムは、原色または補色の色フィルタを前面に配置した撮像素子からのデジタル化された信号を該色フィルタ毎の色信号に分離する分離手段と、上記各色信号に関して注目画素を含む所定サイズの近傍領域または単位面積中の複数の画素値の平均をとることにより信号値レベルを求める信号値算出手段と、ＩＳＯ感度と露出情報とホワイトバランス情報との内の少なくとも１つの情報に基づいて上記信号に対するゲインを求めるゲイン算出手段と、上記各色信号に関して上記信号値レベルと上記ゲインとを入力としてこれらの入力とノイズ量との対応関係が記述されたルックアップテーブルを参照することによりノイズ量を求めるルックアップテーブル手段と、上記各色信号に関して上記ノイズ量に基づき一画素毎にまたは複数画素でなる所定の単位面積毎に微小振幅値を設定する微小振幅値手段と、上記各色信号に関してこの微小振幅値手段により設定された微小振幅値以下の振幅成分を低減するスムージング手段と、を具備したものである。
【００２５】
第１６の発明による画像処理プログラムは、コンピュータに、複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を一画素毎にまたは複数画素でなる所定の単位面積毎に推定するノイズ推定手順と、このノイズ推定手順により推定されたノイズ量に基づいて一画素毎にまたは複数画素でなる所定の単位面積毎にノイズの振幅値を閾値として設定する閾値設定手順と、この閾値設定手順により設定された閾値以下となる上記信号中の振幅成分を低減するスムージング手順と、を実行させるための画像処理プログラムである。
【００２６】
第１７の発明による画像処理プログラムは、コンピュータに、複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を一画素毎にまたは複数画素でなる所定の単位面積毎に推定するノイズ推定手順と、このノイズ推定手順により推定されたノイズ量に基づいて平滑化処理の周波数特性を制御するための制御値を設定する制御値設定手順と、この制御値設定手順により設定された制御値に基づき上記信号中の特定周波数帯域を低減する平滑化処理を行うスムージング手順と、を実行させるための画像処理プログラムである。
【００２７】
第１８の発明による画像処理プログラムは、コンピュータに、複数の画素を配列してなりＯＢ（Ｏｐｔｉｃａｌ　Ｂｌａｃｋ：オプティカルブラック）領域を有して構成された撮像素子からのデジタル化された信号中の該ＯＢ領域の信号の分散を算出する分散算出手順と、この分散算出手順により算出された分散に基づき上記撮像素子の温度を推定する温度推定手順と、この温度推定手順により推定された上記撮像素子の温度と上記信号の信号値レベルと上記信号に対するゲインと撮影時のシャッタ速度との内の少なくとも１つの情報に基づいてパラメータを算出するパラメータ算出手順と、このパラメータ算出手順により算出されたパラメータに基づいて上記信号中に含まれると推定されるノイズの量を一画素毎にまたは複数画素でなる所定の単位面積毎に算出するノイズ量算出手順と、このノイズ量算出手順により算出されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手順と、を実行させるための画像処理プログラムである。
【００２８】
第１９の発明による画像処理プログラムは、コンピュータに、複数の画素を配列してなる撮像素子からのデジタル化された信号の信号値レベルＬと上記撮像素子の温度Ｔと上記信号に対するゲインＧと撮影時のシャッタ速度Ｓとをパラメータとして算出するパラメータ算出手順と、上記温度ＴとゲインＧとをパラメータとする３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）と上記シャッタ速度Ｓをパラメータとする関数ｄ（Ｓ）とに基づき４つの係数Ａ，Ｂ，Ｃ，Ｄを各々算出する係数算出手順と、この係数算出手順により算出された上記４つの係数Ａ，Ｂ，Ｃ，Ｄで規定される関数式
Ｎ＝（ＡＬ^Ｂ＋Ｃ）Ｄ
に基づいて上記信号中に含まれると推定されるノイズ量Ｎを一画素毎にまたは複数画素でなる所定の単位面積毎に算出する関数演算手順と、この関数演算手順により算出されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手順と、を実行させるための画像処理プログラムである。
【００２９】
第２０の発明による画像処理プログラムは、コンピュータに、原色または補色の色フィルタを前面に配置した撮像素子からのデジタル化された信号を該色フィルタ毎の色信号に分離する分離手順と、上記各色信号に関して注目画素を含む所定サイズの近傍領域または単位面積中の複数の画素値の平均をとることにより信号値レベルを求める信号値算出手順と、ＩＳＯ感度と露出情報とホワイトバランス情報との内の少なくとも１つの情報に基づいて上記信号に対するゲインを求めるゲイン算出手順と、上記各色信号に関して上記信号値レベルと上記ゲインとを入力としてこれらの入力とノイズ量との対応関係が記述されたルックアップテーブルを参照することによりノイズ量を求めるルックアップテーブル手順と、上記各色信号に関して上記ノイズ量に基づき一画素毎にまたは複数画素でなる所定の単位面積毎に微小振幅値を設定する微小振幅値手順と、上記各色信号に関してこの微小振幅値手順により設定された微小振幅値以下の振幅成分を低減するスムージング手順と、を実行させるための画像処理プログラムである。
【００３０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図７は本発明の第１の実施形態を示したものであり、図１は撮像システムの構成を示すブロック図、図２はノイズ推定部の構成を示すブロック図、図３はＯＢ領域の配置例を示す図、図４はＯＢ領域の分散と撮像素子の温度との関係を示す線図、図５はノイズ量の定式化を説明するための線図、図６はノイズ量の定式化に用いるパラメータを説明するための線図、図７はノイズ低減部の構成を示すブロック図である。
【００３１】
この撮像システムは、図１に示すように、被写体像を結像するためのレンズ系１と、このレンズ系１内に配置されていて該レンズ系１における光束の通過範囲を規定するための絞り２と、上記レンズ系１による結像光束から不要な高周波成分を除去するためのローパスフィルタ３と、このローパスフィルタ３を介して結像される光学的な被写体像を光電変換して電気的な画像信号を出力する白黒用の撮像素子たるＣＣＤ４と、このＣＣＤ４から出力される画像信号に相関二重サンプリングを行うＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）５と、このＣＤＳ５から出力される信号を増幅する増幅器６と、この増幅器６により増幅されたアナログの画像信号をデジタル信号へ変換するＡ／Ｄ変換器７と、このＡ／Ｄ変換器７から出力されたデジタルの画像データを一時的に記憶する画像用バッファ８と、この画像用バッファ８に記憶された画像データに基づき被写体に関する測光評価を行いその評価結果に基づき上記絞り２、ＣＣＤ４、増幅器６の制御を行う測光評価部９と、上記画像用バッファ８に記憶された画像データに基づき合焦点検出を行い検出結果に基づき後述するＡＦモータ１１を駆動する合焦点検出部１０と、この合焦点検出部１０により制御されて上記レンズ系１に含まれるフォーカスレンズ等の駆動を行うＡＦモータ１１と、上記画像用バッファ８に記憶された画像データに基づき後で詳しく説明するようにノイズ推定を行うノイズ推定手段たるノイズ推定部１３と、このノイズ推定部１３による推定結果を用いて上記画像用バッファ８から読み出した画像データのノイズ低減を行うノイズ低減手段たるノイズ低減部１２と、このノイズ低減部１２から出力される画像データを処理する信号処理部１４と、この信号処理部１４からの画像データを例えばメモリカード等に記録するために出力する出力部１５と、電源スイッチ，シャッタボタン，各種の撮影モードを切り替えるためモードスイッチ等へのインターフェースを備えた外部Ｉ／Ｆ部１７と、上記ＣＤＳ５，増幅器６，Ａ／Ｄ変換器７，測光評価部９，合焦点検出部１０，ノイズ低減部１２，ノイズ推定部１３，信号処理部１４，出力部１５，外部Ｉ／Ｆ部１７に双方向に接続されていてこれらを含むこの撮像システムを統合的に制御するマイクロコンピュータ等でなる制御手段であってパラメータ算出手段とシャッタ速度算出手段とを兼ねた制御部１６と、を有して構成されている。
【００３２】
次に、図１に示したような撮像システムにおける信号の流れについて説明する。
【００３３】
この撮像システムは、外部Ｉ／Ｆ部１７を介してＩＳＯ感度などの撮影条件を設定することができるように構成されており、これらの設定がなされた後に、２段式の押しボタンスイッチでなるシャッタボタンを半押しすることにより、プリ撮像モードに入る。
【００３４】
上記レンズ系１，絞り２，ローパスフィルタ３を介してＣＣＤ４により撮影され出力された映像信号は、ＣＤＳ５において、公知の相関二重サンプリングによりアナログ信号として読み出される。
【００３５】
このアナログ信号は、増幅器６により所定量だけ増幅されて、Ａ／Ｄ変換器７によりデジタル信号へ変換され、画像用バッファ８へ転送される。
【００３６】
画像用バッファ８内の映像信号は、その後に、測光評価部９と合焦点検出部１０とへ転送される。
【００３７】
測光評価部９は、画像中の輝度レベルを求めて、設定されたＩＳＯ感度や手ぶれ限界のシャッタ速度などを考慮し、適正露光となるように絞り２による絞り値やＣＣＤ４の電子シャッタ速度や増幅器６の増幅率などを制御する。
【００３８】
また、合焦点検出部１０は、画像中のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ１１を制御し合焦画像を得る。
【００３９】
このようなプリ撮像モードを行うことにより本撮影の準備が整ったところで、次に、シャッタボタンが全押しにされたことを外部Ｉ／Ｆ部１７を介して検出すると、本撮影が行われる。
【００４０】
この本撮影は、測光評価部９により求められた露光条件と合焦点検出部１０により求められた合焦条件とに基づいて行われ、これらの撮影時の条件は制御部１６へ転送される。
【００４１】
こうして本撮影が行われると、映像信号が、プリ撮像のときと同様にして、画像用バッファ８へ転送され記憶される。
【００４２】
この画像用バッファ８内の映像信号は、ノイズ推定部１３へ転送されるが、該ノイズ推定部１３へは、さらに、制御部１６を介して、測光評価部９により求められた露光条件や外部Ｉ／Ｆ部１７により設定されたＩＳＯ感度などの撮影条件も合わせて転送される。
【００４３】
ノイズ推定部１３は、上記情報と映像信号とに基づき、所定サイズ毎に、例えば本実施形態においては一画素毎に（画素単位で）、ノイズ量を算出し、算出したノイズ量をノイズ低減部１２へ転送する。このノイズ推定部１３におけるノイズ量の算出は、制御部１６の制御に基づいて、ノイズ低減部１２の処理と同期して行われる。
【００４４】
ノイズ低減部１２は、ノイズ推定部１３により算出されたノイズ量に基づいて、画像用バッファ８内の映像信号に対してノイズ低減処理を行い、処理後の映像信号を信号処理部１４へ転送する。
【００４５】
信号処理部１４は、制御部１６の制御に基づき、ノイズ低減後の映像信号に対して、公知の強調処理や圧縮処理などを行い、処理後の映像信号を出力部１５へ転送する。
【００４６】
出力部１５は、受け取った映像信号を、メモリーカードなどへ記録し保存する。
【００４７】
次に、図２を参照してノイズ推定部１３の構成の一例について説明する。
【００４８】
このノイズ推定部１３は、制御部１６の制御に基づき画像用バッファ８に記憶された映像信号から例えば図３（Ａ）に示したようにＣＣＤ４の画像領域の右側に設けられたＯＢ（オプティカルブラック）領域の信号を抽出するＯＢ領域抽出部２１と、このＯＢ領域抽出部２１により抽出されたＯＢ領域の信号を記憶する第１バッファ２２と、この第１バッファ２２に記憶されたＯＢ領域の信号を読み出して分散値を算出しさらに上記制御部１６から転送される露光条件に関する情報を用いて上記増幅器６の増幅量に対する補正を該分散値に行う分散算出手段たる分散算出部２３と、予め計測された分散値と撮像素子の温度との関係が記録されている温度推定手段たる温度推定用ＲＯＭ２５と、上記分散算出部２３から出力された分散値とこの温度推定用ＲＯＭ２５からの情報とに基づき撮像素子の温度を求めるパラメータ算出手段であり温度推定手段たる温度推定部２４と、上記画像用バッファ８に記憶された映像信号から所定位置における所定サイズの局所領域を抽出する信号値算出手段たる局所領域抽出部２６と、この局所領域抽出部２６により抽出された局所領域の信号を記憶する第２バッファ２７と、この第２バッファ２７に記憶された局所領域の信号を読み出して平均値を算出し注目画素の信号値レベルとして出力するパラメータ算出手段であり信号値算出手段たる平均算出部２８と、上記制御部１６から転送される露光条件に関する情報（ＩＳＯ感度、露出情報、ホワイトバランス情報など）に基づいて上記増幅器６の増幅量を算出するパラメータ算出手段でありゲイン算出手段たるゲイン算出部２９と、何れかのパラメータが省略された場合に標準値を付与する付与手段たる標準値付与部３０と、ノイズ量を推定する際に用いる後述する関数に係るパラメータを記憶する係数算出手段たるパラメータ用ＲＯＭ３２と、このパラメータ用ＲＯＭ３２から読み出されるパラメータと上記温度推定部２４または上記標準値付与部３０から出力される撮像素子の温度と上記平均算出部２８または上記標準値付与部３０から出力される信号値レベルと上記ゲイン算出部２９または上記標準値付与部３０から出力される増幅量と上記制御部１６または上記標準値付与部３０から出力されるシャッタ速度との情報に基づき注目画素のノイズ量を所定の式により推定するノイズ量算出手段であり係数算出手段たる係数算出部３１と、この係数算出部３１から出力される係数を用いて後述するように定式化される関数を用いノイズ量を算出するノイズ量算出手段であり関数演算手段たる関数算出部３３と、この関数算出部３３から出力されるノイズ量が所定の閾値以上とならないように制限を課して上記ノイズ低減部１２へ出力する上限値設定手段たる上限設定部３４と、を有して構成されている。
【００４９】
上記局所領域抽出部２６は、本実施形態においては、後で説明するノイズ低減部１２の処理が水平方向と垂直方向とに分離しているために、水平方向処理の場合は例えば４×１サイズ単位で、垂直方向処理の場合は例えば１×４サイズ単位で、画像全面を順次走査しながら抽出を行うようになっている。この局所領域抽出部２６による処理は、ノイズ低減部１２の処理と同期して行われる。
【００５０】
また、上限設定部３４は、理論的なノイズ量に対する低減処理が、主観的に過剰となってしまう場合を考慮して設けられたものである。すなわち、ノイズ量が大きい場合に、これを完全に取り除こうとすると、原信号が損なわれて、主観的には画質がむしろ劣化したと感じられることがある。従って、ノイズ成分が残存することになっても原信号の保存性を優先させて、トータルの画質を高くするようにしたものである。なお、この上限設定部３４の機能は、外部Ｉ／Ｆ部１７から操作することにより、制御部１６によって停止させることも可能となっている。
【００５１】
さらに、上記制御部１６は、上記ＯＢ領域抽出部２１、分散算出部２３、温度推定部２４、局所領域抽出部２６、平均算出部２８、ゲイン算出部２９、標準値付与部３０、係数算出部３１、関数算出部３３、上限設定部３４に対して双方向に接続されており、これらを制御するようになっている。
【００５２】
図４を参照して、上記温度推定部２４において推定されるＯＢ領域の分散と撮像素子の温度との関係について説明する。
【００５３】
図示のように、撮像素子の温度は、ＯＢ領域の分散が大きくなるに従って、カーブを描きながら単調増加して、上昇して行くことが分かる。
【００５４】
入射光のないＯＢ領域でのランダムノイズは、暗電流ノイズが支配的となっており、この暗電流ノイズは、撮像素子の温度に関係している。
【００５５】
そのために、ＯＢ領域のランダムノイズを分散値として算出して、この分散値と撮像素子の温度変化との関係を事前に計測して温度推定用ＲＯＭ２５に記憶させておく。これにより、温度推定部２４は、分散算出部２３により算出された分散値から、温度推定用ＲＯＭ２５に記憶された対応関係を用いて、撮像素子であるＣＣＤ４の温度を推定することが可能となる。
【００５６】
なお、上述では、撮像素子の温度は素子上のどの位置でも同一であると見なして一つの温度だけを求めたが、これに限定される必要はなく、素子上の各点における局所的な温度を求めるようにしても構わない。
【００５７】
例えば、図３（Ｂ）に示すように、ＯＢ領域を画像領域の四辺に配置して、画像中の特定ブロックに関して、該当する上端，下端，左端，右端のそれぞれに位置するＯＢ領域の分散値を求め、これらの分散値を線形補間することにより特定ブロックに対する分散値を求めるようにしても良い。これにより、撮像素子の温度が不均一となる場合にも、精度の高い温度推定を行うことが可能となる。
【００５８】
次に、図５を参照して、係数算出部３１が注目画素のノイズ量を推定する際に用いるノイズ量の定式化について説明する。
【００５９】
信号値レベルＬに対するノイズ量Ｎの関数は、以下の数式１に示すように定式化される。
【数１】
Ｎ＝ＡＬ^Ｂ＋Ｃ
ここに、Ａ，Ｂ，Ｃは定数項であり、信号値レベルＬのべき乗をなす関数に定数項が付加されたものとなっている。
【００６０】
このような関数の、例えばＡ＞０，０＜Ｂ＜１，Ｃ＞０であるときの概形をプロットすると、図５（Ａ）に示すような形状となる。
【００６１】
しかしながら、ノイズ量Ｎは信号値レベルＬにのみ依存するのではなく、それ以外にも、撮像素子であるＣＣＤ４の温度や増幅器６のゲインによっても変化する。従って、これらの要因も考慮に入れたものが、図５（Ｂ）に示す例となっている。
【００６２】
すなわち、上記数式１では定数項であったＡ，Ｂ，Ｃの代わりに、数式２に示すように、温度ＴとゲインＧとをパラメータとするａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）を導入する。
【数２】
Ｎ＝ａ（Ｔ，Ｇ）Ｌ^{ｂ（Ｔ，Ｇ）}＋ｃ（Ｔ，Ｇ）
【００６３】
この数式２により示される曲線を、複数の温度Ｔ（図示の例では温度Ｔ１〜Ｔ３）における複数のゲインＧ（図示の例では１，２，４倍）の場合にプロットしたのが図５（Ｂ）である。
【００６４】
図５（Ｂ）は、独立変数を信号値レベルＬ、従属変数をノイズ量Ｎとして表したものであるが、パラメータである温度Ｔをこれらの変数に直交する方向に座標軸としてプロットしている。従って、Ｔ＝Ｔ１で表される平面内、Ｔ＝Ｔ２で表される平面内、Ｔ＝Ｔ３で表される平面内、のそれぞれで、信号値レベルＬによるノイズ量Ｎを読み取ることになる。このとき、さらに、パラメータであるゲインＧによる曲線形状の変化を、各平面内で複数本の曲線を描くことにより表している。
【００６５】
各パラメータで示される個々の曲線は、図５（Ａ）に示したような数式１による曲線とほぼ類似した形態をなしているが、当然にして、各係数ａ，ｂ，ｃは、温度ＴやゲインＧの各値に応じて異なっている。
【００６６】
図６（Ａ）は上記関数ａ（Ｔ，Ｇ）の、図６（Ｂ）は上記関数ｂ（Ｔ，Ｇ）の、図６（Ｃ）は上記関数ｃ（Ｔ，Ｇ）の特性の概略の様子をそれぞれ示したものである。
【００６７】
これらの各関数は、温度ＴとゲインＧとを独立変数とする２変数関数であるために、図６（Ａ）〜図６（Ｃ）は３次元座標としてプロットされており、このプロットされた空間における曲面となっている。ただし、ここでは具体的な曲面形状を図示する代わりに、曲線を用いて大まかな特性変化の様子を示している。
【００６８】
このような関数ａ，ｂ，ｃに温度ＴとゲインＧとをパラメータとして入力することにより、各定数項Ａ，Ｂ，Ｃが出力される。そして、これらの関数の具体的な形状は、事前に、ＣＣＤ４や増幅器６を含む撮像素子系の特性を測定することにより、容易に取得することができる。
【００６９】
ところで、ランダムノイズには、露光時間が長くなるにつれて増加する傾向がある。このために、同一の露光量であっても、シャッタ速度と絞り値との組み合わせが異なると、発生するノイズ量に差異が生じることがある。従って、このような差異も考慮に入れて補正を行う例について、図６（Ｄ）を参照して説明する。
【００７０】
ここでは、シャッタ速度Ｓをパラメータとする補正係数ｄ（Ｓ）を導入して、この補正係数を数式２に乗算する手段により、数式３に示すような定式化による補正を行うようにしている。
【数３】
Ｎ＝｛ａ（Ｔ，Ｇ）Ｌ^{ｂ（Ｔ，Ｇ）}＋ｃ（Ｔ，Ｇ）｝ｄ（Ｓ）
【００７１】
この補正係数ｄ（Ｓ）の関数形状は、事前に撮像素子系の特性を測定することにより得られるが、例えば図６（Ｄ）に示すような形状をなしている。図６（Ｄ）は、シャッタ速度Ｓに対するノイズ量の増分Ｄの様子を示している。
【００７２】
この図６（Ｄ）に示すように、ノイズ量の増分Ｄは、シャッタ速度Ｓがある閾値Ｓ_ＴＨよりも小さくなる（長時間露光になる）と急速に上昇する性質がある。従って、シャッタ速度Ｓがこの閾値Ｓ_ＴＨ以上であるか以下であるかの２通りに分けて、長時間露光の場合には関数でなるｄ（Ｓ）を用いるが、短時間露光となる場合には固定的な係数を用いるように簡略化しても構わない。
【００７３】
上述したような４つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ），ｄ（Ｓ）は、上記パラメータ用ＲＯＭ３２に記録される。なお、シャッタ速度に対する補正は、必ずしも関数として用意する必要はなく、その他の手段、例えばテーブルなどとして用意しても構わない。
【００７４】
係数算出部３１は、動的に取得された（または標準値付与部３０から取得された）温度Ｔ，ゲインＧ，シャッタ速度Ｓを入力パラメータとして、パラメータ用ＲＯＭ３２に記録されている４つの関数を用いて各係数Ａ，Ｂ，Ｃ，Ｄを算出する。
【００７５】
関数算出部３３は、この係数算出部３１による算出された各係数Ａ，Ｂ，Ｃ，Ｄを、上記数式３に適用することにより、ノイズ量Ｎを算出するための関数形状を決定して、該係数算出部３１を介して上記平均算出部２８から出力される信号値レベルＬによりノイズ量Ｎを算出するようになっている。
【００７６】
このとき、温度Ｔ，ゲインＧ，シャッタ速度Ｓ等の各パラメータを、必ずしも撮影毎に求める必要はない。例えば、温度Ｔは、電源投入時から一定時間が経過すれば安定するために、安定した後に温度推定部２４において算出した温度情報を制御部１６が標準値付与部３０に記憶させておき、以後の算出過程を省略してこの標準値付与部３０から読み出した温度情報を用いるようにすることも可能である。こうして標準値付与部３０は、温度推定部２４、平均算出部２８、ゲイン算出部２９、制御部１６などからのパラメータが得られない場合に、標準的なパラメータを設定して出力するものとなっていて、これにより、処理の高速化や省電力化などを図ることが可能である。なお、標準値付与部３０は、それ以外に必要とされるパラメータについても、標準的な値を出力することができるようになっている。
【００７７】
次に、図７を参照してノイズ低減部１２の構成の一例について説明する。
【００７８】
このノイズ低減部１２は、上記画像用バッファ８から水平ライン単位で順次映像信号を抽出する水平ライン抽出部４１と、この水平ライン抽出部４１により抽出された水平ラインの映像信号に対して画素単位で走査して行き後述する閾値設定部４６からの閾値をノイズ量として公知のヒステリシススムージングを行うスムージング手段たる第１スムージング部４２と、この第１スムージング部４２によりスムージングされた水平ラインを順次記憶して行くことにより１画面分の映像信号を記憶するバッファ４３と、このバッファ４３に１画面分の映像信号が蓄積された後に該バッファ４３から垂直ライン単位で順次映像信号を抽出する垂直ライン抽出部４４と、この垂直ライン抽出部４４により抽出された垂直ラインの映像信号に対して画素単位で走査して行き後述する閾値設定部４６からの閾値をノイズ量として公知のヒステリシススムージングを行って上記信号処理部１４へ順次出力するスムージング手段たる第２スムージング部４５と、上記ノイズ推定部１３により推定されたノイズ量を上記水平ライン抽出部４１により抽出された水平ラインまたは上記垂直ライン抽出部４４により抽出された垂直ラインに応じて画素単位で取得してノイズの振幅値を閾値（微小振幅値）として設定し上記第１スムージング部４２または上記第２スムージング部４５に出力する閾値設定手段たる閾値設定部４６と、を有して構成されている。
【００７９】
ここに、上記第１，第２スムージング部４２，４５におけるヒステリシススムージングは、制御部１６の制御により、ノイズ推定部１３の動作および閾値設定部４６の動作と同期して行われるようになっている。
【００８０】
また、上記制御部１６は、上記水平ライン抽出部４１、垂直ライン抽出部４４、閾値設定部４６に対して双方向に接続されており、これらを制御するようになっている。
【００８１】
なお、上述ではノイズ量を画素単位で推定していたが、これに限るものではなく、例えば２×２画素や４×４画素などの任意の所定の単位面積毎にノイズ量を推定するようにしても構わない。この場合には、ノイズ推定精度は低下することになるが、その一方で、より高速な処理が可能となる利点がある。
【００８２】
このような第１の実施形態によれば、一画素毎または単位面積毎にノイズ量を推定し、局所的なノイズ量に合わせたノイズ低減処理を行っているために、明部から暗部にかけて最適なノイズ低減が可能になり高品位な画像を得ることができる。
【００８３】
また、ノイズ量に関係する各種パラメータを撮影毎に動的に求めて、これらのパラメータからノイズ量を算出しているために、撮影毎に異なる条件に動的に適応して、高精度なノイズ量の推定が可能となる。
【００８４】
さらに、ノイズ量を閾値として設定して、この閾値以下の信号をノイズとして除去しているために、それ以上の信号は原信号として保存され、エッジ部が劣化することのないノイズのみが低減された高品位な画像を得ることができる。
【００８５】
そして、算出されたノイズ量に対して、所定の上限値を超えないように制限を課しているために、過剰なノイズ低減処理を防止して、原信号のエッジ成分に対する保存性を確保することができる。このとき、上限値を設定するか否かを操作により設定することができるために、より主観的に良い画質が得られる方を選択することができる。
【００８６】
加えて、注目画素の近傍領域で平均化することにより注目画素の信号レベルを取得しているために、ノイズ成分の影響を減らすことができ、高精度なノイズ量の推定が可能となる。
【００８７】
また、撮像素子のＯＢ領域の分散値から該撮像素子の温度を推定してノイズ量推定のパラメータとしているために、撮影時の温度変化に動的に適応して、高精度にノイズ量を推定することが可能となる。このとき、ＯＢ領域を利用しているために、低コストな撮像システムを実現することができる。
【００８８】
ＩＳＯ感度、露出情報、ホワイトバランス情報に基づき撮影時のゲイン量を求めてノイズ量推定のパラメータとしているために、撮影時のゲイン変化に動的に適応して高精度にノイズ量を推定することが可能となる。
【００８９】
使用するシャッタ速度に対応してノイズに関する補正量を求めているために、撮影時のシャッタ速度に動的に適応して、長時間露光時に増加するノイズに対しても高精度にノイズ量を推定することが可能となる。
【００９０】
撮影時に得られなかったパラメータに対して標準値を設定し、得られたパラメータと共にノイズ量算出の係数を求めて、この係数からノイズ量を算出しているために、撮影時に必要となるパラメータが得られない場合でもノイズ量を推定することが可能となり、安定したノイズ低減効果を得ることができる。また、ノイズ量の算出に関数を用いているために、必要となるメモリ量が少なく、低コスト化を図ることが可能となる。さらに、一部のパラメータ算出を意図的に省略することにより、低コスト化および省電力化を図ることも可能となる。
【００９１】
こうして本実施形態によれば、ノイズ量に影響を与える要因が動的に変化しても、それに対応してノイズ量を適応的に低減することができ、高品質な画像を得ることができる。
【００９２】
図８から図１２は本発明の第２の実施形態を示したものであり、図８は撮像システムの構成を示すブロック図、図９は色フィルタにおける原色ベイヤー型のフィルタ構成を示す図、図１０はノイズ推定部の構成を示すブロック図、図１１はノイズ低減部の構成を示すブロック図、図１２はコンピュータにおいて画像処理プログラムにより行われるノイズ低減処理を示すフローチャートである。
【００９３】
この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【００９４】
この第２の実施形態の撮像システムは、図８に示すように、上述した第１の実施形態の構成に加えて、上記ＣＣＤ４の前面に配置された例えば原色ベイヤー型の色フィルタ５１と、該ＣＣＤ４の近傍に配置されていて該ＣＣＤ４の温度をリアルタイムに計測して計測結果を上記制御部１６へ出力するためのパラメータ算出手段を構成する温度センサ５２と、上記画像用バッファ８に記憶された映像信号に基づき簡易的なホワイトバランス検出を行いその結果に基づいて上記増幅器６を制御するプレＷＢ部５３と、上記画像用バッファ８に記憶された映像信号を読み出して色信号の分離を行い上記ノイズ低減部１２と上記ノイズ推定部１３とへ出力する分離手段たる色信号分離部５４と、が備えられたものとなっていて、プレＷＢ部５３と色信号分離部５４とは上記制御部１６に双方向に接続されて制御されるようになっている。
【００９５】
この図８に示したような撮像システムにおける信号の流れは、上述した第１の実施形態と基本的に同様であり、異なる部分についてのみ説明する。
【００９６】
シャッタボタンを半押しすることにより、プリ撮像モードに入ると、色フィルタ５１を介した被写体像がＣＣＤ４により撮像されて映像信号として出力される。
【００９７】
この映像信号は、第１の実施形態で説明したような処理がなされてデジタルの映像信号として画像用バッファ８に記憶される。この画像用バッファ８に記憶された映像信号は、上記測光評価部９や合焦点検出部１０へ転送されるとともに、さらにプレＷＢ部５３へも転送される。
【００９８】
このプレＷＢ部５３は、映像信号中の所定輝度レベルの信号を色信号毎に積算することにより、簡易ホワイトバランス係数を算出して増幅器６へ転送する。
【００９９】
増幅器６は、プレＷＢ部５３から受け取った簡易ホワイトバランス係数を用いて、色信号毎に異なるゲインを乗算することにより、ホワイトバランス調整を行う。
【０１００】
次に、シャッタボタンを全押しにしたことが検出されると、測光評価部９により求められた露光条件と合焦点検出部１０により求められた合焦条件とプレＷＢ部５３により求められたホワイトバランス係数とに基づいて本撮影が行われるとともに、これらの撮影条件が制御部１６へ転送される。
【０１０１】
本撮影により取得された映像信号は、画像用バッファ８に記憶された後に、色信号分離部５４へ転送されて、色フィルタの色毎に分離される。
【０１０２】
ＣＣＤ４の前面に配置される上記色フィルタ５１のフィルタ構成は、上述したように、例えば図９に示すような原色ベイヤー（Ｂａｙｅｒ）型、つまり、２×２画素を基本単位として、対角位置に緑（Ｇ１，Ｇ２）のフィルタが配置され、残りの対角位置に赤（Ｒ）と青（Ｂ）のフィルタが配置されるものとなっている。なお、緑フィルタＧ１，Ｇ２は同一の光学特性のフィルタであるが、ここでは処理の便宜上、Ｇ１，Ｇ２として区別している。
【０１０３】
色信号分離部５４は、これら４種類の色フィルタＲ，Ｇ１，Ｇ２，Ｂに応じて、画像用バッファ８内の映像信号を分離するようになっていて、この分離動作は、制御部１６の制御に基づき、ノイズ低減部１２の処理およびノイズ推定部１３の処理と同期して行われる。
【０１０４】
色信号分離部５４により分離された各色信号は、ノイズ推定部１３へ転送されてノイズ量の推定が上述したように行われ、その推定結果を用いて、ノイズ低減部１２においてノイズの低減処理が行われ、処理後の各色信号が統合されて信号処理部１４へ転送される。その後の動作は、上述した第１の実施形態と同様である。
【０１０５】
次に、図１０を参照して、本実施形態におけるノイズ推定部１３の構成の一例について説明する。
【０１０６】
このノイズ推定部１３の基本的な構成は、上述した第１の実施形態における図２に示したものと同様であり、同一の機能を果たす構成要素には同一の名称および符号を割り当てている。
【０１０７】
このノイズ推定部１３は、上記色信号分離部５４から出力される色信号毎に所定位置における所定サイズの局所領域を抽出する局所領域抽出部２６と、この局所領域抽出部２６により抽出された局所領域の色信号を記憶するバッファ６１と、上記制御部１６から転送される露光条件に関する情報とホワイトバランス係数に関する情報とに基づいて上記増幅器６の増幅量を算出するゲイン算出部２９と、何れかのパラメータが省略された場合に標準値を付与する標準値付与部３０と、上記バッファ６１の信号を読み出して平均値と分散値とを算出し平均値を注目画素の信号値レベルとしてルックアップテーブル部６３へ転送するとともに分散値をノイズ低減部１２の制御パラメータとして使用するために制御部１６へ転送する平均分散算出部６２と、上記制御部１６または標準値付与部３０から出力されるシャッタ速度、上記温度センサ５２または標準値付与部３０から出力される撮像素子の温度に関する情報、上記ゲイン算出部２９または標準値付与部３０から出力される増幅量、上記平均分散算出部６２または標準値付与部３０から出力される信号値レベル、とノイズ量との間の関係が上述した第１の実施形態と同様の手段により構築されてルックアップテーブルとして記録されているノイズ量算出手段でありルックアップテーブル手段たるルックアップテーブル部６３と、を有して構成されている。
【０１０８】
こうして、ルックアップテーブル部６３により得られたノイズ量は、ノイズ低減部１２へ転送されるようになっている。
【０１０９】
また、上記局所領域抽出部２６の処理は上記ノイズ低減部１２の処理と同期して行われるようになっており、後述するノイズ低減部１２の処理がブロック単位で行われるために、本実施形態では、例えば４×４画素単位で画像全体を順次走査しながら抽出を行う。
【０１１０】
なお、上記制御部１６は、上記局所領域抽出部２６、平均分散算出部６２、ゲイン算出部２９、標準値付与部３０、ルックアップテーブル部６３に対して双方向に接続されており、これらを制御するようになっている。
【０１１１】
次に図１１を参照して、ノイズ低減部１２の構成の一例について説明する。
【０１１２】
このノイズ低減部１２は、上記ノイズ推定部１３により推定されたノイズ量に基づきフィルタサイズを設定する制御値設定手段たるサイズ設定部７４と、上記色信号分離部５４から出力される各色信号からこのサイズ設定部７４により設定されたフィルタサイズに相当する画素ブロックを注目画素を内包するように（例えば注目画素を中心として）抽出する局所領域抽出部７１と、予め設定されたフィルタサイズに対応する係数が記録されているスムージング手段たる係数用ＲＯＭ７５と、上記サイズ設定部７４により設定されたフィルタサイズに基づき上記係数用ＲＯＭ７５から対応するフィルタサイズの係数を読み込んで上記局所領域抽出部７１により抽出された画素ブロックに対して公知の平滑化のためのフィルタリング処理を行うスムージング手段たるフィルタリング部７２と、このフィルタリング部７２から出力されるフィルタリング処理された各色信号を全色についてＣＣＤ４の信号出力位置に対応するように記憶するバッファ７３と、を有して構成されている。
【０１１３】
上記サイズ設定部７４は、ノイズ推定部１３により推定されたノイズ量に応じて、例えば１×１画素〜９×９画素でなるフィルタサイズから、ノイズ量が小さいときには小サイズ、大きいときには大サイズとなるように選択する。このフィルタサイズは、平滑化処理の周波数特性を制御するための制御値となっていて、これにより、ノイズの周波数特性に応じて、映像信号中の特定周波数帯域を低減するフィルタリング処理（平滑化処理）が行われることになる。
【０１１４】
さらに、該サイズ設定部７４は、上記制御部１６から注目画素近傍の信号値レベルに関する分散値情報を受けて、この分散値が小さい場合には注目画素が平坦領域であると識別し、大きい場合にはエッジ領域であると識別して、該識別結果に基づいて、平坦領域である場合はフィルタサイズの補正を行わず、エッジ領域である場合はフィルタサイズをより小サイズへと補正するようになっている。
【０１１５】
また、上述したような処理を各色信号毎に繰り返して行うことにより全色についてフィルタリング処理がなされバッファ７３に記憶された各色信号は、その後に読み出されて上記信号処理部１４により処理されるようになっている。
【０１１６】
なお、上記制御部１６は、上記局所領域抽出部７１，フィルタリング部７２，サイズ設定部７４に対して双方向に接続されており、これらを制御するようになっている。
【０１１７】
加えて、上述ではハードウェアにより処理を行うことを前提としていたが、これに限らず、ソフトウェアによって処理することも可能である。
【０１１８】
例えば、ＣＣＤ４から出力される映像信号を未処理のままのＲａｗデータとしておき、このＲａｗデータに、上記制御部１６からの撮影時の温度、ゲイン、シャッタ速度等の情報をヘッダ情報として付加する。このヘッダ情報が付加されたＲａｗデータをコンピュータ等の処理装置に出力して、該処理装置において、ソフトウェアにより処理するようにしても良い。
【０１１９】
図１２を参照して、コンピュータにおいて画像処理プログラムによりノイズ低減処理を行う例について説明する。
【０１２０】
処理を開始すると、まず、Ｒａｗデータでなる全色信号と、温度、ゲイン、シャッタ速度などの情報を含むヘッダ情報と、を読み込む（ステップＳ１）。
【０１２１】
次に、Ｒａｗデータを各色信号に分離して（ステップＳ２）、色信号毎に個別に走査して行く（ステップＳ３）。
【０１２２】
そして、注目画素を中心として、例えば４×４画素単位でなる所定サイズの局所領域を抽出する（ステップＳ４）。
【０１２３】
抽出した局所領域に対して、注目画素の信号値レベルである平均値と、平坦領域とエッジ領域とを識別するために用いる分散値と、を算出する（ステップＳ５）。
【０１２４】
次に、読み込まれたヘッダ情報から、温度、ゲイン、シャッタ速度等のパラメータを求める。このとき、ヘッダ情報に必要なパラメータが含まれていない場合には、所定の標準値を割り当るようにする（ステップＳ６）。
【０１２５】
上記ステップＳ５において算出された信号値レベルと、上記ステップＳ６において設定されたパラメータである温度、ゲイン、シャッタ速度等と、に基づいて、ルックアップテーブルを用いることによりノイズ量を算出する（ステップＳ７）。
【０１２６】
続いて、上記ステップＳ５において算出された分散値と、上記ステップＳ７において算出されたノイズ量と、に基づいて、フィルタリングサイズを求める（ステップＳ８）。
【０１２７】
注目画素を中心として、上記ステップＳ８において求められたフィルタリングサイズに対応する領域を抽出する（ステップＳ９）。
【０１２８】
次に、上記ステップＳ８において求められたフィルタリングサイズに対応する係数を読み込む（ステップＳ１０）。
【０１２９】
上記ステップＳ９において抽出された領域に対して、上記ステップＳ８において求められたフィルタリングサイズと、上記ステップＳ１０において求められた係数と、を用いて平滑化のフィルタリング処理を行う（ステップＳ１１）。
【０１３０】
そして、平滑化された信号を順次出力し（ステップＳ１２）、１色について全画面の走査が完了したか否かを判断し（ステップＳ１３）、完了していない場合は上記ステップＳ３へ戻って完了するまで上述したような処理を行う。
【０１３１】
一方、このステップＳ１３において画面走査が完了したと判断された場合には、さらに、全色の色信号について処理が完了したか否かを判断し（ステップＳ１４）、まだ、全色の色信号について完了していない場合には、上記ステップＳ２へ戻って上述したような処理を行い、また、完了した場合には、この処理が終了となる。
【０１３２】
なお、上述では色フィルタ５１が原色ベイヤー型である場合を例に挙げて説明したが、これに限定されるものではなく、例えば、補色フィルタである場合にも同様に適用可能であるし、さらには、二板ＣＣＤや三板ＣＣＤの場合にも同様に適用可能である。
【０１３３】
このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、色フィルタを有する撮像素子からの信号を色フィルタ毎の色信号に分離して、画素単位または単位面積毎にノイズ量を推定し、局所的なノイズ量に合わせたノイズ低減処理を行っているために、明部から暗部にかけて最適なノイズ低減を図ることが可能になり、高品位な画像を得ることができる。また、原色、補色や単板、二板、三板など多様な撮像系に対して適用することが可能となる。
【０１３４】
さらに、ノイズ量に対応したフィルタサイズを選択して、このフィルタサイズによりノイズ低減処理を行っているために、ノイズ成分のみが除去されて、それ以上の信号は原信号として保存され、ノイズのみが低減された高品位な画像を得ることができる。
【０１３５】
そして、撮影時の撮像素子の温度を直接リアルタイムに計測してノイズ量推定のパラメータとしているために、撮影時の温度変化に動的に適応して、高精度にノイズ量を推定することが可能となる。
【０１３６】
加えて、撮影時に得られなかったパラメータに対して標準値を設定し、得られたパラメータと共にルックアップテーブルからノイズ量を算出しているために、撮影時に必要となるパラメータが得られない場合でもノイズ量を推定することが可能となり、安定したノイズ低減効果を得ることができる。また、ノイズ量の算出にテーブルを用いているために、高速な処理が可能となる。さらに、一部のパラメータ算出を意図的に省略することにより、低コスト化および省電力化を図ることが可能となる。
【０１３７】
こうして本実施形態によれば、カラーＣＣＤにおいて、ノイズ量に影響を与える要因が動的に変化しても、それに対応してノイズ量を適応的に低減することができ、高品質な画像を得ることができる。
【０１３８】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０１３９】
【発明の効果】
以上説明したように本発明の撮像システムおよび画像処理プログラムによれば、画像内のノイズ量を適切に低減して高品質な画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における撮像システムの構成を示すブロック図。
【図２】上記第１の実施形態におけるノイズ推定部の構成を示すブロック図。
【図３】上記第１の実施形態におけるＯＢ領域の配置例を示す図。
【図４】上記第１の実施形態において、ＯＢ領域の分散と撮像素子の温度との関係を示す線図。
【図５】上記第１の実施形態において、ノイズ量の定式化を説明するための線図。
【図６】上記第１の実施形態において、ノイズ量の定式化に用いるパラメータを説明するための線図。
【図７】上記第１の実施形態におけるノイズ低減部の構成を示すブロック図。
【図８】本発明の第２の実施形態における撮像システムの構成を示すブロック図。
【図９】上記第２の実施形態の色フィルタにおける原色ベイヤー型のフィルタ構成を示す図。
【図１０】上記第２の実施形態におけるノイズ推定部の構成を示すブロック図。
【図１１】上記第２の実施形態におけるノイズ低減部の構成を示すブロック図。
【図１２】上記第２の実施形態のコンピュータにおいて画像処理プログラムにより行われるノイズ低減処理を示すフローチャート。
【符号の説明】
１…レンズ系
２…絞り
３…ローパスフィルタ
４…ＣＣＤ（撮像素子）
５…ＣＤＳ
６…増幅器
７…Ａ／Ｄ変換器
８…画像バッファ
９…測光評価部
１０…合焦点検出部
１１…ＡＦモータ
１２…ノイズ低減部（ノイズ低減手段）
１３…ノイズ推定部（ノイズ推定手段）
１４…信号処理部
１５…出力部
１６…制御部（パラメータ算出手段、シャッタ速度算出手段）
１７…外部Ｉ／Ｆ部
２１…ＯＢ領域抽出部
２２…第１バッファ
２３…分散算出部（分散算出手段）
２４…温度推定部（パラメータ算出手段、温度推定手段）
２５…温度推定用ＲＯＭ（温度推定手段）
２６…局所領域抽出部（信号値算出手段）
２７…第２バッファ
２８…平均算出部（パラメータ算出手段、信号値算出手段）
２９…ゲイン算出部（パラメータ算出手段、ゲイン算出手段）
３０…標準値付与部（付与手段）
３１…係数算出部（ノイズ量算出手段、係数算出手段）
３２…パラメータ用ＲＯＭ（係数算出手段）
３３…関数算出部（ノイズ量算出手段、関数演算手段）
３４…上限設定部（上限値設定手段）
４１…水平ライン抽出部
４２…第１スムージング部（スムージング手段）
４３…バッファ
４４…垂直ライン抽出部
４５…第２スムージング部（スムージング手段）
４６…閾値設定部（閾値設定手段）
５１…色フィルタ
５２…温度センサ（パラメータ算出手段）
５３…プレＷＢ部
５４…色信号分離部（分離手段）
６１…バッファ
６２…平均分散算出部
６３…ルックアップテーブル部（ノイズ量算出手段、ルックアップテーブル手段）
７１…局所領域抽出部
７２…フィルタリング部（スムージング手段）
７３…バッファ
７４…サイズ設定部（制御値設定手段）
７５…係数用ＲＯＭ（スムージング手段）

Claims (20)

1. 複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手段と、
   このノイズ推定手段により推定されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手段と、
   を具備したことを特徴とする撮像システム。
2. 上記撮像素子の前面に配置された色フィルタと、
   該撮像素子から出力される信号をこの色フィルタ毎の信号に分離する分離手段と、
   をさらに具備したことを特徴とする請求項１に記載の撮像システム。
3. 上記ノイズ推定手段は、
   上記信号の信号値レベルと、上記撮像素子の温度と、上記信号に対するゲインと、撮影時のシャッタ速度と、の内の少なくとも１つの情報に基づいてパラメータを算出するパラメータ算出手段と、
   このパラメータ算出手段により算出されたパラメータに基づいて推定ノイズ量を算出するノイズ量算出手段と、
   を有して構成されたものであることを特徴とする請求項１または請求項２に記載の撮像システム。
4. 上記ノイズ推定手段は、
   上記推定されたノイズ量に対して上限値を設定する上限値設定手段を有して構成されたものであることを特徴とする請求項１または請求項２に記載の撮像システム。
5. 上記ノイズ低減手段は、
   上記ノイズ推定手段により推定されたノイズ量に基づいて、一画素毎に、または複数画素でなる所定の単位面積毎に、ノイズの振幅値を閾値として設定する閾値設定手段と、
   この閾値設定手段により設定された閾値以下となる上記信号中の振幅成分を低減するスムージング手段と、
   を有して構成されたものであることを特徴とする請求項１または請求項２に記載の撮像システム。
6. 上記ノイズ低減手段は、
   上記ノイズ推定手段により推定されたノイズ量に基づいて、平滑化処理の周波数特性を制御するための制御値を設定する制御値設定手段と、
   この制御値設定手段により設定された制御値に基づき上記信号中の特定周波数帯域を低減する平滑化処理を行うスムージング手段と、
   を有して構成されたものであることを特徴とする請求項１または請求項２に記載の撮像システム。
7. 上記パラメータ算出手段は、
   注目画素を含む所定サイズの近傍領域または上記単位面積中の複数の画素値の平均をとることにより上記信号値レベルを求める信号値算出手段を有して構成されたものであることを特徴とする請求項３に記載の撮像システム。
8. 上記パラメータ算出手段は、
   上記記撮像素子の温度を測定する温度センサを有して構成されたものであることを特徴とする請求項３に記載の撮像システム。
9. 上記撮像素子は、ＯＢ（Ｏｐｔｉｃａｌ　Ｂｌａｃｋ：オプティカルブラック）領域を有して構成されたものであって、
   上記パラメータ算出手段は、
   このＯＢ領域の信号の分散を算出する分散算出手段と、
   この分散算出手段により算出された分散に基づき上記撮像素子の温度を推定する温度推定手段と、
   を有して構成されたものであることを特徴とする請求項３に記載の撮像システム。
10. 上記パラメータ算出手段は、
    ＩＳＯ感度と露出情報とホワイトバランス情報との内の少なくとも１つの情報に基づいて上記ゲインを求めるゲイン算出手段を有して構成されたものであることを特徴とする請求項３に記載の撮像システム。
11. 上記パラメータ算出手段は、
    上記撮影時のシャッタ速度を露出情報から求めるシャッタ速度算出手段を有して構成されたものであることを特徴とする請求項３に記載の撮像システム。
12. 上記ノイズ量算出手段は、パラメータとして、上記信号の信号値レベルＬと、上記撮像素子の温度Ｔと、上記信号に対するゲインＧと、撮影時のシャッタ速度Ｓと、を用いてノイズ量Ｎを算出するものであって、
    上記温度ＴとゲインＧとをパラメータとする３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）と、上記シャッタ速度Ｓをパラメータとする関数ｄ（Ｓ）と、に基づき４つの係数Ａ，Ｂ，Ｃ，Ｄを各々算出する係数算出手段と、
    この係数算出手段により算出された上記４つの係数Ａ，Ｂ，Ｃ，Ｄで規定される関数式
    Ｎ＝（ＡＬ^Ｂ＋Ｃ）Ｄ
    に基づいてノイズ量Ｎを算出する関数演算手段と、
    を有して構成されたものであることを特徴とする請求項３に記載の撮像システム。
13. 上記ノイズ量算出手段は、標準のパラメータ値を付与する付与手段をさらに有して構成され、
    上記パラメータは、上記パラメータ算出手段により算出された値、または上記付与手段によって付与された標準値、であることを特徴とする請求項１２に記載の撮像システム。
14. 上記ノイズ量算出手段は、
    上記パラメータ算出手段から得られなかったパラメータに関して標準のパラメータ値を付与する付与手段と、
    上記パラメータ算出手段または上記付与手段から得られる信号値レベルと温度とゲインとシャッタ速度とを入力としてノイズ量を求めるルックアップテーブル手段と、
    を有して構成されたものであることを特徴とする請求項３に記載の撮像システム。
15. 原色または補色の色フィルタを前面に配置した撮像素子からのデジタル化された信号を、該色フィルタ毎の色信号に分離する分離手段と、上記各色信号に関して、注目画素を含む所定サイズの近傍領域または単位面積中の複数の画素値の平均をとることにより信号値レベルを求める信号値算出手段と、
    ＩＳＯ感度と露出情報とホワイトバランス情報との内の少なくとも１つの情報に基づいて上記信号に対するゲインを求めるゲイン算出手段と、
    上記各色信号に関して上記信号値レベルと上記ゲインとを入力としてこれらの入力とノイズ量との対応関係が記述されたルックアップテーブルを参照することによりノイズ量を求めるルックアップテーブル手段と、
    上記各色信号に関して上記ノイズ量に基づき、一画素毎に、または複数画素でなる所定の単位面積毎に、微小振幅値を設定する微小振幅値手段と、
    上記各色信号に関してこの微小振幅値手段により設定された微小振幅値以下の振幅成分を低減するスムージング手段と、
    を具備したことを特徴とする撮像システム。
16. コンピュータに、
    複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手順と、
    このノイズ推定手順により推定されたノイズ量に基づいて、一画素毎に、または複数画素でなる所定の単位面積毎に、ノイズの振幅値を閾値として設定する閾値設定手順と、
    この閾値設定手順により設定された閾値以下となる上記信号中の振幅成分を低減するスムージング手順と、
    を実行させるための画像処理プログラム。
17. コンピュータに、
    複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手順と、
    このノイズ推定手順により推定されたノイズ量に基づいて、平滑化処理の周波数特性を制御するための制御値を設定する制御値設定手順と、
    この制御値設定手順により設定された制御値に基づき上記信号中の特定周波数帯域を低減する平滑化処理を行うスムージング手順と、
    を実行させるための画像処理プログラム。
18. コンピュータに、
    複数の画素を配列してなりＯＢ（Ｏｐｔｉｃａｌ　Ｂｌａｃｋ：オプティカルブラック）領域を有して構成された撮像素子からのデジタル化された信号中の該ＯＢ領域の信号の分散を算出する分散算出手順と、
    この分散算出手順により算出された分散に基づき上記撮像素子の温度を推定する温度推定手順と、
    この温度推定手順により推定された上記撮像素子の温度と、上記信号の信号値レベルと、上記信号に対するゲインと、撮影時のシャッタ速度と、の内の少なくとも１つの情報に基づいてパラメータを算出するパラメータ算出手順と、
    このパラメータ算出手順により算出されたパラメータに基づいて、上記信号中に含まれると推定されるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、算出するノイズ量算出手順と、
    このノイズ量算出手順により算出されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手順と、
    を実行させるための画像処理プログラム。
19. コンピュータに、
    複数の画素を配列してなる撮像素子からのデジタル化された信号の信号値レベルＬと、上記撮像素子の温度Ｔと、上記信号に対するゲインＧと、撮影時のシャッタ速度Ｓと、をパラメータとして算出するパラメータ算出手順と、
    上記温度ＴとゲインＧとをパラメータとする３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）と、上記シャッタ速度Ｓをパラメータとする関数ｄ（Ｓ）と、に基づき４つの係数Ａ，Ｂ，Ｃ，Ｄを各々算出する係数算出手順と、
    この係数算出手順により算出された上記４つの係数Ａ，Ｂ，Ｃ，Ｄで規定される関数式
    Ｎ＝（ＡＬ^Ｂ＋Ｃ）Ｄ
    に基づいて、上記信号中に含まれると推定されるノイズ量Ｎを、一画素毎に、または複数画素でなる所定の単位面積毎に、算出する関数演算手順と、
    この関数演算手順により算出されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手順と、
    を実行させるための画像処理プログラム。
20. コンピュータに、
    原色または補色の色フィルタを前面に配置した撮像素子からのデジタル化された信号を、該色フィルタ毎の色信号に分離する分離手順と、
    上記各色信号に関して、注目画素を含む所定サイズの近傍領域または単位面積中の複数の画素値の平均をとることにより信号値レベルを求める信号値算出手順と、
    ＩＳＯ感度と露出情報とホワイトバランス情報との内の少なくとも１つの情報に基づいて上記信号に対するゲインを求めるゲイン算出手順と、
    上記各色信号に関して上記信号値レベルと上記ゲインとを入力としてこれらの入力とノイズ量との対応関係が記述されたルックアップテーブルを参照することによりノイズ量を求めるルックアップテーブル手順と、
    上記各色信号に関して上記ノイズ量に基づき、一画素毎に、または複数画素でなる所定の単位面積毎に、微小振幅値を設定する微小振幅値手順と、
    上記各色信号に関してこの微小振幅値手順により設定された微小振幅値以下の振幅成分を低減するスムージング手順と、
    を実行させるための画像処理プログラム。

Images