JP2009177244A - 画像処理装置、撮像装置および画像処理方法 - Google Patents

Abstract

【課題】ノイズを低減しすぎることなく、画像のグラデーション部分に発生するバンディングや色むらを改善すること。
【解決手段】画像のノイズ量を示すノイズ評価値を算出し、該ノイズ評価値に基づいて画像のノイズ量の大小を判定するノイズ評価部８２と、ノイズ評価部８２でノイズ量大と判定された場合には、ノイズ評価部８２でノイズ量大と判定されないノイズ量となるまで、画像にノイズの一部を残して画像のノイズを低減する制御を行うＣＰＵ５０を備えた。
【選択図】図１

Description

本発明は、画像のノイズを制御する画像処理装置、撮像装置および画像処理方法に関する。

画像のノイズを制御する各種の技術が知られている。

特許文献１には、ＪＰＥＧ（Joint Photographic Experts Group）形式の原画像から圧縮率に応じた色復元画像を得ることを目的として、低圧縮率である場合には、原画像から高画質に復元生成した画像を選択する一方で、高圧縮率である場合には、原画像に標準的な補間処理を行った画像を選択する構成が開示されている。

特許文献２には、濃度むらを簡易な構成によって補正することを目的として、周期的なむらを原画像に付加する構成が開示されている。

特許文献３には、画質および画像表現の正確さを両立するハーフトーン処理技術を提供することを目的として、ハーフトーン処理を行う前に、原画像またはハーフトーン処理の閾値にノイズを付加する構成が開示されている。

特許文献４には、印刷時にインクジェットヘッドのノズルむらに起因するバンディングや色むらの発生を抑制する画像処理技術を提供することを目的として、ライトシアン、ライトマゼンタ、イエローなど視覚的に目立ち難い色の画素にノイズを付加する構成が開示されている。
特開平１１―２２０７５１号公報 特開２０００―２７２１０５号公報 特開２００１―５２１５７号公報 特開２００６―２２９８０９号公報

画像からノイズをきれいに除去すると、青空や夕焼け空などの空部分のように色が滑らかに連続して変化しているグラデーション部分において、縞状のバンディングや色むらが視覚的に目立ってしまうという課題がある。図２６は、ノイズがきれいに除去されたデジタル画像での画素位置と各画素のデータ値（画素値）との関係の一例と示す。データ値が緩やかに連続して変化しているグラデーション部分９０では、データ値が変化する境界の画素位置で視覚的に縞模様が視認されてしまう。このような問題は、特定条件の場合にのみ発生するので一般的には見過ごし易いが、高画質の画像を提供するためには重要な問題である。

特許文献１〜４には、ノイズを低減しすぎないようにして画像のグラデーション部分に発生するバンディングや色むらを改善することを目的とした技術について記載がない。詳細には、特許文献１には、原画像の圧縮率に応じて色復元画像を選択する技術が開示されているが、グラデーション部分のバンディングや色むらを改善する技術が開示されていない。また、特許文献２には、周期的なむらを付加する技術が開示されているが、ノイズの量を適当な量に調整する技術が開示されてない。特許文献３には、ハーフトーン処理を前提にランダムノイズを付加する技術が開示されているが、ハーフトーン処理を前提としない場合についても、ノイズの量を適当な量に調整する点についても、記載がない。特許文献４には、インクジェットヘッドのノズルのむらを補正する技術が開示されているが、グラデーション部分のバンディングや色むらの改善についても、ノイズの量を適当な量に調整する点についても記載がない。

本発明はこのような事情に鑑みてなされたもので、ノイズを低減しすぎることなく、画像のグラデーション部分に発生するバンディングや色むらを改善することができる画像処置装置、撮像装置およびその画像処理方法を提供することを目的とする。

前記目的を達成するために、請求項１に記載の発明は、画像を取得する画像取得手段と、前記画像のノイズ量を示すノイズ評価値を算出し、該ノイズ評価値に基づいて前記画像のノイズ量の大小を判定するノイズ評価手段と、前記ノイズ評価手段でノイズ量大と判定された場合には、前記ノイズ評価手段でノイズ量大と判定されないノイズ量となるまで、前記画像にノイズの一部を残して前記画像のノイズを低減する制御を行う制御手段とを備えたことを特徴とする画像処理装置を提供する。

この発明によれば、ノイズ評価手段でノイズ量大と判定された場合には、ノイズ評価手段でノイズ量大と判定されないノイズ量となるまで、画像にノイズの一部を残してその画像のノイズを低減するので、ノイズが低減しすぎることなく、画像のグラデーション部分に発生するバンディングや色むらを改善することができる。

請求項２に記載の発明は、請求項１に記載の発明において、前記制御手段は、前記ノイズ評価手段でノイズ量小と判定された場合には、前記ノイズ評価手段でノイズ量小と判定されないノイズ量となるまで、前記画像にランダムノイズを付加する制御を行うことを特徴とする画像処理装置を提供する。

この発明によれば、ノイズ量小と判定された場合には、ランダムノイズが付加されるので、画像のグラデーション部分に発生するバンディングや色むらが改善されることになる。

請求項３に記載の発明は、請求項２に記載の発明において、前記ノイズ評価手段は、ランダムノイズの低減の要否を判定するための第１の閾値およびランダムノイズの付加の要否を判定するための第２の閾値と前記ノイズ評価値とを比較し、前記制御手段は、前記ノイズ評価値が前記第１の閾値から前記第２の閾値までの目的範囲内である場合には、ランダムノイズの低減およびランダムノイズの付加を行わない一方で、前記ノイズ評価値が前記第１の閾値から前記第２の閾値までの目的範囲内にない場合には、前記画像のランダムノイズの量を調整して前記ノイズ評価値を前記第１の閾値から前記第２の閾値までの目的範囲内に設定することを特徴とする画像処理装置を提供する。

この発明によれば、ランダムノイズが適量である場合には、ランダムノイズの低減もランダムノイズの付加も行わず、ランダムノイズが適量でない場合のみ、ランダムノイズの量が適量となるまで調整されるので、画質をできる限り維持しつつ、グラデーション部分の改善を行うことができる。

請求項４に記載の発明は、請求項１ないし３のいずれか１項に記載の発明において、前記制御手段は、取得された前記画像から固定ノイズを除去した後、前記画像のランダムノイズの量を調整して前記ノイズ評価値を目的範囲内に設定することを特徴とする画像処理装置を提供する。

この発明によれば、疵に起因するノイズやインパルスノイズなどの固定ノイズが除去された後にランダムノイズの量が調整されるので、ランダムノイズの量が適切に調整される。

請求項５に記載の発明は、請求項１ないし４のいずれか１項に記載の発明において、前記制御手段は、グラデーション部分を有する画像が取得されたと判断した場合、または、空部分を有する画像が取得されたと判断した場合、または、広ダイナミックレンジで撮像された画像が取得された場合、または、ＪＰＥＧ形式の画像が取得された場合、または、最低感度以下で撮像された画像が取得された場合、前記画像のランダムノイズの量を調整して前記ノイズ評価値を目的範囲内に設定することを特徴とする画像処理装置を提供する。

グラデーション部分を有する画像では、グラデーション部分でのバンディングや色むらが目立ち易くなるが、これらのバンディングや色むらが改善される。また、空部分を有する画像では、空部分が一般にグラデーション部分となっているので、空部分でのバンディングや色むらが目立ち易くなるが、これらのバンディングや色むらが改善される。また、広ダイナミックレンジで撮像された画像では、ガンマ特性（撮像時の入射光量と電荷量との比）の傾きが小さい範囲内に多くの画素が存在することになるので、グラデーション部分でのバンディングや色むらが目立ち易くなるが、これらのバンディングや色むらが改善される。ＪＰＥＧ形式の画像や、最低感度で撮像された画像でも、グラデーション部分でのバンディングや色むらが目立ち易くなるが、これらが改善される。

請求項６に記載の発明は、請求項１ないし５のいずれか１項に記載の発明において、前記画像は色差信号および輝度信号によって構成されており、前記ノイズ評価手段は、前記色差信号に基づいて前記ノイズ評価値を算出し、前記制御手段は、前記色差信号に対してランダムノイズ量の調整を行って前記ノイズ評価値を目的範囲内に設定することを特徴とする画像処理装置を提供する。

この発明によれば、バンディングや色むらが目立ち易い色差に対してだけランダムノイズ量の調整が行われるので、ノイズ調整を最低限にして画質をできる限り維持しつつ、グラデーション部分の改善を図ることができる。

請求項７に記載の発明は、請求項６に記載の発明において、前記制御手段は、前記画像のグラデーション部分の色差に基づいて、赤の色差信号および青の色差信号のうちで少なくとも一方をランダムノイズ量の調整対象として選択することを特徴とする画像処理装置を提供する。

この発明によれば、グラデーション部分の色差に基づいて赤の色差信号および青の色差信号のうちで少なくとも一方がランダムノイズ量の調整対象として選択されるので、ランダムノイズ量の調整を最低限にして画質をできる限り維持しつつ、グラデーション部分の改善を図ることができる。

請求項８に記載の発明は、請求項６に記載の発明において、前記制御手段は、前記画像の空部分の色差に基づいて、赤の色差信号および青の色差信号のうちで少なくとも一方をランダムノイズ量の調整対象として選択することを特徴とする画像処理装置を提供する。

この発明によれば、空部分の色差に基づいて赤の色差信号および青の色差信号のうちで少なくとも一方がランダムノイズ量の調整対象として選択されるので、ランダムノイズ量の調整を最低限にして画質をできる限り維持しつつ、空部分の改善を図ることができる。

請求項９に記載の発明は、請求項１ないし８のいずれか１項に記載の発明において、前記ノイズ評価手段は、前記ノイズ評価値として、ノイズ分散、標準偏差およびＳ／Ｎのうち少なくともいずれかを算出することを特徴とする画像処理装置を提供する。

請求項１０に記載の発明は、請求項１ないし９のいずれか１項に記載の発明において、前記制御手段は、ランダムノイズの量を低減する場合、前記画像からランダムノイズを徐々に低減しながら前記ノイズ評価値を算出し、前記ノイズ評価値が目的範囲内となったときランダムノイズの低減を止めることを特徴とする画像処理装置を提供する。

請求項１１に記載の発明は、請求項１ないし１０のいずれか１項に記載の発明において、前記制御手段は、ランダムノイズを付加する場合、前記画像にランダムノイズを徐々に付加しながら前記ノイズ評価値を算出し、前記ノイズ評価値が目的の範囲内となったときランダムノイズの付加を止めることを特徴とする画像処理装置を提供する。

請求項１２に記載の発明は、請求項１ないし１１のいずれか１項に記載の画像処理装置を備え、撮像して得られた画像のノイズを調整することを特徴とする撮像装置を提供する。

請求項１３に記載の発明は、画像を取得する画像取得手段と、前記画像のノイズ量を示すノイズ評価値を算出し、該ノイズ評価値に基づいて前記画像のノイズ量の大小を判定するノイズ評価手段と、前記画像のノイズ量を調整する制御手段とを備えた画像処理装置における画像処理方法であって、前記ノイズ評価手段でノイズ量大と判定された場合には、前記ノイズ評価手段でノイズ量大と判定されないノイズ量となるまで、前記画像にノイズの一部を残して前記画像のノイズを低減することを特徴とする画像処理方法を提供する。

請求項１４に記載の発明は、請求項１３に記載に記載の発明において、前記ノイズ評価手段でノイズ量小と判定された場合には、前記ノイズ評価手段でノイズ量小と判定されないノイズ量となるまで、前記画像にランダムノイズを付加することを特徴とする画像処理方法を提供する。

請求項１５に記載の発明は、請求項１４に記載の発明において、ランダムノイズの低減の要否を判定するための第１の閾値およびランダムノイズの付加の要否を判定するための第２の閾値と前記ノイズ評価値とを比較し、前記ノイズ評価値が前記第１の閾値から前記第２の閾値までの目的範囲内である場合には、ランダムノイズの低減およびランダムノイズの付加を行わない一方で、前記ノイズ評価値が前記第１の閾値から前記第２の閾値までの目的範囲内にない場合には、前記画像のランダムノイズの量を調整して前記ノイズ評価値を前記第１の閾値から前記第２の閾値までの目的範囲内に設定することを特徴とする画像処理方法を提供する。

請求項１６に記載の発明は、請求項１３ないし１５のいずれか１項に記載の発明において、取得された前記画像から固定ノイズを除去した後、前記画像のランダムノイズの量を調整して前記ノイズ評価値を目的範囲内に設定することを特徴とする画像処理方法を提供する。

請求項１７に記載の発明は、請求項１３ないし１６のいずれか１項に記載の発明において、グラデーション部分を有する画像が取得されたと判断した場合、または、空部分を有する画像が取得されたと判断した場合、または、広ダイナミックレンジで撮像された画像が取得された場合、または、ＪＰＥＧ形式の画像が取得された場合、または、一定感度以下で撮像された画像が取得された場合、前記画像のランダムノイズの量を調整して前記ノイズ評価値を目的範囲内に設定することを特徴とする画像処理方法を提供する。

請求項１８に記載の発明は、請求項１３ないし１７のいずれか１項に記載の発明において、前記画像は色差信号および輝度信号によって構成されており、前記色差信号に基づいて前記ノイズ評価値を算出し、前記色差信号に対してランダムノイズ量の調整を行って前記ノイズ評価値を目的範囲内に設定することを特徴とする画像処理方法を提供する。

請求項１９に記載の発明は、請求項１８に記載の発明において、前記画像のグラデーション部分の色差に基づいて、赤の色差信号および青の色差信号のうちで少なくとも一方をランダムノイズ量の調整対象として選択することを特徴とする画像処理方法を提供する。

請求項２０に記載の発明は、請求項１８に記載の発明において、前記画像の空部分の色差に基づいて、赤の色差信号および青の色差信号のうちで少なくとも一方をランダムノイズ量の調整対象として選択することを特徴とする画像処理方法を提供する。

本発明によれば、ノイズを低減しすぎることなく、画像のグラデーション部分に発生するバンディングや色むらを改善することができる。

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

＜第１実施形態＞
図１は、第１実施形態の一例の撮像装置１０ａの全体構成を示すブロック図である。

図１において、撮像装置１０ａは、光学ユニット４１、モータ駆動部４２、ＣＣＤ（Charge Coupled Device）４３、タイミングジェネレータ４４、アナログ信号処理部４５、ＡＤ変換器４６、デジタル信号処理部４７、圧縮伸長処理回路４８、ＣＰＵ（Central Processing Unit）５０、充電器６１、フラッシュ６２、ＲＡＭ（Random Access Memory）６８、ＲＯＭ(Read Only Memory)６９、メモリインターフェース７０、外部メモリインターフェース７１、操作スイッチ７３、操作スイッチインターフェース７４、ＬＣＤ（Liquid Crystal Display）７５、および、ＬＣＤインターフェース７６を備える。

光学ユニット４１は、フォーカスレンズ、ズームレンズなどの光学レンズと、アイリス（絞り）を含んで構成されている。これらの光学レンズおよびアイリスは、モータ駆動部４２によって駆動される。

ＣＣＤ４３は、光学ユニット４１によって所定の面に結像される被写体像を、その光量に応じた量の信号電荷に変換し、タイミングジェネレータ４４から加えられるリードゲートパルスに従って、アナログのＲＧＢ画像信号として出力する。アナログのＲＧＢ画像信号は、画素ごとのＲ（赤）、Ｇ（緑）、Ｂ（青）各色の電圧信号からなる。アナログのＲＧＢ画像信号を、以下では単に「アナログの画像信号」ということもある。

ＣＣＤ４３から出力されたアナログのＲＧＢ画像信号は、アナログ信号処理部４５によって相関二重サンプリングや増幅などのアナログ信号処理が施された後、ＡＤ変換器４６に入力されてデジタルのＲＧＢ画像信号に変換される。デジタルのＲＧＢ画像信号は、アナログのＲＧＢ画像信号を量子化した信号であり、画素ごとのＲ、Ｇ、Ｂ各色のデジタル値（画素値）からなる。

ＡＤ変換器４６から出力されたデジタルのＲＧＢ画像信号は、デジタル信号処理部４７によって、ガンマ処理（階調変換）、ホワイトバランス調整、シャープネスなどのデジタル信号処理が施されるとともに、輝度信号（Ｙ信号）と色差信号（赤の色差信号Ｃｒ、および、青の色差信号Ｃｂ）からなるデジタルのＹＣ信号に変換される。

デジタルのＲＧＢ信号およびＹＣ信号を、いずれも「デジタルの画像信号」ということもある。

デジタル信号処理部４７から出力されたＹＣ信号は、メモリインターフェース７０を介してＲＡＭ６８に書き込まれるとともに、圧縮伸長処理回路７０によってＪＰＥＧ（Joint Photographic Experts Group）形式などの所定形式で圧縮された後に、外部メモリインターフェース７１を介してメモリカード７２に書き込まれる。

光学ユニット４１、モータ駆動部４２、ＣＣＤ４３、タイミングジェネレータ４４、アナログ信号処理部４５、ＡＤ変換器４６およびデジタル信号処理部４７を含んで撮像部４０が構成されている。

フラッシュ６２は、撮像時、充電部６１にて昇圧充電された電荷で必要に応じて発光する。

ＣＰＵ５０は、バス５１を介して、撮像装置１０の各部を統括制御する。ＲＡＭ６８は、画像の一時記憶に用いられるほか、ＣＰＵ５０の制御処理に用いられる。ＲＯＭ６９は、ＣＰＵ５０が実行するプログラム、および、そのプログラムの実行に用いる情報を記憶する。

操作スイッチ７３は、各種の指示入力に用いられる。操作スイッチ７３は、例えば、撮像装置１０の電源オンおよび電源オフを指示入力するための電源ボタン、各種のモード（静止画撮影モード、動画撮影モード、再生モードなど）を指示入力するためのモードスイッチ、撮像指示および撮像準備指示の入力に用いられるシャッターボタン、ズームの指示入力に用いられるズームキー、メニュー画面の表示指示に用いられるメニューボタン、項目選択に用いられる十字キーを含んで構成される。操作スイッチ７３に入力された指示は、操作スイッチインターフェース７４を介して、ＣＰＵ５０に伝達される。

ＬＣＤ７５は、画像表示、メニュー画面表示など、各種の表示を行う。表示データは、ＬＣＤインターフェース７６を介してＬＣＤ７５に入力される。

また、本撮像装置１０は、画像に含まれているノイズを低減する処理（ノイズリダクション）を行うノイズ低減部８１と、画像に含まれているノイズの量を示すノイズ評価値を算出し、このノイズ評価値に基づいて、ノイズ量の大小を判定するとともにノイズリダクションの要否の判定およびノイズリダクション結果の良否の判定を行うノイズ評価部８２を備える。ＣＰＵ５０は、ノイズ低減部８１およびノイズ評価部８２を用いて、ノイズ制御を行う。

本実施形態のＣＰＵ５０は、ノイズ評価部８２でノイズ量大と判定された場合には、原画像（デジタルの画像信号）にノイズの一部を残しながら、ノイズ評価部８２でノイズ量大と判定されないノイズ量となるまで、ノイズ低減部８１を用いてノイズを低減する制御を行う。

本例のノイズ低減部８１は、デジタル信号処理部４７から出力されるＹＣ信号に対してノイズ低減を行う場合を例に示しているが、このような場合に特に限定されず、ＡＤ変換器４６から出力されるデジタルのＲＧＢ信号に対してノイズ低減を行うようにしてもよい。また、デジタル信号処理部４７とは別にノイズ低減部８１を設けた場合を図示しているが、デジタル信号処理部４７の中にノイズ低減部８１を設けてもよい。デジタルのＲＧＢ信号に対してガンマ処理後にノイズリダクションを行うことが、好ましい。

図２は、第１実施形態に係る画像処理の一例の流れを示すフローチャートである。この画像処理は、図１のＣＰＵ５０によって所定のプログラムに従って実行される。

ステップＳ１０にて、原画像が取得される。本例では、図１の撮像部４０によって原画像としてのデジタルの画像信号が取得され、ＲＡＭ６８に一時的に書き込まれる。なお、撮像部４０によって原画像が取得される場合に特に限定されず、メモリカード７２から外部メモリインターフェース７１によって原画像を取得する場合にも本発明は適用可能である。

ステップＳ１１にて、ノイズ評価部８３は、原画像のノイズの量を示すノイズ評価値を算出し、ノイズ評価値を予め決められた閾値Ｘと比較することにより、ノイズ量の大小を判定する。本例では、ノイズ評価値としてＳ／Ｎを算出している。本例では、Ｓ／Ｎ＝２０＊Ｌｏｇ（２５５／σ）である。ここで、σは標準偏差である。標準偏差はノイズ分散の平方根である。「２５５」は本例での画素値の最大値である。Ｓ／Ｎは、その値が小さいほどノイズ量が大きく、その値が大きいほどノイズ量が小さいことを示す。標準偏差σおよびノイズ分散σ^２では、その値が小さいほどノイズ量が小さく、その値が大きいほどノイズ量が大きいことを示す。

本例では、図３に示すように、Ｓ／Ｎが閾値Ｘ未満である場合にはノイズ量大、すなわちノイズリダクションを行う（ＮＲオン）と判定し、Ｓ／Ｎが閾値Ｘ以上である場合にノイズ量小、すなわちノイズリダクションを行わない（ＮＲオフ）と判定する。閾値Ｘは、例えば５０［ｄＢ］である。

Ｓ／Ｎが閾値Ｘ未満である場合にはステップＳ１２に進み、Ｓ／Ｎが閾値Ｘ以上である場合にはステップＳ１４に進む。

ステップＳ１２にて、ノイズ低減部８１は、ランダムノイズの一部を残してランダムノイズを低減するＮＲ（ノイズリダクション）処理を行う。例えば、ローパスフィルタを用いたノイズリダクションや、画素間の相関を判別しながらノイズ低減を行う相関判別ノイズリダクションなどによって、ランダムノイズを低減する。これら以外の方法でランダムノイズを低減してもよい。

ステップＳ１３にて、ノイズ評価部８３は、ランダムノイズが低減された画像（処理画像）のノイズ量を示すノイズ評価値（Ｓ／Ｎ）を算出し、閾値Ｘと比較してノイズ量の大小を判定する。

Ｓ／Ｎが閾値Ｘ未満である場合（すなわちノイズ量大と判定した場合）にはステップＳ１２に戻り、Ｓ／Ｎが閾値Ｘ以上である場合（すなわちノイズ量小と判定された場合）にはステップＳ１４に進む。

ステップＳ１４にて、処理画像は、メモリカード７２に記録される。すなわち、ステップＳ１１でノイズ量小と判定された原画像、または、ステップＳ１２およびＳ１３でランダムノイズの一部を残してランダムノイズが低減された画像が、メモリカード７２に保存される。

本例では、ステップＳ１２において、ランダムノイズを画像から徐々に低減している。ローパスフィルタを用いる場合には、カットオフ周波数を徐々に下げていく。相関判別ノイズリダクションを用いる場合には、画素間の相関を求めてノイズとなっている画素（ノイズ画素）を判別し、そのノイズ画素を徐々に減らしてしていく。例えば、一部のノイズ画素について、その画素値を周囲画素の中心値（ラジアン）に設定する。

なお、ノイズ評価値を目的範囲内に簡易に設定するため、徐々にランダムノイズを低減する場合を例に説明したが、本発明はこのような場合に特に限定されず、ノイズ評価値（Ｓ／Ｎ）と閾値Ｘとの差分に基づいてランダムノイズの低減量を算出し、一回のランダムノイズ低減処理でノイズ評価値を目的範囲内（閾値Ｘ以上）に設定してもよい。

また、ノイズ評価値として、Ｓ／Ｎ値を用いた場合を例に説明したが、ノイズ評価値は特にＳ／Ｎ値に限定されず、標準偏差σあるいはノイズ分散σ^２を用いてもよい。

また、事前に撮像して得られた画像（例えばメモリカード７２に記録された画像）のノイズ評価値を求めて、その画像のノイズリダクションを行ってもよい。ノイズ評価値は、画像の一部から算出してもよい。

＜第２実施形態＞
前述の第１実施形態では、原画像にランダムノイズがある程度含まれているものとして必要に応じてランダムノイズの低減のみ行ったが、本実施形態では、ノイズ量が小と判定された場合にランダムノイズの付加を行う。

図４は、第２実施形態の一例の撮像装置１０ｂの全体構成を示すブロック図である。図４において、図１に示した第１実施形態の撮像装置１０ａの構成要素と同じ構成要素には、同じ符号を付してあり、既に説明した内容についてはその説明を省略する。

本実施形態の撮像装置１０ｂは、画像にランダムノイズを付加するノイズ付加部８３を備える。本実施形態のＣＰＵ５０は、ノイズ低減部８１、ノイズ評価部８２およびノイズ付加部８３を用いて、ノイズ制御を行う。

本実施形態のＣＰＵ５０は、ノイズ評価部８２でノイズ量大と判定された場合には、第１実施形態と同様に、ノイズ評価部８２でノイズ量大と判定されないノイズ量となるまで、ノイズ低減部８１を用いてノイズを低減する制御を行う。その一方で、ノイズ評価部８２でノイズ量小と判定された場合には、ノイズ評価部８２でノイズ量小と判定されないノイズ量となるまで、ノイズ付加部８３を用いてランダムノイズを付加する制御を行う。

図５は、第２実施形態に係る画像処理の一例の流れを示すフローチャートである。この画像処理は、ＣＰＵ５０によって所定のプログラムに従って実行される。

ステップＳ２０にて原画像が取得される。本例では、撮像部４０によって原画像としてのデジタルの画像信号が取得される。

ステップＳ２１にて、ノイズ評価部８３は、原画像のノイズ量を示すノイズ評価値を算出し、ノイズ評価値を予め決められた閾値と比較することにより、ノイズ量の大小を判定する。本例では、ノイズ評価値としてＳ／Ｎを算出し、そのＳ／Ｎが、第１の閾値Ｘ未満、第１の閾値Ｘ以上且つ第２の閾値Ｙ以下、および、第２の閾値Ｙより大のいずれであるかを判定し、分岐する。第１の閾値Ｘは、例えば５０［ｄＢ］である。第２の閾値Ｙは、例えば６０［ｄＢ］である。

本例では、図６に示すように、Ｓ／Ｎが第１の閾値Ｘ未満である場合には、ノイズ量大であってノイズリダクションを行う（ＮＲオン）と判定する。Ｓ／Ｎが第１の閾値Ｘから第２の閾値Ｙまでの目的範囲内である場合には、ノイズリダクションを行なわず（ＮＲオフ）、ランダムノイズ付加も行わないと判定する。Ｓ／Ｎが第２の閾値Ｙよりも大きい場合には、ノイズ量小であってノイズリダクションを行なわず（ＮＲオフ）、ランダムノイズ付加を行うと判定する。

Ｓ／Ｎが第１の閾値Ｘ未満である場合にはステップＳ２２に進み、Ｓ／Ｎが目的範囲内（Ｘ〜Ｙ）である場合にはステップＳ２６に進み、Ｓ／Ｎが第２の閾値Ｙよりも大きい場合にはステップＳ２４に進む。

ステップＳ２２およびＳ２３は、第１実施形態のステップＳ１２およびＳ１３と同様である。すなわち、ノイズ評価部８２でノイズ量大と判定されないノイズ量となるまで、ランダムノイズの一部を残してランダムノイズを低減する処理を行う。

ステップＳ２４にて、ノイズ付加部８３は、原画像にランダムノイズを付加する。

ステップＳ２５にて、ノイズ評価部８２は、ランダムノイズが付加された画像（処理画像）のノイズ量を示すノイズ評価値（Ｓ／Ｎ）を算出し、第２の閾値Ｙと比較する。

Ｓ／Ｎが第２の閾値Ｙよりも大きい場合（すなわちノイズ量小と判定した場合）にはステップＳ２４に戻り、Ｓ／Ｎが第２の閾値Ｙ以下である場合（すなわち目的範囲内と判定した場合）はステップ２６に進む。

ステップＳ２６にて、処理画像は、メモリカード７２に記録される。すなわち、ステップＳ２１でノイズ評価値が目的範囲内（Ｘ〜Ｙ）と判定された原画像、または、ステップＳ２２およびＳ２３でノイズ評価値が目的範囲内となるまでランダムノイズが低減された画像、または、ステップＳ２４およびＳ２５でノイズ評価値が目的範囲内となるまでランダムノイズが付加された画像がメモリカード７２に保存される。

本例では、ステップＳ２４において、ランダムノイズを徐々に付加している。例えば、「１」（ノイズ追加）の発生確率を１／１０として、「１」および「０」のいずれかを乱数として生成し、各画素に対して割り当てる。そしてノイズ評価値（Ｓ／Ｎ）を再び算出し、ノイズ量小（第２の閾値Ｙより大）と判定されたときには、再び乱数を生成して各画素に割り当てる。

なお、ノイズ評価値を目的範囲内に簡易に設定するため、徐々にランダムノイズを追加する場合を例に説明したが、本発明はこのような場合に特に限定されず、ノイズ評価値（Ｓ／Ｎ）と第２の閾値Ｙとの差分に基づいてランダムノイズの付加量を算出し、一回のランダムノイズ付加処理でノイズ評価値を目的範囲内（Ｘ〜Ｙ）に設定してもよい。例えば、前記差分に基づいて、ノイズ追加を示す乱数（例えば「１」）の発生確率を算出する。

＜第３実施形態＞
前述の第１実施形態および第２実施形態では、固定ノイズの発生が希少であるか、あるいは、原画像から既に固定ノイズが除去されているものとして、固定ノイズの除去を行なわない場合を説明したが、本実施形態では、原画像から固定ノイズを除去した後にランダムノイズ量を調整する。

図７は、第３実施形態の一例の撮像装置１０ｃの全体構成を示すブロック図である。図７において、図２に示した第２実施形態の撮像装置１０ｂの構成要素と同じ構成要素には、同じ符号を付してあり、既に説明した内容についてはその説明を省略する。

本実施形態の撮像装置１０ｃは、画像に固定ノイズが有るか否かを判定する固定ノイズ判定部８４を備える。また、本実施形態のノイズ低減部８１０は、画像から固定ノイズを除去する固定ノイズ除去部８１１と、画像のランダムノイズを低減するランダムノイズ低減部８１２（図４のノイズ低減部８１に相当する）とによって構成されている。本実施形態のＣＰＵ５０は、ノイズ低減部８１０、ノイズ評価部８２、ノイズ付加部８３および固定ノイズ判定部８４を用いて、ノイズ制御を行う。

図８は、第３実施形態に係る画像処理の一例の流れを示すフローチャートである。

ステップＳ３０にて原画像が取得される。本例では、撮像部４０によって原画像としてのデジタルの画像信号が取得される。

ステップＳ３１にて、固定ノイズ判定部８４は、原画像に固定ノイズが有るか否かを判定する。

固定ノイズが有ると判定された場合にはステップＳ３２に進み、固定ノイズが無いと判定された場合にはステップＳ３３に進む。

ステップＳ３２にて、固定ノイズ除去部８１１は、原画像から固定ノイズを除去する。例えば、メディアンフィルタ、クラスタリング疵補正などによって、固定ノイズを除去する。

ステップＳ３３〜Ｓ３９は、第２実施形態のステップＳ２１〜Ｓ２６と同様である。

＜第４実施形態＞
図９は、第４実施形態の一例の撮像装置１０ｄの全体構成を示すブロック図である。図９において、図４に示した第２実施形態の撮像装置１０ｂの構成要素と同じ構成要素には、同じ符号を付してあり、第１実施形態および第２実施形態において既に説明した内容についてはその説明を省略する。

本実施形態の撮像装置１０ｄは、撮像部４０で取得された原画像が広ダイナミックレンジで撮像された画像か否かを判定する広Ｄレンジ検出部８５を備える。外部メモリインターフェース７１によってメモリカード７２から取得された画像の判定を行ってもよい。

本例では、デジタル信号処理部４７が、ＡＤ変換器４６から出力されるデジタルのＲＧＢ画像信号に基づいて被写体の明るさ（ＥＶ値）を検出し、広ダイナミックレンジで撮像するか、通常のダイナミックレンジで撮像するかを切り換える。

広Ｄレンジ検出部８５は、デジタル信号処理部４７が広ダイナミックレンジの原画像を出力したか否かを検出する。操作スイッチ７３によって広ダイナミックレンジモードの設定操作がされたか否かに基づいて、広ダイナミックレンジの原画像であるか否かを検出するようにしてもよい。また、原画像の画素値に基づいて、広ダイナミックレンジの原画像であるか否かを検出するようにしてもよい。

図１０は、第４実施形態に係る画像処理の一例の流れを示すフローチャートある。この画像処理は、ＣＰＵ５０によって所定のプログラムに従って実行される。

ステップＳ４０にて原画像が取得される。本例では、撮像部４０によって原画像としてのデジタルの画像信号が取得される。

ステップＳ４１にて、広Ｄレンジ検出部８５は、取得された原画像が広ダイナミックレンジで撮像された画像であるか否かを判定する。

広ダイナミックレンジで撮像された画像である場合にはステップＳ４２に進み、そうでない場合（すなわち通常のダイナミックレンジで撮像された原画像である場合）にはステップＳ４７に進む。

図１１に一例としてのガンマ特性４０１を示す。ガンマ特性４０１は、被写体の明るさに対応するＣＣＤ４３の各画素への入射光量と、ＣＣＤ４３の各画素に蓄積される電荷量（またはＣＣＤ４３から出力されるアナログのＲＧＢ画像信号の電圧）との比である。広ダイナミックレンジで撮像された原画像では、一般に、ガンマ特性４０１の傾きが小さい領域４０２に対応する画素の数が多くなってくる。すなわち、原画像の全画素のうちで、図１１の基準値Ｖｔｈよりも大きな値を有する画素の占める割合が、多くなってくる。このような広ダイナミックレンジの原画像では、グラデーション部分でのバンディングや色むらが目立ち易くなる。そこで、原画像が広ダイナミックレンジで撮像された画像である場合には、ノイズ評価値が目的範囲内（第１の閾値Ｘ〜第２の閾値Ｙ）となるまでランダムノイズの調整（ステップＳ４２〜Ｓ４６）を行う。ステップＳ４２〜Ｓ４６は、第２実施形態のステップＳ２１〜Ｓ２５と同じであり、ここではその説明を省略する。

通常の原画像である場合には、標準のノイズリダクションを行う（ステップＳ４７）。すなわち、ランダムノイズの調整（ステップＳ４２〜Ｓ４６）は行わない。標準のノイズリダクションでは、例えばランダムノイズを残さないで除去する処理を行う。

ステップＳ４８にて、処理画像は、メモリカード７２に記録される。

＜第５実施形態＞
図１２は、第５実施形態の一例の撮像装置１０ｅの全体構成を示すブロック図である。図１２において、図４に示した第２実施形態の撮像装置１０ｂの構成要素と同じ構成要素には、同じ符号を付してあり、第１実施形態および第２実施形態において既に説明した内容についてはその説明を省略する。

本実施形態の撮像装置１０ｅは、原画像がＪＰＥＧ（Joint Photographic Experts Group）形式の画像であるか否かを判定するＪＰＥＧ判定部８６を備えている。

撮像部４０で撮像して得られた原画像は、圧縮伸長処理回路４８によってＪＰＥＧ形式に圧縮してメモリカード７２に記録される場合と、圧縮されないでＲＡＷデータとしてメモリカード７２に記録される場合がある。また、メモリカード７２にはＪＰＥＧ形式以外の形式で圧縮された画像が記録されている場合がある。ＪＰＥＧ判定部８６は、画像がメモリカード７２から取得されたとき、その画像がＪＰＥＧ形式で圧縮されていたか否かを判定する。圧縮されていた画像は、圧縮伸長回路４８によって伸長された後、ＬＣＤ７５に表示される。

図１３は、第５実施形態に係る画像処理の一例の流れを示すフローチャートある。この画像処理は、ＣＰＵ５０によって所定のプログラムに従って実行される。

ステップＳ５０にて原画像が取得される。本例では、外部メモリインターフェース７１によってメモリカード７２から原画像が取得される。

ステップＳ５１にて、ＪＰＥＧ判定部８６は、取得された原画像がＪＰＥＧ形式の画像であるか否かを判定する。例えば、メモリカード７２には原画像がファイルとして記録されているので、ファイル名の拡張子などに基づいて、ＪＰＥＧ形式の画像であるか否かを判定する。

ＪＰＥＧ形式の画像である場合にはステップＳ５２に進み、そうでない場合（圧縮されていない画像である場合や、ＪＰＥＧ形式以外の形式で圧縮されている場合）には、ステップＳ５７に進む。

ＪＰＥＧ形式の画像では、バンディングや色むらが目立ち易くなる。そこで、原画像がＪＰＥＧ形式の画像である場合には、ノイズ評価値が目的範囲内となるまでランダムノイズの調整（ステップＳ５２〜Ｓ５６）を行う。ステップＳ５２〜Ｓ５６は、第２実施形態のステップＳ２１〜Ｓ２５と同じであり、ここではその説明を省略する。

ＪＰＥＧ形式の画像でない場合には、標準のノイズリダクションを行う（ステップＳ５７）。すなわち、ランダムノイズの調整（ステップＳ５２〜Ｓ５６）は行わない。標準のノイズリダクションでは、例えばランダムノイズを残さないで除去する処理を行う。

ステップＳ５８にて、処理画像は、メモリカード７２に記録される。

＜第６実施形態＞
図１４は、第６実施形態の一例の撮像装置１０ｆの全体構成を示すブロック図である。図１４において、図４に示した第２実施形態の撮像装置１０ｂの構成要素と同じ構成要素には、同じ符号を付してあり、第１実施形態および第２実施形態において既に説明した内容についてはその説明を省略する。

本実施形態の撮像装置１０ｆは、撮像部４０で取得された原画像にグラデーション部分が有るか否かを判定するグラデーション判定部８７を備える。外部メモリインターフェース７１によってメモリカード７２から取得された画像について判定してもよい。

図１５は、第６実施形態に係る画像処理の一例の流れを示すフローチャートである。この画像処理は、ＣＰＵ５０によって所定のプログラムに従って実行される。

ステップＳ６０にて原画像が取得される。本例では、撮像部４０によって原画像としてのデジタルの画像信号が取得される。

ステップＳ６１にて、グラデーション判定部８７は、取得された原画像にグラデーション部分が有るか否かを判定する。

例えば、色差信号（Ｃｒ，Ｃｂ）が滑らかに連続して変化している部分の有無、および、その連続変化部分の面積に基づいて、グラデーション部分の有無を判定する。詳細には、色差信号の微分値が一定範囲内である連続変化部分の面積と、画像全体の面積との比（面積比）が基準値を超える場合には、その連続変化部分がグラデーション部分であると判定する。

グラデーション部分が有ると判定された場合にはステップＳ６２に進み、グラデーション部分が無いと判定された場合にはステップＳ６７に進む。

グラデーション部分が有る画像では、そのグラデーション部分でのバンディングや色むらが目立ち易くなる。そこで、グラデーション部分が有る原画像の場合には、ノイズ評価値が目的範囲内となるまでランダムノイズの調整（ステップＳ６２〜Ｓ６６）を行う。ステップＳ６２〜Ｓ６６は、第２実施形態のステップＳ２１〜Ｓ２５と同じであり、ここではその説明を省略する。

グラデーション部分が無い画像である場合には、標準のノイズリダクションを行う（ステップＳ６７）。すなわち、ランダムノイズの調整（ステップＳ６２〜Ｓ６６）は行わない。標準のノイズリダクションでは、例えばランダムノイズを残さないで除去する処理を行う。

ステップＳ６８にて、処理画像は、メモリカード７２に記録される。

＜第７実施形態＞
図１６は、第７実施形態の一例の撮像装置１０ｇの全体構成を示すブロック図である。図１６において、図４に示した第２実施形態の撮像装置１０ｂの構成要素と同じ構成要素には、同じ符号を付してあり、第１実施形態および第２実施形態において既に説明した内容についてはその説明を省略する。

本実施形態の撮像装置１０ｇは、撮像部４０で取得された原画像に空部分が有るか否かを判定する空判定部８８を備える。外部メモリインターフェース７１によってメモリカード７２から取得された画像について判定してもよい。

図１７は、第６実施形態に係る画像処理の一例の流れを示すフローチャートである。この画像処理は、ＣＰＵ５０によって所定のプログラムに従って実行される。

ステップＳ７０にて原画像が取得される。本例では、撮像部４０によって原画像としてのデジタルの画像信号が取得される。

ステップＳ７１にて、空判定部８８は、取得された原画像に青空や夕焼け空などの空部分が有るか否かを判定する。

例えば、色差信号（Ｃｒ，Ｃｂ）に基づいて、空の色の範囲内の部分（特定色部分）の面積と、画像全体の面積との比が基準値を超えるか否か判定し、基準値を超える場合には、その特定色部分が空部分であると判定する。例えば、青を含む青近傍の範囲内の色差である場合には青空部分であると判定し、赤を含む赤近傍の範囲内の色差である場合には夕焼け空部分であると判定する。操作スイッチ７３で空撮影用モードが設定された状態で撮像した画像か否かに基づいて判定してもよい。

空部分が有ると判定された場合にはステップＳ７２に進む一方で、空部分が無いと判定された場合にはステップＳ７７に進む。

空部分が有る画像では、その空部分でのバンディングや色むらが目立ち易くなる。そこで、空部分が有る原画像の場合には、ノイズ評価値が目的範囲内となるまでランダムノイズの調整（ステップＳ７２〜Ｓ７６）を行う。ステップＳ７２〜Ｓ７６は、第２実施形態のステップＳ２１〜Ｓ２５と同じであり、ここではその説明を省略する。

空部分が無い画像である場合には、標準のノイズリダクションを行う（ステップＳ７７）。すなわち、ランダムノイズの調整（ステップＳ７２〜Ｓ７６）は行わない。標準のノイズリダクションでは、例えばランダムノイズを残さないで除去する処理を行う。

ステップＳ７８にて、処理画像は、メモリカード７２に記録される。

＜第８実施形態＞
図１８は、第８実施形態の一例の撮像装置１０ｈの全体構成を示すブロック図である。図１８において、図４に示した第２実施形態の撮像装置１０ｂの構成要素と同じ構成要素には、同じ符号を付してあり、第１実施形態および第２実施形態において既に説明した内容についてはその説明を省略する。

本実施形態の撮像装置１０ｈは、撮像部４０で取得された原画像が最低感度で撮像された画像であるか否かを判定する感度判定部８９を備える。外部メモリインターフェース７１によってメモリカード７２から取得された画像について判定してもよい。

本例の撮像装置１０ｈでは、アナログ信号処理部４５での増幅時のゲインを調整することにより、撮像部４０から出力される画像の感度が決まる。

図１９は、第８実施形態に係る画像処理の一例の流れを示すフローチャートである。この画像処理は、ＣＰＵ５０によって所定のプログラムに従って実行される。

ステップＳ８０にて原画像が取得される。本例では、撮像部４０によって原画像としてのデジタルの画像信号が取得される。

ステップＳ８１にて、感度判定部８９は、取得された原画像が最低感度で撮像された画像か否かを判定する。例えば、操作スイッチ７３で最低感度が設定された状態で撮像した画像か否かを判定する。

最低感度で撮像された画像である場合にはステップＳ８２に進み、最低感度でない場合には、ステップＳ８７に進む。

最低感度であると、グラデーション部分でのバンディングや色むらが目立ち易くなる。そこで、原画像が低感度で撮像された画像である場合には、ノイズ評価値が目的範囲内となるまでランダムノイズの調整（ステップＳ８２〜Ｓ８６）を行う。ステップＳ８２〜Ｓ８６は、第２実施形態のステップＳ２１〜Ｓ２５と同じであり、ここではその説明を省略する。

最低感度でない場合には、標準のノイズリダクションを行う（ステップＳ８７）。すなわち、ランダムノイズの調整（ステップＳ８２〜Ｓ８６）は行わない。標準のノイズリダクションでは、例えばランダムノイズを残さないで除去する処理を行う。

ステップＳ８８にて、処理画像は、メモリカード７２に記録される。

＜第９実施形態＞
図２０は、第９実施形態の一例の撮像装置１０ｉの一例の全体構成を示すブロック図である。図２０において、図４に示した第２実施形態の撮像装置１０ｂの構成要素と同じ構成要素には、同じ符号を付してあり、第１実施形態および第２実施形態において既に説明した内容についてはその説明を省略する。

本実施形態の撮像装置１０ｉは、色差信号（Ｃｒ，Ｃｂ）に基づいてノイズ評価値を算出する色差ノイズ評価部１８２と、色差信号（Ｃｒ，Ｃｂ）に対してランダムノイズ量の調整を行う色差ノイズ低減部１８１および色差ノイズ付加部１８３と、標準のノイズ低減処理を行う標準ノイズ低減部１８４とを備える。

色差ノイズ低減部１８１は、色差信号からランダムノイズを低減する。例えば、ローパスフィルタによって構成されている。

色差ノイズ付加部１８３は、色差信号に対してランダムノイズを付加する。

標準ノイズ低減部１８４は、輝度信号からノイズを除去する。例えば、相関判別ノイズリダクションによって構成されている。

図２１は、第９実施形態に係る画像処理の一例の流れを示すフローチャートである。この画像処理は、ＣＰＵ５０によって所定のプログラムに従って実行される。

ステップＳ９０にて、原画像が取得される。本例では、撮像部４０によって原画像としてのデジタルの画像信号が取得される。

ステップＳ９１にて、原画像は輝度信号と色差信号とに分解される。なお、原画像がＹＣ信号でない場合にはＹＣ信号に変換した後に分岐する。

色差信号に対してはステップＳ９２〜Ｓ９６までの処理を行い、輝度信号に対してはステップＳ９７の処理を行う。

ステップＳ９２にて、色差ノイズ評価部１８２は、色差信号に基づいて原画像のＳ／Ｎをノイズ評価値として算出し、そのＳ／Ｎを予め決められた閾値と比較することにより、ノイズ量の大小を判定する。本例では、Ｓ／Ｎが、第１の閾値Ｘ未満、第１の閾値Ｘ以上且つ第２の閾値Ｙ以下、および、第２の閾値Ｙより大のいずれであるかを判定し、分岐する。第１の閾値Ｘは、例えば５０［ｄＢ］である。第２の閾値Ｙは、第１の閾値Ｘよりも大きく、例えば６０［ｄＢ］である。

Ｓ／Ｎが第１の閾値Ｘ未満である場合（ノイズ量大の場合）にはステップＳ９３に進み、Ｓ／Ｎが目的範囲内（Ｘ〜Ｙ）である場合にはステップＳ９８に進み、Ｓ／Ｎが第２の閾値Ｙよりも大きい場合（ノイズ量小の場合）にはステップＳ９５に進む。

ステップＳ９３にて、色差ノイズ低減部１８１は、色差信号に対して、ランダムノイズの一部を残しつつランダムノイズを低減するＮＲ（ノイズリダクション）処理を行う。ステップＳ９４にて、色差ノイズ評価部１８２は、ＮＲ処理された画像のＳ／Ｎ(ノイズ評価値)を色差信号に基づいて算出し、そのＳ／Ｎが第１の閾値Ｘ未満か否かを判定する。第１の閾値Ｘ未満（ノイズ量大）である場合にはステップＳ９３に戻り、第１の閾値Ｘ以上である場合にはステップＳ９８に進む。すなわち、色差ノイズ評価部１８２でノイズ量大と判定されないノイズ量となるまで、ランダムノイズの一部を残してランダムノイズを低減する。

ステップＳ９５にて、色差ノイズ付加部１８３は、色差信号に対して、ランダムノイズを付加する。ステップＳ９６にて、色差ノイズ評価部１８２は、ランダムノイズが付加された画像のＳ／Ｎ(ノイズ評価値)を色差信号に基づいて算出し、そのＳ／Ｎが第２の閾値Ｙより大きいか否かを判定する。第２の閾値Ｙよりも大きい場合（ノイズ量小である場合）にはステップＳ９５に戻り、第２の閾値Ｙ以下である場合はステップＳ９８に進む。すなわち、色差ノイズ評価部１８２でノイズ量小と判定されないノイズ量となるまで、ランダムノイズを付加する。

ステップＳ９７にて、標準ノイズ低減部１８１は、輝度信号に対して標準のノイズリダクション処理を行う。標準のノイズリダクションでは、例えばランダムノイズを残さないで除去する処理を行う。

ステップＳ９８にて、輝度信号と色差信号とを合成する。なお、原画像の形式がＹＣ信号でなかった場合には元の形式に変換する。

ステップＳ９９にて、処理画像は、メモリカード７２に記録される。

＜第１０実施形態＞
図２２は、第１０実施形態の一例の撮像装置１０ｊの全体構成を示すブロック図である。図２２において、図２０に示した第９実施形態の撮像装置１０ｉの構成要素と同じ構成要素には、同じ符号を付してあり、既に説明した内容についてはその説明を省略する。

本実施形態の撮像装置１０ｊは、画像のグラデーション部分の色差に基づいて、赤の色差信号Ｃｒおよび青の色差信号Ｃｂからランダムノイズ量の調整対象を選択する色判定部１８５を備える。具体的には、色差信号によって示されるグラデーション部分の色が何色であるかを判定し、青を含む青近傍の色の範囲内である場合には、赤の色差信号Ｃｒを選択する一方で、赤を含む赤近傍の色の範囲内である場合には、青の色差信号Ｃｂを選択する。

図２３は、第１０実施形態に係る画像処理の一例の流れを示すフローチャートである。この画像処理は、ＣＰＵ５０によって所定のプログラムに従って実行される。

ステップＳ１００にて、原画像が取得される。本例では、撮像部４０によって原画像としてのデジタルの画像信号が取得される。

ステップＳ１０１にて、グラデーション判定部８７は、取得された原画像にグラデーション部分が有るか否かを判定する。本ステップは、第６実施形態のステップＳ６１と同じであり、詳細な説明は省略する。

グラデーション部分が有る場合にはステップＳ１０２に進み、グラデーション部分が無い場合にはステップＳ１１１に進む。

ステップＳ１０２にて、原画像が輝度信号と色差信号とに分解される。色差信号に対してはステップＳ１０３〜Ｓ１０８の処理を行い、輝度信号に対してはステップＳ１０９の処理を行う。

ステップＳ１０３にて、色差信号に基づいてグラデーション部分の色が何色であるかを判定し、青を含む青近傍の色の範囲内である場合には、赤の色差信号Ｃｒを選択する一方で、赤を含む赤近傍の色の範囲内である場合には、青の色差信号Ｃｂを選択する。

ステップＳ１０４にて、色差ノイズ評価部１８２は、色差信号に基づいて原画像のＳ／Ｎ（ノイズ評価値）を算出して閾値と比較する。第１の閾値Ｘは、例えば５０［ｄＢ］である。第２の閾値Ｙは、例えば６０［ｄＢ］である。

Ｓ／Ｎが第１の閾値Ｘ未満である場合（ノイズ量大の場合）にはステップＳ１０５に進み、Ｓ／Ｎが目的範囲内（Ｘ〜Ｙ）である場合にはステップＳ１１０に進み、Ｓ／Ｎが第２の閾値Ｙよりも大きい場合（ノイズ量小の場合）にはステップＳ１０７に進む。

ステップＳ１０５にて、色差ノイズ低減部１８１は、ステップＳ１０３で選択された色差信号に対して、ランダムノイズの一部を残しつつランダムノイズを低減するＮＲ処理を行う。ステップＳ１０６にて、色差ノイズ評価部１８２は、ＮＲ処理された画像のＳ／Ｎ(ノイズ評価値)を色差信号に基づいて算出し、そのＳ／Ｎが第１の閾値Ｘ未満か否かを判定する。第１の閾値Ｘ未満（ノイズ量大）である場合にはステップＳ１０５に戻り、第１の閾値Ｘ以上である場合にはステップＳ１１０に進む。すなわち、色差ノイズ評価部１８２でノイズ量大と判定されないノイズ量となるまで、ランダムノイズの一部を残してランダムノイズを低減する。

ステップＳ１０７にて、色差ノイズ付加部１８３は、ステップＳ１０３で選択された色差信号に対して、ランダムノイズを付加する。ステップＳ１０８にて、色差ノイズ評価部１８２は、ランダムノイズが付加された画像のＳ／Ｎ(ノイズ評価値)を色差信号に基づいて算出し、そのＳ／Ｎが第２の閾値Ｙより大きいか否かを判定する。第２の閾値Ｙよりも大きい場合（ノイズ量小である場合）にはステップＳ１０７に戻り、第２の閾値Ｙ以下である場合はステップＳ１１０に進む。すなわち、色差ノイズ評価部１８２でノイズ量小と判定されないノイズ量となるまで、ランダムノイズを付加する。

ステップＳ１０９は、第９実施形態のステップＳ９７と同様である。

ステップＳ１１０にて、輝度信号と色差信号とを合成する。

グラデーション部分が無い場合、ステップＳ１１１にて、標準ノイズ低減部１８１は、輝度信号および色差信号に対して標準のノイズリダクション処理を行う。標準のノイズリダクションでは、例えばランダムノイズを残さないで除去する処理を行う。

ステップＳ１１２にて、処理画像は、メモリカード７２に記録される。

＜第１１実施形態＞
図２４は、第１１実施形態の一例の撮像装置１０ｋの全体構成を示すブロック図である。図２４において、図２０に示した第９実施形態の撮像装置１０ｉの構成要素と同じ構成要素には、同じ符号を付してあり、既に説明した内容についてはその説明を省略する。

本実施形態の撮像装置１０ｋは、画像の空部分の色差に基づいて、赤の色差信号Ｃｒおよび青の色差信号Ｃｂからランダムノイズ量の調整対象を選択する色判定部１８５を備える。具体的には、空部分の色が何色であるかを判定し、青を含む青近傍の範囲内の色である場合には、赤の色差信号Ｃｒを選択する一方で、赤を含む赤近傍の範囲内の色である場合には、青の色差信号Ｃｂを選択する。

図２５は、第１１実施形態に係る画像処理の一例の流れを示すフローチャートである。この画像処理は、ＣＰＵ５０によって所定のプログラムに従って実行される。

ステップＳ１２０にて、原画像が取得される。本例では、撮像部４０によって原画像としてのデジタルの画像信号が取得される。

ステップＳ１２１にて、空判定部８８は、取得された原画像に空部分が有るか否かを判定する。本ステップは、第７実施形態のステップＳ７１と同じであり、詳細な説明は省略する。

空部分が有る場合にはステップＳ１２２に進み、空部分が無い場合にはステップＳ１３１に進む。

ステップＳ１２２にて、原画像が輝度信号と色差信号とに分解される。色差信号に対してはステップＳ１２３〜Ｓ１２８の処理を行い、輝度信号に対してはステップＳ１２９の処理を行う。

ステップＳ１２３にて、色差信号に基づいて空部分の色が何色であるかを判定し、青を含む青近傍の範囲内である場合には、赤の色差信号Ｃｒを選択する一方で、赤を含む赤近傍の範囲内である場合には、青の色差信号Ｃｂを選択する。

ステップＳ１２４〜Ｓ１３１は、第１０実施形態のステップＳ１０４〜Ｓ１１１と同様である。

ステップＳ１３２にて、処理画像は、メモリカード７２に記録される。

なお、本発明の理解を容易にするために第１実施形態から第１１実施形態まで分けて説明したが、これらの実施形態のうちでいずれかを単独で実施する場合に本発明は限定されず、複数の実施形態を組み合わせて本発明を実施してよいことは、もちろんである。

例えば、第４実施形態から第１１実施形態において、第３実施形態で説明したように固定ノイズ判定部８４および固定ノイズ除去部８１１を設けて、固定ノイズの判定および除去を行った後に、ランダムノイズの調整を行うようにしてもよい。

なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

第１実施形態に係る撮像装置の一例のブロック図 第１実施形態に係る画像処理の一例のフローチャート 第１実施形態におけるノイズ評価値および閾値の説明に用いる説明図 第２実施形態に係る撮像装置の一例のブロック図 第２実施形態に係る画像処理の一例のフローチャート 第２実施形態におけるノイズ評価値および閾値の説明に用いる説明図 第３実施形態に係る撮像装置の一例のブロック図 第３実施形態に係る画像処理の一例のフローチャート 第４実施形態に係る撮像装置の一例のブロック図 第４実施形態に係る画像処理の一例のフローチャート ガンマ特性の一例を示す説明図 第５実施形態に係る撮像装置の一例のブロック図 第５実施形態に係る画像処理の一例のフローチャート 第６実施形態に係る撮像装置の一例のブロック図 第６実施形態に係る画像処理の一例のフローチャート 第７実施形態に係る撮像装置の一例のブロック図 第７実施形態に係る画像処理の一例のフローチャート 第８実施形態に係る撮像装置の一例のブロック図 第８実施形態に係る画像処理の一例のフローチャート 第９実施形態に係る撮像装置の一例のブロック図 第９実施形態に係る画像処理の一例のフローチャート 第１０実施形態に係る撮像装置の一例のブロック図 第１０実施形態に係る画像処理の一例のフローチャート 第１１実施形態に係る撮像装置の一例のブロック図 第１１実施形態に係る画像処理の一例のフローチャート グラデーション部分の説明に用いる説明図

符号の説明

４１…光学ユニット、４３…ＣＣＤ、４５…アナログ信号処理部、４６…ＡＤ変換器、４７…デジタル信号処理部、４８…圧縮伸長処理回路、５０…ＣＰＵ、６８…ＲＡＭ、６９…ＲＯＭ、７１…外部メモリインターフェース、７２…メモリカード、７３…操作スイッチ、７５…ＬＣＤ、８１，８１０…ノイズ低減部、８２…ノイズ評価部、８３…ノイズ付加部、８４…固定ノイズ判定部、８５…広ダイナミックレンジ検出部、８６…ＪＰＥＧ判定部、８７…グラデーション判定部、８８…空判定部、８９…感度判定部、１８１…色差ノイズ低減部、１８２…色差ノイズ評価部、１８３…色差ノイズ付加部、１８４…標準ノイズ低減部、１８５…色判定部

Claims (20)

1. 画像を取得する画像取得手段と、
   前記画像のノイズ量を示すノイズ評価値を算出し、該ノイズ評価値に基づいて前記画像のノイズ量の大小を判定するノイズ評価手段と、
   前記ノイズ評価手段でノイズ量大と判定された場合には、前記ノイズ評価手段でノイズ量大と判定されないノイズ量となるまで、前記画像にノイズの一部を残して前記画像のノイズを低減する制御を行う制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記制御手段は、前記ノイズ評価手段でノイズ量小と判定された場合には、前記ノイズ評価手段でノイズ量小と判定されないノイズ量となるまで、前記画像にランダムノイズを付加する制御を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズ評価手段は、ランダムノイズの低減の要否を判定するための第１の閾値およびランダムノイズの付加の要否を判定するための第２の閾値と前記ノイズ評価値とを比較し、
   前記制御手段は、前記ノイズ評価値が前記第１の閾値から前記第２の閾値までの目的範囲内である場合には、ランダムノイズの低減およびランダムノイズの付加を行わない一方で、前記ノイズ評価値が前記第１の閾値から前記第２の閾値までの目的範囲内にない場合には、前記画像のランダムノイズの量を調整して前記ノイズ評価値を前記第１の閾値から前記第２の閾値までの目的範囲内に設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、取得された前記画像から固定ノイズを除去した後、前記画像のランダムノイズの量を調整して前記ノイズ評価値を目的範囲内に設定することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、グラデーション部分を有する画像が取得されたと判断した場合、または、空部分を有する画像が取得されたと判断した場合、または、広ダイナミックレンジで撮像された画像が取得された場合、または、ＪＰＥＧ形式の画像が取得された場合、または、最低感度で撮像された画像が取得された場合、前記画像のランダムノイズの量を調整して前記ノイズ評価値を目的範囲内に設定することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記画像は色差信号および輝度信号によって構成されており、
   前記ノイズ評価手段は、前記色差信号に基づいて前記ノイズ評価値を算出し、
   前記制御手段は、前記色差信号に対してランダムノイズ量の調整を行って前記ノイズ評価値を目的範囲内に設定することを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、前記画像のグラデーション部分の色差に基づいて、赤の色差信号および青の色差信号のうちで少なくとも一方をランダムノイズ量の調整対象として選択することを特徴とする請求項６に記載の画像処理装置。
8. 前記制御手段は、前記画像の空部分の色差に基づいて、赤の色差信号および青の色差信号のうちで少なくとも一方をランダムノイズ量の調整対象として選択することを特徴とする請求項６に記載の画像処理装置。
9. 前記ノイズ評価手段は、前記ノイズ評価値として、ノイズ分散、標準偏差およびＳ／Ｎのうち少なくともいずれかを算出することを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
10. 前記制御手段は、ランダムノイズの量を低減する場合、前記画像からランダムノイズを徐々に低減しながら前記ノイズ評価値を算出し、前記ノイズ評価値が目的範囲内となったときランダムノイズの低減を止めることを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
11. 前記制御手段は、ランダムノイズを付加する場合、前記画像にランダムノイズを徐々に付加しながら前記ノイズ評価値を算出し、前記ノイズ評価値が目的の範囲内となったときランダムノイズの付加を止めることを特徴とする請求項１ないし１０のいずれか１項に記載の画像処理装置。
12. 請求項１ないし１１のいずれか１項に記載の画像処理装置を備え、撮像して得られた画像のノイズを調整することを特徴とする撮像装置。
13. 画像を取得する画像取得手段と、前記画像のノイズ量を示すノイズ評価値を算出し、該ノイズ評価値に基づいて前記画像のノイズ量の大小を判定するノイズ評価手段と、前記画像のノイズ量を調整する制御手段とを備えた画像処理装置における画像処理方法であって、
    前記ノイズ評価手段でノイズ量大と判定された場合には、前記ノイズ評価手段でノイズ量大と判定されないノイズ量となるまで、前記画像にノイズの一部を残して前記画像のノイズを低減することを特徴とする画像処理方法。
14. 前記ノイズ評価手段でノイズ量小と判定された場合には、前記ノイズ評価手段でノイズ量小と判定されないノイズ量となるまで、前記画像にランダムノイズを付加することを特徴とする請求項１３に記載の画像処理方法。
15. ランダムノイズの低減の要否を判定するための第１の閾値およびランダムノイズの付加の要否を判定するための第２の閾値と前記ノイズ評価値とを比較し、前記ノイズ評価値が前記第１の閾値から前記第２の閾値までの目的範囲内である場合には、ランダムノイズの低減およびランダムノイズの付加を行わない一方で、前記ノイズ評価値が前記第１の閾値から前記第２の閾値までの目的範囲内にない場合には、前記画像のランダムノイズの量を調整して前記ノイズ評価値を前記第１の閾値から前記第２の閾値までの目的範囲内に設定することを特徴とする請求項１４に記載の画像処理方法。
16. 取得された前記画像から固定ノイズを除去した後、前記画像のランダムノイズの量を調整して前記ノイズ評価値を目的範囲内に設定することを特徴とする請求項１３ないし１５のいずれか１項に記載の画像処理方法。
17. グラデーション部分を有する画像が取得されたと判断した場合、または、空部分を有する画像が取得されたと判断した場合、または、広ダイナミックレンジで撮像された画像が取得された場合、または、ＪＰＥＧ形式の画像が取得された場合、または、最低感度で撮像された画像が取得された場合、前記画像のランダムノイズの量を調整して前記ノイズ評価値を目的範囲内に設定することを特徴とする請求項１３ないし１６のいずれか１項に記載の画像処理方法。
18. 前記画像は色差信号および輝度信号によって構成されており、前記色差信号に基づいて前記ノイズ評価値を算出し、前記色差信号に対してランダムノイズ量の調整を行って前記ノイズ評価値を目的範囲内に設定することを特徴とする請求項１３ないし１７のいずれか１項に記載の画像処理方法。
19. 前記画像のグラデーション部分の色差に基づいて、赤の色差信号および青の色差信号のうちで少なくとも一方をランダムノイズ量の調整対象として選択することを特徴とする請求項１８に記載の画像処理方法。
20. 前記画像の空部分の色差に基づいて、赤の色差信号および青の色差信号のうちで少なくとも一方をランダムノイズ量の調整対象として選択することを特徴とする請求項１８に記載の画像処理方法。

Images