JP2014002635A - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】ノイズの除去処理を施した画像における画質を向上させる。
【解決手段】ノイズ除去画像生成部は、入力画像と、前記入力画像を所定の倍率で縮小した縮小画像とに基づいて入力画像におけるノイズを除去したノイズ除去画像を生成する。補正画像生成部は、所定の倍率による縮小での帯域制限により除去される周波数成分と同じ帯域の前記ノイズ除去画像の周波数成分を主成分とする高周波成分画像をノイズ除去画像から生成し、ノイズ除去画像と前記高周波成分画像とに基づいてエッジ補正画像を生成する。
【選択図】図２

Description

本技術は、画像処理装置に関する。詳しくは、ノイズを補正する画像処理装置、撮像装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、人物等の被写体を撮像して撮像画像を生成し、この生成された撮像画像を記録するデジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。このようなデジタルの撮像装置により撮像された撮像画像には、一般的にノイズが含まれている。

この撮像画像のノイズには、少ない画素でランダムに出現し、少ないタップ数のフィルタで除去できるノイズ（高周波ノイズ）と、広い範囲の画素に出現し、大きいタップ数のフィルタでないと除去できないノイズ（低周波ノイズ）とが含まれている。

低周波ノイズは、大きいタップ数のフィルタで処理を行うと除去することができる。しかしながら、大きいタップ数のフィルタによる処理は重い。このため、低周波ノイズを簡便に除去するための方法が提案されている。例えば、入力画像の縮小画像と入力画像とに基づいて低周波ノイズを除去する画像処理方法が提案されている（例えば、特許文献１参照。）。

この画像処理方法では、所定の範囲の平均値と入力画像における画素値とを比較することでノイズと有意信号の分離を行い、ノイズが多い画素値を縮小画像から生成した置換データに置換することにより、入力画像における低周波ノイズを除去する。

特開２００４−２９５３６１号公報

上述の従来技術では、縮小画像から置換データを生成することにより、入力画像における低周波ノイズを除去することができる。しかしながら、縮小画像から生成した置換データは、高周波成分が少なく解像度が低い像であるため、エッジやエッジ付近において置換が行われた場合には解像度が低下してしまうおそれがある。そこで、画像における解像度を損なわないようにノイズを除去することが重要である。

本技術はこのような状況に鑑みて生み出されたものであり、ノイズの除去処理を施した画像における画質を向上させることを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、入力画像と、上記入力画像を所定の倍率で縮小した縮小画像とに基づいて上記入力画像におけるノイズを除去したノイズ除去画像を生成するノイズ除去画像生成部と、上記所定の倍率による縮小での帯域制限により除去される周波数成分と同じ帯域の上記ノイズ除去画像の周波数成分を主成分とする高周波成分画像を上記ノイズ除去画像から生成し、上記ノイズ除去画像と上記高周波成分画像とに基づいてエッジ補正画像を生成する補正画像生成部とを具備する画像処理装置、画像処理方法、および、プログラムである。これにより、入力画像と縮小画像とに基づいて生成されたノイズ除去画像に対して、縮小画像を生成する際の帯域制限により除去される周波数成分と同じ帯域のノイズ除去画像の周波数成分を用いてエッジ補正を行わせるという作用をもたらす。

また、この第１の側面において、上記補正画像生成部は、上記帯域制限により除去されない周波数成分を主成分とする低周波成分画像と上記ノイズ除去画像との間で画素ごとに行う減算処理により上記高周波成分画像を生成するようにしてもよい。これにより、帯域制限により除去されない周波数成分を主成分とする低周波成分画像とノイズ除去画像との間で画素ごとに行う減算処理により高周波成分画像が生成されるという作用をもたらす。

また、この第１の側面において、上記ノイズ除去画像生成部は、上記縮小画像におけるノイズが除去された画像を上記所定の倍率で拡大した第２ノイズ除去画像を生成した後に、画素ごとに設定された加算割合に応じて上記第２ノイズ除去画像と上記入力画像との間で画素ごとに行う加算処理により上記ノイズ除去画像を生成し、上記補正画像生成部は、上記第２ノイズ除去画像を上記低周波成分画像として用いて上記高周波成分画像を生成するようにしてもよい。これにより、縮小画像におけるノイズが除去された画像を所定の倍率で拡大した第２ノイズ除去画像を用いて高周波成分画像が生成されるという作用をもたらす。

また、この第１の側面において、上記補正画像生成部は、上記ノイズ除去画像を上記所定の倍率で縮小した後に上記所定の倍率で拡大した画像を上記低周波成分画像として用いて上記高周波成分画像を生成するようにしてもよい。これにより、ノイズ除去画像を所定の倍率で縮小した後に所定の倍率で拡大した画像を用いて高周波成分画像が生成されるという作用をもたらす。

また、この第１の側面において、上記補正画像生成部は、上記縮小画像を上記所定の倍率で縮小した後に上記所定の倍率で拡大した画像を上記低周波成分画像として用いて上記エッジ補正画像を生成するようにしてもよい。これにより、縮小画像を所定の倍率で縮小した後に所定の倍率で拡大した画像を用いて高周波成分画像が生成されるという作用をもたらす。

また、この第１の側面において、上記補正画像生成部は、上記ノイズ除去画像と上記高周波成分画像とに基づいてアンシャープマスク処理により上記エッジ補正画像を生成するようにしてもよい。これにより、アンシャープマスク処理によりエッジ補正が行われるという作用をもたらす。

また、本技術の第２の側面は、入力画像を所定の倍率で縮小した縮小画像を生成する縮小画像生成部と、上記入力画像に対してエッジ強調を行う場合には、上記入力画像と、上記縮小画像とに基づいて上記入力画像におけるノイズを除去したノイズ除去画像を生成するノイズ除去画像生成部と、上記エッジ強調を行う場合には、上記生成された縮小画像と上記ノイズ除去画像とに基づいて高周波成分画像を生成し、上記ノイズ除去画像と上記高周波成分画像とに基づいてアンシャープマスク処理によりエッジ補正画像を生成する補正画像生成部とを具備する画像処理装置である。これにより、エッジ強調を行う場合には、入力画像と縮小画像とに基づいて生成されたノイズ除去画像に対して、縮小画像を生成する際の帯域制限により除去される周波数成分と同じ帯域のノイズ除去画像の周波数成分を用いてエッジ補正を行わせるという作用をもたらす。

また、この第２の側面において、上記補正画像生成部は、上記入力画像に対してコントラスト強調を行う場合には、上記縮小画像と上記入力画像とに基づいて第２高周波成分画像を生成し、上記入力画像と上記第２高周波成分画像とに基づいて上記アンシャープマスク処理によりコントラスト強調画像を生成し、上記ノイズ除去画像生成部は、上記コントラスト強調を行う場合には、上記縮小画像と上記コントラスト強調画像とに基づいて上記コントラスト強調画像におけるノイズを除去した画像を生成するようにしてもよい。これにより、コントラスト強調を行う場合には、アンシャープマスク処理によりコントラスト強調を行わせた後に、縮小画像を用いたノイズ除去が行われるという作用をもたらす。

また、本技術の第３の側面は、被写体光を集光するレンズ部と、上記被写体光を電気信号に変換する撮像素子と、上記撮像素子から出力された電気信号を所定の入力画像に変換する信号処理部と、上記入力画像と、上記入力画像を所定の倍率で縮小した縮小画像とに基づいて上記入力画像におけるノイズを除去したノイズ除去画像を生成するノイズ除去画像生成部と、上記所定の倍率による縮小での帯域制限により除去される周波数成分と同じ帯域の上記ノイズ除去画像の周波数成分を主成分とする高周波成分画像を上記ノイズ除去画像から生成し、上記ノイズ除去画像と上記高周波成分画像とに基づいてエッジ補正画像を生成する補正画像生成部と、上記生成されたエッジ補正画像を圧縮符号化して記録用データを生成して記録する記録処理部とを具備する撮像装置である。これにより、入力画像と縮小画像とに基づいて生成されたノイズ除去画像に対して、縮小画像を生成する際の帯域制限により除去される周波数成分と同じ帯域のノイズ除去画像の周波数成分を用いてエッジ補正を行わせ、このエッジ補正が行われた画像を記録させるという作用をもたらす。

本技術によれば、ノイズの除去処理を施した画像における画質を向上させることができるという優れた効果を奏し得る。

本技術の第１の実施の形態における撮像装置１００の機能構成の一例を示すブロック図である。 本技術の第１の実施の形態のＮＲ部２００の機能構成例を模式的に示すブロック図である。 本技術の第１の実施の形態において、ＮＲ部２００における画像処理を説明する際に用いられるエッジ、エッジ付近、および、平坦部を説明するための図である。 本技術の第１の実施の形態のＮＲ部２００による縮小ＮＲ処理およびアンシャープマスク処理の際の画素値の遷移を模式的に示す図である。 本技術の第１の実施の形態のＮＲ部２００における画像処理を説明するために、画像の周波数成分と画像処理との関係を模式的に示す図である。 本技術の第１の実施の形態のＮＲ部２００におけるアンシャープマスク処理において用いられる差分画像の周波数成分と、縮小ＮＲ後画像の周波数成分との関係を模式的に示す図である。 本技術の第１の実施の形態のＮＲ部２００におけるアンシャープマスク処理の内容を模式的に示す図である 本技術の第１の実施の形態のＮＲ部２００において縮小ＮＲ処理とアンシャープマスク処理とで同じ帯域制限を用いる効果を説明するための図である。 本技術の第１の実施の形態におけるＮＲ部２００により画像処理が行われる際の処理手順例を示すフローチャートである。 本技術の第２の実施の形態におけるＮＲ部６００の機能構成の一例を示すブロック図である。 本技術の第２の実施の形態におけるＮＲ部６００により画像処理が行われる際の処理手順例を示すフローチャートである。 本技術の第１の実施の形態の変形例として、縮小ＮＲ後画像を縮小した画像を用いて差分を算出するＮＲ部（ＮＲ部７００）の機能構成の一例を示すブロック図である。 本技術の第１の実施の形態の変形例として、画像縮小部２２１が生成した縮小画像を用いて縮小ＮＲ処理とエッジ付近の強調とを行うＮＲ部（ＮＲ部７５０）の機能構成の一例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（画像処理制御：同じ縮小率を用いて縮小ＮＲ処理およびアンシャープマスク処理を行う例）
２．第２の実施の形態（画像処理制御：画像全体のコントラスト強調と縮小ＮＲ処理とを行う例）
３．変形例

＜１．第１の実施の形態＞
［撮像装置の機能構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の機能構成の一例を示すブロック図である。

撮像装置１００は、被写体を撮像して画像データ（撮像画像）を生成し、生成された画像データを画像コンテンツ（静止画コンテンツまたは動画コンテンツ）として記録する撮像装置（例えば、コンパクトデジタルカメラ）である。

撮像装置１００は、レンズ部１１０と、撮像素子１２０と、前処理部１３０と、ＹＣ変換部１４０と、ＮＲ（Noise Reduction）部２００と、サイズ変換部１５０とを備える。また、撮像装置１００は、記録処理部１６１と、記録部１６２と、表示処理部１７１と、表示部１７２と、バス１８１と、メモリ１８２とを備える。

バス１８１は、撮像装置１００においてデータのやりとりを行うためのバスである。例えば、画像処理が行われる際には、一時的に格納が必要なデータがバス１８１を介してメモリ１８２に格納される。

メモリ１８２は、撮像装置１００においてデータを一時的に保持するものである。このメモリ１８２は、例えば、撮像装置１００における各信号処理の作業領域として用いられる。メモリ１８２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）により実現される。

レンズ部１１０は、被写体からの光（被写体光）を集光するためのものである。なお、図１では、撮像光学系に配置される各部材（フォーカスレンズやズームレンズなどの各種レンズ、光学フィルタ、および、絞りなど）を、レンズ部１１０としてまとめて示す。レンズ部１１０により集光された被写体光は、撮像素子１２０の露光面に結像される。

撮像素子１２０は、被写体光を電気信号に光電変換するものであり、被写体光を受光して電気信号を生成するものである。また、撮像素子１２０は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ、または、ＣＣＤ（Charge Coupled Device）センサなどの固体撮像素子により実現される。この撮像素子１２０は、生成した電気信号を、画像信号（ＲＡＷ信号）として前処理部１３０に供給する。

前処理部１３０は、撮像素子１２０から供給された画像信号（ＲＡＷ信号）に、各種の信号処理を施すものである。この前処理部１３０は、例えば、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正、解像度変換などの画像信号処理を実行する。前処理部１３０は、各種の信号処理を施した画像信号を、ＹＣ変換部１４０に供給する。

ＹＣ変換部１４０は、前処理部１３０から供給された画像信号をＹＣ信号に変換するものである。ここで、ＹＣ信号は、輝度成分（Ｙ）、および赤／青の色差成分（Ｃｒ／Ｃｂ）を含む画像信号である。ＹＣ変換部１４０は、生成したＹＣ信号を、信号線２０９を介してＮＲ部２００に供給する。なお、ＹＣ変換部１４０および前処理部１３０は、特許請求の範囲に記載の信号処理部の一例である。

ＮＲ部２００は、ＹＣ変換部１４０からＹＣ信号として供給された画像に含まれているノイズを除去するものである。このＮＲ部２００は、縮小画像を用いるノイズ除去処理をするとともに、ノイズ除去処理の際に低下した解像度を復元するためのアンシャープマスク処理を行う。これにより、ＮＲ部２００は、低周波ノイズが減少された画像であって、エッジおよびエッジ付近における解像度が良好な画像を生成する。なお、本技術の第１の実施の形態では、説明の便宜上、画像を、エッジと、エッジ付近と、平坦部とに分けて説明する。なお、エッジ、エッジ付近、および平坦部については、図３において説明するため、ここでの説明を省略する。

また、ＮＲ部２００の内部構成については、図２を参照して説明するため、ここでのＮＲ部２００の詳細な説明を省略する。ＮＲ部２００は、ノイズ除去処理およびアンシャープマスク処理を施した画像（以降はＮＲ画像と称する）を、信号線２０１を介してサイズ変換部１５０に供給する。

サイズ変換部１５０は、ＮＲ部２００から供給されたＮＲ画像のサイズを、記録用の画像のサイズまたは表示用の画像のサイズに変換するものである。サイズ変換部１５０は、生成した記録用の画像（記録画像）を、記録処理部１６１に供給する。また、サイズ変換部１５０は、生成した表示用の画像（表示画像）を、表示処理部１７１に供給する。

記録処理部１６１は、サイズ変換部１５０から供給された画像を圧縮符号化して記録用のデータを生成するものである。この記録処理部１６１は、静止画を記録する場合には、静止画の圧縮に用いられる符号化様式（例えば、ＪＰＥＧ（Joint Photographic Experts Group）方式）を用いて画像を圧縮し、この圧縮された画像のデータ（静止画コンテンツ）を記録部１６２に供給する。また、記録処理部１６１は、動画を記録する場合には、動画の圧縮に用いられる符号化様式（例えば、ＭＰＥＧ（Moving Picture Experts Group）方式）を用いて画像を圧縮し、この圧縮された画像のデータ（動画コンテンツ）を記録部１６２に供給する。

また、記録処理部１６１は、記録部１６２に記録されている画像を再生する場合には、その画像の圧縮符号化様式により画像を復元し、この復元した画像信号を表示処理部１７１に供給する。

記録部１６２は、記録処理部１６１から供給される記録用のデータ（静止画コンテンツまたは動画コンテンツ）を記録するものである。この記録部１６２は、例えば、半導体メモリ（メモリカード等）や、光ディスク（ＢＤ（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）等）や、ハードディスクなどの記録媒体（１または複数の記録媒体）により実現される。なお、これらの記録媒体は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。

表示処理部１７１は、サイズ変換部１５０から供給された画像を、表示部１７２で表示するための信号に変換するものである。この表示処理部１７１は、例えば、サイズ変換部１５０から供給された画像を、ＮＴＳＣ（National Television System Committee）方式の標準カラー映像信号に変換し、この変換した標準カラー映像信号を表示部１７２に供給する。また、表示処理部１７１は、記録部１６２に記録されている画像を再生する場合には、記録処理部１６１から供給された画像を標準カラー映像信号に変換し、この変換した標準カラー映像信号を表示部１７２に供給する。

表示部１７２は、表示処理部１７１から供給された画像を表示するものである。表示部１７２は、例えば、モニタ画像（ライブビュー画像）、撮像装置１００の各種機能の設定画面、再生画像などを表示する。この表示部１７２は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）などのカラー液晶パネルにより実現される。

なお、この機能構成で示した前処理部１３０、ＹＣ変換部１４０、ＮＲ部２００、サイズ変換部１５０、記録処理部１６１、および、表示処理部１７１は、例えば、撮像装置１００に設けられる画像処理用のＤＳＰ（Digital Signal Processor）により実現される。

なお、図１以降では、ＮＲ部２００が撮像装置に設けられることを想定し、撮像画像を処理する例について説明する。しかしながら、ＮＲ部２００は、外部から入力された動画コンテンツを記録または表示させる映像視聴装置（例えば、ハードディスク内蔵型レコーダー）などに設けることも可能である。映像視聴装置にＮＲ部２００を設ける場合には、記録媒体に記録された記録データから画像を生成するための画像処理用のＤＳＰにＮＲ部２００が設けられる。そして、記録データから表示画像を生成する際に、ノイズ除去処理およびアンシャープマスク処理が施される。

次に、ＮＲ部２００の内部構成について、図２を参照して説明する。

［ＮＲ部の機能構成例］
図２は、本技術の第１の実施の形態のＮＲ部２００の機能構成例を模式的に示すブロック図である。

なお、図２以降では、ＮＲ部２００が処理する信号を画素値と称して説明する。例えば、ＮＲ部２００が輝度成分（Ｙ）に対して補正処理を行う場合には、輝度成分（Ｙ）の値が画素値に対応する。

ＮＲ部２００は、高周波ノイズ除去部２１０と、縮小ＮＲ部２２０と、エッジ復元部２３０とを備える。

高周波ノイズ除去部２１０は、信号線２０９を介して供給された画像に含まれるノイズのうち高周波ノイズを除去するものである。ここで、高周波ノイズとは、ノイズを除去する際に行うフィルタ処理において、タップ数を小さく設定して除去することができるノイズである。この高周波ノイズは、１ピクセルや２ピクセルなどのピクセル単位で発生しているようなノイズである。

高周波ノイズ除去部２１０は、例えば、小さなタップ数のεフィルタを用いて高周波ノイズを除去する。高周波ノイズ除去部２１０は、高周波ノイズを除去した画像を、縮小ＮＲ部２２０に信号線２４１を介して供給する。なお、これ以降では、高周波ノイズ除去部２１０により高周波ノイズが除去された画像を、高周波ノイズ除去画像と称することとする。

縮小ＮＲ部２２０は、高周波ノイズ除去部２１０から供給された画像における低周波ノイズを、この画像の縮小画像を用いて除去するものである。ここで、低周波ノイズとは、隣接する複数の画素（広範囲）に現れる斑状のノイズであり、小さいタップ数のフィルタでは除去できないノイズである。この低周波ノイズは、高周波ノイズ除去部２１０で除去されなかったノイズであり、例えば、暗い被写体を高感度で撮像した場合によく出現する。

縮小ＮＲ部２２０は、画像縮小部２２１と、低周波ノイズ除去部２２２と、画像拡大部２２３と、加算判定部２２４と、加算画像生成部２２５とを備える。縮小ＮＲ部２２０は、低周波ノイズを除去した画像と、縮小画像とをエッジ復元部２３０に供給する。なお、縮小ＮＲ部２２０は、特許請求の範囲に記載のノイズ除去画像生成部の一例である。

画像縮小部２２１は、信号線２４１を介して供給された画像のサイズを１／Ｎ倍に縮小した縮小画像を生成するものである。この画像縮小部２２１は、例えば、供給された画像を１／４のサイズに縮小して縮小画像を生成する。なお、縮小率（Ｎ）は、エッジ付近で多い周波数成分の区間で帯域制限の基準（境界）となる周波数（この周波数以上の周波数成分がカットされる周波数）が設定されるような値が用いられる。画像縮小部２２１は、生成した縮小画像を、低周波ノイズ除去部２２２へ供給する。

低周波ノイズ除去部２２２は、画像縮小部２２１から供給された縮小画像に含まれるノイズを除去するものである。なお、高周波ノイズ除去部２１０において高周波ノイズが除去されているため、低周波ノイズ除去部２２２によるノイズ除去によって、画像に含まれている低周波ノイズが除去される。ノイズの除去方法としては種々の方法が考えられ、例えば、低周波ノイズ除去部２２２は、高周波ノイズ除去部２１０と同様にεフィルタを用いてノイズを除去する。なお、ノイズ除去処理を行う画像が縮小画像であるため、低周波ノイズの発生範囲（画素数）が縮小前よりも少なくなっている（１／４になっている）。このため、縮小画像のフィルタ処理により、少ないタップ数のフィルタで低周波ノイズを除去することができる。低周波ノイズ除去部２２２は、低周波ノイズを除去した縮小画像を、画像拡大部２２３に供給する。

画像拡大部２２３は、低周波ノイズ除去部２２２から供給された縮小画像をＮ倍に拡大して、元のサイズの画像に変換するものである。例えば、画像縮小部２２１において１／４倍のサイズに縮小された場合には、画像拡大部２２３は、縮小画像のサイズを４倍に拡大する。なお、これ以降では、低周波ノイズ除去部２２２により低周波ノイズが除去された後に画像拡大部２２３により拡大された画像を、低周波ノイズ除去画像と称することとする。画像拡大部２２３は、生成した画像（以降は、低周波ノイズ除去画像と称する）を、加算判定部２２４と、加算画像生成部２２５と、エッジ復元部２３０とに信号線２４２を介して供給する。

加算判定部２２４は、高周波ノイズ除去部２１０から信号線２４１を介して供給された高周波ノイズ除去画像と、画像拡大部２２３から信号線２４２を介して供給された低周波ノイズ除去画像とのブレンド割合（加算割合）を画素値ごと（画素ごと）に判定するものである。このブレンド割合の算出方法は、種々の方法が考えられる。例えば、高周波ノイズ除去画像や低周波ノイズ除去画像を用いて画素ごとに決定する方法、外部情報（肌色鮮明モードで撮像などの撮像条件）から決定する方法などが考えられる。また、高周波ノイズ除去画像や低周波ノイズ除去画像を用いて画素ごとに決定するとともに、外部情報を用いて値を変調させる方法なども考えられる。ここでは、一例として、高周波ノイズ除去画像と低周波ノイズ除去画像とを用いて画素ごとに算出することを想定して説明する。

加算判定部２２４は、加算割合Ｓを、「０≦Ｓ≦１」となるように算出する。加算判定部２２４は、例えば、次の式１を用いて加算割合Ｓを画素ごとに算出する。
Ｓ＝｜（Ｐ_ＩＮ−Ｐ_ＬＯＷ）×ｆ｜ ・・・式１
ここで、Ｐ_ＩＮは、高周波ノイズ除去画像における画素値である。また、Ｐ_ＬＯＷは、低周波ノイズ除去画像における画素値である。また、ｆは、変換係数である。

なお、上述の式１を用いた加算割合Ｓの算出において、左辺の計算結果が「１．０」より大きくなる場合があるような変換係数ｆを設定する場合には、１．０で飽和処理をする。上述の式１を用いての加算割合Ｓを算出すると、加算割合Ｓは、画像におけるエッジでは「１」に近い値となり、平坦部では「０」に近い値となり、エッジ付近では「０＜Ｓ＜１」となる。

加算判定部２２４は、元のサイズの画像（高周波ノイズ除去画像）を構成する全ての画素値に対して加算割合をそれぞれ算出し、算出した加算割合を加算画像生成部２２５へ供給する。

加算画像生成部２２５は、高周波ノイズ除去画像と、低周波ノイズ除去画像とを加算割合に応じて加算して、ノイズが除去された画像（縮小ＮＲ後画像）を生成するものである。加算画像生成部２２５は、例えば、次の式２を用いて縮小ＮＲ後画像における画素値（Ｐ_ＮＲ）を画素ごとに算出する。
Ｐ_ＮＲ＝Ｓ×Ｐ_ＩＮ＋（１−Ｓ）×Ｐ_ＬＯＷ ・・・式２

この上述の式２により、加算割合Ｓが「１」の場合には、高周波ノイズ除去画像における画素値がそのまま縮小ＮＲ後画像の画素値として出力される。また、加算割合Ｓが「０」の場合には、低周波ノイズ除去画像における画素値がそのまま縮小ＮＲ後画像の画素値として出力される。

すなわち、上述の式２により、加算割合Ｓが「１」に近い値となるエッジにおける画素値は、高周波ノイズ除去画像における画素値の割合が高くなる。また、加算割合Ｓが「０」に近い値となる平坦部における画素値は、低周波ノイズ除去画像における画素値の割合が高くなる。また、加算割合Ｓが「０＜Ｓ＜１」となるエッジ周辺部は、高周波ノイズ除去画像における画素値と低周波ノイズ除去画像における画素値とが加算割合Ｓに応じてブレンドされた画素値になる。このように、加算割合Ｓは、エッジの度合いを示し、度合いが高いほど、高周波ノイズ除去画像由来の割合が高くなる。

加算画像生成部２２５は、加算して生成した画像（縮小ＮＲ後画像）を、信号線２４３を介してエッジ復元部２３０に供給する。

エッジ復元部２３０は、縮小ＮＲ後画像におけるエッジおよびエッジ付近の解像度を復元するものである。縮小ＮＲ後画像は、高周波ノイズ除去画像と低周波ノイズ除去画像とがブレンドされて生成されたため、高周波ノイズおよび低周波ノイズが軽減されているものの、低周波ノイズ除去画像の画素値の割合が高いほど解像度（高周波成分）が低下している。そこで、エッジ復元部２３０は、エッジおよびエッジ付近の解像度をアンシャープマスク処理により復元させる。

エッジ復元部２３０は、減算器２３１と、ゲイン設定部２３２と、差分調整部２３３と、加算器２３４とを備える。なお、エッジ復元部２３０は、特許請求の範囲に記載の補正画像生成部の一例である。

減算器２３１は、加算画像生成部２２５から信号線２４３を介して供給された縮小ＮＲ後画像と、画像拡大部２２３から信号線２４２を介して供給された低周波ノイズ除去画像とで減算を行って、アンシャープマスク処理のための差分値を画素ごとに算出するものである。この減算器２３１は、算出した差分値を、差分調整部２３３に信号線２４４を介して供給する。

ゲイン設定部２３２は、差分値を調整する値（ゲイン）を画素ごとに判定するものである。このゲインの算出方法については種々の方法が考えられ、例えば、縮小ＮＲ後画像や低周波ノイズ除去画像を用いて画素ごとに決定する方法、レンズ特性などの外部情報から決定する方法などが考えられる。また、縮小ＮＲ後画像や低周波ノイズ除去画像を用いて画素ごとにゲインを決定するとともに、外部情報を用いてゲインを変調させる方法なども考えられる。

ここでは、一例として、縮小ＮＲ後画像と低周波ノイズ除去画像との差分の値の正負別および値の大きさに基づいてゲインが決定されることを想定する。このようにゲインを決定することにより、例えば、差分が正となる画素値ではアンシャープマスク処理による強調の度合いを小さくし、差分が負となる画素値ではアンシャープマスク処理による強調の度合いを大きくするなどの調整を行うことができる（図７参照）。ゲイン設定部２３２は、設定した画素ごとのゲインを差分調整部２３３に供給する。

差分調整部２３３は、減算器２３１から信号線２４４を介して供給された差分値を、ゲイン設定部２３２から供給されたゲインに基づいて調整するものである。なお、差分調整部２３３は、例えば、次の式３を用いてゲイン調整が行われた差分値Ｅを画素値ごとに算出する。
Ｅ＝Ｄ×Ｇ ・・・式３
ここで、Ｄは差分値であり、Ｐ_ＮＲ−Ｐ_ＬＯＷを減算器２３１が算出した結果の値である。また、Ｇは、ゲイン設定部２３２により設定されたゲインである。

差分調整部２３３は、上述の式３を用いて画素ごとの差分値をゲイン調整し、ゲイン調整を行った差分値を加算器２３４に供給する。

加算器２３４は、加算画像生成部２２５から信号線２４３を介して供給された縮小ＮＲ後画像と、差分調整部２３３から供給されたゲイン調整後の差分値とに基づいて、エッジが復元された画像を生成するものである。この差分調整部２３３は、例えば、次の式４を用いて画素値Ｐ_ｏｕｔを算出し、エッジが復元された画像（ＮＲ画像）を生成する。
Ｐ_ｏｕｔ＝Ｐ_ＮＲ＋Ｅ ・・・式４

このように、ゲイン調整が行われた差分値が縮小ＮＲ後画像の画素値に加算されることでアンシャープマスク処理が施され、エッジおよびエッジ付近における解像度が復元される。加算器２３４は、加算した画素値から構成される画像（ＮＲ画像）を、信号線２０１を介してＮＲ部２００から出力する。

次に、画像におけるエッジと、エッジ周辺と、平坦部とについて、図３を参照して説明する。

［エッジ、エッジ周辺、および、平坦部を示す画像の例］
図３は、本技術の第１の実施の形態において、ＮＲ部２００における画像処理を説明する際に用いられるエッジ、エッジ付近、および、平坦部を説明するための図である。

図３ａには、エッジ、エッジ付近、および、平坦部を説明するための画像（画像３１０）と、この画像における画素値の分布波形（分布波形３１４）とが示されている。なお、分布波形３１４は、縦軸方向が画素値の強度を示し、横軸方向が画像３１０における画素位置を示す。

画像３１０には、白地の画像に黒線が描かれており、白地は平坦部（平坦部３１１）に対応し、黒線はエッジ（エッジ３１３）に対応し、白地と黒線の境目の細かい点が付された領域はエッジ付近（エッジ付近３１２）に対応する。分布波形３１４に示すように、平坦部３１１では、周辺の画素との間における画素値の強度の違いがほとんどない。また、分布波形３１４に示すように、エッジ３１３では、平坦部３１１の画素との間における画素値の強度の違いが大きく、エッジ付近３１２では、エッジ３１３と平坦部３１１との間の画素値の差をつなぐように画素値が遷移する。

図３ｂには、エッジ、エッジ付近、および、平坦部の説明を行うために、ビルおよび空が撮像された写真（写真３２０および３２１）が示されている。なお、ここでは、ビルと空との間の境界に着目し、この境界を利用して、エッジ、エッジ付近、および、平坦部を説明する。

写真３２０は、ビルと空との間の境界におけるエッジやエッジ付近を示すための印を付加していない写真であり、写真３２１は、エッジやエッジ付近を示すための印を付加した写真である。ビルと空との間の境界において、エッジは、ビルと空との間の境界に対応する。また、このエッジの周辺がエッジ付近に対応し、平坦部は、空の領域（写真３２１の平坦部３３１）に対応する。写真３２１において、黒の実線（エッジ３３３）によりエッジが示され、点線を付した領域（エッジ付近３３２）によりエッジ付近が示されている。

このように、撮像画像には、エッジと、エッジ付近と、平坦部とが含まれている。エッジおよびエッジ付近には高周波成分が含まれており、縮小画像を用いて低周波ノイズを除去する際に縮小画像に置換してしまうと、高周波成分が除去されてしまいボヤけた像になってしまう。このため、エッジおよびエッジ付近における高周波成分の再現が重要となる。

次に、ＮＲ部２００による縮小ＮＲ処理およびアンシャープマスク処理について、画像における画素値の遷移を模式的に示す図４を参照して説明する。

［画素値の遷移の例］
図４は、本技術の第１の実施の形態のＮＲ部２００による縮小ＮＲ処理およびアンシャープマスク処理の際の画素値の遷移を模式的に示す図である。

なお、図４において示すグラフは、横軸が画素位置を示す軸であり、縦軸が画素値を示す軸である。

図４ａに示すグラフ４１１には、高周波ノイズ除去画像における画素値を模式的に示す実線が示されている。図４では、このような画素値がＮＲ部２００により縮小ＮＲ処理およびアンシャープマスク処理される例を想定して説明する。なお、このグラフ４１１に示す実線では、画素値が急激に変化している２箇所の位置がエッジであり、このエッジに近接する左右の位置がエッジ付近であり、実線の左右の両端が平坦部に対応する。

図４ｂに示すグラフ４１２には、低周波ノイズ除去画像における画素値を模式的に示す実線が示されている。グラフ４１２に示すように、縮小して低周波ノイズを除去した後にサイズを元に戻した画像では、エッジおよびエッジ付近における像がボケてしまう。

図４ｃに示すグラフ４１３には、縮小ＮＲ後画像における画素値を模式的に示す実線が示されている。グラフ４１３に示すように、高周波ノイズ除去画像と低周波ノイズ除去画像とをブレンドして生成した縮小ＮＲ後画像では、エッジ付近において、画素値が大幅に変化してしまう。特に、グラフ４１３において領域Ｒ１およびＲ２で示すように、低い画素値において、高い画素値の方（図の上側）へ画素値が変わり、画素値が浮き上がったようになる。

図４ｄに示すグラフ４１４には、減算器２３１による差分算出を模式的に示すために、縮小ＮＲ後画像の画素値が破線で示され、低周波ノイズ除去画像の画素値が実線で示されている。減算器２３１では、縮小ＮＲ後画像と低周波ノイズ除去画像との差分が算出され、図４ｅに示すグラフ４１５のような差分値が生成される。

図４ｅに示すグラフ４１５には、減算器２３１により生成された差分画像における画素値（差分値）を模式的に示す実線が示されている。グラフ４１５に示すように、エッジでは差分が最も大きくなり（「０」の値から大きく乖離）、平坦部では差分が最も小さくなる（ほぼ「０」の値）。そして、エッジ付近では、エッジの差分と、平坦部の差分との中間になる。

図４ｆに示すグラフ４１６には、差分調整部２３３によりゲイン調整された差分画像における画素値（差分値）を模式的に示す実線が示されている。このグラフ４１６に示すように、差分調整部２３３によるゲイン調整では、差分の値が正の位置では加算される画素値が小さくなり、差分の値が負の位置では減算（負の値の加算）される画素値が大きくなるようにゲイン調整が行われる。

図４ｇに示すグラフ４１７には、ＮＲ画像における画素値を模式的に示す実線と、縮小ＮＲ後画像における画素値を模式的に示す破線とが示されている。このグラフ４１７に示すように、縮小ＮＲ後画像をアンシャープマスク処理することにより、画素値の差が拡大され、コントラスト感が出るようになる。なお、このアンシャープマスク処理は、一般的に、画像全体のコントラストを強調する場合や、輪郭（エッジ）を強調する強調する場合に用いられる。本技術の第１の実施の形態では、低周波ノイズ除去画像を縮小ＮＲ部２２０の加算で用いるとともに、低周波ノイズ除去画像をアンシャープマスク処理で用いることで、エッジ付近の判定基準を、縮小ＮＲ処理とアンシャープマスク処理とで均一にしている。これにより、縮小ＮＲ処理で平坦部と判断された画素値では、アンシャープマスク処理がかからないため強調されない。また、縮小ＮＲ処理でエッジやエッジ付近と判断された画素値では、その判断の度合い（加算割合）が差分値に反映され、縮小ＮＲ処理での判断の度合いに応じたアンシャープマスク処理により強調される。

次に、ＮＲ部２００における画像処理（縮小ＮＲ処理およびアンシャープマスク処理）について、画像の周波数成分に着目し、図５および図６を参照して説明する。

［周波数成分と画像処理の関係例］
図５は、本技術の第１の実施の形態のＮＲ部２００における画像処理を説明するために、画像の周波数成分と画像処理との関係を模式的に示す図である。

なお、図５では、横軸を波長とし、縦軸を強度とするグラフにおいて、周波数成分を複数の区間に分類することで各画像処理を説明する。図５では区間に着目するため、各波長における信号強度を示す波形の図示は省略する。

図５ａには、周波数成分と、画像における各撮像領域（エッジ、エッジ付近および平坦部）との関係が示されている。この図５ａに示すグラフには、平坦部で多い周波数成分の区間（区間Ｗ１）と、エッジ付近で多い周波数成分の区間（区間Ｗ２）と、エッジで多い周波数成分の区間（区間Ｗ３）とが示されている。図５ａに示すように、平坦部では低周波成分が多く、エッジでは高周波成分が多い。そして、エッジ付近では、平坦部で多い周波数とエッジで多い周波数との間の周波数における周波数成分が多い。

図５ｂには、縮小ＮＲ後に拡大した画像（低周波ノイズ除去画像）の周波数成分と、縮小による帯域制限との関係が示されている。高周波ノイズ除去画像を１／Ｎに縮小すると、周波数成分が１／Ｎに帯域制限される。すなわち、画像縮小部２２１が高周波ノイズ除去画像を１／Ｎに縮小することにより、所定の周波数（図５ｂのグラフの１／Ｎｆｓ）より高い周波数成分（１／Ｎｆｓの右側）がカット（除去）される。

この画像を用いてノイズ除去が行われると、１／Ｎｆｓより低い周波数成分（区間Ｗ１１）においてノイズが除去される。ノイズが除去された後に、画像拡大部２２３で画像を元のサイズに戻しても、１／Ｎｆｓより高い周波数成分（区間Ｗ１２）はカットされたままである。これにより、低周波ノイズ除去画像の周波数成分は、１／Ｎｆｓより低い周波数成分（区間１１）だけで構成され、１／Ｎｆｓより高い周波数成分（区間Ｗ１２）は無い。

図５ｃには、高周波ノイズ除去画像と低周波ノイズ除去画像とをブレンドして生成される縮小ＮＲ後画像の周波数成分と、高周波ノイズ除去画像および低周波ノイズ除去画像との関係が示されている。ブレンドされる低周波ノイズ除去画像には、図５ｂに示すように、１／Ｎｆｓより低周波の周波数成分（図５ｂの区間Ｗ１１）のみが含まれる。一方、ブレンドされる高周波ノイズ除去画像は、１／Ｎｆｓより低周波の周波数成分も１／Ｎｆｓより高周波の周波数成分も両方ともに含まれる。

この２つの画像を加算割合Ｓに応じて加算（ブレンド）すると、１／Ｎｆｓより低周波の周波数成分（図５ｃの区間Ｗ２１）では、低周波ノイズ除去画像の周波数成分と高周波ノイズ除去画像の周波数成分とがブレンドされた周波数成分になる。一方、１／Ｎｆｓより高周波の周波数成分（図５ｃの区間Ｗ２２）では、高周波ノイズ除去画像の１／Ｎｆｓより高周波の周波数成分に加算割合が反映された周波数成分になる。すなわち、区間Ｗ２２は、高周波ノイズ除去画像由来の成分のみで構成される周波数成分となる。

図５ｄには、減算器２３１により行われる減算動作と、この減算により生成された画像（差分画像）の周波数成分との関係が示されている。減算器２３１では、低周波ノイズ除去画像と縮小ＮＲ後画像との間で減算が行われる。低周波ノイズ除去画像には１／Ｎｆｓより低周波の周波数成分のみが含まれているため、１／Ｎｆｓより低周波の周波数成分では、周波数成分の引き算が行われる。すなわち、区間Ｗ３１が示す周波数成分は、差分画像を生成する際に差引が行われる周波数成分である。

一方、１／Ｎｆｓより高周波の周波数成分（図５ｄの区間Ｗ３２）では、１／Ｎｆｓより高周波の周波数成分が低周波ノイズ除去画像に含まれていないため、周波数成分の引き算が行われない。このため、差分画像は、１／Ｎｆｓより高周波の縮小ＮＲ後画像の周波数成分が反映されたものになる。

次に、画像の３つの領域（平坦部、エッジ付近、エッジ）と画像処理との関係について、図６を参照して説明する。

［差分画像における周波数成分の一例］
図６は、本技術の第１の実施の形態のＮＲ部２００におけるアンシャープマスク処理において用いられる差分画像の周波数成分と、縮小ＮＲ後画像の周波数成分との関係を模式的に示す図である。

なお、図６では、帯域制限がかかる周波数（図５の１／Ｎｆｓ）に着目し、１／Ｎｆｓより高い周波数成分の有無を、細かい点を少なく付した領域により示す。また、１／Ｎｆｓより低い周波数成分の有無を、細かい点を多く付した領域により示す。なお、区間Ｗ１乃至区間Ｗ３は、図５において示したものと同様のものであるため、ここでの説明を省略する。

図６ａには、平坦部における周波数成分が示され、図６ｂにはエッジ付近における周波数成分が示され、図６ｃにはエッジにおける周波数成分が示されている。

図６ａに示すように、縮小ＮＲ後画像の平坦部では、平坦部で多い周波数成分の区間（区間Ｗ１）における周波数成分から主に構成される。この区間Ｗ１は帯域制限の周波数（１／Ｎｆｓ）より低い周波数成分である。また、各画素の画素値が上述の式２を用いて生成されている。このため、この区間Ｗ１における周波数成分は、縮小ＮＲ後画像と低周波ノイズ除去画像とで大きな違いがない。このため、図６ａの差分画像のグラフに示すように、差分画像の平坦部における周波数成分は、ほとんどなくなる。

次に、エッジ付近を説明する。図６ｂに示すように、縮小ＮＲ後画像のエッジ付近では、エッジ付近で多い周波数成分の区間（区間Ｗ２）における周波数成分から主に構成される。なお、帯域制限の基準（境界）の周波数（１／Ｎｆｓ）が区間Ｗ２内であるため、１／Ｎｆｓより高い周波数成分は、高周波ノイズ除去画像からの成分となり、１／Ｎｆｓより低い周波数成分は、高周波ノイズ除去画像と低周波ノイズ除去画像とをフレンドした成分になる。なお、上述の式２を用いてブレンドされるため、１／Ｎｆｓより低い周波数成分は、縮小ＮＲ後画像と低周波ノイズ除去画像との間でかなり類似する。すなわち、差分画像のエッジ付近における１／Ｎｆｓより低い周波数成分（図６ｂの領域Ｒ３）は、大部分が差し引かれる。

一方、差分画像のエッジ付近における１／Ｎｆｓより高い周波数成分では、縮小ＮＲ後画像には１／Ｎｆｓより高い周波数成分が無いため、高周波ノイズ除去画像からの成分が差分画像に残る。なお、縮小ＮＲ後画像を生成する際には加算割合を用いてブレンドしているため、残った成分に対応する差分画像の画素値には、加算割合（エッジの度合い）が反映されている。

次に、エッジを説明する。図６ｃに示すように、縮小ＮＲ後画像のエッジでは、エッジで多い周波数成分の区間（区間Ｗ３）における周波数成分から主に構成される。なお、１／Ｎｆｓより高い周波数成分で区間Ｗ３が構成されるため、縮小ＮＲ後画像の１／Ｎｆｓより高い周波数成分がそのまま残って差分画像の周波数成分となる。なお、縮小ＮＲ後画像には１／Ｎｆｓより高い周波数成分が無いため、高周波ノイズ除去画像からの成分が差分画像にそのまま残る。なお、縮小ＮＲ後画像を生成する際には加算割合を用いてブレンドしているため、残った成分に対応する差分画像の画素値には、エッジ付近と同様に、（エッジの度合い）が反映されている。

このように、低周波ノイズ除去画像を生成する際の帯域制限（縮小率）と、差分画像を生成する際の帯域制限（縮小率）とを合わせる（図６では１／Ｎｆｓ）ことにより、縮小ＮＲ処理を行う際のエッジ判断の基準と、アンシャープマスク処理を行う際のエッジ判断の基準とを容易に一致させることができる。

［アンシャープマスク処理の内容の一例］
図７は、本技術の第１の実施の形態のＮＲ部２００におけるアンシャープマスク処理の内容を模式的に示す図である。

図７ａには、平坦部と、エッジ付近とエッジとのそれぞれの位置におけるアンシャープマスク処理の内容を示す表が示されている。図７ａに示すように、平坦部では、差分値がほとんど０となるため、アンシャープマスク処理がかからない。そして、エッジ付近では、低周波ノイズ除去画像由来の画素値が除去され、高周波ノイズ除去画像由来の画素値（元画像の高周波情報が保持されている成分）が主成分とされた差分値に基づいてアンシャープマスク処理が行われる。また、エッジでは、高周波ノイズ除去画像由来の画素値（元画像の高周波情報が保持されている成分）のみの差分値に基づいてアンシャープマスク処理が行われる。

このようにアンシャープマスク処理を行うことにより、エッジ付近およびエッジでのみ適切な強調（輪郭強調）が行われる。すなわち、縮小ＮＲ処理で低下したエッジ付近の解像度を復元することができる。

図７ｂには、差分画像における差分値と、縮小ＮＲ部２２０の加算判定部２２４により算出された加算割合との関係の一例を表すグラフが示されている。

この図７ｂに示すグラフは、横軸を差分値の大きさを示す軸とし、縦軸を加算割合を示す軸として、差分値と加算割合との間の関係が太い実線により示されている。加算割合は、上述の式２（図２参照）に示すように、ブレンドの割合を示す値であり、１の値を最大値とし、０の値を最小値とする。そして、加算割合は、ブレンドして縮小ＮＲ画像を生成する際のエッジ判定の結果を示す値である。この加算割合に応じて高周波ノイズ除去画像と低周波ノイズ除去画像とがブレンドされるため、高周波ノイズ除去画像由来の成分が大部分の差分値を算出することにより、縮小ＮＲ部２２０でのエッジ判定（加算割合）が反映された差分値を算出することができる。そして、縮小ＮＲ部２２０でのエッジ判定が反映された差分値を用いてアンシャープマスク処理を行うことにより、縮小ＮＲ部２２０でのエッジ判定の結果をアンシャープマスク処理に反映することができる。

このように、縮小ＮＲ処理でのエッジ判定の度合いと、アンシャープマスク処理でのエッジ判定の度合いとを同じにすることができ、これにより、エッジ付近およびエッジでの適切な強調を行うことができる。

［縮小ＮＲ処理とアンシャープマスク処理とで同じ帯域制限を用いる効果例］
図８は、本技術の第１の実施の形態のＮＲ部２００において縮小ＮＲ処理とアンシャープマスク処理とで同じ帯域制限を用いる効果を説明するための図である。

図８ａおよび図８ｂには、縮小ＮＲ処理を行う際に必要となる縮小画像の縮小率（Ｎ）と、縮小ＮＲ後に行うアンシャープマスク処理においてボケ画像を生成するための縮小画像の縮小率（Ｍ）とが異なる場合の例が示されている。なお、図８ａには、Ｎ＞Ｍの場合が示され、図８ｂには、Ｎ＜Ｍの場合の例が示されている。

また、図８ｃには、図５および図６において示したＮＲ部２００の場合が示されている。また、図８ａ乃至ｃにおいて示す各区間（区間Ｗ２１、Ｗ２２、Ｗ３１、Ｗ３２）は、図５において示した各区間に対応するため、ここでの詳細な説明を省略する。

図８ａに示すように、Ｎ＞Ｍの場合には、縮小ＮＲ処理の帯域制限の基準（境界）の周波数（１／Ｎｆｓ）よりも、アンシャープマスク処理での帯域制限の基準（境界）の周波数（１／Ｍｆｓ）の方が高周波になる。すなわち、差分画像を生成する際に差引かれる周波数成分（区間Ｗ３１）と、縮小ＮＲ後画像における高周波ノイズ除去画像由来の成分のみで構成される周波数成分（区間Ｗ２２）とで重複する領域（図８ａの斜線を付した領域）が発生する。これにより、差分値となる周波数成分が減少するため、図７で説明したようなアンシャープマスク処理にならない。

また、図８ｂに示すように、Ｎ＜Ｍの場合には、縮小ＮＲ処理の帯域制限の基準（境界）の周波数（１／Ｎｆｓ）よりも、アンシャープマスク処理での帯域制限の基準（境界）の周波数（１／Ｍｆｓ）の方が低周波になる。すなわち、差分画像を生成する際に差引かれない周波数成分（区間Ｗ３２）と、縮小ＮＲ後画像の生成においてブレンドされた周波数成分（区間Ｗ２１）とで重複する領域（図８ｂの斜線を付した領域）が発生する。これにより、差分値となる周波数成分が増加するため、図７で説明したようなアンシャープマスク処理にならない。

図８ｄには、図８ａに示したＮ＞Ｍの場合と、図８ｂに示したＮ＜Ｍの場合と、縮小ＮＲ処理とアンシャープマスク処理とで同じ帯域制限を用いる場合（ＮＲ部２００の場合）とでのそれぞれのアンシャープマスク処理の内容を示す表が示されている。

図８ｄに示すように、Ｎ＞Ｍの場合には、差分値に含まれる高周波成分が減少するため、エッジ付近におけるアンシャープマスク処理の強度が弱くなる。また、Ｎ＜Ｍの場合には、低周波ノイズ除去画像由来の画素値も差分値に含まれるため、平坦部についてもアンシャープマスク処理がかかってしまう（強調される）。また、Ｎ＞ＭやＮ＜Ｍの場合には、図７ｂに示すような加算割合と差分値との関係が存在しない。このため、ゲイン設定部２３２において設定されるゲインを調整しても、縮小ＮＲ処理でのエッジ判定の度合いと、アンシャープマスク処理でのエッジ判定の度合いとを同じにすることが難しく、エッジ付近およびエッジでの適切な強調が難しい。

［ＮＲ部の動作例］
次に、本技術の第１の実施の形態におけるＮＲ部２００の動作について図面を参照して説明する。

図９は、本技術の第１の実施の形態におけるＮＲ部２００により画像処理が行われる際の処理手順例を示すフローチャートである。

まず、画像処理を開始するか否かが判断され（ステップＳ９０１）、開始しないと判断された場合には、開始するまで待機する。

一方、開始すると判断された場合には（ステップＳ９０１）、高周波ノイズを除去した画像（高周波ノイズ除去画像）の生成が、高周波ノイズ除去部２１０により行われる（ステップＳ９０２）。例えば、処理対象の画像データが供給された場合には、画像処理を開始すると判断され、そして、高周波ノイズ除去画像の生成が高周波ノイズ除去部２１０により行われる。

次に、高周波ノイズ除去画像を縮小（×１／Ｎ）した画像（縮小画像）が、画像縮小部２２１により生成される（ステップＳ９０３）。その後、縮小画像における低周波ノイズが、低周波ノイズ除去部２２２により除去される（ステップＳ９０４）。続いて、低周波ノイズを除去した縮小画像を拡大（×Ｎ）した画像（低周波ノイズ除去画像）が、画像拡大部２２３により生成される（ステップＳ９０５）。なお、ステップＳ９０４は、特許請求の範囲に記載のノイズ除去画像生成手順の一例である。

そして、加算割合が、加算判定部２２４により算出される（ステップＳ９０６）。その後、高周波ノイズ除去画像と低周波ノイズ除去画像とを加算割合に基づいてブレンドした画像（縮小ＮＲ後画像）が、加算画像生成部２２５により生成される（ステップＳ９０７）。

続いて、低周波ノイズ除去画像と縮小ＮＲ後画像との差分（差分画像）が、減算器２３１により算出される（ステップＳ９０８）。その後、アンシャープマスク処理で加算するために差分値を調整する値（ゲイン）が、ゲイン設定部２３２により設定される（ステップＳ９０９）。続いて、設定されたゲインに基づいて、差分調整部２３３により差分値が調整される（ステップＳ９１０）。そして、調整された差分値と縮小ＮＲ後画像とが加算された画像（出力画像）が加算器２３４により生成され（ステップＳ９１１）、ＮＲ部２００による画像処理の処理手順は終了する。なお、ステップＳ９０８乃至Ｓ９１１は、特許請求の範囲に記載の補正画像生成手順の一例である。

このように、本技術の第１の実施の形態によれば、縮小ＮＲ処理およびアンシャープマスク処理において用いられる縮小画像の縮小率を同じに設定することにより、低周波ノイズを除去するとともにエッジおよびエッジ付近を適切に強調することができる。すなわち、本技術の第１の実施の形態によれば、ノイズの除去処理を施した画像における画質を向上させることができる。

＜２．第２の実施の形態＞
本技術の第１の実施の形態では、縮小ＮＲ処理およびアンシャープマスク処理において用いられる縮小画像の縮小率を同じにすることにより、２つの処理におけるエッジ判定の度合いを同一にする例について説明した。これにより、アンシャープマスク処理において、エッジおよびエッジ付近だけで強調することが可能となる。

なお、撮像画像の画質によっては、アンシャープマスク処理で画像全体のコントラストを強調したい場合などもある。しかしながら、本技術の第１の実施の形態の方法では、画像全体のコントラストを強調することができない。

そこで、本技術の第２の実施の形態では、画像全体のコントラストを強調するとともに縮小ＮＲ処理で低周波ノイズを除去する例について図１０および図１１を参照して説明する。

［ＮＲ部の機能構成例］
図１０は、本技術の第２の実施の形態におけるＮＲ部６００の機能構成の一例を示すブロック図である。

なお、ＮＲ部６００は、図２において示したＮＲ部２００の変形例である。そこで、図２のＮＲ部２００と同じ構成については、同一の符号を付してここでの説明を省略する。

ＮＲ部６００は、図２のＮＲ部２００と比較して、縮小ＮＲ処理とアンシャープマスク処理との処理順序が逆になる。すなわち、ＮＲ部６００では、高周波ノイズ除去部２１０により高周波ノイズが除去された後に、アンシャープマスク処理が施され、その後、縮小ＮＲ処理が施される。

なお、ＮＲ部６００におけるアンシャープマスク処理を行う構成であるエッジ復元部６３０は、図２のエッジ復元部２３０の各構成に加えて、画像縮小部２２１から供給された縮小画像を拡大する画像拡大部２３６を備える。この画像拡大部２３６は、縮小ＮＲ部２２０の画像拡大部２２３と同様のものであり、縮小画像をＮ倍に拡大して、元のサイズの画像に変換する。

また、縮小ＮＲ部２２０の構成として図２で示されている画像縮小部２２１は、ＮＲ部６００においては縮小ＮＲ部６２０の構成を示す破線の枠の外に示されている。この画像縮小部２２１が高周波ノイズ除去画像から生成した縮小画像は、エッジ復元部６３０の画像拡大部２３６と、縮小ＮＲ部６２０の低周波ノイズ除去部２２２に供給される。

図１０に示すように、縮小ＮＲ処理を行う前にアンシャープマスク処理を行うことにより、画像全体のコントラストを強調することができる。なお、高周波ノイズの除去後にアンシャープマスク処理を行うことにより、アンシャープマスク処理で高周波ノイズがエッジとして判別されて強調されるのを防ぐことができる。

［ＮＲ部の動作例］
次に、本技術の第２の実施の形態におけるＮＲ部６００の動作について図面を参照して説明する。

図１１は、本技術の第２の実施の形態におけるＮＲ部６００により画像処理が行われる際の処理手順例を示すフローチャートである。

まず、画像処理を開始するか否かが判断され（ステップＳ９３１）、開始しないと判断された場合には、開始するまで待機する。

一方、開始すると判断された場合には（ステップＳ９３１）、高周波ノイズを除去した画像（高周波ノイズ除去画像）の生成が、高周波ノイズ除去部２１０により行われる（ステップＳ９３２）。

次に、高周波ノイズ除去画像を縮小（×１／Ｎ）した画像（縮小画像）が、画像縮小部２２１により生成される（ステップＳ９３３）。続いて、縮小画像を拡大（×Ｎ）した画像（拡大画像）が、画像拡大部２３６により生成される（ステップＳ９３４）。そして、高周波ノイズ除去画像と拡大画像との（差分画像）が、減算器２３１により算出される（ステップＳ９３５）。

その後、アンシャープマスク処理で加算するために差分値を調整する値（ゲイン）が、ゲイン設定部２３２により設定される（ステップＳ９３６）。続いて、設定されたゲインに基づいて、差分調整部２３３により差分値が調整される（ステップＳ９３７）。そして、調整された差分値と縮小ＮＲ後画像とが加算された画像（コントラスト強調画像）が加算器２３４により生成される（ステップＳ９３８）。

続いて、縮小画像における低周波ノイズが、低周波ノイズ除去部２２２により除去される（ステップＳ９３９）。そして、低周波ノイズを除去した縮小画像を拡大（×Ｎ）した画像（低周波ノイズ除去画像）が、画像拡大部２２３により生成される（ステップＳ９４０）。

そして、加算割合が、加算判定部２２４により算出される（ステップＳ９４１）。その後、コントラスト強調画像と低周波ノイズ除去画像とを加算割合に基づいてブレンドした画像（出力画像）が、加算画像生成部２２５により生成され（ステップＳ９４２）ＮＲ部２００による画像処理の処理手順は終了する。

このように、本技術の第２の実施の形態によれば、アンシャープマスク処理で画像全体のコントラストを強調するとともに、低周波ノイズを除去することができる。すなわち、本技術の第２の実施の形態によれば、ノイズの除去処理を施した画像における画質を向上させることができる。

なお、図１０では、縮小率を同じにする例について説明したが、画像全体のコントラストを強調する場合には、エッジ判定の結果を共有する必要がないため、別々に設定するようにする場合も考えられる。しかしながら、図１０に示すように、画像縮小部２２１が生成した縮小画像を共有させることにより、回路規模を削減することができる。

また、図１０に示すように、画像縮小部２２１が生成した縮小画像を両方の処理で用いることで、エッジおよびエッジ付近の強調と、画像全体のコントラスト強調とを１つのＮＲ部で行うことができる。すなわち、図１０のＮＲ部６００における縮小ＮＲ部６００とエッジ復元部６３０との順序を逆にする。なお、この順序を逆にした場合については、変形例として図１３において説明するものと同様であるため、ここでの説明を省略する。これにより、図２のように、高周波ノイズ除去画像が縮小ＮＲ部に供給され、縮小ＮＲ後画像がエッジ復元部に供給されて、本技術の第１の実施のように、エッジ付近およびエッジでのみの強調を行うことができる。このように、画像縮小部２２１が生成した縮小画像を用いて縮小ＮＲ処理およびアンシャープマスク処理を行うことにより、画像全体のコントラスト強調と、エッジおよびエッジ付近のみの強調とを１つのＮＲ部で切り替えて行うことができ、回路規模を削減することができる。

＜３．変形例＞
本技術の第１および第２の実施の形態で示したように、縮小ＮＲ処理とアンシャープマスク処理とで帯域制限が同じであれば、エッジおよびエッジ付近のみを強調させることができる。この帯域制限を同じにするための方法は、本技術の第１および第２の実施の形態において示したものの他にも考えることができる。

そこで、図１２では、本技術の第１の実施の形態の変形例として、縮小ＮＲ後画像を縮小した画像を用いて差分を算出する例について説明する。また、図１３では、本技術の第１の実施の形態の変形例として、画像縮小部２２１が生成した縮小画像を用いてエッジおよびエッジ付近を強調する例について説明する。

図１２は、本技術の第１の実施の形態の変形例として、縮小ＮＲ後画像を縮小した画像を用いて差分を算出するＮＲ部（ＮＲ部７００）の機能構成の一例を示すブロック図である。

なお、ＮＲ部７００は、図２において示したＮＲ部２００の変形例であり、縮小ＮＲ後画像を縮小および拡大する構成がエッジ復元部７３０に備えられる点のみが異なる。そこで、図２のＮＲ部２００と同じ構成については、同一の符号を付してここでの説明を省略する。

エッジ復元部７３０には、図２のエッジ復元部２３０の構成に加えて、縮小ＮＲ後画像を１／Ｎ倍に縮小する画像縮小部７３１と、この縮小された縮小ＮＲ後画像をＮ倍に拡大する画像拡大部７３２とを備える。画像拡大部７３２が拡大した画像は、減算器２３１に供給され、この画像と縮小ＮＲ後画像との間で差分値が算出される。

図１２に示すように、縮小ＮＲ後画像を縮小して差分値を算出する場合にも、縮小ＮＲ処理と同じ縮小率を用いることにより、エッジおよびエッジ付近を適切に強調し、この位置における解像度を復元することができる。

図１３は、本技術の第１の実施の形態の変形例として、画像縮小部２２１が生成した縮小画像を用いて縮小ＮＲ処理とエッジ付近の強調とを行うＮＲ部（ＮＲ部７５０）の機能構成の一例を示すブロック図である。

なお、ＮＲ部７５０は、図２において示したＮＲ部２００の変形例であり、エッジ復元部７７０は、図２のエッジ復元部２３０の各構成に加えて、画像縮小部２２１から供給された縮小画像を拡大する画像拡大部２３６を備える。また、画像縮小部２２１が縮小ＮＲ部７６０の構成を示す破線の枠の外に示されている。すなわち、本技術の第２の実施の形態のＮＲ部６００と、縮小ＮＲ処理およびアンシャープマスク処理の順序が逆になっている。

このＮＲ部７５０では、同じ縮小率の縮小画像を用いて、縮小ＮＲ処理の後にアンシャープマスク処理が行われるため、本技術の第１の実施の形態と同様に、エッジおよびエッジ付近を適切に強調することができる。

なお、図１２および図１３に示す変形例の他にも、種々の変形例が考えられる。例えば、図１０に示すＮＲ部６００により画像全体のコントラストを強調した画像においてエッジ周辺の解像度劣化が問題になる場合は、この画像に対してエッジおよびエッジ付近のみの強調をさらに行う。すなわち、画像全体のコントラストが強調された画像に対して、縮小ＮＲ処理と同じ縮小率の画像を用いてアンシャープマスク処理を行う。これにより、画像全体のコントラストが強調された画像に対して、エッジおよびエッジ付近のみを強調することができる。

なお、本技術の実施の形態では、ＹＣ変換を行った画像に対して処理を行う例について説明したが、これに限定されるものではなく、ＲＧＢ画像をそのまま用いて、ＲＧＢ信号に基づいてＮＲ処理するようにしてもよい。また、ＹＣ変換後の輝度成分（Ｙ）に対して補正処理を行う例について説明したが、これに限定されるものではなく、色差信号（Ｃｒ、Ｃｂ）に基づいてＮＲ処理するようにしてもよい。

このように本技術の実施の形態によれば、縮小ＮＲ処理およびアンシャープマスク処理において用いられる縮小画像の縮小率を同じに設定することにより、ノイズの除去処理を施した画像における画質を向上させることができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ハードディスク、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

なお、本技術は以下のような構成もとることができる。
（１） 入力画像と、前記入力画像を所定の倍率で縮小した縮小画像とに基づいて前記入力画像におけるノイズを除去したノイズ除去画像を生成するノイズ除去画像生成部と、
前記所定の倍率による縮小での帯域制限により除去される周波数成分と同じ帯域の前記ノイズ除去画像の周波数成分を主成分とする高周波成分画像を前記ノイズ除去画像から生成し、前記ノイズ除去画像と前記高周波成分画像とに基づいてエッジ補正画像を生成する補正画像生成部と
を具備する画像処理装置。
（２） 前記補正画像生成部は、前記帯域制限により除去されない周波数成分を主成分とする低周波成分画像と前記ノイズ除去画像との間で画素ごとに行う減算処理により前記高周波成分画像を生成する前記（１）に記載の画像処理装置。
（３） 前記ノイズ除去画像生成部は、前記縮小画像におけるノイズが除去された画像を前記所定の倍率で拡大した第２ノイズ除去画像を生成した後に、画素ごとに設定された加算割合に応じて前記第２ノイズ除去画像と前記入力画像との間で画素ごとに行う加算処理により前記ノイズ除去画像を生成し、
前記補正画像生成部は、前記第２ノイズ除去画像を前記低周波成分画像として用いて前記高周波成分画像を生成する前記（２）に記載の画像処理装置。
（４） 前記補正画像生成部は、前記ノイズ除去画像を前記所定の倍率で縮小した後に前記所定の倍率で拡大した画像を前記低周波成分画像として用いて前記高周波成分画像を生成する前記（２）に記載の画像処理装置。
（５） 前記補正画像生成部は、前記縮小画像を前記所定の倍率で縮小した後に前記所定の倍率で拡大した画像を前記低周波成分画像として用いて前記高周波成分画像を生成する前記（２）に記載の画像処理装置。
（６） 前記補正画像生成部は、前記ノイズ除去画像と前記高周波成分画像とに基づいてアンシャープマスク処理により前記エッジ補正画像を生成する前記（１）に記載の画像処理装置。
（７） 入力画像を所定の倍率で縮小した縮小画像を生成する縮小画像生成部と、
前記入力画像に対してエッジ強調を行う場合には、前記入力画像と、前記縮小画像とに基づいて前記入力画像におけるノイズを除去したノイズ除去画像を生成するノイズ除去画像生成部と、
前記エッジ強調を行う場合には、前記生成された縮小画像と前記ノイズ除去画像とに基づいて高周波成分画像を生成し、前記ノイズ除去画像と前記高周波成分画像とに基づいてアンシャープマスク処理によりエッジ補正画像を生成する補正画像生成部と
を具備する画像処理装置。
（８） 前記補正画像生成部は、前記入力画像に対してコントラスト強調を行う場合には、前記縮小画像と前記入力画像とに基づいて第２高周波成分画像を生成し、前記入力画像と前記第２高周波成分画像とに基づいて前記アンシャープマスク処理によりコントラスト強調画像を生成し、
前記ノイズ除去画像生成部は、前記コントラスト強調を行う場合には、前記縮小画像と前記コントラスト強調画像とに基づいて前記コントラスト強調画像におけるノイズを除去した画像を生成する
前記（７）に記載の画像処理装置。
（９） 被写体光を集光するレンズ部と、
前記被写体光を電気信号に変換する撮像素子と、
前記撮像素子から出力された電気信号を所定の入力画像に変換する信号処理部と、
前記入力画像と、前記入力画像を所定の倍率で縮小した縮小画像とに基づいて前記入力画像におけるノイズを除去したノイズ除去画像を生成するノイズ除去画像生成部と、
前記所定の倍率による縮小での帯域制限により除去される周波数成分と同じ帯域の前記ノイズ除去画像の周波数成分を主成分とする高周波成分画像を前記ノイズ除去画像から生成し、前記ノイズ除去画像と前記高周波成分画像とに基づいてエッジ補正画像を生成する補正画像生成部と、
前記生成されたエッジ補正画像を圧縮符号化して記録用データを生成して記録する記録処理部と
を具備する撮像装置。
（１０） 入力画像と、前記入力画像を所定の倍率で縮小した縮小画像とに基づいて前記入力画像におけるノイズを除去したノイズ除去画像を生成するノイズ除去画像生成手順と、
前記所定の倍率による縮小での帯域制限により除去される周波数成分と同じ帯域の前記ノイズ除去画像の周波数成分を主成分とする高周波成分画像を前記ノイズ除去画像から生成し、前記ノイズ除去画像と前記高周波成分画像とに基づいてエッジ補正画像を生成する補正画像生成手順と
を具備する画像処理方法。
（１１） 入力画像と、前記入力画像を所定の倍率で縮小した縮小画像とに基づいて前記入力画像におけるノイズを除去したノイズ除去画像を生成するノイズ除去画像生成手順と、
前記所定の倍率による縮小での帯域制限により除去される周波数成分と同じ帯域の前記ノイズ除去画像の周波数成分を主成分とする高周波成分画像を前記ノイズ除去画像から生成し、前記ノイズ除去画像と前記高周波成分画像とに基づいてエッジ補正画像を生成する補正画像生成手順と
をコンピュータに実行させるプログラム。

１００ 撮像装置
１１０ レンズ部
１２０ 撮像素子
１３０ 前処理部
１４０ ＹＣ変換部
１５０ サイズ変換部
１６１ 記録処理部
１６２ 記録部
１７１ 表示処理部
１７２ 表示部
１８１ バス
１８２ メモリ
２００ ＮＲ部
２１０ 高周波ノイズ除去部
２２０ 縮小ＮＲ部
２２１ 画像縮小部
２２２ 低周波ノイズ除去部
２２３ 画像拡大部
２２４ 加算判定部
２２５ 加算画像生成部
２３０ エッジ復元部
２３１ 減算器
２３２ ゲイン設定部
２３３ 差分調整部
２３４ 加算器
２３６ 画像拡大部

Claims (11)

1. 入力画像と、前記入力画像を所定の倍率で縮小した縮小画像とに基づいて前記入力画像におけるノイズを除去したノイズ除去画像を生成するノイズ除去画像生成部と、
   前記所定の倍率による縮小での帯域制限により除去される周波数成分と同じ帯域の前記ノイズ除去画像の周波数成分を主成分とする高周波成分画像を前記ノイズ除去画像から生成し、前記ノイズ除去画像と前記高周波成分画像とに基づいてエッジ補正画像を生成する補正画像生成部と
   を具備する画像処理装置。
2. 前記補正画像生成部は、前記帯域制限により除去されない周波数成分を主成分とする低周波成分画像と前記ノイズ除去画像との間で画素ごとに行う減算処理により前記高周波成分画像を生成する請求項１記載の画像処理装置。
3. 前記ノイズ除去画像生成部は、前記縮小画像におけるノイズが除去された画像を前記所定の倍率で拡大した第２ノイズ除去画像を生成した後に、画素ごとに設定された加算割合に応じて前記第２ノイズ除去画像と前記入力画像との間で画素ごとに行う加算処理により前記ノイズ除去画像を生成し、
   前記補正画像生成部は、前記第２ノイズ除去画像を前記低周波成分画像として用いて前記高周波成分画像を生成する
   請求項２記載の画像処理装置。
4. 前記補正画像生成部は、前記ノイズ除去画像を前記所定の倍率で縮小した後に前記所定の倍率で拡大した画像を前記低周波成分画像として用いて前記高周波成分画像を生成する請求項２記載の画像処理装置。
5. 前記補正画像生成部は、前記縮小画像を前記所定の倍率で縮小した後に前記所定の倍率で拡大した画像を前記低周波成分画像として用いて前記エッジ補正画像を生成する請求項２記載の画像処理装置。
6. 前記補正画像生成部は、前記ノイズ除去画像と前記高周波成分画像とに基づいてアンシャープマスク処理により前記エッジ補正画像を生成する請求項１記載の画像処理装置。
7. 入力画像を所定の倍率で縮小した縮小画像を生成する縮小画像生成部と、
   前記入力画像に対してエッジ強調を行う場合には、前記入力画像と、前記縮小画像とに基づいて前記入力画像におけるノイズを除去したノイズ除去画像を生成するノイズ除去画像生成部と、
   前記エッジ強調を行う場合には、前記生成された縮小画像と前記ノイズ除去画像とに基づいて高周波成分画像を生成し、前記ノイズ除去画像と前記高周波成分画像とに基づいてアンシャープマスク処理によりエッジ補正画像を生成する補正画像生成部と
   を具備する画像処理装置。
8. 前記補正画像生成部は、前記入力画像に対してコントラスト強調を行う場合には、前記縮小画像と前記入力画像とに基づいて第２高周波成分画像を生成し、前記入力画像と前記第２高周波成分画像とに基づいて前記アンシャープマスク処理によりコントラスト強調画像を生成し、
   前記ノイズ除去画像生成部は、前記コントラスト強調を行う場合には、前記縮小画像と前記コントラスト強調画像とに基づいて前記コントラスト強調画像におけるノイズを除去した画像を生成する
   請求項７記載の画像処理装置。
9. 被写体光を集光するレンズ部と、
   前記被写体光を電気信号に変換する撮像素子と、
   前記撮像素子から出力された電気信号を所定の入力画像に変換する信号処理部と、
   前記入力画像と、前記入力画像を所定の倍率で縮小した縮小画像とに基づいて前記入力画像におけるノイズを除去したノイズ除去画像を生成するノイズ除去画像生成部と、
   前記所定の倍率による縮小での帯域制限により除去される周波数成分と同じ帯域の前記ノイズ除去画像の周波数成分を主成分とする高周波成分画像を前記ノイズ除去画像から生成し、前記ノイズ除去画像と前記高周波成分画像とに基づいてエッジ補正画像を生成する補正画像生成部と、
   前記生成されたエッジ補正画像を圧縮符号化して記録用データを生成して記録する記録処理部と
   を具備する撮像装置。
10. 入力画像と、前記入力画像を所定の倍率で縮小した縮小画像とに基づいて前記入力画像におけるノイズを除去したノイズ除去画像を生成するノイズ除去画像生成手順と、
    前記所定の倍率による縮小での帯域制限により除去される周波数成分と同じ帯域の前記ノイズ除去画像の周波数成分を主成分とする高周波成分画像を前記ノイズ除去画像から生成し、前記ノイズ除去画像と前記高周波成分画像とに基づいてエッジ補正画像を生成する補正画像生成手順と
    を具備する画像処理方法。
11. 入力画像と、前記入力画像を所定の倍率で縮小した縮小画像とに基づいて前記入力画像におけるノイズを除去したノイズ除去画像を生成するノイズ除去画像生成手順と、
    前記所定の倍率による縮小での帯域制限により除去される周波数成分と同じ帯域の前記ノイズ除去画像の周波数成分を主成分とする高周波成分画像を前記ノイズ除去画像から生成し、前記ノイズ除去画像と前記高周波成分画像とに基づいてエッジ補正画像を生成する補正画像生成手順と
    をコンピュータに実行させるプログラム。