JP2015108897A - 画像処理装置、画像処理装置の制御方法、及び、プログラム - Google Patents

Abstract

【課題】画像からノイズ成分とエッジ成分を精度よく分離可能とする技術を提供する。【解決手段】入力画像と、入力画像から得られた低解像度画像とを第１の合成比率に基づき合成して、第１の合成画像を生成する画像処理装置であって、入力画像を段階的に低解像度化する低解像度化手段と、低解像度化手段により段階的に低解像度化して得られた、解像度レベルの異なる複数の低解像度画像を、各低解像度画像に含まれるエッジ成分の大きさに応じた第２の合成比率に基づき合成して第２の合成画像を生成する第１の合成手段と、入力画像に含まれるエッジ成分の大きさと第２の合成比率とに基づく第１の合成比率に基づき、入力画像と第２の合成画像とを合成し、第１の合成画像を生成する第２の合成手段とを備える。【選択図】図１

Description

本発明は、画像処理装置、画像処理装置の制御方法、及び、プログラムに関する。

デジタルカメラ等の撮像装置では、ユーザーからの更なる高感度化や高画素化の要求により、画像に含まれるノイズ成分を精度よく除去することが求められている。特許文献１は、ノイズ除去の方法として、画像を複数の周波数帯域に分割し、ノイズを除去した高周波成分の画像と、低周波成分の画像とを、高周波成分の画像から抽出したエッジ信号に基づいて合成する手法を開示している。

特開2008-015741号公報

しかし、先行技術文献が開示する方法には、ノイズ振幅が大きくなってきた場合に、エッジとノイズが明確に分離できなくなる問題点がある。これに対し、ノイズをエッジとして判断しないようにエッジ検出のための閾値を大きくすると、エッジの検出精度が下がって画像のエッジ部分がボケてしまう。一方、エッジ検出のための閾値を小さくすると、残留ノイズが画像に残存してしまうことになる。

このように、従来手法では画像からノイズ成分とエッジ成分を精度よく分離することが困難であった。そこで、本発明は、画像からノイズ成分とエッジ成分を精度よく分離可能とする技術を提供することを目的とする。

上記課題を解決するための本発明は、入力画像と、前記入力画像から得られた低解像度画像とを第１の合成比率に基づき合成して、第１の合成画像を生成する画像処理装置であって、
前記入力画像を段階的に低解像度化する低解像度化手段と、
前記低解像度化手段により段階的に低解像度化して得られた、解像度レベルの異なる複数の低解像度画像を、各低解像度画像に含まれるエッジ成分の大きさに応じた第２の合成比率に基づき合成して第２の合成画像を生成する第１の合成手段と、
前記入力画像に含まれるエッジ成分の大きさと前記第２の合成比率とに基づく前記第１の合成比率に基づき、前記入力画像と前記第２の合成画像とを合成し、前記第１の合成画像を生成する第２の合成手段とを備えることを特徴とする。

本発明によれば、画像からノイズ成分とエッジ成分を精度よく分離することができる。

発明の実施形態１の構成を説明するための図 発明の実施形態１に対応するノイズ除去処理の一例を示すフローチャート 発明の実施形態に対応する平滑化処理を説明するための図 発明の実施形態に対応するメモリに格納される画像を説明するための図 発明の実施形態１に対応する合成処理のための閾値決定手法の一例を説明するための図 発明の実施形態１に対応する合成処理のための閾値決定手法の他の一例を説明するための図 発明の実施形態２の構成を説明するための図 発明の実施形態２に対応するノイズ除去処理の一例を示すフローチャート 発明の実施形態２に対応するノイズ除去処理のための閾値決定手法の一例を説明するための図 発明の実施形態２に対応するノイズ除去処理のための閾値決定手法の他の一例を説明するための図 発明の実施形態に対応する画像処理装置の構成例を示す図

［実施形態１］
以下、発明の実施形態について図面を参照して詳細に説明する。図１は発明の一実施形態に対応する画像処理装置の構成を示すブロック図であり、特に画像処理ユニットの構成を示している。当該画像処理装置は、例えば、パーソナルコンピュータ、デジタルカメラ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末などの任意の情報処理装置とすることができる。画像処理装置１００の全体構成は例えば図１１に示す通りである。

画像処理装置１００はＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３を有する。ＲＯＭ１０３には画像処理装置の基本的な制御プログラムが記憶されている。この制御プログラムは、装置の起動時にＲＡＭ１０２に読み込まれ、ＣＰＵ１０１によって実行される。二次記憶装置１０４は、実際にはハードディスクあるいはメモリディスクなどである。二次記憶装置１０４には、高レベルな制御プログラム（たとえばオペレーションシステム）、ブラウザ、処理データに関する情報を管理するためのデータベース、機能部１０５で取得されたデータを装置１０００に取り込むためのアプリケーション、取り込まれたデータなどが記憶される。これらのソフトウェアは、適時ＲＡＭ１０２に読み込まれ、ＣＰＵ１０１によって実行される。

機能部１０５は、装置の種類に応じた特定機能を実行するための構成を有する機能部である。例えば、画像処理装置１００がデジタルカメラであれば、画像を撮影するためのカメラ機能を実現するための構成、例えば撮像素子やA／D変換器、画像処理部などが含まれる。ネットワークインタフェース（Ｉ/Ｆ）１０６は、外部のネットワークと接続するためのインタフェースである。操作部１０７は、ユーザからの指示操作を受け付けることが可能であって、キーボード、マウス、ボタン、タッチパネルなどから構成される。表示部１０８は、ＣＰＵ１０１の表示制御に従って画像やグラフィカルユーザインタフェース（ＧＵＩ）画面を表示し、モニタなどから構成される。そしてバス１０９は、１０１〜１０８が情報をやり取りする際に用いられる。

発明の実施形態に対応する画像処理ユニットは、例えば、上記画像処理装置の構成においてＣＰＵ１０１として実現されても良いし、或いは機能部において特定のデータ処理を実現するためのハードウェアとして実現されても良い。例えば、画像処理装置がデジタルカメラである場合、装置に必要な画像処理機能が実装されたハードウェア（専用ロジック回路等）として実現される。以下の説明では、画像処理装置が撮像装置の場合であって、画像処理ユニットが機能部１０５における画像処理部の一部として実装される場合を説明する。

機能部１０５の撮像部（撮像素子やA/D変換器等）から出力された入力画像1000は、メモリ1001に記憶される。メモリ部1001は、メモリ1010、1110及び1210で構成されている。この入力画像1000は、画像処理部における補正部おいて公知のセンサー補正処理が行われた画像データである。また、入力画像1000には、ローパスフィルタ（ＬＰＦ）1101でＬＰＦ処理、ダウンサンプリング（ＤＳ）部1102でダウンサンプリング処理が施され、同時化された低解像度画像（第１の低解像度画像）が生成される。なお、同時化とは、同じ画素位置に複数種類の信号が生成されることをいう。

生成された第１の低解像度画像はメモリ1110に記憶される。ＤＳ部1102から出力された第１の低解像度画像には、ＬＰＦ1201でＬＰＦ処理、ＤＳ部1202でダウンサンプリング処理が更に施され、解像度を更に落とした低解像度画像（第２の低解像度画像）が生成される。当該第２の低解像度画像はメモリ1210に記憶される。このようにすることで、処理ステップごとに同時化された低解像度画像が生成される。このような複数段のＬＰＦ処理部及びＤＳ部を、画像を低解像度化するための構成として用いることで、解像度レベルが異なる複数の画像を段階的に生成することができる。

メモリ1010から出力された入力画像はノイズ除去（ＮＲ）処理部1011に入力され、本実施形態に対応するＮＲ処理が行われて、ＮＲ画像（DATA1）が出力される。また、入力画像は、エッジ検出部1012にも入力され、エッジ検出処理が施される。エッジ検出部1012は、例えば公知のエッジ検出フィルタで構成され、入力信号にエッジ検出フィルタをかけて、その出力を高解像度エッジ強度出力信号（第１のエッジ信号：EDGE1）とする。

合成部1020は、ＮＲ処理部1011から出力されたNR画像（DATA1）と、ＵＳ部1021から出力されたアップサンプリングされた第２の合成画像（DATA2'')とを第１の合成比率（MIX1）に従って合成する。合成部1020は、第１の合成比率（MIX1）を、エッジ検出部1012の出力である第１のエッジ信号(EDGE1)と、アップサンプリング（ＵＳ）部1022で、アップサンプリングされた第２の合成比率(MIX2')とに基づいて決定する。合成部1020における合成結果の第１の合成画像は、画像処理ユニットにおける処理結果の出力画像として出力される。

メモリ1110から出力された第１の低解像度画像はＮＲ処理部1111に入力され、ＮＲ処理が行われて、第１の低解像度ＮＲ画像（DATA2）が出力される。また、第１の低解像度画像は、エッジ検出部1112にも入力され、エッジ検出処理が施されてエッジ強度出力信号（第２のエッジ信号：EDGE2）が出力される。ＮＲ処理部１１１１及びエッジ検出部１１１２の機能は、基本的にＮＲ処理部１０１１及びエッジ検出部１０１２と同様である。

合成部1120は、ＮＲ処理部1111から出力された第１の低解像度NR画像(DATA2)と、ＵＳ部1121でアップサンプリングされた第２の低解像度NR画像(DATA3')とを、第２の合成比率（MIX2）に従って合成する。合成部1120は、第2の合成比率（MIX2）を、エッジ検出部1112の出力である第２のエッジ信号(EDGE2)と、ＵＳ部1122でアップサンプリングされた第３のエッジ信号(EDGE3')とに基づいて決定する。合成部1120は合成後の第2の合成画像(DATA2')と、合成比率(MIX2)とを出力する。第２の合成画像(DATA2')はＵＳ部1021に入力され、第2の合成比率（MIX2）はＵＳ部1022に入力され、それぞれアップサンプリングされる。

メモリ1210から出力された第２の低解像度画像はＮＲ処理部1211に入力され、ＮＲ処理が行われて、第２の低解像度ＮＲ画像（DATA3）が出力される。また、第２の低解像度画像は、エッジ検出部1212にも入力され、エッジ検出処理が施されてエッジ強度出力信号（第３のエッジ信号：EDGE3）が出力される。ＮＲ処理部１２１１及びエッジ検出部１２１２の機能は、基本的にＮＲ処理部１０１１及びエッジ検出部１０１２と同様である。

なお、ここではエッジ検出部１０１２は、メモリ1010から出力された入力画像に対してエッジ検出フィルタをかける構成としたが、ＮＲ処理部1011から出力されたＮＲ画像（DATA1）に対してエッジ検出フィルタをかける構成としてもよい。これは、エッジ検出部１１１２とエッジ検出部１２１２についても同様である。

次に、ＮＲ処理部1011、1111及び1211におけるノイズ除去処理の詳細を説明する。これらのＮＲ処理部では、画像におけるエッジ情報を保持しつつ、エッジとしては振幅が小さいレベルの信号をノイズとして除去する。図２は、ＮＲ処理部におけるノイズ除去処理の一例を示すフローチャートである。ここでは、輝度成分信号をＹ、色成分信号をＵ、Ｖとして説明する。なお、画像の色空間の持たせ方は、YUVに限定されず、YCbCrやYPbPrであっても良いし、RGBであってもよい。当該フローチャートに対応する処理は、機能部１０５の画像処理部を構成する専用ロジック回路のＮＲ処理部に相当する回路において実施することができるが、それ以外にも、ＮＲ処理部として機能するＣＰＵ１０１が対応するプログラム（ＲＯＭ等に格納）を実行することにより実施しても良い。

まずステップＳ２０１で、処理対象画像の全画素について画素ごとに色成分信号から以下の式に基づいて彩度信号Ｃを生成する。

C＝｛U²+V²｝^1/2 (式１）
次に、ステップＳ２０２に進み、処理対象画像を構成する画素の中から注目画素を選択する。さらに、ステップＳ２０３において注目画素の彩度信号Ccと、注目画素の周辺画素の彩度信号Ｃiとの差分絶対値DIFF_Cを算出する。次にステップＳ２０４で差分絶対値DIFF_Cと閾値とを比較し、閾値より小さい場合（Ｓ２０４で「ＹＥＳ」）、ステップＳ２０５に進む。Ｓ２０５では、差分絶対値が閾値より小さい周辺画素について、平滑化の対象画素とするフラグを立てる。また、差分絶対値DIFF_Cが閾値以上の場合（Ｓ２０４で「ＮＯ」）、ステップＳ２０６に進む。ステップＳ２０６では、注目画素の周辺画素で、差分絶対値を未算出の周辺画素が残っているか否かを判定する。もし、未処理の周辺画素が存在する場合（Ｓ２０６で「ＹＥＳ」）、Ｓ２０３に戻って処理を継続する。ステップＳ２０６で未処理の周辺画素がない場合は、ステップＳ２０７に進み、ステップＳ２０５で平滑化の対象となるフラグを立てた周辺画素を用いて注目画素について平滑化処理を行う。その後、Ｓ２０８に進んで、注目画素として未選択の画素が存在するか否かを判定する。もし未選択の画素が存在する場合（Ｓ２０８で「ＹＥＳ」）、Ｓ２０２に戻って上記処理を繰り返す。全ての画素を注目画素として選択し、上記処理を終えた場合（Ｓ２０８で「ＮＯ」）、本処理を終了する。

上記のノイズ除去処理について具体的に図３を例に説明する。図３（Ａ）、（Ｂ）に示すように、注目画素（Ｕｃ、Ｖｃ）を中心として、周辺画素Ｕｉ、Ｖｉ（i=０〜７）の３ｘ３の領域を平滑化処理対象とする。このとき、i=0、2、6、7の周辺画素が平滑化処理の対象と仮定すると、平滑化処理後の色差信号U_out、V_outは、下記の式２、式３で表現される。

U_out＝（U0+U2+Uc+U6+U7)/5 （式２）
V_out = （V0+V2+Vc+V6+V7)/5 （式３）
なお、図２のフローチャートでは、色成分信号を例としてフローチャートの説明を行ったが、輝度成分信号Ｙについても同様にＮＲ処理を行う。Y成分については、S201の処理は不要であるため、S202以降の処理を行えばよい。

図４は、メモリ1010、1110、1210の周波数イメージを示したものである。メモリ1010が格納する入力画像の周波数はｆ１、メモリ1110が格納する第１の低解像度画像の周波数はｆ２、メモリ1210が格納する第２の低解像度画像の周波数はｆ３で表される。このとき、ｆ１＞ｆ２＞ｆ３が成立する。本実施形態では、合成部を制御して、領域１に属する周波数の画像については、NR処理部1011からの出力の合成比率を高くする。また、領域２に属する周波数の画像については、NR処理部1111からの出力の合成比率を高くする。そして、領域３に属する周波数の画像については、NR処理部1211からの出力の合成比率を高くする。処理対象の画素が、どの領域に属するかについては、エッジ検出結果を示すエッジ信号の値や、合成部1120における合成比率を参照して判定することができる。

以下、その具体的手法について、合成部1020及び1120における動作の詳細を図５及び図６を参照して説明する。まず図５は、合成部1120における合成処理を説明する図である。図５（Ａ）の横軸はエッジ検出部1112から出力された第2のエッジ信号EDGE2の値を表し、縦軸が合成部1120の第2の合成比率MIX2を表す。ここでは、閾値ThL1及びThL2と比較することによりEDGE2を評価して、第２の合成比率MIX2を決定する。注目画素におけるEDGE2が閾値Ｔｈ２以上の場合、合成比率は１となり、合成部1120は、注目画素におけるＮＲ処理部1111から出力された第１の低解像度ＮＲ画像（DATA2）をそのまま注目画素における第2の合成画像（DATA2'）として出力する。注目画素におけるEDGE2が閾値Th1以下の場合、合成比率は０となり、合成部1120は注目画素におけるアップサンプリングされた第2の低解像度NR画像（DATA3'）をそのまま注目画素における第2の合成画像（DATA2'）として出力する。また、注目画素におけるEDGE2が閾値ThL1とThL2との間の値をとる場合は、以下の式に従って第2の合成比率MIX2が決定される。

MIX2 ＝（EDGE2 - ThL1）／（ThL2 - ThL1) (式４）
以上により第2の合成比率MIX2が決定すると、合成部1120からの出力される注目画素における第2の合成画像DATA2'は以下の式に従って決定される。

DATA2'＝（DATA2×MIX2）+（DATA3'×(1-MIX2)） （式５）
以上の処理を、合成部1120から出力される第2の合成画像DATA2'に含まれる全ての画素について行う。

次に図５（Ｂ）は、EDGE2と比較される閾値ThL1とThL2の決定方法の一例を示す。横軸がアップサンプリングされた第3のエッジ信号EDGE3'で、縦軸がEDGE2の閾値ThL1を示す。EDGE3'がThL11以下の場合、閾値ThL1はThL1__maxを出力し、ThL12以上の場合は、閾値ThL1はThL1_Minを出力する。EDGE3'が閾値ThL11とThL12との間の場合は、
ThL1＝｛（ThL1_min - ThL1_max）／（ThL12-ThL11）｝＊（EDGE3'-ThL11) +ThL1_max (式６）
となる。なお、ThL2の演算もThL1と同様に算出可能であるので説明は省略するが、EDGE3'と閾値ThL21、ThL22とを比較し、ThL2_2maxからThL2_minまでの範囲で値を決定する。なお、ThL22＞ThL21、かつ、ThL2_2max ＞ ThL2_min ＞ ThL1_maxである。

このように、合成部1120の第2の合成比率MIX2を決定する際に、より低解像度の画像においてもアップサンプリングされた第3のエッジ信号EDGE3'によりエッジであると判定された場合には、EDGE2の判別閾値（ThL1、ThL2)を小さくする。これにより、エッジ判別精度を高めると共に、高解像度の画像の合成比率も高める。このように、よりノイズの影響を受けにくい低解像度画像から検出したエッジ検出結果を利用することで、ノイズとエッジの識別が難しい画像についても、エッジ検出精度を向上することが可能となる。

次に、図６は合成部1020における合成処理を説明する図である。図６（Ａ）の横軸はエッジ検出部1012から出力された第１のエッジ信号EDGE1で、縦軸が合成部1020の第１の合成比率MIX1を示す。ここでは、閾値ThH1及びThH2と比較することによりEDGE1を評価し、第１の合成比率MIX1を決定する。注目画素におけるEDGE１が閾値ThH2以上の場合、第１の合成比率MIX1は１となり、合成部1020は、注目画素におけるNR処理部1011から出力されたNR画像（DATA1）を第１の合成画像（DATA1'）として選択し出力する。注目画素におけるEDGE1が閾値ThH1以下の場合、第１の合成比率MIX1は０となり、合成部1020は注目画素におけるアップサンプリングされた第１の低解像度NR画像（DATA2'）を第１の合成画像（DATA1'）として選択し出力する。また、注目画素におけるEDGE1が閾値ThH1とThH2との間の値をとる場合は、以下の式に従って第１の合成比率MIX1が決定される。

MIX1 ＝（EDGE1 - ThH1）／（ThH2 - ThH1) (式７）
第１の合成比率MIX1が決定すると、合成部1020から出力される注目画素における第１の合成画像（DATA1'）は以下の式に従って決定される。

DATA1'＝（DATA1×MIX1）+（DATA2"×(1-MIX1)） （式８）
以上の処理を、合成部1020から出力される第１の合成画像DATA1'に含まれる全ての画素について行う。

また、図６（Ｂ）は、EDGE1と比較される閾値ThH1とThH2の決定方法の一例を示す。横軸がＵＳ部1022でアップサンプリングされた第２の合成比率MIX2'で、縦軸がエッジ検出の閾値ThH1を示す。MIX2'信号が１の場合、閾値ThH1はThH1_minを出力し、MIX2'信号が０の場合、閾値ThH1はThH1_maxを出力する。MIX2'信号が０と１との間の値をとる場合は、以下の式に従って閾値ThH1を決定する。

ThH1＝（ThH1_min - ThH1_max）＊（MIX2') +ThH1_max (式９）
なお、閾値ThH2の演算もThH1と同様に算出可能であるので説明は省略するが、MIX2'と閾値ThH21、ThH22とを比較し、ThH2_2maxからThH2_minまでの範囲で値を決定する。なお、ThH22＞ThH21、かつ、ThH2_2max ＞ ThH2_min ＞ ThH1_maxである。

このように、合成部1020の合成比率を決定する際に、MIX2'が大きい（エッジ成分が多い）と判定された場合、EDGE1の判別閾値（ThH1、ThH2)を小さくして、エッジ判別精度を高くする。また、これにより高解像度画像の合成比率を高くすることができる。このように、本実施形態では、よりノイズの影響を受けにくい低解像度画像について得られた合成比率を、画像のエッジ成分に関する指標として利用する。これにより、ノイズとエッジの識別が難しい画像においても、エッジ検出精度を向上することが可能となる。

上記説明したように、本実施形態では、低解像度画像から求めたエッジ検出結果及び合成比率と、高解像度画像のエッジ検出結果とを参照して、高解像度画像の合成比率を決定する。これにより、ノイズとエッジの識別が難しい画像であっても、エッジ検出精度を向上させることができる。よって、エッジ成分の多い画像については、高解像度の画像の合成比率を高めてエッジ情報を残存させる一方、エッジ成分が少ない画像については低解像度の画像の合成比率を高めてノイズ成分を低減させることができる。

なお、本実施形態において、低解像度画像のエッジ検出の結果または合成比率を参照して、エッジ検出の閾値（ThL1、ThL2、ThH1、ThH2）を変更する方法を用いて説明した。しかし、低解像度画像におけるエッジ検出結果や合成比率を合成比率に反映させるものであれば、方法はこれに限るものでない。

［実施形態２］
次に、発明の第２の実施形態を説明する。図７は発明の一実施形態に対応する画像処理装置の構成を示すブロック図であり、特に画像処理ユニットの構成を示している。本実施形態においても、画像処理装置の全体的な構成は図１と同様であり、以下、画像処理装置が撮像装置の場合であって、画像処理ユニットが機能部１０５における画像処理部の一部として実装される場合を説明する。但し、実施形態１と共通する点については説明を省略し、異なる点について主に説明する。なお、図７において、図１に対応する構成要素に対しては同一の参照番号を付している。

メモリ1010から出力された入力画像はノイズ除去（ＮＲ）処理部7011に入力され、本実施形態に対応するＮＲ処理が行われて、NR画像（DATA１）が出力される。合成部7020は、ＮＲ処理部7011から出力されたNR画像（DATA1）と、アップサンプリング（ＵＳ）部1021から出力されたアップサンプリングされた第２の合成画像（DATA2'')とを合成する。当該合成は、エッジ検出部1012の出力である第１のエッジ信号（EDGE1）に基づき決定される第１の合成比率（MIX1）に従って行う。合成部1020における合成結果の第１の合成画像は、画像処理ユニットにおける処理結果の出力画像として出力される。

次に、メモリ1110からの出力された第１の低解像度画像はＮＲ処理部7111に入力され、本実施形態に対応するＮＲ処理が行われ、第１の低解像度NR画像（DATA2）が出力される。また、第１の低解像度画像は、エッジ検出部1112にも入力され、第2のエッジ信号（EDGE2）が生成される。

合成部7120は、ＮＲ処理部7111から出力された第１の低解像度NR画像(DATA2)と、ＵＳ部1121でアップサンプリングされた第2の低解像度NR画像(DATA3')とを合成する。当該合成は、エッジ検出部1112の出力である第2のエッジ信号（EDGE2）に基づき合成比率（MIX2）を決定して行う。

合成部7120は合成結果の第２の合成画像（DATA2'）と第2の合成比率(MIX2)とを出力する。第２の合成画像（DATA2'）はＵＳ部1021に入力され、第２の合成比率（MIX2）はＵＳ部1022に入力され、それぞれアップサンプリングされる。ＵＳ部1022でアップサンプリングされた第2の合成比率（MIX2'）は、ＮＲ処理部7011に入力される。

メモリ1210から出力された第2の低解像度画像はＮＲ処理部1211に入力され、ＮＲ処理が行われて、第２の低解像度ＮＲ画像（DATA3）が出力される。また、第２の低解像度画像は、エッジ検出部1212にも入力され、第３のエッジ信号（EDGE3）が生成される。出力された第３のエッジ信号は、US部1122でアップサンプリングされて、NR処理部7111に入力される。

次に、ＮＲ処理部7011及び7111におけるノイズ除去処理の詳細を説明する。図８は、NR処理部におけるノイズ除去処理の一例を示すフローチャートである。当該フローチャートに対応する処理は、機能部１０５の画像処理部を構成する専用ロジック回路のＮＲ処理部に相当する回路において実施することができるが、それ以外にも、ＮＲ処理部として機能するＣＰＵ１０１が対応するプログラム（ＲＯＭ等に格納）を実行することにより実施しても良い。

ステップＳ８０１で、後段のステップＳ８０４の処理で使用する閾値の設定を行う。ここでの閾値設定の方法の一例を図９、図１０を参照して説明する。図９は、NR処理部7111における閾値設定方法の一例を説明する図である。図９において、横軸はアップサンプリングされた第３のエッジ信号EDGE3'を表し、縦軸はノイズ除去処理用の閾値NRThの値を表す。本実施形態では、閾値NRThは、NRTh__maxからNRTh__minまでの値をとる。EDGE3'の値を閾値ThN11及びThN12と比較し、ThN11以下の場合、閾値NRThをNRTh__maxに決定する。一方、EDGE3'がThN12以上の場合、閾値NRThをNRTh_minに決定する。EDGE3'が閾値ThN11とThN12との間の場合は、以下の式に従って閾値NRTｈを決定する。

NRTh＝｛（NRTh_min - NRTh_max）／（ThN12-ThN11）｝＊（EDGE3' - ThN11) +NRTh_max (式１０）
次に、図１０は、NR処理部7011における閾値設定方法の一例を説明する図である。図１０において、横軸はＵＳ部1022でアップサンプリングされた第２の合成比率MIX2'を表し、縦軸はノイズ除去処理用の閾値NRTHの値を表す。本実施形態では、閾値NRTHは、NRTh__maxからNRTh__minまでの値をとる。ここではMIX2'が0の場合、閾値NRThをNRTh__maxに決定し、１の場合、閾値NRThをNRTh_minに決定する。MIX2'が0と1との間の場合は、以下の式に従って閾値NRThを決定する。

NRTh＝（NRTh_min - NRTh_max）＊MIX2'+NRTh_max (式１１）
再び図８の説明に戻り、S８０１で閾値が決定すると、Ｓ８０２で、処理対象画像の全画素について画素ごとに色成分信号から式１に基づいて彩度信号Ｃを生成する。S８０２以降S８０９までの処理は、図２のS２０１からS２０８と同様であるので、詳細な説明は省略する。

なお、本実施形態では、NR処理部において前段のエッジ検出結果や合成比率を考慮したノイズ除去処理を行っているので、合成部1120及び1020では、これらを考慮しなくても良い。即ち、図５（Ｂ）や図６（Ｂ）における閾値ThL1、ThL2、ThH1及びThH2の決定処理を省略し、各閾値を固定とすることができる。その場合、合成対象の画像については、画像に含まれるエッジ成分量に応じたノイズ除去処理が行われているので、エッジ判別精度が高くなるように、各閾値を小さく設定することができる。例えば、ThL1＝ThL1_min、ThL2＝ThL2_min、ThH1＝ThH1_min、及び、ThH2＝ThH2_minとすることができる。

以上のように、ＮＲ処理部においてノイズ除去処理を行う際に、注目画素と周辺画素との差分絶対値と比較される閾値を、低解像度画像におけるエッジ検出結果や合成比率に基づいて決定しノイズ除去の度合いを制御することができる。これにより、例えば、第2の低解像度画像におけるエッジ検出結果に基づくアップサンプリングされた第2のエッジ信号EDGE3で、エッジ成分が多いと判断される場合は、ＮＲ処理の閾値が小さくなる。この結果、平滑化処理に利用される周辺画素数が減り、第１の低解像度画像に対するＮＲ処理効果が弱められ、画像におけるエッジ成分が維持されることになる。一方、第２のエッジ信号EDGE3からエッジ成分が少ないと判断される場合は、ＮＲ処理の閾値を大きくする。この結果、より多くの周辺画素を用いた平滑化処理がお壊れることになるので第１の低解像度画像に対するノイズ除去効果を高めた上で、合成処理を実行することができる。

また、例えば合成部1120における合成比率MIX2において、第１の低解像度NR画像の合成比率が高いと判断される場合、ＮＲ処理の閾値が小さくなる。この結果、入力画像に対するＮＲ処理効果が弱められ、画像におけるエッジ成分が維持されることになる。一方、第１の低解像度NR画像の合成比率が低いと判断される場合、ＮＲ処理の閾値を大きくする。この結果、入力画像に対するノイズ除去効果を高めた上で、合成処理を実行することができる。

以上のように、本実施形態によれば、低解像度画像から求めたエッジ検出結果や合成比率を参照して、処理対象の画像に含まれるエッジ成分が多いと判断される場合、高解像度画像のＮＲ処理部の効果を弱くしてエッジ情報を維持することができる。これにより、ノイズとエッジの識別が難しい画像であっても、ノイズとエッジの検出精度を向上することが可能となる。

本実施形態でも、低解像度画像のエッジ検出結果や合成比率を参照して、ＮＲ処理部の閾値（Th1、Th2）を変更する方法を用いて説明した。しかし、低解像度画像のエッジ検出の結果または合成比率をＮＲ処理部に反映させるものであれば、方法はこれに限るものでない。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (17)

1. 入力画像と、前記入力画像から得られた低解像度画像とを第１の合成比率に基づき合成して、第１の合成画像を生成する画像処理装置であって、
   前記入力画像を段階的に低解像度化する低解像度化手段と、
   前記低解像度化手段により段階的に低解像度化して得られた、解像度レベルの異なる複数の低解像度画像を、各低解像度画像に含まれるエッジ成分の大きさに応じた第２の合成比率に基づき合成して第２の合成画像を生成する第１の合成手段と、
   前記入力画像に含まれるエッジ成分の大きさと前記第２の合成比率とに基づく前記第１の合成比率に基づき、前記入力画像と前記第２の合成画像とを合成し、前記第１の合成画像を生成する第２の合成手段と
   を備えることを特徴とする画像処理装置。
2. 前記第１の合成手段は、前記低解像度化手段により得られた第１の低解像度画像と、該第１の低解像度画像よりも更に解像度の低い第２の低解像度画像とを合成し、
   前記第２の合成手段は、前記入力画像に含まれる前記エッジ成分の大きさを、前記第２の合成比率における前記第１の低解像度画像の合成比率の大きさに応じた第１の閾値との比較に基づき評価して、前記第１の合成比率を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の合成手段は、前記第２の合成比率における前記第１の低解像度画像の合成比率が大きいほど、前記第１の閾値を小さく設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記第２の合成手段は、前記入力画像に含まれるエッジ成分が大きいほど、前記第１の合成比率において該入力画像の合成比率を高くすることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記第１の合成手段は、前記第１の低解像度画像に含まれる前記エッジ成分の大きさを、前記第２の低解像度画像に含まれる前記エッジ成分の大きさに応じた第２の閾値との比較に基づき評価して、前記第２の合成比率を決定することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 前記第１の合成手段は、前記第２の低解像度画像に含まれる前記エッジ成分が大きいほど、前記第２の閾値を小さく設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記第１の合成手段は、前記第１の低解像度画像に含まれるエッジ成分が大きいほど、前記第２の合成比率において該第１の低解像度画像の合成比率を高くすることを特徴とする請求項５または６に記載の画像処理装置。
8. 入力画像と、前記入力画像から得られた低解像度画像とを第１の合成比率に基づき合成して、第１の合成画像を生成する画像処理装置であって、
   前記入力画像を段階的に低解像度化する低解像度化手段と、
   前記入力画像からノイズ除去する第１の除去手段と、
   前記低解像度化手段により段階的に低解像度化して得られた、第１の低解像度画像と、前記第１の低解像度画像よりも解像度の低い第２の低解像度画像とからノイズ除去する第２の除去手段と、
   前記ノイズ除去された前記第１の低解像度画像と前記第２の低解像度画像とを、前記第１の低解像度画像に含まれるエッジ成分の大きさに応じた第２の合成比率に基づき合成して第２の合成画像を生成する第１の合成手段と、
   前記ノイズ除去された入力画像に含まれるエッジ成分の大きさに基づく前記第１の合成比率に基づき、前記ノイズ除去された入力画像と前記第２の合成画像とを合成し、前記第１の合成画像を生成する第２の合成手段と
   を備え、
   前記第１の除去手段は、前記第２の合成比率に応じたノイズ除去の度合いにより、前記入力画像からノイズ除去を行うことを特徴とする画像処理装置。
9. 前記第１のノイズ除去手段は、前記入力画像に含まれる画素のうち、
   注目画素と周辺画素との差分絶対値が、前記第２の合成比率における前記第１の低解像度画像の合成比率の大きさに応じた第１の閾値よりも小さくなる周辺画素と、
   前記注目画素と
   を用いた平滑化処理により、前記ノイズ除去を行うことを特徴とする請求項８に記載の画像処理装置。
10. 前記第１のノイズ除去手段は、前記第２の合成比率における前記第１の低解像度画像の合成比率が大きいほど、前記第１の閾値を小さく設定することを特徴とする請求項９に記載の画像処理装置。
11. 前記第２のノイズ除去手段は、前記第１の低解像度画像について、前記第２の低解像度画像に含まれるエッジ成分の大きさに応じたノイズ除去の度合いにより前記ノイズ除去を行うことを特徴とする請求項８乃至１０のいずれか１項に記載の画像処理装置。
12. 前記第２のノイズ除去手段は、前記第１の低解像度画像に含まれる画素のうち、
    注目画素と周辺画素との差分絶対値が、前記第２の低解像度画像に含まれるエッジ成分の大きさに応じた第２の閾値よりも小さくなる周辺画素と、
    前記注目画素と
    を用いた平滑化処理により、前記ノイズ除去を行うことを特徴とする請求項１１に記載の画像処理装置。
13. 前記第２のノイズ除去手段は、前記第２の低解像度画像に含まれるエッジ成分が大きいほど、前記第２の閾値を小さく設定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記入力画像を撮像する撮像手段を更に備えることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 入力画像と、前記入力画像から得られた低解像度画像とを第１の合成比率に基づき合成して、第１の合成画像を生成する画像処理装置の制御方法であって、
    前記入力画像を段階的に低解像度化する低解像度化工程と、
    前記低解像度化工程において段階的に低解像度化して得られた、解像度レベルの異なる複数の低解像度画像を、各低解像度画像に含まれるエッジ成分の大きさに応じた第２の合成比率に基づき合成して第２の合成画像を生成する第１の合成工程と、
    前記入力画像に含まれるエッジ成分の大きさと前記第２の合成比率とに基づく前記第１の合成比率に基づき、前記入力画像と前記第２の合成画像とを合成し、前記第１の合成画像を生成する第２の合成工程と
    を備えることを特徴とする画像処理装置の制御方法。
16. 入力画像と、前記入力画像から得られた低解像度画像とを第１の合成比率に基づき合成して、第１の合成画像を生成する画像処理装置の制御方法であって、
    前記入力画像を段階的に低解像度化する低解像度化工程と、
    前記入力画像からノイズ除去する第１の除去工程と、
    前記低解像度化工程において段階的に低解像度化して得られた、第１の低解像度画像と、前記第１の低解像度画像よりも解像度の低い第２の低解像度画像とからノイズ除去する第２の除去工程と、
    前記ノイズ除去された前記第１の低解像度画像と前記第２の低解像度画像とを、前記第１の低解像度画像に含まれるエッジ成分の大きさに応じた第２の合成比率に基づき合成して第２の合成画像を生成する第１の合成工程と、
    前記ノイズ除去された入力画像に含まれるエッジ成分の大きさに基づく前記第１の合成比率に基づき、前記ノイズ除去された入力画像と前記第２の合成画像とを合成し、前記第１の合成画像を生成する第２の合成工程と
    を備え、
    前記第１の除去工程では、前記第２の合成比率に応じたノイズ除去の度合いにより、前記入力画像からノイズ除去が行われることを特徴とする画像処理装置の制御方法。
17. コンピュータを請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images