JP2013246558A - 画像処理装置、画像処理方法、画像処理用プログラム及び情報記録媒体 - Google Patents

画像処理装置、画像処理方法、画像処理用プログラム及び情報記録媒体 Download PDF

Info

Publication number
JP2013246558A
JP2013246558A JP2012118541A JP2012118541A JP2013246558A JP 2013246558 A JP2013246558 A JP 2013246558A JP 2012118541 A JP2012118541 A JP 2012118541A JP 2012118541 A JP2012118541 A JP 2012118541A JP 2013246558 A JP2013246558 A JP 2013246558A
Authority
JP
Japan
Prior art keywords
pixel
contour
noise
threshold
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012118541A
Other languages
English (en)
Inventor
Kuniaki Aragane
邦明 荒金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2012118541A priority Critical patent/JP2013246558A/ja
Publication of JP2013246558A publication Critical patent/JP2013246558A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】デジタル画像を構成する各画素に対する雑音除去効果と輪郭強調効果とを両立させて、より高画質のデジタル画像を得ることが可能な画像処理装置を提供する。
【解決手段】デジタル画像内のフィルタ対象領域における中心画素の輝度と、中心画素の周囲にある複数の周辺画素の輝度と、を用いて、フィルタ対象領域に対する雑音除去処理又は輪郭強調処理を行う場合に、フィルタ対象領域内において、中心画素が周辺画素に対して雑音となるか輪郭となるかを判定すると共に、その判定結果に基づいてフィルタ対象領域に対する雑音除去処理又は輪郭強調処理を切り換えるモード切換部５を備える。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法、画像処理用プログラム及び情報記録媒体の技術分野に属する。より詳細には、複数の画素により構成されるデジタル画像を処理する画像処理装置及び画像処理方法、当該画像処理用のプログラム及び当該画像処理用プログラムを記録した情報記録媒体の技術分野に属する。
近年、例えばデジタルカメラ等に内蔵される撮像素子（例えば、ＣＣＤ（Charge-Coupled Device）等の撮像素子）は、高密度化等による高性能化が著しい。そしてこれに伴い、撮像素子から出力される撮像信号又は当該撮像信号を処理して得られる画像信号に含まれる雑音（ノイズ。以下、同様。）の低減又は除去のための技術の開発も、盛んに行われている。
ここで、上述した撮像信号に含まれる雑音には、例えば、その撮像素子の構造上の原因により原画像（動画像又は静止画像を含む。以下、同様。）を含む撮像信号に含まれることとなる雑音がある。また撮像信号を処理して得られる画像信号に含まれる雑音には、例えば、デジタル画像生成のためのブロック符号化処理が撮像信号に施されることに起因する、いわゆるブロック雑音がある。
これに対し、上記ブロック雑音等の雑音を除去するための雑音除去処理をデジタル画像に施すと、当該雑音除去処理特有のいわゆる平滑化作用により、輪郭として強調されるべきそのデジタル画像の部分まで、ぼやけた印象を与えるように処理されてしまう場合がある。よって最近では、デジタル画像に対する雑音除去処理と輪郭強調処理とを、できるだけ高い次元で両立させることが求められている。このような両立をするための手法として、例えば下記特許文献１に記載されている手法がある。
この手法では、雑音除去処理の対象となるデジタル画像において、先ず相互に隣接する複数の画素により構成される方形のフィルタ対象領域（例えば、縦三画素×横三画素の合計九画素からなるフィルタ対象領域）を想定する。そしてこのフィルタ対象領域内で、その中心にある中心画素の信号とその周辺にある周辺画素の信号との差分を周辺画素ごとに算出し、更にその算出された各差分に対して所定の非線形処理を施す。このときの画素の信号とは、例えばその画素の輝度信号である。これらの処理により、画素の信号のレベルの変化が大きい高域成分（輪郭）は強調され、一方、当該変化が小さい低域成分（雑音）は除去される構成とすることができる。
より具体的に特許文献１記載の手法は、以下の（１）から（３）までの三段階の処理を含んで構成されている。
（１）例えば九つの隣接する画素からなる上記フィルタ対象領域の中心にある画素を「中心画素」とし、中心画素の周囲にあるその他の八つの画素を「周辺画素」として設定する。
（２）中心画素の例えば輝度信号と周辺画素の例えば輝度信号との差分を周辺画素ごとに算出し、中心画素が各周辺画素のそれぞれに対して雑音であるか輪郭であるかを判別する。即ち、周辺画素に対して上記差分が大きい中心画素を輪郭と判別し、一方周辺画素に対して上記差分が小さい中心画素を雑音と判別する。
（３）各周辺画素に対する上記差分を入力とし、当該入力に対して例えば特許文献１の第８図により示される非線形処理を実行し、その結果に対して所定のフィルタ係数を乗算する処理を周辺画素ごとに実行し、その結果の総和と中心画素の例えば輝度信号とを加算する。このとき、中心画素が雑音となると判別された周辺画素の信号の符号は上記非線形処理により反転されるが、中心画素が輪郭となると判別された周辺画素の信号の符号は反転されない。
以上の（１）から（３）の処理をデジタル画像内の全てのフィルタ対象領域を対象として実行することで、特許文献１記載の手法では、雑音除去処理と輪郭強調処理の双方を一つの非線形処理により実現することとされている。
特開平３−２４５６７５号公報（第８図等）
しかしながら特許文献１記載の手法では、一つのフィルタ対象領域について上記（１）乃至（３）の処理が実行される結果、非線形処理の結果の総和がゼロに限りなく近づく場合がある。即ち、特許文献１記載の手法では、上述したように中心画素が雑音となると判別された周辺画素の信号の符号は反転されるが、中心画素が輪郭となると判別された周辺画素の信号の符号は反転されないため、それらの総和がゼロに近づくことがあり得る。そして非線形処理の結果の総和がゼロに近付けば、結果として、一つのフィルタ対象領域についての非線形処理の出力信号と入力信号とが（当然ながら）ほぼ同じ、即ち、実質的に特許文献１記載の手法が実行されていないのと同等となってしまう。
この場合、例えば、フィルタ対象領域内において中心画素が雑音となると判別された周辺画素の割合が非常に多く、輪郭となると判別された周辺画素の割合が少ないような場合、使用者としては、そのフィルタ対象領域については雑音除去処理を実行させたいと考えるにも拘わらず、特許文献１記載の手法が結果的に実行されないのと同等となり、所望される高画質化が実行されない場合があるという問題点があった。このような問題点は、例えば、デジタル画像において輪郭に相当する画素の付近でざらざらした雑音が発生している場合等において、多く考えられ得る。
また一般に、雑音除去効果を高めるためには、フィルタ対象領域に含まれる画素の数を多く設定する必要がある。しかしながらフィルタ対象領域内の画素数を多くした場合には、結果として上記非線形処理の結果の総和がゼロに近付く可能性がより高くなるため、上記の問題点が顕在化すると考えられる。
そこで本発明は、上記の問題点等に鑑みて為されたもので、その課題の一例は、デジタル画像を構成する各画素に対する雑音除去効果と輪郭強調効果とを両立させて、より高画質のデジタル画像を得ることが可能な画像処理装置及び画像処理方法、当該画像処理用のプログラム及び当該画像処理用プログラムを記録した情報記録媒体を提供することにある。
上記の課題を解決するために、請求項１に記載の発明は、複数の画素により形成されるデジタル画像における一の画素の信号と、当該デジタル画像において当該一の画素の周囲にある複数の他の画素の信号と、を用いて、当該一の画素と当該複数の他の画素から構成される対象領域に対する雑音除去処理を行う演算部等の雑音除去手段と、前記一の画素の前記信号と、前記複数の他の画素の前記信号と、を用いて、前記対象領域に対する輪郭強調処理を行う演算部等の輪郭強調手段と、前記対象領域内において、前記一の画素が前記他の画素に対して雑音となるか輪郭となるかを判定するモード切換部等の判定手段と、前記判定手段による判定結果に基づいて、前記対象領域に対して前記雑音除去処理又は前記輪郭強調処理を行うように、前記雑音除去手段又は前記輪郭強調手段を切り換える切換処理を行うモード切換部等の切換手段と、を備える。
上記の課題を解決するために、請求項１１に記載の発明は、複数の画素により形成されるデジタル画像における一の画素の信号と、当該デジタル画像において当該一の画素の周囲にある複数の他の画素の信号と、を用いて、当該一の画素と当該複数の他の画素から構成される対象領域に対する雑音除去処理を行う演算部等の雑音除去手段と、前記一の画素の前記信号と、前記複数の他の画素の前記信号と、を用いて、前記対象領域に対する輪郭強調処理を行う演算部等の輪郭強調手段と、を備える画像処理装置において実行される画像処理方法であって、前記対象領域内において、前記一の画素が前記他の画素に対して雑音となるか輪郭となるかを判定する判定工程と、前記判定工程における判定結果に基づいて、前記対象領域に対して前記雑音除去処理又は前記輪郭強調処理を行うように、前記雑音除去手段又は前記輪郭強調手段を切り換える切換処理を行う切換工程と、を含む。
上記の課題を解決するために、請求項１２に記載の発明は、複数の画素により形成されるデジタル画像を処理する画像処理装置に含まれるコンピュータを、前記画像における一の画素の信号と、当該デジタル画像において当該一の画素の周囲にある複数の他の画素の信号と、を用いて、当該一の画素と当該複数の他の画素から構成される対象領域に対する雑音除去処理を行う雑音除去手段、前記一の画素の前記信号と、前記複数の他の画素の前記信号と、を用いて、前記対象領域に対する輪郭強調処理を行う輪郭強調手段、前記対象領域内において、前記一の画素が前記他の画素に対して雑音となるか輪郭となるかを判定する判定手段、及び、前記判定手段による判定結果に基づいて、前記対象領域に対して前記雑音除去処理又は前記輪郭強調処理を行うように、前記雑音除去手段又は前記輪郭強調手段を切り換える切換処理を行う切換手段、として機能させる。
上記の課題を解決するために、請求項１３に記載の発明は、請求項１２に記載の画像処理用プログラムが請求項１２に記載のコンピュータにより読み取り可能に記録されている。
請求項１、請求項１１、請求項１２又は請求項１３のいずれか一項に記載の発明の作用によれば、対象領域内において一の画素が他の画素に対して雑音であるか輪郭であるかを判定し、その判定結果に基づいて当該対象領域に対する雑音除去処理又は輪郭強調処理の切換処理を行うので、デジタル画像を構成する各画素に対する雑音除去効果と輪郭強調効果とを両立させることで、より高画質のデジタル画像を得ることができる。
上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記デジタル画像を構成する複数の前記画素それぞれを前記一の画素とする前記雑音除去処理又は前記輪郭強調処理が、当該デジタル画像を構成する全ての前記画素について行われるように、前記雑音除去手段又は前記輪郭強調手段、及び前記切換手段を制御するモード切換部等の制御手段を更に備える。
請求項２に記載の発明の作用によれば、請求項１に記載の発明の作用に加えて、デジタル画像を構成する複数の画素それぞれに対する雑音除去処理又は輪郭強調処理の切り換えが、デジタル画像を構成する全ての画素について行われるので、デジタル画像全体についてより高画質化することができる。
上記の課題を解決するために、請求項３に記載の発明は、請求項１又は請求項２に記載の画像処理装置において、前記判定結果は、一の前記対象領域において前記一の画素が輪郭となると判定された前記他の画素の数を示し、前記切換手段は、前記判定結果により示される当該数に基づき、当該一の前記対象領域についての前記切換処理を行うように構成される。
請求項３に記載の発明の作用によれば、請求項１又は請求項２に記載の発明の作用に加えて、一の対象領域において一の画素が輪郭となると判定された他の画素の数に基づき、当該一の対象領域についての切換処理を行うので、簡易な構成によりデジタル画像をより高画質化することができる。
上記の課題を解決するために、請求項４に記載の発明は、請求項３に記載の画像処理装置において、前記切換手段は、前記数が予め設定された切換閾値以上であるとき前記一の前記対象領域については前記輪郭強調手段に切り換え、当該数が当該切換閾値未満であるとき当該一の前記対象領域については前記雑音除去手段に切り換えるように構成される。
請求項４に記載の発明の作用によれば、請求項３に記載の発明の作用に加えて、一の画素が輪郭となると判定された他の画素の数が切換閾値以上であるとき輪郭強調手段に切り換え、当該数が当該切換閾値未満であるとき雑音除去手段に切り換えるので、一つの切換閾値との大小比較に基づいて輪郭強調処理と雑音除去処理とを切り換えるので、より簡易な構成によりデジタル画像をより高画質化することができる。
上記の課題を解決するために、請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記デジタル画像の部分に含まれる部分雑音が含まれている当該デジタル画像の当該部分を検出する暗部判定部等の部分検出手段を更に備え、前記切換手段は、前記検出された部分に含まれる前記対象領域についての前記切換処理に用いられる前記切換閾値を、前記検出された部分に含まれる前記対象領域以外の他の前記対象領域についての前記切換処理に用いられる前記切換閾値に対して相対的に高い値として、各前記切換処理を行うように構成される。
請求項５に記載の発明の作用によれば、請求項４に記載の発明の作用に加えて、部分雑音が含まれている部分に含まれる対象領域についての切換処理に用いられる切換閾値を、他の対象領域についての切換処理に用いられる切換閾値に対して相対的に高い値として各切換処理を行うので、部分雑音が含まれるデジタル画像の部分が考慮されることで、デジタル画像をより高画質化することができる。
上記の課題を解決するために、請求項６に記載の発明は、請求項１から請求項５のいずれか一項に記載の画像処理装置において、前記判定手段は、前記一の画素の前記信号と、前記他の画素の前記信号と、に基づいて、前記一の画素が前記他の画素に対して雑音となるか輪郭となるかを、前記他の画素ごとにそれぞれ判定して前記判定結果を前記切換手段に出力するように構成される。
請求項６に記載の発明の作用によれば、請求項１から請求項５のいずれか一項に記載の発明の作用に加えて、一の画素の信号と他の画素の信号とに基づいて、一の画素が他の画素に対して雑音となるか輪郭となるかを、他の画素ごとにそれぞれ判定するので、対象領域に対する雑音除去処理又は輪郭強調処理の切り換えを、デジタル画像を構成する画素の状態に応じて的確に切り換えることができる。
上記の課題を解決するために、請求項７に記載の発明は、請求項６に記載の画像処理装置において、前記判定手段は、前記一の画素の前記信号と、前記他の画素の前記信号と、の差が予め設定された判定閾値以上であるとき前記一の画素が前記他の画素に対して輪郭となると判定し、前記差が前記判定閾値未満であるとき当該一の画素が当該他の画素に対して雑音となると判定し、それぞれの前記判定結果を前記切換手段に出力するように構成される。
請求項７に記載の発明の作用によれば、請求項６に記載の発明の作用に加えて、一の画素の信号と他の画素の信号との差が判定閾値以上であるとき一の画素が他の画素に対して輪郭となると判定し、当該差が判定閾値未満であるとき一の画素が他の画素に対して雑音となると判定するので、一つの判定閾値との大小比較に基づいて雑音／輪郭の判定を行うので、簡易な構成で雑音と輪郭とを判定することができる。
上記の課題を解決するために、請求項８に記載の発明は、請求項７に記載の画像処理装置において、前記デジタル画像の部分に含まれる部分雑音が含まれている当該デジタル画像の当該部分を検出する暗部判定部等の部分検出手段を更に備え、前記判定手段は、前記検出された部分に含まれる前記対象領域についての判定に用いられる前記判定閾値を、前記検出された部分に含まれる前記対象領域以外の他の前記対象領域についての判定に用いられる前記判定閾値に対して相対的に低い値として、各判定を行うように構成される。
請求項８に記載の発明の作用によれば、請求項７に記載の発明の作用に加えて、部分雑音が含まれている部分に含まれる対象領域についての判定に用いられる判定閾値を、他の対象領域についての判定に用いられる判定閾値に対して相対的に低い値として各判定を行うので、部分雑音が含まれるデジタル画像の部分が考慮されることで、雑音／輪郭の判定をより高精度に行うことができる。
上記の課題を解決するために、請求項９に記載の発明は、請求項１から請求項８のいずれか一項に記載の画像処理装置において、前記輪郭強調処理はアンシャープマスキング処理であるように構成される。
請求項９に記載の発明の作用によれば、請求項１から請求項８のいずれか一項に記載の発明の作用に加えて、輪郭強調処理がアンシャープマスキング処理であるので、デジタル画像をより高画質化することができる。
上記の課題を解決するために、請求項１０請求項１から請求項８のいずれか一項に記載の画像処理装置において、前記雑音除去処理は平滑化処理である。
請求項１０に記載の発明の作用によれば、請求項１から請求項８のいずれか一項に記載の発明の作用に加えて、雑音除去処理が平滑化処理であるので、デジタル画像をより高画質化することができる。
本発明によれば、対象領域内において一の画素が他の画素に対して雑音であるか輪郭であるかを判定し、その判定結果に基づいて当該対象領域に対する雑音除去処理又は輪郭強調処理の切換処理を行う。
従って、デジタル画像を構成する各画素に対する雑音除去効果と輪郭強調効果とをバランスよく両立させることで、より高画質のデジタル画像を得ることができる。
本発明の原理を説明する図（Ｉ）であり、（ａ）は本発明に係るフィルタ対象領域を例示する図であり、（ｂ）は本発明に係る雑音除去処理の構成を例示する図である。 本発明の原理を説明する図（II）であり、（ａ）は本発明に係る輪郭強調処理の一例の構成を例示する図であり、（ｂ）は本発明に係る雑音除去処理と輪郭強調処理との切り換えを示す図である。 第１実施形態に係る画像処理装置を示す図であり、（ａ）は当該画像処理装置の概要構成を示すブロック図であり、（ｂ）は当該画像処理装置における画像処理を示すフローチャートである。 第１実施形態に係る雑音除去処理及び輪郭強調処理それぞれにおける差分信号と画素信号との関係を例示する図等であり、（ａ）は当該差分信号と画素信号との関係を例示する図であり、（ｂ）は当該差分信号と画素信号との関係の第２例を示す図である。 図５（ａ）〜（ｃ）は、第１実施形態に係る画像処理の結果を例示する図であり、図５（ａ）は当該画像処理を実行する前の原画像を示す図であり、 原画像に対して雑音除去処理のみを施した場合の結果の画像を示す図であり、 第１実施形態に係る雑音除去処理及び輪郭強調処理を施した場合の画像を示す図である。 第１実施形態に係る雑音除去処理及び輪郭強調処理における差分信号と画素信号との関係の更に他の例を示す図（Ｉ）であり、（ａ）は当該雑音除去処理における差分信号と画素信号との関係の第３例を示す図であり、（ｂ）は当該輪郭強調処理における差分信号と画素信号との関係の第３例を示す図である。 第１実施形態に係る雑音除去処理及び輪郭強調処理における差分信号と画素信号との関係の更に他の例を示す図（II）であり、（ａ）は当該雑音除去処理における差分信号と画素信号との関係の第４例を示す図であり、（ｂ）は当該輪郭強調処理における差分信号と画素信号との関係の第４例を示す図である。 第１実施形態に係る雑音除去処理及び輪郭強調処理における差分信号と画素信号との関係の更に他の例を示す図（III）であり、（ａ）は当該雑音除去処理における差分信号と画素信号との関係の第５例を示す図であり、（ｂ）は当該輪郭強調処理における差分信号と画素信号との関係の第５例を示す図である。 第２実施形態に係る画像処理装置の概要構成を示すブロック図である。 第２実施形態に係る暗部判定処理を説明する図であり、（ａ）は暗部判定の対象である画像を例示する図であり、（ｂ）は暗部判定の結果を例示する図である。
次に、本発明を実施するための形態について、図面に基づいて説明する。なお以下に説明する実施形態は、複数の画素からなるデジタル画像に対して、そのデジタル画像に含まれる雑音や歪みを除去する雑音除去処理を含む画像処理を行う画像処理装置に対して本発明を適用した場合の実施形態である。また以下の説明では、先に述べた背景技術において説明済みの概念等については、同様の名称等を用いる。
（Ｉ）本発明の原理
初めに、具体的な実施形態を説明する前に、本発明に係る基本的な原理について、図１及び図２を用いて説明する。なお図１及び図２は本発明の原理を説明するための図である。
以下に実施形態として詳細を説明するように、本発明では、デジタル画像内に設定されるフィルタ対象領域における中心画素が周辺画素に対して輪郭となるか雑音となるかを周辺画素ごとに判定する。そしてその判定結果に基づいて、そのフィルタ対象領域に対して雑音除去処理を実行するか或いは輪郭強調処理を実行するかを切り換える。これにより、デジタル画像に対する雑音除去効果と輪郭強調効果とを高次元でバランスよく両立させる。
より具体的に本発明に係る画像処理では、その一例として、周辺画素の輝度と中心画素の輝度との差分を周辺画素ごとに検出し、その差分が後述する雑音／輪郭閾値以上であるとき中心画素がその周辺画素に対して輪郭であると判定し、一方その差分が上記雑音／輪郭閾値未満であるとき中心画素がその周辺画素に対して雑音であると判定する。そして、一つのフィルタ対象領域において、中心画素が輪郭となる周辺画素の数（以下、当該数を輪郭画素数と称する。）が後述する切換閾値以上であるとき、そのフィルタ対象領域に対しては輪郭強調処理を実行する。これに対して、輪郭画素数が上記切換閾値未満であるとき、そのフィルタ対象領域に対しては雑音除去処理を実行する。
ここで本発明では、上記雑音除去処理の一例として、いわゆるε−分離非線形デジタルフィルタを用いた雑音除去処理を採用する。また上記輪郭強調処理の一例として、いわゆるアンシャープマスキング（UnSharp Masking。以下単にＵＳＭと称する）処理を採用する。そこで次に、上記ε−分離非線形デジタルフィルタを用いた雑音除去処理、上記ＵＳＭ処理及びそれらの切換処理について、それぞれ概要を説明する。
（Ａ）ε−分離非線形デジタルフィルタを用いた雑音除去処理について
始めに、本発明に係る雑音除去処理について、図１を用いて説明する。なお図１（ａ）は本発明に係るフィルタ対象領域を例示する図であり、図１（ｂ）は本発明に係る雑音除去処理の構成を例示する図である。
本発明に係る雑音除去処理の一例であるε−分離非線形デジタルフィルタを用いた雑音除去処理（以下、単に雑音除去処理と称する）は、デジタル画像としての原画像の高振幅成分（即ち、その原画像に含まれている画像構成物（被写体）の輪郭等）を損なうことなく、原画像内に低振幅成分として含まれる雑音や歪みを除去する一手法であり、例えば以下の文献に詳細に開示されている。
「原島他，“ε−分離非線形ディジタルフィルタとその応用”電子通信学会論文誌Ａ，第６５巻，ＮＯ．４，ｐｐ．２９７−３０４，Ａｐｒ．１９８２」
そして雑音除去処理では、一般には以下の（１）から（６）までの六段階の処理により、原画像における高振幅成分を損なうことなく、低振幅成分である雑音等を除去する。この雑音除去処理は、言い換えれば、上記高振幅成分を損なうことなく低振幅成分を平滑化する処理である。
（１）画像信号として入力されたデジタル画像のうち、Ｍ×Ｎ個（Ｍ及びＮは自然数）の画素からなる方形の領域を上記フィルタ対象領域として設定し、そのフィルタ対象領域に含まれている画素の輝度を、画素ごとに取得する。
（２）フィルタ対象領域の中心画素の輝度を示す輝度情報を、一時的に記憶する。
（３）当該記憶されている輝度情報により示される輝度と、フィルタ対象領域内の各周辺画素の輝度と、の差分の絶対値を、周辺画素ごとに検出する。なお一般的には、処理を簡略化すべく、上記（２）において記憶された中心画素の輝度と、フィルタ対象領域内の全ての画素（中心画素を含む）の輝度と、の差分の絶対値を画一的に求める。この場合、上記（２）において記憶した中心画素の輝度と、フィルタ対象領域内の全ての画素の一部としての中心画素の輝度と、差分（の絶対値）は、当然ながらゼロである。
（４）各周辺画素との上記差分の絶対値を用いて、雑音除去処理の対象となる画素を判定する。当該判定処理を、以下「雑音判定処理」と称する。即ち、周辺画素各々のうち、検出された差分の絶対値が予め設定されている雑音除去閾値以上である周辺画素を、当該周辺画素の輝度が上記高振幅成分に属する（即ち、当該周辺画素が上記輪郭等を構成する）として雑音除去処理の対象画素から除外する。一方、中心画素の輝度との差分の絶対値が上記雑音除去閾値未満である周辺画素を、当該周辺画素の輝度が上記低振幅成分に属する（即ち、当該周辺画素に雑音等が含まれる）として雑音除去処理の対象画素とする。
（５）雑音除去処理の対象画像についての上記差分と予め設定されているフィルタ係数とを乗算する処理を、対象画像それぞれについて行い、対象画像それぞれについての乗算結果を全て加算する。
（６）上記の加算結果を、上記（２）において記憶した輝度情報により示される中心画素の輝度に加算し、その加算結果を、当該中心画素における雑音除去後の輝度とする。
以上説明した（１）から（６）までの六段階の処理を、デジタル画像を構成する画素を順次上記中心画素として繰り返し実行することにより、当該一つのデジタル画像についての雑音除去処理が実行される。なお上記（４）の雑音判定処理では、雑音除去閾値の設定方法によっては、検出された差分の絶対値が雑音除去閾値より大きい周辺画素を雑音除去処理の対象画素から除外し、当該差分の絶対値が雑音除去閾値以下である周辺画素を雑音除去処理の対象画素としてもよい。
次に、上記の雑音除去処理について、より具体的に図１を用いて説明する。
本発明においては、例えば図１（ａ）に例示するように、五画素×五画素の画素Ｐxを含むフィルタ対象領域Ｆが、画像信号たるデジタル画像に含まれる各画素を中心画素として、中心画素ごとに当該デジタル画像において設定される。なお図１（ａ）では、合計二十五個の画素を、それぞれ画素Ｐx m,n（ｍ及びｎは５以下の自然数）として示している。図１（ａ）に例示されるフィルタ対象領域Ｆでは、画素Ｐx33が上記中心画素となる。そしてフィルタ対象領域Ｆ内の各画素Ｐxからは、それぞれの画素Ｐxの輝度が取得される。この輝度について図１では、例えば画素Ｐx11の輝度は「Ｐ１１」と表記されている。
そして図１（ｂ）に示すように、本発明に係る雑音除去処理においては、差分演算処理２と、雑音判定処理３Ｎと、乗算処理４と、演算処理８と、が実行される。このとき演算処理８には、合算処理８Ａと、加算処理８Ｎと、が含まれている。
この構成において差分演算処理２では、図１（ｂ）に示すように、フィルタ対象領域Ｆを含むデジタル画像に相当する画像信号Ｓinが処理の対象とされる。この場合には、画像信号Ｓinの中から、フィルタ対象領域Ｆを構成する各画素Ｐx（中心画素Ｐx33を含む）の輝度が一時的に記憶される。これらの処理は上記（１）及び上記（２）にそれぞれ記載された処理に相当する。
次に差分演算処理２において、中心画素Ｐx33を含むフィルタ対象領域Ｆ内の各画素Ｐxの輝度を示す上記輝度情報に対して、上記（３）に相当する処理を実行する。即ち差分演算処理２において、図１（ｂ）に模式的に示すように、中心画素Ｐx33の輝度と、各画素Ｐxの輝度Ｐと、の差分Δを画素Ｐxごとに算出し、その算出結果を画素Ｐxごとに雑音判定処理３Ｎに出力する。例えば画素Ｐx11について差分演算処理２においては、その輝度Ｐ１１と中心画素Ｐx33の輝度Ｐ３３との差分Δ１１を算出して雑音判定処理３Ｎに出力する。また例えば画素Ｐx44について差分演算処理２においては、その輝度Ｐ４４と中心画素Ｐx33の輝度Ｐ３３との差分Δ４４を算出して雑音判定処理３Ｎに出力する。差分演算処理２においては、以上の処理が、図１（ｂ）に示すようにフィルタ対象領域Ｆ内の全ての画素Ｐxについて実行される。
次に雑音判定処理３Ｎにおいて、上記（４）の処理に相当する雑音除去処理に係る後述の雑音除去閾値と、差分演算処理２から出力されてくる画素Ｐxごとの差分Δの絶対値と、を比較し、例えば雑音除去閾値以上の値の絶対値の差分Δに対応する画素Ｐxを、本発明に係る雑音除去処理の対象画素から除外する。一方、例えば当該雑音除去閾値未満の値の絶対値の差分Δに対応する画素Ｐxを、本発明に係る雑音除去処理の対象画素とする。そして雑音判定処理３Ｎにおいては、当該対象画素とされた画素Ｐxについては対象画素であることを示すフラグ等を付加し、各画素Ｐxに対応する差分Δを、画素Ｐxごとに乗算処理４に出力する。
一方、当該乗算処理４には、予め設定されたフィルタ係数が、画素Ｐxごとに予め入力されている。図１（ｂ）においては、例えば画素Ｐx11に対応するフィルタ係数は「Ｃ１１」と表記されている。
そして乗算処理４においては、図１（ｂ）に示すように、上記フィルタ係数Ｃと、上記雑音判定処理３Ｎから出力されてくる差分Δと、を用いて、上記（５）の処理に含まれる乗算処理を実行し、その乗算結果を合算処理８Ａに出力する。即ち乗算処理４においては、雑音判定処理３Ｎから出力されてくる差分Δのうち、対象画素であることを示すフラグ等が付加されている画素Ｐx以外の全ての周辺画素Ｐxに対応する差分Δ又は当該全ての周辺画素Ｐxに対応するフィルタ係数Ｃのいずれか一方の値をゼロとし、各画素Ｐxに対応する差分Δとフィルタ係数Ｃとを画素Ｐxごとに乗算し、画素Ｐxごとの乗算結果を合算処理８Ａに出力する。この場合、雑音除去処理の対象画素である画素Ｐx以外の全ての周辺画素Ｐxについては、当該周辺画素Ｐxに対応する差分Δ又はフィルタ係数Ｃのいずれか一方の値がゼロとされているので、結果として雑音除去処理の対象画素である画素Ｐxについてのみ、上記乗算結果が有意となる。
次に合算処理８Ａにおいては、乗算処理４から出力されてきた画素Ｐxごとの乗算結果を全て加算し、その加算結果を加算処理８Ｎに出力する。この合算処理が上記（５）の処理に含まれる加算処理となる。
これにより加算処理８Ｎにおいては、全ての画素Ｐxについての合算結果に対して中心画素Ｐx33の輝度を加算し、その中心画素Ｐx33についての（換言すれば、中心画素Ｐx33を中心とするフィルタ対象領域Ｆについての）本発明に係る雑音除去処理後の出力信号Ｓoutとする。
なお、上述してきた雑音除去処理は一のフィルタ対象領域Ｆについての処理である。当該一のフィルタ対象領域Ｆの全てについて雑音除去処理が終了した後は、中心画素Ｐx33に隣接する画素Ｐx（具体的には、図１（ａ）に例示する画素Ｐx22、画素Ｐx23、画素Ｐx24、画素Ｐx32、画素Ｐx34、画素Ｐx42、画素Ｐx43、画素Ｐx44のいずれか）を中心画素とした新たなフィルタ対象領域Ｆを設定し、そのフィルタ対象領域Ｆについて雑音除去処理が実行されるべきと判定された場合に、当該フィルタ対象領域Ｆに対する上記差分演算処理２、雑音判定処理３Ｎ、乗算処理４及び演算処理８が改めて実行されることになる。
そして、一のデジタル画像内に設定され得るフィルタ対象領域Ｆのうち、雑音除去処理が実行されるべきと判定されたフィルタ対象領域Ｆの全てについて、中心画素を換えつつ、上記差分演算処理２、雑音判定処理３Ｎ、乗算処理４及び演算処理８が繰り返し実行されることにより、当該一のデジタル画像についての雑音除去処理が終了する。
（Ｂ）ＵＳＭ処理について
次に、本発明に係るＵＳＭ処理について、図２（ａ）を用いて説明する。なお図２（ａ）は本発明に係るＵＳＭ処理の構成を例示する図である。
本発明に係る輪郭強調処理の一例であるＵＳＭ処理（以下単にＵＳＭ処理と称する）は、デジタル画像内の輪郭がぼやけている場合にその輪郭を強調するフィルタ処理として一般的な処理であり、例えば以下のＵＲＬで示される文献にその概要が開示されている。
ＵＲＬ；「http://imagingsolution.blog107.fc2.com/blog-entry-114.html」
そしてＵＳＭ処理としては、フィルタ対象領域の中心画素の輝度と周辺画素の輝度との差分を用いた処理を上記文献（ＵＲＬ）に開示されている処理に適用（応用）する。これにより、上記雑音除去処理の一部をその一部に流用しつつ、デジタル画像におけるＵＳＭ処理を行うことができる。より具体的にＵＳＭ処理では、以下の（１）から（６）までの六段階の処理を実行する。なお以下の（１）から（６）において上記雑音除去処理と同様の処理については、その旨を記載して詳細な説明を省略する。
（１）雑音除去処理における（１）の処理と同様に、画像信号として入力されたデジタル画像において設定されたフィルタ対象領域に含まれている画素の輝度を、画素ごとに取得する。
（２）フィルタ対象領域の中心画素の輝度を示す輝度情報を、一時的に記憶する。
（３）雑音除去処理における（３）の処理と同様に、一時記憶されている輝度情報により示される輝度と、フィルタ対象領域内の各周辺画素の輝度と、の差分の絶対値を、周辺画素ごとに検出する。
（４）各周辺画素との上記差分の絶対値を用いて、ＵＳＭ処理の対象となる画素を判定する。当該判定処理を、以下「輪郭判定処理」と称する。即ち、周辺画素各々のうち、検出された差分の絶対値が予め設定されている輪郭強調閾値以上である周辺画素を、当該周辺画素の輝度が原画像の高振幅成分に属するとしてＵＳＭ処理の対象画像とする。一方、中心画素の輝度との差分の絶対値が上記輪郭強調閾値未満である周辺画素を、当該周辺画素の輝度が原画像の低振幅成分に属するとして、ＵＳＭ処理への影響を排除すると共に当該雑音等が強調されることを防止すべく、ＵＳＭ処理の対象画素から除外する。
（５）ＵＳＭ処理の対象画素についての上記差分と予め設定されているフィルタ係数とを乗算する処理を、対象画素のそれぞれについて行い、対象画素それぞれについての乗算結果を全て加算する。
（６）上記の加算結果を、上記（２）において記憶した輝度情報により示される中心画素の輝度から減算し、その減算結果を、当該中心画素における輪郭強調後の輝度とする。なおこのように（６）の処理において中心画素の輝度から（５）の処理の加算結果を「減算」する点が雑音除去処理における（６）の処理との大きな違いである。
以上説明した（１）から（６）までの六段階の処理を、デジタル画像を構成する画素を順次上記中心画素として繰り返し実行することにより、当該一つのデジタル画像についてのＵＳＭ処理が実行される。なお上記（４）の輪郭判定処理では、輪郭強調閾値の設定方法によっては、検出された差分の絶対値が輪郭強調閾値より大きい周辺画素をＵＳＭ処理の対象画素とし、当該差分の絶対値が輪郭強調閾値以下である周辺画素をＵＳＭ処理の対象画素から除外してもよい。
次に、上記ＵＳＭ処理について、より具体的に図２（ａ）を用いて説明する。なお図２（ａ）は本発明の原理を説明するための図である。また図２（ｂ）に示すＵＳＭ処理において、図１（ｂ）に示した雑音除去処理と同様の処理等については同様の符号を付して細部の説明は省略する。
ＵＳＭ処理においては、例えば図２（ａ）に例示するように、雑音除去処理と同様のフィルタ対象領域Ｆが、デジタル画像に含まれる各画素を中心画素として、中心画素ごとに当該デジタル画像において設定される。
次にＵＳＭ処理においては、図２（ａ）に示すように、上記雑音除去処理と同様の差分演算処理２と、輪郭判定処理３Ｒと、上記雑音除去処理と同様の乗算処理４と、演算処理８と、が実行される。このとき演算処理８には、合算処理８Ａと、減算処理８Ｒと、が含まれている。
この構成において差分演算処理２では、図２（ａ）に示すように、上記雑音除去処理と同様にして上記（１）乃至（３）に記載された処理が実行され、中心画素Ｐx33の輝度と、各画素Ｐxの輝度Ｐと、の差分Δが画素Ｐxごとに検出され、それらの検出結果が画素Ｐxごとに輪郭判定処理３Ｒに出力される。この処理は、フィルタ対象領域Ｆ内の全ての画素Ｐxについて実行される。
次に輪郭判定処理３Ｒにおいては、上記（４）の処理に相当するＵＳＭ処理に係る後述の輪郭強調閾値と、差分演算処理２から出力されてくる画素Ｐxごとの差分Δの絶対値と、が比較され、例えば輪郭強調閾値以上の値の絶対値の差分Δに対応する画素ＰxをＵＳＭ処理の対象画素とする。一方、例えば当該輪郭強調閾値未満の値の絶対値の差分Δに対応する画素ＰxをＵＳＭ処理の対象画素から除外する。そして輪郭判定処理３Ｒにおいては、当該対象画素とされた画素Ｐxについては対象画素であることを示すフラグ等を付加し、各画素Ｐxに対応する差分Δを、画素Ｐxごとに乗算処理４に出力する。
一方、当該乗算処理４には、上記雑音除去処理と同様に、予め設定されたフィルタ係数が、画素Ｐxごとに予め入力されている。
そして乗算処理４においては、図２（ａ）に示すように、上記フィルタ係数Ｃと、上記輪郭判定処理３Ｒから出力されてくる差分Δと、を用いて、雑音除去処理と同様の上記（５）の処理に含まれる乗算処理を実行し、その乗算結果を合算処理８Ａに出力する。
次に合算処理８Ａにおいては、雑音除去処理と同様に画素Ｐxごとの乗算結果を全て加算し、その加算結果を減算処理８Ｒに出力する。この合算処理が上記（５）の処理に含まれる加算処理となる。
これにより減算処理８Ｒにおいては、全ての画素Ｐxについての合算結果を中心画素Ｐx33の輝度から減算し、その中心画素Ｐx33（即ち当該中心画素Ｐx33を中心とするフィルタ対象領域Ｆ）についてのＵＳＭ処理後の出力信号Ｓoutとする。
そして、一のフィルタ対象領域Ｆの全てについて上述して来たＵＳＭ処理が終了した後は、中心画素Ｐx33に隣接する画素Ｐx（具体的には、雑音除去処理と同様に、図１（ａ）に例示する画素Ｐx22、画素Ｐx23、画素Ｐx24、画素Ｐx32、画素Ｐx34、画素Ｐx42、画素Ｐx43、画素Ｐx44のいずれか）を中心画素とした新たなフィルタ対象領域Ｆを設定し、そのフィルタ対象領域ＦについてＵＳＭ処理が実行されるべきと判定された場合に、当該フィルタ対象領域Ｆに対する上記差分演算処理２、輪郭判定処理３Ｒ、乗算処理４及び演算処理８が改めて実行されることになる。
そして、一のデジタル画像内に設定され得るフィルタ対象領域Ｆのうち、輪郭強調処理が実行されるべきと判定されたフィルタ対象領域Ｆの全てについて、中心画素を換えつつ、上記差分演算処理２、輪郭判定処理３Ｒ、乗算処理４及び演算処理８が繰り返し実行されることにより、当該一のデジタル画像についての輪郭強調処理が終了する。
（Ｃ）輪郭強調処理と雑音除去処理との切換処理について
最後に、上述してきた雑音除去処理とＵＳＭ処理とを切り換える本発明に係る切換処理について、図２（ｂ）を用いて説明する。なお図２（ｂ）は、当該切換処理において、一つのフィルタ対象領域Ｆの中心画素がその周辺画素に対して輪郭であるか雑音であるかを判定するために用いられる雑音／輪郭閾値と、各画素の輝度の差分との関係を例示する図である。
上述したように本発明に係る切換処理においては、一つのフィルタ対象領域Ｆにおける輪郭画素数が本発明に係る切換閾値以上であるとき、そのフィルタ対象領域Ｆに対してはＵＳＭ処理を実行する。これに対して当該輪郭画素数が切換閾値未満であるとき、そのフィルタ対象領域Ｆに対しては雑音除去処理を実行する。また、上記切換処理の前提となる輪郭画素数の算出の際には、先ず一つのフィルタ対象領域Ｆについて輪郭画素数を計数するためのカウンタ（以下、当該カウンタを「輪郭画素数カウンタ」を称する）を設定する。そして、一つの周辺画素の輝度と中心画素の輝度との差分Δの絶対値が本発明に係る雑音／輪郭閾値以上であるとき、中心画素が当該一つの周辺画素に対しては輪郭であると判定して輪郭画素数カウンタを「１」だけ加算する。これに対してその差分Δの絶対値が雑音／輪郭閾値未満であるときには中心画素が当該一つの周辺画素に対して雑音であると判定し、この場合の輪郭画素数カウンタの値は変更されないこととする。
ここで、上記雑音／輪郭閾値は、上記差分Δの絶対値が当該雑音／輪郭閾値以上であるとき、中心画素がその差分Δに対応する一つの周辺画素に対して輪郭であると判定される閾値であり、より具体的には、図２（ｂ）に例示するように、例えば中心画素の輝度から周辺画素の輝度を引いた差分Δの最大値（正の値）と最小値（負の値）との間に、当該差分Δが負である場合に適用される雑音／輪郭閾値（−）と、当該差分Δが正である場合に適用される雑音／輪郭閾値（+）と、が、予め設定されている。この場合の雑音／輪郭閾値（−）の絶対値と雑音／輪郭閾値（+）の絶対値とは等しい。そして、差分Δが雑音／輪郭閾値（+）以上であるか、又は差分Δが雑音／輪郭閾値（−）以下であるとき、中心画素がその差分Δに対応する一つの周辺画素に対して輪郭であると判定され、上記輪郭画素数カウンタが「１」だけ加算されるのである。
（Ｄ）本発明に係る各閾値について
以上それぞれ説明したように、本発明に係る閾値としては、雑音除去閾値、輪郭強調閾値、雑音／輪郭閾値、及び切換閾値の四つがある。ここで、それぞれの閾値について改めて纏めて説明する。
先ず雑音／輪郭閾値は、一のフィルタ対象領域Ｆにおける中心画素の輝度と周辺画素の輝度との差分Δとの関係により、その中心画素がその差分Δに対応する周辺画素に対して輪郭であるか雑音であるか、を判定するために用いられる閾値である。より具体的には、当該差分Δの絶対値が雑音／輪郭閾値以上であればその中心画素がその差分Δに対応する周辺画素に対して輪郭であると判定され、当該差分Δの絶対値が雑音／輪郭閾値未満であればその中心画素がその差分Δに対応する周辺画素に対して雑音であると判定される。そして中心画素が周辺画素に対して輪郭であると判定されたとき、上記輪郭画素数カウンタが「１」だけ加算される。
次に切換閾値は、一つのフィルタ対象領域Ｆに対して雑音除去処理を実行するか、輪郭強調処理を実行するか、を判定するために用いられる閾値である。より具体的には、輪郭画素数カウンタの値が切換閾値以上であるとき、そのフィルタ対象領域Ｆに対してはＵＳＭ処理が実行され、当該輪郭画素数カウンタの値が切換閾値未満であるとき、そのフィルタ対象領域Ｆに対しては雑音除去処理が実行される。
次に雑音除去閾値は、雑音除去処理が実行される一つのフィルタ対象領域Ｆにおける中心画素の輝度と各周辺画素の輝度との差分Δとの関係により、その周辺画素を実際の雑音除去処理の対象画素とするか否かを判定するために用いられる閾値である。より具体的には、雑音除去処理が実行される一つのフィルタ対象領域Ｆにおける周辺画素各々のうち、中心画素との差分Δの絶対値が雑音除去閾値以上である周辺画素は雑音除去処理の対象画素から除外され、当該絶対値が雑音除去閾値未満である周辺画素が雑音除去処理の対象画素とされる。
最後に輪郭強調閾値は、輪郭強調処理が実行される一つのフィルタ対象領域Ｆにおける中心画素の輝度と各周辺画素の輝度との差分Δとの関係により、その周辺画素を実際の輪郭強調処理の対象画素とするか否かを判定するために用いられる閾値である。より具体的には、輪郭強調処理が実行される一つのフィルタ対象領域Ｆにおける周辺画素各々のうち、中心画素との差分Δの絶対値が輪郭強調閾値以上である周辺画素は輪郭強調処理の対象画素とされ、当該絶対値が輪郭強調未満である周辺画素が輪郭強調処理の対象画素から除外される。
なおこれら四つの閾値のうち、雑音除去閾値、輪郭強調閾値及び雑音／輪郭閾値それぞれの絶対値は、相互に異なっていてもよいし、全て等しくてもよい。
（II）第１実施形態
次に、上述した原理に基づく本発明に係る第１実施形態について、図３乃至図８を用いて説明する。なお図３は第１実施形態に係る画像処理装置を示す図であり、図４は第１実施形態に係る雑音除去処理及び輪郭強調処理それぞれにおける差分信号と画素信号との関係を例示する図等である。このとき図３においては、図１及び図２を用いて説明した本発明の原理に係る処理と同様の処理を行う部材について、図１及び図２と同様の部材番号を用いている。また図５は第１実施形態に係る画像処理の結果を例示する図であり、図６乃至図８は第１実施形態に係る雑音除去処理及び輪郭強調処理における差分信号と画素信号との関係の他の例をそれぞれ示す図である。更に以下の各実施形態におけるフィルタ対象領域Ｆは、図１に例示した場合と同様の五画素×五画素の二十五個の画素Ｐxからなるフィルタ対象領域Ｆであるとする。
図３（ａ）に示すように、第１実施形態に係る画像処理装置Ｓ１は、メモリ部１と、差分演算部２と、閾値判定部３と、乗算部４と、本発明に係る「判定手段」の一例、「切換手段」の一例及び「制御手段」の一例にそれぞれ相当し且つ図示しない上記輪郭画素数カウンタを記憶するモード切換部５と、閾値選択部６と、操作部７と、本発明に係る「雑音除去手段」の一例及び「輪郭強調手段」の一例としての演算部８と、により構成されている。
この構成においてメモリ部１には、図１（ｂ）、図２（ａ）及び図３（ａ）に示すように、フィルタ対象領域Ｆを含むデジタル画像に相当する画像信号Ｓinが入力される。そしてメモリ部１は、画像信号Ｓinの中からデジタル画像におけるフィルタ対象領域Ｆを構成する各画素Ｐx（中心画素Ｐx33を含む）の輝度を取得して、一時的に記憶する。これらの処理は、上記（Ｉ）（Ａ）欄及び上記（Ｉ）（Ｂ）欄の（１）及び（２）にそれぞれ記載された処理に相当する（図３（ｂ）ステップＳ１）。そしてメモリ部１は、記憶している各画素Ｐxの輝度を示す輝度情報を、メモリ信号Ｓmとして差分演算部２に出力する。またメモリ部１は、記憶している中心画素Ｐx33の輝度を示す輝度情報Ｓcentを演算部８に出力する。
次に差分演算部２は、中心画素Ｐx33を含むフィルタ対象領域Ｆ内の各画素Ｐxの輝度を示す上記輝度情報をメモリ部１から取得し、上記（Ｉ）（Ａ）欄及び上記（Ｉ）（Ｂ）欄の（３）に記載された処理に相当する処理を実行する。即ち差分演算部２は、図１（ｂ）及び図２（ａ）を用いて説明したように、中心画素Ｐx33の輝度と、各画素Ｐxの輝度Ｐと、の差分Δを画素Ｐxごとに検出し、その検出結果を画素Ｐxごとに差分信号Ｓdifとして閾値判定部３及びモード切換部５にそれぞれ出力する。例えば画素Ｐx11について差分演算部２は、その輝度Ｐ１１と、中心画素Ｐx33の輝度Ｐ３３と、の差分Δ１１を算出し、差分信号Ｓdifとして閾値判定部３及びモード切換部５にそれぞれ出力する。また例えば画素Ｐx44について差分演算部２は、その輝度Ｐ４４と、中心画素Ｐx33の輝度Ｐ３３と、差分Δ４４を算出し、差分信号Ｓdifとして閾値判定部３及びモード切換部５にそれぞれ出力する。以上の処理を差分演算部２は、図１（ｂ）及び図２（ａ）に示したようにフィルタ対象領域Ｆ内の全ての画素Ｐxについて実行する。
一方使用者は、例えばメモリ部１に入力される前の画像信号Ｓinに相当するデジタル画像を前もって図示しないディスプレイ上に表示させる等の処理により、そのデジタル画像の内容を把握し、当該把握した内容に基づいて、本発明に係る各閾値及びフィルタ係数Ｃを選択又は設定する操作を、操作部７において実行する。この操作の結果としての上記雑音／輪郭閾値及び上記切換閾値をそれぞれ示す閾値データを含む閾値信号Ｓotは、操作部７からモード切換部５に出力される。また当該操作の結果としての上記雑音除去閾値及び上記輪郭強調閾値をそれぞれ示す閾値データを含む閾値信号Ｓocは、操作部７から閾値選択部６に出力される。更に当該操作の結果としてのフィルタ係数Ｃを含むフィルタ係数信号Ｓftは、操作部７から乗算部４に出力される。
これらにより先ずモード切換部５は、差分演算部２から差分信号Ｓdifとして入力されている画素Ｐxごとの差分Δと、上記閾値信号Ｓotとして入力されている雑音／輪郭閾値（より具体的には、上記雑音／輪郭閾値（−）及び雑音／輪郭閾値（+）。図２（ｂ）参照）と、を画素Ｐxごとに比較する。そして、一つの差分Δの絶対値が雑音／輪郭閾値以上であるとき、画像信号Ｓinに対応するフィルタ対象領域Ｆの中心画素が当該差分Δに対応する周辺画素に対して輪郭であると判定して輪郭画素数カウンタを「１」だけ加算する。これに対してその差分Δの絶対値が雑音／輪郭閾値未満であるときには、輪郭画素数カウンタの値は変更されない（図３（ｂ）ステップＳ２）。
次にモード切換部５は、フィルタ対象領域Ｆを構成する全ての画素Ｐxについて上記輪郭画素数カウンタの更新処理が完了したら、その結果と、切換閾値と、を比較する（図３（ｂ）ステップＳ３）。そして、更新処理完了後の輪郭画素数カウンタの値が切換閾値以上であるとき（図３（ｂ）ステップＳ３；ＹＥＳ）、モード切換部５はそのフィルタ対象領域ＦについてはＵＳＭ処理を実行すべきと判定し、その旨を示す切換信号Ｓch1乃至切換信号Ｓch3をそれぞれ閾値選択部６、閾値判定部３及び演算部８へ出力する。これに対して、更新処理完了後の輪郭画素数カウンタの値が切換閾値未満であるとき（図３（ｂ）ステップＳ３；ＮＯ）、モード切換部５はそのフィルタ対象領域Ｆについては雑音除去処理を実行すべきと判定し、その旨を示す切換信号Ｓch1乃至切換信号Ｓch3をそれぞれ閾値選択部６、閾値判定部３及び演算部８へ出力する。
これにより閾値選択部６は、フィルタ対象領域ＦについてＵＳＭ処理を実行すべき旨の切換信号Ｓch1が入力された場合、閾値信号Ｓocとして入力されている二つの閾値のうち上記輪郭強調閾値を示す閾値信号Ｓthを生成して閾値判定部３に出力する。そして閾値判定部３は、フィルタ対象領域ＦについてＵＳＭ処理を実行すべき旨の切換信号Ｓch2と、上記輪郭強調閾値を示す閾値信号Ｓthと、が共に入力されると、差分演算部２から差分信号Ｓdifとして入力されている画素Ｐxごとの差分Δを用いて、上記（Ｉ）（Ｂ）欄の（４）に記載された輪郭判定処理を実行する（図２（ａ）符号３Ｒ及び図３（ｂ）ステップＳ４参照）。即ち閾値判定部３は、差分信号Ｓdifとして出力されてくる画素Ｐxごとの差分Δの絶対値と、閾値信号Ｓthとして入力されてくる輪郭強調閾値と、を比較し、輪郭強調閾値以上の絶対値の差分Δに対応する周辺画素を第１実施形態に係るＵＳＭ処理の対象画素とし、一方輪郭強調閾値未満の絶対値の差分Δに対応する周辺画素を第１実施形態に係るＵＳＭ処理の対象画素から除外する（図３（ｂ）ステップＳ４参照）。そして閾値判定部３は、当該対象画素とされた周辺画素については対象画素であることを示すフラグ等を付加し、各画素Ｐxに対応する差分Δを、画素Ｐxごとに画素信号Ｓpxとして乗算部４に出力する。
次に乗算部４は、フィルタ係数信号Ｓftとして操作部７から出力されてくるフィルタ係数Ｃと、上記画素信号Ｓpxとして閾値判定部３から出力されてくる差分Δと、を用いて、上記（Ｉ）（Ｂ）欄の（５）に記載された乗算処理を実行する（図２（ａ）符号４及び図３（ｂ）ステップＳ４参照）。即ち乗算部４は、画素信号Ｓpxとして閾値判定部３から出力されてくる差分Δのうち、ＵＳＭ処理の対象画素であることを示すフラグ等が付加されている周辺画素以外の全ての周辺画素に対応する差分Δ又は当該全ての周辺画素に対応するフィルタ係数Ｃのいずれか一方の値をゼロとする。次に乗算部４は、図２（ａ）に示すように、各画素Ｐxに対応する差分Δとフィルタ係数Ｃとを画素Ｐxごとに乗算し、その乗算結果を含む乗算信号Ｓmxを生成して演算部８に出力する。
これにより演算部８は、上記乗算信号Ｓmxに含まれている乗算結果を全て加算する（図２（ａ）符号８Ａ及び図３（ｂ）ステップＳ４参照）。そして演算部８は、フィルタ対象領域ＦについてＵＳＭ処理を実行すべき旨の上記切換信号Ｓch3が入力された場合、全ての画素Ｐxについての加算結果を、輝度情報Ｓcentとしてメモリ部１から入力されている中心画素Ｐx33の輝度から減算し、その中心画素Ｐx33についての（換言すれば、中心画素Ｐx33を中心とするフィルタ対象領域Ｆについての）第１実施形態に係るＵＳＭ処理後の出力信号Ｓoutとする（図２（ａ）符号８Ｒ及び図３（ｂ）ステップＳ４参照）。
これら第１実施形態に係るＵＳＭ処理（図３（ｂ）ステップＳ４参照）に対し、上記ステップＳ３の判定において、モード切換部５によりそのフィルタ対象領域Ｆについては雑音除去処理を実行すべきと判定されたことにより（図３（ｂ）ステップＳ３；ＮＯ）フィルタ対象領域Ｆについて雑音除去処理を実行すべき旨の切換信号Ｓch1が入力された場合、閾値選択部６は、閾値信号Ｓocとして入力されている二つの閾値のうち上記雑音除去閾値を示す閾値信号Ｓthを生成して閾値判定部３に出力する。そして閾値判定部３は、フィルタ対象領域Ｆについて雑音除去処理を実行すべき旨の切換信号Ｓch2と、上記雑音除去閾値を示す閾値信号Ｓthと、が共に入力されると、差分演算部２から差分信号Ｓdifとして入力されている画素Ｐxごとの差分Δを用いて、上記（Ｉ）（Ａ）欄の（４）に記載された雑音判定処理を実行する（図１（ｂ）符号３Ｎ及び図３（ｂ）ステップＳ５参照）。即ち閾値判定部３は、差分信号Ｓdifとして出力されてくる画素Ｐxごとの差分Δの絶対値と、閾値信号Ｓthとして入力されてくる雑音除去閾値と、を比較し、雑音除去閾値以上の絶対値の差分Δに対応する周辺画素を第１実施形態に係る雑音除去処理の対象画素から除外し、一方雑音除去閾値未満の絶対値の差分Δに対応する周辺画素を第１実施形態に係る雑音除去処理の対象画素とする（図３（ｂ）ステップＳ５参照）。そして閾値判定部３は、当該対象画素とされた周辺画素については対象画素であることを示すフラグ等を付加し、各画素Ｐxに対応する差分Δを、画素Ｐxごとに画素信号Ｓpxとして乗算部４に出力する。
次に乗算部４は、フィルタ係数信号Ｓftとして操作部７から出力されてくるフィルタ係数Ｃと、上記画素信号Ｓpxとして閾値判定部３から出力されてくる差分Δと、を用いて、上記（Ｉ）（Ａ）欄の（５）に記載された乗算処理を実行する（図１（ｂ）符号４及び図３（ｂ）ステップＳ５参照）。即ち乗算部４は、画素信号Ｓpxとして閾値判定部３から出力されてくる差分Δのうち、雑音除去処理の対象画素であることを示すフラグ等が付加されている周辺画素以外の全ての周辺画素に対応する差分Δ又は当該全ての周辺画素に対応するフィルタ係数Ｃのいずれか一方の値をゼロとする。次に乗算部４は、図１（ｂ）に示すように、各画素Ｐxに対応する差分Δとフィルタ係数Ｃとを画素Ｐxごとに乗算し、その乗算結果を含む乗算信号Ｓmxを生成して演算部８に出力する。
これにより演算部８は、上記乗算信号Ｓmxに含まれている乗算結果を全て加算する（図１（ｂ）符号８Ａ及び図３（ｂ）ステップＳ５参照）。そして演算部８は、フィルタ対象領域Ｆについて雑音除去処理を実行すべき旨の上記切換信号Ｓch3が入力された場合、全ての画素Ｐxについての加算結果に対して、輝度情報Ｓcentとしてメモリ部１から入力されている中心画素Ｐx33の輝度を加算し、その中心画素Ｐx33についての（換言すれば、中心画素Ｐx33を中心とするフィルタ対象領域Ｆについての）第１実施形態に係る雑音除去処理後の出力信号Ｓoutとする（図１（ｂ）符号８Ｎ及び図３（ｂ）ステップＳ５参照）。
その後演算部８は、図３（ｂ）に示すステップＳ１からステップＳ４又はステップＳ１からステップ３及びステップＳ５の処理が、デジタル画像内の全ての画素Ｐxを中心画素として（換言すればデジタル画像内の全てのフィルタ対象領域Ｆについて）行われたか否かを確認する（図３（ｂ）ステップＳ６）。ステップＳ６の確認において全ての画素Ｐxについて図３（ｂ）に示すステップＳ１からステップＳ４の処理又はステップＳ１からステップ３及びステップＳ５が完了している場合（図３（ｂ）ステップＳ６；ＹＥＳ）、演算部８は、画像信号Ｓinとして入力されたデジタル画像内の全ての画素に対しての処理が終了したとして、全てのフィルタ対象領域Ｆについての上記出力信号Ｓoutを当該フィルタ対象領域Ｆが含まれるデジタル画像に対応する出力信号Ｓoutとして出力し、第１実施形態に係る画像処理を終了する。
一方ステップＳ６の確認において図３（ｂ）に示すステップＳ１からステップＳ４の処理又はステップＳ１からステップ３及びステップＳ５の処理が完了していない画素Ｐxがある場合（図３（ｂ）ステップＳ６；ＮＯ）、演算部８は、当該完了していない新たな画素Ｐxを中心画素とするフィルタ対象領域Ｆについて図３（ｂ）に示すステップＳ１からステップＳ４の処理又はステップＳ１からステップ３及びステップＳ５の処理を実行すべく、当該ステップＳ１に戻る（ステップＳ７）。
次に、第１実施形態に係る雑音除去処理及びＵＳＭ処理それぞれにおける、差分信号Ｓdifと画素信号Ｓpxとの関係について、図４を用いて例示しつつ説明する。
上述したように、第１実施形態に係る雑音除去処理又はＵＳＭ処理では、中心画素と周辺画素との差分Δの絶対値と、雑音除去閾値又は輪郭強調閾値との関係で、それぞれの処理の対象画素となった周辺画素に対して雑音除去処理又はＵＳＭ処理が実行される。そして、フィルタ対象領域Ｆに対して雑音除去処理を実行するかＵＳＭ処理を実行するかについては、輪郭画素数カウンタの値とその時の切換閾値との関係により判定される。このとき、デジタル画像の対象画素に対応する差分信号Ｓdif（図３（ａ）参照）と、それに対応する画素信号Ｓpxと、との関係（即ち上記非線形処理の態様）については、例えば画像信号Ｓinとしてのデジタル画像の内容等に基づいて、種々の設定が可能である。
例えば、雑音除去閾値及び輪郭強調閾値を同一（即ち、上記差分Δが正である場合に適用される雑音除去閾値（＋）と輪郭強調閾値（＋）とがそれぞれ同一で、且つ上記差分Δが負である場合に適用される雑音除去閾値（−）と輪郭強調閾値（−）とがそれぞれ同一）とし、更にこれらと雑音／輪郭閾値とを同一として、例えば図４（ａ）に示すように、雑音除去処理及び輪郭強調処理それぞれにおける差分信号Ｓdifと画素信号Ｓpxとの関係を、それぞれ一次関数的な関係とすることができる。なお図４（ａ）においては、雑音除去処理における差分信号Ｓdifと画素信号Ｓpxとの関係を破線で示し、輪郭強調処理における差分信号Ｓdifと画素信号Ｓpxとの関係を実線で示している。第１実施形態に係る画像処理においては、図４（ａ）に例示するように、雑音除去処理が実行される差分信号Ｓdifの輝度の範囲と輪郭強調処理が実行される画像信号Ｓdifの輝度の範囲とは、それぞれ（境界部を除いて）排他的な関係となっている。
また例えば、雑音除去閾値＜輪郭強調閾値の関係（即ち、雑音除去閾値（＋）＜輪郭強調閾値（＋）且つ雑音除去閾値（−）＞輪郭強調閾値（−）の関係）とした場合には、図４（ｂ）に示すように、雑音除去閾値と輪郭強調閾値との間の輝度に相当する差分信号Ｓdifをいわゆる未処理領域として、未処理領域に相当する画素信号Ｓpxがゼロとなるように構成することもできる。この場合に雑音／輪郭閾値を、図４（ｂ）に例示するように雑音除去閾値と輪郭強調閾値との間の値とするのが好適である。
以上説明したように、第１実施形態の画像処理装置Ｓ１の動作によれば、フィルタ対象領域Ｆ内において中心画素が周辺画素に対して雑音であるか輪郭であるかを判定し、その判定結果に基づいてフィルタ対象領域Ｆに対する雑音除去処理又は輪郭強調処理の切換処理を行うので、デジタル画像を構成する各画素Ｐxに対する雑音除去効果と輪郭強調効果とを両立させることで、より高画質のデジタル画像を得ることができる。この効果についてより具体的に図５に例示しつつ説明する。ここで、図５（ａ）は雑音除去処理及び輪郭強調処理のいずれも実行しない原画像であり、図５（ｂ）は図５（ａ）に例示する原画像全体に対して雑音除去処理のみを画一的に実行した後の画像例であり、図５（ｃ）は図５（ａ）に例示する原画像全体に対して第１実施形態に係る画像処理（即ち、雑音除去処理と輪郭強調処理とを切り換えて実行する処理）を実行した後の画像例である。図５から明らかなように、図５（ｃ）に例示する第１実施形態に係る画像処理装置Ｓ１による場合が、輪郭が明確となると共に例えば周辺部分等のざらついた雑音も除去されており、最も高画質であると言える。
また、デジタル画像を構成する各画素Ｐxをそれぞれ中心画素とした雑音除去処理又は輪郭強調処理の切り換えが、デジタル画像を構成する全ての画素Ｐxについて行われるので、デジタル画像全体についてより高画質化することができる。
更に、一のフィルタ対象領域Ｆにおける輪郭画素数に基づき、当該フィルタ対象領域Ｆについての切換処理を行うので、簡易な構成によりデジタル画像をより高画質化することができる。
更にまた、輪郭画素数が切換閾値以上であるとき輪郭強調処理に切り換え、輪郭画素数が切換閾値未満であるとき雑音除去処理に切り換えるので、一つの切換閾値との大小比較に基づいて輪郭強調処理と雑音除去処理とを切り換えるので、より簡易な構成によりデジタル画像をより高画質化することができる。
また、中心画素の輝度と周辺画素の輝度とに基づいて、中心画素が周辺画素に対して雑音となるか輪郭となるかを、周辺画素ごとにそれぞれ判定するので、フィルタ対象領域Ｆに対する雑音除去処理又は輪郭強調処理の切り換えを、デジタル画像を構成する画素Ｐxの状態に応じて的確に切り換えることができる。
更に、中心画素の輝度と周辺画素の輝度との差分Δが雑音／輪郭閾値以上であるとき中心画素が周辺画素に対して輪郭となると判定し、当該差分Δが雑音／輪郭閾値未満であるとき中心画素が周辺画素に対して雑音となると判定するので、一つの雑音／輪郭閾値との大小比較に基づいて雑音／輪郭の判定を行うので、簡易な構成で雑音と輪郭とを判定することができる。
更にまた、輪郭強調処理としてＵＳＭ処理を用い、更に雑音除去処理としてε−分離非線形デジタルフィルタを用いた雑音除去処理（即ち平滑化処理）を用いる場合には、それぞれ、デジタル画像をより高画質化することができる。
また、第１実施形態に係る画像処理装置Ｓ１は雑音除去処理と輪郭強調処理との切り換えにより、一段のフィルタ処理としての高画質化が実現可能であるので、単純且つ低規模（即ち低価格）な回路構成により雑音除去処理と輪郭強調処理とがバランスよく両立できるため、ソフトウェア的に実現される画像処理装置だけでなく、ハードウェア的に構成される画像処理装置にも好適である。
（Ａ）第１実施形態に係る変形例
なお第１実施形態において、デジタル画像における対象画素に対応する差分信号Ｓdifと、それに対応する画素信号Ｓpxと、との関係としては、他に複数の例が考えられる。
（ａ）第１変形例
例えば図６に例示するように、雑音除去処理に係る雑音除去閾値、又はＵＳＭ処理に係る輪郭強調閾値、をそれぞれ複数設けるように構成することもできる。
即ち図６（ａ）に例示するように、第１実施形態に係る雑音除去処理において、雑音除去閾値を第１雑音除去閾値（より具体的には、第１雑音除去閾値（−）及び第１雑音除去閾値（＋））及び第２雑音除去閾値（より具体的には、第２雑音除去閾値（−）及び第２雑音除去閾値（＋））とし、第２雑音除去閾値の絶対値＜第１雑音除去閾値の絶対値とする。そして図６（ａ）に例示するように、差分信号Ｓdifに対応する差分Δの絶対値が第１雑音除去閾値以下である周辺画素を雑音除去処理の対象画素とすると共に、その絶対値が第２雑音除去閾値以上の範囲と第２雑音除去閾値未満の範囲とで、差分信号Ｓdifと画素信号Ｓpxとの関係が途切れることなく且つ異なるように構成することもできる。また図６（ａ）に例示する場合においては、破線で示す関係が原点を中心とした点対称となるようにすることが好ましい。更に図６（ａ）に例示するように、第１雑音除去閾値と第１実施形態に係る雑音／輪郭閾値とを同一とするように構成することもできる。
また図６（ｂ）に例示するように、第１実施形態に係るＵＳＭ処理において、輪郭強調閾値を第１輪郭強調閾値（より具体的には、第１輪郭強調閾値（−）及び第１輪郭強調閾値（＋））及び第２輪郭強調閾値（より具体的には、第２輪郭強調閾値（−）及び第２輪郭強調閾値（＋））とし、第１輪郭強調閾値の絶対値＜第２輪郭強調閾値の絶対値とする。そして図６（ｂ）に例示するように、差分信号Ｓdifに対応する差分Δの絶対値が第１輪郭強調閾値以上である周辺画素をＵＳＭ処理の対象画素とすると共に、その絶対値が第２輪郭強調閾値以上の範囲と第２輪郭強調閾値未満の範囲とで、差分信号Ｓdifと画素信号Ｓpxとの関係が途切れることなく且つ異なるように構成することもできる。また図６（ｂ）に例示する場合においては、実線で示す関係が原点を中心とした点対称となるようにすることが好ましい。更に図６（ｂ）に例示するように、第１輪郭強調閾値と第１実施形態に係る雑音／輪郭閾値とを同一とするように構成することもできる。
（ｂ）第２変形例
また例えば図７に例示するように、雑音除去処理又はＵＳＭ処理の対象画素に対応する差分信号Ｓdifと画素信号Ｓpxとの関係を高次関数的な関係とすることもできる。
即ち第１実施形態に係る雑音除去処理において、差分信号Ｓdifに対応する差分Δの絶対値が雑音除去閾値未満である周辺画素を雑音除去処理の対象画素とすると共に、その対象画素に対応する差分信号Ｓdifと画素信号Ｓpxとの関係を図７（ａ）に例示するような高次関数的な関係とすることもできる。
更に第１実施形態に係るＵＳＭ処理において、差分信号Ｓdifに対応する差分Δの絶対値が輪郭強調閾値以上である周辺画素をＵＳＭ処理の対象画素とすると共に、その対象画素に対応する差分信号Ｓdifと画素信号Ｓpxとの関係を図７（ｂ）に例示するような高次関数的な関係とすることもできる。
なおこれらの場合に、雑音／輪郭閾値を雑音除去閾値又は輪郭強調閾値と同一とすることもできる。
（ｃ）第３変形例
更に例えば図８に例示するように、雑音除去処理又はＵＳＭ処理に係る雑音除去閾値又は輪郭強調閾値を雑音／輪郭閾値とは異なる値とし、雑音除去閾値又は輪郭強調閾値と雑音／輪郭閾値との間の差分信号Ｓdifについては未処理とすることもできる。
即ち第１実施形態に係る雑音除去処理において、雑音除去処理に係る雑音除去閾値と雑音／輪郭閾値との関係を、図８（ａ）に例示するように雑音除去閾値＜雑音／輪郭閾値とすると共に、雑音除去閾値と雑音／輪郭閾値との間の差分信号Ｓdifに対応する画素信号Ｓpxをゼロとすることもできる。
更に第１実施形態に係るＵＳＭ処理において、ＵＳＭ処理に係る輪郭強調閾値と雑音／輪郭閾値との関係を、図８（ｂ）に例示するように輪郭強調閾値＞雑音／輪郭閾値とすると共に、輪郭強調閾値と雑音／輪郭閾値との間の差分信号Ｓdifに対応する画素信号Ｓpxをゼロとすることもできる。
（Ｂ）第１実施形態に係る他の変形例
また、図３（ａ）に例示した第１実施形態に係る画像処理装置Ｓ１の構成についても、他に複数の例が考えられる。
例えば、モード切換部５内の図示しない不揮発性のメモリ領域に第１実施形態に係る上記切換閾値を複数記憶させておき、操作部７を介してこれらを切り換えて用いるように構成することもできる。この場合使用者は、画像処理の対象たるデジタル画像の内容を前もって把握した上で上記切換閾値を切り換えるように操作することにより、よりその使用者の好みに合った、高画質の画像処理を実行することができる。
また図４を用いた説明でも述べたように、第１実施形態に係る各閾値のうち、雑音／輪郭閾値、雑音除去閾値及び輪郭強調閾値の三つを共通化し、操作部７を介して使用者が当該共通化された閾値を設定するように構成することもできる。
（III）第２実施形態
次に、本発明に係る他の実施形態である第２実施形態について、図９及び図１０を用いて説明する。なお図９は第２実施形態に係る画像処理装置の概要構成を示すブロック図であり、図１０は第２実施形態に係る暗部判定処理を説明する図である。また第２実施形態に係る画像処理装置を説明するに当たり、第１実施形態に係る画像処理装置Ｓ１における部材及び処理と同一の部材及び処理については、同一の部材番号及びステップ番号を使用して細部の説明は省略する。
第１実施形態に係る画像処理装置Ｓ１では、デジタル画像内の各フィルタ対象領域Ｆについて、フィルタ対象領域Ｆ内の輪郭画素数と切換閾値との関係に基づき、そのフィルタ対象領域Ｆに対する雑音除去処理と輪郭強調処理とを切り換える構成とした。これに対して第２実施形態では、デジタル画像内に含まれる雑音の種類及びその種類に対応した特性を考慮して、第１実施形態において説明した各閾値を設定する。
即ち、先に背景技術で述べたように、画像信号Ｓinに含まれる雑音等には、主として撮像素子の構造上の原因からデジタル画像に含まれることとなる雑音と、デジタル化のためのブロック符号化処理が施されることに起因するブロック雑音がある。この場合前者は、いわゆる暗電流雑音と称されるものが代表的である。なお以下の説明では、暗電流雑音を含む画素Ｐxを中心画素とするフィルタ対象領域Ｆを、デジタル画像における「暗部」と称する。以下に説明する第２実施形態では、第１実施形態において説明した各閾値をこれらの雑音それぞれの特性を考慮して設定することにより、高画質化をより効果的に行う。
図９に示すように、第２実施形態に係る画像処理装置Ｓ２は、第１実施形態に係る画像処理装置Ｓ１に対して、フィルタ対象領域Ｆ内の各画素Ｐxのうち上記暗電流雑音を含む画素Ｐxを検出する部分検出手段の一例としての暗部判定部１０と、上記暗電流雑音を含む画素Ｐxを暗部判定部１０において検出する際の閾値となる暗部閾値を、操作部７における使用者の操作に基づいて設定する暗部閾値設定部１１と、を備えている。このとき上記閾値信号Ｓot、閾値信号Ｓoc及びフィルタ係数信号Ｓftは、上記暗部判定部１０からモード切換部５、閾値選択部６及び乗算部４にそれぞれ出力される。
この構成において使用者は、第１実施形態に係る画像処理装置Ｓ１と同様の各閾値の設定操作に加えて、例えば上記ディスプレイに表示されているデジタル画像の内容に基づいて、上記暗部閾値を設定する操作を操作部７において実行する。この操作に対応する操作信号Ｓodは、操作部７から暗部閾値設定部１１に出力される。これにより暗部閾値設定部１１は、当該操作信号Ｓodに基づいて上記暗部閾値を設定して暗部判定部１０に出力する。そして暗部判定部１０は、メモリ部１からメモリ信号Ｓmとして出力されてくる輝度情報に基づき、デジタル画像において（換言すれば、フィルタ対象領域Ｆにおいて）暗部閾値設定部１１により設定された暗部閾値よりも暗い輝度を有することで暗電流雑音が含まれていると思われる画素Ｐxを中心画素とする暗部を検出する。
ここで暗部判定部１０における暗部判定処理について、図１０を用いて説明する。例えば図１０（ａ）に例示するようなデジタル画像Ｇが画像信号Ｓinとして入力されたとき、これに対応するメモリ信号Ｓmが入力される暗部判定部１０は、デジタル画像Ｇにおける上記暗部を検出する。図１０（ｂ）では、デジタル画像Ｇにおける左下部、下辺部及び右下部に複数の暗部Ｄが検出されている。
そして暗部判定部１０は、検出された暗部のデジタル画像内の位置等に応じて、第１実施形態において説明した各閾値及びフィルタ係数Ｃを設定し、それらを含む上記閾値信号Ｓot、閾値信号Ｓoc及びフィルタ係数信号Ｓftを上記モード切換部５、閾値選択部６及び乗算部４にそれぞれ出力する。
このとき、より具体的に暗部判定部１０について、例えば、暗部と検出されたデジタル画像の部分に含まれるフィルタ対象領域Ｆについての切換閾値を、デジタル画像内の暗部以外のフィルタ対象領域Ｆ（以下、暗部以外のフィルタ対象領域Ｆをデジタル画像における「明部」と称する）についての切換閾値に対して相対的に高い値として上記閾値信号Ｓotを生成／出力するように構成することができる。また、暗部についての雑音／輪郭閾値を、明部についての雑音／輪郭閾値に対して相対的に低い値として上記閾値信号Ｓotを生成／出力するように構成することができる。
そして第２実施形態に係る画像処理装置Ｓ２では、上記暗部判定部１０から出力された閾値信号Ｓot、閾値信号Ｓoc及びフィルタ係数信号Ｓftにそれぞれ含まれている各閾値及びフィルタ係数Ｃを用いて、第１実施形態と同様の画像処理が実行される。
以上説明したように、第２実施形態に係る画像処理装置Ｓ２の動作によれば、第１実施形態に係る画像処理装置Ｓ１の動作による効果に加えて、暗部について切換閾値を、明部についての切換閾値に対して相対的に高い値として雑音除去処理と輪郭強調処理の切り換えを行う場合には、暗電流雑音が含まれる暗部が考慮されることで、デジタル画像をより高画質化することができる。
また、暗部についての雑音／輪郭閾値を、明部についての雑音／輪郭閾値に対して相対的に低い値として雑音／輪郭の判定を行う場合には、暗部が考慮されることで、雑音／輪郭の判定をより高精度に行うことができる。
なお、暗部判定部１０による暗部を考慮した閾値の設定としては、上述した切換閾値及び雑音／輪郭閾値の他に、雑音除去処理に用いられる雑音除去閾値及び輪郭強調処理に用いられる輪郭強調閾値も、暗部に応じて設定するように構成することもできる。
この場合例えば、雑音除去閾値については、一般に暗部では暗電流雑音（差分Δが小さくなる）が除去対象となるため雑音除去閾値を相対的に低く設定し、一方明部では上記ブロックノイズ（差分Δが大きくなる）が除去対象となるため雑音除去閾値を相対的に高く設定することが考えられる。
また輪郭強調閾値については、例えば、暗部では暗電流雑音等の雑音が発生し易いため当該雑音を強調しないように輪郭強調閾値を相対的に高く設定し、一方明部では雑音が発生し難いため輪郭強調の効果を促進させるべく輪郭強調閾値を相対的に低く設定することが考えられる。
（IV）変形形態
上述して来た二つの実施形態の他に、変形形態として本発明は、種々の応用が可能である。
例えば、第２実施形態に係る暗部とは異なり、デジタル画像内の一部の領域を所定の手法により任意に検出し、その検出された領域のみを雑音除去処理又は輪郭強調処理の対象とするように構成することもできる。この場合は、デジタル画像内において上記一部の領域を判定するための例えば領域判定部を、別途付加する構成とすればよい。
またこの他に本発明は、フィルタ係数Ｃの操作による簡易的な雑音除去強度又は輪郭強調強度の切り換え手法（例えば、本願出願人による先の出願である特願２０１１−２１７９８４号に含まれる手法等）と併用するように構成することもできる。更に画像処理装置としてのハードウェアの仕様等を考慮した形状を有するフィルタ対象領域Ｆを用いる手法（例えば、本願出願人による先の出願である特願２０１１−２１７９８５号に含まれる手法等）を併用するように構成することもできる。なお、これら二つの特許出願で使用している「ノイズ閾値」が本発明に係る雑音除去閾値に相当する。また、本発明に係るＵＳＭについても、フィルタ対象領域Ｆの中心画素に対応するフィルタ係数Ｃの重みが小さいほど強い輪郭強調処理が実行可能であり、その重みが大きいほど弱い輪郭強調が実行可能である。
また、上述した各実施形態及び変形形態に係る画像処理装置Ｓは、デジタル画像Ｇを記録媒体に記録する情報記録装置において、当該デジタル画像Ｇに対する符号化処理の終了後且つ当該記録媒体への記録処理前の段階に挿入して備えさせるように構成することが可能である。なお当該記録媒体としては、例えば光ディスクやハードディスク等が挙げられる。更に当該画像処理装置Ｓは、デジタル画像Ｇを記録済みの記録媒体から当該デジタル画像Ｇを再生する情報再生装置において、当該デジタル画像Ｇに対する復号化処理の前又は後の段階に備えさせるように構成することも可能である。
更にまた、各実施形態に係るメモリ部１、差分演算部２、閾値判定部３、乗算部４、モード切換部５、閾値選択部６及び演算部８等の機能に対応するプログラムを、例えば光ディスク等の記録媒体に記録しておき、或いはインターネット等のネットワークから取得して記録しておき、これらを読み出して汎用のマイクロコンピュータ等により実行させることにより、当該マイクロコンピュータ等を、各実施形態に係るメモリ部１、差分演算部２、閾値判定部３、乗算部４、モード切換部５、閾値選択部６及び演算部８等として機能させることも可能である。
以上夫々説明したように、本発明は画像処理装置の分野に利用することが可能であり、特にデジタル画像に含まれる雑音の除去とその輪郭の強調とを両立させる画像処理を行う画像処理装置の分野に適用すれば特に顕著な効果が得られる。
１ メモリ部
２ 差分演算処理（差分演算部）
３ 閾値判定部
３Ｎ 雑音判定処理
３Ｒ 輪郭判定処理
４ 乗算処理（乗算部）
５ モード切換部
６ 閾値選択部
７ 操作部
８ 演算処理（演算部）
８Ａ 合算処理
８Ｎ 加算処理
８Ｒ 減算処理
１０ 暗部判定部
１１ 暗部閾値設定部
Ｓ１、Ｓ２ 画像処理装置
Ｆ フィルタ対象領域
Ｇ デジタル画像
Ｄ 暗部
Ｐx11、Ｐx12、Ｐx13、Ｐx14、Ｐx15、Ｐx21、Ｐx22、Ｐx23、Ｐx24、Ｐx25、Ｐx31、Ｐx32、Ｐx33、Ｐx34、Ｐx35、Ｐx41、Ｐx42、Ｐx43、Ｐx44、Ｐx45、Ｐx51、Ｐx52、Ｐx53、Ｐx54、Ｐx55 画素
Ｓin 画像信号
Ｓout 出力信号
Ｓm メモリ信号
Ｓcent 輝度情報
Ｓdif 差分信号
Ｓot、Ｓoc、Ｓth 閾値信号
Ｓft フィルタ係数信号
Ｓch1、Ｓch2、Ｓch3 切換信号
Ｓpx 画素信号
Ｓmx 乗算信号
Ｓod 操作信号

Claims (13)

  1. 複数の画素により形成されるデジタル画像における一の画素の信号と、当該デジタル画像において当該一の画素の周囲にある複数の他の画素の信号と、を用いて、当該一の画素と当該複数の他の画素から構成される対象領域に対する雑音除去処理を行う雑音除去手段と、
    前記一の画素の前記信号と、前記複数の他の画素の前記信号と、を用いて、前記対象領域に対する輪郭強調処理を行う輪郭強調手段と、
    前記対象領域内において、前記一の画素が前記他の画素に対して雑音となるか輪郭となるかを判定する判定手段と、
    前記判定手段による判定結果に基づいて、前記対象領域に対して前記雑音除去処理又は前記輪郭強調処理を行うように、前記雑音除去手段又は前記輪郭強調手段を切り換える切換処理を行う切換手段と、
    を備えることを特徴とする画像処理装置。
  2. 請求項１に記載の画像処理装置において、
    前記デジタル画像を構成する複数の前記画素それぞれを前記一の画素とする前記雑音除去処理又は前記輪郭強調処理が、当該デジタル画像を構成する全ての前記画素について行われるように、前記雑音除去手段又は前記輪郭強調手段、及び前記切換手段を制御する制御手段を更に備えることを特徴とする画像処理装置。
  3. 請求項１又は請求項２に記載の画像処理装置において、
    前記判定結果は、一の前記対象領域において前記一の画素が輪郭となると判定された前記他の画素の数を示し、
    前記切換手段は、前記判定結果により示される当該数に基づき、当該一の前記対象領域についての前記切換処理を行うことを特徴とする画像処理装置。
  4. 請求項３に記載の画像処理装置において、
    前記切換手段は、前記数が予め設定された切換閾値以上であるとき前記一の前記対象領域については前記輪郭強調手段に切り換え、当該数が当該切換閾値未満であるとき当該一の前記対象領域については前記雑音除去手段に切り換えることを特徴とする画像処理装置。
  5. 請求項４に記載の画像処理装置において、
    前記デジタル画像の部分に含まれる部分雑音が含まれている当該デジタル画像の当該部分を検出する部分検出手段を更に備え、
    前記切換手段は、前記検出された部分に含まれる前記対象領域についての前記切換処理に用いられる前記切換閾値を、前記検出された部分に含まれる前記対象領域以外の他の前記対象領域についての前記切換処理に用いられる前記切換閾値に対して相対的に高い値として、各前記切換処理を行うことを特徴とする画像処理装置。
  6. 請求項１から請求項５のいずれか一項に記載の画像処理装置において、
    前記判定手段は、前記一の画素の前記信号と、前記他の画素の前記信号と、に基づいて、前記一の画素が前記他の画素に対して雑音となるか輪郭となるかを、前記他の画素ごとにそれぞれ判定して前記判定結果を前記切換手段に出力することを特徴とする画像処理装置。
  7. 請求項６に記載の画像処理装置において、
    前記判定手段は、前記一の画素の前記信号と、前記他の画素の前記信号と、の差が予め設定された判定閾値以上であるとき前記一の画素が前記他の画素に対して輪郭となると判定し、前記差が前記判定閾値未満であるとき当該一の画素が当該他の画素に対して雑音となると判定し、それぞれの前記判定結果を前記切換手段に出力することを特徴とする画像処理装置。
  8. 請求項７に記載の画像処理装置において、
    前記デジタル画像の部分に含まれる部分雑音が含まれている当該デジタル画像の当該部分を検出する部分検出手段を更に備え、
    前記判定手段は、前記検出された部分に含まれる前記対象領域についての判定に用いられる前記判定閾値を、前記検出された部分に含まれる前記対象領域以外の他の前記対象領域についての判定に用いられる前記判定閾値に対して相対的に低い値として、各判定を行うことを特徴とする画像処理装置。
  9. 請求項１から請求項８のいずれか一項に記載の画像処理装置において、
    前記輪郭強調処理はアンシャープマスキング処理であることを特徴とする画像処理装置。
  10. 請求項１から請求項８のいずれか一項に記載の画像処理装置において、
    前記雑音除去処理は平滑化処理であることを特徴とする画像処理装置。
  11. 複数の画素により形成されるデジタル画像における一の画素の信号と、当該デジタル画像において当該一の画素の周囲にある複数の他の画素の信号と、を用いて、当該一の画素と当該複数の他の画素から構成される対象領域に対する雑音除去処理を行う雑音除去手段と、前記一の画素の前記信号と、前記複数の他の画素の前記信号と、を用いて、前記対象領域に対する輪郭強調処理を行う輪郭強調手段と、を備える画像処理装置において実行される画像処理方法であって、
    前記対象領域内において、前記一の画素が前記他の画素に対して雑音となるか輪郭となるかを判定する判定工程と、
    前記判定工程における判定結果に基づいて、前記対象領域に対して前記雑音除去処理又は前記輪郭強調処理を行うように、前記雑音除去手段又は前記輪郭強調手段を切り換える切換処理を行う切換工程と、
    を含むことを特徴とする画像処理方法。
  12. 複数の画素により形成されるデジタル画像を処理する画像処理装置に含まれるコンピュータを、
    前記画像における一の画素の信号と、当該デジタル画像において当該一の画素の周囲にある複数の他の画素の信号と、を用いて、当該一の画素と当該複数の他の画素から構成される対象領域に対する雑音除去処理を行う雑音除去手段、
    前記一の画素の前記信号と、前記複数の他の画素の前記信号と、を用いて、前記対象領域に対する輪郭強調処理を行う輪郭強調手段、
    前記対象領域内において、前記一の画素が前記他の画素に対して雑音となるか輪郭となるかを判定する判定手段、及び、
    前記判定手段による判定結果に基づいて、前記対象領域に対して前記雑音除去処理又は前記輪郭強調処理を行うように、前記雑音除去手段又は前記輪郭強調手段を切り換える切換処理を行う切換手段、
    として機能させることを特徴とする画像処理用プログラム。
  13. 請求項１２に記載の画像処理用プログラムが請求項１２に記載のコンピュータにより読み取り可能に記録されていることを特徴とする情報記録媒体。
JP2012118541A 2012-05-24 2012-05-24 画像処理装置、画像処理方法、画像処理用プログラム及び情報記録媒体 Pending JP2013246558A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012118541A JP2013246558A (ja) 2012-05-24 2012-05-24 画像処理装置、画像処理方法、画像処理用プログラム及び情報記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012118541A JP2013246558A (ja) 2012-05-24 2012-05-24 画像処理装置、画像処理方法、画像処理用プログラム及び情報記録媒体

Publications (1)

Publication Number Publication Date
JP2013246558A true JP2013246558A (ja) 2013-12-09

Family

ID=49846290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012118541A Pending JP2013246558A (ja) 2012-05-24 2012-05-24 画像処理装置、画像処理方法、画像処理用プログラム及び情報記録媒体

Country Status (1)

Country Link
JP (1) JP2013246558A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016185902A1 (ja) * 2015-05-15 2016-11-24 ソニー株式会社 撮像装置、撮像方法、並びにプログラム
KR102164998B1 (ko) * 2019-04-25 2020-10-13 주식회사 포바이포 디지털 영상 선예도 강화 방법
KR20200124971A (ko) * 2019-04-25 2020-11-04 주식회사 포바이포 디지털 영상 노이즈 제거 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016185902A1 (ja) * 2015-05-15 2016-11-24 ソニー株式会社 撮像装置、撮像方法、並びにプログラム
KR102164998B1 (ko) * 2019-04-25 2020-10-13 주식회사 포바이포 디지털 영상 선예도 강화 방법
KR20200124971A (ko) * 2019-04-25 2020-11-04 주식회사 포바이포 디지털 영상 노이즈 제거 방법
KR102194447B1 (ko) * 2019-04-25 2020-12-23 주식회사 포바이포 디지털 영상 노이즈 제거 방법

Similar Documents

Publication Publication Date Title
JP5839631B2 (ja) ブロックノイズの検出方法
CN101682686B (zh) 图像处理设备、图像处理方法
KR100750176B1 (ko) 초정밀화를 이용한 양자화 아티팩트 제거 방법 및 시스템
CN100379259C (zh) 使用模式自适应滤波来使视频信号平滑的设备和方法
Chen et al. Multidirectional weighted interpolation and refinement method for Bayer pattern CFA demosaicking
CA2616871A1 (en) Apparatus and method for adaptive 3d noise reduction
JP5407462B2 (ja) 画像出力装置、輪郭強調装置及び輪郭強調方法
CN104335565A (zh) 采用具有自适应滤芯的细节增强滤波器的图像处理方法
JP2009071419A (ja) ノイズ低減装置
CN102737363A (zh) 图像处理设备和方法以及程序
JPWO2002067589A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム
JP2013246558A (ja) 画像処理装置、画像処理方法、画像処理用プログラム及び情報記録媒体
JP4599457B1 (ja) 画像処理装置、表示装置及び画像処理方法
JP2011065339A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体
US8223225B2 (en) Image processing apparatus, method, and recording medium for reducing noise in an image
JPH1117954A (ja) 映像信号処理装置
JP2008500757A (ja) 映像信号の鮮鋭度を強調するための方法およびシステム
TW201431382A (zh) 影像處理裝置與影像處理方法
JP4641957B2 (ja) 画像処理装置および画像処理プログラム
JP4650372B2 (ja) 映像処理回路
JP2011066838A (ja) 画像処理装置、表示装置及び画像処理方法
EP2282531A2 (en) Signal processing device, reproducing device, signal processing method and program
JP5899764B2 (ja) 雑音除去装置、雑音除去方法、雑音除去プログラム及び記録媒体
WO2016051911A1 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2017036386A1 (zh) 一种视频去噪方法及装置、终端、存储介质