JP2010153969A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2010153969A
JP2010153969A JP2008326988A JP2008326988A JP2010153969A JP 2010153969 A JP2010153969 A JP 2010153969A JP 2008326988 A JP2008326988 A JP 2008326988A JP 2008326988 A JP2008326988 A JP 2008326988A JP 2010153969 A JP2010153969 A JP 2010153969A
Authority
JP
Japan
Prior art keywords
pixel
comparison
selection
value
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008326988A
Other languages
English (en)
Inventor
Kengo Masaoka
賢悟 正岡
Akihiro Maenaka
章弘 前中
Seiji Okada
誠司 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2008326988A priority Critical patent/JP2010153969A/ja
Publication of JP2010153969A publication Critical patent/JP2010153969A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】ノイズ低減処理を精度良くかつ計算量を低減して実行することができる画像処理装置と、この画像処理装置を備える撮像装置を提供する。
【解決手段】ノイズ低減処理部６０は、検出領域内の画素に基づいて注目画素のエッジ方向を検出するとともに当該エッジ方向に基づいて探索領域内の比較画素の中から選択比較画素を選択して選択情報を出力する比較画素選択部６１と、選択比較画素と注目画素との類似度を算出して重み情報を出力する類似度算出部６２と、注目画素の画素値と選択比較画素の画素値とを類似度に応じて平滑化して出力画像の注目画素の画素値を算出する画素値算出部６３と、を備える。
【選択図】図２

Description

本発明は、入力される画像に対してノイズ低減処理を施す画像処理装置と、この画像処理装置を備える撮像装置に関する。
近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどのイメージセンサを用いて撮像を行うデジタルスチルカメラやデジタルビデオカメラなどの撮像装置や、画像を表示する液晶ディスプレイなどの表示装置が広く普及している。そして、このような撮像装置によって撮像される画像や、表示装置によって表示される画像のノイズを低減するための各種のノイズ低減技術が提案されている（特許文献１及び２参照）。
また、これらのようなノイズ低減技術の中には、注目画素とその周囲の画素との類似度を利用して注目画素の画素値を算出することで、ノイズ低減処理を行うものがある（非特許文献１参照）。例えば、図２０に示すように、注目画素１００の画素値を算出する際に、注目画素１００と、注目画素１００を中心とした探索領域（図２０に示す例では５×５の領域）１０１内のそれぞれの比較画素１０２と、の類似度を利用する方法がある。この方法では、例えば、注目画素１００を中心とした注目領域１０３（図２０に示す例では３×３の領域）内の画素と、比較画素１０２を中心とした判定領域１０４（図２０に示す例では３×３の領域）内の画素と、のそれぞれを比較することによって類似度を算出する。そして、算出された類似度に基づいて比較画素１０２の画素値を適宜平滑化することで、注目画素の画素値を算出する（ＮＬ−ｍｅａｎｓフィルタ処理）。
特開２０００−２９５４９７号公報 特開２００６−１４０２４号公報 Antoni Buades, Bartomeu Coll, Jean-Michel Morel, "A Non-Local Algorithm for Image Denoising," cvpr, pp. 60-65, 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, 2005
しかしながら、図２０に示す方法で類似度を算出することとすると、計算量が膨大になることが問題となる。図２０の例では、探索領域１０１内に含まれる比較画素１０２が、注目画素１００を除くと２４個ある。そのため、少なくとも２４回は３×３の注目領域１０３内及び判定領域１０４内の画素の比較を行い、２４個の類似度を算出する必要がある。さらに、算出された２４個の類似度と２４個の比較画素の画素値とを全て用いて、注目画素の画素値を算出する必要がある。
以上のように、計算量が膨大なものとなると、処理時間や消費電力が増大するため問題となる。
以上の問題を鑑みて、本発明は、ノイズ低減処理を精度良くかつ計算量を低減して実行することができる画像処理装置と、この画像処理装置を備える撮像装置を提供することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、入力される入力画像にノイズ低減処理を施して出力画像を生成するノイズ低減処理部を備える画像処理装置において、前記ノイズ低減処理部が、前記入力画像の注目画素の画像特徴に応じて選択比較画素を選定し、前記注目画素の画素値と前記選択比較画素の画素値とをその類似度に応じて合成することで前記出力画像の注目画素の画素値を算出することを特徴とする。
また、上記構成の画像処理装置において、前記ノイズ低減処理部が、前記入力画像の前記注目画素を中心とした検出領域内の画素に基づいて前記注目画素のエッジ方向を検出するとともに、当該エッジ方向に基づいて前記注目画素を中心とした探索領域内の画素の中から前記選択比較画素を選択する比較画素選択部と、前記選択比較画素と前記注目画素との前記類似度を算出する類似度算出部と、前記注目画素の画素値と前記選択比較画素の画素値とを前記類似度に応じて平滑化して前記出力画像の前記注目画素の画素値を算出する画素値算出部と、を備えることとしても構わない。
このように構成すると、探索領域内の一部の画素（選択比較画素）のみを用いて、出力画像の注目画素の画素値を算出することとなる。そのため、探索領域内の画素を全て用いる場合と比較して、計算量を抑制することが可能となる。なお、エッジ方向を、例えば略等しい画素値を備える画素が整列する方向としても構わない。
また、上記構成の画像処理装置において、前記比較画素選択部が、前記探索領域中の前記エッジ方向に沿った画素を前記選択比較画素として選択することとしても構わない。
このように構成とすると、注目画素に類似する可能性が高い画素を選択比較画素として選択することが可能となる。同時に、注目画素と類似する可能性が低い画素を選択しないようにすることが可能となる。
また、上記構成の画像処理装置において、前記類似度算出部が、前記入力画像の前記注目画素を中心とした注目領域内の画素の画素値と、前記選択比較画素を中心とした判定領域内の画素の画素値と、を比較して前記類似度を算出することとしても構わない。
また、上記構成の画像処理装置において、前記類似度算出部が、前記入力画像の前記注目画素の画素値と前記選択比較画素の画素値との差分値を用いて、前記類似度を算出することとしても構わない。
また、上記構成の画像処理装置において、前記類似度算出部が、前記入力画像の前記注目画素の画素値と前記選択比較画素の画素値との差分値と、前記注目画素と前記選択比較画素との距離と、を用いて前記類似度を算出することとしても構わない。
また、上記構成の画像処理装置において、前記比較画素選択部が、第１選択比較画素と第２選択比較画素とをそれぞれ選定し、前記類似度算出部が、前記第１選択比較画素と前記注目画素との第１類似度と、前記第２選択比較画素と前記注目画素との第２類似度と、をそれぞれ算出して、前記画素値算出部が、前記注目画素の画素値と前記第１選択比較画素の画素値とを前記第１類似度に応じて平滑化して得られる第１画素値と、前記注目画素の画素値と前記第２選択比較画素の画素値とを前記第２類似度に応じて平滑化して得られる第２画素値と、を用いて前記出力画像の前記注目画素の画素値を算出することとしても構わない。
このように構成すると、複数の算出方法を用いて出力画像の画素値を算出することが可能となる。そのため、それぞれの算出方法の特長を組み合わせて、より精度良く出力画像の画素値を算出することが可能となる。
また、上記構成の画像処理装置において、前記比較画素選択部が、前記探索領域中の前記エッジ方向に沿った画素を前記第１選択比較画素として選択するとともに、前記第１選択比較画素を除いた前記探索領域内の画素から、前記第２選択比較画素を選択することとしても構わない。
また、上記構成の画像処理装置において、前記類似度算出部が、前記入力画像の前記注目画素を中心とした注目領域内の画素の画素値と、前記第１選択比較画素を中心とした判定領域内の画素の画素値と、を比較して前記第１類似度を算出するとともに、前記入力画像の前記注目画素の画素値と前記第２選択比較画素の画素値との差分値と、前記注目画素と前記第２選択比較画素との距離と、を用いて前記第２類似度を算出することとしても構わない。
また、本発明の撮像装置は、撮像して前記入力画像を作成する撮像部と、当該撮像部から入力画像を取得する上記の画像処理装置と、を備えることを特徴とする。
本発明によると、注目画素の画素値と合成する選択比較画素を、注目画素の画素特徴によって選定することが可能となる。即ち、合成に用いる選択比較画素を限定することが可能となる。そのため、計算量を抑制することが可能となる。また、注目画素の画素値の算出に有用となる選択比較画素を選択することが可能となる。そのため、精度良くノイズ低減処理を行うことが可能となる。
本発明の実施形態について、図面を参照して説明する。また、本発明の実施形態における撮像装置として、デジタルカメラなどの音声、動画及び静止画の記録が可能な撮像装置を例に挙げて説明する。
＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。
図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。
さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換するマイク５と、ＡＦＥ４から出力されるＲ（赤）Ｇ（緑）Ｂ（青）のデジタル信号となる画像信号をＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像信号に各種画像処理を施す画像処理部６と、マイク５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。なお、画像処理部６は、入力される画像信号にノイズ低減処理を施すノイズ低減処理部６０を備える。
また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な形式の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な形式の信号に変換する音声出力回路部１３と、を備える。
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。
なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。
また、このとき画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。また、画像処理部６に備えられるノイズ低減処理部６０は、入力される画像信号に対してノイズ低減処理を施す。
動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。マイク５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。
一方、静止画や音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。
外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な形式の信号に変換されて出力される。
なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。
また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、いわゆるプレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。
＜＜ノイズ低減処理部＞＞
次に、図１に示したノイズ低減処理部６０の構成について図面を参照して説明する。図２は、本発明の実施形態における撮像装置に備えられるノイズ低減処理部の構成を示すブロック図である。なお、以下では説明の具体化のために、ノイズ低減処理部６０に入力されてノイズ低減処理が行われる画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、ノイズ低減処理部６０から出力される画像信号を「出力画像」と呼ぶこととする。
図２に示すように、ノイズ低減処理部６０は、入力画像の画像特徴に基づいて所定の画素を選択して選択情報を出力する比較画素選択部６１と、比較画素選択部６１から出力される選択情報に基づいて所定の画素の類似度（相関値）を算出して重み情報を出力する類似度算出部６２と、類似度算出部６２から出力される重み情報に基づいて所定の画素の画素値を合成して出力画像の画素値を算出する画素値算出部６３と、を備える。
ノイズ低減処理部６０によって行われるノイズ低減処理の概要について、図面を参照して説明する。図３は、ノイズ低減処理の概要を示す図である。図３に示すように、ノイズ低減処理部６０は、注目画素５０と、入力画像の注目画素５０を中心とした探索領域５１（例えば、５×５の領域）内の各比較画素５２との類似度を算出する。そして、類似度が高いと判定される比較画素の画素値の重みを大きくするとともに積算して（即ち、探索領域５１内の比較画素を平滑化して）、出力画像中の注目画素の画素値を算出する。
ただし、本実施形態では、類似度の算出や画素値の平滑化を行う比較画素５２を限定する（限定された比較画素を、以下において「選択比較画素」と呼ぶ）。例えば図３では、探索領域５１における左上の画素から右下の画素までの５つの比較画素５２が、選択比較画素５２ａ〜５２ｅとなる。なお、選択比較画素５２ｃは、注目画素５０である。
このように、出力画像の注目画素の画素値を算出するための比較画素５２を、選択比較画素５２ａ〜５２ｅに限定することによって、ノイズ低減処理で必要となる計算量を低減することが可能となる。そのため、処理時間を短縮したり、消費電力を抑制したりすることが可能となる。
さらに、選択比較画素５２ａ〜５２ｅを、入力画像の画像特徴に基づいて適宜選定することによって、計算量を低減しながらも、ノイズ低減処理の精度を良好に維持することが可能となる。なお、選択比較画素５２ａ〜５２ｅの選定方法や類似度の算出方法、出力画像の注目画素の画素値の算出方法などの詳細については、後述する。
＜比較画素選択部＞
次に、ノイズ低減処理部６０の各部の具体的な動作について説明する。まず、比較画素選択部６１の動作について図面を参照して説明する。図４は、比較画素選択部によるエッジ方向の算出方法の一例について示す図である。なお、エッジ方向とは例えば、略等しい画素値を備える画素が整列する方向である。
エッジ方向を検出可能なオペレータは、ＰｒｅｗｉｔｔやＳｏｂｅｌなど各種存在するが、本例ではＲｏｂｉｎｓｏｎのエッジ検出オペレータを用いる場合を例に挙げて説明する。なお、このエッジ検出オペレータは一例として、垂直方向、右下がり斜め方向、水平方向及び右上がり斜め方向の各方向のエッジを検出するための３×３の各フィルタを備えることとする。また、各フィルタは、注目画素５０（図３参照）を中心とした３×３の検出領域の各画素に対して演算されるものとする。なお、この場合、検出領域と後述する注目領域５３とは等しい領域となる（図３参照）。
図４（ａ）は、垂直方向のエッジを検出するフィルタであり、図４（ｂ）は、右下がり斜め方向のエッジを検出するフィルタであり、図４（ｃ）は、水平方向のエッジを検出するフィルタであり、図４（ｄ）は、右上がり斜め方向のエッジを検出するフィルタである。なお、検出領域の各画素の説明のため、３×３の検出領域の各画素の画素値を、左上ｐ1、中央上をｐ2、右上をｐ3、左中央をｐ4、中心（即ち、注目画素）をｐ5、右中央をｐ6、左下をｐ7、中央下をｐ8、右下をｐ9とする。同様に、３×３のフィルタの各フィルタ係数を、左上ｈ1、中央上をｈ2、右上をｈ3、左中央をｈ4、中心をｈ5、右中央をｈ6、左下をｈ7、中央下をｈ8、右下をｈ9とする。
図４（ａ）のフィルタのフィルタ係数は、ｈ1＝ｈ3＝１、ｈ2＝２、ｈ4＝ｈ5＝ｈ6＝０、ｈ7＝ｈ9＝−１、ｈ8＝−２である。図４（ｂ）のフィルタのフィルタ係数は、ｈ2＝ｈ4＝１、ｈ1＝２、ｈ3＝ｈ5＝ｈ7＝０、ｈ6＝ｈ8＝−１、ｈ9＝−２である。図４（ｃ）のフィルタのフィルタ係数は、ｈ1＝ｈ7＝１、ｈ4＝２、ｈ2＝ｈ5＝ｈ8＝０、ｈ3＝ｈ9＝−１、ｈ6＝−２である。図４（ｄ）のフィルタのフィルタ係数は、ｈ4＝ｈ8＝１、ｈ7＝２、ｈ1＝ｈ5＝ｈ9＝０、ｈ2＝ｈ6＝−１、ｈ3＝−２である。
図４（ａ）〜（ｄ）に示すエッジ検出オペレータを用いた演算例の一例を図５（ａ）〜（ｄ）にそれぞれ示す。なお、図５では、注目画素が右下がり斜め方向のエッジを備える場合について例示している。具体的には、ｐ1＝ｐ4＝ｐ5＝ｐ7＝ｐ8＝ｐ9＝０、ｐ2＝ｐ6＝５０、ｐ3＝１００となる場合を示している。
図４（ａ）〜（ｄ）に示したようなＲｏｂｉｎｓｏｎのエッジ検出オペレータを用いる場合、例えば、演算結果の絶対値が最小となるフィルタが検出するエッジ方向が、注目画素のエッジ方向となる。図５に示す例の場合、図５（ｂ）の右下がり斜め方向のエッジを検出するフィルタの演算結果の絶対値が０となり、最小となる。この場合、右下がり斜め方向が注目画素のエッジ方向として設定される。
なお、図５に示す例では、演算結果の絶対値が最小となるフィルタによって検出されるエッジ方向が、注目画素のエッジ方向としてそのまま設定されることとしたが、複数の演算結果に基づいてエッジ方向を設定することも可能である。この場合について、図６を参照して説明する。
図６は、図４（ａ）〜（ｄ）に示すエッジ検出オペレータを用いた演算例を示すものであり、図５の別例を示すものである。図６では、注目画素が右下がり斜め方向と水平方向との中間の方向となるエッジ方向を備える場合を例示している。具体的には、ｐ1＝ｐ2＝９０、ｐ3＝１００、ｐ4＝ｐ5＝ｐ9＝５０、ｐ6＝８０、ｐ7＝ｐ8＝０となる場合を示している。
図６に示す場合、図６（ｃ）の水平方向のエッジを検出するフィルタの演算結果の絶対値が最小となり、図６（ｂ）の右下がり斜め方向のエッジを検出するフィルタの演算結果の絶対値が次に小さいものとなる。この場合、演算結果の絶対値が最小となるフィルタが検出するエッジ方向と、演算結果の絶対値が２番目に小さいフィルタが検出するエッジ方向と、用いることとすると、右下がり斜め方向と水平方向との中間の方向が、注目画素のエッジ方向として設定されることとなる。
また、各フィルタの演算結果の絶対値に基づいて、重み付けをしても構わない。この方法を採用する場合、例えば図５では、図５（ｂ）の右下がり斜め方向のエッジを検出するフィルタの演算結果の絶対値が、他の演算結果の絶対値と比較して突出して小さいものとなる。そのため、右下がり斜め方向の重みが一際大きくなる。その結果、エッジ方向が右下がり斜め方向として設定される。一方、図６の場合では、図６（ｂ）の左斜め方向のエッジを検出するフィルタの演算結果の絶対値と、図６（ｃ）の水平方向のエッジを検出するフィルタの演算結果の絶対値とが同程度に小さいものとなる。そのため、右下がり斜め方向と水平方向との重みが同程度に大きくなる。その結果、エッジ方向が右下がり斜め方向と水平方向との中間の方向として設定される。
また、図４（ａ）〜（ｄ）に示す各フィルタは３×３であるが、これは一例に過ぎない。例えば、５×５や７×７などの他の大きさのフィルタを用いてエッジ方向を算出しても構わない。
（選択情報）
選択情報の一例を、図７に示す。図７は、エッジ方向が右下がり斜め方向に設定される場合（例えば、図５の演算結果となる場合）に出力される選択情報の一例について示したものである。なお、この選択情報Ｅは、図３に示した選択比較画素５２ａ〜５２ｅが選択される場合の選択情報を示したものである。
選択情報Ｅは、比較画素５２が含まれる探索領域５１と同じ大きさ（例えば５×５）にするとともに、各値（以下、選択値とする）が探索領域５１の各比較画素５２に対応するものとすると、選択比較画素の選択を容易に行うことができるようになるため好ましい。そのため、以下では選択情報Ｅの各選択値が、探索領域５１の各比較画素５２に対応するものとして説明する。
図７に示す選択情報Ｅでは、エッジ方向となる右下がり斜め方向に沿った比較画素（５×５の探索領域５１中の、左上から右下にかけた５つの比較画素５２）に対応する選択値が１となり、他の比較画素に対応する選択値が０となる。これは、エッジ方向（右下がり斜め方向）に沿った比較画素５２を、選択比較画素５２ａ〜５２ｅとして選択することを示すものである。
なお、図７では選択情報の大きさを５×５としたが、これは一例に過ぎない。例えば、７×７や９×９などの他の大きさとしても構わない。ただし、上述のように探索領域５１の大きさと同じ大きさとして、各選択値を各比較画素に対応させることとすると好ましい。
また、図７に示す選択情報Ｅは、選択されない各比較画素に対応する各選択値を０、選択比較画素５２ａ〜５２ｅに対応する各選択値を全て１としているが、選択比較画素５２ａ〜５２ｅに対応する各選択値が複数の値を取り得るものとしても構わない。即ち、選択比較画素５２ａ〜５２ｅのそれぞれに対して、重要度を設定することとしても構わない。重要度を設定する場合の選択情報の例を図８に示す。図８は、選択情報の別例を示す図であり、図７に相当する図である。
例えば、図８に示す選択情報Ｅ１では、選択比較画素５２ａ〜５２ｅに対応する各選択値が１，２，４のいずれかの値を取り得るものとしている。さらに例えば、中心（注目画素５０）に近いほど値が大きく、離れるほど値が小さくなるものとしている。具体的には、図３の選択比較画素５２ｃ（注目画素５０）に対応する選択値を４、その両隣の選択比較画素５２ｂ，５２ｄに対応する選択値を２、さらにその隣であり注目画素から離れる方向に並ぶ選択比較画素５２ａ，５２ｅに対応する選択値を１とする。このように構成すると、後述する画素値算出部６３で出力画像の注目画素の画素値の算出を行う際に、注目画素に近い選択比較画素ほど重みを大きくすることが可能となる。
なお、説明の具体化のために、図３に示す例に合わせて選択比較画素５２ａ〜５２ｅの数が５個である場合を例示して説明したが、選択比較画素は何個設定しても構わない。ただし、個数を増やすと計算量を低減する効果が小さくなる。そのため、探索領域中、少なくとも１個は選択されない比較画素を設けることとすると好ましい。また、選択比較画素の数を可変としても構わないが、求められたエッジ方向に沿って予め設定された所定の数だけ選択比較画素が選択されることとすると、無用な計算量増大がなくなり、ノイズ低減処理部６０の構成の簡略化が可能となるため、好ましい。
＜類似度算出部＞
次に、類似度算出部６２の動作について図面を参照して説明する。図９は、類似度算出部による類似度の算出方法の一例を示す図である。なお、３×３の注目領域５３の各画素の画素値を、左上ｑ1、中央上をｑ2、右上をｑ3、左中央をｑ4、中心（即ち、注目画素５０）をｑ5、右中央をｑ6、左下をｑ7、中央下をｑ8、右下をｑ9とする。また、３×３の判定領域５４の各画素の画素値を、左上ｒ1、中央上をｒ2、右上をｒ3、左中央をｒ4、中心（即ち、選択比較画素）をｒ5、右中央をｒ6、左下をｒ7、中央下をｒ8、右下をｒ9とする。なお、注目領域５３及び判定領域５４は、図３に示す同じ符号を付した領域５３，５４にそれぞれ相当する。また、図３の判定領域５４は、選択比較画素５２ａに対して設定されたものを例示したものである。
本例では、対応する位置の画素の画素値（ｑ1とｒ1、ｑ2とｒ2、…、ｑ9とｒ9）をそれぞれ比較することで、類似度を算出する。例えば、下記式（１）に示すように、対応する画素の２乗誤差Ｓを算出することによって比較を行う。下記式（１）中のＡiは、対応する位置の画素毎に設定される重みであり、Ａ1＋Ａ2＋…＋Ａ9＝１を満たす。
上記式（１）で得られた２乗誤差Ｓを所定のパラメータｈ2で割った値を負にした値（−Ｓ／ｈ2）の、ｅを底とする指数関数値を類似度Ｃとする（下記式（２））。この場合、２乗誤差Ｓが大きくなるほど上記の負値が小さくなるため、図１０の指数関数のグラフに示すように、類似度Ｃは小さくなる。なお、注目領域５３の各画素値と判定領域５４の各画素値とが全て等しい場合は２乗誤差Ｓが０となるため、類似度Ｃは１（最大値）となる。
類似度Ｃは、選択情報Ｅ，Ｅ１によって選択される選択比較画素（例えば、図３の選択比較画素５２ａ〜５２ｅ）のそれぞれについてのみ算出される。さらに、類似度算出部６２はこれらの類似度Ｃを用いて、後述する重み情報Ｗを生成する。
なお、上記式（１）では、２乗誤差Ｓを算出する画素の数（即ち、注目領域５３及び判定領域５４のそれぞれに含まれる画素の数）を９個としたが、ｎ個としても構わない。例えば、５×５＝２５個としても構わないし、７×７＝４９個としても構わない。
また、類似度Ｃを算出する選択比較画素が注目画素となる場合（図３の選択比較画素５２ｃの類似度を算出する場合）、２乗誤差が０となって類似度Ｃが所定の値（本例では１）になることが分かっているため、算出を省略しても構わない。この場合、さらに計算量を抑制することが可能となる。また、上記の類似度Ｃを算出する方法は一例に過ぎず、他のどのような方法を用いて類似度Ｃを算出することとしても構わない。
（重み情報）
重み情報Ｗの一例について、図面を参照して説明する。図１１は、重み情報の一例を示す図である。なお、重み情報Ｗも、選択情報Ｅ，Ｅ１と同様に、探索領域５１の各比較画素５２に対応する値（以下、重み値とする）を備えるものとする。また、選択されない各比較画素５２に対応する各重み値を０とする。さらに、図１１に示す重み情報Ｗは、図３に示す選択比較画素５２ａ〜５２ｅが選択される場合を示すこととし、選択比較画素５２ａ〜５２ｅに相当する各重み値をＷ1〜Ｗ5、各類似度をＣ1〜Ｃ5として、以下説明する。
まず、図７に示した選択情報Ｅのように、選択比較画素５２ａ〜５２ｅに重要度を設定しない場合について説明する。この場合、まず類似度Ｃ1〜Ｃ5の総和Ｚを、下記式（３）に示すように算出する。そして、下記式（４）に示すように、類似度Ｃ1〜Ｃ5のそれぞれを総和Ｚで割った値、即ち、類似度Ｃ1〜Ｃ5を正規化した値を、重み値Ｗ1〜Ｗ5とする。
一方、図８に示した選択情報Ｅ１のように、選択比較画素５２ａ〜５２ｅに重要度を設定する場合について説明する。なお、選択情報Ｅ１の選択比較画素５２ａ〜５２ｅに対応する各選択値を、Ｅ１1〜Ｅ１5とする。この場合、まず各類似度Ｃ1〜Ｃ5と各選択値Ｅ１1〜Ｅ１5との積の総和Ｚ１を、下記式（３ａ）に示すように算出する。そして、下記式（４ａ）に示すように、類似度Ｃ1〜Ｃ5と選択値Ｅ１1〜Ｅ１5との積のそれぞれを総和Ｚ１で割った値、即ち、類似度Ｃ1〜Ｃ5と選択値Ｅ１1〜Ｅ１5との積を正規化した値を、重み値Ｗ１1〜Ｗ１5とする。
なお、上記の重み値の設定方法は一例であり、他の方法によって重み値を設定することとしても構わない。ただし、上記の例のような、注目領域５３及び判定領域５４（図３参照）内の画素を比較する方法など、重み値を設定するための計算量が多くなる方法に対して、本実施形態の比較画素を予め限定する方法を適用することとすると、得られる効果が大きいものとなる。
＜画素値算出部＞
次に、画素値算出部６３の動作について説明する。説明の具体化のために、図３に示した選択比較画素５２ａ〜５２ｅを用いて、出力画像の注目画素の画素値ｖを算出する場合を例に挙げて説明する。なお、図１２の探索領域内の画素値を示す図に示すように、選択比較画素５２ａ〜５２ｅの各画素値をｔ1〜ｔ5とする。また、それぞれの選択比較画素５２ａ〜５２ｅに対する重み値を、図１１に示したようにＷ1〜Ｗ5とする。なお、上記式（４ａ）の重み値Ｗ1iを用いても構わない。
本例では、下記式（５）のように、選択比較画素５２ａ〜５２ｅの各画素値ｔ1〜ｔ5と、対応する重み値Ｗ1〜Ｗ5（またはＷ１1〜Ｗ１5）と、をそれぞれ乗算した値を合算することによって、出力画像の注目画素の画素値ｖを算出する。即ち、選択比較画素５２ａ〜５２ｅの画素値の平滑化を行うことで、出力画像の注目画素の画素値ｖを算出する。
以上のように、本例では入力画像の特徴、特に、注目画素のエッジ方向に基づいて、注目画素の画素値の算出に使用する選択比較画素の選択を行う。そのため、注目画素に類似する可能性が高く、出力画像の注目画素の画素値を算出する際に用いると効果的となる比較画素を、積極的に選択比較画素として選択することが可能となる。同時に、注目画素と類似する可能性が低く、出力画像の注目画素の画素値を算出する際に用いてもあまり効果的ではない比較画素を、利用しないことが可能となる。したがって、ノイズ低減処理の精度を良好なものとしつつ、計算量を抑制することが可能となる。
＜具体的な構成例＞
次に、ノイズ低減処理部６０の具体的な構成例について図面を参照して説明する。図１３は、探索領域、判定領域及び注目領域を示す図である。なお、図１３では、図１２と異なる方法で５×５の探索領域ＳＡ中の画素の位置を定義して示している。具体的には、画素値をｔijで表し、右方ほどｉの値が大きくなり、下方ほどｊの値が大きくなるものとしている。また、探索領域ＳＡの左上の画素の画素値をｔ00、右下の画素の画素値をｔ44とする。そのため、注目画素の画素値はｔ22となる。さらに、注目領域及び判定領域の大きさを３×３とし、それぞれの領域に含まれる画素を中心の画素の位置を用いて表す。例えば、注目領域に含まれる画素（画素値ｔ11、ｔ12、ｔ13、ｔ21、ｔ22、ｔ23、ｔ31、ｔ32、ｔ33となる画素）の一群（ブロック）をＢ22で表す。
また、図１４は、ノイズ低減処理部の具体的な構成例を示すブロック図である。図１４に示すノイズ低減処理部６０ａでは、比較画素選択部（不図示）から出力される選択情報が、図７や図８に示したものと異なり、エッジ方向のみを示すものとする。例えば選択情報は、垂直方向、右下がり斜め方向、水平方向及び右上がり斜め方向のいずれかの方向を示す４通りの情報であることとする。
図１４に示すノイズ低減処理部６０ａは、選択情報に基づいて処理対象となる画素（ブロック）を選択するブロック選択部ＣＢａ〜ＣＢｄと、ブロック選択部ＣＢａ〜ＣＢｄで選択されたブロックに含まれる画素の画素値と注目領域に含まれる画素の画素値とを比較して演算を行う類似度算出処理部Ｐａ〜Ｐｄと、ブロックＢ22（注目領域）に対して演算を行う類似度算出処理部Ｐｅと、類似度算出処理部Ｐａ〜Ｐｅから出力される演算結果を合算して正規化することによって出力画像の注目画素の画素値ｖを算出する正規化処理部ＮＯと、を備える。
ブロック選択部ＣＢａには、ブロックＢ00、Ｂ02、Ｂ20、Ｂ04が入力され、ブロック選択部ＣＢｂには、ブロックＢ11、Ｂ12、Ｂ21、Ｂ13が入力され、ブロック選択部ＣＢｃには、ブロックＢ33、Ｂ32、Ｂ23、Ｂ31が入力され、ブロック選択部ＣＢｄには、ブロックＢ44、Ｂ42、Ｂ24、Ｂ40が入力される。ブロック選択部ＣＢａ〜ＣＢｄのそれぞれには、共通の選択情報が入力される。それぞれのブロック選択部ＣＢａ〜ＣＢｄは、入力される選択情報に基づいて一つのブロックを選択する。具体的には、選択情報が示す方向に沿ったブロックを選択する。例えば、選択情報が右下がり斜め方向である場合、ブロック選択部ＣＢａはブロックＢ00を選択し、ブロック選択部ＣＢｂはブロックＢ11を選択し、ブロック選択部ＣＢｃはブロックＢ33を選択し、ブロック選択部ＣＢｄはブロックＢ44を選択する。なお、以下においては、ブロック選択部ＣＢａ〜ＣＢｄによって選択されるブロックを、Ｂa〜Ｂdとして説明する。
類似度算出処理部Ｐａ〜Ｐｄのそれぞれは、ブロック選択部ＣＢａ〜ＣＢｄから出力されるＢa〜Ｂdと、注目領域のブロックＢ22と、に基づいて上記式（１）及び（２）に示す方法と同様の方法で類似度Ｃa〜Ｃdを算出する。また、類似度Ｃa〜ＣdとブロックＢa〜Ｂdの中心の画素ｔa〜ｔdとの乗算を行う。そして、類似度Ｃa〜Ｃdと、乗算結果Ｃa×ｔa〜Ｃd×ｔdとを出力する。
類似度算出処理部Ｐｅは、入力されるブロックＢ22の中心の画素（注目画素）ｔ22と、類似度Ｃ22と、の乗算を行う。そして、類似度算出処理部Ｐｅは、類似度Ｃ22と、乗算結果Ｃ22×ｔ22とを出力する。なお、上述のように注目領域の類似度は所定の値となるため、算出を不要とすることができる。
正規化処理部ＮＯは、類似度算出処理部Ｐａ〜Ｐｅから入力される類似度Ｃa〜Ｃd，Ｃ22を合算して上記式（３）に示すような総和Ｚを算出する。また、乗算結果Ｃa×ｔa〜Ｃd×ｔd，Ｃ22×ｔ22を合算し、合算して得られた値を総和Ｚで除算することにより、出力画像の注目画素の画素値ｖを算出する。
なお、図８のエッジ情報Ｅ１に示したように、類似度Ｃa〜Ｃd，Ｃ22に重み付けをしても構わない。重み付けをする場合、例えば類似度算出処理部Ｐａ〜Ｐｅが、所定の値を類似度Ｃa〜Ｃd，Ｃ22に乗算することとする。このとき、図１４に示すノイズ低減処理部６０ａのように、各ブロック選択部ＣＢａ〜ＣＢｄが選択を行うそれぞれのブロックが、注目画素から略等しい距離のものとすると好適である。具体的に本例では、どのようなエッジ方向が選択されたとしても、ブロック選択部ＣＢａ，ＣＢｄが、注目画素から最も遠いブロックの選択を行うこととなる。同様に、ブロック選択部ＣＢｂ，ＣＢｃは、どのようなエッジ方向が選択されたとしても、注目画素に最も近いブロックの選択を行う。このように構成すると、選択されるエッジ方向によって重み係数を大きく変化させる必要がなくなるため、演算を容易にすることが可能となる。
＜＜他の算出方法の適用例＞＞
上述した例（以下、基本実施例とする）では、注目領域内の画素と判定領域内の画素とを比較することで注目画素と比較画素との類似度を算出し、この類似度を利用して平滑化を行う、ＮＬ−ｍｅａｎｓフィルタ処理を利用する場合を例に挙げたが、これ以外の算出方法を適用することも可能である。ただし、注目画素とその周囲の比較画素との類似度を求め、類似度を利用して出力画像の注目画素の画素値を算出するものとする。
また、以下に説明する各変形例においても、上記の基本実施例と同様に、注目画素と比較される周囲の画素（探索領域内の比較画素）を、注目画素の画像特徴（例えば、エッジ方向）に基づいて、適宜選択するものとする。なお、選択比較画素の選択方法は、上述した基本実施例と同様の方法を適用することが可能である。そのため、以下に示す各変形例は、類似度算出部６２及び画素値算出部６３（図２参照）の動作のみが異なるものとする。
＜第１変形例＞
本変形例では、注目画素の画素値と、選択比較画素の画素値と、の差分を算出するとともに、この差分（類似度）に応じて注目画素の画素値及び選択比較画素の画素値の平滑化を行う。例えば、εフィルタ処理を利用する。
本変形例の処理は、下記式（６）に示すように行う。以下では、入力画像の注目画素の画素値をｕ、出力画像の注目画素の画素値をｖ、選択比較画素の画素値をｔi、選択比較画素毎に設定される係数をａiとする。係数ａiは、例えば、注目画素に近いほど大きくするなどの設定をすることが可能であり、それぞれの選択比較画素の重みを示すものとなる。また、上述した例と同様に、入力画像の注目画素といずれかの選択比較画素とが同じものとなる（即ち、ｕ＝ｔiとなる）場合もあり得るものとする。また、１≦ｉ≦ｎとする。即ち、選択比較画素の数はｎ個である。さらに、ａ1〜ａnの総和は１になるものとする。
上記式（６）の差分値ｕ−ｔiの関数ｆ（ｕ−ｔi）は、差分値ｕ−ｔiの絶対値が所定の値ε以下であればｆ（ｕ−ｔi）＝ｕ−ｔiとなり、差分値ｕ−ｔiが所定の値εより大きければｆ（ｕ−ｔi）＝α、差分値ｕ−ｔiが所定の値−εより小さければｆ（ｕ−ｔi）＝−αとなる関数である。図１５に、関数ｆ（ｘ）のグラフを示す。なお、図１５（ａ）はα＝０のグラフであり、図１５（ｂ）はα＝εのグラフである。
また、上記式（６）について、（ａ1＋ａ2＋…＋ａn）×ｕ＝ｕであることを利用すると、下記式（７）のように変形することができる。なお、下記式（７）中の関数ｇ（ｕ−ｔi）は、α＝０であるとき（即ち、図１５（ａ）のグラフとなるとき）、差分値ｕ−ｔiの絶対値が所定の値ε以下であればｇ（ｕ−ｔi）＝ｔiとなり、差分値ｕ−ｔiの絶対値が所定の値εより大きければｇ（ｕ−ｔi）＝ｕとなる。
即ち、α＝０であるとき、選択比較画素の画素値の平滑化を行う際に、注目画素との差分値の絶対値が所定の値以下である選択比較画素の場合は、選択比較画素の画素値の方が用いられる。一方、差分値の絶対値が所定の値より大きい選択比較画素の場合は、選択比較画素の画素値の代わりに、注目画素の画素値の方が用いられることとなる。
本変形例においても、平滑化に用いる比較画素の数を減らすことができるため、計算量を抑制することが可能となる。さらに、注目画素の特徴、特に、注目画素のエッジ方向に基づいて選択比較画素の選択を行うため、注目画素に類似する可能性が高く、出力画像の注目画素の画素値を算出する際に用いると効果的となる比較画素を、積極的に選択比較画素として選択することが可能となる。同時に、注目画素と類似する可能性が低く、出力画像の注目画素の画素値を算出する際に用いてもあまり効果的ではない比較画素を、利用しないことが可能となる。したがって、ノイズ低減処理の精度を良好なものとしつつ、計算量を抑制することが可能となる。
＜第２変形例＞
本変形例では、注目画素の画素値と選択比較画素の画素値との差分と、注目画素と選択比較画素との距離とを算出し、これらを合わせた値（類似度）に応じて、注目画素の画素値及び選択比較画素の画素値の平滑化を行う。例えば、バイラテラルフィルタ処理を利用する。なお、本変形例の説明の具体化のために、図３及び図１２に示した選択比較画素５２ａ〜５２ｅが選択された場合を例に挙げて、説明を行う。
選択比較画素５２ａ〜５２ｅの画素値を、図１２に示したようにｔ1〜ｔ5とする。注目画素５０と選択比較画素５２ｃとが同じ画素であるため、注目画素５０の画素値はｔ3である。また、選択比較画素５２ａ〜５２ｅのそれぞれの位置を示す座標を（ｘ1，ｙ1）〜（ｘ5，ｙ5）とする。なお、注目画素５０（５２ｃ）の座標は（ｘ3，ｙ3）となる。
本実施例の方法では、図１６（ａ）に示すような、選択比較画素５２ａ〜５２ｅと注目画素５０（５２ｃ）との距離に応じて算出されるドメインフィルタ係数Ｄ1〜Ｄ5を利用する。ドメインフィルタ係数Ｄ1〜Ｄ5は、選択比較画素５２ａ〜５２ｅと注目画素５０（５２ｃ）との距離に応じて決定されるものである。そのため、他の注目画素に対するドメインフィルタにおいても、位置関係が同じものであればドメインフィルタ係数も同じ値となる。したがって、ドメインフィルタ係数の算出結果を記録しておけば、再度算出する処理は不要となる。
また、ドメインフィルタ係数Ｄ1〜Ｄ5は、下記式（８）に示すようにして算出される。なお、下記式（８）中のσdはドメインフィルタ係数を調整するための標準偏差であり、所定の値となる。また、選択比較画素５２ａ〜５２ｅと注目画素との距離が大きいほど、ドメインフィルタ係数Ｄ1〜Ｄ5は小さい値となる。
また、本実施例の方法ではさらに、図１６（ｂ）に示すような、選択比較画素５２ａ〜５２ｅの各画素値ｔ1〜ｔ5と、注目画素５０（５２ｃ）の画素値ｔ3と、の差分に応じて算出されるレンジフィルタ係数Ｒ1〜Ｒ5を利用する。また、レンジフィルタ係数Ｒ1〜Ｒ5は、下記式（９）に示すようにして算出される。なお、下記式（９）中のσrはレンジフィルタ係数を調整するための標準偏差であり、所定の値となる。また、選択比較画素５２ａ〜５２ｅの画素値ｔ1〜ｔ5と注目画素５０（５２ｃ）の画素値ｔ3との差分が大きいほど、レンジフィルタ係数Ｒ1〜Ｒ5は小さい値となる。
そして、下記式（１０）に示すように、対応するドメインフィルタ係数Ｄ1〜Ｄ5とレンジフィルタ係数Ｒ1〜Ｒ5と選択比較画素５２ａ〜５２ｅの画素値ｔ1〜ｔ5とを乗算して合算した値を、対応するドメインフィルタ係数Ｄ1〜Ｄ5とレンジフィルタ係数Ｒ1〜Ｒ5とを乗算して合算した値で除算することにより、出力画像の注目画素の画素値ｖを算出する。
本変形例においても、平滑化に用いる比較画素の数や算出すべき係数（特に、レンジフィルタ係数）の数を減らすことができるため、計算量を抑制することが可能となる。さらに、入力画像の特徴、特に、注目画素のエッジ方向に基づいて選択比較画素の選択を行うため、注目画素に類似する可能性が高く、出力画像の注目画素の画素値を算出する際に用いると効果的となる比較画素を、積極的に選択比較画素として選択することが可能となる。同時に、注目画素と類似する可能性が低く、出力画像の注目画素の画素値を算出する際に用いてもあまり効果的ではない比較画素を、利用しないことが可能となる。したがって、ノイズ低減処理の精度を良好なものとしつつ、計算量を抑制することが可能となる。
なお、本変形例の説明においては、説明の具体化のために図３や図１２と同様の５つの選択比較画素５２ａ〜５２ｅが選択される場合を例に挙げて示したが、本変形例はこの例に限られるものではない。例えば、探索領域５１の大きさが５×５以外の大きさであっても構わないし、選択比較画素の個数が５個以外の個数であっても構わない。
＜＜領域別算出＞＞
出力画像の注目画素の画素値を算出するために、探索領域を分割して、それぞれの分割領域に対して別々の算出方法を適用することとしても構わない。なお、以下に説明する具体例では、５×５の探索領域を二つの領域に分割して、基本実施例の算出方法と、第２変形例の算出方法と、をそれぞれの分割領域に対して適用する場合について説明する。
図１７に、入力画像の探索領域の一例を示す。図１７に示す探索領域７１は、中心の注目画素７０と、これを含む右下がり斜め方向の対角線上の比較画素（図３の選択比較画素５２ａ〜５２ｅと同じ位置の比較画素）７２ａ〜７２ｅが、略等しい画素値となる。また、右上の比較画素７２ｆと、左下の画素の右方に隣接する比較画素７２ｇと、左下の画素の上方に隣接する比較画素７２ｈも、注目画素７０と略等しい画素値になるものとする。
図１７に示す注目画素７０に、例えば図４に示すエッジ検出オペレータを用いたエッジ方向の検出を行うと、右下がり斜め方向のエッジ方向が検出される。この場合に生成される選択情報の一例を図１８に示す。図１８に示す選択情報Ｅ２では、図７に示した選択情報Ｅと同様に、検出されたエッジ方向に沿った選択値が１となる。具体的には、比較画素７２ａ〜７２ｅに相当する各選択値が１となる。また、検出されたエッジ方向に沿って選択値が１となる領域を第１領域８０とする。また、選択情報Ｅ２の第１領域８０以外の領域を第２領域８１ａ，８１ｂとする。
第２領域８１ａ，８１ｂでは、例えば、注目画素の画素値と略等しい画素値となる比較画素に対応する部分の選択値を１とする。即ち、比較画素７２ｆ，７２ｇ，７２ｈに対応する部分の選択値を１とし、その他の部分の選択値を０とする。なお、この選択値の決定方法は一例であり、他の方法で選択値を決定することとしても構わない。特に、第２領域８１ａ，８１ｂに対して使用する算出方法（本例では第２変形例の算出方法）に応じて、選択値の決定方法を決定することとしても構わない。
本例では、第１領域８０の選択値によって選択される第１選択比較画素７２ａ〜７２ｅに対して、基本実施例の算出方法を施して第１注目画素値ｖ1を算出する。また、第２領域８１ａ，８１ｂの選択値によって選択される第２選択比較画素７２ｆ，７２ｇ，７２ｈと注目画素７０とに第２変形例の算出方法を施して、第２注目画素値ｖ2を算出する。そして、下記式（１１）のように、重み係数ｋを用いて加重加算することにより、出力画像の注目画素の画素値ｖを算出する。
このように構成することで、複数の算出方法を使用して、出力画像の注目画素の画素値を算出することが可能となる。したがって、さらに精度良く出力画像の注目画素の画素値を算出することが可能となる。特に、第１選択比較画素に対して基本実施例の算出方法を適用し、第２選択比較画素に対して第１変形例や第２変形例の算出方法を適用することとすると好ましい。第１変形例や第２変形例の算出方法は、基本実施例の算出方法よりもノイズ低減効果は小さいが計算量が少ないものとなる。そのため、基本実施例のみを用いる場合よりも精度よくノイズ低減処理を実行可能としつつも、それに伴う計算量の増大を抑制することが可能となる。
なお、第１及び第２選択比較画素のそれぞれに適用する算出方法として、どのような算出方法を選択しても構わない。ただし、第１選択比較画素に対して基本実施例の算出方法を適用し、第２選択比較画素に対して第１変形例または第２変形例の算出方法を適用することとすると、より効果的にノイズ低減処理を行うことができるため、好ましい。
また、本例では２種類の選択比較画素に対して２種類の算出方法を適用する場合について述べたが、ｎ種類の選択比較画素に対してｎ種類の算出方法を適用することとしても構わない。ただし、ｎは３以上の整数とする。
＜具体的な構成例＞
領域別算出を行う場合、特に上記のように基本実施例及び第２変形例の算出方法を用いる場合のノイズ低減処理部の具体的な構成例について、図面を参照して説明する。図１９は、領域別算出を行うノイズ処理部の具体的な構成例を示すブロック図である。なお、図１９は図１４に相当するものであり、図１４と同様となる部分については同様の番号を付し、その詳細な説明については省略する。また、図１４に示すノイズ低減処理部６０ａと同様に、本例のノイズ低減処理部６０ｂも、図１３に示す探索領域ＳＡの画素に対して処理を行うものとして説明する。
図１９に示すように、ノイズ低減処理部６０ｂは、ブロック選択部ＣＢ１ａ〜ＣＢ１ｄと、類似度算出処理部Ｐａ〜Ｐｅと、を備える。本例のブロック選択部ＣＢ１ａ〜ＣＢ１ｄは、図１４に示したブロック選択部ＣＢａ〜ＣＢｄようにブロックＢa〜Ｂdを選択して出力するだけではなく、これに加えて選択されなかったブロックの中心画素の画素値（ｔaa〜ｔac、ｔba〜ｔbc、ｔca〜ｔcc、ｔda〜ｔdc）の出力を行う。
また、選択されなかったブロックの中心画素（以下、まとめてｔijで示す）の画素値と注目画素の画素値ｔ22とを比較して類似度（上記式（８）、（９）のＲi及びＤi）を算出するとともに、選択されなかったブロックの中心画素ｔijと類似度Ｒij×Ｄijとを乗算して出力する類似度算出処理部Ｐ１〜Ｐ１２を備える。また、類似度算出処理部Ｐ１〜Ｐ１２は、類似度Ｒij×Ｄijも出力する。
さらに、垂直方向、右下がり斜め方向、水平方向及び右上がり斜め方向のいずれの方向にも含まれない画素の画素値（ｔ01、ｔ03、ｔ10、ｔ14、ｔ30、ｔ34、ｔ41、ｔ43：以下、まとめてｔijで示す）と注目画素の画素値ｔ22とを比較して類似度Ｒij×Ｄijを算出するとともに、いずれの方向にも含まれない画素の画素値ｔijと類似度Ｒij×Ｄijとを乗算して出力する類似度算出処理部Ｐ１３〜Ｐ２０を備える。また、類似度算出処理部Ｐ１３〜Ｐ２０は、類似度Ｒij×Ｄijを出力する。
図１９及び上記の説明では、便宜上、類似度算出部Ｐ１〜Ｐ２０の全てが類似度Ｒij×Ｄijと乗算結果Ｒij×Ｄij×ｔijとを出力するように記載した。しかしながら、実際にこれらの値が出力されるのは、上述のように注目画素の画素値ｔ22と近い画素値ｔijが入力される類似度算出部Ｐ１〜Ｐ２０のみとなる。
正規化処理部ＮＯ１は、類似度算出処理部Ｐａ〜Ｐｅから入力される類似度Ｃa〜Ｃd，Ｃ22及び乗算結果Ｃa×ｔa〜Ｃd×ｔd，Ｃ22×ｔ22を用いて、図１４の正規化処理部ＮＯと同様の正規化を行い第１注目画素値ｖ1を算出する。
さらに、正規化処理部ＮＯ１は、類似度算出処理部Ｐ１〜Ｐ２０から入力される類似度Ｒij×Ｄijを合算して上記式（１０）の分母の値を算出する。また、乗算結果Ｒij×Ｄij×ｔijを合算して上記式（１０）の分子の値を算出し、上記式（１０）のように除算することにより、第２注目画素値ｖ2を算出する。
正規化処理部ＮＯ１は、得られた第１注目画素値ｖ1と、第２注目画素値ｖ2と、を上記式（１１）のように加重加算することによって、出力画像の注目画素の画素値ｖを算出する。
＜＜変形例＞＞
撮像して得られた画像にノイズ低減処理を施して記録する撮像装置１を例に挙げて説明したが、記録した画像を再生や編集する際にノイズ低減処理を施す再生装置や編集装置などに、本発明を適用しても構わない。
また、演算を行う画素値として、輝度値を用いても構わないし、ＲＧＢやＹＵＶなどの各値を用いても構わない。また、比較画素選択部６１と、類似度算出部６２と、画素値算出部６３と、が演算する画素値を異なるものとしても構わない。例えば、比較画素選択部６１と類似度算出部６２においては輝度値を用いて演算を行い、画素値算出部ではＲＧＢのそれぞれの値について演算を行うこととしても構わない。
本発明の実施形態における撮像装置１について、画像処理部６やノイズ低減処理部６０などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
また、上述した場合に限らず、図１の撮像装置１及び図２のノイズ低減処理部６０は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１やノイズ低減処理部６０を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができるものである。
本発明は、入力される画像に対してノイズ低減処理を施す画像処理装置に適用することが可能であり、これを備えたデジタルスチルカメラやデジタルビデオカメラなどの各種撮像装置に適用可能である。
は、本発明の実施形態における撮像装置の構成を示すブロック図である。 は、本発明の実施形態における撮像装置に備えられるノイズ低減処理部の構成を示すブロック図である。 は、ノイズ低減処理の概要を示す図である。 は、比較画素選択部によるエッジ方向の算出方法の一例について示す図である。 は、図４に示すエッジ検出オペレータを用いた演算例の一例を示す図である。 は、図４に示すエッジ検出オペレータを用いた演算例の別例を示す図である。 は、選択情報の一例を示す図である。 は、選択情報の別例を示す図である。 は、類似度算出部による類似度の算出方法の一例を示す図である。 は、指数関数のグラフである。 は、重み情報の一例を示す図である。 は、探索領域内の画素値を示す図である。 は、探索領域、判定領域及び注目領域を示す図である。 は、ノイズ低減処理部の具体的な構成例を示すブロック図である。 は、関数ｆ（ｘ）のグラフである。 は、ドメインフィルタ係数及びレンジフィルタ係数の一例を示す図である。 は、入力画像の探索領域の一例を示す図である。 は、領域別算出を行う場合の選択情報の一例を示す図である。 は、領域別算出を行うノイズ処理部の具体的な構成例を示すブロック図である。 は、従来のノイズ低減処理の概要を示す図である。
符号の説明
１ 撮像装置
２ イメージサンサ
３ レンズ部
４ ＡＦＥ
５ マイク
６ 画像処理部
６０，６０ａ，６０ｂ ノイズ低減処理部
６１ 比較画素選択部
６２ 類似度算出部
６３ 画素値算出部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 外部メモリ
１１ 伸長処理部
１２ 画像出力回路部
１３ 音声出力回路部
１４ ＣＰＵ
１５ メモリ
１６ 操作部
１７ ＴＧ部
１８ バス
１９ バス
ＣＢａ〜ＣＢｄ，ＣＢ１ａ〜ＣＢ１ｄ ブロック選択部
Ｐａ〜Ｐｅ，Ｐ１〜Ｐ２０ 類似度算出部
ＮＯ，ＮＯ１ 正規化処理部

Claims (6)

  1. 入力される入力画像にノイズ低減処理を施して出力画像を生成するノイズ低減処理部を備える画像処理装置において、
    前記ノイズ低減処理部が、前記入力画像の注目画素の画像特徴に応じて選択比較画素を選定し、前記注目画素の画素値と前記選択比較画素の画素値とをその類似度に応じて平滑化することで前記出力画像の注目画素の画素値を算出することを特徴とする画像処理装置。
  2. 前記ノイズ低減処理部が、
    前記入力画像の前記注目画素を中心とした検出領域内の画素に基づいて前記注目画素のエッジ方向を検出するとともに、当該エッジ方向に基づいて前記注目画素を中心とした探索領域内の画素の中から前記選択比較画素を選択する比較画素選択部と、
    前記選択比較画素と前記注目画素との前記類似度を算出する類似度算出部と、
    前記注目画素の画素値と前記選択比較画素の画素値とを前記類似度に応じて平滑化して前記出力画像の前記注目画素の画素値を算出する画素値算出部と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
  3. 前記類似度算出部が、前記入力画像の前記注目画素を中心とした注目領域内の画素の画素値と、前記選択比較画素を中心とした判定領域内の画素の画素値と、を比較して前記類似度を算出することを特徴とする請求項２に記載の画像処理装置。
  4. 前記比較画素選択部が、第１選択比較画素と第２選択比較画素とをそれぞれ選定し、
    前記類似度算出部が、前記第１選択比較画素と前記注目画素との第１類似度と、前記第２選択比較画素と前記注目画素との第２類似度と、をそれぞれ算出して、
    前記画素値算出部が、前記注目画素の画素値と前記第１選択比較画素の画素値とを前記第１類似度に応じて平滑化して得られる第１画素値と、前記注目画素の画素値と前記第２選択比較画素の画素値とを前記第２類似度に応じて平滑化して得られる第２画素値と、を用いて前記出力画像の前記注目画素の画素値を算出することを特徴とする請求項２または請求項３に記載の画像処理装置。
  5. 前記比較画素選択部が、前記探索領域中の前記エッジ方向に沿った画素を前記第１選択比較画素として選択するとともに、前記第１選択比較画素を除いた前記探索領域内の画素から、前記第２選択比較画素を選択することを特徴とする請求項４に記載の画像処理装置。
  6. 撮像して前記入力画像を作成する撮像部と、
    当該撮像部から入力画像を取得する請求項１〜請求項５のいずれかに記載の画像処理装置と、
    を備えることを特徴とする撮像装置。
JP2008326988A 2008-12-24 2008-12-24 撮像装置 Pending JP2010153969A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008326988A JP2010153969A (ja) 2008-12-24 2008-12-24 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008326988A JP2010153969A (ja) 2008-12-24 2008-12-24 撮像装置

Publications (1)

Publication Number Publication Date
JP2010153969A true JP2010153969A (ja) 2010-07-08

Family

ID=42572585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008326988A Pending JP2010153969A (ja) 2008-12-24 2008-12-24 撮像装置

Country Status (1)

Country Link
JP (1) JP2010153969A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120050678A (ko) * 2010-11-11 2012-05-21 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
WO2013014791A1 (ja) * 2011-07-28 2013-01-31 株式会社 東芝 映像信号処理装置及び映像信号処理方法
JP2013065946A (ja) * 2011-09-15 2013-04-11 Ricoh Co Ltd 画像処理装置および画像処理方法
JP2014112783A (ja) * 2012-12-05 2014-06-19 Canon Inc 画像処理装置、画像処理方法およびプログラム、並びに画像処理装置を備えた撮像装置
KR20140097507A (ko) * 2012-01-06 2014-08-06 가부시키가이샤 리코 화상 처리 장치, 촬상 장치, 화상 처리 방법 및 컴퓨터 판독 가능한 기록 매체
JP2014179971A (ja) * 2013-02-14 2014-09-25 Canon Inc 画像処理装置、画像処理方法、およびプログラム
JP2015035198A (ja) * 2012-10-25 2015-02-19 キヤノン株式会社 画像処理装置及び画像処理方法
US9412157B2 (en) 2010-08-19 2016-08-09 Samsung Electronics, Co., Ltd. Apparatus and method for high speed filtering of image for high precision
KR20160112226A (ko) * 2015-03-18 2016-09-28 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 노이즈 제거 시스템
US9489721B2 (en) 2014-01-22 2016-11-08 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US11282173B2 (en) 2013-02-14 2022-03-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for reducing noise in a captured image

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9412157B2 (en) 2010-08-19 2016-08-09 Samsung Electronics, Co., Ltd. Apparatus and method for high speed filtering of image for high precision
KR20120050678A (ko) * 2010-11-11 2012-05-21 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
KR101669819B1 (ko) * 2010-11-11 2016-10-27 삼성전자주식회사 깊이 영상의 고정밀 복원을 위한 필터링 장치 및 방법
WO2013014791A1 (ja) * 2011-07-28 2013-01-31 株式会社 東芝 映像信号処理装置及び映像信号処理方法
JP2013065946A (ja) * 2011-09-15 2013-04-11 Ricoh Co Ltd 画像処理装置および画像処理方法
KR101646859B1 (ko) 2012-01-06 2016-08-12 가부시키가이샤 리코 화상 처리 장치, 촬상 장치, 화상 처리 방법 및 컴퓨터 판독 가능한 기록 매체
KR20140097507A (ko) * 2012-01-06 2014-08-06 가부시키가이샤 리코 화상 처리 장치, 촬상 장치, 화상 처리 방법 및 컴퓨터 판독 가능한 기록 매체
JP2015035198A (ja) * 2012-10-25 2015-02-19 キヤノン株式会社 画像処理装置及び画像処理方法
JP2014112783A (ja) * 2012-12-05 2014-06-19 Canon Inc 画像処理装置、画像処理方法およびプログラム、並びに画像処理装置を備えた撮像装置
JP2014179971A (ja) * 2013-02-14 2014-09-25 Canon Inc 画像処理装置、画像処理方法、およびプログラム
US11282173B2 (en) 2013-02-14 2022-03-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for reducing noise in a captured image
US9489721B2 (en) 2014-01-22 2016-11-08 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
KR20160112226A (ko) * 2015-03-18 2016-09-28 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 노이즈 제거 시스템
KR102346961B1 (ko) * 2015-03-18 2022-01-04 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 노이즈 제거 시스템

Similar Documents

Publication Publication Date Title
JP2010153969A (ja) 撮像装置
JP5183297B2 (ja) 画像処理装置、撮像装置及び画像処理方法
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
JP5084696B2 (ja) 画像処理装置、画像処理方法及び電子機器
US10257449B2 (en) Pre-processing for video noise reduction
US9117136B2 (en) Image processing method and image processing apparatus
US20130342736A1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2010147925A (ja) 撮像装置
US8712207B2 (en) Digital photographing apparatus, method of controlling the same, and recording medium for the method
US8855416B2 (en) Image processing method and image processing apparatus
US8373775B2 (en) Apparatus, method and software stored on a computer-readable storage medium, for reducing noise in an image
JP2009020834A (ja) 画像処理装置、方法およびプログラムならびに撮像装置
US10091415B2 (en) Image processing apparatus, method for controlling image processing apparatus, image pickup apparatus, method for controlling image pickup apparatus, and recording medium
JP5092536B2 (ja) 画像処理装置及びそのプログラム
JP2010141657A (ja) 撮像装置及び撮像方法
JP2009094751A (ja) ノイズ抑圧装置、ノイズ抑圧方法、ノイズ抑圧プログラムおよび撮像装置
JP6032912B2 (ja) 撮像装置、その制御方法及びプログラム
JP2011155582A (ja) 撮像装置
JP2010041497A (ja) 画像処理装置、電子機器及び画像処理方法
JP5497420B2 (ja) 画像処理装置及び撮像装置
JP5213604B2 (ja) 撮像装置
JP2010147840A (ja) 画像処理装置及び撮像装置
JP2010245945A (ja) 画像処理装置及び撮像装置
JP2017175584A (ja) 撮像装置及び音声記録装置
JP6087720B2 (ja) 撮像装置及びその制御方法