JP2010109834A - ノイズ低減装置、ノイズ低減方法及びプログラム - Google Patents

Abstract

【課題】画像データの内容に関わらず、画像データに含まれるノイズを確実に低減することが可能なノイズ低減装置、ノイズ低減方法及びプログラムを提供すること。
【解決手段】画像データの注目画素の画素値と、注目画素に隣接する画素又は注目画素近傍の画素の画素値に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定する判定部１３３と、判定部の判定に基づいて画像データに含まれるノイズを低減するノイズ低減部１３５とを有する。
【選択図】図１

Description

本発明は、ノイズ低減装置、ノイズ低減方法及びプログラムに関する。

デジタルスチルカメラ、ビデオカメラ等の撮像装置において、光情報を電気信号に変換する撮像素子から出力された電気信号に基づいて生成される画像データは、ノイズが含まれるため、画質の劣化が生じる。そこで、ノイズを低減する方法として、画像データに対してフィルタ処理をする場合がある。

例えば、特許文献１及び特許文献２には、画像データのノイズを低減する技術が開示されている。特許文献１の技術では、画像データの注目画素を中心として対称位置にある複数の周辺画素の画素値の平均値を所定範囲に制限し、制限された周辺画素の画素値を新たな画素値としたとき、注目画素にローパスフィルタ処理を施す。特許文献２の技術では、画素毎に１又は複数の平坦度合い、急峻度合いを示す値を算出する。算出された値が平坦部を示すときは、平滑化フィルタ処理を施す係数で、急峻部を示すときは、エッジ強調フィルタ処理を施す係数で、中間部を示すときは、この２つのフィルタ間で連続的に変化する係数で画素に対してフィルタ処理する。

特開２００６−３１１５０１号公報 特開２００５−１４２８９１号公報

特許文献１によれば、注目画素がエッジ部、平坦部、又はグラデーション部いずれの場合もノイズ低減を図ることができる。しかし、フィルタ処理によってエッジ部の信号が低減され過ぎてしまう。また、平坦部とグラデーション部の識別がないため、平坦部で最適化されたノイズ低減（ＮＲ：noise reduction）強度では、グラデーション部でノイズ低減強度が不足する。反対に、グラデーション部で最適化されたノイズ低減強度では、平坦部でノイズ低減強度が強くなりすぎてしまうという問題があった。

また、特許文献２によれば、グラデーション部がエッジ部として認識されることが多く、この場合、グラデーション部のノイズが増大する。また、グラデーション部が平坦部と認識された場合でも、平坦部で最適化されたノイズ低減度では、グラデーション部でノイズ低減強度が不足する。反対に、グラデーション部で最適化されたノイズ低減強度では、平坦部でノイズ低減強度が強くなりすぎてしまうという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像データの内容に関わらず、画像データに含まれるノイズを確実に低減することが可能な、新規かつ改良されたノイズ低減装置、ノイズ低減方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像データの注目画素の画素値と、注目画素に隣接する画素又は注目画素近傍の画素の画素値に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定する判定部と、判定部の判定に基づいて画像データに含まれるノイズを低減するノイズ低減部とを有するノイズ低減装置が提供される。

かかる構成により、判定部が、画像データの注目画素の画素値と、注目画素に隣接する画素又は注目画素近傍の画素の画素値に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定し、ノイズ低減部が、判定部の判定に基づいて画像データに含まれるノイズを低減する。

上記判定部は、注目画素の画素値と、注目画素に隣接する画素又は注目画素近傍の画素の画素値から、注目画素に隣接する画素又は注目画素近傍の画素の特徴を表わす１又は複数の特徴係数を算出し、特徴係数に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定してもよい。かかる構成により、注目画素に隣接する画素又は注目画素近傍の画素の特徴を表わす１又は複数の特徴係数が、注目画素の画素値と、注目画素に隣接する画素又は注目画素近傍の画素の画素値から算出され、特徴係数に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかが判定される。

上記特徴係数は、注目画素に隣接する画素又は注目画素近傍の画素の空間周波数成分を示す係数の絶対値の加算値であり、判定部は、互いに異なる複数の特徴係数の大小関係に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定してもよい。かかる構成により、注目画素に隣接する画素又は注目画素近傍の画素の空間周波数成分を示す係数の絶対値の加算値である特徴係数を用いて、互いに異なる複数の特徴係数の大小関係に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかが判定される。

上記ノイズ低減部は、互いに異なる複数のノイズ低減部からなり、判定部の判定結果に基づいて、複数のノイズ低減部から少なくとも１つを選択し、選択された少なくとも１つのノイズ低減部を注目画素に適用して、画像データに含まれるノイズを低減してもよい。かかる構成により、判定部の判定結果に基づいて、互いに異なる複数のノイズ低減部から少なくとも１つのノイズ低減部が選択され、選択された少なくとも１つのノイズ低減部が注目画素に適用されることで、画像データに含まれるノイズが低減される。

上記注目画素がグラデーション部に属すると判定されたとき、注目画素に適用されるノイズ低減部は、平坦部に属すると判定された注目画素に適用されるノイズ低減部よりも、ノイズ低減の程度が強くてもよい。かかる構成により、グラデーション部に属すると判定された注目画素に適用されるノイズ低減部は、平坦部に属すると判定された注目画素に適用されるノイズ低減部よりも、ノイズ低減の程度が強くなる。

また、上記課題を解決するために、本発明の別の観点によれば、画像データの注目画素の画素値と、注目画素に隣接する画素又は注目画素近傍の画素の画素値から、注目画素に隣接する画素又は注目画素近傍の画素の特徴を表わす１又は複数の特徴係数を算出するステップと、特徴係数に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定するステップと、判定の結果に基づいて、画像データに含まれるノイズを低減するステップとを有するノイズ低減方法が提供される。

かかる構成により、注目画素に隣接する画素又は注目画素近傍の画素の特徴を表わす１又は複数の特徴係数が、画像データの注目画素の画素値と、注目画素に隣接する画素又は注目画素近傍の画素の画素値から算出され、特徴係数に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかが判定され、判定の結果に基づいて、画像データに含まれるノイズが低減される。

また、上記課題を解決するために、本発明の別の観点によれば、画像データの注目画素の画素値と、注目画素に隣接する画素又は注目画素近傍の画素の画素値から、注目画素に隣接する画素又は注目画素近傍の画素の特徴を表わす１又は複数の特徴係数を算出する手段、特徴係数に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定する手段、判定の結果に基づいて、画像データに含まれるノイズを低減する手段としてコンピュータを機能させるためのプログラムが提供される。

本発明によれば、画像データの内容に関わらず、画像データに含まれるノイズを確実に低減することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（一実施形態の構成）
まず、図１を参照して、本発明の一実施形態に係る撮像装置１００の構成について説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。

撮像装置１００は、例えば、レンズブロック１０２、撮像素子１１０、前処理部１２０、画像メモリ１４２、画像信号処理部１４４、全体信号処理部・制御部１４６、レンズ駆動部１４８、ＪＰＥＧ処理部１５０、ＬＣＤ１６０、メモリカード１７０、操作部１８０などからなる。

レンズブロック１０２は、図示しないが、例えばズームレンズ、絞り、フォーカスレンズなどからなる。レンズブロック１０２は、外部の光情報を撮像素子１１０に結像させる光学系システムであり、被写体からの光を撮像素子１１０まで透過させる。ズームレンズは、焦点距離を変化させて画角を変えるレンズである。絞りは、透過する光量を調節する機構である。フォーカスレンズは、光軸方向に移動することで撮像素子１１０の撮像面に被写体像を合焦させる。フォーカスレンズは、レンズ駆動部１４８によって駆動される。

撮像素子１１０は、光電変換素子の一例であり、レンズブロック１０２を透過して入射した光情報を電気信号に変換する光電変換が可能な複数の素子から構成される。各素子は受光した光量に応じた電気信号を生成する。撮像素子１１０は、ＣＣＤ（charge coupled device）センサー、ＣＭＯＳ（complementary metal oxide semiconductor）センサー等を適用することができる。

なお、撮像素子１１０の露光時間を制御するため、非撮影時に光を遮って撮影時のみ光が当たるように、メカニカルシャッター（図示せず。）を適用することができる。また、これに限定されず、電子シャッター（図示せず。）を適用してもよい。なお、メカニカルシャッター又は電子シャッターの動作は、全体信号処理部・制御部１４６に接続されたシャッターボタン（操作部１８０）のスイッチによって行われる。

撮像素子１１０は、更にＣＤＳ／ＡＭＰ部、Ａ／Ｄ変換部を有する。ＣＤＳ／ＡＭＰ部（相関二重サンプリング回路（correlated double sampling）／増幅器（amplifier））は、撮像素子１１０から出力された電気信号に含まれる低周波ノイズを除去すると共に、電気信号を任意のレベルまで増幅する。Ａ／Ｄ変換部は、ＣＤＳ／ＡＭＰ部から出力された電気信号をデジタル変換してデジタル信号を生成する。Ａ／Ｄ変換部は、生成したデジタル信号を前処理部１２０に出力する。

前処理部１２０は、Ａ／Ｄ変換部から出力されたデジタル信号に対して処理を施し、画像処理が可能となる画像信号を生成する。前処理部１２０は、例えば、撮像素子１１０の画素欠陥補正、黒レベル補正、シェーディング補正、ＡＦ評価値の算出などの処理を行う。前処理部１２０は、生成した画像信号を例えば画像信号処理部１４４に出力する。また、前処理部１２０は、画像メモリ１４２への画像データの読み書きを制御する。

画像メモリ１４２は、例えばＳＤＲＡＭ（synchronous DRAM）であり、撮影した画像の画像データを一時的に保存する。画像メモリ１４２は、複数の画像の画像データを記憶できる記憶容量を有している。画像メモリ１４２への画像の読み書きは、前処理部１２０によって制御される。

画像信号処理部１４４は、前処理部１２０から映像信号を受け、輝度信号と色信号に変換処理する。画像信号処理部１４４は、後述するノイズ低減部１３０を有し、ノイズ低減処理をする。また、画像信号処理部１４４は、ＷＢ制御値、γ値、エッジ（輪郭）強調制御値などに基づいて、画像処理された画像信号を生成する。画像信号処理部１４４は、生成した映像信号を全体信号処理部・制御部１４６に送る。

全体信号処理部・制御部１４６は、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１００内に設けられた各構成要素の処理を制御する。全体信号処理部・制御部１４６は、例えば、レンズ駆動部１４８に信号を出力してレンズブロック１０２のフォーカスレンズを駆動させる。また、全体信号処理部・制御部１４６は、操作部１８０からの信号に基づいて撮像装置１００の各構成要素を制御する。なお、本実施形態においては、全体信号処理部・制御部１４６が１つだけからなる構成であるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うなど複数のＣＰＵから構成されてもよい。

レンズ駆動部１４８は、フォーカス制御開始の操作信号を受けると、フォーカスレンズを一方向に移動する制御信号を生成して、生成した制御信号をレンズブロック１０２に出力する。レンズ駆動部１４８は、前処理部１２０で算出されたＡＦ評価値に基づいて、フォーカスレンズの合焦位置を算出する。なお、ＡＦ評価値は、画像信号の輝度値に基づいて前処理部１２０で算出されたものである。ＡＦ評価値は、例えば画像のコントラスト値であり、コントラスト値が最大となったとき、被写体像が撮像素子１１０の撮像面１１０Ａで合焦していると判断する（コントラスト検出方式）。なお、本実施形態のフォーカス制御はコントラスト検出方式に限定されず、他の方式によって行われてもよい。

ＪＰＥＧ処理部１５０は、全体信号処理部・制御部１４６からの映像データに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）規格などの静止画像の符号化方式で圧縮符号化処理を行う。また、メモリカード１７０から供給された静止画像の符号化データに対して伸張復号化処理を行う。

ＬＣＤ１６０は、例えばＶＲＡＭから画像データを受けて、画面に画像を表示する。ＬＣＤ１６０は、例えば撮像装置１００の本体に設けられる。ＬＣＤ１６０が表示する画像は、例えば、ＶＲＡＭから読み出された撮影前の画像（ライブビュー表示）、撮像装置１００の各種設定画面や、撮像して記録された画像などである。本実施形態では、表示部としてＬＣＤ１６０としたが、本発明はかかる例に限定されず、例えば有機ＥＬディスプレイなどであってもよい。

なお、ＶＲＡＭ（video RAM）は、画像表示用のメモリであり、複数のチャネルを有する。ＶＲＡＭは、画像メモリ１４２からの画像表示用の画像データの入力と、ＬＣＤ１６０への画像データの出力を同時に実行できる。ＬＣＤ１６０の解像度や最大発色数はＶＲＡＭの容量に依存する。

メモリカード１７０は、画像データの書き込み、又は記録された画像データや設定情報などの読み出しがされる。メモリカード１７０は、例えば、磁気ディスク、半導体記憶媒体などの記録媒体であり、撮影された画像データを記録する。記録媒体であれば、メモリカード１７０に限定されず、光ディスク（ＣＤ、ＤＶＤ、ブルーレイディスク等）、光磁気ディスクなどでもよい。メモリカード１７０は、撮像装置１００から着脱可能に構成されてもよい。

操作部１８０は、例えば、撮像装置１００に設けられた上下左右キー、電源スイッチ、モードダイアル、シャッターボタンなどである。操作部１８０は、ユーザーによる操作に基づいて操作信号を全体信号処理部・制御部１４６等に送る。例えば、シャッターボタンは、ユーザーによる半押し（Ｓ１操作）、全押し（Ｓ２操作）、解除が可能である。シャッターボタンは、半押しされたときフォーカス制御開始の操作信号を出力し、半押し解除でフォーカス制御が終了する。また、シャッターボタンは、全押しされたとき、撮影開始の操作信号を出力する。

なお、撮像装置１００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。

（ノイズ低減部１３０の構成）
次に、図２を参照して、本実施形態に係るノイズ低減部１３０の構成について説明する。図２は、本実施形態に係るノイズ低減部１３０を示すブロック図である。

ノイズ低減部１３０は、ノイズ低減装置の一例であり、例えば画像信号処理部１４４に設けられる。ノイズ低減部１３０は、例えば、入力部１３１と、特徴係数算出部１３２と、判定部１３３と、フィルタ処理選択部１３４と、フィルタ処理部１３５と、出力部１３６などを有する。

入力部１３１は、撮像素子１１０から出力された画像データが、輝度信号及び色信号に変換処理された後の輝度信号からなる画像データ（Ｙ_１）が入力される。入力された画像データは、特徴係数算出部１３２に送られる。

特徴係数算出部１３２は、画像データ（Ｙ_１）の注目画素の画素値と、注目画素に隣接する画素又は注目画素近傍の画素の画素値から、注目画素に隣接する画素又は注目画素近傍の画素の特徴を表わす１又は複数の特徴係数を算出する。特徴係数は、例えば注目画素に隣接する画素又は注目画素近傍の画素の空間周波数成分を示す係数の絶対値の加算値である。算出された特徴係数は、判定部１３３に送られる。

判定部１３３は、特徴係数算出部１３２で算出された１又は複数の特徴係数に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定する。例えば、判定部１３３は、互いに異なる複数の特徴係数の大小関係に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定する。平坦部とは、互いに隣接する画素の画素値が同一又はほとんど同一である部分である。エッジ部とは、互いに隣接する画素の画素値が急峻に上昇又は下降する方向に変化する部分である。グラデーション部とは、互いに隣接する画素の画素値が緩やかに上昇又は下降する方向に変化する部分である。

フィルタ処理選択部１３４は、判定部１３３の判定結果に基づいて、複数のフィルタ処理部１３５のうち、少なくとも１つのフィルタ処理部１３５を選択する。選択されるフィルタ処理部１３５は、画像データに応じて異なる。フィルタ処理選択部１３４は、どのフィルタ処理部１３５が選択されたかの情報をフィルタ処理部１３５に送る。

フィルタ処理部１３５は、本実施形態では、複数種類のフィルタ処理部１３５が記憶部に記録されている。そして、フィルタ処理選択部１３４で画像データに応じて選択されたフィルタ処理部１３５が、画像データに含まれるノイズを低減する。フィルタ処理部１３５は、入力部１３１から画像データ（Ｙ_１）を受けて、画像データの注目画素に対してフィルタ処理を行う。フィルタ処理部１３５は、フィルタ処理された画像データ（Ｙ_２）を出力部１３６に送る。

出力部１３６は、フィルタ処理された画像データ（Ｙ_２）をノイズ低減部１３０の外部に出力する。出力された画像データは、例えば色補間処理、ホワイトバランス調整、ガンマ処理などがされる。

なお、ノイズ低減部１３０における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。

（ノイズ低減部１３０の動作）
次に、図３を参照して、本実施形態に係るノイズ低減部１３０の動作について説明する。図３は、本実施形態に係るノイズ低減部１３０の動作を示すフローチャートである。

まず、ノイズ低減部１３０の入力部１３１に輝度信号からなる画像データ（Ｙ_１）が入力される（ステップＳ１０１）。そして、特徴係数算出部１３２において、入力された画像データ（Ｙ_１）の注目画素の画素値と、注目画素に隣接する画素又は注目画素近傍の画素の画素値から、注目画素に隣接する画素又は注目画素近傍の画素の特徴を表わす１又は複数の特徴係数が算出される（ステップＳ１０２）。

次に、判定部１３３で、特徴係数に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかが判定される（ステップＳ１０３）。そして、フィルタ処理選択部１３４で、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかによって、複数のフィルタ処理部１３５のうち、少なくとも１つのフィルタ処理部１３５が選択される（ステップＳ１０４）。その後、選択されたフィルタ処理部１３５が、画像データ（Ｙ_１）の注目画素に対してフィルタ処理をする（ステップＳ１０５）。これにより、画像データの内容（平坦、エッジ、グラデーション）に応じて、画像データに含まれるノイズ低減処理を確実に行うことができる。

最後に、フィルタ処理された画像データ（Ｙ_２）がノイズ低減部１３０の外部に出力される（ステップＳ１０６）。

次に、特徴係数算出部１３２が算出する特徴係数について説明する。
特徴係数は、画像データについて２次元ＤＣＴ（discrete cosine transform：離散コサイン変換）を行ってＤＣＴ係数（２次元空間周波数成分）を算出し、算出されたＤＣＴ係数の絶対値を加算して求められる係数である。

例えば、図４に示すように、画像データを５×５画素のブロックに分割する場合について説明する。図４は、画像データの画素の配列を示す説明図である。図４は、５×５画素のブロックを抽出したものであり、図４中のＡは、注目画素を表わす。各画素の画素値をf(x,y)とすると、ブロック毎のＤＣＴ係数F(u,v)は、次式で表わされる。

これにより、ＤＣＴ係数F(u,v)は図５に示すように配列される。図５は、ＤＣＴ係数の配列を示す説明図である。各ブロックの左上端は直流（ＤＣ）成分を表わす。図５では、交流成分について各成分について係数を割り当てている。例えば、
F(2,1)＝Ａ１、F(2,2)＝Ａ２、F(1,2)＝Ａ３
とし、
F(3,1)＝Ｂ１、F(3,2)＝Ｂ２、F(3,3)＝Ｂ３、F(3,2)＝Ｂ４、F(3,1)＝Ｂ５
とし、
F(4,1)＝Ｃ１、F(4,2)＝Ｃ２、F(4,3)＝Ｃ３、F(4,4)＝Ｃ４、F(4,3)＝Ｃ５、F(4,2)＝Ｃ６、F(4,1)＝Ｃ７
とし、
F(5,1)＝Ｄ１、F(5,2)＝Ｄ２、F(5,3)＝Ｄ３、F(5,4)＝Ｄ４、F(5,5)＝Ｄ５、F(5,4)＝Ｄ６、F(5,3)＝Ｄ７、F(5,2)＝Ｄ８、F(5,1)＝Ｄ９
として、係数の割り当てを行った。

そして、特徴係数の一例である特徴係数ｋ_１，ｋ_２は次式で算出される。

ｋ_１＝｜Ａ１｜＋｜Ａ２｜＋｜Ａ３｜
ｋ_２＝｜Ｂ１｜＋｜Ｂ２｜＋｜Ｂ３｜＋｜Ｂ４｜＋｜Ｂ５｜

次に、判定部１３３における判定、及びフィルタ処理選択部１３４におけるフィルタの選択について説明する。判定部１３３は、特徴係数に基づいて、注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定する。

上述の例について判定する場合について説明する。まず、特徴係数ｋ_１，ｋ_２をそれぞれ所定の閾値と比較し、特徴係数ｋ_１，ｋ_２が所定の閾値より大きいか又は小さいかを判断する。

そして、特徴係数ｋ_１，ｋ_２が所定の閾値より大きいか又は小さいかの判断結果を条件として、例えば図６に示すテーブルをもとに、注目画素が平坦部、グラデーション部、特定周波数の繰り返しパターン、及びエッジのいずれに属するかについて判定する。そして、その判定結果に基づいて、ノイズ低減処理のためのフィルタを選択する。図６は、特徴係数の大小関係と画像判定又はフィルタの関係を示すテーブルである。

例えば、特徴係数ｋ_１，ｋ_２の両方が所定の閾値より小さい場合は、注目画素が平坦部に属すると判定し、比較的弱いＬＰＦ（ローパスフィルタ）を選択する。図８に比較的弱いＬＰＦの一例を示す。これにより、平坦部の注目画素に対して、比較的弱いＬＰＦ処理することになり、平坦部に適切なノイズ低減処理をすることができる。

また、特徴係数ｋ_１が所定の閾値より大きく、特徴係数ｋ_２が所定の閾値より小さい場合は、注目画素がグラデーション部に属すると判定し、比較的強いＬＰＦを選択する。図７に比較的強いＬＰＦの一例を示す。これにより、グラデーション部の注目画素に対して、比較的強いＬＰＦ処理することになり、グラデーション部に適切なノイズ低減処理をすることができる。

また、特徴係数ｋ_１が所定の閾値より小さく、特徴係数ｋ_２が所定の閾値より大きい場合は、注目画素が特定周波数の繰り返しパターンに属すると判定し、方向判定ＬＰＦを選択する。特定周波数の繰り返しパターンとは、複数の線形状のもの又は複数の線状の境界が、ある方向に平行に並んだ画像であり、方向判定ＬＰＦによって方向を判定しＬＰＦ処理することで、特定周波数の繰り返しパターンに適したノイズ低減処理をすることができる。

更に、特徴係数ｋ_１，ｋ_２の両方が所定の閾値より大きい場合は、注目画素がエッジ部に属すると判定し、方向判定ＬＰＦを選択する。エッジ部は、線形状のもの又は線状の境界が、ある方向に延長した画像であり、方向判定ＬＰＦによって方向を判定しＬＰＦ処理することで、エッジ部に適したノイズ低減処理をすることができる。

図９に方向判定ＬＰＦの一例を示す。まず、５×５画素のブロック内の画素に対して図９（Ａ）に示すようにａ，ｂ，ｃ，・・・，ｉの係数を割り当てる。そして、図９（Ｂ）に示すように、注目画素ｅを中心として８方向の差分の絶対値を算出する。次に、算出した差分絶対値のうち最小値側から２つの画素を抽出する。その後、注目画素の画素値及び抽出した画素の画素値に対して、３タップ｛１，２，１｝のフィルタ処理を行う。

以下、本実施形態のノイズ低減部１３０の効果について説明する。
従来技術では、平坦部とグラデーション部の識別がないため、又はグラデーション部が平坦部として誤認されることが生じていたため、平坦部で最適化されたノイズ低減（ＮＲ：noise reduction）強度では、グラデーション部でノイズ低減強度が不足した。また、反対に、グラデーション部で最適化されたノイズ低減強度では、平坦部でノイズ低減強度が強くなりすぎるという問題があった。

一方、本実施形態によれば、特徴係数を用いて平坦部とグラデーション部を確実に認識することができるため、平坦部に対しては平坦部に適したノイズ低減強度で処理でき、ノイズ低減強度が強くなりすぎるという問題は発生しない。また、グラデーション部に対しては、グラデーション部に適したノイズ低減強度で処理でき、ノイズ強度が弱くなりすぎるという問題は発生しない。

また、従来技術では、グラデーション部がエッジ部として誤認されることが生じていたため、グラデーション部のノイズが増大するという問題があった。一方、本実施形態によれば、グラデーション部とエッジ部を確実に認識することができるため、グラデーション部に対して、グラデーション部に適したノイズ低減強度で処理でき、ノイズが増大するという問題は発生しない。

その他、本実施形態によれば、平坦部、エッジ部、グラデーション部以外の画像の内容について判定することができ、判定された結果に応じて、画像に適したフィルタ処理をすることができる。その結果、画像データの内容に応じたノイズ低減処理を確実に行うことができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、ノイズ低減部１３０が画像信号処理部１４４に設けられ、輝度信号からなる画像データ（Ｙ_１）に対してノイズ低減処理を施す例について説明したが、本発明はかかる例に限定されない。例えば、ノイズ低減部は、画像データが、撮像素子１１０から出力され、画素欠陥補正がされた画像データ（ＲＡＷデータ）に対して、ノイズ低減処理をしてもよい。このとき、ノイズ低減部は、例えば前処理部１２０に設けられる。

また、上記実施形態では、交流成分Ａ１〜Ａ３，Ｂ１〜Ｂ５を使用して特徴係数ｋ１，ｋ２を算出する場合について説明したが、本発明はかかる例に限定されない。例えば、交流成分の組み合わせは任意であり、例えば交流成分Ａ１〜Ａ３，Ｂ１〜Ｂ５だけでなく、交流成分Ｃ１〜Ｃ７，Ｄ１〜Ｄ９を使用して、特徴係数ｋ１，ｋ２を算出してもよい。また、特徴係数がｋ１，ｋ２の２つである場合について説明したが、本発明はかかる例に限定されず、例えば、１つでもよいし３つ以上でもよい。

また、上記実施形態では、画像データを５×５画素のブロックに分割する場合について説明したが、本発明はかかる例に限定されず、例えば、８×８画素のブロックに分割するなど、分割するブロックの大きさは任意である。また、ノイズ低減のためのフィルタ処理は、上述したフィルタに限定されず、他の処理で行ってもよい。

また、上記実施形態では、注目画素が、平坦部、グラデーション部、特定周波数の繰り返しパターン、及びエッジのいずれに属するかについて判定する場合について説明したが、本発明はかかる例に限定されない。例えば、注目画素が強いエッジ部、弱いエッジ部、特定の形状パターンなど他の部分に属するかどうかを判定してもよい。

本発明の一実施形態に係る撮像装置を示すブロック図である。 同実施形態に係るノイズ低減部を示すブロック図である。 同実施形態に係るノイズ低減部の動作を示すフローチャートである。 画像データの画素の配列を示す説明図である。 ＤＣＴ係数の配列を示す説明図である。 特徴係数の大小関係と画像判定又はフィルタの関係を示すテーブルである。 比較的強いＬＰＦの一例を示す説明図である。 比較的弱いＬＰＦの一例を示す説明図である。 方向判定ＬＰＦの一例を示す説明図である。

符号の説明

１００ 撮像装置
１０２ レンズブロック
１１０ 撮像素子
１２０ 前処理部
１３０ ノイズ低減部
１３１ 入力部
１３２ 特徴係数算出部
１３３ 判定部
１３４ フィルタ処理選択部
１３５ フィルタ処理部
１３６ 出力部
１４２ 画像メモリ
１４４ 画像信号処理部
１４６ 全体信号処理部・制御部
１４８ レンズ駆動部
１５０ ＪＰＥＧ処理部
１６０ ＬＣＤ
１７０ メモリカード
１８０ 操作部

Claims (7)

1. 画像データの注目画素の画素値と、前記注目画素に隣接する画素又は前記注目画素近傍の画素の画素値に基づいて、前記注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定する判定部と、
   前記判定部の判定に基づいて前記画像データに含まれるノイズを低減するノイズ低減部と
   を有する、ノイズ低減装置。
2. 前記判定部は、
   前記注目画素の画素値と、前記注目画素に隣接する画素又は前記注目画素近傍の画素の画素値から、前記注目画素に隣接する画素又は前記注目画素近傍の画素の特徴を表わす１又は複数の特徴係数を算出し、
   前記特徴係数に基づいて、前記注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定する、請求項１に記載のノイズ低減装置。
3. 前記特徴係数は、前記注目画素に隣接する画素又は前記注目画素近傍の画素の空間周波数成分を示す係数の絶対値の加算値であり、
   前記判定部は、互いに異なる前記複数の特徴係数の大小関係に基づいて、前記注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定する、請求項２に記載のノイズ低減装置。
4. 前記ノイズ低減部は、
   互いに異なる複数のノイズ低減部からなり、
   前記判定部の判定結果に基づいて、前記複数のノイズ低減部から少なくとも１つを選択し、
   前記選択された少なくとも１つのノイズ低減部を前記注目画素に適用して、前記画像データに含まれるノイズを低減する、請求項１〜３のいずれかに記載のノイズ低減装置。
5. 前記注目画素が前記グラデーション部に属すると判定されたとき、前記注目画素に適用されるノイズ低減部は、前記平坦部に属すると判定された前記注目画素に適用されるノイズ低減部よりも、ノイズ低減の程度が強い、請求項１〜４のいずれかに記載のノイズ低減装置。
6. 画像データの注目画素の画素値と、前記注目画素に隣接する画素又は前記注目画素近傍の画素の画素値から、前記注目画素に隣接する画素又は前記注目画素近傍の画素の特徴を表わす１又は複数の特徴係数を算出するステップと、
   前記特徴係数に基づいて、前記注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定するステップと、
   前記判定の結果に基づいて、前記画像データに含まれるノイズを低減するステップと
   を有する、ノイズ低減方法。
7. 画像データの注目画素の画素値と、前記注目画素に隣接する画素又は前記注目画素近傍の画素の画素値から、前記注目画素に隣接する画素又は前記注目画素近傍の画素の特徴を表わす１又は複数の特徴係数を算出する手段、
   前記特徴係数に基づいて、前記注目画素が、平坦部、エッジ部及びグラデーション部のいずれに属するかを判定する手段、
   前記判定の結果に基づいて、前記画像データに含まれるノイズを低減する手段
   としてコンピュータを機能させるためのプログラム。
   

Images