JP2012124832A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Abstract

【課題】画像のノイズ除去において、画質の低下を、容易に防止する。
【解決手段】周辺対象画素ランダム取得部２３は、ノイズ除去の対象の対象画像の画素のうちの、注目している注目画素について、注目画素の周辺に位置する周辺画素をランダムにサンプリングした画素を、ノイズ除去のためのフィルタリングに用いる画素である周辺対象画素として取得する。ノイズ除去部２６は、周辺対象画素を用いて、例えば、εフィルタによるフィルタリング等の、ノイズ除去のためのフィルタリングを行う。本発明は、例えば、画像からノイズを除去するノイズ除去装置に適用できる。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、例えば、画像のノイズ除去において、画質の低下を、容易に防止することができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。

いわゆるRAWデータ等の画像データに含まれるノイズを、効率的に除去するノイズ除去方法としては、例えば、特許文献１に記載されているように、εフィルタ等の条件付き平均フィルタによって、画像をフィルタリングする方法がある。

εフィルタによれば、画像のエッジを維持しつつ、平坦部を平均化することにより、ノイズが除去される。

すなわち、εフィルタでは、例えば、ノイズ除去の対象の対象画像の各画素が、順次、注目する注目画素に選択される。そして、注目画素の周辺に位置する周辺画素のうちの、注目画素との画素値の差の絶対値が所定の閾値以内の周辺画素を、平均化の対象として、その平均化の対象となった周辺画素の画素値の平均値が求められ（平均化され）、その平均値が、注目画素の画素値とされる。

εフィルタによるノイズ除去の効果を高めるには、εフィルタのカットオフ周波数を低く設定することが有効であることが知られている。

ところで、例えば、ディジタルカメラ（ディジタルスチルカメラ、ディジタルビデオカメラ）において、高速撮像（高速のシャッタ速度での撮像）による高感度画像の撮像を行った場合に、S/N(Signal to Noise Ratio)が著しく劣化した画像（低S/N画像）が得られることがある。

低S/N画像から、効果的にノイズを除去するには、εフィルタによるフィルタリングに用いる周辺画素の範囲を広げ、多くの周辺画素を用いて、εフィルタによるフィルタリングを行う必要がある。

しかしながら、εフィルタによるフィルタリングに、多くの周辺画素を用いる場合には、フィルタリングに要する演算量が増大し、ひいては、処理時間やハードウェアが増大する。

そこで、例えば、特許文献２では、周辺画素の一部を、一定のパターンで間引き（間引く画素に乗算するタップ係数を0にすることにより、そのタップ係数に（画素値が）乗算される画素を、実質的に間引き）、間引き後の周辺画素、つまり、少ない数の周辺画素を用いて、εフィルタによるフィルタリングを行うノイズ除去方法が提案されている。

ここで、周辺画素の一部を間引き、その間引き後の周辺画素を用いて、εフィルタによるフィルタリングを行うと、周辺画素を間引いたことに起因して、εフィルタによるフィルタリング後の画像に、いわゆる折り返しが生じ、画質が低下する。

そこで、特許文献２に記載のノイズ除去方法では、対象画像を、低域成分と高域成分とに帯域分割し、低域成分の画像については、間引き後の周辺画素を用いて、εフィルタによるフィルタリングを行うとともに、高域成分の画像については、メディアンフィルタによるフィルタリングを行い、フィルタリング後の低域成分の画像と、フィルタリング後の高域成分の画像とを合成して、ノイズ除去後の対象画像（ノイズ除去後画像）を得るようになっている。

特許文献２に記載のノイズ除去方法において、εフィルタによるフィルタリングに用いられる間引き後の周辺画素は、低域成分の画像の画素であるので、周辺画素を間引いたことに起因してノイズ除去後画像に生じる折り返し（対象画像の高域成分の折り返し）は抑制され、折り返しによる画質の低下を防止したノイズ除去後画像を得ることができる。

特開2005-311455号公報 特開2008-153917号公報

以上のような、周辺画素の一部を、一定のパターンで間引き、間引き後の周辺画素を用いて、εフィルタによるフィルタリングを行うノイズ除去方法では、εフィルタによるフィルタリングに用いられる周辺画素の数が少ないので、演算量が少なくなるが、ノイズ除去後画像に生じる折り返しによる画質の低下を防止するために、対象画像を、低域成分と高域成分とに帯域分割する必要がある。

対象画像の、低域成分と高域成分とへの帯域分割は、LPF(Low Pass Filter)とHPF(High Pass Filter)とを用いて行われるが、LPFは、折り返しを適切に抑制することができるように設計する必要があり、面倒である。

また、折り返しによるノイズ除去後画像の画質の低下を防止するのに、帯域分割を、必ず行わなければならないのは、面倒である。

本発明は、このような状況に鑑みてなされたものであり、画像のノイズ除去において、折り返しによる画質の低下を、容易に防止することができるようにするものである。

本発明の一側面の画像処理装置、又は、プログラムは、ノイズ除去の対象の対象画像の画素のうちの、注目している注目画素について、前記注目画素の周辺に位置する周辺画素をランダムにサンプリングした画素を、ノイズ除去のためのフィルタリングに用いる画素である周辺対象画素として取得する周辺対象画素ランダム取得手段と、前記周辺対象画素を用いて、ノイズ除去のためのフィルタリングを行うノイズ除去手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。

本発明の一側面の画像処理方法は、画像処理装置が、ノイズ除去の対象の対象画像の画素のうちの、注目している注目画素について、前記注目画素の周辺に位置する周辺画素をランダムにサンプリングした画素を、ノイズ除去のためのフィルタリングに用いる画素である周辺対象画素として取得し、前記周辺対象画素を用いて、ノイズ除去のためのフィルタリングを行うステップを含む画像処理方法である。

以上のような一側面においては、ノイズ除去の対象の対象画像の画素のうちの、注目している注目画素について、前記注目画素の周辺に位置する周辺画素をランダムにサンプリングした画素が、ノイズ除去のためのフィルタリングに用いる画素である周辺対象画素として取得され、前記周辺対象画素を用いて、ノイズ除去のためのフィルタリングが行われる。

なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本発明の一側面によれば、画像のノイズ除去において、折り返しによる画質の低下を、容易に防止することができる。

本発明を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。 ノイズ除去装置の第１の構成例を示すブロック図である。 周辺画素取得部２４、及び、画素間引き部２５の処理を説明する図である。 ノイズ除去処理を説明するフローチャートである。 ノイズ除去装置の第２の構成例を示すブロック図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

［本発明を適用したディジタルカメラの一実施の形態］

図１は、本発明を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。

図１において、ディジタルカメラは、撮像素子１１、前処理部１２、光学補正部１３、信号処理部１４、コーデック部１５、記録制御部１６、及び、記録媒体１７を有している。

撮像素子１１は、CCD(Charge Coupled Device)や、CMOS(Complementary Metal-Oxide Semiconductor)イメージャ等により構成される。撮像素子１１は、図示せずレンズユニットにより撮像面に形成された光学像を光電変換し、例えば、ベイヤ配列のRGB(Red,Green,Blue)の画素値である画像信号を出力する。

前処理部１２は、撮像素子１１が出力する画像信号に、例えば、相関二重サンプリング処理や、自動利得調整処理、A/D(Analog/Digital)変換処理等を施し、その結果得られるディジタルの画像データであるRAWデータを、光学補正部１３に供給する。

光学補正部１３は、例えば、DSP(Digital Signal Processor)等で構成され、前処理部１２からの画像データ（RAWデータ）に、欠陥補正処理や、ホワイトバランス調整処理、ノイズ除去処理等を施し、その結果得られる画像データであるRAWデータを、信号処理部１４、及び、記録制御部１６に供給する。

信号処理部１４は、光学補正部１３からの画像データに、デモザイク処理、解像度変換処理、γ補正処理、画質補正処理等を施し、輝度信号及び色差信号の画像データを出力する。

信号処理部１４が出力する画像データは、コーデック部１５に供給されるとともに、図示せぬ液晶パネル等の表示装置に供給され、表示装置では、信号処理部１４からの画像データに対応して、いわゆるスルー画が表示される。

コーデック部１５は、信号処理部１４からの画像データを、所定の符号化方式で圧縮し、その結果得られる圧縮データを、記録制御部１６に供給する。

ここで、コーデック部１５は、信号処理部１４からの画像データが、静止画の画像データである場合には、信号処理部１４からの画像データを、例えば、JPEG(Joint Photographic Coding Experts Group)等の静止画用の符号化方式で圧縮する。また、コーデック部１５は、信号処理部１４からの画像データが、動画の画像データである場合には、信号処理部１４からの画像データを、例えば、MPEG(Moving Picture Experts Group)等の動画用の符号化方式で圧縮する。

記録制御部１６は、コーデック部１５からの圧縮データや、光学補正部１３からのRAWデータを、記録媒体１７に記録する記録制御を行う。

記録媒体１７は、例えば、メモリカード等の半導体メモリや、光ディスクや磁気ディスク（ハードディスク）等のディスク状記録媒体、磁気テープ等のテープ状記録媒体等であり、記録媒体１７には、記録制御部１６の記録制御に従って、データが記録される。

なお、記録媒体１７としては、ディジタルカメラに内蔵される記録媒体、若しくは、ディジタルカメラに着脱可能な記録媒体、又は、その両方を採用することができる。

［ノイズ除去装置の第１の構成例］

図２は、図１の光学補正部１３のうちの、ノイズ除去処理を行う部分としてのノイズ除去装置の第１の構成例を示すブロック図である。

図２において、ノイズ除去装置は、バッファ２１、注目画素取得部２２、周辺対象画素ランダム取得部２３、ノイズ除去部２６、及び、制御部２７を有している。

バッファ２１には、前処理部１２からの画像データ（RAWデータ）が、ノイズ除去の対象の対象画像（の画像データ）として供給される。

ここで、以下では、説明を簡単にするため、対象画像は、静止画であることとする。

バッファ２１は、例えば、複数のラインバッファで構成され、前処理部１２からの対象画像を一時記憶する。

注目画素取得部２２は、バッファ２１に記憶された対象画像の各画素を、例えば、ラスタスキャン順に、注目する注目画素に選択し、バッファ２１から注目画素（の画素値）を読み出すことにより取得して、ノイズ除去部２６に供給する。

ここで、後述する制御部２７は、撮像素子１１（図１）の欠陥画素の情報を、必要に応じて、ノイズ除去装置を構成する各ブロックに供給することができる。

注目画素取得部２２は、制御部２７からの欠陥画素の情報に基づき、注目画素が欠陥画素であるかどうかを判定し、注目画素が欠陥画素である場合には、注目画素の画素値として、例えば、注目画素に隣接する複数の画素の平均値等を採用する。

周辺対象画素ランダム取得部２３は、バッファ２１に記憶された対象画像の画素のうちの、注目画素について、注目画素の周辺に位置する周辺画素をランダムにサンプリングした画素を、ノイズ除去のためのフィルタリングに用いる画素である周辺対象画素として読み出すことにより取得し、ノイズ除去部２６に供給する。

ここで、図２では、周辺対象画素ランダム取得部２４は、周辺画素取得部２４、及び、画素間引き部２５を有する。

周辺画素取得部２４は、注目画素を中心とする、例えば、矩形状の、所定のサイズの領域である周辺領域を、制御部２７の制御に従って設定し、その周辺領域内の注目画素以外の画素を、注目画素の周辺に位置する周辺画素として、バッファ２１から読み出すことにより取得し、画素間引き部２５に供給する。

画素間引き部２５は、制御部２７の制御に従って、周辺画素取得部２４からの周辺画素をサンプリングすることにより、周辺画素を間引き、残った周辺画素、つまり、サンプリングした周辺画素を、ノイズ除去のためのフィルタリングに用いる画素である周辺対象画素として、ノイズ除去部２６に供給する。

ノイズ除去部２６は、例えば、εフィルタ等の条件付き平均フィルタで構成され、注目画素取得部２２からの注目画素（の画素値）、及び、周辺対象画素ランダム取得部２３からの周辺対象画素（の画素値）を用いて、注目画素について、ノイズ除去のためのフィルタリングを行い、フィルタリングの結果得られる画素値を、対象画像からノイズを除去したノイズ除去後画像の注目画素の画素値として出力する。

すなわち、ノイズ除去部２６は、例えば、すべてのタップ係数が1の、２次元のεフィルタで構成される。そして、そのような２次元のεフィルタであるノイズ除去部２６では、注目画素と、注目画素との画素値の差の絶対値が所定の閾値以内の周辺対象画素とを、タップ係数を重みとする重み付け平均をとる対象として、その重み付け平均をとる対象の画素の画素値の重み付け平均値が求められ、その重み付け平均値が、ノイズ除去後画像の注目画素の画素値とされる。

なお、ここでは、εフィルタのすべてのタップ係数が1であるので、εフィルタで求められる重み付け平均値は、重み付け平均をとる対象の画素の画素値の平均値となる。

また、ここでは、ノイズ除去部２６として、すべてのタップ係数が1のεフィルタを採用したが、ノイズ除去部２６としては、その他、注目画素に近い画素の画素値に乗算されるタップ係数ほど、値が大きいタップ係数のεフィルタや、注目画素との距離及び画素値の差の両方に応じてタップ係数が決定されるバイラテラルフィルタ等の、一定の領域内の画素の画素値の条件付き平均を求めるフィルタリングを行うフィルタを採用することができる。

制御部２７は、ノイズ除去装置を構成する各ブロックを制御する。

すなわち、例えば、制御部２７は、撮像素子１１（図１）の欠陥画素の情報を取得し、注目画素取得部２２等に供給する。

また、例えば、制御部２７は、ディジタルカメラ（図１）のシャッタ速度に応じて、周辺対象画素ランダム取得部２３（の周辺画素取得部２４、及び、画素間引き部２５）を制御する。

具体的には、例えば、ディジタルカメラのシャッタ速度が、高速でない速度に設定されている場合、すなわち、例えば、高速撮像（高速のシャッタ速度での撮像）用の速度等の所定の閾値より低い値に設定されている場合、制御部２７は、例えば、従来のディジタルカメラ等のノイズ除去処理と同様の所定のサイズ（以下、デフォルトサイズともいう）の周辺領域を設定するように、周辺画素取得部２４を制御する。

さらに、制御部２７は、ランダムにサンプリングする画素の位置（注目画素を基準とする相対的な位置）を表すサンプリングパターンとして、周辺領域内のすべての画素（但し、注目画素を除く）の位置を表すサンプリングパターンを設定し、画素間引き部２５に供給する。

したがって、この場合、周辺対象画素ランダム取得部２３では、周辺画素取得部２４が、制御部２７の制御に従って、デフォルトサイズの周辺領域を設定し、その周辺領域内の注目画素以外の画素を、注目画素の周辺に位置する周辺画素として、バッファ２１から読み出すことにより取得し、画素間引き部２５に供給する。

そして、画素間引き部２５は、制御部２７からのサンプリングパターンに従って、周辺画素取得部２４からの周辺画素をサンプリングし、サンプリングした周辺画素を、周辺対象画素として、ノイズ除去部２６に供給する。

いまの場合、画素間引き部２５では、周辺画素取得部２４からの周辺画素のすべてがサンプリングされ、周辺対象画素として、ノイズ除去部２６に供給される。

したがって、ディジタルカメラのシャッタ速度が、高速でない速度に設定されており、ある程度以上のS/Nの画像の撮像を期待することができる場合、ノイズ除去部２６としてのεフィルタでは、従来のディジタルカメラ等の場合と同様に、デフォルトサイズの周辺領域内のすべての画素を用いて、フィルタリングが行われる。

一方、例えば、ディジタルカメラのシャッタ速度が、高速に設定されている場合、すなわち、例えば、高速撮像用の速度等の所定の閾値以上の値に設定されており、その結果、対象画像として、S/Nが著しく劣化した画像が得られる可能性が高い場合、制御部２７は、そのようなS/Nが著しく劣化した画像から、ノイズを効果的に除去するために、デフォルトサイズより大きいサイズ（以下、大サイズともいう）の周辺領域を設定するように、周辺画素取得部２４を制御する。

さらに、制御部２７は、周辺領域内の画素（但し、注目画素を除く）のうちの、例えば、1/2や1/3等の所定の割合の画素をランダムに選択し、その画素の位置を表すサンプリングパターンを設定して、画素間引き部２５に供給する。

したがって、この場合、周辺対象画素ランダム取得部２３では、周辺画素取得部２４が、制御部２７の制御に従って、大サイズの周辺領域を設定し、その周辺領域内の注目画素以外の画素を、注目画素の周辺に位置する周辺画素として、バッファ２１から読み出すことにより取得し、画素間引き部２５に供給する。

ここで、いまの場合、周辺領域のサイズが、大サイズであるため、そのような周辺領域内の画素すべてを、ノイズ除去部２６でのフィルタリングに用いる場合には、フィルタリングに要する演算量が大になる。

そこで、画素間引き部２５は、制御部２７からのサンプリングパターンに従って、周辺画素取得部２４からの周辺画素を（ランダムに）サンプリングし、サンプリングした周辺画素を、周辺対象画素として、ノイズ除去部２６に供給する。

いまの場合、サンプリングパターンは、大サイズの周辺領域内の画素からランダムに選択された、所定の割合の画素の位置を表すから、画素間引き部２５では、周辺画素取得部２４からの周辺画素のうちの、所定の割合の周辺画素が、ランダムにサンプリングされ、周辺対象画素として、ノイズ除去部２６に供給される。

したがって、ディジタルカメラのシャッタ速度が、高速に設定されている場合、ノイズ除去部２６としてのεフィルタでは、大サイズの周辺領域内の周辺画素からランダムに選択（サンプリング）された所定の割合の周辺画素（周辺対象画素）を用いて、フィルタリングが行われる。

ここで、大サイズの周辺領域内の画素からランダムに選択された、所定の割合の画素の位置を表すサンプリングパターンにおいて、所定の割合の画素の数としては、例えば、デフォルトサイズの周辺領域内の画素の数（に近い数）等を採用することができる。

この場合、周辺領域として、デフォルトサイズの周辺領域が設定された場合と同様の演算量で、すなわち、演算量の増加を抑えつつ、S/Nが著しく劣化した対象画像から、ノイズを効果的に除去することができる。

なお、ディジタルカメラのシャッタ速度が、高速でない速度に設定されている場合の動作モードを、デフォルトモードというとともに、ディジタルカメラのシャッタ速度が、高速に設定されている場合の動作モードを、高速モードともいう。

デフォルトモードの動作は、従来のディジタルカメラと同様であるため、以下では、特に断らない限り、デフォルトモードの説明を省略し、高速モードの説明を行う。

［周辺対象画素ランダム取得部２３の処理の説明］

図３は、図２の周辺対象画素ランダム取得部２３を構成する周辺画素取得部２４、及び、画素間引き部２５の（高速モード時の）処理を説明する図である。

上述したように、周辺画素取得部２４は、制御部２７の制御に従って、大サイズの周辺領域を設定し、その周辺領域内の（注目画素以外の）画素である周辺画素を、バッファ２１から読み出すことにより取得して、画素間引き部２５に供給する。

図３では、ある画素が注目画素に選択され、その注目画素を中心とする、横×縦が７×７画素の領域が、大サイズの周辺領域とされている。そして、その大サイズの周辺領域内の画素である周辺画素が取得され、画素間引き部２５に供給されている。

さらに、その後、注目画素の右隣の画素が、新たな注目画素に選択され、以下、同様の処理が繰り返されている。

画素間引き部２５は、制御部２７からのサンプリングパターンに従って、周辺画素取得部２４からの周辺画素をサンプリングし、サンプリングした周辺画素を、周辺対象画素として、ノイズ除去部２６に供給する。

ここで、上述したように、制御部２７では、大サイズの周辺領域内の所定の割合の画素をランダムに選択し、その画素の位置を表すサンプリングパターンを設定するので、結果として、画素間引き部２５では、周辺画素取得部２４からの周辺画素のうちの、所定の割合の周辺画素が、ランダムにサンプリングされ、周辺対象画素として、ノイズ除去部２６に供給される。

そして、ノイズ除去部２６では、大サイズの周辺領域内のすべての周辺画素ではなく、その周辺画素の中からランダムに選択された所定の割合の周辺画素である周辺対象画素を用いて、フィルタリングが行われる。したがって、演算量の増加を抑えつつ、ノイズを効果的に除去することができる。

以上のように、ノイズ除去装置では、大サイズの周辺領域内の周辺画素の一部を間引き、その間引き後の周辺画素である周辺対象画素を用いてフィルタリングが行われる。

その結果、周辺画素を間引いたことに起因して、ノイズ除去部２６でのフィルタリングによって得られる画像（ノイズ除去後画像）に、折り返し（アーチファクト）が生じ、画質が低下する。

以上のような折り返しによる、ノイズ除去後画像の画質の低下は、特に、周期的な絵柄の部分において著しい。

そこで、制御部２７（図２）は、ランダムにサンプリングする画素の位置を表すサンプリングパターンを、適宜変更する。

すなわち、例えば、図３では、サンプリングパターンが、注目画素、つまり、対象画像の１画素ごとに変更されている。

その結果、画素間引き部２５では、周辺画素取得部２４からの周辺画素のうちの、所定の割合の周辺画素が、対象画像の画素ごとに異なるパターンで、ランダムにサンプリングされ、周辺対象画素として、ノイズ除去部２６に供給される。

以上のように、周辺画素のサンプリングがランダムに行われ、さらに、ランダムにサンプリングする周辺画素の位置のパターン（サンプリングパターン）が、対象画像の１画素ごとに変更される場合には、ノイズ除去部２６でのフィルタリングによって得られる画像（ノイズ除去後画像）に、折り返しがランダムに生じるので（折り返しの成分がランダムになるので）、折り返しが目立たなくなる。

したがって、画像のノイズ除去において、間引きに起因して生じる折り返しによる画質の低下を、容易に防止することができる。

すなわち、折り返しを抑制するように、適切なLPFを設計し、そのようなLPFによるフィルタリングを行わなくても、折り返しによる画質の低下を防止することができる。

なお、サンプリングパターンの変更は、１画素ごとではなく、複数画素ごとに行うことができる。

また、図２及び図３では、説明を分かりやすくするために、周辺対象画素ランダム取得部２３において、周辺画素取得部２４が、大サイズの周辺領域内の周辺画素を、バッファ２１から読み出し、その後、画素間引き部２５が、その大サイズの周辺領域内の周辺画素を、ランダムにサンプリングすることにより、ノイズ除去のためのフィルタリングに用いる周辺対象画素を取得することとしたが、周辺対象画素ランダム取得部２３では、周辺対象画素だけを、バッファ２１から直接読み出すことにより取得することができる。

さらに、上述の場合には、サンプリングパターンに含ませる画素の位置（サンプリングパターンが表す位置となり得る画素の位置）を、特に制限をしなかったが、つまり、周辺対象画素になり得る周辺画素を、特に制限しなかったが、サンプリングパターンに含ませる画素の位置については、一定の制限（以下、パターン制限ともいう）を設けることができる。

パターン制限としては、例えば、注目画素についてのサンプリングパターンに、撮像素子１１（図１）の欠陥画素の位置を含ませないことを採用することができる。

パターン制限として、注目画素についてのサンプリングパターンに、欠陥画素の位置を含ませないことを採用する場合、制御部２７は、撮像素子１１の欠陥画素の情報を取得し、注目画素について、周辺領域内の周辺画素のうちの、欠陥画素（になっている周辺画素）の位置を含まないサンプリングパターンを設定する。

この場合、欠陥画素が、周辺対象画素となり、ノイズ除去のためのフィルタリングに用いられることに起因して、ノイズ除去の性能が劣化することを防止することができる。

また、パターン制限としては、例えば、注目画素についてのサンプリングパターンに、前回の注目画素について取得された周辺対象画素の一部の位置を含ませることを採用することができる。

パターン制限として、注目画素についてのサンプリングパターンに、前回の注目画素について取得された周辺対象画素の一部の位置を含ませることを採用する場合、制御部２７は、今回の注目画素について、前回の注目画素について取得された周辺対象画素の一部の位置を含むサンプリングパターンを設定する。

この場合、今回の注目画素についてのノイズ除去のためのフィルタリングに用いられる周辺対象画素（以下、今回の周辺対象画素ともいう）の一部は、前回の注目画素についてのノイズ除去のためのフィルタリングに用いられる周辺対象画素（以下、前回の周辺対象画素ともいう）でもある。そして、前回の周辺対象画素でもある今回の周辺対象画素については、前回の注目画素の処理をするときに、バッファ２１から読み出されており、今回の注目画素の処理をするときには、前回の注目画素の処理時にバッファ２１から読み出されたものをラッチしておいて利用することができ、バッファ２１から読み出す必要がない。

その結果、バッファ２１へのアクセス数を少なくすることができる。

パターン制限としては、その他、例えば、近接する２つの画素のうちの一方の画素についてのサンプリングパターンが表す位置の画素と、他方の画素についてのサンプリングパターンが表す位置の画素とが重複しないことを採用することができる。

パターン制限として、近接する２つの画素のうちの一方の画素についてのサンプリングパターンが表す位置の画素と、他方の画素についてのサンプリングパターンが表す位置の画素とが重複しないことを採用する場合、制御部２７は、近接する２つの画素のうちの一方の画素についてのサンプリングパターンが表す位置の画素と、他方の画素についてのサンプリングパターンが表す位置の画素とが重複しないように、すなわち、例えば、一方の画素についてのサンプリングパターンが表す位置の画素と、他方の画素についてのサンプリングパターンが表す位置の画素とが、いわば入れ子状態となるように、近接する２つの画素それぞれについてのサンプリングパターンを設定する。

この場合、近接する２つの画素それぞれについて、周辺対象画素となる画素が重複しないので、一方の画素についての周辺対象画素と、他方の画素についての周辺対象画素とを、バッファ２１から同時に読み出すことが可能となり、近接する２つ（以上）の画素の処理を並列で行う場合に、その並列で行う処理の高速化を図ることができる。

ここで、パターン制限として、注目画素についてのサンプリングパターンに、欠陥画素の位置を含ませないことを採用する場合には、制御部２７は、例えば、周辺領域内の周辺画素をランダムを選択し、その選択後の周辺画素から、欠陥画素を除外して、残った周辺画素の位置を表すサンプリングパターンを設定する。あるいは、制御部２７は、例えば、周辺領域内の周辺画素から、欠陥画素を除外し、残った周辺画素をランダムに選択して、その選択後の周辺画素の位置を表すサンプリングパターンを設定する。

また、パターン制限として、注目画素についてのサンプリングパターンに、前回の注目画素について取得された周辺対象画素の一部の位置を含ませることを採用する場合には、制御部２７は、例えば、今回の注目画素についての周辺領域内の周辺画素のうちの、前回の注目画素について周辺対象画素とされた周辺画素には、高い確率を割り当てるとともに、他の周辺画素には、低い確率を割り当て、今回の注目画素についての周辺領域内の周辺画素を、割り当てた確率に従ってランダムに選択し、その選択後の周辺画素の位置を表すサンプリングパターンを設定する。

さらに、パターン制限として、近接する２つの画素のうちの一方の画素についてのサンプリングパターンが表す位置の画素と、他方の画素についてのサンプリングパターンが表す位置の画素とが重複しないことを採用する場合には、制御部２７は、例えば、近接する２つの画素のうちの一方の画素について、周辺領域内の周辺画素をランダムを選択し、その選択後の周辺画素の位置を表すサンプリングパターンを設定するとともに、他方の画素について、周辺領域内の周辺画素から、一方の画素について（周辺対象画素として）選択された周辺画素を除外し、残った周辺画素をランダムに選択して、その選択後の周辺画素の位置を表すサンプリングパターンを設定する。

なお、以上においては、対象画像として、静止画を採用し、制御部２７において、静止画である対象画像の１画素等ごとに、サンプリングパターンを変更することとしたが、対象画像としては、動画を採用することができる。

対象画像として、動画を採用する場合、制御部２７では、動画である対象画像の空間方向に並ぶ画素ごと、かつ、時間方向に並ぶ画素ごとに、サンプリングパターンを変更することができる。

この場合、動画の空間方向及び時間方向の両方について、折り返しが目立たなくなり、動画について、折り返しによる画質の低下を、容易に防止することができる。

［ノイズ除去処理］

図４は、図２のノイズ除去装置が行うノイズ除去処理を説明するフローチャートである。

ノイズ除去装置には、前処理部１２からの画像データが供給され、その画像データは、ノイズ除去の対象の対象画像（の画像データ）として、バッファ２１に記憶される。

バッファ２１に対象画像が記憶されると、ノイズ除去処理が開始される。

すなわち、ステップＳ１１において、注目画素取得部２２は、バッファ２１に記憶された対象画像の画素の中で、まだ、注目画素としていない画素のうちの、例えば、ラスタスキャン順で、最初の画素を、注目画素に選択し、バッファ２１から注目画素（の画素値）を読み出すことにより取得する。

そして、注目画素取得部２２は、バッファ２１から取得した注目画素を、ノイズ除去部２６に供給して、処理は、ステップＳ１１からステップＳ１２に進む。

ステップＳ１２では、制御部２７は、注目画素について、サンプリングパターンを設定し、周辺対象画素ランダム取得部２３に供給して、処理は、ステップＳ１３に進む。

ステップＳ１３では、周辺対象画素ランダム取得部２３は、制御部２７からのサンプリングパターンに従い、バッファ２１に記憶された周辺画素を、ノイズ除去のためのフィルタリングに用いる周辺対象画素として読み出すことにより取得する。

そして、注目画素取得部２２は、バッファ２１から取得した周辺対象画素を、ノイズ除去部２６に供給して、処理は、ステップＳ１３からステップＳ１４に進む。

ステップＳ１４では、ノイズ除去部２６は、注目画素取得部２２からの注目画素（の画素値）、及び、周辺対象画素ランダム取得部２３からの周辺対象画素（の画素値）を用いて、注目画素について、εフィルタによるフィルタリングを行い、フィルタリングの結果得られる画素値を、対象画像からノイズを除去したノイズ除去後画像の注目画素の画素値として出力する。

その後、処理は、ステップＳ１４からステップＳ１５に進み、注目画素取得部２２は、バッファ２１に記憶された対象画像の画素すべてを、注目画素としたかどうかを判定する。

ステップＳ１５において、バッファ２１に記憶された対象画像の画素の中に、注目画素としていない画素があると判定された場合、処理は、ステップＳ１１に戻り、注目画素取得部２２は、バッファ２１に記憶された対象画像の画素のうちの、ラスタスキャン順で、注目画素の次の画素を、新たな注目画素として選択し、以下、同様の処理が繰り返される。

また、バッファ２１に記憶された対象画像の画素すべてを、注目画素としたと判定された場合、ノイズ除去処理は終了する。

［ノイズ除去装置の第２の構成例］

図５は、図１の光学補正部１３のうちの、ノイズ除去処理を行う部分としてのノイズ除去装置の第２の構成例を示すブロック図である。

なお、図中、図２のノイズ除去装置と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図５のノイズ除去装置では、対象画像を、低域成分と高域成分とに帯域分割し、その低域成分の画像と、高域成分の画像とについて、別々に、ノイズ除去を行うようになっている。

すなわち、図５のノイズ除去装置において、対象画像は、LPF４１、及び、HPF４２に供給される。

LPF４１は、そこに供給される対象画像をフィルタリングすることにより、対象画像の低域成分を抽出し、その低域成分の画像（以下、低域成分画像ともいう）を、バッファ２１に供給する。

そして、バッファ２１ないし制御部２７では、低域成分画像を対象として、図２の場合と同様の処理が行われ、その結果得られる、低域成分画像からノイズが除去された画像（以下、ノイズ除去後低域画像ともいう）が、ノイズ除去部２６から、画像合成部４７に供給される。

一方、HPF４２は、そこに供給される対象画像をフィルタリングすることにより、対象画像の高域成分を抽出し、その高域成分の画像（以下、高域成分画像ともいう）を、バッファ４３に供給する。

ここで、LPF４１及びHPF４２は、例えば、低域成分画像と高域成分画像とを合成したときに、対象画像が復元されるように設計される。

バッファ４３は、HPF４２からの高域成分画像を一時記憶する。

注目画素取得部４４は、バッファ４３に記憶された高域成分画像の各画素を、例えば、注目画素取得部２２と同様に、ラスタスキャン順に、注目画素に選択し、バッファ４３から注目画素（の画素値）を読み出すことにより取得して、ノイズ除去部４６に供給する。

周辺画素取得部４５は、バッファ４３に記憶された高域成分画像の画素のうちの、注目画素についての、例えば、周辺対象画素ランダム取得部２３の場合と同様の周辺領域内の周辺画素すべてを、ノイズ除去のためのフィルタリングに用いる周辺対象画素として取得し、ノイズ除去部４６に供給する。

ノイズ除去部２６は、演算量の少ない、例えば、２次元のメディアンフィルタで構成され、注目画素取得部４４からの注目画素（の画素値）、及び、周辺画素取得部４５からの周辺対象画素（の画素値）を用いて、注目画素について、ノイズ除去のためのフィルタリングを行い、フィルタリングの結果得られる画素値を、高域成分画像からノイズを除去した画像（以下、ノイズ除去後高域画像ともいう）の注目画素の画素値として、画像合成部４７に供給する。

画像合成部４７は、ノイズ除去部２６からのノイズ除去後低域画像と、ノイズ除去部４６からの画素値で構成されるノイズ除去後高域画像とを合成し、合成後の画像を、対象画像からノイズを除去したノイズ除去後画像として出力する。

図５のノイズ除去装置によれば、LPF４１及びHPF４２によって、対象画像が、低域成分と高域成分とに帯域分割され、低域成分の画像（低域成分画像）について、周辺領域内の周辺画素からサンプリングされた周辺対象画素を用いて、ノイズ除去のためのフィルタリングが行われるので、サンプリング（間引き）に起因する折り返しを抑制することができる。さらに、低域成分画像については、周辺画素からの周辺対象画素のサンプリングがランダムに行われるので、サンプリングに起因する折り返しが生じても、その折り返しが目立つことを防止することができる。

したがって、低域成分画像について、周辺画素からの周辺対象画素のサンプリングがランダムに行われることにより、折り返しが目立つことを防止することができるので、LPF４１の設計については、折り返しの抑制を、それほどシビアに意識する必要がない。

［本発明を適用したコンピュータの説明］

次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。

CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。

これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

すなわち、本実施の形態では、例えば、ディジタルカメラのシャッタ速度が、高速に設定されていること等によって、対象画像のS/Nが著しく劣化している場合に、大サイズの周辺領域内の周辺画素からランダムに選択された所定の割合の周辺画素（周辺対象画素）を用いて、ノイズ除去のためのフィルタリングを行うこととしたが、大サイズの周辺領域内の周辺画素からランダムに選択された所定の割合の周辺画素を用いたフィルタリングは、それほどS/Nが劣化していない画像を対象に行うことが可能である。

また、ノイズ除去処理の対象とする画像データは、RAWデータに限定されるものではない。すなわち、ノイズ除去処理は、例えば、輝度信号Y並びに色差信号Cb及びCr等の、RAWデータ以外の画像データを対象として行うことができる。

さらに、本実施の形態では、光学補正部１３において、前処理部１２からの画像データを対象として、ノイズ除去処理を施すこととしたが、ノイズ除去処理は、その他、例えば、信号処理部１４において、デモザイク処理の直前や直後、ガンマ補正処理の直後等のタイミングで施すことができる。

また、本発明は、ディジタルカメラの他、TV（テレビジョン受像機）その他の、画像を処理する装置に適用可能である。

１１ 撮像素子， １２ 前処理部， １３ 光学補正部， １４ 信号処理部， １５ コーデック部， １６ 記録制御部， １７ 記録媒体， ２１ バッファ， ２２ 注目画素取得部， ２３ 周辺対象画素ランダム取得部， ２４ 周辺画素取得部， ２５ 画素間引き部， ２６ ノイズ除去部， ２７ 制御部， ４１ LPF， ４２ HPF， ４３ バッファ， ４４ 注目画素取得部， ４５ 周辺画素取得部， ４６ ノイズ除去部， ４７ 合成部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (9)

1. ノイズ除去の対象の対象画像の画素のうちの、注目している注目画素について、前記注目画素の周辺に位置する周辺画素をランダムにサンプリングした画素を、ノイズ除去のためのフィルタリングに用いる画素である周辺対象画素として取得する周辺対象画素ランダム取得手段と、
   前記周辺対象画素を用いて、ノイズ除去のためのフィルタリングを行うノイズ除去手段と
   を備える画像処理装置。
2. ランダムにサンプリングする画素の位置を表すサンプリングパターンを設定する設定手段をさらに備え、
   前記設定手段は、前記サンプリングパターンを、前記対象画像の画素ごとに変更し、
   前記周辺対象画素ランダム取得手段は、前記サンプリングパターンに従って、前記周辺対象画素を取得する
   請求項１に記載の画像処理装置。
3. 前記対象画像は、画像を撮像する撮像素子が出力する画像であり、
   前記設定手段は、前記撮像素子の欠陥画素の位置を含まない前記サンプリングパターンを設定する
   請求項２に記載の画像処理装置。
4. 前記設定手段は、前記注目画素について、前回の注目画素について取得された前記周辺対象画素の一部の位置を含む前記サンプリングパターンを設定する
   請求項２に記載の画像処理装置。
5. 前記設定手段は、近接する２つの画素のうちの一方の画素についてのサンプリングパターンが表す位置の画素と、他方の画素についてのサンプリングパターンが表す位置の画素とが重複しないように、前記サンプリングパターンを設定する
   請求項２に記載の画像処理装置。
6. ランダムにサンプリングする画素の位置を表すサンプリングパターンを設定する設定手段をさらに備え、
   前記対象画像は、動画であり、
   前記設定手段は、前記サンプリングパターンを、空間方向に並ぶ画素ごと、かつ、時間方向に並ぶ画素ごとに変更し、
   前記周辺対象画素ランダム取得手段は、前記サンプリングパターンに従って、前記周辺対象画素を取得する
   請求項１に記載の画像処理装置。
7. 前記対象画像の低域成分を抽出する低域成分抽出手段と、
   前記対象画像の高域成分を抽出する低域成分抽出手段と、
   前記高域成分の画像について、ノイズ除去のためのフィルタリングを行う高域成分用ノイズ除去手段と、
   前記低域成分と前記高域成分とを合成する合成手段と
   をさらに備え、
   前記周辺対象画素ランダム取得手段は、前記低域成分の画像から、前記周辺対象画素を取得し、
   前記ノイズ除去手段は、前記低域成分の画像から取得された前記周辺対象画素を用いて、前記低域成分の画像について、ノイズ除去のためのフィルタリングを行い、
   前記合成手段は、前記ノイズ除去手段でのフィルタリングで得られるノイズ除去後の前記低域成分と、前記高域成分用ノイズ除去手段でのフィルタリングで得られるノイズ除去後の前記高域成分とを合成する
   請求項１に記載の画像処理装置。
8. 画像処理装置が、
   ノイズ除去の対象の対象画像の画素のうちの、注目している注目画素について、前記注目画素の周辺に位置する周辺画素をランダムにサンプリングした画素を、ノイズ除去のためのフィルタリングに用いる画素である周辺対象画素として取得し、
   前記周辺対象画素を用いて、ノイズ除去のためのフィルタリングを行う
   ステップを含む画像処理方法。
9. ノイズ除去の対象の対象画像の画素のうちの、注目している注目画素について、前記注目画素の周辺に位置する周辺画素をランダムにサンプリングした画素を、ノイズ除去のためのフィルタリングに用いる画素である周辺対象画素として取得する周辺対象画素ランダム取得手段と、
   前記周辺対象画素を用いて、ノイズ除去のためのフィルタリングを行うノイズ除去手段と
   して、コンピュータを機能させるためのプログラム。

Images