JP2006201914A - 画像フィルタ装置、方法およびコンピュータプログラム - Google Patents

Abstract

【課題】ノイズの抑圧に優れたフィルタ装置を提供することを課題とする。
【解決手段】注目画素Ｐ３３を含む第１の画素集合ＰＡ１と第１の画素集合ＰＡ１を含む第２の画素集合ＰＡ２と第２の画素集合ＰＡ２を含む第３の画素集合ＰＡ３が定義され、第１の画素集合ＰＡ１から第１の基準画素値ＢＶ１が求められ、第３の画素集合ＰＡ３から第２の基準画素値ＢＶ２が求められる。第２の画素集合ＰＡ２が第２の基準画素値ＢＶ２を基準として分割され、注目画素Ｐ３３が含まれる側の集合が候補集合となる。候補集合の中で、第１の基準画素値ＢＶ１に近似する画素が補正用の画素となり、注目画素Ｐ３３の画素が補正用の画素で置き換えられる。
【選択図】図３

Description

本発明は、画像のノイズを抑圧するフィルタ処理に関する。

画像中のノイズを抑圧する手法として、平均値フィルタやメディアンフィルタを用いるものがある。平均値フィルタは、注目画素近傍の画素平均値を算出し、注目画素の画素値として平均値を採用するフィルタである。つまり、平均値フィルタを用いる手法は、注目画素の濃淡や白黒２値の判別を周囲の平均値情報を用いて決定するものであり、画像の高周波成分をカットする作用があり、雑音除去とぼけ操作が可能である。

しかし、平均値フィルタは高周波部分がぼけてしまうという問題がある。これに対して、メディアンフィルタに代表されるような非線形フィルタは、アルゴリズムが簡易であること、エッジの保存性に優れていること、巡回性ノイズリダクションでは不可避である残像劣化が原理的にないことなどの理由から注目されている。

特許文献１では、固体撮像素子から出力された画像信号にメディアンフィルタを適用させることにより、画素のキズや欠陥に基づくデータエラーを補正するようにしている。特許文献２では、注目画素近傍の画素平均値を算出し、近傍画素の中で、最も平均値に近似する画素を補正画素としてフィルタリングを行う技術が開示されている。

特開平４−２３５４７２号公報 特開平６−１７８１６５号公報

しかし、特許文献１で示されている手法は、注目画素近傍でデータエラーが連続して出現する場合などにおいて、正確な補正が行われないという問題がある。つまり、中間値自体がもとの値から大きくずれているような場合に対応できない。また、特許文献２で示されている手法は、ガウス性ノイズの除去あるいは低減を目的としてものであり、平均値を算出する領域内の画素値の分布状況と、注目画素近傍の画素値の分布状況が大きく異なる場合などにおいては、正確な補正が行われないという問題がある。

そこで、本発明は前記問題点に鑑み、画像中のノイズ低減に効果的な画像フィルタ装置を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、注目画素とその周辺の画素を用いて、前記注目画素にフィルタを施す装置であって、前記注目画素に対して、前記注目画素を含む第１の画素集合と、前記第１の画素集合を含む第２の画素集合と、前記第２の画素集合を含む第３の画素集合とが定義されており、前記第１の画素集合に含まれる画素に基づいて第１の基準画素値を算出するとともに、前記第３の画素集合に基づいて第２の基準画素値を算出する手段と、前記第２の画素集合に含まれる画素の画素値と前記第２の基準画素値との大小を比較し、その大小関係に従って前記第２の画素集合を２つの集合に分けるとともに、当該２つの集合のうち前記注目画素が含まれる集合を候補集合として判定する手段と、前記候補集合に含まれる画素のうちで、前記第１の基準画素値と最も画素値が近似する画素を補正画素として選択する手段と、前記補正画素の画素値を前記注目画素の画素値として出力する手段と、を備えることを特徴とする。

請求項２記載の発明は、注目画素とその周辺の画素を用いて、前記注目画素にフィルタを施す装置であって、前記注目画素に対して、前記注目画素を含む第１の画素集合と、前記第１の画素集合を含む第２の画素集合と、前記第２の画素集合を含む第３の画素集合とが定義されており、前記第１の画素集合に含まれる画素に基づいて第１の基準画素値を算出するとともに、前記第３の画素集合に基づいて第２の基準画素値を算出する手段と、前記第２の画素集合に含まれる画素の画素値と前記第２の基準画素値との大小を比較し、その大小関係に従って前記第２の画素集合を２つの集合に分けるとともに、当該２つの集合のうち画素数が多い集合を候補集合として判定する手段と、前記候補集合に含まれる画素のうちで、前記第１の基準画素値と最も画素値が近似する画素を補正画素として選択する手段と、前記補正画素の画素値を前記注目画素の画素値として出力する手段と、を備えることを特徴とする。

請求項３記載の発明は、注目画素とその周辺の画素を用いて、前記注目画素にフィルタを施す装置であって、前記注目画素に対して、前記注目画素を含む第１の画素集合と、前記第１の画素集合を含む第２の画素集合と、前記第２の画素集合を含む第３の画素集合とが定義されており、前記第１の画素集合に含まれる画素に基づいて第１の基準画素値を算出するとともに、前記第３の画素集合に基づいて第２の基準画素値を算出する手段と、前記第２の画素集合に含まれる画素の画素値と前記第２の基準画素値との大小を比較し、その大小関係に従って前記第２の画素集合を２つの集合に分けるとともに、当該２つの集合のうち第１の基準画素値が属する集合を候補集合として判定する手段と、前記候補集合に含まれる画素のうちで、前記第１の基準画素値と最も画素値が近似する画素を補正画素として選択する手段と、前記補正画素の画素値を前記注目画素の画素値として出力する手段と、を備えることを特徴とする。

請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載の画像フィルタ装置において、前記第２の基準画素値は、前記第３の画素集合に含まれる画素の画素平均値であることを特徴とする。

請求項５記載の発明は、請求項１ないし請求項３のいずれかに記載の画像フィルタ装置において、前記第２の基準画素値は、前記第３の画素集合に含まれる画素の画素中央値であることを特徴とする。

請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載の画像フィルタ装置において、前記第１の基準画素値は、前記第１の画素集合に含まれる画素の画素平均値であることを特徴とする。

請求項７記載の発明は、請求項１ないし請求項５のいずれかに記載の画像フィルタ装置において、前記第１の基準画素値は、前記第１の画素集合に含まれる画素の画素中央値であることを特徴とする。

請求項８記載の発明は、請求項４または請求項６に記載の画像フィルタ装置において、
前記画素平均値は、前記注目画素からの距離に応じた重み付けを行った上で算出されることを特徴とする。

請求項９記載の発明は、請求項５または請求項７に記載の画像フィルタ装置において、
前記画素中央値は、前記注目画素からの距離に応じた重み付けを行った上で算出されることを特徴とする。

請求項１０記載の発明は、請求項１ないし請求項９のいずれかに記載の画像フィルタ装置において、前記第１の画素集合と前記第２の画素集合とは同一の画素集合であることを特徴とする。

請求項１１記載の発明は、請求項１ないし請求項９のいずれかに記載の画像フィルタ装置において、前記第２の画素集合と前記第３の画素集合とは同一の画素集合であることを特徴とする。

請求項１２記載の発明は、請求項１ないし請求項９のいずれかに記載の画像フィルタ装置において、前記第１〜第３の画素集合は同一の画素集合であることを特徴とする。

請求項１３記載の発明は、請求項１ないし請求項１２のいずれかに記載の画像フィルタ装置において、前記第３の画素集合、または、前記第２および第３の画素集合、または、前記第１〜第３の画素集合は時間方向の複数フレームの画素を用いて形成される３次元の画素集合であることを特徴とする。

請求項１４記載の発明は、注目画素とその周辺の画素を用いて、前記注目画素にフィルタを施す方法であって、前記注目画素に対して、前記注目画素を含む第１の画素集合と、前記第１の画素集合を含む第２の画素集合と、前記第２の画素集合を含む第３の画素集合とが定義されており、前記第１の画素集合に含まれる画素に基づいて第１の基準画素値を算出する工程と、前記第３の画素集合に含まれる画素に基づいて第２の基準画素値を算出する工程と、前記第２の画素集合に含まれる画素の画素値と前記第２の基準画素値との大小を比較し、その大小関係に従って前記第２の画素集合を２つの集合に分けるとともに、当該２つの集合のうち前記注目画素が含まれる集合を候補集合として判定する工程と、前記候補集合に含まれる画素のうちで、前記第１の基準画素値と最も画素値が近似する画素を補正画素として選択する工程と、前記補正画素の画素値を前記注目画素の画素値として出力する工程と、を備えることを特徴とする。

請求項１５記載の発明は、注目画素とその周辺の画素を用いて、前記注目画素にフィルタを施す方法であって、前記注目画素に対して、前記注目画素を含む第１の画素集合と、前記第１の画素集合を含む第２の画素集合と、前記第２の画素集合を含む第３の画素集合とが定義されており、前記第１の画素集合に含まれる画素に基づいて第１の基準画素値を算出する工程と、前記第３の画素集合に含まれる画素に基づいて第２の基準画素値を算出する工程と、前記第２の画素集合に含まれる画素の画素値と前記第２の基準画素値との大小を比較し、その大小関係に従って前記第２の画素集合を２つの集合に分けるとともに、当該２つの集合のうち画素数が多い集合を候補集合として判定する工程と、前記候補集合に含まれる画素のうちで、前記第１の基準画素値と最も画素値が近似する画素を補正画素として選択する工程と、前記補正画素の画素値を前記注目画素の画素値として出力する工程と、を備えることを特徴とする。

請求項１６記載の発明は、注目画素とその周辺の画素を用いて、前記注目画素にフィルタを施す方法であって、前記注目画素に対して、前記注目画素を含む第１の画素集合と、前記第１の画素集合を含む第２の画素集合と、前記第２の画素集合を含む第３の画素集合とが定義されており、前記第１の画素集合に含まれる画素に基づいて第１の基準画素値を算出する工程と、前記第３の画素集合に含まれる画素に基づいて第２の基準画素値を算出する工程と、前記第２の画素集合に含まれる画素の画素値と前記第２の基準画素値との大小を比較し、その大小関係に従って前記第２の画素集合を２つの集合に分けるとともに、当該２つの集合のうち第１の基準画素値が属する集合を候補集合として判定する工程と、
前記候補集合に含まれる画素のうちで、前記第１の基準画素値と最も画素値が近似する画素を補正画素として選択する工程と、前記補正画素の画素値を前記注目画素の画素値として出力する工程と、を備えることを特徴とする。

請求項１７記載の発明は、コンピュータプログラムであって、コンピュータにインストールされることにより、前記コンピュータに請求項１４ないし請求項１６のいずれかに記載の画像フィルタ方法を実行させることを特徴とする。

本発明は、注目画素を含む第１の画素集合、第１の画素集合を含む第２の画素集合、第２の画素集合を含む第３の画素集合を用いてフィルタ処理を行う。そして、第３の画素集合に基づいて第２の基準画素値が計算され、この基準値に基づいて候補集合が選択されるので、注目画素周辺の広い領域の画素変化を加味して、候補集合を選択することが可能である。また、注目画素周辺の狭い領域である第１の画素集合に基づいて第１の基準画素値が計算され、補正用の画素は、第１の基準画素値に近似するものが選択されるので、注目画素周辺の局所的な画素の変化に適用させることが可能である。

また、候補集合は、第３の画素集合よりも狭い第２の画素集合の中から決定されるので、計算処理量を低減させることが可能である。

｛第１の実施の形態｝
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、第１の実施の形態にかかる画像フィルタ装置１０の回路ブロック図である。画像フィルタ装置１０は、画像メモリ１１、基準値計算回路１２、判定回路１３、差分画素値計算回路１４、最小値選択回路１５を備えている。

画像メモリ１１は、図２に示すように、４９個のレジスタＲ００,Ｒ０１・・・Ｒ６６と、６個のラインバッファ１１１,１１２・・・１１６を備えている。４９個のレジスタＲ００,Ｒ０１・・・Ｒ６６は、それぞれ１画素分の画素データを保持可能な記憶領域を備えている。また、画像フィルタ装置１０が入力する画像データの水平１ラインの画素数をＮ画素とすると、ラインバッファ１１１,１１２・・・１１６は、それぞれ（Ｎ−７）画素分の画素データを格納可能なＦＩＦＯメモリとなっている。

具体的な構成を説明する。１列目の７個のレジスタＲ００,Ｒ０１・・・Ｒ０６が直列接続され、その後段にラインバッファ１１１が接続されている。さらに、ラインバッファ１１１の後段に、２列目の７個のレジスタＲ１０,Ｒ１１・・・Ｒ１６が直列接続され、その後段にラインバッファ１１２が接続されている。さらに、ラインバッファ１１２の後段に、３列目の７個のレジスタＲ２０,Ｒ２１・・・Ｒ２６が接続され、その後段に、ラインバッファ１１３が接続されている。以下、同様に７個のレジスタとラインバッファが交互に接続され、図に示すように、４９個のレジスタＲ００,Ｒ０１・・・Ｒ０６と６個のラインバッファ１１１,１１２・・・１１６が直列接続されている。

そして、各レジスタＲ００,Ｒ０１・・・Ｒ６６は、クロック信号が与えられると、保持している画素データを出力し、次段のレジスタに受け渡すのである。また、各ラインバッファ１１１,１１２・・・１１６は、クロック信号が与えられると、前段のレジスタから新たな画素データを入力するとともに、（Ｎ−７）クロック前に入力した画素データを次段のレジスタに対して出力するのである。つまり、ラインバッファに格納された画素データは、（Ｎ−７）クロックの期間、ラインバッファに保持され、（Ｎ−７）クロック経過後に、次段のレジスタに出力されるのである。

以上の構成において、画像メモリ１１に入力される画素データは、まず、最初にレジスタＲ００に格納され、その後、１クロックごとに直列接続された次段のレジスタに移動して格納され、レジスタＲ０６から出力された画素データがラインバッファ１１１に格納される。レジスタＲ０６から出力された画素データがラインバッファ１１１に格納されるタイミングで、（Ｎ−７）クロック前にラインバッファ１１１に格納されていた画素データが出力され、レジスタＲ１０に格納される。同様に、レジスタＲ１６から出力された画素データは、ラインバッファ１１２格納された後、（Ｎ−７）クロック経過後にレジスタＲ２０に出力される。このようにして、画像メモリ１１に入力された画素データは、各レジスタとラインバッファを経由して、最終的にレジスタＲ６６に格納される。レジスタＲ６６に格納されている画素データは、次のクロック信号が与えられると破棄される。

これにより、４９個のレジスタＲ００,Ｒ０１・・・Ｒ６６には、注目画素が格納されるレジスタＲ３３を中心として７×７の正方領域の画素データが一時的に格納されることになる。本実施の形態においては、この７×７の正方領域を用いてフィルタ処理を実行する。

ここで、各レジスタＲＸＹ（Ｘ,Ｙは、０〜６の整数）に格納される画素データをＰＸＹと表記する。これにより、各レジスタＲ００,Ｒ０１・・・Ｒ６６に格納される画素データは、それぞれＰ００,Ｐ０１・・・Ｐ６６と表され、注目画素を中心とした正方領域の画素配列は図３のように表される。画素データＰ３３が注目画素のデータである。

また、注目画素Ｐ３３を中心とした３つの画素集合を次のように定義する。まず、第１の画素集合ＰＡ１は、注目画素Ｐ３３を中心とした３×３の正方領域に存在する画素である。具体的には、Ｐ２２,Ｐ２３,Ｐ２４,Ｐ３２,Ｐ３３,Ｐ３４,Ｐ４２,Ｐ４３,Ｐ４４の９個の画素からなる集合である。次に、第２の画素集合ＰＡ２は、注目画素Ｐ３３を中心とした５×５の正方領域に存在する画素である。具体的には、Ｐ１１〜Ｐ１５,Ｐ２１〜Ｐ２５,Ｐ３１〜Ｐ３５,Ｐ４１〜Ｐ４５,Ｐ５１〜Ｐ５５の２５個の画素からなる集合である。次に、第３の画素集合ＰＡ３は、注目画素Ｐ３３を中心とした７×７の正方領域に存在する画素である。具体的には、Ｐ００〜Ｐ０６,Ｐ１０〜Ｐ１６,Ｐ２０〜Ｐ２６,Ｐ３０〜Ｐ３６,Ｐ４０〜Ｐ４６,Ｐ５０〜Ｐ５６,Ｐ６０〜Ｐ６６の４９個の画素からなる集合である。つまり、第２の画素集合ＰＡ２は、第１の画素集合ＰＡ１を含む集合であり、第３の画素集合ＰＡ３は、第２の画素集合ＰＡ２を含む集合である。

図１を参照する。基準値計算回路１２は、レジスタＲ００,Ｒ０１・・・Ｒ６６に格納されている４９個の画素データＰ００,Ｐ０１・・・Ｐ６６を入力する。つまり、注目画素Ｐ３３と、その近傍の７×７の正方領域の画素データを入力する。

そして、基準値計算回路１２において、第１の画素集合ＰＡ１に基づいて第１の基準画素値ＢＶ１が計算され、第３の画素集合ＰＡ３に基づいて第２の基準画素値ＢＶ２が計算される。ここで、第１の基準画素値ＢＶ１とは、第１の画素集合ＰＡ１に含まれる全ての画素の画素平均値である。また、第２の基準画素値ＢＶ２は、第３の画素集合ＰＡ３に含まれる全ての画素の画素平均値である。

基準値計算回路１２は、計算した第２の基準画素値ＢＶ２を判定回路１３に出力するとともに、第１の基準画素値ＢＶ１を差分画素値計算回路１４に出力する。

判定回路１３は、画像メモリ１１のレジスタ群から第２の画素集合ＰＡ２に含まれる２５個の画素データを入力する。そして、その２５個の画素の画素値と第２の基準画素値ＢＶ２との大小関係を比較する。そして、第２の画素集合ＰＡ２を、第２の基準画素値ＢＶ２よりも画素値の大きい画素集合と画素値の小さい画素集合に区分し、その２つの集合のうち、注目画素Ｐ３３が含まれる集合を候補集合ＥＡとする。別の観点から説明すると、まず、注目画素Ｐ３３の画素値と第２の基準画素値ＢＶ２との大小関係を取得する。そして、注目画素Ｐ３３の画素値が第２の基準画素値ＢＶ２より大きい場合には、第２の基準画素値ＢＶ２より画素値の大きい画素の集合を候補集合ＥＡとする。逆に、注目画素Ｐ３３の画素値が第２の基準画素値ＢＶ２より小さい場合には、第２の基準画素値ＢＶ２より画素値の小さい画素の集合を候補集合ＥＡとする。

判定回路１３は、候補集合ＥＡを決定すると、候補集合ＥＡに関する情報を差分画素値計算回路１４に出力する。候補集合ＥＡに関する情報とは、候補集合ＥＡに含まれる画素を特定する情報である。あるいは、候補集合ＥＡに含まれる画素が格納されているレジスタを特定する情報である。

差分画素値計算回路１４は、候補集合ＥＡに含まれる画素の画素データを画像メモリ１１から入力する。そして、候補集合ＥＡに含まれる各画素の画素値と第１の基準画素値ＢＶ１との差分絶対値ＤＶを計算する。差分絶対値は、演算対象となる２つの画素値をＰＶ１,ＰＶ２とすると、この２つの画素の差分（ＰＶ１−ＰＶ２）をとり、その差分値の絶対値abs（ＰＶ１−ＰＶ２）＝｜ＰＶ１−ＰＶ２｜を求める演算である。差分画素値計算回路１４は、候補集合ＥＡに含まれる各画素について計算した差分絶対値ＤＶを最小値選択回路１５に出力する。なお、差分絶対値ＤＶとともに、その差分絶対値ＤＶがいずれの画素について計算された値であるかを示す情報も出力される。

最小値選択回路１５は、入力した複数の差分絶対値ＤＶの中から最小値をとるものを選択する。そして、差分絶対値ＤＶが最小となっている画素ＰＸＹを特定すると、その画素ＰＸＹを画像メモリ１１から入力する。そして、最小値選択回路１５は、画像メモリ１１から入力したＰＸＹを補正用の画素データとして出力するのである。

このように、画像フィルタ装置１０から補正用の画素データが出力されると、その画素データが注目画素Ｐ３３の画素値として利用される。これにより、当該注目画素についてのフィルタ処理が終了する。さらに、次のクロック信号が与えられると、新たな画素データが画像メモリ１１に入力され、各レジスタに格納されている画素データは、次段のレジスタに移動する。そして、新しくレジスタＲ３３に格納された画素Ｐ３３を新たな注目画素として、同様の処理が実行され、フィルタ処理が行われるのである。

図４は、第１の実施の形態にかかるフィルタ処理を分かり易く図示したものである。図中、小さな円は、第２の画素集合ＰＡ２に含まれる画素を示している。これら画素は、画素値の大きさに基づいて並べられている（図の上に向かうほど画素値が大きいことを示している。）。そして、第２の画素集合ＰＡ２は、第２の基準画素値ＢＶ２を基準として２つの集合に分けられ、そのうち、注目画素Ｐ３３が存在する側の集合が候補集合ＥＡとして選択されている。そして、候補集合ＥＡの中で、第１の基準画素値ＢＶ１に最も近似する画素（この図では画素Ｐ４４）が、補正用の画素として選択されるのである。

なお、処理の対象となる画素データについては特に限定せずに説明した。たとえば、処理の対象としては輝度データを用いるようにしてもよい。あるいは、画像がカラー画像である場合には、その他の色成分のデータを処理の対象としてもよいし、複数の色成分のデータを処理の対象としてもよい。

このように、本実施の形態によれば、注目画素周辺の広い領域である第３の画素集合ＰＡ３に基づいて第２の基準画素値ＢＶ２が計算され、この基準値に基づいて候補集合ＥＡが選択されるので、注目画素周辺の広い領域の画素変化を加味して、候補集合ＥＡを選択することが可能である。そして、注目画素周辺の狭い領域である第１の画素集合ＰＡ１に基づいて第１の基準画素値ＢＶ１が計算され、補正用の画素は、第１の基準画素値ＢＶ１に近似するものが選択されるので、注目画素周辺の局所的な画素の変化に適用させることが可能である。また、候補集合ＥＡは、第３の画素集合ＰＡ３よりも狭い第２の画素集合ＰＡ２の中から決定されるので、差分画素値計算回路１４および最小値選択回路１５における計算処理量を低減させることが可能である。

次に、第１の実施の形態における画像フィルタ装置１０の変形例について説明する。上述した実施の形態では、第１の基準画素値ＢＶ１および第２の基準画素値ＢＶ２は、それぞれ第１の画素集合ＰＡ１および第３の画素集合ＰＡ３の画素平均値を用いた。ここでは、第１および第２の基準画素値ＢＶ１,ＢＶ２の別の算出方法について説明する。

第１の変形例は、重み付け平均値を用いる方法である。たとえば、注目画素Ｐ３３からの距離に応じて、距離の近い画素の画素値には大きい重み付け係数を与え、距離の遠い画素の画素値には小さい重み付け係数を与えた上で、画素平均値を求めるのである。一例を示すと、注目画素Ｐ３３には重み付け係数３を与え、注目画素に隣接する８つの画素Ｐ２２,Ｐ２３,Ｐ２４,Ｐ３２,Ｐ３４,Ｐ４２,Ｐ４３,Ｐ４４には、重み付け係数２を与え、それより外側の画素には重み付け係数１を与える方法である。そして、各画素の画素値に重み付け係数を乗算したものを加算し、その加算値を画素数で除算することにより、重み付けを考慮した画素平均値を算出することが可能である。

第２の変形例は、中央値を用いる方法である。周辺領域の画素を画素値の大きさの順に並べ替え、その中央値をとるものを基準画素値とする方法である。

第３の変形例は、重み付け中央値を用いる方法である。たとえば、注目画素Ｐ３３には重み付け係数２を与え、注目画素に隣接する８つの画素Ｐ２２,Ｐ２３,Ｐ２４,Ｐ３２,Ｐ３４,Ｐ４２,Ｐ４３,Ｐ４４には、重み付け係数１を与え、第１の画素集合ＰＡ１について重み付け中央値を算出する場合を考える。この場合、注目画素Ｐ３３は、重み付け係数２が与えられているので、２画素分と考え、１０個の画素Ｐ２２,Ｐ２３,Ｐ２４,Ｐ３２,Ｐ３３,Ｐ３３,Ｐ３４,Ｐ４２,Ｐ４３,Ｐ４４を画素値の大きさの順に並べ替え、その中央値をとるものを基準画素値とする方法である。

このように基準画素値を求める方法として、第１から第３の変形例が考えられるが、これは第１の基準画素値ＰＡ１と第２の基準画素値ＰＡ２のいずれに採用してもよいし、両方の基準画素値に採用してもよい。

｛第２の実施の形態｝
次に、本発明の第２の実施の形態について説明する。第１の実施の形態と同様の処理により、画像メモリ１１に画素データが格納され、基準値計算回路１２において第１の基準画素値ＢＶ１と第２の基準画素値ＢＶ２が計算される。そして、判定回路１３が、第２の画素集合ＰＡ２に含まれる画素データを画像メモリ１１から入力し、第２の基準画素値ＢＶ２を基準として、第２の画素集合ＰＡ２を２つの集合に分けるところまでは、第１の実施の形態と同様である。

次に、判定回路１３は、２つに分けられた集合のうち、画素数の多い集合を候補集合ＥＡとして選択する。つまり、第２の基準画素値ＢＶ２より画素値の大きい画素の集合と画素値の小さい画素の集合のうち、画素の数の多い集合を候補集合ＥＡとして選択する。

その後の処理も第１の実施の形態と同様である。差分画素値計算回路１４では、候補集合ＥＡに含まれる画素と第１の基準画素値ＢＶ１との間で画素値の差分絶対値ＤＶが計算され、最小値選択回路１５では、差分絶対値ＤＶの最小値が選択される。これにより、補正用の画素が特定されるのである。

図５は、第２の実施の形態にかかるフィルタ処理を分かり易く図示したものである。第２の画素集合ＰＡ２は、第２の基準画素値ＢＶ２を基準として２つの集合に分けられ、そのうち、画素数の多い集合が候補集合ＥＡとして選択されている。そして、候補集合ＥＡの中で、第１の基準画素値ＢＶ１に最も近似する画素（この図では画素Ｐ２２）が、補正用の画素として選択されるのである。

このように、第２の実施の形態においても、注目画素周辺の広い領域である第３の画素集合ＰＡ３に基づいて第２の基準画素値ＢＶ２が計算され、この基準値に基づいて候補集合ＥＡが選択されるので、注目画素周辺の広い領域の画素変化を加味して、候補集合ＥＡを選択することが可能である。そして、注目画素周辺の狭い領域である第１の画素集合ＰＡ１に基づいて第１の基準画素値ＢＶ１が計算され、補正用の画素は、第１の基準画素値ＢＶ１に近似するものが選択されるので、注目画素周辺の局所的な画素の変化に適用させることが可能である。また、候補集合ＥＡは、第３の画素集合ＰＡ３よりも狭い第２の画素集合ＰＡ２の中から決定されるので、差分画素値計算回路１４および最小値選択回路１５における計算処理量を低減させることが可能である。

また、第２の実施の形態においても、第１の実施の形態と同様に、第１および第２の基準画素値ＢＶ１,ＢＶ２として、重み付け平均値や、中央値、重み付け中央値を採用してもよい。

｛第３の実施の形態｝
次に、本発明の第３の実施の形態について説明する。第１の実施の形態と同様の処理により、画像メモリ１１に画素データが格納され、基準値計算回路１２において第１の基準画素値ＢＶ１と第２の基準画素値ＢＶ２が計算される。そして、判定回路１３が、第２の画素集合ＰＡ２に含まれる画素データを画像メモリ１１から入力し、第２の基準画素値ＢＶ２を基準として、第２の画素集合ＰＡ２を２つの集合に分けるところまでは、第１の実施の形態と同様である。

次に、判定回路１３は、２つに分けられた集合のうち、第１の基準画素値ＢＶ１が属する集合を候補集合ＥＡとして選択する。つまり、第２の基準画素値ＢＶ２より画素値の大きい集合と画素値の小さい集合のうち、第１の基準画素値ＢＶ１が含まれる集合を候補集合ＥＡとして選択する。別の観点から説明すると、まず、第１の基準画素値ＢＶ１と第２の基準画素値ＢＶ２の大小関係を取得する。そして、第１の基準画素値ＢＶ１が第２の基準画素値ＢＶ２より大きい場合には、第２の基準画素値ＢＶ２より大きい画素値をもつ画素の集合を候補集合ＥＡとし、第１の基準画素値ＢＶ１が第２の基準画素値ＢＶ２より小さい場合には、第２の基準画素値ＢＶ２より小さい画素値をもつ画素の集合を候補集合ＥＡとするのである。図１においては、基準値計算回路１２から判定回路１３に出力される基準画素値は、ＢＶ２のみを記載しているが、第３の実施の形態においては、第１および第２の基準画素値ＢＶ１,ＢＶ２が出力される。

その後の処理も第１の実施の形態と同様である。差分画素値計算回路１４では、候補集合ＥＡに含まれる画素と第１の基準画素値ＢＶ１との間で画素値の差分絶対値ＤＶが計算され、最小値選択回路１５では、差分絶対値ＤＶの最小値が選択される。これにより、補正用の画素が特定されるのである。

図６は、第３の実施の形態にかかるフィルタ処理を分かり易く図示したものである。第２の画素集合ＰＡ２は、第２の基準画素値ＢＶ２を基準として２つの集合に分けられ、そのうち、第１の基準画素値ＢＶ１が属する集合が候補集合ＥＡとして選択されている。そして、候補集合ＥＡの中で、第１の基準画素値ＢＶ１に最も近似する画素（この図では画素Ｐ３５）が、補正用の画素として選択されるのである。

このように、第３の実施の形態においても、注目画素周辺の広い領域である第３の画素集合ＰＡ３に基づいて第２の基準画素値ＢＶ２が計算され、この基準値に基づいて候補集合ＥＡが選択されるので、注目画素周辺の広い領域の画素変化を加味して、候補集合ＥＡを選択することが可能である。そして、注目画素周辺の狭い領域である第１の画素集合ＰＡ１に基づいて第１の基準画素値ＢＶ１が計算され、補正用の画素は、第１の基準画素値ＢＶ１に近似するものが選択されるので、注目画素周辺の局所的な画素の変化に適用させることが可能である。また、候補集合ＥＡは、第３の画素集合ＰＡ３よりも狭い第２の画素集合ＰＡ２の中から決定されるので、差分画素値計算回路１４および最小値選択回路１５における計算処理量を低減させることが可能である。

また、第３の実施の形態においても、第１の実施の形態と同様に、第１および第２の基準画素値ＢＶ１,ＢＶ２として、重み付け平均値や、中央値、重み付け中央値を採用してもよい。

｛その他の変形例｝
以上説明した各実施の形態においては、第２の画素集合ＰＡ２は、第１の画素集合ＰＡ１を含み、第１の画素集合ＰＡ１よりも広い集合とした。また、第３の画素集合ＰＡ３は、第２の画素集合ＰＡ２を含み、第２の画素集合ＰＡ２よりも広い集合とした。ここで、変形例として各集合が図７ないし図９に示すような関係となっていてもよい。

図７は、第１の画素集合ＰＡ１と第２の画素集合ＰＡ２とが同じ集合である場合である。図８は、第２の画素集合ＰＡ２と第３の画素集合ＰＡ３とが同じ集合である場合である。また、図９は、第１から第３の画素集合ＰＡ１〜ＰＡ３が全て同じ集合である場合である。いずれの場合にも、第３の画素集合ＰＡ３に基づいて第２の基準画素値ＢＶ２を算出し、第２の基準画素値ＢＶ２を基準として第２の画素集合ＰＡ２を分割して、候補集合ＥＡを選択し、第１の画素集合ＰＡ１に基づいて第１の基準画素値ＢＶ１を算出して、候補集合ＥＡの中で、第１の基準画素値ＢＶ１に近似する画素を補正用の画素として選択するのである。各集合を図７ないし図９で示したような関係とすることにより、上記第１〜第３の実施の形態と比べると、画像の種類によっては、多少効果が劣るものの、処理を簡素化させることが可能である。

次に、画素集合の別の選択方法について説明する。これまでの説明では、第１〜第３の画素集合ＰＡ１〜ＰＡ３は、正方領域の画素集合とした。しかし、これは一例であり、たとえば、円形の領域であってもよいし、楕円形の領域であってもよい。

また、画素集合は、２次元に限らず３次元であってもよい。ここで、３次元の画素集合とは、平面方向の画素に加えて、時間方向の複数のフレームの画素を含めて形成される集合を示している。図１０は、画素集合として３次元の集合を用いる場合の例を示している。注目画素Ｐ３３を含む３次元の第１の画素集合ＰＡ１が定義され、さらに、第１の画素集合ＰＡ１を含む３次元の第２の画素集合ＰＡ２が定義され、さらに、第２の画素集合ＰＡ２を含む３次元の第３の画素集合ＰＡ３が定義されている。このような画素集合を扱うためには、画像メモリが平面領域の画素に加え、時間方向の複数フレームの画素を蓄積するレジスタやバッファを持つ必要がある。

３次元の画素集合の定義の方法としては、第１の画素集合ＰＡ１と第２の画素集合ＰＡ２が平面領域の画素集合であり、第３の画素集合ＰＡ３のみが３次元の画素集合であってもよい。また、第１の画素集合ＰＡ１が平面領域の画素集合であり、第２の画素集合ＰＡ２と第３の画素集合ＰＡ３が３次元の画素集合であってもよいし、第１〜第３の画素集合ＰＡ１〜ＰＡ３が全て３次元の画素集合であってもよい。

上記の各実施の形態においては、画像フィルタ処理を実行する手段は、ハードウェア回路で実現される場合を説明した。つまり、画像フィルタ処理は、基準値計算回路１２、判定回路１３、差分画素計算回路１４、最小値選択回路１５などのハードウェア回路を用いて実行される場合を説明した。しかし、これら各回路による処理をコンピュータプログラムで実現するようにしてもよい。すなわち、ＣＰＵ、メモリ等のリソースを利用してコンピュータプログラムを実行させることにより、上記各実施の形態における画像フィルタ処理を実行するようにしてもよい。また、上記各実施の形態においては、画像メモリ１１は、レジスタとラインバッファから構成される場合を説明したが、容量の大きいＲＡＭに正方領域の画素データを格納し、このＲＡＭに格納された画素データをコンピュータプログラムが処理することによって、画像フィルタ処理を実行するようにしてもよい。

実施の形態にかかる画像フィルタ装置の回路ブロック図である。 画像メモリの回路構成を示す図である。 正方領域の画素配列を示す図である。 第１の実施の形態におけるフィルタ処理を分かり易く示す図である。 第２の実施の形態におけるフィルタ処理を分かり易く示す図である。 第３の実施の形態におけるフィルタ処理を分かり易く示す図である。 画素集合の関係の変形例を示す図である。 画素集合の関係の変形例を示す図である。 画素集合の関係の変形例を示す図である。 画素集合の関係の変形例を示す図である。

符号の説明

１０ 画像フィルタ装置
１１ 画像メモリ
１２ 基準値計算回路
１３ 判定回路
１４ 差分画素値計算回路
１５ 最小値選択回路

Claims (17)

1. 注目画素とその周辺の画素を用いて、前記注目画素にフィルタを施す装置であって、前記注目画素に対して、前記注目画素を含む第１の画素集合と、前記第１の画素集合を含む第２の画素集合と、前記第２の画素集合を含む第３の画素集合とが定義されており、
   前記第１の画素集合に含まれる画素に基づいて第１の基準画素値を算出するとともに、前記第３の画素集合に基づいて第２の基準画素値を算出する手段と、
   前記第２の画素集合に含まれる画素の画素値と前記第２の基準画素値との大小を比較し、その大小関係に従って前記第２の画素集合を２つの集合に分けるとともに、当該２つの集合のうち前記注目画素が含まれる集合を候補集合として判定する手段と、
   前記候補集合に含まれる画素のうちで、前記第１の基準画素値と最も画素値が近似する画素を補正画素として選択する手段と、
   前記補正画素の画素値を前記注目画素の画素値として出力する手段と、
   を備えることを特徴とする画像フィルタ装置。
2. 注目画素とその周辺の画素を用いて、前記注目画素にフィルタを施す装置であって、前記注目画素に対して、前記注目画素を含む第１の画素集合と、前記第１の画素集合を含む第２の画素集合と、前記第２の画素集合を含む第３の画素集合とが定義されており、
   前記第１の画素集合に含まれる画素に基づいて第１の基準画素値を算出するとともに、前記第３の画素集合に基づいて第２の基準画素値を算出する手段と、
   前記第２の画素集合に含まれる画素の画素値と前記第２の基準画素値との大小を比較し、その大小関係に従って前記第２の画素集合を２つの集合に分けるとともに、当該２つの集合のうち画素数が多い集合を候補集合として判定する手段と、
   前記候補集合に含まれる画素のうちで、前記第１の基準画素値と最も画素値が近似する画素を補正画素として選択する手段と、
   前記補正画素の画素値を前記注目画素の画素値として出力する手段と、
   を備えることを特徴とする画像フィルタ装置。
3. 注目画素とその周辺の画素を用いて、前記注目画素にフィルタを施す装置であって、前記注目画素に対して、前記注目画素を含む第１の画素集合と、前記第１の画素集合を含む第２の画素集合と、前記第２の画素集合を含む第３の画素集合とが定義されており、
   前記第１の画素集合に含まれる画素に基づいて第１の基準画素値を算出するとともに、前記第３の画素集合に基づいて第２の基準画素値を算出する手段と、
   前記第２の画素集合に含まれる画素の画素値と前記第２の基準画素値との大小を比較し、その大小関係に従って前記第２の画素集合を２つの集合に分けるとともに、当該２つの集合のうち第１の基準画素値が属する集合を候補集合として判定する手段と、
   前記候補集合に含まれる画素のうちで、前記第１の基準画素値と最も画素値が近似する画素を補正画素として選択する手段と、
   前記補正画素の画素値を前記注目画素の画素値として出力する手段と、
   を備えることを特徴とする画像フィルタ装置。
4. 請求項１ないし請求項３のいずれかに記載の画像フィルタ装置において、
   前記第２の基準画素値は、前記第３の画素集合に含まれる画素の画素平均値であることを特徴とする画像フィルタ装置。
5. 請求項１ないし請求項３のいずれかに記載の画像フィルタ装置において、
   前記第２の基準画素値は、前記第３の画素集合に含まれる画素の画素中央値であることを特徴とする画像フィルタ装置。
6. 請求項１ないし請求項５のいずれかに記載の画像フィルタ装置において、
   前記第１の基準画素値は、前記第１の画素集合に含まれる画素の画素平均値であることを特徴とする画像フィルタ装置。
7. 請求項１ないし請求項５のいずれかに記載の画像フィルタ装置において、
   前記第１の基準画素値は、前記第１の画素集合に含まれる画素の画素中央値であることを特徴とする画像フィルタ装置。
8. 請求項４または請求項６に記載の画像フィルタ装置において、
   前記画素平均値は、前記注目画素からの距離に応じた重み付けを行った上で算出されることを特徴とする画像フィルタ装置。
9. 請求項５または請求項７に記載の画像フィルタ装置において、
   前記画素中央値は、前記注目画素からの距離に応じた重み付けを行った上で算出されることを特徴とする画像フィルタ装置。
10. 請求項１ないし請求項９のいずれかに記載の画像フィルタ装置において、
    前記第１の画素集合と前記第２の画素集合とは同一の画素集合であることを特徴とする画像フィルタ装置。
11. 請求項１ないし請求項９のいずれかに記載の画像フィルタ装置において、
    前記第２の画素集合と前記第３の画素集合とは同一の画素集合であることを特徴とする画像フィルタ装置。
12. 請求項１ないし請求項９のいずれかに記載の画像フィルタ装置において、
    前記第１〜第３の画素集合は同一の画素集合であることを特徴とする画像フィルタ装置。
13. 請求項１ないし請求項１２のいずれかに記載の画像フィルタ装置において、
    前記第３の画素集合、または、前記第２および第３の画素集合、または、前記第１〜第３の画素集合は時間方向の複数フレームの画素を用いて形成される３次元の画素集合であることを特徴とする画像フィルタ装置。
14. 注目画素とその周辺の画素を用いて、前記注目画素にフィルタを施す方法であって、前記注目画素に対して、前記注目画素を含む第１の画素集合と、前記第１の画素集合を含む第２の画素集合と、前記第２の画素集合を含む第３の画素集合とが定義されており、
    前記第１の画素集合に含まれる画素に基づいて第１の基準画素値を算出する工程と、
    前記第３の画素集合に含まれる画素に基づいて第２の基準画素値を算出する工程と、
    前記第２の画素集合に含まれる画素の画素値と前記第２の基準画素値との大小を比較し、その大小関係に従って前記第２の画素集合を２つの集合に分けるとともに、当該２つの集合のうち前記注目画素が含まれる集合を候補集合として判定する工程と、
    前記候補集合に含まれる画素のうちで、前記第１の基準画素値と最も画素値が近似する画素を補正画素として選択する工程と、
    前記補正画素の画素値を前記注目画素の画素値として出力する工程と、
    を備えることを特徴とする画像フィルタ方法。
15. 注目画素とその周辺の画素を用いて、前記注目画素にフィルタを施す方法であって、前記注目画素に対して、前記注目画素を含む第１の画素集合と、前記第１の画素集合を含む第２の画素集合と、前記第２の画素集合を含む第３の画素集合とが定義されており、
    前記第１の画素集合に含まれる画素に基づいて第１の基準画素値を算出する工程と、
    前記第３の画素集合に含まれる画素に基づいて第２の基準画素値を算出する工程と、
    前記第２の画素集合に含まれる画素の画素値と前記第２の基準画素値との大小を比較し、その大小関係に従って前記第２の画素集合を２つの集合に分けるとともに、当該２つの集合のうち画素数が多い集合を候補集合として判定する工程と、
    前記候補集合に含まれる画素のうちで、前記第１の基準画素値と最も画素値が近似する画素を補正画素として選択する工程と、
    前記補正画素の画素値を前記注目画素の画素値として出力する工程と、
    を備えることを特徴とする画像フィルタ方法。
16. 注目画素とその周辺の画素を用いて、前記注目画素にフィルタを施す方法であって、前記注目画素に対して、前記注目画素を含む第１の画素集合と、前記第１の画素集合を含む第２の画素集合と、前記第２の画素集合を含む第３の画素集合とが定義されており、
    前記第１の画素集合に含まれる画素に基づいて第１の基準画素値を算出する工程と、
    前記第３の画素集合に含まれる画素に基づいて第２の基準画素値を算出する工程と、
    前記第２の画素集合に含まれる画素の画素値と前記第２の基準画素値との大小を比較し、その大小関係に従って前記第２の画素集合を２つの集合に分けるとともに、当該２つの集合のうち第１の基準画素値が属する集合を候補集合として判定する工程と、
    前記候補集合に含まれる画素のうちで、前記第１の基準画素値と最も画素値が近似する画素を補正画素として選択する工程と、
    前記補正画素の画素値を前記注目画素の画素値として出力する工程と、
    を備えることを特徴とする画像フィルタ方法。
17. コンピュータにインストールされることにより、前記コンピュータに請求項１４ないし請求項１６のいずれかに記載の画像フィルタ方法を実行させることを特徴とするコンピュータプログラム。
    

Images