JP2015142154A

JP2015142154A - ノイズ判定装置、ノイズ判定方法およびノイズフィルタ

Info

Publication number: JP2015142154A
Application number: JP2014012333A
Authority: JP
Inventors: 岡本　彰; Akira Okamoto; 彰岡本
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2014-01-27
Filing date: 2014-01-27
Publication date: 2015-08-03
Anticipated expiration: 2034-01-27
Also published as: JP6339811B2

Abstract

【課題】どのような状況下で撮像された画像であっても、画像上の有意な構成をノイズと誤判定することを抑制したノイズ判定技術を提供する。
【解決手段】フレーム単位で与えられる画像データのノイズ判定するノイズ判定装置であって、画像データを周波数分解し、得られた周波数成分について、周波数が比較的低い低周波成分および周波数が比較的高い高周波成分について、それぞれ所定数のデータをサンプリングし、低周波側データに対する高周波側データの比率に基づいて、エッジ画像が含まれるか否かを解析する。
【選択図】図４

Description

本発明はノイズ判定技術に関し、特に画像信号に含まれるノイズの判定技術に関する。

固体撮像素子などのイメージセンサを用いて撮像された画像信号に含まれるノイズを検出し除去する技術については、従来から種々の技術が提案されている。

例えば、特許文献１には、クロマ成分に含まれるノイズを検出し、除去する技術が開示されている。

特許第５１０５２１５号公報

固体撮像素子などのイメージセンサを用いた撮像装置は、監視カメラとして使用されることがあるが、監視カメラは、明るい場所での使用に限定されず、照度の低い場所でも使用されることがある。

このような場合、ノイズと画像上の有意な構成との判別が難しくなるが、特許文献１をはじめとして、従来のノイズ検出技術では、検出したノイズを一律に除去するので、画像上の有意な構成を間違ってノイズと判定した場合は、ノイズとして除去される可能性があった。

本発明は上記のような問題を解決するためになされたものであり、どのような状況下で撮像された画像であっても、画像上の有意な構成をノイズと誤判定することを抑制したノイズ判定技術を提供することを目的とする。

本発明に係るノイズ判定装置の第１の態様は、フレーム単位で与えられる画像データのノイズ判定するノイズ判定装置であって、前記画像データを周波数分解し、得られた周波数成分について、周波数が比較的低い低周波成分および周波数が比較的高い高周波成分について、それぞれ所定数のデータをサンプリングし、低周波側データに対する高周波側データの比率に基づいて、エッジ画像が含まれるか否かを解析する。

本発明に係るノイズ判定装置の第２の態様は、１つのフレームの前記画像データを所定の画素数のマトリクスに分割してデータブロックとして周波数分解を行う周波数分解部と、前記周波数分解部で得られた周波数成分について、前記データブロックの低周波成分側および高周波成分側のそれぞれで、所定数ずつの周波数成分をサンプリングして、前記低周波側データおよび前記高周波側データとし、前記低周波側データに対する前記高周波側データの比率に基づいて、エッジ画像が含まれるか否かを解析する周波数解析部と、前記周波数解析部での解析結果に基づいて、ノイズを除去するフィルタのフィルタ特性を選択するフィルタ特性選択部と、を備えている。

本発明に係るノイズ判定装置の第３の態様は、前記周波数解析部が、前記低周波側データの水平周波数成分を垂直周波数成分よりも多くした第１サンプリング領域を設定し、前記第１サンプリング領域で得られた前記低周波側データに対する前記高周波側データの比率が、予め定めた閾値以下である場合に、前記データブロックに水平エッジ画像が含まれるものと解析し、前記フィルタ特性選択部は、前記水平エッジ画像が除去されないフィルタ特性を選択する。

本発明に係るノイズ判定装置の第４の態様は、前記周波数解析部が、前記低周波側データの垂直周波数成分を水平周波数成分よりも多くした第２サンプリング領域を設定し、前記第２サンプリング領域で得られた前記低周波側データに対する前記高周波側データの比率が、予め定めた閾値以下である場合に、前記データブロックに垂直エッジ画像が含まれるものと解析し、前記フィルタ特性選択部は、前記垂直エッジ画像が除去されないフィルタ特性を選択する。

本発明に係るノイズ判定装置の第５の態様は、前記周波数解析部が、前記低周波側データの垂直周波数成分と水平周波数成分とが同じ第３サンプリング領域を設定し、前記第３サンプリング領域で得られた前記低周波側データに対する前記高周波側データの比率が、予め定めた閾値以下である場合に、前記データブロックにエッジ画像が含まれるものと解析し、前記フィルタ特性選択部は、前記エッジ画像が除去されないフィルタ特性を選択する。

本発明に係るノイズ判定装置の第６の態様は、前記周波数解析部が、離散コサイン変換により周波数分解を行い、前記周波数解析部は、前記周波数分解部での離散コサイン変換により得られた変換係数の交流成分を直流成分で割ることで前記交流成分の正規化を行い、正規化後の交流成分を前記低周波側データおよび前記高周波側データとする。

本発明に係るノイズ判定装置の第７の態様は、他の周波数成分から孤立している周波数成分を解析して孤立周波数の存在を確認する孤立周波数解析部をさらに備え、前記孤立周波数解析部は、前記孤立周波数の存在に基づいて、前記データブロックに、前記周波数解析部では解析できなかったエッジ画像が含まれるか否かを解析し、前記フィルタ特性選択部は、前記周波数解析部では解析できなかったエッジ画像が含まれる場合に、前記エッジ画像が除去されないフィルタ特性を選択する。

本発明に係るノイズ判定装置の第８の態様は、前記周波数分解部が、離散コサイン変換により周波数分解を行い、前記孤立周波数解析部は、前記周波数分解部での離散コサイン変換により得られた変換係数の交流成分を直流成分で割ることで前記交流成分の正規化を行い、正規化された全ての前記交流成分の平均値を算出し、前記正規化された交流成分のそれぞれの周波数成分について、その周囲の周波数成分のうち前記平均値よりも大きな周波数成分の個数が、予め定めた第１閾値未満となる周波数成分の個数を算出し、算出された個数が予め定めた第２閾値未満であるか否かを判定し、前記第２閾値未満である場合に前記周波数解析部では解析できなかったエッジ画像が含まれるものと解析する。

本発明に係るノイズ判定装置の第９の態様は、前記画像データとしてベイヤーデータを使用する。

本発明に係るノイズ判定装方法の態様は、フレーム単位で与えられる画像データのノイズ判定するノイズ判定装置であって、前記画像データを周波数分解するステップ（ａ）と、前記ステップ（ａ）で得られた周波数成分について、周波数が比較的低い低周波成分および周波数が比較的高い高周波成分について、それぞれ所定数のデータをサンプリングし、低周波側データに対する高周波側データの比率に基づいて、エッジ画像が含まれるか否かを解析するステップ（ｂ）とを備えている。

本発明に係るノイズフィルタの態様は、画像データを周波数分解して得られた周波数成分についてフィルタ処理を行う。

本発明に係るノイズ判定装置によれば、フィルタ処理によりエッジ成分が除去されることを防止でき、画像上の有意な構成がノイズと共に除去されることを抑制できる。

本発明に係る実施の形態のノイズ判定装置を有した、ノイズ除去装置の構成を示すブロック図である。本発明に係る実施の形態のノイズ判定装置の構成を示すブロック図である。本発明に係る実施の形態のノイズ判定装置での判定結果に基づいてノイズを除去するフィルタ回路の構成を示すブロック図である。本発明に係る実施の形態のノイズ判定装置におけるノイズ判定処理を説明するフローチャートである。本発明に係る実施の形態のノイズ判定装置におけるノイズ判定処理を説明するフローチャートである。本発明に係る実施の形態のノイズ判定装置におけるノイズ判定処理を説明するフローチャートである。本発明に係る実施の形態のノイズ判定装置におけるノイズ判定処理を説明するフローチャートである。８×８のベイヤーデータブロックに対応するＤＣＴ係数のマトリクスを示す図である。８×８のベイヤーデータブロックに対応するＤＣＴ係数のマトリクスを示す図である。８×８のベイヤーデータブロックに対応するＤＣＴ係数のマトリクスを示す図である。ノイズ除去に使用する量子化マトリクステーブルの構成を示す図である。ノイズ除去に使用する量子化マトリクステーブルの構成を示す図である。ノイズ除去に使用する量子化マトリクステーブルの構成を示す図である。ノイズ除去に使用する量子化マトリクステーブルの構成を示す図である。ノイズ除去に使用する量子化マトリクステーブルの構成を示す図である。ノイズ除去に使用する量子化マトリクステーブルの構成を示す図である。ノイズ除去に使用する量子化マトリクステーブルの構成を示す図である。ノイズ除去に使用する量子化マトリクステーブルの構成を示す図である。

＜実施の形態＞
図１は本発明に係る実施の形態のノイズ判定装置を有した、ノイズ除去装置１００の構成を示すブロック図である。

図１に示すように、ノイズ除去装置１００は、画像データＰＤを受け、当該画像データＰＤにノイズが含まれるか否かを判定するノイズ判定装置１と、画像データＰＤに含まれるノイズを除去するフィルタ回路２とを備えている。

フィルタ回路２は、ノイズ判定装置１からの特性選択信号ＣＳと画像データＰＤとを受け、画像データＰＤにフィルタ処理を行って出力するか、画像データＰＤをそのまま出力する。

図２には、ノイズ判定装置１の構成をブロック図で示す。図２に示すように、ノイズ判定装置１には、画像データＰＤとしてベイヤーデータが入力されるが、当該ベイヤーデータは、ラインメモリ群１１に一時的に保存される。後に説明するが、ノイズ判定装置１は、１フレーム分の画像データＰＤを８×８画素単位、または４×４画素単位のマトリクスで処理するので、ラインメモリ群１１は、８×８画素単位の場合は７個のラインメモリを含み、３×３画素単位の場合は３個のラインメモリを含むこととなる。

ラインメモリ群１１に保存されたベイヤーデータは、先入れ先出し（ＦＩＦＯ）処理で４×４画素単位または８×８画素単位でＤＣＴ（離散コサイン）変換部１２に与えられ、それは４ラインまたは８ラインのベイヤーデータが与えられるまで連続して行われる。

ＤＣＴ変換部１２（周波数分解部）では、与えられたベイヤーデータ（以後、ベイヤーデータブロックと呼称）に対して離散コサイン変換を施して周波数分解し、得られた周波数成分についての変換係数を出力する。

そして、ＤＣＴ変換部１２から出力される変換係数に対して、周波数解析部１３で解析を行うことで、１つのフレームに含まれるノイズをベイヤーデータブロック単位で解析する。そして、解析結果はフィルタ特性選択部１５に与えられる。

また、ＤＣＴ変換部１２の出力および周波数解析部１３での解析結果は孤立周波数解析部１４に与えられ、孤立周波数の解析が行われ、解析結果はフィルタ特性選択部１５に与えられる。

フィルタ特性選択部１５では、周波数解析部１３での解析結果および孤立周波数解析部１４での解析結果に基づいて、フィルタの特性を決める量子化マトリクステーブルを作成して、フィルタ特性選択信号ＦＳとしてフィルタ回路２に与えると共に、画像データＰＤにフィルタ処理を行って出力するか、画像データＰＤをそのまま出力するかを選択する制御信号ＣＳを与える。

なお、ノイズ判定装置１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）およびワイヤードロジック等で構成され、ＲＯＭ内に格納されたプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、ノイズ判定装置１を機能的に実現する。

図３にフィルタ回路２の構成を示す。図３に示すように、フィルタ回路２は、画像データＰＤにフィルタ処理を行うかそのまま出力するかを選択する選択回路２０と、画像データＰＤをＤＣＴ変換するＤＣＴ変換部２１と、ＤＣＴ変換後のデータに対して量子化処理を行う量子化部２２と、量子化されたデータに対して逆量子化処理を行う逆量子化部２３と、逆量子化後のデータに対して逆ＤＣＴ変換を行う逆ＤＣＴ変換部２４とを有している。

選択回路２０の選択動作はフィルタ特性選択部１５から与えられる制御信号ＣＳによって制御され、フィルタ処理を行う場合は、画像データＰＤがＤＣＴ変換部２１に与えられる。

＜ノイズ判定処理＞
次に、図４〜図７に示すフローチャートを用いて、ノイズ判定装置１におけるノイズ判定処理のうち、エッジ判定処理について説明する。

＜水平エッジの判定＞
まず、図４を用いて水平エッジの判定について説明する。なお、以下の説明は、図２に示した周波数解析部１３以下での処理であり、ＤＣＴ処理は周知の技術であるので説明は省略する。

ステップＳ１において、周波数解析部１３では、ＤＣＴ変換部１２から出力される変換係数（ＤＣＴ係数）のマトリクス（８×８のベイヤーデータブロックに対応）において、ＡＣ（交流）成分をＤＣ（直流）成分で割ることでＡＣ成分の正規化を行う。

ここで、８×８のベイヤーデータブロックに対応するＤＣＴ係数のマトリクスを図８に示す。図８において、マトリクスの先頭（左上角部）がＤＣ成分であり、マトリクスの水平方向が垂直周波数成分（Ｖ）を、マトリクスの垂直方向が水平周波数成分（Ｈ）を表している。そして、ＤＣ成分に近いＡＣ成分ほど低周波であり、マトリクスのＤＣ成分とは対角をなす角部に近いＡＣ成分ほど高周波となっている。

なお、図８において、ＤＣ成分側寄りのＡＣ成分である低周波成分（低域成分）のサンプリング領域をサンプリング領域ＬＳＲ（低域サンプリング領域）とし、ＤＣ成分とは対角をなす側のＡＣ成分である高周波成分（高域成分）のサンプリング領域をサンプリング領域ＨＳＲ（高域サンプリング領域）として示している。

なお、サンプリング領域は任意に設定可能であり、周波数解析部１３は、図９に示すように、水平周波数成分（Ｈ）を多くし、垂直周波数成分（Ｖ）を少なくしたサンプリング領域ＨＬＳＲ（水平低域サンプリング領域）を設定する。そして、サンプリング領域ＨＬＳＲでの正規化されたＤＣＴ係数の総数（Σ水平低域）に対する、サンプリング領域ＨＳＲでの正規化されたＤＣＴ係数の総数（Σ高域）の比率（Σ高域／Σ水平低域）を算出し、予め定めた閾値Ａとの比較を行う（ステップＳ２）。

当該比率が、閾値Ａを超える場合にはステップＳ４に進むが、閾値Ａ以下の場合は、処理対象となっているベイヤーデータブロックは水平エッジの多い画像であると判定し、ステップＳ３に進む。なお、閾値Ａは任意に設定可能である。

ここで、水平エッジとは、画像の垂直方向に沿ったエッジのことであり、水平エッジが多いということは、ノイズが含まれているという誤判定となる可能性がある。水平エッジの判定は、水平エッジをノイズと誤判定して除去しないために行う。

フィルタ特性選択部１５では、処理対象となっているベイヤーデータブロックは水平エッジの多い画像であるとの解析結果を受け、水平エッジの多い画像に対応する弱いフィルタとなるようにフィルタ回路２のフィルタ特性を選択する（ステップＳ３）。

すなわち、水平エッジがノイズとして除去されることがないような量子化マトリクステーブルを設定してフィルタ回路２に与える。

なお、ステップＳ３においてフィルタ特性を選択する際には、フィルタ回路２の選択回路２０を制御して、処理対象となっているベイヤーデータブロックに対応する画像データＰＤにフィルタ処理が行われるようにする。

一方で、ステップＳ２において、処理対象となっているベイヤーデータブロックが水平エッジの多い画像となっていない場合は、画像データＰＤに対するフィルタ処理は行わない。

その後、ステップＳ４において、１フレーム中の全てのベイヤーデータブロックに対してステップＳ２のノイズ判定を行ったか否かを確認し、全てのベイヤーデータブロックに対してノイズ判定を行った場合は、当該フレームに対する判定処理およびフィルタ処理を終了するが、未判定のベイヤーデータブロックがある場合には、ステップＳ１以下の処理を繰り返す。

＜垂直エッジの判定＞
次に、図５を用いて垂直エッジの判定について説明する。なお、ステップＳ１１は、図４を用いて説明したステップＳ１と同じ処理であるので、説明は省略する。

周波数解析部１３は、図１０に示すように、垂直周波数成分（Ｖ）を多くし、水平周波数成分（Ｈ）を少なくしたサンプリング領域ＶＬＳＲ（垂直低域サンプリング領域）を設定する。そして、サンプリング領域ＶＬＳＲでの正規化されたＤＣＴ係数の総数（Σ垂直低域）に対する、サンプリング領域ＨＳＲでの正規化されたＤＣＴ係数の総数（Σ高域）の比率（Σ高域／Σ垂直低域）を算出し、予め定めた閾値Ｂとの比較を行う（ステップＳ１２）。

当該比率が、閾値Ｂを超える場合にはステップＳ１４に進むが、閾値Ｂ以下の場合は、処理対象となっているベイヤーデータブロックは垂直エッジの多い画像であると判定し、ステップＳ１３に進む。なお、閾値Ｂは任意に設定可能である。

ここで、垂直エッジとは、画像の水平方向に沿ったエッジのことであり、垂直エッジが多いということは、ノイズが含まれているという誤判定となる可能性がある。垂直エッジの判定は、垂直エッジをノイズと誤判定して除去しないために行う。

フィルタ特性選択部１５では、処理対象となっているベイヤーデータブロックは垂直エッジの多い画像であるとの解析結果を受け、垂直エッジの多い画像に対応する弱いフィルタとなるようにフィルタ回路２のフィルタ特性を選択する（ステップＳ１３）。

すなわち、垂直エッジがノイズとして除去されることがないような量子化マトリクステーブルを設定してフィルタ回路２に与える。

なお、ステップＳ１３においてフィルタ特性を選択する際には、フィルタ回路２の選択回路２０を制御して、処理対象となっているベイヤーデータブロックに対応する画像データＰＤにフィルタ処理が行われるようにする。

一方で、ステップＳ１２において、処理対象となっているベイヤーデータブロックが垂直エッジの多い画像となっていない場合は、画像データＰＤに対するフィルタ処理は行わない。

その後、ステップＳ１４において、１フレーム中の全てのベイヤーデータブロックに対してステップＳ１２のノイズ判定を行ったか否かを確認し、全てのベイヤーデータブロックに対してノイズ判定を行った場合は、当該フレームに対する判定処理およびフィルタ処理を終了するが、未判定のベイヤーデータブロックがある場合には、ステップＳ１１以下の処理を繰り返す。

＜水平、垂直エッジの判定＞
次に、図６を用いてエッジの判定について説明する。なお、ステップＳ２１は、図４を用いて説明したステップＳ１と同じ処理であるので、説明は省略する。

周波数解析部１３は、図８に示すように、垂直周波数成分（Ｖ）と水平周波数成分（Ｈ）とが同じとなるサンプリング領域ＬＳＲおよびＨＳＲを設定する。そして、サンプリング領域ＬＳＲでの正規化されたＤＣＴ係数の総数（Σ低域）に対する、サンプリング領域ＨＳＲでの正規化されたＤＣＴ係数の総数（Σ高域）の比率（Σ高域／Σ低域）を算出し、予め定めた閾値Ｃとの比較を行う（ステップＳ２２）。

当該比率が、閾値Ｃを超える場合にはステップＳ２４に進むが、閾値Ｃ以下の場合は、処理対象となっているベイヤーデータブロックは（水平、垂直共に）エッジの多い画像であると判定し、ステップＳ２３に進む。なお、閾値Ｃは任意に設定可能である。

ここで、エッジが多いということは、ノイズが含まれているという誤判定となる可能性がある。水平、垂直エッジの判定は、エッジをノイズと誤判定して除去しないために行う。

フィルタ特性選択部１５では、処理対象となっているベイヤーデータブロックはエッジの多い画像であるとの解析結果を受け、エッジの多い画像に対応する弱いフィルタとなるようにフィルタ回路２のフィルタ特性を選択する（ステップＳ２３）。

すなわち、エッジがノイズとして除去されることがないような量子化マトリクステーブルを設定してフィルタ回路２に与える。

なお、ステップＳ２３においてフィルタ特性を選択する際には、フィルタ回路２の選択回路２０を制御して、処理対象となっているベイヤーデータブロックに対応する画像データＰＤにフィルタ処理が行われるようにする。

一方で、ステップＳ２２において、処理対象となっているベイヤーデータブロックがエッジの多い画像となっていない場合は、画像データＰＤに対するフィルタ処理は行わない。

その後、ステップＳ２４において、１フレーム中の全てのベイヤーデータブロックに対してステップＳ２２のノイズ判定を行ったか否かを確認し、全てのベイヤーデータブロックに対してノイズ判定を行った場合は、当該フレームに対する判定処理およびフィルタ処理を終了するが、未判定のベイヤーデータブロックがある場合には、ステップＳ２１以下の処理を繰り返す。

＜エッジ判定の組み合わせ＞
図４〜図６を用いた各種のエッジ判定は、それぞれ独立して行っても良いし、何れかを組み合わせても良く、全てを組み合わせても良い。

例えば、図４のステップＳ２で水平エッジの判定を行い、処理対象となっているベイヤーデータブロックが水平エッジの多い画像となっていないと判定された場合は、次に、図５のステップＳ１２のように垂直エッジの判定を行う。そして、処理対象となっているベイヤーデータブロックが垂直エッジの多い画像となっていないと判定された場合は、次に、図６のステップＳ２２のようにエッジの判定を行うようにしても良い。

このようにエッジ判定を組み合わせることで、多様なエッジを有する画像に対して、適切なフィルタ特性に基づいたフィルタ処理を行うことができる。

＜孤立周波数の解析＞
次に、図７に示すフローチャートを用いて、孤立周波数解析部１４での孤立周波数の解析について説明する。

孤立周波数とは、他の周波数成分から孤立している周波数成分であり、これを削除することはノイズの軽減につながるが、特殊な形状のエッジが存在する場合も孤立周波数が多数存在するものと誤認識される場合がある。

孤立周波数解析部１４では、孤立周波数の存在を確認し、孤立周波数が多数存在する場合には、その情報をフィルタ特性選択部１５に与える。

なお、孤立周波数解析部１４は、周波数解析部１３での解析結果を受け、周波数解析部１３での解析結果が、何れの種類のエッジも検出されないという結果であった場合に孤立周波数の解析を行う。

孤立周波数解析部１４は、図７のステップＳ３１において、周波数解析部１３では、ＤＣＴ変換部１２から出力されるＤＣＴ係数のマトリクスにおいて、ＡＣ成分をＤＣ成分で割ることでＡＣ成分の正規化を行う。

そして、正規化された全て（ここでは６３個）のＡＣ成分の平均値を算出する（ステップＳ３２）。

次に、ステップＳ３３において、６３個のＡＣ成分のうち、周囲に８個の周波数成分がある周波数成分を特定する。これは、ＡＣ成分に対応する６３個の周波数成分について１つずつ周囲に８個の周波数成分があるか否かを確認する処理であり、周囲に８個の周波数成分がある周波数成分、すなわち８個の周波数成分で囲まれた中央の周波数成分を特定する処理である。なお、このような周波数成分は、ベイヤーデータブロックの４辺を構成する周波数成分ではないので、これらの周波数成分についてはステップＳ３３の対象としないようにしても良い。

ステップＳ３３において、８個の周波数成分で囲まれた周波数成分（中央周波数成分）が特定された場合、それぞれについて、周囲の８個の周波数成分のうち、ステップＳ３２で算出した平均値よりも大きな周波数成分が、予め定めた閾値Ｄ個未満である周波数成分の個数を算出する。このような周波数成分は孤立周波数と言えるが、単なるノイズである場合と特殊な形状のエッジの存在を表す場合がある。そこで、当該周波数成分の個数が、予め定めた閾値Ｆ個未満であるか否かを判定し（ステップＳ３４）、閾値Ｆ個以上である場合は、対象としているベイヤーデータブロックには、ノイズではなく、特殊な形状のエッジがあると判断する。

すなわち、平均値よりも大きなＡＣ成分が少ない場合は、孤立周波数である場合を示唆しているが、孤立周波数が多い場合は周波数解析部１３では解析できなかった特殊な形状のエッジが存在する可能性を示唆している。そのため、ステップＳ３３で特定した複数の中央周波数成分のうち、周囲に平均値よりも大きな周波数成分がＤ個未満存在する中央周波数成分の個数が全部でＦ個以上となる場合（ステップＳ３４でＮｏの場合）は、処理対象となっているベイヤーデータブロックは特殊な形状のエッジが存在する画像であると判定し、ステップＳ３５に進む。なお、閾値ＤおよびＦは任意に設定可能である。

一方、ステップＳ３４において、該当する中央周波数成分の個数が全部でＦ個未満の場合（Ｙｅｓの場合）はステップＳ３６に進む。

ステップＳ３６では、６３個のＡＣ成分のうち、周囲に５個の周波数成分がある周波数成分を特定する。これは、６３個のＡＣ成分について１つずつ周囲に５個の周波数成分があるか否かを確認する処理であり、周囲に５個の周波数成分がある周波数成分、すなわちベイヤーデータブロックの４辺を構成する周波数成分のうち、角部の周波数成分を除いた周波数成分を特定する処理である。なお、このような周波数成分は、ベイヤーデータブロックの４辺にしかないので、それ以外の周波数成分についてはステップＳ３６の対象としないようにしても良い。

ステップＳ３６において、５個の周波数成分で囲まれた周波数成分（端縁周波数成分）が特定された場合、それぞれについて、周囲の５個の周波数成分のうち、ステップＳ３２で算出した平均値よりも大きな周波数成分が、予め定めた閾値Ｅ個未満である周波数成分の個数を算出する。このような周波数成分は孤立周波数と言えるが、単なるノイズである場合と特殊な形状のエッジの存在を表す場合がある。そこで、当該周波数成分の個数が、予め定めた閾値Ｇ個未満であるか否かを判定し（ステップＳ３７）、閾値Ｇ個以上である場合は、対象としているベイヤーデータブロックには、ノイズではなく、特殊な形状のエッジがあると判断する。

すなわち、平均値よりも大きなＡＣ成分が少ない場合は、孤立周波数である場合を示唆しているが、孤立周波数が多い場合は周波数解析部１３では解析できなかった特殊な形状のエッジが存在する可能性を示唆している。そのため、ステップＳ３６で特定した複数の端縁周波数成分のうち、周囲に平均値よりも大きな周波数成分がＥ個未満存在する端縁周波数成分の個数が全部でＧ個以上となる場合（ステップＳ３７でＮｏの場合）は、処理対象となっているベイヤーデータブロックに特殊な形状のエッジが存在する画像であると判定し、ステップＳ３５に進む。なお、閾値ＥおよびＧは任意に設定可能である。

一方、ステップＳ３７において、該当する端縁周波数成分の個数が全部でＧ個未満の場合（Ｙｅｓの場合）は、対象としているベイヤーデータブロックには特殊な形状のエッジはないと判断してステップＳ３８に進む。

ステップＳ３５では、孤立周波数解析部１４から、処理対象となっているベイヤーデータブロックは、特殊な形状のエッジが存在する画像であるとの解析結果を受けたフィルタ特性選択部１５が、エッジが残るような弱いフィルタとなるようにフィルタ回路２のフィルタ特性を選択する。

すなわち、特殊な形状のエッジが除去されないような量子化マトリクステーブルを設定してフィルタ回路２に与える。

なお、ステップＳ３５においてフィルタ特性を選択する際には、フィルタ回路２の選択回路２０を制御して、処理対象となっているベイヤーデータブロックに対応する画像データＰＤにフィルタ処理が行われるようにする。

その後、ステップＳ３９において全てのベイヤーデータブロックについて孤立周波数を解析したかを確認し、解析を終了した場合は一連の処理を終了し、未解析のベイヤーデータブロックが存在する場合はステップＳ３１以下の処理を繰り返す。

一方で、孤立周波数解析部１４から、処理対象となっているベイヤーデータブロックに、特殊な形状のエッジが存在する画像ではないとの解析結果を受けたフィルタ特性選択部１５は、エッジが存在しない画像に対するフィルタとなるようにフィルタ回路２のフィルタ特性を選択する（ステップＳ３８）。

ここで、以上説明した判定処理は、入力されたベイヤーデータのＧｂ（青側の緑）、Ｇｒ（赤側の緑）、Ｒ（赤）、Ｂ（青）の４つの色のそれぞれについて実行することで、判定の精度を高めることができる。なお、緑成分は輝度情報を含んでいるので、Ｇｂのデータだけ、あるいはＧｒのデータだけについて上記判定処理を実行するようにしても良い。

＜一般的なエッジ検出方法との組み合わせ＞
画像中のある領域のエッジを検出する場合、ゾーベル（Ｓｏｂｅｌ）法などを用いることが一般的である。

図４〜図７を用いて説明したエッジ検出と、ゾーベル法によるエッジ検出とを組み合わせることで、さらに多様なエッジを有する画像に対して、適切なフィルタ特性に基づいたフィルタ処理を行うことができる。

例えば、図４〜図７を用いて説明したエッジ検出（またはこれらの組み合わせによるエッジ検出）を行っても何れの種類のエッジも検出されない場合は、さらにゾーベル法によるエッジ検出を行い、エッジの検出が少ない場合は、エッジを有さない画像であるとして、強いフィルタとなるようにフィルタ回路２のフィルタ特性を選択する。

すなわち、エッジが少ないので、エッジを考慮することなく、ノイズを除去するような量子化マトリクステーブルを設定してフィルタ回路２に与える。この量子化マトリクステーブルは、高域も低域も除去するようなフィルタを実現する。

なお、ゾーベル法によるエッジ検出で、エッジの検出が多い場合は、何らかのエッジを有する画像であるとして、強いフィルタとなるようにフィルタ回路２のフィルタ特性を選択する。

＜フィルタ処理＞
次に、フィルタ回路２におけるフィルタ処理について説明する。図３に示すようにフィルタ回路２は、画像データＰＤをＤＣＴ変換するＤＣＴ変換部２１と、ＤＣＴ変換後のデータに対して量子化処理を行う量子化部２２と、量子化されたデータに対して逆量子化処理を行う逆量子化部２３と、逆量子化後のデータに対して逆ＤＣＴ変換を行う逆ＤＣＴ変換部２４とを有している。

量子化部２２において、ＤＣＴ変換後のデータを、所定の量子化マトリクステーブルで割り算することでＤＣＴ変換後のデータが量子化されるが、これがフィルタ処理に相当する。従って、量子化マトリクステーブルを変更することで、フィルタの強度を任意に変更することができる。この量子化マトリクステーブルを決定するための信号がフィルタ特性選択信号ＦＳであり、予め準備された複数の量子化マトリクステーブルからフィルタ特性選択信号ＦＳを用いて選択しても良いし、フィルタ特性選択部１５で作成して、フィルタ特性選択信号ＦＳとして与えても良い。

なお、量子化されたデータに対して逆量子化部２３で逆量子化処理を行い、さらに逆量子化後のデータに対して逆ＤＣＴ変換部２４で逆ＤＣＴ変換を行うことで、画像データを元に戻すことができるが、この画像データはフィルタ処理済みの画像データとなる。

逆量子化部２３での逆量子化処理は、量子化されたデータに対して所定の量子化マトリクステーブルを掛け算する処理であるので、ここでも量子化マトリクステーブルを使用する。この量子化マトリクステーブルを決定するための信号がフィルタ特性選択信号ＦＳであり、予め準備された複数の量子化マトリクステーブルからフィルタ特性選択信号ＦＳを用いて選択しても良いし、フィルタ特性選択部１５で作成して、フィルタ特性選択信号ＦＳとして与えても良い。なお、量子化部２２および逆量子化部２３で使用するテーブルは同じものではないが、対になって使用するので、図３では同じフィルタ特性選択信号ＦＳが与えられるように記載している。

＜量子化マトリクステーブルの例＞
以下、図１１〜図１８を用いて量子化マトリクステーブルの例について説明する。なお、量子化マトリクステーブルは、フィルタ特性選択部１５において予め準備されたものを使用しても良いし、周波数解析部１３および孤立周波数解析部１４での解析結果を受けて、フィルタ特性選択部１５でその都度作成しても良い。

＜水平エッジに対応するテーブル＞
図１１は、図４を用いて説明した水平エッジの判定により、処理対象となっているベイヤーデータブロックは水平エッジの多い画像であると判定された場合に、フィルタ回路２に与えられる、水平エッジがノイズとして除去されることがないような量子化マトリクステーブルである。

図１１に示されるように、当該量子化マトリクステーブルは、図９に示したＤＣＴ係数のマトリクスのように、低域側で水平周波数成分が多く、垂直周波数成分が少なくなるように設定された領域のみに有意な数値が与えられ、他の領域は全て最大値「２５５」が与えられている。なお、有意な数値については任意に設定可能である。

これにより、有意な数値が与えられた部分に対応するＡＣ成分のみが残り、他の部分に対応するＡＣ成分は除去されるというフィルタ特性となる。

＜垂直エッジに対応するテーブル＞
図１２は、図５を用いて説明した垂直エッジの判定により、処理対象となっているベイヤーデータブロックは垂直エッジの多い画像であると判定された場合に、フィルタ回路２に与えられる、垂直エッジがノイズとして除去されることがないような量子化マトリクステーブルである。

図１２に示されるように、当該量子化マトリクステーブルは、図１０に示したＤＣＴ係数のマトリクスのように、低域側で水平周波数成分が少なく、垂直周波数成分が多くなるように設定された領域のみに有意な数値が与えられ、他の領域は全て最大値「２５５」が与えられている。

＜水平、垂直エッジに対応するテーブル＞
図１３は、図６を用いて説明したエッジの判定により、処理対象となっているベイヤーデータブロックは、水平、垂直共にエッジの多い画像であると判定された場合に、フィルタ回路２に与えられる、水平、垂直エッジがノイズとして除去されることがないような量子化マトリクステーブルである。

図１３に示されるように、当該量子化マトリクステーブルは、図８に示したＤＣＴ係数のマトリクスのように、低域側で水平周波数成分と垂直周波数成分とが同じとなるように設定された領域のみに有意な数値が与えられ、他の領域は全て最大値「２５５」が与えられている。

＜孤立周波数の解析で得られたエッジに対応するテーブル＞
図１４は、図７を用いて説明した孤立周波数の解析により、処理対象となっているベイヤーデータブロックは、特殊な形状のエッジが端縁部またはそれ以外に存在する画像であると判定された場合に、フィルタ回路２に与えられる、特殊な形状のエッジについては除去されるような量子化マトリクステーブルである。

図１４に示されるように、当該量子化マトリクステーブルは、低域側で水平周波数成分と垂直周波数成分とが同じになるように設定されているが、図１３の量子化マトリクステーブルよりもさらに領域が狭くなっている。これにより、除去されるＡＣ成分が増え、より強力なフィルタ特性となる。

＜ゾーベル法で得られたエッジに対応するテーブル＞
図１５は、ゾーベル法によっても検出されるエッジが少ない場合に、フィルタ回路２に与えられる、エッジを考慮することなくノイズを除去するような量子化マトリクステーブルである。

図１５に示されるように、当該量子化マトリクステーブルは、低域側で水平周波数成分と垂直周波数成分とが同じになるように設定されているが、図１４の量子化マトリクステーブルよりもさらに領域が狭くなっている。これにより、除去されるＡＣ成分が増え、さらに強力なフィルタ特性となる。

＜エッジ判定を組み合わせた場合のテーブル＞
先に説明したように、図４〜図６を用いた各種のエッジ判定を組み合わせて用いる場合には、単独のエッジ判定を行う場合とは量子化マトリクステーブルも異なる。

例えば、図１６は、図４〜図６を用いて説明した３種類のエッジ判定を組み合わせた場合に、フィルタ回路２に与えられる量子化マトリクステーブルであり、低域側で水平周波数成分と垂直周波数成分とが同じになるように設定されているが、図８の量子化マトリクステーブルよりもさらに領域が広くなっている。

これにより、水平エッジも垂直エッジもノイズとして除去されることがないフィルタ特性となる。

また、図１７は、図４および図６を用いて説明した２種類のエッジ判定を組み合わせた場合に、フィルタ回路２に与えられる量子化マトリクステーブルであり、図１１に示した量子化マトリクステーブルよりも、垂直周波数成分に有意な部分が多くなるように設定されている。

これにより、水平エッジだけでなくエッジ全般がノイズとして除去されることがないフィルタ特性となる。

また、図１８は、図５および図６を用いて説明した２種類のエッジ判定を組み合わせた場合に、フィルタ回路２に与えられる量子化マトリクステーブルであり、図１２に示した量子化マトリクステーブルよりも、水平周波数成分に有意な部分が多くなるように設定されている。

これにより、垂直エッジだけでなくエッジ全般がノイズとして除去されることがないフィルタ特性となる。

＜効果＞
以上説明したように、本発明に係る実施の形態においては、周波数解析部１３および孤立周波数解析部１４において、エッジ成分を検出し、エッジ成分が検出された場合にはエッジが除去されないように弱いフィルタをかけるので、フィルタ処理によりエッジ成分が除去されることを防止でき、画像上の有意な構成がノイズと共に除去されることを抑制できる。

また、エッジ成分が検出されない場合には強いフィルタをかけるので、ノイズを確実に除去することができる。

また、画像データを周波数分解して得られた周波数成分についてフィルタ処理を行うノイズフィルタを用いることで、画像上の有意な構成がノイズと共に除去されることを抑制したノイズ除去が可能となる。

＜他の適用例＞
以上説明した本発明に係る実施の形態においては、画像データとしてベイヤーデータを用いてノイズ判定を行う構成について説明したが、ＹＣｂＣｒデータやＹＵＶデータを用いてノイズ判定を行っても良い。

また、以上の説明では、周波数分解のためにＤＣＴを使用した例について示したが、ＦＦＴ（高速フーリエ変換）やウエーブレット変換などを使用してノイズ判定を行っても良い。

なお、以上説明したノイズ判定装置およびフィルタ回路が、コーデックと共に画像処理装置等に実装されている場合には、コーデックのＤＣＴ部および量子化部が共有できるので、より簡便な回路構成でエッジ成分の種類やノイズの有無を判定できるという効果がある。

なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。

２フィルタ回路
１２ＤＣＴ部
１３周波数解析部
１４孤立周波数解析部
１５フィルタ特性選択部

Claims

フレーム単位で与えられる画像データのノイズ判定するノイズ判定装置であって、
前記画像データを周波数分解し、得られた周波数成分について、周波数が比較的低い低周波成分および周波数が比較的高い高周波成分について、それぞれ所定数のデータをサンプリングし、低周波側データに対する高周波側データの比率に基づいて、エッジ画像が含まれるか否かを解析することを特徴とするノイズ判定装置。
前記ノイズ判定装置は、
１つのフレームの前記画像データを所定の画素数のマトリクスに分割してデータブロックとして周波数分解を行う周波数分解部と、
前記周波数分解部で得られた周波数成分について、前記データブロックの低周波成分側および高周波成分側のそれぞれで、所定数ずつの周波数成分をサンプリングして、前記低周波側データおよび前記高周波側データとし、前記低周波側データに対する前記高周波側データの比率に基づいて、エッジ画像が含まれるか否かを解析する周波数解析部と、
前記周波数解析部での解析結果に基づいて、ノイズを除去するフィルタのフィルタ特性を選択するフィルタ特性選択部と、を備える、請求項１記載のノイズ判定装置。
前記周波数解析部は、
前記低周波側データの水平周波数成分を垂直周波数成分よりも多くした第１サンプリング領域を設定し、
前記第１サンプリング領域で得られた前記低周波側データに対する前記高周波側データの比率が、予め定めた閾値以下である場合に、前記データブロックに水平エッジ画像が含まれるものと解析し、
前記フィルタ特性選択部は、前記水平エッジ画像が除去されないフィルタ特性を選択する、請求項２記載のノイズ判定装置。
前記周波数解析部は、
前記低周波側データの垂直周波数成分を水平周波数成分よりも多くした第２サンプリング領域を設定し、
前記第２サンプリング領域で得られた前記低周波側データに対する前記高周波側データの比率が、予め定めた閾値以下である場合に、前記データブロックに垂直エッジ画像が含まれるものと解析し、
前記フィルタ特性選択部は、前記垂直エッジ画像が除去されないフィルタ特性を選択する、請求項２記載のノイズ判定装置。
前記周波数解析部は、
前記低周波側データの垂直周波数成分と水平周波数成分とが同じ第３サンプリング領域を設定し、
前記第３サンプリング領域で得られた前記低周波側データに対する前記高周波側データの比率が、予め定めた閾値以下である場合に、前記データブロックにエッジ画像が含まれるものと解析し、
前記フィルタ特性選択部は、前記エッジ画像が除去されないフィルタ特性を選択する、請求項２記載のノイズ判定装置。
前記周波数分解部は、
離散コサイン変換により周波数分解を行い、
前記周波数解析部は、
前記周波数分解部での離散コサイン変換により得られた変換係数の交流成分を直流成分で割ることで前記交流成分の正規化を行い、正規化後の交流成分を前記低周波側データおよび前記高周波側データとする、請求項２記載のノイズ判定装置。
前記ノイズ判定装置は、
他の周波数成分から孤立している周波数成分を解析して孤立周波数の存在を確認する孤立周波数解析部をさらに備え、
前記孤立周波数解析部は、
前記孤立周波数の存在に基づいて、前記データブロックに、前記周波数解析部では解析できなかったエッジ画像が含まれるか否かを解析し、
前記フィルタ特性選択部は、前記周波数解析部では解析できなかったエッジ画像が含まれる場合に、前記エッジ画像が除去されないフィルタ特性を選択する、請求項２記載のノイズ判定装置。
前記周波数分解部は、
離散コサイン変換により周波数分解を行い、
前記孤立周波数解析部は、
前記周波数分解部での離散コサイン変換により得られた変換係数の交流成分を直流成分で割ることで前記交流成分の正規化を行い、
正規化された交流成分の全てについての平均値を算出し、
前記正規化された交流成分のそれぞれの周波数成分について、その周囲の周波数成分のうち前記平均値よりも大きな周波数成分の個数が、予め定めた第１閾値未満となる周波数成分の個数を算出し、算出された個数が予め定めた第２閾値未満であるか否かを判定し、前記第２閾値未満である場合に前記周波数解析部では解析できなかったエッジ画像が含まれるものと解析する、請求項７記載のノイズ判定装置。
前記画像データとしてベイヤーデータを使用する、請求項１記載のノイズ判定装置。
フレーム単位で与えられる画像データのノイズ判定するノイズ判定装置であって、
（ａ）前記画像データを周波数分解するステップと、
（ｂ）前記ステップ（ａ）で得られた周波数成分について、周波数が比較的低い低周波成分および周波数が比較的高い高周波成分について、それぞれ所定数のデータをサンプリングし、低周波側データに対する高周波側データの比率に基づいて、エッジ画像が含まれるか否かを解析するステップと、を備えることを特徴とするノイズ判定方法。
画像データを周波数分解して得られた周波数成分についてフィルタ処理を行う、ノイズフィルタ。