JP2005057553A - エッジ検出装置、雑音除去装置、エッジ検出方法、雑音除去方法及びプログラム - Google Patents

Abstract

【課題】エッジ検出専用の回路を別途設ける必要があり、回路規模が増大する。
【解決手段】画像信号を矩形単位で直交変換して得られる周波数成分Ｓ１から低域交流成分Ｓ２を検出する。エッジ成分は、周波数成分Ｓ１のうち低域交流成分Ｓ２に現れるため、低域交流成分Ｓ２の検出結果を基に対応する矩形単位の画像に現れるエッジ成分の有無と方向を検出する。これにより、回路規模を増大させることなく、画面のいずれの部分についても確実にエッジ成分を検出することができる。
【選択図】図１

Description

本発明は、ディジタル画像処理の技術分野に関する。より詳細には、画像のエッジ成分を検出するのに好適なエッジ検出装置に関する。また、同技術を実現するエッジ検出方法及びプログラムに関する。またこれら技術を適用した雑音（ノイズ）除去装置、雑音除去方法及びプログラムに関する。

エッジ検出技術は、画像のエッジ（輪郭）を抽出する場合のみならず、画像のエッジを強調して画質を向上させる場合にも用いられている。
しかし、エッジの強調の仕方によっては、ノイズも同時に強調されてしまう。このため、従来から各種の手法が試みられている。

例えば、本願出願人により特許文献１に示す手法が提案されている。この手法は、入力画像信号の２次微分値から強調信号を求めるもので、ノイズ検出回路で算出されたノイズ係数と積算することにより補正強調信号を得る。また、エッジ方向（輝度変化の方向と直交する方向）に平滑化すことで画質の向上る。
特開平８−１６３４０８号公報

しかし、従来提案されている各種の手法は、エッジ検出専用の回路を別途設ける必要があり、回路規模も増大する問題がある。また、従来提案されている各種の手法は、フレーム又はフィールドといった画面全体にわたって一律な制御しか行わないため、部分的にしか適した処理を行えない。

本発明は、以上の問題を考慮してなされたものであり、前述した問題の一つ以上を解決することを目的とする。

（ａ）エッジ検出装置
本発明の一態様であるエッジ検出装置を図１に示す。このエッジ検出装置は主に２つの機能部を有する。
機能部の一つは、画像信号Ｓ１を矩形単位で直交変換して得られる周波数成分から低域交流成分Ｓ２を検出する低域交流成分検出部１である。
もう一つの機能部は、低域交流成分Ｓ２から、対応する矩形単位の画像に現れるエッジ成分Ｓ３を検出するエッジ成分検出部２である。

ここで、画像信号Ｓ１は、例えばコンポジット映像信号、ＹＣ分離信号の各チャネル信号、コンポーネント信（Ｒ
Ｇ Ｂの３チャネル、Ｙ Ｒ−Ｙ Ｂ−Ｙの３チャネル）の各チャネル信号その他が考えられる。
またここで、矩形単位とは、全体画面（フィルード又はフレーム）を構成する部分画像を意味する。この矩形単位には、一般に、画面の縦方向への画素数‘ｍ（自然数）’と横方向への画素数‘ｎ（自然数）’を用いて表される。以下、ｍ×ｎサイズの画像ブロックとして表す。例えば、８×８サイズや４×８サイズが用いられる。

また直交変換には、画像を空間座標から周波数座標に変換する変換方式の一つを使用する。
ここでの直交変換には、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を始め、ウォルシュ・アダマール変換（ＷＨＭ：Walsh-Hadamar
Transform ）、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform ）、離散サイン変換（ＤＳＴ：Discrete Sine Transform ）、ハール変換、スラント変換、カルーネン／レーベ変換（ＫＬＴ：Karhunen-Loeve
transform）その他の直交変換を用い得る。

また低域交流成分は、直流成分の近傍付近に現れる交流成分である。ここで低域交流成分の値を検出するのは、画面上のエッジ成分のうち画質に影響を与える部分は、周波数座標上では低域交流成分として現れると考えられるからである。例えば、図２に示すように、横軸に水平方向の周波数成分を配列し、縦軸に垂直方向の周波数成分を配列した場合、エッジ成分は、例えば座標（０１）、（１１）、（１０）の値として現れる。

なお、水平方向の低域交流成分（座標（０１））には、垂直方向のエッジ成分が現れる。また、垂直方向の低域交流成分（座標（１０））には、水平方向のエッジ成分が現れる。また、水平・垂直方向の低域交流成分（座標１１）には、斜め方向のエッジ成分が現れる。
従って、これらの座標値を検出することでエッジの有無が分かると共に、どの座標位置にエッジが検出されたかによりエッジの方向も分かる。なお、ここでの基準値には、一般に経験や実験に応じて定めた適切な値が用いられる。

なお、検出対象とする低域交流成分の値は、必ずしも各方向に対して１個である必要はない。例えば、それぞれの方向で複数個を検出することも可能である。複数個を検出する場合には、これら複数個の値の加重値（単純加算を含む）をもって検出値としても良いし、それらの加重平均値（単純平均を含む）をもって検出値としても良い。またその他の処理手法を用いて検出値としても良い。いずれの手法を採用するかは、画質への影響を考慮して判断する。

また、検出対象とする低域交流成分の個数を決定する際には、矩形単位の形状に応じて画素数を定めることもできる。例えば、矩形単位が、縦方向及び横方向の画素数が同じ正方形状である場合には、いずれの方向に対しても同数としても良い。また例えば、矩形単位が、縦方向と横方向とで異なる長方形状である場合には、長辺方向に対しては短辺方向よりも多くの低域交流成分を検出対象とすることも可能である。
すなわち、検出しようとする方向に応じて異なる個数の低域交流成分を検出しても良い。このようにすることで、方向間の検出精度をほぼ同等とできる。

（ｂ）雑音除去装置
また、本発明の他の一態様である雑音除去装置を図３に示す。この雑音削除装置は主に３つの機能部を有する。このうち２つの機能部は、前述のエッジ検出装置と同様である。すなわち、低域交流成分検出部１とエッジ成分検出部２の２つの機能部を使用する。
他の機能部は、検出されたエッジ成分が含まれる方向の周波数成分に作用させる制御量Ｓ４を、それ以外の方向の周波数成分に作用させる制御量Ｓ４に比べ小さくなるように制御する制御部３である。

この制御部３は、エッジのある方向に生成する雑音打ち消し成分を、エッジのない方向に生成する雑音打ち消し成分に比して小さくするように機能する。すなわち、雑音除去装置では、最終的に入力である画像信号に雑音打ち消し成分を加算（又は減算）し、雑音を画像から取り除くのであるが、その際にエッジを含む方向の打ち消し量を相対的に小さくするように機能する。これは、雑音と同時にエッジ成分まで低減しないようにするためである。なお当該制御は矩形単位で行われる。

なお、雑音打ち消し成分による雑音の打ち消しは、直交変換により得られた周波数成分から直接取り除く方法と、雑音打ち消し成分を逆直交変換して得られる画像信号から取り除く方法のどちらを用いても良い。

なおここで、エッジ成分が検出された方向以外の周波数成分に作用させる制御量が、エッジ成分の検出された方向の周波数成分に対する基準制御量となる。ここで、被制御対象である周波数成分に対する作用素は、特定の信号レベルを有する周波数成分のみを通過させる関数である。当該関数はコアリング関数と呼ばれている。コアリング関数には周知のものを使用し得る。
なお、雑音が含まれないと判断される場合にはコアリング処理は行われないか、雑音打ち消し成分は実質上ゼロとなるように制御量が調整される。すなわち、雑音が含まれないと判断された場合には、雑音除去装置の出力として、入力画像信号がそのまま出力される。

ここでの制御量は、コアリング関数のパラメータを増減させて、コアリング関数を変形させるように作用する。例えば、コアリング関数の形状を振幅方向（縦方向）に増加又は減少させるように作用する。また例えば、コアリング関数の形状を横方向に変形させるように作用する。
制御量は、ルックアップテーブルを用いて与えても良いし、演算（例えば加算、減算）処理により与えても良い。なお制御量を決定する関数は、線形関数でも良いし、非線型（曲線）でも良い。

さらに本発明の一形態である雑音除去装置では、図４に示すように、以下の機能を更に有していても良い。当該機能は、制御量Ｓ４に応じて変形したコアリング関数を用いて、画像信号を矩形単位で直交変換して得られる周波数成分Ｓ１から雑音成分を抽出し、雑音打ち消し成分Ｓ５として出力する雑音検出部４である。ここでの検出はチャネル毎全てのチャネルについて実行しても良く、一部のチャネルについてのみ行っても良い。

さらに本発明の一形態である雑音除去装置では、図５に示すように、以下の２つの機能を更に有していても良い。
機能の一つは、コアリング関数に基づいて、画像信号を矩形単位で直交変換して得られる周波数成分Ｓ１から雑音成分Ｓ６を検出する雑音検出部４である。
もう一つの機能は、検出された雑音成分Ｓ６に制御量Ｓ４を作用させ、制御量に応じて変換された雑音成分を、雑音打ち消し成分Ｓ７として出力する打消成分生成部５である。

ただし、この雑音検出装置４の場合、コアリング関数の形状は固定である。この点が、コアリング関数の形状が制御される図４の雑音除去装置との違いである。打消成分生成部５は、入力される雑音成分Ｓ６の振幅を制御量Ｓ４に応じて増減するように機能する。例えば、乗算器で構成される。

（ｃ）その他
本発明は、前述した各エッジ検出装置及び雑音除去装置に限らず、これらに対応する処理方法やプログラムも考えられる。また本発明は、前述の形態に限らず、後述する発明の効果、最良な実施の形態、添付の特許請求の範囲及び図面から理解される範囲で各種の態様を含むものである。

本発明に係るエッジ検出装置によれば、矩形単位の直交変換で得られる交流成分から画像のエッジ成分を検出したことにより、画面のいずれの部分についても確実にエッジ成分を検出することができる。
また、このエッジ検出装置は、矩形単位で直交変換された周波数成分を用いてエッジ成分を検出するため、専用のエッジ検出回路を設ける必要がなく、従来に比して回路規模の小型化を実現できる。

また本発明に係る雑音除去装置によれば、矩形単位の直交変換で得られる交流成分から画像のエッジ成分を検出し、検出されたエッジ成分を含む方向の周波数成分に作用させる制御量を、それ以外の方向の周波数成分に作用させる制御量より小さくしたことにより、エッジを保存しながら雑音を抑圧することができる。これにより画質の向上を実現することができる。

また本発明に係る雑音除去装置によれば、矩形単位で直交変換された周波数成分を用いてエッジ成分を検出し、これを雑音打ち消し成分の発生に用いるため、専用のエッジ検出回路を設ける必要がなく、従来に比して回路規模の小型化を実現できる。

以下、雑音除去装置を例に、本発明の実施形態を説明する。なお、本明細書で特に図示又は記載されない特質は、当該技術分野において知られているものから選択されても良い。
以下の説明では、好適な実施の形態をハードウェアとして実現する場合について説明するが、かかるハードウェアと等価なコンピュータプログラムによっても実現できる。

本発明がコンピュータプログラムとして実現される場合、プログラムは、コンピュータ読取り可能な記憶媒体に記憶される。
この記憶媒体には、例えば、磁気ディスク（フレキシブルディスク又はハードディスク）又は磁気テープのような磁気記憶媒体、光ディスク、光テープ又はマシン読取り可能なバーコードのような光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又はリードオンリメモリ（ＲＯＭ）のような半導体記憶装置の他、コンピュータプログラムを記憶するために使用される他の物理装置又は媒体が含まれる。

また本発明がハードウェアで実現される場合、特定用途向け集積回路（ＡＳＩＣ）のような集積回路、又は当該技術分野において公知の他の手段として実現されてもよい。

（ａ）雑音除去装置の概念構成
雑音除去装置は、図６と図７の２種類に大別することができる。図６は、直交変換された入力から雑音成分を削除し、これを直交逆変換することで雑音除去を行う方式の雑音除去装置を表している。この方式の雑音除去装置は、換言すると、周波数座標平面上で雑音を除去する方式の装置ということができる。
図６の雑音除去装置は、直交変換回路１１と、雑音削除回路１２と、直交逆変換回路１３と、制御値検出回路１４とを有する。各回路の詳細は後述する。

一方、図７は、直交変換された入力から雑音成分を抽出し、これを直交逆変換した後、遅延しておいた入力信号から減ずることで雑音除去を行う方式の雑音除去装置を表している。
図７の雑音除去装置は、換言すると、空間座標平面上で雑音を除去する方式の装置ということができる。図７の雑音除去装置は、直交変換回路２１と、雑音抽出回路２２と、直交逆変換回路２３と、制御値検出回路２４と、遅延回路２５と、減算回路２６とを有する。各回路の詳細は後述する。

（ｂ）第１の実施形態例
まず、第１の実施形態例である図６の雑音除去装置について説明する。
（１）各部の構成

この実施形態の場合、直交変換回路１１に入力されるビデオ信号Ｓ１１は、例えば赤（Ｒ）緑（Ｇ）青（Ｂ）の３チャネル信号とする。この場合、雑音除去処理はチャネル毎に行われる。もっとも輝度信号を制御値の検出に用いるのであれば、ＲＧＢの３チャネルから別途輝度信号を合成する必要がある。
なお他の実施形態として、直交変換回路１１に入力されるビデオ信号Ｓ１１が輝度信号であってもかまわない。この場合、雑音除去処理は輝度信号に対して行われ、制御値検出も輝度信号に対して行われる。

直交変換回路１１には、例えばＤＣＴ（離散コサイン変換）回路を使用する。直交変換回路にはビデオ信号が入力され、その変換演算によって、ビデオ信号が時間軸の値から周波数軸の値に変換される。ＤＣＴ回路には、周波数軸への変換精度が高いという特徴がある。

直交変換回路１１は、ｍ×ｎサイズの画像ブロックを形成するためのラインメモリその他の記憶回路で構成される。ここでの直交変換は、ｍ×ｎサイズの画像ブロックに対して実行される。

なお、直交変換回路１１は、入力されたビデオ信号を時間軸の値から周波数軸の値へと変換して出力できれば良いため、他の変換方式を適用することもできる。例えば、アダマール変換回路やハール変換回路を用いても良い。これらの回路の場合、回路規模をＤＣＴ回路よりも小型化できる利点がある。

直交逆変換回路１３は、直交変換回路の逆変換演算を実行する回路である。従って、直交変換回路１１にＤＣＴ回路を用いるのであれば、逆ＤＣＴ回路が用いられる。同様に、直交変換回路１１にアダマール変換回路を用いるのであれば、逆アダマール変換回路が、ハール変換回路を用いるのであれば逆ハール変換回路が用いられる。この直交逆変換回路の場合も、ｍ×ｎサイズの画像ブロックを形成するためのラインメモリその他の記憶回路が用いられる。

以上のように、直交変換とその逆変換はｍ×ｎサイズの画像ブロックに対して実行される。ここで、直交逆変換回路１３は、雑音除去後のビデオ信号Ｓ１４として変換結果を出力する。雑音削除回路１２とその制御値検出回路１４は、図８に示す構成を有している。制御値検出回路１４には、直交変換により得られる周波数成分Ｓ１２が検出対象成分として入力される。

制御値検出回路１４は、例えば絶対値検出回路３１と、検出された絶対値を制御信号に変換する変換回路３２とによって実現される。
ここで、絶対値検出回路３１は、入力された各周波数成分から信号レベルの絶対値を検出する。絶対値検出回路３１は、周波数成分のうち直流成分からは輝度レベル又は各チャネル信号レベルを検出する。また、絶対値検出回路３１は、水平交流成分からは垂直に走るエッジ成分を検出し、垂直交流成分からは水平に走るエッジ成分を検出し、斜め方向の交流成分からは斜めに走るエッジ成分を検出する。

一方、制御値変換回路３２は、検出された信号レベル又はエッジ成分の値を、コアリング関数の形状を変形させる制御値へと変換する。例えば、図９に示すように負の傾きを持つ入出力関係に基づいて制御値に変換する。なお、図９は、輝度レベルを制御値に変換するのにも、検出されたエッジ成分を制御値に変換するのにも使用される。

図９の入出力関係は、画像ブロックの平均的な輝度レベルが小さい場合に雑音が目立ち易いという一般特性を反映させたものになっている。このため、図９の変換関数は、入力された周波数成分がそのまま雑音除去信号になるように負の傾きを与えている。

また、図９の入出力関係は、エッジ成分が小さいときは輝度レベルで定まる制御値で除去する一方、エッジ成分が大きいときはエッジ成分を残すため輝度レベルで定まる制御値よりも強度を低下させる関係をも表している。

従って、この実施形態においては、輝度レベル又は各チャネル信号レベルから定まる第１の制御値と、各方向のエッジ成分からの第２の制御値とを予め定めた比率で加算し、新たな制御値とする。因みに、ここでの比率は、経験や実験を参考に適当な値を使用する。なお、２つの制御値の調整方法は加算ではなく、乗算その他の演算によっても良い。

雑音削除回路１２は、周波数座標平面上で雑音を除去する回路である。例えば、画像信号の信号レベルが小さければ雑音とみなしてこれを削除し、逆に画像信号の信号レベルが大きければ雑音でないとみなし、これを保存するように作用する。雑音削除回路１２は、直交変換回路１１の出力である周波数成分Ｓ１２を制御対象成分として入力する。例えば、図８に示すように、雑音削減回路１２は、雑音検出回路３３と減算回路３４とで実現できる。

ここで、雑音検出回路３３は、例えば図１０に示すような形状のコアリング関数を用い、周波数成分から雑音成分を抽出する回路である。図１０に示す入出力特性のコアリング関数は、入力値が小さい間は入力値に比例した出力値が現れるが、やがて入力値の増加にかかわらず出力値が一定となり、さらに大きくなると出力値が低下する特性をもつ。この入出力特性に従い、信号レベルの小さい雑音成分のみが抽出される。

なお、雑音検出回路３３におけるこの入出力特性、すなわちコアリング関数の形状は、制御値Ｓ１５に応じて可変制御される。仮に、水平方向にエッジが検出された場合には（水平方向の低域交流成分の値が大きい場合には）、他の方向である垂直方向と斜め方向に対するコアリング関数の形状が大きくなるように制御される。
図１０の矢印は、この関係を表している。これにより、垂直方向と斜め方向についてより多くの成分が雑音成分（雑音打ち消し成分）として抽出されることになる。なお図示していないが、図示した矢印とは逆向きの方向にコアリング関数の形状を可変制御することもできる。この場合には、垂直方向と斜め方向について抽出される雑音成分をより低下させることができる。

勿論、エッジの検出された方向が検出されるのは水平方向には限らず、検出された方向に応じて、コアリング関数の形状の対応関係は入れ替わる。
なお、他方向の検出結果に応じてコアリング関数を変形する制御は、垂直方向及び斜め方向のうち、それぞれのエッジ量がゼロであった方向に限定しても良い。すなわち、自身についてエッジが検出されなかった場合に限り、他方向で検出されたエッジ量に応じてコアリング関数を大きくするように制御しても良い。

減算回路３４は、前述のように雑音検出回路３３で検出された雑音成分（雑音打ち消し成分）を、雑音検出前の周波数成分から減算する演算を実行する。かかる演算結果が、雑音打ち消し済みの周波数領域信号Ｓ１３として直交逆変換回路１３へと出力される。

（２）雑音除去動作
次に、第１の実施形態に係る雑音除去回路において実行される処理動作を説明する。この実施形態では、３チャネルのビデオ信号（Ｒ、Ｇ、Ｂ）Ｓ１１が、直交変換回路１１に入力される。直交変換回路１１では、ラインメモリを用いてビデオ信号がブロック化され、それぞれ周波数軸の値へと変換される。

直交変換は、ブロック単位で水平方向及び垂直方向のそれぞれについて行われ、その出力結果は２次元の周波数軸上の成分として与えられる。例えば、画像ブロックが縦に４画素、横に８画素（すなわち４×８サイズ）であるとすると、図２に示すように配列された各周波数成分Ｓ１２が得られる。

得られた各周波数成分には次のような傾向がある。雑音は複数の周波数成分に小さな値で分散して現れる。雑音以外は、低域や特定の周波数成分に集中して大きな値となって現れる。雑音削除回路１２では、この傾向を利用し、小さな値を雑音として扱い、これを削除する。この処理は、周波数成分ごと行われる。

制御値検出回路１４では、以下の処理動作が実行される。前述のように制御値検出回路１４には、ブロック単位でビデオ信号を直交変換して得られる各周波数成分Ｓ１２が入力される。
ここで、制御値の検出を輝度レベルで行う場合には、ＲＧＢの各チャネルの直流成分（図１１の（００）成分）から演算により輝度を生成し、制御値を求める。

ＲＧＢのチャネル毎に信号レベルで制御値検出を行う場合には、それぞれチャネル毎に直流成分（図２の（００）成分）から制御値を直接求める。なお、図１１の（００）に現れる直流成分はゼロ又は正の値である。

図６の雑音除去回路の場合、輝度信号に基づく制御であれば、高輝度レベルで雑音削除量を抑えるように制御し、逆に低輝度レベルでより多くの雑音を削除するように制御する。同様に、各チャネル（ＲＧＢ）の信号レベルに基づく制御であれば、高信号レベルで雑音削除量を抑えるように制御し、低信号レベルでより多くの雑音を削除するように制御する。

ただし、これとは反対に、高輝度レベル、高信号レベルでより強く雑音削除を行い、低輝度レベル、低信号レベルでは雑音削除を抑えるように制御する場合もある。かかる制御は、低輝度レベル等で雑音除去を行ったのでは十分な画質の改善が得られない場合に選択される。

本発明は、直交変換後の低域交流成分に基づいて制御値を決定するものであるが、輝度レベル又は各チャネルの信号レベルだけに基づいて制御値を決定することも可能である。この場合、制御対象は、図１１に斜線で示すように、（００）成分を除く全ての周波数成分（交流成分）となる。

さて本実施形態例の場合には、検出対象成分である（００）成分の絶対値が絶対値回路３１で求められる。制御値変換回路３２は、ビデオ信号の信号レベルが大きいほど抽出される雑音打ち消し成分が小さくなるように制御値の変換を行う。
図９の制御値変換は、高輝度レベル（高信号レベル）での雑音削除量を抑制するように働かせる場合のもので、グラフの傾きを負から正に変えることで、逆に低輝度レベル（低信号レベル）での雑音削除量を抑制するように働かせることもできる。

またこの実施形態における制御値検出回路１４は、交流成分からブロック内におけるエッジの存在も判定する。この場合にも、輝度信号のレベルで制御値検出を行うのであれば、以下で示す各周波数成分をＲＧＢの各チャネルから引き出して、周波数成分ごとに輝度信号を生成して検出に用いる。そうでなければ、ＲＧＢのチャネル毎に制御値検出を行う。

例えば、図１２に示すように、低域交流成分（（０１）、（０２）成分）それぞれの絶対値を加算し、これが大きければ、ブロック内に垂直に走るエッジが存在するものとして、水平方向成分に対する制御値を小さくする。
この際、雑音打ち消し成分の抽出を弱める対象となる周波数成分は（０１）〜（０７）とする。一方、制御値変換回路３２は、他の成分、例えば垂直方向成分に対する制御値は大きくなるように制御するなどして、エッジを保存しながら雑音を打ち消すように制御する。

具体的には、エッジが検出された水平方向の周波数成分に対しては、図１０に細線で示す側のコアリング関数が適用されるように制御値を設定する。一方、エッジの検出されなかった垂直方向と斜め方向に対しては、図１０に太線で示す側のコアリング関数が適用されるように制御値を設定する。

このことは、エッジが検出された水平方向について検出される雑音成分（雑音打ち消し成分）は、エッジが検出されなかった垂直方向や斜め方向について検出される雑音成分（雑音打ち消し成分）よりも小さくなることを意味している。この結果、減算回路３４で除去される信号成分が少なくなり、エッジ成分が保存されることに通じる。

同様に、例えば、図１３に示すように、低域交流成分（（１０）成分）の絶対値が大きければ、画像ブロック内に水平方向に伸びるエッジが存在するものとして、垂直方向成分に対する雑音打ち消し成分の抽出量を弱めるように制御する。
この際、抽出量が弱められる周波数成分は垂直方向の交流成分（（１０）〜（３０）成分）である。また同時に、他の成分、例えば水平方向成分に対する雑音打ち消し成分の抽出を強めるなどして、エッジを保存しながらも雑音は有効に削除できるように動作する。

また、斜め成分についても同様である。例えば、図１４に示すように斜め方向の低域交流成分（（１１）成分）の絶対値が大きければ、画像ブロック内に斜めに走るエッジが存在するものとして、斜め方向成分に対する雑音成分の抽出を弱めるように制御する。
この際、弱める対象となる周波数成分は斜め方向の交流成分（（１１）〜（１７），（２１）〜（２７），（３１）〜（３７））である。また同時に、他の成分、例えば水平方向と垂直方向については雑音打ち消し成分の抽出を強めるなどして、エッジの保存と雑音の除去を達成する。

（３）第１の実施形態の効果
本実施形態においては、直交変換のブロック単位で、輝度レベル又は各チャネル信号のレベルに応じて、低輝度レベル（低信号レベル）では雑音成分（雑音打ち消し成分）の抽出量を大きくし、高輝度レベル（高信号レベル）では雑音成分（雑音打ち消し成分）の抽出量を少なくなるように制御することにより、低輝度レベル（低信号レベル）で目立っていたノイズを抑圧し、さらに高輝度レベル（高信号レベル）でのエッジ保存が行われ、見た目のノイズ感が改善できるようになるとともに、画像のぼやけを改善できるようになった。

さらに、本実施形態においては、直交変換によって得られた直流成分を輝度レベル又は各チャネルの信号レベルとして雑音成分の制御信号に用いることにより、専用の輝度レベル又は各チャネル信号のレベル検出回路を設ける必要を無くすことができ、回路規模をより小さくすることができる。

また、本実施形態においては、直交変換のブロック単位で、その交流成分から画像のエッジ成分を抽出し、これを元に、エッジ成分を含む方向の成分に対する雑音成分の抽出を弱め、それ以外の方向の成分に対する雑音成分の抽出を強めることにより、エッジを保存しながら、ノイズを抑圧することができた。これにより、見た目のノイズ感を改善できるようになった。

また、本実施形態においては、直交変換によって得られた交流成分から画像のエッジ成分を抽出し、これを雑音削除に用いることにより、専用のエッジ検出回路を設ける必要をなくすことができ、回路規模をより小さくすることができるようになった。

また、本実施形態においては、直交変換のブロック単位で、輝度レベル又は各チャネルの信号レベルと、エッジ成分の情報（存在の有無及び存在する場合のエッジの方向）とを組み合わせて、雑音成分の抽出を制御するため、それぞれ単独で制御する場合に比して、見た目のノイズ感をより改善することができた。

（ｃ）第２の実施形態例
続いて、第２の実施形態例である図７の雑音除去装置について説明する。
（１）各部の構成
この実施形態は、検出された雑音成分（雑音打ち消し成分）の打ち消しを直交逆変換後に行うものである。

打ち消す位置が異なるものの、直交変換後の周波数成分から雑音成分（雑音打ち消し成分）を抽出する点では相違がないため、その構成要素の多くは第１の実施形態例と共通する。例えば、直交変換回路２１や制御値検出回路２４は、いずれも第１の実施形態例と同じである。

一方、第１の実施形態例との違いの一つは、雑音抽出回路２２が用いられる点である。この雑音抽出回路２２は、周波数座標平面上の雑音成分のみを抽出する回路である。例えば、入力信号が小さければ雑音とみなしこれを抽出し、逆に入力信号が大きければ雑音ではないとみなしこれを抽出しないように作用する。

この雑音抽出回路２２は、図１５に示すように、第１の実施形態例で説明した雑音検出回路３３で実現することができる。従って、雑音検出回路３３は、制御値Ｓ２５に基づいてコアリング関数の形状を変形すると共に、検出された雑音成分（雑音打ち消し成分）Ｓ２３を後段に出力する。

直交逆変換回路２３は、雑音成分を空間座標平面上に逆変換する回路として作用する。変換結果は、雑音打ち消し成分Ｓ２４として出力される。なお、この実施形態例では、遅延回路２５が使用される。遅延回路２５は、空間座標成分としての雑音打ち消し成分Ｓ２４が抽出されるまでの間、入力信号であるビデオ信号Ｓ２１を遅延するために使用される。
また、減算回路２６は、空間座標平面上の成分に変換された雑音打ち消し成分Ｓ２４を、遅延回路２５で遅延されたビデオ信号Ｓ２１から減算するために使用される。これにより、減算回路２６からは雑音成分が除去されたビデオ信号Ｓ２６が出力される。

（２）雑音除去動作
次に、第２の実施形態に係る雑音除去回路において実行される処理動作を説明する。この実施形態の場合も、３チャネルのビデオ信号（Ｒ、Ｇ、Ｂ）Ｓ２１が、直交変換回路２１に入力される。直交変換回路２１は、ラインメモリを用いてビデオ信号をブロック化し、それぞれ周波数軸の値へと変換する。

直交変換により得られた周波数成分Ｓ２２は、制御値検出回路２４と雑音抽出回路２２に入力される。制御値検出回路２４では、輝度信号に基づく制御であれば、高輝度レベルで雑音抽出量を抑えるように制御し、逆に低輝度レベルでより多くの雑音が抽出されるように制御する。
同様に、各チャネル（ＲＧＢ）の信号レベルに基づく制御であれば、高信号レベルで雑音抽出量を抑えるように制御し、低信号レベルでより多くの雑音を抽出するように制御する。勿論、この場合も制御関係を前述の逆とすることも可能である。

この実施形態の場合、検出対象成分である（００）成分の絶対値が絶対値回路３１で求められる。制御値変換回路３２は、ビデオ信号の信号レベルが大きいほど抽出される雑音打ち消し成分Ｓ２３が小さくなるように制御値の変換を行う。
図９の制御値変換は、高輝度レベル（高信号レベル）での雑音抽出量を抑制するように働かせる場合のものである。勿論、グラフの傾きを負から正に変えることで、逆に低輝度レベル（低信号レベル）での雑音削除量を抑制するように働かせることもできる。

この実施形態の御値検出回路２４の場合も、交流成分からブロック内におけるエッジの存在を判定する。この場合にも、輝度信号のレベルで制御値検出を行うのであれば、各周波数成分をＲＧＢの各チャネルから引き出して、周波数成分ごとに輝度信号を生成して検出に用いる。そうでなければ、ＲＧＢのチャネル毎に制御値検出を行う。

例えば、図１２に示すように、低域交流成分（（０１）、（０２）成分）それぞれの絶対値を加算し、これが大きければ、ブロック内に垂直に走るエッジが存在するものとして、水平方向成分に対する制御値を小さくする。
この際、雑音打ち消し成分の抽出を弱める対象となる周波数成分は（０１）〜（０７）とする。一方、制御値変換回路３２は、他の成分、例えば垂直方向成分に対する制御値は大きくなるように制御するなどして、エッジを保存しながら雑音を打ち消すように制御する。

具体的には、エッジが検出された水平方向の周波数成分に対しては、図１０に細線で示す側のコアリング関数が適用されるように制御値を設定する。一方、エッジの検出されなかった垂直方向と斜め方向に対しては、図１０に太線で示す側のコアリング関数が適用されるように制御値を設定する。

このことは、エッジが検出された水平方向について抽出される雑音成分（雑音打ち消し成分）は、エッジが検出されなかった垂直方向や斜め方向について抽出される雑音成分（雑音打ち消し成分）よりも小さくなることを意味している。この結果、減算回路３４で除去される信号成分が少なくなり、エッジ成分が保存されることに通じる。

同様に、例えば、図１３に示すように、低域交流成分（（１０）成分）の絶対値が大きければ、画像ブロック内に水平方向に伸びるエッジが存在するものとして、垂直方向成分に対する雑音打ち消し成分の抽出量を弱めるように制御する。
この際、抽出量が弱められる周波数成分は垂直方向の交流成分（（１０）〜（３０）成分）である。また同時に、他の成分、例えば水平方向成分に対する雑音打ち消し成分の抽出を強めるなどして、エッジを保存しながらも雑音は有効に削除できるように動作する。

また、斜め成分についても同様である。例えば、図１４に示すように斜め方向の低域交流成分（（１１）成分）の絶対値が大きければ、画像ブロック内に斜めに走るエッジが存在するものとして、斜め方向成分に対する雑音成分の抽出を弱めるように制御する。

この際、弱める対象となる周波数成分は斜め方向の交流成分（（１１）〜（１７），（２１）〜（２７），（３１）〜（３７））である。また同時に、他の成分、例えば水平方向と垂直方向については雑音打ち消し成分の抽出を強めるなどして、エッジの保存と雑音の除去を達成する。

かくして抽出された雑音打ち消し成分Ｓ２３は、直交逆変換回路２３で空間座標成分としての雑音打ち消し成分Ｓ２４に変換され、減算回路２６に与えられることになる。そして、遅延回路２５で遅延されていたビデオ信号Ｓ２１から雑音打ち消し成分Ｓ２４が減算され、雑音の削除が行われる。

（３）第２の実施形態の効果
この実施形態の場合にも第１の実施形態と同様の効果を実現できる。すなわち、直交変換のブロック単位で、輝度レベル又は各チャネル信号のレベルに応じて、低輝度レベル（低信号レベル）では雑音成分（雑音打ち消し成分）の抽出量を大きくし、高輝度レベル（高信号レベル）では雑音成分（雑音打ち消し成分）の抽出量を少なくなるように制御することにより、低輝度レベル（低信号レベル）で目立っていたノイズを抑圧し、さらに高輝度レベル（高信号レベル）でのエッジ保存が行われ、見た目のノイズ感が改善できるようになるとともに、画像のぼやけを改善できるようになった。

さらに本実施形態においては、直交変換によって得られた直流成分を輝度レベル又は各チャネルの信号レベルとして雑音成分の制御信号に用いることにより、専用の輝度レベル又は各チャネル信号のレベル検出回路を設ける必要を無くすことができ、回路規模をより小さくすることができる。

また本実施形態においては、直交変換のブロック単位で、その交流成分から画像のエッジ成分を抽出し、これを元に、エッジ成分を含む方向の成分に対する雑音成分の抽出を弱め、それ以外の方向の成分に対する雑音成分の抽出を強めることにより、エッジを保存しながら、ノイズを抑圧することができた。これにより、見た目のノイズ感を改善できるようになった。

また本実施形態においては、直交変換によって得られた交流成分から画像のエッジ成分を抽出し、これを雑音削除に用いることにより、専用のエッジ検出回路を設ける必要をなくすことができ、回路規模をより小さくすることができるようになった。

また本実施形態においては、直交変換のブロック単位で、輝度レベル又は各チャネルの信号レベルと、エッジ成分の情報（存在の有無及び存在する場合のエッジの方向）とを組み合わせて、雑音成分の抽出を制御するため、それぞれ単独で制御する場合に比して、見た目のノイズ感をより改善することができた。

（ｄ）他の実施形態
上述の２つの実施形態例においては、画像ブロックを４×８サイズとして説明したが、ブロックサイズはこれに限らない。また上述の実施形態においては、制御値の検出を、（００），（０１），（０２），（１０），（１１）の各成分について行ったが、検出対象の周波数成分は他の周波数成分を用いても良い。さらに、検出対象の周波数成分については、複数の成分間の演算結果を用いても良い。

また上述の実施形態においては、制御対象とする周波数成分を図１１〜図１４のように定めたが、制御対象とする範囲は他の周波数成分でも良い。例えば、エッジの検出された方向の一部の周波数成分に対してだけを制御対象としても良い。

また上述の実施形態においては、制御値によってコアリング関数の形状を直接制御する場合について説明したが、コアリング関数の形状については固定とし、抽出された雑音成分（雑音打ち消し成分）の増減を制御する方式としても良い。この場合の回路構成例を、図１６と図１７に示す。

図１６は、周波数成分から雑音成分を除去する方式（第１の実施形態例）の変形例である。一方、図１７は、直交逆変換後に雑音成分を除去する方式（第２の実施形態例）の変形例である。それぞれ、図８と図１５に対応する。前述の通り、図１６及び図１７の場合には、コアリング関数の形状を固定とするため、制御値変換回路３２から出力される制御値Ｓ１５、Ｓ２５はいずれも乗算器３５に与えられることになる点で前述の実施形態例と異なる。

制御値そのものは前述の実施形態と同様であるため、乗算器３５の出力は雑音検出回路３３で検出された雑音成分（雑音打ち消し成分）をエッジの方向に応じて増幅度又は減衰度を切り替えものとなる。例えば、水平方向にエッジが検出された場合には、水平方向の周波数成分についての増幅度を他の方向の周波数成分に対する増幅度よりも小さくする。このようにしても、エッジの保存と雑音の抑圧とを両立することができる。

本発明は、例えば撮像カメラ、ビデオテープレコーダ、ディスクレコーダその他の映像記録装置、ビデオプレーヤ、ディスクプレーヤその他の映像再生装置、プリンタ、テレビジョン受像器その他の映像出力装置（映像表示機能付きの携帯端末や情報端末を含む）、その他映像の入出力装置に適用し得る。

本発明に係るエッジ検出装置の形態例の一つを示す図である。 二次元周波数平面の説明に供する図である。 本発明に係る雑音除去装置の形態例の一つを示す図である。 本発明に係る雑音除去装置の更に好適な形態例の一つを示す図である。 本発明に係る雑音除去装置の更に好適な形態例の一つを示す図である。 雑音除去装置の第１の概略構成を示す図である。 雑音除去装置の第２の概略構成を示す図である。 図６の雑音除去装置の詳細な構成例を示す図である。 制御値変換特性の一例を示す図である。 エッジの有無に応じたコアリング関数の切り替え例を示す図である。 直流成分に基づく雑音検出とその制御範囲を示す概念図である。 水平方向のエッジ検出とその制御範囲を示す概念図である。 垂直方向のエッジ検出とその制御範囲を示す概念図である。 斜め方向のエッジ検出とその制御範囲を示す概念図である。 図７の雑音除去装置の詳細な構成例を示す図である。 図８の雑音除去装置の他の実施形態を示す図である。 図１５の雑音除去装置の他の実施形態を示す図である。

符号の説明

１ 低域交流成分検出部
２ エッジ成分検出部
３ 制御部
４ 雑音検出部
５ 打消成分生成部
１２ 雑音削除回路
１４、２４ 制御値検出回路
２２ 雑音抽出回路
３１ 絶対値回路
３２ 制御値変換回路
３３ 雑音検出回路

Claims (8)

1. 画像信号を矩形単位で直交変換して得られる周波数成分から低域交流成分を検出する手段と、
   前記低域交流成分から、対応する矩形単位の画像に現れるエッジ成分を検出する手段と
   を備えることを特徴とするエッジ検出装置。
2. 画像信号を矩形単位で直交変換して得られる周波数成分から低域交流成分を検出する手段と、
   前記低域交流成分から、対応する矩形単位の画像に現れるエッジ成分を検出する手段と、
   検出されたエッジ成分が含まれる方向の周波数成分に作用させる制御量を、それ以外の方向の周波数成分に作用させる制御量に比べ小さくなるように制御する手段と
   を備え、前記制御で得た雑音打ち消し成分により雑音を除去することを特徴とする雑音除去装置。
3. 請求項２に記載の雑音除去装置は、
   前記制御量に応じて変形したコアリング関数を用いて、画像信号を矩形単位で直交変換して得られる前記周波数成分から雑音成分を抽出し、雑音打ち消し成分として出力する手段
   を更に備えることを特徴とする雑音除去装置。
4. 請求項２に記載の雑音除去装置は、
   コアリング関数に基づいて、画像信号を矩形単位で直交変換して得られる前記周波数成分から雑音成分を検出する手段と、
   検出された前記雑音成分に前記制御量を作用させ、前記制御量に応じて変換された雑音成分を、雑音打ち消し成分として出力する手段と
   を更に備えることを特徴とする雑音除去装置。
5. 画像信号を矩形単位で直交変換して得られる周波数成分から低域交流成分を検出するステップと、
   前記低域交流成分から、対応する矩形単位の画像に現れるエッジ成分を検出するステップと
   を有することを特徴とするエッジ検出方法。
6. 画像信号を矩形単位で直交変換して得られる周波数成分から低域交流成分を検出するステップと、
   前記低域交流成分から、対応する矩形単位の画像に現れるエッジ成分を検出するステップと、
   検出されたエッジ成分が含まれる方向の周波数成分に作用させる制御量を、それ以外の方向の周波数成分に作用させる制御量に比べ小さくなるように制御するステップと、
   前記制御で得た雑音打ち消し成分により雑音を除去するステップと
   を有することを特徴とする雑音除去方法。
7. コンピュータに、
   画像信号を矩形単位で直交変換して得られる周波数成分から低域交流成分を検出する機能と、
   前記低域交流成分から、対応する矩形単位の画像に現れるエッジ成分を検出する機能と
   を実行させるためのプログラム。
8. コンピュータに、
   画像信号を矩形単位で直交変換して得られる周波数成分から低域交流成分を検出する機能と、
   前記低域交流成分から、対応する矩形単位の画像に現れるエッジ成分を検出する機能と、
   検出されたエッジ成分が含まれる方向の周波数成分に作用させる制御量を、それ以外の方向の周波数成分に作用させる制御量に比べ小さくなるように制御する機能と、
   前記制御で得た雑音打ち消し成分により雑音を除去させる機能と
   を実行させるためのプログラム。
   

Images