JP2005039837A - 映像雑音除去方法及び装置 - Google Patents

Abstract

【課題】映像の雑音除去方法及び装置を提供する。
【解決手段】（ａ）受信された元の信号を所定サイズのブロックに区分する段階と、（ｂ）前記区分した信号を、前記ブロックのピクセル数の範囲内で定められる所定のピクセル数だけ除去してブロックを再構成した信号を少なくとも１つ生成する段階と、（ｃ）前記元の信号と前記再構成した信号とをそれぞれ周波数領域に変換して周波数領域で雑音を除去する段階とを含む雑音除去方法。本発明は停止映像及び動画で雑音を効果的に除去できる効果がある。
【選択図】図３

Description

本発明は映像の雑音除去に係り、具体的には、通信チャンネルを通じて受信された停止映像または動画信号をブロック単位に再構成し、周波数領域に変換して雑音を除去する方法及び装置に関する。

一般的に、動画または停止映像が通信チャンネルを通じて伝送される際に、チャンネルに雑音が混ざって、受信端で受信された映像が歪曲される現象が発生する。雑音で歪曲された映像をディスプレイ装置にディスプレイすれば目に触るだけでなく、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）などの色々な動画圧縮標準によって圧縮して保存する時にも雑音の影響で圧縮効率が落ちる問題点がある。
したがって、動画及び停止映像の雑音を除去するための研究が活発に行われている。従来使われている雑音除去方式には、空間領域での雑音除去方式と時間領域での雑音除去方式とがある。

図１は、一般的な動画符号化を行う符号化器のブロック図である。
ＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄｅｍａｎｄ）サービスや動画通信を行うために、符号化器は所定の圧縮技術により符号化されたビットストリームを生成する。
まず、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部１１０は、空間的相関性を除去するために８×８画素ブロック単位に入力される映像データに対してＤＣＴ演算を行い、量子化部（Ｑｕａｎｔｉｚａｔｉｏｎ：Ｑ、１２０）は、ＤＣＴ部１１０で得られたＤＣＴ係数に対して量子化を行い、いくつかの代表値で表現することによって、高効率損失圧縮を行う。

逆量子化部（Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｚａｔｉｏｎ：ＩＱ、１３０）は、量子化部１２０で量子化された映像データを逆量子化する。ＩＤＣＴ部１４０は、逆量子化部１３０で逆量子化された映像データに対してＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換を行う。フレームメモリ部１５０は、ＩＤＣＴ部１４０でＩＤＣＴ変換された映像データをフレーム単位で保存する。動き推定及び補償部（Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ａｎｄ Ｃｏｍｐｅｎｓａｔｉｏｎ：ＭＥ／ＭＣ、１６０）は、入力される現在フレームの映像データとフレームメモリ部１５０に保存された以前フレームの映像データとを利用して、マクロブロック当たりの動きベクトル（ＭＶ）とブロック整合誤差とに該当するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を推定する。
可変長さ符号化部（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ：ＶＬＣ、１７０）は、動き推定部１６０で推定されたＭＶによってＤＣＴ及び量子化処理されたデータで統計的重複性を除去する。

図２は、従来の雑音除去方式を使用した動画符号器のブロック図である。
図２に示された動画符号化器は、図１に示された一般的な符号器２２０に前処理器２１０が付加された構成を有する。前処理器２１０は、従来の雑音除去方式を利用して入力映像から雑音を除去して、雑音が除去された映像を動画符号化器２２０に入力する。

前処理器２１０で使われる雑音除去方式には、空間領域雑音除去方式と時間領域雑音除去方式とがあり、この２つの雑音除去方式を結合した空間−時間領域雑音除去方式がある。図１及び図２を参照して分かるように、従来の雑音除去装置は、殆ど動画符号化器の前段階に位置して前処理として動作して符号化する前にあらかじめ雑音を除去するか、動画復号化器の後段階に位置して後処理器として動作して復号化した後で雑音を除去する。

前処理器または後処理器で行われる雑音除去方法は、空間領域での空間フィルタリングを通じて雑音を除去する方法と、時間軸上の選別的低域通過フィルタリングを通じて雑音を除去する方法とがある。しかし、空間領域での雑音除去方法は雑音を除去するためにフィルタリングを多くすれば、映像の境界部分などが崩れるぼかし現象がよく発生し、時間領域での雑音除去方法は残像現象が発生しうる問題点がある。

本発明が解決しようする技術的課題は、雑音によって歪曲された動画や停止映像のデータを周波数領域に変換して、周波数領域で効果的に雑音を除去する方法及び装置を提供するところにある。

前記の課題を解決するために本発明による雑音除去方法は、（ａ）受信された元の信号を所定サイズのブロックに区分する段階と、（ｂ）前記区分した信号を、前記ブロックのピクセル数の範囲内で定められる所定のピクセル数だけ前部のピクセルを除去して、ブロックを再構成した信号を少なくとも１つ生成する段階と、（ｃ）前記元の信号と前記再構成した信号とをそれぞれ周波数領域に変換して周波数領域で雑音を除去する段階とを含む。
前記元の信号は、動画信号または停止映像信号であることが望ましい。

前記（ｂ）段階は、前記区分した信号の最も前部から前記ブロックのピクセル数の範囲内で一ピクセルずつを順に除去しながらブロックを再構成した信号を前記ブロックのピクセル数−１だけ生成することが望ましい。
前記（ｂ）段階は、前記区分した信号の最も前部から前記ブロックのピクセル数の１／２を除去してブロックを再構成した信号を生成することが望ましい。
前記（ｃ）段階は、（ｃ１）前記元の信号と前記再構成した信号とに対してそれぞれ所定の周波数変換を行う段階と、（ｃ２）前記周波数変換された信号に対して雑音を除去する段階と、（ｃ３）前記雑音が除去された信号に対して周波数逆変換を行う段階と、（ｃ４）前記逆変換された信号を平均して出力する段階とを含むことが望ましい。

前記の課題を解決するために本発明による雑音除去装置は、受信された元の信号を所定サイズのブロックに区分して、前記区分した信号を、前記ブロックのピクセル数の範囲内で定められる所定のピクセル数だけ前部のピクセルを除去して、ブロックを再構成した信号を生成するデータ分離部と、前記再構成した信号それぞれに対して周波数変換を行う周波数変換部と、前記周波数変換された信号に対して雑音を除去する雑音除去部と、前記雑音除去された信号に対して周波数逆変換を行う周波数逆変換部と、前記逆変換された信号の平均値を計算する平均値計算部とを含む。

前記雑音除去装置は、前記受信された元の信号の雑音強さを予測して、予測した情報を前記雑音除去部に伝達する雑音強さ予測部をさらに含むことが望ましい。
前記データ分離部は、前記区分した信号の最も前部から前記ブロックのピクセル数の範囲内で一ピクセルずつを順に除去しながらブロックを再構成した信号を前記ブロックのピクセル数−１だけ生成することが望ましい。

前記データ分離部は、前記区分した信号の一番前部から前記ブロックのピクセル数の１／２を除去してブロックを再構成した信号を生成することが望ましい。
前記周波数変換は、ユニタリー変換であることが望ましい。
前記した課題を解決するために本発明では、前記方法をコンピュータで実行させるためのプログラムを書き込むコンピュータで読取られる書込み媒体を提供する。

本発明の雑音除去方法及び装置は元の信号をブロックに区分し、所定数のピクセルを前記ブロックのピクセル数の範囲内から除去してブロックを再構成した信号をそれぞれ周波数領域に変換して雑音を除去することによって、停止映像及び動画から雑音を効果的に除去できる効果がある。

以下、添付された図面を参照して本発明による望ましい一実施形態を詳細に説明する。
図３は、本発明の雑音除去装置のブロック図である。
雑音除去装置は、雑音強さ予測部３１０、データ分離部３２０、周波数変換部３３０、雑音除去部３４０、周波数逆変換部３５０及び平均値計算部３６０を具備する。そして、周波数変換部３３０は、入力信号のブロック数だけの変換部、すなわち第１変換部３３０−１ないし第Ｎ変換部３３０−ｎを具備し、雑音除去部３４０も入力信号のブロック数だけ雑音除去部、すなわち第１雑音除去部３４０−１ないし第Ｎ雑音除去部３４０−ｎを具備する。また、周波数逆変換部３５０も、入力信号のブロック数だけの逆変換部、すなわち第１逆変換部３５０−１ないし第Ｎ逆変換部３５０−ｎを具備する。

雑音強さ予測部３１０は、入力信号の雑音の強さを予測する。雑音強さ予測部３１０は本発明の雑音除去装置の必須構成要素ではないが、雑音除去の効率を高めるのに必要である。
データ分割部３２０は、雑音が含まれた映像信号をＬ個のピクセル単位でＮ個のブロックに区分し、最初の一ピクセルを除去しながらブロックを新しく構成した信号を、Ｌ−１個のピクセルを除去するまで行って全てＬ−１個の信号を作る。Ｌ−１個の信号を作ることは、図４を参照して後述する。このように作られたＬ−１個の信号を周波数変換部３３０に送る。周波数変換部３３０はブロック別に作られた信号に対してＤＣＴのようなユニタリー変換を行って周波数領域の信号に変換する。このようなユニタリー変換の例としては、ＤＣＴの他にも、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＷＴ（Ｄｉｓｃｒｅｔｅ Ｗａｌｓｈ Ｔｒａｎｓｆｏｒｍ）、ＤＨＴ（Ｄｉｓｃｒｅｔｅ Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍ）、Ｈａａｒ ｔｒａｎｓｆｏｒｍ、Ｓｌａｎｔ ｔｒａｎｓｆｏｒｍ、ＫＬ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）ｔｒａｎｓｆｏｒｍなどがある。
雑音除去部３４０は、このように周波数変換された信号に対して、周波数領域で周波数変換行列、例えばＤＣＴ係数行列間の内積計算を通じて雑音を除去し、周波数逆変換部３５０に送る。

周波数領域でフィルタ係数行列間の内積を通じて雑音を除去する時に使われるフィルタ係数行列値は、雑音強さ予測部３１０から入力された雑音強さによって決定される。例えば、雑音除去時に使われる方法でＤＣＴ基盤のウィナフィルタリングが挙げられるが、雑音強さ予測部３１０からの雑音強さ情報によって、ウィナフィルタ係数行列値が決定される。しかし、ＤＣＴを含むユニタリー変換の場合に、周波数領域での行列間の簡単な内積のみでウィナフィルタリングが可能である。したがって、本発明での周波数変換は、ＤＣＴを含むあらゆるユニタリー変換となりうる。周波数逆変換部３５０は、周波数変換部３３０で行われた変換の逆変換を行い、それぞれの逆変換信号を平均値計算部３６０に送れば、平均値計算部３６０はこれらの値を平均して出力する。

図４は、受信された映像信号をブロック別に区分し、最初のブロックのピクセルデータを１つずつ順次に除去してブロックを新しく構成したＬ−１個の信号を作ることを説明する図面である。
２次元映像については、図３及び図４を参照して説明した１次元処理方法を垂直方向と水平方向とにそれぞれ適用すればよいので、本発明は、説明の便宜のために１次元の信号を仮定して説明する。
本発明の雑音除去方法では、周波数領域への変換を行う前に図４に示されたように、１次元入力信号を再構成する。そして、周波数領域に変換して雑音をそれぞれ除去した後で、その結果を平均して出力する。

図４を参照してＬ−１個の信号を生成することを説明する。まず、Ｍ個の画素で構成された元の信号４１０は、Ｌ個のピクセルを有するブロックに区分する。このようにして総Ｎ（＝Ｍ／Ｌ）個のブロックが存在すると仮定する。それにより、ブロックに区分された元の信号４１０で最初の一ピクセルを除去し、その時点でＬ個のピクセルをカウントしてブロックを新しく構成した第１信号４２０が作られる。このように作られた第１信号４２０は、元の信号４１０で最初の１ピクセルと最後のブロックであるＬ−１個のピクセルとで構成されたブロックは無視する。したがって、総Ｎ−１個のＬピクセルサイズを有するブロックが生成される。同じ方法で、元の信号４１０で２ピクセルを除去し、その時点でＬ個のピクセルをカウントしてブロックを新しく構成した第２信号４３０が作られる。第２信号４３０は、ブロック別に区分された元の信号４１０で最初の２つのピクセルと最後のＬ−２個のピクセルとは含まれていない。このような方法で、元の信号４１０に対して１つのピクセルずつを除去しながら総Ｌ−１個の信号が作られる。

このように生成されたＬ−１個の信号を、それぞれ周波数領域に変換してフィルタリングを通じて雑音除去を行う。Ｌ−１個の全ての信号を利用することもできるが、演算量を考慮して、Ｌ−１個の全ての信号に対して雑音除去を行わず、一部の信号に対してのみ雑音除去が行える。一例として、ブロック単位に分割した元の信号と最初のＬ／２ピクセルを除去して、ブロックを新しく構成した信号の２つのみを使用して、周波数領域変換、雑音除去、周波数逆変換及び平均値の計算が行える。

もし、２次元映像である場合には、前述したような１次元信号の再構成方法を垂直方向及び水平方向に独立的に行って２次元雑音除去が行える。または、最初から入力信号を２次元領域に分け、周波数変換も２次元変換を行う場合もある。この場合、データ分離部４２０は、入力映像を最大ＬｘＬ個の映像に分割し、これらに対してそれぞれ雑音除去して逆変換した信号が平均できる。２次元の信号では、演算量が多いために、幾つかの再構成信号に対してのみ行えば、演算量が減らせる。

図５は、本発明の映像雑音除去方法のフローチャートである。
受信された元の信号、例えば停止映像または動画信号を所定サイズのブロックに区分する（Ｓ５１０）。そして、前記区分した信号を、最初のブロックのピクセル数の範囲内で定められる所定のピクセル数だけ除去して、ブロックを再構成した信号を少なくとも１つ生成する（Ｓ５２０）。ブロックのピクセル数をＬとする時、前記ブロックのピクセル数の範囲内で一ピクセルずつを順に除去しながらブロックを再構成した信号をＬ−１個生成でき、最初のピクセルＬ／２を除去してブロックを再構成した信号を１個生成する場合もある。

このように作られた元の信号と前記再構成した信号とをそれぞれ周波数領域に変換して周波数領域で雑音を除去する（Ｓ５３０）。前記Ｓ５３０段階を詳細に説明すれば、前記元の信号と前記再構成した映像信号とに対して、それぞれ所定の周波数変換を行う段階、前記周波数変換された信号に対して雑音を除去する段階、前記雑音が除去された信号に対して周波数逆変換を行う段階及び前記逆変換された信号を平均して出力する段階を含むことが分かる。

また、本発明は、コンピュータで読取られる書込み媒体にコンピュータが読取れるコードとして具現可能である。コンピュータが読取られる書込み媒体は、コンピュータシステムによって読み取れるデータが保存される全種の記録装置を含む。コンピュータが読取れる書込み媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ貯蔵装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）の形態に具現されることも含む。また、コンピュータが読取れる書込み媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータが読取れるコードが保存されて実行されうる。

これまで本発明について、その望ましい実施形態を中心として説明した。本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現できることが理解できる。それにより、開示された実施形態は、限定的な観点でなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明でなくして特許請求の範囲に現れており、それと同等な範囲内のあらゆる差異点は、本発明に含まれたものと解釈されねばならない。

本発明は、映像の圧縮符号化分野に利用でき、より具体的には映像の符号化過程で発生しうる雑音成分を周波数領域で効果的に除去するのに利用されうる。

一般的な動画符号化を行う符号化器のブロック図である。 従来の雑音除去方式を使用した動画符号器のブロック図である。 本発明の雑音除去装置のブロック図である。 受信された映像信号をブロック別に区分して最初のブロックのピクセルデータを１つずつ順次に除去してブロックを新しく構成したＬ−１個の信号を作ることを説明する図面である。 本発明の映像雑音除去方法のフローチャートである。

符号の説明

３１０…雑音強さ予測部
３２０…データ分離部
３３０…周波数変換部
３３０−１…第１変換部
３３０−２…第２変換部
３３０−ｎ…第Ｎ変換部
３４０…雑音除去部
３４０−１…第１雑音除去部
３４０−２…第２雑音除去部
３４０−ｎ…第Ｎ雑音除去部
３５０…周波数逆変換部
３５０ａ…第１逆変換部
３５０ｂ…第２逆変換部
３５０ｎ…第Ｎ逆変換部
３６０…平均値計算部

Claims (15)

1. （ａ）受信された元の信号を相互同じサイズのピクセル数を有する所定サイズのブロックに区分する段階と、
   （ｂ）前記区分した信号を、前記ブロックのピクセル数の範囲内で定められる所定のピクセル数だけ前部のピクセルを除去して、ブロックを再構成した信号を少なくとも１つ生成する段階と、
   （ｃ）前記元の信号と前記再構成した信号とをそれぞれ周波数領域に変換して周波数領域で雑音を除去する段階と
   を含むことを特徴とする雑音除去方法。
2. 前記元の信号は、動画信号または停止映像信号であることを特徴とする請求項１に記載の雑音除去方法。
3. 前記（ｂ）段階は、
   Ｌを前記ブロックに含まれたピクセル数とし、Ｎをブロック数とすれば、前記区分した信号の前部から前記ブロックのピクセル数の範囲内で一ピクセルずつを順に除去しながら再構成した、Ｎ−１ブロックを有したＬ−１個の再構成信号を生成する段階であることを特徴とする請求項１に記載の雑音除去方法。
4. 前記（ｂ）段階は、
   前記区分した信号の一番前部から前記ブロックのピクセル数の１／２を除去して、ブロックを再構成した信号を生成する段階であることを特徴とする請求項１に記載の雑音除去方法。
5. 前記（ｃ）段階は、
   （ｃ１）前記元の信号と前記再構成した信号とに対してそれぞれ所定の周波数変換を行う段階と、
   （ｃ２）前記周波数変換された信号に対して雑音を除去する段階と、
   （ｃ３）前記雑音が除去された信号に対して周波数逆変換を行う段階と、
   （ｃ４）前記逆変換された信号を平均して出力する段階と
   を含むことを特徴とする請求項１に記載の雑音除去方法。
6. 前記周波数変換は、ユニタリー変換であることを特徴とする請求項５に記載の雑音除去方法。
7. 前記（ｃ２）段階は、
   前記周波数変換された信号の変換係数行列間の内積を計算して雑音を除去することを特徴とする請求項５に記載の雑音除去方法。
8. 前記（ｃ２）段階は、
   ＤＣＴ（ディスクリートコサイン変換）に基づいてウィナフィルタリング方法を使用して雑音を除去することを特徴とする請求項５に記載の雑音除去方法。
9. 受信された元の信号を相互同じピクセル数を有する所定サイズのブロックに区分し、前記区分した信号を、前記ブロックのピクセル数の範囲内で定められる所定のピクセル数だけ前部のピクセルを除去して、ブロックを再構成した信号を生成するデータ分離部と、
   前記再構成した信号それぞれに対して周波数変換を行う周波数変換部と、
   前記周波数変換された信号に対して雑音を除去する雑音除去部と、
   前記雑音除去された信号に対して周波数逆変換を行う周波数逆変換部と、
   前記逆変換された信号の平均値を計算する平均値計算部と
   を含むことを特徴とする雑音除去装置。
10. 前記受信された元の信号の雑音強さを予測し、予測した情報を前記雑音除去部に伝達する雑音強さ予測部をさらに含むことを特徴とする請求項９に記載の雑音除去装置。
11. 前記データ分離部は、
    Ｌを前記ブロックに含まれたピクセル数とし、Ｎをブロック数とすれば、前記区分した信号の一番前部から前記ブロックのピクセル数の範囲内で一ピクセルずつを順に除去しながら再構成した、Ｎ−１ブロックを有したＬ−１個の再構成信号を生成することを特徴とする請求項９に記載の雑音除去装置。
12. 前記データ分離部は、
    前記区分した信号の一番前部から前記ブロックのピクセル数の１／２を除去して、ブロックを再構成した信号を生成することを特徴とする請求項９に記載の雑音除去装置。
13. 前記周波数変換は、ユニタリー変換であることを特徴とする請求項９に記載の雑音除去装置。
14. 前記雑音除去部は、前記周波数変換された信号の変換係数行列間の内積を計算して雑音を除去することを特徴とする請求項９に記載の雑音除去装置。
15. 請求項１ないし請求項８のうち何れか１項に記載の方法をコンピュータで実行させるためのプログラムを書き込んだコンピュータで読取られる書込み媒体。
    
    

Images