JP2001521681A - 画像に発生するブロック歪みを除去するための方法及び装置 - Google Patents

Abstract

(57)【要約】 伸張された画像データを後処理し、画像の鮮明度を損なうことなくブロック歪みを最小限にする方法及び装置。

Description

【発明の詳細な説明】 画像に発生するブロック歪みを除去するための方法及び装置 技術分野 本発明は、圧縮及び伸張が行われた後に画像に発生するブロック歪みを除去す るための方法及び装置に関する。特に、本発明は、ＭＰＥＧ、ＪＰＥＧ及びその 他のＤＣＴ変換ベースのフォーマットに基づいて圧縮された画像に発生するブロ ック歪みを除去する方法及び装置に関する。 背景技術 静止画像、動画像に関わらず、デジタル画像データを圧縮する必要性が非常に 高まってきている。その理由の１つとして、マルチメディアコンピュータ装置及 びソフトウェアが非常に普及してきたことが挙げられる。もう一つの理由として 、ステーションプログラミングのデジタル放送への切り替えが行われていること が挙げられる。後者の一例としては、例えばＤＳＳ^TMのような衛星放送がある。 番組の放送信号を送信するときに必要な帯域幅を最小限にしたり、特定の画像デ ータを記憶させるときに必要な記憶領域を最小限する目的で、圧縮技術が用いら れている。このように、画像データの送信や記憶は圧縮フォーマットによって行 われ、この画像データは表示される前に伸張される。広く利用されている圧縮ア ルゴリズムの例として、ＭＰＥＧ(Moving Picture Experts Group)及びＪＰＥＧ (Joint Picture Experts Group)規格の圧縮アルゴリズムがある。 ＭＰＥＧ及びＪＰＥＧ規格の圧縮処理を含め、多くの圧縮処理において変換符 号化が用いられている。変換符号化では、１つの画像は小さなブロックに分割さ れる。各ブロックは符号変換され、それぞれのブロックの係数は所定の量子化係 数ｑに基づいて量子化される。最も一般的な変換として、離散コサイン変換（以 下ＤＣＴ変換と言う）がある。 しかし、この処理には１つの欠点があり、ここではそれを「ブロック歪み」と して述べる。エンコードする前に画像をブロックに分割することにより、エンコ ード及びデコード工程において隣接するブロック間に不連続性（ブロック歪みと 呼ぶ）が発生する。このことにより、伸張され表示された画像の中の色又はグレ ースケールが不連続的に変化してしまい画像が連続的に変位しない画面になって しまう。 ブロック歪みを最小限にするために、前処理及び後処理の技術が使用されてい る。前処理では、画像データの出力源がブロック歪みを最小限にするために幾つ かの処理を行うように指示する。一方、後処理にも、伸張の後に修正が行われる ので理論的には前処理ほどではないのであるが問題点がある。例えば、最も簡単 な技術の１つとしてローパスフィルタを通して伸張された画像データを処理する 技術があるが、（この技術では）ブロック歪みは低減されるが表示された画像の 鮮明度が損なわれてしまうということである。 発明の開示 本発明係る後処理の方法及び回路は、伸張された画像データに対して行われ、 鮮明度を損なうことなく画像のブロック歪みを最小限にする。この画像データは 、最初にローパスフィルタを通して処理される。離散コサイン変換（ＤＣＴ変換 ）は、フィルタリングされた画像データ及び元の画像データに対して行われ、各 画像データは周波数領域に変換される。次に、フィルタリングされた画像データ は、ＤＣＴ変換の係数値を元の圧縮処理で用いられた量子化値によって指示され た範囲に制限することによって調整され、ブロック歪みを最小限にする。次に、 調整された画像データは元の画像データと結合され、結合された画像データは逆 離散コサイン変換（ＩＤＣＴ変換）によって処理されて空間領域に変換され、画 像を表示するための後続の処理が行われる。 図面の簡単な説明 本発明の目的、特徴及び利点は、以下の詳細な説明を参照することによって当 業者には明らかになる。以下の詳細において、 図１は、本発明の趣旨に従った装置の簡単なブロック図である。 図２Ａは、ブロック歪みを最小限にするための工程を示すフローチャートであ る。 図２Ｂは、ブロック歪みを最小限にする工程における１つのブロックの画像デ ータの流れを示すイメージ図である。 図３は、ＤＣＴ変換で処理された８×４ブロックの低域係数及び高域係数を示 す図である。 図４は、ブロック歪みを最小限にするための工程を行う回路を示 しす簡単なブロック図である。 発明を実施するための最良の形態 本発明は、離散コサイン変換を行った画像に発生するブロック歪みを最小限に するための簡単かつ効果的な装置及び方法を提供する。以下の説明の中で、本発 明の趣旨が完全に理解されるように数々の詳細事項について説明することにする 。一方、本発明を実施するにあたり、これから説明する詳細事項が当業者にとっ て必ずしも必要ではないということも明らかである。また、本発明を不必要に不 明瞭にすることがないように、一般的によく知られた電気構造及び電気回路をブ ロック図の形式で示す。 図１は、本発明の趣旨に従って動作する装置の簡単なブロック図である。送信 帯域幅を最小限にし、及び／又は画像データを記憶させるために必要な空間領域 を最小限するために、画像データはしばしば離散変換によって圧縮形式にフォー マットされる。よく利用されるフォーマットの例には、ＪＰＥＧ(Joint Picture Experts Group)や、ＭＰＥＧ(Moving Picture Experts Group)規格に基づいた フォーマットがある。図１に示すシステムは、受信／表示機１０及び表示装置４ ０を備える。受信／表示機１０の１例としては、ビデオＣＤプレーヤがある。ま た、別の例としては、ソニー株式会社製の衛星放送受信機がある。これ以外にも 、様々なタイプの受信機／プレーヤ装置／記憶装置／表示装置がある。 受信機１０は、圧縮された画像データを受信する。このような受信機として、 画像データを受信するように構成された様々なタイプ の受信機が利用できる。また、受信機としては、テレビジョン放送信号を受信す る受信機、或いは記憶装置（例えば、メモリ、ＶＣＲ、ＣＤ−ＲＯＭなど）に直 接接続され記憶装置から読み出された画像データを受信する受信機がある。また 、さらに説明を加えると、画像データは、ＭＰＥＧ規格と互換性のあるフォーマ ットで受信されるが、画像データを圧縮する離散変換を利用した他の種類の圧縮 フォーマットも利用できる。 画像データが受信されると、この画像データはデコーダ２０によってデコード （即ち伸張）され、エンコード及びデコード工程で発生したブロック歪みを除去 するためポストプロセッサ３０によって処理される。その後表示装置４０に表示 された処理後の画像データは、ブロック歪みが最小限に押さえられた画像である 。 低域での離散コサイン変換（ＤＣＴ変換）による係数の量子化はブロック歪み の大きな要因の１つである一方、高域でのＤＣＴ変換による係数の量子化はブロ ック歪みにほとんど影響しないことが確認されている。一方、高域でのＤＣＴ変 換による係数の量子化は、画像の鮮明度と大きな関わりがある。従って本発明で は、この特性を利用して、低域係数と高域係数に対してそれぞれ異なる処理を行 う。以下に説明する後処理の方法では、ブロック歪みを大いに低減させることが できるとともに、画像の鮮明度を維持することができる。 次に、ブロック歪みを除去するための後処理の方法について説明する。図２Ａ のフローチャート及び図２Ｂのイメージ図のステップ２００において、受信され た画像データはフィルタリングされてその高域成分が取り除かれ、ブロック歪み の大きな要因となる低域成 分の処理を行えるようにする。フィルタのカットオフ周波数は、ブロック歪みの 大部分が除去されるように選択される。例えば、本実施例では、鮮明度を犠牲に して７×７の中間フィルタが用いられている。中間フィルタの詳細に関しては、 例えば、アニルケージャイン著『デジタル画像処理の基礎』（プレンティス−ホ ール社刊）２４４頁−２４９頁に記載されている。 低域係数として識別された係数（例えば図２ＢのＡとＣ）の選択及び対応する 高域係数として識別された係数（例えば図２ＢのＢとＤ）の選択は、これまでの 最良の結果に従って経験に基づいて選択される。例えば、図３に示すように、８ ×４ブロック３６０は、低域係数３７０と高域係数３８０に分割されるのが望ま しい。 高域成分が取り除かれた後、ステップ２１０において、フィルタリングされた 画像データは空間領域から周波数領域へと変換される。同様に、高域成分と低域 成分の両方の成分を有する元の画像データも空間領域から周波数領域へと変換さ れる。ＤＣＴ変換は、画像データに適用されるもので、画像データを周波数領域 に変換する。すでによく知られた技術であるように（例えば、Ｋ．Ｒラオ著、『 Ｒ．Ｙ．Ｐ離散コサイン変換、アルゴリズム、その利点と適用』（１９９０年ア カデミックプレス刊）の１７３頁を参照のこと）、ＤＣＴ変換は、高域係数及び 低域係数を作成する。 ステップ２２０において、フィルタリングされ周波数領域に変換された画像デ ータの低域成分が調整されブロック歪みが除去される（図２ＢのＡ）。ブロック 歪みを除去するために低域係数を調整する際には様々な調整工程が適用されるこ とが考えられる。一方、本実施例においては、係数は１つの特定の量子化値に対 し可能な元の 値の範囲内になるように調整される。さらに、低域係数は以下の基準に基づいて 調整される。 X-q/2<=Y<=X+q/2であるとき、Yが調整された値となる。 Y>X+q/2であるとき、X+q/2が調整された値となる。さらに、 Y<X-q/2であるとき、X-q/2が調整された値となる。 このときXは量子化係数値であり、Yはフィルタリングされた画像データの中の１ 要素である係数値であり、qは周波数係数に関連しエンコード工程の量子化工程 の中で用いられる１つのステップのサイズである（それはまた、量子化値とも呼 ばれる）。このように、調整は、(X-q/2,X+q/2)の範囲に制限される。 フィルタリングされた画像データの低域係数が調整されると、フィルタリング され調整された画像データの低域係数と元の画像データの高域係数が結合されて １つの周波数係数のセットを形成する。これは、以下のように達成される。すな わち、ステップ２３０において、フィルタリングされ調整された画像データ及び 元の画像データを適当にフィルタリングし低域係数及び高域係数をそれぞれ分離 させ、フィルタリングされ調整された画像データの低域係数と元の画像の高域係 数から構成される結合画像データを生成する。次に、ステップ２４０において、 この結合画像データは変換され空間領域に戻される。空間領域に戻された画像は 、表示のための処理が施される。この結果表示される画像は、ブロック歪みが最 小であるとともに画像の鮮明度も保つ。 結合された画像データは、空間領域に変換された後ローパスフィルタを通して 処理される。このことは、画質を向上させ、元の画像データと調整された画像デ ータとを結合させる際に発生する高周波 数アーチファクト(artifact)を除去するように作用することがわかっている。フ ィルタのカットオフ周波数は非常に高域の周波数成分が除去されるよう選択され るとともに、鮮明度もできる限り保たれている。本実施例では、３×３の中間フ ィルタが用いられる。 図４は、典型的な後処理回路の簡単なブロック図である。後処理を行うにあた って、様々な方法が行われていることが明らかである。例えば、これらの工程を 実施する際には、上述の工程を行うソフトウェアを行う一般用の或いは専用のコ ンピュータ装置のいずれでも可能である。 図４に示すように、後処理回路は、遅延器４０５と、第１のＬＰＦ（ローパス フィルタ）４１０と、ＤＣＴ４１５と、ＤＣＴ４２０と、調整サブ回路４２５と 、ＩＤＣＴ４３０と、第２のＬＰＦ４３５とを備える。 第１のＬＰＦ４１０は、画像データから高域成分をフィルタリングするように 動作する。フィルタリングされた画像データ及び元の画像データが調整サブ回路 ４２５に入力されたとき、元の画像データとフィルタリングされた画像データが 同期を維持するように遅延器４０５が回路の中に配置されることが望ましい。従 って、遅延器４０５による遅延の長さは、画像データが第１のＬＰＦ４１０を通 して処理される際に要される時間にほぼ等しい。遅延器４０５から出力された元 の画像データと第１のＬＰＦ４１０から出力されたフィルタリングされた画像デ ータは、ＤＣＴ４１５及びＤＣＴ４２０に入力され、これらの画像データは空間 領域から周波数領域へと変換される。ＤＣＴ４１５及びＤＣＴ４２０は２つの別 個のブロックで示されているが、ＤＣＴ変換の機能性は単一のブロックに供給さ れることは明らかである。 変換された画像データは、フィルタリングされた画像データの低域係数を調整 する調整サブ回路４２５に入力され、ブロック歪みが除去され、調整された画像 データの低域係数と元の画像データの高域係数が結合され１セットの周波数係数 にされる。ＩＤＣＴ４３０は、結合された周波数係数を空間領域に変換する。次 に画像データはＬＰＦ４３５を通って処理され、調整された画像データと元の画 像データによって生じたアーチファクトを除去する。 本発明は、最適な実施例に基づいて説明をしてきた。以上の説明を参照すれば 、当業者にとってその他様々な具体例、修正、利用方法が可能であることは明ら かである。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，Ｓ Ｚ，ＵＧ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ， ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，Ｇ Ｅ，ＨＵ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ， ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，Ｐ Ｌ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ 【要約の続き】

Claims (1)

1. 【特許請求の範囲】 １．画像データで表示される画像の中のブロック歪みを最小限にする方法であっ て、 識別された第１の閾値上で画像データをフィルタリングして高域成分を取り除 き、フィルタリングされた画像データを生成するステップと、 上記画像データ及び上記フィルタリングされた画像データを空間領域から周波 数領域へと変換するステップと、 上記フィルタリングされ変換された低域係数を調整してブロック歪みを最小限 にするステップと、 上記変換された元の画像データの高域成分と上記フィルタリングされ変換され た画像データの低域成分を結合させて結合された周波数係数を生成するステップ と、 上記調整され結合された周波数係数を上記周波数領域から上記空間領域へと変 換するステップと、 を有することを特徴とするブロック歪みを最小限にする方法。 ２．さらに、上記変換され調整され結合された画像データをフィルタリングし、 識別された第２の閾値上の高域成分によって発生するアーチファクトを除去する ステップを有することを特徴とする請求の範囲第１項記載のブロック歪みを最小 限にする方法。 ３．上記識別された第２の閾値は、上記識別された上記第１の閾値よりも大きい ことを特徴とする請求の範囲第２項記載のブロック歪みを最小限にする方法。 ４．上記識別された第１の閾値は、上記画像の鮮明度を犠牲にして も上記ブロック歪みの大部分を除去するように選択されることを特徴とする請求 の範囲第１項記載のブロック歪みを最小限にする方法。 ５．上記識別された第２の閾値は、上記画像の鮮明度をできるだけ保つとともに 非常に高い高域成分のみを除去するように選択されることを特徴とする請求の範 囲第２項記載のブロック歪みを最小限にする方法。 ６．上記画像データとフィルタリングされた画像データを上記空間領域から上記 周波数領域へと変換する上記ステップは、ステップサイズｑを用いた量子化ステ ップによるエンコード及び離散コサイン変換（ＤＣＴ変換）を行うステップを有 することを特徴とする請求の範囲第１項記載のブロック歪みを最小限にする方法 。 ７．上記周波数領域から上記空間領域へと変換する上記ステップは、逆離散コサ イン変換（ＩＤＣＴ変換）を行うステップを有することを特徴とする請求の範囲 第６項記載のブロック歪みを最小限にする方法。 ８．上記調整するステップは、上記フィルタリングされ変換された画像データ（ Y）のＤＣＴ変換成分と上記変換された画像データ（X）のＤＣＴ変換成分を比較 するステップと、上記フィルタリングされ変換された画像データを下記の規則に 従って調整するステップとを有し、 X-q/2<=Y<=X+q/2であるとき、Yが調整された値となる、 Y>X+q/2であるとき、X+q/2が調整された値となる、さらに、 Y<X-q/2であるとき、X-q/2が調整された値となる、 上記規則において、qは上記エンコードするステップにおける量子 化ステップにおいて用いられるステップサイズであり、調整範囲は（X-q/２、X+ q/２）に制限されることを特徴とする請求の範囲第６項記載のブロック歪みを最 小限にする方法。 ９．画像データで表示される画像の中のブロック歪みを最小限にする回路であっ て、 画像データが入力されフィルタリングされたデータを出力する第１のローパス フィルタと、 上記フィルタリングされた画像データ及び画像データが入力され上記画像デー タ及び上記フィルタリングされた画像データをそれぞれ空間領域から周波数領域 に変換し空間領域への変換がステップサイズｑで量子化される空間領域の変換回 路と、 上記フィルタリングされた画像データと変換された画像データが入力され、上 記変換されフィルタリングされた画像データの上記低域係数を調整してブロック 歪みを最小限にし、上記変換された元の画像データの上記変換された高域係数と 上記変換されフィルタリングされた画像データの上記調整された低域係数を結合 して調整され結合された周波数係数を作成する調整サブ回路と、 上記調整され結合された周波数係数が入力され、調整され結合された周波数係 数を周波数領域から空間領域へと変換する周波数領域の変換回路と、 を備えるブロック歪みを最小限にする回路。 １０．さらに、変換され調整され結合された画像データが入力されフィルタリン グされたデータを出力する第２のローパスフィルタを備えることを特徴とする請 求の範囲第９項記載のブロック歪みを最小限にする回路。 １１．上記第２のローパスフィルタのカットオフ周波数が上記第１のローパスフ ィルタのカットオフ周波数よりも高いことを特徴とする請求の範囲第１０項記載 のブロック歪みを最小限にする回路。 １２．上記第１のローパスフィルタのカットオフ周波数は、上記画像の鮮明度を 犠牲にしても上記ブロック歪みの大部分を除去するように設定されることを特徴 とする請求の範囲第９項記載のブロック歪みを最小限にする回路。 １３．上記第２のローパスフィルタのカットオフ周波数は、上記画像の鮮明度を できるだけ保つとともに非常に高い高域成分のみを除去するように設定されるこ とを特徴とする請求の範囲第１０項記載のブロック歪みを最小限にする回路。 １４． 上記空間領域の変換回路が離散コサイン変換（ＤＣＴ変換）回路を備え ることを特徴とする請求の範囲第９項記載のブロック歪みを最小限にする回路。 １５．上記周波数領域の変換回路が逆離散コサイン変換（ＩＤＣＴ変換）回路を 備えることを特徴とする請求の範囲第９項記載のブロック歪みを最小限にする回 路。 １６．上記空間領域の変換回路は第１及び第２の離散コサイン変換（ＤＣＴ変換 ）サブ回路を有し、上記第１及び第２のＤＣＴ変換サブ回路はそれぞれ上記変換 された画像データ及びフィルタリングされた画像データが入力されることを特徴 とする請求の範囲第９項記載のブロック歪みを最小限にする回路。 １７．上記調整回路は、上記フィルタリングされ変換された画像データ（Y）の ＤＣＴ変換成分と上記変換された画像データ（X）のＤＣＴ変換成分を比較する 論理回路と、上記フィルタリングされ変換 された画像データを下記の規則に従って調整する論理回路とを備え、 X-q/2<=Y<=X+q/2であるとき、Yが調整された値となる、 Y>X+q/2であるとき、X+q/2が調整された値となる、さらに、 Y<X-q/2であるとき、X-q/2が調整された値となる、 上記規則において、qは上記エンコードするステップにおける量子化ステップ において用いられるステップサイズであり、調整範囲は（X-q/２、X+q/２）に制 限されることを特徴とする請求の範囲第１４項記載のブロック歪みを最小限にす る回路。