JP2010528555A - ビデオ信号の処理方法および装置 - Google Patents

Abstract

ビデオ信号を受信するステップと、該ビデオ信号から離散コサイン変換情報を抽出するステップと、該離散コサイン変換情報を用いて逆離散コサイン変換を行うステップと、を含み、離散コサイン変換情報は、離散コサイン変換においてブロックの再配列モードを示すことを特徴とするビデオ信号処理方法を開示する。
本発明のビデオ信号処理方法によると、離散コサイン変換前に予測モードを考慮してビデオ信号のブロックを再配列することによって離散コサイン変換の効率を改善し、行または列をシフトさせた離散コサイン変換係数行列およびこれに関するシフト情報をデコーディング時に利用し、解像度減少更新（ＲＲＵ）方式を離散コサイン変換／逆離散コサイン変換ドメイン上で直接行うことによって、コーディング効率を上げ、演算の複雑さを減少させることができる。
【選択図】図９Ｂ

Description

本発明は、ビデオ信号の処理方法および装置に係り、より詳細には、ビデオ信号をエンコーディングしたりデコーディングしたりするビデオ信号処理方法および装置に関する。

圧縮符号化とは、デジタル化した情報を通信回線を通じて伝送したり、記憶媒体に好適な形態で記憶したりするための一連の信号処理技術のことを意味する。圧縮符号化の対象には音声、映像、文字などがあり、特に、映像を対象に圧縮符号化を行う技術をビデオ映像圧縮という。ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性を有するという点である。

ところが、上記の空間的冗長性および時間的冗長性を十分に除去しないと、ビデオ信号の符号化において圧縮率が低くなり、空間的冗長性および時間的冗長性を除去しすぎると、ビデオ信号のデコーディングにおいて必要な情報を生成できず、復元率が悪くなるという問題点があった。

したがって、本発明は、当分野における制限や欠点に起因する一つまたは複数の問題を実質的に防止するビデオ信号処理する装置およびその方法を対象とする。

本発明の目的は、上記の問題点を解決するために、ブロックを再配列して離散コサイン変換を行うことによって圧縮効率を増加させるビデオ信号処理方法および装置を提供することである。

また、本発明の他の目的は、離散コサイン変換において変換係数行列の行または列をシフトすることによってコーディング効率を改善するビデオ信号処理方法および装置を提供することである。

本発明の他の特徴および利点は、以下の記載で述べるが、その一部については、明細書の記載から明らかになるであろうし、あるいは、本発明の実施によって分かるであろう。本発明の目的および他の利点は、明細書および特許請求の範囲の書面ならびに添付図面で特に示された構成によって、実現され達成されるであろう。

上記の目的に従って上記および他の利点を達成するために、実施され広範に説明されるように、本発明によるビデオ信号処理方法は、ビデオ信号を受信するステップと、前記ビデオ信号から離散コサイン変換情報を抽出するステップと、前記離散コサイン変換情報を用いて逆離散コサイン変換を行うステップと、を含み、前記離散コサイン変換情報は、離散コサイン変換におけるブロックの再配列モードを示すことができる。

本発明によれば、前記離散コサイン変換情報は、前記ブロックの予測モードを考慮しない第１再配列モードおよび前記ブロックの予測モードを考慮する第２再配列モードを含んでもよい。

本発明によれば、前記第２再配列モードは、前記ブロックのイントラ予測モードによる９種類のモードを含んでもよい。

本発明によれば、前記第１再配列モードおよび前記第２再配列モードは、前記ブロックの低周波数成分を左側上端部に集中させることができる。

本発明によれば、前記ブロックは、８×８ブロックまたは４×４ブロックとすることができる。

上記の目的に従って上記および他の利点をさらに達成するために、本発明によるビデオ信号処理方法は、ビデオ信号を受信するステップと、前記ビデオ信号から離散コサイン変換情報および解像度減少更新情報を抽出するステップと、前記離散コサイン変換情報および前記解像度減少更新情報を用いて逆離散コサイン変換を行うステップと、を含み、前記離散コサイン変換情報は、離散コサイン変換においてブロックの再配列モードを示すことができる。

本発明によれば、前記解像度減少更新情報は、前記ブロックをアップサンプリングして逆離散コサイン変換を行うか否かを示すことができる。

本発明によれば、前記アップサンプリングは、離散コサイン変換ドメインで行われてもよい。

本発明によれば、前記アップサンプリングは、エンコーディング時にダウンサンプリングによって除去された高周波数成分に０を代入して行うことができる。

本発明によれば、前記ダウンサンプリングは、前記ビデオ信号のエンコーディング時に離散コサイン変換ドメインで一定以上の地点に位置するサンプルを除去することによって行うことができる。

上記の目的に従って上記および他の利点をさらに達成するために、本発明によるビデオ信号処理方法は、ビデオ信号を受信するステップと、前記ビデオ信号から離散コサイン変換情報および離散コサイン変換係数シフト情報を抽出するステップと、前記離散コサイン変換情報および離散コサイン変換係数シフト情報を用いて逆離散コサイン変換を行うステップと、を含み、前記離散コサイン変換情報は、離散コサイン変換においてブロックの再配列モードを示すことができる。

本発明によれば、前記離散コサイン変換係数シフト情報は、前記ブロックの離散コサイン変換における変換係数行列のシフトの有無、シフト方向、およびシフト量を示すことができる。

上記の目的に従って上記および他の利点をさらに達成するために、本発明によるビデオ信号処理方法は、Ｎ個のサンプルを含むビデオ信号のブロックを離散コサイン変換ドメインで変換するステップと、前記離散コサイン変換ドメインでＮ／２以下の地点に存在するサンプルのみを選択してダウンサンプリングを行うステップと、を含む。

本発明によれば、前記ビデオ信号は、放送信号を通じて受信されてもよい。

本発明によれば、前記ビデオ信号は、デジタル媒体を通じて受信されてもよい。

本発明の目的に従って上記および他の利点をさらに達成するために、本発明によるコンピュータ読み取り可能な記録媒体は、ビデオ信号を受信するステップと、前記ビデオ信号から離散コサイン変換情報を抽出するステップと、前記離散コサイン変換情報を用いて逆離散コサイン変換を行うステップと、を含み、前記離散コサイン変換情報は、離散コサイン変換においてブロックの再配列モードを示すビデオ信号処理方法を実行するためのプログラムが記録された、コンピュータ読み取り可能な記録媒体が提供される。

以下の本発明に関する概略説明とそれに続く詳細説明は、共に、実施例とその説明であり、特許請求の範囲に記載された本発明をさらに説明するためのものであることを理解されたい。

以上により、本発明は、下記の効果と利点を提供する。

第一に、本発明のビデオ信号処理方法は、離散コサイン変換前にビデオ信号のブロックを再配列しブロックの低周波数成分を左側上端部に集中させることによってコーディング効率を改善させることができる。

第二に、本発明のビデオ信号処理方法は、離散コサイン変換前におけるブロックの再配列時に予測モードを考慮して再配列方法を採択することによって圧縮効率を改善することができる。

第三に、本発明のビデオ信号処理方法は、離散コサイン変換係数行列において行または列をシフトさせた行列およびこれと関連した情報を含むシフト情報を利用することによってコーディング効率を改善することができる。

第四に、本発明のビデオ信号処理方法は、解像度減少更新（Reduced Resolution Update；ＲＲＵ）方式を離散コサイン変換ドメイン上で直接行ってダウンサンプリングすることによってコーディング効率を上げ、演算の複雑さを減少させることができる。

本発明の一実施例によるビデオ信号のエンコーディング装置を示す概略ブロック図である。 本発明の一実施例によるビデオ信号のデコーディング装置を示す概略ブロック図である。 本発明の第１実施例によるブロック内での解像度減少更新方式を示す図である。 本発明の第１実施例によるブロック境界での解像度減少更新方式を示す図である。 本発明の第１実施例を行うビデオ信号のエンコーディング装置を示す概略ブロック図である。 本発明の第１実施例を行うビデオ信号のデコーディング装置を示す概略ブロック図である。 本発明の第２実施例で利用される基底画像を示すグラフである。 本発明の第２実施例による離散コサイン変換を用いる解像度減少更新方式を示すグラフである。 本発明の第２実施例による離散コサイン変換を用いる解像度減少更新方式を示すフローチャートである。 本発明の第３実施例による残差（residual）信号の再配列方法を示す図である。 本発明の第３実施例による残差信号の再配列方法を示す図である。 本発明の第３実施例による残差信号の再配列方法を示す図である。 本発明の第３実施例による残差信号の係数を示す図である。 本発明の第３実施例による離散コサイン変換係数を示す図である。 本発明の第３実施例による離散コサイン変換係数を示す図である。 本発明の第３実施例による離散コサイン変換係数を示す図である。 本発明の第４実施例による残差信号の再配列方法を示す図である。 本発明の第４実施例による残差信号の再配列方法を示す図である。 本発明の第４実施例による残差信号の再配列方法を示す図である。 本発明の第４実施例による残差信号の再配列方法を示す図である。 本発明の第４実施例による残差信号の再配列方法を示す図である。 本発明の第４実施例による残差信号の再配列方法を示す図である。 本発明の第４実施例による残差信号の再配列方法を示す図である。 本発明の第４実施例による残差信号の再配列方法を示す図である。 本発明の第４実施例による残差信号の再配列方法を示す図である。 残差信号Ａの離散コサイン変換係数行列およびコーディング時に必要なビット数を示す図である。 残差信号Ｂの離散コサイン変換係数行列およびコーディング時に必要なビット数を示す図である。 本発明の第５実施例による離散コサイン変換係数シフト方式を示す図である。

以下、本発明をさらに理解するため添付された図面は、本明細書に組み込まれて本明細書の一部を構成する。これらの添付図面は、本発明の実施形態を例示し、本明細書の記載と併せて本明細書の主旨を説明するためのものである。

以下、添付の図面に例示された本発明の好適な実施例について、参照しながら詳細に説明する。現在広範に使用されている用語が本発明で使用する用語として選択されている。また、場合によっては、出願人は、用語を任意に選択し、選択した用語の意味について本発明の好適な実施例に関する記載の中で詳細に説明している。したがって、本発明は、各用語の呼称によって理解すべきでなく、各用語の意味によって理解すべきである。

特に、本発明でいうコーディングは、エンコーディングおよびデコーディングの両方を含む概念として理解すべきである。

図１は、本発明の一実施例によるビデオ信号エンコーディング装置１００の概略ブロック図である。図１を参照すると、本発明の一実施例によるビデオ信号エンコーディング装置１００は、変換部１１０、量子化部１１５、コーディング制御部１２０、逆量子化部１３０、逆変換部１３５、フィルタリング部１４０、フレーム格納部１５０、動き推定部１６０、インター予測部１７０、イントラ予測部１７５、およびエントロピコーディング部１８０を含む。

変換部１１０は、画素値を変換して変換係数値を獲得し、この時、離散コサイン変換（Discrete Cosine Transform；ＤＣＴ）またはウェーブレット変換方式が用いられてもよい。特に、離散コサイン変換は、入力されたビデオ信号を８×８ブロックに分け、少ない数のビデオ信号に信号を集中させて圧縮効率を増加させる。本発明で提案する離散コサイン変換の実施例については、図３を参照して後述する。量子化部１１５は、変換部１１０から出力された変換係数値を量子化する。コーディング制御部１２０は、特定ブロックまたはフレームを画面（picture；ピクチャ）内符号化するか、または、画面間符号化するかを制御する。逆量子化部１３０および逆変換部１３５は、変換係数値を逆量子化し、逆量子化した変換係数値を用いて本来の画素値を復元する。

フィルタリング部１４０は、ブロック歪み現象を減少させる目的で、それぞれのコーディングされたマクロブロックに適用される。フィルタは、ブロックの縁を滑らかにし、デコーディングされたピクチャの画質を向上させる。フィルタリング処理の選択は、境界強度（boundary strength）と境界周囲のイメージサンプルの階調（gradient）に左右される。フィルタリングを経たピクチャは、出力されたり、参照ピクチャとして用いるためにフレーム格納部１４５に格納されたりする。

動き推定部１６０は、フレーム格納部１４５に格納された参照ピクチャを用い、参照ピクチャのうち、現在ブロックと最も類似する参照ブロックを探索する。動き推定部１６０は、探索された参照ブロックの位置情報などをエントロピコーディング部１８０に転送し、ビットストリームに含まれるようにすることができる。

インター予測部１７０は、参照ピクチャを用いて現在ピクチャの予測を行い、画面間符号化情報をエントロピコーディング部１８０に転送する。また、イントラ予測部１７５は、現在ピクチャ内のデコーディングされたサンプルから画面内予測を行い、画面内符号化情報をエントロピコーディング部１８０に転送する。

エントロピコーディング部１８０は、量子化された変換係数、画面間符号化情報、画面内符号化情報、および動き推定部１６０から入力された参照ブロック情報などをエントロピコーディングし、ビデオ信号ビットストリームを生成する。ここで、エントロピコーディング部１８０では、可変長コーディング（Variable Length Coding；ＶＬＣ）方式と算術コーディング（arithmetic coding）が用いられてもよい。可変長コーディング（ＶＬＣ）方式は、入力されるシンボルを連続したコードワードに変換するもので、コードワードの長さは可変でもよい。例えば、頻繁に発生するシンボルを短いコードワードとして表現し、頻繁に発生しないシンボルは長いコードワードとして表現する。可変長コーディング方式として、コンテキストベース適応型可変長コーディング（Context-based Adaptive Variable Length Coding；ＣＡＶＬＣ）方式が用いられてもよい。算術コーディングは、連続したデータシンボルを一つの素数に変換するもので、各シンボルを表現するのに必要な最適素数ビットを得ることができる。算術コーディングとして、コンテキストベース適応型２進算術コーディング（Context-based Adaptive Binary Arithmetic Code；ＣＡＢＡＣ）が用いられてもよい。

図２は、本発明の一実施例によるビデオ信号デコーディング装置２００の概略ブロック図である。図２を参照すると、本発明のビデオ信号デコーディング装置は、主に、エントロピデコーディング部２１０、逆量子化部２２０、逆変換部２２５、フィルタリング部２３０、フレーム格納部２４０、インター予測部２５０、イントラ予測部２６０を含む。

エントロピデコーディング部２１０は、ビデオ信号ビットストリームをエントロピデコーディングし、各マクロブロックの変換係数、動きベクトルなどを抽出する。逆量子化部２２０は、エントロピデコーディングされた変換係数を逆量子化し、逆変換部２２５は、逆量子化された変換係数を用いて本来の画素値を復元する。一方、フィルタリング部２３０は、ブロック歪み現象を減少させる目的で、それぞれのコーディングされたマクロブロックに適用される。フィルタは、ブロックの縁を滑らかにし、デコーディングされたピクチャの画質を向上させる。フィルタリングを経たピクチャは、出力されたり、参照ピクチャとして用いるためにフレーム格納部２４０に格納されたりする。

インター予測部２６０は、フレーム格納部２４０に格納された参照ピクチャを用いて現在ピクチャを予測するもので、その時、図１で説明されたように、参照ピクチャを用いることとなる。一方、イントラ予測部２６５では、現在ピクチャ内のデコーディングされたサンプルから画面内予測を行う。イントラ予測部２６５またはインター予測部２６０から出力された予測値、および逆変換部２２５から出力された画素値が合算され、復元されたビデオフレームを生成する。

次に、図３Ａおよび図３Ｂを参照して本発明の第１実施例による解像度減少更新（Reduced Resolution Update；ＲＲＵ）方式について説明し、次いで、図４および図５を参照して解像度減少更新（ＲＲＵ）方式を採用したビデオ信号のエンコーディングおよびデコーディング装置について説明する。

解像度減少更新（Reduced Resolution Update；ＲＲＵ）方式とは、空間ドメイン（spatial domain）で動き補償（motion compensation）により得られた残差（residual）値をダウンサンプリング（downsampling）し、ダウンサンプリングされた値のみを変換および量子化してエンコーディングする方式のことをいう。この解像度減少更新方式は、完全な解像度で最終イメージを再構成することができる、高い解像度基準（reference；参照）を使用する予測を行いながら、減少した解像度でイメージをエンコーディングする方式を採択する。したがって、十分な主観的品質を維持しながら、ビデオ信号の変換および量子化時に画像コーディング速度を向上させうる機会を提供する。特に、この解像度減少更新（ＲＲＵ）方式は、ピクチャシーケンス内の動きが重い間に有用であり、これは、エンコーダが、動きのない領域で高い解像度と品質を維持しながら、高いフレーム速度を維持するからである。

また、解像度減少更新方式を採択した場合、ビデオ信号のイメージは、完全な解像度でコーディングされた（ダウンサンプリング前の解像度でコーディングされた）イメージに比べて、マクロブロックの個数が１／４である。また、動きベクトルデータはそれぞれ、１６×１６または８×８ブロックの代わりに、３２×３２または１６×１６ブロックの大きさの完全な解像度の画像と関連付けられる。一方、離散コサイン変換（ＤＣＴ）とテクスチャ（texture）データは、８×８ブロックの減少した解像度のイメージと関連付けられ、最終的に完全なイメージ表現を生成するためにアップサンプリング処理が必須となる。

上記の解像度減少更新方式は、客観的品質において劣化を招くことはあるが、動きデータおよび減少した残差データによるエンコーディング時に使われるビットの減少によってより多く補償される。

図３Ａおよび図３Ｂは、本発明の第１実施例による解像度減少更新方式でダウンサンプリングされてエンコーディングされたビデオ信号を、デコーディング時にアップサンプリング（upsampling）する方法を示す図である。

図３Ａを参照すると、解像度減少更新方式でダウンサンプリングされて得られた画素がＡ、Ｂ、Ｃ、Ｄであり、これらがブロック内部に位置する場合、補間法（interpolation）を通じてアップサンプリングされて得られる周辺画素の値は、下記式１の通りである。

［式１］
a = (9A + 3B + 3C + D + 8)/16
b = (3A + 9B + C + 3D + 8)/16
c = (3A + B + 9C + 3D + 8)/16
d = (A + 3B + 3C + 9D + 8)/16

また、図３Ｂは、ブロック境界に位置している画素が空間ドメインでダウンサンプリングされてエンコーディングされた場合を示し、これらＡ、Ｂ、Ｃ、Ｄ画素を補間することによって得られる周辺画素の値は、下記式２の通りである。

［式２］
e = A
f = (3A + B + 2)/4
g = (A + 3B + 2)/4
h = (3A + C + 2)/4
I = (A + 3C + 2)/4

図４は、上記解像度減少更新（ＲＲＵ）方式を採用したビデオ信号のエンコーディング装置４００を示す概略ブロック図である。図５は、上記解像度減少更新（ＲＲＵ）方式を採用したビデオ信号のデコーディング装置５００を示す概略ブロック図である。図４および図５において、変換部４１０、量子化部４１５、コーディング制御部４２０、逆量子化部４３０，５２０、逆変換部４３５，５３０、フィルタリング部４４０，５４０、フレーム格納部４５０，５５０、動き推定部４６０、インター予測部４７０，５６０、イントラ予測部４７５，５６５、およびエントロピコーディング部４８０，５１０は、図１および図２のビデオ信号処理装置における同一名称のものと同じ構成および目的を有するので、その詳細な説明は省略するものとする。

図４を参照すると、本発明のビデオ信号エンコーディング装置４００は、残差の変換および量子化前にビデオ信号の少なくとも一部の残差をダウンサンプリング（downsampling）するためのダウンサンプリング部４０５を含む。ダウンサンプリング部４０５は、入力されたビデオ信号に対して完全な解像度で最終イメージを再構成することができる高い解像度基準を用いて予測を行いながら、減少した解像度でイメージをエンコーディングすることを可能にする。したがって、十分な主観的品質を維持しながら、画像コーディング速度を向上させることができる。

また、図５を参照すると、本発明のビデオ信号デコーディング装置５００は、逆変換部５３０を通じて得られた残差値に対してアップサンプリング（upsampling）を行うためのアップサンプリング部５３５を含む。このように、ダウンサンプリングして得られた減少した個数の残差を、逆量子化部５２０および逆変換部５３０で逆量子化および逆変換し、その後、逆変換された残差値をアップサンプリングするので、全ての残差を逆量子化および逆変換する場合に比べて演算量を減少させることができる。

一方、本発明の第２実施例による解像度減少更新（ＲＲＵ）方式は、第１実施例による解像度減少更新（ＲＲＵ）方式が離散コサイン変換前に空間ドメイン（spatial domain）でダウンサンプリングが行われるのと違い、離散コサイン変換の結果として得られた周波数ドメイン（frequency domain）で行うので、演算量を減少させることができる。これについて、図６〜図８を参照して説明すると、下記の通りである。

まず、離散コサイン変換（Discrete Cosine Transform；ＤＣＴ）は、直交交換の一つであり、離散周波数変換（Discrete Frequency Transform；ＤＦＴ）と同類のものといえる。離散コサイン変換は、まず、ビデオデータを８×８ブロックに分け、このブロック内の画素に対して離散コサイン変換の演算を行う。離散コサイン変換の変換式および逆変換式は、下記式３および式４で示すことができる。

上記式３および式４で、(i, j)は画素の位置を表し、(u, v)は２次元周波数の位置を表す。また、f(i, j)は入力画像であり、F(u, v)は変換画像であり、係数C(u)は下記の値を有する。

離散コサイン変換（ＤＣＴ）とは、空間ドメイン上の信号を２次元周波数成分に分解（変換）する処理のことをいい、図６は、そのときの周波数成分が表現された基底画像を示す図である。左側上端が水平方向、垂直方向とも低い周波数成分を有し、右側下端に行くほど高い周波数成分であって、複雑なパターンになる。ここで、６４個の２次元の周波数成分のうち、最も左側上端に存在する１個のみが直流成分（DC: Direct Current）であって、周波数０の成分であり、残りは交流成分（AC: Alternate Current）であって、低い周波数成分から高い周波数成分までの６３個で構成される。自然界で見られる信号（または、パターン）は左側上端のものが多く、右側下端へ行くほど稀となるので、離散コサイン変換時に圧縮効果を得ることができる。これは、人間は視覚的に高い周波数成分に対して低い誤差感度を有するためである。離散コサイン変換を行うということは、原ビデオ信号のブロックに含まれた基底成分（６４個の基本パターン成分）のそれぞれの大きさを求めることであり、その大きさは離散コサイン変換係数である。

また、離散コサイン変換（ＤＣＴ）は、単に原ビデオ信号を周波数成分として表現するために用いられる方法であり、逆変換時に周波数成分から本来のビデオ信号に完全に復元される。すなわち、離散コサイン変換（ＤＣＴ）は、単にビデオの表現方法を変えることによって、重複した情報を含めて原画像に含まれた全ての情報を格納する。

原画像を離散コサイン変換する場合、原画像の振幅分布とは違い、離散コサイン変換係数値は０近傍の値に集まって存在し、これを用いて高い圧縮効果を得ることができる。

本発明の第１実施例によれば、解像度減少更新方式を採択した場合、離散コサイン変換を行う前に、空間ドメイン（spatial domain）上で原ビデオ信号に対するダウンサンプリングを行うこととなる。このダウンサンプリングは、存在する原ビデオ信号のうち、奇数（または偶数）番目に存在する信号を削除してなり、その後、残っている原ビデオ信号を用いて周波数ドメインに変換する離散コサイン変換を行う。

一方、本発明の第２実施例によるビデオ信号の処理方法および装置は、解像度減少更新（ＲＲＵ）方式を空間ドメインではなく離散コサイン変換ドメインで行う。

図７は、離散コサイン変換（ＤＣＴ）ドメインで解像度減少更新を行う方法を示すグラフである。まず、空間ドメイン上に存在する信号全体に対して、下記式５のように、離散コサイン変換（ＤＣＴ）を行う。

この変換を行った場合、低周波数帯域では大きいＤＣＴ係数が発生し、高周波数帯域へ行くほど小さい値の係数が得られる。図７の離散コサイン変換では、解像度減少のためのダウンサンプリングを、下記式６のように、変換された離散コサインドメインで低周波数帯域に存在する値のみを取ることによって行う。この処理で用いられない高周波数帯域は、例えば、全体Ｎ個の信号のうち、Ｎ／２地点以上に存在する帯域でありうる。

その後、変換された離散コサイン変換ドメイン上の信号に対して、下記式７のように量子化を行う。

エンコーディング時に上記の解像度減少更新方式を採択して離散コサイン変換ドメインでダウンサンプリングを行う場合、これを示す解像度減少更新情報（RRU information）をデコーダに送信でき、この解像度減少更新情報は、離散コサイン変換ドメインでダウンサンプリングを行ったか否かの他に、ダウンサンプリング前の原画像の解像度情報なども含むことができる。

また、デコーディング時におけるアップサンプリングも、離散コサイン変換ドメインで式８〜式１０のように行われる。デコーダに入力されたビデオ信号から抽出された解像度減少更新情報がダウンサンプリングを行ったことを示す場合、逆離散コサイン変換後に、エンコーディング時に選択しなかった高周波数帯域に対して０の値を与える。上記の通り、離散コサイン変換ドメインで高周波数帯域は小さい値を有するので、アップサンプリング時に復元された画像は、原画像の画質との差がより小さい。

図８は、本発明の第２実施例による離散コサイン変換を用いる解像度減少更新方式を示すフローチャートである。図８を参照すると、ステップＳ８１０〜Ｓ８３０はエンコーダで行われるステップであり、図１で説明された本発明の一実施例によるビデオ信号エンコーディング装置により行うことができる。また、ステップＳ８４０〜Ｓ８６０は、デコーダで行われるステップであり、図２で説明された本発明の一実施例によるビデオ信号デコーディング装置により行うことができる。

エンコーダでは、まず、空間ドメイン（spatial domain）上に存在するビデオ信号の全体に対して離散コサイン変換を行う（ステップＳ８１０）。この時、本発明の第１実施例による離散コサイン変換方式は、離散コサイン変換前に空間ドメイン上のビデオ信号の一部を選択する解像度減少ステップを含む。一方、本発明の第２実施例による離散コサイン変換方式は、上記の空間ドメイン上での解像度減少ステップを省略し、空間ドメイン上の全信号に対して離散コサイン変換を行う。

このように、ステップＳ８１０で変換された離散コサイン変換ドメイン上のビデオ信号のうち、低周波数帯域上に存在する信号のみを選択することによって、空間ドメインの代わりに離散コサイン変換ドメインで高周波数帯域に存在するサンプルを除去することによってダウンサンプリングを行う（ステップＳ８２０）。また、ステップＳ８２０でダウンサンプリングされた離散コサイン変換信号に対して量子化を行い、エンコーディングされたビデオ信号を得ることができる（ステップＳ８３０）。この場合、解像度減少更新方式を離散コサイン変換ドメインで行ったか否かと、ダウンサンプリング前の原画像の解像度情報とを示す解像度減少更新情報を一緒にエンコーディングすることができる。

そして、デコーダは、解像度減少更新情報を含むビデオ信号ビットストリームを受信し、逆量子化を行う（ステップＳ８４０）。逆量子化された離散コサイン変換ドメイン上の信号は低周波数帯域にのみ存在するようになり、この時、高周波数帯域に０の値を代入して原画像の解像度に復元するアップサンプリングを行う（ステップＳ８５０）。その後、アップサンプリングされた離散コサイン変換ドメイン上の信号を空間ドメインの信号に変換する（ステップＳ８６０）。

このように、離散コサイン変換ドメインでエンコーディング時に低周波数帯域の信号のみを選択したり、デコーディング時に高周波数帯域の値に０を与えたりする解像度減少更新方式を利用する場合、空間ドメイン（spatial domain）上でのダウンサンプリングおよびアップサンプリングのためのステップを省略することができる。また、解像度減少更新方式のコーディングのためのダウンサンプリングおよびアップサンプリングを他の計算を追加しないで行うことができ、演算量を減少させることができる。

次に、離散コサイン変換前にビデオ信号を再配列することによってビット伝送率を減少させ、原画像との誤差を縮める、本発明の他の実施例によるビデオ信号の処理方法について、図９Ａ〜図９Ｃ、図１０Ａ〜図１０Ｄおよび図１１Ａ〜図１１Ｉを参照して説明する。

現在の離散コサイン変換方式は、原画像を２次元周波数成分に変換し、変換時に原画像のブロックに含まれた基底成分のそれぞれの大きさを求めた後、求められた大きさを量子化し、ジグザグスキャン（zigzag scan）を行う。この離散コサイン変換を行うビデオ信号は原ビデオ信号であっても、残差信号であってもよい。このとき、隣接する原ビデオ信号または残差信号は、変則的ではあるが類似性を有することがある。したがって、離散コサイン変換において、互いに類似性を有する原ビデオ信号または残差信号を、類似性を考慮して再配列するステップをさらに含むことによって、一般的な離散コサイン変換を行う場合に比べて、より離散コサイン変換係数が直流成分の近くに集まるようにし、圧縮率を向上させることができる。以下では、再配列を行うブロックを残差信号として説明する。

本発明では、離散コサイン変換において、残差信号を再配列する方法として、 第３実施例では予測モードを考慮せずに再配列する方法である第１再配列モードを提案し、 第４実施例では予測モードを考慮して再配列する方法である第２再配列モードを提案する。

図９Ａ〜図９Ｃおよび図１０Ａ〜図１０Ｄは、本発明の第３実施例による第１再配列モードを用いる離散コサイン変換方法を示す図であり、図１１Ａ〜図１１Ｉは、本発明の第４実施例による第２再配列モードを用いる離散コサイン変換方法を示す図である。

まず、図９Ａ〜図９Ｃは、第１再配列モードを用いて４×４残差信号を再配列して離散コサイン変換する方法を示し、この第１再配列モードは、再配列方向によって３つのモード（ＤＣＴ０、ＤＣＴ１、ＤＣＴ２）を含む。まず、第１再配列モードを用いる場合、再配列後にそれぞれのブロックに隣り合う４個のブロックは、再配列前にそれぞれのブロックに隣り合う８個のブロックからきたものでなければならない。この規則に従うと、第１再配列モードは、図９Ａに示すように再配列無しで一般的な方法で離散コサイン変換を行う場合（ＤＣＴ０）、および、図９Ｂと図９Ｃに示すように、４×４残差信号の左側に存在する残差を上側へと再配列する２つの方法を用いる場合（ＤＣＴ１、ＤＣＴ２）となりうる。

図１０Ａ〜図１０Ｄは、４×４残差信号を第１再配列モードによって再配列した後、離散コサイン変換を行って得られた離散コサイン係数を示す図である。図１０Ａに示す係数を持つ同一の４×４残差信号に対して、再配列無しで離散コサイン変換を行った場合（ＤＣＴ０）は、図１０Ｂに示す離散コサイン変換係数を有するが、ＤＣＴ１およびＤＣＴ２モードで再配列した後に離散コサイン変換を行う場合は、それぞれ図１０Ｃおよび図１０Ｄに示す離散コサイン変換係数を有することとなる。

残差信号を再配列して離散コサイン変換を行う方式を採択する場合、エンコーダは、上記３つのモードに関する離散コサイン変換係数および再配列情報を全てエンコーディングする。また、エンコーダは、上記３つのモードを全て行い、離散コサイン変換時にビット率および歪み（RD cost）の度合を計算する。したがって、デコーダは、エンコーダで計算されたビット率および歪み（RD cost）を比較し、ＤＣＴ０、ＤＣＴ１、およびＤＣＴ２モードのうち、最もコストの少ないモードで変換された信号を選択してデコーディングを行う。

一方、図１１Ａ〜図１１Ｉは、第２再配列モードを用いる４×４残差信号の再配列ステップを含む離散コサイン変換方法を示す図であり、この第２再配列モードは、再配列方式によって９種類のモードを含む（ｍｏｄｅ０〜ｍｏｄｅ８）。残差信号は、予測（prediction）によって得られ、この予測は９種類のモードを有している。それぞれ異なる予測モードは異なる方向性を有し、それぞれの画素はこの異なる予測モードによって得られるので、残差信号は、予測モードによって異なる方向性および類似性を獲得しうる。したがって、第２再配列モードは、この予測モード（prediction mode）を考慮して予測モード別にそれぞれ異なる残差信号の離散コサイン変換方法を構成する。

まず、図１１Ａ〜図１１Ｃを参照すると、第２再配列モードを構成するモード０、１、２（ｍｏｄｅ０、１、２）は、４×４残差信号が垂直方向（vertical）、水平方向（horizontal）、および平均値（DC）を用いて予測される場合（ｍｏｄｅ０、ｍｏｄｅ１、ｍｏｄｅ２）を示し、これらは残差信号の再配列無しで離散コサイン変換を行う方式を意味する。

一方、図１１Ｄ〜図１１Ｉを参照すると、図１１Ｄは、残差信号が、予測モード３の対角線左下がり方向（diagonal down-left）に予測される場合、図１１Ｅは、予測モード４の対角線右下がり方向（diagonal down-right）に予測される場合、図１１Ｆは、予測モード５の右側−垂直方向（vertical-right）に予測される場合、図１１Ｇは、予測モード６の斜め右下り方向（diagonal down-right）に予測される場合、図１１Ｈは、予測モード７の左側−垂直方向（vertical-left）に予測される場合、および図１１Ｉは、予測モード８の水平−上側方向（horizontal-up）に予測される場合に、残差信号の再配列方向が示されている。

このように、離散コサイン変換前に予測モード（prediction mode）によって、残差信号を再配列し、離散コサイン変換を行うと、離散コサイン変換係数が左側（直流成分の近く）に集まって分布し、より高い圧縮効果を得ることができる。

本発明は、第５実施例において残差信号のコーディング効率を高めるために離散コサイン変換係数シフト（DCT coefficient shift）方式を提案し、これについて図１２Ａ、図１２Ｂおよび図１３を参照して説明する。

図１２Ａおよび図１２Ｂは、互いに異なる４×４残差データＡおよびＢを変換および量子化して得られた離散コサイン変換係数を示す図である。コーディング効率は、離散コサイン変換係数の分布に大きく依存する。図１２Ａを参照すると、残差データＡに対する離散コサイン変換係数は（１，１）でのみ１の値を有し、これを表すためにコーディング時に約５ビットを用いる。一方、図１２Ｂに示すように、残差データＢに対する離散コサイン変換係数は（２，１）でのみ１の値を有し、この場合、残差データＡの場合とは違い、約１０ビットを用いる。

この残差データＢの離散コサイン変換係数行列は、列を左に一回シフトさせる場合、残差データＡの離散コサイン変換係数行列と同一となる。したがって、本発明の第５実施例による離散コサイン変換シフト方式を用いるビデオ信号の処理方法および装置は、最小限のビット率を有するように行列をシフトし、これに関する情報である離散コサイン変換係数シフト情報（shift information）を別に伝送することによってコーディング効率を改善することができる。

本発明の第５実施例による離散コサイン変換シフト方式は、シフトしなかった離散コサイン変換係数行列（No shifted DCT coefficient）、行全体を左にシフトさせた離散コサイン変換係数行列（Left side of row shifted DCT coefficient）、および列全体を上にシフトさせた離散コサイン変換係数行列（Up side of column shifted DCT coefficient）をそれぞれエンコーディングし、使われたビットが最も少ない行列を選択することができる。

図１３は、本発明の第５実施例による図１２Ｂの残差Ｂの離散コサイン変換係数行列を示す図である。残差Ｂは、離散コサイン変換係数行列の行を左にシフトさせた場合、残差Ａの離散コサイン変換係数行列と同一になり、このようにシフトされた変換係数行列は約５ビットを用いてコーディングすることができる。また、残差Ｂの変換係数行列がシフトしたことを示す離散コサイン変換係数シフト情報（shift information）を別に伝送でき、このシフト情報の伝送は約１〜２ビットで足りるので、離散コサイン変換シフト方式を採択しない場合（１０ビット）に比べて、より少ないビット数（６〜７ビット）を用いて離散コサイン変換係数行列を表すことができ、その結果、コーディング効率を改善することができる。

この離散コサイン変換係数シフト情報は、ブロックの離散コサイン変換時の変換係数行列のシフトの有無、シフト方向およびシフト量（shift extent）に関する情報をさらに含むことができる。

また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行されるためのプログラムとして製作され、コンピュータ読み取り可能な記録媒体に格納することができ、本発明によるデータ構造を持つマルチメディアデータも、コンピュータ読み取り可能な記録媒体に格納することができる。該コンピュータ読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが記憶される記憶装置であればいずれも可能である。コンピュータ読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、さらには搬送波（例えばインターネットを通じた伝送）の形態で具現されるものも含む。また、上記エンコーディング方法により生成されたビットストリームは、コンピュータ読み取り可能な記録媒体に格納されたり、有／無線通信網を介して伝送されたりすることがある。

以上では具体的な実施例および図面に上げて本発明を説明してきたが、これに本発明が限定されることはなく、本発明の属する技術分野における通常の知識を有する者にとっては、本発明の技術思想と添付の特許請求の範囲およびその均等範囲内で様々な修正および変形が可能であることは明白である。したがって、本発明は、添付の特許請求の範囲およびその均等範囲内での本発明の様々な修正および変形を含むものである。

本発明は、オーディオエンコーディングおよびデコーディングに適用することができる。

Claims (21)

1. ビデオ信号を受信するステップと、
   前記ビデオ信号から離散コサイン変換情報を抽出するステップと、
   前記離散コサイン変換情報を用いて逆離散コサイン変換を行うステップと、
   を含み、
   前記離散コサイン変換情報は、離散コサイン変換におけるブロックの再配列モードを示すことを特徴とするビデオ信号処理方法。
2. 前記離散コサイン変換情報は、前記ブロックの予測モードを考慮しない第１再配列モード、および前記ブロックの予測モードを考慮する第２再配列モードを含むことを特徴とする、請求項１に記載のビデオ信号処理方法。
3. 前記第２再配列モードは、前記ブロックのイントラ予測モードによる９種類のモードを含むことを特徴とする、請求項２に記載のビデオ信号処理方法。
4. 前記第１再配列モードおよび前記第２再配列モードは、前記ブロックの低周波数成分を左側上端部に集中させることを特徴とする、請求項２に記載のビデオ信号処理方法。
5. 前記ブロックは、８×８ブロックであることを特徴とする、請求項１に記載のビデオ信号処理方法。
6. 前記ブロックは、４×４ブロックであることを特徴とする、請求項１に記載のビデオ信号処理方法。
7. 前記ビデオ信号から解像度減少更新情報を抽出するステップと、
   前記解像度減少更新情報を用いて逆離散コサイン変換を行うステップと、
   をさらに含むことを特徴とする、請求項１に記載のビデオ信号処理方法。
8. 前記解像度減少更新情報は、前記ブロックをアップサンプリングして前記逆離散コサイン変換を行うか否かを示すことを特徴とする、請求項７に記載のビデオ信号処理方法。
9. 前記アップサンプリングは、離散コサイン変換ドメインで行われることを特徴とする、請求項８に記載のビデオ信号処理方法。
10. 前記アップサンプリングは、エンコーディング時にダウンサンプリングによって除去された高周波数成分に０を代入することを特徴とする、請求項８に記載のビデオ信号処理方法。
11. 前記ダウンサンプリングは、前記ビデオ信号のエンコーディング時に離散コサイン変換ドメインで一定以上の地点に位置するサンプルを除去することによって行われることを特徴とする、請求項１０に記載のビデオ信号処理方法。
12. 前記ビデオ信号から離散コサイン変換係数シフト情報を抽出するステップと、
    前記離散コサイン変換係数シフト情報を用いて逆離散コサイン変換を行うステップと、
    をさらに含むことを特徴とする、請求項１に記載のビデオ信号処理方法。
13. 前記離散コサイン変換係数シフト情報は、前記ブロックの離散コサイン変換における変換係数行列のシフトの有無、シフト方向、およびシフト量を示すことを特徴とする、請求項１２に記載のビデオ信号処理方法。
14. ビデオ信号を受信するステップと、
    前記ビデオ信号から解像度減少更新情報を抽出するステップと、
    前記解像度減少更新情報を用いて離散コサイン変換ドメインでブロックをアップサンプリングして逆離散コサイン変換を行うステップと、
    を含むことを特徴とするビデオ信号処理方法。
15. Ｎ個のサンプルを含むビデオ信号のブロックを、離散コサイン変換ドメインで変換するステップと、
    前記離散コサイン変換ドメインでＮ／２以下の地点に存在するサンプルのみを選択してダウンサンプリングを行うステップと、
    を含むビデオ信号処理方法。
16. 前記ビデオ信号は、放送信号を通じて受信されることを特徴とする、請求項１に記載のビデオ信号処理方法。
17. 前記ビデオ信号は、デジタル媒体を通じて受信されることを特徴とする、請求項１に記載のビデオ信号処理方法。
18. 請求項１に記載の方法を実行するためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
19. ブロックを含むビデオ信号を受信するステップと、
    前記受信されたブロックを再配列するステップと、
    前記再配列されたブロックに対して離散コサイン変換を行うステップと、
    前記再配列の有無および再配列方法を示す離散コサイン変換情報を生成するステップと、
    を含むことを特徴とするビデオ信号処理方法。
20. ブロック領域に細分化されたビデオ信号を受信する受信部と、
    前記受信されたビデオ信号から離散コサイン変換情報を抽出する抽出部と、
    前記離散コサイン変換情報を用いて逆離散コサイン変換を行う逆変換部と、
    を含み、
    前記離散コサイン変換情報は、離散コサイン変換におけるブロックの再配列モードを示すことを特徴とするビデオ信号処理装置。
21. ビデオ信号を受信する受信部と、
    前記受信されたビデオ信号を一定の大きさのブロック領域に分け、前記ブロックを再配列するブロック再配列部と、
    前記再配列されたブロックに対して離散コサイン変換を行う変換部と、
    前記再配列の有無および再配列方法を示す離散コサイン変換情報を生成する情報生成部と、
    を含むことを特徴とするビデオ信号処理装置。

Images