JP2007504746A

JP2007504746A - 映像データの予測符号化のための参照データユニットの決定方法及びその装置

Info

Publication number: JP2007504746A
Application number: JP2006525275A
Authority: JP
Inventors: パク，グァン−フン
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2003-09-04
Filing date: 2004-09-02
Publication date: 2007-03-01
Also published as: KR20030079872A; EP1661408A1; KR100987764B1; CN100435587C; EP1661408A4; CN1736109A; US20050053139A1; WO2005025231A1

Abstract

映像データの予測符号化のための参照データユニットの決定方法及びその装置を提供する。
現在データユニットの以前にスキャンされた少なくとも一つの以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択し、この選択された少なくとも一つの以前のデータユニットのうち、前記現在データユニットのための少なくとも一つの参照データユニットを決定する。これにより、関心領域指向スキャン方式によってスキャンされた映像データの予測符号化または復号化に必要な参照データユニットを迅速、かつ正確に決定でき、時間的または空間的な予測符号化または復号化が可能になり、映像データの符号化の効率が向上する。

Description

本発明は、映像データの予測符号化に係り、より詳細には、現在データユニットの予測符号化のための参照データユニットを決定する方法及びその装置に関する。

静止画または動画の映像データは、データ量が非常に多く、映像データの保存または伝送のためには、圧縮符号化が必須的に要求される。映像データの符号化及び／または復号化は、マクロブロック、ブロックまたは画素の所定データユニット単位で行われる。所定データユニット単位で映像データを符号化及び／または復号化するためには、一つの映像に含まれたデータユニットをスキャンする過程が行われる。

図１は、従来技術に係るラスタースキャン方式を示す図である。ラスタースキャン方式は、映像に含まれたデータユニットを左側から右側に、そして上方から下方にスキャンする。ラスタースキャンは、映像の左上側のコーナーに位置するデータユニットからスキャンする。

最近、新しい映像データスキャン方式が開発された。特許文献１、波紋スキャン装置及びその方法と、それを利用した映像コーディング／デコーディング装置及びその方法には、波紋スキャンであると命名されたスキャン方法が開示されている。

図２は、波紋スキャン方式を示す図である。図２に示す映像は、複数のデータユニットを含む。波紋スキャン方式は、映像の所定位置、例えば、映像の中央のデータユニットからスキャンを開始して、時計回り方向または反時計回り方向に回転しつつ次第に映像の外側に位置するデータユニットをスキャンする方式である。波紋スキャン方式によりデータユニットをスキャンすれば、波紋スキャンが始まった最初のデータユニットを複数の波紋が取り囲む形態となる。

図２を参照するに、波紋スキャンが始まったデータユニットは、０と表示されており、０と表示されたデータユニットを、複数の波紋が取り囲んでいる。第１波紋１１をなすデータユニットの内部には、１と表示されており、第２波紋１３をなすデータユニットには、２と表示されており、第３波紋１５、第４波紋１７及び第５波紋１９をなすデータユニットの内部にも、同じ方式で数字が表示されている。各波紋は、四角形のリング状である。

一方、ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）またはＩＴＵ−ＴＨ.２６４と呼ばれる新たなビデオ圧縮符号化標準が制定された。ＡＶＣ／Ｈ.２６４は、特に、移動通信網のような新たな通信チャンネルの急速な普及により、既存の回線交換方式からパケット交換サービスに転換され、多様な通信インフラに対処するために開発された。

ＡＶＣ／Ｈ.２６４は、既存の標準であるＭＰＥＧ−４Ｐａｒｔ２ビジュアルコデックに比べて、５０％以上の符号化効率を上昇させ、急変する無線環境及びインターネット環境などを考慮して、エラーに対するロバスト性及びネットワークにやさしい方式を考慮したビデオ圧縮標準である。

特に、無線伝送環境やインターネットなどのパケット単位の伝送環境で伝送エラーに積極的に対処させるために、ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣは、ＦＭＯ（ＦｌｅｘｉｂｌｅＭａｃｒｏｂｌｏｃｋＯｒｄｅｒｉｎｇ）と命名された映像データスキャン方式を新たに採択した。ＦＭＯには、具体的に七つのモードがあり、そのうち、モード３をボックスアウトスキャン方式という。ボックスアウトスキャン方式は、前記した波紋スキャン方式の一例に該当する。ボックスアウトスキャン方式の場合、映像でユーザーが主に関心のある関心領域（ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ：ＲＯＩ）とその他の背景領域とを分離して、各領域を相異なる方式で符号化及び復号化する。

図３は、関心領域２１と外側の領域２３とに分離された映像を示す。一つの映像で主な関心領域は、一般的に映像の中央の付近である。したがって、映像の中央を基準に、所定範囲内の領域を関心領域２１とし、その他の領域を外側の領域２３として定める。関心領域２１は、外側の領域２３と独立的に符号化及び復号化するために、外側の領域を利用して空間予測符号化を行えない。

図４Ａは、時計回り方向にデータユニットをスキャンするボックスアウトスキャン方式を示し、図４Ｂは、反時計回り方向にデータユニットをスキャンするボックスアウトスキャン方式を示す。

ボックスアウトスキャン方式は、関心領域符号化の一つの方法論であって、人間の視覚的特性を考慮して圧縮効率を向上させたり、更に向上したエラー保護を可能にする。より詳細に説明すれば、符号化時に、外側の領域より関心領域に対して更に良いエラー保護処理を行い、関心領域の符号化は、外側の領域とは独立しているため、外側の領域のデータは、ビット率及び計算複雑度を低下させて符号化できる。特に、漸進的なランダムアクセスを行う時、デコーダでは、単に関心領域のみを再構成すればよく、エンコーダがデコーダに関心領域のみを伝送することが可能になるという長所を有する。

しかし、ＡＶＣ／Ｈ.２６４のボックスアウトスキャン方式によりスキャンされた映像データは、動き推定及び動き補償を使用できず、イントラブロックを基盤とする符号化方法を利用する。したがって、時間軸及び空間軸上に存在する映像データの重複性を除去できる予測符号化技術を使用しないことにより、符号化効率が低下するという問題がある。また、従来の予測符号化技術は、ラスタースキャン方式に基づいたものであるため、ボックスアウトスキャン方式によりスキャンされた映像データを従来の予測符号化技術によって予測符号化できない。

図５は、従来技術により、現在マクロブロックの動きベクトル予測値を求めるための参照マクロブロックを示す図である。予測符号化技術の一つとして、現在マクロブロックの動きベクトルを符号化するために、既にスキャンされて符号化された周辺マクロブロックの動きベクトルを利用する。図５を参照するに、ラスタースキャン方式によりＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５及びＢ６の順にスキャンされた後、順次に符号化される。現在マクロブロックＢ６の動きベクトル予測値は、現在マクロブロックＢ６に先立ってスキャンされて符号化されたＢ１、Ｂ２、Ｂ３及びＢ５の動きベクトルを利用して求める。

例えば、マクロブロックＢ１、Ｂ２、Ｂ３及びＢ５の全部または一部の動きベクトル値の中間値または平均値などを、現在マクロブロックＢ６の動きベクトル予測値とすることができる。現在マクロブロックＢ６の動きベクトル予測値が求められれば、エンコーダは、現在マクロブロックＢ６の実際の動きベクトル値と現在マクロブロックＢ６の動きベクトル予測値との差値（ＭｏｔｉｏｎＶｅｃｔｏｒＤｉｆｆｅｒｅｎｃｅ：ＭＶＤ）を求め、その動きベクトル差値を可変長符号化（ＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｉｎｇ：ＶＬＣ）して圧縮した後、デコーダに伝送する。

しかし、図４Ａまたは図４Ｂに示すボックスアウトスキャン方式によりスキャンされたマクロブロックに対し、前記のような方式で現在マクロブロックの動きベクトル予測値を求め得ない。

図６は、図４Ａに示す時計回り方向のボックスアウトスキャン方式によりスキャンされたデータユニットについて、従来技術によって現在データユニットの動きベクトル予測値を求めるために必要な参照データユニットを示す図である。現在データユニットＣ１の動きベクトル予測値を、図５に示すような従来技術により求めるために必要なデータユニットはＣ２、Ｃ３、Ｃ１０及びＣ１１である。しかし、時計回り方向のボックスアウトスキャン方式によりデータユニットをスキャンする場合、データユニットＣ２、Ｃ３、Ｃ１０及びＣ１１は、現在データユニットＣ１以後にスキャンされて符号化されるデータユニットであるため、現在データユニットＣ１の動きベクトル予測値を求めるために利用できない。

前記の波紋スキャン方式またはボックスアウトスキャン方式のように、映像の中央から外側にデータ単位をスキャンする方式を関心領域指向スキャン方式であるとする時、関心領域指向スキャン方式によりスキャンされた映像データを、従来のラスタースキャン方式に基づいた予測符号化技術によって予測符号化できないという問題がある。
韓国公開特許第２００２−５３６５号公報

本発明が達成しようとする技術的課題は、関心領域指向スキャン方式によりスキャンされた映像データの予測符号化または復号化に必要な参照データユニットを決定する方法及びその装置を提供して、時間的または空間的予測符号化または復号化を可能にすることで映像データの符号化効率を向上させるところにある。

前記課題を達成するために、本発明の一側面による映像データの予測符号化または復号化のための参照データユニットの決定方法は、関心領域の所定位置のデータユニットから外側にデータユニットをスキャンする関心領域指向スキャン方式により、現在データユニットの以前にスキャンされた少なくとも一つの以前のデータユニットのうち、前記現在データユニットの予測符号化または復号化のための参照データユニットを決定する方法において、前記以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択するステップと、前記選択された以前のデータユニットのうち、前記現在データユニットのための少なくとも一つの参照データユニットを決定するステップと、を含むことを特徴とする。

前記課題を達成するために、本発明の他の側面による映像データの予測符号化または復号化のための参照データユニットの決定方法は、関心領域の所定位置のデータユニットからスキャンして、前記関心領域に含まれた他のデータユニットが前記所定位置のデータユニットを取り囲む複数の四角形リング状になるようにスキャンする関心領域指向スキャン方式により、現在データユニットの以前にスキャンされた複数の以前のデータユニットのうち、前記現在データユニットの予測符号化または復号化のための参照データユニットを決定する方法において、前記現在データユニットが属する現在四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットの直前にスキャンされた以前のデータユニットを選択する第１選択ステップと、前記現在四角形リングにより取り囲まれた以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択する第２選択ステップと、前記第１選択ステップ及び第２選択ステップで選択された以前のデータユニットのうち、前記現在データユニットのための少なくとも一つの参照データユニットを決定するステップと、を含むことを特徴とする。また、前記第２選択ステップは、前記現在四角形リングでの前記現在データユニットの位置によって前記以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択するステップであることが好ましい。
前記課題を達成するために、本発明の一側面による映像データの予測符号化または復号化のための参照データユニットの決定装置は、現在データユニットの予測符号化または復号化のための参照データユニットの決定装置において、関心領域の所定位置のデータユニットから外側にデータユニットをスキャンする関心領域指向スキャン方式により、現在データユニットの以前にスキャンされた少なくとも一つの以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択する以前のデータユニット選択部と、前記以前のデータユニット選択部により選択された以前のデータユニットのうち、前記現在データユニットのための少なくとも一つの参照データユニットを決定する参照データユニット決定部と、を備えることを特徴とする。

前記課題を達成するために、本発明の他の側面による映像データの予測符号化または復号化のための参照データユニットの決定装置は、現在データユニットの予測符号化または復号化のための参照データユニットの決定装置において、関心領域の所定位置のデータユニットからスキャンして、前記関心領域に含まれた他のデータユニットが、前記所定位置のデータユニットを取り囲む複数の四角形リング状になるようにスキャンする関心領域指向スキャン方式により、現在データユニットの以前にスキャンされた複数の以前のデータユニットのうち、前記現在データユニットの直前にスキャンされて符号化された以前のデータユニットを選択し、前記現在四角形リングにより取り囲まれた以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択する以前のデータユニット選択部と、前記以前のデータユニット選択部により選択された以前のデータユニットのうち、前記現在データユニットのための少なくとも一つの参照データユニットを決定する参照データユニット決定部と、を備えることを特徴とする。また、前記以前のデータユニット選択部は、前記現在四角形リングでの前記現在データユニットの位置により、前記以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択することが好ましい。

以下、添付された図面を参照して本発明に係る好ましい実施形態を詳細に説明する。

本発明では、前記した波紋スキャン方式またはボックスアウトスキャン方式のように、映像の中央から外側にデータユニットをスキャンする方式を関心領域指向スキャン方式という。データユニットは、マクロブロック、ブロック、画素または所定個数の画素の集合などを言い、所定の予測符号化または復号化のデータ単位である。

予測符号化は、現在データユニットの符号化のために、周辺の他のデータユニットの符号化の結果を利用する技術をいう。予測符号化技術の一例としては、（１）周辺データユニットの動きベクトル値を利用して、現在データユニットの動きベクトル値の予測、（２）周辺ブロックのＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）係数値を利用して、現在ブロックのＤＣＴ係数値の予測、（３）周辺画素の値を利用して、現在画素値の予測などがある。予測復号化は、予測符号化の逆過程である。

現在データユニットの予測符号化または復号化のためには、参照するデータユニットを少なくとも一つを決定せねばならない。本発明は、関心領域指向スキャン方式によりデータユニットをスキャンする場合において、現在データユニットの予測符号化または復号化に必要な参照データユニットの決定方法及び装置に関する。

図７は、本発明によって関心領域指向スキャン方式によりスキャンされたデータユニットの予測符号化または復号化のための参照データユニットを決定するに当って、特に、留意すべきデータユニットを示す図である。図７を参照するに、普通の場合とは違って、参照データユニットが決定されるデータユニットは、関心領域で二番目にスキャンされるデータユニットＥ１、各四角形のリングのコーナーに位置したＥ２ないしＥ５、コーナーに位置したデータユニットと垂直または水平方向に隣接したデータユニットであるＥ６ないしＥ１３、及び特定の四角形リングに属する複数のデータユニットのうち、最初にスキャンされるデータユニットであるＥ１４である。関心領域で最初にスキャンされる関心領域中央のデータユニットＯは、参照する先行データユニットがないため、予測符号化せずにイントラ符号化する。

図８は、本発明に係る予測符号化または復号化のための参照データユニットの決定装置の一例を示すブロック図である。図８を参照するに、参照データユニットの決定装置は、以前のデータユニット選択部３１、参照データユニット決定部３３及び参照データユニットインデックスリスト保存部３５を備える。

以前のデータユニット選択部３１は、入力されたスキャン方向情報及び現在データユニットのインデックスにより、現在データユニット（図示せず）に先立ってスキャンされた以前のデータユニットのうち、参照データユニットとして利用する以前のデータユニットを選択する。以前のデータユニット選択部３１としては、現在データユニットが含まれた映像で最初にスキャンされたデータユニットのインデックスが更に入力されるか、または以前のデータユニット選択部３１に最初にスキャンされたデータユニットのインデックスがあらかじめ保存されうる。以前のデータユニットとは、現在予測符号化するデータユニットである現在データユニットの以前にスキャンされて、予測符号化が既に行われたデータユニットをいう。

参照データユニット決定部３３は、以前のデータユニット選択部３１から参照データユニットとして利用するために選択された以前のデータユニットのインデックスを入力されて、所定方式によって参照データユニットを決定する。

参照データユニットインデックスリスト保存部３５は、参照データユニット決定部３３から参照データユニットインデックスを入力されて保存する。保存された参照データユニットインデックスは、現在データユニットの予測符号化時に利用される。

図８に示す参照データユニットの決定装置の構造に基づいて、図４Ａに示す時計回り方向のボックスアウトスキャン方式によりデータユニットをスキャンする場合を例として挙げて、本発明に係る参照データユニットの決定方法の一例について詳細に説明する。

図９は、本発明に係る参照データユニットの決定方法の一例を示すフローチャートである。

以前のデータユニット選択部３１は、入力された現在データユニットのインデックス及びスキャン方向に基づいて、現在四角形リングでの現在データユニットの位置を判断する（ステップ５１）。図７に示すように、現在データユニットが現在データユニットが含まれた四角形のリングのコーナーに位置するデータユニットであるか、コーナーに位置したデータユニットと垂直または水平方向に隣接したデータユニットであるか、特定の四角形リングに属する複数のデータユニットのうち、最初にスキャンされるデータユニットであるかを判断する。または、図７に示すように、関心領域で二番目にスキャンされたデータユニットＥ１に該当するかを判断する。

以前のデータユニット選択部３１は、現在四角形リングでの現在データユニットの位置により、現在データユニットの予測符号化のために利用可能な現在データユニットに隣接する以前のデータユニットを選択する（ステップ５３）。次いで、以前のデータユニット選択部３１は、現在データユニットの予測符号化及び／または復号化のための参照データを決定する。

図１０は、時計回り方向のボックスアウトスキャン方式によってデータユニットをスキャンする場合において、各データユニットの予測符号化のために利用可能な以前のデータユニットを示す図である。図１０には、現在符号化しようとする映像の関心領域が図示されている。その関心領域の中央には、データユニットＯが位置する。図１０に示す実施形態に係る関心領域指向スキャン方式によれば、データユニットＯからスキャンを開始して、データユニットＣ１、Ｃ２、・・・、Ｃ４８の順に時計回り方向にデータユニットがスキャンされる。

図１０を参照するに、第１四角形リング６１には、データユニットＣ１ないしＣ８が含まれ、第２四角形リング６３には、データユニットＣ９ないしＣ２４が含まれ、第３四角形リング６５には、データユニットＣ２５ないしＣ４８が含まれる。各四角形リングは、中央に位置したデータユニットＯを取り囲んでいる。実施形態によって四角形リングの数は、三つより多くても、または少なくてもよい。

各データユニットの内部には、そのデータユニットの予測符号化のための参照データユニットとして利用できる隣接した以前のデータユニットの個数が記載されている。データユニットの位置別に説明すれば、図１０に示す複数のデータユニットのうち、データユニットＯの次にスキャンされたデータユニットＣ１に隣接した以前のデータユニットは、データユニットＯしかない。したがって、データユニットＣ１に隣接した以前のデータユニットの個数は一つになる。

次いで、四角形リングのコーナーに位置したデータユニットの場合、そのデータユニットに隣接した以前のデータユニットを説明する。例えば、第１四角形リング６１の左上側のコーナーに位置したデータユニットであるＣ２に隣接した以前のデータユニットは、データユニットＯとＣ１であり、第１四角形リング６１の右上側のコーナーに位置したデータユニットであるＣ４に隣接した以前のデータユニットは、データユニットＯとＣ３であり、第１四角形リング６１の右下側のコーナーに位置したデータユニットであるＣ６に隣接した以前のデータユニットは、データユニットＯとＣ５である。第１四角形リング６１の左下側のコーナーに位置したデータユニットであるＣ８は、例外的に隣接した以前のデータユニットがデータユニットＯ、Ｃ１及びＣ７の三つである。

次いで、四角形リングのコーナーに位置したデータユニットと垂直または水平方向に隣接したデータユニットの場合、そのデータユニットに隣接した以前のデータユニットを説明する。例えば、第２四角形リング６３のＣ１１の場合、Ｃ１１に隣接する以前のデータユニットは、Ｃ１、Ｃ２及びＣ１０の三つである。Ｃ１３の場合には、隣接する以前のデータユニットがＣ２、Ｃ３、Ｃ１１及びＣ１２の四つである。Ｃ１５、Ｃ１７、Ｃ１９、Ｃ２１及びＣ２３の場合も、隣接する以前のデータユニットが三つまたは四つである。

しかし、データユニットＣ９の場合は特殊である。データユニットＣ９に隣接する以前のデータユニットは、Ｃ１及びＣ８の二つである。データユニットＣ９は、第１四角形リングに含まれたデータユニットがスキャンされた後、最初にスキャンされた第２四角形リングに含まれたデータユニットであるためである。

前記の位置以外の位置に存在するデータユニットの場合には、何れも隣接する以前のデータユニットの個数が四つである。

図１０には、中央のデータユニットＯからスキャンして、データユニットＣ１、Ｃ２、Ｃ３の順にスキャンする場合を例として挙げたが、これに限定されない。すなわち、データユニットＯの次にデータユニットＣ３をスキャンし、時計回り方向にスキャンする場合、データユニットＯの次にデータユニットＣ５をスキャンし、時計回り方向にスキャンする場合、及びデータユニットＯの次にデータユニットＣ７をスキャンし、時計回り方向にスキャンする場合の何れも可能であり、各場合において前記の方式により、各データユニットの予測符号化のための隣接以前のデータユニットを決定する。

また、図１０には、時計回り方向のボックスアウトスキャン方式によってデータユニットをスキャンする場合を説明しているが、図４Ｂに示すように、反時計回り方向のボックスアウトスキャン方式によってデータユニットをスキャンする場合にも、各データユニットの予測符号化のために利用可能な以前のデータユニットを選択する方法は、以前に説明した通りである。

図１１は、中央のデータユニットの次に対角線方向にデータユニットをスキャンする場合を示す図である。図１１に示すように、データユニットＯの次に横方向または縦方向に隣接したデータユニットではなく、対角線方向に隣接したデータユニットをスキャンする場合は、現在データユニットの予測符号化のための以前のデータユニット選択において特殊な場合が発生する。図１１に示す各データユニットの内部に書かれた数字は、各データユニットの予測符号化のために利用可能な以前のデータユニットであって、各データユニットに隣接した以前のデータユニットの個数を表す。例えば、Ｆ１及びＦ９は、一つの隣接した以前のデータユニットを、Ｆ２、Ｆ３、Ｆ５及びＦ７は、二つの隣接した以前のデータユニットを、Ｆ４及びＦ６は、三つの隣接した以前のデータユニットを、そして、Ｆ８は、四つの隣接した以前のデータユニットを有する。

データユニットＦ１は、コーナーに位置したデータユニットであるが、データユニットＯの次にスキャンされたため、隣接した以前のデータユニットは、データユニットＯの一つであり、データユニットＦ９は、隣接した以前のデータユニットＦ１の一つである。

また、図９を参照するに、前記のような方式で、ステップ５３で現在データユニットの予測符号化のために利用する以前のデータユニットが、以前のデータユニット選択部３１により選択されれば、参照データユニット決定部３３は、以前のデータユニット選択部３１から参照データユニットとして利用するために選択された以前のデータユニットのインデックスを入力されて、ステップ５３で選択された以前のデータユニットのうち、現在データユニットの予測符号化または復号化のための参照データユニットを所定方式によって決定する（ステップ５５）。参照データユニットは、現在データユニットに隣接する以前のデータユニットのうち、現在データユニットの予測符号化のために実際に利用される以前のデータユニットをいう。

現在データユニットの予測符号化のために実際に利用される参照データユニットは、該当予測符号化技術の特徴、符号化性能及び効率などを考慮して、多様な方式によって決定されうる。例えば、現在データユニットの動きベクトルを予測符号化する場合、ステップ５３で選択された以前のデータユニットの全部または一部を参照データユニットとして決定した後、参照データユニットの動きベクトル値の中間値または平均値などを、現在データユニットの動きベクトル予測値とする。

図１２は、本発明に係る参照データユニットの決定方法の他例を示すフローチャートである。図１２に示す参照データユニットの決定方法は、図８に示す本発明に係る装置により実行されうる。図８に示す装置の構造に基づいて、図４Ａに示す時計回り方向のボックスアウトスキャン方式によってデータユニットをスキャンする場合を例として挙げて、図１２に示す本発明に係る参照データユニットの決定方法の他例について詳細に説明する。

以前のデータユニット選択部３１は、現在データユニットが属する現在四角形リングに含まれた以前のデータユニットのうち、現在データユニットの直前にスキャンされた以前のデータユニットを選択する（ステップ７１）。例えば、図４Ａに示すデータユニットのうち、データユニットＣ１０の場合、Ｃ１０が属する現在四角形リングは、データユニットＣ９ないしＣ２４より構成された二番目の四角形リングであり、二番目の四角形リングに含まれたデータユニットのうち、現在データユニットのＣ１０の直前にスキャンされた以前のデータユニットは、Ｃ９である。

以前のデータユニット選択部３１は、現在四角形リングにより取り囲まれた以前の四角形リングに含まれた以前のデータユニットのうち、現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択する（ステップ７３）。例えば、図４Ａに示すデータユニットのうち、データユニットＣ１０の場合、Ｃ１０が属する二番目の四角形リングにより取り囲まれた以前の四角形リングは、データユニットＣ１ないしＣ８より構成された最初の四角形リングであり、最初の四角形リングに含まれたデータユニットのうち、現在データユニットと隣接したデータユニットは、Ｃ１、Ｃ２及びＣ８である。

以上で説明したステップ７１及びステップ７３により、図４Ａに示す各データユニットの予測符号化のための参照データユニットとして利用可能な以前のデータユニットの選択結果は、図９に示すステップ５３の以前のデータ選択ステップの結果と同じである。したがって、ステップ７１及びステップ７３により、現在データユニットの予測符号化のための参照データユニットとして利用可能な以前のデータユニットの個数及びその位置は、図１０に示したとおりである。

参照データユニット決定部３３は、以前のデータユニット選択部３１からステップ７１及びステップ７３で選択された以前のデータユニットのインデックスを入力されて、前記選択された以前のデータユニットのうち、現在データユニットの予測符号化または復号化のための参照データユニットを所定方式によって決定する（ステップ７５）。現在データユニットの予測符号化のために実際に利用される参照データユニットは、該当予測符号化技術の特徴、符号化性能及び効率などを考慮して、多様な方式によって決定される。

さらに、本発明は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られうるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存されて実行されうる。

以上、本発明について好ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されうることが理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前記した説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたと解釈されねばならない。

以上で説明したように、本発明により、関心領域指向スキャン方式によってスキャンされた映像データの予測符号化または復号化に必要な参照データユニットを迅速、かつ正確に決定できるため、時間的または空間的な予測符号化または復号化が可能になり、関心領域指向スキャン方式によってスキャンされた映像データの符号化の効率が向上する。

従来技術に係るラスタースキャン方式を示す図である。従来技術に係る波紋スキャン方式を示す図である。関心領域と外側の領域とに分離された映像を示す図である。時計回り方向のボックスアウトスキャン方式を示す図である。反時計回り方向のボックスアウトスキャン方式を示す図である。従来技術により、現在マクロブロックの動きベクトル予測値を求めるための参照マクロブロックを示す図である。時計回り方向のボックスアウトスキャン方式によりスキャンされたデータユニットについて、従来技術により現在データユニットの動きベクトル予測値を求めるために必要な参照データユニットを示す図である。本発明により、参照データユニット決定において特別な考慮が必要なデータユニットを示す図である。本発明に係る予測符号化または復号化のための参照データユニットの決定装置の一例を示すブロック図である。本発明に係る参照データユニットの決定方法の一例を示すフローチャートである。各データユニットの予測符号化のために利用可能な以前のデータユニットを示す図である。対角線方向にデータユニットをスキャンする関心領域指向スキャン方式を示す図である。本発明に係る参照データユニットの決定方法の他例を示すフローチャートである。

Claims

関心領域の所定位置のデータユニットから外側にデータユニットをスキャンする関心領域指向スキャン方式により、現在データユニットの以前にスキャンされた少なくとも一つの以前のデータユニットのうち、前記現在データユニットの予測符号化または復号化のための参照データユニットを決定する方法において、
現在データユニットの以前にスキャンされた少なくとも一つの以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択するステップと、
前記選択された少なくとも一つの以前のデータユニットのうち、前記現在データユニットのための少なくとも一つの参照データユニットを決定するステップと、を含むことを特徴とする方法。
前記関心領域指向スキャン方式は、前記所定位置のデータユニットからスキャンして、前記関心領域に含まれた他のデータユニットが前記所定位置のデータユニットを取り囲む複数の四角形のリング状になるようにスキャンする方式であることを特徴とする請求項１に記載の方法。
前記以前のデータユニット選択ステップは、
前記現在データユニットが含まれた現在四角形リングでの前記現在データユニットの位置を判断するステップと、
前記現在データユニットの位置により、前記少なくとも一つの以前のデータユニットのうち、前記現在データユニットと隣接する少なくとも一つの以前のデータユニットを選択するステップと、を含むことを特徴とする請求項２に記載の方法。
前記現在データユニットの位置判断ステップにおいて、前記現在データユニットが前記現在四角形リングのコーナーに位置したと判断されれば、前記以前のデータユニットの選択ステップは、前記現在データユニットと水平または垂直方向に隣接した少なくとも一つの以前のデータユニットと、前記現在データユニットと対角線方向に隣接する一つの以前のデータユニットの、少なくとも二つの以前のデータユニットを選択することを特徴とする請求項３に記載の方法。
前記現在データユニットの位置判断ステップにおいて、前記現在データユニットが、前記現在四角形リングのコーナーに位置したデータユニットと垂直または水平方向に隣接した位置のデータユニットであると判断されれば、前記以前のデータユニット選択ステップは、前記現在データユニットと水平方向に隣接した一つの以前のデータユニット、垂直方向に隣接した一つの以前のデータユニット及び対角線方向に隣接した少なくとも一つの以前のデータユニットの、少なくとも三つの以前のデータユニットを選択することを特徴とする請求項３に記載の方法。
前記現在データユニットの位置判断ステップにおいて、前記現在データユニットが、前記現在四角形リングのコーナーに位置したデータユニットまたは前記現在四角形リングのコーナーに位置したデータユニットと、垂直または水平方向に隣接した位置のデータユニット以外のデータユニットであると判断されれば、前記以前のデータユニット選択ステップは、前記現在データユニットと水平方向に隣接した一つの以前のデータユニット、垂直方向に隣接した一つの以前のデータユニット及び対角線方向に隣接した二つの以前のデータユニットの、四つの以前のデータユニットを選択することを特徴とする請求項３に記載の方法。
前記以前のデータユニット選択ステップは、
前記現在データユニットが前記所定位置のデータユニットの次にスキャンされたデータユニットであれば、前記所定位置のデータユニットを選択するステップであることを特徴とする請求項２に記載の方法。
前記以前のデータユニット選択ステップは、
現在四角形リングに含まれた複数のデータユニットのうち、前記現在データユニットが最初にスキャンされたデータユニットであり、前記現在データユニットは、以前の四角形リングに含まれた以前のデータユニットのうち、最後にスキャンされたデータユニットと水平または垂直方向に隣接した場合、前記現在データユニットと隣接する前記以前の四角形リングに含まれた二つの以前のデータユニットを選択することを特徴とする請求項２に記載の方法。
前記関心領域指向スキャン方式は、前記関心領域の中央のデータユニットからスキャンすることを特徴とする請求項１に記載の方法。
前記現在データユニットと隣接した以前のデータユニットは、前記現在データユニットと水平、垂直または対角線方向に隣接した以前のデータユニットであることを特徴とする請求項１に記載の方法。
前記データユニットは、前記予測符号化または復号化のためのデータ単位であることを特徴とする請求項１に記載の方法。
関心領域の所定位置のデータユニットからスキャンして、前記関心領域に含まれた他のデータユニットが、前記所定位置のデータユニットを取り囲む複数の四角形リング状になるようにスキャンする関心領域指向スキャン方式により、現在データユニットの以前にスキャンされた複数の以前のデータユニットのうち、前記現在データユニットの予測符号化または復号化のための参照データユニットを決定する方法において、
前記現在データユニットが属する現在四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットの直前にスキャンされた以前のデータユニットを選択する第１選択ステップと、
前記現在四角形リングにより取り囲まれた以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択する第２選択ステップと、
前記第１選択ステップ及び第２選択ステップで選択された以前のデータユニットのうち、前記現在データユニットのための少なくとも一つの参照データユニットを決定するステップと、を含むことを特徴とする方法。
前記第２選択ステップは、
前記現在四角形リングでの前記現在データユニットの位置によって前記以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択するステップであることを特徴とする請求項１２に記載の方法。
前記第２選択ステップは、
前記現在四角形リングのコーナー、前記現在四角形リングのコーナーに位置したデータユニットと垂直または水平方向に隣接した位置、または前記現在四角形リングのその他の位置のうち、前記現在データユニットがどこに位置したデータユニットであるかにより、前記以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択するステップであることを特徴とする請求項１３に記載の方法。
前記第２選択ステップは、
前記現在データユニットが前記現在四角形リングのコーナーに位置したデータユニットであれば、前記以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した一つの以前のデータユニットを選択するステップであることを特徴とする請求項１４に記載の方法。
前記第２選択ステップは、
前記現在データユニットが、前記現在データユニットが前記現在四角形リングのコーナーに位置したデータユニットと垂直または水平方向に隣接した位置のデータユニットであれば、前記以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも二つの以前のデータユニットを選択するステップであることを特徴とする請求項１４に記載の方法。
前記第２選択ステップは、
前記現在データユニットが、前記現在四角形リングのコーナーに位置したデータユニット、または前記現在四角形リングのコーナーに位置したデータユニットと垂直または水平方向に隣接した位置のデータユニット以外のデータユニットであれば、前記以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した三つの以前のデータユニットを選択するステップであることを特徴とする請求項１４に記載の方法。
前記関心領域指向スキャン方式は、前記関心領域の中央のデータユニットからスキャンすることを特徴とする請求項１２に記載の方法。
前記現在データユニットと隣接した以前のデータユニットは、前記現在データユニットと水平、垂直または対角線方向に隣接した以前のデータユニットであることを特徴とする請求項１２に記載の方法。
前記データユニットは、前記予測符号化または復号化のためのデータ単位であることを特徴とする請求項１２に記載の方法。
現在データユニットの予測符号化または復号化のための参照データユニットの決定装置において、
関心領域の所定位置のデータユニットから外側にデータユニットをスキャンする関心領域指向スキャン方式により、現在データユニットの以前のスキャンされた少なくとも一つの以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択する以前のデータユニット選択部と、
前記以前のデータユニット選択部により選択された少なくとも一つの以前のデータユニットのうち、前記現在データユニットのための少なくとも一つの参照データユニットを決定する参照データユニット決定部と、を備えることを特徴とする装置。
前記関心領域指向スキャン方式は、前記所定位置のデータユニットからスキャンして、前記関心領域に含まれた他のデータユニットが、前記所定位置のデータユニットを取り囲む複数の四角形のリング状になるようにスキャンする方式であることを特徴とする請求項２１に記載の装置。
前記以前のデータユニット選択部は、前記現在データユニットが含まれた現在四角形リングでの前記現在データユニットの位置により、前記少なくとも一つの以前のデータユニットのうち、前記現在データユニットと隣接する少なくとも一つの以前のデータユニットを選択することを特徴とする請求項２２に記載の装置。
前記関心領域指向スキャン方式は、前記関心領域の中央のデータユニットからスキャンすることを特徴とする請求項２１に記載の装置。
前記現在データユニットと隣接した以前のデータユニットは、前記現在データユニットと水平、垂直または対角線方向に隣接した以前のデータユニットであることを特徴とする請求項２１に記載の装置。
前記データユニットは、前記予測符号化または復号化のためのデータ単位であることを特徴とする請求項２１に記載の装置。
現在データユニットの予測符号化または復号化のための参照データユニットの決定装置において、
関心領域の所定位置のデータユニットからスキャンして、前記関心領域に含まれた他のデータユニットが、前記所定位置のデータユニットを取り囲む複数の四角形リング状になるようにスキャンする関心領域指向スキャン方式により、現在データユニットの以前にスキャンされた複数の以前のデータユニットのうち、前記現在データユニットの直前にスキャンされて符号化された少なくとも一つの以前のデータユニットを選択し、前記現在四角形リングにより取り囲まれた以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択する以前のデータユニット選択部と、
前記以前のデータユニット選択部により選択された少なくとも一つの以前のデータユニットのうち、前記現在データユニットのための少なくとも一つの参照データユニットを決定する参照データユニット決定部と、を備えることを特徴とする装置。
前記以前のデータユニット選択部は、
前記現在四角形リングでの前記現在データユニットの位置によって前記以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択することを特徴とする請求項２７に記載の装置。
前記以前のデータユニット選択部は、
前記現在四角形リングのコーナー、前記現在四角形リングのコーナーに位置したデータユニットと垂直または水平方向に隣接した位置、または前記現在四角形リングのその他の位置のうち、前記現在データユニットがどこに位置したデータユニットであるかにより、前記以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択することを特徴とする請求項２８に記載の装置。
前記関心領域指向スキャン方式は、前記の関心領域の中央のデータユニットからスキャンすることを特徴とする請求項２７に記載の装置。
前記現在データユニットと隣接した以前のデータユニットは、前記現在データユニットと水平、垂直または対角線方向に隣接した以前のデータユニットであることを特徴とする請求項２７に記載の装置。
前記データユニットは、前記予測符号化または復号化のためのデータ単位であることを特徴とする請求項２７に記載の装置。
関心領域の所定位置のデータユニットから外側にデータユニットをスキャンする関心領域指向スキャン方式により、現在データユニットの以前にスキャンされた少なくとも一つの以前のデータユニットのうち、前記現在データユニットの予測符号化または復号化のための参照データユニットを決定する方法を行うプログラムを記録した記録媒体において、
前記以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択するステップと、
前記選択された以前のデータユニットのうち、前記現在データユニットのための少なくとも一つの参照データユニットを決定するステップと、を含むことを特徴とする方法を実現させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
関心領域の所定位置のデータユニットからスキャンして、前記関心領域に含まれた他のデータユニットが前記所定位置のデータユニットを取り囲む複数の四角形リング状になるようにスキャンする関心領域指向スキャン方式により、現在データユニットの以前にスキャンされた複数の以前のデータユニットのうち、前記現在データユニットの予測符号化または復号化のための参照データユニットを決定する方法を行うプログラムを記録した記録媒体において、
前記現在データユニットが属する現在四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットの直前にスキャンされた以前のデータユニットを選択する第１選択ステップと、
前記現在四角形リングにより取り囲まれた以前の四角形リングに含まれた以前のデータユニットのうち、前記現在データユニットと隣接した少なくとも一つの以前のデータユニットを選択する第２選択ステップと、
前記第１選択ステップ及び第２選択ステップで選択された以前のデータユニットのうち、前記現在データユニットのための少なくとも一つの参照データユニットを決定するステップと、を含むことを特徴とする方法を行うプログラムを記録したコンピュータで読み取り可能な記録媒体。
データユニットが現在データユニットを取り囲む少なくとも一つのリング状になるようにスキャンする関心領域指向スキャン方式により、現在データユニットの以前にスキャンされた複数の以前のデータユニットのうち、前記現在データユニットの予測符号化のための少なくとも一つの参照データユニットを決定する方法において、
前記現在データユニットに隣接し、前記現在データユニットの以前にスキャンされた以前のデータユニットのうち、少なくとも一つを選択するステップと、
予測符号化の特性により、前記少なくとも一つの以前のデータユニットのうち、少なくとも一つの参照データユニットを選択するステップと、
前記選択された少なくとも一つの参照データユニットにより、所定の方法を利用して現在データユニットを予測符号化するステップと、を含むことを特徴とする方法。
前記現在データユニットに隣接した以前のデータユニットは、前記現在データユニットと水平、垂直または対角線方向に隣接した以前のデータユニットであることを特徴とする請求項３５に記載の方法。
前記予測符号化するステップは、
前記現在データユニットに隣接した、以前にスキャンされた少なくとも二つのデータユニットのそれぞれに対するモーションベクトル値を統計的に分析して決定された現在データユニットのモーションベクトル予測値に基づいて予測符号化することを特徴とする請求項３５に記載の方法。
前記関心領域指向スキャン方式は、
前記現在データユニットの周辺のデータユニットを、同一中心を有して関心領域の周辺部に向って拡張され、前記現在データユニットを取り囲む複数の連結されたリングを関心領域に含ませる回転方向にスキャンすることを特徴とする請求項３５に記載の方法。
前記現在データユニットは、現在のリングと以前のリングとを連結するデータユニットであり、
前記予測符号化は、前記現在データユニットと隣接し、前記現在データユニットより以前にスキャンされた二つの以前のデータユニットに基づいて行われることを特徴とする請求項３８に記載の方法。
予測符号化に使用される以前のデータユニットを、所定データユニットを中心に回転する方向にスキャンするステップを更に含むことを特徴とする請求項３８に記載の方法。
前記所定データユニットは、前記関心領域の中心に位置することを特徴とする請求項４０に記載の方法。
データユニットが現在データユニットを取り囲む少なくとも一つのリング状になるようにスキャンする関心領域指向スキャン方式により、現在データユニットの以前にスキャンされた複数の以前のデータユニットのうち、前記現在データユニットの予測符号化のための少なくとも一つの参照データユニットを決定する装置において、
前記現在データユニットと隣接し、前記現在データユニットより以前にスキャンされた複数のデータユニットのうち、少なくとも一つを選択する以前のデータユニット選択部と、
前記選択された少なくとも一つの以前にスキャンされたデータユニットのうち、予測符号化特徴により少なくとも一つの参照データユニットを決定する参照データユニット決定部と、を備え、
前記現在データユニットは、前記決定された少なくとも一つの参照データユニットにより所定の方法を利用して予測符号化されることを特徴とする装置。
前記現在データユニットと隣接し、前記現在データユニットより以前にスキャンされた複数のデータユニットのうち、選択された少なくとも一つのデータユニットのそれぞれは、前記現在データユニットと水平、垂直または対角線方向に隣接することを特徴とする請求項４２に記載の装置。
前記現在データユニットは、前記現在データユニットに隣接した、以前にスキャンされた少なくとも二つのデータユニットのそれぞれに対するモーションベクトル値を統計的に分析して決定された現在データユニットのモーションベクトル予測値に基づいて予測符号化することを特徴とする請求項４３に記載の装置。
前記現在データユニットの周辺のデータユニットを、同一中心を有して関心領域の周辺部に向って拡張され、前記現在データユニットを取り囲む複数の連結されたリングを関心領域に含ませる回転方向にスキャンすることを特徴とする請求項４３に記載の装置。
前記現在データユニットは、現在のリングと以前のリングとを連結するデータユニットであり、
前記予測符号化は、前記現在データユニットと隣接し、前記現在データユニットより以前にスキャンされた二つの以前のデータユニットに基づいて行われることを特徴とする請求項４４に記載の装置。
予測符号化に使用される以前のデータユニットを、所定データユニットを中心に回転する方向にスキャンすることを特徴とする請求項４５に記載の装置。
前記所定データユニットは、前記関心領域の中心に位置することを特徴とする請求項４７に記載の装置。