JP2005510150A - より大きな画素グリッド動き補償を利用した複雑さが減少されたビデオ復号化 - Google Patents
より大きな画素グリッド動き補償を利用した複雑さが減少されたビデオ復号化 Download PDFInfo
- Publication number
- JP2005510150A JP2005510150A JP2003545044A JP2003545044A JP2005510150A JP 2005510150 A JP2005510150 A JP 2005510150A JP 2003545044 A JP2003545044 A JP 2003545044A JP 2003545044 A JP2003545044 A JP 2003545044A JP 2005510150 A JP2005510150 A JP 2005510150A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- pixel
- pixel motion
- vector
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 230000026676 system process Effects 0.000 abstract 1
- 238000013139 quantization Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
復号化処理の間に、動き補償の計算をスケールダウンすることにより、MPEGディジタルビデオ復号化システムの計算の複雑さを減少させる方法及びシステムが提供される。ビデオ処理システムは、複数のマクロブロックをこれに関連する動きベクトルと共に含む入力されるMPEGビデオ信号を処理する。非全画素ベクトルは、奇数番号のベクトルを近接する偶数番号のベクトルに丸めることにより、Pフレーム及びBフレームにおいて、又はP及びBフレームの組み合わせにおいて、全画素動きベクトルに変換される。次いで、前記変換された全画素動きベクトルに基づいて、動き補償されたMPEGビデオ画像が実行される。結果として、内挿に関連するかなりの計算オーバヘッドが望ましく回避される。
Description
本発明は、圧縮されたビデオ情報の画像処理に関し、より詳細には、MPEG復号化器の計算負荷を調節するための方法及びシステムに関する。
伝送効率を改善するため、大量のデータを含む画像は典型的に圧縮され、次いで符号化されたビデオデータを復号するように動作可能な復号化器に伝送媒体を通して伝送される。従って、動画ビデオを提供するために、圧縮されたビデオ情報を迅速に及び効率的に復号化することが非常に望ましい。ビデオ情報を圧縮及び復元するために普及した1つの圧縮規格は、ビデオ符号化及び復号化のための動画専門家グループ(MPEG)規格である。MPEG規格は国際規格ISO/IEC11172−1「Information Technology − Coding of moving pictures and associated audio for digital storage media at up to 1.5 Mbit/s」の第1版(1993年8月1日)第1、2及び3部において定義されており、参照によってその全体が本明細に組み込まれたものとする。
一般に、フレームの処理の計算負荷は、MPEG2復号化器プロセッサにおける復号化アルゴリズムによっては制約を受けない。しかしながら、MPEG2復号化の不規則な計算負荷の振舞のために、フレームの計算負荷のピークはメディアプロセッサの最大CPU負荷を超え、これによりフレームドロップ又は予期せぬ効果を起こし得る。結果として、エンジニアがメディアプロセッサにMPEG復号化を実装するときは、該エンジニアは、前記計算負荷のピークが発生した場合にも円滑に動作するために、平均復号化計算負荷を超えて40%乃至50%の動作マージンを持つプロセッサを選択する必要がある。望ましくない計算負荷のピークはしばしば起こるわけではないため、このタイプの実装は経済的でなく、リソースの浪費を引き起こす。
MPEG2においては、標準的な復号化器は常に、動きベクトルのタイプに従って動き補償(MC)を実行し、これは多くの一般のビデオ復元方法において最も計算的に激しい動作の1つである。動きベクトルは参照フレームから現在のフレームへのビデオデータにおけるオブジェクト(即ちマクロブロック)の動きを定義する。各動きベクトルは、水平成分(「x」)と垂直成分(「y」)とから成る。各成分は、参照フレームと現在のフレームとの間の時間に前記オブジェクトが移動した距離を表す。従って、殆どのMPEG2復号化器は、動き補償演算を処理するかなりの計算負荷を必要とし、メディアプロセッサの最大CPU負荷を超えさせる。それ故、メディアプロセッサ又は節電装置に実装されたMPEG2復号化器におけるMC演算を減少させることができる、減少された復号化方式を提供するニーズがある。
本発明は、復号化処理の間の動き補償の計算をスケールダウンすることにより、MPEGディジタルビデオ復号化システムの計算の複雑さを減少させる方法及びシステムに向けたものである。
本発明の態様によれば、前記方法は、MPEGビデオ信号が非全画素(non full-pel)動きベクトルを含むか否かを決定するステップと、前記MPEGビデオ信号が非全画素(full-pel)動きベクトルを含む場合、奇数ベクトルを近接する偶数ベクトルに丸めることにより前記非全画素動きベクトルを全画素動きベクトルに変換するステップと、前記変換された全画素動きベクトルに基づいて動き補償されたMPEGビデオピクチャを生成するステップとを含む。前記非全画素動きベクトルは、4分の1画素(quarter-pel)動きベクトル、半画素(half-pel)動きベクトル及び分数画素(fractional-pel)動きベクトルのうちの1つであっても良い。非全画素動きベクトルから全画素動きベクトルへの変換は、Pフレーム及びBフレーム上で、又はP及びBフレームの組み合わせにおいて実行される。
本発明の他の態様によれば、可変長符号復号化器、逆量子化器、逆離散コサイン変換器、動き補償器及び複雑さ選択器を持つタイプのMPEGディジタルビデオ復号化器を利用して、符号化されたデータビデオ信号の復号化効率を改善する方法は、前記可変長符号復号化器において関連する動きベクトルを持つ圧縮されたビデオデータストリームを受信し、該ストリームから復号化されたデータを生成するステップと、同時に、前記復号化されたデータから動きベクトルのタイプを決定するステップと、逆量子化され復号化されたデータを生成するために、前記逆量子化器を利用して前記復号化されたデータを逆量子化するステップと、差分データを生成するため、前記量子化され復号化されたデータを周波数ドメインから空間ドメインへ変換するために前記逆離散コサイン変換器を利用するステップと、参照データを生成するため、動きベクトルのタイプにかかわらず全てのマクロブロックに対して全画素動き補償を実行するために前記動き補償器を利用するステップと、動き補償された画像を生成するため、前記参照データと前記差分データとを結合するステップとを含む。前記圧縮されたビデオデータストリームはディジタル画素データのアレイから形成される複数のマクロブロックを含んでも良く、全画素動き補償は動きベクトルのタイプにかかわらず全マクロブロックに対して実行される。
本発明の更に他の態様によればシステムは、関連する動きベクトルと共にMPEGビデオ信号のストリームを受信し復号化するように構成され、前記復号化されたMPEGビデオ信号から量子化されたデータを出力するように動作可能な可変長復号化器と、前記符号化されたMPEGビデオ信号から動きベクトルのタイプを検出し、前記検出された動きベクトルを全画素動きベクトルに変換するように構成される複雑さ選択器と、前記受信された量子化されたデータを有効に逆量子化するため前記可変長復号化器の出力を受信するために結合された逆量子化器と、前記逆量子化されたデータを周波数ドメインから空間ドメインへ変換するために前記逆量子化器の出力部と結合された逆離散コサイン変換器と、動きベクトルのタイプにかかわらず全画素動き補償を実行するために前記複雑さ選択器の出力部と結合された動き補償器と、動き補償された画像を形成するため、前記動き補償器及び前記逆離散コサイン変換器からの出力信号を受信する加算器とを含む。
本発明の以上の及び他の特徴及び利点は、以下の添付する図において示される好適な実施例のより詳細な説明より明らかとなるであろう。ここで種々の図を通して参照記号は同一の部分を指す。図は必ずしも一定の縮尺ではなく、代わりに本発明の原理を説明することが重要視されている。
本発明の方法及び装置のより完全な理解は、添付する図と共に為される以下の詳細な説明を参照することにより可能となるであろう。
以下の記載において、限定ではなく説明の目的で、本発明の完全な理解を提供するために、特定のアーキテクチャ、インタフェース、手法等のような特定の詳細が明示される。簡単さ及び明確さの目的のため、本発明の説明を不要な詳細によって不明瞭にしないように、良く知られた装置、回路及び方法の詳細な説明は省かれる。
図1は、本発明が実装され得る例となるビデオ通信システムを示す。図1に示されるように、前記ビデオ通信システムはディジタルテレビジョンユニット2、放送者4及び伝送媒体5を含む。好適な実施例は、高詳細度(HDTV)テレビジョンシステムのようなディジタルテレビジョンシステムに関連して説明されるが、本発明は他のタイプのビデオ機器においても利用されることができることは留意されるべきである。放送者4は、テレビジョン信号をディジタルテレビジョンユニット2に送信するように動作可能なテレビ局又はスタジオであっても良い。伝送媒体5は従来のケーブル、同軸ケーブル、光ファイバケーブル、無線周波(RF)リンク等であっても良く、これらによってテレビジョン信号が放送者4とディジタルテレビジョンユニット2との間を伝送され得る。ビデオデータ、オーディオデータ及び制御データから成る前記テレビジョン信号は、放送者4の伝送端において圧縮又は符号化され、テレビジョンユニット2の受信端において表示のために復号化器によってビットストリームに復元される。
本発明の理解を容易にするために、MPEG2に関連する背景情報が図2と共に説明される。図2に示されるように、MPEG規格による符号フォーマットの階層構造が示される。前記構造の最上層は、複数のGOP(ピクチャの群(group of picture))から成るビデオシーケンスを有する。ここでピクチャは1シートの画像に対応する。各ピクチャは複数のスライスに分割され、各スライスは左から右及び上から下へ列に配置された複数のマクロブロックから成る。前記マクロブロックのそれぞれは6つの成分、即ち16×16画素のマクロブロックを構成する4つの8×8画素ブロックの輝度を表す4つの輝度成分Y1からY4、及び同一のマクロブロックについて8×8画素ブロックの色(U、V)構成差分成分Cb及びCrから成る。最後に、8×8画素のブロックはビデオ符号化において最小の単位である。
MPEG2符号化は、画像をそれぞれ関連する別個の量子化スケール値を持つ16×16画素のマクロブロックに分割することにより前記画像に対して実行される。前記マクロブロックは個々の8×8画素のブロックに更に分割される。前記マクロブロックの8×8画素ブロックのそれぞれは、該ブロックにおける64個の周波数帯域のそれぞれについて離散コサイン変換(DCT)係数を生成するためDCTにかけられる。8×8画素ブロックにおけるDCT係数は次いで対応する符号化パラメータ、即ち量子化重みによって除算される。所定の8×8画素ブロックについての量子化重みは、8×8量子化行列によって表現される。その後、数ある中でも量子化スケール値を考慮に入れるためDCT係数に対して付加的な算出が実行され、それによってMPEG2符号化が完了される。JPEG等のような他の符号化手法が本発明において利用されても良いことは留意されるべきである。
DCTベースの符号化方法により符号化されたビットストリーム(又はMPEGビットストリーム)からの従来のDCTベースの画像回復は図3を参照しながら説明される。図3は、MPEG符号から画像符号を回復させることが可能な略回路図を示す。符号又は入力されるビットストリームのそれぞれは、ビットストリーム解析器12を利用して、符号のタイプを検出するために解析される。MPEG符号においては、前記符号は以下の3つのタイプに分割される。即ち(1)Iピクチャとして符号内ピクチャを定義するフレーム内の符号化された符号、(2)Pピクチャとして予測的な符号化されたピクチャを構成するために先行するフレームのみから予測されたフレーム間の符号化された符号、及び(3)Bピクチャとして予測的な符号化されたピクチャを双方向的に構成するために先行する及び後続するフレームから予測されたフレーム間の符号化された符号、である。Iフレーム即ち実際のビデオ参照フレームは、周期的に、即ち15個のフレームのそれぞれについて1つの参照フレームというように符号化される。次の参照フレームより特定の数だけ前及び後に配置されるべきビデオフレーム、Pフレームの構成の予測が為される。Bフレームは、IフレームとPフレームとの間に、又は過去の参照フレームにおけるマクロブロックを将来の参照フレームにおけるマクロブロックを用いて内挿(平均化)することにより予測される。現在のフレーム内のマクロブロックに対する参照フレーム内のマクロブロックの相対位置を規定する動きベクトルも符号化される。
再び図3を参照すると、検出された符号がIピクチャのものであった場合、前記検出された符号は復号化器14を用いて復号化され、次いで逆量子化器16を用いて逆量子化される。その後、前記ピクチャが分割されたブロック中の画素の値は、逆DCT(IDCT)ブロック18を用いて逆DCT処理により算出され、その後前記算出された値は前記ピクチャを表示するためにビデオメモリ20に送られ保存される。前記検出された符号がPピクチャのものであった場合、前記検出された符号は復号化及び逆量子化され、次いで前記ブロックの差分が算出される。各差分は、順方向予測器26によって、先行するフレーム段22において保存された先行するフレームの対応する動き補償されたブロックに加算され、次いで結果として生じた拡張されたビデオデータは前記画像を表示するためにビデオメモリ20に書き込まれる。前記検出された符号がBピクチャのものであった場合、前記検出された符号は復号化及び逆量子化される。前記ブロックの差分はIDCT18を用いて算出される。このとき各差分は、双方向予測器28又は逆方向予測器30によって、先行するフレーム段22に保存された先行するフレームの対応する動き補償されたブロック、及び後続するフレーム段22に保存された後続するフレームの動き補償されたブロックに加算される。結果として生じた拡張されたビデオデータは次いで前記画像を表示するためにビデオメモリ20に保存される。
上述したように、国際標準MPEG符号に準拠するいずれのビデオデータも、MPEG符号から画像を回復することができる。復号化処理の後本発明は、動き補償回路の計算負荷をスケールダウンすることにより、ビデオ復号化演算の計算を減少させるメカニズムを提供する。本発明の基本的な原理は、動き補償演算の間に、低レベルの画素グリッドモードを高レベルの画素グリッドモードに変化させることにより、MCアルゴリズムを簡単化することにある。
動き補償ベースのビデオ符号化においては動きベクトルは、整数値を持ち、(即ち全画素符号化)現在のフレームにおける画素の値が参照フレームにおける実際の画素の値によって規定されるか、又は半整数値(即ち半画素符号化)、4分の1整数値(即ち4分の1画素符号化)及び分数値(即ち分数画素符号化)を持ち、現在のフレームにおける画素の値が前記参照フレームにおいて存在する画素から内挿された「仮想的な」画素によって規定されることができる。これらのタイプの符号化システムは当業者には良く知られている。従ってその説明は冗長さを避けるために省かれる。半画素動き補償、4分の1画素動き補償及び分数画素動き補償は、全画素動き補償よりも計算的に大量となる。なぜなら復号化器が、それぞれ半画素、4分の1画素、分数画素グリッドを利用して動きベクトルにより参照された以前のマクロブロックからマクロブロックを内挿する必要があるからである。
反対に、本発明による復号化器は、動きベクトルのタイプにかかわらず、全てのマクロブロックに対して全画素動き補償を実行するように構成される。例えば、動きベクトルが半画素ベクトルである場合、本発明のMCアルゴリズムは、P及びBフレームの両方において又はBフレームのみにおいて、動き補償の間に前記半画素ベクトルを全画素ベクトルに変換する。動きベクトルが4分の1画素ベクトルである場合、本発明のMCアルゴリズムは、P及びBフレームの両方において又はBフレームのみにおける動き補償において、該ベクトルを全画素ベクトルとして又は任意に半画素ベクトルとして取り扱う。復号化器におけるMC演算を減少させるために選択的に動きベクトルをスケールダウンすることにより、本発明は、許容可能な視像品質に対して優れた視像品質を提供しつつ、復号化処理の間、より少ないCPUサイクル及びメモリアクセスを利用することが可能である。
図4は、本発明の実施例による入力されるビデオ信号を復号化することが可能なMPEGビデオ復号化器14の主な成分を示す。入力されるデータの圧縮は、本発明の復号化器14への到着に先立って実行されることは理解されるべきである。ビデオデータを圧縮することは、例えば、MPEG2符号化処理の下で明示した規格に従って人間の視覚系が無感覚な情報を廃棄することによってなど、種々の方法で実行されることができる当業者には良く知られたものである。MPEGビデオ復号化器14は可変長復号化器(VLC)40、逆走査/量子化回路42、逆離散コサイン変換(IDCT)回路44、加算器46、動き補償モジュール48、フレーム記憶装置50及び複雑さスケール選択器52を含む。
動作において、復号化器14は、VLC復号化器40に供給される圧縮されたビデオ情報のストリームを受信する。VLC復号化器40は、逆走査(又はジグザグ)/量子化(IQ/IZ)回路42に可変長の復号化された信号を供給するため、前記圧縮された信号の可変長の符号化された部分を復号化する。該回路42は、ジグザグ形の復号化された信号を供給するため前記可変長の復号化された信号を復号化する。前記ジグザグ形の復号化された信号は次いで、連続的な情報のブロックとして、逆DCT回路44に供給される。該逆DCT回路44は、復元された画素値又は復元された誤り項を供給するため、ブロック毎に前記ジグザグ形の復号化されたビデオ信号に対して逆離散コサイン変換を実行する。前記復元された画素値は加算器46に供給される。
その間、動き補償回路48は動き情報を受信し、マクロブロック毎に動き補償された画素を加算器46に供給する。より詳細には、以前のピクチャにおける画素を変換するために順方向動きベクトルが利用され、将来のピクチャにおける画素を変換するために逆方向動きベクトルが利用される。次いでこの情報は、逆DCT回路44によって供給された前記復元された誤り項によって補償される。ここで、動き補償回路48は、フレーム記憶装置50から以前のピクチャ情報及び将来のピクチャ情報にアクセスする。前記以前のピクチャ情報は次いで、順方向に動き補償された画素のマクロブロックを供給するために動き補償48によって順方向に動き補償される。前記将来のピクチャ情報は、逆方向に動き補償された画素のマクロブロックを供給するために動き補償回路48によって逆方向に動き補償される。これら2つのマクロブロックの平均化は、双方向の動き補償されたマクロブロックを生じる。次いで加算器46は、フレームが終了するまで、復元されたビデオ情報及び動き補償された画素を受信する。ブロックが予測されたマクロブロックに属さない場合(例えばIマクロブロックの場合)、これらの画素値は変化されずにフレーム記憶装置50に供給される。しかしながら、前記予測されたマクロブロックについては(例えばBマクロブロック及びPマクロブロック)、加算器46は、出力画素値を生成するため、動き補償回路48から、順方向動き補償及び逆方向動き補償出力に復元された誤りを加算する。
複雑さスケール選択器52は、動き補償回路48内の計算的な負荷の推定を検証する。複雑さスケール選択器52の機能は、実際にMPEG2復号化ブロックを実行する前に(VLD演算を除く)、現在のフレーム、スライス又はマクロブロックの計算的な負荷を調節することである。即ち、本発明の復号化器14は、より低い分解能に動きベクトルをスケールダウンさせることによりスケーラビリティを提供し、これにより利用可能なコンピュータのリソース、即ちMC48のより少ないCPUサイクル及びメモリの利用が用いられる。このことを達成するため、複雑さスケール選択器52は、MC24の計算的な複雑さを適応的に制御するため入力される信号を検出し、これにより以下に説明されるように、より少ない計算の負荷が復号化器14に引き起こされる。
図5は、半画素動き推定(点線で示される)及び全画素動き推定(実線で示される)の両方について、関連する参照画像データの位置のグラフィカルな表現を示す。図5に示されるように、位置1乃至8(円)は位置0を囲む全画素グリッドに対応し、位置1’乃至8’(四角)は位置0を囲む半画素位置に対応する。サブ画素のグリッド上にある参照マクロブロックの検査に際し、好適な実施例においては前記グリッドは近接する偶数グリッドに繰り上げられる。代替として、前記グリッドは近接する奇数のグリッドに繰り上げられても良いし、近接する偶数のグリッドか又は奇数のグリッドのいずれかにランダム的に繰り上げられても良い。例えば、半画素動きベクトル(7,2)が検出された場合、複雑さスケール選択器52は該ベクトルを全画素ベクトル(6,2)又は(8,2)に繰り上げても良い。半画素動きベクトル(3,5)が検出された場合、複雑さスケール選択器52は該ベクトルを全画素ベクトル(2,4)、(4,6)又は(4,4)に繰り上げても良い。この繰り上げ規則は、好適な実施例においては、P及びBフレームに適用されるか、又はBフレームのみに適用される。複雑さスケール選択器52によって全てのサブ画素レベルのグリッドを全画素グリッドに繰り上げた後、いずれの内挿された参照画像データをも生成することなく、前記繰り上げられた全画素動きベクトルによって参照された以前のマクロブロックからマクロブロックを取得することにより動き補償が実行される。従って、本発明のMCアルゴリズムは、半画素又は4分の1画素動き補償の実装に伴う計算的な負荷を回避する。
本発明は主に半画素動き補償に関して説明されたが、本発明は、X又はY方向に1画素よりも多く繰り上げることにより、分数画素動き推定アルゴリズムにも適用されることができる。更に本発明は、フロッピー(登録商標)ディスク、CD−ROM、ハードドライブ又は他のいずれの機械読み込み可能な記憶媒体のような有形の媒体において実施化されたプログラムコードの形態で実施化されることもできる。ここで前記プログラムコードがコンピュータのような機械にロードされ該機械によって実行されるとき、前記機械は本発明を実践するための装置となる。更に本発明は、例えば記憶媒体に保存され、機械にロードされ及び/又は該機械によって実行されるか、又は電線又はケーブルによって、光ファイバを通して、若しくは電磁放射を介してのように何らかの伝送媒体によって伝送されるかどうかを問わず、プログラムコードの形態で実施化されることができる。ここで前記プログラムコードがコンピュータのような機械によってロードされ該機械によって実行されるとき、前記機械は本発明を実践するための装置となる。汎用プロセッサにおいて実装されるとき、前記プログラムコードのセグメントは、特定の論理回路に類似して動作する一意な装置を提供するために、前記プロセッサと結合する。前記プログラムコードは、前記プロセッサによって実行されるとき、前記プロセッサにここで上述したような本発明の機能を実行させる。
図6は、ユーザ推薦を提供するための、本発明によって実行される処理を示すフロー図である。長方形の要素はコンピュータソフトウェア命令を示し、一方菱形の要素は、前記長方形の要素によって表されるコンピュータソフトウェア命令の実行に作用するコンピュータソフトウェア命令を表す。このフロー図はハードウェアの実施例にも一般的に適用可能である。
最初に、圧縮されたビデオ情報のストリームが本発明の復号化器14によって受信される。ステップ100において、複雑さスケール選択器52はここで受信されたマクロブロックタイプの情報のフォーマットを解析し、ステップ120において、全画素グリッドが検出されたか否かの決定を為す。即ち、複雑さスケール選択器52は、現在のフレーム情報と復号化器14の利用可能な計算リソースとに基づいて、MC48について性能の異なる段階を決定する。全画素グリッドが検出された場合、ステップ160において、動き補償回路48は、内挿なしに前記全画素グリッドに基づき動き補償を実行する。しかしながら、全画素グリッドが検出されていない場合、ステップ140において、非全画素グリッドが全画素グリッドに繰り上げられる。その後ステップ160において、全画素動きベクトルによって参照された以前のマクロブロックからマクロブロックを取得することにより動き補償が実行される。
本発明の好適な実施例が示され説明されたが、種々の変化及び変更が為されても良く、同等物が本発明の真の範囲から逸脱することなく本実施例の要素の代替となり得ることは、当業者には理解されるであろう。それ故、本発明は本発明を実行するために企図されたベストモードとして開示された特定の実施例に限定されるものではなく、本発明は添付される請求項の範囲にある全ての実施例を包含することが意図されている。
Claims (15)
- 表示のためのMPEGビデオ信号を復号化する方法であって、
前記MPEGビデオ信号が非全画素動きベクトルを含むか否かを決定するステップと、
前記MPEGビデオ信号が非全画素動きベクトルを含む場合、前記非全画素動きベクトルを全画素動きベクトルに変換するステップと、
前記変換された全画素動きベクトルに基づいて動き補償されたMPEGビデオピクチャを生成するステップと、
を有する方法。 - 前記非全画素動きベクトルは、4分の1画素動きベクトル、半画素動きベクトル及び分数画素動きベクトルのうちの1つを有する、請求項1に記載の方法。
- 前記MPEGビデオ信号が前記全画素動きベクトルを含む場合、前記全画素動きベクトルに基づいて動き補償されたMPEGビデオピクチャを生成するステップを更に有する、請求項1に記載の方法。
- ディジタル画素データのアレイから形成される複数のマクロブロックを含む圧縮されたビデオデータストリームを復号化するステップと、動きベクトルのタイプにかかわらず全てのマクロブロックに対して全画素動き補償を実行するステップとを更に有する、請求項1に記載の方法。
- 前記非全画素動きベクトルを全画素動きベクトルに変換するステップは更に、奇数ベクトルを近接する偶数ベクトルに丸めるステップを更に有する、請求項1に記載の方法。
- 前記非全画素動きベクトルを全画素動きベクトルに変換するステップは、Pフレーム、Bフレーム、並びにP及びBフレームの組み合わせのうちの1つに対して実行される、請求項1に記載の方法。
- 可変長符号復号化器、逆量子化器、逆離散コサイン変換器、動き補償器及び複雑さ選択器を持つMPEGディジタルビデオ復号化器を利用して、符号化されたデータビデオ信号の復号化効率を改善する方法であって、
前記可変長符号復号化器において関連する動きベクトルを持つ圧縮されたビデオデータストリームを受信し、該ストリームから復号化されたデータを生成するステップと、
同時に、前記復号化されたデータから動きベクトルのタイプを決定するステップと、
逆量子化され復号化されたデータを生成するために、前記逆量子化器を利用して前記復号化されたデータを逆量子化するステップと、
差分データを生成するため、前記量子化され復号化されたデータを周波数ドメインから空間ドメインへ変換するために前記逆離散コサイン変換器を利用するステップと、
参照データを生成するため、動きベクトルのタイプにかかわらず全てのマクロブロックに対して全画素動き補償を実行するために前記動き補償器を利用するステップと、
動き補償された画像を生成するため、前記参照データと前記差分データとを結合するステップと、
を有する方法。 - 前記復号化されたデータから動きベクトルのタイプを決定するステップは更に、前記動きベクトルが4分の1画素動きベクトル、半画素動きベクトル及び分数画素動きベクトルのうちの1つであるか否かを決定するステップを有する、請求項7に記載の方法。
- 前記動きベクトルを全画素動きベクトルに変換するステップを更に有する、請求項8に記載の方法。
- 前記動きベクトルを前記全画素動きベクトルに変換するステップは更に、奇数ベクトルを近接する偶数ベクトルに丸めるステップを有する、請求項9に記載の方法。
- 前記動きベクトルを前記全画素動きベクトルに変換するステップは、Pフレーム、Bフレーム並びにP及びBフレームの組み合わせのうちの1つに対して実行される、請求項10に記載の方法。
- 関連する動きベクトルと共にMPEGビデオ信号のストリームを受信し復号化するように構成され、前記復号化されたMPEGビデオ信号から量子化されたデータを出力するように動作可能な可変長復号化器と、
前記符号化されたMPEGビデオ信号から動きベクトルのタイプを検出し、前記検出された動きベクトルを全画素動きベクトルに変換するように構成される複雑さ選択器と、
前記受信された量子化されたデータを有効に逆量子化するため前記可変長復号化器の出力を受信するために結合された逆量子化器と、
前記逆量子化されたデータを周波数ドメインから空間ドメインへ変換するために前記逆量子化器の出力部と結合された逆離散コサイン変換器と、
動きベクトルのタイプにかかわらず全画素動き補償を実行するために前記複雑さ選択器の出力部と結合された動き補償器と、
動き補償された画像を形成するため、前記動き補償器及び前記逆離散コサイン変換器からの出力信号を受信する加算器と、
を有するプログラム可能なビデオ復号化システム。 - 前記動きベクトルのタイプは、4分の1画素動きベクトル、半画素動きベクトル及び分数画素動きベクトルのうちの1つを有する、請求項12に記載のシステム。
- 前記複雑さ選択器は、奇数ベクトルを近接する偶数ベクトルに丸めることにより、前記動きベクトルを前記全画素動きベクトルに変換する、請求項12に記載のシステム。
- 前記複雑さ選択器は、該選択器において受信されたPフレーム、Bフレーム、並びにP及びBフレームの組み合わせのうちの1つに対して、前記動きベクトルを前記全画素ベクトルに変換する、請求項12に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/996,004 US20030095603A1 (en) | 2001-11-16 | 2001-11-16 | Reduced-complexity video decoding using larger pixel-grid motion compensation |
PCT/IB2002/004536 WO2003043344A2 (en) | 2001-11-16 | 2002-10-25 | Reduced-complexity video decoding using larger pixel-grid motion compensation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005510150A true JP2005510150A (ja) | 2005-04-14 |
Family
ID=25542410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003545044A Pending JP2005510150A (ja) | 2001-11-16 | 2002-10-25 | より大きな画素グリッド動き補償を利用した複雑さが減少されたビデオ復号化 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20030095603A1 (ja) |
EP (1) | EP1449384A2 (ja) |
JP (1) | JP2005510150A (ja) |
KR (1) | KR20040054776A (ja) |
CN (1) | CN1589576A (ja) |
AU (1) | AU2002339656A1 (ja) |
WO (1) | WO2003043344A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006118114A1 (ja) * | 2005-04-27 | 2006-11-09 | Nec Corporation | 画像復号方法、その装置及びプログラム |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101448162B (zh) * | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
US7305034B2 (en) * | 2002-04-10 | 2007-12-04 | Microsoft Corporation | Rounding control for multi-stage interpolation |
US7620109B2 (en) * | 2002-04-10 | 2009-11-17 | Microsoft Corporation | Sub-pixel interpolation in motion estimation and compensation |
US20050013498A1 (en) * | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
US7499495B2 (en) * | 2003-07-18 | 2009-03-03 | Microsoft Corporation | Extended range motion vectors |
US7317839B2 (en) * | 2003-09-07 | 2008-01-08 | Microsoft Corporation | Chroma motion vector derivation for interlaced forward-predicted fields |
US7567617B2 (en) * | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
US7599438B2 (en) * | 2003-09-07 | 2009-10-06 | Microsoft Corporation | Motion vector block pattern coding and decoding |
US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
CN1860787A (zh) * | 2003-09-29 | 2006-11-08 | 手持娱乐公司 | 用于编码信息的方法和装置 |
US20060227880A1 (en) * | 2004-06-18 | 2006-10-12 | Stephen Gordon | Reducing motion compensation memory bandwidth through filter utilization |
TWI239474B (en) * | 2004-07-28 | 2005-09-11 | Novatek Microelectronics Corp | Circuit for counting sum of absolute difference |
JP2006101321A (ja) * | 2004-09-30 | 2006-04-13 | Toshiba Corp | 情報処理装置および同装置で用いられるプログラム |
DE602005015067D1 (de) * | 2004-09-30 | 2009-08-06 | Toshiba Kk | Informationsbearbeitungsgerät und Programm |
US7986846B2 (en) * | 2004-10-26 | 2011-07-26 | Samsung Electronics Co., Ltd | Apparatus and method for processing an image signal in a digital broadcast receiver |
TWI295540B (en) * | 2005-06-15 | 2008-04-01 | Novatek Microelectronics Corp | Motion estimation circuit and operating method thereof |
US8780997B2 (en) * | 2005-11-18 | 2014-07-15 | Apple Inc. | Regulation of decode-side processing based on perceptual masking |
US20070217515A1 (en) * | 2006-03-15 | 2007-09-20 | Yu-Jen Wang | Method for determining a search pattern for motion estimation |
KR101365574B1 (ko) * | 2007-01-29 | 2014-02-20 | 삼성전자주식회사 | 영상 부호화 방법 및 장치, 복호화 방법 및 장치 |
JP5195032B2 (ja) * | 2008-05-28 | 2013-05-08 | 富士通株式会社 | 符号化装置/復号化装置、符号化方法/復号化方法及びプログラム |
US8917769B2 (en) | 2009-07-03 | 2014-12-23 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
US9654792B2 (en) | 2009-07-03 | 2017-05-16 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
WO2012045225A1 (en) * | 2010-10-06 | 2012-04-12 | Intel Corporation | System and method for low complexity motion vector derivation |
EP2656610A4 (en) | 2010-12-21 | 2015-05-20 | Intel Corp | SYSTEM AND METHOD FOR EXTENDED DMVD PROCESSING |
US9325991B2 (en) * | 2012-04-11 | 2016-04-26 | Qualcomm Incorporated | Motion vector rounding |
US9774881B2 (en) | 2014-01-08 | 2017-09-26 | Microsoft Technology Licensing, Llc | Representing motion vectors in an encoded bitstream |
US9749642B2 (en) | 2014-01-08 | 2017-08-29 | Microsoft Technology Licensing, Llc | Selection of motion vector precision |
US9942560B2 (en) | 2014-01-08 | 2018-04-10 | Microsoft Technology Licensing, Llc | Encoding screen capture data |
US9922173B2 (en) * | 2014-09-18 | 2018-03-20 | Claydo Lab Ltd. | Digital rights management |
US10318317B2 (en) | 2017-05-12 | 2019-06-11 | Tenstorrent Inc. | Processing core with operation suppression based on contribution estimate |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3575508B2 (ja) * | 1996-03-04 | 2004-10-13 | Kddi株式会社 | 符号化動画像再生装置 |
US6144698A (en) * | 1996-10-31 | 2000-11-07 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Digital video decoder and method of decoding a digital video signal |
KR100249229B1 (ko) * | 1997-08-13 | 2000-03-15 | 구자홍 | 에이치디티브이의 다운 컨버젼 디코딩 장치 |
EP0919952A1 (en) * | 1997-11-28 | 1999-06-02 | Ecole Polytechnique Federale De Lausanne | Method for coding/decoding of a digital signal |
US6266373B1 (en) * | 1998-06-15 | 2001-07-24 | U.S. Philips Corporation | Pixel data storage system for use in half-pel interpolation |
US6487249B2 (en) * | 1998-10-09 | 2002-11-26 | Matsushita Electric Industrial Co., Ltd. | Efficient down conversion system for 2:1 decimation |
US6584154B1 (en) * | 1998-11-26 | 2003-06-24 | Oki Electric Industry Co., Ltd. | Moving-picture coding and decoding method and apparatus with reduced computational cost |
US6295089B1 (en) * | 1999-03-30 | 2001-09-25 | Sony Corporation | Unsampled hd MPEG video and half-pel motion compensation |
US6876703B2 (en) * | 2000-05-11 | 2005-04-05 | Ub Video Inc. | Method and apparatus for video coding |
KR100370076B1 (ko) * | 2000-07-27 | 2003-01-30 | 엘지전자 주식회사 | 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법 |
US6909750B2 (en) * | 2001-05-01 | 2005-06-21 | Koninklijke Philips Electronics N.V. | Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing |
US7170932B2 (en) * | 2001-05-11 | 2007-01-30 | Mitsubishi Electric Research Laboratories, Inc. | Video transcoder with spatial resolution reduction and drift compensation |
US6983017B2 (en) * | 2001-08-20 | 2006-01-03 | Broadcom Corporation | Method and apparatus for implementing reduced memory mode for high-definition television |
-
2001
- 2001-11-16 US US09/996,004 patent/US20030095603A1/en not_active Abandoned
-
2002
- 2002-10-25 KR KR10-2004-7007388A patent/KR20040054776A/ko not_active Application Discontinuation
- 2002-10-25 CN CNA028228502A patent/CN1589576A/zh active Pending
- 2002-10-25 AU AU2002339656A patent/AU2002339656A1/en not_active Abandoned
- 2002-10-25 JP JP2003545044A patent/JP2005510150A/ja active Pending
- 2002-10-25 EP EP02777706A patent/EP1449384A2/en not_active Withdrawn
- 2002-10-25 WO PCT/IB2002/004536 patent/WO2003043344A2/en not_active Application Discontinuation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006118114A1 (ja) * | 2005-04-27 | 2006-11-09 | Nec Corporation | 画像復号方法、その装置及びプログラム |
US8223840B2 (en) | 2005-04-27 | 2012-07-17 | Nec Corporation | Image decoding method of decoding hierarchy-encoded image data in respective hierarchies, and a device thereof |
JP5019054B2 (ja) * | 2005-04-27 | 2012-09-05 | 日本電気株式会社 | 画像復号方法、その装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20030095603A1 (en) | 2003-05-22 |
CN1589576A (zh) | 2005-03-02 |
WO2003043344A3 (en) | 2004-06-10 |
WO2003043344A2 (en) | 2003-05-22 |
KR20040054776A (ko) | 2004-06-25 |
EP1449384A2 (en) | 2004-08-25 |
AU2002339656A1 (en) | 2003-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005510150A (ja) | より大きな画素グリッド動き補償を利用した複雑さが減少されたビデオ復号化 | |
JP3861698B2 (ja) | 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム | |
JP4393875B2 (ja) | 複雑さの軽減された復号化に適したシングルレイヤビデオ符号化されたビットストリームを供給するシステム及び方法 | |
JP2005184042A (ja) | 画像復号装置及び画像復号方法並びに画像復号プログラム | |
US8903184B2 (en) | Image-encoding method, image-encoding device, and computer-readable recording medium storing image-encoding program | |
JP2001145113A (ja) | 画像情報変換装置及び方法 | |
JP2002125236A (ja) | 動きベクトル変換方法及び変換装置 | |
JP2009089332A (ja) | 動き予測方法及び動き予測装置 | |
JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
JP5560009B2 (ja) | 動画像符号化装置 | |
JP2011166592A (ja) | 画像符号化装置及び画像復号装置 | |
US8588308B2 (en) | Method and apparatus for low complexity video encoding and decoding | |
JP2010183162A (ja) | 動画像符号化装置 | |
JP4760552B2 (ja) | 動きベクトル復号化方法および復号化装置 | |
JP2008004984A (ja) | 画像理装置および方法、プログラム、並びに記録媒体 | |
JP4318019B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP4802928B2 (ja) | 画像データ処理装置 | |
JP2003348595A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP2008289105A (ja) | 画像処理装置およびそれを搭載した撮像装置 | |
JP4760551B2 (ja) | 動きベクトル復号化方法および復号化装置 | |
JP3416505B2 (ja) | 動画像復号化方法 | |
JP4100067B2 (ja) | 画像情報変換方法及び画像情報変換装置 | |
JP3384739B2 (ja) | 動画像復号化方法 | |
JP3862479B2 (ja) | ビデオダウンコンバージョンにおけるドリフトエラーを防ぐ方法 | |
JP3166835B2 (ja) | 動画像の高能率符号化方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090402 |