JP2002232881A - 動画像復号化方法及び装置 - Google Patents

動画像復号化方法及び装置

Info

Publication number
JP2002232881A
JP2002232881A JP2001023971A JP2001023971A JP2002232881A JP 2002232881 A JP2002232881 A JP 2002232881A JP 2001023971 A JP2001023971 A JP 2001023971A JP 2001023971 A JP2001023971 A JP 2001023971A JP 2002232881 A JP2002232881 A JP 2002232881A
Authority
JP
Japan
Prior art keywords
orthogonal transform
partial region
motion compensation
motion
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2001023971A
Other languages
English (en)
Inventor
Tomoya Kodama
知也 児玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2001023971A priority Critical patent/JP2002232881A/ja
Publication of JP2002232881A publication Critical patent/JP2002232881A/ja
Abandoned legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】画質の劣化を最小限に止めつつ、できるだけ少
ない演算量で動画像復号化処理を実現する動画像復号化
装置を提供する。 【解決手段】MPEGビットストリーム101から可変
長復号化部11により得られた量子化DCT係数102
を逆量子化部12により逆量子化した後、各マクロブロ
ック毎のDCT係数に対しIDCT処理を施して予測誤
差信号107を生成し、予測誤差信号107に対しMP
EGビットストリーム101から抽出された動きベクト
ル情報104を用いて動き補償部16でマクロブロック
毎に動き補償を施して復号化画像信号106を得る動画
像復号化装置において、データ解析部13によってMP
EGビットストリーム101のマクロブロック毎に動き
の激しさを判定し、動きの激しいマクロブロックではI
DCT処理選択スイッチ14を切り替えてIDCT処理
を演算量のより少ない処理に変更する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像符号化デー
タを復号化して元の動画像信号を生成する動画像復号化
方法及び装置に関する。
【0002】
【従来の技術】MPEG(MPEG-1,MPEG-2,
MEPG-4)方式に代表されるディジタル動画像符号
化方式では、まず動き補償により動画像信号の時間的な
冗長度を削減する。次に、直交変換の一つであるDCT
(離散コサイン変換)を行い、これにより得られたDC
T係数を量子化して空間的な冗長度を削減した後、量子
化DCT係数を可変長符号化することによって圧縮を行
う。このようなディジタル動画像符号化の応用範囲は、
DVDやハードディスクなどの記憶媒体を用いた蓄積系
の他、放送や通信など様々な分野に広がっている。
【0003】ディジタル動画像符号化は、その性質上、
コンピュータとの親和性が高い。実際に、近年ではディ
ジタル動画像符号化によって得られた動画像符号化デー
タ(MPEGビットストリーム)を記憶媒体に蓄積した
り、記憶媒体に蓄積された動画像符号化データを復号化
して元の動画像を再生表示するといった蓄積系への応用
に関して、パーソナルコンピュータを利用したアプリケ
ーションが広く利用されている。今後は、放送のディジ
タル化が広く普及すると見込まれており、この分野にお
いてもパーソナルコンピュータの利用が期待される。
【0004】上述したディジタル動画像符号化によって
得られた動画像符号化データを復号化する動画像復号化
処理においては、まず動画像符号化データに対して可変
長復号化を行って量子DCT係数を生成し、次いで逆量
子化、IDCT(逆離散コサイン)及び動き補償を順次
行うことにより、元の動画像信号を再生する。これら一
連の動画像復号化処理においては、IDCT、動き補
償、可変長復号化及び逆量子化の順で演算量が大きい。
IDCT及び動き補償は、画素レベルでの処理であるた
め、SDTV(Standard Definition Television:標準
テレビジョン)1フレームの画像(水平720画素、垂
直480画素)につき、最大345,600回処理を繰
り返す必要がある。
【0005】
【発明が解決しようとする課題】ディジタル放送では、
従来のアナログ放送並の品質であるSDTVに加え、さ
らにHDTV(High Definition Television:高精細テ
レビジョン)放送が行われる。HDTVでは、1フレー
ムを構成する画素数が例えば水平1920画素、垂直1
080画素と、SDTVに比べ6倍にもなる。このた
め、HDTVの動画像復号化処理には、SDTVの動画
像復号化処理に比べ約6倍もの演算量が必要となる。
【0006】パーソナルコンピュータによって動画像復
号化処理を行うことを考えた場合、現在市販されている
演算能力のパーソナルコンピュータでは、SDTVの解
像度を持つMPEGビットストリームを復号化する場合
でも、全演算能力の50%前後を必要とする。従って、
HDTVの解像度を持つMPEGビットストリームをパ
ーソナルコンピュータによって正確に復号化すること
は、現状ではほぼ不可能に近い。将来、パーソナルコン
ピュータの演算能力が向上し、HDTVの解像度を持つ
MPEGビットストリームの復号化が可能になったとし
ても、データ放送などディジタル放送が本来持っている
豊富な付加機能をパーソナルコンピュータに実装するた
めには、動画像符号化データの復号化処理の負荷をなる
べく低く抑えることが理想である。
【0007】さらに、W−CDMAのような広帯域移動
通信方式の実用化に伴い、パーソナルコンピュータより
も演算能力に劣る携帯通信端末などにおいても、動画像
復号化処理を機能を実装することが現在考えられてい
る。このように動画像復号化処理に必要な演算量を削減
することは、パーソナルコンピュータ及び携帯通信端末
のいずれにおいても、非常に有意義であると考えられ
る。
【0008】本発明は、画質の劣化を最小限に止めつ
つ、できるだけ少ない演算量で動画像復号化処理を実現
する動画像復号化方法及び装置を提供することを目的と
する。
【0009】
【課題を解決するための手段】上述の課題を解決するた
め、本発明は動画像符号化データから抽出された部分領
域毎の量子化直交変換係数を逆量子化した後、逆量子化
された部分領域毎の直交変換係数に対し逆直交変換を施
して予測誤差信号を生成し、この予測誤差信号に対し動
画像符号化データから抽出された動きベクトル情報を用
いて部分領域毎に動き補償を施して復号化画像信号を生
成する一連の動画像復号化を行う際に、動画像符号化デ
ータの部分領域毎に動きの激しさを判定し、この判定さ
れた動きの激しさの増加に応じて部分領域毎に逆直交変
換及び動き補償の少なくとも一方の処理を演算量のより
少ない処理に変更することを特徴とする。
【0010】また、本発明は同様の動画像復号化を行う
際に、動画像復号化処理に使用可能な演算能力を表す情
報を入力し、この演算能力の減少に応じて逆直交変換及
び動き補償の少なくとも一方の処理を演算量のより少な
い処理に変更することを特徴とする。
【0011】より具体的には、本発明では判定された動
きの激しさの増加あるいは演算能力の減少に応じて、
(a)部分領域毎に逆直交変換の対象となる直交変換係
数の周波数成分を減少させる、(b)部分領域毎に動き
補償の精度を低下させる、(c)の部分領域毎に動き補
償の処理を双方向動き補償処理から単方向動き補償処理
に変更する、という3つの処理の少なくとも一つを行
う。
【0012】さらに本発明によると、上述した動画像復
号化処理をコンピュータに実行させるためのプログラム
あるいは該プログラムを格納した記憶媒体が提供され
る。
【0013】本発明によると、画質の劣化が知覚されに
くい動きの激しい領域に対しては、本来MPEG規格で
規定されている動画像復号化処理の中の逆直交変換や動
き補償の処理を演算量のより少ない処理に変更すること
によって、知覚される画質の劣化を抑えつつ、動画像復
号化処理に必要な演算量が効果的に削減される。
【0014】また、動画像復号化に使用可能な演算能力
が実際の動画像復号化に必要な演算能力よりも小さい場
合に、本来MPEG規格で規定されている動画像復号化
処理の中の逆直交変換や動き補償の処理を演算量のより
少ない処理に変更することによって、復号化処理が破綻
する危険性を低減して画質の劣化を防止しつつ、動画像
復号化処理に必要な演算量が効果的に削減される。
【0015】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。 (第1の実施形態)図1に、本発明の第1の実施形態に
係る動画像復号化装置の構成を示す。この動画像復号化
装置は、パーソナルコンピュータのようなコンピュータ
システムあるいは携帯通信端末において、記憶装置に保
持されているコンピュータプログラムに従ってソフトウ
ェアにより実現されるか、あるいは専用のDSPチップ
のようなハードウェアによって実現される。また、この
動画像復号化装置は代表的なディジタル動画像符号化方
式であるMPEG方式(MPEG-1,MPEG-2ある
いはMEPG-4)に対応しており、動画像符号化デー
タであるMPEGビットストリーム101を復号化すべ
く構成される。
【0016】MPEGビットストリーム101は、基本
的には次のようにして得られる。まず、入力動画像信号
に対しマクロブロック(MB)と呼ばれる部分領域単位
で動き補償が行われることによって、予測信号との差で
ある予測誤差信号が生成される。この予測誤差信号に対
して、直交変換の一種であるDCT(離散コサイン変
換)がブロックと呼ばれる部分領域単位で行われること
によって、直交変換係数であるDCT係数が生成され、
さらに量子化される。量子化DCT係数は、可変長符号
化部により可変長符号化される。
【0017】可変長符号化部では、さらに量子化DCT
係数とは別に、マクロブロック毎の動き補償モードを表
す動きモード情報及び動きベクトル情報も可変長符号化
される。そして、量子化DCT係数、動き補償モード情
報及び動きベクトル情報に対応した各符号語が多重化さ
れることによって、最終的にMPEGビットストリーム
101が生成される。
【0018】以下、図1に示した動画像復号化装置の構
成と動作を図2に示すフローチャートを参照しながら説
明する。まず、DVDやハードディスクのような記憶媒
体から読み出された、あるいはディジタル放送信号から
抽出されたMPEGビットストリーム101が入力され
る(ステップS201)。
【0019】MPEGビットストリーム101は、まず
可変長復号化部11に入力される。可変長復号化部11
では、MPEGビットストリーム101中の各符号語に
対応する情報シンボルが復号化されることによって、量
子化DCT係数102と動き補償モード情報103及び
動きベクトル情報104が分離して抽出される(ステッ
プS202)。
【0020】可変長符号化器11からの出力のうち、量
子化DCT係数102に対しては逆量子化部12によっ
て逆量子化が行われ、ブロック単位でDCT係数105
が生成される(ステップS203)。DCT係数105
は、データ解析部13からの後述する動き判定結果10
6によって制御されるIDCT処理選択スイッチ14を
介して第1、第2のIDCT部15−1,15−2のい
ずれかに入力される。
【0021】可変長復号化部11から出力される動きベ
クトル情報104は、上述した動き補償処理のために画
像バッファ17に入力されるほか、データ解析部13に
も入力される。データ解析部13には、さらに逆量子化
部12により得られたDCT係数105が入力される。
データ解析部13では、動きベクトル情報104及びD
CT係数105が解析され(ステップS204)、その
解析結果に基づいて復号化対象マクロブロックが動きの
激しい領域であるかどうかが判定される(ステップS2
05)。
【0022】一般に、動きが激しい領域においては、画
像の高域成分が抑えられ、動きベクトルが大きな値をと
るという特徴がある。そこで、データ解析部13はDC
T係数105が低域に集中し、かつ動きベクトル情報1
04で示される動きベクトルの大きさが所定の閾値以上
の復号化対象マクロブロックは動きの激しい領域である
と判定し、動きベクトルの大きさが閾値に満たない復号
化対象マクロブロックは動きの少ない領域または静止領
域であると判定して、判定結果106を出力する。ID
CT処理選択スイッチ14では、データ解析部13から
の判定結果106を受けて、IDCT処理に第1、第2
のIDCT部15−1,15−2のいずれを用いるかを
切り替える。
【0023】第1のIDCT部15−1は、MPEG規
格で規定された通常のIDCT(離散コサイン変換)処
理を行うように構成され、ステップS205で動きが激
しくないと判定された復号化対象マクロブロックに対し
ては、このIDCT部15−1の処理(IDCT処理1
とする)が適用される(ステップS206)。具体的に
は、図3に黒丸及び白丸で示す8×8個のDCT係数1
05をF(u,v)(u,v=0,1,…,7)としたとき、ID
CT部15−1がDCT係数105を逆離散コサイン変
換して2次元画像情報f(x,y)(x,y=0,1…,7)を得
るIDCT処理1は、次式(1)で定義される。
【数1】
【0024】式(1)において、C(x)はx=0のと
き1/√2、それ以外のとき1となる関数を表す。
【0025】第2のIDCT部15−2は、図3に示す
ように8×8個のDCT係数105のうちより重要な低
域に属する黒丸を付した4×4個のみを残し、比較的重
要でない高域に属する白丸を付した48個を無視してI
DCT処理を行う。ステップS205で動きが激しいと
判定された復号化対象マクロブロックに対しては、この
IDCT部15−2の処理(IDCT処理2とする)が
適用される(ステップS207)。DCT係数105の
低域成分をF(u,v)(u,v=0,1,…,3)とすると、ID
CT部15−2は低域成分F(u,v)を逆離散コサイ
ン変換して2次元画像情報f(x,y)(x,y=0,1,…,
3)を得る。このIDCT処理2は、次式(2)で定義さ
れる。
【0026】
【数2】
【0027】式(2)と式(1)を比較して明らかなよ
うに、第2のIDCT部15−2では第1のIDCT部
15−1に比較してIDCT処理を行うために参照する
DCT係数の個数が1/4に減少するため、ICDT処
理に必要な演算量も1/4に削減される。IDCT部1
5−1,15−2により得られたいずれの予測誤差信号
107−1,107−2も、後述するように動き補償部
16及び画像バッファ17を用いて通常の動き補償処理
が行われ、復号化画像信号が生成される(ステップS2
08)。
【0028】IDCT部15−1,15−2では、上述
したように入力されたDCT係数が逆離散コサイン変換
によって空間的な2次元画素情報に変換され、予測誤差
信号107−1,107−2が生成される。この予測誤
差信号を求める処理は、復号化対象画像(フレームまた
はフィールド)を8×8画素ずつに分割したブロックと
呼ばれる単位で実行される。
【0029】IDCT部15−1または15−2によっ
て求められた予測誤差信号107−1,107−2は動
き補償部16に入力され、動き補償部16及び画像バッ
ファ17を用いて通常の動き補償処理が行われることに
より、復号化画像信号108が生成される。動き補償部
16の処理は、予測誤差信号107−1または107−
2と、過去に復号化され画像バッファ17に蓄えられて
いる参照画像信号を動き補償した信号を足し合わせるこ
とによって実現される。この動き補償処理は、ブロック
を水平方向及び垂直方向とも2ブロックずつ合わせた1
6×16画素を単位として行われるのが一般的である。
この単位をマクロブロック(MB)と呼ぶ。この動き補
償処理により、1マクロブロック分の画素情報が復元さ
れる。
【0030】動き補償処理は、復号化対象マクロブロッ
クの動き補償モードによって主に3種類に分類される。
図4に示す模式図を用いて説明すると、図4(a)は復
号化対象マクロブロックがイントラ(フレーム内符号
化)マクロブロックの場合であり、IDCT結果がその
まま復号化画像信号(復号化MB)108となる。この
場合、動き補償部16は実質的に何も処理を行わない。
【0031】図4(b)は復号化対象マクロブロックが
片方向動き補償マクロブロックの場合であり、過去に復
号化された画像バッファ17内の参照画像信号から動き
ベクトル情報104で指し示された領域を抜き出し、そ
れと予測誤差信号107−1または107−2とを足し
合わせることによって、復号化画像信号(復号化MB)
108が生成される。図4(b)では表示順で過去の画
像信号を参照画像信号としているが、MPEG方式では
表示順と符号化順が一致しないことがあるため、表示順
で未来に相当する画像信号を参照画像信号として用いる
場合もある。
【0032】図4(c)は復号化対象マクロブロックが
双方向動き補償マクロブロックの場合であり、表示順で
未来に相当する画像信号と過去に相当する画像信号(双
方とも復号化対象画像信号よりも先に復号化が行われて
いる)をともに参照画像信号として使用する。動きベク
トル情報104は、それぞれの参照画像用に少なくとも
2本用意される。2つの参照画像信号から動きベクトル
情報104で指し示された16×16画素の領域間では
画素毎の平均値が求められ、この平均値と予測誤差信号
とを足し合わせることにより復号化画像信号108が生
成される。動き補償処理では、この双方向動き補償が最
も演算量を必要とする。なお、動き補償で用いられる動
きベクトル情報104は1/2画素の精度を持つ。
【0033】今、復号化対象マクロブロックの左上の画
素の水平及び垂直方向の位置を(h0,v0)とし、与
えられた動きベクトルをMV=(h,v)としたとき、
参照画像から取り出す16×16画素の領域の左上の画
素の水平及び垂直方向の位置は(h0+h,v0+v)
で表すことができる。h0+hまたはv0+vが非整数
である場合、参照画像上に実体となる画素は存在しない
が、このときには隣接画素間で平均値をとったものを用
いる。これを概念的に表したのが図5であり、動きベク
トル情報104の水平及び垂直成分がともに非整数の場
合が最も演算量を必要とすることが分かる。
【0034】このように本実施形態によれば、動きの少
ない領域あるいは静止領域においては、第1のIDCT
部15−1によって従来と同様のIDCT処理を行い、
画質の劣化が知覚されにくい動きの激しい領域において
は、第2のIDCT部15−2によって演算量を削減し
たIDCT処理を行うことで、画質の劣化を抑えつつM
PEGビットストリーム101の復号化に必要な全体の
処理量を効果的に削減することができる。
【0035】(第2の実施形態)図6に本発明の第2の
実施形態に係る動画像復号化装置の構成を示し、図7に
本実施形態における処理の流れを示す。第1の実施形態
では、動きの少ない領域あるいは静止領域においては従
来と同様のIDCT処理を行い、動きの激しい領域にお
いては演算量を削減したIDCT処理を行うようにした
が、本実施形態は動きの少ない領域あるいは静止領域に
おいては従来と同様の動き補償処理を行い、動きの激し
い領域においては演算量を削減した動き補償処理を行う
ようにした点が特徴である。
【0036】図1と同一部分に同一符号を付して説明す
ると、第1の実施形態と同様に、まずMPEGビットス
トリーム101が入力され(ステップS301)、可変
長復号化部11によって量子化DCT係数情報102、
動き補償情報103及び動きベクトル情報104が抽出
され(ステップS302)、逆量子化部12により量子
化DCT係数105が逆量子化される(ステップS30
3)。
【0037】本実施形態では、逆量子化部12から出力
されるDCT係数105は、一つのIDCT部15によ
り逆離散コサイン変換され、予測誤差信号107が生成
される(ステップS304)。この予測誤差信号107
は、動き補償処理選択スイッチ18を介して第1、第2
の動き補償部16−1,16−2のいずれかに入力され
る。
【0038】データ解析部13では、第1の実施形態と
同様に、動きベクトル情報104とDCT係数105が
解析されて復号化対象マクロブロックが動きの激しい領
域であるかどうかが判定され(ステップS305〜S3
06)、判定結果106が出力される。動き補償処理選
択スイッチ18は、この判定結果106を受けて動き補
償処理に動き補償部16−1,16−2のいずれを用い
るかを切り替える。
【0039】第1の動き補償部16−1は、MPEG規
格で規定された通常の動き補償処理を行うように構成さ
れ、ステップS306で動きが激しくないと判定された
復号化対象マクロブロックに対しては、この動き補償部
16−1の処理(動き補償処理1とする)が適用される
(ステップS207)。
【0040】第2の動き補償処理16−2では、可変長
復号化部11からの動きベクトル情報104で示される
動きベクトルをMV=(h,v)とすると、参照画像信
号を得る際に次式(3)で示される処理(動き補償処理
2とする)が行われる。
【0041】
【数3】
【0042】ここで、sign(x)はxが正のとき+
1、xが0のとき0、xが負のとき−1をとる関数であ
り、|x|はxの絶対値を表す。ステップS206で動
きが激しいと判定された復号化対象マクロブロックに対
しては、この動き補償処理2が適用される(ステップS
208)。
【0043】第2の動き補償部16−2では、式(3)
の処理によって得られた新しい動きベクトルMV′=
(h′,v′)を用いて動き補償を行うことにより、全
ての参照画像領域は実存する画素を示すことになるた
め、2つまたは4つの画素の平均をとる処理を省略する
ことができる。このようにして2つの動き補償処理1,
2のいずれかを選択的に使用することにより、復号化画
像信号108が得られる。
【0044】このように本実施形態によると、動きの少
ない領域あるいは静止領域においては、第1の動き補償
部16−1によって従来と同様の動き補償処理を行い、
画質の劣化が知覚されにくい動きの激しい領域において
は、第2の動き補償部16−2によって演算量を削減し
た動き補償処理を行うことで、第1の実施形態と同様に
画質の劣化を抑えつつMPEGビットストリーム101
の復号化に必要な全体の処理量を効果的に削減すること
が可能となる。
【0045】(第3の実施形態)図8に本発明の第3の
実施形態に係る動画像復号化装置の構成を示し、図9に
本実施形態の処理の流れを示す。本実施形態では、動き
補償モード制御部19が新たに設けられ、動きの激しい
領域において動き補償モードが制御される点が第1、第
2の実施形態と異なる。
【0046】本実施形態において、図9のステップS4
01〜S406の処理は第1、第2の実施形態と同様で
ある。データ解析部13において、第1、第2の実施形
態と同様に動きベクトル情報104とDCT係数105
の解析により得られた復号化対象マクロブロックが動き
の激しい領域であるかどうかの判定結果106は、動き
補償モード制御部19に入力される。動き補償モード制
御部19には、可変長復号化部11から出力される動き
補償モード情報103も入力される。
【0047】動き補償モード制御部19では、復号化対
象マクロブロックが動きの激しい領域である場合に、動
き補償モード情報103によって示される現在の動き補
償モードが判断され(ステップS407)、その動き補
償モードが双方向動き補償と判定された場合には、動き
補償モードがより演算量の小さい単方向動き補償に変更
される(ステップS408)。
【0048】単方向動き補償には、図10に示すように
符号化画像に対して表示順で過去の画像を参照画像とし
て用いる前方向動き補償と、未来の画像を参照画像とし
て用いる後方向動き補償とがあるが、ステップS408
では、これらのうち符号化画像に参照画像が時間的に近
い方(図10の例では、前方向動き補償)に変更される
ことになる。動き補償部16においては、このようにし
て変更された動き補償モード情報に従って動き補償処理
が行われ(ステップS409)、復号化画像信号108
が得られる。
【0049】一方、ステップS406において復号化対
象マクロブロックが動きの激しい領域でないと判定され
た場合、あるいはステップS407において動き補償モ
ードが単方向動き補償と判定された場合には、ステップ
S409にジャンプして、動き補償モードを変更するこ
となく動き補償処理が行われる。
【0050】このように本実施形態によれば、画質の劣
化が知覚されにくい動きの激しい領域においては、動き
補償モードが演算量の大きい双方向動き補償の場合には
演算量の小さい単方向動き補償に動き補償モードを変更
することによって、第1、第2の実施形態と同様に、画
質の劣化を抑えつつMPEGビットストリーム101の
復号化に必要な全体の処理量を効果的に削減できるとい
う効果が得られる。
【0051】(第4の実施形態)図11は、本発明の第
4の実施形態に係る動画像復号化装置の構成を示してい
る。第1の実施形態では、IDCT処理を動きベクトル
情報104及びDCT係数105からデータ解析部13
で復号化対象マクロブロックが動きの激しい領域かどう
かを判定し、それに基づきIDCT処理を切り替えてい
た。これに対し、本実施形態では動画像復号化処理に使
用可能な余剰演算量を示す情報110が入力され、この
余剰演算量が所定値未満か否かが判定部20によって判
定される。この判定部20の判定結果111に従ってI
DCT処理選択スイッチ14が制御されることにより、
IDCT処理が切り替えられる。
【0052】ここで、余剰演算量とは動画像復号化処理
を含む複数の処理を一つのコンピュータが行うとしたと
き、そのコンピュータのプロセッサ(CPU)などの計
算資源が動画像復号化処理に使用可能な余剰の演算能力
であり、例えばプロセッサの稼働率をαとして、1−α
で表される。
【0053】図12を用いて説明すると、ステップS5
01〜S503の処理は第1〜第3の実施形態と同様で
ある。本実施形態では、ステップS503で量子化DC
T係数が逆量子化された後、余剰演算量情報110で示
される余剰演算量が所定値未満かどうかが判定部20に
よって判定され(ステップS504)、この判定結果1
11に従ってIDCT処理選択スイッチ14が制御され
る。
【0054】すなわち、ステップS504において余剰
演算量が所定値未満でない場合は、IDCT処理選択ス
イッチ14により第1のIDCT部15−1が選択さ
れ、従来と同様のIDCT処理1が行われる(ステップ
S505)。一方、余剰演算量が所定値未満の場合に
は、IDCT処理選択スイッチ14により第2のIDC
T部15−2が選択され、演算量を削減したIDCT処
理2が行われる(ステップS506)。この後、IDC
T部15−1または15−2によって求められた予測誤
差信号107−1,107−2に対して、動き補償部1
6及び画像バッファ17を用いて通常の動き補償処理が
行われることにより、復号化画像信号108が生成され
る(ステップS507)。
【0055】このように本実施形態によると、余剰演算
量が多い場合には第1のIDCT部15−1によって従
来と同様のIDCT処理を行い、余剰演算量が少ない場
合には第2のIDCT部15−2によって演算量を削減
したIDCT処理を行うことで、画質の劣化を抑えつつ
MPEGビットストリーム101の復号化に必要な全体
の処理量を効果的に削減することができる。
【0056】(第5の実施形態)図12は、本発明の第
4の実施形態に係る動画像復号化装置の構成を示してい
る。第3の実施形態では、IDCT処理を動きベクトル
情報104及びDCT係数105からデータ解析部13
で復号化対象マクロブロックが動きの激しい領域かどう
かを判定し、それに基づき動き補償モードを変更してい
た。これに対し、本実施形態では第4の実施形態と同様
に動画像復号化処理を行っているCPUなどの計算資源
における余剰演算量を示す情報110が入力され、この
余剰演算量が所定値未満かどうかが判定部20によって
判定される。この判定部20の判定結果111に従って
動き補償モード制御部19によって動き補償部16の動
き補償モードが制御される。
【0057】図15を参照して説明すると、ステップS
601〜S605の処理は第4の実施形態と同様であ
る。本実施形態では、ステップS605において余剰演
算量情報110で示される余剰演算量が所定値未満かど
うかが判定部20によって判定され、この判定結果11
1に従って動き補償制御部19が制御される。動き補償
モード制御部19には、可変長復号化部11から出力さ
れる動き補償モード情報103も入力される。
【0058】動き補償モード制御部19では、余剰演算
量が所定値未満の場合に、動き補償モード情報103に
よって示される現在の動き補償モードが判定され(ステ
ップS606)、その動き補償モードが双方向動き補償
と判定された場合には、第3の実施形態と同様に動き補
償モードがより演算量の小さい単方向動き補償に変更さ
れる(ステップS607)。動き補償部16において
は、このようにして変更された動き補償モード情報に従
って動き補償処理が行われ(ステップS608)、復号
化画像信号108が得られる。
【0059】一方、ステップS605において余剰演算
量が所定値未満でない判定された場合、あるいはステッ
プS606において動き補償モードが単方向動き補償と
判定された場合には、ステップS608にジャンプし
て、動き補償モードを変更することなく動き補償処理が
行われる。
【0060】このように本実施形態によれば、余剰演算
量が少なくかつ動き補償モードが演算量の大きい双方向
動き補償の場合には、演算量の小さい単方向動き補償に
動き補償モードを変更することによって、画質の劣化を
抑えつつMPEGビットストリーム101の復号化に必
要な全体の処理量を効果的に削減することができる。
【0061】本発明は、上述した第1〜第5の実施形態
に限定されるものではなく、種々変形して実施が可能で
ある。例えば、第1〜第3の実施形態を適宜組み合わせ
て、データ解析部13からの判定結果106に従ってI
DCT処理選択スイッチ14及び動き補償処理選択スイ
ッチ18の両方を前述と同様に制御したり、あるいは判
定結果106に従ってIDCT処理選択スイッチ14を
制御し、さらに判定結果106を動き補償制御部19に
与えるようにしてもよい。また、第4の実施形態と第5
の実施形態を組み合わせてもよい。
【0062】さらに、上述した各実施形態においては、
動きの激しさの増加あるいは演算能力の減少に応じて、
(a)部分領域毎に逆直交変換の対象となる直交変換係
数の周波数成分を減少させる、(b)部分領域毎に動き
補償の精度を低下させる、(c)の部分領域毎に動き補
償の処理を双方向動き補償処理から単方向動き補償処理
に変更する、という処理をそれぞれ2段階に分けて行っ
たが、3以上の多段階に分けて行っても構わない。
【0063】上述した本発明による動画像復号化処理
は、パーソナルコンピュータやEWS(エンジニアリン
グワークステーション)のようなコンピュータ、あるい
は携帯通信端末に内蔵のコンピュータを用いてソフトウ
ェアにより実行することが可能である。従って、本発明
は上述した動画像復号化処理の一連の処理をコンピュー
タに実行させるためのプログラムあるいは当該プログラ
ムを格納したコンピュータ読み取り可能な記録媒体を提
供することができる。
【0064】
【発明の効果】以上説明したように、本発明によれば動
きの激しい部分においてはある程度画質が劣化したとし
ても知覚されにくいことに着目し、動きが激しいと判断
された部分領域においてDCTなどの逆直交変換処理や
動き補償処理を一部省略することにより、全体的な画質
をあまり落とさずに演算量を効果的に削減することが可
能となる。
【0065】また、本発明によればプロセッサなどの計
算資源が動画像復号化に使用可能な演算能力を表す情報
を入力し、その演算能力が小さいと判定した場合には逆
直交変換や動き補償処理を一部省略することにより、演
算能力の不足による復号化処理の破綻を避けて画質の劣
化を防止しつつ、動画像復号化処理に必要な演算量を効
果的に削減することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る動画像復号化装
置の構成を示すブロック図
【図2】同実施形態における動画像復号化処理の流れを
示すフローチャート
【図3】簡略化された演算量を削減した逆離散コサイン
変換について説明するためのDCT係数を示す模式図
【図4】動き補償の種類を示す模式図
【図5】動きベクトルが示す画素を模式的に示す図
【図6】本発明の第2の実施形態に係る動画像復号化装
置の構成を示すブロック図
【図7】第2の実施形態における動画像復号化処理の流
れを示すフローチャート
【図8】本発明の第3の実施形態に係る動画像復号化装
置の構成を示すブロック図
【図9】第3の実施形態における動画像復号化処理の流
れを示すフローチャート
【図10】前方向動き補償と後方向動き補償を説明する
【図11】本発明の第4の実施形態に係る動画像復号化
装置の構成を示すブロック図
【図12】第4の実施形態における動画像復号化処理の
流れを示すフローチャート
【図13】本発明の第5の実施形態に係る動画像復号化
装置の構成を示すブロック図
【図14】第5の実施形態における動画像復号化処理の
流れを示すフローチャート
【符号の説明】
11…可変長復号化部 12…逆量子化部 13…データ解析部 14…IDCT処理選択スイッチ 15,15−1,15−2…逆離散コサイン変換部 16…動き補償部 17…画像バッファ 18…動き補償処理選択スイッチ 19…動き補償制御部 20…余剰演算量判定部
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C059 KK15 MA00 MA05 MA14 MA23 MC11 ME01 NN21 PP04 SS02 SS05 SS06 SS12 TA25 TA43 TB08 TC04 TC12 TD12 UA05 UA39 5J064 AA01 AA02 BA01 BA16 BB03 BB12 BC01 BC16 BC25 BC26 BD03

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】動画像信号の部分領域毎に得られた予測誤
    差信号の量子化直交変換係数と該部分領域毎に得られた
    動きベクトル情報を含む動画像符号化データを復号化す
    る動画像復号化方法であって、 前記動画像符号化データから抽出された部分領域毎の量
    子化直交変換係数を逆量子化するステップと、 逆量子化された部分領域毎の直交変換係数に対し逆直交
    変換を施して予測誤差信号を生成するステップと、 前記予測誤差信号に対し前記動画像符号化データから抽
    出された動きベクトル情報を用いて部分領域毎に動き補
    償を施して復号化画像信号を得るステップと、 前記動画像符号化データの部分領域毎に動きの激しさを
    判定するステップと、 判定された動きの激しさの増加に応じて部分領域毎に前
    記逆直交変換及び動き補償の少なくとも一方の処理を演
    算量のより少ない処理に変更する処理変更ステップとを
    具備する動画像復号化方法。
  2. 【請求項2】前記処理変更ステップは、前記判定された
    動きの激しさの増加に応じて部分領域毎に前記逆直交変
    換の対象となる直交変換係数の周波数成分を減少させる
    請求項1記載の動画像復号化方法。
  3. 【請求項3】前記処理変更ステップは、前記判定された
    動きの激しさの増加に応じて部分領域毎に前記動き補償
    の精度を低下させる請求項1記載の動画像復号化方法。
  4. 【請求項4】前記処理変更ステップは、前記判定された
    動きの激しさの増加に応じて部分領域毎に前記動き補償
    の処理を双方向動き補償処理から単方向動き補償処理に
    変更する請求項1記載の動画像復号化方法。
  5. 【請求項5】動画像信号の部分領域毎に得られた予測誤
    差信号の量子化直交変換係数と該部分領域毎に得られた
    動きベクトル情報を含む動画像符号化データを復号化す
    る動画像復号化方法であって、 前記動画像符号化データから抽出された部分領域毎の量
    子化直交変換係数を逆量子化するステップと、 逆量子化された部分領域毎の直交変換係数に対し逆直交
    変換を施して予測誤差信号を生成するステップと、 前記予測誤差信号に対し前記動画像符号化データから抽
    出された動きベクトル情報を用いて部分領域毎に動き補
    償を施して復号化画像信号を得るステップと、 前記復号化に使用可能な演算能力を表す情報を入力する
    ステップと、 前記演算能力を表す情報に基づき該演算能力の減少に応
    じて前記逆直交変換及び動き補償の少なくとも一方の処
    理を演算量のより少ない処理に変更する処理変更ステッ
    プとを具備することを特徴とする動画像復号化方法。
  6. 【請求項6】前記処理変更ステップは、前記演算能力の
    減少に応じて部分領域毎に前記逆直交変換の対象となる
    直交変換係数の周波数成分を減少させる請求項5記載の
    動画像復号化方法。
  7. 【請求項7】前記処理変更ステップは、前記演算能力の
    減少に応じて部分領域毎に前記動き補償の処理を双方向
    動き補償処理から単方向動き補償処理に変更する請求項
    5記載の動画像復号化方法。
  8. 【請求項8】動画像信号の部分領域毎に得られた予測誤
    差信号の量子化直交変換係数と該部分領域毎に得られた
    動きベクトル情報を含む動画像符号化データを復号化す
    る動画像復号化装置であって、 前記動画像符号化データから抽出された部分領域毎の量
    子化直交変換係数を逆量子化する逆量子化手段と、 逆量子化された部分領域毎の直交変換係数に対し逆直交
    変換を施して予測誤差信号を生成する逆直交変換手段
    と、 前記予測誤差信号に対し前記動画像符号化データから抽
    出された動きベクトル情報を用いて部分領域毎に動き補
    償を施して復号化画像信号を得る動き補償手段と、 前記動画像符号化データの部分領域毎に動きの激しさを
    判定する手段と、 判定された動きの激しさの増加に応じて部分領域毎に前
    記逆直交変換及び動き補償の少なくとも一方の処理を演
    算量のより少ない処理に変更する手段とを具備する動画
    像復号化装置。
  9. 【請求項9】動画像信号の部分領域毎に得られた予測誤
    差信号の量子化直交変換係数と該部分領域毎に得られた
    動きベクトル情報を含む動画像符号化データを復号化す
    る動画像復号化装置であって、 前記動画像符号化データから抽出された部分領域毎の量
    子化直交変換係数を逆量子化する逆量子化手段と、 逆量子化された部分領域毎の直交変換係数に対し逆直交
    変換を施して予測誤差信号を生成する逆直交変換手段
    と、 前記予測誤差信号に対し前記動画像符号化データから抽
    出された動きベクトル情報を用いて部分領域毎に動き補
    償を施して復号化画像信号を得る動き補償手段と、 前記動画像符号化データの復号化に使用可能な演算能力
    を表す情報を入力するステップと、 前記演算能力を表す情報に基づき該演算能力の減少に応
    じて前記逆直交変換及び動き補償の少なくとも一方の処
    理を演算量のより少ない処理に変更する手段とを具備す
    る動画像復号化装置。
  10. 【請求項10】動画像信号の部分領域毎に得られた予測
    誤差信号の量子化直交変換係数と該部分領域毎に得られ
    た動きベクトル情報を含む動画像符号化データを復号化
    する動画像復号化処理をコンピュータに実行させるため
    のプログラムであって、 前記動画像符号化データから抽出された部分領域毎の量
    子化直交変換係数を逆量子化する処理と、 逆量子化された部分領域毎の直交変換係数に対し逆直交
    変換を施して予測誤差信号を生成する処理と、 前記予測誤差信号に対し前記動画像符号化データから抽
    出された動きベクトル情報を用いて部分領域毎に動き補
    償を施して復号化画像信号を得る処理と、 前記動画像符号化データの部分領域毎に動きの激しさを
    判定する処理と、 判定された動きの激しさの増加に応じて部分領域毎に前
    記逆直交変換及び動き補償の少なくとも一方の処理を演
    算量のより少ない処理に変更する処理とを含む動画像復
    号化処理をコンピュータに実行させるためのプログラ
    ム。
  11. 【請求項11】動画像信号の部分領域毎に得られた予測
    誤差信号の量子化直交変換係数と該部分領域毎に得られ
    た動きベクトル情報を含む動画像符号化データを復号化
    する動画像復号化処理をコンピュータに実行させるため
    のプログラムであって、 前記動画像符号化データから抽出された部分領域毎の量
    子化直交変換係数を逆量子化する処理と、 逆量子化された部分領域毎の直交変換係数に対し逆直交
    変換を施して予測誤差信号を生成する処理と、 前記予測誤差信号に対し前記動画像符号化データから抽
    出された動きベクトル情報を用いて部分領域毎に動き補
    償を施して復号化画像信号を得る処理と、 前記動画像符号化の復号化に使用可能な計算資源の演算
    能力を表す情報を入力する処理と、 前記演算能力を表す情報に基づき該演算能力の減少に応
    じて前記逆直交変換及び動き補償の少なくとも一方の処
    理を演算量のより少ない処理に変更する処理とを含む動
    画像復号化処理をコンピュータに実行させるためのプロ
    グラム。
JP2001023971A 2001-01-31 2001-01-31 動画像復号化方法及び装置 Abandoned JP2002232881A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001023971A JP2002232881A (ja) 2001-01-31 2001-01-31 動画像復号化方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001023971A JP2002232881A (ja) 2001-01-31 2001-01-31 動画像復号化方法及び装置

Publications (1)

Publication Number Publication Date
JP2002232881A true JP2002232881A (ja) 2002-08-16

Family

ID=18889178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001023971A Abandoned JP2002232881A (ja) 2001-01-31 2001-01-31 動画像復号化方法及び装置

Country Status (1)

Country Link
JP (1) JP2002232881A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004047453A1 (ja) * 2002-11-20 2004-06-03 Matsushita Electric Industrial Co., Ltd. 動画像予測方法、動画像符号化方法及び装置、動画像復号化方法及び装置
WO2006004065A1 (ja) * 2004-07-02 2006-01-12 Kanazawa University Technology Licensing Organization Ltd. 動画像符号化処理システム、動画像符号化又は復号化処理システム、動画像符号化処理方法、及び、動画像符号化又は復号化処理方法
JP2006203280A (ja) * 2005-01-18 2006-08-03 Canon Inc 画像復号方法及び装置
WO2006118114A1 (ja) * 2005-04-27 2006-11-09 Nec Corporation 画像復号方法、その装置及びプログラム
WO2008007758A1 (en) * 2006-07-14 2008-01-17 Sony Corporation Reproduction device, reproduction method, and program
US8625680B2 (en) 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885713B2 (en) 2002-11-20 2014-11-11 Panasonic Intellectual Property Corporation Of America Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus
US9232220B2 (en) 2002-11-20 2016-01-05 Godo Kaisha Ip Bridge 1 Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus
US8204119B2 (en) 2002-11-20 2012-06-19 Panasonic Corporation Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus
US9967584B2 (en) 2002-11-20 2018-05-08 Godo Kaisha Ip Bridge 1 Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus
US9729894B2 (en) 2002-11-20 2017-08-08 Godo Kaisha Ip Bridge 1 Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus
US9723320B2 (en) 2002-11-20 2017-08-01 Godo Kaisha Ip Bridge 1 Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus
CN100401781C (zh) * 2002-11-20 2008-07-09 松下电器产业株式会社 动态图像预测方法、编码方法及装置、解码方法及装置
US7542510B2 (en) 2002-11-20 2009-06-02 Panasonic Corporation Moving picture predicting method, moving image encoding method and device, and moving image decoding method and device
US9451276B2 (en) 2002-11-20 2016-09-20 Godo Kaisha Ip Bridge 1 Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus
US7848411B2 (en) 2002-11-20 2010-12-07 Panasonic Corporation Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus
US9973773B2 (en) 2002-11-20 2018-05-15 Godo Kaisha Ip Bridge 1 Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus
WO2004047453A1 (ja) * 2002-11-20 2004-06-03 Matsushita Electric Industrial Co., Ltd. 動画像予測方法、動画像符号化方法及び装置、動画像復号化方法及び装置
US8553770B2 (en) 2002-11-20 2013-10-08 Panasonic Corporation Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus
US8625680B2 (en) 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
WO2006004065A1 (ja) * 2004-07-02 2006-01-12 Kanazawa University Technology Licensing Organization Ltd. 動画像符号化処理システム、動画像符号化又は復号化処理システム、動画像符号化処理方法、及び、動画像符号化又は復号化処理方法
JP4533157B2 (ja) * 2005-01-18 2010-09-01 キヤノン株式会社 画像復号方法
JP2006203280A (ja) * 2005-01-18 2006-08-03 Canon Inc 画像復号方法及び装置
JP5019054B2 (ja) * 2005-04-27 2012-09-05 日本電気株式会社 画像復号方法、その装置及びプログラム
WO2006118114A1 (ja) * 2005-04-27 2006-11-09 Nec Corporation 画像復号方法、その装置及びプログラム
US8223840B2 (en) 2005-04-27 2012-07-17 Nec Corporation Image decoding method of decoding hierarchy-encoded image data in respective hierarchies, and a device thereof
JP2008022475A (ja) * 2006-07-14 2008-01-31 Sony Corp 再生装置および再生方法、並びにプログラム
WO2008007758A1 (en) * 2006-07-14 2008-01-17 Sony Corporation Reproduction device, reproduction method, and program

Similar Documents

Publication Publication Date Title
US9699458B2 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
US9743088B2 (en) Video encoder and video encoding method
US8265136B2 (en) Motion refinement engine for use in video encoding in accordance with a plurality of sub-pixel resolutions and methods for use therewith
US8477847B2 (en) Motion compensation module with fast intra pulse code modulation mode decisions and methods for use therewith
US20030095603A1 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
US8761246B2 (en) Encoding/decoding device, encoding/decoding method and storage medium
US8619859B2 (en) Motion estimation apparatus and method and image encoding apparatus and method employing the same
JP4746550B2 (ja) 画像符号化装置
JP2002500483A (ja) 符号化/非符号化ブロックに対するブロックパラメータの適応的符号化を使用した改良型ビデオ符号化
US20140105275A1 (en) Adaptive partition subset selection module and method for use therewith
JP2011029863A (ja) 復号化処理方法
JP2005503695A (ja) ビデオトランスコード方法及び装置
JP2003348597A (ja) 画像符号化装置および画像符号化方法
JP2010081498A (ja) 画像圧縮符号化方法、及び装置
JP2002232881A (ja) 動画像復号化方法及び装置
US20100246682A1 (en) Scaled motion search section with downscaling and method for use therewith
JP2003348596A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2003348595A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US20140105305A1 (en) Memory cache for use in video processing and methods for use therewith
JP2009118097A (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
JP2006174212A (ja) 画像処理装置、符号化装置およびそれらの方法
JP2003174653A (ja) 画像情報変換方法及び画像情報変換装置、並びに制御プログラム及び記録媒体
Shoham et al. Introduction to video compression
JP2010074347A (ja) 動画符号化装置および動画符号化方法
JP2003309853A (ja) 画像符号化装置,及び画像符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20070824