JP2000324498A - 動画像符号化装置 - Google Patents

動画像符号化装置

Info

Publication number
JP2000324498A
JP2000324498A JP13245699A JP13245699A JP2000324498A JP 2000324498 A JP2000324498 A JP 2000324498A JP 13245699 A JP13245699 A JP 13245699A JP 13245699 A JP13245699 A JP 13245699A JP 2000324498 A JP2000324498 A JP 2000324498A
Authority
JP
Japan
Prior art keywords
code
motion vector
vector
length
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP13245699A
Other languages
English (en)
Inventor
Hideki Sawada
英樹 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP13245699A priority Critical patent/JP2000324498A/ja
Priority to US09/567,071 priority patent/US6724821B1/en
Priority to GB0011583A priority patent/GB2352918B/en
Priority to GB0111504A priority patent/GB2360662B/en
Publication of JP2000324498A publication Critical patent/JP2000324498A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 動画像の符号化品質を向上させる。 【解決手段】 入力バッファと、動きベクトル検出器
と、ベクトル記憶器と、動き補償器と、減算器と、DC
T器と、量子化器と、逆量子化器と、逆DCT器と、加
算器と、フレームメモリと、可変長符号化器と、上記ベ
クトル記憶器に記憶された動きベクトルを読み出して差
分動きベクトルを算出し、上記動きベクトルを符号化す
る際に、上記差分動きベクトルの総符号量が最も短くな
るように、上記可変長符号と上記固定長符号との組み合
わせを選択するベクトル符号長最適化器と、このベクト
ル符号長最適化器で選択された上記可変長符号と上記固
定長符号との組み合わせを使って、上記動きベクトルを
可変長符号化して出力するベクトル符合化器と、多重化
部とを備えたものである。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像符号化装置
に関し、特にデジタル画像データを圧縮して伝送する際
に使用される動画像符号化装置に関するものである。
【0002】
【従来の技術】従来、動画像データを高能率に符号化す
る技術として、ブロックマッチングによる動き補償フレ
ーム間予測符号化方式が標準化され広く用いられている
(例えば、MPEG等)。この方式は、連続するフレー
ムの映像信号の相関が一般的に大きいという性質を利用
するものであり、現フレーム(以下、被予測フレームと
いう)と過去あるいは未来のフレーム(以下、参照フレ
ームという)との差分信号のみを符号化することによ
り、時間的冗長度の削減を図るものである。
【0003】このような動き補償フレーム間予測符号化
方式においては、予め符号化された参照フレームを、動
きベクトルの分だけ移動させたものを予測信号としてい
る。そして、この予測信号と現フレーム信号との差分値
(以下、動きベクトルという)を符号化することによ
り、動きによって生じる符号化情報量の増加を抑制して
いる。
【0004】ここで、一般的な画像処理単位について、
MPEGを例にして説明する。図5は、MPEGで使用
される画像処理単位を示す説明図である。同図に示すよ
うに、一つのビデオ・プログラム全体の符号化信号は、
画像シーケンスと呼ばれ、複数のGOP(Group Of Pic
ture)によって構成されている。画像シーケンスはシー
ケンス・ヘッダ(図示せず)で始まり、シーケンス・エ
ンド(図示せず)で終了する。シーケンス・ヘッダに
は、画像の大きさを示す情報や1秒間に符号化されるフ
レーム数、通信速度等の画像シーケンス全体に関する情
報等が格納されている。
【0005】GOPは、GOPヘッダ(図示せず)とそ
れに続く複数のピクチャによって構成されている。各ピ
クチャは、Iピクチャ,Pピクチャ,Bピクチャの何れ
か一つによって構成されている。
【0006】Iピクチャは、フレーム内処理のみで符号
化されたピクチャである。Pピクチャは、符号化済みの
直前のピクチャ(IまたはPピクチャ)から予測された
ピクチャであり、連続したピクチャの中で前方向のみの
動き予測に使用される。Bピクチャは、2個の隣接した
符号化済みのピクチャ(IまたはPピクチャ)から予測
されたピクチャであり、連続する前後方向の動き予測に
使用される。なお、このBピクチャは、他のピクチャの
予測には使用されない。
【0007】また、各ピクチャは、動画像信号を構成す
る各画面に相当し、ピクチャヘッダ(図示せず)とそれ
に続く複数のスライスとで構成されている。各スライス
は、複数のマクロブロックで構成されている。マクロブ
ロックは、16×16の画素ブロックで構成されてい
る。
【0008】次に、従来の動き補償フレーム間予測符号
化装置について説明する。図6は、従来の動き補償フレ
ーム間予測符号化装置を示すブロック図である。同図に
示すように、従来の装置は、入力端子101を有する入
力バッファ102と、減算器103と、動きベクトル検
出器104と、動き補償器105と、DCT器106
と、量子化器107と、可変長符号化器108と、逆量
子化器109と、逆DCT器110と、加算器111
と、フレームメモリ112と、ベクトル符号化器113
と、多重化部114とで構成されている。
【0009】入力端子101には、画像データが入力さ
れ、この入力画像データは入力バッファ102に供給さ
れる。入力バッファ102は、入力された画像データを
所定の画素単位(すなわち、上述のマクロブロック単
位)で減算器103および動きベクトル検出器104に
供給する。減算器103は、入力バッファ102から出
力された画像データと、動き補償器105で動き補償さ
れた参照フレームのブロックデータ(参照マクロブロッ
クデータ)とが供給され、これらを使ってフレーム間差
分信号を求めてDCT器106に供給する。
【0010】DCT器106は、入力されたフレーム間
差分信号を、DCT(離散コサイン変換)処理すること
によって水平および垂直方向の周波数成分に分離してか
ら、量子化器107に供給する。量子化器107は、D
CT器106の出力を量子化することによってビットレ
ートを低減し、可変長符号化器108および逆量子化器
109に供給する。逆量子化器109は、量子化器10
7の出力を逆量子化してから逆DCT器110に供給す
る。
【0011】逆DCT器110は、逆量子化器109の
出力を逆DCT処理してから加算器111に供給する。
すなわち、逆量子化器109および逆DCT器110に
よって復号化処理が行われ、符号化前のフレーム間差分
信号と同様のデータが得られる。加算器111は、動き
補償器105で動き補償された参照フレームのブロック
データと、逆DCT器110の出力とが供給される。そ
して、これらを加算することにより、現フレームの予測
される入力ブロックデータを再生し、フレームメモリ1
12に供給する。
【0012】フレームメモリ112は、入力されたブロ
ックデータを、新たな参照フレームのデータとして動き
補償器105および動きベクトル検出器104に供給す
る。動きベクトル検出器104は、入力バッファ102
から現フレームのブロックデータが供給されるととも
に、フレームメモリ112から参照フレームのブロック
データが供給される。そして、これら入力されたブロッ
クデータを用いて、参照フレームと現フレームとの間の
動きベクトルを求め、求めた動きベクトルを動き補償器
105に供給する。
【0013】動き補償器105には、フレームメモリ1
12から参照フレームのブロックデータが与えられてい
る。したがって、動き補償器105は、このブロックデ
ータを動きベクトル検出器104からの動きベクトルで
動き補償することにより、動き補償された参照フレーム
のブロックデータ(参照マクロブロックデータ)を作成
して減算器103に供給する。
【0014】一方、可変長符号化器108は、量子化器
107の出力を可変長符号化して多重化部114に供給
する。ベクトル符号化器113は、動きベクトル検出器
104で求められた動きベクトルを可変長符号化して多
重化部114に供給する。多重化部114は、可変長符
号化器108で可変長符号化された画像データに、ベク
トル符号化器113で可変長符号化された動きベクトル
値をヘッダ情報として多重してから出力する。
【0015】次に、このような動き補償フレーム間予測
符号化装置の動作原理について説明する。
【0016】図7は、ある物体が一定の方向へ一定速度
で移動している場合における、参照フレームおよびその
動きベクトルを示す説明図である。一般的に、TV画像
中に映し出される人の動きなどのように、動画像中の物
体の動きは、非常に複雑なものであるかのように感じら
れる。しかしながら、画像の動きを画素単位でとらえる
と、必ずしもそのようなことはない。動画像を圧縮する
際には、所定の画素単位で動き補償を行うため、図7に
示すように、大部分の画素の動きはほとんど一定速度で
動くことになる。
【0017】したがって、動きベクトルの値は、参照フ
レームとの距離に比例して大きくなるものと考えられ、
動き補償フレーム間予測符号化装置における動きベクト
ルの検索範囲は、被予測フレームと参照フレームとの距
離に応じて決められるのが妥当である。
【0018】例えば被予測フレーム1の動きベクトル
(x1,y1)の検索範囲を −r<x1,y1<r (r:任意自然数) とすれば、被予測フレーム2の動きベクトル検索範囲は
少なくとも、 −2r<x2,y2<2r とすべきである。
【0019】このような参照フレームと被予測フレーム
との距離に応じて検索範囲を拡大する動き補償フレーム
間予測符号化装置の一例としては、特開平1−1666
84号公報や特開平10−336666号公報に開示さ
れた装置が知られている。
【0020】これらの公報に開示された装置は、参照フ
レームと被予測フレームとの距離に応じて単純に検索範
囲を大きくするものではなく、検索範囲を適宜調整する
ものである。すなわち、予め定められた動きベクトルの
検索範囲に対して、すでに動きベクトル検出を行った過
去の符号化フレームにおける動きベクトルの値に応じて
検索中心位置にオフセットを設定し、検索範囲をシフト
することにより、検索範囲の大きさを変えることなく、
動きベクトルの検索範囲を見かけ上拡大している。
【0021】しかしながら、動きベクトルを符号化する
場合、すべての動きベクトルに可変長符号を割り当てる
ハフマン符号化を行うと、動きベクトルの大きさはダイ
ナミックレンジが広いため、膨大なテーブルが必要とな
ってしまう。上述したように動きベクトルの値は、被予
測フレームと参照フレームとの距離に比例するものと考
えられるため、動きベクトルをフレーム間の距離に依存
しない部分とフレーム間の距離に依存する部分とに分
け、前者に可変長符号を割り当て後者に別の符号化方法
を導入すると効率がよいといえる。
【0022】そこで、動画像符号化の国際標準規格であ
るMPEG方式では、前者のフレーム間隔によらない符
号化のために「motion_code」という「−1
6〜+16」までの数値に可変長符号を割り当て、後者
のフレーム間隔に依存する符号化のために「f_cod
e」というパラメータを用いている。
【0023】表1は、motion_codeの値と可
変長符号との対応を示す表である。この表に示すとお
り、「0」に近づくほど可変長符号のビット数は減少
し、「0」から離れるに従って可変長符号のビット数は
増加している。
【0024】
【0025】表2は、f_codeと動きベクトルの探
索範囲との関係を示す表である。この表に示すとおり、
f_codeの値が増える毎に、探索範囲は2の累乗単
位で広がっている。
【0026】
【0027】一方、MPEG方式は、現在の動きベクト
ルと一つ前の動きベクトルとの差分(以下、差分動きベ
クトルという)を符号化するという差分符号化方式を採
用している。一般的に動きベクトルは、隣り合ったもの
同士がほぼ同じような値となることが多いため、差分動
きベクトルの値は「0」に近いものほど発生頻度が高い
傾向にある。したがって、表1に示すように「0」に近
いものに、短い符号長を割り当てることによって効率化
を図っている。差分動きベクトルの範囲が「−16〜+
15」の場合には、表1を用いてそのまま符号化すれば
よい。
【0028】ところが、差分動きベクトルの範囲が「−
32〜+31」の場合には、表1だけで表現することは
できない。そこで、表1に示す可変長符号に固定長符号
を新たに付加することにより差分動きベクトルを表現す
る。すなわち、表3を使って差分動きベクトルに対応す
る固定長符号の値およびmotion_codeの値を
調べ、調べたmotion_codeに対応する可変長
符号を表1から選択し、選択された可変長符号の後に、
前述の固定長符号を付加する。
【0029】
【0030】例えば、差分動きベクトルが「4」であれ
ば、表3から固定長符号が「1」であり、motion
_codeが「2」であることがわかる。したがって、
表1を参照して、motion_codeが「2」の可
変長符号は「0010」であるから、前述の固定長符号
「1」を付加することにより、「00101」が求ま
る。
【0031】なお、差分動きベクトルの範囲が「−64
〜+63」の場合においても同様であり、表4を使って
2ビットの固定長符号およびmotion_codeを
求めてから、求められたmotion_codeに対応
する可変長符号を表1から選択し、選択した可変長符号
に固定長符号を付加する。
【0032】
【0033】このように、MPEG方式では、参照フレ
ームと被予測フレームとの距離に応じて、f_code
の値を増加させることにより、動きベクトルの探索範囲
を比例的に大きく表すことが可能となっている。
【0034】
【発明が解決しようとする課題】しかしながら、参照フ
レームと被予測フレームとのフレーム間隔に応じてf_
codeの値を決めるというこのような従来方式では、
必ずしもすべての動画像に対して、効率よく動きベクト
ルを符号化できるわけではない。
【0035】例えば、同じ「1」という差分動きベクト
ルを符号化する場合、f_code=1なら3ビット
(「010」)で済むのに対して、f_code=2で
は4ビット(「0100」)必要になる。また「4」と
いう差分動きベクトルを符号化する場合、f_code
=1では7ビット(「0000110」)であるのに対
し、f_code=2では5ビット(「00101」)
で済む。
【0036】すなわち、f_code=2に割り当てら
れたフレームの動きベクトル検出の結果、その差分動き
ベクトルの値がf_code=1で表せる範囲に収ま
り、かつ、差分動きベクトル値の発生分布が「±1」近
辺に集中しているようであれば、f_code=1で符
号化した方が効率がよい。逆に、「±4」近辺に集中し
ているようであれば、f_code=2で符号化した方
が効率がよい。
【0037】動きベクトルの符号化効率が悪いと、画像
データに割り当てられる符号量が減少し、画質劣化の要
因となるため、f_codeをどのように決定するかは
重要である。したがって、参照フレームと被予測フレー
ムとの間隔にのみ応じて、単純にf_codeを決定す
るだけでは、動きベクトルの符号化効率が低下し、さら
には画像データに割り当てられる符号量が減少し、画像
品質が劣化するという問題点があった。
【0038】本発明は、このような課題を解決するため
のものであり、動画像の符号化品質を向上させることが
できる動画像符号化装置を提供することを目的とする。
【0039】
【課題を解決するための手段】このような目的を達成す
るために、本発明に係る動画像符号化装置は、動きベク
トルおよび差分動きベクトルを、被予測フレームと参照
フレームとの距離に依存しない部分に割り当てられた可
変長符号と、上記被予測フレームと上記参照フレームと
の距離に依存する部分に割り当てられた固定長符号と、
の組み合わせによって符号化するとともに、動き補償フ
レーム間予測符号化方式を使用する動画像符号化装置に
おいて、入力された画像データを記憶保持するととも
に、この画像データをマクロブロック単位で出力する入
力バッファと、上記マクロブロック単位の画像データと
所定の参照フレームとの間の動きベクトルを求めてから
出力する動きベクトル検出器と、この動きベクトルを記
憶保持するベクトル記憶器と、このベクトル記憶器から
動きベクトルを読み出すとともに、この動きベクトルと
上記参照フレームとを使って、動き補償された参照マク
ロブロックデータを作成して出力する動き補償器と、上
記入力バッファの出力および上記動き補償器の出力が入
力され、両出力の差分信号を求めて出力する減算器と、
この減算器から出力される差分信号を離散コサイン変換
処理することにより、水平および垂直方向の周波数成分
に分離してから出力するDCT器と、このDCT器の出
力を量子化してから出力する量子化器と、この量子化器
の出力を逆量子化してから出力する逆量子化器と、この
逆量子化器の出力を逆離散コサイン変換処理してから出
力する逆DCT器と、上記動き補償器からの動き補償さ
れた参照マクロブロックデータと上記逆DCT器の出力
とが入力され、両者を加算して得られたブロックデータ
を出力する加算器と、上記加算器からのブロックデータ
を新たな参照フレームのデータとして記憶保持するとと
もに出力するフレームメモリと、上記量子化器の出力を
可変長符号化してから出力する可変長符号化器と、上記
ベクトル記憶器に記憶された動きベクトルを読み出して
差分動きベクトルを算出し、上記動きベクトルを符号化
する際に、上記差分動きベクトルの総符号量が最も短く
なるように、上記可変長符号と上記固定長符号との組み
合わせを選択するベクトル符号長最適化器と、このベク
トル符号長最適化器で選択された上記可変長符号と上記
固定長符号との組み合わせを使って、上記動きベクトル
を可変長符号化して出力するベクトル符合化器と、上記
可変長符号化器で可変長符号化された画像データと、上
記ベクトル符号化器で可変長符号化された動きベクトル
とを多重してから出力する多重化部とを備えたものであ
る。
【0040】一方、本発明のその他の態様として、以下
のようなものがある。すなわち、上記動画像符号化装置
は、MPEG方式に使用されてもよい。また、上記可変
長符号は、上記MPEG方式で使用されるmotion
_codeであり、上記固定長符号は、上記MPEG方
式で使用されるf_codeであってもよい。
【0041】また、上記ベクトル符号長最適化器は、1
フレーム内の動きベクトルの各成分について最大値およ
び最小値を求め、f_codeの値を所定の範囲内で可
変しながら、差分動きベクトルを算出するとともに、各
f_codeの値毎に差分動きベクトルの総符号量を算
出し、この総符号量が最も小さくなるf_codeを選
択するものであってもよい。
【0042】さらに、上記ベクトル符号長最適化器は、
1フレーム内の動きベクトルの各成分について最大値お
よび最小値を求め、差分動きベクトルを算出し、この差
分動きベクトルの平均値を算出し、予め差分動きベクト
ルの平均値とf_codeの値とを対応づけて設定され
た所定のテーブルから、上記差分動きベクトルの平均値
に対応するf_codeを選択するものであってもよ
い。
【0043】
【発明の実施の形態】次に、本発明の一つの実施の形態
について図を参照して説明する。
【0044】図1は、本発明の一つの実施の形態を示す
ブロック図である。同図に示すように、本実施の形態に
係る動画像符号化装置は、入力端子1を有する入力バッ
ファ2と、動きベクトル検出器4と、ベクトル記憶器5
と、動き補償器6と、減算器3と、DCT器7と、量子
化器8と、可変長符号化器9と、逆量子化器10と、逆
DCT器11と、加算器12と、フレームメモリ13
と、ベクトル符号長最適化器14と、ベクトル符号化器
15と、多重化部16とを備えている。
【0045】入力端子1には、画像データが入力され、
この画像データは入力バッファ2に供給される。入力バ
ッファ2は、入力された画像データを所定の画素単位
(すなわち、マクロブロック単位)で減算器3および動
きベクトル検出器4に供給する。減算器3は、入力バッ
ファ2から出力された画像データと、動き補償器6で動
き補償された参照フレームのブロックデータ(参照マク
ロブロックデータ)とが供給され、これらを使ってフレ
ーム間差分信号を求めてDCT器7に供給する。
【0046】動きベクトル検出器4は、入力バッファ2
から現フレームのブロックデータが供給されるととも
に、フレームメモリ13から参照フレームのブロックデ
ータが供給される。そして、これら入力されたブロック
データを用いて、参照フレームと現フレームとの間の動
きベクトルを求め、求めた動きベクトルをベクトル記憶
器5に格納する。
【0047】ベクトル記憶器5は、1フレーム内のすべ
てのマクロブロックの動きベクトルを記憶するだけの記
憶容量を持っている。動き補償器6は、フレームメモリ
13から参照フレームを読み出すとともに、符号化した
いマクロブロックの動きベクトルをベクトル記憶器5か
ら読み出し、これらを使って動き補償された参照マクロ
ブロックデータを作成し、減算器3に供給する。
【0048】DCT器7は、減算器3から供給されたフ
レーム間差分信号をDCT(離散コサイン変換)処理す
ることにより、水平および垂直方向の周波数成分に分離
してから量子化器8に供給する。量子化器8は、DCT
器7の出力を量子化してビットレートを低減し、可変長
符号化器9および逆量子化器10に供給する。逆量子化
器10は、量子化器8の出力を逆量子化してから逆DC
T器11に供給し、逆DCT器11は、逆量子化器10
の出力を逆DCT処理して加算器12に供給する。すな
わち、逆量子化器10および逆DCT器11によって復
号化処理が行われ、符号化前のフレーム間差分信号と同
様のデータが得られる。
【0049】加算器12は、動き補償器6からの動き補
償された参照マクロブロックデータと、逆DCT器11
の出力とが供給される。そして、これらを加算すること
により、現フレームの予測される入力ブロックデータを
再生し、フレームメモリ13に供給する。フレームメモ
リ13は、入力されたブロックデータを、新たな参照フ
レームのデータとして動き補償器6および動きベクトル
検出器4に供給する。
【0050】ベクトル符号長最適化器14は、ベクトル
記憶器5に記憶されている動きベクトルを符号化する際
に、できる限り短い符号長になるように最適化処理を施
す。最適化処理の詳細については後述する。ベクトル符
号化器15は、ベクトル符号長最適化器14で最適化さ
れた動きベクトルを可変長符号化して多重化部16に供
給する。
【0051】一方、可変長符号化器9は、量子化器8の
出力を可変長符号化して多重化部16に供給する。多重
化部16は、可変長符号化器9で可変長符号化された画
像データに、ベクトル符号化器15で可変長符号化され
た動きベクトル値をヘッダ情報として多重してから出力
する。
【0052】次に、図1に係る本実施の形態の動作につ
いて説明する。
【0053】[動きベクトル検出器4の動作]動きベク
トル検出器4は、入力バッファ2から供給されたマクロ
ブロックデータについて、フレームメモリ13から入力
された参照フレーム内の、予め定められた検索範囲内を
検索して動きベクトルを求める。差分器3以降の符号化
処理を実行するよりも前に、表5に示すように現フレー
ムの左上のマクロブロックMB 0 から、右下のマクロブ
ロックMBN にかけてのすべてのマクロブロックの動き
ベクトルを求め、ベクトル記憶器5に予め記憶してお
く。
【0054】
【0055】[ベクトル記憶器5の動作]ベクトル記憶
器5は、動きベクトルの値を記憶するためのメモリであ
り、動きベクトル検出器4で検出された動きベクトルの
値を、マクロブロックMB0 からマクロブロックMBN
まで順次記憶する。ここで、動きベクトルMVは、図2
のように水平成分(MVx)と垂直成分(MVy)を持
っており、また動画像符号化の国際標準規格であるMP
EG方式では、過去のフレームからの順方向予測と未来
のフレームからの逆方向予測の両方を用いた内挿的予
測、さらにフレームを偶数、奇数各フィールド個別に予
測するフィールド予測が行われるため、1マクロブロッ
ク当たり最大で4つのベクトル、すなわち最大で8つの
成分が存在する。したがって、ベクトル記憶器5は、少
なくとも(1フレーム内のマクロブロック数)×8の成
分を記憶するだけのメモリ容量を有している。
【0056】[ベクトル符号長最適化器14の動作]M
PEG方式では、現フレームのマクロブロックの動きベ
クトルと、その直前のマクロブロックの動きベクトルと
の差分信号を符号化する方式を採用している。また、差
分動きベクトルの符号化に、表1,表3,表4に示すm
otion_codeという可変長符号と、表2に示す
f_codeというパラメータとを用いて符号化する方
式を採用している。
【0057】したがって、ベクトル符号長最適化器14
は、ベクトル記憶器5に記憶した1フレーム分の動きベ
クトルのそれぞれについて差分動きベクトルを計算し、
この差分動きベクトルの値の発生状況から、最もベクト
ル符号量が少なくなるようなf_codeを選択する。
【0058】図4は、ベクトル符号長最適化器の動作を
示すフローチャートである。まず、ベクトル記憶器5に
記憶した1フレーム分の動きベクトルのすべての成分に
ついて、最大値および最小値をチェックする(ステップ
S1)。
【0059】このチェックの結果、動きベクトルの範囲
が「−16〜+15」であれば、表1に示したmoti
on_codeをそのまま割り当てればよく、最小のf
_codeは「1」となる。また、もし動きベクトルの
範囲が「−32〜+31」であれば、表3に示すように
1ビットの固定長符号が必要となり、最小のf_cod
eは「2」となる(ステップS2)。
【0060】次いで、ステップS2で取得したf_co
deの最小値を使用して、マクロブロック間の各ベクト
ル成分の差分動きベクトルを算出する(ステップS
3)。なお、差分動きベクトルの変動範囲は、もとの動
きベクトルの変動範囲の2倍となる。そのため、差分動
きベクトルをモジュロ補正することにより、もとの変動
範囲に収まるようにする。
【0061】次いで、ステップS3で得られた差分動き
ベクトルを符号化して、1フレーム分の総符号量を算出
する(ステップS4)。ここで、その他のf_code
を使って、差分動きベクトルの総符号量をすでに算出し
ている場合には、今回算出した値とすでに求められてい
る値との大小比較を行うことにより、総符号量が小さく
なるf_codeを決定する(ステップS5)。
【0062】次いで、ステップS6において、f_co
deが予め定めた最大値になるまで、f_codeの値
を1インクリメントし(ステップS7)、ステップS3
に戻る。したがって、f_codeの値を逐次増加させ
る毎に、差分動きベクトルの総符号量の算出を繰り返
し、最終的にステップS8において、最も総符号量が少
なくなるf_codeを決定する。
【0063】なお、例えばもとの動きベクトルの範囲が
「−16〜+15」の範囲であったとすると、最小のf
_codeは「1」となる。しかし、差分動きベクトル
が「4」の場合、表1,3よりそのままf_code=
1で符号化すると7ビットの符号量を必要とするが、f
_code=2またはf_code=3で符号化する
と、5ビットの符号量で済む。したがって、差分動きベ
クトルの発生分布が「4」近辺に集中していた場合にお
いては、f_code=2またはf_code=3で符
号化した場合の総符号量の方が少なくなる。
【0064】同様にして差分動きベクトルが「1」の場
合、f_code=1で符号化すると3ビットの符号量
で済むが、f_code=2で符号化すると4ビットの
符号量が必要となる。したがって、差分動きベクトルの
発生分布が「1」近辺に集中していたとすると、f_c
ode=1で符号化した場合の総符号量の方が少なくな
る。
【0065】[ベクトル符号化器15の動作]ベクトル
符号化器15は、ベクトル符号長最適化器14で決定さ
れたf_codeの値を用いて、差分動きベクトル値を
マクロブロック毎に符号化し、多重化部16に出力す
る。すると多重化部16は、減算器3とDCT器7と量
子化器8と可変長符号化器9とにより、マクロブロック
毎に符号化された画像符号に対して、ベクトル符号化器
15によって符号化された差分動きベクトルをヘッダ情
報として多重してから出力する。
【0066】次に、本発明のその他の実施の形態につい
て説明する。上述のように、f_codeの値毎に差分
動きベクトルの総符号量を計算し、総符号量がもっも小
さくなるf_codeの値を選択するようにしてもよい
が、これでは符号化に時間がかかりすぎてしまう場合が
ある。そこで、差分動きベクトルとf_codeとの対
応表を予め用意しておき、差分動きベクトルの平均値に
対応するf_codeを、この対応表から選択するよう
にしてもよい。
【0067】図5は、本発明のその他の実施の形態を示
すフローチャートである。まず、ベクトル記憶器5に記
憶した1フレーム分の動きベクトルのすべての成分につ
いて、最大値と最小値をチェックする(ステップS1
1)。このチェックの結果、動きベクトルの範囲が「−
16〜+15」であれば、表1に示したmotion_
codeをそのまま割り当てればよく、f_codeの
最小値は「1」となる。また、もし動きベクトルの範囲
が「−32〜+31」であれば、表3に示すとおり、1
ビットの固定長符号が必要となり、最小のf_code
値は「2」となる(ステップS12)。
【0068】次いで、ステップS12で取得したf_c
odeの最小値を使用して、マクロブロック間の各ベク
トル成分の差分動きベクトルを算出する(ステップS1
3)。
【0069】次いで、ステップS13で算出した差分動
きベクトルの平均値を算出する(ステップS14)。こ
こで、表6に示すような差分動きベクトルの平均値と、
f_codeとの対応表を予め作成しておくものとす
る。第1候補とは、平均差分ベクトルを符号化するのに
最も短い符号長で表すことのできるf_codeであ
り、第2候補とは、その次に短い符号長で表すことので
きるf_codeである。表6には記載していないが、
さらに第3、第4、・・・と順次候補となるf_cod
eを設定しておいてもよい。
【0070】次いで、ステップS15において、ステッ
プS11で得られた動きベクトルの範囲と、ステップS
14で得られた差分動きベクトルの平均値とに従って、
表6に示すテーブルを参照し、f_codeを決定する
(ステップS16)。
【0071】以上のとおり本実施の形態は、差分動きベ
クトルの1フレーム分の総符号量を算出する必要がな
い。差分動きベクトルの平均値に基づいてテーブルを参
照することにより、最適なf_codeの値を決定する
ため、ベクトル符号長最適化器の処理を高速に行えると
いう効果がある。
【0072】
【0073】
【発明の効果】以上説明したとおり本発明は、入力され
た画像データを記憶保持するとともに、この画像データ
をマクロブロック単位で出力する入力バッファと、上記
マクロブロック単位の画像データと所定の参照フレーム
との間の動きベクトルを求めてから出力する動きベクト
ル検出器と、この動きベクトルを記憶保持するベクトル
記憶器と、このベクトル記憶器から動きベクトルを読み
出すとともに、この動きベクトルと上記参照フレームと
を使って、動き補償された参照マクロブロックデータを
作成して出力する動き補償器と、上記入力バッファの出
力および上記動き補償器の出力が入力され、両出力の差
分信号を求めて出力する減算器と、この減算器から出力
される差分信号を離散コサイン変換処理することによ
り、水平および垂直方向の周波数成分に分離してから出
力するDCT器と、このDCT器の出力を量子化してか
ら出力する量子化器と、この量子化器の出力を逆量子化
してから出力する逆量子化器と、この逆量子化器の出力
を逆離散コサイン変換処理してから出力する逆DCT器
と、上記動き補償器からの動き補償された参照マクロブ
ロックデータと上記逆DCT器の出力とが入力され、両
者を加算して得られたブロックデータを出力する加算器
と、上記加算器からのブロックデータを新たな参照フレ
ームのデータとして記憶保持するとともに出力するフレ
ームメモリと、上記量子化器の出力を可変長符号化して
から出力する可変長符号化器と、上記ベクトル記憶器に
記憶された動きベクトルを読み出して差分動きベクトル
を算出し、上記動きベクトルを符号化する際に、上記差
分動きベクトルの総符号量が最も短くなるように、上記
可変長符号と上記固定長符号との組み合わせを選択する
ベクトル符号長最適化器と、このベクトル符号長最適化
器で選択された上記可変長符号と上記固定長符号との組
み合わせを使って、上記動きベクトルを可変長符号化し
て出力するベクトル符合化器と、上記可変長符号化器で
可変長符号化された画像データと、上記ベクトル符号化
器で可変長符号化された動きベクトルとを多重してから
出力する多重化部とを備えている。
【0074】したがって、動画像の符号化品質を向上さ
せることができる。特に動きベクトルを符号化する際
に、現フレームと参照フレームとの距離に応じて、固定
的にf_codeの値を割り当てるのではなく、最も動
きベクトルの符号量が少なくなるようにf_codeの
値を割り当てることにより、固定的にf_codeを割
り当てる場合に比べて、冗長な動きベクトルの符号量の
発生を防止することができる。また、画像符号に効率よ
く符号量を割り当てることができる。
【図面の簡単な説明】
【図1】 本発明の一つの実施の形態を示すブロック図
である。
【図2】 マクロブロックを示す説明図である。
【図3】 本発明の動作を示すフローチャートである。
【図4】 本発明の動作を示すフローチャートである。
【図5】 圧縮した画像を示す説明図である。
【図6】 従来例を示すブロック図である。
【図7】 参照フレームおよび被予測フレームを示す説
明図である。
【符号の説明】
1…入力端子、2…入力バッファ、3…減算器、4…動
きベクトル検出器、5…ベクトル記憶器、6…動き補償
器、7…DCT器、8…量子化器、9…可変長符号化
器、10…逆量子化器、11…逆DCT器、12…加算
器、13…フレームメモリ、14…ベクトル符号長最適
化器、15…ベクトル符合化器、16…多重化部。

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 動きベクトルおよび差分動きベクトル
    を、被予測フレームと参照フレームとの距離に依存しな
    い部分に割り当てられた可変長符号と、前記被予測フレ
    ームと前記参照フレームとの距離に依存する部分に割り
    当てられた固定長符号と、の組み合わせによって符号化
    するとともに、動き補償フレーム間予測符号化方式を使
    用する動画像符号化装置において、 入力された画像データを記憶保持するとともに、この画
    像データをマクロブロック単位で出力する入力バッファ
    と、 前記マクロブロック単位の画像データと所定の参照フレ
    ームとの間の動きベクトルを求めてから出力する動きベ
    クトル検出器と、 この動きベクトルを記憶保持するベクトル記憶器と、 このベクトル記憶器から動きベクトルを読み出すととも
    に、この動きベクトルと前記参照フレームとを使って、
    動き補償された参照マクロブロックデータを作成して出
    力する動き補償器と、 前記入力バッファの出力および前記動き補償器の出力が
    入力され、両出力の差分信号を求めて出力する減算器
    と、 この減算器から出力される差分信号を離散コサイン変換
    処理することにより、水平および垂直方向の周波数成分
    に分離してから出力するDCT器と、 このDCT器の出力を量子化してから出力する量子化器
    と、 この量子化器の出力を逆量子化してから出力する逆量子
    化器と、 この逆量子化器の出力を逆離散コサイン変換処理してか
    ら出力する逆DCT器と、 前記動き補償器からの動き補償された参照マクロブロッ
    クデータと前記逆DCT器の出力とが入力され、両者を
    加算して得られたブロックデータを出力する加算器と、 前記加算器からのブロックデータを新たな参照フレーム
    のデータとして記憶保持するとともに出力するフレーム
    メモリと、 前記量子化器の出力を可変長符号化してから出力する可
    変長符号化器と、 前記ベクトル記憶器に記憶された動きベクトルを読み出
    して差分動きベクトルを算出し、前記動きベクトルを符
    号化する際に、前記差分動きベクトルの総符号量が最も
    短くなるように、前記可変長符号と前記固定長符号との
    組み合わせを選択するベクトル符号長最適化器と、 このベクトル符号長最適化器で選択された前記可変長符
    号と前記固定長符号との組み合わせを使って、前記動き
    ベクトルを可変長符号化して出力するベクトル符合化器
    と、 前記可変長符号化器で可変長符号化された画像データ
    と、前記ベクトル符号化器で可変長符号化された動きベ
    クトルとを多重してから出力する多重化部とを備えたこ
    とを特徴とする動画像符号化装置。
  2. 【請求項2】 請求項1において、 前記動画像符号化装置は、MPEG方式に使用されるこ
    とを特徴とする動画像符号化装置。
  3. 【請求項3】 請求項2において、 前記可変長符号は、前記MPEG方式で使用されるmo
    tion_codeであり、 前記固定長符号は、前記MPEG方式で使用されるf_
    codeであることを特徴とする動画像符号化装置。
  4. 【請求項4】 請求項3において、 前記ベクトル符号長最適化器は、 1フレーム内の動きベクトルの各成分について最大値お
    よび最小値を求め、 f_codeの値を所定の範囲内で可変しながら、差分
    動きベクトルを算出するとともに、各f_codeの値
    毎に差分動きベクトルの総符号量を算出し、 この総符号量が最も小さくなるf_codeを選択する
    ことを特徴とする動画像符号化装置。
  5. 【請求項5】 請求項3において、 前記ベクトル符号長最適化器は、 1フレーム内の動きベクトルの各成分について最大値お
    よび最小値を求め、差分動きベクトルを算出し、 この差分動きベクトルの平均値を算出し、 予め差分動きベクトルの平均値とf_codeの値とを
    対応づけて設定された所定のテーブルから、前記差分動
    きベクトルの平均値に対応するf_codeを選択する
    ことを特徴とする動画像符号化装置。
JP13245699A 1999-05-13 1999-05-13 動画像符号化装置 Pending JP2000324498A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP13245699A JP2000324498A (ja) 1999-05-13 1999-05-13 動画像符号化装置
US09/567,071 US6724821B1 (en) 1999-05-13 2000-05-08 Picture coding apparatus with coding efficiency improved
GB0011583A GB2352918B (en) 1999-05-13 2000-05-12 Picture coding apparatus
GB0111504A GB2360662B (en) 1999-05-13 2000-05-12 Picture coding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13245699A JP2000324498A (ja) 1999-05-13 1999-05-13 動画像符号化装置

Publications (1)

Publication Number Publication Date
JP2000324498A true JP2000324498A (ja) 2000-11-24

Family

ID=15081792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13245699A Pending JP2000324498A (ja) 1999-05-13 1999-05-13 動画像符号化装置

Country Status (3)

Country Link
US (1) US6724821B1 (ja)
JP (1) JP2000324498A (ja)
GB (1) GB2352918B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009525705A (ja) * 2006-01-31 2009-07-09 クゥアルコム・インコーポレイテッド マルチメディアコンテンツのリサイズ方法およびシステム
US8885470B2 (en) 2005-04-08 2014-11-11 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
JP2016005236A (ja) * 2014-06-19 2016-01-12 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2018166306A (ja) * 2017-03-28 2018-10-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1351510A4 (en) * 2001-09-14 2008-12-10 Ntt Docomo Inc ENCODING METHOD, DECODING METHOD, ENCODING APPARATUS, DECODING APPARATUS, IMAGE PROCESSING SYSTEM, ENCODING PROGRAM, AND DECODING PROGRAM
US7072402B2 (en) * 2002-05-13 2006-07-04 General Instrument Corporation Methods and apparatus for dynamically adjusting f-codes for a digital picture header
KR100800772B1 (ko) * 2004-05-26 2008-02-01 마츠시타 덴끼 산교 가부시키가이샤 움직임 벡터 부호화 장치, 방법, 프로그램 및 매체
US8559515B2 (en) * 2005-09-21 2013-10-15 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view video
CN100583649C (zh) * 2007-07-23 2010-01-20 华为技术有限公司 矢量编/解码方法、装置及流媒体播放器
US9083984B2 (en) * 2010-03-19 2015-07-14 Texas Instruments Incorporated Adaptive coding structure and adaptive FCode determination in video coding
US10958987B1 (en) 2018-05-01 2021-03-23 Amazon Technologies, Inc. Matching based on video data
US10630748B1 (en) * 2018-05-01 2020-04-21 Amazon Technologies, Inc. Video-based encoder alignment
US10630990B1 (en) 2018-05-01 2020-04-21 Amazon Technologies, Inc. Encoder output responsive to quality metric information

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6473986A (en) * 1987-09-16 1989-03-20 Fujitsu Ltd Coding system for moving compensation vector
JPH0738721B2 (ja) * 1987-12-23 1995-04-26 日本放送協会 動きベクトル検出回路
JPH0276493A (ja) * 1988-09-13 1990-03-15 Nec Corp 画像符号化装置および復号化装置
JP2833236B2 (ja) 1991-01-31 1998-12-09 日本電気株式会社 画像の予測符号化方式
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5428396A (en) * 1991-08-03 1995-06-27 Sony Corporation Variable length coding/decoding method for motion vectors
GB2305797B (en) 1995-09-27 2000-03-01 Sony Uk Ltd Video data compression
WO1997016031A1 (en) 1995-10-26 1997-05-01 Sarnoff Corporation Apparatus and method for selecting a coding mode in a block-based coding system
JP3226020B2 (ja) * 1997-05-28 2001-11-05 日本電気株式会社 動きベクトル検出装置
KR100249223B1 (ko) * 1997-09-12 2000-03-15 구자홍 엠팩(mpeg)-4의움직임벡터코딩방법
KR100257191B1 (ko) * 1997-12-31 2000-05-15 구자홍 움직임 벡터 디코더
JP2000217116A (ja) 1999-01-26 2000-08-04 Matsushita Electric Ind Co Ltd 画像変換方法,画像変換装置,及びデ―タ記憶媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885470B2 (en) 2005-04-08 2014-11-11 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
JP2009525705A (ja) * 2006-01-31 2009-07-09 クゥアルコム・インコーポレイテッド マルチメディアコンテンツのリサイズ方法およびシステム
US8582905B2 (en) 2006-01-31 2013-11-12 Qualcomm Incorporated Methods and systems for rate control within an encoding device
US8792555B2 (en) 2006-01-31 2014-07-29 Qualcomm Incorporated Methods and systems for resizing multimedia content
JP2016005236A (ja) * 2014-06-19 2016-01-12 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2018166306A (ja) * 2017-03-28 2018-10-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム

Also Published As

Publication number Publication date
GB0011583D0 (en) 2000-07-05
US6724821B1 (en) 2004-04-20
GB2352918B (en) 2001-09-05
GB2352918A (en) 2001-02-07

Similar Documents

Publication Publication Date Title
JP3888597B2 (ja) 動き補償符号化装置、及び動き補償符号化復号化方法
EP0676900B1 (en) Motion compensation for interlaced digital video signals
US7474699B2 (en) Moving picture encoding/transmission system, moving picture encoding/transmission method, and encoding apparatus, decoding apparatus, encoding method decoding method and program usable for the same
US8379726B2 (en) Coding apparatus, coding method, decoding apparatus, and decoding method
JP2004336369A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP2000324498A (ja) 動画像符号化装置
KR100227298B1 (ko) 부호화 화상의 부호량 제어 방법
US20050089098A1 (en) Data processing apparatus and method and encoding device of same
JP4560694B2 (ja) 符号化装置及びその方法
US6697430B1 (en) MPEG encoder
US6804299B2 (en) Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation
KR20060059774A (ko) 시간적 분해레벨이 다른 픽처의 모션벡터를 이용하는영상신호의 엔코딩/디코딩 방법 및 장치
JP2001309384A (ja) 画像圧縮装置
US20040013200A1 (en) Advanced method of coding and decoding motion vector and apparatus therefor
JP4089025B2 (ja) 画像符号化装置、画像符号化方法、画像伝送システムおよび画像伝送方法
JP4243205B2 (ja) 動画像符号化装置、その方法及びそのプログラム
JP4924744B2 (ja) 復号装置及びその方法
JP3948442B2 (ja) 動き補償復号化装置
JP4697561B2 (ja) 復号装置及びその方法
JP2004007778A (ja) 動き補償復号化方法
JP4924743B2 (ja) 復号装置及びその方法
JPH10164594A (ja) 動画像の圧縮符号化方法およびその装置
JP2004007776A (ja) 動き補償復号化方法
JP2002232892A (ja) 画像符号化装置
JP2004007777A (ja) 動き補償復号化装置