JP2002232892A

JP2002232892A - 画像符号化装置

Info

Publication number: JP2002232892A
Application number: JP2001025930A
Authority: JP
Inventors: Shinpei Ikegami; 晋平池上; Masami Nakagawa; 昌巳中川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-02-01
Filing date: 2001-02-01
Publication date: 2002-08-16

Abstract

(57)【要約】【課題】例えばＢピクチャの参照方向（順方向、逆方
向、双方向）を最適に設定し、ＤＣＴ係数に対する動き
ベクトル情報の情報量を最適な割合とし、圧縮符号化し
た動画像の画質を向上させる。【解決手段】参照画像から元画像への動きベクトルの
参照方向を、順方向、逆方向又は双方向のうちいずれか
に設定する際に、ＭＥ残差が所定の閾値以上（例えばα
＝2000）であるときには参照方向として順方向又は逆方
向のみを選択し、双方向は選択しない。さらに、出力ビ
ットレートに応じて閾値αを制御する。ビットレートが
充分高い場合には閾値αを低くし、ビットレートが低い
場合には閾値αを高くする。すなわち、ビットレート高
いときにのみ、双方向予測を行うようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像データを圧
縮符号化する画像符号化装置及び方法、並びに、動画像
データの動きベクトル生成する動きベクトル情報生成装
置に関するものである。

【０００２】

【従来の技術】例えばＭＰＥＧ（ Moving Picture Expe
rts Group ）規格等の一般の動画像データの圧縮方式で
は、動き補償を用いたフレーム間予測符号化を行って情
報圧縮を行っている。

【０００３】フレーム間予測符号化は、フレーム間の差
分情報のみを伝送することによって、時間方向の冗長度
を削除して動画像データを圧縮する符号化方式である。
また、動き補償を用いたフレーム間予測符号化は、参照
するフレーム（参照ブロック）に二次元空間的なオフセ
ットを与え、参照するフレームと当該フレームとの間で
最も差分が少なくなるオフセット（動きベクトル）を求
め、そのときのフレーム間の差分情報とともにそのオフ
セット（動きベクトル）を伝送することによって、動画
像データを圧縮する符号化方式である。

【０００４】通常、動き補償を用いたフレーム間予測符
号化方式の場合、イントラ符号化（フレーム内符号化）
とインター符号化（フレーム間符号化）という大きく２
つのタイプの符号化が処理が行われる。また、インター
符号化は、更に、順方向予測符号化と、逆方向予測符号
化、双方向予測符号化とに分けられる。

【０００５】イントラ符号化は、符号化が自己のフレー
ム内の情報のみで完結しており、他のフレームに基づき
予測符号化がされない符号化方式である。また、インタ
ー符号化は、他のフレームを参照画像として、予測符号
化をする符号化方式である。インター符号化のうちの順
方向予測符号化は、過去のフレームを参照画像として予
測符号化をする符号化方式であり、逆方向予測符号化
は、未来のフレームを参照画像として予測符号化をする
符号化方式であり、双方向予測符号化は、未来及び過去
のフレームを参照画像として予測符号化をする符号化方
式である。

【０００６】ＭＰＥＧ方式の場合、このようなフレーム
間予測符号化方式によって動画像データの圧縮が行わ
れ、さらに、その予測符号化単位が、いわゆるマクロブ
ロックと呼ばれる画素単位（輝度１６×１６色差８×
８）で行われる。このＭＰＥＧ方式では、符号化が自己
のフレーム内で完結しており、他のフレームに基づき予
測符号化されていないマクロブロックのことをイントラ
マクロブロックといい、他のフレームを参照画像として
予測符号化がされるマクロブロックのことをインターマ
クロブロックという。

【０００７】また、ＭＰＥＧ方式の場合、Ｉピクチャ、
Ｐピクチャ、Ｂピクチャの３つのピクチャタイプが規定
されている。Ｉピクチャは、イントラ符号化により符号
化されたマクロブロックのみで構成されているフレーム
で、動画像をアクセスするためのエントリーポイントと
なる。Ｐピクチャは、Ｉピクチャ又はＰピクチャを参照
画像とした順方向予測符号化されたマクロブロック及び
イントラ符号化により符号化されたマクロブロックのみ
で構成されるフレームである。Ｂピクチャは、２つの
Ｉ，Ｐピクチャを先に処理したのちに、その間に挿入さ
れるフレームである。このＢピクチャは、イントラ符号
化、順方向予測符号化、逆方向予測符号化、双方向予測
符号化の全ての符号化方式を用いることができるフレー
ムである。

【０００８】また、例えばＭＰＥＧ-２等のフィールド
構造を考慮した動画像データの圧縮方式の場合、順方向
予測符号化、逆方向予測符号化及び双方向予測符号化の
各符号化方式に対して、それぞれフレーム予測モードと
フィールド予測モードの２つの動き補償モードが設けら
れている。フレーム予測モードでは、通常の予測符号化
の画素単位（マクロブロック）で動きベクトルを求めて
動き補償を行うモードである。それに対して、フィール
ド予測モードでは、予測符号化の画素単位（マクロブロ
ック）をさらに、垂直方向の奇数ラインと偶数ラインと
に分離して、それぞれで動きベクトルを求めて、動き補
償を行うモードである。伝送する動画像データがフィー
ルド構造の場合には、フィールド予測モードのみでしか
動き補償を行うことができないが、伝送する動画像デー
タがフレーム構造の場合には、その画像の内容に応じて
フィールド予測モードとフレーム予測モードとを適宜切
り換えて動き補償が行われる。

【０００９】ここで、フレーム構造の動画像データに対
して動き補償を利用した予測符号化を行う場合、実質的
な符号化を行う前に、前処理として、動き補償をフィー
ルド予測モードで行うか、或いは、フレーム予測モード
で行うかを判断するモード判定処理を行う必要がある。

【００１０】このモード判定処理では、フィールド予測
モードで予測を行った場合の予測困難性と、フレーム予
測モードで予測を行った場合の予測困難性を算出し、算
出した予測困難性に基づきいずれのモードを用いて動き
補償を行うかを判断する。

【００１１】予測困難性とは、すなわち、予測の正確さ
の逆数であり、その値が低ければ低いほど正しい予測が
行われているという指標になる。通常、この予測困難性
を表す値として、ＭＥ残差が用いられる。

【００１２】図９は、ＴＭ５（Test Model 5）によって
従来より行われているフィールド予測とフレーム予測と
の判定領域を説明するための図である。

【００１３】この図９では、横軸にフレーム予測モード
で動き補償をしたときのＭＥ残差（ME_frm）を示し、縦
軸にフィールド予測モードで動き補償をしたときのＭＥ
残差（ME_fld）を示している。ＴＭ５では、ME_frm＞ME
_fldの場合にはフィールド予測を行い、ME_frm≦ME_fld
の場合にはフレーム予測を行うとしている。

【００１４】このように、ＴＭ５では、予測困難性が低
くなる予測モード、つまり、予測の確かさが高い予測モ
ードによって、動き補償を行うように判定している。

【００１５】また、ＭＰＥＧ方式でのＢピクチャのよう
なピクチャ間に挿入されるフレームの符号化処理では、
入力された原画像（Ｂピクチャ）に対して時間軸上で過
去にある参照画像を用いた順方向予測符号化、時間軸上
で未来にある参照画像を用いた逆方向予測符号化、過去
及び未来の両者の参照画像を用いた双方向予測符号化の
いずれかが行われる。

【００１６】ここで、Ｂピクチャに対して動き補償を利
用した予測符号化を行う場合、実質的な符号化を行う前
に、前処理として、その予測方向を順方向、逆方向或い
は双方向のいずれの方向とするか、つまり、参照画像と
して過去画像、未来画像、その両者のいずれを用いるか
を決定する参照方向決定処理を行う必要がある。

【００１７】この参照方向決定処理では、順方向の参照
画像から予測符号化をした場合の予測困難性と、逆方向
の参照画像から予測符号化をした場合の予測困難性とを
算出し、この算出した予測困難性に基づき、順方向、逆
方向又は双方向のいずれの方向で予測を行うかを決定す
る。この予測困難性を表す値として、ＭＥ残差が用いら
れる。

【００１８】図１０は、ＴＭ５（Test Model 5）によっ
て従来より行われている予測方向の判定領域を説明する
ための図である。

【００１９】この図１０では、横軸に逆方向予測で動き
補償をしたときのＭＥ残差（ME_bwd）を示し、縦軸に順
方向予測で動き補償をしたときのＭＥ残差（ME_fwd）を
示している。ＴＭ５では、ME_fwd≧2×ME_bwdの場合に
は逆方向予測を行い、2×ME_fwd≦ME_bwdの場合には順
方向予測を行い、ME_fwd＜2×ME_bwd且つ2×ME_fwd＞ME
_bwdの場合には双方向予測を行うとしている。

【００２０】このように、ＴＭ５では、予測困難性が低
くなるように、つまり、予測の確かさが高くなるよう
に、参照方向を決定して動き補償を行うように判定して
いる。

【００２１】

【発明が解決しようとする課題】ところで、このように
予測符号化がされたのちの差分画像情報は、通常、ＤＣ
Ｔ（離散コサイン変換）によって周波数領域のデータに
変換されたのちに量子化処理がされる。そして、この量
子化処理が行われたデータが、動きベクトル情報ととも
に、ビットストリームとして出力される。

【００２２】ここで、差分画像情報の符号量は、量子化
処理に用いられる量子化スケールを制御することによっ
て変化させることができる。従って、例えば出力ビット
レートに応じて量子化スケールを制御することによっ
て、差分画像情報の発生符号量を適応的に制御すること
ができる。

【００２３】これに対して、動き補償を行うための動き
ベクトル情報の符号量は、出力ビットレートに関わらず
一定である。

【００２４】そのため、出力ビットレートが低ければ低
いほど、出力データ全体の符号量に対する動きベクトル
情報の符号量の割合が高くなる。動きベクトル情報の符
号量の割合が高くなると、差分画像情報に与えることが
できる符号量が減少してしまい、その結果、画質が劣化
してしまう場合がある。

【００２５】また、フレーム予測モードでは、１つのマ
クロブロックに対して１つの動きベクトルが生成される
のに対して、フィールド予測モードでは、１つのマクロ
ブロックに対して２つの動きベクトルが生成される。そ
のため、フィールド予測モードでの動きベクトル情報の
符号量は、フレーム予測モードでの動きベクトル情報の
符号量に対して、約２倍となる。また、順方向予測及び
逆方向予測では、１つの参照画像から１つの動きベクト
ルが生成されるのに対して、双方向予測では、２つの参
照画像から２つの動きベクトルが生成される。そのた
め、双方向予測での動きベクトル情報の符号量は、順方
向及び逆方向予測での動きベクトル情報の符号量に対し
て、約２倍となる。

【００２６】しかしながら、上述したＴＭ５では、例え
ば、フレーム予測の予測困難性よりもフィールド予測の
予測困難性が多少の違いで小さい場合、フィールド予測
が最適であるとみなされる。また、例えば、順方向、逆
方向、双方向のそれぞれの参照方向からの予測困難性は
ほぼ同じであるが、双方向の場合だけ多少小さかった場
合、双方向予測が最適とみなされる。このような場合、
予測困難性はほぼ同じであるのにも関わらず、符号量だ
けが２倍となり、符号化効率を下げ、その結果画質が劣
化してしまう可能性がある。

【００２７】本発明は、このような実情を鑑みてなされ
たものであり、動きベクトルの参照画像及び動きベクト
ルの予測モードを最適に設定することによって、差分画
像情報に対する動きベクトル情報の情報量を最適な割合
とし、圧縮符号化した動画像の画質を向上させる画像符
号化装置及び方法、並びに、動きベクトル情報生成装置
を提供することを目的とする。

【００２８】

【課題を解決するための手段】本発明にかかる画像符号
化装置は、入力された動画像データの各画像に対して、
参照画像から当該画像への動き量を示す動きベクトル
を、所定の画像ブロック単位で検出する動きベクトル検
出手段と、上記動画像データの各画像から、当該画像の
予測画像を減算した差分画像を生成する減算手段と、上
記差分画像を所定の符号化方式で符号化し、上記動きベ
クトルを含めた圧縮データストリームを生成し、この圧
縮データストリームを出力する符号化手段と、上記所定
の符号化方式で符号化された差分画像を復号して上記参
照画像を生成する局部復号手段と、上記参照画像と上記
動きベクトルとに基づき、上記予測画像を生成する予測
画像生成手段と、過去画像及び未来画像の双方を参照画
像として予測が可能な双方向予測符号化画像が入力され
た場合に、参照画像からの予測難易度に基づき、参照画
像から当該画像への上記動きベクトルの参照方向を、順
方向、逆方向又は双方向のうちいずれかに設定する参照
画像設定手段を備え、上記参照画像設定手段は、上記予
測難易度が所定の閾値以上であるときには上記参照方向
を順方向又は逆方向のみを選択することを特徴とする。

【００２９】また、本発明にかかる画像符号化装置は、
入力された動画像データの各画像に対して、参照画像か
ら当該画像への動き量を示す動きベクトルを、所定の画
像ブロック単位で検出する動きベクトル検出手段と、上
記動画像データの各画像から、当該画像の予測画像を減
算した差分画像を生成する減算手段と、上記差分画像を
所定の符号化方式で符号化し、上記動きベクトルを含め
た圧縮データストリームを生成し、この圧縮データスト
リームを出力する符号化手段と、上記所定の符号化方式
で符号化された差分画像を復号して上記参照画像を生成
する局部復号手段と、上記参照画像と上記動きベクトル
とに基づき、上記予測画像を生成する予測画像生成手段
と、参照画像として予測が可能な順方向又は双方向予測
符号化画像が入力された場合に、参照画像からの予測難
易度に基づき、参照画像から当該画像への動きベクトル
の算出方式を、画像を垂直方向に奇数ラインと偶数ライ
ンとに分離してフィールド単位で動きベクトルを算出す
るフィールド予測モードと、画像を分離せずフレーム単
位で動きベクトルを算出するフレーム予測モードとのい
ずれかに設定するモード設定手段とを備え、上記モード
設定手段は、フィールド予測モードでの予測難易度から
フレーム予測モードでの予測難易度を減算し、その減算
値が所定の閾値以上である場合には、フィールド予測モ
ードを選択し、その減算値が所定の閾値よりも少ない場
合には、フレーム予測モードを選択することを特徴とす
る。

【００３０】また、本発明にかかる画像符号化装置は、
入力された動画像データの各画像に対して、参照画像か
ら当該画像への動き量を示す動きベクトルを、所定の画
像ブロック単位で検出する動きベクトル検出手段と、上
記動画像データの各画像から、当該画像の予測画像を減
算した差分画像を生成する減算手段と、上記差分画像を
所定の符号化方式で符号化し、上記動きベクトルを含め
た圧縮データストリームを生成し、この圧縮データスト
リームを出力する符号化手段と、上記所定の符号化方式
で符号化された差分画像を復号して上記参照画像を生成
する局部復号手段と、上記参照画像と上記動きベクトル
とに基づき、上記予測画像を生成する予測画像生成手段
と、過去画像及び未来画像の双方を参照画像として予測
が可能な双方向予測符号化画像が入力された場合に、参
照画像からの予測難易度に基づき、参照画像から当該画
像への動きベクトルの参照方向を、順方向、逆方向又は
双方向のいずれかに設定する参照方向設定手段とを備
え、上記参照方向設定手段は、フレーム内符号化画像及
びフレーム間順方向予測符号化画像の発生周期が３枚以
上の符号化データを生成する場合、当該双方向予測符号
化画像に時間的に近い参照画像が過去画像であるか未来
画像であるかに応じて、順方向又は逆方向の一方に重み
付けを与え、参照画像から当該画像への動きベクトルの
参照方向を選択することを特徴とする。

【００３１】本発明にかかる画像符号化方法は、入力さ
れた動画像データの各画像に対して、参照画像から当該
画像への動き量を示す動きベクトルを、所定の画像ブロ
ック単位で検出し、上記動画像データの各画像から、当
該画像の予測画像を減算した差分画像を生成し、上記差
分画像を所定の符号化方式で符号化し、上記動きベクト
ルを含めた圧縮データストリームを生成し、この圧縮デ
ータストリームを出力し、上記所定の符号化方式で符号
化された差分画像を復号して上記参照画像を生成し、上
記参照画像と上記動きベクトルとに基づき上記予測画像
を生成し、過去画像及び未来画像の双方を参照画像とし
て予測が可能な双方向予測符号化画像が入力された場合
に、参照画像からの予測難易度に基づき、参照画像から
当該画像への上記動きベクトルの参照方向を、順方向、
逆方向又は双方向のうちいずれかに設定し、上記設定の
際に、上記予測難易度が所定の閾値以上であるときには
上記参照方向を順方向又は逆方向のみを選択することを
特徴とする。

【００３２】また、本発明にかかる画像符号化方法は、
入力された動画像データの各画像に対して、参照画像か
ら当該画像への動き量を示す動きベクトルを、所定の画
像ブロック単位で検出し、上記動画像データの各画像か
ら、当該画像の予測画像を減算した差分画像を生成し、
上記差分画像を所定の符号化方式で符号化し、上記動き
ベクトルを含めた圧縮データストリームを生成し、この
圧縮データストリームを出力し、上記所定の符号化方式
で符号化された差分画像を復号して上記参照画像を生成
し、上記参照画像と上記動きベクトルとに基づき上記予
測画像を生成し、参照画像として予測が可能な順方向又
は双方向予測符号化画像が入力された場合に、参照画像
からの予測難易度に基づき、参照画像から当該画像への
動きベクトルの算出方式を、画像を垂直方向に奇数ライ
ンと偶数ラインとに分離してフィールド単位で動きベク
トルを算出するフィールド予測モードと、画像を分離せ
ずフレーム単位で動きベクトルを算出するフレーム予測
モードとのいずれかに設定し、上記設定の際に、フィー
ルド予測モードでの予測難易度からフレーム予測モード
での予測難易度を減算し、その減算値が所定の閾値以上
である場合には、フィールド予測モードを選択し、その
減算値が所定の閾値よりも少ない場合には、フレーム予
測モードを選択することを特徴とする。

【００３３】また、本発明にかかる画像符号化方法は、
入力された動画像データの各画像に対して、参照画像か
ら当該画像への動き量を示す動きベクトルを、所定の画
像ブロック単位で検出し、上記動画像データの各画像か
ら、当該画像の予測画像を減算した差分画像を生成し、
上記差分画像を所定の符号化方式で符号化し、上記動き
ベクトルを含めた圧縮データストリームを生成し、この
圧縮データストリームを出力し、上記所定の符号化方式
で符号化された差分画像を復号して上記参照画像を生成
し、上記参照画像と上記動きベクトルとに基づき上記予
測画像を生成し、過去画像及び未来画像の双方を参照画
像として予測が可能な双方向予測符号化画像が入力され
た場合に、参照画像からの予測難易度に基づき、参照画
像から当該画像への動きベクトルの参照方向を、順方
向、逆方向又は双方向のいずれかに設定し、フレーム内
符号化画像及びフレーム間順方向予測符号化画像の発生
周期が３枚以上の符号化データを生成する場合には、上
記設定の際に、当該双方向予測符号化画像に時間的に近
い参照画像が過去画像であるか未来画像であるかに応じ
て、順方向又は逆方向の一方に重み付けを与え、参照画
像から当該画像への動きベクトルの参照方向を選択する
ことを特徴とする。

【００３４】本発明にかかる動きベクトル情報生成装置
は、入力された動画像データの各画像に対して、参照画
像から当該画像への動き量を示す動きベクトルを、所定
の画像ブロック単位で検出する動きベクトル検出手段
と、過去画像及び未来画像の双方を参照画像として予測
が可能な双方向予測符号化画像が入力された場合に、参
照画像からの予測難易度に基づき、参照画像から当該画
像への動きベクトルの参照方向を、順方向、逆方向又は
双方向のいずれかに設定する参照方向選択手段とを備
え、上記参照方向選択手段は、上記予測難易度が所定の
閾値以上であるときには上記参照方向を順方向又は逆方
向のみを選択することを特徴とする。

【００３５】また、本発明にかかる動きベクトル情報生
成装置は、入力された動画像データの各画像に対して、
参照画像から当該画像への動き量を示す動きベクトル
を、所定の画像ブロック単位で検出する動きベクトル検
出手段と、参照画像として予測が可能な順方向又は双方
向予測符号化画像が入力された場合に、参照画像からの
予測難易度に基づき、参照画像から当該画像への動きベ
クトルの算出方式を、画像を垂直方向に奇数ラインと偶
数ラインとに分離してフィールド単位で動きベクトルを
算出するフィールド予測モードと、画像を分離せずフレ
ーム単位で動きベクトルを算出するフレーム予測モード
とのいずれかに設定するモード設定手段とを備え、上記
モード設定手段は、フィールド予測モードでの予測難易
度からフレーム予測モードでの予測難易度を減算し、そ
の減算値が所定の閾値以上である場合には、フィールド
予測モードを選択し、その減算値が所定の閾値よりも少
ない場合には、フレーム予測モードを選択することを特
徴とする。

【００３６】また、本発明にかかる動きベクトル情報生
成装置は、入力された動画像データの各画像に対して、
参照画像から当該画像への動き量を示す動きベクトル
を、所定の画像ブロック単位で検出する動きベクトル検
出手段と、過去画像及び未来画像の双方を参照画像とし
て予測が可能な双方向予測符号化画像が入力された場合
に、参照画像からの予測難易度に基づき、参照画像から
当該画像への動きベクトルの参照方向を、順方向、逆方
向又は双方向のいずれかに設定する参照方向設定手段と
を備え、上記参照方向設定手段は、フレーム内符号化画
像及びフレーム間順方向予測符号化画像の発生周期が３
枚以上の符号化データを生成する場合、当該双方向予測
符号化画像に時間的に近い参照画像が過去画像であるか
未来画像であるかに応じて順方向又は逆方向の一方に重
み付けを与え、参照画像から当該画像への動きベクトル
の参照方向を選択することを特徴とする。

【００３７】

【発明の実施の形態】以下、本発明の実施の形態とし
て、本発明を適用したＭＰＥＧエンコーダについて図面
を参照して詳細に説明する。

【００３８】図１は、本発明の実施の形態のＭＰＥＧエ
ンコーダの構成を示すブロック図である。

【００３９】ＭＰＥＧエンコーダ１は、画像並べ替え回
路１１と、マクロブロック化回路１２と、動き検出回路
１３と、補償情報決定回路１４と、フレーム／フィール
ド予測モード切換回路１５と、減算処理回路１６と、Ｄ
ＣＴ（ Discrete Cosine Transform ）回路１７と、量
子化回路１８と、可変長符号化回路１９と、送信バッフ
ァ回路２０と、逆量子化回路２１と、ＩＤＣＴ（ Inver
ce Discrete Cosine Transform ）回路２２と、加算回
路２３と、参照画像記憶回路２４と、動き補償回路２５
と、スイッチ２６とを備えて構成される。

【００４０】このＭＰＥＧエンコーダ１には、デジタル
化された動画像データが、ピクチャ単位で入力される。
入力された動画像データは、ピクチャ単位で画像並べ替
え回路１１に入力される。

【００４１】画像並べ替え回路１１は、表示時間に従っ
て並べられたピクチャ順序を、符号化する順序に並べ替
える。例えば、Ｉ_０，４，Ｂ_２，Ｐ_３，Ｂ_４，Ｂ_５，Ｐ
_６，Ｂ_７，Ｂ_８，Ｐ_９，４_０，４_１，Ｐ_１２，・・・と
いう画像順序で入力された動画像を、Ｉ_０，Ｐ_３，４，
Ｂ_２，Ｐ_６，Ｂ_４，Ｂ_５，Ｐ_９，Ｂ_７，Ｂ_８，Ｐ_１２，
４_０，４_１，・・・といったような符号化を行う画像順
序に並べ替えを行う。なお、下付け添え字は、画像の入
力順序を示している。並べ替えをされた画像データは、
マクロブロック化回路１２に送られる。

【００４２】マクロブロック化回路１２は、フレーム画
像を、動き補償の画素単位であるマクロブロック（輝度
１６×１６画素，色差８×８画素）に分離して、マクロ
ブロック化する。マクロブロック化された動画像データ
は、動き検出回路１３に送られる。

【００４３】動き検出回路１３は、動きベクトルやＭＥ
残差といった動き補償のためのデータを、各マクロブロ
ックに対して検出する。この動き検出回路１３では、Ｐ
ピクチャ内のインターマクロブロックが入力された場合
には、その参照画像を過去のＩピクチャ又はＰピクチャ
とした動き検出、すなわち、参照方向が順方向の動き検
出を行い、動きベクトルを算出する。また、動き検出回
路１３では、Ｂピクチャのインターマクロブロックが入
力された場合には、その参照画像を過去のＩピクチャ又
はＰピクチャとした参照方向が順方向の動き検出、参照
画像を未来のＩピクチャ又はＰピクチャとした参照方向
が逆方向の動き検出、或いは、参照画像を過去及び未来
の２つのＩピクチャ又はＰピクチャとした参照方向が双
方向の動き検出を行い、それぞれの動きベクトルを算出
する。なお、動き検出回路１３では、イントラマクロブ
ロック（フレーム内予測符号化されたマクロブロック）
が入力された場合には、そのマクロブロックに対して
は、動き検出を行わず、動きベクトルを求めない。

【００４４】また、動き検出回路１３では、インターマ
クロブロックが入力された場合、さらに、フィールド予
測モードの場合での動きベクトルと、フレーム予測モー
ドでの動きベクトルをそれぞれ算出する。なお、入力さ
れた動画像データが、フィールド画像のみから構成され
ている場合には、フィールド予測モードでの動きベクト
ルのみが算出される。

【００４５】また、動き検出回路１３は、順方向及び逆
方向の参照画像からの各ＭＥ残差、並びに、フレーム又
はフィールド予測モードで予測をした場合の各ＭＥ残差
を算出する。なお、このＭＥ残差は、参照画像から当該
画像への予測困難性を示す値である。具体的にＭＥ残差
は、符号化の対象となる原画像の各マクロブロックと、
その原画像の各マクロブロックに対応する参照画像のマ
クロブロックとの間の各画素の輝度差の絶対値和又は自
乗和である。このＭＥ残差は、例えば、次の式によって
定義される。なお、次式において、Ｍａは、原画像の１
つのマクロブロックを表しており、Ｍｂは、そのマクロ
ブロックＭａに対応する逆方向または順方向の参照画像
のマクロブロックを表している。また、添え字ｉは、例
えば、０〜２５５までの整数を表し、Σは、ｉの値の全
てに対する｜Ｍａ_ｉ −Ｍｂ_ｉ｜の値の総和を表してい
る。ＭＥ＝Σ｜Ｍａ_ｉ −Ｍｂ_ｉ｜

【００４６】この動き検出回路１３によって算出された
各動きベクトル並びに各ＭＥ残差は、補償情報決定回路
１４に供給される。

【００４７】補償情報決定回路１４は、本ＭＰＥＧエン
コーダ１の出力ビットレート及び動き検出回路１３から
供給されるＭＥ残差に基づき、各インターマクロブロッ
クの参照方向、並びに、各インターマクロブロックのフ
レーム／フィールドの各予測モードを決定する。

【００４８】補償情報決定回路１４は、参照方向を決定
すると、そのマクロブロックが、イントラマクロブロッ
ク（フレーム内符号化）であるか、順方向予測がされた
ものであるか、逆方向予測がされたものであるか、双方
向予測がされたものであるかを識別するための、参照方
向情報を生成する。また、補償情報決定回路１４は、各
インターマクロブロックのフレーム／フィールドの各予
測モードを決定すると、そのマクロブロックがフィール
ド予測モードで予測されたものか、或いは、フレーム予
測モードで予測されたものかを識別するための、フレー
ム／フィールド予測モード情報を生成する。そして、さ
らに、補償情報決定回路１４は、動き検出回路１３から
供給された各動きベクトルから、決定した参照方向並び
にフレーム／フィールド予測モードに対応する１つの動
きベクトルを選択する。

【００４９】参照方向情報は、減算処理回路１６、可変
長符号化回路１９、動き補償回路２５及びスイッチ２６
に供給される。また、フレーム／フィールド予測モード
情報は、フレーム／フィールド予測モード切換回路１５
及び可変長符号化回路１９に供給される。また、この補
償情報決定回路１４によって選択された１つの動きベク
トルは、可変長符号化回路１９及び動き補償回路２５に
供給される。

【００５０】なお、補償情報決定回路１４による参照方
向の決定処理、並びに、フレーム／フィールド予測モー
ドの決定処理については、その詳細を後述する。

【００５１】フレーム／フィールド予測モード切換回路
１５は、動き検出回路１３を介して動画像データが、マ
クロブロック単位で入力される。フレーム／フィールド
予測モード切換回路１５は、補償情報決定回路１４から
供給されるフレーム／フィールド予測モード情報に基づ
き、入力されたマクロブロックが、フレーム予測モード
であるかフィールド予測モードであるかを判断する。そ
して、そのマクロブロックが、フィールド予測モードで
ある場合には、垂直方向の画素ラインを奇数列と偶数列
とに分けたブロックを構成する。また、そのマクロブロ
ックが、フレーム予測モード或いはイントラマクロブロ
ックである場合には、なんら処理を行わず出力する。

【００５２】減算処理回路１６には、フレーム／フィー
ルド予測モード切換回路１５からマクロブロック単位で
動画像データが入力される。それとともに、減算処理回
路１６には、逆量子化回路２１，ＩＤＣＴ回路２２，加
算回路２３，参照画像記憶回路２４，動き補償回路２
５，スイッチ２６によって、局部復号処理がされること
によって生成された順方向の予測画像データと逆方向の
予測画像データとが、マクロブロック単位で入力され
る。

【００５３】この減算処理部１６の内部を図２に示す。
減算処理部１６は、この図２に示すように、フレーム内
予測パス３１と、順方向予測パス３２と、逆方向予測パ
ス３３と、双方向予測パス３４との４つのパスが並列に
設けられ、これらのパスがスイッチ３５により切り換え
選択される。

【００５４】フレーム内予測パス３１では、入力された
マクロブロックに対して何ら処理を行わず、データを通
過させる。順方向予測パス３２では、第１の加算器３１
によって、マクロブロック単位の入力画像データから、
過去参照画像に対して動き補償がされたマクロブロック
単位の予測画像データ（順方向の予測画像データ）を減
算する。逆方向予測パス３３では、第２の加算器３２に
よって、マクロブロック単位の入力画像データから、未
来参照画像に対して動き補償がされたマクロブロック単
位の予測画像データ（逆方向の予測画像データ）を減算
する。双方向予測パスでは、第３の加算器３３によっ
て、マクロブロック単位の入力画像データから、過去参
照画像に対して動き補償がされたマクロブロック単位の
予測画像データ（順方向の予測画像データ）の１／２の
値と、未来参照画像に対して動き補償がされたマクロブ
ロック単位の予測画像データ（逆方向の予測画像デー
タ）の１／２の値とを減算する。

【００５５】スイッチ３４は、補償情報決定回路１４か
ら供給される参照方向情報に従って、１つのパスを選択
して、マクロブロックを出力する。すなわち、スイッチ
３４は、そのマクロブロックが、イントラマクロブロッ
ク（フレーム内予測符号化）がされたものであればフレ
ーム内予測パス３１を選択し、順方向予測がされたもの
であれば順方向予測パス３２を選択し、逆方向予測がさ
れたものであれば逆方向予測パス３３を選択し、双方向
予測がされたものであれば双方向予測パスを選択する。

【００５６】この減算処理部１６によって処理がされた
マクロブロックは、ＤＣＴ回路１７に供給される。

【００５７】ＤＣＴ回路１７は、入力されたマクロブロ
ック単位の動画像データに対して、２次元の離散コサイ
ン変換（ＤＣＴ）を施して直交変換し、空間領域の動画
像データを周波数領域の動画像データ（ＤＣＴ係数）に
変換する。ＤＣＴ変換された動画像データは、量子化回
路１８に供給される。

【００５８】量子化回路１８は、ＤＣＴ係数を量子化ス
テップと呼ぶ整数値で除算し量子化を行う。具体的に
は、量子化後のビット数がターゲットビット数を超えな
い範囲で最大のビット数となる量子化テーブルを選択
し、量子化を行う。量子化テーブルは、水平、垂直とも
に高域になるにつれ荒く量子化されるようにステップが
定められている。さらに、量子化回路１８は、マクロブ
ロック毎に量子化したＤＣＴ係数を直流成分のデータか
ら高域成分方向へジグザグスキャン或いはオルタネート
スキャンをして、１次元のデータストリームとする。量
子化されたデータは、可変長符号化回路１９に送られ
る。

【００５９】可変長符号化回路１９は、量子化された画
像データ（ＤＣＴ係数）を可変長符号化して、係数０の
ランレングスとそれに続く非０係数の値の組に、データ
を符号化する。このように可変長符号化をすることによ
って、０が多くなった高域成分のデータ量を除去するこ
とができる。さらに、この可変長符号化回路１９には、
画像データ（ＤＣＴ係数）ととももに、並びに、参照方
向情報、フレーム／フィールド予測モード情報、動きベ
クトル、並びに、各種ＭＰＥＧのシステムデータが入力
される。可変長符号化回路１９は、これらのデータをＭ
ＰＥＧフォーマットに従って多重化し、ＭＰＥＧビデオ
ストリームを生成する。生成されたＭＰＥＧビデオスト
リームは、送信バッファ２０に格納される。

【００６０】送信バッファ２０は、生成したＭＰＥＧビ
デオストリームを格納し、図示しない後段の伝送路符号
化やＭＰＥＧ多重化装置等に読み出されるまで、その格
納したＭＰＥＧビデオストリームを格納する。

【００６１】一方、逆量子化回路２１，ＩＤＣＴ回路２
２，加算回路２３，参照画像記憶回路２４，動き補償回
路２５，スイッチ２６は、参照画像を生成するための局
部復号器として機能している。

【００６２】逆量子化回路２１は、参照画像となるのは
Ｉピクチャ又はＰピクチャのみであるため、量子化回路
１８から出力される動画像データ（ＤＣＴ係数）のう
ち、Ｉピクチャ又はＰピクチャを構成するデータのみ
を、マクロブロック単位で抽出する。逆量子化回路２１
は、量子化回路１８によって行われたスキャン方式に応
じて、１次元のデータストリームを２次元のマクロブロ
ック単位のデータに変換する。さらに、逆量子化回路２
１は、量子化回路１８で用いられた量子化テーブルを用
いて、動画像データ（ＤＣＴ係数）にそのテーブルに記
述されている量子化係数を乗算し、逆量子化処理を行
う。逆量子化処理がされた動画像データ（ＤＣＴ係数）
は、ＩＤＣＴ回路２２に供給される。

【００６３】ＩＤＣＴ回路２２は、入力された動画像デ
ータ（ＤＣＴ係数）に対して、２次元の逆離散コサイン
変換（ＤＣＴ）を施して、周波数領域の動画像データ
（ＤＣＴ係数）を逆直交変換し、空間領域の動画像デー
タに変換する。空間領域のデータとされた動画像データ
は、加算回路２３に供給される。

【００６４】加算回路２３には、ＩＤＣＴ回路２２から
の動画像データと、動き補償回路２５により動き補償が
された順方向の予測画像データが、それぞれマクロブロ
ック単位で入力され、それらを加算して参照画像データ
を生成する。なお、ここで、予測画像データとして加算
回路２３に供給されるマクロブロックは、ＩＤＣＴ回路
２２から出力されるＰピクチャの参照画像とされたＩ又
はＰピクチャを構成しているマクロブロックである。ま
た、ＩＤＣＴ回路２２から入力されるマクロブロック
が、イントラマクロブロックである場合には、スイッチ
２６がオープンとなり、加算回路２３に予測画像データ
が入力されない。つまり、ＩＤＣＴ回路２２から入力さ
れるマクロブロックが、順方向予測がされたマクロブロ
ックである場合のみ、予測画像データが加算回路２３に
入力される。加算回路２３から出力された参照画像デー
タ（Ｉ又はＰピクチャ）は、参照画像記憶回路２４に格
納される。

【００６５】参照画像記憶回路２４は、過去参照画像を
格納する過去参照画像格納領域３６と、未来参照画像を
格納する未来参照画像格納領域３７と、切換スイッチ３
８とを備えて構成されている。参照画像記憶回路２４
は、新たなＩピクチャ又はＰピクチャが加算回路２３か
ら入力される毎に、未来参照画像としてそのピクチャを
未来参照画像格納領域３７に格納し、未来参照画像格納
領域３７に格納してあったＩ又はＰピクチャを、過去参
照画像として過去参照画像格納領域３６に格納する。参
照画像記憶回路２４は、このとき、未来参照画像と過去
参照画像の格納領域に対して、適宜バンク切換を行っ
て、メモリへのアクセスを減らすようにする。

【００６６】動き補償回路２５は、動き補償回路２５
は、参照画像記憶回路２４に格納されている参照画像に
対して、動きベクトルを用いて動き補償をし、予測画像
を、マクロブロック単位で生成する。この予測画像は、
フレーム／フィールド予測モード切換回路１５から減算
処理回路１６へ入力されるマクロブロックの予測画像で
ある。実際の動画像データから、予測画像を減算するこ
とによって、その差分データのみを伝送することとなる
ので、非常に効率よく画像圧縮が行われる。

【００６７】動き補償回路２５は、補償情報決定回路１
４から供給される参照方向情報に従い、減算処理回路１
６に入力されるマクロブロックの参照方向を判断し、そ
の参照方向に対応した参照画像を読み出し、動きベクト
ルを用いて動き補償を行うことによって、予測画像デー
タを生成する。この予測画像データは、減算処理回路１
６に供給される。

【００６８】本発明の実施の形態のＭＰＥＧエンコーダ
１では、以上のように処理を行うことによって、入力さ
れた動画像データを圧縮し、ＭＰＥＧデータストリーム
を生成する。

【００６９】つぎに、補償情報決定回路１４により行わ
れる、参照方向の決定処理、並びに、フレーム／フィー
ルド予測モードの決定処理について説明をする。

【００７０】補償情報決定回路１４では、Ｂピクチャ内
のインターマクロブロックに対して、その予測方向を順
方向、逆方向或いは双方向のいずれの方向とするか、つ
まり、参照画像として過去画像、未来画像、その両者の
いずれを用いるかを決定する参照方向決定処理を行う。

【００７１】補償情報決定回路１４は、順方向予測で動
き補償をしたときのＭＥ誤差（順方向ＭＥ残差：ME_fw
d）と、逆方向予測で動き補償をしたときのＭＥ残差
（逆方向ＭＥ算差：ME_bwd）を用いて、そのマクロブロ
ックの参照方向を決定をする。

【００７２】図３に、参照方向の判定基準を説明するた
めの図を示す。なお、この図３では、横軸に逆方向ＭＥ
残差（ME_bwd）を示し、縦軸に順方向ＭＥ残差（ME_fw
d）を示している。

【００７３】参照方向の判断は、順方向ＭＥ残差（ME_f
wd）及び逆方向ＭＥ残差（ME_bwd）が双方ともに所定の
閾値（α）以下であるかどうかで異なる。

【００７４】両者のＭＥ残差がともに所定の閾値α以下
の場合、ME_fwd≧2×ME_bwdであれば逆方向予測を行
い、2×ME_fwd≦ME_bwdであれば順方向予測を行い、ME_
fwd＜2×ME_bwd且つ2×ME_fwd＞ME_bwdであれば双方向
予測を行う。

【００７５】一方、順方向又は逆方向のいずれか一方の
ＭＥ残差が所定の閾値αより大きい場合、ME_fwd≧ME_b
wdであれば逆方向予測を行い、ME_fwd≦ME_bwdであれば
順方向予測を行う。すなわち、補償情報決定回路１４で
は、一方のＭＥ残差が所定の閾値αより大きい場合に
は、動きベクトルの参照方向として順方向又は逆方向の
みを選択し、双方向は選択しないようにしている。

【００７６】このように補償情報決定回路１４では、予
測の確かさが高い場合には、順方向予測、逆方向予測と
ともに、動きベクトルの符号量が２倍となる双方向予測
も行うようにして、動きベクトルの符号量が多くなるこ
とを許容し、予測の確かさが低い場合には、動きベクト
ルの符号量が約２倍となる双方向予測を行わないように
し、動きベクトルの符号量が多くなることを禁止してい
る。

【００７７】従って、ＭＥ残差が大きく予測が困難な場
合には、差分画像情報と動きベクトル情報を合わせた全
体の符号量に対する動きベクトルの符号量の割合を少な
して、差分画像情報に割り当てる符号量を増加させ、差
分画像情報に対する動きベクトル情報の情報量を最適な
割合としている。そのため、結果的に、圧縮符号化した
動画像の画質を向上させることができる。

【００７８】また、補償情報決定回路１４では、Ｐピク
チャ及びＢピクチャのインターマクロブロックに対し
て、その予測モードとして、フレーム予測を行うか、フ
ィールド予測を行うかを決定するフレーム／フィールド
予測モードの決定処理を行う。

【００７９】補償情報決定回路１４は、フレーム予測モ
ードで動き補償をしたときのＭＥ誤差（フレームＭＥ残
差：ME_frm）と、フィールド予測モードで動き補償をし
たときのＭＥ残差（フィールドＭＥ算差：ME_fld）を用
いて、フレーム／フィールド予測モードの決定処理を行
う。

【００８０】図４に、フレーム／フィールド予測モード
の決定のための判定基準を説明するための図を示す。な
お、この図４では、横軸にフレームＭＥ残差（ME_bwd）
を示し、縦軸にフィールドＭＥ残差（ME_fld）を示して
いる。

【００８１】フレーム／フィールド予測モードの判断
は、フレームＭＥ残差（ME_frm）及びフィールドＭＥ残
差（ME_fld）の大きさを比較し、その大きさが小さい方
の予測モードに決定するようにしているが、この判断を
する際に、フィールドＭＥ残差（ME_fld）に所定のオフ
セット量βを加えて比較を行う。すなわち、この補償情
報決定回路１４では、ME_frm−β＞ME_fldの場合にはフ
ィールド予測を行い、ME_frm−β≦ME_fldの場合にはフ
レーム予測を行う。すなわち、補償情報決定回路１４で
は、フィールド予測モードの方を判定され難いように
し、フレーム予測モードの方を優位に判定している。

【００８２】このように補償情報決定回路１４では、フ
ィールド予測モードとフレーム予測モードと予測の確か
さがほぼ同一であれば、フレーム予測モードを優先的に
決定するようにして、動きベクトルの符号量が約２倍と
なるフィールド予測モードを選択しないようにして、動
きベクトルの符号量が多くなることを禁止している。

【００８３】従って、補償情報決定回路１４では、フィ
ールド予測モードとフレーム予測モードとのＭＥ残差が
ほぼ同一の場合には、差分画像情報と動きベクトル情報
を合わせた全体の符号量に対する動きベクトルの符号量
の割合を少なして、差分画像情報に割り当てる符号量を
増加させ、差分画像情報に対する動きベクトル情報の情
報量を最適な割合としている。そのため、結果的に、圧
縮符号化した動画像の画質を向上させることができる。

【００８４】また、補償情報決定回路１４では、出力す
るＭＰＥＧビデオストリームのビットレートに応じて、
上記閾値α及びオフセット量βの値を変化させている。
すなわち、補償情報決定回路１４では、出力ビットレー
トが低ければ低いほど上記閾値αを減少させるように、
また、オフセット量βを増加させるように変化させる。
このように閾値α及びオフセット量βを変化させること
によって、出力ビットレートが低い場合には、双方向予
測及びフィールド予測を選択し難いように判定基準を設
定し、動きベクトルの符号量を減少させている。

【００８５】補償情報決定回路１４では、例えば図５に
示すようなフローチャートに従い、上記閾値α及びオフ
セット量βを設定する。

【００８６】補償情報決定回路１４は、出力ビットレー
トが、超低ビットレート（Ｂｉｔｒａｔｅ≦ａ）である
か、低ビットレート（ａ＜Ｂｉｔｒａｔｅ≦ｂ）である
か、中ビットレート（ｂ＜Ｂｉｔｒａｔｅ≦ｃ）である
か、高ビットレート（ｃ＜Ｂｉｔｒａｔｅ）であるかに
よって、以下のように閾値α及びオフセット量βを設定
する。なお、ａ＜ｂ＜ｃの関係である。

【００８７】超低ビットレート（Ｂｉｔｒａｔｅ≦ａ）
の場合、例えば、閾値α＝０、β＝８００と設定する。
また、低ビットレート（ａ＜Ｂｉｔｒａｔｅ≦ｂ）の場
合、例えば、閾値α＝１０００、β＝４００と設定す
る。また、中ビットレート（ｂ＜Ｂｉｔｒａｔｅ≦ｃ）
の場合、例えば、閾値α＝２０００、β＝２００と設定
する。そして、高ビットレート（ｃ＜Ｂｉｔｒａｔｅ）
の場合、例えば、閾値αを最大値、β＝０に設定する。

【００８８】補償情報決定回路１４では、以上のように
閾値α及びオフセット量βを変化させることによって、
ビットレートが低ければ動きベクトルの符号化効率を重
視した判定を行い、ビットレートが高ければ動きベクト
ルの予測精度を重視した判定を行うこととなる。

【００８９】従って、補償情報決定回路１４では、出力
ビットレートに応じて適応的に、差分画像情報と動きベ
クトル情報を合わせた全体の符号量に対する動きベクト
ルの符号量の割合を、最適な割合とすることができる。
そのため、結果的に、圧縮符号化した動画像の画質を向
上させることができる。

【００９０】また、さらに補償情報決定回路１４では、
Ｉピクチャ及びＰピクチャの発生周期が３枚以上（Ｍ≧
３）のＭＰＥＧデータにおけるＢピクチャを生成する際
において、参照画像（Ｉ又はＰピクチャ）から当該Ｂピ
クチャへの距離に応じて、以下のように動きベクトルの
参照方向に重み付けを与えている。

【００９１】まず、図６に、ＧＯＰ構造がＭ＝３のとき
のピクチャ構成を示す。Ｂピクチャの予測は、時間的に
直前のＩ又はＰピクチャ、又は、時間的に直後のＩ又は
Ｐピクチャから予測がされる。ここで、ＧＯＰ構造がＭ
＝３の場合、Ｉ又はＰピクチャの間に、Ｂピクチャは２
枚存在する。そのため、２枚のＢピクチャのうち時間的
に前のＢピクチャの予測をする場合、時間的に直前のＩ
又はＰピクチャから予測をする方が、時間的に直後のＩ
又はＰピクチャから予測をするよりも、その距離が１／
２となる。同様に、２枚のＢピクチャのうち時間的に後
のＢピクチャの予測をする場合、時間的に直後のＩ又は
Ｐピクチャから予測をする方が、時間的に直前のＩ又は
Ｐピクチャから予測をするよりも、その距離が１／２と
なる。時間的に２倍の距離の差があるということは、予
測精度が落ちるとともに、その動きベクトルも一般的に
大きくなると考えられる。動きベクトルが大きいという
ことは、例えば、可変長符号化をした際に、その符号量
が大きくなってしまう。

【００９２】そのため、この補償情報決定回路１４で
は、Ｍ≧３以上のＢピクチャの符号化を行う場合、その
参照画像からの距離が短い方の予測方向を優位に判定さ
れやすいように、判定基準を設定している。

【００９３】例えば、４ピクチャ（Ｍ＝３の場合におけ
る時間的に前にあるＢピクチャ）の参照方向を決定する
ための判定基準は、図７に示すように、ME_fwd≧ME_bwd
-200であれば順方向予測を行い、ME_fwd＜ME_bwd-200で
あれば逆方向予測を行う。一方、Ｂ２ピクチャ（Ｍ＝３
の場合における時間的に後にあるＢピクチャ）の参照方
向を決定するための判定基準は、図８に示すように、ME
_fwd-200≧ME_bwdであれば順方向予測を行い、ME_fwd-2
00＜ME_bwdであれば逆方向予測を行う。

【００９４】このように補償情報決定回路１４では、Ｂ
ピクチャの時間的な位置に応じて、時間的に近いＩ，Ｐ
ピクチャを優先的に参照画像とするように参照方向を決
定することによって、差分画像情報と動きベクトル情報
を合わせた全体の符号量に対する動きベクトルの符号量
の割合を少なして、差分画像情報に割り当てる符号量を
増加させ、差分画像情報に対する動きベクトル情報の情
報量を最適な割合としている。そのため、結果的に、圧
縮符号化した動画像の画質を向上させることができる。

【００９５】

【発明の効果】本発明にかかる画像符号化装置及び方法
並びに動きベクトル情報生成装置では、参照画像から元
画像への上記動きベクトルの参照方向を、順方向、逆方
向又は双方向のうちいずれかに設定する際に、予測の難
易度が所定の閾値以上であるときには参照方向として順
方向又は逆方向のみを選択し、双方向は選択しない。

【００９６】また、本発明では、出力する圧縮データス
トリームのビットレートが高い場合には上記閾値を低く
し、ビットレートが低い場合には上記閾値を高くする。

【００９７】このことにより本発明では、動きベクトル
の参照画像を最適に設定することができ、差分画像情報
に対する動きベクトル情報の情報量を最適な割合とし、
圧縮符号化した動画像の画質を向上させることができ
る。

【００９８】また、本発明にかかる画像符号化装置及び
方法並びに動きベクトル情報生成装置では、参照画像か
ら当該画像への動きベクトルの算出方式をフィールド予
測モードとフレーム予測モードとのいずれかに設定する
際に、フィールド予測モードでの予測難易度からフレー
ム予測モードでの予測難易度を減算し、その減算値が所
定の閾値以上である場合には、フィールド予測モードを
選択し、その減算値が所定の閾値よりも少ない場合に
は、フレーム予測モードを選択する。

【００９９】また、本発明では、上記圧縮データストリ
ームのビットレートが高い場合には上記閾値を低くし、
ビットレートが低い場合には上記閾値を高くする。

【０１００】このことにより本発明では、動きベクトル
の予測モードを最適に設定することができ、差分画像情
報に対する動きベクトル情報の情報量を最適な割合と
し、圧縮符号化した動画像の画質を向上させることがで
きる。

【０１０１】また、本発明にかかる画像符号化装置及び
方法並びに動きベクトル情報生成装置では、フレーム内
符号化画像及びフレーム間順方向予測符号化画像の発生
周期が３枚以上の符号化データを生成する際において、
参照画像から当該画像への動きベクトルの参照方向を、
順方向、逆方向のいずれかに設定する場合に、当該双方
向予測符号化画像に時間的に近い参照画像が過去画像で
あるか未来画像であるかに応じて、順方向又は逆方向の
一方に重み付けを与え、参照画像から当該画像への動き
ベクトルの参照方向を選択する。

【０１０２】このことにより本発明では、動きベクトル
の参照画像を最適に設定することができ、差分画像情報
に対する動きベクトル情報の情報量を最適な割合とし、
圧縮符号化した動画像の画質を向上させることができ
る。

【図面の簡単な説明】

【図１】本発明の実施の形態のＭＰＥＧエンコーダの構
成を示すブロック図である。

【図２】上記ＭＰＥＧエンコーダの演算処理部の内部構
成を示すブロック図である。

【図３】参照方向の判定基準を説明するための図であ
る。

【図４】フレーム／フィールド予測モードの決定のため
の判定基準を説明するための図である。

【図５】閾値α及びオフセット量βを設定するための処
理内容を示したフローチャートである。

【図６】ＧＯＰ構造がＭ＝３のときのピクチャ構成を示
す図である。

【図７】４ピクチャの参照方向を決定するための判定基
準を説明するための図である。

【図８】Ｂ２ピクチャの参照方向を決定するための判定
基準を説明するための図である。

【図９】ＴＭ５によって従来より行われているフィール
ド予測とフレーム予測との判定基準を説明するための図
である。

【図１０】ＴＭ５によって従来より行われている参照方
向の判定基準を説明するための図である。

【符号の説明】

１ＭＰＥＧエンコーダ、１１画像並べ替え回路、１
２マクロブロック化回路、１３動き検出回路、１４
補償情報決定回路、１５フレーム／フィールド予測
モード切換回路、１６減算処理回路、１７ＤＣＴ回
路、１８量子化回路、１９可変長符号化回路、２０
送信バッファ回路、２１逆量子化回路、２２ＩＤ
ＣＴ回路、２３加算回路、２４参照画像記憶回路、
２５動き補償回路、２６スイッチ

フロントページの続きＦターム(参考） 5C059 KK19 KK22 LA09 MA00 MA03 MA05 MA14 MA23 MC11 ME01 NN01 NN28 PP04 PP05 PP06 PP07 TA24 TA25 TB07 TC03 TC12 TC37 TD12 UA02 UA05 5J064 BA01 BA16 BB01 BB03 BB12 BC01 BC08 BC14 BC16 BC25 BC26

Claims

【特許請求の範囲】

【請求項１】入力された動画像データの各画像に対し
て、参照画像から当該画像への動き量を示す動きベクト
ルを、所定の画像ブロック単位で検出する動きベクトル
検出手段と、上記動画像データの各画像から、当該画像の予測画像を
減算した差分画像を生成する減算手段と、上記差分画像を所定の符号化方式で符号化し、上記動き
ベクトルを含めた圧縮データストリームを生成し、この
圧縮データストリームを出力する符号化手段と、上記所定の符号化方式で符号化された差分画像を復号し
て上記参照画像を生成する局部復号手段と、上記参照画像と上記動きベクトルとに基づき、上記予測
画像を生成する予測画像生成手段と、過去画像及び未来画像の双方を参照画像として予測が可
能な双方向予測符号化画像が入力された場合に、参照画
像からの予測難易度に基づき、参照画像から当該画像へ
の上記動きベクトルの参照方向を、順方向、逆方向又は
双方向のうちいずれかに設定する参照画像設定手段を備
え、上記参照画像設定手段は、上記予測難易度が所定の閾値
以上であるときには上記参照方向を順方向又は逆方向の
みを選択することを特徴とする画像符号化装置。
【請求項２】上記圧縮データストリームのビットレー
トに応じて、上記所定の閾値を変化させる制御手段を備
えることを特徴とする請求項１記載の画像符号化装置。
【請求項３】上記制御手段は、ビットレートが高い場
合には上記閾値を低くし、ビットレートが低い場合には
上記閾値を高くすることを特徴とする請求項１記載の画
像符号化装置。
【請求項４】入力された動画像データの各画像に対し
て、参照画像から当該画像への動き量を示す動きベクト
ルを、所定の画像ブロック単位で検出する動きベクトル
検出手段と、上記動画像データの各画像から、当該画像の予測画像を
減算した差分画像を生成する減算手段と、上記差分画像を所定の符号化方式で符号化し、上記動き
ベクトルを含めた圧縮データストリームを生成し、この
圧縮データストリームを出力する符号化手段と、上記所定の符号化方式で符号化された差分画像を復号し
て上記参照画像を生成する局部復号手段と、上記参照画像と上記動きベクトルとに基づき、上記予測
画像を生成する予測画像生成手段と、参照画像として予測が可能な順方向又は双方向予測符号
化画像が入力された場合に、参照画像からの予測難易度
に基づき、参照画像から当該画像への動きベクトルの算
出方式を、画像を垂直方向に奇数ラインと偶数ラインと
に分離してフィールド単位で動きベクトルを算出するフ
ィールド予測モードと、画像を分離せずフレーム単位で
動きベクトルを算出するフレーム予測モードとのいずれ
かに設定するモード設定手段とを備え、上記モード設定手段は、フィールド予測モードでの予測
難易度からフレーム予測モードでの予測難易度を減算
し、その減算値が所定の閾値以上である場合には、フィ
ールド予測モードを選択し、その減算値が所定の閾値よ
りも少ない場合には、フレーム予測モードを選択するこ
とを特徴とする画像符号化装置。
【請求項５】上記圧縮データストリームのビットレー
トに応じて、上記所定の閾値を変化させる制御手段を備
えることを特徴とする請求項４記載の画像符号化装置。
【請求項６】上記制御手段は、ビットレートが高い場
合には上記閾値を低くし、ビットレートが低い場合には
上記閾値を高くすることを特徴とする請求項４記載の画
像符号化装置。
【請求項７】入力された動画像データの各画像に対し
て、参照画像から当該画像への動き量を示す動きベクト
ルを、所定の画像ブロック単位で検出する動きベクトル
検出手段と、上記動画像データの各画像から、当該画像の予測画像を
減算した差分画像を生成する減算手段と、上記差分画像を所定の符号化方式で符号化し、上記動き
ベクトルを含めた圧縮データストリームを生成し、この
圧縮データストリームを出力する符号化手段と、上記所定の符号化方式で符号化された差分画像を復号し
て上記参照画像を生成する局部復号手段と、上記参照画像と上記動きベクトルとに基づき、上記予測
画像を生成する予測画像生成手段と、過去画像及び未来画像の双方を参照画像として予測が可
能な双方向予測符号化画像が入力された場合に、参照画
像からの予測難易度に基づき、参照画像から当該画像へ
の動きベクトルの参照方向を、順方向、逆方向又は双方
向のいずれかに設定する参照方向設定手段とを備え、上記参照方向設定手段は、フレーム内符号化画像及びフ
レーム間順方向予測符号化画像の発生周期が３枚以上の
符号化データを生成する場合、当該双方向予測符号化画
像に時間的に近い参照画像が過去画像であるか未来画像
であるかに応じて、順方向又は逆方向の一方に重み付け
を与え、参照画像から当該画像への動きベクトルの参照
方向を選択することを特徴とする画像符号化装置。
【請求項８】入力された動画像データの各画像に対し
て、参照画像から当該画像への動き量を示す動きベクト
ルを、所定の画像ブロック単位で検出し、上記動画像データの各画像から、当該画像の予測画像を
減算した差分画像を生成し、上記差分画像を所定の符号
化方式で符号化し、上記動きベクトルを含めた圧縮デー
タストリームを生成し、この圧縮データストリームを出
力し、上記所定の符号化方式で符号化された差分画像を復号し
て上記参照画像を生成し、上記参照画像と上記動きベク
トルとに基づき上記予測画像を生成し、過去画像及び未来画像の双方を参照画像として予測が可
能な双方向予測符号化画像が入力された場合に、参照画
像からの予測難易度に基づき、参照画像から当該画像へ
の上記動きベクトルの参照方向を、順方向、逆方向又は
双方向のうちいずれかに設定し、上記設定の際に、上記予測難易度が所定の閾値以上であ
るときには上記参照方向を順方向又は逆方向のみを選択
することを特徴とする画像符号化方法。
【請求項９】上記圧縮データストリームのビットレー
トに応じて、上記所定の閾値を変化することを特徴とす
る請求項８記載の画像符号化方法。
【請求項１０】ビットレートが高い場合には上記閾値
を低くし、ビットレートが低い場合には上記閾値を高く
することを特徴とする請求項８記載の画像符号化方法。
【請求項１１】入力された動画像データの各画像に対
して、参照画像から当該画像への動き量を示す動きベク
トルを、所定の画像ブロック単位で検出し、上記動画像データの各画像から、当該画像の予測画像を
減算した差分画像を生成し、上記差分画像を所定の符号
化方式で符号化し、上記動きベクトルを含めた圧縮デー
タストリームを生成し、この圧縮データストリームを出
力し、上記所定の符号化方式で符号化された差分画像を復号し
て上記参照画像を生成し、上記参照画像と上記動きベク
トルとに基づき上記予測画像を生成し、参照画像として予測が可能な順方向又は双方向予測符号
化画像が入力された場合に、参照画像からの予測難易度
に基づき、参照画像から当該画像への動きベクトルの算
出方式を、画像を垂直方向に奇数ラインと偶数ラインと
に分離してフィールド単位で動きベクトルを算出するフ
ィールド予測モードと、画像を分離せずフレーム単位で
動きベクトルを算出するフレーム予測モードとのいずれ
かに設定し、上記設定の際に、フィールド予測モードでの予測難易度
からフレーム予測モードでの予測難易度を減算し、その
減算値が所定の閾値以上である場合には、フィールド予
測モードを選択し、その減算値が所定の閾値よりも少な
い場合には、フレーム予測モードを選択することを特徴
とする画像符号化方法。
【請求項１２】上記圧縮データストリームのビットレ
ートに応じて、上記所定の閾値を変化することを特徴と
する請求項１１記載の画像符号化方法。
【請求項１３】ビットレートが高い場合には上記閾値
を低くし、ビットレートが低い場合には上記閾値を高く
することを特徴とする請求項１１記載の画像符号化方
法。
【請求項１４】入力された動画像データの各画像に対
して、参照画像から当該画像への動き量を示す動きベク
トルを、所定の画像ブロック単位で検出し、上記動画像データの各画像から、当該画像の予測画像を
減算した差分画像を生成し、上記差分画像を所定の符号
化方式で符号化し、上記動きベクトルを含めた圧縮デー
タストリームを生成し、この圧縮データストリームを出
力し、上記所定の符号化方式で符号化された差分画像を復号し
て上記参照画像を生成し、上記参照画像と上記動きベク
トルとに基づき上記予測画像を生成し、過去画像及び未来画像の双方を参照画像として予測が可
能な双方向予測符号化画像が入力された場合に、参照画
像からの予測難易度に基づき、参照画像から当該画像へ
の動きベクトルの参照方向を、順方向、逆方向又は双方
向のいずれかに設定し、フレーム内符号化画像及びフレーム間順方向予測符号化
画像の発生周期が３枚以上の符号化データを生成する場
合には、上記設定の際に、当該双方向予測符号化画像に
時間的に近い参照画像が過去画像であるか未来画像であ
るかに応じて、順方向又は逆方向の一方に重み付けを与
え、参照画像から当該画像への動きベクトルの参照方向
を選択することを特徴とする画像符号化方法。
【請求項１５】入力された動画像データの各画像に対
して、参照画像から当該画像への動き量を示す動きベク
トルを、所定の画像ブロック単位で検出する動きベクト
ル検出手段と、過去画像及び未来画像の双方を参照画像として予測が可
能な双方向予測符号化画像が入力された場合に、参照画
像からの予測難易度に基づき、参照画像から当該画像へ
の動きベクトルの参照方向を、順方向、逆方向又は双方
向のいずれかに設定する参照方向選択手段とを備え、上記参照方向選択手段は、上記予測難易度が所定の閾値
以上であるときには上記参照方向を順方向又は逆方向の
みを選択することを特徴とする動きベクトル情報生成装
置。
【請求項１６】上記動きベクトルとともに出力される
圧縮データストリームのビットレートに応じて、上記所
定の閾値を変化させる制御手段を備えることを特徴とす
る請求項１５記載の動きベクトル情報生成装置。
【請求項１７】上記制御手段は、ビットレートが高い
場合には上記閾値を低くし、ビットレートが低い場合に
は上記閾値を高くすることを特徴とする請求項１５記載
の動きベクトル情報生成装置。
【請求項１８】入力された動画像データの各画像に対
して、参照画像から当該画像への動き量を示す動きベク
トルを、所定の画像ブロック単位で検出する動きベクト
ル検出手段と、参照画像として予測が可能な順方向又は双方向予測符号
化画像が入力された場合に、参照画像からの予測難易度
に基づき、参照画像から当該画像への動きベクトルの算
出方式を、画像を垂直方向に奇数ラインと偶数ラインと
に分離してフィールド単位で動きベクトルを算出するフ
ィールド予測モードと、画像を分離せずフレーム単位で
動きベクトルを算出するフレーム予測モードとのいずれ
かに設定するモード設定手段とを備え、上記モード設定手段は、フィールド予測モードでの予測
難易度からフレーム予測モードでの予測難易度を減算
し、その減算値が所定の閾値以上である場合には、フィ
ールド予測モードを選択し、その減算値が所定の閾値よ
りも少ない場合には、フレーム予測モードを選択するこ
とを特徴とする動きベクトル情報生成装置。
【請求項１９】上記動きベクトルとともに出力される
圧縮データストリームのビットレートに応じて、上記所
定の閾値を変化させる制御手段を備えることを特徴とす
る請求項１８記載の動きベクトル情報生成装置。
【請求項２０】上記制御手段は、ビットレートが高い
場合には上記閾値を低くし、ビットレートが低い場合に
は上記閾値を高くすることを特徴とする請求項１８記載
の動きベクトル情報生成装置。
【請求項２１】入力された動画像データの各画像に対
して、参照画像から当該画像への動き量を示す動きベク
トルを、所定の画像ブロック単位で検出する動きベクト
ル検出手段と、過去画像及び未来画像の双方を参照画像として予測が可
能な双方向予測符号化画像が入力された場合に、参照画
像からの予測難易度に基づき、参照画像から当該画像へ
の動きベクトルの参照方向を、順方向、逆方向又は双方
向のいずれかに設定する参照方向設定手段とを備え、上記参照方向設定手段は、フレーム内符号化画像及びフ
レーム間順方向予測符号化画像の発生周期が３枚以上の
符号化データを生成する場合、当該双方向予測符号化画
像に時間的に近い参照画像が過去画像であるか未来画像
であるかに応じて順方向又は逆方向の一方に重み付けを
与え、参照画像から当該画像への動きベクトルの参照方
向を選択することを特徴とする動きベクトル情報生成装
置。