JP2003189308A - 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像パラメータ及び符号化パラメータを各フ
レームに多重化した場合、画像情報に関する符号量及び
多重化分離及び復号化処理に無駄が多く、ＧＯＰに多重
化した場合は、符号化処理を最適化できない。また、頻
繁に量子化マトリックスを変更することは困難である。 【解決手段】 画像情報設定器１１は、Ｐ（Ｉ）ピクチ
ャと、Ｐ（Ｉ）ピクチャに隣接し、フレームないしフィ
ールドが連続するＢピクチャを画像の組とし、画像の組
に共通する画像パラメータと符号化パラメータの少なく
とも一方を画像情報として設定する。減算器３、ＤＣＴ
４、量子化器５及び可変長符号化器６は、画像情報に従
ってＰ（Ｉ）ピクチャを符号化し、１フレームないし１
フィールド単位の第１の符号列を得る。減算器１４、Ｄ
ＣＴ１５、量子化器１６及び可変長符号化器１７は、画
像情報に従ってＢピクチャを符号化し、第２の符号列を
得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像符号化装置、
符号化方法、復号化装置、復号化方法及び動画像符号列
伝送方法に係り、特に動画像符号化で画像間予測の参照
画像となる画像と、画像間予測の参照画像とならない画
像を符号化する動画像符号化において、画像パラメータ
や符号化パラメータを効率的に多重化する場合の動画像
符号化装置、符号化方法、復号化装置、復号化方法及び
動画像符号列伝送方法に関する。

【０００２】

【従来の技術】ＭＰＥＧ（Moving Picture Experts Gro
up）方式などの動画像符号化方式では、画像間予測の方
法により３種類の画像タイプを持つ。Ｉピクチャと呼ば
れるフレーム内独立符号化フレームと、Ｐピクチャと呼
ばれる片側方向予測フレームと、Ｂピクチャと呼ばれる
双方向予測フレームである。Ｉピクチャはランダムアク
セスやチャンネル切替えに対応するもので、そこから復
号が可能となる。ＩピクチャとＰピクチャは画像間予測
処理の参照画像となるが、Ｂピクチャは参照画像となら
ない。従って、Ｂピクチャは伝送中に廃棄されても、他
のピクチャの予測には影響しない。

【０００３】符号列形成では、フレームないしフィール
ドを単位とするピクチャが複数束ねられ、ＧＯＰ（Grou
p Of Picture）が形成される。このＧＯＰにおいては、
Ｉピクチャが一つは必ず入る形となる。この様子を図７
に示す。ＧＯＰ構成はＢピクチャで始まり、Ｐピクチャ
で終わる通常のＧＯＰと、Ｉピクチャで始まりＰピクチ
ャで終わるクローズド（Closed）ＧＯＰがある。前者は
符号列を編集した際にＧＯＰの最初のＢピクチャが復号
できなくなるが、後者はそのＢピクチャが元々無いの
で、そのような問題は起こらず、ＧＯＰ単位で符号列の
編集が可能になる。

【０００４】従来の符号列の構成を図８に示す。同図に
ＰＨで示すように各ピクチャ（フレームやフィールド）
には、そのピクチャに関する情報や符号化パラメータが
ヘッダとして多重化される。さらに、ＧＯＰのヘッダＧ
ＨにもそのＧＯＰに関する情報が多重化される。

【０００５】一方、ＭＰＥＧ規格においては、量子化マ
トリックスは主にＩピクチャで用いる独立マクロブロッ
ク用と、主にＰ（Ｂ）ピクチャで用いる非独立マクロブ
ロック用が規定されているので、ＰピクチャとＢピクチ
ャで別のマトリックスとする場合には、ＰピクチャとＢ
ピクチャで、ピクチャタイプが変わるたびに、それぞれ
別の量子化マトリックスの数値をピクチャヘッダに多重
化する必要がある。マトリックスの情報量は、８×８Ｄ
ＣＴ用なら１値を８ビットとすると、４０９６（＝８×
８×８×８）ビット程度必要である。

【０００６】

【発明が解決しようとする課題】従来の動画像符号化装
置及び方法では、画像パラメータ及び符号化パラメータ
を画像情報として、各フレームないし独立フレームの周
期で束ねられたＧＯＰ（Group Of Picture）単位に多重
化している。しかし、各フレームに多重化した場合、フ
レーム単位で変化する情報は少ないので、多くは同じ情
報が再度多重化されることになる。このため、画像情報
に関する符号量及び多重化分離及び復号化処理が無駄と
なっている。一方、ＧＯＰに多重化した場合は、１５な
いし３０フレーム毎に画像情報が存在することになる
が、その場合は符号化パラメータを更新したくても、そ
の間変更できないので符号化処理を最適化できない。ま
た、画像パラメータが変化していても、更新できないの
で次のＧＯＰまで不適切な処理となる場合がある。

【０００７】一方、伝送路中でＢピクチャを廃棄する場
合、廃棄されたＢピクチャに付随する画像情報も廃棄さ
れるので、画像情報の更新を誤る可能性がある。また、
量子化マトリックスを更新する場合、そのすべての値を
送る必要があるので、頻繁に量子化マトリックスを変更
することは困難である。

【０００８】本発明は以上の点に鑑みなされたもので、
画像間予測の参照画像となる一つのフレームとそれに連
続する参照画像とならないフレームを組とし、そこで共
通の画像パラメータ及び符号化パラメータを画像情報と
して設定し、その画像情報を多重化することで、符号量
の増加を抑えながら適切な符号化を実現する動画像符号
化装置、符号化方法、復号化装置、復号化方法及び動画
像符号列伝送方法を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
め、本発明の第１の動画像符号化装置は、画像間予測の
参照画像となる第１の画像と、画像間予測の参照画像と
ならない第２の画像を符号化する動画像符号化装置にお
いて、第１の画像の１フレームないし１フィールドと、
第１の画像に隣接し、フレームないしフィールドが連続
する第２の画像を画像の組とし、この画像の組に共通す
る画像パラメータと符号化パラメータの少なくとも一方
を画像情報として設定する画像情報設定手段と、画像情
報に従って第１の画像を符号化し、１フレームないし１
フィールド単位の第１の符号列を得る第１の符号化手段
と、画像情報に従って第２の画像を符号化し、フレーム
ないしフィールドが連続する第２の符号列を得る第２の
符号化手段と、画像情報、第１の符号列及び第２の符号
列を連続して多重化する多重化手段とを有する構成とし
たものである。

【００１０】また、上記の目的を達成するため、本発明
の第１の動画像符号化方法は、画像間予測の参照画像と
なる第１の画像と、画像間予測の参照画像とならない第
２の画像を符号化する動画像符号化方法において、第１
の画像の１フレームないし１フィールドと、第１の画像
に隣接し、フレームないしフィールドが連続する第２の
画像を画像の組とし、この画像の組に共通する画像パラ
メータと符号化パラメータの少なくとも一方を画像情報
として設定する第１のステップと、画像情報に従って第
１の画像を符号化し、１フレームないし１フィールド単
位の第１の符号列を得る第２のステップと、画像情報に
従って第２の画像を符号化し、フレームないしフィール
ドが連続する第２の符号列を得る第３のステップと、画
像情報、第１の符号列及び第２の符号列を連続して多重
化する第４のステップとを含むことを特徴とする。

【００１１】本発明の第１の動画像符号化装置及び方法
では、画像間予測の参照画像となる第１の画像の１フレ
ームないし１フィールドを符号化した第１の符号列と、
それに隣接し、フレームないしフィールドが連続する第
２の画像を符号化した第２の符号列に、上記の画像の組
に共通する画像パラメータと符号化パラメータの少なく
とも一方を画像情報として多重化した符号列を得る符号
化を行うようにしたため、数フレーム単位ないし数フィ
ールド単位で画像情報を多重化することができ、各フレ
ームないし各フィールドに多重化する場合に比べて、重
複した情報を多重化する量を減少できる。

【００１２】また、上記の目的を達成するため、本発明
の第２の動画像符号化装置は、直交変換の各係数に対応
した量子化マトリックスを用いて直交変換係数の量子化
を行う動画像符号化装置において、符号化する入力動画
像の画像状況や符号化状況に応じて量子化マトリックス
の傾斜の程度を示す係数を設定する量子化傾斜係数設定
手段と、所定量子化マトリックスを保持し、この所定量
子化マトリックスの傾斜成分に量子化マトリックスの傾
斜の程度を示す係数を乗じて、量子化で用いる量子化マ
トリックスを得る量子化マトリックス形成手段と、量子
化マトリックスを用いて入力動画像の量子化を行い、画
像符号列を得る量子化手段と、量子化手段により得られ
た画像符号列と、量子化傾斜係数設定手段からの量子化
マトリックスの傾斜の程度を示す係数の情報とを多重化
して出力する多重化手段とを有する構成としたものであ
る。

【００１３】また、上記の目的を達成するため、本発明
の第２の動画像符号化方法は、直交変換の各係数に対応
した量子化マトリックスを用いて直交変換係数の量子化
を行う動画像符号化方法において、符号化する入力動画
像の画像状況や符号化状況に応じて量子化マトリックス
の傾斜の程度を示す係数を設定する第１のステップと、
所定量子化マトリックスを保持し、この所定量子化マト
リックスの傾斜成分に量子化マトリックスの傾斜の程度
を示す係数を乗じて、量子化で用いる量子化マトリック
スを得る第２のステップと、量子化マトリックスを用い
て入力動画像の量子化を行い、画像符号列を得る第３の
ステップと、第３のステップにより得られた画像符号列
と、第１のステップにより設定された量子化マトリック
スの傾斜の程度を示す係数の情報とを多重化して出力す
る第４のステップとを含むことを特徴とする。

【００１４】本発明の第２の動画像符号化装置及び方法
では、所定量子化マトリックスの傾斜成分に量子化マト
リックスの傾斜の程度を示す係数を乗じて得た量子化マ
トリックスを用いて入力動画像の量子化を行い、これに
より得られた画像符号列を量子化マトリックスの傾斜の
程度を示す係数の情報と多重化して出力することによ
り、量子化マトリックスは補正係数である量子化マトリ
ックスの傾斜の程度を示す係数だけを伝送するようにし
たため、量子化マトリックスを伝送する場合に比べて伝
送情報量を少なくできる。

【００１５】また、上記の目的を達成するため、本発明
の第１の動画像復号化装置は、動画像符号化で画像間予
測の参照画像となる第１の画像と、画像間予測の参照画
像とならない第２の画像からなる動画像符号列を復号化
する動画像復号化装置において、入来する動画像符号列
から第１の画像が符号化された、１フレームないし１フ
ィールド単位の第１の符号列と、第１の画像に隣接し、
フレームないしフィールドが連続する第２の画像が符号
化された、フレームないしフィールドが連続する第２の
符号列と、第１及び第２の画像を画像の組とし、この画
像の組に共通する画像パラメータと符号化パラメータの
少なくとも一方を画像情報として分離する多重化分離手
段と、多重化分離手段により分離された画像情報に従っ
て、第１の符号列を復号化し、１フレームないし１フィ
ールド毎の第１の画像を得る第１の復号化手段と、多重
化分離手段により分離された画像情報に従って、第２の
符号列を復号化し、フレームないしフィールドが連続す
る第２の画像を得る第２の復号化手段と、第１及び第２
の復号化手段により復号された第１及び第２の画像を選
択して本来の画像順で出力する画像再生手段とを有する
構成としたものである。

【００１６】また、上記の目的を達成するため、本発明
の第１の動画像復号化方法は、動画像符号化で画像間予
測の参照画像となる第１の画像と、画像間予測の参照画
像とならない第２の画像からなる動画像符号列を復号化
する動画像復号化方法において、入来する動画像符号列
から第１の画像が符号化された、１フレームないし１フ
ィールド単位の第１の符号列と、第１の画像に隣接し、
フレームないしフィールドが連続する第２の画像が符号
化された、フレームないしフィールドが連続する第２の
符号列と、第１及び第２の画像を画像の組とし、この画
像の組に共通する画像パラメータと符号化パラメータの
少なくとも一方を画像情報として分離する第１のステッ
プと、第１のステップにより分離された画像情報に従っ
て、第１の符号列を復号化し、１フレームないし１フィ
ールド毎の第１の画像を得る第２のステップと、第１の
ステップにより分離された画像情報に従って、第２の符
号列を復号化し、フレームないしフィールドが連続する
第２の画像を得る第３のステップと、第２及び第３のス
テップにより復号された第１及び第２の画像を選択して
本来の画像順で出力する第４のステップとを含むことを
特徴とする。

【００１７】本発明の第１の動画像復号化装置及び方法
では、画像間予測の参照画像となる第１の画像の１フレ
ームないし１フィールドを符号化した第１の符号列と、
それに隣接し、フレームないしフィールドが連続する第
２の画像を符号化した第２の符号列を、上記の画像の組
に共通する画像パラメータと符号化パラメータの少なく
とも一方を画像情報として用いて復号化を行うようにし
たため、数フレーム単位ないし数フィールド単位で多重
化された画像情報を用いて第１及び第２の画像を復号化
することができ、各フレームないし各フィールドに画像
情報が多重化された符号列を復号化する場合に比べて、
重複した情報が少ない符号列を復号化できる。

【００１８】また、上記の目的を達成するため、本発明
の第２の動画像復号化装置は、直交変換の各係数に対応
した量子化マトリックスを用いて直交変換係数の逆量子
化を行う動画像復号化装置において、入来符号列から画
像符号列と量子化マトリックスの傾斜の程度を示す係数
の情報を分離する多重化分離手段と、所定量子化マトリ
ックスを保持し、この所定量子化マトリックスの傾斜成
分に、多重化分離手段で分離した量子化マトリックスの
傾斜の程度を示す係数を乗じて、逆量子化で用いる量子
化マトリックスを得る量子化マトリックス形成手段と、
量子化マトリックス形成手段により得られた量子化マト
リックスを用いて逆量子化を行い再生画像を得る復号化
手段とを有する構成としたものである。

【００１９】また、上記の目的を達成するため、本発明
の第２の動画像復号化方法は、直交変換の各係数に対応
した量子化マトリックスを用いて直交変換係数の逆量子
化を行う動画像復号化方法において、入来符号列から画
像符号列と量子化マトリックスの傾斜の程度を示す係数
の情報を分離する第１のステップと、所定量子化マトリ
ックスを保持し、この所定量子化マトリックスの傾斜成
分に、多重化分離手段で分離した量子化マトリックスの
傾斜の程度を示す係数を乗じて、逆量子化で用いる量子
化マトリックスを得る第２のステップと、量子化マトリ
ックスを用いて逆量子化を行い再生画像を得る第３のス
テップとを含むことを特徴とする。

【００２０】上記の本発明の第２の動画像復号化装置及
び方法では、所定量子化マトリックスの傾斜成分に、入
力符号列から分離した量子化マトリックスの傾斜の程度
を示す係数を乗じて得た量子化マトリックスを用いて入
力画像符号列の逆量子化を行い、これにより再生画像を
得るようにしたため、量子化マトリックスを伝送する場
合に比べて少ない伝送量の量子化マトリックスの傾斜の
程度を示す係数を用いて再生画像を得ることができる。

【００２１】また、上記の目的を達成するため、本発明
の符号列伝送方法は、動画像符号化で画像間予測の参照
画像となる第１の画像と、画像間予測の参照画像となら
ない第２の画像を含む符号列の伝送方法において、第１
の画像の１フレームないし１フィールドと、第１の画像
に隣接し、フレームないしフィールドが連続する第２の
画像を画像の組とし、この画像の組に共通する画像パラ
メータと符号化パラメータの少なくとも一方である画像
情報符号列部分と、画像の組に関する情報に従って、第
１の画像が１フレームないし１フィールド毎に符号化さ
れた第１の符号列部分と、画像の組に関する情報に従っ
て、第２の画像がフレームないしフィールドが連続して
符号化された第２の符号列部分とが、多重化された構成
の動画像符号列を伝送することを特徴とする。

【００２２】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面と共に説明する。

【００２３】まず、本発明になる動画像符号化装置及び
符号化方法について説明する。図１は本発明になる動画
像符号化装置の一実施の形態のブロック図を示す。同図
において、画像入力端子１より入来する動画像信号は、
画像スイッチ２により画像間予測の参照画像となるＩピ
クチャ及びＰピクチャでは減算器３に与えられ、画像間
予測の参照画像とならないＢピクチャではフレーム間引
器１３に与えられる。

【００２４】減算器３では、画像スイッチ２を通して入
力されるＩピクチャ又はＰピクチャと、画像間予測器１
０から入力される予測信号との減算を行い、得られた予
測残差をＤＣＴ４に供給する。ＤＣＴ４は予測残差に対
してＤＣＴ（Discrete Cosine Transform）の変換処理
を行い、得られた係数を量子化器５に供給する。量子化
器５はＤＣＴ４から供給された係数を量子化マトリック
スに基づくステップ幅で量子化し、固定長の符号となっ
た係数を可変長符号化器６と逆量子化器７に供給する。
可変長符号化器６は、固定長の予測残差を可変長符号で
圧縮し、得られた符号を多重化器１８に供給する。

【００２５】Ｉピクチャ及びＰピクチャは画像間予測の
参照画像となるため局部復号が行われる。すなわち、量
子化器５で量子化されて固定長の符号となった係数は、
逆量子化器７及び逆ＤＣＴ８において、それぞれＤＣＴ
４及び量子化器５の逆処理が行われ、予測残差が再生さ
れる。得られた再生予測残差は加算器９で画像間予測器
１０からの予測信号と加算されて再生画像となり、画像
間予測器１０に供給される。画像間予測器１０は再生画
像を蓄え、再生画像から予測信号を形成して減算器３と
減算器１４と加算器９に与える。

【００２６】フレーム間引器１３で、Ｂピクチャの画像
信号は先行して符号化されるＩ（Ｐ）ピクチャの符号化
が済むまで遅延させられる。また、設定される画像レー
トに応じて画像が間引かれる。遅延及び間引きが行われ
たＢピクチャの画像信号は、減算器１４において画像間
予測器１０から供給される予測信号が減算され、予測残
差となってＤＣＴ１５に与えられる。予測残差は、ＤＣ
Ｔ１５、量子化器１６及び可変長符号化器１７よりなる
回路部で符号化されるが、この処理はＩ（Ｐ）ピクチャ
に対するＤＣＴ４、量子化器５及び可変長符号化器６よ
りなる回路部の処理と同様である。

【００２７】ただし、量子化器１６において使われる量
子化マトリックスが量子化器５で用いられる量子化マト
リックスと異なるので量子化器１６の処理は量子化器５
と若干異なることになる。また、Ｂピクチャは画像間予
測の参照画像とならないので、局部復号は行われない。
可変長符号化器１７から取り出された可変長符号は多重
化器１８に与えられる。

【００２８】一方、画像情報設定器１１は、入来画像に
関する情報と、それに基づく符号化パラメータを設定す
る。入来画像に関する情報は、画像サイズ、画像レート
など基本的なものから、画像に対する解析処理で得られ
る画像空間アクティビティ、画像間（時間）アクティビ
ティ、シーンチェンジの有無などを検出して得る。ま
た、プリフィルタなど前置処理に関する情報も、前段処
理からの情報または画像解析で得る。

【００２９】更に、画像情報設定器１１は、それら画像
に関する情報（画像パラメータ）に基づき、量子化マト
リックス、符号化画像レート、画像間予測方法などの符
号化パラメータを設定する。符号化パラメータは発生符
号量に応じて制御してもよい。画像パラメータと符号化
パラメータは、画像情報として、一つのＩ（Ｐ）ピクチ
ャとそれに続いて符号化されるＢピクチャに対して共通
なものとする。この画像群をＳｅｔと呼び、長さは飛越
し走査画像で３フレームから順次走査画像で６フレーム
程度である。これは時間にして１０分の１秒程度なの
で、画像状態の相関は高く、パラメータを共通としても
不都合は少ない。なお、符号化はＩ（Ｐ）ピクチャが先
でＢピクチャが後だが、本来の画像順はＢピクチャが先
でＩ（Ｐ）ピクチャが後となる。

【００３０】画像情報保持器１２は、画像情報設定器１
１で設定された画像情報を実際の処理を行うための符号
化パラメータとして、次のＩ（Ｐ）ピクチャの符号化ま
で保持する。また、画像情報保持器１２は、符号化パラ
メータの中で、量子化マトリックスを量子化器５及び１
６と、逆量子化器７に与え、符号化画像レートをフレー
ム間引器１３に与える。また、画像に関する情報や符号
化パラメータは、伝送のための符号列として形成され多
重化に合わせて保持され、多重化器１８に与えられる。

【００３１】多重化器１８はＩ（Ｐ）ピクチャの先頭部
分に画像情報を挿入する。画像情報の内容は、画像サイ
ズなどの画像に関するパラメータと、量子化マトリック
スなど符号化に関するパラメータである。多重化器１８
は、ヘッダである画像情報とＩ（Ｐ）ピクチャの符号列
とＢピクチャの符号列をそれぞれの処理タイミングで得
て、符号出力端子１９から出力する。Ｉ（Ｐ）ピクチャ
の先頭に多重化される量子化マトリックスなど符号化に
関するパラメータは、量子化器５及び１６や逆量子化器
７にも与えられ、量子化や逆量子化はそのパラメータに
従って行われる。

【００３２】本実施の形態ではＭＰＥＧ型のピクチャタ
イプを用いて説明したが、Ｂピクチャの代わりに画像間
予測の参照画像とならない片方向予測ピクチャとしても
同様である。片方向予測でも予測の参照画像とならない
場合は、画像レートに合わせて画像が間引かれても他に
影響はない。ただし、片方向予測の場合は、画像順の入
れ替えは必要がないので行われない。

【００３３】次に、本発明における量子化マトリックス
について説明する。本発明は量子化マトリックスの値
を、係数ごとの重み付けの値と、その傾斜の程度を示す
パラメータに分解して表す。量子化マトリックスを変更
する場合、係数ごとの重み付けの値はあまり変更せず、
傾斜の程度を示すパラメータのみを変更して伝送する。
この処理を式（１）で示す。

【００３４】 Qi(i,j)＝ki{Qio(i,j)−Qio(0,0)}＋Qio(0,0) (１) 式１においてｉは水平方向係数番号、ｊは垂直方向係数
番号で、ｉ＝０，ｊ＝０はＤＣ成分である。元となるイ
ントラ用所定マトリックスＱｉｏ（ｉ，ｊ）はＭＰＥＧ
規格のイントラマクロブロック（Ｉピクチャ）用量子化
マトリックスと同様なものである。Ｉピクチャ用の量子
化マトリックス傾斜係数ｋｉから、Ｉピクチャ用の量子
化マトリックスＱｉ（ｉ，ｊ）を得る。ｋｉが１の場合
は、Ｑｉ（ｉ，ｊ）＝Ｑｉｏ（ｉ，ｊ）となる。

【００３５】同様に、所定マトリックスとして非イント
ラマクロブロック用マトリックスＱｎｉ（ｉ，ｊ）を用
い、式２によりＰピクチャ用の量子化マトリックス傾斜
係数ｋｐから、Ｐピクチャ用の量子化マトリックスＱｐ
（ｉ，ｊ）を、式３によりＢピクチャ用の量子化マトリ
ックス傾斜係数ｋｂから、Ｂピクチャ用の量子化マトリ
ックスＱｂ（ｉ，ｊ）を得る。

【００３６】 Qp(i,j)＝kp{Qni(i,j)−Qni(0,0)}＋Qni(0,0) （２） Qb(i,j)＝kb{Qni(i,j)−Qni(0,0)}＋Qni(0,0) （３） ｋｐが２の場合の非イントラマクロブロック用マトリッ
クスＱｎｉ（ｉ，ｊ）と、Ｐピクチャ用の量子化マトリ
ックスＱｐ（ｉ，ｊ）の具体例を図２に示す。所定マト
リックスＱｉｏ（ｉ，ｊ）や非イントラマクロブロック
用マトリックスＱｎｉ（ｉ，ｊ）はＭＰＥＧ規格と同様
に更新可能であるが、情報量が多いのであまり変更せ
ず、量子化マトリックス傾斜係数ｋｉ，ｋｐ，ｋｂを変
更して多重化する。ｋｉ，ｋｐ，ｋｂは８ビット程度な
ので、Ｑｉｏ（ｉ，ｊ）やＱｎｉ（ｉ，ｊ）と比較して
情報量は大幅に少ない。

【００３７】ｋｉ，ｋｐ，ｋｂは画像情報設定器１１で
画像状況及び符号化状況に応じて設定される。画像アク
ティビティが高い場合に、ｋｉ，ｋｐ，ｋｂの値は大き
くされる。また量子化が粗い（量子化ステップ幅が広
い）場合にも大きくされる。ｋｉ，ｋｐ，ｋｂは独立に
変更され、ｋｉはあまり変化させず、ｋｐはやや大き
く、ｋｂはより大きくされる。これは、Ｉピクチャ（独
立マクロブロックを含む）は、画像そのものの量子化で
あるが、Ｐピクチャは数フレーム間の予測残差なので時
間方向の周波数成分として高いものであり、Ｂピクチャ
は最も高い周波数に相当するためである。時空間周波数
で高い成分は視覚検知能力が低下するため、このような
処理が適当になる。

【００３８】上記の量子化マトリックス形成方法は図１
の符号化装置に用いることができるのみならず、Ｐピク
チャやＩピクチャのみでも適用可能である。すなわち量
子化マトリックスを用いる直交変換符号化で広く用いる
ことができる。

【００３９】次に、本発明の動画像符号列伝送方法で伝
送する動画像符号列について説明する。図１に示した本
発明の符号化装置の一実施の形態から出力される動画像
符号列は、図３のような構成となる。各ＧＯＰはＧＯＰ
ヘッダＧＨと画像の組（Ｓｅｔ）から構成され、一つの
ＧＯＰは複数のＳｅｔを持つ。各Ｓｅｔは、画像間予測
の参照画像となるＩピクチャまたはＰピクチャ一つと幾
つかの連続するＢピクチャにより構成される。

【００４０】また、各Ｓｅｔの先頭にはその中の複数の
ピクチャに共通な画像符号化情報をＳｅｔヘッダＳＨと
して持つ。各Ｓｅｔは、２ピクチャから６ピクチャ程度
を含む。各ピクチャは複数のスライス（マクロブロック
の集合体）を持つが、従来例であったピクチャヘッダ
（図８のＰＨ）は存在しない。本実施の形態ではピクチ
ャヘッダの代わりに、それを束ねたＳｅｔヘッダＳＨが
Ｓｅｔの符号列の中にある。

【００４１】符号化装置または伝送路において、一部Ｂ
ピクチャを削除して画像レートを落とした場合の符号列
構造を図４に示す。同図に示すように、画像レートに応
じて６０ｆｐｓ（frame per second）では、Ｓｅｔ内に
５ピクチャあったＢピクチャは、３０ｆｐｓでは２ピク
チャ、２０ｆｐｓでは１ピクチャ、１０ｆｐｓでは０と
なっている。いずれの画像レートの場合でも、Ｓｅｔヘ
ッダＳＨはそのまま保持されるので、復号処理に支障は
生じない。

【００４２】一方、クローズド（Closed）ＧＯＰの場合
は、最初のＢピクチャが無いので、図５に示すように、
最初のＳｅｔはＩピクチャのみとなる。他のＰピクチャ
を持つＳｅｔはＢピクチャが続く形となる。最初のＳｅ
ｔのみが他と異なるが、Ｉピクチャは符号量が多いの
で、符号量の点では各Ｓｅｔが均一化される方向にな
り、むしろ好都合である。

【００４３】次に、本発明になる動画像復号化装置及び
復号化方法について説明する。図６は本発明になる動画
像復号化装置の一実施の形態のブロック図を示す。本実
施の形態の動画像復号化装置は、図１に示した動画像符
号化装置に対応した復号化装置の構成を示したものであ
る。

【００４４】図６において、符号入力端子２１より入来
する符号列は、多重化分離器２２によりヘッダの符号
列、Ｉピクチャ及びＰピクチャの符号列、Ｂピクチャの
符号列に分離される。ヘッダの符号列は画像情報保持器
２３に、Ｉ（Ｐ）ピクチャの符号列は可変長復号化器２
４に、Ｂピクチャの符号列は可変長復号化器２５に供給
される。画像情報保持器２３は、伝送されてきたヘッダ
の符号列を１Ｓｅｔの間保持する。また、画像情報保持
器２３は、伝送されてきたヘッダの符号列から量子化マ
トリックスの傾斜の程度を示す係数を得て、予め設定さ
れている所定量子化マトリックスと得られた傾斜係数か
ら、逆量子化で用いる量子化マトリックスを形成し、保
持する。

【００４５】一方、Ｉ（Ｐ）ピクチャの符号列は、可変
長復号化器２４で予測残差の可変長符号が固定長の符号
に戻されて逆量子化器２６に供給され、ここで予測残差
の再生ＤＣＴ係数値とされて逆ＤＣＴ２７に供給され
る。逆量子化器２６では画像情報保持器２３から供給さ
れる量子化パラメータに従って逆量子化が行われる。ま
た、逆ＤＣＴ２７は、８×８個のＤＣＴ係数を再生予測
残差信号に変換し、加算器２８に与える。加算器２８は
この再生予測残差信号に、画像間予測器２９から供給さ
れる予測信号を加算して再生画像信号を得る。

【００４６】この様にして得られたＩ（Ｐ）ピクチャの
再生画像信号は、加算器２８から画像間予測に用いられ
るため画像間予測器２９に供給される。画像間予測器２
９は、蓄積されている画像から予測信号を形成し、加算
器２８と加算器３２に供給する。

【００４７】一方、Ｂピクチャの符号列は、可変長復号
化器２５、逆量子化器３０、逆ＤＣＴ３１及び加算器３
２よりなる回路部で復号化され、得られた再生画像信号
が画像スイッチ３３に与えられる。可変長復号化器２
５、逆量子化器３０、逆ＤＣＴ３１及び加算器３２より
なる回路部の動作は、可変長復号化器２４、逆量子化器
２６、逆ＤＣＴ２７及び加算器２８よりなる回路部の動
作と同様であるが、逆量子化のパラメータはＢピクチャ
用のものとなる。Ｂピクチャは画像間予測に使われない
ので、再生画像信号は保持されない。

【００４８】画像スイッチ３３はＢピクチャの再生画像
信号と画像間予測器２９で遅延させられたＰ（Ｉ）ピク
チャの再生画像信号の一方を選択し、本来のフレーム
（フィールド）順となった再生画像信号をフレーム補間
器３４に与える。フレーム補間器３４は、欠如している
Ｂピクチャを再生された前後のフレーム（フィールド）
から補間し、所定の画像レートにして画像出力端子３５
から出力する。

【００４９】

【発明の効果】以上説明したように、本発明によれば、
画像間予測の参照画像となる第１の画像の１フレームな
いし１フィールドを符号化した第１の符号列と、それに
隣接し、フレームないしフィールドが連続する参照画像
とならない第２の画像を符号化した第２の符号列を画像
の組とし、上記の画像の組に共通する画像パラメータと
符号化パラメータの少なくとも一方を画像情報として多
重化した符号列を得ることにより、数フレーム単位ない
し数フィールド単位で画像情報を多重化することができ
るため、各フレームに画像情報を多重する場合に比べ
て、重複した情報を多重化する量を減少できる。

【００５０】また、本発明によれば、数十フレーム単位
となるＧＯＰヘッダでの画像情報と比較して、数フレー
ム単位で画像情報を多重でき、よって、より適切な符号
化パラメータが設定可能となる。また、本発明によれ
ば、量子化マトリックスは補正係数である量子化マトリ
ックスの傾斜の程度を示す係数だけを伝送することによ
り、量子化マトリックスを伝送する場合に比べて、僅か
な伝送情報量で済むようにしたため、ＧＯＰヘッダより
頻繁にマトリックスを変更して、再生画質を最適化する
ことができる。

【００５１】また、本発明によれば、上記の第１の画像
を符号化した第１の符号列と、上記の第２の画像を符号
化した第２の符号列を画像の組とし、上記の画像の組に
共通する画像情報とを多重化した符号列を得るので、参
照画像とならない第２の画像のフレーム数又はフィール
ド数を廃棄することで画像レートを変更しても、参照画
像となる第１の画像及び画像情報は廃棄されないので、
画像情報は必ず復号化され、画像レートが変わっても画
像情報が確実に得られる。

【００５２】これらにより、本発明によれば、再生画像
の品質を従来と同様に保ちながらより低い転送レートを
実現できる。また、本発明によれば、転送レートを従来
と同一とすれば、他の情報により多くのビットが配分さ
れることになり、再生画像の品質を向上できる。

【図面の簡単な説明】

【図１】本発明の動画像符号化装置の一実施の形態の構
成を示すブロック図である。

【図２】本発明で用いる量子化マトリックスの一例を示
す図である。

【図３】本発明の符号列構成の一実施の形態を示す図で
ある。

【図４】本発明の画像レート低減に伴う符号列構成変化
の一例を示す図である。

【図５】本発明の符号列のＧＯＰ符号列構造の一例を示
す図である。

【図６】本発明の動画像復号化装置の一実施の形態の構
成を示すブロック図である。

【図７】ＧＯＰ構成の各例を示す図である。

【図８】従来の符号列構成の一例を示す図である。

【符号の説明】

１ 画像入力端子 ２、３３ 画像スイッチ ３、１４ 減算器 ４、１５ ＤＣＴ ５、１６ 量子化器 ６、１７ 可変長符号化器 ７、２６、３０ 逆量子化器 ８、２７、３１ 逆ＤＣＴ ９、２８、３２ 加算器 １０、２９ 画像間予測器 １１ 画像情報設定器 １２、２３ 画像情報保持器 １３ フレーム間引器 １８ 多重化器 １９ 符号列出力端子 ２１ 符号列入力端子 ２２ 多重化分離器 ２４、２５ 可変長復号化器 ３４ フレーム補間器 ３５ 画像出力端子

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 MA00 MA05 MA23 MC15 ME01 PP04 RB01 RB09 RC11 RC12 RC14 SS06 TA07 TA17 TA21 TA47 TB04 TC10 TC14 TC18 TC25 TC27 TD05 TD15 TD16 UA02 UA05 UA32 UA33 5J064 AA02 AA05 BA16 BB03 BC08 BC16 BD02

Claims (9)

【特許請求の範囲】
1. 【請求項１】 画像間予測の参照画像となる第１の画像
   と、画像間予測の参照画像とならない第２の画像を符号
   化する動画像符号化装置において、 前記第１の画像の１フレームないし１フィールドと、前
   記第１の画像に隣接し、フレームないしフィールドが連
   続する前記第２の画像を画像の組とし、この画像の組に
   共通する画像パラメータと符号化パラメータの少なくと
   も一方を画像情報として設定する画像情報設定手段と、 前記画像情報に従って前記第１の画像を符号化し、１フ
   レームないし１フィールド単位の第１の符号列を得る第
   １の符号化手段と、 前記画像情報に従って前記第２の画像を符号化し、フレ
   ームないしフィールドが連続する第２の符号列を得る第
   ２の符号化手段と、 前記画像情報、前記第１の符号列及び前記第２の符号列
   を連続して多重化する多重化手段とを有することを特徴
   とする動画像符号化装置。
2. 【請求項２】 直交変換の各係数に対応した量子化マト
   リックスを用いて直交変換係数の量子化を行う動画像符
   号化装置において、 符号化する入力動画像の画像状況や符号化状況に応じて
   量子化マトリックスの傾斜の程度を示す係数を設定する
   量子化傾斜係数設定手段と、 所定量子化マトリックスを保持し、この所定量子化マト
   リックスの傾斜成分に前記量子化マトリックスの傾斜の
   程度を示す係数を乗じて、量子化で用いる量子化マトリ
   ックスを得る量子化マトリックス形成手段と、 前記量子化マトリックスを用いて前記入力動画像の量子
   化を行い、画像符号列を得る量子化手段と、 前記量子化手段により得られた前記画像符号列と、前記
   量子化傾斜係数設定手段からの前記量子化マトリックス
   の傾斜の程度を示す係数の情報とを多重化して出力する
   多重化手段とを有することを特徴とする動画像符号化装
   置。
3. 【請求項３】 動画像符号化で画像間予測の参照画像と
   なる第１の画像と、画像間予測の参照画像とならない第
   ２の画像からなる動画像符号列を復号化する動画像復号
   化装置において、 入来する前記動画像符号列から前記第１の画像が符号化
   された、１フレームないし１フィールド単位の第１の符
   号列と、前記第１の画像に隣接し、フレームないしフィ
   ールドが連続する前記第２の画像が符号化された、フレ
   ームないしフィールドが連続する第２の符号列と、前記
   第１及び第２の画像を画像の組とし、この画像の組に共
   通する画像パラメータと符号化パラメータの少なくとも
   一方を画像情報として分離する多重化分離手段と、 前記多重化分離手段により分離された前記画像情報に従
   って、前記第１の符号列を復号化し、１フレームないし
   １フィールド毎の前記第１の画像を得る第１の復号化手
   段と、 前記多重化分離手段により分離された前記画像情報に従
   って、前記第２の符号列を復号化し、フレームないしフ
   ィールドが連続する第２の画像を得る第２の復号化手段
   と、 前記第１及び第２の復号化手段により復号された前記第
   １及び第２の画像を選択して本来の画像順で出力する画
   像再生手段とを有することを特徴とする動画像復号化装
   置。
4. 【請求項４】 直交変換の各係数に対応した量子化マト
   リックスを用いて直交変換係数の逆量子化を行う動画像
   復号化装置において、 入来符号列から画像符号列と量子化マトリックスの傾斜
   の程度を示す係数の情報を分離する多重化分離手段と、 所定量子化マトリックスを保持し、この所定量子化マト
   リックスの傾斜成分に、前記多重化分離手段で分離した
   前記量子化マトリックスの傾斜の程度を示す係数を乗じ
   て、前記逆量子化で用いる量子化マトリックスを得る量
   子化マトリックス形成手段と、 前記量子化マトリックス形成手段により得られた前記量
   子化マトリックスを用いて逆量子化を行い再生画像を得
   る復号化手段とを有することを特徴とする動画像復号化
   装置。
5. 【請求項５】 画像間予測の参照画像となる第１の画像
   と、画像間予測の参照画像とならない第２の画像を符号
   化する動画像符号化方法において、 前記第１の画像の１フレームないし１フィールドと、前
   記第１の画像に隣接し、フレームないしフィールドが連
   続する前記第２の画像を画像の組とし、この画像の組に
   共通する画像パラメータと符号化パラメータの少なくと
   も一方を画像情報として設定する第１のステップと、 前記画像情報に従って前記第１の画像を符号化し、１フ
   レームないし１フィールド単位の第１の符号列を得る第
   ２のステップと、 前記画像情報に従って前記第２の画像を符号化し、フレ
   ームないしフィールドが連続する第２の符号列を得る第
   ３のステップと、 前記画像情報、前記第１の符号列及び前記第２の符号列
   を連続して多重化する第４のステップとを含むことを特
   徴とする動画像符号化方法。
6. 【請求項６】 直交変換の各係数に対応した量子化マト
   リックスを用いて直交変換係数の量子化を行う動画像符
   号化方法において、 符号化する入力動画像の画像状況や符号化状況に応じて
   量子化マトリックスの傾斜の程度を示す係数を設定する
   第１のステップと、 所定量子化マトリックスを保持し、この所定量子化マト
   リックスの傾斜成分に前記量子化マトリックスの傾斜の
   程度を示す係数を乗じて、量子化で用いる量子化マトリ
   ックスを得る第２のステップと、 前記量子化マトリックスを用いて前記入力動画像の量子
   化を行い、画像符号列を得る第３のステップと、 前記第３のステップにより得られた前記画像符号列と、
   前記第１のステップにより設定された前記量子化マトリ
   ックスの傾斜の程度を示す係数の情報とを多重化して出
   力する第４のステップとを含むことを特徴とする動画像
   符号化方法。
7. 【請求項７】 動画像符号化で画像間予測の参照画像と
   なる第１の画像と、画像間予測の参照画像とならない第
   ２の画像からなる動画像符号列を復号化する動画像復号
   化方法において、 入来する前記動画像符号列から前記第１の画像が符号化
   された、１フレームないし１フィールド単位の第１の符
   号列と、前記第１の画像に隣接し、フレームないしフィ
   ールドが連続する前記第２の画像が符号化された、フレ
   ームないしフィールドが連続する第２の符号列と、前記
   第１及び第２の画像を画像の組とし、この画像の組に共
   通する画像パラメータと符号化パラメータの少なくとも
   一方を画像情報として分離する第１のステップと、 前記第１のステップにより分離された前記画像情報に従
   って、前記第１の符号列を復号化し、１フレームないし
   １フィールド毎の前記第１の画像を得る第２のステップ
   と、 前記第１のステップにより分離された前記画像情報に従
   って、前記第２の符号列を復号化し、フレームないしフ
   ィールドが連続する第２の画像を得る第３のステップ
   と、 前記第２及び第３のステップにより復号された前記第１
   及び第２の画像を選択して本来の画像順で出力する第４
   のステップとを含むことを特徴とする動画像復号化方
   法。
8. 【請求項８】 直交変換の各係数に対応した量子化マト
   リックスを用いて直交変換係数の逆量子化を行う動画像
   復号化方法において、 入来符号列から画像符号列と量子化マトリックスの傾斜
   の程度を示す係数の情報を分離する第１のステップと、 所定量子化マトリックスを保持し、この所定量子化マト
   リックスの傾斜成分に、前記多重化分離手段で分離した
   前記量子化マトリックスの傾斜の程度を示す係数を乗じ
   て、前記逆量子化で用いる量子化マトリックスを得る第
   ２のステップと、 前記量子化マトリックスを用いて逆量子化を行い再生画
   像を得る第３のステップとを含むことを特徴とする動画
   像復号化方法。
9. 【請求項９】 動画像符号化で画像間予測の参照画像と
   なる第１の画像と、画像間予測の参照画像とならない第
   ２の画像を含む符号列の伝送方法において、 前記第１の画像の１フレームないし１フィールドと、前
   記第１の画像に隣接し、フレームないしフィールドが連
   続する前記第２の画像を画像の組とし、この画像の組に
   共通する画像パラメータと符号化パラメータの少なくと
   も一方である画像情報符号列部分と、前記画像の組に関
   する情報に従って、前記第１の画像が１フレームないし
   １フィールド毎に符号化された第１の符号列部分と、前
   記画像の組に関する情報に従って、前記第２の画像がフ
   レームないしフィールドが連続して符号化された第２の
   符号列部分とが、多重化された構成の動画像符号列を伝
   送することを特徴とする動画像符号列伝送方法。