JP2003204558A - 画像符号化装置および画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来の符号化装置、復号化装置では、符号化
処理が進むに従ってフレームメモリに書き込まれていた
復号化画像を順次更新していってしまうため、過去の復
号化画像で現在の符号化フレームに似た画像があった場
合でも、既にフレームメモリから消去されてしまってい
るので参照できず、これを用いた効率な予測ができな
い。 【解決手段】 復号化画像のうちフレームメモリに継続
的に記憶する画像を背景画像として選択して記憶させる
背景画像記憶制御手段と、この背景画像に基づき入力画
像に対応する動き補償予測を行い動き補償予測に基づく
予測画像を生成する背景動き補償手段とを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、動画像の高能率
符号化あるいは復号化を行い、画像の効率的伝送もしく
は蓄積を行うシステムに供することのできる画像符号化
装置および復号化装置に関するものである。具体的な応
用例としては、衛星や地上波、有線通信網を介して行う
ディジタル放送システム、ディジタルビデオディスク、
移動体ビデオフォン、ＰＨＳビデオフォン、あるいは画
像のデータベースなどがある。

【０００２】

【従来の技術】従来の代表的な高能率符号化方式とし
て、ISO/IEC JTC1/SC29/WG11において検討された国際標
準方式であるMPEG2がある。例えば「テレビジョン学会
誌 画像情報工学と放送技術」の1995年4月号では、MPE
Gを特集テーマとして解説している。同誌p.29-60に渡
り、「3-2 ビデオ圧縮」としてMPEG2の符号化方式が紹
介されている。以下、MPEG2の符号化方式について説明
する。

【０００３】図３１は一般的なMPEG2の符号化器の基本
構成を示す構成図であり、図３２はMPEG2復号化器の基
本構成を示す構成図である。図中、１はフレーム並び換
え部、２は減算部、３ａ、３ｂはインタ（フレーム内）
／イントラ（フレーム間）切り替えセレクタ、４は変換
部、５は量子化部、６は逆量子化部、７は逆変換部、８
は加算器、９は第１のフレームメモリ、１０は第２のフ
レームメモリ、１１は順方向動き補償部、１２は両方向
動き補償部、１３は逆方向動き補償部、１５は動き推定
部、１６は符号化制御部、１７は可変長符号化部、１８
はバッファである。

【０００４】また、１００はディジタル化された入力画
像データ、１０１は並び替えされた入力画像データ、１
０２は予測誤差画像、１０３は原入力画像または予測誤
差画像、１０４は変換係数、１０５は量子化係数、１０
６は逆量子化された変換係数、１０７は逆変換された画
像データ、１０８は局部復号化画像、１０９は第１のフ
レームメモリからの参照画像、１１０は第２のフレーム
メモリからの参照画像、１１１は順方向動き予測画像、
１１２は両方向動き予測画像、１１３は逆方向動き予測
画像、１１５は決定された予測画像、１１７はセレクタ
への制御信号、１１８は変換部４への制御信号、１１９
は適応量子化値、１２０は可変長符号化語、１２１はビ
ットストリーム、１２３は動きベクトル、１２４は参照
画像、１２５はイントラ・インター切り替え信号であ
る。

【０００５】図３１によって符号化器の動作を説明す
る。ディジタル化され入力画像信号１００は、フレーム
並び換え部１において符号化される画像フレームの並べ
替えを行う。図３３は、この並べ替えを図示したもので
ある。図３３において、Ｉはイントラ（フレーム内）符
号化画像、Ｐはフレーム間符号化画像、Ｂは両方向予測
符号化画像を意味している。尚、番号は表示される時間
的な順番を示す。

【０００６】まず、第１フレームがＩピクチャとして符
号化され、次に第４フレームがＰピクチャとして符号化
され、この時、既に符号化済みのＩピクチャを予測のた
めの参照フレームとして用いることになる。続いて、第
２フレームがＢピクチャとして符号化され、この時に予
測のための参照フレームとして用いられるのが、既に符
号化済みの第１フレームのＩピクチャと第４フレームの
Ｐピクチャである。同図中の矢印は予測される方向を示
す。

【０００７】以下、同様の処理によりＩＢＢＰＢＢＰ…
の構成で符号化が行われる。従って、時間順に並んでい
た入力画像信号１００を上記処理のために、符号化順に
並べ替えるのが、フレーム並べ替え部１の働きである。
続いて、前記Ｉピクチャの場合には予測符号化を行わな
いので、並び替えされた画像１０１はそのままセレクタ
３ａに入力して、セレクタ出力１０３につながる。他
方、前記ＰピクチャまたはＢピクチャの場合の予測符号
化には、減算部２において予測画像１１５との差分が取
られ、予測誤差画像１０２がセレクタ出力１０３とな
る。

【０００８】さらに、セレクタ出力１０３は変換部４を
通り変換係数１０４が出力され、これは量子化部を通
り、量子化係数１０５が得られる。量子化係数１０５は
可変長符号化部１７において可変長符号化され、可変長
符号化語１２０が出力される。また量子化係数１０５は
一方で逆量子化部６の入力ともなり、量子化係数１０６
が得られる。さらに量子化係数１０６は逆変換部７にお
いて再度画像レベルにまで逆変換されて画像データ１０
７が出力される。画像データ１０７は前記Ｉピクチャの
場合には加算部８で選択された予測画像１１６と加算さ
れ、局部復号化画像１０８が供される。

【０００９】なお、局部復号化画像１０８は、Ｉピクチ
ャの場合にはそのまま第１のフレームメモリ９に書き込
まれるが、Ｐピクチャの場合には第２のフレームメモリ
１０に書き込まれる。一方、Ｂピクチャの場合は１０８
はどちらのフレームメモリにも書き込まれることはな
い。

【００１０】続いて、Ｐピクチャの場合は、順方向予測
のみ用いるので、第１のフレームメモリ９内の参照画像
１２４を読み出して、動き推定部１５においてマクロブ
ロック（１６画素ｘ１６ラインの処理の基本単位）毎に
動き予測を行い、最も現在のマクロブロックに値が近い
ものを予測画像として選択し、同時に動きベクトル１２
３を出力する。図３１の点線領域で示された動き補償部
に動きベクトル１２３が入力して動き予測画像が出力さ
れるが、この場合には順方向動き補償部１１において、
第１のフレームメモリ９からの参照画像１０９を用い
て、順方向動き予測画像１１１が供され、決定された予
測画像１１５となる。

【００１１】また、前述の様にＰピクチャ内のすべての
マクロブロックの局部復号化画像１０８は、第２のフレ
ームメモリに書き込まれる。但し、上記Ｐピクチャの場
合でも、該マクロブロックがフレーム内（イントラ）符
号化される時には、フレーム並び替えされた画像１０１
が直接セレクタ出力となる。

【００１２】次にＢピクチャの場合には、符号化処理の
手順は上記Ｐピクチャの場合と同様であるが、予測のた
めの参照フレームを２つ使う所が異なる。動き推定部１
５では、第１のフレームメモリ９からの参照画像１０９
を用いた順方向予測、第２のフレームメモリ１０からの
参照画像１１０を用いた逆方向予測、参照画像１０９、
１１０の両方を用いた両方向予測を行い、最も現在のマ
クロブロックに値が近い予測モードを選択し、その時の
動きベクトル１２３を出力する。決定された予測モード
に基いて動き補償部では、それらに相当する動き補償部
（１１、１２、１３）において予測画像が出力される。
例えば、両方向動き予測が選択された時は両方向予測画
像１１２が供され、決定された予測画像１１５となる。

【００１３】図３３の第２、３フレームのＢピクチャの
符号化が終了すると、第２のフレームメモリに書き込ま
れていた画像データは、第１のフレームメモリに転送さ
れる。その後、第７フレームのＰピクチャが符号化さ
れ、復号化画像が第２のフレームメモリに書き込まれ
る。以後、前記と同様にＢピクチャ（第５、６フレー
ム）が符号化される。また、該マクロブロックがフレー
ム内（イントラ）符号化される時には、フレーム並び替
えされた画像１０１が直接セレクタ出力となることは、
Ｐピクチャの場合と同様である。

【００１４】一方、図３２は復号化器の構成図である。
図３２において、２２は可変長復号化部、１０７(a)は
イントラ（フレーム内）符号化の画像、１０７（b）は
予測誤差画像である。次に動作を説明する。ビットスト
リーム１２１は受信バッファ８においてある時間、蓄積
され、可変長符号化語１２０は可変長復号化部２２にお
いて、可変長復号化されて量子化係数１０５が出力され
る。その後の処理手順は符号化器の局部復号化処理と全
く同様である。該マクロブロックがイントラ復号化の場
合には、逆変換された画像１０７は、１０７(a)となる
が、インター（フレーム内）復号化の場合には、１０７
（b）となる。１０７（b）は加算部８において、予測画
像１１５との加算により、復号化画像１０８が出力され
る。１０８は、表示用フレーム並び替え部３８におい
て、復号化画像を時間順に並び替える処理を行い、最終
的に出力画像１３７が供される。

【００１５】

【発明が解決しようとする課題】上記の例は順方向、両
方向、及び逆方向予測符号化を組み合わせた方式の代表
的なものである。この例において、Ｐピクチャの符号化
では、第１のフレームメモリを用いて順方向予測のみを
用い予測符号化を行っていた。他方Ｂピクチャの符号化
では、第１及び第２のフレームメモリを用いて順方向予
測、逆方向予測、両方向予測のいずれか１つの中から、
予測誤差の最小なモードを選択する手法を取っていた。

【００１６】従って、符号化処理が進むに従って、フレ
ームメモリに書き込まれていた復号化画像は消去されて
しまうため、例えば過去の復号化画像で現在の符号化フ
レームに似た画像があった場合には、既にフレームメモ
リから消去されてしまっているため、参照できないこと
になる。

【００１７】この発明は、このような過去の復号化画像
を参照画像として効率的に利用することを目的として、
全体の予測効率を向上させ、高能率な動画像符号化及び
復号化を行う装置を実現することにある。

【００１８】

【課題を解決するための手段】この発明に係わる画像符
号化装置は、複数の復号化画像を記憶する記憶手段と、
この記憶手段に記憶された復号化画像に基づき入力画像
に対応する動き補償予測を行い動きベクトルを生成する
とともに動き補償予測に基づく予測画像を生成する動き
補償予測手段と、この動き補償予測手段により生成され
た予測画像と入力画像との差分を取り予測誤差画像を算
出する予測誤差算出手段と、この予測誤差算出手段から
の予測誤差画像と上記予測画像とから上記復号化画像を
生成する復号化手段と、上記復号化画像のうち上記記憶
手段に継続的に記憶する画像を背景画像として選択して
上記記憶手段に記憶する背景画像記憶制御手段と、上記
背景画像に基づき入力画像に対応する動き補償予測を行
い動きベクトルを生成するとともに動き補償予測に基づ
く予測画像を生成する背景動き補償手段とを備えたもの
である。

【００１９】この発明に係わる画像復号化装置複数は、
復号化画像を記憶する記憶手段と、この記憶手段に記憶
された復号化画像に基づき動き補償予測を行い動き補償
画像を生成する動き補償手段と、この動き補償手段から
の動き補償画像と予測誤差画像とから上記復号化画像を
生成する復号化手段と、上記復号化画像のうち上記記憶
手段に継続的に記憶する背景画像を選択して上記記憶手
段に記憶する背景画像記憶制御手段と、上記背景画像に
基づき背景予測画像を生成する背景予測画像生成手段と
を備えたものである。

【００２０】また上記符号化装置において、復号化画像
を記憶するフレームメモリと、上記背景画像を記憶する
フレームメモリとにより上記記憶手段を構成する。

【００２１】また上記符号化装置において、復号化画像
を記憶するフレームメモリと、上記背景画像を記憶する
フレームメモリとにより、上記記憶手段を構成する。

【００２２】また上記符号化装置において、上記背景画
像記憶制御手段による記憶手段への画像内容の書き替え
を、所定の時間間隔または外部からの制御信号によって
ピクチャ単位で行う。

【００２３】また上記復号化装置において、上記背景画
像記憶制御手段による記憶手段への画像内容の書き替え
を、所定の時間間隔または外部からの制御信号によって
ピクチャ単位で行う。

【００２４】また上記符号化装置において、上記記憶制
御手段による記憶手段への画像内容の書き替えを、所定
の時間間隔または外部からの制御信号によってマクロブ
ロック単位で行う。

【００２５】また上記復号化装置において、上記背景画
像記憶制御手段による記憶手段への画像内容の書き替え
を、所定の時間間隔または外部からの制御信号によって
マクロブロック単位で行う。

【００２６】また上記符号化装置において、上記背景動
き補償手段の上記背景画像における動きベクトルの探索
範囲を可変とする。

【００２７】また上記符号化装置において、上記動き補
償予測手段あるいは上記背景動き補償予測手段により得
られる動きベクトルを保持し、生成された動きベクトル
と過去の動きベクトルとの差分ベクトルを算出する差分
ベクトル生成手段を備え、上記差分ベクトルを可変長符
号化する。

【００２８】また上記復号化装置において、過去の復号
化済み動きベクトルを保持し、差分ベクトルに上記過去
の復号化済み動きベクトルを加算して動きベクトルを再
生する動きベクトル加算部を備える。

【００２９】また、画像符号化装置を、画面を構成する
複数個の対象画像（オブジェクト）毎に過去の該オブジ
ェクトの復号化画像を記憶する複数のフレームメモリ群
と、復号化画像をいずれかのフレームメモリ群のフレー
ムメモリに書き込むかを制御信号によって選別するフレ
ームメモリ選択部と、上記該オブジェクト単位に設けた
フレームメモリ群のフレームメモリから読み出した参照
画像を用いて順方向予測、逆方向予測、両方向予測、背
景予測を、オブジェクト単位に切り替えて動き補償予測
を行う動き補償予測部と、予測画像と現画像との差分を
取り、予測誤差画像を算出する減算器と、参照画像から
の予測画像と現画像の予測誤差画像との加算を算出する
加算部と、符号化情報を可変長符号化する可変長符号化
部と、を備えた構成とする。

【００３０】また、画像復号化装置を、画面を構成する
複数個の対象画像（オブジェクト）毎に過去の該オブジ
ェクトの復号化画像を記憶する複数のフレームメモリ群
と、オブジェクト単位に復号化画像をいずれかのフレー
ムメモリに書き込むかを制御信号によって選別するフレ
ームメモリ選択部と、符号化ビットストリームを可変長
復号化する可変長復号化部と、上記フレームメモリ群の
フレームメモリから読み出した参照画像を用いて、オブ
ジェクト単位に順方向予測、逆方向予測、両方向予測、
背景予測を切り替えて動き補償画像を生成する動き補償
部とを備えた構成とする。

【００３１】そして、画像符号化装置あるいは画像復号
化装置において上記フレームメモリ群を３つとする。

【００３２】また、画像符号化装置において、符号化対
象とするオブジェクトの過去の復号化画像を記憶したフ
レームメモリ群内の、該オブジェクトが存在する領域の
画像内容の書き替えを、ある時間間隔または外部からの
制御信号によって行う。

【００３３】また、画像復号化装置において、復号化対
象とするオブジェクトの過去の復号化画像を記憶したフ
レームメモリ群内の、該オブジェクトが存在する領域の
画像内容の書き替えを、ある時間間隔または外部からの
制御信号によって行う。

【００３４】また、オブジェクト毎のフレームメモリ群
からの参照画像における動きベクトル探索の探索範囲を
各オブジェクト毎に可変にする。

【００３５】また画像符号化装置において、オブジェク
ト毎のフレームメモリ群内の画像を参照して得られた過
去の動きベクトルをある時間だけ保持して、オブジェク
ト毎に別個に差分ベクトルを算出する差分ベクトル生成
部を備え、該差分ベクトルを可変長符号化する。

【００３６】また画像復号化装置において、オブジェク
ト毎のフレームメモリ群内の画像を参照して得られた過
去の復号化済み動きベクトルをある時間だけ保持して、
復号化された差分ベクトルに上記過去の復号化済み動き
ベクトルを加算して、オブジェクト毎に動きベクトルを
再生する動きベクトル加算部を備える。

【００３７】

【発明の実施の形態】実施の形態１．図１はこの発明の
実施形態における動画像の符号化装置の構成図である。
図１において、２１は動き補償予測手段としての動き補
償予測部、３５は背景画像記憶制御手段としてのフレー
ムメモリ選択部、４５は多重化部である。また、１２６
は決定された動き予測モード、１３４、１３５は選択さ
れた復号化画像、１３９は多重化されたビットストリー
ムである。また、上記以外は既に説明された番号のもの
と同等である。

【００３８】次に動作について説明する。基本的な符号
化の動作は、従来例で述べた動き補償予測＋変換符号化
と同一である。従ってここでは差異部分について主に述
べる。局部復号化画像１０８は、フレームメモリ選択部
３５に入力し、ここで第１のフレームメモリ９、第２の
フレームメモリ１０のいずれかに書き込まれるかが選択
される。また、動き推定部１５では、上記フレームメモ
リ９、１０から参照画像１０９、１１０を読み出して、
並び替えされた入力画像データ１０１との予測誤差が最
小となる予測モード１２６と動きベクトル１２３を出力
する。

【００３９】動き補償予測部２１では、参照画像１０
９、１１０を読み出して、これら予測モード１２６及び
動きベクトル１２３を元に、動き予測画像１１５を出力
する。ビットストリーム１２１は、予測モード１２６と
共に多重化部４５において多重化され、送出される。以
上が符号化器の基本動作である。以下、各部の詳細につ
いて述べる。

【００４０】図２は、動き推定部１５の内部構成を示し
たものであり、同図において、２７は順方向予測画像生
成部、２８は両方向予測画像生成部、２９は逆方向予測
画像生成部、３０は背景動き補償手段としての背景予測
画像生成部、３１は予測モード決定部、１２７は順方向
予測画像、１２８は両方向予測画像、１２９は逆方向予
測画像、１３０は背景予測画像である。

【００４１】次に動作について説明する。上記各予測画
像生成部２７、２８、２９、３０では、所定の予測モー
ドに従って予測画像を生成する。例えば、順方向予測画
像生成部２７では、第１のフレームメモリ９から参照画
像１０９を読み出して、入力画像データ１０１と値が近
い画像を参照画像１０９の中から探索する。

【００４２】これは例えば、従来例でも用いられている
ブロックマッチング法をそのまま用いればよい。即ち、
前述のマクロブロック内のすべての画素についてマッチ
ングを取り、その誤差値の総和が最小になる画像を探索
することになる。その結果順方向予測画像生成部２７で
は順方向予測画像１２７が出力される。逆方向予測画像
生成部２９では、第２のフレームメモリ１０の中から参
照画像１１０の中を探索して、同様にブロックマッチン
グを行い、逆方向予測画像１２９を出力する。

【００４３】両方向予測画像生成部２８では、前記２つ
のフレームメモリ９、１０を用いて、両方向予測画像１
２８を出力する。両方向予測画像生成部２８では、順方
向予測画像と逆方向予測画像を別個に作成し、これをも
とに両方向予測画像を求める。例えば、順方向予測画像
と逆方向予測画像の平均画像を求め、これを両方向予測
画像１２８とする手法が考えられる。一方、背景予測画
像生成部３０では、第２のフレームメモリから参照画像
１１０を読み出し、ブロックマッチングにより背景予測
画像１３０を出力する。

【００４４】予測モード決定部３１では、上記予測画像
１２７、１２８、１２９、１３０の中で選択された予測
画像を入力して、それらと入力画像１０１との差分（予
測誤差）が最小になる予測モードを選択する。この時、
予測モード１２６及び動きベクトル１２３が３１から出
力される。予測モード１２６は、例えば順方向予測モー
ドの時が０、逆方向予測モードの時が１、両方向予測モ
ードの時が２、背景予測モードの時が３という様に決め
ればよい。

【００４５】なお、動きベクトル１２３は、図２の予測
モード決定部３１において生成され出力されるが、動作
としては下記の通りである。即ち、予め決められた範囲
で参照画像を探索し、各予測画像生成部において最も予
測誤差が小さい予測画像が得られた時に、予測画像と共
に動きベクトル１２３（ａ）、１２３（ｂ）、１２３
（ｃ）、１２３（ｄ）が各予測画像生成部より出力され
る。これらは、いずれも予測モード決定部３１に入力
し、各予測画像１２７、１２８、１２９、１３０の中で
最も現画像１０１との誤差が小さいものを選択し、その
最小値を与える予測画像の動きベクトル（動きベクトル
１２３（ａ）、１２３（ｂ）、１２３（ｃ）、１２３
（ｄ）のいずれか）を最終的に動きベクトル１２３とし
て出力する。

【００４６】図３は、動き補償予測部２１の内部構成を
示した構成図であり、２４、２６は選択器（スイッ
チ）、１１４は背景予測画像である。次に動作について
説明する。スイッチ２５では、予測モード１２６に従っ
て、２つのスイッチＳＷ１、ＳＷ２が開閉する。

【００４７】例えば、予測モード１２６が両方向予測画
像モードを示していた場合には、選択器２４のＳＷ１が
ノードＢを選択し、ＳＷ２がノードＣを選択する。他
方、背景予測モードが選択された時には、ＳＷ１がＯＦ
Ｆ（選択なし）、ＳＷ２がノードＥを選択する。前者の
場合は、両方向動き補償部１２において、動きベクトル
１２３を用いて両方向動き予測画像１１２を生成する。
同時に、スイッチ２６で両方向動き補償部１２の出力ノ
ードが選択されて、両方向動き予測画像１１２が決定さ
れた予測画像１１５として、動き補償予測部２１の出力
となる。

【００４８】また、上記実施形態では、動き推定部と動
き補償予測部とを別個に備え、動き推定部で求めた予測
モードと動きベクトルとを動き補償予測部に送り、該動
き補償予測部において予測画像を生成する構成とした
が、図４に示すように、両部を動き推定・補償部３９で
代用させる構成にしても、同等の機能を実現できる。

【００４９】ところで、上記は従来例と同様に、画像の
処理単位であるマクロブロック単位に符号化が行われ
る。一方、従来例のＭＰＥＧ２では、Ｉピクチャ、Ｐピ
クチャ、Ｂピクチャの３タイプのピクチャが存在し、こ
れらピクチャによって予測モードが制限を受けていた。
即ち、Ｉピクチャではすべてのマクロブロックがイント
ラで符号化され、予測モードは存在しない。Ｐピクチャ
では順方向予測のみが存在し、Ｂピクチャでは順方向予
測、逆方向予測、両方向予測の３つの予測モードが存在
する。

【００５０】一方、この発明によれば、上記の他にＰＧ
ピクチャ、後述のＰＢＧピクチャの２つのピクチャタイ
プが加わる。ＰＧピクチャでは、順方向予測と背景予測
の２つが存在し、ＰＢＧピクチャでは順方向予測、逆方
向予測、両方向予測、背景予測の４つの予測モードが存
在する。

【００５１】図５（Ａ）、（Ｂ）、（Ｃ）は、符号化ピ
クチャのパターン例を図示したものである。例えば、
（Ａ）の場合、これは従来例と同様であり、従来技術と
同様の手段に従えばよい。（Ｂ）の場合、第２のフレー
ムメモリ１０に書き込まれていた背景画像（図５で“Ｂ
Ｇ”と表示）からの背景予測と１つ前の復号化済みピク
チャからの順方向予測の２つの予測モードを持ち、予測
誤差が小さい方を選択する。

【００５２】この動作が第６ピクチャまで行われる一
方、第７ピクチャからはＰＢＢＰ．．の構造に変更にな
る。この場合、第６ピクチャまでは第２のフレームメモ
リ１０に背景画像が記録されているが、その後はまず第
９ピクチャが、第６ピクチャを参照して順方向予測され
る。続いて、従来例と同様に第７ピクチャ、第８ピクチ
ャが第６ピクチャと第９ピクチャの復号化済みピクチャ
を参照して予測される。

【００５３】また、図５中、第２ピクチャから“ＢＧ”
へ伸びた点線は、例えば第２ピクチャの復号化画像の内
容が第２のフレームメモリに背景画像として書き込まれ
ることを意味している。書き込みのタイミングとして
は、ある時間間隔としてもよいし、また外部からの制御
信号から行ってもよい。但しこれは１つの例であり、他
にいくらでも多くのパターンが取れる。図５（Ｃ）で
は、第１ピクチャがＩピクチャの場合を示しており、こ
の符号化済みピクチャが背景画像として第２のフレーム
メモリに書き込まれることを示している。

【００５４】そして、第３ピクチャ以降のすべてのピク
チャのマクロブロックの予測モードは、背景画像予測と
順方向予測のいずれかに選択される。これは、背景画像
が静止している場合に有効であり、背景画像の前で人物
が会話するシーンでは、人物の動きで背景画像が見え隠
れするオクルージョンという現象が起こるので、極めて
有効である。また、背景画像が静止画で予め既知である
場合には、符号化処理を開始する前に、第２のフレーム
メモリに該背景画像を書き込んでおくこともできる。な
お、符号化ピクチャのパターンが上記（Ａ）、（Ｂ）、
（Ｃ）以外にも取れることは言うまでもない。

【００５５】次に、図１に示したフレームメモリ選択部
３５の動作について説明する。同部では、局部復号化画
像１０８を第１のフレームメモリ９、または第２のフレ
ームメモリ１０のどちらに書き込むかを決定する。決定
法としては例えば、図６で示した様にフレーム並び替え
部１からの制御信号１４０によって切り替える手法が考
えられる。

【００５６】この場合、現在の符号化ピクチャ及び次に
符号化されるピクチャのタイプがわかるため、例えば、
図５（Ｂ）に示した“ＢＧ”打ち切りまでは復号化済み
の画像は外部からの信号がない限り、第１のフレームメ
モリ９に書き込み、それ以降はＰＢＢＰ．．の構造とな
るため、従来例と同様に書き込み対象のフレームメモリ
を適応的に選択すればよい。また、図５（Ｂ）で図示し
た様に、ある位置での復号化済みピクチャからの第２フ
レームメモリ１０への背景画像としての書き込みは、例
えば、シーンチェンジを検出した時に、所定時間後に復
号化画像を書き込むような構成とすればよい。

【００５７】シーンチェンジの検出法は、従来より用い
られている手法、例えば１フレーム内のマクロブロック
の中で、予測誤差がしきい値以上のマクロブロックがあ
る個数以上出現した場合、これをシーンチェンジとみな
す方法等があり、これらに従えばよい。また、上記手法
以外にも多くの手法が存在することは言うまでもない。
また、この実施形態では、記憶手段として第１、第２の
フレームメモリを備えて、動き補償予測を切り替える構
成を実現したが、ハードウエアの実現に当たっては、複
数個のフレームメモリ分の記憶容量を持ったメモリをそ
の内部アドレスによって切り分けることで、複数個のフ
レームメモリを同時に持たせることが可能となる。

【００５８】以上のように、背景画像を記憶し、これに
基づく背景予測を用いて動き補償予測を行うので、符号
化シーケンスに影響されずに高い予測効率を維持しなが
ら符号化を行える。なお、以上の説明において、背景画
像のフレームメモリへの記憶制御を行うものを示した
が、ここでいう背景画像とは、継続的に記憶する画像の
ことを意味するものであり、画像の内容自体を示すもの
ではないことはいうまでもない。すなわち、従来のピク
チャ配列のように順次更新されていってしまう画像の中
に、後の予測の有効ば画像があるので、これを更新手順
による記憶とは独立して継続的に記憶しておくものであ
り、この画像をここでは背景画像としているものであ
る。

【００５９】実施の形態２．図７はこの発明の実施形態
における動画像の復号化装置の構成図である。図におい
て、２３は動き補償部、４６は多重化分離部である。上
記以外は既に説明された番号のものと同等である。

【００６０】次に動作について説明する。この復号化装
置は、実施形態１に示した符号化装置に対応する。基本
的な復号化の処理手順は、従来例で述べた復号化装置と
同様であるため、ここでは差異について主に説明する。
局部復号化画像１０８はフレームメモリ３５に入力し
て、書き込む対象のフレームメモリが選択されて、選択
された復号化画像１３４または１３５に局部復号化画像
１０８が転送される。

【００６１】続いて、第１のフレームメモリ９または第
２のフレームメモリ１０に該復号化画像が書き込まれ
る。一方、動き補償部２３では、符号化装置の局部復号
化と同様な手順で、両フレームメモリから参照画像１０
９または１１０を読み出し、予め決められた予測モード
１２６に従って、予測画像１１５を生成する。図８は、
動き補償部２３の内部構成を示した構成図であり、３２
はスイッチである。次に動作について説明する。選択さ
れた予測モード１２６に対応した予測画像生成部では、
参照画像１０９または１１０を読み出して予測画像を生
成する。さらにスイッチ３２が、選択された予測モード
に切り替わることにより、最終的に決定された予測画像
１１５が出力される。

【００６２】実施の形態３．図９は、この発明の実施形
態における動画像の符号化装置の構成図である。図にお
いて、３３は動き補償予測部、３４は第３のフレームメ
モリ、３７はフレームメモリ選択部、４１は動き推定
部、１３３は第３のフレームメモリの参照画像、１３６
は選択された局部復号化画像である。上記以外は既に説
明された番号のものと同等である。この実施形態は、図
１に示したものに、第３のフレームメモリを付加した箇
所が大きな相違点である。

【００６３】次に動作について説明する。過去の復号化
画像を記憶した３つのフレームメモリから参照画像１０
９、１１０、１３３を読み出し、動き推定部４１におい
て動き予測を行い、得られた動きベクトル１２３及び予
測モード１２６は動き補償予測部３３に入力する。動き
補償予測部３３では、決定された予測モード１２６に従
って、所定の動き予測画像を生成するために必要な参照
画像を参照画像１０９、１１０、１３３の中から選択
し、決定された予測画像１１５を出力する。

【００６４】一方、局部復号化画像１０８は、フレーム
メモリ選択部３７においてどのフレームメモリに書き込
むかが決定された後、所定のフレームメモリに参照画像
１３４または１３５または１３６として書き込まれる。

【００６５】図１０は動き推定部４１の内部構成を図示
したものであり、４２は予測モード決定部である。この
図１０に示した動き推定部４１は、図２に示した動き推
定部に、第３のフレームメモリからの参照画像１３３が
追加された構成である。順方向予測画像生成部２７は入
力画像１０１と第１のフレームメモリの参照画像１０９
を入力して順方向予測画像１２７を出力し、両方向予測
画像生成部２８は入力画像１０１と第１のフレームメモ
リの参照画像１０９、及び第２のフレームメモリの参照
画像１１０を入力して両方向予測画像１２８を出力し、
逆方向予測画像生成部２９は入力画像１０１と第２のフ
レームメモリの参照画像１１０を入力して逆方向予測画
像１２９を出力し、背景予測画像生成部３０は入力画像
１０１と第３のフレームメモリの参照画像１３３を入力
して背景予測画像１３０を出力する。

【００６６】予測モード決定部４２では、上記予測画像
２７、２８、２９、３０と入力画像１０１との絶対値差
分を取り、この値が最小になる予測モードを決定して、
これを予測モード１２６として出力する。また同時に動
きベクトル１２３を出力する。

【００６７】図１１は、動き補償予測部３３の内部構成
図であり、予測モード１２６に従ってスイッチ２５が開
閉し、参照画像１０９、１１０が所定の動き補償部に入
力する。例えば、順方向予測モードが選択されていた場
合には、ＳＷ１がノードＡに切り替わり、ＳＷ２はＯＦ
Ｆとなる。また両方向予測モードが選択されていた場合
には、ＳＷ１がノードＢに切り替わり、ＳＷ２がノード
Ｃに切り替わる。

【００６８】背景予測モードが選択されていた場合に
は、参照画像１３３が直接入力して参照される。続い
て、スイッチ２６では予測モード１２６に対応したノー
ドに切り替わり、最終的に決定された予測画像１１５が
出力される。また、この実施形態では、第１、第２、第
３のフレームメモリを備えて、動き補償予測を切り替え
る構成を実現したが、ハードウエアの実現に当たって
は、複数個のフレームメモリ分の記憶容量を持ったメモ
リをその内部アドレスによって切り分けることで、複数
個のフレームメモリを同時に持たせることが可能とな
る。

【００６９】図１２はこの実施形態におけフレームメモ
リの書き換えの動作を示す説明図であり、以下、図６の
フレームメモリ選択部３７の動作との関係を含めて説明
する。図１２には（Ａ），（Ｂ），（Ｃ）の３つのパタ
ーンが図示してあり、（Ａ）では第６ピクチャにおいて
背景予測と順方向予測とのＰＧピクチャに切り替わり、
以後第９ピクチャまでこの構成が継続する。その後、第
１０ピクチャからは、再ぴＩＢＢＰの構造に戻ってい
る。

【００７０】（Ｂ）では、第１、第２、第４、第５、第
７、第８、第１０、第１１ピクチャで、順方向予測、逆
方向予測、両方向予測、背景予測のすべての予測モード
が切り替え可能な構成となっており、予測効率は１番高
い。またこの場合でも背景画像として第３のフレームメ
モリへの書き込みは随時可能であるが、（Ｂ）の例で
は、第５、第１０ピクチャから背景画像用の第３のフレ
ームメモリヘの書き込みを行っている。（Ｃ）では、第
３、第６、第９、第１２ピクチャで、背景予測と順方向
予測とのＰＧピクチャとなっている。

【００７１】これらの動作時において、現在復号化され
たピクチャがどのピクチャタイプであるか既知であるの
で、フレームメモリ選択部３７では、そのピクチャタイ
プに従って、復号画像１０８を書き込むべきフレームメ
モリは自ずと決まる。即ち、ＩＢＢＰの構造を取ってい
る場合には、Ｉでは第１のフレームメモリに書き込ま
れ、Ｐで第２のフレームメモリに書き込まれる。Ｂはど
のフレームメモリにも書き込まれない。なお、ある復号
化画像がある時間間隔または外部の制御信号によって背
景画像として第３のフレームメモリにも書き込まれるの
は、既に述べた通りである。

【００７２】実施の形態４．図１３はこの発明の実施形
態における動画像の復号化装置の構成図であり、これは
図９に示した符号化装置に対応する復号化装置である。
図１３において、３６は動き補償部である。

【００７３】次に動作について説明する。動き補償部３
６では、第１のフレームメモリ９、第２のフレームメモ
リ１０、第３のフレームメモリ１９から読み出した参照
画像１０９、１１０、１３３を参照して動き補償を行
い、予測画像１１５を出力する。復号化画像は、再び表
示用フレーム並び替え部３８において、表示用の時間順
に並び替えされて出力画像１３７が得られる。図１４
は、該動き補償部３６の内部構成図を示す構成図であ
り、各予測画像生成部で生成された予測画像が、予測モ
ード１２６に従ってスイッチ３２において選択される。
そして選択された予測画像１１５が出力される。

【００７４】実施の形態５．上記実施形態では、図５
（Ｂ）、（Ｃ）で示した背景画像への書き換えをピクチ
ャ単位で行うものを示したが、これをマクロブロック単
位に行うことが、予測の効率化に有効な場合がある。

【００７５】この書き換えの手法としては、例えば、符
号化処理の中で、所定の時間間隔で更新する手法や、あ
る位置のマクロブロック内のすべての画素がある時間以
上予測のために参照されなかった場合には、制御信号を
発生させて、背景画像内の該マクロブロックのみを復号
化画像によって書き換える操作を行えばよい。

【００７６】図１５はこれを図示したもので、図５
（Ｂ）の第２ピクチャから背景画像“ＢＧ”への書き込
みタイミングに対し、図１５の斜線領域のマクロブロッ
クのみがそのまま第２のフレームメモリに書き込まれ、
第３ピクチャを予測する際の参照画像の一部になる。同
様に、上述の実施形態のうちフレームメモリを３つ備え
た符号化装置においても、図１２（Ｂ）、（Ｃ）で示し
た背景画像への書き換えをマクロブロック単位に行う。
この書き換えの手法としては、上記と同じ操作を行えば
よい。

【００７７】以上のように各々のフレームメモリ内の画
像内容の書き替えを、ある時間間隔または外部からの制
御信号によってマクロブロック単位に行うので、より細
かいレベルで、常にフレームメモリ内の画像内容を、背
景予測に対して高い予測効率が得られる内容に維持でき
る。

【００７８】実施の形態６．また上記のような符号化装
置に対応して復号化装置においても、背景画像への書き
換えをマクロブロック単位に行う。例えば、図７の復号
化装置において、復号化画像１０８は、フレームメモリ
選択部３５において選択された後、上記マクロブロック
と同位置にある背景画像のマクロブロックが選択された
復号化画像１３５に書き換えられる。尚、上記マクロブ
ロック単位の更新は、ある時間間隔または外部からの制
御信号に従って行えばよい。同様に、図１３に示した復
号化装置においても、図１２（Ｂ）、（Ｃ）で示した背
景画像への書き換えをマクロブロック単位に行う。この
書き換えの手法としては、上記と同じ操作を行えばよ
い。

【００７９】実施の形態７．以上示した符号化装置にお
いて、図１の動き推定部１５、または図３の動き推定部
３３での、背景予測を行う際の動き探索範囲を、順方向
予測または逆方向予測の探索範囲と可変にすることも有
効である。これは、例えば、背景予測が有効に作用する
のは背景からの動きベクトルが０の時であることを利用
して、他の予測を行う時よりも探索範囲を小さく設定す
ることが考えられる。それに付随する効果としては、探
索時間が短縮されること、動きベクトルの可変長符号化
コードを短く設定できるために、動きベクトルの符号化
情報量が低減できることが挙げられる。

【００８０】実施の形態８．図１６は、この発明の実施
形態における符号化装置の構成図であり、４７は差分ベ
クトル生成部、１４１は差分ベクトルである。差分ベク
トル生成部４７において現在の動きベクトル１２３と参
照ベクトルとの差分ベクトル１４１を算出して、これを
可変長符号化部１７において可変長符号化する。図１７
はこの動きベクトルの符号化法について図示したもので
ある。

【００８１】次に動作について説明する。図１７におい
て、１つの桝目は１個のマクロブロックを意味する。第
１のフレームメモリ内の参照画像を読み出して動き補償
予測を行って求められた現在のマクロブロックの動きベ
クトルＭＶ(1)は、既に符号化・復号化済みのマクロブ
ロックの動きベクトルＭＶ１(1)、 ＭＶ２(1)、 ＭＶ３
(1)の３つを候補ベクトルとして、これらとの差分値を
実際に可変長符号化するのが効率的であることが知られ
ている。

【００８２】例えば、ＭＶ１(1)、ＭＶ２(1)、ＭＶ３
(1)の３つの中間値を候補ベクトルとすることを考えれ
ば、差分ベクトルＰＭＶ(1)は、以下の式で表すことが
できる。但し、ｍｅｄｉａｎは中間値を算出する演算子
である。 ＰＭＶ(1)＝ＭＶ(1)−ｍｅｄｉａｎ（ＭＶ１(1)，ＭＶ
２(1)，ＭＶ３(1)） 同様に、第２のフレームメモリの場合には、 ＰＭＶ(2)＝ＭＶ(2)−ｍｅｄｉａｎ（ＭＶ１(2)，ＭＶ
２(2)，ＭＶ３(2)） となる。

【００８３】また、図１８は図９の符号化装置に差分ベ
クトル生成部４７を加えた符号化装置の構成図である。
差分ベクトルの算出では、上記の場合に加えて、第３の
フレームメモリ用の参照動きベクトルＰＭＶ（３）を算
出して、これを可変長符号化すればよい。以上のように
して動きベクトルの情報発生量を抑制することができ
る。

【００８４】実施の形態９．以上のような差分ベクトル
を用いる符号化装置に対応した復号化装置の構成図を図
１９、および図２０に示し、４８は動きベクトル加算部
である。可変長復号化部２２において可変長復号化され
た差分ベクトル１４１は、動きベクトル４８において参
照ベクトルとの加算を取り、動きベクトル１２３が算出
される。

【００８５】実施の形態１０．図１の符号化装置では、
ピクチャ内の画面全体を符号化対象としていたのに対
し、この実施形態では、画面を構成する複数個の対象物
画像（オブジェクト）単位に符号化のピクチャタイプを
可変な構造とする。図２１に示すように、例えば画面が
オブジェクト１（魚）、オブジェクト２（水中：背景
画）、オブジェクト３（ボール）から構成されており、
各々の境界線が既知であった場合、それらのオブジェク
トを別々の手法で符号化することが可能になる。

【００８６】この実施形態では、これらを別々のピクチ
ャタイプを用いることで実現する。例えば、オブジェク
ト１は動きが大きいので、両方向予測が背景予測よりも
予測効率が高いことを考慮して、図５（Ａ）のピクチャ
タイプの構成とする。一方、オブジェクト２はほとんど
動きがない画像であるため、背景予測がより有効であ
る。従って、図５（Ｃ）の構成を取ればよい。但し、急
激に途中でシーンが変化する等の変化が起こった場合に
は、図５（Ｂ）の様に、途中のピクチャからＢピクチャ
を含んだ構成とすればよい。

【００８７】図２２は、この実施形態で示される符号化
装置の具体例を示す構成図であり、４２はオブジェクト
識別部、４３は第１のフレームメモリ群、４４は第２の
フレームメモリ群、１３８はオブジェクト識別信号であ
る。

【００８８】次に動作について説明する。予め入力画像
１００には、オブジェクト毎に識別信号が付いており、
４２で識別されたオブジェクトの番号が識別信号１３８
として出力される。動き推定部１５ではオブジェクト識
別信号１３８に従って、第１のフレームメモリ群４３、
第２のフレームメモリ群４４の中から、符号化対象のオ
ブジェクトに対応したフレームメモリを選び、参照画像
を読み出して、動き予測を行う。

【００８９】また、動き補償予測部２１では、動き推定
部１５で決定された予測モード１２６に従って、所定の
ブジェクトに対応したフレームメモリを選び、予測画像
１１５を生成する。一方、フレームメモリ選択部３５で
は、復号化画像１０８をオブジェクト識別信号１３８に
従って、所定のフレームメモリ群の中の所定のオブジェ
クトに対応したフレームメモリに書き込む。またオブジ
ェクト識別信号１３８は、他の符号化情報と共に多重化
部４５において多重化されて、多重化されたビットスト
リーム１３９として送出される。

【００９０】また、この実施形態では、第１、第２のフ
レームメモリ群を備えて、動き補償予測を切り替える構
成を実現したが、ハードウエアの実現に当たっては、複
数個のフレームメモリ群分の記憶容量を持ったメモリを
その内部アドレスによって切り分けることで、複数個の
フレームメモリ群を同時に持たせることが可能となる。
以上のように、オブジェクトの動きに応じた予測構造を
取れるので全体の予測効率が向上する。

【００９１】実施の形態１１．図２２符号化装置に対応
する復号化装置の構成図を図２３に示し、４６は多重化
分離部である。次に動作について説明する。多重化分離
部４６で多重化分離されたオブジェクト識別信号１３８
に従って、動き補償部２３では所定のフレームメモリ群
の中の所定のオブジェクトに対応したフレームメモリか
ら参照画像を読み出し、予測モードに対応した動き補償
を行い、予測画像１１５を生成する。一方、フレームメ
モリ選択部３５では、復号化画像１０８をオブジェクト
識別信号１３８に従って、所定のフレームメモリ群の中
の所定のオブジェクトに対応したフレームメモリに書き
込む。

【００９２】実施の形態１２．図２４は図２２の符号化
装置に、さらに１つのフレームメモリ群を追加して、３
つのフレームメモリ群の構成とした符号化装置の構成図
であり、４９は第３のフレームメモリ群である。

【００９３】次に動作について説明する。予め入力画像
１００には、オブジェクト毎に識別信号が付いており、
４２で識別されたオブジェクトの番号が識別信号１３８
として出力される。動き推定部１５ではオブジェクト識
別信号１３８に従って、第１のフレームメモリ群４３、
第２のフレームメモリ群４４、第３のフレームメモリ群
４９の中から、符号化対象のオブジェクトに対応したフ
レームメモリを選び、参照画像を読み出して、動き予測
を行う。

【００９４】また、動き補償予測部２１では、動き推定
部１５で決定された予測モード１２６に従って、所定の
オブジェクトに対応したフレームメモリを選び、予測画
像１１５を生成する。一方、フレームメモリ選択部３５
では、復号化画像１０８をオブジェクト識別信号１３８
に従って、所定のフレームメモリ群の中の所定のオブジ
ェクトに対応したフレームメモリに書き込む。またオブ
ジェクト識別信号１３８は、他の符号化情報と共に多重
化部４５において多重化されて、多重化されたビットス
トリーム１３９として送出される。また、この実施形態
では、第１、第２、第３のフレームメモリ群を備えて、
動き補償予測を切り替える構成を実現したが、ハードウ
エアの実現に当たっては、複数個のフレームメモリ群分
の記憶容量を持ったメモリをその内部アドレスによって
切り分けることで、複数個のフレームメモリ群を同時に
持たせることが可能となる。

【００９５】実施の形態１３．図２４の符号化装置に対
応する復号化装置の構成図を図２５に示す。次に動作に
ついて説明する。多重化分離部４６で多重化分離された
オブジェクト識別信号１３８に従って、動き補償部２３
では所定のフレームメモリ群の中の所定のオブジェクト
に対応したフレームメモリから参照画像を読み出し、予
測モードに対応した動き補償を行い、予測画像１１５を
生成する。一方、フレームメモリ選択部３５では、復号
化画像１０８をオブジェクト識別信号１３８に従って、
所定のフレームメモリ群の中の所定のオブジェクトに対
応したフレームメモリに書き込む。

【００９６】実施の形態１４．符号化対象とするオブジ
ェクトの過去の復号化画像を記憶した第２のフレームメ
モリ群内の該オブジェクトに対応したフレームメモリ内
の、該オブジェクトが存在する領域の画像内容の書き替
えを、ある時間間隔または外部からの制御信号によって
行うことがある。

【００９７】図２６は、例えばあるオブジェクトが占め
る領域を含むすべてのマクロブロックの復号化画像によ
って、第２のフレームメモリ群内の該オブジェクトに対
応したフレームメモリの同位置のマクロブロック内の画
像内容が書き替えられることを図示している。従って、
同図の場合には、縦2個、横２個、計４個のマクロブロ
ックの内容が更新されることになる。

【００９８】また、符号化対象とするオブジェクトの過
去の復号化画像を記憶した第３のフレームメモリ群内の
該オブジェクトに対応したフレームメモリ内の、該オブ
ジェクトが存在する領域の画像内容の書き替えを、ある
時間間隔または外部からの制御信号によって行う場合、
上記説明における第２のフレームメモリ群内のフレーム
メモリに書き込む操作を、第３のフレームメモリ群内の
フレームメモリに書き込む操作で代用すればよい。

【００９９】以上のような符号化装置に対応して復号化
装置においても、オブジェクトの過去の復号化画像を記
憶した第２のフレームメモリ群内の該オブジェクトに対
応したフレームメモリ内の、該オブジェクトが存在する
領域の画像内容の書き替えを、ある時間間隔または外部
からの制御信号によって行うようにする。

【０１００】実施の形態１５．また、図２２に示した符
号化装置において、第１のフレームメモリ群の該オブジ
ェクトに対応したフレームメモリからの参照画像と、第
２のフレームメモリ群の該オブジェクトに対応したフレ
ームメモリからの参照画像とで、オブジェクト毎に動き
ベクトル探索の探索範囲を可変にする。例えば、図２２
の符号化装置において、該オブジェクトの、動きの少な
い背景画像を第２のフレームメモリ群の該オブジェクト
に対応したフレームメモリに記憶させておき、他方、動
きの大きい該オブジェクトの復号化画像を第１のフレー
ムメモリ群の該オブジェクトに対応したフレームメモリ
に随時書き込む操作を行えば、両者とも高い予測効率を
維持することができる。

【０１０１】また、図２４に示した符号化装置におい
て、第１のフレームメモリ群の該オブジェクトに対応し
たフレームメモリからの参照画像と、第２のフレームメ
モリ群の該オブジェクトに対応したフレームメモリから
の参照画像と、第３のフレームメモリ群の該オブジェク
トに対応したフレームメモリからの参照画像とで、オブ
ジェクト毎に動きベクトル探索の探索範囲を可変にす
る。

【０１０２】例えば、図２４の符号化装置において、該
オブジェクトの、動きの少ない背景画像を第３のフレー
ムメモリ群の該オブジェクトに対応したフレームメモリ
に記憶させておき、他方、動きの大きい該オブジェクト
の復号化画像を第１のフレームメモリ群または第２のフ
レームメモリ群の該オブジェクトに対応したフレームメ
モリに随時書き込む操作を行えば、３者とも高い予測効
率を維持することができる。以上のように、オブジェク
トが参照する複数個のフレームメモリ群に応じて、動き
ベクトルの探索範囲を別々に設定するので、例えば動き
が小さいオブジェクトの場合には、動きベクトルの探索
範囲を狭くすることで、動きベクトルの情報発生量を削
減することができる。

【０１０３】実施の形態１６．また、図２２に示した符
号化装置において、オブジェクト毎の第１のフレームメ
モリ群内の該オブジェクトに対応したフレームメモリか
らの画像を参照して得られた過去の動きベクトルと、オ
ブジェクト毎の第２のフレームメモリ群内の該オブジェ
クトに対応したフレームメモリからの画像を参照して得
られた過去の動きベクトルとを、別々にある時間だけ保
持して、オブジェクト毎に別個に差分ベクトルを算出す
る差分ベクトル生成部を備えたものを図２７に示す。

【０１０４】符号化対象とするオブジェクトは、動き推
定部１５において現画像１０１と、第１のフレームメモ
リ群もしくは第２のフレームメモリ群で、動き推定の結
果選択されたフレームメモリ群の該オブジェクトに対応
したフレームメモリ内の画像を参照画像としての動き推
定を行い、動きベクトル１２３を検出する。動きベクト
ル１２３は差分ベクトル生成部４７において、同部に記
憶された該オブジェクトの過去の動きベクトルの中から
候補ベクトルを選択して（前述のＭＶ１，ＭＶ２，ＭＶ
３）、差分ベクトル１４１を出力する。差分ベクトル１
４１は可変長符号化部１７において、可変長符号化語に
符号化される。従って、差分ベクトル生成部４７では各
フレームメモリ群毎に、過去の動きベクトルを別々にあ
る時間だけ保持しておくメモリ機能を有している。

【０１０５】実施の形態１７．また、図２７の符号化装
置に対応した復号化装置の構成図を図２８に示す。可変
長復号化部２２において可変長復号化された差分ベクト
ル１４１は、動きベクトル加算部４８において、同部に
記憶された該オブジェクトの過去の動きベクトルの中か
ら候補ベクトルを選択して、この候補ベクトルに上記差
分ベクトル１４１を加算することで、動きベクトル１２
３を再現する。１２３は動き補償部２３に送られ、同部
において、選択されたフレームメモリ群の該オブジェク
トに対応したフレームメモリ内の画像を参照画像を読み
出して、予測画像１１５が出力される。

【０１０６】実施の形態１８．図２７の符号化装置に第
３のフレームメモリ群を追加した構成の符号化装置の構
成図を図２９に示す。符号化対象とするオブジェクト
は、動き推定部１５において現画像１０１と、第１のフ
レームメモリ群もしくは第２のフレームメモリ群もしく
は第３のフレームメモリ群の中で、動き推定の結果選択
されたフレームメモリ群の該オブジェクトに対応したフ
レームメモリ内の画像を参照画像としての動き推定を行
い、動きベクトル１２３を検出する。動きベクトル１２
３は差分ベクトル生成部４７において、同部に記憶され
た該オブジェクトの過去の動きベクトルの中から候補ベ
クトルを選択して（前述のＭＶ１，ＭＶ２，ＭＶ３）、
差分ベクトル１４１を出力する。差分ベクトル１４１は
可変長符号化部１７において、可変長符号化語に符号化
される。この場合も、差分ベクトル生成部４７では各フ
レームメモリ群毎に、過去の動きベクトルを別々にある
時間だけ保持しておくメモリ機能を有している。

【０１０７】実施の形態１９．また、図２９の符号化装
置に対応した復号化装置の構成図を図３０に示す。可変
長復号化部２２において可変長復号化された差分ベクト
ル１４１は、動きベクトル加算部４８において、同部に
記憶された該オブジェクトの過去の動きベクトルの中か
ら候補ベクトルを選択して、この候補ベクトルに上記差
分ベクトル１４１を加算することで、動きベクトル１２
３を再現する。動きベクトル１２３は動き補償部２３に
送られ、同部において、選択されたフレームメモリ群の
該オブジェクトに対応したフレームメモリ内の画像を参
照画像を読み出して、予測画像１１５が出力される。以
上のように、複数個のフレームメモリ群の個数分だけ、
オブジェクト毎に過去の動きベクトルをある時間だけ記
憶させたメモリ機能を持ち、検出した動きベクトルと候
補ベクトルとの差分ベクトルを算出する差分ベクトル生
成部を備えれば、動きベクトルの情報発生量を抑制する
ことができる。

【０１０８】

【発明の効果】以上のように、この発明においては、背
景画像を記憶し、これに基づく背景予測を用いて動き補
償予測を行うので、符号化シーケンスに影響されずに高
い予測効率を維持しながら符号化を行えるという効果が
ある。

【０１０９】また、符号化、復号化装置において、各々
のフレームメモリ内の画像内容の書き替えを、ある時間
間隔または外部からの制御信号によってピクチャ単位に
行うので、常にフレームメモリ内の画像内容を、背景予
測に対して高い予測効率が得られる内容に維持できると
いう効果がある。

【０１１０】また、符号化、復号化装置において、各々
のフレームメモリ内の画像内容の書き替えを、ある時間
間隔または外部からの制御信号によってマクロブロック
単位に行うので、より細かいレベルで、常にフレームメ
モリ内の画像内容を、背景予測に対して高い予測効率が
得られる内容に維持できるという効果がある。

【０１１１】また、符号化装置が有する複数個のフレー
ムメモリ別に、動き推定を行う時の動きベクトルの探索
範囲を可変にするので、例えば動きが少ない画面が書き
込まれているフレームメモリの参照から動きを探索する
場合は、短いコードを与えることができるために、動き
ベクトルの符号化情報量を削減する効果がある。

【０１１２】また、複数個のフレームメモリの個数分だ
け、過去の動きベクトルをある時間だけ記憶させたメモ
リ機能を持ち、検出した動きベクトルと候補ベクトルと
の差分ベクトルを算出する差分ベクトル生成部を備えた
ので、動きベクトルの情報発生量を抑制する効果があ
る。

【０１１３】また、画面を構成する複数個のオブジェク
ト毎に複数個のフレームメモリを使って動き補償予測を
行う構成にしたので、オブジェクトの動きに応じた予測
構造を取れるので全体の予測効率が向上するという効果
がある。

【０１１４】また、それぞれフレームメモリ群内のフレ
ームメモリ内の符号化対象のオブジェクトが存在してい
る領域のみを復号化画像によって、ある時間間隔または
外部制御信号によって書き換えるので、背景予測の高い
効率を維持できるという効果がある。

【０１１５】また、オブジェクトが参照する複数個のフ
レームメモリ群に応じて、動きベクトルの探索範囲を別
々に設定するので、例えば動きが小さいオブジェクトの
場合には、動きベクトルの探索範囲を狭くすることで、
動きベクトルの情報発生量を削減するという効果があ
る。

【０１１６】また、複数個のフレームメモリ群の個数分
だけ、オブジェクト毎に過去の動きベクトルをある時間
だけ記憶させたメモリ機能を持ち、検出した動きベクト
ルと候補ベクトルとの差分ベクトルを算出する差分ベク
トル生成部を備えたので、動きベクトルの情報発生量を
抑制する効果がある。

【図面の簡単な説明】

【図１】 この発明の実施形態における動画像の符号化
装置の構成図である。

【図２】 この発明の実施形態の符号化装置における動
き推定部の内部構成を示した構成図である。

【図３】 この発明の実施形態の符号化装置における動
き補償予測部の内部構成を示した構成図である。

【図４】 この発明の実施形態における動画像の符号化
装置の構成図である。

【図５】 この発明の実施形態におけるピクチャのパタ
ーンと予測モードとの関係の例を示す説明図である。

【図６】 この発明の実施形態における動画像の符号化
装置の構成図である。

【図７】 この発明の実施形態における動画像の復号化
装置の構成図である。

【図８】 この発明の実施形態の復号化装置における動
き補償部２３の構成図である。

【図９】 この発明の実施形態における動画像の符号化
装置の構成図である。

【図１０】 この発明の実施形態の符号化装置における
動き推定部の構成図である。

【図１１】 この発明の実施形態の符号化装置における
動き補償部の構成図である。

【図１２】 この発明の実施形態におけるピクチャパタ
ーンと予測モードとの関係の例を示す説明図である。

【図１３】 この発明の実施形態における動画像の復号
化装置の構成図である。

【図１４】 この発明の実施形態の復号化装置における
動き補償部の構成図である。

【図１５】 マクロブロック単位のフレームメモリの画
像の書き替えを示した説明図である。

【図１６】 この発明の実施形態の符号化装置における
動き推定部の構成図である。

【図１７】 この発明の実施形態における動きベクトル
の符号化法を示す説明図である。

【図１８】 この発明の実施形態における符号化装置の
構成図である。

【図１９】 この発明の実施形態における復号化装置の
構成図である。

【図２０】 この発明の実施形態における復号化装置の
構成図である。

【図２１】 ピクチャとオブジェクトの関係を示す説明
図である。

【図２２】 この発明の実施形態における符号化装置の
構成図である。

【図２３】 この発明の実施形態における復号化装置の
構成図である。

【図２４】 この発明の実施形態における符号化装置の
構成図である。

【図２５】 この発明の実施形態における復号化装置の
構成図である。

【図２６】 オブジェクト領域の画像の書き替えを示し
た説明図である。

【図２７】 この発明の実施形態における符号化装置の
構成図である。

【図２８】 この発明の実施形態における復号化装置の
構成図である。

【図２９】 この発明の実施形態における符号化装置の
構成図である。

【図３０】 この発明の実施形態における復号化装置の
構成図である。

【図３１】 従来例の符号化器の構成図である。

【図３２】 従来例の復号化器の構成図である。

【図３３】 ピクチャの配列の例を示す説明図である。

【符号の説明】

２ 減算部 ３ インタ（フレーム内）／イントラ（フレーム間）切
り替えセレクタ ４ 変換部 ８ 加算部 ９ 第１のフレームメモリ １０ 第２のフレームメモリ １１ 順方向動き補償部 １２ 両方向動き補償部 １３ 逆方向動き補償部 １５ 動き推定部 １６ 符号化制御部 １７ 可変長符号化部 ２１ 動き補償予測部 ２５、２６ スイッチ ２７ 順方向予測画像生成部 ２８ 両方向予測画像生成部 ２９ 逆方向予測画像生成部 ３０ 背景予測画像生成部 ３１ 予測モード決定部 ３２ スイッチ ３３ 動き補償予測部 ３５ フレームメモリ選択部 ３６ 動き補償部 ３７ フレームメモリ選択部 ３９ 動き推定・補償部 ４０ 動き推定部 ４２ オブジェクト識別部 ４３ 第１のフレームメモリ群 ４４ 第２のフレームメモリ群 ４７ 差分ベクトル生成部 ４８ 動きベクトル加算部 ４９ 第３のフレームメモリ群 １０２ 予測誤差画像 １０３ セレクタ出力 １０８ 局部復号化画像 １０９、１１０ 参照画像 １１１ 順方向動き予測画像 １１２ 両方向動き予測画像 １１３ 逆方向動き予測画像 １１４ 背景動き予測画像 １１５ 決定された予測画像 １１６ 選択された予測画像 １１７ セレクタへの制御信号 １１８ 変換部４への制御信号 １２１ ビットストリーム １２３ 動きベクトル １２４ 参照画像 １２６ 決定された動き予測モード １２７ 順方向予測画像 １２８ 両方向予測画像 １２９ 逆方向予測画像 １３０ 背景予測画像 １３３ 第３のフレームメモリからの参照画像 １３４、１３５、１３６ 選択された局部復号化画像 １３８ オブジェクト識別信号 １４０ 制御信号 １４１ 差分ベクトル

───────────────────────────────────────────────────── フロントページの続き (72)発明者 浅井 光太郎 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 村上 篤道 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5C059 KK19 MA00 ME01 NN03 NN21 NN43 PP05 PP06 PP07 PP28 PP29 SS02 SS06 SS12 TA62 TB07 TC03 TC12 TC14 UA02 UA05 UA33 5J064 AA02 BA04 BA09 BB01 BB02 BB03 BC01 BC02 BC08 BC16 BC25 BC27 BD02 BD03

Claims (22)

【特許請求の範囲】
1. 【請求項１】フレームメモリに格納された参照画像を参
   照して、動画像信号の各フレームを所定の単位に分割し
   た符号化単位領域ごとに動き補償予測を行って圧縮符号
   化を行う画像符号化装置において、 上記動画像信号の予測モードに基づいて動き補償予測に
   用いる参照画像を順次更新する参照画像であるか、ある
   いは継続的に記憶する参照画像であるかを判断し、順次
   更新する参照画像と判断した場合には次の新たな参照画
   像が入力した際に書換えるようにフレームメモリに記憶
   する一方、継続的に記憶する参照画像と判断した場合に
   は所定の制御信号が入力されるまで書換えないよう制御
   するフレームメモリ記憶制御手段と、 上記フレームメモリ記憶制御手段の制御によりフレーム
   メモリに格納された参照画像を、上記動画像信号の予測
   モードに基づき参照して上記符号化単位領域毎に上記動
   き補償予測を行い、上記符号化単位領域毎に予測効率が
   大きい予測画像と動きベクトルとを生成する動き補償予
   測手段と、 を有することを特徴とする画像符号化装置。
2. 【請求項２】動画像信号の各フレームを所定の単位に分
   割した符号化単位領域ごとに動き補償予測を行って圧縮
   符号化されたビットストリームを入力とし、フレームメ
   モリに格納された参照画像を参照して動画像信号を復元
   する画像復号化装置において、 上記圧縮符号化ビットストリームから、動き補償予測の
   単位となる符号化単位領域ごとに対応する動きベクトル
   および動画像信号の予測モードを復号する復号手段と、 上記復号手段で復号された上記動画像信号の予測モード
   に基づいて動き補償予測に用いる参照画像を順次更新す
   る参照画像であるか、あるいは継続的に記憶する参照画
   像であるかを判断し、順次更新する参照画像と判断した
   場合には次の新たな参照画像が入力した際に書換えるよ
   うにフレームメモリに記憶する一方、継続的に記憶する
   参照画像と判断した場合には所定の制御信号が入力され
   るまで書換えないよう制御するフレームメモリ記憶制御
   手段と、 上記フレームメモリ記憶制御手段の制御によりフレーム
   メモリに格納された参照画像を、上記復号手段で復号さ
   れた動画像信号の予測モードに基づき参照して、上記動
   きベクトルに基づき予測画像を生成する動き補償手段
   と、 を有することを特徴とする画像復号化装置。
3. 【請求項３】上記フレームメモリ記憶制御手段は、継続
   的に記憶する参照画像と判断した参照画像を上記フレー
   ムメモリに記憶する場合、所定の時間間隔分だけフレー
   ムメモリの更新を行わないよう制御することを特徴とす
   る請求項１記載の画像符号化装置。
4. 【請求項４】上記フレームメモリ記憶制御手段は、継続
   的に記憶する参照画像と判断した参照画像をフレームメ
   モリに記憶する場合、所定の時間間隔分だけフレームメ
   モリの更新を行わないよう制御することを特徴とする請
   求項２記載の画像復号化装置。
5. 【請求項５】上記フレームメモリ記憶制御手段により制
   御され継続的に記憶する参照画像と判断した参照画像が
   記憶される上記フレームメモリを固定的に設けるように
   構成したことを特徴とする請求項１または３いずれかに
   記載の画像符号化装置。
6. 【請求項６】上記フレームメモリ記憶制御手段により制
   御され継続的に記憶する参照画像と判断した参照画像が
   記憶される上記フレームメモリを固定的に設けるように
   構成したことを特徴とする請求項２または４いずれかに
   記載の画像復号化装置。
7. 【請求項７】上記フレームメモリ記憶制御手段は、上記
   フレームメモリへの継続的に記憶する参照画像の書換え
   処理を、フレーム単位で行うことを特徴とする請求項１
   または３または５いずれかに記載の画像符号化装置。
8. 【請求項８】上記フレームメモリ記憶制御手段は、上記
   フレームメモリへの継続的に記憶する参照画像の書換え
   処理を、フレーム単位で行うことを特徴とする請求項２
   または４または６いずれかに記載の画像復号化装置。
9. 【請求項９】上記フレームメモリ記憶制御手段は、上記
   フレームメモリへの継続的に記憶する参照画像の書換え
   処理を、マクロブロック単位で行うことを特徴とする請
   求項１または３または５いずれかに記載の画像符号化装
   置。
10. 【請求項１０】上記フレームメモリ記憶制御手段は、上
    記フレームメモリへの継続的に記憶する参照画像の書換
    え処理を、マクロブロック単位で行うことを特徴とする
    請求項２または４または６いずれかに記載の画像復号化
    装置。
11. 【請求項１１】上記動き補償予測手段は、上記動画像信
    号の予測モードに基づいて上記順次更新用のフレームメ
    モリと継続記憶用のフレームメモリとのうち少なくとも
    一方のフレームメモリに格納された参照画像を参照して
    動き補償予測を行う場合、動きベクトルの探索範囲を可
    変とすることを特徴とする請求項１または３または５ま
    たは７または９いずれかに記載の画像符号化装置。
12. 【請求項１２】さらに、動きベクトルを保持し、該動き
    ベクトルと過去の動きベクトルとの差分ベクトルを算出
    する差分ベクトル生成手段を備え、 上記差分ベクトルを可変長符号化することを特徴とする
    請求項１または３または５または７または９または１１
    いずれかに記載の画像符号化装置。
13. 【請求項１３】過去の復号済み動きベクトルを保持し、
    差分ベクトルに過去の復号済み動きベクトルを加算して
    動きベクトルを復元する動きベクトル加算部を備えたこ
    とを特徴とする請求項２または４または６または８また
    は１０いずれかに記載の画像復号化装置。
14. 【請求項１４】動画像の画面を構成する複数個のオブジ
    ェクト単位に動き補償予測に使用する参照画像を格納す
    るフレームメモリが設けられたフレームメモリ群中のフ
    レームメモリに格納された参照画像を参照し、各オブジ
    ェクを所定の単位に分割した符号化単位領域ごとに動き
    補償予測を行って圧縮符号化を行う画像符号化装置にお
    いて、 上記動画像信号の予測モードに基づいて上記オブジェク
    ト単位に動き補償予測に用いる参照画像を順次更新する
    参照画像であるか、あるいは継続的に記憶する参照画像
    であるかを判断し、順次更新する参照画像と判断した場
    合には次の新たな参照画像が入力した際に書換えるよう
    にフレームメモリに記憶する一方、継続的に記憶する参
    照画像と判断した場合には所定の制御信号が入力される
    まで次の新たな参照画像が入力された際でも書換えない
    よう制御するフレームメモリ記憶制御手段と、 上記フレームメモリ記憶制御手段の制御により各オブジ
    ェクト単位にフレームメモリに格納された参照画像を、
    上記動画像信号の予測モードに基づき参照して上記符号
    化単位領域毎に上記動き補償予測を行い、各オブジェク
    ト単位に上記符号化単位領域毎に予測効率が大きい予測
    画像と動きベクトルとを生成する動き補償予測手段と、 を有することを特徴とする画像符号化装置。
15. 【請求項１５】動画像の画面を構成する複数個のオブジ
    ェクトを所定の単位に分割した領域ごとに動き補償予測
    を行って圧縮符号化された各オブジェクトのビットスト
    リームを入力として、上記オブジェクト単位に動き補償
    予測に使用する参照画像を格納するフレームメモリが設
    けられたフレームメモリ群中のフレームメモリに格納さ
    れた参照画像を参照して動画像信号を復元する画像復号
    化装置において、 上記各オブジェクトの圧縮符号化ビットストリームか
    ら、動き補償予測の単位となる入力画像領域ごとに対応
    する動きベクトル、動画像信号の予測モードおよびオブ
    ジェクト識別信号を復号する復号手段と、 上記復号手段で復号された上記動画像信号の予測モード
    に基づいて上記オブジェクト単位に動き補償予測に用い
    る参照画像を順次更新する参照画像であるか、あるいは
    継続的に記憶する参照画像であるかを判断し、順次更新
    する参照画像と判断した場合には次の新たな参照画像が
    入力した際に書換えるようにフレームメモリに記憶する
    一方、継続的に記憶する参照画像と判断した場合には所
    定の制御信号が入力されるまで次の新たな参照画像が入
    力された際でも書換えないよう制御するフレームメモリ
    記憶制御手段と、 上記フレームメモリ記憶制御手段の制御によりフレーム
    メモリに格納された参照画像を、上記復号手段で復号さ
    れた動画像信号の予測モードに基づき参照して、上記動
    きベクトルに基づき予測画像を生成する動き補償手段
    と、 を有することを特徴とする画像復号化装置。
16. 【請求項１６】上記フレームメモリ記憶制御手段は、符
    号化対象とするオブジェクトの過去の復号画像を参照画
    像として記憶した上記フレームメモリ内の該オブジェク
    トが存在する領域の画像内容の書換えを、所定の時間間
    隔で行うことを特徴とする請求項１４に記載の動画像符
    号化装置。
17. 【請求項１７】上記フレームメモリ記憶制御手段は、復
    号対象とするオブジェクトの過去の復号画像を記憶した
    上記フレームメモリ内の該オブジェクトが存在する領域
    の画像内容の書換えを、所定の時間間隔で行うことを特
    徴とする請求項１５に記載の画像復号化装置。
18. 【請求項１８】動き補償手段は、上記動画像信号の予測
    モードに基づいて上記オブジェクト単位に各オブジェク
    トに対応して設けられた上記順次更新用のフレームメモ
    リと継続記憶用のフレームメモリとのうち少なくとも一
    方のフレームメモリに格納された参照画像を参照して上
    記符号化単位領域毎に上記動き補償予測を行う場合、動
    きベクトル探索の探索範囲を各オブジェクト毎に可変に
    することを特徴とする請求項１４または１６いずれかに
    記載の画像符号化装置。
19. 【請求項１９】さらに、各オブジェクト毎に得られた動
    きベクトルを保持し、該動きベクトルと過去の動きベク
    トルとの差分ベクトルを算出する差分ベクトル生成手段
    を備え、上記差分ベクトルを可変長符号化することを特
    徴とする請求項１４または１６または１８いずれかに記
    載の画像符号化装置。
20. 【請求項２０】さらに、各オブジェクト毎にフレームメ
    モリ群内の画像を参照して得られた過去の復号済み動き
    ベクトルをある時間だけ保持して、復号された差分ベク
    トルに上記過去の復号済み動きベクトルを加算して、オ
    ブジェクト毎に動きベクトルを復元する動きベクトル加
    算手段を備えたことを特徴とする請求項１５または１７
    いずれかに記載の画像復号化装置。
21. 【請求項２１】フレームメモリに格納された参照画像を
    参照して、動画像信号の各フレームを所定の単位に分割
    した符号化単位領域ごとに動き補償予測を行って圧縮符
    号化を行う画像符号化装置であって、 上記動画像信号の予測モードに基づいて動き補償予測に
    用いる参照画像を順次更新する参照画像であるか、ある
    いは継続的に記憶する参照画像であるかを判断し、順次
    更新する参照画像と判断した場合には次の新たな参照画
    像が入力した際に書換えるようにフレームメモリに記憶
    する一方、継続的に記憶する参照画像と判断した場合に
    は所定の制御信号が入力されるまで次の新たな参照画像
    が入力された場合でも書換えないよう制御し、 上記フレームメモリに格納された参照画像を、上記動画
    像信号の予測モードに基づき参照して上記符号化単位領
    域毎に上記動き補償予測を行い、上記符号化単位領域毎
    に予測効率が大きい予測画像と動きベクトルとを生成す
    る、ことを特徴とする画像符号化装置。
22. 【請求項２２】動画像信号の各フレームを所定の単位に
    分割した符号化単位領域ごとに動き補償予測を行って圧
    縮符号化されたビットストリームを入力とし、フレーム
    メモリに格納された参照画像を参照して動画像信号を復
    元する画像復号化装置であって、 上記圧縮符号化ビットストリームから、動き補償予測の
    単位となる符号化単位領域ごとに対応する動きベクトル
    および動画像信号の予測モードを復号し、 復号された上記動画像信号の予測モードに基づいて動き
    補償予測に用いる参照画像を順次更新する参照画像であ
    るか、あるいは継続的に記憶する参照画像であるかを判
    断し、順次更新する参照画像と判断した場合には次の新
    たな参照画像が入力した際に書換えるようにフレームメ
    モリに記憶する一方、継続的に記憶する参照画像と判断
    した場合には所定の制御信号が入力されるまで次の新た
    な参照画像が入力された場合でも書換えないよう制御
    し、 上記フレームメモリに格納された参照画像を、上記復号
    手段で復号された動画像信号の予測モードに基づき参照
    して、上記動きベクトルに基づき予測画像を生成する、 ことを特徴とする画像復号化装置。