JP2007243974A - 画像符号化装置および画像復号化装置 - Google Patents

Abstract

【課題】 従来の符号化装置、復号化装置では、符号化処理が進むに従ってフレームメモリに書き込まれていた復号化画像を順次更新していってしまうため、過去の復号化画像で現在の符号化フレームに似た画像があった場合でも、既にフレームメモリから消去されてしまっているので参照できず、これを用いた効率な予測ができない。
【解決手段】 復号化画像のうちフレームメモリに継続的に記憶する画像を背景画像として選択して記憶させる背景画像記憶制御手段と、この背景画像に基づき入力画像に対応する動き補償予測を行い動き補償予測に基づく予測画像を生成する背景動き補償手段とを備えた。
【選択図】 図１

Description

この発明は、動画像の高能率符号化あるいは復号化を行い、画像の効率的伝送もしくは蓄積を行うシステムに供することのできる画像符号化装置および復号化装置に関するものである。具体的な応用例としては、衛星や地上波、有線通信網を介して行うディジタル放送システム、ディジタルビデオディスク、移動体ビデオフォン、ＰＨＳビデオフォン、あるいは画像のデータベースなどがある。

従来の代表的な高能率符号化方式として、ISO/IEC JTC1/SC29/WG11において検討された国際標準方式であるMPEG2がある。例えば「テレビジョン学会誌 画像情報工学と放送技術」の1995年4月号では、MPEGを特集テーマとして解説している。同誌p.29-60に渡り、「3-2 ビデオ圧縮」としてMPEG2の符号化方式が紹介されている。以下、MPEG2の符号化方式について説明する。

図３１は一般的なMPEG2の符号化器の基本構成を示す構成図であり、図３２はMPEG2復号化器の基本構成を示す構成図である。図中、１はフレーム並び換え部、２は減算部、３ａ、３ｂはインタ（フレーム内）／イントラ（フレーム間）切り替えセレクタ、４は変換部、５は量子化部、６は逆量子化部、７は逆変換部、８は加算器、９は第１のフレームメモリ、１０は第２のフレームメモリ、１１は順方向動き補償部、１２は両方向動き補償部、１３は逆方向動き補償部、１５は動き推定部、１６は符号化制御部、１７は可変長符号化部、１８はバッファである。

また、１００はディジタル化された入力画像データ、１０１は並び替えされた入力画像データ、１０２は予測誤差画像、１０３は原入力画像または予測誤差画像、１０４は変換係数、１０５は量子化係数、１０６は逆量子化された変換係数、１０７は逆変換された画像データ、１０８は局部復号化画像、１０９は第１のフレームメモリからの参照画像、１１０は第２のフレームメモリからの参照画像、１１１は順方向動き予測画像、１１２は両方向動き予測画像、１１３は逆方向動き予測画像、１１５は決定された予測画像、１１７はセレクタへの制御信号、１１８は変換部４への制御信号、１１９は適応量子化値、１２０は可変長符号化語、１２１はビットストリーム、１２３は動きベクトル、１２４は参照画像、１２５はイントラ・インター切り替え信号である。

図３１によって符号化器の動作を説明する。ディジタル化され入力画像信号１００は、フレーム並び換え部１において符号化される画像フレームの並べ替えを行う。
図３３は、この並べ替えを図示したものである。図３３において、Ｉはイントラ（フレーム内）符号化画像、Ｐはフレーム間符号化画像、Ｂは両方向予測符号化画像を意味している。尚、番号は表示される時間的な順番を示す。

まず、第１フレームがＩピクチャとして符号化され、次に第４フレームがＰピクチャとして符号化され、この時、既に符号化済みのＩピクチャを予測のための参照フレームとして用いることになる。
続いて、第２フレームがＢピクチャとして符号化され、この時に予測のための参照フレームとして用いられるのが、既に符号化済みの第１フレームのＩピクチャと第４フレームのＰピクチャである。同図中の矢印は予測される方向を示す。

以下、同様の処理によりＩＢＢＰＢＢＰ…の構成で符号化が行われる。従って、時間順に並んでいた入力画像信号１００を上記処理のために、符号化順に並べ替えるのが、フレーム並べ替え部１の働きである。
続いて、前記Ｉピクチャの場合には予測符号化を行わないので、並び替えされた画像１０１はそのままセレクタ３ａに入力して、セレクタ出力１０３につながる。他方、前記ＰピクチャまたはＢピクチャの場合の予測符号化には、減算部２において予測画像１１５との差分が取られ、予測誤差画像１０２がセレクタ出力１０３となる。

さらに、セレクタ出力１０３は変換部４を通り変換係数１０４が出力され、これは量子化部を通り、量子化係数１０５が得られる。量子化係数１０５は可変長符号化部１７において可変長符号化され、可変長符号化語１２０が出力される。また量子化係数１０５は一方で逆量子化部６の入力ともなり、量子化係数１０６が得られる。
さらに量子化係数１０６は逆変換部７において再度画像レベルにまで逆変換されて画像データ１０７が出力される。画像データ１０７は前記Ｉピクチャの場合には加算部８で選択された予測画像１１６と加算され、局部復号化画像１０８が供される。

なお、局部復号化画像１０８は、Ｉピクチャの場合にはそのまま第１のフレームメモリ９に書き込まれるが、Ｐピクチャの場合には第２のフレームメモリ１０に書き込まれる。一方、Ｂピクチャの場合は１０８はどちらのフレームメモリにも書き込まれることはない。

続いて、Ｐピクチャの場合は、順方向予測のみ用いるので、第１のフレームメモリ９内の参照画像１２４を読み出して、動き推定部１５においてマクロブロック（１６画素ｘ１６ラインの処理の基本単位）毎に動き予測を行い、最も現在のマクロブロックに値が近いものを予測画像として選択し、同時に動きベクトル１２３を出力する。図３１の点線領域で示された動き補償部に動きベクトル１２３が入力して動き予測画像が出力されるが、この場合には順方向動き補償部１１において、第１のフレームメモリ９からの参照画像１０９を用いて、順方向動き予測画像１１１が供され、決定された予測画像１１５となる。

また、前述の様にＰピクチャ内のすべてのマクロブロックの局部復号化画像１０８は、第２のフレームメモリに書き込まれる。但し、上記Ｐピクチャの場合でも、該マクロブロックがフレーム内（イントラ）符号化される時には、フレーム並び替えされた画像１０１が直接セレクタ出力となる。

次にＢピクチャの場合には、符号化処理の手順は上記Ｐピクチャの場合と同様であるが、予測のための参照フレームを２つ使う所が異なる。動き推定部１５では、第１のフレームメモリ９からの参照画像１０９を用いた順方向予測、第２のフレームメモリ１０からの参照画像１１０を用いた逆方向予測、参照画像１０９、１１０の両方を用いた両方向予測を行い、最も現在のマクロブロックに値が近い予測モードを選択し、その時の動きベクトル１２３を出力する。
決定された予測モードに基いて動き補償部では、それらに相当する動き補償部（１１、１２、１３）において予測画像が出力される。例えば、両方向動き予測が選択された時は両方向予測画像１１２が供され、決定された予測画像１１５となる。

図３３の第２、３フレームのＢピクチャの符号化が終了すると、第２のフレームメモリに書き込まれていた画像データは、第１のフレームメモリに転送される。その後、第７フレームのＰピクチャが符号化され、復号化画像が第２のフレームメモリに書き込まれる。以後、前記と同様にＢピクチャ（第５、６フレーム）が符号化される。また、該マクロブロックがフレーム内（イントラ）符号化される時には、フレーム並び替えされた画像１０１が直接セレクタ出力となることは、Ｐピクチャの場合と同様である。

一方、図３２は復号化器の構成図である。図３２において、２２は可変長復号化部、１０７(a)はイントラ（フレーム内）符号化の画像、１０７（b）は予測誤差画像である。
次に動作を説明する。ビットストリーム１２１は受信バッファ８においてある時間、蓄積され、可変長符号化語１２０は可変長復号化部２２において、可変長復号化されて量子化係数１０５が出力される。その後の処理手順は符号化器の局部復号化処理と全く同様である。該マクロブロックがイントラ復号化の場合には、逆変換された画像１０７は、１０７(a)となるが、インター（フレーム内）復号化の場合には、１０７（b）となる。１０７（b）は加算部８において、予測画像１１５との加算により、復号化画像１０８が出力される。１０８は、表示用フレーム並び替え部３８において、復号化画像を時間順に並び替える処理を行い、最終的に出力画像１３７が供される。

テレビジョン学会誌 画像情報工学と放送技術、1995年4月号

上記の例は順方向、両方向、及び逆方向予測符号化を組み合わせた方式の代表的なものである。この例において、Ｐピクチャの符号化では、第１のフレームメモリを用いて順方向予測のみを用い予測符号化を行っていた。他方Ｂピクチャの符号化では、第１及び第２のフレームメモリを用いて順方向予測、逆方向予測、両方向予測のいずれか１つの中から、予測誤差の最小なモードを選択する手法を取っていた。

従って、符号化処理が進むに従って、フレームメモリに書き込まれていた復号化画像は消去されてしまうため、例えば過去の復号化画像で現在の符号化フレームに似た画像があった場合には、既にフレームメモリから消去されてしまっているため、参照できないことになる。

この発明は、このような過去の復号化画像を参照画像として効率的に利用することを目的として、全体の予測効率を向上させ、高能率な動画像符号化及び復号化を行う装置を実現することにある。

この発明に係わる画像符号化装置は、複数の復号化画像を記憶する記憶手段と、この記憶手段に記憶された復号化画像に基づき入力画像に対応する動き補償予測を行い動きベクトルを生成するとともに動き補償予測に基づく予測画像を生成する動き補償予測手段と、この動き補償予測手段により生成された予測画像と入力画像との差分を取り予測誤差画像を算出する予測誤差算出手段と、この予測誤差算出手段からの予測誤差画像と上記予測画像とから上記復号化画像を生成する復号化手段と、上記復号化画像のうち上記記憶手段に継続的に記憶する画像を背景画像として選択して上記記憶手段に記憶する背景画像記憶制御手段と、上記背景画像に基づき入力画像に対応する動き補償予測を行い動きベクトルを生成するとともに動き補償予測に基づく予測画像を生成する背景動き補償手段とを備えたものである。

この発明に係わる画像復号化装置複数は、復号化画像を記憶する記憶手段と、この記憶手段に記憶された復号化画像に基づき動き補償予測を行い動き補償画像を生成する動き補償手段と、この動き補償手段からの動き補償画像と予測誤差画像とから上記復号化画像を生成する復号化手段と、上記復号化画像のうち上記記憶手段に継続的に記憶する背景画像を選択して上記記憶手段に記憶する背景画像記憶制御手段と、上記背景画像に基づき背景予測画像を生成する背景予測画像生成手段とを備えたものである。

また上記符号化装置において、復号化画像を記憶するフレームメモリと、上記背景画像を記憶するフレームメモリとにより上記記憶手段を構成する。

また上記符号化装置において、復号化画像を記憶するフレームメモリと、上記背景画像を記憶するフレームメモリとにより、上記記憶手段を構成する。

また上記符号化装置において、上記背景画像記憶制御手段による記憶手段への画像内容の書き替えを、所定の時間間隔または外部からの制御信号によってピクチャ単位で行う。

また上記復号化装置において、上記背景画像記憶制御手段による記憶手段への画像内容の書き替えを、所定の時間間隔または外部からの制御信号によってピクチャ単位で行う。

また上記符号化装置において、上記記憶制御手段による記憶手段への画像内容の書き替えを、所定の時間間隔または外部からの制御信号によってマクロブロック単位で行う。

また上記復号化装置において、上記背景画像記憶制御手段による記憶手段への画像内容の書き替えを、所定の時間間隔または外部からの制御信号によってマクロブロック単位で行う。

また上記符号化装置において、上記背景動き補償手段の上記背景画像における動きベクトルの探索範囲を可変とする。

また上記符号化装置において、上記動き補償予測手段あるいは上記背景動き補償予測手段により得られる動きベクトルを保持し、生成された動きベクトルと過去の動きベクトルとの差分ベクトルを算出する差分ベクトル生成手段を備え、上記差分ベクトルを可変長符号化する。

また上記復号化装置において、過去の復号化済み動きベクトルを保持し、差分ベクトルに上記過去の復号化済み動きベクトルを加算して動きベクトルを再生する動きベクトル加算部を備える。

また、画像符号化装置を、画面を構成する複数個の対象画像（オブジェクト）毎に過去の該オブジェクトの復号化画像を記憶する複数のフレームメモリ群と、復号化画像をいずれかのフレームメモリ群のフレームメモリに書き込むかを制御信号によって選別するフレームメモリ選択部と、上記該オブジェクト単位に設けたフレームメモリ群のフレームメモリから読み出した参照画像を用いて順方向予測、逆方向予測、両方向予測、背景予測を、オブジェクト単位に切り替えて動き補償予測を行う動き補償予測部と、予測画像と現画像との差分を取り、予測誤差画像を算出する減算器と、参照画像からの予測画像と現画像の予測誤差画像との加算を算出する加算部と、符号化情報を可変長符号化する可変長符号化部と、を備えた構成とする。

また、画像復号化装置を、画面を構成する複数個の対象画像（オブジェクト）毎に過去の該オブジェクトの復号化画像を記憶する複数のフレームメモリ群と、オブジェクト単位に復号化画像をいずれかのフレームメモリに書き込むかを制御信号によって選別するフレームメモリ選択部と、符号化ビットストリームを可変長復号化する可変長復号化部と、上記フレームメモリ群のフレームメモリから読み出した参照画像を用いて、オブジェクト単位に順方向予測、逆方向予測、両方向予測、背景予測を切り替えて動き補償画像を生成する動き補償部とを備えた構成とする。

そして、画像符号化装置あるいは画像復号化装置において上記フレームメモリ群を３つとする。

また、画像符号化装置において、符号化対象とするオブジェクトの過去の復号化画像を記憶したフレームメモリ群内の、該オブジェクトが存在する領域の画像内容の書き替えを、ある時間間隔または外部からの制御信号によって行う。

また、画像復号化装置において、復号化対象とするオブジェクトの過去の復号化画像を記憶したフレームメモリ群内の、該オブジェクトが存在する領域の画像内容の書き替えを、ある時間間隔または外部からの制御信号によって行う。

また、オブジェクト毎のフレームメモリ群からの参照画像における動きベクトル探索の探索範囲を各オブジェクト毎に可変にする。

また画像符号化装置において、オブジェクト毎のフレームメモリ群内の画像を参照して得られた過去の動きベクトルをある時間だけ保持して、オブジェクト毎に別個に差分ベクトルを算出する差分ベクトル生成部を備え、該差分ベクトルを可変長符号化する。

また画像復号化装置において、オブジェクト毎のフレームメモリ群内の画像を参照して得られた過去の復号化済み動きベクトルをある時間だけ保持して、復号化された差分ベクトルに上記過去の復号化済み動きベクトルを加算して、オブジェクト毎に動きベクトルを再生する動きベクトル加算部を備える。

以上のように、この発明においては、背景画像を記憶し、これに基づく背景予測を用いて動き補償予測を行うので、符号化シーケンスに影響されずに高い予測効率を維持しながら符号化を行えるという効果がある。

また、符号化、復号化装置において、各々のフレームメモリ内の画像内容の書き替えを、ある時間間隔または外部からの制御信号によってピクチャ単位に行うので、常にフレームメモリ内の画像内容を、背景予測に対して高い予測効率が得られる内容に維持できるという効果がある。

また、符号化、復号化装置において、各々のフレームメモリ内の画像内容の書き替えを、ある時間間隔または外部からの制御信号によってマクロブロック単位に行うので、より細かいレベルで、常にフレームメモリ内の画像内容を、背景予測に対して高い予測効率が得られる内容に維持できるという効果がある。

また、符号化装置が有する複数個のフレームメモリ別に、動き推定を行う時の動きベクトルの探索範囲を可変にするので、例えば動きが少ない画面が書き込まれているフレームメモリの参照から動きを探索する場合は、短いコードを与えることができるために、動きベクトルの符号化情報量を削減する効果がある。

また、複数個のフレームメモリの個数分だけ、過去の動きベクトルをある時間だけ記憶させたメモリ機能を持ち、検出した動きベクトルと候補ベクトルとの差分ベクトルを算出する差分ベクトル生成部を備えたので、動きベクトルの情報発生量を抑制する効果がある。

また、画面を構成する複数個のオブジェクト毎に複数個のフレームメモリを使って動き補償予測を行う構成にしたので、オブジェクトの動きに応じた予測構造を取れるので全体の予測効率が向上するという効果がある。

また、それぞれフレームメモリ群内のフレームメモリ内の符号化対象のオブジェクトが存在している領域のみを復号化画像によって、ある時間間隔または外部制御信号によって書き換えるので、背景予測の高い効率を維持できるという効果がある。

また、オブジェクトが参照する複数個のフレームメモリ群に応じて、動きベクトルの探索範囲を別々に設定するので、例えば動きが小さいオブジェクトの場合には、動きベクトルの探索範囲を狭くすることで、動きベクトルの情報発生量を削減するという効果がある。

また、複数個のフレームメモリ群の個数分だけ、オブジェクト毎に過去の動きベクトルをある時間だけ記憶させたメモリ機能を持ち、検出した動きベクトルと候補ベクトルとの差分ベクトルを算出する差分ベクトル生成部を備えたので、動きベクトルの情報発生量を抑制する効果がある。

実施の形態１．
図１はこの発明の実施形態における動画像の符号化装置の構成図である。図１において、２１は動き補償予測手段としての動き補償予測部、３５は背景画像記憶制御手段としてのフレームメモリ選択部、４５は多重化部である。また、１２６は決定された動き予測モード、１３４、１３５は選択された復号化画像、１３９は多重化されたビットストリームである。また、上記以外は既に説明された番号のものと同等である。

次に動作について説明する。基本的な符号化の動作は、従来例で述べた動き補償予測＋変換符号化と同一である。従ってここでは差異部分について主に述べる。
局部復号化画像１０８は、フレームメモリ選択部３５に入力し、ここで第１のフレームメモリ９、第２のフレームメモリ１０のいずれかに書き込まれるかが選択される。また、動き推定部１５では、上記フレームメモリ９、１０から参照画像１０９、１１０を読み出して、並び替えされた入力画像データ１０１との予測誤差が最小となる予測モード１２６と動きベクトル１２３を出力する。

動き補償予測部２１では、参照画像１０９、１１０を読み出して、これら予測モード１２６及び動きベクトル１２３を元に、動き予測画像１１５を出力する。ビットストリーム１２１は、予測モード１２６と共に多重化部４５において多重化され、送出される。
以上が符号化器の基本動作である。以下、各部の詳細について述べる。

図２は、動き推定部１５の内部構成を示したものであり、同図において、２７は順方向予測画像生成部、２８は両方向予測画像生成部、２９は逆方向予測画像生成部、３０は背景動き補償手段としての背景予測画像生成部、３１は予測モード決定部、１２７は順方向予測画像、１２８は両方向予測画像、１２９は逆方向予測画像、１３０は背景予測画像である。

次に動作について説明する。上記各予測画像生成部２７、２８、２９、３０では、所定の予測モードに従って予測画像を生成する。例えば、順方向予測画像生成部２７では、第１のフレームメモリ９から参照画像１０９を読み出して、入力画像データ１０１と値が近い画像を参照画像１０９の中から探索する。

これは例えば、従来例でも用いられているブロックマッチング法をそのまま用いればよい。即ち、前述のマクロブロック内のすべての画素についてマッチングを取り、その誤差値の総和が最小になる画像を探索することになる。
その結果順方向予測画像生成部２７では順方向予測画像１２７が出力される。逆方向予測画像生成部２９では、第２のフレームメモリ１０の中から参照画像１１０の中を探索して、同様にブロックマッチングを行い、逆方向予測画像１２９を出力する。

両方向予測画像生成部２８では、前記２つのフレームメモリ９、１０を用いて、両方向予測画像１２８を出力する。両方向予測画像生成部２８では、順方向予測画像と逆方向予測画像を別個に作成し、これをもとに両方向予測画像を求める。
例えば、順方向予測画像と逆方向予測画像の平均画像を求め、これを両方向予測画像１２８とする手法が考えられる。一方、背景予測画像生成部３０では、第２のフレームメモリから参照画像１１０を読み出し、ブロックマッチングにより背景予測画像１３０を出力する。

予測モード決定部３１では、上記予測画像１２７、１２８、１２９、１３０の中で選択された予測画像を入力して、それらと入力画像１０１との差分（予測誤差）が最小になる予測モードを選択する。この時、予測モード１２６及び動きベクトル１２３が３１から出力される。予測モード１２６は、例えば順方向予測モードの時が０、逆方向予測モードの時が１、両方向予測モードの時が２、背景予測モードの時が３という様に決めればよい。

なお、動きベクトル１２３は、図２の予測モード決定部３１において生成され出力されるが、動作としては下記の通りである。即ち、予め決められた範囲で参照画像を探索し、各予測画像生成部において最も予測誤差が小さい予測画像が得られた時に、予測画像と共に動きベクトル１２３（ａ）、１２３（ｂ）、１２３（ｃ）、１２３（ｄ）が各予測画像生成部より出力される。これらは、いずれも予測モード決定部３１に入力し、各予測画像１２７、１２８、１２９、１３０の中で最も現画像１０１との誤差が小さいものを選択し、その最小値を与える予測画像の動きベクトル（動きベクトル１２３（ａ）、１２３（ｂ）、１２３（ｃ）、１２３（ｄ）のいずれか）を最終的に動きベクトル１２３として出力する。

図３は、動き補償予測部２１の内部構成を示した構成図であり、２４、２６は選択器（スイッチ）、１１４は背景予測画像である。次に動作について説明する。スイッチ２５では、予測モード１２６に従って、２つのスイッチＳＷ１、ＳＷ２が開閉する。

例えば、予測モード１２６が両方向予測画像モードを示していた場合には、選択器２４のＳＷ１がノードＢを選択し、ＳＷ２がノードＣを選択する。他方、背景予測モードが選択された時には、ＳＷ１がＯＦＦ（選択なし）、ＳＷ２がノードＥを選択する。前者の場合は、両方向動き補償部１２において、動きベクトル１２３を用いて両方向動き予測画像１１２を生成する。同時に、スイッチ２６で両方向動き補償部１２の出力ノードが選択されて、両方向動き予測画像１１２が決定された予測画像１１５として、動き補償予測部２１の出力となる。

また、上記実施形態では、動き推定部と動き補償予測部とを別個に備え、動き推定部で求めた予測モードと動きベクトルとを動き補償予測部に送り、該動き補償予測部において予測画像を生成する構成としたが、図４に示すように、両部を動き推定・補償部３９で代用させる構成にしても、同等の機能を実現できる。

ところで、上記は従来例と同様に、画像の処理単位であるマクロブロック単位に符号化が行われる。一方、従来例のＭＰＥＧ２では、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３タイプのピクチャが存在し、これらピクチャによって予測モードが制限を受けていた。
即ち、Ｉピクチャではすべてのマクロブロックがイントラで符号化され、予測モードは存在しない。Ｐピクチャでは順方向予測のみが存在し、Ｂピクチャでは順方向予測、逆方向予測、両方向予測の３つの予測モードが存在する。

一方、この発明によれば、上記の他にＰＧピクチャ、後述のＰＢＧピクチャの２つのピクチャタイプが加わる。ＰＧピクチャでは、順方向予測と背景予測の２つが存在し、ＰＢＧピクチャでは順方向予測、逆方向予測、両方向予測、背景予測の４つの予測モードが存在する。

図５（Ａ）、（Ｂ）、（Ｃ）は、符号化ピクチャのパターン例を図示したものである。例えば、（Ａ）の場合、これは従来例と同様であり、従来技術と同様の手段に従えばよい。（Ｂ）の場合、第２のフレームメモリ１０に書き込まれていた背景画像（図５で“ＢＧ”と表示）からの背景予測と１つ前の復号化済みピクチャからの順方向予測の２つの予測モードを持ち、予測誤差が小さい方を選択する。

この動作が第６ピクチャまで行われる一方、第７ピクチャからはＰＢＢＰ．．の構造に変更になる。この場合、第６ピクチャまでは第２のフレームメモリ１０に背景画像が記録されているが、その後はまず第９ピクチャが、第６ピクチャを参照して順方向予測される。
続いて、従来例と同様に第７ピクチャ、第８ピクチャが第６ピクチャと第９ピクチャの復号化済みピクチャを参照して予測される。

また、図５中、第２ピクチャから“ＢＧ”へ伸びた点線は、例えば第２ピクチャの復号化画像の内容が第２のフレームメモリに背景画像として書き込まれることを意味している。書き込みのタイミングとしては、ある時間間隔としてもよいし、また外部からの制御信号から行ってもよい。但しこれは１つの例であり、他にいくらでも多くのパターンが取れる。
図５（Ｃ）では、第１ピクチャがＩピクチャの場合を示しており、この符号化済みピクチャが背景画像として第２のフレームメモリに書き込まれることを示している。

そして、第３ピクチャ以降のすべてのピクチャのマクロブロックの予測モードは、背景画像予測と順方向予測のいずれかに選択される。これは、背景画像が静止している場合に有効であり、背景画像の前で人物が会話するシーンでは、人物の動きで背景画像が見え隠れするオクルージョンという現象が起こるので、極めて有効である。また、背景画像が静止画で予め既知である場合には、符号化処理を開始する前に、第２のフレームメモリに該背景画像を書き込んでおくこともできる。
なお、符号化ピクチャのパターンが上記（Ａ）、（Ｂ）、（Ｃ）以外にも取れることは言うまでもない。

次に、図１に示したフレームメモリ選択部３５の動作について説明する。同部では、局部復号化画像１０８を第１のフレームメモリ９、または第２のフレームメモリ１０のどちらに書き込むかを決定する。決定法としては例えば、図６で示した様にフレーム並び替え部１からの制御信号１４０によって切り替える手法が考えられる。

この場合、現在の符号化ピクチャ及び次に符号化されるピクチャのタイプがわかるため、例えば、図５（Ｂ）に示した“ＢＧ”打ち切りまでは復号化済みの画像は外部からの信号がない限り、第１のフレームメモリ９に書き込み、それ以降はＰＢＢＰ．．の構造となるため、従来例と同様に書き込み対象のフレームメモリを適応的に選択すればよい。
また、図５（Ｂ）で図示した様に、ある位置での復号化済みピクチャからの第２フレームメモリ１０への背景画像としての書き込みは、例えば、シーンチェンジを検出した時に、所定時間後に復号化画像を書き込むような構成とすればよい。

シーンチェンジの検出法は、従来より用いられている手法、例えば１フレーム内のマクロブロックの中で、予測誤差がしきい値以上のマクロブロックがある個数以上出現した場合、これをシーンチェンジとみなす方法等があり、これらに従えばよい。また、上記手法以外にも多くの手法が存在することは言うまでもない。
また、この実施形態では、記憶手段として第１、第２のフレームメモリを備えて、動き補償予測を切り替える構成を実現したが、ハードウエアの実現に当たっては、複数個のフレームメモリ分の記憶容量を持ったメモリをその内部アドレスによって切り分けることで、複数個のフレームメモリを同時に持たせることが可能となる。

以上のように、背景画像を記憶し、これに基づく背景予測を用いて動き補償予測を行うので、符号化シーケンスに影響されずに高い予測効率を維持しながら符号化を行える。
なお、以上の説明において、背景画像のフレームメモリへの記憶制御を行うものを示したが、ここでいう背景画像とは、継続的に記憶する画像のことを意味するものであり、画像の内容自体を示すものではないことはいうまでもない。
すなわち、従来のピクチャ配列のように順次更新されていってしまう画像の中に、後の予測の有効ば画像があるので、これを更新手順による記憶とは独立して継続的に記憶しておくものであり、この画像をここでは背景画像としているものである。

実施の形態２．
図７はこの発明の実施形態における動画像の復号化装置の構成図である。図において、２３は動き補償部、４６は多重化分離部である。上記以外は既に説明された番号のものと同等である。

次に動作について説明する。この復号化装置は、実施形態１に示した符号化装置に対応する。
基本的な復号化の処理手順は、従来例で述べた復号化装置と同様であるため、ここでは差異について主に説明する。局部復号化画像１０８はフレームメモリ３５に入力して、書き込む対象のフレームメモリが選択されて、選択された復号化画像１３４または１３５に局部復号化画像１０８が転送される。

続いて、第１のフレームメモリ９または第２のフレームメモリ１０に該復号化画像が書き込まれる。一方、動き補償部２３では、符号化装置の局部復号化と同様な手順で、両フレームメモリから参照画像１０９または１１０を読み出し、予め決められた予測モード１２６に従って、予測画像１１５を生成する。
図８は、動き補償部２３の内部構成を示した構成図であり、３２はスイッチである。
次に動作について説明する。選択された予測モード１２６に対応した予測画像生成部では、参照画像１０９または１１０を読み出して予測画像を生成する。さらにスイッチ３２が、選択された予測モードに切り替わることにより、最終的に決定された予測画像１１５が出力される。

実施の形態３．
図９は、この発明の実施形態における動画像の符号化装置の構成図である。図において、３３は動き補償予測部、３４は第３のフレームメモリ、３７はフレームメモリ選択部、４１は動き推定部、１３３は第３のフレームメモリの参照画像、１３６は選択された局部復号化画像である。上記以外は既に説明された番号のものと同等である。
この実施形態は、図１に示したものに、第３のフレームメモリを付加した箇所が大きな相違点である。

次に動作について説明する。過去の復号化画像を記憶した３つのフレームメモリから参照画像１０９、１１０、１３３を読み出し、動き推定部４１において動き予測を行い、得られた動きベクトル１２３及び予測モード１２６は動き補償予測部３３に入力する。動き補償予測部３３では、決定された予測モード１２６に従って、所定の動き予測画像を生成するために必要な参照画像を参照画像１０９、１１０、１３３の中から選択し、決定された予測画像１１５を出力する。

一方、局部復号化画像１０８は、フレームメモリ選択部３７においてどのフレームメモリに書き込むかが決定された後、所定のフレームメモリに参照画像１３４または１３５または１３６として書き込まれる。

図１０は動き推定部４１の内部構成を図示したものであり、４２は予測モード決定部である。この図１０に示した動き推定部４１は、図２に示した動き推定部に、第３のフレームメモリからの参照画像１３３が追加された構成である。順方向予測画像生成部２７は入力画像１０１と第１のフレームメモリの参照画像１０９を入力して順方向予測画像１２７を出力し、両方向予測画像生成部２８は入力画像１０１と第１のフレームメモリの参照画像１０９、及び第２のフレームメモリの参照画像１１０を入力して両方向予測画像１２８を出力し、逆方向予測画像生成部２９は入力画像１０１と第２のフレームメモリの参照画像１１０を入力して逆方向予測画像１２９を出力し、背景予測画像生成部３０は入力画像１０１と第３のフレームメモリの参照画像１３３を入力して背景予測画像１３０を出力する。

予測モード決定部４２では、上記予測画像２７、２８、２９、３０と入力画像１０１との絶対値差分を取り、この値が最小になる予測モードを決定して、これを予測モード１２６として出力する。また同時に動きベクトル１２３を出力する。

図１１は、動き補償予測部３３の内部構成図であり、予測モード１２６に従ってスイッチ２５が開閉し、参照画像１０９、１１０が所定の動き補償部に入力する。例えば、順方向予測モードが選択されていた場合には、ＳＷ１がノードＡに切り替わり、ＳＷ２はＯＦＦとなる。また両方向予測モードが選択されていた場合には、ＳＷ１がノードＢに切り替わり、ＳＷ２がノードＣに切り替わる。

背景予測モードが選択されていた場合には、参照画像１３３が直接入力して参照される。続いて、スイッチ２６では予測モード１２６に対応したノードに切り替わり、最終的に決定された予測画像１１５が出力される。
また、この実施形態では、第１、第２、第３のフレームメモリを備えて、動き補償予測を切り替える構成を実現したが、ハードウエアの実現に当たっては、複数個のフレームメモリ分の記憶容量を持ったメモリをその内部アドレスによって切り分けることで、複数個のフレームメモリを同時に持たせることが可能となる。

図１２はこの実施形態におけフレームメモリの書き換えの動作を示す説明図であり、以下、図６のフレームメモリ選択部３７の動作との関係を含めて説明する。
図１２には（Ａ），（Ｂ），（Ｃ）の３つのパターンが図示してあり、（Ａ）では第６ピクチャにおいて背景予測と順方向予測とのＰＧピクチャに切り替わり、以後第９ピクチャまでこの構成が継続する。その後、第１０ピクチャからは、再ぴＩＢＢＰの構造に戻っている。

（Ｂ）では、第１、第２、第４、第５、第７、第８、第１０、第１１ピクチャで、順方向予測、逆方向予測、両方向予測、背景予測のすべての予測モードが切り替え可能な構成となっており、予測効率は１番高い。またこの場合でも背景画像として第３のフレームメモリへの書き込みは随時可能であるが、（Ｂ）の例では、第５、第１０ピクチャから背景画像用の第３のフレームメモリヘの書き込みを行っている。
（Ｃ）では、第３、第６、第９、第１２ピクチャで、背景予測と順方向予測とのＰＧピクチャとなっている。

これらの動作時において、現在復号化されたピクチャがどのピクチャタイプであるか既知であるので、フレームメモリ選択部３７では、そのピクチャタイプに従って、復号画像１０８を書き込むべきフレームメモリは自ずと決まる。即ち、ＩＢＢＰの構造を取っている場合には、Ｉでは第１のフレームメモリに書き込まれ、Ｐで第２のフレームメモリに書き込まれる。Ｂはどのフレームメモリにも書き込まれない。
なお、ある復号化画像がある時間間隔または外部の制御信号によって背景画像として第３のフレームメモリにも書き込まれるのは、既に述べた通りである。

実施の形態４．
図１３はこの発明の実施形態における動画像の復号化装置の構成図であり、これは図９に示した符号化装置に対応する復号化装置である。図１３において、３６は動き補償部である。

次に動作について説明する。動き補償部３６では、第１のフレームメモリ９、第２のフレームメモリ１０、第３のフレームメモリ１９から読み出した参照画像１０９、１１０、１３３を参照して動き補償を行い、予測画像１１５を出力する。
復号化画像は、再び表示用フレーム並び替え部３８において、表示用の時間順に並び替えされて出力画像１３７が得られる。
図１４は、該動き補償部３６の内部構成図を示す構成図であり、各予測画像生成部で生成された予測画像が、予測モード１２６に従ってスイッチ３２において選択される。そして選択された予測画像１１５が出力される。

実施の形態５．
上記実施形態では、図５（Ｂ）、（Ｃ）で示した背景画像への書き換えをピクチャ単位で行うものを示したが、これをマクロブロック単位に行うことが、予測の効率化に有効な場合がある。

この書き換えの手法としては、例えば、符号化処理の中で、所定の時間間隔で更新する手法や、ある位置のマクロブロック内のすべての画素がある時間以上予測のために参照されなかった場合には、制御信号を発生させて、背景画像内の該マクロブロックのみを復号化画像によって書き換える操作を行えばよい。

図１５はこれを図示したもので、図５（Ｂ）の第２ピクチャから背景画像“ＢＧ”への書き込みタイミングに対し、図１５の斜線領域のマクロブロックのみがそのまま第２のフレームメモリに書き込まれ、第３ピクチャを予測する際の参照画像の一部になる。
同様に、上述の実施形態のうちフレームメモリを３つ備えた符号化装置においても、図１２（Ｂ）、（Ｃ）で示した背景画像への書き換えをマクロブロック単位に行う。この書き換えの手法としては、上記と同じ操作を行えばよい。

以上のように各々のフレームメモリ内の画像内容の書き替えを、ある時間間隔または外部からの制御信号によってマクロブロック単位に行うので、より細かいレベルで、常にフレームメモリ内の画像内容を、背景予測に対して高い予測効率が得られる内容に維持できる。

実施の形態６．
また上記のような符号化装置に対応して復号化装置においても、背景画像への書き換えをマクロブロック単位に行う。
例えば、図７の復号化装置において、復号化画像１０８は、フレームメモリ選択部３５において選択された後、上記マクロブロックと同位置にある背景画像のマクロブロックが選択された復号化画像１３５に書き換えられる。尚、上記マクロブロック単位の更新は、ある時間間隔または外部からの制御信号に従って行えばよい。
同様に、図１３に示した復号化装置においても、図１２（Ｂ）、（Ｃ）で示した背景画像への書き換えをマクロブロック単位に行う。この書き換えの手法としては、上記と同じ操作を行えばよい。

実施の形態７．
以上示した符号化装置において、図１の動き推定部１５、または図３の動き推定部３３での、背景予測を行う際の動き探索範囲を、順方向予測または逆方向予測の探索範囲と可変にすることも有効である。
これは、例えば、背景予測が有効に作用するのは背景からの動きベクトルが０の時であることを利用して、他の予測を行う時よりも探索範囲を小さく設定することが考えられる。それに付随する効果としては、探索時間が短縮されること、動きベクトルの可変長符号化コードを短く設定できるために、動きベクトルの符号化情報量が低減できることが挙げられる。

実施の形態８．
図１６は、この発明の実施形態における符号化装置の構成図であり、４７は差分ベクトル生成部、１４１は差分ベクトルである。差分ベクトル生成部４７において現在の動きベクトル１２３と参照ベクトルとの差分ベクトル１４１を算出して、これを可変長符号化部１７において可変長符号化する。
図１７はこの動きベクトルの符号化法について図示したものである。

次に動作について説明する。図１７において、１つの桝目は１個のマクロブロックを意味する。第１のフレームメモリ内の参照画像を読み出して動き補償予測を行って求められた現在のマクロブロックの動きベクトルＭＶ(1)は、既に符号化・復号化済みのマクロブロックの動きベクトルＭＶ１(1)、 ＭＶ２(1)、 ＭＶ３(1)の３つを候補ベクトルとして、これらとの差分値を実際に可変長符号化するのが効率的であることが知られている。

例えば、ＭＶ１(1)、ＭＶ２(1)、ＭＶ３(1)の３つの中間値を候補ベクトルとすることを考えれば、差分ベクトルＰＭＶ(1)は、以下の式で表すことができる。但し、ｍｅｄｉａｎは中間値を算出する演算子である。
ＰＭＶ(1)＝ＭＶ(1)−ｍｅｄｉａｎ（ＭＶ１(1)，ＭＶ２(1)，ＭＶ３(1)）
同様に、第２のフレームメモリの場合には、
ＰＭＶ(2)＝ＭＶ(2)−ｍｅｄｉａｎ（ＭＶ１(2)，ＭＶ２(2)，ＭＶ３(2)）
となる。

また、図１８は図９の符号化装置に差分ベクトル生成部４７を加えた符号化装置の構成図である。差分ベクトルの算出では、上記の場合に加えて、第３のフレームメモリ用の参照動きベクトルＰＭＶ（３）を算出して、これを可変長符号化すればよい。
以上のようにして動きベクトルの情報発生量を抑制することができる。

実施の形態９．
以上のような差分ベクトルを用いる符号化装置に対応した復号化装置の構成図を図１９、および図２０に示し、４８は動きベクトル加算部である。
可変長復号化部２２において可変長復号化された差分ベクトル１４１は、動きベクトル４８において参照ベクトルとの加算を取り、動きベクトル１２３が算出される。

実施の形態１０．
図１の符号化装置では、ピクチャ内の画面全体を符号化対象としていたのに対し、この実施形態では、画面を構成する複数個の対象物画像（オブジェクト）単位に符号化のピクチャタイプを可変な構造とする。
図２１に示すように、例えば画面がオブジェクト１（魚）、オブジェクト２（水中：背景画）、オブジェクト３（ボール）から構成されており、各々の境界線が既知であった場合、それらのオブジェクトを別々の手法で符号化することが可能になる。

この実施形態では、これらを別々のピクチャタイプを用いることで実現する。例えば、オブジェクト１は動きが大きいので、両方向予測が背景予測よりも予測効率が高いことを考慮して、図５（Ａ）のピクチャタイプの構成とする。一方、オブジェクト２はほとんど動きがない画像であるため、背景予測がより有効である。従って、図５（Ｃ）の構成を取ればよい。但し、急激に途中でシーンが変化する等の変化が起こった場合には、図５（Ｂ）の様に、途中のピクチャからＢピクチャを含んだ構成とすればよい。

図２２は、この実施形態で示される符号化装置の具体例を示す構成図であり、４２はオブジェクト識別部、４３は第１のフレームメモリ群、４４は第２のフレームメモリ群、１３８はオブジェクト識別信号である。

次に動作について説明する。予め入力画像１００には、オブジェクト毎に識別信号が付いており、４２で識別されたオブジェクトの番号が識別信号１３８として出力される。動き推定部１５ではオブジェクト識別信号１３８に従って、第１のフレームメモリ群４３、第２のフレームメモリ群４４の中から、符号化対象のオブジェクトに対応したフレームメモリを選び、参照画像を読み出して、動き予測を行う。

また、動き補償予測部２１では、動き推定部１５で決定された予測モード１２６に従って、所定のブジェクトに対応したフレームメモリを選び、予測画像１１５を生成する。
一方、フレームメモリ選択部３５では、復号化画像１０８をオブジェクト識別信号１３８に従って、所定のフレームメモリ群の中の所定のオブジェクトに対応したフレームメモリに書き込む。またオブジェクト識別信号１３８は、他の符号化情報と共に多重化部４５において多重化されて、多重化されたビットストリーム１３９として送出される。

また、この実施形態では、第１、第２のフレームメモリ群を備えて、動き補償予測を切り替える構成を実現したが、ハードウエアの実現に当たっては、複数個のフレームメモリ群分の記憶容量を持ったメモリをその内部アドレスによって切り分けることで、複数個のフレームメモリ群を同時に持たせることが可能となる。
以上のように、オブジェクトの動きに応じた予測構造を取れるので全体の予測効率が向上する。

実施の形態１１．
図２２符号化装置に対応する復号化装置の構成図を図２３に示し、４６は多重化分離部である。
次に動作について説明する。多重化分離部４６で多重化分離されたオブジェクト識別信号１３８に従って、動き補償部２３では所定のフレームメモリ群の中の所定のオブジェクトに対応したフレームメモリから参照画像を読み出し、予測モードに対応した動き補償を行い、予測画像１１５を生成する。一方、フレームメモリ選択部３５では、復号化画像１０８をオブジェクト識別信号１３８に従って、所定のフレームメモリ群の中の所定のオブジェクトに対応したフレームメモリに書き込む。

実施の形態１２．
図２４は図２２の符号化装置に、さらに１つのフレームメモリ群を追加して、３つのフレームメモリ群の構成とした符号化装置の構成図であり、４９は第３のフレームメモリ群である。

次に動作について説明する。予め入力画像１００には、オブジェクト毎に識別信号が付いており、４２で識別されたオブジェクトの番号が識別信号１３８として出力される。動き推定部１５ではオブジェクト識別信号１３８に従って、第１のフレームメモリ群４３、第２のフレームメモリ群４４、第３のフレームメモリ群４９の中から、符号化対象のオブジェクトに対応したフレームメモリを選び、参照画像を読み出して、動き予測を行う。

また、動き補償予測部２１では、動き推定部１５で決定された予測モード１２６に従って、所定のオブジェクトに対応したフレームメモリを選び、予測画像１１５を生成する。
一方、フレームメモリ選択部３５では、復号化画像１０８をオブジェクト識別信号１３８に従って、所定のフレームメモリ群の中の所定のオブジェクトに対応したフレームメモリに書き込む。またオブジェクト識別信号１３８は、他の符号化情報と共に多重化部４５において多重化されて、多重化されたビットストリーム１３９として送出される。
また、この実施形態では、第１、第２、第３のフレームメモリ群を備えて、動き補償予測を切り替える構成を実現したが、ハードウエアの実現に当たっては、複数個のフレームメモリ群分の記憶容量を持ったメモリをその内部アドレスによって切り分けることで、複数個のフレームメモリ群を同時に持たせることが可能となる。

実施の形態１３．
図２４の符号化装置に対応する復号化装置の構成図を図２５に示す。
次に動作について説明する。多重化分離部４６で多重化分離されたオブジェクト識別信号１３８に従って、動き補償部２３では所定のフレームメモリ群の中の所定のオブジェクトに対応したフレームメモリから参照画像を読み出し、予測モードに対応した動き補償を行い、予測画像１１５を生成する。一方、フレームメモリ選択部３５では、復号化画像１０８をオブジェクト識別信号１３８に従って、所定のフレームメモリ群の中の所定のオブジェクトに対応したフレームメモリに書き込む。

実施の形態１４．
符号化対象とするオブジェクトの過去の復号化画像を記憶した第２のフレームメモリ群内の該オブジェクトに対応したフレームメモリ内の、該オブジェクトが存在する領域の画像内容の書き替えを、ある時間間隔または外部からの制御信号によって行うことがある。

図２６は、例えばあるオブジェクトが占める領域を含むすべてのマクロブロックの復号化画像によって、第２のフレームメモリ群内の該オブジェクトに対応したフレームメモリの同位置のマクロブロック内の画像内容が書き替えられることを図示している。従って、同図の場合には、縦2個、横２個、計４個のマクロブロックの内容が更新されることになる。

また、符号化対象とするオブジェクトの過去の復号化画像を記憶した第３のフレームメモリ群内の該オブジェクトに対応したフレームメモリ内の、該オブジェクトが存在する領域の画像内容の書き替えを、ある時間間隔または外部からの制御信号によって行う場合、上記説明における第２のフレームメモリ群内のフレームメモリに書き込む操作を、第３のフレームメモリ群内のフレームメモリに書き込む操作で代用すればよい。

以上のような符号化装置に対応して復号化装置においても、オブジェクトの過去の復号化画像を記憶した第２のフレームメモリ群内の該オブジェクトに対応したフレームメモリ内の、該オブジェクトが存在する領域の画像内容の書き替えを、ある時間間隔または外部からの制御信号によって行うようにする。

実施の形態１５．
また、図２２に示した符号化装置において、第１のフレームメモリ群の該オブジェクトに対応したフレームメモリからの参照画像と、第２のフレームメモリ群の該オブジェクトに対応したフレームメモリからの参照画像とで、オブジェクト毎に動きベクトル探索の探索範囲を可変にする。
例えば、図２２の符号化装置において、該オブジェクトの、動きの少ない背景画像を第２のフレームメモリ群の該オブジェクトに対応したフレームメモリに記憶させておき、他方、動きの大きい該オブジェクトの復号化画像を第１のフレームメモリ群の該オブジェクトに対応したフレームメモリに随時書き込む操作を行えば、両者とも高い予測効率を維持することができる。

また、図２４に示した符号化装置において、第１のフレームメモリ群の該オブジェクトに対応したフレームメモリからの参照画像と、第２のフレームメモリ群の該オブジェクトに対応したフレームメモリからの参照画像と、第３のフレームメモリ群の該オブジェクトに対応したフレームメモリからの参照画像とで、オブジェクト毎に動きベクトル探索の探索範囲を可変にする。

例えば、図２４の符号化装置において、該オブジェクトの、動きの少ない背景画像を第３のフレームメモリ群の該オブジェクトに対応したフレームメモリに記憶させておき、他方、動きの大きい該オブジェクトの復号化画像を第１のフレームメモリ群または第２のフレームメモリ群の該オブジェクトに対応したフレームメモリに随時書き込む操作を行えば、３者とも高い予測効率を維持することができる。
以上のように、オブジェクトが参照する複数個のフレームメモリ群に応じて、動きベクトルの探索範囲を別々に設定するので、例えば動きが小さいオブジェクトの場合には、動きベクトルの探索範囲を狭くすることで、動きベクトルの情報発生量を削減することができる。

実施の形態１６．
また、図２２に示した符号化装置において、オブジェクト毎の第１のフレームメモリ群内の該オブジェクトに対応したフレームメモリからの画像を参照して得られた過去の動きベクトルと、オブジェクト毎の第２のフレームメモリ群内の該オブジェクトに対応したフレームメモリからの画像を参照して得られた過去の動きベクトルとを、別々にある時間だけ保持して、オブジェクト毎に別個に差分ベクトルを算出する差分ベクトル生成部を備えたものを図２７に示す。

符号化対象とするオブジェクトは、動き推定部１５において現画像１０１と、第１のフレームメモリ群もしくは第２のフレームメモリ群で、動き推定の結果選択されたフレームメモリ群の該オブジェクトに対応したフレームメモリ内の画像を参照画像としての動き推定を行い、動きベクトル１２３を検出する。動きベクトル１２３は差分ベクトル生成部４７において、同部に記憶された該オブジェクトの過去の動きベクトルの中から候補ベクトルを選択して（前述のＭＶ１，ＭＶ２，ＭＶ３）、差分ベクトル１４１を出力する。差分ベクトル１４１は可変長符号化部１７において、可変長符号化語に符号化される。従って、差分ベクトル生成部４７では各フレームメモリ群毎に、過去の動きベクトルを別々にある時間だけ保持しておくメモリ機能を有している。

実施の形態１７．
また、図２７の符号化装置に対応した復号化装置の構成図を図２８に示す。可変長復号化部２２において可変長復号化された差分ベクトル１４１は、動きベクトル加算部４８において、同部に記憶された該オブジェクトの過去の動きベクトルの中から候補ベクトルを選択して、この候補ベクトルに上記差分ベクトル１４１を加算することで、動きベクトル１２３を再現する。１２３は動き補償部２３に送られ、同部において、選択されたフレームメモリ群の該オブジェクトに対応したフレームメモリ内の画像を参照画像を読み出して、予測画像１１５が出力される。

実施の形態１８．
図２７の符号化装置に第３のフレームメモリ群を追加した構成の符号化装置の構成図を図２９に示す。
符号化対象とするオブジェクトは、動き推定部１５において現画像１０１と、第１のフレームメモリ群もしくは第２のフレームメモリ群もしくは第３のフレームメモリ群の中で、動き推定の結果選択されたフレームメモリ群の該オブジェクトに対応したフレームメモリ内の画像を参照画像としての動き推定を行い、動きベクトル１２３を検出する。動きベクトル１２３は差分ベクトル生成部４７において、同部に記憶された該オブジェクトの過去の動きベクトルの中から候補ベクトルを選択して（前述のＭＶ１，ＭＶ２，ＭＶ３）、差分ベクトル１４１を出力する。差分ベクトル１４１は可変長符号化部１７において、可変長符号化語に符号化される。
この場合も、差分ベクトル生成部４７では各フレームメモリ群毎に、過去の動きベクトルを別々にある時間だけ保持しておくメモリ機能を有している。

実施の形態１９．
また、図２９の符号化装置に対応した復号化装置の構成図を図３０に示す。可変長復号化部２２において可変長復号化された差分ベクトル１４１は、動きベクトル加算部４８において、同部に記憶された該オブジェクトの過去の動きベクトルの中から候補ベクトルを選択して、この候補ベクトルに上記差分ベクトル１４１を加算することで、動きベクトル１２３を再現する。動きベクトル１２３は動き補償部２３に送られ、同部において、選択されたフレームメモリ群の該オブジェクトに対応したフレームメモリ内の画像を参照画像を読み出して、予測画像１１５が出力される。
以上のように、複数個のフレームメモリ群の個数分だけ、オブジェクト毎に過去の動きベクトルをある時間だけ記憶させたメモリ機能を持ち、検出した動きベクトルと候補ベクトルとの差分ベクトルを算出する差分ベクトル生成部を備えれば、動きベクトルの情報発生量を抑制することができる。

この発明の実施形態における動画像の符号化装置の構成図である。 この発明の実施形態の符号化装置における動き推定部の内部構成を示した構成図である。 この発明の実施形態の符号化装置における動き補償予測部の内部構成を示した構成図である。 この発明の実施形態における動画像の符号化装置の構成図である。 この発明の実施形態におけるピクチャのパターンと予測モードとの関係の例を示す説明図である。 この発明の実施形態における動画像の符号化装置の構成図である。 この発明の実施形態における動画像の復号化装置の構成図である。 この発明の実施形態の復号化装置における動き補償部２３の構成図である。 この発明の実施形態における動画像の符号化装置の構成図である。 この発明の実施形態の符号化装置における動き推定部の構成図である。 この発明の実施形態の符号化装置における動き補償部の構成図である。 この発明の実施形態におけるピクチャパターンと予測モードとの関係の例を示す説明図である。 この発明の実施形態における動画像の復号化装置の構成図である。 この発明の実施形態の復号化装置における動き補償部の構成図である。 マクロブロック単位のフレームメモリの画像の書き替えを示した説明図である。 この発明の実施形態の符号化装置における動き推定部の構成図である。 この発明の実施形態における動きベクトルの符号化法を示す説明図である。 この発明の実施形態における符号化装置の構成図である。 この発明の実施形態における復号化装置の構成図である。 この発明の実施形態における復号化装置の構成図である。 ピクチャとオブジェクトの関係を示す説明図である。 この発明の実施形態における符号化装置の構成図である。 この発明の実施形態における復号化装置の構成図である。 この発明の実施形態における符号化装置の構成図である。 この発明の実施形態における復号化装置の構成図である。 オブジェクト領域の画像の書き替えを示した説明図である。 この発明の実施形態における符号化装置の構成図である。 この発明の実施形態における復号化装置の構成図である。 この発明の実施形態における符号化装置の構成図である。 この発明の実施形態における復号化装置の構成図である。 従来例の符号化器の構成図である。 従来例の復号化器の構成図である。 ピクチャの配列の例を示す説明図である。

符号の説明

２ 減算部
３ インタ（フレーム内）／イントラ（フレーム間）切り替えセレクタ
４ 変換部
８ 加算部
９ 第１のフレームメモリ
１０ 第２のフレームメモリ
１１ 順方向動き補償部
１２ 両方向動き補償部
１３ 逆方向動き補償部
１５ 動き推定部
１６ 符号化制御部
１７ 可変長符号化部
２１ 動き補償予測部
２５、２６ スイッチ
２７ 順方向予測画像生成部
２８ 両方向予測画像生成部
２９ 逆方向予測画像生成部
３０ 背景予測画像生成部
３１ 予測モード決定部
３２ スイッチ
３３ 動き補償予測部
３５ フレームメモリ選択部
３６ 動き補償部
３７ フレームメモリ選択部
３９ 動き推定・補償部
４０ 動き推定部
４２ オブジェクト識別部
４３ 第１のフレームメモリ群
４４ 第２のフレームメモリ群
４７ 差分ベクトル生成部
４８ 動きベクトル加算部
４９ 第３のフレームメモリ群
１０２ 予測誤差画像
１０３ セレクタ出力
１０８ 局部復号化画像
１０９、１１０ 参照画像
１１１ 順方向動き予測画像
１１２ 両方向動き予測画像
１１３ 逆方向動き予測画像
１１４ 背景動き予測画像
１１５ 決定された予測画像
１１６ 選択された予測画像
１１７ セレクタへの制御信号
１１８ 変換部４への制御信号
１２１ ビットストリーム
１２３ 動きベクトル
１２４ 参照画像
１２６ 決定された動き予測モード
１２７ 順方向予測画像
１２８ 両方向予測画像
１２９ 逆方向予測画像
１３０ 背景予測画像
１３３ 第３のフレームメモリからの参照画像
１３４、１３５、１３６ 選択された局部復号化画像
１３８ オブジェクト識別信号
１４０ 制御信号
１４１ 差分ベクトル

Claims (2)

1. フレームメモリ群に格納された参照画像を参照して、動画像信号の各フレームを所定の単位に分割した符号化単位領域ごとに動き補償予測を行って圧縮符号化を行う画像符号化装置において、
   符号化の後局所復号された各フレームを前記参照画像として前記フレームメモリ群に格納するに際して、符号化した順に前記フレームメモリ群に格納する順次参照画像書き換え手順によって書き換えられる前記フレームメモリ群中の第１のフレームメモリと、前記順次参照画像書き換え手順による書き換えとは独立の手順により参照画像を書き換えることを示す制御信号に対応して決まり、符号化の後局所復号された各フレームを前記参照画像として前記フレームメモリ群に格納するに際して、前記順次参照画像書き換え手順と独立して参照画像を書き換える参照画像書き換え手順によって書き換えられる前記フレームメモリ群中の第２のフレームメモリとに記憶される複数の参照画像から、動き補償予測に用いる１つまたは複数の参照画像をピクチャごとに選択し、該ピクチャ内のマクロブロックごとに、該選択された参照画像の中から動き予測効率のよい１つないしは複数の参照画像を定めて、該マクロブロックごとに利用する参照画像に基づいて動きベクトルを求めて出力するとともに、該マクロブロックごとに動き補償予測に利用する参照画像を特定する情報を予測モードとして生成する動き補償予測手段
   を有することを特徴とする画像符号化装置。
2. 動画像信号の各フレームを所定の単位に分割した符号化単位領域ごとに動き補償予測を行って圧縮符号化されたビットストリームを入力とし、フレームメモリ群に格納された参照画像を参照して動画像信号を復元する画像復号化装置において、
   上記圧縮符号化ビットストリームから、動き補償予測の単位となる符号化単位領域ごとに対応する動きベクトルおよび予測モードを復号する復号手段と、
   符号化の後局所復号された各フレームを前記参照画像として前記フレームメモリ群に格納するに際して、符号化した順に前記フレームメモリ群に格納する順次参照画像書き換え手順によって書き換えられる前記フレームメモリ群中の第１のフレームメモリと、前記順次参照画像書き換え手順による書き換えとは独立の手順により参照画像を書き換えることを示す制御信号に対応して決まり、符号化の後局所復号された各フレームを前記参照画像として前記フレームメモリ群に格納するに際して、前記順次参照画像書き換え手順と独立して参照画像を書き換える参照画像書き換え手順によって書き換えられる前記フレームメモリ群中の第２のフレームメモリとに記憶される複数の参照画像から、動き補償予測に用いる１つまたは複数の参照画像をピクチャごとに選択し、該選択された参照画像のうち動き補償予測に利用する参照画像をマクロブロックごとの予測モードに基づいて選択して動き補償予測を行う動き補償予測手段と
   を有することを特徴とする画像復号化装置。

Images