JP2003125411A - 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム - Google Patents

Abstract

(57)【要約】 【課題】 動画像の画像情報のカメラパラメータを求め
る方法で、画面全体の予測誤差を小さくし、隣接画素間
の予測誤差の変化が急でも、符号化データの符号量を小
さくすることが可能な画像符号化装置及び画像復号装置
を提供する。 【解決手段】 本発明の画像符号化装置は、現画像の画
像を入力する画像入力部101と、グローバル動きベクト
ルを求めるグローバル動き探索部104と、グローバル動
きベクトルにより予測画像を作成するグローバル動き補
償部105と、予測画像を使い、現画像の動き探索を行う
グローバル動き再探索部106と、グローバル動き再探索
部106で求めた動きベクトルを使い、上記予測画像か
ら、新たに予測画像を作成するグローバル動き再補償部
107と、新たな予測画像を使い、入力画像を符号化する
符号化部102と、グローバル動き再補償部107の予測画像
を使い、符号化データを復号する復号部103と、復号画
像を蓄積する参照画像メモリ111とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本願発明は、フレーム間予測
符号化を用いて動画像の符号化及び復号を各々行う画像
符号化装置及び画像復号装置に係わるものである。

【０００２】

【従来の技術】近年、情報化社会の発展に伴い、通信メ
ディアにおける画像と音声との統合、すなわち、オーデ
ィオビジュアル化の要求が非常に高まり、その一例とし
てテレビ会議やテレビ電話システムなどが実用化されて
いる。このような画像処理システムにおいて、経済的な
画像通信を実現するためには動画の圧縮を行う画像符号
化技術が必須となる。

【０００３】この動画の圧縮を行う画像符号化技術とし
て、相関度の高いマクロブロックと、動きベクトルとを
用いてフレーム間予測符号化を行う動き補償符号化（動
画符号化）方法がある。ここで、画面全体の動きベクト
ル（グローバル動きベクトルと呼ぶ）を使って、フレー
ム間予測符号化をするグローバル動き補償符号化方法が
ある。このグローバル動き補償符号化方法は、マクロブ
ロック毎の動きベクトルを使う通常の動き補償符号化方
法に対して、パンやズームと言ったカメラパラメータを
グローバル動きベクトルで表現する。

【０００４】このため、グローバル動き補償符号化方法
は、カメラパラメータのある動画像を符号化する際に、
マクロブロック毎の動きベクトルをまとめてグローバル
動きベクトルとして符号化することができ、画像圧縮に
おける符号化効率を、従来のマクロブロック単位の符号
化方法に比較して向上させることができる。このグロー
バル動き補償符号化方法で使用するグローバル動きベク
トルとしては、例えば、画面の四頂点の動きベクトルを
符号化する方法や、”上倉、渡辺著「動画像符号化にお
けるグローバル動き補償法」信学論（B-I）、Vo1.J76-B
-I、No.12、pp.944-952（1993）”に記載されているカ
メラパラメータ（ｘ、ｙ、ｚ）を符号化する方法等が挙
げられる。

【０００５】画面の四頂点の動きベクトルを符号化する
方法においては、画面全体が一様に横方向にパンする画
像の場合、画面が横方向にパンするように、四頂点の動
きベクトルを符号化すれば良い。このとき、画面の四頂
点の動きベクトルを符号化する方法においては、画面全
体で動きベクトルをまとめて符号化するため、マクブロ
ック毎の動きベクトルが’０ベクトル（隣接するマクロ
ブロック間の動きが無い状態）’となる。一方、カメラ
パラメータを求める方法の中には、撮影時のカメラのカ
メラパラメータの状態を使用する方法もあるが、動画像
の画像情報からカメラパラメータを求める方法もある。

【０００６】例えば、動画像の画像情報からカメラパラ
メータを求める方法においては、まず全マクロブロック
の動きベクトルを求め、画面全体で最も多い動きベクト
ルをグローバル動きベクトルとする方法もある。ここ
で、マクロブロックの動きベクトルを求める方法として
は、符号化を行う現画像のマクロブロック内の画素と、
参照画像のマクロブロック内の画素との絶対値差分和が
最小となる、各々のマクロブロックの相対的な位置の距
離を、動きベクトルとする方法等が挙げられる。

【０００７】また、グローバル動き補償符号化方法で
は、さらにマクロブロック毎にグローバル動きベクトル
を使って符号化するかどうかを選択することも可能であ
る。すなわち、この符号化方法の選択は、画面内に異な
る動きを持つ背景と前景があるとき、それぞれに対し
て、通常の補償符号化方法を用いるか、またはグローバ
ル動き補償符号化方法を用いるかを選択することによ
り、より符号化率を向上させることが出来る場合に有効
である．例えば、背景領域のマクロブロックに対しては
グローバル動きベクトルを使い、一方、前景領域のマク
ロブロックに対してはグローバル動きベクトルを使わず
にマクロブロックの動きベクトルを使うことにより、補
償するデータ量に対応してより有効な符号化方法が選択
できることとなる。

【０００８】

【発明が解決しようとする課題】しかしながら、上述し
た動画像の画像情報からカメラパラメータを求める方法
においては、必ずしも撮影時のカメラパラメータを正確
に求めることができるとは限らない。例えば、マクロブ
ロックの動きベクトルを求める場合に、絶対値差分和を
使って求める方法を用いると、一般的に個々の動きベク
トルとカメラパラメータの動き方向とは必ずしも一致し
ていない。このため、動画像の画像情報からカメラパラ
メータを求める方法には、グローバル動き補償における
画面全体の予測誤差は必ずしも小さくはならないという
欠点がある。

【０００９】また、一般的に求められた予測誤差は、さ
らに圧縮作業を行うために、直交変換されて符号化され
る場合が多い。この直交変換においては、隣接画素間の
変化が大きいほど、直交変換後の高次の係数が多く発生
する傾向があり、予測誤差の変化が急峻なほど符号化後
の符号量が多くなってしまう。従って、動画像の画像情
報からカメラパラメータを求める方法においては、仮
に、ほぼ正確なカメラパラメータが得られて、予測誤差
が小さくなった場合であっても、隣接画素間の予測誤差
の変化が急な場合に符号量が大きく増加してしまう問題
がある。

【００１０】本発明はこのような背景の下になされたも
ので、動画像の画像情報からカメラパラメータを求める
方法において、画面全体の予測誤差を小さくし、かつ、
隣接画素間の予測誤差の変化が急な場合でも、予測誤差
の大きさに対応させて符号量を小さくすることが可能な
画像符号化装置及び画像復号装置を提供する。

【００１１】

【課題を解決するための手段】本発明の画像符号化装置
は、グローバル動き補償符号化方式を使って動画像を符
号化する画像符号化装置であり、現フレームの画像（現
画像）を入力する画像入力部と、現フレームと参照フレ
ームとの間のグローバル動きベクトルを求めるグローバ
ル動き探索部と、グローバル動きベクトルを使って参照
フレームの画像（参照画像）から予測画像を作成するグ
ローバル動き補償部と、前記グローバル動き補償部で作
成した予測画像を使って、現フレームの画像（現画像）
を分割した領域毎に動き探索を行うグローバル動き再探
索部と、前記グローバル動き再探索部で求めた動きベク
トルを使って、前記グローバル動き補償部で作成した予
測画像から、新たに予測画像を作成するグローバル動き
再補償部と、前記グローバル動き再補償部で求めた予測
画像を使って、前記領域毎に入力画像を符号化する符号
化部と、前記グローバル動き再補償部で求めた予測画像
を使って、前記領域毎に符号化データを復号し、復号画
像として出力する復号部と、該復号画像を蓄積する参照
画像メモリとを備えることを特徴とする。

【００１２】本発明の画像符号化装置は、現フレームを
分割した領域ごとの動きベクトルを入力する動きベクト
ル入力部と、現フレームを分割した領域ごとの動き補償
のための予測画像を作成する動き補償部と、前記符号化
部と前記復号部で使用する予測画像を、動き補償部で作
成した予測画像とグローバル動き再補償部で作成した予
測画像から選択する動き補償選択部とを備えることを特
徴とする。

【００１３】本発明の画像復号装置は、グローバル動き
補償符号化方式を使って動画像を復号する画像復号装置
であり、グローバル動きベクトルを使って参照フレーム
から予測画像を作成するグローバル動き補償部と、現フ
レームを分割した領域毎の動きベクトルを使って、前記
グローバル動き補償部で作成した予測画像から，新たに
予測画像を作成するグローバル動き再補償部と、前記グ
ローバル動き再補償部で求めた予測画像を使って領域毎
に符号化データを復号して、復号画像として出力する復
号部と、該復号画像を蓄積する参照画像メモリとを備え
ることを特徴とする。

【００１４】本発明の画像復号装置は、現フレームを分
割した領域ごとの動き補償のための予測画像を作成する
動き補償部と、前記復号部で使用する予測画像を、前記
動き補償部で作成した予測画像と前記グローバル動き再
補償部とで作成した予測画像から選択する動き補償選択
部とを備えることを特徴とする。

【００１５】本発明の画像符号化方法は、グローバル動
き補償符号化方式を使って動画像を符号化する画像符号
化方法であり、現フレームの画像を入力する画像入力過
程と、現フレームと参照フレームとの間のグローバル動
きベクトルが求められるグローバル動き探索過程と、グ
ローバル動きベクトルを使って参照フレームの画像から
予測画像が作成されるグローバル動き補償過程と、前記
グローバル動き補償過程で作成された予測画像を使っ
て、現フレームを分割した領域毎に、動き探索が行われ
るグローバル動き再探索過程と、前記グローバル動き再
探索過程で求めた動きベクトルを使って、前記グローバ
ル動き補償過程で作成された予測画像から、新たに予測
画像が作成されるグローバル動き再補償過程と、前記グ
ローバル動き再補償過程で求められた予測画像を使っ
て、入力画像が前記領域毎に符号化される符号化過程
と、前記グローバル動き再補償過程で求められた予測画
像を使って、符号化データが前記領域毎に復号され、復
号画像として出力される復号過程と、該復号画像が参照
画像メモリに蓄積される参照画像蓄積過程とを有するこ
とを特徴とする。

【００１６】本発明の画像符号化方法は、現フレームを
分割した領域ごとの動きベクトルが入力される動きベク
トル入力過程と、現フレームの画像（現画像）を分割し
た領域ごとの動き補償のための予測画像が作成される動
き補償過程と、前記符号化過程と前記復号過程で使用さ
れる予測画像が、動き補償過程で作成した予測画像とグ
ローバル動き再補償過程で作成した予測画像から選択さ
れる動き補償選択過程とを有することを特徴とする。

【００１７】本発明の画像復号方法は、グローバル動き
補償符号化方式を使って動画像を復号する画像復号方法
であり、グローバル動きベクトルを使って参照フレーム
の画像（参照画像）から予測画像が作成されるグローバ
ル動き補償過程と、現フレームを分割した領域毎の動き
ベクトルを使って、前記グローバル動き補償過程で作成
された予測画像から、新たに予測画像が作成されるグロ
ーバル動き再補償過程と、前記グローバル動き再補償過
程で求めた予測画像を使って領域毎に、符号化データが
復号されて、復号画像として出力される復号過程と、該
復号画像が参照画像メモリに蓄積される参照画像蓄積過
程とを有することを特徴とする。

【００１８】本発明の画像復号方法は、現フレームを分
割した領域ごとの動き補償のための予測画像が作成され
る動き補償過程と、前記復号過程で使用される予測画像
が、前記動き補償過程で作成した予測画像と前記グロー
バル動き再補償過程とで作成した予測画像から選択され
る動き補償選択過程とを有することを特徴とする。

【００１９】本発明の画像符号化プログラムは、グロー
バル動き補償符号化方式を使って動画像を符号化する上
記画像符号化装置を動作させる画像符号化プログラムで
あり、現フレームの画像を入力する画像入力処理と、現
フレームと参照フレームとの間のグローバル動きベクト
ルが求められるグローバル動き探索処理と、グローバル
動きベクトルを使って参照フレームの画像から予測画像
が作成されるグローバル動き補償処理と、前記グローバ
ル動き補償処理で作成された予測画像を使って、現フレ
ームを分割した領域毎に、動き探索が行われるグローバ
ル動き再探索処理と、前記グローバル動き再探索処理で
求めた動きベクトルを使って、前記グローバル動き補償
処理で作成された予測画像から、新たに予測画像が作成
されるグローバル動き再補償処理と、前記グローバル動
き再補償処理で求められた予測画像を使って、入力画像
が前記領域毎に符号化される符号化処理と、前記グロー
バル動き再補償処理で求められた予測画像を使って、符
号化データが前記領域毎に復号され、復号画像として出
力される復号処理と、該復号画像が参照画像メモリに蓄
積される参照画像蓄積処理とをコンピュータに実行させ
ることを特徴とする。

【００２０】本発明の画像復号プログラムは、グローバ
ル動き補償符号化方式を使って動画像を復号する上記画
像復号装置を動作させる画像復号プログラムであり、グ
ローバル動きベクトルを使って参照フレームから予測画
像が作成されるグローバル動き補償処理と、現フレーム
を分割した領域毎の動きベクトルを使って、前記グロー
バル動き補償処理で作成された予測画像から、新たに予
測画像が作成されるグローバル動き再補償処理と、前記
グローバル動き再補償処理で求めた予測画像を使って領
域毎に、符号化データが復号されて、復号画像として出
力される復号処理と、該復号画像が参照画像メモリに蓄
積される参照画像処理とをコンピュータに実行させるこ
とを特徴とする。

【００２１】本発明のコンピュータ読み取り可能な記録
媒体は、グローバル動き補償符号化方式を使って動画像
を符号化する上記画像符号化装置を動作させる画像符号
化プログラムを記憶した記録媒体であり、現フレームの
画像を入力する画像入力処理と、現フレームと参照フレ
ームとの間のグローバル動きベクトルが求められるグロ
ーバル動き探索処理と、グローバル動きベクトルを使っ
て参照フレームの画像から予測画像が作成されるグロー
バル動き補償処理と、前記グローバル動き補償処理で作
成された予測画像を使って、現フレームを分割した領域
毎に、動き探索が行われるグローバル動き再探索処理
と、前記グローバル動き再探索処理で求めた動きベクト
ルを使って、前記グローバル動き補償処理で作成された
予測画像から、新たに予測画像が作成されるグローバル
動き再補償処理と、前記グローバル動き再補償処理で求
められた予測画像を使って、入力画像が前記領域毎に符
号化される符号化処理と、前記グローバル動き再補償処
理で求められた予測画像を使って、符号化データが前記
領域毎に復号され、復号画像として出力される復号処理
と、該復号画像が参照画像メモリに蓄積される参照画像
蓄積処理とをコンピュータに実行させる画像符号化プロ
グラムを記録している。

【００２２】本発明のコンピュータ読み取り可能な記録
媒体は、グローバル動き補償符号化方式を使って動画像
を復号する上記画像復号装置を動作させる画像復号プロ
グラムを記憶した記憶媒体であり、グローバル動きベク
トルを使って参照フレームから予測画像が作成されるグ
ローバル動き補償処理と、現フレームを分割した領域毎
の動きベクトルを使って、前記グローバル動き補償処理
で作成された予測画像から、新たに予測画像が作成され
るグローバル動き再補償処理と、前記グローバル動き再
補償処理で求めた予測画像を使って領域毎に、符号化デ
ータが復号されて、復号画像として出力される復号処理
と、該復号画像が参照画像メモリに蓄積される参照画像
処理とをコンピュータに実行させる画像復号プログラム
を記憶している。

【００２３】上述した本発明の画像符号化装置によれ
ば、グローバル動き再探索部が一旦グローバル動き補償
により作成した予測画像内を再探索して、グローバル動
きベクトル（グローバル動きベクトルＧＭＶ）より予測
誤差や予測誤差の変化の少ない（隣接する画素の予測誤
差の変化の少ない）動きベクトル（動きベクトルＭＶＲ
Ｇ）を求めることが可能である。上記動きベクトル（動
きベクトルＭＶＲＧ）によって、グローバル動き再補償
部において、グローバル動き補償部が作成した予測画像
から、新たな予測画像を作成する方法をグローバル動き
再補償と呼ぶこととする。

【００２４】これによりグローバル動き補償だけでは、
予測誤差が多く発生する場合に、より予測誤差を低減す
ることが可能となる。また、本発明の画像符号化装置に
よれば、グローバル動き再探索部が、グローバル動き補
償によって拡大や回転された画像内を探索するため、通
常の動き補償方式のように平行移動によって作成される
予測画像のみを用いる場合よりも、予測誤差の少ない予
測画像を作成することが可能である．

【００２５】なお、上述した本発明の画像符号化装置に
よれば、グローバル動き探索部とグローバル動き再探索
部では、参照フレーム（参照画像）として、過去の入力
画像を使用する方法と、参照画像メモリに蓄積した復号
画像とを使用する方法のいずれかを用いることができ
る。

【００２６】上述した本発明の画像復号装置によれば、
すでに述べた画像符化装置に対して、通常の動き補償に
よって求めた予測画像と、グローバル動き再補償によっ
て求めた予測画像とから、予測誤差の少ない方を選択す
ることが可能である。以上のことから、本発明の画像符
号化装置及び画像復号装置によれば、前景と背景がある
画像において、グローバル動き補償とグローバル動き再
補償とを背景領域の符号化に使い、通常の動き補償を前
景領域の符号化に使うことにより、参照可能な画像を増
加させることができ、画像圧縮における符号化効率を向
上することが可能である。

【００２７】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態による画像符号化装置及び画像復号装置について
説明する。この実施形態による画像符号化装置及び画像
復号装置においては、マクロブロック単位に、通常の動
き補償とグローバル動き再補償とを、適時選択して行う
ものとする。

【００２８】＜画像符号化装置＞図１は本発明の一実施
形態による画像符号化装置の構成例を示すブロック図で
ある。この実施形態による画像符号化装置は、画像入力
部１０１，符号化部１０２，復号部１０３，グローバル
動き探索部１０４，グローバル動き補償部１０５，グロ
ーバル動き再探索部１０６，グローバル動き再補償部１
０７，参照画像メモリ１１１，動きベクトル入力部１１
０，動き補償部１０８，動き補償選択部１０９の他に、
動き補償部１０８及びグローバル動き再補償部１０７に
おいて作成された予測画像と、現画像との差分を計算
し、最も差分の小さい予測画像を選択する差分評価部１
１２を備えている。

【００２９】差分評価部１１２は、上記差分を、マクロ
ブロック（現画像や参照画像を所定の大きさに分割した
領域）内の絶対値差分和Ｗに基づき計算し、絶対値差分
和が最も小さい予測誤差の予測画像を、差分が最も小さ
い予測画像として選択する。以下、動き補償部１０８は
予測画像Ｌを作成し、グローバル動き再補償部１０７は
グローバル動き補償部１０５の作成した予測画像から新
たな予測画像Ｇを作成する。また、動きベクトル入力部
１１０は現画像と参照画像との動きベクトルＭＶＬを出
力し、グローバル動き再探索部１０７は動きベクトＭＶ
ＲＧを作成するものとする。

【００３０】さらに、グローバル動きベクトルは、画面
四頂点Ｐ、Ｑ、Ｒ、Ｓの動きベクトル(ＰＸ，ＰＹ)，
(ＱＸ，ＱＹ)，(ＲＸ，ＲＹ)，(ＳＸ，ＳＹ)の組で表さ
れるものとし、ここでは簡略化するためグローバル動き
ベクトルＧＭＶに対してそれぞれの値をＧＭＶ1〜ＧＭ
Ｖ８で表すものとする。例えば、（ＰＸ，ＰＹ）＝（Ｇ
ＭＶ１，ＧＭＶ２），…，（ＳＸ，ＳＹ）＝（ＧＭＶ
７，ＧＭＶ８）。そして、グローバル動き探索部１０４
においては、動きベクトル入力部１１０から得られる、
現画像と予測画像とのマクロブロック毎の動きベクトル
のヒストグラムを作成し、最も使用頻度の高い動きベク
トルをグローバル動きベクトルとする。

【００３１】グローバル動き探索部１０４、グローバル
動き補償部１０５、グローバル動き再探索部１０６、グ
ローバル動き再補償部１０７で使用される参照画像とし
ては、参照画像メモリ１１１に蓄積してある復号画像を
使用するものとする。このような前提において、画像入
力部１０１から入力される現画像は、以下に示す順番で
符号化される。まず、グローバル動き探索部１０４は、
上記現画像と参照画像とに基づき、相対的な位置を示す
ローバル動きベクトルＧＭＶを求める。このとき、グロ
ーバル動きベクトルＧＭＶは、各々ＧＭＶ１＝２、ＧＭ
Ｖ２＝２、ＧＭＶ３＝２、ＧＭＶ４＝２、ＧＭＶ５＝
２、ＧＭＶ６＝２、ＧＭＶ７＝２、ＧＭＶ８＝２として
求められたとする。

【００３２】グローバル動き補償部１０５は、グローバ
ル動きベクトルＧＭＶを使って、参照画像から予測画像
を作成する。グローバル動き補償部１０５における参照
画像から予測画像の作成方法を図２を用いて説明する。
図２は、参照画像から予測画像の作成方法を説明する画
面の構成の概念図である。図２において、画面内の各画
素の画像情報が得られない領域Ａでは、グローバル動き
補償部１０５により、この画像情報の得られない各画素
と隣接する、画像情報の得られている領域Ｂの外周画素
を検出し、領域Ａの各画素の画像情報として、この隣接
する外周画素の画像情報と同じ値を縦横方向に埋めて、
画像情報が作成されるものとする。ここで、領域Ａは予
測画像における太い波線で囲まれた部分であり、領域Ｂ
は予測画像においてこの太い波線で囲まれている領域Ａ
以外の部分を示している。

【００３３】次に、各マクロブロックに対して、以下に
示すような符号化を行う。まず、グローバル動き再探索
部１０６は、現画像内のマクロブロック毎に、この予測
画像内をブロックマッチング方法により探索（再探索）
し、グローバル動きベクトルＧＭＶより、予測誤差及び
予測誤差の変化の少ない動きベクトルＭＶＲＧを求め
る。

【００３４】このとき、グローバル動き再探索部１０６
は、グローバル動き補償によって、参照画像に対して拡
大や回転が行われて生成された予測画像内を探索し、動
きベクトルＭＶＲＧを求めるため、通常の動き補償方式
のように平行移動によって作成される予測画像のみを用
いる場合よりも、予測誤差の少ない予測画像を作成す
る。このとき、グローバル動き補償部１０５で作成され
た予測画像が参照画像として用いられる。そして、グロ
ーバル動き再補償部１０７は、上記動きベクトルＭＶＲ
Ｇを使って、グローバル動き補償部１０５の作成した予
測画像から、新たに予測画像Ｇの作成を行う。

【００３５】また、このとき、動き補償部１０８は、動
きベクトルＭＶＬを使って、参照画像メモリ１１１のこ
の動きベクトルＭＶＬに対応した参照画像に基づき、予
測画像Ｌの作成を行う。そして、動き補償選択部１０９
は、動き補償切り替え部１１３の接続を変更、すなわ
ち、予測画像Ｇが差分評価部１１２へ供給されるように
選択する。これにより、差分評価部１１２は、画像入力
部１０１から入力される現画像と、グローバル動き補償
部１０７から供給される予測画像Ｇとの絶対値差分和Ｗ
Ｇを求める。

【００３６】次に、動き補償選択部１０９は、動き補償
切り替え部１１３の接続を変更、すなわち、予測画像Ｌ
が差分評価部１１２へ供給されるように選択する。これ
により、差分評価部１１２は、現画像と予測画像Ｌとの
絶対値差分和ＷＬを求める。そして、差分評価部１１２
は、上述したように求めた絶対値差分和ＷＬと、絶対値
差分和ＷＧとの大小関係を求める。この結果、差分評価
部１１２は、絶対値差分和の値の小さい方の画像を、符
号化に用いる予測画像として、符号化部１０２へ供給す
る。これにより、符号化部１０２は、動き補償切り替え
部１１３を介して供給される予測画像の符号化を行い、
符号化データとして出力する。そして、復号部１０３
は、この符号化データの復号を行う。

【００３７】このとき、符号化部１０２は、使用した予
測画像が動き補償部１０８からの予測画像なのか、グロ
ーバル動き再補償部１０７からの予測画像なのかを指定
する動き選択フラグＦｍを符号化データに含める。ま
た、符号化部１０２は、動き補償部１０８からの予測画
像Ｌが使われた場合、動きベクトルＭＶＬを符号化デー
タに含め、一方、グローバル動き再補償部１０７からの
予測画像Ｇが使われた場合、動きベクトルＭＶＲＧを符
号化データに含める。

【００３８】なお、符号化部１０２は、グローバル動き
ベクトルＧＭＶを、フレーム毎に符号化データに含め
る。また、復号部１０３は、符号化データを復号して得
られた画像を、参照画像として参照画像メモリ１１１に
蓄積する。以上の手順により、現画像内のすべてのマク
ロブロックに対して、符号化処理を繰り返し処理する。

【００３９】＜画像復号装置＞次に、図３を用いて、本
願発明の一実施形態による画像復号装置の説明を行う。
図３は本発明の一実施形態による画像復号装置の構成例
を示すブロック図である。この実施形態による画像復号
装置は、復号器２０３，グローバル動き補償部２０５，
グローバル動き再保証部２０７，動き補償部２０８，動
き補償選択部２０９，参照画像メモリ２１１，動き補償
切り替え部２１０から構成されている。すでに述べた本
願発明の一実施形態による画像符号化装置において得ら
れた符号化データを、上記画像復号装置により復号する
手順を示す。

【００４０】まず、復号部２０３は、符号化データの中
からグローバル動きベクトルＧＭＶを復号する。そし
て、グローバル動き補償部２０５は、参照画像メモリ２
１１に蓄積されている参照画像から、この復号したグロ
ーバル動きベクトルＧＭＶに基づき、予測画像の作成を
行う。また、グローバル動き補償部２０５における予測
画像の作成方法は、一実施形態による画像符号化装置の
グローバル動き補償部１０５と同様である。

【００４１】次に、復号部２０３は、入力される符号化
データをマクロブロック毎に、以下に示すように復号す
る。まず、動き補償選択部２０９は、符号化データに含
まれる動き選択フラグＦｍの復号を行う。そして、復号
部２０３は、動き選択フラグＦｍに従って復号するが、
通常の動き補償とグローバル動き再補償とが用いられた
場合によって復号方法が異なり、以下に各々の符号化方
法により、符号化された符号化データが復号される。

【００４２】（１）動き選択フラグＦｍがグローバル動
き再補償を示す場合 グローバル動き再補償部２０７は、符号化データ中に含
まれている動きベクトルＭＶＲＧの復号を行う。そし
て、グローバル動き補償部２０５で作成された予測画像
から、上記動きベクトルＭＶＲＧを使って、再保証した
予測画像の作成を行う。

【００４３】次に、動き補償選択部２０９は、動き補償
切り替え部２１０の切替を変更し、グローバル動き再保
証部２０７の再保証した予測画像を、復号部２０３で用
いる予測画像として選択する。そして、復号部２０３
は、供給される再保証された予測画像を使って、符号化
データの復号を行う。また、復号部２０３は、復号した
復号画像を、参照画像として参照画像メモリ２１１に蓄
積する。

【００４４】（２）動き選択フラグＦｍが通常の動き補
償を示す場合 動き補償部２０８は、符号化データ中に含まれる動きベ
クトルＭＶＬの復号を行う。そして、動き補償部２０８
は、復号された動きベクトルＭＶＬを使って、参照画像
メモリ２１１の参照画像から予測画像の作成を行う。こ
れにより、動き補償選択部２０９は、動き補償選択部２
０９の接続を変更し、動き補償部２０８の作成した予測
画像を、復号部２０３に供給する。すなわち、動き補償
選択部２０９は、動き補償部２０８の作成した予測画像
を、復号部２０３で用いる予測画像として選択する。

【００４５】そして、復号部２０３は、設定された予測
画像を使って符号化データの復号を行う。また、復号部
２０３は、符号化データを復号した復号画像を、参照画
像メモリ２１１に蓄積する。以上の手順を、符号化され
た現画像内のすべてのマクロブロックに対して、繰り返
し処理する。

【００４６】なお、グローバル動き補償符号化方法によ
れば、参照画像において画面全体の拡大や回転を行って
予測誤差を求めることも可能である。例えば、拡大を伴
うグローバル動き探索方法としては、"上倉、渡辺著「動
画像符号化におけるグローバル動き補償法」信学論(B-
I),Vol.J76-B-I,No.12,pp,944-952(1993)”に記載の方
法が挙げられる。

【００４７】上述したように、本実施形態の画像符号化
装置及び画像復号装置によれば、一旦グローバル動き補
償により作成した予測画像内を再探索して、より予測誤
差や予測誤差の変化の少ない動きベクトルを求めること
ができる。これにより、本実施形態の画像符号化装置及
び画像復号装置によれば、グローバル動き補償だけでは
予測誤差が多く発生する場合に、より予測誤差を低減し
符号化効率を向上することが可能となる。

【００４８】さらに、本実施形態の画像符号化装置及び
画像復号装置によれば、通常の動き補償によって求めた
予測画像と、グローバル動き再補償によって求めた予測
画像とから、予測誤差の少ない方の予測画像を選択し
て、この予測画像を符号化して符号化データとして用い
ることが可能である。加えて、本実施形態の画像符号化
装置及び画像復号装置によれば、前景と背景とがある画
像において、グローバル動き補償とグローバル動き再補
償とを背景領域の符号化に使い、通常の動き補償を前景
領域の符号化に使うことにより、符号化に用いる参照画
像を増加させることができ、より符号化効率を向上する
ことが可能である。

【００４９】なお、上記した本発明実施形態において
は、画像符号化装置及び画像復号装置のそれぞれで実行
される手順をコンピュータ読取り可能な記録媒体に記録
し、この記録媒体に記録されたプログラムをコンピュー
タシステムに読み込ませ、実行することにより本発明の
利用者属性登録情報自動更新装置が実現されるものとす
る。ここでいうコンピュータシステムとは、ＯＳや周辺
機器等のハードウアを含むものである。

【００５０】更に、「コンピュータシステム」は、ＷＷ
Ｗシステムを利用している場合であれば、ホームページ
提供環境（あるいは表示環境）も含むものとする。ま
た、「コンピュータ読取り可能な記録媒体」とは、フレ
キシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−Ｒ
ＯＭ等の可搬媒体、コンピュータシステムに内蔵される
ハードディスク等の記憶装置のことをいう。さらに「コ
ンピュータ読取り可能な記録媒体」とは、インターネッ
ト等のネットワークや電話回線等の通信回線を介してプ
ログラムが送信された場合のシステムやクライアントと
なるコンピュータシステム内部の揮発性メモリ（ＲＡ
Ｍ）のように、一定時間プログラムを保持しているもの
も含むものとする。

【００５１】また、上記プログラムは、このプログラム
を記憶装置等に格納したコンピュータシステムから、伝
送媒体を介して、あるいは、伝送媒体中の伝送波により
他のコンピュータシステムに伝送されてもよい。ここ
で、プログラムを伝送する「伝送媒体」は、インターネ
ット等のネットワーク（通信網）や電話回線等の通信回
線（通信線）のように情報を伝送する機能を有する媒体
のことをいう。また、上記プログラムは、前述した機能
の一部を実現するためのものであっても良い。さらに、
前述した機能をコンピュータシステムにすでに記録され
ているプログラムとの組み合わせで実現できるもの、い
わゆる差分ファイル（差分プログラム）であっても良
い。

【００５２】以上、本発明の一実施形態を図面を参照し
て詳述してきたが、具体的な構成はこの実施形態に限ら
れるものではなく、本発明の要旨を逸脱しない範囲の設
計変更等があっても本発明に含まれる。

【００５３】

【発明の効果】本発明の画像符号化装置及び画像復号装
置によれば、動画像の画像情報からカメラパラメータと
して求めたグローバル動きベクトルを用いたグローバル
動き補償において、予測誤差を低減し、画像圧縮におけ
る符号化効率を向上することができる。

【図面の簡単な説明】

【図１】 本発明の一実施形態による画像符号化装置の
構成例を示すブロック図である。

【図２】 本発明の一実施形態によるグローバル動き補
償における予測画像の生成方法の概念を示す図である。

【図３】 本発明の一実施形態による画像復号装置の構
成例を示すブロック図である。

【符号の説明】

１０１ 画像入力部 １０２ 符号化部 １０３，２０３ 復号部 １０４ グローバル動き探索部 １０５ グローバル動き補償部 １０６ グローバル動き再探索部 １０７，２０７ グローバル動き再補償部 １０８，２０８ 動き補償部 １０９，２０９ 動き補償選択部 １１０ 動きベクトル入力部 １１１，２１１ 参照画像メモリ １１２ 差分評価部 １１３，２１０ 動き補償切り替え部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK22 MA05 NN03 NN27 NN28 PP04 RA01 SS07 SS08 TA62 TB04 TC03 TD10 UA02 UA05 UA39 5J064 AA01 BA13 BB03 BC01 BC29 BD03

Claims (12)

【特許請求の範囲】
1. 【請求項１】 グローバル動き補償符号化方式を使って
   動画像を符号化する画像符号化装置であり、 現フレームの画像を入力する画像入力部と、 現フレームと参照フレームとの間のグローバル動きベク
   トルを求めるグローバル動き探索部と、 グローバル動きベクトルを使って参照フレームの画像か
   ら予測画像を作成するグローバル動き補償部と、 前記グローバル動き補償部で作成した予測画像を使っ
   て、現フレームを分割した領域毎に動き探索を行うグロ
   ーバル動き再探索部と、 前記グローバル動き再探索部で求めた動きベクトルを使
   って、前記グローバル動き補償部で作成した予測画像か
   ら、新たに予測画像を作成するグローバル動き再補償部
   と、 前記グローバル動き再補償部で求めた予測画像を使っ
   て、前記領域毎に入力画像を符号化する符号化部と、 前記グローバル動き再補償部で求めた予測画像を使っ
   て、前記領域毎に符号化データを復号し、復号画像とし
   て出力する復号部と、 該復号画像を蓄積する参照画像メモリとを備えることを
   特徴とする画像符号化装置。
2. 【請求項２】 現フレームを分割した領域ごとの動きベ
   クトルを入力する動きベクトル入力部と、 現フレームを分割した領域ごとの動き補償のための予測
   画像を作成する動き補償部と、 前記符号化部と前記復号部で使用する予測画像を、動き
   補償部で作成した予測画像とグローバル動き再補償部で
   作成した予測画像から選択する動き補償選択部とを備え
   ることを特徴とする請求項１に記載の画像符号化装置。
3. 【請求項３】 グローバル動き補償符号化方式を使って
   動画像を復号する画像復号装置であり、 グローバル動きベクトルを使って参照フレームの画像か
   ら予測画像を作成するグローバル動き補償部と、 現フレームを分割した領域毎の動きベクトルを使って、
   前記グローバル動き補償部で作成した予測画像から，新
   たに予測画像を作成するグローバル動き再補償部と、 前記グローバル動き再補償部で求めた予測画像を使って
   領域毎に符号化データを復号して、復号画像として出力
   する復号部と、 該復号画像を蓄積する参照画像メモリとを備えることを
   特徴とする画像復号装置。
4. 【請求項４】 現フレームを分割した領域ごとの動き補
   償のための予測画像を作成する動き補償部と、 前記復号部で使用する予測画像を、前記動き補償部で作
   成した予測画像と前記グローバル動き再補償部とで作成
   した予測画像から選択する動き補償選択部とを備えるこ
   とを特徴とする請求項３に記載の画像復号装置。
5. 【請求項５】 グローバル動き補償符号化方式を使って
   動画像を符号化する画像符号化方法であり、 現フレームの画像を入力する画像入力過程と、 現フレームと参照フレームとの間のグローバル動きベク
   トルが求められるグローバル動き探索過程と、 グローバル動きベクトルを使って参照フレームの画像か
   ら予測画像が作成されるグローバル動き補償過程と、 前記グローバル動き補償過程で作成された予測画像を使
   って、現フレームを分割した領域毎に、動き探索が行わ
   れるグローバル動き再探索過程と、 前記グローバル動き再探索過程で求めた動きベクトルを
   使って、前記グローバル動き補償過程で作成された予測
   画像から、新たに予測画像が作成されるグローバル動き
   再補償過程と、 前記グローバル動き再補償過程で求められた予測画像を
   使って、入力画像が前記領域毎に符号化される符号化過
   程と、 前記グローバル動き再補償過程で求められた予測画像を
   使って、符号化データが前記領域毎に復号され、復号画
   像として出力される復号過程と、 該復号画像が参照画像メモリに蓄積される参照画像蓄積
   過程とを有することを特徴とする画像符号化方法。
6. 【請求項６】 現フレームを分割した領域ごとの動きベ
   クトルが入力される動きベクトル入力過程と、 現フレームを分割した領域ごとの動き補償のための予測
   画像が作成される動き補償過程と、 前記符号化過程と前記復号過程で使用される予測画像
   が、動き補償過程で作成した予測画像とグローバル動き
   再補償過程で作成した予測画像から選択される動き補償
   選択過程とを有することを特徴とする請求項５に記載の
   画像符号化方法。
7. 【請求項７】 グローバル動き補償符号化方式を使って
   動画像を復号する画像復号方法であり、 グローバル動きベクトルを使って参照フレームの画像か
   ら予測画像が作成されるグローバル動き補償過程と、 現フレームを分割した領域毎の動きベクトルを使って、
   前記グローバル動き補償過程で作成された予測画像か
   ら、新たに予測画像が作成されるグローバル動き再補償
   過程と、 前記グローバル動き再補償過程で求めた予測画像を使っ
   て領域毎に、符号化データが復号されて、復号画像とし
   て出力される復号過程と、 該復号画像が参照画像メモリに蓄積される参照画像蓄積
   過程とを有することを特徴とする画像復号装置。
8. 【請求項８】 現フレームを分割した領域ごとの動き補
   償のための予測画像が作成される動き補償過程と、 前記復号過程で使用される予測画像が、前記動き補償過
   程で作成した予測画像と前記グローバル動き再補償過程
   とで作成した予測画像から選択される動き補償選択過程
   とを有することを特徴とする請求項７に記載の画像復号
   方法。
9. 【請求項９】 グローバル動き補償符号化方式を使って
   動画像を符号化する請求項１及び２に記載の画像符号化
   装置を動作させる画像符号化プログラムであり、 現フレームの画像を入力する画像入力処理と、 現フレームと参照フレームとの間のグローバル動きベク
   トルが求められるグローバル動き探索処理と、 グローバル動きベクトルを使って参照フレームの画像か
   ら予測画像が作成されるグローバル動き補償処理と、 前記グローバル動き補償処理で作成された予測画像を使
   って、現フレームを分割した領域毎に、動き探索が行わ
   れグローバル動き再探索処理と、 前記グローバル動き再探索処理で求めた動きベクトルを
   使って、前記グローバル動き補償処理で作成された予測
   画像から、新たに予測画像が作成されるグローバル動き
   再補償処理と、 前記グローバル動き再補償処理で求められた予測画像を
   使って、入力画像が前記領域毎に符号化される符号化処
   理と、 前記グローバル動き再補償処理で求められた予測画像を
   使って、符号化データが前記領域毎に復号され、復号画
   像として出力される復号処理と、 該復号画像が参照画像メモリに蓄積される参照画像蓄積
   処理とをコンピュータに実行させることを特徴とする画
   像符号化プログラム。
10. 【請求項１０】 グローバル動き補償符号化方式を使っ
    て動画像を復号する請求項３及び４に記載の画像復号装
    置を動作させる画像復号プログラムであり、 グローバル動きベクトルを使って参照フレームの画像か
    ら予測画像が作成されるグローバル動き補償処理と、 現フレームを分割した領域毎の動きベクトルを使って、
    前記グローバル動き補償処理で作成された予測画像か
    ら、新たに予測画像が作成されるグローバル動き再補償
    処理と、 前記グローバル動き再補償処理で求めた予測画像を使っ
    て領域毎に、符号化データが復号されて、復号画像とし
    て出力される復号処理と、 該復号画像が参照画像メモリに蓄積される参照画像蓄積
    処理とをコンピュータに実行させることを特徴とする画
    像復号プログラム。
11. 【請求項１１】 グローバル動き補償符号化方式を使っ
    て動画像を符号化する請求項１及び２に記載の画像符号
    化装置を動作させる画像符号化プログラムを記憶した記
    録媒体であり、 現フレームの画像を入力する画像入力処理と、 現フレームと参照フレームとの間のグローバル動きベク
    トルが求められるグローバル動き探索処理と、 グローバル動きベクトルを使って参照フレームの画像か
    ら予測画像が作成されるグローバル動き補償処理と、 前記グローバル動き補償処理で作成された予測画像を使
    って、現フレームを分割した領域毎に、動き探索が行わ
    れグローバル動き再探索処理と、 前記グローバル動き再探索処理で求めた動きベクトルを
    使って、前記グローバル動き補償処理で作成された予測
    画像から、新たに予測画像が作成されるグローバル動き
    再補償処理と、 前記グローバル動き再補償処理で求められた予測画像を
    使って、入力画像が前記領域毎に符号化される符号化処
    理と、 前記グローバル動き再補償処理で求められた予測画像を
    使って、符号化データが前記領域毎に復号され、復号画
    像として出力される復号処理と、 該復号画像が参照画像メモリに蓄積される参照画像蓄積
    処理と をコンピュータに実行させる画像符号化プログラムを記
    録したコンピュータ読み取り可能な記憶媒体。
12. 【請求項１２】 グローバル動き補償符号化方式を使っ
    て動画像を復号する請求項３及び４に記載の画像復号装
    置を動作させる画像復号プログラムを記憶した記憶媒体
    であり、 グローバル動きベクトルを使って参照フレームの画像か
    ら予測画像が作成されるグローバル動き補償処理と、 現フレームを分割した領域毎の動きベクトルを使って、
    前記グローバル動き補償処理で作成された予測画像か
    ら、新たに予測画像が作成されるグローバル動き再補償
    処理と、 前記グローバル動き再補償処理で求めた予測画像を使っ
    て領域毎に、符号化データが復号されて、復号画像とし
    て出力される復号処理と、 該復号画像が参照画像メモリに蓄積される参照画像蓄積
    処理とをコンピュータに実行させる画像復号プログラム
    を記憶したコンピュータ読み取り可能な記憶媒体。