JP2003125409A - 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム - Google Patents

Abstract

(57)【要約】 【課題】 直前のフレームを参照するマクロブロックが
多く、逆に直前以外のフレームを参照するマクロブロッ
クが少ない場合、参照画像を参照する符号量を増加させ
ず、参照画像の選択が可能な画像符号化装置及び画像復
号装置を提供する。 【解決手段】 本発明は、参照画像と入力画像との差分
を求めるマクロブロックフレーム間差分計測部104と、
差分で符号化に用いる参照画像を決めるマクロブロック
参照番号決定部105と、求めた参照画像の番号を蓄積す
るマクロブロック参照番号蓄積部108と、マクロブロッ
ク参照番号により参照画像を選択する参照画像選択部10
7と、マクロブロック参照番号を符号化するマクロブロ
ック参照番号符号化部109と、マクロブロック参照番号
が、直前のマクロブロックのマクロブロック参照番号と
同一なブロック数を計数するマクロブロック参照番号カ
ウント部110と、ブロック数を符号化するマクロブロッ
ク参照番号カウント符号化部111とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本願発明は、フレーム間予測
符号化を用いて動画像の符号化及び復号を各々行う画像
符号化装置及び画像復号装置に係わるものである。

【０００２】

【従来の技術】近年、情報化社会の発展に伴い、通信メ
ディアにおける画像と音声との統合、すなわち、オーデ
ィオビジュアル化の要求が非常に高まり、その一例とし
てテレビ会議やテレビ電話システムなどが実用化されて
いる。このような画像処理システムにおいて、経済的な
画像通信を実現するためには動画の圧縮を行う画像符号
化技術が必須となる。

【０００３】この動画の圧縮を行う画像符号化技術とし
て、フレーム間の差分を符号化するフレーム間予測符号
化方法がある。このフレーム間予測符号化を用いた動画
像符号化において、複数の参照画像をフレーム単位やマ
クロブロック単位に選択する方法がある。

【０００４】動画像符号化方式Ｈ.２６３（動画像符号
化方式のITU-T国際標準）のＡｎｎｅｘＮやＡｎｎｅｘ
Ｕにおいて、エンコーダは予め複数の復号画像を蓄積で
きる参照画像メモリを備えておき、各フレームの符号化
データを復号すると、この参照画像メモリに復号画像を
蓄積していく。また、各マクロブロックを符号化する時
には、参照画像メモリから適当なフレームの画像を選択
し、それを参照画像にして符号化と復号を行う。

【０００５】一方、デコーダにおいても、予め複数の復
号画像を蓄積できる参照画像メモリを備えておき、各フ
レームの符号化データを復号した後、この参照画像メモ
リに復号画像を蓄積していく。そして、各マクロブロッ
クを復号する時には、参照画像メモリから適当なフレー
ムの画像を選択し、それを参照画像にして復号を行う。
特に、Ｈ.２６３ＡｎｎｅｘＵにおいては、マクロブロ
ック毎に予測誤差の少ない参照画像を選択することがで
きるため、画像圧縮における符号化効率を向上すること
ができる。

【０００６】上述したような符号化方法においては、フ
レームやマクロブロックに固有な番号を付し、この固有
な番号を用いて参照画像を指定する。例えば、Ｈ.２６
３ＡｎｎｅｘＵでは、直前のフレームを１番として、こ
の１番のフレームに対して相対的に過去のフレームに番
号を与え、この番号をフレーム番号として用いる。

【０００７】また、エンコーダでは、さらに画像の圧縮
効率を向上させるため、使用した参照画像を指定する上
記フレーム番号を可変長符号化を行う。この可変符号化
に用いる、フレーム番号と符号（可変長符号）との関係
を示す可変長符号化テーブルを図３に示す。例えば、直
前のフレームを指定する場合には、このフレームに対し
て「１」を出力し、２フレーム前のフレームを指定する
場合には「００１」を出力する。

【０００８】そして、エンコーダは、上述した可変長符
号化したフレーム番号を、マクロブロック毎に出力す
る。ここでは、マクロブロック毎に出力するフレーム番
号をマクロブロック参照番号と示すことにする。また、
デコーダでは、マクロブロック毎にマクロブロック参照
番号を復号し、復号結果から得られたフレーム番号に従
って、参照画像メモリから参照画像を選択する。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
た画像符号化方法においては、マクロブロック参照番号
を符号化するため、マクロブロック毎に少なくとも１ビ
ットのデータ量が必要となる。そのため、例えば、全て
のマクロブロックにおいて、直前のフレームを参照画像
に指定する場合、少なくとも、マクロブロック数分のビ
ット数が必要になる。

【００１０】従って、従来の画像符号化方法には、直前
のフレームを参照するマクロブロックが多く、逆に直前
以外のフレームを参照するマクロブロックが少ない場
合、参照画像を参照して用いることによる符号化効率の
向上分よりも、参照画像を指定する情報を符号化するた
めの符号量の増加による符号化効率の低下の方が大きく
なり、画像全体における符号化効率が低下してしまうと
いう問題がある。

【００１１】本発明はこのような背景の下になされたも
ので、直前のフレームを参照するマクロブロックが多
く、逆に直前以外のフレームを参照するマクロブロック
が少ない場合においても、参照画像を参照するための符
号量を増加させずに、対応する参照画像の選択が可能な
画像符号化装置及び画像復号装置を提供する事にある。

【００１２】

【課題を解決するための手段】本発明の画像符号化装置
は、画像を入力する画像入力部と、フレーム間予測符号
化を用いて入力画像を符号化する符号化部と、フレーム
間予測符号化を用いて符号化データを復号する復号部と
を備える画像符号化装置であり、複数フレーム分の復号
画像を蓄積する参照画像メモリと、該参照画像メモリに
蓄積された参照画像と、画像入力部から入力される入力
画像との間の、入力画像を分割した領域毎の画像情報の
差分を計測（演算）するマクロブロックフレーム間差分
計測部と、該マクロブロックフレーム間差分計測部によ
り計測された差分を用いて、前記参照画像メモリに蓄積
された参照画像のいずれかを、符号化に使用する参照画
像として領域毎に決定するマクロブロック参照番号決定
部と、前記マクロブロック参照番号決定部で決定した参
照画像の画像番号（以後、マクロブロック参照番号と呼
ぶ）を、マクロブロック参照番号として蓄積するマクロ
ブロック参照番号蓄積部と、前記マクロブロック参照番
号に従って、フレーム間予測符号化において使用する参
照画像を、前記参照画像メモリから選択する参照画像選
択部と、前記マクロブロック参照番号を符号化するマク
ロブロック参照番号符号化部と、前記マクロブロック参
照番号決定部で決定したマクロブロック参照番号が、直
前のマクロブロックのマクロブロック参照番号と同一と
なるマクロブロック数をカウントするマクロブロック参
照番号カウント部と、該マクロブロック参照番号カウン
ト部でカウントしたマクロブロック数（以後、マクロブ
ロック参照番号カウント数と呼ぶ）を符号化するマクロ
ブロック参照番号カウント符号化部とを備えることを特
徴とする。

【００１３】本発明の画像復号装置は、フレーム間予測
符号化を用いて符号化データを復号する画像復号装置で
あり、複数フレーム分の復号画像を蓄積する参照画像メ
モリと、参照画像を示すマクロブロック参照番号を復号
するマクロブロック参照番号復号部と、同一の参照画像
を参照する連続したマクロブロックの数であるマクロブ
ロック参照番号カウント数を、復号するマクロブロック
参照番号カウント復号部と、前記マクロブロック参照番
号を蓄積するマクロブロック参照番号復号側蓄積部と、
前記マクロブロック参照番号に従って、フレーム間予測
符号化で使用する参照画像を、前記参照画像メモリから
選択する参照画像選択部とを備えることを特徴とする。

【００１４】本発明の画像符号化装置は、画像を入力す
る画像入力過程と、フレーム間予測符号化を用いて入力
画像を符号化する符号化過程と、フレーム間予測符号化
を用いて符号化データを復号する復号過程とを有する画
像符号化方法であり、複数フレーム分の復号画像を参照
画像メモリに蓄積する参照画像記憶過程、該参照画像メ
モリに蓄積された参照画像と、画像入力部から入力され
る入力画像との間の、入力画像を分割した領域毎の画像
情報の差分が計測されるマクロブロックフレーム間差分
計測過程と、該マクロブロックフレーム間差分計測過程
において計測された差分を用いて、前記参照画像メモリ
に蓄積された参照画像のいずれかが、符号化に使用する
参照画像として領域毎に決定されるマクロブロック参照
番号決定過程と、前記マクロブロック参照番号決定過程
で決定された参照画像の画像番号が、マクロブロック参
照番号として蓄積されるマクロブロック参照番号蓄積過
程と、前記マクロブロック参照番号に従って、フレーム
間予測符号化において使用する参照画像が、前記参照画
像メモリから選択される参照画像選択過程と、前記マク
ロブロック参照番号が符号化されるマクロブロック参照
番号符号化過程と、前記マクロブロック参照番号決定過
程で決定されたマクロブロック参照番号が、直前のマク
ロブロックのマクロブロック参照番号と同一となるマク
ロブロック数のカウントが行われるマクロブロック参照
番号カウント過程と、該マクロブロック参照番号カウン
ト過程でカウントされたマクロブロック数が符号化され
るマクロブロック参照番号カウント符号化過程とを有す
ることを特徴とする。

【００１５】本発明の画像復号装置は、フレーム間予測
符号化を用いて符号化データを復号する画像復号方法で
あり、複数フレーム分の復号画像が参照画像メモリに蓄
積される参照画像記憶過程と、参照画像を示すマクロブ
ロック参照番号がを復号されるマクロブロック参照番号
復号過程と、同一の参照画像を参照する連続したマクロ
ブロックの数であるマクロブロック参照番号カウント数
が復号されるマクロブロック参照番号カウント復号過程
と、前記マクロブロック参照番号が蓄積されるマクロブ
ロック参照番号復号側蓄積過程と、前記マクロブロック
参照番号に従って、フレーム間予測符号化で使用する参
照画像が、前記参照画像メモリから選択される参照画像
選択過程とを有することを特徴とする。

【００１６】本発明の画像符号化プログラムは、画像を
入力する画像入力処理と、フレーム間予測符号化を用い
て入力画像を符号化する符号化処理と、フレーム間予測
符号化を用いて符号化データを復号する復号処理とを上
記画像符号化装置を動作させるプログラムであり、複数
フレーム分の復号画像を参照画像メモリに蓄積する参照
画像記憶処理、該参照画像メモリに蓄積された参照画像
と、画像入力部から入力される入力画像との間の、入力
画像を分割した領域毎の画像情報の差分が計測されるマ
クロブロックフレーム間差分計測処理と、該マクロブロ
ックフレーム間差分計測処理により計測された差分を用
いて、前記参照画像メモリに蓄積された参照画像のいず
れかが、符号化に使用する参照画像として領域毎に決定
されるマクロブロック参照番号決定処理と、前記マクロ
ブロック参照番号決定処理で決定された参照画像の画像
番号が、マクロブロック参照番号として蓄積されるマク
ロブロック参照番号蓄積処理と、前記マクロブロック参
照番号に従って、フレーム間予測符号化において使用す
る参照画像が、前記参照画像メモリから選択される参照
画像選択処理と、前記マクロブロック参照番号が符号化
されるマクロブロック参照番号符号化処理と、前記マク
ロブロック参照番号決定処理で決定されたマクロブロッ
ク参照番号が、直前のマクロブロックのマクロブロック
参照番号と同一となるマクロブロック数のカウントが行
われるマクロブロック参照番号カウント処理と、該マク
ロブロック参照番号カウント処理でカウントされたマク
ロブロック数が符号化されるマクロブロック参照番号カ
ウント符号化処理とをコンピュータに実行させることを
特徴とする。

【００１７】本発明の画像復号プロラムは、フレーム間
予測符号化を用いて符号化データを復号する処理を上記
画像復号装置に行わせる画像復号プログラムであり、複
数フレーム分の復号画像が参照画像メモリに蓄積される
参照画像記憶処理と、参照画像を示すマクロブロック参
照番号がを復号されるマクロブロック参照番号復号処理
と、同一の参照画像を参照する連続したマクロブロック
の数であるマクロブロック参照番号カウント数が復号さ
れるマクロブロック参照番号カウント復号処理と、前記
マクロブロック参照番号が蓄積されるマクロブロック参
照番号復号側蓄積処理と、前記マクロブロック参照番号
に従って、フレーム間予測符号化で使用する参照画像
が、前記参照画像メモリから選択される参照画像選択処
理とをコンピュータに実行させることを特徴とする。

【００１８】本発明のコンピュータ読み取り可能な記録
媒体は、画像を入力する画像入力処理と、フレーム間予
測符号化を用いて入力画像を符号化する符号化処理と、
フレーム間予測符号化を用いて符号化データを復号する
復号処理とを上記画像符号化装置を動作させるプログラ
ムを記録した記録媒体であり、複数フレーム分の復号画
像を参照画像メモリに蓄積する参照画像記憶処理、該参
照画像メモリに蓄積された参照画像と、画像入力部から
入力される入力画像との間の、入力画像を分割した領域
毎の画像情報の差分が計測されるマクロブロックフレー
ム間差分計測処理と、該マクロブロックフレーム間差分
計測処理により計測された差分を用いて、前記参照画像
メモリに蓄積された参照画像のいずれかが、符号化に使
用する参照画像として領域毎に決定されるマクロブロッ
ク参照番号決定処理と、前記マクロブロック参照番号決
定処理で決定された参照画像の画像番号が、マクロブロ
ック参照番号として蓄積されるマクロブロック参照番号
蓄積処理と、前記マクロブロック参照番号に従って、フ
レーム間予測符号化において使用する参照画像が、前記
参照画像メモリから選択される参照画像選択処理と、前
記マクロブロック参照番号が符号化されるマクロブロッ
ク参照番号符号化処理と、前記マクロブロック参照番号
決定処理で決定されたマクロブロック参照番号が、直前
のマクロブロックのマクロブロック参照番号と同一とな
るマクロブロック数のカウントが行われるマクロブロッ
ク参照番号カウント処理と、該マクロブロック参照番号
カウント処理でカウントされたマクロブロック数が符号
化されるマクロブロック参照番号カウント符号化処理と
をコンピュータに実行させることを特徴とする画像符号
化プログラムを記録している。

【００１９】本発明のコンピュータ読み取り可能な記録
媒体は、フレーム間予測符号化を用いて符号化データを
復号する処理を上記画像復号装置に行わせる画像復号プ
ログラムを記録した記録媒体であり、複数フレーム分の
復号画像が参照画像メモリに蓄積される参照画像記憶処
理と、参照画像を示すマクロブロック参照番号がを復号
されるマクロブロック参照番号復号処理と、同一の参照
画像を参照する連続したマクロブロックの数であるマク
ロブロック参照番号カウント数が復号されるマクロブロ
ック参照番号カウント復号処理と、前記マクロブロック
参照番号が蓄積されるマクロブロック参照番号復号側蓄
積処理と、前記マクロブロック参照番号に従って、フレ
ーム間予測符号化で使用する参照画像が、前記参照画像
メモリから選択される参照画像選択処理とをコンピュー
タに実行させることを特徴とする画像復号プロラムを記
録している。本発明によれば、連続して複数のマクロブ
ロックでマクロブロック参照番号が同じとなる場合に、
そのマクロブロック数をカウントし符号化することによ
り、不必要なマクロブロック参照番号を符号化する必要
が無く、符号化処理の効率を向上させることが可能とな
る。なお、画像符号装置におけるマクロブロックフレー
ム間差分計測部において用いられる、入力画像と参照画
像の差分としては、例えば絶対値差分和や平均２乗誤差
が挙げられる。また、フレーム間予測符号化には、動き
ベクトルを使って参照画像から予測画像を作成して符号
化する動き補償符号化方式を使うことも可能である。

【００２０】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態について説明する。以下、画像符号化装置及び画
像復号装置の順に、本発明の実施形態の説明を行う。 ＜画像符号化装置＞図１は本発明の一実施形態による画
像符号化装置の構成例を示すブロック図である。この図
において、マクロブロックフレーム間差分計測部１０４
は、現画像PDと、参照画像PA,PB,PCとにおけるマクロブ
ロックの差分の絶対値に対する絶対値差分和Ｗを計算す
るものである。

【００２１】また、マクロブロック参照番号決定部１０
５は、最も上記絶対差分和Ｗが小さくなる参照画像の番
号を、マクロブロック参照番号として決定するものとす
る。さらに、画面内にあるマクロブロックの総数は、Ｎ
個とする。前提として、参照画像メモリには、予め、３
フレーム分の画像を蓄積することができ、それらを各々
参照画像PA,PB,PCで表す。ここで、現画像には、PDの符
号を付すこととする。

【００２２】上述した前提において、以下に示すように
現画像PDの符号化が行われる。まず、マクロブロックフ
レーム間差分計測部１０４は、参照画像PCと現画像PDと
の間の絶対値差分和Ｗを、すべてのマクロブロック毎に
求める。この参照画像PCと現画像PDとの間の絶対値差分
和Ｗを、Ｗ（1,i）（i=1,..,Ｎ）と表すことにする。こ
こでの「i」は、Ｎ個のマクロブロック各々に付される
番号とする。

【００２３】同様に、参照画像PBと現画像PDとの間の絶
対値差分和Ｗをすべてのマクロブロック毎に求める。こ
の参照画像PBと現画像PDとの間の絶対値差分和Ｗを、Ｗ
（2,i）（i=1,..,Ｎ）と表すことにする。さらに、同様
に、参照画像PAと現画像PDとの間の絶対値差分和Ｗを、
すべてのマクロブロック毎に求める。この照画像PAと現
画像PDとの間の絶対値差分和Ｗを、Ｗ（3,i）（i=1,..,
Ｎ）と表すことにする。

【００２４】マクロブロック参照番号決定部１０５は、
マクロブロック毎に絶対値差分和Ｗが最小になる参照画
像を、参照画像PA,PB,PCから求め、これらのいずれかの
参照画像の画像番号を、マクロブロック参照番号nrp(i)
(i=1,..,N)として決定する。そして、マクロブロック参
照番号決定部１０５は、上記マクロブロック参照番号nr
p(i)(i=1,..,N)を、マクロブロック参照番号蓄積部１０
８に蓄積する。マクロブロック参照番号カウント部１１
０は、マクロブロック参照番号蓄積部１０８に蓄積され
たマクロブロック参照番号から、連続している同じマク
ロブロック参照番号の数、すなわち連続した同一のマク
ロブロック参照番号のマクロブロック数をカウントし、
カウントしたマクロブロック数を蓄積しておく。

【００２５】次に、マクロブロック毎に付されたマクロ
ブロック参照番号の符号化について説明する。マクロブ
ロック参照番号がnrp(1)=1，nrp(2)=1，nrp(3)=2，nrp
(4)=3となった場合における、マクロブロック1〜4まで
符号化する場合の手順を示す。ここで、例えば、nrp(1)
＝１は、現画像PDにおいて、符号化の対象となっている
マクロブロック１の参照画像が、画像PCであることを示
している。このマクロブロック参照番号がnrp(1)=1，nr
p(2)=1，nrp(3)=2，nrp(4)=3となった場合、マクロブロ
ック参照番号カウント部１１０には、参照画像PC,PB,PA
に対応したカウント数として、それぞれ「２」,「１」,
「１」が蓄積されている。

【００２６】そして、マクロブロック参照番号決定部１
０５は、マクロブロック１のマクロブロック参照番号が
nrp(1)=1であるため、参照画像メモリ１０６における参
照画像PCを、マクロブロック１の参照画像として選択す
るように、参照画像選択部１０７の接続を切り替える。
これにより、符号化部１０２は、上記参照画像PCを用い
て、マクロブロック１を符号化する。また、復号部１０
３は、符号化部１０２から出力される、符号化されたマ
クロブロック１の符号化データを復号する。

【００２７】一方、マクロブロック参照番号符号化部１
０９は、マクロブロック参照番号「１」を符号化する。
そして、マクロブロック参照番号カウント符号化部１１
０は、マクロブロック参照番号カウント部１１０に蓄積
されたマクロブロック参照番号nrp(1)=1に対応したカウ
ント数「２」を符号化する。次に、マクロブロック参照
番号決定部１０５は、マクロブロック２のマクロブロッ
ク参照番号がnrp(2)=1であるため、参照画像メモリ１０
６における参照画像PCを、マクロブロック２の参照画像
として選択するように、参照画像選択部１０７の接続を
切り替える。

【００２８】これにより、符号化部１０２は、上記参照
画像PCを用いて、マクロブロック２を符号化する。ま
た、復号部１０３は、符号化部１０２から出力される、
符号化されたマクロブロック２の符号化データを復号す
る。マクロブロック参照番号符号化部１０９は、マクロ
ブロック２のマクロブロック参照番号が、直前のマクロ
ブロック１のマクロブロック参照番号と同一であるた
め、マクロブロック２に対するマクロブロック参照番号
の符号化を行わない。また、マクロブロック参照番号カ
ウント符号化部１１１は、連続した同一のマクロブロッ
ク参照番号のカウント数を符号化しているため、新たな
符号化を行わない。

【００２９】次に、マクロブロック参照番号決定部１０
５は、マクロブロック３のマクロブロック参照番号がnr
p(3)=2であるため、参照画像メモリ１０６における参照
画像PBを、マクロブロック３の参照画像として選択する
ように、参照画像選択部１０７の接続を切り替える。こ
れにより、符号化部１０２は、上記参照画像PBを用い
て、マクロブロック３を符号化する。また、復号部１０
３は、符号化部１０２から出力される、符号化されたマ
クロブロック３の符号化データを復号する。

【００３０】次に、マクロブロック参照番号符号化部１
０９は、マクロブロック３のマクロブロック参照番号
が、直前のマクロブロック２のマクロブロック参照番号
と異なるため、マクロブロック参照番号「２」の符号化
を行う。そして、マクロブロック参照番号カウント符号
化部１１１は、マクロブロック参照番号カウント部１１
０に蓄積されたマクロブロック参照番号nrp(4)=3に対応
したカウント数「１」の符号化を行う。

【００３１】次に、マクロブロック参照番号決定部１０
５は、マクロブロック４のマクロブロック参照番号がnr
p(4)=3であるため、参照画像メモリ１０６における参照
画像PAを、マクロブロック４の参照画像として選択する
ように、参照画像選択部１０７の接続を切り替える。こ
れにより、符号化部１０２は、上記参照画像PAを用い
て、マクロブロック４を符号化する。また、復号部１０
３は、符号化部１０２から出力される、符号化されたマ
クロブロック４の符号化データを復号する。

【００３２】このとき、マクロブロック参照番号符号化
部１０９は、マクロブロック４のマクロブロック参照番
号が、直前のマクロブロック３のマクロブロック参照番
号と異なるため、マクロブロック参照番号「３」の符号
化を行う。そして、マクロブロック参照番号カウント符
号化部１１１は、マクロブロック参照番号カウント部１
１０に蓄積されたマクロブロック参照番号nrp(4)=3に対
応したカウント数「１」の符号化を行う。以上の手順を
すべてのマクロブロックに対して繰り返し処理する。そ
して、現画像PDにおける最後のマクロブロックにおい
て、上記と同様な符号化処理を行った後、復号画像を参
照画像メモリ１０６に蓄積する。

【００３３】＜画像復号装置＞次に、図面を参照して本
発明の画像復号装置の実施形態について説明する。図２
は本発明の一実施形態による画像復号装置の構成例を示
すブロック図である。本発明の画像復号装置は、マクロ
ブロック参照番号とマクロブロック参照番号カウント数
との復号を行うか否かを切り替えるマクロブロック参照
番号復号切り替え部１１２を備えることを特徴としてい
る。上記一実施形態による画像符号化装置において得ら
れる符号化データを復号する手順を、以下に詳細に示
す。

【００３４】すなわち、伝送路等から入力される符号化
データ（上述した一実施形態による画像符号化装置によ
り符号化された画像）は、上記画像復号装置により、以
下に示す処理においてマクロブロック毎に復号される。
例えば、符号化データの入力がなされていない状態にお
いて、マクロブロック参照番号復号切り替え部１１２
は、マクロブロック参照番号復号部１１３，及びマクロ
ブロック参照番号カウント復号部１１４に符号化データ
が入力される接続状態となっている。

【００３５】まず、マクロブロック１の符号化データが
入力されたとすると、マクロブロック参照番号復号部１
１３は、符号化データに含まれるマクロブロック参照番
号nrp(1)=1を復号し、マクロブロック参照番号復号側蓄
積部１１５に、復号されたマクロブロック参照番号nrp
(1)=１を蓄積する。そして、マクロブロック参照番号カ
ウント復号部１１４は、マクロブロック参照番号nrp(1)
=１に対応したカウント数「２」を復号する。

【００３６】ここで、マクロブロック参照番号カウント
復号部１１４は、マクロブロック参照番号nrp(1)=１に
対応したカウント数が「２」であることを判定し、次の
マクロブロックの復号時まで、すなわち２つのマクロブ
ロックの復号が終了するまで、マクロブロック参照番号
復号部１１３にマクロブロック参照番号が入力されて復
号されないように、マクロブロック参照番号復号切り替
え部１１２の接続状態を変更する。

【００３７】また、参照画像選択部１０７は、マクロブ
ロック参照番号が「１」であるため、参照画像PCを参照
画像に選択するように設定される。ここで、マクロブロ
ック参照番号復号側蓄積部１１５は、記憶されているマ
クロブロック参照番号の「１」に基づき、参照画像PCを
複合部１０３に供給する接続状態に、参照画像選択部１
０７を設定する。そして、復号部１０３は、この参照画
像PCを参照して、入力されるマクロブロック１の符号化
データの復号を行う。

【００３８】次に、マクロブロック参照番号復号部１１
３及びマクロブロック参照番号カウント復号部１１４各
々は、マクロブロック参照番号復号切り替え部１１２が
符号化データの入力を行わない接続状態となっているた
め、各々符号化データに含まれるマクロブロック参照番
号とマクロブロック参照番号カウント数との復号を行わ
ない。そして、参照画像選択部１０７には、マクロブロ
ック参照番号復号側蓄積部１１５に蓄積されているマク
ロブロック参照番号が、参照画像PCを示す「１」である
ため、参照画像メモリ１０６から参照画像PCを復号部１
０３へ供給するよう設定されている。

【００３９】次に、復号部１０３は、上記参照画像PCを
用いて、マクロブロック２の符号化データの復号を行
う。そして、マクロブロック参照番号復号切り替え部１
１２は、設定されたマクロブロック数分のマクロブロッ
クの復号処理が復号部１０３により行われたため、マク
ロブロック参照番号復号切り替え部１１２を、入力され
る符号化データがマクロブロック参照番号復号部１１
３，及びマクロブロック参照番号カウント復号部１１４
へ入力される接続状態に変更する。

【００４０】これにより、マクロブロック参照番号復号
部１１３とマクロブロック参照番号カウント復号部１１
４とは、次に入力される符号化データが供給され、この
符号化データに含まれるマクロブロック参照番号とマク
ロブロック参照番号カウント数とを、各々復号する状態
となる。そして、マクロブロック参照番号復号部１１３
は、マクロブロック３の符号化データが入力されると、
マクロブロック参照番号nrp(3)=２を復号し、マクロブ
ロック参照番号復号側蓄積部１１５に、復号したマクロ
ブロック参照番号nrp(3)=２を蓄積する。

【００４１】次に、マクロブロック参照番号カウント復
号部１１４は、マクロブロック参照番号nrp(3)=２に対
応したカウント数「１」を復号する。ここで、マクロブ
ロック参照番号カウント復号部１１４は、マクロブロッ
ク参照番号nrp(3)=２に対応したカウント数が「１」で
あることを判定し、次のマクロブロックの復号時に、マ
クロブロック参照番号とマクロブロック参照番号カウン
ト数の復号が必要であるため、マクロブロック参照番号
復号切り替え部１１２の接続状態を変更しない。

【００４２】また、参照画像選択部１０７は、マクロブ
ロック参照番号が「１」であるため、参照画像PBを参照
画像に選択するように設定される。ここで、マクロブロ
ック参照番号復号側蓄積部１１５は、記憶されているマ
クロブロック参照番号の「２」に基づき、参照画像PBを
複合部１０３に供給する接続状態に、参照画像選択部１
０７を設定する。そして、復号部１０３は、この参照画
像PBを参照して、入力されるマクロブロック３の符号化
データの復号を行う。

【００４３】次に、マクロブロック参照番号復号部１１
３は、マクロブロック４の符号化データが入力される
と、マクロブロック参照番号nrp(4)=３を復号し、マク
ロブロック参照番号復号側蓄積部１１５に、復号したマ
クロブロック参照番号nrp(4)=３を蓄積する。そして、
マクロブロック参照番号カウント復号部１１４は、マク
ロブロック参照番号nrp(4)=３に対応したカウント数
「１」を復号する。ここで、マクロブロック参照番号カ
ウント復号部１１４は、マクロブロック参照番号nrp(4)
=３に対応したカウント数が「１」であることを判定
し、次のマクロブロックの復号時に、マクロブロック参
照番号とマクロブロック参照番号カウント数の復号が必
要であるため、マクロブロック参照番号復号切り替え部
１１２の接続状態を変更しない。

【００４４】また、参照画像選択部１０７は、マクロブ
ロック参照番号が「１」であるため、参照画像PAを参照
画像に選択するように設定される。ここで、マクロブロ
ック参照番号復号側蓄積部１１５は、記憶されているマ
クロブロック参照番号の「３」に基づき、参照画像PAを
複合部１０３に供給する接続状態に、参照画像選択部１
０７を設定する。そして、復号部１０３は、この参照画
像PAを参照して、入力されるマクロブロック４の符号化
データの復号を行う。上述した流れによる復号処理を、
入力されるすべてのマクロブロックに対して繰り返し行
う。以上で、本発明の一実施形態による画像復号装置の
説明を終了する。

【００４５】なお、一実施形態による画像符号化装置に
おいて、マクロブロック参照番号カウント部１１０は、
特定のマクロブロック参照番号のみカウントし符号化す
ることも可能である。例えば、マクロブロック参照番号
カウント部１１０に、直前のフレームを参照画像とする
マクロブロック参照番号のみカウントさせる構成とする
ことも可能である。上記マクロブロック参照番号カウン
ト部１１０の構成は、直前のフレームを参照するマクロ
ブロックが多い場合に、マクロブロック参照番号カウン
ト数の符号量を低減させることが可能である。

【００４６】上述してきたように、本願発明の画像符号
化装置及び画像復号装置（両者で画像処理システムを構
成）は、符号化するマクロブロックにおいて、同一の参
照画像を連続して用いる場合、すなわち連続する複数の
マクロブロックに対して、マクロブロック参照番号が同
じとなる場合、同一の参照画像を用いて符号化するマク
ロブロック数を、カウントして、このカウント数を符号
化することにより、マクロブロック毎に参照する参照画
像を示すマクロブロック参照番号を符号化することが無
くなるため、全体の符号化効率を向上することが可能で
ある。

【００４７】なお、上記した本発明実施形態において
は、画像符号化装置及び画像復号装置のそれぞれで実行
される手順をコンピュータ読取り可能な記録媒体に記録
し、この記録媒体に記録されたプログラムをコンピュー
タシステムに読み込ませ、実行することにより本発明の
利用者属性登録情報自動更新装置が実現されるものとす
る。ここでいうコンピュータシステムとは、ＯＳや周辺
機器等のハードウアを含むものである。

【００４８】更に、「コンピュータシステム」は、ＷＷ
Ｗシステムを利用している場合であれば、ホームページ
提供環境（あるいは表示環境）も含むものとする。ま
た、「コンピュータ読取り可能な記録媒体」とは、フレ
キシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−Ｒ
ＯＭ等の可搬媒体、コンピュータシステムに内蔵される
ハードディスク等の記憶装置のことをいう。さらに「コ
ンピュータ読取り可能な記録媒体」とは、インターネッ
ト等のネットワークや電話回線等の通信回線を介してプ
ログラムが送信された場合のシステムやクライアントと
なるコンピュータシステム内部の揮発性メモリ（ＲＡ
Ｍ）のように、一定時間プログラムを保持しているもの
も含むものとする。

【００４９】また、上記プログラムは、このプログラム
を記憶装置等に格納したコンピュータシステムから、伝
送媒体を介して、あるいは、伝送媒体中の伝送波により
他のコンピュータシステムに伝送されてもよい。ここ
で、プログラムを伝送する「伝送媒体」は、インターネ
ット等のネットワーク（通信網）や電話回線等の通信回
線（通信線）のように情報を伝送する機能を有する媒体
のことをいう。また、上記プログラムは、前述した機能
の一部を実現するためのものであっても良い。さらに、
前述した機能をコンピュータシステムにすでに記録され
ているプログラムとの組み合わせで実現できるもの、い
わゆる差分ファイル（差分プログラム）であっても良
い。

【００５０】以上、本発明の一実施形態を図面を参照し
て詳述してきたが、具体的な構成はこの実施形態に限ら
れるものではなく、本発明の要旨を逸脱しない範囲の設
計変更等があっても本発明に含まれる。

【００５１】

【発明の効果】本願発明の画像符号化装置及び画像復号
装置は、各々、複数フレーム分の参照画像メモリを備
え、領域（マクロブロック）毎に参照画像を変更する仕
組み（構成）を備える画像符号化装置と画像復号装置で
あり、連続した複数のマクロブロックの参照画像を指定
する情報が同一となる場合に、これらのマクロブロック
数をカウントし、このカウント数を符号化することによ
り、マクロブロック毎に参照画像を指定する情報を符号
化することによる符号量の増加を防止することがせき、
符号化全体の符号化効率を向上させることが可能であ
る。

【図面の簡単な説明】

【図１】 本発明の一実施形態による画像符号化装置の
構成例を示すブロック図である。

【図２】 本発明の一実施形態による画像復号装置の構
成例を示すブロック図である。

【図３】 可変長符号化の一例を示すテーブルである。

【符号の説明】

１０１ 画像入力部 １０２ 符号化部 １０３ 復号部 １０４ マクロブロックフレーム間差分計測部 １０５ マクロブロック参照番号決定部 １０６ 参照画像メモリ １０７ 参照画像選択部 １０８ マクロブロック参照番号蓄積部 １０９ マクロブロック参照番号符号化部 １１０ マクロブロック参照番号カウント部 １１１ マクロブロック参照番号カウント符号化部 １１２ マクロブロック参照番号復号切り替え部 １１３ マクロブロック参照番号復号部 １１４ マクロブロック参照番号カウント復号部 １１５ マクロブロック参照番号復号側蓄積部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK22 MA05 TA62 TB07 TC12 TD04 TD05 TD07 UA02 UA05 UA35 5J064 AA02 BA09 BA15 BB01 BB03 BC01 BC02 BC05 BC14 BC25 BD01

Claims (8)

【特許請求の範囲】
1. 【請求項１】 画像を入力する画像入力部と、 フレーム間予測符号化を用いて入力画像を符号化する符
   号化部と、 フレーム間予測符号化を用いて符号化データを復号する
   復号部とを備える画像符号化装置であり、 複数フレーム分の復号画像を蓄積する参照画像メモリ
   と、 該参照画像メモリに蓄積された参照画像と、画像入力部
   から入力される入力画像との間の、入力画像を分割した
   領域毎の画像情報の差分を計測するマクロブロックフレ
   ーム間差分計測部と、 該マクロブロックフレーム間差分計測部により計測され
   た差分を用いて、前記参照画像メモリに蓄積された参照
   画像のいずれかを、符号化に使用する参照画像として領
   域毎に決定するマクロブロック参照番号決定部と、 前記マクロブロック参照番号決定部で決定した参照画像
   の画像番号を、マクロブロック参照番号として蓄積する
   マクロブロック参照番号蓄積部と、 前記マクロブロック参照番号に従って、フレーム間予測
   符号化において使用する参照画像を、前記参照画像メモ
   リから選択する参照画像選択部と、 前記マクロブロック参照番号を符号化するマクロブロッ
   ク参照番号符号化部と、 前記マクロブロック参照番号決定部で決定したマクロブ
   ロック参照番号が、直前のマクロブロックのマクロブロ
   ック参照番号と同一となるマクロブロック数をカウント
   するマクロブロック参照番号カウント部と、 該マクロブロック参照番号カウント部でカウントしたマ
   クロブロック数を符号化するマクロブロック参照番号カ
   ウント符号化部とを備えることを特徴とする画像符号化
   装置。
2. 【請求項２】 フレーム間予測符号化を用いて符号化デ
   ータを復号する画像復号装置であり、 複数フレーム分の復号画像を蓄積する参照画像メモリ
   と、 参照画像を示すマクロブロック参照番号を復号するマク
   ロブロック参照番号復号部と、 同一の参照画像を参照する連続したマクロブロックの数
   であるマクロブロック参照番号カウント数を、復号する
   マクロブロック参照番号カウント復号部と、 前記マクロブロック参照番号を蓄積するマクロブロック
   参照番号復号側蓄積部と、 前記マクロブロック参照番号に従って、フレーム間予測
   符号化で使用する参照画像を、前記参照画像メモリから
   選択する参照画像選択部とを備えることを特徴とする画
   像復号装置。
3. 【請求項３】 画像を入力する画像入力過程と、 フレーム間予測符号化を用いて入力画像を符号化する符
   号化過程と、 フレーム間予測符号化を用いて符号化データを復号する
   復号過程と を有する画像符号化方法であり、 複数フレーム分の復号画像を参照画像メモリに蓄積する
   参照画像記憶過程、 該参照画像メモリに蓄積された参照画像と、画像入力部
   から入力される入力画像との間の、入力画像を分割した
   領域毎の画像情報の差分が計測されるマクロブロックフ
   レーム間差分計測過程と、 該マクロブロックフレーム間差分計測過程において計測
   された差分を用いて、前記参照画像メモリに蓄積された
   参照画像のいずれかが、符号化に使用する参照画像とし
   て領域毎に決定されるマクロブロック参照番号決定過程
   と、 前記マクロブロック参照番号決定過程で決定された参照
   画像の画像番号が、マクロブロック参照番号として蓄積
   されるマクロブロック参照番号蓄積過程と、 前記マクロブロック参照番号に従って、フレーム間予測
   符号化において使用する参照画像が、前記参照画像メモ
   リから選択される参照画像選択過程と、 前記マクロブロック参照番号が符号化されるマクロブロ
   ック参照番号符号化過程と、 前記マクロブロック参照番号決定過程で決定されたマク
   ロブロック参照番号が、直前のマクロブロックのマクロ
   ブロック参照番号と同一となるマクロブロック数のカウ
   ントが行われるマクロブロック参照番号カウント過程
   と、 該マクロブロック参照番号カウント過程でカウントされ
   たマクロブロック数が符号化されるマクロブロック参照
   番号カウント符号化過程とを有することを特徴とする画
   像符号化方法。
4. 【請求項４】 フレーム間予測符号化を用いて符号化デ
   ータを復号する画像復号方法であり、 複数フレーム分の復号画像が参照画像メモリに蓄積され
   る参照画像記憶過程と、 参照画像を示すマクロブロック参照番号がを復号される
   マクロブロック参照番号復号過程と、 同一の参照画像を参照する連続したマクロブロックの数
   であるマクロブロック参照番号カウント数が復号される
   マクロブロック参照番号カウント復号過程と、 前記マクロブロック参照番号が蓄積されるマクロブロッ
   ク参照番号復号側蓄積過程と、 前記マクロブロック参照番号に従って、フレーム間予測
   符号化で使用する参照画像が、前記参照画像メモリから
   選択される参照画像選択過程とを有することを特徴とす
   る画像復号方法。
5. 【請求項５】 画像を入力する画像入力処理と、 フレーム間予測符号化を用いて入力画像を符号化する符
   号化処理と、 フレーム間予測符号化を用いて符号化データを復号する
   復号処理と を有する請求項１に記載の画像符号化装置を動作させる
   プログラムであり、 複数フレーム分の復号画像を参照画像メモリに蓄積する
   参照画像記憶処理、 該参照画像メモリに蓄積された参照画像と、画像入力部
   から入力される入力画像との間の、入力画像を分割した
   領域毎の画像情報の差分が計測されるマクロブロックフ
   レーム間差分計測処理と、 該マクロブロックフレーム間差分計測処理により計測さ
   れた差分を用いて、前記参照画像メモリに蓄積された参
   照画像のいずれかが、符号化に使用する参照画像として
   領域毎に決定されるマクロブロック参照番号決定処理
   と、 前記マクロブロック参照番号決定処理で決定された参照
   画像の画像番号が、マクロブロック参照番号として蓄積
   されるマクロブロック参照番号蓄積処理と、 前記マクロブロック参照番号に従って、フレーム間予測
   符号化において使用する参照画像が、前記参照画像メモ
   リから選択される参照画像選択処理と、 前記マクロブロック参照番号が符号化されるマクロブロ
   ック参照番号符号化処理と、 前記マクロブロック参照番号決定処理で決定されたマク
   ロブロック参照番号が、直前のマクロブロックのマクロ
   ブロック参照番号と同一となるマクロブロック数のカウ
   ントが行われるマクロブロック参照番号カウント処理
   と、 該マクロブロック参照番号カウント処理でカウントされ
   たマクロブロック数が符号化されるマクロブロック参照
   番号カウント符号化処理とをコンピュータに実行させる
   ことを特徴とする画像符号化プログラム。
6. 【請求項６】 フレーム間予測符号化を用いて符号化デ
   ータを復号する処理を有する請求項２に記載の画像復号
   装置に行わせる画像復号プログラムであり、 複数フレーム分の復号画像が参照画像メモリに蓄積され
   る参照画像記憶処理と、 参照画像を示すマクロブロック参照番号がを復号される
   マクロブロック参照番号復号処理と、 同一の参照画像を参照する連続したマクロブロックの数
   であるマクロブロック参照番号カウント数が復号される
   マクロブロック参照番号カウント復号処理と、 前記マクロブロック参照番号が蓄積されるマクロブロッ
   ク参照番号復号側蓄積処理と、 前記マクロブロック参照番号に従って、フレーム間予測
   符号化で使用する参照画像が、前記参照画像メモリから
   選択される参照画像選択処理とをコンピュータに実行さ
   せることを特徴とする画像復号プロラム。
7. 【請求項７】 画像を入力する画像入力処理と、 フレーム間予測符号化を用いて入力画像を符号化する符
   号化処理と、 フレーム間予測符号化を用いて符号化データを復号する
   復号処理とを有する請求項１に記載の画像符号化装置を
   動作させるプログラムを記録した記録媒体であり、 複数フレーム分の復号画像を参照画像メモリに蓄積する
   参照画像記憶処理、 該参照画像メモリに蓄積された参照画像と、画像入力部
   から入力される入力画像との間の、入力画像を分割した
   領域毎の画像情報の差分が計測されるマクロブロックフ
   レーム間差分計測処理と、 該マクロブロックフレーム間差分計測処理により計測さ
   れた差分を用いて、前記参照画像メモリに蓄積された参
   照画像のいずれかが、符号化に使用する参照画像として
   領域毎に決定されるマクロブロック参照番号決定処理
   と、 前記マクロブロック参照番号決定処理で決定された参照
   画像の画像番号が、マクロブロック参照番号として蓄積
   されるマクロブロック参照番号蓄積処理と、 前記マクロブロック参照番号に従って、フレーム間予測
   符号化において使用する参照画像が、前記参照画像メモ
   リから選択される参照画像選択処理と、 前記マクロブロック参照番号が符号化されるマクロブロ
   ック参照番号符号化処理と、 前記マクロブロック参照番号決定処理で決定されたマク
   ロブロック参照番号が、直前のマクロブロックのマクロ
   ブロック参照番号と同一となるマクロブロック数のカウ
   ントが行われるマクロブロック参照番号カウント処理
   と、 該マクロブロック参照番号カウント処理でカウントされ
   たマクロブロック数が符号化されるマクロブロック参照
   番号カウント符号化処理とをコンピュータに実行させる
   ことを特徴とする画像符号化プログラムを記録したコン
   ピュータ読み取り可能な記録媒体。
8. 【請求項８】 フレーム間予測符号化を用いて符号化デ
   ータを復号する処理を有する請求項２に記載の画像復号
   装置に行わせる画像復号プログラムを記録した記録媒体
   であり、 複数フレーム分の復号画像が参照画像メモリに蓄積され
   る参照画像記憶処理と、 参照画像を示すマクロブロック参照番号がを復号される
   マクロブロック参照番号復号処理と、 同一の参照画像を参照する連続したマクロブロックの数
   であるマクロブロック参照番号カウント数が復号される
   マクロブロック参照番号カウント復号処理と、 前記マクロブロック参照番号が蓄積されるマクロブロッ
   ク参照番号復号側蓄積処理と、 前記マクロブロック参照番号に従って、フレーム間予測
   符号化で使用する参照画像が、前記参照画像メモリから
   選択される参照画像選択処理とをコンピュータに実行さ
   せることを特徴とする画像復号プロラムを記録したコン
   ピュータ読み取り可能な記録媒体。