JP2000358243A

JP2000358243A - 画像処理方法，画像処理装置，及びデータ記憶媒体

Info

Publication number: JP2000358243A
Application number: JP2000111251A
Authority: JP
Inventors: Chun Sen Bun; チュンセンブン; Takahiro Nishi; 孝啓西
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-04-12
Filing date: 2000-04-12
Publication date: 2000-12-26

Abstract

(57)【要約】【課題】各構成要素のオブジェクト画像データに対す
る符号化処理を最適な条件のもとで行うことができ、こ
れにより、再生したビデオ信号全体の画質を高める。【解決手段】符号化処理の対象となる対象フレームに
対応するビデオ信号に割り当てられるフレームビット数
を決定するフレームビット数決定手段２１０と、対象フ
レームを構成する各構成要素の複雑さに応じて、上記フ
レームビット数を各構成要素に割り当てるオブジェクト
ビット数決定手段２０９とを備え、上記対象フレームに
対応する各オブジェクト画像データを、各構成要素に対
して分配されたビット数に基づいて符号化するようにし
た。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理方法，画
像処理装置，データ記憶媒体に関し、特に複数のオブジ
ェクト（つまり１つの画像を構成する複数の構成要素）
のシーケンスに相当するオブジェクト画像データからな
るビデオ信号を符号化する符号化処理における発生ビッ
ト数の制御に関するものである。

【０００２】

【従来の技術】デジタル画像情報を効率よく蓄積もしく
は伝送するには、デジタル画像情報を圧縮符号化する必
要があり、現状では、デジタル画像情報を圧縮符号化す
るための方法として、ＪＰＥＧ(Joint Photographic Co
ding Experts Group）やＭＰＥＧ(Moving Picture Expe
rts Group)に代表される離散コサイン変換（ＤＣＴ：Di
screte Cosine Transform ）の他に、サブバンド、ウェ
ーブレット、フラクタル等の波形符号化方法がある。

【０００３】また、隣接するフレーム等の画面間におけ
る冗長な画像情報を取り除く方法としては、動き補償を
用いた画面間予測を行い、つまり現画面を構成する画素
の画素値を、これと前画面を構成する画素の画素値との
差分値を用いて表し、この差分値からなる差分画像信号
を波形符号化する方法がある。

【０００４】ところで、最近、ビデオ信号の圧縮効率を
向上させると同時に、所定の画像を構成する個々の物体
（構成要素）を単位としてビデオ信号の再生を行うこと
ができるよう、該物体に対応するオブジェクト画像デー
タを物体毎に別々に圧縮符号化して伝送する符号化方式
が考えられている。この符号化方式により符号化された
ビデオ信号に対しては、再生側にて上記符号化方式に対
応した復号化処理が施される。つまり、この復号化処理
では、それぞれの物体に対応するオブジェクト符号化デ
ータが復号化され、該復号化により得られた各物体に対
応するオブジェクト復号化データが合成されて、再生デ
ータが生成される。そして、この再生データに基づい
て、個々の物体からなる画像が表示される。

【０００５】上記のように物体単位でビデオ信号の符号
化を行う符号化方式を用いることにより、再生側では、
個々の物体を自由に組み合わせて合成画像を生成するこ
とが可能となり、これにより動画像を簡単に再編集でき
る。また、通信路の混み具合や再生装置の性能、あるい
は視聴者の好みによって、比較的重要でない物体を再生
せずに、重要度の高い物体のみからなる動画像を表示す
ることもできる。

【０００６】このように物体単位でビデオ信号の符号化
を行う符号化方式をオブジェクト符号化方式といい、Ｍ
ＰＥＧ４として国際的に標準化作業が進められている。
上記のように符号化処理によりビデオ信号を圧縮して得
られる符号化データは、一定時間当たりに復号化処理さ
れるべき符号量（被処理ビット数）が変動する。このた
め、このような符号化データを一定ビットレートで受信
側に伝送し、受信側で該符号化データを良好に再生する
には、受信側に符号化データを格納するバッファを設
け、一定時間当たりの被処理ビット数の変動を吸収する
必要がある。この場合、上記バッファのサイズ，つまり
バッファに格納可能なデータの最大量によって、バッフ
ァにより上記被処理ビット数の変動を吸収可能な範囲が
異なる。

【０００７】標準規格には上記バッファサイズの最大値
が定められており、この最大サイズのバッファを有する
受信器では、時間当たりの被処理ビット数が変動する符
号化データを一定のビットレートで受信し、この符号化
データを問題なく再生することができる。またこの際、
符号化側では、受信側がもっているバッファに対するサ
イズなどの機能的な制限に基づいて、バッファがあふれ
ないように（オーバーフローしないよう）、または空に
ならないように（アンダーフローしないよう）、送信レ
ートを一定ビットレートになるよう制御する。

【０００８】オブジェクト符号化方式では、１つのビデ
オ信号は、複数の構成要素に対応するオブジェクト画像
データから構成されている。これらの構成要素として
は、矩形形状の画像や任意形状をもつ画像（物体）など
があり、たとえば、矩形形状の画像にこれを背景とし
て、任意形状の画像であるアニメキャラクタ，人物，動
物像を組み合わせることができる。そして、従来の画像
伝送システムでは、受信側の画像復号化装置は、上記の
ような単位時間当たりに処理すべきビット数の変動を吸
収するバッファを、個々の構成要素に対応させて備えた
構成となっている。

【０００９】すなわち、受信側では、１つの構成要素に
対応するオブジェクト符号化データを、該構成要素に対
応するバッファ及び復号化器により復号化するようにし
ている。また、送信側では、ビデオ信号の符号化処理の
際に、各構成要素に対応するバッファがオーバーフロー
またはアンダーフローにならないよう、レート制御，つ
まり符号化データとして発生する符号量の制御を行うよ
うにしている。言い換えると、上記符号化処理の際のレ
ート制御は構成要素間で独立に行われている。

【００１０】図１３は従来の画像伝送システムを構成す
る符号化装置及び復号化装置の構成を示すブロック図で
ある。なお、ここでは、説明の便宜上、３つの構成要素
を処理する場合について説明するが、構成要素の数はこ
れに限るものではない。この画像伝送システム１０００
は、第１，第２，第３の物体（構成要素）に対応する画
像データ（オブジェクト画像データ）１３０４，１３１
４，１３２４を受け、これらのデータに対して圧縮符号
化処理及び多重化処理を施して多重ビットストリーム１
３０８を出力する符号化装置１０００ａと、多重ビット
ストリーム１３０８を受け、上記各物体に対応する圧縮
データ（オブジェクト符号化データ）に対して伸長復号
化処理及び合成処理を施して、各物体からなる画像に対
応する再生データを生成する復号化装置１０００ｂとを
有している。

【００１１】上記符号化装置１０００ａは、第１，第
２，第３の物体（構成要素）に対応する画像データ１３
０４，１３１４，１３２４を符号化して圧縮データ１３
０５，１３１５，１３２５を出力する第１，第２，第３
の符号化器１３０２，１３１２，１３２２と、各物体に
対応する圧縮データ１３０５，１３１５，１３２５を多
重化して、多重ビットストリーム１３０８として出力す
る多重化器１３０７とを有している。また、上記符号化
装置１０００ａは、上記各符号化器１３０４，１３１
４，１３２４に対応させて設けられ、それぞれの符号化
器から出力される圧縮データ１３０５，１３１５，１３
２５に基づいて、上記各符号化器にて発生する圧縮デー
タの、所定時間当たりに復号化処理を施すべきデータ量
（ビット数）を制御するレート制御器１３０３，１３１
３，１３２３とを有している。

【００１２】また、上記復号化装置１０００ｂは、上記
多重ビットストリーム１３０８を入力データ１３１７と
して受け、該入力データ１３１７から、各物体に対応す
る圧縮データ１３３０，１３３５，１３４０を抽出する
分離器１３１８と、各物体に対応して設けられ、圧縮デ
ータ１３３０，１３３５，１３４０をそれぞれ格納する
第１，第２，第３のバッファ１３３１，１３３６，１３
４１とを有している。また上記復号化装置１０００ｂ
は、各物体に対応して設けられ、上記各バッファに格納
されている圧縮データ１３３２，１３３７，１３４２を
読みだして復号化処理を施す第１，第２，第３の復号化
器１３３３，１３３８，１３４３と、各復号化器から出
力される復号化データ１３３４，１３３９，１３４４を
合成して、所定の画像に対応する再生データ１３２０を
出力する合成器１３１９とを有している。

【００１３】なお、図１３中、１３０１，１３１１，１
３２１は、それぞれ第１，第２，第３の画像データが入
力される、符号化装置１０００ａの入力端子であり、１
３０９は、上記多重ビットストリーム１３０８が出力さ
れる、符号化装置１０００ａの出力端子である。また、
１３１０は上記多重ビットストリーム１３０８が入力さ
れる、復号化装置１０００ｂの入力端子、１３２７は、
上記再生データ１３２０が出力される、復号化装置１０
００ｂの出力端子である。

【００１４】そして、この画像伝送システムでは、上記
レート制御器１３０３，１３１３，１３２３は、受信側
のバッファ１３３１，１３３６，１３４１がオーバーフ
ローまたはアンダーフローにならないよう、各符号化器
１３０２，１３１２，１３２２に対して独立してレート
制御を行う構成となっている。

【００１５】次に動作について説明する。上記画像伝送
システム１０００では、各物体に対応する画像データ１
３０４，１３１４，１３２４が各入力端子１３０１，１
３１１，１３２１に入力されると、例えば、第１の符号
化器１３０２では、第１の物体に対応する画像データ１
３０４に対する符号化処理が、対応するレート制御器１
３０３からの制御信号１３０６に基づいて行われる。第
２，第３の符号化器１３１２，１３２２においても、同
様に、画像データ１３１４，１３２４の符号化処理が制
御信号１３１６，１３２６に基づいて行われる。このよ
うにして各符号化器での符号化処理により得られる圧縮
データ１３０５，１３１５，１３２５は、多重化器１３
０７にて多重化され、多重ビットストリーム１３０８と
して出力端子１３０９から出力される。

【００１６】一方、受信側の復号化装置１０００ｂで
は、多重ビットストリーム１３０８が入力されると、分
離器１３１８にて、該多重ビットストリーム１３０８か
ら、各物体に対応する圧縮データ１３３０，１３３５，
１３４０が分離され、それぞれ対応するバッファ１３３
１，１３３６，１３４１に入力される。該各バッファに
格納された圧縮データは、対応する復号化器１３３３，
１３３８，１３４３に読みだされ、それぞれ復号化処理
が施されて復号化データ１３３４，１３３９，１３４４
が生成される。これらの復号化データ１３３４，１３３
９，１３４４は、合成器１３１９にて合成され、合成さ
れたデータが所定の画像に対応する再生データ１３２０
として出力される。

【００１７】このように符号化装置から復号化装置へ符
号化データの伝送が行われる際には、上記伝送側の符号
化装置におけるレート制御器１３０３，１３１３，１３
２３では、受信側のバッファ１３３１，１３３６，１３
４１がオーバーフローまたはアンダーフローにならない
よう、各物体に対応する符号化器毎に独立して、符号化
処理におけるレート制御が行われる。

【００１８】

【発明が解決しようとする課題】上述したように、従来
の画像伝送システム１０００は、図１３に示すように、
各復号化器１３３３，１３３８，１３４３が、それぞれ
独立したバッファ１３３１，１３３６，１３４１から圧
縮データを読みだして復号化する構成になっている。ま
た、上記各バッファでは、バッファサイズの最大値は固
定となっており、ほとんどの場合、該最大値は同じ値と
なっている。この場合、符号化側では、上記バッファサ
イズの最大値より小さい値をバッファサイズの閾値に設
定して、該閾値に応じて符号化処理を行うことは可能で
あり、このような符号化方法は、符号量の少ない画像符
号化データを伝送するときによく使われる方法である。

【００１９】ところが、送信側にて、多くの符号量が必
要とされる構成要素の画像データに対して、バッファサ
イズの最大値より大きな値を閾値としてレート制御を行
いつつ符号化処理を行うと、受信側の復号化器では正常
な復号化処理を行うことができなくなる。この場合、受
信側での正常な復号化処理を行うには、多くの符号量が
必要とされる構成要素の画像データをさらに高い圧縮率
で符号化する必要があり、このような高い圧縮率での符
号化処理を行うと、再生される画像の画質が劣化してし
まうという問題がある。

【００２０】図１４はデコーダバッファ占有量（圧縮デ
ータによるバッファ容量の占有量）の遷移をグラフによ
り示す模式図である。図１４(a) は、第１の構成要素に
対するデコーダのバッファ占有量を示し、図１４(b) ，
図１４(c) はそれぞれ第２と第３の構成要素に対するデ
コーダバッファ占有量を示している。なお、図中、縦軸
１４０１，１４１１，１４２１はデコーダバッファ占有
量を示し、横軸１４０２，１４１２，１４２２は、圧縮
データの表示時間ｔを示している。なお、表示時間ｔ
０，ｔ１，ｔ２，ｔ３，・・・は、例えば、ｎ番目，
（ｎ＋１）番目，（ｎ＋２）番目，（ｎ＋３）番目，・
・・のフレームの表示時間を示す。

【００２１】上記図１４(a) におけるグラフの傾斜部分
１４０４の傾きは、バッファに入力される第１の物体に
対応する圧縮データの単位時間当たりに入力される符号
量（入力ビットレート）であり、図１４(a) では、この
入力ビットレートは、一定となっている。なお、図中、
Ｄｍ１は、バッファに格納可能な圧縮データの最大値で
あり、いかなる場合でも、バッファはこの最大値を超過
して圧縮データを格納することはできない。

【００２２】また、上記グラフの、横軸と垂直な縦線部
分１４０５の長さは、時間ｔ０に表示されるフレームに
対応する第１の物体の圧縮データのビット数を示してい
る。すなわち、上記グラフの傾斜部分１４０４の傾きで
示される入力ビットレートでもってビット列がバッファ
に入力され、時間ｔ０にてバッファ内に格納されている
データ量が上記縦線部分１４０５の頂点に対応するレベ
ルに達する。このときデコーダ（復号化器）は、上記縦
線部分１４０５の長さで示されるビット数の圧縮データ
を読み込み、時間ｔ０のフレームに対応する圧縮データ
を復号化する。

【００２３】また、上記図１４(b)，(c)におけるグラフ
の傾斜部分１４１４，１４２４の傾きは、バッファに入
力される第２，第３の物体に対応する圧縮データの単位
時間当たりに入力される符号量（入力ビットレート）で
あり、図１４(b)，(c) では、この入力ビットレート
は、一定となっている。なお、図中、Ｄｍ２，Ｄｍ３
は、バッファ１３３６，１３４１に格納可能なデータの
最大値であり、いかなる場合でも、バッファはこの最大
値を超過してデータを格納することはできない。

【００２４】また、上記グラフの、横軸と垂直な縦線部
分１４１５，１４２５の長さは、時間ｔ０に表示される
フレームに対応する第２，第３の物体の圧縮データのビ
ット数を示している。すなわち、上記グラフの傾斜部分
１４１４、１４２４の傾きで示される入力ビットレート
でもってビット列がバッファに入力され、時間ｔ０にて
バッファ内に格納されているデータ量が上記縦線部分１
４１５，１４２５の頂点に対応するレベルに達する。こ
のときデコーダ（復号化器）は、上記縦線部分１４１
５，１４２５の長さで示されるビット数の圧縮データを
読み込み、時間ｔ０のフレームに対応する圧縮データを
復号化する。

【００２５】ここでは、第１の構成要素（物体）は、符
号化処理に必要とする符号量の多い構成要素とし、第２
の構成要素（物体）は、符号化処理に必要とする符号量
が少ない構成要素とする。第１の構成要素（図１４(a)
）に対応するバッファは、ほぼデータ格納量の最大値
まで圧縮データに占有されているが、第２の構成要素
（図１４(b) ）に対応するバッファは、まだデータ格納
量にだいぶ余裕がある。このような場合、従来の画像伝
送システムでは、データ格納量が少ないバッファのデー
タ格納領域を、第１の構成要素に対応する圧縮データに
割り当てることができない。そのために第１の構成要素
に対応する画像データを第２の構成要素より高い圧縮率
で圧縮する必要が生じて、結果として第１の構成要素の
画質が悪くなるという問題がある。

【００２６】さらに、第３の構成要素（図１４(c) ）で
は、時間ｔ０，ｔ１に読みだされる圧縮データは、符号
量の少ないものであり、時間ｔ２に読みだされる圧縮デ
ータは符号量の多いものである。このように時間経過に
ともなって画像の複雑さの変動が大きい構成要素に対応
するバッファでは、そのデータ格納領域がほとんど占有
されてしまう。このような構成要素については、バッフ
ァサイズの制限によって、時間ｔ２に圧縮データの読み
出しが行われるフレームでは、圧縮データに対する符号
量の割り当てが制限されることとなり、この結果このフ
レームに対する画質が悪くなるという問題がある。

【００２７】また、平均的には、すべての構成要素の複
雑さもしくは複雑さの変動が同じであっても、局所的に
は、ある時刻において、特定の構成要素の画像がほかの
構成要素の画像より複雑となる場合がある。このような
場合に上記特定の構成要素に対応するデータに多くのビ
ット数を割り当てて符号化しようとしても、バッファサ
イズの制限により、ほかの構成要素に対応するバッファ
のデータ占有量に余裕があっても、上記特定の構成要素
については、対応するバッファのデータ格納量の上限ま
でしかビット数を割り当てることができない。このた
め、上記特定の構成要素の画像が複雑になる場合に該画
像の画質を高めることができない。

【００２８】このように、従来の技術では、各構成要素
（すなわちそれぞれのデコーダ）に対して、受信側では
符号化データ（圧縮データ）を格納するバッファを独立
して設けているため、構成要素間でのバッファの有効利
用ができず、特定の構成要素の画質が劣化し、合成した
画像の画質にばらつきが生じるといった問題がある。さ
らに、各物体に対応する圧縮データの伝送レートは、予
め物体の画像の複雑さを考慮して設定されているため、
必ずしも、限られたデータ伝送速度を有する実際の通信
回線に適したものとはなっていないという問題もある。

【００２９】この発明は上記のような問題点を解決する
ためになされたものであり、複数異なる構成要素間に
て、符号化データを格納するためのバッファを有効に利
用することができ、バッファがオーバーフローもしくは
アンダーフローが生じない限り、各構成要素の複雑さに
応じてビット数を動的に分配することができる画像処理
方法，画像処理装置、並びに画像処理方法による画像処
理をコンピュータにより行うためのプログラムを格納し
たデータ記憶媒体を得ることを目的とする。この発明
は、物体に対応する圧縮データの伝送レートを、限られ
たデータ伝送速度を有する実際の通信回線に適したもの
とすることができる画像処理方法，画像処理装置、並び
に画像処理方法による画像処理をコンピュータにより行
うためのプログラムを格納したデータ記憶媒体を得るこ
とを目的とする。

【００３０】

【課題を解決するための手段】この発明（請求項１）に
係る画像処理方法は、所定の画像を表示するためのビデ
オ信号に対して、該所定の画像を構成する複数の構成要
素に対応するオブジェクト画像データを各構成要素毎に
別々に符号化してオブジェクト符号化データに変換する
オブジェクト符号化処理を施す画像処理方法であって、
上記各オブジェクト画像データの符号化処理に要する
ビット数の多さに対応する構成要素の複雑さを測定する
複雑さ測定処理と、上記各構成要素の複雑さに応じて、
各オブジェクト画像データに対して割り当てられるビッ
ト数の、上記複数の構成要素間での比率を決定するビッ
ト数割当比率決定処理とを含み、上記各オブジェクト画
像データを、上記各オブジェクト符号化データに対応す
るビット数が上記各構成要素間での割当ビット数の決定
比率を満たすよう符号化するものである。

【００３１】この発明（請求項２）に係る画像処理方法
は、請求項１記載の画像処理方法により得られる各構成
要素に対応するオブジェクト符号化データを多重化して
なる多重符号化データを復号化する画像処理方法であっ
て、上記多重符号化データから上記各構成要素に対応す
るオブジェクト符号化データを分離する分離処理と、上
記各構成要素に対応するオブジェクト符号化データを１
つのバッファに格納する格納処理と、該バッファから各
構成要素に対応するオブジェクト符号化データを取り出
して復号化する復号化処理とを含むものである。

【００３２】この発明（請求項３）に係る画像処理方法
は、請求項１記載の画像処理方法において、上記各構成
要素の複雑さを示す指標として、上記各構成要素を構成
する画素の画素値の分散を示す第１の値、上記各構成要
素の表示画像の時間的な変動の大きさを示す第２の値、
上記符号化処理の対象となる対象フレームより以前に符
号化処理が施された前処理フレームにおける対応する構
成要素に対する符号化時の発生ビット数を、対象フレー
ムと前処理フレームの間での、同一構成要素の特性を示
す係数の比率により重み付けした第３の値、あるいは、
上記各構成要素に対するオブジェクト画像データを一定
の符号化条件でもって予備符号化した時に発生する、各
構成要素に対応する発生ビット数を示す第４の値のいず
れかの値を用いるものである。

【００３３】この発明（請求項４）に係る画像処理方法
は、所定の画像を表示するためのビデオ信号に対して、
該所定の画像を構成する複数の構成要素に対応するオブ
ジェクト画像データを各構成要素毎に別々に符号化して
オブジェクト符号化データに変換するオブジェクト符号
化処理を、表示処理の単位であるフレーム毎に施す画像
処理方法であって、上記符号化処理の対象となる対象
フレームに対応するビデオ信号に割り当てられるフレー
ムビット数を決定するフレームビット数決定処理と、上
記対象フレームを構成する各構成要素の複雑さに応じ
て、上記フレームビット数を該各構成要素に対応するよ
う分配して、各構成要素の対象フレームに対応するオブ
ジェクトビット数を決定するビット数分配処理とを含
み、上記対象フレームに対応する各オブジェクト画像デ
ータを、対応するオブジェクト符号化データのビット数
が、上記各構成要素の対象フレームに対応するオブジェ
クトビット数となるよう符号化するものである。

【００３４】この発明（請求項５）に係る画像処理方法
は、所定の画像を表示するためのビデオ信号に対して、
該所定の画像を構成する複数の構成要素に対応するオブ
ジェクト画像データを各構成要素毎に別々に符号化して
オブジェクト符号化データに変換するオブジェクト符号
化処理を、表示処理の単位であるフレーム毎に施す画像
処理方法であって、上記符号化処理の対象となる対象
フレームに対応するビデオ信号に割り当てられるフレー
ムビット数を決定するフレームビット数決定処理と、上
記対象フレームを構成する複数の構成要素の複雑さの総
和に対する各構成要素の複雑さの比に応じて、各オブジ
ェクト画像データに対して割り当てられるビット数の、
上記複数の構成要素間での比率を決定するビット数割当
比率決定処理とを含み、上記各オブジェクト画像データ
を、上記フレームビット数が上記各構成要素間での割当
ビット数の決定比率に応じて上記各オブジェクト符号化
データに分配されるよう符号化するものである。

【００３５】この発明（請求項６）に係る画像処理装置
は、所定の画像を表示するためのビデオ信号に対して、
該所定の画像を構成する複数の構成要素に対応するオブ
ジェクト画像データを各構成要素毎に別々に符号化して
オブジェクト符号化データに変換するオブジェクト符号
化処理を施す画像処理装置であって、上記各オブジェ
クト画像データの符号化処理に要するビット数の多さに
対応する構成要素の複雑さを測定する複雑さ測定手段
と、上記符号化処理の対象となる対象フレームを構成す
る各構成要素の複雑さに応じて、該各構成要素に対して
そのオブジェクト画像データの符号化の際に用いるビッ
ト数を割り当てるビット数割当手段と、上記対象フレー
ムに対応する各オブジェクト画像データを、各構成要素
に対して割り当てられたビット数に基づいて符号化して
オブジェクト符号化データを生成する符号化器と、各
構成要素に対応するオブジェクト符号化データを多重化
してビットストリームを生成する多重化器とを備えたも
のである。

【００３６】この発明（請求項７）は、請求項６記載の
画像処理装置において、上記ビット数割当手段を、対象
フレームにおける全ての構成要素の複雑さの総和に対す
る、各構成要素の複雑さの比率に基づいて、上記各構成
要素に対応するビット数の割り当てを行うよう構成した
ものである。

【００３７】この発明（請求項８）は、請求項６記載の
画像処理装置において、上記複雑さ測定手段を、各構成
要素を構成する画素の画素値の分散を示す第１の値、各
構成要素の表示画像の時間的な変動の大きさを示す第２
の値、該対象フレームより以前に符号化処理が施された
前処理フレームにおける対応する構成要素に対する符号
化時の発生ビット数を、対象フレームと前処理フレーム
の間での、同一構成要素の特性を示す係数の比率により
重み付けして得られる第３の値、あるいは、上記各構成
要素に対するオブジェクト画像データを一定の符号化条
件でもって予備符号化した時に発生する、各構成要素に
対応する発生ビット数を示す第４の値のいずれかを指標
として、上記構成要素の複雑さを測定するよう構成した
ものである。

【００３８】この発明（請求項９）は、請求項６記載の
画像処理装置において、上記ビット数割当手段を、上記
ビットストリームに対して復号化処理を施す画像復号化
装置における、上記ビットストリームから分離された各
構成要素に対応する符号化オブジェクトデータを格納す
る１つのバッファが、オーバーフローもしくはアンダー
フローにならないよう、上記対象フレームに対応するビ
デオ信号に割り当てられるフレームビット数を該各構成
要素に分配する構成としたものである。

【００３９】この発明（請求項１０）に係るデータ記憶
媒体は、画像処理プログラムを格納したデータ記憶媒体
であって、上記画像処理プログラムとして、請求項１記
載の画像処理方法によるビデオ信号の符号化処理をコン
ピュータにより行うためのプログラムを格納したもので
ある。

【００４０】この発明（請求項１１）に係る画像処理方
法は、所定の画像を表示するためのビデオ信号をフレー
ム毎に符号化処理によりビットストリームに変換し、該
ビットストリームを送信する送信側データ処理と、該ビ
ットストリームを受信し、該ビットストリームをフレー
ム毎に復号化処理により再生データに変換する受信側デ
ータ処理とを含む画像処理方法であって、上記送信側デ
ータ処理を、上記所定の画像を構成する複数の構成要素
に対応する、符号化処理の対象となる対象フレームのオ
ブジェクト画像データを各構成要素毎に別々に符号化し
てオブジェクト符号化データに変換するオブジェクト符
号化処理と、各構成要素に対応するオブジェクト符号化
データを多重化して上記ビットストリームを生成する多
重化処理とを含む構成とし、上記受信側データ処理を、
上記ビットストリームをフレーム毎に１つのバッファに
格納するデータ格納処理と、上記バッファから、対象フ
レームに対応するビットストリームを読み出し、読み出
したビットストリームを各構成要素別に復号化して、該
各構成要素に対応する再生データを生成する復号化処理
と、上記各構成要素に対応する再生データを合成して合
成データを生成し、該合成データに基づいて、上記所定
の画像を表示する合成表示処理とを含む構成としたもの
である。

【００４１】この発明（請求項１２）は、請求項１１記
載の画像処理方法において、上記オブジェクト符号化処
理を、上記バッファがアンダーフローもしくはオーバー
フローにならないよう、符号化の対象となる対象フレー
ムに割り当てるフレームビット数を決定するビット数決
定処理と、上記対象フレームを構成する各構成要素の複
雑さに応じて、上記フレームビット数を該各構成要素に
対応するよう分配して、各構成要素に対応するオブジェ
クトビット数を決定するビット数分割処理とを含み、該
各オブジェクトビット数に基づいて、上記対象フレーム
の各構成要素に対応するオブジェクト画像データを符号
化する構成としたものである。

【００４２】この発明（請求項１３）に係る画像処理装
置は、所定の画像を表示するためのビデオ信号に対し
て、該所定の画像を構成する複数の構成要素に対応する
オブジェクト画像データを各構成要素毎に別々に符号化
してオブジェクト符号化データに変換するオブジェクト
符号化処理を施し、該各オブジェクト符号化データを多
重化して得られる多重符号化データを、復号化する画像
処理装置であって、上記多重符号化データから上記各構
成要素に対応するオブジェクト符号化データを分離する
分離器と、上記各構成要素に対応するオブジェクト符号
化データを格納する１つのバッファと、該バッファから
各構成要素に対応するオブジェクト符号化データを取り
出して復号化する復号化器とを備えたものである。

【００４３】この発明（請求項１４）に係る画像処理方
法は、所定の画像を表示するためのビデオ信号に対し
て、該所定の画像を構成する複数の構成要素に対応する
オブジェクト画像データを各構成要素毎に別々に符号化
してオブジェクト符号化データに変換するオブジェクト
符号化処理を、表示処理の単位であるフレーム毎に施す
画像処理方法であって、各構成要素に対応するオブジ
ェクト画像データを予備符号化して得られる、各構成要
素に対する発生ビット数を、各構成要素の複雑さの指標
として求める複雑さ導出処理と、本符号化処理が施さ
れていないすべての未符号化フレームの複雑さの総和
と、本符号化処理の対象となる対象フレームの複雑さと
の比を、フレーム分配率として求めるフレーム分配率導
出処理と、上記ビデオ信号に割り当てられている総ビッ
ト数のうちの未使用ビット数に上記フレーム分配率を乗
算して上記対象フレームに割り当てられるビット数を決
定するフレームビット数決定処理と、上記対象フレーム
を構成するすべての構成要素の複雑さの総和と、本符号
化処理の対象となる構成要素の複雑さとの比を、構成要
素分配率として求める分配率導出処理と、上記対象フ
レームに割り当てられたビット数に上記構成要素分配率
を乗算して、上記対象構成要素に割り当てられるビット
数を決定する構成要素ビット数決定処理と、各構成要素
に対して割り当てられたビット数に基づいて、上記対象
フレームを構成する各構成要素に対応するオブジェクト
画像データを別々に符号化する構成要素符号化処理とを
含むものである。

【００４４】この発明（請求項１５）に係る画像処理装
置は、所定の画像を表示するためのビデオ信号に対し
て、該所定の画像を構成する複数の構成要素に対応する
オブジェクト画像データを各構成要素毎に別々に符号化
してオブジェクト符号化データに変換するオブジェクト
符号化処理を施す画像処理装置であって、上記各構成要
素に対応するオブジェクト画像データの予備符号化によ
り発生する、各構成要素に対応する発生ビット数を、各
構成要素の複雑さの指標として導出する複雑さ測定器
と、本符号化処理が施されていないすべての未符号化フ
レームの複雑さの総和と、本符号化処理の対象となる対
象フレームの複雑さとの比を、フレーム分配率として求
めるフレーム分配率導出器と、上記ビデオ信号に割り当
てられている総ビット数のうちの未使用ビット数に上記
フレーム分配率を乗算して上記対象フレームに割り当て
られるビット数を決定するフレームビット数決定器と、
上記対象フレームを構成するすべての構成要素の複雑さ
の総和と、本符号化処理の対象となる構成要素の複雑さ
との比を、構成要素分配率として求める分配率導出手段
と、上記対象フレームに割り当てられたビット数に上
記構成要素分配率を乗算して、上記対象構成要素に割り
当てられるビット数を決定する構成要素ビット数決定手
段と、各構成要素に対して割り当てられたビット数に基
づいて、上記対象フレームを構成する各構成要素を別々
に符号化して、オブジェクト符号化データを生成する符
号化手段と、上記複数の構成要素に対応するオブジェク
ト符号化データを多重化してビットストリームを出力す
る多重化器とを備えたものである。

【００４５】この発明（請求項１６）に係るデータ記憶
媒体は、画像処理プログラムを格納したデータ記憶媒体
であって、上記画像処理プログラムとして、請求項１４
記載の画像処理方法によるビデオ信号の符号化処理をコ
ンピュータにより行うためのプログラムを格納したもの
である。

【００４６】この発明（請求項１７）は、所定の画像を
表示するためのビデオ信号に対して、該所定の画像を構
成する複数の構成要素に対応するオブジェクト画像デー
タを各構成要素毎に別々に符号化してオブジェクト符号
化データに変換するオブジェクト符号化処理を施す画像
処理方法であって、上記オブジェクト符号化処理を、上
記各オブジェクト画像データの符号化処理に要するビッ
ト数の多さに対応する構成要素の複雑さを測定する複雑
さ測定処理と、上記各構成要素の複雑さに応じて、各構
成要素に対するオブジェクト符号化データのビットレー
トの、該複数の構成要素間での比率を決定するレート比
率決定処理とを含み、上記各構成要素に対するビットレ
ートの比率に基づいて、すべての構成要素に対応するビ
ットレートの総和が一定値となるよう、各構成要素に対
するオブジェクト画像データを所定のビットレートでも
って符号化する構成としたものである。

【００４７】この発明（請求項１８）は、上記請求項１
７記載の画像処理方法により得られる各構成要素に対応
するオブジェクト符号化データを多重化してなる多重符
号化データを復号化する画像処理方法であって、上記多
重符号化データから上記各構成要素に対応するオブジェ
クト符号化データを分離する分離処理と、上記各構成要
素に対応するオブジェクト符号化データを１つのバッフ
ァに格納する格納処理と、該バッファから各構成要素に
対応するオブジェクト符号化データを取り出して復号化
する復号化処理とを含むものである。

【００４８】この発明（請求項１９）は、請求項１７記
載の画像処理方法において、上記オブジェクト符号化処
理を、上記バッファがアンダーフローもしくはオーバー
フローにならないよう、各構成要素の複雑さに応じて、
該各構成要素に対するビットレートの比率、及び各構成
要素に対する、上記バッファへ格納されるオブジェクト
符号化データの最大量を決定する符号化条件決定処理を
含み、上記各構成要素に対するビットレートの比率に基
づいて、すべての構成要素に対応するビットレートの総
和が一定値となるよう、各構成要素に対するオブジェク
ト画像データを所定のビットレートでもって符号化する
構成としたものである。

【００４９】この発明（請求項２０）は、請求項１７記
載の画像処理方法において、上記各構成要素の複雑さを
示す指標として、上記各構成要素を構成する画素の画素
値の分散を示す第１の値、上記各構成要素の表示画像の
時間的な変動の大きさを示す第２の値、上記符号化処理
の対象となる対象フレームより以前に符号化処理が施さ
れた前処理フレームにおける対応する構成要素に対する
符号化時の発生ビット数を、対象フレームと前処理フレ
ームの間での、同一構成要素の特性を示す係数の比率に
より重み付けした第３の値、あるいは、上記各構成要素
に対するオブジェクト画像データを一定の符号化条件で
もって予備符号化した時に発生する、各構成要素に対応
する発生ビット数を示す第４の値のいずれかの値を用い
るものである。

【００５０】この発明（請求項２１）に係る画像処理方
法は、所定の画像を表示するためのビデオ信号に対し
て、該所定の画像を構成する複数の構成要素に対応する
オブジェクト画像データを各構成要素毎に別々に符号化
してオブジェクト符号化データに変換するオブジェクト
符号化処理を施す画像処理方法であって、上記オブジェ
クト符号化処理を、上記各オブジェクト画像データの符
号化処理に要するビット数の多さに対応する構成要素の
複雑さを測定する複雑さ測定処理と、上記すべての構成
要素の複雑さの総和に対する各構成要素の複雑さの比率
に応じて、該各構成要素に対するオブジェクト符号化デ
ータのビットレートの、上記複数の構成要素間での比
率、及び各構成要素に対する、復号化側のバッファへ格
納されるオブジェクト符号化データの最大量を決定する
符号化条件決定処理とを含み、上記各構成要素に対する
ビットレートの比率に基づいて、すべての構成要素に対
応するビットレートの総和が一定値となるよう、各構成
要素に対するオブジェクト画像データを所定のビットレ
ートでもって符号化する構成としたものである。

【００５１】この発明（請求項２２）に係る画像処理装
置は、所定の画像を表示するためのビデオ信号に対し
て、該所定の画像を構成する複数の構成要素に対応する
オブジェクト画像データを各構成要素毎に別々に符号化
してオブジェクト符号化データに変換するオブジェクト
符号化処理を施す画像処理装置であって、上記各オブ
ジェクト画像データの符号化処理に要するビット数の多
さに対応する構成要素の複雑さを測定する複雑さ測定手
段と、上記各構成要素の複雑さに応じて、該各構成要素
に対する個別ビットレート、及び各構成要素に対する、
復号化側のバッファへ格納されるオブジェクト符号化デ
ータの最大量である個別バッファサイズを決定する符号
化条件決定手段と、上記決定された個別ビットレート及
び個別バッファサイズに基づいて制御信号を出力する制
御器と、上記構成要素に対応するオブジェクト画像デー
タに対する符号化処理を、上記制御信号に基づいて該符
号化処理により発生するビット数を制御しつつ行って、
各構成要素に対応するオブジェクト符号化データを出力
する符号化器と、上記各構成要素に対応するオブジェク
ト符号化データを多重化してビットストリームを生成す
る多重化器とを備えたものである。

【００５２】この発明（請求項２３）は、請求項２２記
載の画像処理装置において、上記符号化条件決定手段
を、伝送経路の最大伝送ビットレートを上記各構成要素
の複雑さに応じて各構成要素に分配して各構成要素に対
する個別ビットレートを決定し、上記復号化側の１つの
バッファの最大データ格納量を、上記各構成要素の複雑
さに応じて該各構成要素に分配して上記個別バッファサ
イズを決定するよう構成したものである。

【００５３】この発明（請求項２４）に係るデータ記録
媒体は、画像処理プログラムを格納したデータ記憶媒体
であって、上記画像処理プログラムとして、請求項１７
記載の画像処理方法によるビデオ信号の符号化処理をコ
ンピュータにより行うためのプログラムを格納したもの
である。

【００５４】

【発明の実態の形態】以下、本発明の実施の形態につい
て説明する。（実施の形態１）図１は本発明の実施の形態１による画
像処理方法を説明するための図であり、該画像処理方法
による符号化処理の流れを概略的に示している。なお、
この実施の形態１は、請求項１〜１３に対応している。
まず、この符号化処理が開始されると（ステップＳ１０
１）、所定の画像に対応するビデオ信号を構成する、複
数の構成要素（物体）に対応する画像データ（オブジェ
クト画像データ）が入力される（ステップＳ１０２）。

【００５５】次に、上記各構成要素に対応する１フレー
ム分の画像の複雑さが測定される（ステップＳ１０
３）。本実施の形態では、上記１フレームの画像の複雑
さとして、各構成要素の画素の画素値の分散値を用い
る。すなわち、構成要素の１フレームに対応する全ての
画素値の平均値を求め、各画素値と平均値との差分の絶
対値を求め、各絶対値の和を分散値とする。構成要素の
大きさが異なる場合、分散値をさらに各構成要素の画像
サイズによって正規化する。

【００５６】続いて、測定した複雑さに応じて、各構成
要素に割り当てられる、対応する符号化データの１フレ
ーム当たりのビット数が決定される（ステップＳ１０
４）。決定した１フレーム当たりのビット数に基づいて
各構成要素に対応する画像データが符号化される（ステ
ップ１０５）。これにより符号化処理は終了する（ステ
ップＳ１０６）。

【００５７】ここで、上記１フレーム当たりのビット数
を決定するための指標は、上記分散値に限らず、例え
ば、各構成要素の動きの大きさを指標にして、１フレー
ム当たりのビット数を決定してもよい。具体的には、静
止している構成要素の画像に対して割り当てるビット数
を多くし、動きの大きい構成要素の画像に対して割り当
てるビット数を抑える。

【００５８】以下、上記実施の形態１の画像処理方法に
よる符号化処理を行う画像処理装置（画像符号化装
置）、及び該符号化処理により生成された符号化データ
を復号化する画像処理装置（画像復号化装置）について
説明する。図２は上記画像符号化装置を説明するための
ブロック図である。上記画像符号化装置１１０ａは、第
１の物体（構成要素）に対応する画像データ２１２を制
御信号２１５に基づいて符号化して符号化データ２１８
を出力する第１の符号化器２０４と、第２の物体（構成
要素）に対応する画像データ２１３を制御信号２１６に
基づいて符号化して符号化データ２１９を出力する第２
の符号化器２０５と、第３の物体（構成要素）に対応す
る画像データ２１４を制御信号２１７に基づいて符号化
して符号化データ２２０を出力する第３の符号化器２０
６とを有している。

【００５９】また、上記画像符号化装置１１０ａは、各
物体に対応する符号化データ２１８，２１９，２２０を
多重化して、多重ビットストリーム２２１として出力す
る多重化器２０７と、上記第１，第２，第３の物体の画
像の複雑さを示す情報２２２，２２３，２２４及び上記
各符号化データ２１８，２１９，２２０に基づいて、上
記制御信号２１５，２１６，２１７を発生するレート制
御器２１１とを有している。

【００６０】ここで、上記レート制御器２１１は、上記
各符号化器２０４，２０５，２０６からの符号化データ
２１８，２１９，２２０に基づいて、上記各物体の画像
を合成して得られる合成画像に割り当てられる１フレー
ム分のビット数を決定して、フレームビット数情報２１
０ａを出力するフレームビット数決定手段２１０と、上
記各物体の画像の複雑さを示す情報２２２〜２２４及び
フレームビット数情報２１０ａに基づいて、上記合成画
像１フレーム分のビット数を各構成要素に割り当てて、
各構成要素１フレーム分のビット数を決定するオブジェ
クトビット数決定手段２０９とから構成されている。な
お、図２中、２０１、２０２、２０３はそれぞれ、各物
体の画像データが入力される入力端子、２０８は多重ビ
ットストリーム２２１が出力される出力端子である。

【００６１】図１５は上記第１の符号化器の具体的な構
成を示すブロック図である。なお、ここでは上記第１の
符号化器２０４の構成のみ示しているが、第２，第３の
符号化器２０５，２０６も、上記第１の符号化器２０４
と同一の構成となっている。

【００６２】上記第１の符号化器２０４は、物体，つま
り任意形状の画像に対応する画像データを符号化するも
のである。この任意形状の画像に対応する画像データ
は、絵柄（テキスチャー）を表す、輝度信号と色差信号
を含むテキスチャーデータと、該画像の形状を表す形状
データ（有意信号または形状信号ともいう。）を含んで
いる。有意信号はテキスチャーを構成する各サンプル
（画素）が物体の内部に属するかどうかを示すものであ
り、物体内部に属するサンプルは有意であり、一方、物
体内部に属しないサンプルは有意でない。本実施の形態
では、テキスチャーのサンプルが有意でない場合、対応
する有意信号は０の値をもつ。またテキスチャーのサン
プルは、対応する有意信号が０以外の値をもつ場合、有
意なものとなっている。

【００６３】すなわち、上記第１の符号化器２０４は、
第１の物体の各フレームに対応するテクスチャーデータ
Ｔｓを、符号化処理の単位としての１６×１６画素から
なるブロックに対応するよう分割して各ブロックに対応
する画像データ１５１６を出力するブロック化器（図示
せず）を有しており、この画像データ１５１６が入力端
子１５０１に供給されるようになっている。

【００６４】また、上記符号化器２０４は、符号化処理
が行われる被処理フレームにおける対象ブロック（符号
化処理の対象となるブロック）の画像データ１５１６
と、これに対応する予測データ１５２６との減算処理に
より差分データ１５１７を出力する第１の加算器１５０
２と、該第１の加算器１５０２の出力１５１７に情報圧
縮処理を施す情報圧縮器１５０３と、該情報圧縮器１５
０３の出力１５１９に対して可変長符号化処理を施して
符号化データ２１８を出力端子１５０６に出力する可変
長符号化器（ＶＬＣ）１５１１とを有している。

【００６５】ここで、上記情報圧縮器１５０３は、上記
差分データ１５１７に対して、空間領域のデータを周波
数領域のデータに変換する離散コサイン変換処理を施す
ＤＣＴ器１５０４と、該ＤＣＴ器１５０４の出力１５１
８を、上記オブジェクトビット数決定手段２０９からの
制御信号２１５に基づいて量子化して量子化係数を生成
し、この量子化係数を上記情報圧縮器１５０３の出力１
５１９として出力する量子化器１５０５とから構成され
ている。ここで、該量子化器１５０５は、上記オブジェ
クトビット数決定手段２０９から制御信号２１５として
供給される第１の構成要素１フレーム分のビット数に基
づいて、量子化ステップを導出する量子化ステップ導出
器（図示せず）を有しており、上記ＤＣＴ器１５０４の
出力１５１８は、導出された量子化ステップでもって量
子化されるようになっている。なお、上記離散コサイン
変換処理は、上記１６×１６画素からなるブロックを４
分割して得られる８×８画素からなる小ブロックを単位
として行われる。

【００６６】また、上記第１の符号化器２０４は、上記
情報圧縮器１５０３の出力１５１９に情報伸長処理を施
す情報伸長器１５０７と、該情報伸長器１５０７の出力
１５２１を上記予測データ１５２６と加算して再生デー
タ１５２２を出力する第２の加算器１５１０とを有して
いる。

【００６７】ここで、上記情報伸長器１５０７は、上記
情報圧縮器１５０３の出力１５１９を逆量子化する逆量
子化器１５０８と、該逆量子化器１５０８の出力１５２
０に対して、周波数領域のデータを空間領域のデータに
変換する逆ＤＣＴ処理を施すＩＤＣＴ器１５０９とから
構成されている。

【００６８】また、上記第１の符号化器２０４は、上記
第２の加算器１５１０の出力（再生データ）１５２２
を、次処理フレームに対応する参照画像データとして格
納するフレームメモリ１５１３と、テキスチャー動きベ
クトル１５２８に基づいて上記フレームメモリ１５１３
から上記予測テキスチャーデータ１５２６を読みだす動
き補償器１５１５とを有している。

【００６９】さらに、上記第１の符号化器２０４は、第
１の物体の各フレームに対応する形状データを、符号化
処理の単位としての１６×１６画素からなるブロックに
対応するよう分割して各ブロックに対応する形状データ
１５３６を出力するブロック化器（図示せず）を有して
おり、この形状データ１５３６が入力端子１５３０に供
給されるようになっている

【００７０】また、上記第１の符号化器２０４は、上記
形状データ１５３６に対して形状符号化処理を施して形
状符号化データ１５３７を出力端子１５３３から出力す
るとともに、該形状符号化データの復号化により得られ
るデータを参照形状データ１５３８として上記フレーム
メモリ１５１３に出力する形状符号化器１５３１と、形
状動きベクトル１５４０に基づいて上記フレームメモリ
１５１３から予測形状データ１５４１を読み出す形状動
き補償器１５３２とを有している。

【００７１】さらに、上記第１の符号化器２０４は、上
記フレームメモリ１５１３に格納されている現処理フレ
ームに対する参照テキスチャーデータ及び参照形状デー
タ１５２４、並びに対象ブロックのテキスチャーデータ
１５１６及び形状データ１５３６に基づいて、現処理フ
レームの対象ブロックに対応するテキスチャー動きベク
トル１５２８及び形状動きベクトル１５４０を求めて出
力する動き検出器１５１４を有している。

【００７２】以上のように構成された任意形状画像符号
化装置１１０ａについて、以下その動作を述べる。この
実施の形態の符号化装置１１０ａでは、複数の異なる構
成要素からなる画像に対応するビデオ信号の符号化処理
が行われる。

【００７３】すなわち、上記ビデオ信号が、鳥と雲と青
空の３つの構成要素に対応する画像データから構成され
ている場合には、上記入力端子２０１，２０２，２０３
にはそれぞれ鳥と雲と青空に対応する画像シーケンスの
データが入力される。ここで、シーケンスとは時間系列
である。画像は表示単位である複数のフレームからな
り、フレームの時間系列がビデオとなっている。複数の
構成要素に対応する画像データを含むビデオ信号では、
ある表示時刻のフレームが複数の構成要素の画像から構
成される。ここで挙げた例では、ある表示時間における
鳥と雲と青空の画像を合成すると所定シーンの画像とな
る。また、上記画像符号化装置は、矩形形状の画像や任
意形状の画像に対応するデータを、符号化処理の対象デ
ータとしている。例えば、この例では、青空は矩形形状
の画像で背景として用いる。鳥と雲はそれぞれの任意の
形をもつ任意形状の画像である。

【００７４】上記入力端子２０１，２０２，２０３には
各構成要素に対応する画像データ２１２，２１３，２１
４が入力されると、これらの画像データは、それぞれ対
応する符号化器２０４，２０５，２０６にて制御信号２
１５，２１６，２１７に基づいて符号化される。このと
き、上記レート制御器２１１では、フレームビット数決
定手段２１０により、各符号化器からの圧縮データに基
づいて、合成画像の１フレーム分に割り当てられるフレ
ームビット数が求められ、さらに、このフレームビット
数が、各物体の画像の複雑さに基づいて分割されて、各
物体の１フレーム分の符号化データに割り当てられるビ
ット数が求められる。そして、これらの各物体の１フレ
ーム分の符号化データに割り当てられるビット数を示す
情報が制御信号２１５，２１６及び２１７として上記各
符号化器２０４，２０５，２０６に出力される。

【００７５】以下上記各符号化器における動作について
説明する。ただし、第２，第３の符号化器の動作は、上
記第１の符号化器の動作と同一であるため、ここでは第
１の符号化器の動作についてのみ説明する。任意形状の
画像（物体の画像）に対応するテキスチャーデータ１５
１６及び形状データ１５３６がそれぞれ入力端子１５０
１及び１５３０に入力されると、動き検出器１５１４で
はテキスチャーデータ１５１６及び形状データ１５３６
を用いて動き検出処理が行われる。

【００７６】本実施の形態では、上記各入力端子１５１
６及び１５３０に入力されるテキスチャーデータ及び形
状データはそれぞれ、１６×１６のサンプルからなるブ
ロックに対応するデータとなっている。上記動き検出器
１５１４では、符号化の対象となる対象ブロックに対応
する動きの変位情報（動きベクトル）は、フレームメモ
リ１５１３に格納されている参照データを参照してブロ
ックマッチングなどの方法で検出される。ここで、上記
参照データは、既に符号化処理が施された既処理ブロッ
クに対応する符号化テキスチャーデータ及び符号化形状
データを復号化して得られるものである。このとき対象
ブロックの形状データに対応する動きベクトル１５４０
は、形状動き補償器１５３２に供給され、該補償器１５
３２にて参照データのうちの形状成分から形状予測デー
タ１５４１が生成される。さらに形状動きベクトル１５
４０は可変長符号化器（ＶＬＣ）１５１１に送られ可変
長符号に変換される。

【００７７】また、動き補償器１５３２では、上記形状
動きベクトル１５４０に基づいて、上記フレームメモリ
１５１３に格納されている参照形状データから、対象ブ
ロックに対応する形状予測データ１５４１が生成され
る。対象ブロックの形状データと動き補償器１５３２で
生成された形状予測データが形状符号化器１５３１に入
力さるれと、対象ブロックの形状データは、ＭＰＥＧ４
方式と同じ方法で形状予測データを参照して算術符号化
処理が施されて、出力端子１５３３に形状符号化データ
１５３７として出力される。一方、該形状符号化器１５
３１にて該形状符号化データに対して復号化処理を施し
て得られた形状復号化データ１５３８は、フレームメモ
リ１５１３に送られて、参照形状データとして格納され
る。

【００７８】テキスチャーデータに対応する動きベクト
ル１５２８が動き補償器１５１５に供給されると、該補
償器１５１５では、参照テキスチャーデータから対象ブ
ロックに対応する予測テキスチャーデータ１５２６が生
成される。このとき、動きベクトル１５２８は可変長符
号化器（ＶＬＣ）１５１１に送られて可変長符号に変換
される。

【００７９】上記対象ブロックに対応するテキスチャー
データ１５１６及び予測テキスチャーデータ１５２６が
第１加算器１５０２に供給されると、これらのデータの
差分データ１５１７が求められ、この差分データが情報
圧縮部１５０３にて圧縮される。本実施の形態では、上
記差分データ１５１７はＤＣＴ器１５０４及び量子化器
１５０５にてそれぞれ周波数変換処理及び量子化処理が
施されて、圧縮データ１５１９に変換される。量子化さ
れたデータ，つまり圧縮データ１５１９は、可変長符号
化器（ＶＬＣ）１５１１にて可変長符号に変換され、動
きベクトルを含むその他のサイド情報と共に出力端子１
５０６から出力される。そして、上記各出力端子１５０
６，１５３３から出力された可変長符号は所定の順序に
配列されて、符号化データ２１８として図２に示す多重
化器２０７に送られる。

【００８０】また、第２，第３の物体に対応する画像デ
ータも、上記第１の物体に対応する画像データと同様に
符号化され、それぞれ対応する符号化データ２１９，２
２０が上記多重化器２０７に供給される。そして、上記
多重化器２０７では、上記各物体に対応する符号化デー
タが多重されて１つのビットストリーム（多重符号化デ
ータ）２２１として出力される。このようなビットスト
リームは、受信側の画像復号化装置にて再生されること
となる。

【００８１】図３は実施の形態１の画像復号化装置を説
明するためのブロック図である。この画像復号化装置１
１０ｂは、上記画像符号化装置１１０ａからの多重ビッ
トストリーム２２１を入力データ３１９として受け、該
入力データ３１９から、各物体に対応する符号化データ
３０９，３１０，３１１を抽出する分離器３０２と、各
物体に対応する符号化データ３０９，３１０，３１１を
格納する１つのバッファ３０４と、上記バッファ３０４
と上記分離器３０２との間に設けられ、上記分離器３０
２から出力される各物体に対応する符号化データの１つ
を選択して上記バッファへ出力する第１のスイッチ３０
３とを有している。ここで信号３１２は上記スイッチ３
０３の選択出力，つまり該スイッチにより選択された信
号である。

【００８２】また、上記画像復号化装置１１０ｂは、上
記バッファ３０４に格納されている符号化データを復号
化して各物体に対応する復号化データ３１４を出力する
復号化器３０５と、該復号化器３０５から出力される復
号化データ３１４に含まれている、各物体に対応する復
号化データ３１５，３１６，３１７を分離して出力する
第２のスイッチ３０６と、該スイッチ３０６から出力さ
れる各物体に対応する復号化データ３１５，３１６，３
１７を合成して、合成画像に対応する再生データ３１８
を出力する合成器３０７とを有している。なお、図３
中、３０１は、上記画像符号化装置１１０ａからの多重
ビットストリーム２２１が入力される、復号化装置１１
０ｂの入力端子であり、３０８は、上記再生データ３１
８が出力される、復号化装置１１０ｂの出力端子であ
る。

【００８３】図１６は上記復号化器の具体的な構成を示
すブロック図である。この復号化器３０５は、各物体に
対応する符号化データ（以下、圧縮データともいう。）
の解析により、復号化処理の対象となる対象ブロックの
形状動きベクトル１６２６を出力する第１のデータ解析
器１６２１と、該形状動きベクトル１６２６に基づいて
参照形状データ１６２９から対象ブロックに対応する予
測形状データ１６２８を生成する動き補償器１６２３
と、上記第１のデータ解析器１６２１を通過した圧縮デ
ータ１６２５と上記予測形状データ１６２８に基づい
て、対象ブロックに対応する形状復号化データ１６２７
を生成する形状復号化器１６２２とを有している。

【００８４】また、上記復号化器３０５は、上記形状復
号化器１６２２を通過した符号化データ１６１１の解析
により、対象ブロックに対応するテキスチャー動きベク
トル１６１８、及び量子化係数に対応する可変長符号１
６１２を抽出するデータ解析器１６０２と、該テキスチ
ャー動きベクトル１６１８に基づいて参照テキスチャー
データ１６１７から対象ブロックに対応する予測テキス
チャーデータ１６２０を生成する動き補償器１６１０と
を有している。

【００８５】さらに、上記復号化器３０５は、上記可変
長符号１６１２に対する可変長復号化処理により上記量
子化係数１６１９を生成する係数可変長復号化器１６０
８と、上記量子化係数１６１９に対する情報伸長処理に
より復号化データ１６１４を出力する情報伸長器１６０
３と、上記復号化データ１６１４と予測データ１６２０
との加算処理により再生データ１６１５を出力する加算
器１６０６とを有している。ここで、上記情報伸長器１
６０３は、上記量子化係数１６１９に逆量子化処理を施
して周波数領域のデータ１６１３を生成する逆量子化器
１６０４と、該周波数領域のデータ１６１３に対して逆
周波数変換処理を施して空間領域のデータを対象ブロッ
クに対応する復号化データ１６１４として出力するＩＤ
ＣＴ器１６０５とから構成されている。

【００８６】さらに、上記復号化器３０５は、上記復号
化形状データ１６２７及び再生テキスチャーデータ１６
１５を格納するとともに、動き補償器１６２３，１６１
０にそれぞれ参照形状データ１６２９及び参照テキスチ
ャーデータ１６１７を出力するフレームメモリ１６０９
を有している。

【００８７】次に上記画像復号化装置１１０ｂの動作に
ついて説明する。送信側からのビットストリーム３１９
が入力端子３０１に入力されると、分離器３０２では、
上記ビットストリームがそれぞれの構成要素に対応する
符号化データに分離され、切り替えスイッチ３０３を経
由してバッファ３０４に送られる。このバッファ３０４
にはすべての構成要素に対する符号化データが格納され
る。このバッファ３０４は、各物体に対応するフレーム
当たりのビット数の変動を、複数の物体の間で吸収する
ためのもので、各物体の符号化データのビット列は一定
のレート（伝送レート）でバッファ３０４に入力され
る。このバッファに、ある表示時刻の、合成画像の１フ
レーム分に対応するデータが溜まると、該バッファから
符号化データが復号化器３０５へ順次読み出されて、該
符号化器３０５にて復号化される。

【００８８】上記復号化器３０５での復号化処理により
得られた各構成要素に対応する復号化データは、切り替
えスイッチ３０６を経由して合成器３０７に送られる。
この合成器３０７では、各構成要素に対応する復号化デ
ータ３１５，３１６，３１７が合成されて、複数の構成
要素からなる所定シーンに対応する再生データ３１８が
出力端子３０８を経由して表示装置へ出力される。

【００８９】以下上記復号化器３０５の動作について説
明する。各物体に対応する符号化テキスチャーデータと
符号化形状データを含むビットストリーム１６２４が入
力端子１６０１に入力されると、データ解析器１６２１
では、形状動きベクトルに対応する可変長符号がそのデ
ータ解析により、所定の値を有する形状動きベクトル１
６２６に変換される。この形状動きベクトル１６２６が
動き補償器１６２３に出力されると、動き補償器１６２
３では、動きベクトルに基づいてフレームメモリ１６０
９の参照形状データ１６２９から、復号化処理の対象と
なる対象ブロックに対応する予測形状信号１６２８が生
成される。

【００９０】上記形状復号化器１６２２では、この形状
予測信号１６２８に基づいて対象ブロックに対応する形
状復号化データ１６２７が生成され、フレームメモリ１
６０９に格納される。また、上記形状復号化器１６２２
を通過した符号化データ１６１１は、第２のデータ解析
器１６０２に供給される。

【００９１】続いて、符号化テキスチャーデータの伸長
処理が行われる。すなわち、データ解析器１６０２で
は、上記符号化データ１６１１のデータ解析により、テ
キスチャー動きベクトルに対応する可変長符号が所定の
値を有するテキスチャー動きベクトル１６１８に変換さ
れるとともに、量子化係数に対応する可変長符号１６１
２が抽出される。動きベクトル１６１８が動き補償器１
６１０に送られると、動き補償器１６１０では、該動き
ベクトルに基づいて、フレームメモリ１６０９内の参照
テキスチャー信号から対象ブロックに対応する予測テキ
スチャー信号１６２０が生成される。

【００９２】一方、可変長符号１６１２は係数可変長復
号化器１６０８にて所定の値を有する量子化係数１６１
９に変換され、逆量子化器１６０４では量子化係数１６
１９に対して逆量子化処理が施されて周波数領域のデー
タ１６１３が生成される。この周波数領域のデータ１６
１３は、ＩＤＣＴ器１６０５にて、逆周波数変換処理に
より空間領域のデータ１６１４に変換され、テキスチャ
ー復号化データ１６１４として出力される。すると、加
算器１６０６では、対象ブロックのテキスチャー復号化
データ１６１４と予測テキスチャーデータ１６２０が加
算されて、再生テキスチャーデータ１６１５が生成され
る。この再生テキスチャーデータ１６１５はフレームメ
モリ１６０９に格納される。

【００９３】なお、この実施の形態１では、第１〜第３
の符号化器として図１５に示す構成のものを用い、復号
化器として図１６に示す構成のものを用いたが、上記符
号化器及び復号化器の構成はこれらに限るものではな
い。例えば、符号化器はデータ圧縮処理の方法として
は、フラクタルやウェーブレットなどの方法を用いるも
のであってもよく、復号化器はこれらのデータ圧縮処理
の方法に対応したデータ伸張処理の方法を用いるもので
あってもよい。

【００９４】また、上記実施の形態１では、画像符号化
装置として、図２に示すように、３つの物体に対応する
画像データの符号化処理を行う構成のものを示したが、
画像符号化装置の構成は、これに限るものではない。上
記画像符号化装置は、一般に任意の数の物体に対応する
画像データを符号化する構成とすることができる。ま
た、上記実施の形態１では、画像符号化装置は複数の入
力端子を有しているが、１つの入力端子に複数の構成要
素に対応する画像データを入力する構成としてもよい。
また、上記実施の形態１では、構成要素として矩形形状
の画像及び任意形状の画像を示しているが、構成要素は
矩形形状の画像のみでもよい。この場合、図１５に示す
符号化器２０４における点線で囲まれた形状符号化部１
５３４は動作せず、また同様に、図１６に示す復号化器
３０５における点線で囲まれた形状復号化部１６２４は
動作しない。

【００９５】以上、説明したように、図２に示す画像符
号化装置１１０ａでは、入力端子２０１，２０２，２０
３から入力された各構成要素の画像データが対応する符
号化器２０４，２０５，２０６にて符号化される。符号
化された画像データ（符号化データ）２１８，２１９，
２２０はそれぞれ多重化器２０７に送られると同時にレ
ート制御器２１１に送られる。このレート制御器２１１
のフレームビット数決定手段２１０では、符号化データ
のビット数がカウントされ、被処理フレームまでに発生
したビット数に基づいて、次処理フレームのビット数が
決定される。

【００９６】本実施の形態１では、以下のようにフレー
ム（ｉ−１）の各構成要素の発生ビット数から、フレー
ム（ｉ）のビット数が決定される。なお、ここでは、複
数の構成要素からなる合成画像の１秒当たりのフレーム
数に対応する符号化データに要するビット数を総ビット
数Ｎとする。まず、フレーム（ｉ−１）の各構成要素に
対する符号化処理が終了した時点で、その発生ビット数
の合計が求められる。この時点での発生ビット数の合計
をＦ（ｉ−１）とすると、残りのビット数Ｒは、Ｎ−Ｆ
（ｉ−１）により求められる。この残りのビット数Ｒは
次のフレーム以降の構成要素を符号化するのに用いられ
る。

【００９７】次に残りのビット数Ｒを、１秒間の残りの
フレーム数で均等に割り算する。このようにしてフレー
ム（ｉ）のフレームビット数Ｆ（ｉ）が得られる。そし
て、オブジェクトビット数決定手段２０９では、次処理
フレーム（ｉ）の符号化処理に使用するビット数Ｆ
（ｉ）が、フレーム（ｉ）の画像を構成する構成要素の
画像に分配される。

【００９８】上記フレームビット数の分配は、各構成要
素の複雑さの測定値に基づいて行われる。本実施の形態
では、以下の方法（１）〜（４）のいずれかの方法を用
いて構成要素の画像の複雑さを測定する。（１）複雑さの指標として、各構成要素の画像データを
構成する画素値の分散値を用いる。すなわち、構成要素
の１フレームに相当する画素値の平均を求め、各画素値
と平均値との差分の絶対値を求め、各絶対値の和を分散
値とする。なお、構成要素の大きさが異なる場合、上記
分散値をさらに画像のサイズに応じて正規化する。（２）動き補償予測符号化処理を施す画像に対しては、
参照フレームに対応する画像データから得られた予測デ
ータの、被処理フレームに対応する画像データに対する
誤差を複雑さの指標とする。具体的には、被処理フレー
ムに対応する画像データから、参照フレームに対応する
画像データから得られた予測データを、画素単位で引き
算し、その差分値の絶対値の和を複雑さの指標とする。（３）フレーム（ｉ−１）における各構成要素に対応す
る発生ビット数をフレーム（ｉ）における各構成要素の
複雑さの推定値とする。なお、この推定値をさらに正確
にするには、フレーム（ｉ−１）における構成要素
（ｊ）に対応する分散値とフレーム（ｉ）における構成
要素（ｊ）に対応する分散値との比を用いて、フレーム
（ｉ−１）における各構成要素（ｊ）の発生ビット数を
重み付けしたものを、フレーム（ｉ）における各構成要
素の複雑さの推定値とする。（４）フレーム（ｉ）の各構成要素に対応する画像デー
タをあらかじめ符号化し、この符号化処理の際に発生す
るビット数を、各構成要素の画像の複雑さの指標とす
る。本実施の形態では、固定量子化幅でフレーム（ｉ）
におけるすべての構成要素を符号化する。この方法は、
画像データの符号化処理における遅延が問題にならない
場合に用いられる複数回符号化方法である。

【００９９】上述した各構成要素の複雑さは予め測定さ
れ、該複雑さを示す情報２２２，２２３，２２４が、上
記レート制御器２１１に入力されるようになっている。
なお、図２には上記複雑さを測定する回路構成は示して
いない。

【０１００】このように決定した複雑さに基づいて、上
記オブジェクトビット数決定手段２０９では、各構成要
素に割り当てられるビット数が決定され、対応する符号
化器２０４，２０５，２０６に出力され、各符号化器で
は、符号化データにおけるビット数が、決定されたビッ
ト数となるよう、各構成要素に対応する画像データの符
号化処理が行われる。

【０１０１】図４は、レート制御器２１１における具体
的な処理を含む符号化処理の流れを示している。符号化
処理が開始されると（ステップＳ４０１）、フレーム
（ｉ）の構成要素に対応する画像データが入力される
（ステップＳ４０２）。各構成要素の画像の複雑さが測
定される（ステップＳ４０３）。具体的な方法は上述し
た通りである。各符号化器から出力される符号化データ
２１８〜２２０に基づいてフレーム（ｉ）に割り当てる
ビット数が決定される（ステップＳ４０４）。具体的な
方法は上述した通りである。

【０１０２】さらに、各構成要素の画像の複雑さに基づ
いて、フレーム（ｉ）に割り当てられたビット数が各構
成要素に分配される（ステップＳ４０５）。各物体に対
応する分配ビット数に基づいて各構成要素の画像データ
が符号化される（ステップＳ４０６）。その後、符号化
処理の対象となっている被処理フレームが、画像シーケ
ンスの最後のフレームであるか否かの判定が行われ、最
後であれば、符号化処理が終了し（ステップＳ４０
８）、最後でなければ、上記ステップＳ４０２〜Ｓ４０
７の処理が繰り返し行われる。このようにして、上記符
号化処理は最後のフレームまで繰り返し行われることと
なる。

【０１０３】図５は上記実施の形態１による画像符号化
方法のさらに具体的な処理を示している。符号化処理が
開始されると（ステップＳ５０１）、フレーム（ｉ）の
構成要素に対応する画像データが入力される（ステップ
Ｓ５０２）。続くステップＳ５０３では、フレーム
（ｉ）の画像における構成要素（ｊ）の複雑さＣ（ｉ，
ｊ）が測定される。具体的な方法は上述した通りであ
る。

【０１０４】ステップＳ５０４ではフレーム（ｉ）に対
応する符号化データに割り当てられるビット数Ｔｆ
（ｉ）が決定される。具体的な方法は上述した通りであ
る。ステップＳ５０５では、上記フレームビット数Ｔｆ
（ｉ）が画像復号化装置１１０ｂにおけるバッファ３０
４の条件を満たすように調整される。つまり、フレーム
ビット数Ｔｆ（ｉ）は、該バッファ３０４があふれない
ようにまたは空にならないように、以下の条件を満たす
必要がある。Ｂ（ｉ―１）＋２Ｒ／Ｐ−Ｂ＜Ｔｆ（ｉ）≦Ｂ（ｉ−１）＋Ｒ／Ｐ …（１）ここで、Ｂ（ｉ―１）は、表示時刻（ｉ−１）における
フレーム（ｉ−１）に対応する符号化データをバッファ
から取り出した時点における該バッファのデータ占有量
であり、Ｂはバッファ３０４のサイズ（最大データ格納
量）、Ｒはビットレート、Ｐはフレームレートである。

【０１０５】上記の条件を満たさない場合、つまりフレ
ームビット数Ｔｆ（ｉ）が上記（１）式で示される範囲
の最小値以下であるときは、フレームビット数Ｔｆ
（ｉ）は上限に、一方、フレームビット数Ｔｆ（ｉ）が
上記（１）式で示される範囲の最大値を超えているとき
は、フレームビット数Ｔｆ（ｉ）は下限の値に設定され
る。

【０１０６】そしてステップ５０６では、フレーム
（ｉ）の構成要素（ｊ）の画像に対応する複雑さＣ
（ｉ，ｊ）に基づいて、フレーム（ｉ）のビット数Ｔｆ
（ｉ）が各構成要素に割り当てられる。具体的には、以
下の（２）式に従って上記ビット数Ｔｆ（ｉ）の割り当
てが行われる。Ｔｏ（ｉ，ｊ）＝Ｔｆ（ｉ）×Ｃ（ｉ，ｊ）／ΣＣ（ｉ，ｊ）…（２）つまり、フレーム（ｉ）の各構成要素（ｊ）〔ｊ＝１，
２，…，Ｊ〕の複雑さの和に対する構成要素（ｊ）の画
像の複雑さの比にしたがってビット数Ｔｆ（ｉ）が分配
される。

【０１０７】最後に、各構成要素に割り当てたビット数
に基づいて各構成要素の画像データの符号化処理が行わ
れる（ステップＳ５０８）。その後、符号化処理の対象
となっている被処理フレームが、画像シーケンスの最後
のフレームであるか否かの判定が行われ（ステップＳ５
０９）、最後であれば、符号化処理が終了し（ステップ
Ｓ５１０）、最後でなければ、上記ステップＳ５０２〜
Ｓ５０９の処理が繰り返し行われる。このようにして、
上記符号化処理は最後のフレームまで繰り返し行われる
こととなる。

【０１０８】このように本実施の形態１では、シーンを
構成する個々の構成要素に対応する符号化データに復号
化処理及び合成処理を施す受信側の画像復号化装置を、
各構成要素に対応する符号化データを格納する１つのバ
ッファを有する構成とし、このバッファに、１フレーム
を構成するすべての構成要素に対応する符号化データを
格納するようにしたので、１つのバッファを複数の構成
要素の符号化データにより共有することが可能となり、
バッファを有効に利用することができる。

【０１０９】また、各構成要素に対して、すべての構成
要素の割り当てビット数の和がバッファの容量を超えな
いようビット数を動的に割り当てるので、画像が簡単な
構成要素の割り当てビット数を少なくして、画像が複雑
な構成要素の割り当てビット数を多くすることにより、
画像全体の画質を向上させることができる。

【０１１０】図６は、図３に示すバッファ３０４のデー
タ占有量の遷移をグラフにより示している。縦軸はバッ
ファのデータ占有量、横軸は時間を示している。このグ
ラフの傾斜部分６０４の傾きは、各構成要素に対応する
符号化データのビットレートをすべての構成要素の間で
平均して得られるビットレートを示し、このレートです
べての構成要素の符号化データを構成するビット列がバ
ッファ３０４に入力される。上記グラフにおける縦線部
分６０５の長さは、表示時刻ｔ０のフレームを構成する
すべての構成要素に割り当てられているビット数の総数
（総ビット数）を示している。

【０１１１】この総ビット数は、構成要素の複雑さに応
じて最適に分配することができる。たとえば、表示時刻
ｔ２では、バッファはその容量のぎりぎりまで符号化デ
ータにより占有されており、バッファ内の符号化データ
のうちで、簡単な構成要素に対する、線分６０６の長さ
で示される符号化データには少ないビット数が割り当て
られ、複雑な構成要素に対する、線分６０７の長さで示
される符号化データには多くのビット数が割り当てられ
ており、この結果としてフレーム全体の画質は高いもの
となっている。

【０１１２】（実施の形態２）図７は本発明の実施の形
態２による画像符号化装置（画像処理装置）を説明する
ためのブロック図である。なお、この実施の形態２は、
請求項１，２，４〜１６に対応している。本実施の形態
２の画像符号化装置１２０ａは、第１の物体（構成要
素）に対応する画像データ７２０を制御信号７２８に基
づいて符号化して符号化データ７２３を出力する第１の
符号化器７０４と、第２の物体（構成要素）に対応する
画像データ７２１を制御信号７２９に基づいて符号化し
て符号化データ７２４を出力する第２の符号化器７０５
と、第３の物体（構成要素）に対応する画像データ７２
２を制御信号７３０に基づいて符号化して符号化データ
７２５を出力する第３の符号化器７０６とを有してい
る。

【０１１３】また、上記画像符号化装置１２０ａは、各
物体に対応する符号化データ７２３，７２４，７２５を
多重化して、多重ビットストリーム７２１として出力す
る多重化器７０７と、上記第１，第２，第３の物体の画
像データを符号化した際に発生するビット数をフレーム
毎に格納する発生ビット数情報格納手段７０９と、該発
生ビット数情報、及び上記符号化データ７２３，７２
４，７２５に基づいて、上記制御信号７２８，７２９，
７３０を発生するレート制御器７１０とを有している。

【０１１４】ここで、上記レート制御器７１０は、該発
生ビット数情報７０９ａ，及び上記各符号化器７０４，
７０５，７０６からの符号化データ７２３，７２４，７
２５に基づいて、上記各物体からなる合成画像に割り当
てられる１フレーム分のビット数を決定するフレームビ
ット数決定手段７１１と、上記発生ビット数情報格納手
段７０９に格納されている各物体の１フレーム分のビッ
ト数を、各物体の画像の複雑さを示す指標として用い
て、上記合成画像１フレーム分のビット数を各構成要素
に割り当てて、各構成要素１フレーム分のビット数を決
定するオブジェクトビット数決定手段７１２とから構成
されている。

【０１１５】また、上記オブジェクトビット数決定手段
７１２と上記各符号化器７０４，７０５，７０６との間
には、開閉スイッチ７１４，７１５，７１６が設けられ
ており、上記オブジェクトビット数決定手段７１２から
のビット数情報７２８，７２９，７３０がそれぞれ該ス
イッチ７１４，７１５，７１６を介して上記各符号化器
７０４，７０５，７０６に供給されるようになってい
る。

【０１１６】さらに、上記各符号化器７０４，７０５，
７０６の後段側には、それぞれ切換スイッチ７１７，７
１８，７１９が設けられており、各符号化器から出力さ
れる符号化データ７２３，７２４，７２５がそれぞれ、
切換スイッチ７１７，７１８，７１９を介して多重化器
７０７と発生ビット数情報格納手段７０９の一方に供給
されるようになっている。

【０１１７】また、上記発生ビット数情報格納手段７０
９とフレームビット数決定手段７１１との間には開閉ス
イッチ７３４が設けられており、各物体に対応するビッ
ト数情報が該開閉スイッチ７３４を介して上記フレーム
ビット数決定手段７１１に供給されるようになってい
る。

【０１１８】そして、上記画像符号化装置１２０ａは、
上記各開閉スイッチ７１４〜７１６，７３４，及び切換
スイッチ７１７〜７１９を制御するスイッチ制御手段と
してＣＰＵ７１３を有しており、予備符号化処理を行う
際には、上記各開閉スイッチ７１４〜７１６，７３４が
開状態となり、かつ切換スイッチ７１７〜７１９によ
り、各符号化器と発生ビット数情報格納手段７０９が接
続状態となり、一方、本符号化処理を行う際には、上記
各開閉スイッチ７１４〜７１６，７３４が閉状態とな
り、かつ切換スイッチ７１７〜７１９により、各符号化
器と多重化器７０７及びフレームビット数決定手段７１
１とが接続状態となるよう、上記各スイッチが上記ＣＰ
Ｕ７１３により制御される構成となっている。

【０１１９】ここで、上記各符号化器７０４，７０５，
７０６は、図１５に示す実施の形態１の画像符号化装置
１１０ａにおける第１の符号化器２０４と同一の構成と
なっている。また、上記画像符号化装置１２０ａでは、
予備符号化処理の際には、上記各符号化器での量子化処
理は、固定の量子化幅（量子化ステップ）でもって行わ
れ、本符号化処理の際には、各符号化での量子化処理
は、上記オブジェクトビット数決定手段からのビット数
情報７２８，７２９，７３０に応じた量子化幅（量子化
ステップ）でもって行われるようになっている。なお、
図７中、７０１、７０２、７０３はそれぞれ、各物体の
画像データが入力される入力端子、７０８は多重ビット
ストリーム７２１が出力される出力端子である。また、
このような構成の実施の形態２の画像符号化装置１２０
ａから出力された多重ビットストリーム７２１を復号化
する画像復号化装置は、図３に示す実施の形態１の画像
復号化装置１１０ｂと同一構成となっている。

【０１２０】次に動作について説明する。図８は上記画
像符号化装置による符号化処理の流れを示す図である。
本実施の形態２では、実施の形態１と同じように、この
符号化処理が開始されると（ステップＳ８０１）、フレ
ーム（ｉ）を構成する、複数の構成要素（物体）に対応
する画像データが入力される（ステップＳ８０２）。

【０１２１】ステップＳ８０３では、各構成要素の画像
データが符号化される。ここでは各構成要素の画像デー
タに対して、固定の量子化幅の量子化処理を含む予備符
号化処理が行われる。

【０１２２】ステップＳ８０４では、上記予備符号化処
理により発生した各構成要素のビット数Ｓ（ｉ，ｊ）が
記録される。なお、ビット数Ｓ（ｉ，ｊ）はフレーム
（ｉ）を構成する構成要素（ｊ）に対応するビット数で
ある。その後、符号化処理の対象となっている被処理フ
レームが、画像シーケンスの最後のフレームであるか否
かの判定が行われ（ステップＳ８０５）、最後でなけれ
ば、上記ステップＳ８０２〜Ｓ８０５の処理が繰り返し
行われ、一方最後であれば、予備符号化処理が終了す
る。このようにして、上記予備符号化処理は最後のフレ
ームまで繰り行われることとなる。上記予備符号化が完
了すると、本符号化処理が行われる。すなわち、フレー
ム（ｉ）を構成する、複数の構成要素（物体）に対応す
る画像データが再度入力される（ステップＳ８０６）。

【０１２３】ステップＳ８０７にて、未符号化フレーム
の複雑さの総和と符号化の対象となる対象フレーム
（ｉ）の複雑さとの比から、残りビット数のフレーム分
配率が求められ、残りビット数とフレーム分配率の乗算
により、対象フレーム（ｉ）のビット数Ｔｆ（ｉ）が決
定される。ここで残りビット数は、複数の構成要素から
なる画像のシーケンスに対して割り当てられている総ビ
ット数から、符号化処理が施された既符号化フレームに
使用された全てのビット数を差し引いた残りのビット数
である。ステップＳ８０８では、上記フレームビット数
Ｔｆ（ｉ）が、受信側の画像復号化装置におけるバッフ
ァの条件を満たすよう調整される。具体的な調整の方法
は、上記実施の形態１のステップＳ５０５における処理
と同じである。

【０１２４】その後、ステップＳ８０９において、対象
フレーム（ｉ）における構成要素の複雑さの総和ΣＳ
（ｉ，ｊ）と、符号化の対象となる構成要素の複雑さＳ
（ｉ，ｊ）との比から構成要素分配率が求められ、対象
フレーム（ｉ）のビット数Ｔｆ（ｉ）と構成要素分配率
との乗算（下記の式（３））により、対象構成要素に割
り当てられるビット数Ｔｏ（ｉ，ｊ）が決定される。Ｔｏ（ｉ，ｊ）＝Ｔｆ（ｉ）×Ｓ（ｉ，ｊ）／ΣＳ（ｉ，ｊ） …（３）

【０１２５】そして、決定したビット数Ｔｏ（ｉ，ｊ）
に基づいて、対象フレーム（ｉ）の構成要素が別々に符
号化される（ステップ８１０）。その後、符号化処理の
対象となっている被処理フレームが、画像シーケンスの
最後のフレームであるか否かの判定が行われ（ステップ
Ｓ８１１）、最後でなければ、上記ステップＳ８０６〜
Ｓ８１１の処理が繰り返し行われ、一方最後であれば、
本符号化処理が終了する（ステップＳ８１２）。このよ
うにして、上記本符号化処理は最後のフレームまで繰り
行われることとなる。なお、このような構成の実施の形
態２の画像符号化装置１２０ａから出力された多重ビッ
トストリームは、図３に示す実施の形態１の画像復号化
装置１１０ｂと同一構成の画像復号化装置により復号化
される。

【０１２６】このように本実施の形態２では、予備符号
化の際には、スイッチ７１４，７１５，７１６を開き、
各符号化器では構成要素の画像データに対して、固定量
子化幅の量子化処理を含む予備符号化処理を施し、各符
号化器から出力される符号化データに基づく発生ビット
数を該格納手段７０９に格納し、本符号化処理の際に
は、スイッチ７１４，７１５，７１６を閉じ、レート制
御器７１０では、発生ビット数情報格納手段７０９に格
納されている各物体に対応する発生ビット数の情報に応
じた制御信号７２８，７２９，７３０を上記各符号化器
に供給するようにしたので、各構成要素に対して、すべ
ての構成要素の割り当てビット数の和が復号化側のバッ
ファの容量を超えないようビット数を動的に割り当てる
ことができるだけでなく、各構成要素に対する符号化処
理の際に発生するビット数を、フレーム間で動的に分配
することができる。このため、特定の構成要素の画像が
複雑なフレームに対して、特定の構成要素の画像が簡単
であるフレームに対応するビット数の一部を割り当てる
ことが可能となる。これにより画像全体の画質をより向
上することができる。

【０１２７】（実施の形態３）図９は本発明の実施の形
態３による画像符号化装置を説明するためのブロック図
である。なお、この実施の形態３は、請求項１３，１７
〜２４に対応している。本実施の形態３の画像符号化装
置１３０では、各構成要素に対応する画像データを符号
化する際、各構成要素の画像の複雑さを測定し、この画
像の複雑さに応じて、各構成要素に対応するビットレー
ト及びバッファサイズを決定するようにしており、この
点で、実施の形態１及び２の画像符号化装置で、各構成
要素の画像複雑さに応じて、フレームに割り当てられた
ビット数を各構成要素に分配するようにしているのとは
異なっている。

【０１２８】すなわち、上記符号化装置１３０は、第１
の物体（構成要素）に対応する画像データ９１１をレー
ト制御信号９５１ａに基づいて符号化して第１の符号化
データ９１７を出力する第１の符号化器９０４と、第２
の物体（構成要素）に対応する画像データ９１２をレー
ト制御信号９５２ａに基づいて符号化して第２の符号化
データ９１８を出力する第２の符号化器９０５と、第３
の物体（構成要素）に対応する画像データ９１３をレー
ト制御信号９５３ａに基づいて符号化して第３の符号化
データ９１９を出力する第３の符号化器９０６と、各符
号化データ９１７，９１８，９１９を多重化して、多重
ビットストリーム９２４を出力する多重化器９０７とを
有している。ここで、上記各符号化器９０４，９０５及
び９０６は、図１５に示す実施の形態１の画像符号化装
置１１０ａにおける第１の符号化器２０４と同一の構成
となっている。

【０１２９】また、上記画像符号化装置１３０は、上記
各画像データ９１１，９１２，９１３に基づいて、各構
成要素を構成する画素の個数（構成要素のサイズ）を各
構成要素の複雑さを示す指標として測定するオブジェク
ト複雑さ測定手段９１０と、該オブジェクト複雑さ測定
手段９１０から出力される各構成要素の複雑さを示す情
報９２３に基づいて、各構成要素に対応するビットレー
ト及びバッファサイズを決定し、各構成要素に対応する
決定されたビットレート及びバッファサイズを示す制御
情報９２０，９２１，９２２を出力する符号化条件決定
手段（ビットレート，バッファサイズ決定手段）９０９
とを有している。

【０１３０】さらに、上記画像符号化装置１３０は、上
記制御情報９２０及び符号化データ９１７に基づいて、
第１の符号化器９０４にて単位時間当たりに発生する符
号量（ビットレート）を制御するレート制御器９５１
と、上記制御情報９２１及び符号化データ９１８に基づ
いて、第２の符号化器９０５にて単位時間当たりに発生
する符号量（ビットレート）を制御するレート制御器９
５２と、上記制御情報９２２及び符号化データ９１９に
基づいて、第３の符号化器９０６にて単位時間当たりに
発生する符号量（ビットレート）を制御するレート制御
器９５３とを有している。なお、図９中、９０１，９０
２，９０３は、上記各構成要素に対応する画像データ９
１１，９１２，９１３が入力される入力端子、９０８
は、上記多重ビットストリーム９２４出力される出力端
子である。また、このような構成の実施の形態３の画像
符号化装置１３０から出力された多重ビットストリーム
９２４を復号化する画像復号化装置は、図３に示す実施
の形態１の画像復号化装置１１０ｂと同一構成となって
いる。

【０１３１】次に動作について説明する。図１０は上記
画像符号化装置による符号化処理の流れを示す図であ
る。本実施の形態３では、符号化処理が開始されると
（ステップＳ１００１）、ビデオ（映像）を構成する複
数の構成要素（物体）に対応する画像データが入力され
る（ステップＳ１００２）。なお、本実施の形態３では
実施の形態１と同じビデオデータを符号化処理の対象と
している。

【０１３２】次に、ステップＳ１００３にて、各構成要
素Ｃ（ｊ）（ｊ＝１，２，・・・，Ｊ）の画像の複雑さ
が測定される。ここでは、構成要素のサイズ、すなわち
表示される物体を構成する画素の個数を複雑さの指標と
している。

【０１３３】次に、各構成要素に対応するビットレート
が決定される。この際、各構成要素に対応するバッファ
サイズも決定される。上記対象構成要素のビットレート
Ｒｏ（ｊ）は、下記の（４）式に示すように、すべての
構成要素の複雑さの和ΣＣ（ｊ）に対する対象構成要素
の複雑さＣ（ｊ）の比を、伝送経路の最大伝送ビットレ
ートに基づくトータルビットレートＲｔに乗算すること
によって求められる。Ｒｏ（ｊ）＝Ｒｔ×Ｃ（ｊ）／ΣＣ（ｊ） …（４）

【０１３４】同様に、対象となる構成要素のバッファサ
イズＢｏ（ｊ）は、下記の（５）式に示すように、すべ
ての構成要素の複雑さの和ΣＣ（ｊ）に対する対象とな
る構成要素の複雑さＣ（ｊ）の比を、図３に示すバッフ
ァ３０４の最大データ格納容量Ｂｔに乗算することによ
って決められる。Ｂｏ（ｊ）＝Ｂｔ×Ｃ（ｊ）／ΣＣ（ｊ） …（５）このようにして決定したビットレートとバッファサイズ
に基づいて各構成要素に対する符号化処理が行われ（ス
テップＳ１００５）、最後のフレームに対する符号化処
理が完了すると、符号化処理が終了する（ステップＳ１
００６）。なお、このような構成の実施の形態３の画像
符号化装置１３０から出力された多重ビットストリーム
は、図３に示す実施の形態１の画像復号化装置１１０ｂ
と同一構成の画像復号化装置により復号化される。

【０１３５】このように本実施の形態３では、１シーン
の画像を構成する各構成要素に対応するバッファサイズ
及びビットレートを、各構成要素の画像の複雑さに応じ
て決定し、該決定されたバッファサイズ及びビットレー
トに基づいて各構成要素に対応する画像データを符号化
するので、各構成要素に対応する符号化データの復号側
では、復号化器に対応する単一のバッファのデータ格納
領域が、各構成要素の複雑さに応じて動的に割り当てら
れることとなる。これにより復号化側では復号化器に対
応する単一のバッファのデータ格納領域を有効に利用す
ることができる。また、画像の複雑さに応じてビットレ
ートを割り当てるため、各構成要素を最適な条件のもと
で符号化することができ、このため、再生したビデオ信
号全体の画質を高めるとともに、各構成要素に対応する
符号化データの伝送レートを、限られたデータ伝送速度
を有する実際の通信回線に適したものとすることができ
る。

【０１３６】なお、上記実施の形態３では、図１０のス
テップＳ１００３に示すように、構成要素のサイズ，つ
まり構成要素における画素の個数を測定し、測定された
画素の個数を画像の複雑さの指標として、各構成要素の
ビットレート及びバッファサイズを決定するようにして
いるが、ビットレート及びバッファサイズの決定方法は
これに限るものではない。

【０１３７】例えば、図１１に示すように、符号化処理
が開始され（ステップＳ１１０１）、ビデオの構成要素
のデータが入力された（ステップＳ１１０２）後、各構
成要素の最初のＮフレーム（例えば３フレーム）に対す
る符号化処理により発生するビット数を測定し、各構成
要素に対する１フレーム当たりの平均発生ビット数を、
各構成要素の画像の複雑さＣ（ｊ）（ｊ＝１，２，・・
・，Ｊ）を示す指標としてもよい。この場合は、この指
標に基づいて各構成要素のビットレートＲｏ（ｊ）及び
バッファサイズＢｏ（ｊ）が決定され（ステップＳ１１
０４）、決定したビットレート及びバッファサイズに基
づいて各構成要素に対する符号化処理が行われて（ステ
ップＳ１１０７）、符号化処理が終了する（ステップＳ
１１０６）。

【０１３８】また、上記実施の形態３の画像符号化装置
１３０では、ビデオの各構成要素のデータが入力された
時に各構成要素の画像の複雑さを測定し、該各構成要素
の画像の複雑さを指標として、各構成要素のビットレー
ト及びバッファサイズを決定し、その後は、決定された
ビットレート及びバッファサイズに基づいて、各構成要
素の画像データを符号化するものを示したが、画像符号
化装置は、各構成要素の画像の複雑さの測定を一定期周
期で行い、ビットレート及びバッファサイズを一定期間
毎に更新し、更新されたビットレート及びバッファサイ
ズに基づいて、各構成要素の画像データを符号化するよ
う構成してもよい。

【０１３９】図１７はこのような構成の画像符号化装置
による符号化処理を説明するための模式図である。図１
７(a)は、第１の構成要素に対応するビットレート及び
バッファサイズＢｏ（１）、図１７(b)は、第２の構成
要素に対応するビットレート及びバッファサイズＢｏ
（２）、図１７(c)は、第３の構成要素に対応するビッ
トレート及びバッファサイズＢｏ（３）を示している。

【０１４０】なお、図中、縦軸１７０１，１７１１，１
７２１は復号化側のバッファ占有量を示し、横軸１７０
２，１７１２，１７２２は、圧縮データ（符号化デー
タ）の表示時間ｔを示している。なお、表示時間ｔ０，
ｔ１，ｔ２，ｔ３，・・・は、例えば、ｎ番目，（ｎ＋
１）番目，（ｎ＋２）番目，（ｎ＋３）番目，・・・の
フレームの表示時間を示す。また、上記図１７(a) にお
けるグラフの傾斜部分１７０４の傾きは第１の構成要素
に対応するビットレートを示し、このビットレートは、
図１７(a) では表れていないが、一定期間毎の更新によ
り変動している。また、上記グラフの、横軸と垂直な縦
線部分１７０５の長さは、時間ｔ０に表示されるフレー
ムに対応する第１の構成要素の符号化データのビット数
を示している。

【０１４１】また、上記図１７(b)，(c)におけるグラフ
の傾斜部分１７１４，１７２４の傾きは、第２，第３の
構成要素に対応するビットレートを示しており、これら
のビットレートは、図１７(b)，(c)では表れていない
が、一定期間毎の更新により変動している。また、上記
グラフの、横軸と垂直な縦線部分１７１５，１７２５の
長さは、時間ｔ０に表示されるフレームに対応する第
２，第３の構成要素の符号化データのビット数を示して
いる。

【０１４２】ここでは、第１の構成要素に対応するバッ
ファサイズＢｏ（１）は一定値とし、第２，第３の構成
要素に対応するバッファサイズＢｏ（２），Ｂｏ（３）
は一定期間毎の更新により変化するものとしている。そ
して、これらのバッファサイズＢｏ（２）及びＢｏ
（３）の変化は相補的なもの、つまり一方が増加すると
他方が減少し、一方が減少すると他方が増加するものと
なっている。

【０１４３】この場合、第３の構成要素に対応するバッ
ファサイズの制御、つまりビットレートの増加に伴って
バッファサイズを増加させる制御は、ビットレートの制
約より画像品質を優先させたい構成要素に適している。
また、第２の構成要素に対応するバッファサイズの制
御、つまり他の構成要素のバッファサイズの変動を吸収
するようバッファサイズを変動させる制御は、ビットレ
ートに対する制約を画像品質より優先させたい構成要素
に適用することができる。

【０１４４】さらに、上記実施の形態３における複雑さ
の指標としては、上記構成要素のサイズの他に、各構成
要素の分散値（実施の形態１にて説明した方法（１）に
より得られる指標）、予測誤差（実施の形態１にて説明
した方法（２）により得られる指標）、あるいは動きの
大きさ（静止しているか、大きく動いているか）の情報
を用いてもよい。さらに、その他の複雑さの指標として
は、実施の形態１にて説明した方法（３）あるいは
（４）により得られる指標を用いてもよい。

【０１４５】さらに、上記各実施の形態で示した符号化
装置あるいは復号化装置の構成を実現するための符号化
あるいは復号化プログラムを、フロッピー（登録商標）
ディスク等のデータ記憶媒体に記録するようにすること
により、上記各実施の形態で示した処理を、独立したコ
ンピュータシステムにおいて簡単に実施することが可能
となる。

【０１４６】図１２は、上記実施の形態１ないし３の符
号化あるいは復号化処理を、上記符号化あるいは復号化
プログラムを格納したフロッピーディスクを用いて、コ
ンピュータシステムにより実施する場合を説明するため
の図である。図１２(a)は、フロッピーディスクの正面
からみた外観、断面構造、及びフロッピーディスクを示
し、図１２(b)は、記録媒体本体であるフロッピーディ
スクの物理フォーマットの例を示している。フロッピー
ディスクＦＤはケースＦ内に内蔵され、該ディスクの表
面には、同心円状に外周からは内周に向かって複数のト
ラックＴｒが形成され、各トラックは角度方向に１６の
セクタＳｅに分割されている。従って、上記プログラム
を格納したフロッピーディスクでは、上記フロッピーデ
ィスクＦＤ上に割り当てられた領域に、上記プログラム
としてのデータが記録されている。

【０１４７】また、図１２(c)は、フロッピーディスク
ＦＤに上記プログラムの記録再生を行うための構成を示
す。上記プログラムをフロッピーディスクＦＤに記録す
る場合は、コンピュータシステムＣｓから上記プログラ
ムとしてのデータをフロッピーディスクドライブを介し
て書き込む。また、フロッピーディスク内のプログラム
により上記符号化あるいは復号化装置をコンピュータシ
ステム中に構築する場合は、フロッピーディスクドライ
ブによりプログラムをフロッピーディスクから読み出
し、コンピュータシステムに転送する。

【０１４８】なお、上記説明では、データ記録媒体とし
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても同様に行うことができる。また、記録媒
体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プ
ログラムを記録できるものであれば同様に実施すること
ができる。

【０１４９】

【発明の効果】以上のように本発明（請求項１〜１２）
によれば、画像を構成する複数の構成要素の各々の複雑
さに応じて、各構成要素の画像データに対して符号化処
理に要するビット数を割り当てるようにしたので、各構
成要素の画像データに対する符号化処理を最適な条件の
もとで行うことができ、これにより、再生したビデオ信
号全体の画質を高めることができる効果がある。

【０１５０】特に、本発明（請求項３，４）によれば、
復号化側のバッファがアンダーフローもしくはオーバー
フローにならないよう、符号化処理の対象となる対象フ
レームに割り当てるフレームビット数を決定するので、
受信側での復号化処理を常に良好に行うことができる。

【０１５１】本発明（請求項１３）によれば、受信側で
は、画像を構成する複数の構成要素に対応する符号化デ
ータを、上記画像の各フレーム毎に１つのバッファに格
納し、各フレームに対する復号化処理の際には、該バッ
ファから、各フレームに対応する全ての構成要素の符号
化データを読み出すようにしたので、バッファのデータ
格納領域を、複数の構成要素の間で有効に利用すること
ができる。つまり、各構成要素の複雑さに応じた、各構
成要素に対する割当てビット数の変動を、各構成要素間
で吸収することができる。この結果、各構成要素の画像
に最適なビットを割り当てて、画像全体の画質を高める
ことができる効果がある。

【０１５２】本発明（請求項１７〜２４）によれば、所
定の画像を表示するためのビデオ信号を、該所定の画像
を構成する構成要素毎に符号化する画像符号化方法にお
いて、各構成要素の複雑さに応じて、複数の各構成要素
間でのビットレートの比率を求め、ビットレートの比率
に応じて、すべての構成要素に対応するビットレートの
総和が一定となるよう各構成要素に対応するデータを符
号化するので、物体に対応する圧縮データ（符号化デー
タ）の伝送レートを、限られたデータ伝送速度を有する
実際の通信回線に適したものとすることができる。

【図面の簡単な説明】

【図１】本明の実施の形態１による画像処理方法を説明
するための図であり、該画像処理方法による符号化処理
の概略的なフローを示している。

【図２】本発明の実施の形態１による画像符号化装置
（画像処理装置）を説明するためのブロック図である。

【図３】本発明の実施の形態１による画像復号化装置
（画像処理装置）を説明するためのブロック図である。

【図４】上記実施の形態１の画像符号化方法（画像処理
方法）による具体的な符号化処理のフローを示す図であ
る。

【図５】上記実施の形態１の画像符号化方法（画像処理
方法）による詳細な符号化処理のフローを示す図であ
る。

【図６】上記実施の形態１による画像符号化方法により
処理して得られる符号化データが受信側のデコーダバッ
ファを占有する様子を、バッファ占有量の時間遷移によ
り示す模式図である。

【図７】本発明の実施の形態２による画像符号化装置
（画像処理装置）を説明するためのブロック図である。

【図８】本発明の実施の形態２による画像符号化方法
（画像処理方法）の符号化処理のフローを示す図であ
る。

【図９】本発明の実施の形態３による画像符号化装置
（画像処理装置）を説明するためのブロック図である

【図１０】本発明の実施の形態３による画像符号化方法
（画像処理方法）の符号化処理のフローを示す図であ
る。

【図１１】上記実施の形態３の変形例による画像符号化
方法（画像処理方法）の符号化処理のフローを示す図で
ある。

【図１２】上記各実施の形態の画像符号化方法をコンピ
ュータシステムにより実現するためのプログラムを格納
するためのデータ記憶媒体（図(a)，(b)）、及びコンピ
ュータシステム（図(c)）を説明するための図である。

【図１３】従来の画像伝送システムを構成する符号化装
置及び復号化装置を説明するためのブロック図である。

【図１４】従来の画像伝送システムを構成する復号化装
置における、符号化データのバッファ占有量の遷移を示
す模式図であり、図(a)，(b)，(c)はそれぞれ第１，第
２，第３の構成要素に対応するものを示している。

【図１５】本発明の実施の形態１の画像符号化装置を構
成する符号化器の構成を説明するためのブロック図であ
る。

【図１６】本発明の実施の形態１の画像復号化装置を構
成する復号化器を説明するためのブロック図である。

【図１７】本発明の実施の形態３の変形例による画像符
号化装置の符号化処理を説明するための模式図であり、
図(a) ，(b)，(c)はそれぞれ、第１，第２，第３の構成
要素に対応するビットレート及びバッファサイズＢｏ
（１），Ｂｏ（２），Ｂｏ（３）を示している。

【符号の説明】

１１０ａ，１２０ａ，１３０画像符号化装置１１０ｂ画像復号化装置２０１〜２０３，３０１，７０１〜７０３，９０１〜９
０３入力端子２０４〜２０６，７０４〜７０６，９０４〜９０６符
号化器２０７，７０７，９０７多重化器２０８，３０８，７０８，９０８出力端子２０９，７１２オブジェクトビット数決定器２１０，７１１フレームビット数決定器２１１，７１０レート制御器２１２〜２１４画像データ（オブジェクト画像デー
タ）２１８〜２２０符号化データ（オブジェクト符号化デ
ータ）２２１，３１９，７２１，９２４ビットストリーム２２２〜２２４複雑さ情報３０２分離器３０３，３０６，７１７〜７１９切替スイッチ３０４バッファ３０５復号化器３０７合成器３１５〜３１７復号化データ（オブジェクト復号化デ
ータ）３１８再生データ７０９発生ビット数情報格納手段７１３ＣＰＵ７１４〜７１６，７３４開閉スイッチ７２０〜７２２画像データ（オブジェクト画像デー
タ）７２３〜７２５符号化データ（オブジェクト符号化デ
ータ）９０９ビットレート，バッファサイズ決定手段９１０オブジェクト複雑さ測定手段９１１〜９１３画像データ（オブジェクト画像デー
タ）９１７〜９１９符号化データ（オブジェクト符号化デ
ータ）ＦＣフロッピーディスクケースＦＤフロッピーディスクＤフロッピーディスク本体ＳｅセクタＴｒトラックＣｓコンピュータシステムＦＤＤフロッピーディスクドライブ

Claims

【特許請求の範囲】

【請求項１】所定の画像を表示するためのビデオ信号
に対して、該所定の画像を構成する複数の構成要素に対
応するオブジェクト画像データを各構成要素毎に別々に
符号化してオブジェクト符号化データに変換するオブジ
ェクト符号化処理を施す画像処理方法であって、上記各オブジェクト画像データの符号化処理に要するビ
ット数の多さに対応する構成要素の複雑さを測定する複
雑さ測定処理と、上記各構成要素の複雑さに応じて、各オブジェクト画像
データに対して割り当てられるビット数の、上記複数の
構成要素間での比率を決定するビット数割当比率決定処
理とを含み、上記各オブジェクト画像データを、上記各オブジェクト
符号化データに対応するビット数が上記各構成要素間で
の割当ビット数の決定比率を満たすよう符号化すること
を特徴とする画像処理方法。
【請求項２】請求項１記載の画像処理方法により得ら
れる各構成要素に対応するオブジェクト符号化データを
多重化してなる多重符号化データを復号化する画像処理
方法であって、上記多重符号化データから上記各構成要素に対応するオ
ブジェクト符号化データを分離する分離処理と、上記各構成要素に対応するオブジェクト符号化データを
１つのバッファに格納する格納処理と、該バッファから各構成要素に対応するオブジェクト符号
化データを取り出して復号化する復号化処理とを含むこ
とを特徴とする画像処理方法。
【請求項３】請求項１記載の画像処理方法において、上記各構成要素の複雑さを示す指標は、上記各構成要素
を構成する画素の画素値の分散を示す第１の値、上記各
構成要素の表示画像の時間的な変動の大きさを示す第２
の値、上記符号化処理の対象となる対象フレームより以
前に符号化処理が施された前処理フレームにおける対応
する構成要素に対する符号化時の発生ビット数を、対象
フレームと前処理フレームの間での、同一構成要素の特
性を示す係数の比率により重み付けした第３の値、ある
いは、上記各構成要素に対するオブジェクト画像データ
を一定の符号化条件でもって予備符号化した時に発生す
る、各構成要素に対応する発生ビット数を示す第４の値
のいずれかであることを特徴とする画像処理方法。
【請求項４】所定の画像を表示するためのビデオ信号
に対して、該所定の画像を構成する複数の構成要素に対
応するオブジェクト画像データを各構成要素毎に別々に
符号化してオブジェクト符号化データに変換するオブジ
ェクト符号化処理を、表示処理の単位であるフレーム毎
に施す画像処理方法であって、上記符号化処理の対象となる対象フレームに対応するビ
デオ信号に割り当てられるフレームビット数を決定する
フレームビット数決定処理と、上記対象フレームを構成する各構成要素の複雑さに応じ
て、上記フレームビット数を該各構成要素に対応するよ
う分配して、各構成要素の対象フレームに対応するオブ
ジェクトビット数を決定するビット数分配処理とを含
み、上記対象フレームに対応する各オブジェクト画像データ
を、対応するオブジェクト符号化データのビット数が、
上記各構成要素の対象フレームに対応するオブジェクト
ビット数となるよう符号化することを特徴とする画像処
理方法。
【請求項５】所定の画像を表示するためのビデオ信号
に対して、該所定の画像を構成する複数の構成要素に対
応するオブジェクト画像データを各構成要素毎に別々に
符号化してオブジェクト符号化データに変換するオブジ
ェクト符号化処理を、表示処理の単位であるフレーム毎
に施す画像処理方法であって、上記符号化処理の対象となる対象フレームに対応するビ
デオ信号に割り当てられるフレームビット数を決定する
フレームビット数決定処理と、上記対象フレームを構成する複数の構成要素の複雑さの
総和に対する各構成要素の複雑さの比に応じて、各オブ
ジェクト画像データに対して割り当てられるビット数
の、上記複数の構成要素間での比率を決定するビット数
割当比率決定処理とを含み、上記各オブジェクト画像データを、上記フレームビット
数が上記各構成要素間での割当ビット数の決定比率に応
じて上記各オブジェクト符号化データに分配されるよう
符号化することを特徴とする画像処理方法。
【請求項６】所定の画像を表示するためのビデオ信号
に対して、該所定の画像を構成する複数の構成要素に対
応するオブジェクト画像データを各構成要素毎に別々に
符号化してオブジェクト符号化データに変換するオブジ
ェクト符号化処理を施す画像処理装置であって、上記各オブジェクト画像データの符号化処理に要するビ
ット数の多さに対応する構成要素の複雑さを測定する複
雑さ測定手段と、上記符号化処理の対象となる対象フレームを構成する各
構成要素の複雑さに応じて、該各構成要素に対してその
オブジェクト画像データの符号化の際に用いるビット数
を割り当てるビット数割当手段と、上記対象フレームに対応する各オブジェクト画像データ
を、各構成要素に対して割り当てられたビット数に基づ
いて符号化してオブジェクト符号化データを生成する符
号化器と、各構成要素に対応するオブジェクト符号化データを多重
化してビットストリームを生成する多重化器とを備えた
ことを特徴とする画像処理装置。
【請求項７】請求項６記載の画像処理装置において、上記ビット数割当手段は、対象フレームにおける全ての
構成要素の複雑さの総和に対する、各構成要素の複雑さ
の比率に基づいて、上記各構成要素に対応するビット数
の割り当てを行うよう構成されていることを特徴とする
画像処理装置。
【請求項８】請求項６記載の画像処理装置において、上記複雑さ測定手段は、各構成要素を構成する画素の画
素値の分散を示す第１の値、各構成要素の表示画像の時
間的な変動の大きさを示す第２の値、該対象フレームよ
り以前に符号化処理が施された前処理フレームにおける
対応する構成要素に対する符号化時の発生ビット数を、
対象フレームと前処理フレームの間での、同一構成要素
の特性を示す係数の比率により重み付けして得られる第
３の値、あるいは、上記各構成要素に対するオブジェク
ト画像データを一定の符号化条件でもって予備符号化し
た時に発生する、各構成要素に対応する発生ビット数を
示す第４の値のいずれかを指標として、上記構成要素の
複雑さを測定するよう構成されていることを特徴とする
画像処理装置。
【請求項９】請求項６記載の画像処理装置において、上記ビット数割当手段は、上記ビットストリームに対し
て復号化処理を施す画像復号化装置における、上記ビッ
トストリームから分離された各構成要素に対応する符号
化オブジェクトデータを格納する１つのバッファが、オ
ーバーフローもしくはアンダーフローにならないよう、
上記対象フレームに対応するビデオ信号に割り当てられ
るフレームビット数を該各構成要素に分配するものであ
ることを特徴とする画像処理装置。
【請求項１０】画像処理プログラムを格納したデータ
記憶媒体であって、上記画像処理プログラムは、請求項１記載の画像処理方
法によるビデオ信号の符号化処理をコンピュータにより
行うためのプログラムであることを特徴とするデータ記
憶媒体。
【請求項１１】所定の画像を表示するためのビデオ信
号をフレーム毎に符号化処理によりビットストリームに
変換し、該ビットストリームを送信する送信側データ処
理と、該ビットストリームを受信し、該ビットストリー
ムをフレーム毎に復号化処理により再生データに変換す
る受信側データ処理とを含む画像処理方法であって、上記送信側データ処理は、上記所定の画像を構成する複数の構成要素に対応する、
符号化処理の対象となる対象フレームのオブジェクト画
像データを各構成要素毎に別々に符号化してオブジェク
ト符号化データに変換するオブジェクト符号化処理と、各構成要素に対応するオブジェクト符号化データを多重
化して上記ビットストリームを生成する多重化処理とを
含み、上記受信側データ処理は、上記ビットストリームをフレーム毎に１つのバッファに
格納するデータ格納処理と、上記バッファから、対象フレームに対応するビットスト
リームを読み出し、読み出したビットストリームを各構
成要素別に復号化して、該各構成要素に対応する再生デ
ータを生成する復号化処理と、上記各構成要素に対応する再生データを合成して合成デ
ータを生成し、該合成データに基づいて、上記所定の画
像を表示する合成表示処理とを含むものであることを特
徴とする画像処理方法。
【請求項１２】請求項１１記載の画像処理方法におい
て、上記オブジェクト符号化処理は、上記バッファがアンダーフローもしくはオーバーフロー
にならないよう、符号化の対象となる対象フレームに割
り当てるフレームビット数を決定するビット数決定処理
と、上記対象フレームを構成する各構成要素の複雑さに応じ
て、上記フレームビット数を該各構成要素に対応するよ
う分配して、各構成要素に対応するオブジェクトビット
数を決定するビット数分割処理とを含み、該各オブジェクトビット数に基づいて、上記対象フレー
ムの各構成要素に対応するオブジェクト画像データを符
号化することを特徴とする画像処理方法。
【請求項１３】所定の画像を表示するためのビデオ信
号に対して、該所定の画像を構成する複数の構成要素に
対応するオブジェクト画像データを各構成要素毎に別々
に符号化してオブジェクト符号化データに変換するオブ
ジェクト符号化処理を施し、該各オブジェクト符号化デ
ータを多重化して得られる多重符号化データを、復号化
する画像処理装置であって、上記多重符号化データから上記各構成要素に対応するオ
ブジェクト符号化データを分離する分離器と、上記各構成要素に対応するオブジェクト符号化データを
格納する１つのバッファと、該バッファから各構成要素に対応するオブジェクト符号
化データを取り出して復号化する復号化器とを備えたこ
とを特徴とする画像処理装置。
【請求項１４】所定の画像を表示するためのビデオ信
号に対して、該所定の画像を構成する複数の構成要素に
対応するオブジェクト画像データを各構成要素毎に別々
に符号化してオブジェクト符号化データに変換するオブ
ジェクト符号化処理を、表示処理の単位であるフレーム
毎に施す画像処理方法であって、各構成要素に対応するオブジェクト画像データを予備符
号化して得られる、各構成要素に対する発生ビット数
を、各構成要素の複雑さの指標として求める複雑さ導出
処理と、本符号化処理が施されていないすべての未符号化フレー
ムの複雑さの総和と、本符号化処理の対象となる対象フ
レームの複雑さとの比を、フレーム分配率として求める
フレーム分配率導出処理と、上記ビデオ信号に割り当てられている総ビット数のうち
の未使用ビット数に上記フレーム分配率を乗算して上記
対象フレームに割り当てられるビット数を決定するフレ
ームビット数決定処理と、上記対象フレームを構成するすべての構成要素の複雑さ
の総和と、本符号化処理の対象となる構成要素の複雑さ
との比を、構成要素分配率として求める分配率導出処理
と、上記対象フレームに割り当てられたビット数に上記構成
要素分配率を乗算して、上記対象構成要素に割り当てら
れるビット数を決定する構成要素ビット数決定処理と、各構成要素に対して割り当てられたビット数に基づい
て、上記対象フレームを構成する各構成要素に対応する
オブジェクト画像データを別々に符号化する構成要素符
号化処理とを含むことを特徴とする画像処理方法。
【請求項１５】所定の画像を表示するためのビデオ信
号に対して、該所定の画像を構成する複数の構成要素に
対応するオブジェクト画像データを各構成要素毎に別々
に符号化してオブジェクト符号化データに変換するオブ
ジェクト符号化処理を施す画像処理装置であって、上記各構成要素に対応するオブジェクト画像データの予
備符号化により発生する、各構成要素に対応する発生ビ
ット数を、各構成要素の複雑さの指標として導出する複
雑さ測定器と、本符号化処理が施されていないすべての未符号化フレー
ムの複雑さの総和と、本符号化処理の対象となる対象フ
レームの複雑さとの比を、フレーム分配率として求める
フレーム分配率導出器と、上記ビデオ信号に割り当てられている総ビット数のうち
の未使用ビット数に上記フレーム分配率を乗算して上記
対象フレームに割り当てられるビット数を決定するフレ
ームビット数決定器と、上記対象フレームを構成するすべての構成要素の複雑さ
の総和と、本符号化処理の対象となる構成要素の複雑さ
との比を、構成要素分配率として求める分配率導出手段
と、上記対象フレームに割り当てられたビット数に上記構成
要素分配率を乗算して、上記対象構成要素に割り当てら
れるビット数を決定する構成要素ビット数決定手段と、各構成要素に対して割り当てられたビット数に基づい
て、上記対象フレームを構成する各構成要素を別々に符
号化して、オブジェクト符号化データを生成する符号化
手段と、上記複数の構成要素に対応するオブジェクト符号化デー
タを多重化してビットストリームを出力する多重化器と
を備えたことを特徴とする画像処理装置。
【請求項１６】画像処理プログラムを格納したデータ
記憶媒体であって、上記画像処理プログラムは、請求項１４記載の画像処理
方法によるビデオ信号の符号化処理をコンピュータによ
り行うためのプログラムであることを特徴とするデータ
記憶媒体。
【請求項１７】所定の画像を表示するためのビデオ信
号に対して、該所定の画像を構成する複数の構成要素に
対応するオブジェクト画像データを各構成要素毎に別々
に符号化してオブジェクト符号化データに変換するオブ
ジェクト符号化処理を施す画像処理方法であって、上記オブジェクト符号化処理は、上記各オブジェクト画像データの符号化処理に要するビ
ット数の多さに対応する構成要素の複雑さを測定する複
雑さ測定処理と、上記各構成要素の複雑さに応じて、各構成要素に対する
オブジェクト符号化データのビットレートの、該複数の
構成要素間での比率を決定するレート比率決定処理とを
含み、上記各構成要素に対するビットレートの比率に基づい
て、すべての構成要素に対応するビットレートの総和が
一定値となるよう、各構成要素に対するオブジェクト画
像データを所定のビットレートでもって符号化するもの
であることを特徴とする画像処理方法。
【請求項１８】上記請求項１７記載の画像処理方法に
より得られる各構成要素に対応するオブジェクト符号化
データを多重化してなる多重符号化データを復号化する
画像処理方法であって、上記多重符号化データから上記各構成要素に対応するオ
ブジェクト符号化データを分離する分離処理と、上記各構成要素に対応するオブジェクト符号化データを
１つのバッファに格納する格納処理と、該バッファから各構成要素に対応するオブジェクト符号
化データを取り出して復号化する復号化処理とを含むこ
とを特徴とする画像処理方法。
【請求項１９】請求項１７記載の画像処理方法におい
て、上記オブジェクト符号化処理は、上記バッファがアンダーフローもしくはオーバーフロー
にならないよう、各構成要素の複雑さに応じて、該各構
成要素に対するビットレートの比率、及び各構成要素に
対する、上記バッファへ格納されるオブジェクト符号化
データの最大量を決定する符号化条件決定処理を含み、上記各構成要素に対するビットレートの比率に基づい
て、すべての構成要素に対応するビットレートの総和が
一定値となるよう、各構成要素に対するオブジェクト画
像データを所定のビットレートでもって符号化するもの
であることを特徴とする画像処理方法。
【請求項２０】請求項１７記載の画像処理方法におい
て、上記各構成要素の複雑さを示す指標は、上記各構成要素
を構成する画素の画素値の分散を示す第１の値、上記各
構成要素の表示画像の時間的な変動の大きさを示す第２
の値、上記符号化処理の対象となる対象フレームより以
前に符号化処理が施された前処理フレームにおける対応
する構成要素に対する符号化時の発生ビット数を、対象
フレームと前処理フレームの間での、同一構成要素の特
性を示す係数の比率により重み付けした第３の値、ある
いは、上記各構成要素に対するオブジェクト画像データ
を一定の符号化条件でもって予備符号化した時に発生す
る、各構成要素に対応する発生ビット数を示す第４の値
のいずれかであることを特徴とする画像処理方法。
【請求項２１】所定の画像を表示するためのビデオ信
号に対して、該所定の画像を構成する複数の構成要素に
対応するオブジェクト画像データを各構成要素毎に別々
に符号化してオブジェクト符号化データに変換するオブ
ジェクト符号化処理を施す画像処理方法であって、上記オブジェクト符号化処理は、上記各オブジェクト画像データの符号化処理に要するビ
ット数の多さに対応する構成要素の複雑さを測定する複
雑さ測定処理と、上記すべての構成要素の複雑さの総和に対する各構成要
素の複雑さの比率に応じて、該各構成要素に対するオブ
ジェクト符号化データのビットレートの、上記複数の構
成要素間での比率、及び各構成要素に対する、復号化側
のバッファへ格納されるオブジェクト符号化データの最
大量を決定する符号化条件決定処理とを含み、上記各構成要素に対するビットレートの比率に基づい
て、すべての構成要素に対応するビットレートの総和が
一定値となるよう、各構成要素に対するオブジェクト画
像データを所定のビットレートでもって符号化するもの
であることを特徴とする画像処理方法。
【請求項２２】所定の画像を表示するためのビデオ信
号に対して、該所定の画像を構成する複数の構成要素に
対応するオブジェクト画像データを各構成要素毎に別々
に符号化してオブジェクト符号化データに変換するオブ
ジェクト符号化処理を施す画像処理装置であって、上記各オブジェクト画像データの符号化処理に要するビ
ット数の多さに対応する構成要素の複雑さを測定する複
雑さ測定手段と、上記各構成要素の複雑さに応じて、該各構成要素に対す
る個別ビットレート、及び各構成要素に対する、復号化
側のバッファへ格納されるオブジェクト符号化データの
最大量である個別バッファサイズを決定する符号化条件
決定手段と、上記決定された個別ビットレート及び個別バッファサイ
ズに基づいて制御信号を出力する制御器と、上記構成要素に対応するオブジェクト画像データに対す
る符号化処理を、上記制御信号に基づいて該符号化処理
により発生するビット数を制御しつつ行って、各構成要
素に対応するオブジェクト符号化データを出力する符号
化器と、上記各構成要素に対応するオブジェクト符号化データを
多重化してビットストリームを生成する多重化器とを備
えたことを特徴とする画像処理装置。
【請求項２３】請求項２２記載の画像処理装置におい
て、上記符号化条件決定手段は、伝送経路の最大伝送ビット
レートを上記各構成要素の複雑さに応じて各構成要素に
分配して各構成要素に対する個別ビットレートを決定
し、上記復号化側の１つのバッファの最大データ格納量
を、上記各構成要素の複雑さに応じて該各構成要素に分
配して上記個別バッファサイズを決定するよう構成され
ていることを特徴とする画像処理装置。
【請求項２４】画像処理プログラムを格納したデータ
記憶媒体であって、上記画像処理プログラムは、請求項１７記載の画像処理
方法によるビデオ信号の符号化処理をコンピュータによ
り行うためのプログラムであることを特徴とするデータ
記憶媒体。