JP2003018591A - 動画像符号化システム、動画像符号化方法およびプログラム - Google Patents

Abstract

(57)【要約】 【課題】低レートで画質の維持が困難な状況下であって
も、主観画質を向上できる動画像符号化システムを提供
する。 【解決手段】合成されることで１つの画面を構成するオ
ブジェクト１，．．．，ｎをそれぞれ符号化する符号化
部１０１−１，．．．，１０１−ｎと、オブジェクト
１，．．．，ｎのそれぞれについて、符号化される画素
またはブロックの位置毎にどのような符号化を行うか、
または、符号化するか否かを上記画面上における他のオ
ブジェクトとの位置関係に応じて定めたオブジェクト符
号化制御マップを作成して符号化部１０１−
１，．．．，１０１−ｎにそれぞれ供給する符号化制御
マップ作成部１２０とを有し、符号化部１０１−１〜１
０１−ｎはそれぞれ供給されたオブジェクト符号化制御
マップに従って符号化を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人物や背景などオ
ブジェクト単位で動画像を符号化するシステムおよび方
法ならびにそのような符号化を実行するためのプログラ
ムに関する。

【０００２】

【従来の技術】最近、画像圧縮方式の１つであるＭＰＥ
Ｇ−４（Moving Picture Experts Group Phase 4）が注
目を浴びている。このＭＰＥＧ−４は、有線、無線を問
わず、種々のネットワークを介した動画通信が可能であ
り、その特徴の１つに、人物や背景などのオブジェクト
単位での動画像の符号化がある。

【０００３】動画像をオブジェクト単位で符号化する場
合、１つの画像から抽出された複数のオブジェクトを符
号化するシステムと、別々に撮影された画像からそれぞ
れ抽出された複数のオブジェクトを符号化を行うシステ
ムとがある。ここでは、後者の別々に取得した複数の画
像オブジェクトをそれぞれ符号化する方式について説明
する。

【０００４】特開２０００−７８５７２号公報には、背
景用と目的物用の撮像装置を別個にし、それぞれの撮像
装置から得られる背景画像、目的物画像からそれぞれ背
景オブジェクト、目的物オブジェクトを抽出して符号化
する方式が記載されている。図９は、その公報に記載さ
れている伝送システムを説明するためのブロック図であ
る。

【０００５】図９を参照すると、第１のテレビカメラで
撮影した目的物画像１１０１についてオブジェクト生成
部１１０２で領域抽出が行われる。この領域抽出では、
目的物画像１１０１からシーン毎に人物などの目的物オ
ブジェクト（図９中、オブジェクト１で表わされてい
る。）の切り出しが行われる。他方、第２のテレビカメ
ラで撮像された背景画像１１１２はそのまま背景オブジ
ェクト（図９中、オブジェクト２で表わされている。）
となる。

【０００６】目的物オブジェクト、背景オブジェクトは
それぞれ別々に符号化され、多重化部１１０４に入力さ
れる。図９の例では、目的物オブジェクトの符号化デー
タ１１０３ａと、背景オブジェクトの符号化データ１１
０３ｂが多重化部１１０４に入力されている。

【０００７】多重化部１１０４では、その入力された符
号化データ１１０３ａ、１１０３ｂが多重化され、この
多重化された符号化データがビットストリューム１１０
５のデータ形式で通信回線１１０６を介して受信側の多
重分離部１１０７に伝送される。この伝送の際、各オブ
ジェクトの配置・形状情報も符号化データと一緒に伝送
される。

【０００８】受信側では、通信回線１１０６を介して受
信した、符号化データ１１０３ａ、１１０３ｂの多重化
データは多重分離部１１０７で各オブジェクト毎に分離
され、それぞれ復号化部にて目的物オブジェクト（オブ
ジェクト１）の復号化データ１１０８ａと背景オブジェ
クト（オブジェクト２）の復号化データ１１０８ｂとし
て復号化される。各復号化データ１１０８ａ、１１０８
ｂはコンボジター部１１０９で画面上の各オブジェクト
の配置位置（元の配置位置）などを考慮して合成され、
表示部で再現画像１１１０として表示される。

【０００９】上記の伝送システムの場合、背景動画像を
目的物動画像より解像度を下げて送ることにより、伝送
容量を低減させることができる。また、テレビ会議のよ
うに背景に変化を伴わない場合は、背景画像１１１２の
画像データの伝送はその都度行う必要はなく、受信側
で、最初に受信した背景画像を以降のオブジェクト合成
に用いることも可能である。この場合は、背景動画像を
送らない分だけ、トータル的な伝送容量を低減すること
が可能である。

【００１０】上述したような伝送システムにおいて、各
オブジェクトの符号化データを一定レートの伝送路で送
る場合、通常は、符号化器の最終段にバッファが設けら
れ、このバッファに蓄積された符号化データが一定のレ
ートで読み出されて伝送路に送り出される。このような
システムでは、符号化遅延の問題からバッファの容量に
限りがあることから、符号化器から大量の情報が発生す
るとオーバーフローする危険性がある。このオーバーフ
ローを回避するために、通常は、各オブジェクトの発生
符号量を調節したり、バッファに蓄積される符号化デー
タをフレームスキップ（コマ落とし）したりして、レー
ト制御を行う。

【００１１】図１０に、オブジェクト単位での動画像の
符号化を行う、レート制御可能な従来の動画像符号化シ
ステムの一例を示す。この動画像符号化システムは、ｎ
個のオブジェクトからなる動画像を符号化するシステム
であって、オブジェクト１，．．．，ｎのそれぞれに対
応して設けられたｎ個の符号化器１００１−１，１００
１−２，．．．，１００１−ｎと、レート制御部１０１
０とからなる。

【００１２】レート制御部１０１０は、各符号化器１０
０１−１〜１００１−ｎの目標符号量をそれぞれ決定す
る。符号化器１００１−１，１００１−２，．．．，１
００１−ｎにはそれぞれ、オブジェクト１，．．．，ｎ
のテクスチャデータおよび形状データが入力されてい
る。

【００１３】各符号化器１００１−１〜１００１−ｎは
それぞれ、入力されたオブジェクトのテクスチャデータ
および形状データを周知の技術である動き補償とＤＣＴ
変換を用いて符号化する構造になっており、その符号化
の際の発生符号量がレート制御部１０１０から与えられ
た目標符号量となるように制御される。各符号化器１０
０１−１〜１００１−ｎからは符号化データが出力（第
１の出力）されるとともに、符号化に際して用いられ、
あるいは、生じた情報であるレート制御パラメータが出
力（第２の出力）される。この第２の出力のレート制御
パラメータはレート制御部１０１０へ供給され、目標符
号量を決定するために用いられる。

【００１４】レート制御パラメータは、符号化で用いら
れたパラメータや符号化に付随して生じる情報で、レー
ト制御に用いられる情報の総称である。上述の特開２０
００-９２４８９号公報には、レート制御パラメータと
して、局所復号画像のＳＮＲ（Signal to Noise Rati
o）、発生符号量、オブジェクト間で輪郭が接触してい
るか否かを表す情報を用いることが記載されている。図
１０の例でも、同様の情報がレート制御パラメータとし
て用いられる。

【００１５】次に、この動画像符号化システムの動作に
ついて説明する。

【００１６】符号化器１００１−１，１００１−
２，．．．，１００１−ｎにオブジェクト１，．．．，
ｎのテクスチャデータおよび形状データがそれぞれ入力
される。各符号化器１００１−１〜１００１−ｎは、入
力されたオブジェクトのテクスチャデータおよび形状デ
ータを符号化してオブジェクト符号列を生成し出力する
と同時に、次回の符号化の際のレート制御に必要なパラ
メータを算出し、その算出したレート制御パラメータを
レート制御部１０１０に対して出力する。最初の時点で
は、レート制御部１０１０から各符号化器１００１−１
〜１００１−ｎへの目標符号量の供給はなされていない
ため、各符号化器１００１−１〜１００１−ｎでは、そ
の発生符号量が予め設定された目標符号量（各符号化器
毎に任意に設定可能）となるように制御される。

【００１７】レート制御部１０１０は、各符号化器１０
０１−１〜１００１−ｎから入力されたレート制御パラ
メータに基づいて各オブジェクトの符号化の目標符号量
を算出する。そして、レート制御部１０１０は、その算
出した目標符号量をそれぞれ対応する符号化器へ供給す
る。この目標符号量の算出において、レート制御部１０
１０は、発生符号量と符号化レートの比で表される符号
化率と局所復号画像のＳＮＲとの関係を用い、こま落と
しをするか否かと各オブジェクトの目標符号量とを決定
する。こま落しの制御において、オブジェクト間で輪郭
が接触しているものについては同時にこま落しが起きる
ように制御することで、視覚的な劣化を抑えられる。

【００１８】レート制御部１０１０から目標符号量が供
給されてからは、各符号化器１００１−１〜１００１−
ｎでは、入力されたオブジェクトのテクスチャデータお
よび形状データを符号化するに際して、その発生符号量
がレート制御部１０１０から供給された目標符号量とな
るように符号化制御が行われる。

【００１９】図１１に、フレーム単位にオブジェクト符
号化が行われる場合の、目標符号量の生成を模式的に示
す。この図１１から分かるように、現フレームに関する
オブジェクトのテクスチャデータおよび形状データを符
号化する際の目標符号量は、その前に符号化されるフレ
ームに関するオブジェクトのテクスチャデータおよび形
状データを符号化する際に算出されたレート制御パラメ
ータから取得した目標符号量が用いられる。

【００２０】なお、図１０には示されていないが、各符
号化器１００１−１〜１００１−ｎはそれぞれ、符号化
したデータを復号化（逆ＤＣＴ変換）して元のデータに
戻す機能を有しており、この復号化データがレート制御
部１０１０へ供給される。レート制御部１０１０では、
その供給された復号化データから局所復号画像のＳＮ
Ｒ、すなわち各オブジェクト毎の優先度に応じた個別の
画質とフレーム全体の画質バランスとの比が得られるよ
うになっている。

【００２１】複数のオブジェクト間でレート制御を行う
方式としては、上記の他に、特開２０００−５０２５４
号公報や文献「１９９９年２月，アイ・イー・イー・イ
ー・トランザクションズ・オン・サーキッツ・アンド・
システムズ・フォー・ビデオ・テクノロジー，第ＣＳＶ
Ｔ−９巻，第１号，１８６〜１９９頁（IEEE TRANSACTI
ONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY,
VOL. CSVT-9, NO. 1,FEBRUARY, 1999）」によって開示
されているような方式もある。この方式では、各オブジ
ェクトの符号量、動き補償予測誤差電力、サイズ、動き
情報がレート制御パラメータとして用いられる。そし
て、各フレームにおいて全オブジェクトに割り当てる符
号量を、前のフレームにおける発生符号量の総和から決
定し、これをサイズ、動き情報、動き補償予測誤差電力
の線形和で与えられる指標に従って各オブジェクトに配
分する。このようにして、複数オブジェクト間でのレー
ト制御を実現する。

【００２２】

【発明が解決しようとする課題】しかしながら、上述し
た従来の符号化手法においては、各符号化器への目標符
号量の配分に際して各オブジェクト間でのバランスが考
慮されるようになっているものの、符号化に際しては各
オブジェクトを独立に符号化しているだけ、オブジェク
ト間の関係は考慮されていない。このため、以下のよう
な問題がある。

【００２３】例えば、あるカメラで撮像された画像から
抽出した第１のオブジェクトの一部の領域が別のカメラ
で撮像された画像から抽出した第２のオブジェクトの一
部の領域によって隠蔽されるような場合（例えば、図９
の再現画像１１１０におけるオブジェクト１とオブジェ
クト２の重なり）、第１のオブジェクトの隠蔽領域の符
号化データは合成時には必要なくなる。しかしながら、
従来の場合は、第１のオブジェクトの隠蔽領域も他の領
域と同様に符号化されてしまうため、第１のオブジェク
トに関する発生符号量は、隠蔽領域を符号化しない場合
と比べて、その隠蔽領域に割り当てられる分だけ減るこ
ととなる。このため、低レートにおいては画質が大きく
劣化する場合がある。

【００２４】本発明の主な目的は、上記問題を解決し、
画質の維持が困難な低レートの状況下であっても、主観
画質を向上できる複数オブジェクトの符号化システムお
よび符号化方法を提供することにある。

【００２５】本発明のさらなる目的は、そのようなオブ
ジェクト符号化を実現することのできるプログラムを提
供することにある。

【００２６】

【課題を解決するための手段】上記目的を達成するため
に、本発明の動画像符号化システムは、合成されること
で１つの画面を構成する複数の画像オブジェクトをそれ
ぞれ符号化する複数の符号化手段と、前記複数の画像オ
ブジェクトのそれぞれについて、符号化される画素また
はブロックの位置毎にどのような符号化を行うか、また
は、符号化するか否かを前記画面上における他の画像オ
ブジェクトとの位置関係に応じて定めたオブジェクト符
号化制御マップを作成して前記複数の符号化手段にそれ
ぞれ供給する符号化制御マップ作成手段とを有し、前記
複数の符号化手段はそれぞれ、前記符号化制御マップ作
成手段から供給された前記オブジェクト符号化制御マッ
プに従って符号化を行うことを特徴とする。

【００２７】本発明の動画像符号化方法は、合成される
ことで１つの画面を構成する複数の画像オブジェクトを
それぞれ符号化する方法であって、前記複数の画像オブ
ジェクトのそれぞれについて、符号化される画素または
ブロックの位置毎にどのような符号化を行うか、また
は、符号化するか否かを前記画面上における他の画像オ
ブジェクトとの位置関係に応じて定めたオブジェクト符
号化制御マップを作成する第１のステップと、前記第１
のステップにて作成されたオブジェクト符号化制御マッ
プに従って前記複数の画像オブジェクトをそれぞれ符号
化する第２のステップとを含むことを特徴とする。

【００２８】本発明のプログラムは、合成されることで
１つの画面を構成する複数の画像オブジェクトのそれぞ
れについて、符号化される画素またはブロックの位置毎
にどのような符号化を行うか、または、符号化するか否
かを前記画面上における他の画像オブジェクトとの位置
関係に応じて定めたオブジェクト符号化制御マップを作
成する第１の処理と、前記第１の処理にて作成されたオ
ブジェクト符号化制御マップに従って前記複数の画像オ
ブジェクトをそれぞれ符号化する第２の処理とをコンピ
ュータに実行させることを特徴とする。

【００２９】上記のとおりの本発明においては、複数の
画像オブジェクトのそれぞれについて、符号化される画
素またはブロックの位置毎にどのような符号化を行う
か、または、符号化するか否かを前記画面上における他
の画像オブジェクトとの位置関係に応じて定めたオブジ
ェクト符号化制御マップを作成し、このオブジェクト符
号化制御マップに従って符号化が行われる。この構成に
よれば、例えば、あるカメラで撮像された画像から抽出
した第１のオブジェクトの一部の領域が別のカメラで撮
像された画像から抽出した第２のオブジェクトの一部の
領域によって隠蔽されるような場合に、第１のオブジェ
クトの隠蔽領域については、符号化を行わない、また
は、他の領域より符号化を粗く行う、といった符号化制
御が可能である。このため、第１のオブジェクトに関す
る発生符号量の割り当てについては、隠蔽領域を他の領
域と同様に符号化してしまう従来の場合と比べて、その
隠蔽領域の符号化を粗くした分、または、符号化しない
ようにした分だけ多くすることができる。

【００３０】

【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。

【００３１】図２は、本発明の動画像符号化システムの
全体の構成を示すブロック図である。この動画像符号化
システムは、複数の画像取得部１１−１〜１１−ｎ、複
数のオブジェクト抽出部１２−１〜１２−ｎ、複数の蓄
積部１３−１〜１３−ｎ、オブジェクト符号化部１４、
多重伝送部１５、合成情報生成部１６、合成情報符号化
部１７からなる。

【００３２】各画像取得部１１−１〜１１−ｎはそれぞ
れ撮影カメラを備え、該撮影カメラにて撮影された画像
をフレーム単位で出力する。画像取得部１１−
１，．．．，〜１１−ｎの出力はオブジェクト抽出部１
２−１，．．．，１２−ｎにそれぞれ供給される。

【００３３】各オブジェクト抽出部１２−１〜１２−ｎ
はそれぞれ、入力画像データに対して輪郭抽出などの周
知のオブジェクト抽出を行い、その抽出したオブジェク
トの画像内容を表わすテクスチャデータおよびその形状
を表わす形状データを出力するとともに、そのオブジェ
クトが画面のどの位置に存在したか（または、オブジェ
クトの３次元空間内での存在位置）を表わす位置情報を
出力する。オブジェクト抽出部１２−１，．．．，１２
−ｎの出力（テクスチャデータ、形状データおよび位置
情報）は蓄積部１３−１，．．．，１３−ｎにそれぞれ
格納される。

【００３４】各蓄積部１３−１〜１３−ｎの出力のうち
オブジェクトのテクスチャデータおよび形状データはオ
ブジェクト符号化部１４に供給され、位置情報は合成情
報生成部１６に供給される。オブジェクト符号化部１４
には、オブジェクトのテクスチャデータおよび形状デー
タの他に、合成情報生成部１６で生成された合成情報が
供給される。

【００３５】オブジェクト符号化部１４は、本発明の最
も特徴的な部分であって、オブジェクト毎に符号化を行
うように構成されている。このオブジェクト符号化部１
４は、詳しくは後述するが、一定レートでの通信が可能
なように、符号化に際して各オブジェクト毎に発生符号
量が制限されるとともに、各オブジェクト間の関係を考
慮した符号化が行われる。

【００３６】合成情報生成部１６で生成された合成情報
は、オブジェクト符号化部１４に供給されるとともに合
成情報符号化部１７にも供給される。合成情報符号化部
１７は、入力された合成情報を符号化する。

【００３７】多重化伝送部１５は、オブジェクト符号化
部１４からの各オブジェクトの符号化データおよび合成
情報符号化部１７からの合成情報の符号化データがそれ
ぞれ供給されており、これら符号化データを多重化した
符号化列（多重化符号化列）を伝送路上に送出する。

【００３８】次に、この動画像符号化システムの動作に
ついて説明する。各画像取得部１１−１，．．．，１１
−ｎでオブジェクト１，．．．，ｎをそれぞれ撮影し、
オブジェクト１，．．．，ｎに関する画像を取得する。
このようにして取得したオブジェクト画像ｉ（ｉ＝
１，．．．，ｎ）はそれぞれオブジェクト抽出部１２−
１，．．．，１２−ｎに入力される。画像取得部１１−
１〜１１−ｎ、オブジェクト抽出部１２−１〜１２−ｎ
および蓄積部１３−１〜１３−ｎにおける動作は基本的
には同じであるため、以下、画像取得部１１−ｉ（ｉ＝
１，．．．，ｎ）、オブジェクト抽出部１２−ｉ（ｉ＝
１，．．．，ｎ）、蓄積部１３−ｉ（ｉ＝１，．．．，
ｎ）、オブジェクトｉ（ｉ＝１，．．．，ｎ）として動
作を説明する。

【００３９】画像取得部１１−ｉによって取得されたオ
ブジェクトｉ画像はオブジェクト抽出部ｉに入力され
る。オブジェクト抽出部ｉは、入力されたオブジェクト
ｉ画像からオブジェクトｉの領域を抽出し、その画像内
容を表わすオブジェクトｉテクスチャデータおよびオブ
ジェクトｉ形状データを取得すると同時に、オブジェク
トｉの位置（位置情報）を算出する。そして、これらオ
ブジェクトｉのテクスチャデータ、形状データおよび位
置情報（以下、これらをまとめてオブジェクトｉ属性デ
ータと称す。）を蓄積部ｉへ出力する。

【００４０】ここで、オブジェクトｉ位置情報は、オブ
ジェクトを抽出した際に、その抽出したオブジェクトが
画面のどの位置に存在したかを表わす情報、あるいはオ
ブジェクトの３次元空間内での存在位置を示す情報であ
り、後に行われる画像合成（各オブジェクトの符号化デ
ータを復号して合成すること）を行う際に必要とされ
る。

【００４１】オブジェクト抽出部ｉから出力されたオブ
ジェクトｉ属性データは、蓄積部ｉに一旦格納される。
蓄積部ｉに格納されたオブジェクトｉ属性データのうち
オブジェクトｉテクスチャデータおよびオブジェクトｉ
形状データはオブジェクト符号化部１４へ入力され、オ
ブジェクトｉ位置情報は合成情報生成部１６へ入力され
る。合成情報生成部１６は、入力されたオブジェクトｉ
位置情報から合成の際に必要となる合成情報を生成す
る。この合成情報生成部１６で生成された合成情報は、
オブジェクト符号化部１４および合成情報符号化部１７
のそれぞれに入力される。

【００４２】オブジェクト符号化部１４では、蓄積部１
３−ｉから入力されたオブジェクトｉテクスチャデータ
およびオブジェクトｉ形状データが符号化されるが、そ
の符号化に際して合成情報生成部１６から入力された合
成情報を用いた、オブジェクト間の関系を考慮した符号
化制御が行われる。この符号化制御が本実施形態の最も
特徴的な部分であり、その詳しい説明については後述す
る。オブジェクト符号化部１４からは、各オブジェクト
のテクスチャデータおよび形状データが符号化されたオ
ブジェクトｉ符号列が出力される。

【００４３】合成情報符号化部１７では、合成情報生成
部１６から入力された合成情報の符号化が行われる。こ
の合成情報符号化部１７から出力される合成情報符号列
と上記オブジェクト符号化部１４から出力されるオブジ
ェクトｉ符号列は、多重化送信部１５へ入力されて多重
化処理が施され、多重化符号列として伝送路上へ送出さ
れる。ここで、伝送路とはネットワークのような通信路
であってもよいし、あるいは記録媒体へ記録する手段へ
のデータ転送路であってもよい。

【００４４】上述の図２に示した伝送システムでは、各
オブジェクトを別々の画像取得部によって撮影している
が、１つの画像取得部を時間を分けて使用して複数のオ
ブジェクトを撮影するようにしてもよい。例えば、背景
がそれほど変化しないテレビ会議のような画像の場合に
は、先に背景のみを撮影して背景画像を取得しておき、
その後に同じ画像取得部で前景のオブジェクトを撮影す
るようにしてもよい。

【００４５】また、各画像取得部は、複数の撮影カメラ
を組み合わせたもの、例えばステレオカメラより構成さ
れてもよい。

【００４６】さらに、オブジェクトｉ位置情報は、オブ
ジェクト抽出部ｉにて算出されるようになっているが、
別の手段によって取得するような構成にしてもよい。例
えば、レンジファインダのような装置によって、オブジ
ェクトｉの３次元位置を取得し、これをオブジェクトｉ
位置情報として用いてもよい。

【００４７】また、上述の伝送システムでは、背景オブ
ジェクト（合成した際に背景になるオブジェクト）に対
しては、オブジェクト抽出は特に必要ではないため、オ
ブジェクト抽出部を設けなくてもよい。

【００４８】さらに、別々のオブジェクト抽出部によっ
て各オブジェクトを抽出するようになっているが、互い
に重なり合わないオブジェクトについては、１つのオブ
ジェクト抽出部によってまとめてオブジェクト抽出を行
うようにしてもよい。あるいは、１つのオブジェクト抽
出部を時間を分けてしようし、複数のオブジェクトを取
得するような構成とすることもできる。

【００４９】さらに、各蓄積部１３−１〜１３−ｎは、
抽出されたオブジェクトｉ属性データを蓄積するバッフ
ァであってもよい。また、各蓄積部１３−１〜１３−ｎ
は、抽出されたオブジェクトを画像部品として蓄積して
おく手段、あるいは、抽出されたオブジェクトをデータ
ベースとして格納する手段であってもよい。なお、図２
に示した例では、各オブジェクト毎に蓄積部を設けてい
るが、１つの蓄積部に複数のオブジェクトの属性データ
を蓄積するようにしてもよい。

【００５０】また、上述の伝送システムは、画像取得部
で取得した画像のみを合成する場合のシステム構成にな
っているが、これ以外に、ＣＧのように人工的に生成さ
れる画像を用いるような構成にすることもできる。図３
に、オブジェクトｍ（１≦ｍ≦ｎ）が人工的に生成され
た画像から抽出される場合のシステムの一例を示す。こ
のシステムは、図２に示したシステムのオブジェクトｍ
に関する画像取得部およびオブジェクト抽出部を人工画
像生成部１８−ｍに置き換えたものである。人工画像生
成部１８−ｍは、オブジェクトｍの画像を生成するとと
もに、この生成したオブジェクトｍの画像のテクスチャ
データ、形状データおよび位置情報を出力する。人工画
像生成部１８−ｍから出力されたオブジェクトｍテクス
チャデータ、オブジェクトｍ形状データおよびオブジェ
クトｍ位置情報は蓄積部１３−ｍに格納される。その他
の動作は、図２に示したシステムと同様である。

【００５１】次に、本発明の特徴であるオブジェクト符
号化部の構成について説明する。

【００５２】（第１の実施形態）図１は、本発明の第１
の実施形態の動画像符号化システムの主要構成を示すブ
ロック図である。この動画像符号化システムは、上述の
図２または図３に示したシステムのオブジェクト符号化
部を構成するものであって、その構成は、オブジェクト
１，．．．，ｎのそれぞれに対応して設けられたｎ個の
符号化器１０１−１〜１０１−ｎと、レート制御部１１
０と、符号化制御マップ作成部１２０とからなる。

【００５３】本形態の動画像符号化システムは、各符号
化器１０１−１〜１０１−ｎにおける符号化に際して、
前述した従来のシステムにおけるレート制御と同様の制
御が行われるとともに、各オブジェクト間の関係を考慮
した符号化制御が行われる。レート制御に関する構成お
よび動作ついては、従来のシステムと同様であるため、
ここではその詳細な説明は省略する。

【００５４】符号化制御マップ作成部１２０は、各オブ
ジェクト１〜ｎの形状データがそれぞれ入力されるとと
もに、各オブジェクト１〜ｎの合成時の配置位置、すな
わち各オブジェクトを重ね合せる際の前後（手前、奥）
の位置関係および上下左右の位置関係を示す合成情報が
入力され、これら入力情報に基づいて符号化制御マップ
を作成する。この符号化制御マップの作成は各オブジェ
クト１〜ｎ毎に行われ、それぞれ符号化器１０１−１，
１０１−２，．．．，１０１−ｎに供給される。

【００５５】各符号化器１０１−１〜１０１−ｎは、符
号化制御マップ作成部１２０から受け取った符号化制御
マップに従って、入力されたオブジェクトのテクスチャ
データおよび形状データを符号化するとともに、その符
号化の際の発生符号量がレート制御部１１０から与えら
れた目標符号量となるように制御される。

【００５６】オブジェクト符号化制御マップは、符号化
制御の方法あるいは符号化制御で用いるパラメータをオ
ブジェクトの位置に応じて定めた情報である。例えば、
ＭＰＥＧ−４に従って画像を符号化する場合は、符号化
はブロック／マクロブロック単位で行われるが、この場
合は、各ブロック／マクロブロックでの符号化制御法を
特定するための情報を各ブロック／マクロブロック毎に
表したものがオブジェクト符号化制御マップである。符
号化制御法を特定するための情報としては、そのブロッ
ク／マクロブロックを符号化するか否かという情報、符
号化する際には、どのような符号化を行うかという情報
（具体的には、直流成分のみ符号化、低域変換係数のみ
符号化、全係数の符号化などを識別する情報）、各ブロ
ック／マクロブロックで行う量子化の粗さを規定するパ
ラメータ、ブロック／マクロブロックの符号化モードを
決定するための情報、マクロブロックの動きを記述する
のに必要な情報などが挙げられる。

【００５７】上記の他、画素単位で符号化制御を行う符
号化方式の場合は、オブジェクト符号化制御マップは、
画素単位で符号化制御パラメータを規定する情報であっ
てもよい。また、サブバンド符号化のように、各サブバ
ンドの変換係数が画像の空間的な位置と対応づけられる
場合は、オブジェクト符号化制御マップは各変換係数の
符号化制御を規定する情報であってもよい。さらに、オ
ブジェクトを様々な領域やレイヤーに分解して符号化す
る方式の場合は、オブジェクト符号化制御マップは、領
域やレイヤーごとに符号化制御法を決定する情報であっ
てもよい。

【００５８】上記のように、符号化制御に必要な情報を
位置の関数として記述したものがオブジェクト符号化制
御マップである。目標符号量は前フレームから算出して
いたが、このオブジェクト符号化制御マップは、符号化
すべきフレームと同じフレーム（図１１の例で示した現
フレーム）から抽出された情報に基づいて作成される。

【００５９】次に、本実施形態の動画像符号化システム
の動作について説明する。

【００６０】オブジェクト１，…，ｎのテクスチャデー
タおよび形状データが符号化器１０１−１，…，１０１
−ｎへそれぞれ入力される。各符号化器１０１−１〜１
０１−ｎの動作は基本的には同じであるため、以下、符
号化器１０１−ｉ（ｉ＝１，．．．，ｎ）、オブジェク
トｉ（ｉ＝１，．．．，ｎ）として動作を説明する。

【００６１】オブジェクトｉのテクスチャデータおよび
形状データが符号化器１０１−ｉに入力されると同時
に、そのオブジェクトｉの形状データが符号化制御マッ
プ作成部１２０に入力される。

【００６２】符号化制御マップ作成部１２０は、入力さ
れたオブジェクトｉ形状データからオブジェクトｉ符号
化制御マップを作成する。具体的には、オブジェクト間
の隠蔽関係や合成画像上でのオブジェクト間の距離情報
を算出し、これらの情報に基づいてオブジェクト符号化
制御マップを作成するが、その作成処理の詳細な詳細に
ついては後述する。符号化制御マップ作成部１２０にて
作成されたオブジェクトｉ符号化制御マップは符号化器
１０１−ｉへ供給される。なお、オブジェクトｉが背景
オブジェクトのように形状データがないオブジェクトの
場合は、このオブジェクトに対する形状データは入力さ
れないようになっていてもよい。この場合は、オブジェ
クト符号化制御マップの符号化制御マップ作成部１２０
から符号化器１０１−ｉへ供給はなされないため、符号
化器１０１−ｉは予め設定された条件（初期設定条件）
での符号化を行う。

【００６３】符号化器１０１−ｉでは、オブジェクトｉ
のテクスチャデータおよび形状データが入力され、符号
化制御マップ作成部１２０からオブジェクトｉ符号化制
御マップが供給されると、その供給されたオブジェクト
ｉ符号化制御マップに基づいて、入力されたオブジェク
トｉのテクスチャデータおよび形状データを符号化して
オブジェクトｉ符号列を生成する。この符号化方式とし
ては、例えば、ＭＰＥＧ−４の符号化方式を用いること
ができる。

【００６４】上記のオブジェクトｉの符号化時に、符号
化器１０１−ｉは、符号化に用いられ、あるいは、生じ
る情報であって、レート制御に必要な情報をオブジェク
トｉレート制御パラメータとしてレート制御部１１０へ
出力する。レート制御パラメータとしてどのような情報
を用いるかはレート制御部１１０で行うレート制御に依
存するが、基本的には、図７に示したシステムと同様の
ものを用いることができる。

【００６５】レート制御部１１０は、符号化器１０１−
ｉから入力されたオブジェクトｉレート制御パラメータ
から、次回のオブジェクトｉの符号化の目標符号量を算
出し、これを符号化器１０１−ｉに供給する（図８参
照）。

【００６６】本実施形態においても、図８に示した例と
同様、最初のフレームについては、各オブジェクトに対
して予め設定された目標符号量を用いたレート制御が行
われる。それ以降のフレームについては、前に符号化さ
れたフレームから算出されたレート制御パラメータから
取得した目標符号量を用いたフレーム制御が行われる。
具体的には、符号化器１０１−ｉには、レート制御部１
１０からオブジェクトｉ目標符号量が入力されるととも
に、符号化制御マップ作成部１２０からオブジェクトｉ
オブジェクト符号化制御マップが入力され、オブジェク
トｉのテクスチャデータと形状データの符号化に際し
て、オブジェクトｉオブジェクト符号化制御マップに基
づいて符号化が行われるとともに、その発生符号量がオ
ブジェクトｉ目標符号量となるように制御される。符号
化して得られるビットストリームは、オブジェクトｉ符
号列として出力される。

【００６７】以上の説明した動作は、レート制御に必要
な目標符号量およびオブジェクト符号化制御マップに基
づいて符号化制御が行われるようになっているが、特殊
な例として、オブジェクト符号化制御マップのみで符号
化制御を行う場合も考えられる。

【００６８】次に、オブジェクト符号化制御マップ作成
部１２０の動作について、さらに詳しく説明する。以下
の説明では、オブジェクトの隠蔽情報を使用する場合、
他のオブジェクトからの距離情報を使用する場合、これ
ら隠蔽情報および距離情報の両方を使用する場合の３つ
の例を挙げる。

【００６９】（１）隠蔽情報の使用：ここでは、オブジ
ェクトの隠蔽情報のみを用いてオブジェクト符号化制御
マップを作成する場合について述べる。

【００７０】符号化制御マップ作成部１２０は、まず、
各オブジェクトの形状データと合成情報を用い、オブジ
ェクトｉについて、他のオブジェクトによって隠される
領域（以下、隠蔽領域と呼ぶ。）を求める。ここで、合
成情報は、各オブジェクトの前後関係を示す情報と、重
ね合わせる際の位置情報である。

【００７１】次に、符号化制御マップ作成部１２０は、
オブジェクトｉの各位置（各領域の位置）においてどの
ような符号化を行うかを決定し、それに基づいてオブジ
ェクトｉに関するオブジェクト符号化制御マップを作成
する。例えば、符号化制御マップ作成部１２０は、隠蔽
領域か否かによって、各位置での符号化制御法を決定
し、その情報を含むオブジェクト符号化制御マップを作
成する。より具体的には、符号化制御マップ作成部１２
０は、隠蔽領域を符号化しないか、あるいは、隠蔽領域
を他の領域よりも粗く符号化する、といった符号化制御
情報を含むオブジェクト符号化制御マップを作成する。
このようなオブジェクト符号化制御マップにしたがって
オブジェクトの符号化を行うことで、隠蔽領域以外へ符
号量配分を増やすことができ、その結果として、合成後
の画像全体の画質を改善できる。

【００７２】オブジェクト符号化制御マップについてさ
らに詳細に説明する。例えば、符号化するか否かを識別
する情報をオブジェクト符号化制御マップとして記述す
る場合は、隠蔽領域は符号化しないようなオブジェクト
符号化制御マップを作成することができる。また、量子
化幅を制御するパラメータをオブジェクト符号化制御マ
ップに記述する場合は、隠蔽領域では量子化幅が粗くな
るようなオブジェクト符号化制御マップを作成すること
ができる。さらに、符号化する変換係数の数、符号化す
るビットプレーンの数、符号化する周波数帯域などを表
す情報をオブジェクト符号化制御マップに記述する場合
は、隠蔽領域では変換係数やビットプレーンの数を減ら
したり、周波数帯域を低域のみに限定したりすることに
よって粗く符号化するようなオブジェクト符号化制御マ
ップを作成することができる。このようにして、符号化
制御マップ作成部１２０は、オブジェクトｉに関するオ
ブジェクト符号化制御マップを作成し、出力する。

【００７３】なお、隠蔽領域が全く存在しない場合に
は、オブジェクト符号化制御マップは位置に依存せず一
様となる。例えば、量子化幅を制御するパラメータをオ
ブジェクト符号化制御マップに記述する場合であれば、
隠蔽領域が全く存在しない場合は、量子化幅が全体に渡
って一様となるオブジェクト符号化制御マップが作成さ
れる。あるいは、オブジェクト符号化制御マップを作成
せず、そのオブジェクトの符号化を行う符号化器では、
予め設定された条件で符号化が行われるようになってい
てもよい。

【００７４】また、合成の際に特定のオブジェクトが必
ず一番手前側に重ねられることが既知である場合には、
そのオブジェクトに対しては、オブジェクト符号化制御
マップを作成しなくてもよい。この場合、そのオブジェ
クトの符号化を行う符号化器では、予め設定された条件
で符号化が行われる。

【００７５】（２）距離情報の使用：ここでは、他のオ
ブジェクトからの距離情報に基づいてオブジェクトｉ符
号化制御マップを作成する場合について述べる。各オブ
ジェクトには、何らかの方法により優先度情報が付加さ
れていると仮定する。例えば、視覚的に重要なオブジェ
クトから順に優先度が高くなるように設定されている。
ただし、優先度は複数のオブジェクト間で同一であって
もよい。

【００７６】符号化制御マップ作成部１２０は、まず、
オブジェクトｉに設定された優先度よりも高い優先度を
有するオブジェクトを求める。ここでは、オブジェクト
ｉよりも優先度が高いオブジェクトの数をＮｉとし、そ
れらのオブジェクトのインデックスをｊｋ（ｋ＝１，
…，Ｎｉ）として説明する。

【００７７】次に、符号化制御マップ作成部１２０は、
合成した際の（画面上での）、オブジェクトｉと、この
オブジェクトｉの優先度よりも高い優先度をもつオブジ
ェクトｊｋ（ｋ＝１，…，Ｎｉ）との間の距離を算出す
る。この距離は、例えば、画面上での、オブジェクトｉ
の所定の位置の点と各オブジェクトｊｋ（ｋ＝１，…，
Ｎｉ）の所定の位置の点（望ましくは、オブジェクトと
して抽出された領域の境界、すなわち輪郭上にある点）
とを結ぶ直線の長さで定義することができる。また、距
離は必ずしも距離の公理を厳密に満たしている指標でな
くてもよく、遠近感を表す指標であればよい。例えば、
マクロブロック単位で符号化を行う場合には、距離情報
は、何マクロブロック程度離れているかを表す指標であ
ってもよい。

【００７８】上記距離情報の算出は、オブジェクトｉの
各位置に対して行われる。すなわち、オブジェクトｉの
各位置の、オブジェクトｊｋの境界からの距離が算出さ
れる。以下、オブジェクトｉの位置ｐにおけるオブジェ
クトｊｋの境界からの距離をｄ_i,p（ｊｋ）で表すこと
とし、その距離ｄ_i,p（ｊｋ）の算出の仕方を説明す
る。

【００７９】距離ｄ_i,p（ｊｋ）の算出には、例えば、
良く知られている距離変換を用いることができる。ここ
で、距離変換とは、０と１からなる２値画像において、
値が１の各画素に値が０の画素までの最短距離を与える
変換であり、２値画像に対して最小値フィルタを反復す
ることで実現することができる。この処理、画素値が１
から０にかわるまでの処理の反復回数が、その画素にお
ける距離となる。

【００８０】具体的には、オブジェクトｊｋが存在する
領域とそうでない領域を２値で区別した２値画像を作
り、これに距離変換を行うことによって、オブジェクト
ｉの各位置におけるオブジェクトｊｋの境界からの距離
を算出できる。

【００８１】また、ＭＰＥＧなどの場合は、マクロブロ
ック単位で符号化が行われるため、マクロブロック単位
でオブジェクトｉの有無を判定し、オブジェクトｊｋの
各マクロブロックに対して距離変換値を算出するように
してもよい。この値は、例えば、マクロブロック単位で
オブジェクトｉの有無を判定した結果を２値画像として
表現し、これに対して距離変換を行うことで算出でき
る。

【００８２】次に、距離変換などによって算出された距
離を用いて符号化制御情報を求め、オブジェクト符号化
制御マップを作成する。すなわち、オブジェクトｉの位
置ｐに対しては、ｄ_i,p（ｊｋ）（ｋ＝１，…，Ｎｉ）
に基づいて符号化する。視覚的に重要なオブジェクトは
注目されやすいことを考慮すると、視覚的に重要な（優
先度の高い）オブジェクトの近くを高画質で符号化すれ
ば、全体の主観画質を向上できる。このことから、上述
の処理で求まった距離が小さい位置ほど高画質になるよ
うに制御するようにオブジェクト符号化制御マップを作
成する。

【００８３】Ｎｉが２以上の場合には、距離値ｄ
_i,p（ｊｋ）も複数存在するが、この場合は、ｄ_i,p（ｊ
ｋ）（ｋ＝１，…，Ｎｉ）の関数として求まる値を用い
ればよい。例えば、ｄ_i,p（ｊｋ）（ｋ＝１，…，Ｎ
ｉ）の最小値を求め、この値に基づいて符号化制御パラ
メータを決定するようにすればよい。また、ｄ_i,p（ｊ
ｋ）の平均値を用いてもよい。さらには、オブジェクト
ｊｋとオブジェクトｉとの優先度の差を求め、この差に
よる重み付けを行って求めた平均値を用いてもよい。

【００８４】符号化制御の方法は、具体的には、量子化
幅を距離に応じて制御するようにし、距離が小さいほ
ど、量子化幅を小さくするようにすればよい。例えば、
ＭＰＥＧ−４などの符号化の場合であれば、量子化スケ
ール値に乗じる重み係数を定義し、これを距離値によっ
て変化させるようにすることで実現できる。ビットプレ
ーン符号化を行う場合には、距離値が小さいほど下位の
ビットプレーンまで符号化するように制御すればよい。
ＤＣＴやウェーブレット変換のように、周波数領域に変
換して符号化する符号化方式の場合には、低周波から符
号化する係数の数を、距離値が小さいほど大きくするよ
うに制御すればよい。オブジェクト符号化制御マップ
は、これらの符号化制御に必要なパラメータ等の情報を
記述したものになる。

【００８５】（３）隠蔽情報および距離情報の両方を使
用：ここでは、隠蔽情報と他のオブジェクトからの距離
情報の両方を用いてオブジェクトｉ符号化制御マップを
作成する場合について述べる。

【００８６】上述の「（１）隠蔽情報の使用」の場合と
同様に、まず、オブジェクトｉの隠蔽領域を求める。そ
して、隠蔽領域外については、優先度の高いオブジェク
トの境界からの距離を上述の「（２）距離情報の使用」
の場合と同様にして求め、隠蔽領域については、その領
域を隠蔽しているオブジェクトの境界からの距離を求め
る。もし、２つ以上のオブジェクトが隠蔽している場合
には、それらのオブジェクトそれぞれに対してオブジェ
クトの境界からの距離を求める。

【００８７】次に、上述の方法によって得られた隠蔽領
域と距離値に基づき、オブジェクトｉのオブジェクト符
号化制御マップを作成する。オブジェクト符号化制御マ
ップの作成は、隠蔽領域とそれ以外の領域とで異なる。

【００８８】隠蔽領域外については、上述の「（２）距
離情報の使用」の場合ように距離値に基づいて符号化制
御情報を求め、オブジェクト符号化制御マップを作成す
る。距離値を用いない場合は、単に符号化することを示
す情報のみをオブジェクト符号化制御マップとして記述
してもよい。

【００８９】隠蔽領域については、隠蔽するオブジェク
トの境界からの距離値を考慮し、その距離値が小さい場
合は符号化し、その距離値がある一定値以上の場合は符
号化しないように、オブジェクト符号化制御マップを作
成する。これにより、伝送の途中でパケット廃棄などに
よるフレームスキップが生じた場合であっても、合成し
た際に非符号化領域が現れないようにすることができ
る。

【００９０】なお、オブジェクトの境界に近い隠蔽領域
は、オブジェクトの移動によって次のフレームで現れる
可能性が高い。そのため、そのような隠蔽領域について
も全く符号化しないとすると、十分な符号量が割り当て
られない状況では、実際に現れた際に画質が大きく劣化
可能性がある。そこで、境界に近い隠蔽領域は、粗くで
はあっても必ず符号化するようにしておき、実際に現れ
た際に、大きな画質劣化が生じないようにする。一方、
オブジェクトの境界から離れた隠蔽領域は、すぐに現れ
る可能性は低いため、符号化しないようにする。これに
より、見える領域に割り当て可能な符号量を向上でき、
合成後の復号画質を改善できる。

【００９１】また、距離値に応じて符号化の粗さを変化
させ、距離値が小さい場合にはそれほど粗くなく符号化
し、距離値が大きくなるにつれ、符号化の粗さを上げる
ようにしてもよい。符号化の粗さは、符号化する低周波
変換係数の数、量子化幅、符号化するビットプレーンの
枚数などによって調節できる。この場合、オブジェクト
符号化制御マップの情報には、量子化パラメータや符号
化するか否かを表す情報、どの程度まで低周波係数を符
号化するかを識別する情報、量子化幅を決定する情報、
ビットプレーンの数などが含まれる。

【００９２】複数のオブジェクトが隠蔽する領域の場合
には、それぞれのオブジェクトに対して求めた距離値の
中で最大値を求め、上述の制御を行えばよい。また、距
離値の平均値を用いるようにしてもよい。

【００９３】（第２の実施形態）図４は、本発明の第２
の実施形態の動画像符号化システムの主要構成を示すブ
ロック図である。この動画像符号化システムは、上述の
図１に示したシステムにおいて、レート制御部１１０、
符号化制御マップ作成部１２０をそれぞれレート制御部
２１０、符号化制御マップ作成部２２０に置き換えたも
のである。

【００９４】各符号化器１０１−１〜１０１−ｎと符号
化制御マップ作成部２２０の接続関係は図１の動画像符
号化システムと同様である。レート制御部２１０には、
各符号化器１０１−１〜１０１−ｎの第２の出力である
レート制御パラメータが供給されるとともに、符号化制
御マップ作成部２２０から各符号化器１０１−１〜１０
１−ｎへ供給されるオブジェクト符号化制御マップが供
給されるようになっている。符号化制御マップ作成部２
２０は、図１に示した符号化制御マップ作成部１２０と
同じものである。

【００９５】以下、本実施形態の動画像符号化システム
の動作について説明する。各符号化器１０１−１〜１０
１−ｎにおける動作は基本的には同じであるため、ここ
でも、符号化器１０１−ｉ（ｉ＝１，．．．，ｎ）、オ
ブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明
する。

【００９６】符号化制御手段１０１−ｉ、符号化制御マ
ップ作成部２２０の動作は、図１の符号化システムのも
のと同様である。符号化手段１０１−ｉから出力される
オブジェクトｉレート制御パラメータと符号化制御マッ
プ作成部２２０から出力されるオブジェクトｉオブジェ
クト符号化制御マップは、レート制御部２１０へ入力さ
れる。レート制御部２１０は、これらの入力情報に基づ
いてレート制御を行う。図１のレート制御部１１０との
違いは、各オブジェクトのレート制御パラメータに加え
て、各オブジェクトのオブジェクト符号化制御マップ情
報がレート制御に用られる点である。例えば、オブジェ
クトの隠蔽領域を符号化しないように制御するオブジェ
クト符号化制御マップの場合には、非符号化領域の面積
を求め、これをレート制御に反映させる、といった制御
が行われる。また、実際に符号化する領域の大きさに応
じて各オブジェクトに符号量を配分することも可能であ
る。さらに、オブジェクトの隠蔽領域を粗く符号化する
ように制御するオブジェクト符号化制御マップの場合に
は、粗く符号化する領域とそうでない領域とを区別して
符号量配分を行うようにすることができる。この場合、
各領域に適した符号量配分が可能になる。さらにまた、
符号化の粗さを距離に応じて変化させるオブジェクト符
号化制御マップの場合には、距離ごとに領域を区分し、
符号量配分を行うことが可能である。

【００９７】上記のように、各オブジェクトのオブジェ
クト符号化制御マップの情報も用いてレート制御を行う
ことにより、各オブジェクトの各領域の符号化状態を反
映した、より適したレート制御を行うことが可能にな
る。

【００９８】（第３の実施形態）図５は、本発明の第３
の実施形態の動画像符号化システムの主要構成を示すブ
ロック図である。この動画像符号化システムは、上述の
図１に示したシステムにおいて、符号化器１０１−１〜
１０１−ｎ、符号化制御マップ作成部１２０をそれぞれ
符号化器３０１−１〜３０１−ｎ、符号化制御マップ作
成部３２０に置き換えたものである。

【００９９】各符号化器３０１−１〜３０１−ｎはそれ
ぞれ、図１に示した符号化器１０１−１〜１０１−ｎと
基本的には同じものであるが、ここでは、入力されたオ
ブジェクトの動き情報を周知の動き補償予測を用いて取
得できるように構成されており、第３の出力としてオブ
ジェクト動き情報を出力することができる。本実施形態
では、この符号化器３０１−１〜３０１−ｎの第３の出
力（オブジェクト動き情報）が符号化制御マップ作成部
３２０に供給されている。これ以外の各構成部の接続関
係は、図１の動画像符号化システムと同様である。

【０１００】以下、本実施形態の動画像符号化システム
の動作について説明する。符号化器３０１−１〜３０１
−ｎにおける動作は基本的には同じであるため、ここで
も、符号化器３０１−ｉ（ｉ＝１，．．．，ｎ）、オブ
ジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明す
る。

【０１０１】符号化器３０１−ｉの動作は、第３の出力
であるオブジェクトｉ動き情報を符号化制御マップ作成
部３２０へ供給する以外は、基本的には図１の符号化器
１０１−ｉと同様である。すなわち、符号化器３０１−
ｉは、符号化制御マップ作成部３２０から出力されるオ
ブジェクトｉオブジェクト符号化制御マップに基づき、
発生符号量がレート制御部１１０から出力されるオブジ
ェクトｉ目標符号量となるように符号化制御を行い、入
力されたオブジェクトｉテクスチャデータとオブジェク
トｉ形状データとを符号化する。そして、符号化器３０
１−ｉは、オブジェクトｉレート制御パラメータをレー
ト制御部１１０へ出力すると同時に、オブジェクトｉの
動きを表すオブジェクトｉ動き情報を符号化制御マップ
作成部３２０へ出力する。

【０１０２】レート制御部１１０の動作は、図１の動画
像符号化システムの場合と同様であり、符号化部３０１
−ｉから出力されるオブジェクトｉレート制御パラメー
タに基づいて、オブジェクトｉ目標符号量を決定し、そ
れを符号化器３０１−ｉへ出力する。

【０１０３】符号化制御マップ作成部３２０の動作も基
本的には図１の符号化制御マップ作成部１２０と同様で
あるが、オブジェクトｉ符号化制御マップの作成に、オ
ブジェクトｉ形状データに加えてオブジェクトｉ動き情
報が用いられる。具体的には、符号化制御マップ作成部
３２０は、オブジェクトｉの動き情報を用いて、現在は
隠蔽領域であっても次のフレームの符号化では現れる可
能性が高い領域を求め、その求めた領域については隠蔽
領域であっても符号化するようなオブジェクト符号化制
御マップを設定する。これにより、次のフレームの符号
化において隠蔽領域が実際に現れるような場合であって
も、少ない符号量で符号化することが可能となり、十分
に符号量が割り当てられない状況であっても、大きな画
質劣化を回避できる。

【０１０４】上記符号化制御マップ作成部３２０による
オブジェクト符号化制御マップの作成において、現れる
可能性が高い領域の推定において動き情報の信頼性を考
慮するようにし、信頼性の度合いに応じて、オブジェク
ト符号化制御マップの作成法を制御してもよい。具体的
には、信頼性が高い場合は上記の方法で動き情報による
予測を用いてオブジェクト符号化制御マップを作成する
ようにし、そうでない場合には、その程度に応じて予測
を用いる度合いを減らすように制御する。この信頼性の
判定には、例えば動きベクトルのばらつきの度合いを用
いることができる。

【０１０５】以上のように、オブジェクト符号化制御マ
ップの作成において、各オブジェクトの動き情報を用い
ることにより、より適切にオブジェクト符号化制御マッ
プを作成できるようになり、復号後に合成して得られる
画像の画質を向上することができる。

【０１０６】（第４の実施形態）図６は、本発明の第４
の実施形態の動画像符号化システムの主要構成を示すブ
ロック図である。この動画像符号化システムは、上述の
図５に示したシステムにおいて、レート制御部１１０を
図４に示したシステムのレート制御部２１０に置き換え
たものである。符号化器３０１−１〜３０１−ｎと符号
化制御マップ作成部３２０の接続関係は図５に示したも
のと同様であり、レート制御部２１０の接続関係は図４
に示したものと同様である。

【０１０７】本実施形態の動画像符号化システムでは、
図５に示したシステムにおけるオブジェクトの動き情報
を用いたオブジェクト符号化制御マップの作成が行われ
るとともに、その作成したオブジェクト符号化制御マッ
プの情報を用いて図４に示したシステムと同様のレート
制御が行われる。これにより、さらに適したオブジェク
ト符号化制御マップの作成、レート制御を行うことが可
能になる。

【０１０８】（第５の実施形態）図７は、本発明の第５
の実施形態の動画像符号化システムの主要構成を示すブ
ロック図である。この動画像符号化システムは、上述の
図１に示したシステムにおいて、レート制御部１１０、
符号化制御マップ作成部１２０をそれぞれレート制御部
４１０、符号化制御マップ作成部４２０に置き換えたも
のである。これら構成部の接続関係は、レート制御部４
１０からレート制御状態を示す信号（レート制御状態信
号）が符号化制御マップ作成部４２０に供給されている
以外は、図１に示したシステムと同様である。

【０１０９】以下、本実施形態の動画像符号化システム
の動作について説明する。各符号化器１０１−１〜１０
１−ｎにおける動作は基本的には同じであるため、ここ
でも、符号化器１０１−ｉ（ｉ＝１，．．．，ｎ）、オ
ブジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明
する。

【０１１０】符号化器１０１−ｉの動作は図１に示した
システムの場合と同様である。レート制御部４１０は、
基本的には図１に示したシステムのレート制御部１１０
の動作と同様の動作を行うが、本実施形態では、さらに
符号化制御マップ作成部４２０に対してレート制御の困
難さを表す信号であるレート制御状態信号を出力するよ
うになっている。レート制御の困難さの判断は、符号化
器１０１−ｉから出力されるレート制御パラメータに基
づいて行われる。量子化幅が非常に大きいなど、レート
制御が非常に困難な状態である場合には、そのことを表
す情報がレート制御状態信号として出力される。反対
に、量子化幅が十分小さいなど、どのオブジェクトも十
分高画質に符号化できており、レート制御が困難でない
状態にある場合には、そのことを表す情報がレート制御
状態信号として出力される。

【０１１１】符号化制御マップ作成部４２０の動作も基
本的には図１に示すシステムのものと同様であるが、本
実施形態では、さらに符号化制御マップ作成部４２０に
よるオブジェクト符号化制御マップの作成に、レート制
御部４１０から供給されるレート制御状態信号が用いら
れる。レート制御が困難であることをレート制御状態信
号が示している場合には、基本的には発生符号量を抑制
するように制御が行われる。これは、例えば、隠蔽情報
や距離情報から符号化制御情報を求める際のパラメータ
を制御することによって実現できる。

【０１１２】例えば、隠蔽領域のうち隠蔽する領域の境
界から離れた領域を符号化しないようにする場合には、
境界に近いところまで符号化しないようにする。また、
優先オブジェクトの境界からの距離によって符号化の粗
さを制御する場合には、距離に応じて符号化を粗くして
いく程度を大きくする。

【０１１３】反対に、レート制御が困難でないことをレ
ート制御状態信号が示している場合には、オブジェクト
符号化制御マップによる符号化制御が強くなりすぎない
ようにする。例えば、隠蔽領域のうち符号化しない領域
を小さくして、伝送でパケット損失などが生じた場合
に、非符号化領域が露見するリスクを抑えるようにす
る。

【０１１４】以上のように、レート制御の困難さに応じ
てオブジェクト符号化制御マップの作成法を調整するこ
とにより、レート制御の状態に適したオブジェクト符号
化制御マップの作成が可能となる。

【０１１５】なお、図７に示した動画像符号化システム
は、図１に示した動画像符号化システムに対して変更を
加えたものであるが、図４〜６に示した動画像符号化シ
ステムに対しても同様の変更が可能である。

【０１１６】（第６の実施形態）図８は、本発明の第６
の実施形態の動画像符号化システムの主要構成を示すブ
ロック図である。この動画像符号化システムは、上述の
図１に示したシステムにおいて、符号化器１０１−１〜
１０１−ｎ、符号化制御マップ作成部１２０をそれぞれ
符号化器５０１−１〜５０１−ｎ、符号化制御マップ作
成部５２０に置き換えたものである。

【０１１７】各符号化器５０１−１〜５０１−ｎはそれ
ぞれ、図１に示した符号化器１０１−１〜１０１−ｎと
基本的には同じものであるが、ここでは、入力されたオ
ブジェクトの符号化の状態を示す情報が第３の出力とし
て出力されるようになっている。この符号化器５０１−
１〜５０１−ｎの第３の出力（オブジェクト符号化状態
情報）は符号化制御マップ作成部５２０に供給されてい
る。これ以外の各構成部の接続関係は、図１の動画像符
号化システムと同様である。

【０１１８】以下、本実施形態の動画像符号化システム
の動作について説明する。符号化器５０１−１〜５０１
−ｎにおける動作は基本的には同じであるため、ここで
も、符号化器５０１−ｉ（ｉ＝１，．．．，ｎ）、オブ
ジェクトｉ（ｉ＝１，．．．，ｎ）として動作を説明す
る。

【０１１９】符号化器５０１−ｉは、基本的には図１に
示した符号化部と同様の動作を行うものであって、符号
化制御マップ作成部５２０から出力されるオブジェクト
ｉオブジェクト符号化制御マップに基づき、発生符号量
がレート制御部１１０から出力されるオブジェクトｉ目
標符号量となるように符号化制御を行い、入力されたオ
ブジェクトｉテクスチャデータとオブジェクトｉ形状デ
ータとを符号化する。そして、符号化器５０１−ｉは、
オブジェクトｉレート制御パラメータをレート制御部１
１０へ出力するととともに、オブジェクトｉの符号化状
態を表す情報をオブジェクトｉ符号化状態情報として符
号化制御マップ作成部５２０へ出力する。

【０１２０】ここで、オブジェクト符号化状態情報と
は、符号化の困難さを表す情報あるいはそれを示す特徴
量である。この特徴量としては、例えば、量子化の粗さ
を記述するパラメータ、局所復号画像の画質を表す指標
などがある。また、これらから符号化の困難さを判断
し、その結果を表す情報をオブジェクト符号化状態情報
としてもよい。

【０１２１】レート制御部１１０の動作は、図１に示し
たシステムの場合と同様であり、符号化手段５０１−ｉ
（ｉ＝１，…，ｎ）から出力されるオブジェクトｉレー
ト制御パラメータに基づいてオブジェクトｉの目標符号
量を決定し、オブジェクトｉ目標符号量を符号化器５０
１−ｉへ出力する。

【０１２２】符号化制御マップ作成部５２０の動作も、
基本的には図１に示した符号化制御マップ作成部１２０
と同様であるが、オブジェクトｉ符号化制御マップの作
成に、オブジェクトｉ形状データに加え、符号化器５０
１−ｉから出力されるオブジェクトｉ符号化状態情報が
用いられる。このように、オブジェクトｉ符号化状態情
報を用いることで、そのオブジェクトｉの符号化が困難
かどうかを判断することができる。この困難さの度合い
に応じて、図７に示した動画像符号化システムにおける
符号化制御マップ作成部４２０と同様にして、オブジェ
クト符号化制御マップの作成方法を調節する。

【０１２３】以上のように、各オブジェクトの符号化の
困難さに応じてオブジェクト符号化制御マップの作成法
を調整することにより、符号化状態に適したオブジェク
ト符号化制御マップの作成が可能となる。

【０１２４】なお、図８に示した動画像符号化システム
は、図１に示した動画像符号化システムに対して変更を
加えたものであるが、図４〜７に示した動画像符号化シ
ステムに対しても同様の変更が可能である。

【０１２５】以上、本発明の実施の形態について説明し
てきたが、本発明の動画像符号化システムの動作を実現
できるプログラムを、ＣＤ−ＲＯＭやフロッピー（登録
商標）ディスク、不揮発性メモリカードなどの記憶媒体
に記憶し、この記憶媒体に記憶したプログラムをコンピ
ュータによって読み取り実行するようにしてもよい。

【０１２６】本発明は以上説明した各実施形態の構成に
限定されるものではなく、本発明の技術思想の範囲内に
おいて、各実施形態の構成は適宜変更され得ることは明
らかである。

【０１２７】

【発明の効果】以上説明したように、本発明によれば、
各符号化器に対する発生符号量の割り当てを従来のもの
より多くすることができるため、低レートの伝送路で送
信する場合であっても、複数オブジェクトからなる画像
を高画質に符号化することができ、合成後の復号画像の
主観画質を向上することができる。

【０１２８】また、本発明によれば、オブジェクトの符
号化を各画素または各ブロック毎に制御するため、従来
のものより視覚特性に優れた画像を提供することができ
る。

【０１２９】さらに、本発明によれば、注目されやすい
と考えられる優先度の高いオブジェクトの周囲を高画質
に符号化したり、重ね合わせた際に他のオブジェクトに
覆われる領域を符号化しないように制御したりすること
ができるので、合成後の主観画質がより高いものを提供
することができる。

【０１３０】また、本発明によれば、オブジェクト符号
化制御マップによる符号化制御とレート制御の両方を組
み合わせることで、より望ましい符号化制御を行うこと
ができる。

【０１３１】さらに、本発明のよれば、オブジェクト符
号化制御マップの作成にオブジェクトの動き情報を反映
できるので、特に隠蔽領域において、より望ましいオブ
ジェクト符号化制御を行うことができ、より視覚特性に
優れた画像を提供することができる。

【０１３２】さらに、本発明によれば、レート制御の状
態をオブジェクト符号化制御マップの作成に反映させる
ことができるので、オブジェクト符号化制御を効率的、
かつ、効果的に行うことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の動画像符号化システ
ムの主要構成を示すブロック図である。

【図２】本発明の動画像符号化システムの全体構成を示
すブロック図である。

【図３】本発明の動画像符号化システムの全体構成であ
って、オブジェクトｍ（１≦ｍ≦ｎ）が人工的に生成さ
れた画像から抽出される場合のシステムの一例を示すブ
ロック図である。

【図４】本発明の第２の実施形態の動画像符号化システ
ムの主要構成を示すブロック図である。

【図５】本発明の第３の実施形態の動画像符号化システ
ムの主要構成を示すブロック図である。

【図６】本発明の第４の実施形態の動画像符号化システ
ムの主要構成を示すブロック図である。

【図７】本発明の第５の実施形態の動画像符号化システ
ムの主要構成を示すブロック図である。

【図８】本発明の第６の実施形態の動画像符号化システ
ムの主要構成を示すブロック図である。

【図９】特開２０００−７８５７２号公報に記載されて
いる伝送システムを説明するためのブロック図である。

【図１０】オブジェクト単位での動画像の符号化を行
う、レート制御可能な従来の動画像符号化システムの一
例を示すブロック図である。

【図１１】フレーム単位にオブジェクト符号化が行われ
る場合の、目標符号量の生成を説明するための模式図で
ある。

【符号の説明】

１１−１〜１１−ｎ 画像取得部 １２−１〜１２−ｎ オブジェクト抽出部 １３−１〜１３−ｎ、１３−ｍ 蓄積部 １４ オブジェクト符号化部 １５ 多重化伝送部 １６ 合成情報生成部 １７ 合成情報符号化部 １８−ｍ 人工画像生成部 １０１−１〜１０１−ｎ、３０１−１〜３０１−ｎ、５
０１−１〜５０１−ｎ、１００１−１〜１００１−ｎ
符号化器 １１０、２１０、４１０、１０１０ レート制御部 １２０、２２０、３２０、４２０、５２０ 符号化制御
マップ作成部 １１０１ 目的物画像 １１０２ オブジェクト生成部 １１０３ａ、１１０３ｂ 符号化データ １１０４ 多重化部 １１０５ ビットストリューム １１０６ 通信回線 １１０７ 多重分離部 １１０８ａ、１１０８ｂ 復号化データ １１０９ コンボジター部 １１１０ 再現画像 １１１２ 背景画像

Claims (34)

【特許請求の範囲】
1. 【請求項１】 合成されることで１つの画面を構成する
   複数の画像オブジェクトをそれぞれ符号化する複数の符
   号化手段と、 前記複数の画像オブジェクトのそれぞれについて、符号
   化される画素またはブロックの位置毎にどのような符号
   化を行うか、または、符号化するか否かを前記画面上に
   おける他の画像オブジェクトとの位置関係に応じて定め
   たオブジェクト符号化制御マップを作成して前記複数の
   符号化手段にそれぞれ供給する符号化制御マップ作成手
   段とを有し、 前記複数の符号化手段はそれぞれ、前記符号化制御マッ
   プ作成手段から供給された前記オブジェクト符号化制御
   マップに従って符号化を行うことを特徴とする動画像符
   号化システム。
2. 【請求項２】 符号化制御マップ作成手段は、複数の画
   像オブジェクトのそれぞれについて、画面上で他の画像
   オブジェクトによって隠蔽される領域を求め、該求めた
   隠蔽領域については符号化しない、または、その隠蔽領
   域以外の領域よりも粗く符号化するように定めたオブジ
   ェクト符号化制御マップを作成することを特徴とする請
   求項１に記載の動画像符号化システム。
3. 【請求項３】 符号化制御マップ作成手段は、さらに、
   隠蔽領域について、符号化される画素またはブロックの
   位置毎に、画面上で前記隠蔽領域を隠蔽している画像オ
   ブジェクトからの距離を求め、該求めた距離が大きいほ
   ど符号化が粗くなるように定めたオブジェクト符号化制
   御マップを作成することを特徴とする請求項２に記載の
   動画像符号化システム。
4. 【請求項４】 符号化制御マップ作成手段は、さらに、
   隠蔽領域について、符号化される画素またはブロックの
   位置毎に、画面上で前記隠蔽領域を隠蔽している画像オ
   ブジェクトからの距離を求め、該求めた距離が所定の値
   より大きい場合は符号化を行わないように定めたオブジ
   ェクト符号化制御マップを作成することを特徴とする請
   求項２に記載の動画像符号化システム。
5. 【請求項５】 複数の符号化手段はそれぞれ、画像オブ
   ジェクトを符号化した際にオブジェクトの動きを求め、
   該求めたオブジェクトの動き情報を符号化制御マップ作
   成手段に供給し、 前記符号化制御マップ作成手段は、前記複数の符号化手
   段から供給されたオブジェクトの動き情報に基づいて隠
   蔽領域の符号化制御を特定することを特徴とする請求項
   ２乃至４のいずれか１項に記載の動画像符号化システ
   ム。
6. 【請求項６】 符号化制御マップ作成手段は、複数の画
   像オブジェクトのそれぞれについて、符号化される画素
   またはブロックの位置毎に画面上での他の画像オブジェ
   クトからの距離を求め、該求めた距離に応じて符号化の
   粗さを定めたオブジェクト符号化制御マップを作成する
   ことを特徴とする請求項１に記載の動画像符号化システ
   ム。
7. 【請求項７】 複数の画像オブジェクトはそれぞれ優先
   度が予め設定されており、 符号化制御マップ作成手段は、前記優先度の高い画像オ
   ブジェクトに近い画素またはブロックほど符号化を細か
   く行うように定めたオブジェクト符号化制御マップを作
   成することを特徴とする請求項６に記載の動画像符号化
   システム。
8. 【請求項８】 複数の符号化手段はそれぞれ、画像オブ
   ジェクトを符号化した際にオブジェクトの動きを求め、
   該求めたオブジェクトの動き情報を符号化制御マップ作
   成手段に供給し、 前記符号化制御マップ作成手段は、画面上における他の
   画像オブジェクトとの位置関係に加え、さらに前記複数
   の符号化手段から供給されたオブジェクトの動き情報に
   基づいて符号化制御を特定することを特徴とする請求項
   １に記載の動画像符号化システム。
9. 【請求項９】 複数の符号化手段はそれぞれ、画像オブ
   ジェクトを符号化した際にそのオブジェクトの符号化の
   困難さを示すオブジェクト符号化状態情報を符号化制御
   マップ作成手段に供給し、 前記符号化制御マップ作成手段は、前記複数の符号化手
   段から供給されたオブジェクト符号化状態情報から符号
   化の困難さの度合を判断し、該符号化の困難さの度合に
   応じて符号化を調節したオブジェクト符号化制御マップ
   を作成することを特徴とする請求項１に記載の動画像符
   号化システム。
10. 【請求項１０】 複数の符号化手段のそれぞれに対し
    て、供給されたレート制御パラメータから目標符号量を
    算出して供給するレート制御手段をさらに有し、 前記複数の符号化手段はそれぞれ、符号化時に発生する
    符号量が前記レート制御手段から供給された目標符号量
    となるように制御されるとともに、その符号化において
    用いられ、または、生じた所定の情報を前記レート制御
    パラメータとして前記レート制御手段に供給することを
    特徴とする請求項１乃至９のいずれか１項に記載の動画
    像符号化システム。
11. 【請求項１１】 符号化制御マップ作成手段は、作成し
    たオブジェクト符号化制御マップをレート制御手段に供
    給し、 前記レート制御手段は、前記符号化制御マップ作成手段
    から供給されたオブジェクト符号化制御マップに定めら
    れたオブジェクト符号化を反映した目標符号量を算出す
    ることを特徴とする請求項１０に記載の動画像符号化シ
    ステム。
12. 【請求項１２】 レート制御手段は、さらに、供給され
    たレート制御パラメータからレート制御の困難さを判断
    し、その判断結果をレート制御状態情報として符号化制
    御マップ作成手段に供給し、 前記符号化制御マップ作成手段は、前記レート制御手段
    から供給されたレート制御状態情報がレート制御が困難
    であることを示す場合は、複数の符号化手段における総
    発生符号量を抑制するようなオブジェクト符号化制御マ
    ップを作成することを特徴とする請求項１０または請求
    項１１に記載の動画像符号化システム。
13. 【請求項１３】 合成されることで１つの画面を構成す
    る複数の画像オブジェクトをそれぞれ符号化する動画像
    符号化方法であって、 前記複数の画像オブジェクトのそれぞれについて、符号
    化される画素またはブロックの位置毎にどのような符号
    化を行うか、または、符号化するか否かを前記画面上に
    おける他の画像オブジェクトとの位置関係に応じて定め
    たオブジェクト符号化制御マップを作成する第１のステ
    ップと、 前記第１のステップにて作成されたオブジェクト符号化
    制御マップに従って前記複数の画像オブジェクトをそれ
    ぞれ符号化する第２のステップとを含む動画像符号化方
    法。
14. 【請求項１４】 第１のステップは、複数の画像オブジ
    ェクトのそれぞれについて、画面上で他の画像オブジェ
    クトによって隠蔽される領域を求め、該求めた隠蔽領域
    については符号化しない、または、その隠蔽領域以外の
    領域よりも粗く符号化するように定めたオブジェクト符
    号化制御マップを作成するステップを含むことを特徴と
    する請求項１３に記載の動画像符号化方法。
15. 【請求項１５】 第１のステップは、さらに、隠蔽領域
    について、符号化される画素またはブロックの位置毎
    に、画面上で前記隠蔽領域を隠蔽している画像オブジェ
    クトからの距離を求め、該求めた距離が大きいほど符号
    化が粗くなるように定めたオブジェクト符号化制御マッ
    プを作成するステップを含むことを特徴とする請求項１
    ４に記載の動画像符号化方法。
16. 【請求項１６】 第１のステップは、さらに、隠蔽領域
    について、符号化される画素またはブロックの位置毎
    に、画面上で前記隠蔽領域を隠蔽している画像オブジェ
    クトからの距離を求め、該求めた距離が所定の値より大
    きい場合は符号化を行わないように定めたオブジェクト
    符号化制御マップを作成するステップを含むことを特徴
    とする請求項１４に記載の動画像符号化方法。
17. 【請求項１７】 複数の画像オブジェクトのそれぞれに
    ついて、画像オブジェクトを符号化した際にオブジェク
    トの動きを求める第３のステップをさらに含み、 第１のステップは、前記第３のステップにて求めたオブ
    ジェクトの動き情報に基づいて隠蔽領域の符号化制御を
    特定するステップを含むことを特徴とする請求項１４乃
    至１６のいずれか１項に記載の動画像符号化方法。
18. 【請求項１８】 第１のステップは、複数の画像オブジ
    ェクトのそれぞれについて、符号化される画素またはブ
    ロックの位置毎に画面上での他の画像オブジェクトから
    の距離を求め、該求めた距離に応じて符号化の粗さを定
    めたオブジェクト符号化制御マップを作成するステップ
    を含むことを特徴とする請求項１３に記載の動画像符号
    化方法。
19. 【請求項１９】 複数の画像オブジェクトはそれぞれ優
    先度が予め設定されており、 第１のステップは、前記優先度の高い画像オブジェクト
    に近い画素またはブロックほど符号化を細かく行うよう
    に定めたオブジェクト符号化制御マップを作成するステ
    ップを含むことを特徴とする請求項１８に記載の動画像
    符号化方法。
20. 【請求項２０】 複数の画像オブジェクトのそれぞれに
    ついて、画像オブジェクトを符号化した際にオブジェク
    トの動きを求める第３のステップをさらに含み、 第１のステップは、画面上における他の画像オブジェク
    トとの位置関係に加え、さらに前記第３のステップにて
    求めたオブジェクトの動き情報に基づいて符号化制御を
    特定するステップを含むことを特徴とする請求項１３に
    記載の動画像符号化方法。
21. 【請求項２１】 複数の画像オブジェクトのそれぞれに
    ついて、画像オブジェクトを符号化した際にそのオブジ
    ェクトの符号化の困難さを示すオブジェクト符号化状態
    情報を取得する第３のステップをさらに含み、 第１のステップは、前記第３のステップにて取得したオ
    ブジェクト符号化状態情報から符号化の困難さの度合を
    判断し、該符号化の困難さの度合に応じて符号化を調節
    したオブジェクト符号化制御マップを作成するステップ
    を含むことを特徴とする請求項１３に記載の動画像符号
    化方法。
22. 【請求項２２】 複数の画像オブジェクトのそれぞれに
    ついて、その符号化において用いられ、または、生じた
    所定の情報をレート制御パラメータとして取得し、該取
    得したレート制御パラメータからレート制御の困難さを
    判断する第３のステップをさらに含み、 第１のステップは、前記第３のステップのレート制御の
    困難さの判断結果がレート制御が困難であるとなった場
    合は、前記複数の画像オブジェクトの符号化における総
    発生符号量を抑制するようなオブジェクト符号化制御マ
    ップを作成するステップを含むことを特徴とする請求項
    １３に記載の動画像符号化方法。
23. 【請求項２３】 複数の画像オブジェクトのそれぞれに
    ついて、作成されたオブジェクト符号化制御マップに定
    められたオブジェクト符号化を反映した目標符号量を算
    出し、符号化時の発生符号量が前記算出した目標符号量
    となるようにレート制御するステップをさらに含むこと
    を特徴とする請求項１３から２２のいずれか１項に記載
    の動画像符号化方法。
24. 【請求項２４】 合成されることで１つの画面を構成す
    る複数の画像オブジェクトのそれぞれについて、符号化
    される画素またはブロックの位置毎にどのような符号化
    を行うか、または、符号化するか否かを前記画面上にお
    ける他の画像オブジェクトとの位置関係に応じて定めた
    オブジェクト符号化制御マップを作成する第１の処理
    と、 前記第１の処理にて作成されたオブジェクト符号化制御
    マップに従って前記複数の画像オブジェクトをそれぞれ
    符号化する第２の処理とをコンピュータに実行させるた
    めのプログラム。
25. 【請求項２５】 第１の処理は、複数の画像オブジェク
    トのそれぞれについて、画面上で他の画像オブジェクト
    によって隠蔽される領域を求め、該求めた隠蔽領域につ
    いては符号化しない、または、その隠蔽領域以外の領域
    よりも粗く符号化するように定めたオブジェクト符号化
    制御マップを作成する処理を含むことを特徴とする請求
    項２４に記載のプログラム。
26. 【請求項２６】 第１の処理は、さらに、隠蔽領域につ
    いて、符号化される画素またはブロックの位置毎に、画
    面上で前記隠蔽領域を隠蔽している画像オブジェクトか
    らの距離を求め、該求めた距離が大きいほど符号化が粗
    くなるように定めたオブジェクト符号化制御マップを作
    成する処理を含むことを特徴とする請求項２５に記載の
    プログラム。
27. 【請求項２７】 第１の処理は、さらに、隠蔽領域につ
    いて、符号化される画素またはブロックの位置毎に、画
    面上で前記隠蔽領域を隠蔽している画像オブジェクトか
    らの距離を求め、該求めた距離が所定の値より大きい場
    合は符号化を行わないように定めたオブジェクト符号化
    制御マップを作成する処理を含むことを特徴とする請求
    項２５に記載のプログラム。
28. 【請求項２８】 複数の画像オブジェクトのそれぞれに
    ついて、画像オブジェクトを符号化した際にオブジェク
    トの動きを求める第３の処理をさらに含み、 第１の処理は、前記第３の処理にて求めたオブジェクト
    の動き情報に基づいて隠蔽領域の符号化制御を特定する
    処理を含むことを特徴とする請求項２５乃至２７のいず
    れか１項に記載のプログラム。
29. 【請求項２９】 第１の処理は、複数の画像オブジェク
    トのそれぞれについて、符号化される画素またはブロッ
    クの位置毎に画面上での他の画像オブジェクトからの距
    離を求め、該求めた距離に応じて符号化の粗さを定めた
    オブジェクト符号化制御マップを作成する処理を含むこ
    とを特徴とする請求項２４に記載のプログラム。
30. 【請求項３０】 複数の画像オブジェクトはそれぞれ優
    先度が予め設定されており、 第１の処理は、前記優先度の高い画像オブジェクトに近
    い画素またはブロックほど符号化を細かく行うように定
    めたオブジェクト符号化制御マップを作成する処理を含
    むことを特徴とする請求項２９に記載のプログラム。
31. 【請求項３１】 複数の画像オブジェクトのそれぞれに
    ついて、画像オブジェクトを符号化した際にオブジェク
    トの動きを求める第３の処理をさらに含み、第１の処理
    は、画面上における他の画像オブジェクトとの位置関係
    に加え、さらに前記第３の処理にて求めたオブジェクト
    の動き情報に基づいて符号化制御を特定する処理を含む
    ことを特徴とする請求項２４に記載のプログラム。
32. 【請求項３２】 複数の画像オブジェクトのそれぞれに
    ついて、画像オブジェクトを符号化した際にそのオブジ
    ェクトの符号化の困難さを示すオブジェクト符号化状態
    情報を取得する第３の処理をさらに含み、 第１の処理は、前記第３の処理にて取得したオブジェク
    ト符号化状態情報から符号化の困難さの度合を判断し、
    該符号化の困難さの度合に応じて符号化を調節したオブ
    ジェクト符号化制御マップを作成する処理を含むことを
    特徴とする請求項２４に記載のプログラム。
33. 【請求項３３】 複数の画像オブジェクトのそれぞれに
    ついて、その符号化において用いられ、または、生じた
    所定の情報をレート制御パラメータとして取得し、該取
    得したレート制御パラメータからレート制御の困難さを
    判断する第３の処理をさらに含み、 第１の処理は、前記第３の処理におけるレート制御の困
    難さの判断結果がレート制御が困難であるとなった場合
    は、前記複数の画像オブジェクトの符号化における総発
    生符号量を抑制するようなオブジェクト符号化制御マッ
    プを作成する処理を含むことを特徴とする請求項２４に
    記載のプログラム。
34. 【請求項３４】 複数の画像オブジェクトのそれぞれに
    ついて、作成されたオブジェクト符号化制御マップに定
    められたオブジェクト符号化を反映した目標符号量を算
    出し、符号化時の発生符号量が前記算出した目標符号量
    となるようにレート制御する処理をさらに含むことを特
    徴とする請求項２４から３３のいずれか１項に記載のプ
    ログラム。