JP2000152235A - データ処理装置及びその方法、及びデータ処理システム - Google Patents

Abstract

(57)【要約】 【課題】 複数の画像情報（オブジェクト）毎に符号化
された符号化データを複数合成すると、所定規格に基づ
く復号器では復号できなくなってしまう場合がある。 【解決手段】 画像編集部208においては、各機器から
入力された複数の符号化データ列を、編集操作器207に
よるプロファイル・レベルの指示に応じて合成する際
に、所定規格に基づくように合成データ列を生成するこ
とにより、復号器210において復号可能とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像の符号化デ
ータの処理、特に１つのデータ列に複数の画像情報を含
む符号化データの処理装置に関する。

【０００２】

【従来の技術】近年、動画像の新しい符号化方式とし
て、MPEG4(Moving Picture Experts Group Phase4)規格
の標準化が進められている。従来のMPEG2規格に代表さ
れる動画像の符号化方式においては、フレームあるいは
フィールドを単位とした符号化を行なっていたが、動画
像の映像や音声を構成するコンテンツ(人物や建物，
声，音，背景等)の再利用や編集を実現するために、MPE
G4規格では映像データやオーディオ・データをオブジェ
クト（物体）として扱うことを特徴とする。さらに、映
像データに含まれる物体も独立して符号化され、それぞ
れもオブジェクトとして扱うことができる。

【０００３】図17に、MPEG4規格に基づく符号化器の機
能ブロック図を示す。図17において、入力された画像デ
ータはオブジェクト定義器1001によって各オブジェクト
に分割され、分割されたオブジェクト毎に最適な符号化
を行なう、それぞれのオブジェクト符号化器1002〜1004
によって符号化する。

【０００４】図21に、オブジェクト符号化データの構成
例を示す。MPEG4規格による動画像の符号化データは、
符号化効率及び編集操作性の向上の観点に基づき、階層
化されている。図21に示すように、符号化データの先頭
には識別のためのvisual_object_sequence_start_code
（図中VOSSC）があり、それに各ビジュアルオブジェク
トの符号化データが続き、最後に符号化データの後端を
示すvisual_object_sequence_end_code（図中VOSEC）が
ある。ここでビジュアルオブジェクトとしては、撮影さ
れた動画像のほかに、CGデータ等も定義される。

【０００５】ビジュアルオブジェクトの詳細としては、
先頭に識別のためのvisual_object_start_code（図中Vi
sual Object SC）があり、続いて符号化レベルを示すpr
ofile_and_level_indication（図中PLI）がある。それ
以降、ビジュアルオブジェクトの情報を表す符号である
is_visual_object_identifier（図中IVOI），visual_ob
ject_verid（図中VOVID），visual_object_priority
（図中VOPRI），visual_object_type（図中VOTYPE）な
どが続き、ビジュアルオブジェクトのヘッダ情報を構成
している。ここで、VOTYPEは例えば、該画像が撮像され
た動画像である場合は"0001"であり、これに続いて動画
像の符号化データの魂を表すビデオオブジェクト(VO)デ
ータが続く。

【０００６】ビデオオブジェクトデータは、それぞれの
オブジェクトを表す符号化データであり、先頭に識別の
ためのvideo_object_start_code（図中Video Object S
C）を有し、更に、スケーラビリティを実現するための
ビデオオブジェクトレイヤデータ(VOL)と、動画像の1フ
レームに相当するビデオオブジェクトプレーンデータ(V
OP)を有する。それぞれのヘッダ部分には、サイズを表
す符号video_object_layer_width（図中VOL_width），v
ideo_object_layer_height（図中VOL_height）及びvide
o_object_plane_width（図中VOP_width），video_objec
t_plane_height（図中VOP_height）を備える。また、VO
Lデータのヘッダは、当該ビットレートを示すbit_rate
符号を備える。

【０００７】尚、図21に示す符号化データ構成の各階層
においては、ユーザにより、user_data_start_code（図
中UDSC）で始まる任意長のデータを挿入することがで
き、該ユーザデータは、次に何らかのスタートコードを
認識することで符号化データと区別される。

【０００８】また、各オブジェクトを復号側で配置する
ための情報を、配置情報符号化器1011で符号化する。こ
の配置情報はシステム符号と呼ばれ、CG言語であるVRML
と同様に、分割されたオブジェクトの配置、再生のタイ
ミング等を記述したものが符号化されている。こうして
得られた符号化データを、多重化器1005によって多重化
して１つの符号化データとして出力する。

【０００９】ここで、上述したシステム符号は、各オブ
ジェクトの関係をノードという概念で記述している。以
下、図19及び図20を参照して、ノードについて具体的に
説明する。図19は、複数のオブジェクトで構成された画
像の例を示す図である。この画像は、それぞれ背景(Bac
kground)，気球(Balloon)，小鳥(Bird)，飛行機(Jet)，
車(Car)，女性(Woman)，男性(Man)を示す各オブジェク
ト2000〜2006で構成されている。図20は、図19に示す画
像におけるノードを示す図である。全体はシーン(Scen
e)というノードで表されている。シーンのノードは、背
景を表すオブジェクト2000(Background)と車のオブジェ
クト2004(Car)、及び人を表すノード(People)、空を飛
んでいるものを表すノード(Fly)からなる。更に、人を
表すノードは、オブジェクト2005(Women)，2006(Man)か
らなる。同様に、空を飛ぶものを表すノードは、オブジ
ェクト2001(Balloon)，2002(Bird)，2003(Jet)からな
る。これらの関係が、システム符号化データの中に記載
されている。

【００１０】図18に、図17に示した符号化器による符号
化データを復号する復号器の機能ブロック図を示す。符
号化データが入力されると、まず分離器1006によって多
重化を解かれ、各オブジェクトの符号化データを得る。
得られた符号化データは各オブジェクトに対応した復号
器1007〜1009によって復号される。同時に、配置情報復
号器1012は各オブジェクトの配置情報を復号する。オブ
ジェクト復号器1007〜1009の出力は、オブジェクト配置
情報に従って合成器1010によって合成され、画像として
表示される。

【００１１】このようにMPEG4規格によれば、動画像内
のオブジェクトを個別に扱うことで、復号側ではさまざ
まなオブジェクトを自由に配置することができる。ま
た、放送やコンテンツ作成会社等においても、事前にオ
ブジェクトの符号化データを生成しておくことにより、
有限なコンテンツから非常に多くの動画像データを生成
することが可能になった。

【００１２】

【発明が解決しようとする課題】しかしながら、上述し
たようにMPEG4規格の符号化方式においては、複数のオ
ブジェクトを合成することにより、1つのシーンを表
す。従って、特に復号側では、全てのオブジェクトの復
号に対応するのに十分な復号手段の数を確定することが
できず、従って、装置やシステムを構築するのが非常に
困難であった。

【００１３】そのため、標準化されたMPEG4規格におい
ては、プロファイル及びレベルの概念を規定し、符号化
データや符号化器／復号器の設計にあたって仕様を決定
することができるように、プロファイル及びレベルから
なる符号化仕様として、オブジェクト数やビットレート
の上限値を設けている。図22に、プロファイル・レベル
毎の各要件の上限を規定するプロファイル表の一例を示
す。

【００１４】図22のプロファイル表に示されるようにMP
EG4規格においては、プロファイルに応じて符号化に使
用する手段（ツール）の組み合わせが異なり、さらにレ
ベルにより、扱う画像の符号化データの量が段階的に分
けられている。ここで、扱えるオブジェクト数の最大値
とビットレートの最大値はいずれも該符号化仕様におけ
る上限を表すものであり、それ以下の値であれば、該符
号化仕様に含まれる。例えば、Coreプロファイルで使用
可能なツールを用い、オブジェクト数が6個で、300kbps
で符号化するのであれば、該符号化データ（符号化器）
はレベル2に相当する。

【００１５】このプロファイルとレベルは、上述したよ
うに、ビットストリームの中のPLI符号で表される。従
って復号器においては、PLI符号を参照することによっ
て、復号が可能か否かを判定することができる。即ち、
以下のような場合には復号が行なえない。

【００１６】例えば、Coreプロファイル・レベル1の復
号器では、Coreプロファイル・レベル2のデータであっ
て、ビットレート等の上限を超える符号化データは復号
できない。

【００１７】また、Simpleプロファイル・レベル１であ
って、オブジェクトを4つ含む画像の符号化データを2つ
合成することにより、Simpleプロファイル・レベル2の
符号化データを生成することが考えられる。しかしなが
らこの場合、レベル2のオブジェクト最大数は4であるた
め、MPEG4のいずれのプロファイルやレベルにも所属し
ない符号化データが生成されてしまうことになる。従っ
て、このような符号化データを復号することはできな
い。

【００１８】また、例えばSimpleプロファイル48kbpsと
24kbpsの２つの符号化データ（それぞれのオブジェクト
数は2）を多重化して新しいビットストリームを生成す
る等、そのビットレートが64kbpsに収まらない場合があ
る。このような場合にはレベルを2にする必要があり、
即ち、レベル1の復号器では復号できない。

【００１９】以上のように、復号器の符号化仕様（プロ
ファイル及びレベル）が、符号化データの符号化仕様
（プロファイル及びレベル）を十分に包含できない場合
には、該符号化データを復号することはできなかった。

【００２０】これは特に、複数の画像を合成する際に顕
著となる問題であり、例えばある復号器で復号可能であ
る符号化データを複数合成した場合に、該合成された符
号化データは該復号器において復号できなくなってしま
う場合があった。又は、合成された符号化データが、MP
EG4のいずれのプロファイル・レベルにも適合しない場
合には、MPEG4規格の復号器では復号できなかった。

【００２１】本発明は上述した問題を解決するためにな
されたものであり、複数の画像情報（オブジェクト）毎
に符号化された符号化データを複数合成して、所定規格
に基づく1つの符号化データを得るデータ処理装置及び
その方法、及びデータ処理システムを提供すること目的
とする。

【００２２】また、該合成された符号化データを、任意
の符号化仕様の復号器で復号可能なデータ処理装置及び
その方法、及びデータ処理システムを提供すること目的
とする。

【００２３】また、符号化データに含まれるオブジェク
ト数及び符号長を調整可能なデータ処理装置及びその方
法、及びデータ処理システムを提供すること目的とす
る。

【００２４】

【課題を解決するための手段】上記目的を達成するため
の一手段として、本発明のデータ処理装置は以下の構成
を備える。

【００２５】即ち、１画面の画像を表現するＮ個のオブ
ジェクト画像データを入力する入力手段と、前記Ｎ個の
オブジェクト画像データの少なくとも一部を、該オブジ
ェクト画像データの関連性を示す付加情報を参照するこ
とにより統合し、前記１画面を表現するＭ個のオブジェ
クトデータを生成するオブジェクト数変更手段と、を有
することを特徴とする。

【００２６】また、符号化された複数の画像情報により
１つの画像を構成するデータ列を処理するデータ処理装
置であって、複数の前記データ列の合成を指示する合成
指示手段と、前記合成データ列の符号化仕様を指示する
仕様指示手段と、前記仕様指示手段により指示された符
号化仕様に基づいて前記データ列中の画像情報の数を変
更する変更手段と、前記合成指示手段による合成指示に
基づいて、前記変更手段により変更された複数の前記デ
ータ列を合成する合成手段と、を有することを特徴とす
る。

【００２７】また、符号化された複数の画像情報により
１つの画像を構成するデータ列を処理するデータ処理装
置であって、複数の前記データ列の合成を指示する合成
指示手段と、前記合成データ列の符号化仕様を指示する
仕様指示手段と、前記仕様指示手段により指示された符
号化仕様に基づいて前記データ列中の画像情報の符号長
を変更する変更手段と、前記合成指示手段による合成指
示に基づいて、前記変更手段により変更された複数の前
記データ列を合成する合成手段と、を有することを特徴
とする。

【００２８】また、上記目的を達成するための一手法と
して、本発明のデータ処理方法は以下の工程を備える。

【００２９】即ち、１画面の画像を表現するＮ個のオブ
ジェクト画像データを入力する入力工程と、前記Ｎ個の
オブジェクト画像データの少なくとも一部を、該オブジ
ェクト画像データの関連性を示す付加情報を参照するこ
とにより統合し、前記１画面を表現するＭ個のオブジェ
クトデータを生成するオブジェクト数変更工程と、を有
することを特徴とする。

【００３０】また、符号化された複数の画像情報により
１つの画像を構成するデータ列を処理するデータ処理方
法であって、複数の前記データ列の合成を指示する合成
指示工程と、前記合成データ列の符号化仕様を指示する
仕様指示工程と、前記仕様指示工程において指示された
符号化仕様に基づいて前記データ列中の画像情報の数を
変更する変更工程と、前記合成指示工程における合成指
示に基づいて、前記変更工程において変更された複数の
前記データ列を合成する合成工程と、を有することを特
徴とする。

【００３１】また、符号化された複数の画像情報により
１つの画像を構成するデータ列を処理するデータ処理方
法であって、複数の前記データ列の合成を指示する合成
指示工程と、前記合成データ列の符号化仕様を指示する
仕様指示工程と、前記仕様指示工程において指示された
符号化仕様に基づいて前記データ列中の画像情報の符号
長を変更する変更工程と、前記合成指示工程における合
成指示に基づいて、前記変更工程において変更された複
数の前記データ列を合成する合成工程と、を有すること
を特徴とする。

【００３２】

【発明の実施の形態】以下、本発明に係る一実施形態に
ついて図面を参照して詳細に説明する。

【００３３】＜第1実施形態＞図1は、本実施形態におけ
る画像合成を行なう動画像処理装置の概要構成を示すブ
ロック図である。本実施形態においては、動画像符号化
方式としてMPEG4符号化方式を用いた場合について説明
する。尚、本実施形態における符号化方式はMPEG4に限
らず、画像内の複数のオブジェクトを各々符号化するこ
とができれば、どのような方式であってもよい。

【００３４】図1において、201，202は動画像符号化デ
ータを蓄積している記憶装置であり、磁気ディスク、光
磁気ディスク、テープ、半導体メモリ等で構成されてい
る。203はTVカメラであり、動画像を撮像してディジタ
ル画像信号を出力する。204は符号化器であり、MPEG4符
号化方式による符号化を行なう。205はLANや通信回線で
ある。206は通信インタフェースであり、通信回線205か
ら符号化データを受信する。207は画像の編集状況を表
示し、ユーザが編集指示を入力する編集操作器である。
208は本実施形態の特徴である画像編集部である。209は
画像編集部208の出力を蓄積する記憶装置である。210は
MPEG4符号化方式で符号化された動画像の符号化データ
を復号する復号器である。211は復号器210で復号された
動画像を表示する表示器である。

【００３５】以下、具体的な画像を例として、本実施形
態における画像編集処理について説明する。

【００３６】記憶装置201には、MPEG4符号化方式のCore
プロファイル・レベル2，384kbpsによって符号化された
画像データが格納されている。図2(a)に、記憶装置201
に格納されている画像の例を示し、図6(a)に、その符号
化データを示す。図2(a)に示す画像においては、背景の
オブジェクト300に、人を表すオブジェクト304，305が
含まれている。そして図6(a)において、背景のオブジェ
クト300の符号はビデオオブジェクト(VO)データA-1-1で
あり、人のオブジェクト304，305の符号はそれぞれVOデ
ータA-1-2，VOデータA-1-3である。

【００３７】記憶装置202には、MPEG4符号化方式のCore
プロファイル・レベル1，200kbpsによって符号化された
画像の符号化データが格納されている。図2(b)に、記憶
装置202に格納されている画像の例を示し、図6(b)に、
その符号化データを示す。図2(b)に示す画像において
は、背景のオブジェクト301に、人を表すオブジェクト3
06，307が含まれている。そして図6(b)において、背景
のオブジェクト301の符号はビデオオブジェクト(VO)デ
ータB-1-1であり、人のオブジェクト306，307の符号は
それぞれVOデータB-1-2，VOデータB-1-3である。

【００３８】ここで、TVカメラ203において図2(C)に示
す画像を撮像し、符号化器204でMPEG4符号化方式によっ
て、Simpleプロファイル・レベル1，32kbpsによる符号
化を行なったとする。この場合、撮像された画像から新
たなオブジェクト抽出を行わなければ、該画像全体が１
つのオブジェクト302として扱われる。従って、該画像
の符号化データは図6(C)に示すように、1つのオブジェ
クト302の符号であるVOデータC-1-1からなる。

【００３９】また、通信回線205から通信インタフェー
ス206を介して、図2(d)に示す画像が、MPEG4符号化方式
のSimpleプロファイル・レベル2，128kbpsにより符号化
されたデータを入力するとする。図2(d)に示す画像にお
いては、背景のオブジェクト303に、人を表すオブジェ
クト308，309が含まれている。図6(d)にその符号化デー
タを示し、背景のオブジェクト303の符号はビデオオブ
ジェクト(VO)データD-1-1であり、人のオブジェクト30
8，309の符号はそれぞれVOデータD-1-2，VOデータD-1-3
である。

【００４０】尚、説明を簡易にするため、上述した全て
の画像（図2(a)〜(d)）のサイズを、QCIF（Quater Comm
on Intermediate Format）フォーマットであるとする。

【００４１】これらの符号化データは、全て画像編集部
208に入力される。図3に、画像編集部208の詳細ブロッ
ク構成を示す。図3において、1〜4はシステムに関する
符号化データを各入力毎に格納するシステム符号メモリ
であり、5〜8は動画像の符号化データを各入力毎に格納
するビデオ符号メモリである。9は動画像の符号化デー
タを復号してオブジェクトを再生するビデオデコーダで
あり、10はシステムの符号化データを復号してオブジェ
クトの配置情報等を再生するシステムデコーダである。

【００４２】これらの復号結果は編集操作器207に出力
され、各オブジェクトが配置情報に従って表示される。
編集操作器207においては、ユーザによるこれらのオブ
ジェクトの配置やサイズの変更、又は変形等の指示に応
じて、表示のタイミングやスピード等を新たに設定す
る。

【００４３】11はシステム符号の合成を行うシステム符
号合成部である。12はビデオ符号のヘッダの合成、変更
を行うヘッダ処理部である。13はビデオ符号メモリ5〜8
の出力を適宜選択して出力するセレクタである。14はシ
ステム符号合成部11、ヘッダ処理部12、セレクタ13の出
力を多重化して符号化データを生成する多重化器であ
る。

【００４４】画像編集部208において、記憶装置201，20
2，符号化器204，通信インタフェース206のそれぞれの
出力は、システム符号化データと動画像符号化データと
に分離された後、システム符号化データはそれぞれシス
テム符号メモリ1〜4に、動画像符号化データはそれぞれ
ビデオメモリ5〜8に格納される。

【００４５】それぞれの符号化データが格納されたら、
ビデオデコーダ9及びシステムデコーダ10はそれぞれを
復号し、編集操作器207に出力する。編集操作器207で
は、ユーザがオブジェクトの取捨選択や配置の変更、動
画像の開始のタイミングやフレームレート等の設定を操
作し、該編集操作に応じて、ビデオデコーダ9及びシス
テムデコーダ10は適宜復号を行う。

【００４６】図4に、図2(a)〜(d)に示した画像を編集、
合成した例を示す。即ち、4つの画像を編集、合成する
ことによって、新たな画像320を作成する。画像320のサ
イズは、QCIFが重ならずに4枚合成されているのでCIFと
なる。画像320においては、左上から時計まわり順に、
背景を示すオブジェクト300，オブジェクト302，背景を
示すオブジェクト301，303が配置されている。また、人
を表すオブジェクト304，305は、右方向に平行移動した
位置にくるように編集され、オブジェクト308は拡大さ
れた後、背景オブジェクト300上に移動するように編集
されている。

【００４７】システム符号合成部11においては、これら
の合成結果を受けてシステム符号メモリ1〜4からシステ
ム符号を読み出し、配置情報にこれらの変形、移動等を
反映した新たなシステム符号化データを作成し、多重化
器14に出力する。

【００４８】ここで、個々のオブジェクトについての合
成に伴う変更状況を以下に示す。

【００４９】まず、背景を表すオブジェクト300に関し
ては、座標及び開始タイミング等の変更はない。オブジ
ェクト301に関しては、(0，0)であった座標が(0，144)
に変更されている。オブジェクト302に関しては、(0，
0)であった座標が(176，0)に変更されている。オブジェ
クト303に関しては、(0，0)であった座標が(176，144)
に変更されている。

【００５０】そして、人を表すオブジェクト304，305に
関しては、座標が右方向への移動分加算される。オブジ
ェクト306，307に関しては、背景のオブジェクト301の
始点が(0，0)から(0，144)に変更されたのに伴い、その
絶対位置が下方に144だけ移動する。オブジェクト308に
関しては、拡大指示（拡大率）と原点(0，0)からの新た
な距離に基づいて、新たな座標が生成される。オブジェ
クト309に関しては、背景のオブジェクト303の始点が
(0，0)から(176，144)に変更されたのに伴い、その絶対
位置が(176，144)ずつ移動する。

【００５１】尚、システム符号合成部11においては、各
オブジェクトの平行移動に対しては、該オブジェクトの
符号データに対して単に表示位置の座標に移動量を加算
するのみで良いが、拡大や変形処理に対しては、それら
に対応するコマンドを作成し、新たに符号化を行なう必
要がある。尚、MPEG4規格におけるシステム符号は、CG
言語であるVRMLに類似しており、従ってその詳細なコマ
ンドは、VRMLやISO/IEC14496-1と略同様である。

【００５２】一方、ヘッダ処理部12においては、システ
ム符号の編集結果を受けて新たなヘッダを生成する。図
5に、ヘッダ処理部12の詳細ブロック構成を示す。図5に
おいて、20は入力されたヘッダ情報を各符号ごとに分離
し、出力先を決定する分離器、21はプロファイル判定
器、22はオブジェクト数判定器、23はビットレート判定
器、24はプロファイルを決定するプロファイル決定器で
ある。

【００５３】ヘッダ処理部12は、ビデオ符号メモリ5〜8
から各レイヤのヘッダ情報のPLI符号、video_object_st
art_code符号、bit_rate符号を分離器20で抽出して、プ
ロファイル判定器21，オブジェクト数判定器22，ビット
レート判定器23に入力する。プロファイル判定器21は、
PLI符号を復号し、合成対象画像のプロファイル及びレ
ベルから、最上位のプロファイルとレベルを検知する。
オブジェクト数判定器22は、video_object_start_code
符号を計数することで、符号化データに含まれているオ
ブジェクト数を計数する。ビットレート判定器23は、bi
t_rate符号を復号することによって各ビットレートを検
出し、その総和を求める。各判定器の出力はプロファイ
ル決定器24に入力される。

【００５４】プロファイル決定器24においては、図22に
示したプロファイル表を参照することによって、最上位
のプロファイルとオブジェクト数、及びビットレートを
満足するプロファイル・レベルを決定する。本実施形態
において、合成する4つの画像の最上位プロファイルはC
oreプロファイル・レベル2であり、合成画像のオブジェ
クト数は10個、ビットレートの総和は684kbpsである。
従って、これらの条件を満たすプロファイル・レベル
は、オブジェクト表によればMainプロファイル・レベル
3となる。従ってプロファイル決定器24においては、Mai
nプロファイル・レベル3に基づく新たなPLI符号を作成
し、出力する。

【００５５】多重化器14は、システム符号合成部11にお
いて生成されたシステム符号化データと、動画像の符号
化データとを多重化する。動画像の符号化データは即
ち、プロファイル関係等の符号が修正された符号をヘッ
ダ処理部12から読み出し、また、ビデオ符号メモリ5〜8
に格納されている符号化データを適宜読み出して多重化
することにより生成される。そして、多重化された符号
化データは記憶装置209や復号器210に出力される。

【００５６】図6(e)に、多重化器14における多重結果と
して得られる符号化データを示す。図6(e)によれば、図
6(a)〜(d)に示した全ての符号化データが合成され、即
ち、図2(a)〜(d)の全てのオブジェクトが含まれている
ことが分かる。尚、多重化後の符号化データにおいて、
ユーザデータを図21に示すように各オブジェクトの符号
化データの前に置いても良いし、符号データ内の所定箇
所に集中させても良い。

【００５７】図7は、以上説明した本実施形態における
画像処理のフローチャートである。まず、装置が起動さ
れると、各画像データ入力手段（201,202,204,206）か
ら画像の符号化データを入力して、各符号メモリ1〜4,5
〜8に蓄積する（ステップS101）。そして該符号化デー
タをそれぞれ復号し、ユーザに提示する（ステップS10
2）。その後、編集操作器207におけるユーザの編集結果
を取得し（ステップS103）、該取得された編集結果に従
って、システム符号を変更する（ステップS104）。更
に、動画像符号化データのヘッダをプロファイル・レベ
ル，オブジェクト数，ビットレート等に従って変更し
て、新たな符号を生成する（ステップS104）。そして多
重化器14において、これらのシステム符号化データとビ
デオ符号化データを多重化して出力する（ステップS10
6）。

【００５８】画像編集部208において合成された符号化
データが復号器210に入力されることにより、復号器210
においては、復号対象として入力される符号化データの
規模や必要なデコーダの数等を容易に検出することがで
きる。従って、該符号化データを実際に復号することな
く、復号が可能であるか否かを容易に判定することがで
きる。そして、例えば復号不可能と判定された場合で
も、該符号化データを一旦記憶装置209に格納してお
き、復号器210において必要数のデコーダを用意するこ
とにより、改めて該符号化データを復号することができ
る。

【００５９】尚、本実施形態におけるシステム符号メモ
リ1〜4やビデオ符号メモリ5〜8の構成は図3に示す例に
限定されず、より多くの符号メモリを設けても構わない
し、１つのメモリを複数領域に分割して使用したり、磁
気ディスク等の記憶媒体を使用してもちろん構わない。

【００６０】以上説明したように本実施形態によれば、
プロファイルやレベルが互いに異なる符号化データを合
成する際に、プロファイルやレベルの再定義を行う。こ
れにより、復号器210において、入力される符号化デー
タの規模や必要なデコーダの数等を予め知ることがで
き、復号の可否を容易に判断することができる。

【００６１】＜第2実施形態＞以下、本発明に係る第2実
施形態について説明する。尚、第2実施形態における動
画像処理装置の概要構成は、上述した第1実施形態の図1
と同様であるため、説明を省略する。第2実施形態にお
いては、編集操作器207によりユーザが任意のプロファ
イルを指定し、画像編集部208においては該指定された
プロファイルに基づいた符号化データを生成することを
可能とする。

【００６２】図8は、第2実施形態における画像編集部20
8の詳細構成を示すブロック図である。図8において、第
1実施形態の図3と同様の構成には同一番号を付し、説明
を省略する。第5実施形態においては、動画像符号化方
式としてMPEG4符号化方式を用いた場合について説明す
るが、画像内の複数のオブジェクトを各々符号化するこ
とができれば、どのような符号化方式でも適用可能であ
る。

【００６３】30はプロファイル制御部であり、入力され
た複数の画像データを、編集操作器207より指示された
プロファイルに適合するように合成するための各種制御
を行う。31はシステム符号の合成を行うシステム符号合
成部、32はビデオ符号のヘッダの合成、変更を行うヘッ
ダ処理部である。34は各オブジェクトの符号長を調整す
る符号長調整部である。36はオブジェクトの統合処理を
行う統合処理部である。33，35，37はセレクタであり、
プロファイル制御部30からの指示に従って、それぞれの
入出力を切り替える。

【００６４】上述した第1実施形態と同様に、記憶装置2
01，202、符号化器204、通信インタフェース206から入
力された符号化データは、システム符号化データと動画
像符号化データとに分離され、それぞれシステム符号メ
モリ1〜4，ビデオ符号メモリ5〜8に格納される。

【００６５】尚、第2実施形態において記憶装置201，20
2、符号化器204、通信インタフェース206から入力され
る符号化データは、それぞれ上述した第1実施形態と同
様であるとする。従って、それぞれの画像は図2(a)〜
(d)に示す通りであり、それぞれを符号化することによ
り、図6(a)〜(d)に示す符号化データが得られる。但
し、第2実施形態においては、記憶装置201からは、Core
プロファイル・レベル2，1024kbpsの符号化データ(VOデ
ータA)が入力され、同様に、記憶装置202からはCoreプ
ロファイル・レベル1，384kbpsの符号化データ(VOデー
タB)、符号化器204からはSimpleプロファイル・レベル
3，384kbpsの符号化データ(VOデータC)、通信回線205か
らはCoreプロファイル・レベル2，768kbpsの符号化デー
タ(VOデータD)が入力されるとする。

【００６６】ここで、これらの各符号化データは、各オ
ブジェクト固有の情報を、ユーザデータとして備えてい
るとする。第2実施形態におけるオブジェクトは"人"，"
背景"及び"切り出しされていない画面"であるから、例
えば"人"のオブジェクトのユーザデータとしては、オブ
ジェクトの種類が"人"であることや、該オブジェクトの
人物の個人情報（性別、年齢、職業等）、更に、該画像
における該人物の行為（例えば、オブジェクト304及び3
05は議論を行なっており、オブジェクト307は注射をう
ち、オブジェクト306は注射をうたれている、等）が記
載されている。これらのオブジェクト固有の情報は、オ
ブジェクトの検索等、編集操作の際に利用される。

【００６７】それぞれの符号化データが各符号メモリに
格納されたら、ビデオデコーダ9及びシステムデコーダ1
0はそれぞれを復号し、編集操作器207に出力する。編集
操作器207では、ユーザがオブジェクトの取捨選択や配
置の変更、動画像の開始のタイミングやフレームレート
等の設定を操作することにより、第1実施形態と同様に
図4に示す合成画像320を得る。

【００６８】上述したように第2実施形態においては、
ユーザが編集操作器207より、出力する符号化データの
プロファイル・レベルを任意に設定できることを特徴と
する。従って、例えば生成した符号化データを放送等に
よって配信する場合、ユーザによって該符号化データの
プロファイル・レベルを受信するデコーダのプロファイ
ル・レベルに合わせることができる。以下、編集操作器
207においてユーザがCoreプロファイル・レベル2を指示
した場合について説明する。

【００６９】ユーザによるプロファイル・レベルの指示
は、編集結果とともにプロファイル制御部30に入力され
る。ここで、図4に示した合成画像320はオブジェクトを
10個含み、ビットレートの総和は2560kbpsである。ま
た、ユーザによって指定されたCoreプロファイル・レベ
ル2においては、図22のプロファイル表によれば最大オ
ブジェクト数が8、最大ビットレートが2048kbpsであ
る。このため、指定されたプロファイル・レベルによる
復号を可能とするためには、合成画像320においてオブ
ジェクトを2つ減じ、ビットレートを抑制する必要があ
る。

【００７０】そこでプロファイル制御部30においては、
以下の条件に基づいて符号化データの符号長を抑制す
る。尚、上記条件は、(1)，(2)，(3)の順に優先とす
る。

【００７１】（1）上位のプロファイル・レベルのもの
から符号長を抑制する。

【００７２】（2）ビットレートの高いものから符号長
を抑制する。

【００７３】（3）すべての符号長を抑制する。

【００７４】以下、この条件に基づいてVOデータAの符
号長抑制を行うことにより、VOデータAのビットレート
を1024kbpsから512kbpsに減じた場合を例として説明す
る。

【００７５】また、オブジェクト数を減じるためには、
例えば2つのオブジェクトを合成して1つのオブジェクト
に統合する方法が考えられる。第2実施形態において
は、複数のオブジェクトのうち統合対象となるオブジェ
クトを決定するために、システム符号メモリ1〜4に格納
されているシステム符号内のノード情報を参照する。即
ち、ノードの親子関係を参照して、同じ親を有するオブ
ジェクト同士を統合する。

【００７６】以下、第2実施形態におけるオブジェクト
統合処理について説明する。図9に、第2実施形態におけ
る各オブジェクトのノード状況を示す。図9(a)は、図2
(a)に示す画像データのノード関係である。この符号化
データは上から背景300と人を表すノード(People)とに
分けられ、更に、人を表すノードは、オブジェクト30
4，305(man)の親になっている。同様に、図9(b)は図2
(b)の画像データのノード関係を、図9(c)は図2(c)の画
像データのノード関係を、図9(d)は図2(d)の画像データ
のノード関係を示す。即ち、図9(a)ではオブジェクト30
4(man)，305(man)が人を表すノード(People)に繋がって
おり、図9(b)ではオブジェクト306(girl)，307(doctor)
が人を表すノード(People)に繋がっており、図9(d)では
オブジェクト308(woman)，309(man)が人を表すノード(D
ancer)に繋がっている。

【００７７】従って第2実施形態においては、各画像毎
に、これらの人を表すノードに繋がっているオブジェク
トを統合対象のオブジェクトとして決定する。即ち、図
2(a)に示す画像においてはオブジェクト304と305を統合
する。同様に、図2(b)に示す画像においてはオブジェク
ト306と307を、図2(d)に示す画像においてはオブジェク
ト308と309を、それぞれ統合する。このような統合を行
なうことにより、統合後の合成画像におけるオブジェク
ト数は7つとなり、Coreプロファイル・レベル2を満足す
る。

【００７８】プロファイル制御部30はシステム符号合成
器31に対して、オブジェクトを統合した後の各オブジェ
クトの配置情報を新たに再生するように指示する。シス
テム符号合成器31は第1実施形態と同様に、オブジェク
トを統合した状態でシステム符号を生成する。

【００７９】同時にプロファイル制御部30はヘッダ処理
部32に対して、オブジェクトを統合した後の各オブジェ
クトのヘッダ情報を新たに再生するように指示する。即
ち、画像のサイズをCIFに変更し、ビットレートを2048k
bpsに設定し、PLI符号をCoreプロファイル・レベル2に
設定する。また、統合されたオブジェクトのVOL_widt
h，VOL_height，VOP_width，VOP_height，bit_rate等の
各符号を修正する。

【００８０】そしてセレクタ33は、プロファイル制御部
30の制御に基づき、図2(a)に示す画像のオブジェクト(V
OデータA)については符号長調整部34を経由し、それ以
外のオブジェクトは符号長調整部34を経由しないよう
に、切り替わる。

【００８１】図10は、符号長調整部34の詳細構成を示す
ブロック図である。入力されたビデオ符号化データをオ
ブジェクト復号器41で復号し、オブジェクト符号化器42
において、元の符号化時よりも大きな量子化係数によっ
て符号化する。即ち、図2(a)に示す画像のオブジェクト
を、粗い量子化によって再符号化することによって、ビ
ットレートを抑えることができる。

【００８２】セレクタ35は、プロファイル制御部30の制
御に基づき、オブジェクト304と305、オブジェクト306
と307、オブジェクト308と309の符号化データの組み合
わせがそれぞれ統合処理部36に入力されるように、切り
替わる。

【００８３】図13は、統合処理部36の詳細構成を示すブ
ロック図である。同図において、50，51は符号メモリで
あり、統合するオブジェクトの符号化データをそれぞれ
格納する。52，54はセレクタであり、オブジェクト毎に
入出力を切り替える。53はオブジェクト復号器であり、
符号化データを復号し、オブジェクトの画像を再生す
る。55，56はフレームメモリであり、再生された画像を
オブジェクト毎に格納する。57は合成器であり、システ
ム符号メモリ1〜4に格納されている統合対象のオブジェ
クトの配置情報に従って、オブジェクトを合成する。58
は符号化器であり、合成して得られた画像データを符号
化して出力する。

【００８４】以下、図2(d)に示す画像内のオブジェクト
308と309を統合する場合を例として、統合処理部36の動
作について詳細に説明する。符号メモリ50，51には、そ
れぞれ統合対象であるオブジェクト308，309の符号化デ
ータが格納される。まず、セレクタ52は符号メモリ50側
の入力を選択し、セレクタ54はフレームメモリ55側の出
力を選択する。その後、符号メモリ50から符号化データ
が読み出され、オブジェクト復号器53で復号された後、
セレクタ54を介してフレームメモリ55にオブジェクト30
8の画像情報が書き込まれる。このオブジェクト308の画
像データは、カラー画像を表す画像データと形状を表す
マスク情報からなる。続いて、セレクタ52，54の入出力
をそれぞれ他方側に切り替えて同様の処理を行なうこと
により、オブジェクト309の画像情報をフレームメモリ5
6に格納する。

【００８５】合成器57は、ヘッダ処理部32からオブジェ
クト308，309の位置情報及びサイズ情報を取得して、統
合後の新たなオブジェクトのサイズ、該新たなオブジェ
クト内における元のオブジェクト308，309のそれぞれの
相対位置を求めることができる。そして、フレームメモ
リ55,56の情報を読み出し、カラー画像情報とマスク情
報のそれぞれを合成する。カラー画像情報の合成結果を
図14に、マスク情報の合成結果を図15に示す。これらの
カラー画像情報及びマスク情報は、符号化器58において
MPEG4のオブジェクト符号化方式に従って符号化された
後、統合処理部36から出力される。

【００８６】統合されたカラー画像情報に関する符号化
データ、及びマスク情報符号化データは、セレクタ37を
介して多重化器14に入力され、1つのオブジェクトの符
号化データに多重化される。多重化器14には、システム
符号合成部31における合成結果、及びヘッダ処理部32で
生成されたヘッダと、該ヘッダに対応する符号化データ
がセレクタ37を介して順次入力され、これらを多重化し
て出力する。

【００８７】ここで、第2実施形態における画像編集部2
08から出力される符号化データのデータ構造を図16に示
す。同図によれば、ビデオオブジェクトデータは、新た
に設定されたPLI符号（図中PLIN-1）に続き、背景を表
すオブジェクト300に対応するVOデータA-1-1に続き、オ
ブジェクト303，304を統合したオブジェクトに対応する
VOデータA-1-23が続く。そして更に、背景を表すオブジ
ェクト301に対応するVOデータB-1-1，オブジェクト30
5，306を統合したオブジェクトに対応するVOデータB-1-
23、オブジェクト302に対応するVOデータC-1-1、背景を
表すオブジェクト303に対応するVOデータD-1-1、オブジ
ェクト308，309を統合したオブジェクトに対応するVOデ
ータD-1-23が続く。即ち、1つのビジュアルオブジェク
ト内に7つのビデオオブジェクトが存在していることが
分かる。

【００８８】このようにして得られた符号化データは、
記憶装置209に格納されたり、又は復号器210で復号され
て、図4に示すような画像として表示器211に表示され
る。

【００８９】以上説明したように第2実施形態によれ
ば、プロファイルやレベルが互いに異なる符号化データ
を合成する際に、プロファイルやレベルの再定義を行
い、更に、オブジェクト数やビットレートを調整するこ
とが可能である。これにより、ユーザが所望するプロフ
ァイル・レベルの符号化データを得ることができる。

【００９０】更に、システム符号に記載されているオブ
ジェクトの関係(ノード)に基づいてオブジェクトを統合
することにより、画像内の各オブジェクトを有意に合成
することが可能となり、即ち、人間の感覚に近い合成が
可能になる。

【００９１】＜＜変形例＞＞図11は、第2実施形態にお
ける符号長調整部34の変形構成例を示すブロック図であ
る。入力されたビデオ符号化データが動き補償を行って
いる場合、ハフマンデコーダ43でDCT係数の復号を行
う。そして、得られた量子化結果を高周波除去器44に入
力して高周波成分を切り捨て、0に置換える。そして、
ハフマンエンコーダ45で再度符号化する。即ち、オブジ
ェクトの高周波を落とした形で再符号化することによ
り、符号長を短縮することができる。

【００９２】また、図12は、符号長調整部34の更なる変
形構成例を示すブロック図である。入力されたビデオ符
号化データが動き補償を行っている場合、ハフマンデコ
ーダ43でDCT係数の復号を行う。そして、得られた量子
化結果を逆量子化器46によって逆量子化した後、量子化
器47で元の符号化時よりも大きな量子化係数によって再
度量子化する。即ち、動き補償による符号化がなされた
オブジェクトを粗い量子化によって再符号化することに
よって、符号長を短縮することができる。

【００９３】尚、第2実施形態において統合対象となる
オブジェクトの選択は、ノードによって示されるオブジ
ェクト同士の関係に加え、オブジェクトのユーザデータ
に記載されている各オブジェクト固有の情報を用いても
もちろん構わない。即ち、類似するオブジェクト（"人"
や"職業別"等）の統合を行なうことも可能である。更
に、オブジェクトである人物の行為の関係、例えば"注
射行為"を選択の条件として、オブジェクト305とオブジ
ェクト306を統合することも可能である。

【００９４】更に、オブジェクトのサイズや符号長、位
置関係、ユーザによる指示等、複数の条件を組み合わせ
ることによって、統合対象オブジェクトの選択を行なっ
ても良い。

【００９５】また、第2実施形態においては、システム
符号に記載されているオブジェクトの関係(ノード)に基
づいてオブジェクトを統合する例について説明したが、
例えばノードに基づいて選択したオブジェクトを廃棄す
ることにより、オブジェクト数を減じることも可能であ
る。この場合、ビットレートの抑制も同時に実現され
る。

【００９６】尚、上述した第1及び第2実施形態における
システム符号メモリ1〜4やビデオ符号メモリ5〜8の構成
は図3に示す例に限定されず、より多くの符号メモリを
設けても構わないし、１つのメモリを複数領域に分割し
て使用したり、磁気ディスク等の記憶媒体を使用しても
ちろん構わない。

【００９７】＜他の実施形態＞なお、本発明は、複数の
機器（例えばホストコンピュータ，インタフェイス機
器，リーダ，プリンタなど）から構成されるシステムに
適用しても、一つの機器からなる装置（例えば、複写
機，ファクシミリ装置など）に適用してもよい。

【００９８】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００９９】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【０１００】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【０１０１】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【０１０２】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。本発明を上記記憶
媒体に適用する場合、その記憶媒体には、先に説明した
フローチャートに対応するプログラムコードを格納する
ことになる。

【０１０３】

【発明の効果】以上説明したように本発明によれば、複
数の画像情報（オブジェクト）毎に符号化された符号化
データを複数合成して、所定規格に基づく1つの符号化
データを得ることができる。

【０１０４】また、該合成された符号化データを、任意
の符号化仕様の復号器で復号することが可能となる。

【０１０５】また、符号化データに含まれるオブジェク
ト数及び符号長を調整することが可能となる。

【０１０６】

【図面の簡単な説明】

【図1】本発明を適用した動画像合成装置の構成を示す
ブロック図、

【図2】合成対象となる画像例を示す図、

【図3】本実施形態における画像編集部の構成を示すブ
ロック図、

【図4】合成結果の画像例を示す図、

【図5】ヘッダ処理部の詳細構成を示すブロック図、

【図6】合成対象となる画像及び合成後の画像の符号化
データを示す図、

【図7】本実施形態における画像処理のフローチャー
ト、

【図8】第2実施形態における画像編集部の構成を示すブ
ロック図、

【図9】各オブジェクトのノードの関係を示す図、

【図10】符号長調整部34の構成を示すブロック図、

【図11】第2実施形態の変形例における符号長調整部の
構成を示すブロック図、

【図12】第2実施形態の変形例における符号長調整部の
構成を示すブロック図、

【図13】統合処理部36の構成を示すブロック図、

【図14】カラー画像情報の合成例を示す図、

【図15】マスク情報の合成例を示す図、

【図16】合成した画像の符号化データを示す図、

【図17】MPEG4規格による符号化器の構成例を示す図、

【図18】MPEG4規格による復号器の構成例を示す図、

【図19】符号化データの表す画像の構成例を示す図、

【図20】オブジェクトのノード関係を示す図、

【図21】MPEG4規格による動画像符号化データの構成例
を示す図、

【図22】MPEG4規格によるプロファイル表、である。

【符号の説明】

1，2，3，4 システム符号メモリ 5，6，7，8 ビデオ符号メモリ 9 ビデオデコーダ 10 システムデコーダ 11 システム符号合成部 12，32 ヘッダ処理部 13，33，35，37，52，54 セレクタ 14，1005 多重化器 20 分離器 21 プロファイル判定器 22 オブジェクト数判定器 23 ビットレート判定器 24 プロファイル決定器 30 プロファイル制御部 31 システム符号合成部 34 符号長調整部 36 統合処理部 41，53 オブジェクト復号器 42，1002，1003，1004 オブジェクト符号化器 43 ハフマンデコーダ 44 高周波除去器 45 ハフマンエンコーダ 46 逆量子化器 47 量子化器 50，51 符号メモリ 57，1010 合成器 58，204 符号化器 201，202，209 記憶装置 203 TVカメラ 205 通信回線 206 通信インタフェース 207 編集操作器 208 画像編集部 210 復号器 211 表示器 1001 オブジェクト定義器 1006 分離器 1011 配置情報符号化器 1012 配置情報復号器 300，301，302，303，304，305，306，307，308，309，
2000，2001，2002，2003，2004 オブジェクト

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA23 BA29 CA16 CA18 CB16 CB18 CE06 CE08 CG07 5C059 MA00 MB22 ME02 PP28 PP29 RB09 RC19 SS20 TA17 TA57 TB18 TC18 TC36 TD12 UA02 UA05 UA39 5C078 BA44 BA57 CA14 DB05 9A001 EE04 HH27

Claims (31)

【特許請求の範囲】
1. 【請求項１】 １画面の画像を表現するＮ個のオブジェ
   クト画像データを入力する入力手段と、 前記Ｎ個のオブジェクト画像データの少なくとも一部
   を、該オブジェクト画像データの関連性を示す付加情報
   を参照することにより統合し、前記１画面を表現するＭ
   個のオブジェクトデータを生成するオブジェクト数変更
   手段と、を有することを特徴とするデータ処理装置。
2. 【請求項２】 前記Ｍ個は所定の符号化規格で処理する
   場合に適したオブジェクト画像データの数であることを
   特徴とする請求項１記載のデータ処理装置。
3. 【請求項３】 前記オブジェクト数変更手段は、前記入
   力手段により入力されたオブジェクト画像データの数が
   前記所定の符号化規格で規定された数よりも多い場合
   に、前記統合を行なうことを特徴とする請求項１記載の
   データ処理装置。
4. 【請求項４】 前記オブジェクト画像データの各々は、
   符号化データであることを特徴とする請求項１記載のデ
   ータ処理装置。
5. 【請求項５】 １画面の画像を表現するＮ個のオブジェ
   クト画像データを入力する入力工程と、 前記Ｎ個のオブジェクト画像データの少なくとも一部
   を、該オブジェクト画像データの関連性を示す付加情報
   を参照することにより統合し、前記１画面を表現するＭ
   個のオブジェクトデータを生成するオブジェクト数変更
   工程と、を有することを特徴とするデータ処理方法。
6. 【請求項６】 データ処理のプログラムコードが記録さ
   れた記録媒体であって、該プログラムコードは、 １画面の画像を表現するＮ個のオブジェクト画像データ
   を入力する入力工程のコードと、 前記Ｎ個のオブジェクト画像データの少なくとも一部
   を、該オブジェクト画像データの関連性を示す付加情報
   を参照することにより統合し、前記１画面を表現するＭ
   個のオブジェクトデータを生成するオブジェクト数変更
   工程のコードと、を含むことを特徴とする記録媒体。
7. 【請求項７】 符号化された複数の画像情報により１つ
   の画像を構成するデータ列を処理するデータ処理装置で
   あって、 複数の前記データ列の合成を指示する合成指示手段と、 前記合成データ列の符号化仕様を指示する仕様指示手段
   と、 前記仕様指示手段により指示された符号化仕様に基づい
   て前記データ列中の画像情報の数を変更する変更手段
   と、 前記合成指示手段による合成指示に基づいて、前記変更
   手段により変更された複数の前記データ列を合成する合
   成手段と、を有することを特徴とするデータ処理装置。
8. 【請求項８】 前記合成手段は、前記合成データ列に前
   記仕様指示手段により指示された符号化仕様を設定する
   ことを特徴とする請求項７記載のデータ処理装置。
9. 【請求項９】 前記合成指示手段は、複数の前記データ
   列に含まれる画像情報の位置を変更した合成を指示する
   ことを特徴とする請求項８記載のデータ処理装置。
10. 【請求項１０】 前記変更手段は、前記合成データ列中
    の画像情報の数が前記符号化仕様に基づく画像情報数よ
    りも多い場合に、画像情報数を減らすことを特徴とする
    請求項７記載のデータ処理装置。
11. 【請求項１１】 前記変更手段は、前記データ列中の複
    数の画像情報を統合することにより、画像情報数を減ら
    すことを特徴とする請求項１０記載のデータ処理装置。
12. 【請求項１２】 前記変更手段は、前記データ列中の複
    数の画像情報から、その関係に基づいて統合対象の画像
    情報を選択することを特徴とする請求項１１記載のデー
    タ処理装置。
13. 【請求項１３】 前記画像情報の関係は、ノード情報で
    あることを特徴とする請求項１２記載のデータ処理装
    置。
14. 【請求項１４】 前記変更手段は、前記データ列中の画
    像情報のいずれかを廃棄することにより、画像情報数を
    減らすことを特徴とする請求項１０記載のデータ処理装
    置。
15. 【請求項１５】 前記符号化仕様は、MPEG4規格に準じ
    る符号化仕様であることを特徴とする請求項７記載のデ
    ータ処理装置。
16. 【請求項１６】 前記データ列はMPEG4規格に基づいて
    符号化されていることを特徴とする請求項７記載のデー
    タ処理装置。
17. 【請求項１７】 複数の画像情報をそれぞれ符号化して
    １つの画像を構成するデータ列を生成する符号化手段
    と、 複数の前記データ列の合成を指示する合成指示手段と、 前記合成データ列の符号化仕様を指示する仕様指示手段
    と、 前記仕様指示手段により指示された符号化仕様に基づい
    て前記データ列中の画像情報の数を変更する変更手段
    と、 前記合成指示手段による合成指示に基づいて、前記変更
    手段により変更された複数の前記データ列を合成する合
    成手段と、 該合成データ列を復号する復号手段と、を有することを
    特徴とするデータ処理システム。
18. 【請求項１８】 符号化された複数の画像情報により１
    つの画像を構成するデータ列を処理するデータ処理方法
    であって、 複数の前記データ列の合成を指示する合成指示工程と、 前記合成データ列の符号化仕様を指示する仕様指示工程
    と、 前記仕様指示工程において指示された符号化仕様に基づ
    いて前記データ列中の画像情報の数を変更する変更工程
    と、 前記合成指示工程における合成指示に基づいて、前記変
    更工程において変更された複数の前記データ列を合成す
    る合成工程と、を有することを特徴とするデータ処理方
    法。
19. 【請求項１９】 符号化された複数の画像情報により１
    つの画像を構成するデータ列を処理するデータ処理のプ
    ログラムコードが記録された記録媒体であって、該プロ
    グラムコードは、 複数の前記データ列の合成を指示する合成指示工程のコ
    ードと、 前記合成データ列の符号化仕様を指示する仕様指示工程
    のコードと、 前記仕様指示工程において指示された符号化仕様に基づ
    いて前記データ列中の画像情報の数を変更する変更工程
    のコードと、 前記合成指示工程における合成指示に基づいて、前記変
    更工程において変更された複数の前記データ列を合成す
    る合成工程のコードと、を含むことを特徴とする記録媒
    体。
20. 【請求項２０】 符号化された複数の画像情報により１
    つの画像を構成するデータ列を処理するデータ処理装置
    であって、 複数の前記データ列の合成を指示する合成指示手段と、 前記合成データ列の符号化仕様を指示する仕様指示手段
    と、 前記仕様指示手段により指示された符号化仕様に基づい
    て前記データ列中の画像情報の符号長を変更する変更手
    段と、 前記合成指示手段による合成指示に基づいて、前記変更
    手段により変更された複数の前記データ列を合成する合
    成手段と、を有することを特徴とするデータ処理装置。
21. 【請求項２１】 前記合成手段は、前記合成データ列に
    前記仕様指示手段により指示された符号化仕様を設定す
    ることを特徴とする請求項２０記載のデータ処理装置。
22. 【請求項２２】 前記合成指示手段は、複数の前記デー
    タ列に含まれる画像情報の位置を変更した合成を指示す
    ることを特徴とする請求項２１記載のデータ処理装置。
23. 【請求項２３】 前記変更手段は、前記合成データ列中
    の画像情報の符号長が前記符号化仕様に基づく値よりも
    大きい場合に、符号長を減らすことを特徴とする請求項
    ２０記載のデータ処理装置。
24. 【請求項２４】 前記変更手段は、複数の前記データ列
    のうち、符号化仕様が上位であるデータ列から順次、画
    像情報の符号長を減らすことを特徴とする請求項２３記
    載のデータ処理装置。
25. 【請求項２５】 前記変更手段は、量子化係数を粗くし
    た再符号化を行なうことにより、画像情報の符号長を減
    らすことを特徴とする請求項２３記載のデータ処理装
    置。
26. 【請求項２６】 前記変更手段は、高周波成分を除去し
    た再符号化を行なうことにより、画像情報の符号長を減
    らすことを特徴とする請求項２３記載のデータ処理装
    置。
27. 【請求項２７】 前記符号化仕様は、MPEG4規格に準じ
    る符号化仕様であることを特徴とする請求項２０記載の
    データ処理装置。
28. 【請求項２８】 前記データ列はMPEG4規格に基づいて
    符号化されていることを特徴とする請求項２０記載のデ
    ータ処理装置。
29. 【請求項２９】 複数の画像情報をそれぞれ符号化して
    １つの画像を構成するデータ列を生成する符号化手段
    と、 複数の前記データ列の合成を指示する合成指示手段と、 前記合成データ列の符号化仕様を指示する仕様指示手段
    と、 前記仕様指示手段により指示された符号化仕様に基づい
    て前記データ列中の画像情報の符号長を変更する変更手
    段と、 前記合成指示手段による合成指示に基づいて、前記変更
    手段により変更された複数の前記データ列を合成する合
    成手段と、 該合成データ列を復号する復号手段と、を有することを
    特徴とするデータ処理システム。
30. 【請求項３０】 符号化された複数の画像情報により１
    つの画像を構成するデータ列を処理するデータ処理方法
    であって、 複数の前記データ列の合成を指示する合成指示工程と、 前記合成データ列の符号化仕様を指示する仕様指示工程
    と、 前記仕様指示工程において指示された符号化仕様に基づ
    いて前記データ列中の画像情報の符号長を変更する変更
    工程と、 前記合成指示工程における合成指示に基づいて、前記変
    更工程において変更された複数の前記データ列を合成す
    る合成工程と、を有することを特徴とするデータ処理方
    法。
31. 【請求項３１】 符号化された複数の画像情報により１
    つの画像を構成するデータ列を処理するデータ処理のプ
    ログラムコードが記録された記録媒体であって、該プロ
    グラムコードは、 複数の前記データ列の合成を指示する合成指示工程のコ
    ードと、 前記合成データ列の符号化仕様を指示する仕様指示工程
    のコードと、 前記仕様指示工程において指示された符号化仕様に基づ
    いて前記データ列中の画像情報の符号長を変更する変更
    工程のコードと、 前記合成指示工程における合成指示に基づいて、前記変
    更工程において変更された複数の前記データ列を合成す
    る合成工程のコードと、を含むことを特徴とする記録媒
    体。