JP2005045399A - Object generating apparatus and method thereof - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that it is required to prepare an object of a size matching the intention of a provider of a BIFS source in the case that a still picture and a moving picture are embedded to a scene by utilizing the BIFS source and tools or the like that are provided. <P>SOLUTION: A flowchart for explaining the operations of an MPEG-4 data generating apparatus includes: a step S504 of acquiring URL information 412 of the entity of the object on the basis of a scene description for encoding the scene; a step S505 of reading the entity of the object referenced on the basis of the acquired URL information 412; a step S506 of extracting size information 413 on the basis of the entity of the read object; and a step S508 of revising the size of an object 414 to be referenced and different from the scene description on the basis of the extracted size information 413. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【００２３】
もし、ｈａｓＳｉｚｅが真（ｔｒｕｅ）にセットされていれば（すなわちビットが立っていれば）、ｐｉｘｅｌＷｉｄｔｈとｐｉｘｅｌＨｅｉｇｈｔによって、表示される具体的な表現（シーン）の領域サイズが指定されることになる。
【００２４】
このように、エンコードされたビットストリーム中にサイズが指定されることにより、ＢＩＦＳソースで指示された表現は、さらに、その表示領域が指定されることになる。
【００２５】
このようにして、ＢＩＦＳソースもしくはシーン記述と、これに記述されないビットストリーム中のデータ表現により、複数のオブジェクトが複雑に表現された、いわゆるマルチメディアのシーンを自在に表現することが可能である。
【００２６】
上述したように、ＢＩＦＳソースの作成者は、オブジェクトの配置と動作に関する定義、すなわちシーン記述を、シーン記述から参照される静止画や動画などの外部参照オブジェクトのサイズなどを予め判断し、意図した状態になるように設計しなければならない。しかし、現実には、それでも不充分な場合がある。任意のあらゆる参照オブジェクトに対して意図が反映されるようにシーン記述を設計することは、全く不可能であるとは言えないが、そのためには、シーン記述であるＢＩＦＳソースの作成者の充分な配慮が必須である。例えば、図１から３に例示したＢＩＦＳソースは、横３２０×縦２４０ピクセルのオブジェクトを参照する場合、図４に示すような表示が行われ得る。しかし、オブジェクトのサイズが異なれば、極端な場合、参照されるオブジェクトのほんの一部が表示されるだけになる。
【００２７】
また、ＢＩＦＳソースの作成者が予め特定の意図をもったＢＩＦＳソースを作成し、しかる後、第三者が参照されるオブジェクトを入れ替えると、ＢＩＦＳソースの意図どおりに表現されない場合がある。この問題は、例えばＭＰＥＧ−４の規格をよく知るデザイナがある意図をもってＢＩＦＳソースを設計し、しかる後、エンコードされたＢＩＦＳやＢＩＦＳソースと、ＢＩＦＳを生成するエンコーダを含むＭＰＥＧ−４データの簡易生成ツールを提供するといった場合に顕著に現れる。このような場合、提供されたＢＩＦＳやＢＩＦＳソース、あるいは、ツールなどを利用して、その利用者が欲する静止画や動画を埋め込むといったことが想定されるが、その利用者は、提供者の意図に合った大きさのオブジェクトを予め準備しなければならない。
【００２８】
上記の問題に対処するため、ＢＩＦＳソースに期待するオブジェトのサイズなどをコメントとして埋め込む手法や、提供するツールに期待するオブジェトのサイズへの変換機能を埋め込む、といったことが行われる。しかし、これらの手法は、ツールに固有の機能でのみ実現されたり、利用者がＢＩＦＳソースを読んで独自に判断する必要が生じるなど、不便である。また、ツールに固有の機能で実現する場合は、ＢＩＦＳ（もしくはＢＩＦＳソース）に独自の拡張を施したり、ＢＩＦＳとは異なる別情報を用意したりする必要があり、さらに互換性の問題も発生する。
【００２９】
【非特許文献】
標準勧告書 ＩＳＯ／ＩＥＣ １４４９６−１
【００３０】
【発明が解決しようとする課題】
本発明は、上述の問題を個々にまたはまとめて解決するもので、シーン記述の意図に合うオブジェクトの生成を目的とする。
【００３１】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００３２】
本発明は、オブジェクトベース符号化に関連するオブジェクトを生成する際に、シーンを符号化するためのシーン記述からオブジェクトの実体の位置を示す情報を取得し、取得された位置情報に基づき参照されるオブジェクトの実体を読み込み、読み込んだオブジェクトの実体から、そのサイズ情報を抽出し、抽出されたサイズ情報に基づき、シーン記述とは異なる、参照すべきオブジェクトの大きさを変更することを特徴とする。
【００３３】
また、シーンを符号化するためのシーン記述からオブジェクトの実体を間接参照する参照情報を抽出し、抽出された参照情報からオブジェクトの実体およびサイズ情報を取得し、取得されたオブジェクトの実体およびサイズ情報により、前記オブジェクトの大きさを変更することを特徴とする。
【００３４】
【発明の実施の形態】
以下、本発明にかかる実施形態の画像処理を図面を参照して詳細に説明する。
【００３５】
第１実施形態は、上記の課題をもっとも単純に解決する例で、ＢＩＦＳソース中の外部参照オブジェクトを示すＵＲＬとして、予め期待されるサイズとして作成された代理オブジェクトを配置するものである。また、後述する第２実施形態は、ＢＩＦＳソース中の外部参照オブジェクトを示すＵＲＬに、実際に参照したいオブジェクトを間接参照するＵＲＬを配置するもので、第１実施形態と比較してより複雑な処理を必要とする。
【００３６】
第１実施形態において説明するＭＰＥＧ−４データ生成装置は、オブジェクトベース符号化によるＩＳＯ／ＩＥＣ１４４９６ （ＭＰＥＧ−４）に関するオブジェクトデータ生成装置である。ここで説明するＭＰＥＧ−４データ生成装置は、細部においては異なる構成で表現される場合もあるが、ハードウェアで構成しても、コンピュータ装置にソフトウェアを供給するなどしてソフトウェアで構成しても実現可能で、その構成要素は、本発明の本質に合致する限り、組み替え、統合、再配置が可能である。
【００３７】
なお、以下の説明では、簡略化のため、図１から３に示したＢＩＦＳソースと、図４に示した期待される表示の効果を説明の前提にする。
【００３８】
【第１実施形態】
上述したように、ＢＩＦＳソースが例えばＶＲＭＬを基本とした表現で記述されるものとすると、特定のオブジェクトを貼り付ける部分は、例えば図５に示すように記述される。図１から３に示したＢＩＦＳソースの例では、Ｓｈａｐｅで記述されたノードを、その配置を行うＴｒａｎｓｆｏｒｍ２Ｄノードの子ノードとして記述したが、図５には、とくに説明に必要な部分のみを取り出して示す。このような記述を含むＢＩＦＳソースを用いて、外部参照オブジェクトを利用したいと仮定する。
【００３９】
図５に示すＢＩＦＳソースには、外部参照オブジェクトとしてｕｒｌが記述され、その値はｄｕｍｍｙ１．ｉｍｇである。このｕｒｌの値が示すオブジェクト３０１は、予めＢＩＦＳソース作成者が用意した参考オブジェクト（いうならば代理のオブジェクト）であり、ＢＩＦＳソースの利用者が使用したい外部参照オブジェクトではない。
【００４０】
このように、第１実施形態は、ＢＩＦＳソースの作成者が参考になるオブジェクトを予め指定する例である。第１実施形態のＭＰＥＧ−４データ生成装置は、予め指定された参考になるオブジェクトを参照して動作する。
【００４１】
［構成］
図６は、ソフトウェアでＭＰＥＧ−４データ生成装置を構成する場合のコンピュータ装置の構成例を示すブロック図である。
【００４２】
ＣＰＵ １０１は、ＲＯＭ １０２やハードディスク（ＨＤ）１０９に記憶されたデータや制御プログラム、オペレーティングシステム（ＯＳ）、ＭＰＥＧ−４データ生成用のアプリケーションプログラムなどに従い、ＲＡＭ １０３、操作部１０４、モニタ１０６などを制御して、ＭＰＥＧ−４データ生成にかかわる各種の制御や処理を行う。
【００４３】
ＲＡＭ １０３は、ＣＰＵ １０１が各種プログラムを実行するための作業領域、操作部１０４から入力されるデータなどの一時保存領域である。
【００４４】
操作部１０４は、マウスやキーボードなどで、ＭＰＥＧ−４データ生成にかかわる各種の制御や処理の設定データなどを、ユーザが入力するためのものである。
【００４５】
モニタ１０６は、ＣＲＴやＬＣＤなどで、画像処理結果や、操作部１０４による操作の際のユーザインタフェイス画面などが表示される。
【００４６】
ネットワークインタフェイスカード（ＮＩＣ）１０８は、ＢＩＦＳデータ、ＭＰＥＧ−４データ、オブジェクトを含む各種データをネットワークを介して他のコンピュータ装置とやり取りするための通信インタフェイスである。
【００４７】
なお、図６には示さないが、操作部１０４、モニタ１０６、ＮＩＣ １０８およびＨＤ １０９は、それぞれ所定のインタフェイスを介して、ホストコンピュータのシステムバス１１０に接続されている。
【００４８】
図７はＭＰＥＧ−４データ生成装置の機能構成例を示すブロック図である。
【００４９】
図７において、ＢＩＦＳソースエディタモジュール４０６は、ユーザ操作４０７により、ＢＩＦＳソース４０８を作成する。なお、ＢＩＦＳソースエディタモジュール４０６は、ＢＩＦＳソースを作成する場合に必要であるが、第１実施形態には必ずしも必要ではない。
【００５０】
ＢＩＦＳソース解釈モジュール４０１は、予め作成されたＢＩＦＳソース４０８を読み込み、その内容を解釈する。このようなＢＩＦＳソースの解釈を行うモジュールは、ＭＰＥＧ−４の規格としてＩＳＯより出版されているリファレンスコードをはじめ、様々な形で一般に使用されている。
【００５１】
サイズ解釈モジュール４０２は、静止画や動画の大きさをオブジェクトを参照して取得する。図７では、代理オブジェクト４０９を読み込む例を示す。
【００５２】
オブジェクトトランスコーダモジュール４０３は、入力される動画や静止画のオブジェクトを指定された大きさに変換する。このようなトランスコーダもまた、様々な形で一般に使用されている。
【００５３】
ＢＩＦＳエンコーダモジュール４０４は、ＢＩＦＳソースもしくはＢＩＦＳソースを解釈した結果を入力として、ＢＩＦＳデータ４１０を生成する。ＢＩＦＳソース解釈モジュール４０１と同様に、ＩＳＯより出版されているリファレンスコードをはじめとして、様々な形で一般に使用されている。
【００５４】
ＭＰＥＧ−４データ生成モジュール４０５は、最終的に有効なＭＰＥＧ−４データ４１１を生成する。
【００５５】
図５に示したＢＩＦＳソースの例では、ただ一つの静止画であるｄｕｍｍｙ１．ｉｍｇが参照されるが、これは図７に示す代理オブジェクト４０９に相当する。ＢＩＦＳソースの例は、いうまでもなくＢＩＦＳソース４０８に対応している。
【００５６】
［動作］
図８はＭＰＥＧ−４データ生成装置の動作を説明するフローチャートである。
【００５７】
ＣＰＵ １０１は、ＢＩＦＳソース４０８を読み込み（Ｓ５０１）、ＢＩＦＳソース解釈モジュール４０１によりＢＩＦＳソース４０８を解釈する（Ｓ５０２）。一般に、ＢＩＦＳ解釈モジュール４０１は、内部的にＢＩＦＳソースに記載されたいわゆるシーングラフをメモリ（ＲＡＭ １０３など）上に展開する（Ｓ５０３）。あるいは、ＢＩＦＳソースに記載された内容に従って内部的にイベントを発生させ、イベントドリブンにその処理関数を呼び出す場合もある。いずれにせよ、この解釈機能により、ｕｒｌ指定された外部参照オブジェクトの実体を示すＵＲＬを取得する（Ｓ５０４）。図８には取得されたＵＲＬをＵＲＬ情報４１２として示す。
【００５８】
この段階で取得されたＵＲＬ情報４１２は、予めＢＩＦＳソース作成者が用意した、ＢＩＦＳソース４０８中に記述された参考オブジェクト（代理オブジェクト４０９）を指し、実際にＢＩＦＳソースを利用する利用者が指定するオブジェクトではない。
【００５９】
次に、ＣＰＵ １０１は、取得したＵＲＬ情報４１２をサイズ解釈モジュール４０２に渡す。サイズ解釈モジュール４０２は、指定されたＵＲＬにより参照される代理オブジェクト４０９を読み込んで（Ｓ５０５）、代理オブジェクト４０９の大きさを与えるサイズ情報４１３を取得する（Ｓ５０６）。この例では、代理オブジェクト４０９は図５のｄｕｍｍｙ１．ｉｍｇに相当する。オブジェクトのサイズを取得する具体的な方法は、個々のモジュール自体が一般的に利用されるものであって、その方法が多様であるため詳述しないが、例えばＪＰＥＧ画像のヘッダを参照するなど、サイズを取得することは極めて簡単である。
【００６０】
取得されたサイズ情報４１３は、オブジェクトトランスコーダモジュール４０３に読み込まれる。ここで初めてＢＩＦＳソースの利用者が実際に使用したいオブジェクトである参照オブジェクト４１４が使用される。
【００６１】
オブジェクトトランスコーダモジュール４０３は、先に説明したように、入力される動画や静止画のオブジェクトを指定されたサイズに変換する機能をもつ。すなわち、オブジェクトトランスコーダモジュール４０３は、ＢＩＦＳソースの利用者が実際に使用したいオブジェクトである参照オブジェクト４１４とサイズ情報４１３を読み込み（Ｓ５０７）、必要があれば、参照オブジェクト４１４をサイズ情報４１３に従って変換し、指定されたサイズの参照オブジェクトデータ４１５を出力する（Ｓ５０８）。勿論、参照オブジェクト４１４のサイズがサイズ情報４１３と一致すれば、オブジェクトトランスコーダモジュール４０３は変換処理を行わない。
【００６２】
オブジェクトトランスコーダモジュール４０３の処理が行われると、参照オブジェクト４１４はサイズ変換されるため、ＢＩＦＳソースの作成者の意図に合う大きさのオブジェクトが生成される。
【００６３】
例えば、ｄｕｍｍｙ１．ｉｍｇがＪＰＥＧ画像で、そのサイズが縦２４０×横３２０ピクセルであり、ＢＩＦＳソースの利用者が使用する参照オブジェクト４１４が縦４８０×横６４０ピクセルの画像であるとすると、オブジェクトトランスコーダモジュール４０３は、参照オブジェクト４１４を縦２４０×横３２０ピクセルの参照オブジェクトデータ４１５に変換する。もし、このサイズ変換が実行されなければ、ＢＩＦＳソースの作成者の意図とは異なる縦横二倍のオブジェクトが表示される。
【００６４】
一方で、ＢＩＦＳエンコーダモジュール４０４は、ＢＩＦＳソース解釈モジュール４０１の解釈に従ってＢＩＦＳソース４０８からＢＩＦＳデータ４１０をエンコード出力する（Ｓ５０９）。
【００６５】
そして最終的に、ＭＰＥＧ−４データ生成モジュール４０５は、ＢＩＦＳソースの作成者の意図に合うように、参照オブジェクト４１４から変換された参照オブジェクトデータ４１５と、ＢＩＦＳデータ４１０とから有効なＭＰＥＧ−４データ４１１を生成する（Ｓ５１０）。
【００６６】
以上の説明では、ＢＩＦＳソース４０８が参照する代理オブジェクト４０９のＵＲＬと置き換えられる参照オブジェクト４１４の関連付けについては何ら説明しなかった。このような関連付けはアプリケーションプログラムの制御によって、様々に実現可能である。例えば、代理オブジェクト４０９のＵＲＬと置き換えられる参照オブジェクト４１４の対応リストを何らかの形式で保持すれば、これは容易に実現される。または、ＵＲＬ情報４１２を取り出した後、ＢＩＦＳソースを解釈した結果のデータに含まれる代理オブジェクト４０９のＵＲＬを参照オブジェクト４１４のＵＲＬに変更してもよい。あるいは、ＢＩＦＳソース４０８に含まれる代理オブジェクト４０９のＵＲＬ自体を書き換えることによっても実現可能である。さらに、ＵＲＬがオブジェクトを格納するファイルを示すとは限らず、オブジェクトのビットストリームを参照するＩＤである可能性もある。この場合、ＵＲＬを書き換えなくても何ら矛盾しない場合もある。これらの手法は、アプリケーションが、その構成や目的に応じて様々に実装可能であり、発明の本質は、これらの実装方法に依存しない。
【００６７】
また、実施形態のＭＰＥＧ−４データ生成装置は、必ずしも、上で説明したような、様々なモジュールが独立して存在する構成でなくてもよい。最も簡単な例は、ＢＩＦＳソース解釈モジュール４０１とＢＩＦＳエンコーダモジュール４０４に顕著である。これら二つのモジュールは、ＵＲＬ情報４１２の取り出し機能が実現されれば、一つのモジュールとして実装可能である。第１実施形態は、ＢＩＦＳソース４０８に含まれる代理オブジェクト４０９を参照して、参照オブジェクト４１４のサイズを変換する機能を一連の処理として行うものであり、各モジュールの独立性は発明の本質ではない。
【００６８】
【第２実施形態】
以下、本発明にかかる第２実施形態の画像処理を説明する。なお、第２実施形態において、第１実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００６９】
第２実施形態は、ＢＩＦＳソース中の外部参照オブジェクトが示すＵＲＬに、実際に参照すべきオブジェクトを間接参照するＵＲＬを配置する。図９および１０は具体的なＢＩＦＳソースの例を示す図で、これらの図は連続したＢＩＦＳソースを示す。
【００７０】
図９および１０に示す例では、ＶＲＭＬ形式で記述されたＢＩＦＳソース中に三つの外部参照オブジェクトが指定されている。各外部参照オブジェクトの位置はｕｒｌで示され、そのＵＲＬには「ｃｃｃｃ：」のスキームでａｌｂｕｍ．ｘｍｌの相対パスと、その処理を与えるｘｐｏｉｎｔｅｒといった記述が含まれる。このＵＲＬの記述方法については、例として「ｃｃｃｃ：」という一般的ではないスキームが記述されているものの、それ自体は全く通常のＵＲＬである。
【００７１】
図９および１０に示すＢＩＦＳソースを利用するＭＰＥＧ−４データ生成装置は、第１実施形態で説明した図７の構成とほぼ同じものが使用できる。ただし、ＵＲＬ情報４１２に含まれるデータ内容と、サイズ解釈モジュール４０２の処理内容は異なる。以下では、第１実施形態と異なる点を中心に説明する。
【００７２】
まず、ＵＲＬ情報４１２に含まれるデータ内容は、第１実施形態と異なり、ＵＲＬ自体が参照するオブジェクトそのものを直接表現しない点に着目すべきである。ここで与えられるａｌｂｕｍ．ｘｍｌは、その拡張子である．ｘｍｌに象徴されるようにＸＭＬ （ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述されている。とくに、拡張子により、そのデータ形式が決定されるという前提を与えることはできない。そこで、この例では、そのデータ形式を間接的に示すための「ｃｃｃｃ：」というスキームを使用する。勿論、ＵＲＬを利用したデータ位置を与える方法には自由度があるため、どのような形式で指定してもよい。本発明の本質は、ＵＲＬを利用して、本発明に特徴的なＸＭＬデータを参照することにある。このように、ＵＲＬ情報４１２に含まれるデータ内容は、この例では三つのＵＲＬとしてＸＭＬデータを参照するデータ内容になっている。
【００７３】
次に、このＸＭＬデータとサイズ解釈モジュール４０２の処理内容について説明する。
【００７４】
第１実施形態と異なり、第２実施形態のサイズ解釈モジュール４０２は、ＵＲＬで指定されたＸＭＬデータを参照する。通常のＶＲＭＬで指定するＵＲＬは、例えばＩｍａｇｅＴｅｘｔｕｒｅやＭｏｖｉｅＴｅｘｔｕｒｅで指定された解釈可能なイメージの実体を示さなければならない。そこで、「ｃｃｃｃ：」というスキームにより、ＸＭＬデータを介して最終的なイメージの実体を参照する。この処理はサイズ解釈モジュール４０２が行う。
【００７５】
図９および１０に示すＢＩＦＳソースの例で「ｃｃｃｃ：」スキームにより参照されるＸＭＬデータ、すなわちａｌｂｕｍ．ｘｍｌは、例えば図１１のＸＭＬデータ７０１のように記述される。図１１は、ＵＲＬ情報４１２で参照されるＸＭＬデータの関連を示し、その詳細は以下で詳述する。
【００７６】
第２実施形態のサイズ解釈モジュール４０２は、「ｃｃｃｃ：」スキームの指定により参照するＸＭＬデータ７０１、すなわちａｌｂｕｍ．ｘｍｌを解釈する。さらに、ＸＭＬデータの内部参照を解釈して、ａｌｂｕｍ．ｘｍｌ中に記述された二つのＳＲＣ属性が解釈され、図１１に示すｂｉｆｓｓｒｃ０１．ｘｍｌ ７０２とｍｙｃｏｌ０１．ｘｍｌ ７０３が展開される。
【００７７】
図９および１０に記述されたＵＲＬには、ｘｐｏｉｎｔｅｒ （ＸＭＬ Ｐｏｉｎｔｅｒ Ｌａｎｇｕａｇｅ）により、付加情報が追加されている。サイズ解釈モジュール４０２は、「ｃｃｃｃ：」スキームの指定から、解釈するａｌｂｕｍ．ｘｍｌおよびそのＳＲＣ属性により、最終的には特定のイメージの実体を取得しなければならない。これは先に説明したように、ＵＲＬがイメージを参照する要請から必須のものである。サイズ解釈モジュール４０２は、最初のＵＲＬでは、ＧＲＯＵＰエレメントのＮＡＭＥが「ＢＵＩＬＴ＿ＩＮ」、子エレメントであるＩＭＧエレメントのＩＤが「ＢＧ１」であるという条件で検索する。
【００７８】
このような処理条件は、図９に示すＢＩＦＳソースの例に下記のように記述されている。このようにして取得されるＩｍａｇｅＴｅｘｔｕｒｅの実体はｂａｃｋｇｒｏｕｎｄ．ＪＰＧである。これは、ａｌｂｕｍ．ｘｍｌを介して参照されるｂｉｆｓｓｒｃ０１．ｘｍｌの中に記述されている。
＃ｘｐｏｉｎｔｅｒ （／／ＧＲＯＵＰ［ＮＡＭＥ＝”ＢＵＩＬＴ＿ＩＮ”］／ＩＭＧ［ＩＤ＝”ＢＧ１”］）
【００７９】
同様に、残り二つのＵＲＬもサイズ解釈モジュール４０２によって解釈される。次のＵＲＬには次のように記述されている。
＃ｘｐｏｉｎｔｅｒ（／／ＧＲＯＵＰ［ＮＡＭＥ＝”ＵＳＥＲ”］／ＩＭＧ）
＆ｘｐｏｉｎｔｅｒ（／／ＧＲＯＵＰ［ＮＡＭＥ＝”ＢＵＩＬＴ＿ＩＮ”］／ＩＭＧ［ＩＤ＝”ＰＨ１”］／ＳＩＺＥ）
【００８０】
ここでは、最初のｘｐｏｉｎｔｅｒにおいて、ＧＲＯＵＰエレメントのＮＡＭＥが「ＵＳＥＲ」の子エレメントであるＩＭＧエレメントを指定する。これによって、取得されるＩｍａｇｅＴｅｘｔｕｒｅの実体は、ｍｙｃｏｌ０１．ｘｍｌの最初のＩＭＧエレメントに記述されたＤＣＩＭ／２３３ｘｘｘｘ／ＩＭＧ＿３３８０．ＪＰＧになる。
【００８１】
ただし、最初のＵＲＬとは異なり、続くｘｐｏｉｎｔｅｒにおいて、ＧＲＯＵＰエレメントのＮＡＭＥが「ＢＵＩＬＴ＿ＩＮ」、子エレメントであるＩＭＧエレメントのＩＤが「ＰＨ１」であるという条件で検索し、その子エレメントのＳＩＺＥを付加情報とする。サイズ解釈モジュール４０２は、「ｃｃｃｃ：」スキームの指定により、この付加情報をもって、最初に得られたＤＣＩＭ／２３３ｘｘｘｘ／ＩＭＧ＿３３８０．ＪＰＧのサイズを変更する情報を得たことになる。すなわち、ファイルの実体である参照オブジェクト４１４とサイズ情報４１３とが得られ、オブジェクトトランスコーダモジュール４０３により、第１実施形態と同様の処理が継続される。
【００８２】
同様に、三番目のＵＲＬも処理が可能であるが、その説明は省略する。
【００８３】
このように、第２実施形態は、オブジェクトをＵＲＬで参照する際に、ＸＭＬを用いた間接参照を利用し、この点が第１実施形態と異なる点である。また、オブジェクトの大きさを与えるサイズ情報４１３を、代理オブジェクト４０９を参照して取得するのではなく、特定のスキームを用いて、ＸＭＬ中から抽出する点でも異なる。
【００８４】
ＵＲＬが参照する図１１のＸＭＬの例をみれば明らかなように、このＸＭＬデータは、ＢＩＦＳソースの作成者が意図を伝えるためのＸＭＬと、ＢＩＦＳソースの利用者が参照したいオブジェクト群を与える、いわばアルバムＸＭＬとでもいうべきＸＭＬとを含むものである。このようなＢＩＦＳソースの作成者の意図と、ＢＩＦＳソースの利用者の意志とをＸＭＬを介して関連させることにより、上記の課題を解決することができる。
【００８５】
なお、説明を簡略化するため、サイズ解釈モジュール４０２が取得した参照オブジェクト４１４の参照がそのままオブジェクトトランスコーダモジュール４０３へ入力されるとしたが、当然、サイズ解釈モジュール４０２とオブジェクトトランスコーダモジュール４０３との間で何らかのデータ交換が行われなければならない。このような仕組みは、特定のインタフェイスによって作成されてもよいし、プロセス通信などによって実現されてもよい。
【００８６】
また、上記の例では、あたかもｘｐｏｉｎｔｅｒによる記述が行われるかのように記述したが、ＸＭＬを利用して参照パスを記述することが本質であり、処理スキーム自体は異なっても動作することは明らかである。
【００８７】
また、ａｌｂｕｍ．ｘｍｌと参照されるｂｉｆｓｓｒｃ０１．ｘｍｌなどが異なるＸＭＬデータとして記述される例を示したが、これは、説明を明瞭にするためで、同じデータとして記述してもよい。具体的な例を図１２に示す。
【００８８】
図１２に示す例は、ＮＡＭＥが「ＢＵＩＬＴ＿ＩＮ」で与えられるＧＲＯＵＰに、図１１に示したｂｉｆｓｓｒｃ０１．ｘｍｌの内容がそのまま記載されている。この場合も、ＵＲＬの解釈により、同様の結果が得られることが期待される。勿論、ｍｙｃｏｌ０１．ｘｍｌが同様に同じＸＭＬベースデータとして記載されてもよい。
【００８９】
ここで着目すべき点は、ＢＩＦＳソースの記述内容を変更することなく、ＢＩＦＳソースの利用者が使用したい外部参照オブジェクトをＸＭＬに記述するだけで、ＢＩＦＳソースの作成者の意図に合うオブジェクト変換を行うことができる点である。ＢＩＦＳソースの作成者が提供するものは、ＢＩＦＳソースそのものと、そこからＵＲＬ参照されるＸＭＬデータであり、ＢＩＦＳのソース利用者は、ＸＭＬに参照したいオブジェクトのＵＲＬを記述するだけでよい。一方、ＢＩＦＳソースの利用者が作成するＸＭＬには、ＢＩＦＳソースに直接関連する方法は含まれないため、利用者がＢＩＦＳソースを参照して何らかの意図を反映させる必要もない。
【００９０】
ところで、第２実施形態では、ＸＭＬにおいて期待されるサイズ情報があたかもアプリケーション固有の形式であるかのように記載したが、例えばサイズ情報をＤＩＧ３５ （Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ Ｇｒｏｕｐ、ＤＩＧ３５ Ｓｐｅｃｉｆｉｃａｔｉｏｎ、Ｍｅｔａｄａｔａ ｆｏｒ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ）などで記述してもよいし、近年標準化の動きがあるＸＭＬを利用した何らかのアルバムフォーマットにより記述してもよい。このような標準化された、あるいは、広く使われる記述形式で記述することで、より汎用的な方法が実現が可能である。
【００９１】
このように、上記の実施形態によれば、ＩＳＯ／ＩＥＣ１４４９６−１の定義に矛盾しない方法によって、ＢＩＦＳソースに記載されるＵＲＬよりオブジェクトの幅と高さを抽出し、これを利用してオブジェクトの大きさを変更することができる。従って、予め作成済みの、あるいは、参照されるオブジェクトが未解決のＢＩＦＳソースであっても、オブジェクトが決定されたときに、参照されるオブジェクトに期待される幅と高さを利用する方法を提供し、作成者の意図に合う表現にすることができる。
【００９２】
なお、上記のＭＰＥＧ−４データ生成装置とそのモジュール構成は、必ずしもパーソナルコンピュータ上で動作するアプリケーションプログラムの分野に限定されるものではない。ＭＰＥＧ−４データ生成装置を、ディジタルカメラ、カムコーダ、携帯電話、ディジタルレコーダなどのハードウェア機器に適用することも可能である。
【００９３】
シーン記述に記述されたオブジェクトの位置よりオブジェクトの実体を取得し、そのオブジェクトの実体の大きさを抽出し、シーン記述より実際に参照すべき、シーン記述が参照するオブジェクトと異なるオブジェクトの大きさを変更する。これにより、シーン記述の作成時に意図したオブジェクトの大きさに合わないオブジェクトの大きさを変更することができ、予め作成済みの、あるいは、参照すべきオブジェクトが未解決のＢＩＦＳソースもしくはシーン記述であっても、オブジェクトが決定された時点で、参照すべきオブジェクトに期待される幅と高さを利用して、ＢＩＦＳデータの作成者の意図に合う表現が可能になる。
【００９４】
また、シーン記述に記述されたオブジェクトを間接参照する情報より抽出されたオブジェクトの大きさと、オブジェクトを間接参照する情報より抽出された実際に参照すべきオブジェクトから、参照すべきオブジェクトの大きさを変更することで、シーン記述の作成時に意図されたオブジェクトの大きさに合わないオブジェクトの大きさを変更する。これにより、予め作成済みの、あるいは、参照すべきオブジェクトが未解決のＢＩＦＳソースもしくはシーン記述であっても、オブジェクトが決定された時点で、参照すべきオブジェクトに期待される幅と高さを利用して、ＢＩＦＳデータの作成者の意図に合う表現が可能になる。
【００９５】
このように、オブジェクトベース符号化方式に矛盾することなく、オブジェクトベース符号化方式を利用しながら、予め作成済みの、あるいは、参照すべきオブジェクトが未解決のＢＩＦＳソースもしくはシーン記述であっても、オブジェクトが決定された時点で、参照すべきオブジェクトに期待される幅と高さを利用して、ＢＩＦＳソースの作成者の意図に合う表現が得られる。
【００９６】
さらに、本発明は複数の機器（例えばホストコンピュータ、インタフェイス機器、スキャナ、プリンタなど）から構成されるシステムに適用しても、一つの機器（例えば携帯電話）からなる装置に適用してもよい。ＭＰＥＧ−４データ生成装置を構成するモジュールが、複数の機器に分散されているとしても、適当な通信機能やデータ共有などによりそれらが対話的に通信可能であれば、それら複数の機器が本発明を構成する。あるいは、複数の機器の一部がインターネットやその他の通信機能によって離れた場所にあってもよい。
【００９７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９９】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１００】
【発明の効果】
以上説明したように、本発明によれば、シーン記述の意図に合うオブジェクトを生成することができる。
【図面の簡単な説明】
【図１】ＶＲＭＬを基本としたＢＩＦＳソースの記述例を示す図、
【図２】ＶＲＭＬを基本としたＢＩＦＳソースの記述例を示す図、
【図３】ＶＲＭＬを基本としたＢＩＦＳソースの記述例を示す図、
【図４】図１から３に示すＢＩＦＳソースをエンコードした場合に、その結果として期待される表示の効果を模式的に示す図、
【図５】第１実施形態におけるＢＩＦＳソースの例を示す図、
【図６】ソフトウェアでＭＰＥＧ−４データ生成装置を構成する場合のコンピュータ装置の構成例を示すブロック図、
【図７】ＭＰＥＧ−４データ生成装置の機能構成例を示すブロック図、
【図８】ＭＰＥＧ−４データ生成装置の動作を説明するフローチャート、
【図９】第２実施形態におけるＢＩＦＳソースの例を示す図、
【図１０】第２実施形態におけるＢＩＦＳソースの例を示す図、
【図１１】ＵＲＬ情報で参照されるＸＭＬデータの関連を示す図、
【図１２】ＵＲＬ情報で参照されるＸＭＬデータの別の例を示す図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an object generation apparatus and method, for example, to generation of objects such as still images, moving images, and computer graphics to be arranged on a screen by scene description.
[0002]
[Prior art]
With the improvement of digital data processing capability and the development of communication technology, so-called multimedia can be expressed easily, and complex expressions using multiple still images, moving images, audio, vector graphics, etc. are generally used. became. There is an object-based encoding method as a method of such complex multimedia (or multi-object) expression. A specific example is a standard (ISO / IEC 14496-1) called MPEG-4 system (see, for example, Non-Patent Document 1).
[0003]
ISO / IEC 14496-1 standardizes a binary format called BIFS (Binary Format for Sciences) that indicates how an MPEG-4 audiovisual object should be arranged and displayed in a space. BIFS includes an object descriptor (Object Descriptor) and an initial object descriptor (Initial Object Descriptor), which is a special form of the object descriptor, and a bit stream defined by MPEG-4 visual and MPEG-4 audio encoding audio and video. The so-called multimedia scene is composed.
[0004]
BIFS uses VRML (ISO / IEC147772-1 Virtual Reality Modeling Language) as the basis of its definition, and can be considered as an extension of VRML.
[0005]
The details of the standard are defined in ISO / IEC 14496-1, and will not be described here. In the following, in order to explain the essence of the invention more concisely, the representation of BIFS based on VRML is called a BIFS source. Express in text format. The BIFS text representation includes an XML format representation called XMT (Extensible MPEG-4 Textual format). In the following, a case where the representation is explicitly expressed as XMT including such representation by XMT will be described. Except for the BIFS source. That is, the BIFS source is a specific example of a scene description method for encoding a scene that defines the arrangement and operation of an object in the object-based encoding method.
[0006]
FIGS. 1 to 3 are diagrams illustrating a description example of a BIFS source based on VRML.
[0007]
“#VRML V2.0 utf8” described at the beginning is a comment, which is defined in the VRML rules and is not directly related to the invention, but is described as an example of a general description method. “Utf8” is an international character designation based on UTF-8 encoding based on ISO10646.
[0008]
FIG. 4 is a diagram schematically showing the expected display effect when the BIFS source shown in FIGS. 1 to 3 is encoded. In the following, the example of the BIFS source of FIGS. 1 to 3 and FIG. 4 will be described in more detail.
[0009]
The second comment line “# --- background image ---” shown in FIG. 1 shows a background still image, and an object “background” JPG designated by url is a background image 201 shown in FIG. become.
[0010]
Similarly, the third comment line “# −−− still image: image 1 −−−” and the following are added to the still image 202 shown in FIG. 4 and the fourth comment line “# −−− video: image 2 − "-" And the following respectively correspond to the moving image 203 shown in FIG.
[0011]
The comment line “# ---- operation ---” shown in FIG. 2 and the comment line “# ---- connection between events ---” shown in FIG. 3 indicate that the object is selected by the pointing device. For example, an operation in which the selected object is enlarged and displayed in the enlarged area 204 of FIG. 4 is defined.
[0012]
In the following, the BIFS source example of FIGS.
[0013]
First, the group {...} Indicates a node that groups the entire scene to be displayed. The next child [...] Represents a set of child nodes of the group, and the next Transform2D {.
[0014]
The Transform 2D further holds child nodes, and takes a specific object into the scene by using Shape {...}. This is equivalent to mapping the object specified by Shape to coordinates in the scene by Transform2D. Shape further holds appearance Appearance {...} And geometry Bitmap {...}, The former designates the visual characteristics of Shape and the latter designates its specific display. As a visual characteristic, a specific image object is specified by texture ImageText {...}, And url indicating the object is described. Scale and translation describe the magnification and coordinates, respectively.
[0015]
The points to be noted here are the values of scale and translation described in Transform2D and geometry. The scale value is enlarged or reduced by a ROUTE command in a certain time from the time of object selection. The operation is performed by changing the value by PositionInterpolator2D {...} Defined by, for example, DEF PIC1SCALE (FIG. 2). In this example, the aspect changes from 0.5 (half) to 1.0 (same size), and then returns to the original 0.5.
[0016]
Similarly, the translation value also changes to change the position of the object. “translation” means a parallel movement of a target object, and the position of the object is moved by changing this value.
[0017]
In the above description, the term “object” is used without any specific explanation. However, in order to explain the position and size of the object in more detail, more specific expressions will be used.
[0018]
In the BIFS source shown in FIGS. 1 to 3, the background object background. JPG, still picture picture1. img and picture of the movie 2. movie is being used. These objects are described in the URL (Uniform Resource Locator) format after the description of url. Since this notation is defined in the well-known RFC and is in the VRML definition format, it will not be described in detail here.
[0019]
These three objects, in this example, are bakground. JPG is 512 pixels wide by 384 pixels long, picture1. img and picture2. The movie is assumed to be 320 pixels wide × 240 pixels high. Since the scale described above indicates the ratio of enlargement / reduction, each object is expressed by 1.0 (same size), and then the background background. Except for JPG, the initial value is reduced to 0.5, that is, half the size. Background picture background. JPG is the size as it is, but still images and moving images are reduced in half, and the initial size is 160 pixels wide by 120 pixels high. Further, the positions of the reduced still image and moving image are designated by coordinates (168, 76) and coordinates (168, -76) by translation, and are thus moved to the upper right and lower right of the display area.
[0020]
In this way, a specific position expression as shown in FIG. 4 is performed. It should be noted that the display effect defined by such a BIFS source is expressed in a state that does not define the absolute size of the object specified by url in the texture. The definition of ISO / IEC14496-1 uses a so-called right-handed Cartesian three-dimensional coordinate system for the coordinate system as in the original VRML definition, and the expressed texture is a ratio to the original size. Expressed only in Therefore, unless you explicitly place an object defined with a finite size in this coordinate system and paste a texture on that object, the size of the displayed object is Only objects will be known.
[0021]
In the example of the BIFS source shown in FIGS. 1 to 3, when the background image 201 is 512 pixels wide × 384 pixels long and the still image 202 is 640 pixels wide × 480 pixels high, the background image 201 is positioned at Although it does not completely overlap with the still image 202, it becomes a so-called overlapped state and is hidden. Such a display is probably different from the intention of the BIFS source creator shown in FIGS. In other words, the creator of the BIFS source recognizes the absolute size of the displayed object and describes the source, so that the intended expression is performed. In this example, the creator of the BIFS source recognizes the background image 201 as 512 pixels wide × 384 pixels high, and the still image 202 and the moving image 203 as 320 pixels wide × 240 pixels high, thereby creating the BIFS source creator. The intention of is expressed correctly.
[0022]
Up to this point, the description has focused on the arrangement of objects according to the example of the BIFS source shown in FIGS. 1 to 3. However, according to the definition of ISO / IEC 14496-1, the display area of the BIFS is set to a DecoderConfigDescriptor (decoder setting). Defined in BIFSConfig held in DecoderSpecificInfo (decoder specific information) in the descriptor). The definition of BIFSConfig is as follows.

[0023]
If hasSize is set to true (that is, if a bit is set), the area size of a specific expression (scene) to be displayed is specified by pixelWidth and pixelHeight.
[0024]
Thus, by specifying the size in the encoded bitstream, the display area of the expression indicated by the BIFS source is further specified.
[0025]
In this way, a so-called multimedia scene in which a plurality of objects are expressed in a complex manner can be freely expressed by a BIFS source or scene description and data representation in a bitstream not described in the BIFS source or scene description.
[0026]
As described above, the creator of the BIFS source intended the definition regarding the arrangement and operation of the object, that is, the scene description in advance by determining the size of an external reference object such as a still image or a moving image referenced from the scene description. It must be designed to be in a state. In reality, however, there are still cases where it is insufficient. Designing a scene description to reflect intent for any given reference object is not impossible at all, but for that purpose, the author of the BIFS source that is the scene description is sufficient. Consideration is essential. For example, when the BIFS source illustrated in FIGS. 1 to 3 refers to an object of horizontal 320 × vertical 240 pixels, the display shown in FIG. 4 can be performed. However, if the object sizes are different, in extreme cases, only a portion of the referenced object is displayed.
[0027]
Also, if the BIFS source creator creates a BIFS source with a specific intention in advance and then replaces an object that is referred to by a third party, the BIFS source may not be expressed as intended. The problem is that, for example, a designer who is familiar with the MPEG-4 standard designs a BIFS source with the intention, and then easily generates MPEG-4 data including an encoded BIFS or BIFS source and an encoder that generates BIFS. This is especially true when providing tools. In such a case, it may be assumed that the user wants to embed a still image or video that the user wants using the provided BIFS or BIFS source, or a tool, etc. It is necessary to prepare in advance an object of a size suitable for.
[0028]
In order to cope with the above problem, a method of embedding the object size expected in the BIFS source as a comment or a function for converting the object size expected in the provided tool is embedded. However, these methods are inconvenient because they are realized only by functions unique to the tool, or the user needs to read the BIFS source and make an independent determination. In addition, when implementing with the function specific to the tool, it is necessary to give the BIFS (or BIFS source) a unique extension, or to prepare different information different from the BIFS, which also causes compatibility problems. .
[0029]
[Non-patent literature]
Standard Recommendation ISO / IEC 14496-1
[0030]
[Problems to be solved by the invention]
The present invention solves the above-mentioned problems individually or collectively, and aims to generate an object that meets the intention of scene description.
[0031]
[Means for Solving the Problems]
The present invention has the following configuration as one means for achieving the above object.
[0032]
In the present invention, when an object related to object-based encoding is generated, information indicating the position of an object entity is acquired from a scene description for encoding a scene, and is referenced based on the acquired position information. It is characterized in that the object entity is read, the size information is extracted from the read object entity, and the size of the object to be referred to is different from the scene description based on the extracted size information.
[0033]
In addition, reference information that indirectly references the object entity is extracted from the scene description for encoding the scene, the object entity and size information is acquired from the extracted reference information, and the acquired object entity and size information is acquired. Thus, the size of the object is changed.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, image processing according to an embodiment of the present invention will be described in detail with reference to the drawings.
[0035]
The first embodiment is an example that solves the above-mentioned problem in the simplest manner, and arranges a proxy object created in advance as an expected size as a URL indicating an external reference object in a BIFS source. In the second embodiment to be described later, a URL that indirectly references an object that is actually referred to is arranged in a URL indicating an external reference object in the BIFS source. More complicated processing than that in the first embodiment is performed. Need.
[0036]
The MPEG-4 data generation apparatus described in the first embodiment is an object data generation apparatus related to ISO / IEC14496 (MPEG-4) using object-based encoding. The MPEG-4 data generation apparatus described here may be expressed in different configurations in detail, but may be configured by hardware or software by supplying software to a computer apparatus. It is feasible and its components can be rearranged, integrated and rearranged as long as they meet the essence of the present invention.
[0037]
In the following description, for simplification, the BIFS source shown in FIGS. 1 to 3 and the expected display effect shown in FIG.
[0038]
[First Embodiment]
As described above, assuming that the BIFS source is described in an expression based on VRML, for example, a portion to which a specific object is pasted is described as shown in FIG. In the example of the BIFS source shown in FIGS. 1 to 3, the node described in Shape is described as a child node of the Transform2D node that arranges the node. However, in FIG. Show. Suppose we want to use an external reference object using a BIFS source containing such a description.
[0039]
In the BIFS source shown in FIG. 5, url is described as an external reference object, and its value is dummy1. img. The object 301 indicated by the value of url is a reference object (in other words, a proxy object) prepared in advance by the BIFS source creator, and is not an external reference object that the BIFS source user wants to use.
[0040]
As described above, the first embodiment is an example in which the BIFS source creator designates an object for reference in advance. The MPEG-4 data generation apparatus according to the first embodiment operates with reference to a previously designated reference object.
[0041]
[Constitution]
FIG. 6 is a block diagram showing a configuration example of a computer apparatus when an MPEG-4 data generation apparatus is configured by software.
[0042]
The CPU 101 includes a RAM 103, an operation unit 104, a monitor 106, and the like according to data stored in the ROM 102 and the hard disk (HD) 109, a control program, an operating system (OS), an application program for generating MPEG-4 data, and the like. Various types of control and processing related to MPEG-4 data generation are performed.
[0043]
A RAM 103 is a work area for the CPU 101 to execute various programs and a temporary storage area for data input from the operation unit 104.
[0044]
The operation unit 104 is used by a user to input setting data for various controls and processes related to MPEG-4 data generation using a mouse or a keyboard.
[0045]
The monitor 106 is a CRT, LCD, or the like, and displays an image processing result, a user interface screen at the time of operation by the operation unit 104, and the like.
[0046]
A network interface card (NIC) 108 is a communication interface for exchanging various data including BIFS data, MPEG-4 data, and objects with other computer apparatuses via a network.
[0047]
Although not shown in FIG. 6, the operation unit 104, the monitor 106, the NIC 108, and the HD 109 are each connected to the system bus 110 of the host computer via a predetermined interface.
[0048]
FIG. 7 is a block diagram showing a functional configuration example of the MPEG-4 data generation apparatus.
[0049]
In FIG. 7, the BIFS source editor module 406 creates a BIFS source 408 by a user operation 407. The BIFS source editor module 406 is necessary when creating a BIFS source, but is not necessarily required in the first embodiment.
[0050]
The BIFS source interpretation module 401 reads a BIFS source 408 created in advance and interprets its contents. Such a BIFS source interpretation module is generally used in various forms including a reference code published by ISO as an MPEG-4 standard.
[0051]
The size interpretation module 402 acquires the size of a still image or a moving image with reference to an object. FIG. 7 shows an example in which the proxy object 409 is read.
[0052]
The object transcoder module 403 converts an input moving image or still image object into a designated size. Such transcoders are also commonly used in various forms.
[0053]
The BIFS encoder module 404 receives the BIFS source or the result of interpreting the BIFS source as input, and generates the BIFS data 410. Similar to the BIFS source interpretation module 401, it is generally used in various forms including reference codes published by ISO.
[0054]
The MPEG-4 data generation module 405 finally generates valid MPEG-4 data 411.
[0055]
In the example of the BIFS source shown in FIG. 5, only one still image, dummy1. img is referred to, which corresponds to the proxy object 409 shown in FIG. Needless to say, the example of the BIFS source corresponds to the BIFS source 408.
[0056]
[Operation]
FIG. 8 is a flowchart for explaining the operation of the MPEG-4 data generation apparatus.
[0057]
The CPU 101 reads the BIFS source 408 (S501), and interprets the BIFS source 408 by the BIFS source interpretation module 401 (S502). In general, the BIFS interpretation module 401 expands a so-called scene graph internally described in the BIFS source on a memory (such as the RAM 103) (S503). Alternatively, an event may be generated internally according to the contents described in the BIFS source, and the processing function may be called in an event driven manner. In any case, a URL indicating the entity of the url specified external reference object is acquired by this interpretation function (S504). FIG. 8 shows the acquired URL as URL information 412.
[0058]
The URL information 412 acquired at this stage indicates a reference object (proxy object 409) described in the BIFS source 408 prepared in advance by the BIFS source creator, and is designated by the user who actually uses the BIFS source. It is not an object.
[0059]
Next, the CPU 101 passes the acquired URL information 412 to the size interpretation module 402. The size interpretation module 402 reads the proxy object 409 referred to by the designated URL (S505), and acquires size information 413 that gives the size of the proxy object 409 (S506). In this example, the proxy object 409 is the dummy1. It corresponds to img. A specific method for obtaining the size of the object is generally used by each module itself, and since the method is various, it will not be described in detail. For example, referring to the header of the JPEG image, etc. Getting the size is quite easy.
[0060]
The acquired size information 413 is read into the object transcoder module 403. Here, for the first time, a reference object 414 that is an object that the BIFS source user actually wants to use is used.
[0061]
As described above, the object transcoder module 403 has a function of converting an input moving image or still image object into a specified size. That is, the object transcoder module 403 reads the reference object 414 and the size information 413 that are objects that the BIFS source user actually wants to use (S507). If necessary, the object transcoder module 403 converts the reference object 414 according to the size information 413. The reference object data 415 having the designated size is output (S508). Of course, if the size of the reference object 414 matches the size information 413, the object transcoder module 403 does not perform the conversion process.
[0062]
When the process of the object transcoder module 403 is performed, the size of the reference object 414 is converted, so that an object having a size suitable for the intention of the creator of the BIFS source is generated.
[0063]
For example, dummy1. If img is a JPEG image, the size is 240 × 320 pixels, and the reference object 414 used by the BIFS source user is an image of 480 × 640 pixels, the object transcoder module 403 The reference object 414 is converted into reference object data 415 that is 240 × 320 pixels. If this size conversion is not executed, a double object vertically and horizontally different from the intention of the creator of the BIFS source is displayed.
[0064]
On the other hand, the BIFS encoder module 404 encodes and outputs BIFS data 410 from the BIFS source 408 according to the interpretation of the BIFS source interpretation module 401 (S509).
[0065]
Finally, the MPEG-4 data generation module 405 generates valid MPEG-4 data from the reference object data 415 converted from the reference object 414 and the BIFS data 410 in accordance with the intention of the creator of the BIFS source. 411 is generated (S510).
[0066]
In the above description, the association of the reference object 414 replaced with the URL of the proxy object 409 referred to by the BIFS source 408 has not been described. Such association can be realized in various ways under the control of the application program. For example, if the correspondence list of the reference object 414 to be replaced with the URL of the proxy object 409 is held in some form, this is easily realized. Alternatively, after extracting the URL information 412, the URL of the proxy object 409 included in the data obtained as a result of interpreting the BIFS source may be changed to the URL of the reference object 414. Alternatively, it can be realized by rewriting the URL of the proxy object 409 included in the BIFS source 408. Furthermore, the URL does not always indicate a file storing the object, but may be an ID referring to the bit stream of the object. In this case, there may be no contradiction even if the URL is not rewritten. These methods can be implemented in various ways according to the configuration and purpose of the application, and the essence of the invention does not depend on these mounting methods.
[0067]
In addition, the MPEG-4 data generation apparatus according to the embodiment does not necessarily have a configuration in which various modules exist independently as described above. The simplest example is evident in the BIFS source interpretation module 401 and the BIFS encoder module 404. These two modules can be mounted as one module if the function of extracting the URL information 412 is realized. In the first embodiment, the function of converting the size of the reference object 414 with reference to the proxy object 409 included in the BIFS source 408 is performed as a series of processes, and the independence of each module is not the essence of the invention. .
[0068]
Second Embodiment
The image processing according to the second embodiment of the present invention will be described below. Note that in the second embodiment, the same reference numerals as those in the first embodiment denote the same components, and a detailed description thereof will be omitted.
[0069]
In the second embodiment, a URL that indirectly references an object to be actually referred to is arranged at the URL indicated by the external reference object in the BIFS source. FIGS. 9 and 10 show examples of specific BIFS sources, which show consecutive BIFS sources.
[0070]
In the example shown in FIGS. 9 and 10, three external reference objects are specified in the BIFS source described in the VRML format. The position of each external reference object is indicated by url, and its URL is indicated by album. A description such as an xml relative path and xpointer for giving the processing is included. As for the description method of this URL, although an uncommon scheme such as “cccc:” is described as an example, the URL itself is a completely normal URL.
[0071]
The MPEG-4 data generation apparatus using the BIFS source shown in FIGS. 9 and 10 can use almost the same configuration as that of FIG. 7 described in the first embodiment. However, the data content included in the URL information 412 and the processing content of the size interpretation module 402 are different. Below, it demonstrates centering on a different point from 1st Embodiment.
[0072]
First, it should be noted that the data content included in the URL information 412 does not directly represent the object itself referred to by the URL itself, unlike the first embodiment. The album. xml is the extension. It is described in XML (extensible Markup Language) as symbolized by xml. In particular, the assumption that the data format is determined by the extension cannot be given. Therefore, in this example, a scheme “cccc:” for indirectly indicating the data format is used. Of course, since there is a degree of freedom in the method of giving the data position using the URL, it may be specified in any format. The essence of the present invention is to refer to XML data characteristic of the present invention using a URL. As described above, the data content included in the URL information 412 is data content that refers to XML data as three URLs in this example.
[0073]
Next, processing contents of the XML data and the size interpretation module 402 will be described.
[0074]
Unlike the first embodiment, the size interpretation module 402 of the second embodiment refers to the XML data specified by the URL. The URL specified by normal VRML must indicate the entity of an interpretable image specified by, for example, ImageTexture or MovieTexture. Therefore, the final image entity is referred to through the XML data by the scheme “cccc:”. This processing is performed by the size interpretation module 402.
[0075]
XML data referenced by the “cccc:” scheme in the example BIFS source shown in FIGS. For example, xml is described as XML data 701 in FIG. FIG. 11 shows the relationship of the XML data referred to by the URL information 412, and details thereof will be described in detail below.
[0076]
The size interpretation module 402 according to the second embodiment is configured so that the XML data 701, that is, album. Interpret xml. Further, by interpreting the internal reference of the XML data, album. Two SRC attributes described in xml are interpreted, and bifssrc01. xml 702 and mycol01. xml 703 is expanded.
[0077]
Additional information is added to the URLs described in FIGS. 9 and 10 by xpointer (XML Pointer Language). The size interpretation module 402 interprets the album. With the xml and its SRC attribute, the entity of the specific image must be finally obtained. As described above, this is essential from the request that the URL refers to the image. In the first URL, the size interpretation module 402 searches under the condition that the NAME of the GROUP element is “BUILT_IN” and the ID of the IMG element that is a child element is “BG1”.
[0078]
Such processing conditions are described as follows in the example of the BIFS source shown in FIG. The entity of ImageText acquired in this way is bakground. JPG. This is described in album. bifssrc01.referenced via xml. It is described in xml.
#Xpointer (// GROUP [NAME = "BUILT_IN"] / IMG [ID = "BG1"])
[0079]
Similarly, the remaining two URLs are interpreted by the size interpretation module 402. The following URL is described as follows.
#Xpointer (// GROUP [NAME = "USER"] / IMG)
& Xpointer (// GROUP [NAME = "BUILT_IN"] / IMG [ID = "PH1"] / SIZE)
[0080]
Here, in the first xpointer, an IMG element that is a child element whose NAME of the GROUP element is “USER” is designated. As a result, the acquired ImageText entity is mycol01. DCIM / 233xxxx / IMG — 3380. described in the first IMG element of xml. Become JPG.
[0081]
However, unlike the first URL, in the following xpointer, a search is performed on the condition that the NAME of the GROUP element is “BUILT_IN” and the ID of the child IMG element is “PH1”, and the SIZE of the child element is added as additional information. To do. The size interpretation module 402 uses the additional information to specify the first obtained DCIM / 233xxxx / IMG — 3380. The information for changing the size of the JPG is obtained. That is, the reference object 414 and the size information 413, which are file entities, are obtained, and the object transcoder module 403 continues the same processing as in the first embodiment.
[0082]
Similarly, the third URL can be processed, but the description thereof is omitted.
[0083]
As described above, the second embodiment uses indirect reference using XML when referring to an object by a URL, and this point is different from the first embodiment. Also, the size information 413 that gives the size of the object is not acquired with reference to the proxy object 409, but is extracted from the XML using a specific scheme.
[0084]
As is apparent from the XML example of FIG. 11 that is referred to by the URL, this XML data gives the XML for the purpose of the BIFS source creator to convey the intention and the object group that the BIFS source user wants to refer to. In other words, it includes XML that should be called album XML. By associating the intention of the creator of the BIFS source with the intention of the user of the BIFS source through XML, the above-described problem can be solved.
[0085]
In order to simplify the description, the reference of the reference object 414 acquired by the size interpretation module 402 is input to the object transcoder module 403 as it is. There must be some data exchange between them. Such a mechanism may be created by a specific interface, or may be realized by process communication or the like.
[0086]
In the above example, the description is made as if it were written by xpointer. However, it is essential to describe the reference path using XML, and it is clear that it works even if the processing scheme itself is different. It is.
[0087]
Also, album. bifssrc01.xml referenced as xml. Although an example in which xml or the like is described as different XML data has been shown, this may be described as the same data for the sake of clarity. A specific example is shown in FIG.
[0088]
In the example shown in FIG. 12, the bissrc01. The contents of xml are described as they are. In this case, it is expected that the same result is obtained by interpreting the URL. Of course, mycol01. xml may be described as the same XML base data as well.
[0089]
The point to be noted here is that, without changing the description contents of the BIFS source, only the external reference object that the user of the BIFS source wants to use is described in XML, and the object conversion suitable for the intention of the creator of the BIFS source is performed. That is what can be done. The BIFS source creator provides the BIFS source itself and the XML data to which the URL is referred, and the BIFS source user only needs to describe the URL of the object to be referred to in the XML. On the other hand, the XML created by the user of the BIFS source does not include a method directly related to the BIFS source. Therefore, the user does not need to reflect the intention by referring to the BIFS source.
[0090]
By the way, in the second embodiment, the size information expected in XML is described as if it is in an application-specific format. For example, the size information is DIG35 (Digital Imaging Group, DIG35 Specialization, Metadata for Digital Images), etc. Or may be described in some album format using XML, which has been standardized in recent years. A more versatile method can be realized by describing in such a standardized or widely used description format.
[0091]
As described above, according to the above-described embodiment, the width and height of the object are extracted from the URL described in the BIFS source by a method consistent with the definition of ISO / IEC 14496-1, and this is used to extract the object's width and height. The size can be changed. Therefore, even if a pre-created or referenced object is an unresolved BIFS source, a method is provided that uses the expected width and height of the referenced object when the object is determined. And can be expressed in accordance with the intention of the creator.
[0092]
The MPEG-4 data generation apparatus and its module configuration are not necessarily limited to the field of application programs that run on a personal computer. The MPEG-4 data generation apparatus can also be applied to hardware devices such as a digital camera, a camcorder, a mobile phone, and a digital recorder.
[0093]
The object entity is obtained from the position of the object described in the scene description, the size of the object entity is extracted, and the object size different from the object referenced by the scene description to be actually referenced from the scene description is determined. change. This makes it possible to change the size of the object that does not match the size of the object intended when creating the scene description, and the object that has been created in advance or to be referenced is an unresolved BIFS source or scene description. However, when the object is determined, the width and height expected for the object to be referred to can be used to express the BIFS data according to the intention of the creator.
[0094]
Also, the size of the object to be referred to is changed from the size of the object extracted from the information that indirectly references the object described in the scene description and the object that should be referred to actually extracted from the information that indirectly references the object. By doing so, the size of the object that does not match the size of the object intended when the scene description is created is changed. As a result, even if the object created in advance or the object to be referenced is an unresolved BIFS source or scene description, the width and height expected for the object to be referenced are used when the object is determined. Thus, an expression suitable for the intention of the creator of the BIFS data becomes possible.
[0095]
In this way, while using the object-based encoding method without contradicting the object-based encoding method, even if the object that has been created in advance or the object to be referenced is an unresolved BIFS source or scene description, When the object is determined, the width and height expected for the object to be referenced is used to obtain a representation that fits the intention of the BIFS source creator.
[0096]
Furthermore, the present invention may be applied to a system composed of a plurality of devices (for example, a host computer, interface device, scanner, printer, etc.) or an apparatus composed of a single device (for example, a mobile phone). . Even if the modules constituting the MPEG-4 data generation apparatus are distributed to a plurality of devices, the plurality of devices can be used as long as they can communicate interactively by an appropriate communication function or data sharing. Configure. Alternatively, some of the plurality of devices may be located away from each other by the Internet or other communication functions.
[0097]
Another object of the present invention is to supply a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and the computer (or CPU or CPU) of the system or apparatus. Needless to say, this can also be achieved by the MPU) reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0098]
Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
[0099]
When the present invention is applied to the storage medium, the storage medium stores program codes corresponding to the flowcharts described above.
[0100]
【The invention's effect】
As described above, according to the present invention, it is possible to generate an object that meets the intention of the scene description.
[Brief description of the drawings]
FIG. 1 is a diagram showing a description example of a BIFS source based on VRML;
FIG. 2 is a diagram showing a description example of a BIFS source based on VRML;
FIG. 3 is a diagram showing a description example of a BIFS source based on VRML;
FIG. 4 is a diagram schematically showing a display effect expected as a result when the BIFS source shown in FIGS. 1 to 3 is encoded;
FIG. 5 is a diagram showing an example of a BIFS source in the first embodiment;
FIG. 6 is a block diagram showing a configuration example of a computer apparatus when an MPEG-4 data generation apparatus is configured by software;
FIG. 7 is a block diagram showing a functional configuration example of an MPEG-4 data generation device;
FIG. 8 is a flowchart for explaining the operation of the MPEG-4 data generation apparatus;
FIG. 9 is a diagram showing an example of a BIFS source in the second embodiment;
FIG. 10 is a diagram showing an example of a BIFS source in the second embodiment;
FIG. 11 is a diagram showing a relationship between XML data referred to by URL information;
FIG. 12 is a diagram illustrating another example of XML data referred to by URL information.

Claims (14)

A generation method for generating an object related to object-based encoding,
Obtain information indicating the position of the object entity from the scene description to encode the scene,
Read the entity of the referenced object based on the acquired location information,
Extract the size information from the read object,
A generation method characterized by changing the size of an object to be referred to, which is different from the scene description, based on the extracted size information. The generation method according to claim 1, wherein the object to be referred to is specified by an application. A generation method for generating an object related to object-based encoding,
Extracting the reference information that indirectly references the substance of the object from the scene description for encoding the scene,
Get the entity and size information of the object from the extracted reference information,
A generation method, wherein the size of the object is changed according to the acquired entity and size information. In addition, scene data encoding by object-based encoding is performed,
4. The generation method according to claim 1, wherein encoded object data is generated from the encoded scene data and the object. 5. The generation method according to any one of claims 1 to 4, wherein the object-based encoding conforms to or conforms to MPEG-4. The generation method according to claim 3, wherein the reference information is described in XML and is given size information of an object. The generation method according to claim 6, wherein information that gives an entity of an object is added to the reference information. 8. The generation method according to claim 7, wherein specific information for specifying an object is added to the size information and / or the information that gives the substance of the assigned object. 9. The generation method according to claim 8, wherein the specific information is described as an ID. The generation method according to claim 3, wherein the reference information is described by a protocol scheme for acquiring an entity of an object. A program for controlling an information processing apparatus to execute generation of an object according to any one of claims 1 to 10. A recording medium on which the program according to claim 11 is recorded. A generation device for generating an object related to object-based encoding,
An acquisition means for acquiring information indicating a position of an object entity from a scene description for encoding a scene;
Reading means for reading the substance of the object referred to based on the acquired position information;
Extraction means for extracting size information from the read object,
A generating apparatus comprising: changing means for changing a size of an object to be referred to, which is different from the scene description, based on the extracted size information. A generation device for generating an object related to object-based encoding,
Extraction means for extracting reference information for indirectly referring to the substance of the object from the scene description for encoding the scene;
An acquisition means for acquiring the entity and size information of the object from the extracted reference information;
And a changing unit that changes the size of the object based on the acquired entity and size information.

Images