JP2006086745A - シーン記述情報作成装置、シーン記述情報作成方法及びプログラム - Google Patents

Abstract

【課題】オブジェクトにより構成されるシーンを記述するシーン記述情報を容易に作成する。
【解決手段】シーンにおいてオブジェクトの配置が空間的・時間的に固定された状態であるオブジェクトレイアウトを作成する。次に、作成された複数のオブジェクトレイアウトを切り替えるための遷移情報を設定する。その後、予め記憶しているシーン記述情報の定型部分に、作成したオブジェクトレイアウトのレイアウト構成情報と設定した遷移情報とを合成することにより、シーン記述情報を作成する。
【選択図】図２

Description

本発明は、オブジェクトにより構成されるシーンを記述するシーン記述情報を作成するシーン記述情報作成装置、シーン記述情報作成方法及びプログラムに関する。

近年、符号化効率が高く、オブジェクト単位で処理が可能な画像圧縮符号化標準であるＭＰＥＧ−４（Moving Picture Experts Group 4）を用いて、動画、静止画、音声、テキスト等の複数のメディアを組み合わせたマルチメディアコンテンツをストリーミング配信することが行われている。このようなマルチメディアコンテンツがサーバ装置から通信ネットワークを介してストリーミング配信される場合には、コンテンツ利用者（視聴者）は、通信ネットワークに接続されているMPEG-4再生機能を有する複数の情報端末でそのコンテンツを再生し、視聴することができる。

ＭＰＥＧ−４標準では、マルチメディアコンテンツの再生シーンを、その構成要素である動画、静止画、音声、テキスト等のオブジェクトごとに分けて送信側で圧縮符号化し、受信側でシーンを再合成する。シーンの再合成には、シーン記述情報が利用される。このシーン記述情報には、シーンを構成する各オブジェクトがシーンの出力画面において、どの位置に配置されており、どのように動くのかを示す情報が記述されている。また、シーン全体の管理のために、シーンを構成する各オブジェクトには識別番号が付けられている。

シーン記述情報の作成には、シーン記述言語が使用される。ＭＰＥＧ−４標準にはシーン記述言語としてＢＩＦＳ（Binary Format for Scene）が用意されている。
マルチメディアコンテンツのシーンを作成する者（シーン作成者、ユーザ）は、シーン記述言語を用いてシーン記述情報を作成したり、編集したりして、意図する任意のシーンを作成する。シーン作成者は、例えば、時間と共にオブジェクトの位置や大きさが変化したり、特定のオブジェクトの表示／非表示が切り替わったりするシーンを作成することができる。また、これらの動作が視聴者によるマウスクリック等のイベントにより行われるようなシーンを作成することもできる。

しかし、シーン記述情報をＢＩＦＳを用いて直接作成、編集することは、専門的な知識が必要であると共に手間がかかる。そこで、近年、シーン記述情報をより容易に編集するための方法が提案されている（例えば、特許文献１参照）。

特許文献１は、音声データに対応するテキストデータを新たに生成して、そのテキストデータを音声と同期して画面に表示させる場合のシーン記述情報の編集方法を提案している。具体的には、特許文献１では、ＡＶビットストリーム中の映像データ及び音声データを解析して、音声データに対応するテキストデータを生成すると共に、生成されたテキストデータごとにその表示タイミングとなるイベントを検出して管理テーブルに記憶しておく。そして、これらの情報に基づいてシーン記述情報にＢＩＦＳコマンドの記述を追加する。
特開２００２−７７９０２号公報（第４〜６頁、図１）

しかし、特許文献１に開示されている技術は、単にＭＰＥＧ−４ストリームデータにおいて、音声データに対応するテキストデータを映像及び音声と同期させて再生するようにシーン記述情報を編集するものであり、シーン作成者が意図するような任意のシーンを作成、編集することはできない。

よって、このような任意のシーンを作成、編集する場合には、依然として、ＢＩＦＳを用いてシーン記述情報を直接作成、編集する必要がある。しかし、上述したように、このような作業は、専門的な知識が必要であると共に手間がかかるものである。
特に、所定の条件に従ってオブジェクトの位置や大きさが変化するような複雑なシーンを記述するシーン記述情報の作成は容易ではない。

本発明は、このような従来の問題点に鑑みてなされたものであり、シーン記述情報を容易に作成することが可能なシーン記述情報の作成装置、作成方法及びプログラムを提供することを目的とする。
本発明は、使い易いシーン記述情報の作成装置と作成方法を提供することを他の目的とする。

この目的を達成するため、本発明の第１の観点に係るシーン記述情報作成装置は、
オブジェクトにより構成されるシーンを記述するシーン記述情報を作成するシーン記述情報作成装置であって、
ユーザの操作に応答して、シーンにおけるオブジェクトのレイアウトを作成するレイアウト作成手段と、
ユーザの操作に応答して、前記レイアウト作成手段が作成した複数のレイアウトのうちから選択される遷移元のレイアウトと遷移先のレイアウトとを特定する遷移経路情報と、遷移元のレイアウトから遷移先のレイアウトに遷移するための条件を特定する遷移条件情報と、を含む遷移情報を生成する遷移情報生成手段と、
前記遷移情報生成手段が生成した遷移情報に基づいて、シーン記述情報を作成するシーン記述情報作成手段と、
を備えることを特徴とする。

前記レイアウト作成手段は、例えば、ユーザの操作に応答して、レイアウトを構成するオブジェクト、該オブジェクトのサイズと位置とを特定する構成情報を特定する構成情報特定手段と、前記構成情報特定手段で特定された構成を備えるレイアウトを記憶するレイアウト記憶手段と、を備える。

前記遷移情報生成手段は、例えば、前記レイアウト作成手段が作成したレイアウトを表すシンボルを表示するシンボル表示手段と、ユーザの操作に応答して、前記シンボル表示手段により表示されたシンボルのうちから任意のものを遷移元或いは遷移先として選択するシンボル選択手段と、シンボルの選択に応答して、前記遷移情報を設定するための画面を表示して、遷移情報の入力を受け付ける手段と、を備える。

前記遷移情報生成手段は、例えば、遷移を起こさせるイベントと遷移のタイミングとの少なくとも１つを特定することにより遷移条件を特定する。

前記遷移情報生成手段が生成した遷移情報が定義する遷移元のレイアウトを表す遷移元シンボルと、遷移先のレイアウトを表す遷移先シンボルと、遷移元シンボルから遷移先シンボルへの遷移を示す記号と、をそれぞれ表示する遷移情報表示手段をさらに配置してもよい。この前記遷移情報表示手段は、前記遷移情報生成手段が生成した遷移情報が定義する遷移条件を示す情報を表示してもよい。

前記遷移情報生成手段が生成した遷移情報を順次記憶する遷移情報記憶手段を備え、前記シーン記述情報作成手段は、前記遷移情報記憶手段に記憶された複数の遷移情報に基づいて、前記シーン記述情報を作成する、ように構成してもよい。

本発明の第２の観点に係るシーン記述情報作成方法は、
オブジェクトにより構成されるシーンを記述するシーン記述情報を作成するシーン記述情報作成方法であって、
ユーザの操作に応答して、シーンにおけるオブジェクトのレイアウトを作成するレイアウト作成ステップと、
前記レイアウト作成ステップで作成した複数のレイアウトのうちから遷移元と遷移先とを含む遷移経路と遷移経路ごとの遷移条件とを特定する遷移情報をユーザの操作に応答して特定する遷移情報特定ステップと、
前記レイアウト作成ステップで作成した複数のレイアウト及び前記遷移情報特定ステップで特定した遷移情報に基づいて、シーン記述情報を生成するシーン記述情報生成ステップと、
を有することを特徴とする。

本発明の第３の観点に係るプログラムは、シーン記述情報を作成するプログラムであって、
コンピュータを、上述のシーン記述情報作成装置を構成する各手段として機能させ、或いは、コンピュータに、上述のシーン記述情報作成方法の上述の各ステップを実行させる。
さらに、このプログラムを記録媒体に格納して使用・配布したり、搬送波に重畳して通信回線上を送受信するなどしてもよい。

本発明によれば、オブジェクトにより構成されるシーンを記述するシーン記述情報を容易に作成することができる。

以下、本発明の実施形態に係るシーン記述情報作成装置を図面を参照して説明する。
まず、シーン記述情報の作成の前提となるＭＰＥＧ−４（Moving Picture Experts Group 4）を用いたマルチメディアコンテンツのストリーミング配信について説明する。

ＭＰＥＧ−４では、オブジェクト符号化方式が用いられる。オブジェクト符号化方式とは、マルチメディアコンテンツの再生シーンを、その構成要素である動画、静止画、音声、テキスト等といったメディアごとに分けて、各メディアを別個のオブジェクト（対象物）として扱い、オブジェクトごとにそのオブジェクトに最適な方法で符号化を行うものである。例えば、コンテンツの再生シーンが、背景の静止画像、２つの動画像、各動画像に対応する音声、１つのテキストの組み合わせで構成されているような場合には、静止画１つ、動画２つ、音声２つ、テキスト１つ、の合わせて６つのオブジェクトに分けることができる。このようなオブジェクト符号化方式を用いることにより、符号化効率を向上させることができると共に、オブジェクトごとに操作することが可能となる。

このため、ＭＰＥＧ−４を用いてストリーミング配信されるビットストリームデータには、各オブジェクトに対応するメディアごとのエレメンタリストリーム（Elementary Stream）と、各オブジェクトがシーンの出力画面のどの位置に配置されてどのように動いてシーンを構成しているかを示すシーン記述情報と、エレメンタリストリームとシーン記述情報とを関連付けるオブジェクト・ディスクリプタ（Object Descriptor）と、が含まれる。

背景技術においても説明したように、シーン記述情報はシーン記述言語により記述され、ＭＰＥＧ−４においてはシーン記述言語としてＢＩＦＳ（Binary Format for Scene）が用意されている。

このシーン記述情報では、シーンの構成情報がツリー構造で表現される。そして、このツリー構造の分岐点である各ノードに、シーンを構成する各オブジェクトが関連付けられる。具体的には、ノードには、関連付けられたオブジェクトの空間的・時間的な位置関係や属性（光源、形状、材質、色、座標等）等の情報が記述される。また、ノードは、その特性を記述するフィールドデータを含んでいる。このフィールドデータによりオブジェクトの表示位置、表示サイズ等が決定される。従って、このようなノード及びノードに含まれるフィールドによって、シーンの表示が決定される。

シーン記述情報では、上位のノードの属性を下位のノードに継承することができ、また、下位のノードをグループ化して複数のオブジェクトを一のオブジェクトのように扱うこともできる。

また、シーン記述情報は動的に変更することができる。例えば、ノードの追加、置換、削除、属性変更等を行うことにより、オブジェクトごとに位置の変更、表示／非表示の選択等を行うことができる。また、この動的な変更を、視聴者によるマウスクリック、キーボードからのコマンド入力等のイベントにより行うようにすることもできる。例えば、ストリームデータの受信側で特定のオブジェクトをマウスクリックすると、そのオブジェクトが拡大表示されるようにすることもできる。これにより、視聴者からインタラクティブなオブジェクト操作をすることができる。

ストリームデータに含まれている情報の一つであるオブジェクト・ディスクリプタは、シーン記述情報に記述されているオブジェクトと、符号化されているメディアごとのエレメンタリストリームと、を関連付ける情報である。

シーン記述情報に記述される各オブジェクトには、それぞれに異なるオブジェクト・ディスクリプタＩＤが割り当てられている。このオブジェクト・ディスクリプタＩＤにより、対応するオブジェクト・ディスクリプタが識別される。更に、オブジェクト・ディスクリプタには、各エレメンタリストリームとの関連付け情報が記述されるエレメンタリストリーム・ディスクリプタがある。このエレメンタリストリーム・ディスクリプタにはエレメンタリストリームＩＤが記述されており、これにより各エレメンタリストリームが識別される。このようなオブジェクト・ディスクリプタにより、シーン記述情報の各オブジェクトとエレメンタリストリームが関連付けられ、シーン記述情報に基づくシーンの再合成が行われる。

マルチメディアデータをストリーミング配信する場合には、配信側においてマルチメディアデータをＭＰＥＧ−４フォーマットに変換して、エレメンタリストリームと、シーン記述情報と、オブジェクト・ディスクリプタと、を含むデータストリームとして伝送する。受信側では、これらの情報に基づいてシーンを再合成する。
以上のことからわかるように、オブジェクトがシーンの出力画面上で空間的・時間的にどのように配置されるかといったシーンの構成自体は、シーン記述情報により決定される。

（実施形態１）
実施形態１に係るシーン記述情報作成装置の構成を図１に示す。
実施形態１に係るシーン記述情報作成装置は、ＭＰＥＧ−４フォーマットにおけるＢＩＦＳを用いたシーン記述情報を作成する装置である。
このシーン記述情報作成装置は、図示するように、入力部１１と、表示部１２と、記憶部１３と、制御部１４と、を備え、各部はバス１０を介して互いに接続されている。

入力部１１は、シーン記述情報を作成する者（シーン作成者、ユーザ）により様々な情報が入力されるものであり、キーボード、マウス等の入力装置等を備える。表示部１２は、様々な情報を表示するものであり、表示画面等の画像出力装置等を備える。記憶部１３は、様々な情報やプログラムを記憶するものであり、ハードディスク等の補助記憶装置等を備える。制御部１４は、データの演算処理を行うと共に、バス１０を介して入力部１１、表示部１２、記憶部１３を制御するものであり、ＣＰＵ（Central Processing Unit）１４１、ＲＯＭ（Read Only Memory）１４２、ＲＡＭ（Random Access Memory）１４３等を備える。

図２は、シーン記述情報作成装置の機能ブロック図である。レイアウト作成部２１と、遷移情報設定部２２と、シーン記述情報合成部２３と、は制御部１４が記憶部１３に格納されているプログラムを実行することにより実現する機能である。

レイアウト作成部２１は、シーンの出力画面においてオブジェクトの配置が固定された状態であるオブジェクトの配置レイアウト（オブジェクトレイアウト）を、入力部１１に入力される入力情報に基づいて作成するものである。
シーン作成者は、意図するオブジェクトレイアウトを作るために、入力部１１に、シーン出力画面に対するオブジェクトの位置、大きさ等の情報を入力する。レイアウト作成部２１は、この入力情報に基づいてオブジェクトを適宜配置していくことにより、オブジェクトレイアウトを作成する。

オブジェクトレイアウトの作成に際し、レイアウト作成部２１は、図３（ａ）、（ｂ）に示すオブジェクト追加画面３１とレイアウト確認画面３２とを表示部１２に表示する。なお、画面表示に一般的なマルチウィンドウ機能を用いることにより、この二つの画面３１、３２を一の表示画面に表示させることができる。

図３（ａ）に示すオブジェクト追加画面３１は、任意のレイアウトに関し、オブジェクトごとに配置情報を設定するための画面であり、設定に必要な項目欄を備える。シーン作成者は、このオブジェクト追加画面３１を利用して、シーンに配置するオブジェクトのオブジェクト名、解像度、位置座標、表示倍率等を設定する。オブジェクト名は複数のオブジェクトを識別するためのものであり、解像度、位置座標、表示倍率は、オブジェクトレイアウトにおいてオブジェクトがどの位置にどの解像度と大きさで配置されるのかを示すものである。

図３（ｂ）に示すレイアウト確認画面３２には、オブジェクト追加画面３１を用いて設定された位置座標、表示倍率等に基づくオブジェクトの配置状態が表示される。レイアウト確認画面３２は画面全体がシーンの出力画面に対応しており、シーン作成者は、オブジェクトがシーンの出力画面のどの位置にどのような大きさで表示されるのかを確認することができる。なお、レイアウト確認画面３２で、一旦配置されたオブジェクトに対してマウスドラッグ等の操作を行うことにより、そのオブジェクトの配置位置を変更したり、表示の大きさを変更したりすることもできる。

これらの画面３１、３２により、シーン作成者は、レイアウトを確認しながらオブジェクトを配置することができ、オブジェクトレイアウトを容易に作成することができる。
レイアウト作成部２１は、作成したオブジェクトレイアウトのレイアウト構成情報を記憶部１３に出力する。

記憶部１３は、レイアウト作成部２１が出力した複数のレイアウト構成情報を図４に示すレイアウトテーブル３３に順次記憶する。

マルチメディアコンテンツのシーンは、レイアウト作成部２１で作成される複数のオブジェクトレイアウトを所定の条件に基づいて切り替えることにより作成される。

図２の遷移情報設定部２２は、オブジェクトレイアウトを切り替えるための情報である遷移情報（切替情報）を設定するものである。この遷移情報は、どのオブジェクトレイアウトからどのオブジェクトレイアウトへ切り替わるのかを示す遷移経路情報と、どのような場合にオブジェクトレイアウトが切り替わるのかを示す遷移条件情報とを含む。
遷移情報設定部２２は、入力部１１に入力される入力情報に基づいて、遷移情報を設定する。シーン作成者は、意図するシーンを作成するために、入力部１１に遷移経路、遷移条件等を入力する。

遷移情報の設定に際し、遷移情報設定部２２は、図５（ａ）、（ｂ）に示す遷移情報設定画面４１と遷移状態確認画面４２とを表示部１２に出力する。なお、画面表示に一般的なマルチウィンドウ機能を用いることにより、この二つの画面４１、４２を一の表示画面に表示させることができる。

図５（ａ）に示す遷移情報設定画面４１は、設定に必要な項目欄を備える。シーン作成者は、この遷移情報設定画面４１を利用して、遷移条件情報である遷移イベント対象、遷移イベント動作、遷移発生時間等を設定し、更に遷移経路情報である遷移元レイアウト名、遷移先レイアウト名を設定する。
この設定により、シーンにおいて遷移元レイアウトが表示されている状態で遷移条件が成立した場合に、遷移先のレイアウトに切り替わるような遷移情報を設定することができる。

例えば、遷移イベント対象を「動画１」、遷移イベント動作を「クリック」、遷移発生時間を「０（秒）」にして遷移を起こさせるイベントを設定し、遷移元レイアウト名を「レイアウト１」、遷移先レイアウト名を「レイアウト２」に設定した場合には、レイアウト１の動画１のオブジェクトをマウスクリックすると即座にレイアウト２に切り替わるような遷移情報が設定される。なお、この場合に遷移発生時間を例えば「１（秒）」に設定すると、クリックしてから１秒後に切り替わるような遷移情報が設定される。

また、遷移イベント対象及び遷移イベント動作を設定せずに遷移発生時間を「３０（秒）」にして遷移のタイミングを設定し、遷移元レイアウト名を「レイアウト２」、遷移先レイアウト名を「レイアウト１」に設定した場合には、レイアウト２が表示されてから３０秒経過するとレイアウト１に切り替わるような遷移情報が設定される。

また、レイアウトの遷移条件として、一瞬でレイアウトが切り替わる場合と徐々にレイアウトが変化していって切り替わる場合とを選択して設定することもできる。
更に、記憶部１３には複数の遷移条件が予め記憶されており、この遷移情報設定画面４１では、予め記憶されている複数の遷移条件の中から選択することにより、簡単な操作で迅速に遷移条件を設定することができる。

図５（ｂ）に示す遷移状態確認画面４２には、遷移情報設定画面４１を用いて設定された遷移情報に基づく遷移状態が模式的に表示される。
この遷移状態確認画面４２には、レイアウト作成部２１で作成されて記憶部１３に記憶されている複数のレイアウト構成情報に対応するレイアウトシンボルが表示されると共に、遷移情報設定画面４１で設定された遷移経路情報がレイアウトシンボルの間を結ぶ矢印として表示される。また、遷移情報設定画面４１で設定された遷移条件情報の概略が矢印の近傍に表示される。なお、レイアウトシンボルとしては、レイアウトを特定できるものであればよく、オブジェクト名、レイアウト概略縮小図等が表示される。
レイアウトシンボルは、シーンを構成するオブジェクトの配置をほぼ縦横均等に縮小した構成であり、一目でレイアウト構成を認識できる。また、レイアウトとレイアウトとを結ぶ矢印とその矢印に付随する遷移条件情報により、遷移とその条件を容易に確認することができる。

なお、遷移状態確認画面４２において、一のオブジェクトレイアウトから他のオブジェクトレイアウトに対してマウスドラッグ等を行うことにより、遷移経路情報の設定を行うこともできる。

これら画面４１、４２により、シーン作成者は、オブジェクトレイアウトと、このレイアウト間の複数の遷移経路と、その経路ごとの遷移条件と、をまとめて一の画面で確認しながら、遷移情報を設定することができるため、シーンの切り替わりを容易にイメージしながら、遷移情報を容易に設定することができる。
遷移情報設定部２２は、設定した遷移情報を記憶部１３に出力する。

記憶部１３は、遷移情報設定部２２が出力した遷移情報を図６に示す遷移情報テーブル４３に記憶する。

図２のシーン記述情報合成部２３は、記憶部１３に記憶されている情報に基づいて、最終的なシーン記述情報を作成するものである。
記憶部１３には予め、シーン記述情報のうち、すべてのシーンに対して共通する定型部分が記憶されている。換言すれば、最終的なシーン記述情報から、レイアウト構成情報と遷移情報とを除いた部分的なシーン記述情報が、記憶部１３に記憶されている。
シーン記述情報合成部２３は、このシーン記述情報の定型部分と、レイアウトテーブル３３の情報と、遷移情報テーブル４３の情報と、を記憶部１３から読み出して合成することにより、ＢＩＦＳで記述された最終的なシーン記述情報を作成する。

次に、実施形態１に係るシーン記述情報作成装置の動作を説明する。
制御部１４は、図７に示すフローチャートに従って、シーン記述情報作成処理を行う。なお、動作の説明において、シーン記述情報作成装置における入出力制御、メモリ制御等の通常のコンピュータと同じ動作については説明を省略する。

レイアウト作成部２１が、ユーザの操作に従って、複数のオブジェクトレイアウトを作成する（ステップＳ１１、レイアウト作成処理）。

遷移情報設定部２２が、レイアウト作成部２１により作成された複数のオブジェクトレイアウト相互間における遷移情報を設定する（ステップＳ１２、遷移情報設定処理）。

シーン記述情報合成部２３が、シーン記述情報の定型部分と、オブジェクトレイアウトのレイアウト構成情報と、遷移情報と、を合成し、シーン記述情報を作成する（ステップＳ１３）。

なお、理解を容易にするため、これらのステップが順番に実行されるように示しているが、ステップＳ１１とＳ１２とは、適宜繰り返して実行される。

図８を参照して、図７におけるステップＳ１１のレイアウト作成処理を具体的に説明する。
レイアウト作成部２１は、シーン記述情報作成装置の表示部１２に表示されているメニューバー等に備え付けられているレイアウト作成開始ボタン（図示せず）がシーン作成者等により押されると、図８に示すレイアウト作成処理を開始し、表示部１２に、オブジェクト追加画面３１とレイアウト確認画面３２とを含むレイアウト作成用の画面を表示する（ステップＳ２１）。

レイアウト作成部２１は、入力部１１にオブジェクト名、解像度、位置座標、表示倍率を含むオブジェクト情報が入力されると、このオブジェクト情報に基づき、レイアウト確認画面３２にオブジェクトを配置して表示する（ステップＳ２２）。

レイアウト作成部２１は、入力部１１にオブジェクトレイアウトの確定命令が入力されたか否かを判定する（ステップＳ２３）。
入力部１１にレイアウト確定命令が入力されない場合には（ステップＳ２３においてＮｏ）、ステップＳ２２に戻り、レイアウト作成部２１はレイアウト確認画面３２に更に別のオブジェクトを配置する。
入力部１１にレイアウト確定命令が入力された場合には（ステップＳ２３においてＹｅｓ）、レイアウト作成部２１は、作成したオブジェクトレイアウトのレイアウト構成情報を記憶部１３に出力する（ステップＳ２４）。出力されたレイアウト構成情報は記憶部１３のレイアウトテーブル３３に記憶される。

レイアウト作成部２１は、入力部１１にレイアウト作成の終了命令が入力されたか否かを判定する（ステップＳ２５）。
入力部１１にレイアウト作成終了命令が入力されない場合には（ステップＳ２５においてＮｏ）、ステップＳ２１に戻り、レイアウト作成部２１は更に別のオブジェクトレイアウトを作成する。
入力部１１にレイアウト作成終了命令が入力された場合には（ステップＳ２５においてＹｅｓ）、レイアウト作成部２１はオブジェクトレイアウトの作成を終了する。

次に、図９を参照して、図７におけるステップＳ１２の遷移情報設定処理を具体的に説明する。
遷移情報設定部２２は、シーン記述情報作成装置の表示部１２に表示されているメニューバー等に備え付けられている遷移情報設定開始ボタン（図示せず）がシーン作成者等により押されると、図９に示す遷移情報設定処理を開始し、表示部１２に、遷移情報設定画面４１と遷移状態確認画面４２とを含む遷移情報設定用の画面を表示する（ステップＳ３１）。

遷移情報設定部２２は、入力部１１に遷移イベント対象、遷移イベント動作、遷移発生時間、遷移元レイアウト、遷移先レイアウトを含む遷移情報が入力されると、この遷移情報及び記憶部１３に記憶されているオブジェクトレイアウトのレイアウト構成情報に基づき、遷移状態確認画面４２にオブジェクトレイアウト、遷移経路、遷移条件を模式的に表した遷移状態を表示する（ステップＳ３２）。

遷移情報設定部２２は、入力部１１に遷移情報設定終了命令が入力されたか否かを判定する（ステップＳ３３）。
遷移情報設定終了命令が入力されない場合には（ステップＳ３３においてＮｏ）、ステップＳ３２に戻り、遷移情報設定部２２は、更なる遷移情報の入力に基づき、遷移状態の表示を更新する。
遷移情報設定終了命令が入力された場合には（ステップＳ３３においてＹｅｓ）、遷移情報設定部２２は、設定した遷移情報を記憶部１３に出力し（ステップＳ３４）、設定を終了する。出力された遷移情報は記憶部１３の遷移情報テーブル４３に記憶される。

レイアウト作成処理（図７のステップＳ１１）及び遷移情報設定処理（図７のステップＳ１２）の終了後、シーン記述情報作成装置の表示部１２に表示されているメニューバー等に備え付けられているシーン記述情報合成ボタン（図示せず）をシーン作成者が押す等の操作により、入力部１１にシーン記述情報合成命令が入力されると、シーン記述情報合成部２３は、シーン記述情報の定型部分と、レイアウトテーブル３３が記憶するレイアウト構成情報と、遷移情報テーブル４３が記憶する遷移情報と、を合成し、シーン記述情報を作成する（図７のステップＳ１３）。

上述の動作により、レイアウトを作成し、あるレイアウトから他のレイアウトへの遷移及びその条件を設定する度に、遷移情報設定部２２は、表示部１２に例えば、図５（ｂ）に例示した遷移状態確認画面４２の表示内容を更新する。即ち、新たなレイアウトが作成され、レイアウトテーブル３３に追加されると、そのレイアウトを示すシンボルを遷移状態確認画面４２に追加して表示する。そのシンボルは、例えば、設計されたレイアウト構成を縦横比を維持した状態で縮小した構成を有する。従って、ユーザは、一見して、レイアウトを構成するオブジェクトとその配置やサイズを認識できる。
さらに、新たな遷移情報が設定され、遷移情報テーブル４３に追加されると、その遷移情報で特定される遷移元のレイアウトから遷移先のレイアウトに向かう矢印が表示される。さらに、その矢印の脇に遷移条件が表示される。従って、ユーザは、一見して、遷移元のレイアウトと遷移先のレイアウト（遷移の経路；換言すれば、切り換え前後の画面構成）と遷移条件とを認識することができる。

次に、以上説明した動作を、動画、静止画、テキストにより構成されているマルチメディアコンテンツのシーン記述情報を作成する場合を例に、具体的に説明する。
まず、レイアウト作成処理（図７のステップＳ１１）により、複数のオブジェクトレイアウトが作成される。図１０は、このレイアウト作成処理により作成されたオブジェクトレイアウトの例を示す図である。なお、図１０においては、説明を分かり易くするために、各オブジェクトに、オブジェクト・ディスクリプタにより関連付けられているエレメンタリストリームのメディアが表示されている状態を示している。

図１０（ａ）のレイアウト１は、シーンの出力画面５０に、動画オブジェクト５１と、静止画オブジェクト５２と、テキストオブジェクト５３と、を配置したオブジェクトレイアウトである。
図１０（ｂ）のレイアウト２は、出力画面５０に、レイアウト１の動画オブジェクト５１を拡大した動画オブジェクト５１ａと、静止画オブジェクト５２と、テキストオブジェクト５３と、を配置したオブジェクトレイアウトである。
図１０（ｃ）のレイアウト３は、出力画面５０に、レイアウト１の静止画オブジェクト５２とは異なる静止画オブジェクト５４と、動画オブジェクト５１と、テキストオブジェクト５３と、を配置したオブジェクトレイアウトである。

図１０（ｄ）のレイアウト４は、出力画面５０に、レイアウト３の静止画オブジェクト５４を拡大した静止画オブジェクト５４ａと、テキストオブジェクト５３と、を配置したオブジェクトレイアウトである。
図１０（ｅ）のレイアウト５は、出力画面５０に、レイアウト４の静止画オブジェクト５４ａを更に拡大した静止画オブジェクト５４ｂのみを配置したオブジェクトレイアウトである。
図１０（ｆ）のレイアウト６は、出力画面５０に、レイアウト２の動画オブジェクト５１ａを更に拡大した動画オブジェクト５１ｂのみを配置したオブジェクトレイアウトである。

次に、レイアウト作成処理により作成された図１０に示す各オブジェクトレイアウトに基づいて、遷移情報設定処理（図７のステップＳ１２）を行う。
図１１は、上述のレイアウト作成処理により作成されたレイアウトと遷移情報設定処理により設定された遷移情報とをＧＵＩ形式で模式的に表す遷移状態確認画面４２の例を示す図である。図１１における動１は図１０における動画オブジェクト５１を、静１は静止画オブジェクト５２を、静２は静止画オブジェクト５４を、テ１はテキストオブジェクト５３を表す。

図示するように、遷移状態確認画面４２には、レイアウト作成処理で作成されたレイアウト１〜６の概略縮小図（レイアウトを表すシンボル）と、レイアウト間の遷移経路ｒ１〜ｒ８を示すシンボルである矢印と、各遷移経路に設定されている遷移条件の概略と、が表示される。

遷移経路ｒ１、ｒ２の遷移条件である「３０秒経過」は、遷移元のレイアウトが３０秒間連続して表示された場合に遷移先のレイアウトに遷移するという条件を示している。
同じように、遷移経路ｒ４、ｒ５、ｒ７、ｒ８の遷移条件である「１０秒経過」は、遷移元のレイアウトが１０秒間連続して表示された場合に遷移先のレイアウトに遷移するという条件を示している。

遷移経路ｒ３の遷移条件「動１クリック」は、動１で表されるオブジェクトである図１０の動画オブジェクト５１がシーンの出力画面上でマウスクリックされると、遷移元のレイアウトから遷移先のレイアウトに遷移するという条件を示している。
また、同じように、遷移経路ｒ６の遷移条件「静２クリック」は、静２で表されるオブジェクトである図１０の静止画オブジェクト５４がシーンの出力画面上でマウスクリックされると、遷移元のレイアウトから遷移先のレイアウトに遷移するという条件を示している。

次に、レイアウト作成処理により作成された図１０に示すオブジェクトレイアウトのレイアウト構成情報と、遷移情報設定処理により設定された図１１に示す遷移情報と、シーン記述情報の定型部分と、に基づき、シーン作成情報が作成される（図７のステップＳ１３）。

このようにして作成されたシーン記述情報に基づいて再生されるシーンでは、図１１に示す遷移状態確認画面４２からわかるように、レイアウト１が表示されてから３０秒経過後にレイアウト３に切り替わり、レイアウト３が表示されてから３０秒経過後にレイアウト１に切り替わる。つまり、視聴者が何も操作をしない場合には、レイアウト１とレイアウト３とが３０秒ごとに切り替わるシーンが出力される。

また、レイアウト１が出力画面に表示されているときに動画オブジェクト５１がマウスクリックされるとレイアウト６に切り替わり、その後１０秒経過するとレイアウト２に切り替わり、更にその後１０秒経過するとレイアウト１に戻るようなシーンが出力される。
更に、レイアウト３が出力画面に表示されているときに静止画オブジェクト５４がマウスクリックされるとレイアウト５に切り替わり、その後１０秒経過するとレイアウト４に切り替わり、更にその後１０秒経過するとレイアウト３に戻るようなシーンが出力される。

以上説明したように、本実施形態１によれば、まず、シーンにおいてオブジェクトの配置が空間的・時間的に固定された状態であるオブジェクトレイアウトを作成する。次に、作成された複数のオブジェクトレイアウトを切り替えるための遷移情報を設定する。その後、予め記憶しているシーン記述情報の定型部分に、作成したオブジェクトレイアウトのレイアウト構成情報と設定した遷移情報とを合成することにより、シーン記述情報を作成する。
従って、ＢＩＦＳを用いて直接、シーン記述情報を作成する場合より、簡単な操作で迅速にシーン記述情報を作成することができる。
また、所定の条件に従ってオブジェクトの位置や大きさが変化するような複雑なシーンを記述するシーン記述情報を容易に作成することができる。

（変形例）
上記実施の形態では、オブジェクト追加画面３１と遷移情報設定画面４１にユーザが設定情報を入力することにより、レイアウトや遷移情報を設定する例を示したが、ＧＵＩを用いて入力や設定を簡便に行えるようにしてもよい。
例えば、図３（ｂ）に示すレイアウト確認画面３２上で、任意のオブジェクトをドラッグする動作、拡大・縮小する動作が行われたとする。制御部１４は、レイアウト確認画面３２上で、この種のイベントが発生すると、図１２の処理を開始し、オブジェクトの修正を承認するための確認画面を表示して（ステップＳ４１）、変更が承認されると（ステップＳ４２；Ｙｅｓ）、そのイベントの内容に応じて、図４のレイアウトテーブル３３の内容を更新する（ステップＳ４３）。例えば、オブジェクトがドラッグされてレイアウト内の位置が変更された場合には、レイアウトテーブル３３の対応するレイアウトの対応するオブジェクトの位置情報がドラッグ操作により修正された後の位置に更新される。また、オブジェクトが拡大・縮小された場合には、レイアウトテーブル３３の対応するレイアウトの対応する解像度或いは表示倍率が修正された後のサイズに対応する値に更新される。

また、図５（ｂ）及び図１１に示す遷移状態確認画面４２上で、コピーする動作、ドラッグする動作、拡大・縮小動作が行われたとする。制御部１４は、遷移状態確認画面４２上で、この種のイベントが発生すると、図１３の処理を開始する。

まず、イベントの内容を判別する（ステップＳ５１）。
イベントがレイアウトのコピーの場合には、レイアウト確認画面３２を表示する（ステップＳ５２）。初期の表示内容は、コピー元のレイアウトの内容と同一である。ユーザは、図１２を参照して説明したように、レイアウトを任意に修正して、別のレイアウト名で保存し、新たなレイアウトを設定できる。

イベントが遷移条件のコピーの場合には、遷移情報設定画面４１を表示する（ステップＳ５３）。初期の表示内容のうち、遷移イベント対象と遷移イベント動作と、遷移発生時間は、コピー元と同一である。ユーザは、遷移情報を任意に設定して登録することができる。

また、イベントがレイアウトのドラッグの場合には、ドラッグされた先が他のレイアウトか否かを判別する。他のレイアウトの場合には、ドラッグされたレイアウトを遷移元、ドラッグ先のレイアウトを遷移先として、図５（ａ）に示す遷移情報設定画面４１を表示する（ステップＳ５４）。ユーザは、ここで、遷移イベント対象、遷移イベント動作、遷移発生時間等を適宜設定する。
また、イベントが描画動作の場合には、描画によってあるレイアウトと他のレイアウトとが結ばれたか否かを判別する。結ばれた場合には、描画開始点のレイアウトを遷移元、描画終了点のレイアウトを遷移先として、図５（ａ）に示す遷移情報設定画面４１を表示する（ステップＳ５５）。ユーザは、ここで、遷移イベント対象、遷移イベント動作、遷移発生時間等を適宜設定する。

このような構成により、ユーザは、簡易な入力動作で、レイアウトや遷移情報を設定することができる。なお、各種設定画面やその設定画面を起動する条件は任意に設定可能である。

（他の実施形態）
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、実施形態１においては、具体的な例として、ＭＰＥＧ−４フォーマットにおけるＢＩＦＳを用いてシーン記述情報を作成している。しかし、本発明はこれに限られるものではなく、ＭＰＥＧ−４フォーマットに類するオブジェクト単位でマルチメディアデータを処理することができるフォーマットにおいても実施することができる。また、ＢＩＦＳ以外のシーン記述言語においても実施することができる。

また、本発明は、ストリーミング配信されるマルチメディアコンテンツに限らず、例えば再生前にすべてのデータをダウンロードして配信するような場合においても実施することができる。
また、本発明は、一旦作成されたシーン記述情報を編集する際にも実施することができる。
また、本発明では、動画、静止画、テキストだけではなく、音声、アニメーション、ＣＧ等のオブジェクトをも扱うこともできる。

また、実施形態１の遷移状態確認画面４２では、レイアウト概略縮小図及び遷移条件情報概略をも表示しているが、本発明では、画面が小さい等の制限がある場合には、レイアウト名と遷移経路のみを表示することもできる。
また、本発明においては、オブジェクトレイアウトの作成の際に、オブジェクトを重ねて配置することもでき、その場合には、オブジェクトレイアウトのレイアウト構成情報は、その重なりに関する情報をも含む。

また、図７に示すフローチャートにおいて、ステップＳ１２の遷移情報設定処理の途中であっても、ステップＳ１１に戻ってオブジェクトレイアウトを追加して、再度ステップＳ１２の遷移情報設定処理を実行することもできる。
また、本発明では、記憶部１３に記憶する情報をＲＡＭ等のメモリに記憶するすることもできる。

また、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、コンピュータを、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これをコンピュータにインストールし、上述の手段として動作させ、あるいは、上述のステップを実行させてもよい。さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態１に係るシーン記述情報作成装置の構成を示すブロック図である。 本発明の実施形態１に係るシーン記述情報作成装置の機能的な構成を示すブロック図である。 図２に示すレイアウト作成部が表示するオブジェクト追加画面及びレイアウト確認画面の例を示す図である。 図２に示すレイアウト作成部が作成したレイアウトの構成情報を記憶するレイアウトテーブルを示す図である。 図２に示す遷移情報設定部が表示する遷移情報設定画面及び遷移状態確認画面の例を示す図である。 図２に示す遷移情報設定部が設定した遷移情報を記憶する遷移情報テーブルを示す図である。 図１に示す制御部が実行するシーン記述情報作成処理の内容を示すフローチャートである。 図７に示すレイアウト作成処理の内容を示すフローチャートである。 図７に示す遷移情報設定処理の内容を示すフローチャートである。 図７に示すレイアウト作成処理により作成されたオブジェクトレイアウトの例を示す図である。 図７に示す遷移情報設定処理により設定された遷移情報を表示する遷移状態確認画面の例を示す図である。 レイアウト確認画面を用いたレイアウト作成処理を説明するためのフローチャートである。 遷移状態確認画面を用いたレイアウト情報及び遷移情報の設定処理を説明するためのフローチャートである。

符号の説明

１１ 入力部
１２ 表示部
１３ 記憶部
１４ 制御部
２１ レイアウト作成部
２２ 遷移情報設定部
２３ シーン記述情報合成部
３１ オブジェクト追加画面
３２ レイアウト確認画面
３３ レイアウトテーブル
４１ 遷移情報設定画面
４２ 遷移状態確認画面
４３ 遷移情報テーブル

Claims (9)

1. オブジェクトにより構成されるシーンを記述するシーン記述情報を作成するシーン記述情報作成装置であって、
   ユーザの操作に応答して、シーンにおけるオブジェクトのレイアウトを作成するレイアウト作成手段と、
   ユーザの操作に応答して、前記レイアウト作成手段が作成した複数のレイアウトのうちから選択される遷移元のレイアウトと遷移先のレイアウトとを特定する遷移経路情報と、遷移元のレイアウトから遷移先のレイアウトに遷移するための条件を特定する遷移条件情報と、を含む遷移情報を生成する遷移情報生成手段と、
   前記遷移情報生成手段が生成した遷移情報に基づいて、シーン記述情報を作成するシーン記述情報作成手段と、
   を備える、ことを特徴とするシーン記述情報作成装置。
2. 前記レイアウト作成手段は、
   ユーザの操作に応答して、レイアウトを構成するオブジェクト、該オブジェクトのサイズと位置とを特定する構成情報を特定する構成情報特定手段と、
   前記構成情報特定手段で特定された構成を備えるレイアウトを記憶するレイアウト記憶手段と、を備える、
   ことを特徴とする請求項１に記載のシーン記述情報作成装置。
3. 前記遷移情報生成手段は、
   前記レイアウト作成手段が作成したレイアウトを表すシンボルを表示するシンボル表示手段と、
   ユーザの操作に応答して、前記シンボル表示手段により表示されたシンボルのうちから任意のものを遷移元或いは遷移先として選択するシンボル選択手段と、
   シンボルの選択に応答して、前記遷移情報を設定するための画面を表示して、遷移情報の入力を受け付ける手段と、を備える、
   ことを特徴とする請求項１又は２に記載のシーン記述情報作成装置。
4. 前記遷移情報生成手段は、遷移を起こさせるイベントと遷移のタイミングとの少なくとも１つを特定することにより遷移条件を特定する、
   ことを特徴とする請求項１、２又は３に記載のシーン記述情報作成装置。
5. 前記遷移情報生成手段が生成した遷移情報が定義する遷移元のレイアウトを表す遷移元シンボルと、遷移先のレイアウトを表す遷移先シンボルと、遷移元シンボルから遷移先シンボルへの遷移を示す記号と、をそれぞれ表示する遷移情報表示手段をさらに備える、
   ことを特徴とする請求項１乃至４のいずれか１項に記載のシーン記述情報作成装置。
6. 前記遷移情報表示手段は、さらに、前記遷移情報生成手段が生成した遷移情報が定義する遷移条件を示す情報を表示する、
   ことを特徴とする請求項５に記載のシーン記述情報作成装置。
7. 前記遷移情報生成手段が生成した遷移情報を順次記憶する遷移情報記憶手段を備え、
   前記シーン記述情報作成手段は、前記遷移情報記憶手段に記憶された複数の遷移情報に基づいて、前記シーン記述情報を作成する、
   ことを特徴とする請求項１乃至６のいずれか１項に記載のシーン記述情報作成装置。
8. オブジェクトにより構成されるシーンを記述するシーン記述情報を作成するシーン記述情報作成方法であって、
   ユーザの操作に応答して、シーンにおけるオブジェクトのレイアウトを作成するレイアウト作成ステップと、
   前記レイアウト作成ステップで作成した複数のレイアウトのうちから遷移元と遷移先とを含む遷移経路と遷移経路ごとの遷移条件とを特定する遷移情報をユーザの操作に応答して特定する遷移情報特定ステップと、
   前記レイアウト作成ステップで作成した複数のレイアウト及び前記遷移情報特定ステップで特定した遷移情報に基づいて、シーン記述情報を生成するシーン記述情報生成ステップと、
   を有する、ことを特徴とするシーン記述情報作成方法。
9. オブジェクトにより構成されるシーンを記述するシーン記述情報を作成するプログラムであって、
   コンピュータに、ユーザの操作に応答して、シーンにおけるオブジェクトのレイアウトを作成するレイアウト作成ステップと、
   前記レイアウト作成ステップで作成した複数のレイアウトのうちから遷移元と遷移先とを含む遷移経路と遷移経路ごとの遷移条件とを特定する遷移情報をユーザの操作に応答して特定する遷移情報特定ステップと、
   前記レイアウト作成ステップで作成した複数のレイアウト及び前記遷移情報特定ステップで特定した遷移情報に基づいて、シーン記述情報を生成するシーン記述情報生成ステップと、
   を実行させるためのプログラム。
   

Images