JP4021597B2

JP4021597B2 - Authoring system and recording medium

Info

Publication number: JP4021597B2
Application number: JP37184399A
Authority: JP
Inventors: 理恵藤浦
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1999-12-27
Filing date: 1999-12-27
Publication date: 2007-12-12
Anticipated expiration: 2019-12-27
Also published as: JP2001184841A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧコンテンツを作成するオーサリングシステムおよび記録媒体に関する。
【０００２】
【従来の技術】
従来、複数のＭＰＥＧ４ビデオ／オーディオ，静止画，テキストの各オブジェクトに関し、それぞれの位置や動作を定義し、１つのＭＰＥＧ４コンテンツを作成するツールが存在する。
【０００３】
このツールにおいては、ビデオ，オーディオ，静止画，テキストなどに対し、更に個々にイベントを発生させ、次の動作を定義することが可能であり、またインターラクティブ機能によって多様なコンテンツを作成できるといった、他に見られない技術である。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のツールでは、スケジューリング付き多重化機構及び再生機構の処理に適した形式であることから、オブジェクトの時空間の関係を定義するシーン記述動作定義ファイルの記述としては、タイムスタンプ毎／オブジェクト毎に動作コマンドを１行ずつ定義する必要があり、また、定義されたコンテンツの内容をリアルタイムに確認する機能をもっておらず、１つのコンテンツを作成するのに多くの時間を要する問題がある。
【０００５】
本発明は上記事情に鑑みてなされたもので、コンテンツを作成する面倒な作業の簡素化およびコンテンツ作成時間の短縮化を図るオーサリングシステムを提供することにある。
【０００６】
また、本発明の他の目的は、作成されたコンテンツの動作確認を容易にするオーサリングシステムを提供することにある。
【０００７】
また、本発明の他の目的は、容易にシーン記述情報を作成するためのプログラムを記録した記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
（１）上記課題を解決するために、本発明に係るオーサリングシステムは、クライアント側で合成表示したいストリーミングデータ及びストリーミングデータ以外のデータを格納し準備する記憶手段と、この記憶手段に準備されているストリーミングデータ及びストリーミングデータ以外のデータに対し、オブジェクトごとに時系列上の位置、動作、ユーザ動作をシーン記述動作にて定義することにより、シーン記述動作定義ファイルを作成する手段と、この手段によって作成されたシーン記述動作定義ファイルのシーン記述動作コマンドを解析し、当該コマンド記述の正否を判断し、当該コマンド記述が適切であるときには当該シーン記述動作定義ファイルをコンパイルし、タイムスタンプ順にソートしたシーン記述情報を作成するシーン記述情報作成手段と、前記ストリーミングデータ及びストリーミングデータ以外のデータ、前記シーン記述情報その他少なくともクライアント側の再生開始，終了時刻等の条件情報が入力され、前記各データに対し、前記再生開始，終了時刻、前記タイムスタンプのもとに前記シーン記述情報を取り込み、前記各データ及び当該シーン記述情報を所定のパケットサイズでパケット化し、かつ、タイムスタンプを割り当てて、固定ビットレートで多重化することにより、コンテンツデータを作成し前記クライアントに配信可能にする多重装置とを備えた構成である。
【０００９】
この発明は、以上のような構成とすることにより、ストリーミングデータ及びストリーミングデータ以外のデータのオブジェクトごとに、時系列上の位置、動作、ユーザ動作を言語形式で１つの定義とすることにより、シーン記述情報が容易に作成可能となり、ひいては画面変更等も容易となる。
【００１０】
さらに、本発明は、前記ストリーミングデータ及びストリーミングデータ以外のデータと前記シーン記述情報その他少なくともクライアント側の再生開始，終了時刻等の条件情報が入力され、前記各データに対し、前記再生開始，終了時刻、前記タイムスタンプのもとに前記シーン記述情報を取り込み、前記各データおよび当該シーン記述情報を所定のパケットサイズでパケット化し、これらパケットごとにタイムスタンプを割り振りしつつ固定ビットレートで多重化することにより、コンテンツデータを作成し前記クライアントに配信可能にする多重装置を設けたことにより、ストリーミングデータ及びストリーミングデータ以外のデータ等を多重化した状態で配信可能な状態で多重ファイル化することが可能である。
【００１１】
（２）また、前記（１）の各手段は記録媒体に一連の処理プログラムとして記録し、コンピュータでそのプログラムを読み取って所要の機能を実現することも可能である。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
図１は本発明に係るオーサリングシステムを備えたデータ配信システムの一実施の形態を示す構成図である。
このデータ配信システムは、例えばビデオデータ，オーディオデータといったストリーミングデータを格納するビデオファイル１ａ，オーディオファイル１ｂと、例えば静止画データ，テキストデータといったストリーミングデータ以外のデータを格納する静止画ファイル１ｃ，テキストファイル１ｄと、各ファイル１ａ〜１ｄに格納された各データにおけるオブジェクト毎に位置，動作，ユーザ動作を言語形式で定義し、その定義をコンパイルしてシーン記述情報を作成するオーサリング２と、このオーサリング２によって作成されたシーン記述情報を格納するシーン記述情報ファイル３と、このシーン記述情報ファイル３に格納されるシーン記述情報を用いて、使用する全てのオブジェクトを多重化処理したＭＰＥＧ４コンテンツデータを作成する多重装置４と、この多重装置２により多重処理されたＭＰＥＧ４コンテンツデータを一時保存する多重ファイル５と、この多重ファイル５に保存されている多重処理されたＭＰＥＧ４コンテンツデータを固定ビットレートで送出する送出サーバ６と、このサーバ６から送出されるデータパケットから各データを再生し合成する機能を内蔵した受信端末となるクライアント７とによって構成されている。８はシーン記述情報作成処理時および多重化処理時にその処理データ及び処理結果を表示する表示装置、９は所要とする制御指示やＧＵＩ（ＧｒａｐｈｉｃＵｓｅｒＩｎｔｅｒｆａｃｅ）処理を可能にするキーボードを含むマウスなどのポインティングデバイスをもつ入力機器である。
【００１３】
なお、前記構成要素１ａ〜１ｄ，２，３，８，９またはこれら構成要素１ａ〜１ｄ，２，３，８，９に多重装置４を含む構成をもつてオーサリングシステムと呼んでいる。
【００１４】
前記ストリーミングデータは、ビデオ機器，オーディオ機器から入力されるビデオデータ，オーディオデータなどのように、受信端末側でデータパケットを全て受信した後に再生する必要はなく、受信しながら再生可能なデータを意味する。このストリーミングデータは、特にフォーマットを規定するものでないが、固定ビットレートであることが前提となる。これらビデオデータ，オーディオデータはオーサリング対象オブジェクトとする。
【００１５】
前記ストリーミングデータ以外のデータは、静止画，テキスト等のように、クライアント７側にて全てのデータを受信した後に初めて再生可能とするデータを意味する。このストリーミングデータ以外のデータは特にフォーマットを規定するものではない。
【００１６】
なお、ビデオ，オーディオ，静止画，テキストデータは、各ファイル１ａ〜１ｄにそれぞれファイル形式で格納されているが、例えばファイル形式ではなくメモリ経由で多重装置４に入力する形式であってもよい。また、データとしては、ビデオ，オーディオ，静止画，テキスト以外のデータを含むものであってもよい。
【００１７】
前記オーサリング２は、ファイル１ａ〜１ｄの各データに関し、ＧＵＩ処理機能により時間ごと・オブジェクトごとに図２に示すように、ある時間後にある位置にいかなるイメージで表示させるかといった、いわゆる画像の位置，動作（移動，ユーザ動作など）を定義する機能をもったものであり、具体的には図３に示すような機能構成となっている。
【００１８】
すなわち、オーサリング２はＧＵＩ処理機能をもつシーン記述作成用プログラムが記録されている記録媒体１１およびこの記録媒体１１のプログラムに従ってシーン記述情報を作成処理するＣＰＵで構成されたオーサリング処理部１２からなっている。なお、記録媒体１１は、一般的にはＣＤ−ＲＯＭや磁気ディスクが用いられるが、それ以外にも例えば磁気テープ、ＤＶＤ−ＲＯＭ、フロッピーディスク、ＭＯ、ＣＤ−Ｒ、メモリカードなどを用いてもよい。
【００１９】
このオーサリング処理部１２は、シーン記述作成用プログラムのＧＵＩを用いて、表示装置８の簡易オーサリング画面と対話形式を取りながらシーン記述動作定義ファイル１６を作成するシーン記述定義手段１７と、このシーン記述動作定義ファイル１６のシーン記述コマンドを解析し、当該コマンドの記述が正しいか否かをチェックするシーンコマンド解析処理手段１８と、このシーンコマンド解析処理手段１８によりコマンドの記述が正しいとき、シーン記述動作定義ファイル１６をコンパイルしシーン記述情報を作成しシーン記述情報ファイル３に格納するシーン記述作成処理手段１９とが設けられている。
【００２０】
前記多重装置４は、記録媒体１１に記録される多重処理用プログラムに従って多重処理を行ってＭＰＥＧ４コンテンツを作成するものであり、各ファイル１ａ〜１ｄに関し、図４に示すようにクライアント７側の再生開始，終了時刻の他、シーン記述情報を入力するとともに、固定サイズのパケットとした上で固定ビットレートで多重化し、ＭＰＥＧ４コンテンツを作成する機能をもっている。なお、全てのパケットにはタイムスタンプが振られ、その順序で多重される。
【００２１】
また、ストリーミングデータについては、図５に示すようにそれぞれのビットレートを入力する他、多重化されたデータを送信するトータルビットレートを決定し、同様に多重装置４に入力する。この多重装置４の出力は、ファイル１ａ〜１ｄの全てのデータが多重されたＭＰＥＧ４コンテンツとなっている。また、多重装置４は、内部的にクライアント７での各データの再生開始時間および終了時間から、各データのパケット送出順序を決定する機能をもっている。
【００２２】
前記クライアント７は、サーバ６から送信されてくるデータパケットを受信し、内部の再生機構にてデータを再生する。このとき、ビデオ,オーディオ，静止画の全てのデータを一つの画面上に合成して表示する。ストリーミングデータはデータを受信しながら再生し、それ以外のデータはデータがすべて揃ってから表示する。全てのデータの表示開始時間は多重ファイル作成時に決定されている。
【００２３】
次に、以上のようデータ配信システムのうち、特に本発明の要部となるオーサリングシステムを含むデータ配信システムの一連の動作及び記録媒体１１に記録されるシーン記述作成用プログラムの一連の処理機能について図６を参照して説明する。
【００２４】
先ず、クライアント７において合成表示したいデータ、例えばビデオ、オーディオなどのストリーミングデータおよび静止画、テキストなどのストリーミングデータ以外のデータをそれぞれ対応ファイル１ａ〜１ｄに準備する。このデータ形式は上記データに限定されるものではない。
【００２５】
以上のようにして合成表示したい全てのデータを準備した後、オーサリング２は、記録媒体１１に記録されているシーン記述作成用プログラムを読み取り、前記準備したデータに関し、ＧＵＩ処理機能を用いて、オブジェクトごとに位置、動作、ユーザ動作を言語形式にてシーン記述動作定義することによりシーン記述動作定義ファイルを作成する（Ｓ１：シーン記述定義ファイル作成機能）。
【００２６】
具体的には、従来の場合には、１つのオブジェクトＶ１に対して３秒のシーン記述を定義するとき、例えば
０、Ｖ１、Ｌｅｆｔ（０）
０、Ｖ１、Ｔｏｐ（０）
１、Ｖ１、Ｌｅｆｔ（１０）
１、Ｖ１、Ｔｏｐ（３３）
２、Ｖ１、Ｌｅｆｔ（０）
と定義していたが、本システムでは、例えば
Ｖ１、ｍｏｖｅ（０（ｘ）、１００（ｙ）、３（秒））
の要領でシーン記述動作を定義する。
【００２７】
因みに、図７（ａ）はオブジェクト単位でシーン記述動作を時間、位置、イメージ変化（ユーザ動作）を言語形式で定義した例であり、また図８（ａ）は連続した同一の動きを別のコマンドでシーン記述動作を定義した例である。
【００２８】
以上のようにしてシーン記述動作定義ファイルを作成した後、その定義ファイルのシーン記述動作コマンドを解析し、コマンドが適切に記述されているか否かを判断し（Ｓ２：コマンド解析機能）、適切に記述されていない場合には修正を施し、適切に記述されている場合にはシーン記述動作定義ファイルをコンパイルし、タイムスタンプ順にソートすれば、スケジューリング付き多重化機構及び再生機構の処理に適した形式のシーン記述情報を作成できる（Ｓ３：シーン記述情報作成機能）。なお、シーン記述情報は、メモリ渡しでも、ファイル渡しの何れであってもよい。
【００２９】
因みに、図７（ｂ）、図８（ｂ）は、それぞれ対応する図７（ａ）、図８（ａ）に示すシーン記述動作定義ファイルをシーン記述情報として作成した例である。
【００３０】
従って、以上のようなシーン記述を実施することにより、テキストエディタ等によってシーン記述情報を作成する作業が非常に簡易化され、しかもＧＵＩとの親和性にも優れており、図９に示す定義画面の作成、変更が非常に容易になる。
【００３１】
図９はシーン記述動作を定義するときの定義画面を示す図であるが、実際にシーン記述動作の定義中に表示ボタン２１をクリックすれば、その定義内容に応じた作成途中のコンテンツの動作内容を確認でき，ひいてはクライアントにおける再生状態を確認することが可能となる。
【００３２】
以上のようにしてタイムスタンプが入ったシーン記述情報が作成された後、このシーン記述情報、既にファイル１ａ〜１ｄに準備されているデータ、制作目標のトータルビットレート、作成されるコンテンツの長さのデータ、さらには各データのクライアントでの表示開始時間・終了時間等々を多重装置４に入力する（Ｓ４）。なお、入力するデータはファイル形式になっているが、ファイルではなくメモリ経由であってもよい。
【００３３】
この多重装置４においては、各データに関しクライアント７側の再生開始，終了時刻の他、タイムスタンプのもとにシーン記述情報を取り込み、固定サイズのパケットとした上で固定ビットレートで多重化していくが、このときトータルビットレートとストリーミングデータの固定ビットレートとから、ストリーミングデータ以外のデータの帯域を計算し、ストリーミングデータ以外のデータのパケット送出順序を決定し、すべてのパケットにタイムスタンプを割り振って多重化し（Ｓ５）、ＭＰＥＧ４コンテンツとして多重ファイル５に格納する(Ｓ６)。
【００３４】
ここで、送出サーバ６は多重ファイル５に格納されている多重されたＭＰＥＧ４コンテンツを順次読み出し、クライアント７に対して固定ビットレート、かつ、割り振ったタイムスタンプ順に送出し、各データの再生開始時刻までにクライアント７に到達するようにする。
【００３５】
クライアント７は、多重化されたＭＰＥＧ４コンテンツのデータをパケット毎に受信し、内部の再生機構によりデータを再生する。このとき、ビデオ，オーディオ，静止画，テキストの全てのデータを一つの画面上に合成して表示する。ストリーミングデータはデータを受信しながら再生し、それ以外のデータはデータがすべて揃った段階で表示する。
【００３６】
従って、以上のような実施の形態によれば、複数のオブジェクトからＭＰＥＧコンテンツを制作する上で、オブジェクト単位で位置、動作、ユーザ動作を定義し、１つのコマンドの連続動作であるものは、別の１つのコマンドとして定義することにより、シーン記述が非常に簡易化できる。また、オブジェクト単位で記述することにより、部品化された画面作成が容易となり、画面変更や構成変更が容易になる。
【００３７】
さらに、従来は多重装置を通った後でしか確認できない作成中のコンテンツであっても、ＧＵＩ機能をもつことにより、クライアントの再生状態を容易に確認でき、さらにコンテンツの制作と手間を大幅に低減でき、コンテンツの作成効率を上げることが出来る。
【００３８】
その他、本発明はその要旨を逸脱しない範囲で種々変形して実施できる。
【００３９】
【発明の効果】
以上説明したように本発明によれば、オブジェクトの位置、動作、ユーザ動作を一括して定義することにより、コンテンツを作成する面倒な作業を簡易化でき、またコンテンツ作成時間の短縮化を図ることができる。
【００４０】
さらに、作成中のコンテンツを確認しつつ定義作業を進めることが可能であり、クライアントによる再生状態を容易に確認でき、制作の手間を少なくできる。さらに、本発明は、シーン記述情報を容易に作成するためのプログラムを記録した記録媒体を提供できる。
【図面の簡単な説明】
【図１】本発明に係るオーサリングシステムを含むデータ配信システムの一実施の形態を示す構成図。
【図２】１つのオブジェクトに対し、位置、動作、ユーザ動作等を定義するための説明図。
【図３】本発明に係るオーサリングシステムの一実施の形態を示す構成図。
【図４】ストリーミングデータの開始時間と終了時間を説明する図。
【図５】ストーリーミングデータの固定ビットレートとトータルビットレートの関係を説明する図。
【図６】本発明に係るオーサリングシステムを含むデータ配信システムの動作手順を説明する図。
【図７】シーン記述動作定義とシーン記述情報との関係を説明する図。
【図８】シーン記述動作定義とシーン記述情報との関係を説明する図。
【図９】シーン記述定義の途中で再生確認を行うときの定義画面を示す図。
【符号の説明】
２…オーサリング
３…シーン記述情報ファイル
４…多重装置
６…サーバ
７…クライアント
１１…記録媒体
１２…オーサリング処理部
１１…上位計算機
１６…シーン記述動作定義ファイル
１７…シーン記述定義手段
１８…シーン記述コマンド解析処理手段
１９…シーン記述作成処理手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an authoring system and a recording medium for creating MPEG content.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there are tools for creating a single MPEG4 content by defining positions and operations of a plurality of MPEG4 video / audio, still image, and text objects.
[0003]
In this tool, it is possible to generate individual events for video, audio, still images, text, etc., and define the following actions, and to create various contents with interactive functions. This technology is not seen in
[0004]
[Problems to be solved by the invention]
However, since the conventional tool is a format suitable for the processing of the multiplexing mechanism with reproduction and the playback mechanism, the description of the scene description action definition file that defines the relationship of the space-time of the object is as follows: Each time it is necessary to define an operation command line by line, and there is a problem that it does not have a function of confirming the contents of the defined content in real time, and it takes a lot of time to create one content.
[0005]
The present invention has been made in view of the above circumstances, and it is an object of the present invention to provide an authoring system that simplifies the troublesome work of creating content and shortens the content creation time.
[0006]
Another object of the present invention is to provide an authoring system that facilitates operation confirmation of created content.
[0007]
Another object of the present invention is to provide a recording medium on which a program for easily creating scene description information is recorded.
[0008]
[Means for Solving the Problems]
(1) In order to solve the above-described problem, an authoring system according to the present invention is provided with storage means for storing and preparing streaming data to be synthesized and displayed on the client side and data other than streaming data, and the storage means . A means for creating a scene description action definition file by defining the position, action, and user action in time series for each object for streaming data and data other than streaming data in the scene description action, and this means The scene description operation command of the specified scene description operation definition file is analyzed to determine whether the command description is correct. When the command description is appropriate, the scene description operation definition file is compiled , and the scene descriptions are sorted in the order of time stamps. Scene to create information Description information creation means, the streaming data and data other than streaming data, the scene description information, and at least client-side playback start / end time and other condition information are input, and the playback start / end time for each data , Capturing the scene description information under the time stamp, packetizing each data and the scene description information with a predetermined packet size, and assigning a time stamp and multiplexing at a fixed bit rate, And a multiplexing device that creates content data and enables distribution to the client .
[0009]
The present invention has the above-described configuration, so that the position, motion, and user motion in time series are defined in one language format for each object of streaming data and data other than streaming data. Descriptive information can be easily created, and it is easy to change the screen.
[0010]
Furthermore, the present invention is wherein the streaming data and the streaming data except the data scene description information other at least a client-side playback start, condition information such as the end time is input, the for each data, the reproduction start and end time Incorporating the scene description information based on the time stamp, packetizing the data and the scene description information with a predetermined packet size, and multiplexing at a fixed bit rate while allocating a time stamp for each packet. Thus, by providing a multiplexing device that creates content data and enables distribution to the client, it is possible to create multiple files in a state in which streaming data and data other than streaming data can be distributed and distributed. is there.
[0011]
(2) Further, each means of (1) can be recorded on a recording medium as a series of processing programs, and the necessary functions can be realized by reading the programs with a computer.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing an embodiment of a data distribution system provided with an authoring system according to the present invention.
This data distribution system includes a video file 1a and audio file 1b for storing streaming data such as video data and audio data, and a still image file 1c and text file for storing data other than streaming data such as still image data and text data. 1d and authoring 2 for defining the position, action, and user action for each object in each data stored in each file 1a to 1d in a language format, and compiling the definition to create scene description information, and this authoring 2 The scene description information file 3 for storing the scene description information created by the above and the MPEG4 content data obtained by multiplexing all the objects to be used using the scene description information stored in the scene description information file 3 A multiplex device 4 for creating a multiplex file 5, a multiplex file 5 for temporarily storing MPEG4 content data multiplexed by the multiplex device 2, and a multiplex MPEG4 content data stored in the multiplex file 5 at a fixed bit rate. The transmission server 6 includes a transmission server 6 and a client 7 serving as a reception terminal having a function of reproducing and combining each data from the data packet transmitted from the server 6. 8 is a display device that displays processing data and processing results during scene description information creation processing and multiplexing processing, and 9 is a mouse including a keyboard that enables required control instructions and GUI (Graphical User Interface) processing. An input device having a pointing device.
[0013]
The components 1a to 1d, 2, 3, 8, and 9 or the components 1a to 1d, 2, 3, 8, and 9 including the multiplexing device 4 are called an authoring system.
[0014]
The streaming data means data that can be reproduced while being received, such as video data and audio data input from a video device or audio device, without having to be reproduced after receiving all data packets at the receiving terminal side. To do. The streaming data does not particularly define a format, but is premised on a fixed bit rate. These video data and audio data are the authoring objects.
[0015]
Data other than the streaming data means data that can be reproduced only after all data is received on the client 7 side, such as a still image and text. The format of data other than the streaming data is not particularly specified.
[0016]
The video, audio, still image, and text data are stored in the files 1a to 1d in the file format, but may be input to the multiplexing device 4 via a memory instead of the file format, for example. The data may include data other than video, audio, still images, and text.
[0017]
The authoring 2 relates to the data of the files 1a to 1d, so-called image position such as what image is displayed at a certain position after a certain time as shown in FIG. It has a function for defining an operation (movement, user operation, etc.), and specifically has a functional configuration as shown in FIG.
[0018]
That is, the authoring 2 includes a recording medium 11 on which a scene description creation program having a GUI processing function is recorded, and an authoring processing unit 12 composed of a CPU that creates scene description information according to the program of the recording medium 11. Yes. The recording medium 11 is generally a CD-ROM or a magnetic disk, but other than that, for example, a magnetic tape, a DVD-ROM, a floppy disk, an MO, a CD-R, a memory card, or the like may be used. Good.
[0019]
The authoring processing unit 12 uses a GUI of a scene description creation program, a scene description definition means 17 for creating a scene description operation definition file 16 while taking a dialog form with the simple authoring screen of the display device 8, and the scene description The scene description command in the action definition file 16 is analyzed to check whether the description of the command is correct. When the command description is correct by the scene command analysis processor 18, the scene description operation is performed. There is provided scene description creation processing means 19 for compiling the definition file 16 to create scene description information and storing it in the scene description information file 3.
[0020]
The multiplexing device 4 performs MPEG processing according to the multi-processing program recorded on the recording medium 11 to create MPEG4 contents. The files 1a to 1d are reproduced on the client 7 side as shown in FIG. In addition to the start and end times, scene description information is input, and a packet with a fixed size is multiplexed and multiplexed at a fixed bit rate to create MPEG4 content. All packets are time stamped and multiplexed in that order.
[0021]
As for streaming data, as shown in FIG. 5, the respective bit rates are input, and the total bit rate for transmitting the multiplexed data is determined and input to the multiplexer 4 in the same manner. The output of the multiplexing device 4 is MPEG4 content in which all data of the files 1a to 1d are multiplexed. The multiplexing device 4 has a function of determining the packet transmission order of each data from the reproduction start time and end time of each data in the client 7 internally.
[0022]
The client 7 receives the data packet transmitted from the server 6 and reproduces the data by an internal reproduction mechanism. At this time, all video, audio, and still image data are combined and displayed on one screen. Streaming data is played back while receiving data, and other data is displayed after all the data is available. The display start time of all data is determined when creating multiple files.
[0023]
Next, among the data distribution system as described above, a series of operations of the data distribution system including the authoring system, which is the main part of the present invention, and a series of processing functions of the scene description creation program recorded on the recording medium 11 This will be described with reference to FIG.
[0024]
First, data to be combined and displayed in the client 7, for example, streaming data such as video and audio and data other than streaming data such as still images and text are prepared in the corresponding files 1a to 1d, respectively. This data format is not limited to the above data.
[0025]
After preparing all the data to be synthesized and displayed as described above, the authoring 2 reads the scene description creation program recorded on the recording medium 11 and uses the GUI processing function to read the object description creation program. A scene description action definition file is created by defining a scene description action in a language format for each position, action, and user action (S1: scene description definition file creation function).
[0026]
Specifically, in the conventional case, when a 3 second scene description is defined for one object V1, for example, 0, V1, Left (0)
0, V1, Top (0)
1, V1, Left (10)
1, V1, Top (33)
2, V1, Left (0)
In this system, for example, V1, move (0 (x), 100 (y), 3 (seconds))
The scene description operation is defined as follows.
[0027]
Incidentally, FIG. 7A shows an example in which scene description operation is defined in terms of language in terms of time, position, and image change (user operation) for each object, and FIG. This is an example in which a scene description operation is defined by a command.
[0028]
After creating the scene description operation definition file as described above, the scene description operation command in the definition file is analyzed to determine whether or not the command is appropriately described (S2: command analysis function). If it is not described, it is modified. If it is described appropriately, the scene description operation definition file is compiled and sorted in the order of time stamps. Scene description information can be created (S3: Scene description information creation function). The scene description information may be either a memory delivery or a file delivery.
[0029]
Incidentally, FIGS. 7B and 8B are examples in which the corresponding scene description operation definition files shown in FIGS. 7A and 8A are created as scene description information.
[0030]
Therefore, by performing the scene description as described above, the operation of creating scene description information by a text editor or the like is greatly simplified, and the compatibility with the GUI is excellent, and the definition screen shown in FIG. Making and changing is very easy.
[0031]
FIG. 9 is a diagram showing a definition screen when defining a scene description action. If the display button 21 is clicked during the definition of the scene description action, the action contents of the contents being created according to the definition contents Thus, it is possible to check the playback state at the client.
[0032]
After the scene description information including the time stamp is created as described above, the scene description information, the data already prepared in the files 1a to 1d, the total bit rate of the production target, and the length of the content to be created And the display start time and end time of each data at the client are input to the multiplexer 4 (S4). The input data is in a file format, but it may be via a memory instead of a file.
[0033]
In this multiplexing apparatus 4, in addition to the reproduction start and end times on the client 7 side for each data, the scene description information is fetched based on the time stamp to be a fixed size packet and multiplexed at a fixed bit rate. However, at this time, the bandwidth of data other than streaming data is calculated from the total bit rate and the fixed bit rate of streaming data, the packet transmission order of data other than streaming data is determined, and time stamps are assigned to all packets. Multiplexed (S5) and stored in the multiplexed file 5 as MPEG4 content (S6).
[0034]
Here, the sending server 6 sequentially reads the multiplexed MPEG4 content stored in the multiplex file 5 and sends it to the client 7 in the order of the fixed bit rate and the assigned time stamp until the reproduction start time of each data. The client 7 is reached.
[0035]
The client 7 receives the multiplexed MPEG4 content data for each packet and reproduces the data by an internal reproduction mechanism. At this time, all data of video, audio, still image, and text are combined and displayed on one screen. Streaming data is played back while receiving data, and other data is displayed when all the data is available.
[0036]
Therefore, according to the embodiment as described above, when producing MPEG content from a plurality of objects, the position, operation, and user operation are defined in units of objects, and a continuous operation of one command is different. By defining this as one command, the scene description can be greatly simplified. Also, by describing in object units, it is easy to create a componentized screen, and screen changes and configuration changes are facilitated.
[0037]
Furthermore, even with content that is currently being created that can only be confirmed after passing through a multiplexing device, the GUI function makes it easy to check the playback status of the client, and greatly reduces content production and labor. And content creation efficiency can be increased.
[0038]
In addition, the present invention can be implemented with various modifications without departing from the gist thereof.
[0039]
【The invention's effect】
As described above, according to the present invention, it is possible to simplify the troublesome work of creating content by simultaneously defining the position, motion, and user motion of an object, and to shorten the content creation time. Can do.
[0040]
Furthermore, it is possible to proceed with the definition work while confirming the content being created, and it is possible to easily confirm the playback state by the client, and to reduce the production effort. Furthermore, the present invention can provide a recording medium in which a program for easily creating scene description information is recorded.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing an embodiment of a data distribution system including an authoring system according to the present invention.
FIG. 2 is an explanatory diagram for defining a position, an action, a user action and the like for one object.
FIG. 3 is a configuration diagram showing an embodiment of an authoring system according to the present invention.
FIG. 4 is a diagram for explaining the start time and end time of streaming data.
FIG. 5 is a diagram for explaining a relationship between a fixed bit rate of storyming data and a total bit rate.
FIG. 6 is a view for explaining the operation procedure of the data distribution system including the authoring system according to the present invention.
FIG. 7 is a diagram for explaining a relationship between a scene description operation definition and scene description information.
FIG. 8 is a diagram for explaining a relationship between a scene description operation definition and scene description information.
FIG. 9 is a diagram showing a definition screen when performing playback confirmation in the middle of a scene description definition.
[Explanation of symbols]
2 ... Authoring 3 ... Scene description information file 4 ... Multiplexer 6 ... Server 7 ... Client 11 ... Recording medium 12 ... Authoring processor 11 ... Host computer 16 ... Scene description operation definition file 17 ... Scene description definition means 18 ... Scene description command Analysis processing means 19 ... scene description creation processing means

Claims

Storage means for storing and preparing data other than streaming data and streaming data to be synthesized and displayed on the client side;
Create a scene description operation definition file by defining the time-series position, operation, and user operation for each object for streaming data and data other than streaming data prepared in this storage means. Means to
Analyzes the scene description operation command of the scene description operation definition file created by this means, determines whether the command description is correct, and compiles the scene description operation definition file when the command description is determined to be appropriate. , Scene description information creating means for creating scene description information sorted in time stamp order ;
The streaming data and data other than the streaming data, the scene description information, and at least the condition information such as the playback start and end times on the client side are input. Capturing the scene description information, packetizing each data and the scene description information with a predetermined packet size, assigning a time stamp, and multiplexing at a fixed bit rate to create content data, An authoring system comprising a multiplexing device capable of delivering to a client .

The authoring system according to claim 1,
When the multiplexing device packetizes and multiplexes data other than the streaming data and scene description information related to the data with a predetermined packet size, based on the total bit rate and the fixed bit rate of the streaming data, other than the streaming data The authoring system is characterized in that the bandwidth of the data is calculated, the packet transmission order of data other than the streaming data is determined, and time stamps are assigned to all buckets for multiplexing .

The computer having a storage unit and authoring, was recorded scene description information creation program for creating a scene description information from the streaming data and the streaming data except the data to be synthesized and displayed on the client side, which is prepared in the storage unit a record medium,
In the computer,
The scene description operation is performed by defining the time series position, operation, and user operation for each object for the streaming data and the data other than the streaming data prepared in the storage unit by the authoring in the scene description operation. A scene description definition file creation function for creating a definition file, a command analysis processing function for analyzing whether the command description of the scene description operation created by this function is correct, and when the command description is appropriate by this function, the scene description The computer-readable recording medium recording the scene description information creation program for realizing a scene description information creation function for creating scene description information by compiling an action definition file and sorting in order of time stamp .