JP2004007128A - Authoring processing method, authoring processing apparatus, and authoring processing program - Google Patents

Authoring processing method, authoring processing apparatus, and authoring processing program Download PDF

Info

Publication number
JP2004007128A
JP2004007128A JP2002158828A JP2002158828A JP2004007128A JP 2004007128 A JP2004007128 A JP 2004007128A JP 2002158828 A JP2002158828 A JP 2002158828A JP 2002158828 A JP2002158828 A JP 2002158828A JP 2004007128 A JP2004007128 A JP 2004007128A
Authority
JP
Japan
Prior art keywords
external application
information
video
authoring
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002158828A
Other languages
Japanese (ja)
Other versions
JP3768922B2 (en
Inventor
Takahisa Taura
田浦 貴久
Akito Akutsu
阿久津 明人
Yoshinobu Tonomura
外村 佳伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2002158828A priority Critical patent/JP3768922B2/en
Publication of JP2004007128A publication Critical patent/JP2004007128A/en
Application granted granted Critical
Publication of JP3768922B2 publication Critical patent/JP3768922B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To quickly and easily prepare description to operate an application for mutually linking video/voice media with an arbitrary external application. <P>SOLUTION: This authoring processing method is provided to prepare a table for storing information associated with a means for reading interface information for controlling an external application from an external application interface description file 2, and for analyzing it to control the external application, a means for receiving information transmitted from the external application, and a means for inquiring of the external application to acquire the information. Then, this authoring processing method is provided to input authoring data by a display part 15 and a graphic user interface(GUI) detection part 14 based on the information, and to prepare and output description data following a predetermined description format to operate an application for carrying out mutual link by a data file outputting part 16. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は,オーサリングシステムに関し,特に,映像・音声メディアと任意の外部アプリケーションを相互連動させるアプリケーションを動作させるための記述を作成するオーサリング処理方法,オーサリング処理装置およびオーサリング処理プログラムに関するものである。
【0002】
【従来の技術】
映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述の作成は,従来からエディタ等を用いて行われている。
【0003】
【発明が解決しようとする課題】
映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるためには,連動させるための情報を記述する必要があり,その記述はエディタ等で作成する必要があった。このような従来方法では,作成に手間と時間がかかるという問題がある。その結果,すぐにサービスを開始したいときに開始できないことがあった。
【0004】
本発明は上記問題点の解決を図り,映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述を,オーサリングシステムを用いて手間と時間をかけずに作成することを可能にし,速やかにサービスを実現することができるようにすることを目的とする。
【0005】
【課題を解決するための手段】
上記課題を解決するために,本発明のオーサリングシステムは,記述ファイル解析部,映像・音声再生部,外部アプリケーション実行部,制御部,GUI検知部,表示部,データファイル出力部から構成されることを特徴とする。
【0006】
前記制御部は,外部アプリケーションから送信されてくる情報を受信する手段(Acceptインターフェイス)を定義する情報を格納する“Acceptインターフェイステーブル”,外部アプリケーションを制御する手段(Sendインターフェイス)を定義する情報を格納する“Sendインターフェイステーブル”,外部アプリケーションへ問い合わせて情報を取得する手段(Getインターフェイス)を定義する情報を格納する“Getインターフェイステーブル”,映像・音声メディアの時刻に対して,任意の外部アプリケーションをどのように連動させるかの情報を格納する“時刻からの外部アプリケーション制御テーブル”,任意の外部アプリケーションから受信した情報に対応して映像・音声メディアの時刻を制御する情報を格納する“映像・音声メディア制御テーブル”を持つ。
【0007】
前記記述ファイル解析部は,アプリケーションインターフェイス記述ファイルを用いて,任意の外部アプリケーションを制御するための情報を解析し,外部アプリケーションを制御する手段(Sendインターフェイス),外部アプリケーションから送信されてくる情報を受信する手段(Acceptインターフェイス),外部アプリケーションへ問い合わせて情報を取得する手段(Getインターフェイス)のテーブル情報をそれぞれ作成し,その情報を制御部へ受け渡す。
【0008】
これらのテーブル情報は,それぞれ制御部内のSendインターフェイステーブル,Acceptインターフェイステーブル,Getインターフェイステーブルに書き込まれる。
【0009】
前記表示部は,映像・音声メディアと任意の外部アプリケーションを連動させるデータを入力する際に,外部アプリケーションの情報を制御部に問い合わせ,その外部アプリケーションの情報を一覧表示し,その情報をもとに外部アプリケーションの情報を入力する手段を備える。
【0010】
また,前記データファイル出力部は,制御部が管理する各テーブルに格納されているデータを,映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述フォーマットに変換し,出力する手段を備える。
【0011】
さらに詳しくは,以下のとおりである。前記構成において,記述ファイル解析部が外部アプリケーションインターフェイス記述ファイルを読み込む。この外部アプリケーションインターフェイス記述ファイルには,外部アプリケーションから受動的に取得する情報,外部アプリケーションを制御するための手段,外部アプリケーションから能動的に情報を取得する手段が記述されている。この情報や手段を順にAcceptインターフェイス,Sendインターフェイス,Getインターフェイスと呼ぶ。これらの記述は,記述ファイル解析部においてパースされ,その内容が制御部におけるAcceptインターフェイステーブル,Sendインターフェイステーブル,Getインターフェイステーブルに反映される。
【0012】
オーサリング時のGUI(Graphical User Interface)に,このAcceptインターフェイステーブル,Getインターフェイステーブルが反映される。Acceptインターフェイステーブルに記述される関数名全てが,オーサリング時のGUIに表示される。この表示は,外部アプリケーション実行部で外部アプリケーションが操作されたときに,外部アプリケーションがAcceptインターフェイステーブルに記述されている何らかの情報を出力するなら上記GUIに反映される。
【0013】
また,Getインターフェイステーブルの場合には,Getインターフェイステーブルに記述されている全ての手段がオーサリング時のGUIに表示される。その手段の数だけボタンが作成される。このボタンを押すことで外部アプリケーション実行部において実行されているアプリケーションの情報を取得し,その値をGUIに反映する。これらの値を参考にすることで外部アプリケーションの各種情報を簡単に取得することができ,オーサリング時の入力を支援することができる。
【0014】
また,前記構成において,映像・音声メディアに同期して任意の外部アプリケーションを制御させるためのオーサリング方法では,映像・音声メディアの再生時刻と,その時に外部アプリケーションがどのように動作するか記述する必要がある。その記述は“時刻からの外部アプリケーション制御テーブル”に記述され,制御部で管理される。このテーブルは,2以上のカラムからなるテーブルである。1つ目のカラムは,映像・音声メディアの再生位置を入力するカラムであり,2つ目のカラムは,外部アプリケーションの動作を入力するカラムである。また,外部アプリケーションの動作に何らかの引数が必要な場合には,必要な引数の数に応じてカラム数が追加される。
【0015】
映像・音声メディアの時刻を決定する方法は,映像・音声再生部に示される時刻を“時刻からの外部アプリケーション制御テーブル”にキーデバイス等を用いて直接入力する,またはマウス等のデバイスを用いて自動的に映像・音声再生部の現時刻を時刻カラムに反映する。
【0016】
映像・音声の時刻を決定した後に外部アプリケーションの動作を決定する方法は,入力すべきテーブルの欄をマウス等の入力デバイスで選択すると,外部アプリケーションの動作可能な選択項目のリストが表示される。
【0017】
この選択項目リストは,制御部で管理されるSendインターフェイステーブルのエイリアスカラムの値がリストとして表示される。この表示された選択項目リストから任意の動作を選択することで,選択された内容が“時刻からの外部アプリケーション制御テーブル”に反映される。選択された内容(外部アプリケーションを制御する手段)に引数が必要な場合には引数を入力する。このテーブルに映像・音声メディアの時刻と,その時に同期させる外部アプリケーションの動作を記述することで“時刻からの外部アプリケーション制御テーブル”の設定が完了する。
【0018】
そして,このテーブルに記述された内容は,制御部内の“時刻からの外部アプリケーション制御テーブル”に記述される。
【0019】
また,前記構成において,任意の外部アプリケーションに同期して映像・音声メディアを制御させるためのオーサリング方法は,制御部に管理されるAcceptインターフェイステーブルの行の数だけオーサリング時に必要な入力テーブルが作成される。各テーブルには2つのカラムがあり,左から順番に外部アプリケーションから受信する情報,および映像・音声メディアの再生位置が記述される。
【0020】
1つ目のカラムには,キーデバイス等を用いて直接入力するか,またはAcceptインターフェイステーブルをもとに外部アプリケーション実行部で起動されている外部アプリケーションから受信した情報を用いてカラムの値を自動的に入力することで,入力支援することができる。2つ目のカラムには,キーデバイス等を用いて直接再生位置を入力するか,映像・音声再生部で再生中のメディアの現時刻の値を自動的に入力することで,入力支援することができる。オーサリング時にこのテーブルに記述された内容は,制御部内の“映像・音声メディア制御テーブル”に記述される。
【0021】
上記の手法によって,映像・音声メディアに同期して外部アプリケーションを制御させるためのデータ,また外部アプリケーションに同期して映像・音声メディアを制御させるためのデータのオーサリングが可能になる。
【0022】
本発明のオーサリングシステムでは,各データの入力が完了した後,制御部が管理する各テーブルに格納されているデータをもとに,それらのデータを,データファイル出力部において映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述フォーマットに変換し,その結果をデータファイルとして出力する。
【0023】
まず,映像・音声メディアから外部アプリケーションを制御するためのデータファイルを出力する方法は,オーサリングによって作成された“時刻からの外部アプリケーション制御テーブル”とSendインターフェイステーブルを用い,この2つのテーブルのデータをもとに,映像・音声メディアから外部アプリケーションを制御するためのデータファイルを出力する。実際には“時刻からの外部アプリケーション制御テーブル”を1行ずつスキャンしていき,各行ごとのXML(extensible markup language)の要素を出力していく。この各行には,イベントを発生させる時刻とそのときに外部アプリケーションの動作の種類,必要ならば外部アプリケーションを動作させるための引数が記述される。
【0024】
そして,外部アプリケーションから映像・音声メディアを制御するためのデータファイルの出力方法は,“映像・音声メディア制御テーブル”のデータをもとに,外部アプリケーションから映像・音声メディアを制御するためのデータファイルを出力する。実際には“映像・音声メディア制御テーブル”を1行ずつスキャンしていき,各行ごとのXMLの要素を出力していく。この各行には外部アプリケーションから受信した情報とそのときに指し示す映像・音声メディアの再生位置が記述されている。この処理を繰り返すことでデータファイルが作成され,映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述を作成するオーサリングが完了する。
【0025】
【発明の実施の形態】
図1に,本発明の実施形態に係るオーサリングシステムの構成例を示す。ここに示すオーサリングシステムは,映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述を生成するものである。
【0026】
ここで,任意の外部アプリケーションの種類として,本型インターフェイスアプリケーションを対象とし,このオーサリングシステムにより,映像・音声メディアの再生位置情報から本型インターフェイスアプリケーションの制御を可能にし,また,本型インターフェイスアプリケーションのページ位置,または本型インターフェイスアプリケーション上の選択された文字や画像から,映像・音声メディアの再生位置の制御を可能にするアプリケーションを動作させるための記述を作成する例を説明する。
【0027】
ここで述べる本型インターフェイスアプリケーションとは,本の外観をした表示により情報を提示するアプリケーションである。本型インターフェイスアプリケーションは,ページの概念を持ち,ページ上には文字や画像が配置されている。実際の本を閲覧すると同様にページをめくることで新しい情報を閲覧することができる。本型インターフェイスアプリケーションの例として,CyberBook等がある。
【0028】
また,ここで述べる映像・音声メディアと本型インターフェイスアプリケーションとを相互連動させるアプリケーションを,図2に示す。図2に示すように相互連動させるアプリケーション22とは,映像・音声プレイヤー20と本型インターフェイスアプリケーション21との間に存在する。このアプリケーション22は,データファイル6に格納された相互連動させるための記述23をあらかじめ読み込んでおき,その記述に従って,映像・音声メディアの再生位置情報から本型インターフェイスアプリケーション21の制御を可能にしたり,本型インターフェイスアプリケーション21のページ位置,または本型インターフェイスアプリケーション21上の選択された文字や画像から,映像・音声メディアの再生位置の制御を可能にするアプリケーションである。
【0029】
本発明が対象とするオーサリングシステム1は,図2に示される相互連動させるための記述23を生成するためのシステムである。
【0030】
相互連動させるアプリケーション22は,オーサリングシステム1が生成した相互連動させるための記述23を解釈して実行することにより,映像・音声メディアから本型インターフェイスアプリケーション21を,例えば次のように制御することができる。
(1)映像・音声メディアの再生位置に同期して,本型インターフェイスアプリケーション21のページを進めたり,戻したり,所定のページを開いたりすることができる。
(2)映像・音声メディアの再生位置に同期して,本型インターフェイスアプリケーション21に記述される文字の大きさ,フォント,スタイル,位置,網掛けを変化させたり,表示/非表示を設定したりすることができる。
(3)映像・音声メディアの再生位置に同期して,画像の大きさ,位置を変化させたり,表示/非表示を設定したりすることができる。
【0031】
また,本型インターフェイスアプリケーション21から,映像・音声プレイヤー20を,例えば次のように制御することができる。
(1)本型インターフェイスアプリケーション21のめくられたページの種類によって,映像の再生位置を制御することができる。
(2)本型インターフェイスアプリケーション21中の特定の文字や画像を選択することで,映像の再生位置を制御することができる。
【0032】
もちろん,本発明のオーサリングシステム1によって作成された記述による制御は,以上の制御に限られるわけではなく,種々の相互に連動させる制御が可能である。
【0033】
図1において,本実施形態のオーサリングシステム1は,制御部10,記述ファイル解析部11,映像・音声再生部12,外部アプリケーション実行部13,GUI検知部14,表示部15,データファイル出力部16から構成される。また,制御部10は,図1に示すように,オーサリングに必要な情報,オーサリングされた情報を管理するテーブルとして,Acceptインターフェイステーブル101,Sendインターフェイステーブル102,Getインターフェイステーブル103,時刻からの外部アプリケーション制御テーブル104,映像・音声メディア制御テーブル105を持つ。これらの各テーブルについの説明は後述する。
【0034】
このオーサリングシステム1の入力情報として,記述ファイル解析部11が入力する外部アプリケーションインターフェイス記述ファイル2,映像・音声再生部12が入力する映像・音声ファイル3,外部アプリケーション実行部13によって実行制御される外部アプリケーション4,GUI検知部14が入力するためのマウス等の入力デバイスがある。データファイル6は,オーサリングシステム1の出力である図2に示す相互連動させるための記述23が格納されたファイルである。
【0035】
まず,このオーサリングシステム1では,外部アプリケーションインターフェイス記述ファイル2を読み込むことで,外部アプリケーション4から受動的に取得する情報,制御する手段,能動的に情報を取得する手段を得る。
【0036】
図3に,外部アプリケーションインターフェイス記述ファイル2の例を示す。この記述例は,大きく3つの項目に別れている。「Interface:Accept」,「Interface:Send」,そして「Interface:Get」である。
【0037】
「Interface:Accept」の項目には,外部アプリケーション4(図2の本型インターフェイスアプリケーション21)から受動的に取得する情報が記述されている。この例に記述されている「CurrentPage:Integer−>alias:”現在のページ”;」は,外部アプリケーション4(本型インターフェイスアプリケーション21)のページが変化したときに,自動的に呼び出される関数を示す。
【0038】
外部アプリケーション実行部13において,外部アプリケーション4(本型インターフェイスアプリケーション21)のページを変化させた場合に,この関数に現在開いているページの値が入力され呼び出されるものである。また,エイリアス(別名)として“現在のページ”と設定されていて,このエイリアスはオーサリング時にGUIとして反映される。このエイリアスについては後述する。
【0039】
「ObjectNumber:Integer−>alias: ”選択オブジェクト”;」は,外部アプリケーション実行部13において,本型インターフェイスアプリケーション21上の画像・文字が選択されたときに呼び出される関数である。選択された画像・文字を示す任意のID番号が入力され呼び出されるものである。
【0040】
この「Interface:Accept」に記述されている情報は,制御部10におけるAcceptインターフェイステーブル101に格納される。その情報が格納された例を図4(A)に示す。図4(A)に示すように,各カラムに,関数名,型,エイリアスがカラム名として管理される。
【0041】
「Interface:Send」の項目には,外部アプリケーション4(本型インターフェイスアプリケーション21)を制御する手段について記述されている。この例に記述されている「JumpPage(PageNumber:Interger)−>alias:”ページジャンプ”;」は,外部アプリケーション4(本型インターフェイスアプリケーション21)の任意のページを開く手段について記述している。「JumpPage」がこの手段の関数名であり,「PageNumber」が開くページ番号を示す引数であり,整数型を示している。
【0042】
「ChangeTextColor(ObjectNubmer:Integer,Color:Hex)−>alias:”テキスト文字色変化”;」は,本型インターフェイスアプリケーション21上の文字の色を変化させる手段について記述している。「ChangeTextColor」が,この手段の関数名であり,「ObjectNumber」が画像・文字を示す任意のID番号を示す引数であり整数型である。また「Color」が変化させる色を示す引数であり,整数型である。
【0043】
これらの「Interface:Send」に記述されている情報は,制御部10におけるSendインターフェイステーブル102に格納される。その情報が格納された例を図4(B)に示す。図4(B)に示すように,各カラムに,手段名,引数の数,引数の型,エイリアスがカラム名として管理される。ただし,引数の数に応じて,カラム数が増加して管理される。
【0044】
「Interface:Get」の項目には,外部アプリケーション4(本型インターフェイスアプリケーション21)から能動的に情報を取得する手段について記述されている。この例に記述されている「AllPage:Integer−>alias:”ページ数取得”;」は,本型インターフェイスアプリケーション21の全ページ数を取得する関数であり,整数型を示している。この「Interface:Get」に記述されている情報は,制御部10におけるGetインターフェイステーブル103に格納される。その情報が格納された例を図4(C)に示す。図4(C)に示すように,各カラムに,関数名,型,エイリアスがカラム名として管理される。
【0045】
以上説明した外部アプリケーションインターフェイス記述ファイル2は,記述ファイル解析部11で解析される。そして,解析された結果が制御部10のAcceptインターフェイステーブル101,Getインターフェイステーブル103,Sendインターフェイステーブル102に反映される。
【0046】
オーサリング時のGUIに,このAcceptインターフェイステーブル101,Getインターフェイステーブル103が反映された例を,図5に示す。図5に示されるオーサリングのGUI例では,外部アプリケーションインターフェイス記述ファイル2に記述されている「AcceptInterface」が受信情報の欄に展開される。「CurrentPage」,「ObjectNumber」がエイリアスを反映されて“現在のページ”,“選択オブジェクト”と記述される。このGUIに記述される“現在のページ”,“選択オブジェクト”の欄は,外部アプリケーション実行部13において実行されている本型インターフェイスアプリケーション21のページが変化した時,またはオブジェクトが選択された時に,それぞれの値が欄に入力される。
【0047】
この例では,第3ページが開かれたので,受信情報の現在のページに3が入力され,ID=7を持つオブジェクトが選択された時に選択オブジェクトの欄に7が入力される。
【0048】
また,外部アプリケーションインターフェイス記述ファイル2に記述されている「GetInterface」が,取得情報の欄に展開される。ここでは「AllPage」のエイリアス“ページ数取得”が反映されてボタンとなっている。このボタンを押すことで,外部アプリケーション実行部13において実行されている本型インターフェイスアプリケーション21の総ページ数を取得し,その値をページ取得の欄に反映する。
【0049】
これらの値を参考にすることで,本型インターフェイスアプリケーション21の各種情報を簡単に取得することができ,オーサリング時の入力を支援することができる。
【0050】
次に,映像・音声メディアに同期して,外部アプリケーション4である本型インターフェイスアプリケーション21を制御させるためのオーサリングについて説明する。
【0051】
このオーサリングでは,映像の時刻とその時に外部アプリケーション4がどのように動作するかを記述する必要がある。このオーサリングのGUI例を,図6に示す。
【0052】
映像・音声メディアの時刻を決定する方法は,映像・音声再生部12に示される時刻を,時刻からの外部アプリケーション制御テーブル104にキーデバイス等を用いて直接入力することにより決定する。または,マウス等のデバイスを用いて自動的に映像・音声再生部12の現時刻を時刻カラムに反映する。
【0053】
映像・音声の時刻を決定した後に外部アプリケーション4の動作を決定する方法では,入力すべきテーブルの欄をマウス等の入力デバイスで選択すると,外部アプリケーション4の動作可能な選択項目のリストが表示される。
【0054】
この選択項目リストの表示では,図4(B)に示されるSendインターフェイステーブル102のエイリアスカラムの値がリストとして表示される。この表示された選択項目リストから任意の動作を選択することで,選択された内容が,時刻からの外部アプリケーション制御テーブル104に反映される。このテーブルの例を,図7に示す。
【0055】
選択された内容(外部アプリケーションを制御するする手段)に引数が必要な場合には,引数の入力のためのテーブル欄が自動的に作成され,その欄に必要な引数を入力する。必要ない引数の欄は,図7(B)に示すように入力できなくなる。この欄に記述することによって,映像・音声メディアに同期して外部アプリケーション4を同期させる1つのイベントの設定が完了する。このテーブルに記述された内容は,制御部10における,時刻からの外部アプリケーション制御テーブル104に反映される。
【0056】
次に,任意の外部アプリケーション4(本型インターフェイスアプリケーション21)に同期して映像・音声プレイヤー20を制御させるためのオーサリングについての例を説明する。
【0057】
まず,図4(A)に示されるAcceptインターフェイステーブル101の行の数だけオーサリング時に必要な入力テーブルが作成される。この例では,2つのテーブルが作成されることになる。この作成された2つのテーブルを,図8に示す。
【0058】
図8(A)に示されるように,本型インターフェイスアプリケーション21の現在のページと映像・音声メディアの再生位置とを連動させるためのテーブルと,図8(B)に示されるように,本型インターフェイスアプリケーション21上で選択されたオブジェクトのIDと映像・音声メディアの再生位置を連動させるためのテーブルの2つが作成される。
【0059】
1つ目のテーブルのカラム“現在のページ”には,キーデバイス等を用いて直接入力するか,または図5に示す受信情報の欄の現在のページの値を自動的に入力することで,入力支援することができる。2つ目のテーブルのカラム“選択オブジェクト”には,キーデバイス等を用いて直接入力するか,または図5に示す受信情報の欄の選択オブジェクトの値を自動的に入力することで,入力支援することができる。このテーブルに記述された内容は,制御部10における,映像・音声メディア制御テーブル105に反映される。
【0060】
上記の手法によって,映像・音声メディアに同期して本型インターフェイスアプリケーション21を制御させるためのデータ,また本型インターフェイスアプリケーション21に同期して映像・音声メディアを制御させるためのデータのオーサリングが可能になる。
【0061】
最後に,本オーサリングシステムは,制御部10が管理する各テーブルに格納されているデータをもとに,データファイル出力部16において,これらのデータを,映像・音声メディアと任意のアプリケーションとを相互連動させるためのアプリケーションを動作させるための記述フォーマットに変換し,データファイル6として出力する。
【0062】
図9および図10に従って,映像・音声メディアから外部アプリケーション4を制御するためのデータファイル6の出力方法を説明する。図9は,オーサリングによって作成された時刻からの外部アプリケーション制御テーブル104とSendインターフェイステーブル102の例,図10は,データファイル出力処理の例を示している。
【0063】
図9の(A)および(B)に示す2つのテーブルのデータをもとに,映像・音声メディアから外部アプリケーション4を制御するためのデータファイル6を出力する。そのため,データファイル出力部16では,図10に示すように,時刻からの外部アプリケーション制御テーブル104を1行ずつスキャンしていき,各行ごとのXMLの要素を出力していく。例えば1行目からは「 <func name=”JumpPage”begin=”3.0s” val_1=”1”/>」が出力される。これは,時刻からの外部アプリケーション制御テーブル104に記述されている外部アプリケーション動作のページジャンプの実際の手段名をSendインターフェイステーブル102から参照し,name属性に「JumpPage」を記述することによって行う。また,時刻の値をbegin属性,引数の値をval_1属性に入力してタグを閉じる。この処理を繰り返すことで,図10に示すようなデータファイル6が作成される。
【0064】
すなわち,データファイル出力部16は,ステップS1〜S4を,時刻からの外部アプリケーション制御テーブル104に記述されている行の数だけ繰り返す。まず,ステップS1では,時刻からの外部アプリケーション制御テーブル104の外部アプリケーション動作の名前からSendインターフェイステーブル102を参照し,手段名と引数の数を調べる。ステップS2では,XMLのFunc要素の中のname属性に手段名を記述する。次に,ステップS3では,XMLのFunc要素の中のbigin属性に時刻を記述する。続いて,ステップS4では,XMLのFunc要素の中に引数の数だけval属性を作成し,引数の値を記述するbigin属性に時刻を記述する。図9(A)の時刻からの外部アプリケーション制御テーブル104では,これを3行分繰り返す。
【0065】
図2に示す相互連動させるアプリケーション22は,図10の出力例に示されるデータファイル6を解釈し実行することにより,映像・音声メディアの再生から3秒後に本型インターフェイスアプリケーション21の第1ページ目を開き,9秒後に本型インターフェイスアプリケーション21の第10番目のテキスト文字列の色を ”FFEEA0”の色に変化させ,27秒後に本型インターフェイスアプリケーション21の表示が第3ページ目にジャンプするように,本型インターフェイスアプリケーション21を制御することができる。
【0066】
図11〜図13に従って,外部アプリケーションから映像・音声メディアを制御するためのデータファイルの出力方法を説明する。図11は,オーサリングによって作成された2つの映像・音声メディア制御テーブル105の例,図12は,データファイル出力処理の例,図13は,外部アプリケーションから映像・音声メディアを制御するために出力されたデータファイル6の例を示している。
【0067】
図11の(A)および(B)に示すオーサリングによって作成された2つの映像・音声メディア制御テーブル105をもとに,外部アプリケーション4から映像・音声メディアを制御するためのデータファイル6を出力する。そのため,データファイル出力部16は,図12に示すように,映像・音声メディア制御テーブル105を1行ずつスキャンしていき,各行ごとのXMLの要素を出力していく。例えば図11(A)に示す映像・音声メディア制御テーブル105の1行目からは「<event number=”1”> <call FuncName=”MoviePositionChange”val_1=”15”/> </event>」が出力される。
【0068】
これは,映像・音声メディア制御テーブル105に記述されている現在のページの値,または選択オブジェクトの値をevent要素のnumber属性に記述することによって行う。また,Call要素のFuncName属性に映像・音声再生部12で再生されているメディアの再生位置を変化させる関数名MoviePositionChangeを記述し,その引数の値を指すval属性に映像・音声メディアの再生位置を入力してタグを閉じる。この処理を繰り返すことで,図13に示すようなデータファイル6が作成される。
【0069】
すなわち,データファイル出力部16は,ステップS11〜S13を,映像・音声メディア制御テーブル105に記述されている行の数だけ繰り返す。まず,ステップS11では,映像・音声メディア制御テーブル105の外部アプリケーション動作の名前からSendインターフェイステーブル102を参照し,手段名と引数の数を調べる。ステップS12では,XMLのevent要素の中のnumber属性に時刻を記述する。次に,ステップS13では,XMLのevent要素のCall要素中のFuncName属性に,映像・音声メディアの位置を記述する。これによって,図13に示すデータファイル6が出力され,オーサリングは完了する。
【0070】
図2に示す相互連動させるアプリケーション22は,図13の出力例に示されるデータファイル6を解釈し実行することにより,本型インターフェイスアプリケーション21の現在のページが第1ページである場合には,映像・音声メディアを15秒目の位置から再生させ,第3ページである場合には,映像・音声メディアを25秒目の位置から再生させ,第5ページである場合には,映像・音声メディアを35秒目の位置から再生させるよう,映像・音声プレイヤー20を制御することができる。
【0071】
また,本型インターフェイスアプリケーション21において表示しているID=7のオブジェクトが選択されると,映像・音声メディアを6秒目の位置から再生させ,表示しているID=10のオブジェクトが選択されると,映像・音声メディアを27秒目の位置から再生させるよう,映像・音声プレイヤー20を制御することができる。
【0072】
以上のオーサリングシステム1による処理は,コンピュータとソフトウェアプログラムとによって実現することができ,そのプログラムは,コンピュータが読み取り可能な可搬媒体メモリ,半導体メモリ,ハードディスク等の適当な記録媒体に格納して,そこから読み出すことによりコンピュータに実行させることができる。
【0073】
【発明の効果】
以上説明したように,本発明のオーサリングシステムでは,外部アプリケーションインターフェイス記述ファイルを用いて,任意の外部アプリケーションを制御するための情報を解析し,外部アプリケーションを制御する手段,外部アプリケーションから送信されてくる情報を受信する手段,外部アプリケーションへ問い合わせ,情報を取得する手段のテーブルをそれぞれ作成し,データを入力する際に,外部アプリケーションの情報を問い合わせ,その外部アプリケーションの情報を一覧表示し,その情報をもとに外部アプリケーションの情報をオーサリング時の入力選択欄に反映することで,オーサリングの効率を上げることができる。
【0074】
また,映像・音声メディアの時刻に対して,任意の外部アプリケーションをどのように連動させるかの情報を格納するテーブル,任意の外部アプリケーションの任意のオブジェクトが選択されたときに,映像・音声メディアの時刻を制御する情報を格納するテーブル,任意の外部アプリケーションが進行状態の概念(映像音声メディア等の時間,またはページなどの進行状態)を持つ場合に,進行状態の値に対して映像・音声メディアの時刻を制御する情報を格納するテーブルにオーサリングされたデータを記録し,各テーブルに格納されているデータを,映像・音声メディアと任意のアプリケーションとを相互連動させるアプリケーションを動作させるための記述フォーマットに変換し,出力することができる。
【0075】
したがって,従来,エディタ等によって記述していた映像・音声メディアと任意の外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述の作成を,オーサリングに必要な最小限の定義情報を入力するだけで,GUIを利用して簡易に作成することができるようになる。例えば,本型インターフェイスアプリケーション等については,書籍の状態を取得し,簡易に映像・音声プレイヤーと相互連動させるための記述を,簡易に編集することが可能になる。
【図面の簡単な説明】
【図1】本発明のオーサリングシステムの構成例を示す図である。
【図2】映像・音声メディアと本型インターフェイスアプリケーションとを相互連動させるアプリケーションを示す図である。
【図3】外部アプリケーションインターフェイス記述ファイルの例を示す図である。
【図4】Acceptインターフェイステーブル,Sendインターフェイステーブル,Getインターフェイステーブルの例を示す図である。
【図5】Acceptインターフェイステーブル,GetインターフェイステーブルをオーサリングGUIに反映した例を示す図である。
【図6】映像・音声メディアに同期して外部アプリケーションを制御するオーサリングGUIの例を示す図である。
【図7】映像・音声メディアに同期して外部アプリケーションを制御するオーサリングGUIの例を示す図である。
【図8】外部アプリケーションに同期して映像・音声メディアを制御するためのオーサリングGUIの例を示す図である。
【図9】オーサリングによって作成された時刻からの外部アプリケーション制御テーブルとSendインターフェイステーブルの例を示す図である。
【図10】データファイル出力処理の例を示す図である。
【図11】オーサリングによって作成された2つの映像・音声メディア制御テーブルの例を示す図である。
【図12】データファイル出力処理の例を示す図である。
【図13】外部アプリケーションから映像・音声メディアを制御するために出力されたデータファイルの例を示す図である。
【符号の説明】
1  オーサリングシステム
10 制御部
11 記述ファイル解析部
12 映像・音声再生部
13 外部アプリケーション実行部
14 GUI検知部
15 表示部
16 データファイル出力部
101 Acceptインターフェイステーブル
102 Sendインターフェイステーブル
103 Getインターフェイステーブル
104 時刻からの外部アプリケーション制御テーブル
105 映像・音声メディア制御テーブル
2  外部アプリケーションインターフェイス記述ファイル
3  映像・音声ファイル
4  外部アプリケーション
5  入力デバイス
6  データファイル
20 映像・音声プレイヤー
21 本型インターフェイスアプリケーション
22 相互連動させるアプリケーション
23 相互連動させるための記述
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an authoring system, and more particularly, to an authoring processing method, an authoring processing device, and an authoring processing program for creating a description for operating an application that allows video / audio media to interact with an arbitrary external application.
[0002]
[Prior art]
2. Description of the Related Art Creation of a description for operating an application that allows video / audio media to interact with an arbitrary external application has been conventionally performed using an editor or the like.
[0003]
[Problems to be solved by the invention]
In order to operate an application that allows video and audio media to be linked with an arbitrary external application, it is necessary to describe information for linking, and the description has to be created by an editor or the like. In such a conventional method, there is a problem that it takes time and effort to create. As a result, when the service was to be started immediately, it could not be started.
[0004]
SUMMARY OF THE INVENTION The present invention solves the above-mentioned problems, and makes it possible to create a description for operating an application for interconnecting a video / audio media with an arbitrary external application by using an authoring system without taking time and effort. The purpose is to enable the service to be realized quickly.
[0005]
[Means for Solving the Problems]
In order to solve the above problems, the authoring system of the present invention comprises a description file analysis unit, a video / audio reproduction unit, an external application execution unit, a control unit, a GUI detection unit, a display unit, and a data file output unit. It is characterized.
[0006]
The control unit stores an “Accept interface table” that stores information defining a unit (Accept interface) for receiving information transmitted from an external application, and stores information defining a unit (Send interface) that controls an external application. “Send interface table”, “Get interface table” that stores information defining a means (Get interface) for inquiring an external application to obtain information, and determine which external application is used for video / audio media time. “External application control table from time” that stores information on whether to link the video and audio, and information that controls the time of video and audio media in accordance with information received from any external application. To store with a "video and audio media control table".
[0007]
The description file analysis unit analyzes information for controlling an arbitrary external application using the application interface description file, and controls the external application (Send interface), and receives information transmitted from the external application. The table information is created by means for performing an operation (Accept interface) and means for acquiring information by inquiring of an external application (Get interface), and the information is transferred to the control unit.
[0008]
These pieces of table information are respectively written in the Send interface table, the Accept interface table, and the Get interface table in the control unit.
[0009]
The display unit, when inputting data for linking the video / audio media with an arbitrary external application, inquires of the control unit about information on the external application, displays a list of the information on the external application, and displays the list based on the information. A means for inputting information on the external application is provided.
[0010]
The data file output unit converts the data stored in each table managed by the control unit into a description format for operating an application for interconnecting video / audio media and an arbitrary external application, It has means for outputting.
[0011]
The details are as follows. In the above configuration, the description file analysis unit reads the external application interface description file. The external application interface description file describes information passively acquired from the external application, means for controlling the external application, and means for actively acquiring information from the external application. This information and means are called an Accept interface, a Send interface, and a Get interface in order. These descriptions are parsed by the description file analysis unit, and the contents are reflected in the Accept interface table, Send interface table, and Get interface table in the control unit.
[0012]
The Accept interface table and the Get interface table are reflected in a GUI (Graphical User Interface) at the time of authoring. All the function names described in the Accept interface table are displayed on the GUI at the time of authoring. This display is reflected on the GUI if the external application outputs some information described in the Accept interface table when the external application is operated by the external application execution unit.
[0013]
In the case of the Get interface table, all means described in the Get interface table are displayed on the GUI at the time of authoring. Buttons are created by the number of means. By pressing this button, information on the application being executed in the external application execution unit is acquired, and the value is reflected on the GUI. By referring to these values, various types of information of the external application can be easily obtained, and input during authoring can be supported.
[0014]
Also, in the above configuration, in the authoring method for controlling an arbitrary external application in synchronization with the video / audio media, it is necessary to describe the reproduction time of the video / audio media and how the external application operates at that time. There is. The description is described in the “external application control table from time” and is managed by the control unit. This table is a table including two or more columns. The first column is a column for inputting the playback position of the video / audio media, and the second column is a column for inputting the operation of the external application. If any argument is required for the operation of the external application, the number of columns is added according to the number of required arguments.
[0015]
To determine the time of the video / audio media, the time indicated in the video / audio playback unit is directly input to the “external application control table from the time” using a key device or the like, or using a device such as a mouse. The current time of the video / audio playback unit is automatically reflected in the time column.
[0016]
As a method of determining the operation of the external application after determining the time of the video / audio, when a column of the table to be input is selected with an input device such as a mouse, a list of operable selection items of the external application is displayed.
[0017]
In this selection item list, the value of the alias column of the Send interface table managed by the control unit is displayed as a list. By selecting an arbitrary operation from the displayed selection item list, the selected content is reflected in the “external application control table from time”. If an argument is required for the selected content (means for controlling the external application), enter the argument. By describing the time of the video / audio media and the operation of the external application synchronized at that time in this table, the setting of the “external application control table from the time” is completed.
[0018]
The contents described in this table are described in the “external application control table from time” in the control unit.
[0019]
Also, in the above configuration, the authoring method for controlling the video / audio media in synchronization with an arbitrary external application is such that an input table required at the time of authoring is created by the number of rows of the Accept interface table managed by the control unit. You. Each table has two columns, in which information received from the external application and the reproduction position of the video / audio media are described in order from the left.
[0020]
In the first column, the value of the column is automatically input using a key device or the like, or automatically using the information received from the external application started by the external application execution unit based on the Accept interface table. By inputting the information, the input can be supported. Input support in the second column by directly inputting the playback position using a key device, etc., or automatically inputting the current time value of the media being played by the video / audio playback unit Can be. The contents described in this table at the time of authoring are described in a “video / audio media control table” in the control unit.
[0021]
According to the above method, it is possible to author data for controlling an external application in synchronization with the video / audio media and data for controlling the video / audio media in synchronization with the external application.
[0022]
In the authoring system of the present invention, after the input of each data is completed, based on the data stored in each table managed by the control unit, the data is output to the video / audio media at the data file output unit. Is converted into a description format for operating an application that makes the external application interact with the application, and the result is output as a data file.
[0023]
First, a method of outputting a data file for controlling an external application from video / audio media is based on the “external application control table from time” created by authoring and the Send interface table. Originally, a data file for controlling an external application is output from the video / audio media. Actually, the “external application control table from the time” is scanned line by line, and XML (extensible markup language) elements for each line are output. Each line describes a time at which an event is generated, a type of operation of the external application at that time, and an argument for operating the external application if necessary.
[0024]
The output method of the data file for controlling the video / audio media from the external application is based on the data of the “video / audio media control table” based on the data file for controlling the video / audio media from the external application. Is output. Actually, the “video / audio media control table” is scanned line by line, and the XML elements for each line are output. Each line describes information received from the external application and the playback position of the video / audio media indicated at that time. By repeating this process, a data file is created, and the authoring for creating a description for operating an application that makes the video / audio media and an external application interact with each other is completed.
[0025]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 shows a configuration example of an authoring system according to an embodiment of the present invention. The authoring system shown here generates a description for operating an application that makes a video / audio media and an external application interact with each other.
[0026]
Here, this type of interface application is targeted as an arbitrary external application type. With this authoring system, it is possible to control this type of interface application from the playback position information of video / audio media. An example will be described in which a description for operating an application that enables control of a reproduction position of video / audio media is created from a page position or a selected character or image on the book type interface application.
[0027]
The book type interface application described here is an application that presents information by a display that looks like a book. This type of interface application has the concept of a page, and characters and images are arranged on the page. Just like browsing an actual book, you can browse new information by turning pages. An example of this type of interface application is CyberBook.
[0028]
FIG. 2 shows an application that makes the video / audio media described here and the main interface application interact with each other. As shown in FIG. 2, the application 22 to be linked exists between the video / audio player 20 and the main interface application 21. The application 22 pre-reads a description 23 for interlocking stored in the data file 6 and, in accordance with the description, enables control of the main interface application 21 from reproduction position information of video / audio media, This application enables control of the playback position of video / audio media from the page position of the book type interface application 21 or the selected character or image on the book type interface application 21.
[0029]
The authoring system 1 to which the present invention is directed is a system for generating a description 23 for interlocking shown in FIG.
[0030]
The application 22 to be linked can interpret and execute the description 23 for linking generated by the authoring system 1 to control the type interface application 21 from the video / audio media as follows, for example. it can.
(1) The page of the main interface application 21 can be advanced or returned, or a predetermined page can be opened in synchronization with the playback position of the video / audio media.
(2) Synchronize with the playback position of the video / audio media, change the character size, font, style, position, and shading described in the main interface application 21 and set display / non-display. can do.
(3) The size and position of an image can be changed and display / non-display can be set in synchronization with the playback position of the video / audio media.
[0031]
The video / audio player 20 can be controlled from the main interface application 21 as follows, for example.
(1) The playback position of the video can be controlled by the type of the turned page of the book type interface application 21.
(2) By selecting a specific character or image in the main interface application 21, the reproduction position of the video can be controlled.
[0032]
Of course, the control based on the description created by the authoring system 1 of the present invention is not limited to the above-described control, and various kinds of control that are interlocked with each other are possible.
[0033]
In FIG. 1, the authoring system 1 of the present embodiment includes a control unit 10, a description file analysis unit 11, a video / audio reproduction unit 12, an external application execution unit 13, a GUI detection unit 14, a display unit 15, and a data file output unit 16. Consists of Further, as shown in FIG. 1, the control unit 10 includes an Accept interface table 101, a Send interface table 102, a Get interface table 103, and an external application based on time, as tables for managing information necessary for authoring and authored information. It has a control table 104 and a video / audio media control table 105. The description of each of these tables will be described later.
[0034]
As input information of the authoring system 1, an external application interface description file 2 input by the description file analysis unit 11, a video / audio file input by the video / audio reproduction unit 12, and an external application controlled by the external application execution unit 13 There are an application 4 and an input device such as a mouse for inputting by the GUI detection unit 14. The data file 6 is a file in which a description 23 for interlocking shown in FIG. 2 which is an output of the authoring system 1 is stored.
[0035]
First, in the authoring system 1, by reading the external application interface description file 2, information to be passively acquired from the external application 4, control means, and means to actively acquire information are obtained.
[0036]
FIG. 3 shows an example of the external application interface description file 2. This description example is roughly divided into three items. “Interface: Accept”, “Interface: Send”, and “Interface: Get”.
[0037]
In the item “Interface: Accept”, information passively acquired from the external application 4 (the main type interface application 21 in FIG. 2) is described. “CurrentPage: Integrator-> alias:“ current page ”;” described in this example indicates a function that is automatically called when the page of the external application 4 (the book type interface application 21) changes. .
[0038]
When the page of the external application 4 (the main type interface application 21) is changed in the external application execution unit 13, the value of the currently open page is input to this function and called. Also, “current page” is set as an alias (alias), and this alias is reflected as a GUI at the time of authoring. This alias will be described later.
[0039]
“ObjectNumber: Integrar-> alias:“ selected object ”;” is a function called when the external application execution unit 13 selects an image or character on the main interface application 21. An arbitrary ID number indicating the selected image / character is input and called.
[0040]
The information described in the “Interface: Accept” is stored in the Accept interface table 101 in the control unit 10. FIG. 4A shows an example in which the information is stored. As shown in FIG. 4A, a function name, a type, and an alias are managed as column names in each column.
[0041]
In the item "Interface: Send", means for controlling the external application 4 (the main type interface application 21) is described. “JumpPage (PageNumber: Interger)-> alias:“ page jump ”;” described in this example describes means for opening an arbitrary page of the external application 4 (the main type interface application 21). “JumpPage” is a function name of this means, “PageNumber” is an argument indicating a page number to be opened, and indicates an integer type.
[0042]
“ChangeTextColor (ObjectNubmer: Integer, Color: Hex)-> alias:“ text character color change ”;” describes means for changing the character color on the main interface application 21. “ChangeTextColor” is a function name of this means, and “ObjectNumber” is an argument indicating an arbitrary ID number indicating an image or a character, and is an integer type. “Color” is an argument indicating a color to be changed, and is an integer type.
[0043]
The information described in these “Interface: Send” is stored in the Send interface table 102 in the control unit 10. FIG. 4B shows an example in which the information is stored. As shown in FIG. 4B, in each column, a means name, the number of arguments, an argument type, and an alias are managed as column names. However, the number of columns is increased and managed according to the number of arguments.
[0044]
The item of “Interface: Get” describes a means for actively acquiring information from the external application 4 (the main type interface application 21). "AllPage: Integrator->alias:" obtain page number ";" described in this example is a function for obtaining the total number of pages of the main type interface application 21, and indicates an integer type. The information described in this “Interface: Get” is stored in the Get interface table 103 in the control unit 10. FIG. 4C shows an example in which the information is stored. As shown in FIG. 4C, a function name, a type, and an alias are managed as column names in each column.
[0045]
The external application interface description file 2 described above is analyzed by the description file analysis unit 11. Then, the analyzed result is reflected in the Accept interface table 101, the Get interface table 103, and the Send interface table 102 of the control unit 10.
[0046]
FIG. 5 shows an example in which the Accept interface table 101 and the Get interface table 103 are reflected on the GUI at the time of authoring. In the example of the authoring GUI shown in FIG. 5, “AcceptInterface” described in the external application interface description file 2 is expanded in the reception information column. “CurrentPage” and “ObjectNumber” are described as “current page” and “selected object” reflecting the alias. The fields of “current page” and “selected object” described in this GUI indicate when the page of the main interface application 21 being executed in the external application execution unit 13 changes or when an object is selected. Each value is entered in the field.
[0047]
In this example, since the third page is opened, "3" is input to the current page of the reception information, and "7" is input to the selected object column when the object having ID = 7 is selected.
[0048]
“GetInterface” described in the external application interface description file 2 is expanded in the acquisition information column. Here, the button is a button reflecting the alias “acquire page number” of “AllPage”. By pressing this button, the total number of pages of the main interface application 21 executed in the external application execution unit 13 is acquired, and the value is reflected in the page acquisition column.
[0049]
By referring to these values, various types of information of the main interface application 21 can be easily obtained, and input during authoring can be supported.
[0050]
Next, authoring for controlling the main interface application 21, which is the external application 4, in synchronization with the video / audio media will be described.
[0051]
In this authoring, it is necessary to describe the time of the video and how the external application 4 operates at that time. FIG. 6 shows a GUI example of this authoring.
[0052]
The method of determining the time of the video / audio media is determined by directly inputting the time indicated by the video / audio reproduction unit 12 into the external application control table 104 from the time using a key device or the like. Alternatively, the current time of the video / audio reproduction unit 12 is automatically reflected in the time column using a device such as a mouse.
[0053]
In the method of deciding the operation of the external application 4 after deciding the video / audio time, when a column of a table to be inputted is selected with an input device such as a mouse, a list of operable selection items of the external application 4 is displayed. You.
[0054]
In this display of the selection item list, the value of the alias column of the Send interface table 102 shown in FIG. 4B is displayed as a list. By selecting an arbitrary operation from the displayed selection item list, the selected content is reflected in the external application control table 104 from the time. FIG. 7 shows an example of this table.
[0055]
If an argument is required for the selected content (means for controlling the external application), a table column for inputting the argument is automatically created, and the required argument is input in that column. The column of unnecessary arguments cannot be input as shown in FIG. By describing in this column, the setting of one event for synchronizing the external application 4 in synchronization with the video / audio media is completed. The contents described in this table are reflected in the external application control table 104 from the time in the control unit 10.
[0056]
Next, an example of authoring for controlling the video / audio player 20 in synchronization with an arbitrary external application 4 (the main interface application 21) will be described.
[0057]
First, input tables necessary for authoring are created for the number of rows in the Accept interface table 101 shown in FIG. In this example, two tables will be created. FIG. 8 shows the two tables created.
[0058]
As shown in FIG. 8A, a table for linking the current page of the book type interface application 21 with the reproduction position of the video / audio media, and as shown in FIG. Two tables are created for linking the ID of the object selected on the interface application 21 and the playback position of the video / audio media.
[0059]
In the column “current page” of the first table, the value is directly input using a key device or the like, or the value of the current page in the reception information column shown in FIG. 5 is automatically input. Input support can be provided. In the column "selection object" of the second table, input support is performed by directly inputting using a key device or the like, or automatically inputting the value of the selection object in the reception information column shown in FIG. can do. The contents described in this table are reflected in the video / audio media control table 105 in the control unit 10.
[0060]
With the above-described method, it is possible to author data for controlling the main interface application 21 in synchronization with the video / audio media and data for controlling the video / audio media in synchronization with the main interface application 21. Become.
[0061]
Finally, in the authoring system, based on the data stored in each table managed by the control unit 10, the data file output unit 16 exchanges the data with the video / audio media and any application. The data is converted into a description format for operating an application for linking and output as a data file 6.
[0062]
The output method of the data file 6 for controlling the external application 4 from the video / audio media will be described with reference to FIGS. 9 shows an example of the external application control table 104 and the Send interface table 102 from the time created by authoring, and FIG. 10 shows an example of a data file output process.
[0063]
Based on the data of the two tables shown in FIGS. 9A and 9B, a data file 6 for controlling the external application 4 is output from the video / audio media. Therefore, as shown in FIG. 10, the data file output unit 16 scans the external application control table 104 line by line from the time and outputs XML elements for each line. For example, from the first line, "<func name =" JumpPage "begin =" 3.0s "val_1 =" 1 "/>" is output. This is performed by referring to the actual interface name of the page jump of the external application operation described in the external application control table 104 from the time from the Send interface table 102 and describing “JumpPage” in the name attribute. The tag is closed by inputting the time value into the begin attribute and the argument value into the val_1 attribute. By repeating this process, a data file 6 as shown in FIG. 10 is created.
[0064]
That is, the data file output unit 16 repeats steps S1 to S4 by the number of lines described in the external application control table 104 from the time. First, in step S1, the Send interface table 102 is referred to from the name of the external application operation in the external application control table 104 from the time to check the means name and the number of arguments. In step S2, the means name is described in the name attribute in the XML Func element. Next, in step S3, the time is described in the begin attribute in the XML Func element. Subsequently, in step S4, val attributes are created in the XML Func element by the number of arguments, and the time is described in the begin attribute that describes the value of the argument. This is repeated for three lines in the external application control table 104 from the time in FIG. 9A.
[0065]
The interoperating application 22 shown in FIG. 2 interprets and executes the data file 6 shown in the output example of FIG. 10 so that three seconds after the reproduction of the video / audio media, the first page of the main type interface application 21 is displayed. 9 seconds later, the color of the tenth text string of the main interface application 21 is changed to the color “FFEEA0”, and after 27 seconds, the display of the main interface application 21 jumps to the third page. In addition, the main type interface application 21 can be controlled.
[0066]
A method of outputting a data file for controlling video / audio media from an external application will be described with reference to FIGS. 11 is an example of two video / audio media control tables 105 created by authoring, FIG. 12 is an example of a data file output process, and FIG. 13 is output to control video / audio media from an external application. 2 shows an example of the data file 6 shown in FIG.
[0067]
Based on the two video / audio media control tables 105 created by the authoring shown in FIGS. 11A and 11B, the external application 4 outputs a data file 6 for controlling the video / audio media. . Therefore, as shown in FIG. 12, the data file output unit 16 scans the video / audio media control table 105 line by line, and outputs XML elements for each line. For example, from the first line of the video / audio media control table 105 shown in FIG. 11A, “<event number =“ 1 ”><call FuncName =“ MoviePositionChange ”val — 1 =“ 15 ”/><<event> Is output.
[0068]
This is performed by describing the value of the current page described in the video / audio media control table 105 or the value of the selected object in the number attribute of the event element. In addition, the function name MoviePositionChange for changing the playback position of the media being played back by the video / audio playback unit 12 is described in the FuncName attribute of the Call element, and the playback position of the video / audio media is described in the val attribute indicating the value of the argument. Enter and close the tag. By repeating this process, a data file 6 as shown in FIG. 13 is created.
[0069]
That is, the data file output unit 16 repeats steps S11 to S13 by the number of lines described in the video / audio media control table 105. First, in step S11, referring to the Send interface table 102 from the name of the external application operation in the video / audio media control table 105, the means name and the number of arguments are checked. In step S12, the time is described in the number attribute in the XML event element. Next, in step S13, the position of the video / audio media is described in the FuncName attribute in the Call element of the XML event element. As a result, the data file 6 shown in FIG. 13 is output, and the authoring is completed.
[0070]
The application 22 to be interlocked shown in FIG. 2 interprets and executes the data file 6 shown in the output example of FIG. -The audio media is reproduced from the position of the 15th second. If it is the third page, the video / audio media is reproduced from the position of the 25th second. If it is the fifth page, the video / audio media is reproduced. The video / audio player 20 can be controlled so as to reproduce from the position at the 35th second.
[0071]
Further, when the displayed object of ID = 7 is selected in the main type interface application 21, the video / audio medium is reproduced from the position of the 6th second, and the displayed object of ID = 10 is selected. Then, the video / audio player 20 can be controlled to reproduce the video / audio media from the position at the 27th second.
[0072]
The above processing by the authoring system 1 can be realized by a computer and a software program, and the program is stored in an appropriate recording medium such as a computer-readable portable medium memory, a semiconductor memory, and a hard disk. By reading from there, it can be executed by a computer.
[0073]
【The invention's effect】
As described above, in the authoring system of the present invention, information for controlling an arbitrary external application is analyzed using the external application interface description file, and the means for controlling the external application are transmitted from the external application. Creates a table for the means to receive information, inquires to the external application, and creates a table for the means to acquire information. When inputting data, inquires about the information of the external application, displays a list of the information of the external application, and displays the information. By reflecting the information of the external application in the input selection field at the time of authoring, the authoring efficiency can be improved.
[0074]
Also, a table for storing information on how to link any external application to the time of video / audio media. When any object of any external application is selected, the table of video / audio media is displayed. A table that stores information that controls time. If any external application has the concept of the progress status (time such as video and audio media, or progress status such as a page), the value of the progress status of the video / audio media A description format for recording the authored data in a table that stores information that controls the time of the application, and using the data that is stored in each table to operate an application that allows video and audio media to interact with any application Can be converted and output.
[0075]
Therefore, it is possible to create a description for operating an application for interconnecting video / audio media and an arbitrary external application, which has been conventionally described by an editor or the like, only by inputting minimum definition information necessary for authoring. , GUI can be easily created. For example, for a book type interface application or the like, it is possible to acquire the state of a book and easily edit a description for interworking with a video / audio player.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration example of an authoring system of the present invention.
FIG. 2 is a diagram showing an application for interworking video / audio media and a book type interface application.
FIG. 3 is a diagram illustrating an example of an external application interface description file.
FIG. 4 is a diagram illustrating an example of an Accept interface table, a Send interface table, and a Get interface table.
FIG. 5 is a diagram illustrating an example in which an Accept interface table and a Get interface table are reflected in an authoring GUI.
FIG. 6 is a diagram illustrating an example of an authoring GUI for controlling an external application in synchronization with video / audio media.
FIG. 7 is a diagram illustrating an example of an authoring GUI for controlling an external application in synchronization with video / audio media.
FIG. 8 is a diagram illustrating an example of an authoring GUI for controlling video / audio media in synchronization with an external application.
FIG. 9 is a diagram illustrating an example of an external application control table and a Send interface table from the time created by authoring.
FIG. 10 is a diagram illustrating an example of a data file output process.
FIG. 11 is a diagram showing an example of two video / audio media control tables created by authoring.
FIG. 12 is a diagram illustrating an example of a data file output process.
FIG. 13 is a diagram illustrating an example of a data file output for controlling video / audio media from an external application.
[Explanation of symbols]
1 Authoring system
10 control unit
11 Description file analysis unit
12 Video / audio playback unit
13 External application execution unit
14 GUI detection unit
15 Display
16 Data file output section
101 Accept interface table
102 Send interface table
103 Get interface table
104 External application control table from time
105 Video / audio media control table
2 External application interface description file
3 Video and audio files
4 external applications
5 Input device
6 data files
20 Video / Audio Player
21 Book interface application
22 Applications to be linked
23 Description for interlocking

Claims (5)

映像・音声メディアと外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述を作成するオーサリングシステムにおけるオーサリング処理方法であって,
オーサリングに必要な外部アプリケーションを制御するためのインターフェイス情報を格納した外部アプリケーションインターフェイス記述ファイルの格納情報を読み込む過程と,
読み込んだインターフェイス情報を解析し,外部アプリケーションを制御する手段,外部アプリケーションから送信されてくる情報を受信する手段,外部アプリケーションへ問い合わせ,情報を取得する手段に関する情報を格納したテーブルを作成する過程と,
映像・音声メディアと外部アプリケーションを連動させるオーサリングのデータを入力する際に,前記テーブルに格納した情報をもとに,外部アプリケーションの情報を問い合わせ,その外部アプリケーションの情報を一覧表示し,その情報をもとに外部アプリケーションの情報を入力することで,オーサリングのデータを入力する過程と,
前記テーブルの情報と前記入力したデータとをもとに,映像・音声メディアと外部アプリケーションとを相互連動させるアプリケーションを動作させるための所定の記述フォーマットに従った記述データを作成し出力する過程とを有する
ことを特徴とするオーサリング処理方法。
An authoring processing method in an authoring system for creating a description for operating an application for interworking video / audio media with an external application, comprising:
Reading information stored in an external application interface description file storing interface information for controlling an external application required for authoring;
Analyzing the read interface information to create a table storing information relating to a means for controlling the external application, a means for receiving information transmitted from the external application, an inquiry to the external application, and a means for obtaining information;
When inputting the authoring data for linking the video / audio media and the external application, the information of the external application is queried based on the information stored in the table, the information of the external application is displayed in a list, and the information is displayed. The process of inputting the authoring data by inputting the information of the external application based on
Generating and outputting description data in accordance with a predetermined description format for operating an application for interconnecting video / audio media and an external application based on the information in the table and the input data. An authoring processing method comprising:
請求項1記載のオーサリング処理方法において,
前記オーサリングのデータを入力する過程では,映像・音声メディアの時刻に対して,前記外部アプリケーションをどのように連動させるかの情報を格納するテーブル,および前記外部アプリケーションから受信した情報に対応して映像・音声メディアの時刻を制御する情報を格納するテーブルに,オーサリングによる入力データを記録する
ことを特徴とするオーサリング処理方法。
The authoring processing method according to claim 1,
In the process of inputting the authoring data, a table storing information on how the external application is linked to the time of the video / audio media, and a video corresponding to the information received from the external application. -An authoring processing method characterized by recording input data by authoring in a table for storing information for controlling time of audio media.
映像・音声メディアと外部アプリケーションとを相互連動させるアプリケーションを動作させるための記述を作成するオーサリング処理装置であって,
前記外部アプリケーションを制御するためのインターフェイス情報を記述した入力情報を解析し,外部アプリケーションを制御する手段,外部アプリケーションから送信されてくる情報を受信する手段,および外部アプリケーションへ問い合わせて情報を取得する手段に関する情報を抽出する解析手段と,
前記解析手段が抽出した外部アプリケーションを制御する手段,外部アプリケーションから送信されてくる情報を受信する手段,および外部アプリケーションへ問い合わせて情報を取得する手段に関する情報をテーブル化して管理する制御手段と,
前記テーブル化して管理する情報をもとに,グラフィカル・ユーザ・インターフェイスを用いて映像・音声メディアと外部アプリケーションを連動させるオーサリングのデータを入力する手段と,
前記制御手段が管理する各テーブルに格納されているデータと,入力したオーサリングのデータとをもとに,映像・音声メディアと外部アプリケーションとを相互連動させるアプリケーションを動作させるための所定の記述フォーマットに従った記述データを作成し出力する手段とを備える
ことを特徴とするオーサリング処理装置。
An authoring processing device for creating a description for operating an application for interworking video / audio media with an external application,
Means for analyzing input information describing interface information for controlling the external application, controlling the external application, receiving information transmitted from the external application, and acquiring information by inquiring of the external application Analysis means for extracting information about
Means for controlling the external application extracted by the analysis means, means for receiving information transmitted from the external application, and control means for tabulating and managing information relating to means for inquiring the external application to obtain information;
Means for inputting authoring data for linking video / audio media with an external application using a graphical user interface based on the information managed in the form of a table;
Based on the data stored in each table managed by the control means and the input authoring data, a predetermined description format for operating an application for interlocking the video / audio media with the external application is created. Means for generating and outputting the corresponding description data.
請求項3記載のオーサリング処理装置において,
前記制御手段は,前記外部アプリケーションを制御する手段,外部アプリケーションから送信されてくる情報を受信する手段,および外部アプリケーションへ問い合わせて情報を取得する手段に関するそれぞれのテーブルの他に,映像・音声メディアの時刻に対して,前記外部アプリケーションをどのように連動させるかの情報を格納するテーブルと,前記外部アプリケーションから受信した情報に対応して映像・音声メディアの時刻を制御する情報を格納するテーブルとを備え,
前記オーサリングのデータを入力する手段は,前記映像・音声メディアの時刻に対して,前記外部アプリケーションをどのように連動させるかの情報を格納するテーブルと,前記外部アプリケーションから受信した情報に対応して映像・音声メディアの時刻を制御する情報を格納するテーブルに,入力したデータを記録する
ことを特徴とするオーサリング処理装置。
The authoring processing apparatus according to claim 3,
The control unit includes a table for controlling the external application, a unit for receiving information transmitted from the external application, and a unit for obtaining information by inquiring of the external application. A table for storing information on how the external application is linked to the time and a table for storing information for controlling the time of the video / audio media corresponding to the information received from the external application. Prepare,
The means for inputting the authoring data includes a table for storing information on how to link the external application with the time of the video / audio media, and a table for storing information corresponding to the information received from the external application. An authoring processing device for recording input data in a table for storing information for controlling time of video / audio media.
請求項1または請求項2記載のオーサリング処理方法を,計算機に実行させるためのオーサリング処理プログラム。An authoring processing program for causing a computer to execute the authoring processing method according to claim 1 or 2.
JP2002158828A 2002-05-31 2002-05-31 Authoring processing method, authoring processing apparatus, and authoring processing program Expired - Lifetime JP3768922B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002158828A JP3768922B2 (en) 2002-05-31 2002-05-31 Authoring processing method, authoring processing apparatus, and authoring processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002158828A JP3768922B2 (en) 2002-05-31 2002-05-31 Authoring processing method, authoring processing apparatus, and authoring processing program

Publications (2)

Publication Number Publication Date
JP2004007128A true JP2004007128A (en) 2004-01-08
JP3768922B2 JP3768922B2 (en) 2006-04-19

Family

ID=30428867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002158828A Expired - Lifetime JP3768922B2 (en) 2002-05-31 2002-05-31 Authoring processing method, authoring processing apparatus, and authoring processing program

Country Status (1)

Country Link
JP (1) JP3768922B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006028132A1 (en) * 2004-09-08 2006-03-16 Matsushita Electric Industrial Co., Ltd. Reproduction device, reproduction method and program for reproducing graphic data and application in association with each other

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006028132A1 (en) * 2004-09-08 2006-03-16 Matsushita Electric Industrial Co., Ltd. Reproduction device, reproduction method and program for reproducing graphic data and application in association with each other
JPWO2006028132A1 (en) * 2004-09-08 2008-05-08 松下電器産業株式会社 Playback apparatus, playback method, and program for playing back video data and application in conjunction with each other
JP2011187158A (en) * 2004-09-08 2011-09-22 Panasonic Corp Reproduction device, reproduction method, and program for reproducing graphic data and application in association with each other
JP5094119B2 (en) * 2004-09-08 2012-12-12 パナソニック株式会社 Playback apparatus, playback method, and program for playing back video data and application in conjunction with each other
US8606069B2 (en) 2004-09-08 2013-12-10 Panasonic Corporation Playback device, playback method, and computer-readable recording medium for ensuring stable application execution in synchronism with video data playback

Also Published As

Publication number Publication date
JP3768922B2 (en) 2006-04-19

Similar Documents

Publication Publication Date Title
US11301113B2 (en) Information processing apparatus display control method and program
US7394473B2 (en) Browser and program containing multi-medium content
JP2008234148A (en) Document display, document display method, and document display program
WO2007091510A1 (en) Content distribution system
JP2008250899A (en) Content reproducing method, content reproducing system, content reproducing program and medium for recording content reproducing program
JP2004287595A (en) Device and method for converting composite media contents and its program
JP2007328510A (en) Content conversion device, content display device, content browsing device, content conversion method, content browsing method and program
JP2005266954A (en) Operation information recording/reproduction apparatus
JP4514671B2 (en) CONTENT EDITING DEVICE, COMPUTER-READABLE PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME
JP5552987B2 (en) Search result output device, search result output method, and search result output program
US20140304602A1 (en) Clip-specific asset configuration
JP3288460B2 (en) Display data generation apparatus and method
Jokela et al. Mobile video editor: design and evaluation
JP3768922B2 (en) Authoring processing method, authoring processing apparatus, and authoring processing program
JP4574113B2 (en) Device for creating file for displaying additional information superimposed on display screen and magnetic recording medium
EP1161736A2 (en) System, method and article for applying temporal elements to the attributes of a static document object
JP2014171053A (en) Electronic document container data file, electronic document container data file generating apparatus, electronic document container data file generating program, server apparatus, and electronic document container data file generating method
JP2003015941A (en) Data structure of document, storage medium and information processing unit
JPH10240732A (en) Method and device for generating html file for www
JP2003099447A (en) Document data structure, storage medium and information processor
JP2000059724A (en) Multimedia authoring method, its system and recording medium thereof
JP2003099302A (en) Document conversion service method, document data structure, storage medium and information processor
JP2007164585A (en) Manual preparation tool
JP2002287964A (en) Screen input/output specification designing system, method and program
JP2008077432A (en) File management method and information processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060202

R150 Certificate of patent or registration of utility model

Ref document number: 3768922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term