JP2002077902A - シーン記述方法及び装置並びに記憶媒体 - Google Patents

シーン記述方法及び装置並びに記憶媒体

Info

Publication number
JP2002077902A
JP2002077902A JP2000254802A JP2000254802A JP2002077902A JP 2002077902 A JP2002077902 A JP 2002077902A JP 2000254802 A JP2000254802 A JP 2000254802A JP 2000254802 A JP2000254802 A JP 2000254802A JP 2002077902 A JP2002077902 A JP 2002077902A
Authority
JP
Japan
Prior art keywords
event
scene
scene description
management table
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000254802A
Other languages
English (en)
Inventor
Toshiyuki Nakagawa
利之 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000254802A priority Critical patent/JP2002077902A/ja
Publication of JP2002077902A publication Critical patent/JP2002077902A/ja
Withdrawn legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 動画像及び/又は音声とテキストとが自動的
に同期させる。 【解決手段】 シーン記述回路16は、ユーザからのシ
ーン編集要求信号を受信すると、対応するBIFSノー
ドを記憶装置14から読み出し、各ノードを空間的・時
間的に配置することでシーン記述ファイル18へ初期シ
ーンを記述する。シーン記述回路16は次に、使用する
AVオブジェクトのID番号をAVビットストリーム解
析回路12に通知し、AVビットストリーム解析回路1
2は、通知されたID番号に対応するAVビットストリ
ームを記憶装置10から読み出して解析し、各種イベン
トを検出すると共に、音声認識技術によりテキストデー
タを抽出する。検出された各種イベントの情報と、抽出
したテキストデータは、イベント管理テーブルに格納さ
れる。AVビットストリーム解析回路12が全てのAV
データを解析し終えると、シーン記述回路16は、作成
されたイベント管理テーブルを参照し、シーン記述ファ
イル18にBIFSコマンドの記述を追加する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、シーン記述方法及
び装置並びに記憶媒体に関し、より具体的には、映像及
び/又は音声とテキストを同期させるシーン記述方法及
び装置、並びにその方法を実現するプログラムロフトウ
エアを記憶する記憶媒体に関する。
【0002】
【従来の技術】近年、映像及び音声等からなる複数のオ
ブジェクトを含むマルチメディアデータを組み合わせて
単一のビットストリームとして伝送する方法として、I
SO−IEC/JTC1/SC29/WG11におい
て、MPEG−4が標準化されつつある。
【0003】MPEG−4のデータストリームでは、こ
れまでの一般的なマルチメディアストリームとは異な
り、いくつもの動画像又は動画像オブジェクトを単一の
ストリーム上で独立して送受信することができる。ま
た、音声データについても同様に、幾つものオブジェク
トを単一のストリーム上で復元可能である。
【0004】受信端末又は再生装置でマルチメディアシ
ーンを再構築するには、受信端末へ未加工の映像音声デ
ータを送信するだけでは不充分である。受信端末におい
て、このような映像音声データを結びつけたり、エンド
ユーザにとって意味のあるマルチメディアシーンを配置
・構成するのに、付加的な情報が必要である。この付加
情報は、MPEG−4のデータストリームでは、音声及
び映像オブジェクト等の数々のオブジェクトの空間的・
時間的配置を決定するための情報であり、その記述に
は、VRML(Virtual Reality Mo
deling Language)を自然動画像及び音
声を扱えるように拡張したBIFS(Binary F
ormat for Scene descripti
on)が使用される。
【0005】BIFSは、MPEG−4のシーンを2値
で記述する情報からなる。BIFSでシーンを記述する
ことにより、文字放送、テロップ及びクローズドキャプ
ションで使用されるテキスト情報を映像及び音声に組み
合わせたビットストリームを作成できる。
【0006】MPEG−4の送信端末は、映像及び音声
等により構成されるAVデータ、BIFS及びタイムス
タンプを多重化し、多重化ビットストリームとして受信
端末に向けて出力する。受信端末(再生装置)は、その
多重化ビットストリームを受信すると、BIFSとAV
ストリーム(AVデータに対応するストリーム)に分離
する。AVストリームのビデオストリーム及びオーディ
オストリームは、それぞれに対応するデコーダにより個
別に復号された後、BIFSの記述内容に従い、シーン
合成器により再構成され、個々のシーンが再生される。
【0007】
【発明が解決しようとする課題】送信端末側において、
動画像、音声及びテキスト情報から構成されるMPEG
−4ビットストリームに対してBIFSによってシーン
を記述する場合、一般的には、Textノードを用いて
テキストデータを記述し、更に、そのTextノードに
対してINSERT(挿入)、DELETE(削除)及
びREPLACE(置換)等のコマンドを組み合わせて
使用することにより、テキストデータを追加、削除及び
変更する。
【0008】その際、受信端末側においてテキスト、動
画像及び音声が互いに正確に同期して再生されるよう
に、BIFSでは、そのTextノード並びにINSE
RT、DELETE及びREPLACE等のコマンド
と、実際の動画像及び音声等のAVデータとの間の時間
的配置を正確に記述する必要がある。
【0009】しかし、このようなシーンを記述するに
は、従来、動画像及び音声を解析し、Textノードに
対してコマンドを発行するタイミングを手作業で記述し
なければならず、非常に時間と手間のかかる作業が必要
があった。
【0010】本発明は、このような問題点を解決するシ
ーン記述方法及び装置並びに記憶媒体を提示することを
目的とする。
【0011】本発明はまた、MPEG−4ストリームデ
ータの動画像及び/又は音声とテキストとが自動的に同
期するシーン記述方法及び装置並びに記憶媒体を提示す
ることを目的とする。
【0012】
【課題を解決するための手段】本発明に係るシーン記述
方法は、ノード及びコマンドによりシーンを記述するシ
ーン記述方法であって、当該ノードに含まれる所定の指
定情報により指定される映像及び音声データを解析する
ことにより、予め決めた種類のイベントを検出するイベ
ント検出ステップと、当該イベント検出ステップで検出
されるイベントと、前記映像及び音声データに関するテ
キストデータとを関連付けて、イベント管理テーブルを
作成するイベント管理テーブル作成ステップと、当該イ
ベント管理テーブル内の情報に基づいて、適用すべきコ
マンドを決定する決定ステップとを具備することを特徴
とする。
【0013】本発明に係るシーン記述装置は、ノード及
びコマンドによりシーンを記述するシーン記述装置であ
って、当該ノードに含まれる所定の指定情報により指定
される映像及び音声データを解析することにより、予め
決めた種類のイベントを検出するイベント検出手段と、
当該イベント検出手段により検出されるイベントと、前
記映像及び音声データに関するテキストデータとを関連
付けて、イベント管理テーブルを作成するイベント管理
テーブル作成手段と、当該イベント管理テーブル内の情
報に基づいて、適用すべきコマンドを決定する決定手段
とを具備することを特徴とする。
【0014】本発明に係る記憶媒体は、ノード及びコマ
ンドによりシーンを記述するシーン記述方法を実行する
プログラムを記憶する記憶媒体であって、当該プログラ
ムが、当該ノードに含まれる所定の指定情報により指定
される映像及び音声データを解析することにより、予め
決めた種類のイベントを検出するイベント検出モジュー
ルと、当該イベント検出モジュールで検出されるイベン
トと、前記映像及び音声データに関するテキストデータ
とを関連付けて、イベント管理テーブルを作成するイベ
ント管理テーブル作成モジュールと、当該イベント管理
テーブル内の情報に基づいて、適用すべきコマンドを決
定する決定モジュールとを具備することを特徴とする。
【0015】
【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。
【0016】図1は本発明の一実施例の概略構成ブロッ
ク図を示し、図2は、本実施例におけるシーン記述処理
手順のフローチャートを示す。
【0017】図1において、10は静止画像、動画像及
び音声からなるAVビットストリームを記憶する記憶装
置、12は記憶装置10に記憶されるAVビットストリ
ームを解析する解析回路、14は、2次元又は3次元の
BIFSノードを記憶する記憶装置、16は、ユーザか
らの編集要求信号に従い、解析回路12の解析結果を参
照しつつ、記憶装置14のBIFSノードから指示され
た内容のシーンを記述するシーン記述回路、18はシー
ン記述回路16により記述されたシーン記述ファイルで
ある。
【0018】図3は、映像データ、音声データ及びテキ
ストデータとBIFSノードとの対応例の模式図を示
す。図3(a)は再生例を示し、同(b)はノード関係
を示す。図3に示す例では、画面20上に動画像22と
テキスト24が表示され、スピーカから音声26が出力
されている。動画像22は、2つのオブジェクト、すな
わち、背景22aと人物22bからなる。
【0019】図2を参照して、本実施例の基本的動作を
説明する。シーン記述回路16は、ユーザからのシーン
編集要求信号を受信すると、その要求信号に基づいて、
対応するBIFSノードを記憶装置14から読み出し、
各ノードを空間的・時間的に配置することでシーン記述
ファイル18へ初期シーンを記述する。その際、シーン
記述ファイル18を新たに作成しても良いし、作成済み
のシーン記述ファイル18の内容を変更しても良い。
【0020】ユーザが図3に示すようにオブジェクトを
配置すると、シーン記述回路16は、シーン編集要求信
号を受信し、まず、画面20に対してルート(Roo
t)ノードを記述する。動画像の背景22a、音声26
及びテキスト24に関する情報が、それぞれノード#
1,#3,#4にルートノードの子ノードとして記述さ
れる。更に、人物22bに関する情報がノード#2に記
述される。なお、ノード#2は、ノード#1の子ノード
となる。映像及び音声の各ノード#1,#2,#3に
は、対応するAVオブジェクトデータの所在を示すID
番号が記述される。
【0021】シーン記述回路16は次に、使用するAV
オブジェクトのID番号をAVビットストリーム解析回
路12に通知する(S2)。AVビットストリーム解析
回路12は、通知されたID番号に対応するAVビット
ストリームを記憶装置10から読み出して解析し、各種
イベントを検出すると共に、AVビットストリームの音
声データから音声認識技術によりテキストデータを生成
する。音に関して、音楽又は人の声が入っている区間の
開始及び終了、無声部の開始及び終了、並びに、無声部
が一定時間継続したことなどをイベントとして検出す
る。それ以外にも、予め特定の音楽又は効果音を登録し
ておき、これをイベントとして検出してもよい。映像に
関しては、動画像データ及び動画像を構成する各オブジ
ェクトデータに関して、シーンチェンジ又はブラックア
ウト区間の開始及び終了等を手がかりとしてイベントを
検出し、利用できることはいうまでもない。
【0022】静止画オブジェクトデータは、例えば公知
のJPEG方式で高能率(圧縮)符号化されたデータで
あり、動画像オブジェクトデータは、例えば公知のMP
EG−2、MPEG−4又はH−263方式で高能率符
号化されたデータである。音声オブジェクトデータは、
例えば公知のCELP(Code ExcitedLi
near Prediction)符号化、又は、変換
領域重み付けインターリーブベクトル量子化(TWIN
VQ)方式などで高能率符号化されたデータである。
【0023】検出された各種イベントの情報と、抽出し
たテキストデータをイベント管理テーブル28に格納す
る(S3)。図4は、イベント管理テーブル28の一例
を示す。図4に示すイベント管理テーブル28は、イベ
ント発生時刻欄30、イベント種類欄32及びテキスト
データ欄34からなる。一連のAVデータから順次、抽
出されたイベントの発生時刻が、イベント発生時刻欄3
0に書きこまれると共に、そのイベントの種類がイベン
ト種類欄32に書きこまれる。イベント発生時刻は、A
Vデータの再生開始時刻にAVデータの先頭からの時刻
を加算した時間をミリ秒単位で表現した数値からなる。
音声認識によりテキストデータが生成された場合には、
テキストデータ欄34にその内容が、すなわち、テキス
トデータが記録される。
【0024】AVビットストリーム解析回路12が全て
のAVデータを解析し終えたかどうかを判定する(S
4)。全部を終了するまで、S2以降を繰り返して実行
する(S4)。全部のAVデータを解析し終えたら(S
4)、シーン記述回路16は、作成されたイベント管理
テーブル28を参照し、シーン記述ファイル18にBI
FSコマンドの記述を追加する(S5)。
【0025】初期シーンは、図3に示す階層構造で記述
されているが、その構造は必ずしも静的ではなく、BI
FSコマンドによりノードが動的に追加、削除又は変更
されることがある。BIFSコマンドの記述フォーマッ
トは以下の通りである。すなわち、 AT[time in milliseconds]{ one or more update commands } また、各コマンドは、下記の何れかである。すなわち、 INSERT AT <NodeName>.<FieldName> [i] <value> APPEND TO <NodeName>.<FieldName> <value> INSERT ROUTE <NodeName>.<FieldName> TO <NodeName>.<FieldName> DELETE <NodeName> DELETE ROUTE <RouteName> DELETE <NodeName>.<FieldName> [i] DELETE LAST <NodeName>.<FieldName> REPLACE <NodeName> BY <NodeDefinition> REPLACE <NodeName>.<FieldName> BY <value> REPLACE <NodeName>.<FieldName> [i] BY <value> REPLACE LAST <NodeName>.<FieldName> BY <value> REPLACE ROUTE <RouteName> BY <RouteDefinition> REPLACE SCENE BY <SceneDefinition> ノード名、フィールド名及びその他の定義に関する詳細
は、MPEG−4、Part1:SystemsのIS
(International Standard)を
参照されたい。
【0026】再生時にテキストデータが動的に追加、削
除又は変更されるようなシーンを作成するには、上述し
たようなBIFSコマンドをTextノードに対し発行
する必要がある。これらBIFSコマンドの使い分け
は、イベント管理テーブル28のイベント種類欄32で
判断される。
【0027】図5は、図2のS5におけるBIFSコマ
ンド記述手順のフローチャートを示す。BIFSコマン
ドを発行する時刻を明示する必要があるので、イベント
管理テーブル28のイベント発生時刻欄30を参照し
て、 AT [x] と記述する(S11)。xは、イベント発生時刻欄30
から読み出したミリ秒単位の時間情報からなる。
【0028】イベント管理テーブル28のイベント種類
欄32を解析し(S12)、それが”開始”であれば
(S13)、テキストデータを追加するためにINSE
RTコマンドを記述し(S14)、”開始”イベントで
なければ(S13)、”継続”かどうかを判定する(S
15)。”継続”イベントの場合(S15)、テキスト
データを変更するためにREPLACEコマンドを記述
し(S16)、継続イベントでなければ(S15)、そ
のイベントは”終了”であると判断し、テキストデータ
を削除するためのDELETEコマンドを記述する(S
17)。
【0029】イベントの内容に応じたコマンドを記述し
た後、ノード名及びフィールド名を記述する(S1
8)。具体的には、初期シーンの記述時に(S1)、 DEF TEXTNODE Text というように、予め、Textノードを定義しておき、
このDEF記述子を用いて、TextノードにTEXT
NODEと名称を設定した上で、 TEXTNODE.string のようにノード名及びフィールド名を記述する。ここ
で、stringは、Textノードのフィールドの一
つであり、実際のテキストデータは、stringフィ
ールドに記述されることになる。このような記述形式
は、コンピュータプログラミングの構造化言語で広く使
用されている。
【0030】次に、イベント管理テーブル28のテキス
トデータ欄34を参照し、そこに記録されているテキス
トデータを記述する。具体的には、S18で記述したノ
ード名及びフィールド名の後に引き続き、 TEXTNODE.string [ABC] というように、テキストデータ欄34の内容ABCを記
述する。前述したように、テキスト文字列はTextノ
ードのstringフィールドに記述されるので、この
ように記述しておけば、そのコマンドの内容に応じてテ
キストデータが追加又は変更されることになる。また、
コマンドの種類によっては、テキストデータABCの前
に”BY”と記述することもあるが、上述の書式に従う
ものとする。
【0031】イベント管理テーブル28のテキストデー
タ欄34にテキストデータが記録されていない場合、つ
まり、BIFSコマンドがDELETEである場合、S
19は実質的にはスキップされる。DELETEの実行
により、それより前に表示されていたテキストデータが
削除される。
【0032】イベント管理テーブル28に格納されてい
る全イベントに関してBIFSコマンドの記述を終えた
かどうかを判断し(S20)、完了していない場合に
は、S11以降を繰り返す。全イベントに対してBIF
Sコマンドの記述を完了していれば(S20)、処理を
終了する。
【0033】図6は、図4に例示する内容のイベント管
理テーブル28からBIFSコマンドを記述した場合の
スクリプト例を示す。先の例と同様に、Textノード
に対し予めTEXTNODEという名称が付けられてい
るものとする。
【0034】図4のイベント発生時刻欄30を参照する
と、時刻0msec、1100msec、3100ms
ec及び120000msecにおいてイベントが発生
している。従って、各時刻にコマンドが発行されるよう
に、図6に示すように、ATの後に発生時刻、コマンド
及びそのパラメータを続けて記述する。
【0035】図4に示す例では、時刻0msecにおけ
るイベントの種類は”開始”であるので、この時刻にお
けるコマンドは”INSERT”である。時刻1100
msec及び3100msecにおけるイベントの種類
は”継続”であるので、これらの時刻におけるコマンド
は、”REPLACE”である。時刻120000ms
ecにおけるイベントの種類は”終了”であるので、こ
の時刻におけるコマンドは”DELETE”である。
【0036】テキストデータ欄34には、時刻0mse
c、1100msec及び3100msecに対して、
それぞれ“Hello!”、“Nice to mee
tyou.”、“How are you?”が記録さ
れているので、図6に示すように、それぞれの時刻に対
するコマンドで、これらの文字列が、TEXTNOD
E.string (BY)に続いて記述される。時刻
120000msecにはテキストデータが存在しない
ので、コマンドには何もテキストデータが付加されな
い。
【0037】このようにして、イベント管理テーブル2
8に格納されている全てのイベントについてBIFSコ
マンドの記述を完了すると(S5)、全てのシーン記述
処理を終了する。
【0038】本発明は、複数の機器(例えばホストコン
ピュータ、インタフェース機器、リーダ及びプリンタ
等)から構成されるシステムに適用しても、一つの機器
(例えば複写機及びファクシミリ装置)からなる装置に
適用してもよい。
【0039】上述した実施例の機能を実現するように各
種のデバイスを動作させるべく当該各種デバイスと接続
された装置又はシステム内のコンピュータに、上記実施
例の機能を実現するためのソフトウェアのプログラムコ
ードを供給し、その装置又はシステムのコンピュータ
(CPU又はMPU)を格納されたプログラムに従って
動作させ、前記各種デバイスを動作させることによって
実施したものも、本願発明の範囲に含まれる。
【0040】この場合、前記ソフトウエアのプログラム
コード自体が、前述した実施例の機能を実現することに
なり、そのプログラムコード自体、及びそのプログラム
コードをコンピュータに供給するための手段、例えば、
かかるプログラムコードを格納した記憶媒体は、本発明
を構成する。かかるプログラムコードを格納する記憶媒
体としては、例えば、フロッピー(登録商標)ディス
ク、ハードディスク、光ディスク、光磁気ディスク、C
D−ROM、磁気テープ、不揮発性のメモリカード及び
ROM等を用いることが出来る。
【0041】また、コンピュータが供給されたプログラ
ムコードを実行することにより、前述の実施例の機能が
実現されるだけではなく、そのプログラムコードがコン
ピュータにおいて稼働しているOS(オペレーティング
システム)又は他のアプリケーションソフトウエア等と
共同して上述の実施例の機能が実現される場合にも、か
かるプログラムコードが本出願に係る発明の実施例に含
まれることは言うまでもない。
【0042】更には、供給されたプログラムコードが、
コンピュータの機能拡張ボード又はコンピュータに接続
された機能拡張ユニットに備わるメモリに格納された
後、そのプログラムコードの指示に基づいて、その機能
拡張ボード又は機能拡張ユニットに備わるCPU等が実
際の処理の一部または全部を行い、その処理によって上
述した実施例の機能が実現される場合も、本出願に係る
発明に含まれることは言うまでもない。
【0043】
【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、動画像及び音声とテキストから構
成されるデータストリームを編集する際に、動画像とテ
キスト間及び音声とテキスト間の同期を自動的且つ確実
に取ることが可能になり、データ編集作業にかかる時間
と手間を格段に減らすことが出来る。
【図面の簡単な説明】
【図1】 本発明の一実施例の概略構成ブロック図であ
る。
【図2】 本実施例の動作フローチャートである。
【図3】 本実施例におけるノードとオブジェクトの関
係を示す模式図である。
【図4】 本実施例のイベント管理テーブルの一例であ
る。
【図5】 BIFSコマンド記述手順(S5)のフロー
チャートである。
【図6】 図4に示す例に対するBIFSコマンド記述
例である。
【符号の説明】
10:AVビットストリーム記憶装置 12:AVビットストリーム解析回路 14:BIFSノード記憶装置 16:シーン記述回路 18:シーン記述ファイル 20:画面 22:動画像 22a:背景 22b:人物 24:テキスト 26:音声 28:シーン管理テーブル 30:イベント発生時刻欄 32:イベント種類欄 34:テキストデータ欄

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 ノード及びコマンドによりシーンを記述
    するシーン記述方法であって、 当該ノードに含まれる所定の指定情報により指定される
    映像及び音声データを解析することにより、予め決めた
    種類のイベントを検出するイベント検出ステップと、 当該イベント検出ステップで検出されるイベントと、前
    記映像及び音声データに関するテキストデータとを関連
    付けて、イベント管理テーブルを作成するイベント管理
    テーブル作成ステップと、 当該イベント管理テーブル内の情報に基づいて、適用す
    べきコマンドを決定する決定ステップとを具備すること
    を特徴とするシーン記述方法。
  2. 【請求項2】 当該シーンは、BIFS(Binary
    Format forScene descript
    ion)によって記述される請求項1に記載のシーン記
    述方法。
  3. 【請求項3】 当該イベント検出ステップは、動画像デ
    ータ及び動画像を構成する各オブジェクトデータに関し
    て、シーンチェンジを利用して、映像に関するイベント
    の発生時刻とその種類を検出する請求項1に記載のシー
    ン記述方法。
  4. 【請求項4】 当該イベント検出ステップは、音楽又は
    人の声が入っている区間の開始及び終了、無声部の開始
    及び終了、並びに無声部が一定時間継続することの何れ
    かにより、音声に関するイベントの発生時刻とその種類
    を検出する請求項1に記載のシーン記述方法。
  5. 【請求項5】 当該決定ステップは、当該イベント管理
    テーブル内のイベントの発生時刻に基づいて当該コマン
    ドの発生時刻を決定する請求項1に記載のシーン記述方
    法。
  6. 【請求項6】 当該決定ステップは、当該イベント管理
    テーブル内のイベント種類情報に基づいて当該コマンド
    の種類を決定する請求項1に記載のシーン記述方法。
  7. 【請求項7】 当該決定ステップは、当該コマンドの一
    部として使用するテキストデータを、当該イベント管理
    テーブル中のテキストデータに基づいて決定する請求項
    1に記載のシーン記述方法。
  8. 【請求項8】 当該イベント管理テーブル内のテキスト
    データは、音声認識技術により当該音声データから生成
    されたデータであることを特徴とする請求項1〜8の何
    れか1項に記載のシーン記述方法。
  9. 【請求項9】 ノード及びコマンドによりシーンを記述
    するシーン記述装置であって、 当該ノードに含まれる所定の指定情報により指定される
    映像及び音声データを解析することにより、予め決めた
    種類のイベントを検出するイベント検出手段と、 当該イベント検出手段により検出されるイベントと、前
    記映像及び音声データに関するテキストデータとを関連
    付けたイベント管理テーブルを作成するイベント管理テ
    ーブル作成手段と、 当該イベント管理テーブル内の情報に基づいて、適用す
    べきコマンドを決定する決定手段とを具備することを特
    徴とするシーン記述装置。
  10. 【請求項10】 当該シーンは、BIFS(Binar
    y Format for Scene descri
    ption)によって記述される請求項9に記載のシー
    ン記述装置。
  11. 【請求項11】 当該イベント検出手段は、動画像デー
    タ及び動画像を構成する各オブジェクトデータに関し
    て、シーンチェンジを利用して、映像に関するイベント
    の発生時刻とその種類を検出する請求項9に記載のシー
    ン記述装置。
  12. 【請求項12】 当該イベント検出手段は、音楽又は人
    の声が入っている区間の開始及び終了、無声部の開始及
    び終了、並びに無声部が一定時間継続することの何れか
    により、音声に関するイベントの発生時刻とその種類を
    検出する請求項9に記載のシーン記述装置。
  13. 【請求項13】 当該決定手段は、当該イベント管理テ
    ーブル内のイベントの発生時刻に基づいて当該コマンド
    の発生時刻を決定する請求項9に記載のシーン記述装
    置。
  14. 【請求項14】 当該決定ステップは、当該イベント管
    理テーブル内のイベント種類情報に基づいて当該コマン
    ドの種類を決定する請求項9に記載のシーン記述装置。
  15. 【請求項15】 当該決定手段は、当該コマンドの一部
    として使用するテキストデータを、当該イベント管理テ
    ーブル中のテキストデータ情報に基づいて決定する請求
    項9に記載のシーン記述装置。
  16. 【請求項16】 当該イベント管理テーブル内のテキス
    トデータは、音声認識技術により当該音声データから生
    成されたデータであることを特徴とする請求項9〜15
    の何れか1項に記載のシーン記述方法。
  17. 【請求項17】 ノード及びコマンドによりシーンを記
    述するシーン記述方法を実行するプログラムを記憶する
    記憶媒体であって、当該プログラムが、 当該ノードに含まれる所定の指定情報により指定される
    映像及び音声データを解析することにより、予め決めた
    種類のイベントを検出するイベント検出モジュールと、 当該イベント検出モジュールで検出されるイベントと、
    前記映像及び音声データに関するテキストデータとを関
    連付けて、イベント管理テーブルを作成するイベント管
    理テーブル作成モジュールと、 当該イベント管理テーブル内の情報に基づいて、適用す
    べきコマンドを決定する決定モジュールとを具備するこ
    とを特徴とする記憶媒体。
JP2000254802A 2000-08-25 2000-08-25 シーン記述方法及び装置並びに記憶媒体 Withdrawn JP2002077902A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000254802A JP2002077902A (ja) 2000-08-25 2000-08-25 シーン記述方法及び装置並びに記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000254802A JP2002077902A (ja) 2000-08-25 2000-08-25 シーン記述方法及び装置並びに記憶媒体

Publications (1)

Publication Number Publication Date
JP2002077902A true JP2002077902A (ja) 2002-03-15

Family

ID=18743683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000254802A Withdrawn JP2002077902A (ja) 2000-08-25 2000-08-25 シーン記述方法及び装置並びに記憶媒体

Country Status (1)

Country Link
JP (1) JP2002077902A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007073349A1 (en) * 2005-12-19 2007-06-28 Agency For Science, Technology And Research Method and system for event detection in a video stream

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007073349A1 (en) * 2005-12-19 2007-06-28 Agency For Science, Technology And Research Method and system for event detection in a video stream

Similar Documents

Publication Publication Date Title
CN109168078B (zh) 一种视频清晰度切换方法及装置
KR100618473B1 (ko) Mpeg 스트림 네비게이션을 제공하기 위한 방법, 머신 판독 가능 매체, 장치 및 시스템
JP4579290B2 (ja) 記録装置、記録媒体の製造方法、管理情報の製造方法、再生装置、再生方法、およびプログラム
TW200523890A (en) Storage medium storing search information and reproducing apparatus and method
JP2003248479A (ja) マルチメディア情報符号化装置、マルチメディア情報再生装置、マルチメディア情報符号化処理プログラム、マルチメディア情報再生処理プログラムおよびマルチメディア符号化データ
US6643330B1 (en) Data processing method and apparatus for a data stream including object streams
JP2010022003A (ja) 動画ファイル再生装置、動画ファイル再生方法、プログラム
JPH10243342A (ja) ビデオ・ファイルの編集方法および装置、ビデオ・ファイルからセグメントを切り取る方法、ビデオ・ファイルからセグメントをコピーする方法および装置、ビデオ・ファイル・セグメントを貼り付けるための方法および装置、コンピュータ読み取り可能な媒体
WO2005104549A1 (en) Method and apparatus of synchronizing caption, still picture and motion picture using location information
JP2006333330A (ja) データ処理方法、その装置およびプログラム
JPH1118051A (ja) Iフレーム抽出方法
JP2000078531A (ja) オ―ディオデ―タ編集方法、編集システム
JP2004158913A (ja) 音声画像処理装置
JP2002077902A (ja) シーン記述方法及び装置並びに記憶媒体
JPH10276407A (ja) ビデオ情報提供管理方法およびシステム
JPH08293157A (ja) 可変フレーム長高能率符号化データの記録再生方法
JP3536493B2 (ja) オーサリングシステム,このシステムで使用される符号化装置及び多重化装置並びに多重ビットストリームを生成する方法
KR100943738B1 (ko) 클라이언트 단말에서 멀티미디어 데이터 플로우를 재생하는 방법, 장치 및 시스템
JP2005051631A (ja) プログラム、データ処理方法およびその装置
JP4378157B2 (ja) データ処理方法および装置
JPH10174065A (ja) 画像音声多重化データ編集方法およびその装置
JPH1175155A (ja) 画像と音声の再生装置
JPH10276408A (ja) ビデオ情報提供制御方法およびシステム
CN117241062A (zh) 一种视频合成方法、装置、存储介质和电子设备
JPH11127435A (ja) 圧縮符号化された映像/音声信号の復号化装置

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20071106