JP2004363655A - Processing apparatus for multimedia data and processing method for same - Google Patents

Processing apparatus for multimedia data and processing method for same Download PDF

Info

Publication number
JP2004363655A
JP2004363655A JP2003156055A JP2003156055A JP2004363655A JP 2004363655 A JP2004363655 A JP 2004363655A JP 2003156055 A JP2003156055 A JP 2003156055A JP 2003156055 A JP2003156055 A JP 2003156055A JP 2004363655 A JP2004363655 A JP 2004363655A
Authority
JP
Japan
Prior art keywords
data
display
description information
scene description
multimedia data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003156055A
Other languages
Japanese (ja)
Inventor
Yoshiyuki Tanaka
祥之 田中
Kenichiro Fukui
健一郎 福井
Teruhiko Unoki
輝彦 卯木
Hiroshi Kamikura
廣 神倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TDK Corp
Original Assignee
TDK Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TDK Corp filed Critical TDK Corp
Priority to JP2003156055A priority Critical patent/JP2004363655A/en
Publication of JP2004363655A publication Critical patent/JP2004363655A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a processing apparatus for multimedia data and a processing method for the same capable of changing scene description information described in the BIFS in the MPEG-4 with a simple operation and changing screen display and a sound output on the basis of the changed scene description information. <P>SOLUTION: The processing apparatus for multimedia data is configured such that data called fields and included in the scene description information described in the BIFS on the basis of data designated by an input device such as a keyboard and a mouse are rewritten and screen display is carried out on the basis of the changed scene description information. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【産業上の利用分野】
本発明はマルチメディアデータの処理装置及び処理方法に係り、特に、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４フォーマットのデータを処理する処理装置及び処理方法に関するものである。
【０００２】
【従来の技術】
近年、動画像や音声などを含む複数のオブジェクトを含むマルチメディアデータをＭＰＥＧ−４フォーマットに変換して単一のデータストリームとして伝送する手法が使用されている。
【０００３】
このデータストリームにおいては、これまでの一般的なマルチメディアデータとは異なり、いくつものビデオシーンやビデオオブジェクトのデータが単一のストリーム上に独立して存在している。また、音声データについても、単一のストリーム上に独立して存在している。従って、複数のオブジェクトを、単一のストリーム上から復元することができる。
【０００４】
このような特徴を有するＭＰＥＧ−４におけるデータストリームには、複数のビデオシーン、ビデオオブジェクト、音声データ等のを合成するための情報として、ＢＩＦＳ（Ｂｉｎａｒｙ Ｆｏｒｍａｔ Ｓｃｅｎｅｓ）が含まれている。ここで、ＢＩＦＳはＭＰＥＧ−４のシーンを２値で記述した情報であり、表示されるシーンの構成を示すツリー構造の情報が記述されている。、又、ＭＰＥＧ−４における動画や音声等のオブジェクトは、ツリー構造を構成するノードによって表現され、更にこのノードはフィールドと呼ばれるデータを含んでいる。従って、シーンの表示はツリー構造を構成するノードや、そのノードに含まれるフィールドによって決定される。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のＭＰＥＧ−４におけるデータストリームの再生装置では、その表示サイズや再生速度等を簡単な操作で変更することができなかった。
【０００６】
そこで本発明は、ＭＰＥＧ−４におけるＢＩＦＳで記述されているシーン記述情報を簡単な操作で変更し、変更したシーン記述情報に基づいて画面表示や音声出力を変更させることができるマルチメディアデータの処理装置及び処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る目的は、ＢＩＦＳで記述されたシーン記述情報に基づき画面表示を行なう表示手段と入力データを指定する入力手段を備え、上記入力手段で指定した入力データに基づき、上記シーン記述情報に含まれる特性データが変更され、該変更されたシーン記述情報に基づき、上記表示手段が画面表示を行なうように構成されていることを特徴とするマルチメディアデータの処理装置によって達成される。
【０００８】
又、本発明によれば、上記入力手段がポインティングデバイスであることにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【０００９】
又、本発明によれば、上記画面表示に含まれる画像の表示位置又は表示サイズの変更をポインティングデバイスにより指示することにより、上記入力データが決定されることにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１０】
又、本発明によれば、上記ポインティングデバイスがマウスであることにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１１】
又、本発明によれば、上記特性データに対応した文字又は図形を画面上に表示することにより、使い易さを向上させることができる。
【００１２】
又、本発明によれば、ＢＩＦＳ言語を使用せずに、上記を特性データを変更することにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１３】
本発明に係る目的は、入力データを指定する入力手段で指定した入力データに基づき、ＢＩＦＳで記述されたシーン記述情報に含まれる特性データが変更され、該変更されたシーン記述情報に基づき、画面表示を行なうことを特徴とするマルチメディアデータの処理方法によって達成される。
【００１４】
又、本発明によれば、上記入力手段がポインティングデバイスであることにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１５】
又、本発明によれば、上記画面表示に含まれる画像の表示位置又は表示サイズの変更をポインティングデバイスにより指示することにより、上記入力データが決定されることにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１６】
又、本発明によれば、上記ポインティングデバイスがマウスであることにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１７】
又、本発明によれば、上記特性データに対応した文字又は図形を画面上に表示することにより、使い易さを向上させることができる。
【００１８】
又、本発明によれば、ＢＩＦＳ言語を使用せずに、上記を特性データを変更することにより、より簡単な操作で画面表示や音声出力を変更させることができる。
【００１９】
【発明の実施の形態】
本発明に係るマルチメディアデータの処理装置及び処理方法の処理対象であるデータは、シーン記述言語としてＭＰＥＧ−４システム（ＩＳＯ／ＩＥＣ１４４９６−１）で定義されているＢＩＦＳ（Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ Ｓｃｅｎｅｓ）で記述されたデータである。そのデータ形式はバイナリデータである。
【００２０】
このＢＩＦＳで記述されたシーン記述情報では、画像、音声、テキスト等の各オブジェクトの組み合わせがツリー構造で表現されており、その要素（ツリー構造の分岐点）はノードと呼ばれる。そして、各ノードには、それに対応したオブジェクトが関連付けられている。
【００２１】
より詳細に説明すれば、ＭＰＥＧ−４では、画像、音声、静止画等のデータはエレメンタリストリーム（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）と呼ばれ、このメンタリストリームとシーン記述情報はオブジェクト・ディスクリプタ（Ｏｂｊｅｃｔ Ｄｅｓｃｒｉｐｔｏｒ）という情報によって関連付けされている。この関連付けのため、シーン記述情報では、各オブジェクトにオブジェクト・ディスクリプタＩＤが割り当てられるており、このオブジェクト・ディスクリプタＩＤにより対応するオブジェクト・ディスクリプタが識別される。更に、オブジェクト・ディスクリプタには各エレメンタリストリームとの関連付け情報が記述されているエレメンタリストリーム・ディスクリプタがあり、このエレメンタリストリーム・ディスクリプタにはエレメンタリストリームＩＤが記述されており、このエレメンタリストリームＩＤにより各エレメンタリストリームが識別される。
【００２２】
又、シーン記述情報のノードには、各オブジェクトの時間的、空間的な相互関係や属性（光源、形状、材質、色および座標等）が記述され、各ノードの特性はフィールドと呼ばれるデータにより決定される。又、ツリー構造で表現されたシーン記述情報では、上位ノードの属性が下位ノードに継承されたり、下位ノードがグループ化されたりする。
【００２３】
本発明に係るマルチメディアデータの処理装置及び処理方法では、上記ＢＩＦＳで記述されたシーン記述情報に含まれるフィールドと呼ばれるデータを書き替えることにより、シーン記述情報によって構成される画面表示を変更している。［第１の実施の形態］
図１を参照して、本発明に係るマルチメディアデータの処理装置及び処理方法の第１の実施形態を説明する。図１は、本発明に係るマルチメディアデータの処理装置の画面表示の例（第１の実施形態）を示す図である。
【００２４】
図１に示した画面１１には、シーン記述情報に基づいて背景１２、動画１３、静止画１４及びテキスト（文字表示）１５が表示されている。
【００２５】
又、背景１２の背景色を設定するための背景色入力エリア１６、動画１３の再生速度を設定するための再生速度入力エリア１７、静止画１４の表示サイズを設定するためのサイズ入力エリア１８、及びテキスト（文字表示）１５の文字を設定するためのテキスト入力エリア１９が画面１１上に設定されている。
【００２６】
又、マウスカーソル１０は、ポインティングデバイスであるマウスの動きに連動して上下左右に移動する位置表示である。例えば、マウスカーソル１０の矢印の先を指定したい位置（または入力データ）に合わせ、マウスのボタンをクリックするとその位置（または入力データ）が指定される。
【００２７】
次に、背景色入力エリア１６、再生速度入力エリア１７、サイズ入力エリア１８及びテキスト入力エリア１９にデータを入力してシーン記述情報に基づく画面表示を変更する処理について説明する。
【００２８】
例えば、背景１２の色を変更したい場合は、背景色入力エリア１６に希望の背景色を入力して（例えば、背景色入力エリア１６をプルダウンメニューにして背景色をマウスカーソルで選択する）、その入力データをシーン記述情報に基づく画面表示に反映させる処理を実行（例えば、キーボードのエンターキーを押すことにより処理を実行する）する。ここで、処理が実行されると背景１２に対応するノード（シーン記述情報の中に記述されているノード）の背景色に対応するフィールドのデータが、背景色入力エリア１６に入力された入力データに基づき更新される。その結果、背景色入力エリア１６の入力データがシーン記述情報に基づく画面表示の背景１２の色に反映される。
【００２９】
又、動画１３の再生速度を変更したい場合は、再生速度入力エリア１７に希望の再生速度を入力して（例えば、再生速度入力エリア１７をプルダウンメニューにして再生速度をマウスカーソルで選択する）、その入力データをシーン記述情報に基づく画面表示に反映させる処理を実行する。ここで、処理が実行されると動画１３に対応するノード（シーン記述情報の中に記述されているノード）の再生速度に対応するフィールドのデータが、再生速度入力エリア１７に入力された入力データに基づき更新される。その結果、再生速度入力エリア１７の入力データがシーン記述情報に基づく画面表示の動画１３の再生速度に反映される。
【００３０】
又、静止画１４の表示サイズを変更したい場合は、サイズ入力エリア１８に希望の表示サイズを入力して（例えば、サイズ入力エリア１８をプルダウンメニューにして表示サイズをマウスカーソルで選択する）、その入力データをシーン記述情報に基づく画面表示に反映させる処理を実行する。ここで、処理が実行されると静止画１４の表示条件に対応するノード（シーン記述情報の中に記述されているノード）の表示サイズに対応するフィールドのデータが、サイズ入力エリア１８に入力された入力データに基づき更新される。その結果、サイズ入力エリア１８の入力データがシーン記述情報に基づく画面表示の静止画１４の表示サイズに反映される。
【００３１】
又、テキスト（文字表示）１５の文字を変更したい場合は、テキスト入力エリア１９に希望の文字を入力して（例えば、希望の文字をキーボードから入力する）、その入力データをシーン記述情報に基づく画面表示に反映させる処理を実行する。ここで、処理が実行されるとテキスト（文字表示）１５に対応するノード（シーン記述情報の中に記述されているノード）の文字の内容に対応するフィールドのデータが、テキスト入力エリア１９に入力された入力データに基づき更新される。その結果、テキスト入力エリア１９がシーン記述情報に基づく画面表示のテキスト（文字表示）１５の文字の表示に反映される。
【００３２】
尚、背景色入力エリア１６、再生速度入力エリア１７、サイズ入力エリア１８、及びテキスト入力エリア１９の複数の入力エリアにデータを入力してから処理を実行してもよい。
【００３３】
又、マウスで背景１２、動画１３、静止画１４又はテキスト（文字表示）１５を指定（例えば、マウスカーソル１０の矢印の先を背景１２、動画１３、静止画１４及びテキスト（文字表示）１５に合わせて、マウスのボタンをクリックする）した時に、背景１２の色、動画１３の再生速度、静止画１４の表示サイズ又はテキスト（文字表示）１５の文字の現在の設定が各入力エリアに表示させる機能を加えてもよい。この場合、マウスで指定された背景１２、動画１３、静止画１４の表示条件又はテキスト（文字表示）１５に対応するノードのフィールドに記述されているデータが各入力エリアに表示される。
［第２の実施の形態］
図２を参照して、本発明に係るマルチメディアデータの処理装置及び処理方法の第２の実施形態を説明する。図２は、本発明に係るマルチメディアデータの処理装置の画面表示の例（第２の実施形態）を示す図である。
【００３４】
図２に示した画面２１には、シーン記述情報に基づいて背景２２及び動画２３が表示されている。又、動画２３の再生速度を設定するための速度調整スクロールボックス２４と動画２３と同期して出力される音声の大きさを設定するための出力調整スクロールボックス２５が画面２１上に設定されている。この速度調整スクロールボックス２４と出力調整スクロールボックス２５は、マウスでドラック（マウスカーソル２６の矢印の先で速度調整スクロールボックス２４又は出力調整スクロールボックス２５を指定して、更にボタンを押しながらマウスを動かす）して動かすことができる。
【００３５】
次に、速度調整スクロールボックス２４と出力調整スクロールボックス２５を動かして、動画２３の再生速度と、動画１３と同期して出力される音声の大きさを調整する処理について説明する。
【００３６】
画面２１上に設定されている速度調整スクロールボックス２４は、動画２３に対応するノード（シーン記述情報の中に記述されているノード）の再生速度に対応するフィールドのデータに連動している。つまり、速度調整スクロールボックス２４は、動画２３に対応するノードの再生速度に対応するフィールドのデータに応じて左右に移動し、速度調整スクロールボックス２４をマウスでドラックした場合は、移動させた位置に応じたデータに動画２３に対応するノードの再生速度に対応するフィールドのデータが変更される。
【００３７】
従って、例えば、速度調整スクロールボックス２４が右に移動すると再生速度が早くなり、左に移動すると再生速度が遅くなるように設定すれば、速度調整スクロールボックス２４をマウスで左右にドラックすることにより動画２３の再生速度を調整することができる。
【００３８】
画面２１上に設定されている出力調整スクロールボックス２５は、動画２３と同期して出力される音声に対応するノードの音声の大きさに対応するフィールドのデータに連動している。つまり、出力調整スクロールボックス２５は、動画２３と同期して出力される音声に対応するノードの音声の大きさに対応するフィールドのデータに応じて左右に移動し、出力調整スクロールボックス２５をマウスでドラックした場合は、移動させた位置に応じたデータに、動画２３と同期して出力される音声に対応するノードの音声の大きさに対応するフィールドのデータが変更される。
【００３９】
従って、例えば、出力調整スクロールボックス２５が右に移動すると音声の大きさが大きくなり、左に移動すると音声の大きさが小さくなるように設定すれば、出力調整スクロールボックス２５をマウスで左右アにドラックすることにより音声の大きさを調整することができる。
［第３の実施の形態］
図３を参照して、本発明に係るマルチメディアデータの処理装置及び処理方法の第３の実施形態を説明する。図３は、本発明に係るマルチメディアデータの処理装置の画面表示の例（第３の実施形態）を示す図である。
【００４０】
図３に示した画面３１には、シーン記述情報に基づいて背景３２、動画３３及び静止画３４が表示されている。又、動画３３の表示サイズを変更した動画３３ａと、動画３３の表示位置を変更した動画３３ｂと、静止画３４の表示サイズを変更した静止画３４ａと、静止画３４の表示位置を変更した静止画３４ｂが点線で示されている。
【００４１】
次に、動画３３や静止画３４のエッジ（例えば、角部）をマウスでドラックして表示サイズを変更する処理と、動画３３や静止画３４をマウスでドラックして表示位置を変更する処理について説明する。
【００４２】
表示サイズを変更する場合、例えば画面３１上の動画３３のエッジをマウスでドラックして、表示サイズが動画３３ａの大きさになるところまで拡張させる。ここでドラックが完了すると、動画３３の表示条件に対応するノード（シーン記述情報の中に記述されているノード）の表示サイズに対応するフィールドのデータが、動画３３ａの表示サイズに対応したデータに更新される。その結果、動画３３は動画３３ａの表示サイズで画面３１上に表示される。
【００４３】
静止画３４の表示サイズを変更する場合も、上記と同様に静止画３４のエッジをマウスでドラックして、表示サイズが静止画３４ａの大きさになるところまで拡張させることにより行なうことができる。この場合、ドラックが完了すると、静止画３４の表示条件に対応するノード（シーン記述情報の中に記述されているノード）の表示サイズに対応するフィールドのデータが、静止画３４ａの表示サイズに対応したデータに更新される。
【００４４】
表示位置を変更する場合、例えば画面３１上の動画３３をマウスでドラックして、表示位置が動画３３ｂの位置になるところまで移動させる。ここでドラックが完了すると、動画３３の表示条件に対応するノード（シーン記述情報の中に記述されているノード）の表示位置に対応するフィールドのデータが、動画３３ｂの表示位置に対応したデータに更新される。その結果、動画３３は画面３１上の動画３３ｂの表示位置に表示される。
【００４５】
静止画３４の表示位置を変更する場合も、上記と同様に静止画３４をマウスでドラックして、表示位置が静止画３４ｂの位置になるところまで移動させることにより行なうことができる。この場合、ドラックが完了すると、静止画３４の表示条件に対応するノード（シーン記述情報の中に記述されているノード）の表示位置に対応するフィールドのデータが、静止画３４ｂの表示位置に対応したデータに更新される。
【００４６】
以上のように、本発明に係るマルチメディアデータの処理装置及び処理方法では、シーン記述情報の中に記述されているノードのフィールドのデータを、キーボードやマウス等の入力デバイスで指定したデータに変更することによりシーン記述情報に基づく画面表示や音声出力を変更している。
【００４７】
尚、フィールドのデータ変更は、ＢＩＦＳ言語で行なうことができるが、本発明においては、ＢＩＦＳ言語を使用せずフィールドのデータ変更している。従って、Ｖｉｓｕａｌ Ｂａｓｉｃ（登録商標）、Ｖｉｓｕａｌ Ｃ＋＋（登録商標）及びＨＴＭＬ（Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等の標準的なプログラミングツールで変更対象のフィールドを書き替える等の設定変更を簡単に行なうことができる。
【００４８】
【発明の効果】
以上に説明したように、本発明に係るマルチメディアデータの処理装置及び処理方法においては、キーボードやマウス等の入力デバイスによる簡単な操作を行なうだけで、ＭＰＥＧ−４におけるＢＩＦＳで記述されているシーン記述情報を変更することができ、更に変更したシーン記述情報に基づき画面表示や音声出力を行なうことができる。
【図面の簡単な説明】
【図１】本発明に係るマルチメディアデータの処理装置の画面表示の例（第１の実施形態）を示す図である。
【図２】本発明に係るマルチメディアデータの処理装置の画面表示の例（第２の実施形態）を示す図である。
【図３】本発明に係るマルチメディアデータの処理装置の画面表示の例（第３の実施形態）を示す図である。
【符号の説明】
１０、２６、３５ マウスカーソル
１１、２１、３１ 画面
１２、２２、３２ 背景
１３、２３、３３ 動画
１４、３４ 静止画
１６ 背景色入力エリア
１７ 再生速度入力エリア
１８ サイズ入力エリア
１９ テキスト入力エリア
２４ 速度調整スクロールボックス
２５ 出力調整スクロールボックス[0001]
[Industrial applications]
The present invention relates to a processing device and a processing method for multimedia data, and more particularly, to a processing device and a processing method for processing data in the MPEG (Moving Picture Experts Group) -4 format.
[0002]
[Prior art]
In recent years, a technique has been used in which multimedia data including a plurality of objects including moving images, audio, and the like is converted into an MPEG-4 format and transmitted as a single data stream.
[0003]
In this data stream, unlike conventional multimedia data, data of a number of video scenes and video objects exist independently on a single stream. In addition, audio data also exists independently on a single stream. Therefore, a plurality of objects can be restored from a single stream.
[0004]
A data stream in MPEG-4 having such features includes BIFS (Binary Format Scenes) as information for synthesizing a plurality of video scenes, video objects, audio data, and the like. Here, BIFS is information describing MPEG-4 scenes in binary, and describes tree structure information indicating the configuration of the scene to be displayed. Also, an object such as a moving image or audio in MPEG-4 is represented by a node forming a tree structure, and this node further includes data called a field. Therefore, the display of the scene is determined by the nodes constituting the tree structure and the fields included in the nodes.
[0005]
[Problems to be solved by the invention]
However, in the conventional MPEG-4 data stream reproducing apparatus, the display size, the reproducing speed, and the like cannot be changed by a simple operation.
[0006]
Accordingly, the present invention provides a multimedia data processing method that can change scene description information described in BIFS in MPEG-4 by a simple operation, and change screen display and audio output based on the changed scene description information. It is an object to provide an apparatus and a processing method.
[0007]
[Means for Solving the Problems]
An object according to the present invention comprises a display unit for performing screen display based on scene description information described in BIFS, and an input unit for specifying input data. This is achieved by a multimedia data processing device, wherein the included characteristic data is changed, and the display means performs a screen display based on the changed scene description information.
[0008]
Further, according to the present invention, since the input means is a pointing device, it is possible to change the screen display and the audio output with a simpler operation.
[0009]
Further, according to the present invention, the input data is determined by instructing a change in the display position or display size of an image included in the screen display by a pointing device. The audio output can be changed.
[0010]
Further, according to the present invention, since the pointing device is a mouse, the screen display and the audio output can be changed with a simpler operation.
[0011]
Further, according to the present invention, by displaying a character or a graphic corresponding to the characteristic data on a screen, usability can be improved.
[0012]
Further, according to the present invention, the screen display and the sound output can be changed by a simpler operation by changing the characteristic data without using the BIFS language.
[0013]
An object of the present invention is to change characteristic data included in scene description information described in BIFS based on input data specified by input means for specifying input data, and to change a screen based on the changed scene description information. This is achieved by a multimedia data processing method characterized by displaying.
[0014]
Further, according to the present invention, since the input means is a pointing device, it is possible to change the screen display and the audio output with a simpler operation.
[0015]
Further, according to the present invention, the input data is determined by instructing a change in the display position or display size of an image included in the screen display by a pointing device. The audio output can be changed.
[0016]
Further, according to the present invention, since the pointing device is a mouse, the screen display and the audio output can be changed with a simpler operation.
[0017]
Further, according to the present invention, by displaying a character or a graphic corresponding to the characteristic data on a screen, usability can be improved.
[0018]
Further, according to the present invention, the screen display and the sound output can be changed by a simpler operation by changing the characteristic data without using the BIFS language.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
The data to be processed by the multimedia data processing apparatus and processing method according to the present invention is described in BIFS (Binary Format for Scenes) defined by the MPEG-4 system (ISO / IEC14496-1) as a scene description language. Data. Its data format is binary data.
[0020]
In the scene description information described in BIFS, combinations of objects such as images, sounds, and texts are expressed in a tree structure, and the elements (branch points of the tree structure) are called nodes. Each node is associated with an object corresponding to the node.
[0021]
More specifically, in MPEG-4, data such as images, sounds, and still images is called an elementary stream, and the elementary stream and scene description information are information called an object descriptor (Object Descriptor). Is associated with For this association, an object descriptor ID is assigned to each object in the scene description information, and the corresponding object descriptor is identified by the object descriptor ID. Further, the object descriptor includes an elementary stream descriptor in which association information with each elementary stream is described. The elementary stream descriptor describes an elementary stream ID. Each elementary stream is identified by the ID.
[0022]
In the nodes of the scene description information, temporal and spatial relationships and attributes (light sources, shapes, materials, colors, coordinates, etc.) of each object are described, and the characteristics of each node are determined by data called fields. Is done. Further, in the scene description information expressed in a tree structure, the attributes of the upper nodes are inherited by the lower nodes, and the lower nodes are grouped.
[0023]
In the multimedia data processing device and the multimedia data processing method according to the present invention, the screen display composed of scene description information is changed by rewriting data called fields included in the scene description information described in BIFS. I have. [First Embodiment]
With reference to FIG. 1, a first embodiment of a multimedia data processing apparatus and processing method according to the present invention will be described. FIG. 1 is a diagram showing an example (first embodiment) of a screen display of a multimedia data processing device according to the present invention.
[0024]
On a screen 11 shown in FIG. 1, a background 12, a moving image 13, a still image 14, and a text (character display) 15 are displayed based on the scene description information.
[0025]
A background color input area 16 for setting the background color of the background 12, a reproduction speed input area 17 for setting the reproduction speed of the moving image 13, a size input area 18 for setting the display size of the still image 14, A text input area 19 for setting characters of the text (character display) 15 is set on the screen 11.
[0026]
The mouse cursor 10 is a position display that moves up, down, left, and right in conjunction with the movement of a mouse as a pointing device. For example, when the tip of the arrow of the mouse cursor 10 is set at a position (or input data) to be specified, and the mouse button is clicked, the position (or input data) is specified.
[0027]
Next, processing for inputting data into the background color input area 16, the reproduction speed input area 17, the size input area 18, and the text input area 19 to change the screen display based on the scene description information will be described.
[0028]
For example, when the user wants to change the color of the background 12, he or she inputs a desired background color in the background color input area 16 (for example, pulls down the background color input area 16 and selects the background color with the mouse cursor). A process for reflecting the input data on the screen display based on the scene description information is executed (for example, the process is executed by pressing an enter key on a keyboard). Here, when the processing is executed, the data of the field corresponding to the background color of the node corresponding to the background 12 (the node described in the scene description information) is input to the input data input to the background color input area 16. It is updated based on. As a result, the input data in the background color input area 16 is reflected on the color of the background 12 on the screen display based on the scene description information.
[0029]
If the user wants to change the playback speed of the moving picture 13, he or she inputs a desired playback speed in the playback speed input area 17 (for example, sets the playback speed input area 17 as a pull-down menu and selects the playback speed with a mouse cursor). A process for reflecting the input data on a screen display based on the scene description information is executed. Here, when the processing is executed, the data of the field corresponding to the playback speed of the node corresponding to the moving image 13 (the node described in the scene description information) is input to the playback speed input area 17. It is updated based on. As a result, the input data in the reproduction speed input area 17 is reflected on the reproduction speed of the moving image 13 displayed on the screen based on the scene description information.
[0030]
If the user wants to change the display size of the still image 14, he or she inputs a desired display size in the size input area 18 (for example, sets the size input area 18 as a pull-down menu and selects the display size with a mouse cursor). A process for reflecting the input data on the screen display based on the scene description information is executed. Here, when the processing is executed, the data of the field corresponding to the display size of the node corresponding to the display condition of the still image 14 (the node described in the scene description information) is input to the size input area 18. Updated based on the input data. As a result, the input data of the size input area 18 is reflected on the display size of the still image 14 displayed on the screen based on the scene description information.
[0031]
When it is desired to change the characters of the text (character display) 15, the desired characters are input in the text input area 19 (for example, the desired characters are input from the keyboard), and the input data is based on the scene description information. Execute the processing to be reflected on the screen display. Here, when the process is executed, the data of the field corresponding to the character content of the node corresponding to the text (character display) 15 (the node described in the scene description information) is input to the text input area 19. It is updated based on the input data. As a result, the text input area 19 is reflected in the display of the text (character display) 15 on the screen based on the scene description information.
[0032]
The processing may be executed after data is input to a plurality of input areas of the background color input area 16, the reproduction speed input area 17, the size input area 18, and the text input area 19.
[0033]
In addition, the background 12, the moving image 13, the still image 14, or the text (character display) 15 is designated by the mouse (for example, the tip of the arrow of the mouse cursor 10 is changed to the background 12, the moving image 13, the still image 14, and the text (character display) 15). When the mouse button is clicked), the current setting of the color of the background 12, the reproduction speed of the moving image 13, the display size of the still image 14, or the text (character display) 15 is displayed in each input area. Functions may be added. In this case, the display conditions of the background 12, the moving image 13, and the still image 14 specified by the mouse or the data described in the field of the node corresponding to the text (character display) 15 are displayed in each input area.
[Second embodiment]
Referring to FIG. 2, a second embodiment of a multimedia data processing apparatus and method according to the present invention will be described. FIG. 2 is a diagram showing an example (second embodiment) of a screen display of the multimedia data processing device according to the present invention.
[0034]
On a screen 21 shown in FIG. 2, a background 22 and a moving image 23 are displayed based on the scene description information. In addition, a speed adjustment scroll box 24 for setting the playback speed of the moving image 23 and an output adjustment scroll box 25 for setting the volume of audio output in synchronization with the moving image 23 are set on the screen 21. . The speed adjustment scroll box 24 and the output adjustment scroll box 25 can be dragged with the mouse (designate the speed adjustment scroll box 24 or the output adjustment scroll box 25 with the point of the arrow of the mouse cursor 26, and move the mouse while further pressing the button). ) And move it.
[0035]
Next, a process of moving the speed adjustment scroll box 24 and the output adjustment scroll box 25 to adjust the reproduction speed of the moving image 23 and the volume of the audio output in synchronization with the moving image 13 will be described.
[0036]
The speed adjustment scroll box 24 set on the screen 21 is linked to the data of the field corresponding to the playback speed of the node corresponding to the moving image 23 (the node described in the scene description information). That is, the speed adjustment scroll box 24 moves right and left according to the data of the field corresponding to the playback speed of the node corresponding to the moving image 23, and when the speed adjustment scroll box 24 is dragged with the mouse, the speed adjustment scroll box 24 moves to the moved position. The data of the field corresponding to the playback speed of the node corresponding to the moving image 23 is changed to the corresponding data.
[0037]
Therefore, for example, if the speed adjustment scroll box 24 is set to move to the right to increase the reproduction speed and to the left to decrease the reproduction speed, the moving speed can be adjusted by dragging the speed adjustment scroll box 24 left and right with a mouse. 23 can be adjusted.
[0038]
The output adjustment scroll box 25 set on the screen 21 is linked to the data of the field corresponding to the sound volume of the node corresponding to the sound output in synchronization with the moving image 23. That is, the output adjustment scroll box 25 moves left and right according to the data of the field corresponding to the sound volume of the node corresponding to the sound output in synchronization with the moving image 23, and the output adjustment scroll box 25 is moved with the mouse. When the user drags, the data in the field corresponding to the sound volume of the node corresponding to the sound output in synchronization with the moving image 23 is changed to data corresponding to the moved position.
[0039]
Therefore, for example, if the volume of the sound is increased when the output adjustment scroll box 25 is moved to the right, and the volume of the audio is decreased when the output adjustment scroll box 25 is moved to the left, the output adjustment scroll box 25 is moved right and left with the mouse. The sound volume can be adjusted by dragging.
[Third Embodiment]
With reference to FIG. 3, a third embodiment of a multimedia data processing apparatus and method according to the present invention will be described. FIG. 3 is a diagram showing an example (third embodiment) of a screen display of the multimedia data processing device according to the present invention.
[0040]
On a screen 31 shown in FIG. 3, a background 32, a moving image 33, and a still image 34 are displayed based on the scene description information. Also, a moving image 33a in which the display size of the moving image 33 has been changed, a moving image 33b in which the display position of the moving image 33 has been changed, a still image 34a in which the display size of the still image 34 has been changed, and a still image in which the display position of the still image 34 has been changed. The image 34b is shown by a dotted line.
[0041]
Next, a process of dragging an edge (for example, a corner) of the moving image 33 or the still image 34 with a mouse to change the display size, and a process of dragging the moving image 33 or the still image 34 with a mouse to change the display position explain.
[0042]
When changing the display size, for example, the user drags the edge of the moving image 33 on the screen 31 with the mouse to expand the display size to the size of the moving image 33a. Here, when the dragging is completed, the data of the field corresponding to the display size of the node corresponding to the display condition of the moving image 33 (the node described in the scene description information) is changed to the data corresponding to the display size of the moving image 33a. Be updated. As a result, the moving image 33 is displayed on the screen 31 at the display size of the moving image 33a.
[0043]
The display size of the still image 34 can be changed by dragging the edge of the still image 34 with the mouse and expanding the display size to the size of the still image 34a in the same manner as described above. In this case, when the drag is completed, the data of the field corresponding to the display size of the node corresponding to the display condition of the still image 34 (the node described in the scene description information) corresponds to the display size of the still image 34a. The data is updated.
[0044]
When changing the display position, for example, the moving image 33 on the screen 31 is dragged with a mouse and moved to a position where the display position becomes the position of the moving image 33b. Here, when the dragging is completed, the data of the field corresponding to the display position of the node corresponding to the display condition of the moving image 33 (the node described in the scene description information) is changed to the data corresponding to the display position of the moving image 33b. Be updated. As a result, the moving image 33 is displayed at the display position of the moving image 33b on the screen 31.
[0045]
Changing the display position of the still image 34 can also be performed by dragging the still image 34 with a mouse and moving the display position to the position of the still image 34b in the same manner as described above. In this case, when the dragging is completed, the data of the field corresponding to the display position of the node corresponding to the display condition of the still image 34 (the node described in the scene description information) corresponds to the display position of the still image 34b. The data is updated.
[0046]
As described above, in the multimedia data processing apparatus and processing method according to the present invention, the data of the field of the node described in the scene description information is changed to the data specified by the input device such as the keyboard and the mouse. This changes the screen display and audio output based on the scene description information.
[0047]
The field data can be changed in the BIFS language, but in the present invention, the field data is changed without using the BIFS language. Therefore, setting changes, such as rewriting a field to be changed, can be easily performed using a standard programming tool such as Visual Basic (registered trademark), Visual C ++ (registered trademark), and HTML (Hyper Text Markup Language).
[0048]
【The invention's effect】
As described above, in the multimedia data processing apparatus and method according to the present invention, a scene described in BIFS in MPEG-4 can be obtained simply by performing a simple operation using an input device such as a keyboard or a mouse. The description information can be changed, and further, screen display and audio output can be performed based on the changed scene description information.
[Brief description of the drawings]
FIG. 1 is a diagram showing an example (first embodiment) of a screen display of a multimedia data processing device according to the present invention.
FIG. 2 is a diagram showing an example (second embodiment) of a screen display of a multimedia data processing device according to the present invention.
FIG. 3 is a diagram showing an example (third embodiment) of a screen display of a multimedia data processing device according to the present invention.
[Explanation of symbols]
10, 26, 35 Mouse cursor 11, 21, 31 Screen 12, 22, 32 Background 13, 23, 33 Video 14, 34 Still image 16 Background color input area 17 Playback speed input area 18 Size input area 19 Text input area 24 Speed Adjustment scroll box 25 Output adjustment scroll box

Claims (12)

ＢＩＦＳで記述されたシーン記述情報に基づき画面表示を行なう表示手段と入力データを指定する入力手段を備え、
上記入力手段で指定した入力データに基づき、上記シーン記述情報に含まれる特性データが変更され、
該変更されたシーン記述情報に基づき、上記表示手段が画面表示を行なうように構成されていることを特徴とするマルチメディアデータの処理装置。Display means for displaying a screen based on scene description information described in BIFS, and input means for specifying input data;
Based on the input data specified by the input means, the characteristic data included in the scene description information is changed,
A multimedia data processing apparatus, wherein the display means performs a screen display based on the changed scene description information. 上記入力手段がポインティングデバイスであることを特徴とする請求項１記載のマルチメディアデータの処理装置。2. The multimedia data processing apparatus according to claim 1, wherein said input means is a pointing device. 上記画面表示に含まれる画像の表示位置又は表示サイズの変更をポインティングデバイスにより指示することにより、上記入力データが決定されることを特徴とする請求項１記載のマルチメディアデータの処理装置。The multimedia data processing apparatus according to claim 1, wherein the input data is determined by instructing a change in a display position or a display size of an image included in the screen display by a pointing device. 上記ポインティングデバイスがマウスであることを特徴とする請求項２又は３記載のマルチメディアデータの処理装置。4. The multimedia data processing device according to claim 2, wherein the pointing device is a mouse. 上記特性データに対応した文字又は図形を画面上に表示することを特徴とする請求項１乃至４記載のマルチメディアデータの処理装置。5. The multimedia data processing apparatus according to claim 1, wherein characters or graphics corresponding to the characteristic data are displayed on a screen. ＢＩＦＳ言語を使用せずに、上記を特性データを変更することを特徴とする請求項１乃至５記載のマルチメディアデータの処理装置。6. The multimedia data processing apparatus according to claim 1, wherein the characteristic data is changed without using the BIFS language. 入力データを指定する入力手段で指定した入力データに基づき、ＢＩＦＳで記述されたシーン記述情報に含まれる特性データが変更され、
該変更されたシーン記述情報に基づき、画面表示を行なうことを特徴とするマルチメディアデータの処理方法。Based on the input data designated by the input means for designating the input data, the characteristic data included in the scene description information described in BIFS is changed,
A method for processing multimedia data, wherein a screen is displayed based on the changed scene description information. 上記入力手段がポインティングデバイスであることを特徴とする請求項７記載のマルチメディアデータの処理方法。The method according to claim 7, wherein the input means is a pointing device. 上記画面表示に含まれる画像の表示位置又は表示サイズの変更をポインティングデバイスにより指示することにより、上記入力データが決定されることを特徴とする請求項８記載のマルチメディアデータの処理方法。The multimedia data processing method according to claim 8, wherein the input data is determined by instructing a change in a display position or a display size of an image included in the screen display by a pointing device. 上記ポインティングデバイスがマウスであることを特徴とする請求項８又は９記載のマルチメディアデータの処理方法。10. The multimedia data processing method according to claim 8, wherein the pointing device is a mouse. 上記特性データに対応した文字又は図形を画面上に表示することを特徴とする請求項７乃至１０記載のマルチメディアデータの処理方法。11. The multimedia data processing method according to claim 7, wherein characters or graphics corresponding to the characteristic data are displayed on a screen. ＢＩＦＳ言語を使用せずに、上記を特性データを変更することを特徴とする請求項７乃至１１記載のマルチメディアデータの処理方法。12. The multimedia data processing method according to claim 7, wherein the characteristic data is changed without using the BIFS language.
JP2003156055A 2003-05-30 2003-05-30 Processing apparatus for multimedia data and processing method for same Withdrawn JP2004363655A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003156055A JP2004363655A (en) 2003-05-30 2003-05-30 Processing apparatus for multimedia data and processing method for same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003156055A JP2004363655A (en) 2003-05-30 2003-05-30 Processing apparatus for multimedia data and processing method for same

Publications (1)

Publication Number Publication Date
JP2004363655A true JP2004363655A (en) 2004-12-24

Family

ID=34050248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003156055A Withdrawn JP2004363655A (en) 2003-05-30 2003-05-30 Processing apparatus for multimedia data and processing method for same

Country Status (1)

Country Link
JP (1) JP2004363655A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011528211A (en) * 2008-07-16 2011-11-10 サムスン エレクトロニクス カンパニー リミテッド Rich media content transmission / reception method and apparatus
CN108462878A (en) * 2018-04-09 2018-08-28 公安海警学院 Instructional video compression algorithm based on key frame and indicator motion model

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011528211A (en) * 2008-07-16 2011-11-10 サムスン エレクトロニクス カンパニー リミテッド Rich media content transmission / reception method and apparatus
US8688810B2 (en) 2008-07-16 2014-04-01 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving rich media content
CN108462878A (en) * 2018-04-09 2018-08-28 公安海警学院 Instructional video compression algorithm based on key frame and indicator motion model
CN108462878B (en) * 2018-04-09 2020-10-09 公安海警学院 Teaching video compression algorithm based on key frame and indicator motion model

Similar Documents

Publication Publication Date Title
JP3266278B2 (en) Method and apparatus for integrating hyperlinks into video
US5359712A (en) Method and apparatus for transitioning between sequences of digital information
JP3786294B2 (en) Image control apparatus and method
JP3955099B2 (en) Time-based media processing system
JP2009266238A (en) Control framework with zoomable graphical user interface for organizing, selecting and launching media item
CN107770627A (en) The method of image display device and operation image display device
KR20070093084A (en) Distributed software construction for user interfaces
KR20080003788A (en) Methods and systems for enhancing television applications using 3d pointing
JP2001273520A (en) System for integrally displaying multimedia document
WO2002019718A1 (en) Run-time hypervideo hyperlink indicator options in hypervideo players
JP2008067354A (en) Image display device, image data providing device, image display system, image display system control method, control program, and recording medium
US20140229823A1 (en) Display apparatus and control method thereof
WO2008018506A1 (en) Image display device, image data providing device, image display system, image display system control method, control program, and recording medium
US9635432B2 (en) Method for setting function and display apparatus applying the same
JPH0997162A (en) Method and device for picture control
JP4860561B2 (en) Image display device, image data providing device, image display system, image display system control method, control program, and recording medium
JP7049173B2 (en) Sign language CG translation editing equipment and programs
JP2004363655A (en) Processing apparatus for multimedia data and processing method for same
JP4926853B2 (en) Image display device, image data providing device, image display system, image display system control method, control program, and recording medium
JP3904087B2 (en) Image control apparatus and method
KR20030034410A (en) method and the system for producting BIFS(BInary Format for Scenes language) for MPEG-4 contents
JP2005012472A (en) Content distributing method and system
JP2009258824A (en) Alternative content presentation device and alternative content navigation program
JP2005051563A (en) Contents distribution method and contents distribution system
JP6150136B2 (en) Recording device

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060801