JP2004530317A - Ｍｐｅｇ−４規格における相互作用の管理方法および設備 - Google Patents

Abstract

本発明は、一人または複数のユーザの作動に応じてデジタル信号を送る制御周辺装置と、ＭＰＥＧ−４規格を利用するマルチメディアアプリケーションとの間の相互作用の管理方法を提供する。シーンの様々なオブジェクトに適用される相互作用データのタイプおよび数を決定する一つまたは複数のフィールドを含んだ、ＢＩＦＳ（ＭＰＥＧ４規格の意味で「Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ ｓｃｅｎｅ」）ノードの形状をとるデジタルシーケンスを構成するステップと、コンポジションメモリへのデジタルシーケンスの転送ステップとを含み、前記デジタルシーケンスが、前記作動と、これらの作動のパラメータとを含み、その値が、前記周辺装置から送られる変数に対応することを特徴とする。

Description

【技術分野】
【０００１】
本発明は、一人または複数のユーザがマルチメディア端末から実行するマルチメディア相互作用の管理に関する。相互作用は、テキストでも音声でも、また動作によるものであってもよい。相互作用は、マウス、ジョイスティック、キーボード等の従来の入力装置、あるいは音声認識システム、音声合成システム、または目視または動作による制御インターフェース等の新しい入力装置のいずれによっても得られる。こうしたマルチメディア相互作用は、国際規格ＭＰＥＧ−４の中で処理される。
【背景技術】
【０００２】
ＭＰＥＧ−４規格（ＩＳＯ／ＩＥＣ１４４９６）は、インタラクティブＡＶシーンのための通信システムを規定している。この仕様によれば、ユーザは、マルチメディアシーンと相互作用を行うことができる。これらのユーザ相互作用は、クライアント側で局部的に処理してもよいし、処理のためにサーバに再送してもよい。
【０００３】
ＩＳＯ／ＩＥＣ１４４９６−１（ＭＰＥＧ−４システムズ）規格は、シーンにおけるＡＶオブジェクトの組織化に関するシーン記述バイナリフォーマット（ＢＩＦＳ「ＢＩｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ Ｓｃｅｎｅ」）を定義している。ユーザが実行した相互作用に対するオブジェクトの挙動および応答は、事象のソースおよびターゲット（ルート）ならびに、センサ（事象を開始可能にする特別なノード）によりＢＩＦＳフォーマットに示すことができる。クライアント側の相互作用は、ユーザにより特定される作用に従ってシーンのオブジェクトの属性を修正することからなる。しかしながら、ＭＰＥＧ−４システムは、ユーザの相互作用をＢＩＦＳ事象に関連付ける特定のユーザインターフェースまたはメカニズムを定義していない。
【０００４】
ＢＩＦＳコマンドは、シーングラフ特性、ノード特性、または挙動特性を修正可能にするＢＩＦＳ記述子の部分集合である。したがって、ＢＩＦＳコマンドは、所定の瞬間におけるシーン特性の集合を修正するために用いられる。コマンドは、単独のアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ）で複数のコマンドを送信できるように、コマンドフレームにまとめられる。４個の基準コマンドは以下の通りであり、すなわち、全体シーンの交換、ノード構造の挿入、削除、または交換、事象入力（ｅｖｅｎｔＩｎ）、ｅｘｐｏｓｅｄＦｉｅｌｄであり、ＭＦＦｉｅｌｄまたはルートで値が決定される。シーンにおけるノードの識別はｎｏｄｅＩＤにより供給される。ノードのフィールドの識別は、そのフィールドのＩＮｉｄにより供給される。
【０００５】
ＢＩＦＳ−Ａｎｉｍは、シーングラフにおける幾つかのノードフィールドの連続更新に関するＢＩＦＳ記述の部分集合である。ＢＩＦＳ−Ａｎｉｍは、顔の模型、人体模型、メッシュ模型の動画を含む様々なタイプの動画、ならびに二次元および三次元位置、回転、倍率、または比色測定情報といった各種の属性を統合するために用いられる。ＢＩＦＳ−Ａｎｉｍは、特定のダイナミックフィールドを含むシーンの幾つかのノードを動画化するためのフローならびに符号化手順および復号化手順を特定する。本発明の範囲におけるＢＩＦＳ−Ａｎｉｍの主な不都合は、次の通りである。ＢＩＦＳ−Ａｎｉｍは、シーンの全てのノードを更新可能な全てのフィールドをどのように動画化するのか特定していない。しかも、ＢＩＦＳ−Ａｎｉｍは、デコーダのコンフィギュレーション情報の一部をなすアニメーションマスクを使用する。アニメーションマスクは、ユーザの直接の相互作用により修正することができない。従って、ＢＩＦＳ−Ａｎｉｍは、高いレベルのフレキシビリティと、修正するシーンのノードをダイナミックに変化させる可能性とを要するユーザの相互作用には適さない。
【０００６】
ＭＰＥＧ−Ｊは、Ｊａｖａ（登録商標）コードによるＭＰＥＧ−４メディアディフューザのインターオペラビリティを保証するためのインターフェースを規定する、プログラミングシステムである。Ｊａｖａ（登録商標）コードは、異なる基本フローとしてＭＰＥＧ−４の端末レベルに到達する。その後、Ｊａｖａ（登録商標）仮想マシンを含むＭＰＥＧ−Ｊの実行環境に向かい、そこから、ＭＰＥＧ−Ｊプログラムは、ＭＰＥＧ−４メディアディフューザの様々なコンポーネントにアクセスする。ＳｃｅｎｅＧｒａｐｈプログラミングインターフェースが供給するメカニズムにより、ＭＰＥＧ−Ｊアプリケーションは、ＢＩＦＳメディアディフューザがコンポジションに使用するシーンにアクセスし、このシーンを操作する。これは低レベルのインターフェースであり、ＭＰＥＧ−Ｊアプリケーションがシーンの事象を制御するとともに各プログラムのシーンのツリー構造を変えることができるようにする。また、幾つかのノードを生成し、操作することが同様に可能であるが、ノード識別が定義されたノードフィールドだけがＭＰＥＧ−Ｊアプリケーションにアクセスできる。さらに、ＭＰＥＧ−Ｊの利用は、特に小型の携帯用デコーダ装置に関する場合、多数のアプリケーションに対して必要とされるリソースが多すぎる。かくして、ＭＰＥＧ−Ｊは、有限容量の端末で利用可能なユーザ相互作用手順の定義には適さない。
【０００７】
上記の従来技術の分析では、マルチメディアユーザの相互作用を管理するために使用可能な主な方法を簡単に説明し、検討した。次に、現在の相互作用管理アーキテクチャに関する特徴によってこの説明を補うことにする。現在までに存在する相互作用のアクセス方法は２通りしかない。第一に、コンポジション装置は、ＭＰＥＧ−４の一環として、ポインタタイプの相互作用の場合だけ、シーンの修正作用中にユーザが発生する事象をトランスコードする役割をする。第二に、ＭＰＥＧ−４の規格外では、ポインタタイプ以外の全ての相互作用を特別なアプリケーションで実施しなければならない。従って、インタオペラビリティが失われる。この二つの任意選択は、通信システムの主な争点となるマルチユーザの相互作用性の概念を全体的ならびに包括的に把握するには、あまりに限られている。
【０００８】
本発明は、一人または複数のユーザがマルチメディア端末から実行するマルチメディア相互作用の包括的な管理方法およびシステムを提案する。提案されるシステムは、「ＭＰＥＧ−４システム」部分の仕様を拡張したものである。このシステムは、ＭＰＥＧ−４システムのアーキテクチャを再利用することによって、一人または多数のユーザの相互作用をどのようにＢＩＦＳ事象に関連付けるかを特定する。本発明に関連するシステムは、基本的な入力装置（マウス、キーボード）からも複雑な入力装置（６個の自由度を考慮することが必要であるか、または音声認識システムを使用する装置）からも、一人または多数のユーザのあらゆるタイプの相互作用を処理可能にするので、包括的である。このシステムは、単に既存のツールを再利用することにより、非常に低い複雑度にだけ耐えられる状況を含めた全ての状況で使用可能である。
【０００９】
従来技術では、国際公開第００００８９８号明細書が知られている。この技術は、オブジェクト指向メディアデータ（デジタルオーディオデータフローまたはデジタルビデオデータフローまたはその両方）を含むメッセージをローカルユーザコンピュータで発生し、遠隔ユーザコンピュータにこのメッセージを伝送することからなる。ローカルユーザコンピュータは、ローカルユーザコンピュータと遠隔ユーザコンピュータとの間でシェアされる、オブジェクト指向メディアデータを含むシーンを表示する。遠隔ユーザコンピュータは、一種のメッセージ管理プログラムを用いてメッセージを構成する。マルチメディア通信用のマルチユーザ相互作用は、ＭＰＥＧ−４バージョン１の拡張である。
【００１０】
別の国際公開第９９３９２７２号明細書は、ＭＰＥＧ−４に基づくインタラクティブ通信システムに関し、コマンド記述子が、シーン記述におけるコマンドルーティングノードまたはサーバルーティングチャネルと共に使用され、アプリケーション用の特別な相互作をサポートする。コマンドパラメータでプレゼンテーションを示すことによって内容の選択を補助でき、コマンド識別子は、コマンドが内容選択コマンドであることを示す。複数の画像と、１つの画像に関連するプレゼンテーションを記述する１つのテキストとを含む最初のシーンを生成できる。内容選択記述子は、各画像と、対応するテキストとに結合される。ユーザが１つの画像をクリックすると、クライアントは、選択されたプレゼンテーションを含むコマンドを伝送し、サーバは、新しいプレゼンテーションを起動する。サーバに基づくあらゆるアプリケーションの機能性を実施するためにＨＴＴＰおよびＣＧＩを使用可能にする方法と同じ方法で、この技術をあらゆるアプリケーション状況に適用できる。
【００１１】
一人または多数のユーザのマルチメディア相互作用で提案された新しいアプローチによれば、任意の入力装置が発生する相互作用データが、ＭＰＥＧ−４の基本フローとみなされる。その結果、標準復号化チェーンを直接用いることによって、基本データフローのいずれにも適用される操作と同じ操作を使用できる。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
従って、本発明は、相互作用データを処理するためにＭＰＥＧ−４で提示されるものと同じモデルを使用することを提案する。
【課題を解決するための手段】
【００１３】
このため、本発明は、その最も一般的な意味において、一人または複数のユーザの作動に応じてデジタル信号を送る制御周辺装置と、ＭＰＥＧ−４規格を利用する少なくとも一つのマルチメディアアプリケーションとの間の相互作用の管理方法に関し、この方法は、ＢＩＦＳ（ＭＰＥＧ４規格の意味で「Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ ｓｃｅｎｅ」）ノードの形状をとるデジタルシーケンスを構成するステップを含み、このノードが、シーンの様々なオブジェクトに適用される相互作用データのタイプおよび数を決定する少なくとも一つのフィールドを含むことを特徴とする。
【００１４】
好適な実施形態によれば、このノードは、シーンによって考慮される相互作用をその状態により可能にするかまたは禁止するフラッグを含む。
【００１５】
変形実施形態によれば、前記ノードは、関連装置のアクティビティの通知ステップを含む。
【００１６】
有利には、この方法は、ノードの一つまたは複数のフィールドを介してシーンの一つまたは複数のオブジェクトで実行される一つまたは複数の作用の種類を指定するステップを含む。
【００１７】
好適な実施形態によれば、この方法は、ノードの一つまたは複数のフィールドから、シーンで実行される少なくとも一つの作用からなる別のデジタルシーケンスを構成し、前記周辺装置から送られる変数に値が対応する、前記作用の少なくとも一つのパラメータを構成するステップを含む。
【００１８】
好適な実施形態によれば、この方法は、前記デジタルシーケンスをコンポジションメモリに転送するステップを含む。
【００１９】
好適な実施形態によれば、前記デジタルシーケンスの転送が、コンポジション装置に相互作用情報を入力するためのＭＰＥＧ−４システムの復号化チェーンを使用する。
【００２０】
特定の実施形態によれば、シーケンスの転送ステップは、少なくとも一つのフロー記述子を含むフローの制御下で行われ、このフロー記述子自体が、適切なデコーダによる復号化チェーンのコンフィギュレーションに必要な情報を伝送する。
【００２１】
変形実施形態によれば、前記シーケンスの構成ステップが、コンポジションバッファを通らずにシーンで復号化されるＢＩＦＳ−コマンドを実行するために、通常のＢＩＦＳデコーダのインターフェースと同様の、コンポジション装置へのインターフェースを備えるデコーダで実施される。
【００２２】
変形実施形態によれば、第一の構成ステップを実施するＢＩＦＳノードが、使用コマンドの周辺装置のタイプに依存する可変フィールド数を含み、前記フィールドが、ルートにより修正されるノードのフィールドに接続される。その場合、相互作用デコーダは、このＢＩＦＳノードのフィールドに周辺装置が生成する値を転送し、ルートのメカニズムは、これらの値をターゲットフィールドに伝播する役割をする。
【００２３】
特定の実施形態によれば、一人または多数のユーザの相互作用データのフローが、アクセスユニットを発生する装置に結合されるＤＭＩＦクライアントを通り、前記ユニットは、対応するデコーダに接続される復号化バッファメモリに配置される。
【００２４】
特定の実施例によれば、一人または多数のユーザの相互作用フローが、直接、または関連する復号化バッファメモリを介して、対応するデコーダに入り、それによって、ユーザの相互作用フローが従う行程を短縮する。
【００２５】
本発明は、また、ＭＰＥＧ−４規格を利用するマルチメディアアプリケーションを実行する計算機と、マルチメディアシーンを表示するための少なくとも一つの周辺装置と、いわゆるプログラム制御のための少なくとも一つの制御周辺装置とを含む情報処理設備に関し、さらに、この設備は、制御手段の信号を受信する入力回路およびデジタルシーケンスを送る出力回路を含むインターフェース回路と、上記の方法に従って入力周辺装置から供給される信号に応じて出力シーケンスを構成する手段とを含むことを特徴とする。
【発明を実施するための最良の形態】
【００２６】
本発明は、添付図面を参照しながら、限定的ではない実施例に関する以下の説明を読めば、いっそう理解されるであろう。
【００２７】
図１は、標準モデルを示す。図２は、コンポジション装置（ＣＵ）を生成する相互作用デコーダと、ユーザの相互作用フローとの二つの主要概念を示すモデルを示す。データは、ＭＰＥＧ−４規格のＤＭＩＦ（「Ｄｅｌｉｖｅｒｙ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｆｒａｍｅｗｏｒｋ）を介して入力装置の管理プログラムへのアクセスが行われる場合はアクセスユニット（ＡＵ）に配置される復号化バッファメモリから送られ、あるいは、デコーダおよび入力装置の管理プログラムが同じコンポーネントに配置されるような利用の場合は、入力装置からデコーダ自体に直接送ることができる。後者の場合、復号化バッファメモリは不要である。
【００２８】
ユーザの相互作用を管理するために、以下のエレメントが必要である。
−ユーザ相互作用（ＵＩ）データを考慮する、新しいタイプのフロー
−ユーザの相互作用フローと、シーンのエレメントとの間の結合を特定化し、また、この相互作用を許可もしくは禁止するための新しい単一のＢＩＦＳノード
−入力装置、または復号化バッファメモリから送ることができるデータを解釈し、これらをシーンの修正に変換する新しいタイプのデコーダ。こうした修正は、ＢＩＦＳ−コマンドと同じフォーマットを有する。換言すれば、相互作用デコーダの出力は、ＢＩＦＳデコーダの出力と全く同等である。
【００２９】
ここでは、ユーザ相互作用フロー（フローＵＩ、表１参照）と呼ばれる新しいタイプのフローが定義されている。このフローは、入力装置（たとえばマウス、キーボード、インストルメンタルグローブ（gant instrumente）など）から送られるアクセスユニット（ＡＵ）からなる。より包括的にするために、ここではアクセスユニットのシンタックスについては定義しない。シンタックスは、限定的ではないが、ＤＭＩＦによりアクセスが行われる場合、別の基本フローから送られる別のアクセスユニットと同じにすることができる。ここで特定化しているフローのタイプは、相互作用装置として用いられるメディア生成ローカル装置のケースを同様に含む。かくして、ビジュアルオブジェクトまたはオーディオオブジェクトといったＭＰＥＧ−４のオブジェクトタイプの指示（Ｏｂｊｅｃｔ Ｔｙｐｅ Ｉｎｄｉｃａｔｉｏｎ）により定義されるどんなオブジェクトタイプも生成するローカル装置が、このようなモデルの改善により管理される。
【００３０】
ＩｎｐｕｔＳｅｎｓｏｒと呼ばれる新しいＢＩＦＳノードのシンタックスは、次の通りである。
【００３１】
【表１】

【００３２】
フィールド「ｅｎａｂｌｅｄ」は、ユーザが、フィールド「ｕｒｌ」に準拠するユーザ相互作用フローから送られる相互作用を望むか、または許可しないかを制御することができる。フィールド「ｕｒｌ」は、ＭＰＥＧ−４規格のオブジェクト記述プラットフォームに記載されているように、使用される基本フローを特定する。
【００３３】
フィールド「ｉｎｔｅｒａｃｉｔｏｎＢｕｆｆｅｒ」は、「ｕｒｌ」で特定される相互作用フローからデコーダがなすべきことを記述するＳＦＣｏｍｍａｎｄＢｕｆｆｅｒである。シンタックスは必要不可欠というわけではないが、バッファメモリのセマンティクスは、たとえば次のように記述される。
【００３４】
【表２】

【００３５】
このセンサは、オブジェクト記述子４に結合される入力装置から送られる少なくとも３個のパラメータを回収し、ノードＮ１、Ｎ２、Ｎ３のフィールド「ｓｉｚｅ」をそれぞれ受信パラメータに代える。
【００３６】
ユーザ相互作用デコーダの役割は、復号化バッファメモリから送られるか、または入力装置から直接送られる受信アクセスユニットを変換することにある。ユーザ相互作用デコーダは、ＭＰＥＧ−４に特定されているように、これらをコンポジションユニット（ＣＵ）に変換し、コンポジションメモリ（ＣＭ）に配置する。ユーザ相互作用フローからデコーダが発生するコンポジションユニットは、ＭＰＥＧ−４システムが特定しているように、ＢＩＦＳ−Ｕｐｄａｔｅｓであり、特にＲＥＭＰＬＡＣＥＲコマンドである。シンタックスは、ＭＰＥＧ−４規格が規定するシンタックスと厳密に同じであり、相互作用バッファメモリから推論される。
【００３７】
たとえば、入力装置がエンティティ３を発生し、相互作用バッファメモリが「ＲＥＭＰＬＡＣＥＲ Ｎ１．ｓｉｚｅ」を含む場合、コンポジションユニットは、「ＲＥＭＰＬＡＣＥＲ Ｎ１．ｓｉｚｅ ｐａｒ ３（Ｎ１サイズを３に代える）」と同等の復号化されたＢＩＦＳ−Ｕｐｄａｔｅである。
【００３８】
上記の変形実施形態の一つは、ＩｎｐｕｔＳｅｎｓｏｒノードのｉｎｔｅｒａｃｔｉｏｎＢｕｆｆｅｒフィールドを、使用コマンドの周辺装置のタイプ、ＥｖｅｎｔＯｕｔタイプに依存する可変フィールド数に代えることからなる。その場合、ユーザ相互作用デコーダの役割は、これらのフィールドの値を修正することにあり、マルチメディアプレゼンテーションの生成者は、シーンのツリーでＩｎｐｕｔＳｅｎｓｏｒノードのフィールドをターゲットフィールドに接続するルートを形成するよう課される。
【図面の簡単な説明】
【００３９】
【図１】システムのデコーダのモデルを示すフローチャートである。
【図２】ユーザ相互作用のデータフローを示す図である。

Claims (11)

1. 一人または複数のユーザの作動に応じて信号を送る制御周辺装置と、ＭＰＥＧ−４規格を利用する少なくとも一つのマルチメディアアプリケーションとの間の相互作用の管理方法において、ＢＩＦＳ（ＭＰＥＧ４規格の意味で「Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ ｓｃｅｎｅ」）ノードの形状をとるデジタルシーケンスを構成するステップを含み、前記ノードが、シーンの様々なオブジェクトに適用される相互作用データのタイプおよび数を決定する少なくとも一つのフィールドを含むことを特徴とする方法。
2. 前記デジタルシーケンスの転送が、コンポジション装置に相互作用情報を入力するＭＰＥＧ−４システムの復号化チェーンを使用することを特徴とする、請求項１に記載の制御周辺装置とＭＰＥＧ−４規格を利用する情報処理アプリケーションとの間の相互作用管理方法。
3. ノードの一つまたは複数のフィールドを介してシーンの一つまたは複数のオブジェクトで実行される一つまたは複数の作動の種類を指定するステップを含むことを特徴とする、請求項１または２に記載の少なくとも一つの制御周辺装置とＭＰＥＧ−４規格を利用する少なくとも一つのマルチメディアアプリケーションとの間の相互作用管理方法。
4. ＢＩＦＳノードが、使用される制御周辺装置のタイプに依存する可変フィールド数を含み、このノードのフィールドからターゲットフィールドへの相互作用データの転送が、複数ルートにより行われることを特徴とする、請求項１または２に記載の制御周辺装置とＭＰＥＧ−４規格を利用する情報処理アプリケーションとの間の相互作用管理方法。
5. 関連装置のアクティビティの通知ステップを含むことを特徴とする、請求項１または２に記載の制御周辺装置とＭＰＥＧ−４規格を利用する情報処理アプリケーションとの間の相互作用管理方法。
6. シーケンスの転送ステップが、適切なデコーダによる復号化チェーンのコンフィグレーションに必要な情報を含む記述子から通知されるフローとして構成されることを特徴とする、請求項１〜５のいずれか一項に記載の制御周辺装置とＭＰＥＧ−４規格を利用する情報処理アプリケーションとの間の相互作用管理方法。
7. 相互作用データのシーケンスの構成ステップが、マルチメディアアプリケーションの実行端末の復号化バッファメモリで行われることを特徴とする、請求項１〜６のいずれか一項に記載の制御周辺装置とＭＰＥＧ−４規格を利用する情報処理アプリケーションとの間の相互作用管理方法。
8. 相互作用データシーケンスの翻訳ステップが、コンポジション装置へのインターフェースを備えたデコーダで行われ、前記インターフェースが、シーンで復号化されるＢＩＦＳコマンドを実行するための通常のＢＩＦＳデコーダのインターフェースと同様であることを特徴とする、請求項１〜７のいずれか一項に記載の制御周辺装置とＭＰＥＧ−４規格を利用する情報処理アプリケーションとの間の相互作用管理方法。
9. ユーザの相互作用フローが、アクセスユニットを発生する装置に結合されるＤＭＩＦクライアントを通り、前記ユニットが、対応するデコーダに接続される復号化バッファメモリに配置されることを特徴とする、請求項１〜８のいずれか一項に記載の制御周辺装置とＭＰＥＧ−４規格を利用する情報処理アプリケーションとの間の相互作用の管理方法。
10. ユーザの相互作用フローが、直接、または関連する復号化バッファメモリを介して対応するデコーダに入り、それによって、ユーザの相互作用フローがたどる行程を短縮することを特徴とする、請求項１〜９のいずれか一項に記載の制御周辺装置とＭＰＥＧ−４規格を利用する情報処理アプリケーションとの間の相互作用管理方法。
11. ＭＰＥＧ−４規格を利用するマルチメディアアプリケーションを実行する計算機と、マルチメディアシーンを表示するための少なくとも一つの周辺装置と、いわゆるプログラム制御のための少なくとも一つの制御周辺装置とを含み、さらに、制御手段の信号を受信する入力回路およびＢＩＦＳタイプのシーケンスを送る出力回路を含むインターフェース回路と、請求項１に記載の方法に従って入力周辺装置から供給される信号に応じて出力シーケンスを構成する手段とを含むことを特徴とする情報処理設備。

Images