JP2012511213A5

JP2012511213A5 -

Info

Publication number: JP2012511213A5
Application number: JP2011539734A
Authority: JP
Filing date: 2009-12-04
Publication date: 2014-08-28
Anticipated expiration: 2029-12-04

Description

別の態様において、本発明は、リアルタイムストリームハンドラの仕様が、１つか又は複数のストリームハンドリング命令からパーズされるということに従った方法が特徴となる。このプロセス内において、入力ソース識別子、出力シンク識別子、及び、１つか又は複数のデータ処理オブジェクトのそれぞれの各識別子が、１つか又は複数のストリームハンドリング命令からパーズされる。該識別子のうちの幾つかの各々に対応するリアルタイムストリーム処理オブジェクトは、インスタンス化される。該インスタンス化されたリアルタイムストリーム処理オブジェクトのうちの幾つかを含む有向グラフが、仕様に従って作成される。入力ソース識別子に対応する入力ソースから、リアルタイムデータストリームが受け取られる。結果データストリームが、出力シンク識別子に対応する出力シンクにおいて生成される。このプロセス内において、リアルタイムデータストリームは、有向グラフを通じて処理される。

この例示された実施形態において、リアルタイムカーネル２０は、開始されたリアルタイムデータストリームを、仮想エリアインスタンスの仕様内の少なくとも１つのストリームハンドリング定義に従って処理する（図１０のブロック１７２）。このプロセス内において、リアルタイムカーネル２０は、ストリーム処理オブジェクトのセットを、有向グラフ内へと、仮想エリア仕様内において定義されるストリーム処理コンフィギュレーションに従って組み立てる。

図１２は、エリアサービス２６から受け取られるストリームハンドリング命令２１０に従って、（リアルタイムカーネル２０の構成要素である）ストリームハンドラコンフィギュレーションマネージャ２０８によって作成されるストリームハンドラ２０６の一実施形態を示す。ストリームハンドラコンフィギュレーションマネージャ２０８は、典型的には、１つか又は複数の構成要素であるサービスと、リアルタイムカーネル２０の他の構成要素とから構成される。ストリームハンドラコンフィギュレーションマネージャ２０８は、（処理グラフ要素（プロセッシンググラフエレメント）すなわちＰＧＥｓとしても呼ばれる）処理オブジェクトのセットから、ストリームハンドラ２０６を構築する。処理オブジェクトの各々は、データストリームに関するある特定機能（例えば、変換機能、分割機能、及びミキシング機能）を実施することが可能なソフトウェアオブジェクトである。ストリームハンドラコンフィギュレーションマネージャ２０８は、１つか又は複数のストリームハンドリング命令内において指定される処理オブジェクトをインスタンス化して、該インスタンス化された処理オブジェクトを、仕様に従ってストリームハンドラ２０６における有向グラフ構成要素２１２内へと組み立てる。幾つかの実施形態において、ストリームハンドリング命令は、それぞれの固有の識別子によって処理オブジェクトを指定し、及び、ストリームハンドラコンフィギュレーションマネージャ２０８は、処理オブジェクトＡＰＩに対して、識別子のうちの幾つかの識別子のそれぞれを含むコールを発行することによって、処理オブジェクトをインスタンス化する。ストリームハンドラ２０６は、ある特定データタイプ（例えば、オーディオ、ビデオ、及びモーションデータタイプ）の複数データストリーム２１４を、それぞれの処理チェーン（鎖）２１６〜２１８を通じて処理するよう構成（又は設定）される。該処理チェーン２１６〜２１８は、処理オブジェクトのうちの幾つかのオブジェクトの各々から構成される。ストリームハンドラ２０６は、追加的には、（１つか又は複数のストリームハンドリング命令内において指定された）ミキシングオブジェクト２２０を含む。動作中、ストリームハンドラ２０６は、処理されるリアルタイムデータストリーム２１６〜２１８の組み合わせから、ミックスされたリアルタイムデータストリーム２２２を生成するためにミキシングオブジェクト２２０を実行する。幾つかの実施形態において、インスタンス化された処理オブジェクトのうちの少なくとも１つが、ドライバモジュール２２４に対するそれぞれのコールをカプセル化する。該ドライバモジュール２２４は、結果データストリーム２２２に少なくとも部分的に基づいて、ローカルネットワークノードのハードウェア構成要素を制御する。

幾つかの実施形態において、リアルタイムカーネル２０は、少なくとも１つのリアルタイムデータストリームに関するデータ処理動作のうちの幾つかのそれぞれを実施する処理オブジェクトをインスタンス化する。リアルタイムカーネル２０は、有向グラフを、インスタンス化された処理オブジェクトのうちの幾つかの処理オブジェクトから構築して、該有向グラフを通じて、少なくとも１つのリアルタイムデータストリームを処理する。リアルタイム性能目標付けルーチンに依存して、リアルタイムカーネル２０は、インスタンス化された処理オブジェクトのうちの１つか又は複数を、該有向グラフから、一部取り除く（枝刈りを行う：pruning）ことによって、リアルタイムデータストリームの処理を変更することができる。幾つかの実施形態において、処理オブジェクトは、それぞれの優先度値が割り当てられ、リアルタイムカーネル２０は、インスタンス化された処理オブジェクトのうちの幾つかを、有向グラフから、該割り当てられた優先度値に基づいて排除することによって処理オブジェクトを一部取り除く。例えば、これらの実施形態のうちの幾つかでは、該一部取り除くことは、優先度閾値を満たすことに失敗した割り当てられた各優先度値を有したインスタンス化された処理オブジェクトのうちの幾つかを、有向グラフから排除することを含む。

幾つかの実施形態において、リアルタイムカーネル２０は、インスタンス化された処理オブジェクトのうちの幾つかの処理オブジェクトから、第２の有向グラフを構築する。該第２の有向グラフは、ローカルネットワークノードと少なくとも１つのリモートネットワークノードとのうちの一方によって発生される第２のリアルタイムデータストリームを処理するために用いられる。これらの実施形態のうちの幾つかにおいて、第１及び第２の有向グラフは、それぞれの優先度値が割り当てられ、及び、リアルタイムカーネルが、割り当てられた優先度値に基づいて第１及び第２の有向グラフのうちの一方を優先的に変更することにより第１及び第２のリアルタイムデータストリームの処理を変更する。例えば、リアルタイムカーネルは、最小の優先度値が割り当てられている第１及び第２の有向グラフのうちの一方を引き下ろす（又は引きはがす）ことができる。

幾つかの実施形態において、リアルタイムカーネル２０は、有向グラフを通じて第２のリアルタイムデータストリームを処理する。ここで、該第２のリアルタイムデータストリームは、ローカルネットワークノードと、少なくとも１つのリモートネットワークノードとのうちの一方によって生じられる。幾つかのこれらの実施形態において、第１及び第２のリアルタイムデータストリームは、それぞれの優先度値が割り当てられ、リアルタイムカーネル２０は、割り当てられた優先度値に基づいて、第１及び第２のリアルタイムデータストリームのうちの一方の処理を優先的に変更する。

幾つかの実施形態において、リアルタイムカーネル２０は、ローカルネットワークノードと、複数のリモートネットワークノードとの間におけるそれぞれのリアルタイムデータストリーム接続を確立する。リアルタイムカーネル２０は、有向グラフを通じて、リモートネットワークノードのうちの幾つかの各々によって生じられるリアルタイムデータストリームを処理する。これらの実施形態のうちの幾つかにおいて、リアルタイムデータストリームは、それぞれの優先度値が割り当てられ、リアルタイムカーネル２０は、割り当てられた優先度値に基づいて、１つか又は複数のリアルタイムデータストリームの処理を優先的に変更する。有向グラフは、典型的には、インスタンス化された処理オブジェクトのうちの幾つかの各々の複数の方向付けられたチェーン（鎖）を含む。リアルタイムカーネル２０は、典型的には、該方向付けられたチェーンの各々を通じて、リアルタイムデータストリームのうちの１つのそれぞれを処理する。これらの実施形態のうちの幾つかにおいて、リアルタイムカーネル２０は、リアルタイムデータストリームの処理を、指定された性能目標内に該処理がなるまで反復的に変更する。各反復中に、該変更することは、典型的には、（i）有向グラフからチェーンのうちの１つか又は複数を除去することと、（ii）インスタンス化された処理オブジェクトのうちの１つか又は複数を、有向グラフから一部取り除くこと、とのうちの１つか又は複数を実施することを含む。

５．データストリームの処理
リアルタイムカーネル２６０は、他のネットワークノードからクライアントネットワークノードによって受け取られるデータストリームを処理するためのストリームハンドラのリモートコンフィギュレーションをサポートする。エリアサービス２６から受け取られる命令に応答して、様々なサービスと、リアルタイムカーネル２６０における他の構成要素とが協力して、処理要素における有向グラフを、データストリームを処理するために使用されるストリームハンドラ内へと構築及び構成する。エリアサービス命令は、エリアサービス２６によって管理される仮想エリアによってホストされている仮想エリアアプリケーションに従ってストリームハンドラを構成（又は設定）する。

トランスポートバス２７６は、仕様に従って、インスタンス化されたリアルタイムストリームハンドリングオブジェクトのうちの幾つかを含む有向グラフを生成する（図１９のブロック３３４）。エリア／ゾーンマネージャ２６４は、オーディオ計算ＳＯＤＡ定義を、該有向グラフ内における、指定されたオーディオ計算オブジェクトに対して送る。

Claims

リアルタイムデータストリーム処理を、コンピュータにより実現する方法であって、
１つか又は複数のストリームハンドリング命令（210）から、リアルタイムストリームハンドラ（206）の仕様をパーズし、ここで、該パーズすることは、前記１つか又は複数のストリームハンドリング命令（210）から、入力ソース識別子、出力シンク識別子、及び、１つか又は複数のデータ処理オブジェクトの各々の識別子のそれぞれを、パーズすることを含んでおり、
前記識別子のうちの幾つかのそれぞれに対応するリアルタイムストリーム処理オブジェクトをインスタンス化し、
前記インスタンス化されたリアルタイムストリーム処理オブジェクトのうちの幾つかを含む、方向付けられたグラフ（212）を、前記仕様に従って作成し、
前記入力ソース識別子に対応する入力ソースからリアルタイムデータストリームを受け取り、及び、
前記出力シンク識別子に対応する出力シンクにおいて結果データストリームを生成する
ことを含み、
前記生成することが、前記方向付けられたグラフ（212）を通じて前記リアルタイムデータストリームを処理することを含むことからなる、方法。
前記パーズすることは、前記１つか又は複数のストリームハンドリング命令（210）から、データ処理オブジェクトの識別子を抽出することを含み、及び、前記作成することは、前記抽出された識別子に対応するリアルタイムストリーム処理オブジェクトをインスタンス化したものから、前記方向付けられたグラフ（212）を組み立てることを含むことからなる、請求項１に記載の方法。
前記パーズすることは、前記１つか又は複数のストリームハンドリング命令（210）から、オーディオプロセッシングオブジェクトの識別子を抽出することを含み、及び、前記生成することは、前記抽出された識別子のうちの幾つかのそれぞれに対応する１つか又は複数のインスタンス化されたオーディオプロセッシングオブジェクトを通じて、前記リアルタイムデータストリームを処理することを含むことからなる、請求項１に記載の方法。
前記インスタンス化することは、それぞれの識別子についてオブジェクトライブラリをクエリーして、該クエリーすることに応答して該オブジェクトライブラリからオブジェクトを検索して、及び、該検索したオブジェクトをインスタンス化することを含むことからなる、請求項１に記載の方法。
前記インスタンス化することは、前記識別子のうちの幾つかのそれぞれを含んだアプリケーションプログラムインターフェース（ＡＰＩ）プロシージャコールを、処理オブジェクトに対して発行することを含むことからなる、請求項４に記載の方法。
前記生成することが、
１つか又は複数の前記ストリームハンドリング命令（210）内において指定されたリアルタイム状態情報からコンフィギュレーションパラメータ値を決定し、及び、
前記方向付けられたグラフ（212）内の１つか又は複数の前記インスタンス化されたリアルタイムストリーム処理オブジェクトを、前記コンフィギュレーションパラメータ値によって動的に構成する
ことを含むことからなる、請求項１に記載の方法。
前記受け取ることは、前記仕様内の第２の入力ソース識別子に対応する第２の入力ソースからの第２のリアルタイムデータストリームを受け取ることを含み、及び、
前記生成することは、前記方向付けられたグラフ（212）を通じて該第２のリアルタイムデータストリームを処理することを含むことからなる、請求項１に記載の方法。
前記インスタンス化することは、前記パーズした識別子のうちのそれぞれのものに対応するリアルタイムストリームミキシングオブジェクト（220）をインスタンス化することを含み、前記作成することは、前記インスタンス化されたリアルタイムストリームミキシングオブジェクトを、前記方向付けられたグラフ（212）内へと組み込むことを含み、及び、前記生成することは、前記インスタンス化されたリアルタイムストリームミキシングオブジェクト（220）を実行して、前記第１のリアルタイムデータストリームと前記第２のリアルタイムデータストリームとを組み合わせることを含むことからなる、請求項７に記載の方法。
前記第１の入力ソースは、第１のリモートネットワークノードから到来するリアルタイムデータストリーム（214）の定義に対応し、及び、前記第２の入力ソースは、第２のリモートネットワークノードから到来するリアルタイムデータストリーム（214）の定義に対応することからなる、請求項８に記載の方法。
前記パーズすることは、前記１つか又は複数のストリームハンドリング命令（210）から、第２のリアルタイムストリームハンドラ（22）の第２の仕様をパーズすることを含み、該第２の仕様は、第２の入力ソース識別子、第２の出力シンク識別子、及び１つか又は複数のデータ処理オブジェクトの各々のそれぞれの識別子を含み、
前記作成することは、前記インスタンス化されたリアルタイムストリーム処理オブジェクトのうちの幾つかから、第２の方向付けられたグラフを、前記第２の仕様に従って作成することを含み、
前記受け取ることが、前記第２の入力ソース識別子に対応する第２の入力ソースから第２のリアルタイムデータストリームを受け取ることを含み、ここで、前記第１及び第２のリアルタイムデータストリームは、データタイプに関して異なっており、及び、
前記生成することが、第２の方向付けられたグラフを通じて、前記第２の出力シンク識別子に対応する第２の出力シンクへと、前記第２のリアルタイムデータストリームを処理することを含むことからなる、請求項１に記載の方法。
前記第１のリアルタイムデータストリームと前記第２のリアルタイムデータストリームとが、同時に処理されることからなる、請求項１０に記載の方法。
前記インスタンス化されたリアルタイムストリーム処理オブジェクトのうちの少なくとも１つが、ローカルハードウェア構成要素を制御するドライバモジュールに対するそれぞれのコールをカプセル化することからなる、請求項１に記載の方法。
前記パーズすること、前記インスタンス化すること、前記作成すること、前記受け取ること、前記生成すること、及び前記発生させることは、仮想エリア（28）内の第１のオブジェクトに関連付けられたローカルネットワークノード（16）上において実施され、及び、前記受け取ることは、該仮想エリア（28）内の第２のオブジェクトに関連付けられたリモートネットワークノードから前記リアルタイムデータストリームを受け取ることを含むことからなる、請求項１に記載の方法。
前記１つか又は複数のストリームハンドリング命令（210）は、前記仮想エリア（28）内の前記第１及び第２のオブジェクトのそれぞれの位置を表すリアルタイム位置情報を含み、及び、前記生成することは、該リアルタイム位置情報からコンフィギュレーションパラメータ値を決定して、前記方向付けられたグラフ内の、１つか又は複数の前記インスタンス化されたリアルタイムストリーム処理オブジェクトを、該コンフィギュレーションパラメータ値によって動的に構成することを含むことからなる、請求項１３に記載の方法。
前記受け取ることは、前記仮想エリア（28）内の第３のオブジェクトに関連付けられている第２のリモートネットワークノードから第２のリアルタイムデータストリームを受け取ることを含み、前記作成することは、前記パーズした識別子のうちのそれぞれのものに対応するインスタンス化されたミキシングオブジェクトを有した前記方向付けられたグラフを構築することを含み、及び、前記生成することは、該インスタンス化されたミキシングオブジェクト（220）を実行して、前記第１のリアルタイムデータストリームと前記第２のリアルタイムデータストリームとを組み合わせることを含むことからなる、請求項１４に記載の方法。
前記パーズすることは、前記１つか又は複数のストリームハンドリング命令（210）から、第２のリアルタイムストリームハンドラ（22）の第２の仕様をパーズすることを含み、該第２の仕様は、第２の入力ソース識別子、第２の出力シンク識別子、及び１つか又は複数のデータ処理オブジェクトの各々のそれぞれの識別子を含み、
前記作成することは、前記インスタンス化されたリアルタイムストリーム処理オブジェクトのうちの幾つかから、第２の方向付けられたグラフを、前記第２の仕様に従って作成することを含み、
前記受け取ることが、前記第２の入力ソース識別子に対応する第２の入力ソースから、第２のリアルタイムデータストリームを受け取ることを含み、ここで、該第２の入力ソースは、第２のリモートネットワークノードから到来するリアルタイムデータストリームの定義に対応しており、及び、前記第１及び第２のリアルタイムデータストリームは、データタイプに関して異なっており、及び、
前記生成することが、第２の方向付けられたグラフを通じて、前記第２の出力シンク識別子に対応する第２の出力シンクへと、前記第２のリアルタイムデータストリームを処理することを含むことからなる、請求項１４に記載の方法。
前記パーズすることは、前記１つか又は複数のストリームハンドリング命令（210）から、グラフィックオブジェクト外観処理オブジェクトの識別子を抽出することを含み、及び、
前記生成することは、前記抽出した識別子のうちの幾つかの各々に対応する１つか又は複数のインスタンス化されたグラフィックオブジェクト外観処理オブジェクトを通じて前記リアルタイムデータストリームを処理して、該インスタンス化されたグラフィックオブジェクト外観処理オブジェクトを動的に構成して、前記仮想エリア（28）内の前記第１のオブジェクトの配向と、位置と、動作と、該位置に少なくとも部分的に基づいた姿勢とのうちの少なくとも１つに関して、第１のオブジェクトのビジュアル表現を制御することを含むことからなる、請求項１４に記載の方法。
前記パーズすること、前記インスタンス化すること、前記作成すること、前記受け取ること、前記生成すること、及び前記発生させることは、リモートネットワークノード上において実施され、及び、
ローカルネットワークノード（16）上において実行するユーザレベルアプリケーションのインターフェース要素を、前記リアルタイムデータストリームに関連付けて、及び、該ローカルネットワークノード（16）から前記リモートネットワークノードへと該リアルタイムデータストリームを伝達する、ことを前記方法が更に含むことからなる、請求項１に記載の方法。
前記１つか又は複数のストリームハンドリング命令を、前記ローカルネットワークノード（16）から前記リモートネットワークノードへと伝達することを更に含むことからなる、請求項１８に記載の方法。
前記ユーザレベルアプリケーションが、デスクトップアプリケーションプログラムであることからなる、請求項１９に記載の方法。
前記ユーザレベルアプリケーションが、ＭｉｃｒｏｓｏｆｔのＯｆｆｉｃｅ（登録商標）デスクトップアプリケーションプログラムであることからなる、請求項２０に記載の方法。
機能に対する参照を行うことなく、前記ストリームハンドリング命令（210）が、前記リアルタイムストリームハンドラ（22）を指定することからなる、請求項１に記載の方法。
ストリームタイプに対する参照を行うことなく、前記ストリームハンドリング命令（210）が、前記リアルタイムストリームハンドラ（22）を指定することからなる、請求項１に記載の方法。
連続する固定長インターバルの各々の間、前記出力シンクから前記入力ソースまでの前記方向付けられたグラフ（212）を、トラバースすることを、前記生成することが含むことからなる、請求項１に記載の方法。
前記パーズすることが、１つか又は複数の記録をパーズすることを含み、該１つか又は複数の記録の各々は、それぞれの定義タイプと、それぞれの定義長と、定義タイプ特定フィールド及びそれぞれの定義タイプ特定定義のうちの少なくとも１つと、を含むことからなる、請求項１に記載の方法。
前記結果データストリームに少なくとも部分的に基づいて、人間にとって知覚可能な出力を発生させることを更に含むことからなる、請求項１に記載の方法。
装置であって、
コンピュータ可読命令を格納するコンピュータ可読媒体と、
メモリに結合されたデータプロセッシングユニットであって、
１つか又は複数のストリームハンドリング命令（210）から、リアルタイムストリームハンドラ（22）の仕様をパーズし、ここで、該パーズすることは、前記１つか又は複数のストリームハンドリング命令から、入力ソース識別子、出力シンク識別子、及び、１つか又は複数のデータ処理オブジェクトの各々の識別子のそれぞれを、パーズすることを含んでおり、
前記識別子のうちの幾つかのそれぞれに対応するリアルタイムストリーム処理オブジェクトをインスタンス化し、
前記インスタンス化されたリアルタイムストリーム処理オブジェクトのうちの幾つかを含む、方向付けられたグラフ（212）を、前記仕様に従って作成し、
前記入力ソース識別子に対応する入力ソースからリアルタイムデータストリーム（214）を受け取り、及び、
前記出力シンク識別子に対応する出力シンクにおいて結果データストリームを生成する
ことを含む動作を実施させるための動作可能な命令の実行に少なくとも部分的に基づいて、前記コンピュータ可読命令を実行するよう動作可能なデータプロセッシングユニット
とを備え、
前記生成することが、前記方向付けられたグラフ（212）を通じてリアルタイムデータストリームを処理することを含むことからなる、装置。
少なくとも１つのコンピュータ可読媒体であって、該コンピュータ可読媒体内に具現化されたコンピュータ可読プログラムコードを該コンピュータ可読媒体が有し、該コンピュータ可読プログラムコードは、
１つか又は複数のストリームハンドリング命令（210）から、リアルタイムストリームハンドラ（22）の仕様をパーズし、ここで、該パーズすることは、前記１つか又は複数のストリームハンドリング命令から、入力ソース識別子、出力シンク識別子、及び、１つか又は複数のデータ処理オブジェクトの各々の識別子のそれぞれを、パーズすることを含んでおり、
前記識別子のうちの幾つかのそれぞれに対応するリアルタイムストリーム処理オブジェクトをインスタンス化し、
前記インスタンス化されたリアルタイムストリーム処理オブジェクトのうちの幾つかを含む、方向付けられたグラフ（212）を、前記仕様に従って作成し、
前記入力ソース識別子に対応する入力ソースからリアルタイムデータストリーム（214）を受け取り、及び、
前記出力シンク識別子に対応する出力シンクにおいて結果データストリームを生成する
ことを含む方法を実現するために、コンピュータによって実行されるよう構成されており、前記生成することが、前記方向付けられたグラフ（212）を通じてリアルタイムデータストリームを処理することを含むことからなる、少なくとも１つのコンピュータ可読媒体。