JP4575528B2 - 標準クロック・メカニズムを用いて、多重データ・ストリームの処理の同期と異なる処理速度のマッチングを行う方法 - Google Patents

標準クロック・メカニズムを用いて、多重データ・ストリームの処理の同期と異なる処理速度のマッチングを行う方法 Download PDF

Info

Publication number
JP4575528B2
JP4575528B2 JP18062597A JP18062597A JP4575528B2 JP 4575528 B2 JP4575528 B2 JP 4575528B2 JP 18062597 A JP18062597 A JP 18062597A JP 18062597 A JP18062597 A JP 18062597A JP 4575528 B2 JP4575528 B2 JP 4575528B2
Authority
JP
Japan
Prior art keywords
instance
data
filter
clock
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP18062597A
Other languages
English (en)
Other versions
JPH10283199A (ja
Inventor
エイチ. ジェイ. ショウ ジョージ
エイ. ウッドラフ ブライアン
ジェイ.エロウルケ トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JPH10283199A publication Critical patent/JPH10283199A/ja
Application granted granted Critical
Publication of JP4575528B2 publication Critical patent/JP4575528B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data

Description

【0001】
【発明の属する技術分野】
本発明の分野は、発生クロックとレンダリング・クロックとの間のストリーム同期化およびレート整合といったように、マルチメディア・アプリケーションで起こるタイミング問題に関係する方法とコンピュータ・プログラム・プログラムに属するものである。また、本発明はソフトウェア・ドライバにおける標準化タイミング・メカニズムに関する。より具体的には、本発明は相互接続されたソフトウェア・ドライバなどの、複数のエンティティによって使用されるタイミングおよびクロック・メカニズムを標準化された方法で提供し、複数の処理されるデータ・ストリームが同期化され、異なるハードウェア・クロック間のレートが整合されるようにする方法およびコンピュータ・プログラム・プロダクトに関する。
【0002】
【現在の技術状況】
ディジタル化サウンドやビデオ・データなどのマルチメディア・データを処理するとき、連続するメディア・サンプルのストリームを処理しているのが普通である。また、データ・ストリームは、規則またはタイムスタンプ情報のどちらかによってデータと関連づけられた時間インターバル情報ももっている。タイムスタンプ情報は、特定のサンプルをいつ処理すべきかを処理コンポーネントに知らせるものであるが、処理がタイムスタンプ間で特定のレートで進行するのを保証するためにトラッキング参照(tracking reference)としても使用されている。
【0003】
処理が行われている期間に使用される時間インターバル情報を伝達するものとして、データ編成(data organization) 、フォーマット、および規定(convention)もある。例えば、30フレーム/秒(fps)フォーマットと規定のビデオ・データ・ファイルは、処理コンポーネントがその規定とフォーマットを知っていれば、各サンプルが1/30秒のインターバルで処理されるものと認識される。
【0004】
メディア・ストリームを処理するときに起こる1つの問題は、2つまたはそれ以上のストリームを同期化してこれらが一緒にレンダリングされるようにすることである。例えば、サウンドトラックを表すオーディオ・ストリームと、それに付随するビデオ・データ・ストリームはコヒーレントなマルチメディア・プレゼンテーションが得られるように同期化する必要がある。
【0005】
ある同期化方法では、PCクロックのような物理クロックやハードウェア・クロックに基づく値をもつクロック・メカニズムを利用している。データ・ストリーム・プロセッサはこのクロック・メカニズムの値を照会してストリームの処理またはレンダリングを同期化することが可能になっている。同期化はハードウェア・クロックを基準にして行われるが、2つの異なるストリームは処理するイベントや遅延が各ストリームに対して独立に行われることがあるので、常に同期化されるとは限らない。
【0006】
別の同期化方法では、ストリームが処理されている間、「マスタ」・データ・ストリーム上のプレゼンテーション・タイムスタンプ値に基づく時間値を提供するクロック・メカニズムを利用している。マスタ・ストリームが休止または停止されると、時間値はPCクロックのような物理クロックまたはハードウェア・クロックを基準にするように切り替わる。第2データまたはメディア・ストリームのプロセッサはこのクロック・メカニズムの値を照会(query) できるが、別の機能が用意されているので、クロック・メカニズムは物理クロック上の特定の時間に、あるいは、物理クロックに基づく一定のインターバル(例えば、10msごと)に、プロセッサに通知するようになっている。
【0007】
イベント通知は物理クロックに基づいているので、処理がマスタ・データまたはメディア・ストリームで休止または停止されたときでも、このようなイベントは引き続き起こる場合がある。通知は一時的に禁止することができるが、そうすると、余分の処理オーバヘッドが発生するという犠牲が伴い、処理コードがさらに複雑化することになる。通知が明示的に禁止されたときでも、通知が誤って行われるというタイミング上の問題が生じることがある。
【0008】
メディアまたはデータ・ストリームを処理するとき起こるもう1つの問題は、メディア・ストリームに関連する異なるハードウェア・クロックのレートを整合するという問題である。あるハードウェア・クロックはメディア・ストリームのメディア・サンプルを生成し、タイムスタンプ情報を各サンプルと関連づけるときに使用されている。他方、全く別のハードウェア・クロックはメディア・ストリームをレンダリングするために使用されている。2つのハードウェア・クロックは見かけ上同じレートで動作しているように見えるが、物理クロック・レートが変動すると、処理に影響することになる。
【0009】
ここでレート整合(rate matching) とは、物理クロックに起こる実際の周波数変動を補償する概念である。例えば、ライブ・オーディオのストリームがローカル・オーディオ・ハードウェア側でレンダリングするためにネットワーク接続から受信されるとき、ストリームの受信時のレートはローカル・オーディオ・ハードウェアが実際にストリームをレンダリングするときのレートに一致していない場合がある。このようなことが起こるのは、オーディオ・ハードウェア側のクリスタルが、ネットワーク接続の他端に置かれたオーディオ・ハードウェア側のクリスタルとは無関係であるためである。
【0010】
場合によっては、ローカル・オーディオ・ハードウェア側で微調整を行うようにすると、ローカル側をソース側が発生している周波数に近づけることが可能な場合もある。しかし、すべてのオーディオ・ハードウェアがこれを可能にしているとは限らない。ハードウェアによっては、周波数解像度にある種の制約があるため調整の精度が制限されているものや、許容される調整量が制限されているものがある。
【0011】
処理時の「ドリフト(drift) 」はこのレート差が原因で起こるため、ドリフト量を正確かつ迅速に判断するための方法が追求されている。さらに、ドリフトの補償は、大きな調整を低頻度で行なうよりも、小刻みに高頻度で行なうと最適化されるので、ドリフト補償がエンド・ユーザに気づかれることがなくなる。この気づかれやすい調整は、サウンド・データを「スキップする(skipping)」および/またはビデオ・データが「滑らかに動かなくなる(jerking) 」という形で現れる。
【0012】
メディアまたはデータ・ストリームを処理するときに起こるさらに別の問題は、ある時間フレームを別の時間フレームに変換する問題である。この問題は、「スレーブ」・ストリームのプレゼンテーション時間がマスタ・ストリームの時間フレームに変換されるときの同期の間によく起こっている。エラー発生を最小限にしてこの変換を行なうための方法が探究されている。
【0013】
マルチメディア環境では、ソフトウェア・ドライバを相互接続し、実行優先度が非常に高く、セキュリティ保護度が低いオペレーティング・システム・モードで実行され、多くの場合、ドライバが直接に操作する実際のハードウェアにアクセスできるソフトウェア・ドライバで処理を行なうようにすると好都合である。
多くのアプリケーションは、本明細書においてWindows NT用語で「カーネル・モード(kernel mode) 」と呼ばれる、この制約がゆるやかでパフォーマンス指向のモードで実行させると有利である。他の強固なオペレーティング・システムも機能的に同等のモードをもっている。このような相互接続ソフトウェア・ドライバの場合も、同じように複数のメディア・ストリームを同期化し、物理クロックのレートを整合する必要がある。
【0014】
【発明が解決しようとする課題】
現在、本明細書で用いられているカーネル・モード・ドライバを容易に使用することができないプログラムの主要例の1つとして、ユーザがフィルタと呼ばれる、異なる処理ブロックを選択し、1つに接続してマルチメディア・データ・ストリームを連続的に操作できるようにするグラフ作成機能がある。データは、サウンドまたはビデオを表す一連のサンプルであるのが代表的であり、処理ブロックとしては、圧縮データのデコンプレション(decompression) 処理、特殊効果処理、CODEC 機能、データをアナログ信号にレンダリングすることなどがある。
【0015】
このようなフィルタはユーザ・モードで置かれているのが代表的であるので、プログラムのグラフ作成部分は、フィルタのオペレーションを相互接続してその制御を行い、ユーザの入力と処理ブロックの配置替えに応答できるようになっている。マルチメディア・データ・ストリームはその性質上一貫性があり、大量のデータが生成されるので、パフォーマンスは重大な問題となっている。汎用オペレーティング・システムでは、ユーザ・モードとカーネル・モードとの間の受渡し/切替えを繰返し行うと、システム・パフォーマンスはある種のマルチメディア・アプリケーションが禁止されるほどに低下することがある。
【0016】
カーネル・モード・フィルタの相互接続を標準化する方法が望まれているが、標準化クロック・メカニズムがあると、複数のマルチメディア・ストリームを同時に処理するとき起こる同期化の問題が解決しやすくなるという利点がある。さらに、このような標準化クロック・メカニズムはデータを送信し、異なる物理クロックを使用してデータをレンダリングするとき起こるレート整合問題も取り扱って、解決する必要がある。
【0017】
本発明の目的は、各々が、関連する時間インターバル情報を有するデータ・サンプルからなる複数のデータ・ストリームの処理を同期化することである。
【0018】
本発明の別の目的は、データ・ストリームがストリーム・データ・サンプルに表された発生側物理クロックと、ハードウェアの一部と関連づけられたレンダリング側物理クロックとによって発生された場合にデータ・ストリームの処理レートの整合を容易化することである。
【0019】
さらに、本発明の目的は、相互接続されたカーネル・モード・ソフトウェア・ドライバのシステムで使用される標準化インタフェースをもつ有用なクロック・メカニズムを提供することである。
【0020】
さらに、本発明の別の目的は、一方のクロック・メカニズム上の時間から他方のクロック・メカニズム情報の時間への変換を容易化することである。
【0021】
本発明のその他の目的および利点は以下の説明に記載されているが、その一部はその説明から理解されるものと、本発明を実施することにより知得し得るものとがある。本発明の目的と利点は、請求の範囲に個々に記載されているインストリューメント(instrument)の手段および組合せにより実現し、得られるものである。
【0022】
【課題を解決するための手段】
上記目的を達成するために、また本明細書に具現化され、広い意味で説明されている本発明によれば、標準化クロック・メカニズムを使用して複数のデータ・ストリームを同期化し、異なる処理レートを整合する方法とコンピュータ・プログラム・プロダクトが提供されている。クロック・メカニズムは種々の異なる方法で実現することが可能であるが、本明細書では、データ・ストリームの処理を効率化する相互接続可能なカーネル・モード・ドライバを中心にして説明されている。
【0023】
本発明のクロック・メカニズムは3つの異なる時間値をもち、他のコンポーネントが利用できるようにする。これらの時間値を照会することも、クロック・メカニズムが一定の時間値に来たことに基づいて、または周期的インターバルで通知を送ることも可能である。
【0024】
本発明のクロック・メカニズムで利用できる最初の時間値は位置時間値(positional time value)であり、これはデータ・ストリームに関連する時間インターバル情報に基づいており、処理されるデータ・ストリーム内の位置を反映している。第2の時間値はPCクロックやレンダリング・プロセッサ・クロックなどの実際のハードウェア・オシレータまたはクロックに基づく物理時間値である。最後に、第3の時間値は相関時間値(correlated time value) であり、これは位置時間値などの指定時間値(designated time value) をPCクロックなどの共通に利用可能なハードウェア・クロックに基づく参照時間値と共に提供する。
【0025】
クロック・メカニズムをマスタ・クロックとしたときは、位置時間値は他のデータ・ストリームを処理する他の処理コンポーネントが同期をとるために使用することができる。位置時間値はデータ・ストリームの処理に基づいているので、基礎となるデータ・ストリームの処理が停止すると、クロックも停止する。さらに、タイミング・イベント通知も絶対時間を基準にして凍結されるが、位置時間値に対して完全にタイミングは合い続ける。このことは、「休止された」時間をトラッキング(追跡)したり、操作したり、あるいは気にしたりしないで済むという大きな利点がある。「スレーブ」・クロック・メカニズムとコンポーネントは位置時間値から得られる時間を基準にして処理を行う。
【0026】
データ・ストリーム・レンダラまたは他のプロセッサに関連する基礎となるハードウェア・クロックの物理時間値は、処理されるデータ・ストリームのレートをレンダリング・プロセッサの処理レートと一致させるために使用できる。データ・ストリームは関連づけられている時間インターバル情報を有しているので、発生側プロセッサの処理レートは固有である。処理レートを確かめて、物理時間値に入っているレンダリング・プロセッサの実際の処理レートと比較することができる。これにより、処理レートの「ドリフト」を迅速かつ正確に判断できるので、レンダリングされたデータに目立った影響を与えることなく処理の調整を行うことができる。
【0027】
最後に、相関時間値は他のクロック・メカニズムと処理コンポーネントが時間情報をある基準(basis)から別の基準へ変換するときの手段となるものである。共通ハードウェア・クロックは共通の参照(reference)として使用できるように、他のクロック・メカニズムまたはコンポーネントが利用できるようになっていなければならない。相関時間はアトミック・オペレーションとして返されるまたはアクセスされるので、発生する誤差は最小限であり、非累積的になっている。
【0028】
相関時間はここで説明している実施の形態では2種類がサポートされ、どちらの場合も、PCクロックを参照として使用している。一方はメディア時間を指定時間(designated time) として使用し、他方は物理時間を指定時間として使用している。本明細書では、相関時間が単独で使用されるときは、2種類の相関時間のどちらか、またはこの分野の当業者ならば自明である他の種類の相関時間を意味している。これらを区別する必要があるときは、相関メディア時間と相関物理時間の用語が使用され、それぞれの指定時間が共通参照と比較されるようになっている。
【0029】
本発明の一実施の形態は、標準化された方法でカーネル・モード・ドライバを接続する一部として行われる。ある所定のドライバまたはフィルタは接続ポイントの「ピン・ファクトリ(pin factory) 」をサポートし、定義している。ピン・ファクトリは他のドライバ上の他のピン・インスタンと相互接続される接続ピン・インスタンスをインスタンス生成するために使用され、ユーザ・モードエージェントに頼らなくても、処理メッセージをドライバがカーネル・モードで連続的に処理できるようにする。
【0030】
コンプライアント・ドライバ(compliant driver)を接続することを希望するサード・パーティ・エージェントはドライバに能力(cabability)があるかどうかを照会する。そのような能力としては、どの種類の接続ピン・インスタンスがインスタンス生成できるか、といったことがあり、この中には、処理されるデータのタイプ、データ・フォーマット、転送レート、転送媒体またはモード、接続ピン・インスタンスの入力または出力の性質などの関係特性が含まれる。照会されるものとして、ほかにも、必要なデータ・バッファ容量と、各接続ピン・ファクトリで利用できるバッファを割り当てる能力がある。
【0031】
ユーザ・モードで実行されるのが代表的であるサード・パーティ・エージェントが1つまたは2つ以上のコンプライアント・ドライバの機能について照会したあと、そのエージェントは、複数のドライバを1つに「チェイニング」してデータがドライバ間で最適に処理されるようにする最良の接続特性を決定する。この決定ステップは、すべてのドライバ機能の照会を終えて、最適な接続基準が選択できるようになったあとで行われる。
【0032】
各接続ピン・インスタンスごとに、サード・パーティ・エージェントはバッファ・アロケータ(buffer allocator)を特定のピン・インスタンスで作成する必要があるかどうかも判断する。この場合も、これはすべての異なるフィルタとピン・ファクトリの照会を終えたあとで行われ、そのあとで相互接続が行われる。
【0033】
そのあと、サード・パーティ・エージェントは、各ドライバ上の接続ピン・ファクトリに基づいて接続ピン・インスタンスを作成することによってドライバを相互接続する。エージェントは接続ピン・インスタンス作成の一部としてデータ・フォーマットと接続フォーマットを指定する。NTオペレーティング・システムの下で実装された実施の形態では、実際の接続ピン・インスタンスは「ファイル」へのハンドルを戻す作成入出力オペレーションによって作成される。作成入出力要求はドライバ・インスタンス・ハンドルと、接続ピン・インスタンスのデータ・フォーマットと接続フォーマットを示しているデータ構造への参照とを収めている。
【0034】
さらに、以前に作成された接続ピン・インスタンス(例えば、入力ピンまたはIRP「シンク」・ピン)への参照は、他の接続ピン・インスタンス(例えば、出力ピンまたはIRP「ソース」・ピン)を作成する要求の中で指定され、接続ピン・インスタンス間の接続が行われるようにする。ソース・ピン・インスタンスがバッファ・アロケータをもつ入力ピン・インスタンスへの参照を使用して作成されると、バッファ・アロケータのソース・ピン・インスタンスと一緒に通知が行われ、データが既存バッファから新しいバッファに送り込まれるようにする。参照が示されていなければ、ソース・ピン・インスタンスは処理を終えた後、データを既存バッファに残しておく。
【0035】
コンプライアント・ドライバを作成するためには、ドライバ開発者は、ユーザ・モードのエージェントが機能について照会し、ドライバ間の相互接続を行えるようにする、ある種の標準機能をサポートしている。Windows NTオペレーティング・システム上で構築されている、ある実施の形態では、これは、必要とする機能を実装している「集合(set) 」(つまり、プロパティ、メソッド、およびイベントの集合)の使用によって達成されている。
【0036】
集合は、集合全体を特定するGUID(globally unique identifier)(グローバルにユニークな識別子)と、集合内の各機能エレメントのRUID(relatively unique identifier)(相対的にユニークな識別子、例えば、集合自体内で相対的な識別子)をもつものとして論理的に定義されている。各集合は1つまたは2つのIOCTLs(IO Controls)(入出力コントロール)だけと関連づけられ、IOCTLは、集合の仕様と組み合わされて、ドライバとのすべてのインタラクションを制御する。
【0037】
本実施の形態では、3タイプの集合が使用されている。つまり、プロパティ集合、メソッド集合、およびイベント集合である。プロパティ集合はサウンド・ボリューム、転送レートなどの、値または設定値をドライバ内で管理するために使用され、コールがプロパティ値を得ようとしているのか、および/またはプロパティ値を設定しようしているのかを示すフラグと一緒に単一のIOCTLを使用する。メソッド集合は、メモリの割当て、バッファのフラッシング(flushing)などのように、ドライバが実行できるオペレーションを管理するために使用され、単一のIOCTLを使用して特定のメソッドをコールする。イベント集合は、デバイス変更通知、データ・スターベーション(data starvation) 通知などのように、ドライバの処理に関連するイベントを管理するために使用され、2つのIOCTLを使用する。1つは特定のイベントをイネーブル(enable)にするためのもので、もう1つは特定のイベントをディスエイブル(disable) にするためのものである。
【0038】
集合を使用するには、入出力制御オペレーションは特定のIOCTLと、集合のGUID、RUIDをもつデータ構造への参照およびその他の必要なデータを使用して開始される。例えば、サウンド・カード・ドライバでボリューム・プロパティを設定する場合は、集合プロパティのIOCTLを使用し、ボリューム設定値をもつプロパティ集合の適切なGUIDを指定し、その集合内の特定RUIDがボリューム・プロパティを示していることを指示し、新しいボリューム設定値を含んでいる入出力制御オペレーションが行われることになる。
【0039】
サポートされる集合について照会するには、ヌルGUIDが特定集合タイプの特定IOCTL(例えば、プロパティ集合IOCTL、メソッド集合IOCTL、またはイベント・イネーブルIOCTL)で照会フラグと一緒に使用され、サポートされる集合GUIDのリストが返される。ある集合内のサポートされたプロパティ、メソッド、またはイベントについて照会するには、集合GUID、集合タイプIOCTL、および照会フラグが、サポートされたRUIDのリストを返すオペレーションと一緒に使用される。
【0040】
汎用集合メカニズムを使用すると、コンプライアント・ドライバをサポートするために最小限の機能を実装することができるが、それでも拡張性は無制限である。集合は、特定の集合が実装されている限り、相互動作可能で、相互接続可能なドライバのシステムを作成するために、多数の異なるドライバ開発者によって独立してコーディングすることができる仕様書に定義することができる。さらに、この仕様書には、サポートする必要のある必須のプロパティ、メソッドおよびイベントを定義できるだけでなく、ドライバの機能と拡張機能に依存して実装できるオプションのプロパティ、メソッド、およびイベントも定義することができる。要求される基本的最小限の共通性のほかに、ドライバ開発者は独自の集合を定義し、その集合にGUIDを割当てることによって追加の機能を組み込むことも可能である。サポートされる機能(つまり、サポートされるGUIDとRUIDの照会を行うこと)を列挙できるようにすると、サード・パーティ制御エージェントなどの、呼出し側(caller)は期待を調整することも、基礎となるフィルタの機能に依存して適切な補償を行うこともできる。
【0041】
位置時間値、物理時間値、相関位置時間値、および相関物理時間値をもつクロック・メカニズムの実施の形態は、コンプライアント接続ピン・インスタンス上に作成することができる。「ファイル」は、接続ピン・インスタンスを親として表しているファイル・オブジェクトのハンドルと、クロック・メカニズムのファイル・タイプを示すGUIDストリング値を指定して、入出力の特定のデバイス上でオープンされる。ハンドルはクロック・メカニズムを表すファイル・オブジェクトに返され、フィルタはそれぞれの時間値を提供するプロパティ集合を、このファイル・オブジェクトを通してサポートする。位置時間値はフィルタによって処理され、特定の接続ピン・インスタンスに渡されるデータ・ストリームに基づいている。物理時間は、ハードウェア・クロックまたは存在すればフィルタに関連するオシレータ、つまり、PCクロックに基づいている。相関時間値はどちらも、PCクロックが普及しているので、PCクロックを参照として使用しているのが代表的である。
【0042】
クロック・メカニズムを「マスタ」として使用すると、他のクロック・メカニズムまたはコンポーネントを「スレーブ」にし、あるいはその時間トラッキングと同期させることができる。さらに、PCクロックに基づくデフォルトの実装が用意されている。
【0043】
本発明の上記およびその他の目的と特徴は以下の説明および請求の範囲に詳しく記載されている通りであるが、以下に説明する本発明を実施することによって知得することも可能である。
【0044】
本発明の上記およびその他の利点と目的がどのようにして得られるかという方法を示すために、以下では、添付図面に図示されている具体的実施の形態を参照して、以上で簡単に説明してきた本発明を詳しく説明することにする。添付図面は本発明の代表的な実施の形態を示したにずぎず、従って、本発明の範囲を限定するものではないとの了解の下で、以下、添付図面を使用しながら本発明をもっと具体的にかつ詳しく記述し説明することにする。
【0045】
【発明の実施の形態】
本明細書で用いられている「ユーザ・モード(user mode) 」という用語は、ユーザが書いたプログラムの大部分が実行されるときの、オペレーティング・システムにおける動作レベルのことである。ユーザ・モードの動作レベルはセキュリティ・レベルが最も高く、あるアプリケーション・プログラムまたはプロセスが別のアプリケーション・プログラムまたはプロセスに干渉するのを防止するために大量のオーバヘッドが消費されるのが代表的である。さらに、システム・リソースへのアクセスは特定のインタフェースを通して厳格に制御され、実行優先度は最低ではないとしても、最低優先度の1つであるのが一般である。
【0046】
本明細書で用いられている「カーネル・モード(kernel mode) 」という用語はユーザ・モードの動作レベルよりも制約が非常に少ない、オペレーティング・システムにおける動作レベルのことである。カーネル・モードのプログラムまたはプロセスの例としては、ハードウェア・コンポーネントを制御するソフトウェア・ドライバ(software driver) を含む。代表例として、カーネル・モードのプログラムはパフォーマンスに影響されやすく、従って、動作上のオーバヘッドはユーザ・モードのプログラムよりも少なくなっている。さらに、ハードウェアや多くのシステム・リソースへのアクセスは無制約であるか、あるいはユーザ・モードのプログラムの場合よりも制約がはるかに少なくなっている。多くの場合、カーネル・モードで実行されるプログラム・コードは、規則(convention)に対するプログラマの規律正しさと準拠とを信頼して、システムが良好に動作するようにする(例えば、別のプログラムのアドレス空間を破壊しないようにする)。カーネル・モードを表わす別の用語として、「トラステッド(trusted) 」コードがある。
【0047】
本明細書で用いられている「ドライバ(driver)」という用語はカーネル・モードで実行されるのが代表的である、ソフトウェア・ドライバ・プログラムのことである。ドライバという用語は、オペレーティング・システム上にロードされる実際の実行可能プログラムまたはある種の機能を分け与えるプログラム部分を意味する場合もある。ドライバは、多くの場合、ある形態のハードウェアと関連づけられているが、必ずしもそうである必要はない。
【0048】
本明細書で用いられている「フィルタ(filter)」という用語はソフトウェア・ドライバ内に置かれている機能部分のことであり、この中には、ドライバ自体も含まれ、そこでは、接続ポイントがフィルタを通してデータを送信するために公開されている。例えば、ソフトウェア・ドライバはいくつかの異なるフィルタをサポートする場合もあれば、1つの単一機能をもっている場合もある。さらに、内部的には1つに接続され、外部的には入出力用に接続ポイントを公開している異なるドライバからの複数のフィルタは単一フィルタとして集合的に参照される場合もある。また、もっと総称的な意味では、フィルタという用語は、伸張(decompression) などのように、それがカーネル・モードで実行されるソフトウェア・ドライバ・フィルタで起こるか、ユーザ・モードで実行される別のプログラム・コードで起こるかに関係なく、実行されるオペレーションを意味する場合もある。
【0049】
本明細書で用いられている「ドライバ・オブジェクト(driver object) 」という用語は、ソフトウェア・ドライバを管理し、これをシステム・リソースとして知らせるオペレーティング・システムによって定義されているオペレーティング・システムのエンティティのことである。
【0050】
本明細書で用いられている「デバイス・オブジェクト(device object) 」という用語はシステムによって定義されたシステム・レベルのエンティティのことであり、これは利用が可能であるドライバの機能の一部をシステム・リソースとして知らせ、ドライバの機能と他のシステム・コンポーネントが利用できるかどうかを定義している。ドライバ・オブジェクトとデバイス・オブジェクトはどちらも、代表的にドライバ・ソフトウェアのロード時と初期化時に作成される。
【0051】
本明細書で用いられている「ファイル・オブジェクト(file object) 」という用語は、デバイス・オブジェクトによって指定されたリソースの呼出しを管理するオペレーティング・システムのエンティティのことであり、これはオペレーティング・システムによって定義されている。ファイル・オブジェクトはドライバ・オブジェクトの使用状況に関するコンテキストを提供する。さらに、ファイル・オブジェクトは、以前のファイル・オブジェクトが新しいファイル・オブジェクトの作成時に「親」と指定されていれば、別のファイル・オブジェクトと階層的に関係づけることが可能である。ファイル・オブジェクトは、代表的にデータ・ストリーム上に操作するすべての入出力オペレーションの管理に使用される。
【0052】
本明細書で用いられている「データ(data)」という用語は、相互接続されたカーネル・モードのフィルタを通して処理される一切の情報のことである。そのようなデータは、ビデオ、オーディオ、テキスト、MIDIなどを表すメディア・データを含むが、他のアプリケーションの場合には制御情報やパラメータも含んでいる場合がある。例えば、カーネル・モード・フィルタ・グラフはプロセス制御オペレーションで使用されることがあるが、そこでは、異なるフィルタ間で受け渡しされる制御情報はマシン類をアクチュエートする制御信号を創り出すために使用されている。メディア処理システムの例が示されているが、他のアプリケーションも、本明細書に説明されている相互接続カーネル・モード・フィルタのシステムから、同じような方法で利点を得ることが可能である。
【0053】
本明細書では、本発明の説明は、Microsoft(登録商標)社から提供されているWindows NT(商標)オペレーティング・システムのコンテキスト内で記載されている。さらに、本明細書に説明されている好適実施の形態を理解するためには、Windows NTの入出力アーキテクチャの知識が前提になっている。入出力システムおよび NT オペレーティング・システム全般について解説した好適書としては、Helen Custer著「Windows NTの内部(Inside Windows NT) 」(Microsoft Press発行)があるが、本書は引用により本明細書の一部を構成するものである。
【0054】
ドライバおよびファイル・オブジェクト、デバイス・オブジェクト、ドライバ・オブジェクトなどのシステム・エンティティの以下の説明では、Windows NTオペレーティング・システム上でこれらがどのような働き方をするかが解説されているが、この分野の精通者ならば理解されるように、本発明は、類似のコンポーネントを持つ他のオペレーティング・システム上で実装することが可能であり、これらのオペレーティング・システムが同じ用語を使用しているかどうかとは無関係である。例えば、別のオペレーティング・システムがファイル・オブジェクトとして動作するエンティティを持っていれば、そのエンティティはその実際の名称に関係なく、ファイル・オブジェクトと解釈することができる。
【0055】
まず、図1を参照して説明すると、図示のシステム例は、サウンド・データのストリームをディスク・ドライブから読み取り、そのサウンド・データをレンダリング(rendering) して、従来のモデルに従ってスピーカから聞こえるようにするものである。あるデータ量はハード・ドライブ20にストアされるが、これはディジタル化されたサウンド・サンプルの形態でサウンドを表している。ほかにも、サウンド・データ・ストリームのソースとしては、電話回線を利用して送られてくるディジタル化情報、ネットワークや他の通信パケットからのディジタル化情報、この分野で公知の他のソースが考えられる。データ・ストリームはディジタル化サンプルから構成され、これらのサンプルはデータ・フォーマットと規則によって、または各サンプルに付加される明示的タイムスタンプ情報によってタイム・インターバル情報が関連づけられている。カーネル・モードのディスク・ドライバ22はディスク・ドライブ・ハードウェア20と相互作用し、ユーザ・モードのリーダ(reader)プログラム・コンポーネント24の制御下に置かれている。制御エージェント(controlling agent) 26はサウンド・データのレンダリングを行うために異なるコンポーネントを管理するが、動的グラフ作成機能(dynamic graph building capability) を備えている場合は、異なるソフトウェア・コンポーネントが動的に割当てられて、エンド・ユーザの指定に従ってカスタム・フィルタリングまたは他の処理経路を提供できるようにする。
【0056】
リーダプログラム・コンポーネント24はオペレーティング・システムの標準入出力制御インタフェースを使用してディスク・ドライバ22と相互作用し、圧縮サウンド・データをディスク・ドライブ20から読み取って、ユーザ・モード・プロセスのアドレス空間(address space) の一部としてユーザ・モードで割当てたバッファに入れる働きをする。次に、デコンプレッサ(decompressor)・コンポーネント28は圧縮データを処理に適した伸張(decompressed)フォーマットに伸張する。図示のように、このステップ全体は、付随の低優先度の、プロセス動作(processbehavior)安全メカニズムを使用してユーザ・モードで実行される。
【0057】
効果コンポーネント30はデータに操作を加えて、ある種の特殊効果が得られるようにし、カーネル・モードで動作する附属の効果フィルタ32をもっている。さらに、効果プロセッサ34が存在する場合もあれば、効果フィルタ全体が実際のハードウェア・プロセッサをエミュレートするソフトウェアで動作する場合もある。効果フィルタ32アクセスするためには、効果コンポーネント30はシステム入出力制御メカニズムを使用して、データと制御を効果フィルタ32に転送する。この場合も、カーネル・モード/ユーザ・モード境界を交差して、この遷移が行われる。
【0058】
効果フィルタ32は効果プロセッサ34を制御し、必要または望ましいとされる特殊効果がそのデータ上に作られるようにする。これは、効果コンポーネント30から全データを効果フィルタ32にコピーし、実際のシステム構成によっては、再度効果プロセッサ34にもコピーすることにより行われる。多くのソフトウェア効果コンポーネントはハードウェア・プロセッサが関連づけられているが、他のコンポーネントは、ホスト・プロセッサ上で実行されるシステム・ソフトウェア内で完全に機能している。
【0059】
効果コンポーネント30の処理の完了時にコントロールとデータがユーザ・モードに戻されると、これは、次に、サウンド・レンダリング・コンポーネント36に転送される。サウンド・レンダリング・コンポーネント36はコントロールとデータをサウンド・レンダリング・ドライバ38に転送し、これを受けてサウンド・レンダリング・ドライバは、処理され、フィルタリングされたデータをスピーカ42からのサウンドとしてレンダリングするようにサウンド・カード40を制御する。以上から容易に理解されるように、ユーザ・モードとカーネル・モード間の転送は多種類存在するために、サウンド・データのレンダリングを非効率化している。連続するサウンドまたはビデオ・ストリームのように、マルチメディア・データはタイミングに影響されやすい性質のため、これらの非効率性とコントロールの遷移を少なくすると共に、異なるバッファ間でなん度もデータをコピーすることを少なくすると、好都合である。
【0060】
本明細書で用いられている本発明の一実施の形態は、Windows NTオペレーティング・システム・アーキテクチャ上で提供されるサービスから構成されている。
このサービスはシステムのユーザがアクセスする、いくつかの異なるソフトウェア・コンポーネントに分割されている。第1は、ユーザ・モードのAPIであり、これは、接続ピン・インスタンスと、クロック・メカニズムやバッファ割当てメカニズムなどの特定の機能を表している他のファイル・オブジェクトとを作成するためのルーチンを含んでいる。ほかにも、もっと重要なものとして、ドライバ開発者が標準化アーキテクチャに従うドライバを作成するのを支援するルーチンとデータ構造が完備されている。システムに用意されているこれらの機能を利用すると、異なるドライバ開発者は特定のアーキテクチャに準拠して相互に相互作用するコンプライアント・ドライバを作成することができる。ユーザ・モード・エージェントはNTエグゼクティブおよび入出力マネージャのシステム・サービスと通信する、ユーザ・モードで実行中の環境サブシステムを通してコンプライアント・ドライバと通信する。これは、他のすべての入出力に対する同じ標準入出力メカニズムであり、好適実施の形態の本実装では、既存のシステム・サービスを可能な限り利用するようになっている。
【0061】
本発明を利用する図1のシステムのアーキテクチャは図2に示すようになっている。制御エージェント44は知らされているドライバに照会し、データ・フォーマットと接続フォーマットに従って相互接続を行い、レンダリングを完全にカーネル・モードで行うようにする。さらに、制御エージェント44は重要なイベントの通知を受けるので、必要に応じて制御を行うことができる。このようなイベントの例としては、処理の終了、データ・スターベーション状態などを含む。
【0062】
この構成では、サウンド・データは前述したように、ディスク・ドライバ48によってディスク・ドライブ46から読み取られる。リーダ・ドライバ50はディスク・ドライバ48を制御し、従来の使い方と同じようにNT層(NT layered)入出力アーキテクチャに従ってディスク・ドライバ48と「垂直方向」に関連づけられている。「垂直方向」と「水平方向」の用語は、NT層入出力アーキテクチャの一部として現在行われているドライバ接続(垂直方向)と、サード・パーティ制御エージェントによって動的に行われる相互接続カーネル・モード・ドライバに従う接続(水平方向)とを区別するために用いられている。
【0063】
リーダ・ドライバ50は以下で説明する接続メソッドに従ってデコンプレッサ52とも「水平方向」に相互接続され、制御エージェント44によって管理されている。デコンプレッサ52は伸張をカーネル・モードで行ってから、データとコントロールを効果フィルタ54に引き渡す。効果フィルタ54は必要に応じて効果プロセッサ56を利用して特殊効果を適用してからデータとコントロールをサウンド・レンダリング・ドライバ58に引き渡し、このドライバ58はサウンド・カード60を制御し、データをスピーカ62からのサウンドとしてレンダリングする。図2から理解されるように、処理をカーネル・モードのままにしておくと、ユーザ・モードとカーネル・モードとの間の複数の遷移がなくなり、処理をユーザ・モードで行うと通常起こるオーバヘッド量が減少するので、効率面の利点が得られる。
【0064】
次に、図3を参照して説明する。図3は、本発明の一実施の形態に従う相互接続ソフトウェア・ドライバに関係するシステム・オブジェクトの階層的性質を示すロジック図である。ドライバ・オブジェクト64は、メモリにロードされるときの、実行可能ソフトウェア・コード・イメージを表すために作成される。ソフトウェア・コード・イメージはドライバの機能全体を含んでおり、ドライバ・オブジェクト64はシステムに置かれている場所、サポートされるドライバの種類などのイメージに関する情報を含んでいる。
【0065】
制御エージェントによって独立にアクセスできる機能の各タイプ別に、デバイス・オブジェクト66a 〜66N が入出力ディレクトリ構造に作成され、これらのオブジェクトは利用可能で、ユーザ・モードのクライアントによってアクセスされる異なる機能を表している。これらは、フィルタまたは独立に利用できる他の機能部分を表しているのが代表的である。ドライバ・オブジェクト64とデバイス・オブジェクト66a 〜66N は囲みボックス68で示すように、ドライバ・コードのインストール時に作成される。
【0066】
歴史的には、デバイス・オブジェクトは物理ハードウェアの各エレメントごとに存在する。しかるに、最新の入出力システムの柔軟性は、デバイス・オブジェクトが完全にソフトウェアで実装されたフィルタを表すことを可能にさせている。そのため、デバイス・オブジェクトは専らソフトウェアで実装されたフィルタの各インスタンスごとに作成することが容易になっている。従って、ソフトウェア・フィルタは、デバイス・オブジェクトで表された各インスタンスがデバイス・オブジェクトと1対1の対応関係をもつように実装することも、単一のデバイス・オブジェクトがより伝統的な手法に従い、各々がフィルタのクライアント・インスタンスを表している複数のファイル・オブジェクトを管理するように実装することも可能になっている。
【0067】
デバイス・オブジェクト、図示の例では、デバイス・オブジェクト66a 上には、ファイル・オブジェクトが作成され、これはデバイス・オブジェクトで表された機能の独立インスタンスを表している。デバイス・オブジェクトはフィルタを表し、そのフィルタの複数のインスタンスを管理するのに対し、ファイル・オブジェクトは特定のエンティティによって使用される、そのフィルタの実際のインスタンスを表している。従って、ファイル・オブジェクト70はデバイス・オブジェクト66a によって定義されたフィルタのインスタンスである。
【0068】
フィルタを使用するには、制御エージェントまたは他のユーザ・モード・クライアントは入出力ディレクトリ構造内で利用可能なデバイス上でファイルをオープンする。適切なコンテキスト情報を収めているファイル・オブジェクトが作成され、そのファイルへのハンドルがユーザ・モード・クライアントに返される。
ファイル・オブジェクトは、作成時に「親」ファイル・オブジェクトを指定することによって階層的に関係づけることが可能であるが、ファイル・オブジェクトはすべてが同一デバイス・オブジェクトの子であるような、兄弟(sibling) 関係も持っている。
【0069】
ファイル・オブジェクト内のコンテキスト情報は、ユーザ・モード・クライアントとの入出力インタフェースを管理する情報、ファイル・オブジェクトが表わしているエンティティの「状態(state) 」などからなっている。コンテキスト情報には、システムが必要とする情報があり、さらに、特殊な意味をもたせることができる、ユーザ定義可能エリアも含まれている。ユーザ定義可能エリアの使い方の例は、下述するバリデーション(validation)とIRPルーチング(routing) ・メソッドのインプリメーテンションの説明個所に示されている。
【0070】
接続ピン・インスタンスを提供するためには、フィルタ・インスタンスを表すファイル・オブジェクト70が親として使用され、特定フィルタの接続ピン・インスタンスを表す子ファイル・オブジェクトが作成される。ファイル・オブジェクト70は接続ピン・ファクトリの定義と可用性に関して照会されるのに対し、実際のファイル・オブジェクトは特定のファイル・オブジェクトを適切な情報コンテキストとして使用して、ピン・ファクトリの各インスタンスごとに作成され、接続ピン・インスタンスが有効に、かつ正しく作成されるようにする。例えば、ファイル・オブジェクト72と74はファイル・オブジェクト70で表されたフィルタの接続ピン・インスタンスを表し、ファイル・オブジェクト70と階層的に関係づけられている。それぞれファイル・オブジェクト72と74で表された接続ピン・インスタンスはフィルタ・インスタンス(ファイル・オブジェクト70で表されている)に入ったあとで、そこから出るデータ・パスにすることができ、これは一連のチェイン・フィルタまたは他のドライバ機能を形成するときに他の接続ピン・インスタンスと接続するために使用できる。
【0071】
ピン・インスタンスがフィルタ・インスタンスを表す別のファイル・オブジェクトと階層関係をもつファイル・オブジェクトで表されて、ピン・インスタンスのコンテキスト情報を提供するようにするのとまったく同じように、他のファイル・オブジェクトをピン・インスタンスと階層的に関係づけて他の機能を表すようにすると、正しいコンテキスト情報が得られるようになる。コンテキスト情報は、ピン・データ・フォーマット、通信タイプなどのように、作成時に使用される個々のパラメータに従って、あるピン・インスタンスを他のピン・インスタンスと区別するために必要である。
【0072】
バッファ割当てメカニズム、タイミング・メカニズムなどのように、個別コンテキストかユーザ・モードのコントロールのどちらかをハンドルを通して要求する他の操作エンティティも、ファイル・オブジェクトで表すことができる。さらに、ファイル・オブジェクト(例えば、特定の接続ピン・インスタンスと関連づけられたバッファ割当てメカニズム)間の階層関係は、必要ならば、子ファイル・オブジェクトの作成時に親ファイル・オブジェクトを指定することにより確立することができる。これらの親子関係は、操作エンティティを表すファイル・オブジェクト間の関係と構造を決定するために存在する。さらに、特定タイプの「親」ファイル・オブジェクトはある種のタイプの「子」ファイル・オブジェクトだけを作ることができるので、以下で説明するように作成バリデーション・メカニズムが必要になる。この場合も、このようなファイル・オブジェクトは対応するハンドルがユーザ・モードで利用可能になっており、これらのハンドルはNtCreateFileなどのシステムAPIコールを通してクライアントに返される。
【0073】
ファイル・オブジェクトへのハンドルはカーネル・モード・ドライバと通信するために、制御エージェントなどのユーザ・モード・クライアントによって使用される。ファイル・オブジェクト、デバイス・オブジェクト、およびドライバ・オブジェクトの階層的チェインは、入出力サブシステムが階層関係をもつファイル・オブジェクトとデバイス・オブジェクトを通ってドライバ・オブジェクトまで戻り、実際のドライバ・コードに入るエントリ・ポイント(entry point) に到達することができるようにする。このようなエントリ・ポイントはソフトウェア・ドライバ・コードの中の機能を指す参照(例えば、ポインタ)になっている。
さらに、特定のファイル・オブジェクトと、ソフトウェア・ドライバ・コードへのエントリ・ポイントをもつドライバ・オブジェクトとの間のオブジェクト通路(pathway) 上にあるオブジェクトの各々は、入出力サブシステムがIRPを作成するときに重要なコンテキスト情報のほかに、下述するルーチングおよびバリデーション・メカニズムに従ってIRPを正しくルーチングするときに使用されるデータ構造への参照も提供する。
【0074】
ファイル・オブジェクトと他のシステム・オブジェクトに対するハンドルはプロセス専用であり、ユーザ・モード・プロセスが基礎となるオブジェクトと通信するときの手段となる。注目すべきことは、ファイル・オブジェクトなどの、基礎となる単一システム・オブジェクトを参照するために複数のハンドルが作成できることである。このことは、複数のアプリケーションがファイル・オブジェクトで表されたピン・インスタンスに情報を供給できることを意味する。
【0075】
異なるドライバを相互接続するとき重要となる情報エレメントの1つとして、デバイス・オブジェクト・スタックの深さ(depth) パラメータがある。これは特定のドライバ・オブジェクトのIRPスタック・ロケーションを示している。このようにすると、入出力マネージャを使用して、相互接続されたドライバ間で単一のIRPを使用し受け渡しできるので、IRPを別々に作成し、それを種々の相互接続ドライバ間で送信するよりもパフォーマンス向上を提供できることになる。別の方法として、各ドライバは適切な入出力マネージャのコールを通して、各連続通信ごとに新しいIRPを作成し、各々の新IRPを相互接続されたドライバのチェイン上の次のドライバへ送信させることも可能である。
【0076】
次に、図4〜図6を参照して説明する。図は、異なるタイプのファイル・オブジェクト作成のバリデーションと適切なハンドラへの入出力要求パケット(I/ORequest Packet:IRP)のルーチングを可能にするシステム・ドライバ・オブジェクト、デバイス・オブジェクト、およびファイル・オブジェクトのエクステンションを示している。図4は、1つまたは2つ以上のフィルタまたは他のドライバ機能を実装している実行可能コードを表すドライバ・オブジェクト76を示している。ドライバ・オブジェクト76内では、Windows NTアーキテクチャはソフトウェア・ドライバ開発者が用意した作成ハンドラへの参照を要求している。この実施の形態によれば、マルチプレクシング・ディスパッチ機能(multiplexing dispatch function)78は作成ハンドラとしてドライバ・オブジェクト76から参照され、作成されるファイル・オブジェクトのタイプに応じて特定の作成ハンドラへメッセージをルーチングするために使用される。マルチプレクシング・ディスパッチ機能78のオペレーションは図8に示すフローチャートを参照して以下で説明する。
【0077】
同じように、ドライバ・オブジェクトからの他のハンドラはマルチプレクシング・ディスパッチ機能を示し、どのように実装するかに応じて、これらは同じ機能にすることが可能である。言い換えれば、以下で詳しく説明するように、各タイプの入出力ハンドラ参照(例えば、読取り、書込み、デバイス制御など)はデバイス・オブジェクト内のエクステンション・データとファイル・オブジェクト内のコンテキスト情報を使用して、メッセージを適切なハンドラへルーチングするマルチプレクシング・ディスパッチ機能を指している。バリデーション・テーブルを参照するデバイス・オブジェクト内のエクステンション・データは、作成オペレーションで親ファイル・オブジェクトの指定がないとき使用される。指定があれば、親ファイル・オブジェクトのコンテキスト情報は正しいバリデーション・テーブルを示している。
【0078】
図5は、ドライバ開発者によって所望により利用でき、ドライバ専用情報を含んでいる特定のデバイス・エクステンション・エリア82をもつデバイス・オブジェクト80を示している。デバイス・オブジェクト80のデバイス・エクステンション・エリア82内の定義されたロケーションには、ファイル・タイプ・バリデーション・テーブル84と呼ばれ、ファイル・オブジェクト・タイプ86のストリング表現を含んでいるデータ構造への参照と、表現される各ファイル・タイプ別の関連する作成ハンドラ88への参照が置かれている。作成マルチプレクシング・ディスパッチ機能はファイル・タイプ・バリデーション・テーブル84を使用して、作成されるファイル・オブジェクト・タイプを検査し、そのあと、コントロールを適切な作成ハンドラへ引き渡す。これについては、以下の図8の説明個所で詳しく説明する。検査されるストリングはIRP作成要求に見出され、ユーザ・モードのNtCreateFile関数コールと共に使用されるファイル名ストリングから創られる。NtCreateFile関数コールは、ピン・インスタンスまたは他のメカニズムを作成するためにユーザ・モード関数セルの中で行われる。
【0079】
図6は、ソフトウェア・ドライバ開発者が使用するために解放されているファイル・コンテキスト・エリア92をもつファイル・オブジェクト90を示している。参照はファイル・コンテキスト・エリア92からIRPディスパッチ・テーブル94へ行われる。IRP要求96の異なるタイプは特定のハンドラ98の参照と関連づけられ、適切なマルチプレクシング・ディスパッチ機能はこの情報を使用して正しいハンドラにアクセスする。正しい作成ハンドラを決定する場合には、ファイル・オブジェクト・タイプ・バリデーション・テーブル100と呼ばれるデータ構造が参照され、そこには、ファイル・オブジェクト・タイプ102のストリング表現と、表現される各ファイル・タイプ別の関連する作成ハンドラへの参照104が入っている。子ファイル・オブジェクト(つまり、デバイス・オブジェクトではなく別のファイル・オブジェクトを親としてもつファイル・オブジェクト)の場合は、タイプはファイル・オブジェクト・タイプ102内のストリングと比較されるストリングで表されている。一致するものが見つかると、関連する作成ハンドラは、参照104のうち、一致したファイル・オブジェクト・タイプ・ストリングと関連づけられている参照を使用してアクセスされる。一致するものが見つからなければ、要求は無効であるので、エラー表示が出されることになる。
【0080】
次に、図7を参照して説明すると、図は作成バリデーションとメカニズムをセットアップするためのインストレーション・プロシージャを示している。ステップ106で、インストール・プログラムは適切なマルチプレクシング・ディスパッチ機能への参照をドライバ・オブジェクトの中に作成する。図4に示すように、作成ハンドラは汎用マルチプレクシング・ディスパッチ機能78を指している。同様に、ドライバ・オブジェクト76の中の他のすべてのハンドラ参照は、特定ハンドラと密接な関係をもつ他の汎用(generic) マルチプレクシング・ディスパッチ機能を必要に応じて指している。別の方法として、各ハンドラ参照は同一マルチプレクシング・ディスパッチ機能を指すことも可能であり、その場合は、このディスパッチ機能はIRP要求を処理したあと、それを適切なハンドラへルーチングすることができる。この方法によるマルチプレクシング機能は異なる種類の要求(例えば、作成、書込みなど)を受け付ける必要があるため、複雑化することが避けられない。
【0081】
次に、ステップ108で、ソフトウェア・ドライバ実行可能コードのインストールの一部として作成された各デバイス・オブジェクトは、図5に示すようにファイル・タイプ・バリデーション・テーブル84を参照するように調整される。
最後に、ステップ110で、IRP要求の処理は、適切なデバイス・オブジェクト80から参照されたファイル・タイプ・バリデーション・テーブル84を使用してマルチプレクシング・ディスパッチ機能から開始される。
【0082】
ファイル・オブジェクトが作成されると、適切なIRPディスパッチ・テーブル94が作成され、必要ならば、インデックスされたファイル・オブジェクト・タイプ・バリデーション・テーブル100と一緒に参照される。ファイル・オブジェクト・タイプ・バリデーション・テーブル100の作成は、ファイル・オブジェクト・タイプに従って用意された作成ハンドラ内で行われる。データ構造が作成され、これはIRPディスパッチ・テーブル94とファイル・オブジェクト・タイプ・バリデーション・テーブル100を表しており、それを指す参照は作成される特定ファイル・オブジェクト90のファイル・コンテキスト・エリア92と一緒に特定ロケーションにストアされる。
【0083】
次に、図8を参照して説明すると、図は作成マルチプレクシング・ディスパッチ機能のオペレーションとそのバリデーション・メカニズムを示すフローチャートであり、そこには、システム・ドライバ・オブジェクト、デバイス・オブジェクト、およびファイル・オブジェクトから参照されるデータ構造との相互作用も示されている。ステップ112で、ユーザ・モード・プロセスはファイル・オブジェクトを作成する入出力要求を送信する。この入出力作成要求はNtCreateFileのシステムAPIを呼び出すことによって行われる。ステップ114で、入出力マネージャはドライバ・オブジェクト76内の参照に基づいてIRPをマルチプレクシング・ディスパッチ機能78に送信する(図4参照)。
【0084】
マルチプレクシング・ディスパッチ機能78が作成要求のIRPを受け取ると、ステップ116でテストが行われ、親ファイル・オブジェクトがあるかどうかが判断される。この判断を行うために必要な情報はIRP自体の中にあるが、これはユーザ・モード・プロセスによって元来用意されたものである。ユーザ・モード・プロセスは「親」ファイル・オブジェクトを参照するハンドルを作成要求の一部として用意し、NTシステムは「親」ファイル・オブジェクトへの正しい参照をもつIRPを作成する。
【0085】
親ファイル・オブジェクトがなければ、右へのブランチがとられ、マルチプレクシング・ディスパッチ機能78は適切なデバイス・オブジェクト80からのデバイス・エクステンション・エリア82を使用して、ファイル・タイプ・バリデーション・テーブル84をステップ118で参照する(図5参照)。ファイル・タイプ・バリデーション・テーブル84を使用して、マルチプレクシング・ディスパッチ機能78は要求の中のストリングをファイル・オブジェクト・タイプ86のストリングと比較することによって、ステップ120でファイル・オブジェクト・タイプを検査する。
【0086】
ステップ122でストリングが一致していると判断されると、適切な作成ハンドラがステップ124でアクセスされる。一致していなければ、作成要求はステップ128で拒否される。ステップ124でアクセスされた作成ハンドラはステップ126でファイル・オブジェクトを作成するか、あるいは作成させる。作成されたファイル・オブジェクトを使用して、適切な作成ハンドラは、以前に作成していたIRPディスパッチ・テーブル94を指すファイル・オブジェクト参照をファイル・コンテキスト・エリア92の中に作成する。
【0087】
再びステップ116に戻って、親ファイル・オブジェクトが存在するかどうかが判断される。親ファイル・オブジェクトが存在するとステップ116で判断され、それが作成要求に関連するIRPに入っていれば、マルチプレクシング・ディスパッチ機能78は親ファイル・オブジェクト90からのファイル・コンテキスト・エリア92を使用して、ステップ130でIRPディスパッチ・テーブル94を参照する(図6)。作成要求の場合は、マルチプレクシング・ディスパッチ機能78はステップ132でファイル・オブジェクト・タイプ・バリデーション・テーブル100を参照する。ファイル・オブジェクト・タイプ・バリデーション・テーブル100を使用して、マルチプレクシング・ディスパッチ機能78は、上記と同じように、要求の中のストリングをファイル・オブジェクト・タイプ102のストリングと比較することによってステップ133でファイル・オブジェクト・タイプを検査する。
【0088】
ストリングが一致しているとステップ134で判断されると、適切な作成ハンドラがステップ138でアクセスされる。一致していなければ、作成要求はステップ136で拒否される。適切な作成ハンドラを使用して、ファイル・オブジェクトはステップ140で作成され、作成ハンドラは新しく作成されたファイル・オブジェクトの新しいIRPディスパッチ・テーブル94を作成し、新しく作成されたIRPディスパッチ・テーブル94を指す参照を新しく作成されたファイル・オブジェクト90のファイル・コンテキスト・エリア92の中にステップ142で作成する。注意すべきことは、親ファイル・オブジェクトおよび有効に作成された子ファイル・オブジェクトとの相互作用を説明するために、どちらの場合も、図6に示す同じファイル・オブジェクト構造が使用されていることである。どちらの場合も同じ構造が存在するが(新しいファイル・オブジェクトが作成されたあと)、これらはその使い方が異なり、含んでいる情報も異なっている。
【0089】
接続ピン・インスタンスが作成されるといつでも、接続ピンIDが引き渡され、これはピン・インスタンスの作成を「サポート」するフィルタ内のピン・ファクトリを示している。この分野の精通者ならば理解されるように、接続ピンIDは、ファイル・オブジェクトが検査されるのとまったく同じように、バリデーションテーブルでストリングとして検査することも可能であり、また、その実装方法もさまざまである。
【0090】
異なるドライバ間の接続を行うためには、あるドライバがそのような相互接続をサポートしていることを確かめるための共通メカニズムが必要である。この共通メカニズムは、接続ピン・ファクトリ機能を含むフィルタ機能を明らかにすることを可能にするものでなければならない。さらに、この種のメカニズムは、ドライバ開発者の柔軟性を向上するように拡張可能であることも必要である。
【0091】
コンプライアント・ドライバを定義し、機能を明らかにすることを可能にするために本実施の形態で選択されている1つのメカニズムは関連アイテムの「集合」と名づけられている。これは既存の入出力通信メカニズムと一緒に使用すると便利なメカニズムである。集合は集合全体を特定するGUID(グローバルにユニークな識別子)と集合内の各機能エレメントのRUID(相対的にユニークな識別子、例えば、集合自体内の相対的な識別子)を持つものとして論理的に定義されている。集合識別子および選択されたRUIDアイテムと一緒にオペレーションするために必要な他のデータ構造は、フィルタ・ハンドルをパラメータとして使用して入出力制御コールの一部として引き渡される。機能の完全なシステムを実装するためには、少数のIOCTLを割当てるだけで十分である。実装されるとき、3つの異なる種類の集合がその機能に応じて確立されるので、必要になるIOCTLは総計4個である。他の実装では、集合の使い方が異なる場合がある。特定のIOCTLは、選択されたエレメント(RUIDを使用する)をなんらかの方法で解釈または使用するように入出力制御のハンドラに通知する。さらに、制御フラグをGUIDおよびRUIDと一緒に渡して、制御情報をもっと詳しく指定することができる。
【0092】
最初の集合タイプはプロパティ集合であり、これはドライバ内または関連ハードウェア上に置かれている値または設定値と一緒に使用される。そのような設定値の例としては、転送レート、ボリューム・レベル(音量)などがある。1つのIOCTLがプロパティ集合と関連づけられ、制御フラグは'get' プロパティ・コマンドと'set' プロパティ・コマンドとを区別している。このようにすると、同じデータ構造特定のプロパティを設定または取得するために使用でき、ドライバは必要なアクションを使用されたIOCTLに基づいて決定することができる。正しいプロパティは、ユニークなGUIDとRUIDの組合せからなる集合識別子(set identifier)によって特定される。
【0093】
メソッド集合は使用されるもう1つの集合タイプであり、これはドライバによって実行できるアクションの集合である。メソッド集合を特定するために必要なIOCTLは1つだけであり、アクチュエートされる正しいメソッドは集合識別子のユニークなGUIDとRUIDの組合せによって特定される。メソッドはドライバを制御するために使用され、ドライバを使用するための初期化、バッファのクリアといった機能を含んでいる。
【0094】
イベント集合は、デバイス変更通知、データ・スターベーション通知などのドライバ処理や、ユーザ・モード・アプリケーションで使用すると便利である集合によって定義された他の通知に関連するイベントを管理するために使用される。
2つのIOCTLが使用され、1つは特定のイベントをイネーブルにするためのものであり、もう1つは特定のイベントをディスエーブルにするためのものである。RUIDで識別された、与えられたイベントに必要なデータ構造は、イベントをイネーブルにするか、ディスエーブルにするかに関係なく共用することができる。
【0095】
集合を使用するには、入出力制御オペレーションは特定のIOCTLおよび集合GID、 RUIDをもつデータ構造と他の必要なデータ(例えば、制御フラグ、データ構造など)を指す参照を使用して開始される。例えば、サウンド・カード・ドライバでボリューム・プロパティを設定することは、入出力制御オペレーションをプロパティ集合IOCTL、集合プロパティ・オペレーションを示す制御フラグ、ボリューム設定値をもつプロパティ集合の適切なGUID、ボリューム・プロパティを示しているその集合内の特定RUID、および新しいボリューム設定値を使用することを必然的に伴う
【0096】
サポートされる集合についてタイプ別に照会するには、ヌルGUIDとサポートされる集合の列挙を示す制御フラグとをもつ、特定の集合タイプのIOCTL(例えば、プロパティIOCTL、メソッドIOCTL、またはイベント・イネーブルIOCTL)が入出力コマンドの一部として出され、サポートされる集合GUIDのリストが返される。ある集合内のサポートされるプロパティ、メソッドまたはイベントについて照会するには、集合GUID、集合タイプIOCTL、ヌルRUID、およびサポートされるエレメントの列挙を示す制御フラグが入出力オペレーションと共に使用される。サポートされるRUIDのリストは入出力オペレーションの結果として返される。このリストから、サード・パーティ・エージェントは、実装されている集合のどのオプション・エレメント(もしある場合)がサポートされるかを判断することができる。
【0097】
GUIDでユニークに識別された集合の仕様書は、ドライバ開発者とサード・パーティ制御エージェントのどちらもが実装ガイドとして利用できるメカニズムをドキュメント化している。サード・パーティ開発者は、あるドライバの機能を照会に対する応答に基づいて知り、事前プログラムされた知識を抽象的集合定義に基づいて知ることになる。同様に、ドライバ開発者は、知った機能をどのようなサード・パーティ・エージェントに対して提供する集合または集合グループを実装するときのガイドとして抽象的集合定義を使用することができる。
【0098】
ここで説明している接続機能を提供するためには、コンプライアント・ドライバはある種の集合をサポートしていなければならない。以下の表は、プロパティ集合フォーマットでサポートされ、本発明を実装するときに使用できるいくつかの重要な情報を示している。最初の表は、フィルタによって実装される接続ピン・ファクトリに関するプロパティに関し、2番目の表は、特定の接続ピン・ファクトリをテンプレートとして使用して作成される実際の接続ピン・インスタンスに関するプロパティを示している。
【0099】
【表1】
Figure 0004575528
【0100】
【表2】
Figure 0004575528
【0101】
【表3】
Figure 0004575528
【0102】
【表4】
Figure 0004575528
【0103】
【表5】
Figure 0004575528
【0104】
【表6】
Figure 0004575528
【0105】
上記の表は単なる例示であり、これに限定されるものではない、この分野の精通者ならば理解されるように、異なるドライバ間の接続を作成するためには多数の異なるプロパティとスキーマを実装することが可能である。1つの重要な要素は標準化係数(standardization factor)であり、異なるドライバ製造者または開発グループは同一のプロパティ集合を実装する能力をもっているので、相互接続できるドライバを作成できるようにすることである。
【0106】
もう1つの有用なプロパティ集合は、あるフィルタ上の入力と出力の接続ピン・ファクトリの内部関係に関するトポロジ情報を与える。この情報はあるフィルタ上の入力ピン・ファクトリおよび対応する出力ピン・ファクトリの関係だけでなく、入力と出力のピン・ファクトリの間でどのようなタイプの処理が行われるかも記載している。行われる処理の例としては、異なるデータ変換、データ伸張、エコー打消し(cancellation)などがある。このような情報は複数のフィルタを使用して仮定上の接続パスをトレースしてから実際の接続ピン・インスタンスおよび接続を作成する自動化フィルタ・グラフ作成機能で使用すると、便利である。基本的には、トポロジ情報はフィルタの内部構造を説明し、これをプロパティ集合メカニズムを通してサード・パーティ・制御エージェントからの照会に公開する。
【0107】
従って、コンプライアント・ドライバは指定されたプロパティ集合を実装しているものにすぎない。そのため、サード・パーティ制御エージェントは、あるプロパティ集合がサポートされていることが分かったとき、コンプライアント・フィルタに対し照会と設定を行うことができる。全体目標は、異なるフィルタを1つに接続してフィルタ・グラフを作る方法に関する十分な情報を得ることである。
【0108】
汎用集合メカニズムを使用すると、最小限の機能を実装してコンプライアント・ドライバのシステムをサポートできるが、その場合でも、拡張性は無制限である。集合は、特定の集合が実装されている限り、相互操作可能で相互接続可能なドライバのシステムを作成するために多数の異なるドライバ開発者によって独立にコーディングできる仕様書の中で定義することができる。さらに、この仕様書には、サポートしなければならない必須のプロパティ、メソッド、およびイベントを定義できるだけでなく、ドライバ機能と拡張機能に応じて実装できるオプションのプロパティ、メソッド、およびイベントも定義できる。最小限に要求される基本的共通性のほかに、ドライバ開発者は独自の集合を定義し、これらにGUIDを割当てることにより追加の機能を組み入れることも可能である。
【0109】
次に、図9および図10を参照して説明する。図は2つのカーネル・モード・フィルタを接続するプロセスを図形化して示している。図9はロジック・ブロック説明図であり、そこでは各フィルタ・インスタンスと接続ピン・インスタンスはファイル・オブジェクトで表されている。図10はファイル・オブジェクトおよび適切な接続を作成するときのステップを示すフローチャートである。
【0110】
ステップ144からスタートして、フィルタA146のインスタンスおよびフィルタB148のインスタンスはユーザ・モードエージェントによって作成される。これらは特定のデバイスでファイルを作成する標準ファイル・システムAPIを使用して作成される。フィルタA146とフィルタB148がコンプライアント・フィルタまたはドライバとなっているのは、これらが適切なプロパティ、メソッド、およびイベント集合を実装して接続ピン・インスタンスの作成をサポートし、サポートされる集合とそのフィルタ用に定義された接続ピン・ファクトリに関してそれぞれのフィルタの機能に照会するようになっているからである。
【0111】
サード・パーティ制御エージェントは、ステップ150でフィルタA146とフィルタB148にそれぞれ照会し、利用可能な接続ピン・ファクトリおよびそれから作成できる接続ピン・インスタンスの属性を判断する。これらの属性には、前述したように、ィルタ146とフィルタB148のそれぞれのピン・ファクトリのタイプ別の接続フォーマットとデータ・フォーマットがある。照会は、以下で詳しく説明する集合ベース照会メカニズムを使用して行われる。
【0112】
上記情報の照会を終えると、サード・パーティ制御エージェントは、以前に照会したデータ・フォーマットと接続フォーマットの範囲に基づいて最適接続フォーマットを決定する。この決定はステップ152で行われ、選択した接続パスの要求事項に応じて同じフィルタをサード・パーティのエージェント(サード・パーティ・制御エージェント)が異なった使い方をできるようにする。サード・パーティ・制御エージェントはデータ交差プロパティ(data intersection property)、トポロジ情報、および接続ピン・ファクトリを両方のフィルタで使用して、作成される実際のフィルタ・グラフに応じてデータ・フォーマットと接続配置の最良の選択方法を決定する。
【0113】
入力ピン・インスタンス154はステップ152で判断された最適検出情報を使用して、ステップ156でサード・パーティ・制御エージェントによって作成される。入力ピン・インスタンス154はファイル・オブジェクトであるので、ハンドルが作成プロセスから返されるが、これは入出力要求を入力ピン・インスタンス154へ送るために使用できる。さらに、入力ピン・インスタンス154の作成が有効性の検査をされているが、この作成には、図4〜図6、図7および図8を参照して前述したルーチングおよびバリデーション・メカニズムが使用される。
【0114】
接続を完成するために、出力ピン・インスタンス158は、以前に作成された入力ピン・インスタンス154のハンドルをNtCreateFileコールの中でパラメータとして使用してステップ160で作成される。出力ピン・インスタンス158がこのようにして作成される効果として、システム・ファイル管理機能と入出力管理機能を使用して内部IRPスタック構造が作成される。このスタック構造により、オリジナルの書込みコマンドは、さまざまな方法で接続された接続ピン・インスタンスとフィルタによって適当な順序で連続処理することが可能になるので、異なるフィルタ間の直接データ・フローが容易化される。これを行うためには、入力ピン・インスタンスを供給する関連出力ピン・インスタンスの前に入力ピン・インスタンスが作成されていることが必要である。
【0115】
デバイス・オブジェクトのスタック深さパラメータは、このドライバに送られるIRP用にスタック・ロケーションをいくつ作成するかを制御する。スタック深さパラメータは、デバイス・オブジェクトが初めて作られるときは1つであると想定されているが、複数のドライバが1つにチェイニングされているかどうかに応じて、あとで変更することも可能である。現システムでは、この変更は、必要ならば、出力ピン・インスタンスが初期「停止」状態から「取得」または他の状態に遷移するとき行われる。接続ピン・インスタンスの状態遷移はIRPを正しく作成し、処理するための正しいスタック深さパラメータ情報を決定するメカニズムである。
【0116】
チェイニングされた接続ピン・インスタンス集合を正しく割当てるためには、接続ピン・インスタンスを特定の順序で停止状態から出るように遷移させる必要がある。つまり、最後の入力ピン・インスタンス(この例では、入力ピン・インスタンス154)から始まって、関連の(例えば、接続された)出力ピン・インスタンス(この例では、出力ピン・インスタンス158) まで連続的に逆方向に戻っていく必要がある。多数のフィルタが1つにチェイニングされていれば、最も深いフィルタまたはブリッジの入力ピン・インスタンスが遷移の開始ポイントであって、ブリッジまたはフィルタ上の初期出力ピン・インスタンスが設定されるまで逆方向に連続的に構築していかなければならない。言い換えれば、停止状態から出る遷移はチェインを逆昇るように行われ、各接続ピン・インスタンスが前の接続ピン・インスタンスの後で必要になるスタック・サイズを得るようにしなければならない。代表例として、必ずしもそうする必要はないが、接続ピン・インスタンスは停止状態から取得状態へ遷移するが、以下での説明の便宜上、取得状態への遷移はスタック深さパラメータの調整に関しては、停止状態から出る遷移と同じ目的を果たすようになっている。
【0117】
すべてのピン・インスタンスが取得状態になったあとは、ストリーム読取りと書込みをフィルタ・グラフに対して出すことができる。なお、注目すべきことは、ここで説明しているシステムが、関連する入力ピン・インスタンスと出力ピン・インスタンスの接続をどの順序でも行うことができ、停止状態からの遷移だけはボトムアップ方式、つまり、最も深いものから先に行わなければならないことである。さらに、フィルタ・グラフは初期作成後に変更が行えるように再構成可能になっている。変更が行われるときは、状態遷移は停止状態にある接続ピン・インスタンスだけで行い、正しいスタック深さパラメータ情報が得られるようにする必要がある。
【0118】
フィルタ上に見出される接続ピン・ファクトリは、フィルタが特定フォーマットでデータを消費および/または作成できる場所を表している。例えば、特定の接続ピン・ファクトリは、16ビットの44キロヘルツPCMオーディオや8ビットの22キロヘルツPCMオーディオなどの、いくつかの異なるデータ・フォーマットをサポートすることができる。前述したように、接続ピン・ファクトリやそのデータ・フォーマットなどの異なる機能については、適切なプロパティ集合メカニズムとシステム入出力機能を使用してフィルタから照会することができる。実際の接続ピン・インスタンスはピン・ファクトリから受信した情報に基づいて作成される。
【0119】
単一のストリーム書込みまたはストリーム読取りオペレーションがユーザ・モード・エージェントから出されると、接続されたフィルタを通してデータの連続処理が行われるストリーミング環境では、IRP制御用の2つのメイン・メソッドがNTオペレーティング・システムのネーティブ機能の一部として使用することができる。第1のメソッドでは、個別IRPは各フィルタによって作成され、次のフィルタへ送られて処理され、このフィルタは新しいIRPを作成し、チェインを下って次々と処理されていく。他のメソッドでは、単一のIRPが使用され、入出力マネージャと相互作用するために用意された標準プロシージャを使用して連続フィルタ間で受け渡しされていく。チェイン上の各連続フィルタごとに新しいIRPを作成していく第1のメソッドが使用される場合は、フィルタ間の相互接続順序が重要でないのは、フィルタはIRPのデスティネーション(destination) だけを知っていればよく、入出力マネージャをコールしてIRPを指定のフィルタへ送ることができるからである。IRPが再使用される場合に重要なことは、停止状態からの接続ピン・インスタンスの遷移が再使用IRPを受け取る最後のフィルタから始まるように行われ、再使用IRPを受け取る最初のフィルタまで、または処理のためにIRPを作成したフィルタまで逆方向に処理していくことである。
【0120】
相互接続カーネル・モード・フィルタの本実施の形態と実装例は、IRP共用を利用してドライバ開発の複雑さを軽減し、より堅牢なドライバが作成されることを可能にし、処理を効率化するという利点がある。「ボトムアップ」のピン・インスタンス状態遷移パスは、正しいスタック順序が連続ドライバによって処理されるIRPに作成され、各ドライバ・オブジェクトが適切なスタック深さパラメータ集合をもつことを保証する。さらに、受信側入力ピン・インスタンスの現状態は、状態遷移シーケンスを正しくたどっていたかどうかを確かめるためにチェックされる。そのような理由から、特定の接続ピン・ファクトリの通信プロパティは起こり得るフロー方向を判断し、接続ピン・インスタンスの状態遷移を正しく分配する上で支援する。
【0121】
出力ピン・インスタンス(またはIRPソース)を作成するとき、別のフィルタ上の入力ピン・インスタンス(またはIRPシンク(sink))を表すファイル・オブジェクトへの参照はNtCreateFileコールの一部として引き渡される。適切な作成ハンドラはマルチプレクシング・ディスパッチ機能とデバイス・オブジェクト/ファイル・オブジェクト階層を使用して、前述したように実行される。この作成ハンドラは入力ピン・インスタンスをもつフィルタ(例えば、図9のフィルタB148)のデバイス・オブジェクトを、入力接続ピン・インスタンス・ファイル・オブジェクト(例えば、入力ピン・インスタンス154)を通してアクセスすることができる。デバイス・オブジェクトから、前のスタック深さパラメータを読み取ることができ、出力ピン・インスタンスをもつフィルタのデバイス・オブジェクトのスタック深さパラメータが増加される。例えば、フィルタA146に関連するデバイス・オブジェクトは、図9に示す接続ではフィルタB148に関連するデバイス・オブジェクトのそれから増加されるスタック深さパラメータをもっている。これは停止状態から出る遷移のとき行われるのが通常であり、IRPは接続ピン・インスタンスが停止状態にある間はルーチングされない。
【0122】
フィルタがIRPを処理するとき、その特定フィルタ用に指定された情報を含んでいる、IRPスタック内のどのスタック・フレームまたはロケーションをアクセスすべきかを、関連デバイス・オブジェクトのスタック深さパラメータを参照するか、あるいはそれを使用することによって知る。さらに、現フィルタは、デバイス・オブジェクトのスタック深さパラメータを減らして次のフィルタのIRPスタック・ロケーションに位置づけることによって、処理チェイン上の次のフィルタ用のIRPを準備する。
【0123】
フィルタ・コードはIRPスタック内の次のロケーションを準備し、入出力マネージャをコールしてIRPを、指定された通りに次のフィルタに渡すことを受け持っている。このようにすると、フィルタは、特定の接続ピン・インスタンスを表す、どのファイル・オブジェクトがIRPと関連データを受け取って処理するかを指定することができる。従って、IRPの順次処理のためにそれぞれのデバイス・オブジェクトをスタックするためのIoAttachDeviceのような標準入出力マネージャ・コールは使用されない。
【0124】
注目すべきことは、接続ピン・インスタンス間の接続を作成することは、その接続を表すために新しいデバイス・オブジェクトを作成することを意味しないことである。基礎となる単一のデバイス・オブジェクトはフィルタのインスタンスとそのフィルタ上のすべての接続ピン・インスタンスをサポートするために使用される。正しいデータ処理のために必要な具体的情報はファイル・オブジェクトのコンテキスト・エリアに保存されていて、コンテキスト情報はそのまま残されているが、非ページ・メモリ使用量は最小限に保たれている。さらに注目すべきことは、IRPベースの媒体について説明してきたが、相互接続フィルタ間の通信のための他の媒体も使用できることである。そのようなものとして、非ホスト・ハードウェアとハードウェア間通信での直接関数コールがある。
【0125】
次に、図11と図12および図13を参照して、図1(従来技術)と図2(相互接続カーネル・モード・ドライバのハイレベル・ロジック図)に示すソフトウェア・ドライバの正しい作成、接続、および状態遷移順序について説明する。図11はボックス162で囲んだロジック構造とそこに含まれる処理ステップを示している。図12は接続ピン・インスタンスを作成して、カーネル・モード・フィルタの相互接続を完成する様子を示し、図13に示すフローチャートにボックス164で囲んだ処理ステップを含んでいる。
【0126】
すべての相互接続が行われている図12の状態にあるとき、カーネル・モード・フィルタ・システムは処理を行うために読み書きの準備状態にある。入出力システムは正しい状態遷移プロセスによって正しく設定されたIRPスタック情報を使用して、ストリーム読取りと書込みをそれぞれの接続ピン・インスタンスを通して異なるフィルタ・エレメントに引き渡す。なお、グラフを作成するために使用されたエージェント以外の、ある種の外部ソフトウェアは、ブリッジまたはフィルタ自体とハードウェアも含めて、ストリーム読取りとライトのデータを提供する。
【0127】
ステップ168からスタートしたあと、サード・パーティ・制御エージェント170はステップ180で、リーダ・フィルタ172、デコンプレッサ・フィルタ174、効果フィルタ176、およびサウンド・レンダリング・フィルタ178のインスタンスを作成する。さらに、リーダ・フィルタ172とディスク・ドライバ182との間の接続が行われて、データがディスク・ドライブから持ち込まれるようにする。各フィルタ・インスタンスの作成は標準入出力コールを使用してデバイス入出力ディレクトリ階層に見出される適切なデバイス上のファイルをオープンすることにより、ユーザ・モードのサード・パーティ・制御エージェント170によって行われる。このコールからは、各フィルタのインスタンスを表すファイル・オブジェクトへのハンドルが返される。
【0128】
ステップ184で、サード・パーティ・制御エージェント170、リーダ・フィルタ172、デコンプレッサ・フィルタ174、効果フィルタ176、およびサウンド・レンダリング・フィルタ178に照会し、接続ピン・ファクトリの機能を判断する。これらの機能は、どのような種類の入出力ピン・インスタンスが作成できるか、特定のフィルタは各接続ピン・ファクトリのインスタンスをいくつサポートするか、各接続ピン・ファクトリでサポートされるデータ・フォーマット、通信パスの媒体またはタイプなどがある。これらの機能は以前に詳しく説明したプロパティ集合メカニズムを使用して照会され、カーネル・モード・フィルタは、適切な「集合」(例えば、プロパティ集合)をサポートしているのでアーキテクチャに従っていることが前提になっている。
【0129】
ステップ184でのこのようなすべての照会情報は、チェインニングされた接続パスが、適切な接続ピン・インスタンスを作成し、接続することによりそれぞれのフィルタ間で可能であるかどうかを判断するために使用される。サード・パーティ・制御エージェント170は、相互接続のために必要なピン・インスタンスのタイプを判断し、与えられた目的を達成するフィルタ・グラフを作成する。
【0130】
サポートされるデータ・フォーマットに基づく接続フォーマットの決定はステップ186で行われる。フィルタ上のトポロジ情報、データ・フォーマット、およびデータ交差プロパティを使用すると、仮定上の(hypothetical)フィルタ・グラフを作成することができる。接続順序は重要でないので、そのようにする必要はないが、フィルタ・グラフを作成しようとするとき時間を節約することができる。この仮定上のフィルタ・グラフがエラーなしで作成されるのであれば、サード・パーティ・制御エージェント170は、相互接続する接続ピン・インスタンスの作成を信頼して行うことができるという安心が得られる。実際のピン・インスタンスが作成されていなければ、ある種の照会からはエラーが返されるので、かかる接続ピン・インスタンスを作成してから仮定上のフィルタ・グラフを作成するようにすると、実行可能であるとの信頼できる指示が返されることになる。この場合も、仮定上のフィルタ・グラフは相互接続を行う前にテストすることが可能である。
【0131】
正しい接続情報が分かっているとステップ186で決定されると、入力ピン・インスタンスを作成し、相互接続して、図13のボックス164で囲まれた処理ステップのループで表すことができる。このループはデータ・ストリームのソースから最も遠くに離れた入力ピン・インスタンスから始まる処理ステップを含んでいる。この最後の入力ピン・インスタンスは「最も深い」ピン・インスタンスと呼ばれ、これは最初に作成され、そのあとに関連する出力ピン・インスタンスを続けることができる。従って、接続は、以前に作成された入力ピン・インスタンスのハンドルを使用して出力ピン・インスタンスを作成したものである。
【0132】
このパターンは、すべての入力ピン・インスタンスが関連出力ピン・インスタンスとの接続の前に、それ以後連続して作成されるように続けられる。このような接続シナリオは単なる例示であり、それぞれの出力と入力ピン・インスタンスを接続して、本発明によるカーネル・モード・フィルタ間の接続を形成する他の可能な方法を限定するものではない。フィルタは、入力ピン・インスタンスからのハンドルが別のフィルタ上の接続された出力ピン・インスタンスの作成期間に使用される限り、実装に従ってどの順序でも接続することが可能である。さらに、前述したように、初期作成後(および使用後も)フィルタ・グラフに変更を行うことが可能である。
【0133】
ループの最初の繰り返しでは、入力ピン・インスタンス188はステップ190で作成される。作成機能からハンドルを受け取ると、サード・パーティ制御エージェント170はそのハンドルをNtCreateFileコールでパラメータとして使用してステップ194で出力ピン・インスタンス192を作成する。最初の繰り返しでこれを行うと、サウンド・レンダリング・フィルタ178は、それぞれ対応する接続ピン・インスタンス188と192を通して効果フィルタ176に実効的に接続される。現実装では、NtCreateFileコールはユーザ・モード・クライアントが利用できるAPIの関数コールの一部として「ラップ(wrapped) 」される。これにより、サード・パーティ・制御エージェントのユーザ・モード開発者は詳細を知る必要から解放されるので、すべての関係機能を単一ユーザ・モードAPIに集中させることができる。
【0134】
ステップ196で、サード・パーティ・制御エージェント170は作成すべき入力ピン・インスタンスが他にも残っているかどうかを判断する。残っていれば、入力ピン・インスタンスを作成し、そのあとに別のフィルタ上の対応する出力ピン・インスタンスを続けなければならない。最終的には、すべての接続が行われ、サード・パーティ制御エージェント170はストリーム化データ処理に対してフィルタ・グラフを準備する。
【0135】
以上のようにして、入力ピン・インスタンス202はステップ190でボックス164で囲まれたループの2回目の繰り返しで作成され、他方、出力ピン・インスタンス204は入力ピン・インスタンス202のハンドルをステップ194でその作成の一部として使用する。最後に、この特定の例では、3回目と最後の繰り返しで、入力ピン・インスタンス206が作成され、そのあとに出力ピン・インスタンス208が続いて接続が完結する。
【0136】
ステップ197で、サード・パーティ制御エージェント170は、フィルタ・グラフによるストリーム化データ処理に備えて各接続ピン・インスタンスを停止状態から取得状態へ遷移させる。それぞれのフィルタのデバイス・オブジェクトの各々でスタック深さパラメータを正しく設定するためには、状態遷移は「最も深い」または最後の接続ピン・インスタンス(例えば、処理のためのデータを受け取る最後の入力ピン・インスタンス)から始めて、最初の接続ピン・インスタンス(例えば、データをグラフに送り込む最初の出力ピン・インスタンス)に到達するまで相互接続カーネル・モード・フィルタのチェインを順次に「さかのぼる」ように行う必要がある。最初のフィルタまたはブリッジはIRPを作成し、スタック・ロケーションはIRPがグラフ内の各カーネル・モード・フィルタに効率よく連続して受け渡されるように十分に割当てられる。
【0137】
最後に、サード・パーティ制御エージェント170はストリーム読取りと書込みを出し、ステップ198でデータを処理してからステップ200で終了する。
【0138】
前述したように、出力ピン・インスタンスの各作成には、そこに接続された入力ピン・インスタンスを表すファイル・オブジェクトのハンドルが必要である。
このファイル・オブジェクト参照は、出力ピン・インスタンスの作成ハンドラが入力ピン・インスタンスに対応するデバイス・オブジェクトへの参照を、現在または将来のアクセスのためにセーブしておくことができるようにする。
【0139】
もっと具体的に説明すると、これにより、入力ピン・インスタンスを管理するデバイス・オブジェクトのスタック深さパラメータは、停止状態から取得または他の状態へ状態遷移するとき出力ピン・インスタンスのドライバによってアクセスすることが可能になる。入力ピン・インスタンスに関連するスタック深さパラメータの値はアクセスされ、増加され、出力ピン・インスタンスに対応するデバイス・オブジェクトのスタック深さパラメータの中にセーブされる。
【0140】
スタック深さパラメータは、共用IRPスタック構造のどこに特定フィルタ用のスタック・フレーム情報が置かれているかを判断するために使用されるが、これは各フィルタごとに異なっている。フィルタをこのように相互接続し、状態遷移を正しいシーケンスで行うと、通信をユーザ・モードにしなくても、カーネル・モードの相互接続フィルタのチェインを下るように単一IRPを受け渡してくことができる。
【0141】
以上の説明から理解されるように、同一の接続ピン・ファクトリを基礎にした複数のインスタンスをもつことが可能である。例えば、オーディオ・ミキシング・フィルタは複数のピン・インスタンスをミックスして単一の出力ピン・インスタンスにしてから処理することができる。各入力インスタンスは同一タイプであり、フィルタは1つのタイプの入力ピンだけをサポートすることができる。このような構成の別の例として、複数の入力を1つの出力にする例がある。
【0142】
逆のことを行うことも可能である。つまり、スプリッタ・フィルタは単一入力接続ピン・インスタンスをもち、複数の出力ピン・インスタンスを提供することによりデータ・ストリームを倍にすることが可能である。この分野の精通者ならば理解されるように、上述してきた接続メカニズムから実際の実装とその要求条件に応じて種々態様に変形し、種々態様に組み合わせることが可能である。
【0143】
ドライバ開発者が独立に実装できる共通メカニズム(例えば、プロパティ集合、メソッド集合、およびイベント集合)を、すべてのコンプライアント・フィルタにサポートさせることによって均一性と標準化が達成されているので、サード・パーティ・制御エージェントは異種ソフトウェア・プロバイダから提供されるコンプライアント・フィルタを都合よく接続することができる。さらに、接続ピン・ファクトリの観点から見た機能の多くはある状況では必要であっても、別の状況では必要でない場合がある。必要とされる接続ピン・インスタンスの決定は異なるフィルタ間の相互接続を実際に行うサード・パーティ制御エージェントによって最初に行われる。
【0144】
次に、図14を参照して説明すると、図は複数の処理コンポーネント間で使用されるときの、バッファ・アロケータ・メカニズムのオペレーションを示したものである。図には、特定の処理コンポーネントに関連するバッファ間のデータ・フロー(つまり、バッファ・フレーム間の実際のデータ転送)も示されている。
コントロールは各処理コンポーネントに渡されるが、データは必要時にだけ転送され、一部の処理コンポーネントはデータ操作を実行し、データを既存バッファ・フレームに戻すようにしている。言い換えれば、データは新しいバッファに転送されることなく同じロケーションで処理されるので、「同所(in place)」で処理されると呼ばれている。
【0145】
シンク処理コンポーネント210はバッファ・アロケータ・メカニズム212(四角で表されている)をその機能の一部としてもっている。バッファ・アロケータ・メカニズム212は、サウンドまたはビデオ処理カード上のオンボード・メモリなどの特定のメモリにデータが置かれることを保証する必要のある処理コンポーネントや、前のバッファがバイト位置合わせ、フレーム・サイズなどの許容されない特性をもっているような処理コンポーネントにだけ存在している。さらに、バッファ・メモリのフレームを割当てるとき使用されるバッファ・アロケータ・メカニズム212への参照は円で示され、すべての処理コンポーネントはそのような参照をもっている。なお、ソース処理コンポーネント214は矢印218で示すようにシンク処理コンポーネント210のバッファ・アロケータ・メカニズム212を参照するバッファ・アロケータ参照216をもっている。さらに、転送処理コンポーネント220はヌル(空白)のバッファ・アロケータ参照222をもち、シンク処理コンポーネント210も空の円223で示すようにヌルのバッファ・アロケータ参照をもっている。
【0146】
この単純な処理例では、ソース処理コンポーネント214はシンク処理コンポーネント210のバッファ・アロケータ・メカニズム212を使用してバッファ・フレーム224aを割当て、バッファ・アロケータ参照216を使用してアクセスされる。割当てられたフレーム224aには、矢印226で示すようにソース処理コンポーネント214によってデータが満たされる。なお、ソース処理コンポーネント214はある種のデータ操作または変換を行ってから、新たに割当てられたフレーム224aにデータを書き込むことができる。
【0147】
この時点で、ソース処理コンポーネント214は処理を終えており、処理のコントロールを矢印228で示すように変換処理コンポーネント220に引き渡す。バッファ・アロケータ参照222の参照がヌル値をもっており、バッファ・アロケータ・メカニズムが指示されていないので、変換処理コンポーネント220は、バッファの割当ても、データを一方のバッファから他方のバッファへ転送することも行わない。従って、変換処理コンポーネント220は矢印230で示すように、割当てられたバッファ・フレーム224bで「同所」のデータ変換を行う。
【0148】
データは新しいバッファ・フレームに転送されていないので、バッファ・フレーム224a、フレーム224b、およびフレーム224cは同じフレームであり、異なる処理コンポーネントへ連続して渡されるだけである。矢印231は割当てられたフレームがソース処理コンポーネント214と変換処理コンポーネント220の間で受け渡されることを示している。
【0149】
最後に、変換処理コンポーネント220は処理のコントロールを、矢印232で示すようにシンク処理コンポーネント210に引き渡す。なお、処理コントロールと一緒に、同じフレームがフレーム224bと224cの間矢印234で示すように受け渡されて処理される。この場合も、図に示すように、フレーム224a、フレーム224b、およびフレーム224cはいずれもソース処理コンポーネント214によって最初に割当てられた同じフレームであり、別々に示されているのは説明の便宜上である。
【0150】
シンク処理コンポーネント210はデータの処理を終えると、矢印236で示すようにバッファ内の割当て済みフレーム224cを解放する。シンク処理コンポーネント210は最早バッファを使用していないので、矢印236は内側に向かってシンク処理コンポーネント210を指しており、このフレームは割当て解除することも再使用することも可能である。
【0151】
図15は、バッファ・アロケータ・メカニズムが上述してきた相互接続カーネル・モード・バッファ方式でどのように論理的に実装されるかを示している。図14と図15は共に同じフィルタ・グラフ・トポロジを示し、バッファ・アロケータ・メカニズムのオペレーションを理解しやすくするために使用されている。
関係ドライバとその部分はそれぞれ、ユーザ・モード・クライアントがドライバを制御することを可能にするアクセス・ポイントをもち、これらはファイル・オブジェクトで表されている。相互通信はIRPを使用して行われる(IRPがカーネル・モード・ドライバによって作成されたか、ユーザ・モード入出力オペレーションに応答してNTエグゼクティブによって作成されたかとは無関係である)。
【0152】
ソース処理コンポーネント238のインスタンス(ファイル・オブジェクトで表されている)は出力ピン・インスタンス240(これもファイル・オブジェクトで表されている)が関連づけられており、これは別のフィルタ・インスタンスへの接続のソースとなっている。変換フィルタ244の「子」である入力ピン・インスタンス242は詳しく前述したように、出力ピン・インスタンス240への参照をもつように作成されている。同様に、入力ピン・インスタンス248をもつシンク・フィルタ246は出力ピン・インスタンス250に接続され、これは変換フィルタ244と関係づけられている。
【0153】
相互接続されたカーネル・モード・ソフトウェア・ドライバのシステムでは、バッファ・アロケータ・メカニズムは入力ピン・インスタンスと関係づけられ、入力ピン・インスタンス上に作成または形成されると言われている。さらに、出力ピン・インスタンスは必要ならば、バッファ・アロケータ・メカニズムへの参照を論理的にもち、出力ピン・インスタンスをもつフィルタはこの参照を利用してバッファ・フレームの割当てと新しいフレームへのデータ転送を行ってから、コントロールを別の処理コンポーネントへ引き渡す。すでに説明したように、ヌル参照は、新しいフレームへのデータ転送が必要でないこと、および、処理を既存フレームで行うことができることを示している(つまり、処理の後、データは同じバッファ・フレームに戻される)。バッファ・アロケータ参照が存在するかどうかは、フィルタ・グラフを作成したサード・パーティ制御エージェントの初期交渉によって判断される。
【0154】
入力ピン・インスタンス248上に形成されたバッファ・アロケータ・メカニズムはファイル・オブジェクトで表されているが、破線254は、出力ピン・インスタンス240がバッファ・アロケータ252を表すファイル・オブジェクトへの参照(例えば、ポインタまたはハンドル)をもっていることを示している。
図15に示す例では、メモリのフレームはシステム・メモリ256から割当てられている。
【0155】
フィルタは種々の方法で相互接続できるので、バッファ・アロケータは、用意されている場合であっても、必要でないことがある。バッファ・アロケータのインスタンスを表すファイル・オブジェクトが作成されるのは、フィルタを相互接続するサード・パーティ制御エージェントが必要であると判断した時だけである。このようにすると、フィルタはさまざまな構成で柔軟に接続でき、かつ、最適なデータ転送特性はそのまま保持される。さらに、デフォルトのシステム・バッファ・アロケータを用意すると、ドライバ開発者の開発作業をさらに削減することができる。
【0156】
サード・パーティ制御エージェントは、架空上のモデルを構築する一部として接続ピンに必要なバッファ要件についても照会してから、実際のフィルタ接続を行う。いくつかの実装では、ピンのインスタンス生成前に照会を行うことが可能になっているが、本実施の形態では、必要なバッファ要件を確かめるためには、その前に実際の接続ピン・インスタンスを作成しておくことが要求される。さらに、本明細書に開示されている実施の形態では、照会は前述した集合メカニズムの使用を通して行われる。
【0157】
サード・パーティ・クライアントまたはサード・パーティ・制御エージェントはカーネル・モード・フィルタの相互接続を完成してフィルタ・グラフを作成したとき、次に、入力ピン・インスタンス(またはシンク・ピン・インスタンス)のハンドルを使用してアロケータ要件の交渉を開始する。規定により、入力ピン・インスタンスは必要なバッファ割当て量を定義し、バッファ割当てメカニズムを提供するのに対し、出力ピン・インスタンスは入力ピン・インスタンスに関連する適切なバッファ割当てメカニズムへの参照をもっている。この分野の当業者ならば理解されるように、他の規定を使用すると、バッファ割当ての役割を入力ピン・インスタンスと出力ピン・インスタンスの間で逆にするといったように、同じ結果を効果的に達成することができる。
【0158】
バッファ割当ての要件は、すべてのコンプライアント・フィルタによってサポートされる特定のプロパティ集合メカニズムを使用して確かめられる。理解されるように、「バッファ・アロケータ」のプロパティ集合は、他の集合と同じようにさまざまな方法で構成することが可能である。例えば、プロパティ集合は単一のプロパティをもつことが可能であり、その場合、そのプロパティはセグメント化された情報をもつデータ構造である。あるいは、プロパティ集合は複数のプロパティをもつことも可能であり、その場合、1つ1つは異なるフレーミング要件エレメント用となっている。データ構造からなる単一プロパティは、すべてのフレーミング要件情報を取り出すためにサード・パーティ制御エージェントが必要とするプロパティ集合照会が少なくなるので、ある状況によってはより効率的である。さらに、単一データ構造は要件情報を照会するためだけでなく、実際のバッファ・アロケータの作成時にパラメータを指定するためにも使用できる。
【0159】
以下の表はデータ構造に、または個別的プロパティとして組み入れることができるフレーミング要件エレメントの非排他的リストを示している。また、これらの表には、このようなエレメントが実施の形態でどのような使い方がされるかの解説も含まれている。
【0160】
【表7】
Figure 0004575528
【0161】
【表8】
Figure 0004575528
【0162】
【表9】
Figure 0004575528
【0163】
この分野の当業者ならば理解されるように、組み入れることができる関係フレーミング・プロパティはほかにもある。さらに、ここで説明しているバッファ割当てメカニズムは、表3に指定されているものより多いバッファ・フレーム・エレメントが組み込まれているか、そのサブセットが実装されているかに関係なく、ほぼ同じように機能する。
【0164】
フィルタ・グラフ要件がサード・パーティ制御エージェントによって判断されると、次に、適切なカーネル・モード・バッファ・アロケータを適切な入力ピン・インスタンス上に作成することができる。クライアントは適切な接続ピン・インスタンスのハンドルを使用し、バッファ・アロケータの適切な作成パラメータを指定することによってバッファ・アロケータ・インスタンスを作成する。このようにして得られた、バッファ・アロケータを表すファイル・オブジェクトは接続ピン・インスタンスの子となり、そのファイル・オブジェクトとフィルタ自体のインスタンスを表すファイル・オブジェクトからのコンテキスト情報を使用してそれを正しく作成する。
【0165】
言い換えれば、接続ピン・インスタンスの作成をバリデーションし、メッセージを特定の接続ピン・インスタンスの適切なハンドラへ転送するための、前述したものと同じメカニズムはバッファ・アロケータのインスタンスの作成にも同じように適用される。この場合も、NtCreateFileコールはサード・パーティ制御エージェントが使用できるAPIの一部としてハイレベル関数コールの中でラップされることになる。
【0166】
バッファ・アロケータ・インスタンスはここで説明している実施の形態では、作成されるとすれば、入力ピン・インスタンスだけで作成される。
【0167】
バッファ・アロケータ・インスタンスのハンドルが適切なAPIコールを通して出力ピン・インスタンスハンドルに対して指定されていなければ、フィルタは、ストリーム入出力コントロールを通して渡されたストリーム・セグメントがフィルタの要件に合致しているものと想定できるので、データを同所で自由に変更することができる。
【0168】
システムに用意されているデフォルト・アロケータをフィルタ開発者によって使用すると、入力接続ピン・インスタンスにバッファ割当て機能をもたせる作業が単純化される。このデフォルト・アロケータはデータをシステム・メモリから転送することができるデバイス・ドライバのためにシステム・メモリ・バッファ・フレーム割当てを行うが、特定のメモリ割当てプロパティを必要とする。デフォルト・バッファ・アロケータを使用すると、フィルタ開発者はバッファ割当てを行うコードを実際に準備する作業から解放される。しかし、その場合でも、フィルタは適切なプロパティ集合をサポートすることによって必要バッファ割当て量要求をサポートするように書かれることになる。
【0169】
デフォルト・アロケータを使用するためには、フィルタ設計者は、(1)必要バッファ割当て要件要求に応えるコードを準備し、(2)デフォルト・アロケータ作成ハンドラ参照を、デフォルト・アロケータが関係する特定接続ピン・インスタンスのバリデーション・テーブルに入れる。言い換えれば、アロケータ・タイプ・メカニズムの作成要求がフィルタを通して渡されると、特定のGUIDストリングはバリデーション・テーブルで突き合わされ、デフォルト・アロケータ作成ハンドラへのアクセスができるようにする。
【0170】
デフォルト・バッファ・アロケータはシステム・メモリを使用し、作成要求の一部として渡されたバッファ・アロケータ・フレーミング・プロパティに従って動作する。この種のデフォルト・アロケータはその特定機能と相互接続順序に応じて、種々の変換フィルタで使用される可能性がある。
【0171】
オンボード・メモリまたは他のデバイスに依存する記憶方式のためのバッファ・アロケータを要求するフィルタは、バッファ・アロケータ・プロパティ集合とメソッド集合をサポートすることで専用のバッファ・アロケータを用意することができる。フィルタ専用アロケータの場合、フィルタは機能全体を実装するプログラム・コードを準備することに責任を有している。しかし、バッファ・アロケータのオペレーションは、デフォルトであるか、フィルタ専用であるかに関係なく、どのバッファ・アロケータの場合も同じであるので、サード・パーティ・制御エージェントはフィルタとバッファ・アロケータを正しく相互接続することができる。
【0172】
バッファ・アロケータを表すファイル・オブジェクトは、正常に作成されたときは、データ構造を指すポインタをファイル・コンテキスト・エリアに置いている。このデータ構造には、IRPを種々のIRPコード(例えば、作成、入出力コントロールなど)に基づいて指定のハンドラへ送るためのディスパッチ・テーブルが、バッファ・アロケータの状態を保持するための他のデータ・エリアと構造と共に収められている。トラッキングできる実装依存情報のいくつかを挙げると、バッファ・アロケータが関係する接続ピン・インスタンスのファイル・オブジェクトへの参照、割当てフレーミング要件データ構造への参照、イベントを待っているクライアントのイベント・キュー、未処理になっている割当て要求(例えば、IRPによって受信されたもの)のキューなどがある。
【0173】
ここで開示されている実施の形態のバッファ割当てメカニズムが利用できるインタフェース、つまり、通信方法は2つある。まず、すべてのアロケータはユーザ・モード・クライアントと正しく通信するためにはIRPベースのインタフェースを提供しなければならない。オプションとして、割当てプール・タイプがオペレーティング・システムのディスッパチ・レベル(サービスの限定されたサブセットが利用できるが、低優先度のタスクがそのプロセッサでブロック・アウトされるような高さの優先度レベル)でサービスを受けることができる場合は、関数テーブル・インタフェースがサポートされるので、相互接続されたフィルタは直接関数コールを使用して(DPC処理時に)パフォーマンスを向上することができる。これにより、IRPを入出力マネージャを通して受け渡すという余分のオーバヘッドを発生することなく、あるいは実行スレッドをスケジュールしてコンテキスト切替えを待つことなく、イベント通知を相互接続されたフィルタ間で伝達することができる。
【0174】
IRPベースのインタフェースはIRPを次のように連続的に処理する。割当て要求が渡されると、バッファ・アロケータはその要求を完了し、割当てられたバッファ・フレームを指すポインタを戻し、すべてのフレームが割当てられていれば、アロケータはIRPに保留(pending) のマークを付け、IRPをアロケータの要求キューに追加し、ほぼFIFO順に処理される。最後に、バッファ・アロケータは保留中というステータスをコール側に戻す。
【0175】
バッファ・フレームがアロケータに利用可能になったとき、アロケータはIRPベースのインタフェースの要求キューに置かれている最初の要求を完了することを試みる。以前にサービスを受けることができなかったIRPはこの要求キューに置かれ、処理のために新たに解放されたフレームを待つことになる。これとは逆に、要求キューで待たされている作業がなければ、そのフレームは空きリストに戻される。
【0176】
直接関数コール・テーブルを使用するディスパッチ・レベル・インタフェースは次のように動作する。割当て要求が関数コール(これはDPC時に行うことができる)によって渡されると、アロケータは使用可能なフレームがあれば、そのフレームを指すポインタを戻し、さもなければ、ヌル(空白)を直ちに戻す。この場合、カーネル・モード・リクエスタは空きフレームがあることを知らせる空きイベント通知を待つことができる。この通知を受けると、カーネル・モード・リクエスタは割当て要求を再度試みる。
【0177】
なお、ディスパッチ・レベル・インタフェースとIRPベースのインタフェースのどちらもが使用可能な空きフレームを奪い合うことが起こり得る。また、完了待ちに置かれている割当て要求IRPが要求キューに残っていれば、アロケータは、コール側がフレームを解放したとき現IRQLが受動レベルになければ、ワーカ・アイテム(worker item) をスケジュールしなければならないが、これは、直接コール・インタフェースを使用することはDPCレベルにある可能性を意味するからである。基本的には、IRPの待ち行列はワーカ・アイテムが実行されるまでは空きフレームを探し出さない。
【0178】
さらに、ここで説明しているバッファ・アロケータ・メカニズムはMDL(memory descriptor list:メモリ記述子リスト)と一緒に使用するのに適しているので、バッファ間の転送数をさらに削減することができる。このような実装によると、NTオペレーティング・システムのシステム・メモリ機能とのシームレスな相互作用が向上することになる。
【0179】
次に、図16を参照して説明すると、同図には前述したバッファ割当てメカニズムを利用する図11と図12の相互接続フィルタ・システムが示されている。サード・パーティ・制御エージェント170はフィルタ間の相互接続を行ったあと、必要バッファ量について各入力ピン・インスタンスに照会する。図に示すように、サウンド・レンダリング・フィルタ178はバッファ・フレームをサウンド・カード・メモリ258から割当てる必要があり、デコンプレッサ・フィルタ174はデータをディスク・ドライブ262から直接に受け取ることができるシステム・メモリ260からメモリを割当てることになる。
【0180】
サード・パーティ・制御エージェント170はファイル・オブジェクトで表され、入力ピン・インスタンス188上に形成されるバッファ・アロケータ264を作成する。バッファ・アロケータ264はバッファ・フレームをサウンド・カード・メモリ258から割当て、バッファ・アロケータ264への参照は破線266で示された出力ピン・インスタンス204に設定される。この参照はバッファ・アロケータ264を表すファイル・オブジェクトへのハンドルとなり、必要時にバッファ・フレームを割当てるためにデコンプレッサ・フィルタ174によって使用されてからデータが新しいバッファに転送される。
【0181】
同じように、バッファ・アロケータ268もファイル・オブジェクトによって表され、入力ピン・インスタンス206上に作成される。このバッファ・アロケータ268はシステム・メモリ260の割当てを管理する。サード・パーティ・制御エージェント170はバッファ・アロケータ268を作成したあと、破線270で示すようにその参照を出力ピン・インスタンスにストアする。この場合も、バッファ・アロケータ268はシステム・メモリ260間のバッファ・フレームの割当てを担当し、データがディスク・ドライブ262からそこに転送できるようにする。
【0182】
サード・パーティ・制御エージェント170は出力ピン・インスタンス192のバッファ・アロケータ参照の値にヌル(空白)を入れ、同所変換が行われることを示し、効果フィルタ176はサウンド・カード・メモリ258内の既存バッファからデータを読み取り、必要とされる変換または効果を適用したあとでデータをサウンド・カード・メモリ258に戻す。逆に、サード・パーティ・制御エージェントがバッファ・アロケータ参照を設定していなければ、値が空白であり、同所変換が行われると想定される。
【0183】
次に、図17のフローチャートと図16のロジック図を参照して、バッファ・アロケータのオペレーションについて説明する。このプロセスは相互接続が行われたあとで実行され、ストリーム読取りと書込みはサード・パーティ・制御エージェント170からリーダ・フィルタ172に渡される。
【0184】
最初に、リーダ・フィルタ172はステップ272で、デコンプレッサ・フィルタ174のバッファ・アロケータ268を使用してシステム・メモリにフレームを割当てる。リーダ・フィルタ172の出力ピン・インスタンス208はライン270で示すように、バッファ・アロケータ268を表すファイル・オブジェクトへのハンドルを受け取るので、直接にアクセスしてバッファ・アロケータ268を制御することができる。
【0185】
リーダ・フィルタ172はシステム・メモリ260内の実際のバッファ・フレームへのアクセス権を得ると、ステップ276で矢印274で示すように、ディスク・ドライブ262からのデータをフレームに入れる。このことから理解されるように、リーダ・フィルタ172はデータをシステム・メモリ260に持ち込むとき、変換または他の操作をデータに対して行うことができる。
【0186】
次に、リーダ・フィルタ172はステップ278でデコンプレッサ・フィルタ174へのストリーム書込みを開始する。このストリーム書込みはIRPによってNT入出力マネージャに渡される。ステップ280で、デコンプレッサ・フィルタ174はバッファ・アロケータ264を使用してサウンド・カード・メモリ258のフレームを割当てる。デコンプレッサ・フィルタ174がバッファ・アロケータ264を知っているのは、そこへのハンドルが出力ピン・インスタンス204に対してストアされていたためである。
【0187】
デコンプレッサ・フィルタ174はデータを伸張し、矢印284で示すようにそのデータを、サウンド・カード・メモリ258に以前に割当てられたフレームに転送する。なお、データを伸張するとき、サウンド・カード・メモリから割当てられたフレームがシステム・メモリに存在するよりも多くなっている場合がある。この余剰バッファ・フレーム比が必要になるのは、データの伸張効果を受け入れるためである。
【0188】
重要なことは、データを一方のバッファから他方のバッファへ転送するとき、転送されるデータ量が1:1の対応関係でない場合があることである。言い換えれば、受信側バッファが必要とするスペース(またはフレーム数)は、バッファ転送間でどのようなフィルタリングまたは変換が行われるかに応じて、多くなる場合と少なくなる場合とがある。
【0189】
デコンプレッサ・フィルタ174は特定フレームの伸張を終えると、NT入出力マネージャの機能を使用してストリーム書込みを効果フィルタ176に渡す。
効果フィルタ176はステップ288でストリーム書込みIRPを受け取り、既存サウンド・カード・メモリ258でデータを同所処理する。この効果処理はデータを1:1で置換するのと同じであるので、必要なバッファ・メモリは多くなることも、少なくなることもない。
【0190】
効果フィルタ176がデータの同所処理を終えると、ストリーム書込みIRPはステップ290でサウンド・レンダリング・フィルタに渡される。この場合も、ストリーム書込みIRPをサウンド・レンダリング・フィルタ178に転送させるメカニズムは効果フィルタ176によってコールされたNT入出力マネージャの機能である。
【0191】
最後に、サウンド・レンダリング・フィルタ178はステップ292でストリーム書込みIRPを受け取り、サウンド・カード・メモリ258に存在するサウンド・データの実際のレンダリングを形成するようにサウンド・カード・ハードウェアを制御する。この時点で、以前に割当てられていたサウンド・カード・バッファ・フレームは書込み要求を満たすために再使用することも、未処理の要求がなければ解放することもできる。バッファ・フレームが使用可能であることはデコンプレッサ・フィルタ174に知らされるので、待ちに置かれているストリーム書込みを使用してデータを処理し、割当てが解放されたバッファ・フレームに入れることができる。同様に、システム・メモリ260のバッファ・フレームは再使用されるか、解放される。
【0192】
次に、図18を参照して説明すると、図はシステムの概要を示す図であり、そこでは、リアルタイムで生成され、「ライブ」であると呼ばれる2つのデータ・ストリームをマスタ・クロック・メカニズムを使用して同期化することが可能になっている。オーディオ・レンダラ296は矢印300で示すように、ライブ・オーディオ・ストリーム298を受信して処理する。オーディオ・レンダラ296がデータを処理するとき、オーディオ・レンダラ296がデータ・サンプルを適切な電子信号に変換して、この信号を矢印304で示すようにスピーカ302に送信すると、データはスピーカ302からサウンドとして知覚される。
【0193】
同様に、ビデオ・レンダラ306は矢印310で示すようにライブ・ビデオ・ストリーム308を受信して処理する。ビデオ・レンダラ306によって処理されると、データ・サンプルは適切なビデオ信号に変換され、矢印314で示すようにモニタ312に送られ、そこでデータ・サンプルはイメージとして知覚される。
【0194】
代表例として、ライブ・ビデオ・ストリーム308とライブ・オーディオ・ストリーム298は同時にレンダリング・コンポーネントに着信する。コヒーレントなプレゼンテーションを再現するために、スピーカ302とモニタ312でレンダリングされるときビデオをオーディオと整合させることは重要であるので、ライブ・ビデオ・ストリーム308とライブ・オーディオ・ストリーム298の処理は同期化されなければならない。
【0195】
これを行なうためには、一方のデータ・ストリームがマスタとなるように選択される。ここでは、説明の便宜上、ライブ・オーディオ・ストリーム298がマスタ・データ・ストリームとなるように任意的に選択されている。なお、ライブ・ビデオ・ストリーム308がマスタとして選択されることも、他のデータ・ストリームがマスタとして選択されることも可能であり、それを妨げるものはなにもない。さらに、フィルタ・グラフの外部にあるデータ・ストリームに基づく外部クロックを使用して、ライブ・オーディオ・ストリーム298とライブ・ビデオ・ストリーム308を共に同期化することが可能である。従って、図示のマスタ・クロック316では、実線でオーディオ・レンダラ296と結ばれ、破線318でビデオ・レンダラと結ばれているが、このことは、ビデオ・レンダラがオーディオ・ストリームをマスタとして使用しているマスタ・クロック316から同期化情報をなんらかの方法で受信することを示している。
【0196】
マスタ・クロック316は、オーディオ・レンダラ296での処理レートをオリジナル・オーディオ・ストリーム298のレートと整合するためにオーディオ・レンダラ296によって使用することも可能である。言い換えれば、ライブ・オーディオ・ストリーム298は、別のシステム上のディジタル化フィルタ/ディジタル化ハードウェアなどの別の処理コンポーネントによって処理されている。オーディオ・ストリームはディジタル化サンプルから構成されているので、これらのサンプルはオリジナル処理コンポーネントのハードウェアおよびオシレータに従うレートで作られている。オリジナル処理コンポーネントがライブ・オーディオ・ストリーム298を出力するときの、この発生レート(origination rate)はライブ・オーディオ・ストリーム298のインターバル情報の中に入っているか、そこから得られている。
【0197】
データ・ストリームに入っているサンプル情報には、いくつかの方法で時間インターバル情報を収めることができる。1つの方法は、各サンプルまたはサンプル・グループにタイムスタンプを関連づけることである。さらに、データのフォーマット自体にサンプル・レートを意味させることもできる。例えば、データ・フォーマットの定義によって、一定時間インターバル(例えば、ビデオ・サンプルでは1/30秒単位、オーディオ・データでは1/22,050秒単位)で各サンプルをとることができる。さらに、タイムスタンプがレンダリング処理ユニットでクロックと整合されるプレゼンテーション時間を示すようにすれば、特定のサンプルをいつレンダリングまたは「プレゼンテーション」するべきかを判断することができる。また、タイムスタンプは、タイムスタンプ間の相対的差から時間インターバル情報を知ることができる、ある種の他の時間値を示すこともできる。最後に、データ・フォーマットとタイムスタンプ情報をミックスして使用すると、処理される参照データ・ストリーム内の位置に基づいてタイムクロックを作成するときに必要になる時間インターバル情報を得ることができる。
【0198】
以上から理解されるように、時間またはデータ・ギャップに基づいて、データ・ストリームの中に「中断(discontinuities) 」をコーディングすることができる。時間的中断とは、レコーディングがある時刻に終了し、その後のある時刻に突然開始するときのように、ストリームが単純に別のプレゼンテーション時刻にジャンプすることである。データの中断とは、沈黙の周期をあるコードで表し、そのあとに沈黙の持続時間が続くといったように、ストリームがそのストリームの中により効率的にコーディングできる反復データの周期をもつことができる場所である。
【0199】
マスタ・クロック316から得られるある時間値はデータ・サンプルのストリームに入っている時間インターバル情報に基づいており、メディア時間と呼ばれている。メディア時間は、マスタ・ストリーム内の位置を表しているので位置時間であり、この場合、マスタ・ストリームはライブ・オーディオ・ストリーム298として選択されている。さらに、処理がオーディオ・レンダラ296で終了したとき、メディア時間もマスタ・クロック316で凍結される。データ・ストリーム内の中断はストリーム内のその「位置」まで処理され、基礎となるハードウェア・オシレータまたは他のソースを使用して時間の進みをトラッキングすることによって、中断にある間進み続ける。このようにすると、複数のデータ・ストリームを、時間またはデータの中断を有するデータ・ストリームと同期させることができる。
【0200】
ビデオ・レンダラ306をマスタ・クロック316に入っているメディア時間と同期させ、マスタ・クロックの方をライブ・オーディオ・ストリーム298に入っている時間インターバル情報に基づかせると、メディア時間はライブ・オーディオ・ストリーム296がオーディオ・レンダラ296で処理される時だけ進む(「刻時(ticks) 」)ので、停止または休止状態を管理するためのオーバヘッドが不要になる。
【0201】
以上から理解されるように、ビデオ・ストリーム308も、同期化と同時にレート整合を行う必要がある。ビデオ・ストリーム308のレート整合はライブ・オーディオ・ストリーム298およびオーディオ・レンダラ296に関して以下で説明するのと同じ方法で行われる。当然のことであるが、ライブ・ビデオ・ストリーム308のレート整合はビデオ・レンダラ306のハードウェア・オシレータ(物理時間)に基づいている。
【0202】
マスタ・クロック316から得られるものとして、オーディオ・レンダラ296内の基礎となるハードウェアに基づく物理時間もある。物理時間は、オーディオ・レンダラ296がアクティブ状態でオーディオ・データを処理しているか、停止または休止状態にあるかに関係なく、進んでいくのが通常である。さらに、メディア時間(発生側ハードウェア処理レートを表す)および物理時間(オーディオ・レンダラ296での実際の処理レートを表す)の進みレートをサンプリングすると、レートが相対的に整合されるようにオーディオ・レンダラで調整を行ってライブ・オーディオ・データ298を処理することができる。
【0203】
レート整合は、ストリーム・データをローカル・ディスクや他の記憶デバイスから読み取るといったように、データ発生のレートがプロセッサの制御下に置かれているときは重要な問題とならないが、データを連続的に発生する「ライブ」データ・ストリームを処理し、発生レートがプロセッサの制御下に置かれていないときは重要な問題となる。ここで用いられている「ライブ」データまたはメディア・ストリームとは、処理コンポーネントの制御下に置かれていないレートで発生するストリームのことであり、完全にリアルタイムで処理されないと失われるようなストリームである。ライブ・データ・ストリームの例としては、次のようなものがあるが、これらに限定されるものではない。つまり、ストリームがローカルまたはネットワーク接続を介してリアルタイムで発生するようなリアルタイム・フィード、リアルタイム・フィードであるか、ネットワークを介して送られてきたストア済みデータであるかに関係なく、ストリームをネットワーク接続から受信することなどがある。いずれの場合も、ストリームはその受信と同時に処理されなければならない。
【0204】
ライブ・メディア・ストリームが発生させるデータが多すぎるため、オーディオ・レンダラ296が処理できないときは、オーディオ・レンダラ296は、バッファリング容量に限りがあるためデータ「あふれ(follding)」と呼ばれる状態が起こり、最終的にはデータを失うことになる。他方、ライブ・オーディオ・ストリーム298がオーディオ・レンダラ296よりも低レートでデータを発生する場合には、オーディオ・レンダラ296には、処理すべきデータがなくなるというデータ「枯渇(starvation)」状態が起こることになる。どちらの場合も、オーディオ・レンダラ296でのレンダリング・レートを、ライブ・オーディオ・ストリーム298内の時間インターバル情報で表されている発生レートに一致するように調整を行うと、ライブ・オーディオ・ストリーム298のレンダリングが高品質に行われるという利点がある。
【0205】
レート補正調整を行う1つの方法は、オーディオ・レンダラにデータ枯渇が起こらないようにデータ・サンプルを周期的に複製するか、あるいはオーディオ・レンダラがその能力を超えて出力するライブ・オーディオ・ストリーム298に追いつくようにサンプルを捨てることである。どちらの場合も、データ・サンプルの複製または破棄は、スピーカ302で知覚される影響量が最小になるようにストリーム処理時に間隔を置いて行うのが賢明である。
【0206】
マスタ・クロック316と直接に同期をとるのではなく、マスタ・クロック316に入っているメディア時間に一致するように別のクロックのタイムベースを変換するか、あるいはマスタ・クロック316のメディア時間に一致するように別のメディア・ストリーム内のプレゼンテーション時間情報を変換するようにすると便利である。この変換を行いやすくするために、マスタ・クロック316は2つの別個の時間値、つまり、メディア時間値と他のコンポーネントに共通の参照時間値とからなる相関メディア時間値を提供し、これをアトミック・オペレーションで行ってタイミング誤差の発生を低減化している。相関物理時間値も提供される。
【0207】
参照時間は、すべての処理コンポーネントが利用できるPCクロックまたはシステム上の他のクロック・メカニズムに基づいているのが代表的であるが、別のクロックを選択することも可能である。アトミック・オペレーションはネーティブ・システム機能を利用して、中断または干渉量を最小にして両方の値が取り出せるように実装する。相関時間(メディアまたは物理)はフィルタなどの別の処理コンポーネントが使用して、メディア時間と参照時間との相対的オフセットまたはデルタを判断し、発生誤差を最小にして必要な変換を行うことができる。これについては、以下で詳しく説明する。
【0208】
次に、図19および図20を参照して説明すると、上述したクロック・メカニズムは前述した相互接続フィルタ・システムと共に実装されている。図19、オーディオ・ストリームと同期がとられ、マスタ・クロック・メカニズムから同期化情報を受け取るライブ・ビデオ・ストリーム処理フィルタの集合を示している。図20は、マスタ・クロック・メカニズムのマスタ時間参照を生成するために使用されるライブ・オーディオ・ストリームをレンダリングするための相互接続フィルタの集合を示している。
【0209】
まず、図19に示すビデオ・ストリーム処理コンポーネントについて説明すると、ライブ・ビデオ・ストリーム320は矢印324で示すように、ビデオ・リーダ・フィルタ322によって受信される。ライブ・ビデオ・ストリーム320のソースとしては、コンピュータに置かれたオンボード・ディジタル化ハードウェア、コンピュータ・ネットワーク経由で受信されるディジタル・サンプルのパケットなどがある。ライブ・ビデオ・ストリーム320は実際のビデオ・イメージにレンダリングできるディジタル化サンプルから構成され、これらのサンプルは前述したように時間インターバル情報が関連づけられている。この場合も、ここで説明している相互接続フィルタ・システムによれば、ビデオ・リーダ・フィルタ322はファイル・オブジェクトで表されている。
【0210】
ビデオ・リーダ・フィルタ322は、ビデオ・デコンプレッサ・フィルタ330上の入力ピン・インスタンス328に接続された出力ピン・インスタンス326をもっている。ビデオ・デコンプレッサ・フィルタ330はライブ・ビデオ・データを圧縮フォーマットで受信し、そのデータをビデオ・レンダリング・ハードウェアに受け付けられるフォーマットに伸張する。ビデオ・データのフレームを処理すると、ビデオ・デコンプレッサ・フィルタはコントロールをビデオ・レンダラ・フィルタ332に渡す。ビデオ・レンダラ・フィルタ332とビデオ・デコンプレッサ・フィルタ330との接続は、それぞれ出力ピン・インスタンス334と入力ピン・インスタンス336によって行われる。
【0211】
入力ピン・インスタンス336は同期化のためのタイミング指示を、ボックス338と破線340で示すように、オーディオ・ストリーム処理コンポーネント内のマスタ・クロック・メカニズムから受信する(図18参照)。この同期化タイミング情報を受信するには、さまざまな方法が可能である。まず、図19と図20に示すフィルタ・グラフ・トポロジを相互接続する制御エージェント342はマスタ・オーディオ・ストリーム内の特定の位置(つまり、時間)に基づいてクロック・メカニズム344にイベント通知を行わせることも、特定の時間インターバルを選択してインターバル・イベント通知を行うことも可能である。別の方法として、ビデオ・レンダラ・フィルタ332はクロック・メカニズム344に照会することも可能である(図20参照)。クロック・メカニズム344はファイル・オブジェクトで表されているので、制御エージェント342はクロック・メカニズム344への該当する参照を入力ピン・インスタンス336またはビデオ・レンダラ・フィルタ332に対して行うことができるので、ビデオ・レンダラ・フィルタ332はクロック・メカニズムに照会して相関時間値を得て、必要ならば変換を行うことも、メディア時間値を得て処理が同期化されていることを確かめることもできる。
【0212】
最後に、ビデオ・レンダラ・フィルタ332はビデオ・ハードウェア346を制御し、データを矢印348で示すようにそこへ転送する。ビデオ・ハードウェア346はデータをレンダリングし、イメージをモニタ350から表示させるビデオ信号を生成する。
【0213】
次に、図20を参照して、ライブ・オーディオ・ストリームの処理コンポーネントについて詳しく説明する。この場合も、同じ制御エージェント342は、必要な入力ピン・インスタンスおよび出力ピン・インスタンスと一緒にそれぞれのフィルタ・インスタンスを作成し、それぞれのフィルタ間の相互接続を行うが、カーネル・モード・フィルタ・グラフ・トポロジ全体を作成するのは制御エージェント342である。
【0214】
ライブ・オーディオ・ストリーム352は最初に、矢印356で示すようにオーディオ・リーダ・フィルタ354によってフィルタ・グラフ・トポロジに持ち込まれる。データはそれぞれの出力ピン・インスタンス360と入力ピン・インスタンス362を使用してオーディオ・リーダ・ファイルに接続されているオーディオ・デコンプレッサ・フィルタ358によって伸張される。この場合も、ここで説明している各フィルタと接続ピン・インスタンスはファイル・オブジェクトで表され、前述したように作成される。
【0215】
オーディオ・デコンプレッサ・フィルタ358は、出力ピン・インスタンス366と入力ピン・インスタンス368を通してオーディオ・レンダラ・フィルタ364に接続されている。入力ピン・インスタンス368と関連づけられているものとして、メディア時間、物理時間、および/または相関時間を提供またはその通知を他のエンティティへ送信するクロック・メカニズム344のインスタンス、特に、ボックス370と破線372で示すようにビデオ・レンダラ・フィルタ332(図19参照)の入力ピン・インスタンス336がある。クロック・メカニズム344の実際の実装と利用可能性については、以下で詳しく説明する。このクロック・メカニズム344を使用すると、他のデータ・ストリームは、図20に示すようにその処理を「マスタ」または「参照」オーディオ・ストリーム352の処理と同期化することができる。
【0216】
オーディオ・レンダラ・フィルタ364はオーディオ・ハードウェア374を制御し、制御情報とデータを矢印376で示すように引き渡す。オーディオ・ハードウェアは、オーディオ・レンダラ・フィルタ364の制御の下で、ディジタル化データ・サンプルをスピーカ378へ送信し、そこから知覚されるようにするリアルタイム電子信号にレンダリングする。
【0217】
相互接続カーネル・モード・フィルタを前述したように作成するとき、各フィルタ・インスタンスはシステムが利用できる「デバイス」から作成される。このようにすると、ビデオ・リーダ・フィルタ322とオーディオ・リーダ・フィルタ354は同じファイル・リーダ・デバイスの別々のインスタンスにすることができる。
【0218】
さらに、特定のフィルタは接続ピン・インスタンスを作成するために多数の接続ピン・ファクトリをサポートできるので、ビデオ・デコンプレッサ・フィルタ330とオーディオ・デコンプレッサは同じデコンプレッサ・デバイスのインスタンスにすることができる。制御エージェントがそれぞれのフィルタ・インスタンス上に接続ピン・インスタンスを作成するとき、フィルタを通して処理されるデータのタイプに応じて異なるピン・ファクトリが接続ピン・インスタンスを作成するときのテンプレートとして選択される。これは、ここで説明している相互接続カーネル・モード・フィルタ・システムが本来的に備えた柔軟性である。
【0219】
クロック・メカニズム344を形成するためには、制御エージェント342は、オーディオ・レンダラ・フィルタ364上の入力ピン・インスタンス368のように、接続ピン・インスタンスに照会してクロック・メカニズムが使用可能であるかどうかを判断するのが代表的である。他の実装では、制御エージェント342は接続ピン・インスタンス上にクロック・メカニズムを作成することを試みるだけで、クロック・メカニズムが使用可能かどうかを試行錯誤で判断できるようになっている。さらに、クロック・メカニズムはユーザ・モードで存在し、そのクロックまたは他のメカニズムのカーネル・モード・プロキシを通して通知などを、カーネル・モードのフィルタの入力ピン・インスタンスに送信することができる。
【0220】
実施の形態では、選択した規則により、タイミング・イベント通知とクロック・メカニズムは入力接続ピン・インスタンスと関連づけられて通常見つけられる。しかし、明らかなように、ファイル・オブジェクトで表されたどのエンティティも、イベント要求をIRPを通して受け取ることも、前のIRP要求を通して直接プロシージャ・コール・テーブルを検索した後で直接プロシージャ・コールで受け取ることも可能である。
【0221】
デフォルトとして実装したクロック・メカニズムがシステムに用意されているので、これをソフトウェア・フィルタ開発者に提供または利用できるようにすると、余分のコードを開発しなくてもタイミング機能を得ることが可能である。どのクロック・メカニズム(デフォルト版またはカスタムとして供給)の形成も、作成要求の中でGUIDストリング値を指定することによって行われるが、このストリング値は接続ピン・インスタンス・バリデーション・テーブルで使用されて、クロック・メカニズムを接続ピン・インスタンス上に作成するための正しい作成ハンドラをアクセスできるようにする。ファイル・オブジェクトの作成、バリデーション、およびIRPの指定のプロセスは図3〜図8を参照して詳しく前述した通りである。接続ピン・インスタンスを作成するのと同じように、クロック・メカニズム作成要求は正しくパス選択し、正当性を調べることができる。
【0222】
システムに用意されているデフォルト・クロックを使用するためには、ドライバ開発者は作成し、システムに用意している作成ハンドラの中からデフォルト・クロック作成メソッドをコールする。この作成ハンドラは接続ピン・インスタンスを表すファイル・オブジェクトのコンテキスト・エリアから前述したようにアクセスされる。従って、ドライバ開発者はドライバ専用クロック・メカニズムを実装し、適切なドライバ専用作成ハンドラはバリデーション・テーブルに置かれることになる。作成ハンドラ開発の複雑性はクロック機能をコーディングし、実装するのではなく、デフォルト・クロック作成メソッドをコールすることによって低減化される。
【0223】
クロック・メカニズムをこれまでに説明してきた相互接続フィルタ・システムに従って作成する場合は、そのクロック・メカニズムは特定のプロパティ集合とイベント集合をサポートしていなければならない。当然のことながら、デフォルト・クロック・メカニズムは特定の集合をサポートしているが、フィルタ専用クロック・メカニズムの場合は、フィルタ開発者はクロック・メカニズムのプロパティ集合とイベント集合を実装するコードを書いて、用意しておく必要がある。
このようにすると、クロック・メカニズムへのハンドルをもつ制御エージェントは特定の集合がサポートされるかどうかを照会し、クロック・メカニズムの操作方法を知ることができる。以下に示す表4は、クロック・メカニズムのプロパティ集合に含めることができる、いくつかのプロパティを示したものである。
【0224】
【表10】
Figure 0004575528
【0225】
【表11】
Figure 0004575528
【0226】
【表12】
Figure 0004575528
【0227】
【表13】
Figure 0004575528
【0228】
この分野の当業者ならば理解されるように、表4にリストされている以外のプロパティまたは表4にリストされているプロパティのサブセットを使用して、ここで説明している相互接続フィルタ・システムに準拠する機能をもつクロック・メカニズム・プロパティ集合を作ることも可能である。さらに、プロパティ集合メカニズムには柔軟性があるので、独自のタイミング機能をもつフィルタ開発者は独自のGUIDをもつ別のプロパティ集合を追加することによって「必須」のプロパティ集合を拡張すると、より拡張した機能を得ることができる。集合メカニズムには、フィルタ開発者が最小限の機能量を実施して、フィルタをシステム・アーキテクチャに準拠させることができるという柔軟性があると同時に、フィルタ開発者がカストマイズして追加の機能を追加できるという無限性がある。
【0229】
プロパティ集合によると、カーネル・モード・フィルタなどの他の処理コンポーネントは関係する時間プロパティについて照会することができるが、クロック・メカニズムはイベント集合もサポートするので、通知をイベント通知IRPを通して関係のクロック・メカニズム・クライアントに直接に送信することができる。ファイル・オブジェクトのハンドルはイベントを割込み可能にする一部としてクロック・メカニズムに「登録」しておくと、クロック・メカニズムはイベント通知をどこに送信すべきかを知ることができる。オプションとして、直接関数コール・ハンドルはDPC処理がカーネル・モード・エンティティ間で行えるように使用すると、パフォーマンスを向上することができる。
【0230】
以下に示す表5は、コンプライアント・ドライバにサポートさせることができるイベント集合を構成する、起こり得る通知イベントのいくつかを示したものである。サード・パーティ制御エージェントはイベントを受け取るエンティティを、特定のフィルタ・グラフ・トポロジに基づいて相互接続または登録することができる。
【0231】
【表14】
Figure 0004575528
【0232】
当業者ならば理解されるように、他のタイミング関係イベントをクロック・メカニズムに対して作成することが可能である。例えば、イベントはクロック・メカニズムがサポートできる異種の時間別(つまり、メディア時間または物理時間)に分類することが可能である。さらに、インターバル・イベントと位置イベント、さらには状態変化に基づく他のイベントのエレメントを組み合わせると、「ハイブリッド」イベントにすることも可能である。
【0233】
次に、図21(A)を参照して説明すると、同図は、1つまたは2つ以上の「スレーブ」処理コンポーネントまたはフィルタを、「マスタ」メディア処理時間に基づいて同期化する方法を示している。ステップ380からスタートして、スレーブ処理コンポーネントまたはフィルタはステップ382でマスタ・クロック・メディア時間値を受信する。この受信は、スレーブ・フィルタまたはコンポーネントがマスタ・クロック・メカニズムに照会してメディア時間値を得ることによって行われるが、マスタ・クロック・メカニズムが通知をスレーブ処理コンポーネントまたはフィルタに送信することも可能である。図21(A)のフローチャートに示されている方法を図19と図20に示すフィルタ・グラフ・トポロジに適用すると、クロック・メカニズムは、ビデオ・レンダラ・フィルタ332の入力ピン・インスタンス336とスレーブ処理コンポーネントして通信するファイル・オブジェクトによって表される。
【0234】
なお、使用されるメディア時間値はマスタ・データ・ストリームの処理によって左右される。メディア・レンダリングが休止または停止されると、時間は同期をとる目的のための停止されることになる。
【0235】
スレーブ処理コンポーネントまたはフィルタはステップ384で、マスタ・クロック・メディア時間値をスレーブ・データ・ストリーム・メディア時間値と比較して、スレーブ・メディア処理がどれだけ進んでいたか、あるいは遅れていたかを判断する。なお、メディア時間は実際のデータ・サンプルのストリーム内の時間インターバル情報に基づいているので、位置時間として見ることができる。
言い換えれば、同期化とは、ストリーム内の同じ相対時間位置で2つのデータ・ストリームを処理することである。
【0236】
ステップ388で終了する前に、スレーブ処理コンポーネントまたはフィルタはステップ386でマスタ・メディア処理時間に一致するようにスレーブ・メディア処理を調整する。この調整としては、スレーブ・メディア・ストリーム処理を減速または加速すること、基礎となるハードウェア・プロセッサのレートを変更すること、などがある。
【0237】
メディア・ストリーム処理レートを減速することは、処理すべきサンプルを複製し、間欠的時間遅延を引き起こし、あるいは再サンプリングすることによって達成される。メディア・ストリーム処理を加速することは、処理すべきメディア・サンプルを省くか、再サンプリングすることによって達成される。この分野の当業者ならば理解されるように、変更が必要であると判断された後でメディア処理レートを調整する方法は多数存在する。
【0238】
以上から理解されるように、図19と図20に示すトポロジ例では、入力ピン・インスタンス336はビデオ・レンダラ・フィルタ332のタイミング通知を受信する。ビデオ・レンダラ・フィルタ332は必要とされる調整を処理に行って図19のビデオ・ストリームの処理を図20のオーディオ・ストリームの処理と同期させる。
【0239】
次に、図21(B)のフローチャートを参照して、ライブまたはリアルタイム・オーディオ・ストリーム発生レートを処理コンポーネントまたはフィルタの処理レートとレート整合する処理ステップについて説明する。ステップ390でスタートした後、物理時間サンプルはステップ392で処理コンポーネントまたはフィルタで受信される。この場合も、これは、クロック・メカニズムに照会するか、あるいはタイミング・イベント通知を受信することによって行われる。図20に示すように、最終的にはオーディオ・レンダラ・フィルタ364でレンダリングされるライブ・オーディオ・ストリーム352の処理では、関係する処理コンポーネントはイベント通知と制御情報が入力ピン・インスタンス368で受信されたときオーディオ・レンダラ・フィルタ364となる。また、クロック・メカニズム344は異なるタイミング情報を提供する。
【0240】
ステップ392で受信された物理時間サンプルから、これらの時間サンプル間で処理されたデータ量をステップ394で使用すると、物理時間レートを計算または判断することができる。物理時間レートとは、オーディオ・ハードウェアが実際にデータをレンダリングするときのレートであり、データ・レンダリング・スループットを表し、フィルタ処理レートとも呼ばれている。ライブ・データ・ストリームのソースがフィルタ処理レートよりも早い発生レートでデータ・サンプルを発生すると、余剰データが発生する。発生レートがフィルタ処理レート以下であれば、データ処理のギャップまたは枯渇が発生する。どちらの場合も、パフォーマンスが低下することになる。
【0241】
データ・サンプルを発生するプロセッサの実際の処理レート、つまり、発生レートは、メディアまたはデータ・サンプル自体から判断することができる。メディア・サンプルは規則または実際のタイムスタンプ情報の形態になった時間インターバル情報をもっているので、メディア時間サンプルはステップ396でメディア・ストリームから計算することができる。これにより、メディア・サンプルを作成したハードウェアの処理レートを表す発生レートは、一定のデータ処理量を使用し、この処理量をメディア時間サンプルから判断されたそのデータ処理時間で除すことにより計算することができる。
【0242】
ステップ400で終了する前に、メディア・ストリーム処理はステップ398で発生レートをフィルタ処理レートに一致させるように調整される。この場合も、調整はレンダリングするサンプルを省き、サンプル・レンダリング間に時間遅延を追加し、この分野で公知の他の方法によって行うことができる。
【0243】
次に、図21(C)に示すフローチャートを参照して、クロック・メカニズムを使用して変換を行うための処理ステップについて説明する。ステップ402でスタートした後、処理コンポーネントまたはフィルタはステップ404でクロック・メカニズムから相関時間値を受信する。なお、処理コンポーネントまたはフィルタはPCクロックのように、相関時間値の参照時間値部分を生成する参照時間クロックにアクセスすることができる。メディア時間データは、PCクロックまたは以前に受信された相関時間値に入っている他の参照時間値からメディア時間値を減算することによってステップ406で計算される。メディア時間データは変換のために処理コンポーネントまたはフィルタによって使用され、PCクロック時間からのメディア時間の変化を示している。
【0244】
変換を行うためには、処理コンポーネントまたはフィルタはステップ408で現在のPCクロック時間値(または他の参照時間値)を取得する。処理コンポーネントまたはフィルタでの現在メディア時間は、ステップ410で現在PCクロック時間値とマスタ・メディア・デルタを使用して変換することができる。メディア時間デルタは、参照時間を基準にしたPCクロック時間からのメディア時間の変化を示しているので、これを現在PCクロック時間値に加えるだけで、タイムスタンプ情報の正しい「変換」または新時間値を得ることができる。ステップ410で変換プロセスを終了すると、処理はステップ412で終了する。この通信がDSPなどのリモート・プロセッサ上の2つのコンポーネント間で行われる場合は、参照時間値はPC時間ではなく、ローカル・ホスト時間となる。
【0245】
図21(C)のフローチャートに示す変換のメソッドを相互接続カーネル・モード・フィルタに適用して図19と図20に示すライブ・オーディオとビデオ・ストリームを処理し、レンダリングする場合は、ステップ404でクロック・メカニズム344から相関時間値を受信するのはビデオ・レンダラ・フィルタ332上の入力ピン・インスタンス336である。最後に、ライブ・ビデオ・ストリーム320上のタイムスタンプの計算と変換を行うか、あるいはクロック・メカニズム344のメディア時間に基づいて変換参照時間を作成するのは、ビデオ・レンダラ・フィルタ332である。
【0246】
この分野の当業者ならば理解されるように、本明細書に開示されている相互接続フィルタのシステムにおいては、均一バッファ割当て機能とタイミング機能は実施上の問題解決の要件に応じて、処理効率向上のために組み合わせて使用することも、単独で使用することも可能である。さらに、タイミング機能は、相互接続フィルタのシステムから独立して使用することも可能である。
【0247】
この分野の精通者ならば理解されるように、本発明の種々方法はコンピュータ・プログラム・コード手段として、磁気ディスク、CD−ROM、およびこの分野で共通している他の媒体やまだ未開発の他の共通媒体などの、コンピュータ読取り可能媒体上にストアされるコンピュータ命令として組み込んでおくことが可能である。さらに、コンピュータ・ハードウェア・メモリに置かれる重要なデータ構造は、上記のようなコンピュータ・プログラム・コード手段をオペレーションにより作成することができる。
【0248】
本発明は本発明の基本的特徴の精神から逸脱しない限り、他の実施形態で実現することも可能である。上述してきた各種実施の形態はすべての点で説明した通りであるが、これらの実施の形態に限定されるものではない。従って、本発明の範囲は上述してきた説明によってではなく、特許請求の範囲に記載されている事項によってのみ限定されるものである。特許請求の範囲の等価技術の意味と範囲に属する一切の変更は本発明の範囲に属するものである。
【図面の簡単な説明】
【図1】制御エージェントの指示を受けてサウンド・データをディスク・ファイルから持ち込み、サウンド・データをなんらかの形態で処理し、サウンド・データをレンダリングしてスピーカから再生させる相互接続フィルタとドライバのシステムを示す従来技術のデータ・フロー図である。
【図2】図1に示すシステムと目的が同じであり、サウンド・データをディスク・ドライバから読み取り、そのデータを処理し、そのデータをレンダリングしてスピーカから聞こえるようにし、処理フィルタとレンダリングは、この場合も制御エージェントの指示を受けて相互接続カーネル・モード・ドライバによって処理されるようした本発明によるシステムを示す図である。
【図3】オペレーティング・システムで作成され、使用されるドライバ・オブジェクト、デバイス・オブジェクトおよびファイル・オブジェクト間の関係を示す垂直関係モデルを示す図である。
【図4】ドライバ・オブジェクトのロジック・ブロック図であり、本発明のシステムに従ってメッセージを適切なプロセス・ハンドリング・コードへ転送し、新しいファイル・オブジェクトの作成をバリデーションするためのデータ構造およびプログラム・コードとの論理的関係を示す図である。
【図5】デバイス・オブジェクトのロジック・ブロック図であり、本発明のシステムに従ってメッセージを適切なプロセス・ハンドリング・コードへ転送し、新しいファイル・オブジェクトの作成をバリデーションするためのデータ構造およびプログラム・コードとの論理的関係を示す図である。
【図6】ファイル・オブジェクトのロジック・ブロック図であり、本発明のシステムに従ってメッセージを適切なプロセス・ハンドリング・コードへ転送し、新しいファイル・オブジェクトの作成をバリデーションするためのデータ構造およびプログラム・コードとの論理的関係を示す図である。
【図7】ルーチングとバリデーション・コンポーネントリの初期セットアップとカーネル・モード・ドライバによる入出力メッセージの処理を示すフローチャートである。
【図8】制御エージェントの処理、ルーチングとバリデーション・メカニズム、および新しいファイル・オブジェクトを作成する具体的な作成ハンドラ・ルーチンを示す詳細フローチャートである。
【図9】オペレーティング・システムでファイル・オブジェクト構造を利用して、接続を標準化された方法で行う接続フィルタ間の水平関係を示すロジック図である。
【図10】図9のカーネル・モード・フィルタまたはドライバを作成し、接続するためにユーザ・モードの制御エージェントによってとられる処理ステップを示すフローチャートであり、制御エージェントから受け取った入出力要求を処理するために接続を行い、その処理が異なるドライバ(フィルタ)間で続けられる様子を示している。
【図11】ユーザ・モードの制御エージェントの指示を受けてカーネル・モード・フィルタのチェインを作成するために使用され、サウンド・データをハード・ドライブから読み取り、カーネル・モード・フィルタでそのデータを処理し、そのデータをレンダリングしてスピーカから聞こえるようにするシステムを実装するためのカーネル・モード・ドライバと接続を示す概要ロジック図である。
【図12】ユーザ・モードの制御エージェントの指示を受けてカーネル・モード・フィルタのチェインを作成するために使用され、サウンド・データをハード・ドライブから読み取り、カーネル・モード・フィルタでそのデータを処理し、そのデータをレンダリングしてスピーカから聞こえるようにするシステムを実装するためのカーネル・モード・ドライバと接続を示す概要ロジック図である。
【図13】図11と図12に示すシステム用に相互接続カーネル・モード・ドライバを作成するための処理ステップを示すフローチャートである。
【図14】バッファ割当てメカニズムがどのような働きをするかを示す図であり、割当てられたバッファ・フレームがある処理コンポーネントから別の処理コンポーネントへ渡されるときの、バッファ・フレームの論理的構成と処理を示す。
【図15】バッファ割当てメカニズムがどのような働きをするかを示す図であり、相互接続カーネル・モード・フィルタのシステムにおいて入力ピン・インスタンスを表すファイル・オブジェクトの「子」であるファイル・オブジェクトとして表されるバッファ・アロケータを示している。図14と図15はどちらも同じフィルタ・グラフ・トポロジを示している。
【図16】図11および図12に示すシステムの遷移において、バッファ・フレームの割当てを制御するバッファ・アロケータを利用して行われるバッファ割当てを示す図である。
【図17】相互接続カーネル・モード・フィルタのチェインを通してデータをディスク・ドライバから持ち込んで、サウンド処理ハードウェア上でデータをレンダリングする処理ステップを示すフローチャートであり、具体的には、バッファ・アロケータのオペレーションと図16に示すシステムでバッファ間で実際に行われるデータ転送を示している。
【図18】2つのライブ・データ・ストリームが単一のマスタ・クロック・メカニズムとどのようにして同期化されるかを示すロジック・ブロック図である。
【図19】図16を参照して詳しく説明されている相互接続フィルタ・システムを使用して実施されている図18のライブ・オーディオ・システムを示すロジック・ブロック図であり、図19はマスタ・クロック同期化信号を受信するライブ・ビデオ・ストリーム・レンダリング・フィルタを示す。
【図20】図16を参照して詳しく説明されている相互接続フィルタ・システムを使用して実施されている図18のライブ・オーディオ・システムを示すロジック・ブロック図であり、図20は両方のストリームを一緒に同期化し、ライブ・オーディオ・データを実際のオーディオ・レンダリング・ハードウェアとレート整合するマスタ・クロック・メカニズムをもつライブ・オーディオ・レンダリング・システムを示す図である。
【図21】(A)ないし(C)は、複数のデータ・ストリームのデータ処理を同期化し、あるデータ・ストリームをハードウェア・レンダラの物理的機能とレート整合し、あるタイムベースを共通タイムベースを使用して別のタイムベースに変換するためにクロック・メカニズムがどうように使用されるかを示す図であり、(A)は同期化処理ステップを示すフローチャート、(B)はレート整合処理ステップを示すフローチャート、(C)は変換処理ステップを示すフローチャートである。
【符号の説明】
44,170,342 制御エージェント
46,262 ディスク・ドライブ
48,182 ディスク・ドライバ
50 リーダ・ドライバ
52 デコンプレッサ・ドライバ
54 効果フィルタ
56 効果プロセッサ
58 レンダリング・ドライバ
62,302 スピーカ
64,76,80 ドライバ・オブジェクト
66 デバイス・オブジェクト
70,72,74,90 ファイル・オブジェクト
78 汎用マルチプレクシング・ディスパッチ機能
82 デバイス・エクステンション・エリア
84,100 ファイル・タイプ・バリデーション・テーブル
86,102 ファイル・オブジェクト・タイプ
88 作成ハンドラ
92 ファイル・コンテキスト・エリア
94 IRP要求ハンドラ・テーブル
96 IRP要求
98 ハンドラ
104 参照
146 フィルタA
148 フィルタB
154,188,202,206,242,248,328,336,362,368 入力ピン・インスタンス
158,192,204,208,240,250,326,334,360,366 出力ピン・インスタンス
172 リーダ・フィルタ
174 デコンプレッサ・フィルタ
176 効果フィルタ
178 サウンド・レンダリング・フィルタ
210 シンク処理コンポーネント
212 バッファ・アロケータ・メカニズム
214,238 ソース処理コンポーネント
216,222 バッファ・アロケータ参照
220 変換処理コンポーネント
224a バッファ・フレーム
244 変換フィルタ
246 シンク・フィルタ
252,264,268 バッファ・アロケータ
256 システム・メモリ
258 サウンド・カード・メモリ
260 システム・メモリ
296 オーディオ・レンダラ
298,352 ライブ・オーディオ・ストリーム
306 ビデオ・レンダラ
308,320 ライブ・ビデオ・ストリーム
312,350 モニタ
316 マスタ・クロック・メカニズム
322 ビデオ・リーダ・フィルタ
328 入力ピン・インスタンス
330 ビデオ・デコンプレッサ・フィルタ
332 ビデオ・レンダリング・フィルタ
344 クロック・メカニズム
346 ビデオ・ハードウェア
354 オーディオ・リーダ・フィルタ
358 オーディオ・デコンプレッサ・フィルタ
364 オーディオ・レンダラ・フィルタ

Claims (16)

  1. データをカーネル・モードで処理することを効率化するようにソフトウェア・ドライバを相互接続し、異なるデータ・ストリームを同期化し、およびハードウェア・プロセッサへの処理コンポーネントの異なるハードウェア・クロックをレート整合するためのタイミング情報を標準化された方法で提供する方法であって、
    オペレーティング・システムの1つまたは2つ以上の、前記カーネル・モードでのドライバを実行するステップと、
    前記ドライバを接続するための1つまたは2つ以上の接続ピン・インスタンスを作成するステップであって、各前記接続ピン・インスタンスは前記ドライバを元に作成され、該ドライバと親子関係にあり、該ドライバ間でデータ伝送のために使用されるものであるステップと、
    前記レート整合と前記異なるデータ・ストリーム同期化のための1つまたは2つ以上のクロックのインスタンスを作成するステップであって、各前記クロックのインスタンスは、前記1つまたは2つ以上の接続ピン・インスタンスの1つと親子関係にあり、前記同期化のために使用され、および基礎となるハードウェア・オシレータに基づいて前記データ・ストリームの位置時間と物理時間を提供するものであるステップと、
    該1つまたは2つ以上の接続ピン・インスタンスを相互接続し、前記カーネル・モードに置かれた前記ドライバを通る連続のデータ・パスが得られるようにするステップであって、前記クロックのインスタンス異なるクロック・メカニズム間でレート整合するときと、前記異なるデータ・ストリームを同期化するときにタイミング情報を利用できるようにするものであるステップと、
    複数のデータ・サンプルの基準データ・ストリームに基づいてマスタクロックの基準を作成するステップであって、各前記データ・サンプルは、前記基準データ・ストリーム内の位置を指示する時間インターバル情報を有し、前記マスタクロックの基準は前記基準データ・ストリームの時間インターバル情報から作成されるものであるステップと、
    1つまたは2つ以上の他のデータ・ストリームを前記基準データ・ストリームと、前記他のデータ・ストリームの処理を調整することにより同期させ、その結果、前記マスタ・クロックの基準に基づいて前記他のデータ・ストリームの位置と、前記基準データ・ストリーム内の位置を一致させるステップと、
    前記ハードウェア・プロセッサのハードウェアのクロック・メカニズムに基づいて、前記処理コンポーネントに、物理時間の基準を提供するステップと、
    前記処理コンポーネントで前記他のデータ・ストリームの処理のレートを調整して、前記物理時間の基準に基づき前記ハードウェアプロセッサでの処理のレートを一致させるステップであって、前記他のデータストリームはそれと関連する時間インターバル情報を有する複数のサンプルを有しているものであるステップと
    を備えていることを特徴とする方法。
  2. 請求項1に記載の方法において、前記1つまたは2つ以上のカーネル・モードのドライバは、共通のハードウェア・オシレータを使用する第1の処理コンポーネントおよび第2の処理コンポーネントを有し、さらに、
    前記第1の処理コンポーネントで、前記第2の処理コンポーネントから相関時間値を受け取るステップであって、前記相関時間値は前記共通のハードウェア・オシレータに基づく、前記第2の処理コンポーネントの指定時間値および共通の物理時間値を有するものであるステップと、
    前記第1の処理コンポーネントにより前記共通のハードウェア・オシレータの現在の値を照会するステップと、
    前記共通のハードウェア・オシレータの現在の時間値および前記第2の処理コンポーネントから受け取った相関時間値に基づいて、前記第1の処理コンポーネントにより、前記第1の処理コンポーネントの指定時間値に変換するステップと
    備えたことを特徴とする方法。
  3. 請求項1または2に記載の方法において、前記各接続ピン・インスタンスはファイル・オブジェクトによって表され、前記ドライバと該接続ピン・インスタンスとの親子関係は、接続ピン・インスタンスファイル・オブジェクトの作成時に関係づけられる前記ドライバを指定することによって作成され、該関係づけられるドライバはシステム上で利用できる入出力デバイスのファイル・オブジェクトとして参照され、各前記クロックのインスタンスはファイル・オブジェクトによって表され、かつ、該クロックのインスタンスと前記接続ピン・インスタンスとの親子関係はクロックのインスタンスのファイル・オブジェクトの作成時に関係づけられる接続ピン・インスタンスファイル・オブジェクトを親として指定することによって作成されることを特徴とする方法。
  4. 請求項1または2に記載の方法において、前記1つまたは2つ以上のドライバ上の前記接続ピン・インスタンスの各々について照会し、前記クロックのインスタンスが使用可能であるかどうかを判断し、特定の接続ピン・インスタンスで同期化またはレート整合を行うためのクロック・メカニズムをインスタンス生成すべきかどうかを判断してから、該1つまたは2つ以上の接続ピン・インスタンスを相互接続するようにするステップをさらに含むことを特徴とする方法。
  5. 請求項1に記載の方法において、前記1つまたは2つ以上のドライバ上の前記1つまたは2つ以上の接続ピン・インスタンスの少なくとも1つは、少なくとも1つの事前定義されたプロパティ集合、メソッド集合、およびイベント集合をサポートし、前記少なくとも1つの接続ピン・インスタンス上のクロックのインスタンスが利用可能であることをサード・パーティの制御エージェントに示して、サード・パーティの制御エージェントがそれぞれの前記接続ピン・インスタンスで前記クロック・メカニズムを作ることを可能にしており、前記クロックのインスタンスは少なくとも1つの事前定義されたプロパティ集合、メソッド集合、およびイベント集合をサポートして、前記それぞれのクロックのインスタンスをサード・パーティの制御エージェントによって判断された通りに制御するようにしたことを特徴とする方法。
  6. 請求項1または2に記載の方法において、
    前記1つまたは2つ以上の接続ピン・インスタンスと関連する、プロパティ集合、メソッド集合、およびイベント集合を定義するステップと、
    前記少なくとも1つの接続ピン・インスタンス上のクロックのインスタンスを利用可能であることのサード・パーティの制御エージェントへの通知を提供するステップと、
    前記サード・パーティの制御エージェントに対して、予め定められたプロパティ集合、メソッド集合およびイベント集合に基づいてそれぞれの前記接続ピン・インスタンス上の前記クロックのインスタンスに対して1つまたは2つ以上のコネクションを形成することを許すステップと
    をさらに備えたことを特徴とする方法。
  7. 請求項1または2に記載の方法において、前記マスタクロックの基準はプロパティ集合の一部分としてアクセスされることを特徴とする方法。
  8. 請求項1または2に記載の方法において、前記マスタクロックの基準は、前記サード・パーティの制御エージェントによる要求に対する応答において作成される、選択的にインスタンスを作成することが可能なクロックのインスタンスの一部分であることを特徴とする方法。
  9. 請求項1または2に記載の方法において、前記時間インターバル情報は前記データ・サンプル上のタイムスタンプにより与えられることを特徴とする方法。
  10. 請求項1または2に記載の方法において、前記時間インターバル情報は所与のメディア・ストリームの中に含まれる情報であることを特徴とする方法。
  11. 請求項1または2に記載の方法において、前記物理時間の基準はプロパティ集合の一部分としてアクセスされることを特徴とする方法。
  12. 請求項1または2に記載の方法において、前記物理時間の基準は、サード・パーティの制御エージェントによる要求に対する応答において作成される、選択的にインスタンスを作成することが可能なクロックのインスタンスの一部分であることを特徴とする方法。
  13. 請求項1または2に記載の方法において、前記時間インターバル情報はデータ・サンプル上のタイムスタンプにより与えられることを特徴とする方法。
  14. 請求項1または2に記載の方法において、前記時間インターバル情報は所与のデータ・ストリームの中に含まれる情報であることを特徴とする方法。
  15. 請求項2に記載の方法において、前記第2の処理コンポーネントの前記指定時間値は、それと関連のある時間インターバル情報を有するデータ・ストリーム内の位置に基づく位置時間値であることを特徴とする方法。
  16. 請求項2に記載の方法において、前記第2の処理コンポーネントの前記指定時間値はハードウェア・オシレータに基づく物理的な時間値であることを特徴とする方法。
JP18062597A 1997-04-04 1997-06-20 標準クロック・メカニズムを用いて、多重データ・ストリームの処理の同期と異なる処理速度のマッチングを行う方法 Expired - Lifetime JP4575528B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/826,560 1997-04-04
US08/826,560 US5815689A (en) 1997-04-04 1997-04-04 Method and computer program product for synchronizing the processing of multiple data streams and matching disparate processing rates using a standardized clock mechanism

Publications (2)

Publication Number Publication Date
JPH10283199A JPH10283199A (ja) 1998-10-23
JP4575528B2 true JP4575528B2 (ja) 2010-11-04

Family

ID=25246895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18062597A Expired - Lifetime JP4575528B2 (ja) 1997-04-04 1997-06-20 標準クロック・メカニズムを用いて、多重データ・ストリームの処理の同期と異なる処理速度のマッチングを行う方法

Country Status (5)

Country Link
US (1) US5815689A (ja)
EP (1) EP0869443B1 (ja)
JP (1) JP4575528B2 (ja)
CA (1) CA2208418C (ja)
DE (1) DE69739687D1 (ja)

Families Citing this family (191)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5253275A (en) 1991-01-07 1993-10-12 H. Lee Browne Audio and video transmission and receiving system
US6002720A (en) 1991-01-07 1999-12-14 H. Lee Browne, D/B/A Greenwich Information Technologies Llc Audio and video transmission and receiving system
US6223204B1 (en) * 1996-12-18 2001-04-24 Sun Microsystems, Inc. User level adaptive thread blocking
JP3097737B2 (ja) * 1997-01-27 2000-10-10 日本電気株式会社 バーストクロック対応メモリ回路
US6016515A (en) * 1997-04-04 2000-01-18 Microsoft Corporation Method, computer program product, and data structure for validating creation of and routing messages to file object
US6643712B1 (en) 1997-04-04 2003-11-04 Microsoft Corporation Validating the creation of and routing of messages to file objects
US6105147A (en) * 1997-04-16 2000-08-15 Compaq Computer Corporation Using process pairs as transaction-coordinated resource managers
US6058388A (en) * 1997-06-16 2000-05-02 Compaq Computer Corporation Implementation of escrow-locking scalar quantities via process-pair resource managers
US6128615A (en) * 1997-06-17 2000-10-03 Compaq Computer Corporation Process-pair resource manager implementation of object bags
KR100248404B1 (ko) * 1997-09-04 2000-03-15 정선종 다중 객체 환경에서 우선 순위 정보를 이용한 순화적 계산량 감소 방법
AU1411799A (en) * 1997-11-18 1999-06-07 Tridium Research, Inc. Method and apparatus for phase-locking a plurality of display devices and multi-level driver for use therewith
US6665835B1 (en) * 1997-12-23 2003-12-16 Verizon Laboratories, Inc. Real time media journaler with a timing event coordinator
US6317760B1 (en) 1998-01-14 2001-11-13 Microsoft Corporation Extensible ordered information within a web page
US6810503B1 (en) * 1998-02-11 2004-10-26 Microsoft Corporation Method and apparatus for controlling the timing of the invocation of events within a computer runtime environment
US6810358B1 (en) * 1998-03-24 2004-10-26 Exergetic Systems Llc Method to synchronize data when used for input/loss performance monitoring of a power plant
US7042526B1 (en) * 1998-04-08 2006-05-09 Microsoft Corporation Worldwide television tuning system with country code based tuning
US6340997B1 (en) * 1998-04-08 2002-01-22 Microsoft Corporation Worldwide television tuning system with object-based tuning control modules
US7272298B1 (en) 1998-05-06 2007-09-18 Burst.Com, Inc. System and method for time-shifted program viewing
US6243753B1 (en) * 1998-06-12 2001-06-05 Microsoft Corporation Method, system, and computer program product for creating a raw data channel form an integrating component to a series of kernel mode filters
US6563863B1 (en) * 1998-06-22 2003-05-13 Ati International Srl Computer modem
US6061802A (en) * 1998-07-02 2000-05-09 Advanced Micro Devices, Inc. Software based clock synchronization
US6279058B1 (en) 1998-07-02 2001-08-21 Advanced Micro Devices, Inc. Master isochronous clock structure having a clock controller coupling to a CPU and two data buses
US6202164B1 (en) 1998-07-02 2001-03-13 Advanced Micro Devices, Inc. Data rate synchronization by frame rate adjustment
US8577205B2 (en) 1998-07-30 2013-11-05 Tivo Inc. Digital video recording system
US7558472B2 (en) 2000-08-22 2009-07-07 Tivo Inc. Multimedia signal processing system
US6233389B1 (en) 1998-07-30 2001-05-15 Tivo, Inc. Multimedia time warping system
US8380041B2 (en) 1998-07-30 2013-02-19 Tivo Inc. Transportable digital video recorder system
US7020878B1 (en) 1998-08-28 2006-03-28 Oracle International Corporation System for allocating resource using the weight that represents a limitation on number of allowance active sessions associated with each resource consumer group
US7526767B1 (en) * 1998-08-28 2009-04-28 Oracle International Corporation Methods for automatic group switching according to a resource plan
US7451448B1 (en) 1998-08-28 2008-11-11 Oracle International Corporation Methods for selectively quiescing a computer system
US6622171B2 (en) * 1998-09-15 2003-09-16 Microsoft Corporation Multimedia timeline modification in networked client/server systems
US6807667B1 (en) * 1998-09-21 2004-10-19 Microsoft Corporation Method and system of an application program interface for abstracting network traffic control components to application programs
US7047554B1 (en) * 1998-12-09 2006-05-16 Intel Corporation System and method for integrating and controlling audio/video devices
US6850691B1 (en) 1999-03-30 2005-02-01 Tivo, Inc. Automatic playback overshoot correction system
US7007096B1 (en) 1999-05-12 2006-02-28 Microsoft Corporation Efficient splitting and mixing of streaming-data frames for processing through multiple processing modules
US6658477B1 (en) * 1999-05-12 2003-12-02 Microsoft Corporation Improving the control of streaming data through multiple processing modules
US6745368B1 (en) 1999-06-11 2004-06-01 Liberate Technologies Methods, apparatus, and systems for storing, retrieving and playing multimedia data
US6438750B1 (en) * 1999-06-18 2002-08-20 Phoenix Technologies Ltd. Determining loading time of an operating system
EP1395912A2 (en) * 1999-09-07 2004-03-10 Liberate Technologies LLC Methods, apparatus, and systems for storing, retrieving and playing multimedia data
US7904317B1 (en) * 1999-10-14 2011-03-08 The TriZetto Group Method and apparatus for repricing a reimbursement claim against a contract
AU1375101A (en) * 1999-11-09 2001-06-06 University Of Victoria Innovation And Development Corporation Modified move to rear list system and methods for thread scheduling
US6594773B1 (en) * 1999-11-12 2003-07-15 Microsoft Corporation Adaptive control of streaming data in a graph
CA2397740C (en) * 2000-01-14 2015-06-30 Catavault Method and system for secure registration, storage, management and linkage of personal authentication credentials data over a network
US6754709B1 (en) * 2000-03-29 2004-06-22 Microsoft Corporation Application programming interface and generalized network address translator for intelligent transparent application gateway processes
US6961631B1 (en) * 2000-04-12 2005-11-01 Microsoft Corporation Extensible kernel-mode audio processing architecture
US6646195B1 (en) * 2000-04-12 2003-11-11 Microsoft Corporation Kernel-mode audio processing modules
US7096416B1 (en) * 2000-10-30 2006-08-22 Autovod Methods and apparatuses for synchronizing mixed-media data files
US6993604B2 (en) * 2000-11-15 2006-01-31 Seagate Technology Llc Dynamic buffer size allocation for multiplexed streaming
US7114162B2 (en) * 2000-12-06 2006-09-26 Microsoft Corporation System and methods for generating and managing filter strings in a filter graph
US6774919B2 (en) * 2000-12-06 2004-08-10 Microsoft Corporation Interface and related methods for reducing source accesses in a development system
US6768499B2 (en) * 2000-12-06 2004-07-27 Microsoft Corporation Methods and systems for processing media content
US7103677B2 (en) * 2000-12-06 2006-09-05 Microsoft Corporation Methods and systems for efficiently processing compressed and uncompressed media content
US7447754B2 (en) 2000-12-06 2008-11-04 Microsoft Corporation Methods and systems for processing multi-media editing projects
US6959438B2 (en) 2000-12-06 2005-10-25 Microsoft Corporation Interface and related methods for dynamically generating a filter graph in a development system
US7287226B2 (en) 2000-12-06 2007-10-23 Microsoft Corporation Methods and systems for effecting video transitions represented by bitmaps
US6983466B2 (en) 2000-12-06 2006-01-03 Microsoft Corporation Multimedia project processing systems and multimedia project processing matrix systems
US6882891B2 (en) 2000-12-06 2005-04-19 Microsoft Corporation Methods and systems for mixing digital audio signals
WO2002079896A2 (en) * 2001-03-30 2002-10-10 British Telecommunications Public Limited Company Multi-modal interface
US20020145622A1 (en) * 2001-04-09 2002-10-10 International Business Machines Corporation Proxy content editing system
US7280738B2 (en) 2001-04-09 2007-10-09 International Business Machines Corporation Method and system for specifying a selection of content segments stored in different formats
US6870887B2 (en) * 2001-04-09 2005-03-22 International Business Machines Corporation Method and system for synchronization between different content encoding formats
US20020172309A1 (en) * 2001-05-15 2002-11-21 International Business Machines Corporation Universal clock reference
US7571445B2 (en) * 2001-11-29 2009-08-04 Dell Products L.P. System and method for dynamic device driver support in an open source operating system
US7391791B2 (en) * 2001-12-17 2008-06-24 Implicit Networks, Inc. Method and system for synchronization of content rendering
US6930620B2 (en) * 2002-01-15 2005-08-16 Microsoft Corporation Methods and systems for synchronizing data streams
CA2480663A1 (en) * 2002-03-28 2003-10-09 British Telecommunications Public Limited Company Synchronisation in multi-modal interfaces
EP1357537B1 (en) * 2002-04-26 2008-05-14 Yamaha Corporation Stream data processing system and method
AU2003297275A1 (en) * 2002-11-15 2004-06-15 Big Champagne, Llc. Monitor file storage and transfer on a peer-to-peer network
JP2006511058A (ja) * 2002-12-20 2006-03-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ハロゲン白熱ランプ
US7010538B1 (en) 2003-03-15 2006-03-07 Damian Black Method for distributed RDSMS
US7133818B2 (en) * 2003-04-17 2006-11-07 Sun Microsystems, Inc. Method and apparatus for accelerated post-silicon testing and random number generation
US7880909B2 (en) * 2003-05-20 2011-02-01 Bukowski Mark A Extensible framework for parsing varying formats of print stream data
US7639716B2 (en) * 2003-07-04 2009-12-29 University College Dublin, National University Of Ireland, Dublin System and method for determining clock skew in a packet-based telephony session
US7613767B2 (en) 2003-07-11 2009-11-03 Microsoft Corporation Resolving a distributed topology to stream data
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US9207905B2 (en) 2003-07-28 2015-12-08 Sonos, Inc. Method and apparatus for providing synchrony group status information
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US7089604B2 (en) * 2003-11-05 2006-08-15 Wright Glenn H Toilet support device and method
US7712108B2 (en) * 2003-12-08 2010-05-04 Microsoft Corporation Media processing methods, systems and application program interfaces
US7733962B2 (en) 2003-12-08 2010-06-08 Microsoft Corporation Reconstructed frame caching
US7900140B2 (en) * 2003-12-08 2011-03-01 Microsoft Corporation Media processing methods, systems and application program interfaces
US7735096B2 (en) * 2003-12-11 2010-06-08 Microsoft Corporation Destination application program interfaces
US8768494B1 (en) 2003-12-22 2014-07-01 Nvidia Corporation System and method for generating policy-based audio
KR100630052B1 (ko) * 2004-01-26 2006-09-27 삼성전자주식회사 실시간 전송 프로토콜 데이터의 전송을 위한 처리 시스템 및 방법
US7669113B1 (en) * 2004-01-30 2010-02-23 Apple Inc. Media stream synchronization using device and host clocks
US20050185718A1 (en) * 2004-02-09 2005-08-25 Microsoft Corporation Pipeline quality control
US7941739B1 (en) 2004-02-19 2011-05-10 Microsoft Corporation Timeline source
US7934159B1 (en) 2004-02-19 2011-04-26 Microsoft Corporation Media timeline
US7664882B2 (en) * 2004-02-21 2010-02-16 Microsoft Corporation System and method for accessing multimedia content
US7359898B1 (en) * 2004-02-26 2008-04-15 Yahoo! Inc. Scoring mechanism selection along multiple dimensions
US7870039B1 (en) 2004-02-27 2011-01-11 Yahoo! Inc. Automatic product categorization
US7577940B2 (en) * 2004-03-08 2009-08-18 Microsoft Corporation Managing topology changes in media applications
US7609653B2 (en) * 2004-03-08 2009-10-27 Microsoft Corporation Resolving partial media topologies
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US9374607B2 (en) 2012-06-26 2016-06-21 Sonos, Inc. Media playback system with guest access
US7574274B2 (en) * 2004-04-14 2009-08-11 Nvidia Corporation Method and system for synchronizing audio processing modules
US7669206B2 (en) * 2004-04-20 2010-02-23 Microsoft Corporation Dynamic redirection of streaming media between computing devices
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US7756594B2 (en) * 2004-06-14 2010-07-13 Microsoft Corporation Systems and methods for parsing flexible audio codec topologies
US20060041895A1 (en) * 2004-08-04 2006-02-23 Microsoft Corporation Systems and methods for interfacing with codecs across an architecture optimized for audio
US7590065B2 (en) * 2004-08-04 2009-09-15 Microsoft Corporation Equal-opportunity bandwidth regulation
US7590750B2 (en) * 2004-09-10 2009-09-15 Microsoft Corporation Systems and methods for multimedia remoting over terminal server connections
US7706901B2 (en) * 2004-10-01 2010-04-27 Microsoft Corporation Low latency real-time audio streaming
US20060085376A1 (en) * 2004-10-14 2006-04-20 The Trizetto Group, Inc. Centralized management of software adapters
US8768729B2 (en) 2004-10-14 2014-07-01 Trizetto Corporation System and method for using a first electronic representation of contract terms for generating a second electronic representation of the contract terms
US20060085361A1 (en) * 2004-10-14 2006-04-20 The Trizetto Group, Inc. Anomaly detector in a health care system using adapter
US8099736B2 (en) 2004-10-14 2012-01-17 The Trizetto Group, Inc. Systems and methods providing intelligent routing of data between software systems
US20060127881A1 (en) * 2004-10-25 2006-06-15 Brigham And Women's Hospital Automated segmentation, classification, and tracking of cell nuclei in time-lapse microscopy
CA2588630C (en) 2004-11-19 2013-08-20 Tivo Inc. Method and apparatus for secure transfer of previously broadcasted content
US8738787B2 (en) 2005-04-20 2014-05-27 Limelight Networks, Inc. Ad server integration
US8291095B2 (en) * 2005-04-20 2012-10-16 Limelight Networks, Inc. Methods and systems for content insertion
US20060253860A1 (en) * 2005-05-09 2006-11-09 The Trizetto Group, Inc. Systems and methods for interfacing an application of a first type with multiple applications of a second type
US7827562B1 (en) 2005-06-16 2010-11-02 The Trizetto Group, Inc. System and method for flexible publishing and consumption of data between disparate applications
US7948557B2 (en) 2005-06-22 2011-05-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating a control signal for a film event system
KR100664961B1 (ko) * 2005-09-29 2007-01-04 삼성전자주식회사 다중 음향 출력을 지원하는 모바일 기기
US7835366B2 (en) * 2005-11-01 2010-11-16 Ciena Corporation Three-way message exchange clock synchronization
US7885859B2 (en) * 2006-03-10 2011-02-08 Yahoo! Inc. Assigning into one set of categories information that has been assigned to other sets of categories
US20080036911A1 (en) * 2006-05-05 2008-02-14 Robert Noory Method and apparatus for synchronizing a graphics signal according to a reference signal
US8131696B2 (en) * 2006-05-19 2012-03-06 Oracle International Corporation Sequence event processing using append-only tables
US8762395B2 (en) 2006-05-19 2014-06-24 Oracle International Corporation Evaluating event-generated data using append-only tables
US20080033750A1 (en) * 2006-06-02 2008-02-07 The Trizetto Group, Inc. Enhanced systems and methods for processing of healthcare information
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
KR100861104B1 (ko) * 2006-10-16 2008-09-30 킹스정보통신(주) 유에스비 키보드의 보안장치 및 그 방법
TW200820125A (en) * 2006-10-24 2008-05-01 Sunplus Technology Co Ltd Image processing method and system for personal computer
EP2595152A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Transkoding apparatus
US20080250190A1 (en) * 2007-04-03 2008-10-09 Brian Johnson Portable memory device operating system and method of using same
US7657333B2 (en) * 2007-09-27 2010-02-02 Rockwell Automation Technologies, Inc. Adjustment of data collection rate based on anomaly detection
US8165450B2 (en) 2007-11-19 2012-04-24 Echostar Technologies L.L.C. Methods and apparatus for filtering content in a video stream using text data
US8136140B2 (en) 2007-11-20 2012-03-13 Dish Network L.L.C. Methods and apparatus for generating metadata utilized to filter content from a video stream using text data
US8165451B2 (en) 2007-11-20 2012-04-24 Echostar Technologies L.L.C. Methods and apparatus for displaying information regarding interstitials of a video stream
US8341454B1 (en) 2007-12-28 2012-12-25 Marvell International Ltd. Rendering a video stream based on digital clock generated based on timing information
US7925640B2 (en) * 2008-02-14 2011-04-12 Oracle America, Inc. Dynamic multiple inheritance method dispatch data structure including an m-table size, i-table containing one or more holder addressor regions and type extension testing by frugal perfect hashing
US8606085B2 (en) 2008-03-20 2013-12-10 Dish Network L.L.C. Method and apparatus for replacement of audio data in recorded audio/video stream
US8156520B2 (en) 2008-05-30 2012-04-10 EchoStar Technologies, L.L.C. Methods and apparatus for presenting substitute content in an audio/video stream using text data
US20100151845A1 (en) * 2008-12-15 2010-06-17 Rountree Collin Legault Presence based communication control
US8510771B2 (en) 2008-12-24 2013-08-13 Echostar Technologies L.L.C. Methods and apparatus for filtering content from a presentation stream using signature data
US8407735B2 (en) 2008-12-24 2013-03-26 Echostar Technologies L.L.C. Methods and apparatus for identifying segments of content in a presentation stream using signature data
US8588579B2 (en) 2008-12-24 2013-11-19 Echostar Technologies L.L.C. Methods and apparatus for filtering and inserting content into a presentation stream using signature data
US8437617B2 (en) 2009-06-17 2013-05-07 Echostar Technologies L.L.C. Method and apparatus for modifying the presentation of content
US8934758B2 (en) 2010-02-09 2015-01-13 Echostar Global B.V. Methods and apparatus for presenting supplemental content in association with recorded content
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US8756075B1 (en) 2011-05-18 2014-06-17 Trizetto Corporation System and method for processing payment bundles
US10310824B2 (en) 2011-09-07 2019-06-04 Imagine Communications Corp. Distributed ledger platform for computing applications
AU2012307044B2 (en) 2011-09-07 2017-02-02 Imagine Communications Corp. System and methods for developing component-based computing applications
US10296976B1 (en) 2011-09-23 2019-05-21 Cognizant Trizetto Software Group, Inc. System and method for calculating estimated payment based on partial coding data
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US10318923B1 (en) 2012-08-01 2019-06-11 Cognizant Trizetto Software Group, Inc. Payment assurance and claim pre-validation
US8910191B2 (en) 2012-09-13 2014-12-09 Nvidia Corporation Encoder and decoder driver development techniques
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9510055B2 (en) 2013-01-23 2016-11-29 Sonos, Inc. System and method for a media experience social interface
US9307508B2 (en) 2013-04-29 2016-04-05 Google Technology Holdings LLC Systems and methods for syncronizing multiple electronic devices
US20150095679A1 (en) 2013-09-30 2015-04-02 Sonos, Inc. Transitioning A Networked Playback Device Between Operating Modes
US9288596B2 (en) 2013-09-30 2016-03-15 Sonos, Inc. Coordinator device for paired or consolidated players
US9720576B2 (en) 2013-09-30 2017-08-01 Sonos, Inc. Controlling and displaying zones in a multi-zone system
US9654545B2 (en) 2013-09-30 2017-05-16 Sonos, Inc. Group coordinator device selection
US9300647B2 (en) 2014-01-15 2016-03-29 Sonos, Inc. Software application and zones
US9313591B2 (en) 2014-01-27 2016-04-12 Sonos, Inc. Audio synchronization among playback devices using offset information
US20150220498A1 (en) 2014-02-05 2015-08-06 Sonos, Inc. Remote Creation of a Playback Queue for a Future Event
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9679054B2 (en) 2014-03-05 2017-06-13 Sonos, Inc. Webpage media playback
US10708328B2 (en) * 2014-03-17 2020-07-07 Intel Corporation Hardware assisted media playback and capture synchronization
US10587693B2 (en) 2014-04-01 2020-03-10 Sonos, Inc. Mirrored queues
US20150324552A1 (en) 2014-05-12 2015-11-12 Sonos, Inc. Share Restriction for Media Items
US20150356084A1 (en) 2014-06-05 2015-12-10 Sonos, Inc. Social Queue
US9874997B2 (en) 2014-08-08 2018-01-23 Sonos, Inc. Social playback queues
WO2016049342A1 (en) 2014-09-24 2016-03-31 Sonos, Inc. Social media connection recommendations based on playback information
US9723038B2 (en) 2014-09-24 2017-08-01 Sonos, Inc. Social media connection recommendations based on playback information
US9690540B2 (en) 2014-09-24 2017-06-27 Sonos, Inc. Social media queue
US9860286B2 (en) 2014-09-24 2018-01-02 Sonos, Inc. Associating a captured image with a media item
US9667679B2 (en) 2014-09-24 2017-05-30 Sonos, Inc. Indicating an association between a social-media account and a media playback system
US9959087B2 (en) 2014-09-24 2018-05-01 Sonos, Inc. Media item context from social media
US10645130B2 (en) 2014-09-24 2020-05-05 Sonos, Inc. Playback updates
US9571407B2 (en) 2014-12-10 2017-02-14 Limelight Networks, Inc. Strategically scheduling TCP stream transmissions
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US9886234B2 (en) 2016-01-28 2018-02-06 Sonos, Inc. Systems and methods of distributing audio to one or more playback devices
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
US10389764B2 (en) 2016-10-18 2019-08-20 At&T Intellectual Property I, L.P. Network data source time management for data streaming processing system
US10560373B2 (en) * 2017-04-06 2020-02-11 Gvbb Holdings S.A.R.L. System and method for timely and uniform distribution for real-time packet transmission
CN110351496B (zh) * 2019-07-05 2021-11-26 晶晨半导体(上海)股份有限公司 一种信号源的切换分析方法
US11172269B2 (en) 2020-03-04 2021-11-09 Dish Network L.L.C. Automated commercial content shifting in a video streaming system
CN114339353B (zh) * 2021-12-31 2023-09-29 晶晨半导体科技(北京)有限公司 音视频同步方法和装置及电子设备和计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4780893A (en) * 1987-04-16 1988-10-25 Harris Corporation Bit synchronizer
US5625845A (en) * 1992-10-13 1997-04-29 International Business Machines Corporation System for facilitating continuous, real-time, unidirectional, and asynchronous intertask and end-device communication in a multimedia data processing system using open architecture data communication modules
US5420801A (en) * 1992-11-13 1995-05-30 International Business Machines Corporation System and method for synchronization of multimedia streams
US5471576A (en) * 1992-11-16 1995-11-28 International Business Machines Corporation Audio/video synchronization for application programs
US5452435A (en) * 1993-03-31 1995-09-19 Kaleida Labs, Inc. Synchronized clocks and media players
US5608651A (en) * 1995-01-31 1997-03-04 Intel Corporation Method and apparatus for scheduling and mixing media in a multi-media environment
US5623483A (en) * 1995-05-11 1997-04-22 Lucent Technologies Inc. Synchronization system for networked multimedia streams

Also Published As

Publication number Publication date
US5815689A (en) 1998-09-29
JPH10283199A (ja) 1998-10-23
EP0869443B1 (en) 2009-12-09
EP0869443A2 (en) 1998-10-07
DE69739687D1 (de) 2010-01-21
CA2208418A1 (en) 1998-10-04
CA2208418C (en) 2008-05-20
EP0869443A3 (en) 2001-05-09

Similar Documents

Publication Publication Date Title
JP4575528B2 (ja) 標準クロック・メカニズムを用いて、多重データ・ストリームの処理の同期と異なる処理速度のマッチングを行う方法
JP3929551B2 (ja) セパレート・プロセッシング・コンポーネント間のバッファ間データ転送を減らす方法およびコンピュータ読取り可能媒体
JP4684376B2 (ja) カーネル・モードにおけるソフトウェア・ドライバを相互接続する方法,コンピュータ・プログラム・プロダクト、システムおよび記録媒体
JP3929554B2 (ja) ファイル・オブジェクトの生成をバリデーションし、ファイル・オブジェクトへのメッセージをルーチングする方法
US6658477B1 (en) Improving the control of streaming data through multiple processing modules
US7673013B2 (en) Methods and systems for processing multi-media editing projects
US5339413A (en) Data stream protocol for multimedia data streaming data processing system
US7869440B2 (en) Efficient splitting and mixing of streaming-data frames for processing through multiple processing modules
Levergood et al. AudioFile: A network-transparent system for distributed audio applications
US6643712B1 (en) Validating the creation of and routing of messages to file objects
Schmidt et al. Architectures and patterns for developing high-performance, real-time ORB endsystems
US7725920B2 (en) Media foundation media sink
JP2000250868A (ja) 動的データフローブデザイン生成方法
Dibley An Investigation of the XMOS XSl Architecture as a Platform for Development of Audio Control Standards
JP4536266B2 (ja) ストリーミングデータフレームの分割及び混合
Greenbaum Writing Flexible Device Drivers for DSP/BIOS II
Guide QNX® Neutrino® Realtime Operating System
Godskesen et al. Supervisors

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060919

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070206

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20070507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070508

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100510

RD16 Notification of change of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7431

Effective date: 20100512

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100512

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100609

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100723

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100820

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term