JP2014511583A - ワイヤレスディスプレイのためのユーザ入力バックチャネル - Google Patents

Abstract

通信セッションの一部として、ワイヤレスソースデバイスが、ワイヤレスシンクデバイスにオーディオおよびビデオデータを送信することができ、ワイヤレスシンクデバイスは、ワイヤレスシンクデバイスにおいて受信されたユーザ入力データをワイヤレスソースデバイスに送信することができる。このようにして、ワイヤレスシンクデバイスのユーザが、ワイヤレスソースデバイスを制御し、ワイヤレスソースデバイスからワイヤレスシンクデバイスに送信されているコンテンツを制御することができる。ワイヤレスシンクデバイスにおいて受信された入力データはマルチタッチジェスチャであり得る。

Description

本出願は、各々の内容全体が参照により本明細書に組み込まれる、
２０１１年１月２１日に出願された米国仮出願第６１／４３５，１９４号、
２０１１年２月２８日に出願された米国仮出願第６１／４４７，５９２号、
２０１１年３月２日に出願された米国仮出願第６１／４４８，３１２号、
２０１１年３月７日に出願された米国仮出願第６１／４５０，１０１号、
２０１１年３月２５日に出願された米国仮出願第６１／４６７，５３５号、
２０１１年３月２５日に出願された米国仮出願第６１／４６７，５４３号、
２０１１年８月３日に出願された米国仮出願第６１／５１４，８６３号、および
２０１１年１０月７日に出願された米国仮出願第６１／５４４，４４０号
の利益を主張する。

本開示は、ワイヤレスソースデバイスとワイヤレスシンクデバイスとの間でデータを伝送するための技法に関する。

ワイヤレスディスプレイ（ＷＤ：wireless display）またはＷｉ−Ｆｉディスプレイ（ＷＦＤ：Wi-Fi Display）システムは、ワイヤレスソースデバイスと１つまたは複数のワイヤレスシンクデバイスとを含む。ソースデバイスとシンクデバイスの各々とは、ワイヤレス通信機能をもつモバイルデバイスまたはワイヤードデバイスのいずれかであり得る。ソースデバイスとシンクデバイスとのうちの１つまたは複数は、たとえば、携帯電話、ワイヤレス通信カードを備えたポータブルコンピュータ、携帯情報端末（ＰＤＡ）、ポータブルメディアプレーヤ、あるいはいわゆる「スマート」フォンおよび「スマート」パッドもしくはタブレット、電子リーダー、または任意のタイプのワイヤレスディスプレイ、ビデオゲームデバイスを含む、ワイヤレス通信機能をもつ他のそのようなデバイス、あるいは他のタイプのワイヤレス通信デバイスを含み得る。ソースデバイスとシンクデバイスとのうちの１つまたは複数は、また、通信機能を含むテレビジョン、デスクトップコンピュータ、モニタ、プロジェクタなどのワイヤードデバイスも含み得る。

ソースデバイスは、特定のメディアシェアセッションに参加しているシンクデバイスのうちの１つまたは複数にオーディオビデオ（ＡＶ）データなどのメディアデータを送る。メディアデータは、ソースデバイスのローカルディスプレイとシンクデバイスのディスプレイの各々との両方において再生され得る。より具体的には、参加しているシンクデバイスの各々は、それのスクリーンおよびオーディオ機器上で、受信されたメディアデータをレンダリングする。

本開示では、概して、ワイヤレスシンクデバイスがワイヤレスシンクデバイスと通信することができるシステムについて説明する。通信セッションの一部として、ワイヤレスソースデバイスが、ワイヤレスシンクデバイスにオーディオおよびビデオデータを送信することができ、ワイヤレスシンクデバイスは、ワイヤレスシンクデバイスにおいて受信されたユーザ入力をワイヤレスソースデバイスに送信することができる。このようにして、ワイヤレスシンクデバイスのユーザが、ワイヤレスソースデバイスを制御し、ワイヤレスソースデバイスからワイヤレスシンクデバイスに送信されているコンテンツを制御することができる。

一例では、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する方法が、マルチタッチジェスチャについてのユーザ入力データを取得することと、パケットヘッダを生成することと、ペイロードデータを生成することであって、ペイロードデータが、第１のタッチ入力イベントについてのユーザ入力データを第１のポインタ識別情報に関連付け、第２のタッチ入力イベントについてのユーザ入力データを第２のポインタ識別情報に関連付ける、ペイロードデータを生成することと、パケットヘッダとペイロードデータとを備えるデータパケットを生成することと、ワイヤレスソースデバイスにデータパケットを送信することとを含む。

別の例では、ワイヤレスシンクデバイスが、ワイヤレスソースデバイスにユーザ入力データを送信するように構成される。該ワイヤレスシンクデバイスは、命令を記憶するメモリと、命令を実行するように構成された１つまたは複数のプロセッサであって、命令を実行すると、１つまたは複数のプロセッサが、マルチタッチジェスチャについてユーザ入力データを取得することと、パケットヘッダを生成することと、ペイロードデータを生成することであって、ペイロードデータが、第１のタッチ入力イベントについてのユーザ入力データを第１のポインタ識別情報に関連付け、第２のタッチ入力イベントについてのユーザ入力データを第２のポインタ識別情報に関連付ける、ペイロードデータを生成することと、パケットヘッダとペイロードデータとを備えるデータパケットを生成することとを行わせる、１つまたは複数のプロセッサとを含む。該ワイヤレスシンクデバイスは、また、ワイヤレスソースデバイスにデータパケットを送信するように構成されたトランスポートユニットも含む。

別の例では、コンピュータ可読記憶媒体が、１つまたは複数のプロセッサによって実行されると、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する方法を実行することを１つまたは複数のプロセッサに行わせる、命令を記憶する。上記方法は、マルチタッチジェスチャについてのユーザ入力データを取得することと、パケットヘッダを生成することと、ペイロードデータを生成することであって、ペイロードデータが、第１のタッチ入力イベントについてのユーザ入力データを第１のポインタ識別情報に関連付け、第２のタッチ入力イベントについてのユーザ入力データを第２のポインタ識別情報に関連付ける、ペイロードデータを生成することと、パケットヘッダとペイロードデータとを備えるデータパケットを生成することと、ワイヤレスソースデバイスにデータパケットを送信することとを含む。

別の例では、ワイヤレスシンクデバイスが、ワイヤレスソースデバイスにユーザ入力を送信するように構成される。該ワイヤレスシンクデバイスは、マルチタッチジェスチャについてのユーザ入力データを取得するための手段と、パケットヘッダを生成するための手段と、ペイロードデータを生成するための手段であって、ペイロードデータが、第１のタッチ入力イベントについてのユーザ入力データを第１のポインタ識別情報に関連付け、第２のタッチ入力イベントについてのユーザ入力データを第２のポインタ識別情報に関連付ける、ペイロードデータを生成するための手段と、パケットヘッダとペイロードデータとを備えるデータパケットを生成するための手段と、ワイヤレスソースデバイスにデータパケットを送信するための手段とを含む。

別の例では、ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する方法が、データパケットヘッダとペイロードデータとを備えるデータパケットを受信することと、第１のポインタ識別情報を用いた第１のタッチ入力イベントについてのユーザ入力データと、第２のポインタ識別情報を用いた第２のタッチ入力イベントについてのユーザ入力データとを識別するためにペイロードデータをパースすることと、第１のタッチ入力イベントについてのユーザ入力データと第２のタッチ入力イベントについてのユーザ入力データとをマルチタッチジェスチャとして解釈することとを含む。

別の例では、ワイヤレスソースデバイスが、ワイヤレスシンクデバイスからユーザ入力データを受信するように構成される。該ワイヤレスソースデバイスは、データパケットヘッダとペイロードデータとを備えるデータパケットを受信するためのトランスポートユニットと、命令を記憶するメモリと、命令を実行するように構成された１つまたは複数のプロセッサであって、命令を実行すると、１つまたは複数のプロセッサが、第１のポインタ識別情報を用いた第１のタッチ入力イベントについてのユーザ入力データと、第２のポインタ識別情報を用いた第２のタッチ入力イベントについてのユーザ入力データとを識別するためにペイロードデータをパースすることと、第１のタッチ入力イベントについてのユーザ入力データと第２のタッチ入力イベントについてのユーザ入力データとをマルチタッチジェスチャとして解釈することとを行わせる、１つまたは複数のプロセッサとを含む。

別の例では、コンピュータ可読記憶媒体が、１つまたは複数のプロセッサによって実行されると、ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する方法を実行することを１つまたは複数のプロセッサに行わせる、命令を記憶する。上記方法は、データパケットヘッダとペイロードデータとを備えるデータパケットを受信することと、第１のポインタ識別情報を用いた第１のタッチ入力イベントについてのユーザ入力データと、第２のポインタ識別情報を用いた第２のタッチ入力イベントについてのユーザ入力データとを識別するためにペイロードデータをパースすることと、第１のタッチ入力イベントについてのユーザ入力データと第２のタッチ入力イベントについてのユーザ入力データとをマルチタッチジェスチャとして解釈することとを含む。

別の例では、ワイヤレスソースデバイスが、ワイヤレスシンクデバイスからユーザ入力を受信するように構成される。該ワイヤレスソースデバイスは、データパケットヘッダとペイロードデータとを備えるデータパケットを受信するための手段と、第１のポインタ識別情報を用いた第１のタッチ入力イベントについてのユーザ入力データと、第２のポインタ識別情報を用いた第２のタッチ入力イベントについてのユーザ入力データとを識別するためにペイロードデータをパースするための手段と、第１のタッチ入力イベントについてのユーザ入力データと第２のタッチ入力イベントについてのユーザ入力データとをマルチタッチジェスチャとして解釈するための手段とを含む。

本開示の技法を実装し得るソース／シンクシステムの一例を示すブロック図。 ２つのシンクデバイスをもつソース／シンクシステムの一例を示すブロック図。 本開示の技法を実装し得るソースデバイスの一例を示す図。 本開示の技法を実装し得るシンクデバイスの一例を示す図。 本開示の技法を実装し得る送信機システムと受信機システムとのブロック図。 本開示の技法に従って機能ネゴシエーションを実行するための例示的なメッセージ転送シーケンスを示す図。 本開示の技法に従って機能ネゴシエーションを実行するための例示的なメッセージ転送シーケンスを示す図。 シンクデバイスにおいて取得されたユーザ入力データをソースデバイスに配信するために使用され得る例示的なデータパケットを示す図。 ソースデバイスとシンクデバイスとの間の機能ネゴシエーションのために使用され得る本開示の技法を示すフローチャート。 ソースデバイスとシンクデバイスとの間の機能ネゴシエーションのために使用され得る本開示の技法を示すフローチャート。 ユーザ入力データをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 ユーザ入力データをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 ユーザ入力データをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 ユーザ入力データをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 タイムスタンプ情報とユーザ入力データとをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 タイムスタンプ情報とユーザ入力データとをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 タイムスタンプ情報とユーザ入力データとをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 タイムスタンプ情報とユーザ入力データとをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 ボイスコマンドを含むデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 ボイスコマンドを含むデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 マルチタッチユーザ入力コマンドをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 マルチタッチユーザ入力コマンドをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 サードパーティデバイスからフォワーディングされたユーザ入力データをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 サードパーティデバイスからフォワーディングされたユーザ入力データをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 データパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 データパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。

本開示は、概して、ワイヤレスシンクデバイスがワイヤレスシンクデバイスと通信することができるシステムについて説明する。通信セッションの一部として、ワイヤレスソースデバイスが、ワイヤレスシンクデバイスにオーディオおよびビデオデータを送信することができ、ワイヤレスシンクデバイスは、ワイヤレスシンクデバイスにおいて受信されたユーザ入力をワイヤレスソースデバイスに送信することができる。このようにして、ワイヤレスシンクデバイスのユーザが、ワイヤレスソースデバイスを制御し、ワイヤレスソースデバイスからワイヤレスシンクデバイスに送信されているコンテンツを制御することができる。

図１Ａは、本開示の技法のうちの１つまたは複数を実装し得る例示的なソース／シンクシステム１００を示すブロック図である。図１Ａに示すように、システム１００は、通信チャネル１５０を介してシンクデバイス１６０と通信するソースデバイス１２０を含む。ソースデバイス１２０は、オーディオ／ビデオ（Ａ／Ｖ）データ１２１を記憶するメモリと、ディスプレイ１２２と、スピーカー１２３と、オーディオ／ビデオエンコーダ１２４（エンコーダ１２４とも呼ばれる）と、オーディオ／ビデオ制御モジュール１２５と、送信機／受信機（ＴＸ／ＲＸ）ユニット１２６とを含み得る。シンクデバイス１６０は、ディスプレイ１６２と、スピーカー１６３と、オーディオ／ビデオデコーダ１６４（デコーダ１６４とも呼ばれる）と、送信機／受信機ユニット１６６と、ユーザ入力（ＵＩ）デバイス１６７と、ユーザ入力処理モジュール（ＵＩＰＭ：user input processing module）１６８とを含み得る。図示したコンポーネントは、ソース／シンクシステム１００のための１つの例示的な構成をなすにすぎない。他の構成は、図示したコンポーネントよりも少数のコンポーネントを含み得るか、または図示したコンポーネント以外の追加のコンポーネントを含み得る。

図１Ａの例では、ソースデバイス１２０は、オーディオ／ビデオデータ１２１のビデオ部分をディスプレイ１２２上で表示することができ、オーディオ／ビデオデータ１２１のオーディオ部分をスピーカー１２３上で出力することができる。オーディオ／ビデオデータ１２１は、ソースデバイス１２０にローカルに記憶され、ファイルサーバ、ハードドライブ、外部メモリ、ブルーレイ（登録商標）ディスク、ＤＶＤ、または他の物理記憶媒体など、外部記憶媒体からアクセスされ得るか、あるいはインターネットなどのネットワーク接続を介してソースデバイス１２０にストリーミングされ得る。いくつかの事例では、オーディオ／ビデオデータ１２１は、ソースデバイス１２０のカメラとマイクロフォンとを介してリアルタイムでキャプチャされ得る。オーディオ／ビデオデータ１２１は、ムービー、テレビ番組、または音楽など、マルチメディアコンテンツを含み得るが、また、ソースデバイス１２０によって生成されたリアルタイムコンテンツをも含み得る。そのようなリアルタイムコンテンツは、たとえば、ソースデバイス１２０上で動作しているアプリケーションによって生成されるか、または、たとえば、ビデオテレフォニーセッションの一部として、キャプチャされたビデオデータであり得る。より詳細に説明するように、そのようなリアルタイムコンテンツは、いくつかの事例では、ユーザが選択するために利用可能なユーザ入力オプションのビデオフレームを含み得る。いくつかの事例では、オーディオ／ビデオデータ１２１は、ビデオのフレーム上にオーバーレイされたユーザ入力オプションを有するムービーまたはＴＶ番組のビデオフレームなど、異なるタイプのコンテンツの組合せであるビデオフレームを含み得る。

ディスプレイ１２２とスピーカー１２３とを介してオーディオ／ビデオデータ１２１をローカルでレンダリングすることに加えて、ソースデバイス１２０のオーディオ／ビデオエンコーダ１２４は、オーディオ／ビデオデータ１２１を符号化することができ、送信機／受信機ユニット１２６は、符号化されたデータを通信チャネル１５０を介してシンクデバイス１６０に送信することができる。シンクデバイス１６０の送信機／受信機ユニット１６６は、符号化されたデータを受信し、オーディオ／ビデオデコーダ１６４は、符号化されたデータを復号し、復号されたデータをディスプレイ１６２とスピーカー１６３とを介して出力する。このようにして、ディスプレイ１２２とスピーカー１２３とによってレンダリングされているオーディオおよびビデオデータは、ディスプレイ１６２とスピーカー１６３とによって同時にレンダリングされ得る。オーディオデータおよびビデオデータは、フレームで構成されることができ、オーディオフレームは、レンダリングされるときにビデオフレームと時間同期されることができる。

オーディオ／ビデオエンコーダ１２４およびオーディオ／ビデオデコーダ１６４は、代替的にＭＰＥＧ−４、Ｐａｒｔ１０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格、またはＨ．２６５規格と呼ばれることがある新生の高効率ビデオコーディング（ＨＥＶＣ：high efficiency video coding）規格など、任意の数のオーディオおよびビデオ圧縮規格を実装し得る。多くの他のタイプのプロプライエタリなまたは規格化された圧縮技法も使用され得る。概して、オーディオ／ビデオデコーダ１６４は、オーディオ／ビデオエンコーダ１２４の逆のコーディング操作を実行するように構成される。図１Ａには示されていないが、いくつかの態様では、Ａ／Ｖエンコーダ１２４およびＡ／Ｖデコーダ１６４は、それぞれオーディオエンコーダおよびデコーダと統合されることができ、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理することができる。

以下でより詳細に説明するように、Ａ／Ｖエンコーダ１２４は、上記で説明したビデオ圧縮規格を実装することに加えて、他の符号化機能も実行することができる。たとえば、Ａ／Ｖエンコーダ１２４は、Ａ／Ｖデータ１２１がシンクデバイス１６０に送信されるより前に、Ａ／Ｖデータ１２１に様々なタイプのメタデータを追加することができる。いくつかの事例では、Ａ／Ｖデータ１２１は、符号化された形態でソースデバイス１２０に記憶されるかまたはソースデバイス１２０において受信され、したがってＡ／Ｖエンコーダ１２４によるさらなる圧縮を必要としないことがある。

図１Ａは、通信チャネル１５０がオーディオペイロードデータとビデオペイロードデータとを別個に搬送することを示しているが、いくつかの事例では、ビデオペイロードデータとオーディオペイロードデータとは共通のデータストリームの一部であり得ることを理解されたい。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。オーディオ／ビデオエンコーダ１２４およびオーディオ／ビデオデコーダ１６４はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、あるいはそれらの任意の組合せとして実装され得る。オーディオ／ビデオエンコーダ１２４およびオーディオ／ビデオデコーダ１６４の各々は、１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。したがって、ソースデバイス１２０およびシンクデバイス１６０の各々は、本開示の技法のうちの１つまたは複数を実行するように構成された専用の機械を備え得る。

ディスプレイ１２２およびディスプレイ１６２は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なビデオ出力デバイスのいずれかを備え得る。これらまたは他の例では、ディスプレイ１２２および１６２は、それぞれ発光型ディスプレイ（emissive display）または透過型ディスプレイ（transmissive display）であり得る。ディスプレイ１２２およびディスプレイ１６２はまた、それらが同時に入力デバイスとディスプレイデバイスの両方であるような、タッチディスプレイであり得る。そのようなタッチディスプレイは、ユーザがそれぞれのデバイスにユーザ入力を与えることを可能にする、静電容量式、抵抗式、または他のタイプのタッチパネルであり得る。

スピーカー１２３は、ヘッドフォン、シングルスピーカーシステム、マルチスピーカーシステム、またはサラウンドサウンドシステムなど、様々なオーディオ出力デバイスのいずれかを備え得る。さらに、ディスプレイ１２２およびスピーカー１２３はソースデバイス１２０の一部として示され、ディスプレイ１６２およびスピーカー１６３はシンクデバイス１６０の一部として示されているが、ソースデバイス１２０およびシンクデバイス１６０は、実際には複数のデバイスのシステムであり得る。一例として、ディスプレイ１６２はテレビジョンであり得、スピーカー１６３はサラウンドサウンドシステムであり得、デコーダ１６４は、ディスプレイ１６２とスピーカー１６３とにワイヤード接続またはワイヤレス接続された外部ボックスの一部であり得る。他の例では、シンクデバイス１６０は、タブレットコンピュータまたはスマートフォンなど、単一のデバイスであり得る。さらに他の場合、ソースデバイス１２０およびシンクデバイス１６０は、同様のデバイスであり、たとえば、両方がスマートフォン、タブレットコンピュータなどである。この場合、一方のデバイスはソースとして動作し得、他方はシンクとして動作し得る。これらの役割は、後続の通信セッションでは逆になることもある。さらに他の場合、ソースデバイスは、スマートフォン、ラップトップまたはタブレットコンピュータなど、モバイルデバイスを備えることができ、シンクデバイスは、（たとえば、ＡＣ電源コードを用いた）より固定型のデバイスを備えることができ、その場合、ソースデバイスは、シンクデバイスを介して大群衆への提示のためにオーディオおよびビデオデータを配信し得る。

送信機／受信機ユニット１２６および送信機／受信機ユニット１６６は、それぞれ、様々なミキサ、フィルタ、増幅器、および信号変調のために設計された他のコンポーネント、ならびに、１つまたは複数のアンテナ、およびデータを送受信するために設計された他のコンポーネントを含み得る。通信チャネル１５０は、概して、ビデオデータをソースデバイス１２０からシンクデバイス１６０に送信するのに好適な任意の通信媒体、または様々な通信媒体の集合体を表す。通信チャネル１５０は、通常、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）などと同様の比較的短距離の通信チャネルである。ただし、通信チャネル１５０は、この点において必ずしも限定されるものではなく、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体、あるいはワイヤレス媒体とワイヤード媒体との任意の組合せを備え得る。他の例では、通信チャネル１５０は、ワイヤードまたはワイヤレスローカルエリアネットワーク、ワイドエリアネットワーク、あるいはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成することさえある。さらに、通信チャネル１５０は、ピアツーピアリンクを作り出すためにソースデバイス１２０とシンクデバイス１６０とによって使用され得る。ソースデバイス１２０およびシンクデバイス１６０は、ＩＥＥＥ８０２．１１規格ファミリーからの規格などの通信プロトコルを使用して通信チャネル１５０を通じて通信し得る。ソースデバイス１２０およびシンクデバイス１６０は、たとえば、ソースデバイス１２０およびシンクデバイス１６０が、ワイヤレスアクセスポイントまたはいわゆるホットスポットなど、中間物を使用せずに互いと直接通信するように、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ規格に従って通信し得る。ソースデバイス１２０およびシンクデバイス１６０はまた、ネットワーク輻輳を回避または低減するためにトンネルドダイレクトリンクセットアップ（ＴＬＤＳ：tunneled direct link setup）を確立することができる。本開示の技法について時にはＷｉ−Ｆｉに関して説明するが、これらの技法の態様は他の通信プロトコルにも適合し得ることが企図される。限定ではなく例として、ソースデバイス１２０とシンクデバイスとの間のワイヤレス通信は、直交周波数分割多重化（ＯＦＤＭ）技法を利用し得る。これらに限定するものではないが、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、あるいはＯＦＤＭ、ＦＤＭＡ、ＴＤＭＡおよび／またはＣＤＭＡの任意の組合せを含む、多種多様な他のワイヤレス通信技法も使用され得る。ＷｉＦｉ ＤｉｒｅｃｔおよびＴＤＬＳは、比較的短距離の通信セッションをセットアップするように意図されている。ここにおける比較的短距離は、たとえば、７０メートル未満を指し得るが、ノイズの多いまたは遮るもののある環境では、デバイス間の距離は、３５メートル未満など、さらに短いものであり得る。

ソースデバイス１２０から受信されたデータを復号およびレンダリングすることに加えて、シンクデバイス１６０は、また、ユーザ入力デバイス１６７からユーザ入力を受信することができる。ユーザ入力デバイス１６７は、たとえば、キーボード、マウス、トラックボールまたはトラックパッド、タッチスクリーン、ボイスコマンド認識モジュール、あるいは他のそのようなユーザ入力デバイスであり得る。ＵＩＰＭ１６８は、ユーザ入力デバイス１６７によって受信されたユーザ入力コマンドを、ソースデバイス１２０が解釈することが可能であるデータパケット構造へとフォーマットする。そのようなデータパケットは、送信機／受信機１６６によって、通信チャネル１５０を介してソースデバイス１２０に送信される。送信機／受信機ユニット１２６はデータパケットを受信し、Ａ／Ｖ制御モジュール１２５は、ユーザ入力デバイス１６７によって受信されたユーザ入力コマンドを解釈するためにデータパケットをパースする。データパケット中で受信されたコマンドに基づいて、Ａ／Ｖ制御モジュール１２５は、符号化および送信されているコンテンツを変更することができる。このようにして、シンクデバイス１６０のユーザが、リモートで、およびソースデバイス１２０と直接対話することなしに、ソースデバイス１２０によって送信されているオーディオペイロードデータおよびビデオペイロードデータを制御することができる。シンクデバイス１６０のユーザがソースデバイス１２０に送信し得るコマンドのタイプの例は、オーディオおよびビデオデータを巻き戻し、早送りし、一時停止し、および再生するためのコマンド、ならびにズーム、回転、スクロールのためのコマンドなどを含む。また、ユーザは、たとえばオプションのメニューから、選択を行い、その選択をソースデバイス１２０に送信し得る。

さらに、シンクデバイス１６０のユーザは、ソースデバイス１２０上のアプリケーションを起動し、制御することが可能であり得る。たとえば、シンクデバイス１６０のユーザは、ソースデバイス１２０に記憶された写真編集アプリケーションを起動し、そのアプリケーションを使用して、ソースデバイス１２０にローカルに記憶された写真を編集することが可能であり得る。シンクデバイス１６０は、実際には写真がソースデバイス１２０上で編集されているのだが、その写真がシンクデバイス１６０上でローカルで編集されているように見え、感じられる、ユーザエクスペリエンスをユーザにもたらすことができる。そのような構成を使用して、デバイスユーザは、いくつかのデバイスとともに使用するための１つのデバイスの機能を活用することが可能であり得る。たとえば、ソースデバイス１２０は、大量のメモリとハイエンド処理能力とをもつスマートフォンであり得る。ソースデバイス１２０のユーザは、スマートフォンを、スマートフォンが通常使用されるすべての設定および状況において使用し得る。しかしながら、ムービーを見るとき、ユーザは、より大きいディスプレイスクリーンをもつデバイス上でムービーを見ることを望み得、その場合、シンクデバイス１６０は、タブレットコンピュータあるいはさらに大きいディスプレイデバイスまたはテレビジョンであり得る。電子メールを送りたいまたは電子メールに応答したいときには、ユーザは、キーボードを備えたデバイスを使用することを望み得、その場合、シンクデバイス１６０はラップトップであり得る。どちらの場合にも、ユーザは、シンクデバイスと対話しているが、処理の大半は依然としてソースデバイス１２０（この例ではスマートフォン）によって実行され得る。この特定の動作コンテキストでは、処理の大半がソースデバイス１２０によって実行されるので、シンクデバイス１６０は、シンクデバイス１６０がソースデバイス１２０によって行われている処理を行うように求められている場合よりも、より少ないリソースを用いた、より低コストのデバイスであり得る。いくつかの例では、ソースデバイスとシンクデバイスの両方が（タッチスクリーンコマンドなどの）ユーザ入力を受信することが可能であり得、本開示の技法は、所与のセッションにおいてそれらのデバイスの機能をネゴシエートおよび／または識別することによって、二方向対話を容易にし得る。

一部の構成では、Ａ／Ｖ制御モジュール１２５は、ソースデバイス１２５のオペレーティングシステムによって実行されているオペレーティングシステムプロセスであり得る。しかしながら、他の構成では、Ａ／Ｖ制御モジュール１２５は、ソースデバイス１２０上で動作しているアプリケーションのソフトウェアプロセスであり得る。そのような構成では、ユーザ入力コマンドは、ソフトウェアプロセスによって解釈されることができ、その結果、シンクデバイス１６０のユーザは、ソースデバイス１２０上で動作しているオペレーティングシステムとは対照的に、ソースデバイス１２０上で動作しているアプリケーションと直接対話している。オペレーティングシステムとは対照的にアプリケーションと直接対話することによって、シンクデバイス１６０のユーザは、ソースデバイス１２０のオペレーティングシステムに対してネイティブでないコマンドのライブラリへのアクセスを有し得る。さらに、アプリケーションと直接対話することにより、コマンドが、異なるプラットフォーム上で動作しているデバイスによってより容易に送信され、処理されることが可能になり得る。

ソースデバイス１２０は、ワイヤレスシンクデバイス１６０において適用されるユーザ入力に応答することができる。そのような対話型アプリケーション設定では、ワイヤレスシンクデバイス１６０において適用されるユーザ入力は、通信チャネル１５０を通じてワイヤレスディスプレイソースに送り戻され得る。一例では、シンクデバイス１６０が、シンクデバイス１６０において適用されるユーザ入力をソースデバイス１２０に送信できるようにするために、ユーザインターフェースバックチャネル（ＵＩＢＣ：user interface back channel）とも呼ばれる逆方向チャネルアーキテクチャが実装され得る。逆方向チャネルアーキテクチャは、ユーザ入力をトランスポートするための上位レイヤメッセージと、シンクデバイス１６０およびソースデバイス１２０においてユーザインターフェース機能をネゴシエートするための下位レイヤフレームとを含み得る。ＵＩＢＣは、シンクデバイス１６０とソースデバイス１２０との間のインターネットプロトコル（ＩＰ）トランスポートレイヤ上に存在し得る。このようにして、ＵＩＢＣは、開放型システム間相互接続（ＯＳＩ）通信モデルにおいてトランスポートレイヤよりも上にあり得る。一例では、ＯＳＩ通信は、７つのレイヤ（１−物理、２−データリンク、３−ネットワーク、４−トランスポート、５−セッション、６−プレゼンテーション、および７−アプリケーション）を含む。この例では、トランスポートレイヤよりも上にあるとは、レイヤ５、レイヤ６、およびレイヤ７を指す。ユーザ入力データを含んでいるデータパケットの信頼性の高い送信と順次配信とを促進するために、ＵＩＢＣは、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）またはユーザデータグラムプロトコル（ＵＤＰ）など、他のパケットベース通信プロトコルの上で動作するように構成され得る。ＵＤＰおよびＴＣＰは、ＯＳＩレイヤアーキテクチャにおいて並列に動作することができる。ＴＣＰ／ＩＰにより、シンクデバイス１６０およびソースデバイス１２０は、パケットロスの場合に再送信技法を実装することが可能になる。

場合によっては、ソースデバイス１２０に位置するユーザ入力インターフェースとシンクデバイス１６０に位置するユーザ入力インターフェースとの間にミスマッチが存在し得る。そのようなミスマッチによってもたらされる潜在的な問題を解決し、そのような状況下での良好なユーザエクスペリエンスを促進するために、ユーザ入力インターフェース機能ネゴシエーションが、通信セッションを確立するより前に、または通信セッション全体を通じて様々な時間に、ソースデバイス１２０とシンクデバイス１６０との間で行われ得る。このネゴシエーションプロセスの一部として、ソースデバイス１２０とシンクデバイス１６０とは、ネゴシエートされたスクリーン解像度に関して同意し得る。シンクデバイス１６０が、ユーザ入力に関連付けられた座標データを送信するときには、シンクデバイス１６０は、ディスプレイ１６２から取得された座標データを、ネゴシエートされたスクリーン解像度に一致するようにスケーリングすることができる。一例では、シンクデバイス１６０が１２８０×７２０解像度を有し、ソースデバイス１２０が１６００×９００解像度を有する場合、それらのデバイスは、たとえば、それらのネゴシエートされた解像度として１２８０×７２０を使用し得る。ネゴシエートされた解像度は、シンクデバイス１６０の解像度に基づいて選択され得るが、ソースデバイス１２０の解像度または何らかの他の解像度も使用され得る。１２８０×７２０のシンクデバイスが使用される例では、シンクデバイス１６０は、取得されたｘ座標をソースデバイス１２０に送信するより前に、その座標を１６００／１２８０倍でスケーリングすることができ、同様に、シンクデバイス１６０は、取得されたｙ座標をソースデバイス１２０に送信するより前に、その座標を９００／７２０でスケーリングすることができる。他の構成では、ソースデバイス１２０は、取得された座標をネゴシエートされた解像度にスケーリングすることができる。そのスケーリングは、シンクデバイス１６０がソースデバイス１２０よりも高い解像度のディスプレイを使用するのか、またはその逆であるのかに基づいて、座標範囲を増加または減少させ得る。

さらに、いくつかの事例では、シンクデバイス１６０における解像度は、通信セッション中に変動し、ディスプレイ１２２とディスプレイ１６２との間のミスマッチをもたらす可能性がある。ユーザエクスペリエンスを改善し、適切な機能を保証するために、ソース／シンクシステム１００は、スクリーン正規化のための技法を実装することによって、ユーザ対話ミスマッチを低減するまたは防止するための技法を実装し得る。ソースデバイス１２０のディスプレイ１２２とシンクデバイス１６０のディスプレイ１６２とは、異なる解像度および／または異なるアスペクト比を有し得る。さらに、いくつかの設定では、シンクデバイス１６０のユーザは、ソースデバイス１２０から受信されたビデオデータが、シンクデバイス１６０のディスプレイ１６２の全部よりも小さい部分をカバーするウィンドウにおいてレンダリングされるように、ソースデバイス１２０から受信されたビデオデータのためのディスプレイウィンドウをサイズ変更する能力を有し得る。別の例示的な設定では、シンクデバイス１６０のユーザは、横長モード（landscape mode）または縦長モード（portrait mode）のいずれかでコンテンツを閲覧するオプションを有し得、それらのモードの各々は、ユニークな座標および異なるアスペクト比を有する。そのような状況では、マウスクリックまたはタッチイベントが起こる座標など、シンクデバイス１６０において受信されたユーザ入力に関連付けられた座標は、その座標への修正なしにソースデバイス１２０によって処理されることが可能でないことがある。したがって、本開示の技法は、シンクデバイス１６０において受信されたユーザ入力の座標を、ソースデバイス１２０に関連付けられた座標にマッピングすることを含み得る。このマッピングは、本明細書では正規化とも呼ばれ、以下でさらに詳細に説明するように、このマッピングはシンクベースまたはソースベースのいずれかであり得る。

シンクデバイス１６０によって受信されるユーザ入力は、たとえばドライバレベルで、ＵＩモジュール１６７によって受信され、シンクデバイス１６０のオペレーティングシステムに渡され得る。シンクデバイス１６０上のオペレーティングシステムは、ディスプレイ表面上のどこでユーザ入力が行われたかに関連付けられた座標（ｘ_SINK，ｙ_SINK）を受信することができる。この例では、（ｘ_SINK，ｙ_SINK）は、マウスクリックまたはタッチイベントが行われたディスプレイ１６２の座標であり得る。ディスプレイ１６２上でレンダリングされているディスプレイウィンドウは、ディスプレイウィンドウのサイズを記述するｘ座標長さ（Ｌ_DW）とｙ座標幅（Ｗ_DW）とを有し得る。ディスプレイウィンドウは、また、ディスプレイウィンドウのロケーションを記述する左上隅座標（ａ_DW，ｂ_DW）も有し得る。Ｌ_DW、Ｗ_DW、および左上座標（ａ_DW，ｂ_DW）に基づいて、ディスプレイウィンドウによってカバーされるディスプレイ１６２の部分が決定され得る。たとえば、ディスプレイウィンドウの右上隅は座標（ａ_DW＋Ｌ_DW，ｂ_DW）に位置し得、ディスプレイウィンドウの左下隅は座標（ａ_DW，ｂ_DW＋Ｗ_DW）に位置し得、ディスプレイウィンドウの右下隅は座標（ａ_DW＋Ｌ_DW，ｂ_DW＋Ｗ_DW）に位置し得る。シンクデバイス１６０は、入力がディスプレイウィンドウ内の座標において受信された場合、その入力をＵＩＢＣ入力として処理することができる。言い換えれば、関連付けられた座標（ｘ_SINK，ｙ_SINK）を備えた入力は、以下の条件が満たされる場合、ＵＩＢＣ入力として処理され得る。

ユーザ入力がＵＩＢＣ入力であると決定した後、その入力に関連付けられた座標は、ソースデバイス１２０に送信されるより前に、ＵＩＰＭ１６８によって正規化され得る。ディスプレイウィンドウ外にあると決定された入力は、非ＵＩＢＣ入力としてシンクデバイス１６０によってローカルで処理され得る。

上述のように、入力座標の正規化は、ソースベースまたはシンクベースのいずれかであり得る。シンクベースの正規化を実装するときには、ソースデバイス１２０は、ディスプレイ１２２のためのサポートされるディスプレイ解像度（Ｌ_SRC，Ｗ_SRC）を、ビデオデータとともにまたはビデオデータとは切り離して、シンクデバイス１６０に送ることができる。サポートされるディスプレイ解像度は、たとえば、機能ネゴシエーションセッションの一部として送信され得るか、または通信セッション中の別の時間に送信され得る。シンクデバイス１６０は、ディスプレイ１６２のためのディスプレイ解像度（Ｌ_SINK，Ｗ_SINK）と、ソースデバイス１２０から受信されたコンテンツを表示するウィンドウのためのディスプレイウィンドウ解像度（Ｌ_DW，Ｗ_DW）と、ディスプレイウィンドウのための左上隅座標（ａ_DW，ｂ_DW）とを決定することができる。上記で説明したように、ユーザ入力に対応する座標（ｘ_SINK，ｙ_SINK）がディスプレイウィンドウ内にあると決定されたときには、シンクデバイス１６０のオペレーティングシステムは、変換関数を使用して座標（ｘ_SINK，ｙ_SINK）をソース座標（ｘ_SRC，ｙ_SRC）にマッピングすることができる。（ｘ_SINK，ｙ_SINK）を（ｘ_SRC，ｙ_SRC）に変換するための例示的な変換関数は、以下の通りであり得る。

したがって、受信されたユーザ入力に対応する座標を送信するときには、シンクデバイス１６０は、（ｘ_SINK，ｙ_SINK）において受信されたユーザ入力のための座標（ｘ_SRC，ｙ_SRC）を送信することができる。以下でより詳細に説明するように、座標（ｘ_SRC，ｙ_SRC）は、たとえば、シンクデバイス１６０において受信されたユーザ入力をＵＩＢＣを通じてソースデバイス１２０に送信するために使用されるデータパケットの一部として送信され得る。入力座標がデータパケット中に含まれるものとして説明される、本開示の他の部分全体にわたって、それらの座標は、ソース／シンクシステム１００がシンクベースの正規化を実装する事例において上記で説明したように、ソース座標に変換され得る。

ソース／シンクシステム１００がソースベースの正規化を実装するときには、ローカル入力ではなくＵＩＢＣ入力である（すなわち、ディスプレイウィンドウ外ではなくディスプレイウィンドウ内にある）と決定されたユーザ入力について、上記の計算は、シンクデバイス１６０ではなくソースデバイス１２０において実行され得る。そのような計算を容易にするために、シンクデバイス１６０は、Ｌ_DW，Ｗ_DWについての値、ならびにディスプレイウィンドウについてのロケーション情報（たとえばａ_DW，ｂ_DW）、ならびに（ｘ_SINK，ｙ_SINK）についての座標を、ソースデバイス１２０に送信することができる。これらの送信された値を使用して、ソースデバイス１２０は、上記の式３および式４に従って（ｘ_SRC，ｙ_SRC）についての値を決定することができる。

シンクベースの正規化の他の実装形態では、シンクデバイス１６０は、ディスプレイ１６２上のどこでユーザ入力イベントが行われるかではなく、ディスプレイウィンドウ内のどこでユーザ入力イベントが行われるかを記述する、ユーザ入力に関する座標（ｘ_DW，ｙ_DW）を送信することができる。そのような実装形態では、座標（ｘ_DW，ｙ_DW）は、（Ｌ_DW，Ｗ_DW）に関する値とともにソースデバイスに１２０に送信され得る。これらの受信された値に基づいて、ソースデバイス１２０は、以下の変換関数に従って（ｘ_SRC，ｙ_SRC）を決定することができる。

シンクデバイス１６０は、以下の関数に基づいてｘ_DWとｙ_DWとを決定することができる。

本開示が、たとえばデータパケットにおいて、ユーザ入力に関連付けられた座標を送信することについて記載するときには、これらの座標の送信は、上記で説明したようにシンクベースまたはソースベースの正規化を含み得、および／あるいはシンクベースまたはソースベースの正規化を実行するのに必要な任意の追加情報を含み得る。

ＵＩＢＣは、クロスプラットフォームユーザ入力データを含む、様々なタイプのユーザ入力データをトランスポートするように設計され得る。たとえば、ソースデバイス１２０は、ｉＯＳ（登録商標）オペレーティングシステムを実行することができ、一方、シンクデバイス１６０は、Ａｎｄｒｏｉｄ（登録商標）またはＷｉｎｄｏｗｓ（登録商標）など、別のオペレーティングシステムを実行する。プラットフォームにかかわらず、ＵＩＰＭ１６８は、Ａ／Ｖ制御モジュール１２５にとって理解可能な形態で、受信されたユーザ入力をカプセル化することができる。多くの異なるタイプのソースデバイスおよびシンクデバイスが、それらが異なるプラットフォーム上で動作するかどうかにかかわらず、プロトコルを利用できるようにするために、いくつかの異なるタイプのユーザ入力フォーマットがＵＩＢＣによってサポートされ得る。一般入力フォーマットが定義されることができ、プラットフォーム固有入力フォーマットが両方ともサポートされることができ、したがって、ユーザ入力がＵＩＢＣによってソースデバイス１２０とシンクデバイス１６０との間で通信され得る方法のフレキシビリティがもたらされる。

図１Ａの例では、ソースデバイス１２０は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、Ｗｉ−Ｆｉ対応テレビジョン、またはオーディオおよびビデオデータを送信することが可能な他のデバイスを備えることができる。シンクデバイス１６０は、同様に、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、Ｗｉ−Ｆｉ対応テレビジョン、またはオーディオおよびビデオデータを受信し、ユーザ入力データを受信することが可能な他のデバイスを備えることができる。いくつかの事例では、シンクデバイス１６０は、ディスプレイ１６２、スピーカー１６３、ＵＩデバイス１６７、およびＡ／Ｖエンコーダ１６４が、すべて、別個であるが相互動作可能なデバイスの一部であるような、複数のデバイスのシステムを含み得る。ソースデバイス１２０は、同様に、単一のデバイスではなく、複数のデバイスのシステムであることができる。

本開示では、ソースデバイスという用語は、概して、オーディオ／ビデオデータを送信しているデバイスを指すために使用され、シンクデバイスという用語は、概して、ソースデバイスからオーディオ／ビデオデータを受信しているデバイスを指すために使用される。多くの場合、ソースデバイス１２０およびシンクデバイス１６０は、一方のデバイスがソースとして動作し、他方がシンクとして動作する、同様または同一のデバイスであることができる。さらに、これらの役割は、異なる通信セッションでは逆になることがある。したがって、１つの通信セッションにおけるシンクデバイスは、後続の通信セッションではソースデバイスになり得、その逆もまた同様である。

図１Ｂは、本開示の技法を実装し得る例示的なソース／シンクシステム１０１を示すブロック図である。ソース／シンクシステム１０１は、ソースデバイス１２０とシンクデバイス１６０とを含み、それらの各々は、図１Ａについて上記で説明した方法で機能し、動作し得る。ソース／シンクシステム１０１はシンクデバイス１８０をさらに含む。上記で説明したシンクデバイス１６０と同様の方法で、シンクデバイス１８０は、ソースデバイス１２０からオーディオおよびビデオデータを受信し、確立されたＵＩＢＣを通じてソースデバイス１２０にユーザコマンドを送信し得る。いくつかの構成では、シンクデバイス１６０とシンクデバイス１８０とは、互いに独立して動作することができ、ソースデバイス１２０において出力されるオーディオおよびビデオデータは、シンクデバイス１６０とシンクデバイス１８０とにおいて同時に出力され得る。代替構成では、シンクデバイス１６０は１次シンクデバイスであり得、シンクデバイス１８０は２次シンクデバイスであり得る。そのような例示的な構成では、シンクデバイス１６０とシンクデバイス１８０とは結合されることができ、シンクデバイス１６０はビデオデータを表示することができ、シンクデバイス１８０は対応するオーディオデータを出力する。さらに、いくつかの構成では、シンクデバイス１６０は伝送されたビデオデータのみを出力することができ、シンクデバイス１８０は伝送されたオーディオデータのみを出力する。

図２は、ソースデバイス２２０の一例を示すブロック図である。ソースデバイス２２０は、図１Ａ中のソースデバイス１２０と同様のデバイスであることができ、ソースデバイス１２０と同じ方法で動作することができる。ソースデバイス２２０は、ローカルディスプレイ２２２と、ローカルスピーカー２２３と、プロセッサ２３１と、メモリ２３２と、トランスポートユニット２３３と、ワイヤレスモデム２３４とを含む。図２に示すように、ソースデバイス２２０は、トランスポート、記憶、および表示のためにＡ／Ｖデータを符号化および／または復号する１つまたは複数のプロセッサ（すなわちプロセッサ２３１）を含み得る。Ａ／Ｖデータは、たとえばメモリ２３２において記憶され得る。メモリ２３２は、Ａ／Ｖファイル全体を記憶することができ、または、たとえば、別のデバイスまたはソースからストリーミングされた、Ａ／Ｖファイルの一部分を単純に記憶する、より小さいバッファを備えることができる。トランスポートユニット２３３は、符号化Ａ／Ｖデータをネットワークトランスポートのために処理することができる。たとえば、符号化Ａ／Ｖデータは、プロセッサ２３１によって処理され、ネットワーク上での通信のためにトランスポートユニット２３３によってネットワークアクセスレイヤ（ＮＡＬ：Network Access Layer）ユニットにカプセル化されることができる。ＮＡＬユニットは、ワイヤレスモデム２３４によってネットワーク接続を介してワイヤレスシンクデバイスに送られることができる。ワイヤレスモデム２３４は、たとえば、ＩＥＥＥ８０２．１１規格ファミリーのうちの１つを実装するように構成されたＷｉ−Ｆｉモデムであり得る。

また、ソースデバイス２２０は、Ａ／Ｖデータをローカルで処理し、表示することができる。具体的には、ディスプレイプロセッサ２３５は、ローカルディスプレイ２２２上で表示されるようにビデオデータを処理することができ、オーディオプロセッサ２３６は、スピーカー２２３上での出力のためにオーディオデータを処理することができる。

図１Ａのソースデバイス１２０に関して上記で説明したように、ソースデバイス２２０は、また、シンクデバイスからユーザ入力コマンドを受信し得る。このようにして、ソースデバイス２２０のワイヤレスモデム２３４は、ＮＡＬユニットなどのカプセル化されたデータパケットを受信し、カプセル化されたデータユニットをカプセル化解除のためにトランスポートユニット２３３に送る。たとえば、トランスポートユニット２３３は、ＮＡＬユニットからデータパケットを抽出することができ、プロセッサ２３１は、ユーザ入力コマンドを抽出するためにデータパケットをパースすることができる。ユーザ入力コマンドに基づいて、プロセッサ２３１は、ソースデバイス２２０によってシンクデバイスに送信されている符号化Ａ／Ｖデータを調整することができる。このようにして、図１ＡのＡ／Ｖ制御モジュール１２５に関して上記で説明した機能は、完全にまたは部分的に、プロセッサ２３１によって実装され得る。

図２のプロセッサ２３１は、概して、これらに限定するものではないが、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、他の等価な集積回路またはディスクリート論理回路を含む、多種多様なプロセッサのうちのいずれか、あるいはそれらの何らかの組合せを表す。図２のメモリ２３２は、これらに限定するものではないが、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリなどを含む、多種多様な揮発性または不揮発性メモリのうちのいずれかを備え得る。メモリ２３２は、オーディオ／ビデオデータならびに他の種類のデータを記憶するためのコンピュータ可読記憶媒体を備え得る。メモリ２３２は、本開示で説明する様々な技法を実行することの一部としてプロセッサ２３１によって実行される命令およびプログラムコードをさらに記憶し得る。

図３に、シンクデバイス３６０の一例を示す。シンクデバイス３６０は、図１Ａ中のシンクデバイス１６０と同様のデバイスであり得、シンクデバイス１６０と同じ方法で動作し得る。シンクデバイス３６０は、１つまたは複数のプロセッサ（すなわちプロセッサ３３１）と、メモリ３３２と、トランスポートユニット３３３と、ワイヤレスモデム３３４と、ディスプレイプロセッサ３３５と、ローカルディスプレイ３６２と、オーディオプロセッサ３３６と、スピーカー３６３と、ユーザ入力インターフェース３７６とを含む。シンクデバイス３６０は、ワイヤレスモデム３３４において、ソースデバイスから送られたカプセル化されたデータユニットを受信する。ワイヤレスモデム３３４は、たとえば、ＩＥＥＥ８０２．１１規格ファミリーからの１つまたは複数の規格を実装するように構成されたＷｉ−Ｆｉモデムであり得る。トランスポートユニット３３３は、カプセル化されたデータユニットをカプセル化解除することができる。たとえば、トランスポートユニット３３３は、カプセル化されたデータユニットから符号化ビデオデータを抽出し、符号化Ａ／Ｖデータを、出力のために復号され、レンダリングされるように、プロセッサ３３１に送ることができる。ディスプレイプロセッサ３３５は、ローカルディスプレイ３６２上で表示されるように復号ビデオデータを処理することができ、オーディオプロセッサ３３６は、スピーカー３６３上での出力のために復号オーディオデータを処理することができる。

オーディオおよびビデオデータをレンダリングすることに加えて、ワイヤレスシンクデバイス３６０は、また、ユーザ入力インターフェース３７６を通じてユーザ入力データを受信することができる。ユーザ入力インターフェース３７６は、これらに限定するものではないが、タッチディスプレイインターフェース、キーボード、マウス、ボイスコマンドモジュール、（たとえば、カメラベースの入力キャプチャ機能をもつ）ジェスチャキャプチャデバイスを含む、いくつかのユーザ入力デバイスのうちのいずれか、またはいくつかのユーザ入力デバイスのうちの他のユーザ入力デバイスを表すことができる。ユーザ入力インターフェース３７６を通じて受信されたユーザ入力は、プロセッサ３３１によって処理され得る。この処理は、本開示で説明する技法に従って、受信されたユーザ入力コマンドを含むデータパケットを生成することを含み得る。生成されると、トランスポートユニット３３３は、そのデータパケットを、ＵＩＢＣを通じたワイヤレスソースデバイスへのネットワークトランスポートのために処理し得る。

図３のプロセッサ３３１は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、他の等価な集積回路またはディスクリート論理回路など、広範囲のプロセッサのうちの１つまたは複数、あるいはそれらの何らかの組合せを備え得る。図３のメモリ３３２は、これらに限定するものではないが、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリなどを含む、多種多様な揮発性または不揮発性メモリのいずれかを備え得る。メモリ２３２は、オーディオ／ビデオデータならびに他の種類のデータを記憶するためのコンピュータ可読記憶媒体を備え得る。メモリ３３２は、本開示で説明する様々な技法を実行することの一部としてプロセッサ３３１によって実行される命令とプログラムコードとをさらに記憶することができる。

図４に、通信チャネル１５０を通じて通信するために図１Ａの送信機／受信機１２６と送信機／受信機１６６とによって使用され得る、例示的な送信機システム４１０および受信機システム４５０のブロック図を示す。送信機システム４１０において、いくつかのデータストリームについてのトラフィックデータがデータソース４１２から送信（ＴＸ）データプロセッサ４１４に与えられる。各データストリームは、それぞれの送信アンテナを通じて送信され得る。ＴＸデータプロセッサ４１４は、各データストリームについてのトラフィックデータを、そのデータストリームのために選択された特定のコーディングスキームに基づいてフォーマットし、コーディングし、インターリーブする。

各データストリームについてのコード化データは、直交周波数分割多重化（ＯＦＤＭ）技法を使用してパイロットデータと多重化され得る。これらに限定するものではないが、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、あるいはＯＦＤＭ、ＦＤＭＡ、ＴＤＭＡおよび／またはＣＤＭＡの任意の組合せを含む、多種多様な他のワイヤレス通信技法も使用され得る。

図４に一致して、パイロットデータは、通常、既知の方法で処理される既知のデータパターンであり、チャネル応答を推定するために受信機システムにおいて使用され得る。次いで、各データストリームの多重化されたパイロットおよびコード化データは、変調シンボルを提供するために、そのデータストリームに関して選択された特定の変調スキーム（たとえば、２位相シフトキーイング（ＢＰＳＫ）、４位相シフトキーイング（ＱＰＳＫ）、Ｍ−ＰＳＫ、またはＭ−ＱＡＭ（直交振幅変調）、ここでＭは２のべき乗であり得る）に基づいて変調（たとえば、シンボルマッピング）される。各データストリームについてのデータレート、コーディング、および変調は、メモリ４３２に結合され得るプロセッサ４３０によって実行される命令によって決定され得る。

次いで、データストリームに関する変調シンボルがＴＸ ＭＩＭＯプロセッサ４２０に与えられ、ＴＸ ＭＩＭＯプロセッサ４２０はさらに（たとえば、ＯＦＤＭについて）その変調シンボルを処理し得る。次いで、ＴＸ ＭＩＭＯプロセッサ４２０は、Ｎ_T個の変調シンボルストリームをＮ_T個の送信機（ＴＭＴＲ）４２２ａ〜４２２ｔに与えることができる。いくつかの態様では、ＴＸ ＭＩＭＯプロセッサ４２０は、データストリームのシンボルと、シンボルがそこから送信されるアンテナとに、ビームフォーミング重みを適用する。

各送信機４２２は、それぞれのシンボルストリームを受信し、処理して、１つまたは複数のアナログ信号を提供し、さらに、それらのアナログ信号を調整（たとえば、増幅、フィルタ処理、およびアップコンバート）して、ＭＩＭＯチャネルを通じた送信に適した被変調信号を提供することができる。次いで、送信機４２２ａ〜４２２ｔからのＮ_T個の被変調信号は、それぞれ、Ｎ_T個のアンテナ４２４ａ〜４２４ｔから送信される。

受信機システム４５０において、送信された被変調信号は、Ｎ_R個のアンテナ４５２ａ〜４５２ｒによって受信され、各アンテナ４５２からの受信信号は、それぞれの受信機（ＲＣＶＲ）４５４ａ〜４５４ｒに与えられる。受信機４５４は、それぞれの受信信号を調整（たとえば、フィルタ処理、増幅、およびダウンコンバート）し、調整された信号をデジタル化してサンプルを提供し、さらにそれらのサンプルを処理して、対応する「受信」シンボルストリームを提供する。

次いで、受信（ＲＸ）データプロセッサ４６０は、Ｎ_R個の受信機４５４からＮ_R個の受信シンボルストリームを受信し、特定の受信機処理技法に基づいて処理して、Ｎ_T個の「検出」シンボルストリームを提供する。次いで、ＲＸデータプロセッサ４６０は、各検出シンボルストリームを復調し、デインターリーブし、復号して、データストリームについてのトラフィックデータを復元する。ＲＸデータプロセッサ４６０による処理は、送信機システム４１０におけるＴＸ ＭＩＭＯプロセッサ４２０およびＴＸデータプロセッサ４１４によって実行される処理と相補的なものである。

メモリ４７２と結合され得るプロセッサ４７０は、どのプリコーディング行列を使用すべきかを定期的に決定する。逆方向リンクメッセージは、通信リンクおよび／または受信データストリームに関する様々なタイプの情報を含み得る。次いで、逆方向リンクメッセージは、データソース４３６からいくつかのデータストリームについてのトラフィックデータをも受信するＴＸデータプロセッサ４３８によって処理され、変調器４８０によって変調され、送信機４５４ａ〜４５４ｒによって調整され、送信機システム４１０に送り戻される。

送信機システム４１０において、受信機システム４５０からの被変調信号は、アンテナ４２４によって受信され、受信機４２２によって調整され、復調器４４０によって復調され、ＲＸデータプロセッサ４４２によって処理されて、受信機システム４５０によって送信された逆方向リンクメッセージが抽出される。次いで、プロセッサ４３０は、ビームフォーミング重みを決定するためにどのプリコーディング行列を使用すべきかを決定し、次いで、抽出されたメッセージを処理する。

図５Ａは、機能ネゴシエーションセッションの一部としてのソースデバイス５２０とシンクデバイス５６０との間の例示的なメッセージ転送シーケンスを示すブロック図である。機能ネゴシエーションは、ソースデバイス５２０とシンクデバイス５６０との間のより大きい通信セッション確立プロセスの一部として行われ得る。このセッションは、たとえば、基礎をなす接続性規格としてのＷｉ−Ｆｉ ＤｉｒｅｃｔまたはＴＤＬＳによって確立され得る。Ｗｉ−Ｆｉ ＤｉｒｅｃｔまたはＴＤＬＳセッションを確立した後、シンクデバイス５６０は、ソースデバイス５２０とのＴＣＰ接続を開始することができる。ＴＣＰ接続を確立することの一部として、ソースデバイス５２０とシンクデバイス５６０との間の通信セッションを管理するために、リアルタイムストリーミングプロトコル（ＲＴＳＰ：real time streaming protocol）を実行する制御ポートが確立されることができる。

ソースデバイス５２０は、概して、図１Ａのソースデバイス１２０について上記で説明したのと同じ方法で動作し得、シンクデバイス５６０は、概して、図１Ａのシンクデバイス１６０について上記で説明したのと同じ方法で動作し得る。ソースデバイス５２０とシンクデバイス５６０とが接続を確立した後、ソースデバイス５２０とシンクデバイス５６０とは、機能ネゴシエーション交換の一部としてそれらのデバイスの後続の通信セッションのために使用されるべきパラメータのセットを決定し得る。

ソースデバイス５２０とシンクデバイス５６０とは、メッセージのシーケンスを通じて機能をネゴシエートし得る。それらのメッセージは、たとえば、リアルタイムストリーミングプロトコル（ＲＴＳＰ）メッセージであり得る。ネゴシエーションの任意の段階において、ＲＴＳＰ要求メッセージの受信側が、ＲＴＳＰ ＯＫ以外のＲＴＳＰステータスコードを含むＲＴＳＰ応答で応答することができ、その場合、メッセージ交換は、パラメータの異なるセットを用いて再試行されることができ、または機能ネゴシエーションセッションは終了されることができる。

ソースデバイス５２０は、シンクデバイス５６０がサポートするＲＴＳＰ方法のセットを決定するために、シンクデバイス５６０に第１のメッセージ（ＲＴＳＰ ＯＰＴＩＯＮＳ要求メッセージ）を送ることができる。ソースデバイス５２０から第１のメッセージを受信すると、シンクデバイス５６０は、シンク５６０によってサポートされるＲＴＳＰ方法をリストする第２のメッセージ（ＲＴＳＰ ＯＰＴＩＯＮＳ応答メッセージ）で応答することができる。また、第２のメッセージは、ＲＴＳＰ ＯＫステータスコードを含み得る。

ソースデバイス５２０に第２のメッセージを送った後に、シンクデバイス５６０は、ソースデバイス５２０がサポートするＲＴＳＰ方法のセットを決定するために、第３のメッセージ（ＲＴＳＰ ＯＰＴＩＯＮＳ要求メッセージ）を送ることができる。シンクデバイス５６０から第３のメッセージを受信すると、ソースデバイス５２０は、ソースデバイス５２０によってサポートされるＲＴＳＰ方法をリストする第４のメッセージ（ＲＴＳＰ ＯＰＴＩＯＮＳ応答メッセージ）で応答することができる。また、第４のメッセージはＲＴＳＰ ＯＫステータスコードを含むことができる。

第４のメッセージを送った後に、ソースデバイス５２０は、ソースデバイス５２０にとって関心のある機能のリストを指定するために、第５のメッセージ（ＲＴＳＰ ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ要求メッセージ）を送ることができる。シンクデバイス５６０は第６のメッセージ（ＲＴＳＰ ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ応答メッセージ）で応答することができる。第６のメッセージはＲＴＳＰステータスコードを含み得る。ＲＴＳＰステータスコードがＯＫである場合、第６のメッセージは、また、シンクデバイス５６０によってサポートされる、第５のメッセージ中で指定されたパラメータに対する応答パラメータを含むことができる。シンクデバイス５６０は、シンクデバイス５６０がサポートしない第５のメッセージ中のパラメータを無視することができる。

第６のメッセージに基づいて、ソース５２０は、通信セッションのために使用されるべきパラメータの最適セットを決定することができ、シンクデバイス５６０に第７のメッセージ（ＲＴＳＰ ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求メッセージ）を送ることができる。第７のメッセージは、ソースデバイス５２０とシンクデバイス５６０との間の通信セッション中に使用されるべきパラメータセットを含み得る。第７のメッセージは、通信セッションをセットアップするためにＲＴＳＰ Ｓｅｔｕｐ要求中で使用されるべきユニバーサルリソース識別子（ＵＲＩ：Universal Resource Identifier）を記述するｗｆｄ−ｐｒｅｓｅｎｔａｔｉｏｎ−ｕｒｌを含むことができる。ｗｆｄ−ｐｒｅｓｅｎｔａｔｉｏｎ−ｕｒｌは、シンクデバイス５６０がセッション確立交換中に後のメッセージのために使用できるＵＲＩを指定する。このパラメータ中で指定されたｗｆｄ−ｕｒｌ０値およびｗｆｄ−ｕｒｌ１値は、第７のメッセージ中のｗｆｄ−ｃｌｉｅｎｔ−ｒｔｐ−ｐｏｒｔｓ中のｒｔｐ−ｐｏｒｔ０値およびｒｔｐ−ｐｏｒｔ１値の値に対応することができる。この事例におけるＲＴＰは、概して、ＵＤＰの上で動作することができるリアルタイムプロトコルを指す。

第７のメッセージを受信すると、シンクデバイス５６０は、第７のメッセージ中で指定されたパラメータを設定することが成功したかどうかを示すＲＴＳＰステータスコードをもつ、第８のメッセージで応答することができる。上述のように、ソースデバイスとシンクデバイスとの役割は、異なるセッションでは逆になるかまたは変化し得る。通信セッションをセットアップするメッセージの順序は、場合によっては、ソースとして動作するデバイスを定義し、シンクとして動作するデバイスを定義し得る。

図５Ｂは、機能ネゴシエーションセッションの一部としてのソースデバイス５６０とシンクデバイス５２０との間の別の例示的なメッセージ転送シーケンスを示すブロック図である。図５Ｂのメッセージ転送シーケンスは、図５Ａについて上記で説明した転送シーケンスのより詳細な図を与えることを目的とする。図５Ｂでは、メッセージ「１ｂ．ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ応答」は、サポートされる入力カテゴリー（たとえば一般およびＨＩＤＣ）のリストとサポートされる入力タイプの複数のリストとを識別するメッセージの一例を示す。サポートされる入力カテゴリーのリストのサポートされる入力カテゴリーの各々は、サポートされるタイプの関連付けられたリスト（たとえばｇｅｎｅｒｉｃ＿ｃａｐ＿ｌｉｓｔおよびｈｉｄｃ＿ｃａｐ＿ｌｉｓｔ）を有する。図５Ｂでは、メッセージ「２ａ．ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求」は、サポートされる入力カテゴリー（たとえば一般およびＨＩＤＣ）の第２のリストと、サポートされるタイプの複数の第２のリストとを識別する、第２のメッセージの一例である。サポートされる入力カテゴリーの第２のリストのサポートされる入力カテゴリーの各々は、サポートされるタイプの関連付けられた第２のリスト（たとえばｇｅｎｅｒｉｃ＿ｃａｐ＿ｌｉｓｔおよびｈｉｄｃ＿ｃａｐ＿ｌｉｓｔ）を有する。メッセージ「１ｂ．ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ応答」は、シンクデバイス５６０によってサポートされる入力カテゴリーと入力タイプとを識別する。メッセージ「２ａ．ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求」は、ソースデバイス５２０によってサポートされる入力カテゴリーと入力タイプとを識別するが、それは、ソースデバイス５２０によってサポートされるすべての入力カテゴリーおよび入力タイプの包括的なリストではないことがある。代わりに、メッセージ「２ａ．ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求」は、シンクデバイス５６０によってサポートされるものとしてメッセージ「１ｂ．ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ応答」中で識別された入力カテゴリーおよび入力タイプのみを識別し得る。このようにして、メッセージ「２ａ．ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求」中で識別される入力カテゴリーおよび入力タイプは、メッセージ「１ｂ．ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ応答」中で識別された入力カテゴリーおよび入力タイプのサブセットを構成し得る。

図６は、シンクデバイスによって生成され、ソースデバイスに送信され得る、データパケットの一例を示す概念図である。データパケット６００の態様については、図１Ａを参照して説明するが、説明する技法は、追加のタイプのソース／シンクシステムに適用可能であり得る。データパケット６００は、ペイロードデータ６５０がそれに後続する、データパケットヘッダ６１０を含み得る。ペイロードデータ６５０は、１つまたは複数のペイロードヘッダ（たとえばペイロードヘッダ６３０）をさらに含み得る。データパケット６００は、たとえば、シンクデバイス１６０のユーザが、ソースデバイス１２０によって送信されているオーディオ／ビデオデータを制御できるように、図１Ａのシンクデバイス１６０からソースデバイス１２０に送信され得る。そのような場合、ペイロードデータ６５０は、シンクデバイス１６０において受信されたユーザ入力データを含み得る。ペイロードデータ６５０は、たとえば、１つまたは複数のユーザコマンドを識別し得る。シンクデバイス１６０は、１つまたは複数のユーザコマンドを受信することができ、受信されたコマンドに基づいて、データパケットヘッダ６１０とペイロードデータ６５０とを生成することができる。データパケット６００のデータパケットヘッダ６１０のコンテンツに基づいて、ソースデバイス１２０は、シンクデバイス１６０において受信されたユーザ入力データを識別するためにペイロードデータ６５０をパースすることができる。ペイロードデータ６５０中に含まれているユーザ入力データに基づいて、ソースデバイス１２０は、ソースデバイス１２０からシンクデバイス１６０に送信されているオーディオおよびビデオデータを何らかの方法で変更し得る。

本開示で使用する「パース」および「パーシング」という用語は、概して、ビットストリームからデータを抽出するためにビットストリームを分析するプロセスを指す。抽出されると、データは、たとえば、ソースデバイス１２０によって処理されることができる。データを抽出することは、たとえば、ビットストリーム中の情報がどのようにフォーマットされているかを識別することを含み得る。以下でより詳細に説明するように、データパケットヘッダ６１０は、ソースデバイス１２０とシンクデバイス１６０の両方にとって既知である規格化されたフォーマットを定義し得る。ただし、ペイロードデータ６５０は、多くの可能な方法のうちの１つでフォーマットされ得る。データパケットヘッダ６１０をパースすることによって、ソースデバイス１２０は、ペイロードデータ６５０がどのようにフォーマットされているかを決定することができ、したがって、ソースデバイス１２０は、ペイロードデータ６５０から１つまたは複数のユーザ入力コマンドを抽出するためにペイロードデータ６５０をパースすることができる。これは、ソースシンク通信においてサポートされ得る異なるタイプのペイロードデータの観点からフレキシビリティを与えることができる。以下でより詳細に説明するように、ペイロードデータ６５０は、ペイロードヘッダ６３０などの１つまたは複数のペイロードヘッダをも含み得る。そのような場合、ソースデバイス１２０は、ペイロードヘッダ６３０についてのフォーマットを決定するためにデータパケットヘッダ６１０をパースし、次いで、ペイロードデータ６５０の残りについてのフォーマットを決定するためにペイロードヘッダ６３０をパースし得る。

図６２０は、データパケットヘッダ６１０がどのようにフォーマットされ得るかについての概念図である。行６１５における番号０〜１５は、データパケットヘッダ６１０内のビットロケーションを識別することを目的としており、データパケットヘッダ６１０内に含まれている情報を実際に表すことを目的としていない。データパケットヘッダ６１０は、バージョンフィールド６２１と、タイムスタンプフラグ６２２と、予約済みフィールド６２３と、入力カテゴリーフィールド６２４と、長さフィールド６２５と、オプションのタイムスタンプフィールド６２６とを含む。

図６の例では、バージョンフィールド６２１は、シンクデバイス１６０によって実装されている特定の通信プロトコルのバージョンを示し得る３ビットフィールドである。バージョンフィールド６２１中の値は、データパケットヘッダ６１０の残りをどのようにパースすべきか、ならびにペイロードデータ６５０をどのようにパースすべきかを、ソースデバイス１２０に通知し得る。図６の例では、バージョンフィールド６２１は、８つの異なるバージョンについてのユニークな識別子を可能にする、３ビットフィールドである。他の例では、より多いまたはより少ないビットがバージョンフィールド６２１に専用とされ得る。

図６の例では、タイムスタンプフラグ（Ｔ）６２２は、タイムスタンプフィールド６２６がデータパケットヘッダ６１０中に存在するか否かを示す１ビットフィールドである。タイムスタンプフィールド６２６は、ソースデバイス１２０によって生成され、シンクデバイス１６０に送信された、マルチメディアデータに基づくタイムスタンプを含んでいる、１６ビットフィールドである。タイムスタンプは、たとえば、ビデオのフレームがシンクデバイス１６０に送信されるより前に、ソースデバイス１２０によって該ビデオのフレームに割り当てられる、連続値であり得る。タイムスタンプフラグ６２２は、たとえば、タイムスタンプフィールド６２６が存在することを示すための「１」を含むことができ、また、タイムスタンプフィールド６２６が存在しないことを示すための「０」を含むことができる。データパケットヘッダ６１０をパースし、タイムスタンプフィールド６２６が存在すると決定すると、ソースデバイス１２０は、タイムスタンプフィールド６２６中に含まれるタイムスタンプを処理することができる。データパケットヘッダ６１０をパースし、タイムスタンプフィールド６２６が存在しないと決定すると、ソースデバイス１２０は、データパケットヘッダ６１０中にタイムスタンプフィールドが存在しないので、長さフィールド６２５をパースした後にペイロードデータ６５０をパースし始めることができる。

存在する場合、タイムスタンプフィールド６２６は、ペイロードデータ６５０のユーザ入力データが取得されたときにワイヤレスシンクデバイス１６０において表示されていたビデオデータのフレームを識別するためのタイムスタンプを含むことができる。タイムスタンプは、たとえば、ソースデバイス１２０がシンクデバイス１６０にビデオのフレームを送信するより前に、ソースデバイス１２０によってビデオのフレームに追加され得る。したがって、ソースデバイス１２０は、ビデオのフレームを生成し、そのフレームのビデオデータ中に、たとえばメタデータとして、タイムスタンプを埋め込むことができる。ソースデバイス１２０は、タイムスタンプとともに、ビデオフレームをシンクデバイス１６０に送信することができ、シンクデバイス１６０は、ビデオのフレームを表示することができる。ビデオのフレームがシンクデバイス１６０によって表示されている間、シンクデバイス１６０は、ユーザからユーザコマンドを受信することができる。シンクデバイス１６０がユーザコマンドをソースデバイス１２０に転送するためにデータパケットを生成するときには、シンクデバイス１６０は、ユーザコマンドが受信されたときにシンクデバイス１６０によって表示されていたフレームのタイムスタンプをタイムスタンプフィールド６２６中に含めることができる。

タイムスタンプフィールド６２６がヘッダ中に存在するデータパケット６００を受信すると、ワイヤレスソースデバイス１２０は、ペイロードデータ６５０のユーザ入力データが取得された時にシンクデバイス１６０において表示されているビデオのフレームを識別し、タイムスタンプによって識別されるフレームのコンテンツに基づいてユーザ入力データを処理することができる。たとえば、ユーザ入力データが、タッチディスプレイに適用されたタッチコマンド、またはマウスポインタのクリックである場合、ソースデバイス１２０は、ユーザがディスプレイにタッチコマンドを適用したかまたはマウスをクリックした時に表示されているフレームのコンテンツを決定することができる。いくつかの事例では、ペイロードデータを適切に処理するためにフレームのコンテンツが必要とされ得る。たとえば、ユーザタッチまたはマウスクリックに基づくユーザ入力は、タッチまたはクリックの時にディスプレイ上に何が示されていたかに依存し得る。タッチまたはクリックは、たとえば、アイコンまたはメニューオプションに対応し得る。ディスプレイのコンテンツが変化している事例では、タイムスタンプフィールド６２６中に存在するタイムスタンプは、タッチまたはクリックを正しいアイコンまたはメニューオプションに整合させるために、ソースデバイス１２０によって使用され得る。

ソースデバイス１２０は、追加的にまたは代替的に、タイムスタンプフィールド６２６中のタイムスタンプを、ビデオの現在レンダリングされているフレームに適用されているタイムスタンプと比較し得る。タイムスタンプフィールド６２６のタイムスタンプを現在のタイムスタンプと比較することによって、ソースデバイス１２０は、ラウンドトリップ時間を決定することができる。ラウンドトリップ時間は、概して、フレームがソースデバイス１２０によって送信された時点から、そのフレームに基づくユーザ入力がシンクデバイス１６０からソースデバイス１２０に戻って受信された時点までに経過した時間量に対応する。ラウンドトリップ時間は、ソースデバイス１２０にシステムレイテンシの指示を与えることができ、ラウンドトリップ時間がしきい値よりも大きい場合、ソースデバイス１２０は、入力コマンドが古いディスプレイフレームに適用されたという仮定の下で、ペイロードデータ６５０中に含まれているユーザ入力データを無視し得る。ラウンドトリップ時間がしきい値よりも小さいときには、ソースデバイス１２０は、ユーザ入力データを処理し、ユーザ入力データに応答して、送信されているオーディオ／ビデオコンテンツを調整し得る。しきい値は、プログラマブルであることができ、異なるタイプのデバイス（または異なるソースシンク組合せ）が、許容可能なラウンドトリップ時間について異なるしきい値を定義するように構成され得る。

図６の例では、予約済みフィールド６２３は、データパケットヘッダ６１０とペイロードデータ６５０とをパースする際にソース１２０によって使用される情報を含まない８ビットフィールドである。ただし、（バージョンフィールド６２１中で識別される）特定のプロトコルの将来のバージョンが、予約済みフィールド６２３を利用し得、その場合、ソースデバイス１２０は、データパケットヘッダ６１０をパースするために、および／またはペイロードデータ６５０をパースするために、予約済みフィールド６２３中の情報を使用し得る。予約済みフィールド６２３は、バージョンフィールド６２１とともに、すでに使用中のフォーマットおよび特徴を根本的に変更することなしに、特徴を拡張し、特徴をデータパケットフォーマットに追加するための機能を潜在的に与える。

図６の例では、入力カテゴリーフィールド６２４は、ペイロードデータ６５０中に含まれているユーザ入力データについての入力カテゴリーを識別するための４ビットフィールドである。シンクデバイス１６０は、入力カテゴリーを決定するためにユーザ入力データをカテゴリー分類し得る。ユーザ入力データをカテゴリー分類することは、たとえば、コマンドがそこから受信されたデバイスに基づくか、またはコマンド自体のプロパティに基づき得る。入力カテゴリーフィールド６２４の値は、場合によってはデータパケットヘッダ６１０の他の情報とともに、ペイロードデータ６５０がどのようにフォーマットされているかをソースデバイス１２０に対して識別する。このフォーマッティングに基づいて、ソースデバイス１２０は、シンクデバイス１６０において受信されたユーザ入力を決定するためにペイロードデータ６５０をパースすることができる。

図６の例では入力カテゴリー６２４が４ビットであるので、１６個の異なる入力カテゴリーが識別され得る可能性がある。１つのそのような入力カテゴリーは、ペイロードデータ６５０のユーザ入力データが、ソースデバイス１２０とシンクデバイス１６０の両方によって実行されているプロトコルにおいて定義される一般情報要素を使用してフォーマットされていることを示すための、一般入力フォーマットであり得る。一般入力フォーマットは、以下でより詳細に説明するように、シンクデバイス１６０のユーザがアプリケーションレベルでソースデバイス１２０と対話することを可能にする、一般情報要素を利用し得る。

別のそのような入力カテゴリーは、ペイロードデータ６５０のユーザ入力データが、入力データを受信するために使用される入力デバイスのタイプに基づいてフォーマットされていることを示すための、ヒューマンインターフェースデバイスコマンド（ＨＩＤＣ：human interface device command）フォーマットであり得る。デバイスのタイプの例は、キーボード、マウス、タッチ入力デバイス、ジョイスティック、カメラ、（カメラベースの入力デバイスなどの）ジェスチャキャプチャデバイス、および遠隔制御装置を含む。入力カテゴリーフィールド６２４中で識別され得る他のタイプの入力カテゴリーは、ペイロードデータ６５０中のユーザデータがシンクデバイス１６０から出ていないことを示すためのフォワーディング入力フォーマット、またはオペレーティングシステム固有フォーマット、およびペイロードデータ６５０がボイスコマンドを含むことを示すためのボイスコマンドフォーマットを含む。

長さフィールド６２５は、データパケット６００の長さを示すための１６ビットフィールドを備え得る。長さは、たとえば、８ビットの単位で示され得る。データパケット６００が１６ビットのワードでソースデバイス１２０によってパースされるとき、データパケット６００は１６ビットの整数までパディングされ得る。長さフィールド６２５中に含まれている長さに基づいて、ソースデバイス１２０は、ペイロードデータ６５０の終了（すなわちデータパケット６００の終了）と新しい後続のデータパケットの開始とを識別することができる。

図６の例で与えられるフィールドの様々なサイズは、単に説明を目的としたものであり、それらのフィールドは、図６に示すものとは異なる数のビットを使用して実装され得ることが意図されている。さらに、データパケットヘッダ６１０は、上記で説明したすべてのフィールドよりも少数のフィールドを含み得るか、または上記で説明していない追加のフィールドを使用し得ることも企図される。実際、本開示の技法は、パケットの様々なデータフィールドのために使用される実際のフォーマットの観点から、フレキシブルであり得る。

ペイロードデータ６５０のフォーマッティングを決定するためにデータパケットヘッダ６１０をパースした後、ソースデバイス１２０は、ペイロードデータ６５０中に含まれているユーザ入力コマンドを決定するためにペイロードデータ６５０をパースすることができる。ペイロードデータ６５０は、ペイロードデータ６５０のコンテンツを示すそれ自体のペイロードヘッダ（ペイロードヘッダ６３０）を有し得る。このようにして、ソースデバイス１２０は、データパケットヘッダ６１０のパーシングに基づいてペイロードヘッダ６３０をパースし、次いで、ペイロードヘッダ６３０のパーシングに基づいて残りのペイロードデータ６５０をパースし得る。

たとえば、データパケットヘッダ６１０の入力カテゴリーフィールド６２４が、一般入力がペイロードデータ６５０中に存在することを示す場合、ペイロードデータ６５０は一般入力フォーマットを有し得る。したがって、ソースデバイス１２０は、一般入力フォーマットに従ってペイロードデータ６５０をパースすることができる。一般入力フォーマットの一部として、ペイロードデータ６５０は、各入力イベントがそれ自体の入力イベントヘッダを有する、一連の１つまたは複数の入力イベントを含むことができる。以下の表１は、入力ヘッダ中に含まれ得るフィールドを識別する。

一般入力イベント（ＩＥ：input event）識別情報（ＩＤ：identification）フィールドは、入力タイプを識別するための一般入力イベント識別情報を識別する。一般ＩＥ ＩＤフィールドは、たとえば、長さが１オクテットであり得、以下の表２から選択された識別情報を含み得る。この例のように、一般ＩＥ ＩＤフィールドが８ビットである場合、２５６個の異なるタイプの入力（０〜２５５と識別される）が識別可能であり得るが、必ずしも２５６個の識別情報すべてが関連付けられた入力タイプを必要とするわけではない。上記２５６個の一部は、シンクデバイス１６０とソースデバイス１２０とによって実装されているいかなるプロトコルの将来のバージョンとの将来の使用のためにも予約され得る。表２では、たとえば、一般ＩＥ ＩＤ９〜２５５は、関連付けられた入力タイプを有しないが、将来、入力タイプを割り当てられ得る。

入力イベントヘッダ中の長さフィールドは、記述フィールドの長さを識別し、記述フィールドは、ユーザ入力を記述する情報要素を含む。記述フィールドのフォーマッティングは、一般ＩＥ ＩＤフィールド中で識別される入力のタイプに依存し得る。したがって、ソースデバイス１２０は、一般ＩＥ ＩＤフィールド中で識別される入力タイプに基づいて記述フィールドのコンテンツをパースし得る。入力イベントヘッダの長さフィールドに基づいて、ソースデバイス１２０は、ペイロードデータ６５０中の１つの入力イベントの終了と新しい入力イベントの開始とを決定することができる。以下でより詳細に説明するように、１つのユーザコマンドはペイロードデータ６５０中で１つまたは複数の入力イベントとして記述され得る。

表２は、それぞれ入力タイプを識別するために使用され得る対応する一般ＩＥ ＩＤを用いた、入力タイプの一例を与える。

各入力タイプに関連付けられた記述フィールドは異なるフォーマットを有し得る。左マウスダウン／タッチダウンイベント、左マウスアップ／タッチアップイベント、およびマウス移動／タッチ移動イベントの記述フィールドは、たとえば、以下の表３中で識別される情報要素を含み得るが、他の例では他のフォーマットも使用され得る。

ポインタの数は、入力イベントに関連付けられたタッチまたはマウスクリックの数を識別し得る。各ポインタは、ユニークなポインタＩＤを有し得る。たとえば、マルチタッチイベントが３本指タッチを含む場合、入力イベントは、それぞれユニークなポインタＩＤを用いた、３つのポインタを有し得る。各ポインタ（すなわち各指のタッチ）は、そのタッチがどこで行われたかに対応する、対応するｘ座標およびｙ座標を有し得る。

単一のユーザコマンドが一連の入力イベントとして記述され得る。たとえば、３本指スワイプが、アプリケーションを閉じるためのコマンドである場合、３本指スワイプは、３つのポインタを用いたタッチダウンイベント、３つのポインタを用いたタッチ移動イベント、および３つのポインタを用いたタッチアップイベントとして、ペイロードデータ６５０中で記述され得る。タッチダウンイベントの３つのポインタは、タッチ移動イベントおよびタッチアップイベントの３つのポインタと同じポインタＩＤを有し得る。ソースデバイス１２０は、それらの３つの入力イベントの組合せを３本指スワイプとして解釈することができる。

キーダウンイベントまたはキーアップイベントの記述フィールドは、たとえば、以下の表４中で識別される情報要素を含み得る。

ズームイベントの記述フィールドは、たとえば、以下の表５中で識別される情報要素を含み得る。

水平スクロールイベントまたは垂直スクロールイベントの記述フィールドは、たとえば、以下の表６中で識別される情報要素を含み得る。

上記の例は、一般入力カテゴリーの場合にペイロードデータがフォーマットされ得るいくつかの例示的な方法を示している。データパケットヘッダ６１０の入力カテゴリーフィールド６２４が、フォワーディングされたユーザ入力など、異なる入力カテゴリーを示す場合、ペイロードデータ６５０は異なる入力フォーマットを有し得る。フォワーディングされたユーザ入力の場合、シンクデバイス１６０は、サードパーティデバイスからユーザ入力データを受信し、そのユーザ入力データを解釈することなしにその入力をソースデバイス１２０にフォワーディングし得る。したがって、ソースデバイス１２０は、フォワーディングされたユーザ入力フォーマットに従ってペイロードデータ６５０をパースすることができる。たとえば、ペイロードデータ６５０のペイロードヘッダ６３０は、ユーザ入力がそこから取得されたサードパーティデバイスを識別するためのフィールドを含み得る。そのフィールドは、たとえば、サードパーティデバイスのインターネットプロトコル（ＩＰ）アドレス、ＭＡＣアドレス、ドメインネーム、または何らかの他のそのような識別子を含み得る。ソースデバイス１２０は、サードパーティデバイスの識別子に基づいてペイロードデータの残りをパースすることができる。

シンクデバイス１６０は、一連のメッセージを介してサードパーティデバイスと機能をネゴシエートすることができる。シンクデバイス１６０は、次いで、機能ネゴシエーションプロセスの一部としてソースデバイス１２０との通信セッションを確立することの一部としてソースデバイス１２０にサードパーティデバイスのユニークな識別子を送信することができる。代替的に、シンクデバイス１６０は、サードパーティデバイスを記述する情報をソースデバイス１２０に送信し得、その情報に基づいて、ソースデバイス１２０は、サードパーティデバイスについてのユニークな識別子を決定することができる。サードパーティデバイスを記述する情報は、たとえば、サードパーティデバイスを識別するための情報および／またはサードパーティデバイスの機能を識別するための情報を含み得る。ユニークな識別子がソースデバイス１２０によって決定されるのかシンクデバイス１６０によって決定されるのかにかかわらず、シンクデバイス１６０が、サードパーティデバイスから取得されたユーザ入力をもつデータパケットを送信するときには、シンクデバイス１６０は、ソースデバイス１２０がユーザ入力の起点を識別することができるように、ユニークな識別子をデータパケット中に、たとえばペイロードヘッダ中に、含めることができる。

データパケットヘッダ６１０の入力カテゴリーフィールド６２４が、ボイスコマンドなど、さらに異なる入力カテゴリーを示す場合、ペイロードデータ６５０は、さらに異なる入力フォーマットを有することがある。ボイスコマンドの場合、ペイロードデータ６５０はコード化オーディオを含み得る。ボイスコマンドのオーディオを符号化および復号するためのコーデックが、一連のメッセージを介してソースデバイス１２０とシンクデバイス１６０との間でネゴシエートされ得る。ボイスコマンドを送信するために、タイムスタンプフィールド６２６は音声サンプリング時間値を含み得る。そのような場合、タイムスタンプフラグ６２２は、タイムスタンプが存在することを示すように設定され得るが、上記で説明したタイムスタンプの代わりに、タイムスタンプフィールド６２６は、ペイロードデータ６５０の符号化オーディオについての音声サンプリング時間値を含み得る。

いくつかの例では、ボイスコマンドが、上記で説明したように一般コマンドとして送信され得、その場合、入力カテゴリーフィールド６２４は、一般コマンドフォーマットを識別するように設定され得、予約済み一般ＩＥ ＩＤのうちの１つがボイスコマンドに割り当てられ得る。ボイスコマンドが一般コマンドとして送信される場合、音声サンプリングレートは、データパケットヘッダ６１０のタイムスタンプフィールド６２６中に存在し得るか、またはペイロードデータ６５０中に存在し得る。

キャプチャされたボイスコマンドデータの場合、ボイスデータは、複数の方法でカプセル化され得る。たとえば、ボイスコマンドデータは、コーデックとタイムスタンプとを識別するためにペイロードタイプを提供できるＲＴＰを使用してカプセル化されることができ、そのタイムスタンプは、サンプリングレートを識別するために使用される。ＲＴＰデータは、オプションのタイムスタンプを用いてまたは用いずに、上記で説明した一般ユーザ入力フォーマットを使用してカプセル化されることができる。シンクデバイス１６０は、ＴＰＣ／ＩＰを使用してソースデバイス１２０にボイスコマンドデータを搬送する一般入力データを送信することができる。

前に説明したように、座標が、データパケット６００などのデータパケットの一部として、たとえばペイロードデータ６５０中に含まれるとき、その座標は、ネゴシエートされた解像度、ディスプレイウィンドウ座標、正規化座標、またはシンクディスプレイに関連付けられた座標、に基づいてスケーリングされた座標に対応し得る。いくつかの事例では、データパケット中で受信された座標を正規化するためにソースデバイスが使用するために、追加情報がデータパケット中に含まれるかまたは別個に送信され得る。

特定のデータパケットについての入力カテゴリーにかかわらず、データパケットヘッダはアプリケーションレイヤパケットヘッダであり得、データパケットはＴＣＰ／ＩＰを通じて送信され得る。ＴＣＰ／ＩＰは、パケットロスの場合に、シンクデバイス１６０およびソースデバイス１２０が再送信技法を実行することを可能にし得る。データパケットは、ソースデバイス１２０のオーディオデータまたはビデオデータを制御するために、あるいはソースデバイス１２０上で動作しているアプリケーションを制御するためなどの他の目的で、シンクデバイス１６０からソースデバイス１２０に送られ得る。

図７Ａは、シンクデバイスとソースデバイスとの間で機能をネゴシエートする例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたときに、本明細書で説明するフローチャートのうちの１つまたは複数における示されたステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図７Ａの方法は、シンクデバイス１６０がソースデバイス１２０から第１のメッセージを受信する（７０１）ことを含む。そのメッセージは、たとえば、パラメータ入手要求（get parameter request）を含み得る。第１のメッセージに応答して、シンクデバイス１６０はソースデバイス１２０に第２のメッセージを送り得る（７０３）。第２のメッセージは、たとえば、サポートされる入力カテゴリーの第１のリストとサポートされるタイプの複数の第１のリストとを識別するパラメータ入手応答（get parameter response）を含むことができ、サポートされる入力カテゴリーの第１のリストのサポートされる入力カテゴリーの各々は、サポートされるタイプの関連付けられた第１のリストを有する。サポートされる入力カテゴリーは、たとえば、図６の入力カテゴリーフィールド６２４のために使用されるのと同じカテゴリーに対応し得る。上記の表２は、特定の入力カテゴリー（この例では一般入力）のためのサポートされるタイプの一例を表す。シンクデバイス１６０はソースデバイス１２０から第３のメッセージを受信し得る（７０５）。第３のメッセージは、たとえば、パラメータ設定要求（set parameter request）を含み得、パラメータ設定要求は、通信のためのポートと、サポートされる入力カテゴリーの第２のリストと、サポートされるタイプの複数の第２のリストとを識別し、サポートされる入力カテゴリーの第２のリストのサポートされる入力カテゴリーの各々は、サポートされるタイプの関連付けられた第２のリストを有し、第２のリストのサポートされるタイプの各々は、第１のリストのタイプのサブセットを含む。シンクデバイス１６０はソースデバイス１２０に第４のメッセージを送信し得る（７０７）。第４のメッセージは、たとえば、第２のリストのタイプが有効にされたことを確認するためのパラメータ設定応答（set parameter response）を備え得る。シンクデバイス１６０はソースデバイス１２０から第５のメッセージを受信し得る（７０９）。第５のメッセージは、たとえば、ソースデバイス１２０とシンクデバイス１６０との間の通信チャネルが有効にされたことを示す第２のパラメータ設定要求を含み得る。その通信チャネルは、たとえば、ユーザ入力バックチャネル（ＵＩＢＣ：user input back channel）を備え得る。シンクデバイス１６０はソースデバイス１２０に第６のメッセージを送信し得る（７１１）。第６のメッセージは、たとえば、シンクデバイス１６０による第２のパラメータ設定要求の受信を確認する第２のパラメータ設定応答を含み得る。

図７Ｂは、シンクデバイスとソースデバイスとの間で機能をネゴシエートする例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたときに、フローチャート中の示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図７Ｂの方法は、ソースデバイス１２０がシンクデバイス１６０に第１のメッセージを送信する（７０２）ことを含む。第１のメッセージは、たとえば、パラメータ入手要求を含むことができる。ソースデバイス１２０は、シンクデバイス１６０から第２のメッセージを受信し得る（７０４）。第２のメッセージは、たとえば、サポートされる入力カテゴリーの第１のリストとサポートされるタイプの複数の第１のリストとを識別するパラメータ入手応答を含むことができ、サポートされる入力カテゴリーの第１のリストのサポートされる入力カテゴリーの各々は、サポートされるタイプの関連付けられた第１のリストを有する。ソースデバイス１２０は、シンクデバイス１６０に第３のメッセージを送信し得る（７０６）。第３のメッセージは、たとえば、通信のためのポートと、サポートされる入力カテゴリーの第２のリストと、サポートされるタイプの複数の第２のリストとを識別するパラメータ設定要求を含むことができ、サポートされる入力カテゴリーの第２のリストのサポートされる入力カテゴリーの各々は、サポートされるタイプの関連付けられた第２のリストを有し、第２のリストのサポートされるタイプの各々は、第１のリストのタイプのサブセットを含む。ソースデバイス１２０は、シンクデバイス１６０から第４のメッセージを受信し得る（７０８）。第４のメッセージは、たとえば、第２のリストのタイプが有効にされたことを確認するためのパラメータ設定応答を含むことができる。ソースデバイス１２０は、シンクデバイス１６０に第５のメッセージを送信し得る（７１０）。第５のメッセージは、たとえば、ソースデバイス１２０とシンクデバイス１６０との間の通信チャネルが有効にされたことを示す第２のパラメータ設定要求を含むことができる。その通信チャネルは、たとえば、ユーザ入力バックチャネル（ＵＩＢＣ）を含み得る。ソースデバイス１２０は、シンクデバイス１６０から第６のメッセージを受信し得る（７１２）。第６のメッセージは、たとえば、シンクデバイス１６０による第２のパラメータ設定要求の受信を確認する第２のパラメータ設定応答を含むことができる。

図８Ａは、本開示による、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図８Ａの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスにおいてユーザ入力データを取得する（８０１）ことを含む。ユーザ入力データは、たとえば、ワイヤレスシンクデバイス３６０に関して示したユーザ入力インターフェース３７６など、ワイヤレスシンクデバイス１６０のユーザ入力コンポーネントを通じて取得され得る。追加的に、シンクデバイス１６０は、ユーザ入力データを、たとえば、一般、フォワーディングされた、またはオペレーティングシステム固有として、カテゴリー分類し得る。シンクデバイス１６０は、次いでユーザ入力データに基づいてデータパケットヘッダを生成し得る（８０３）。データパケットヘッダは、アプリケーションレイヤパケットヘッダであり得る。データパケットヘッダは、フィールドの中でも特に、ユーザ入力データに対応する入力カテゴリーを識別するためのフィールドを備え得る。入力カテゴリーは、たとえば、一般入力フォーマットまたはヒューマンインターフェースデバイスコマンドを備え得る。シンクデバイス１６０は、さらにデータパケットを生成し（８０５）、データパケットは、生成されたデータパケットヘッダおよびペイロードデータを含む。一例では、ペイロードデータは、受信されたユーザ入力データを含み得、１つまたは複数のユーザコマンドを識別し得る。シンクデバイス１６０は、次いで、ワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信し得る（８０７）。シンクデバイス１６０は、たとえば図３に示したようなトランスポートユニット３３３およびワイヤレスモデム３３４を含む、データパケットの転送を可能にするコンポーネントを備え得る。シンクデバイス１６０はＴＣＰ／ＩＰを通じてデータパケットを転送し得る。

図８Ｂは、本開示による、ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図８Ｂの方法は、データパケットを受信する（８０２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを含み得る。ペイロードデータは、たとえば、ユーザ入力データを含み得る。ソースデバイス１２０は、たとえば図２に関して示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信コンポーネントを備え得る。ソースデバイス１２０は、次いで、ペイロードデータ中に含まれているユーザ入力データに関連付けられた入力カテゴリーを決定するために、データパケット中に含まれるデータパケットヘッダをパースし得る（８０４）。ソースデバイス１２０は、決定された入力カテゴリーに基づいてペイロードデータを処理し得る（８０６）。図８Ａおよび図８Ｂに関して説明したデータパケットは、概して、図６に関して説明したデータパケットの形態をとることができ、ソースデバイスにおいてオーディオ／ビデオデータおよびアプリケーションを制御するために使用され得る。

図９Ａは、本開示に従ってワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図９Ａの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスにおいてユーザ入力データを取得する（９０１）ことを含む。ユーザ入力データは、たとえば、図３に関して示したユーザ入力インターフェース３７６など、ワイヤレスシンクデバイス１６０のユーザ入力コンポーネントを通じて取得され得る。シンクデバイス１６０は、次いでペイロードデータを生成し（９０３）、ペイロードデータはユーザ入力データを記述し得る。一例では、ペイロードデータは、受信されたユーザ入力データを含むことができ、１つまたは複数のユーザコマンドを識別することができる。シンクデバイス１６０は、さらにデータパケットを生成し得（９０５）、データパケットは、データパケットヘッダと生成されたペイロードデータとを備える。シンクデバイス１６０は、次いで、ワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信し得る（９０７）。シンクデバイス１６０は、たとえば、トランスポートユニット３３３およびワイヤレスモデム３３４など、データパケットの転送を可能にするコンポーネントを備え得る。データパケットは、ＴＣＰ／ＩＰを通じてワイヤレスソースデバイスに送信されることができる。

図９Ｂは、本開示による、ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図９Ｂの方法は、シンクデバイス３６０からデータパケットを受信する（９０２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを含み得る。一例では、ペイロードデータは、たとえば、入力タイプ値などのユーザ入力の詳細を記述するデータを備え得る。ソースデバイス１２０は、たとえば図２に関して示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信コンポーネントを備え得る。ソースデバイス１２０は、次いで、ペイロードデータ中の入力タイプフィールド中の入力タイプ値を決定するためにデータパケットをパースし得る（９０４）。ソースデバイス１２０は、決定された入力タイプ値に基づいて、ユーザ入力の詳細を記述するデータを処理し得る（９０６）。図９Ａおよび図９Ｂに関して説明したデータパケットは、概して、図６に関して説明したデータパケットの形態をとり得る。

図１０Ａは、本開示による、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１０Ａの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスにおいてユーザ入力データを取得する（１００１）ことを含む。ユーザ入力データは、たとえば、図３に関して示したようなユーザ入力インターフェース３７６など、ワイヤレスシンクデバイス１６０のユーザ入力コンポーネントを通じて取得され得る。シンクデバイス１６０は、次いでユーザ入力に基づいてデータパケットヘッダを生成し得る（１００３）。データパケットヘッダは、フィールドの中でも特に、タイムスタンプフィールドがデータパケットヘッダ中に存在するかどうかを示すためのタイムスタンプフラグ（たとえば、１ビットフィールド）を備え得る。タイムスタンプフラグは、たとえば、タイムスタンプフィールドが存在することを示すための「１」を含むことができ、タイムスタンプフィールドが存在しないことを示すための「０」を含むことができる。タイムスタンプフィールドは、たとえば、ソースデバイス１２０によって生成されたタイムスタンプを含んでいる１６ビットフィールドであり得、送信より前にビデオデータに追加され得る。シンクデバイス１６０は、さらにデータパケットを生成し（１００５）、データパケットは、生成されたデータパケットヘッダとペイロードデータとを含む。一例では、ペイロードデータは、受信されたユーザ入力データを含み得、１つまたは複数のユーザコマンドを識別し得る。シンクデバイス１６０は、次いでワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信し得る（１００７）。シンクデバイス１６０は、たとえば図３に関して示したような、トランスポートユニット３３３およびワイヤレスモデム３３４を含む、データパケットの転送を可能にするコンポーネントを備え得る。データパケットは、ＴＣＰ／ＩＰを通じてワイヤレスソースデバイスに送信されることができる。

図１０Ｂは、本開示による、ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１０Ｂの方法は、ワイヤレスシンクデバイス１６０からデータパケットを受信する（１００２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを含み得る。ペイロードデータは、たとえば、ユーザ入力データを含み得る。ソースデバイス１２０は、たとえば図２に関して示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信コンポーネントを備え得る。ソースデバイス１２０は、次いでデータパケット中に含まれるデータパケットヘッダをパースし得る（１００４）。ソースデバイス１２０は、タイムスタンプフィールドがデータパケットヘッダ中に存在するかどうかを決定し得る（１００６）。一例では、ソースデバイス１２０は、データパケットヘッダ中に含まれるタイムスタンプフラグ値に基づいて決定を行うことができる。データパケットヘッダがタイムスタンプフィールドを含む場合、ソースデバイス１２０は、タイムスタンプフィールド中にあるタイムスタンプに基づいてペイロードデータを処理し得る（１００８）。図１０Ａおよび図１０Ｂに関して説明したデータパケットは、概して、図６に関して説明したデータパケットの形態をとり得、ソースデバイスにおいてオーディオ／ビデオデータを制御するために使用され得る。

図１１Ａは、本開示による、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１１Ａの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスにおいてユーザ入力データを取得する（１１０１）ことを含む。ユーザ入力データは、たとえば、図３に関して示したユーザ入力インターフェース３７６など、ワイヤレスシンクデバイス１６０のユーザ入力コンポーネントを通じて取得され得る。シンクデバイス１６０は、次いでユーザ入力に基づいてデータパケットヘッダを生成し得る（１１０３）。データパケットヘッダは、フィールドの中でも特に、タイムスタンプフィールドを含むことができる。タイムスタンプフィールドは、たとえば、ワイヤレスソースデバイス１２０によって生成され、ワイヤレスシンクデバイス１６０に送信された、マルチメディアデータに基づくタイムスタンプを含む、１６ビットフィールドを備え得る。タイムスタンプは、ワイヤレスシンクデバイスに送信されるより前に、ワイヤレスソースデバイス１２０によってビデオデータのフレームに追加されていることがある。タイムスタンプフィールドは、たとえば、ユーザ入力データがキャプチャされた時にワイヤレスシンクデバイス１６０において表示されているビデオデータのフレームに関連付けられたタイムスタンプを識別し得る。シンクデバイス１６０は、データパケットをさらに生成し（１１０５）、データパケットは、生成されたデータパケットヘッダとペイロードデータとを含む。一例では、ペイロードデータは、受信されたユーザ入力データを含み得、１つまたは複数のユーザコマンドを識別し得る。シンクデバイス１６０は、次いで、ワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信し得る（１１０７）。シンクデバイス１６０は、たとえば図３に関して示したような、トランスポートユニット３３３およびワイヤレスモデム３３４を含む、データパケットの転送を可能にするコンポーネントを備え得る。データパケットはＴＣＰ／ＩＰを通じてワイヤレスソースデバイスに送信され得る。

図１１Ｂは、本開示による、ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１１Ｂの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスからデータパケットを受信する（１１０２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを含み得る。ペイロードデータは、たとえば、ユーザ入力データを含み得る。ソースデバイス１２０は、たとえば図２に関して示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信コンポーネントを備え得る。ソースデバイス１２０は、次いでデータパケットヘッダ中のタイムスタンプフィールドを識別し得る（１１０４）。ソースデバイス１２０は、タイムスタンプフィールド中にあるタイムスタンプに基づいてペイロードデータを処理し得る（１１０６）。ペイロードデータを処理することの一部として、上記タイムスタンプに基づいて、ソースデバイス１２０は、ユーザ入力データが取得された時にワイヤレスシンクデバイスにおいて表示されているビデオデータのフレームを識別し、そのフレームのコンテンツに基づいてペイロードデータを解釈することができる。タイムスタンプに基づいてペイロードデータを処理することの一部として、ソースデバイス１２０は、上記タイムスタンプを、ソースデバイス１２０によって送信されているビデオの現在のフレームに関する現在のタイムスタンプと比較することができ、上記タイムスタンプと現在のタイムスタンプとの間の時間差がしきい値よりも小さいことに応答して、ペイロードデータ中で記述されたユーザ入力コマンドを実行する、または上記タイムスタンプと現在のタイムスタンプとの間の時間差がしきい値よりも大きいことに応答して、ペイロードデータ中で記述されたユーザ入力コマンドを実行しないことができる。図１１Ａおよび図１１Ｂに関して説明したデータパケットは、概して、図６に関して説明したデータパケットの形態をとり得、ソースデバイスにおいてオーディオ／ビデオデータを制御するために使用され得る。

図１２Ａは、本開示による、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１２Ａの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスにおいてユーザ入力データを取得する（１２０１）ことを含む。一例では、ユーザ入力データはボイスコマンドデータであり得、ボイスコマンドデータは、たとえば、図３中のユーザ入力インターフェース３７６中に含まれるボイスコマンド認識モジュールなど、ワイヤレスシンクデバイス１６０のユーザ入力コンポーネントを通じて取得され得る。シンクデバイス１６０は、ユーザ入力に基づいてデータパケットヘッダを生成し得る（１２０３）。シンクデバイス１６０は、また、ペイロードデータも生成することができ（１２０５）、ペイロードデータはボイスコマンドデータを含み得る。一例では、ペイロードデータは、また、受信されたユーザ入力データも含み得、１つまたは複数のユーザコマンドを識別し得る。シンクデバイス１６０は、さらにデータパケットを生成し（１２０７）、データパケットは、生成されたデータパケットヘッダとペイロードデータとを備える。シンクデバイス１６０は、次いでワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信し得る（１２０９）。シンクデバイス１６０は、たとえば図３に関して示したような、トランスポートユニット３３３およびワイヤレスモデム３３４を含む、データパケットの転送を可能にするコンポーネントを備え得る。データパケットは、ＴＣＰ／ＩＰを通じてワイヤレスソースデバイスに送信されることができる。

図１２Ｂは、本開示による、ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１２Ｂの方法は、データパケットを受信する（１２０２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを含み得る。ペイロードデータは、たとえば、ボイスコマンドデータなどのユーザ入力データを含み得る。ソースデバイス１２０は、たとえば図２に関して示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信コンポーネントを備え得る。ソースデバイス１２０は、次いで、ペイロードデータがボイスコマンドデータを含むかどうかを決定するために、データパケット中に含まれるペイロードデータをパースし得る（１２０４）。図１２Ａおよび図１２Ｂに関して説明したデータパケットは、概して、図６に関して説明したデータパケットの形態をとり得、ソースデバイスにおいてオーディオ／ビデオデータを制御するために使用され得る。

図１３Ａは、本開示による、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１３Ａの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスにおいてユーザ入力データを取得する（１３０１）ことを含む。一例では、ユーザ入力データはマルチタッチジェスチャであり得、マルチタッチジェスチャは、たとえば、ＵＩ１６７または図３のユーザ入力インターフェース３７６など、ワイヤレスシンクデバイス１６０のユーザ入力コンポーネントを通じて取得され得る。一例では、マルチタッチジェスチャは、第１のタッチ入力と第２のタッチ入力とを含み得る。シンクデバイス１６０は、ユーザ入力に基づいてデータパケットヘッダを生成し得る（１３０３）。シンクデバイス１６０は、また、ペイロードデータも生成し得（１３０５）、ペイロードデータは、第１のタッチ入力イベントについてのユーザ入力データを第１のポインタ識別情報に関連付け、第２のタッチ入力イベントについてのユーザ入力データを第２のポインタ識別情報に関連付け得る。シンクデバイス１６０は、さらにデータパケットを生成し得（１３０７）、データパケットは、生成されたデータパケットヘッダとペイロードデータとを含む。シンクデバイス１６０は、次いで、ワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信し得る（１３０９）。シンクデバイス１６０は、たとえば図３に関して示したような、トランスポートユニット３３３およびワイヤレスモデム３３４を含む、データパケットの転送を可能にするコンポーネントを備え得る。データパケットはＴＣＰ／ＩＰを通じてワイヤレスソースデバイスに送信され得る。

図１３Ｂは、本開示による、ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１３Ｂの方法は、データパケットを受信する（１３０２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを含み得る。ペイロードデータは、たとえば、マルチタッチジェスチャなどのユーザ入力データを含み得る。ソースデバイス１２０は、たとえば図２に示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信コンポーネントを備え得る。ソースデバイス１２０は、次いで、ペイロードデータ中に含まれるユーザ入力データを識別するために、データパケット中に含まれるペイロードデータをパースし得る（１３０４）。一例では、識別されたデータは、第１のポインタ識別情報を用いた第１のタッチ入力イベントについてのユーザ入力データと、第２のポインタ識別情報を用いた第２のタッチ入力イベントについてのユーザ入力データとを含み得る。ソースデバイス１２０は、次いで、第１のタッチ入力イベントについてのユーザ入力データと第２のタッチ入力イベントについてのユーザ入力データとをマルチタッチジェスチャとして解釈し得る（１３０６）。図１３Ａおよび図１３Ｂに関して説明したデータパケットは、概して、図６に関して説明したデータパケットの形態をとり得、ソースデバイスにおいてオーディオ／ビデオデータを制御するために使用され得る。

図１４Ａは、本開示による、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１４Ａの方法は、外部デバイスからワイヤレスシンクデバイス３６０においてユーザ入力データを取得する（１４０１）ことを含む。一例では、外部デバイスは、シンクデバイスに接続されたサードパーティデバイスであり得る。シンクデバイス１６０は、ユーザ入力に基づいてデータパケットヘッダを生成し得る（１４０３）。一例では、データパケットヘッダは、ユーザ入力データをフォワーディングされたユーザ入力データとして識別し得る。シンクデバイス１６０は、また、ペイロードデータも生成し（１４０５）、ペイロードデータはユーザ入力データを含み得る。シンクデバイス１６０は、さらにデータパケットを生成し得（１４０７）、データパケットは、生成されたデータパケットヘッダとペイロードデータとを含み得る。シンクデバイス１６０は、次いで、ワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信し得る（１４０９）。シンクデバイス１６０は、たとえば図３に関して示したような、トランスポートユニット３３３およびワイヤレスモデム３３４を含む、データパケットの転送を可能にするコンポーネントを備え得る。データパケットはＴＣＰ／ＩＰを通じてワイヤレスソースデバイスに送信され得る。

図１４Ｂは、本開示による、ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１４Ｂの方法は、データパケットを受信する（１４０２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを含み得る。ペイロードデータは、たとえば、ユーザ入力データがサードパーティデバイスからフォワーディングされたことを示すフォワーディングされたユーザ入力コマンドなどのユーザ入力データを含み得る。ソースデバイス１２０は、たとえば図２に関して示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信コンポーネントを備え得る。ソースデバイス１２０は、次いでデータパケットヘッダをパースし、ペイロードデータがフォワーディングされたユーザ入力コマンドを含むと決定し得る（１４０４）。ソースデバイス１２０は、次いで、フォワーディングされたユーザ入力コマンドに対応するサードパーティデバイスに関連付けられた識別情報を識別するために、データパケット中に含まれるペイロードデータをパースし得る（１４０６）。ソースデバイス１２０は、次いで、サードパーティデバイスの識別された識別情報に基づいてペイロードデータを処理し得る（１４０８）。図１４Ａおよび図１４Ｂに関して説明したデータパケットは、概して、図６に関して説明したデータパケットの形態をとり得、ソースデバイスにおいてオーディオ／ビデオデータを制御するために使用され得る。

図１５Ａは、本開示に従ってワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザデータを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１５Ａの方法は、ワイヤレスシンクデバイスにおいてユーザ入力データを取得する（１５０１）ことを含む。ユーザ入力データは、関連付けられた座標データを有し得る。関連付けられた座標データは、たとえば、マウスクリックイベントのロケーションまたはタッチイベントのロケーションに対応し得る。シンクデバイス１６０は、次いで、正規化座標データを生成するために、関連付けられた座標データを正規化し得る（１５０３）。シンクデバイス１６０は、次いで、正規化座標データを含むデータパケットを生成し得る（１５０５）。座標データを正規化することは、ディスプレイウィンドウの解像度と、ソースデバイス１２０のディスプレイ２２などのソースのディスプレイの解像度との比に基づいて、関連付けられた座標データをスケーリングすることを含むことができる。ディスプレイウィンドウの解像度は、シンクデバイス１６０によって決定されることができ、ソースデバイスのディスプレイの解像度は、ソースデバイス１２０から受信されることができる。シンクデバイス１６０は、次いで、ワイヤレスソースデバイス１２０に正規化座標をもつデータパケットを送信し得る（１５０７）。図１５Ａの方法の一部として、シンクデバイス１６０はまた、関連付けられた座標データが、ワイヤレスソースデバイスから受信されているコンテンツのためのディスプレイウィンドウ内にあるかどうかを決定し、たとえば、関連付けられた座標データがディスプレイウィンドウ外にある場合はユーザ入力をローカルで処理し、その入力がディスプレイウィンドウ内にある場合は上述のように座標を正規化することができる。

図１５Ｂは、本開示による、ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたときに、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１５Ｂの方法は、ワイヤレスソースデバイスにおいてデータパケットを受信することを含み、データパケットは、関連付けられた座標データをもつユーザ入力データを備える（１５０２）。関連付けられた座標データは、たとえば、シンクデバイスにおけるマウスクリックイベントのロケーションまたはタッチイベントのロケーションに対応し得る。ソースデバイス１２０は、次いで、正規化座標データを生成するために、関連付けられた座標データを正規化し得る（１５０４）。ソースデバイス１２０は、ディスプレイウィンドウの解像度とソースのディスプレイの解像度との比に基づいて、関連付けられた座標データをスケーリングすることによって、座標データを正規化することができる。ソースデバイス１２０は、ソースデバイスのディスプレイの解像度を決定することができ、ワイヤレスシンクデバイスからディスプレイウィンドウの解像度を受信することができる。ソースデバイスは、次いで、正規化座標データに基づいてデータパケットを処理し得る（１５０６）。図１５Ａおよび図１５Ｂに関して説明したデータパケットは、概して、図６に関して説明したデータパケットの形態をとり得、ソースデバイスにおいてオーディオ／ビデオデータを制御するために使用され得る。

説明を簡単にするために、図７〜図１５を参照しながら本開示の態様について別個に説明した。ただし、これらの様々な態様は、別個にだけでなく、互いに関連して組み合わせられ、使用され得ることが企図される。概して、本明細書で説明する機能および／またはモジュールは、ワイヤレスソースデバイスとワイヤレスシンクデバイスのいずれかまたは両方において実装され得る。このようにして、本例で説明したユーザインターフェース機能は、ワイヤレスソースデバイスとワイヤレスシンクデバイスとの間で互換的に使用され得る。

本開示の技法は、ワイヤレスハンドセット、および集積回路（ＩＣ）またはＩＣのセット（すなわち、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。機能的態様を強調するために任意のコンポーネント、モジュールまたはユニットについて説明し、提示したが、それらの任意のコンポーネント、モジュールまたはユニットは、異なるハードウェアユニットによる実現を必ずしも必要とするとは限らない。

したがって、本明細書で説明する技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、モジュール、ユニットまたはコンポーネントとして説明した特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装される場合、これらの技法は、プロセッサで実行されたとき、上記で説明した方法のうちの１つまたは複数を実行する、命令を備えるコンピュータ可読媒体によって少なくとも部分的に実現され得る。コンピュータ可読媒体は、有形で非一時的なコンピュータ可読記憶媒体を備え得、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読記憶媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ記憶媒体などを備え得る。本技法は、追加または代替として、命令またはデータ構造の形態でコードを搬送または通信し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって少なくとも部分的に実現され得る。

コードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）など、１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供されるか、あるいは複合ビデオコーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。

本開示の様々な態様について説明した。これらおよび他の態様は以下の特許請求の範囲内にある。

Claims (72)

1. ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する方法であって、前記方法は、
   マルチタッチジェスチャについてのユーザ入力データを取得することと、
   パケットヘッダを生成することと、
   ペイロードデータを生成することであって、前記ペイロードデータが、第１のタッチ入力イベントについてのユーザ入力データを第１のポインタ識別情報に関連付け、第２のタッチ入力イベントについてのユーザ入力データを第２のポインタ識別情報に関連付ける、ペイロードデータを生成することと、
   前記パケットヘッダと前記ペイロードデータとを備えるデータパケットを生成することと、
   前記ワイヤレスソースデバイスに前記データパケットを送信することと
   を備える、方法。
2. 前記ペイロードデータが、ポインタの数を識別するためのフィールドを備え、各ポインタがユニークなポインタ識別情報に関連付けられる、請求項１に記載の方法。
3. ポインタの前記数が２よりも大きい、請求項１に記載の方法。
4. 前記第１のタッチ入力イベントと前記第２のタッチ入力イベントとが実質的に同時に行われる、請求項１に記載の方法。
5. 前記第１のタッチ入力イベントが、入力デバイス上にタッチダウンすることと、前記入力デバイスからタッチアップすることと、前記入力デバイス上でタッチを移動することとからなるグループから選択される、請求項１に記載の方法。
6. 前記ペイロードデータが、
   前記第１のポインタ識別情報に関連付けられた第１のタッチダウン入力と、
   前記第１のポインタ識別情報に関連付けられた第１のタッチ移動入力と、
   前記第１のポインタ識別情報に関連付けられた第１のタッチアップ入力と、
   前記第２のポインタ識別情報に関連付けられた第２のタッチダウン入力と、
   前記第２のポインタ識別情報に関連付けられた第２のタッチ移動入力と、
   前記第２のポインタ識別情報に関連付けられた第２のタッチアップ入力と
   を備える、請求項１に記載の方法。
7. 前記データパケットヘッダが、前記ユーザ入力データの入力カテゴリーを識別するためのフィールドを備え、前記フィールドが一般入力を識別する、請求項１に記載の方法。
8. 前記ペイロードデータが、入力記述の長さを識別する長さフィールドを備える、請求項１に記載の方法。
9. 前記入力記述の前記長さがオクテットの単位で識別される、請求項８に記載の方法。
10. 前記ペイロードデータが、前記ユーザ入力データの詳細を記述するための記述フィールドを備える、請求項１に記載の方法。
11. 前記ペイロードデータは、
    前記第１のタッチ入力イベントが行われた座標に対応する第１のｘ座標および第１のｙ座標と、
    前記第２のタッチ入力イベントが行われた座標に対応する第２のｘ座標およびｙ座標と
    を識別する、請求項１に記載の方法。
12. 前記第１のｘ座標、前記第１のｙ座標、前記第２のｘ座標、および前記第２のｙ座標が、前記ワイヤレスシンクデバイスと前記ワイヤレスソースデバイスとの間のビデオストリームのネゴシエートされた解像度に基づく、請求項１１に記載の方法。
13. 前記ユーザ入力データを取得することが、前記ワイヤレスシンクデバイスの入力デバイスを通じて前記ユーザ入力データをキャプチャすることを備える、請求項１に記載の方法。
14. 前記ユーザ入力データを取得することが、別のワイヤレスシンクデバイスからのフォワーディングされたユーザ入力データを受信することを備える、請求項１に記載の方法。
15. 前記データパケットヘッダがアプリケーションレイヤパケットヘッダである、請求項１に記載の方法。
16. 前記データパケットが、前記ワイヤレスソースデバイスのオーディオデータまたはビデオデータを制御するためのものである、請求項１に記載の方法。
17. 前記データパケットがＴＣＰ／ＩＰを通じて送信される、請求項１に記載の方法。
18. ワイヤレスソースデバイスにユーザ入力データを送信するように構成されたワイヤレスシンクデバイスであって、前記ワイヤレスシンクデバイスは、
    命令を記憶するメモリと、
    前記命令を実行するように構成された１つまたは複数のプロセッサであって、前記命令を実行すると、前記１つまたは複数のプロセッサが、
    マルチタッチジェスチャについてのユーザ入力データを取得することと、
    パケットヘッダを生成することと、
    ペイロードデータを生成することであって、前記ペイロードデータが、第１のタッチ入力イベントについてのユーザ入力データを第１のポインタ識別情報に関連付け、第２のタッチ入力イベントについてのユーザ入力データを第２のポインタ識別情報に関連付ける、ペイロードデータを生成することと、
    前記パケットヘッダと前記ペイロードデータとを備えるデータパケットを生成することと
    を行わせる、１つまたは複数のプロセッサと、
    前記ワイヤレスソースデバイスに前記データパケットを送信するように構成されたトランスポートユニットと
    を備える、ワイヤレスシンクデバイス。
19. 前記ペイロードデータが、ポインタの数を識別するためのフィールドを備え、各ポインタがユニークなポインタ識別情報に関連付けられる、請求項１８に記載のデバイス。
20. ポインタの前記数が２よりも大きい、請求項１８に記載のデバイス。
21. 前記第１のタッチ入力イベントと前記第２のタッチ入力イベントとが実質的に同時に行われる、請求項１８に記載のデバイス。
22. 前記第１のタッチ入力イベントが、入力デバイス上にタッチダウンすることと、前記入力デバイスからタッチアップすることと、前記入力デバイス上でタッチを移動することとからなるグループから選択される、請求項１８に記載のデバイス。
23. 前記ペイロードデータが、
    前記第１のポインタ識別情報に関連付けられた第１のタッチダウン入力と、
    前記第１のポインタ識別情報に関連付けられた第１のタッチ移動入力と、
    前記第１のポインタ識別情報に関連付けられた第１のタッチアップ入力と、
    前記第２のポインタ識別情報に関連付けられた第２のタッチダウン入力と、
    前記第２のポインタ識別情報に関連付けられた第２のタッチ移動入力と、
    前記第２のポインタ識別情報に関連付けられた第２のタッチアップ入力と
    を備える、請求項１８に記載のデバイス。
24. 前記データパケットヘッダが、前記ユーザ入力データの入力カテゴリーを識別するためのフィールドを備え、前記フィールドが一般入力を識別する、請求項１８に記載のデバイス。
25. 前記ペイロードデータが、入力記述の長さを識別する長さフィールドを備える、請求項１８に記載のデバイス。
26. 前記入力記述の前記長さがオクテットの単位で識別される、請求項２５に記載のデバイス。
27. 前記ペイロードデータが、前記ユーザ入力データの詳細を記述するための記述フィールドを備える、請求項１８に記載のデバイス。
28. 前記ペイロードデータは、
    前記第１のタッチ入力イベントが行われた座標に対応する第１のｘ座標および第１のｙ座標と、
    前記第２のタッチ入力イベントが行われた座標に対応する第２のｘ座標およびｙ座標と
    を識別する、請求項１８に記載のデバイス。
29. 前記第１のｘ座標、前記第１のｙ座標、前記第２のｘ座標、および前記第２のｙ座標が、前記ワイヤレスシンクデバイスと前記ワイヤレスソースデバイスとの間のビデオストリームのネゴシエートされた解像度に基づく、請求項２８に記載のデバイス。
30. 前記ユーザ入力データを取得することが、前記ワイヤレスシンクデバイスの入力デバイスを通じて前記ユーザ入力データをキャプチャすることを備える、請求項１８に記載のデバイス。
31. 前記ユーザ入力データを取得することが、別のワイヤレスシンクデバイスからのフォワーディングされたユーザ入力データを受信することを備える、請求項１８に記載のデバイス。
32. 前記データパケットヘッダがアプリケーションレイヤパケットヘッダである、請求項１８に記載のデバイス。
33. 前記データパケットが、前記ワイヤレスソースデバイスのオーディオデータまたはビデオデータを制御するためのものである、請求項１８に記載のデバイス。
34. 前記データパケットがＴＣＰ／ＩＰを通じて送信される、請求項１８に記載のデバイス。
35. １つまたは複数のプロセッサによって実行されると、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する方法を実行することを前記１つまたは複数のプロセッサに行わせる、命令を記憶するコンピュータ可読記憶媒体であって、前記方法は、
    マルチタッチジェスチャについてのユーザ入力データを取得することと、
    パケットヘッダを生成することと、
    ペイロードデータを生成することであって、前記ペイロードデータが、第１のタッチ入力イベントについてのユーザ入力データを第１のポインタ識別情報に関連付け、第２のタッチ入力イベントについてのユーザ入力データを第２のポインタ識別情報に関連付ける、ペイロードデータを生成することと、
    前記パケットヘッダと前記ペイロードデータとを備えるデータパケットを生成することと、
    前記ワイヤレスソースデバイスに前記データパケットを送信することと
    を備える、コンピュータ可読記憶媒体。
36. ワイヤレスソースデバイスにユーザ入力を送信するように構成されたワイヤレスシンクデバイスであって、前記ワイヤレスシンクデバイスは、
    マルチタッチジェスチャについてのユーザ入力データを取得するための手段と、
    パケットヘッダを生成するための手段と、
    ペイロードデータを生成するための手段であって、前記ペイロードデータが、第１のタッチ入力イベントについてのユーザ入力データを第１のポインタ識別情報に関連付け、第２のタッチ入力イベントについてのユーザ入力データを第２のポインタ識別情報に関連付ける、ペイロードデータを生成するための手段と、
    前記パケットヘッダと前記ペイロードデータとを備えるデータパケットを生成するための手段と、
    前記ワイヤレスソースデバイスに前記データパケットを送信するための手段と
    を備える、ワイヤレスシンクデバイス。
37. ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する方法であって、前記方法は、
    データパケットヘッダとペイロードデータとを備えるデータパケットを受信することと、
    第１のポインタ識別情報を用いた第１のタッチ入力イベントについてのユーザ入力データと、
    第２のポインタ識別情報を用いた第２のタッチ入力イベントについてのユーザ入力データと
    を識別するために前記ペイロードデータをパースすることと、
    前記第１のタッチ入力イベントについての前記ユーザ入力データと前記第２のタッチ入力イベントについての前記ユーザ入力データとをマルチタッチジェスチャとして解釈することと
    を備える、方法。
38. 前記ペイロードデータが、ポインタの数を識別するためのフィールドを備え、各ポインタがユニークなポインタ識別情報に関連付けられる、請求項３７に記載の方法。
39. ポインタの前記数が２よりも大きい、請求項３７に記載の方法。
40. 前記第１のタッチ入力イベントと前記第２のタッチ入力イベントとが、前記ワイヤレスシンクデバイスにおいて実質的に同時に行われる、請求項３７に記載の方法。
41. 前記第１のタッチ入力イベントが、入力デバイス上にタッチダウンすることと、前記入力デバイスからタッチアップすることと、前記入力デバイス上でタッチを移動することとからなるグループから選択される、請求項３７に記載の方法。
42. 前記ペイロードデータが、
    前記第１のポインタ識別情報に関連付けられた第１のタッチダウン入力イベントと、
    前記第１のポインタ識別情報に関連付けられた第１のタッチ移動入力イベントと、
    前記第１のポインタ識別情報に関連付けられた第１のタッチアップ入力イベントと、
    前記第２のポインタ識別情報に関連付けられた第２のタッチダウン入力イベントと、
    前記第２のポインタ識別情報に関連付けられた第２のタッチ移動入力イベントと、
    前記第２のポインタ識別情報に関連付けられた第２のタッチアップ入力イベントと
    を備え、
    前記方法が、
    前記第１のタッチダウン入力イベントと、第１のタッチ移動入力イベントと、第１のタッチアップ入力イベントとを第１のタッチ入力イベントシーケンスとして解釈することと、
    前記第２のタッチダウン入力イベントと、第２のタッチ移動入力イベントと、第２のタッチアップ入力イベントとを第２のタッチ入力イベントシーケンスとして解釈することと、
    前記第１のタッチ入力イベントシーケンスと前記第２のタッチ入力イベントシーケンスとを前記マルチタッチジェスチャとして解釈することと
    をさらに備える、請求項３７に記載の方法。
43. 前記データパケットヘッダが、前記ユーザ入力データの入力カテゴリーを識別するためのフィールドを備え、前記フィールドが一般入力を識別する、請求項３７に記載の方法。
44. 前記ペイロードデータが、入力記述の長さを識別する長さフィールドを備える、請求項３７に記載の方法。
45. 前記入力記述の前記長さがオクテットの単位で識別される、請求項４４に記載の方法。
46. 前記ペイロードデータが、前記ユーザ入力データの詳細を記述するための記述フィールドを備える、請求項３７に記載の方法。
47. 前記ペイロードデータは、
    前記第１のタッチ入力イベントが行われた座標に対応する第１のｘ座標および第１のｙ座標と、
    前記第２のタッチ入力イベントが行われた座標に対応する第２のｘ座標および第２のｙ座標と
    を識別する、請求項３７に記載の方法。
48. 前記第１のｘ座標、前記第１のｙ座標、前記第２のｘ座標、および前記第２のｙ座標が、前記ワイヤレスシンクデバイスと前記ワイヤレスソースデバイスとの間のビデオストリームのネゴシエートされた解像度に基づく、請求項４７に記載の方法。
49. 前記ユーザ入力データを取得することが、前記ワイヤレスシンクデバイスの入力デバイスを通じて前記ユーザ入力データをキャプチャすることを含む、請求項３７に記載の方法。
50. 前記ユーザ入力データを取得することが、別のワイヤレスシンクデバイスからのフォワーディングされたユーザ入力データを受信することを含む、請求項３７に記載の方法。
51. 前記データパケットヘッダがアプリケーションレイヤパケットヘッダである、請求項３７に記載の方法。
52. 前記データパケットが、前記ワイヤレスソースデバイスのオーディオデータまたはビデオデータを制御するためのものである、請求項３７に記載の方法。
53. 前記データパケットがＴＣＰ／ＩＰを通じて送信される、請求項３７に記載の方法。
54. ワイヤレスシンクデバイスからユーザ入力データを受信するように構成されたワイヤレスソースデバイスであって、前記ワイヤレスソースデバイスは、
    データパケットヘッダとペイロードデータとを備えるデータパケットを受信するためのトランスポートユニットと、
    命令を記憶するメモリと、
    前記命令を実行するように構成された１つまたは複数のプロセッサであって、前記命令を実行すると、前記１つまたは複数のプロセッサが、
    第１のポインタ識別情報を用いた第１のタッチ入力イベントについてのユーザ入力データと、
    第２のポインタ識別情報を用いた第２のタッチ入力イベントについてのユーザ入力データと
    を識別するために前記ペイロードデータをパースすることと、
    前記第１のタッチ入力イベントについての前記ユーザ入力データと前記第２のタッチ入力イベントについての前記ユーザ入力データとをマルチタッチジェスチャとして解釈することと
    を行わせる、１つまたは複数のプロセッサと
    を備える、ワイヤレスソースデバイス。
55. 前記ペイロードデータが、ポインタの数を識別するためのフィールドを備え、各ポインタがユニークなポインタ識別情報に関連付けられる、請求項５４に記載のワイヤレスソースデバイス。
56. ポインタの前記数が２よりも大きい、請求項５４に記載のワイヤレスソースデバイス。
57. 前記第１のタッチ入力イベントと前記第２のタッチ入力イベントとが、前記ワイヤレスシンクデバイスにおいて実質的に同時に行われる、請求項５４に記載のワイヤレスソースデバイス。
58. 前記第１のタッチ入力イベントが、入力デバイス上にタッチダウンすることと、前記入力デバイスからタッチアップすることと、前記入力デバイス上でタッチを移動することとからなるグループから選択される、請求項５４に記載のワイヤレスソースデバイス。
59. 前記ペイロードデータが、
    前記第１のポインタ識別情報に関連付けられた第１のタッチダウン入力イベントと、
    前記第１のポインタ識別情報に関連付けられた第１のタッチ移動入力イベントと、
    前記第１のポインタ識別情報に関連付けられた第１のタッチアップ入力イベントと、
    前記第２のポインタ識別情報に関連付けられた第２のタッチダウン入力イベントと、
    前記第２のポインタ識別情報に関連付けられた第２のタッチ移動入力イベントと、
    前記第２のポインタ識別情報に関連付けられた第２のタッチアップ入力イベントと
    を備え、
    前記方法が、
    前記第１のタッチダウン入力イベントと、前記第１のタッチ移動入力イベントと、前記第１のタッチアップ入力イベントとを第１のタッチ入力イベントシーケンスとして解釈することと、
    前記第２のタッチダウン入力イベントと、前記第２のタッチ移動入力イベントと、前記第２のタッチアップ入力イベントとを第２のタッチ入力イベントシーケンスとして解釈することと、
    前記第１のタッチ入力イベントシーケンスと前記第２のタッチ入力イベントシーケンスとを前記マルチタッチジェスチャとして解釈することと
    をさらに備える、請求項５４に記載のワイヤレスソースデバイス。
60. 前記データパケットヘッダが、前記ユーザ入力データの入力カテゴリーを識別するためのフィールドを備え、前記フィールドが一般入力を識別する、請求項５４に記載のワイヤレスソースデバイス。
61. 前記ペイロードデータが、入力記述の長さを識別する長さフィールドを備える、請求項５４に記載のワイヤレスソースデバイス。
62. 前記入力記述の前記長さがオクテットの単位で識別される、請求項６１に記載のワイヤレスソースデバイス。
63. 前記ペイロードデータが、前記ユーザ入力データの詳細を記述するための記述フィールドを備える、請求項５４に記載のワイヤレスソースデバイス。
64. 前記ペイロードデータは、
    前記第１のタッチ入力イベントが行われた座標に対応する第１のｘ座標および第１のｙ座標と、
    前記第２のタッチ入力イベントが行われた座標に対応する第２のｘ座標および第２のｙ座標と
    を識別する、請求項５４に記載のワイヤレスソースデバイス。
65. 前記第１のｘ座標、前記第１のｙ座標、前記第２のｘ座標、および前記第２のｙ座標が、前記ワイヤレスシンクデバイスと前記ワイヤレスソースデバイスとの間のビデオストリームのネゴシエートされた解像度に基づく、請求項６４に記載のワイヤレスソースデバイス。
66. 前記ユーザ入力データを取得することが、前記ワイヤレスシンクデバイスの入力デバイスを通じて前記ユーザ入力データをキャプチャすることを備える、請求項５４に記載のワイヤレスソースデバイス。
67. 前記ユーザ入力データを取得することが、別のワイヤレスシンクデバイスからのフォワーディングされたユーザ入力データを受信することを備える、請求項５４に記載のワイヤレスソースデバイス。
68. 前記データパケットヘッダがアプリケーションレイヤパケットヘッダである、請求項５４に記載のワイヤレスソースデバイス。
69. 前記データパケットが、前記ワイヤレスソースデバイスのオーディオデータまたはビデオデータを制御するためのものである、請求項５４に記載のワイヤレスソースデバイス。
70. 前記データパケットがＴＣＰ／ＩＰを通じて送信される、請求項５４に記載のワイヤレスソースデバイス。
71. １つまたは複数のプロセッサによって実行されると、ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する方法を実行することを前記１つまたは複数のプロセッサに行わせる、命令を記憶するコンピュータ可読記憶媒体であって、前記方法は、
    データパケットヘッダとペイロードデータとを備えるデータパケットを受信することと、
    第１のポインタ識別情報を用いた第１のタッチ入力イベントについてのユーザ入力データと、
    第２のポインタ識別情報を用いた第２のタッチ入力イベントについてのユーザ入力データと
    を識別するために前記ペイロードデータをパースすることと、
    前記第１のタッチ入力イベントについての前記ユーザ入力データと前記第２のタッチ入力イベントについての前記ユーザ入力データとをマルチタッチジェスチャとして解釈することと
    を備える、コンピュータ可読記憶媒体。
72. ワイヤレスシンクデバイスからユーザ入力データを受信するように構成されたワイヤレスソースデバイスであって、前記ワイヤレスソースデバイスは、
    データパケットヘッダとペイロードデータとを備えるデータパケットを受信するための手段と、
    第１のポインタ識別情報を用いた第１のタッチ入力イベントについてのユーザ入力データと、
    第２のポインタ識別情報を用いた第２のタッチ入力イベントについてのユーザ入力データと
    を識別するために前記ペイロードデータをパースするための手段と、
    前記第１のタッチ入力イベントについての前記ユーザ入力データと前記第２のタッチ入力イベントについての前記ユーザ入力データとをマルチタッチジェスチャとして解釈するための手段と
    を備える、ワイヤレスソースデバイス。

Images