JP2014511522A - ワイヤレスバックチャネルのためのユーザ入力デバイス - Google Patents

Abstract

本開示の態様は、一例として、ソースデバイスによって、シンクデバイスにレンダリングするための表示データをシンクデバイスに送信することを含む方法に関する。方法はまた、ソースデバイスによって、シンクデバイスにおいてレンダリングされた表示データの少なくとも一部の修正を指定するユーザ入力の指示を、ソースデバイスに関連するタッチセンシティブスクリーンの第１の表示ロケーションにおいて受信することを含み、表示データの一部が、シンクデバイスの第２の表示ロケーションにおいてレンダリングされる方法はまた、指示を受信することに応答して、少なくとも部分的にソースデバイスによって、第１の表示ロケーションを第２の表示ロケーションにマッピングすることに基づいて、第２の表示ロケーションにおいてレンダリングされた表示データの一部を修正するために第２のコンフィギュレーションデータを送信することを含む。

Description

本出願は、参照によりそれらの内容の全体が本明細書に組み込まれる、２０１１年２月４日に出願された「ＷＩ−ＦＩ ＤＩＳＰＬＡＹ ＲＥＶＥＲＳＥ ＣＨＡＮＮＥＬ ＳＥＴＵＰ ＡＮＤ ＩＮＰＵＴ ＤＡＴＡ ＥＮＣＡＰＳＵＬＡＴＩＯＮ」という名称の米国特許仮出願第６１／４３９，８０９号、および２０１１年１２月２２日に出願された「ＵＳＥＲ ＩＮＰＵＴ ＤＥＶＩＣＥ ＦＯＲ ＷＩＲＥＬＥＳＳ ＢＡＣＫ ＣＨＡＮＮＥＬ」という名称の米国特許仮出願第６１／５７９，０５６号の優先権を主張する。

本開示は、ワイヤレスソースデバイスとワイヤレスシンクデバイスとの間でデータを送信するための技法に関する。

ワイヤレスディスプレイ（ＷＤ）またはＷｉ−Ｆｉ Ｄｉｓｐｌａｙ（ＷＦＤ）システムは、ソースデバイスと１つまたは複数のシンクデバイスとを含む。ソースデバイスと、シンクデバイスのそれぞれとは、モバイルデバイス、またはワイヤレス通信機能を有するワイヤードデバイスのいずれかであってよい。たとえば、モバイルデバイスとして、ソースデバイスおよびシンクデバイスのうちの１つまたは複数が、携帯電話、ワイヤレス通信カードを有するポータブルコンピュータ、携帯情報端末（ＰＤＡ）、ポータブルメディアプレーヤ、あるいは、いわゆる「スマート」フォンおよび「スマート」パッドもしくはタブレット、または他のタイプのワイヤレス通信デバイスを含む、ワイヤレス通信機能を有する他のフラッシュメモリデバイスを備え得る。たとえば、ワイヤードデバイスとして、ソースデバイスおよびシンクデバイスのうちの１つまたは複数が、ワイヤレス通信機能を含む、テレビジョン、デスクトップコンピュータ、モニタ、プロジェクタなどを備え得る。

ソースデバイスは、オーディオビデオ（ＡＶ）データなどのメディアデータを、特定のメディアシェアセッションに参加しているシンクデバイスのうちの１つまたは複数に送信する。メディアデータは、ソースデバイスのローカルディスプレイと、シンクデバイスのディスプレイのそれぞれの両方において再生され得る。より具体的には、参加しているシンクデバイスのそれぞれは、受信されたメディアデータを、そのスクリーンとオーディオ機器とにレンダリングする。

本開示の技法は、一般に、ワイヤレスソースデバイスとワイヤレスシンクデバイスとの間の通信に関する。より具体的には、本開示は、ワイヤレスソースデバイスが、ワイヤレスシンクデバイスにおいてレンダリングされたビデオデータを制御する入力デバイスとして働くことを可能にする技法を説明する。たとえば、本開示の態様によれば、ワイヤレスソースデバイスは、レンダリングと表示とのためにワイヤレスシンクデバイスにビデオデータを送信することができる。加えて、ワイヤレスソースデバイスは、レンダリングされたビデオデータを制御するためにユーザ入力を送信することができる。

一例では、ワイヤレスソースデバイスは、ワイヤレスソースデバイスにユーザ入力を行うために、タッチディスプレイを含むことがある。すなわち、ワイヤレスソースデバイスのタッチディスプレイは、ラップトップのタッチパッドに類似するタッチパッドまたはマウスパッドとして働くことができる。この例では、本開示の態様によれば、ワイヤレスソースデバイスは、ワイヤレスシンクデバイスによってレンダリングされるべきビデオデータ、ならびにタッチディスプレイからのユーザ入力を送信することができる。したがって、ユーザが、ワイヤレスソースデバイスのタッチディスプレイにおいてユーザ入力を行うと、ワイヤレスソースディスプレイは、ユーザ入力に対応する１つまたは複数のイベントを生成し得、ワイヤレスシンクデバイスにそのようなイベントを送信し得る。加えて、本開示の態様によれば、ワイヤレスソースデバイスは、ワイヤレスソースデバイスにおけるユーザ入力のロケーションを、ワイヤレスシンクデバイスにおける適切なロケーションにマッピングすることができる。

一例では、本開示の態様は、一例として、ソースデバイスによって、シンクデバイスにレンダリングするための表示データをシンクデバイスに送信することを含む方法に関する。方法はまた、ソースデバイスによって、ソースデバイスに関連するタッチセンシティブスクリーンの第１の表示ロケーションでのユーザ入力の指示を受信することを含み、ユーザ入力がシンクデバイスにおいてレンダリングされた表示データの少なくとも一部の修正を指定し、表示データの一部がシンクデバイスの第２の表示ロケーションにおいてレンダリングされる。方法はまた、指示を受信することに応答して、ソースデバイスによって、少なくとも部分的に第１の表示ロケーションを第２の表示ロケーションにマッピングすることに基づいて、第２の表示ロケーションにおいてレンダリングされた表示データの一部を修正するために第２のコンフィギュレーションデータを送信することを含む。

別の例では、本開示の態様は、命令を記憶しているメモリと、命令を実行するように構成された１つまたは複数のプロセッサとを備え、命令の実行時に１つまたは複数のプロセッサが：シンクデバイスにレンダリングするための表示データをシンクデバイスに送信することと；ソースデバイスに関連するタッチセンシティブスクリーンの第１の表示ロケーションでのユーザ入力の指示を受信することであって、ユーザ入力がシンクデバイスにおいてレンダリングされた表示データの少なくとも一部の修正を指定し、表示データの一部がシンクデバイスの第２の表示ロケーションにおいてレンダリングされることと；表示を受信することに応答して、第１の表示ロケーションを第２の表示ロケーションにマッピングすることに少なくとも部分的に基づいて、第２の表示ロケーションにおいてレンダリングされた表示データの一部を修正するために第２のコンフィギュレーションデータを送信することとを引き起こす、ワイヤレスソースデバイスに関する。

別の例では、本開示の態様は、ワイヤレスソースデバイスの１つまたは複数のプロセッサによる実行時に、１つまたは複数のプロセッサに：シンクデバイスにレンダリングするための表示データをシンクデバイスに送信することと；ワイヤレスソースデバイスに関連するタッチセンシティブスクリーンの第１の表示ロケーションでのユーザ入力の表示を受信することであって、ユーザ入力がシンクデバイスにおいてレンダリングされた表示データの少なくとも一部の修正を指定し、表示データの一部がシンクデバイスの第２の表示ロケーションにおいてレンダリングされることと；表示を受信することに応答して、第１の表示ロケーションを第２の表示ロケーションにマッピングすることに少なくとも部分的に基づいて、第２の表示ロケーションにおいてレンダリングされた表示データの一部を修正するために第２のコンフィギュレーションデータを送信することとを行わせる命令を記憶する、コンピュータ可読記憶媒体に関する。

別の例では、本開示の態様は、シンクデバイスにレンダリングするための表示データをシンクデバイスに送信するための手段と；ソースデバイスに関連するタッチセンシティブスクリーンの第１の表示ロケーションでのユーザ入力の指示を受信するための手段であって、ユーザ入力がシンクデバイスにおいてレンダリングされた表示データの少なくとも一部の修正を指定し、表示データの一部がシンクデバイスの第２の表示ロケーションにおいてレンダリングされる、手段と；表示を受信することに応答して、第１の表示ロケーションを第２の表示ロケーションにマッピングすることに少なくとも部分的に基づいて、第２の表示ロケーションにおいてレンダリングされた表示データの一部を修正するために第２のコンフィギュレーションデータを送信するための手段とを備える、ワイヤレスソースデバイスに関する。

別の例では、本開示の態様は、ワイヤレスシンクデバイスによって、ワイヤレスシンクデバイスにレンダリングするための表示データを受信することと；ワイヤレスシンクデバイスによって、ワイヤレスシンクデバイスの第１のロケーションにおいてレンダリングされた表示データの一部を修正するためのコンフィギュレーションデータを受信することであって、表示データの一部がワイヤレスソースデバイスの第２の表示ロケーションにおいてレンダリングされることと；ワイヤレスシンクデバイスによって、少なくとも部分的に第１の表示ロケーションと第２の表示ロケーションとのマッピングに基づいて、第１のロケーションにおいて表示データの一部をレンダリングすることとを備える方法に関する。

別の例では、本開示の態様は、命令を記憶しているメモリと、命令を実行するように構成された１つまたは複数のプロセッサとを備え、命令の実行時に１つまたは複数のプロセッサが：ワイヤレスシンクデバイスによって、ワイヤレスシンクデバイスにレンダリングするための表示データを受信することと；ワイヤレスシンクデバイスによって、ワイヤレスシンクデバイスの第１のロケーションにおいてレンダリングされた表示データの一部を修正するためのコンフィギュレーションデータを受信することであって、表示データの一部がワイヤレスソースデバイスの第２の表示ロケーションにおいてレンダリングされることと；ワイヤレスシンクデバイスによって、少なくとも部分的に第１の表示ロケーションと第２の表示ロケーションとのマッピングに基づいて、第１のロケーションにおいて表示データの一部をレンダリングすることとを引き起こす、ワイヤレスシンクデバイスに関する。

別の例では、本開示の態様は、ワイヤレスシンクデバイスの１つまたは複数のプロセッサによる実行時に、１つまたは複数のプロセッサに：ワイヤレスシンクデバイスにレンダリングするための表示データを受信することと；ワイヤレスシンクデバイスの第１のロケーションにおいてレンダリングされた表示データの一部を修正するためのコンフィギュレーションデータを受信することであって、表示データの一部がワイヤレスソースデバイスの第２の表示ロケーションにおいてレンダリングされることと；少なくとも部分的に第１の表示ロケーションと第２の表示ロケーションとのマッピングに基づいて、第１のロケーションにおいて表示データの一部をレンダリングすることとを行わせる命令を記憶する、コンピュータ可読記憶媒体に関する。

別の例では、本開示の態様は、ワイヤレスシンクデバイスにレンダリングするための表示データを受信するための手段と；ワイヤレスシンクデバイスの第１のロケーションにおいてレンダリングされた表示データの一部を修正するためのコンフィギュレーションデータを受信するための手段であって、表示データの一部がワイヤレスソースデバイスの第２の表示ロケーションにおいてレンダリングされる、手段と；少なくとも部分的に第１の表示ロケーションと第２の表示ロケーションとのマッピングに基づいて、第１のロケーションにおいて表示データの一部をレンダリングするための手段とを備える、ワイヤレスシンクデバイスに関する。

１つまたは複数の例の詳細を添付の図面および以下の説明に記載する。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。

本開示の技法を実装し得るソース／シンクシステムの一例を示すブロック図。 本開示の技法を実装し得る２つのシンクデバイスを有するソース／シンクシステムの一例を示すブロック図。 本開示の技法を実装し得るソースデバイスの一例を示すブロック図。 本開示の技法を実装し得るシンクデバイスの一例を示すブロック図。 本開示の技法を実装し得る送信機システムおよび受信機システムの一例を示すブロック図。 本開示の技法を実装し得るシンクデバイスおよびソースデバイスの概念図。 ワイヤレスソースデバイスがワイヤレスシンクデバイスにおいてレンダリングされるデータのための入力デバイスとして働くことを可能にし得る、例示的な方法を示すフロー図。 ワイヤレスソースデバイスからのユーザ入力に基づいてワイヤレスシンクデバイスが表示データをレンダリングすることを可能にし得る、例示的な方法を示すフロー図。

ワイヤレスディスプレイ（ＷＤ）システムは、ワイヤレスディスプレイ（ＷＤ）ソースと、少なくとも１つのワイヤレスディスプレイシンクとを含み得る。加えて、ワイヤレスディスプレイシステムは、複数のワイヤレスディスプレイシンクを含み得る。ワイヤレスディスプレイソースは、端末デバイスにおいて受信されたオーディオビデオ（ＡＶ）データを瞬時にレンダリングし得るワイヤレスディスプレイシンクに、ＡＶデータを送信し得る。いくつかの例では、オーディオビデオデータは、急速に連続して再生される一連のフレーム（または画像）を備え、フレームはまた、関連するオーディオフレームを含み得るが、オーディオフレームが含まれないときもある。

いくつかの場合には、ワイヤレスディスプレイソースは、ワイヤレスディスプレイシンクにおいて加えられたユーザ入力に応答するようにプロンプトを出されることがある。そのような対話型アプリケーションでは、ワイヤレスディスプレイシンクにおいて加えられたユーザ入力が、ワイヤレスディスプレイソースに送り返されることがある。一例では、ワイヤレスディスプレイシンクにおいて加えられたユーザ入力をワイヤレスディスプレイシステムがワイヤレスディスプレイソースに送信することを可能にするために、逆方向チャネル構造が実装されてよい。逆方向チャネル構造は、ユーザ入力をトランスポートするための上位レイヤメッセージと、ワイヤレスディスプレイシンクおよびワイヤレスディスプレイソースにおいてユーザインターフェース機能を交渉するための下位レイヤフレームとを含み得る。

ワイヤレスディスプレイ逆方向チャネルは、ワイヤレスディスプレイシンクとワイヤレスディスプレイソースとの間のインターネットプロトコル（ＩＰ）トランスポートレイヤの上に常駐し得る。ユーザ入力への確実な送信と順序正しい送達とを促進するために、ワイヤレスディスプレイ逆方向チャネルは、ＴＣＰ／ＩＰの上部で実行するように構成されてよい。いくつかの場合には、ワイヤレスディスプレイシンクにおけるユーザ入力インターフェースとワイヤレスディスプレイソースとの間に不整合が存在することがある。そのような不整合によって引き起こされる問題を解決し、そのような環境下で良好なユーザエクスペリエンスを促進するために、ユーザ入力インターフェース機能交渉が、ワイヤレスディスプレイシンクとワイヤレスディスプレイソースとの間で発生する。

本開示の技法は、一般に、ワイヤレスソースデバイスとワイヤレスシンクデバイスとの間の通信に関する。より具体的には、本開示は、ビデオデータをシンクデバイスに送達するとともに、ワイヤレスシンクデバイスにおいてレンダリングされたビデオデータを制御する入力デバイスとしてワイヤレスソースデバイスが働くことを可能にし得る技法を説明する。たとえば、本開示の態様によれば、ワイヤレスソースデバイスは、レンダリングと表示とのためにワイヤレスシンクデバイスにビデオデータを送信することができる。加えて、ワイヤレスソースデバイスは、レンダリングされたビデオデータを制御するためにユーザ入力を送信することができる。

一例では、ワイヤレスソースデバイスは、ワイヤレスソースデバイスへのユーザ入力を可能にするために、タッチディスプレイを含むことがある。すなわち、ワイヤレスソースデバイスのタッチディスプレイは、ラップトップのタッチパッドに類似するタッチパッドまたはマウスパッドとして働く。この例では、本開示の態様によれば、ワイヤレスソースデバイスは、ワイヤレスシンクデバイスによってレンダリングされるべきビデオデータ、ならびにタッチディスプレイからのユーザ入力を送信することができる。したがって、ユーザが、ワイヤレスソースデバイスのタッチディスプレイにおいてユーザ入力を行うと、ワイヤレスソースディスプレイは、ユーザ入力に対応する１つまたは複数のイベントを生成し得、ワイヤレスシンクデバイスにそのようなイベントを送信し得る。加えて、本開示の態様によれば、ワイヤレスソースデバイスは、ワイヤレスソースデバイスにおけるユーザ入力のロケーションを、ワイヤレスシンクデバイスにおける適切なロケーションにマッピングすることができる。

図１Ａは、本開示の技法を実装し得る例示的なソース／シンクシステム１００を示すブロック図である。図１Ａに示すように、システム１００は、通信チャネル１５０を介してシンクデバイス１６０と通信するソースデバイス１２０を含む。ソースデバイス１２０は、オーディオ／ビデオ（Ａ／Ｖ）データ１２１を記憶するメモリと、ディスプレイ１２２と、スピーカ１２３と、オーディオ／ビデオエンコーダ１２４（エンコーダ１２４とも呼ばれる）と、オーディオ／ビデオ制御モジュール１２５と、送信機／受信機（ＴＸ／ＲＸ）ユニット１２６とを含み得る。シンクデバイス１６０は、ディスプレイ１６２と、スピーカ１６３と、オーディオ／ビデオデコーダ１６４（デコーダ１６４とも呼ばれる）と、送信機／受信機ユニット１６６と、ユーザ入力（ＵＩ）デバイス１６７と、ユーザ入力処理モジュール（ＵＩＰＭ）１６８とを含み得る。図示の構成要素は、一例を構成するに過ぎず、他の例は、これらの図示されたものより少ない構成要素か、または追加の構成要素を含み得る。

図１Ａの例では、ソースデバイス１２０は、オーディオ／ビデオデータ１２１のビデオ部分をディスプレイ１２２に表示し得、オーディオ／ビデオデータ１２１のオーディオ部分をスピーカ１２２に出力し得る。オーディオ／ビデオデータ１２１は、ソースデバイス１２０にローカルに記憶され得、ファイルサーバ、ブルーレイディスク（登録商標）、もしくはＤＶＤなどの外部記憶媒体からアクセスされ得、またはインターネットなどのネットワーク接続を介してソースデバイス１２０にストリームされ得る。いくつかの例では、オーディオ／ビデオデータ１２１は、ソースデバイス１２０のカメラおよびマイクロフォンを介してリアルタイムでキャプチャされ得る。オーディオ／ビデオデータ１２１は、ムービー、テレビ番組、または音楽などのマルチメディアコンテンツを含み得るが、同様に、ソースデバイス１２０によって生成されるリアルタイムコンテンツも含み得る。そのようなリアルタイムコンテンツは、たとえば、ソースデバイス１２０で実行中のアプリケーションによって作成され得る。一例では、そのようなリアルタイムコンテンツはまた、ユーザが選択するために利用可能なユーザ入力オプションのビデオフレームを含み得る。いくつかの例では、オーディオ／ビデオデータ１２１は、ビデオのフレームにオーバーレイされたユーザ入力オプションを有するムービーまたはＴＶ番組のビデオフレームなど、異なるタイプのコンテンツの組合せであるビデオフレームを含み得る。

ディスプレイ１２２およびスピーカ１２３を介してローカルにオーディオ／ビデオデータ１２１をレンダリングすることに加えて、ソースデバイス１２０のオーディオ／ビデオエンコーダ１２４は、オーディオ／ビデオデータ１２１を符号化し得、送信機／受信機ユニット１２６は、符号化データを通信チャネル１５０を介してシンクデバイス１６０に送信し得る。シンクデバイス１６０の送信機／受信機ユニット１６６は符号化データを受信し、オーディオ／ビデオデコーダ１６４は符号化データを復号し、ディスプレイ１６２およびスピーカ１６３を介して復号データを出力する。このようにして、ディスプレイ１２２およびスピーカ１２によってレンダリングされているオーディオおよびビデオのデータが、ディスプレイ１６２およびスピーカ１６３によって同時にレンダリングされ得る。オーディオデータおよびビデオデータはフレーム内で構成されてよく、オーディオフレームは、レンダリングされるときにビデオフレームと時刻同期されてよい。

オーディオ／ビデオエンコーダ１２４およびオーディオ／ビデオデコーダ１６４は、別名としてＭＰＥＧ−４ Ｐａｒｔ １０高度ビデオコーディング（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格、または新しく出現した、ときにＨ．２６５規格と呼ばれるｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ（ＨＥＶＣ）規格など、任意の数のオーディオおよびビデオの圧縮規格を実装し得る。概して、オーディオ／ビデオデコーダ１６４は、オーディオ／ビデオエンコーダ１２４のレシプロカルコーディング演算を実行するように構成される。図１Ａには示さないが、いくつかの態様では、Ａ／Ｖエンコーダ１２４およびＡ／Ｖデコーダ１６４は、それぞれオーディオのエンコーダおよびデコーダと統合され得、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理するために、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアとソフトウェアとを含み得る。

図１Ａは、オーディオペイロードデータとビデオペイロードデータとを別々に搬送する通信チャネル１５０を示すが、いくつかの例では、ビデオペイロードデータおよびオーディオペイロードデータは共通のデータストリームの一部であってもよいことを理解されたい。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットはＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠することができる。オーディオ／ビデオエンコーダ１２４およびオーディオ／ビデオデコーダ１６４はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せとして実装され得る。オーディオ／ビデオエンコーダ１２４およびオーディオ／ビデオデコーダ１６４のそれぞれは、１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。

ディスプレイ１２２およびディスプレイ１６２は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なビデオ出力デバイスのいずれかを備え得る。スピーカ１２３は、ヘッドフォン、シングルスピーカシステム、マルチスピーカシステム、またはサラウンドサウンドシステムなど、様々なオーディオ出力デバイスのいずれかを備え得る。加えて、ディスプレイ１２２およびスピーカ１２３はソースデバイス１２０の一部として示され、ディスプレイ１６２およびスピーカ１６３はシンクデバイス１６０の一部として示されているが、ソースデバイス１２０およびシンクデバイス１６０は、実際は、それらのデバイスの一システムであってよい。一例として、ディスプレイ１６２はテレビジョンであってよく、スピーカ１６３はサラウンドサウンドシステムであってよく、デコーダ１６４はワイヤードまたはワイヤレスのいずれかでディスプレイ１６２とスピーカ１６３とに接続された外部ボックスの一部であってよい。他の例では、シンクデバイス１６０は、タブレットコンピュータまたはスマートフォンなどの単一のデバイスであってよい。さらに他の場合では、ソースデバイス１６０およびシンクデバイス１２０は類似するデバイス、たとえば両方ともスマートフォン、タブレットコンピュータなどである。この場合、一方のデバイスがソースとして動作してよく、他方がシンクとして動作してよい。これらの役割は、その後の通信セッションにおいて反転されてもよい。

送信機／受信機ユニット１２６および送信機／受信機ユニット１６６は、それぞれ、信号変調のために設計された様々なミキサ、フィルタ、増幅器、および他の構成要素、ならびにデータを送信および受信するために設計された１つまたは複数のアンテナおよび他の構成要素を含み得る。通信チャネル１５０は、一般に、ビデオデータをソースデバイス１２０からシンクデバイス１６０に送信するのに好適な任意の通信媒体、または様々な通信媒体の集合体を表す。通信チャネル１５０は、通常、ＷｉＦｉ、ブルートゥース（登録商標）などと類似する、比較的短距離の通信チャネルである。しかしながら、通信チャネル１５０は必ずしもこの点において制限されるとは限らず、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体、あるいはワイヤレス媒体とワイヤード媒体との任意の組合せを備え得る。他の例では、通信チャネル１５０は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成することもできる。ソースデバイス１２０およびシンクデバイス１６０は、ＩＥＥＥ８０２．１１規格ファミリーによる規格などの通信プロトコルを使用する通信チャネルを介して通信し得る。

ソースデバイス１２０から受信されたデータを復号およびレンダリングすることに加えて、シンクデバイス１６０はまた、ユーザ入力デバイス１６７からユーザ入力を受信し得る。ユーザ入力デバイス１６７は、たとえば、キーボード、マウス、トラックボールもしくはトラックパッド、タッチスクリーン、ボイスコマンド認識モジュール、または任意の他のそのようなユーザ入力デバイスであってよい。ユーザ入力処理モジュール１６８は、ユーザ入力デバイス１６７によって受信されたユーザ入力コマンドを、ソースデバイス１２０が解釈できるデータパケット構造にフォーマットする。そのようなデータパケットは、送信機／受信機１６６によって通信チャネル１５０を介してソースデバイス１２０に送信される。送信機／受信機ユニット１２６がデータパケットを受信し、Ａ／Ｖ制御モジュールが、ユーザ入力デバイス１６７によって受信されたユーザ入力コマンドを解釈するために、データパケットを解析する。データパケット内で受信されたコマンドに基づいて、Ａ／Ｖ制御モジュール１２５は、符号化されて送信されたコンテンツを変更することができる。このようにして、シンクデバイス１６０のユーザは、ソースデバイス１２０によってリモートで送信されるオーディオペイロードデータとビデオペイロードデータとを制御し得、ソースデバイス１２０と直接対話することはない。シンクデバイス１６０のユーザがソースデバイス１２０に送信し得るコマンドのタイプの例は、オーディオビデオデータの巻戻し、早送り、一時停止、および再生のためのコマンド、ならびにズーミング、回転、スクロールなどのためのコマンドを含む。ユーザはまた、たとえばオプションのメニューから選択し、その選択をソースデバイス１２０に送り返すことができる。

ソースデバイス１２０は、シンクデバイス１６０において加えられたユーザ入力に応答し得る。そのような対話型アプリケーションセッティングでは、シンクデバイス１６０において加えられたユーザ入力は、通信チャネル１５０を介してワイヤレスディスプレイソースに送り返されることがある。一例では、シンクデバイス１６０に加えられたユーザ入力をシンクデバイス１６０がソースデバイス１２０に送信することを可能にするために、ユーザインターフェースバックチャネル（ＵＩＢＣ）とも呼ばれる逆方向チャネル構造が実装され得る。逆方向チャネル構造は、ユーザ入力をトランスポートするための上位レイヤメッセージと、シンクデバイス１６０およびソースデバイス１２０においてユーザインターフェース機能を交渉するための下位レイヤフレームとを含み得る。ＵＩＢＣは、シンクデバイス１６０とソースデバイス１２０との間のインターネットプロトコル（ＩＰ）トランスポートレイヤ上に常駐し得る。ユーザ入力データを含むデータパケットの確実な送信と順序正しい送達を促進するために、ＵＩＢＣは、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）またはユーザデータグラムプロトコル（ＵＤＰ）など、他のパケットベース通信プロトコルの上部で実行するように構成されてよい。

いくつかの場合には、ソースデバイス１２０に位置するユーザ入力インターフェースとシンクデバイス１６０との間に不整合が存在することがある。そのような不整合によって生成される潜在的問題を解決し、そのような環境下で良好なユーザエクスペリエンスを促進するために、ユーザ入力インターフェース機能交渉が、通信セッションを確立する前に、ソースデバイス１２０とシンクデバイス１６０との間で発生することがある。

ＵＩＢＣは、クロスプラットフォームユーザ入力データを含む、様々なタイプのユーザ入力データをトランスポートするように設計され得る。たとえば、ソースデバイス１２０は、ｉＯＳ（登録商標）オペレーティングシステムを実行し得る一方で、シンクデバイス１６０は、アンドロイド（登録商標）またはＷｉｎｄｏｗｓ（登録商標）など、別のオペレーティングシステムを実行する。プラットフォームにかかわらず、ＵＩＰＭ １６８は、受信されたユーザ入力を、Ａ／Ｖ制御モジュール１２５にとって理解可能な形態にカプセル化することができる。多くの異なるタイプのソースデバイスおよびシンクデバイスがプロトコルを利用することを可能にするために、いくつかの異なるタイプのユーザ入力フォーマットがＵＩＢＣによってサポートされ得る。汎用入力フォーマットが定義されてよく、プラットフォーム固有の入力フォーマットもサポートされてよく、したがって、ユーザ入力が、ＵＩＢＣによってソースデバイス１２０とシンクデバイス１６０との間で通信され得る方式でフレキシビリティが提供される。

図１Ａの例では、ソースデバイス１２０は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、ＷｉＦｉ対応テレビジョン、またはオーディオおよびビデオのデータを送信可能な任意の他のデバイスを備え得る。シンクデバイス１６０は、同様に、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、ＷｉＦｉ対応テレビジョン、またはオーディオおよびビデオのデータを受信しかつユーザ入力データを受信することができる任意の他のデバイスを備え得る。いくつかの例では、シンクデバイス１６０は、ディスプレイ１６２、スピーカ１６３、ＵＩデバイス１６７、およびＡ／Ｖエンコーダ１６４のすべてが個別であるが相互動作するデバイスの部分であるようなデバイスによる一システムを含むことがある。ソースデバイス１２０は、同様に、単一のデバイスではなくデバイスのシステムであってよい。多くの場合、ソースデバイス１２０およびシンクデバイス１６０は、一方のデバイスがソースとして動作し、他方のデバイスがシンクとして動作する、類似または同等のデバイスであってよい。その上、これらの役割は、異なる通信セッションにおいて反転されてよい。

本開示の例示的な技法は、シンクデバイス１６０においてレンダリングされるビデオデータを制御し得る入力デバイスとしてソースデバイス１２０が働くことを可能にし得る。すなわち、たとえば、ソースデバイス１２０は、ディスプレイ１６２においてレンダリングし、表示するために、ビデオデータをシンクデバイス１６０に送信し得る。このようにして、ソースデバイス１２０のビデオデータは、シンクデバイス１６０のディスプレイに拡張され得る。

ソースデバイス１２０はまた、タッチディスプレイを含み得る。たとえば、ディスプレイ１２２はタッチディスプレイであってよい。すなわち、いくつかの例では、ディスプレイ１２２は、ユーザがユーザ入力をソースデバイス１２０に入力することを可能にする、容量型、抵抗型、または他のタイプのタッチパネルであってよい。このようにして、ソースデバイス１２０のディスプレイ１２２は、ラップトップのタッチパッドに類似するタッチパッドまたはマウスパッドとして働き得る。したがって、ユーザがディスプレイ１２２においてユーザ入力を行うと、ソースデバイス１２０は、ユーザ入力に対応する１つまたは複数のイベントを生成し得る。

一例では、１つまたは複数のイベントは、ユーザ入力のタイプ、ユーザ入力によって選択されるグラフィカルオブジェクトなど、イベントの特性をさらに説明するパラメータを含み得る。イベントを生成すると、ソースデバイス１２０は、１つまたは複数のイベントをシンクデバイス１６０に送信し得る。いくつかの例では、ソースデバイス１２０は、イベントをシンクデバイス１６０に送信するために、リアルタイムトランスポートプロトコル（ＲＴＰ）とユーザデータグラムプロトコル（ＵＤＰ）とを使用し得る。他の例では、ソースデバイス１２０は、イベントを送るために、伝送制御プロトコル（ＴＣＰ）とインターネットプロトコル（ＩＰ）とを使用し得る。いずれの場合も、シンクデバイス１６０は、１つまたは複数のイベントを受信し得、イベントに基づいてシンクデバイス１６０においてレンダリングされたビデオデータを修正し得る。たとえば、シンクデバイス１６０において表示されたグラフィカルポインティングオブジェクト（たとえば、マウスポインタ）のロケーションまたは外観が、生成または修正されてよい。他の場合には、ソースデバイス１２０は、ソースデバイス１２０においてレンダリングされた表示データを修正し得、表示データに対する任意の修正を表すデータが、ソースデバイス１２０によってシンクデバイス１６０に送信されてよい。

このようにして、ソースデバイス１２０のディスプレイ１２２は、シンクデバイス１６０において動作可能なマウスパッドとして使用され得る。したがって、一シナリオでは、ソースデバイス１２０は、表示データをレンダリングするスマートフォンであってよい。表示データは、ＬＥＤテレビジョンなど、より大きなディスプレイであり得るシンクデバイス１６０に拡張され得る。本開示のいくつかの態様によれば、以下で図５に関してより詳細に説明するように、ユーザが触れる指の動きが追跡される可能性がある間、電力を温存するために、ディスプレイ１２２の表示機能が切られてよく、対応するアクションがシンクデバイス１６０においてレンダリングされ得る。たとえば、ディスプレイ１２２は、ビデオデータを表示し得ないが、ポインタはシンクデバイス１６０において表示され得る。いくつかの例では、ソースデバイス１２０は、ユーザ入力デバイスとして動作するとき、タッチセンシティブディスプレイを持たないがソースデバイス１２０から受信された表示データをレンダリングすることができるシンクデバイス１６０上でのタッチインタラクティビティを可能にする。このようにして、ユーザインターフェース機能は、ソースデバイス１２０とシンクデバイス１６０との間で互換的に使用されてよい。

本開示の態様は、さらに、ワイヤレスシンクデバイス１２０の解像度をワイヤレスソースデバイス１６０の解像度にマッピングするための技法を提供する。ワイヤレスデバイスの解像度をマッピングすることは、ソースデバイス１２０において生成されたイベントが、シンクデバイス１６０に対して変換されることを可能にする。たとえば、ソースデバイス１２０とシンクデバイス１６０とが最初に通信すると、デバイスはディスプレイ解像度情報を交換し得る。

そのようなマッピングは、ディスプレイ１２２がディスプレイ１６２と異なる解像度および／またはサイズであるかどうかにかかわらず、ソースデバイスのディスプレイ１２２上の相対位置が、シンクデバイス１６０のディスプレイ１６２上の同じ相対位置に対応することを可能にする。たとえば、ユーザが後で、ソースデバイス１２０のディスプレイ１２２の左上隅においてユーザ入力を行う場合、ソースデバイス１２０は、イベントを生成することができる。そのイベントは、ディスプレイ１２２上のユーザ入力のロケーションと、イベントのタイプとを指定し得る。イベントを生成することに応答して、ソースデバイス１２０は、ワイヤレスソースデバイス１２０のディスプレイ１２２のロケーションに対応する、シンクデバイス１６０のディスプレイ１６２のロケーションを、ソースデバイスとシンクデバイスとの解像度のマッピングに基づいて決定し得る。したがって、ユーザ入力がディスプレイ１２２の左上隅において行われる場合、その入力は、ディスプレイ１６２の左上隅にマッピングされ得る。

いくつかの例では、ソースデバイス１２０は、ソースデバイス１２０によってレンダリングされた表示データを、マッピングおよびユーザ入力に基づいて修正し得る。次いで、修正を示すデータが、シンクデバイス１６０においてレンダリングされる表示データを更新するために、ソースデバイス１２０によってシンクデバイス１６０に送信され得る。代替例では、ソースデバイス１２０は、イベントをシンクデバイス１６０に送信し得、シンクデバイス１６０は、イベント、ならびにソースデバイスとシンクデバイスとの解像度のマッピングに基づいて、表示データを修正し得る。

いくつかの例では、ソースデバイス１２０のディスプレイ１２２は、入力デバイスと出力デバイスの両方として動作し得る。たとえば、ディスプレイ１２２は、ユーザがディスプレイ１２２においてタッチジェスチャーを行うときを判断するために、容量型、抵抗型、または他の結合を使用する入力デバイスとして働くことができる。ディスプレイ１２２はまた、液晶ディスプレイ（ＬＣＤ）のディスプレイフォーマットまたは他のディスプレイフォーマットを使用して表示データを表示することによって、出力デバイスとして働くことができる。本開示のいくつかの態様では、ソースデバイス１２０が、シンクデバイス１６０においてレンダリングされた表示データを修正するための入力デバイスとして使用されるとき、ソースデバイス１２０は、ディスプレイ１２２の出力デバイス機能をディセーブルすることができる。たとえば、ソースデバイス１２０は、容量型結合機能がイネーブルのままである間、電力を温存するためにタッチディスプレイのＬＣＤ表示をディセーブルするかまたは切ることができる。

いくつかの例では、異なるユーザ入力は、ソースデバイス１２０とシンクデバイス１６０の両方において受信され得る。したがって、ユーザ入力を表すイベントが１つのデバイスから別のデバイスにトランスポートされるとき、同期問題が発生することがある。たとえば、ソースデバイス１２０によってレンダリングされた表示データは、レンダリングのためにシンクデバイス１６０に送信されてよい。ユーザは、シンクデバイス１６０においてユーザ入力を行うことができ、シンクデバイス１６０は、ソースデバイス１２０に送信されるイベントを生成し得る。ソースデバイス１２０がイベントを受信する前に、別のユーザがソースデバイス１２０においてユーザ入力を行うことがある。そのような例では、ユーザ入力がソースデバイス１２０によってレンダリングされる表示データに加えられる方式を同期させるために、タイムスタンプが各ユーザ入力に与えられてよい。たとえば、より早いタイムスタンプを有する第１のユーザ入力が、より遅いタイムスタンプを有する第２のユーザ入力より前に加えられてよい。

別の例では、ソースデバイス１２０によってレンダリングされた表示データのロケーションが、イベントをシンクデバイス１６０から受信する前に、ソースデバイス１２０において受信されたユーザ入力に起因して変化している可能性がある。シンクデバイス１６０において生成されたイベントは表示データの前のロケーションに基づいていたので、ソースデバイス１２０は、イベントに関連付けられたタイムスタンプを評価し、表示データの更新されたロケーションをさらに識別することができる。イベントに基づいて、ソースデバイス１２０は、グラフィカルオブジェクトの更新されたロケーションを使用して表示データを修正し得る。このようにして、本開示の技法は、複数のデバイスにわたる表示データの同期を提供する。

したがって、図１Ａは、シンクデバイス１６０にレンダリングするために表示データをシンクデバイス１６０に、ソースデバイス１２０によって送信し；シンクデバイス１６０においてレンダリングされ、シンクデバイス１６０の第２の表示ロケーションにおいてレンダリングされる表示データの少なくとも一部の修正を指定するユーザ入力の表示を、ソースデバイス１２０に関連するタッチセンシティブスクリーンの第１の表示ロケーションにおいて、ソースデバイス１２０によって受信し；表示を受信することに応答して、第１の表示ロケーションを第２の表示ロケーションにマッピングすることに少なくとも部分的に基づいて、第２の表示ロケーションにおいてレンダリングされた表示データの一部を修正するために、第２の構成データを、ソースデバイス１２０によって送信することができるソース／シンクシステム１００の一例を提供する。

図１Ｂは、本開示の技法を実装し得る例示的なソース／シンクシステム１０１を示すブロック図である。ソース／シンクシステム１０１は、ソースデバイス１２０と、シンクデバイス１６０Ａと、シンクデバイス１６０Ｂ（集合的に、シンクデバイス１６０）とを含む。いくつかの例では、ソースデバイス１２０およびシンクデバイス１６０は、図１Ａに関して上記で説明した方式で機能し動作することができる。すなわち、図１Ａに示すシンクデバイス１６０に関して説明したのと類似した方式で、シンクデバイス１６０Ａおよび１６０Ｂは、オーディオおよびビデオのデータをソースデバイス１２０から受信し得る。たとえば、いくつかの構成では、ソースデバイス１２０におけるオーディオおよびビデオの出力は、シンクデバイス１６０Ａとシンクデバイス１６０Ｂとにおいて同時に出力され得る。加えて、本開示の態様によれば、ソースデバイス１２０において行われるユーザ入力は、シンクデバイス１６０Ａとシンクデバイス１６０Ｂとに送信され得る。

したがって、一般に、本開示の技法は、複数のソースデバイスおよび／またはシンクデバイスをサポートするように拡張され得ることを理解されたい。すなわち、本開示の態様によれば、ソースデバイス１２０は、シンクデバイス１６０Ａ、１６０Ｂ、およびソースデバイス１２０との接続を確立している任意の他のシンクデバイスにおいてレンダリングされたビデオデータを制御し得る入力デバイスとして働くことができる。

したがって、ソースデバイス１２０は、接続されたシンクデバイス１６０のそれぞれに対してマッピングを実行し得る。たとえば、ソースデバイス１２０が最初にシンクデバイス１６０のそれぞれと通信するとき、デバイスはディスプレイ解像度情報を交換し得る。そのようなマッピングは、ソースデバイス１２０のディスプレイがシンクデバイス１６０のディスプレイと異なる解像度および／またはサイズであるかどうかにかかわらず、ソースデバイス１２０のディスプレイ上の相対位置が、シンクデバイス１６０のそれぞれのディスプレイ上の同じ相対位置に対応することを可能にする。

いくつかの例では、ソースデバイス１２０は、ソースデバイス１２０によってレンダリングされた表示データを、マッピングおよびユーザ入力に基づいて修正し得る。次いで、修正を示すデータが、シンクデバイス１６０においてレンダリングされる表示データを更新するために、ソースデバイス１２０によってシンクデバイス１６０に送信され得る。代替例では、ソースデバイス１２０は、イベントをシンクデバイス１６０に送信し得、シンクデバイス１６０は、イベント、ならびにソースデバイスおよびシンクデバイスの解像度のマッピングに基づいて、表示データを修正し得る。その上、タイムスタンプ（またはユーザ入力を追跡する他の方式）が、図１Ａに関して上記で説明したように、同期問題を避けるために維持されてよい。

シンクデバイス１６０Ａとシンクデバイス１６０Ｂとは同じ数字を割り当てられているが、いくつかの例では、シンクデバイス１６０Ａとシンクデバイス１６０Ｂとは異なる能力を有してよく、かつ／または異なる機能を実行してよいことを理解されたい。たとえば、いくつかの構成では、シンクデバイス１６０Ａは主シンクデバイスであってよく、シンクデバイス１６０Ｂは副シンクデバイスであってよい。そのような構成では、シンクデバイス１６０Ａとシンクデバイス１６０Ｂとは結合されてよく、シンクデバイス１６０Ａはビデオデータを表示し得る一方で、シンクデバイス１６０Ｂは対応するオーディオデータを出力し得る。

図２は、本開示のいくつかの技法を遂行し得るソースデバイス２２０の一例を示すブロック図である。いくつかの例では、ソースデバイス２２０は、図１Ａに関して図示し説明するソースデバイス１２０と同様に構成されてよい。図２に示す例では、ソースデバイス２２０は、ローカルディスプレイ２２２と、ローカルスピーカ２２３と、１つまたは複数のプロセッサ２３１と、メモリ２３２と、トランスポートモジュール２３３と、ワイヤレスモデム２３４とを含む。

図２のプロセッサ２３１は、一般に、限定はしないが、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、他の同等の一体型もしくは離散的論理回路、またはそれらのいくつかの組合せを含む、多種多様なプロセッサのいずれかを表す。図２のメモリ２３２は、限定はしないが、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリなどを含む、多種多様な揮発性または不揮発性メモリのいずれかを備えてよく、メモリ２３２は、オーディオ／ビデオデータならびに他の種類のデータを記憶するためのコンピュータ可読記憶媒体を備えてよい。メモリ２３２は、追加として、本開示で説明する様々な技法を実行することの一部として、プロセッサ２３１によって実行される命令とプログラムコードとを記憶し得る。

動作時、ソースデバイス２２０のプロセッサ２３１は、トランスポート、記憶、および表示のために、Ａ／Ｖデータを符号化および／または復号することができる。Ａ／Ｖデータは、たとえば、メモリ２３２に記憶されてよい。メモリ２３２は、全Ａ／Ｖファイルを記憶することができ、または、たとえば別のデバイスまたはソースからストリームされた、Ａ／Ｖファイルの一部分を記憶するに過ぎない、より小さいバッファ備えることができる。トランスポートモジュール２３３は、ネットワークトランスポートのために、符号化されたＡ／Ｖデータを処理することができる。たとえば、符号化されたＡ／Ｖデータは、マルチメディアプロセッサ２３１によって処理され得、ネットワークにわたって通信するためにトランスポートモジュール２３３によってネットワークアクセスレイヤ（ＮＡＬ）ユニット内にカプセル化され得る。ＮＡＬユニットは、ワイヤレスモデム２３４によって、ネットワーク接続を介してワイヤレスシンクデバイスに送信され得る。

ソースデバイス２２０はまた、Ａ／Ｖデータをローカルに処理し、表示することができる。具体的には、ディスプレイプロセッサ２３５は、ローカルディスプレイ２２２に表示されるべきビデオデータを処理し得、オーディオプロセッサ２３６は、スピーカ２２３に出力するためにオーディオデータを処理し得る。

図２に示す例では、ソースデバイス２２０は、タッチディスプレイインターフェース２３７を含む。いくつかの例では、タッチディスプレイインターフェース２３７は、ユーザがユーザ入力を行うことを可能にする容量型、抵抗型、または他のタイプのタッチパネルであってよい。たとえば、ユーザは、１つまたは複数のタッチジェスチャーを、ユーザ入力に対応する１つまたは複数のイベントを生成し得るタッチディスプレイインターフェース２３７に与えることができる。

一例では、１つまたは複数のイベントは、ユーザ入力のタイプ、ユーザ入力によって選択されるグラフィカルオブジェクトなど、イベントの特性をさらに説明するパラメータを含み得る。イベントを生成すると、ソースデバイス２２０は、１つまたは複数のイベントをシンクデバイス（たとえば、図１に示すシンクデバイス１６０など）に送信することができる。すなわち、ソースデバイス２２０は、イベントデータをカプセル化することができ、イベントデータは、次いで、ＷｉＦｉモデム２３４を介してシンクデバイスに送信され得る。いくつかの例では、ソースデバイス２２０は、イベントをシンクデバイスに送信するために、リアルタイムトランスポートプロトコル（ＲＴＰ）とユーザデータグラムプロトコル（ＵＤＰ）とを使用し得る。他の例では、ソースデバイス２２０は、イベントを送るために、伝送制御プロトコル（ＴＣＰ）とインターネットプロトコル（ＩＰ）とを使用し得る。

いずれの場合も、シンクデバイスは、１つまたは複数のイベントを受信し得、イベントに基づいてシンクデバイスにおいてレンダリングされたビデオデータを修正し得る。たとえば、シンクデバイスに表示されたグラフィカルポインティングオブジェクト（たとえば、マウスポインタ）のロケーションまたは外観が、生成または修正されてよい。他の場合には、ソースデバイス２２０は、ソースデバイス２２０においてレンダリングされた表示データを修正し得、表示データに対する任意の修正を表すデータが、ソースデバイス２２０によってシンクデバイスに送信されてよい。

図１Ａのソースデバイス１２０に関して上記で説明したように、ソースデバイス２２０はまた、ユーザ入力コマンドをシンクデバイスから受信し得る。このようにして、ソースデバイス２２０のワイヤレスモデム２３４は、ＮＡＬユニットなどのカプセル化されたデータパケットを受信し、カプセル化解除するためにカプセル化されたデータユニットをトランスポートユニット２３３に送信する。たとえば、トランスポートユニット２３３は、データパケットをＮＡＬユニットから抽出することができ、プロセッサ２３１は、ユーザ入力コマンドを抽出するためにデータパケットを解析することができる。ユーザ入力コマンドに基づいて、プロセッサ２３１は、ソースデバイス２２０によってシンクデバイスに送信されている符号化されたＡ／Ｖデータを調整することができる。

図３は、本開示のいくつかの技法を遂行し得るシンクデバイス３６０の一例を示す。いくつかの例では、シンクデバイス３６０は、図１Ａに関して図示し説明するシンクデバイス１６０と同様に構成されてよい。図３に示す例では、シンクデバイス３６０は、１つまたは複数のプロセッサ３３１と、メモリ３３２と、トランスポートユニット３３３と、ワイヤレスモデム３３４と、ディスプレイプロセッサ３３５と、ローカルディスプレイ３６２と、オーディオプロセッサ３３６と、スピーカ３６３と、タッチディスプレイインターフェース３３７とを含む。

図３のプロセッサ３３１は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数の多種多様なプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、他の同等の一体型もしくは離散的論理回路、またはそれらのいくつかの組合せを備え得る。図３のメモリ３３２は、限定はしないが、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリなどを含む、多種多様な揮発性または不揮発性メモリのいずれかを備えてよく、メモリ２３２は、オーディオ／ビデオデータならびに他の種類のデータを記憶するためのコンピュータ可読記憶媒体を備えてよい。メモリ３３２は、追加として、本開示で説明する様々な技法を実行することの一部として、プロセッサ３３１によって実行される命令とプログラムコードとを記憶し得る。

本開示の態様によれば、シンクデバイス３６０は、ワイヤレスモデム３３４において、ソースデバイス（たとえば、ソースデバイス１２０（図１Ａ）またはソースデバイス２２０（図２）など）から送信されたカプセル化されたデータユニットを受信し得る。トランスポートユニット３３３は、カプセル化されたデータユニットをカプセル化解除することができる。たとえば、トランスポートユニット３３３は、カプセル化されたデータユニットから符号化されたビデオデータを抽出し、かつ復号されて出力のためにレンダリングされるべき符号化されたＡ／Ｖデータをプロセッサ３３１に送信することができる。ディスプレイプロセッサ３３５は、ローカルディスプレイ３６２に表示されるべき復号されたビデオデータを処理し得、オーディオプロセッサ３３６は、スピーカ３６３に出力するために復号されたオーディオデータを処理し得る。

オーディオおよびビデオのデータをレンダリングすることに加えて、ワイヤレスシンクデバイス３６０はまた、タッチディスプレイインターフェース３３７を介してユーザ入力を受信し得る。図３の例は、例示的な入力デバイスとしてタッチディスプレイインターフェースを使用するが、キーボード、マウス、またはボイスコマンドモジュールなどの他の入力デバイスは、すべて、本開示の技法に適合する。タッチディスプレイインターフェース３３７を介して受信されたユーザ入力は、プロセッサ３３１によって処理され得る。この処理は、本開示で説明した技法による、受信されたユーザ入力コマンドを含んだデータパケットを生成することを含み得る。ひとたび生成されると、トランスポートモジュール３３３は、ＵＩＢＣを介してワイヤレスソースデバイスにネットワークトランスポートするために、データパケットを処理し得る。

図４は、通信チャネル１５０を介して通信するために、図１Ａの送信機／受信機１２６および送信機／受信機１６６によって使用され得る例示的な送信機システム４１０および受信機システム４５０のブロック図を示す。送信機システム４１０において、いくつかのデータストリームのトラフィックデータが、データソース４１２から送信（ＴＸ）データプロセッサ４１４に供給される。各データストリームは、個々の送信アンテナを介して送信され得る。ＴＸデータプロセッサ４１４は、各データストリームのトラフィックデータを、そのデータストリーム用に選択された特定の符号化方式に基づいてフォーマットし、符号化し、インターリーブする。

各データストリームの符号化データは、直交周波数分割多重（ＯＦＤＭ）技法を使用してパイロットデータと多重化できる。限定はしないが、時分割多重アクセス（ＴＤＭＡ）、周波数分割多重アクセス（ＦＤＭＡ）、符号分割多重アクセス（ＣＤＭＡ）、またはＯＦＤＭ、ＦＤＭＡ、ＴＤＭＡ、および／またはＣＤＭＡの任意の組合せを含めて、多種多様な他のワイヤレス通信技法が同様に使用され得る。

図４に従って、パイロットデータは、典型的には、知られている方法で処理され、チャネル応答を推定するために受信機システムにおいて使用され得る知られているデータパターンである。次いで、各データストリームの多重化されたパイロットデータおよび符号化データは、変調シンボルを与えるために、そのデータストリーム用に選択された特定の変調方式（たとえば、２位相シフトキーイング（ＢＰＳＫ）、４位相シフトキーイング（ＱＰＳＫ）、Ｍ−ＰＳＫ、またはＭ−ＱＡＭ（直交振幅変調）、ここでＭは２のべき乗である）に基づいて変調（たとえば、シンボルマッピング）される。各データストリームのデータレート、符号化、および変調は、メモリ４３２に結合され得るプロセッサ４３０によって実行される命令によって決定され得る。

次いで、データストリームの変調シンボルがＴＸ ＭＩＭＯプロセッサ４２０に与えられ、ＴＸ ＭＩＭＯプロセッサ４２０はさらに（たとえば、ＯＦＤＭ用に）その変調シンボルを処理し得る。次いで、ＴＸ ＭＩＭＯプロセッサ４２０はＮＴ個の変調シンボルストリームをＮＴ個の送信機（ＴＭＴＲ）４２２ａ〜４２２ｔに供給し得る。特定の態様において、ＴＸ ＭＩＭＯプロセッサ４２０は、データストリームのシンボルと、シンボルが送信されているアンテナとにビームフォーミングの重みを適用する。

各送信機４２２は、個々のシンボルストリームを受信し、処理して、１つまたは複数のアナログ信号を供給し、さらに、それらのアナログ信号を調整（たとえば、増幅、フィルタ処理、およびアップコンバート）して、ＭＩＭＯチャネルを介して送信するのに適した変調信号を供給する。次いで、送信機４２２ａ〜４２２ｔからのＮＴ個の変調信号は、それぞれＮＴ個のアンテナ４２４ａ〜４２４ｔから送信される。

受信機システム４５０において、送信された変調信号はＮＲ個のアンテナ４５２ａ〜４５２ｒによって受信され、各アンテナ４５２からの受信信号は、個々の受信機（ＲＣＶＲ）４５４ａ〜４５４ｒに供給される。受信機４５４は、個々の受信信号を調整（たとえば、フィルタ処理、増幅、およびダウンコンバート）し、調整された信号をデジタル化して、サンプルを供給し、さらにそれらのサンプルを処理して、対応する「受信」シンボルストリームを供給する。

次いで、受信（ＲＸ）データプロセッサ４６０は、特定の受信機処理技法に基づいてＮＲ個の受信機４５４からＮＲ個の受信シンボルストリームを受信し、処理して、ＮＴ個の「検出」シンボルストリームを与える。次いで、ＲＸデータプロセッサ４６０は、各検出シンボルストリームを復調し、デインターリーブし、復号して、データストリームのトラフィックデータを復元する。ＲＸデータプロセッサ４６０による処理は、送信機システム４１０におけるＴＸ ＭＩＭＯプロセッサ４２０およびＴＸデータプロセッサ４１４によって実行される処理を補足するものである。

メモリ４７２と結合され得るプロセッサ４７０は、どのプリコーディング行列を使用すべきかを周期的に判断する。逆方向リンクメッセージは、通信リンクおよび／または受信データストリームに関する様々なタイプの情報を備えることができる。次いで、逆方向リンクメッセージは、データソース４３６からいくつかのデータストリームのトラフィックデータをも受信するＴＸデータプロセッサ４３８によって処理され、変調器４８０によって変調され、送信機４５４ａ〜４５４ｒによって調整され、送信機システム４１０に戻される。

送信機システム４１０において、受信機システム４５０からの変調信号は、アンテナ４２４によって受信され、受信機４２２によって調整され、復調器４４０によって復調され、受信機システム４５０によって送信された逆方向リンクメッセージを抽出するためにＲＸデータプロセッサ４４２によって処理される。次いで、プロセッサ４３０は、ビームフォーミング重みを決定するためにどのプリコーディング行列を使用すべきかを決定し、次いで、抽出されたメッセージを処理する。

図５は、本開示の技法を実装し得るシンクデバイスおよびソースデバイスの概念図である。図５に、ソースデバイス１２０とシンクデバイス１６０と（図１Ａ）に関して説明するが、図５の技法は、他のソースデバイスとシンクデバイスとを含めて、様々なデバイスによって実行され得ることを理解されたい。

図５に示す例では、ソースデバイス１２０のディスプレイ１２２は、タッチセンシティブディスプレイとして構成される。すなわち、たとえば、ディスプレイ１２２は、ユーザがソースデバイス１２０に対してユーザ入力を行うことを可能にする、容量型、抵抗型、または他のタイプのタッチパネルであってよい。したがって、ユーザ５００がディスプレイ１２２においてユーザ入力を行うと、ソースデバイス１２０は、ユーザ入力に対応する１つまたは複数のイベントを生成し得る。いくつかの例では、そのようなユーザ入力は、「タッチジェスチャー」と呼ばれることがある。タッチジェスチャーは、ユーザ５００がディスプレイ１２２に、１つまたは複数の点において接触することに対応する。すなわち、ディスプレイ１２２は、２点以上におけるタッチを同時に認識するように設計されてよく、特徴は一般に「マルチタッチ」と呼ばれる。マルチタッチディスプレイは、スクリーンの異なる領域におけるタッチを個別に識別して解釈することができる。したがって、２つ以上のロケーションにおいてディスプレイ１２２に同時にタッチすることで、（たとえば、単一のタッチに対して）ソースデバイス１２０と対話するための追加の方法が、ユーザに提供され得る。

上述のように、本開示の例示的な技法は、シンクデバイス１６０においてレンダリングされるビデオデータを制御し得る入力デバイスとしてソースデバイス１２０が働くことを可能にし得る。たとえば、ソースデバイス１２０は、ディスプレイ１６２においてレンダリングし、表示するために、ビデオデータをシンクデバイス１６０に送信し得る（一連のキューブ５０４として図５に示す）。このようにして、ソースデバイス１２０のビデオデータは、シンクデバイス１６０のディスプレイに拡張され得る。

加えて、本開示の態様によれば、ソースデバイス１２０は、１つまたは複数のイベントをシンクデバイス１６０に送信することができる。たとえば、１つまたは複数のイベントは、ユーザ入力のタイプ（たとえば、タッチジェスチャーのタイプ）、ユーザ入力によって選択されるグラフィカルオブジェクトなど、イベントの特性をさらに説明するパラメータを含み得る。いくつかの例では、ソースデバイス１２０は、イベントをシンクデバイス１６０に送信するために、リアルタイムトランスポートプロトコル（ＲＴＰ）とユーザデータグラムプロトコル（ＵＤＰ）とを使用し得る。他の例では、ソースデバイス１２０は、イベントをシンクデバイス１６０に送信するために、伝送制御プロトコル（ＴＣＰ）とインターネットプロトコル（ＩＰ）とを使用し得る。

いずれの場合も、シンクデバイス１６０は、１つまたは複数のイベントを受信し得、イベントに基づいてシンクデバイス１６０においてレンダリングされたビデオデータを修正し得る。一例では、シンクデバイス１６０に表示されたグラフィカルポインティングオブジェクト（たとえば、マウスポインタ）５０８のロケーションまたは外観が、生成または修正されてよい。他の例では、ソースデバイス１２０は、ソースデバイス１２０においてレンダリングされた表示データを修正し得、表示データに対する任意の修正を表すデータが、ソースデバイス１２０によってシンクデバイス１６０に送信されてよい。

このようにして、ソースデバイス１２０のディスプレイ１２２は、シンクデバイス１６０において動作可能なマウスパッドとして使用され得る。したがって、一シナリオでは、ソースデバイス１２０は、表示データをレンダリングするスマートフォンであってよい。表示データは、ＬＥＤテレビジョンなど、より大きなディスプレイであり得るシンクデバイス１６０に拡張され得る。

本開示のいくつかの態様によれば、ユーザのタッチ／指の動きが追跡される可能性がある間、電力を温存するために、ディスプレイ１２２の表示機能が切られてよく、対応するアクションがシンクデバイス１６０においてレンダリングされ得る。図５に示す例では、ユーザ５００は、破線５１２で示すように、ディスプレイ１２２の左下隅からディスプレイ１２２の相対的中心に向けてタッチ入力（たとえば、ユーザ５００がディスプレイ１２２との接触を維持しながらのスワイプタッチジェスチャー）を行うことができる。この例では、シンクデバイス１６０のディスプレイ１６２に表示されるグラフィカルポインティングオブジェクト５０８が、ソースデバイス１２０において行われた入力と実質的に同様の経路５１６をたどって、ディスプレイ１６２の左下隅からディスプレイ１６２の中心に向けて移動し得る。加えて、本開示の態様によれば、グラフィカルポインティングオブジェクト５０８は、ソースデバイス１２０のディスプレイ１２２に表示され得ないが、シンクデバイス１６０のディスプレイ１６２に表示され得る。

本開示の態様は、さらに、ワイヤレスシンクデバイス１２０の解像度をワイヤレスソースデバイス１６０の解像度にマッピングするための技法を提供する。ワイヤレスデバイスの解像度をマッピングすることで、ソースデバイス１２０で生成されたイベントが、シンクデバイス１６０に対して変換されることが可能になる。たとえば、ソースデバイス１２０とシンクデバイス１６０とが最初に通信すると、デバイスはディスプレイ解像度情報を交換し得る。

そのようなマッピングは、ディスプレイ１２２がディスプレイ１６２と異なる解像度および／またはサイズであるかどうかにかかわらず、ソースデバイスのディスプレイ１２２上の相対位置が、シンクデバイス１６０のディスプレイ１６２上の同じ相対位置に対応することを可能にする。すなわち、上記のように、ユーザ５００がソースデバイス１２０のディスプレイ１２２の左下隅にタッチ入力を行うならば、入力はまた、シンクデバイス１６０のディスプレイ１６２の左下隅でも行われ得る。加えて、ユーザが、スワイプジェスチャーをディスプレイ１２２においてディスプレイ１２２の相対的中心に向けて（破線５１２で示すように）行うならば、スワイプジェスチャーは、シンクデバイス１６０上でディスプレイ１６２の中心に向けて遂行され得る。ディスプレイ１２２がディスプレイ１６２と異なる解像度を有するにもかかわらず、ソースデバイス１２０およびシンクデバイス１６０の解像度は、ユーザ５００がディスプレイ１２２の相対的中心に到達するとき、グラフィカルポインティングオブジェクト５０８もまた、ディスプレイ１６２の相対的中心に到達するようにマッピングされ得る。

いくつかの例では、ソースデバイス１２０は、ソースデバイス１２０によってレンダリングされた表示データを、マッピングおよびユーザ入力に基づいて修正し得る。次いで、修正を示すデータが、シンクデバイス１６０においてレンダリングされる表示データを更新するために、ソースデバイス１２０によってシンクデバイス１６０に送信され得る。代替例では、ソースデバイス１２０は、イベントをシンクデバイス１６０に送信し得、シンクデバイス１６０は、イベント、ならびにソースデバイスとシンクデバイスの解像度のマッピングに基づいて、表示データを修正し得る。

図６は、ワイヤレスソースデバイスが入力デバイスとして働くことを可能にし得る例示的な方法を示すフロー図である。すなわち、図６に示す例によれば、ソースデバイスは、ワイヤレスシンクデバイスにおいてレンダリングされたビデオデータを制御し得る。図６に示す方法は、説明のためにソースデバイス１２０とシンクデバイス１６０とに関して説明するが、図６の方法は、他のソースデバイスおよび／またはシンクデバイスを含めて、様々なデバイスによって実行され得ることを理解されたい。

図６に示すように、ソースデバイス１２０は、最初に、シンクデバイス１６０にレンダリングするために、表示データをシンクデバイス１６０に送信することができる（６００）。表示データは、たとえば、フルモーションビデオの表現（rendition）をシミュレートするために、高速に連続して再生される一連のフレーム（または画像）を含み得る。いくつかの例では、ソースデバイス１２０は、表示データをシンクデバイス１６０に送信する前に表示データを符号化することができる。表示データを受信することに応答して、シンクデバイス１６０は、表示データをレンダリングすることができる。たとえば、シンクデバイス１６０は、表示データを復号し得、さらにディスプレイ１６２に、表示データの視覚表現を表示させ得る。

ワイヤレスソースデバイスが入力デバイスとして働くことを可能にする本開示の技法によれば、ソースデバイス１２０は、ソースデバイス１２０に関連するタッチセンシティブスクリーンの第１の表示ロケーションにおいて、ユーザ入力の表示を受信し得る（６０２）。たとえば、ユーザ入力の表示は、タッチセンシティブスクリーンの第１の表示ロケーションにおいてジェスチャーを実行するユーザを含み得、ジェスチャーは、ソースデバイス１２０によって検出可能である。

ユーザ入力は、シンクデバイス１６０においてレンダリングされる表示データの少なくとも一部の修正を指定することができる。たとえば、ユーザは、グラフィカルポインティングオブジェクトをディスプレイ１６２上の１つのロケーションからディスプレイ１６２上の別のロケーションに移動させ得る。別の例では、ユーザは、ディスプレイ１６２上でグラフィカルオブジェクトを選択し得る。シンクデバイス１６０においてレンダリングされる表示データの一部が、シンクデバイス１６０の第２の表示ロケーションにおいてレンダリングされ得る。

いくつかの例では、ソースデバイス１２０は、ユーザ入力の表示を受信することに応答して、シンクデバイス１６０の第２の表示ロケーションにおいてレンダリングされる表示データの一部を修正するために、第２の構成データを送信し得る（６０４）。いくつかの例では、第２の構成データは、第１の表示ロケーションを第２の表示ロケーションにマッピングすることに少なくとも部分的に基づくことができる。たとえば、マッピングは、ソースデバイス１２０のディスプレイ１２２に関連する第１のディスプレイ解像度をシンクデバイス１６０のディスプレイ１６２の第２のディスプレイ解像度にマッピングすることであってよい。

図７は、ワイヤレスソースデバイスからのユーザ入力に基づいて表示データをワイヤレスシンクデバイスがレンダリングすることを可能にする、例示的な方法を示すフロー図を示す。図７に示す方法は、説明のためにソースデバイス１２０とシンクデバイス１６０とに関して説明するが、図７の方法は、他のソースデバイスおよび／またはシンクデバイスを含めて、様々なデバイスによって実行され得ることを理解されたい。

図７に示すように、シンクデバイス１６０は、シンクデバイス１６０にレンダリングするために、表示データをソースデバイス１２０から受信し得る（７００）。表示データは、たとえば、フルモーションビデオの表現をシミュレートするために、高速に連続して再生される一連のフレーム（または画像）を含み得る。いくつかの例では、シンクデバイス１６０は、ソースデバイス１２０から符号化された表示データを受信し得る。したがって、シンクデバイス１６０は、表示データを復号し得、さらにディスプレイ１６２に、表示データの視覚表現を表示させ得る。

本開示の態様によれば、シンクデバイス１６０はまた、シンクデバイス１６０の第１のロケーションにおいてレンダリングされた表示データの一部を修正するための構成データを受信し得る（７０２）。表示データの一部は、ソースデバイス１２０の第２の表示ロケーションにおいてレンダリングされたデータに対応し得る。すなわち、本開示の態様によれば、シンクデバイス１６０は、ソースデバイス１２０における第２の表示ロケーションからの、シンクデバイス１６０における第１の表示ロケーションのマッピングに少なくとも部分的に基づいて、第１のロケーションにおいて表示データの一部をレンダリングすることができる（７０４）。

１つまたは複数の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体または通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実装のための命令、コードおよび／またはデータ構造を取り出すために１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。さらに、あらゆる接続をコンピュータ可読媒体と呼ぶことも妥当である。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。

命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明する技法の実装に好適な他の構造のいずれかを指す。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号化のために構成された専用のハードウェアおよび／またはソフトウェアモジュール内に提供され得、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。

本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示する技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明したが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要はない。むしろ、上記で説明したように、様々なユニットは、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明したように１つまたは複数のプロセッサを含む、コーデックハードウェアユニットとして組み合わせられるか、または相互動作ハードウェアユニットの集合によって実現され得る。

様々な例について説明した。これらおよび他の例は以下の特許請求の範囲内に入る。

Claims (36)

1. ソースデバイスによって、シンクデバイスにレンダリングするための表示データを前記シンクデバイスに送信することと、
   前記ソースデバイスによって、前記ソースデバイスに関連するタッチセンシティブスクリーンの第１の表示ロケーションでのユーザ入力の指示を受信することであって、前記ユーザ入力が前記シンクデバイスでレンダリングした前記表示データの少なくとも一部の修正を指定し、前記表示データの前記一部が前記シンクデバイスの第２の表示ロケーションにレンダリングされ、
   前記指示を受信することに応答して、前記ソースデバイスによって、少なくとも部分的に前記第１の表示ロケーションを前記第２の表示ロケーションにマッピングすることに基づいて、前記第２の表示ロケーションにレンダリングした前記表示データの前記一部を修正するために第２のコンフィギュレーションデータを送信することと、
   を備える方法。
2. 前記マッピングが、さらに、少なくとも部分的に前記タッチセンシティブディスプレイに関連する第１のディスプレイ解像度を前記シンクデバイスの第２のディスプレイ解像度にマッピングすることに基づく、請求項１に記載の方法。
3. ユーザ入力の第２の指示を、前記ソースデバイスの前記タッチセンシティブスクリーンにおいて受信することと、
   前記第２の指示を受信することに応答して、前記ソースデバイスによって、第１のタイムスタンプに関連する前記第２の表示に少なくとも部分的に基づいて第１のイベントを生成することと、
   前記ソースデバイスによって、第２のタイムスタンプに関連する第２のイベントを前記シンクデバイスから受信することと、
   前記ソースデバイスによって、前記第２のタイムスタンプが前記第１のタイムスタンプより早い時刻を表すかどうかを判断することと、
   前記第２のタイムスタンプが前記第１のタイムスタンプより早い時刻を表すとき、前記第１のイベントに少なくとも部分的に基づいて前記表示データを修正する前に、前記第２のイベントに少なくとも部分的に基づいて前記表示データを修正することと
   をさらに備える、請求項１に記載の方法。
4. ユーザ入力の第２の指示を受信することに応答して、前記ソースデバイスによって、前記表示データを表示することを抑制することをさらに備える、請求項１に記載の方法。
5. 前記第２の表示ロケーションにレンダリングした前記表示データの前記一部が、グラフィカルポインティングオブジェクトを備える、請求項１に記載の方法。
6. 命令を記憶するメモリと、
   前記命令を実行するように構成された１つまたは複数のプロセッサとを備え、前記命令の実行時に、前記１つまたは複数のプロセッサが、
   シンクデバイスにレンダリングするための表示データを前記シンクデバイスに送信することと、
   前記ソースデバイスに関連するタッチセンシティブスクリーンの第１の表示ロケーションでのユーザ入力の指示を受信することであって、前記ユーザ入力が前記シンクデバイスにおいてレンダリングした前記表示データの少なくとも一部の修正を指定し、前記表示データの前記一部が前記シンクデバイスの第２の表示ロケーションにおいてレンダリングされ、
   前記指示を受信することに応答して、少なくとも部分的に前記第１の表示ロケーションを前記第２の表示ロケーションにマッピングすることに基づいて、前記第２の表示ロケーションにおいてレンダリングされた前記表示データの前記一部を修正するために第２の構成データを送信することと
   を引き起こす、ワイヤレスソースデバイス。
7. 前記マッピングが、さらに、少なくとも部分的に前記タッチセンシティブディスプレイに関連する第１のディスプレイ解像度を前記シンクデバイスの第２のディスプレイ解像度にマッピングすることに基づく、請求項６に記載のワイヤレスソースデバイス。
8. 前記命令の実行時に、前記１つまたは複数のプロセッサが、さらに、
   ユーザ入力の第２の指示を、前記ソースデバイスの前記タッチセンシティブスクリーンにおいて受信することと、
   前記第２の指示を受信することに応答して、少なくとも部分的に第１のタイムスタンプに関連する前記第２の指示に基づいて、第１のイベントを生成することと、
   第２のタイムスタンプに関連する第２のイベントを前記シンクデバイスから受信することと、
   前記第２のタイムスタンプが前記第１のタイムスタンプより早い時刻を表すかどうかを判断することと、
   前記第２のタイムスタンプが前記第１のタイムスタンプより早い時刻を表すとき、前記第１のイベントに少なくとも部分的に基づいて前記表示データを修正する前に、前記第２のイベントに少なくとも部分的に基づいて前記表示データを修正することと
   を引き起こす、請求項６に記載のワイヤレスソースデバイス。
9. 前記命令の実行時に、前記１つまたは複数のプロセッサが、さらに、
   ユーザ入力の第２の指示を受信することに応答して、前記ソースデバイスによって、前記表示データを表示することを抑制することを引き起こす、請求項６に記載のワイヤレスソースデバイス。
10. 前記第２の表示ロケーションにおいてレンダリングされた前記表示データの前記一部が、グラフィカルポインティングオブジェクトを備える、請求項６に記載のワイヤレスソースデバイス。
11. ワイヤレスソースデバイスの１つまたは複数のプロセッサによる実行時に、前記１つまたは複数のプロセッサに、
    シンクデバイスにレンダリングするための表示データを前記シンクデバイスに送信することと、
    前記ワイヤレスソースデバイスに関連するタッチセンシティブスクリーンの第１の表示ロケーションでのユーザ入力の指示を受信することであって、前記ユーザ入力が前記シンクデバイスにおいてレンダリングされた前記表示データの少なくとも一部の修正を指定し、前記表示データの前記一部が前記シンクデバイスの第２の表示ロケーションにおいてレンダリングされ、
    前記指示を受信することに応答して、前記第１の表示ロケーションを前記第２の表示ロケーションにマッピングすることに少なくとも部分的に基づいて、前記第２の表示ロケーションにおいてレンダリングされた前記表示データの前記一部を修正するために第２の構成データを送信することと、
    を行わせる命令を記憶する、コンピュータ可読記憶媒体。
12. 前記マッピングが、さらに、少なくとも部分的に前記タッチセンシティブディスプレイに関連する第１のディスプレイ解像度を前記シンクデバイスの第２のディスプレイ解像度にマッピングすることに基づく、請求項１１に記載のコンピュータ可読記憶媒体。
13. 前記ワイヤレスソースデバイスの１つまたは複数のプロセッサによる実行時に、前記１つまたは複数のプロセッサに、
    ユーザ入力の第２の指示を、前記ワイヤレスソースデバイスの前記タッチセンシティブスクリーンで受信することと、
    前記第２の指示を受信することに応答して前記ワイヤレスソースデバイスによって、第１のタイムスタンプに関連する前記第２の表示に少なくとも部分的に基づいて第１のイベントを生成することと、
    前記ワイヤレスソースデバイスによって、第２のタイムスタンプに関連する第２のイベントを前記シンクデバイスから受信することと、
    前記ワイヤレスソースデバイスによって、前記第２のタイムスタンプが前記第１のタイムスタンプより早い時刻を表すかどうかを判断することと、
    前記第２のタイムスタンプが前記第１のタイムスタンプより早い時刻を表すとき、前記第１のイベントに少なくとも部分的に基づいて前記表示データを修正する前に、前記第２のイベントに少なくとも部分的に基づいて前記表示データを修正することと
    をさらに行わせる命令を記憶する、請求項１１に記載のコンピュータ可読記憶媒体。
14. 前記ワイヤレスソースデバイスの１つまたは複数のプロセッサによる実行時に、前記１つまたは複数のプロセッサに、ユーザ入力の第２の指示を受信することに応答して、前記ワイヤレスソースデバイスによって、前記表示データを表示することを抑制することをさらに行わせる命令を記憶する、請求項１１に記載のコンピュータ可読記憶媒体。
15. 前記第２の表示ロケーションにレンダリングした前記表示データの前記一部が、グラフィカルポインティングオブジェクトを備える、請求項１１に記載のコンピュータ可読記憶媒体。
16. シンクデバイスにレンダリングするための表示データを前記シンクデバイスに送信するための手段と、
    前記ソースデバイスに関連するタッチセンシティブスクリーンの第１の表示ロケーションでのユーザ入力の指示を受信するための手段であって、前記ユーザ入力が前記シンクデバイスにおいてレンダリングされた前記表示データの少なくとも一部の修正を指定し、前記表示データの前記一部が前記シンクデバイスの第２の表示ロケーションにおいてレンダリングされる、手段と、
    前記指示を受信することに応答して、少なくとも部分的に前記第１の表示ロケーションを前記第２の表示ロケーションにマッピングすることに基づいて、前記第２の表示ロケーションにおいてレンダリングされた前記表示データの前記一部を修正するために第２の構成データを送信するための手段と
    を備える、ワイヤレスソースデバイス。
17. 前記マッピングが、さらに、少なくとも部分的に前記タッチセンシティブディスプレイに関連する第１のディスプレイ解像度を前記シンクデバイスの第２のディスプレイ解像度にマッピングすることに基づく、請求項１６に記載のワイヤレスソースデバイス。
18. ユーザ入力の第２の指示を、前記ソースデバイスの前記タッチセンシティブスクリーンにおいて受信するための手段と、
    前記第２の指示を受信することに応答して、第１のタイムスタンプに関連する前記第２の表示に少なくとも部分的に基づいて第１のイベントを生成するための手段と、
    第２のタイムスタンプに関連する第２のイベントを前記シンクデバイスから受信するための手段と、
    前記第２のタイムスタンプが前記第１のタイムスタンプより早い時刻を表すかどうかを判断するための手段と、
    前記第２のタイムスタンプが前記第１のタイムスタンプより早い時刻を表すとき、前記第１のイベントに少なくとも部分的に基づいて前記表示データを修正する前に、少なくとも部分的に前記第２のイベントに基づいて前記表示データを修正するための手段と
    をさらに備える、請求項１６に記載のワイヤレスソースデバイス。
19. ユーザ入力の第２の指示を受信することに応答して、前記表示データを表示することを抑制するための手段をさらに備える、請求項１６に記載のワイヤレスソースデバイス。
20. 前記第２の表示ロケーションにおいてレンダリングされた前記表示データの前記一部が、グラフィカルポインティングオブジェクトを備える、請求項１６に記載のワイヤレスソースデバイス。
21. ワイヤレスシンクデバイスによって、前記ワイヤレスシンクデバイスにレンダリングするための表示データを受信することと、
    前記ワイヤレスシンクデバイスによって、前記ワイヤレスシンクデバイスの第１のロケーションにおいてレンダリングされた前記表示データの一部を修正するためのコンフィギュレーションデータを受信することであって、前記表示データの前記一部がワイヤレスソースデバイスの第２の表示ロケーションにおいてレンダリングされることと、
    前記ワイヤレスシンクデバイスによって、少なくとも部分的に前記第１の表示ロケーションと前記第２の表示ロケーションとをマッピングすることに基づいて、前記第１のロケーションにおいて前記表示データの前記一部をレンダリングすることと
    を備える、方法。
22. 前記ワイヤレスシンクデバイスによって、前記ワイヤレスシンクデバイスのディスプレイ解像度を前記ワイヤレスソースデバイスに送信することをさらに備える、請求項２１に記載の方法。
23. ユーザ入力の指示を、前記ワイヤレスシンクデバイスのタッチセンシティブスクリーンにおいて受信することと、
    前記指示を受信することに応答して、前記ワイヤレスシンクデバイスによって、少なくともユーザ入力の前記表示が受信された時刻を表示するタイムスタンプに関連するイベントを生成することと、
    前記ワイヤレスシンクデバイスによって、前記イベントを前記ワイヤレスソースデバイスに送信することと
    をさらに備える、請求項２１に記載の方法。
24. 前記第１のロケーションにおいてレンダリングされた前記表示データの前記一部が、グラフィカルポインティングオブジェクトを備える、請求項２１に記載の方法。
25. 命令を記憶するメモリと、
    前記命令を実行するように構成された１つまたは複数のプロセッサとを備え、前記命令の実行時に、前記１つまたは複数のプロセッサが、
    ワイヤレスシンクデバイスによって、前記ワイヤレスシンクデバイスにレンダリングするための表示データを受信することと、
    前記ワイヤレスシンクデバイスによって、前記ワイヤレスシンクデバイスの第１のロケーションにおいてレンダリングされた前記表示データの一部を修正するためにコンフィギュレーションデータを受信することであって、前記表示データの一部がワイヤレスソースデバイスの第２の表示ロケーションにおいてレンダリングされることと、
    前記ワイヤレスシンクデバイスによって、少なくとも部分的に前記第１の表示ロケーションと前記第２の表示ロケーションとをマッピングすることに基づいて前記第１のロケーションにおいて前記表示データの前記一部をレンダリングすることと
    を引き起こす、ワイヤレスシンクデバイス。
26. 前記命令の実行時に、前記１つまたは複数のプロセッサが、
    前記ワイヤレスシンクデバイスのディスプレイ解像度を前記ワイヤレスソースデバイスに送信することをさらに引き起こす、請求項２５に記載のワイヤレスシンクデバイス。
27. 前記命令の実行時に、前記１つまたは複数のプロセッサが、
    ユーザ入力の指示を、前記ワイヤレスシンクデバイスのタッチセンシティブスクリーンにおいて受信することと、
    前記指示を受信することに応答して、少なくともユーザ入力の前記表示が受信された時刻を表示するタイムスタンプに関連するイベントを生成することと、
    前記イベントを前記ワイヤレスソースデバイスに送信することと
    をさらに引き起こす、請求項２５に記載のワイヤレスシンクデバイス。
28. 前記第１のロケーションにおいてレンダリングされた前記表示データの前記一部が、グラフィカルポインティングオブジェクトを備える、請求項２５に記載のワイヤレスシンクデバイス。
29. ワイヤレスシンクデバイスの１つまたは複数のプロセッサによる実行時に、前記１つまたは複数のプロセッサに、
    前記ワイヤレスシンクデバイスにレンダリングするための表示データを受信することと、
    前記ワイヤレスシンクデバイスの第１のロケーションにおいてレンダリングされた前記表示データの一部を修正するためにコンフィギュレーションデータを受信することであって、前記表示データの前記一部がワイヤレスソースデバイスの第２の表示ロケーションにおいてレンダリングされることと、
    少なくとも部分的に前記第１の表示ロケーションと前記第２の表示ロケーションとをマッピングすることに基づいて、前記第１のロケーションにおいて前記表示データの前記一部をレンダリングすることと
    を行わせる命令を記憶する、コンピュータ可読記憶媒体。
30. 前記シンクデバイスの１つまたは複数のプロセッサによる実行時に、前記１つまたは複数のプロセッサに、
    前記ワイヤレスシンクデバイスのディスプレイ解像度を前記ワイヤレスソースデバイスに送信することをさらに行わせる命令を記憶する、請求項２９に記載のコンピュータ可読記憶媒体。
31. 前記シンクデバイスの１つまたは複数のプロセッサによる実行時に、前記１つまたは複数のプロセッサに、
    ユーザ入力の指示を、前記ワイヤレスシンクデバイスのタッチセンシティブスクリーンにおいて受信することと、
    前記指示を受信することに応答して、少なくともユーザ入力の前記指示が受信された時刻を表示するタイムスタンプに関連するイベントを生成することと、
    前記イベントを前記ワイヤレスソースデバイスに送信することと
    をさらに行わせる命令を記憶する、請求項２９に記載のコンピュータ可読記憶媒体。
32. 前記第１のロケーションにおいてレンダリングされた前記表示データの前記一部が、グラフィカルポインティングオブジェクトを備える、請求項２９に記載のコンピュータ可読記憶媒体。
33. 前記ワイヤレスシンクデバイスにレンダリングするための表示データを受信するための手段と、
    前記ワイヤレスシンクデバイスの第１のロケーションにおいてレンダリングされた前記表示データの一部を修正するためにコンフィギュレーションデータを受信するための手段であって、前記表示データの前記一部がワイヤレスソースデバイスの第２の表示ロケーションにおいてレンダリングされる、手段と、
    少なくとも部分的に前記第１の表示ロケーションと前記第２の表示ロケーションとをマッピングすることに基づいて、前記第１のロケーションにおいて前記表示データの前記一部をレンダリングするための手段と
    を備える、ワイヤレスシンクデバイス。
34. 前記ワイヤレスシンクデバイスのディスプレイ解像度を前記ワイヤレスソースデバイスに送信するための手段をさらに備える、請求項３３に記載のワイヤレスシンクデバイス。
35. ユーザ入力の指示を受信するための手段と、
    前記指示を受信することに応答して、少なくともユーザ入力の前記表示が受信された時刻を表示するタイムスタンプに関連するイベントを生成するための手段と、
    前記イベントを前記ワイヤレスソースデバイスに送信するための手段と
    をさらに備える、請求項３３に記載のワイヤレスシンクデバイス。
36. 前記第１のロケーションにおいてレンダリングされた前記表示データの前記一部が、グラフィカルポインティングオブジェクトを備える、請求項３３に記載のワイヤレスシンクデバイス。

Images