JP2018200520A - 通信装置、通信方法、およびプログラム - Google Patents

Abstract

【課題】 本発明は、ユーザ操作が入力された通信装置が、他の通信装置が表示している画像に基づくデータと、他の通信装置または外部装置が記憶しているデータの何れを受信しているかに応じて適切な情報を送信できるようにすることを目的とする。【解決手段】 ユーザ操作が入力された通信装置が、他の通信装置が表示している画像を表示部に表示している場合は、表示部に表示している画像において当該ユーザ操作によって特定される位置を示す座標に対応する座標情報を送信する。また、他の通信装置あるいは外部装置が記憶しているデータに基づいた画像を表示部に表示している場合は、当該ユーザ操作に基づいた制御情報を送信する。【選択図】 図４

Description

本発明は、ユーザ操作に関する情報を送信する技術に関する。

近年、通信装置が表示している画面や再生している音声をワイヤレスでミラーリングする技術がＷｉ−Ｆｉ Ｄｉｓｐｌａｙ（Ｍｉｒａｃａｓｔ）として標準化されている。ミラーリングとは、送信装置が表示している画面や再生している音声の情報として、画像データや音声データを、ネットワークを介して受信装置へ伝送することで、表示している画面や再生している音声を送信装置と受信装置とで共有する技術である。Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙでは、表示している画面や再生している音声の情報として画像データや音声データを送信するソース機器と、ソース機器から画像データや音声データを受信するシンク機器とが定められている。

また、Ｗｉ−Ｆｉ ＤｉｓｐｌａｙではＵＩＢＣ（Ｕｓｅｒ Ｉｎｐｕｔ Ｂａｃｋ Ｃｈａｎｎｅｌ）機能を用いることができる。この機能を用いると、シンク機器からソース機器へ操作情報が送信されることで、シンク機器からソース機器を操作することが可能となる。このとき操作情報として、キーボードやマウス、リモコンなどを介してユーザが入力した操作情報が、シンク機器からソース機器へ送信される。

特許文献１には、上述したミラーリング機能と、シンク機器がソース機器以外の外部装置からデータを取得して表示するコンテンツリダイレクト機能について開示されている。コンテンツリダイレクト機能では、ソース機器がシンク機器に外部装置が記憶するデータの情報を送信し、シンク機器が外部装置からデータを取得して再生する。そして、データの種別などに応じて、ミラーリングを行うミラーリングモードと、コンテンツリダイレクトを行うコンテンツリダイレクトモードを切り替えることが開示されている。

特開２０１６−７１６３８号公報

ミラーリングモードにおいて、ＵＩＢＣ機能を用いると、シンク機器は入力されたユーザ操作に基づいて、当該ユーザ操作によって示された座標の座標情報を含む操作情報をソース機器に送信する。また、ミラーリングモードでは、ソース機器とシンク機器は表示している画像が同じである。よって、受信した操作情報に基づいた処理をソース機器が行うと、ソース機器で表示されている画像の当該座標情報に対応する座標で、シンク機器に入力されたユーザ操作と同じユーザ操作が入力されたことになる。そのため、ユーザが意図した通りにミラーリングによるデータの再生を制御できる。

一方、コンテンツリダイレクトモードにおいて、ミラーリングモードと同様に座標情報を含む操作情報を外部装置に送信しても、ユーザが意図したようにデータの再生を制御できない。これは、シンク機器と外部装置とで表示している画像が異なっていたり、そもそも外部装置で何ら表示を行っていなかったりするため、外部装置が受信した操作情報に基づいた処理を行うと、ユーザが意図した操作とは異なる操作になってしまうからである。コンテンツリダイレクトモードにおいてデータの再生を制御するには、シンク機器がユーザ操作に基づいてデータの一時停止などの情報を含んだ制御情報を生成し、外部装置に送信する必要がある。

上記を鑑み、本発明は、ユーザ操作が入力された通信装置が、他の通信装置が表示している画像に基づくデータと、他の通信装置または外部装置が記憶しているデータの何れを受信しているかに応じて適切な情報を送信できるようにすることを目的とする。

上記目的を達成するため、本発明の通信装置は、他の通信装置が表示している画像に基づいたデータを受信し、前記他の通信装置が表示している画像を表示部に表示させる第一の動作モードと、前記他の通信装置が受け付けたユーザ操作に基づいて、前記他の通信装置あるいは外部装置が記憶しているデータを受信し、受信した前記他の通信装置あるいは前記外部装置が記憶しているデータに基づいた画像を表示部に表示させる第二の動作モードとで動作可能な通信装置であって、前記第一の動作モード、または前記第二の動作モードにおいて前記表示部に表示されている画像に対するユーザ操作を受け付ける受付手段と、前記受付手段を介して前記ユーザ操作を受け付けた際に、前記通信装置が前記第一の動作モードで動作している場合は前記表示部に表示している画像において前記ユーザ操作によって特定される位置を示す座標に対応する座標情報を送信し、前記通信装置が前記第二の動作モードで動作している場合は前記ユーザ操作に基づいた制御情報を送信する送信手段を有する。

本発明によれば、ユーザ操作が入力された通信装置が、他の通信装置が表示している画像に基づくデータと、他の通信装置または外部装置が記憶しているデータの何れを受信しているかに応じて適切な情報を送信することができる。

通信システムのネットワーク構成を示す図である。 通信装置１０１、通信装置１０２のハードウェア構成を示す図である。 通信装置１０１と通信装置１０２がミラーリングを実施する際に実現するシーケンス図である。 通信装置１０２がユーザ操作を受け付けた際に実現するフローチャートである。 通信装置１０１が通信装置１０２からユーザ操作に基づいた操作情報や制御情報を受信する際に実現するフローチャートである。 通信装置１０１、通信装置１０２、クラウドサーバ１０４がミラーリングを実施する際に実現するシーケンス図である。 通信装置１０１、通信装置１０２、クラウドサーバ１０４がコンテンツリダイレクトを実施する際に実現するシーケンス図である。 通信装置１０１と通信装置１０２がダイレクトストリーミングを実施する際に実現するシーケンス図である。

以下、添付の図面を参照して実施形態を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

図１に、本実施形態に係る通信システムのネットワーク構成を示す。ネットワーク１１０上では、各装置はＩＥＥＥ８０２．１１シリーズ規格に準拠した無線通信方式で通信を行う。ＩＥＥＥとは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓの略である。

通信装置１０１と通信装置１０２とは、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様（Ｗｉ−Ｆｉ Ｍｉｒａｃａｓｔ規格）に従い、ネットワークを介して直接通信する。通信装置１０１と通信装置１０２間のネットワークは、Ｗｉ−Ｆｉ Ｐ２Ｐ仕様（Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ規格）に従って形成される無線ネットワークである。ここで、Ｐ２ＰとはＰｅｅｒ−ｔｏ−Ｐｅｅｒの略である。しかし、これに限らずアクセスポイント１０３が形成するＩＥＥＥ８０２．１１シリーズに規定されたインフラストラクチャモードの無線ネットワークを介して通信してもよい。アクセスポイント１０３はルータ機能を備えており、通信装置１０１および通信装置１０２は、アクセスポイント１０３を介してクラウドサーバ１０４と通信することができる。

なお、各装置はＩＥＥＥ８０２．１１シリーズ規格に準拠した無線通信に加えて、もしくは、代えて、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信、ＵＷＢ、ＺｉｇＢｅｅ、ＭＢＯＡなどの他の無線通信方式に準拠した通信方式も利用してもよい。なお、ＵＷＢはＵｌｔｒａ Ｗｉｄｅ Ｂａｎｄの略であり、ＭＢＯＡはＭｕｌｔｉ Ｂａｎｄ ＯＦＤＭ Ａｌｌｉａｎｃｅの略である。また、近距離無線通信としては、Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（以下ＮＦＣと称す）がある。また、ＵＷＢには、ワイヤレスＵＳＢ、ワイヤレス１３９４、ＷｉＭｅｄｉａ Ｎｅｔｗｏｒｋなどが含まれる。また、有線ＬＡＮなどの有線通信方式に準拠した通信方式も利用してよい。

通信装置１０１の具体的な例としては、タブレット、スマートフォン、ＰＣ、携帯電話、カメラ、ビデオカメラなどが挙げられるが、これらに限定されない。また、通信装置１０２の具体的な例としては、タブレット、スマートフォン、ＰＣ、携帯電話、テレビ、ヘッドマウントディスプレイ、プロジェクター、ディスプレイ、カーナビゲーション装置、スピーカーなどの出力装置が挙げられるが、これらに限定されない。

通信装置１０１と通信装置１０２とは、通信装置１０１をソース機器、通信装置１０２をシンク機器として、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様に基づいたミラーリングを行う。このとき、ソース機器およびシンク機器は夫々Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様に基づいてデータの送信処理及び受信処理を行う。Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様に基づいたミラーリングでは、ソース機器は表示している画面や再生している音声の情報として、画像データや音声データのストリームを、ネットワークを介してシンク機器へ伝送（ストリーミング）する送信装置として動作する。なお、画像データはソース機器が表示している画面を符号化したものであり、音声データはソース機器が再生している音声を符号化したものである。そして、シンク機器は、画像データや音声データのストリームを受信し、ソース機器と同期して再生する受信装置として動作する。つまり、ソース機器が表示している画面や再生している音声が、ソース機器とシンク機器とで共有される。このミラーリングを利用したストリーミングモード（通信装置１０１や通信装置１０２の動作モード）を、以降、ミラーリングモードという。なお、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙに限らず、他の仕様に基づいてミラーリングを行ってもよい。

また、通信装置１０１（ソース機器）と通信装置１０２（シンク機器）とは、ストリーミングモードとしてコンテンツリダイレクトモードを利用できる。コンテンツリダイレクトモードでは、ソース機器はシンク機器に、ソース機器以外の外部装置からデータを取得させ、シンク機器に当該データを再生させる。このとき、ソース機器は、シンク機器にデータを外部装置から取得させるために必要な情報を送信する。ここで、シンク機器が取得するデータとは、例えばコンテンツのことであり、画像データ、文書データ、音声データ、映像データの何れか一つを含む。他に、これらのデータを再生するためのソフトウェアデータや、ＧＵＩデータ、メタデータの少なくとも何れか一つを含んでいてもよい。

ここで、当該必要な情報とは、外部装置上にあるコンテンツの情報である。コンテンツの情報は、例えば、外部装置上にあるコンテンツを識別するための識別子や、サービス名、コンテンツの所在情報（ＵＲＩ、ＵＲＬ）、再生開始時間（オフセット）などの情報である。なお、受信するコンテンツの情報は、これらの情報の一部であってもよい。コンテンツの識別子とは、コンテンツを一意に決定するための識別子のことである。また、ＵＲＩはＵｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒの、ＵＲＬはＵｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒの夫々、略である。本実施形態では、通信装置１０２は通信装置１０１から受信したコンテンツの情報に基づいて、アクセスポイント１０３を介して外部装置であるクラウドサーバ１０４上にあるコンテンツを受信して再生する。

また、通信装置１０１（ソース機器）と通信装置１０２（シンク機器）とは、ストリーミングモードとしてダイレクトストリーミングモードも利用できる。ダイレクトストリーミングモードでは、ソース機器はシンク機器に、ソース機器が記憶しているデータを送信する。シンク機器は当該データを受信し、再生する。この場合に、ソース機器は当該データを復号および再符号化することなく、そのままの符号化方式でシンク機器に送信することができる。ここで、シンク機器が受信するデータとは、例えばコンテンツのことである。

図２に、通信装置１０１のハードウェア構成を示す。

通信装置１０１は、記憶部２０１、制御部２０２、機能部２０３、入力部２０４、出力部２０５、通信部２０６、およびアンテナ２０７を備える。

記憶部２０１はＲＯＭやＲＡＭ等のメモリにより構成され、コンテンツや、後述する各種動作を行うためのプログラム、無線通信のための通信パラメータ等の各種情報を記憶する。なお、記憶部２０１として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体を用いてもよい。また、記憶部２０１が複数のメモリ等を備えていてもよい。

制御部２０２はＣＰＵやＭＰＵ等のプロセッサにより構成され、記憶部２０１に記憶されたプログラムを実行することにより通信装置１０１全体を制御する。また、制御部２０２は、記憶部２０１に記憶されたプログラムを実行することで、ソース機器としてのミラーリング機能、コンテンツリダイレクト機能、および、ダイレクトストリーミング機能を実現する。ここで、ソース機器としてのミラーリング機能とは、自装置が表示している画面をキャプチャし符号化した画像データや、再生している音声を符号化した音声データをシンク機器に送信する機能である。また、ソース機器としてのコンテンツリダイレクト機能とは、シンク機器で再生するコンテンツを、シンク機器がソース機器以外の外部装置から取得するために必要な情報をシンク機器に送信する機能である。また、ソース機器としてのダイレクトストリーミング機能とは、記憶部２０１に記憶されたコンテンツをシンク機器に送信する機能である。

制御部２０２は、記憶部２０１に記憶されたプログラムとＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）との協働により通信装置１０１全体を制御するようにしてもよい。また、制御部２０２がマルチコア等の複数のプロセッサを備え、複数のプロセッサにより通信装置１０１全体を制御するようにしてもよい。

また、制御部２０２は、機能部２０３を制御して、撮像やコンテンツの閲覧等の所定の処理を実行する。機能部２０３は、通信装置１０１が所定の処理を実行するためのハードウェアである。例えば、通信装置１０１がカメラである場合、機能部２０３は撮像部であり、撮像処理を行う。このとき、通信装置１０１は、撮像部が生成したデータを、出力部２０５によって画面上に表示し、制御部２０２のミラーリング機能によって他の通信装置に送信することでミラーリングを実行することができる。あるいは、通信装置１０１の記憶部２０１に記憶されているデータを出力部２０５によって画面上に表示し、同様にミラーリングを実行してもよい。

入力部２０４は、ユーザからの各種操作の受付を行う。出力部２０５は、モニタ画面やスピーカーなどを介してユーザに対して各種出力を行う。ここで、出力部２０５による出力とは、画面上への表示や、スピーカーによる音声出力、振動出力等であってもよい。なお、出力部２０５が出力する画面は、通信装置１０１が備える画面である。あるいは、通信装置１０１と接続された他の装置が有する画面であってもよい。なお、タッチパネルのように入力部２０４と出力部２０５の両方を１つのモジュールで実現するようにしてもよい。

通信部２０６は、ＩＥＥＥ８０２．１１シリーズに準拠した無線通信の制御や、有線ＬＡＮ等の有線通信の制御、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）通信の制御を行う。また、通信部２０６はアンテナ２０７を制御して、無線通信のための無線信号の送受信を行う。通信装置１０１は通信部２０６を介して、画像データ、文書データ、音声データ、映像データ等を通信装置１０２と通信する。

また、通信部２０６は通信装置１０２から送信される操作情報の受信機能を有していてもよい。操作情報は、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様のＵＩＢＣ機能に基づいて通信装置１０２から送信される。ＵＩＢＣとは、Ｕｓｅｒ Ｉｎｐｕｔ Ｂａｃｋ Ｃｈａｎｎｅｌの略である。この機能を用いると、通信装置１０２から通信装置１０１へ、画像に対するユーザ操作に基づく座標情報を含む操作情報が送信されることで、通信装置１０２から通信装置１０１を操作することが可能となる。その場合、通信装置１０１は通信装置１０２から送信された操作情報を入力部２０４の入力として扱うことも可能である。

また、通信部２０６は通信装置１０２から送信される、通信装置１０１を制御するための制御情報を受信する機能を有していてもよい。当該制御情報は、通信装置１０１が記憶しており通信装置１０２に送信しているコンテンツの再生に関する制御情報として再生制御情報を含む。具体的には、当該制御情報は通信装置１０２を介して受け付けたユーザ操作に基づいて通信装置１０２で生成され、通信装置１０１に送信される。なお、再生制御情報としてコンテンツの再生開始や停止、一時停止などの指示を示す情報を含む。再生制御情報は、他にコンテンツの早送りや巻き戻し、再生位置の指定などの指示を示す情報が含まれてもよい。当該制御情報を受信した通信装置１０１は、当該制御情報に含まれる再生制御情報に基づいてコンテンツの送信を制御する。例えば、通信装置１０２を介して、コンテンツを一時停止させるユーザ操作を受け付けたとする。通信装置１０２は、再生制御情報としてコンテンツの一時停止の指示を示す情報を含む制御情報を生成し、通信装置１０１に送信する。当該制御情報を受信した通信装置１０１は、当該制御情報に含まれる再生制御情報に基づいて、コンテンツを一時停止する。

なお、当該制御情報は再生制御情報を含むものでなくてもよい。ユーザ操作を受け付けた通信装置１０２は、当該ユーザ操作に沿ってコンテンツを制御するための任意の制御情報を生成し、通信装置１０１に送信してもよい。例えば、コンテンツを停止させるユーザ操作が入力された場合に、通信装置１０１との通信を切断することでコンテンツの受信を停止するとする。この場合、通信装置１０２で生成される制御情報には、通信装置１０１との通信を切断する指示を示す情報が含まれればよい。

通信装置１０２は通信装置１０１と同様のハードウェア構成を有する。通信装置１０２の記憶部２０１、機能部２０３、入力部２０４、出力部２０５、および、アンテナ２０７は通信装置１０１と同様であるため説明を省略する。

なお、通信装置１０２の制御部２０２は、記憶部２０１に記憶されたプログラムを実行することで、シンク機器としてのミラーリング機能、コンテンツリダイレクト機能、および、ダイレクトストリーミング機能を実現する。ここで、シンク機器としてのミラーリング機能とは、ソース機器が表示している画面をキャプチャしたものである符号化された画像データや符号化された音声データを受信し、復号、再生する機能である。また、シンク機器としてのコンテンツリダイレクト機能とは、ソース機器から送られた情報を基にソース機器以外から再生したいコンテンツを取得し、再生する機能である。また、シンク機器としてのダイレクトストリーミング機能とは、ソース機器から送信されるコンテンツを受信し、再生する機能である。

また、通信装置１０２の通信部２０６は、通信装置１０１に操作情報を送信する送信機能を有していてもよい。通信装置１０２は、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様のＵＩＢＣ機能に基づいて、ユーザ操作から座標情報を含む操作情報を生成し、通信装置１０１に送信する。なお、通信装置１０２の入力部２０４を介して入力されたユーザ操作を、通信装置１０１の入力部２０４の入力として扱うことも可能である。操作情報としては、キーボードやマウス、タッチ操作、ジョイスティック、カメラ制御、ジェスチャー、リモコン等のユーザ操作情報が挙げられるが、これらに限定されない。

また、通信装置１０２の通信部２０６は、外部装置であるクラウドサーバ１０４に、再生制御情報を含む制御情報を送信する機能を有していてもよい。通信装置１０２は受け付けたユーザ操作に基づいて、クラウドサーバ１０４を制御する制御情報を生成し、クラウドサーバ１０４に送信する。再生制御情報には、コンテンツの再生開始や停止、一時停止、早送り、巻き戻し、再生位置の指定などの指示を示す情報が含まれてもよい。また、当該制御情報に含まれる再生制御情報には、通信装置１０２が再生中のコンテンツの、次に再生したいコンテンツの情報が含まれていてもよい。当該制御情報を受信したクラウドサーバ１０４は、当該制御情報に含まれる再生制御情報に基づいてコンテンツの送信を制御する。例えば通信装置１０２を介して、コンテンツを早送りさせるユーザ操作を受け付けたとする。通信装置１０２は、再生制御情報としてコンテンツの早送りの指示を示す情報を含む制御情報を生成し、クラウドサーバ１０４に送信する。当該制御情報を受信したクラウドサーバ１０４は、当該制御情報に含まれる再生制御情報に基づいて、コンテンツを早送りする。

なお、当該制御情報は再生制御情報を含むものでなくてもよい。ユーザ操作を受け付けた通信装置１０２は、当該ユーザ操作に沿ってコンテンツを制御するための任意の制御情報を生成し、クラウドサーバ１０４に送信してもよい。例えば、コンテンツを停止させるユーザ操作が入力された場合に、クラウドサーバ１０４との通信を切断することでコンテンツの受信を停止するとする。この場合、通信装置１０２で生成される制御情報には、クラウドサーバ１０４との通信を切断する指示を示す情報が含まれればよい。

通信装置１０２の通信部２０６は、通信装置１０１に再生制御情報を含む制御情報を送信する機能を有していてもよい。通信装置１０２は受け付けたユーザ操作に基づいて、当該制御情報を生成し、通信装置１０１に送信する。

なお、通信装置１０１および通信装置１０２は、画像の表示と音声の再生のどちらも行える装置である。しかし、通信装置１０１と通信装置１０２のどちらも、画像の表示か音声の再生のどちらか一方しか行えない装置であってもよい。

図３に、ソース機器（通信装置１０１）とシンク機器（通信装置１０２）がミラーリングを実施する際に実現するシーケンス図を示す。

まず、ソース機器の入力部２０４に、ユーザからミラーリングモードの開始操作が行われる（ステップＳ３０１）。開始操作とは、例えば、ユーザによるミラーリングモードを開始するための制御ボタンの押下や、所定のアプリケーションの立ち上げ、または所定のコンテンツの再生開始などである。

開始操作が行われると、ソース機器とシンク機器間においてデバイス探索が行われる（ステップＳ３０２）。具体的には、ソース機器は、デバイス発見要求としてＩＥＥＥ８０２．１１シリーズに準拠したＰｒｏｂｅ Ｒｅｑｕｅｓｔを送信する。当該信号を受信したシンク機器は、当該信号に対する応答としてＩＥＥＥ８０２．１１シリーズに準拠したＰｒｏｂｅ Ｒｅｓｐｏｎｓｅを送信する。これにより、ソース機器とシンク機器は互いを発見する。そして、ソース機器において発見されたデバイスの一覧が表示され、デバイス一覧から、接続相手装置（シンク機器）が選択される（ステップＳ３０３）。

なお、シンク機器がＰｒｏｂｅ Ｒｅｑｕｅｓｔを送信し、ソース機器がＰｒｏｂｅ Ｒｅｓｐｏｎｓｅを送信することで、互いを発見するようにしてもよい。また、接続相手装置の選択を、シンク機器において行ってもよい。

またデバイス探索に用いられる信号は、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様に基づき、ＩＥＥＥ８０２．１１シリーズに準拠したＢｅａｃｏｎなどの無線信号でもよい。また、ＮＦＣ、ＱＲコード（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）などを利用することで、ソース機器が接続相手装置を発見することも可能である。例えば、ソース機器がＮＦＣの通信機能を有しているとき、ソース機器とシンク機器とのペアリングをＮＦＣタッチ操作で行い、以降の通信はＷｉ−Ｆｉ Ｄｉｓｐｌａｙ規格に基づいて行うことも可能である。あるいは、ソース機器がシンク機器に表示されるＱＲコードを読み取り、シンク機器との接続に必要な情報を得て、以降の通信はＷｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様に基づいて行ってもよい。また、ソース機器がＢＬＥの通信機能を有しているとき、ＢＬＥ対応機器をスキャンし、シンク機器とペアリングを行い、以降の通信はＷｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様に基づいて行うことも可能である。なお、ソース機器ではなく、シンク機器が接続相手装置（ソース機器）を発見してもよい。

次にソース機器とシンク機器は、接続セットアップを行う（ステップＳ３０４）。具体的にはＷｉ−Ｆｉ Ｄｉｓｐｌａｙの接続処理を行い、その後、ＴＣＰの接続処理を行う。これらの接続処理を行うことにより、接続セットアップが完了する。ＴＣＰとはＴｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌの略である。

Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ接続を確立させる方法として、２種類の方法、即ち、Ｗｉ−Ｆｉ Ｐ２ＰまたはＴＤＬＳから選ぶことができるが、本実施形態ではＷｉ−Ｆｉ Ｐ２Ｐ仕様に従って行う。ここで、ＴＤＬＳはＴｕｎｎｅｌｅｄ Ｄｉｒｅｃｔ Ｌｉｎｋ Ｓｅｔｕｐの略である。

ここで、ステップＳ３０４の詳細な手順について説明する。まず、無線ネットワークを構築する役割等を担うＧＯを決定するため、ソース機器はＧＯ Ｎｅｇｏｔｉａｔｉｏｎ Ｒｅｑｕｅｓｔを送信する。この信号にはソース機器のＩｎｔｅｎｔ値が含まれる。ＧＯはＧｒｏｕｐ Ｏｗｎｅｒの略であり、ＧＯになった機器はＷｉ−Ｆｉ Ｐ２Ｐの無線通信でアクセスポイントと同様の役割を担う。ＧＯにならなかった機器はＣｌｉｅｎｔになりステーションの役割を担う。

ＧＯ Ｎｅｇｏｔｉａｔｉｏｎ Ｒｅｑｕｅｓｔに対する応答としてシンク機器からはＧＯ Ｎｅｇｏｔｉａｔｉｏｎ Ｒｅｓｐｏｎｓｅが送られる。この信号にはシンク機器のＩｎｔｅｎｔ値が含まれる。各装置は、シンク機器とソース機器の各々のＩｎｔｅｎｔ値の大小を比較し、Ｉｎｔｅｎｔ値の大きかった方の機器がＧＯとなる。本実施形態ではソース機器がＧＯになったとする。なお、シンク機器がＧＯとなっても良い。最後にソース機器からシンク機器にＧＯ Ｎｅｇｏｔｉａｔｉｏｎ Ｃｏｎｆｉｒｍが送られることで、ソース機器、シンク機器の役割が、それぞれＧＯ、Ｃｌｉｅｎｔのいずれになるかが決定する。ここでは、ソース機器がＧＯ、シンク機器がＣｌｉｅｎｔとして決定したものとする。

その後、ＷＰＳ方式を用いて接続やセキュリティに関する情報など、ソース機器とシンク機器間の無線ネットワーク接続を確立するために必要なパラメータ情報を共有する。なお、ＷＰＳはＷｉ−Ｆｉ Ｐｒｏｔｅｃｔｅｄ Ｓｅｔｕｐの略である。そして、交換したパラメータ情報に基づいて、Ｃｌｉｅｎｔであるシンク機器がＧＯであるソース機器へ、Ａｓｓｏｃｉａｔｉｏｎ Ｒｅｑｕｅｓｔを送信する。当該信号を受信したソース機器が、応答としてＡｓｓｏｃｉａｔｉｏｎ Ｒｅｓｐｏｎｓｅを送信する。

以上のようにして、ソース機器とシンク機器との間で、Ｗｉ−Ｆｉ Ｐ２Ｐ仕様に従ったＷｉ−Ｆｉ Ｄｉｓｐｌａｙ接続、即ち、Ｗｉ−Ｆｉ Ｐ２Ｐ接続が確立する。なお、上記で挙げた各無線信号を送信する機器について、シンク機器とソース機器の役割（ＧＯとＣｌｉｅｎｔ）を入れ替えても良い。また、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ接続を確立させるにあたっては、上記に挙げたもの以外の無線信号を用いても良い。具体的には、Ｂｅａｃｏｎ、Ｒｅａｓｓｏｃｉａｔｉｏｎメッセージ、Ｐ２Ｐ Ｉｎｖｉｔａｔｉｏｎメッセージ、Ｐｒｏｖｉｓｉｏｎ Ｄｉｓｃｏｖｅｒｙメッセージ等を用いても良い。

続いて、ソース機器とシンク機器との間でＴＣＰ接続を確立する。この接続はソース機器がＴＣＰサーバの、シンク機器がＴＣＰクライアントの役割を担い、Ｔｈｒｅｅ−ｗａｙ ｈａｎｄｓｈａｋｅを行うことで確立される。

このように、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ接続の確立とＴＣＰ接続が確立されたことにより、接続セットアップが完了する。

続いてソース機器とシンク機器の間で、Ｃａｐａｂｉｌｉｔｙ Ｎｅｇｏｔｉａｔｉｏｎが行われる（ステップＳ３０５）。Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様では、Ｃａｐａｂｉｌｉｔｙ ＮｅｇｏｔｉａｔｉｏｎにはＲＴＳＰ（Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）を利用するよう規定されている。ＲＴＳＰはストリーミングを制御するためのプロトコルである。また、下位層のトランスポートプロトコルとしては一般的にＴＣＰが用いられる。Ｃａｐａｂｉｌｉｔｙ ＮｅｇｏｔｉａｔｉｏｎにはＲＴＳＰ Ｍ１〜Ｍ４までの所定のメッセージがソース機器、シンク機器間で交換される。このＲＴＳＰメッセージの交換によって、ソース機器はシンク機器の能力情報を得て、使用するパラメータを決定し、シンク機器へ通知する。シンク機器は、通知されたパラメータを設定する。具体的な能力情報とは、例えば画面については、対応する画面の解像度、フレームレート、コーデックなどの情報である。また音声については、対応するコーデックやサンプリング周波数などの情報である。本ステップのＣａｐａｂｉｌｉｔｙ Ｎｅｇｏｔｉａｔｉｏｎの結果、ソース機器とシンク機器の間でミラーリング時に使用する画像データや音声データの符号化方式の種類や画像の解像度、フレームレートなどのパラメータが決定される。なお、送受信する能力情報は、これらの情報の一部であってもよい。例えば画像の解像度については、まずソース機器からシンク機器に、シンク機器の解像度に対する問合せを含むＭ３メッセージが送信される。シンク機器は当該Ｍ３メッセージへの応答として、シンク機器が有する画面の解像度に関する情報を含んだメッセージをソース機器に送信する。当該メッセージを受信したソース機器は、シンク機器の画面の解像度に基づいて、シンク機器に送信する画像の解像度を決定する。

本実施形態において、Ｃａｐａｂｉｌｉｔｙ Ｎｅｇｏｔｉａｔｉｏｎが行われる際にソース機器から送信されるＭ３メッセージに、シンク機器のＵＩＢＣ機能の能力に関する問合せを含んでいるとする。なお、ソース機器から送信されるＭ３メッセージは、ＲＴＳＰ ＧＥＴ＿ＰＡＲＡＭＥＴＥＲメッセージという、シンク機器の能力をソース機器が問い合わせるために用いられるメッセージである。シンク機器はソース機器から送信された、シンク機器のＵＩＢＣ機能の能力に関する問合せを含むＭ３メッセージに対して、自装置のＵＩＢＣ機能に関する能力の情報を含むメッセージを応答として送信する。この場合に、シンク機器のＵＩＢＣ機能に関する能力の情報とは、例えばシンク機器がＵＩＢＣ機能を実行可能かという情報を含む。他に、シンク機器のＵＩＢＣ機能が対応可能なユーザ操作の種類についてなどの情報が含まれてもよい。

ソース機器はシンク機器からＭ３メッセージに対する応答を受信すると、シンク機器にＭ４メッセージを送信する。本実施形態において、ソース機器から送信されるＭ４メッセージには、ＵＩＢＣ機能を有効化する指示を含む。また、当該Ｍ４メッセージには、ＵＩＢＣ機能に関して、使用するポート番号や、ソース機器のＵＩＢＣ機能が対応可能なユーザ操作の種類についてなどの情報が含まれてもよい。シンク機器は、当該Ｍ４メッセージを受信すると、ＵＩＢＣ機能を有効化し、ＯＫの応答をソース機器に返す。

Ｃａｐａｂｉｌｉｔｙ Ｎｅｇｏｔｉａｔｉｏｎが完了すると、ソース機器とシンク機器は、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙのセッションを確立する（ステップＳ３０６）。Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様では、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙのセッションの確立にはＲＴＳＰ Ｍ５〜Ｍ７までの所定のメッセージがソース機器とシンク機器間で交換される。これらのＲＴＳＰメッセージの交換によって、使用するポート番号の設定などが行われ、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙのセッションが確立される。なお、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙのセッション確立に際して、シンク機器はコンテンツリダイレクトなどの他の機能で使用するポート番号を設定してもよい。また、複数のポート番号が設定されてもよい。

ステップＳ３０６までのＲＴＳＰメッセージ交換を終えると、ソース機器とシンク機器でミラーリングが行われる（ステップＳ３０７）。ソース機器におけるミラーリング処理は、例えば、ソース機器に表示されている画面のキャプチャ、キャプチャ画像の符号化、多重化、データ送信処理である。シンク機器におけるミラーリング処理は、例えば、データ受信、逆多重化、キャプチャ画像の復号、復号されたキャプチャ画像の再生処理である。これらの処理が行われることで、ソース機器からシンク機器へ、ソース機器に表示されている画面や再生している音声の情報として画像データや音声データのストリームが送信される。

本実施形態では、ステップＳ３０５のＣａｐａｂｉｌｉｔｙ Ｎｅｇｏｔｉａｔｉｏｎが行われる際にＵＩＢＣ機能を有効化した。しかし、ステップＳ３０５においてＵＩＢＣ機能の有効化を行わず、ステップＳ３０６のセッション確立が完了した後に行ってもよい。具体的には、まずソース機器はステップＳ３０５において、ＵＩＢＣ機能の能力に関する問合せを含まないＭ３メッセージを送信する。当該Ｍ３メッセージを受信したシンク機器は、ＵＩＢＣ機能に関する能力の情報を含まない応答をソース機器に送信する。そして、ソース機器はＭ４メッセージを送信するが、当該Ｍ４メッセージを受信したシンク機器はＵＩＢＣ機能を有効化しない。その後、ステップＳ３０６のセッション確立が完了した後、ソース機器はシンク機器に、シンク機器のＵＩＢＣ機能の能力に関する問合せを含むＭ３メッセージを送信してもよい。そして、シンク機器は受信したＭ３メッセージに対する応答をソース機器に送信してもよい。また、ソース機器はＭ３メッセージに対する応答を受信すると、ＵＩＢＣ機能の有効化の指示を含むＭ４メッセージをシンク機器に送信してもよい。当該Ｍ４メッセージを受信したシンク機器はＵＩＢＣ機能を有効化し、ソース機器にＯＫの応答を送信する。

あるいは、ステップＳ３０５のＣａｐａｂｉｌｉｔｙ Ｎｅｇｏｔｉａｔｉｏｎにおいて、ソース機器は、シンク機器のＵＩＢＣ機能の能力に関する問合せを含むＭ３メッセージを送信し、当該Ｍ３メッセージに対する応答を受信する。そして、ＵＩＢＣの有効化の指示を含まないＭ４メッセージを送信し、シンク機器から当該Ｍ４メッセージに対する応答を受信し、ステップＳ３０５のＣａｐａｂｉｌｉｔｙ Ｎｅｇｏｔｉａｔｉｏｎを完了してもよい。そして、ステップＳ３０６のセッションが確立した後、ＵＩＢＣ機能の有効化の指示を含むＭ１４メッセージをソース機器からシンク機器に送信してもよい。当該Ｍ１４メッセージを受信したシンク機器は、ＵＩＢＣ機能を有効化するとソース機器にＯＫ応答を返す。

続いてステップＳ３０８に進み、シンク機器の入力部２０４を介してユーザ操作が入力される。今、シンク機器はＵＩＢＣ機能が有効になっているので、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙの仕様に基づいて、入力されたユーザ操作から座標情報を含む操作情報を生成する。現在のストリーミングモードはミラーリングモードであることから、シンク機器は生成した操作情報をソース機器に送信する（ステップＳ３０９）。

具体的には、まずシンク機器はＵＩＢＣ機能のバージョンに関する情報や、入力されたユーザ操作がデバイスに依存するものか否か、データパケットの長さ、入力内容などが含まれる操作情報を生成する。入力内容として、入力タイプの識別子やユーザ操作の内容を示す情報などが含まれる。入力タイプの識別子は、ユーザ操作がどのような種類の入力かを識別するための情報である。ユーザ操作の種類としては、マウスの移動操作やタッチ操作、クリック操作、スクロールなどがある。ユーザ操作の内容は、個々のユーザ操作に基づいて異なる情報が含まれる。

例えば、ユーザ操作がタッチ操作であったとする。生成される操作情報には、この操作がデバイスに依存しない操作であることを示す情報が含まれる。ユーザ操作の内容を示す情報としては、ポインターの数やＸ座標、Ｙ座標に関する情報が含まれる。ポインターの数は、ユーザ操作がマルチタッチであるかを示す情報である。タッチ操作がシングルタッチの場合は１となる。また、Ｘ座標およびＹ座標に関する情報は、シンク機器上での座標情報をソース機器の解像度情報に基づいてスケーリングすることで求められる。

スケーリングの方法として、具体的には、まずシンク機器やソース機器の出力部２０５としての表示部の左上隅を原点（０，０）とする。いま、シンク機器の表示部の解像度が１５３６×２０４８ピクセル、ソース機器の表示部が７５０×１３３４ピクセルだったとする。また、ステップＳ３０５のＣａｐａｂｉｌｉｔｙ Ｎｅｇｏｔｉａｔｉｏｎにおいて、ソース機器がシンク機器に送信する画像の解像度を１１５２×２０４８ピクセルに決定したとする。シンク機器において、原点に対して（１９２，０）を左上隅として画像データが表示されているとする。この場合にシンク機器を介して、（Ｘ，Ｙ）＝（３００，４００）においてユーザのタッチ操作が入力されたとする。また、入力されたタッチ操作はシングルタッチ操作であったとする。タッチ操作の入力座標（３００，４００）と、画像データの表示領域の開始座標（１９２，０）から、画像データの表示領域内における当該タッチ操作の対応する座標（１０８、４００）が求められる。さらに、ソース機器からシンク機器に送信される画像の解像度と、ソース機器の表示部の解像度に基づいて、当該タッチ操作のソース機器の表示部における対応する座標（７０，２６１）が求められる。シンク機器は座標情報として（Ｘ，Ｙ）＝（７０，２６１）と、ポインターの数＝１という情報を含む操作情報を生成し、ソース機器に送信する。当該操作情報を受信したソース機器は、ソース機器の表示部の左上を原点とし、座標（７０，２６１）にシングルタッチ操作が行われたとして処理を実行する。

なお、本実施形態では、シンク機器がユーザ操作の入力座標と画像データの表示領域、画像の解像度、およびソース機器の表示部の解像度から操作情報に含まれる座標情報を求めるため、スケーリングを行った。しかし、当該座標情報を求めるため、ソース機器がスケーリングを行ってもよい。例えば、シンク機器は、入力座標から画像データの表示領域内における座標を求め、ソース機器に当該座標情報として送信してもよい。その場合、当該座標情報を送信したソース機器は、自装置が送信する画像データの解像度と、自装置の表示部の解像度とから座標情報を求め、処理を実行してもよい。あるいは、シンク機器はユーザ操作の入力座標を、ソース機器に座標情報として送信してもよい。その場合、ソース機器が必要な情報を基に、スケーリングを行ってもよい。スケーリングの工程は、シンク機器とソース機器とで、一方が全てを行ってもよいし、それぞれ工程を分担してもよい。

また、本実施形態では、原点を各機器の表示部の左上隅としたが、各機器における画像の表示領域の左上隅を原点としてもよい。これに限らず、各機器の表示部の領域内であれば、どこを原点としてもよい。この場合、原点の位置に伴い、スケーリングの方法は適宜変更される。

なお、ここではユーザ操作としてタッチ操作を例に挙げ、座標情報のスケーリングの方法を説明したが、タッチ操作に限らず、マウスのクリック操作においても同様に座標情報を求めればよい。例えばユーザ操作がズームであった場合、ユーザ操作の内容を示す情報には、Ｘ座標、Ｙ座標、ズーム時間の整数値および小数値などの情報が含まれる。

以上のように、シンク機器はユーザ操作に基づいて、座標情報を含む操作情報を生成し、当該操作情報をソース機器に送信する。

なお、ユーザ入力に基づいて生成される操作情報には、座標情報が含まれないものがあってもよい。例えば、シンク機器に画面のスクロール操作が入力されたとする。この場合に、シンク機器はユーザ操作の内容を示す情報として、垂直のスクロール量や並行のスクロール量を示す情報を含む操作情報を生成する。また、例えばシンク機器に回転操作が入力されると、シンク機器はユーザ操作の内容を示す情報として、回転量の整数値および分数値が含まれる操作情報を生成する。この場合に、正の値の回転量は反時計回りの、負の値の回転量は時計回りの回転量を示す。以上のように、シンク機器は入力されたユーザ操作に対して、座標情報を含まない操作情報を生成してもよい。

また、デバイスに依存する操作として、例えばキーボードやカメラを用いたユーザ操作が挙げられる。シンク機器は、このようなデバイスに依存する操作について、デバイスに依存しない操作とは異なる操作情報を生成する。具体的には、操作情報に含まれる入力内容に含まれる情報が異なる。この入力内容は、ＨＩＤＣ Ｉｎｐｕｔ Ｂｏｄｙのフォーマットに基づいて生成される。ここで、ＨＩＤＣはＨｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｄｅｖｉｃｅ Ｃｌａｓｓの略である。デバイスに依存する操作に基づく操作情報の入力内容には、入力経路、入力タイプ、ユーザ操作の内容を示す情報などが含まれる。

なお、ユーザ操作は、デバイスに依存する操作やデバイスに依存しない操作に限定されない。例えば、ベンダーに固有の操作であってもよい。この場合に、シンク機器によって生成される操作情報は、ベンダー固有の操作に基づいて生成される。

操作情報を受信したソース機器は、当該操作情報に基づいて操作を実行する（ステップＳ３１０）。例えば、シンク機器から送信された操作情報が、ユーザ操作がタッチ操作であること、および座標情報を含んでいたとする。その場合に、当該操作情報を受信したソース機器は、ステップＳ３０９で説明したように、自装置に対してユーザが当該座標情報に基づく座標にタッチ操作を行ったものとして処理を実行する。

以上、図３のシーケンス図では、ミラーリングを実施する際に、通信装置１０１と通信装置１０２が実現する処理を示した。

なお、本シーケンス図においてシンク機器とソース機器が送信した各メッセージは、夫々本実施形態において受信装置であった機器が送信装置となってもよい。例えばＭ１４メッセージは本実施形態において、ソース機器が送信装置であったが、シンク機器が送信装置となってもよい。

続いて、図４に、通信装置１０２（シンク機器）がユーザ操作を受け付けた際に、記憶部２０１に記憶されたプログラムを制御部２０２が読み出し、実行することで実現される処理のフローチャートを示す。本フローチャートは、ソース機器とシンク機器間において、図３のステップＳ３０７でミラーリングが開始されたことに応じて開始される。もしくはコンテンツリダイレクトやダイレクトストリーミングが開始されたことに応じて開始されてもよい。またはステップＳ３０６で、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙのセッションが確立されたことに応じて開始されてもよい。

まず、シンク機器は入力部２０４へのユーザ操作を受け付けたか判定する（ステップＳ４０１）。この場合に、シンク機器の入力部２０４において、所定の領域をあらかじめ定めておき、ユーザ操作が所定の領域外で行われた場合には、ユーザ操作を受け付けていないと判定することが可能である。例えば、入力部２０４および出力部２０５を兼ねるタッチパネルなどの画面において、通信装置１０１やクラウドサーバ１０４から受信している画像の再生領域を所定の領域とする。そして当該再生領域外へタッチ操作が行われた場合は、ユーザ操作を受け付けていないと判定してもよい。あるいは、再生制御用のＧＵＩ表示の領域外へタッチ操作が行われた場合、ユーザ操作を受け付けていないと判定してもよい。ＧＵＩとは、Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅの略である。ステップＳ４０１でユーザ操作を受け付けていないと判定した場合は（ステップＳ４０１のいいえ）、ステップＳ４０１の判定に戻る。

一方、ステップＳ４０１でユーザ操作を受け付けたと判定した場合は（ステップＳ４０１のはい）、現在のストリーミングモードがミラーリングか否かを判定する（ステップＳ４０２）。この判定はソース機器と交換した、ストリーミングモードを特定可能なパラメータに基づいて行う。例えば、Ｍ３メッセージとＭ４メッセージとの少なくとも一方に含まれるパラメータに基づいて、当該判定を行う。ユーザ操作を受け付けた直前にソース機器と交換したＭ４メッセージにおいて、ダイレクトモードの開始を示すパラメータが含まれていた場合、現在のストリーミングモードはミラーリングモードではないと判定される。あるいは、同様のＭ４メッセージにおいて、コンテンツリダイレクトモードの開始を示すパラメータが含まれていた場合も、現在のストリーミングモードはミラーリングモードではないと判定される。一方、同様のＭ４メッセージに、ダイレクトモードやコンテンツリダイレクトモードの開始を示すパラメータが含まれていなかった場合、現在のストリーミングモードはミラーリングモードであると判定される。あるいは、同様のＭ４メッセージに、ダイレクトモードやコンテンツリダイレクトモードの終了を示すメッセージが含まれていた場合も同様にミラーリングモードであると判定される。あるいは、Ｍ３メッセージやＭ４メッセージに含まれる、画像の解像度や符号化方式などの情報に基づいて判断してもよい。判定に用いるＭ３メッセージとＭ４メッセージとの少なくとも一方は、図３のステップＳ３０６でＷｉ−Ｆｉ Ｄｉｓｐｌａｙのセッションを確立した後、ソース機器と交換されたものである。あるいは、図３のステップＳ３０５でソース機器と交換したものであってもよい。なお、ストリーミングモードが特定可能なパラメータが含まれているメッセージは、Ｍ３メッセージやＭ４メッセージに限らない。また、ストリーミングを特定可能なパラメータではなく、シンク機器が画像データやコンテンツの受信に利用しているアプリケーションや、コンテンツや画像データの送信元を基に判定してもよい。あるいはこれらの組み合わせで判定してもよい。

現在のストリーミングモードがミラーリングモードだと判定されると（ステップＳ４０２のはい）、ステップＳ４０３に進み、ミラーリングモードではないと判定されると（ステップＳ４０２のいいえ）、ステップＳ４０５に進む。ステップＳ４０３に進むと、シンク機器は受け付けたユーザ操作に基づいて操作情報を生成する。具体的には、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様のＵＩＢＣ機能に基づいて、操作情報を生成する。そして、生成した操作情報をソース機器に送信する（ステップＳ４０４）。

その後、シンク機器は、ソース機器とシンク機器との間の通信が切断されているか判定する（ステップＳ４１０）。具体的には、ソース機器とのＷｉ−Ｆｉ ＤｉｓｐｌａｙセッションもしくはＷｉ−Ｆｉ Ｐ２Ｐ接続が切断されているかを判定する。もしくはＷｉ−Ｆｉ Ｄｉｓｐｌａｙ接続として、ＴＤＬＳに準拠したＴＤＬＳ接続を行っていた場合には、Ｗｉ−Ｆｉ Ｐ２Ｐ接続に代えて、ＴＤＬＳ接続が切断されているかを判定する。Ｗｉ−Ｆｉ ＤｉｓｐｌａｙセッションまたはＷｉ−Ｆｉ Ｐ２Ｐ接続の切断は、シンク機器あるいはソース機器がＷｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様に準拠したＲＴＳＰ ＴＥＡＲＤＯＷＮメッセージを発行、送信することで行われる。よって、シンク機器が当該メッセージの送信あるいは受信を行ったかに基づいて判定を行ってもよい。もしくはシンク機器にＲＴＳＰ ＴＥＡＲＤＯＷＮメッセージを発行させるための、トリガーとなるメッセージをソース機器から受信したかに基づいて判定を行ってもよい。また、シンク機器がソース機器にＲＴＳＰ ＴＥＡＲＤＯＷＮメッセージを発行させるための、トリガーとなるメッセージを送信したかに基づいて判定してもよい。

ソース機器とシンク機器との間の通信が切断されていると（ステップＳ４１０のはい）、本フローチャートを終了する。一方、ソース機器とシンク機器との間の通信が切断されていないと（ステップＳ４１０のいいえ）、ステップＳ４０１に戻り、ユーザ操作を待ち受ける。

次に、ストリーミングモードがミラーリングモードでなかった場合（ステップＳ４０２のいいえ）について説明する。この場合、次にステップＳ４０５でストリーミングモードがコンテンツリダイレクトモードか判定する。この判定は、ステップＳ４０２と同様に、図３のステップＳ３０５でソース機器と交換したＭ３メッセージとＭ４メッセージとの少なくとも一方に含まれる、ストリーミングモードを特定可能なパラメータに基づいて行う。ストリーミングモードがコンテンツリダイレクトモードの場合（ステップＳ４０５のはい）、ステップＳ４０６に進む。コンテンツリダイレクトモードでない場合（ステップＳ４０５のいいえ）、ステップＳ４０８に進む。

ストリーミングモードがコンテンツリダイレクトモードであった場合、シンク機器はユーザ操作に基づいて外部装置の制御情報を生成する（ステップＳ４０６）。ユーザ操作は、操作の種類や操作位置、操作量等を示す各種情報からストリーミングの再生制御情報を含む外部装置の制御情報へ変換される。例えばマウスのクリックやキーの押下、タッチパネルへのタップといったユーザ操作が、コンテンツの再生開始や停止、早送りなどのユーザからの指示を示す情報を含む再生制御情報へ変換される。再生制御情報は他に、コンテンツの一時停止や巻き戻し、再生位置の指定といった指示を示す情報を含んでもよい。また、現在取得中のコンテンツの次に取得したいコンテンツの要求を示す情報であってもよい。

この場合に、シンク機器は当該再生制御情報を、ユーザ操作が行われた座標情報に基づいて生成してもよい。例えば、ユーザ操作としてシンク機器を介してタップ操作が受け付けられたとする。シンク機器は図３のステップＳ３０９と同様に、まずシンク機器の表示部内あるいは画像データの表示領域内において、タップ操作が行われた座標を検出する。そして、シンク機器は検出した座標や当該座標に基づく座標情報に対応する再生制御情報を生成する。具体的には、シンク機器の画面上で当該座標にコンテンツの一時停止を示すＵＩが表示されていた場合、シンク機器は当該タップ操作からコンテンツの一時停止を示す再生制御情報を生成する。ここで、ＵＩはＵｓｅｒ Ｉｎｔｅｒｆａｃｅの略である。シンク機器は、当該再生制御情報を含む制御情報を外部装置に送信する。

外部装置の制御情報は、ステップＳ４０７で外部装置であるクラウドサーバ１０４へ送信される。コンテンツリダイレクトモードで外部装置からコンテンツを取得する際に使用するプロトコルとしては、ＲＴＳＰやＤＬＮＡ（登録商標）、ＳＩＰ、ＨＬＳ、ＭＰＥＧ−ＤＡＳＨ、ＲＴＭＰなど、ストリーミングの再生制御に適したプロトコルが挙げられる。なお、ＤＬＮＡはＤｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅの、ＳＩＰはＳｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌの、ＨＬＳはＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇの夫々略である。またＭＰＥＧ−ＤＡＳＨのＭＰＥＧはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐの、ＤＡＳＨはＤｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰの夫々略である。ＲＴＭＰはＲｅａｌ Ｔｉｍｅ Ｍｅｓｓａｇｉｎｇ Ｐｒｏｔｏｃｏｌの略である。

シンク機器はコンテンツリダイレクトモードで外部装置からコンテンツを取得する際に使用するプロトコルに基づいて外部装置の制御情報を生成する。例えば、コンテンツリダイレクトモードで使用しているプロトコルがＲＴＳＰだった場合、シンク機器から外部装置に送信される外部装置の制御情報もＲＴＳＰに従って生成される。即ち、シンク機器がコンテンツの一時停止を指示するユーザ操作を受け付けた場合、シンク機器は外部装置の制御情報としてＲＴＳＰ ＰＡＵＳＥ ｒｅｑｕｅｓｔのメッセージを生成し、外部装置に送信する。また、例えば、コンテンツリダイレクトモードで使用しているプロトコルがＨＴＴＰだった場合、シンク機器から外部装置に送信される外部装置の制御情報もＨＴＴＰに従って生成される。外部装置の制御情報を送信したシンク機器は、ステップＳ４１０に進む。

次に、ストリーミングモードがミラーリングモードでも、コンテンツリダイレクトモードでもなかった場合（ステップＳ４０５のいいえ）について説明する。この場合、ストリーミングモードはダイレクトストリーミングモードになる。シンク機器はステップＳ４０８でユーザ操作に基づいて、通信装置の制御情報を生成する。ユーザ操作は、操作の種類や操作位置、操作量等を示す各種情報からストリーミング再生を制御するための、再生制御情報を含む通信装置の制御情報へ変換される。例えばマウスのクリックやキーの押下、タッチパネルへのタップといったユーザ操作が、コンテンツの再生開始や停止、早送りなどのユーザからの指示を示す情報を含む再生制御情報へ変換される。再生制御情報は他に、コンテンツの一時停止や巻き戻し、再生位置といった指示を示す情報を含んでもよい。また、現在ソース機器から受信中のコンテンツの次に受信したいコンテンツの要求を示す情報でもよい。なお、シンク機器はステップＳ４０６と同様に、受け付けたユーザ操作の座標を検出し、当該座標や当該座標に基づく座標情報から再生制御情報を生成してもよい。本実施形態では、ダイレクトストリーミングモードで用いるプロトコルとして、Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様で定められたＲＴＳＰを用いる。例えば、コンテンツの再生開始の指示を示す通信装置の制御情報としてＲＴＳＰ ＰＬＡＹを含むメッセージを生成できる。シンク機器は生成した通信装置の制御情報をソース機器に送信し（ステップＳ４０９）、ステップＳ４１０に進む。

なお、シンク機器が同時に複数のソース機器もしくはクラウドサーバから画像を受信、再生している場合でも本フローチャートは適用可能である。例えば、複数のソース機器もしくはクラウドサーバから受信した複数の画像を、シンク機器の画面を分割し表示しているとする。シンク機器がユーザ操作を受け付けた場合、各画像の表示位置とユーザ入力操作が行われた位置とに応じて、対応するソース機器もしくはクラウドサーバにユーザ操作に基づいて生成した情報を送信してもよい。

なお、本フローチャートでは、ステップＳ４０１でユーザ操作を受け付けてから、ステップＳ４０２やステップＳ４０５で現在のストリーミングモードを判定した。しかし、これに限らず、ステップＳ４０１でユーザ操作を受け付ける前にストリーミングモードを判定してもよい。その場合は、ユーザ操作を受け付けた後、予め判定しておいたストリーミングモードに応じて、ステップＳ４０３か、ステップＳ４０６か、ステップＳ４０８に進めばよい。

以上、図４にはユーザ操作を受け付けた際に通信装置１０２が実現する処理を示した。

なお、本実施形態において、シンク機器はミラーリングモードと、コンテンツリダイレクトモードと、ダイレクトモードの三つのストリーミングモードで動作可能な装置であった。しかし、シンク機器はこれら三つのストリーミングモードの内、何れか二つのストリーミングモードで動作可能であればよい。具体的には、ミラーリングモードとコンテンツリダイレクトモード、コンテンツリダイレクトモードとダイレクトモード、ダイレクトモードとミラーリングモードの何れかの組み合わせのストリーミングモードで動作可能であればよい。

その場合、図４のフローチャートは適宜変更される。ミラーリングモードとコンテンツリダイレクトモードで動作可能なシンク機器であれば、ステップＳ４０８とステップＳ４０９は省略される。また、ステップＳ４０５も省略される。その場合、ステップＳ４０２でいいえと判定されると、ステップＳ４０６に進む。あるいはステップＳ４０２の代わりにステップＳ４０５を行ってもよい。その場合ステップＳ４０１ではいと判定されるとステップＳ４０５に進み、ステップＳ４０５でいいえと判定されるとステップＳ４０３に進む。

コンテンツリダイレクトモードとダイレクトモードで動作可能なシンク機器であれば、ステップＳ４０２からステップＳ４０４が省略される。その場合、ステップＳ４０１ではいと判定されると、ステップＳ４０５に進む。また、ステップＳ４０５でストリーミングモードがコンテンツリダイレクトモードであるか判定する代わりに、ダイレクトモードであるか判定してもよい。その場合、ストリーミングモードがダイレクトモードであると判定されると、ステップＳ４０８に進む。一方、ストリーミングモードがダイレクトモードでは無いと判定されると、ステップＳ４０６に進む。

ダイレクトモードとミラーリングモードで動作可能なシンク機器であれば、ステップＳ４０５からステップＳ４０７が省略される。その場合、ステップＳ４０２でいいえと判定されると、ステップＳ４０８に進む。また、ステップＳ４０２でストリーミングモードがミラーリングモードであるか判定する代わりに、ダイレクトモードであるか判定してもよい。その場合、ストリーミングモードがダイレクトモードであると判定されると、ステップＳ４０８に進む。一方、ストリーミングモードがダイレクトモードでないと判定されると、ステップＳ４０３に進む。

また、本実施形態では、ストリーミングモードの判定を、ステップＳ４０２とステップＳ４０５で行っているが、単にストリーミングモードが何であるか判定してもよい。具体的には、ステップＳ４０１ではいと判定された場合に、シンク機器は現在のストリーミングモードを判定する。判定には、ステップＳ４０２やステップＳ４０５と同様に、ストリーミングモードを特定可能なパラメータに基づいて行う。あるいは、シンク機器が画像データやコンテンツの受信に利用しているアプリケーションや、コンテンツや画像データの送信元を基に判定してもよい。もしくはこれらの組み合わせで判定してもよい。この場合、ストリーミングモードがミラーリングモードであると判定されるとステップＳ４０３に進み、コンテンツリダイレクトモードであると判定されるとステップＳ４０６に進む。また、ダイレクトモードであると判定されるとステップＳ４０８に進む。またこの場合も、シンク機器は三つのストリーミングモードの内少なくとも二つで動作可能であればよい。

図５に、通信装置１０１（ソース機器）が通信装置１０２（シンク機器）からユーザ操作に基づいた操作情報や制御情報を受信する際に、記憶部２０１に記憶されたプログラムを制御部２０２が読み出し、実行することで実現される処理のフローチャートを示す。本フローチャートは、ソース機器とシンク機器間において、図３のステップＳ３０７でミラーリングが開始されたことに応じて開始される。もしくはコンテンツリダイレクトやダイレクトストリーミングが開始されたことに応じて開始されてもよい。またはステップＳ３０６でＷｉ−Ｆｉ Ｄｉｓｐｌａｙのセッションが確立されたことに応じて開始されてもよい。

まず、ソース機器はストリーミングモードがミラーリングモードか否かを判定する（ステップＳ５０１）。この判定は、例えば図３のステップＳ３０５でシンク機器と交換したメッセージに含まれるストリーミングモードを特定可能なパラメータに基づいて行う。もしくは、図３のステップＳ３０１におけるミラーリングの開始指示に基づいて判定してもよい。後述するステップＳ５０８でストリーミングモードを変更した場合は、ステップＳ５０１の判定において、ステップＳ５０８でシンク機器と交換したメッセージに含まれるストリーミングモードを特定可能なパラメータを用いてもよい。

ストリーミングモードがミラーリングモードであると判定されると（ステップＳ５０１のはい）、ステップＳ５０２に進む。ミラーリングモードでないと判定されると（ステップＳ５０１のいいえ）、ステップＳ５０９に進む。ステップＳ５０２に進むと、ソース機器はＵＩＢＣ機能を有効化する。有効化の方法としては、例えばシンク機器から送信された操作情報を無視せずに処理するといった方法がある。もしくは、ＵＩＢＣ機能を有効化するためのＲＴＳＰ ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求をシンク機器へ送信してもよい。当該要求を受信したシンク機器は、ＵＩＢＣ機能を有効にできる場合、ソース機器にＯＫ応答を返す。ソース機器はＵＩＢＣ機能を有効化すると、ステップＳ５０３に進む。なお、既にＵＩＢＣ機能を有効化しており、その後ＵＩＢＣ機能を無効化していない場合は、本ステップをスキップしてもよい。

ステップＳ５０３では、ソース機器は自装置が表示している画面や再生している音声の情報として、画像データや音声データの送信を開始し、ステップＳ５０４に進む。また、本ステップとステップＳ５０２は順序が入れ替わってもよい。

ステップＳ５０４では、ソース機器とシンク機器との間の通信が切断されているか判定する。具体的には、シンク機器とのＷｉ−Ｆｉ ＤｉｓｐｌａｙセッションもしくはＷｉ−Ｆｉ Ｐ２Ｐ接続が切断されているかを判定する。もしくはＷｉ−Ｆｉ Ｄｉｓｐｌａｙ接続として、ＴＤＬＳに準拠したＴＤＬＳ接続を行っていた場合には、Ｗｉ−Ｆｉ Ｐ２Ｐ接続に代えて、ＴＤＬＳ接続が切断されているかを判定する。Ｗｉ−Ｆｉ ＤｉｓｐｌａｙセッションまたはＷｉ−Ｆｉ Ｐ２Ｐ接続の切断は、ソース機器がシンク機器からＷｉ−Ｆｉ Ｄｉｓｐｌａｙ仕様に準拠したＲＴＳＰ ＴＥＡＲＤＯＷＮメッセージを受信することで行われる。よって、ソース機器が当該メッセージを受信したかに基づいて判定を行ってもよい。ソース機器とシンク機器との間の通信が切断されていると判定されると（ステップＳ５０４のはい）、フローチャートを終了する。一方、ソース機器とシンク機器との間の通信が切断されていないと判定すると（ステップＳ５０４のいいえ）、ステップＳ５０５に進む。

ステップＳ５０５では、シンク機器からユーザ操作に基づいた操作情報を受信したか判定する。ソース機器が操作情報を受信していない場合は（ステップＳ５０５のいいえ）、ステップＳ５０４に戻る。一方、ソース機器が操作情報を受信した場合は（ステップＳ５０５のはい）、ステップＳ５０６に進む。

ステップＳ５０６では、ソース機器は受信した操作情報に基づいて処理を実行する。例えばシンク機器から座標情報を含む操作情報を受信した場合、自装置の表示画面上で受信した座標情報に該当する位置を特定する。そして、その位置に操作情報に含まれるユーザ操作の種類に基づいて処理を実行する。例えば、ユーザ操作の種類がクリック操作だった場合、当該座標に該当する位置にクリック操作が行われたものとする。

次に、ステップＳ５０７では当該操作情報に基づいて実行された処理がストリーミングモードを変更するものであったかを判定する。例えばソース機器が、シンク機器から座標（Ｘ，Ｙ）においてクリック操作が行われたという操作情報を受信したものとする。座標（Ｘ，Ｙ）が既にスケーリングされている場合、当該操作情報に基づいて、ソース機器は自装置の表示部内の座標（Ｘ，Ｙ）においてクリック操作が行われたものとして処理を実行する。そして、例えば処理を実行した結果、ソース機器において所定のアプリケーションが起動されたものとする。この場合、当該操作情報に基づいて実行された処理は、ストリーミングモードの変更を指示する処理であったと判定する。ストリーミングモードの変更を指示する処理としては他に、所定のモードへの切り替えを行うための制御ボタンの押下がある。また、記憶部２０１に記憶されたコンテンツの選択や、クラウドサーバ上のコンテンツのハイパーリンクの選択であってもよい。本実施形態では、シンク機器から送信された操作情報に基づいてソース機器で実行された処理が、ストリーミングモードの変更を指示するものであったかに基づいて判定した。しかしこれに限らず、ソース機器を介してユーザ操作を入力し、当該ユーザ操作に基づいて実行した処理がストリーミングモードの変更を指示するものであったかに基づいて当該判定を行ってもよい。

当該制御がストリーミングモードの変更を指示するものでなかった場合（ステップＳ５０７のいいえ）、ステップＳ５０４にもどる。一方、当該制御がストリーミングモードの変更を指示するものであった場合（ステップＳ５０７のはい）、ステップＳ５０８に進み、ストリーミングモードを変更する。なお、ストリーミングモードの変更と合わせて、本ステップで新しいストリーミングモードに応じてＵＩＢＣ機能を有効化あるいは無効化してもよい。ストリーミングモードを変更したソース機器は、ステップＳ５０１に戻る。

一方、ストリーミングモードがミラーリングでないと判定された場合（ステップＳ５０１のいいえ）、ステップＳ５０９に進み、ストリーミングモードがコンテンツリダイレクトモードか判定する。この判定は、ステップＳ５０１と同様に行う。ストリーミングモードがコンテンツリダイレクトモードでないと判定された場合は（ステップＳ５０９のいいえ）、ステップＳ５１３に進む。ストリーミングモードがコンテンツリダイレクトモードであると判定された場合は（ステップＳ５０９のはい）、ステップＳ５１０に進む。

ステップＳ５１０に進むと、ソース機器はＵＩＢＣ機能を無効化する。ＵＩＢＣ機能を無効化する方法としては、例えばシンク機器から送信された操作情報を処理せず無視するといった方法がある。もしくは、ＵＩＢＣ機能を無効化するためのＲＴＳＰ ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求をシンク機器へ送信してもよい。当該要求を受信したシンク機器は、ＵＩＢＣ機能を無効にできる場合、ソース機器にＯＫ応答を返す。なお、ステップＳ５０８でＵＩＢＣ機能を無効化している場合など、本ステップに進む前に既にＵＩＢＣ機能を無効化している場合は、本ステップをスキップしてもよい。また、図３のステップＳ３０５でＵＩＢＣ機能を有効化せず、またその後も本ステップに進むまでＵＩＢＣ機能を有効化していない場合も、本ステップをスキップしてもよい。ＵＩＢＣ機能を無効化したソース機器は、ステップＳ５１１に進む。

ステップＳ５１１は、ステップＳ５０４と同様にソース機器とシンク機器との間の通信が切断されているか判定する。ソース機器とシンク機器との間の通信が切断されていると判定されると（ステップＳ５１１のはい）、フローチャートを終了する。一方、ソース機器とシンク機器との間の通信が切断されていないと判定すると（ステップＳ５１１のいいえ）、ステップＳ５１２に進む。

ステップＳ５１２では、ストリーミングモード変更指示が出されたか判定する。当該判定は、例えば記憶部２０１に記憶されたコンテンツの選択や、所定のアプリケーションの起動、所定のモードへの切り替えを行うための制御ボタンの押下などのユーザ操作がソース機器に入力されたことに基づいて行われる。また、例えばコンテンツの終端まで再生されたことなど、シンク機器におけるコンテンツの再生状態に基づいて当該判定が行われてもよい。ストリーミングの変更指示が出されていないと判定すると（ステップＳ５１２のいいえ）、ステップＳ５１１にもどる。ストリーミングの変更指示が出されたと判定すると（ステップＳ５１２のはい）、ステップＳ５０８に進み、ストリーミングモードを変更する。

一方、ストリーミングモードが、ミラーリングモードでも、コンテンツリダイレクトモードでもないと判定された場合（ステップＳ５０９のいいえ）、シンク機器はステップＳ５１３に進む。なお、この場合のストリーミングモードはダイレクトストリーミングモードである。ステップＳ５１３に進んだソース機器は、ステップＳ５１０と同様に、ＵＩＢＣ機能を無効化する。ＵＩＢＣ機能を無効化したソース機器は、ステップＳ５１４に進む。ステップＳ５１４では、ソース機器はシンク機器にコンテンツの送信を開始し、ステップＳ５１５に進む。ステップＳ５１４とステップＳ５１５は順序が入れ替わってもよい。

ステップＳ５１５では、ステップＳ５０４と同様に、ソース機器とシンク機器との間の通信が切断されているか判定する。ソース機器とシンク機器との間の通信が切断されていると判定されると（ステップＳ５１５のはい）、フローチャートを終了する。一方、ソース機器とシンク機器との間の通信が切断されていないと判定すると（ステップＳ５１５のいいえ）、ステップＳ５１６に進む。

ステップＳ５１６では、シンク機器からユーザ操作に基づいた再生制御情報を含む制御情報を受信したか判定する。ソース機器が制御情報を受信していない場合は（ステップＳ５１６のいいえ）、ステップＳ５１５に戻る。一方、ソース機器が制御情報を受信している場合は（ステップＳ５１６のはい）、ステップＳ５１７に進む。

ステップＳ５１７では、シンク機器から受信した制御情報がストリーミングモードの変更指示を含まないか判定する。当該判定は、例えばコンテンツの停止を指示する再生制御情報が含まれているかに基づいて行う。あるいは、シンク機器上でユーザが所定のアプリケーションの起動、所定のモードへの切り替えを行うための制御ボタンの押下を行ったことに基づいて生成された制御情報をストリーミングモードの変更指示を含む制御情報として判定してもよい。シンク機器上でユーザがクラウドサーバ上のコンテンツのハイパーリンクを選択したことに基づいて生成された制御情報でもよい。これらのユーザ操作は、シンク機器ではなく、ソース機器を介して行われてもよい。その場合ソース機器は当該ユーザ操作が行われたことに基づいて当該判定を行ってもよい。また、シンク機器でのコンテンツが終端まで再生されたことをストリーミングモード変更指示とするなど、シンク機器におけるコンテンツの再生状態に基づいて当該判定を行ってもよい。

シンク機器から受信した制御情報がストリーミングモードの変更指示を含むと判定した場合は（ステップＳ５１７のはい）、ステップＳ５０８に進みストリーミングモードを変更する。シンク機器から受信した制御情報がストリーミングモードの変更指示を含まないと判定した場合は（ステップＳ５１７のいいえ）、ステップＳ５１８に進み、受信した制御情報に基づいた制御を行う。例えば受信した制御情報が、コンテンツの一時停止を示すものであった場合、ソース機器はシンク機器へのコンテンツのストリーミングを一時停止する。受信した制御情報に基づいた制御を行ったソース機器は、ステップＳ５１５に戻る。

以上、図５のフローチャートでは、シンク機器からユーザ操作に基づいた操作情報や制御情報を受信する際に、ソース機器が実現する処理を示した。

以降図６から図８のシーケンス図におけるシンク機器およびソース機器は、夫々図４および図５のフローチャートに従って動作する。

図６にソース機器（通信装置１０１）、シンク機器（通信装置１０２）、外部装置（クラウドサーバ１０４）がミラーリングを実施する際に実現するシーケンス図を示す。本シーケンス図では、外部装置が有するコンテンツをソース機器が取得し、シンク機器にミラーリングする場合の処理を示す。本シーケンス図の前段階として、図３のステップＳ３０１〜ステップＳ３０６までの各処理が完了している。また、図３のステップＳ３０５でＵＩＢＣ機能が有効化されている。

ソース機器とシンク機器との間でミラーリングが行われている（ステップＳ３０７）。ステップＳ６０１で、ソース機器のユーザが閲覧したいコンテンツを選択する。コンテンツの選択は、例えばコンテンツのハイパーリンクの選択などによって行われる。ソース機器は選択されたコンテンツを外部装置に要求する（ステップＳ６０２）。そして、ソース機器はステップＳ６０３で当該コンテンツを外部装置から受信する。いま、ステップＳ３０７でミラーリングが行われているので、シンク機器にも当該コンテンツが表示される。

この場合に、シンク機器がユーザ操作を受け付けると（ステップＳ３０８）、ユーザ操作に基づいた操作情報が生成され、ソース機器に送信される（ステップＳ３０９）。ソース機器は受信した操作情報に基づいて、自装置を制御することで、外部装置からのコンテンツの受信を制御することもできる。

以上、図６のシーケンス図には、ミラーリングを実施する際にソース機器、シンク機器、外部装置が実現する処理を示した。

続いて、図７にソース機器（通信装置１０１）、シンク機器（通信装置１０２）、外部装置（クラウドサーバ１０４）がコンテンツリダイレクトを実施する際に実現するシーケンス図を示す。本シーケンス図の前段階として、図３のステップＳ３０１〜ステップＳ３０６までの各処理が完了している。また、図３のステップＳ３０５でＵＩＢＣ機能が有効化されている。

ソース機器とシンク機器との間でミラーリングが実行されている（ステップＳ３０７）。この場合に、ソース機器にユーザからコンテンツリダイレクト開始指示が入力される（ステップＳ７０１）。コンテンツリダイレクト開始指示は、
所定のアプリケーションの起動や、制御ボタンの押下などのユーザ操作である。もしくはクラウドサーバ上のコンテンツのハイパーリンクの選択であってもよい。また、これらのユーザ操作は、ソース機器ではなく、シンク機器を介して行われてもよい。

ソース機器はシンク機器にコンテンツリダイレクト機能についての問合せを送信する（ステップＳ７０２）。コンテンツリダイレクト機能についての問合せは、シンク機器のアプリケーションの中でコンテンツリダイレクトを実施可能なアプリケーションに関する情報の要求を含む。アプリケーションに関する情報とは、例えばアプリケーションの名称や、種類、発行元などの情報である。または、シンク機器がコンテンツリダイレクトを実施可能かの問合せを含んでもよい。もしくは、コンテンツリダイレクトの開始指示や、コンテンツの情報の少なくとも一方を含んでもよい。

シンク機器はコンテンツリダイレクト機能についての問合せを受信すると、ソース機器にコンテンツリダイレクトの実施可否を応答する（ステップＳ７０３）。この場合に、シンク機器がコンテンツリダイレクトを行えるかの判定は、シンク機器内のアプリケーションの内、コンテンツリダイレクトに対応するアプリケーションがあるかで判定する。あるいは、シンク機器がコンテンツリダイレクトを行うことが、シンク機器の設定として許可されているかで判定してもよい。もしくは、シンク機器とソース機器、あるいはシンク機器と外部装置との接続状態に基づいて判定してもよい。また、これらの判定基準の組み合わせであってもよい。

判定を行ったシンク機器は、ソース機器にコンテンツリダイレクトの実施可否を応答する。この応答として、判定結果に基づいてＯＫもしくはＮＧの通知を送信する。また、応答として、ＮＧの場合はコンテンツリダイレクトが実施できない理由に関する情報や、シンク機器のアプリケーションの中でコンテンツリダイレクトが実施可能なアプリケーションに関する情報などが含まれていてもよい。本シーケンスでは、応答としてＯＫ通知がソース機器に送信されたものとする。

続いてソース機器はシンク機器にコンテンツの情報を送信する（ステップＳ７０４）。シンク機器はコンテンツの情報を受信すると、ソース機器にＯＫの応答をする（ステップＳ７０５）。さらにソース機器はＵＩＢＣ機能の無効化を要求する（ステップＳ７０６）。ＵＩＢＣ機能の無効化の要求を受信したシンク機器は、ＵＩＢＣ機能を無効化し、ソース機器にＯＫの応答をする（ステップＳ７０７）。

コンテンツリダイレクトの準備が整ったソース機器とシンク機器は、夫々ステップＳ７０８とステップＳ７０９で実行中のミラーリングを一時停止する。ミラーリングを実行中にコンテンツリダイレクトを実施する場合、ミラーリング処理を一時停止することにより、シンク機器におけるミラーリングの処理負荷を軽減し、消費電力を抑えることが可能である。この場合に、ソース機器とシンク機器間の通信は維持されている。

シンク機器はソース機器から受信したコンテンツの情報を基に、外部装置にコンテンツを要求する（ステップＳ７１０）。要求を受けた外部装置は、コンテンツをシンク機器に送信する（ステップＳ７１１）。この場合に、シンク機器がユーザ操作を受け付けると（ステップＳ７１２）、シンク機器は当該ユーザ操作に基づいて外部装置の制御情報を生成し、外部装置に送信する（ステップＳ７１３）。

以上、図７のシーケンス図には、コンテンツリダイレクトを実施する際にソース機器、シンク機器、外部装置が実現する処理を示した。

なお、本シーケンス図では、ステップＳ３０７でミラーリングを実行してからコンテンツリダイレクトを実行した。しかし、ミラーリングを実行することなくコンテンツリダイレクトを行ってもよい。具体的には図３のステップＳ３０１でユーザからミラーリングの開始操作が行われる代わりに、ステップＳ７０１のコンテンツリダイレクト開始指示が入力されてもよい。その場合、ステップＳ７０１の後、ステップＳ３０１〜ステップＳ３０６が実行され、ステップＳ７０２の処理が実行される。その後、ステップＳ７０８およびステップＳ７０９はスキップされる。なお、ステップＳ３０５でＵＩＢＣ機能を有効化しなくてもよい。その場合、ステップＳ７０６およびステップＳ７０７はスキップされる。また、ステップＳ７０２〜ステップＳ７０４は、ステップＳ３０５内で実施されてもよい。

図８にソース機器（通信装置１０１）とシンク機器（通信装置１０２）がダイレクトストリーミングを実施する際に実現するシーケンス図を示す。本シーケンス図の前段階として、図３のステップＳ３０１〜ステップＳ３０６までの各処理が完了している。また、図３のステップＳ３０５でＵＩＢＣ機能が有効化されている。

ソース機器とシンク機器との間でミラーリングが実行されている（ステップＳ３０７）。この場合に、ソース機器にユーザからダイレクトストリーミング開始指示が入力される（ステップＳ８０１）。ダイレクトストリーミング開始指示は、所定のアプリケーションの起動や、制御ボタンの押下などのユーザ操作である。もしくはソース機器上のコンテンツの選択であってもよい。また、これらのユーザ操作は、ソース機器ではなく、シンク機器を介して行われてもよい。

ソース機器からシンク機器にダイレクトストリーミングヘのモード変更要求が送信される（ステップＳ８０２）。モード変更要求には、ダイレクトストリーミングで用いられる、動画のフォーマットや音声のフォーマットに関する情報が含まれる。また、ダイレクトストリーミングモードをアクティブにする情報が含まれてもよい。

ソース機器は当該要求を受信すると、当該要求に含まれる動画や音声のフォーマットに対応可能な場合、ソース機器にＯＫ応答を送信する（ステップＳ８０３）。ソース機器はＵＩＢＣ機能の無効化を要求する（ステップＳ８０４）。ＵＩＢＣ機能の無効化の要求を受信したシンク機器は、ＵＩＢＣ機能を無効化し、ソース機器にＯＫの応答をする（ステップＳ８０５）。

ＯＫ応答を受信したソース機器は、自装置が記憶しているコンテンツをシンク機器に送信する（ステップＳ８０６）。この場合に、シンク機器がユーザ操作を受け付けると（ステップＳ８０７）、シンク機器は当該ユーザ操作に基づいて通信装置の制御情報を生成し、ソース装置に送信する（ステップＳ８０８）。

以上、図８のシーケンス図には、ダイレクトストリーミングを実施する際にソース機器とシンク機器が実現する処理を示した。

なお、本シーケンス図では、ステップＳ３０７でミラーリングを実行してからコンテンツリダイレクトを実行した。しかし、ミラーリングを実行することなくコンテンツリダイレクトを行ってもよい。具体的には図３のステップＳ３０１でユーザからミラーリングの開始操作が行われる代わりに、ステップＳ８０１のダイレクトストリーミング開始指示が入力されてもよい。その場合、ステップＳ８０１の後、ステップＳ３０１〜ステップＳ３０６が実行され、ステップＳ８０２の処理が実行される。なお、ステップＳ３０５でＵＩＢＣ機能を有効化しなくてもよい。その場合、ステップＳ８０４およびステップＳ８０５はスキップされる。また、ステップＳ８０２およびステップＳ８０３は、ステップＳ３０５内で実施されてもよい。

なお、本実施形態において、ストリーミングモードの切り替えについて、ミラーリングモードからコンテンツリダイレクトモードに切り替える場合と、ミラーリングモードからダイレクトモードに切り替える場合について記載した。これ以外にも、ダイレクトモードやコンテンツリダイレクトモードから、他のストリーミングモードに切り替えてもよい。

例えば、ダイレクトモードやコンテンツリダイレクトモードからミラーリングモードへの切り替えでは、ミラーリングモードへの切り替え指示として、ユーザによってソース機器にミラーリングモードの開始操作が行われる。ミラーリングモードの開始操作については、図３のステップＳ３０１と同様である。なお、ミラーリングモードの開始操作についてはシンク機器で行われてもよい。あるいは、コンテンツリダイレクトモードもしくはダイレクトモードの終了操作が行われたことに基づいてストリーミングモードを切り替えてもよい。また、ダイレクトモードやコンテンツリダイレクトモードにおけるコンテンツが終端まで再生された場合など、シンク機器におけるコンテンツの再生状態に基づいてストリーミングモードを切り替えてもよい。あるいはシンク機器で再生されているコンテンツに対して、停止が指示されたことに基づいてストリーミングモードを切り替えてもよい。

また、ダイレクトモードからコンテンツリダイレクトモードへの切り替えは、ソース機器において、所定のアプリケーションの起動や、制御ボタンの押下などのユーザ操作が入力されたことに基づいて行われる。もしくは、ユーザ操作としてクラウドサーバ上のコンテンツのハイパーリンクの選択が行われたことであってもよい。また、これらのユーザ操作は、ソース機器ではなく、シンク機器を介して行われてもよい。

コンテンツリダイレクトモードからダイレクトモードへの切り替えは、ソース機器において、所定のアプリケーションの起動や、制御ボタンの押下などのユーザ操作が入力されたことに基づいて行われる。もしくは、ユーザ操作としてソース機器上のコンテンツの選択が行われたことであってもよい。

なお、本実施形態で、コンテンツリダイレクトモードやダイレクトモードを実施している場合にシンク機器から送信される制御情報には、コンテンツの再生開始や停止、早送りなどのユーザからの指示を示す情報を含む再生制御情報が含まれていた。また、再生制御情報は他に、コンテンツの一時停止や巻き戻し、再生位置といった指示を示す情報を含んでもよいとした。しかし制御情報に含まれる情報はこれらに限らず、受信しているコンテンツとユーザ操作に基づいて適宜必要な情報が含まれればよい。例えば、シンク機器が画像データを含むウェブページを受信しており、ユーザがハイパーリンクをクリックした場合、制御情報には当該ハイパーリンクに含まれるＵＲＬに基づく参照先の呼び出しが含まれることになる。

また、本実施形態において、シンク機器がミラーリングモードで動作しており、ユーザ操作を受け付けた場合に、ソース機器に座標情報を含む操作情報を送信した。しかし、これに限らず、シンク機器がミラーリングモードで動作している場合、ユーザ操作（クリック操作など）を受け付けていない場合であっても、マウスのポインターの位置を示す座標情報を含む操作情報をソース機器に定期的に送信してもよい。一方、シンク機器がコンテンツリダイレクトモードやダイレクトモードで動作しており、ユーザ操作を受け付けていない場合は、制御情報を外部装置やソース機器に送信しなくてもよい。

なお、図３および図６〜図８における通信装置１０１のシーケンス図は、通信装置１０１の記憶部２０１に記憶されたプログラムを制御部２０２が読み出して、実行することで実現される。また、通信装置１０２のシーケンス図は、通信装置１０２の記憶部２０１に記憶されたプログラムを制御部２０２が読み出して、実行することで実現される。また、図３および図６〜図８のシーケンス図の少なくとも一部または全部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に専用回路を生成し、これを利用すればよい。ＦＰＧＡとは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。図４の通信装置１０２のフローチャートと図５の通信装置１０１のフローチャートにおいても同様である。

図３〜図８に示したシーケンス図やフローチャートの各ステップを不図示の複数のＣＰＵもしくは装置で分散して行うようにしてもよい。複数の装置で分散して行う場合、ソース機器についてはソースシステム、シンク機器についてはシンクシステムとして動作する。

以上、実施形態を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 通信装置（ソース機器）
１０２ 通信装置（シンク機器）
１０３ アクセスポイント
１０４ クラウドサーバ
２０１ 記憶部
２０２ 制御部
２０３ 機能部
２０４ 入力部
２０５ 出力部
２０６ 通信部
２０７ アンテナ

Claims (19)

1. 他の通信装置が表示している画像に基づいたデータを受信し、前記他の通信装置が表示している画像を表示部に表示させる第一の動作モードと、
   前記他の通信装置が受け付けたユーザ操作に基づいて、前記他の通信装置あるいは外部装置が記憶しているデータを受信し、受信した前記他の通信装置あるいは前記外部装置が記憶しているデータに基づいた画像を表示部に表示させる第二の動作モードとで動作可能な通信装置であって、
   前記第一の動作モード、または前記第二の動作モードにおいて前記表示部に表示されている画像に対するユーザ操作を受け付ける受付手段と、
   前記受付手段を介して前記ユーザ操作を受け付けた際に、前記通信装置が前記第一の動作モードで動作している場合は前記表示部に表示している画像において前記ユーザ操作によって特定される位置を示す座標に対応する座標情報を送信し、前記通信装置が前記第二の動作モードで動作している場合は前記ユーザ操作に基づいた制御情報を送信する送信手段を有することを特徴とする通信装置。
2. 前記通信装置が前記第一の動作モードで動作している場合、前記送信手段は、前記表示部に表示している画像に対する前記ユーザ操作によって特定される座標に対応する前記座標情報を前記他の通信装置に送信することを特徴とする請求項１に記載の通信装置。
3. 前記通信装置が前記第二の動作モードで動作している場合、前記送信手段は、
   前記他の通信装置が記憶しているデータを受信している場合は、前記ユーザ操作に基づいた制御情報を前記他の通信装置に送信し、
   前記外部装置が記憶しているデータを受信している場合は、前記ユーザ操作に基づいた制御情報を前記外部装置に送信することを特徴とする請求項１または２に記載の通信装置。
4. 前記他の通信装置が記憶しているデータを受信している場合は、前記ユーザ操作に基づいた制御情報として、前記通信装置が受信した前記他の通信装置が記憶しているデータの再生開始、停止、早送り、巻き戻し、一時停止、もしくは、前記他の通信装置が記憶しているデータの再生位置の指定のうち、少なくとも何れか一つの指示を示す情報を送信し、
   前記外部装置が記憶しているデータを受信している場合は、前記ユーザ操作に基づいた制御情報として、前記通信装置が受信した前記外部装置が記憶しているデータの再生開始、停止、早送り、巻き戻し、一時停止、もしくは、前記外部装置が記憶しているデータの再生位置の指定のうち、少なくとも何れか一つの指示を示す情報を送信することを特徴とする請求項３に記載の通信装置。
5. 前記表示部は前記通信装置が備えることを特徴とする請求項１から４の何れか一項に記載の通信装置。
6. 前記通信装置が前記第一の動作モードで動作している場合に、
   前記表示部に表示された前記他の通信装置が表示している画像に対する前記ユーザ操作を前記受付手段が受け付けた場合、前記送信手段は前記表示部に表示している画像に対する前記ユーザ操作によって特定される座標と、前記表示部の解像度とに基づいた前記座標情報を送信することを特徴とする請求項１から５の何れか一項に記載の通信装置。
7. 前記通信装置が前記第一の動作モードで動作している場合に、
   前記通信装置はさらに前記他の通信装置が再生している音声に基づいたデータを受信し、前記音声を再生することを特徴とする請求項１から６の何れか一項に記載の通信装置。
8. 前記通信装置が前記第二の動作モードで動作している場合に受信する前記他の通信装置あるいは前記外部装置が記憶しているデータは、文書データと、音声データと、画像データと、映像データとの少なくとも一つを含むことを特徴とする請求項１から７の何れか一項に記載の通信装置。
9. 前記通信装置が前記第二の動作モードで動作しており、前記外部装置が記憶しているデータを受信する場合に、前記他の通信装置から前記外部装置が記憶しているデータの情報を受信し、前記外部装置が記憶しているデータの前記情報に基づいて前記外部装置から前記外部装置が記憶しているデータを受信することを特徴とする請求項１から８の何れか一項に記載の通信装置。
10. 前記外部装置が記憶しているデータの前記情報は、前記外部装置が記憶しているデータの識別子であることを特徴とする請求項９に記載の通信装置。
11. 前記外部装置が記憶しているデータの前記情報は、前記第一の動作モードで動作している場合に前記他の通信装置から受信することを特徴とする請求項９または１０に記載の通信装置。
12. 前記第一の動作モードはＷｉ−Ｆｉ Ｍｉｒａｃａｓｔ規格に準拠したミラーリングモードであることを特徴とする請求項１から１１の何れか一項に記載の通信装置。
13. 前記第一の動作モードで動作している場合に受信する前記他の通信装置からの要求に基づいて、前記第一の動作モードから前記第二の動作モードへ動作モードを切り替えることを特徴とする請求項１から１２の何れか一項に記載の通信装置。
14. 前記第二の動作モードで動作する場合は、前記送信手段は前記座標情報の送信を行わないことを特徴とする請求項１から１３の何れか一項に記載の通信装置。
15. 前記通信装置が、前記第一の動作モードと前記第二の動作モードとの何れで動作しているかを判定する判定手段を有し、
    前記送信手段は前記判定手段の判定結果に基づいて前記座標情報または前記制御情報を送信することを特徴とする請求項１から１４の何れか一項に記載の通信装置。
16. 前記通信装置は、前記他の通信装置と前記外部装置との少なくともいずれか一方とＩＥＥＥ８０２．１１シリーズ規格に準拠した無線ネットワークを介して通信することを特徴とする請求項１から１５の何れか一項に記載の通信装置。
17. 前記通信装置は、前記他の通信装置とＷｉ−Ｆｉ Ｄｉｒｅｃｔ規格に準拠した無線ネットワークを介して通信することを特徴とする請求項１から１６の何れか一項に記載の通信装置。
18. 他の通信装置が表示している画像に基づいたデータを受信し、前記他の通信装置が表示している画像を表示部に表示させる第一の動作モードと、
    前記他の通信装置が受け付けたユーザ操作に基づいて、前記他の通信装置あるいは外部装置が記憶しているデータを受信し、受信した前記他の通信装置あるいは前記外部装置が記憶しているデータに基づいた画像を表示部に表示させる第二の動作モードとで動作可能な通信装置であって、
    前記第一の動作モード、または前記第二の動作モードにおいて前記表示部に表示されている画像に対するユーザ操作を受け付ける受付工程と、
    前記受付工程により前記ユーザ操作を受け付けた際に、前記通信装置が前記第一の動作モードで動作している場合は前記表示部に表示している画像において前記ユーザ操作によって特定される位置を示す座標に対応する座標情報を送信し、前記通信装置が前記第二の動作モードで動作している場合は前記ユーザ操作に基づいた制御情報を送信する送信工程を有することを特徴とする制御方法。
19. コンピュータを請求項１から１７の何れか一項に記載の通信装置の各手段として機能させるためのプログラム。

Images