JP2015080025A - 電子機器および通信制御方法 - Google Patents

Abstract

【課題】機器間でコンテンツをシームレスに表示する場合に、コンテンツに対する操作を適切に処理できる電子機器を実現する。【解決手段】実施形態によれば、電子機器は、デコード手段、送信手段および操作処理手段を具備する。デコード手段は、エンコードされたコンテンツデータであって、ＡＶストリームと、当該ＡＶストリームを制御するための制御ストリームとを含むコンテンツデータの内、前記制御ストリームをデコードする。送信手段は、第１時刻情報が付加された前記ＡＶストリームと第２時刻情報が付加された前記制御ストリームとを外部電子機器に送信する。操作処理手段は、前記ＡＶストリームと前記制御ストリームとを用いた映像が前記外部電子機器の画面に表示されているときに、前記外部電子機器でのユーザー操作に応じて、前記デコードされた制御ストリームを用いて当該ユーザー操作に対応する処理を実行する。【選択図】図１４

Description

本発明の実施形態は、コンテンツデータを伝送する電子機器、および該機器に適用される通信制御方法に関する。

アクセスポイントを介することなく２つのデバイスを無線接続するＷｉ−Ｆｉ Ｄｉｒｅｃｔが利用されている。このＷｉ−Ｆｉ Ｄｉｒｅｃｔを用いた技術として、無線接続されたデバイス間で、コンテンツのシームレスな表示を提供する技術（Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ）がある。これにより、ソースデバイス上のコンテンツの視聴が要求された場合に、そのコンテンツをシンク機器の画面に表示することができるので、ユーザーは、例えば、スマートフォンやタブレットコンピュータ（ソース機器）の画面のような小さな画面に表示される映像を、テレビジョン受信機（シンク機器）の画面のようなより大きな画面で視聴することができる。この方式では、ソース機器で画面表示するため、符号化されているオリジナルコンテンツを一旦デコードし、表示後、再エンコードした後、シンク機器に伝送している。

特開２００４−０６４７８７号公報

しかしながら、上記のように再エンコードすると、画質劣化の恐れがある。そこで、本出願の発明者は、コンテンツをデコードせずにそのままシンク機器に送り、シンク機器側で全体をデコードする方法を考えている。この方式の場合、デコードと再エンコードを行わないので、オリジナルのコンテンツ品質を維持できるという利点がある。

ところで、コンテンツは、映像や音声だけでなく、メニューやボタンのような、ユーザーによって操作可能なオブジェクトを含むことがある。しかし、デコードせずシンクへ送る方式では、シンク機器の画面に操作オブジェクトが表示される場合に、その操作オブジェクトに対するユーザー操作を適切に処理できない場合があるという課題があった。

本発明は、機器間でコンテンツをシームレスに表示する場合に、コンテンツに対する操作を適切に処理できる電子機器および通信制御方法を提供することを目的とする。

実施形態によれば、電子機器は、デコード手段、送信手段および操作処理手段を具備する。デコード手段は、エンコードされたコンテンツデータであって、オーディオ／ビデオストリームと、当該オーディオ／ビデオストリームを制御するための制御ストリームとを含むコンテンツデータの内、前記制御ストリームをデコードする。送信手段は、第１時刻情報が付加された前記オーディオ／ビデオストリームと、第２時刻情報が付加された前記制御ストリームとを、外部電子機器に送信する。操作処理手段は、前記オーディオ／ビデオストリームと前記制御ストリームとを用いた映像が前記外部電子機器の画面に表示されているときに、前記外部電子機器でのユーザー操作に応じて、前記デコードされた制御ストリームを用いて、当該ユーザー操作に対応する処理を実行する。

実施形態に係る電子機器の外観の例を示す斜視図。 同実施形態の電子機器のシステム構成の例を示すブロック図。 トランスコーディング方式によるコンテンツの伝送を説明するための図。 ノントランスコーディング方式によるコンテンツの伝送を説明するための図。 同実施形態の電子機器によって伝送されるコンテンツデータのデータ構造の例を示す図。 同実施形態の電子機器によって伝送されるコンテンツデータを用いて表示される画像の例を説明するための図。 図３のトランスコーディング方式でコンテンツが伝送された場合に、ユーザー操作が処理される例を説明するための図。 図４のノントランスコーディング方式でコンテンツが伝送された場合に、ユーザー操作が処理できない例を説明するための図。 同実施形態の電子機器によって、ハイブリッドトランスコーディング方式でコンテンツが伝送される例を説明するための図。 同実施形態の電子機器によって、ハイブリッドトランスコーディング方式でコンテンツが伝送される別の例を説明するための図。 同実施形態の電子機器によって、ハイブリッドトランスコーディング方式でコンテンツが伝送されるさらに別の例を説明するための図。 同実施形態の電子機器によって表示される制御層の画像（操作画面）の例を示す図。 同実施形態の電子機器によって伝送されるコンテンツデータを用いて表示される画像の別の例を示す図。 同実施形態の電子機器によって実行されるコンテンツ伝送プログラムの機能構成を示すブロック図。 図１４のコンテンツ伝送プログラムに設けられるコンテンツ処理部の構成の第１の例を示すブロック図。 図１４のコンテンツ伝送プログラムに設けられるコンテンツ処理部の機能構成の第２の例を示すブロック図。 図１４のコンテンツ伝送プログラムに設けられるコンテンツ処理部の機能構成の第３の例を示すブロック図。 図１４のコンテンツ伝送プログラムに設けられるコンテンツ処理部の機能構成の第４の例を示すブロック図。 図１４のコンテンツ伝送プログラムに設けられるコンテンツ処理部の機能構成の第５の例を示すブロック図。 同実施形態の電子機器（ソース機器）によって実行されるコンテンツ伝送制御処理の手順の例を示すフローチャート。 同実施形態の電子機器（ソース機器）によって実行されるコンテンツ送信処理の手順の第１の例を示すフローチャート。 同実施形態の電子機器からコンテンツを受信する外部電子機器（シンク機器）によって実行されるコンテンツ表示処理の手順の第１の例を示すフローチャート。 同実施形態の電子機器（ソース機器）によって実行されるコンテンツ送信処理の手順の第２の例を示すフローチャート。 同実施形態の電子機器からコンテンツを受信する外部電子機器（シンク機器）によって実行されるコンテンツ表示処理の手順の第２の例を示すフローチャート。 同実施形態の電子機器（ソース機器）によって実行されるコンテンツ送信処理の手順の第３の例を示すフローチャート。 同実施形態の電子機器からコンテンツを受信する外部電子機器（シンク機器）によって実行されるコンテンツ表示処理の手順の第３の例を示すフローチャート。 同実施形態の電子機器（ソース機器）によって実行されるコンテンツ送信処理の手順の第４の例を示すフローチャート。 同実施形態の電子機器（ソース機器）と外部電子機器（シンク機器）とによって実行されるユーザー操作処理の手順の第１の例を示すフローチャート。 同実施形態の電子機器（ソース機器）と外部電子機器（シンク機器）とによって実行されるユーザー操作処理の手順の第２の例を示すフローチャート。 同実施形態の電子機器（ソース機器）と外部電子機器（シンク機器）とによって実行されるユーザー操作処理の手順の第３の例を示すフローチャート。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ、またはデジタルカメラのような各種電子機器に内蔵される組み込みシステムとして実現され得る。以下では、この電子機器がタブレットコンピュータ１０として実現されている場合を想定する。タブレットコンピュータ１０は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図１に示すように、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせるように取り付けられている。

本体１１は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ１７には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。

図２は、タブレットコンピュータ１０のシステム構成を示す図である。
タブレットコンピュータ１０は、図２に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８、サウンドコントローラ１０９、等を備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種コンポーネントの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）１０３Ａ、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、コンテンツ伝送プログラム１０３Ｂが含まれている。このコンテンツ伝送プログラム１０３Ｂは、本タブレットコンピュータ１０をソース機器として、コンテンツを外部電子機器（シンク機器）の画面にシームレスに表示するためのコンテンツデータ伝送表示機能等を有する。

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有している。

グラフィクスコントローラ１０４は、本タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂが配置されている。

システムコントローラ１０２は、サウンドコントローラ１０９との通信を実行する機能も有している。サウンドコントローラ１０９は音源デバイスであり、再生対象のオーディオデータをスピーカー１３等に出力する。また、サウンドコントローラ１０９は、マイク１２によって検出された音声のデータをシステムコントローラ１０２に出力する。

無線通信デバイス１０７は、例えば、ＩＥＥＥ ８０２．１１ｎおよびＷｉ−Ｆｉ Ｄｉｒｅｃｔに基づく通信を実行するように構成されるデバイスである。この無線通信デバイス１０７は、アクセスポイントなしにデバイス間の無線接続を確立することができる。なお、無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信などの無線通信を実行するように構成されるデバイスであってもよく、また有線ＬＡＮのような有線通信を実行するように構成されるデバイスであってもよい。

ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザーによるパワーボタンの操作に応じて本タブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

上述したように、本タブレットコンピュータ１０は、接続された外部電子機器に、コンテンツをシームレスに表示する機能を有する。この機能は、例えば、アクセスポイントを介することなく２つのデバイスを無線接続するＷｉ−Ｆｉ Ｄｉｒｅｃｔを用いて、無線接続されたデバイス間で、コンテンツのシームレスな表示を提供する技術（Ｗｉ−Ｆｉ Ｄｉｓｐｌａｙ）を利用して実現される。この機能により、タブレットコンピュータ１０（以下、ソース機器とも称する）上のコンテンツの視聴が要求されるときに、そのコンテンツ（映像、画像、音声）を、外部電子機器（以下、シンク機器とも称する）のディスプレイやスピーカーに出力することができるので、ユーザーは、例えば、タブレットコンピュータ１０の画面のような小さな画面に表示される映像を、テレビジョン受信機の画面のようなより大きな画面で視聴することができる。

この機器間のコンテンツの伝送には、例えば、トランスコーディング（transcoding）方式が用いられるが、オリジナルコンテンツのコーデックをシンク機器側がデコードできる場合には、ノントランスコーディング（non-transcoding）方式による伝送を利用する可能性もある。

図３に示すように、トランスコーディング方式による伝送では、ソース機器１０は、コンテンツデータをシンク機器２０がデコード可能なコーデック（例えば、映像データではＨ．２６４）にトランスコードし、トランスコードされたコンテンツデータをシンク機器２０に送信する。すなわち、ソース機器１０のデコーダ１５がコンテンツデータをデコードし、エンコーダ１６がデコードされたコンテンツデータを再エンコードし、再エンコードされたコンテンツデータをシンク機器２０に送信する。なお、エンコーダ１６は、画面に表示されるコンテンツの画像をキャプチャーし、そのキャプチャーされた画像をエンコード（再エンコード）してもよい。また、ソース機器１０は、デコードされたコンテンツデータを用いて、ソース機器１０の画面にコンテンツ（映像）１７１を表示する。

一方、シンク機器２０は、ソース機器１０から、例えばＭＰＥＧ−２ ＴＳコンテナで、トランスコードされたコンテンツデータを受信し、デコーダ２５でデコードし、シンク機器２０の画面にコンテンツ（映像）２０１を表示する。

このように、トランスコーディング方式による伝送では、トランスコードされたコンテンツデータがシンク機器２０に送信されるので、オリジナルのコンテンツデータのコーデックに関わらず、コンテンツ２０１をシンク機器２０の画面に表示することができる。しかし、トランスコーディング方式による伝送では、トランスコード（再エンコード）によって画質が劣化する可能性がある。さらに、ソース機器１０からシンク機器２０へコンテンツを少ない遅延量で伝送するためには、ソース機器１０に設けられるエンコーダ１６は、コンテンツデータをリアルタイムでエンコードできるリアルタイムエンコーダである必要があり、その分の消費電力量が増大する。

一方、図４に示すように、ノントランスコーディング方式による伝送では、ソース機器１０は、オリジナルのコンテンツデータをそのままシンク機器２０に送信する。シンク機器２０では、デコーダ２５でこのオリジナルのコンテンツデータをデコードし、シンク機器２０の画面にコンテンツ（映像）２０１を表示する。ソース機器１０ではコンテンツデータがトランスコードされていないので（すなわち、デコードおよびエンコードされていないので）、ソース機器１０の画面にコンテンツは表示されていない。

このように、ノントランスコーディング方式による伝送では、シンク機器２０の画面に、オリジナルの画質で映像を表示することができる。また、ソース機器１０で、コンテンツデータをデコードおよびエンコードしないので、消費電力を小さくでき、また高性能なリアルタイムエンコーダ（サイズが大きい画像をリアルタイムに処理可能なエンコーダ）が不要である。しかし、ノントランスコーディング方式による伝送では、シンク機器２０が、オリジナルのコンテンツデータをデコードできること、すなわち、オリジナルのコンテンツデータのコーデックに対応していることが必要である。

ところで、コンテンツデータは、映像や音声のデータだけでなく、メニューやボタンのような、ユーザーによって操作可能なオブジェクト（すなわち、インタラクティブなオブジェクト）のデータを含むことがある。

図５は、コンテンツデータのデータ構造の例を示す。このコンテンツデータは、例えば、ブルーレイディスク（登録商標）やＤＶＤのような光ディスクに格納されるコンテンツデータ、地上波デジタル放送信号やデータ放送信号によって受信されるコンテンツデータ、ストリーミングサーバによって配信されるコンテンツデータ、ソース機器１０内に保存（録画）されたコンテンツデータである。

コンテンツデータは、オーディオ／ビデオストリームを管理するための複数のレイヤーを含む。この複数のレイヤーは、例えば、インデックステーブルのレイヤー７１、ムービーオブジェクトのレイヤー７２、プレイリストのレイヤー７３、クリップ情報のレイヤー７４、およびクリップＡＶストリームのレイヤー７５を含む。

インデックステーブルのレイヤー７１では、タイトルやメニューに対応するコンテンツ内のインデックス７１１，７１２，７１３が規定される。インデックス７１１，７１２，７１３は、ユーザーがアクセス（操作）するタイトルやメニューのための、コンテンツ内のエントリーポイントを示す。これらインデックス７１１，７１２，７１３の各々には、対応するタイトルやメニューが選択されたことに応じて実行されるムービーオブジェクト７２１，７２３，７２５が関連付けられている。例えば、インデックス７１１にはムービーオブジェクト７２１が、インデックス７１２にはムービーオブジェクト７２３が、インデックス７１３にはムービーオブジェクト７２５がそれぞれ関連付けられている。

ムービーオブジェクトのレイヤー７２では、ムービーオブジェクト７２１，７２３，７２５が規定される。ムービーオブジェクト７２１，７２３，７２５は、実行可能なナビゲーションコマンドプログラム（コマンド）７２２，７２４，７２６で構成される。ナビゲーションコマンドプログラム７２２，７２４，７２６では、プレイリストや別のムービーオブジェクトを用いた動的な再生シナリオを記述でき、例えば、複数のプレイリストを順次再生するシナリオや、２つのプレイリストの内、実行時の状態やユーザー操作に応じたプレイリストを再生するシナリオ（条件分岐するシナリオ）を記述することができる。

例えば、ムービーオブジェクト７２１のナビゲーションコマンドプログラム７２２では、プレイリスト７３１とムービーオブジェクト７２３とを用いた再生シナリオが記述されている。ムービーオブジェクト７２３のナビゲーションコマンドプログラム７２４では、プレイリスト７３４とプレイリスト７３７とを用いた再生シナリオが記述されている。また、ムービーオブジェクト７２５のナビゲーションコマンドプログラム７２６では、プレイリスト７３７を用いた再生シナリオが記述されている。

プレイリストのレイヤー７３では、プレイリスト７３１，７３４，７３７が規定される。プレイリスト７３１，７３４，７３７は、１以上の再生対象のアイテムを含む。例えば、プレイリスト７３１はアイテム７３２とアイテム７３３とを含み、プレイリスト７３４はアイテム７３５とアイテム７３６とを含み、プレイリスト７３７はアイテム７３８を含む。各アイテム７３２，７３３，７３５，７３６，７３８は、クリップ（オーディオ／ビデオ）内の再生部分を示し、例えば、クリップの時間軸上の開始位置と終了位置とで表される。

クリップ情報のレイヤー７４では、クリップ情報７４１，７４２，７４３が規定される。クリップ情報７４１，７４２，７４３の各々は、対応するクリップオーディオ／ビデオストリーム（クリップＡＶストリーム）７５１，７５２，７５３に関する情報を含む。クリップ情報は、クリップの時間軸上の位置（タイムスタンプ）を、クリップＡＶストリームのデータ上の位置に変換するための情報を含む。

クリップＡＶストリームのレイヤー７５は、クリップＡＶストリーム７５１，７５２，７５３を含む。クリップＡＶストリームには、例えば、ＭＰＥＧ−２トランスポートストリーム（ＭＰＥＧ−２ ＴＳ）が格納される。このＭＰＥＧ−２ ＴＳのＰＥＳパケットのペイロードには、例えば、符号化されたオーディオ／ビデオストリーム（音声ストリー、映像ストリーム）、グラフィクスストリーム（インタラクティブグラフィクス（ＩＧ）ストリーム、プレゼンテーショングラフィクス（ＰＧ）ストリーム）、テキストストリーム、等が含まれる。

本実施形態では、このようなコンテンツデータを伝送する場合に、音声や映像に対応するＡＶストリーム層と、その音声や映像を制御するためのＡＶストリーム制御層とを区別して伝送する。ＡＶストリーム層は、例えば、クリップＡＶストリームのレイヤー７５内の、オーディオ／ビデオストリーム（ＡＶストリーム）を含む。ＡＶストリーム制御層（制御ストリーム）は、ユーザー操作に応じてコンテンツの再生位置が変更されるときに、その再生位置に対応する、ＡＶストリーム層のオーディオ／ビデオストリーム上のデータ位置を特定するためのデータを含む。ＡＶストリーム制御層は、例えば、インデックステーブルのレイヤー７１と、ムービーオブジェクトのレイヤー７２と、プレイリストのレイヤー７３と、クリップ情報のレイヤー７４と、クリップＡＶストリームのレイヤー７５内のＩＧストリームおよびＰＧストリーム（またはテキストストリーム）とを含む。ＡＶストリーム制御層に含まれるストリーム（データ）を制御ストリームとも称する。なお、ＩＧストリームをＡＶストリーム制御層に含め、ＰＧストリームやテキストストリームをＡＶストリーム層に含めるようにしてもよい。また、ＡＶストリーム層は、ビデオストリームとオーディオストリームのいずれか一方だけを含んでもよい。

より具体的には、ＡＶストリーム制御層（制御ストリーム）は、例えば、インデックステーブルと、ムービーオブジェクトと、クリップ情報と、オンスクリーンディスプレイ（ＯＳＤ）情報と、ポップアップメニュー、バックグラウンドミュージック付きのブラウザブル・スライドショー、操作ボタン、ボタン操作時のサウンド、インタラクティブなメニュー、テキストによる字幕表示、等を提供するためのサブストリーム（Ｏｕｔ−ｏｆ−Ｍｕｘストリーム）との内の少なくとも一つを含む。

また、図６は、伝送されたコンテンツデータを用いて、シンク機器２０の画面に表示される画像６５の例を示す。この表示画像６５は、複数の画像プレーン６１，６２，６３を用いて作成される。

メインムービープレーン６１は、コンテンツ内の映像に対応し、オーディオ／ビデオストリームを用いて生成される。オーディオ／ビデオストリームは、コンテンツデータ内で最大のデータサイズを有し、例えば、画像サイズ（画角）が大きくなるほど、エンコードに要するリソースが増大する。

プレゼンテーションプレーン６２は、字幕や装飾文字のような情報に対応し、ＰＧストリームを用いて生成される。ＰＧストリームのデータサイズは、通常、ごく小さいものである。プレゼンテーションプレーン６２は、テキストストリームを用いて生成されてもよい。

また、インタラクティブプレーン６３は、ユーザー操作の対象となる操作オブジェクトに対応し、例えばボタンとして画面に配置される。このボタンが選択（例えば、クリック）されたことに応じて、所定のアクションが実行される。インタラクティブプレーン６３は、ＩＧストリームを用いて生成される。

これら複数の画像プレーン６１，６２，６３は、重ね合わせられ、１つの画像６５として画面に表示される。このような複数の画像プレーン６１，６２，６３によって、例えば、映像、字幕、ボタン等をそれぞれ独立して制御できるので、コンテンツに互換性を持たせ、コンテンツの利用のための実装を容易にすることができる。

次いで、図７および図８を参照して、コンテンツがボタンのような操作対象のオブジェクト（インタラクティブプレーン）を含む場合の、トランスコーディング方式による伝送とノントランスコーディング方式による伝送とを説明する。このコンテンツは、例えば、いわゆる４Ｋと称される、ハイビジョンの４倍の画素数を有する高画質な映像のＡＶコンテンツである。

図７に示す例では、図３を参照して上述したように、トランスコーディング方式による伝送において、ソース機器１０のデコーダ１５およびエンコーダ１６によってトランスコードされたコンテンツデータが、シンク機器２０に送信されている。そして、ソース機器１０の画面には、コンテンツに含まれる映像（メインムービープレーン）１７１とボタン（インタラクティブプレーン）１７２とが表示されている。なお、カーソル１７３は、ポインティングデバイス等を用いて指示されるユーザー操作の位置を示す矢印の画像である。

シンク機器２０では、ソース機器１０から受信したコンテンツデータ（すなわち、トランスコードされたコンテンツデータ）がデコーダ２５によってデコードされ、シンク機器２０の画面に、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン（インタラクティブプレーン）２０２とが表示されている。なお、シンク機器２０の画面には、ソース機器１０から送信されたカーソル１７３に関するデータに基づいて、ソース機器１０の画面上のカーソル１７３に対応するカーソル２０３を表示することもできる。

そして、シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合（例えば、ボタン２０２を押す操作が行われた場合）には、シンク機器２０は、ユーザインプットバックチャネル（user input back channel：ＵＩＢＣ）機能を利用して、ユーザー操作に対応する座標情報２６をソース機器１０に送信する。ＵＩＢＣは、ユーザーによる入力に関するデータを送受信するために、機器間で確立される通信チャネルである。

ソース機器１０は、ＵＩＢＣで、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。そして、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、座標情報２６に対応するユーザー操作を認識し、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。つまり、ソース機器１０の画面とシンク機器２０の画面とに、ユーザー操作に基づく同一のコンテンツ（画像）を表示することができる。

また、ソース機器１０でコンテンツに対するユーザー操作が行われた場合（例えば、ボタン１７２を押す操作が行われた場合）にも、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータを用いて、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。

このように、ソース機器１０がコンテンツデータをデコードしているので、ソース機器１０は、ソース機器１０またはシンク機器２０でのユーザー操作に応じた処理を、少ない遅延量で実行することができる。そのため、ユーザーは、ソース機器１０からシンク機器２０に伝送され、表示されているコンテンツに対して、直感的な操作を行うことができる。

しかしながら、上述したように、トランスコーディング方式による伝送は、トランスコードによって画質が劣化する可能性がある、リアルタイムエンコーダが必要であり、その分の消費電力量が増大すると云った欠点を有する。

図８に示す例では、図４を参照して上述したように、ノントランスコーディング方式による伝送において、オリジナルのコンテンツデータがソース機器１０からシンク機器２０に送信されている。シンク機器２０では、受信したオリジナルのコンテンツデータがデコーダ２５によってデコードされ、シンク機器２０の画面に、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン（インタラクティブプレーン）２０２とが表示されている。なお、カーソル２０３は、ユーザー操作の位置を示す矢印の画像である。

シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合には、シンク機器２０は、そのユーザー操作に対応する座標情報２６をソース機器１０に送信する。ソース機器１０は、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。しかし、ソース機器１０は、コンテンツデータをデコードしていないので、座標情報２６に対応するユーザー操作を認識することができず、ユーザー操作に応じた処理を実行することができない。

コンテンツに対するユーザー操作は、例えば、複数のボタンを含む操作パネルを用いて行われる。このような操作パネルを用いたユーザー操作には、コンテンツの再生を制御するための操作（例えば、再生、停止、一時停止、再開、早送り、早戻し、スロー再生、等）のように各種のコンテンツに共通の操作だけでなく、指定のＵＲＬへ移動する操作やコンテンツの特定の位置に遷移させるチャプタ移動操作のように、コンテンツに依存した操作も含まれていることがある。そのため、種々のユーザー操作に対応する全てのコマンドを事前に用意し、そのコマンドを用いて、シンク機器２０からソース機器１０に、ユーザー操作に対応する処理の実行を要求することは困難である。そのため、ソース機器１０でコンテンツデータ（インタラクティブプレーンのデータ）をデコードすることなく、ユーザー操作を適切に処理することは困難であり、ノントランスコーディング方式による伝送ではユーザー操作に制限が生じることになる。

また、例えば、コンテンツがノントランスコーディング方式で伝送され、ユーザーが、トランスコーディング方式とノントランスコーディング方式のいずれでコンテンツが伝送されているかを知らない場合には、ユーザーがシンク機器２０の画面上の操作パネルのボタンを操作しても、その操作に応じた動作が行われず、ユーザーによる操作に混乱を招くおそれがある。

しかしながら、上述したように、ノントランスコーディング方式による伝送は、シンク機器２０の画面にオリジナルの画質で映像を表示できる、ソース機器１０の消費電力量を小さくできる、また高性能なリアルタイムエンコーダが不要であると云った利点を有するものである。

そのため本実施形態では、ノントランスコーディング方式の利点を有し、且つシンク機器２０でのユーザー操作に制限が生じないハイブリッドトランスコーディング（Hybrid-transcoding）方式で、コンテンツをシームレスに表示する機能を提供する。このハイブリッドトランスコーディング方式による伝送では、ソース機器１０で少なくともＡＶストリーム制御層（以下、制御層とも称する）がデコードされ、少なくともＡＶストリーム層（以下、ストリーム層とも称する）がトランスコードされていないコンテンツデータがシンク機器２０に送信される。

図９から図１１を参照して、ハイブリッドトランスコーディング方式でコンテンツが伝送される例を説明する。
図９に示す例では、ソース機器１０は、コンテンツの制御層に対応するデータ（制御ストリーム）をデコーダ１５でデコードし、デコードされたデータをエンコーダ１６でエンコード（再エンコード）する。つまり、ソース機器１０は、コンテンツの制御層に対応するデータをトランスコードする。そして、ソース機器１０は、コンテンツのストリーム層に対応するオリジナルのデータ（オリジナルのＡＶストリーム）と、トランスコードされた制御層に対応するデータとをシンク機器２０に送信する。なお、ソース機器１０は、ユーザー操作の位置を示すカーソルに関するデータをシンク機器２０に送信してもよい。

シンク機器２０は、デコーダ２５で、ソース機器１０から受信した、コンテンツのストリーム層に対応するオリジナルのデータと、トランスコードされた制御層に対応するデータとをデコードする。そして、シンク機器２０は、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン２０２を含む操作画面（インタラクティブプレーン）とを画面に表示する。なお、シンク機器２０は、ソース機器１０から送信されたカーソルに関するデータに基づいて、シンク機器２０の画面にカーソル２０３を表示することもできる。

そして、シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合（例えば、ボタン２０２を押す操作が行われた場合）には、シンク機器２０は、ＵＩＢＣで、ユーザー操作に対応する座標情報２６をソース機器１０に送信する。

ソース機器１０は、ＵＩＢＣで、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。そして、ソース機器１０は、デコーダ１５によってデコードされた制御層のデータを用いて、座標情報２６に対応するユーザー操作を認識し、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。

より具体的な例として、シンク機器２０の画面上のボタン２０２に対してユーザー操作（例えば、ボタン２０２を押す操作）が行われた場合を想定する。
まず、シンク機器２０は、ユーザー操作で指示（選択）された位置に対応する座標、すなわち、ボタン２０２内の座標を検出し、検出された座標を含む座標情報２６をソース機器１０に送信する。

ソース機器１０は、シンク機器２０から座標情報２６を受信し、デコードされた制御層に対応するデータを用いて、受信した座標情報２６に示される座標が、インタラクティブプレーン上のボタンの座標に対応することを検出する。つまり、ソース機器１０は、シンク機器２０の画面上のボタン２０２に対するユーザー操作を、デコードされた制御層のデータに基づくインタラクティブプレーン上のボタンに対するユーザー操作として認識する。そして、ソース機器１０は、そのボタンに対するユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。

ここで操作処理１８の例としては、コンテンツの再生制御（例えば、再生、停止、一時停止、再開、早送り、早戻し、スロー再生、等）や、指定のＵＲＬへ移動する処理、チャプタ遷移処理等が挙げられる。いくつか例を挙げると、例えばボタン２０２が、一時停止のボタンである場合、ソース機器１０は、メインムービープレーンに関し、シンク機器２０へのコンテンツ送出を停止するか、あるいは一時停止したコンテンツ位置のピクチャの送信を継続する。インタラクティブプレーンに関しては、ソース機器１０は、一時停止したコンテンツ位置（時間位置・再生位置）に対応するインタラクティブプレーンのデコード及びエンコードを継続して、そのエンコードデータをシンク機器２０に送信する。

また、シンク機器２０は、ソース機器１０は、早送りや早戻しでは、メインムービープレーンに含まれる複数ピクチャのうち所定のピクチャのみ伝送し、スロー再生においては、メインムービープレーンの伝送タイミングを遅延させる。

また、ボタン２０２がチャプタ遷移のボタンである場合、ソース機器１０は、操作処理１８を実行して、該チャプタに対応するコンテンツ位置からメインムービープレーンを読み出し、それをシンク機器２０に送信する。また、このとき、オリジナルコンテンツにおいて、インタラクティブプレーンとメインムービープレーンとが同期されている場合、ソース機器１０は、インタラクティブプレーンに関しても、該チャプタに対応する時間位置（再生位置）からデコード１５を実行する。

また、ボタン２０２が指定のＵＲＬへ移動するためのボタンである場合、ソース機器１０は、当該ＵＲＬのウェブページにアクセスして該ページを表示する。なお、ウェブページを表示する際にソース機器１０は、ハイブリッドトランスコーディング（Hybrid-transcoding）方式からトランスコーディング方式に切替えて、表示画面に表示する映像をエンコードして当該エンコードデータを伝送しても良い。

また、ソース機器１０でコンテンツに対するユーザー操作が行われた場合、ソース機器１０は、デコーダ１５によってデコードされた制御層のデータを用いて、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。

このように、ソース機器１０が制御層のデータをデコードしているので、ソース機器１０は、ソース機器１０またはシンク機器２０でのユーザー操作に応じた処理を適切に行うことができ、ユーザーによる操作性を向上させることができる。また、ソース機器１０は、ストリーム層のオリジナルのデータをシンク機器２０に送信しているので、シンク機器２０の画面に、オリジナルの画質で映像を表示することができる。さらに、ソース機器１０で、ストリーム層のデータをデコードおよびエンコードしないので、消費電力を小さくでき、また高性能なリアルタイムエンコーダ（サイズが大きい画像をリアルタイムに処理可能なエンコーダ）が不要である。

また、図１０に示す例では、ソース機器１０は、コンテンツデータ（すなわち、ストリーム層のデータおよび制御層のデータ）をデコーダ１５でデコードする。ソース機器１０は、デコードされたデータを用いて、コンテンツに含まれる映像（メインムービープレーン）１７１とボタン１７２を含む操作画面（インタラクティブプレーン）とを画面に表示する。また、ソース機器１０は、オリジナルのコンテンツデータをシンク機器２０に送信する。なお、ソース機器１０は、ユーザー操作の位置を示すカーソルに関するデータをシンク機器２０に送信してもよい。

シンク機器２０は、デコーダ２５で、ソース機器１０から受信した、オリジナルのコンテンツデータをデコードする。そして、シンク機器２０は、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン２０２を含む操作画面（インタラクティブプレーン）とを画面に表示する。なお、シンク機器２０は、ソース機器１０から送信されたカーソルに関するデータに基づいて、シンク機器２０の画面にカーソル２０３を表示することもできる。

そして、シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合には、シンク機器２０は、ＵＩＢＣで、ユーザー操作に対応する座標情報２６をソース機器１０に送信する。

ソース機器１０は、ＵＩＢＣで、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。そして、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータ（制御層のデータ）を用いて、座標情報２６に対応するユーザー操作を認識し、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。

また、ソース機器１０でコンテンツに対するユーザー操作が行われた場合、ソース機器１０は、デコーダ１５によってデコードされたコンテンツデータ（制御層のデータ）を用いて、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。

このように、ソース機器１０がコンテンツデータをデコードしているので、ソース機器１０は、ソース機器１０またはシンク機器２０でのユーザー操作に応じた処理を適切に行うことができ、ユーザーによる操作性を向上させることができる。また、ソース機器１０は、オリジナルのコンテンツデータをシンク機器２０に送信しているので、シンク機器２０の画面に、オリジナルの画質で映像を表示することができる。さらに、ソース機器１０で、デコードされたコンテンツデータをエンコード（再エンコード）しないので、消費電力を小さくでき、また高性能なリアルタイムエンコーダ（サイズが大きい画像をリアルタイムに処理可能なエンコーダ）が不要である。

なお図１０に示す例においては、コンテンツに含まれる映像（メインムービープレーン）１７１を表示画面に全画面表示している。しかし、例えばユーザーの操作に応じて、コンテンツの映像を画面の一部のみに表示する場合（ウィンドウ表示等）、ソース機器１０はハイブリッドトランスコーディング（Hybrid-transcoding）方式からトランスコーディング方式に切替え、表示画面に表示する映像全体をエンコードして、エンコードした映像を送信しても良い。反対に、トランスコーディング方式での送信中に、コンテンツ映像が全画面表示に切り替わると、ハイブリッドトランスコーディング方式に切替えても良い。

さらに、図１１に示す例では、ソース機器１０は、コンテンツの制御層に対応するデータをデコーダ１５でデコードする。また、ソース機器１０は、オリジナルのコンテンツデータ（ストリーム層のデータおよび制御層のデータ）をシンク機器２０に送信する。なお、ソース機器１０は、ユーザー操作の位置を示すカーソルに関するデータをシンク機器２０に送信してもよい。

シンク機器２０は、デコーダ２５で、ソース機器１０から受信したオリジナルのコンテンツデータをデコードする。そして、シンク機器２０は、コンテンツに含まれる映像（メインムービープレーン）２０１とボタン２０２を含む操作画面（インタラクティブプレーン）とを画面に表示する。なお、シンク機器２０は、ソース機器１０から送信されたカーソルに関するデータに基づいて、シンク機器２０の画面にカーソル２０３を表示することもできる。

そして、シンク機器２０の画面にコンテンツが表示されているときに、シンク機器２０でコンテンツに対するユーザー操作が行われた場合には、シンク機器２０は、ＵＩＢＣで、ユーザー操作に対応する座標情報２６をソース機器１０に送信する。

ソース機器１０は、ＵＩＢＣで、シンク機器２０からユーザー操作に対応する座標情報２６を受信する。そして、ソース機器１０は、デコーダ１５によってデコードされた制御層のデータを用いて、座標情報２６に対応するユーザー操作を認識し、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。

また、ソース機器１０でコンテンツに対するユーザー操作が行われた場合、ソース機器１０は、デコーダ１５によってデコードされた制御層のデータを用いて、そのユーザー操作に対応する操作処理１８を実行し、処理結果をシンク機器２０の画面に反映させることができる。

このように、ソース機器１０が制御層のデータをデコードしているので、ソース機器１０は、ソース機器１０またはシンク機器２０でのユーザー操作に応じた処理を適切に行うことができ、ユーザーによる操作性を向上させることができる。また、ソース機器１０は、オリジナルのコンテンツデータをシンク機器２０に送信しているので、シンク機器２０の画面に、オリジナルの画質で映像を表示することができる。さらに、ソース機器１０で、ストリーム層のデータをデコードおよびエンコードせず、制御層のデータをエンコードしないので、消費電力を小さくでき、また高性能なリアルタイムエンコーダ（サイズが大きい画像をリアルタイムに処理可能なエンコーダ）が不要である。

なお、ハイブリッドトランスコーディング方式でコンテンツが伝送されるときに、ソース機器１０は、当該ソース機器１０の画面に、デコードされた制御層のデータを用いた画像を表示してもよい。
図１２は、ソース機器１０の画面に表示される画像６６の例を示す。ここでは、制御層のデータが、ＩＧストリームとＰＧストリームとを含む場合を想定する。この場合、画像６６は、デコードされた制御層のデータを用いて、ＩＧストリームに対応するインタラクティブプレーン６３と、ＰＧストリームに対応するプレゼンテーションプレーン６２とを重ね合わせることによって生成されている。

また、図１３は、伝送されたコンテンツデータを用いて、シンク機器２０の画面に表示される画像の別の例を示す。このコンテンツデータは、例えば、地上波デジタル放送信号によって受信されるコンテンツデータであり、例えば、データ放送のテキストデータ（テキストストリーム）を含んでいる。

画像６７には、コンテンツデータ内のオーディオ／ビデオストリームを用いて生成されるメインムービープレーン６１と、テキストデータを用いて生成される文字情報６８とが配置されている。この文字情報６８は、ユーザーによる操作を受け付ける場合がある。その場合、ユーザーは、表示されている文字情報６８に基づいて、例えば、リモートコントローラを用いたユーザー操作を行うことができる。

このような文字情報６８が表示されるコンテンツでも、上述したハイブリッドトランスコーディング方式による伝送において、ソース機器１０で文字情報６８に対応するデータ（制御層のデータ）がデコードされるので、ユーザー操作を適切に処理することができる。

次いで、図１４を参照して、ソース機器１０によって実行されるコンテンツ伝送プログラム１０３Ｂの機能構成の例を説明する。ソース機器１０は、ハイブリッドトランスコーディング方式でコンテンツデータを伝送する機能を有する。オリジナルのコンテンツデータは、任意のコーデックでエンコードされたコンテンツデータであって、映像を表示するためのＡＶストリーム（ＡＶストリーム層のデータ）と、このＡＶストリームを制御するための制御ストリーム（ＡＶストリーム制御層のデータ）とを含むコンテンツデータである。

ソース機器１０は、例えば、制御部３１、コンテンツ処理部３２、送信部３３、表示処理部３４、操作処理部３６、および受信部３７を備える。また、コンテンツを受信するシンク機器２０は、例えば、受信部４１、コンテンツ処理部４２、表示処理部４３、送信部４４、および操作処理部４５を備える。

ソース機器１０の制御部３１は、コンテンツ伝送プログラム１０３Ｂ内の各部の動作を制御する。制御部３１は、コンテンツ処理部３２によるコンテンツデータに対する処理（デコード、エンコード、等）を制御する。制御部３１は、例えば、コンテンツ処理部３２の機能を有効または無効にする制御信号をコンテンツ処理部３２に出力する。コンテンツ処理部３２は、制御部３１によって出力される制御信号に応じて、コンテンツをソース機器１０で表示（出力）するための処理と、コンテンツをシンク機器２０に伝送するための処理とを実行し得る。

ハイブリッドトランスコーディング方式でコンテンツをシンク機器２０に伝送する場合、コンテンツ処理部３２と送信部３３とは、少なくとも一部がトランスコードされていないコンテンツデータ（例えば、ＡＶストリーム層がトランスコードされていないコンテンツデータ）を、シンク機器２０に送信する。送信部３３は、例えば、ソース機器１０とシンク機器２０との間で確立された無線接続の伝送路（例えば、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔに基づく無線接続の伝送路）を介して、そのコンテンツデータをシンク機器２０に送信する。なお、送信部３３は、コンテンツデータを送信する前に、当該コンテンツデータを、トランスコーディング方式とノントランスコーディング方式とハイブリッドトランスコーディング方式のいずれの伝送方式で送信するかを、シンク機器２０に通知することができる。これにより、シンク機器２０は、通知された伝送方式に応じて、ソース機器１０から伝送されたコンテンツデータを処理することができる。また、シンク機器２０は、通知された伝送方式に応じて、その伝送方式を示す情報を画面に表示し、現在のコンテンツの伝送方式をユーザーに知らせることもできる。

また、ソース機器１０のコンテンツ処理部３２は、コンテンツデータの少なくとも一部（例えば、ＡＶストリーム制御層のデータ）をデコードする。そして、操作処理部３６は、ソース機器１０またはシンク機器２０でのユーザー操作に応じて、コンテンツ処理部３２でデコードされたコンテンツデータの少なくとも一部を用いて、当該ユーザー操作に対応する処理を実行する。

図１５を参照して、コンテンツをソース機器１０で表示（出力）するための、コンテンツ処理部３２の機能構成の例を説明する。このコンテンツ処理部３２は、コンテンツデータをデコードし、ＬＣＤ１７Ａの画面に表示される映像とスピーカー１３等に出力される音声とを生成するように構成されている。

まず、スイッチ５０２は、コンテンツデータ５２１をレイヤー（プレーン）に応じたデコーダ５１１〜５１５に振り分ける。オーディオデコーダ５１１は、振り分けられたオーディオストリーム（オーディオデータ）５２２をデコードする。これにより、スピーカー等で出力される音声が生成される。

ビデオデコーダ５１２は、振り分けられたビデオストリーム（ビデオデータ）５２３をデコードすることによって、ビデオプレーンを生成する。プレゼンテーショングラフィクス（ＰＧ）デコーダ５１３は、振り分けられたＰＧストリーム（ＰＧデータ）５２４をデコードすることによって、プレゼンテーションプレーンを生成する。インタラクティブグラフィクス（ＩＧ）デコーダ５１４は、振り分けられたＩＧストリーム（ＩＧデータ）５２５をデコードすることによって、ＩＧプレーンを生成する。テキストデコーダ５１５は、振り分けられたテキストストリーム（テキストデータ）５２６をデコードすることによって、テキストを生成する。そして、マルチプレクサ５１６は、ビデオプレーンとＩＧプレーンとＰＧプレーンとテキストとを重ね合わせる（多重化する）。これにより、画面に表示される画像が生成される。

表示処理部３４は、コンテンツ処理部３２によって生成された画像をソース機器１０（ＬＣＤ１７Ａ）の画面に表示し得る。また、コンテンツ処理部３２によって生成された音声は、スピーカー１３等で出力され得る。

なお、上述したコンテンツ処理部３２内の各部の動作は、制御部３１による有効／無効制御信号に応じて、有効または無効に設定することができる。例えば、ハイブリッドトランスコーディング方式でコンテンツデータが伝送される場合に、ソース機器（タブレットコンピュータ）１０の画面に映像が表示されないとき、制御部３１は、ビデオデコーダ５１２とオーディオデコーダ５１１とを無効にし、ＰＧデコーダ５１３とＩＧデコーダ５１４とテキストデコーダ５１５とを有効にする制御信号をコンテンツ処理部３２に出力する。これにより、ＡＶストリーム制御層のデータ（例えば、ＩＧプレーン、ＰＧプレーン、テキストに関するデータ）がデコードされ、ＡＶストリーム層のデータ（例えば、ビデオプレーンおよび音声に関するデータ）がデコードされない。つまり、ビデオデコーダ５１２およびオーディオデコーダ５１１に、ＡＶストリーム層のデータを通過（スルー）させ、且つＰＧデコーダ５１３とＩＧデコーダ５１４とテキストデコーダ５１５とに、ユーザー操作を処理するために必要なＡＶストリーム制御層のデータをデコードさせる。

図１６から図１９を参照して、ハイブリッドトランスコーディング方式でコンテンツデータを伝送するための、コンテンツ処理部３２の機能構成の例を説明する。

図１６に示す例では、コンテンツ処理部３２は、エンコードされたコンテンツデータであって、オーディオ／ビデオストリームと、当該オーディオ／ビデオストリームを制御するための制御ストリーム３２Ｃとを含むコンテンツデータの内、制御ストリーム３２Ｃをデコードする。また、コンテンツ処理部３２は、オリジナルのコンテンツデータ３２Ａをスルーし（すなわち、何等処理を施すことなく通過させ）、送信部３３は、第１時刻情報が付加されたオーディオ／ビデオストリームと、第２時刻情報が付加された制御ストリーム３２Ｃとを含むオリジナルのコンテンツデータ３２Ａを、シンク機器（外部電子機器）２０に送信する。オーディオ／ビデオストリームと制御ストリーム３２Ｃとを用いた映像がシンク機器２０の画面に表示されているとき、操作処理部３６は、シンク機器２０でのユーザー操作に応じて、コンテンツ処理部３２によってデコードされた制御ストリーム３２Ｃを用いて、当該ユーザー操作に対応する処理を実行する。

より具体的には、コンテンツ処理部３２は、スイッチ３２１、デコーダ３２２、および表示レイアウト処理部３２３を備える。
スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内の制御ストリーム３２Ｃをデコーダ３２２に振り分ける。デコーダ３２２は、振り分けられた制御ストリーム３２Ｃをデコードする。そして、表示レイアウト処理部３２３は、デコードされた制御ストリーム３２Ｃに対応する画像やテキストのレイアウト（画面構成）を決定する。このテキストは、例えば、Ｊａｖａ（登録商標）やＨＴＭＬで記述されたデータに基づくテキストである。表示レイアウト処理部３２３は、決定されたレイアウトに基づいて、ユーザー操作のためのボタン（操作オブジェクト）やテキストを含む操作画面の画像を生成してもよい。また、ＡＶストリームと制御ストリーム３２Ｃとを含むオリジナルのコンテンツデータ３２Ａはコンテンツ処理部３２内を通過する。

送信部３３は、第１時刻情報が付加されたＡＶストリームと、第２時刻情報が付加された制御ストリーム３２Ｃとを含むオリジナルのコンテンツデータ３２Ａをシンク機器２０に送信する。第１時刻情報と第２時刻情報とは、送信されるＡＶストリームに対応するタイムスタンプを含む。これら第１および第２時刻情報は、例えば、シンク機器２０でＡＶストリームと制御ストリーム３２Ｃとを同期させるために用いられる。なお、制御ストリーム３２Ｃが字幕情報（例えば、ＰＧストリームやテキストストリームによる字幕情報）を含む場合、その字幕情報に対応するタイムスタンプ（字幕情報に予め付加されたタイムスタンプ）を第２時刻情報として用いてもよい。

なお、表示処理部３４は、図１２に示したような操作画面の画像をソース機器１０の画面に表示してもよい。また、送信部３３は、ソース機器１０の画面に表示されている操作オブジェクト（操作画面）に対するユーザー操作に応じて、このユーザー操作を示す操作データをシンク機器２０に送信してもよい。

図１７に示す例では、コンテンツ処理部３２は、スイッチ３２１、デコーダ３２２、表示レイアウト処理部３２３、およびエンコーダ３２４を備える。
スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内のオーディオ／ビデオストリーム３２Ｂを、そのまま出力する。送信部３３は、タイムスタンプＰＴＳを含む第１時刻情報が付加された、オリジナルのオーディオ／ビデオストリーム３２Ｂを送信する。

また、スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内の制御ストリーム３２Ｃをデコーダ３２２に振り分ける。デコーダ３２２は、振り分けられた制御ストリーム３２Ｃをデコードする。表示レイアウト処理部３２３は、デコードされた制御ストリーム３２Ｃに対応する画像やテキストのレイアウト（画面構成）を決定する。表示レイアウト処理部３２３は、決定されたレイアウトに基づいて、ユーザー操作のためのボタン（操作オブジェクト）やテキストを含む操作画面の画像を生成してもよい。そして、エンコーダ３２４は、デコードされた制御ストリーム３２Ｃをエンコード（再エンコード）する。エンコーダ３２４は、デコードされた制御ストリーム３２Ｃを、例えばシンク機器２０での処理に適したコーデックでエンコードする。つまり、デコーダ３２２およびエンコーダ３２４によって、制御ストリーム３２Ｃがシンク機器２０による処理に適したコーデックにトランスコードされる。

次いで、送信部３３は、タイムスタンプＰＴＳと、デコーダ３２２、表示レイアウト処理部３２３およびエンコーダ３２４による処理に要した時間Δｔとを含む第２時刻情報が付加された、トランスコードされた制御ストリーム３２Ｃをシンク機器２０に送信する。トランスコードされた制御ストリーム３２Ｃが送信部３３によってシンク機器２０に送信される時刻は、デコーダ３２２、表示レイアウト処理部３２３およびエンコーダ３２４による処理に要した時間Δｔだけ、ＡＶストリーム３２Ｂが送信される時刻よりも遅延する。この遅延をシンク機器２０に通知するために、トランスコードされた制御ストリーム３２Ｃに付加される第２時刻情報には、遅延時間Δｔが含まれる。第１時刻情報と第２時刻情報とにより、映像および音声と操作画面とを連動させることができる。

なお、上述したデコーダ３２２による処理、または表示レイアウト処理部３２３による処理は、制御ストリーム３２Ｃの構成によっては必要でない場合がある。したがって、例えば、表示レイアウト処理部３２３による処理が行われない場合には、第２時刻情報に含まれる時間Δｔは、デコーダ３２２による処理とエンコーダ３２４による処理とに要した時間を示す。
また、表示処理部３４は、操作画面の画像をソース機器１０の画面に表示してもよい。

シンク機器２０は、第１時刻情報（タイムスタンプＰＴＳ）が付加されたＡＶストリーム３２Ｂを受信し、第２時刻情報（タイムスタンプＰＴＳと遅延時間Δｔ）が付加された、トランスコードされた制御ストリーム３２Ｃを受信する。シンク機器２０は、これら時刻情報に基づき、例えば、先に到着したＡＶストリーム３２Ｂを、バッファ（一時保存バッファ）を用いて遅延時間Δｔだけ遅延させ、ＡＶストリーム３２Ｂと制御ストリーム３２Ｃとを同期させる（すなわち、ストリームの到着時刻を補正する）。シンク機器２０は、同期されたＡＶストリーム３２Ｂと制御ストリーム３２Ｃとをデコードし、映像と操作画面とをシンク機器２０の画面に表示することができる。

なお、シンク機器２０とソース機器１０とは、各々の画面に表示される表示画像（映像、操作画面）を同期させるために、タイムスタンプＰＴＳを交換してもよい。例えば、シンク機器２０は、映像と操作画面とを画面に表示するときに、表示される映像（ＡＶストリーム３２Ｂ）に対応するタイムスタンプＰＴＳをソース機器１０に送信し、ソース機器１０は、そのタイムスタンプＰＴＳに応じた操作画面がディスプレイの画面に表示されるように制御する。

図１８に示す例では、コンテンツ処理部３２は、スイッチ３２１、デコーダ３２２、表示レイアウト処理部３２３、およびエンコーダ３２４を備える。
スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内の、タイムスタンプＰＴＳのオーディオ／ビデオストリーム３２Ｂを、バッファ３２５に格納する。

また、スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内の、タイムスタンプＰＴＳの制御ストリーム３２Ｃをデコーダ３２２に振り分ける。デコーダ３２２は、振り分けられた制御ストリーム３２Ｃをデコードする。表示レイアウト処理部３２３は、デコードされた制御ストリーム３２Ｃに対応する画像やテキストのレイアウト（画面構成）を決定する。表示レイアウト処理部３２３は、決定されたレイアウトに基づいて、ユーザー操作のためのボタン（操作オブジェクト）やテキストを含む操作画面の画像を生成してもよい。

そして、エンコーダ３２４は、デコードされた制御ストリーム３２Ｃをエンコード（再エンコード）する。エンコーダ３２４は、デコードされた制御ストリーム３２Ｃを、例えばシンク機器２０による処理に適したコーデックでエンコードする。つまり、デコーダ３２２およびエンコーダ３２４によって、制御ストリーム３２Ｃがシンク機器２０による処理に適したコーデックにトランスコードされる。エンコーダ３２４は、トランスコードされた制御ストリーム３２Ｃをマルチプレクサ３２６に出力する。なお、デコーダ３２２、表示レイアウト処理部３２３およびエンコーダ３２４による処理には時間Δｔを要している。

バッファ３２５は、この時間Δｔだけ遅延させて、オーディオ／ビデオストリーム３２Ｂをマルチプレクサ３２６に出力する。これにより、トランスコードされた制御ストリーム３２Ｃと、オーディオ／ビデオストリーム３２Ｂとを同期させることができる。

マルチプレクサ３２６は、表示レイアウト処理部３２３およびエンコーダ３２４による処理に時間Δｔを要した制御ストリーム３２Ｃと、バッファ３２５によって時間Δｔだけ遅延されたオーディオ／ビデオストリーム３２Ｂとを多重化する。これにより、送信部３３は、同期された、オリジナルのオーディオ／ビデオストリーム３２Ｂとトランスコードされた制御ストリーム３２Ｃとを、１つのストリームとしてシンク機器２０に送信することができる。したがって、シンク機器２０では、時刻情報を考慮することなくコンテンツデータを処理でき、またコンテンツに対するユーザー操作の処理を正確な時刻に基づいて行うことができる。
なお、表示処理部３４は、操作画面の画像をソース機器１０の画面に表示してもよい。

図１９に示す例では、コンテンツ処理部３２は、スイッチ３２１、デコーダ３２２，３２７、および表示レイアウト処理部３２３を備える。
スイッチ３２１は、オリジナルのコンテンツデータ３２Ａの内のオーディオ／ビデオストリーム３２Ｂをデコーダ３２７に振り分け、オリジナルのコンテンツデータ３２Ａの内の制御ストリーム３２Ｃをデコーダ３２２に振り分ける。

デコーダ３２７は、振り分けられたオーディオ／ビデオストリーム３２Ｂをデコードすることによって、映像と音声とを生成する。また、デコーダ３２２は、振り分けられた制御ストリーム３２Ｃをデコードする。表示レイアウト処理部３２３は、デコードされたデータに対応する画像やテキストのレイアウト（画面構成）を決定する。表示レイアウト処理部３２３は、決定されたレイアウトに基づいて、ユーザー操作のためのボタン（操作オブジェクト）やテキストを含む操作画面の画像を生成する。

また、オリジナルのコンテンツデータ３２Ａはコンテンツ処理部３２内を通過する。送信部３３は、このオリジナルのコンテンツデータ３２Ａをシンク機器２０に送信する。また、表示処理部３４は、映像と操作画面の画像とを重ね合わせ、その重ね合わせられた画像（映像）をソース機器１０の画面に表示する。

コンテンツ処理部３２は、デコードされた制御ストリーム３２Ｃを操作処理部３６に出力する。また、コンテンツ処理部３２は、デコードされた制御ストリーム３２Ｃの少なくとも一部と、当該デコードされた制御ストリーム３２Ｃの少なくとも一部に関連する、オーディオ／ビデオストリーム３２Ｂの少なくとも一部とを作業メモリ３５に保存（蓄積）してもよい。

シンク機器２０の受信部４１は、ソース機器１０（送信部３３）によって送信されたコンテンツデータを受信する。コンテンツ処理部４２は、そのコンテンツデータをデコードし、画面に表示される画像（映像）と、スピーカー等によって出力される音声とを生成する。コンテンツ処理部４２による処理は、例えば、図１５を参照して説明した処理と同様である。

表示処理部４３は、コンテンツ処理部４２によって生成された画像（映像）を、シンク機器２０の画面に表示する。また、表示処理部４３は、コンテンツ処理部４２によって生成された音声を、シンク機器２０のスピーカー等で出力する。

シンク機器２０の画面に表示されるコンテンツ（画像）には、図６で示したように、ボタンのような、ユーザー操作のための操作オブジェクト（インタラクティブプレーン）が含まれることがある。ソース機器１０とシンク機器２０とでは、ユーザーが、リモートコントローラや各種のポインティングデバイスを用いて、その操作オブジェクトに対する操作を行うことができる。このユーザー操作は、コンテンツの再生を制御するための操作（例えば、再生、停止、一時停止、再開、早送り、早戻し、スロー再生、等）、コンテンツの表示形態を変更するための操作（例えば、全画面表示）、所定のＵＲＬへ移動するための操作、コンテンツの音量を変更するための操作、等を含む。

また、ユーザー操作は、マイクを用いた音声によるユーザー操作であってもよい。ソース機器１０またはシンク機器２０は、マイクを用いて入力された音声データを解析することによって、例えば、音声から「再生」、「停止」のようなコマンドによるユーザー操作を検出してもよいし、また音声からマウスのようなポインティングデバイスで指示される位置の移動、クリック、タップのようなユーザー操作を検出してもよい。

以下では、シンク機器２０でユーザー操作が行われた場合の処理と、ソース機器１０でユーザー操作が行われた場合の処理とを説明する。

まず、シンク機器２０でユーザー操作が行われた場合について説明する。
シンク機器２０の送信部４４は、シンク機器２０の画面に表示された操作オブジェクトに対するユーザー操作が検出されたことに応じて、そのユーザー操作に対応する操作データをソース機器１０に送信する。この操作データは、ユーザー操作が行われた、シンク機器２０の画面上の位置を示す座標データを含む。また、操作データは、ユーザー操作が行われたときの映像（コンテンツ）の時間軸上の再生位置を示す時刻データ（タイムスタンプ）を含んでいてもよい。

ソース機器１０の受信部３７は、シンク機器２０から、ユーザー操作に対応する操作データを受信する。操作処理部３６は、操作データに含まれる座標データと、デコードされた制御ストリーム３２Ｃとを用いて、シンク機器２０で検出されたユーザー操作を認識する。操作処理部３６は、座標データで示される画面上の座標に基づいて、例えば、インタラクティブプレーン上の操作オブジェクトから、ユーザーが操作した操作オブジェクト（例えば、ボタン２０２）を認識する。操作処理部３６は、認識されたユーザー操作に対応する処理（すなわち、認識された操作オブジェクトに対するユーザー操作に対応する処理）を実行する。そして、送信部３３は、処理結果に対応するコンテンツデータをシンク機器２０に送信する。

操作処理部３６は、操作データに含まれる座標データおよび時刻データと、デコードされた制御ストリーム３２Ｃとを用いて、ユーザー操作に対応する処理を実行してもよい。その場合、操作処理部３６は、時刻データで示される時間軸上の再生位置（再生時刻）と、座標データで示される画面上の座標とに基づいて、その時間軸上の再生位置に対応するインタラクティブプレーン上の操作オブジェクトから、ユーザーが操作した操作オブジェクトを認識し、その操作オブジェクトに対するユーザー操作に対応する処理を実行する。

また、例えば、ユーザー操作がコンテンツの再生を制御するための操作（例えば、再生、停止、一時停止、再開、早送り、早戻し、スロー再生、等）である場合、操作処理部３６および送信部３３は、そのユーザー操作に対応する再生位置から開始されるコンテンツデータをシンク機器２０に送信する。操作処理部３６は、ユーザー操作が所定の再生位置に戻す操作である場合には、例えば、作業メモリ３５に保存（蓄積）されている、デコードされたコンテンツデータを利用して、その所定の再生位置に対応するコンテンツデータ上の位置を特定し、シンク機器２０に送信すべきコンテンツデータを取得することができる。

また、ユーザー操作がコンテンツの表示形態を変更するための操作（例えば、全画面表示）である場合、送信部３３は、そのユーザー操作で指定された表示形態でコンテンツを表示するためのコンテンツデータをシンク機器２０に送信する。ユーザー操作が所定のＵＲＬへ移動するための操作である場合、送信部３３は、その所定のＵＲＬのコンテンツのデータをシンク機器２０に送信する。また、ユーザー操作がコンテンツの音量を変更するための操作である場合、送信部３３は、音量が変更されたコンテンツデータをシンク機器２０に送信する。

なお、表示処理部３４は、ソース機器１０の画面にコンテンツの少なくとも一部（例えば、操作画面）が表示されている場合には、ユーザー操作に対応する処理結果に応じてその表示内容を変更してもよい。

シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作の処理結果に基づくコンテンツデータを受信する。そして、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて映像をシンク機器２０の画面に表示する。また、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて音声をスピーカー等から出力してもよい。

なお、シンク機器２０の送信部４４は、ユーザー操作がシンク機器２０で処理可能である場合には、操作データをソース機器１０に送信せず、シンク機器２０の操作処理部４５でそのユーザー操作に対応する処理を実行してもよい。例えば、ユーザー操作がコンテンツを全画面表示する操作である場合、操作処理部４５は、表示処理部４３にコンテンツを全画面表示させる。ユーザー操作が所定のＵＲＬへ移動するための操作である場合、操作処理部４５は、その所定のＵＲＬにアクセスし、対応するコンテンツのデータを受信する。また、ユーザー操作がコンテンツの音量を変更するための操作である場合、操作処理部４５は、シンク機器２０に設けられたスピーカー等のボリュームを変更する。

次いで、ソース機器１０でユーザー操作が行われた場合について説明する。
まず、ソース機器１０の操作処理部３６は、ユーザー操作が検出された場合、デコードされた制御ストリーム３２Ｃを用いて、そのユーザー操作に対応する処理を実行する。操作処理部３６は、ユーザー操作が検出された画面上の位置（座標）に基づいて、例えば、インタラクティブプレーン上の操作オブジェクトから、ユーザーが操作した操作オブジェクト（例えば、ボタン１７２）を認識し、認識された操作オブジェクトに対するユーザー操作に対応する処理を実行する。そして、送信部３３は、処理結果に対応するコンテンツデータをシンク機器２０に送信する。なお、表示処理部３４は、ソース機器１０の画面にコンテンツの少なくとも一部（例えば、操作画面）が表示されている場合には、ユーザー操作に対応する処理結果に応じて表示を変更してもよい。

シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作の処理結果に基づくコンテンツデータを受信する。そして、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて映像をシンク機器２０の画面に表示する。また、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて音声をスピーカー等から出力してもよい。

なお、ソース機器１０の送信部３３は、ソース機器１０でユーザー操作が検出された場合、そのユーザー操作に対応する操作データをシンク機器２０に送信してもよい。シンク機器２０の受信部４１は操作データを受信し、操作処理部４５は、受信された操作データと、デコードされた制御ストリーム３２Ｃとを用いて、ソース機器１０で検出されたユーザー操作を認識し、認識されたユーザー操作に対応する処理を実行する。

このようにして、ソース機器１０で検出されたユーザー操作を処理することにより、ユーザーは、例えば、タブレットコンピュータであるソース機器１０に設けられたタッチパネル１７Ｂを、シンク機器２０のタッチパッドとして使用することができる。

なお、上述したハイブリッドトランスコーディング方式による伝送は、コンテンツ伝送プログラム１０３Ｂのようなソフトウェアではなく、ハードウェアによって実現されてもよい。

次いで、図２０のフローチャートを参照して、ソース機器１０によって実行されるコンテンツ伝送制御処理の手順の例について説明する。

送信部３３および受信部３７は、伝送を開始するための初期設定処理を実行する（ブロックＢ９０１）。この初期設定処理は、例えば、ソース機器１０とシンク機器２０との間の接続（無線接続）を確立し、ペアリングのためのセッションを実行すること、ユーザーに関する情報を送受信すること、トランスコーディング方式とノントランスコーディング方式とハイブリッドトランスコーディング方式のいずれの伝送方式でコンテンツデータを伝送するかを通知すること（例えば、伝送方式を示すフラグをシンク機器２０に送信すること）、コンテンツのヘッダ情報を用いて当該コンテンツの内容を検出すること、等を含む。

コンテンツ処理部３２は、伝送対象のコンテンツデータがＡＶストリーム層とＡＶストリーム制御層とを含むか否かを判定する（ブロックＢ９０２）。コンテンツ処理部３２は、例えば、コンテンツデータが音声および映像だけでなく、その再生を制御するための情報を含んでいるか否かを判定する。コンテンツデータがＡＶストリーム層とＡＶストリーム制御層とを含んでいない場合（ブロックＢ９０２のＮＯ）、送信部３３は、コンテンツデータをＡＶストリーム層とＡＶストリーム制御層の区別なくシンク機器２０に送信する（ブロックＢ９０３）。

コンテンツデータがＡＶストリーム層とＡＶストリーム制御層とを含んでいる場合（ブロックＢ９０２のＹＥＳ）、コンテンツ処理部３２は、ＡＶストリーム層をトランスコードせずに伝送するか否かを判定する（ブロックＢ９０４）。ＡＶストリーム層をトランスコードして伝送する場合（ブロックＢ９０４のＮＯ）、送信部３３は、コンテンツデータをトランスコードし、トランスコードされたコンテンツデータをシンク機器２０に送信する（ブロックＢ９０５）。

ＡＶストリーム層をトランスコードせずに伝送する場合（ブロックＢ９０４のＹＥＳ）、コンテンツ処理部３２は、コンテンツデータ内のＡＶストリーム制御層に対応するデータを処理する（ブロックＢ９０６）。コンテンツ処理部３２は、例えば、ＡＶストリーム制御層に対応するデータをデコードし、デコードされたデータを用いて、ユーザー操作のためのオブジェクトやテキストのレイアウトを決定する処理（画像構成化）を行う。次いで、コンテンツ処理部３２は、ユーザー操作に応じて、コンテンツのＡＶストリームを処理する（ブロックＢ９０７）。

そして、制御部３１は、コンテンツデータをシンク機器２０に伝送するか否かを判定する（ブロックＢ９０８）。コンテンツデータを伝送しない場合（ブロックＢ９０８のＮＯ）、ブロックＢ９０１に戻り、初期設定処理が再度実行される。

一方、コンテンツデータを伝送する場合（ブロックＢ９０８のＹＥＳ）、送信部３３は、コンテンツデータをシンク機器２０に伝送する（ブロックＢ９０９）。また、表示処理部３４は、ソース機器１０の画面に、ブロックＢ９０６で処理されたＡＶストリーム制御層を用いた画像（例えば、操作画面）を表示する（ブロックＢ９１０）。

次いで、操作処理部３６は、シンク機器２０から、シンク機器２０でのユーザー操作を示す操作データが受信されたか否かを判定する（ブロックＢ９１１）。ユーザー操作を示す操作データが受信されている場合（ブロックＢ９１１のＹＥＳ）、ブロックＢ９０７に戻り、コンテンツ処理部３２は、そのユーザー操作に応じて、オーディオ／ビデオストリームを処理する（ブロックＢ９０７）。コンテンツ処理部３２は、例えば、コンテンツの再生を制御するユーザー操作に応じて、その再生位置に対応するコンテンツデータを取得する。また、コンテンツ処理部３２は、例えば、音量を変更するユーザー操作に応じて、音量が変更されたＡＶストリームを生成する。そして、コンテンツデータが伝送される場合（ブロックＢ９０８のＹＥＳ）、送信部３３は、処理されたＡＶストリームを含むコンテンツデータをシンク機器２０に送信する（ブロックＢ９０９）。また、コンテンツ処理部３２および表示処理部３４は、ユーザー操作に応じてＡＶストリーム制御層に対応する画像を変更してもよい（ブロックＢ９１０）。

ユーザー操作を示す操作データが受信されていない場合（ブロックＢ９１１のＮＯ）、送信部３３は、コンテンツデータの伝送を終了するか否かを判定する（ブロックＢ９１２）。伝送を終了する場合（ブロックＢ９１２のＹＥＳ）、処理を終了する。伝送を終了しない場合（ブロックＢ９１２のＮＯ）、ブロックＢ９０１に戻る。

次いで、図２１から図２７のフローチャートを参照して、ソース機器１０によってコンテンツがハイブリッドトランスコーディング方式で伝送され、シンク機器２０によってそのコンテンツが表示される場合の処理についてより具体的に説明する。以下では、説明を簡単にするために、ソース機器１０とシンク機器２０との接続（無線接続）が確立され、ペアリングのためのセッションが実行されることにより、機器間のリンクが確立されている場合を想定する。また、伝送されるコンテンツにはＡＶストリーム層とＡＶストリーム制御層とが含まれている。

図２１は、ソース機器１０によって実行されるコンテンツ送信処理の手順の第１の例を示す。
まず、制御部３１は、コンテンツデータをシンク機器２０に送信するか否かを判定する（ブロックＢ１０１）。制御部３１は、例えば、コンテンツをシンク機器２０で表示（出力）するための操作が検出された場合に、コンテンツデータをシンク機器２０に送信すると判定する。コンテンツデータを送信しない場合（ブロックＢ１０１のＮＯ）、ブロックＢ１０１に戻り、コンテンツデータをシンク機器２０に送信するか否かが再度判定される。

コンテンツデータを送信する場合（ブロックＢ１０１のＹＥＳ）、送信部３３は、コンテンツデータ（オリジナルのコンテンツデータ）をシンク機器２０に送信する（ブロックＢ１０２）。次いで、コンテンツ処理部３２は、コンテンツデータ内のＡＶストリーム制御層のデータ（制御ストリーム）３２Ｃをデコードする（ブロックＢ１０３）。コンテンツ処理部３２は、デコードされたインタラクティブプレーンのデータを作業メモリ３５に一時保存してもよい。また、表示処理部３４は、デコードされたＡＶストリーム制御層のデータを用いて、ＡＶストリーム制御層に対応する画像をディスプレイ１７の画面に表示してもよい（ブロックＢ１０４）。

図２２は、シンク機器２０によって実行されるコンテンツ表示処理の手順の第１の例を示す。このコンテンツ表示処理では、シンク機器２０は、図２１に示した処理でソース機器１０が送信したコンテンツデータを用いてコンテンツを再生する。

まず、受信部４１は、ソース機器１０からコンテンツデータ（オリジナルコンテンツデータ）を受信する（ブロックＢ１５１）。コンテンツ処理部４２は、受信されたコンテンツデータをデコードする（ブロックＢ１５２）。コンテンツ処理部４２は、デコードされたデータを用いたプレーン毎の画像を重ね合わせる（ブロックＢ１５３）。コンテンツ処理部４２は、例えば、メインムービープレーンの画像と、プレゼンテーションプレーンの画像と、インタラクティブプレーンの画像とを多重化する。そして、表示処理部４３は、重ね合わせられた画像を画面に表示する（ブロックＢ１５４）。

図２３は、ソース機器１０によって実行されるコンテンツ送信処理の手順の第２の例を示す。
まず、制御部３１は、コンテンツデータをシンク機器２０に送信するか否かを判定する（ブロックＢ２０１）。コンテンツデータを送信しない場合（ブロックＢ２０１のＮＯ）、ブロックＢ２０１に戻り、コンテンツデータをシンク機器２０に送信するか否かが再度判定される。

コンテンツデータを送信する場合（ブロックＢ２０１のＹＥＳ）、送信部３３は、コンテンツデータ内のＡＶストリーム層のデータ（ＡＶストリーム）３２Ｂと、タイムスタンプＰＴＳを含む第１時刻情報とをシンク機器２０に送信する（ブロックＢ２０２）。次いで、コンテンツ処理部３２は、コンテンツデータ内のＡＶストリーム制御層のデータ（制御ストリーム）３２Ｃをトランスコードする（ブロックＢ２０３）。コンテンツ処理部３２は、トランスコードされたＡＶストリーム制御層のデータ３２Ｃを作業メモリ３５に一時保存してもよい。送信部３３は、トランスコードされたＡＶストリーム制御層のデータ３２Ｃと、タイムスタンプＰＴＳおよび遅延時間Δｔを含む第２時刻情報とをシンク機器２０に送信する（ブロックＢ２０４）。

また、表示処理部３４は、デコードされたＡＶストリーム制御層のデータ３２Ｃを用いて、ＡＶストリーム制御層に対応する画像（操作画面）をディスプレイ１７の画面に表示してもよい（ブロックＢ２０５）。

図２４は、シンク機器２０によって実行されるコンテンツ表示処理の手順の第２の例を示す。このコンテンツ表示処理では、シンク機器２０は、図２３に示した処理でソース機器１０が送信したコンテンツデータを用いてコンテンツを再生する。

まず、受信部４１は、ソース機器１０から、ＡＶストリーム層のデータ（ＡＶストリーム）３２Ｂを受信し（ブロックＢ２５１）、トランスコードされたＡＶストリーム制御層のデータ（制御ストリーム）３２Ｃを受信する（ブロックＢ２５２）。コンテンツ処理部４２は、ＡＶストリーム層のデータに付加された第１時刻情報と、トランスコードされたＡＶストリーム制御層のデータ３２Ｃに付加された第２時刻情報とに基づいて、ＡＶストリーム層のデータ３２Ｂと、トランスコードされたＡＶストリーム制御層のデータ３２Ｃとを同期させ、同期したデータ３２Ｂ，３２Ｃをデコードする（ブロックＢ２５３）。コンテンツ処理部４２は、例えば、ＡＶストリーム層のデータ３２Ｂをバッファを用いて遅延時間Δｔだけ遅延させることによって、ＡＶストリーム制御層のデータ３２Ｃと同期させる。

そして、コンテンツ処理部４２は、デコードされたデータを用いたプレーン毎の画像を重ね合わせる（ブロックＢ２５４）。コンテンツ処理部４２は、例えば、デコードされたＡＶストリーム層のデータ３２Ｂを用いたメインムービープレーンの画像と、デコードされたＡＶストリーム制御層のデータ３２Ｃを用いたインタラクティブプレーンの画像とを多重化する。コンテンツ処理部３２は、メインムービープレーンの画像に対して、インタラクティブプレーンの画像を重畳してもよいし、インタラクティブプレーンの画像をPicture-in-Pictureではめ込み画像としてもよい。なお、プレゼンテーションプレーンは、メインムービープレーンとインタラクティブプレーンのいずれかと同様に扱われてもよい。そして、表示処理部４３は、重ね合わせられた画像を画面に表示する（ブロックＢ２５５）。

図２５は、ソース機器１０によって実行されるコンテンツ送信処理の手順の第３の例を示す。
まず、制御部３１は、コンテンツデータをシンク機器２０に送信するか否かを判定する（ブロックＢ３０１）。コンテンツデータを送信しない場合（ブロックＢ３０１のＮＯ）、ブロックＢ３０１に戻り、コンテンツデータをシンク機器２０に送信するか否かが再度判定される。

コンテンツデータを送信する場合（ブロックＢ３０１のＹＥＳ）、コンテンツ処理部３２は、コンテンツデータ内のＡＶストリーム層のデータ（ＡＶストリーム）３２Ｂをバッファ３２５に格納する（ブロックＢ３０２）。また、コンテンツ処理部３２は、コンテンツデータ内のＡＶストリーム制御層のデータ（制御ストリーム）３２Ｃをトランスコードする（ブロックＢ３０３）。そして、送信部３３は、トランスコードされたＡＶストリーム制御層のデータ３２Ｃと、ＡＶストリーム制御層のデータ３２Ｃのトランスコードに要した時間Δｔだけ、バッファ３２５によって遅延されたＡＶストリーム層のデータ３２Ｂとをシンク機器２０に送信する（ブロックＢ３０４）。

また、表示処理部３４は、デコードされたＡＶストリーム制御層のデータ３２Ｃを用いて、ＡＶストリーム制御層に対応する画像をディスプレイ１７の画面に表示してもよい（ブロックＢ３０５）。

図２６は、シンク機器２０によって実行されるコンテンツ表示処理の手順の第３の例を示す。このコンテンツ表示処理では、シンク機器２０は、図２５に示した処理でソース機器１０が送信したコンテンツデータを用いてコンテンツを再生する。

まず、受信部４１は、ソース機器１０から、ＡＶストリーム層のデータ（ＡＶストリーム）３２Ｂと、トランスコードされたＡＶストリーム制御層のデータ（制御ストリーム）３２Ｃとを受信する（ブロックＢ３５１）。コンテンツ処理部４２は、ＡＶストリーム層のデータ３２Ｂをデコードし（ブロックＢ３５２）、トランスコードされたＡＶストリーム制御層のデータ３２Ｃをデコードする（ブロックＢ３５３）。コンテンツ処理部４２は、デコードされたデータを用いたプレーン毎の画像を重ね合わせる（ブロックＢ３５４）。コンテンツ処理部４２は、例えば、デコードされたＡＶストリーム層のデータを用いたメインムービープレーンの画像と、デコードされたＡＶストリーム制御層のデータを用いたインタラクティブプレーンの画像とを多重化する。なお、プレゼンテーションプレーンは、メインムービープレーンとインタラクティブプレーンのいずれかと同様に扱われてもよい。そして、表示処理部４３は、重ね合わせられた画像を画面に表示する（ブロックＢ３５５）。

また、図２７は、ソース機器１０によって実行されるコンテンツ送信処理の手順の第４の例を示す。
まず、制御部３１は、コンテンツデータをシンク機器２０に送信するか否かを判定する（ブロックＢ４０１）。コンテンツデータを送信しない場合（ブロックＢ４０１のＮＯ）、ブロックＢ４０１に戻り、コンテンツデータをシンク機器２０に送信するか否かが再度判定される。

コンテンツデータを送信する場合（ブロックＢ４０１のＹＥＳ）、送信部３３は、コンテンツデータ（オリジナルのコンテンツデータ）をシンク機器２０に送信する（ブロックＢ４０２）。次いで、コンテンツ処理部３２は、コンテンツデータをデコードする（ブロックＢ４０３）。コンテンツ処理部３２は、デコードされたコンテンツデータを作業メモリ３５に一時保存してもよい。また、コンテンツ処理部３２は、デコードされたデータを用いたプレーン毎の画像を重ね合わせる（ブロックＢ４０４）。コンテンツ処理部４２は、例えば、メインムービープレーンの画像と、プレゼンテーションプレーンの画像と、インタラクティブプレーンの画像とを多重化する。そして、表示処理部３４は、重ね合わせられた画像を画面に表示する（ブロックＢ４０５）。

なお、図２７の処理でソース機器１０が送信したコンテンツデータ（オリジナルコンテンツデータ）を用いた、シンク機器２０によるコンテンツ表示処理は、図２２を参照して説明した通りである。

次いで、図２８から図３０のフローチャートを参照して、コンテンツに対するユーザー操作に応じた処理について説明する。

図２８は、ソース機器１０とシンク機器２０とによって実行されるユーザー操作処理の手順の第１の例を示す。
まず、シンク機器２０の操作処理部４５は、コンテンツに対するユーザー操作が検出されたか否かを判定する（ブロックＢ６０１）。ユーザー操作が検出されていない場合（ブロックＢ６０１のＮＯ）、ブロックＢ６０１に戻り、コンテンツに対するユーザー操作が検出されたか否かが再度判定される。一方、ユーザー操作が検出されている場合（ブロックＢ６０１のＹＥＳ）、送信部４４は、そのユーザー操作に対応する操作データ（例えば、座標データ、時刻データ）をソース機器１０に送信する（ブロックＢ６０２）。

次いで、ソース機器１０の受信部３７は、シンク機器２０から、ユーザー操作に対応する操作データを受信する（ブロックＢ６０３）。操作処理部３６は、操作データと、デコードされたＡＶストリーム制御層のデータ（制御ストリーム）３２Ｃとを用いて、シンク機器２０で検出されたユーザー操作を認識し、認識されたユーザー操作に対応する処理を実行する（ブロックＢ６０４）。そして、送信部３３は、処理結果に対応するコンテンツデータをシンク機器２０に送信する（ブロックＢ６０５）。なお、表示処理部３４は、ソース機器１０の画面にコンテンツの少なくとも一部が表示されている場合には、ユーザー操作に対応する処理結果に応じて表示を変更してもよい。

シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作の処理結果に対応するコンテンツデータを受信する（ブロックＢ６０６）。そして、コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて、画像を画面に表示する（ブロックＢ６０７）。

図２９は、ソース機器１０とシンク機器２０とによって実行されるユーザー操作処理の手順の第２の例を示す。
まず、ソース機器１０の操作処理部３６は、コンテンツに対するユーザー操作が検出されたか否かを判定する（ブロックＢ７０１）。ユーザー操作が検出されていない場合（ブロックＢ７０１のＮＯ）、ブロックＢ７０１に戻り、コンテンツに対するユーザー操作が検出されたか否かが再度判定される。一方、ユーザー操作が検出されている場合（ブロックＢ７０１のＹＥＳ）、操作処理部３６およびコンテンツ処理部３２は、デコードされたＡＶストリーム制御層のデータ（制御ストリーム）３２Ｃを用いて、ユーザー操作に対応する処理を実行する（ブロックＢ７０２）。そして、送信部３３は、処理結果に対応するコンテンツデータをシンク機器２０に送信する（ブロックＢ７０３）。なお、表示処理部３４は、ソース機器１０の画面にコンテンツの少なくとも一部が表示されている場合には、ユーザー操作に対応する処理結果に応じて表示を変更してもよい。

次いで、シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作の処理結果に対応するコンテンツデータを受信する（ブロックＢ７０４）。コンテンツ処理部４２および表示処理部４３は、受信されたコンテンツデータを用いて、画像を画面に表示する（ブロックＢ７０５）。

図３０は、ソース機器１０とシンク機器２０とによって実行されるユーザー操作処理の手順の第３の例を示す。
まず、ソース機器１０の操作処理部３６は、コンテンツに対するユーザー操作が検出されたか否かを判定する（ブロックＢ８０１）。ユーザー操作が検出されていない場合（ブロックＢ８０１のＮＯ）、ブロックＢ８０１に戻り、コンテンツに対するユーザー操作が検出されたか否かが再度判定される。一方、ユーザー操作が検出されている場合（ブロックＢ８０１のＹＥＳ）、送信部３３は、そのユーザー操作に対応する操作データ（例えば、座標データ、時刻データ）をシンク機器２０に送信する（ブロックＢ８０２）。

次いで、シンク機器２０の受信部４１は、ソース機器１０から、ユーザー操作に対応する操作データを受信する（ブロックＢ８０３）。操作処理部４５、コンテンツ処理部４２および表示処理部４３は、受信された操作データと、デコードされたＡＶストリーム制御層のデータ（制御ストリーム）３２Ｃとを用いて、ソース機器１０で検出されたユーザー操作を認識し、認識されたユーザー操作に対応する処理を実行する（ブロックＢ８０４）。

以上説明したように、本実施形態によれば、機器間でコンテンツをシームレスに表示する場合に、コンテンツに対する操作を適切に処理することができる。ソース機器１０のコンテンツ処理部３２は、エンコードされたコンテンツデータであって、オーディオ／ビデオストリーム３２Ｂと、当該オーディオ／ビデオストリーム３２Ｂを制御するための制御ストリーム３２Ｃとを含むコンテンツデータの内、制御ストリーム３２Ｃをデコードする。送信部３３は、第１時刻情報が付加されたオーディオ／ビデオストリーム３２Ｂと、第２時刻情報が付加された制御ストリーム３２Ｃとを、シンク機器（外部電子機器）２０に送信する。オーディオ／ビデオストリーム（ＡＶストリーム層のデータ）３２Ｂと制御ストリーム（ＡＶストリーム制御層のデータ）３２Ｃとを用いた映像がシンク機器２０の画面に表示されているとき、操作処理部３６は、シンク機器２０でのユーザー操作に応じて、コンテンツ処理部３２によってデコードされた制御ストリーム３２Ｃを用いて、当該ユーザー操作に対応する処理を実行する。

これにより、トランスコードされていない、オリジナルのコンテンツデータをシンク機器１０に送信する方式であっても、ソース機器１０で制御ストリーム３２Ｃをデコードしておくことによって、当該ソース機器１０でユーザー操作を認識し、そのユーザー操作を反映した動作を実現することができる。

なお、図２０から図３０のフローチャートで説明した本実施形態の処理手順は全てソフトウェアによって実行することができる。このため、この処理手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

ここで説明したシステムの様々なモジュールは、ソフトウェアアプリケーション、ハードウェアおよび／またはソフトウェアのモジュール、あるいは、サーバのような１つ以上のコンピュータ上のコンポーネントとして実現することができる。様々なモジュールを別々に示したが、これらは、同一の根本的なロジックまたはコードのいくつかまたはすべてを共有することが可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…ソース機器、２０…シンク機器、３１…制御部、３２…コンテンツ処理部、３３…送信部、３４…表示処理部、３５…作業メモリ、３６…操作処理部、３７…受信部、４１…受信部、４２…コンテンツ処理部、４３…表示処理部、４４…送信部、４５…操作処理部。

Claims (13)

1. エンコードされたコンテンツデータであって、オーディオ／ビデオストリームと、当該オーディオ／ビデオストリームを制御するための制御ストリームとを含むコンテンツデータの内、前記制御ストリームをデコードするデコード手段と、
   第１時刻情報が付加された前記オーディオ／ビデオストリームと、第２時刻情報が付加された前記制御ストリームとを、外部電子機器に送信する送信手段と、
   前記オーディオ／ビデオストリームと前記制御ストリームとを用いた映像が前記外部電子機器の画面に表示されているときに、前記外部電子機器でのユーザー操作に応じて、前記デコードされた制御ストリームを用いて、当該ユーザー操作に対応する処理を実行する操作処理手段とを具備する電子機器。
2. 前記制御ストリームは、前記ユーザー操作に応じてコンテンツの再生位置が変更されるときに、当該再生位置に対応する、前記オーディオ／ビデオストリーム上のデータ位置を特定するためのデータを含む請求項１記載の電子機器。
3. 前記第１時刻情報と前記第２時刻情報とは、前記オーディオ／ビデオストリームに対応するタイムスタンプを含む請求項１記載の電子機器。
4. 前記デコードされた制御ストリームをエンコードするエンコード手段をさらに具備し、
   前記第１時刻情報は、前記オーディオ／ビデオストリームに対応するタイムスタンプを含み、
   前記第２時刻情報は、前記タイムスタンプと、前記デコード手段によるデコードおよび前記エンコード手段によるエンコードに要した時間とを含む請求項１記載の電子機器。
5. 前記デコードされた制御ストリームをエンコードするエンコード手段をさらに具備し、
   前記送信手段は、前記デコード手段によるデコードおよび前記エンコード手段によるエンコードに要した時間だけ遅延させた前記オーディオ／ビデオストリームと、前記デコードおよびエンコードされた制御ストリームとを前記外部電子機器に送信する請求項１記載の電子機器。
6. 前記制御ストリームは字幕情報を含み、
   前記第２時刻情報は、前記字幕情報付加されたタイムスタンプである請求項１記載の電子機器。
7. 前記送信手段は、前記オーディオ／ビデオストリームと前記制御ストリームとを前記外部電子機器に送信する前に、トランスコーディング方式とノントランスコーディング方式とハイブリッドトランスコーディング方式のいずれの伝送方式で前記オーディオ／ビデオストリームと前記制御ストリームとを送信するかを通知する請求項１記載の電子機器。
8. 前記コンテンツデータは、ブルーレイディスクに格納されたコンテンツデータである請求項１記載の電子機器。
9. 前記操作処理手段は、前記電子機器でのユーザー操作に応じて、前記デコードされた制御ストリームを用いて、当該ユーザー操作に対応する処理を実行する請求項１記載の電子機器。
10. 前記外部電子機器でのユーザー操作を示す操作データを受信する受信手段をさらに具備し、
    前記操作処理手段は、前記操作データと、前記デコードされた制御ストリームとを用いて、当該ユーザー操作に対応する処理を実行する請求項１記載の電子機器。
11. 前記操作データは、前記ユーザー操作が行われたときに、前記外部電子機器の画面に表示されている映像に対応する、前記オーディオ／ビデオストリームのタイムスタンプを含む請求項１０記載の電子機器。
12. エンコードされたコンテンツデータであって、オーディオ／ビデオストリームと、当該オーディオ／ビデオストリームを制御するための制御ストリームとを含むコンテンツデータの内、前記制御ストリームをデコードし、
    第１時刻情報が付加された前記オーディオ／ビデオストリームと、第２時刻情報が付加された前記制御ストリームとを、外部電子機器に送信し、
    前記オーディオ／ビデオストリームと前記制御ストリームとを用いた映像が前記外部電子機器の画面に表示されているときに、前記外部電子機器でのユーザー操作に応じて、前記デコードされた制御ストリームを用いて、当該ユーザー操作に対応する処理を実行する通信制御方法。
13. コンピュータにより実行されるプログラムであって、前記プログラムは、
    エンコードされたコンテンツデータであって、オーディオ／ビデオストリームと、当該オーディオ／ビデオストリームを制御するための制御ストリームとを含むコンテンツデータの内、前記制御ストリームをデコードする手順と、
    第１時刻情報が付加された前記オーディオ／ビデオストリームと、第２時刻情報が付加された前記制御ストリームとを、外部電子機器に送信する手順と、
    前記オーディオ／ビデオストリームと前記制御ストリームとを用いた映像が前記外部電子機器の画面に表示されているときに、前記外部電子機器でのユーザー操作に応じて、前記デコードされた制御ストリームを用いて、当該ユーザー操作に対応する処理を実行する手順とを前記コンピュータに実行させるプログラム。

Images