JP2013516840A - 複数の保護されたソースから同時にコンテンツをプレビューする方法、装置、及びシステム - Google Patents

Abstract

複数の保護されたソースから同時にコンテンツをプレビューする方法、装置、及びシステム。１次ポートに関連付けられた１次データストリームが生成され、１次データストリームは、表示画面上に表示される１次画像を有する。１次ポートに結合された複数の２次ポートに関連付けられた２次データストリームが生成され、２次データストリームは、複数の２次ポートから受信した複数の２次画像を有する。２次データストリーム及び１次データストリームは、表示データストリーム内に融合され、表示データストリームは、１次画像を有し、更に複数のプレビュー画像として複数の２次画像を有する。１次画像及び複数のプレビュー画像は、表示画面上に表示され、複数のプレビュー画像の各々は、表示画面上のインセット画面を通じて表示される。
【選択図】 図３

Description

本発明の実施形態は、一般的に電子ネットワークの分野に関し、より具体的には、複数の保護されたソースから同時にコンテンツをプレビューすることに関する。

システムは、表示のための複数の媒体データストリームのような複数のデータストリームを作動において利用する。データは、本明細書でＨＤＣＰデータと呼ぶ「高帯域幅デジタルコンテンツ保護（ＨＤＣＰ）」データによって保護されたデータを含むことができる。複数の媒体データストリームの通信は、「高解像度マルチメディアインターフェイス（ＨＤＭＩ）」を通じて送信デバイス（例えば、ケーブル／衛星信号送信デバイス）を経由した送信側機関（例えば、ケーブルテレビジョン（ＴＶ）又は衛星会社）と受信側デバイス（例えば、ＴＶ）の間のコンテンツの流れを含むことができる。

ある一定の受信側デバイス（例えば、テレビジョン）は、１つのプログラムを完全に表示すると同時にインセットウィンドウに別のプログラムを表示する従来の技術を利用する。しかし、この従来の技術は、それらの低解像度及びハードウエアリソースに対する低要求度のために、主にレガシーアナログ入力に対してのみ使用されてきた。しかし、近年、一部の従来技術は、デジタル入力を扱うようなってきたが、それにも関わらず、それらは、単一フィードをブロードキャストする従来の単一フィードシステムに依然として基づいており、一方、関連の送信側機関は、複数のコンテンツを単一の画像に収め、単一フィードを通じてこれを送信している。換言すると、インセットウィンドウを有する画像の生成は、ユーザ側から遠くに離れ、かつ従ってユーザ側受信デバイスを制御する送信側機関で行われる。

複数の保護されたソースから同時にコンテンツをプレビューする方法、装置、及びシステムを開示する。

一実施形態では、方法は、表示画面上に表示される１次画像を有して１次ポートに関連付けられた１次データストリームを生成する段階と、複数の２次ポートから受信した複数の２次画像を有し、１次ポートに結合された複数の２次ポートに関連付けられた２次データストリームを生成する段階と、１次画像を有し、更に複数のプレビュー画像として複数の２次画像を有する表示データストリーム内に１次データストリームを有する２次データストリームを融合する段階と、１次画像及び複数のプレビュー画像を表示画面上に表示する段階とを含み、複数のプレビュー画像の各々は、表示画面上のインセット画面を通じて表示される。

一実施形態では、システムは、ストレージ媒体とストレージ媒体に結合されたプロセッサとを有するデータ処理デバイスを含み、プロセッサは、表示画面上に表示される１次画像を有して１次ポートに関連付けられた１次データストリームを生成し、複数の２次ポートから受信した複数の２次画像を有して１次ポートに結合された複数の２次ポートに関連付けられた２次データストリームを生成し、１次画像を有して更に複数のプレビュー画像として複数の２次画像を有する表示データストリーム内に１次データストリームを有する２次データストリームを融合する。装置は、データ処理デバイスに結合された表示デバイスを更に含み、表示デバイスは、１次画像及び複数のプレビュー画像を表示画面上に表示し、複数のプレビュー画像の各々は、表示画面上のインセット画面を通じて表示される。

一実施形態では、装置は、ストレージ媒体とストレージ媒体に結合されたプロセッサとを有するデータ処理デバイスを含み、プロセッサは、表示画面上に表示される１次画像を有して１次ポートに関連付けられた１次データストリームを生成し、複数の２次ポートから受信した複数の２次画像を有して１次ポートに結合された複数の２次ポートに関連付けられた２次データストリームを生成し、１次画像を有して更に複数のプレビュー画像として複数の２次画像を有する表示データストリーム内に１次データストリームを有する２次データストリームを融合する。

本発明の実施形態は、制限ではなく例示的に示し、添付の図における類似の参照番号は類似の要素を示している。

ＨＤＣＰ事前認証システムを示す論理ブロック図である。 ＨＤＣＰエンジンと対応するポートとの間の１対１比率を利用するＨＤＣＰエンジン対ポートシステムの実施形態を示す図である。 複数のソースからの複数のデータストリームを表示するための技術の実施形態を示す図である。 プレビューシステムの実施形態を示す図である。 ストリーム混合器の実施形態を示す図である。 複数のソースからの複数のデータストリームを表示するための処理の実施形態を示す図である。 本発明の実施形態を利用するネットワークコンピュータデバイスの構成要素の実施形態を示す図である。

本発明の実施形態は、一般的に、複数の保護されたソースからのコンテンツをプレビューすることに関連する。一実施形態では、受信側デバイス（例えば、ＴＶ）が、複数の保護されたソース又はポート（例えば、ＨＤＭＩ又は非ＨＤＭＩ入力ポート）を通じて複数のフィードから受信した複数のコンテンツ（例えば、音声を有するビデオ画像）を表示する。表示される複数の画像の１つは、表示画面の殆どを含む１次画像（主ＨＤＭＩ又は非ＨＤＭＩポートを通じて受信される）としての役割をし、他の画像は、表示画面の小さな区画又はインセットを占める（対応するロービングＨＤＭＩ又は非ＨＤＭＩポートを通じて受信される）２次画像として表示される。更なる詳細は、本明細書を通して説明する。ポートは、ＨＤＭＩ又は非ＨＤＭＩポートを含むことができ、ＨＤＭＩポートは、本明細書では単に実施例として簡潔さ及び明確さのために使用されるものとする。

本明細書で使用される「ネットワーク」又は「通信ネットワーク」は、「シリアル・アドバンスト・テクノロジー・アタッチメント（ＳＡＴＡ）」、「フレーム情報構造（ＦＩＳ）」などのようなあらゆる数の技術を使用するデバイス間でデジタルメディアコンテンツ（音楽、音声／ビデオ、ゲーム、写真などを含む）を配信するための相互接続ネットワークを意味する。娯楽ネットワークは、家庭におけるネットワークのような個人娯楽ネットワーク、職場環境におけるネットワーク、又はデバイス及び／又は構成要素のあらゆる他のネットワークを含むことができる。ネットワークは、「ローカルエリアネットワーク（ＬＡＮ）」、「ワイドエリアネットワーク（ＷＡＮ）」、「都市エリアネットワーク（ＭＡＮ）」、イントラネット、「インターネット」などを含む。ネットワーク上では、デジタルテレビジョンチューナ、ケーブルセットトップボックス、手持ち式デバイス（例えば、携帯情報端末（ＰＤＡ））、ビデオストレージサーバ、及び他のソースデバイスのような特定のネットワークデバイスをメディアコンテンツのソースとすることができる。デジタルテレビジョン、ホームシアターシステム、オーディオシステム、ゲームシステム、及び他のデバイスのような他のデバイスは、メディアコンテンツを表示又は使用することができる。更に、ビデオ及びオーディオストレージサーバのようなある一定のデバイスに、メディアコンテンツを格納又は転送させることができる。ある一定のデバイスは、ケーブルセットトップボックスが受信機デバイス（ケーブルヘッドエンドから情報を受信する）、並びに送信機デバイス（ＴＶに情報を送信する）として及びその逆も同様に機能することができるように、複数の媒体機能を実行することができる。ネットワークデバイスは、単一のローカルエリアネットワーク上に同一場所で配置することができ、又はローカルエリアネットワーク間のトンネリングなどを通じて複数のネットワーク部分にわたって跨がることができる。ネットワークはまた、複数のデータ符号化及び暗号処理を含むことができ、同時に固有署名認証及び固有識別（ＩＤ）比較のような認証処理を識別することができる。

コンテンツ送信−受信方式において、互いに通信するデバイスを検出、検証、及び認証するために様々なツール（例えば、取消リスト）が使用される。これらのデバイスは、デジタル多機能ディスク又はデジタルビデオディスク（ＤＶＤ）プレーヤ、コンパクトディスク（ＣＤ）プレーヤ、ＴＶ、コンピュータなどのような媒体デバイスを含む。例えば、送信側デバイス（例えば、ＤＶＤプレーヤ）は、受信側デバイスが送信側デバイスから高価な保護されたメディアコンテンツを受信するのに適正か又は資格があるか否かを判断するために受信側デバイス（例えば、ＴＶ）を認証するためのこのようなツールを使用することができる。同様に、受信側デバイスは、送信側デバイスから保護されたメディアコンテンツを受け入れる前に送信側デバイスを認証する。このような認証処理の待ち時間を回避するために、デバイスの事前認証が行われる。

「事前認証」は、入力間をより迅速に切り換えられるようにするためにＨＤＭＩスイッチ製品を含むデバイスの機能を示すために本明細書で使用される用語である。この用語は、切り換えた後の代わりに入力に切り換える前に必要なＨＤＣＰ認証の実行を説明している。従って、認証に関連した重大な遅延は、前景の代わりに作動の背景に隠れていることがある。

ＨＤＣＰ受信機がスレーブデバイスであると考えられるので、ＨＤＣＰ受信機は、いずれの要求又はステータスを送信機に明示的に信号送信することを期待されない。「壊れた」回線でも、一般的には、Ｒｉシーケンスを意図的に「壊す」ことによって暗黙的に（かつむしろ荒く）信号送信される（リンクが安全に同期化されているか否かをＴｘが検査した時の受信機（Ｒｘ）から送信機（Ｔｘ）への応答）。様々なＨＤＣＰ送信機が存在する。これらの多くは、固有の奇妙な挙動を示すことがある。事前認証が対処する遅延の多くは、受信機によってではなく、これらの送信機の癖によって起こる。理想的には、送信機は、これらの性能問題を現実的に回避するために修正されることになるが、これを期待することができず、従って、事前認証は、データストリーム作動において有意な価値を提供することができる。

ＨＤＣＰ同期に関して、一般的に、ＨＤＣＰ受信機は、送信機に同期させておくために２つの事柄を必要とする：（１）受信機は、フレーム境界の場所を知っている；及び（２）受信機は、これらのフレームのどれが、フレームが暗号化されていることを示す信号（例えば、ＣＴＬ３）を含むかを知っている。「ＣＴＬ３」は、解説し易いように簡潔さ及び明確さのために、いずれの制限もない暗号化インジケータの例として使用される。

図１は、ＨＤＣＰ事前認証システム１００の実施形態を示している。図示のＨＤＣＰ事前認証システム１００は、１つの入力ポート毎に専用ＨＤＣＰエンジンブロック１０４−１０８、１２０を含むＨＤＣＰ（事前認証）デバイス１０１を含む。一般的に、開ループ暗号がいずれの解読も行わない時でも、あらゆる場合に正常なＨＤＣＰ論理が使用される。これは、再キーイング機能が、分散を最大にするためにＨＤＣＰ論理を使用するためである。更に、開ループＨＤＣＰエンジン１０４−１０８は、フレーム境界が開ループモードで実行している間にフレーム速度をロックして進行情報を提供するために、位相ロックループ（ＰＬＬ）１１０−１１４又はＰＬＬのような回路を使用する。

開ループ論理に基本的な情報を継続して提供するために、単一の専用「遷移最小化差分信号送信（ＴＭＤＳ）」受信機１１６（例えば、ロービング受信機）を使用することができる。このロービング受信機１１６は、現在未使用の入力を通じて循環し、フレーム境界を見出し（対応するＰＬＬ１１０−１１４がロックすることができるように）、更に認証が起こった時に第１のＣＴＬ３信号を見出す。場合によっては、これは、本質的に単にＶＳＹＮＣ及びＣＴＬ３インジケータを必要とするので、ＴＭＤＳ受信機１１６の解体バージョンとすることができる。

更に、主／通常ＴＶデータ経路１３２は、従来のスイッチ製品と同じ方式で機能することができる。作動において、入力ポートの１つを主／通常データ経路１３２に対して選択することができ、データストリームは、必要に応じて復号及び解読され（着信暗号化データからオリジナル音声／ビデオ（Ａ／Ｖ）データを取り出すための解読）、次に、デバイスの残りを通じて経路指定される。

ロービング受信機１１６は、一度に１つ、現在アイドルのポート（すなわち、見るためにユーザによって選択されたものを除く全てのポート）をサンプリングする。これは、処理を制御するために状態機械又は（恐らくは）ある種類のマイクロコントローラを必要とする。初期作動シーケンスは、一般的に以下の通りである：（１）ロービング受信機１１６が、未使用入力ポート（すなわち、見るためにユーザによって選択されていないポート）に接続され、ビデオに対してこれをモニタする；（２）ＨＤＣＰエンジン１０４−１０８が、同様にポートに接続され、これは、Ｉ²Ｃバスが接続されていることを意味する（例えば、Ｉ²Ｃがリンク同期検査のためのＴｘとＲｘ間の付加的な通信チャンネルとして見なされている）。これはまた、送信及びＨＤＣＰ認証を受け取る準備ができていることをソースに示すための信号伝達ホットプラグを意味することができる。これはまた、「拡張表示識別データ（ＥＤＩＤ）」情報の転送を容易にすることができるが、これは、本発明の開示の範囲を超えるものである；（３）ビデオが安定している時に、ロービング受信機１１６が、ＰＬＬをフレーム境界に整列させるために情報を提供し；（４）状態機械又はマイクロコントローラが、ＨＤＣＰ認証が始まる期間を待機する。ＨＤＣＰ認証が始まった場合、認証が完了し、第１のＣＴＬ３信号が受信されるまで待ち続ける；（５）ＨＤＣＰブロックが、ＰＬＬからの情報だけを使用して「フレーム」を数える開ループ機能で循環し続ける。Ｉ²Ｃポートは接続したままであり、受信機が接続されていることをホットプラグ信号が示し続ける；（６）次に、ロービング受信機１１６が、次のポートに対して継続され、同じ作動を実行する。一部の実施形態では、ロービング受信機１１６が全てのポートを始動した状態で、ロービング受信機１１６は、次に、サービスループに進み、各ポートを順々に検査する。

図示のシステム１００は、「時分割多重送信（ＴＤＭ）」技術を通じて背景で１つずつ各ポート１２４−１３０を選択するためにｍ個のポートを収容することができる。選択されたポート１２４−１３０からのＨＤＭＩ信号は、事前認証のために使用される。その固有のＨＤＣＰエンジン１０４−１０８を有する各ロービングポート１２４−１２８は、各ロービングポート１２４−１２８が主ポート１３０を置換するように選択される変化に待機するように主ポート１３０に同期化される。従って、ロービングパイプは、１つずつ全ての背景ポート１２４−１２８からＨＤＭＩ信号を取得し、これらを事前認証して待機する。

図２は、ＨＤＣＰエンジン２０２−２０８と対応するポート２１０−２１６との間の１対１比率を利用するＨＤＣＰエンジン対ポートシステム２００の実施形態を示している。図示のシステム２００は、１対１比率でポート２１０−２１６に対応する４つのＨＤＣＰエンジン２０２−２０８を含み、例えば、各ＨＤＣＰエンジン２０２−２０８は、単一のポート２１０−２１６に対応する。システム２００は、更に、主パイプ又は経路２１８としてポート１（２１０）を示し、これは、ＨＤＣＰエンジン１（２０２）に関連付けられている。他の経路２−３（２０４−２０６）は、ロービングパイプ又は経路２２０であり、ＨＤＣＰエンジン２−４（２０４−２０８）に関連付けられている。パイプ及び経路という用語は、本明細書を通して同じ意味で使用されることに注意されたい。主経路２１８のＨＤＣＰエンジン２０２は、各ピクセル（ビデオ及びオーディオデータを解読及び取得するために）及び同期（Ｔｘ及びＲｘがコンテンツの暗号及び解読のために使用される共有キーを変更した全てのフレーム境界を示す再キーイング）のために機能する。これは、キーが多くのデータに使用されないようにするためである。例えば、第１の２８フレームで、Ｔｘ及びＲｘはキーの残りを交換し、ＨＤＣＰにおけるＲｉ検査と呼ぶリンクの同期を検査し、同時にロービング経路２２０のＨＤＣＰエンジン２０４−２０８は、同期（例えば、再キーイング）及びアイドルのために機能する。

ロービング経路２２０のＨＤＣＰエンジン２０２−２０８は、受信機（Ｒｘ）が同期化されていることを送信機（Ｔｘ）に信頼させるために使用されるＲｉ値を同期するためにのみ短時間（例えば、再キーイング処理を実行する）機能する。換言すると、ＨＤＣＰエンジン２０４−２０８は、同期期間だけ必要とされ、かつ機能し、その期間の残りは、ＨＤＣＰエンジン２０２が機能し続けている間は期間の残りに更に使用されることなくアイドルになる。

図３は、複数のソース３０２−３１０からの複数のデータストリーム３１２−３２０を表示するための技術の実施形態を示している。一実施形態では、プレビューシステム３２４は、図１−２の事前認証及びロービング技術を利用して、受信側デバイス（例えば、テレビジョン）３２２に複数のデータストリーム３１２−３２０を表示する。複数の画面を通して表示される各データストリーム（例えば、ビデオデータ／コンテンツ／プログラム）は、個別のＨＤＭＩ入力ソース／ポート３０２−３１０から受信される。一実施形態では、事前認証及びロービング機能を有するデータストリーム３１２−３２０は、主ＨＤＭＩポートからの主データだけでなく（対応する主ポートとしてＨＤＭＩ入力ポート３０２が機能すると仮定する）、次に、ロービングスナップショットとして縮小される１つ又はそれよりも多くのロービングＨＤＭＩポートから抽出されたロービングデータを含む（ＨＤＭＩ入力ポート３０４−３１０が対応するロービングポートとして機能すると仮定する）。ロービングポート３０４−３１０からのこれらのロービングスナップショットは、次に、主ポート３０２からの主データ画像に融合され、それによって視聴者は、本明細書に図示のように、受信側デバイス３２２のビデオ表示画面上のフル主画像として主ポートベースのデータストリーム３１２、及びインセットビデオ表示画面の対応する数を通じたロービングスナップショットとしてロービングポートベースのデータストリーク３１４−３２０を見る。

説明する事前認証技術を使用すると、全てのポート、すなわち、主ＨＤＭＩポート３０２、並びにロービングＨＤＭＩポート３０４−３１０を含む全てのポートの事前認証が実行される。例えば、ロービングポート３０４−３１０の事前認証は、背景で実行することができ、それによって各ロービングポート３０４−３１０は、主ポートとして機能する必要がある場合は（現在機能している主ポート３０２を置換するために）、いつでも認証され利用可能のままであり、同時にデータ／コンテンツが全てのポート３０２−３１０から抽出される。

ロービングポートベースのデータストリーム（ロービングデータストリーム／画像）３１４−３２０の解像度の差及びその対応するクロック、ＳＹＮＣなどのために、ロービングポート３０４−３１０から来る各ロービングデータストリーム３１４−３２０の各サブ画像は、フレームバッファに格納される。他方、主ポートベースのデータストリームの画像（主データストリーム／画像）３１２は、その相対的に大きなサイズのために（例えば、１０８０ｐ／２４ｂｐｐに対して約６ＭＢ）フレームバッファに収めることができず、代わりに、主画像ピクセルは、主画像に対してフレームバッファを使用しないオンザフライのロービングサブ画像（例えば、上述のスナップショット）のピクセルと共に配置される。一実施形態では、ロービングサブ画像３１４−３２０は、主画像３１２に準拠し、かつ正確な位置で主画像３１２に入るように変換され、それによってユーザは、本明細書で図示のように、１つの画面（画面インセットを含む）で主ポート３０２及びロービングポート３０４−３１０それぞれからの主画像３１２及びロービングサブ画像３１４−３２０を含む全てのビデオフレームを見ることができる。

図４Ａは、プレビューシステム３２４の実施形態を示している。図示のプレビューシステム３２４は、ストリーム抽出器４０２、サブフレームハンドラ４０４、ストリーム混合器４０６、及びＴｘインターフェイス４０８を含む４つの主な部分を含む。ストリーム抽出器４０２は、２つのデータストリーム、すなわち、主ポート（例えば、主ＨＤＭＩポート３０２）に関する主ポート（ＭＰ）データストリーム４１０及び対応する数のロービングポート（ロービングＨＤＭＩポート３０４−３１０など）に関するいくつかのロービングポート（ＲＰ）データストリーム４１２に生成される複数のＨＤＭＩ入力（例えば、図３のＨＤＭＩポート３０２−３１０）を受信する。ＭＰデータストリーム４１０は、受信機デバイスに関連付けられた表示画面にＭＰ画像を提供するのに使用され、このＭＰ画像は、更に対応するロービングポートから抽出されるロービングデータストリームから抽出されたサブ画像のプレビュー（例えば、スナップショット）を含む。ＭＰデータストリーム４１０はまた、主画像及びサブ画像に関連付けられたオーディオ及び他の制御／情報パケットを収容する。

図示のように、いずれの関連のＭＰ情報４１４も生成されてＭＰデータストリーム４１０に関連付けられる。ＲＰデータストリーム４１２は、時分割でロービングポートから受信されるロービング画像のスナップショットを有する複数のストリームを生成し、同時に背景で事前に認証されたロービングＨＤＣＰポートを維持する。ＲＰデータストリーム４１２のいずれの制御／情報パケットも使用することができるが、ＴＶへのダウンストリームには転送できない。ＭＰデータストリーム４１０及びその対応するＭＰ情報ストリーム４１４に関して、関連のＲＰ情報ストリーム４１６も生成され、ＲＰデータストリーム４１２に関連付けられる。これらのＭＰ及びＲＰ情報ストリーム４１４、４１６は、関連のビデオ情報（例えば、色深度、解像度など）、並びにＭＰ、ＲＰデータストリーム４１０、４１２に関するオーディオ情報を含むことができる。主パイプ（主ポートに関連付けられる）及びロービングパイプ（ロービングポートに関連付けられる）は、ＨＤＣＰ解読器４２８及び４３６及び制御／情報パケット（例えば、データアイランド（ＤＩ）パケット）分析器４３０及び４３８を含み、音声／映像（ＡＶ）データストリーム及びその関連の情報ストリーム（例えば、解像度、色深度（色を表現するのに使用されているビットの数））を生成し、必要に応じて背景で可能な劣悪なＨＤＣＰ状況を検出してＨＤＣＰ認証４２６又は事前認証を再初期化する。

図示のように、ＭＰ及びＲＰに関するＨＤＣＰ解読器４２８、４３６及びＤＩパケット分析器４３０、４３８の両方は、そのそれぞれの出力データストリーム４１０、４１２及びその関連の情報ストリーム４１４、４１６を処理及び生成するためのその対応するＤＰＬＬ４２２、４３２及びパケット分析器４２４、４３４に結合される。ストリーム抽出器４０２は、更に、アナログコア４１８及びマルチプレクサ４２０、並びにＨＤＣＰ再初期化器４２６、ポート変更制御構成要素４４０、及びｍ個のＨＤＣＰエンジン４４２を含み、ｍ個のポートの認証を助ける。各選択されたポートからのいずれのＨＤＭＩ信号も、次に、事前認証のために使用される。ストリーム抽出器４０２及びその機能の例示的な構成要素を図１に更に説明している。

ストリーム抽出器４０２を離れた後のＭＰストリーム４１０、４１４は、ストリーム混合器４０６に入り、ＲＰストリーム４１２、４１６は、サブフレームハンドラ４０４に入る。サブフレームハンドラ４０４は、ＲＰストリーム４１２、４１６を通じて背景ロービングポートの画像を捕捉する。ＲＰストリーム４１２、４１６は、ＲＰストリーム４１２、４１６から色深度情報毎にピクセルを抽出する深色処理構成要素４４６で受信される。ピクセルの抽出が実行された状態で、色変換構成要素４４８を使用してピクセルの色変換が実行され、サブサンプリング／ダウンスケーリング論理４５０を通じて各解像度毎にダウンサンプリングを実行することが続き、次に圧縮が行われ（「離散コサイン変換（ＤＣＴ）」／「実行長符号化（ＲＬＣ）」論理４５４を使用して）次に、結果が入力バッファ４６２におけるフレームメモリに格納される。ＭＰ画像の各フレームに対して、圧縮された画像がフレームバッファ４６０から取り出され、次に解凍され、ＩＤＣＴ「逆離散コサイン変換（ＩＤＣＴ）」及び「実行長復号（ＲＬＤ）」を通じて出力バッファ４５６に入れられ、適切な時間にストリーム混合器４０６に提供される。サブ画像は、ロービングパイプがポートに戻る度に更新され、コンテンツが更新されるまで同じ画像が何度も送信される。

深色処理構成要素４４６は、ＲＰ情報ストリーム４１６を通じてＲＰの色深度情報（すなわち、ピクセルにおける各色を表すのに使用されるビットの数）を使用してピクセル境界を検出し、有効な信号を有するそのピクセルを抽出する。抽出されたピクセルは、色変換構成要素４４８を通じて色変換を通過する。

論理４５０は、サブサンプリング／ダウンスケーリングを実行する（すなわち、ピクチャサイズを縮小する）。サブサンプリング／ダウンスケーリング比率は、主ポートの解像度、ビデオフォーマット（例えば、インターレーシング）、及び画像複製と、ロービングポートのそれらのものとによって判断される。各ポートがビデオソースの異なるサイズを有する時に、そのダウンサイジング率も異なる。例えば、１０８０ｐ画像に対するピクセルの数は、主画像解像度に関わらずインセット表示（ＰＶ、プレビューと呼ぶ）の同じサイズを保護するために４８０ｐ画像に対してよりも大きい。サブサンプリング／ダウンスケーリングされたピクセルは、ラインバッファ４５２の１つに入れられ、他のラインバッファ４５２のコンテンツは、それに続くブロックによって使用される（例えば、二重バッファ方式）。各ラインバッファ４５２は、それに続く作動（例えば、４ｘ４ＤＣＴ）に対してピクセルのいくつかのライン（例えば、４行）を含むことができる。ＤＣＴ／ＲＬＣ論理４５４でのＤＣＴ及びＲＬＣ（実行長符号化）は、新しいデータを取得していないラインバッファ４５２の１つからピクセルデータ（例えば、４ｘ４ピクセルデータ）を取得して圧縮を実行する。ＤＣＴ／ＲＬＣ論理４５４でのＤＣＴのＲＬＣからの結果である出力係数が入力バッファ４６２に入れられる。

入力バッファ４６２のコンテンツ（例えば、１フレーム）は、現在のＲＰに割り当てられているフレームバッファ４６０のいくつかの（例えば、４）セグメントの１つに複写される。この複写は、いずれの引き裂き効果も阻止するために主画像の垂直同期（ＶＳ）時間の間に、かつＲＰデータのサンプリングが確実に実行された場合に行われる。ＩＤＣＴ／ＲＬＤ（実行長復号）論理４５８は、出力ラインバッファ４５６の「空」ステータスをモニタし、これらが空になった場合に、ＩＤＣＴ／ＲＬＤ論理４５８は、フレームバッファ４６０から係数の１ブロックを取得して解凍を実行する。この解凍の出力（例えば、４ｘ４ブロックでのＹＣｂＣｒ）は、空である出力ラインバッファ４５６の１つに入る。この出力ラインバッファ４５６は、次に、ストリーム混合器４０６から各要求毎に１ピクセルデータを送出する。フレームバッファ４６０及び出力ラインバッファ４５６の各ポートへのいずれのセグメントの割り当ても、ＭＰ選択毎に動的に変更することができ、単にｍ−１セグメントを有するｍ個のポート内でｍ−１ＰＶ（例えば、プレビュー、インセット表示）を助ける。

ここで図４Ｂを参照すると、ストリーム混合器４０６は、ＭＰデータ及び情報ストリーム４１０、４１４を受信する。ＭＰデータストリーム４１０がその関連のＭＰ情報ストリーム４１４と共に受信された状態で、そのピクセル境界が境界検出論理４６８によって検出される。次に、境界検出論理４６８は、サブフレームハンドラ４０４の出力バッファ４５６からピクセルを受信し、次に、色変換構成要素４７２を使用して主色に対して色変換を実行する段階が続き、更にオンザフライであらゆるサブ画像の色変換ピクセルにＭＰデータストリーム４１０のピクセルを混合又は置換する段階が続く。一実施形態では、ＭＰピクセルをＲＰのピクセルに混合又はこれで置換するこの新しい技術を使用して、インセット表示を有する画像が、ＭＰデータストリーム４１０のためのフレームバッファを使用することなく生成される。

境界検出論理４６８は、ＭＰ情報ストリーム４１４から得られたあらゆる深色（例えば、ピクセルにおける色毎のビットの数を表す色深度）情報を使用してピクセル境界を検出し、ピクセル座標（Ｘ、Ｙなど）及びあらゆる関連のピクセル境界情報（例えば、Ｐｏｓ、Ａｍｔ）を生成する。ＲＰピクセルフェッチブロック４８０が、ＲＰ画像からの１つのピクセルが望ましいか否かを評価及び判断し、要求される場合に、ＲＰピクセルフェッチブロック４８０は、ピクセルデータ読取要求を出力ラインバッファ４５６に送出する。例えば、現在のピクセル座標（Ｘ、Ｙ）がＰＶ（インセット表示）範囲のいずれかにある場合を考えて（ＲＰからのピクセルデータが必要とされているか否かを意味する）、以前に読み出されてまだ使用されていないＲＰの残りのピクセルデータが十分にある場合を考える（十分にない場合には、ＲＰの新しいピクセルが必要になる）。出力ラインバッファ４５６からのピクセルデータは、例えば、１つのピクセルに対して２バイト（例えば、ＹＣｂＣｒ４２２）であり、色変換構成要素４７２に進み、ＭＰ画像の色になる。色変換構成要素４７２の出力は、ＲＰピクセルカットアンドペーストブロック４７８に入り、これは、次に、入力からビットの必要とされる量を抽出し、これは、次に、新しいピクセル計算ブロック４７６に入り、ＭＰ情報ストリーム４１４から得られたピクセルに融合され、次に、融合された最終ピクセルになる。最終ピクセルは、新しいピクセルインセットブロック４７４でＭＰ情報ストリーム４１４によって提供されたピクセルを置換する。新しいピクセルインセットブロック４７４は、新しいＭＰストリーム４８２を生成及び提供する。これらの処理において、いずれのサブ画像も、主画像に準拠するように変換され、その適切な位置で主画像に入れられる。例えば、主画像とロービング画像の両方の色深度、異なる色空間（例えば、ＹＣｂＣｒ対ＲＧＢ）、ピクセル反復、インターリーブ対進行、異なる解像度、及びビデオフォーマットが考慮される。

図４Ａを参照すると、新しいＭＰストリーム４８２は、ＴＭＤＳ符号化器４６４を使用してストリームのＴＭＤＳ符号化を提供するＴｘインターフェイス４０８を通過する出力として機能し、「先入れ先出し（ＦＩＦＯ）」ブロック４６６は、Ｔｘアナログブロックを備えたインターフェイスに対してＦＩＦＯでＭＰストリーム４８２を配置する。新しいＭＰストリーム４８２は、次に、ＴＸアナログコア４８４に送信することができる。ＭＰストリーム４８２は、主画像、並びにロービングサブ画像を含み、これらの画像（ビデオ及び／又はオーディオを有する）は、主デバイスが、画面の殆どを占め、ロービングサブ画像が小さなインセット画面上に表示されるように、表示／最終受信側デバイス（例えば、ＴＶ）によって表示される。

図５は、複数のソースからの複数のデータストリームを表示するための処理の実施形態を示している。一実施形態では、ストリーム抽出器は、いくつかの入力ポート（例えば、ＨＤＭＩ主ポート及び１つ又はそれよりも多くのＨＤＭＩロービングポートを含む）に結合される。ストリーム抽出器は、２つのデータストリーム、すなわち、主ポートに関するＭＰデータストリーム（ＭＰ＿ＳＴＲＭ）及びロービングポートに関するＲＰデータストリーム（ＲＰ＿ＳＴＲＭ）を処理ブロック５０２で生成するのに使用される。ストリーム抽出器は、一度に１つのロービングポートでいくつかのロービングポートの各１つに対してこの機能を繰返し実行する。処理ブロック５０４で、ストリーム抽出器と通信するサブフレームハンドラは、ロービングポートに関連付けられたＲＰデータストリームを縮小する。処理ブロック５０６で、サブフレームハンドラは、スケーリングされたロービングポートデータストリームの圧縮を実行し、次に、これを内部バッファに格納する。

処理ブロック５０８で、ストリーム抽出器と通信するストリーム混合器は、ＭＰデータストリームを受信し、その係数座標（例えば、Ｘ、Ｙ）を計算する。判断ブロック５１０で、ストリーム混合器は、（Ｘ、Ｙ）座標をユーザによって提供されたプレビュー画像の範囲と比較し、（Ｘ、Ｙ）座標がプレビュー画像範囲にあるか否かを判断する。（Ｘ、Ｙ）座標がプレビュー画像範囲にある場合、ストリーム混合器は、処理ブロック５１２でサブフレームハンドラに１つのピクセルデータを要求する。そうでない場合、処理は、処理ブロック５０８に続く。サブフレームハンドラがストリーム混合器から要求を取得した場合、サブフレームハンドラは、処理ブロック５１４でその内部バッファから現在の（Ｘ、Ｙ）座標に対応するいくつかのプレビュー画像の１つを取り出す。

処理ブロック５１６で、サブフレームハンドラは、以前に圧縮されたＲＰデータストリームを解凍し、その要求に対してストリーム混合器にピクセルを送信する。処理ブロック５１８で、ストリーム混合器は、次に、ＭＰデータストリームのピクセルに従ってサブフレームハンドラから受信したピクセルのピクセルフォーマットを変換するのに使用される（例えば、その色変換論理を使用した色変換）。処理ブロック５２０で、ストリーム混合器は、受信したピクセルをＭＰデータストリームに入れる（ＭＰデータストリームのピクセルをそのピクセル融合器を使用してプレビュー画像のピクセルで置換する）。

以前に開示したように、ＨＤＭＩポートは、単に一例としてかつ簡潔さと明確さのために説明されたものであり、他の非ＨＤＭＩポートも使用及び利用することができると考えられている。例えば、古いレガシーアナログ入力のようなビデオソースは、ＨＤＭＩストリームに容易に変換してその中に含めることができる内部処理のためのＴＶにおけるＲＧＢ及び制御ストリームに変換される。従って、これらは、本明細書を通して示すものと同じ方法でプレビュー作動において処理することができる。更に、本明細書に説明する圧縮及び格納機構は、一例として使用され、簡潔さ及び明確さのために提供されている。様々な他の圧縮／解凍及び格納方式を本発明の１つ又はそれよりも多くの実施形態によるフレームワークで使用することができるように考えられている。

図６は、本発明の実施形態を利用するネットワークコンピュータデバイス６０５の構成要素の実施形態の図である。この図では、ネットワークデバイス６０５は、以下に限定されるものではないが、テレビジョン、ケーブルセットトップボックス、ラジオ、ＤＶＤプレーヤ、ＣＤプレーヤ、スマートフォン、ストレージユニット、ゲームコンソール、又は他の媒体デバイスを含むネットワークにおけるあらゆるデバイスとすることができる。一部の実施形態では、ネットワークデバイス６０５は、ネットワーク機能を提供するためのネットワークユニット６１０を含む。ネットワーク機能は、以下に限定されるものではないが、メディアコンテンツストリームの生成、転送、格納、及び受信を含む。ネットワークユニット６１０は、チップ上の単一のシステム（ＳｏＣ）として又は複数の構成要素として実施することができる。

一部の実施形態では、ネットワークユニット６１０は、データの処理のためのプロセッサを含む。データの処理は、媒体データストリームの生成、転送、又は格納における媒体データストリームの編集、及び使用ための媒体データストリームの解読及び復号を含むことができる。ネットワークデバイスはまた、ＤＲＡＭ（動的ランダムアクセスメモリ）６２０又は他の類似のメモリ及びフラッシュメモリ６２５又は他の不揮発性メモリのようなネットワーク作動を助けるためのメモリを含むことができる。

ネットワークデバイス６０５はまた、１つ又はそれよりも多くのネットワークインターフェイス６５５をそれぞれ介したネットワーク上のデータの送信又はネットワークからのデータの受信のための送信機６３０及び／又は受信機６４０を含むことができる。送信機６３０又は受信機６４０は、例えば、「イーサネット（登録商標）」ケーブル６５０、同軸ケーブルを含む有線送信ケーブル、又は無線ユニットに接続することができる。送信機６３０又は受信機６４０は、データ送信用回線６３５及びデータ受信用回線６４５のような１つ又はそれよりも多くの回線によってデータ転送及び制御信号のためのネットワークユニット６１０に接続することができる。付加的な接続も備えることができる。ネットワークデバイス６０５はまた、本明細書には例示されていないデバイスの媒体作動のための多数の構成要素を含むことができる。

以上の説明では、解説の目的のために本発明の完全な理解を提供するための多数の特定の詳細が示されている。しかし、これらの特定の詳細のいくつかがなくても本発明を実施することができることは当業者には明らかであろう。他の例において、公知の構造及びデバイスは、ブロック図の形式で示されている。図示の構成要素の間に中間構造が存在する場合がある。本明細書で説明又は例示した構成要素は、例示又は説明していない付加的な入力又は出力を有することができる。

本発明の様々な実施形態は、様々な処理を含むことができる。これらの処理は、ハードウエア構成要素によって実行することができ、又は命令によってプログラムされた汎用又は専用プロセッサ又は論理回路に処理を実行させるために使用することができるコンピュータプログラム又は機械実行可能命令に具現化することができる。代替的に、ハードウエア及びソフトウエアの組合せによって処理を実行することができる。

ポート乗算器拡張機構の実施形態内に示されるか又はこれに関連付けられるような本明細書を通して説明する１つ又はそれよりも多くのモジュール、構成要素、又は要素は、ハードウエア、ソフトウエア、及び／又はその組合せを含むことができる。モジュールがソフトウエアを含む場合、ソフトウエアデータ、命令、及び／又は構成を機械／電子デバイス／ハードウエア毎に製造物品を通じて提供することができる。製造物品は、命令、データなどを提供するためにコンテンツを有する機械アクセス可能／可読媒体を含むことができる。コンテンツは、電子デバイス、例えば、説明する様々な作動又は実行を実施する本明細書に説明するファイラ、ディスク、又はディスクコントローラをもたらすことができる。

本発明の様々な実施形態の各部分は、本発明の実施形態による処理を実行するためのコンピュータ（又は他の電子デバイス）をプログラムするために使用することができるコンピュータプログラム命令を格納するコンピュータ可読媒体を含むことができるコンピュータプログラム製品として提供することができる。機械可読媒体は、以下に限定されるものではないが、フロッピー（登録商標）ディスケット、光学ディスク、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）、及び磁気光学ディスク、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的ＥＰＲＯＭ（ＥＥＰＲＯＭ）、磁力又は光カード、フラッシュメモリ、又は電子命令を格納するのに適する媒体／機械可読媒体の他の種類を含むことができる。更に、本発明はまた、コンピュータプログラム製品としてダウンロードすることができ、リモートコンピュータから要求側コンピュータにプログラムを転送することができる。

本方法の多くは、その最も基本的な形式で説明したが、本発明の基本的な範囲から逸脱することなく、処理は、方法のいずれかに追加又は方法のいずれかから削除することができ、情報は、説明したメッセージのいずれかに追加又は説明したメッセージのいずれかから取り除くことができる。多くの更に別の修正及び適応化を実施することができることは当業者には明らかであろう。特定的な実施形態は、本発明を制限ではなく例示するために提供されている。本発明の実施形態の範囲は、上記に提供した特定的な実施例によってではなく特許請求の範囲によってのみ判断されるものとする。

要素「Ａ」が、要素「Ｂ」に接続又はこれに結合されているとされる場合、要素Ａは、要素Ｂに直接に接続又は例えば要素「Ｃ」を通じて間接的に接続することができる。構成要素、特徴、構造、処理、又は特性「Ａ」が、構成要素、特徴、構造、処理、又は特性Ｂを「引き起こす」と本明細書又は特許請求の範囲が説明する時、これは、「Ａ」が「Ｂ」の少なくとも部分的な原因であるが、「Ｂ」を引き起こすことを助ける少なくとも１つの他の構成要素、特徴、構造、処理、又は特性を存在させることができることを意味する。構成要素、特徴、構造、処理、又は特性を含めることが「できる場合がある」、「できる場合があると考えられる」、又は「できると考えられる」ことを示す場合、その特定の構成要素、特徴、構造、処理、又は特性は、含まれる必要はない。本明細書又は特許請求の範囲が「ａ」又は「ａｎ」要素に言及する場合、これは、説明した要素が１つのみであることを意味しない。

実施形態は、本発明の実施又は例である。本明細書における「実施形態」、「一実施形態」、「一部の実施形態」、又は「他の実施形態」への言及は、実施形態に関して説明した特定の特徴、構造、又は特性が少なくとも一部の実施形態に含まれるが、必ずしも全ての実施形態に含まれるものではないことを意味する。「実施形態」、「一実施形態」、又は「一部の実施形態」の様々な出現は、必ずしも全て同じ実施形態を指すものではない。本発明の例示的な実施形態の以上の説明において、様々な特徴は、本発明の開示を整理して様々な発明的態様の１つ又はそれよりも多くの理解を助ける目的で本発明の単一の実施形態、図、又は説明に一緒に分類される場合もあることを理解すべきである。しかし、この開示した方法は、各特許請求の範囲に明示的に説明するより多くの特徴を特許請求する発明が要求するという意図を反映するように解釈すべきではない。むしろ、特許請求の範囲が反映するように、本発明の態様は、単一の上述の開示した実施形態の全ての特徴に満たないものにある。従って、特許請求の範囲は、これによって本明細書に明示的に組み込まれ、各特許請求の範囲は、本発明の個別の実施形態として成り立っている。

３０２ ＨＤＭＩ入力
３１２ データストリーム
３２２ 受信側デバイス
３２４ プレビューシステム

Claims (20)

1. 表示画面上に表示される１次画像を有し、１次ポートに関連付けられた１次データストリームを生成する段階と、
   前記１次ポートに結合された複数の２次ポートに関連付けられ、該複数の２次ポートから受信した複数の２次画像を有する２次データストリームを生成する段階と、
   前記１次画像を有し、更に複数のプレビュー画像として前記複数の２次画像を有する表示データストリーム内に前記１次データストリームを有する前記２次データストリームを融合する段階と、
   前記１次画像及び前記複数のプレビュー画像を前記表示画面上に表示し、該複数のプレビュー画像の各々が該表示画面上のインセット画面を通じて表示される段階と、
   を含むことを特徴とする方法。
2. 前記１次ポートは、主ポートを含み、
   前記複数の２次ポートは、複数のロービングポートを含む、
   ことを特徴とする請求項１に記載の方法。
3. 各ロービングポートがサービス提供の待機をすることができるように前記主ポートが前記１次ポートのままである間に背景で該ロービングポートを事前認証する段階を更に含むことを特徴とする請求項２に記載の方法。
4. 前記２次データストリームを処理する段階を更に含み、
   処理する段階は、色深度毎にピクセルを抽出する段階、解像度毎に色変換及びダウンサンプリング／ダウンスケーリングを実行する段階、及び前記２次データストリームを圧縮及び格納する段階を含む、
   ことを特徴とする請求項１に記載の方法。
5. 前記１次データストリームを処理する段階を更に含み、
   処理する段階は、ピクセル境界を検出する段階及びピクセルを検出する段階を含む、
   ことを特徴とする請求項１に記載の方法。
6. 前記２次データストリームの２次ピクセルを受信する段階と、
   前記１次データストリームの１次ピクセルの色深度フォーマット設定に続いて前記２次ピクセルを色変換する段階と、
   前記１次ピクセルを前記２次ピクセルに融合又はそれと置換する段階と、
   を更に含むことを特徴とする請求項１に記載の方法。
7. 前記色変換された２次ピクセルを前記１次ピクセルに融合して表示ピクセルを生成する段階と、
   前記表示ピクセルを含む前記表示データストリーム内にサブ画像として前記複数の２次画像を挿入する段階と、
   を更に含むことを特徴とする請求項１に記載の方法。
8. ストレージ媒体と該ストレージ媒体に結合されたプロセッサとを有するデータ処理デバイスであって、該プロセッサが、
   表示画面上に表示される１次画像を有し、１次ポートに関連付けられた１次データストリームを生成し、
   前記１次ポートに結合された複数の２次ポートに関連付けられ、該複数の２次ポートから受信した複数の２次画像を有する２次データストリームを生成し、
   前記１次画像を有し、更に複数のプレビュー画像として前記複数の２次画像を有する表示データストリーム内に前記１次データストリームを有する前記２次データストリームを融合する、
   前記データ処理デバイスと、
   前記データ処理デバイスに結合された表示デバイスであって、該表示デバイスが、
   前記１次画像及び前記複数のプレビュー画像を前記表示画面上に表示し、該複数のプレビュー画像の各々が該表示画面上のインセット画面を通じて表示される、
   前記表示デバイスと、
   を含むことを特徴とするシステム。
9. 前記１次ポートは、主ポートを含み、
   前記複数の２次ポートは、複数のロービングポートを含む、
   ことを特徴とする請求項８に記載のシステム。
10. 前記プロセッサは、更に、各ロービングポートがサービス提供の待機をするように前記主ポートが前記１次ポートのままである間に背景で該ロービングポートを事前認証するためのものであることを特徴とする請求項９に記載のシステム。
11. 前記プロセッサは、更に、前記２次データストリームを処理するためのものであり、
    処理は、色深度毎にピクセルを抽出すること、解像度毎に色変換及びダウンサンプリング／ダウンスケーリングを実行すること、及び前記２次データストリームを圧縮及び格納することを含む、
    ことを特徴とする請求項８に記載のシステム。
12. 前記プロセッサは、更に、前記１次データストリームを処理するためのものであり、
    処理は、ピクセル境界を検出すること及びピクセルを検出することを含む、
    ことを特徴とする請求項８に記載のシステム。
13. 前記プロセッサは、更に、
    前記２次データストリームの２次ピクセルを受信し、
    前記１次データストリームの１次ピクセルの色深度フォーマット設定に続いて前記２次ピクセルを色変換し、かつ
    前記１次ピクセルを前記２次ピクセルに融合又はそれと置換する、
    ためのものである、
    ことを特徴とする請求項８に記載のシステム。
14. 前記プロセッサは、更に、
    前記色変換された２次ピクセルを前記１次ピクセルに融合して表示ピクセルを生成し、かつ
    前記表示ピクセルを含む前記表示データストリーム内にサブ画像として前記複数の２次画像を挿入する、
    ためのものである、
    ことを特徴とする請求項８に記載のシステム。
15. ストレージ媒体を有するデータ処理デバイスと、
    前記ストレージ媒体に結合されたプロセッサと、
    を含み、
    前記プロセッサは、
    表示画面上に表示される１次画像を有し、１次ポートに関連付けられた１次データストリームを生成し、
    前記１次ポートに結合された複数の２次ポートに関連付けられ、該複数の２次ポートから受信した複数の２次画像を有する２次データストリームを生成し、かつ
    前記１次画像を有し、更に複数のプレビュー画像として前記複数の２次画像を有する表示データストリーム内に前記１次データストリームを有する前記２次データストリームを融合する、
    ことを特徴とする装置。
16. 前記データ処理デバイスに結合された表示デバイスを更に含み、該表示デバイスは、前記表示画面上に前記１次画像及び前記複数のプレビュー画像を表示し、該複数のプレビュー画像の各々が、該表示画面上のインセット画面を通じて表示されることを特徴とする請求項１５に記載の装置。
17. 前記１次ポートは、主ポートを含み、
    前記複数の２次ポートは、複数のロービングポートを含む、
    ことを特徴とする請求項１６に記載の装置。
18. 前記プロセッサは、更に、各ロービングポートがサービス提供の待機をすることができるように前記主ポートが前記１次ポートのままである間に背景で該ロービングポートを事前認証するためのものであることを特徴とする請求項１５に記載の装置。
19. 前記プロセッサは、更に、前記２次データストリームを処理するためのものであり、
    処理は、色深度毎にピクセルを抽出すること、解像度毎に色変換及びダウンサンプリング／ダウンスケーリングを実行すること、及び前記２次データストリームを圧縮及び格納することを含む、
    ことを特徴とする請求項１５に記載の装置。
20. 前記プロセッサは、更に、前記１次データストリームを処理するためのものであり、
    処理は、ピクセル境界を検出すること及びピクセルを検出することを含む、
    ことを特徴とする請求項１５に記載の装置。

Images