JP2014510331A - 単一クロックドメイン内のディープカラー映像の変換及び処理 - Google Patents

Abstract

本発明の実施形態は、一般的に、単一クロックドメイン内のディープカラー映像の変換及び処理に関する。方法の実施形態は、１つ又はそれよりも多くの映像データストリームを受信する段階を含み、１つ又はそれよりも多くの映像データストリームは、第１の映像データストリームを含み、第１の映像データストリームは、リンククロック信号の周波数でクロックされる。本方法は、更に、リンククロック信号の１サイクルにおけるデータの単一ピクセルの転送と変換映像データストリームの空サイクルを満たすためのヌルデータの挿入とを含む修正データフォーマットを有する変換映像データストリームに第１の映像データストリームを変換する段階と、変換映像データストリームにおいて有効映像データとヌルデータの間で区別するための有効データ信号の生成とを含む。本方法は、更に、リンククロック信号の周波数に従って変換映像データストリームを処理して変換映像データストリームから処理データストリームを生成する段階を含み、処理する段階は、有効データ信号を使用して有効映像データを識別する段階を含む。
【選択図】 図５

Description

〔関連出願〕
本出願は、本明細書において引用により組み込まれている２０１１年１月２５日出願の米国特許仮出願第６１／４３６，０１９号に関し、かつその優先権を請求するものである。

本発明の実施形態は、一般的にマルチメディア処理の分野に関し、特に単一クロックドメイン内のディープカラー映像の変換及び処理に関する。

映像データの処理及び表示において、色精度の様々なレベルを提供する多数の規格が存在する。高解像度映像は、高濃度の色及び強化された色精度を提供する。例えば、２４ビット色は、「トゥルーカラー」と呼び、１６７０万の色を提供する。「ディープカラー」とは、１６７０万色よりも多くを含む全範囲を指し、かつ一般的に３０ビット又はそれよりも多い（通常は、３０、３６、及び４８ビット色）。

しかし、ディープカラー映像データのネイティブフォーマットは、直接に処理することが困難である場合がある。従って、ディープカラー映像を処理する前及び後に、通常はディープカラーのための色深度変換が行われる。従来の色深度変換方法は、位相ロックループ（ＰＬＬ）を使用することによって「ピクセルクロック」と呼ぶローカルクロックドメインを生成する必要がある。位相ループの使用は、チップ面積要件、電力消費、及び回路設計／検証労力のようなある一定の製造及び開発コストを生じる。

本発明の実施形態は、一般的に、単一クロックドメイン内のディープカラー映像の変換及び処理に関する。

本発明の第１の態様において、方法は、１つ又はそれよりも多くの映像データストリームを受信する段階を含み、１つ又はそれよりも多くの映像データストリームは、第１の映像データストリームを含み、第１の映像データストリームは、第１の色深度を有し、かつリンククロック信号の周波数でクロックされる。本方法は、更に、リンククロック信号の１サイクルにおけるデータの単一ピクセルの転送と変換映像データストリームの空サイクルを満たすためのヌルデータの挿入とを含む修正データフォーマットを有する変換映像データストリームに第１の映像データストリームを変換する段階と、変換映像データストリームにおける有効映像データとヌルデータの間で区別するための有効データ信号の生成とを含む。本方法は、更に、リンククロック信号の周波数に従って変換映像データストリームを処理して変換映像データストリームから処理データストリームを生成する段階を含み、処理する段階は、有効データ信号を使用して有効映像データを識別する段階を含む。

本発明の第２の態様において、装置は、第１の映像データストリームの受信のためのポートを含み、第１の映像データストリームは、第１の色深度を有し、かつリンククロック周波数でクロックされる。装置は、更に、リンククロック信号の１サイクルにおけるデータの単一ピクセルの転送と変換映像データストリームの空サイクルを満たすためのヌルデータの挿入とを含む修正データフォーマットを有する変換映像データストリームに第１の映像データストリームを変換するための変換要素を含み、変換要素は、有効映像データとヌルデータの間で区別するための有効データ信号を生成する。装置は、更に、変換データストリームから処理データストリームを生成するための処理要素を含み、処理要素は、リンククロック信号の周波数に従って変換映像データストリームを処理する。
同じ参照番号が類似の要素を示す添付の図面の図において本発明の実施形態を制限ではなく一例として例示する。

ディープカラー映像データを取り扱うためのシステムの実施形態を示す図である。 ディープカラー映像データのためのリンククロック信号及びデータチャンネルのタイミング図を示す図である。 ディープカラー変換インタフェースを示す図である。 ディープカラー変換インタフェースの映像データタイミングを示す図である。 疎映像データを有するディープカラー映像を処理する実施形態を示す図である。 疎映像データを有するディープカラー映像を処理する実施形態の映像データタイミングを示す図である。 高密データから疎データへの色深度変換を提供するための回路の実施形態を示す図である。 疎データから高密データへの色深度変換を提供するための回路の実施形態を示す図である。 ピクチャー・イン・ピクチャー（ＰｉＰ）表示の生成を示す図である。 ＰｉＰ映像処理のためにディープカラー映像データを取り扱う実施例を示す図である。 ＰｉＰ映像処理のためにディープカラー映像を取り扱うための装置、システム、又は処理の実施形態を示す図である。 ディープカラー映像データの取り扱いの実施形態を示す流れ図である。 ピクチャー・イン・ピクチャー表示のためのディープカラー映像データの取り扱いの実施形態を示す流れ図である。

本発明の実施形態は、一般的に、単一クロックドメイン内のディープカラー映像の変換及び処理に関する。

一部の実施形態において、方法、装置、又はシステムは、ローカルクロック又はピクセルクロックドメインの生成なしに、単一リンククロックドメイン内のディープカラー映像の処理を提供する。一部の実施形態において、方法、装置、又はシステムは、ピクセルクロックを生成するために位相ロックループ回路の使用を必要とすることなく作動する。

ピクセルの色データを格納するのに必要なビット幅（又は色深度）が変化するいくつかの異なる色表現が存在する。トゥルーカラーの２４ビット／ピクセル（ｂｐｐ）表現では、各ピクセルに対する色値は、２４ビット／ピクセル方式で符号化され、８ビット符号なし整数（０から２５５の値）が、赤、緑、及び青の強度の各々を表している。この表現は、画像ファイル及び映像フォーマットにおける最も一般的な色交換フォーマットである。

対照的に、ディープカラーは、２４ビットトゥルーカラー表現よりも更に強化された色の表現を示す語である。ディープカラーは、ディスプレイ上の色を数百万から数十億に拡張し、より高い鮮明さ及び色精度を提供する。ディープカラーでは、一般的に３０−、３６−、及び４８−ビット／ピクセル（ｂｐｐ）ディープカラー表現が使用される。３０−ビット色表現では、色は、３つの１０−ビットチャンネルに格納され、３０ビットの色データ／ピクセルをもたらす。４８−ビット色表現では、高精度色が、３つの１６−ビットチャンネルに格納され、４８ビットの色データ／ピクセルをもたらす。

従来のシステムでは、色深度変換は、一般的にディープカラー色映像を処理する前及び後に実行され、ローカルクロック又はピクセルクロックドメインが、位相ロックループ回路を使用して生成される。一部の実施形態において、ディープカラー映像の変換及び処理は、リンククロックドメインを利用して単一クロックドメインで達成される。一部の実施形態において、ディープカラー映像間の変換及び映像データの処理は、ピクセルクロックドメインを生成するために位相ロック回路の使用を必要とすることなくリンククロックドメインで達成される。一部の実施形態において、方法、装置、又はシステムは、受信した映像データ（これらのデータがヌルデータの挿入なしの映像データを含むことを示すために本明細書では「高密映像データ」と呼ぶ場合がある）を修正された「疎映像データ」フォーマットに変換し、疎映像データは、ピクセルがリンククロック信号の１サイクルで転送されるように、かつヌルデータがリンククロック信号の空サイクルを満たすために挿入されるように変換された映像データである。

一部の実施形態において、方法、装置、又はシステムは、ＨＤＭＩ（登録商標）（高解像度マルチメディアリンク）又はＭＨＬ（登録商標）（移動体高解像度リンク）システムのようなマルチメディアシステムにおいて提供される。しかし、実施形態は、これらのリンクフォーマットに制限されない。

図１は、ディープカラー映像データを取り扱うためのシステムの実施形態を示している。この図では、１つ又はそれよりも多くのマルチメディアデータストリーム１５０を受信することができ、従って、データは、ディープカラー映像を含むことができる。データストリーム１５０は、ユニットに結合することができるか又は結合されなくてもよい装置又はシステム１００によって受信することができる。一部の実施形態において、装置又はシステムは、映像処理要素１０５を含み、映像処理要素は、映像データの処理を単純化するために映像処理の前に色深度変換のための論理を含む。一部の実施形態において、映像処理要素は、ローカルピクセルクロックドメインを生成するための位相ロックループ（ＰＬＬ）なしに作動し、変換及び処理は、受信した映像データの単一リンククロックドメインにおいて達成される。

一部の実施形態において、装置又はシステムは、データの受信のための受信機１１０と、処理及び表示に必要に応じてデータをバッファに入れるためのメモリ１１５と、処理された映像データの表示のための表示要素１２０とを含む映像データの取り扱いのための他の要素を含む。

図２は、ディープカラー映像データのためのリンククロック信号及びデータチャンネルのタイミング図を示している。この図では、映像データがＨＤＭＩのような物理的映像データリンクを通じて転送される状況でのリンククロック信号及び様々なディープカラーモードの１つのデータチャンネルが示されている。２４ｂｐｐ（ビット／ピクセル）の色深度２０５の場合、ピクセルは、リンククロックサイクル当たり１ピクセルの速度で転送される。ディープカラー深度２１０−２２０（３０ｂｐｐ２１０、３６ｂｐｐ２１５、及び４８ｂｐｐ２２０）の場合、リンククロック信号は、付加的なビットに対する余分の帯域幅を提供するために、ピクセルクロックよりも速く延びている。この図では、リンククロック速度は、２４ビットに対するピクセルサイズの比だけ増加している。

例えば、３６ｂｐｐ２１０の場合、リンククロック周波数は、２４ｂｐｐよりも１．５倍高い。映像データ経路に対して、ピクセル０の最初の８ビットデータは、第１のリンククロックサイクルで転送され、次に、ピクセル０の残りの４ビットデータ及びピクセル１の最初の４ビットデータは、一緒に詰め込まれて第２のリンククロックサイクルで転送される。

映像データ操作の場合、データチャンネルにおけるピクセル間の境界がサンプリングの時間及びディープカラーのモードに従って変化するので、インタフェースの提供が困難になる場合がある。この問題に対処するために、従来の映像プロセッサは、映像処理コアによる次の段階の映像処理を単純化するために、ディープカラーインタフェース（リンククロック信号に同期化されている）をピクセルクロックドメインに変換する。映像処理コア段階の機能は、システムの主機能に応じて異なり、かつピクチャー・イン・ピクチャー（ＰｉＰ）処理、画像強調、及びオンスクリーンディスプレイ（ＯＳＤ）などのようないずれかの映像処理タスクとすることができる。映像処理を終了した後、出力インタフェースは、従来通りに元のリンククロックドメインに変換される。

図３は、ディープカラー変換インタフェースを示している。これらの図では、３６ｂｐｐディープカラーインタフェースを変換するための実施例を提供する。図３では、映像データは、ソース側映像データバス３３０を通じて受信され、これらのデータは、リンククロック信号３２０によってクロックされるリンククロックドメイン３５０で受信される。また、受信される同期及び制御信号３２２も示されている。映像データは、ピクセルクロック信号３２８によってクロックされるピクセルクロックドメイン３５５で処理するために変換され、処理後にリンククロックドメイン３５０に再変換される。この図では、色深度変換（リンクからピクセル）モジュール３０５が、リンク−クロック−ドメインディープカラー映像を（リンククロック信号３２０の速度で）解凍し、１ピクセルクロック当たり１ピクセルの速度でピクセルが転送されるピクセル−クロック−ドメインインタフェースを（ピクセルクロック３２８の速度で）生成するように作動する。ピクセルクロック信号３２８は、データビット幅がリンククロックドメインよりも大きいので、リンククロック信号よりもゆっくり延びることができる。データは、ピクセルクロックドメイン３５５で映像データバス３３５を通じて転送され、映像処理コア３１０によって受信される。

位相ロックループ回路を含むＰＬＬモジュール３２５は、リンククロック信号３２０の周波数を下げてピクセルクロック信号３２８を生成するのに使用され、ピクセルクロック速度は、２４ビットに対するピクセルサイズの比によって定義される。この図では、ディープカラー映像データソース側映像データバス３３０（３つの８ビットデータラインを有するとして示されている）は、映像データを映像処理コア３１０に提供するために、映像処理を単純化するフォーマットで変換される。

映像処理コア３１０による映像処理の終了後、処理されたデータは、映像データバス３４０を通じて色深度変換（ピクセルからリンク）モジュール３１５に転送され、色深度変換モジュール３１５は、ピクセル−クロック−ドメインディープカラー映像を圧縮してシンク側映像データバス３４５でリンク−クロック−ドメインインタフェースを生成するように作動し、シンクデバイスインタフェースとの互換性を提供する。

図４は、ディープカラー変換インタフェースの映像データタイミングを示している。図４は、図３で提供された色変換の映像データタイミングの図を提供する。図４は、ソース側映像データバス３３０及び同期及び制御信号３２２、色深度変換（リンクからピクセル）モジュール３０５、映像データバス３３５、映像処理コア３１０、映像データバス３４０、色深度変換（ピクセルからリンク）モジュール３１５、及びシンク側映像データバス３４５を示している。図４に示すように、ソース側４７５におけるリンククロックドメインの映像データタイミング（映像データビット７−０を示す）は、色深度変換モジュール３０５により、ピクセルクロックドメイン４８０で整列した映像データタイミングに変換され、次に、シンク側４８５におけるリンククロックドメインで映像データタイミングを生成するために色深度変換モジュール３１５によって再変換される。

位相ロックループ（ＰＬＬ）回路は、出力クロックを生成する回路であり、その位相は、入力基準クロック信号の位相に関連付けられる。ＰＬＬは、入力基準クロックよりも低い又は高い周波数を有するローカルクロックを合成するのに使用される。従来の色深度変換では、ＰＬＬ回路は、入力リンククロック信号に対して望ましい周波数速度でピクセルクロック信号を生成するのに使用される。

しかし、ＰＬＬブロックは、殆どの高速チップに対して設計及び検証の困難さを課している。更に、ＰＬＬの実施のコストは重大である。ＰＬＬブロックは、大きなオンチップ面積を必要とし、大量の電力を消費する。

一部の実施形態において、方法、装置、又はシステムは、単一クロックドメイン、すなわち、リンククロックドメイン３５０を使用したディープカラー映像データの色変換を提供し、従って、ピクセルクロックドメイン３５５に対するクロッキングを生成する場合のＰＬＬモジュールに対する必要性を排除する。

図５は、疎映像データを有するディープカラー映像を処理する実施形態を示している。一部の実施形態において、方法、装置、又はシステムは、ＰＬＬモードの使用なしに映像処理を提供し、色深度変換映像データ処理が単一クロックドメインを利用する。

この図では、映像データは、ソースデバイスからソース映像データバス５３０上のポートで受信され、リンククロック信号５２０及び同期及び制御信号５２２と共に同期及び制御信号がモジュール間で送信される。一部の実施形態において、ピクセルクロック信号を生成するのではなく、疎映像データが、ソースからのディープカラー映像データの帯域幅を維持するために色深度変換モジュール又は要素５０５によってデータバス５３５に導入される。一部の実施形態において、色深度変換（高密から疎）モジュール５０５が、リンク−クロック−ドメイン ディープカラー映像データストリームを解凍し、１リンククロックサイクル当たり１ピクセルの速度でピクセルが転送される疎映像データインタフェースを生成する。

一部の実施形態において、映像処理コアモジュール又は要素５１０は、クロック周波数の修正なしにデータバス５３５で疎映像データを受信する。一部の実施形態において、データビット幅が増加していたとしても、映像処理コアモジュール５１０は、リンククロック信号５２０を受信する。従って、疎映像データバス５３５の総データ帯域幅は、映像データを受信しているソース映像データバス５３０の帯域幅よりも大きい。一部の実施形態において、色深度変換モジュール５０５の色深度変換比に従ってヌルデータが疎映像データバス５３５に詰め込まれ、変換比は、映像データのピクセルサイズと受信した映像データのビット幅との間の比である。一部の実施形態において、映像データ及び挿入されたヌルデータを識別するために、映像データがヌルデータを備えた間隔を有する期間に有効データ信号５６０が色深度変換モジュール５０５によってオフにされる。

一部の実施形態において、映像処理コアモジュール５１０は、有効データ信号５６０を利用して映像データと挿入されたヌルデータを区別し、有効データだけを処理する。一部の実施形態において、映像処理コアモジュール５１０は、有効データ信号５６２と共に、疎映像データバス５４０を通じて処理された映像データを提供し、処理された映像データと挿入されたヌルデータを識別する。

一部の実施形態において、付加的な色深度変換（疎から高密）モジュール又は要素５１５は、処理された疎映像データを受信し、有効データ信号５６２を利用して有効とヌルデータの間で区別し、処理された疎映像データを高密映像データに変換し、テレビジョン又は他の表示デバイスのようなシンクデバイスに適合するフォーマットでシンク側高密映像データバス５４５上に呈示する。

図６は、疎映像データを有するディープカラー映像を処理する実施形態の映像データタイミングを示している。図６は、特に、３６ｂｐｐ（１つのチャンネル当たり１２ビット）ディープカラーの処理のための図５に示す方法、装置、又はシステムの実施例を提供する。図６は、ソース側高密映像データバス５３０及び同期及び制御信号５２２、色深度変換（高密から疎）モジュール５０５、疎映像データバス５３５及び有効データ信号５６０、疎データ５１０を利用する映像処理コアモジュール、処理された疎映像データバス５４０及び有効データ信号５６２、色深度変換（疎から高密）モジュール５１５、及びシンク側疎映像データバス５４５を示している。疎映像データバス５３５のビット幅は、２４ビットに対するピクセルサイズの比だけリンク映像データバス５３０よりも大きい。従って、３６ｂｐｐの場合、ソース映像データバス５３０のビット幅は、１つのチャンネルにつき８ビットであり、疎映像データバス５３５のビット幅は、１つのチャンネルにつき１２ビットである。この実施例では、ソースが６リンククロックサイクルで４ピクセルを送信された時に、高密データ（ソース側）６７５のための映像データタイミングに示すように、疎映像データバス５３５は、４リンククロックサイクルに対して同じ量のデータを配信する。残りの２リンククロックサイクルに対して、ヌルデータが詰め込まれ、有効データ信号５６０は、疎データ６８０を有する映像データタイミングに示されている期間中は脱アサートにされる。

一部の実施形態において、映像処理コアモジュール５１０は、有効データ信号を検出するための制御論理を含み、これらの信号を利用して疎映像データの有効部分だけをサンプリングする。一部の実施形態において、このような論理を提供する場合のオーバヘッドは、チップ面積、電力消費、回路設計、及び検証労力のようなＰＬＬ開発及び製造コストに比べて小さい。

映像処理を終了した後、映像処理コアモジュール５１０は、疎映像バス５４０を通じて、変換された映像データを色深度変換（疎から高密）モジュール５１５に提供し、色深度変換モジュール５１５は、高密映像データ（シンク側）６８５に対する映像データタイミングに示すように、受信したデータのフォーマットに戻るタイミングにより、シンク側高密映像データバス５４５を通じた転送のために疎映像データを圧縮する。

図７は、高密データから疎データへの色深度変換を提供するための回路の実施形態を示している。図７は、特に、図５及び６の要素５０５のような色深度変換（高密から疎）モジュール又は要素の実施例を提供する。この図では、回路７００は、ディープカラー映像データ［７：０］７５０を受信する。一部の実施形態において、「ｄｅ」（データ有効化）信号７１２が高の期間中にカウンタ７３０を通じてリンククロックサイクル毎に３つの位相が回転し（０から２）、出力がマルチプレクサ７４０によって選択される。現在の位相に従って疎映像データが生成され、従って、１リンククロックサイクル当たり１ピクセルが転送され、各データ要素は、ラッチ７２０（サイクルに対する信号の８ビットを保持するため）及び７２２（遅延信号の８ビット及び位相０における現在の信号の４ビット及び遅延信号の４ビット及び位相１における現在の信号の８ビットを提供するため）によって分離されるように、映像データの現在の部分及び前の部分から構成され、ヌルデータ７５２が、映像データがないクロックサイクル（位相２）に対して挿入される。

従って、入力ポートに対して、８ビット映像データ７５０は、リンククロックサイクル毎に受信され、データの２４ビットの総数は、３つのリンククロックサイクルに対して受信される。出力ポートに対して、２４ビット疎映像データは、２つのリンククロックサイクル（位相０及び位相１）に対して１２ビット疎映像データ出力バス７１０を通じて送信され、ヌル１２ビットデータ７５２は、他方のサイクル（位相２）に対して送信される。一部の実施形態において、０及び１位相（すなわち、２よりも小さい値を有する位相）は、有効データ信号７１４を生成する要素７３２によって検出され、それによってヌルデータが疎データ出力バス７１０上に呈示される時に有効データ信号７１４は無効化される。

図８は、疎データから高密データへの色深度変換を提供するための回路の実施形態を示している。図８は、特に、図５及び６の要素５１５のような色深度変換（疎から高密）モジュール又は要素の実施例を提供する。一部の実施形態において、回路８００は、図７に示す高密から疎の色深度変換の逆処理を提供する。一部の実施形態において、回路８００は、ｄｅ信号８１２及び有効データ信号８１４と共に、疎映像データ［１１：０］８１０を受信し、ｄｅ信号８１２及び有効データ信号８１４は、カウンタ８３０で受信され、マルチプレクサ８０４に対する位相０〜２を通して計数する。

一部の実施形態において、有効データが位相０及び１で受信され、８２０（クロックサイクルに対する信号の１１ビットを保持する）及び８２２（位相０で現在の信号の８ビット、位相１で遅延信号の４ビット及び現在の信号の４ビット、及び位相２で現在の信号の８ビットを提供するため）をラッチする。位相２では、ヌルデータが疎映像データポートで受信されるが、ラッチ８２０で格納されたデータは、位相における映像データ出力を生成するのに使用される。従って、疎映像データ８１０に含まれるヌルデータはなくなり、映像データ出力８５０に含まれず、データは、高密映像データ形式に戻される。

図９は、ピクチャー・イン・ピクチャー表示の生成を示している。図９は、映像処理を伴う特定の適用例を示している。一部の実施形態において、単一クロックドメインにおける変換及び処理をこの実施例に加えることができる。ピクチャー・イン・ピクチャー（ＰｉＰ）は、テレビジョン又は他のディスプレイに呈示するためのある一定の映像送信機及び受信機の機能である。この図では、ＰｉＰ処理装置又はシステム９００は、映像−１ ９１０、映像−２ ９１２、及び映像−Ｎ ９１４まで続くような複数の映像データストリームを受信することができる。このようなシステムでは、この図における映像−１のような第１のチャンネルが、主チャンネル選択９２０によってディスプレイのフル画面に表示される主映像９４０に選択される。更に、映像−２及び映像−Ｎのような１つ又はそれよりも多くの他のチャンネルは、副チャンネル選択９２２及び９２４によって挿入ウィンドウに表示されるように選択され、挿入ウィンドウは、第１のチャンネルの上部に重ね合わせられる。選択された副チャンネルは、副映像−１ ９４２を生成するためのダウンサンプリング９３０、及び副映像−Ｎ ９４４を生成するためのダウンサンプリング９３２などによってサイズを縮小される。選択された映像は、映像ミキシング９５０に提供され、主映像及び主映像の上に重ねられるダウンサイズ副映像から構成される出力映像９６０を生成する。

図１０は、ＰｉＰ映像処理のためのディープカラー映像データを取り扱う実施例を示している。この実施例の従来の処理では、複数のクロックドメインが映像データの変換及び処理に必要であり、これは、様々なフォーマットで到着する場合がある映像データのミキシングによって更に複雑になる。一部の作動では、着信映像ポートが、異なる色表現を有する場合がある。ダウンサンプリングを実行して異なる色フォーマットを有する映像を結合するために、色深度変換処理がＰｉＰ処理に必要である。この図では、ＰｉＰ処理１０００は、映像−１ １０１０及び映像−２ １０１２を含む複数の着信マルチメディアデータストリームを受信することができる。この実施例では、主チャンネル選択１０２０は、主映像として映像−１を選択し、副チャンネル選択１０２２は、副チャンネルとして映像−２を選択する。

図示のように、主映像は、主映像クロックドメイン１０７０で映像ミキシング１０５０に提供される。主映像と副映像をミキシングするために、副映像は、同じクロックドメインであることが望ましい。この図では、副映像は、副映像クロックドメイン１０７２で受信される。副映像データは、上側色深度変換器１０３０によって受信され、副映像のための色深度情報を受信する。従来の装置又はシステムでは、上側色深度変換器１０３０は、この実施例におけるダウンサンプリング及びバッファリング１０３２のような処理を容易にするために副映像のフォーマットをピクセルクロックドメイン１０７４に変換する。ＰＬＬモジュール１０３６は、副映像と共に受信したリンククロック信号からピクセルクロック信号を生成するのに使用される。

ダウンサンプリング及びバッファリング１０３２の終了後、主映像に対する色深度情報を受信した下側色深度変換器１０３４は、映像ミキシング１０５０によって主映像に融合する前に副映像のフォーマットを互換性のための主映像と同じフォーマットに変換する。得られる映像出力１０６０は、主映像と主映像の上に重ねられた副映像から構成されるＰｉＰ表示である。

しかし、従来の装置又はシステムのＰＬＬ回路に必要なチップサイズ及び電力オーバヘッドは、製造におけるコスト及び付加的な複雑さを生じさせる。更に、ＰｉＰ処理システムは、システム内に、３つのクロックドメイン、すなわち、主クロックドメイン１０７０、副映像リンククロックドメイン１０７２、及び副映像ピクセルクロックドメイン１０７４を必要とする。複数のクロックドメインの使用は、一般的に、困難である論理設計及び検証の問題を生じる。図を単純化するために、図１０は、２つの映像入力しか持たないＰｉＰ映像処理装置又はシステムの単純な実施例を示している。映像入力の数が増す程、ＰＬＬ及びクロックドメインの数も増し、それによって従来の装置又はシステムの作動を更に複雑にする。

一部の実施形態において、ＰｉＰデータの処理には、代わりに映像データの取り扱いのための単一ドメインチャンネルを利用する段階を提供することができ、装置又はシステムは、ローカルピクセルクロックの生成のためのＰＬＬの使用を必要とすることなく作動させることができる。

図１１は、ＰｉＰ映像処理のためのディープカラー映像を処理するための装置、システム、又は処理の実施形態を示している。従来のシステムとは対照的に、この実施形態は、映像変換及び処理のためのピクセルクロックを生成するためにＰＬＬ回路を必要としない。一部の実施形態において、ＰｉＰ処理装置又はシステム１１００は、映像−１ １１１０及び映像−２ １１１２を含む複数のマルチメディアデータストリームを受信することができる。映像１は、主チャンネル選択１１２０によって主映像に選択され、映像２は、副チャンネル選択１１２２によって副映像に選択される。一部の実施形態において、副映像は、副映像リンククロックドメイン１１７２で受信され、映像データ変換及びＰｉＰ処理のためにこれらのドメインに残る。一部の実施形態において、副映像の色深度情報は、上側色変換器１１３０によって受信される。

一部の実施形態において、上側色深度変換器１１３０は、コア映像処理を容易にするために、例えば図５及び６に示すように副映像のフォーマットを疎映像フォーマットに変換し、疎映像データフォーマットは、各リンククロックサイクルにおけるデータの１つのピクセルを転送する段階及び映像データの空サイクルを満たすためにヌルデータを挿入する段階を提供する。この実施例では、映像処理は、副映像を縮小フォーマットに変換するためのダウンサンプリング及びバッファリング１１３２を含む。一部の実施形態において、映像処理（ダウンサンプリング）モジュール又は要素は、有効データ信号（図５及び６の有効データ信号５６０など）がアサートにされた時だけ映像データバスをサンプリングすることによって疎映像データにインタフェースで接続するための論理を含む。一部の実施形態において、ダウンサンプリング及びバッファリング１１３２が終了した後、主映像から色深度情報を受信した下側色深度変換器１１３４は、映像ミキシングモジュール又は要素１１５０によってデータが受信される前に、互換性のために処理済み副映像のフォーマットを主映像と同じディープカラーフォーマットに変換する。映像ミキシングモジュール１１５０は、出力映像ディスプレイ１１６０を生成するために主映像と副映像を融合させる段階を提供し、出力ディスプレイは、主映像と主映像の上に重ねられた副映像を含み、主映像と副映像は、同じ色深度を有する。

図１２は、ディープカラー映像データの取り扱いの実施形態を示す流れ図である。一部の実施形態において、ディープカラーデータである映像データ入力が受信される１２０２。一部の実施形態において、受信した映像データは、データの処理を容易にするために疎映像データに変換され、この変換は、映像データへのヌルデータの挿入を含む１２０４。映像データタイミングは、例えば、図６に示すものとすることができる。一部の実施形態において、有効データ信号が、有効映像データと挿入されたヌルデータを区別するために生成される１２０６。

一部の実施形態において、疎映像データ及び有効データ信号が、映像処理コア又は要素で受信され１２０８、有効データが分離及び処理され１２１０、従って、有効映像データの分離は、受信した有効データ信号に基づいている。一部の実施形態において、映像処理コア又は要素は、処理された疎映像データ及び有効データ信号を出力する１２１２。

一部の実施形態において、処理された疎映像データが、ヌルデータを区別して除くための有効データ信号の使用を含んで高密映像データに変換され１２１４、変換された映像データが出力として呈示される１２１６。一部の実施形態において、得られる処理済み映像データの深度は、入力データと同じであり、他の実施形態において、処理済み映像データの深度は、処理済み映像データが別の映像信号の深度に適合する必要がある時のように入力データの深度とは異なる。

図１３は、ピクチャー・イン・ピクチャー表示のためのディープカラー映像データの取り扱いの実施形態を示す流れ図である。図１３は、特定の適用例におけるデータの取り扱いを示し、複数の映像ストリームが、ＰｉＰ表示を生成するためにこれらのストリームをミキシングするために受信される。他の例は、例えば、分割画面（各画像が表示画面の一部に適合するように縮小されている）を生成するための複数のストリームの受信を含む類似の処理を利用することができる。

一部の実施形態において、複数の映像入力が受信され１３０２、映像入力は、様々な色深度を含む場合がある。第１の映像入力が、主映像として選択され、第２の映像入力が、副映像として選択される１３０４。説明を単純にするために、単一の副映像だけを説明するが、実施形態は、副映像データストリームのいずれの特定の数の変換及び処理にも制限されない。この実施例では、主映像は、第１の色深度を有することができ、第２の映像は、第１の色深度とは異なる場合がある第２の色深度を有することができる。一部の実施形態において、主映像は、主映像クロックドメインで受信され、第２の映像は、副映像リンククロックドメインで受信される１３０６。

一部の実施形態において、副映像は、副映像データの処理のための疎映像データフォーマットに変換され、この変換は、副映像データストリームへのヌルデータの挿入を含む１３０８。映像データタイミングは、例えば、図６に示すものとすることができる。一部の実施形態において、有効データ信号が、有効とヌルデータの間で区別するために生成される１３１０。

一部の実施形態において、疎映像データ及び有効データ信号が、映像処理コア又は要素で受信される１３１２。有効映像データは、有効データ信号に基づいて疎映像データストリームから分離され、有効映像データは、例えば、副映像のダウンサンプリング及びバッファリングを含む処理で処理される１３１４。一部の実施形態において、処理された疎映像データ及び有効映像データ信号は、映像処理コア又は要素から出力される１３１６。

一部の実施形態において、処理された疎映像データは、高密映像データに変換され、変換は、ヌルデータを排除するための有効データ信号の使用を含み、変換は、主映像のフォーマットに適合するように映像データを変換する１３１８。主映像及び副映像は、ミキシングされ１３２０、主映像と主映像の上に重ねられた挿入ウィンドウ内の副映像とを収容するＰｉＰ表示１３２２の出力をもたらす。

以上の説明では、解説の目的のために、多数の特定の詳細が本発明の完全な理解を提供するために示されている。しかし、本発明はこれらの特定の詳細の一部がなくても実施することができることは当業者には明らかであろう。他の事例では、公知の構造及びデバイスは、ブロック図の形式で示されている。図示の構成要素間には中間構造を存在させることができる。本明細書に説明又は図示した構成要素は、図示又は説明されていない付加的な入力又は出力を有することができる。図示の要素又は構成要素はまた、あらゆるフィールドの再順序付け又はフィールドサイズの変更を含む異なる配列又は順序に配列することができる。

本発明は、様々な処理を含むことができる。本発明の処理は、ハードウエア構成要素によって実行することができ、又は命令によってプログラムされた汎用又は専用プロセッサ又は論理回路に処理を実行させるために使用することができるコンピュータ可読命令に具現化することができる。代替的に、処理は、ハードウエア及びソフトウエアの組合せによって実行することができる。

本発明の各部分は、コンピュータ（又は他の電子デバイス）を本発明による処理を実行するようにプログラムするために使用することができるコンピュータプログラム命令を格納するコンピュータ可読ストレージ媒体を含むことができるコンピュータプログラム製品として提供することができる。コンピュータ可読ストレージ媒体は、以下に限定されるものではないが、フロッピー（登録商標）ディスク、光学ディスク、ＣＤ−ＲＯＭ（コンパクトディスク読取専用メモリ）、及び磁気光学ディスク、ＲＯＭ（読取専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＥＰＲＯＭ（消去可能プログラマブル読取専用メモリ）、ＥＥＰＲＯＭ（電子的消去可能プログラマブル読取専用メモリ）、磁気又は光学カード、フラッシュメモリ、又は電子命令を格納するのに適する他のタイプの媒体／コンピュータ可読媒体を含むことができる。更に、本発明はまた、コンピュータプログラム製品としてダウンロードすることができ、プログラムは、遠隔コンピュータから要求側コンピュータに転送することができる。

本方法の多くをその最も基本的な形態で説明したが、本発明の基本的な範囲から逸脱することなく本方法のいずれにも処理を追加するか又はいずれからも処理を削除することができ、説明したメッセージのいずれにも情報を追加するか又はいずれからも情報を削除することができる。多くの更に別の修正及び適応化を実行することができることは当業者には明らかであろう。特定的な実施形態は、本発明を制限するためではなく例示するために提供されている。

要素「Ａ」が要素「Ｂ」に対して又はそれと結合されているという場合、要素Ａは、要素Ｂに直接に結合することができ、又は例えば要素Ｃを通じて間接的に結合することができる。構成要素、特徴、構造、処理、又は特性Ａが、構成要素、特徴、構造、処理、又は特性Ｂを「引き起こす」と本明細書に説明される時に、これは、「Ａ」が「Ｂ」の少なくとも部分的な原因であるが、「Ｂ」を引き起こすことを助ける少なくとも１つの他の構成要素、特徴、構造、処理、又は特性が存在することができることを意味する。構成要素、特徴、構造、処理、又は特性を含む「場合がある」、「かもしれない」、又は「ことができると考えられる」ことを示す場合、その特定の構成要素、特徴、構造、処理、又は特性は、含まれる必要はない。明細書が「ａ」又は「ａｎ」要素を参照する場合、これは、説明する要素が１つしかないことを意味するのではない。

実施形態は、本発明の実施又は例である。本明細書における「実施形態」、「一実施形態」、「一部の実施形態」、又は「他の実施形態」の引用は、実施形態に関して説明した特定の特徴、構造、又は特性が、少なくとも一部の実施形態に含まれるが、必ずしも全ての実施形態に含まれないことを意味する。「実施形態」、「一実施形態」、又は「一部の実施形態」の様々な出現は、必ずしも全てが同じ実施形態を示していない。本発明の例示的な実施形態の以上の説明では、本発明の様々な特徴は、開示を分かり易くして１つ又はそれよりも多くの様々な本発明の態様の理解を助ける目的で単一の実施形態、図、又は説明に一緒にまとめられている場合があることを認めるべきである。

５０５ 色深度変換モジュール又は要素
５１０ 映像処理コアモジュール又は要素
５２０ リンククロック信号
５２２ 同期及び制御信号
５３０ ソース映像データバス

Claims (20)

1. データを処理する方法であって、
   第１の色深度を有してリンククロック信号の周波数でクロックされている第１の映像データストリームを含む１つ又はそれよりも多くの映像データストリームを受信する段階と、
   前記リンククロック信号の１サイクルにおけるデータの単一ピクセルの転送と変換映像データストリームの空サイクルを満たすためのヌルデータの挿入とを含む修正データフォーマットを有する変換映像データストリームに前記第１の映像データストリームを変換する段階と、
   前記変換映像データストリームにおいて有効映像データと前記ヌルデータの間で区別するための有効データ信号の生成と、
   前記リンククロック信号の前記周波数に従って前記変換映像データストリームを処理して該変換映像データストリームから処理データストリームを生成する段階であって、処理が、前記有効データ信号を使用して有効映像データを識別する段階を含む前記生成する段階と、
   を含むことを特徴とする方法。
2. 前記第１の映像データストリームを変換する段階は、ローカルピクセルクロック信号の生成のない該第１の映像ストリームのフォーマットの変換を含むことを特徴とする請求項１に記載の方法。
3. 前記第１の映像データストリームを変換する段階は、位相ロックループ（ＰＬＬ）要素の作動のない該第１の映像ストリームのフォーマットの変換を含むことを特徴とする請求項２に記載の方法。
4. 前記ヌルデータは、前記第１の色深度での前記映像データのピクセルのサイズと前記第１の映像データストリームのビット幅との間の比に従って挿入されることを特徴とする請求項１に記載の方法。
5. 前記処理データストリームを出力データストリームに変換する段階を更に含み、
   変換が、前記ヌルデータを取り除く段階を含む、
   ことを特徴とする請求項１に記載の方法。
6. 前記処理データストリームを変換する段階は、該データを前記出力データストリームを受信する装置に適合するフォーマットに変換する段階を含むことを特徴とする請求項５に記載の方法。
7. 前記処理データストリームを変換する段階は、該データを第２の映像データストリームのフォーマットに適合するフォーマットに変換する段階を含み、
   前記出力データストリームを前記第２の映像データストリームとミキシングする段階を更に含む、
   ことを特徴とする請求項５に記載の方法。
8. 第１の色深度を有してリンククロック周波数でクロックされる第１の映像データストリームの受信のためのポートと、
   リンククロック信号の１サイクルにおけるデータの単一ピクセルの転送と変換映像データストリームの空サイクルを満たすためのヌルデータの挿入とを含む修正データフォーマットを有する変換映像データストリームに前記第１のデータ映像データストリームを変換し、有効映像データと該ヌルデータの間で区別するための有効データ信号を生成するためのものである変換要素と、
   前記リンククロック信号の前記周波数に従って前記変換映像データストリームを処理し、該変換データストリームから処理データストリームを生成する処理要素と、
   を含むことを特徴とする装置。
9. 前記変換要素は、ローカルクロック信号を生成することなく前記第１の映像ストリームを変換するように作動することを特徴とする請求項８に記載の装置。
10. クロック信号を生成するのに位相ロックループ（ＰＬＬ）を含まないことを特徴とする請求項８に記載の装置。
11. 前記変換要素は、前記第１の色深度での前記映像データのピクセルのサイズと前記第１の映像データストリームのビット幅との間の比に従って前記ヌルデータを挿入するためのものであることを特徴とする請求項８に記載の装置。
12. 前記処理要素は、前記有効データ信号に基づいて有効映像データを識別するための論理を含むことを特徴とする請求項８に記載の装置。
13. 前記処理データストリームを出力データストリームに変換するための第２の変換要素を更に含み、
    前記処理データストリームの変換が、前記出力データストリームから前記ヌルデータを取り除く段階を含む、
    ことを特徴とする請求項８に記載の装置。
14. 前記処理データストリームを変換する前記第２の変換要素は、該データを前記出力データストリームを受信する装置に適合するフォーマットに変換する第２の変換を含むことを特徴とする請求項１３に記載の装置。
15. 第２の映像データストリームを受信するための第２のポートを更に含み、
    前記処理データストリームを変換する前記第２の変換要素は、該データを前記第２の映像データストリームのフォーマットに適合するフォーマットに変換することを含み、
    前記出力データストリームを前記第２の映像データストリームとミキシングするための映像ミキサーを更に含む、
    ことを特徴とする請求項１３に記載の装置。
16. リンククロック信号の１サイクルにおけるデータの単一ピクセルの転送と変換映像データストリームの空サイクルを満たすためのヌルデータの挿入とを含む修正データフォーマットを有する変換映像データストリームに第１の映像データストリームを変換し、有効映像データと該ヌルデータとの間で区別するための有効データ信号を生成するためのものである第１の変換要素と、
    前記変換映像データストリームを受信して処理データストリームを生成し、前記リンククロック信号の周波数に従って該変換映像データストリームを処理し、前記有効データ信号に基づいて有効映像データを識別するように作動可能である処理要素と、
    前記処理データストリームを出力データストリームに変換するための第２の変換要素であって、該処理データストリームの変換が、該出力データストリームから前記ヌルデータを取り除くことを含む前記第２の変換要素と、
    を含むことを特徴とする映像データシステム。
17. 前記処理要素は、前記有効データ信号を第２バージョン要素に提供し、
    前記出力ストリームからの前記ヌルデータの除去が、前記有効データ信号に基づいている、
    ことを特徴とする請求項１６に記載のシステム。
18. ローカルクロックピクセル周波数を生成することなく前記映像データの変換を提供することを特徴とする請求項１６に記載のシステム。
19. クロック信号の生成に関して位相ロックループ（ＰＬＬ）回路を含まないことを特徴とする請求項１８に記載のシステム。
20. システムが、前記出力をシンクデバイスに提供し、
    前記処理データストリームの変換が、前記シンクデバイスに適合するフォーマットへの前記映像データの変換を含む、
    ことを特徴とする請求項１６に記載のシステム。