各図面において示された要素は、ハードウエア、ソフトウエア、または、ハードウエアとソフトウエアを組み合わせた様々な形態で実施できることを理解すべきである。好ましくは、これらの各要素は、プロセッサ、メモリ、および入出力インタフェースを含む、1つ以上の適切にプログラムされた汎用デバイス上のハードウエアおよびソフトウエアを組み合わせて実施される。本明細書において、「結合(接続)されている」との表現は、直接的に結合(接続)されていること、または、1つ以上の中間コンポーネントを用いて、或いは介して、間接的に結合(接続)されていることを意味するように定義されている。このような中間コンポーネントは、ハードウエアに基づくコンポーネントおよびソフトウエアに基づくコンポーネントの双方を含む。
本説明は、本開示の原理を例示するものである。従って、本明細書に明示的に記載、または図示されていなくとも、当業者が本開示の原理を実施する様々な構成を企図することが可能であり、そのような構成が本開示の範囲に包含されることが理解できるであろう。
本明細書に記載された全ての例および条件付の文言は、本開示の原理を読者が理解するのを助けるための教示目的のものであり、発明者によって寄与された概念は、技術を発展させるものであり、このような具体的に記載された例や条件に限定されるように解釈されるべきではない。
また、本明細書における本開示の原理、態様、および、実施形態についての全ての記載、さらに、その特定の例は、構造的な均等物、機能的な均等物の双方を包含するように意図したものである。さらに、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、即ち、構造に係らず、同一の機能を実行するように開発された全ての要素を包含するように意図されている。
従って、例えば当業者であれば、本明細書において示されたブロック図は、本開示の原理を実施する例示的な回路の概念図であることが理解できよう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、いずれも様々な処理を表すことが理解できよう。これらの処理は、実質的にコンピュータによって読み取り可能なメディアにおいて表すことができ、コンピュータまたはプロセッサにより実行され、このようなコンピュータまたはプロセッサが明示的に図示されているかどうかに関わるものではない。
各図面において示される様々な要素の機能は、専用のハードウエアの使用により提供されてもよく、適切なソフトウエアと関連付けてソフトウエアを実行することが可能なハードウエアの使用によって提供されてもよい。機能がプロセッサによって提供される場合にも、単一の専用プロセッサによって提供されてもよく、単一の共有プロセッサによって提供されてもよく、一部は共有されていてもよい複数の別個のプロセッサによって提供されてもよい。さらに、用語「プロセッサ」または「コントローラ」を明示的に使用した場合であっても、ソフトウエアを実行することが可能なハードウエアのみを意味するように解釈されるべきではなく、限定するものではないが、ディジタル信号プロセッサ(DSP)・ハードウエア、ソフトウエアを格納する読み出し専用メモリ(ROM)、ランダム・アクセス・メモリ(RAM)、および不揮発性の記憶装置を黙示的に含むことがある。
また、従来のおよび/または慣習的な他のハードウエアを含んでもよい。同様に、各図面に示されたどのスイッチも概念的なものに過ぎない。これらの機能はプログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックとのインタラクションを介して、または、手動でも実行されることがある。状況に応じて具体的に理解されるように、実施者により、特定の技術を選択可能である。
請求の範囲において、特定の機能を実施するための手段として表現されたいずれの要素も、この機能をどのような方法で実行するものも包含するように意図している。例えばa)機能を実行する回路要素を組み合わせたもの、または、b)形態に関わらず、ソフトウエア、つまり、ファームウエア、マイクロコードなどを含み、機能を実施するためにソフトウエアの実行に適した回路と組み合わせたものも包含する。このような請求の範囲によって定義される本開示は、請求項に記載された様々な手段によって提供される機能が請求の範囲の要件として、組み合わせられ、まとめられている事実に基づいたものである。従って、このような機能を提供することが可能な手段はどのようなものであっても、本願において示されているものと均等であるとみなされる。
以下、本開示の1つ以上の具体的な実施形態について説明する。これらの実施形態の簡潔な説明を提供する目的で、明細書中では、実際の実施態様の必ずしも全ての特徴事項については説明しない。エンジニアリングまたは設計プロジェクトにおける場合のような、実際の実施態様の開発において、実施態様毎に変更されることがあるシステム関連およびビジネス関連の制約に対するコンプライアンスなど、開発者の特定の目的を達成するために数多くの実施態様独自の決定が行われなければならないことを理解すべきである。さらに、しかしながら、このような開発努力は、本開示の利点を享受する当業者の設計、製作、製造において日常的に行われるものであることを理解すべきである。
以下、ビデオ信号に関連するシステムについて、より具体的には、ここで定義されるような、地上波、衛星波、ケーブル、または、ブロードバンド・インターネット・システムなどの、信号送信システムを介してユーザ宅の構内にある受信装置に表示のために配信されるビデオ信号に関連するシステムについて説明する。さらに、システムは、ローカル・ディスク、何らかの形態のNAS(network attached storage)、または、ビデオ・サービスを提供する装置を含む、ローカル・ストレージから、あるいは、家庭用ネットワーク内の他の装置からのコンテンツを配信する装置を含む。ここで説明する各実施形態は、セットトップ・ボックス、または同様のビデオ処理装置において使用することができる。さらに、各実施形態は、セットトップ・ボックスに帰属する各機能がテレビジョンのビデオ復号機能に適用される、このようなテレビジョン、または、同様のビデオ信号ディスプレイ装置において使用することができる。同様の装置の例として、限定するものではないが、携帯電話、インテリジェント電話、携帯情報端末(PDA)、パーソナル・ビデオ・レコーダ、メディア・プレーヤ、ゲーム・コンソール、ディスク・プレーヤ、およびラップトップ・コンピュータが挙げられる。他のタイプの信号を受信するために利用される他のシステムは、同様の構造および処理を含むことがある。当業者であれば、本明細書中で説明された回路および処理の各実施形態が、1組の想定される実施形態に過ぎないことを理解できよう。なお、重要なこととして、様々な放送および無線規格に準拠した信号は、空中波、無線ネットワーク、電話線、電力線、同軸ケーブル、または、何らかの他のローカルなメディア(媒体)を介して送信されるものを含み、一般的に、地上波、衛星波、または、ケーブル・ネットワークを介するもの以外の方法で送信されることがある。従って、代替的な実施形態においては、システムのコンポーネントが組み替えられたり、省略されたり、追加的なコンポーネントがさらに設けられたりすることがある。例えば、軽微な変更により、本明細書において説明するシステムを、世界のどこか他の場所で使用されるサービスを含み、他の地上波放送サービス、wi−fiのビデオ・サービスおよびオーディオ・サービス、または、電話データ・サービスにおいて使用されるように構成することができる。
以下に説明する各実施形態は、主に、信号の受信および処理に関する。限定するものではないが、各図面において記載または示していない特定の制御信号および電力供給のための接続を含み、各実施形態の特定の態様は、当業者によって容易に確定することができるであろう。各実施形態は、マイクロプロセッサおよびプログラム・コード、または、カスタムな集積回路の使用を含み、ハードウエアを使用して実施されることもあり、ソフトウエアを用いて実施されることもあり、ハードウエアおよびソフトウエアの双方を用いて実施されることもあることを理解すべきである。さらに、各実施形態のうちの多くは、反復的な処理(演算)および各実施形態の要素間の接続に関わる場合があることを理解すべきである。代替的な各実施形態は、本明細書において説明されている反復的な処理の実施形態の代わりに、または、追加して、直列に結合された同一の要素を繰り返したものを用いたパイプライン・アーキテクチャを使用して実現されることがある。開示する各実施形態は、ビデオ・コンテンツの最適な表示を提供するシステムおよび方法に関する。
より具体的には、各実施形態は、ディスプレイ装置がサポートする好適なフォーマットが2D、3D、または、マルチビュー・フォーマットであるかを、利用可能なモードまたは技術とともに検出または判定し、この情報を使用して、信号プロセッサがディスプレイにとって適切且つ最適(最善)なフォーマットでコンテンツを提供するように、受信した2D、3D、または、マルチビュー・コンテンツを処理し、変換する信号処理に関する。
次に、各図面、最初に図1を参照すると、本開示の各態様を使用するコンテンツ配信システム100の例示的な実施形態が示されている。システム100は、3Dコンテンツを含むコンテンツを、オーディオ・プログラムおよびビデオ・プログラムの形態で、2つの想定可能な配信ネットワークのうちの一方を介してユーザ宅に配信する。主に3Dコンテンツの配信についてシステム100を説明するが、このシステム100をエンハンスド2Dコンテンツ、またはマルチビュー・コンテンツなど、他のビデオ・コンテンツの配信に同様に適用することができる。
システム100において、3Dコンテンツは、2Dコンテンツとともに、映画スタジオまたは制作ハウスなどの3Dコンテンツ・ソース110で作成され、提供される。3Dコンテンツ・ソース110は、放送アフィリエイト・マネージャ120に放送コンテンツ信号を提供する。さらに、3Dコンテンツ・ソース110は、コンテンツ・マネージャ130に特別なコンテンツ信号を提供する。放送アフィリエイト・マネージャ120およびコンテンツ・マネージャ130の各々は、それぞれ、配信ネットワーク140および配信ネットワーク150を介して、通常はユーザ宅に存在する、またはユーザ宅の近隣に存在するセットトップ・ボックス160に接続されている。さらに、コンテンツは、ローカル・コンテンツ・ソース180からセットトップ・ボックス160に配信されることがある。セットトップ・ボックス160は、ユーザ宅においてディスプレイ装置170に結合され、配信されたビデオ・コンテンツを視聴するために使用される。
上述したように、3Dコンテンツ・ソース110は、2つの形態のうちの少なくとも一方でコンテンツを供給することがある。一方の形態は、放送アフィリエイト・マネージャ120に配信される放送コンテンツである。放送アフィリエイト・マネージャ120は、通常、ABC放送(American Broadcasting Company)、CBS放送(Columbia Broadcasting System)、NBC放送(National Broadcasting Company)などの米国放送サービスであり、コンテンツを収集、保管することがある。さらに、ケーブルまたは衛星の信号コンテンツ配信に関連する放送サービスが放送アフィリエイト・マネージャ120となることがある。さらに、放送アフィリエイト・マネージャ120は、配信ネットワーク140を介したコンテンツの配信をスケジューリングすることができる。放送アフィリエイト・マネージャ120は、最終的には、スケジュールに基づいて、またはスケジュールに基づくことなく、配信ネットワーク140を介して配信用コンテンツを提供する。配信ネットワーク140は、国のセンターから1つ以上の地域またはローカルのセンターへの衛星送信リンクを含むことがある。さらに、配信ネットワーク140は、空中波放送、衛星波放送、またはケーブル放送などを介したローカル配信システムを使用したローカライズされたコンテンツ配信ネットワークを含むことがある。配信された放送コンテンツは、セットトップ・ボックス160上の配信ネットワーク・インタフェースを介して、セットトップ・ボックス160の入力部に供給される。
さらに、3Dコンテンツ・ソース110は、コンテンツ・マネージャ130に対して特別なコンテンツを提供することができる。特別なコンテンツには、プレミアム視聴、ペイパービュー・コンテンツ、3D映画またはビデオ、ゲーム、放送コンテンツに対するエンハウスメント・フィーチャー(拡張コンテンツ)、もしくは、放送アフィリエイト・マネージャ120に対して提供されない他のコンテンツが含まれることがある。コンテンツ・マネージャ130は、配信ネットワーク150を介したコンテンツの配信を管理し、再パッケージし、さらに、スケジューリングする。多くの場合、特別なコンテンツは、ユーザによってリクエストされ、コンテンツ・マネージャ130によって配信ネットワーク150を介して管理され、配信されるコンテンツである。インターネット・ウエブサイトなどのサービス・プロバイダがコンテンツ・マネージャ130となることもある。さらに、コンテンツ・マネージャ130は、3Dコンテンツ・ソースなどのコンテンツ・プロバイダ、放送アフィリエイト・マネージャ120などの放送サービス、または、配信ネットワーク・サービスと提携していることがある。さらに、コンテンツ・マネージャ130は、別個のインターネット接続を介して3Dコンテンツ・ソースによって提供されない他のインターネット・コンテンツを組み込むことがある。
コンテンツ・マネージャ130は、配信ネットワーク150などの別個の配信ネットワークを介して、セットトップ・ボックス160に対してコンテンツを配信することができる。配信ネットワーク150は、高速2方向のブロードバンド・インターネット・タイプの通信システムを含むことがある。なお、重要なこととして、ブロードキャスト・アフィリエイト・マネージャ120からのコンテンツの一部または全てが配信ネットワーク150を全て、または、部分的に使用して配信されることがあり、コンテンツ・マネージャ130からのコンテンツの一部または全てが配信ネットワーク140を全て、または、部分的に使用して配信されることがある。特別なコンテンツは、セットトップ・ボックス160上のコンテンツ配信ネットワーク・インタフェースを介してセットトップ・ボックス160の入力部に供給される。
さらに、ローカル・コンテンツ・ソース180がセットトップ・ボックス160にコンテンツを配信してもよい。ローカル・コンテンツ・ソース180は、配信ネットワーク140または配信ネットワーク150を介して配信されなかったコンテンツを提供してもよいが、このコンテンツは、依然として、3Dコンテンツ・ソース110から発せられるコンテンツに基づくことがある。さらに、ローカル・コンテンツ・ソース180は、ユーザが作成したコンテンツ、または、コンピュータが生成したコンテンツなどを提供することがある。この場合、コンテンツは送信されないが、代わりに、ローカルで生成、または、再生される。ローカル・コンテンツ・ソース180には、ハードディスク・ドライブなどのローカルの携帯用ストレージ装置、または、CDやDVDなどの着脱可能なメディアが含まれることがある。ローカル・コンテンツ・ソース180は、ゲーム・コンソールやパーソナル・コンピュータのような、エンタテインメント装置や情報装置の一部として含まれていてもよい。
セットトップ・ボックス160は、配信ネットワーク140および配信ネットワーク150のうちの一方、または両方から、或いは、ローカル・コンテンツ・ソース180から受信された信号の形態のコンテンツを受信する。セットトップ・ボックス160は、1つ以上のチャネルまたはプログラム・ストリームを選択し、復号することを含み、コンテンツを分離し、処理する。セットトップ・ボックス160は、ユーザの嗜好およびコマンドに基づいて受信したコンテンツを分離したものを提供することができる。より具体的には、セットトップ・ボックス160は、受信した信号のフォーマットの識別および判定を行い、利用可能な最良の、または、最適なディスプレイ信号フォーマット(表示用信号フォーマット)を判定した後、受信した信号をディスプレイ信号フォーマットに変換する。以下、セットトップ・ボックス160などの信号受信装置の動作についてのさらなる詳細を説明する。オーディオおよびビデオ信号の形態で選択、処理されたコンテンツは、ディスプレイ装置170に提供される。従来の2Dタイプのディスプレイがディスプレイ装置170となることがある。ディスプレイ装置170は、代替的には、3Dコンテンツを表示するために特定の3D信号フォーマット入力を必要とする先進の3Dディスプレイである。さらに、ユーザは、ディスプレイ装置170の2Dまたは3Dの特性を用いて使用できる3Dモードまたは技術を採用することができる。例えば、ユーザは、色付きレンズのグラスを使用して従来の2Dディスプレイ上でアナグリフ処理された信号を視聴することができる。さらに、ユーザは、3Dディスプレイと同期した偏光グラスまたはシャッター・グラスを使用してもよい。最後に、オート・ステレオスコピック・タイプ、または、他のタイプのマルチビュー・ディスプレイ・レンズを含む、先進のマルチビュー・ディスプレイをディスプレイ装置170とすることができる。
さらに、セットトップ・ボックス160は、配信ネットワーク150を介した通信用のインタフェースを含んでいてもよい。例えば、セットトップ・ボックス160は、ディスプレイ装置識別情報、コンテンツ・サーチ・リクエスト、または、ダイレクト・コンテンツ・リクエストを含む情報を、コンテンツ・マネージャ130に対して送信することが可能である。さらに、セットトップ・ボックス160は、配信ネットワーク150を介して、リクエストおよびサーチ・リクエストの結果に基づいてダウンロード可能なソフトウエア・アプリケーションおよびアップデートを含む情報、カスタム・コンテンツを受信するようにしてもよい。
図2を参照すると、本開示の各態様を使用したコンテンツ配信システム200の別の実施形態が示されている。システム200は、2つの想定可能な配信ネットワークのうちの一方を介して、オーディオ・プログラムおよびビデオ・プログラムの形態で、3Dコンテンツを含むコンテンツを、住居、アパートメント、およびホテルなどの1つまたは複数の居住ユニットに配信する。コンテンツは、ゲートウエイまたはヘッドエンド装置に提供される。ゲートウエイまたはヘッドエンド装置は、コンテンツを個々の部屋、アパートメント、または、住戸を有する居住区域内の複数のクライアント装置およびディスプレイ装置に配信する。主に3Dコンテンツの配信についてシステム200を記載しているが、エンハンスド2Dコンテンツまたはマルチビュー・コンテンツなど、他のビデオ・コンテンツの配信にシステム200を適用することもできる。
システム200において、3Dコンテンツは、2Dコンテンツとともに、映画スタジオまたは制作ハウスなどの3Dコンテンツ・ソース210で作成され、提供される。3Dコンテンツ・ソース210は、放送アフィリエイト・マネージャ220に放送コンテンツ信号を提供する。さらに、3Dコンテンツ・ソース210は、コンテンツ・マネージャ230に特別なコンテンツ信号を提供する。放送アフィリエイト・マネージャ220およびコンテンツ・マネージャ230の各々は、それぞれ、配信ネットワーク240および配信ネットワーク250を介して、通常は1つまたは複数の住戸に存在する、または、1つまたは複数の住戸の近隣に存在するゲートウエイ・ヘッドエンド装置255に接続されている。さらに、追加コンテンツがローカル・コンテンツ・ソース280からゲートウエイ・ヘッドエンド装置255に配信されることがある。なお、重要なこととして、ゲートウエイ・ヘッドエンド装置255が単一の住戸セッティング内において使用される場合、このゲートウエイ・ヘッドエンド装置255は、ゲートウエイ、または、ルータ装置と呼ばれることが多い。ゲートウエイ・ヘッドエンド装置255が複数の住戸セッティングにおいて使用される場合には、ゲートウエイ・ヘッドエンド装置255は、ヘッドエンド装置と呼ばれることが多い。ゲートウエイ・ヘッドエンド装置255は、住戸の任意の位置にある複数のクライアント装置265a〜265nの各々に接続されている。複数のクライアント装置265a〜265nの各々は、ディスプレイ装置270a〜270nに結合され、配信されたビデオ・コンテンツを視聴するために使用される。3Dコンテンツ・ソース210、放送アフィリエイト・マネージャ220、コンテンツ・マネージャ230、配信ネットワーク240、配信ネットワーク250、ディスプレイ装置270a〜270n、およびローカル・コンテンツ・ソース280の動作および機能は、図1の同様の名称を有する各要素と同様であり、本明細書においてさらなる詳細は説明しない。
ゲートウエイ・ヘッドエンド255は、配信ネットワーク240および配信ネットワーク250のうちの一方または両方から、或いは、ローカル・コンテンツ・ソース280からの受信された信号の形態のコンテンツを受信する。ゲートウエイ・ヘッドエンド255は、複数のチャネルまたはプログラム・ストリームのチューニング、復調、および逆多重化(分離)を同時に行う回路を含むことがある。この回路は、受信した信号を、プログラムまたはサービス(例えば、テレビジョン・チャンネル・ビデオ、テレビジョン・チャンネル・オーディオ、プログラム・ガイドなど)を各々が搬送する複数のデータ・ストリームに変換するために、複数のチューナ、復調器、および逆多重化器を含むことがある。さらに、ゲートウエイ・ヘッドエンド255は、クライアント装置265a〜265nにプログラムやサービスを提供するために、住戸内のローカル・エリア・ネットワーク(LAN)に対するインタフェースとなる処理回路を含む。一実施形態においては、ゲートウエイ・ヘッドエンド255は、イーサネット(登録商標)を介してクライアント装置265a〜265nに対するインタフェースとなるインタネット・プロトコル(IP)・ラッパ回路を含む。
ゲートウエイ・ヘッドエンド255は、ローカル・エリア・ネットワークを介してクライアント装置265a〜265nに接続されることがある。図示しないが、ローカル・エリア・ネットワークは、1つ以上のルータ、スイッチ、モデム、スプリッタ、またはブリッジを含むことがある。さらに、ローカル・エリア・ネットワークは、有線インタフェースに加えて無線インタフェースを含むことがある。クライアント装置265a〜265nは、IPパケットなど、ゲートウエイ・ヘッドエンド装置255からのデータを受信する機能を有するビデオ、オーディオ、および/または、その他のデータの受信機であればどのようなタイプのものであってもよい。本明細書において使用される用語、「クライアント装置」の範囲は、テレビジョンとともに使用される装置だけに限定されるものではない。むしろ、クライアント装置265a〜265nは、テレビジョン、ディスプレイ、または、コンピュータの内部にあるか、外部にあるかに関わらず、本明細書において説明されているように機能するように構成された、住居内のエンド・ユーザ装置として動作するどのような装置や機器であってもよく、限定するものではないが、ビデオ・コンポーネント、コンピュータ、無線電話、または他の形態のビデオ・レコーダが含まれる。
さらに、ゲートウエイ・ヘッドエンド装置255は、配信ネットワーク250を介して通信するためのインタフェースを含むことがある。例えば、ゲートウエイ・ヘッドエンド装置255は、1つ以上のクライアント装置265a〜265nから受信されるディスプレイ装置識別情報、コンテンツ・サーチ・リクエスト、または、ダイレクト・コンテンツ・リクエストを含む情報を、コンテンツ・マネージャ230に対して送信することが可能である。さらに、ゲートウエイ・ヘッドエンド255は、配信ネットワーク250を介して、各リクエストおよびサーチ・リクエストの結果に基づいてダウンロード可能なソフトウエア・アプリケーションおよびアップデートを含む情報、カスタム・コンテンツを受信し、この情報を1つ以上のクライアント装置265a〜265nに提供するようにしてもよい。
クライアント装置265a〜265nは、ローカル・エリア・ネットワークを介してゲートウエイ・ヘッドエンド装置255から受信したビデオ・プログラム・ストリームを含むデータ信号を処理する。さらに、クライアント装置265a〜265nは、コンテンツに対する個々のユーザの各リクエストを受信、処理し、これらのリクエストをゲートウエイ・ヘッドエンド255に提供することができる。ゲートウエイ・ヘッドエンド255におけるIPラッパ回路は、クライアント装置265a〜265nからのこれらのリクエストを受信し、特定のプログラムやサービスをリクエストしたクライアント装置265a〜265nに対してプログラムまたはサービス・コンテンツをマルチキャストする(即ち、IPアドレスを介してブロードキャストする)ように構成されていてもよい。オーディオ信号およびビデオ信号の形態の選択および処理されたプログラムまたはサービス・コンテンツは、ディスプレイ装置270a〜270nに供給される。以下、ゲートウエイ・ヘッドエンド255およびクライアント装置265a〜265nの動作のさらなる詳細について説明する。
図3を参照すると、信号受信装置300の実施形態のブロック図が示されている。信号受信装置300は、通常、図1または図2に記載されているような、1つ以上の配信ネットワークを介して配信されるコンテンツを含む信号を受信するために使用され、代替的には、図1に記載されているローカル・コンテンツ・ソース180または図2に記載されているローカル・コンテンツ・ソース280から配信されるコンテンツを含む信号を受信するために使用される。信号受信装置300は、図1に示されているセットトップ・ボックス160などの、セットトップ・ボックスに組み込まれることもあれば、代替的には、図1に示されているディスプレイ装置170などの、ディスプレイ装置を含む他の装置に組み込まれることもある。さらに、信号受信装置300の全て、または、一部がゲートウエイ・ヘッドエンド装置255またはクライアント装置265a〜265nに組み込まれることがある。いずれの場合においても、電源および様々な制御信号などの、信号受信装置300の完全な動作のために必要な幾つかのコンポーネントは、当業者によって良く知られているため、簡略化のために図示されていない。
信号受信装置300において、ビデオおよびオーディオのコンテンツを含む信号が入力信号受信機305で受信される。入力受信機305は、入力ストリーム・プロセッサ310に結合している。入力ストリーム・プロセッサ310は、オーディオ・プロセッサ330に結合している。オーディオ・プロセッサ330は、オーディオ・インタフェース335に結合している。オーディオ・インタフェース335は、オーディオ増幅器およびスピーカなどのような、外部機器での使用のためにオーディオ出力信号を供給する。さらに、入力ストリーム・プロセッサ310は、ベース・ビデオ・プロセッサ320に結合している。ベース・ビデオ・プロセッサ320は、ディスプレイ・プロセッサ340に結合している。ディスプレイ・プロセッサ340は、ディスプレイ・インタフェース350に結合している。ディスプレイ・インタフェース350は、出力ビデオ信号を供給し、追加的に、外部のディスプレイ要素または装置に対する通信インタフェースとなることがある。なお、重要なこととして、オーディオ出力信号およびビデオ出力信号は、HDMIなどのコンポジット出力インタフェースに組み合わされることがある。ビデオ・メモリ355は、入力ストリーム・プロセッサ310、ベース・ビデオ・プロセッサ320、およびディスプレイ・プロセッサ340に結合し、これらに対するインタフェースとなる。コントローラ360は、入力信号受信機305、入力ストリーム・プロセッサ310、ベース・ビデオ・プロセッサ320、オーディオ・プロセッサ330、ディスプレイ・プロセッサ340、およびディスプレイ・インタフェース350に結合している。制御メモリ365は、コントローラ360に結合している。さらに、コントローラ360は、ユーザ・インタフェース370に結合している。ユーザ・インタフェース370は、ユーザ、または視聴者によって信号受信機300のインタラクティブな制御を可能とするのに必要となるいかなる構造や装置も含む。
入力信号受信機305は、1つ以上のオーディオおよびビデオ・プログラムを含む信号を受信することができる。この信号は、配信ネットワーク140を介して配信される放送信号であるか、配信ネットワーク150を介して配信されるブロードバンド信号であるか、図1に示されているローカル・コンテンツ・ソース180、または、図2に同様に記載されているものによりローカルに提供される信号である。入力信号受信機305は、限定するものではないが、ケーブル、衛星、空中波、イーサネット、ファイバ、および電話線ネットワークを含む、幾つかの想定可能なネットワークのうちの1つを介して、さらに、物理的なメディアを介して提供される信号を受信、復調、および復号するために使用される幾つかの公知の受信機または送受信機回路のうちの1つ以上を含むことがある。所望の入力信号は、コントローラ360からの制御信号に基づいて入力信号受信機305において、選択し、チューニングし、復号することができる。代替的には、入力信号受信機305は、ローカル・コンテンツ・ソースから信号を受信することができる。コントローラ360は、ユーザ・インタフェース370を介して提供されるユーザ入力に基づいて制御信号を生成することができる。
入力受信機305からの復号された出力信号は、入力ストリーム・プロセッサ310に供給される。入力ストリーム・プロセッサ310は、最終的な信号コンテンツの選択および処理を実行し、復号された信号コンテンツ・ストリーム内でオーディオ・コンテンツからビデオ・コンテンツを分離する。オーディオ・コンテンツは、圧縮されたディジタル信号など、受信されたフォーマットからアナログまたはディジタルの波形の信号に変換するために、オーディオ・プロセッサ330に供給される。アナログまたはディジタルの波形の信号は、オーディオ・インタフェース335に供給され、さらに、ディスプレイ装置またはオーディオ増幅器に供給される。代替的には、オーディオ・インタフェース335は、高精細度マルチメディア・インターフェース(HDMI)・ケーブル、またはソニー社とフィリップス社のディジタル・インタコネクト・フォーマット(S/PDIF)などを介した代替的なディジタル・オーディオ・インタフェースを使用して、ディジタル信号をアナログ出力装置またはディスプレイ装置に供給することができる。
入力ストリーム・プロセッサ310からのビデオ信号コンテンツは、ベース・ビデオ・プロセッサ320に供給される。ビデオ信号コンテンツは、従来の圧縮2D、3Dチェッカーボード、オーバー/アンダー、ライン・インタリーブ、クインカンクス、サイドバイサイド・フォーマット、または、時間インタリーブ、Sensioなどの独自3Dフォーマット、または、MVCやSVCなどの他のフォーマットを含む幾つかのフォーマットのうちの1つで供給することができる。さらに、信号コンテンツは、24fpsまたは30fpsなど、特定のフレーム・レートで供給することができる。さらに、信号は、720ライン・インタリーブ(720i)または1080ライン・プログレッシブ(1080p)などの、特定のディスプレイ解像度フォーマットで供給することができる。ベース・ビデオ・プロセッサ320は、入力信号フォーマットおよび1つ以上のディスプレイ装置の特性に基づいてビデオ・コンテンツを必要に応じてベースフォームまたは中間フォームにする第1の変換を提供する。幾つかのベースフォームが想定可能であり、同時に、または、連続的に、複数のベースフォームを生成することができる。さらなる変換を容易にするために選択される、想定可能な1つのベースフォームは、左右ステレオスコピック・フォーマットのベースフォームである。左右ステレオスコピック・フォーマットは、左眼用の画像および右眼用の別の画像に基づく2つの別個の画像を含む。なお、重要なこととして、左右ステレオスコピック・フォーマットにより、入力信号のための様々な3Dフォーマットと、ディスプレイ装置のための他の様々な3Dフォーマットとの間の変換が可能となる。また、左右ステレオスコピック・フォーマットにより、2D入力フォーマットの3D出力への変換、さらに、3D入力フォーマットの2Dディスプレイでの使用のための2Dまたは3D出力への変換が可能となる。さらに、左右ステレオスコピック・フォーマットにより、マルチビュー入力フォーマットの2Dディスプレイ装置および3Dディスプレイ装置のうちのいずれかの信号フォーマットへの変換、また、その逆の変換が可能となる。
ベース・ビデオ・プロセッサ320におけるベースフォーム変換処理は、コントローラ360から受信された入力に基づいて制御されることがある。以下、ベースフォーム変換処理について、さらに詳細に説明する。ベース・ビデオ・プロセッサ320において必要となる第1の、即ち、ベースフォームの変換の後、1つのベースフォーム、または複数のベースフォームを含むベースフォーム信号は、ビデオ・メモリ355に記憶される。代替的には、ベースフォーム信号は、ディスプレイ・プロセッサ340に直接供給される。ベースフォーム信号をビデオ・メモリ355に供給せずに、ディスプレイ・プロセッサ340に直接供給するかどうかは、変換の演算量、または、受信された入力信号がコントローラ360によって識別、判定、制御されたことによって得られる情報に依存して決められる。
ベース・ビデオ・プロセッサ320またはビデオ・メモリ355からのベースフォーム信号は、ディスプレイ・プロセッサ340に供給される。ディスプレイ・プロセッサ340は、必要に応じて、ベースフォーム信号におけるベースフォームのうちの1つ以上をディスプレイ装置にとって適切な、または、ディスプレイ装置に最適化されたディスプレイ信号に変換する。ディスプレイ・プロセッサ340は、ベースフォーム信号をコントローラ360から受信された入力に基づいてディスプレイ信号に変換し、ディスプレイ・プロセッサ340で実行される変換処理は、ベース・ビデオ・プロセッサ320で実行される変換処理とは別個の変換処理となることがある。以下、ディスプレイ信号変換処理についてさらに詳細に説明する。ディスプレイ・プロセッサ340からの出力ディスプレイ信号は、ディスプレイ・インタフェース350に供給される。さらに、ディスプレイ・インタフェース350は、上述したタイプのディスプレイ装置などのディスプレイ装置にディスプレイ信号を供給する。ディスプレイ・インタフェース350は、赤―緑―青(RGB)インタフェースなどのアナログ信号インタフェース、または、HDMIなどのディジタル・インタフェースを含むことがある。
コントローラ360は、入力ストリーム・プロセッサ310、ベース・ビデオ・プロセッサ320、ディスプレイ・プロセッサ340、ディスプレイ・インタフェース350、およびユーザ・インタフェース370を含む信号受信装置300におけるブロックの幾つかと相互接続され、さらに、これらとの間の相互動作を制御する。コントローラ360は、入力ストリーム信号を適切または最適化されたディスプレイ信号に変更する2段階の変換処理を管理する。コントローラ360は、必要な変換処理を判定し、管理するために、幾つかの入力を受信することがある。まず、コントローラ360は、入力ストリーム・プロセッサ310から入力信号フォーマットに関する情報を受信することがある。この情報は、ヘッダ・パケット内のデータなど、信号の部分として供給されることがある。さらに、この情報は、受信した信号におけるコンテンツ・ストリームに関連付けられた別個の情報ストリームとして供給されることがある。さらに、入力信号フォーマット情報を、ユーザによる入力ストリーム・プロセッサ310における信号分析によって直接判定することができ、入力信号フォーマット情報を、ユーザ・インタフェース370を介して、または幾つかの他の所定の方法で、ユーザ入力として供給することができる。
コントローラ360は、ディスプレイ・インタフェース350から、ユーザ・インタフェース370を介してユーザから、または、入力ストリーム・プロセッサ310を介して受信した入力信号の部分として、ディスプレイ装置の機能に関する情報を追加的に受信することができる。例えば、ディスプレイ・インタフェース350でHDMI2方向通信を介して受信された情報を使用してディスプレイ装置を識別することができる。また、HDMI通信は、ディスプレイ機能を提供し、さらに、ディスプレイのための最適な設定項目を含むことができる。追加的には、HDMIを介した、または、ユーザによる識別の後、コントローラ360は、入力信号受信機を介して、さらに、配信ネットワークを介して、信号受信装置からのリクエストをデータベース・サービスに送信することができる。さらに、データベースは、最適な3D信号フォーマット、解像度、および技術能力(technology capabilities)を含む、特定の識別したディスプレイ装置に関連付けられた情報を含むことができる。さらに、データベースは、3Dコンテンツの表示のためにより適切または最適であると考えられる特定の特性または信号フォーマットやディスプレイ・フォーマットを識別することができる。制御メモリ365は、ディスプレイ情報、入力信号フォーマット情報、およびディスプレイ・フォーマット変換処理において使用される制御情報およびユーザ情報を記憶するように使用することができる。
図3に示され、記載されたビデオ・メモリ355および制御メモリ365は、当技術分野において公知な、どのような従来のストレージ、またはメモリ装置であってもよいことが理解されよう。さらに、ストレージまたはメモリの実施態様は、1つのメモリ装置、代替的には、共有された、または、共通のメモリを構成するために互いに結合された複数のメモリ回路など、幾つかの想定可能な実施形態を含むことがある。またさらに、メモリは、より大規模な回路のバス通信回路の部分など、他の回路に含まれることもある。最後に、ストレージまたはメモリは、限定するものではないが、SRAM(static random access memory)、ROM(read only memory)、および、ハードディスク・ドライブを含み、データおよび/またはインストラクション・コードを記憶するのに適したどのような現在のストレージ技術を利用することもできる。
さらに、コントローラ360は、入力ストリーム・コントローラ310、ベース・ビデオ・プロセッサ320、ディスプレイ・プロセッサ340、およびディスプレイ・インタフェース350に制御出力信号を供給する。コントローラ360は、入力信号のさらなる処理をバイパスし、さらに/または、受信されたフォームの受信信号コンテンツをビデオ・メモリ355に記憶するために、入力ストリーム・プロセッサ310、ベース・ビデオ・プロセッサ320、およびディスプレイ・プロセッサ340に信号を供給することができる。このパススルー・モードは、入力信号のタイプ、ディスプレイのタイプ、または、ユーザ入力に基づいて必要となる、または、望ましいものとなることがある。例えば、パススルー・モードは、信号入力およびディスプレイ装置が独自フォーマット、カスタム・フォーマット、または、未知の3D信号フォーマットを利用している場合に必要となることがある。入力信号をさらに変換すると、どのような変換であってもパフォーマンスを損なうだけになることがある。さらに、パススルー・モードの間、コントローラ360は、ディスプレイ・プロセッサ340に対して追加的な情報を提供して、ディスプレイ・インタフェース350への出力信号に対して信号によって伝達される情報を追加することができ、これにより、図1に記載されているディスプレイ装置170または図2に記載されている同様の装置などの、ディスプレイ装置での自動化された信号による情報伝達を可能にすることができる。
さらに、コントローラ360は、ベース・ビデオ・プロセッサ320およびディスプレイ・プロセッサ340に信号を供給し、コントローラ360によって受信された入力および情報に基づいて各ブロックにおいて実行するべき必要な変換ステップを識別し、実行することができる。例えば、コントローラ360は、制御信号をベース・ビデオ・プロセッサ320に供給し、入来する入力ビデオ・ストリームを480iのサイドバイサイド3D信号から、ベースフォームとして1080pで30fpsの2画像の左右ステレオスコピック画像に変換することができる。コントローラ360は、追加的に制御信号をディスプレイ・プロセッサ340に提供し、上述したように生成されたベースフォームから2D信号を生成することができる。一実施形態においては、ディスプレイ・プロセッサは、左眼画像を残し、右眼画像を削除または破棄することによって、2画像の左右ステレオスコピック画像としての3Dベースフォームから2D信号を生成する。以下、変換処理に関連するさらなる詳細について説明する。
図4を参照すると、本開示の各態様を使用したディスプレイ信号変換器400の実施形態のブロック図が示されている。ディスプレイ信号変換器400は、通常は、図3に記載された信号受信装置300、図1に記載されたセットトップ・ボックス160、または、図2に記載されたゲートウエイ・ヘッドエンド装置255およびクライアント装置265a〜265nなどの、信号受信装置の部分として含まれる。さらに、ディスプレイ信号変換器400の全てまたは一部は、入力ストリーム・プロセッサ310、ベース・ビデオ・プロセッサ320、ディスプレイ信号プロセッサ340、ディスプレイ・インタフェース350、およびコントローラ360など、図3に記載された1つ以上のブロック内に含めることができる。ディスプレイ信号変換器400は、主に、2Dおよび3D信号フォーマットのうちのいずれかで受信され、ベースフォームに変換され、次に、2Dディスプレイ装置または3Dディスプレイ装置にとって適切または最適なディスプレイ信号フォーマットに変換される信号のためのビデオ・ディスプレイ変換処理において使用される重要な要素のうちの少なくとも幾つかを含む。なお、重要なこととして、ディスプレイ信号変換器400は、限定するものではないが、3Dディスプレイのための2Dフォーマット、2Dディスプレイのための3Dフォーマット、さらにマルチビュー・ディスプレイなどのためのマルチビュー信号フォーマットなどを含む、他の信号フォーマットおよびディスプレイのためのビデオ・ディスプレイ変換処理に使用することができる。
ビデオ・フォーマットのビデオ・コンテンツを含む入力信号は、入力プロセッサ410によって受信される。入力プロセッサ410は、モード検出器420に結合している。モード検出器420は、ベース復号器プロセッサ430に結合している。ベース復号器プロセッサ430は、ディスプレイ信号プロセッサ440に結合している。ディスプレイ信号プロセッサ440は、出力プロセッサ450に結合している。出力プロセッサ450は、図1に記載されたディスプレイ装置170、または、図2に記載された同様の装置など、ビデオ・ディスプレイ装置にとって最適または適切なディスプレイ・フォーマットを使用して、最適また適切なディスプレイ信号を供給することができる。さらに、モード検出器420は、信号パススルー動作またはモードを可能にするために、出力プロセッサ540に結合している。スクリーン特性化ブロック460は、モード検出器420、ベース復号器プロセッサ430、およびディスプレイ信号プロセッサ440に結合している。さらに、スクリーン特性化ブロック460は、限定するものではないが、図3におけるユーザ・インタフェース470などの、ユーザ・インタフェースを介したユーザ入力、さらに、図3におけるコントローラ360などの、コントローラにおいて処理された装置クエリー結果を含む、他の回路(図示せず)からの入力を受信する。
入力信号は、幾つかの異なる信号フォーマットを用いる、1つまたは複数のプログラム・ストリーム・ビデオ信号として、入力プロセッサ410で受信することができる。限定するものではないが、信号フォーマットには、2D、ステレオスコピックの高精細度または標準精細度の時間インタリーブ(2Xストリーム)、サイドバイサイド、オーバー/アンダー、チェッカーボード、Sensio、2D+デプス(またはディスパリティ)マップ、MVC(メインおよびオフセット・ストリーム)、SVC(メインおよびエンハンスメント・ストリーム)、およびステレオスコピック画像コンテンツの域を超えるものを含む、他のフォームのマルチビュー・コンテンツが含まれる。さらに、入力信号は、特定のフレーム・レートおよびディスプレイ解像度特性を含むフォーマット情報を含むことがある。パケット識別、信号タイミングおよび同期など、入力プロセッサ410における幾らかの初期処理の後、モード検出器420は、信号フォーマットを判定することができる。信号フォーマットは、パケット・ヘッダにおける識別情報の復号、別個の信号による情報伝達、手動による構成セットアップによって、または、信号タイミング情報に基づく分析によって判定することができる。モード検出器420は、信号フォーマット・プロパティ情報をスクリーン特性化ブロック460に供給することができる。
スクリーン特性化ブロック460は、装置が結合されたディスプレイにとって可能な限り最良の3Dまたは他のビデオ体験を設定するために、静的または動的な方法で信号変換処理を決定し、管理するように動作することができる。一実施形態においては、スクリーン特性化ブロック460は、ディスプレイ装置にクエリーを行うことに関連する情報として提供される入力、さらにユーザのプリファレンス(嗜好)についての入力を受信する。別の実施形態においては、ディスプレイ・フォーマットおよびディスプレイ装置の特性は、ユーザ入力に基づいて予め決定されるか、または、予め選択される。これらのディスプレイ・フォーマットおよび装置入力は、第1に、変換のために最も適切な、または、最適なベースフォームを判定し、第2に、変換のために最も適切または最適なディスプレイ出力フォーマットを判定する、ディスプレイ・スクリーン特性化処理において使用される。ベースフォームに関連する情報およびディスプレイ・フォーマットは、まず、入力信号を復号し、この信号をベースフォーム信号に変換するために、ベース復号器プロセッサ430に供給される。
なお、重要なこととして、最適なディスプレイ・フォーマットは、限定するものではないが、ディスプレイに最良に適した、または一致した3Dフォーマット、最適な解像度、プログレッシブ・スキャンまたはインターレース・スキャン、画像深度、色域などを含む、幾つかの特性または条件に基づいて特性付けすることができる。
上述したように、幾つかの想定可能なベースフォームを使用することができる。例えば、2Dフォーマットの入力信号は、2Dフォーマットとして記憶することができ、ベースフォーム復号要素の部分として必要な変換は存在しない。同様に、マルチビュー・フォーマットの入力は、同様のマルチビュー・フォーマットとして記憶することができる。なお、重要なこととして、入力信号フォーマットは、2D単一フレーム(シングル・フレーム)の画像信号、3D単一フレームの画像信号(例えば、チェッカーボード、オーバー/アンダー、サイドバイサイド、ライン・インタリーブ、時間インタリーブ、クインカンクス、アナグリフ、または2D+デプス(またはディスパリティ)マップ)、3Dの2フレームのステレオスコピック視画像信号、または、マルチビュー・マルチフレームの画像信号として特性付けすることができる。さらに、上述した全てのフォーマットは、追加的なオクルージョン(occlusion)、または、他の追加的なデータを伴うことがある。さらに、これらのフォーマットのいずれをベースフォームとして使用してもよい。一実施形態においては、大抵の3D入力フォーマット(例えば、オーバー/アンダー、サイドバイサイド、チェッカーボード、ライン・インタリーブ、時間インタリーブ、クインカンクス、2D+デプス、ステレオスコピックMVCなど)は、信号の中に2つの画像を有する左右眼ステレオスコピック・フォーマットに変換することができる。
さらに、ベースフォームを可能な限り高解像度の信号にするために、ベース復号器プロセッサ430内でディスプレイ解像度のアップコンバージョンを実行することができる。再スケーリング、または、アップサンプリングは、解像度パフォーマンス最適アルゴリズムを使用することができ、これは、可逆ではないことがある。しかしながら、スクリーン特性化ブロック460からの入力に基づいて、想定される様々なディスプレイ装置のスクリーン解像度に対応するために、最適ではないが、可逆の再スケーリング・アルゴリズムを使用してもよい。さらに、入力フォーマットが最適な出力フォーマットであるとみなされる場合には、どのようなフォームの変換も行うことなく、現状のままの入力信号コンテンツを出力プロセッサ450に供給するようにモード検出器420を切り替えてもよい。
さらに、ベース復号器プロセッサ430は、受信された2D画像フォーマット信号をオンザフライで2Dから3Dに変換し、左右ステレオスコピック3D画像ベースフォーム信号における左右のビューを作成する。通常、2Dから3Dの変換にはかなりの信号処理を必要とするため、この2Dから3Dへの変換をベース復号器プロセッサ430におけるオプションの処理ブロックとして追加してもよい。以下、2Dから3Dへの変換に関連する情報をさらに詳細に説明する。同様に、ベース復号器プロセッサ430の処理には、2D入力信号から複数の異なるディスプレイ特性を有する2Dベースフォーム信号にする変換、マルチビュー入力信号から2Dまたは3D画像ベースフォース信号にする変換、或いは、2Dまたは3Dからマルチビュー画像ベースフォーム信号にする変換が含まれることがある。
ベースフォーム・ビデオ信号がベース復号器プロセッサ430を介して生成されると、ディスプレイ信号プロセッサ440は、第2の変換処理を使用して、ディスプレイ装置にとって適切または最適なビデオ・ディスプレイ出力信号を供給する。スクリーン特性化ブロック460からの情報など、ディスプレイ・フォーマットに関連する情報は、ベースフォーム信号をディスプレイ信号に変換するために、ディスプレイ信号プロセッサ440に供給される。スクリーン特性化ブロック460において実行されるスクリーン特性化の結果に基づいて、ベースフォーム信号における1つ以上のベースフォームの変換処理を識別することができる。これらの変換ステップには、ベースフォーム(例えば、2画像の左右ステレオスコピック・フォーマット)から単一フレームの3Dフォーマット(例えば、オーバー/アンダー、サイドバイサイド、チェッカーボード)への変換を含めることができ、さらに、ディスプレイ装置のために必要となるどのようなディスプレイ解像度またはフレーム・レートの再スケーリングを含めることもできる。さらに、ディスプレイ信号プロセッサ440の処理には、従来の、または、旧来の2Dディスプレイ装置上での表示のために、ベースフォーム3D画像から2D画像フォーマット信号にする変換が含まれることがある。一実施形態においては、この変換には、旧来のディスプレイ装置上での表示のための左眼のみのビューが含まれることがある。さらに、ディスプレイ信号プロセッサ440は、オンザフライでディスプレイ・フォーマット信号を生成して旧来の2Dディスプレイ装置上に3Dエフェクトを生じさせることができる。良く用いられる技術の1つとして、オンザフライで作成または生成される3Dビデオ信号のアナグリフ・ビデオ処理がある。以下、3Dエフェクト・タイプのビデオ処理についてさらに詳細に説明する。
ディスプレイ信号プロセッサ440の処理には、ディスプレイ解像度およびフレーム・レートの変換が含まれることもある。上述したように、通常、ベースフォーム信号は、可能な限り高解像度のフォーマットおよび/またはフレーム・レートを含むベースフォームを含む。ディスプレイ信号プロセッサ440は、ディスプレイ装置のために必要なディスプレイ解像度およびフレーム・レートを識別するスクリーン特性化ブロック460を介して入力を受信する。ディスプレイ信号プロセッサ440は、ベースフォーム信号を必要な解像度およびフレーム・レートに変換し、この変換には、必要であれば、プログレッシブ・スキャンからインターレース・スキャンへの変換が含まれる。ディスプレイ信号プロセッサ440は、識別された入力信号フォーマット、ベースフォーム、およびディスプレイ装置特性に応じて、最適または準最適な解像度変換処理を使用することができる。ディスプレイ信号プロセッサ440には、ディスプレイ解像度およびフレーム・レートの変換処理に加えて、または、この代わりに、3Dデプス、色域、または他の必要なパラメータを動的に変更するメカニズムを含めることができる。また、ディスプレイ信号プロセッサ440には、3Dから2Dへのダウンコンバージョン、さらに、マルチビューから2Dまたは3Dへのダウンコンバージョンのための処理を含めることができる。
ディスプレイ信号プロセッサ440からの変換済のディスプレイ信号は、出力プロセッサ450に供給される。出力プロセッサ450は、出力ディスプレイ信号がディスプレイ装置に確実に配信されるように、外部ディスプレイ装置とのインタフェースとなる。上述したように、出力ディスプレイ信号は、単一フレームのフォーマット、マルチフレームのフォーマット、または、マルチビュー・フォーマットとして、2Dフォーマットの場合もあれば、3Dフォーマットの場合もある。一実施形態においては、出力プロセッサ450は、2D信号を標準的な2Dフォーマットまたはアナグリフ3DフォーマットでアナログRGBインタフェースを介して2Dディスプレイ装置(例えば、CRT、LCD、DLP、OLED)に供給することができる。アナグリフ3Dフォーマットは、次に、色付きレンズ・グラスを使用して視ることができる。別の実施形態においては、出力プロセッサ450は、単一フレームの3D信号をサイドバイサイド、オーバー/アンダー、ライン・インタリーブ、時間インタリーブ、チェッカーボード、クインカンクス、または、他の信号フォーマットでHDMIを介して3Dディスプレイ装置(例えば、LCD、DLP、OLED)に供給することができる。大抵の場合には、これらの単一フレームの3Dフォーマットは、処理されてディスプレイ装置上の別個の左右の画像が生成され、同期したシャッター・レンズ・グラスまたは偏光グラスを用いて視られる。さらに、単一フレームの3Dフォーマットをメガネ(グラス)なしでオート・ステレオスコピック・ディスプレイ上で表示してもよい。さらに、出力プロセッサ450は、デュアル・ストリーム3D信号を供給してもよく、このデュアル・ストリーム3D信号は、ステレオスコピックな左右眼のビューを含むことがあり、または、2Dコンテンツおよびデプスもしくはディスパリティ・マップを有する信号を含むことがある。最後に、出力プロセッサ450は、オート・ステレオスコピック・ディスプレイ、または、2つのビューよりも多いことを必要とする他のディスプレイ上での表示のために、1つ以上のディジタル・ビデオ・インタフェースを介してマルチビュー信号を供給することができる。
上述した各変換ステップに加え、さらに、モード検出器420は、信号パススルー・モードを可能にする。場合によっては、変換処理が望ましくないか、不必要なことがあり、入力信号は、ディスプレイ装置のために、出力に単純にパスされる(受け渡される)。パススルー・モードに想定される1つの使用状況は、入力信号フォーマットがディスプレイ装置の最も適切または最適なプロパティと一致する状況である。例えば、入力信号が1080pのチェッカーボード3D信号であり、ディスプレイ装置がチェッカーボード信号を受け入れ、偏光メガネ技術を利用する1080pの3DのDLPディスプレイであることが考えられる。結果として、どのような処理または変換も、問題を及ぼすだけになるであろう。パススルー・モードは、信号フォーマットおよび/またはディスプレイ装置の検出に基づいて制御され、実行されることもあれば、ユーザ入力に基づいて制御され、実行されることもある。別の実施形態においては、入力信号がベース復号器プロセッサ430によって復号できないフォームである場合に、パススルー・モードを使用することができ、入力信号がさらなる信号の復号および表示のために、出力プロセッサ450およびディスプレイ装置に直接パスされることがある。1つのこのような例は、現在は存在しないが、将来はスクリーンやディスプレイ装置の双方によってサポートされ、さらに、送信されるような将来のマルチビュー・フォーマットのためのものであろう。この処理は、プレーヤが必ずしもストリームを復号しないが、このストリームを受信装置に直接パススルーするような、DVD用のディジタル・シアター・システムズ(DTS)音声の導入と同様であり得る。
なお、図4に記載された変換回路の一態様は、処理をマルチビューの信号およびシステムに拡張するフレキシビリティであることを理解すべきである。例えば、同様の処理を使用して3D信号としての信号を受信し、ベースフォーム(例えば、左右眼ステレオスコピック・フォーマット)に変換し、さらに、このベースフォームを処理し、例えば、2つを大幅に超える数のビューが必要となる可能性があるマルチビュー・オート・ステレオスコピック・ディスプレイ上での使用に適した複数のビューを生成することができる。さらに、同様の処理を使用して2つを大幅に超える数のビューを有するマルチビュー信号フォーマットの信号を受信し、信号をステレオスコピック3D視聴(例えば、左右眼フォーマット)に適したベース・フォーマット(ベースフォーム)に変換し、次に、ベースフォームを処理して3DのDLPディスプレイ上で使用するための信号(例えば、チェッカーボード1080p信号)を生成することができる。さらに、この同じマルチビュー入力信号を変換し、旧来の高精細度テレビジョン装置上での使用のための1080pの2D信号を生成することができる。
上述したように、図4に記載された変換回路の別の態様は、2Dソースから2つを超える数のビューを有する3Dまたはマルチビュー・ソースへのオンザフライでの変換を実行する機能である。この例においては、追加的なステップが2Dコンテンツから3Dまたはマルチビューのベースフォームを生成する処理において必要となるであろう。これを達成するために幾つかの公知のメカニズムが存在し、今日のマーケットにおける3DTVの中には、オンザフライで2Dから3Dに変換する機能を有するものが存在する。
さらに、上述したように、ディスプレイ信号プロセッサ440は、既存の2Dディスプレイ上で使用するための3Dコンテンツの作成をサポートし得る。このために用いられることの多い1つの技術は、アナグリフ技術である。アナグリフ技術は、ステレオグラム・イメージング技術の1つのタイプであり、また、低コストで、かつ既存の機器との互換性があるため、依然として、ビデオ・コンテンツの提供のために用いられることが多い。アナグリフ技術は、若干オフセットさせて重ね合わされる2つの異なるカラー・レイヤーからなる2つの画像を作成することに関する。結果として得られるビデオ信号は、2Dディスプレイ上に表示されるが、各接眼部(アイピース)に異なる色のフィルタを使用した1組のアナグリフ・フィルタ・グラスを介して視られる。結果として、各々の眼からは、見かけ上、異なる画像が見え、画像に深度(デプス)が生まれる。3Dエフェクトの質は、画像におけるコントラスト、シャドウの存在、さらに、画像内の各オブジェクトに対するオフセット距離の変化など、特定の画像パラメータに基づいて画像をさらに処理することによって改良することができる。
2D画像から3D画像を作成するために幾つかの他の技術を使用することができる。例えば、上述したアプローチを置き換えるか、発展させるような特定の有用なアプローチは、画像コンテンツの一連のフレームを使用することによって画像内のオブジェクトの深度を判定することに関わる。このようなアプローチは、ビデオ・コンテンツにとって特に有用であり、画像の位置変化、またはビデオの幾つかのフレームに亘った画像の周りのシャドウによって提供される手掛かりを使用して画像の深度を判定できるようにする。図3に記載されたディスプレイ・プロセッサ340、さらに、ベース復号器プロセッサ430、または、同様の信号処理要素は、オンザフライの変換で2Dから3Dを生成するために、本明細書に記載されたこれらの技術、または、他の技術(各技術を組み合わせたものを含む)を使用して、2D画像を変換する機能を有することができる。
さらに、ベース復号器プロセッサ430について記載された変換処理は、ビデオ信号のフレーム内の画像情報の復元(decompression)および復号を含むことがある。復元および復号のステップは、MPEG(Motion Picture Entertainment Group)規格MPEG−4の下で定められ、MVCの下に含まれるフォーマットで信号を処理するために必要となる各ステップを含むことがある。この規格は、左眼および右眼の両方のビューに適用され、第1のビューおよび第2のビューとして送信される圧縮アルゴリズムを介し、現在、3Dをサポートしている。さらに、この規格は、3Dグラフィックス・メニューのナビゲーションおよび3Dビデオ内のサブタイトルまたはグラフィックのオーバーレイの位置決めをサポートしている。変換処理では、MVCフォーマットの入力信号がこの信号を復元、復号することにより、2画像左右ステレオスコピック・ペア画像フォーマットのベースフォームに変換され、必要であれば、信号の解像度の再スケーリングが行われることがある。さらに、変換処理では、信号をディスプレイ装置に供給する前に、ベースフォームを2画像MVCフォーマット信号に符号化し、圧縮することによって、ベースフォーム2画像左右ステレオスコピック・ペア画像をMVCフォーマットのディスプレイ信号に変換することができる。
入力信号を適切または最適なフォーマットのディスプレイ出力信号に変換することに加え、図4のベース復号器プロセッサ430およびディスプレイ信号プロセッサ440または、同様に、図3のベース・ビデオ・プロセッサ320およびディスプレイ・プロセッサ340は、2Dまたは3Dにおけるサブタイトルおよびグラフィックのオーバーレイを処理する機能を含んでいてもよい。一般に、サブタイトルまたはグラフィック情報が入力ストリームの部分として提供される場合には、入力ストリーム処理(例えば、図4のモード検出器420または図3の入力ストリーム・プロセッサ310)で、サブタイトル情報を識別し、この情報を、最終的に、(例えば、図4のディスプレイ信号プロセッサ440または図3のディスプレイ・プロセッサ340で)ディスプレイ出力信号に再度組み込むためにメモリ(例えば、図3のビデオ・メモリ355)に供給する。このように、サブタイトルまたはグラフィック情報は、図4のベース復号器プロセッサ430または図3のベース・ビデオ・プロセッサ320におけるベースフォーム処理の部分としての変更が行われず、変換処理の間に所望しない再位置決めや削除が行われるようなことがない。なお、重要なこととして、サブタイトルまたはグラフィック情報の同じメカニズムがローカルの装置上で生成されたグラフィックまたはユーザ・インタフェース要素にも適用される。これらの要素は、通常の2Dのフォームで作成することができ、ディスプレイに対する出力フォーマットと一致したフォーマットにされるように、出力プロセッサ450に供給される。このように、ビデオに対してパススルーが行われている場合であっても、必要な出力フォーマットと一致するようにグラフィックのオーバーレイを適切にフォーマットすることができる。
次に、図5を参照すると、受信した信号を本開示の特定の態様に従った適切なビデオ・ディスプレイ信号に信号変換する処理500を例示するフローチャートが示されている。例示的に説明を行うため、処理500の各ステップは、主に、図3の信号受信装置300を参照して説明される。処理500の各ステップは、同様に、図4において記載されたディスプレイ信号変換器400のような、信号変換回路に関連する処理の部分として実行することができる。処理500の各ステップは、図1に記載されたセットトップ・ボックス160、または、図2に記載されたゲートウエイ・ヘッドエンド装置255およびクライアント装置265a〜265nなど、信号受信機の動作に含めることができる。処理500の各ステップは、例示的な目的のみのものであり、どのような点においても本開示を限定するように意図されたものではない。
ステップ510において、1つ以上のビデオ・プログラムまたはストリームのフォームのコンテンツなどのビデオ・コンテンツを含む信号が受信される。ステップ510は、入力信号受信機305、さらに、入力ストリーム・プロセッサ310において実行することができ、このステップ510には、受信した入力信号におけるビデオ・コンテンツまたはビデオ・ストリームのチューニング、復調、復号、または、分離を含むことができる。次に、ステップ520において、受信したビデオ信号に関連付けられた、または、関連する1つ以上のパラメータが判定される。ステップ520の判定は、入力ストリーム・プロセッサ310において実行してもよいし、コントローラ360において実行してもよい。ステップ520は、信号フォーマット、信号走査解像度、または、上述した他のパラメータのいずれかなどの、受信した信号に関連付けられたパラメータの検出を含み得る。各パラメータは、入力信号受信、他の外部入力の一部としてステップ520において判定してもよく、あるいは、ユーザ・インタフェースを介したユーザによる判定の一部であってもよい。
次に、ステップ530において、ディスプレイ装置、さらに、そのディスプレイ・モードおよび入力に関連付けられた、または、関連する1つ以上のパラメータが判定される。ステップ530における判定は、ディスプレイ・インタフェース350において実行してもよく、コントローラ360において実行してもよい。ステップ530は、ディスプレイ入力フォーマット、ディスプレイの出力モードまたは技術、ディスプレイの走査タイプおよび解像度、3D素材の適切なデプスまたはディスパリティ・マッピングのために使用されるスクリーン・サイズ、或いは、上述した他のパラメータのうちのいずれかなど、ディスプレイ装置に関連付けられたパラメータの検出を含み得る。ステップ530において判定されたパラメータは、入力信号受信の一部として、ディスプレイ・インタフェース通信の部分として、データベース・ルックアップなどの他の外部手段の処理の部分として、または、ユーザ・インタフェースを介したユーザ判定の部分として、検出することができる。
ステップ540において、ステップ520で判定された1つ以上のパラメータ、さらに、ステップ530で判定された1つ以上のパラメータに基づいて、受信した入力信号が当初に受信したフォーマットから、第1の、中間の、またはベースフォームのフォーマット信号に変換される。ベースフォーム・フォーマットは、2Dフォーマットでもよく、3Dフォーマットでもよく、マルチビュー・フォーマットでもよく、主に、ステップ530において判定されたディスプレイ・パラメータに基づいたさらなる変換が容易になるように選択される。
上述したように、左右ステレオスコピック・フォーマットのベースフォームは、様々なフォーマット間のさらなる変換を容易にするために選択することができる。例えば、左右ステレオスコピック・フォーマットにより、入力信号のための様々な3Dフォーマットとディスプレイ装置のための他の様々な3Dフォーマットとの間の変換が可能となる。また、左右ステレオスコピック・フォーマットにより、2D入力フォーマットの3D出力への変換、さらに、3D入力フォーマットの2Dディスプレイでの使用のための2Dまたは3D出力への変換が可能となる。さらに、左右ステレオスコピック・フォーマットにより、マルチビュー入力フォーマットの2Dディスプレイ装置および3Dディスプレイ装置のうちのいずれかの信号フォーマットへの変換、また、その逆の変換が可能となる。
ステップ540での変換は、主に、ベース・ビデオ・プロセッサ320において実行される。なお、重要なこととして、ステップ540において変換が実行されずに、ベースフォームが受信した信号と同じとなることがある。さらに、ステップ540での変換は、複数のベースフォームへの変換を含むことがある。さらに、ステップ540での変換は、上述したような追加的な走査または解像度変換処理、さらに2Dから3Dへの変換処理のいずれを含むこともできる。以下、ベースフォーム変換処理のさらなる詳細について説明する。
次に、ステップ550において、ステップ540で変換された1つまたは複数のベースフォームを含む中間またはベースフォーム信号が記憶される。信号は、ビデオ・メモリ355に記憶することができる。なお、重要なこととして、ビデオ・メモリ355は、1つのメモリ装置を含んでいても良く、一体となって動作するように互いに結合された複数のメモリ装置を含んでいてもよい。ビデオ・メモリ355は、静的メモリまたは動的メモリを含んでいてもよく、ハードディスク・ドライブ、または、光学的または電気的なストレージ機能を備えるものであってもよい。
ステップ560で、ステップ530において判定された1つ以上のパラメータに基づいて、中間またはベースフォーム信号が取得または受信され、ベースフォーム・フォーマットからディスプレイ信号フォーマットに変換される。ディスプレイ信号フォーマットは、2Dフォーマットであってもよいし、3Dフォーマットでもよいし、マルチビュー・フォーマットであってもよく、主に、ディスプレイ装置のための最適な出力ディスプレイ信号を提供するように選択される。ステップ560での変換は、主に、ディスプレイ・プロセッサ340において実行される。
なお、重要なこととして、ステップ560において変換が行われず、ディスプレイ信号フォーマットが受信した信号と同じとなり、結果としてパススルー動作モードとなる場合がある。さらに、ステップ560での変換は、上述したような、追加の走査または解像度変換処理を含むことがある。さらに、ステップ560での変換は、上述したような、2Dから3Dへの変換、3Dから2Dへの変換、または、マルチビュー変換処理をさらに含むことがある。以下、ディスプレイ信号変換処理のさらなる詳細について説明する。ステップ570で、受信した信号フォーマットから中間またはベースフォーム信号フォーマットへの第1の変換、および、中間またはベースフォーム信号フォーマットから適切な、最適な、または所望のディスプレイ信号フォーマットへの第2の変換の結果として得られるディスプレイ信号が表示のためにディスプレイ装置に供給される。
次に、図6を参照すると、本開示の各態様に従ったビデオ信号のベースフォームまたは中間信号の変換処理600のフローチャートが示されている。処理600は、受信した入力フォーム(入力されたフォーム)での受信ビデオ・ストリーム、または、プログラムを取得し、必要な、所望の、または最適な出力フォーマットへのさらなる変換のために利用可能なニュートラル・フォーマットに変換することに関する。処理600における各ステップは、概ね、図5におけるステップ540で説明したベースフォーム変換処理の部分として実行される。処理600における各ステップは、主に、図3のベース・ビデオ・プロセッサ320または図4のベースフォーム復号器プロセッサ420などの信号変換装置において実行することができる。さらに、各ステップの中には、図3のコントローラ360または図4のスクリーン特性化ブロック460など、他のブロックにおいて実行されるものがある。
処理600は、受信した入力信号フォーマットのタイプおよびディスプレイ装置のための最適な出力ビデオ信号フォーマットのタイプに基づいて、後続するディスプレイ信号変換で使用される入力信号の最も適切なベースフォーム変換を識別して、提供するために、一連の判定ステップを含む。なお、重要なこととして、必ずしも全てのステップが実行されるものではなく、特定の実施形態、さらに、処理、信号受信装置、またはディスプレイ装置のパフォーマンス・パラメータに基づいて、特定のステップが省略されるか、組み合わされることがある。
まず、ステップ602において、入力ビデオ信号ストリームまたはプログラムが受信される。次に、ステップ604において、入力信号に関連付けられたパラメータ、さらに、ディスプレイ装置に関連付けられたパラメータが判定され、取得される。ステップ606において、パススルー・モードが使用されるかどうかが判定される。ステップ606において、パススルー・モードが使用される場合には、入力ストリーム・タイプと出力ストリーム・タイプとが一致しており、ストリームを処理する必要がない。処理は、ステップ640に進み、入力ビデオ信号ストリームは、パススルーされるか、記憶される。上述したように、パススルー・モードは、変換処理をバイパスし、入力信号フォーマットをベースフォームとして記憶または設定する。
ステップ606において、パススルー・モードが利用されない場合には、その後、信号フォーマットおよびディスプレイ装置の判定に基づいて、一連の判定が行われる。ステップ608、614、620、622、および626など、特定の各ステップは、入力信号フォーマットのパラメータに関連し、ステップ610、616、630、および634などの他のステップは、主に、ディスプレイ装置出力に関連付けられたパラメータに関連する。ステップ608において、入力が2D信号入力であるかどうかが判定される。ステップ608において、ストリームの入力フォーマットが、2Dのみである場合には、ステップ610において、3D出力モードが所望されているかどうかがさらに判定される。ステップ610において、3D出力モードが所望されている場合には、ステップ612において、さらなるベースフォーム変換が行われる前に、信号が2Dから3Dに変換される。2Dから3Dへの変換は、上述した各処理のうちの1つを含む、想定される幾つかの方法で実行することができる。なお、重要なこととして、2Dから3Dへの変換の後の信号フォーマットは、2画像ステレオスコピック(左眼/右眼)フォーマット、または、マルチビュー・フォーマットとすることができる。以下に説明するように、ステップ612の後、処理はステップ630に進む。ステップ610において、3D出力が所望されていない場合には、処理は、直接、ステップ630に進む。
ステップ608において、入力信号が2Dフォーマットでない場合には、ステップ614において、入力信号がマルチビュー信号フォーマット入力であるかどうかが判定される。ステップ614において、入力フォーマットがマルチビューの(即ち、2つのビューよりも多い)フォーマットである場合には、ステップ616において、2つを超えるビューが出力として所望されているかどうかがさらに判定される。ステップ614において、2つのビューのみが所望されている場合には、例えば、所望の、または、最適な3Dディスプレイの部分として、ステップ618において、受信した信号に存在する複数のビューから適切な左右のビューのセットが選択される。以下に説明するように、ステップ618の後、処理は、ステップ630に進む。ステップ616において、3D出力が所望されていない場合には、処理は直接ステップ630に進む。
ステップ614において、入力信号がマルチビュー・フォーマットではない場合には、ステップ620において、入力が単一フレームのインタレース・スキャン・フォーマットで提供される3D信号入力であるかどうかが判定される。ステップ620において、受信した信号がインタレース3Dフォーマットである場合には、ステップ622において、信号は、スキャンコンバート、またはデインタレースされ、さらなる処理の前に、プログレッシブ・スキャン3Dフォーマット信号が生成される。なお、重要なこととして、原入力信号がアナグリフ入力フォーマットで提供されている場合には、以下に説明するように、ステップ638において、アナグリフ処理を逆にして、可能な限り最良の品質の3Dステレオスコピック画像を生成するために、追加の処理が必要となる可能性が高い。以下に説明するように、ステップ622の後、処理はステップ630に進む。
ステップ620において、入力信号が3D単一フレーム・インタレース信号でない場合には、ステップ624において、入力がプログレッシブ・フレーム・スキャン・フォーマットで提供される3D信号入力であるかどうかが判定される。ステップ624において、入力フォーマットが3Dノンインタレース、または、プログレッシブの、スキャン単一フレームのフォーマット(例えば、チェッカーボード、サイドバイサイド、オーバー/アンダー、または、アナグリフ)である場合には、入力信号は、ステップ630に受け渡され、さらなる処理により、必要な出力フォーマットを生成するのに最適なベースフォーム・フォーマット信号が生成される。ステップ620では、インタレース入力信号について上述したように、原信号がアナグリフ入力フォーマットで提供されている場合には、ステップ638において、アナグリフ処理を逆にして、最良の品質の3Dステレオスコピック画像を生成するために、追加の処理が必要となる可能性が高い。
上述したように、処理600の間、コンテンツは、必要とされる、可能な限り最良の品質のプログレッシブ・スキャン信号を生成するために、デインタレースされ、変換され、さらに/または、アップサンプリング/再スケーリングされることがある。解像度の再スケーリングは、最適な場合もあるし、次善(準最適)である場合もあるし、可逆的な場合もある。なお、重要なこととして、スキャンコンバート、またはデインタレースのステップは、チェッカーボード、オーバー/アンダー、サイドバイサイド、またはアナグリフ・フォーマットの信号など、単一フレームの3D画像信号に関して示されている。明示的には図示していないが、このスキャンコンバートのステップは、2Dフォーマット入力信号の処理の場合にも、マルチビュー・フォーマット入力信号の処理の場合にも使用することができる。
なお、重要なこととして、解像度変換および再スケーリングは、オーバー/アンダー、サイドバイサイド、ライン・インタリーブ、または、チェッカーボード・フォーマットなどの単一フレームの3Dフォーマットのために特に必要であり、追加的に、アナグリフ・フォーマットのために必要となることがある。これらのフォーマットの各々では、まず、2つの画像を単一フレームのビデオ・コンテンツに入れ込むために、垂直または水平方向の解像度を低下させる、または、色解像度を低下させることができる。解像度変換および再スケーリングにより、可能な限り、最もクリーンなベースフォーム(例えば、左右眼ステレオスコピック3D画像ベースフォーム)を作成、記憶、さらに、使用できるようになる。これらの場合には、ディスプレイ装置のための入力フォーマットの各機能に関連する情報もまた、ベースフォームへの適切な変換ステップを判定する際に重要となる。例えば、テレビジョン上での表示のためにオーバー/アンダー入力フォーマットの変換をする際、このテレビジョンの解像度が元の解像度よりも高く、さらに、3D表示のためのオーバー/アンダー信号フォーマットを必要としているような場合には、オーバー/アンダー入力フォーマットの変換には、完全に、または、部分的に可逆な解像度再スケーリングが使用されることがある。
ステップ624において、入力信号が3Dプログレッシブ・フォーマット信号でない場合には、ステップ626において、入力は、追加のデプスまたはディスパリティ・マップ情報を含む、2D画像信号のフォームであるかどうかが判定される。ステップ626において、このフォーマットが2D画像データに加えてデプスまたはディスパリティ・マップを含む場合には、上述したものと同様の方法で、処理がステップ630に進む。ステップ630において、所望の出力フォーマットのタイプが判定される。ステップ630において、何らかのフォームの3Dレンダリング、作成または生成が、所望されている、適切な、または最適なものである場合には、ステップ638において、2D+デプスまたはディスパリティ・マップ・フォーマットが3Dステレオ・フォームに復号される。なお、重要なこととして、さらに、アナグリフまたは他の変換処理を使用した2Dディスプレイ上での表示のための3D出力タイプの信号への代替的な変換処理を可能にするために、デプスまたはディスパリティ情報もまた、ベースフォームとして記憶することができる。
ステップ626において、入力信号が、デプスまたはディスパリティ・マップを含む2Dフォーマットでない場合には、ステップ628において、入力が3Dステレオスコピック画像信号のフォームであるかどうかが判定される。ステップ628において、フォーマットが3Dステレオスコピック画像を含む場合には、さらなる処理は不要であり、出力ディスプレイ特性に関連付けられた追加的な判定ステップのために、処理がステップ630に進む。
上述したように、2Dディスプレイ上での3Dコンテンツの表示には、2Dディスプレイのための2D信号内部で3Dエフェクトを発生させるための追加の処理が必要となる。この処理には、デプス情報の識別が必要となることがあり、ステレオスコピック画像に加えてデプスまたはディスパリティ・マップをベースフォームの部分として記憶することが、レンダリングされたステレオスコピック画像のみの場合よりも有用となることがある。入力信号フォーマットが既に2画像左右ステレオスコピック・フォーマットである場合には、アナグリフ出力のために処理の部分としてデプス計算が必要となることがあるものの、ベースフォームとしての記憶の前に再スケーリングのみが必要となる。最後に、入力信号フォーマットが、必要となる最も高い解像度、フレーム・レートなどで2画像左右ステレオスコピック・フォーマットを既に提供するものではない限り、まず、他のフォーマットの全てが2画像左右ステレオスコピック・フォーマットに変換され、ベースフォームとしての記憶の前に、ディスプレイにとって必要とされる最も高いフレーム・レートおよび解像度に再スケーリングされる。
ステップ628において、全ての他の判定ステップをパススルーした後、肯定的に識別される判定が存在しない場合には、入力フォーマットは、3Dステレオスコピック画像フォーマット信号ではなく、入力フォーマットは、識別可能ではなく、既知のものではない。ステップ606においてパススルー・モードについて説明したように、受信したデータは、ステップ640において、そのネイティブな受信されたフォーマットのままで直接受け渡され、さらに/または、記憶される。
ステップ610、612、616、618、622、624、626、および628での判定および処理の出力の後、さらに、上述したように、ステップ630において、ディスプレイ出力モードが2D、3D、または、マルチビュー・ディスプレイ上での表示のための2Dであるかどうかがさらに判定される。ステップ630において、ディスプレイ出力が2Dタイプのフォーマットまたはモードである場合には、ステップ632において、必要に応じて画像が2Dのベースフォーム画像に変換される。さらに、ステップ640で画像がベースフォームとして記憶される前に、ステップ632で画像をスケーリング/アップコンバートすることができる。
ステップ630において、ディスプレイ出力が2Dでない場合には、ステップ634において、ディスプレイ出力がマルチビューであるかどうかについて、別の判定が行われる。ステップ634において、ディスプレイ出力がマルチビュー・フォーマットまたはモードである場合には、ステップ632の場合と同様に、ステップ636において、必要であれば、信号がマルチビューのベース・フォーマットに変換される。さらに、ステップ640で信号がベースフォームとして記憶される前に、ステップ636で、信号をスケーリング/アップコンバートすることができる。
ステップ634において、ディスプレイがマルチビューでない場合(さらに、ステップ630で2Dではないとされた場合)、次に、ステップ638において、必要であれば、信号が3Dベースフォームのフォーマットに変換される。上述したように、適切なベースフォームのフォーマットは、ステレオスコピック左右眼ビュー信号フォーマットである。ステップ632およびステップ636の場合と同じように、ステップ640で信号がベースフォームとして記憶される前に、ステップ638において、信号をスケーリング/アップコンバートすること、または、追加的な処理および変換のために信号を受け渡すことを含むことができる。
なお、重要なこととして、処理600における特定のステップは、入力信号フォーマットおよびディスプレイ装置出力フォーマットの組み合わせによっては、必要とはならないことがある。例えば、ステレオスコピック左右画像フォーマットにおける入力信号は、変換やスケーリングを行うことなく、ステップ628、さらに、ステップ630、634、および638において、記憶するステップにパススルーされることがある2Dおよびマルチビュー・フォーマットの入力信号の中には、同様の状況が発生するものがある。
幾つかの想定可能な反復処理を含むように処理600を変更することによって、結果として、複数のベースフォーム・フォーマット信号を作成、記憶、さらに、提供することができる。ディスプレイ装置にとって所望な、適切な、または最適なビデオ・ディスプレイ出力信号を生成するために、後のディスプレイ・フォーマット変換処理で最も適切な画像が確実に使用されるように、記憶された利用可能なベースフォーム・フォーマットに関する情報がシステムを介してフィードバックされることがある。
図7を参照すると、本開示の各態様に係るディスプレイ・フォーマット変換処理700の実施形態のフローチャートが示されている。処理700は、図6に記載されているような、ベースフォーム信号から1つ以上の所望な、または必要な出力ディスプレイ信号フォーマットへの変換を含む。処理700における各ステップは、図3に記載されたディスプレイ・プロセッサ340など、ディスプレイ・プロセッサにおいて主に実行することができる。処理700における各ステップは、代替的には、図4のディスプレイ信号プロセッサ440およびスクリーン特性化ブロック460において実行することができる。さらに、各ブロックの中には、図3のコントローラ360または図4のスクリーン特性化ブロック460など、他のブロックにおいて実行されるものがある。
図6に記載された処理600と同様に、処理700は、ディスプレイ装置に提供される信号にとって最も適切なディスプレイ・フォーマット変換を提供するために、受信した信号およびディスプレイ装置の識別されたパラメータまたは特性のセットに基づく一連の決定ステップに関する。主に、処理700は、処理600の結果として生成され、場合によっては記憶されたベースフォーム信号が処理され、ディスプレイ装置に供給される前に行われる、このベースフォーム信号の識別、判定、および取得に関してもよい。処理600の場合と同様に、未知の、または、処理されていないストリームがディスプレイ装置に対して直接受け渡されることがある。特定のディスプレイ・モードのためのベースフォームの変更、または、スケーリングや変換など、さらなる処理が必要である場合には、このような処理は、適切な2D、3D、または、マルチビュー・フォーマットの信号を生成するために行うことができる。
処理700は、ステップ702で開始し、このステップ702で、ディスプレイのタイプに関連する情報およびディスプレイ装置にとって最適な出力フォーマット・モードを判定、識別、さらに/または、取得する。上述したように、この判定には、ディスプレイ装置の機能を判定することが含まれることがある。ステップ702では、さらに、適切なディスプレイ・フォーマットを判定することができる。この判定は、恐らくはユーザ入力によって行われることもあるし、外部的に判定されることもあるし、変換装置によって行われることもある。さらに、変換装置による判定の結果として、最適なディスプレイ・フォーマットが生成されることもある。さらに、ディスプレイ・モード、または、ビューイング技術(例えば、シャッター・レンズ、ポラライザ)に関連する情報が判定される。
次に、ステップ704において、ステップ702における判定に基づいて、処理600で作成されたベースフォームが取得またはアクセスされる。ベースフォームは、2Dフォーマットでもよいし、3Dフォーマットでもよいし、マルチビュー・フォーマットでもよい。例えば、ベースフォームは、3Dステレオスコピック左右眼フォーマット信号とすることができる。なお、重要なこととして、ベースフォーム信号には、複数のベースフォーム・フォーマットが含まれることがある。複数のベースフォームが利用可能であり、使用される場合には、処理700における各判定ステップでは、複数のベースフォーム・フォーマットの信号から必要なベースフォームを選択することがある。
ステップ706において、パススルー・モードが使用されるかどうかが判定される。ステップ706において、信号フォーマットが独自フォーマットである、または、未知のフォーマットであるという判定に基づいて、パススルー・モードが使用され、次に、以下に説明するように、処理がステップ726に進む。
ステップ706において、パススルー・モードが使用されない場合には、ステップ708において、マルチビューのディスプレイ・タイプが所望されているかどうかが判定される。ステップ708において、マルチビュー・ベースフォームが所望されている場合には、ステップ710において、マルチビュー・ベースフォームが使用されているか、マルチビュー・ベースフォームが利用可能であるかがさらに判定される。ステップ710において、マルチビュー・ベースフォームが使用されているか、利用可能である場合には、処理は、ステップ726に進む。ステップ710において、マルチビュー・ベースフォームが利用可能でない場合には、ステップ712において、3Dベースフォームを使用してマルチビュー・ディスプレイ・フォーマット信号が生成される。なお、重要なこととして、ディスプレイに対してマルチビュー信号を配信するための規格はまだ定められていないため、結果として、ディスプレイに対するマルチビュー信号の配信をサポートする利用可能な3Dベースフォームに適応するために、追加的な処理が必要となることがある。一実施形態においては、ステップ726に進む前に、ステップ712で、信号の追加的なアップサンプリングまたは処理、さらに、識別および制御について、信号による情報伝達を行うことがある。
ステップ708において、マルチビューのディスプレイ・タイプが使用されていない場合には、ステップ714において、2Dディスプレイ・タイプが使用されているかどうかが判定される。一般的に、2Dディスプレイは、良く知られた標準化されたものであり、一般的ではないディスプレイ信号フォーマットの識別や構成に関わるものではない。ステップ714において、2Dディスプレイが使用されている場合には、ステップ716において、2Dディスプレイ上で3Dディスプレイ・モードが必要であるかどうかがさらに判定される。ステップ716において、3Dディスプレイ・モードが使用されることになるとされた場合には、ステップ718において、利用可能な3Dベースフォームに基づいて3D変換処理が実行される。上述したように、2Dディスプレイ上での3D画像の表示は、通常、2Dディスプレイ上で表示され、色付きレンズ・グラスを用いて視られる赤/青のアナグリフ、または、カラーコード・アナグリフ信号の生成に関わるアナグリフ処理など、3D変換処理に関わる。
ステップ716において、3Dディスプレイ・モードが2Dディスプレイ上で使用されず、必要とされない場合には、ステップ720において、処理600の結果として作成された2Dベースフォームはパススルーされ、処理はステップ726に進む。なお、重要なこととして、処理600で記憶または作成されたベースフォームに基づいて、3Dベースフォームから適切な2Dベースフォームを生成することができる。例えば、左右ステレオスコピック・フォーマットが記憶されたベースフォームである場合には、2D画像ベースフォームとして左の画像が選択される。さらに、2D画像ベースフォームは、ベースフォームとして記憶される追加的なデプスまたはディスパリティ・マップが存在するかどうかに関わらず、破棄されるデプスまたはディスパリティ・マップ情報のみを用いて、直接使用されることがある。
ステップ714において、ディスプレイ・タイプが2Dディスプレイでない場合(さらに、ステップ708において、マルチビューのディスプレイ・タイプでない場合)、3Dディスプレイ・タイプが使用され、ステップ722において、3Dディスプレイ上で2Dディスプレイ・モードが使用されるかどうかがさらに判定される。ステップ722において、2Dディスプレイ・モードが使用されることとなった場合には、ステップ720において、上述したように、2Dベースフォームがステップ726に受け渡される。ステップ722において、2Dディスプレイ・モードが必要でない場合には、ステップ724において、ディスプレイ装置にとって最適または適切な3Dディスプレイ信号を生成するために3Dベースフォームが使用される。ステップ724において、信号の3Dベースフォームは、適切な単一フレームのディスプレイ・フォーマット(例えば、オーバー/アンダー、サイドバイサイド、インタリーブ、または、チェッカーボードのフォーマット)に変換することができる。
次に、ステップ726において、ステップ706、ステップ710、ステップ712、ステップ718、ステップ720、または、ステップ724から取得および変換したベースフォーム信号は、妥当または適切なディスプレイ装置のスクリーン・パラメータおよび解像度のためにスケーリングされ、変換される。ステップ726での解像度またはフレーム・レートの画像のための再スケーリングなど、スケーリングおよび変換は、ベースフォームと所望のディスプレイ・フォーマットとの間の差に基づいて必要となることがある。上述したように、可逆の(即ち、準最適の)解像度スケーリング・アルゴリズムが処理600で使用されていた場合には、この変換には、逆解像度スケーリング処理を含む。最後に、ステップ728において、スケーリングおよび変換が行われた信号は、ここで、適切なディスプレイ信号フォーマットとなっており、ディスプレイ装置に供給される。
なお、重要なこととして、図6に記載された処理600および図7に記載された処理700は、同一の装置内で実行されることもあるし、同一の装置内で実行されないこともある。例えば、処理600は、図1に記載されたローカル・コンテンツ・ソース180、または図2に同様に記載されたものなど、コンテンツ生成装置の部分として含まれることがある。さらに、処理700は、図1に記載されたディスプレイ装置170または図2に記載された同様の装置など、ディスプレイ装置の部分として含まれることがある。この特定の例においては、別個のセットトップ・ボックスが必要とはならないか、システムの部分として含まれない。別の例においては、さらに、処理600は、図2に記載されたゲートウエイ・ヘッドエンド装置255の部分として含まれることがある。処理700は、図2に記載されているクライアント装置265a〜265nのうちのいずれかの部分として含まれることがある。
上述したように、図3に記載したコントローラ360または図4に記載されたスクリーン特性化装置460の特性付けおよび処理に関連する重要な態様の1つは、ディスプレイ装置の利用可能なディスプレイ・モードを識別することに関し、さらに、ディスプレイ装置への信号にとって適切または最適なフォーマットを選択することに関する。この処理は、まず、ディスプレイ装置の機能を識別することに関する。この処理は、HDMIバック・チャネルなどの通信バスを介したデバイスの直接クエリーに関することもある。しかしながら、HDMIを介して利用可能な、または供給される情報は、関連度の点で異なることがあり、利用されるHDMIのバージョンに依存することがある。例えば、初期のHDMI規格の装置は、HDMI1.4以降のものから取得されるものよりも、ディスプレイの解像度および機能に関して提供する情報がかなり少ないことがある。代替的な態様、または、補完的な態様として、ユーザ・インタフェース・メニューを作成することができる。ユーザ・インタフェース・メニューは、まず、使用されているデバイス・モデルについて問い合わせを行い、さらに、識別を補助することができる。さらに、ディスプレイのための最適な設定を判定するために、ユーザに対し、上述したような様々なフォーマットおよび技術を使用して、一連のテスト・パターンを提供することができる。テスト・パターンは、変換装置(例えば、セットトップ・ボックス)のメモリに記憶することができる。
本明細書において説明したユーザ・インタフェース・メニューの部分として、ユーザは、ディスプレイ装置の機能を識別するだけでなく、適切または最適なディスプレイ・フォーマットを選択できることもある。これらの選択に基づいて、コントローラまたはスクリーン特性付けにおいて、入力信号の変換のための最も適切なベースフォーム、さらに、ディスプレイ装置に提供するためのディスプレイ信号フォーマットをさらに選択することができる。結果として、システムは、レガシーな(旧来の)タイプのディプレイを含む、どのようなタイプのディプレイであっても、3Dコンテンツなどの先進のコンテンツを最良の方法で表示することを可能とするシームレスでユーザ・フレンドリーな方法を提供することができる。
本実施形態では、ビデオ・コンテンツの最適な表示を提供するシステムおよび方法について説明されている。各実施形態は、入力ビデオ信号ストリームのフォーマットを識別し、このストリームをベース・フォーマットに変換し、さらに、ベース・フォーマットを処理して特定のディスプレイ装置にとって最適なディスプレイ信号を生成しようとするものである。特に、代表的な各実施形態では、入力される3Dコンテンツは、ベース3Dフォーム(形態)としての2画像左右ステレオスコピック画像信号に変換される。各実施形態では、さらに、2D入力信号ビデオ・コンテンツおよび2Dディスプレイの双方を取り扱うために必要な追加的な処理が行われる。各実施形態は、フレキシブルであり、マルチビュー環境での使用に容易に拡張することができる。各実施形態は、受信した入力信号とディスプレイ装置との間に変換装置を含めることによって、ビデオ・コンテンツの複数のフォーマットを配信することに伴う増大する問題に取り組むものである。結果として、コンテンツ・プロバイダによって選択されるどのような特定のフォーマットでビデオ・コンテンツを作成してもよく、その一方で、様々なディスプレイ技術を使用した様々なディスプレイ装置上でビデオ・コンテンツを効果的に表示することができる。さらに、各実施形態では、サポートされる好適な3Dの(または、もし存在する場合は、他の)フォーマットを規定するディスプレイとHDMIインタフェースとの間のメカニズム、特定のディスプレイのための最適な設定を自動的に判定またはルックアップする他のメカニズム、さらに、これらの態様を手動で規定するメカニズムが存在すること、または、これらのメカニズムが組み合わされることが認識されている。
本開示は、最適にフォーマットされたディスプレイ信号を用いて様々なディスプレイ・スクリーンおよびディスプレイ・タイプをサポートするメカニズムを提供する。信号処理および制御ブロックを含み、上述した実施形態を実施することにより、実施態様のためのフレキシブルなアーキテクチャが形成される。例えば、各実施形態は、さらに組み合わされるか、または、逆多重化(分離)されて出力部で1つ以上の画像ストリームを生成する複数のベースフォームまたは複数の信号ディスプレイ・フォーマットを記憶することにより、既存のディスプレイ・フォーマットおよび将来のディスプレイ・フォーマットの範囲を同時にサポートするように使用することもできる。このように、上述した各実施形態では、1つのディスプレイ装置のためのステレオスコピック・ベース・フォーマットからオンザフライでアナグリフを生成し、さらに/または、別のディスプレイ装置のための120Hzのインタレース3Dフォーマットを生成することができる。さらに、可能な限り効率的に3Dコンテンツを提供し、最終的に、完全な解像度の左右ステレオスコピック画像をこの左右ステレオスコピック画像をサポートするエンド装置に配信することによって、図1および図2に記載された配信ネットワークを介した通信帯域幅をより効率的に使用できるようになる。
開示した各実施形態は、ビデオ・コンテンツの最適な表示を提供するシステムおよび方法に関する。より具体的には、各実施形態は、利用可能なモードおよび技術とともに、ディスプレイ装置がサポートする好適なフォーマットが2D、3D、または、マルチビューであるかを検出または判定し、この情報を使用して、ディスプレイおよびユーザによって要求される条件に対し、適切且つ最適(最善)であるフォーマットでコンテンツを信号プロセッサが提供するように、受信した2D、3D、または、マルチビューのコンテンツを処理、変換する信号処理に関する。
特定の実施形態について例示的な目的で図示し、本明細書中で詳細に説明しているが、各実施形態は、様々な改変がなされることがあり、代替的な形態をとることがある。しかしながら、本開示は、開示した特定の形態に限定されるように意図されたものではないものと理解されるべきである。むしろ、本開示は、付随する請求の範囲によって規定するような本開示の範囲の中にある全ての改変、均等物、さらに、代替物を包含するものである。