JP4908624B1 - 立体映像信号処理装置及び方法 - Google Patents

Abstract

【課題】本発明は、グラフィックスデータの映像に対して適応的に処理可能で商品価値を向上し得る装置を提供する。
【課題を解決するための手段】実施形態によれば、メインビデオデータを配置する第１の領域、グラフィックスデータを配置する第２の領域、前記メインビデオデータの画素の深さ情報を配置する第３の領域、及び前記グラフィックスデータの画素の深さ情報を配置する第４の領域を有した３Ｄ信号用の基本フォーマットが定義される。３Ｄ処理モジュールは、前記メインビデオデータの画素の深さ情報を生成する場合に、前記メインビデオデータに前記グラフィックスデータを挿入した第１のパターンと前記メインビデオデータに前記グラフィックスデータを挿入しない第２のパターンを用いるかを選択可能としている。３Ｄ関連制御器は、前記３Ｄ処理モジュールが用いる第１と第２のパターンのいずれかを決定する。
【選択図】図６

Description

本発明の実施形態は立体映像表示装置及び方法に関する。

特殊な眼鏡を使用することなく立体映像を知覚可能な裸眼式の立体映像表示技術は様々な分類が可能である。一般的な分類は、両眼視差を用いる両眼視差方式と実際に空間像を形成する空間像再生方式である。

両眼視差方式はさらに２眼式と多眼式とに分類される。２眼式は、左眼用の画像と右眼用の画像とを左眼と右眼とでそれぞれ見えるようにした方式である。また、多眼式は映像撮影時の観察位置を複数にすることで情報量を増加し、より立体映像を観察できる範囲を広げた方式である。

空間像再生方式はさらにホログラフィ方式とインテグラル・フォトグラフィ方式（以下、インテグラル方式と称するが、光線再生法とも称される）に分類される。インテグラル方式は両眼視差方式として分類されている場合もある。インテグラル方式は、光線の経路が撮影時と映像再生時とで全く逆の経路を辿るので、光線数を十分多くし且つ画素サイズを十分小さくできた場合には完全に近い立体映像が再生される。このため、理想的なインテグラル方式は空間像再生方式として分類される。

ところで、多眼式やインテグラル方式のように眼鏡無しで立体映像を知覚するには、通常、以下の構成が採用される。２次元画像表示用画素配列上で立体映像表示用画素配列を構成する。立体映像表示用画素配列の前面側に立体映像表示用画素からの光線を制御する機能を有するマスク（光線制御素子とも称される）を配置する。マスクには、立体映像表示用画素よりも遥かに小さな（典型的には２次元画像表示用画素とほぼ同じ大きさの）窓部が立体映像表示用画素に対応した位置に設けられている。

マスクとしては、微小なレンズが２次元的に配列されてなるフライアイレンズ、垂直方向に光学的開口が直線状に延び水平方向に周期的に配列される形状のレンチキュラーシート、またはスリットも用いられる。

このような構成によると、個々の立体映像表示用画素により表示される要素画像はマスクによって部分的に遮られ、観察者は窓部を透過したもののみを視認することとなる。したがって、或る窓部を介して視認される２次元画像表示用画素を観察位置毎に異ならしめることができ、メガネを使用することなく立体映像を知覚することができる。

特開平１０−２１５４６６号公報 特開２０００−２６１８２８号公報

上記したように立体映像を表示するための装置の基本的な構成が具体化している。立体映像を表示するためには、立体映像信号が必要である。立体映像信号を得るための方法としては、各種の技術が開発されている。立体映像信号を得るために、水平方向に間隔を置いて複数の撮像装置を用い、それぞれの撮像装置から、視角が異なる（視差が異なる）映像信号を得る方法がある。また、２次元（２Ｄ）映像信号を加工処理して、立体映像信号を得る方法がある。

ここで２次元（２Ｄ）映像信号を加工し、眼鏡無しで観察できる立体映像を得る場合は、複数の２Ｄ映像信号（３Ｄ要素プレーンと称しても良い）を生成している。この３つ以上のフレームの２Ｄ映像信号（３Ｄ要素プレーン）を得る従来の信号処理装置は、実験段階のものが多く、商品としては多くの課題を有する。

そこで本発明が解決しようとする課題は、グラフィックスデータの映像に対して適応的に処理可能で商品価値を向上し、各種の方式に適合可能な立体映像信号処理装置及び方法を提供するところにある。

実施形態によれば、メインビデオデータを配置する第１の領域、グラフィックスデータを配置する第２の領域、前記メインビデオデータの画素の深さ情報を配置する第３の領域、及び前記グラフィックスデータの画素の深さ情報を配置する第４の領域を有した３Ｄ信号用の基本フォーマットが定義される。３Ｄ処理モジュールは、前記メインビデオデータの画素の深さ情報を生成する場合に、前記メインビデオデータに前記グラフィックスデータを挿入した第１のパターンと前記メインビデオデータに前記グラフィックスデータを挿入しない第２のパターンを用いるかを選択可能としている。３Ｄ関連制御器は、前記３Ｄ処理モジュールが用いる第１と第２のパターンのいずれかを決定する。

実施形態に係る立体映像表示装置の概略を示す図である。 実施形態に係る他の立体映像表示装置の概略を示す図である。 ３Ｄ処理モジュールの構成例を示す図である。 ３Ｄ処理モジュールの信号処理経過の例を示す図である。 立体映像表示装置が一体化したテレビジョン受信装置の全体構成例を示す図である。 図５の３Ｄ処理モジュールと３Ｄ関連制御器の関係を示す図である。 図６のブロックの動作例を説明するために示したフローチャートである。

以下、実施の形態について図面を参照して説明する。先ず、立体映像表示の原理を説明する。図１は、眼鏡を使用して立体映像を観察できる２眼式の立体映像表示装置の例であり、図２は、裸眼で立体映像を観察できる裸眼式の立体映像表示装置の例である。

図１には、２つの２眼方式を同時に示している。

第１の方式は、左眼用の映像（Ｌ）と右眼用の映像（Ｒ）がフレーム毎に交互にテレビジョン受信装置２１００で表示される例である。左眼用の映像（Ｌ）の信号と右眼用の映像（Ｒ）の信号は、外部から送られて来るものであっても、また、テレビジョン受信装置の内部で２Ｄ表示用映像信号から擬似的に生成されるものであってもよい。

テレビジョン受信装置２１００からは、現在表示されている映像が、右目用映像と左目用映像のどちらであるかを示す識別情報が出力される。左右識別情報の搬送媒体は、有線、電波あるいは赤外線のいずれであってもよい。３Ｄ眼鏡３０００は、受信機３００１を有し、この受信機３００１は識別情報を受信し、左と右の液晶眼鏡のシャッター動作を制御し表示された左右映像に同期させる。これにより視聴者は、右眼用の映像を右眼で左眼用の映像を左眼で観察し、立体映像を知覚することができる。

第２の方式は、左眼用の映像（Ｌ）がフレームの左半分に配置され、右眼用の映像（Ｒ）がフレームの右半分に配置されてテレビジョン受信装置２１００で表示される例である。この左眼用の映像（Ｌ）の信号、右眼用の映像（Ｒ）の信号も、外部から送られて来るものであっても、また、テレビジョン受信装置の内部で２Ｄ表示用映像信号から擬似的に生成されるものであってもよい。この方式はサイドバイサイドと称されることもある。左と右の映像による出射光は、偏光方向が異なり、３Ｄ眼鏡３０００は、偏光眼鏡が使用され、左と右のガラスが偏光性を有し、左のガラスは左の映像を透過し、右のガラスが右の映像を透過する。これにより視聴者は、右眼用の映像を右眼で左眼用の映像を左眼で観察し、立体映像を知覚することができる。さらに各種の立体映像表示方式があるがここでは、省略する。

図２は、実施形態に係る立体映像表示装置の一例を概略的に示す断面図である。

図２に示す立体映像表示装置１は、縦横に配列した多数の立体映像表示用画素１１を有する表示ユニット１０と、それらから離間するとともにそれら立体映像表示用画素１１に対応して多数の窓部２２が設けられたマスク２０とを備えている。

マスク２０は光学的開口を有し、上記画素からの光線を制御する機能を有し、視差バリアまたは光線制御素子とも呼ばれる。マスク２０は透明基板上に多数の窓部２２に対応した多数の開口を有する遮光体パターンを形成したものや、遮光板に多数の窓部２２に対応した多数の貫通孔を設けたものなどを使用することができる。あるいは、マスク２０の他の例としては、多数の微小なレンズを２次元的に配列してなるフライアイレンズ、光学的開口が垂直方向に直線状に延び水平方向に周期的に配列される形状のレンチキュラーレンズも使用可能である。さらに、マスク２０として、透過型の液晶表示ユニットのように窓部２２の配置、寸法、形状などを任意に変更可能なものを使用してもよい。

静止画の立体視の場合は、立体映像表示用画素１１は画像が印刷された紙でも良い。しかし、動画像を立体視するためには、液晶表示ユニットを用いて立体映像表示用画素１１を実現する。透過型の液晶表示ユニット１０の多数の画素が多数の立体映像表示用画素１１を構成し、液晶表示ユニット１０の背面側には面光源であるバックライト３０を配置している。液晶表示ユニット１０の前面側には、マスク２０を配置している。

透過型の液晶表示ユニット１０を使用する場合、マスク２０はバックライト３０と液晶表示ユニット１０との間に配置してもよい。液晶表示ユニット１０及びバックライト３０の代わりに有機ＥＬ（エレクトロルミネッセンス）表示装置や陰極線管表示装置やプラズマ表示装置などのように自発光型の表示装置を使用しても良い。その場合、マスク２０は自発光型表示装置の前面側に配置する。

図は、立体映像表示装置１と観察位置Ａ００，Ａ０Ｒ、Ａ０Ｌの関係を概略的に示している。

観察位置は画面（あるいはマスク）との距離を一定に保ったまま表示画面の水平方向に平行移動した位置である。この例では、１つの立体映像表示用画素１１が、複数の（例えば５つの）２次元表示用画素で構成されている例を示している。画素の数は１つの例であり、５より少なくてもよく（例えば２個））さらに数が多くても良い（例えば９個）。

図２において、破線４１は隣接する立体映像表示用画素１１間の境界に位置する単一画素の中心と、マスク２０の窓部２２とを結ぶ直線（光線）である。図２において、太線５２の領域が真の立体映像（本来の立体映像）が知覚される領域である。観察位置Ａ００，Ａ０Ｒ、Ａ０Ｌは、太線５２の領域内である。以下、真の立体映像のみが知覚される観察位置を「視域」と称する。

図３は２Ｄ映像表示用信号を３Ｄ映像表示用信号に変換する３Ｄ処理モジュール８０の例を示している。この３Ｄ処理モジュール８０には、例えば、左眼用の２Ｄ映像表示用信号を左の領域に配置し、右眼用の２Ｄ映像表示用信号を右の領域に配置した２眼式の３Ｄ映像表示用信号が入力する。

３Ｄ処理モジュール８０は、２眼式の３Ｄ映像表示用信号のうちの一方の２Ｄ映像表示用信号を裸眼式の３Ｄ映像表示用信号に変換する。即ち、３Ｄ処理モジュール８０は、２Ｄデジタル入力映像信号を３Ｄ用信号フォーマットとして成型するフォーマット設定部８１を有する。なお３Ｄ用信号が入力した場合は、そのまま採用することができる。

フォーマット設定部８１で３Ｄフォーマット化された２Ｄデジタル入力映像信号は、３Ｄ用情報処理部８２と、２Ｄ／３Ｄ変換器８３により、３Ｄ構成用の複数（例えば９個）の映像プレーンに分解される。又このときメインビデオデータの各画素に対する深さ情報（奥行き情報と称してもよい、この情報は、視差情報も含むものとする）が生成される。またグラフィックスデータの各画素に対する深さ情報などが生成される。グラフィックスデータの各画素に対する深さ情報は、予めフォーマット設定部８１で設定されていてもよい。

３Ｄ構成用の複数の映像プレーン及び深さ情報は、３Ｄ映像生成部８４に入力され、３Ｄ映像表示用信号（立体映像表示用信号）に変換される。この３Ｄ映像表示用信号は、図２で示した立体映像表示用画素を駆動する絵柄信号となる。

３Ｄ用信号フォーマットは、メインビデオデータを配置する領域９０ａ、グラフィックスデータ（Ｒ，Ｇ，Ｂ画素を含む）を配置する領域９０ｂ、グラフィックスデータの偶数ラインの画素の深さ情報を配置する領域９０ｃ１、グラフィックスデータの奇数ラインの画素の深さ情報を配置する領域９０ｃ２、メインビデオデータの偶数ラインの画素の深さ情報を配置する領域９０ｄ１、メインビデオデータの奇数ラインの画素の深さ情報を配置する領域９０ｄ２を有する。メインビデオデータの画素の深さ情報は、偶数画素と奇数画素に関する深さ情報が含まれている。

メインビデオデータの領域９０ａは例えば１２８０画素×７２０ライン、領域９０ｂは６４０画素×７２０ライン、領域９０ｃ１は６４０画素×３６０ライン、領域９０ｃ２は６４０画素×３６０ライン、領域９０ｃ１は３２０画素×３６０ライン、領域９０ｃ２は３２０画素×３６０ラインである。

メインビデオデータ及びグラフィックスデータの領域９０a,９０ｂを除く他の領域９０ｃ１，９０ｃ２，９０ｄ１，９０ｄ２は、３Ｄ信号生成用制御情報領域と称してもよい。３Ｄ信号生成用制御情報は、３Ｄ用情報処理部８２と、２Ｄ／３Ｄ変換器８３において生成され、所定の領域へ配置される。

図４は、図３の３Ｄ処理モジュール８０内（即ちフォーマット設定部８１、３Ｄ用情報処理部８２、２Ｄ／３Ｄ変換器８３、３Ｄ映像生成部８４）で処理される信号の処理経過を示している。

まず、フォーマット設定部８１では、第１のパターンと第２のパターンのいずれか一方が用意される、或いは、両方が用意されてもよい。

第１のパターンは、第１の領域９０ａにおいて、メインビデオデータＶＩＤＥＯにグラフィックスデータＧＦＸを挿入したパターンである。この第１のパターンの第２の領域９０ｂは、ブランクであってもよくグラフィックデータＧＦＸが配置されていてもよい。また第３の領域９０ｃ１，９０ｃ２は、ブランクであってもよくグラフィックデータＧＦＸの深さ情報が配置されていてもよい。第４の領域９０ｄ１，９０ｄ２は、この段階ではブランクである。

第２のパターンは、メインビデオデータＶＩＤＥＯにグラフィックスデータＧＦＸを挿入しないパターンである。この第２のパターンの第２の領域９０ｂは、グラフィックデータＧＦＸが配置される。また第３の領域９０ｃ１，９０ｃ２は、グラフィックデータＧＦＸの深さ情報が配置される。第４の領域９０ｄ１，９０ｄ２は、この段階ではブランクである。

なおブランクとはデータオール０又はオール“Ｆ”である。

第１のパターン又は第２のパターンの３Ｄ用信号のいずれかが採用されて、３Ｄ用情報処理部８２と、２Ｄ／３Ｄ変換器８３により、３Ｄ構成用の複数（例えば９個）の映像プレーンに分解される。そしてここでは、主として、メインビデオデータの各画素の情報が生成される。メインビデオデータの奇数ライン及び偶数ラインの画素の深さ情報は、領域９０ｄ1、領域９０ｄ２に配置される。

第１のパターンの３Ｄ用信号が処理される場合は、メインビデオデータと同程度の解像度のグラフィックスデータを使用することができる。ただし、メインビデオデータに対する調整が影響し、グラフィックスデータの深さ情報が不安定になる場合がある。つまりグラフィックスの奥行きが不安定になる場合がある。メインビデオデータに対する調整とは、例えば、ガンマ調整、輝度調整、カラー調整などである。これらの調整があると、メインビデオデータに含まれているグラフィックスデータがメインビデオデータ調整の影響を受けるからである。

また、メインビデオデータの深さ情報を得るための処理時間が、そのままグラフィックデータの表示出力の遅れ時間として現れる。このために、グラフィックスデータによる画像が例えばリモートコントローラを操作するためのグラフィックユーザインターフェースであると、リモートコントローラの操作を実行する時点に対して、遅れ時間を考慮する必要がある。

上記した第１のパターンの３Ｄ用信号を用いるケースとしては、映像の特性が、例えば、静止画の領域が多い場合、あるいは、画面上で静止画と動画の領域が明確に分かれているような場合に有効である。静止画の領域が多い映像としては、例えば番組表の映像、データ放送から取得した映像などがあり、静止画と動画の領域が明確に分かれている映像としては、例えば映画に対して字幕の領域が設定されている映像がある。

第２のパターンの３Ｄ用信号が処理される場合は、グラフィックスデータＧＦＸは、専用の第２の領域９０ｂに配置される。このために、メインビデオデータに対する調整がグラフィックスデータに影響することはなく、グラフィックスデータの深さ情報が不安定になることもない。

またメインビデオデータの深さ情報を得るための処理が行われている間に、独立して、第２の領域９０ｂに、最新のグラフィックデータＧＦＸを配置し、また第３の領域９０ｃ１，９０ｃ２にグラフィックデータＧＦＸの深さ情報を配置することができる。このために、グラフィックスデータによる画像が例えばリモートコントローラを操作するためのグラフィックユーザインターフェースであると、リモートコントローラの操作を実行する時点に対して、遅れ時間を伴うことがない。例えばゲーム映像に対して、リモートコントローラを用いてゲーム操作を行う場合は、第２のパターンは有効である。

第１のパターン若しくは第２のパターンの３Ｄ用信号は、３Ｄ映像生成部８４に入力され、３Ｄ映像表示用信号（立体映像表示用信号）に変換される。この３Ｄ映像表示用信号は、図２で示した立体映像表示用画素を駆動する絵柄信号となる。つまり深さ情報に応じた画素信号に生成される。

上記した第１と第２のパターンの３Ｄ用信号のいずれを採用するかは、後述する３Ｄ関連制御器２３５ｃ（図５、図６参照）により決定される。

上記の実施形態によれば、メインビデオデータが配置される第１の領域、グラフィックスデータが配置される第２の領域、前記メインビデオデータの画素の深さ情報が配置される第３の領域、及び前記グラフィックスデータの画素の深さ情報のための第４の領域を有した３Ｄ信号用の基本フォーマットを定義している。３Ｄ処理モジュール８０は、前記第１の領域の画素の深さ情報を生成する場合に、前記メインビデオデータに前記グラフィックスデータを挿入した第１のパターンと前記メインビデオデータに前記グラフィックスデータを挿入しない第２のパターンを用いるかを選択可能としている。３Ｄ関連制御器は、前記３Ｄ処理モジュールが用いる第１と第２のパターンのいずれかを決定する。これにより、映像の特性に応じて適切なパターンの選択が可能となる。

上記の説明では、図３及び図４では、２Ｄ映像表示用信号を３Ｄ映像表示用信号に変換する３Ｄ処理モジュール８０として説明した。しかし、図３に示した３Ｄ映像表示用信号の既に完成したもの（各領域に既にデータが配置されたもの）が外部から入力することもある。本実施例は、このような場合は、必要な領域の信号を分解して、図４で説明した第１のパターンと第２のパターンの３Ｄ信号を再構築することも含むものである。したがって、本実施形態は、方式の異なる入力３Ｄ信号に対して柔軟に対応できる。例えばサイドバイサイド方式が入力した場合は、何れか片側のフレームを利用することができる。またフレーム毎に左右の眼用の映像がフレーム毎に交互に入力する場合は、片方のフレームのみを採用してもよい。

図５は、実施形態が適用された装置の一例でありテレビジョン放送受信装置２１００の信号処理系を概略的に示している。デジタルテレビジョン放送受信用のアンテナ２２２で受信したデジタルテレビジョン放送信号は、入力端子２２３を介してチューナ２２４に供給される。このチューナ２２４は、入力されたデジタルテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。チューナ２２４から出力された信号は、デコーダ２２５に供給されて、例えばＭＰＥＧ（moving picture experts group）２デコード処理が施された後、セレクタ２２６に供給される。

またチューナ２２４の出力は、直接セレクタ２２６に供給されている。この信号から映像・音声情報などが分離され、この映像・音声情報が制御部２３５を介して記録・再生信号処理器２５５で処理され、ハードディスクドライブ（ＨＤＤ）２５７にて記録されることも可能である。ＨＤＤ２５７は、ユニットとして端子２５６を介して記録・再生信号処理器５５に接続されており、交換することも可能である。またＨＤＤ２５７は、信号の記録器、読み取り器を含む。

アナログテレビジョン放送受信用のアンテナ２２７で受信したアナログテレビジョン放送信号は、入力端子２２８を介してチューナ２２９に供給される。このチューナ２２９は、入力されたアナログテレビジョン放送信号から所望のチャンネルの信号を選局し復調している。そして、このチューナ２２９から出力された信号は、Ａ／Ｄ（analog／digital）コンバータ２３０によりデジタル化された後、セレクタ２２６に出力される。

また、例えばＶＴＲなどの機器が接続されるアナログ信号用の入力端子２３１に供給されたアナログの映像及び音声信号は、Ａ／Ｄコンバータ２３２に供給されてデジタル化された後、セレクタ２２６に出力される。さらに、例えばＨＤＭＩ（High Definition Multimedia Interface）２６１を介して光ディスクあるいは磁気記録媒体再生装置などの外部機器が接続されるデジタル信号用の入力端子２３３に供給されたデジタルの映像及び音声信号は、そのままセレクタ２２６に供給される。

Ａ／Ｄ変換された信号が、ＨＤＤ２５７にて記録される場合は、セレクタ２２６に付随しているエンコーダ・デコーダ２３６内のエンコーダにより、所定のフォーマット例えばＭＰＥＧ（moving picture experts group）２方式による圧縮処理が施された後、記録・再生信号処理器２５５を介してＨＤＤ２５７に記録される。記録・再生信号処理器２５５は、記録制御器２３５aと相俟って、ＨＤＤ２５７に情報を記録する場合、例えばＨＤＤ２５７の何処のディレクトリに対してどのような情報を記録するかを予めプログラムされている。したがってストリームファイルをストリームディレクトリに格納するときの条件、識別情報を録画リストファイルに格納するときの条件などが設定されている。

セレクタ２２６は、４種類の入力デジタル映像及び音声信号から１つを選択して、信号処理器２３４に供給している。この信号処理器２３４は、入力されたデジタル映像信号からオーディオ情報、ビデオ情報を分離し、所定の信号処理を施している。信号処理としては、オーディオ情報に関しては、オーディオデコード・音質調整・ミックス処理などが任意に行われる。ビデオ情報に関しては、カラー・輝度分離処理、カラー調整処理、画質調整処理などが行われる。

また信号処理器２３４内には、先に説明した３Ｄ処理モジュール８０も含まれる。ビデオ出力部２３９では、３Ｄ・２Ｄの切り替えに応じて３Ｄ信号出力又は２Ｄ信号出力の切り替えが行われる。またビデオ出力部２３９は、制御ブロック２３５からのグラフィック映像、文字・図形・記号・等の映像、ユーザインターフェース映像、番組表の映像などをメイン映像に多重する合成部も含む。ビデオ出力部２３５は、走査線数変換を含んでもよい。

オーディオ情報は、オーディオ出力回路２３７でアナログ化され、音量、チャンネルバランスなどの調整を受けた後、出力端子２３８を介してスピーカ装置２１０２に出力される。

ビデオ情報は、ビデオ出力回路２３９にて、画素の合成処理、走査線数変換など受けたのち、出力端子２４２を介して表示装置２１０３へ出力される。表示装置２１０３としては、例えば、図２で説明した装置が採用される。

このテレビジョン放送受信装置２１００は、各種の受信動作を含む種々の動作を制御ブロック２３５によって統括的に制御されている。この制御ブロック２３５は、ＣＰＵ（central processing unit）等を内蔵したマイクロプロセッサの集合である。制御ブロック２３５は、操作部２４７からの操作情報、または、リモートコントローラ２１０４から送信された操作情報がリモコン信号受信部２４８を取得され、これにより、その操作内容が反映されるように各種ブロックをそれぞれ制御している。

制御部２３５は、メモリ２４９を使用している。このメモリ２４９は、主として、そのＣＰＵが実行する制御プログラムを格納したＲＯＭ（read only memory）と、該ＣＰＵに作業エリアを提供するためのＲＡＭ（random access memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを備えている。

またこの装置はインターネットを介して外部サーバーとの通信を行うことも可能である。接続端子２４４からのダウンストリーム信号は、送・受信器２４５で復調され変調・復調器２４６で復調され、制御ブロック２３５に入力される。またアップストリーム信号は、変調・復調器２４６で変調され、送・受信器２４５で送信信号に変換され接続端子２４４に出力される。

制御ブロック２３５は、外部サーバーからダウンロードされた動画像あるいはサービス情報を変換処理し、ビデオ出力回路２３９に供給することができる。また制御ブロック２３５は、リモコン操作に応答して、外部サーバーに向けてサービス要求信号を送信することもできる。

さらに制御ブロック２３５は、コネクタ２５１に装着されたカードタイプメモリ２５２のデータを読み取ることも可能である。このために本装置は、例えば、カードタイプメモリ２５２から写真画像データを取り込み、表示装置２１０４に表示することが可能である。また特殊なカラー調整などを行う際に、カードタイプメモリ２５２からの画像データを標準データ或いは参照データとして用いることも可能である。

上記装置において、ユーザは、デジタルテレビジョン放送信号の所望の番組を視聴すると共に、ＨＤＤ２５７に保存したいと思う場合、リモートコントローラ２１０４を操作することによりチューナ２２４を制御し、番組選択を行う。

チューナ２２４の出力は、デコーダ２２５でデコードされベースバンド映像信号に復号され、このベースバンド映像信号は、セレクタ２２６から信号処理器２３４に入力する。これによりユーザは、所望の番組を表示装置２１０３で見ることができる。

また選択された番組のストリーム（多数のパケットからなる）は、セレクタ２２６を介して制御ブロック２３５に入力する。ユーザが録画操作を行えば、記録制御器３５ａは、前記番組のストリームを選択して記録・再生信号処理器２５５に供給する。記録制御器２３５ａ及び記録・再生信号処理器２５５の動作により、例えば前記番組のストリームに対してファイル番号が付され、ストリームファイルとしてＨＤＤ２５７のファイルディレクトリに格納される。

また、ユーザがＨＤＤ２５７に記録されているストリームファイルを再生して視聴したい場合、例えばリモートコントローラ２１０４を操作して、例えば録画リストファイルの表示を指定する（この録画リストファイルについては後でさらに詳しく説明する）。

録画リストファイルは、ＨＤＤ２５７にどのようなストリームファイルが記録されているのかを示すファイル番号やファイル名（識別情報と称する）のテーブルを有する。ユーザが録画リストファイルの表示を指定すると、録画リストがメニューとして表示されるので、ユーザは、表示されたリストの中の希望の番組名あるいはファイル番号の位置にカーソルを移動させ、決定ボタンを操作する。すると、所望のストリームファイルの再生が開始される。

指定されたストリームファイルは、再生制御器２３５ｂの制御のもとで、ＨＤＤ２５７から読み出され、記録・再生信号処理器２５５で復号され、制御ブロック２３５、セレクタ２２６を経由して信号処理器２３４に入力される。

ここで、制御ブロック２３５は、記録制御器２３５a、再生制御器２３５ｂ、及び３Ｄ関連制御器２３５ｃを含む。

図６には、３Ｄ関連制御器２３５ｃと３Ｄ処理モジュール８０、ビデオ出力回路２３９の関係を取り出して示している。３Ｄ関連制御器２３５ｃは、設定及び操作入力処理器８０a、処理パターン制御信号選択器８０ｂ、処理パターン決定器８０ｃを含む。処理パターン制御信号選択器８０ｂは、操作入力に応じて先に説明した第１のパターン若しくは第２のパターンを決定するための制御信号を出力し、処理パターン決定器８０ｃに供給する。処理パターン決定器８０ｃは、入力した制御信号に応じて、３Ｄ処理モジュール８０内における処理パターンを第１若しくは第２の何れかの処理パターンに決定することができる。

処理パターンを設定若しくは切り替えるための方法が各種設定されている。第１は、リモートコントローラからのユーザ操作による操作信号が入力したときである。ユーザは、第１若しくは第２の処理パターンのいずれかを強制的に設定することが可能である。ユーザが特に操作入力を入力しないとき（或いは例えば、処理パターン解除ボタンを操作したとき）は、処理パターン制御信号選択器８０ｂは、映像状態診断器８０ｆからの診断信号、若しくは制御信号取得機８０ｇからの制御信号に応答して、処理パターン制御信号を特定する。

映像状態診断器８０ｆは、入力した２Ｄ映像表示用信号を解析して、例えば、
（１）データ放送信号を出力中であるかどうか、また、
（２）画面上でグラフィック画像エリアの割合を計算しその割合が画面の例えば４０％以上であるかどうかを判断する。さらには、
（３）入力した２Ｄ映像表示用信号は、静止画領域（例えば字幕の領域）と動画領域（例えば映画の領域）が明確に区分されているかどうかを判断する。

制御信号取得器８０ｇは、入力した２Ｄ映像表示用信号に付随する制御信号が、処理パターンを指定しているかどうかを判断する。

図７は、図６のブロック構成において、使用する第１と第２のパターンのいずれかを決定する手順の一例を示している。この手順は一例であり、本発明を限定的にするものではない。まず、リモコン操作によりユーザは所望のパターンを強制的に選択できるようになっている（ステップＳ１）。リモコン操作が無い、つまり非選択モードにあるときは、制御信号が判断される（ステップＳ２）。この制御信号は、例えば、メインビデオデータとともに送られてきた指定信号であり、第１のパターン若しくは第２のパターンを指定している。この指定信号は、例えば予めコンテンツプロバイダーが、メインビデオデータのコンテンツに対して与えたものである。

指定信号が無い場合は、現在の処理中の信号がデータ放送信号であるかどうかの判定がなされる（ステップＳ３）。データ放送信号が処理され出力されているときは、第１のパターンを選択する制御信号が出力され、第１のパターンの設定信号が得られる（ステップＳ７）。データ放送信号が処理され出力されていないときは、表示器の１画面に対するグラフィック画像エリアの割合が計算される（ステップＳ４）。ここで１画面に対するグラフィック画像エリアの割合が例えば４０％以上であれば（ステップＳ５）、第１のパターンの設定信号が得られる（ステップＳ７）。なお４０％は限定的ではなく、変更可能であっても良い。１画面に対するグラフィック画像エリアの割合が例えば４０％以上無かった場合、静止画領域と動画領域とが明確に区分されているかどうかを判断する（ステップＳ６）。明確に区分されている場合は、第１のパターン設定信号が得られる（ステップＳ７）。これにより字幕領域が固定されているような映画の場合、字幕の文字を高い解像度で表示できる。静止画領域と動画領域とが明確に区分されていない場合は、第２のパターンの設定信号が得られる（ステップＳ８）。なお上記のフローにおいて、判断部分の順序が入れ替わっても良く本発明の範疇である。

上記したように実施形態によると、グラフィックスデータ、メインビデオデータの特質に応じて使用する第１のパターンと第２のパターンを選択して、２Ｄ映像表示用信号を３Ｄ映像表示用信号に変換している。このために種々の入力映像信号に対して適切な２Ｄ／３Ｄ変換処理を実現できる。また第１のパターンを採用したときは、高解像度のグラフィックスデータの映像を効果的に伝送できる。つまりグラフィックスデータの映像に対して適応的に処理可能で商品価値を向上し得るものである。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０・・・表示ユニット、１１・・・立体映像表示用画素、２０・・・マスク、３０・・・バックライト、２２・・・窓部、４１・・・光線、８０・・・３Ｄ処理モジュール、２３５・・・３Ｄ関連制御器、０８ａ・・・設定及び操作入力器、８０ｂ・・・処理パターン制御信号選択器、８０ｃ・・・処理パターン決定器、８０ｇ・・・制御信号取得器、８０ｆ・・・映像状態診断器。

Claims (6)

1. メインビデオデータを配置する第１の領域、グラフィックスデータを配置する第２の領域、前記メインビデオデータの画素の深さ情報を配置する第３の領域、及び前記グラフィックスデータの画素の深さ情報を配置する第４の領域を有した３Ｄ信号用のフォーマットを定義しており、
   前記第１の領域の画素の深さ情報を生成する場合に、前記メインビデオデータに前記グラフィックスデータを挿入した第１のパターンと前記メインビデオデータに前記グラフィックスデータを挿入しない第２のパターンのいずれを用いるか選択可能とした３Ｄ処理モジュールと、
   前記３Ｄ処理モジュールが用いる第１と第２のパターンのいずれかを決定する３Ｄ関連制御器と、
   を有する立体映像信号処理装置。
2. 前記３Ｄ関連制御器は、前記メインビデオデータと共に送られてくる制御信号に基づいて、若しく前記メインビデオデータの静止画領域と動画領域が明確に区分されているかを判断した判断結果による制御信号に基づいて、前記第１と第２のパターンのいずれかを決定する請求項１記載の立体映像信号処理装置。
3. 前記３Ｄ関連制御器は、グラフィックスデータによる映像領域が前記メインビデオデータによる映像領域の所定パーセント以上の場合に前記第１のパターンを決定する請求項２記載の立体映像信号処理装置。
4. 前記３Ｄ関連制御器は、リモートコントローラの操作信号に基づいて、前記第１と第２のパターンのいずれかを決定する請求項１記載の立体映像信号処理装置。
5. ３Ｄ信号処理モジュールとその制御信号を出力する３Ｄ関連制御器による立体映像信号処理方法において、
   メインビデオデータを配置する第１の領域、グラフィックスデータを配置する第２の領域、前記メインビデオデータの画素の深さ情報を配置する第３の領域、及び前記グラフィックスデータの画素の深さ情報を配置する第４の領域を有した３Ｄ信号用のフォーマットを定義しており、
   前記３Ｄ信号処理モジュールでは、前記第１の領域の画素の深さ情報を生成する場合に、前記メインビデオデータに前記グラフィックスデータを挿入した第１のパターンと前記メインビデオデータに前記グラフィックスデータを挿入しない第２のパターンを用いるかを選択可能し、
   前記メインビデオデータの処理を指定する制御信号に基づいて、前記３Ｄ関連制御器により第１と第２のパターンのいずれかを決定するようにした立体映像信号処理方法。
6. 前記制御信号は、前記メインビデオデータと共に送られてくる信号、若しく前記メインビデオデータの静止画領域と動画領域が明確に区分されているかを判断した判断結果の信号である請求項５記載の立体映像信号処理方法。

Images