JP2013546220A - ディスプレイ装置および信号処理装置並びにその方法 - Google Patents

Abstract

グラフィック客体を表示するディスプレイ装置が開示される。本装置は、ビデオ信号を処理して映像を構成するビデオ処理部と、グラフィックデータを処理してグラフィック客体を構成するグラフィック処理部と、映像およびグラフィック客体を表示するためのディスプレイ部と、映像およびグラフィック客体の各々に互いに異なる立体感を与え、映像が表示されるリファレンスレイヤの上位であるオーバーレイレイヤにグラフィック客体が表示される状態を維持するように、ビデオ処理部およびグラフィック処理部を制御する制御部とを含む。それにより、デプス逆転現象を防止することができる。

Description

本発明は、ディスプレイ装置および信号処理装置並びにその方法に関し、より詳細には、立体感グラフィック客体を安定的に表示するようにするディスプレイ装置および信号処理装置並びにその方法に関する。

電子技術の発達により、多様な種類の電子装置が開発されている。特に、一般家庭で最も多く使われているテレビ等のようなディスプレイ装置の場合、かつてに比べて大型化されたスクリーンを備えて、より多くの機能を行うことができるスマート型機器に進化しつつある。

それにより、ディスプレイ装置から提供するコンテンツも単に放送信号にとどまらなくなった。例えば、多様な種類のアプリケーションやウィジェットプログラムをインストールされ、ユーザに提供することができる。

なお、最近では、３Ｄ（ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎ）ディスプレイ機能を備えたディスプレイ装置も急ピッチで普及されている。３Ｄディスプレイ装置は、画面に表示される客体に立体感を与えて、ユーザが臨場感のある画面を視聴することができるようにする機器である。それにより、３Ｄディスプレイ装置から出力する３Ｄコンテンツに対する開発への取り組みが加速化している。

一方、３Ｄディスプレイ機能を備えたディスプレイ装置をより効率的に用いて、最適の視聴環境を提供すことができるように、画面出力以外の機能も３Ｄ方式に合うように適切に実現する必要がある。

例えば、画面字幕やＯＳＤメニュー等のような多様な種類のグラフィック客体の場合、イメージと重なってディスプレイされるようになるが、立体感の大きいコンテンツの場合には、このようなグラフィック客体がイメージの裏側に位置するように認識される画面逆転現象が発生しかねない。それにより、ユーザが３Ｄコンテンツを視聴するうえで、眩暈や不都合を感じるようになる場合がある。

よって、ビデオ出力とともにグラフィック客体が出力される場合、画面逆転現象が防止できるようにする技術に対する必要性が出てきた。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、グラフィック客体が映像出力レイヤより上位に表示される状態を維持することができるようにするディスプレイ装置および信号処理装置並びにその方法を提供することにある。

以上のような目的を達成するための本発明の一実施形態に係るディスプレイ装置は、ビデオ信号を処理して映像を構成するビデオ処理部と、グラフィックデータを処理してグラフィック客体を構成するグラフィック処理部と、前記映像および前記グラフィック客体を表示するためのディスプレイ部と、前記映像および前記グラフィック客体の各々に互いに異なる立体感を与え、前記映像が表示されるリファレンスレイヤの上位であるオーバーレイレイヤに前記グラフィック客体が表示される状態を維持するように、前記ビデオ処理部および前記グラフィック処理部を制御する制御部とを含む。

ここで、外部ソースから前記リファレンスレイヤに対する第１ディスパリティ情報および前記オーバーレイレイヤに対する第２ディスパリティ情報を受信する受信部を更に含んでよい。

この場合、前記制御部は、前記第１ディスパリティ情報に応じて、前記映像に立体感を与えるように前記ビデオ処理部を制御し、前記第２ディスパリティ情報に応じて、前記グラフィック客体に立体感を与えるように前記グラフィック処理部を制御してよい。

そして、前記受信部は、前記ビデオ信号と、前記グラフィックデータと、前記第１ディスパリティ情報および前記第２ディスパリティ情報を含む放送信号を受信し、前記ビデオ処理部および前記グラフィック処理部は、前記放送信号に含まれたプログラム情報テーブルまたはユーザデータ領域から前記第１ディスパリティ情報および前記第２ディスパリティ情報を各々検出してよい。

一方、前記本装置は、外部ソースから前記リファレンスレイヤに対する第１ディスパリティ情報を受信する受信部と、前記オーバーレイレイヤに対する第２ディスパリティ情報を生成するディスパリティ情報生成部とを更に含んでよい。

この場合、前記制御部は、前記第１ディスパリティ情報に応じて、前記映像に立体感を与えるように前記ビデオ処理部を制御し、前記第２ディスパリティ情報に応じて、前記グラフィック客体に立体感を与えるように前記グラフィック処理部を制御してよい。

そして、前記ディスパリティ情報生成部は、前記リファレンスレイヤのディスパリティ変動状態に応じて、前記オーバーレイレイヤのディスパリティが変動され、前記オーバーレイレイヤ間のデプスの差異が予め設定された大きさを保持するように、前記第１ディスパリティ情報を基準として前記第２ディスパリティ情報を生成してよい。

または、前記ディスパリティ情報生成部は、前記オーバーレイレイヤが固定されたデプスを有するように前記第２ディスパリティ情報を生成してよい。

そして、前記ディスパリティ情報生成部は、任意のストリーム単位内で前記リファレンスレイヤの最大のディスパリティを検出し、検出された情報を基準として前記第２ディスパリティ情報を生成してよい。

なお、前記ディスパリティ情報生成部は、前記グラフィック客体が表示される時点における前記リファレンスレイヤのディスパリティを検出し、検出された情報を基準として前記第２ディスパリティ情報を生成してよい。

そして、予め設定されたデプス情報が保存された保存部と、前記デプス情報に応じて、前記リファレンスレイヤに対する第１ディスパリティ情報および前記オーバーレイレイヤに対する第２ディスパリティ情報を生成するディスパリティ情報生成部とを更に含んでよい。

この場合、前記制御部は、前記第１ディスパリティ情報に応じて、前記映像に立体感を与えるように前記ビデオ処理部を制御し、前記第２ディスパリティ情報に応じて、前記グラフィック客体に立体感を与えるように前記グラフィック処理部を制御してよい。

一方、前記オーバーレイレイヤは、互いに異なるデプスを有する複数個のレイヤを含み、各レイヤには、互いに異なる種類のグラフィック客体が表示されてよい。

そして、前記各レイヤに表示されるグラフィック客体種類の表示順番は、ユーザの選択によって互いに変更可能であってよい。

そして、前記グラフィック客体は、ＯＳＤメニューと、字幕と、プログラム情報と、アプリケーションアイコンと、アプリケーションウィンドウおよびＧＵＩウィンドウのうち、少なくとも何れか一つ以上の種類の客体を含んでよい。

一方、本発明の一実施形態に係る信号処理装置は、入力信号を受信する受信部と、前記入力信号に含まれたビデオ信号を処理してリファレンスレイヤにディスプレイできるように、映像を構成するビデオ処理部と、前記入力信号に含まれたオーディオ信号を処理して音響を生成するオーディオ処理部と、グラフィックデータを処理して前記リファレンスレイヤの上位であるオーバーレイレイヤにディスプレイできるようにグラフィック客体を構成するグラフィック処理部と、前記映像、前記音響、前記グラフィック客体を出力手段に伝送するインターフェース部とを含む。

ここで、前記ビデオ処理部は、前記入力信号に含まれた第１ディスパリティ情報を検出し、前記第１ディスパリティ情報に基づいて前記映像に立体感を与え、前記グラフィック処理部は、前記入力信号に含まれた第２ディスパリティ情報を検出し、前記第２ディスパリティ情報に基づいて前記グラフィック客体に立体感を与えてよい。

そして、本信号処理装置は、前記オーバーレイレイヤに対する第２ディスパリティ情報を生成するディスパリティ情報生成部を更に含んでよい。

ここで、前記ビデオ処理部は、前記入力信号に含まれた第１ディスパリティ情報を検出し、前記第１ディスパリティ情報に基づいて前記映像に立体感を与え、前記グラフィック処理部は、前記ディスパリティ情報生成部から生成した前記第２ディスパリティ情報に応じて前記グラフィック客体に立体感を与えてよい。

そして、前記ディスパリティ情報生成部は、前記リファレンスレイヤのディスパリティ変動状態に応じて、前記オーバーレイレイヤのディスパリティが変動され、前記オーバーレイレイヤ間のデプスの差異が予め設定された大きさを保持するように、前記第１ディスパリティ情報を基準として前記第２ディスパリティ情報を生成してよい。

または、前記ディスパリティ情報生成部は、前記オーバーレイレイヤが固定されたデプスを有するように前記第２ディスパリティ情報を生成してよい。

そして、前記ディスパリティ情報生成部は、任意のストリーム単位内で前記リファレンスレイヤの最大のディスパリティを検出し、検出された情報を基準として前記第２ディスパリティ情報を生成してよい。

または、前記ディスパリティ情報生成部は、前記グラフィック客体が表示される時点における前記リファレンスレイヤのディスパリティを検出し、検出された情報を基準として前記第２ディスパリティ情報を生成してよい。

なお、本装置は、予め設定されたデプス情報が保存された保存部と、前記デプス情報に応じて、前記リファレンスレイヤに対する第１ディスパリティ情報および前記オーバーレイレイヤに対する第２ディスパリティ情報を生成するディスパリティ情報生成部とを更に含んでよい。

そして、前記ビデオ処理部は、前記入力信号に含まれた第１ディスパリティ情報を検出し、前記第１ディスパリティ情報に基づいて前記映像に立体感を与え、前記グラフィック処理部は、前記入力信号に含まれた第２ディスパリティ情報を検出し、前記第２ディスパリティ情報に基づいて前記グラフィック客体に立体感を与えてよい。

一方、前記オーバーレイレイヤは、互いに異なるデプスを有する複数個のレイヤを含み、各レイヤには、互いに異なる種類のグラフィック客体が表示されてよい。

そして、前記各レイヤに表示されるグラフィック客体種類の表示順番は、ユーザの選択によって互いに変更可能であってよい。

なお、前記グラフィック客体は、ＯＳＤメニューと、字幕と、プログラム情報と、アプリケーションアイコンと、アプリケーションウィンドウおよびＧＵＩウィンドウのうち、少なくとも何れか一つ以上の種類の客体を含んでよい。

一方、本発明の一実施形態に係る信号処理方法は、ビデオ信号を処理してリファレンスレイヤにディスプレイできるように映像を構成するステップと、グラフィックデータを処理して、前記リファレンスレイヤの上位であるオーバーレイレイヤにディスプレイできるようにグラフィック客体を構成するステップと、前記映像および前記グラフィック客体を出力手段に伝送するステップとを含む。

ここで、外部ソースから前記リファレンスレイヤに対する第１ディスパリティ情報および前記オーバーレイレイヤに対する第２ディスパリティ情報を受信する受信ステップを更に含んでよい。

この場合、前記映像は、前記第１ディスパリティ情報に応じて立体感が与えられ、前記グラフィック客体は、前記第２ディスパリティ情報に応じて立体感が与えられて構成されてよい。

そして、前記受信ステップは、前記ビデオ信号と、前記グラフィックデータと、前記第１ディスパリティ情報および前記第２ディスパリティ情報を含む放送信号を受信するステップと、前記放送信号に含まれたプログラム情報テーブルまたはユーザデータ領域から前記第１ディスパリティ情報および前記第２ディスパリティ情報を各々検出するステップとを含んでよい。

なお、外部ソースから前記リファレンスレイヤに対する第１ディスパリティ情報を受信するステップと、前記オーバーレイレイヤに対する第２ディスパリティ情報を生成するステップとを更に含んでよい。

ここで、前記映像は、前記第１ディスパリティ情報に応じて立体感が与えられ、前記グラフィック客体は、前記第２ディスパリティ情報に応じて立体感が与えられて構成されてよい。

そして、前記第２ディスパリティ情報を生成するステップは、前記第１ディスパリティ情報を分析して、前記リファレンスレイヤのディスパリティ変動状態を確認するステップと、前記リファレンスレイヤのディスパリティ変動状態に応じて、前記オーバーレイレイヤのディスパリティが変動され、前記オーバーレイレイヤ間のデプスの差異が予め設定された大きさを保持するように、前記第１ディスパリティ情報を基準として前記第２ディスパリティ情報を生成するステップとを含んでよい。

ここで、前記第２ディスパリティ情報は、前記オーバーレイレイヤが固定されたデプスを有するように生成されるものであってよい。

または、前記第２ディスパリティ情報は、任意のストリーム単位内で検出された前記リファレンスレイヤの最大のディスパリティを基準として生成されるものであってよい。

または、前記第２ディスパリティ情報は、前記グラフィック客体が表示される時点で検出される前記リファレンスレイヤのディスパリティを基準として生成されるものであってよい。

一方、本方法は、予め設定されたデプス情報が保存された保存部から前記デプス情報を読み取るステップと、前記デプス情報に応じて、前記リファレンスレイヤに対する第１ディスパリティ情報および前記オーバーレイレイヤに対する第２ディスパリティ情報を生成するステップとを更に含んでよい。

ここで、前記映像は、前記第１ディスパリティ情報に応じて立体感が与えられ、前記グラフィック客体は、前記第２ディスパリティ情報に応じて立体感が与えられて構成されてよい。

そして、前記オーバーレイレイヤは、互いに異なるデプスを有する複数個のレイヤを含み、各レイヤには、互いに異なる種類のグラフィック客体が表示されてよい。

なお、前記各レイヤに表示されるグラフィック客体種類の表示順番は、ユーザの選択によって互いに変更可能であってよい。

そして、前記グラフィック客体は、ＯＳＤメニューと、字幕と、プログラム情報と、アプリケーションアイコンと、アプリケーションウィンドウおよびＧＵＩウィンドウのうち、少なくとも何れか一つ以上の種類の客体を含んでよい。

以上説明したように、本発明によれば、グラフィック客体が、映像が出力されるレイヤより上位レイヤに表示される状態を保持することができるようになる。よって、３Ｄコンテンツおよびグラフィック客体の位置が入れ替わる画面逆転現象を防止することができるようになる。

本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。 リファレンスレイヤおよび複数のオーバーレイレイヤの関係を説明するための図である。 本発明の多様な実施形態に係るディスプレイ装置の構成を示すブロック図である。 本発明の多様な実施形態に係るディスプレイ装置の構成を示すブロック図である。 本発明の多様な実施形態に係るディスプレイ装置の構成を示すブロック図である。 オーバーレイレイヤのディスパリティを固定させる多様な実施形態を説明するための図である。 オーバーレイレイヤのディスパリティを固定させる多様な実施形態を説明するための図である。 オーバーレイレイヤのディスパリティを固定させる多様な実施形態を説明するための図である。 オーバーレイレイヤのディスパリティを流動的に変更する実施形態を説明するための図である。 オーバーレイレイヤのディスパリティを流動的に変更する実施形態を説明するための図である。 オーバーレイレイヤの状態を変更するためのＵＩの一例を示す図である。 本発明の多様な実施形態に係る信号処理装置の構成を示す図である。 本発明の多様な実施形態に係る信号処理装置の構成を示す図である。 本発明の多様な実施形態に係る信号処理装置の構成を示す図である。 本発明の一実施形態に係る放送送信装置の構成を示すブロック図である。 プログラム情報テーブルの内容に応じて変更されるディスプレイ状態を説明するための図である。 プログラム情報テーブルの内容に応じて変更されるディスプレイ状態を説明するための図である。 本発明の多様な実施形態に係る信号処理方法を説明するためのフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。図１に示すように、ディスプレイ装置１００は、ビデオ処理部１１０と、グラフィック処理部１２０と、制御部１３０およびディスプレイ部１４０を含む。ディスプレイ装置とは、テレビやパソコン、デジタルフォトフレーム、ＰＤＡ、携帯電話、ノートパソコン、タブレットパソコン、電子書籍等のようにディスプレイ機能を具備した多様な種類の装置を意味する。

ビデオ処理部１１０は、ビデオ信号を処理して映像を構成する部である。このようなビデオ信号は、放送送信装置から伝送された放送信号から検出することができ、ウェブサーバや内部または外部保存媒体、再生装置等のような多様な外部ソースから提供される信号であってよい。

ビデオ信号は、３Ｄ出力のためのステレオ映像であってよい。ステレオ映像とは、二つ以上の映像を意味する。一例として、一つの被写体を別の角度から撮影した二つの映像、すなわち、第１入力映像および第２入力映像がステレオ映像であってよい。説明の便宜上、本明細書では、第１入力映像を左眼映像（または、左側映像）、第２入力映像を右眼映像（または、右側映像）と称し、説明を進める。上述のような多様なソースから左眼映像および右眼映像の両方を含むステレオ映像がそのまま伝送された場合、ビデオ処理部１１０は、これらのデータを各々デコーディングして一つの３Ｄ映像を構成する左眼イメージフレームおよび右眼イメージフレームを生成することができる。

一方、ビデオ信号は２Ｄ映像であってよい。この場合、ビデオ処理部１１０は、２Ｄ映像に対するデコーディング、デインターリービング、スケーリング等のような多様な信号処理を行って一つのイメージフレームで構成してよい。

一方、２Ｄ映像が入力される場合でも、３Ｄ出力をしようとする場合、ビデオ処理部１１０は入力された２Ｄ映像から構成される一つのイメージフレームを基準フレームとしておき、そのフレーム内の各客体に該当するピクセルの位置をシフトさせて新たなフレームを生成することができる。ここで、基準フレームは、左眼イメージフレームとして使用され、ディスパリティを有する新たなフレームは、右眼イメージフレームとして使用されてよい。

グラフィック処理部１２０は、グラフィックデータを処理してグラフィック客体を構成することができる。ここで、グラフィック客体とは、映像に対応する字幕（ｓｕｂｔｉｔｌｅ ｏｒ ｃｌｏｓｅｄ ｃａｐｔｉｏｎ）であってよい。なお、それに限定されず、ＯＳＤメニューと、プログラム情報と、アプリケーションアイコンと、アプリケーションウィンドウおよびＧＵＩウィンドウ等のような多様な種類の客体がグラフィック処理部１２０によって生成されてよい。

制御部１３０は、ビデオ処理部１１０で構成されて映像、グラフィック１２０で構成されたグラフィック客体の各々に互いに異なる立体感を与えて、画面逆転現象が生じないように、ビデオ処理部１１０およびグラフィック処理部１２０を制御することができる。具体的には、制御部１３０は、ビデオ処理部１１０で３Ｄ方式で映像を構成する場合、その３Ｄ映像が表示されるレイヤより奥行き感覚がより強いレイヤにグラフィック客体が表示される状態を維持するように、ビデオ処理部１１０およびグラフィック処理部１２０の各々を制御してよい。

以下では、映像が表示されるレイヤをリファレンスレイヤとし、グラフィック客体が表示されるレイヤをオーバーレイレイヤ（ｏｖｅｒｌａｙ ｌａｙｅｒ）とする。オーバーレイレイヤには、映像を除くグラフィック的な要素を有する多様な種類のグラフィック客体が表示されてよい。オーバーレイレイヤのディスパリティは、映像が表示されるリファレンスレイヤより大きい値に定められてよい。具体的には、逆転が生じないことを保障することができる値に定められる。

ディスプレイ部１４０は、ビデオ処理部１１０で構成された映像フレームおよびグラフィック処理部１２０で構成されたグラフィック客体を画面上にディスプレイする。ここで、ディスプレイ部１４０は、左眼映像フレームおよび右眼映像フレームを交互に表示して映像を３Ｄで表示することができる。なお、左眼グラフィック客体と右眼グラフィック客体とを交互に表示してグラフィック客体も３Ｄで表示することができる。

一方、本ディスプレイ装置１００が非メガネ方式の３Ｄディスプレイ装置で実現された場合、ビデオ処理部１１０は映像を多時点映像で構成でき、グラフィック処理部１２０は、グラフィック客体を多時点客体で構成することができる。この場合、ディスプレイ部１４０は、多時点映像および多時点客体を空間的に区分して出力し、メガネを掛けなくても被写体との距離感を感じ、３Ｄ映像として認識するようにすることができる。具体的には、この場合、ディスプレイ装置１４０は、パララクスバリア（Ｐａｒａｌｌａｘ Ｂａｒｒｉｅｒ）技術またはレンチキュラー（Ｌｅｎｔｉｃｕｌａｒ）技術によるディスプレイパネルで実現されてよい。

図２は、リファレンスレイヤとオーバーレイレイヤとが表示される状態の一例を示す。図２によると、ディスプレイ装置１００の画面上では、映像およびグラフィック客体が各々３Ｄ方式で出力される。３Ｄ方式の場合、ディスパリティに応じて多様な奥行き感が表示される。このように、互いに異なるデプスを有する複数の客体が存在する際、その奥行き感を各々レイヤまたはプレーン（Ｐｌａｎｅ）と称してよい。複数のレイヤのうち、映像が表示されるリファレンスレイヤ１０は最も基本的なベースに該当し、その上位には、少なくとも一つ以上のオーバーレイレイヤ２０、３０が設けられてよい。図２においては、一つのリファレンスレイヤ１０を示しているが、映像が３Ｄで表示される場合には、リファレンスレイヤ１０そのものも複数個で設けられてよい。このとき、全オーバーレイレイヤのうち、最下位のオーバーレイレイヤ２０であっても、最上位のリファレンスレイヤ１０と最小の同じ奥行き感を有するか、より大きい奥行き感を有するように構成される。これにより、３Ｄコンテンツの立体感が大きくても、グラフィック客体が常に映像よりもっとユーザに近く感じられるように表示され、逆転が生じなくなる。

上述のように、多様な種類のグラフィック客体は、一つのオーバーレイレイヤに全て表示されてよく、種類に応じて互いに異なる奥行き感を有する複数のオーバーレイレイヤに各々表示されてよい。

一方、リファレンスレイヤのディスパリティ情報およびオーバーレイレイヤのディスパリティ情報は、多様な方式で提供されてよい。

図３は、本発明の一実施形態に係るディスプレイ装置の細部構成例を示すブロック図である。図３に示すように、ディスプレイ装置１００は、ビデオ処理部１１０と、グラフィック処理部１２０と、制御部１３０と、ディスプレイ部１４０および受信部１５０を含んでよい。

一実施形態によると、受信部１５０は、外部ソースからリファレンスレイヤに対する第１ディスパリティ情報およびオーバーレイレイヤに対する第２ディスパリティ情報を受信してよい。

ここで、外部ソースとは、放送信号を伝送する放送局であってよく、その他の保存媒体、外部サーバ、再生装置等のように、多様な装置であってよい。外部ソースは、グラフィック客体が常に映像より上位に表示できるように、第２ディスパリティ情報の大きさを第１ディスパリティ情報より大きい値に設定して伝送することができる。

制御部１３０は、受信部１５０によって第１ディスパリティ情報および第２ディスパリティ情報のいずれもが受信される場合には、第１ディスパリティ情報に応じて映像に立体感を与えるように、ビデオ処理部１１０を制御し、第２ディスパリティ情報に応じてグラフィック客体に立体感を与えるように、グラフィック処理部１２０を制御することができる。ここで、第１ディスパリティ情報とは、オーバーレイレイヤの表示基準として参照され得るビデオのデプス（Ｄｅｐｔｈ）またはディスパリティに対する情報を意味する。なお、第２ディスパリティ情報とは、オーバーレイレイヤのデプスまたはディスパリティを直接的に示す明示的な値を意味する。このような第１および第２ディスパリティ情報を用いて、ディスプレイ装置１００は画面逆転現象が生じることなく、映像およびグラフィック客体を３Ｄ方式で表現することができる。

図４は、ビデオ処理部１１０およびグラフィック処理部１２０の細部構成を説明するためのディスプレイ装置１００の構成例を示す。図４に示すように、ディスプレイ装置は、ビデオ処理部１１０と、グラフィック処理部１２０と、受信部１５０およびデマルチプレクサ１６０を含む。

ここで、デマルチプレクサ１６０は、受信部１５０を介して受信した放送信号からビデオ信号およびグラフィックデータを検出する構成を意味する。すなわち、上述のように、受信部１５０は、ビデオ信号、グラフィックデータ、第１ディスパリティ情報および第２ディスパリティ情報を含む放送信号を受信することができる。図４では図示はしていないが、受信部１５０には、アンテナやＲＦダウンコンバータ、復調部と、等化部等のような多様な構成が設けられてよい。それにより、受信されたＲＦ信号を中間帯域にダウンコンバーティングした後、復調および等化を行って信号を復元し、デマルチプレクサ１６０に提供することができる。デマルチプレクサ１６０は、提供された信号をデマルチプレキシングして、ビデオ信号はビデオ処理部１１０に提供し、グラフィックデータはグラフィック処理部１２０に提供する。

一方、図１、３、４では図示はしていないが、放送信号の場合には、オーディオ信号も含まれるため、オーディオ信号を処理するオーディオ処理部（図示せず）も更に含まれてよい。しかし、オーディオ信号は、グラフィック客体処理とは直接関係がないため、以上では図示および説明を省略する。

一方、第１ディスパリティ情報および第２ディスパリティ情報は、放送信号に設けられる所定領域に記録されてよい。一例として、放送信号には、プログラム情報が記録されるプログラム情報テーブル領域、放送事業者またはユーザが任意に使用できるユーザデータ領域等が設けられていてよい。第１および第２ディスパリティ情報は、このような有効領域を用いて伝送されてよい。それについては、今後具体的に説明する。

図４によると、ビデオ処理部１１０は、ビデオデコーダ１１１と、Ｌバッファ１１２と、Ｒバッファ１１３と、Ｌフレーム構成部１１４と、Ｒフレーム構成部１１５および第１スイッチ１１６が含まれる。

ビデオデコーダ１１１は、デマルチプレクサ１６０から提供されるビデオ信号をデコーディングする。具体的には、ＲＳデコーディング、ビタビデコーディング、ターボデコーディング、トレリスデコーディング等のような多様なデコーディングまたはこれらの組み合わせがなされてよい。なお、図４には示していないが、送信過程において、データインターリービングが行われた場合、ビデオ処理部１１０内には、デインターリービングを行うデインターリーバが設けられていてよい。

ビデオデコーダ１１１でデコーディングされたデータのうち、左眼イメージデータはＬバッファ１１２に保存され、右眼イメージデータはＲバッファ１１３に保存される。

Ｌフレーム構成部１１４は、Ｌバッファ１１２に保存されたデータを用いて左眼イメージフレームを生成する。なお、Ｒフレーム構成部１１５は、Ｒバッファ１１３に保存されたデータを用いて右眼イメージフレームを構成する。

第１スイッチ１１６は、Ｌフレーム構成部１１４およびＲフレーム構成部１１５で各々構成する左眼イメージフレームおよび右眼イメージフレームを交互に出力する。このとき、左眼イメージフレームおよび右眼イメージフレームの間には、ブラックフレームが表示されてよい。なお、毎回出力の際には、一つの左眼イメージフレームおよび一つの右眼イメージフレームのみが出力されるのではなく、同じ複数の左眼イメージフレームおよび同じ複数の右眼イメージフレームが出力されてよい。

一方、グラフィック処理部１２０は、グラフィックデータデコーダ１２１と、Ｌ客体（ｏｂｊｅｃｔ）構成部１２２と、Ｒ客体構成部１２３および第２スイッチ１２４を含む。

グラフィックデータデコーダ１２１は、デマルチプレクサ１６０から提供されるグラフィックデータをデコーディングする。デコーディング方式は、送信側で適用されたエンコーディング方式に対応するものであってよく、このようなデータエンコーディングおよびデコーディング方式は、公知となった技術がそのまま適用されてよい。なので、具体的なデコーディング方式および構成については、図示および説明を省略する。

グラフィックデータデコーダ１２１でデコーディングされたデータは、各々Ｌ客体構成部１２２およびＲ客体構成部１２３に提供される。図４には図示はしていないが、グラフィック処理部１２０内においても、Ｌバッファ、Ｒバッファが設けられて使用できることは言うまでもない。Ｌ客体構成部１２２およびＲ客体構成部１２３で構成された左眼グラフィック客体および右眼グラフィック客体間のディスパリティは、Ｌフレーム構成部１１４およびＲフレーム構成部１１５で構成するフレーム間のディスパリティより大きい値に保持される。

第２スイッチ１２４は、第１スイッチ１１６の動作と連動し、Ｌ客体構成部１２２およびＲ客体構成部１２３で構成された左眼グラフィック客体および右眼グラフィック客体を交互に出力する。それにより、映像およびそれに対応するグラフィック客体が一つの画面上において、互いに異なる奥行き感をもって重畳され、３Ｄ方式で表現されてよい。

図５は、本発明の別の実施形態に係るディスプレイ装置の構成を示すブロック図である。図５によると、ディスプレイ装置は、ビデオ処理部１１０と、グラフィック処理部１２０と、制御部１３０と、ディスプレイ部１４０と、受信部１５０と、ディスパリティ情報生成部１７０および保存部１８０を含む。

受信部１５０は、ディスプレイ装置から出力するデータを受信することができる。具体的には、放送局、ウェブサーバ、保存媒体、再生装置等のような多様なソースから受信してよい。

受信されるデータには、映像の奥行き感に関連する情報が含まれていてよい。すなわち、受信部１５０は、外部ソースからリファレンスレイヤに対する第１ディスパリティ情報を受信することができる。

それにより、制御部１３０は、受信された第１ディスパリティ情報に応じて映像に立体感を与えるように、ビデオ処理部１１０を制御することができる。

一方、グラフィック客体が表示されるオーバーレイレイヤの奥行き感に対する情報は含まれなくてよい。このように、受信部１５０を介してリファレンスレイヤに対する第１ディスパリティ情報のみが受信可能な場合に、ディスパリティ情報生成部１７０が使われてよい。

すなわち、ディスパリティ情報生成部１７０は、オーバーレイレイヤに対する第２ディスパリティ情報を生成する。制御部１３０は、ディスパリティ情報生成部１７０から生成した第２ディスパリティ情報に応じてグラフィック客体に立体感を与えるように、グラフィック処理部１２０を制御することができる。

第２ディスパリティ情報は、実施形態に応じて多様な方式で生成されてよい。すなわち、映像が３Ｄで表現される場合、リファレンスレイヤのディスパリティは、毎時間ごとに変動されてよい。ディスパリティ情報生成部１７０は、第１ディスパリティ情報を分析してディスパリティを確認した後、確認の結果を用いて第２ディスパリティ情報を生成することができる。

この場合、リファレンスレイヤのディスパリティ変動によらず、オーバーレイレイヤのディスパリティを固定させる固定型、リファレンスレイヤのディスパリティ変動に応じてオーバーレイレイヤのディスパリティを変動させる流動型があってよい。

固定型で実現された場合、ディスパリティ情報生成部１７０は、オーバーレイレイヤが常に固定したデプスを有するように、第２ディスパリティ情報を生成してよい。

図６ないし図８は、ディスプレイ装置においてオーバーレイレイヤのディスパリティを固定的に決定する方式に対する多様な例を示す。

図６は、時間によるリファレンスレイヤのディスパリティのピーク値を示す。図６に示すように、ディスパリティ情報生成部１７０は、任意のストリーム単位内でリファレンスレイヤの最大のディスパリティを検出し、検出された情報を基準として、第２ディスパリティ情報を生成することができる。ストリーム単位は、一つのＧｏＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）であってよく、一つの放送プログラム単位、定められたパケット個数単位、固定された時間単位等であってよい。

図６に示すように、ｔ２時点でグラフィック客体を表示しなければならないイベントが発生した場合、以前までのリファレンスレイヤの最大のディスパリティを確認する。それにより、ｔ１時点で最大のディスパリティを有すると判断されると、ディスパリティ情報生成部１７０は、ｔ１時点のディスパリティをそのまま、または、その値より所定値を増大させたディスパリティをオーバーレイレイヤのディスパリティに決定し、それによって第２ディスパリティ情報を生成することができる。

また、図７に示すように、グラフィック客体を表示しなければならない時点ｔ３のリファレンスレイヤのディスパリティをそのまま使用し、第２ディスパリティ情報を生成することもできる。すなわち、映像とグラフィック客体とが同時に表示されるその時点のリファレンスレイヤと同じレベルの奥行き感を固定的に有するように、第２ディスパリティ情報が決定されてよい。

このようなオーバーレイレイヤが表示されるイベントという字幕が入力される場合、ＯＳＤメニューやアイコン等を確認するための確認命令が入力される場合、アプリケーションやウィジェット等が実行され、ＵＩウィンドウが表示される場合等であってよく、その他に、グラフィック客体が表示される場合は全てが含まれてよい。

一方、上述のように、オーバーレイレイヤは複数個であってよい。

図８は、複数個のオーバーレイレイヤのディスパリティが固定的に各々決定される方式を示す。図８によると、字幕が表示される第１オーバーレイレイヤ、すなわち、Ｇｒａｐｈｉｃ ｐｌａｎｅのディスパリティはリファレンスレイヤの最大のディスパリティと同じ値に決定される。一方、ＯＳＤメニューが表示される第２オーバーレイレイヤ、すなわち、ＯＳＤ ｐｌａｎｅは第１オーバーレイレイヤより少し大きいディスパリティを有する。それにより、グラフィック客体の種別に互いに異なる奥行き感を有することができるようになる。

一方、別の例として、ディスパリティ情報生成部１７０は、オーバーレイレイヤが流動的な奥行き感を有するように、第２ディスパリティ情報を生成することができる。すなわち、ディスパリティ情報生成部１７０は、リファレンスレイヤのディスパリティ変動状態に応じてオーバーレイレイヤのディスパリティも変動され、そのデプスの差異が予め設定された大きさを保持するように、第１ディスパリティ情報を基準として第２ディスパリティ情報を生成することができる。

図９および図１０は、ディスプレイ装置においてオーバーレイレイヤのディスパリティを流動的に決定する方式を説明するための図である。

図９によると、リファレンスレイヤのディスパリティは、毎時間ごとに持続的に変化され、オーバーレイレイヤのディスパリティは、リファレンスレイヤを基準として一定間隔を維持するように変化されることが分かる。

図１０は、ディスプレイ装置の画面（ｓｃｒｅｅｎ）を基準としてリファレンスレイヤが上下方向に奥行き感が変動され、それに連動して、オーバーレイレイヤも上下方向に奥行き感が変動される状態を示す。

以上のように、第１ディスパリティ情報のみが外部から提供される場合、第２ディスパリティ情報は、第１ディスパリティ情報を用いて固定的に、または、流動的に決定できるようになる。

一方、以上では、第１ディスパリティ情報のみが提供される場合について説明してきたが、必ずしもそれに限定されるものではない。すなわち、第２ディスパリティ情報のみが提供される場合にも、第２ディスパリティ情報を基準として第１ディスパリティ情報が生成することができる。この場合にも、流動型または固定型にリファレンスレイヤのディスパリティが決定できることは言うまでもない。

一方、更に別の実施形態としては、第２ディスパリティ情報そのものが任意の値に予め定められて、保存部１８０に保存されていてよい。この場合、ディスパリティ情報生成部１７０は、第１ディスパリティ情報によらず、保存部１８０に保存された値で第２ディスパリティ情報を生成することもできる。

一方、更に別の実施形態によると、第１ディスパリティ情報および第２ディスパリティ情報のいずれもが外部から提供されない場合もあってよい。この場合には、ディスパリティ情報生成部１７０は、予め設定されたディスパリティ情報を用いて第１および第２ディスパリティ情報を生成することができる。

すなわち、保存部１８０は、任意に定められたデプス情報またはディスパリティ情報が保存されていてよい。一例として、画面のデプスを０とすると、リファレンスレイヤは−１０〜＋１０ピクセル内で、ディスパリティが変動されるように設定し、第１オーバーレイレイヤは＋１５ピクセル、第２オーバーレイレイヤは＋２０ピクセル程度にディスパリティが設定されてよい。このようなディスパリティは、ディスプレイ装置の種類に応じて多様な大きさを有してよい。すなわち、画面が大きいテレビの場合には、携帯電話のような小型ディスプレイ装置に比べてより大きいディスパリティ情報が設定されていてよい。

ディスパリティ情報生成部１７０は、保存部１８０に保存されたデプス情報に応じて、第１および第２ディスパリティ情報を生成し、それをビデオ処理部１１０およびグラフィック処理部１２０に提供することができる。

または、ディスパリティ情報生成部１７０は、ビデオ信号で構成された左眼イメージフレームおよび右眼イメージフレームを比較し、マッチングポイント間の距離を確認し、リファレンスレイヤのディスパリティを分析することができる。

すなわち、ディスパリティ情報生成部１７０は、左眼イメージフレームおよび右眼イメージフレームを各々複数のブロックに区分した後、各ブロックのピクセル代表値を比較する。それにより、ピクセル代表値が類似範囲に入るブロックをマッチングポイントに決定する。それにより、決定されたマッチングポイント間の移動距離に基づいて、デプスマップを生成する。すなわち、左眼映像内で被写体を構成するａピクセルの位置と、右眼映像内でａピクセルの位置とを比較して、その差異を算出する。それにより、算出された差異に対応するグレイレベルを有するイメージ、すなわち、デプスマップを生成する。

デプスとは、被写体とカメラとの間の距離、被写体と被写体の映像とが結像される記録媒体（例えば、フィルム）間の距離、立体感の度合い等で定義されてよい。よって、左眼映像と右眼映像との間のポイント間の距離差がディスパリティに該当し、その値が大きいほど、その分だけより立体感が増大していることが分かる。デプスマップとは、このようなデプスの変化状態を一つの映像で構成したものを意味する。

ディスパリティ情報生成部１７０は、このようなデプスマップに基づいてオーバーレイレイヤのディスパリティ情報を決定し、第２ディスパリティ情報を固定的または流動的に決定することができる。

一方、上述のように、オーバーレイレイヤは、複数個で設けられてよく、各オーバーレイレイヤには、互いに異なる種類のグラフィック客体が表示されてよい。例えば、ＯＳＤメニューのようなグラフィック客体が最上位のオーバーレイレイヤに表示され、字幕のようなグラフィック客体は、その下位に位置するオーバーレイレイヤに表示されてよい。このような表示順番は、ユーザの選択によって変更されてよい。

図１１は、ユーザがグラフィック客体の表示順番を変更することができるようにするＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の一例を示す。

図１１によると、ディスプレイ装置１００の画面上には複数のメニュー（ａ、ｂ、ｃ）が表示される。ユーザが、その中でグラフィック強調モード（ａ）を選択すると、字幕のようなグラフィック客体が最上位のオーバーレイレイヤに配置され、残りのグラフィック客体はその下位に表示されてよい。または、ＯＳＤ強調モード（ｂ）が選択されると、ＯＳＤメニューのようなグラフィック客体が最上位のオーバーレイレイヤに配置され、残りのグラフィック客体はその下位に表示されてよい。

または、ユーザはユーザ設定モード（ｃ）を選択して、各グラフィック客体のデプスを直接設定することができる。すなわち、図１１でのように、ユーザ設定モード（ｃ）が選択されると、新たなＵＩ（ｄ）が表示される。ユーザは、そのＵＩ（ｄ）上において、グラフィック字幕のデプス、ＯＳＤメニューのデプス等を直接設定することができる。この場合、図１１のように、バーグラフを用いてデプスを設定することもできるが、その他に、ユーザが直接数字やテキスト等を入力してデプスを設定することもできる。

一方、上述においては、ディスプレイ装置で行われる動作を説明してきたが、このような動作はディスプレイ手段を具備しないその他の装置でもなされてよい。以下では、ディスプレイ手段を具備しないその他の装置の一例として、信号処理装置の構成について説明する。

図１２は、本発明の一実施形態に係る信号処理装置の構成を示すブロック図である。図１２に示すように、信号処理装置２００は、ＯＳＤデコーダ２１０と、メモリ２２０と、ＰＩＤフィルタ２３０と、ビデオデコーダ２４０と、グラフィックデコーダ２５０と、３Ｄマネージャ部２６０と、ＯＳＤバッファ２７０と、グラフィックバッファ２８０と、ビデオバッファ２９０およびＭＵＸ２９５を含む。ここで、信号処理装置とは、セットトップボックスやＤＶＤ、ブルーレイ、ＶＣＲ等のような各種保存媒体を再生する再生装置等であってよく、その他に、各種装置内に内蔵されたチップまたはモジュールで実現されてよい。

ＯＳＤデコーダ２１０は、ユーザのコマンドに応じてＯＳＤデータをメモリ２２０から読み取った後、デコーディングしてＯＳＤデータを３Ｄマネージャ部２６０に提供する。３Ｄマネージャ部２６０は、提供されたＯＳＤデータを用いて左眼ＯＳＤ客体および右眼ＯＳＤ客体を生成する。この場合、左眼ＯＳＤ客体および右眼ＯＳＤ客体の間のディスパリティは、ＯＳＤメニューが表示されるオーバーレイレイヤのディスパリティに合うように設定される。生成された左眼および右眼ＯＳＤメニューは、ＯＳＤバッファ２７０に保存される。

一方、伝送ストリーム（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ：ＴＳ）が受信されると、検出部２３０はそれを処理してグラフィックデータおよびビデオデータを分離する。具体的には、伝送ストリームがＭＰＥＧ−２規格によるストリームの場合、検出部２３０は、ＭＰＥＧ−２トランスポートストリームからプログラム固有情報（ＰＳＩ）テーブルを検出する。それにより、ＰＩＤフィルタ（Ｐｒｏｇｒａｍ ＩＤｅｎｔｉｆｉｅｒ ｆｉｌｔｅｒ）を使用してＡＴＳＣプログラムとシステム情報プロトコル（ＰＳＩＰ）テーブル、ＤＶＢサービス情報（ＳＩ）、条件部アクセステーブル（ＣＡＴ）、ＤＳＭ−ＣＣメッセージ、Ｐｒｉｖａｔｅテーブルデータ等、全種類のＰＳＩデータを取得することができる。検出部２３０は、取得されたデータを用いて、ビデオデータおよびグラフィックデータを分離することができる。一方、検出部２３０は、オーバーレイレイヤに対するディスパリティ情報に関連するｄｅｐｔｈ ｐａｃｋｅｔｓを検出し、３Ｄマネージャ部２６０に提供する。

グラフィックデータは、グラフィックデコーダ２５０に提供される。グラフィックデコーダ２５０は、グラフィックデータをデコーディングして３Ｄマネージャ部２６０に提供する。３Ｄマネージャ部２６０は、検出部２３０から提供されるｄｅｐｔｈ ｐａｃｋｅｔｓと、デコーディングされたグラフィックデータを用いて左眼グラフィック客体および右眼グラフィック客体を生成する。左眼および右眼グラフィック客体間のディスパリティは、字幕が表示されるオーバーレイレイヤのディスパリティに合うように設定される。生成された左眼および右眼グラフィック客体は、グラフィックバッファ２８０に保存される。このように、オーバーレイレイヤのディスパリティに対する情報は、ビデオ信号と同じストリームに伝送されてよく、別途のストリームに伝送されてよい。

一方、ビデオデコーダ２４０は、ビデオデータをデコーディングしてビデオバッファ２９０に提供する。ＴＳ内に含まれたビデオ信号が２Ｄ信号である場合、ビデオバッファ２９０には、２Ｄイメージフレームが保存される。一方、ビデオ信号そのものが、左眼イメージフレームおよび右眼イメージフレームを含む場合、別途の３Ｄ変換処理過程なしに、左眼イメージフレームおよび右眼イメージフレームがビデオバッファ２９０に保存されてよい。図１２では図示を省略しているが、３Ｄイメージ変換モジュールが更に含まれた場合、２Ｄビデオ信号が入力されるとしても、それを用いて左眼イメージフレームおよび右眼イメージフレームを生成できることは言うまでもない。

このように、ＯＳＤバッファ２７０と、グラフィックバッファ２８０およびビデオバッファ２９０に保存された各データは、ＭＵＸ２９５によって組み合わせられて、画面データを構成する。構成されたデータは、別途に設けられたインターフェースを通じて外部ディスプレイ手段に伝送されたり、別途に設けられた保存部に保存されてよい。

図１３は、信号処理装置の更に別の構成を示すブロック図である。図１３に示すように、信号処理装置３００は、受信部３１０と、ビデオ処理部３２０と、オーディオ処理部３３０と、グラフィック処理部３４０およびインターフェース部３５０を含む。

受信部３１０は、入力信号を受信する。ここで入力信号とは、放送局で送信する放送信号だけでなく、内外部保存媒体や再生装置等から提供されるマルチメディア信号であってよい。

受信部３１０から受信された入力信号に含まれたビデオ信号は、ビデオ処理部３２０に提供される。ビデオ処理部３２０は、ビデオ信号を処理してリファレンスレイヤにディスプレイできる映像を構成する。

一方、オーディオ処理部３３０は、入力信号に含まれたオーディオ信号を処理して音響を生成する。

グラフィック処理部３４０は、グラフィックデータを処理してリファレンスレイヤの上位であるオーバーレイレイヤにディスプレイされるように、グラフィック客体を構成する。ここで、グラフィックデータは、入力信号に併せて含まれる字幕データ等であってよく、別のソースから提供されるデータであってよい。例えば、ＯＳＤメニューや各種アイコン、ウィンドウ等であってよい。

各処理部で処理されたデータは、インターフェース部３５０によって出力手段に伝送される。

一方、上述の様々な実施形態を参照して説明したように、ビデオデータに対するディスパリティ情報、すなわち、第１ディスパリティ情報と、グラフィックデータに対するディスパリティ情報、すなわち、第２ディスパリティ情報のうち、少なくとも一つは外部から提供されてよく、全てが提供されなくてよい。

一例として、第１および第２ディスパリティ情報が入力信号に含まれている場合、ビデオ処理部３２０は、入力信号から第１ディスパリティ情報を検出し、検出された第１ディスパリティ情報に基づいて映像に立体感を与える。一方、グラフィック処理部は、入力信号に含まれた第２ディスパリティ情報を検出し、第２ディスパリティ情報に基づいてグラフィック客体に立体感を与える。

図１４は、図１および第２ディスパリティ情報の何れか一方は、提供されない場合の信号処理装置の構成例を示すブロック図である。図１４に示すように、信号処理装置３００は、受信部３１０と、ビデオ処理部３２０と、オーディオ処理部３３０と、グラフィック処理部３４０と、インターフェース部３５０と、ディスパリティ情報生成部３６０および保存部３７０を含む。

第１ディスパリティ情報のみが入力信号に含まれている場合、ディスパリティ情報生成部３６０はオーバーレイレイヤに対する第２ディスパリティ情報を生成する。

具体的には、ディスパリティ情報生成部３６０は、リファレンスレイヤのディスパリティ変動状態に応じて、オーバーレイレイヤのディスパリティが変動されるように、第２ディスパリティ情報を生成する。すなわち、上述のように、オーバーレイレイヤのデプスを流動的に変更することができる。

または、ディスパリティ情報生成部３６０は、オーバーレイレイヤが固定されたデプスを有するように、第２ディスパリティ情報を生成することもできる。

それについては、上述の図６ないし図１１で具体的に説明しているため、繰り返し説明は省略する。

ディスパリティ情報生成部３６０は、生成した第２ディスパリティ情報をグラフィック処理部３４０に提供する。グラフィック処理部３４０は、ディスパリティ情報生成部３６０から生成した第２ディスパリティ情報に応じてグラフィック客体に立体感を与える。

一方、別の例によると、第１ディスパリティ情報および第２ディスパリティ情報のいずれもが入力信号に含まれていなくてよい。

この場合、ディスパリティ情報生成部３６０は、保存部３７０に保存されたデプス情報を用いて、第１および第２ディスパリティ情報を生成する。

それにより、ビデオ処理部３２０およびグラフィック処理部３４０は、各々第１および第２ディスパリティ情報を用いて映像およびグラフィック客体に立体感を与える。

図１５は、本発明の一実施形態に係る送信装置の構成を示すブロック図である。図１５に示すように、送信装置４００は、ビデオエンコーダ４１０と、ビデオパケット化部４２０と、オーディオエンコーダ４３０と、オーディオパケット化部４４０と、データエンコーダ４５０と、パケット化部４６０と、ディスパリティ情報処理部４７と、ＭＵＸ４８０および出力部４９０を含む。

ビデオエンコーダ４１０と、オーディオエンコーダ４３０およびデータエンコーダ４５０は、各々ビデオと、データデータと、オーディオデータおよび一般データをエンコーディングする。

ビデオパケット化部４２０と、オーディオパケット化部４４０およびパケット化部４６０は、各々エンコーディングされたデータを含むパケットを構成する。具体的には、ヘッダやペイロード、パリティ等を含む複数のパケットを構成する。

ＭＵＸ４８０は、構成された各パケットをマキシングする。具体的には、ビデオパケット化部４２０と、オーディオパケット化部４４０およびパケット化部４６０から提供される複数のパケットを予め設定された個数だけ組み合わせる。

出力部４９０は、パケットが組み合わせられたフレームに対して、ランダム化、ＲＳエンコーディング、インターリービング、トレリスエンコーディング、シンクマキシング、パイロット挿入、変調、ＲＦアップコンバーティング等の処理を行った後、アンテナを通じて出力する。

一方、ディスパリティ情報処理部４７０は、リファレンスレイヤおよびオーバーレイレイヤの少なくともいずれか一方のディスパリティに対する情報を生成し、ＭＵＸ４８０に提供する。このような情報は、ストリーム内で予め設定されたフィールドに記録されてよい。具体的には、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）ディスクリプタ（ｄｅｓｃｒｉｐｔｏｒ）、ユーザデータ領域等に記録されてよい。または、別途のストリームを通じて提供されてよい。このようなディスパリティ情報は、デプススタイル（ｄｅｐｔｈ ｓｔｙｌｅ）情報、デプス制御許容情報等のような多様なパラメータで提供されてよい。

次に、ディスパリティ情報の多様な例について説明する。

表１は、オーバーレイレイヤのデプスまたはディスパリティを報知するための情報のシンタックスを示す。表１において、ｄｅｐｔｈ＿ｃｏｎｔｒｏｌ＿ｐｅｒｍｉｓｓｉｏｎとは、ユーザがオーバーレイレイヤのデプスを直接調整することができるようにするパラメータである。すなわち、この値が１である場合、ユーザはデプス調節を行うことができる。一方、０であれば、３Ｄ再生が可能な外部再生装置或いは表示装置でデプス調節が可能であるとしても、作者（ａｕｔｈｏｒ）の製作意図に応じてデプス調節が許容されなくなる。

一方、オーバーレイレイヤのデプスまたはディスパリティは、次のようなデプススタイルという関数を用いて受信機（すなわち、ディスプレイ装置や信号処理装置）側に提供されてよい。

ここで、ｖｉｄｅｏ＿ｍｏｄｅとは、２Ｄモードか３Ｄモードかを報知する情報である。すなわち、０の場合には２Ｄモード、１の場合には３Ｄモードを意味する。

ｏｐｔｉｍｉｚｅｄ＿ｇｒａｐｈｉｃ＿ｄｅｐｔｈとは、作者によって決定された字幕の最適デプスまたはディスパリティを示し、ｏｓｄ＿ｏｆｆｓｅｔとは、作者によって決定されたＯＳＤメニューのデプスまたはディスパリティを示す。

そして、ｍｉｎ＿ｇｒａｐｈｉｃ＿ｄｅｐｔｈとは、デプス逆転現象が生じないように定められたオーバーレイレイヤの最小デプスまたはディスパリティを示し、ｍａｘ＿ｇｒａｐｈｉｃ＿ｄｅｐｔｈとは、ユーザの視聴における不都合を最小限化しつつ、立体効果を最適化させるためのオーバーレイレイヤの最大デプスまたはディスパリティを示す。

一方、表１のようなオーバーレイプレーンデプス（）の定義位置は、ＰＭＴディスクリプタ部分であってよい。具体的には、Ｏｖｅｒｌａｙ＿ｐｌａｎｅ＿ｄｅｐｔｈに対するディスクリプタは次の表のように定義されてよい。

ｏｖｅｒｌａｙ＿ｐｌａｎｅ＿ｄｅｐｔｈ＿ｄｅｓｃｒｉｐｔｏｒは、ＩＳＯ／ＩＥＣ １３８１８−１で定義しているｄｅｓｃｒｉｐｔｏｒ＿ｔａｇのＵｓｅｒ ｐｒｉｖａｔｅ領域に、表３のような方式で定義されてよい。

その他に、ＥＳ Ｕｓｅｒ ｄａｔａ領域にも、ｏｖｅｒｌａｙ＿ｐｌａｎｅ＿ｄｅｐｔｈ（）に対して定義することができるが、その定義周期に対しては制限を設けない。

一方、表２のｖｉｄｅｏ＿ｍｏｄｅと、ｏｐｔｉｍｉｚｅｄ＿ｇｒａｐｈｉｃ＿ｄｅｐｔｈと、ｏｓｄ＿ｏｆｆｓｅｔと、ｍｉｎ＿ｇｒａｐｈｉｃ＿ｄｅｐｔｈおよびｍａｘ＿ｇｒａｐｈｉｃ＿ｄｅｐｔｈ等は、多様な値に定められてよい。

具体的には、以下の表４のように定義されてよい。

図１６は、表４のように、パラメータが定義された際の画面構成を示す。すなわち、表４のように、ｏｓｄ＿ｏｆｆｓｅｔが０にセットされると、ＯＳＤメニュー１１は映像が表示されるレイヤ、すなわち、リファレンスレイヤに表示される。一方、ｍｉｎ＿ｇｒａｐｈｉｃ＿ｄｅｐｔｈが１０に表示されると、グラフィック客体１２はオーバーレイレイヤ上に表示される。

または、各パラメータは、以下の表５のように定義されてよい。

図１７は、表５のように、パラメータが定義された際の画面構成を示す。すなわち、表５のように、ｏｓｄ＿ｏｆｆｓｅｔが１０にセットされると、ＯＳＤメニュー１１はオーバーレイレイヤ上に表示される。一方、グラフィック客体１２はリファレンスレイヤに表示される。

このように、グラフィック客体に対するディスパリティ情報が外部から提供される場合には、そのディスパリティ情報に応じて各種グラフィック客体を少なくとも一つのオーバーレイレイヤまたはリファレンスレイヤに表示することができる。

一方、オーバーレイレイヤのデプスまたはディスパリティを定義するために、別途のＰＥＳストリームが定義されてよい。具体的には、次のようなフォーマットのＰＥＳストリームが設けられてよい。

表６において、ｄａｔａ＿ｉｄｅｎｔｉｆｉｅｒは、オーバーレイレイヤのデプスまたはディスパリティに対する情報を盛り込んでいるストリームを区分するための識別子を意味する。このような別途のストリームは、図１２ないし図１４のような多様な構造の受信機に受信され、処理されてよい。

表６のｏｖｅｒｌａｙ＿ｐｌａｎｅ＿ｄｅｐｔｈ＿ｓｅｇｍｅｎｔは、表２のようなｄｅｐｔｈ＿ｓｔｙｌｅと同じ意味をもつパラメータで構成されてよい。

一方、表３のようなｏｖｅｒｌａｙ＿ｐｌａｎｅ＿ｄｅｐｔｈ＿ｄｅｓｃｒｉｐｔｏｒは、次の表のように定義されてよい。

表７によると、ｏｖｅｒｌａｙ＿ｐｌａｎｅ＿ｄｅｐｔｈストリームの存在有無をシグナリングすることができ、デプス調節が許容可能か否かに対する情報も提供することができる。

図１８は、本発明の一実施計値亜に係る信号処理方法を説明するためのフローチャートである。図１８に示すように、信号を受信されると（Ｓ１８１０）、受信された信号を用いて映像を構成する（Ｓ１８２０）。

一方、グラフィックデータを表示しなければならない状況であれば（Ｓ１８３０）、グラフィック客体を構成する（Ｓ１８４０）。ここで、グラフィックデータを表示しなければならない状況とは、映像とともに表示する字幕が存在する場合、ＯＳＤメニュー選択のためのユーザ命令が入力される場合、その他のアプリケーションやウィジェット等に対するアイコン、ウィンドウ等が表示されなければならないユーザ命令が入力される場合等のように多様であってよい。

一方、グラフィック客体は、映像が表示されるレイヤより上位のオーバーレイレイヤで表示できるように、立体感が与えられて生成される。オーバーレイレイヤのディスパリティに対する情報は、上述のように、外部から提供されてよく、リファレンスレイヤのディスパリティに基づいて装置の内部で自ら生成されてよく、別途に保存されたデプス情報を用いて生成されてよい。

それにより、映像、グラフィック客体は、外部装置に伝送される（Ｓ１８５０）。ここで、外部装置とは、本発明が行われる装置の外部に別途に設けられたディスプレイ装置であってよく、同一装置内の別のチップを意味してよい。

このような信号処理方法は、上述のように、多様な方法で実現されてよい。すなわち、複数のオーバーレイ上に異なる種類のグラフィック客体が表示されてよく、オーバーレイレイヤ間の表示順番を変更してよい。

その他に、フローチャートに全てを示していないが、上述の様々な装置で行われる動作は、本発明の多様な実施形態に係る信号処理方法で実現されてよい。それに対しては、上述の多様な実施形態で具体的に説明しているため、繰り返し説明は省略する。

以上のように、本発明の多様な実施形態によると、３Ｄ再生が可能な装置において映像とグラフィック客体のデプスが逆転する逆転現象およびそれによる疲労感誘発を未然に防止することができる。

なお、上述の本発明の多様な実施形態に係る方法を行うためのプログラムは、多様な記録媒体に保存されて使用されてよい。

具体的には、上述の方法を行うためのコードは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭなどのように、端末機で読取可能な多様な記録媒体に保存されていてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ リファレンスレイヤ
２０ 第１オーバーレイレイヤ
３０ 第２オーバーレイレイヤ
１１０ ビデオ処理部
１１１ ビデオデコーダ
１１２ Ｌバッファ
１１３ Ｒバッファ
１１４ Ｌフレーム構成部
１１５ Ｒフレーム構成部
１２０ グラフィック処理部
１２１ グラフィックデータデコーダ
１２２ Ｌ客体構成部
１２３ Ｒ客体構成部
１３０ 制御部
１４０ ディスプレイ部
１５０ 受信部
１６０ デマルチプレクサ
１７０ ディスパリティ情報生成部
１８０ 保存部
２１０ ＯＳＤデコーダ
２２０ メモリ
２３０ 検出部
２４０ ビデオデコーダ
２５０ グラフィックデコーダ
２６０ ３Ｄマネージャ部
２７０ ＯＳＤバッファ
２８０ グラフィックバッファ
２９０ ビデオバッファ
３１０ 受信部
３２０ ビデオ処理部
３３０ オーディオ処理部
３４０ グラフィック処理部
３５０ インターフェース部
３６０ ディスパリティ情報生成部
３７０ 保存部
４１０ ビデオエンコーダ
４２０ ビデオパケット化部
４３０ オーディオエンコーダ
４４０ オーディオパケット化部
４５０ データエンコーダ
４６０ パケット化部
４７０ ディスパリティ情報処理部
４８０ ＭＵＸ
４９０ 出力部

Claims (15)

1. ビデオ信号を処理して映像を構成するビデオ処理部と、
   グラフィックデータを処理してグラフィック客体を構成するグラフィック処理部と、
   前記映像および前記グラフィック客体を表示するためのディスプレイ部と、
   前記映像および前記グラフィック客体の各々に互いに異なる立体感を与え、前記映像が表示されるリファレンスレイヤの上位であるオーバーレイレイヤに前記グラフィック客体が表示される状態を維持するように、前記ビデオ処理部および前記グラフィック処理部を制御する制御部と
   を含むディスプレイ装置。
2. 外部ソースから前記リファレンスレイヤに対する第１ディスパリティ情報および前記オーバーレイレイヤに対する第２ディスパリティ情報を受信する受信部を更に含み、
   前記制御部は、前記第１ディスパリティ情報に応じて、前記映像に立体感を与えるように前記ビデオ処理部を制御し、前記第２ディスパリティ情報に応じて、前記グラフィック客体に立体感を与えるように前記グラフィック処理部を制御することを特徴とする請求項１に記載のディスプレイ装置。
3. 前記受信部は、前記ビデオ信号と、前記グラフィックデータと、前記第１ディスパリティ情報および前記第２ディスパリティ情報を含む放送信号を受信し、
   前記ビデオ処理部および前記グラフィック処理部は、前記放送信号に含まれたプログラム情報テーブルまたはユーザデータ領域から前記第１ディスパリティ情報および前記第２ディスパリティ情報を各々検出することを特徴とする請求項２に記載のディスプレイ装置。
4. 外部ソースから前記リファレンスレイヤに対する第１ディスパリティ情報を受信する受信部と、
   前記オーバーレイレイヤに対する第２ディスパリティ情報を生成するディスパリティ情報生成部と
   を更に含み、
   前記制御部は、前記第１ディスパリティ情報に応じて、前記映像に立体感を与えるように前記ビデオ処理部を制御し、前記第２ディスパリティ情報に応じて、前記グラフィック客体に立体感を与えるように前記グラフィック処理部を制御することを特徴とする請求項１に記載のディスプレイ装置。
5. 前記ディスパリティ情報生成部は、
   前記リファレンスレイヤのディスパリティ変動状態に応じて、前記オーバーレイレイヤのディスパリティが変動され、前記オーバーレイレイヤ間のデプスの差異が予め設定された大きさを保持するように、前記第１ディスパリティ情報を基準として前記第２ディスパリティ情報を生成することを特徴とする請求項４に記載のディスプレイ装置。
6. 前記ディスパリティ情報生成部は、
   前記オーバーレイレイヤが固定されたデプスを有するように前記第２ディスパリティ情報を生成することを特徴とする請求項４に記載のディスプレイ装置。
7. 前記ディスパリティ情報生成部は、
   任意のストリーム単位内で前記リファレンスレイヤの最大のディスパリティを検出し、検出された情報を基準として前記第２ディスパリティ情報を生成することを特徴とする請求項６に記載のディスプレイ装置。
8. 前記ディスパリティ情報生成部は、
   前記グラフィック客体が表示される時点における前記リファレンスレイヤのディスパリティを検出し、検出された情報を基準として前記第２ディスパリティ情報を生成することを特徴とする請求項６に記載のディスプレイ装置。
9. 予め設定されたデプス情報が保存された保存部と、
   前記デプス情報に応じて、前記リファレンスレイヤに対する第１ディスパリティ情報および前記オーバーレイレイヤに対する第２ディスパリティ情報を生成するディスパリティ情報生成部と
   を更に含み、
   前記制御部は、前記第１ディスパリティ情報に応じて、前記映像に立体感を与えるように前記ビデオ処理部を制御し、前記第２ディスパリティ情報に応じて、前記グラフィック客体に立体感を与えるように前記グラフィック処理部を制御することを特徴とする請求項１に記載のディスプレイ装置。
10. 前記オーバーレイレイヤは、互いに異なるデプスを有する複数個のレイヤを含み、
    各レイヤには、互いに異なる種類のグラフィック客体が表示されることを特徴とする請求項１ないし９の何れか一項に記載のディスプレイ装置。
11. 前記各レイヤに表示されるグラフィック客体種類の表示順番は、ユーザの選択によって互いに変更可能であることを特徴とする請求項１０に記載のディスプレイ装置。
12. 前記グラフィック客体は、ＯＳＤメニューと、字幕と、プログラム情報と、アプリケーションアイコンと、アプリケーションウィンドウおよびＧＵＩウィンドウのうち、少なくとも何れか一つ以上の種類の客体を含むことを特徴とする請求項１０に記載のディスプレイ装置。
13. ビデオ信号を処理してリファレンスレイヤにディスプレイできるように映像を構成するステップと、
    グラフィックデータを処理して、前記リファレンスレイヤの上位であるオーバーレイレイヤにディスプレイできるようにグラフィック客体を構成するステップと、
    前記映像および前記グラフィック客体を出力手段に伝送するステップと
    を含むことを特徴とする信号処理方法。
14. 外部ソースから前記リファレンスレイヤに対する第１ディスパリティ情報および前記オーバーレイレイヤに対する第２ディスパリティ情報を受信する受信ステップを更に含み、
    前記映像は、前記第１ディスパリティ情報に応じて立体感が与えられ、前記グラフィック客体は、前記第２ディスパリティ情報に応じて立体感が与えられて構成されることを特徴とする請求項１３に記載の信号処理方法。
15. 外部ソースから前記リファレンスレイヤに対する第１ディスパリティ情報を受信するステップと、
    前記オーバーレイレイヤに対する第２ディスパリティ情報を生成するステップと
    を更に含み、
    前記映像は、前記第１ディスパリティ情報に応じて立体感が与えられ、前記グラフィック客体は、前記第２ディスパリティ情報に応じて立体感が与えられて構成されることを特徴とする請求項１３に記載の信号処理方法。

Images