JP2013027049A - ３ｄディスプレイ装置及びコンテンツ出力方法 - Google Patents

Abstract

【課題】 ３Ｄディスプレイ装置のコンテンツ出力方法が開示される。
【解決手段】 本コンテンツ出力方法は、コンテンツ信号に含まれたビデオ信号を処理し、画面上にディスプレイするステップと、コンテンツ信号に含まれたオーディオ信号を処理し、画面に同期させて出力するステップと、オーディオ信号の大きさに応じて、画面に表示される字幕の立体感を個別的に変更するステップとを含む。
【選択図】 図１

Description

本発明は、３Ｄディスプレイ装置及びコンテンツ出力方法に関し、より詳細には、字幕とともにコンテンツを３次元映像で提供する３Ｄディスプレイ装置及びコンテンツ出力方法に関する。

最近の電子機器の発展により、３次元立体映像を提供する機器及び多様なコンテンツの普及により、一般のユーザは家庭でも手軽に３次元立体映像を視聴できるようになった。

よって、ユーザは、立体感のある多様なコンテンツを視聴できるようになり、より臨場感のあるコンテンツに接することができるようになった。

一方、超高速通信網等の飛躍的な発展により、ユーザは外国語で製作されたコンテンツを簡単に接することができるようになった。外国語で製作されたコンテンツの場合、視聴者の理解を促すために字幕が映像内に表示される。

なお、外国語で製作されたコンテンツだけでなく、国語で製作されたコンテンツの場合であっても、当該コンテンツの楽しみを増やすために映像内に字幕を表示するケースが多くなっている。

従って、字幕が付加されているコンテンツを３次元立体映像で提供するうえで、より効率的かつ臨場感のある３次元立体映像を提供することのできる方策への模索が求められている。

韓国特開第２０１０−００７７２７０号公報 韓国特開第２００９−００９２８３９号公報 日本特開第２０１０−２４５７６１号公報 日本特開第２００７−１７９４０号公報

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、コンテンツ信号に含まれたオーディオ信号の大きさに応じて画面に表示される字幕の立体感を個別的に調節することができる３Ｄディスプレイ装置及びコンテンツ出力方法を提供することにある。

前記目的を達成するための本発明の一実施形態に係る３Ｄディスプレイ装置のコンテンツ出力方法は、コンテンツ信号に含まれたビデオ信号を処理し、画面上にディスプレイするステップと、前記コンテンツ信号に含まれたオーディオ信号を処理し、前記画面に同期させて出力するステップと、前記オーディオ信号の大きさに応じて、前記画面に表示される字幕の立体感を個別的に変更するステップとを含む。

この場合、前記字幕の立体感を個別的に変更するステップは、前記オーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲を超過すると、発話内容に対応する字幕の奥行き情報を前記臨界範囲との差に応じて適応的に増大させ、前記臨界範囲未満であれば、前記発話内容に対応する字幕の奥行き情報を前記臨界範囲との差に応じて適応的に減少させてよい。

この場合、前記ディスプレイするステップは、予め設定された立体感を有する客体を前記画面上にディスプレイし、前記客体が発話する発話音声の大きさが前記臨界範囲内であれば、前記客体が発話する発話音声に対する字幕を当該客体の立体感と同じ立体感で前記画面に併せてディスプレイしてよい。

一方、前記字幕の立体感を個別的に変更するステップは、前記オーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲を超過すると、発話内容に対応する字幕の奥行き情報を予め設定された上限値に増大させ、前記臨界範囲未満であれば、前記発話内容に対応する字幕の奥行き情報を予め設定された下限値に減少させてよい。

一方、前記ディスプレイするステップは、互いに異なる立体感を有する複数の客体が一つの画面上にディスプレイされる場合、各客体が発話する発話音声に対応する字幕の立体感を各客体の立体感に応じて異なるように表示してよい。

本発明の別の実施形態に係る３Ｄディスプレイ装置は、コンテンツ信号に含まれたビデオ信号及びオーディオ信号に対する信号処理を行う映像処理部と、前記処理された映像信号を画面上にディスプレイし、前記処理されたオーディオ信号を出力する出力部と、前記オーディオ信号を画面に同期させて出力するように前記出力部を制御し、前記オーディオ信号の大きさに応じて、前記画面に表示される字幕の立体感を個別的に変更する制御部とを含む。

この場合、前記制御部は、前記オーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲を超過すると、発話内容に対応する字幕の奥行き情報を前記臨界範囲との差に応じて適応的に増大させ、前記臨界範囲未満であれば、前記発話内容に対応する字幕の奥行き情報を前記臨界範囲との差に応じて適応的に減少させてよい。

この場合、前記制御部は、予め設定された立体感を有する客体を前記画面上にディスプレイし、前記客体が発話する発話音声の大きさが前記臨界範囲内であれば、前記客体が発話する発話音声に対する字幕を当該客体の立体感と同じ立体感で前記画面に併せてディスプレイするように制御してよい。

一方、前記制御部は、前記オーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲を超過すると、発話内容に対応する字幕の奥行き情報を予め設定された上限値に増大させ、前記臨界範囲未満であれば、前記発話内容に対応する字幕の奥行き情報を予め設定された下限値に減少させてよい。

一方、前記制御部は、互いに異なる立体感を有する複数の客体が一つの画面上にディスプレイされる場合、各客体が発話する発話音声に対応する字幕の立体感を各客体の立体感に応じて異なるように表示するように制御してよい。

以上説明したように本発明によれば、オーディオ信号の大きさに応じて画面に表示される字幕の立体感を個別的に変更することができるため、よりダイナミックな立体映像をユーザに提供することができるようになる。

本発明の一実施形態に係るコンテンツ出力方法を提供するシステムを示す図である。 本発明の一実施形態に係る３Ｄディスプレイ装置の構成を示すブロック図である。 本発明の一実施形態に係る３Ｄディスプレイ装置の細部構成を示すブロック図である。 本発明の一実施形態に係る字幕に対する３Ｄ映像がコンテンツに対する３Ｄ映像にオーバーラップして出力される内容を説明するための図である。 本発明の一実施形態に係る字幕に対する３Ｄ映像がコンテンツに対する３Ｄ映像にオーバーラップして出力される内容を説明するための図である。 本発明の一実施形態に係る字幕に対する３Ｄ映像がコンテンツに対する３Ｄ映像にオーバーラップして出力される内容を説明するための図である。 本発明の一実施形態に係る字幕に対する３Ｄ映像がコンテンツに対する３Ｄ映像にオーバーラップして出力される内容を説明するための図である。 本発明の一実施形態に係る字幕に対する３Ｄ映像がコンテンツに対する３Ｄ映像にオーバーラップして出力される内容を説明するための図である。 本発明の一実施形態に係る３Ｄディスプレイ装置のコンテンツ出力方法を説明するフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施形態に係るコンテンツ出力方法を提供するシステムを示す図である。図１に示すように、３Ｄ映像を画面に表示するための３Ｄディスプレイ装置１００および３Ｄ映像を視聴するための３Ｄメガネ２００で構成される。

３Ｄディスプレイ装置１００は、コンテンツ映像を出力し、コンテンツ映像に対応する字幕をコンテンツ映像にオーバーラップし、３Ｄディスプレイ装置１００に備えられた画面上に出力することができる。

具体的に、本３Ｄディスプレイ装置１００は、コンテンツ信号に含まれたコンテンツに対応する左眼映像及び右眼映像に字幕に対する左眼映像及び右眼映像をそれぞれオーバーラップし、オーバーラップした左眼映像及び右眼映像を交互に出力してユーザに３次元的な立体映像を提供することができる。

この場合、３Ｄディスプレイ装置１００は、コンテンツ信号に含まれたオーディオ信号の大きさに応じて字幕に対する左眼映像と右眼映像との時差を調節することにより、画面に表示される字幕の立体感を個別的に与えることができる。

これにより、ユーザはオーディオ信号の大きさに応じて３次元的に変更される字幕の提供を受けることができ、よりダイナミックな３次元映像を提供することができる。

３Ｄメガネ２００は、アクティブタイプのシャッターグラス（Ｓｈｕｔｔｅｒ ｇｌａｓｓ）で実現されてよい。シャッターグラス方式は、両眼の時差を用いたディスプレイ方法として、３Ｄディスプレイ装置１００で再生される左・右映像フレームと３Ｄメガネの左右両眼のオン／オフを同期化し、それぞれ別の角度から観察された映像が頭脳作用により空間感を認識するようにする方式である。即ち、３Ｄディスプレイ装置１００の左・右映像同期信号によって３Ｄメガネ２００の左・右側グラスが選択的に開閉されることで、３Ｄ立体映像が作られる。

一方、本発明の一実施形態に係る立体映像を提供するシステムは、３Ｄ映像を生成するためのカメラ（図示せず）を更に含んでよい。

カメラ（図示せず）は、３Ｄ映像を生成するための撮影装置の一種として、ユーザの左眼に提供することを目的として撮影された左眼映像と、ユーザの右眼に提供することを目的として撮影された右眼映像を生成する。即ち、３Ｄ映像は左眼映像と右眼映像とで構成され、このような左眼映像と右眼映像とがユーザの左眼と右眼にそれぞれ交互に提供され、両眼時差による立体感が生じるようになる。

そのために、カメラ（図示せず）は、左眼映像を生成するための左眼カメラまたはレンズと、右眼映像を生成するための右眼カメラまたはレンズとで構成され、左眼カメラまたはレンズと右眼カメラまたはレンズとの間の間隔は、人の両眼間の離隔間隔から考慮されるようになる。

カメラ（図示せず）は、撮影された左眼映像と右眼映像とを３Ｄディスプレイ装置１００に伝達する。特に、カメラ（図示せず）が３Ｄディスプレイ装置１００に伝達する左眼映像と右眼映像とは、一つのフレームに左眼映像および右眼映像のいずれかの映像のみで構成されたフォーマットで伝達されたり、一つのフレームに左眼映像と右眼映像とが双方含まれるように構成されたフォーマットで伝達されてよい。

カメラ（図示せず）は、多様な３Ｄ映像のフォーマットのうち、いずれか一つのフォーマットを予め決定し、決定されたフォーマットに応じて３Ｄ映像を生成して３Ｄディスプレイ装置１００に伝達することができる。

一方、図１においては、３Ｄディスプレイ装置１００が３Ｄテレビであるものとして示したが、それは一実施形態に過ぎず、本３Ｄディスプレイ装置１００は、デジタルテレビや移動通信端末機、携帯電話、携帯情報端末（ＰＤＡ、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、デジタルマルチメディア放送（ＤＭＢ、Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）フォン、ＭＰ３プレーヤ、オーディオ機器、携帯用のテレビ、デジタルカメラ等のように、３Ｄ映像のディスプレイが可能なすべての装置で実現可能である。更に、発明の一実施形態として映像処理装置をもって実現することもできる。映像処理装置としては、セットトップボックス、サーバー、放送局等で、映像信号を処理し、その処理された映像信号を外部装置に表示できるように出力する機能を備えてよい。

図２は、本発明の一実施形態に係る３Ｄディスプレイ装置１００の構成を示すブロック図である。図２によると、３Ｄディスプレイ装置１００は、映像処理部１１０と、出力部１２０及び制御部１３０を含む。

映像処理部１１０は、コンテンツ信号に含まれたビデオ信号及びオーディオ信号に対する信号処理を行う。具体的に、映像処理部１１０は、コンテンツ信号に含まれたビデオ信号及びオーディオ信号に対し、ビデオデコードやビデオフォーマット分析、ビデオスケーリング、オーディオデコード等の信号処理を行うことができる。

出力部１２０は、処理されたビデオ信号を画面上にディスプレイし、処理されたオーディオ信号を出力することができる。そのために、出力部１１０は、ビデオ信号をディスプレイするためのディスプレイ部（図示せず）及びオーディオ信号を出力するためのオーディオ出力部（図示せず）を備えることができる。

制御部１３０は、オーディオ信号を画面に同期させて出力し、オーディオ信号の出力サイズに応じて画面に表示される字幕の立体感を個別的に変更することができる。

具体的に、制御部１３０は、オーディオ信号のうち、発話音声（または、音）の大きさが予め設定された臨界範囲（または、値）を超過すると、発話内容に対応する字幕の奥行き情報を臨界範囲との差に応じて適応的に増大させ、臨界範囲未満であれば、発話内容に対応する字幕の奥行き情報を臨界範囲（または、値）との差に応じて適応的に減少させてよい。

ここで、制御部１３０は、予め設定された立体感を有する客体を画面上にディスプレイし、客体が発話する発話音声（または、音）の大きさが臨界範囲（または、値）内であれば、客体が発話する発話音声（または、音）に対する字幕を当該客体の立体感と同じ立体感で前記画面に併せてディスプレイするように制御することができる。

なお、制御部１３０は、オーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲を超過すると、発話内容に対応する字幕の奥行き情報を予め設定された上限値に増大させ、臨界範囲未満であれば、発話内容に対応する字幕の奥行き情報を予め設定された下限値に減少させてよい。

一方、互いに異なる立体感を有する複数の客体が一つの画面上にディスプレイされる場合、制御部１３０は、各客体が発話する発話音声に対応する字幕の立体感を各客体の立体感に応じて異なるように表示するように制御することができる。

以下では、添付の図３を参照して本発明をより詳細に説明する。

図３は、本発明の一実施形態に係る３Ｄディスプレイ装置１００の細部構成を示すブロック図である。図３によると、３Ｄディスプレイ装置１００は、映像処理部１１０と、出力部１２０と、制御部１３０と、受信部１４０と、保存部１５０と、ユーザインターフェース部１６０及び同期信号処理部１７０を含む。

受信部１４０は、放送局または衛星から有線または無線で放送信号を受信して復調する。そのために、受信部１４０は、少なくとも一つのチューナを備えてよく、場合によっては、複数のチューナを備え、複数のチャネルで同時に放送信号を受信してよい。

そして、受信部１４０は、放送信号をビデオ信号、オーディオ信号及び付加情報にそれぞれ分離してよい。

なお、受信部１４０には、カメラやＤＶＤプレーヤ等と接続されて外部ソースからビデオ信号、オーディオ信号及び付加情報を含むコンテンツ信号が入力されてよい。この場合、受信部１４０は、外部ソースと無線で接続されたり、Ｓ−Ｖｉｄｅｏやコンポーネント、コンポジット、Ｄ−Ｓｕｂ、ＤＶＩ、ＨＤＭＩ等のインターフェースを介して有線で接続されてよい。

ここで、特定チャネルを通じて受信される放送信号及び外部ソースから入力される信号は、特定コンテンツに対するビデオ信号、オーディオ信号及び付加情報を含むということで、以下ではこれらをコンテンツ信号と記載する。

一方、コンテンツ信号に含まれたビデオ信号にはコンテンツに対する２Ｄ映像及び３Ｄ映像が含まれてよい。

そして、付加情報には、当該コンテンツ映像に対応する字幕及び字幕に表示される時間情報が含まれてよく、ビデオ信号が３Ｄ映像を含む場合、付加情報には３Ｄ映像を構成する各客体の立体感に対する情報が含まれてよい。ここで、立体感とは、３Ｄ映像において当該客体の奥行き値を意味してよい。

そして、受信部１１０は、ビデオ信号、オーディオ信号及び付加情報を映像処理部１２０に伝達してよい。

ここで、３Ｄ映像は少なくとも一つのフレームで構成された映像として、一つの映像フレームに左眼映像と右眼映像とが含まれたり、各フレームが左眼映像または右眼映像で構成された映像を意味する。即ち、３Ｄ映像は、多様な３Ｄフォーマットのうちの一つによって生成された映像である。

従って、受信部１４０は、受信される３Ｄ映像は多様なフォーマットであってよく、特に、一般的なトップ−ボトム（ｔｏｐ−ｂｏｔｔｏｍ）方式、サイドバイサイド（ｓｉｄｅ ｂｙ ｓｉｄｅ）方式、水平インターリーブ（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｅｒｌｅａｖｅ）方式、垂直インターリーブ（ｖｅｒｔｉｃａｌ ｉｎｔｅｒｌｅａｖｅ）方式、またはチェッカーボード（ｃｈｅｃｋｅｒ ｂｏａｒｄ）方式、シーケンシャルフレーム（ｓｅｑｕｅｎｔｉａｌ ｆｒａｍｅ）のうち、いずれか一つによるフォーマットであってよい。

映像処理部１１０は、受信部１４０から受信されたビデオ信号及びオーディオ信号に対して信号処理を行う。具体的に、映像処理部１１０は、ビデオ信号及びオーディオ信号に対してビデオデコード、ビデオフォーマット分析、ビデオスケーリング、オーディオデコード等の信号処理を行い、出力部１２０に備えられたディスプレイ部（図示せず）及びオーディオ出力部（図示せず）から出力される形態でビデオ信号及びオーディオ信号に対して信号処理を行ってよい。

なお、映像処理部１１０は、受信部１４０に入力された３Ｄ映像のフォーマットを用いて、一画面のサイズ（例えば、１９２０＊１０８０）に該当する左眼映像と右眼映像とをそれぞれ生成する。

例えば、３Ｄ映像のフォーマットが、トップ−ボトム（ｔｏｐ−ｂｏｔｔｏｍ）方式、サイドバイサイド（ｓｉｄｅ ｂｙ ｓｉｄｅ）方式、水平インターリーブ（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｅｒｌｅａｖｅ）方式、垂直インターリーブ（ｖｅｒｔｉｃａｌ ｉｎｔｅｒｌｅａｖｅ）方式、またはチェッカーボード（ｃｈｅｃｋｅｒ ｂｏａｒｄ）方式、シーケンシャルフレーム（ｓｅｑｕｅｎｔｉａｌ ｆｒａｍｅ）によるフォーマットである場合、映像処理部１１０は、各映像フレームから左眼映像部分と右眼映像部分をそれぞれ抽出し、抽出された左眼映像と右眼映像とを拡大スケーリングまたは補間することで、ユーザに提供するための左眼映像と右眼映像とをそれぞれ生成するようになる。

なお、３Ｄ映像のフォーマットが一般的なフレームシーケンス方式である場合、映像処理部１１０は各フレームから左眼映像または右眼映像を抽出してユーザに提供するための準備を行う。

一方、入力された３Ｄ映像のフォーマットに対する情報は、３Ｄ映像信号に含まれていても良く、含まれていなくても良い。

例えば、入力された３Ｄ映像のフォーマットに対する情報が、３Ｄ映像信号に含まれている場合、映像処理部１１０は３Ｄ映像を分析してフォーマットに対する情報を抽出し、抽出された情報によって受信された３Ｄ映像を処理するようになる。一方、入力された３Ｄ映像のフォーマットに対する情報が３Ｄ映像信号に含まれていない場合、映像処理部１１０はユーザによって入力されたフォーマットに従って受信された３Ｄ映像を処理したり、予め設定されたフォーマットに従って受信された３Ｄ映像を処理するようになる。

なお、映像処理部１１０は、字幕を出力させようとするユーザの特定命令に従って、コンテンツに対する３Ｄ映像に字幕に対する３Ｄ映像をオーバーラップし、オーバーラップした映像を出力部１２０に伝達することができる。

具体的に、映像処理部１１０は、コンテンツに対する３Ｄ映像の左眼映像及び右眼映像の各々に対する左眼映像及び右眼映像の各々をオーバーラップし、オーバーラップした左眼映像及び右眼映像を時分割して交互に出力部１２０に伝達する。

即ち、映像処理部１１０は、「左眼映像（Ｌ１）→右眼映像（Ｒ１）→左眼映像（Ｌ２）→右眼映像（Ｒ２）→…」の時間的順番で字幕が付加された左眼映像と右眼映像とを出力部１２０に伝達することができる。

出力部１２０は、映像処理部１１０で処理されたビデオ信号を画面上にディスプレイし、処理されたオーディオ信号を出力することができる。

特に、出力部１２０は、映像処理部１１０から伝達された字幕が付加された左眼映像及び右眼映像を交互に出力してユーザに提供する。

そのために、出力部１２０は、映像を出力することができるディスプレイ部（図示せず）を含んでよく、ディスプレイ部（図示せず）はパネル駆動部（図示せず）、表示パネル部（図示せず）、バックライト駆動部（図示せず）及びバックライト発光部（図示せず）等の細部構成を含んでよい。

なお、出力部１２０は、オーディオ信号を出力できるスピーカのようなオーディオ出力部（図示せず）を含んでよい。

制御部１３０は、ユーザインターフェース部１６０から伝達されたユーザ命令または予め設定されたオプションに応じて３Ｄディスプレイ装置１００の動作全般を制御する。制御部１３０は、受信部１４０および映像処理部１１０を制御し、３Ｄ映像信号が受信され、受信された３Ｄ映像が左眼映像と右眼映像とに分離され、分離された左眼映像と右眼映像とのそれぞれが一つの画面でディスプレイできるような大きさでスケーリングまたは補間されるように制御する。

なお、制御部１３０は、受信されたオーディオ信号に対するオーディオデコードを行い、信号処理されたオーディオ信号を画面に同期させて出力されるように制御することができる。

そして、制御部１３０は、字幕を含む３Ｄ映像を生成し、字幕に対する３Ｄ映像がコンテンツに対する３Ｄ映像にオーバーラップして画面上に出力されるように映像処理部１１０を制御することができる。

制御部１３０は、字幕が含まれた３Ｄ映像を生成するうえで、オーディオ信号の大きさに応じて画面に表示される字幕の立体感を個別的に変更することができる。

ここで、３Ｄ映像において、字幕の立体感は３Ｄ映像で視聴者の視線方向である前後方向の位置に該当する奥行き感の度合いを示す奥行き情報（奥行き値）で決定されてよく、奥行き情報は字幕に対する３Ｄ映像の左眼映像と右眼映像との時差（Ｄｉｓｐａｒｉｔｙ）によって決定されてよい。

従って、制御部１３０は、字幕に対する３Ｄ映像の左眼映像と右眼映像との時差を調節し、字幕の立体感を調節できるようになる。

そのために、まず、制御部１３０は受信部１４０から提供される付加情報から各字幕が表示される時間情報または映像フレーム情報を検出する。

ここで、字幕またはキャプションは、ｓｍｉ、ｉｄｘ、ｓｕｂ、ｓｒｔ、ｐｓｂ、ｓｓａ、ａｓｓ及びｕｓｆ等のようなファイル形式であってよく、ｓｍｉファイル形式で製作された字幕の一例が以下に記載されている。

＜ＳＹＮＣ ｓｔａｒｔ＝２２９８３＞＜Ｐ Ｃｌａｓｓ＝ＫＲＣＣ＞
今日、すごく暑くない？
＜ＳＹＮＣ ｓｔａｒｔ＝２５７８１＞＜Ｐ Ｃｌａｓｓ＝ＫＲＣＣ＞
はい
上述の例において、“今日、すごく暑くない？”という字幕は２２．９８３秒から表示され、“はい”という字幕は２５．７８１秒から表示されることが分かる。制御部１３０は、このような付加情報に含まれたデータに基づいて特定字幕が表示される時間情報を検出することができる。

上述の実施形態においては、時間情報を抽出するものとして説明したが、それは一例に過ぎず、制御部１３０は当該字幕が表示されるフレーム番号が付加情報に含まれている場合にはフレーム番号を検出することができる。

そして、制御部１３０は、オーディオ信号に対するフィルターリングを行い、オーディオ信号の中から音声信号成分を抽出する。

一例として、制御部１３０は、帯域通過フィルター（図示せず）を備え、オーディオ信号で人の音声に対応する２００ないし３０００Ｈｚの周波数帯域を有する音声信号を抽出することができる。

そして、制御部１３０は、オーディオ信号の中から特定字幕が出力される時間に対応する発話音声の大きさに応じて字幕に対する３Ｄ映像の奥行き値を決定することができる。

具体的に、制御部１３０は、オーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲に含まれると、画面上にディスプレイされる客体の奥行き情報と同じ値で発話内容に対応する字幕の奥行き情報を決定する。

そして、制御部１３０は、オーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲を超過すると、発話内容に対応する字幕の奥行き情報を臨界範囲との差に応じて適応的に増大させ、臨界範囲未満であれば、発話内容に対応する字幕の奥行き情報を臨界範囲との差に応じて適応的に減少させてよい。

即ち、制御部１３０は、発話音声の大きさが予め設定された臨界範囲の上限値より大きいほど、画面上にディスプレイされる客体の奥行き情報より更に大きい値で発話内容に対応する字幕の奥行き情報を決定し、発話音声の大きさが予め設定された臨界範囲の下限値より小さいほど、画面上にディスプレイされる客体の奥行き情報より更に小さい値で発話内容に対応する字幕の奥行き情報を決定することができる。

もう一方で、制御部１３０はオーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲を超過すると、発話内容に対応する字幕の奥行き情報を予め設定された上限値に増大させ、臨界範囲未満であれば、発話内容に対応する字幕の奥行き情報を予め設定された下限値に減少させることもできる。

ここで、予め設定された上限値は、画面上にディスプレイされる客体の奥行き情報より大きい値であり、予め設定された下限値は画面上にディスプレイされる客体の奥行き情報より小さい値である。

一方、予め設定された臨界範囲、予め設定された上限値及び下限値は、ユーザによって設定可能である。

上述のように、制御部１３０はコンテンツに対する３Ｄ映像の奥行き情報、即ち、画面上にディスプレイされる各客体の奥行き情報を考慮して字幕の奥行き情報を決定することができる。それにより、画面上で予め設定された立体感を有する客体と同様か、互いに異なる立体感を有する字幕を視聴者に提供することができるようになる。

なお、互いに異なる立体感を有する複数の客体が一つの画面上にディスプレイされる場合にも、制御部１３０は各客体が発話する発話音声に対応する字幕の立体感を各客体の立体感に応じて異なるように表示するように制御することができる。

この場合、受信部１４０に入力される付加情報には画面上にディスプレイされる各客体が発話する音声に対応する字幕に対する情報が含まれてよい。

一例として、画面上に「ａ」の奥行き情報を有する客体「Ａ」及び「ｂ」の奥行き情報を有する客体「Ｂ」がディスプレイされており、客体「Ａ」の発話する音声に対応する字幕は「今日、すごく暑くない？」であり、客体「Ｂ」の発話する音声に対応する字幕は「はい」であると想定する。

この場合、客体「Ａ」及び客体「Ｂ」の発話音声の大きさが、いずれも予め設定された臨界範囲内であれば、制御部１３０は字幕「今日、すごく暑くない？」の奥行き情報を「ａ」に決定し、字幕「はい」の奥行き情報を「ｂ」に決定する。

そして、客体「Ａ」及び客体「Ｂ」の発話音声の大きさが、いずれも予め設定された臨界範囲を超過すると、制御部１３０は字幕「今日、すごく暑くない？」の奥行き情報を「ａより大きい値」に決定し、字幕「はい」の奥行き情報を「ｂより大きい値」に決定する。

同様に、客体「Ａ」及び客体「Ｂ」の発話音声の大きさが、いずれも予め設定された臨界範囲未満であれば、制御部１３０は、字幕の「今日、すごく暑くない？」の奥行き情報を「ａより小さい値」に決定し、字幕の「はい」の奥行き情報を「ｂより小さい値」に決定する。

このように、複数の客体が画面上にディスプレイされた場合にも、制御部１３０は、コンテンツに対する３Ｄ映像の奥行き情報、即ち、画面上にディスプレイされる各客体の奥行き情報を考慮して字幕の奥行き情報を決定することができるようになる。

制御部１３０は、変更された奥行き情報に応じて字幕に対する３Ｄ映像を生成し、それをコンテンツに対する３Ｄ映像にオーバーラップさせて出力することができる。

具体的に、制御部１３０は、発話音声の大きさに応じて変更された特定字幕の奥行き情報を用いて、字幕に対する３Ｄ映像の左眼映像から所定の時差を有する右眼映像を生成したり、または右眼映像から所定の時差を有する左眼映像を生成することができる。

即ち、制御部１３０は、予め設定された奥行き情報を有するコンテンツに対する３Ｄ映像の左眼映像と右眼映像との間の時差より大きいか、小さい時差を有するように字幕に対する３Ｄ映像を生成することができる。

そして、制御部１３０は、生成された字幕に対する左眼映像がコンテンツに対する左眼映像にオーバーラップし、生成された字幕に対する右眼映像がコンテンツに対する右眼映像にオーバーラップするように、映像処理部１１０を制御することができる。

上述の実施形態においては、字幕の時間情報を検出し、当該字幕に対応する音声信号の大きさに応じて奥行き値を有する付加映像を生成するものとして説明したが、それは一実施形態にすぎない。即ち、音声信号の大きさに応じて、少なくとも一つのレベルに分類し、各レベル毎に設定された奥行き値を適用して付加映像を生成することができることはいうまでもない。

なお、上述の実施形態では、字幕が含まれた付加映像を生成するものとして説明したが、それは一実施形態に過ぎない。即ち、字幕だけでなく、キャプション（Ｃａｐｔｉｏｎ）、広告文、消費者に対する情報文、または警告文等にも、技術的思想が適用されてよい。

一例として、広告に対する３Ｄ映像が有する奥行き情報より大きく広告文に対する奥行き情報を決定し、それに応じて調節された時差を用いて広告文に対する３Ｄ映像を生成し、当該広告映像にオーバーラップさせることができる。この場合、広告に対する３Ｄ映像が有する奥行き情報より大きくなるように奥行き情報が設定される広告文に対する情報は外部から受信されてよい。

広告文を一例として記載しているが、無論、上述の技術的思想は消費者に対する情報文、警告文、キャプション等にも適用可能である。

保存部１５０は、３Ｄディスプレイ装置１００を動作させるために必要な各種プログラム等が保存される保存媒体として、メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で実現可能である。例えば、保存部１５０は、制御部１３０の動作実行のためのプログラムを保存するためのＲＯＭ、制御部１３０の動作実行によるデータを一時的に保存するためのＲＡＭ等を備えてよい。なお、各種参照データを保存するための非揮発性メモリ、例えば、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等を更に備えてよい。

ユーザインターフェース部１６０は、リモコン、入力パネル等の入力手段から受信されるユーザ命令を制御部１３０に伝達する。

ここで、入力パネルは、タッチパッド（Ｔｏｕｃｈ Ｐａｄ）或いは各種機能キー、数字キー、特殊キー、文字キー等の備えたキーパッド（Ｋｅｙ Ｐａｄ）またはタッチスクリーン（Ｔｏｕｃｈ Ｓｃｒｅｅｎ）方式で行われてよい。

特に、ユーザインターフェース部１６０は、字幕を出力するためのユーザ命令を受信するための特定キーボタンを備えてよい。それにより、ユーザが特定キーボタンを選択すると、ユーザインターフェース部１６０は、それを制御部１３０に伝達してオーディオ信号の大きさに応じて立体感が変更される字幕が生成されて出力されるようにすることができる。

同期信号処理部１７０は、左眼映像及び右眼映像のディスプレイタタイミングに合わせて３Ｄメガネ（図１の２００）の左眼シャッタグラス及び右眼シャッタグラスを交互に開放するようにする同期信号を生成し、３Ｄメガネ（図１の２００）に伝送する。それは、３Ｄメガネ２００が交互に開閉され、３Ｄメガネ（図１の２００）の左眼オープンタイミングで出力部１２０で左眼映像が表示され、３Ｄメガネ（図１の２００）の右眼オープンタイミングで出力部１２０で右眼映像が表示されるようにするためである。ここで、同期信号は赤外線の形態で伝送されてよい。

制御部１３０は、同期信号処理部１７０を制御し、左眼映像及び右眼映像の出力タイミングと同期している同期信号が生成及び伝送されるようにする。

一方、３Ｄメガネ（図１の２００）は、３Ｄディスプレイ装置１００から受信された同期信号に応じて左眼シャッタグラスと右眼シャッタグラスを交互に開閉して、ユーザが左眼と右眼を通じて左眼映像及び右眼映像を各々視聴できるようにする。

図４Ａないし図６は、本発明の一実施形態に係る字幕に対する３Ｄ映像がコンテンツに対する３Ｄ映像にオーバーラップして出力される内容を説明するための図である。

図４Ａないし図４Ｂは、発話音声の大きさが予め設定された臨界範囲を超過した場合、３Ｄディスプレイ装置２００の出力状態を示し、図５Ａおよび図５Ｂは、発話音声の大きさが予め設定された臨界範囲未満である場合、３Ｄディスプレイ装置２００の出力状態を示している。

発話音声の大きさが予め設定された臨界範囲を超過している場合、図４Ａに示すように、字幕の「火事だ！」２２０がコンテンツを構成する客体２１０よりユーザの近くに表示されるように認識されてよい。それは、図４Ｂに示すように、字幕の「火事だ！」２２０に対する３Ｄ映像の左眼映像及び右眼映像の時差がコンテンツ２１０に対する３Ｄ映像の左眼映像及び右眼映像の時差より大きくなるように決定されたためである。

一方、発話音声の大きさが予め設定された臨界範囲未満である場合、図５Ａに示すように、字幕の「内緒だけど」２３０がコンテンツを構成する客体２１よりユーザに遠く表示されるように認識されてよい。それは、図５Ｂに示すように、字幕の「内緒だけど」２３０に対する３Ｄ映像の左眼映像及び右眼映像の時差がコンテンツ２１０に対する３Ｄ映像の左眼映像及び右眼映像の時差より小さくなるように決定されたためである。

図６は、図４Ａ及び図５Ａに示された３Ｄディスプレイ装置２００のトップビュー（ｔｏｐ ｖｉｅｗ）を示している。即ち、図６に示すように、コンテンツを構成する客体２１０の奥行き情報と互いに異なる奥行き情報を有する字幕２２０、２３０に対する３Ｄ映像がコンテンツに対する３Ｄ映像にオーバーラップして出力されるため、奥行き情報が大きい字幕、即ち、オーディオ信号のうち、大きさが大きい音声信号に対応する字幕であるほど、３Ｄディスプレイ装置２００を視聴するユーザに近く見えるということが分かる。

それにより、ユーザは画面上の客体が発話する発話音声に応じてそれに対応する字幕の立体感を調節することができ、よりダイナミックな立体影像を視聴できるようになる。

図７は、本発明の一実施形態に係る３Ｄディスプレイ装置のコンテンツ出力方法を説明するためのフローチャートである。
まず、コンテンツ信号に含まれたビデオ信号を処理し、画面上にディスプレイする（Ｓ７１０）。

その後、コンテンツ信号に含まれたオーディオ信号を処理し、画面に同期させて出力する（Ｓ７２０）。

そして、オーディオ信号の大きさに応じて、画面に表示される字幕の立体感を個別的に変更する（Ｓ７３０）。

この場合、ステップＳ７３０において、オーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲を超過すると、発話内容に対応する字幕の奥行き情報を臨界範囲との差に応じて適応的に増大させ、臨界範囲未満であれば、発話内容に対応する字幕の奥行き情報を臨界範囲との差に応じて適応的に減少させてよい。

この場合、ステップＳ７１０において、予め設定された立体感を有する客体を画面上にディスプレイし、客体が発話する発話音声の大きさが前記臨界範囲内であれば、客体が発話する発話音声に対する字幕を当該客体の立体感と同じ立体感で画面に併せてディスプレイすることができる。

一方、ステップＳ７３０において、オーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲を超過すると、発話内容に対応する字幕の奥行き情報を予め設定された上限値に増大させ、臨界範囲未満であれば、発話内容に対応する字幕の奥行き情報を予め設定された下限値に減少させることができる。

一方、ステップＳ７１０において、互いに異なる立体感を有する複数の客体が一つの画面上にディスプレイされる場合、各客体が発話する発話音声に対応する字幕の立体感を各客体の立体感に応じて異なるように表示してよい。

一方、上述の方法は、本発明の一実施形態に係る３Ｄディスプレイ装置によって実現されてよく、本３Ｄディスプレイ装置の全構成が備えられていない他の映像受信装置によって実現されてよい。

なお、本発明においては、上述のような３Ｄディスプレイ装置のコンテンツ出力方法を実行するためのプログラムを含むコンピュータ読取記録媒体を含んでよい。コンピュータ読取記録媒体はコンピュータシステムによって読み取られるデータが保存される全ての記録装置を含む。コンピュータ読取記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気データ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、更に、コンピュータ読取記録媒体はネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードが保存された実行されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (14)

1. ３Ｄディスプレイ装置のコンテンツ出力方法において、
   コンテンツ信号に含まれたビデオ信号を処理し、画面上にディスプレイするステップと、
   前記コンテンツ信号に含まれたオーディオ信号を処理し、前記画面に同期させて出力するステップと、
   前記オーディオ信号の大きさに応じて、前記画面に表示される字幕の立体感を個別的に変更するステップと
   を含むコンテンツ出力方法。
2. 前記字幕の立体感を個別的に変更するステップは、
   前記オーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲を超過すると、発話内容に対応する字幕の奥行き情報を前記臨界範囲との差に応じて適応的に増大させ、前記臨界範囲未満であれば、前記発話内容に対応する字幕の奥行き情報を前記臨界範囲との差に応じて適応的に減少させることを特徴とする請求項１に記載のコンテンツ出力方法。
3. 前記ディスプレイするステップは、
   予め設定された立体感を有する客体を前記画面上にディスプレイし、前記客体が発話する発話音声の大きさが前記臨界範囲内であれば、前記客体が発話する発話音声に対する字幕を当該客体の立体感と同じ立体感で前記画面に併せてディスプレイすることを特徴とする請求項２に記載のコンテンツ出力方法。
4. 前記字幕の立体感を個別的に変更するステップは、
   前記オーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲を超過すると、発話内容に対応する字幕の奥行き情報を予め設定された上限値に増大させ、前記臨界範囲未満であれば、前記発話内容に対応する字幕の奥行き情報を予め設定された下限値に減少させることを特徴とする請求項１に記載のコンテンツ出力方法。
5. 前記ディスプレイするステップは、
   互いに異なる立体感を有する複数の客体が一つの画面上にディスプレイされる場合、各客体が発話する発話音声に対応する字幕の立体感を各客体の立体感に応じて異なるように表示することを特徴とする請求項１に記載のコンテンツ出力方法。
6. ３Ｄディスプレイ装置において、
   コンテンツ信号に含まれたビデオ信号及びオーディオ信号に対する信号処理を行う映像処理部と、
   前記処理された映像信号を画面上にディスプレイし、前記処理されたオーディオ信号を出力する出力部と、
   前記オーディオ信号を画面に同期させて出力するように前記出力部を制御し、前記オーディオ信号の大きさに応じて、前記画面に表示される字幕の立体感を個別的に変更する制御部と
   を含む３Ｄディスプレイ装置。
7. 前記制御部は、
   前記オーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲を超過すると、発話内容に対応する字幕の奥行き情報を前記臨界範囲との差に応じて適応的に増大させ、前記臨界範囲未満であれば、前記発話内容に対応する字幕の奥行き情報を前記臨界範囲との差に応じて適応的に減少させることを特徴とする請求項６に記載の３Ｄディスプレイ装置。
8. 前記制御部は、
   予め設定された立体感を有する客体を前記画面上にディスプレイし、前記客体が発話する発話音声の大きさが前記臨界範囲内であれば、前記客体が発話する発話音声に対する字幕を当該客体の立体感と同じ立体感で前記画面に併せてディスプレイするように制御することを特徴とする請求項７に記載の３Ｄディスプレイ装置。
9. 前記制御部は、
   前記オーディオ信号のうち、発話音声の大きさが予め設定された臨界範囲を超過すると、発話内容に対応する字幕の奥行き情報を予め設定された上限値に増大させ、前記臨界範囲未満であれば、前記発話内容に対応する字幕の奥行き情報を予め設定された下限値に減少させることを特徴とする請求項６に記載の３Ｄディスプレイ装置。
10. 前記制御部は、
    互いに異なる立体感を有する複数の客体が一つの画面上にディスプレイされる場合、各客体が発話する発話音声に対応する字幕の立体感を各客体の立体感に応じて異なるように表示するように制御することを特徴とする請求項６に記載の３Ｄディスプレイ装置。
11. ３Ｄ映像処理装置のコンテンツ処理方法において、
    オーディオ信号の特性を判断するステップと、
    前記判断されたオーディオ信号の特性に応じて表示される字幕の立体感を個別的に制御するステップと
    を含むコンテンツ処理方法。
12. 前記オーディオ信号の特性は、オーディオ信号の大きさであることを特徴とする請求項１１に記載のコンテンツ処理方法。
13. 前記字幕の立体感を個別的に制御するステップは、
    前記オーディオ信号のうち、発話されるコンテンツの特性値が予め設定された臨界範囲を超過すると、発話されるコンテンツの特性値に対応する字幕の奥行き情報を前記予め設定された臨界範囲と前記発話されるコンテンツの特性値との間の差異値に応じて適応的に増大させ、
    前記オーディオ信号のうち、発話されるコンテンツの特性値が前記予め設定された臨界範囲未満であれば、前記発話されるコンテンツの特性値に対応する字幕の奥行き情報を前記臨界範囲と前記発話されるコンテンツの特性値との間の差異値に応じて適応的に減少させることを特徴とする請求項１１に記載のコンテンツ処理方法。
14. フレーム客体の立体感を判断するステップを更に含み、
    前記字幕の立体感を個別的に制御するステップは、
    前記フレーム客体が発話するコンテンツの特性値が前記予め設定された臨界範囲内であれば、前記コンテンツの字幕を前記判断されたフレーム客体の立体感と同じ立体感で出力することを特徴とする請求項１３に記載のコンテンツ処理方法。

Images