JP2012533205A - ディスプレイ装置の画面サイズを利用した信号処理方法及び装置 - Google Patents

Abstract

ビデオ映像再生装置内のメモリから立体感調節情報を抽出し、立体感調節情報によって３次元ビデオ映像の立体感を調節して出力する信号処理方法が開示される。

Description

本発明は、信号処理方法及び装置に係り、さらに具体的には、ディスプレイ装置の画面サイズを利用してビデオ映像及び／またはオーディオ映像の３次元立体感を調節する信号処理方法及び装置に関する。

デジタル技術の発達につれて、ビデオ映像を３次元に再生する技術が広く普及している。

人間の眼は横方向に所定距離ほど離れているため、左眼と右眼とが見る２次元映像が互いに異なるが、これを両眼視差という。脳は互いに異なる２つの２次元映像、すなわち、左眼が見る左眼用映像と右眼が見る右眼用映像とを融合して、遠近感及び実在感のある３次元映像を生成する。

両眼視差を利用して３次元映像を具現する方法には、めがねを着用する方法と、めがねを着用せずにレンチキュラーレンズ、パララックス・バリア、パララックス・イルミネーションなどが備えられた装置を利用する方法とがある。

めがねを着用する方法を利用する場合、ユーザが映像を視聴する時に感じる映像内の被写体に対する立体感の程度は、ディスプレイ装置の画面サイズに影響される。

図１は、ユーザが感じる立体感の程度が、ディスプレイ装置の画面サイズに影響されることを説明するための図である。図１は、左側のディスプレイ装置より右側のディスプレイ装置の画面サイズがさらに大きい場合を示す。

図１を参照すれば、同じ映像を互いに異なるサイズのディスプレイ装置を通じて視聴する場合、左側のユーザと右側のユーザとが感じる立体感は、それぞれＤｅｐｔｈ１とＤｅｐｔｈ２と表現される。ユーザが感じる立体感を数式で表現すると、下記の通りである。

Ｄｅｐｔｈ＝ｄｅｙｅ２ＴＶ＊ｄｏｂｊ２ｏｂｊ／（ｄｏｂｊ２ｏｂｊ＋ｄｅｙｅ２ｅｙｅ） （１）
ここで、Ｄｅｐｔｈは、ユーザが映像に対して感じる立体感を表し、ｄｅｙｅ２ＴＶは、ユーザとディスプレイ画面間の距離を表し、ｄｏｂｊ２ｏｂｊは、左眼用映像と右眼用映像内における物体間の横軸方向への離隔距離を表し、ｄｅｙｅ２ｅｙｅは、ユーザの両眼間の距離を表す。

式（１）のように、ユーザが感じる映像の立体感Ｄｅｐｔｈは、ＴＶと眼間の距離ｄｅｙｅ２ｅｙｅと、ディスプレイ装置上に表現される左眼用映像と右眼用映像における個体のｘ軸方向への離隔距離であるｄｏｂｊ２ｏｂｊとの積に比例し、ユーザの左右眼球距離であるｄｅｙｅ２ｅｙｅとｄｏｂｊ２ｏｂｊとの和に反比例する。

サイズの異なるディスプレイ装置が同じ映像を出力する場合、左眼用映像と右眼用映像における個体のｘ軸方向への離隔距離ｄｏｂｊ２ｏｂｊは、ディスプレイ装置が大きいほど比例して大きくなる。これは、ディスプレイ装置のサイズが異なる場合にも解像度が同じ場合、一つのピクセル間の物理的な距離がディスプレイ装置の横軸方向のサイズに比例するためである。

したがって、ユーザの左右眼球距離ｄｅｙｅ２ｅｙｅが固定された値を持つと仮定し、ユーザとディスプレイ装置間の距離ｄｅｙｅ２ＴＶを固定する場合にユーザが感じる立体感の程度は、ディスプレイ装置のサイズに正比例するｄｏｂｊ２ｏｂｊに比例する。

本発明は、ディスプレイ装置の画面サイズを内部のレジスタに保存する信号処理装置、及びその装置で行う方法を提供するためのものである。

また本発明は、信号処理装置の内部に保存されたディスプレイの画面サイズを利用してビデオ映像及び／またはオーディオ音響の３次元立体感を調節する方法及び装置を提供するためのものである。

前記課題を解決するために本発明の一側面によれば、ビデオ映像再生装置内のメモリから立体感調節情報を抽出する段階と、前記立体感調節情報によって、３次元ビデオ映像の立体感を調節して出力する段階と、を含む信号処理方法を提供する。

望ましい実施形態において、前記メモリは、プレーヤー・セッティング・レジスタである。

また、前記立体感調節情報は、前記ビデオ映像再生装置と連結されてビデオ映像を出力するディスプレイ装置の画面サイズを含む
また、前記画面サイズは、画面の横長、縦長、及び対角線長のうち一つ以上を含む。

また、前記方法は、前記立体感調節情報を抽出する前に、前記ディスプレイ装置から前記画面サイズを受信する段階と、前記受信された画面サイズを前記プレーヤー・セッティング・レジスタに保存する段階と、をさらに含む。

また、前記方法は、前記立体感調節情報を抽出する前に、ユーザから立体感調節情報を選択される段階と、前記選択された立体感調節情報を前記メモリに保存する段階と、をさらに含む。

また、前記３次元ビデオ映像の立体感を調節して出力する段階は、前記メモリに保存された立体感調節情報に対応するオフセット値を、ディスクに保存されたオフセット変換テーブルから抽出する段階と、前記抽出されたオフセット値を利用して前記３次元ビデオ映像の立体感を調節する段階と、を含む。

また、前記方法は、前記立体感調節情報によって、前記３次元ビデオ映像と共に出力されるオーディオ音響の３次元立体効果を調節する段階をさらに含む。

また、前記オーディオ音響の３次元立体効果を調節する段階は、前記ディスプレイ装置の画面サイズが大きいほど前記オーディオ音響の３次元立体効果が大きくなるように、前記オーディオ音響の３次元立体効果を調節する段階を含む。

また、前記オーディオ音響の３次元立体音響効果を調節する段階は、前記ディスプレイ装置の画面サイズによって、フロントオーディオチャネルとサラウンドオーディオチャネルとのゲインを調節する段階と、前記ゲインが調節されたチャネルを合成する段階と、を含む。

本発明の他の側面によれば、立体感調節情報を保存するメモリと、前記立体感調節情報によって３次元ビデオ映像の立体感を調節する制御部と、を備える信号処理装置を提供する。

本発明のさらに他の側面によれば、ビデオ映像再生装置内のメモリから立体感調節情報を抽出する段階と、前記立体感調節情報によって、３次元ビデオ映像の立体感を調節して出力する段階と、を含む、信号処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体を提供する。

本発明によれば、ディスプレイの画面サイズを内部のレジスタに保存する信号処理装置、及びその装置で行う方法を提供できる。

また、本発明によれば、信号処理装置の内部に保存されたディスプレイ装置の画面サイズを利用して、ビデオ映像及び／またはオーディオ音響の３次元立体感を調節する方法及び装置を提供できる。

ユーザが感じる立体感の程度がディスプレイ装置の画面サイズに影響されることを説明するための図である。 本発明の一実施形態による信号処理システム２００を示す図である。 図２のレジスタ２１３に含まれたプレーヤー・セッティング・レジスタを示す図である。 図２のレジスタ２１３に含まれたプレーヤー・セッティング・レジスタを示す図である。 図２のレジスタ２１３に含まれたプレーヤー・セッティング・レジスタを示す図である。 図２のオーディオ信号処理部２１９の内部ブロック図である。 図４のオーディオ３Ｄ効果制御部４２０の内部ブロック図である。 本発明の実施形態による立体感選択メニューを示す図である。 本発明の実施形態によるオフセット変換テーブルの概念を説明するための図である。 オフセット変換テーブルのシンタックスを示す図である。 立体感調節情報によってオブジェクトのオフセット値が調節されることを説明するための図である。 ユーザが選択した立体感変換情報によって、ビデオ映像のオフセット値の調節を許すかどうかを表す情報を説明するための図である。 本発明の実施形態によって、ＳＴＮテーブル（Ｓｔｒｅａｍ ｎｕｍｂｅｒ ｔａｂｌｅ）のシンタックスを示す図である。 本発明の実施形態によって、グラフィックストリームの立体感を調節するためのオフセット変換テーブルを示す図である。 グラフィック要素を出力する時の輻輳角を説明するための図である。 グラフィック要素を出力する時の輻輳角を説明するための図である。 グラフィック要素を出力する時の輻輳角を説明するための図である。 本発明の実施形態による信号処理装置のブロック図である。 本発明の実施形態による信号処理方法を示すフローチャートである。

以下、添付した図面を参照して本発明の望ましい実施形態を詳細に説明する。

図２は、本発明の一実施形態による信号処理システム２００を示す図である。信号処理システム２００は、信号処理装置２１０及びディスプレイ装置２３０を備える。図２で、信号処理装置２１０及びディスプレイ装置２３０は別個の装置と図示されているが、これは発明の一実施形態に過ぎず、信号処理装置２１０及びディスプレイ装置２３０が一つの装置内にユニットとして含まれてもよいということはいうまでもない。

信号処理装置２１０及びディスプレイ装置２３０は、装置が支援するインターフェースを通じて情報を送受信できる。一例として、信号処理装置２１０及びディスプレイ装置２３０が高鮮明マルチメディアインターフェース（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ、ＨＤＭＩ）を支援する場合、信号処理装置２１０及びディスプレイ装置２３０は、ＨＤＭＩを利用して情報を送受信できる。ＨＤＭＩは、非圧縮方式のデジタルビデオ／オーディオインターフェース規格の一つであり、ＨＤＭＩを支援する装置間のインターフェースを提供する。

信号処理装置２１０は、制御部２１１、レジスタ２１３、入力部２１５、ビデオ信号処理部２１７、オーディオ信号処理部２１９、及び出力部２２１を備える。

入力部２１５は、信号処理装置２１０にローディングされたディスク（図示せず）やローカルストレージ（図示せず）からデータを読み出すか、または放送局などで運営するサーバ（図示せず）から、通信網を通じてリアルタイムでデータを受信する。入力部２１５は、入力されたデータのうち、ビデオデータはビデオ信号処理部２１７に送り、オーディオデータはオーディオ信号処理部２１９に送る。

ビデオ信号処理部２１７は、入力部２１５から受けたビデオデータをデコーディングして、３次元ビデオ映像再生のための左眼用映像及び右眼用映像を生成する。左眼用映像及び右眼用映像には、３次元に再生されるオブジェクトが所定距離ほど左側及び／または右側にそれぞれ離れた位置にマッピングされている。

オーディオ信号処理部２１９は、入力部２１５から受けたオーディオデータをデコーディングして、モノチャネルやステレオチャネル、またはマルチチャネルのオーディオ信号を生成する。

ビデオ信号処理部２１７及びオーディオ信号処理部２１９は、ビデオ映像及びオーディオ信号を、出力部２２１を通じてディスプレイ装置２３０に伝送する。

ディスプレイ装置２３０は、信号処理装置２１０から受けた信号を出力する。ディスプレイ装置２３０は、信号処理装置２１０の全般的な状態を出力するか、または信号処理装置２１０から受信した信号を出力する。ディスプレイ装置２３０は、ビデオ信号を出力する画面、オーディオ信号を出力するスピーカーなどを備える。

レジスタ２１３は、信号処理装置２１０に含まれた内部メモリである。レジスタ２１３は、プレーヤー・セッティング・レジスタとプレイバック・ステータ・スレジスタのうち一つ以上を含む。プレーヤー・セッティング・レジスタは、ディスク内のナビゲーションコマンドやＡＰＩコマンドを通じてレジスタに保存された内容を変えられないレジスタであり、プレイバック・ステータ・スレジスタは、信号処理装置２１０の再生状態によって保存される値が変わるレジスタである。

本発明の実施形態で、プレーヤー・セッティング・レジスタ及び／またはプレイバック・ステータ・スレジスタには、ビデオ映像及び／またはオーディオ音響の３次元立体感を調節するための情報が保存される。以下、ビデオ映像及び／またはオーディオ音響の立体感を調節するための情報を、‘立体感調節情報’と称する。

立体感調節情報は、信号処理装置２１０と連結されたディスプレイ装置２３０の実際画面サイズになる。

ディスプレイ装置２３０と信号処理装置２１０とが連結されれば、ディスプレイ装置２３０は、ディスプレイ装置２３０の画面サイズを、インターフェースを通じて信号処理装置２１０に自動で伝送できる。信号処理装置２１０は、ディスプレイ装置２３０からディスプレイ装置２３０の画面サイズを受信し、これを立体感調節情報としてレジスタ２１３に保存する。この時、ディスプレイ装置の画面サイズは、プレーヤー・セッティング・レジスタに保存される。

ディスプレイ装置２３０が画面サイズを信号処理処置２１０に自動で伝送しない場合、他の実施形態で、ユーザが直接ディスプレイ装置２３０の実際画面サイズを、ユーザーインターフェース（図示せず）を通じて信号処理装置２１０に入力してもよい。信号処理装置２１０は、ユーザが入力した画面サイズを、立体感調節情報としてレジスタ２１３に保存する。

ビデオ信号処理部２１７がビデオ映像を３次元に再生することに対応して、オーディオ信号処理部２１９もオーディオ信号を３次元に再生できる。このために、オーディオ信号処理部２１９は、レジスタ２１３に保存された立体感調節情報を利用して、オーディオ音響の３次元立体感を調節できる。オーディオ信号処理部２１９が立体感調節情報を利用してオーディオ音響の３次元立体感を調節する方法については、図４及び図５を参照して説明する。

ディスプレイ装置２３０は、左眼用映像と右眼用映像とを交互に出力して３次元ビデオ映像を再生し、これと共に３次元立体音響を持つオーディオ信号を出力できる。

このように、本発明の実施形態によれば、信号処理装置内部のメモリに立体感調節情報を保存し、これを利用して視覚的な立体感の程度に比例して聴覚的な立体感を調節させる。

図３Ａないし図３Ｃは、図２のレジスタ２１３に含まれたプレーヤー・セッティング・レジスタを示す図である。図３Ａないし図３Ｃを参照すれば、プレーヤー・セッティング・レジスタは全体３２ビットであり、このうち所定ビットに、本発明の実施のための立体感設定情報が保存されうる。一実施形態で、立体感設定情報は、ディスプレイ装置の画面サイズを表す情報（Ｓｉｚｅ ｉｎ ｉｎｃｈ）になりうる。画面サイズは、画面の横軸長さ値、縦軸長さ値、対角線長値のうち一つ以上を含む。

図４は、図２のオーディオ信号処理部２１９の内部ブロック図である。オーディオ信号処理部２１９は、マルチチャネルオーディオデコーダ４１０及びオーディオ３Ｄ効果制御部４２０を備える。

マルチチャネルオーディオデコーダ４１０は、入力部２１５を通じて入力されたオーディオデータをデコーディングして、マルチチャネルオーディオ信号を復元する。図４を参照すれば、マルチチャネルオーディオデコーダ４１０によりデコーディングされて復元されるマルチチャネルオーディオ信号は、Ｎ（Ｎは自然数）個のサラウンドチャネル及びＮ個のフロントチャネルを含む。

マルチチャネルオーディオデコーダ４１０は、復元されたマルチチャネルオーディオ信号をオーディオ３Ｄ効果制御部４２０に伝送する。オーディオ３Ｄ効果制御部４２０は、マルチチャネルオーディオデコーダ４１０から受けたマルチチャネルオーディオ信号の立体感を調節する。

オーディオ３Ｄ効果制御部４２０は、ビデオ映像の立体感に合わせてオーディオ音響の立体感を変化させる。例えば、３次元ビデオ映像に含まれたオブジェクトが、画面前方に所定距離ほど突出した位置にあるような深さを持つ場合、ビデオ映像と共に再生されるオーディオ信号も、オブジェクトのように所定距離ほど突出した位置で聞こえるような立体感を持つように、オーディオ信号の立体感を調節できる。このために、オーディオ３Ｄ効果制御部４２０は、信号処理装置２１０内部のレジスタ２１３から立体感調節情報を制御信号で入力される。

立体感調節情報がディスプレイ装置の画面サイズである場合、オーディオ３Ｄ効果制御部４２０は、入力されたディスプレイ装置画面サイズを利用してＮ個のフロントチャネル及びＮ個のサラウンドチャネルをミックスし、それぞれ新たなＮ個のフロントチャネル及び新たなＮ個のサラウンドチャネルを生成する。

ディスプレイ装置の画面サイズが大きいほど視覚的な３次元効果が強い。オーディオ３Ｄ効果制御部４２０は、ビデオ信号処理部２１７により生成されるビデオ映像の３次元立体感に対応するように、オーディオ信号の立体音響感を調節できる。

オーディオ３Ｄ効果制御部４２０は、ディスプレイ装置の画面サイズが大きい場合、フロントチャネルとサラウンドチャネル間のオーディオ信号の音響差も大きくなるように制御し、逆にディスプレイ装置の画面サイズが小さな場合、視覚的な３次元立体効果が弱くなることに対応して、オーディオ信号音響の３次元効果もこれに相応して弱化させるために、フロントチャネルとサラウンドチャネル間の音響差が緩和されるように制御する。オーディオ３Ｄ効果制御部４２０は、ディスプレイ装置の画面サイズによってオーディオ信号の立体音響感を調節して、新たなフロントチャネル及び新たなサラウンドチャネルを生成し、これをディスプレイ装置２３０に伝送する。

ディスプレイ装置２３０は、フロントスピーカーとサラウンドスピーカーとを備える。ディスプレイ装置２３０に含まれたフロントスピーカー及びサラウンドスピーカーは、それぞれ新たなＮ個のフロントチャネル及び新たなＮ個のサラウンドチャネルを出力する。

図５は、図４のオーディオ３Ｄ効果制御部４２０の内部ブロック図である。オーディオ３Ｄ効果制御部４２０は、ゲイン調節部４２１及びミキシング部４２３を備える。

ゲイン調節部４２１は、立体感調節情報を利用してミキシング部４２３に含まれた増幅器のゲインを調節する。立体感調節情報がディスプレイ装置の画面サイズである場合、ゲイン調節部４２１は、プレーヤー・セッティング・レジスタからディスプレイ装置の画面サイズを抽出し、これを利用してミキシング部４２３に含まれた増幅器のゲインを調節する。

ミキシング部４２３は、ゲイン調節部４２１から受けたゲインを利用して増幅器のゲインを調節し、ゲインが調節されたチャネルを合せて新たなチャネルを生成する。ミキシング部４２３は、ｎ番目のフロントチャネルとｎ番目のサラウンドチャネルとをミックスして、新たなチャネルを生成する。

ディスプレイ装置の画面サイズが非常に大きい場合、ゲイン調節部４２１は、ミキシング部４２３に含まれた４個の増幅器に入るゲイン値を調整して、オーディオ３Ｄ効果制御部４２０に入力されるチャネルがそのまま出力されるように制御する。すなわち、ゲイン調節部４２１は、ゲイン値を調節してＦｒｏｎｔｏｕｔ［ｎ］＝Ｆｒｏｎｔｉｎ［ｎ」になり、Ｓｕｒｒｏｕｎｄｏｕｔ［ｎ］＝Ｓｕｒｒｏｕｎｄｉｎ［ｎ］になるように制御して、コンテンツ製作者が原本オーディオデータを生成する当時に適用した３次元立体音響効果を最大限適用させる。Ｆｒｏｎｔｏｕｔ［ｎ］＝Ｆｒｏｎｔｉｎ［ｎ」がなり、Ｓｕｒｒｏｕｎｄｏｕｔ［ｎ］＝Ｓｕｒｒｏｕｎｄｉｎ［ｎ］になるためには、ゲイン値ｇｆｆ、ｇｓｓ、ｇｓｆ、ｇｆｓは、それぞれ１、１、０、０になる。

ディスプレイ装置の画面サイズが非常に小さくて視覚的な３次元効果が非常に微小な場合、オーディオ３Ｄ効果制御部４２０は、ビデオ映像の立体感に相応して３次元立体音響効果も最小化させる。このために、ゲイン調節部４２１は、ミキシング部４２３に含まれた４個の増幅器に入るゲイン値を再調整して、Ｆｒｏｎｔｏｕｔ［ｎ］＝０．５＊Ｆｒｏｎｔｉｎ［ｎ］＋０．５＊Ｓｕｒｒｏｕｎｄｉｎ［ｎ］になるようにして、Ｓｕｒｒｏｕｎｄｏｕｔ［ｎ］＝０．５＊Ｓｕｒｒｏｕｎｄｉｎ［ｎ］＋０．５＊Ｆｒｏｎｔｉｎ［ｎ］になるように制御して、コンテンツ製作者が原本オーディオデータを生成する当時に適用した３次元立体音響効果が最小化されるように制御する。

発明の自然な拡張として、立体感調節情報で、ディスプレイ装置の画面サイズではない、ユーザの好みによる設定値を利用してもよい。ユーザは、オーディオ音響の３Ｄ立体感効果を極大化するためのゲイン値の組み合わせと、オーディオ音響の３Ｄ立体感効果を最小化するためのゲイン値の組み合わせとを両極端とし、ユーザの設定によってゲイン値を適宜に組み合わせてこれら両極端値間の任意の値をとることで、音響の３次元立体効果に対する強弱を調整することもできる。

このように、本発明の実施形態によれば、ディスプレイ装置の画面サイズによる視覚的な３次元立体効果の強弱によって、オーディオ信号も３次元立体音響効果を持たせることで、視覚的、聴覚的な３次元立体効果の自然な連動を可能にする。また本発明の実施形態によれば、ユーザの好みによってオーディオ音響の３次元立体感効果を調節できる。

図６は、本発明の実施形態による立体感選択メニューを示す図である。立体感選択メニューは、ユーザが立体感調節情報を直接選択するためのメニューである。

前述したように、ディスプレイ装置を視聴する者、すなわち、ユーザが感じるビデオ映像に対する立体感は、ディスプレイ装置２３０の画面サイズに比例する。ディスプレイ装置２３０が過度に大きい場合、両眼視差も過度に大きくなってユーザは視覚的な疲労感を感じる恐れがある。逆に、ディスプレイ装置２３０の画面サイズが過度に小さな場合、ユーザは３次元ビデオ映像の立体感をほとんど感じられなくなる。また、ユーザが好むビデオ映像の深度感がディスプレイ装置の画面サイズによる立体感と異なる恐れがある。したがって、本発明では実施形態として、ユーザが図６のような立体感選択メニューを利用して、所望のビデオ映像の立体感を直接選択可能にする。

信号処理装置２１０は、立体感選択メニューでユーザが選択した画面サイズを立体感調節情報として、内部メモリのレジスタ２１３に保存する。ユーザが選択した画面サイズは、プレイバック・ステータ・スレジスタに保存される。ユーザは立体感選択メニューを利用して、選択した画面サイズを他の値に再び変えてもよい。

プレイバック・ステータ・スレジスタに、ユーザが選択した画面サイズが立体感調節情報として保存されている場合、ビデオ信号処理部２１７は、ユーザが選択した画面サイズを利用して３次元ビデオ映像の深度感を調節できる。すなわち、ビデオ信号処理部２１７は、左眼用映像及び右眼用映像を生成する時、ユーザが選択した画面サイズに対応して、所定距離ほど左側または右側にオブジェクトのマッピング位置を移動させて左眼用映像及び右眼用映像を生成する。

オーディオ信号処理部２１９も、ユーザが選択した画面サイズに対応してオーディオ信号の３次元立体音響感効果を調節できる。

一例として、信号処理装置２１０と連結されてビデオ映像を出力するディスプレイ装置２３０が６０インチの画面サイズを持つと仮定する時、ユーザが立体感選択メニューで、ディスプレイ装置２３０の実際画面サイズと異なる４０インチを選択した場合、信号処理装置２１０は、ユーザが選択した画面サイズである４０インチに合わせてビデオ映像の立体感を調節できる。また、信号処理装置２１０は、ビデオ映像の立体感に対応してオーディオ信号の立体感を調節できる。

立体感選択メニューは、信号処理装置にローディングされたディスクに含まれているか、信号処理装置が立体感選択メニューを直接生成して、ユーザに画面などを通じて提供してもよい。

図６は、立体感選択メニューとしてビデオ映像の画面サイズについてのみ図示したが、本発明がこれに限定されるものではなく、立体感選択メニューは、オーディオ音響の立体感調節のためのものでもありうる。この場合、ユーザは、立体感選択メニューを利用して所望のオーディオ音響の立体感を調節してもよい。

このように、本発明の実施形態によれば、ユーザは、立体感選択メニューを利用して直接立体感調節情報を選択してもよい。

図７は、本発明の実施形態によるオフセット変換テーブルの概念を説明するための図である。オフセット変換テーブルは、立体感調節情報によるオフセット値が保存されたテーブルであり、信号処理装置２１０にローディングされたディスクに記録されていることができる。

オフセット値は、２次元映像におけるオブジェクトの位置と、２次元映像を３次元映像に再生するための左眼用映像／右眼用映像におけるオブジェクトの位置間の距離を表す。オフセット値が大きいほど、左眼用／右眼用映像におけるオブジェクトの位置と２次元映像におけるオブジェクトの元来位置間の距離が大きくなって、３次元映像の立体感がさらにり大きくなる。

ディスプレイ装置２３０の実際画面サイズまたはユーザが選択した画面サイズが、装置内部のメモリ２１３に立体感調節情報として保存されている場合、信号処理装置２１０は、オフセット変換テーブルで立体感調節情報に対応するオフセット値を読み出し、これを利用して３次元ビデオ映像の立体感を調節する。

図８は、オフセット変換テーブルのシンタックスを示す図である。図８を参照すれば、オフセット変換テーブルシンタックスにはディスプレイサイズ（ｄｉｓｐｌａｙ＿ｓｉｚｅ）が８ビット割り当てられ、各ディスプレイサイズによって、オフセット方向（ｃｏｎｖｅｒｔｅｄ＿ｏｆｆｓｅｔ＿ｄｉｒｅｃｔｉｏｎ）及びオフセット値（ｃｏｎｖｅｒｔｅｄ＿ｏｆｆｓｅｔ＿ｖａｌｕｅ）が、それぞれ１ビット、６ビットに与えられる。

図９は、立体感調節情報によってオブジェクトのオフセット値が調節されることを説明するための図である。前述したように、信号処理装置２１０内部のメモリには、ディスプレイ装置の実際画面サイズまたはユーザが選択した画面サイズが、立体感調節情報として保存されている。信号処理装置２１０は、装置内部のレジスタ２１３から立体感調節情報を抽出し、立体感調節情報に対応するオフセット値をオフセット変換テーブルから抽出する。信号処理装置は、オフセット変換テーブルから抽出したオフセット値ほどオブジェクトを左／右方向に移動させて、３次元ビデオ映像の立体感を調節できる。

図９で、ユーザが選択した画面サイズが５０インチである場合、信号処理装置２１０は、図７のオフセット変換テーブルから、画面サイズ５０インチに対応するオフセット値Ｂ１を抽出する。信号処理装置２１０は、オフセット値Ｂ１ほど左側または右側に離れた位置に、オブジェクトがそれぞれマッピングされた左眼用映像及び右眼用映像を生成する。ユーザが選択した画面サイズが６０インチである場合、信号処理装置２１０は、図７のオフセット変換テーブルから画面サイズ６０インチに対応するオフセット値Ｂ２を抽出し、オフセット値Ｂ２ほど左側または右側に離れた位置に、オブジェクトがそれぞれマッピングされた左眼用映像及び右眼用映像を生成する。

このように、本発明の実施形態によれば、信号処理装置は、オフセット変換テーブルから立体感調節情報に対応するオフセット値を抽出し、これを利用して３次元ビデオ映像の立体感を調節できる。

図１０は、ユーザが選択した立体感変換情報によって、ビデオ映像のオフセット値の調節を許すかどうかを表す情報を説明するための図である。

レジスタ２１３に立体感調節情報として、ユーザが選択した画面サイズが保存されている場合、本発明の実施形態によって、レジスタ２１３には、ユーザが選択した立体感変換情報によって、オブジェクトのオフセット値の調節を許すかどうかを表す情報がさらに保存される。

ユーザが選択した立体感変換情報によって、オブジェクトのオフセット値の調節を許すかどうかを表す情報はユーザが任意に変更できるため、レジスタ２１３のうち、プレイバック・ステータ・スレジスタに保存されうる。

コンテンツ提供者（ａｕｔｈｏｒ）は、ナビゲーションコマンドやジャバＡＰＩ関数を利用して、ユーザの選択によるビデオ映像の立体感の調節を許すかどうかを、ユーザが選択するようにプログラミングできる。ユーザはメニュー画面などを利用して、ユーザの選択による立体感調節情報によって、ビデオ映像／オーディオ音響の立体感の調節を許すかどうかを信号処理装置２１０に設定できる。

図１０で、ユーザが選択した画面サイズが５０インチであると仮定し、レジスタ２１３に、ユーザが選択した画面サイズによるオフセット値の調節を許す情報（ｏｆｆｓｅｔ＿ｃｏｎｖｅｒｓｉｏｎ＿ｐｒｏｈｉｂｉｔ＝ｆａｌｓｅ）が含まれている場合、信号処理装置２１０は、ユーザが選択した画面サイズ５０インチに対応するオフセット値Ｂ２を図７のオフセット変換テーブルから読み出し、オフセット値Ｂ２ほど左側または右側に離れた位置に、オブジェクトがそれぞれマッピングされた左眼用映像及び右眼用映像を生成する。

信号処理装置２１０内部のレジスタ２１３に、ユーザが選択した画面サイズによるオフセット値の調節を禁止する情報（ｏｆｆｓｅｔ＿ｃｏｎｖｅｒｓｉｏｎ＿ｐｒｏｈｉｂｉｔ＝ｔｒｕｅ）が含まれている場合、信号処理装置２１０は、ユーザが選択した画面サイズに関係なく、既定のオフセット値Ａを利用して、オフセット値Ａほど左側または右側に離れた位置に、オブジェクトがそれぞれマッピングされた左眼用映像及び右眼用映像を生成する。

また、信号処理装置２１０内部のレジスタ２１３に保存された、ユーザが選択した画面サイズによるオフセット値の調節を許す情報または禁止する情報は、ユーザによるオーディオ音響の立体感の調節を許すか、または禁止するのに使われてもよい。

このように、本発明の実施形態によれば、信号処理装置の内部メモリには、ユーザが選択した立体感変換情報によるビデオ映像／オーディオ音響の立体感の調節を許すかどうかを表す情報がさらに保存される。

図１１は、本発明の実施形態によってＳＴＮテーブル（Ｓｔｒｅａｍ ｎｕｍｂｅｒ ｔａｂｌｅ）のシンタックスを示す。

ＳＴＮテーブルはディスク上で、インデックスファイル、プレイリストファイル、またはクリップインフォメーションなどのナビゲーションファイルが保存されたところに含まれている。

本発明の実施形態で、ＳＴＮテーブルは、ビデオ映像と共に再生されるグラフィック要素に対して、立体感調節情報による立体感変換を許すかどうかを表示する情報を含む。このために、コンテンツ製作者（ａｕｔｈｏｒ）は、ディスクに保存されたメニューグラフィックストリームや字幕グラフィックストリームに対して、立体感調節情報による立体感の変換を許すかどうかを表す情報を生成し、これを図１１のようにＳＴＮテーブルに保存させる。

３次元ビデオ映像は、ビデオ映像に対して付加的に提供されるメニューや字幕などのグラフィック要素と共にディスプレイされる。ビデオ映像が３次元に再生される場合、グラフィック要素は２次元に再生されてもよく、３次元に再生されてもよい。またビデオ映像は２次元に再生され、ビデオ映像と共に再生されるグラフィック要素のみ３次元に再生されてもよい。

ビデオ映像は２次元に、かつビデオ映像と共に再生されるグラフィック要素は３次元に再生される場合、本発明の実施形態によって、信号処理装置２１０は、グラフィック要素の３次元立体感を、ディスプレイ装置の画面サイズを利用して調節するか、またはユーザが選択した画面サイズを利用して調節する。

図１１を参照すれば、ＳＴＮテーブルシンタックスには、インタラクティブ・グラフィック・ストリームのＩＤ（ＩＧ＿ｓｔｒｅａｍ＿ｉｄ）が表示されている。またインタラクティブ・グラフィック・ストリームそれぞれに対して、立体感変換の許容如何を表示する情報（ｉｓｏｆｆｓｅｔ＿ｃｏｎｖｅｒｓａｔｉｏｎ＿ａｃｔｉｖｅ）が含まれている。

ＳＴＮテーブルに、所定のＩＤを持つインタラクティブ・グラフィック・ストリームに対して、立体感変換の許容を表示する情報が含まれている場合、ＳＴＮテーブルには、その所定のＩＤを持つインタラクティブ・グラフィック・ストリームに適用するオフセット変換テーブル識別子が、オフセット変換テーブルのＩＤ（ｏｆｆｓｅｔ＿ｃｏｎｖｅｒｓａｔｉｏｎ＿ｔａｂｌｅ＿ｉｄ＿ｒｅｆ）に与えられる。オフセット変換テーブルには、ディスプレイ装置の画面サイズに対応するオフセット値が含まれている。

ＳＴＮテーブルに表示されたオフセット変換テーブルは、図７や図８のオフセット変換テーブルと同じテーブルであってもよく、ビデオ映像でないインタラクティブ・グラフィック・ストリームに対するオフセット値を保存しているという点で、ビデオ映像に対するオフセット値を保存している図７や図８のオフセット変換テーブルと同一でない可能性もある。

信号処理装置２１０は、オフセット変換テーブルのＩＤを持つオフセット変換テーブルをディスクから抽出し、オフセット変換テーブルに与えられたオフセット値によってインタラクティブ・グラフィック・ストリームの立体感を変換できる。

信号処理装置２１０は、オフセット変換テーブルからディスプレイ装置の画面サイズに対応するオフセット値を抽出し、これを利用してインタラクティブ・グラフィック・ストリームの立体感を変換できる。または、信号処理装置２１０は、オフセット変換テーブルからユーザが選択した画面サイズに対応するオフセット値を抽出し、これを利用してインタラクティブ・グラフィック・ストリームの立体感を変換してもよい。

このように本発明の実施形態によれば、ディスプレイ装置のサイズを利用してグラフィック要素の立体感を調節できる。

図１２は、本発明の実施形態によってグラフィックストリームの立体感を調節するためのオフセット変換テーブルを示す図である。ビデオ映像とグラフィック要素とが共に再生される場合、メニューや字幕などのグラフィック要素は、ビデオ映像より画面前方に突出して出力されることが自然である。前述したように、ディスプレイ装置の画面サイズによってビデオ映像の立体感が変わるので、ディスプレイ装置の画面サイズが非常に大きい場合、ビデオ映像の立体感も大きくなり、ビデオ映像よりもさらに前方に突出して、出力されるグラフィック要素の立体感はさらに大きくなる。ユーザが立体感の大きいグラフィック要素を見る場合、輻輳角が大きくなって視力的に疲労感を感じる恐れがある。例えば、５０インチのディスプレイ装置を基準に作った字幕グラフィックを、ユーザが５０インチのディスプレイ装置で見る場合と、同じ字幕グラフィックを同じ解像度で８０インチのディスプレイ装置で見る場合、５０インチに比べて８０インチを見る時の輻輳角がさらに大きいため、眼の疲労も大きくなる。

したがって、発明の実施形態で、グラフィック要素の輻輳角が小さくなるようにグラフィック要素の立体感の調節が要求される。

図１２を参照すれば、オフセット変換テーブルの最左側には、基準になるオフセット値が表示されている。図１２のオフセット変換テーブルは、３０インチのディスプレイ装置を基準に作成されたグラフィックストリームを、互いに異なる画面サイズを持つディスプレイ装置を利用して出力する場合、ディスプレイ装置の画面サイズによって変換されるオフセット値を含む。本発明の実施形態で、オフセット変換テーブルを製作するコンテンツ提供者は、輻輳角が過度に大きくなることを防止するために、一定の値以下に調節されたオフセット値がオフセット変換テーブルに含まれるように製作できる。

図１２のオフセット変換テーブルを参照すれば、画面サイズが大きくなるほど変換されるオフセット値の絶対値が小さくなることが分かる。これは、画面サイズが大きくなるほどオフセット値を元来の値より小さな値に変換させて、画面サイズの増大によるグラフィック要素の深度感増大を防止するためである。

信号処理装置２１０は、図１２のオフセット変換テーブルを利用して、グラフィック要素が出力されるディスプレイ装置の画面サイズによるオフセット値を抽出し、これを利用して立体感が調節されたグラフィック要素を画面に出力できる。

図１３Ａ乃至図１３Ｃは、グラフィック要素を出力する時の輻輳角を説明するための図である。図１３Ａは、５０インチのディスプレイ装置を基準に作成されたグラフィックストリームを、５０インチのディスプレイ装置を利用して出力する場合の輻輳角を示す。図１３Ａで、左眼用映像及び右眼用映像におけるグラフィック要素の左右視差は１０ピクセルである。

図１３Ｂは、同じグラフィックストリームを、８０インチの画面サイズを持つディスプレイ装置を利用して出力する場合の輻輳角を図示する。５０インチの画面サイズを持つディスプレイ装置を基準に作成されたグラフィックストリームを、５０インチのディスプレイ装置と同じ解像度を持つ８０インチの画面サイズを持つディスプレイ装置を利用して出力する場合、左眼用映像及び右眼用映像におけるグラフィック要素の左右間の視差は、図１３Ａのように１０ピクセルになるが、１ピクセル当り長さが画面サイズに比例して大きくなるので、図１３Ｂの輻輳角は、図１３Ａの輻輳角よりさらに大きくなる。この場合、ユーザは眼の疲労感を感じる。

図１３Ｃは、本発明の実施形態によって、オフセット値が一定の値以下に調節されて含まれたオフセット変換テーブルを利用して、オフセット値を変換して出力する場合の輻輳角を示す。信号処理装置２１０は、プレーヤー・セッティング・レジスタからディスプレイ装置の画面サイズを抽出し、ディスクに保存された図１２のようなオフセット変換テーブルから、ディスプレイ装置の画面サイズによるオフセット値を抽出する。

信号処理装置２１０は、抽出したオフセット値にグラフィック要素のオフセット値を変換させて、グラフィック要素の立体感を調節する。図１３Ｃも図１３Ｂと同様に、同じグラフィックストリームを、８０インチの画面サイズを持つディスプレイ装置を利用して出力するが、オフセット変換テーブルを利用して、オフセット値を元来の値よりより小さな値に変化させることで、図１３Ｂでよりグラフィック要素の立体感がさらに小さくなる。図１３Ｃでは、左眼用映像及び右眼用映像におけるグラフィック要素の左右間の視差が５ピクセルに低減したことが分かる。この場合、グラフィック要素を視聴する時のユーザの輻輳も低減する。

図１４は、本発明の実施形態による信号処理装置のブロック図である。図１４を参照すれば、信号処理装置は、ビデオデコーダ１４０１、左眼用ビデオプレーン１４０３、右眼用ビデオプレーン１４０５、グラフィックデコーダ１４０７、グラフィック移動部１４０９、１４１１、左眼用グラフィックプレーン１４１３、右眼用ビデオプレーン１４１５及び信号合成部１４１７、１４１９を備える。

ビデオデコーダ１４０１は、ビデオストリームをデコーディングして左眼用映像及び右眼用映像を生成し、左眼用映像は左眼用ビデオプレーン１４０３に、右眼用映像は右眼用ビデオプレーン１４０５にそれぞれ描く。

グラフィックデコーダ１４０７は、グラフィックストリームをデコーディングして左眼用グラフィック及び右眼用グラフィックを生成する。

グラフィック移動部１４０９、１４１１は、グラフィックデコーダ１４０７から生成された左眼用グラフィック及び右眼用グラフィックが所定距離ほど左側または右側に移動して、左眼用グラフィックプレーン１４１３及び右眼用グラフィックプレーン１４１５に描かれるように制御する。この時、グラフィック移動部１４０９、１４１１により左側または右側に移動されるべき所定距離は、図１２のオフセット変換テーブルを参照して決定される。すなわち、グラフィック移動部１４０９、１４１１は、図１２のオフセット変換テーブルを参照して、ディスプレイ装置の画面サイズによるオフセット値を抽出し、抽出されたオフセット値ほど左側または右側に移動した位置にグラフィックが描かれるように制御する。

この場合、左眼用グラフィックプレーン１４１３及び右眼用グラフィックプレーン１４１５に描かれるグラフィックは、ディスプレイ装置の画面サイズによるオフセット値ほど左側または右側に所定距離ほど移動して位置する。すなわち、ディスプレイ装置の画面サイズが大きいほど、グラフィックプレーンでグラフィックが左側または右側に移動する距離が小さくなって、グラフィック要素の立体感が小さくなり、ディスプレイ装置の画面サイズが小さいほど左側または右側に移動する距離が大きくなって、グラフィック要素の立体感が大きくなる。

信号合成部１４１７、１４１９は、左眼用ビデオプレーンに描かれた左眼用映像と、左眼用グラフィックプレーンに描かれた左眼用グラフィック要素とを加え、右眼用ビデオプレーンに描かれた右眼用映像と、右眼用グラフィックプレーンに描かれた右眼用グラフィック要素とをそれぞれ加える。
このように本発明の実施形態によれば、ディスプレイ装置の画面サイズを考慮して、ユーザの輻輳角が一定範囲以内になるようにグラフィック要素の深度感を調節できる。

図１５は、本発明の実施形態による信号処理方法を示すフローチャートである。図１５を参照すれば、信号処理装置は、ディスプレイ装置からディスプレイ装置の画面サイズを受信する（段階１５１０）。ディスプレイ装置からディスプレイ装置の画面サイズを受信できない場合、ユーザからディスプレイ装置の画面サイズを直接入力されてもよい。

信号処理装置は、内部のメモリにディスプレイ装置の画面サイズを保存する（段階１５２０）。

信号処理装置は、メモリに保存されたディスプレイ装置の画面サイズを利用して、ビデオ映像及び／またはオーディオ信号の立体感を調節する（段階１５３０）。

以上、本発明についてその望ましい実施形態を中心に説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現できるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に現れており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。

Claims (23)

1. ビデオ映像再生装置内のメモリから立体感調節情報を抽出する段階と、
   前記立体感調節情報によって、３次元ビデオ映像の立体感を調節して出力する段階と、を含むことを特徴とする信号処理方法。
2. 前記メモリは、プレーヤー・セッティング・レジスタであることを特徴とする請求項１に記載の信号処理方法。
3. 前記立体感調節情報は、前記ビデオ映像再生装置と連結されてビデオ映像を出力するディスプレイ装置の画面サイズを含むことを特徴とする請求項２に記載の信号処理方法。
4. 前記画面サイズは、画面の横長、縦長、及び対角線長のうち一つ以上を含むことを特徴とする請求項３に記載の信号処理方法。
5. 前記立体感調節情報を抽出する前に、
   前記ディスプレイ装置から前記画面サイズを受信する段階と、
   前記受信された画面サイズを前記プレーヤー・セッティング・レジスタに保存する段階と、をさらに含むことを特徴とする請求項３に記載の信号処理方法。
6. 前記立体感調節情報を抽出する前に、
   ユーザから立体感調節情報を選択される段階と、
   前記選択された立体感調節情報を前記メモリに保存する段階と、をさらに含むことを特徴とする請求項１に記載の信号処理方法。
7. 前記３次元ビデオ映像の立体感を調節して出力する段階は、
   前記メモリに保存された立体感調節情報に対応するオフセット値を、ディスクに保存されたオフセット変換テーブルから抽出する段階と、
   前記抽出されたオフセット値を利用して前記３次元ビデオ映像の立体感を調節する段階と、を含むことを特徴とする請求項５に記載の信号処理方法。
8. 前記３次元ビデオ映像の立体感を調節して出力する段階は、
   前記メモリに保存された立体感調節情報に対応するオフセット値を、ディスクに保存されたオフセット変換テーブルから抽出する段階と、
   前記抽出されたオフセット値を利用して前記３次元ビデオ映像の立体感を調節する段階と、を含むことを特徴とする請求項６に記載の信号処理方法。
9. 前記立体感調節情報によって、前記３次元ビデオ映像と共に出力されるオーディオ音響の３次元立体効果を調節する段階をさらに含むことを特徴とする請求項２に記載の信号処理方法。
10. 前記オーディオ音響の３次元立体効果を調節する段階は、前記ディスプレイ装置の画面サイズが大きいほど前記オーディオ音響の３次元立体効果が大きくなるように、前記オーディオ音響の３次元立体効果を調節する段階を含むことを特徴とする請求項９に記載の信号処理方法。
11. 前記オーディオ音響の３次元立体音響効果を調節する段階は、
    前記ディスプレイ装置の画面サイズによって、フロントオーディオチャネルとサラウンドオーディオチャネルとのゲインを調節する段階と、
    前記ゲインが調節されたチャネルを合成する段階と、を含むことを特徴とする請求項１０に記載の信号処理方法。
12. 立体感調節情報を保存するメモリと、
    前記立体感調節情報によって３次元ビデオ映像の立体感を調節する制御部と、を備えることを特徴とする信号処理装置。
13. 前記メモリは、プレーヤー・セッティング・レジスタであることを特徴とする請求項１２に記載の信号処理装置。
14. 前記立体感調節情報は、前記ビデオ映像再生装置と連結されてビデオ映像を出力するディスプレイ装置の画面サイズを含むことを特徴とする請求項１３に記載の信号処理装置。
15. 前記画面サイズは、画面の横長、縦長、及び対角線長のうち一つ以上を含むことを特徴とする請求項１３に記載の信号処理装置。
16. 前記制御部は、前記ディスプレイ装置から前記画面サイズを受信し、前記受信された画面サイズを前記プレーヤー・セッティング・レジスタに保存することを特徴とする請求項１３に記載の信号処理装置。
17. 前記制御部は、ユーザから立体感調節情報を選択され、前記選択された立体感調節情報を前記メモリに保存することを特徴とする請求項１２に記載の信号処理装置。
18. 前記制御部は、前記メモリに保存された立体感調節情報に対応するオフセット値を、ディスクに保存されたオフセット変換テーブルから抽出し、前記抽出されたオフセット値を利用して前記３次元ビデオ映像の立体感を調節することを特徴とする請求項１６に記載の信号処理装置。
19. 前記制御部は、前記メモリに保存された立体感調節情報に対応するオフセット値を、ディスクに保存されたオフセット変換テーブルから抽出し、前記抽出されたオフセット値を利用して前記３次元ビデオ映像の立体感を調節することを特徴とする請求項１７に記載の信号処理装置。
20. 前記制御部は、前記立体感調節情報によって、前記３次元ビデオ映像と共に出力されるオーディオ音響の３次元立体効果を調節することを特徴とする請求項１３に記載の信号処理装置。
21. 前記制御部は、前記ディスプレイ装置の画面サイズが大きいほど前記オーディオ音響の３次元立体効果が大きくなるように、前記オーディオ音響の３次元立体効果を調節することを特徴とする請求項２０に記載の信号処理装置。
22. 前記制御部は、前記ディスプレイ装置の画面サイズによって、フロントオーディオチャネルとサラウンドオーディオチャネルとのゲインを調節し、前記ゲインが調節されたチャネルを合成することを特徴とする請求項２１に記載の信号処理装置。
23. ビデオ映像再生装置内のメモリから立体感調節情報を抽出する段階と、
    前記立体感調節情報によって、３次元ビデオ映像の立体感を調節して出力する段階と、を含むことを特徴とする、信号処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な記録媒体。

Images