JP2011223126A - 立体映像表示装置および立体映像表示方法 - Google Patents

Abstract

【課題】立体映像上にＯＳＤ画像を表示させた時に、立体表示映像とＯＳＤ画像の奥行き方向の視点がずれることによる視聴者の違和感を軽減できる立体映像表示装置を提供する。
【解決手段】映像信号と映像信号の奥行値が入力される映像入力部と、ＯＳＤ画像の奥行値を制御するＯＳＤ位置制御部と、前記ＯＳＤ位置制御部で制御された奥行値をもとにＯＳＤ画像の視差画像を生成するＯＳＤ表示処理部と、前記映像入力部に入力された映像信号と映像信号の奥行値を用いて入力された映像の視差画像を生成する入力映像表示処理部と、前記ＯＳＤ表示処理部で生成された視差画像と前記入力映像表示処理部で生成された視差画像を表示する表示部とを備える。
【選択図】図１

Description

本発明は、立体映像上にＯＳＤ画像を重畳する機能を有する表示装置およびＯＳＤ画像を重畳する方法に関するものである。

近年は映画などの映像を立体表示して楽しむことができるようになっているが、この立体表示の原理は両眼視差による錯覚の原理にもとづくものであって、右目が見る画像（右画像）と左目が見る画像（左画像）の２枚の視差画像を表示すると、表示された画像が立体表示されているように視聴者が認識するものである。２枚の視差画像を表示する方法には、例えば、右画像と左画像をフレーム単位で交互に表示する方式や、ライン単位で交互に表示する方式などがある。

そしてこの２枚の視差画像は、送信側の装置から、あらかじめ２枚の視差画像が合成された形で映像データが送られてくる場合や、特許文献１で開示されているように、送信側の装置から伝送されてきた片眼の映像信号とその映像に対応した奥行値を受信側の装置で受信し、左右２枚の視差画像を生成する場合などがある。

また特許文献１記載の、映像に対応した奥行値を算出する方法には、特許文献２で開示されている方法のように、被写体を撮影した複数のカメラのレンズから被写体までの距離によって算出する方法がある。一方、ステレオマッチング法などを用いて、２枚の視差画像から奥行値を算出する方法もある。

特開２００１−６１１６４号（平成１３年３月６日公開） 特開２００９−１０５５７号（平成２１年１月１５日公開）

しかしながら、従来技術の方法で算出される奥行値は、あくまで表示装置外部から入力された映像信号の奥行値であり、操作用のメニュー画面、時計表示、音量表示、番組情報などＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）表示される画像データや文字データのように、表示装置にあらかじめ含まれているデータを用いて表示する画像（以下、ＯＳＤ画像とする）は奥行値を持っていない。つまりＯＳＤ画像は、従来通りの平面表示のままであり、立体映像を表示している時にＯＳＤ画像を表示すると、立体映像の奥行感とＯＳＤ画像の奥行感がずれ、違和感が生じてしまうという課題がある。

例えば、図６に示すように、表示画面６１０上に車の立体映像６１３が表示されている（本来は車の平面映像６１１の位置に表示されているが、立体映像６１３の位置に飛び出して見える）時にＯＳＤ画像６１２を表示すると、ＯＳＤ画像６１２は平面映像の位置に表示されるため、車の立体映像６１３とは奥行感がずれている。そこで本発明では、上記課題を解決するために、平面映像として表示されたＯＳＤ画像６１２をＯＳＤ画像６１４のように立体表示する立体映像表示装置を提供する。

本願第一の発明にかかる立体映像表示装置は、映像信号と映像信号の奥行値が入力される第一の映像入力部と、ＯＳＤ画像の奥行値を制御するＯＳＤ位置制御部と、前記ＯＳＤ位置制御部で制御された奥行値をもとにＯＳＤ画像の視差画像を生成するＯＳＤ表示処理部と、前記第一の映像入力部に入力された映像信号と映像信号の奥行値を用いて入力された映像の視差画像を生成する第一の入力映像表示処理部と、前記ＯＳＤ表示処理部で生成された視差画像と前記第一の入力映像表示処理部で生成された視差画像を表示する表示部とを備えることを特徴とする。

さらに、前記ＯＳＤ位置制御部は、前記第一の映像入力部に入力された映像信号の奥行値を用いてＯＳＤ画像の奥行値を制御することを特徴とする。

また、本願第二の発明にかかる立体映像表示装置は、映像信号が入力される第二の映像入力部と、前記映像信号から映像信号の奥行値を計算する奥行値処理部と、ＯＳＤ画像の奥行値を制御するＯＳＤ位置制御部と、前記ＯＳＤ位置制御部で制御された奥行値をもとにＯＳＤ画像の視差画像を生成するＯＳＤ表示処理部と、前記第二の映像入力部に入力された映像信号と奥行値処理部で計算された映像信号の奥行値のうち、少なくとも映像信号を用いて入力された映像の視差画像を生成する第二の入力映像表示処理部と、前記ＯＳＤ表示処理部で生成された視差画像と前記第二の入力映像表示処理部で生成された視差画像を表示する表示部とを備えることを特徴とする。

さらに前記ＯＳＤ位置制御部は、前記奥行値処理部で計算された映像信号の奥行値を用いてＯＳＤ画像の奥行値を制御することを特徴とする。

また、本願第一の発明にかかる立体映像表示方法は、映像信号と映像信号の奥行値が入力されるステップと、ＯＳＤ画像の奥行値を制御するステップと、制御されたＯＳＤ画像の奥行値をもとにＯＳＤ画像の視差画像を生成するステップと、入力された映像信号と映像信号の奥行値を用いて前記入力された映像の視差画像を生成するステップと、生成されたＯＳＤ画像の視差画像と生成された映像の視差画像を表示するステップとを備えることを特徴とする。

さらに、前記ＯＳＤ画像の奥行値を制御するステップは、入力された映像信号の奥行値を用いてＯＳＤ画像の奥行値を制御することを特徴とする。

また、本願第二の発明にかかる立体映像表示方法は、映像信号が入力されるステップと、入力された映像信号から映像信号の奥行値を計算するステップと、ＯＳＤ画像の奥行値を制御するステップと、制御されたＯＳＤ画像の奥行値をもとにＯＳＤ画像の視差画像を生成するステップと、入力された映像信号と計算された映像信号の奥行値のうち、少なくとも映像信号を用いて入力された映像の視差画像を生成するステップと、生成されたＯＳＤ画像の視差画像と生成された映像の視差画像を表示するステップとを備えることを特徴とする。

さらに、前記ＯＳＤ画像の奥行値を制御するステップは、計算された映像信号の奥行値を用いてＯＳＤ画像の奥行値を制御することを特徴とする。

本発明によれば、立体映像上にＯＳＤ画像を表示させた時に、立体表示映像とＯＳＤ画像の奥行き方向の視点がずれることによる視聴者の違和感を軽減することが可能となる。

立体映像表示装置の機能ブロック図 立体映像表示装置の機能ブロック図 奥行値Ｄ_１のピクセルによる分布を示した図 奥行値Ｄ_２の時間変化を示した図 立体映像表示装置の機能ブロック図 立体映像の表示イメージ

本発明は、映像信号とその奥行値のデータを受信して立体映像を表示し、さらにＯＳＤ画像の奥行値を制御し、ＯＳＤ画像を表示するものである。あるいは、映像信号を受信し、受信した映像信号からその奥行値を計算し、立体映像を表示し、さらにＯＳＤ画像の奥行値を制御し、ＯＳＤ画像を表示するものである。以下に、本発明の実施形態について、図を用いて説明する。

〔実施形態１〕
本発明を実施する立体映像表示装置１０１は、図１に示すように、少なくとも映像入力部１０２と、ＯＳＤ位置制御部１０３と、ＯＳＤ表示処理部１０４と、入力映像表示処理部１０５と、表示部１０６を備える。まず、映像入力部に映像信号とその奥行値Ｄ_１が入力されると、入力映像表示処理部では、入力された映像信号とその奥行値Ｄ_１をもとに、２枚の視差画像を生成する。一方ＯＳＤ位置制御部では、外部からＯＳＤ画像の奥行値を調節する操作情報を受信し、ＯＳＤ画像の奥行値Ｄ_２を確定する。ＯＳＤ表示処理部では、ＯＳＤ位置制御部で確定した奥行値Ｄ_２を用いてＯＳＤ画像の２枚の視差画像を生成する。表示部では、ＯＳＤ表示処理部で生成されたＯＳＤ画像の右画像を、入力映像表示処理部で生成された入力された映像信号の右画像にオーバーレイ表示し、ＯＳＤ画像の左画像を立体映像の左画像にオーバーレイ表示することで、ＯＳＤ画像を立体表示する。ＯＳＤ画像の右画像と左画像は同じ画像であるが、オーバーレイ表示する座標が異なるため、この座標の違いが視差量となって立体表示されているように見える。

なお、ＯＳＤ画像の奥行値を調節する操作情報は、立体映像表示装置を使用するユーザが、例えばリモコン装置など、何らかの入力装置や入力手段を用いて入力するものであり、ＯＳＤ画像が表示された後に入力されるものとした。また、ＯＳＤ画像の表示は、入力装置からの操作情報で表示されるものだけでなく、時計やアラーム表示などのように自動で表示されるものも含まれる。

〔実施形態２〕
実施形態２では、本発明を実施する立体映像表示装置の第二の形態について、図２を用いて述べる。この立体映像表示装置２０１は、ＯＳＤ画像の奥行値Ｄ_２を、外部からの操作情報により入力するものではなく、装置内で計算するものである。この装置は、図２に示すように、少なくとも映像入力部２０２と、ＯＳＤ位置制御部２０３と、ＯＳＤ表示処理部２０４と、入力映像表示処理部２０５と、表示部２０６を備える。この実施形態は、ＯＳＤ位置制御部でＯＳＤ画像の奥行値Ｄ_２を算出するのに、映像入力部に入力された奥行値Ｄ_１を用いるものである。映像入力部、ＯＳＤ表示処理部、入力映像表示処理部、表示部の処理は、実施形態１の装置と同じである。

次に、実施形態２のＯＳＤ位置制御部２０３におけるＤ_２の算出方法について、図３を用いて具体的に述べる。映像入力部で入力される映像信号は、１ピクセルに対し一つの奥行値Ｄ_１が対応しており、一フレーム分の映像信号におけるピクセルの位置をｐ、位置ｐのピクセルに対応する奥行値Ｄ_１をＤ_１（ｐ）とする。図３は、５００ピクセルの映像信号一枚分の、各ピクセルにおけるＤ_１の値を示したものである。横軸は、ピクセルの位置ｐを示し、ｐ_１からｐ_５００の値で分布している。縦軸は奥行値Ｄ_１を示しており、奥行値Ｄ_１が大きいほど、該当する部分の映像の視差がより小さくなり、視聴者にとって奥に引っ込んで見える。一方、奥行値Ｄ_１のマイナス値が大きくなるほど、目前に迫って見える。ＯＳＤ位置制御部で算出されるＯＳＤ画像の奥行値Ｄ_２は、Ｄ_１（ｐ_１）からＤ_１（ｐ_５００）の平均値である。

なお、上述の説明では、映像信号１ピクセルに対し、一つの奥行値Ｄ_１が対応している形式で述べたが、複数のピクセルを組み合わせた１つのブロックに対し、一つの奥行値Ｄ_１が対応している場合にも適用できる。

また、ＯＳＤ画像が余りにも目前に迫ったり、奥に引っ込んで遠くに表示されたりすると、ＯＳＤ画像の文字などが読みにくいことを考慮し、Ｄ_２の値に限定をかけてもよい。なお、ＯＳＤ位置制御部でのＤ_２の値に多少の誤差があってもよい。この誤差の大きさは、ＯＳＤ画像と立体映像の奥行感がずれて違和感が生じない範囲で収まっていればよく、これは実験値などから確定することができる。

〔実施形態３〕
実施形態３では、実施形態２記載のＯＳＤ位置制御部における第二の形態について述べる。この形態では、ＯＳＤ画像の奥行値Ｄ_２は、Ｄ_１（ｐ_１）から（ｐ_５００）のうち最も奥行値のマイナス値が大きいもの、つまり、最も飛び出て見える位置に該当する値となる。図３で示す例では、Ｄ_２はＤ_１（ｐ_３００）の値になる。なお、実施形態２記載の装置と同じ部分の説明は、省略した。

〔実施形態４〕
実施形態４では、実施形態２および実施形態３記載のＯＳＤ位置制御部における第三の形態について述べる。実施形態２および実施形態３では、一枚の映像信号のｐ_１からｐ_５００全てのピクセルに対する奥行値Ｄ_１（ｐ_１）からＤ_１（ｐ_５００）を用いてＤ_２を計算したが、実施形態３では、Ｄ_１（ｐ_１）からＤ_１（ｐ_５００）のうち、ＯＳＤ画像を表示する領域の部分あるいはＯＳＤ画像を表示する領域の周辺部分に該当するピクセルの奥行値だけを用いて、Ｄ_２を算出する。なお、実施形態２または実施形態３記載の装置と同じ部分の説明は、省略した。

〔実施形態５〕
実施形態５では、実施形態１から実施形態４記載のＯＳＤ位置制御部における第四の形態について述べる。この実施形態は、ＯＳＤ画像の奥行値Ｄ_２が、時間経過により細かく変動する場合に特別な制御を行うものである。この状況を、図４を用いて具体的に説明する。図４は、映像信号１フレーム分のピクセル値をもとに算出された奥行値Ｄ_２の時間による変化を示したものである。時間ｔ_ａから時間ｔ_ｂの間は、奥行値Ｄ_２の値が細かく変動している。このような場合にも実施形態１から実施形態４のように、奥行値Ｄ_２を逐一反映させてＯＳＤ画像を立体表示すると、ＯＳＤ画像の奥行感が前後に細かく頻繁に変化することになるため、ＯＳＤ画像がぶれて見え、疲れ目の原因となる。一方、時間ｔ_ｂから時間ｔ_ｃの間は奥行値Ｄ_２の値が大きく変動しており、ＯＳＤ画像がぶれて見えることはない。

この形態のＯＳＤ位置制御部で行う制御は、上記の問題を鑑みて、奥行値Ｄ_２の値が大きく変化した時だけ、ＯＳＤ位置の奥行値に使用するものである。具体的に、一定間隔の時間をｔ_１、ｔ_２、ｔ_３・・・と表わすと、時間ｔ_ｍから時間ｔ_ｍ＋１に時間が変化する時のＤ_２の値の変化量は、Ｄ_２（ｔ_ｍ＋１）−Ｄ_２（ｔ_ｍ）と表せる。これが一定の範囲を超える場合、時間ｔ_ｍ＋１の時点のＯＳＤ位置の奥行値はＤ_２（ｔ_ｍ＋１）となる。一方、一定の範囲を超えない場合は、時間ｔ_ｍ＋１の時点のＯＳＤ画像の奥行値はＤ_２（ｔ_ｍ）となる。なお実施形態１から実施形態４記載のいずれかの装置と同じ部分の説明は、省略した。

〔実施形態６〕
実施形態６では、本発明を実施する立体映像表示装置の第三の構成について述べる。実施形態１から実施形態５では、映像入力部に映像信号とその奥行値Ｄ_１が入力される形態について述べたが、この実施形態は、映像入力部では映像信号だけが入力され、装置内の奥行値処理部で映像信号に対応する奥行値Ｄ_１を算出するものである。

この形態の立体映像表示装置５０１は、図５に示すように、少なくとも映像入力部５０２と、奥行値処理部５０７と、ＯＳＤ位置制御部５０３と、ＯＳＤ表示処理部５０４と、入力映像表示処理部５０５と、表示部５０６を備える。映像入力部に映像信号が入力されると、入力された映像信号をもとに装置内の奥行値処理部で奥行値Ｄ_１を計算する。さらに映像入力部に入力された映像信号と、奥行値処理部で算出した奥行値Ｄ_１を適宜用いて、実施形態１または実施形態２から実施形態５記載の通り、ＯＳＤ画像や映像を表示する。なお、図５では入力映像表示処理部５０５で立体映像を表示する時に奥行値処理部５０７で計算した奥行値Ｄ_１を用いる場合を図示しているが、入力される映像信号が既に２枚の視差画像を含む一つの映像データであり、奥行値Ｄ_１を用いなくても立体視用の映像として表示できる場合、奥行値処理部５０７から入力映像表示処理部５０５に対して奥行値Ｄ_１を伝送する必要はない。

また、奥行値処理部で行う映像信号をもとにその奥行値Ｄ_１を計算する手法については、背景技術で述べた方法の他、様々な方法を適宜対応することができる。また、各実施形態を適宜組み合わせられることは、言うまでもない。

本発明は、ＯＳＤ画像を表示することができる立体映像表示装置に適用可能である。

１０１、２０１、５０１ 立体映像表示装置
１０２、２０２、５０２ 映像入力部
１０３、２０３、５０３ ＯＳＤ位置制御部
１０４、２０４、５０４ ＯＳＤ表示処理部
１０５、２０５、５０５ 入力映像表示処理部
１０６、２０６、５０６ 表示部
５０７ 奥行値処理部
６１０ 表示画面
６１１ 平面映像
６１２、６１４ ＯＳＤ画像
６１３ 立体映像

Claims (8)

1. 映像信号と映像信号の奥行値が入力される第一の映像入力部と、
   ＯＳＤ画像の奥行値を制御するＯＳＤ位置制御部と、
   前記ＯＳＤ位置制御部で制御された奥行値をもとにＯＳＤ画像の視差画像を生成するＯＳＤ表示処理部と、
   前記第一の映像入力部に入力された映像信号と映像信号の奥行値を用いて入力された映像の視差画像を生成する第一の入力映像表示処理部と、
   前記ＯＳＤ表示処理部で生成された視差画像と前記第一の入力映像表示処理部で生成された視差画像を表示する表示部と
   を備えることを特徴とする立体映像表示装置。
2. 請求項１記載の立体映像表示装置であって、
   前記ＯＳＤ位置制御部は、前記第一の映像入力部に入力された映像信号の奥行値を用いてＯＳＤ画像の奥行値を制御することを特徴とする請求項１記載の立体映像表示装置。
3. 映像信号が入力される第二の映像入力部と、
   前記映像信号から映像信号の奥行値を計算する奥行値処理部と、
   ＯＳＤ画像の奥行値を制御するＯＳＤ位置制御部と、
   前記ＯＳＤ位置制御部で制御された奥行値をもとにＯＳＤ画像の視差画像を生成するＯＳＤ表示処理部と、
   前記第二の映像入力部に入力された映像信号と奥行値処理部で計算された映像信号の奥行値のうち、少なくとも映像信号を用いて入力された映像の視差画像を生成する第二の入力映像表示処理部と、
   前記ＯＳＤ表示処理部で生成された視差画像と前記第二の入力映像表示処理部で生成された視差画像を表示する表示部と
   を備えることを特徴とする立体映像表示装置。
4. 請求項３記載の立体映像表示装置であって、
   前記ＯＳＤ位置制御部は、前記奥行値処理部で計算された映像信号の奥行値を用いてＯＳＤ画像の奥行値を制御することを特徴とする請求項３記載の立体映像表示装置。
5. 映像信号と映像信号の奥行値が入力されるステップと、
   ＯＳＤ画像の奥行値を制御するステップと、
   制御されたＯＳＤ画像の奥行値をもとにＯＳＤ画像の視差画像を生成するステップと、
   入力された映像信号と映像信号の奥行値を用いて前記入力された映像の視差画像を生成するステップと、
   生成されたＯＳＤ画像の視差画像と生成された映像の視差画像を表示するステップと
   を備えることを特徴とする立体映像表示方法。
6. 請求項５記載の立体映像表示方法であって、
   前記ＯＳＤ画像の奥行値を制御するステップは、入力された映像信号の奥行値を用いてＯＳＤ画像の奥行値を制御することを特徴とする請求項５記載の立体映像表示方法。
7. 映像信号が入力されるステップと、
   入力された映像信号から映像信号の奥行値を計算するステップと、
   ＯＳＤ画像の奥行値を制御するステップと、
   制御されたＯＳＤ画像の奥行値をもとにＯＳＤ画像の視差画像を生成するステップと、
   入力された映像信号と計算された映像信号の奥行値のうち、少なくとも映像信号を用いて入力された映像の視差画像を生成するステップと、
   生成されたＯＳＤ画像の視差画像と生成された映像の視差画像を表示するステップと
   を備えることを特徴とする立体映像表示方法。
8. 請求項７記載の立体映像表示方法であって、
   前記ＯＳＤ画像の奥行値を制御するステップは、計算された映像信号の奥行値を用いてＯＳＤ画像の奥行値を制御することを特徴とする請求項７記載の立体映像表示方法。