JP2012049897A

JP2012049897A - 映像表示装置

Info

Publication number: JP2012049897A
Application number: JP2010191128A
Authority: JP
Inventors: Hirotsuku Katou; 尋嗣加藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-08-27
Filing date: 2010-08-27
Publication date: 2012-03-08

Abstract

【課題】複数の視聴者が様々な場所から様々な基線角度で映像を見るような場合であっても、全ての視聴者に３次元として視認させる映像の品位を保つことが可能な映像表示装置を提供する。
【解決手段】実施形態の映像表示装置は、２次元の映像信号の奥行きを検出する奥行き検出部と、複数の視聴者の目の位置及び角度のうちの少なくとも一方を含む視聴者情報を取得する情報取得部と、視差を有する右目用映像及び左目用映像を複数の視聴者毎に個別に生成する視差映像生成部と、右目用映像及び左目用映像を画面単位で切り替えて表示させる表示制御部と、全ての視聴者に対応する右目用映像及び左目用映像を順次切り替えて表示させ、映像の切り替えに同期するタイミングにおいて、一の視聴者の片目毎に映像を入射または遮断させるとともに、他の視聴者の両目に入射される映像を遮断させる制御を行う同期制御部と、を有する。
【選択図】図２

Description

本発明の実施形態は、映像表示装置に関する。

近年、フレームシーケンシャル方式及び偏光方式等の３次元表示技術を用いた映像表示装置が商品化されている。

例えばフレームシーケンシャル方式においては、右目用映像を視聴者の右目に入射させる期間と、左目用映像を視聴者の左目に入射させる期間と、を液晶シャッター眼鏡等を用いて交互にかつ高速に切り替えることにより、３次元表示を可能にしている。

更に、２次元の原映像を３次元として視認させるために、２次元映像から奥行き情報を抽出して３次元映像を生成する２次元３次元変換（２Ｄ３Ｄ変換）機能を有する映像表示装置も開発されている。

しかし、３次元映像は、目の視差に応じて生成されており、十分な立体感での３次元映像の視認を可能にするためには、視聴者は、画面の水平方向と両目を結ぶ基線とが平行となるように見る必要がある。そのため、複数の視聴者が自由な位置及び基線角度で視聴した場合には、全ての視聴者に十分な立体感での視聴を可能にさせることができないという問題があった。

特開２００６−８４９６３号公報特開平１１−８４３１３号公報特開平７−２５４０７３号公報

本発明は、複数の視聴者が様々な場所から様々な基線角度で映像を見るような場合であっても、全ての視聴者に３次元として視認させる映像の品位を保つことが可能な映像表示装置を提供することを目的とする。

実施形態の映像表示装置は、２次元の原映像の映像信号の奥行きを検出する奥行き検出部と、表示部の表示面に対する複数の視聴者の目の位置及び角度のうちの少なくとも一方に関する情報を含む視聴者情報を取得する情報取得部と、前記２次元の原映像の映像信号と、前記奥行きの検出結果と、前記視聴者情報と、に基づき、視差を有する右目用映像及び左目用映像を前記複数の視聴者毎に個別に生成する視差映像生成部と、前記右目用映像及び前記左目用映像を画面単位で切り替えて前記表示部に表示させることが可能な表示制御部と、前記複数の視聴者のうちの全てに対応する前記右目用映像及び前記左目用映像を順次切り替えて前記表示部に表示させ、前記表示部に表示される映像の切り替えに同期するタイミングにおいて前記一の視聴者の片目毎に映像を入射または遮断させ、前記表示部に表示される映像の切り替えに同期するタイミングにおいて前記一の視聴者を除く他の視聴者の両目に入射される映像を遮断させるように制御を行う同期制御部と、を有する。

実施形態に係る映像表示装置を含む映像表示システムの要部を示す図。映像表示装置及び眼鏡の内部構成の一例を示す図。眼鏡の内部構成の第１の変形例を示す図。眼鏡の内部構成の第２の変形例を示す図。同期制御部による同期制御に基づいて行われる動作を説明するための図。

以下、図面を参照しつつ実施形態の説明を行う。

図１は、実施形態に係る映像表示装置を含む映像表示システムの要部を示す図である。

映像表示システム１は、図１に示すように、外部から入力される２次元の原映像の映像信号に基づいて３次元として視認させる映像を生成して表示する映像表示装置２と、映像表示装置２に表示される映像を見る複数の視聴者が各々装着する複数の眼鏡３と、を有して構成されている。

図２は、映像表示装置及び眼鏡の内部構成の一例を示す図である。なお、図２においては、簡単のため、複数の眼鏡３のうちの任意の１つを図示している。

映像表示装置２は、図２に示すように、奥行き情報検出部２１と、視差映像生成部２２と、倍速処理部２３と、通信部２４と、同期制御部２５と、表示制御部２６と、表示部２７と、を有して構成されている。

奥行き情報検出部２１は、外部から入力される２次元の原映像の映像信号に基づき、動き検出による奥行き、顔検出による人物の奥行き、及び、構図推定による奥行きをそれぞれ検出し、検出結果を奥行き情報として視差映像生成部２２へ出力する。

視差映像生成部２２は、奥行き情報検出部２１から出力される奥行き情報だけでなく、通信部２４から出力される視聴者情報に基づいて２Ｄ３Ｄ変換処理を行う。通信部２４からの視聴者情報としては、後述するように、視聴者の数及び表示部２７の表示面に対する視聴者の両目の位置及び角度の情報であり、例えば、表示部２７の表示面の水平方向に対する両目の基線角度（傾き角度）、表示部２７の表示面から目までの距離、表示部２７の表示面の法線に対する視聴者の目の水平及び垂直方向の角度等の情報がある。視差映像生成部２２は、２Ｄ３Ｄ変換処理によって２次元の原映像の奥行きを復元するとともに、奥行きの復元結果を用いた演算により得られた視差を有する映像としての右目用映像及び左目用映像を生成して倍速処理部２３へ出力する。なお、このような右目用映像及び左目用映像の生成に係る処理の詳細については、後程説明する。

倍速処理部２３は、視差映像生成部２２から出力される右目用映像及び左目用映像と、通信部２４から出力される視聴者情報と、に基づいてフレーム補間処理を行い、当該フレーム補間処理を施した右目用映像及び左目用映像を表示制御部２６へ出力する。なお、このようなフレーム補間処理の詳細については、後程説明する。

通信部２４は、複数の眼鏡３に対して個別にかつ双方向に情報のやり取りを行うことができるように、例えば、赤外線通信用の送受信回路を有して構成されている。そして、このような構成により、通信部２４は、複数の眼鏡３から個別に送信される視聴者情報を受信することができるとともに、同期制御部２５から出力される（後述の同期制御に係る）制御信号を複数の眼鏡３に対してそれぞれ送信することができる。

同期制御部２５は、通信部２４から出力される視聴者情報に基づき、任意の１つの眼鏡３に対応する映像を表示部２７に表示させるタイミングと、当該任意の１つの眼鏡３において映像を見せるタイミングと、を同期させるための同期制御を行う。そして、同期制御部２５は、前述の同期制御に係る制御信号を通信部２４及び表示制御部２６に対して出力する。なお、前述の同期制御の詳細については、後程説明する。

表示制御部２６は、例えばドライバ回路等を有して構成されており、同期制御部２５から出力される制御信号に基づき、眼鏡３に対応する右目用映像及び左目用映像を画面単位で切り替えて表示部２７に適宜表示させるように動作する。

表示部２７は、例えば液晶パネル等を有して構成されており、表示制御部２６の動作に応じた映像を画面上に表示する。

一方、眼鏡３は、表示部２７に表示される映像を見る視聴者の顔面に装着可能な寸法及び形状を有して形成されている。また、眼鏡３は、図２に示すように、通信部３１と、メモリ部３２と、傾き検出部３３と、映像入射部３４と、を有して構成されている。

通信部３１は、映像表示装置２に対して双方向に情報のやり取りを行うことができるように、例えば、赤外線通信用の送受信回路を有して構成されている。

メモリ部３２は、例えば不揮発性メモリ等により構成されており、眼鏡３毎に予め設定された固有のＩＤ情報を格納している。このＩＤ情報は、眼鏡３の電源が投入されている場合に、通信部３１へ出力される。

傾き検出部３３は、例えば傾きセンサ等を有して構成されており、表示部２７の水平方向と一致する方向に対する眼鏡３の傾き（表示部２７の水平方向と一致する方向に対して眼鏡３がどの程度傾いているか）を随時検出し、検出結果を傾き情報として通信部３１へ出力する。

すなわち、図２の眼鏡３の構成によれば、メモリ部３２に格納されたＩＤ情報と、傾き検出部３３により得られた傾き情報と、が通信部３１から映像表示装置２へ送信される。

映像入射部３４は、眼鏡３を装着した視聴者の両目の前方を略覆うことが可能な寸法及び形状を有して形成されている。また、映像入射部３４は、通信部３１から出力される制御信号に基づいて動作する右目用シャッタ３４Ｒ及び左目用シャッタ３４Ｌを有して構成されている。

右目用シャッタ３４Ｒは、例えば液晶シャッタ等を有して構成されており、眼鏡３を装着した視聴者の右目の前方を略覆うように配置される。また、右目用シャッタ３４Ｒは、通信部３１から出力される制御信号に基づいて決定されるタイミングにより、表示部２７に表示される映像を透過させるまたは遮断するように動作する。

左目用シャッタ３４Ｌは、例えば液晶シャッタ等を有して構成されており、眼鏡３を装着した視聴者の左目の前方を略覆うように配置される。また、左目用シャッタ３４Ｌは、通信部３１から出力される制御信号に基づいて決定されるタイミングにより、表示部２７に表示される映像を透過させるまたは遮断するように動作する。

図３は、眼鏡の内部構成の第１の変形例を示す図である。

なお、図２の眼鏡３における傾き検出部３３の代わりに距離検出部３５を設けた、図３の眼鏡３Ａを用いて映像表示システム１を構成するものであってもよい。

距離検出部３５は、例えば光学式の測距装置等を有して構成されており、眼鏡３Ａから映像表示装置２の表示部２７の画面までの距離（眼鏡３Ａが表示部２７の画面からどの程度離れた距離にあるか）を随時検出し、検出結果を距離情報として通信部３１へ出力する。

すなわち、図３の眼鏡３Ａの構成によれば、メモリ部３２に格納されたＩＤ情報と、距離検出部３５により得られた距離情報と、が通信部３１から映像表示装置２へ送信される。

図４は、眼鏡の内部構成の第２の変形例を示す図である。

また、前述の傾き検出部３３及び距離検出部３５を両方設けた、図４の眼鏡３Ｂを用いて映像表示システム１を構成するものであってもよい。

すなわち、図４の眼鏡３Ｂの構成によれば、メモリ部３２に格納されたＩＤ情報と、傾き検出部３３により得られた傾き情報と、距離検出部３５により得られた距離情報と、が通信部３１から映像表示装置２へ送信される。

なお、上記説明では、視聴者情報を眼鏡３によって検出して、通信部３１及び２４を介して映像表示装置２に送信する例を説明したが、映像表示装置２に眼鏡３までの距離や眼鏡３の傾き等を検出する検出部を設けることにより、映像表示装置２において直接視聴者情報を取得するようにしてもよい。また、映像表示装置２において視聴者の顔及び両目の例えば画像認識処理によって視聴者情報を直接取得するようにしてもよい。

続いて、本実施形態の作用について説明を行う。なお、以降においては、説明の簡単のため、表示部２７に表示される映像を見ている視聴者がＰ及びＱの２人であるとともに、当該２人の視聴者Ｐ及びＱがいずれも眼鏡３を装着している場合について主に述べる。

まず、映像表示システム１の各部の電源がそれぞれ投入されるに伴い、視聴者Ｐが装着している眼鏡３（以降、第１の眼鏡と略記する）のメモリ部３２に格納された第１のＩＤ情報と、視聴者Ｑが装着している眼鏡３（以降、第２の眼鏡と略記する）のメモリ部３２に格納された第２のＩＤ情報と、が通信部３１を介して映像表示装置２の通信部２４へ送信される。

また、映像表示システム１の各部の電源がそれぞれ投入されるに伴い、第１の眼鏡の傾きと、第２の眼鏡の傾きと、がそれぞれ随時検出され、検出結果に応じた傾き情報が通信部３１を介して映像表示装置２の通信部２４へ送信される。なお、以降においては、説明の簡単のため、第１の眼鏡の傾き検出部３３の検出結果として第１の傾き情報が得られ、第２の眼鏡の傾き検出部３３の検出結果として第２の傾き情報が得られた場合について述べる。

従って、映像表示システム１の各部の電源がそれぞれ投入されるに伴い、第１の眼鏡に対応する第１のＩＤ情報及び第１の傾き情報と、第２の眼鏡に対応する第２のＩＤ情報及び第２の傾き情報と、が通信部３１を介して映像表示装置２の通信部２４へ送信される。

一方、映像表示システム１の各部の電源がそれぞれ投入された後、映像表示装置２に対する２次元の原映像の映像信号の入力が開始されると、奥行き情報検出部２１は、当該入力された２次元の原映像の映像信号に基づいて前述の奥行き検出を行い、検出結果を奥行き情報として視差映像生成部２２へ出力する。

視差映像生成部２２は、通信部２４から出力される視聴者情報としての第１のＩＤ情報及び第２のＩＤ情報に基づき、現在使用中の眼鏡３が２つであることを検出する。

視差映像生成部２２は、通信部２４から出力される視聴者情報としての第１の傾き情報に基づき、第１の眼鏡が水平方向から第１の角度だけ傾いていることを検出する。そして、視差映像生成部２２は、２次元の原映像の映像信号と、奥行き情報検出部２１から出力される奥行き情報と、前記第１の角度と、に基づき、水平方向から前記第１の角度だけ傾けた視差を有する右目用映像及び左目用映像（以降、視聴者Ｐの右目用映像及び左目用映像と称する）を生成して倍速処理部２３へ出力する。

視差映像生成部２２は、通信部２４から出力される視聴者情報としての第２の傾き情報に基づき、第２の眼鏡が水平方向から第２の角度だけ傾いていることを検出する。そして、視差映像生成部２２は、２次元の原映像の映像信号と、奥行き情報検出部２１から出力される奥行き情報と、前記第２の角度と、に基づき、水平方向から前記第２の角度だけ傾けた視差を有する右目用映像及び左目用映像（以降、視聴者Ｑの右目用映像及び左目用映像と称する）を生成して倍速処理部２３へ出力する。

倍速処理部２３は、通信部２４から出力される視聴者情報としての第１のＩＤ情報及び第１の傾き情報に基づき、視差映像生成部２２から出力される各映像の中から、視聴者Ｐの右目用映像及び左目用映像を抽出する。そして、倍速処理部２３は、視聴者Ｐの右目用映像及び左目用映像が所定のフレームレート（例えば各々６０ｆｐｓ）により描画されるようにフレーム補間処理を行い、当該フレーム補間処理を施した視聴者Ｐの右目用映像及び左目用映像を表示制御部２６へ出力する。

倍速処理部２３は、通信部２４から出力される視聴者情報としての第２のＩＤ情報及び第２の傾き情報に基づき、視差映像生成部２２から出力される各映像の中から、視聴者Ｑの右目用映像及び左目用映像を抽出する。そして、倍速処理部２３は、視聴者Ｑの右目用映像及び左目用映像が所定のフレームレート（例えば各々６０ｆｐｓ）により描画されるようにフレーム補間処理を行い、当該フレーム補間処理を施した視聴者Ｑの右目用映像及び左目用映像を表示制御部２６へ出力する。

一方、同期制御部２５は、通信部２４から出力される視聴者情報としての、第１のＩＤ情報及び第１の傾き情報と、第２のＩＤ情報及び第２の傾き情報と、に基づき、表示制御部２６、第１の眼鏡の映像入射部３４、及び、第２の眼鏡の映像入射部３４の動作を同期させるための同期制御を行う。

図５は、同期制御部による同期制御に基づいて行われる動作を説明するための図である。

表示制御部２６は、同期制御部２５から出力される制御信号に基づき、時刻Ｔ１のタイミングにおいて、視聴者Ｐの左目用映像を表示部２７に表示するように動作する。また、第１の眼鏡の映像入射部３４は、同期制御部２５から出力される制御信号に基づき、時刻Ｔ１のタイミングにおいて、左目用シャッタ３４Ｌに入射される映像を透過させるとともに、右目用シャッタ３４Ｒに入射される映像を遮断するように動作する。さらに、第２の眼鏡の映像入射部３４は、同期制御部２５から出力される制御信号に基づき、時刻Ｔ１のタイミングにおいて、左目用シャッタ３４Ｌに入射される映像及び右目用シャッタ３４Ｒに入射される映像をいずれも遮断するように動作する。

表示制御部２６は、同期制御部２５から出力される制御信号に基づき、時刻Ｔ１の後の時刻Ｔ２のタイミングにおいて、視聴者Ｐの右目用映像を表示部２７に表示するように動作する。また、第１の眼鏡の映像入射部３４は、同期制御部２５から出力される制御信号に基づき、時刻Ｔ２のタイミングにおいて、左目用シャッタ３４Ｌに入射される映像を遮断するとともに、右目用シャッタ３４Ｒに入射される映像を透過させるように動作する。さらに、第２の眼鏡の映像入射部３４は、同期制御部２５から出力される制御信号に基づき、時刻Ｔ２のタイミングにおいて、左目用シャッタ３４Ｌに入射される映像及び右目用シャッタ３４Ｒに入射される映像をいずれも遮断するように動作する。

表示制御部２６は、同期制御部２５から出力される制御信号に基づき、時刻Ｔ２の後の時刻Ｔ３のタイミングにおいて、視聴者Ｑの左目用映像を表示部２７に表示するように動作する。また、第１の眼鏡の映像入射部３４は、同期制御部２５から出力される制御信号に基づき、時刻Ｔ３のタイミングにおいて、左目用シャッタ３４Ｌに入射される映像及び右目用シャッタ３４Ｒに入射される映像をいずれも遮断するように動作する。さらに、第２の眼鏡の映像入射部３４は、同期制御部２５から出力される制御信号に基づき、時刻Ｔ３のタイミングにおいて、左目用シャッタ３４Ｌに入射される映像を透過させるとともに、右目用シャッタ３４Ｒに入射される映像を遮断するように動作する。

表示制御部２６は、同期制御部２５から出力される制御信号に基づき、時刻Ｔ３の後の時刻Ｔ４のタイミングにおいて、視聴者Ｑの右目用映像を表示部２７に表示するように動作する。また、第１の眼鏡の映像入射部３４は、同期制御部２５から出力される制御信号に基づき、時刻Ｔ４のタイミングにおいて、左目用シャッタ３４Ｌに入射される映像及び右目用シャッタ３４Ｒに入射される映像をいずれも遮断するように動作する。さらに、第２の眼鏡の映像入射部３４は、同期制御部２５から出力される制御信号に基づき、時刻Ｔ４のタイミングにおいて、左目用シャッタ３４Ｌに入射される映像を遮断するとともに、右目用シャッタ３４Ｒに入射される映像を透過させるように動作する。

以上に述べたような、時刻Ｔ１〜Ｔ４のタイミングに応じた同期制御が繰り返し行われることにより、眼鏡３を装着した２人の視聴者がそれぞれ異なる姿勢をとって（それぞれ異なる両目の基線角度で）画面に表示される映像を見るような場合であっても、３次元として視認させる映像の品位（立体感）を視聴者毎に応じたものとして保つことができる。

一方、例えば、２人の視聴者Ｐ及びＱがいずれも眼鏡３Ａを装着している場合においては、視聴者Ｐが装着している眼鏡３Ａから第１の距離情報が出力されるとともに、視聴者Ｑが装着している眼鏡３Ａから第２の距離情報が出力される。

このような場合において、視差映像生成部２２は、通信部２４から出力される視聴者情報としての第１の距離情報に基づき、視聴者Ｐが装着している眼鏡３Ａが表示部２７の画面から第１の距離だけ離れていることを検出する。そして、視差映像生成部２２は、２次元の原映像の映像信号と、奥行き情報検出部２１から出力される奥行き情報と、前記第１の距離と、に基づき、当該２次元の原映像の奥行きの復元結果に基づいて算出された視差を前記第１の距離に応じて補正する演算を行うことにより補正後の視差を取得し、当該補正後の視差を有する右目用映像及び左目用映像を生成して倍速処理部２３へ出力する。

また、前述のような場合において、視差映像生成部２２は、通信部２４から出力される視聴者情報としての第２の距離情報に基づき、視聴者Ｑが装着している眼鏡３Ａが表示部２７の画面から第２の距離だけ離れていることを検出する。そして、視差映像生成部２２は、２次元の原映像の映像信号と、奥行き情報検出部２１から出力される奥行き情報と、前記第２の距離と、に基づき、当該２次元の原映像の奥行きの復元結果に基づいて算出された視差を前記第２の距離に応じて補正する演算を行うことにより補正後の視差を取得し、当該補正後の視差を有する右目用映像及び左目用映像を生成して倍速処理部２３へ出力する。

ここで、視差映像生成部２２は、通信部２４から出力される距離情報に基づいて検出される距離が所定値と等しい場合には、視差を補正しないものとする。また、視差映像生成部２２は、前記距離が前記所定値未満である場合には、前記所定値と前記距離との差分に応じた量だけ視差を減ずる補正を行うことにより、補正後の視差を取得するものとする。さらに、視差映像生成部２２は、前記距離が前記所定値を超えた場合には、前記距離と前記所定値との差分に応じた量だけ視差を加える補正を行うことにより、補正後の視差を取得するものとする。

その後、眼鏡３を装着した場合のものと同様のフレーム補間処理及び同期制御等が行われることにより、眼鏡３Ａを装着した２人の視聴者がそれぞれ異なる距離だけ画面から離れて映像を見るような場合であっても、３次元として視認させる映像の品位（立体感）を視聴者毎に応じたものとして保つことができる。

なお、視差映像生成部２２は、２人の視聴者Ｐ及びＱがいずれも眼鏡３Ｂを装着している場合において、前述の第１の角度及び第１の距離に応じた右目用映像及び左目用映像を生成し、さらに、前述の第２の角度及び第２の距離に応じた右目用映像及び左目用映像を生成するものであってもよい。

本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

１映像表示システム
２映像表示装置
３，３Ａ，３Ｂ眼鏡
２１奥行き情報検出部
２２視差映像生成部
２３倍速処理部
２４，３１通信部
２５同期制御部
２６表示制御部
２７表示部
３２メモリ部
３３傾き検出部
３４映像入射部
３４Ｌ左目用シャッタ
３４Ｒ右目用シャッタ
３５距離検出部

Claims

２次元の原映像の映像信号の奥行きを検出する奥行き検出部と、
表示部の表示面に対する複数の視聴者の目の位置及び角度のうちの少なくとも一方に関する情報を含む視聴者情報を取得する情報取得部と、
前記２次元の原映像の映像信号と、前記奥行きの検出結果と、前記視聴者情報と、に基づき、視差を有する右目用映像及び左目用映像を前記複数の視聴者毎に個別に生成する視差映像生成部と、
前記右目用映像及び前記左目用映像を画面単位で切り替えて前記表示部に表示させることが可能な表示制御部と、
前記複数の視聴者のうちの全てに対応する前記右目用映像及び前記左目用映像を順次切り替えて前記表示部に表示させ、前記表示部に表示される映像の切り替えに同期するタイミングにおいて前記一の視聴者の片目毎に映像を入射または遮断させ、前記表示部に表示される映像の切り替えに同期するタイミングにおいて前記一の視聴者を除く他の視聴者の両目に入射される映像を遮断させるように制御を行う同期制御部と、
を有することを特徴とする映像表示装置。
前記情報取得部は、前記表示部の表示面の水平方向に対する両目の基線角度の情報を前記複数の視聴者毎に個別に取得することを特徴とする請求項１に記載の映像表示装置。
前記情報取得部は、前記表示部の表示面から目までの距離の情報を前記複数の視聴者毎に個別に取得することを特徴とする請求項１または請求項２に記載の映像表示装置。