JP2011109549A

JP2011109549A - 映像表示システム

Info

Publication number: JP2011109549A
Application number: JP2009264461A
Authority: JP
Inventors: Yoshiaki Miyagawa; 嘉明宮川
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-11-20
Filing date: 2009-11-20
Publication date: 2011-06-02

Abstract

【課題】前方の２つの画像を見るとき、視線が向いていない側の画像を見やすくすることができる映像表示システムを提供する。
【解決手段】使用者の視線の方向を検出する視線検出センサ２１で検出された検出状況に応じてスクリーン１０に表示された画像又はＨＭＤ２０に表示された字幕に対して画像処理を実行する。
【選択図】図２

Description

この発明は映像表示システムに関する。

従来、例えば映画館において、観客がスクリーン上の画像を見ながら、その映画の鑑賞を補助する非公開の字幕等の画像を見ることができる頭部搭載型表示装置が知られている（下記特許公報参照）。

特開２００２−１５３６８４号公報

観客はスクリーン上の画像と頭部搭載型表示装置の表示部の画面上の画像とを見る場合、視線を動かす必要がある。

しかし、視線を動かすと、視線の向いていない側の画像が見づらくなるという問題がある。

この発明はこのような事情に鑑みてなされたもので、その課題は前方の２つの画像を見るとき、視線が向いていない側の画像を見やすくすることができる映像表示システムを提供することである。

上記課題を解決するため請求項１記載の発明は、画像を表示する第１の表示手段と、前記画像の補助情報を表示する第２の表示手段と、前記第２の表示手段の使用者の視線の方向を検出する視線検出手段と、前記視線検出手段で検出された検出状況に応じて前記画像又は前記補助情報に対して画像処理するとともに、前記第１、第２の表示手段の表示を制御する制御手段とを備えていることを特徴とする。

請求項２記載の発明は、請求項１記載の映像表示システムにおいて、前記第１の表示手段に前記使用者の視線が向けられていることが検出されたとき、前記制御手段は前記補助情報に対して画像処理を施すことを特徴とする。

請求項３記載の発明は、請求項１記載の映像表示システムにおいて、前記第２の表示手段に前記使用者の視線が向けられていることが検出されたとき、前記制御手段は前記画像に対して画像処理を施すことを特徴とする。

請求項４記載の発明は、請求項１記載の映像表示システムにおいて、前記制御手段は、前記第２の表示手段の数を検出し、複数の前記第２の表示手段が検出されたとき、前記補助情報だけに対して画像処理を施すことを特徴とする。

請求項５記載の発明は、請求項１、２、４のいずれか１項記載の映像表示システムにおいて、前記補助情報は字幕情報であり、前記制御手段は、前記第２の表示手段に前記字幕が表示されているか否かを検出し、前記字幕が表示されていないと検出されたとき、前記補助情報に対する画像処理を一旦停止することを特徴とする。

請求項６記載の発明は、請求項１記載の映像表示システムにおいて、前記視線検出手段で前記第１の表示手段及び前記第２の表示手段に視線が向いていることが検出されたとき、前記制御手段は、前記画像又は前記補助情報に対して画像処理を施さないことを特徴とする。

請求項７記載の発明は、請求項１〜６のいずれか１項記載の映像表示システムにおいて、前記視線検出手段は、前記使用者の視距離を検出する視距離検出手段を有し、前記制御手段は、前記視距離検出手段で検出された視距離に基づいて前記使用者の視線が向けられた方向を判断することを特徴とする。

以上に説明したようにこの発明によれば、前方の２つの画像を見るとき、視線が向いていない側の画像を見やすくすることができる。

図１はこの発明の一実施形態に係る映像表示システムの使用例を示す概念図である。図２はこの発明の一実施形態に係る映像表示システムの構成を示すブロック図である。図３は使用者Ｍの視線がディスプレイに向いている状態を示す概念図である。図４は使用者Ｍの視線がスクリーンに向いている状態を示す概念図である。

以下、この発明の実施の形態を図面に基づいて説明する。

図１はこの発明の一実施形態に係る映像表示システム１の使用例を示す概念図、図２はこの発明の一実施形態に係る映像表示システム１の構成を示すブロック図である。

映像表示システム１は、画像を表示するスクリーン１０と、スクリーン１０に表示された画像を見る使用者Ｍの頭部Ｈに装着されるヘッドマウントディスプレイ（第２の表示手段）２０と、ヘッドマウントディスプレイ（以下ＨＭＤという）２０に設けられ、使用者Ｍの視線が向けられた方向を検出する視線検出センサ（視線検出手段）２１と、図示しない投影装置による画像の再生を制御するとともに、ディスプレイ２２による画像の再生を制御する画像再生部（制御手段）３０とを備えている。この実施形態では、スクリーン１０と図示しない投影装置とで第１の表示手段が構成される。

ヘッドマウントディスプレイ２０には、使用者Ｍの眼Ｅの前方にスクリーン１０上の前記画像の補助情報（例えば字幕）を表示するディスプレイ２２が設けられている。

画像再生部３０は画像処理部３１とディスプレイ２２の数を検出するカウンタ（カウント手段）３２とを有する。

次に、画像再生部３０の動作を説明する。

なお、ＨＭＤ２０のディスプレイ２２に向けられた視線がスクリーン１０に向けられる視線より下側に位置し、ディスプレイ２２に向けられる視線とスクリーン１０に向けられた視線とが一致せず、２つの視線の向きが異なる場合を前提にして説明する。

１．画像再生部３０が、視線検出センサ２１の検出結果により使用者Ｍの視線がディスプレイ２２に向けられていると判断したとき（図３参照）。

図３は使用者Ｍの視線がディスプレイ２２に向いている状態を示す概念図である。

使用者Ｍの視線がディスプレイ２２に向けられていると判断したとき、視線が向けられていない側の画像が見やすくなるように所定の画像処理を行う。すなわち、スクリーン１０上の画像に対して、コントラストを上げる、エッジを強調する、会話中の人物を拡大する等の画像処理が画像処理部３１によって実行される。

２．画像再生部３０が、視線検出センサ２１の検出結果により使用者Ｍの視線がスクリーン１０に向けられていると判断したとき（図４参照）。

図４は使用者Ｍの視線がスクリーン１０に向いている状態を示す概念図である。

使用者Ｍの視線がスクリーン１０に向けられていると判断したとき、視線が向けられていない側の画像が見やすくなるように所定の画像処理を行う。すなわち、ディスプレイ２２の画面上の字幕に対して、文字サイズを大きくする、フォントを変更する（太いフォント、見易いフォントの変更する）、色を変更する、スクロールする（文字の拡大によって字幕が画面内に収まりきれなくなったとき）等の画像処理が画像処理部３１によって実行される。なお、スクリーン１０の明るさに応じて字幕の明るさを変えるようにしてもよい。

また、ＨＭＤ２０に字幕が表示されていないとき、ＨＭＤ２０側の画像処理がスクリーン１０の視認性に悪影響を与えることがあるため、画像処理部３１によるＨＭＤ２０側の画像処理が一旦停止され、字幕が表示されたとき、画像処理が再開される。

カウンタ３２によって複数の使用者ＭがＨＭＤ２０を使用していることが検出されたとき、ＨＭＤ２０側の画像処理だけを行う。

ＨＭＤ２０を使用している使用者Ｍの数は、電源（図示せず）が入っているＨＭＤの数、サーバ（図示せず）に接続されているＨＭＤの数、頭部Ｈに装着されているＨＭＤの数、眼Ｅを開けている人の数等によって検出される。

電源が入っているＨＭＤ２０の数は、例えばＨＭＤ２０に設けられた、電源スイッチ（図示せず）のオン・オフを検知するセンサ（図示せず）と画像再生部３０とを有線で接続しておき、センサからの信号によってオンした状態の電源スイッチの数を検知することによって検出される。

サーバに接続されているＨＭＤ２０の数は、例えばサーバとＨＭＤ２０とを無線で相互に接続し、使用者Ｍとサーバとの間の通信が確保された数を画像再生部３０で検知することによって検出される。

頭部Ｈに装着されているＨＭＤ２０の数は、例えばヘッドバンド２５に使用者ＭがＨＭＤ２０を装着するとオンとなるセンサを設け、センサからのオンの信号の数を画像再生部３０で検知することによって検出される。

眼Ｅを開けている人の数は、例えば視線検出センサ２１を用い、視線検出センサ２１からの検出信号の数を画像再生部３０で検知することによって検出される。視線検出センサ２１は、例えば赤外線を眼Ｅに向けて照射し、その反射率を測定することよって眼Ｅを開けている人の数を検出する。

これに対し、眼Ｅの前方にＨＭＤ２０のディスプレイ２２を配置し、スクリーン１０に向けられる視線とディスプレイ２２に向けられる視線の向きが一致した場合には、両者の画像が重畳される。スクリーン１０に向けられる視線上から所定の角度範囲内にディスプレイ２２があるときには両方の画像を同時に見ていると判断できる。このとき、例えば右眼でスクリーン１０を、左眼でディスプレイ２２をそれぞれ見ており、両方（スクリーン１０、ディスプレイ２２）がオーバラップして見えるため、画像処理部３１による画像処理を実行しない。この処置を実行するか否かは下記の基準に基づいて判断される。

ディスプレイ２２を支持するアームが所定範囲（図１のアーム角度α）内にあるか否かによって、スクリーン１０とディスプレイ２２とがオーバラップして見えるか否かを判断する。

視線検出連続時間（単位時間内での視線検出時間）が長ければ（字幕を見ている時間が長いとき）、スクリーン１０とＨＭＤ２０との両方を見ていると判断する。

ただし、ＨＭＤ２０の視度調整位置がスクリーン１０までの距離でない場合、両者の視距離は異なる。例えば、視距離が近いときはディスプレイ２２を注視し、視距離が遠いときスクリーン１０を注視していると判断する。

スクリーン１０とディスプレイ２２とのいずれかを注視するとき、眼は左右とも注視した側の視距離となることを利用し、例えばＨＭＤ２０に設けられたセンサ（図示せず）を用いて視距離を検出することによって使用者Ｍの視線が向けられた方向を判断し、スクリーン１０側の画像又はＨＭＤ２０側の画像に対して画像処理を実行する。

視度調整位置が予め定めたディスプレイ２２の視度位置と概ね一致するときには、ディスプレイ２２を注視していると判断してスクリーン１０側の画像に対して画像処理を実行する。

また、視度位置が予め定めたディスプレイ２２の視度調整位置と一致しない（視距離が遠い）ときには、スクリーン１０を注視していると判断してＨＭＤ２０側の画像に対して画像処理を実行する。

この実施形態によれば、視線が向いていない側の画像に対して輝度やコントラストを上げる等の画像処理が実行されるので、視線が向いていない側の画像を見やすくすることができる。

なお、上記実施形態では、スクリーン１０と図示しない投影装置とで第１の表示手段が構成したが、これに代えてテレビジョンで第１の表示手段を構成してもよい。

また、上記実施形態では、画像再生部３０に画像処理に関する全ての機能を持たせたが、例えば文字情報（文字の大きさ等）等の機能をＨＭＤ２０に持たせるようにしてもよい。

なお、上記実施形態では、カウンタ３２によりディスプレイの数を検出しているが、ＨＭＤ２０の使用者Ｍの数を操作部（不図示）を用いて手動で入力するようにしてもよい。この場合、使用者Ｍの数の入力は、例えば、映画を上映する主催者側のスタッフによって行われる。

１：映像表示システム、１０：スクリーン、２０：ヘッドマウントディスプレイ（第２の表示手段）、２１：視線検出センサ（視線検出手段）、３０：画像再生部（制御手段）、３２：カウンタ、Ｍ：使用者。

Claims

画像を表示する第１の表示手段と、
前記画像の補助情報を表示する第２の表示手段と、
前記第２の表示手段の使用者の視線の方向を検出する視線検出手段と、
前記視線検出手段で検出された検出状況に応じて前記画像又は前記補助情報に対して画像処理するとともに、前記第１、第２の表示手段の表示を制御する制御手段と
を備えていることを特徴とする映像表示システム。
前記第１の表示手段に前記使用者の視線が向けられていることが検出されたとき、前記制御手段は前記補助情報に対して画像処理を施すことを特徴とする請求項１記載の映像表示システム。
前記第２の表示手段に前記使用者の視線が向けられていることが検出されたとき、前記制御手段は前記画像に対して画像処理を施すことを特徴とする請求項１記載の映像表示システム。
前記制御手段は、前記第２の表示手段の数を検出し、複数の前記第２の表示手段が検出されたとき、前記補助情報だけに対して画像処理を施すことを特徴とする請求項１記載の映像表示システム。
前記補助情報は字幕であり、前記制御手段は、前記第２の表示手段に前記字幕が表示されているか否かを検出し、前記字幕が表示されていないと検出されたとき、前記補助情報に対する画像処理を一旦停止することを特徴とする請求項１、２、４のいずれか１項記載の映像表示システム。
前記視線検出手段で前記第１の表示手段及び前記第２の表示手段に視線が向いていることが検出されたとき、前記制御手段は、前記画像又は前記補助情報に対して画像処理を施さないことを特徴とする請求項１記載の映像表示システム。
前記視線検出手段は、前記使用者の視距離を検出する視距離検出手段を有し、前記制御手段は、前記視距離検出手段で検出された視距離に基づいて前記使用者の視線が向けられた方向を判断することを特徴とする請求項１〜６のいずれか１項記載の映像表示システム。