JP2016197816A - ヘッドマウントディスプレイ及び制御方法 - Google Patents

Abstract

【課題】外界の映像がユーザに提示される状態とユーザが眼前の外界を直接視覚できる状態とを切り替えることができるヘッドマウントディスプレイ及び制御方法を提供する。
【解決手段】撮影部３０は、外界を撮影する。表示部２８は、外界の映像を表示する。光学系３２は、表示部２８が表示する外界の映像をユーザに視覚させる第１の状態と、眼前の外界をユーザに直接視覚させる第２の状態と、を切替可能である。状態切替部３４は、光学系３２の状態を第１の状態又は第２の状態に切り替える。
【選択図】図１

Description

本発明は、ヘッドマウントディスプレイ及び制御方法に関する。

ユーザが頭部に装着して映像を観賞等するためのヘッドマウントディスプレイ（ＨＭＤ）が知られている。このようなＨＭＤのなかには、特許文献１、特許文献２、及び、特許文献３などに記載されているような、外界の様子をユーザが視覚できるものが存在する。

特開２００４−２０５７１１号公報 特開２０１２−２８８９号公報 特開２０１３−２１０５８８号公報

外界の様子をユーザが視覚できるＨＭＤには、外界の映像がユーザに提示されるようにしたものやユーザが眼前の外界を直接視覚できるようにしたものが存在する。しかし従来のＨＭＤでは、外界の映像をユーザに提示することで外界の様子をユーザに視覚させるかユーザが眼前の外界を直接視覚できるようにすることで外界の様子をユーザに視覚させるかを切り替えることはできなかった。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、外界の映像がユーザに提示される状態とユーザが眼前の外界を直接視覚できる状態とを切り替えることができるヘッドマウントディスプレイ及び制御方法を提供することにある。

上記課題を解決するために、本発明に係るヘッドマウントディスプレイは、外界を撮影する撮影部と、前記外界の映像を表示する表示部と、前記表示部が表示する前記外界の映像をユーザに視覚させる第１の状態と、眼前の外界を前記ユーザに直接視覚させる第２の状態と、を切替可能な光学系と、前記光学系の状態を前記第１の状態又は前記第２の状態に切り替える状態切替部と、を含む。

本発明の一態様では、前記光学系は、前記ユーザの眼前に配置されており、前記表示部が表示する前記外界の映像を前記ユーザに視覚させる、透過性を有する第１の反射板と、前記ユーザから見て前記第１の反射板の裏側に配置されているシャッター部と、を含み、前記状態切替部は、前記シャッター部による光の透過及び遮断を制御することで前記光学系の状態を前記第１の状態又は前記第２の状態に切り替える。

この態様では、前記光学系は、前記ユーザから見て前記シャッター部の裏側に配置されている、透過性を有する第２の反射板、をさらに含み、前記撮影部は、前記第２の反射板に映る前記外界を撮影してもよい。

また、前記シャッター部は、液晶層を含んでおり、前記状態切替部は、前記液晶層の透過率を制御することで前記光学系の状態を前記第１の状態又は前記第２の状態に切り替えてもよい。

また、本発明の一態様では、前記撮影部が撮影した、前記外界に配置されている物体の像と前記表示部に表示されている映像内の当該物体の像とが映る画像又は映像に基づいて、前記表示部内において前記外界の映像が表示される位置を制御する表示位置制御部、をさらに含む。

この態様では、前記ユーザの眼の位置を検出する検出部、をさらに含み、前記表示位置制御部は、前記撮影部が撮影した、前記外界に配置されている物体の像と前記表示部に表示されている映像内の当該物体の像とが映る画像又は映像と、検出される前記ユーザの眼の位置と、に基づいて、前記表示部内において前記外界の映像が表示される位置を制御してもよい。

また、本発明の一態様では、前記撮影部が撮影する映像を加工する加工部、をさらに含み、前記第１の状態である際には、前記表示部は、前記加工部が加工した映像を表示する。

また、本発明の一態様では、前記撮影部は、前記第１の状態である際に動作する第１のカメラと、前記第２の状態の際に動作する第２のカメラと、を含む。

この態様では、前記第１のカメラは暗視カメラであってもよい。

また、本発明に係る制御方法は、外界を撮影する撮影部と、前記外界の映像を表示する表示部と、前記表示部が表示する前記外界の映像をユーザに視覚させる第１の状態と、眼前の外界を前記ユーザに直接視覚させる第２の状態と、を切替可能な光学系と、を含むヘッドマウントディスプレイが、前記光学系の状態を前記第１の状態又は前記第２の状態に切り替えるステップ、を含む。

本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 図１に示すヘッドマウントディスプレイに含まれる光学系の構成の一例を示す図である。 光学系の状態がビデオシースルー状態である場合の一例を説明する説明図である。 光学系の状態が光学シースルー状態である場合の一例を説明する説明図である。 撮影部が撮影した画像の一例を示す図である。 検出部によってユーザの眼の位置が検出可能な場合の一例を説明する説明図である。 左目用の映像と右目用の映像が配置された表示部の一例を示す図である。 撮影部が第１のカメラと第２のカメラとを含む場合の一例を説明する説明図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１０の構成の一例を示す図である。図１に示すように、本実施形態に係るＨＭＤ１０には、例えば、制御部２０、記憶部２２、受信部２４、入出力部２６、表示部２８、撮影部３０、光学系３２、状態切替部３４、が含まれる。

制御部２０は、例えば記憶部２２に記憶されるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。

記憶部２２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部２２には、制御部２０によって実行されるプログラムなどが記憶される。

受信部２４は、例えばリモートコントローラなどのコントローラから送信される赤外線信号等の操作信号を受信する。

入出力部２６は、例えばＨＤＭＩ（登録商標）ポートやＵＳＢポートなどの入出力ポートである。

表示部２８は、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイである。本実施形態に係る表示部２８は、例えば、入出力部２６を介して接続される、ゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったエンタテインメント装置から受け付ける映像信号が表す映像などを表示させる。なお本実施形態に係る表示部２８は、３次元映像を表示可能であっても３次元映像を表示可能でなくても構わない。

撮影部３０は、例えば被写体を撮影した画像を生成するデジタルカメラ等のカメラである。本実施形態に係る撮影部３０は、外界を撮影する。また本実施形態に係る撮影部３０は、３次元映像を生成することができるものであっても３次元映像を生成することができないものであっても構わない。

光学系３２は、例えば表示部２８が表示する外界の映像をユーザに視覚させる第１の状態と、眼前の外界をユーザに直接視覚させる第２の状態と、を切替可能な光学系である。以下、表示部２８が表示する外界の映像をユーザに視覚させる第１の状態をビデオシースルー状態と呼び、眼前の外界をユーザに直接視覚させる第２の状態を光学シースルー状態と呼ぶこととする。

状態切替部３４は、例えば光学系３２の状態をビデオシースルー状態又は光学シースルー状態に切り替える。

図２は、本実施形態に係る光学系３２の構成の一例を示す図である。図２に示すように、本実施形態に係る光学系３２には、シャッター部４０、第１の反射板４２ａ、及び、第２の反射板４２ｂが含まれる。本実施形態に係るシャッター部４０は、第１の反射板４２ａと第２の反射板４２ｂとの間に挟まれている。

本実施形態に係るシャッター部４０は、液晶層４０ａ、基板４０ｂ、及び、基板４０ｃを含んでいる。本実施形態に係る液晶層４０ａは、基板４０ｂと基板４０ｃとの間に挟まれている。また、本実施形態に係る液晶層４０ａは、状態切替部３４によって透過率が制御される。また、本実施形態に係る基板４０ｂや基板４０ｃには、例えば透明電極や配向膜が含まれている。

本実施形態に係る第１の反射板４２ａ及び第２の反射板４２ｂは、例えばハーフミラー等の、透過性を有する反射板である。

本実施形態に係る状態切替部３４は、例えば、制御部２０から受け付ける制御信号に応じて、基板４０ｂと基板４０ｃとの間に電圧を印加して、液晶層４０ａの透過率を制御することで、シャッター部４０が光を透過するか遮断するかを制御する。本実施形態では、状態切替部３４によってシャッター部４０が光を遮断するよう制御されている状態がビデオシースルー状態であることとなる。一方、本実施形態では、状態切替部３４によってシャッター部４０が光を透過するよう制御されている状態が光学シースルー状態であることとなる。本実施形態では例えば、受信部２４が操作信号を受け付ける度に、状態切替部３４は、光学系３２の状態を、ビデオシースルー状態又は光学シースルー状態のうちの一方の状態から他方の状態に切り替える。このようにして本実施形態では、ユーザはコントローラ等を操作することで光学系３２の状態をビデオシースルー状態又は光学シースルー状態に切り替えることができる。

図３は、光学系３２の状態がビデオシースルー状態である場合の一例を説明する説明図である。図４は、光学系３２の状態が光学シースルー状態である場合の一例を説明する説明図である。

図３及び図４に示すように、本実施形態に係るＨＭＤ１０では、ユーザの眼前に第１の反射板４２ａが配置されている。またユーザから見て第１の反射板４２ａの裏側には、シャッター部４０が配置されている。またユーザから見てシャッター部４０の裏側には第２の反射板４２ｂが配置されている。

図３に示すように、光学系３２の状態がビデオシースルー状態である場合には、外界光が第２の反射板４２ｂで反射して撮影部３０に入射する。このようにして光学系３２の状態がビデオシースルー状態である場合には、撮影部３０は、第２の反射板４２ｂに映る外界を撮影する。

そして表示部２８が、外界の映像を表示する。本実施形態では例えば、表示部２８は、撮影部３０が撮影した外界の映像を表示する。ここで例えば制御部２０が、撮影部３０が撮影する映像を加工する加工部としての役割を担うようにしてもよい。例えば制御部２０が、撮影部３０が撮影した映像にキャラクタや仮想オブジェクト等の画像を配置するようにしてもよい。また例えば制御部２０が、撮影部３０が撮影した映像に対して、明るさ・コントラストの変換、フィルタリング、幾何学的変換、２値化などといった画像処理を行ってもよい。そして表示部２８は、制御部２０が加工した外界の映像を表示するようにしてもよい。

そして表示部２８から出力される映像光が第１の反射板４２ａで反射してユーザの眼５０に入射する。このようにして本実施形態では、光学系３２の状態がビデオシースルー状態である場合には、物体５２が配置されている外界の映像をユーザは視覚できることとなる。

一方、図４に示すように、本実施形態では、光学系３２の状態が光学シースルー状態である場合には、外界光の一部が第２の反射板４２ｂ、シャッター部４０、及び、第１の反射板４２ａを透過して、ユーザの眼５０に入射する。このようにして光学系３２の状態が光学シースルー状態である場合には、物体５２が配置されている外界をユーザは直接視覚できることとなる。

また図４に示すように、本実施形態では、光学系３２の状態が光学シースルー状態である場合には、表示部２８から出力される映像光の一部が第１の反射板４２ａで反射してユーザの眼５０に入射する。また、外界光の一部が第２の反射板４２ｂで反射して撮影部３０に入射する。ここで制御部２０が、撮影部３０が撮影した外界の映像に基づく情報処理を実行するようにしてもよい。例えば、制御部２０が、当該映像内における物体５２の位置を特定して、特定された位置に文字列やアイコンなどが配置された画像を表示部２８に表示させるようにしてもよい。

また例えば撮影部３０が、外界に配置された物体５２等までの距離分布を測定可能な測距機能を備えていてもよい。そしてこの場合に、制御部２０が、例えば物体５２までの距離を示す数値などといった、撮影部３０が測定する距離分布を表す情報を表示部２８に表示させるようにしてもよい。

また本実施形態では、撮影部３０が撮影した外界の映像を表示する表示部２８から出力される映像光の一部が、第１の反射板４２ａ、シャッター部４０、及び、第２の反射板４２ｂを透過して、撮影部３０に入射する。そして、撮影部３０が、例えば外界に配置されている物体５２と、表示部２８が表示する物体５２の映像と、が重畳した画像又は映像を生成する。図５に、第２の反射板４２ｂに映る物体５２と、表示部２８が表示する物体５２の映像と、が重畳した画像Ｉの一例を示す。画像Ｉには、表示部２８に表示されている映像内の物体５２の像Ｐ１と、外界に配置されている物体５２の像Ｐ２と、が映っている。像Ｐ１は、表示部２８から出力される映像光によるものであり、像Ｐ２は、第２の反射板４２ｂで反射される外界光によるものである。本実施形態では上述のように撮影部３０が撮影した外界が表示部２８で表示されるので、撮影部３０は、図５に示す画像Ｉのような、外界に配置されている物体５２と、表示部２８が表示する物体５２の映像と、が重畳した画像又は映像を生成できることとなる。

ここで制御部２０が、外界に配置されている物体５２の像と表示部２８に表示されている映像内の物体５２の像とが映る画像又は映像に基づいて、表示部２８内において外界の映像が表示される位置を制御する表示位置制御部としての役割を担うようにしてもよい。以下、当該制御を第１キャリブレーションと呼ぶこととする。ここでは具体的には、制御部２０は、像Ｐ１が像Ｐ２の位置となるよう表示部２８に表示される映像を右に少しずらすこととなる。このようにすることで、ビデオシースルー状態においても光学シースルー状態においても物体５２は同じ位置に見えることとなる。

なお、ユーザの眼５０と光学系３２の間にシャッターが配置されており、第１キャリブレーションの実行中は当該シャッターが光を遮断するよう制御部２０が制御してもよい。こうすれば第１キャリブレーションの実行中は、図５に例示するような、互いにずれて配置されている像Ｐ１及び像Ｐ２はユーザに視覚されないこととなる。

また、第１キャリブレーションの実行中は、ユーザがＨＭＤ１０を装着しなくても構わない。この場合も、第１キャリブレーションの実行中は、互いにずれて配置されている像Ｐ１及び像Ｐ２はユーザに視覚されないこととなる。

また、光学系３２の状態が光学シースルー状態である際に、第１キャリブレーションが実行されて、その後、状態切替部３４が光学系３２の状態を光学シースルー状態からビデオシースルー状態に切り替えても構わない。こうすれば光学系３２の状態が光学シースルー状態である場合に見える位置と同様の位置に、ビデオシースルー状態においてもユーザは物体５２を視覚できることとなる。

また、図６に示すように、ＨＭＤ１０が、表示部２８の位置に配置された、ユーザの眼５０の位置を検出する検出部５４をさらに含んでいてもよい。そして検出部５４が、ユーザの眼５０の位置を検出してもよい。図６に示すように、本実施形態に係る検出部５４は、例えば、第１の反射板４２ａに映るユーザの眼５０を撮影した映像に基づいて、ユーザの眼５０の位置を特定する。そして制御部２０が、図７に示すように、検出された眼５０の位置に基づいて決定される表示部２８内の位置に、外界の映像が表示されるよう、表示部２８内において外界の映像が表示される位置を制御するようにしてもよい。以下、当該制御を第２キャリブレーションと呼ぶこととする。図７には、本実施形態に係る表示部２８が３次元映像を表示する場合の一例が示されており、第２キャリブレーションに基づいて決定される表示部２８内の位置に、左目用の映像Ｖ１及び右目用の映像Ｖ２が配置されている。なお表示部２８が２次元映像を表示する場合には、例えば図７における映像Ｖ１の中心と映像Ｖ２の中心とを結ぶ線分の中点に中心が配置された２次元画像が表示されることとなる。

なお、第１キャリブレーションと第２キャリブレーションとが並行して実行されても構わない。また、第１キャリブレーションの実行が終了した後に第２キャリブレーションが実行されても構わない。また、第２キャリブレーション実行が終了した後に第１キャリブレーションが実行されても構わない。第１キャリブレーション及び第２キャリブレーションの両方が行われる場合は、表示部２８内において外界の映像が表示される位置は、例えば図５に示す画像Ｉなどといった画像又は映像と検出されるユーザの眼５０の位置とに基づいて、制御されることとなる。

また本実施形態では、図３及び図４に示すように、ユーザの眼５０から第１の反射板４２ａの反射面までの長さＬ１と、撮影部３０から第２の反射板４２ｂの反射面までの長さＬ２と、は等しい。そのため本実施形態によれば、光学系３２の状態がビデオシースルー状態又は光学シースルー状態のうちの一方の状態から他方の状態に切り替わった際のユーザの違和感が抑制される。

また図８に示すように、撮影部３０が、光学系３２の状態がビデオシースルー状態である際に動作する第１のカメラＣ１と、光学系３２の状態が光学シースルー状態である際に動作する第２のカメラＣ２と、を含んでいてもよい。この場合に、第２の反射板４２ｂでユーザの眼５０に入射する透過光と分離される反射光の光路上に第１のカメラＣ１のレンズが配置されるようにしてもよい。こうすれば、光学系３２の状態がビデオシースルー状態又は光学シースルー状態のうちの一方の状態から他方の状態に切り替わった際のユーザの違和感が抑制されることとなる。

ここで例えば第１のカメラＣ１が暗視カメラであっても構わない。この場合は、外界が暗くて光学シースルー状態ではユーザが外界を視覚しにくい状況でも、ユーザが光学系３２の状態をビデオシースルー状態に切り替えることでユーザは外界を視覚しやすくなる。また第２のカメラＣ２が上述の測距機能を備えていてもよい。こうすれば光学系３２の状態が光学シースルー状態である際に、撮影部３０が測定する距離分布を示す情報の取得が可能となる。

本実施形態に係るＨＭＤ１０は、例えば、サバイバルゲームにおいて用いることが想定される。例えば、通常時は光学系３２の状態が光学シースルー状態となっており、ユーザは外界を直接視覚できるようにしつつ、現状のステータスやレーダー等が表示部２８に表示されるようにしてもよい。そして光学系３２の状態がビデオシースルー状態に切り替わった際に、限定的にフィールドが透過されたような映像を表示して敵をサーチできるようにしたり、暗視スコープの状況が表示されるようにしたりしてもよい。

また本実施形態に係るＨＭＤ１０は、例えばアドベンチャーゲームにおいて用いることが想定される。例えば、光学系３２の状態がビデオシースルー状態となっている際には、仮想世界でしか発生しないイベントが発生するようにしてもよい。また光学系３２の状態が光学シースルー状態となっており、現実世界でイベントを達成するためのヒントをユーザが取得した際に、当該ヒントの取得状況が仮想世界に影響を与えるようにしてもよい。また例えば、仮想空間で達成したイベントが現実世界で再現されるようにしてもよい。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、光学系３２の状態が光学シースルー状態である場合に、表示部２８から出力される映像光の全部が第１の反射板４２ａで反射してユーザの眼５０に入射するようにしてもよい。また例えば、光学系３２の状態が光学シースルー状態である場合に、表示部２８から出力される映像光の全部が光学系３２を透過して撮影部３０に入射するようにしてもよい。また例えば、光学系３２の状態が光学シースルー状態である場合に、外界光の全部が光学系３２を透過してユーザの眼５０に入射するようにしてもよい。

また例えば、本実施形態に係るＨＭＤ１０において光学系３２の状態がビデオシースルー状態である場合に、表示部２８が外界以外の映像、例えば仮想空間の映像を表示してもよい。この場合は、本実施形態に係るＨＭＤ１０は、いわゆる没入型のＨＭＤ１０であることになる。

また例えば、ＨＭＤ１０がスイッチを備えており、ユーザが当該スイッチを操作することで光学系３２の状態をビデオシースルー状態又は光学シースルー状態に切り替えることができるようにしてもよい。

また例えば、ＨＭＤ１０が外界の明るさや音声等の外界の環境を検出するセンサを備えていてもよい。そして外界の明るさや音声の大きさの変化などといった外界の環境の変化に応じて、状態切替部３４が光学系３２の状態を切り替えるようにしてもよい。

１０ ヘッドマウントディスプレイ（ＨＭＤ）、 ２０ 制御部、２２ 記憶部、２４ 受信部、２６ 入出力部、２８ 表示部、３０ 撮影部、３２ 光学系、３４ 状態切替部、４０ シャッター部、４０ａ 液晶層、４０ｂ，４０ｃ 基板、４２ａ，４２ｂ 反射板、５０ 眼、５２ 物体、５４ 検出部。

Claims (10)

1. 外界を撮影する撮影部と、
   前記外界の映像を表示する表示部と、
   前記表示部が表示する前記外界の映像をユーザに視覚させる第１の状態と、眼前の外界を前記ユーザに直接視覚させる第２の状態と、を切替可能な光学系と、
   前記光学系の状態を前記第１の状態又は前記第２の状態に切り替える状態切替部と、
   を含むことを特徴とするヘッドマウントディスプレイ。
2. 前記光学系は、前記ユーザの眼前に配置されており、前記表示部が表示する前記外界の映像を前記ユーザに視覚させる、透過性を有する第１の反射板と、前記ユーザから見て前記第１の反射板の裏側に配置されているシャッター部と、を含み、
   前記状態切替部は、前記シャッター部による光の透過及び遮断を制御することで前記光学系の状態を前記第１の状態又は前記第２の状態に切り替える、
   ことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記光学系は、前記ユーザから見て前記シャッター部の裏側に配置されている、透過性を有する第２の反射板、をさらに含み、
   前記撮影部は、前記第２の反射板に映る前記外界を撮影する、
   ことを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記シャッター部は、液晶層を含んでおり、
   前記状態切替部は、前記液晶層の透過率を制御することで前記光学系の状態を前記第１の状態又は前記第２の状態に切り替える、
   ことを特徴とする請求項２又は３に記載のヘッドマウントディスプレイ。
5. 前記撮影部が撮影した、前記外界に配置されている物体の像と前記表示部に表示されている映像内の当該物体の像とが映る画像又は映像に基づいて、前記表示部内において前記外界の映像が表示される位置を制御する表示位置制御部、をさらに含む、
   ことを特徴とする請求項１から４のいずれか一項に記載のヘッドマウントディスプレイ。
6. 前記ユーザの眼の位置を検出する検出部、をさらに含み、
   前記表示位置制御部は、前記撮影部が撮影した、前記外界に配置されている物体の像と前記表示部に表示されている映像内の当該物体の像とが映る画像又は映像と、検出される前記ユーザの眼の位置と、に基づいて、前記表示部内において前記外界の映像が表示される位置を制御する、
   ことを特徴とする請求項５に記載のヘッドマウントディスプレイ。
7. 前記撮影部が撮影する映像を加工する加工部、をさらに含み、
   前記第１の状態である際には、前記表示部は、前記加工部が加工した映像を表示する、
   ことを特徴とする請求項１から６のいずれか一項に記載のヘッドマウントディスプレイ。
8. 前記撮影部は、前記第１の状態である際に動作する第１のカメラと、前記第２の状態の際に動作する第２のカメラと、を含む、
   ことを特徴とする請求項１から７のいずれか一項に記載のヘッドマウントディスプレイ。
9. 前記第１のカメラは暗視カメラである、
   ことを特徴とする請求項８に記載のヘッドマウントディスプレイ。
10. 外界を撮影する撮影部と、前記外界の映像を表示する表示部と、前記表示部が表示する前記外界の映像をユーザに視覚させる第１の状態と、眼前の外界を前記ユーザに直接視覚させる第２の状態と、を切替可能な光学系と、を含むヘッドマウントディスプレイが、前記光学系の状態を前記第１の状態又は前記第２の状態に切り替えるステップ、
    を含むことを特徴とする制御方法。

Images