JP2016090773A - ヘッドマウントディスプレイおよび輝度調整方法 - Google Patents

Abstract

【課題】遮蔽型のヘッドマウントディスプレイがユーザに提示する映像を切り換える際に、ユーザに与える違和感を軽減する技術を提供する。
【解決手段】ユーザに装着されたときにユーザの視野から外界を遮蔽して映像を提示するヘッドマウントディスプレイ１００において、情報提示部１３０は、音声および動画を含む情報をユーザの視野に提示する。映像再生部１９０は、コンテンツの映像を再生する。カメラ１４０は、外界の映像を撮影する。切替部１１５は、コンテンツの映像と外界の映像とを選択的に切り替えて、情報提示部１３０に提示させる。ゲイン調整部１０５は、コンテンツの映像と外界の映像との少なくともいずれか一方の映像の輝度を調整する。
【選択図】図２

Description

本発明は、ヘッドマウントディスプレイおよびヘッドマウントディスプレイが実行する輝度調整方法に関する。

近年、立体映像を提示するための技術開発が進み、奥行きを持った立体映像を提示することが可能なヘッドマウントディスプレイ（Head Mounted Display）が普及してきている。ヘッドマウントディスプレイは、ユーザに対して奥行き感を持たせた映像を提示することが可能であり、例えば３Ｄ映画や３Ｄゲーム等の３Ｄコンテンツの提示デバイスとして用いられてきている。

ヘッドマウントディスプレイは観察者であるユーザの両眼球を覆うようにして装着される。ヘッドマウントディスプレイの中には、ユーザが装着したときにユーザの視野から外界を遮蔽して映像を提示する遮蔽型のヘッドマウントディスプレイが存在する。このような遮蔽型のヘッドマウントディスプレイを装着した状態では、ユーザは外界の実映像を見ることが難しいことが多い。このため、遮蔽型のヘッドマウントディスプレイの中には、外界を撮像するカメラを備えるものも存在する。

遮蔽型のヘッドマウントディスプレイが提示する映像の輝度と、外界を撮像するカメラによる外界の映像の輝度との差が大きい場合、ユーザに提示する映像を一方の映像から他方の映像に切り換えると、ユーザに違和感を与える場合がある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、遮蔽型のヘッドマウントディスプレイがユーザに提示する映像を切り換える際に、ユーザに与える違和感を軽減する技術を提供することにある。

上記課題を解決するために、本発明のある態様のヘッドマウントディスプレイは、ユーザに装着されたときにユーザの視野から外界を遮蔽して映像を提示するヘッドマウントディスプレイである。このヘッドマウントディスプレイは、音声および動画を含む情報をユーザの視野に提示する情報提示部と、コンテンツの映像を再生する映像再生部と、外界の映像を撮影するカメラと、コンテンツの映像と外界の映像とを選択的に切り替えて、情報提示部に提示させる切替部と、コンテンツの映像と外界の映像との少なくともいずれか一方の映像のゲインを調整するゲイン調整部とを備える。

本発明の別の態様は、ユーザに装着されたときにユーザの視野から外界を遮蔽して映像を提示するヘッドマウントディスプレイが備えるプロセッサが実行する輝度調整方法である。この方法は、コンテンツの映像を再生するステップと、外界の映像を撮影するステップと、ユーザの指示をもとにコンテンツの映像と外界の映像とを選択的に切り替えてユーザに提示するステップとを含む。提示するステップは、コンテンツの映像と外界の映像とのいずれか一方の映像を他方の映像に切り替える場合、他方の映像の輝度を徐々に増加させるステップを含む。

本発明のさらに別の態様は、上記の方法の各ステップをコンピュータに実現させるプログラムである。

このプログラムは、ビデオやオーディオ、ゲーム機器、ヘッドマウントディスプレイ等のハードウェア資源の基本的な制御を行なうために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、たとえば、機器内のＲＯＭ（Read Only Memory）やフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、遮蔽型のヘッドマウントディスプレイがユーザに提示する映像を切り換える際に、ユーザに与える違和感を軽減する技術を提供することができる。

実施の形態に係るヘッドマウントディスプレイの外観構成の概観を模式的に示す図である。 実施の形態に係るヘッドマウントディスプレイの機能構成を模式的に示す図である。 図３（ａ）−（ｂ）は、実施の形態に係るゲイン調整部が実行する輝度調整処理の一例を説明する図である。 図４（ａ）−（ｂ）は、実施の形態に係るゲイン調整部が実行する輝度調整処理の別の例を説明する図である。 図５（ａ）−（ｂ）は、実施の形態に係るゲイン調整部が実行する輝度調整処理のさらに別の例を説明する図である。 実施の形態に係るヘッドマウントディスプレイが実行する輝度調整処理の流れを説明するフローチャートである。

図１は、実施の形態に係るヘッドマウントディスプレイ１００の外観構成の概観を模式的に示す図であり、ユーザ１がヘッドマウントディスプレイ１００を装着している様子を示す図である。実施の形態に係るヘッドマウントディスプレイ１００は、遮蔽型のヘッドマウントディスプレイを前提としている。このため図１に示すように、ユーザ１がヘッドマウントディスプレイ１００を装着すると、ヘッドマウントディスプレイ１００はユーザ１の視野から外界を遮蔽する。このため、ユーザ１はヘッドマウントディスプレイ１００が提示するコンテンツの映像に集中することができ、いわゆる「没入感」を高めることができる。

ヘッドマウントディスプレイ１００は、筐体１１０と装着具１２０とを備える。装着具１２０はユーザ１の頭部に筐体１１０を固定するための部材であり、例えば締め付けまたは伸縮自在なベルト等で実現できる。筐体１１０は、図示しないＣＰＵ（Central Processing Unit）や、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）等の動画提示部１３０ａ、スピーカやイヤホン等の音声提示部１３０ｂを内部に収容する。なお、本明細書において、「映像」は、時間的に連続する画像である「動画」と、その動画と同期して、または独立して再生される「音声」とを含む。ヘッドマウントディスプレイ１００はさらに、筐体１１０の外界の情報を計測するカメラ１４０も備える。

図２は、実施の形態に係るヘッドマウントディスプレイ１００の機能構成を模式的に示す図である。ヘッドマウントディスプレイ１００は、ゲイン調整部１０５、切替部１１５、および映像再生部１９０を備える。

図２は、実施の形態に係るヘッドマウントディスプレイ１００が映像の輝度調整処理を実現するための機能構成を示しており、その他の構成は省略している。図２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができる。またソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

映像再生部１９０は、ユーザ１に提示するコンテンツの映像を再生する。映像再生部１９０は、図示しないメモリカードスロットやＵＳＢ（Universal Serial Bus）を介して、またはWi-Fi（登録商標）等の無線を介して取得したコンテンツを再生する。情報提示部１３０は、上述した動画提示部１３０ａと音声提示部１３０ｂとを含み、音声および動画を含む情報をユーザ１の視野に提示する。例えば、情報提示部１３０は、映像再生部１９０が再生した映像をユーザ１に提示する。情報提示部１３０は、動画や静止画等の情報を動画提示部１３０ａに提示させ、音声情報を音声提示部１３０ｂに提示させる。情報提示部１３０は、ヘッドマウントディスプレイ１００が生成する情報をユーザ１に提示するユーザインタフェースとして機能する。

カメラ１４０は、筐体１１０の外界の映像を撮影する。カメラ１４０は、ヘッドマウントディスプレイ１００の筐体１１０の外側であって、動画提示部１３０ａが収容されている位置と対応する位置に備えられている。このため、ユーザ１がヘッドマウントディスプレイ１００を装着したとき、カメラ１４０は、ユーザ１の視線方向を外界の映像を撮影することができる。

カメラ１４０は、例えば可視光を計測するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を用いて実現できる。なお、カメラ１４０は、少なくとも２台のカメラを備えるステレオカメラであってもよい。これにより、ヘッドマウントディスプレイ１００のＣＰＵを用いてカメラ１４０が計測する情報を解析することで、被写体の奥行き情報を取得することができる。

切替部１１５は、映像再生部１９０が再生するコンテンツの映像と、カメラ１４０が撮影する外界の映像とを選択的に切り替える。切替部１１５は情報提示部１３０と接続しており、情報提示部１３０は、切替部１１５が切り替えた映像をユーザ１に提示する。

図示はしないが、ヘッドマウントディスプレイ１００の筐体１１０には、切替部１１５の選択を指示する操作部が設けられている。操作部は、ユーザ１がヘッドマウントディスプレイ１００を装着した状態であっても容易に操作できるように、例えば押しボタン（不図示）ひとつで構成されてもよい。この場合、ユーザ１が押しボタンを押し下げすると、切替部１１５は、現在選択中の映像を他方の映像に切り替える。

一般に、映像再生部１９０が再生するコンテンツの映像と、カメラ１４０が撮影する外界の映像とでは、輝度値に差があると考えられる。実施の形態に係るヘッドマウントディスプレイ１００は遮蔽型のヘッドマウントディスプレイであり、また情報提示部１３０がユーザ１の目に近い場所に配置されている。このため、ヘッドマウントディスプレイ１００の通常の使用状態において、映像再生部１９０が再生するコンテンツの映像を情報提示部１３０が表示する場合には、屋内の照明等の輝度と比較して、低輝度の映像で足りる場合が多い。

情報提示部１３０がコンテンツの映像を再生中に、ユーザ１が外界の映像を提示するように切り替えると、情報提示部１３０が提示する映像は、低輝度の映像から高輝度の映像に切り替わることになる。ユーザ１の目が低輝度なコンテンツの映像に慣れていると、映像が切り替わった直後には、外界の映像を見るのが難しいということも起こりうる。

そこでゲイン調整部１０５は、切替部１１５がコンテンツの映像を外界の映像に切り替える場合、外界の映像の輝度を徐々に増加させる。このためゲイン調整部１０５は、カメラ１４０と切替部１１５との間に接続されている。

図３（ａ）−（ｂ）は、実施の形態に係るゲイン調整部１０５が実行する輝度調整処理の一例を説明する図である。図３（ａ）は、切替部１１５による映像切替のタイミングを示す図である。図３（ａ）に示すグラフにおいて、横軸は時間の経過を示す時間軸である。

時刻０から時刻Ｔ０に至るまで、切替部１１５はコンテンツの映像を選択している。時刻Ｔ０において、切替部１１５は、コンテンツの映像からカメラ１４０の映像に切り替える旨の指示を取得する。このため、時刻Ｔ０において切替部１１５はカメラ１４０の映像を選択する。時刻Ｔ０以降は、切替部１１５はカメラ１４０の映像の選択を継続する。

図３（ｂ）は、ゲイン調整部１０５によるカメラ１４０の映像の輝度調整を示す図である。図３（ｂ）に示すグラフの横軸は時間の経過を示す時間軸であり、図３（ａ）に示すグラフの横軸と一致している。また図３（ｂ）に示すグラフの縦軸は、カメラ１４０の映像の調整率を示す軸である。図３（ｂ）に示すグラフにおいて、カメラ１４０の映像の調整率は百分率で表されている。１００％は、ゲイン調整部１０５がカメラ１４０の映像の輝度を調整することなく出力することを意味し、０％はカメラ１４０の映像の輝度を０％にすること、すなわち輝度のない映像を出力することを示している。したがって、映像の調整率が増加すると、その映像の輝度値も増加する。

図３（ｂ）に示すように、切替部１１５がコンテンツの映像を選択しているとき、切替部１１５は、カメラ１４０の映像の調整率を０％に設定している。このため図３（ｂ）において、時刻０から時刻Ｔ０に至るまでの間、カメラ１４０の映像の調整率を０％に設定されている。

時刻Ｔ０において、コンテンツの映像からカメラ１４０の映像に切り替える旨の指示を取得すると、切替部１１５はその情報をゲイン調整部１０５に出力する。ゲイン調整部１０５は、切替部１１５から切替の指示を取得すると、カメラ１４０の映像の輝度調整を開始する。より具体的には、ゲイン調整部１０５は、時刻Ｔ０において輝度調整を開始してから所定の時間が経過した後に調整率が１００％となるように、一定の増加率で調整率を増加させる。

ここで「所定の時間」とは、ゲイン調整部１０５がカメラ１４０の映像の輝度調整を完了させる際に参照する「輝度調整基準時間」である。輝度調整基準時間は、人の瞳孔の対光反射の性質や、ヘッドマウントディスプレイ１００が再生することが想定されるコンテンツの種類、カメラ１４０の映像に切り替えることの必要性等を考慮して実験により定めればよい。限定しない例として、輝度調整基準時間は１０秒である。図３（ｂ）に示す例では時刻Ｔ０から時刻Ｔ１に至るまでの時間が輝度調整基準時間である。この意味で、時刻Ｔ０から時刻Ｔ１に至るまでの期間は、「輝度調整期間」ともいえる。

図３（ｂ）に示す例では、時刻Ｔ０から輝度調整基準時間が経過した時刻Ｔ１において、カメラ１４０の映像の調整率は１００％となる。このように、ゲイン調整部１０５がカメラ１４０の映像の輝度値を連続的に徐々に増加させることにより、ユーザ１はカメラ１４０の映像の明るさに順応する時間を得ることができる。結果として、コンテンツの映像からカメラ１４０の映像に切り替える際にユーザ１が感じる違和感（例えば、眩しさ等）を低減することができる。

図４（ａ）−（ｂ）は、実施の形態に係るゲイン調整部１０５が実行する輝度調整処理の別の例を説明する図である。図４（ａ）に示すグラフは、図３（ａ）に示すグラフと同一である。また図４（ｂ）に示すグラフの縦軸および横軸は、それぞれ図３（ｂ）に示すグラフの縦軸および横軸と同一である。

図４（ｂ）に示す例でも、図３（ｂ）に示す例と同様に、ゲイン調整部１０５は、切替部１１５から切替の指示を取得するとカメラ１４０の映像の輝度調整を開始する。図４（ｂ）に示す例でも、ゲイン調整部１０５は、時刻Ｔ０において輝度調整を開始してから輝度調整基準時間が経過した後に調整率が１００％となるように、調整率を増加させる。

しかしながら、図４（ｂ）に示す例では、図３（ｂ）に示す例とは異なり、ゲイン調整部１０５は一定の増加率で調整率を増加することはしない。その代わり、ゲイン調整部１０５は、切替部１１５が映像を切り替えた後、時間の経過とともに調整率の増加率を変更する。結果として、カメラ１４０映像の輝度の増加率も、時間の経過とともに変更する。

より具体的には、ゲイン調整部１０５は、時間の経過とともに調整率の増加率が大きくなるように、調整率を変更する。このため、図４（ｂ）に示すように、カメラ１４０の映像の調整率は、時刻Ｔ０から時刻Ｔ１に至るまでの輝度調整期間において、指数関数的に増加する。結果として、カメラ１４０の映像は、輝度の増加率が時間の経過とともに大きくなりながら、輝度が増加する。

図４（ｂ）に示す例は、図３（ｂ）に示す例と比較すると、輝度調整期間の前半の調整率の傾きが小さく、後半は大きくなる。これにより、切替直後においてはカメラ１４０の映像はゆっくりと明るくなるが、ユーザ１の目が光の明るさに慣れるにしたがって、明るさの増加のスピードを上げることができる。

図５（ａ）−（ｂ）は、実施の形態に係るゲイン調整部１０５が実行する輝度調整処理のさらに別の例を説明する図である。図５（ａ）に示すグラフは、図３（ａ）に示すグラフと同一である。また図５（ｂ）に示すグラフの縦軸および横軸は、それぞれ図３（ｂ）に示すグラフの縦軸および横軸と同一である。

図５（ｂ）に示す例でも、図３（ｂ）に示す例と同様に、ゲイン調整部１０５は、切替部１１５から切替の指示を取得するとカメラ１４０の映像の輝度調整を開始する。図５（ｂ）に示す例でもゲイン調整部１０５は、時刻Ｔ０において輝度調整を開始してから輝度調整基準時間が経過した後に調整率が１００％となるように、調整率を増加させる。

しかしながら、図５（ｂ）に示す例では、図３（ｂ）に示す例とは異なり、ゲイン調整部１０５は一定の増加率で調整率を増加することはしない。その代わり、ゲイン調整部１０５は、切替部１１５が映像を切り替えた後、段階的に調整率を増加させる。結果として、カメラ１４０映像の輝度は、時間の経過とともに段階的に増加する。このため、図５（ｂ）に示す例では、図３（ｂ）または図４（ｂ）に示す例とは異なり、ユーザ１は時刻Ｔ０においてカメラ１４０の映像を観察することができる。映像の切替直後にヘッドマウントディスプレイ１００の外界の情報を観察できる点で、図５（ｂ）に示す輝度調整の例は有利である。

図６は、実施の形態に係るヘッドマウントディスプレイ１００が実行する輝度調整処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えばヘッドマウントディスプレイ１００の電源が投入されたときに開始する。

映像再生部１９０は、３Ｄ映画、３Ｄゲーム等のコンテンツを再生する（Ｓ２０）。カメラ１４０は、ヘッドマウントディスプレイ１００の外界を撮影する（Ｓ２２）。

ユーザ１から切替部１１５に対して映像の切替の指示がない間（Ｓ２４のＮ）、ステップＳ２０に戻って上述の処理を継続する。切替部１１５がユーザ１から映像の切替の指示を取得すると（Ｓ２４のＹ）、ゲイン調整部１０５は、調整率を上昇させ、カメラ１４０の映像の輝度を上昇させる（Ｓ２６）。

カメラ１４０の映像の輝度の調整率が１００％未満の間（Ｓ２８のＮ）、ゲイン調整部１０５は、カメラ１４０の映像の輝度を上昇させる処理を継続する。カメラ１４０の映像の輝度の調整率が１００％に到達すると（Ｓ２８のＹ）、本フローチャートにおける処理は終了する。

以上述べたように、実施の形態に係る遮蔽型のヘッドマウントディスプレイ１００によれば、ユーザ１に提示する映像を切り換える際に、ユーザに与える違和感を軽減することができる。

特に、映像再生部１９０が再生するコンテンツの映像からカメラ１４０が撮影する外界の映像に切り替えて情報提示部１３０に提示させるときに、映像の輝度の上昇によってユーザ１が眩しさを感じる状況を軽減することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の説明では、ゲイン調整部１０５は、コンテンツの映像からカメラ１４０の映像に切り替える際に、カメラ１４０の映像の輝度値を調整する場合について主に説明した。これに代えて、あるいはこれに加えて、ゲイン調整部１０５は、カメラ１４０の映像からコンテンツの映像に切り替える際に、コンテンツの映像の輝度値を調整するようにしてもよい。すなわち、切替部１１５は、カメラ１４０の映像と映像再生部１９０の映像との少なくともいずれか一方の映像の輝度調整をしてもよい。

この場合、ゲイン調整部は、カメラ１４０と映像再生部１９０との両方に接続される。したがって、切替部１１５が、ゲイン調整部１０５の機能を合わせ持ってもよい。ゲイン調整部１０５は、切替部１１５がコンテンツの映像と外界の映像とのいずれか一方の映像を他方の映像に切り替える場合、他方の映像の輝度を徐々に増加させる。

これにより、仮にカメラ１４０の映像の方がコンテンツの映像よりも暗い映像である場合に、カメラ１４０の映像からコンテンツの映像に切り替える際にユーザ１が眩しさを感じる状況を軽減することができる。

上記の説明では、切替部１１５は、カメラ１４０の映像と、映像再生部１９０が再生したコンテンツとの映像を選択的に切り替える場合について説明した。この他、切替部１１５は、カメラ１４０の映像とコンテンツの映像とをブレンディングしながら徐々に切り替えてもよいし、一方の映像中に設けた小領域に他方の映像を表示するようにしてもよい。切替部１１５はまた、小領域を徐々に拡大することで、最終的には他方の映像に切り替えるようにしてもよい。

１００ ヘッドマウントディスプレイ、 １０５ ゲイン調整部、 １１０ 筐体、 １１５ 切替部、 １２０ 装着具、 １３０ 情報提示部、 １３０ａ 動画提示部、 １３０ｂ 音声提示部、 １４０ カメラ、 １９０ 映像再生部。

Claims (7)

1. ユーザに装着されたときに前記ユーザの視野から外界を遮蔽して映像を提示するヘッドマウントディスプレイであって、
   音声および動画を含む情報を前記ユーザの視野に提示する情報提示部と、
   コンテンツの映像を再生する映像再生部と、
   前記外界の映像を撮影するカメラと、
   前記コンテンツの映像と前記外界の映像とを選択的に切り替えて、前記情報提示部に提示させる切替部と、
   前記コンテンツの映像と前記外界の映像との少なくともいずれか一方の映像の輝度を調整するゲイン調整部とを備えることを特徴とするヘッドマウントディスプレイ。
2. 前記ゲイン調整部は、前記切替部が前記コンテンツの映像と前記外界の映像とのいずれか一方の映像を他方の映像に切り替える場合、他方の映像の輝度を徐々に増加させることを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記ゲイン調整部は、前記カメラと前記切替部との間に接続されており、前記切替部が前記コンテンツの映像を前記外界の映像に切り替える場合、前記外界の映像の輝度を徐々に増加することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
4. 前記ゲイン調整部は、時間の経過とともに映像の輝度の増加率を変更しながら映像の輝度を増加することを特徴とする請求項１から３のいずれかに記載のヘッドマウントディスプレイ。
5. 前記ゲイン調整部は、時間の経過とともに映像の輝度の増加率が大きくなるように変更しながら映像の輝度を増加することを特徴とする請求項４に記載のヘッドマウントディスプレイ。
6. ユーザに装着されたときに前記ユーザの視野から外界を遮蔽して映像を提示するヘッドマウントディスプレイが備えるプロセッサが実行する輝度調整方法であって、当該方法は、
   コンテンツの映像を再生するステップと、
   前記外界の映像を撮影するステップと、
   前記ユーザの指示をもとに前記コンテンツの映像と前記外界の映像とを選択的に切り替えて前記ユーザに提示するステップとを含み、
   前記提示するステップは、
   前記コンテンツの映像と前記外界の映像とのいずれか一方の映像を他方の映像に切り替える場合、他方の映像の輝度を徐々に増加させるステップを含むことを特徴とする輝度調整方法。
7. ユーザに装着されたときに前記ユーザの視野から外界を遮蔽して映像を提示するヘッドマウントディスプレイが備えるプロセッサに輝度調整機能を実現させるプログラムであって、当該機能は、
   コンテンツの映像を再生する機能と、
   前記外界の映像を撮影する機能と、
   前記ユーザの指示をもとに前記コンテンツの映像と前記外界の映像とを選択的に切り替えて前記ユーザに提示する機能とを含み、
   前記提示する機能は、
   前記コンテンツの映像と前記外界の映像とのいずれか一方の映像を他方の映像に切り替える場合、他方の映像の輝度を徐々に増加させる機能を含むことを特徴とするプログラム。

Images