JP2019184758A - ヘッドマウントディスプレイ、ヘッドマウントディスプレイの画像表示方法及びヘッドマウントディスプレイの制御プログラム - Google Patents

Abstract

【課題】自動運転モードにより走行する車両で使用する場合において、車両情報については、装着者に確実に通知して装着者の利便を図ることができるようにする。【解決手段】制御部７は、車両情報取得部６で取得した車両情報を、装着者の視野範囲の固定表示領域で表示し、空間認識部３で取得した座標情報に基づいて、操作部４により受け付けた車内空間における表示位置で、表示情報取得部５で取得した画像情報を表示する。また、制御部７は、前記車両情報の表示と、表示情報取得部５で取得した前記画像情報の表示とが重なり合った場合に、前記車両情報の表示を優先して視認できるように、前記車両情報を表示する。【選択図】図１

Description

本発明は、ヘッドマウントディスプレイ、ヘッドマウントディスプレイの画像表示方法及びヘッドマウントディスプレイの制御プログラムに関するものである。

近年、ヘッドマウントディスプレイが種々に提案されている（例えばホロレンズ（登録商標））。
このようなヘッドマウントディスプレイは、両眼により目前の風景を視認可能に、ゴーグル形状により形成される。具体的に、このようなヘッドマウントディスプレイは、例えば眼前に配置されたハーフミラーの透過光により目前の風景を視認可能に構成され、さらにこのハーフミラーの反射光により画像表示パネルの出射光をユーザーの目に入射して虚像を形成し、これによりあたかも現実空間に種々のオブジェクトを配置したような空間をユーザーに提供する。
特許文献１には、このようなヘッドマウントディスプレイに関する工夫が提案されている。

特開２０１５−６９３６２号公報

ところでこのようなヘッドマウントディスプレイは、自動運転モードにより走行する車両での使用も考えられる。なお自動運転モードは、自動運転機能により運転者がハンドル操作しなくても走行可能な走行モードである。このような自動運転モードにより走行する車両での使用においては、フロントウインドウに映画を表示した状態で、種々の方向に視線を移す場合も予測される。このような場合にあっても、車速、各種警告等の車両情報については、装着者に確実に通知して装着者の利便を図ることが望まれる。

本発明は以上の点を考慮してなされたものであり、自動運転モードにより走行する車両で使用する場合において、車両情報については、装着者に確実に通知して装着者の利便を図ることができるヘッドマウントディスプレイ、ヘッドマウントディスプレイの画像表示方法及びヘッドマウントディスプレイの制御プログラムを提案することを目的とする。

係る課題を解決するため、請求項１の発明に係るヘッドマウントディスプレイは、
目前の風景を目視可能に、虚像により画像情報を提供する表示部と、
装着者から見て取ることができる構造物の座標情報を取得する空間認識部と、
前記表示部で提供する前記画像情報を取得する表示情報取得部と、
少なくとも前記表示情報取得部で取得した前記画像情報の車内空間における表示位置の指示を受け付ける操作部と、
車両情報を取得する車両情報取得部と、
前記表示部の表示を制御する制御部と、を備え、
前記制御部は、
前記車両情報取得部で取得した車両情報を、装着者の視野範囲の固定表示領域で表示し、
前記空間認識部で取得した座標情報に基づいて、前記操作部により受け付けた前記車内空間における前記表示位置で、前記表示情報取得部で取得した画像情報を表示する。

請求項１の構成によれば、自動運転モードで走行する車両の車内で、映画等の画像情報を、装着者の指示した表示位置で表示する場合でも、車両情報は、装着者の視野範囲の特定箇所で表示することができる。これにより自動運転モードにより走行する車両で使用する場合において、車両情報については、装着者に確実に通知して装着者の利便を図ることができる。

請求項２の発明に係るヘッドマウントディスプレイは、
請求項１の構成において、
前記制御部は、
前記車両情報の表示と、前記表示情報取得部で取得した前記画像情報の表示とが重なり合った場合に、前記車両情報の表示を優先して視認できるように、前記車両情報を表示する。

請求項２の構成によれば、装着者の姿勢の変化、操作部による指示等により、車両情報の表示と、表示情報取得部で取得した画像情報の表示とが重なり合った場合でも、確実に車両情報を視認できるようにすることができる。

また請求項３の発明においては、
目前の風景を目視可能に、虚像により画像情報を提供するヘッドマウントディスプレイの画像表示方法において、
車両での使用時、
車両情報を、装着者の視野範囲の固定表示領域で表示し、
他の画像情報を装着者の指示した車内空間における表示位置で表示する。

請求項３の構成によれば、自動運転モードで走行する車両の車内で、映画等の画像情報を装着者の指示した表示位置で表示する場合でも、車両情報は、装着者の視野範囲の特定箇所で表示することができる。これにより自動運転モードにより走行する車両で使用する場合において、車両情報については、装着者に確実に通知して装着者の利便を図ることができる。

請求項４の発明においては、
演算処理回路による実行により所定の処理手順を実行させるヘッドマウントディスプレイの制御プログラムにおいて、
前記ヘッドマウントディスプレイは、
目前の風景を目視可能に、虚像により画像情報を提供し、
前記処理手順は、
前記ヘッドマウントディスプレイで表示する画像情報を取得する表示情報取得ステップと、
装着者から見て取ることができる構造物の座標情報を取得する空間認識ステップと、
前記画像情報を取得する表示情報取得ステップと、
少なくとも前記表示情報取得ステップで取得した前記画像情報の車内空間における表示位置の指示を受け付ける操作ステップと、
車両情報を取得する車両情報取得ステップと、
前記表示情報取得ステップで取得した画像情報、前記車両情報取得ステップで取得した前記車両情報の前記ヘッドマウントディスプレイでの表示を制御する表示制御ステップと、を備え、
前記表示制御ステップは、
前記車両情報取得ステップで取得した車両情報を、装着者の視野範囲の固定表示領域で表示し、
前記空間認識ステップで取得した座標情報に基づいて、前記操作ステップにより受け付けた車内空間における前記表示位置で、前記表示情報取得ステップで取得した画像情報を表示する。

請求項４の構成によれば、自動運転モードで走行する車両の車内で、映画等の画像情報を、装着者の指示した表示位置で表示する場合でも、車両情報は、装着者の視野範囲の特定箇所で表示することができる。これにより自動運転モードにより走行する車両で使用する場合において、車両情報については、装着者に確実に通知して装着者の利便を図ることができる。

本発明によれば、自動運転モードにより走行する車両で使用する場合において、車両情報については、装着者に確実に通知して装着者の利便を図ることができる。

本発明の実施形態に係るヘッドマウントディスプレイを示すブロック図である。 図１のヘッドマウントディスプレイの動作の説明に供する図である。

〔第１実施形態〕
図１は、本発明の第１実施形態に係るヘッドマウントディスプレイを示す機能ブロック図である。
このヘッドマウントディスプレイ１は、両眼により目前の風景を視認可能に、ゴーグル形状により形成される。このヘッドマウントディスプレイ１は、装着により両目の前にハーフミラーが配置され、このハーフミラーを透過して目前の風景を視認できるように構成され、さらにこのハーフミラーの反射光により画像表示パネルに形成された画像の虚像を形成する。これによりヘッドマウントディスプレイ１は、装着者が顔の向きを変化させると、この顔の向きに応じてオブジェクトの配置に供する目前の風景が変化するように構成される。
これによりヘッドマウントディスプレイ１は、あたかも現実空間に種々のオブジェクトを配置したような空間をユーザーに提供する。

ヘッドマウントディスプレイ１は、この虚像によるオブジェクトの表示により種々の画像情報を装着者に提供する。
ここでこの画像情報は、映画等のコンテンツに係る動画像による画像情報、ブラウザにより閲覧に供するホームページの静止画像による画像情報、メールを表示した静止画像による画像情報等、各種の画像情報を広く適用することができる。
これによりヘッドマウントディスプレイ１は、例えば車両にて使用して、種々の娯楽、情報を装着者に提供できるように構成される。

ヘッドマウントディスプレイ１は、表示部２、空間認識部３、操作部４、表示情報取得部５、車両情報取得部６、制御部７を備える。
ヘッドマウントディスプレイ１は、演算処理回路によりヘッドマウントディスプレイの制御プログラムを実行することにより、これら機能ブロックが構成される。
なおこれによりこの制御プログラムは、これら空間認識部３、操作部４、表示情報取得部５、車両情報取得部６、制御部７に対応して、各部の処理をそれぞれ実行させる、空間認識ステップ、操作ステップ、表示情報取得ステップ、車両情報取得ステップ、表示制御ステップを備える。

表示部２は、目前の風景を目視可能に、虚像により種々の画像情報を提供する部位であり、この画像情報に係る画像を形成する画像表示パネル、目前の風景を視認可能に、この画像表示パネルにより形成された画像を虚像により装着者に提供する光学系等により構成される。

空間認識部３は、装着者から見て取ることができる構造物の座標情報を取得することにより、装着者の存在する空間を把握する部位であり、この実施形態では、この空間の把握により車両への搭乗時、車両のフロントウインドウ、フロントピラー、サイドウインドウ等の各構造物の座標情報を取得する。
これによりヘッドマウントディスプレイ１は、この座標情報により画像情報の表示位置を特定可能に構成され、例えばフロントウインドウが恰もスクリーンであるかのように画像情報を表示したり、装着者とフロントウインドウとの間に恰もスクリーンが配置されているかのように画像情報を表示できるように構成される。またさらにこの座標情報により、装着者が顔の向きを変化させて表示部２の向きが変化した場合でも、この向きの変化に追従させることなく、恰も表示中の画像が車内空間の特定箇所に固定配置されているかのように表示する。
なお車外に画像情報が配置されているように虚像を形成して、車内の構造物を透過して画像情報を視認しているかのように、画像情報を表示してもよい。

具体的に空間認識部３は、例えばこのヘッドマウントディスプレイ１に設けられた撮像装置、この撮像装置による撮像結果を画像処理して車両の内部空間を判定し、各部の座標情報を取得する画像処理部等により構成される。
なお構造物に係る座標検出にあっては、画像処理に代えて、車両との無線通信により車両から取得する場合、さらには車両を特定するＩＤ等の情報によりインターネット等のネットワークに接続して取得する場合等、種々の手法を広く適用することができる。

操作部４は、少なくとも表示部２で提供する画像に関する指示を受け付ける部位である。ヘッドマウントディスプレイ１は、この操作部４により、表示部２で提供する画像情報の選択、表示位置、大きさ等の指示を受け付ける。
この操作部４は、ヘッドマウントディスプレイ１に設けられた撮像装置による撮像結果を画像処理して装着者の手を検出し、この手の座標の変化により装着者の手の動きを検出する。操作部４は、この手の動きを判定することにより、ジェスチャーにより装着者による指示を受け付ける。

具体的に、例えば装着者より見て画像情報の表示に重なり合うように指を配置した後、恰もドラッグするように手を移動させた場合、この移動に追従させる表示位置の移動の指示を受け付ける。また画像情報の表示に重なり合うように親指と人差し指を配置した後、この親指と人差し指を開いたり、閉じたりすると、これに応動するように画像を拡大、縮小する指示を受け付ける。またさらに同様にして指を配置した後、恰もタップするように指を移動させると、対応する画像情報の表示の中止指示を受け付ける。また同様にして、何ら画像を表示していない部位で指を上下させると選択可能なメニューを表示し、さらにこのメニュー上における指のタップの動作により対応する画像情報の選択を受け付ける。
なお操作部４は、このようなジェスチャーによる入力に代えて、車両に設けられた操作子、タッチパネル等により操作を受け付けるようにしてもよく、さらには音声により受け付けるようにしてもよい。

表示情報取得部５は、表示部２により装着者に提供する画像情報を取得する部位であり、ヘッドマウントディスプレイ１に設けられた記録媒体、インターネット等から映画等のコンテンツに係る画像情報、ブラウジングによる画像情報等を取得する。

車両情報取得部６は、この車両に設けられたコントローラとの無線通信により、少なくとも自動運転モードと手動運転モードとを識別する車両情報、自動運転モードで装着者に通知する重要な車両情報を取得する。この重要な車両情報は、少なくとも車速、燃料の減少警告、車両の異常警告等の車両情報である。

制御部７は、表示部２の表示を制御するコントローラである。
制御部７は、空間認識部３により車両への搭乗が検出され、さらに車両情報により車両が自動運転モードである場合、操作部４で検出される装着者の指示に応じて、表示情報取得部５で表示に供する画像情報を取得すると共に、この取得した画像情報を表示部２で表示する。また制御部７は、空間認識部３からの座標情報に基づいて、画像情報の表示位置を特定する。これによりヘッドマウントディスプレイ１は、目前の風景を視認できるようにした状態で、装着者の所望する映画、各種ホームページ等の表示を、装着者の指示する表示位置で表示して装着者に提供する。

さらに制御部７は、このようにして画像情報を装着者の指示した表示位置で表示するようにして、重要な車両情報については、装着者の視野範囲の固定表示領域で表示する。
これによりヘッドマウントディスプレイ１は、装着者が顔の向きを種々に変化させて、装着者の目に飛び込む風景、画像情報等が変化しても、重要な車両情報については、装着者の視野内の特定箇所で表示する。これによりヘッドマウントディスプレイ１は、自動運転モードにより走行する車両で使用する場合において、車両情報については、装着者に確実に通知して装着者の利便を図るように構成される。

ここで視野領域は、視野による視界であり、装着者が正面を見据えて見通すことができる範囲である。なお視野は、個人差がある。また視界は、視線の移動により変化する。これにより視野領域は、平均的な視界を有する装着者がヘッドマウントディスプレイ１を正しく装着して、この装着者が顔の正面方向を見据えている場合の、視野により規定する。

また固定表示領域は、この視野領域の隅部に設定された領域であり、この実施形態では、装着者より見た右下隅の領域が適用されるものの、例えば左上隅、右上隅、左下隅の領域を適用するようにしてもよく、さらには隅部に代えて左右端部、上下端部を適用してもよい。またこれらの箇所の複数個所に設けるようにしてもよい。
これによりこの実施形態では、視野領域の隅部に表示された車両情報に視線を移して車両情報を詳細に確認できるように構成される。

制御部７は、画像情報の虚像形成に供する表示部２に設けられた画像表示パネルの、固定表示領域に対応する隅部に車両情報の表示に供する画像を形成する。
これにより制御部７は、装着者が姿勢を種々に変化させたり、顔の向きを変化させたりした場合にあっても、重要な車両情報については、装着者が視認できるように固定表示領域で表示する。

さらにこのように固定表示領域で車両情報を表示するようにして、制御部７は、装着者の顔の向きの変化により画像情報の表示と車両情報の表示とが重なり合うようになっても、車両情報の表示を優先して視認できるように、車両情報を表示する。
ここでこのような表示は、例えばホワイト、レッド、イエロー等の膨張色、進出色により車両情報を表示する場合、重なり合う画像情報に比して、車両情報を高輝度により表示する場合、重なり合う画像情報を部分的に切り取って車両情報をいわゆる嵌め込みにより表示する場合、画像情報に比して装着者側に車両情報を表示する場合、さらには車両情報を点滅表示する場合、これらを組み合わせて表示する場合等、種々の手法を適用することができる。
これによりヘッドマウントディスプレイ１は、装着者の姿勢の変化、操作部による指示等により、車両情報の表示と画像情報の表示とが重なり合った場合でも、確実に車両情報を視認できるようにすることができる。

なお視野は個人差がある。またこのような車両情報の表示箇所は、個人により好き嫌いが予測される。これにより固定表示領域は、ディフォルトにより設定した領域を適用してもよく、装着者の指示により設定を受け付けるようにしてもよい。このように装着者の指示により設定を受け付ける場合は、装着者の見やすい位置で車両情報を表示することができ、使い勝手を一段と向上することができる。

図２は、この画像情報、車両情報の表示の説明に供する図である。
なおこの図２においては、視野領域を矩形形状により表現する。
図２（Ａ）は、ヘッドマウントディスプレイ１を装着した装着者１１が運転席に着席した状態で、後方よりフロントウインドウ１３側を見て車両１４の内部空間を示す図である。
この図２（Ａ）の例は、装着者１１が正面方向に顔を向けている状態であり、これにより正面方向が視野領域ＡＲＡであり、この視野領域ＡＲＡの右下隅に固定表示領域ＡＲＢが形成される。またこの固定表示領域ＡＲＢに、車速の車両情報１６の表示（「５４ｋｍ／ｈ」の表示）が形成されている。
またフロントウインドウ１３の左下が装着者の指示した画像情報の表示位置であり、この表示位置に、例えば映画による動画像の画像情報１５が表示されている。

図２（Ｂ）は、この図２（Ａ）の状態から装着者１１が顔を左側に向けた状態を示す図である。
この場合、装着者１１の顔の向きの変化により、左方向に変位した領域が視野領域ＡＲＡとなり、この視野領域ＡＲＡの右下隅が固定表示領域ＡＲＢとなり、車両情報１６が表示される。また画像情報１５は、この顔の向きの変化に追従することなく、フロントウインドウ１３の左下の装着者の指示した表示位置である、従前の表示位置で表示される。

以上の構成によれば、車両情報を、装着者の視野範囲の固定表示領域で表示し、他の画像情報を装着者の指示した車内空間における表示位置で表示することにより、自動運転モードで走行する車両の車内で、映画等の画像情報を装着者の指示した表示位置で表示する場合でも、車両情報は、装着者の視野範囲の特定箇所で表示することができる。これにより自動運転モードにより走行する車両で使用する場合において、車両情報については、装着者に確実に通知して装着者の利便を図ることができる。

またさらに画像情報の表示と車両情報の表示とが重なり合った場合に、車両情報の表示を優先して視認できるように車両情報を表示することにより、装着者の姿勢の変化、操作部による指示等により、車両情報の表示と画像情報の表示とが重なり合った場合でも、確実に車両情報を視認できるようにすることができる。

〔他の実施形態〕
以上、本発明の実施に好適な具体的な構成を詳述したが、本発明は、本発明の趣旨を逸脱しない範囲で、上述の実施形態の構成を種々に変更することができる。

すなわち上述の実施形態では、いわゆるゴーグル型のヘッドマウントディスプレイに本発明を適用する場合について述べたが、本発明はこれに限らず、帽子型のヘッドマウントディスプレイ等、種々の形状によるヘッドマウントディスプレイに広く適用することができる。

１ ヘッドマウントディスプレイ
２ 表示部
３ 空間認識部
４ 操作部
５ 表示情報取得部
６ 車両情報取得部
７ 制御部
１１ 装着者
１３ フロントウインドウ
１４ 車両
１５ 画像情報
１６ 車両情報

Claims (4)

1. 目前の風景を目視可能に、虚像により画像情報を提供する表示部と、
   装着者から見て取ることができる構造物の座標情報を取得する空間認識部と、
   前記表示部で提供する前記画像情報を取得する表示情報取得部と、
   少なくとも前記表示情報取得部で取得した前記画像情報の車内空間における表示位置の指示を受け付ける操作部と、
   車両情報を取得する車両情報取得部と、
   前記表示部の表示を制御する制御部と、を備え、
   前記制御部は、
   前記車両情報取得部で取得した車両情報を、装着者の視野範囲の固定表示領域で表示し、
   前記空間認識部で取得した座標情報に基づいて、前記操作部により受け付けた前記車内空間における前記表示位置で、前記表示情報取得部で取得した画像情報を表示する
   ヘッドマウントディスプレイ。
2. 前記制御部は、
   前記車両情報の表示と、前記表示情報取得部で取得した前記画像情報の表示とが重なり合った場合に、前記車両情報の表示を優先して視認できるように、前記車両情報を表示する
   請求項１に記載のヘッドマウントディスプレイ。
3. 目前の風景を目視可能に、虚像により画像情報を提供するヘッドマウントディスプレイの画像表示方法において、
   車両での使用時、
   車両情報を、装着者の視野範囲の固定表示領域で表示し、
   他の画像情報を装着者の指示した車内空間における表示位置で表示する
   ヘッドマウントディスプレイの画像表示方法。
4. 演算処理回路による実行により所定の処理手順を実行させるヘッドマウントディスプレイの制御プログラムにおいて、
   前記ヘッドマウントディスプレイは、
   目前の風景を目視可能に、虚像により画像情報を提供し、
   前記処理手順は、
   前記ヘッドマウントディスプレイで表示する画像情報を取得する表示情報取得ステップと、
   装着者から見て取ることができる構造物の座標情報を取得する空間認識ステップと、
   前記画像情報を取得する表示情報取得ステップと、
   少なくとも前記表示情報取得ステップで取得した前記画像情報の車内空間における表示位置の指示を受け付ける操作ステップと、
   車両情報を取得する車両情報取得ステップと、
   前記表示情報取得ステップで取得した画像情報、前記車両情報取得ステップで取得した前記車両情報の前記ヘッドマウントディスプレイでの表示を制御する表示制御ステップと、を備え、
   前記表示制御ステップは、
   前記車両情報取得ステップで取得した車両情報を、装着者の視野範囲の固定表示領域で表示し、
   前記空間認識ステップで取得した座標情報に基づいて、前記操作ステップにより受け付けた車内空間における前記表示位置で、前記表示情報取得ステップで取得した画像情報を表示する
   ヘッドマウントディスプレイの制御プログラム。

Images