JP2019156200A - ヘッドマウントディスプレイ、ヘッドマウントディスプレイの画像表示方法及びヘッドマウントディスプレイの制御プログラム - Google Patents

Abstract

【課題】車両での使用に関して、ユーザーの利便性を向上する。【解決手段】目前の風景を目視可能に、虚像により画像情報を提供する表示部２と、表示部２で提供する画像情報に関する指示を受け付ける操作部４と、表示部２で提供する画像情報を取得する表示情報取得部５と、自動運転モードと手動運転モードとを識別する車両情報を取得する車両情報取得部６と、表示部２の表示を制御する制御部７とを備える。制御部７は、車両情報に基づいて手動運転モードの開始により、表示部２で表示している画像情報の表示を復元するのに必要な復元情報を、復元情報記録部７Ａに記録して、当該画像情報の表示を中止する。【選択図】図１

Description

本発明は、ヘッドマウントディスプレイ、ヘッドマウントディスプレイの画像表示方法及びヘッドマウントディスプレイの制御プログラムに関するものである。

近年、ヘッドマウントディスプレイが種々に提案されている（例えばホロレンズ（登録商標））。
このようなヘッドマウントディスプレイは、両眼により目前の風景を視認可能に、ゴーグル形状により形成される。具体的に、このようなヘッドマウントディスプレイは、例えば眼前に配置されたハーフミラーの透過光により目前の風景を視認可能に構成され、さらにこのハーフミラーの反射光により画像表示パネルの出射光をユーザーの目に入射して虚像を形成し、これによりあたかも現実空間に種々のオブジェクトを配置したような空間をユーザーに提供する。
特許文献１には、このようなヘッドマウントディスプレイに関する工夫が提案されている。

特開２０１５−６９３６２号公報

ところでこのようなヘッドマウントディスプレイは、車両で使用することも考えられる。このような車両での使用においては、煩雑な操作を簡略化して利便性を向上することが求められる。

本発明は以上の点を考慮してなされたものであり、車両での使用に関して、ユーザーの利便性を向上することができるヘッドマウントディスプレイ、ヘッドマウントディスプレイの画像表示方法及びヘッドマウントディスプレイの制御プログラムを提案することを目的とする。

係る課題を解決するため、請求項１の発明に係るヘッドマウントディスプレイは、
目前の風景を目視可能に、虚像により画像情報を提供する表示部と、
前記表示部で提供する前記画像情報に関する指示を受け付ける操作部と、
前記表示部で提供する前記画像情報を取得する表示情報取得部と、
自動運転モードと手動運転モードとを識別する車両情報を取得する車両情報取得部と、
前記表示部の表示を制御する制御部とを備え、
前記制御部は、
前記操作部により受け付けた指示に応じて、前記表示情報取得部で取得した画像情報を前記表示部で表示し、
前記車両情報に基づいて前記手動運転モードの開始により、前記表示部で表示している前記画像情報の表示を復元するのに必要な復元情報を、復元情報記録部に記録して、当該画像情報の表示を中止する。

請求項１の構成によれば、手動運転モードの開始により画像情報の表示を中止することにより、充分に視界を確保して安全を図ることができる。
またこのとき画像情報の表示を復元するのに必要な復元情報を、復元情報記録部に記録することにより、必要に応じて、この記録した復元情報により中止した表示を復元することができる。これによりいちいち表示に供するコンテンツ等を選択し直したり、表示位置、表示の大きさ等を指示し直したりすることなく、中止した表示を再開することができ、利便性を向上することができる。

また、請求項２の発明に係るヘッドマウントディスプレイは、
請求項１の構成において、
装着者から見て取ることができる構造物の座標情報を取得する空間認識部を備え、
前記制御部は、前記座標情報により、前記画像情報の表示位置を特定し、
前記復元情報は、前記画像情報の表示位置を特定する前記座標情報を含む。

請求項２の構成によれば、構造物の座標情報に基づいて特定した表示位置を指示し直したりすることなく、中止した表示を再開することができ、利便性を向上することができる。

また請求項３の発明に係るヘッドマウントディスプレイは、
請求項１の構成において、
前記制御部は、
手動運転モードから自動運転モードの切替りにより、前記復元情報記録部に記録した復元情報により中止した表示を再開する。

請求項３の構成によれば、何ら操作部により指示することなく、中止した表示を再開できることにより、一段と利便性を向上することができる。

また請求項４の発明に係るヘッドマウントディスプレイは、
請求項１の構成において、
前記制御部は、
手動運転モードから自動運転モードの切替りにより、中止した表示を再開する確認を促し、
確認が得られると、前記復元情報記録部に記録した復元情報により中止した表示を再開する。

請求項４の構成によれば、利用者の確認の元、中止した表示を再開できることにより、一段と利便性を向上することができる。

請求項５の発明においては、
目前の風景を目視可能に、虚像により画像情報を提供するヘッドマウントディスプレイの画像表示方法において、
車両での使用時、当該車両の手動運転モードの開始により、前記ヘッドマウントディスプレイで表示している画像情報の表示を復元するのに必要な復元情報を記録して、当該画像情報の表示を中止する。

請求項５の構成によれば、手動運転モードの開始により画像情報の表示を中止することにより、充分に視界を確保して安全を図ることができる。
またこのとき画像情報の表示を復元するのに必要な復元情報を記録して表示を中止することにより、必要に応じて、この記録した復元情報により中止した表示を復元することができる。これによりいちいち表示に供するコンテンツ等を選択し直したり、表示位置、表示の大きさ等を指示し直したりすることなく、中止した表示を再開することができ、利便性を向上することができる。

請求項６の発明においては、
演算処理回路による実行により所定の処理手順を実行させるヘッドマウントディスプレイの制御プログラムにおいて、
前記ヘッドマウントディスプレイが、目前の風景を目視可能に、虚像により画像情報を提供し、
前記処理手順は、
前記ヘッドマウントディスプレイで表示する画像情報を取得する表示情報取得ステップと、
自動運転モードと手動運転モードとを識別する車両情報を取得する車両情報取得ステップと、
前記表示情報取得ステップで取得した画像情報の前記ヘッドマウントディスプレイでの表示を制御する表示制御ステップとを備え、
前記表示制御ステップは、
前記車両情報に基づいて前記手動運転モードの開始により、前記ヘッドマウントディスプレイで表示している前記画像情報の表示を復元するのに必要な復元情報を記録して、当該画像情報の表示を中止する。

請求項６の構成によれば、手動運転モードの開始により画像情報の表示を中止することにより、充分に視界を確保して安全を図ることができる。
またこのとき画像情報の表示を復元するのに必要な復元情報を記録して表示を中止することにより、必要に応じて、この記録した復元情報により中止した表示を復元することができる。これによりいちいち表示に供するコンテンツ等を選択し直したり、表示位置、表示の大きさ等を指示し直したりすることなく、中止した表示を再開することができ、利便性を向上することができる。

本発明によれば、車両でのヘッドマウントディスプレイの使用に関して、利便性を向上することができる。

本発明の実施形態に係るヘッドマウントディスプレイを示すブロック図である。 図１のヘッドマウントディスプレイの動作の説明に供する図である。 図１のヘッドマウントディスプレイにおける確認画面を示す図である。 図１のヘッドマウントディスプレイにおける動作の説明に供するフローチャートである。 図４の続きの説明に供するフローチャートである。

〔第１実施形態〕
図１は、本発明の第１実施形態に係るヘッドマウントディスプレイを示す機能ブロック図である。
このヘッドマウントディスプレイ１は、両眼により目前の風景を視認可能に、ゴーグル形状により形成される。このヘッドマウントディスプレイ１は、装着により両目の前にハーフミラーが配置され、このハーフミラーを透過して目前の風景を視認できるように構成され、さらにこのハーフミラーの反射光により画像表示パネルに形成された画像の虚像を形成する。これによりこの種のヘッドマウントディスプレイは、あたかも現実空間に種々のオブジェクトを配置したような空間をユーザーに提供する。

ヘッドマウントディスプレイ１は、この虚像によるオブジェクトの表示により種々の画像情報を装着者に提供する。またさらに装着者の車両への搭乗により、この車両の自動運転モードと手動運転モードとの切替えに応じて表示を切替え、これにより安全運転を損なわないようにする。
なお自動運転モードは、自動運転機能により運転者がハンドル操作しなくても走行可能な走行モードであり、手動運転モードは、従来の車両における運転操作と同様に、運転者のハンドル操作により走行する走行モードである。
またヘッドマウントディスプレイ１は、この走行モードによる表示の切替え時、装着者の利便を図るように構成される。

ヘッドマウントディスプレイ１は、表示部２、空間認識部３、操作部４、表示情報取得部５、車両情報取得部６、制御部７を備える。
ヘッドマウントディスプレイ１は、演算処理回路によりこのヘッドマウントディスプレイの制御プログラムを実行することにより、これら機能ブロックが構成される。

表示部２は、目前の風景を目視可能に、虚像により種々の画像情報を提供する部位であり、この画像情報に係る画像を形成する画像表示パネル、目前の風景を視認可能に、この画像表示パネルにより形成された画像を虚像により装着者に提供する光学系等により構成される。

空間認識部３は、装着者から見て取ることができる構造物の座標情報を取得することにより、装着者の存在する空間を把握する部位であり、この実施形態では、この空間の把握により車両への装着者の搭乗を検出し、さらには車両のフロントウインドウ、フロントピラー、サイドウインドウ等の各構造物の座標情報を取得する。
これによりヘッドマウントディスプレイ１は、この座標情報により画像情報の表示位置を特定可能に構成され、例えばフロントウインドウが恰もスクリーンであるかのように画像情報を表示したり、装着者とフロントウインドウとの間に恰もスクリーンが配置されているかのように画像情報を表示できるように構成される。またさらにこの座標情報により、装着者が顔の向きを変化させて表示部２の向きが変化した場合でも、この向きの変化に追従させることなく、恰も表示中の画像が車内空間の特定箇所に固定配置されているかのように表示する。
なお車外に画像情報が配置されているように虚像を形成して、車内の構造物を透過して画像情報を視認できるように画像情報を表示してもよい。

具体的に空間認識部３は、例えばこのヘッドマウントディスプレイ１に設けられた撮像装置、この撮像装置による撮像結果を画像処理して車両の内部空間を判定し、各部の座標情報を取得する画像処理部等により構成される。
なお構造物に係る座標検出にあっては、画像処理に代えて、車両との無線通信により車両から取得する場合、さらには車両を特定するＩＤ等の情報によりインターネット等のネットワークに接続して取得する場合等、種々の手法を広く適用することができる。

操作部４は、少なくとも表示部２で提供する画像に関する指示を受け付ける部位である。ヘッドマウントディスプレイ１は、この操作部４により、表示部２で提供する画像情報の選択、表示位置、大きさ等の指示を受け付ける。
操作部４は、ヘッドマウントディスプレイ１に設けられた撮像装置による撮像結果を画像処理して装着者の手を検出し、この手の座標データの変化により装着者の手の動きを検出する。操作部４は、この手の動きを判定することにより、ジェスチャーにより装着者による指示を受け付ける。

具体的に、例えば装着者より見て画像情報の表示に重なり合うように指を配置した後、恰もドラッグするように手を移動させた場合、この移動に追従させる表示位置の移動の指示を受け付ける。また画像情報の表示に重なり合うように親指と人差し指を配置した後、この親指と人差し指を開いたり、閉じたりすると、これに応動するように画像を拡大、縮小する指示を受け付ける。またさらに同様にして指を配置した後、恰もタップするように指を移動させると、対応する画像情報の表示の中止指示を受け付ける。また同様にして、何ら画像を表示していない部位で指を上下させると選択可能なメニューを表示し、さらにこのメニュー上における指のタップの動作により対応する画像情報の選択を受け付ける。
なお操作部４は、このようなジェスチャーによる入力に代えて、車両に設けられた操作子、タッチパネル等により操作を受け付けるようにしてもよく、さらには音声により受け付けるようにしてもよい。

表示情報取得部５は、表示部２により装着者に提供する画像情報を取得する部位であり、ヘッドマウントディスプレイ１に設けられた記録媒体、インターネット等から映画等のコンテンツに係る画像情報、ブラウジングによる画像情報等を取得する。

車両情報取得部６は、この車両に設けられたコントローラとの無線通信により、少なくとも自動運転モードと手動運転モードとを識別する車両情報を取得する。これによりヘッドマウントディスプレイ１は、車両の現在の走行モードを検出する。

制御部７は、表示部２の表示を制御するコントローラである。
制御部７は、空間認識部３により車両への搭乗が検出され、さらに車両情報により車両が自動運転モードである場合、操作部４で検出される装着者の指示に応じて、表示情報取得部５で表示に供する画像情報を取得すると共に、この取得した画像情報を表示部２で表示する。また、制御部７は、空間認識部３からの座標情報に基づいて、画像情報の表示位置を特定する。これによりヘッドマウントディスプレイ１は、目前の風景を視認できるようにした状態で、装着者の所望する映画、各種ホームページ等の表示を、装着者の指示するレイアウトで提供する。

さらに制御部７は、車両の走行モードが自動運転モードから手動運転モードに切替る場合、それまでの画像情報の表示を中止する。また車両が自動運転モードになると、画像情報の表示を再開する。

この画像情報の表示を中止する際に、制御部７は、記録手段により構成される復元情報記録部７Ａに、画像情報の表示を復元するのに必要な復元情報を記録して保持する。

ここでこの復元情報は、少なくとも表示を中止する画像情報を特定するＵＲＬ、ＩＤ等の情報、この画像情報の表示位置を特定する座標情報、表示の大きさを特定するスケールの情報により構成される。またこの画像情報が、映画等の動画に係る画像情報の場合、表示を中止した箇所を特定する時間情報が追加される。

これによりヘッドマウントディスプレイ１では、必要に応じて、この記録して保持した復元情報により中止した表示を復元することができる。従って装着者においては、いちいち表示に供するコンテンツ等を選択し直したり、表示位置、表示の大きさ等を指示し直したりすることなく、中止した表示を確認することができ、ヘッドマウントディスプレイ１では、利便性を向上することができる。

さらに制御部７は、車両が手動運転モードから自動運転モードに切り替わると、記録して保持した復元情報により表示中止の直前の表示状態を復元する。これによりヘッドマウントディスプレイ１は、利便性を向上することができる。

図２は、この画像情報の表示の説明に供する略線図であり、ヘッドマウントディスプレイ１を装着した装着者１１が運転席に着席した状態で、後方よりフロントウインドウ１３側を見て車両１４の内部空間を示す図である。
図２（Ａ）は、自動運転モードにおける表示を示す図であり、フロントウインドウ１３の内側に、操作部４の操作により選択された画像情報が操作部４の操作により指示された表示位置、大きさにより表示される。
これによりこの図２（Ａ）の例では、運転席の正面に映画による表示画面Ｇ１が表示され、その右側及び左側にソーシャルネットワーキングサービスによる表示画面Ｇ２、ブラウザの表示画面Ｇ３が表示され、さらに表示画面Ｇ２の上に時計の表示画面Ｇ４が表示されている。これにより装着者に娯楽を提供して、車内空間を快適なものとすることができる。

これに対して図２（Ｂ）は、図２（Ａ）との対比により、手動運転モードによりこのような画像情報の表示を中止した状態を示す図である。この場合、表示画面Ｇ１〜Ｇ４の表示が中止される。これにより充分に前方視界を確保して安全運転を損なわないようにすることができる。
なおこの図２において、符号１５、１６は、それぞれ車両の速度等の車両情報を表示する表示装置の表示画面である。

このようにして手動運転モードから自動運転モードへの切替えによる表示の切替え時、制御部７は、装着者の確認を得て画像情報の表示を再開する。
図３は、この確認のための表示を示す平面図である。この図３の例では、「娯楽情報を表示しますか？」との確認を促すメッセージが表示され、さらにその下方に許可及び不許可を指示する「ＹＥＳ」、「ＮＯ」のメニューが表示される。
制御部７は、自動運転モードへの切替りによりこの図３の画像を表示し、装着者のジェスチャーによるメニューの選択により操作部４により指示を受け付ける。
このように確認を得て表示を復元することにより、例えば表示の再開を望まないような場合に、画像情報を表示しないようにすることができ、一段と利便性を向上することができる。
なお画像情報毎に確認して表示を再開するようにしてもよい。

図４及び図５は、この一連の構成に係るヘッドマウントディスプレイの制御プログラムによる処理手順を示すフローチャートである。図４は自動運転モード時における処理手順であり、図５は手動運転モード時における処理手順である。

自動運転モード時においては、図４に示すように、ヘッドマウントディスプレイ１は、操作部４で検出される指示に応じて表示部２の表示を変更し（ステップＳＰ１−ＳＰ２−ＳＰ３−ＳＰ２）、これにより装着者により指示されたコンテンツ等の画像情報を表示情報取得部５で取得し、空間認識部３で検出される座標情報に基づいて、装着者の指示した表示位置に、装着者の指示した大きさにより対応する画像情報を表示する。
また何ら操作部４によって装着者からの指示が検出されない場合、それまでの画像情報の表示を継続する（ステップＳＰ１−ＳＰ２−ＳＰ４−ＳＰ２）。
これによりヘッドマウントディスプレイ１は、この車両の車内空間を快適なものとすることができる。

またこのようにして画像情報を表示して、車両より手動運転モードへの走行モードの切り替えが通知されると、復元情報を復元情報記録部７Ａで記録した後、画像情報の表示を中止し、手動運転モード時の処理に処理手順を切替える（ステップＳＰ４−ＳＰ５−ＳＰ６−ＳＰ７）。

またこのように手動運転モード時の処理に処理手順を切替えると、図５に示すように、自動運転モードへの切替りを待機し（ステップＳＰ１１−ＳＰ１２）、自動運転モードへの切替りが車両情報取得部６より通知されると、画像情報の表示の再開を確認する確認画面（図３）を表示し、ここで確認が得られない場合、画像情報の表示を再開することなく、自動運転モード時の処理手順に処理を切替える（ステップＳＰ１２ーＳＰ１３−ＳＰ１４−ＳＰ１５）。
また再開の確認が得られると、記録して保持した復元情報により表示を再開した後、自動運転モード時の処理手順に処理を切替える（ステップＳＰ１２−ＳＰ１３−ＳＰ１４−−ＳＰ１６−ＳＰ１５）。

以上の構成によれば、手動運転モードの開始により画像情報の表示を中止することにより、充分に視界を確保して安全を図ることができる。さらにこのとき画像情報の表示を復元するのに必要な復元情報を、復元情報記録部に記録することにより、必要に応じて、この記録した復元情報により中止した表示を復元することができ、利便性を向上することができる。

またさらに復元情報に画像情報の表示位置を特定する構造物の座標情報を含むことにより、中止した表示を中止前に指示した表示位置で復元することができ、利便性を向上することができる。

またさらに手動運転モードから自動運転モードの切替りにより、記録した復元情報により中止した表示を再開することにより、一段と利便性を向上することができる。

またさらに手動運転モードから自動運転モードの切替りにより、確認を促し、確認が得られると、中止した表示を再開することにより、一段と利便性を向上することができる。

〔他の実施形態〕
以上、本発明の実施に好適な具体的な構成を詳述したが、本発明は、本発明の趣旨を逸脱しない範囲で、上述の実施形態の構成を種々に変更することができる。

すなわち上述の実施形態では、いわゆるゴーグル型のヘッドマウントディスプレイに本発明を適用する場合について述べたが、本発明はこれに限らず、帽子型のヘッドマウントディスプレイ等、種々の形状によるヘッドマウントディスプレイに広く適用することができる。また、本発明において画像情報の表示を中止する方法は、上述の実施形態のように非表示とするほか、サイズの縮小や表示位置の移動あるいはこれらの組み合わせであってもよい。

１ ヘッドマウントディスプレイ
２ 表示部
３ 空間認識部
４ 操作部
５ 表示情報取得部
６ 車両情報取得部
７ 制御部
７Ａ 復元情報記録部
１１ 装着者
１３ フロントウインドウ
１４ 車両
１５、１６ 表示画面

Claims (6)

1. 目前の風景を目視可能に、虚像により画像情報を提供する表示部と、
   前記表示部で提供する前記画像情報に関する指示を受け付ける操作部と、
   前記表示部で提供する前記画像情報を取得する表示情報取得部と、
   自動運転モードと手動運転モードとを識別する車両情報を取得する車両情報取得部と、
   前記表示部の表示を制御する制御部とを備え、
   前記制御部は、
   前記操作部により受け付けた指示に応じて、前記表示情報取得部で取得した画像情報を前記表示部で表示し、
   前記車両情報に基づいて前記手動運転モードの開始により、前記表示部で表示している前記画像情報の表示を復元するのに必要な復元情報を、復元情報記録部に記録して、当該画像情報の表示を中止する
   ヘッドマウントディスプレイ。
2. 装着者から見て取ることができる構造物の座標情報を取得する空間認識部を備え、
   前記制御部は、前記座標情報により、前記画像情報の表示位置を特定し、
   前記復元情報は、前記画像情報の表示位置を特定する前記座標情報を含む、
   請求項１に記載のヘッドマウントディスプレイ。
3. 前記制御部は、
   手動運転モードから自動運転モードの切替りにより、前記復元情報記録部に記録した復元情報により中止した表示を再開する
   請求項１に記載のヘッドマウントディスプレイ。
4. 前記制御部は、
   手動運転モードから自動運転モードの切替りにより、中止した表示を再開する確認を促し、
   確認が得られると、前記復元情報記録部に記録した復元情報により中止した表示を再開する
   請求項１に記載のヘッドマウントディスプレイ。
5. 目前の風景を目視可能に、虚像により画像情報を提供するヘッドマウントディスプレイの画像表示方法において、
   車両での使用時、当該車両の手動運転モードの開始により、前記ヘッドマウントディスプレイで表示している画像情報の表示を復元するのに必要な復元情報を記録して、当該画像情報の表示を中止する
   ヘッドマウントディスプレイの画像表示方法。
6. 演算処理回路による実行により所定の処理手順を実行させるヘッドマウントディスプレイの制御プログラムにおいて、
   前記ヘッドマウントディスプレイが、目前の風景を目視可能に、虚像により画像情報を提供し、
   前記処理手順は、
   前記ヘッドマウントディスプレイで表示する画像情報を取得する表示情報取得ステップと、
   自動運転モードと手動運転モードとを識別する車両情報を取得する車両情報取得ステップと、
   前記表示情報取得ステップで取得した画像情報の前記ヘッドマウントディスプレイでの表示を制御する表示制御ステップとを備え、
   前記表示制御ステップは、
   前記車両情報に基づいて前記手動運転モードの開始により、前記ヘッドマウントディスプレイで表示している前記画像情報の表示を復元するのに必要な復元情報を記録して、当該画像情報の表示を中止する
   ヘッドマウントディスプレイの制御プログラム。

Images