JP2015099184A - 頭部装着型表示装置および頭部装着型表示装置の制御方法 - Google Patents
頭部装着型表示装置および頭部装着型表示装置の制御方法 Download PDFInfo
- Publication number
- JP2015099184A JP2015099184A JP2013237820A JP2013237820A JP2015099184A JP 2015099184 A JP2015099184 A JP 2015099184A JP 2013237820 A JP2013237820 A JP 2013237820A JP 2013237820 A JP2013237820 A JP 2013237820A JP 2015099184 A JP2015099184 A JP 2015099184A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- head
- mounted display
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】使用者が虚像と外景を視認可能な頭部装着型表示装置であって、使用者に視認させる虚像を形成する画像表示部と、外景に含まれる物体に対して、物体の外観に現れない情報である不可視情報を重畳させるための重畳情報に基づく虚像を、画像表示部に形成させる重畳処理部と、を備える。
【選択図】図5
Description
A−1.頭部装着型表示装置の構成:
図1は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態のヘッドマウントディスプレイ100は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本実施形態では、映像を虚像として使用者に視認させるタイプのヘッドマウントディスプレイ100を例示する。
図5は、第1実施形態における重畳情報表示処理の手順を示すフローチャートである。図5のステップS102、S104は重畳情報表示処理の前処理の手順を表している。図5のステップS106以降は重畳情報表示処理の手順を表している。重畳情報表示処理は、使用者の視界方向の物体の実像に対して、物体の外観に現れない情報を重畳させて表示する処理である。
図8は、重畳情報生成処理の手順を示すフローチャートである。重畳処理部142は、外景画像を取得する(ステップS202)。具体的には、重畳処理部142は、カメラ61を起動し、カメラ61に対して撮像を指示し、カメラ61によって撮像された外景画像を取得する。
方法ii)重畳処理部142は、対象物体に付されたマーカーを検出する。この場合、検出されたマーカーが「対象物体の特徴」となる。
なお、重畳情報表示処理(図5)では、さらに、以下のような付加的処理を実行してもよい。付加的処理は、単独で付加してもよいし、組み合わせて付加してもよい。
付加的処理1では、重畳処理部142は、重畳情報CP1に加えてさらに、補助情報CP3を虚像VIとして表示させる。補助情報CP3とは、ヘッドマウントディスプレイ100の使用者の作業を補助するための付加的な情報である限り、任意の情報を採用可能である。補助情報CP3は、医療用のヘッドマウントディスプレイ100においては、例えば、以下のような情報とすることができる。
・患者に取り付けられた医療用機器の計測値に応じた注意喚起や、警告を表示する情報。
付加的処理2では、ステップS108で生成した重畳情報CP1と、ステップS114で生成した他の重畳情報と、ステップS122で生成した拡大情報CP2と、のうちの少なくともいずれか1つに対して色変換処理を行う。色変換処理は、ステップS202で撮影された外景画像の明度、コントラスト、彩度、色相に応じて、重畳処理部142により生成された各情報(重畳情報CP1、他の重畳情報、拡大情報CP2)の視認性を向上させるような色変換処理であることが好ましい。例えば、重畳処理部142により生成された各情報の色相を、ステップS202で撮影された外景画像の色相の補色へと変換する色変換処理を行うことができる。なお、色変換処理は、画像処理部160に対して各情報を送信する前に重畳処理部142が実行してもよく、各情報を受信した画像処理部160が実行してもよい。
付加的処理3では、重畳処理部142は、虚像VIとして表示されている情報(重畳情報CP1、他の重畳情報、拡大情報CP2、補助情報CP3)を使用者の視界を妨げない位置へと退避させる。現在表示中の虚像VIが重畳情報CP1である場合を例にして説明する。重畳処理部142は、重畳情報CP1を縮小処理する。その後、重畳処理部142は、縮小処理後の画像を端部に配置し、他の部分には黒色のダミーデーターを配置した縮小情報を生成する。縮小情報生成後、重畳処理部142は、縮小情報を表示させる。具体的には、重畳処理部142は、画像処理部160に対して縮小情報を送信する。縮小情報を受信した画像処理部160は、縮小情報に対して、図2で説明した表示処理を実行する。この結果、ヘッドマウントディスプレイ100の使用者の視野VRには、重畳情報CP1に代えて、重畳情報CP1が縮小されて端部に配置された縮小情報が虚像VIとして表示される。なお、付加的処理3は、重畳情報表示処理(図5)のステップS118に代えて実行されてもよい。
付加的処理4では、重畳処理部142は、使用者の頭の小さなブレに付随する虚像VIの揺れを抑制する、いわゆるスタビライザー機能を実現する。重畳情報表示処理(図5)のステップS112において、重畳処理部142は、表示の切替指示がない場合、所定の時間待機後に処理をステップS108へ遷移させる。これにより、所定の時間ごとに、外景画像の撮影と、重畳情報CP1の生成および表示が繰り返されることとなるため、使用者の頭部の経時的な動きに追従した重畳情報CP1を虚像VIとして表示させることができる。しかし、使用者の頭の微小な動きやゆらぎに追従して重畳情報CP1が度々変わることは、かえって使用者の眼精疲労を誘発するおそれや、使用者の集中力を妨げるおそれがある。そこで、重畳処理部142は、重畳情報生成処理(図8)のステップS202とS204との間に、手順a1、a2で示す処理を行ってもよい。
手順a2)手順a1で求めた変化量が所定の閾値を超える場合、ステップS204以降の処理を継続する。手順a1で求めた変化量が所定の閾値以下である場合、前回実行された重畳情報生成処理で生成された重畳情報CP1を、現在実行中の重畳情報生成処理の処理結果とする。
付加的処理5では、重畳処理部142は、画像表示部20の光学像表示部26、28と、使用者の視界方向にある物体との間の距離に応じて、拡大情報CP2および補助情報CP3が虚像VIとして表示される大きさを変更する。具体的には、重畳処理部142は、重畳情報表示処理(図5)において、手順b1〜b3に示す処理を行うことができる。なお、付加的処理5を実施する場合、ヘッドマウントディスプレイ100には、さらに測距センサーを備える構成とする。測距センサーは、反射光によって使用者の視界方向にある物体と画像表示部20との間の距離を取得するためのセンサーであり、例えば、図1のカメラ61の近傍に配置することができる。
手順b2)重畳処理部142は、重畳情報表示処理(図5)のステップS122における拡大処理の際に、取得した測距センサーの測定値に応じて拡大率を変更する。
手順b3)重畳処理部142は、測距センサーの測定値に応じて、付加的処理1の補助情報CP3の大きさを変更する。
付加的処理6では、無線通信部132は、上述した処理の最中に取得された外景画像を外部の装置へ送信する。外景画像とは、具体的には、重畳情報生成処理(図8)のステップS202で取得された外景画像と、重畳情報表示処理(図5)のステップS120で取得された外景画像とである。外部の装置とは、例えば、他のヘッドマウントディスプレイ100、サーバー、モニター等である。無線通信部132は、これらの外景画像を、無線接続を介して外部の装置へ送信する。外景画像を受信した外部の装置は、受信した外景画像を種々の態様で活用することができる。例えば、他のヘッドマウントディスプレイ100やモニターに表示させてもよい。また、サーバーへ記憶させて手術(作業)のログとして保存してもよい。
付加的処理7では、重畳処理部142は、虚像VIの表示領域と、カメラ61の撮像領域とのキャリブレーションを行う。重畳処理部142は、重畳情報表示処理(図5)に先立って、次の手順c1〜c7に示す処理を行う。
手順c2)重畳処理部142は、記憶部120に格納されているガイド画像データーを読み出して、ガイド画像データーを画像処理部160へ送信する。ガイド画像データーを受信した画像処理部160では、図2で説明した処理が実行される。この結果、ヘッドマウントディスプレイ100の使用者の視野VRにはガイド画像が虚像VIとして表示される。
手順c4)重畳処理部142は、カメラ61に外景画像を撮像させる。
手順c5)重畳処理部142は、カメラ61により撮像された外景画像を画像認識して、人間の指先の位置を特定する。重畳処理部142は、各案内マークについて、指先位置の座標を取得し、記憶部120へ保存する。例えば、指先位置の座標は、外景画像の最も左上部分の画素を(0,0)とした場合のX方向、Y方向の移動量として定義することができる。
手順c7)重畳処理部142は、重畳情報生成処理(図8)のステップS204において、カメラ61により撮像された外景画像のうち、重複領域内の画像に含まれる物体の特徴を抽出する。そして、ステップS208において、重複領域に対応した重畳情報CP1を生成する。
本発明の第2実施形態では、頭部装着型表示装置において、さらに、使用者が行う作業を支援することが可能な構成について説明する。以下では、第1実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態と同様の構成部分については先に説明した第1実施形態と同様の符号を付し、その詳細な説明を省略する。
図13は、第2実施形態におけるヘッドマウントディスプレイ100aの構成を機能的に示すブロック図である。図2に示した第1実施形態との違いは、制御部10に代えて制御部10aを備える点である。制御部10aは、記憶部120に代えて記憶部120aを備え、CPU140に代えてCPU140aを備えている。
図15は、第2実施形態における重畳情報表示処理の手順を示すフローチャートである。図5に示した第1実施形態との違いは、ステップS302、S304、S306が追加されている点である。
手順d2)手順管理部144は、抽出されたエントリーのうち、画像フィールドに画像(使用者が実施すべき内容を表す画像)が格納されているか否かを判定する。手順管理部144は、画像が格納されている場合は手順d3を実行し、画像が格納されていない場合は手順d4を実行する。
手順d3)手順管理部144は、画像フィールドに格納されている画像を上端部に配置し、指示内容フィールドに格納されている文字列を下端部に配置し、他の部分には黒色のダミーデーターを配置した手順情報を生成する。なお、文字列は、外景画像の色相を考慮したうえで、視認性の高い色とすることが好ましい。
手順d4)手順管理部144は、指示内容フィールドに格納されている文字列を下端部に配置し、他の部分には黒色のダミーデーターを配置した手順情報を生成する。
手順e2)手順管理部144は、抽出されたエントリーのうち、画像フィールドに画像が格納されているか否かを判定する。手順管理部144は、画像が格納されている場合は手順e3〜e7、e9を実行し、画像が格納されていない場合は手順e8、e9を実行する。
手順e4)重畳処理部142aは、外景画像を画像認識することで対象物体の特徴を抽出する。詳細は重畳情報生成処理のステップS204と同様である。
手順e5)重畳処理部142aは、画像フィールドに格納されている画像を画像認識することで対象物体の特徴を抽出する。詳細は重畳情報生成処理のステップS206と同様である。ただし、ステップS206の「不可視情報」を、「画像フィールドに格納されている画像」と読み替える。
手順e6)重畳処理部142aは、手順e4で抽出された外景画像の特徴と、手順e5で抽出された画像フィールドに格納されている画像の特徴とが合うように、画像フィールドに格納されている画像を補正し、重畳情報CP5を生成する。詳細は重畳情報生成処理のステップS208と同様である。ただし、ステップS208の「不可視情報」を、「画像フィールドに格納されている画像」と読み替える。
手順e7)手順管理部144は、手順e6で生成された重畳情報CP5に対して、手順情報を表すレイヤーを追加する。具体的には、手順管理部144は、手順e1で抽出されたエントリーの指示内容フィールドに格納されている文字列を重畳情報CP5の下端部に配置する。
手順e9)手順管理部144は、手順e7で生成された重畳情報CP5または手順e8で生成された手順情報CP4を表示させる。具体的には、手順管理部144は、画像処理部160に対して生成された重畳情報CP5または手順情報CP4を送信する。重畳情報CP5または手順情報CP4を受信した画像処理部160は、図2で説明した表示処理を実行する。この結果、ヘッドマウンドディスプレイ100aの使用者の視野VRには、重畳情報CP5または手順情報CP4が、虚像VIとして表示される。
なお、第2実施形態の重畳情報表示処理(図15)では、さらに、「A−3.重畳情報表示処理における付加的処理」で説明した付加的処理1〜7を実行してもよい。付加的処理は、単独で付加してもよいし、組み合わせて付加してもよい。なお、付加的処理7は、手順管理部144が主体となり、手順管理部144が生成する手順情報に対して実行されてもよい。
本発明の第3実施形態では、第1実施形態の重畳情報表示処理における「重畳情報表示処理の対象とする物体の実像」に対する「物体の外観に現れない情報(重畳情報)」の重畳の精度を、より向上させることが可能な構成について説明する。以下では、第1実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施形態と同様の構成部分については先に説明した第1実施形態と同様の符号を付し、その詳細な説明を省略する。
図19は、第3実施形態におけるヘッドマウントディスプレイ100bの概略構成を示す説明図である。図20は、第3実施形態におけるヘッドマウントディスプレイ100bの構成を機能的に示すブロック図である。図1、2に示した第1実施形態との違いは、制御部10に代えて制御部10bを備える点と、画像表示部20に代えて画像表示部20bを備える点である。
図22は、第3実施形態における重畳情報表示処理の手順を示すフローチャートである。図5に示した第1実施形態との違いは、ステップS102に代えてステップS602を、ステップS108に代えてステップS604を、ステップS110に代えてステップS606をそれぞれ備える点と、ステップS110の後にさらにステップS608を備える点である。なお、第3実施形態の重畳情報表示処理は、三次元表示モードで実行される。
図24は、第1の重畳情報生成処理の手順を示すフローチャートである。ステップS402において重畳処理部142bは、外景画像を取得する。具体的には、重畳処理部142bは、カメラ61を起動し、カメラ61に対して撮像を指示し、カメラ61によって撮像された外景画像を取得する。
図26は、第2の重畳情報生成処理の手順を示すフローチャートである。図24に示した第1の重畳情報生成処理との違いは、ステップS404に代えてステップS502を、ステップS412に代えてステップS504を、それぞれ備える点である。
なお、重畳情報表示処理(図22)では、さらに、「A−3.重畳情報表示処理における付加的処理」において説明した付加的処理1〜7を実行してもよい。付加的処理は、単独で付加してもよいし、組み合わせて付加してもよい。
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施形態では、重畳情報表示処理(図5、図22)の一例を示した。しかし、図5、図22に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
上記第2実施形態では、重畳情報表示処理(図15)の一例を示した。しかし、図15に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
・手順内において使用者が特に注意すべき事項をポップアップ表示させる。
・手順情報内の画像や文字列を点滅表示させる。
・手順情報内に、当該手順の重要度、難易度、事故の多さ等を示すメッセージやアイコンを表示させる。
上記実施形態では、手順テーブルの一例を示した。しかし、手順テーブルの詳細はあくまで一例であり、種々の変更が可能である。例えば、フィールドの追加、削除、変更を行うことができる。また、手順テーブルは、複数のテーブルに分割して正規化してもよい。
上記第2実施形態では、ヘッドマウントディスプレイに手順テーブルと手順管理部とを備え、他の装置を必要とせずに、使用者が行う作業を支援することが可能な構成について説明した。しかし、ヘッドマウントディスプレイと、外部に設けられたサーバーとを備える作業支援システムにおいても、同様の処理を実現することができる。
上記第3実施形態では、第1、および、第2の重畳情報生成処理(図24、26)の一例を示した。しかし、図24、26に示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
12…点灯部
14…タッチパッド
16…十字キー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
61…カメラ(画像取得部)
62…瞳孔撮影用カメラ(視線検出部)
63…瞳孔撮影用カメラ(視線検出部)
64…近赤外線受発光部(視線検出部)
65…近赤外線受発光部(視線検出部)
66…9軸センサー(動き検出部)
67…深度センサー(位置検出部)
110…入力情報取得部
100…ヘッドマウントディスプレイ(頭部装着型表示装置)
120…記憶部
122…不可視情報記憶部
124…外観情報記憶部
126…手順テーブル
128…視差情報
130…電源
140…CPU
142…重畳処理部
144…手順管理部
160…画像処理部
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
PCLK…クロック信号
VSync…垂直同期信号
HSync…水平同期信号
Data…画像データー
Data1…右眼用画像データー
Data2…左眼用画像データー
OA…外部機器
PC…パーソナルコンピューター
SC…外景
RE…右眼
VI…虚像
EL…端部
IL…照明光
PL…画像光
AP…先端部
ER…端部
VR…視野
CP1…重畳情報
CP2…拡大情報
CP3…補助情報
CP4…手順情報
CP5…重畳情報
DP…深度
Lx…距離
PP…注視点
Px…視差
SI…不可視情報
SI1…冠状面CT画像
SI2…横断面CT画像
SI3…レントゲン画像
Claims (24)
- 使用者が虚像と外景を視認可能な頭部装着型表示装置であって、
前記使用者に視認させる前記虚像を形成する画像表示部と、
前記外景に含まれる物体に対して、前記物体の外観に現れない情報である不可視情報を重畳させるための重畳情報に基づく前記虚像を、前記画像表示部に形成させる重畳処理部と、
を備える、頭部装着型表示装置。 - 請求項1記載の頭部装着型表示装置であって、
前記重畳処理部は、
所定の時間ごとに、前記外景に含まれる物体に応じた前記重畳情報に基づく前記虚像を、前記画像表示部に繰り返し形成させる、頭部装着型表示装置。 - 請求項1または請求項2記載の頭部装着型表示装置であって、さらに、
前記不可視情報を記憶する記憶部と、
前記頭部装着型表示装置を装着した状態における前記使用者の視界方向の外景の画像を取得する画像取得部と、
を備え、
前記重畳処理部は、
前記画像取得部によって取得された前記視界方向の画像を画像認識することで前記外景に含まれる前記物体の特徴を抽出し、
抽出した前記特徴に基づいて前記記憶部に記憶されている前記物体の前記不可視情報を補正することで、前記重畳情報を生成する、頭部装着型表示装置。 - 請求項3に記載の頭部装着型表示装置であって、
前記不可視情報は、前記物体の構造を表した画像である、頭部装着型表示装置。 - 請求項3または請求項4に記載の頭部装着型表示装置であって、
前記特徴は、前記物体のエッジである、頭部装着型表示装置。 - 請求項3または請求項4に記載の頭部装着型表示装置であって、
前記特徴は、前記物体に付されたマーカーである、頭部装着型表示装置。 - 請求項3から請求項6のいずれか一項に記載の頭部装着型表示装置であって、
前記補正は、前記不可視情報を表す画像に対する、拡大と、縮小と、回転と、反転と、トリミングと、歪みの付与と、ノイズの除去とのうちの少なくともいずれかである、頭部装着型表示装置。 - 請求項3から請求項6のいずれか一項に記載の頭部装着型表示装置であって、
前記補正は、前記不可視情報を表す画像を複数の領域に分割し、前記複数の領域のそれぞれに対する、拡大と、縮小と、トリミングと、歪みの付与と、ノイズの除去とのうちの少なくともいずれかである、頭部装着型表示装置。 - 請求項8に記載の頭部装着型表示装置であって、
前記重畳処理部は、
前記使用者と前記物体の各部との間の距離を、三角測量を用いてそれぞれ計測し、
前記計測の結果に応じて前記分割を行う、頭部装着型表示装置。 - 請求項3から9のいずれか一項に記載の頭部装着型表示装置であって、
前記重畳処理部は、前記使用者の視野内における視覚能力の程度を表す情報受容特性に応じて、前記補正の精度を変える、頭部装着型表示装置。 - 請求項3から10のいずれか一項に記載の頭部装着型表示装置であって、さらに、
前記使用者の視線を検出する視線検出部を備え、
前記画像表示部は、前記使用者の右眼に対応した前記虚像と、前記使用者の左眼に対応した前記虚像と、をそれぞれ形成し、
前記重畳処理部は、さらに、
前記視線検出部によって検出された前記視線から、前記使用者と、前記使用者が注視している注視点との間の距離である注視点距離を求め、
求めた前記注視点距離に応じた視差を付与した右眼用の前記重畳情報と左眼用の前記重畳情報とを生成する、頭部装着型表示装置。 - 請求項11に記載の頭部装着型表示装置であって、さらに、
前記使用者と前記使用者が視認する前記虚像との間の複数の距離と、前記複数の距離にそれぞれ応じた視差と、が対応付けられた視差情報を備え、
前記重畳処理部は、前記視差情報を用いて、前記注視点距離に応じた視差を付与する、頭部装着型表示装置。 - 請求項12に記載の頭部装着型表示装置であって、
複数の前記視差情報を備え、
前記重畳処理部は、前記使用者に応じて、前記複数の視差情報から一の前記視差情報を選択する、頭部装着型表示装置。 - 請求項3から請求項13のいずれか一項に記載の頭部装着型表示装置であって、さらに、
前記使用者の前記物体に対する位置を検出する位置検出部を備え、
前記記憶部には、一の前記物体に対する複数の前記不可視情報が記憶されており、
前記重畳処理部は、
前記記憶部に記憶されている前記複数の不可視情報から、前記位置検出部によって検出された前記位置に応じた一の不可視情報を選択し、選択した前記不可視情報を補正する、頭部装着型表示装置。 - 請求項3から請求項14のいずれか一項に記載の頭部装着型表示装置であって、
前記重畳処理部は、さらに、前記画像取得部によって取得された前記視界方向の画像から、前記外景に含まれる前記物体の少なくとも一部を抽出して拡大した拡大情報を生成し、
前記画像表示部は、前記重畳情報と、前記拡大情報と、に基づく前記虚像を前記使用者に視認させる、頭部装着型表示装置。 - 請求項1から請求項15のいずれか一項に記載の頭部装着型表示装置であって、
前記重畳処理部は、前記使用者からの要求に応じて、前記虚像を非表示とする、頭部装着型表示装置。 - 請求項1から請求項16のいずれか一項に記載の頭部装着型表示装置であって、さらに、
現在の手順について、前記使用者が実施すべき内容に関する情報である手順情報を生成する手順管理部を備え、
前記画像表示部は、前記重畳情報と、前記手順情報と、に基づく前記虚像を前記使用者に視認させる、頭部装着型表示装置。 - 請求項17記載の頭部装着型表示装置であって、
前記手順情報には、第三者が前記手順を模範的に実施している場面の画像と、個別具体的な前記手順に際して使用者が実施すべき内容を表す画像と、の少なくともいずれか一方が含まれる、頭部装着型表示装置。 - 請求項1から請求項18のいずれか一項に記載の頭部装着型表示装置であって、
前記重畳処理部は、さらに、前記使用者の作業を補助するための付加的な情報である補助情報を生成し、
前記画像表示部は、前記重畳情報と、前記補助情報と、に基づく前記虚像を前記使用者に視認させる、頭部装着型表示装置。 - 請求項3から請求項19のいずれか一項に記載の頭部装着型表示装置であって、
前記重畳処理部は、さらに、前記画像取得部によって取得された前記視界方向の画像に応じて、生成された前記重畳情報の視認性を向上させるための色変換処理を行う、頭部装着型表示装置。 - 請求項1から請求項20のいずれか一項に記載の頭部装着型表示装置であって、
前記重畳処理部は、前記使用者からの要求に応じて、前記虚像として表示されている前記重畳情報を、前記使用者の視界を妨げない位置へと退避させる、頭部装着型表示装置。 - 請求項3から請求項21のいずれか一項に記載の頭部装着型表示装置であって、
前記重畳処理部は、前記画像取得部により取得された前記画像のうち、前記虚像の表示領域と前記画像取得部の取得領域とが重複する重複領域に対して前記重畳情報を生成する、頭部装着型表示装置。 - 請求項16から請求項22のいずれか一項に記載の頭部装着型表示装置であって、
前記手順管理部は、前記画像取得部により取得された前記画像のうち、前記虚像の表示領域と前記画像取得部の取得領域とが重複する重複領域に対して前記手順情報を生成する、頭部装着型表示装置。 - 使用者が虚像と外景を視認可能な頭部装着型表示装置の制御方法であって、
(a)前記使用者に視認させる前記虚像を形成する工程と、
(b)前記外景に含まれる物体に対して、前記物体の外観に現れない情報である不可視情報を重畳させるための重畳情報に基づく前記虚像を形成させる工程と、
を備える、頭部装着型表示装置の制御方法。
Priority Applications (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013237820A JP6264855B2 (ja) | 2013-11-18 | 2013-11-18 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
PCT/JP2014/000595 WO2014125789A1 (en) | 2013-02-14 | 2014-02-04 | Head mounted display and control method for head mounted display |
EP14724164.0A EP2956814A1 (en) | 2013-02-14 | 2014-02-04 | Head mounted display and control method for head mounted display |
RU2015138973A RU2621488C2 (ru) | 2013-02-14 | 2014-02-04 | Укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея |
US14/764,553 US9916691B2 (en) | 2013-02-14 | 2014-02-04 | Head mounted display and control method for head mounted display |
BR112015019674A BR112015019674A2 (pt) | 2013-02-14 | 2014-02-04 | display instalado na cabeça e método de controle para display instalado na cabeça |
KR1020157024204A KR101811817B1 (ko) | 2013-02-14 | 2014-02-04 | 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법 |
TW103104473A TW201432312A (zh) | 2013-02-14 | 2014-02-11 | 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法 |
CN201811214129.7A CN109270688B (zh) | 2013-02-14 | 2014-02-12 | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 |
CN201410048928.7A CN103995352B (zh) | 2013-02-14 | 2014-02-12 | 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法 |
US15/880,023 US10169925B2 (en) | 2013-02-14 | 2018-01-25 | Head mounted display and control method for head mounted display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013237820A JP6264855B2 (ja) | 2013-11-18 | 2013-11-18 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015099184A true JP2015099184A (ja) | 2015-05-28 |
JP2015099184A5 JP2015099184A5 (ja) | 2016-11-10 |
JP6264855B2 JP6264855B2 (ja) | 2018-01-24 |
Family
ID=53375852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013237820A Active JP6264855B2 (ja) | 2013-02-14 | 2013-11-18 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6264855B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170004526A (ko) * | 2015-07-03 | 2017-01-11 | 두산인프라코어 주식회사 | 건설기계의 가이던스용 웨어러블 디바이스 및 이를 이용한 작업정보 표시 방법 |
JP2017055233A (ja) * | 2015-09-09 | 2017-03-16 | セイコーエプソン株式会社 | 表示装置、表示システム、及び、表示装置の制御方法 |
JP2018121686A (ja) * | 2017-01-30 | 2018-08-09 | セイコーエプソン株式会社 | 内視鏡操作支援システム |
JP2019005095A (ja) * | 2017-06-23 | 2019-01-17 | ウエストユニティス株式会社 | 遠隔支援システム、情報提示システム、表示システムおよび手術支援システム |
WO2019088071A1 (ja) * | 2017-11-02 | 2019-05-09 | マクセル株式会社 | 虚像表示装置およびそれを用いたヘッドマウントディスプレイ |
JP2019514105A (ja) * | 2016-03-17 | 2019-05-30 | ベクトン・ディキンソン・アンド・カンパニーBecton, Dickinson And Company | 患者アバターを用いた医療記録システム |
JP2020014160A (ja) * | 2018-07-19 | 2020-01-23 | 国立大学法人 筑波大学 | 透過型ヘッドマウントディスプレイ装置及びプログラム |
CN112753066A (zh) * | 2019-07-25 | 2021-05-04 | Ntt通信公司 | 影像显示控制装置、方法以及程序 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021009270A (ja) | 2019-07-03 | 2021-01-28 | セイコーエプソン株式会社 | 表示装置および表示方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0956669A (ja) * | 1995-08-23 | 1997-03-04 | Olympus Optical Co Ltd | 手術用顕微鏡装置 |
JPH10221637A (ja) * | 1997-02-10 | 1998-08-21 | Olympus Optical Co Ltd | 頭部装着型画像表示装置 |
JP2001111991A (ja) * | 1999-10-08 | 2001-04-20 | Olympus Optical Co Ltd | 顔面装着型映像表示装置 |
JP2008067218A (ja) * | 2006-09-08 | 2008-03-21 | Sony Corp | 撮像表示装置、撮像表示方法 |
JP2008242048A (ja) * | 2007-03-27 | 2008-10-09 | Toshiba Corp | 画像表示装置および画像表示方法 |
JP2011128220A (ja) * | 2009-12-15 | 2011-06-30 | Toshiba Corp | 情報提示装置、情報提示方法及びプログラム |
JP2012104156A (ja) * | 2010-06-17 | 2012-05-31 | Ns Solutions Corp | 情報処理装置、情報処理方法及びプログラム |
US20120212484A1 (en) * | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content placement using distance and location information |
WO2013001635A1 (ja) * | 2011-06-30 | 2013-01-03 | 医療法人社団神▲崎▼循環器クリニック | X線診断装置 |
-
2013
- 2013-11-18 JP JP2013237820A patent/JP6264855B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0956669A (ja) * | 1995-08-23 | 1997-03-04 | Olympus Optical Co Ltd | 手術用顕微鏡装置 |
JPH10221637A (ja) * | 1997-02-10 | 1998-08-21 | Olympus Optical Co Ltd | 頭部装着型画像表示装置 |
JP2001111991A (ja) * | 1999-10-08 | 2001-04-20 | Olympus Optical Co Ltd | 顔面装着型映像表示装置 |
JP2008067218A (ja) * | 2006-09-08 | 2008-03-21 | Sony Corp | 撮像表示装置、撮像表示方法 |
JP2008242048A (ja) * | 2007-03-27 | 2008-10-09 | Toshiba Corp | 画像表示装置および画像表示方法 |
JP2011128220A (ja) * | 2009-12-15 | 2011-06-30 | Toshiba Corp | 情報提示装置、情報提示方法及びプログラム |
US20120212484A1 (en) * | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content placement using distance and location information |
JP2012104156A (ja) * | 2010-06-17 | 2012-05-31 | Ns Solutions Corp | 情報処理装置、情報処理方法及びプログラム |
WO2013001635A1 (ja) * | 2011-06-30 | 2013-01-03 | 医療法人社団神▲崎▼循環器クリニック | X線診断装置 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170004526A (ko) * | 2015-07-03 | 2017-01-11 | 두산인프라코어 주식회사 | 건설기계의 가이던스용 웨어러블 디바이스 및 이를 이용한 작업정보 표시 방법 |
KR102506369B1 (ko) * | 2015-07-03 | 2023-03-06 | 현대두산인프라코어 주식회사 | 건설기계의 가이던스용 웨어러블 디바이스 및 이를 이용한 작업정보 표시 방법 |
JP2017055233A (ja) * | 2015-09-09 | 2017-03-16 | セイコーエプソン株式会社 | 表示装置、表示システム、及び、表示装置の制御方法 |
JP7292878B2 (ja) | 2016-03-17 | 2023-06-19 | ベクトン・ディキンソン・アンド・カンパニー | 患者アバターを用いた医療記録システム |
JP2022064915A (ja) * | 2016-03-17 | 2022-04-26 | ベクトン・ディキンソン・アンド・カンパニー | 患者アバターを用いた医療記録システム |
JP2019514105A (ja) * | 2016-03-17 | 2019-05-30 | ベクトン・ディキンソン・アンド・カンパニーBecton, Dickinson And Company | 患者アバターを用いた医療記録システム |
US10842349B2 (en) | 2017-01-30 | 2020-11-24 | Seiko Epson Corporation | Endoscope operation support system |
JP2018121686A (ja) * | 2017-01-30 | 2018-08-09 | セイコーエプソン株式会社 | 内視鏡操作支援システム |
JP2019005095A (ja) * | 2017-06-23 | 2019-01-17 | ウエストユニティス株式会社 | 遠隔支援システム、情報提示システム、表示システムおよび手術支援システム |
JP2019086556A (ja) * | 2017-11-02 | 2019-06-06 | マクセル株式会社 | 虚像表示装置およびそれを用いたヘッドマウントディスプレイ |
JP7036572B2 (ja) | 2017-11-02 | 2022-03-15 | マクセル株式会社 | 虚像表示装置およびそれを用いたヘッドマウントディスプレイ |
US11297304B2 (en) | 2017-11-02 | 2022-04-05 | Maxell, Ltd. | Virtual image display device and head mounted display using same |
WO2019088071A1 (ja) * | 2017-11-02 | 2019-05-09 | マクセル株式会社 | 虚像表示装置およびそれを用いたヘッドマウントディスプレイ |
JP2020014160A (ja) * | 2018-07-19 | 2020-01-23 | 国立大学法人 筑波大学 | 透過型ヘッドマウントディスプレイ装置及びプログラム |
CN112753066A (zh) * | 2019-07-25 | 2021-05-04 | Ntt通信公司 | 影像显示控制装置、方法以及程序 |
CN112753066B (zh) * | 2019-07-25 | 2024-03-22 | Ntt通信公司 | 影像显示控制装置、方法以及程序记录介质 |
Also Published As
Publication number | Publication date |
---|---|
JP6264855B2 (ja) | 2018-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10169925B2 (en) | Head mounted display and control method for head mounted display | |
JP6299067B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6264855B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6252004B2 (ja) | 情報処理装置、情報処理方法、および、情報処理システム | |
US11341726B2 (en) | Information processing apparatus, information processing method, and information processing system | |
CN105607255B (zh) | 头部佩戴型显示装置、控制其的方法及计算机可读存储介质 | |
JP6337418B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP2015019679A (ja) | 情報処理装置、情報処理方法、および、情報処理システム | |
JP6369005B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6311393B2 (ja) | 情報処理装置、情報処理方法、および、情報処理システム | |
JP2017134575A (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP6409927B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
WO2023102500A1 (en) | Methods for controlling performance of extended reality display systems | |
JP2015176526A (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160921 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171211 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6264855 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |