JP2020014160A - 透過型ヘッドマウントディスプレイ装置及びプログラム - Google Patents
透過型ヘッドマウントディスプレイ装置及びプログラム Download PDFInfo
- Publication number
- JP2020014160A JP2020014160A JP2018136222A JP2018136222A JP2020014160A JP 2020014160 A JP2020014160 A JP 2020014160A JP 2018136222 A JP2018136222 A JP 2018136222A JP 2018136222 A JP2018136222 A JP 2018136222A JP 2020014160 A JP2020014160 A JP 2020014160A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- display
- subject
- transmission type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 80
- 238000003384 imaging method Methods 0.000 claims abstract description 34
- 210000003205 muscle Anatomy 0.000 claims description 69
- 238000001514 detection method Methods 0.000 claims description 48
- 238000001356 surgical procedure Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 23
- 239000008186 active pharmaceutical agent Substances 0.000 description 29
- 210000000744 eyelid Anatomy 0.000 description 26
- 230000008859 change Effects 0.000 description 22
- 238000000034 method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000003183 myoelectrical effect Effects 0.000 description 8
- 230000036772 blood pressure Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000013256 coordination polymer Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 208000002847 Surgical Wound Diseases 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 210000000966 temporal muscle Anatomy 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Landscapes
- Eyeglasses (AREA)
- Endoscopes (AREA)
- Transforming Electric Information Into Light Information (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】使い勝手を向上させることができる透過型ヘッドマウントディスプレイ装置及びプログラムを提供する。【解決手段】透過型ヘッドマウントディスプレイ装置は、被写体を撮像する撮像部と、被写体から入射する光を装着者の目に対して透過させつつ、入力される画像信号に基づく画像を装着者の目に対して表示する透過型表示部と、撮像部が撮像する被写体の像が拡大された拡大画像を生成するとともに、生成した拡大画像を示す画像信号を透過型表示部に出力することにより、透過型表示部の表示面の少なくとも一部に拡大画像を表示させる表示制御部とを備える。【選択図】図１
Description
本発明は、透過型ヘッドマウントディスプレイ装置及びプログラムに関する。
従来、例えば手術時の術野の像を拡大するルーペ機能と、拡大された像を撮像して記録する撮像機能とを併せ持つ双眼ルーペに関する技術が開示されている（例えば、特許文献１を参照）。
しかしながら、特許文献１に示すような従来技術によると、拡大倍率が容易に変更できないために作業内容に応じた視野が得られなかったり、像を拡大することにより視野が狭まるために視野範囲外の異変に気づきにくかったりするという課題があった。また、例えば手術中においては、装着者（例えば、医師などの術者）は、手技のために両手や両足がふさがっていることがある。したがって、仮に拡大倍率などを変更する機能を有していたとしても、その操作に手や足などを使えないという操作上の制約も生じていた。すなわち、従来技術によると、装着者にとって使い勝手のよい製品を提供することができないという課題があった。
本発明の一実施形態は、被写体を撮像する撮像部と、前記被写体から入射する光を装着者の目に対して透過させつつ、入力される画像信号に基づく画像を装着者の目に対して表示する透過型表示部と、前記撮像部が撮像する前記被写体の像が拡大された拡大画像を生成するとともに、生成した前記拡大画像を示す画像信号を前記透過型表示部に出力することにより、前記透過型表示部の表示面の少なくとも一部に前記拡大画像を表示させる表示制御部とを備える透過型ヘッドマウントディスプレイ装置である。
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、装着者の顔の筋肉の状態を検出する筋状態検出部をさらに備え、前記表示制御部は、前記筋状態検出部の検出結果に基づいて前記拡大画像を生成する。
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記筋状態検出部の検出結果に基づいて、前記拡大画像の拡大率を算出する拡大率算出部をさらに備え、前記表示制御部は、前記拡大率算出部が算出する前記拡大率に応じた前記拡大画像を生成する。
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記筋状態検出部の検出結果に基づいて、前記拡大画像の前記表示面における表示面積を算出する表示面積算出部をさらに備え、前記表示制御部は、前記表示面積算出部が算出する前記表示面積に応じた前記拡大画像を生成する。
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記表示制御部は、予め記憶されている前記被写体の三次元画像を、前記表示面を介して装着者に視認される前記被写体の像に重ねて前記表示面に表示させる。
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記表示面を介して装着者に視認される前記被写体の像とは、前記拡大画像である。
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記表示面を介して装着者に視認される前記被写体の像とは、前記表示面を透過する光による前記被写体の像である。
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記被写体とは手術中の患者であり、前記患者の容体を示す患者情報を取得する患者情報取得部と、予め記憶されている手術手順情報と、前記患者に対する手術の状況を示す手術状況情報とに基づいて、手術の状況を判定する状況判定部とをさらに備え、前記表示制御部は、前記状況判定部の判定結果に基づいて、前記患者情報取得部が取得する前記患者情報に基づく患者情報画像を前記表示面に表示させる。
本発明の一実施形態は、上述の透過型ヘッドマウントディスプレイ装置において、前記拡大画像と、前記表示制御部が画像を拡大する前の前記被写体の画像とを、記憶部に記憶させる画像記憶制御部をさらに備える。
本発明の一実施形態は、被写体を撮像する撮像部と、前記被写体から入射する光を装着者の目に対して透過させつつ、入力される画像信号に基づく画像を装着者の目に対して表示する透過型表示部と、を備える透過型ヘッドマウントディスプレイ装置のコンピュータに、前記撮像部が撮像する前記被写体の像が拡大された拡大画像を生成する拡大画像生成ステップと、前記拡大画像生成ステップにおいて生成された前記拡大画像を示す画像信号を前記透過型表示部に出力することにより、前記透過型表示部の表示面の少なくとも一部に前記拡大画像を表示させる画像信号出力ステップとを実行させるためのプログラムである。
本発明によれば、使い勝手を向上させることができる透過型ヘッドマウントディスプレイ装置及びプログラムを提供することができる。
［実施形態］
以下、図面を参照して本実施形態の透過型ヘッドマウントディスプレイ装置１０について説明する。
以下、図面を参照して本実施形態の透過型ヘッドマウントディスプレイ装置１０について説明する。
［透過型ヘッドマウントディスプレイ装置１０の外観構成］
図１は、本実施形態の透過型ヘッドマウントディスプレイ装置１０の外観構成の一例を示す図である。
透過型ヘッドマウントディスプレイ装置１０は、装着者ＷＲの頭部に装着される。透過型ヘッドマウントディスプレイ装置１０は、筋状態センサ２０に接続される。筋状態センサ２０は、装着者ＷＲの顔の筋肉の状態を取得する。ここで、「筋肉の状態」との用語には、筋電位、筋肉又は皮膚の変位量、皮膚の皺の数や形状などの意味が含まれる。本実施形態の一例では、筋状態センサ２０は、装着者ＷＲの顔の筋肉の筋電位を取得する。
また、透過型ヘッドマウントディスプレイ装置１０は、撮像部ＣＡＭと、透過型表示部ＤＳと、表示制御部１００とを備える。この透過型ヘッドマウントディスプレイ装置１０の機能構成について図２を参照して説明する。
図１は、本実施形態の透過型ヘッドマウントディスプレイ装置１０の外観構成の一例を示す図である。
透過型ヘッドマウントディスプレイ装置１０は、装着者ＷＲの頭部に装着される。透過型ヘッドマウントディスプレイ装置１０は、筋状態センサ２０に接続される。筋状態センサ２０は、装着者ＷＲの顔の筋肉の状態を取得する。ここで、「筋肉の状態」との用語には、筋電位、筋肉又は皮膚の変位量、皮膚の皺の数や形状などの意味が含まれる。本実施形態の一例では、筋状態センサ２０は、装着者ＷＲの顔の筋肉の筋電位を取得する。
また、透過型ヘッドマウントディスプレイ装置１０は、撮像部ＣＡＭと、透過型表示部ＤＳと、表示制御部１００とを備える。この透過型ヘッドマウントディスプレイ装置１０の機能構成について図２を参照して説明する。
［透過型ヘッドマウントディスプレイ装置１０の機能構成］
図２は、本実施形態の透過型ヘッドマウントディスプレイ装置１０の機能構成の一例を示す図である。透過型ヘッドマウントディスプレイ装置１０は、上述した撮像部ＣＡＭ、透過型表示部ＤＳ及び表示制御部１００の他に、筋状態検出部２００と、相対位置検出部３００と、三次元画像取得部４００と、手術手順情報取得部５００と、患者情報取得部６００とを備える。
これら各部のうち、まず撮像部ＣＡＭ、透過型表示部ＤＳ、表示制御部１００及び筋状態検出部２００について説明する。相対位置検出部３００、三次元画像取得部４００、手術手順情報取得部５００及び患者情報取得部６００については、後述の「変形例」において説明する。
図２は、本実施形態の透過型ヘッドマウントディスプレイ装置１０の機能構成の一例を示す図である。透過型ヘッドマウントディスプレイ装置１０は、上述した撮像部ＣＡＭ、透過型表示部ＤＳ及び表示制御部１００の他に、筋状態検出部２００と、相対位置検出部３００と、三次元画像取得部４００と、手術手順情報取得部５００と、患者情報取得部６００とを備える。
これら各部のうち、まず撮像部ＣＡＭ、透過型表示部ＤＳ、表示制御部１００及び筋状態検出部２００について説明する。相対位置検出部３００、三次元画像取得部４００、手術手順情報取得部５００及び患者情報取得部６００については、後述の「変形例」において説明する。
撮像部ＣＡＭは、例えば動画カラーカメラなどを備えており、被写体ＳＪを撮像する。撮像部ＣＡＭは、撮像した被写体ＳＪの像を示す画像信号ＣＰを表示制御部１００に出力する。
透過型表示部ＤＳは、透明の液晶ディスプレイなどを備えており、光を透過させるとともに、表示制御部１００の制御に基づく画像ＩＭＧを表示可能である。これら撮像部ＣＡＭが撮像する像及び透過型表示部ＤＳに表示される画像ＩＭＧの表示形態について、図３を参照して説明する。
透過型表示部ＤＳは、透明の液晶ディスプレイなどを備えており、光を透過させるとともに、表示制御部１００の制御に基づく画像ＩＭＧを表示可能である。これら撮像部ＣＡＭが撮像する像及び透過型表示部ＤＳに表示される画像ＩＭＧの表示形態について、図３を参照して説明する。
［表示形態の概要］
図３は、本実施形態の透過型ヘッドマウントディスプレイ装置１０の表示形態の概要を示す図である。被写体ＳＪから透過型表示部ＤＳに対して入射する光（入射光Ｌ１）は、透過型表示部ＤＳを透過して透過光Ｌ１ａとなり、装着者ＷＲの目ＥＹＥに到達する。また、被写体ＳＪから撮像部ＣＡＭに入射する光（被写体光Ｌ３）は、撮像部ＣＡＭに撮像される。撮像部ＣＡＭに撮像された被写体光Ｌ３は、表示制御部１００によって画像処理され、透過型表示部ＤＳの表示面ＳＦに画像ＩＭＧ（例えば、拡大画像ＰＺ）として表示される。
図３は、本実施形態の透過型ヘッドマウントディスプレイ装置１０の表示形態の概要を示す図である。被写体ＳＪから透過型表示部ＤＳに対して入射する光（入射光Ｌ１）は、透過型表示部ＤＳを透過して透過光Ｌ１ａとなり、装着者ＷＲの目ＥＹＥに到達する。また、被写体ＳＪから撮像部ＣＡＭに入射する光（被写体光Ｌ３）は、撮像部ＣＡＭに撮像される。撮像部ＣＡＭに撮像された被写体光Ｌ３は、表示制御部１００によって画像処理され、透過型表示部ＤＳの表示面ＳＦに画像ＩＭＧ（例えば、拡大画像ＰＺ）として表示される。
すなわち、透過型表示部ＤＳは、被写体ＳＪから入射する入射光Ｌ１を装着者ＷＲの目ＥＹＥに対して透過させつつ、入力される画像信号ＰＳに基づく画像ＩＭＧを装着者ＷＲの目ＥＹＥに対して表示する。
ここで、撮像部ＣＡＭが撮像した画像ＩＭＧが透過型表示部ＤＳの表示面ＳＦに表示された場合に、透過型表示部ＤＳの表示面ＳＦを透過して装着者ＷＲに視認される像と重なり合うように、撮像部ＣＡＭの撮像方向及び画角が定められていることが好ましい。
表示制御部１００は、撮像部ＣＡＭが撮像する被写体ＳＪの像が拡大された拡大画像ＰＺを生成する。表示制御部１００は、生成した拡大画像ＰＺを示す画像信号ＰＳを透過型表示部ＤＳに出力することにより、透過型表示部ＤＳの表示面ＳＦの少なくとも一部に拡大画像ＰＺを表示させる。
ここで、「表示面ＳＦの少なくとも一部に拡大画像ＰＺを表示させる」とは、表示面ＳＦの表示可能面積のうちの一部の領域に拡大画像ＰＺが表示されることと、表示制御部１００が動作している時間のうちの一部の時間帯に拡大画像ＰＺが表示されることとのいずれもが含まれる。
ここで、「表示面ＳＦの少なくとも一部に拡大画像ＰＺを表示させる」とは、表示面ＳＦの表示可能面積のうちの一部の領域に拡大画像ＰＺが表示されることと、表示制御部１００が動作している時間のうちの一部の時間帯に拡大画像ＰＺが表示されることとのいずれもが含まれる。
［拡大画像ＰＺの一例］
図４は、本実施形態の表示制御部１００が表示させる拡大画像ＰＺの一例を示す図である。この一例では、被写体ＳＪとは、手術中の患者ＰＴの一部（例えば、術野）である。また、装着者ＷＲとは、手術中の医師である。装着者ＷＲは、透過型ヘッドマウントディスプレイ装置１０を装着しながら被写体ＳＪを見る。この場合、被写体ＳＪから透過型表示部ＤＳの表示面ＳＦを透過した透過光Ｌ１ａは、装着者ＷＲに被写体像ＴＩとして視認される。表示制御部１００は、この被写体像ＴＩのうちの一部を拡大した画像ＩＭＧを拡大画像ＰＺとして表示面ＳＦに表示させる。この結果、表示面ＳＦを見る装着者ＷＲには、被写体像ＴＩと拡大画像ＰＺとが重なって視認される。
図４は、本実施形態の表示制御部１００が表示させる拡大画像ＰＺの一例を示す図である。この一例では、被写体ＳＪとは、手術中の患者ＰＴの一部（例えば、術野）である。また、装着者ＷＲとは、手術中の医師である。装着者ＷＲは、透過型ヘッドマウントディスプレイ装置１０を装着しながら被写体ＳＪを見る。この場合、被写体ＳＪから透過型表示部ＤＳの表示面ＳＦを透過した透過光Ｌ１ａは、装着者ＷＲに被写体像ＴＩとして視認される。表示制御部１００は、この被写体像ＴＩのうちの一部を拡大した画像ＩＭＧを拡大画像ＰＺとして表示面ＳＦに表示させる。この結果、表示面ＳＦを見る装着者ＷＲには、被写体像ＴＩと拡大画像ＰＺとが重なって視認される。
［拡大画像ＰＺの表示態様の変更］
次に、表示制御部１００による拡大画像ＰＺの表示態様の変更について説明する。
透過型ヘッドマウントディスプレイ装置１０は、筋状態検出部２００を備えている。表示制御部１００は、筋状態検出部２００の筋状態検出結果ＭＳに基づいて拡大画像ＰＺを生成する。ここで、筋状態検出部２００は、筋状態センサ２０が出力する筋状態信号ＭＳＧに基づいて、装着者ＷＲの顔の筋肉の状態を検出する。この一例では、筋状態センサ２０は、装着者ＷＲの右目の周囲に貼付される右目用センサＳＲＥと、装着者ＷＲの左目の周囲に貼付される左目用センサＳＬＥとを備えている。筋状態センサ２０は、右目用センサＳＲＥによって装着者ＷＲの右目周辺の顔の筋肉（例えば、眼輪筋、側頭筋など）の筋電位を取得する。筋状態センサ２０は、左目用センサＳＬＥによって装着者ＷＲの左目周辺の顔の筋肉（例えば、眼輪筋、側頭筋など）の筋電位を取得する。すなわち、本実施形態の一例の構成によると、筋状態センサ２０は、装着者ＷＲの右目の筋電位と、左目の筋電位とを個別に取得可能である。筋状態センサ２０は、取得した筋電位を示す筋状態信号ＭＳＧを筋状態検出部２００に出力する。
筋状態検出部２００は、筋状態センサ２０が出力する筋状態信号ＭＳＧに基づいて、装着者ＷＲの目の筋肉の状態を検出する。本実施形態の一例では、筋状態検出部２００は、左目右目それぞれについて、眼瞼を閉じる動作又は眼瞼を開く動作を検出可能である。
次に、表示制御部１００による拡大画像ＰＺの表示態様の変更について説明する。
透過型ヘッドマウントディスプレイ装置１０は、筋状態検出部２００を備えている。表示制御部１００は、筋状態検出部２００の筋状態検出結果ＭＳに基づいて拡大画像ＰＺを生成する。ここで、筋状態検出部２００は、筋状態センサ２０が出力する筋状態信号ＭＳＧに基づいて、装着者ＷＲの顔の筋肉の状態を検出する。この一例では、筋状態センサ２０は、装着者ＷＲの右目の周囲に貼付される右目用センサＳＲＥと、装着者ＷＲの左目の周囲に貼付される左目用センサＳＬＥとを備えている。筋状態センサ２０は、右目用センサＳＲＥによって装着者ＷＲの右目周辺の顔の筋肉（例えば、眼輪筋、側頭筋など）の筋電位を取得する。筋状態センサ２０は、左目用センサＳＬＥによって装着者ＷＲの左目周辺の顔の筋肉（例えば、眼輪筋、側頭筋など）の筋電位を取得する。すなわち、本実施形態の一例の構成によると、筋状態センサ２０は、装着者ＷＲの右目の筋電位と、左目の筋電位とを個別に取得可能である。筋状態センサ２０は、取得した筋電位を示す筋状態信号ＭＳＧを筋状態検出部２００に出力する。
筋状態検出部２００は、筋状態センサ２０が出力する筋状態信号ＭＳＧに基づいて、装着者ＷＲの目の筋肉の状態を検出する。本実施形態の一例では、筋状態検出部２００は、左目右目それぞれについて、眼瞼を閉じる動作又は眼瞼を開く動作を検出可能である。
なお、本実施形態の一例において筋状態検出部２００は、開瞼動作や閉瞼動作を検出するとして説明するが、これに限られない。筋状態検出部２００は、口や顎の動作（例えば、奥歯の噛みしめ動作や口をあける動作）を検出するものであってもかまわない。
表示制御部１００は、筋状態検出部２００が検出する装着者ＷＲの筋肉の状態に応じて、透過型表示部ＤＳに表示させる画像ＩＭＧを変更する。本実施形態の一例では、右目の動作が、透過型表示部ＤＳに表示される画像ＩＭＧの拡大率ＺＲの変更操作に割り当てられている。また、左目の動作が、透過型表示部ＤＳに表示される画像ＩＭＧの表示面積ＤＡの変更操作に割り当てられている。なお、この目の動作と変更操作との割り当ての関係は一例であって、例えば、右目の動作が表示面積ＤＡの変更操作に、左目の動作が拡大率ＺＲの変更操作に、それぞれ割り当てられていてもよい。
［拡大率ＺＲの変更］
表示制御部１００は、画像生成部１１０と、拡大率算出部１２０と、表示面積算出部１３０とを備えている。
拡大率算出部１２０は、筋状態検出部２００の筋状態検出結果ＭＳに基づいて、拡大画像ＰＺの拡大率ＺＲを算出する。画像生成部１１０は、拡大率算出部１２０が算出する拡大率ＺＲに応じた拡大画像ＰＺを生成する。
表示制御部１００は、画像生成部１１０と、拡大率算出部１２０と、表示面積算出部１３０とを備えている。
拡大率算出部１２０は、筋状態検出部２００の筋状態検出結果ＭＳに基づいて、拡大画像ＰＺの拡大率ＺＲを算出する。画像生成部１１０は、拡大率算出部１２０が算出する拡大率ＺＲに応じた拡大画像ＰＺを生成する。
［表示面積ＤＡの変更]
筋状態検出部２００の筋状態検出結果ＭＳに基づいて、拡大画像ＰＺの表示面ＳＦにおける表示面積ＤＡを算出する。画像生成部１１０は、表示面積算出部１３０が算出する表示面積ＤＡに応じた拡大画像ＰＺを生成する。
筋状態検出部２００の筋状態検出結果ＭＳに基づいて、拡大画像ＰＺの表示面ＳＦにおける表示面積ＤＡを算出する。画像生成部１１０は、表示面積算出部１３０が算出する表示面積ＤＡに応じた拡大画像ＰＺを生成する。
［透過型ヘッドマウントディスプレイ装置１０の動作の一例］
次に図５を参照して、透過型ヘッドマウントディスプレイ装置１０の動作の一例について説明する。
次に図５を参照して、透過型ヘッドマウントディスプレイ装置１０の動作の一例について説明する。
図５は、本実施形態の透過型ヘッドマウントディスプレイ装置１０の動作の一例を示す図である。
（ステップＳ１０）撮像部ＣＡＭは、被写体ＳＪを撮像する。撮像部ＣＡＭは、撮像した像の画像信号ＣＰを表示制御部１００に対して出力する。表示制御部１００の画像生成部１１０は、画像信号ＣＰを取得する。
（ステップＳ２０）筋状態検出部２００は、筋状態信号ＭＳＧを取得する。この筋状態信号ＭＳＧは、装着者ＷＲの右目及び左目のそれぞれの筋肉の状態を示す。筋状態検出部２００は、取得した筋状態信号ＭＳＧに基づいて、右目の開瞼又は閉瞼、及び左目の開瞼又は閉瞼を検出して、筋状態検出結果ＭＳを生成する。筋状態検出部２００は、筋状態検出結果ＭＳを拡大率算出部１２０及び表示面積算出部１３０に出力する。この一例では、筋状態検出部２００は、右目の筋状態検出結果ＭＳを拡大率算出部１２０に、左目の筋状態検出結果ＭＳを表示面積算出部１３０にそれぞれ出力する。筋状態検出部２００は、右目の開瞼又は閉瞼が行われた場合（ステップＳ３０；ＹＥＳ）には、処理をステップＳ４０に進める。筋状態検出部２００は、左目の開瞼又は閉瞼が行われた場合（ステップＳ３０；ＮＯ）には、処理をステップＳ７０に進める。
（ステップＳ１０）撮像部ＣＡＭは、被写体ＳＪを撮像する。撮像部ＣＡＭは、撮像した像の画像信号ＣＰを表示制御部１００に対して出力する。表示制御部１００の画像生成部１１０は、画像信号ＣＰを取得する。
（ステップＳ２０）筋状態検出部２００は、筋状態信号ＭＳＧを取得する。この筋状態信号ＭＳＧは、装着者ＷＲの右目及び左目のそれぞれの筋肉の状態を示す。筋状態検出部２００は、取得した筋状態信号ＭＳＧに基づいて、右目の開瞼又は閉瞼、及び左目の開瞼又は閉瞼を検出して、筋状態検出結果ＭＳを生成する。筋状態検出部２００は、筋状態検出結果ＭＳを拡大率算出部１２０及び表示面積算出部１３０に出力する。この一例では、筋状態検出部２００は、右目の筋状態検出結果ＭＳを拡大率算出部１２０に、左目の筋状態検出結果ＭＳを表示面積算出部１３０にそれぞれ出力する。筋状態検出部２００は、右目の開瞼又は閉瞼が行われた場合（ステップＳ３０；ＹＥＳ）には、処理をステップＳ４０に進める。筋状態検出部２００は、左目の開瞼又は閉瞼が行われた場合（ステップＳ３０；ＮＯ）には、処理をステップＳ７０に進める。
なお、ここでいう開瞼動作（又は、単に開瞼）には、瞼を閉じた状態から開いた状態にする動作や、瞼を開いた状態からさらに大きく開く動作が含まれる。また、ここでいう閉瞼動作（又は、単に閉瞼）には、瞼を開いた状態から閉じた状態にする動作や、瞼を開いた状態から閉じきらずに細める動作や、瞼を閉じた状態からさらにきつく閉じる動作が含まれる。
また、開瞼動作又は閉瞼動作の筋状態検出部２００による判定条件（筋電位の変化の幅やしきい値など。）は、装着者ＷＲごとに設定可能であってもよい。この場合には、装着者ＷＲは、透過型ヘッドマウントディスプレイ装置１０の初期設定時のキャリブレーション操作によって、開瞼動作又は閉瞼動作の判定条件を登録する。
また、開瞼動作又は閉瞼動作の筋状態検出部２００による判定条件（筋電位の変化の幅やしきい値など。）は、装着者ＷＲごとに設定可能であってもよい。この場合には、装着者ＷＲは、透過型ヘッドマウントディスプレイ装置１０の初期設定時のキャリブレーション操作によって、開瞼動作又は閉瞼動作の判定条件を登録する。
［右目の動作：拡大率ＺＲの変更］
この一例では、右目の開瞼動作が拡大画像ＰＺの倍率拡大に、閉瞼動作が拡大画像ＰＺの倍率縮小にそれぞれ割り当てられている。
（ステップＳ４０）拡大率算出部１２０は、筋状態信号ＭＳＧが右目の開瞼動作を示す場合（ステップＳ４０；ＹＥＳ）には、拡大画像ＰＺの拡大率ＺＲを拡大する（ステップＳ５０）。また、拡大率算出部１２０は、筋状態信号ＭＳＧが右目の閉瞼動作を示す場合（ステップＳ４０；ＮＯ）には、拡大画像ＰＺの拡大率ＺＲを縮小する（ステップＳ６０）。
この一例では、右目の開瞼動作が拡大画像ＰＺの倍率拡大に、閉瞼動作が拡大画像ＰＺの倍率縮小にそれぞれ割り当てられている。
（ステップＳ４０）拡大率算出部１２０は、筋状態信号ＭＳＧが右目の開瞼動作を示す場合（ステップＳ４０；ＹＥＳ）には、拡大画像ＰＺの拡大率ＺＲを拡大する（ステップＳ５０）。また、拡大率算出部１２０は、筋状態信号ＭＳＧが右目の閉瞼動作を示す場合（ステップＳ４０；ＮＯ）には、拡大画像ＰＺの拡大率ＺＲを縮小する（ステップＳ６０）。
図６は、本実施形態の拡大画像ＰＺの拡大率ＺＲの変更の具体例を示す図である。同図（Ａ）〜（Ｃ）には、拡大率ＺＲが３倍である拡大画像ＰＺ（拡大画像ＰＺ１）、４倍である拡大画像ＰＺ（拡大画像ＰＺ２）、５倍である拡大画像ＰＺ（拡大画像ＰＺ３）をそれぞれ示す。ここで、拡大率ＺＲとは、透過型表示部ＤＳの表示面ＳＦを透過する被写体像ＴＩの像の大きさに対する拡大画像ＰＺの像の大きさの比である。
なお、この一例では、拡大率ＺＲが３倍〜５倍の３段階に変化するように説明したが、これに限られない。拡大率ＺＲは、２段階や４段階以上に変化してもよく、実質上無段階に変化してもよい。
なお、この一例では、拡大率ＺＲが３倍〜５倍の３段階に変化するように説明したが、これに限られない。拡大率ＺＲは、２段階や４段階以上に変化してもよく、実質上無段階に変化してもよい。
［左目の動作：表示面積ＤＡの変更］
図５に戻り、この一例では、左目の開瞼動作が拡大画像ＰＺの表示面積ＤＡの拡大に、閉瞼動作が拡大画像ＰＺの表示面積ＤＡの縮小にそれぞれ割り当てられている。
（ステップＳ７０）表示面積算出部１３０は、筋状態信号ＭＳＧが左目の開瞼動作を示す場合（ステップＳ７０；ＹＥＳ）には、拡大画像ＰＺの表示面積ＤＡを拡大する（ステップＳ８０）。また、表示面積算出部１３０は、筋状態信号ＭＳＧが左目の閉瞼動作を示す場合（ステップＳ７０；ＮＯ）には、拡大画像ＰＺの表示面積ＤＡを縮小する（ステップＳ９０）。
図５に戻り、この一例では、左目の開瞼動作が拡大画像ＰＺの表示面積ＤＡの拡大に、閉瞼動作が拡大画像ＰＺの表示面積ＤＡの縮小にそれぞれ割り当てられている。
（ステップＳ７０）表示面積算出部１３０は、筋状態信号ＭＳＧが左目の開瞼動作を示す場合（ステップＳ７０；ＹＥＳ）には、拡大画像ＰＺの表示面積ＤＡを拡大する（ステップＳ８０）。また、表示面積算出部１３０は、筋状態信号ＭＳＧが左目の閉瞼動作を示す場合（ステップＳ７０；ＮＯ）には、拡大画像ＰＺの表示面積ＤＡを縮小する（ステップＳ９０）。
図７は、本実施形態の拡大画像ＰＺの表示面積ＤＡの変更の具体例を示す図である。同図（Ａ）〜（Ｃ）には、表示面積ＤＡが小さい場合の拡大画像ＰＺ（拡大画像ＰＺ１１）、中程度である拡大画像ＰＺ（拡大画像ＰＺ１２）、大きい拡大画像ＰＺ（拡大画像ＰＺ１３）をそれぞれ示す。ここで、表示面積ＤＡとは、透過型表示部ＤＳの表示面ＳＦに表示される拡大画像ＰＺの面積である。また、表示面積ＤＡとは、表示面ＳＦの全面積に対する拡大画像ＰＺの面積の比であってもよい。
なお、この一例では、表示面積ＤＡが小〜大の３段階に変化するように説明したが、これに限られない。表示面積ＤＡは、２段階や４段階以上に変化してもよく、実質上無段階に変化してもよい。
なお、この一例では、表示面積ＤＡが小〜大の３段階に変化するように説明したが、これに限られない。表示面積ＤＡは、２段階や４段階以上に変化してもよく、実質上無段階に変化してもよい。
（ステップＳ１００）図５に戻り、画像生成部１１０は、ステップＳ４０〜ステップＳ６０において算出された拡大率ＺＲ、又はステップＳ７０〜ステップＳ９０において算出された表示面積ＤＡに基づいて、撮像部ＣＡＭが出力した画像信号ＣＰを画像処理して、拡大画像ＰＺを生成する。画像生成部１１０は、生成した拡大画像ＰＺを透過型表示部ＤＳに出力する。これにより、透過型表示部ＤＳには、拡大画像ＰＺが表示される。
［実施形態のまとめ］
以上説明したように、透過型ヘッドマウントディスプレイ装置１０は、表示制御部１００は、透過型表示部ＤＳの表示面ＳＦの少なくとも一部に拡大画像ＰＺを表示させる。このように構成された透過型ヘッドマウントディスプレイ装置１０によれば、装着者ＷＲに対して透過像と拡大画像ＰＺとを同時に提示することができる。
また、透過型ヘッドマウントディスプレイ装置１０は、透過型表示部ＤＳの表示面ＳＦの全面に拡大画像ＰＺを表示させることにより、表示面積ＤＡの比較的大きな拡大画像ＰＺを提示することができる。表示面積ＤＡの比較的大きな拡大画像ＰＺが提示されることにより、装着者ＷＲは、拡大画像ＰＺの拡大率ＺＲが比較的大きい場合であっても、拡大画像ＰＺの画角（視野）を比較的大きくすることができる。
また、透過型ヘッドマウントディスプレイ装置１０は、透過型表示部ＤＳの表示面ＳＦの一部に拡大画像ＰＺを表示させることにより、拡大画像ＰＺを表示しない部分に、拡大画像ＰＺの周囲視野を透過させて提示することができる。ここで一般に拡大鏡などによって被写体ＳＪを拡大して観察している場合に、拡大された部分とともに、拡大された部分の周囲を同時に観察できることが好ましい。例えば、被写体ＳＪが手術中の患者ＰＴの術野である場合に、拡大された部分の周囲において出血等の異変が発生している場合がある。透過型ヘッドマウントディスプレイ装置１０は、装着者ＷＲに対して、拡大画像ＰＺの周囲視野を提示することにより、拡大画像ＰＺの周囲の異変（例えば、手術中の出血）等に気づかせやすくすることができる。
以上説明したように、透過型ヘッドマウントディスプレイ装置１０は、表示制御部１００は、透過型表示部ＤＳの表示面ＳＦの少なくとも一部に拡大画像ＰＺを表示させる。このように構成された透過型ヘッドマウントディスプレイ装置１０によれば、装着者ＷＲに対して透過像と拡大画像ＰＺとを同時に提示することができる。
また、透過型ヘッドマウントディスプレイ装置１０は、透過型表示部ＤＳの表示面ＳＦの全面に拡大画像ＰＺを表示させることにより、表示面積ＤＡの比較的大きな拡大画像ＰＺを提示することができる。表示面積ＤＡの比較的大きな拡大画像ＰＺが提示されることにより、装着者ＷＲは、拡大画像ＰＺの拡大率ＺＲが比較的大きい場合であっても、拡大画像ＰＺの画角（視野）を比較的大きくすることができる。
また、透過型ヘッドマウントディスプレイ装置１０は、透過型表示部ＤＳの表示面ＳＦの一部に拡大画像ＰＺを表示させることにより、拡大画像ＰＺを表示しない部分に、拡大画像ＰＺの周囲視野を透過させて提示することができる。ここで一般に拡大鏡などによって被写体ＳＪを拡大して観察している場合に、拡大された部分とともに、拡大された部分の周囲を同時に観察できることが好ましい。例えば、被写体ＳＪが手術中の患者ＰＴの術野である場合に、拡大された部分の周囲において出血等の異変が発生している場合がある。透過型ヘッドマウントディスプレイ装置１０は、装着者ＷＲに対して、拡大画像ＰＺの周囲視野を提示することにより、拡大画像ＰＺの周囲の異変（例えば、手術中の出血）等に気づかせやすくすることができる。
また、拡大画像ＰＺの拡大率ＺＲは、小さすぎても大きすぎても装着者ＷＲにとって不便であるため、状況によって変更できることが望ましい。透過型ヘッドマウントディスプレイ装置１０は、装着者ＷＲの顔の筋肉の状態に応じた操作に基づいて、拡大率ＺＲを変更する。このように構成された透過型ヘッドマウントディスプレイ装置１０によれば、装着者ＷＲは、両手両足がふさがった状態（例えば、手術中）であっても拡大画像ＰＺの拡大率ＺＲを変更することができる。
また、拡大画像ＰＺの表示面積ＤＡは、小さすぎても大きすぎても装着者ＷＲにとって不便であるため、状況によって変更できることが望ましい。透過型ヘッドマウントディスプレイ装置１０は、装着者ＷＲの顔の筋肉の状態に応じた操作に基づいて、表示面積ＤＡを変更する。このように構成された透過型ヘッドマウントディスプレイ装置１０によれば、装着者ＷＲは、両手両足がふさがった状態（例えば、手術中）であっても拡大画像ＰＺの表示面積ＤＡを変更することができる。
［変形例］
再び図２及び図４を参照して、透過型ヘッドマウントディスプレイ装置１０の変形例について説明する。
再び図２及び図４を参照して、透過型ヘッドマウントディスプレイ装置１０の変形例について説明する。
［画像重畳機能（ＭＲＩ／ＣＴの３次元画像）］
透過型ヘッドマウントディスプレイ装置１０は、三次元画像取得部４００を備えていてもよい。三次元画像記憶部３０には、被写体ＳＪの三次元画像ＴＤＩが予め記憶されている。ここで、被写体ＳＪの三次元画像ＴＤＩとは、被写体ＳＪが患者ＰＴである場合、患者ＰＴの術野のＣＴ（Computed Tomography）や、ＭＲＩ（magnetic resonance imaging）による画像が含まれる。
三次元画像取得部４００は、三次元画像記憶部３０から三次元画像ＴＤＩを取得する。三次元画像取得部４００は、取得した画像生成部１１０に出力する。画像生成部１１０は、拡大画像ＰＺとともに、三次元画像ＴＤＩを透過型表示部ＤＳの表示面ＳＦに表示させる。
透過型ヘッドマウントディスプレイ装置１０は、三次元画像取得部４００を備えていてもよい。三次元画像記憶部３０には、被写体ＳＪの三次元画像ＴＤＩが予め記憶されている。ここで、被写体ＳＪの三次元画像ＴＤＩとは、被写体ＳＪが患者ＰＴである場合、患者ＰＴの術野のＣＴ（Computed Tomography）や、ＭＲＩ（magnetic resonance imaging）による画像が含まれる。
三次元画像取得部４００は、三次元画像記憶部３０から三次元画像ＴＤＩを取得する。三次元画像取得部４００は、取得した画像生成部１１０に出力する。画像生成部１１０は、拡大画像ＰＺとともに、三次元画像ＴＤＩを透過型表示部ＤＳの表示面ＳＦに表示させる。
画像生成部１１０は、三次元画像ＴＤＩを、表示面ＳＦを介して装着者ＷＲに視認される被写体ＳＪの像に重ねて表示面ＳＦに表示させてもよい。
［その１：拡大画像ＰＺに対する三次元画像ＴＤＩの重畳表示］
表示制御部１００、拡大画像ＰＺに対して三次元画像ＴＤＩを重畳表示させる。具体的には、相対位置検出部３００は、被写体ＳＪに対する透過型ヘッドマウントディスプレイ装置１０の相対位置を、既知の手法によって検出する。より具体的には、相対位置検出部３００は、拡大画像ＰＺに示される画像の大きさ、位置及び方向と、三次元画像ＴＤＩに示される画像の大きさ、位置及び方向との相対差を、パターンマッチングなどの手法により算出する。
相対位置検出部３００は、算出した相対差を相対位置情報ＲＰとして画像生成部１１０に出力する。
画像生成部１１０は、相対位置検出部３００が算出した相対位置情報ＲＰに基づいて三次元画像ＴＤＩの表示サイズ、表示倍率、表示位置及び表示方向を算出し、三次元画像ＴＤＩの画像変換を行う。
画像生成部１１０は、画像変換後の三次元画像ＴＤＩを透過型表示部ＤＳの表示面ＳＦに表示させる。この結果、表示面ＳＦには、拡大画像ＰＺが示す画像と、三次元画像ＴＤＩが示す画像とが重畳表示される。
この一例の場合、表示面ＳＦを介して装着者ＷＲに視認される被写体ＳＪの像とは、拡大画像ＰＺである。
表示制御部１００、拡大画像ＰＺに対して三次元画像ＴＤＩを重畳表示させる。具体的には、相対位置検出部３００は、被写体ＳＪに対する透過型ヘッドマウントディスプレイ装置１０の相対位置を、既知の手法によって検出する。より具体的には、相対位置検出部３００は、拡大画像ＰＺに示される画像の大きさ、位置及び方向と、三次元画像ＴＤＩに示される画像の大きさ、位置及び方向との相対差を、パターンマッチングなどの手法により算出する。
相対位置検出部３００は、算出した相対差を相対位置情報ＲＰとして画像生成部１１０に出力する。
画像生成部１１０は、相対位置検出部３００が算出した相対位置情報ＲＰに基づいて三次元画像ＴＤＩの表示サイズ、表示倍率、表示位置及び表示方向を算出し、三次元画像ＴＤＩの画像変換を行う。
画像生成部１１０は、画像変換後の三次元画像ＴＤＩを透過型表示部ＤＳの表示面ＳＦに表示させる。この結果、表示面ＳＦには、拡大画像ＰＺが示す画像と、三次元画像ＴＤＩが示す画像とが重畳表示される。
この一例の場合、表示面ＳＦを介して装着者ＷＲに視認される被写体ＳＪの像とは、拡大画像ＰＺである。
［その２：透過光Ｌ１ａによる透過像に対する三次元画像ＴＤＩの重畳表示］
表示制御部１００、透過光Ｌ１ａによる被写体ＳＪの像（透過像）に対して三次元画像ＴＤＩを重畳表示させる。具体的には、相対位置検出部３００は、被写体ＳＪに対する透過型ヘッドマウントディスプレイ装置１０の相対位置を、既知の手法によって検出する。より具体的には、相対位置検出部３００は、撮像部ＣＡＭが撮像した画像（すなわち、画像生成部１１０による拡大前の画像）に示される画像の大きさ、位置及び方向と、三次元画像ＴＤＩに示される画像の大きさ、位置及び方向との相対差を、パターンマッチングなどの手法により算出する。
相対位置検出部３００は、算出した相対差を相対位置情報ＲＰとして画像生成部１１０に出力する。
画像生成部１１０は、相対位置検出部３００が算出した相対位置情報ＲＰに基づいて三次元画像ＴＤＩの表示サイズ、表示倍率、表示位置及び表示方向を算出し、三次元画像ＴＤＩの画像変換を行う。
画像生成部１１０は、画像変換後の三次元画像ＴＤＩを透過型表示部ＤＳの表示面ＳＦに表示させる。この結果、表示面ＳＦには、透過光Ｌ１ａによる被写体ＳＪの像と、三次元画像ＴＤＩが示す画像とが重畳表示される。
この一例の場合、表示面ＳＦを介して装着者ＷＲに視認される被写体ＳＪの像とは、表示面ＳＦを透過する透過光Ｌ１ａによる被写体ＳＪの像である。
表示制御部１００、透過光Ｌ１ａによる被写体ＳＪの像（透過像）に対して三次元画像ＴＤＩを重畳表示させる。具体的には、相対位置検出部３００は、被写体ＳＪに対する透過型ヘッドマウントディスプレイ装置１０の相対位置を、既知の手法によって検出する。より具体的には、相対位置検出部３００は、撮像部ＣＡＭが撮像した画像（すなわち、画像生成部１１０による拡大前の画像）に示される画像の大きさ、位置及び方向と、三次元画像ＴＤＩに示される画像の大きさ、位置及び方向との相対差を、パターンマッチングなどの手法により算出する。
相対位置検出部３００は、算出した相対差を相対位置情報ＲＰとして画像生成部１１０に出力する。
画像生成部１１０は、相対位置検出部３００が算出した相対位置情報ＲＰに基づいて三次元画像ＴＤＩの表示サイズ、表示倍率、表示位置及び表示方向を算出し、三次元画像ＴＤＩの画像変換を行う。
画像生成部１１０は、画像変換後の三次元画像ＴＤＩを透過型表示部ＤＳの表示面ＳＦに表示させる。この結果、表示面ＳＦには、透過光Ｌ１ａによる被写体ＳＪの像と、三次元画像ＴＤＩが示す画像とが重畳表示される。
この一例の場合、表示面ＳＦを介して装着者ＷＲに視認される被写体ＳＪの像とは、表示面ＳＦを透過する透過光Ｌ１ａによる被写体ＳＪの像である。
このように構成された透過型ヘッドマウントディスプレイ装置１０によれば、装着者ＷＲは、表示面ＳＦを透過する透過像や、拡大画像ＰＺ（すなわち、現在撮像されているライブ画像）と、三次元画像ＴＤＩ（すなわち、予め記憶されている過去画像）とを比較しつつ、作業を進めることができる。例えば、被写体ＳＪが手術中の患者ＰＴである場合に、装着者ＷＲ（例えば、手術中の医師）は、透過像や拡大画像ＰＺが示す部分（例えば、血管）を手術によって切開する前に、当該部分の構造を把握することができる。したがって、本変形例の透過型ヘッドマウントディスプレイ装置１０によれば、三次元画像ＴＤＩを手術などの作業のガイド画像として提示することができるため、作業をより精度よく進めることができる。
［患者情報の表示機能］
被写体ＳＪが手術中の患者ＰＴである場合において、透過型ヘッドマウントディスプレイ装置１０は、手術手順情報取得部５００及び患者情報取得部６００を備えていてもよい。
手術手順情報取得部５００は、手術手順情報記憶部４０に記憶されている手術手順情報ＳＩを取得する。この手術手順情報ＳＩには、患者ＰＴの手術の術式に応じた手術の手順、手術手順の各段階における患者ＰＴの容体（例えば、体温、心拍数、呼吸状態、血圧、酸素飽和度、血糖値、脳波、尿量）の管理値が含まれている。
患者情報取得部６００は、既存のモニタ装置５０が出力する患者情報ＰＩを取得する。患者情報ＰＩは、手術中の患者ＰＴの容体を示す。この患者情報ＰＩには、手術手順情報取得部５００が取得する手術手順情報ＳＩに応じた各種の情報が含まれている。
被写体ＳＪが手術中の患者ＰＴである場合において、透過型ヘッドマウントディスプレイ装置１０は、手術手順情報取得部５００及び患者情報取得部６００を備えていてもよい。
手術手順情報取得部５００は、手術手順情報記憶部４０に記憶されている手術手順情報ＳＩを取得する。この手術手順情報ＳＩには、患者ＰＴの手術の術式に応じた手術の手順、手術手順の各段階における患者ＰＴの容体（例えば、体温、心拍数、呼吸状態、血圧、酸素飽和度、血糖値、脳波、尿量）の管理値が含まれている。
患者情報取得部６００は、既存のモニタ装置５０が出力する患者情報ＰＩを取得する。患者情報ＰＩは、手術中の患者ＰＴの容体を示す。この患者情報ＰＩには、手術手順情報取得部５００が取得する手術手順情報ＳＩに応じた各種の情報が含まれている。
表示制御部１００は、状況判定部１４０を備える。状況判定部１４０は、手術手順情報取得部５００が取得する手術手順情報ＳＩと、患者ＰＴに対する手術の状況を示す手術状況情報ＳＳとに基づいて、手術の状況を判定する。ここで、手術状況情報ＳＳとは、例えば撮像部ＣＡＭによって撮像された画像である。
一例として、状況判定部１４０は、撮像部ＣＡＭによって撮像された画像と、手術手順情報ＳＩが示す手術の進行状況との関係が予め学習された機械学習モデルを有している。状況判定部１４０は、撮像部ＣＡＭによって撮像された画像を取得すると、この画像の内容を機械学習モデルが解釈することにより手術の進行状況を判定し、判定結果としての手術状況情報ＳＳを生成する。状況判定部１４０は、生成した手術状況情報ＳＳと、手術手順情報ＳＩとを比較することにより、手術中の患者ＰＴの容体が安定しているか否か（又は、手術が順調に進行しているか否か）を判定する。
一例として、手術手順情報ＳＩに、手術の各進行段階における患者ＰＴの血圧変化の計画値が含まれる場合について説明する。
状況判定部１４０は、撮像部ＣＡＭによって撮像された画像（つまり、手術状況情報ＳＳ）に基づいて、手術の進行段階を判定する。状況判定部１４０は、この手術の進行段階に対応する患者ＰＴの血圧変化の計画値を手術手順情報ＳＩから取得する。状況判定部１４０は、取得した血圧変化の計画値と、モニタ装置５０による患者情報ＰＩが示す患者ＰＴの血圧変化（すなわち、モニタ値）とを比較する。状況判定部１４０は、計画値とモニタ値とが所定値以上に乖離している場合には、患者ＰＴの容体が安定していないと判定する。状況判定部１４０が患者ＰＴの容体が安定していないと判定している場合、画像生成部１１０は、患者情報ＰＩ（例えば、心拍数ＨＲ、酸素飽和度ＳｐＯ２、血圧ＢＰ）を示す患者情報画像ＰＰＩを透過型表示部ＤＳに提示する（図４を参照）。
状況判定部１４０は、撮像部ＣＡＭによって撮像された画像（つまり、手術状況情報ＳＳ）に基づいて、手術の進行段階を判定する。状況判定部１４０は、この手術の進行段階に対応する患者ＰＴの血圧変化の計画値を手術手順情報ＳＩから取得する。状況判定部１４０は、取得した血圧変化の計画値と、モニタ装置５０による患者情報ＰＩが示す患者ＰＴの血圧変化（すなわち、モニタ値）とを比較する。状況判定部１４０は、計画値とモニタ値とが所定値以上に乖離している場合には、患者ＰＴの容体が安定していないと判定する。状況判定部１４０が患者ＰＴの容体が安定していないと判定している場合、画像生成部１１０は、患者情報ＰＩ（例えば、心拍数ＨＲ、酸素飽和度ＳｐＯ２、血圧ＢＰ）を示す患者情報画像ＰＰＩを透過型表示部ＤＳに提示する（図４を参照）。
すなわち、状況判定部１４０は、予め記憶されている手術手順情報ＳＩと、患者ＰＴに対する手術の状況を示す手術状況情報ＳＳとに基づいて、手術の状況を判定する。
また、画像生成部１１０は、状況判定部１４０の判定結果に基づいて、患者情報取得部６００が取得する患者情報ＰＩに基づく患者情報画像ＰＰＩを表示面ＳＦに表示させる。
また、画像生成部１１０は、状況判定部１４０の判定結果に基づいて、患者情報取得部６００が取得する患者情報ＰＩに基づく患者情報画像ＰＰＩを表示面ＳＦに表示させる。
このように構成された透過型ヘッドマウントディスプレイ装置１０によれば、患者ＰＴの容体が変化した場合に、警告音や点滅光などを発する従来手法に比べて、より具体的かつ精密な情報を装着者ＷＲに提供することができる。
また、手術手順情報ＳＩには、手術に使用する器具、医療器材の種類や個数が含まれていてもよい。この場合、状況判定部１４０は、手術創の閉創時までに患者ＰＴの体内から取り出すべき器具や医療器材が体内から適切に取り出されているか否かの状況判定をすることもできる。
また、手術手順情報ＳＩには、手術に使用する器具、医療器材の種類や個数が含まれていてもよい。この場合、状況判定部１４０は、手術創の閉創時までに患者ＰＴの体内から取り出すべき器具や医療器材が体内から適切に取り出されているか否かの状況判定をすることもできる。
［画像ストレージ機能］
また、透過型ヘッドマウントディスプレイ装置１０は、画像記憶制御部１５０を備えていてもよい。画像記憶制御部１５０は、拡大画像ＰＺと、表示制御部１００が画像を拡大する前の被写体ＳＪの画像とを、画像記憶部６０に記憶させる。これにより、例えば、熟練者に透過型ヘッドマウントディスプレイ装置１０を装着させて画像記録することにより、熟練者である装着者ＷＲの作業を、熟練者の視点からの画像として記録して、熟練者の手技を共有化することができる。
また、このように構成された透過型ヘッドマウントディスプレイ装置１０によれば、拡大画像ＰＺだけでなく、拡大画像ＰＺの周囲視野の画像を併せて記録させることができる。このように構成することにより、熟練者がどの程度の周囲視野を把握しつつ作業を進めているのか、という点も含めて熟練者の手技を共有化することができる。
なお、画像記憶部６０は、透過型ヘッドマウントディスプレイ装置１０が備えていてもよく、透過型ヘッドマウントディスプレイ装置１０に接続された他の装置が備えていてもよい。また、画像記憶部６０は、ネットワーク上のクラウドシステムとして構成されていてもよい。
また、透過型ヘッドマウントディスプレイ装置１０は、画像記憶制御部１５０を備えていてもよい。画像記憶制御部１５０は、拡大画像ＰＺと、表示制御部１００が画像を拡大する前の被写体ＳＪの画像とを、画像記憶部６０に記憶させる。これにより、例えば、熟練者に透過型ヘッドマウントディスプレイ装置１０を装着させて画像記録することにより、熟練者である装着者ＷＲの作業を、熟練者の視点からの画像として記録して、熟練者の手技を共有化することができる。
また、このように構成された透過型ヘッドマウントディスプレイ装置１０によれば、拡大画像ＰＺだけでなく、拡大画像ＰＺの周囲視野の画像を併せて記録させることができる。このように構成することにより、熟練者がどの程度の周囲視野を把握しつつ作業を進めているのか、という点も含めて熟練者の手技を共有化することができる。
なお、画像記憶部６０は、透過型ヘッドマウントディスプレイ装置１０が備えていてもよく、透過型ヘッドマウントディスプレイ装置１０に接続された他の装置が備えていてもよい。また、画像記憶部６０は、ネットワーク上のクラウドシステムとして構成されていてもよい。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
１０…透過型ヘッドマウントディスプレイ装置、１１０…画像生成部、１２０…拡大率算出部、１３０…表示面積算出部、１４０…状況判定部、ＤＳ…透過型表示部、ＣＡＭ…撮像部
Claims (10)
- 被写体を撮像する撮像部と、
前記被写体から入射する光を装着者の目に対して透過させつつ、入力される画像信号に基づく画像を装着者の目に対して表示する透過型表示部と、
前記撮像部が撮像する前記被写体の像が拡大された拡大画像を生成するとともに、生成した前記拡大画像を示す画像信号を前記透過型表示部に出力することにより、前記透過型表示部の表示面の少なくとも一部に前記拡大画像を表示させる表示制御部と、
を備える透過型ヘッドマウントディスプレイ装置。 - 装着者の顔の筋肉の状態を検出する筋状態検出部
をさらに備え、
前記表示制御部は、前記筋状態検出部の検出結果に基づいて前記拡大画像を生成する
請求項１に記載の透過型ヘッドマウントディスプレイ装置。 - 前記筋状態検出部の検出結果に基づいて、前記拡大画像の拡大率を算出する拡大率算出部
をさらに備え、
前記表示制御部は、
前記拡大率算出部が算出する前記拡大率に応じた前記拡大画像を生成する
請求項２に記載の透過型ヘッドマウントディスプレイ装置。 - 前記筋状態検出部の検出結果に基づいて、前記拡大画像の前記表示面における表示面積を算出する表示面積算出部
をさらに備え、
前記表示制御部は、
前記表示面積算出部が算出する前記表示面積に応じた前記拡大画像を生成する
請求項２又は請求項３に記載の透過型ヘッドマウントディスプレイ装置。 - 前記表示制御部は、
予め記憶されている前記被写体の三次元画像を、前記表示面を介して装着者に視認される前記被写体の像に重ねて前記表示面に表示させる
請求項１から請求項４のいずれか一項に記載の透過型ヘッドマウントディスプレイ装置。 - 前記表示面を介して装着者に視認される前記被写体の像とは、前記拡大画像である
請求項５に記載の透過型ヘッドマウントディスプレイ装置。 - 前記表示面を介して装着者に視認される前記被写体の像とは、前記表示面を透過する光による前記被写体の像である
請求項５に記載の透過型ヘッドマウントディスプレイ装置。 - 前記被写体とは手術中の患者であり、
前記患者の容体を示す患者情報を取得する患者情報取得部と、
予め記憶されている手術手順情報と、前記患者に対する手術の状況を示す手術状況情報とに基づいて、手術の状況を判定する状況判定部と、
をさらに備え、
前記表示制御部は、
前記状況判定部の判定結果に基づいて、前記患者情報取得部が取得する前記患者情報に基づく患者情報画像を前記表示面に表示させる
請求項１から請求項７のいずれか一項に記載の透過型ヘッドマウントディスプレイ装置。 - 前記拡大画像と、前記表示制御部が画像を拡大する前の前記被写体の画像とを、記憶部に記憶させる画像記憶制御部
をさらに備える請求項１から請求項７のいずれか一項に記載の透過型ヘッドマウントディスプレイ装置。 - 被写体を撮像する撮像部と、前記被写体から入射する光を装着者の目に対して透過させつつ、入力される画像信号に基づく画像を装着者の目に対して表示する透過型表示部と、を備える透過型ヘッドマウントディスプレイ装置のコンピュータに、
前記撮像部が撮像する前記被写体の像が拡大された拡大画像を生成する拡大画像生成ステップと、
前記拡大画像生成ステップにおいて生成された前記拡大画像を示す画像信号を前記透過型表示部に出力することにより、前記透過型表示部の表示面の少なくとも一部に前記拡大画像を表示させる画像信号出力ステップと、
を実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018136222A JP2020014160A (ja) | 2018-07-19 | 2018-07-19 | 透過型ヘッドマウントディスプレイ装置及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018136222A JP2020014160A (ja) | 2018-07-19 | 2018-07-19 | 透過型ヘッドマウントディスプレイ装置及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020014160A true JP2020014160A (ja) | 2020-01-23 |
Family
ID=69170087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018136222A Pending JP2020014160A (ja) | 2018-07-19 | 2018-07-19 | 透過型ヘッドマウントディスプレイ装置及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020014160A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022070415A1 (ja) * | 2020-10-02 | 2022-04-07 | マクセル株式会社 | ヘッドマウントディスプレイ装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005348363A (ja) * | 2004-06-07 | 2005-12-15 | Sharp Corp | 撮像装置 |
| JP2010503876A (ja) * | 2006-08-15 | 2010-02-04 | ヴィービー ユーケー アイピー リミテッド | 画像取込及び表示デバイスの焦点調節を含む応用装置制御のための呼吸器及び／又は眼瞼機能からの情報入力による固視距離の測定 |
| JP2014191386A (ja) * | 2013-03-26 | 2014-10-06 | Seiko Epson Corp | 頭部装着型表示装置、および、頭部装着型表示装置の制御方法 |
| JP2015099184A (ja) * | 2013-11-18 | 2015-05-28 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| JP2015188566A (ja) * | 2014-03-28 | 2015-11-02 | セイコーエプソン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
| JP2016032598A (ja) * | 2014-07-31 | 2016-03-10 | 泰史 安野 | 医療用画像読影装置、それを備えた画像診断システム、コンピュータプログラムおよびキット |
| JP2016071835A (ja) * | 2014-09-30 | 2016-05-09 | 深▲せん▼市億思達科技集団有限公司 | 眼追跡に基づく三次元ホログラフィック仮想オブジェクトの表示制御方法 |
| JP2016092467A (ja) * | 2014-10-30 | 2016-05-23 | キヤノンマーケティングジャパン株式会社 | 撮像装置、その制御方法とプログラム |
| JP2017224141A (ja) * | 2016-06-15 | 2017-12-21 | 株式会社Ｎｔｔドコモ | 情報表示装置 |
-
2018
- 2018-07-19 JP JP2018136222A patent/JP2020014160A/ja active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005348363A (ja) * | 2004-06-07 | 2005-12-15 | Sharp Corp | 撮像装置 |
| JP2010503876A (ja) * | 2006-08-15 | 2010-02-04 | ヴィービー ユーケー アイピー リミテッド | 画像取込及び表示デバイスの焦点調節を含む応用装置制御のための呼吸器及び／又は眼瞼機能からの情報入力による固視距離の測定 |
| JP2014191386A (ja) * | 2013-03-26 | 2014-10-06 | Seiko Epson Corp | 頭部装着型表示装置、および、頭部装着型表示装置の制御方法 |
| JP2015099184A (ja) * | 2013-11-18 | 2015-05-28 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| JP2015188566A (ja) * | 2014-03-28 | 2015-11-02 | セイコーエプソン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
| JP2016032598A (ja) * | 2014-07-31 | 2016-03-10 | 泰史 安野 | 医療用画像読影装置、それを備えた画像診断システム、コンピュータプログラムおよびキット |
| JP2016071835A (ja) * | 2014-09-30 | 2016-05-09 | 深▲せん▼市億思達科技集団有限公司 | 眼追跡に基づく三次元ホログラフィック仮想オブジェクトの表示制御方法 |
| JP2016092467A (ja) * | 2014-10-30 | 2016-05-23 | キヤノンマーケティングジャパン株式会社 | 撮像装置、その制御方法とプログラム |
| JP2017224141A (ja) * | 2016-06-15 | 2017-12-21 | 株式会社Ｎｔｔドコモ | 情報表示装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022070415A1 (ja) * | 2020-10-02 | 2022-04-07 | マクセル株式会社 | ヘッドマウントディスプレイ装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2017307363B2 (en) | An enhanced ophthalmic surgical experience using a virtual reality head-mounted display | |
| US8121255B2 (en) | Diagnostic imaging system | |
| JP5421828B2 (ja) | 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム | |
| JP2017525522A (ja) | 患者の口内の視覚化装置 | |
| WO2013141067A1 (ja) | 画像生成装置 | |
| US10609354B2 (en) | Medical image processing device, system, method, and program | |
| JP6116754B2 (ja) | 低侵襲手術において画像データを立体視表示するための装置およびその装置の作動方法 | |
| CN105997092B (zh) | 前庭测试装置 | |
| JP5893808B2 (ja) | 立体内視鏡画像処理装置 | |
| JP2013258627A (ja) | 画像処理装置および立体画像観察システム | |
| KR20170095992A (ko) | 헤드 장착식 컴퓨팅 장치, 방법 및 컴퓨터 프로그램 제품 | |
| JPWO2014207904A1 (ja) | 画像処理装置及び画像処理方法 | |
| JPWO2019092950A1 (ja) | 画像処理装置、画像処理方法および画像処理システム | |
| JP2019532689A (ja) | 減法正面光干渉トモグラフィ撮像 | |
| JP2020014160A (ja) | 透過型ヘッドマウントディスプレイ装置及びプログラム | |
| KR20140009847A (ko) | 안과용 장치 및 이의 치료위치 측정방법 | |
| CN116172493A (zh) | 用于内窥镜系统的成像及显示方法和内窥镜系统 | |
| JPWO2019230173A1 (ja) | 画像処理装置、画像処理方法及び眼内画像処理システム | |
| JP6632652B2 (ja) | 画像処理装置および画像処理プログラム | |
| WO2022163383A1 (ja) | 画像処理装置、画像処理方法及び手術顕微鏡システム | |
| JP6559819B1 (ja) | 画像処理装置および画像処理プログラム | |
| JP7449898B2 (ja) | 撮像装置、眼球運動データ処理システム、および制御方法 | |
| KR102236486B1 (ko) | 전자적 루페 장치 및 이를 이용한 진단 방법 | |
| EP4179955A1 (en) | Surgery assistance device | |
| JP3306118B2 (ja) | 眼科装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220825 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220927 |