JP2023069343A - 手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法 - Google Patents
手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法 Download PDFInfo
- Publication number
- JP2023069343A JP2023069343A JP2021181130A JP2021181130A JP2023069343A JP 2023069343 A JP2023069343 A JP 2023069343A JP 2021181130 A JP2021181130 A JP 2021181130A JP 2021181130 A JP2021181130 A JP 2021181130A JP 2023069343 A JP2023069343 A JP 2023069343A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- input operation
- digital image
- head mounted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 131
- 238000001514 detection method Methods 0.000 claims abstract description 119
- 230000005284 excitation Effects 0.000 claims description 36
- 238000002073 fluorescence micrograph Methods 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 33
- 230000001678 irradiating effect Effects 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 11
- 239000007850 fluorescent dye Substances 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 9
- 238000000799 fluorescence microscopy Methods 0.000 description 7
- 239000000126 substance Substances 0.000 description 5
- 239000000975 dye Substances 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 102220560241 Calcium/calmodulin-dependent protein kinase type IV_S13A_mutation Human genes 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 102200012170 rs10084168 Human genes 0.000 description 2
- 101100170991 Caenorhabditis elegans dpf-6 gene Proteins 0.000 description 1
- 102220560218 Calcium/calmodulin-dependent protein kinase type IV_S12A_mutation Human genes 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010336 energy treatment Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 102200084388 rs121918345 Human genes 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Microscoopes, Condenser (AREA)
Abstract
【課題】第1ヘッドマウントディスプレイの装着者の視野と、第2ヘッドマウントディスプレイの装着者の視野とを異ならせることができるようにする。【解決手段】手術用デジタル顕微鏡システムは、患者の術部のデジタル画像を撮像する撮像部と、第1ヘッドマウントディスプレイと、第2ヘッドマウントディスプレイとを備え、第1ヘッドマウントディスプレイは、その装着者の入力操作を検出する第1検出部と、第1検出部によって検出された第1ヘッドマウントディスプレイの装着者の入力操作に応じて、撮像部によって撮像されたデジタル画像を表示する第1表示部とを備え、第2ヘッドマウントディスプレイは、その装着者の入力操作を検出する第2検出部と、第2検出部によって検出された第2ヘッドマウントディスプレイの装着者の入力操作に応じて、撮像部によって撮像されたデジタル画像を表示する第2表示部とを備える。【選択図】図1
Description
本発明は、手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法に関する。
従来から、アームを備えた手術用ビデオ顕微鏡装置が知られている(例えば特許文献1の図9参照)。特許文献1に記載された手術用ビデオ顕微鏡装置は、術者によって用いられる。特許文献1に記載された手術用ビデオ顕微鏡装置には、アームの先端に接続された撮像ユニットが備えられている。撮像ユニットは、施術対象(患者)の施術部位の様子を撮像する。特許文献1に記載された手術用ビデオ顕微鏡装置では、モニタ、ディスプレイ等の表示装置が、術者に対向する位置に設置され、術者は、表示装置の表示画面に表示される施術部位の電子画像を見ながら手術などの各種の処理を行う。
ところで、特許文献1には、内視鏡、エネルギ処置具、鉗子が、術者、助手、スコピスト、ロボット等によって保持される旨、および、術者、助手等のフット操作がフットスイッチのトリガ信号になる旨が記載されているものの、手術中に助手が何を見ながら術者を補助するかについて記載されていない。
助手によっては、手術中に術者と異なるものを見る必要があるため、術者と助手とが共用の表示装置を用いなければならない場合には、術者および助手の負担が増大してしまうおそれがある。
ところで、特許文献1には、内視鏡、エネルギ処置具、鉗子が、術者、助手、スコピスト、ロボット等によって保持される旨、および、術者、助手等のフット操作がフットスイッチのトリガ信号になる旨が記載されているものの、手術中に助手が何を見ながら術者を補助するかについて記載されていない。
助手によっては、手術中に術者と異なるものを見る必要があるため、術者と助手とが共用の表示装置を用いなければならない場合には、術者および助手の負担が増大してしまうおそれがある。
上述した問題点に鑑み、本発明は、例えば術者のような第1ヘッドマウントディスプレイの装着者の視野と、例えば助手のような第2ヘッドマウントディスプレイの装着者の視野とを異ならせることによって、例えば術者のような第1ヘッドマウントディスプレイの装着者および例えば助手のような第2ヘッドマウントディスプレイの装着者の負担を軽減することができる手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法を提供することを目的とする。
本発明の一態様は、患者の術部のデジタル画像を撮像する撮像部と、前記撮像部によって撮像されたデジタル画像を表示する第1ヘッドマウントディスプレイと、前記撮像部によって撮像されたデジタル画像を表示する第2ヘッドマウントディスプレイとを備え、前記第1ヘッドマウントディスプレイは、前記第1ヘッドマウントディスプレイの装着者の入力操作を検出する第1検出部と、前記第1検出部によって検出された前記第1ヘッドマウントディスプレイの装着者の入力操作に応じて、前記撮像部によって撮像されたデジタル画像を表示する第1表示部とを備え、前記第2ヘッドマウントディスプレイは、前記第2ヘッドマウントディスプレイの装着者の入力操作を検出する第2検出部と、前記第2検出部によって検出された前記第2ヘッドマウントディスプレイの装着者の入力操作に応じて、前記撮像部によって撮像されたデジタル画像を表示する第2表示部とを備える、手術用デジタル顕微鏡システムである。
本発明の一態様の手術用デジタル顕微鏡システムでは、前記第1検出部は、前記第1表示部によって表示されるデジタル画像の倍率設定の入力操作を検出し、前記第1表示部は、前記第1検出部によって検出された入力操作により設定された倍率で、前記撮像部によって撮像されたデジタル画像を表示し、前記第2検出部は、前記第2表示部によって表示されるデジタル画像の倍率設定の入力操作を検出し、前記第2表示部は、前記第2検出部によって検出された入力操作により設定された倍率で、前記撮像部によって撮像されたデジタル画像を表示してもよい。
本発明の一態様の手術用デジタル顕微鏡システムでは、前記第1検出部は、前記撮像部によって撮像されたデジタル画像のうちの前記第1表示部によって表示される部分を指定する入力操作を検出し、前記第1表示部は、前記撮像部によって撮像されたデジタル画像のうちの前記第1検出部によって検出された入力操作により指定された部分を表示し、前記第2検出部は、前記撮像部によって撮像されたデジタル画像のうちの前記第2表示部によって表示される部分を指定する入力操作を検出し、前記第2表示部は、前記撮像部によって撮像されたデジタル画像のうちの前記第2検出部によって検出された入力操作により指定された部分を表示してもよい。
本発明の一態様の手術用デジタル顕微鏡システムは、可視光を照射する機能と励起光を照射する機能とを有する照明部を備え、前記撮像部は、患者の術部のデジタル画像として可視光画像を撮像する機能と、患者の術部のデジタル画像として蛍光画像を撮像する機能とを有し、前記第1検出部は、前記第1表示部によって表示されるデジタル画像として可視光画像および蛍光画像の一方を指定する入力操作を検出し、前記第1表示部は、前記第1検出部によって検出された入力操作により指定された可視光画像および蛍光画像の一方を、前記撮像部によって撮像されたデジタル画像として表示し、前記第2検出部は、前記第2表示部によって表示されるデジタル画像として可視光画像および蛍光画像の一方を指定する入力操作を検出し、前記第2表示部は、前記第2検出部によって検出された入力操作により指定された可視光画像および蛍光画像の一方を、前記撮像部によって撮像されたデジタル画像として表示してもよい。
本発明の一態様の手術用デジタル顕微鏡システムは、患者の術部の深さ情報を検出する測距センサを備え、前記第1検出部は、前記測距センサによって検出された深さ情報を前記第1表示部によって表示されるデジタル画像に付加するか否かを設定する入力操作を検出し、前記第1表示部は、前記第1検出部によって検出された入力操作に基づいて、前記撮像部によって撮像されたデジタル画像を表示し、前記第2検出部は、前記測距センサによって検出された深さ情報を前記第2表示部によって表示されるデジタル画像に付加するか否かを設定する入力操作を検出し、前記第2表示部は、前記第2検出部によって検出された入力操作に基づいて、前記撮像部によって撮像されたデジタル画像を表示してもよい。
本発明の一態様の手術用デジタル顕微鏡システムは、前記撮像部によって撮像されたデジタル画像に基づいてバーチャル画像を生成するバーチャル画像生成部を備え、前記第1検出部は、前記第1表示部に、前記撮像部によって撮像されたデジタル画像を表示するか、あるいは、前記バーチャル画像生成部によって生成されたバーチャル画像を表示するかを設定する入力操作を検出し、前記第1表示部は、前記第1検出部によって検出された入力操作により設定された画像を表示し、前記第2検出部は、前記第2表示部に、前記撮像部によって撮像されたデジタル画像を表示するか、あるいは、前記バーチャル画像生成部によって生成されたバーチャル画像を表示するかを設定する入力操作を検出し、前記第2表示部は、前記第2検出部によって検出された入力操作により設定された画像を表示してもよい。
本発明の一態様の手術用デジタル顕微鏡システムでは、前記撮像部によって撮像されたデジタル画像を表示する第3ヘッドマウントディスプレイを備え、前記第3ヘッドマウントディスプレイは、前記第3ヘッドマウントディスプレイの装着者の入力操作を検出する第3検出部と、前記第3検出部によって検出された前記第3ヘッドマウントディスプレイの装着者の入力操作に応じて、前記撮像部によって撮像されたデジタル画像を表示する第3表示部とを備えてもよい。
本発明の一態様の手術用デジタル顕微鏡システムは、前記撮像部によって撮像されたデジタル画像を送信する通信部を備えてもよい。
本発明の一態様の手術用デジタル顕微鏡システムは、可視光を照射する可視光照射部と励起光を照射する励起光照射部とを有する照明部と、患者の術部の深さ情報を検出する測距センサとを備え、前記撮像部は、患者の術部のデジタル画像として可視光画像を撮像する右眼用撮像素子および左眼用撮像素子と、患者の術部のデジタル画像として蛍光画像を撮像する蛍光用撮像素子とを有してもよい。
本発明の一態様の手術用デジタル顕微鏡システムでは、前記可視光照射部によって可視光が照射される患者の術部上の位置と、前記励起光照射部によって励起光が照射される患者の術部上の位置と、前記測距センサにより深さ情報の検出が行われる患者の術部上の位置とが互いに異なってもよい。
本発明の一態様の手術用デジタル顕微鏡システムでは、前記励起光照射部は、第1の種類の蛍光色素を励起する第1励起光を照射する機能と、第2の種類の蛍光色素を励起する第2励起光を照射する機能とを有してもよい。
本発明の一態様は、撮像部と第1ヘッドマウントディスプレイと第2ヘッドマウントディスプレイとを備える手術用デジタル顕微鏡システムの表示制御方法であって、前記撮像部が、患者の術部のデジタル画像を撮像する撮像ステップと、前記第1ヘッドマウントディスプレイが、前記第1ヘッドマウントディスプレイの装着者の入力操作を検出する第1検出ステップと、前記第1ヘッドマウントディスプレイが、前記第1検出ステップにおいて検出された前記第1ヘッドマウントディスプレイの装着者の入力操作に応じて、前記撮像ステップにおいて撮像されたデジタル画像を表示する第1表示ステップと、前記第2ヘッドマウントディスプレイが、前記第2ヘッドマウントディスプレイの装着者の入力操作を検出する第2検出ステップと、前記第2ヘッドマウントディスプレイが、前記第2検出ステップにおいて検出された前記第2ヘッドマウントディスプレイの装着者の入力操作に応じて、前記撮像ステップにおいて撮像されたデジタル画像を表示する第2表示ステップとを備える、手術用デジタル顕微鏡システムの表示制御方法である。
本発明によれば、例えば術者のような第1ヘッドマウントディスプレイの装着者の視野と、例えば助手のような第2ヘッドマウントディスプレイの装着者の視野とを異ならせることによって、例えば術者のような第1ヘッドマウントディスプレイの装着者および例えば助手のような第2ヘッドマウントディスプレイの装着者の負担を軽減することができる手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法を提供することができる。
以下、図面を参照し、本発明の手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法の実施形態について説明する。
[第1実施形態]
図1は第1実施形態の手術用デジタル顕微鏡システム1の構成の一例を示す図である。
図1に示す例では、第1実施形態の手術用デジタル顕微鏡システム1が、デジタル顕微鏡本体11と、第1ヘッドマウントディスプレイ12Aと、第2ヘッドマウントディスプレイ12Bと、第3ヘッドマウントディスプレイ12Cとを備えている。
図1に示す例では、第1実施形態の手術用デジタル顕微鏡システム1が、3つのヘッドマウントディスプレイを備えているが、他の例では、第1実施形態の手術用デジタル顕微鏡システム1が、3以外の任意の複数のヘッドマウントディスプレイを備えていてもよい。
図1は第1実施形態の手術用デジタル顕微鏡システム1の構成の一例を示す図である。
図1に示す例では、第1実施形態の手術用デジタル顕微鏡システム1が、デジタル顕微鏡本体11と、第1ヘッドマウントディスプレイ12Aと、第2ヘッドマウントディスプレイ12Bと、第3ヘッドマウントディスプレイ12Cとを備えている。
図1に示す例では、第1実施形態の手術用デジタル顕微鏡システム1が、3つのヘッドマウントディスプレイを備えているが、他の例では、第1実施形態の手術用デジタル顕微鏡システム1が、3以外の任意の複数のヘッドマウントディスプレイを備えていてもよい。
図1に示す例では、デジタル顕微鏡本体11が、撮像部111と、照明部112と、測距センサ113と、画像処理部114と、バーチャル画像生成部115と、通信部116と、制御部117と、操作部118とを備えている。
撮像部111は、患者の術部のデジタル画像を撮像する。撮像部111は、右眼用撮像素子111Aと、左眼用撮像素子111Bと、蛍光用撮像素子111Cとを備えている。
照明部112は、可視光照射部112Aと、励起光照射部112Bとを備えている。つまり、照明部112は、可視光を照射する機能と励起光を照射する機能とを有する。
可視光照射部112Aは、患者の術部に可視光を照射する。右眼用撮像素子111Aは、可視光照射部112Aから照射された可視光によって照らされた患者の術部の右眼用視差画像を撮像する。左眼用撮像素子111Bは、可視光照射部112Aから照射された可視光によって照らされた患者の術部の左眼用視差画像を撮像する。すなわち、右眼用撮像素子111Aおよび左眼用撮像素子111Bは、患者の術部のデジタル画像として可視光画像を撮像する。
励起光照射部112Bは、患者の術部に供給された蛍光物質に対して励起光を照射する。蛍光用撮像素子111Cは、励起光照射部112Bから照射された励起光によって励起された蛍光物質が蛍光を発している状態を示す患者の術部の蛍光画像を撮像する。すなわち、蛍光用撮像素子111Cは、患者の術部のデジタル画像として蛍光画像を撮像する。
つまり、撮像部111は、患者の術部のデジタル画像として可視光画像を撮像する機能と、患者の術部のデジタル画像として蛍光画像を撮像する機能とを有する。
撮像部111は、患者の術部のデジタル画像を撮像する。撮像部111は、右眼用撮像素子111Aと、左眼用撮像素子111Bと、蛍光用撮像素子111Cとを備えている。
照明部112は、可視光照射部112Aと、励起光照射部112Bとを備えている。つまり、照明部112は、可視光を照射する機能と励起光を照射する機能とを有する。
可視光照射部112Aは、患者の術部に可視光を照射する。右眼用撮像素子111Aは、可視光照射部112Aから照射された可視光によって照らされた患者の術部の右眼用視差画像を撮像する。左眼用撮像素子111Bは、可視光照射部112Aから照射された可視光によって照らされた患者の術部の左眼用視差画像を撮像する。すなわち、右眼用撮像素子111Aおよび左眼用撮像素子111Bは、患者の術部のデジタル画像として可視光画像を撮像する。
励起光照射部112Bは、患者の術部に供給された蛍光物質に対して励起光を照射する。蛍光用撮像素子111Cは、励起光照射部112Bから照射された励起光によって励起された蛍光物質が蛍光を発している状態を示す患者の術部の蛍光画像を撮像する。すなわち、蛍光用撮像素子111Cは、患者の術部のデジタル画像として蛍光画像を撮像する。
つまり、撮像部111は、患者の術部のデジタル画像として可視光画像を撮像する機能と、患者の術部のデジタル画像として蛍光画像を撮像する機能とを有する。
測距センサ113は、患者の術部の深さ情報を検出する。測距センサ113は、例えばタイムオブフライト方式のもの、レーザスキャン方式のもの等である。
画像処理部114は、撮像部111によって撮像された患者の術部のデジタル画像の処理を行う。画像処理部114は、例えば患者の心拍、呼吸性拍動などに伴う患者の術部のデジタル画像のブレの補正などを行う。ブレ補正の技術としては、例えば特許第6764006号公報の段落0239に記載された技術などを用いることができる。また、画像処理部114が、各種の画像処理ライブラリ(画像処理ソフト)を用いることにより、撮像部111によって撮像された患者の術部のデジタル画像の処理を行ってもよい。
バーチャル画像生成部115は、撮像部111によって撮像されたデジタル画像に基づいてバーチャル画像を生成する。バーチャル画像生成部115によって生成されたバーチャル画像は、例えば手術支援、ナビゲーション等として用いられる。
図1に示す例では、バーチャル画像生成部115が、例えばAI(人工知能)、深層学習などを用いることによってバーチャル画像を生成する。
他の例では、バーチャル画像生成部115が、例えば特許第4818592号公報の図6、図7、図11および図12に記載された技術などと同様の技術を用いることによってバーチャル画像を生成してもよい。
画像処理部114は、撮像部111によって撮像された患者の術部のデジタル画像の処理を行う。画像処理部114は、例えば患者の心拍、呼吸性拍動などに伴う患者の術部のデジタル画像のブレの補正などを行う。ブレ補正の技術としては、例えば特許第6764006号公報の段落0239に記載された技術などを用いることができる。また、画像処理部114が、各種の画像処理ライブラリ(画像処理ソフト)を用いることにより、撮像部111によって撮像された患者の術部のデジタル画像の処理を行ってもよい。
バーチャル画像生成部115は、撮像部111によって撮像されたデジタル画像に基づいてバーチャル画像を生成する。バーチャル画像生成部115によって生成されたバーチャル画像は、例えば手術支援、ナビゲーション等として用いられる。
図1に示す例では、バーチャル画像生成部115が、例えばAI(人工知能)、深層学習などを用いることによってバーチャル画像を生成する。
他の例では、バーチャル画像生成部115が、例えば特許第4818592号公報の図6、図7、図11および図12に記載された技術などと同様の技術を用いることによってバーチャル画像を生成してもよい。
図1に示す例では、通信部116が、撮像部111によって撮像された患者の術部のデジタル画像データ、測距センサ113によって検出された患者の術部の深さ情報、画像処理部114による処理が行われた患者の術部のデジタル画像データ、バーチャル画像生成部115によって生成されたバーチャル画像データ等を第1ヘッドマウントディスプレイ12A、第2ヘッドマウントディスプレイ12B、第3ヘッドマウントディスプレイ12C等に送信する。通信部116は、遠隔診療、顕微鏡手術手技の教育などを目的として、上述したデータなどを遠隔地に送信してもよい。
制御部117は、撮像部111、照明部112、画像処理部114、バーチャル画像生成部115、通信部116などの制御を行う。
操作部118は、例えば術者などによる入力操作を受け付ける。制御部117は、操作部118が受け付けた術者などの入力操作に基づいて、撮像部111、照明部112、画像処理部114、バーチャル画像生成部115、通信部116などの制御を行う。
制御部117は、撮像部111、照明部112、画像処理部114、バーチャル画像生成部115、通信部116などの制御を行う。
操作部118は、例えば術者などによる入力操作を受け付ける。制御部117は、操作部118が受け付けた術者などの入力操作に基づいて、撮像部111、照明部112、画像処理部114、バーチャル画像生成部115、通信部116などの制御を行う。
第1ヘッドマウントディスプレイ12Aは、例えば術者によって装着され、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像の表示などを行う。第1ヘッドマウントディスプレイ12Aは、第1検出部12A1と、第1表示部12A2と、第1通信部12A3とを備えている。
第1検出部12A1は、第1ヘッドマウントディスプレイ12Aの装着者(術者)の入力操作(例えばデジタル画像の表示倍率の設定操作、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像のうちの術者が見たい部分の指定操作など)を検出する。第1検出部12A1によって検出される第1ヘッドマウントディスプレイ12Aの装着者(術者)の入力操作には、例えば、術者による首振り動作、術者による視線入力操作などが含まれる。第1検出部12A1が術者の首振り動作を検出する技術としては、例えば特許第6396027号公報の段落0078に記載された技術、特許第6350011号公報の段落0088に記載された技術などを用いることができる。
第1検出部12A1が術者の視線入力を検出する技術としては、例えば特許第5655674号公報に記載された技術、下記のURLが示す技術(「視線入力を搭載した超小型HMD」、「視線入力HMD装置の開発」)などを用いることができる。
https://annex.jsap.or.jp/photonics/kogaku/public/25-01-kaisetsu1.pdf
https://www.shimadzu.co.jp/products/tec_news/srv55_2/report18.html
第1検出部12A1が術者の視線入力を検出する技術として、下記のURLが示す製品(視線追跡技術採用VR HMD「VIVE Pro Eye」)に搭載された技術を用いてもよい。
https://www.4gamer.net/games/329/G032967/20201112015/
第1検出部12A1は、第1ヘッドマウントディスプレイ12Aの装着者(術者)の入力操作(例えばデジタル画像の表示倍率の設定操作、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像のうちの術者が見たい部分の指定操作など)を検出する。第1検出部12A1によって検出される第1ヘッドマウントディスプレイ12Aの装着者(術者)の入力操作には、例えば、術者による首振り動作、術者による視線入力操作などが含まれる。第1検出部12A1が術者の首振り動作を検出する技術としては、例えば特許第6396027号公報の段落0078に記載された技術、特許第6350011号公報の段落0088に記載された技術などを用いることができる。
第1検出部12A1が術者の視線入力を検出する技術としては、例えば特許第5655674号公報に記載された技術、下記のURLが示す技術(「視線入力を搭載した超小型HMD」、「視線入力HMD装置の開発」)などを用いることができる。
https://annex.jsap.or.jp/photonics/kogaku/public/25-01-kaisetsu1.pdf
https://www.shimadzu.co.jp/products/tec_news/srv55_2/report18.html
第1検出部12A1が術者の視線入力を検出する技術として、下記のURLが示す製品(視線追跡技術採用VR HMD「VIVE Pro Eye」)に搭載された技術を用いてもよい。
https://www.4gamer.net/games/329/G032967/20201112015/
第1表示部12A2は、第1検出部12A1によって検出された第1ヘッドマウントディスプレイ12Aの装着者(術者)の入力操作に応じて、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像などを表示する。
第1通信部12A3は、デジタル顕微鏡本体11の通信部116によって送信されたデータ等を受信する。すなわち、第1通信部12A3は、撮像部111によって撮像された患者の術部のデジタル画像データ、デジタル顕微鏡本体11の測距センサ113によって検出された患者の術部の深さ情報、デジタル顕微鏡本体11の画像処理部114による処理が行われた患者の術部のデジタル画像データ、デジタル顕微鏡本体11のバーチャル画像生成部115によって生成されたバーチャル画像データ等を受信する。
つまり、第1表示部12A2は、第1検出部12A1によって検出された第1ヘッドマウントディスプレイ12Aの装着者(術者)の入力操作に応じて、撮像部111によって撮像された患者の術部のデジタル画像、測距センサ113によって検出された患者の術部の深さ情報、画像処理部114による処理が行われた患者の術部のデジタル画像、バーチャル画像生成部115によって生成されたバーチャル画像などを表示することができる。
第1通信部12A3は、デジタル顕微鏡本体11の通信部116によって送信されたデータ等を受信する。すなわち、第1通信部12A3は、撮像部111によって撮像された患者の術部のデジタル画像データ、デジタル顕微鏡本体11の測距センサ113によって検出された患者の術部の深さ情報、デジタル顕微鏡本体11の画像処理部114による処理が行われた患者の術部のデジタル画像データ、デジタル顕微鏡本体11のバーチャル画像生成部115によって生成されたバーチャル画像データ等を受信する。
つまり、第1表示部12A2は、第1検出部12A1によって検出された第1ヘッドマウントディスプレイ12Aの装着者(術者)の入力操作に応じて、撮像部111によって撮像された患者の術部のデジタル画像、測距センサ113によって検出された患者の術部の深さ情報、画像処理部114による処理が行われた患者の術部のデジタル画像、バーチャル画像生成部115によって生成されたバーチャル画像などを表示することができる。
図2および図3はデジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(可視光画像)と、第1ヘッドマウントディスプレイ12Aの第1表示部12A2によって表示されるデジタル画像(可視光画像)との関係の一例を示す図である。詳細には、図2は撮像部111によって撮像されたデジタル画像(可視光画像)を構成する複数の区画A1~A9、…、I1~I9の一例を示している。図3は第1表示部12A2によって表示されるデジタル画像(可視光画像)を構成する複数の区画D4~D6、E4~E6、F4~F6の一例を示している。
図2に示す例では、デジタル顕微鏡本体11の撮像部111は、患者の術部の全体(図2に示す区画A1~A9、…、I1~I9)がデジタル画像(可視光画像)に含まれるように、患者の術部のデジタル画像(可視光画像)を比較的低倍率で撮像する。
図3に示す例では、第1ヘッドマウントディスプレイ12Aの装着者(術者)にとって見たい部分が、患者の術部の全体(図2に示す区画A1~A9、…、I1~I9)のうちの区画D4~D6、E4~E6、F4~F6に相当する部分である。
そのため、第1ヘッドマウントディスプレイ12Aの第1検出部12A1は、第1ヘッドマウントディスプレイ12Aの第1表示部12A2に表示されるデジタル画像(可視光画像)の倍率を増加させる第1ヘッドマウントディスプレイ12Aの装着者(術者)の操作(拡大操作)を検出する。
その結果、図3に示すように、第1表示部12A2は、第1検出部12A1によって検出された術者の拡大操作により設定された倍率で、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(可視光画像)の一部(図3に示す区画D4~D6、E4~E6、F4~F6)を拡大表示する。
図2に示す例では、デジタル顕微鏡本体11の撮像部111は、患者の術部の全体(図2に示す区画A1~A9、…、I1~I9)がデジタル画像(可視光画像)に含まれるように、患者の術部のデジタル画像(可視光画像)を比較的低倍率で撮像する。
図3に示す例では、第1ヘッドマウントディスプレイ12Aの装着者(術者)にとって見たい部分が、患者の術部の全体(図2に示す区画A1~A9、…、I1~I9)のうちの区画D4~D6、E4~E6、F4~F6に相当する部分である。
そのため、第1ヘッドマウントディスプレイ12Aの第1検出部12A1は、第1ヘッドマウントディスプレイ12Aの第1表示部12A2に表示されるデジタル画像(可視光画像)の倍率を増加させる第1ヘッドマウントディスプレイ12Aの装着者(術者)の操作(拡大操作)を検出する。
その結果、図3に示すように、第1表示部12A2は、第1検出部12A1によって検出された術者の拡大操作により設定された倍率で、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(可視光画像)の一部(図3に示す区画D4~D6、E4~E6、F4~F6)を拡大表示する。
他の例では、第1ヘッドマウントディスプレイ12Aの第1検出部12A1が、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(図2参照)のうちの第1ヘッドマウントディスプレイ12Aの第1表示部12A2によって表示される部分(図3参照)を指定する入力操作を検出してもよい。
この例では、最初に、第1表示部12A2が、撮像部111によって撮像されたデジタル画像(図2参照)を表示する。
次いで、第1検出部12A1が、例えば区画D4の左上隅と区画F6の右下隅とを指定する術者の入力操作(つまり、区画D4~D6、E4~E6、F4~F6を指定する術者の入力操作)を検出する。
その結果、図3に示すように、第1表示部12A2は、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(図2参照)のうちの第1検出部12A1によって検出された術者の入力操作により指定された部分(図3に示す区画D4~D6、E4~E6、F4~F6)を表示する。
この例では、最初に、第1表示部12A2が、撮像部111によって撮像されたデジタル画像(図2参照)を表示する。
次いで、第1検出部12A1が、例えば区画D4の左上隅と区画F6の右下隅とを指定する術者の入力操作(つまり、区画D4~D6、E4~E6、F4~F6を指定する術者の入力操作)を検出する。
その結果、図3に示すように、第1表示部12A2は、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(図2参照)のうちの第1検出部12A1によって検出された術者の入力操作により指定された部分(図3に示す区画D4~D6、E4~E6、F4~F6)を表示する。
図1に示す例では、第2ヘッドマウントディスプレイ12Bが、例えば助手によって装着され、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像の表示などを行う。第2ヘッドマウントディスプレイ12Bは、第2検出部12B1と、第2表示部12B2と、第2通信部12B3とを備えている。
第2検出部12B1は、第2ヘッドマウントディスプレイ12Bの装着者(助手)の入力操作(例えばデジタル画像の表示倍率の設定操作、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像のうちの助手が見たい部分の指定操作など)を検出する。第2検出部12B1によって検出される第2ヘッドマウントディスプレイ12Bの装着者(助手)の入力操作には、例えば、助手による首振り動作、助手による視線入力操作などが含まれる。第2検出部12B1は、第1検出部12A1と同様の機能を有する。
第2検出部12B1は、第2ヘッドマウントディスプレイ12Bの装着者(助手)の入力操作(例えばデジタル画像の表示倍率の設定操作、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像のうちの助手が見たい部分の指定操作など)を検出する。第2検出部12B1によって検出される第2ヘッドマウントディスプレイ12Bの装着者(助手)の入力操作には、例えば、助手による首振り動作、助手による視線入力操作などが含まれる。第2検出部12B1は、第1検出部12A1と同様の機能を有する。
第2表示部12B2は、第2検出部12B1によって検出された第2ヘッドマウントディスプレイ12Bの装着者(助手)の入力操作に応じて、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像などを表示する。第2表示部12B2は、第1表示部12A2と同様の機能を有する。
第2通信部12B3は、デジタル顕微鏡本体11の通信部116によって送信されたデータ等を受信する。つまり、第2通信部12B3は、撮像部111によって撮像された患者の術部のデジタル画像データ、デジタル顕微鏡本体11の測距センサ113によって検出された患者の術部の深さ情報、デジタル顕微鏡本体11の画像処理部114による処理が行われた患者の術部のデジタル画像データ、デジタル顕微鏡本体11のバーチャル画像生成部115によって生成されたバーチャル画像データ等を受信する。第2通信部12B3は、第1通信部12A3と同様の機能を有する。
つまり、第2表示部12B2は、第2検出部12B1によって検出された第2ヘッドマウントディスプレイ12Bの装着者(助手)の入力操作に応じて、撮像部111によって撮像された患者の術部のデジタル画像、測距センサ113によって検出された患者の術部の深さ情報、画像処理部114による処理が行われた患者の術部のデジタル画像、バーチャル画像生成部115によって生成されたバーチャル画像などを表示することができる。
第2通信部12B3は、デジタル顕微鏡本体11の通信部116によって送信されたデータ等を受信する。つまり、第2通信部12B3は、撮像部111によって撮像された患者の術部のデジタル画像データ、デジタル顕微鏡本体11の測距センサ113によって検出された患者の術部の深さ情報、デジタル顕微鏡本体11の画像処理部114による処理が行われた患者の術部のデジタル画像データ、デジタル顕微鏡本体11のバーチャル画像生成部115によって生成されたバーチャル画像データ等を受信する。第2通信部12B3は、第1通信部12A3と同様の機能を有する。
つまり、第2表示部12B2は、第2検出部12B1によって検出された第2ヘッドマウントディスプレイ12Bの装着者(助手)の入力操作に応じて、撮像部111によって撮像された患者の術部のデジタル画像、測距センサ113によって検出された患者の術部の深さ情報、画像処理部114による処理が行われた患者の術部のデジタル画像、バーチャル画像生成部115によって生成されたバーチャル画像などを表示することができる。
図4は第2ヘッドマウントディスプレイ12Bの第2表示部12B2によって表示されるデジタル画像(可視光画像)を構成する複数の区画C1~D6、D1~D6、E1~E6、F1~F6、G1~G6、H1~H6の一例を示す図である。
図4に示す例では、第2ヘッドマウントディスプレイ12Bの装着者(助手)にとって見たい部分が、患者の術部の全体(図2に示す区画A1~A9、…、I1~I9)のうちの区画C1~D6、D1~D6、E1~E6、F1~F6、G1~G6、H1~H6に相当する部分である。
そのため、第2ヘッドマウントディスプレイ12Bの第2検出部12B1は、第2ヘッドマウントディスプレイ12Bの第2表示部12B2に表示されるデジタル画像(可視光画像)の倍率を図2に示すデジタル画像(可視光画像)の倍率から増加させる第2ヘッドマウントディスプレイ12Bの装着者(助手)の操作(拡大操作)を検出する。
また、第2検出部12B1は、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(図2参照)のうちの第2表示部12B2によって表示される部分(図4に示す区画C1~D6、D1~D6、E1~E6、F1~F6、G1~G6、H1~H6)を指定する入力操作を検出する。具体的には、第2検出部12B1が、例えば区画C1の左上隅と区画H6の右下隅とを指定する助手の入力操作(つまり、区画C1~D6、D1~D6、E1~E6、F1~F6、G1~G6、H1~H6を指定する助手の入力操作)を検出する。
その結果、図4に示すように、第2表示部12B2は、第2検出部12B1によって検出された助手の拡大操作により設定された倍率で、第2検出部12B1によって検出された助手の入力操作により指定された部分(図4に示す区画C1~D6、D1~D6、E1~E6、F1~F6、G1~G6、H1~H6)を表示する。
図4に示す例では、第2ヘッドマウントディスプレイ12Bの装着者(助手)にとって見たい部分が、患者の術部の全体(図2に示す区画A1~A9、…、I1~I9)のうちの区画C1~D6、D1~D6、E1~E6、F1~F6、G1~G6、H1~H6に相当する部分である。
そのため、第2ヘッドマウントディスプレイ12Bの第2検出部12B1は、第2ヘッドマウントディスプレイ12Bの第2表示部12B2に表示されるデジタル画像(可視光画像)の倍率を図2に示すデジタル画像(可視光画像)の倍率から増加させる第2ヘッドマウントディスプレイ12Bの装着者(助手)の操作(拡大操作)を検出する。
また、第2検出部12B1は、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(図2参照)のうちの第2表示部12B2によって表示される部分(図4に示す区画C1~D6、D1~D6、E1~E6、F1~F6、G1~G6、H1~H6)を指定する入力操作を検出する。具体的には、第2検出部12B1が、例えば区画C1の左上隅と区画H6の右下隅とを指定する助手の入力操作(つまり、区画C1~D6、D1~D6、E1~E6、F1~F6、G1~G6、H1~H6を指定する助手の入力操作)を検出する。
その結果、図4に示すように、第2表示部12B2は、第2検出部12B1によって検出された助手の拡大操作により設定された倍率で、第2検出部12B1によって検出された助手の入力操作により指定された部分(図4に示す区画C1~D6、D1~D6、E1~E6、F1~F6、G1~G6、H1~H6)を表示する。
他の例では、第2ヘッドマウントディスプレイ12Bの第2検出部12B1が、第2表示部12B2によって表示されるデジタル画像(可視光画像)の倍率設定の入力操作を検出することなく、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(図2参照)のうちの第2ヘッドマウントディスプレイ12Bの第2表示部12B2によって表示される部分(図4参照)を指定する入力操作を検出してもよい。
この例では、最初に、第2表示部12B2が、撮像部111によって撮像されたデジタル画像(図2参照)を表示する。
次いで、第2検出部12B1が、例えば区画C1の左上隅と区画H4の右下隅とを指定する助手の入力操作(つまり、区画C1~D6、D1~D6、E1~E6、F1~F6、G1~G6、H1~H6を指定する助手の入力操作)を検出する。
その結果、図4に示すように、第2表示部12B2は、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(図2参照)のうちの第2検出部12B1によって検出された助手の入力操作により指定された部分(図4に示す区画C1~D6、D1~D6、E1~E6、F1~F6、G1~G6、H1~H6)を表示する。
この例では、最初に、第2表示部12B2が、撮像部111によって撮像されたデジタル画像(図2参照)を表示する。
次いで、第2検出部12B1が、例えば区画C1の左上隅と区画H4の右下隅とを指定する助手の入力操作(つまり、区画C1~D6、D1~D6、E1~E6、F1~F6、G1~G6、H1~H6を指定する助手の入力操作)を検出する。
その結果、図4に示すように、第2表示部12B2は、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(図2参照)のうちの第2検出部12B1によって検出された助手の入力操作により指定された部分(図4に示す区画C1~D6、D1~D6、E1~E6、F1~F6、G1~G6、H1~H6)を表示する。
第1実施形態の手術用デジタル顕微鏡システム1では、第1ヘッドマウントディスプレイ12Aの装着者(術者)の視野(図3参照)と、第2ヘッドマウントディスプレイ12Bの装着者(助手)の視野(図4参照)とを異ならせることができる。その結果、第1ヘッドマウントディスプレイ12Aの装着者(術者)および第2ヘッドマウントディスプレイ12Bの装着者(助手)の負担を軽減することができる。
図5はデジタル顕微鏡本体11の撮像部111の右眼用撮像素子111Aおよび左眼用撮像素子111Bによって撮像されたデジタル画像(可視光画像)と、撮像部111の蛍光用撮像素子111Cによって撮像されたデジタル画像(蛍光画像)との関係の一例を示す図である。詳細には、図5(A)は右眼用撮像素子111Aおよび左眼用撮像素子111Bによって撮像されたデジタル画像(可視光画像)を示しており、図5(B)は蛍光用撮像素子111Cによって撮像されたデジタル画像(蛍光画像)を示している。
図6は第1ヘッドマウントディスプレイ12Aの第1表示部12A2によって表示されるデジタル画像(可視光画像)の一例を示す図である。図7は第2ヘッドマウントディスプレイ12Bの第2表示部12B2によって表示されるデジタル画像(蛍光画像)の一例を示す図である。
図6は第1ヘッドマウントディスプレイ12Aの第1表示部12A2によって表示されるデジタル画像(可視光画像)の一例を示す図である。図7は第2ヘッドマウントディスプレイ12Bの第2表示部12B2によって表示されるデジタル画像(蛍光画像)の一例を示す図である。
図5に示す例では、デジタル顕微鏡本体11の撮像部111の右眼用撮像素子111Aおよび左眼用撮像素子111Bは、患者の術部の一部(図5(A)に示す区画A1~A6、…、F1~F6)がデジタル画像(可視光画像)に含まれるように、患者の術部のデジタル画像(可視光画像)を比較的低倍率で撮像する。
また、撮像部111の蛍光用撮像素子111Cは、患者の術部の他の一部(図5(B)に示す区画G7~G9、…、I7~I9)がデジタル画像(蛍光画像)に含まれるように、患者の術部のデジタル画像(蛍光画像)を比較的低倍率で撮像する。
また、撮像部111の蛍光用撮像素子111Cは、患者の術部の他の一部(図5(B)に示す区画G7~G9、…、I7~I9)がデジタル画像(蛍光画像)に含まれるように、患者の術部のデジタル画像(蛍光画像)を比較的低倍率で撮像する。
図6に示す例では、第1ヘッドマウントディスプレイ12Aの装着者(術者)にとって見たい部分および画像が、患者の術部の全体(図2に示す区画A1~A9、…、I1~I9)のうちの区画B2~B4、C2~C4、D2~D4に相当する部分の可視光画像である。
そのため、第1ヘッドマウントディスプレイ12Aの第1検出部12A1は、第1ヘッドマウントディスプレイ12Aの第1表示部12A2によって表示されるデジタル画像として可視光画像および蛍光画像の一方である可視光画像を指定する術者の入力操作を検出する。
また、第1検出部12A1は、第1表示部12A2に表示されるデジタル画像(可視光画像)の倍率を増加させる第1ヘッドマウントディスプレイ12Aの装着者(術者)の操作(拡大操作)を検出する。更に、第1検出部12A1は、例えば区画B2の左上隅と区画D4の右下隅とを指定する術者の入力操作(つまり、区画B2~B4、C2~C4、D2~D4を指定する術者の入力操作)を検出する。
その結果、第1表示部12A2は、第1検出部12A1によって検出された術者の入力操作により指定された可視光画像および蛍光画像の一方である可視光画像を、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像として表示する。
詳細には、図6に示すように、第1表示部12A2が、第1検出部12A1によって検出された術者の拡大操作により設定された倍率で、撮像部111によって撮像されたデジタル画像(可視光画像)の一部(図6に示す区画B2~B4、C2~C4、D2~D4)を拡大表示する。
そのため、第1ヘッドマウントディスプレイ12Aの第1検出部12A1は、第1ヘッドマウントディスプレイ12Aの第1表示部12A2によって表示されるデジタル画像として可視光画像および蛍光画像の一方である可視光画像を指定する術者の入力操作を検出する。
また、第1検出部12A1は、第1表示部12A2に表示されるデジタル画像(可視光画像)の倍率を増加させる第1ヘッドマウントディスプレイ12Aの装着者(術者)の操作(拡大操作)を検出する。更に、第1検出部12A1は、例えば区画B2の左上隅と区画D4の右下隅とを指定する術者の入力操作(つまり、区画B2~B4、C2~C4、D2~D4を指定する術者の入力操作)を検出する。
その結果、第1表示部12A2は、第1検出部12A1によって検出された術者の入力操作により指定された可視光画像および蛍光画像の一方である可視光画像を、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像として表示する。
詳細には、図6に示すように、第1表示部12A2が、第1検出部12A1によって検出された術者の拡大操作により設定された倍率で、撮像部111によって撮像されたデジタル画像(可視光画像)の一部(図6に示す区画B2~B4、C2~C4、D2~D4)を拡大表示する。
図7に示す例では、第2ヘッドマウントディスプレイ12Bの装着者(助手)にとって見たい部分および画像が、患者の術部の全体(図2に示す区画A1~A9、…、I1~I9)のうちの区画G7~G9、H7~H9、I7~I9に相当する部分の蛍光画像である。
そのため、第2ヘッドマウントディスプレイ12Bの第2検出部12B1は、第2ヘッドマウントディスプレイ12Bの第2表示部12B2によって表示されるデジタル画像として可視光画像および蛍光画像の一方である蛍光画像を指定する助手の入力操作を検出する。
また、第2検出部12B1は、第2表示部12B2に表示されるデジタル画像(蛍光画像)の倍率を増加させる第2ヘッドマウントディスプレイ12Bの装着者(助手)の操作(拡大操作)を検出することなく、例えば区画G7の左上隅と区画I9の右下隅とを指定する助手の入力操作(つまり、区画G7~G9、H7~H9、I7~I9を指定する助手の入力操作)を検出する。
その結果、第2表示部12B2は、第2検出部12B1によって検出された助手の入力操作により指定された可視光画像および蛍光画像の一方である蛍光画像を、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像として表示する。
詳細には、図7に示すように、第2表示部12B2が、撮像部111によって撮像されたデジタル画像(蛍光画像)(図7に示す区画G7~G9、H7~H9、I7~I9)を比較的低倍率で表示する。
そのため、第2ヘッドマウントディスプレイ12Bの第2検出部12B1は、第2ヘッドマウントディスプレイ12Bの第2表示部12B2によって表示されるデジタル画像として可視光画像および蛍光画像の一方である蛍光画像を指定する助手の入力操作を検出する。
また、第2検出部12B1は、第2表示部12B2に表示されるデジタル画像(蛍光画像)の倍率を増加させる第2ヘッドマウントディスプレイ12Bの装着者(助手)の操作(拡大操作)を検出することなく、例えば区画G7の左上隅と区画I9の右下隅とを指定する助手の入力操作(つまり、区画G7~G9、H7~H9、I7~I9を指定する助手の入力操作)を検出する。
その結果、第2表示部12B2は、第2検出部12B1によって検出された助手の入力操作により指定された可視光画像および蛍光画像の一方である蛍光画像を、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像として表示する。
詳細には、図7に示すように、第2表示部12B2が、撮像部111によって撮像されたデジタル画像(蛍光画像)(図7に示す区画G7~G9、H7~H9、I7~I9)を比較的低倍率で表示する。
図8はデジタル顕微鏡本体11の測距センサ113によって検出された深さ情報が第1ヘッドマウントディスプレイ12Aの第1表示部12A2によって表示されるデジタル画像に付加される一例を説明するための図である。
図8に示す例では、第1ヘッドマウントディスプレイ12Aの第1検出部12A1が、デジタル顕微鏡本体11の測距センサ113によって検出された深さ情報を、第1ヘッドマウントディスプレイ12Aの第1表示部12A2によって表示されるデジタル画像(可視光画像)に付加する設定を行う術者の入力操作を検出する。
そのため、第1表示部12A2が、第1検出部12A1によって検出された術者の入力操作に基づいて、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(可視光画像)を表示する。詳細には、図8に示すように、第1表示部12A2は、深さ情報(区画D4の深さDPD4、区画D5の深さDPD5、区画D6の深さDPD6、区画E4の深さDPE4、区画E5の深さDPE5、区画E6の深さDPE6、区画F4の深さDPF4、区画F5の深さDPF5、区画F6の深さDPF6)が付加されたデジタル画像(可視光画像)を表示する。
一方、この例では、第2ヘッドマウントディスプレイ12Bの第2検出部12B1が、デジタル顕微鏡本体11の測距センサ113によって検出された深さ情報を、第2ヘッドマウントディスプレイ12Bの第2表示部12B2によって表示されるデジタル画像(可視光画像)に付加しない設定を行う助手の入力操作を検出する。
そのため、第2表示部12B2が、第2検出部12B1によって検出された助手の入力操作に基づいて、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(可視光画像)を表示する。詳細には、図4に示すように、第2表示部12B2は、深さ情報が付加されていないデジタル画像(可視光画像)を表示する。
図8に示す例では、第1ヘッドマウントディスプレイ12Aの第1検出部12A1が、デジタル顕微鏡本体11の測距センサ113によって検出された深さ情報を、第1ヘッドマウントディスプレイ12Aの第1表示部12A2によって表示されるデジタル画像(可視光画像)に付加する設定を行う術者の入力操作を検出する。
そのため、第1表示部12A2が、第1検出部12A1によって検出された術者の入力操作に基づいて、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(可視光画像)を表示する。詳細には、図8に示すように、第1表示部12A2は、深さ情報(区画D4の深さDPD4、区画D5の深さDPD5、区画D6の深さDPD6、区画E4の深さDPE4、区画E5の深さDPE5、区画E6の深さDPE6、区画F4の深さDPF4、区画F5の深さDPF5、区画F6の深さDPF6)が付加されたデジタル画像(可視光画像)を表示する。
一方、この例では、第2ヘッドマウントディスプレイ12Bの第2検出部12B1が、デジタル顕微鏡本体11の測距センサ113によって検出された深さ情報を、第2ヘッドマウントディスプレイ12Bの第2表示部12B2によって表示されるデジタル画像(可視光画像)に付加しない設定を行う助手の入力操作を検出する。
そのため、第2表示部12B2が、第2検出部12B1によって検出された助手の入力操作に基づいて、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(可視光画像)を表示する。詳細には、図4に示すように、第2表示部12B2は、深さ情報が付加されていないデジタル画像(可視光画像)を表示する。
図9はデジタル顕微鏡本体11のバーチャル画像生成部115によって生成されたバーチャル画像が第2ヘッドマウントディスプレイ12Bの第2表示部12B2にデジタル画像として表示される一例を説明するための図である。
図9に示す例では、第1ヘッドマウントディスプレイ12Aの第1検出部12A1が、デジタル顕微鏡本体11のバーチャル画像生成部115によって生成されたバーチャル画像を、第1ヘッドマウントディスプレイ12Aの第1表示部12A2にデジタル画像として表示しない設定を行う術者の入力操作を検出する。つまり、第1検出部12A1は、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(可視光画像)を第1表示部12A2に表示する設定を行う術者の入力操作を検出する。
そのため、第1表示部12A2が、第1検出部12A1によって検出された術者の入力操作に基づいて、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(可視光画像)(つまり、術者の入力操作により設定された画像)を表示する。詳細には、第1表示部12A2は、バーチャル画像生成部115によって生成されたバーチャル画像を表示することなく、撮像部111によって撮像されたデジタル画像(図3参照)を表示する。
また、図9に示す例では、第2ヘッドマウントディスプレイ12Bの第2検出部12B1が、バーチャル画像生成部115によって生成されたバーチャル画像を、第2ヘッドマウントディスプレイ12Bの第2表示部12B2にデジタル画像として表示する設定を行う助手の入力操作を検出する。つまり、第2検出部12B1は、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(可視光画像)を第2表示部12B2に表示しない設定を行う助手の入力操作を検出する。
そのため、第2表示部12B2が、第2検出部12B1によって検出された助手の入力操作に基づいて、バーチャル画像生成部115によって生成されたバーチャル画像(つまり、助手の入力操作により設定された画像)を表示する。詳細には、第2表示部12B2は、撮像部111によって撮像されたデジタル画像(図4参照)を表示することなく、バーチャル画像生成部115によって生成されたバーチャル画像(図9参照)を表示する。
図9に示す例では、第1ヘッドマウントディスプレイ12Aの第1検出部12A1が、デジタル顕微鏡本体11のバーチャル画像生成部115によって生成されたバーチャル画像を、第1ヘッドマウントディスプレイ12Aの第1表示部12A2にデジタル画像として表示しない設定を行う術者の入力操作を検出する。つまり、第1検出部12A1は、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(可視光画像)を第1表示部12A2に表示する設定を行う術者の入力操作を検出する。
そのため、第1表示部12A2が、第1検出部12A1によって検出された術者の入力操作に基づいて、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(可視光画像)(つまり、術者の入力操作により設定された画像)を表示する。詳細には、第1表示部12A2は、バーチャル画像生成部115によって生成されたバーチャル画像を表示することなく、撮像部111によって撮像されたデジタル画像(図3参照)を表示する。
また、図9に示す例では、第2ヘッドマウントディスプレイ12Bの第2検出部12B1が、バーチャル画像生成部115によって生成されたバーチャル画像を、第2ヘッドマウントディスプレイ12Bの第2表示部12B2にデジタル画像として表示する設定を行う助手の入力操作を検出する。つまり、第2検出部12B1は、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像(可視光画像)を第2表示部12B2に表示しない設定を行う助手の入力操作を検出する。
そのため、第2表示部12B2が、第2検出部12B1によって検出された助手の入力操作に基づいて、バーチャル画像生成部115によって生成されたバーチャル画像(つまり、助手の入力操作により設定された画像)を表示する。詳細には、第2表示部12B2は、撮像部111によって撮像されたデジタル画像(図4参照)を表示することなく、バーチャル画像生成部115によって生成されたバーチャル画像(図9参照)を表示する。
図1に示す例では、第3ヘッドマウントディスプレイ12Cが、例えば見学者によって装着され、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像の表示などを行う。第3ヘッドマウントディスプレイ12Cは、第3検出部12C1と、第3表示部12C2と、第3通信部12C3とを備えている。
第3検出部12C1は、第3ヘッドマウントディスプレイ12Cの装着者(見学者)の入力操作(例えばデジタル画像の表示倍率の設定操作、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像のうちの見学者が見たい部分の指定操作など)を検出する。第3検出部12C1によって検出される第3ヘッドマウントディスプレイ12Cの装着者(見学者)の入力操作には、例えば、見学者による首振り動作、見学者による視線入力操作などが含まれる。第3検出部12C1は、第1検出部12A1および第2検出部12B1と同様の機能を有する。
第3検出部12C1は、第3ヘッドマウントディスプレイ12Cの装着者(見学者)の入力操作(例えばデジタル画像の表示倍率の設定操作、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像のうちの見学者が見たい部分の指定操作など)を検出する。第3検出部12C1によって検出される第3ヘッドマウントディスプレイ12Cの装着者(見学者)の入力操作には、例えば、見学者による首振り動作、見学者による視線入力操作などが含まれる。第3検出部12C1は、第1検出部12A1および第2検出部12B1と同様の機能を有する。
第3表示部12C2は、第3検出部12C1によって検出された第3ヘッドマウントディスプレイ12Cの装着者(見学者)の入力操作に応じて、デジタル顕微鏡本体11の撮像部111によって撮像されたデジタル画像などを表示する。第3表示部12C2は、第1表示部12A2および第2表示部12B2と同様の機能を有する。
第3通信部12C3は、デジタル顕微鏡本体11の通信部116によって送信されたデータ等を受信する。つまり、第3通信部12C3は、撮像部111によって撮像された患者の術部のデジタル画像データ、デジタル顕微鏡本体11の測距センサ113によって検出された患者の術部の深さ情報、デジタル顕微鏡本体11の画像処理部114による処理が行われた患者の術部のデジタル画像データ、デジタル顕微鏡本体11のバーチャル画像生成部115によって生成されたバーチャル画像データ等を受信する。第3通信部12C3は、第1通信部12A3および第2通信部12B3と同様の機能を有する。
つまり、第3表示部12C2は、第3検出部12C1によって検出された第3ヘッドマウントディスプレイ12Cの装着者(見学者)の入力操作に応じて、撮像部111によって撮像された患者の術部のデジタル画像、測距センサ113によって検出された患者の術部の深さ情報、画像処理部114による処理が行われた患者の術部のデジタル画像、バーチャル画像生成部115によって生成されたバーチャル画像などを表示することができる。
第3通信部12C3は、デジタル顕微鏡本体11の通信部116によって送信されたデータ等を受信する。つまり、第3通信部12C3は、撮像部111によって撮像された患者の術部のデジタル画像データ、デジタル顕微鏡本体11の測距センサ113によって検出された患者の術部の深さ情報、デジタル顕微鏡本体11の画像処理部114による処理が行われた患者の術部のデジタル画像データ、デジタル顕微鏡本体11のバーチャル画像生成部115によって生成されたバーチャル画像データ等を受信する。第3通信部12C3は、第1通信部12A3および第2通信部12B3と同様の機能を有する。
つまり、第3表示部12C2は、第3検出部12C1によって検出された第3ヘッドマウントディスプレイ12Cの装着者(見学者)の入力操作に応じて、撮像部111によって撮像された患者の術部のデジタル画像、測距センサ113によって検出された患者の術部の深さ情報、画像処理部114による処理が行われた患者の術部のデジタル画像、バーチャル画像生成部115によって生成されたバーチャル画像などを表示することができる。
図10は第1実施形態の手術用デジタル顕微鏡システム1において実行される処理の一例を示すシーケンス図である。
図10に示す例では、ステップS11において、デジタル顕微鏡本体11の撮像部111が、患者の術部のデジタル画像を撮像する。
ステップS12Aでは、デジタル顕微鏡本体11の通信部116が、ステップS11において撮像された患者の術部のデジタル画像データを第1ヘッドマウントディスプレイ12Aに送信する。
ステップS12Bでは、デジタル顕微鏡本体11の通信部116が、ステップS11において撮像された患者の術部のデジタル画像データを第2ヘッドマウントディスプレイ12Bに送信する。
ステップS12Cでは、デジタル顕微鏡本体11の通信部116が、ステップS11において撮像された患者の術部のデジタル画像データを第3ヘッドマウントディスプレイ12Cに送信する。
図10に示す例では、ステップS11において、デジタル顕微鏡本体11の撮像部111が、患者の術部のデジタル画像を撮像する。
ステップS12Aでは、デジタル顕微鏡本体11の通信部116が、ステップS11において撮像された患者の術部のデジタル画像データを第1ヘッドマウントディスプレイ12Aに送信する。
ステップS12Bでは、デジタル顕微鏡本体11の通信部116が、ステップS11において撮像された患者の術部のデジタル画像データを第2ヘッドマウントディスプレイ12Bに送信する。
ステップS12Cでは、デジタル顕微鏡本体11の通信部116が、ステップS11において撮像された患者の術部のデジタル画像データを第3ヘッドマウントディスプレイ12Cに送信する。
ステップS13Aでは、第1ヘッドマウントディスプレイ12Aの第1検出部12A1が、第1ヘッドマウントディスプレイ12Aの装着者(術者)の入力操作を検出する。
ステップS14Aでは、第1ヘッドマウントディスプレイ12Aの第1表示部12A2が、ステップS13Aにおいて検出された第1ヘッドマウントディスプレイ12Aの装着者(術者)の入力操作に応じて、ステップS11において撮像された患者の術部のデジタル画像を表示する。
ステップS14Aでは、第1ヘッドマウントディスプレイ12Aの第1表示部12A2が、ステップS13Aにおいて検出された第1ヘッドマウントディスプレイ12Aの装着者(術者)の入力操作に応じて、ステップS11において撮像された患者の術部のデジタル画像を表示する。
ステップS13Bでは、第2ヘッドマウントディスプレイ12Bの第2検出部12B1が、第2ヘッドマウントディスプレイ12Bの装着者(助手)の入力操作を検出する。
ステップS14Bでは、第2ヘッドマウントディスプレイ12Bの第2表示部12B2が、ステップS13Bにおいて検出された第2ヘッドマウントディスプレイ12Bの装着者(助手)の入力操作に応じて、ステップS11において撮像された患者の術部のデジタル画像を表示する。
ステップS14Bでは、第2ヘッドマウントディスプレイ12Bの第2表示部12B2が、ステップS13Bにおいて検出された第2ヘッドマウントディスプレイ12Bの装着者(助手)の入力操作に応じて、ステップS11において撮像された患者の術部のデジタル画像を表示する。
ステップS13Cでは、第3ヘッドマウントディスプレイ12Cの第3検出部12C1が、第3ヘッドマウントディスプレイ12Cの装着者(見学者)の入力操作を検出する。
ステップS14Cでは、第3ヘッドマウントディスプレイ12Cの第3表示部12C2が、ステップS13Cにおいて検出された第3ヘッドマウントディスプレイ12Cの装着者(見学者)の入力操作に応じて、ステップS11において撮像された患者の術部のデジタル画像を表示する。
ステップS14Cでは、第3ヘッドマウントディスプレイ12Cの第3表示部12C2が、ステップS13Cにおいて検出された第3ヘッドマウントディスプレイ12Cの装着者(見学者)の入力操作に応じて、ステップS11において撮像された患者の術部のデジタル画像を表示する。
[第2実施形態]
以下、本発明の手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法の第2実施形態について説明する。
第2実施形態の手術用デジタル顕微鏡システム1は、後述する点を除き、上述した第1実施形態の手術用デジタル顕微鏡システム1と同様に構成されている。従って、第2実施形態の手術用デジタル顕微鏡システム1によれば、後述する点を除き、上述した第1実施形態の手術用デジタル顕微鏡システム1と同様の効果を奏することができる。
以下、本発明の手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法の第2実施形態について説明する。
第2実施形態の手術用デジタル顕微鏡システム1は、後述する点を除き、上述した第1実施形態の手術用デジタル顕微鏡システム1と同様に構成されている。従って、第2実施形態の手術用デジタル顕微鏡システム1によれば、後述する点を除き、上述した第1実施形態の手術用デジタル顕微鏡システム1と同様の効果を奏することができる。
図11は第2実施形態の手術用デジタル顕微鏡システム1のデジタル顕微鏡本体11の撮像部111、照明部112および測距センサ113の構成の一例を示す斜視図である。
上述した第1実施形態の手術用デジタル顕微鏡システム1では、デジタル顕微鏡本体11の照明部112の可視光照射部112Aによって可視光が照射される患者の術部上の位置と、励起光照射部112Bによって励起光が照射される患者の術部上の位置と、測距センサ113により深さ情報の検出が行われる患者の術部上の位置とが概略同一である。
一方、図11に示す例では、デジタル顕微鏡本体11の照明部112の可視光照射部112Aによって可視光が照射される患者の術部上の位置と、励起光照射部112Bによって励起光が照射される患者の術部上の位置と、測距センサ113により深さ情報の検出が行われる患者の術部上の位置とが互いに異なる。
上述した第1実施形態の手術用デジタル顕微鏡システム1では、デジタル顕微鏡本体11の照明部112の可視光照射部112Aによって可視光が照射される患者の術部上の位置と、励起光照射部112Bによって励起光が照射される患者の術部上の位置と、測距センサ113により深さ情報の検出が行われる患者の術部上の位置とが概略同一である。
一方、図11に示す例では、デジタル顕微鏡本体11の照明部112の可視光照射部112Aによって可視光が照射される患者の術部上の位置と、励起光照射部112Bによって励起光が照射される患者の術部上の位置と、測距センサ113により深さ情報の検出が行われる患者の術部上の位置とが互いに異なる。
また、図11に示す例では、照明部112が2つの励起光照射部112Bを備えている。一方の励起光照射部112Bは、第1の種類の蛍光色素(蛍光物質)を励起する第1励起光を照射する機能を有する。他方の励起光照射部112Bは、第2の種類の蛍光色素(蛍光物質)を励起する第2励起光を照射する機能を有する。そのため、蛍光用撮像素子111Cは、一方の励起光照射部112Bから照射された第1励起光によって励起された蛍光物質が蛍光を発している状態を示す患者の術部の蛍光画像と、他方の励起光照射部112Bから照射された第2励起光によって励起された蛍光物質が蛍光を発している状態を示す患者の術部の蛍光画像とを撮像することができる。
つまり、図11に示す例では、蛍光の染め分け(例えば、腫瘍の流入血管と一般組織の血管との染め分け、動脈と静脈との染め分け、脈管と神経との染め分けなど)を行うことができる。
つまり、図11に示す例では、蛍光の染め分け(例えば、腫瘍の流入血管と一般組織の血管との染め分け、動脈と静脈との染め分け、脈管と神経との染め分けなど)を行うことができる。
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態および各例に記載の構成を組み合わせてもよい。
なお、上記の実施形態における手術用デジタル顕微鏡システム1の全部または一部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、手術用デジタル顕微鏡システム1の全部または一部は、メモリおよびCPU(中央演算装置)により構成され、各システムが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
なお、手術用デジタル顕微鏡システム1の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
なお、手術用デジタル顕微鏡システム1の全部または一部は、メモリおよびCPU(中央演算装置)により構成され、各システムが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
なお、手術用デジタル顕微鏡システム1の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
1…手術用デジタル顕微鏡システム、11…デジタル顕微鏡本体、111…撮像部、111A…右眼用撮像素子、111B…左眼用撮像素子、111C…蛍光用撮像素子、112…照明部、112A…可視光照射部、112B…励起光照射部、113…測距センサ、114…画像処理部、115…バーチャル画像生成部、116…通信部、117…制御部、118…操作部、12A…第1ヘッドマウントディスプレイ、12A1…第1検出部、12A2…第1表示部、12A3…第1通信部、12B…第2ヘッドマウントディスプレイ、12B1…第2検出部、12B2…第2表示部、12B3…第2通信部、12C…第3ヘッドマウントディスプレイ、12C1…第3検出部、12C2…第3表示部、12C3…第3通信部
Claims (12)
- 患者の術部のデジタル画像を撮像する撮像部と、
前記撮像部によって撮像されたデジタル画像を表示する第1ヘッドマウントディスプレイと、
前記撮像部によって撮像されたデジタル画像を表示する第2ヘッドマウントディスプレイとを備え、
前記第1ヘッドマウントディスプレイは、
前記第1ヘッドマウントディスプレイの装着者の入力操作を検出する第1検出部と、
前記第1検出部によって検出された前記第1ヘッドマウントディスプレイの装着者の入力操作に応じて、前記撮像部によって撮像されたデジタル画像を表示する第1表示部とを備え、
前記第2ヘッドマウントディスプレイは、
前記第2ヘッドマウントディスプレイの装着者の入力操作を検出する第2検出部と、
前記第2検出部によって検出された前記第2ヘッドマウントディスプレイの装着者の入力操作に応じて、前記撮像部によって撮像されたデジタル画像を表示する第2表示部とを備える、
手術用デジタル顕微鏡システム。 - 前記第1検出部は、前記第1表示部によって表示されるデジタル画像の倍率設定の入力操作を検出し、
前記第1表示部は、前記第1検出部によって検出された入力操作により設定された倍率で、前記撮像部によって撮像されたデジタル画像を表示し、
前記第2検出部は、前記第2表示部によって表示されるデジタル画像の倍率設定の入力操作を検出し、
前記第2表示部は、前記第2検出部によって検出された入力操作により設定された倍率で、前記撮像部によって撮像されたデジタル画像を表示する、
請求項1に記載の手術用デジタル顕微鏡システム。 - 前記第1検出部は、前記撮像部によって撮像されたデジタル画像のうちの前記第1表示部によって表示される部分を指定する入力操作を検出し、
前記第1表示部は、前記撮像部によって撮像されたデジタル画像のうちの前記第1検出部によって検出された入力操作により指定された部分を表示し、
前記第2検出部は、前記撮像部によって撮像されたデジタル画像のうちの前記第2表示部によって表示される部分を指定する入力操作を検出し、
前記第2表示部は、前記撮像部によって撮像されたデジタル画像のうちの前記第2検出部によって検出された入力操作により指定された部分を表示する、
請求項1に記載の手術用デジタル顕微鏡システム。 - 可視光を照射する機能と励起光を照射する機能とを有する照明部を備え、
前記撮像部は、患者の術部のデジタル画像として可視光画像を撮像する機能と、患者の術部のデジタル画像として蛍光画像を撮像する機能とを有し、
前記第1検出部は、前記第1表示部によって表示されるデジタル画像として可視光画像および蛍光画像の一方を指定する入力操作を検出し、
前記第1表示部は、前記第1検出部によって検出された入力操作により指定された可視光画像および蛍光画像の一方を、前記撮像部によって撮像されたデジタル画像として表示し、
前記第2検出部は、前記第2表示部によって表示されるデジタル画像として可視光画像および蛍光画像の一方を指定する入力操作を検出し、
前記第2表示部は、前記第2検出部によって検出された入力操作により指定された可視光画像および蛍光画像の一方を、前記撮像部によって撮像されたデジタル画像として表示する、
請求項1に記載の手術用デジタル顕微鏡システム。 - 患者の術部の深さ情報を検出する測距センサを備え、
前記第1検出部は、前記測距センサによって検出された深さ情報を前記第1表示部によって表示されるデジタル画像に付加するか否かを設定する入力操作を検出し、
前記第1表示部は、前記第1検出部によって検出された入力操作に基づいて、前記撮像部によって撮像されたデジタル画像を表示し、
前記第2検出部は、前記測距センサによって検出された深さ情報を前記第2表示部によって表示されるデジタル画像に付加するか否かを設定する入力操作を検出し、
前記第2表示部は、前記第2検出部によって検出された入力操作に基づいて、前記撮像部によって撮像されたデジタル画像を表示する、
請求項1に記載の手術用デジタル顕微鏡システム。 - 前記撮像部によって撮像されたデジタル画像に基づいてバーチャル画像を生成するバーチャル画像生成部を備え、
前記第1検出部は、前記第1表示部に、前記撮像部によって撮像されたデジタル画像を表示するか、あるいは、前記バーチャル画像生成部によって生成されたバーチャル画像を表示するかを設定する入力操作を検出し、
前記第1表示部は、前記第1検出部によって検出された入力操作により設定された画像を表示し、
前記第2検出部は、前記第2表示部に、前記撮像部によって撮像されたデジタル画像を表示するか、あるいは、前記バーチャル画像生成部によって生成されたバーチャル画像を表示するかを設定する入力操作を検出し、
前記第2表示部は、前記第2検出部によって検出された入力操作により設定された画像を表示する、
請求項1に記載の手術用デジタル顕微鏡システム。 - 前記撮像部によって撮像されたデジタル画像を表示する第3ヘッドマウントディスプレイを備え、
前記第3ヘッドマウントディスプレイは、
前記第3ヘッドマウントディスプレイの装着者の入力操作を検出する第3検出部と、
前記第3検出部によって検出された前記第3ヘッドマウントディスプレイの装着者の入力操作に応じて、前記撮像部によって撮像されたデジタル画像を表示する第3表示部とを備える、
請求項1に記載の手術用デジタル顕微鏡システム。 - 前記撮像部によって撮像されたデジタル画像を送信する通信部を備える、
請求項1に記載の手術用デジタル顕微鏡システム。 - 可視光を照射する可視光照射部と励起光を照射する励起光照射部とを有する照明部と、
患者の術部の深さ情報を検出する測距センサとを備え、
前記撮像部は、患者の術部のデジタル画像として可視光画像を撮像する右眼用撮像素子および左眼用撮像素子と、患者の術部のデジタル画像として蛍光画像を撮像する蛍光用撮像素子とを有する、
請求項1に記載の手術用デジタル顕微鏡システム。 - 前記可視光照射部によって可視光が照射される患者の術部上の位置と、前記励起光照射部によって励起光が照射される患者の術部上の位置と、前記測距センサにより深さ情報の検出が行われる患者の術部上の位置とが互いに異なる、
請求項9に記載の手術用デジタル顕微鏡システム。 - 前記励起光照射部は、第1の種類の蛍光色素を励起する第1励起光を照射する機能と、第2の種類の蛍光色素を励起する第2励起光を照射する機能とを有する、
請求項9に記載の手術用デジタル顕微鏡システム。 - 撮像部と第1ヘッドマウントディスプレイと第2ヘッドマウントディスプレイとを備える手術用デジタル顕微鏡システムの表示制御方法であって、
前記撮像部が、患者の術部のデジタル画像を撮像する撮像ステップと、
前記第1ヘッドマウントディスプレイが、前記第1ヘッドマウントディスプレイの装着者の入力操作を検出する第1検出ステップと、
前記第1ヘッドマウントディスプレイが、前記第1検出ステップにおいて検出された前記第1ヘッドマウントディスプレイの装着者の入力操作に応じて、前記撮像ステップにおいて撮像されたデジタル画像を表示する第1表示ステップと、
前記第2ヘッドマウントディスプレイが、前記第2ヘッドマウントディスプレイの装着者の入力操作を検出する第2検出ステップと、
前記第2ヘッドマウントディスプレイが、前記第2検出ステップにおいて検出された前記第2ヘッドマウントディスプレイの装着者の入力操作に応じて、前記撮像ステップにおいて撮像されたデジタル画像を表示する第2表示ステップとを備える、
手術用デジタル顕微鏡システムの表示制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021181130A JP2023069343A (ja) | 2021-11-05 | 2021-11-05 | 手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法 |
PCT/JP2022/038426 WO2023079927A1 (ja) | 2021-11-05 | 2022-10-14 | 手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021181130A JP2023069343A (ja) | 2021-11-05 | 2021-11-05 | 手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023069343A true JP2023069343A (ja) | 2023-05-18 |
Family
ID=86241347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021181130A Pending JP2023069343A (ja) | 2021-11-05 | 2021-11-05 | 手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023069343A (ja) |
WO (1) | WO2023079927A1 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100597444B1 (ko) * | 2004-04-30 | 2006-07-10 | 김봉현 | 안과 수술용 화상 시스템 |
JP6396027B2 (ja) * | 2014-02-12 | 2018-09-26 | 株式会社バンダイナムコエンターテインメント | プログラムおよびゲーム装置 |
DE112018001058B4 (de) * | 2017-02-28 | 2020-12-03 | Sony Corporation | Medizinisches tragarmsystem und steuervorrichtung |
JP6793623B2 (ja) * | 2017-11-08 | 2020-12-02 | 株式会社モリタ製作所 | 観察器具、観察装置、観察ユニット及び診療ユニット |
JPWO2019155931A1 (ja) * | 2018-02-09 | 2021-01-28 | ソニー株式会社 | 手術システム、画像処理装置及び画像処理方法 |
JP2020022563A (ja) * | 2018-08-06 | 2020-02-13 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察装置 |
US20210382559A1 (en) * | 2018-10-25 | 2021-12-09 | Beyeonics Surgical Ltd | Ui for head mounted display system |
WO2021153577A1 (ja) * | 2020-01-31 | 2021-08-05 | ソニーグループ株式会社 | 視線検出装置のキャリブレーション |
-
2021
- 2021-11-05 JP JP2021181130A patent/JP2023069343A/ja active Pending
-
2022
- 2022-10-14 WO PCT/JP2022/038426 patent/WO2023079927A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023079927A1 (ja) | 2023-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106796344B (zh) | 锁定在感兴趣对象上的放大图像的系统、布置和方法 | |
US10197803B2 (en) | Augmented reality glasses for medical applications and corresponding augmented reality system | |
US20200197098A1 (en) | Enhanced reality medical guidance systems and methods of use | |
RU2642941C2 (ru) | Устройство обработки информации, способ обработки информации и система обработки информации | |
EP2584989B1 (en) | Generating images for at least two displays in image-guided surgery | |
WO2020045015A1 (ja) | 医療システム、情報処理装置及び情報処理方法 | |
JP2013195924A (ja) | ヘッドマウントディスプレイ | |
JP5949592B2 (ja) | 内視鏡及び内視鏡装置 | |
US11694725B2 (en) | Information processing apparatus and information processing method | |
US9615802B2 (en) | Direct control of X-ray focal spot movement | |
US20220008141A1 (en) | Enhanced reality medical guidance systems and methods of use | |
US11094283B2 (en) | Head-wearable presentation apparatus, method for operating the same, and medical-optical observation system | |
WO2019012857A1 (ja) | 撮像装置、画像生成方法 | |
JP2016158911A (ja) | 画像表示装置を使った外科手術方法及び、その外科手術に用いる装置 | |
JP2023133406A (ja) | 患者視認システム | |
WO2023079927A1 (ja) | 手術用デジタル顕微鏡システムおよび手術用デジタル顕微鏡システムの表示制御方法 | |
US11918286B2 (en) | Ophthalmic instrument, management method, and management device | |
WO2019123874A1 (ja) | 医療用観察システム、医療用信号処理装置、及び医療用信号処理装置の駆動方法 | |
JP2017176318A (ja) | 医療用立体観察装置、医療用立体観察方法、プログラム、及び医療用立体観察システム | |
JP3499946B2 (ja) | 画像診断装置 | |
WO2018163499A1 (ja) | 医療画像表示制御装置、医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法 | |
CN108965856A (zh) | 一种基于3d内窥镜的裸眼3d显示系统及方法 | |
US20190154953A1 (en) | Control apparatus, control system, and control method | |
JP2018152657A (ja) | 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法 | |
US20210121059A1 (en) | Ophthalmic instrument, management device, and method for managing an ophthalmic instrument |