JP2010259497A - 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 - Google Patents
網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 Download PDFInfo
- Publication number
- JP2010259497A JP2010259497A JP2009110903A JP2009110903A JP2010259497A JP 2010259497 A JP2010259497 A JP 2010259497A JP 2009110903 A JP2009110903 A JP 2009110903A JP 2009110903 A JP2009110903 A JP 2009110903A JP 2010259497 A JP2010259497 A JP 2010259497A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- coordinate system
- dimensional
- rphmd
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000004088 simulation Methods 0.000 title claims abstract description 54
- 210000001525 retina Anatomy 0.000 title claims abstract description 41
- 238000001356 surgical procedure Methods 0.000 title claims abstract description 20
- 239000007943 implant Substances 0.000 claims abstract description 74
- 210000000214 mouth Anatomy 0.000 claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 37
- 239000003550 marker Substances 0.000 claims description 142
- 230000004270 retinal projection Effects 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 9
- 239000004053 dental implant Substances 0.000 abstract description 14
- 208000019901 Anxiety disease Diseases 0.000 abstract description 6
- 230000036506 anxiety Effects 0.000 abstract description 6
- 230000003190 augmentative effect Effects 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 31
- 230000009466 transformation Effects 0.000 description 22
- 230000036544 posture Effects 0.000 description 18
- 230000014509 gene expression Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002513 implantation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 210000004513 dentition Anatomy 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000036346 tooth eruption Effects 0.000 description 1
Landscapes
- Dental Prosthetics (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】患者の口腔内にインプラントを埋入する歯科インプラント手術を、術前シミュレーションイメージを用いて効果的に支援することができるとともに、術者に生じる不安感を抑制することができる手術ナビゲーションシステムを提供する。
【解決手段】手術ナビゲーションシステムは、術者の網膜に映像を投影する網膜投影型ヘッドマウントディスプレイ装置と、拡張現実感技術とを応用し、術前シミュレーションイメージを網膜投影型ヘッドマウントディスプレイ装置により術者の網膜に投影して、術者の実視野における患者の術部に重ね合わせることで、術部と術前シミュレーションイメージを同時に見ながら安心して手術を行うことが可能となる。
【選択図】図１
【解決手段】手術ナビゲーションシステムは、術者の網膜に映像を投影する網膜投影型ヘッドマウントディスプレイ装置と、拡張現実感技術とを応用し、術前シミュレーションイメージを網膜投影型ヘッドマウントディスプレイ装置により術者の網膜に投影して、術者の実視野における患者の術部に重ね合わせることで、術部と術前シミュレーションイメージを同時に見ながら安心して手術を行うことが可能となる。
【選択図】図１
Description
本発明は、患者の口腔内にインプラントを埋入する歯科インプラント手術を、術前シミュレーションイメージを用いて支援する、手術ナビゲーションシステムに関する。
近年、歯科医療においてデンタルインプラントは欠損歯の補綴治療においてきわめて有効な方法の一つとして確立されている。それとともに、歯科医療においては、骨量・骨質の不十分な症例や、審美的な要求の高い難症例が増加している。そのような症例に対して正確かつ安全な手術を実現するため、これまでに様々な術前シミュレーションシステムおよび手術支援システムが開発されている（例えば、特許文献１、２および非特許文献１参照）。
Nardy Casap, et.al., "Navigation Surgery for Dental Implants: Assesment of Accuracy of the Image Guided Implantology System", Journal of Oral Maxillofacial Surgery, Vol.62, suppl.2, pp.116−119, 2004.
従来の歯科インプラント手術ナビゲーションシステムでは、手術台の横に配置されたモニタに、シミュレーションイメージを表示させることで、歯科インプラント手術における手術ナビゲーションを行うというものである。したがって、このような従来の手術ナビゲーションシステムでは、術者（医師）は、患者の口腔内の術部とモニタとを交互に見ながら、口腔内という狭い環境の中で器具の操作を行わなければならず、術者の不安が生じるという課題がある。
従って、本発明の目的は、上記課題を解決することにあって、患者の口腔内にインプラントを埋入する歯科インプラント手術を、術前シミュレーションイメージを用いて効果的に支援することができるとともに、術者に生じる不安感を抑制することができる網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法を提供することにある。
上記目的を達成するために、本発明は以下のように構成する。
本発明の第１態様によれば、術者の顔に取り付けられ、術者の網膜に対して映像を投影する網膜投影型ヘッドマウントディスプレイ装置（以下「ＲＰＨＭＤ装置」とする）と、
患者の口腔内に固定される第１マーカおよびＲＰＨＭＤ装置に固定される第２マーカの３次元位置姿勢を測定する３次元位置計測装置と、
第１マーカとの間の相対的な３次元位置姿勢が関連付けられたインプラントの３次元シミュレーションイメージ情報と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系であるＲＰＨＭＤ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報と、を保持する情報保持装置と、
３次元位置計測装置により計測された、第１マーカおよび第２マーカの位置姿勢と、情報保持装置に保持されている３次元位置姿勢および座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の座標系を術者視野座標系に変換して、変換されたシミュレーションイメージ情報をＲＰＨＭＤ装置により術者の網膜に投影させて、術者の実視野にて取得される患者の口腔内の術部の実像にシミュレーションイメージを重ね合わせる演算処理装置とを備えることを特徴とする、網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムを提供する。
患者の口腔内に固定される第１マーカおよびＲＰＨＭＤ装置に固定される第２マーカの３次元位置姿勢を測定する３次元位置計測装置と、
第１マーカとの間の相対的な３次元位置姿勢が関連付けられたインプラントの３次元シミュレーションイメージ情報と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系であるＲＰＨＭＤ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報と、を保持する情報保持装置と、
３次元位置計測装置により計測された、第１マーカおよび第２マーカの位置姿勢と、情報保持装置に保持されている３次元位置姿勢および座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の座標系を術者視野座標系に変換して、変換されたシミュレーションイメージ情報をＲＰＨＭＤ装置により術者の網膜に投影させて、術者の実視野にて取得される患者の口腔内の術部の実像にシミュレーションイメージを重ね合わせる演算処理装置とを備えることを特徴とする、網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムを提供する。
本発明の第２態様によれば、３次元位置計測装置により取得されたキャリブレーション用マーカの３次元位置座標および第２マーカの３次元位置座標に基づいて、キャリブレーション用マーカのＲＰＨＭＤ装置座標系における３次元座標値を取得する第１手順と、
ＲＰＨＭＤ装置により術者の網膜に投影されたカーソルが術者により操作されて、術者の実視野におけるキャリブレーション用マーカの位置に重なるように配置されたカーソルの２次元位置座標を、術者視野座標系におけるキャリブレーション用マーカの２次元位置座標値として取得する第２手順と、
第１手順および第２手順を少なくとも６回実施することにより取得された、キャリブレーション用マーカについてのＲＰＨＭＤ装置座標系の３次元座標値と術者視野座標系の２次元座標値との少なくとも６組の位置座標に基づいて、座標系変換情報を算出する第３手順と、を演算処理装置に実行させるキャリブレーション用プログラムをさらに備える、第１態様に記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムを提供する。
ＲＰＨＭＤ装置により術者の網膜に投影されたカーソルが術者により操作されて、術者の実視野におけるキャリブレーション用マーカの位置に重なるように配置されたカーソルの２次元位置座標を、術者視野座標系におけるキャリブレーション用マーカの２次元位置座標値として取得する第２手順と、
第１手順および第２手順を少なくとも６回実施することにより取得された、キャリブレーション用マーカについてのＲＰＨＭＤ装置座標系の３次元座標値と術者視野座標系の２次元座標値との少なくとも６組の位置座標に基づいて、座標系変換情報を算出する第３手順と、を演算処理装置に実行させるキャリブレーション用プログラムをさらに備える、第１態様に記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムを提供する。
本発明の第３態様によれば、少なくとも１つのキャリブレーション用マーカと、患者の口腔内に固定される第１マーカとが兼用されて、キャリブレーション用プログラムにおける第１手順または第２手順の実行と、術者の実視野にて取得される患者の口腔内の術部へのシミュレーションイメージの重ね合わせとが、演算処理装置により同時に実施される、第２態様に記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムを提供する。
本発明の第４態様によれば、キャリブレーション用プログラムにおける第３手順において、第１手順および第２手順を少なくとも１５回実施して、少なくとも１５組の位置座標を取得し、最小二乗法を用いて、少なくとも１５組の位置座標から少なくとも１０組の位置座標を選定し、少なくとも１０組の位置座標に基づいて座標系変換情報を算出する手順をさらに含む、第２態様または第３態様に記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムを提供する。
本発明の第５態様によれば、３次元位置計測装置は、術者が把持する術用工具に固定された第３マーカの３次元位置姿勢を計測可能であって、
演算処理装置は、３次元位置計測装置により計測された、第３マーカの３次元位置姿勢および第２マーカの３次元位置姿勢と、情報保持装置に保持されているインプラントの３次元シミュレーションイメージ情報とに基づいて、インプラントの３次元シミュレーションイメージ情報におけるインプラントの埋入位置と、術用工具の位置姿勢との間の位置ズレを補正するための位置ズレ補正情報を算出し、座標系変換情報を用いて、算出された位置ズレ補正情報を、ＲＰＨＭＤ装置によりシミュレーションイメージ情報とともに術者の網膜に投影する、第１態様から第４態様のいずれか１つに記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムを提供する。
演算処理装置は、３次元位置計測装置により計測された、第３マーカの３次元位置姿勢および第２マーカの３次元位置姿勢と、情報保持装置に保持されているインプラントの３次元シミュレーションイメージ情報とに基づいて、インプラントの３次元シミュレーションイメージ情報におけるインプラントの埋入位置と、術用工具の位置姿勢との間の位置ズレを補正するための位置ズレ補正情報を算出し、座標系変換情報を用いて、算出された位置ズレ補正情報を、ＲＰＨＭＤ装置によりシミュレーションイメージ情報とともに術者の網膜に投影する、第１態様から第４態様のいずれか１つに記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムを提供する。
本発明の第６態様によれば、患者の口腔内に固定された第１マーカと、術者の網膜に対して映像を投影する術者の顔に取り付けられた網膜投影型ヘッドマウントディスプレイ（以下「ＲＰＨＭＤ装置」とする）に対して固定された第２マーカとの３次元位置姿勢をそれぞれ測定し、
第１マーカおよび第２マーカの３次元位置姿勢と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系であるＲＰＨＭＤ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換し、
変換されたシミュレーションイメージ情報をＲＰＨＭＤ装置により術者の網膜に投影して、術者の実視野にて取得される患者の口腔内の術部の実像にシミュレーションイメージを重ね合わせることを特徴とする、網膜投影型ヘッドマウントディスプレイ装置を用いたシミュレーションイメージの重ね合わせ方法を提供する。
第１マーカおよび第２マーカの３次元位置姿勢と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系であるＲＰＨＭＤ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換し、
変換されたシミュレーションイメージ情報をＲＰＨＭＤ装置により術者の網膜に投影して、術者の実視野にて取得される患者の口腔内の術部の実像にシミュレーションイメージを重ね合わせることを特徴とする、網膜投影型ヘッドマウントディスプレイ装置を用いたシミュレーションイメージの重ね合わせ方法を提供する。
本発明の第７態様によれば、３次元位置計測装置により取得されたキャリブレーション用マーカの３次元位置座標および第２マーカの３次元位置座標に基づいて、キャリブレーション用マーカのＲＰＨＭＤ装置座標系における３次元座標値を取得する第１工程と、
ＲＰＨＭＤ装置により術者の網膜に投影されたカーソルが術者により操作されて、術者の実視野におけるキャリブレーション用マーカの位置に重なるように配置されたカーソルの２次元位置座標を、術者視野座標系におけるキャリブレーション用マーカの２次元座標値として取得する第２工程と、
第１工程および第２工程を少なくとも６回実施することにより取得された、キャリブレーション用マーカについてのＲＰＨＭＤ装置座標系の３次元座標値と術者視野座標系の２次元座標値との少なくとも６組の位置座標に基づいて、座標系変換情報を算出する第３工程とを実施した後、
第３工程にて算出された座標系変換情報を用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換する、第６態様に記載の網膜投影型ヘッドマウントディスプレイ装置を用いたシミュレーションイメージの重ね合わせ方法を提供する。
ＲＰＨＭＤ装置により術者の網膜に投影されたカーソルが術者により操作されて、術者の実視野におけるキャリブレーション用マーカの位置に重なるように配置されたカーソルの２次元位置座標を、術者視野座標系におけるキャリブレーション用マーカの２次元座標値として取得する第２工程と、
第１工程および第２工程を少なくとも６回実施することにより取得された、キャリブレーション用マーカについてのＲＰＨＭＤ装置座標系の３次元座標値と術者視野座標系の２次元座標値との少なくとも６組の位置座標に基づいて、座標系変換情報を算出する第３工程とを実施した後、
第３工程にて算出された座標系変換情報を用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換する、第６態様に記載の網膜投影型ヘッドマウントディスプレイ装置を用いたシミュレーションイメージの重ね合わせ方法を提供する。
本発明の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムによれば、従来のように別置きのモニタを用いるのではないため、術者が歯科インプラント手術中に、シミュレーションイメージを視認するために、患者の口腔外へ視線を移動する必要がなく、術中における術者への不安感を取り除くことができる。
具体的には、患者の口腔内に固定された第１マーカと、術者の顔に取り付けられた網膜投影型ヘッドマウントディスプレイ装置に対して固定された第２マーカとの３次元位置姿勢を、３次元位置計測装置によりそれぞれ計測し、計測された第１マーカおよび第２マーカの３次元位置姿勢と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系である網膜投影型ヘッドマウントディスプレイ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換することができる。これにより、変換されたシミュレーションイメージ情報を網膜投影型ヘッドマウントディスプレイ装置により術者の網膜に投影して、術者の実視野にて取得される患者の口腔内の術部の実像に、シミュレーションイメージを重ね合わせることができる。
すなわち、網膜投影型ヘッドマウントディスプレイを装備した術者は、患者の口腔内の術部に視線を合わせた状態にて、術部の実像に重ね合わされたインプラントのシミュレーションイメージを確認することができ、そのイメージによりインプラントの埋入位置などの情報を直感的に確認することができる。したがって、患者の口腔内から視線を外すことなく、術前シミュレーションイメージを確認することができ、視線を外すことに対する不安感が抑制された手術ナビゲーションシステムを提供することができる。
以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。
本発明の一の実施形態にかかる網膜投影型ヘッドマウントディスプレイを用いた手術ナビゲーションシステム１０のシステム構成図を図１に示す。
本実施形態の手術ナビゲーションシステム１０は、術者の網膜に映像を投影する網膜投影型ヘッドマウントディスプレイ（以降「ＲＰＨＭＤ(Retinal Projection Head Mounted Display)」とする。）装置と、拡張現実感（Augmented Reality）技術とを応用し、術前シミュレーションイメージをＲＰＨＭＤ装置により術者の網膜に投影して患者の術部に重ね合わせることで、術部と術前シミュレーションイメージを同時に見ながら安心して手術が行える手術ナビゲーションシステムである。
具体的には、図１に示すように、手術ナビゲーションシステム１０は、術者の顔に取り付けられ、術者の網膜に対して映像を投影するＲＰＨＭＤ装置１２と、所定の仕様に形成されたマーカの３次元位置座標およびその位置座標における姿勢を測定する３次元位置計測装置１４と、術前に作成された歯科インプラント手術のシミュレーションイメージを、患者の口腔内の術部に重ね合わさる（すなわち、オーバーレイされる）ように、座標系の変換処理を行ってＲＰＨＭＤ装置１２に出力する演算処理装置の一例であるコンピュータ装置１６とを備えている。
ＲＰＨＭＤ装置としては、例えば、術者の実視野にて術部等の実像を直接的に見る光学透過型と、ビデオカメラを通して取得された実像の映像を見る（すなわち、実像を間接的に見る）ビデオシースルー型とが存在し、さらに、両目型および片目型とが存在する。いずれの型式のＲＰＨＭＤ装置も本実施形態のＲＰＨＭＤ装置１２として採用することは可能であるが、術者が受けるＲＰＨＭＤ装置１２の装着感を考慮すれば、片目型の光学透過型を採用することが望ましい。
また、ＲＰＨＭＤ装置１２は、例えば、眼鏡１３のフレーム部分に固定されており、この眼鏡１３を術者が装着することで、ＲＰＨＭＤ装置１２が術者の顔に取り付けられる。ＲＰＨＭＤ装置１２は、眼に入射されても安全な明るさの光（例えば、レーザ光）を、眼に入射させながら網膜を走査することで、網膜に映像を投影する。そのため、ＲＰＨＭＤ装置１２は、例えば、投影される映像の入力部と、レーザ光源と、レーザ光の走査部とを備えており、これらの構成部が、眼鏡１３のフレーム部分に固定されている。なお、ＲＰＨＭＤ装置１２が固定された眼鏡１３は、術者への装着位置のズレが容易に生じないように、固定用バンドなどの装着補助部材が用いられることが望ましい。
３次元位置計測装置１４は、３次元空間におけるマーカ（３次元位置座標検出用の識別表示）の位置座標（すなわち３次元位置座標（並進：Ｘ，Ｙ，Ｚ））およびその位置座標における姿勢（すなわち、マーカの向きや傾斜状態などの姿勢（回転：ロール、ピッチ、ヨー））を測定する機能を有する計測装置である。特に、光学式３次元位置計測装置では、マーカの検出手段としてステレオタイプのカメラが用いられているため、マーカ自体も例えば白黒に印刷された紙製のマーカを用いることが可能であり、装置コストが安価となる。例えば、このような光学式３次元位置計測装置１４としては、Micron Tracker 2 Sx60 (Claron Technology Inc., USA)を用いることができる。このMicron Tracker 2は、動的追跡精度が７０μｍであり、歯科インプラントの要求精度１００μｍを満たしている。なお、本発明において、「位置姿勢」には、位置座標（並進）およびその位置座標における姿勢（回転）が含まれるものとする。すなわち、３次元位置計測装置によりマーカの「位置姿勢」が計測される場合には、マーカの３次元位置座標とともにその位置座標におけるマーカの姿勢も計測されることになる。
また、３次元位置計測装置１４の仕様に応じて、様々な仕様のマーカが用いられる。例えば、上述のMicron Tracker 2 では、図２に示すように、互いに平行に配置された２本の線分の組を互いに直交させることで少なくとも３箇所の直交交点が形成された第１マーカ２１が用いられる。この第１マーカ２１の中央部分に配置される四角形２２は短辺と長辺とを有する長方形２２となっており、長方形の各交点を画像処理により認識し易くするために、隣接する四角形が白・黒に塗りつぶされている。また、この長方形２２における図示下辺の中点が第１マーカ２１の原点Ｐｏとして、３次元位置計測装置１４により認識される。なお、後述するその他のマーカも同じ仕様にて形成されており、例えば、紙に印刷されたものを、アクリル製プレートに貼り付けることにより形成されている。
３次元位置計測装置１４にて計測されたマーカの位置姿勢は、コンピュータ装置１６に入力されるようになっている。コンピュータ装置１６は、術前シミュレーションイメージ情報等を記憶する情報保持装置（例えば、ハードディスクドライブなど）１８を備えており、３次元位置計測装置１４にて計測された複数のマーカの位置座標およびその位置座標における姿勢などの情報を用いて、術前シミュレーションイメージ情報の座標系を３次元座標系であるＲＰＨＭＤ装置座標系から、術者の網膜における２次元座標系である術者視野座標系への変換を行う機能を有している。さらに、コンピュータ装置１６は、このような座標系の変換が行われた術前シミュレーションイメージ情報をＲＰＨＭＤ装置１２に出力して、ＲＰＨＭＤ装置１２により、術前シミュレーションイメージが術者の網膜に表示されることになる。
このような構成を有する本実施形態の手術ナビゲーションシステム１０を用いて、歯科インプラント手術のナビゲーションを行う方法について、具体的に説明する。
（術前処理）
まず、図２に示すように、歯科インプラント手術を受ける患者の口腔内（例えば、下顎構造３１）に、第１マーカ２１が固定部材２０を介して固定された診断用ステントを装着した状態で、ＣＴ（Computed Tomographic）を撮影し、撮影された断層データの３次元再構成を行う。このような３次元再構成を行う装置としては、例えば、VGStudio MAX 1.2 (Volume Graphics GmbH, Germany)を用いることができる。なお、図２では、患者自身の下顎構造３１を概略的に示している。
まず、図２に示すように、歯科インプラント手術を受ける患者の口腔内（例えば、下顎構造３１）に、第１マーカ２１が固定部材２０を介して固定された診断用ステントを装着した状態で、ＣＴ（Computed Tomographic）を撮影し、撮影された断層データの３次元再構成を行う。このような３次元再構成を行う装置としては、例えば、VGStudio MAX 1.2 (Volume Graphics GmbH, Germany)を用いることができる。なお、図２では、患者自身の下顎構造３１を概略的に示している。
次に、この３次元再構成が行われた患者の口腔内のＣＴデータを用いて、インプラントの３次元シミュレーションイメージ（以降、「インプラントＳＩ」とする。）の作成を行う。３次元シミュレータとしては、例えば、FreeFormModeling (SensAble Technologies Inc., USA)が用いられ、ＣＴデータを用いて、インプラント体の埋入位置姿勢をシミュレーションし、インプラントＳＩを作成する。このインプラントＳＩの模式図を図３に示す。図３に示すインプラントＳＩでは、患者４の下顎構造のイメージ４１において、インプラントの複数の埋入位置４２がイメージ情報として表されている。さらに、このインプラントＳＩには、術中において術者により操作される術用工具の操作位置、すなわちインプラントの埋入位置の情報が含まれている。なお、さらに術用工具の位置姿勢のナビゲーション情報（例えば、イメージ）が含まれるような場合であっても良い。また、このインプラントＳＩを作成する際には、第１マーカ２１の位置姿勢、例えば、原点Ｐｏおよび原点Ｐｏにおける第１マーカ２１の姿勢を基準としたインプラントＳＩへの変換行列１（数１）を記録しておく。なお、この変換行列は、第１マーカ２１の３次元位置姿勢に対するインプラントＳＩの３次元位置姿勢との相対的な関係を示す情報（３次元位置関係情報）である。また、図３のインプラントＳＩにおける四角形状部材４３は、第１マーカ２１の長方形２２に対応する形状および位置姿勢にて配置されている。なお、図３に示すＸ方向、Ｙ方向、およびＺ方向は、互いに直交する方向である。
次に、ＲＰＨＭＤ装置座標系から術者視野座標系への変換行列２（数２）を求める。ここで、ＲＰＨＭＤ装置座標系とは、ＲＰＨＭＤ装置１２において表現される３次元座標系であり、後述するＲＰＨＭＤ装置１２に固定された第２マーカの位置に関係付けられた３次元座標系である。術者視野座標系とは、術者２の網膜における２次元座標系（すなわち、術者２の視野における２次元座標系）である。この変換行列２（数２）は、キャリブレーション用マーカを用いて、ＲＰＨＭＤ装置座標系で表現される３次元座標値と、それに対応する術者視野の２次元座標系との複数の組み合わせにより算出される（キャリブレーション処理）。このキャリブレーション処理の詳細手順については、後述する。
（術中処理）
上述した術前処理により作成されたインプラントＳＩの情報、並びに第１マーカ２１の位置姿勢を基準としたインプラントＳＩへの変換行列１（数１）およびＲＰＨＭＤ装置座標系から術者視野座標系への変換行列２（数２）を、情報保持装置１８に記憶させる。
上述した術前処理により作成されたインプラントＳＩの情報、並びに第１マーカ２１の位置姿勢を基準としたインプラントＳＩへの変換行列１（数１）およびＲＰＨＭＤ装置座標系から術者視野座標系への変換行列２（数２）を、情報保持装置１８に記憶させる。
次に、図１に示すように、患者４の口腔内の下顎構造３１に第１マーカ２１を固定する。それとともに、ＲＰＨＭＤ装置１２に第２マーカ２２を固定し、さらに、術者２が使用する術用工具、例えばインプラントドリル６に第３マーカ２３を固定する。
このような状態において、患者４に対する歯科インプラント手術を開始する。術中においては、３次元位置計測装置１４により、第１マーカ２１、第２マーカ２２、および第３マーカ２３の３次元位置姿勢をリアルタイムにて計測し、計測された情報は、リアルタイムにてコンピュータ装置１６に入力される。具体的には、３次元位置計測装置１４を基準とした第１マーカ２１の位置姿勢を変換行列３（数３）として取得し、３次元位置計測装置１４を基準とした第２マーカ２２の位置姿勢を変換行列４（数４）として取得し、３次元位置計測装置１４を基準とした第３マーカ２３の位置姿勢を変換行列５（数５）として取得する。
このようなリアルタイムの計測が行われることにより、コンピュータ装置１６には、患者４の口腔内に固定された第１マーカ２１と、術者２に装備されたＲＰＨＭＤ装置１２に固定された第２マーカ２２と、術者２が操作するインプラントドリル６に固定された第３マーカ２３との間の相対的な位置関係、すなわち相対的な３次元位置姿勢の関係を認識するための情報が随時入力されることになる。
コンピュータ装置１６では、これらの情報の入力を受けて、リアルタイムに、インプラントＳＩから術者視野までの変換行列６（数６）を、数７に示す式（１）に従って算出し、術者視野へインプラントＳＩを投影する。
具体的には、コンピュータ装置１６は、情報保持装置１８に記憶されている第１マーカ２１の位置姿勢を基準としたインプラントＳＩへの変換行列１（数１）およびＲＰＨＭＤ装置座標系から術者視野座標系への変換行列２（数２）を読み出すとともに、３次元位置計測装置１４を基準とした第１マーカ２１の位置姿勢の変換行列３（数３）、および第２マーカ２２の位置姿勢の変換行列４（数４）を用いて、式（１）に基づいて、インプラントＳＩから術者視野までの変換行列６（数６）を算出する。ここで、式（１）においては、数８および数９の関係式が成り立つ。
また、コンピュータ装置１６では、ＲＰＨＭＤ装置座標系から術者視野座標系への変換行列２（数２）、３次元位置計測装置１４を基準とした第２マーカ２２の位置姿勢の変換行列４（数４）、および第３マーカ２３の位置姿勢の変換行列５（数５）を用いて、リアルタイムに、インプラントドリル６から術者視野までの変換行列７（数１０）を、数１１に示す式（２）に従って算出する。ここで、式（２）においては、数１２の関係式が成り立つ。
さらに、コンピュータ装置１６では、情報保持装置１８からインプラントＳＩの情報を読み出すとともに、式（１）により算出されたインプラントＳＩから術者視野までの変換行列６（数６）を用いて、インプラントＳＩの座標系をＲＰＨＭＤ装置座標系から術者視野座標系に変換し、変換されたインプラントＳＩをＲＰＨＭＤ装置１２により術者２の網膜に投影させる。術者２の実視野においては、患者４の口腔内の術部（歯科インプラント手術を施す部分、例えばインプラント埋入位置およびその周辺部分）の実像が取得されており、この口腔内の術部の実像に対して、インプラントＳＩが重ね合わせられる。すなわち、３次元空間における術者２の位置および姿勢と、患者４の口腔内の位置および姿勢に応じて、投影されるインプラントＳＩの大きさや姿勢がコンピュータ装置１６により決定され、さらにインプラントＳＩを３次元座標系から２次元座標系に変換して、変換されたインプラントＳＩがＲＰＨＭＤ装置１２により網膜に投影される。したがって、３次元空間における術者２の位置および姿勢と、患者４の口腔内の位置および姿勢との関係により、その大きさや姿勢が変わることとなる患者の術部の実像に、重ね合わさるようにインプラントＳＩが変換されて、網膜に投影されることになる。
このように患者の口腔内の術部の実像（下顎構造３１）と、インプラントＳＩの重ね合わせが行われた状態を図４の模式図に示す。図４に示すように、実像の術部には、インプラントＳＩによって表されるインプラントの埋入位置４２が表示されている。したがって、術者は、術中に、患者４の口腔内から視線を外すことなく、インプラントＳＩによりインプラントの埋入位置４２を確認することができる。
また、コンピュータ装置１６では、変換行列４（数４：第２マーカ２２の位置姿勢）および変換行列５（数５：第３マーカ２３の位置姿勢）と、インプラントＳＩに含まれる術用工具の操作位置（インプラントの埋入位置）とを比較して、両者の位置姿勢のズレを補正するための位置ズレ補正情報（あるいは位置姿勢ズレ補正情報）を算出する。このような位置ズレ補正情報としては、例えば、位置姿勢のズレ量（距離および方向）の数値情報や、位置ズレを補正するために操作する方向および距離を視覚的に表示するナビゲーション情報などがある。このように算出された位置ズレ補正情報は、式（２）により算出されたインプラントドリル６から術者視野までの変換行列７を用いて、その座標系をＲＰＨＭＤ装置座標系から術者視野座標系に変換し、変換された位置ズレ補正情報をＲＰＨＭＤ装置１２により術者２の網膜に投影させる。これにより、術者２は、インプラントＳＩに対するインプラントドリル６の位置姿勢のズレを術中にリアルタイムで確認することができ、術用工具の操作位置および姿勢についての効果的なナビゲーションを行うことができる。
したがって、本実施形態の手術ナビゲーションシステム１０によれば、ＲＰＨＭＤ装置１０を装着した術者は、患者の口腔内の術部に視点を合わせた状態にて、術部の実像に重ね合わされたインプラントＳＩを確認することができ、そのイメージによりインプラントの埋入位置などの情報を直感的に確認することができる。よって、患者の口腔内から視線を外すことなく、術前シミュレーションイメージを確認することができ、視線を外すことに対する不安感が抑制された手術ナビゲーションシステムを提供することができる。
（キャリブレーション処理）
次に、上述したキャリブレーション処理の手順について説明する。このキャリブレーション処理は、原則として術前に行われる。または術中においては、術者２が装備しているＲＰＨＭＤ装置１２の装備位置の位置ズレが生じた場合に行われる。
次に、上述したキャリブレーション処理の手順について説明する。このキャリブレーション処理は、原則として術前に行われる。または術中においては、術者２が装備しているＲＰＨＭＤ装置１２の装備位置の位置ズレが生じた場合に行われる。
キャリブレーション処理では、ＲＰＨＭＤ装置座標系から術者視野座標系への変換行列２（数２）を求める。複数のキャリブレーション用マーカ（例えば、図１に示す第４マーカ２４）を用いて、ＲＰＨＭＤ装置座標系で表現される３次元座標値ｐ（ｘ，ｙ，ｚ）と、それに対応する術者視野の２次元座標値Ｐ（ＸＣ，ＹＣ）との組を取得する。
ＲＰＨＭＤ装置座標系の点ｐから術者視野座標系上の対応点Ｐへの変換関係は、数１３によって与えられる。
数１３の式中におけるこれら１２個のパラメータは、ＲＰＨＭＤ装置１２と術者視野との相対位置、方向関係およびカメラの焦点距離で定まる量であり、このＣ行列を「カメラパラメータ」と呼ぶ。
ＲＰＨＭＤ装置座標系上のいくつかの点ｐｉ（ｘｉ，ｙｉ，ｚｉ）と、術者視野座標系上での対応点Ｐｉ（ＸＣｉ，ＹＣｉ）との各々の位置座標を読み取り、数１３の関係からカメラパラメータが求まる。１つの点ｐ１について、その座標と対応点の座標ｘ１，ｙ１，ｚ１，ＸＣ１，ＹＣ１が定まれば、数１３から次の数１４が成立する。
このように、１個の点について２つの方程式が成立するため、Ｃ１１・・・Ｃ３４の１２個のパラメータが決定されるためには、同一平面上にはない少なくとも６個の基準点が必要となる。ただし、パラメータの決定精度の向上を図るためには、６個以上の基準点を利用して、最小２乗法を用いることが好ましい。本実施形態では、パラメータの決定精度向上の観点から、１０個の基準点を取得するものとする。ここで、ＲＰＨＭＤ装置座標系上の点ｐｉの絶対的な座標値を与える必要はなく、相対座標値、すなわち各点間の距離および方向が分かっているだけであっても良い。
６個以上のｎ個の基準点がある場合には、数１５、数１６、および数１７に示す行列の関係が成立する。Ｃ３４とＨＣの２つのパラメータで拡大・縮小のスケールを決定しているため、片方をある定数に固定しても支障はなく、例えばＣ３４＝１とする。
ｎ個の基準点が存在している場合には、Ａは｛２ｎ行×１１列｝、Ｃは｛１１行×１列｝、Ｒは｛２ｎ行×１列｝の行列となる。計測誤差が存在するため、ｎが６以上では数学的には不能問題となり、Ｃの各値は求められない。
そこで、各解と現実解との差の２乗、すなわち誤差の２乗和Ｅ２を最小にする１つの現実解を、方程式全体を最小誤差で満足する解として採用する。カメラパラメータ決定の場合、未知数Ｃ１１・・・Ｃ３３の１１個、方程式の数２ｎ個（基準点の数＝ｎ個）であり、一般には不能問題となるＡＣ＝Ｒの関係式を最小２乗解の意味で解けば、その解＜Ｃ＞は数１８を満たす。
本実施形態の手術ナビゲーションシステム１０を利用するのは工学研究者や技術者ではなく、システムに関して特別な知識を持たない医師らである。そのため、誰が行っても簡単に画像合成を実験室ではなく、手術室で再現できることが望ましい。本実施形態のシステムでは、統計的手法における最小２乗法を採用しており、この最小２乗法は、データにモデルを当てはめた際の誤差の２乗和を最小とするようにモデルのパラメータを決定する手法であり、キャリブレーションにおいて有用である。
しかしながら、このような最小２乗法を、そのまま本実施形態のシステムのキャリブレーション処理に適用しただけでは不都合な場合があり、例えば、データに例外値が含まれている場合には、最小２乗法で推定した投影行列は、信頼できないものとなるおそれがある。このような場合には、データ内の主要な部分にのみモデルをあてはめ、残りの部分を例外値として自動的に排除できれば、その領域の主要な動きのパラメータを精度良く推定できる。このような問題に対処するために統計的手法の中でロバスト統計量として代表的なＬＭｅｄＳ推定を、本キャリブレーション処理では導入している。以下に、その手法とアルゴリズムを示す。
まず、最小２乗基準は数１９で定義され、ＬＭｅｄＳ基準は、数２０で定義される。
ここで、ｍｅｄは、中央値を取ることを表す。最小２乗基準は、ひとつの大きな例外値によって大きな影響を受けるが、ＬＭｅｄＳは全データのうち５０％が例外値でも結果が大きくずれることがないという性質を持っているため、今回のような状況に適していると言える。
（処理１）
ＲＰＨＭＤ装置１２により術者２の網膜に投影されたマウスポインタ（カーソル）を術者により操作し、術者２の実視野における第４マーカ２４の特定の位置（例えば、原点位置）にマウスポインタを合わせてマウスをクリックするという動作を、第４マーカ２４の３次元空間における位置を変化させながらｎ回繰り返す。それとともに、第４マーカ２４の３次元空間における３次元座標値を、３次元位置計測装置１４により計測する。この作業により、第４マーカ２４の３次元空間における３次元座標値と、それに対応するＲＰＨＭＤ装置１２の投影画像上での２次元座標値との組がｎ組得られる。このｎ組の対応点からランダムにＦ点選択し、最小２乗法を用いたキャリブレーション処理により、投影行列の解候補を算出する。
ＲＰＨＭＤ装置１２により術者２の網膜に投影されたマウスポインタ（カーソル）を術者により操作し、術者２の実視野における第４マーカ２４の特定の位置（例えば、原点位置）にマウスポインタを合わせてマウスをクリックするという動作を、第４マーカ２４の３次元空間における位置を変化させながらｎ回繰り返す。それとともに、第４マーカ２４の３次元空間における３次元座標値を、３次元位置計測装置１４により計測する。この作業により、第４マーカ２４の３次元空間における３次元座標値と、それに対応するＲＰＨＭＤ装置１２の投影画像上での２次元座標値との組がｎ組得られる。このｎ組の対応点からランダムにＦ点選択し、最小２乗法を用いたキャリブレーション処理により、投影行列の解候補を算出する。
（処理２）
次に、数２１で定義される解候補の誤差値を計算する。
次に、数２１で定義される解候補の誤差値を計算する。
ここで、
はｉ番目の第４マーカ２４の３次元空間位置での投影映像上での２次元座標値であり、
はｉ番目の第４マーカ２４の位置を解候補で画像平面上へ再投影した時の座標値であり、ｍｅｄ（ｆ（ｉ））は全てのｉにおけるｆ（ｉ）の中央値を示す。
（処理３）
処理１と処理２とをｑ回繰り返して、数２１で計算されるｅｒｒ２が最小となるＦ個の対応点を用いて計算されるカメラパラメータを選択する。
処理１と処理２とをｑ回繰り返して、数２１で計算されるｅｒｒ２が最小となるＦ個の対応点を用いて計算されるカメラパラメータを選択する。
このアルゴリズムで必要な繰り返し数は、ｑ回のランダムサンプリングで少なくとも１個のサンプルには例外値が含まれていない確率を考えることにより決定できる。全データ中の例外値の割合をεとすると、この確率は数２４にて表される。
例えば、ε＝０．３、Ｆ＝３の時、この確率が０．９９になるためのランダムサンプリングの回数はｑ＝１１である。つまり、この場合には、ｑ＝１１回以上のサンプリングが必要であることを意味している。本実施形態のキャリブレーション処理では、パラメータＦは１０として、その他のパラメータは経験的ｎ＝１５、ε＝０．３、Ｐ＝０．９９としている。
このようなキャリブレーション処理は、例えば、コンピュータ装置１６にインストールされたキャリブレーション用プログラムにより実施される。ここで、このキャリブレーション用プログラムにおける主要な手順を図５のフローチャートに示す。
図５のフローチャートに示すように、まず、ステップＳ１において、ＲＰＨＭＤ装置１２に固定された第２マーカ２２の３次元座標値および第４マーカ２４の３次元座標値を、３次元位置測定装置１４により同時に測定する。測定されたデータは、コンピュータ装置１６に入力される。
この３次元座標値の測定ととともに、術者２の実視野における第４マーカ２４の位置に重なるように、ＲＰＨＭＤ装置１２により投影されたマウスポインタを操作して、重なった位置にてクリックし、マウスポインタの２次元座標値を、術者視野座標系における第４マーカ２４の２次元座標値として取得する（ステップ２）。取得されたデータはコンピュータ装置１６に入力される。なお、ステップ１とステップ２とは、実質的に同時に行う必要がある。
コンピュータ装置１６では、これら２つのデータを互いに関連付けて、第２マーカ２２を基準とした第４マーカ２４の３次元空間における３次元座標値とそれに対応するＲＰＨＭＤ装置１２の投影画像上での２次元座標値との組を形成する（ステップＳ３）。
次に、ステップＳ４において、このデータの組数がｎ組以上であるかどうかが判断されて、ｎ組未満である場合には、第４マーカ２４の位置を移動させて、ステップＳ１〜Ｓ３までの処理が行われる。
その後、ステップＳ４において、データの組数がｎ組以上であると判断された場合には、ステップＳ５において、ｎ組の中からランダムにＦ点選択し、上述した最小２乗法を用いたキャリブレーション処理（処理１〜３）により、投影行列の解候補を算出して、ＲＰＨＭＤ装置座標系から術者視野座標系への変換行列２（数２）が求められる。
次に、キャリブレーション処理において使用される第４マーカ２４の配置領域（空間）について説明する。第４マーカ２４は、３次元空間におけるその位置が変化されながら、それぞれの位置において、３次元位置計測装置１４により３次元座標値が取得されることになる。また、この際、第２マーカ２４の３次元座標値も同時に取得される。それとともに術者２の視野において第４マーカ２４が視認され、かつＲＰＨＭＤ装置１２により表示されるマウスポインタの操作範囲（表示領域）内に位置されている必要がある。そのため、３次元位置計測装置１４により第２マーカ２２および第４マーカ２４を同時に計測可能な範囲をＡとし、ＲＰＨＭＤ装置１２における映像投影範囲（マウスポインタの操作範囲）をＢとすると、キャリブレーション処理において使用される第４マーカ２４の配置領域（空間）は数２５にて示す領域となり、この範囲内であればキャリブレーション処理が可能となる。
なお、キャリブレーション処理に使用する対応点群は、上述の説明では、第４マーカ２４の位置（術者に対する相対位置）を変化させて、マウスのクリック動作により手動でサンプリングする場合について説明した。このような場合に代えて、例えば、形状が既知で１５点サンプリング可能な物体（マーカ）を、第２マーカ２２と剛体的に固定した状態でサンプリングするような場合であっても良い。このような場合、１５点のサンプリング点と第２マーカ２２との相対位置関係が常に一定であるため、サンプリング精度をより向上できる。なお、このような物体は、サンプリング処理が終了次第、第２マーカ２２から取り外せば良い。
また、このようなキャリブレーション処理に使用する対応点群は、術者２による術中の主要な視野範囲に位置されることが望ましい。すなわち、術者２の視線は、主に患者４の口腔内に位置されることになる。そのため、患者４の口腔内および口腔外におけるその近傍の空間に対応点群を設定することで、この術者視野におけるキャリブレーション精度をより向上させることが可能となる。例えば、患者４の口腔内に固定される第１マーカ２１の周囲に複数のマーカ（キャリブレーション用マーカ）を固定してキャリブレーション処理を行うことも可能である。この場合、第１マーカ２１をキャリブレーション用マーカの１つとして使用することもできる。
このようにキャリブレーション用マーカを配置するような場合にあっては、例えば、術中において、ＲＰＨＭＤ装置１２によりインプラントＳＩを術者２の網膜に投影しながら、同時にキャリブレーション処理（具体的には、キャリブレーション処理におけるステップＳ１〜Ｓ４のデータの組の取得手順）を行うことも可能となる。したがって、術中において、ＲＰＨＭＤ装置１２の装備位置の位置ズレなどが生じるような場合であっても、迅速にキャリブレーション処理を実施することが可能となる。
また、術者２へのＲＰＨＭＤ装置１２の装備位置の位置ズレを検出するセンサ等の検出手段を設けても良い。検出手段により許容値以上の位置ズレが検出された場合には、術者に対してキャリブレーション処理を促す警告を出力することで、術者２は安心して手術に集中することが可能となる。
また、上述の説明では、ＲＰＨＭＤ装置１２が、眼鏡１３のフレーム部分を介して、術者２に装備される場合について説明したが、ＲＰＨＭＤ装置１２の位置ズレ抑制の観点からは、術者２の顔のその他の部位に装備させても良い。例えば、術者２の上顎の歯列にサージカルステントと同じようにＲＰＨＭＤ装置１２を固定すれば、位置ズレが生じる可能性をかなり低減することができる。
なお、上記様々な実施形態のうちの任意の実施形態を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
２ 術者
４ 患者
６ インプラントドリル
１０ 網膜投影型ヘッドマウントディスプレイを用いた手術ナビゲーションシステム
１２ 網膜投影型ヘッドマウントディスプレイ装置（ＲＰＨＭＤ装置）
１３ 眼鏡
１４ ３次元位置計測装置
１６ コンピュータ装置
１８ 情報保持装置
２１ 第１マーカ
２２ 第２マーカ
２３ 第３マーカ
２４ 第４マーカ
４ 患者
６ インプラントドリル
１０ 網膜投影型ヘッドマウントディスプレイを用いた手術ナビゲーションシステム
１２ 網膜投影型ヘッドマウントディスプレイ装置（ＲＰＨＭＤ装置）
１３ 眼鏡
１４ ３次元位置計測装置
１６ コンピュータ装置
１８ 情報保持装置
２１ 第１マーカ
２２ 第２マーカ
２３ 第３マーカ
２４ 第４マーカ
Claims (7)
- 術者の顔に取り付けられ、術者の網膜に対して映像を投影する網膜投影型ヘッドマウントディスプレイ装置（以下「ＲＰＨＭＤ装置」とする）と、
患者の口腔内に固定される第１マーカおよびＲＰＨＭＤ装置に固定される第２マーカの３次元位置姿勢を測定する３次元位置計測装置と、
第１マーカとの間の相対的な３次元位置姿勢が関連付けられたインプラントの３次元シミュレーションイメージ情報と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系であるＲＰＨＭＤ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報と、を保持する情報保持装置と、
３次元位置計測装置により計測された、第１マーカおよび第２マーカの位置姿勢と、情報保持装置に保持されている３次元位置姿勢および座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の座標系を術者視野座標系に変換して、変換されたシミュレーションイメージ情報をＲＰＨＭＤ装置により術者の網膜に投影させて、術者の実視野にて取得される患者の口腔内の術部の実像にシミュレーションイメージを重ね合わせる演算処理装置とを備えることを特徴とする、網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステム。 - ３次元位置計測装置により取得されたキャリブレーション用マーカの３次元位置座標および第２マーカの３次元位置座標に基づいて、キャリブレーション用マーカのＲＰＨＭＤ装置座標系における３次元座標値を取得する第１手順と、
ＲＰＨＭＤ装置により術者の網膜に投影されたカーソルが術者により操作されて、術者の実視野におけるキャリブレーション用マーカの位置に重なるように配置されたカーソルの２次元位置座標を、術者視野座標系におけるキャリブレーション用マーカの２次元位置座標値として取得する第２手順と、
第１手順および第２手順を少なくとも６回実施することにより取得された、キャリブレーション用マーカについてのＲＰＨＭＤ装置座標系の３次元座標値と術者視野座標系の２次元座標値との少なくとも６組の位置座標に基づいて、座標系変換情報を算出する第３手順と、を演算処理装置に実行させるキャリブレーション用プログラムをさらに備える、請求項１に記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステム。 - 少なくとも１つのキャリブレーション用マーカと、患者の口腔内に固定される第１マーカとが兼用されて、キャリブレーション用プログラムにおける第１手順または第２手順の実行と、術者の実視野にて取得される患者の口腔内の術部へのシミュレーションイメージの重ね合わせとが、演算処理装置により同時に実施される、請求項２に記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステム。
- キャリブレーション用プログラムにおける第３手順において、第１手順および第２手順を少なくとも１５回実施して、少なくとも１５組の位置座標を取得し、最小二乗法を用いて、少なくとも１５組の位置座標から少なくとも１０組の位置座標を選定し、少なくとも１０組の位置座標に基づいて座標系変換情報を算出する手順をさらに含む、請求項２または３に記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステム。
- ３次元位置計測装置は、術者が把持する術用工具に固定された第３マーカの３次元位置姿勢を計測可能であって、
演算処理装置は、３次元位置計測装置により計測された、第３マーカの３次元位置姿勢および第２マーカの３次元位置姿勢と、情報保持装置に保持されているインプラントの３次元シミュレーションイメージ情報とに基づいて、インプラントの３次元シミュレーションイメージ情報におけるインプラントの埋入位置と、術用工具の位置姿勢との間の位置ズレを補正するための位置ズレ補正情報を算出し、座標系変換情報を用いて、算出された位置ズレ補正情報を、ＲＰＨＭＤ装置によりシミュレーションイメージ情報とともに術者の網膜に投影する、請求項１から４のいずれか１つに記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステム。 - 患者の口腔内に固定された第１マーカと、術者の網膜に対して映像を投影する術者の顔に取り付けられた網膜投影型ヘッドマウントディスプレイ（以下「ＲＰＨＭＤ装置」とする）に対して固定された第２マーカとの３次元位置姿勢をそれぞれ測定し、
第１マーカおよび第２マーカの３次元位置姿勢と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系であるＲＰＨＭＤ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換し、
変換されたシミュレーションイメージ情報をＲＰＨＭＤ装置により術者の網膜に投影して、術者の実視野にて取得される患者の口腔内の術部の実像にシミュレーションイメージを重ね合わせることを特徴とする、網膜投影型ヘッドマウントディスプレイ装置を用いたシミュレーションイメージの重ね合わせ方法。 - ３次元位置計測装置により取得されたキャリブレーション用マーカの３次元位置座標および第２マーカの３次元位置座標に基づいて、キャリブレーション用マーカのＲＰＨＭＤ装置座標系における３次元座標値を取得する第１工程と、
ＲＰＨＭＤ装置により術者の網膜に投影されたカーソルが術者により操作されて、術者の実視野におけるキャリブレーション用マーカの位置に重なるように配置されたカーソルの２次元位置座標を、術者視野座標系におけるキャリブレーション用マーカの２次元座標値として取得する第２工程と、
第１工程および第２工程を少なくとも６回実施することにより取得された、キャリブレーション用マーカについてのＲＰＨＭＤ装置座標系の３次元座標値と術者視野座標系の２次元座標値との少なくとも６組の位置座標に基づいて、座標系変換情報を算出する第３工程とを実施した後、
第３工程にて算出された座標系変換情報を用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換する、請求項６に記載の網膜投影型ヘッドマウントディスプレイ装置を用いたシミュレーションイメージの重ね合わせ方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009110903A JP5476036B2 (ja) | 2009-04-30 | 2009-04-30 | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009110903A JP5476036B2 (ja) | 2009-04-30 | 2009-04-30 | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010259497A true JP2010259497A (ja) | 2010-11-18 |
| JP5476036B2 JP5476036B2 (ja) | 2014-04-23 |
Family
ID=43358123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009110903A Expired - Fee Related JP5476036B2 (ja) | 2009-04-30 | 2009-04-30 | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5476036B2 (ja) |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013034764A (ja) * | 2011-08-10 | 2013-02-21 | Akira Takebayashi | サージカルガイド装置及びドリルの位置決め方法 |
| JP2013171522A (ja) * | 2012-02-22 | 2013-09-02 | Micronet Co Ltd | Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法 |
| JP2013236749A (ja) * | 2012-05-15 | 2013-11-28 | Denso Corp | 歯科インプラント手術支援装置 |
| WO2015008469A2 (en) | 2013-07-16 | 2015-01-22 | Seiko Epson Corporation | Information processing apparatus, information processing method, and information processing system |
| WO2015008470A2 (en) | 2013-07-16 | 2015-01-22 | Seiko Epson Corporation | Information processing apparatus, information processing method, and information processing system |
| JP2015100437A (ja) * | 2013-11-22 | 2015-06-04 | 京セラメディカル株式会社 | 外科手術用ナビゲーションシステム |
| JP2015519108A (ja) * | 2012-05-02 | 2015-07-09 | 医百科技股▲ふん▼有限公司 | 口腔内手術中の補助ガイド方法 |
| EP2797512A4 (en) * | 2011-12-30 | 2015-09-09 | Philip D Gole | MEDICAL DEVICES FOR ASSESSING IMAGE SUPPORT AND PROCEDURE |
| JP2015217298A (ja) * | 2014-05-13 | 2015-12-07 | メトロノール アーエス | 患者に対する外科的処置を精密に誘導するシステム |
| EP2956814A1 (en) * | 2013-02-14 | 2015-12-23 | Seiko Epson Corporation | Head mounted display and control method for head mounted display |
| US20170270678A1 (en) * | 2016-03-15 | 2017-09-21 | Fujifilm Corporation | Device and method for image registration, and non-transitory recording medium |
| JP2017200537A (ja) * | 2016-05-06 | 2017-11-09 | 岳 芳本 | 治療支援システム、治療支援装置、治療支援方法、及びコンピュータプログラム |
| JP2018022242A (ja) * | 2016-08-01 | 2018-02-08 | 大豊精機株式会社 | 複合システム及びターゲットマーカ |
| CN107735016A (zh) * | 2015-07-08 | 2018-02-23 | 西诺德牙科设备有限公司 | 用于扫描解剖结构且用于显示扫描结果的系统和方法 |
| US9990744B2 (en) | 2014-08-27 | 2018-06-05 | Fujifilm Corporation | Image registration device, image registration method, and image registration program |
| US10049480B2 (en) | 2015-08-31 | 2018-08-14 | Fujifilm Corporation | Image alignment device, method, and program |
| US10102638B2 (en) | 2016-02-05 | 2018-10-16 | Fujifilm Corporation | Device and method for image registration, and a nontransitory recording medium |
| CN108742898A (zh) * | 2018-06-12 | 2018-11-06 | 中国人民解放军总医院 | 基于混合现实的口腔种植导航系统 |
| US10242452B2 (en) | 2015-08-25 | 2019-03-26 | Fujifilm Corporation | Method, apparatus, and recording medium for evaluating reference points, and method, apparatus, and recording medium for positional alignment |
| CN109700550A (zh) * | 2019-01-22 | 2019-05-03 | 雅客智慧（北京）科技有限公司 | 一种用于牙科手术的增强现实方法及装置 |
| JP2019519257A (ja) * | 2016-03-11 | 2019-07-11 | ソニー株式会社 | 画像処理して解剖学的部分の三次元（３ｄ）ビューを生成するシステム及び方法 |
| JP2019141261A (ja) * | 2018-02-19 | 2019-08-29 | 株式会社吉田製作所 | 情報表示装置、情報表示システム、情報表示方法、及び情報表示プログラム |
| JPWO2018088146A1 (ja) * | 2016-11-08 | 2019-09-26 | 国立大学法人九州大学 | 施術支援システム、施術支援方法及び施術支援プログラム |
| WO2019187449A1 (ja) * | 2018-03-29 | 2019-10-03 | 株式会社吉田製作所 | 画像処理装置および画像処理プログラム |
| US10492872B2 (en) | 2015-10-02 | 2019-12-03 | The University Of Tokyo | Surgical navigation system, surgical navigation method and program |
| JP2020506033A (ja) * | 2017-02-03 | 2020-02-27 | キム ド ヒュン | インプラント手術ガイド方法 |
| US10631948B2 (en) | 2015-09-29 | 2020-04-28 | Fujifilm Corporation | Image alignment device, method, and program |
| US10740642B2 (en) | 2016-04-11 | 2020-08-11 | Fujifilm Corporation | Image display control device, method, and program |
| JP2020163130A (ja) * | 2019-03-22 | 2020-10-08 | グローバス メディカル インコーポレイティッド | ニューロナビゲーションを登録し、ロボットの軌道をガイダンスするためのシステムと、関連する方法および装置 |
| CN111870825A (zh) * | 2020-07-31 | 2020-11-03 | 于金明 | 基于虚拟智能医疗平台的放射治疗精确逐野摆位方法 |
| CN112367941A (zh) * | 2018-07-05 | 2021-02-12 | 登士柏希罗纳有限公司 | 用于增强现实引导的外科手术的方法和系统 |
| JP2021019967A (ja) * | 2019-07-30 | 2021-02-18 | 春仁 上園 | 拡張現実情報表示方法、手術支援装置、及びプログラム |
| CN113662662A (zh) * | 2021-07-30 | 2021-11-19 | 北京天智航医疗科技股份有限公司 | 数据精度检测方法、装置、存储介质及电子设备 |
| CN113693723A (zh) * | 2021-08-05 | 2021-11-26 | 北京大学 | 一种面向口腔咽喉部手术的跨模态导航定位系统及方法 |
| CN113855288A (zh) * | 2021-11-01 | 2021-12-31 | 杭州柳叶刀机器人有限公司 | 图像生成方法、装置、电子设备及存储介质 |
| JP2022515477A (ja) * | 2018-12-26 | 2022-02-18 | 雅客智慧（北京）科技有限公司 | 歯科インプラントナビゲーション手術のキャリブレーション、追跡方法および装置 |
| CN114431988A (zh) * | 2022-03-02 | 2022-05-06 | 福建医科大学附属口腔医院 | 用于口腔种植牙领域的动态导航系统及使用方法 |
| CN114587658A (zh) * | 2022-02-06 | 2022-06-07 | 上海诠视传感技术有限公司 | Ar眼镜识别口腔种植手机在空间坐标系中位置的方法及系统 |
| EP4026513A4 (en) * | 2019-09-02 | 2022-10-05 | Safe Approach Medical Inc. | TREATMENT SUPPORT SYSTEM AND ALIGNMENT DEVICE |
| CN116785001A (zh) * | 2023-08-25 | 2023-09-22 | 深圳卡尔文科技有限公司 | 一种种植手术工具标定方法、系统和存储介质 |
| CN117115401A (zh) * | 2023-10-16 | 2023-11-24 | 深圳卡尔文科技有限公司 | 一种ar导航数据处理方法、系统和存储介质 |
| JP7414286B2 (ja) | 2019-01-22 | 2024-01-16 | Ｓａｆｅ Ａｐｐｒｏａｃｈ Ｍｅｄｉｃａｌ株式会社 | 施術支援システム及び処理装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102614739B1 (ko) | 2020-09-14 | 2023-12-15 | 주식회사 메가젠임플란트 | 헤드 마운트 디스플레이장치 |
| CN117413060A (zh) * | 2021-08-02 | 2024-01-16 | 海思智财控股有限公司 | 用于真实空间导航的扩增实境系统以及使用该系统的手术系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002318365A (ja) * | 2001-04-20 | 2002-10-31 | Sanyo Electric Co Ltd | 網膜投影型ディスプレイ |
| JP2005500096A (ja) * | 2001-06-13 | 2005-01-06 | ヴォリューム・インタラクションズ・プライヴェート・リミテッド | ガイドシステム |
| JP2005266187A (ja) * | 2004-03-18 | 2005-09-29 | Brother Ind Ltd | 波面曲率変調器および画像表示装置 |
-
2009
- 2009-04-30 JP JP2009110903A patent/JP5476036B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002318365A (ja) * | 2001-04-20 | 2002-10-31 | Sanyo Electric Co Ltd | 網膜投影型ディスプレイ |
| JP2005500096A (ja) * | 2001-06-13 | 2005-01-06 | ヴォリューム・インタラクションズ・プライヴェート・リミテッド | ガイドシステム |
| JP2005266187A (ja) * | 2004-03-18 | 2005-09-29 | Brother Ind Ltd | 波面曲率変調器および画像表示装置 |
Cited By (69)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013034764A (ja) * | 2011-08-10 | 2013-02-21 | Akira Takebayashi | サージカルガイド装置及びドリルの位置決め方法 |
| EP2797512A4 (en) * | 2011-12-30 | 2015-09-09 | Philip D Gole | MEDICAL DEVICES FOR ASSESSING IMAGE SUPPORT AND PROCEDURE |
| JP2013171522A (ja) * | 2012-02-22 | 2013-09-02 | Micronet Co Ltd | Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法 |
| JP2015519108A (ja) * | 2012-05-02 | 2015-07-09 | 医百科技股▲ふん▼有限公司 | 口腔内手術中の補助ガイド方法 |
| JP2013236749A (ja) * | 2012-05-15 | 2013-11-28 | Denso Corp | 歯科インプラント手術支援装置 |
| EP2956814A1 (en) * | 2013-02-14 | 2015-12-23 | Seiko Epson Corporation | Head mounted display and control method for head mounted display |
| US9916691B2 (en) | 2013-02-14 | 2018-03-13 | Seiko Epson Corporation | Head mounted display and control method for head mounted display |
| KR101811817B1 (ko) * | 2013-02-14 | 2018-01-25 | 세이코 엡슨 가부시키가이샤 | 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법 |
| US10169925B2 (en) | 2013-02-14 | 2019-01-01 | Seiko Epson Corporation | Head mounted display and control method for head mounted display |
| US11341726B2 (en) | 2013-07-16 | 2022-05-24 | Seiko Epson Corporation | Information processing apparatus, information processing method, and information processing system |
| WO2015008470A2 (en) | 2013-07-16 | 2015-01-22 | Seiko Epson Corporation | Information processing apparatus, information processing method, and information processing system |
| WO2015008469A2 (en) | 2013-07-16 | 2015-01-22 | Seiko Epson Corporation | Information processing apparatus, information processing method, and information processing system |
| US10042598B2 (en) | 2013-07-16 | 2018-08-07 | Seiko Epson Corporation | Information processing apparatus, information processing method, and information processing system |
| KR20160033721A (ko) | 2013-07-16 | 2016-03-28 | 세이코 엡슨 가부시키가이샤 | 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템 |
| US10664216B2 (en) | 2013-07-16 | 2020-05-26 | Seiko Epson Corporation | Information processing apparatus, information processing method, and information processing system |
| US9898662B2 (en) | 2013-07-16 | 2018-02-20 | Seiko Epson Corporation | Information processing apparatus, information processing method, and information processing system |
| JP2015100437A (ja) * | 2013-11-22 | 2015-06-04 | 京セラメディカル株式会社 | 外科手術用ナビゲーションシステム |
| JP2015217298A (ja) * | 2014-05-13 | 2015-12-07 | メトロノール アーエス | 患者に対する外科的処置を精密に誘導するシステム |
| US9990744B2 (en) | 2014-08-27 | 2018-06-05 | Fujifilm Corporation | Image registration device, image registration method, and image registration program |
| CN107735016A (zh) * | 2015-07-08 | 2018-02-23 | 西诺德牙科设备有限公司 | 用于扫描解剖结构且用于显示扫描结果的系统和方法 |
| JP2018527965A (ja) * | 2015-07-08 | 2018-09-27 | シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング | 解剖構造の走査と走査結果表示のためのシステムおよび方法 |
| US11412993B2 (en) * | 2015-07-08 | 2022-08-16 | Dentsply Sirona Inc. | System and method for scanning anatomical structures and for displaying a scanning result |
| US10242452B2 (en) | 2015-08-25 | 2019-03-26 | Fujifilm Corporation | Method, apparatus, and recording medium for evaluating reference points, and method, apparatus, and recording medium for positional alignment |
| US10049480B2 (en) | 2015-08-31 | 2018-08-14 | Fujifilm Corporation | Image alignment device, method, and program |
| US10631948B2 (en) | 2015-09-29 | 2020-04-28 | Fujifilm Corporation | Image alignment device, method, and program |
| US10492872B2 (en) | 2015-10-02 | 2019-12-03 | The University Of Tokyo | Surgical navigation system, surgical navigation method and program |
| US10102638B2 (en) | 2016-02-05 | 2018-10-16 | Fujifilm Corporation | Device and method for image registration, and a nontransitory recording medium |
| JP2019519257A (ja) * | 2016-03-11 | 2019-07-11 | ソニー株式会社 | 画像処理して解剖学的部分の三次元（３ｄ）ビューを生成するシステム及び方法 |
| US20170270678A1 (en) * | 2016-03-15 | 2017-09-21 | Fujifilm Corporation | Device and method for image registration, and non-transitory recording medium |
| US10078906B2 (en) | 2016-03-15 | 2018-09-18 | Fujifilm Corporation | Device and method for image registration, and non-transitory recording medium |
| US10740642B2 (en) | 2016-04-11 | 2020-08-11 | Fujifilm Corporation | Image display control device, method, and program |
| JP2017200537A (ja) * | 2016-05-06 | 2017-11-09 | 岳 芳本 | 治療支援システム、治療支援装置、治療支援方法、及びコンピュータプログラム |
| JP2018022242A (ja) * | 2016-08-01 | 2018-02-08 | 大豊精機株式会社 | 複合システム及びターゲットマーカ |
| JP7255927B2 (ja) | 2016-11-08 | 2023-04-11 | Ｓａｆｅ Ａｐｐｒｏａｃｈ Ｍｅｄｉｃａｌ株式会社 | 施術支援システム、施術支援方法及び施術支援プログラム |
| JPWO2018088146A1 (ja) * | 2016-11-08 | 2019-09-26 | 国立大学法人九州大学 | 施術支援システム、施術支援方法及び施術支援プログラム |
| JP2022050713A (ja) * | 2016-11-08 | 2022-03-30 | Ｓａｆｅ Ａｐｐｒｏａｃｈ Ｍｅｄｉｃａｌ株式会社 | 施術支援システム、施術支援方法及び施術支援プログラム |
| JP7018399B2 (ja) | 2016-11-08 | 2022-02-10 | Ｓａｆｅ Ａｐｐｒｏａｃｈ Ｍｅｄｉｃａｌ株式会社 | 施術支援システム、施術支援方法及び施術支援プログラム |
| JP7005105B2 (ja) | 2017-02-03 | 2022-01-21 | ド ヒュン キム | インプラント手術ガイド方法 |
| JP2020506033A (ja) * | 2017-02-03 | 2020-02-27 | キム ド ヒュン | インプラント手術ガイド方法 |
| JP7109047B2 (ja) | 2018-02-19 | 2022-07-29 | 株式会社吉田製作所 | 情報表示装置、情報表示システム、情報表示方法、及び情報表示プログラム |
| JP2019141261A (ja) * | 2018-02-19 | 2019-08-29 | 株式会社吉田製作所 | 情報表示装置、情報表示システム、情報表示方法、及び情報表示プログラム |
| WO2019187449A1 (ja) * | 2018-03-29 | 2019-10-03 | 株式会社吉田製作所 | 画像処理装置および画像処理プログラム |
| JP2019170923A (ja) * | 2018-03-29 | 2019-10-10 | 株式会社吉田製作所 | 画像処理装置および画像処理プログラム |
| CN108742898B (zh) * | 2018-06-12 | 2021-06-01 | 中国人民解放军总医院 | 基于混合现实的口腔种植导航系统 |
| CN108742898A (zh) * | 2018-06-12 | 2018-11-06 | 中国人民解放军总医院 | 基于混合现实的口腔种植导航系统 |
| CN112367941A (zh) * | 2018-07-05 | 2021-02-12 | 登士柏希罗纳有限公司 | 用于增强现实引导的外科手术的方法和系统 |
| JP7336504B2 (ja) | 2018-07-05 | 2023-08-31 | デンツプライ シロナ インコーポレイテッド | 拡張現実誘導手術の方法およびシステム |
| JP2021529618A (ja) * | 2018-07-05 | 2021-11-04 | デンツプライ シロナ インコーポレイテッド | 拡張現実誘導手術の方法およびシステム |
| US12011230B2 (en) | 2018-12-26 | 2024-06-18 | Beijing Yakebot Technology Co., Ltd. | Calibration method and device for dental implant navigation surgery, and tracking method and device for dental implant navigation surgery |
| JP7202737B2 (ja) | 2018-12-26 | 2023-01-12 | 雅客智慧（北京）科技有限公司 | 歯科インプラントナビゲーション手術の追跡方法および装置 |
| JP2022515477A (ja) * | 2018-12-26 | 2022-02-18 | 雅客智慧（北京）科技有限公司 | 歯科インプラントナビゲーション手術のキャリブレーション、追跡方法および装置 |
| CN109700550A (zh) * | 2019-01-22 | 2019-05-03 | 雅客智慧（北京）科技有限公司 | 一种用于牙科手术的增强现实方法及装置 |
| JP7414286B2 (ja) | 2019-01-22 | 2024-01-16 | Ｓａｆｅ Ａｐｐｒｏａｃｈ Ｍｅｄｉｃａｌ株式会社 | 施術支援システム及び処理装置 |
| JP6997238B2 (ja) | 2019-03-22 | 2022-01-17 | グローバス メディカル インコーポレイティッド | ニューロナビゲーションを登録し、ロボットの軌道をガイダンスするためのシステム |
| JP2020163130A (ja) * | 2019-03-22 | 2020-10-08 | グローバス メディカル インコーポレイティッド | ニューロナビゲーションを登録し、ロボットの軌道をガイダンスするためのシステムと、関連する方法および装置 |
| JP2021019967A (ja) * | 2019-07-30 | 2021-02-18 | 春仁 上園 | 拡張現実情報表示方法、手術支援装置、及びプログラム |
| EP4026513A4 (en) * | 2019-09-02 | 2022-10-05 | Safe Approach Medical Inc. | TREATMENT SUPPORT SYSTEM AND ALIGNMENT DEVICE |
| CN111870825A (zh) * | 2020-07-31 | 2020-11-03 | 于金明 | 基于虚拟智能医疗平台的放射治疗精确逐野摆位方法 |
| CN111870825B (zh) * | 2020-07-31 | 2023-08-18 | 于金明 | 基于虚拟智能医疗平台的放射治疗精确逐野摆位方法 |
| CN113662662A (zh) * | 2021-07-30 | 2021-11-19 | 北京天智航医疗科技股份有限公司 | 数据精度检测方法、装置、存储介质及电子设备 |
| CN113662662B (zh) * | 2021-07-30 | 2023-10-27 | 北京天智航医疗科技股份有限公司 | 数据精度检测方法、装置、存储介质及电子设备 |
| CN113693723A (zh) * | 2021-08-05 | 2021-11-26 | 北京大学 | 一种面向口腔咽喉部手术的跨模态导航定位系统及方法 |
| CN113855288A (zh) * | 2021-11-01 | 2021-12-31 | 杭州柳叶刀机器人有限公司 | 图像生成方法、装置、电子设备及存储介质 |
| CN114587658A (zh) * | 2022-02-06 | 2022-06-07 | 上海诠视传感技术有限公司 | Ar眼镜识别口腔种植手机在空间坐标系中位置的方法及系统 |
| CN114431988A (zh) * | 2022-03-02 | 2022-05-06 | 福建医科大学附属口腔医院 | 用于口腔种植牙领域的动态导航系统及使用方法 |
| CN116785001A (zh) * | 2023-08-25 | 2023-09-22 | 深圳卡尔文科技有限公司 | 一种种植手术工具标定方法、系统和存储介质 |
| CN116785001B (zh) * | 2023-08-25 | 2023-10-31 | 深圳卡尔文科技有限公司 | 一种种植手术工具标定方法、系统和存储介质 |
| CN117115401A (zh) * | 2023-10-16 | 2023-11-24 | 深圳卡尔文科技有限公司 | 一种ar导航数据处理方法、系统和存储介质 |
| CN117115401B (zh) * | 2023-10-16 | 2024-02-06 | 深圳卡尔文科技有限公司 | 一种ar导航数据处理方法、系统和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5476036B2 (ja) | 2014-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5476036B2 (ja) | 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法 | |
| US11275249B2 (en) | Augmented visualization during surgery | |
| US20210338107A1 (en) | Systems, devices and methods for enhancing operative accuracy using inertial measurement units | |
| US20140221819A1 (en) | Apparatus, system and method for surgical navigation | |
| JP6475324B2 (ja) | オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法 | |
| US10111595B2 (en) | Method for checking tooth positions | |
| TWI396523B (zh) | 用以加速牙科診斷及手術規劃之系統及其方法 | |
| US9936166B2 (en) | Method for planning a dental treatment | |
| KR101086865B1 (ko) | 표준화된 가이드 스탠트와 이를 이용한 임플란트 시스템 및 그 제어방법 | |
| WO2010101117A1 (ja) | 手術支援システム | |
| KR20180093939A (ko) | X-선 이미지를 보정하는 방법 | |
| CN105105846B (zh) | 一种用来精确引导对一病患进行外科手术的系统 | |
| Tsuji et al. | A new navigation system based on cephalograms and dental casts for oral and maxillofacial surgery | |
| WO2015080042A1 (ja) | 顕微鏡用映像処理装置、および医療用顕微鏡システム | |
| JP6605212B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| US11890148B2 (en) | System and method for dynamic augmented reality imaging of an antomical site | |
| Yamaguchi et al. | Augmented reality system for dental implant surgery | |
| TWI501749B (zh) | 手術導引系統之器械導引方法 | |
| Lai et al. | The influence of cone beam computed tomography on IRIS-100 implant navigation system | |
| KR101742582B1 (ko) | 수술용 턱뼈 위치 계측 장치 및 이를 운용하는 방법 | |
| Stradiotti et al. | Understanding How Different Visual Aids for Augmented Reality Influence Tool-Patient Alignment in Surgical Tasks: A Preliminary Study. | |
| Hatcher et al. | Three-D Surface Imaging of the Face | |
| CN116959675A (zh) | 一种基于划线的外固定三维重建及电子处方生成方法 | |
| 김대승 | An integrated system for simulation and image-guidance for orthognathic surgery | |
| Yamazaki et al. | Improvement of dental fiberscope navigation system for endodontic treatments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120330 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20130215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130611 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130808 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20130828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140207 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |