JP2020516003A - 三次元データによる患者のリアルタイムビューの拡張 - Google Patents

三次元データによる患者のリアルタイムビューの拡張 Download PDF

Info

Publication number
JP2020516003A
JP2020516003A JP2020503249A JP2020503249A JP2020516003A JP 2020516003 A JP2020516003 A JP 2020516003A JP 2020503249 A JP2020503249 A JP 2020503249A JP 2020503249 A JP2020503249 A JP 2020503249A JP 2020516003 A JP2020516003 A JP 2020516003A
Authority
JP
Japan
Prior art keywords
patient
data
headset
real
outer layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020503249A
Other languages
English (en)
Inventor
ツベトコ、スティーブン
アーレン ギビー、ウェンデル
アーレン ギビー、ウェンデル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novarad Corp
Original Assignee
Novarad Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=61147999&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2020516003(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Novarad Corp filed Critical Novarad Corp
Publication of JP2020516003A publication Critical patent/JP2020516003A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0223—Magnetic field sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008—Cut plane or projection plane definition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Abstract

三次元（３Ｄ）データにより患者のリアルタイムビューを拡張すること。一実施形態において、方法は、外層および複数の内層を含む３Ｄデータによって患者の３Ｄデータを特定することと、３Ｄデータからの外層の仮想形態計測測定値を決定することと、３Ｄ空間内における患者の外層のリアルタイム位置を登録することと、患者の外層のリアルタイム形態計測測定値を決定することと、仮想形態計測測定値を用いて、かつリアルタイム形態計測測定値を用いて、３Ｄデータからの外層の位置を自動的に登録して、登録された３Ｄ空間内における患者の外層のリアルタイム位置と位置合わせすることと、拡張現実（ＡＲ）ヘッドセットにおいて、患者の外層のリアルタイムビュー上に投影された３Ｄデータからの患者の内層のうちの１つを表示することとを含む。

Description

本願は、三次元データによる患者のリアルタイムビューの拡張に関する。
拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ：ＡＲ）システムは、一般にユーザの実世界環境のライブビューを取り込み、映像、音声、または図形のようなコンピュータで生成した仮想要素によってそのビューを拡張する。結果として、ＡＲシステムはユーザの現状における現実の知覚を増強するように機能する。
ＡＲシステムが直面する１つの共通の問題は、仮想要素の位置を実世界環境のライブビューと正確に位置合わせすること（ａｌｉｇｎｉｎｇ）である。この位置合わせプロセスは大抵の場合に手動で行われるか、または非解剖学的基準を手動で配置した後のみに自動的に行われる。いずれの場合も、手動プロセスは時間がかかり、煩雑であり、かつ不正確になる可能性がある。
ＡＲシステムが直面する別の共通の問題は、仮想要素を管理するための仮想コントロールの適切な配置である。仮想コントロールは、仮想要素と相互作用する際にユーザを支援するように意図されているが、多くの場合、ライブビュー内においてそれらをユーザに対する助けというよりはむしろ障害物にしてしまう位置に配置されている。
本願において権利請求される主題は、上述したもののような何らかの不都合を解決するか、または上述したもののような環境においてのみ動作する実施形態に限定されるものではない。むしろ、この背景は本願に記載するいくつかの実施形態が実施され得る技術領域の一例を示すために提供されているに過ぎない。
一実施形態において、患者のリアルタイムビューを三次元（３Ｄ）データによって拡張する方法は、様々な動作を含み得る。例えば、本方法は、患者の外層および患者の複数の内層を含む３Ｄデータによって患者の３Ｄデータを特定することを含み得る。本方法はまた、３Ｄデータから患者の外層の仮想形態計測測定値（ｖｉｒｔｕａｌ ｍｏｒｐｈｏｍｅｔｒｉｃ ｍｅａｓｕｒｅｍｅｎｔｓ）を決定することを含み得る。本方法は、３Ｄ空間内における患者の外層のリアルタイム位置を登録すること（ｒｅｇｉｓｔｅｒｉｎｇ）を含む。本方法はまた、患者の外層のリアルタイム形態計測測定値を決定することも含み得る。本方法は、仮想形態計測測定値を用いて、かつリアルタイム形態計測測定値を用いて、３Ｄデータからの患者の外層の位置を自動的に登録して、登録された３Ｄ空間内における患者の外層のリアルタイム位置と位置合わせすることをさらに含み得る。本方法はまた、拡張現実ヘッドセットにおいて、患者の外層のリアルタイムビュー上に投影された３Ｄデータからの患者の内層のうちの１つを表示することを含み得る。
別の実施形態において、３Ｄデータにより患者のリアルタイムビューを拡張する方法は、様々な動作を含み得る。例えば、本方法は、患者の外層および患者の複数の内層を含む３Ｄデータによって患者の３Ｄデータを特定することを含み得る。本方法はまた、拡張現実ヘッドセットにおいて、患者の外層のリアルタイムビュー上に投影された３Ｄデータからの患者の内層のうちの１つを表示することを含み得る。本方法は、拡張現実ヘッドセットにおいて、投影された３Ｄデータからの患者の内層の表示を変更するための選択肢を含む仮想ユーザインタフェースを生成することをさらに含み得る。本方法はまた、拡張現実ヘッドセットにおいて、拡張現実ヘッドセットの焦点の向きが患者にフォーカスしていないことから、リアルタイムビュー上に投影された仮想ユーザインタフェースを表示することも含み得る。本方法は、拡張現実ヘッドセットにおいて、拡張現実ヘッドセットの焦点の向きが患者にフォーカスしていることから、仮想ユーザインタフェースを非表示にすることをさらに含み得る。
前述の概要および以下の詳細な説明の双方は説明のためのものであり、権利請求される本発明を限定するものではないことが理解されるべきである。
添付図面の使用により、実施形態について付加的な特異性および詳細とともに記載し、説明する。
患者のリアルタイムビューが三次元（３Ｄ）データによって拡張され得る例示的な拡張現実（ＡＲ）環境を示す図。 第１患者を含む図１のＡＲ環境の写真。 第１患者を含む図１のＡＲ環境の写真。 第１患者を含む図１のＡＲ環境の写真。 第１患者を含む図１のＡＲ環境の写真。 第１患者を含む図１のＡＲ環境の写真。 第１患者を含む図１のＡＲ環境の写真。 第２の患者を含む図１のＡＲ環境の写真。 第３患者を含む図１のＡＲ環境の写真。 第３患者を含む図１のＡＲ環境の写真。 ３Ｄデータにより患者のリアルタイムビューを拡張する際に用いられ得る例示的なコンピュータシステムを示す図。 ３Ｄデータにより患者のリアルタイムビューを拡張する例示的な方法のフローチャート。 ３Ｄデータにより患者のリアルタイムビューを拡張する例示的な方法のフローチャート。 ３Ｄデータにより患者のリアルタイムビューを拡張する例示的な方法のフローチャート。 ３Ｄデータにより患者のリアルタイムビューを拡張する例示的な方法のフローチャート。 ３Ｄデータにより患者のリアルタイムビューを拡張する例示的な方法のフローチャート。
医用イメージングは患者の内部の視覚表示を作成するために用いられ得る。より具体的には、医用イメージングは、訓練、研究、診断および治療のような様々な目的で皮膚のような患者の外層によって隠された内部構造を明らかにするために用いられ得る。
従来の医用シメージングシステムは、患者の三次元（３Ｄ）データを作成し、次にその３Ｄデータを１つ以上の画像としてコンピュータディスプレイ上に表示し得る。実際の患者とは切り離されたコンピュータディスプレイ上において患者の画像を観察することは、訓練、研究、診断および治療に有用なこともあるが、そのような切り離された観察により、いくつかの問題が生じる場合もある。
例えば、外科医が患者の脳から腫瘍を除去する必要がある場合、外科医は、コンピュータディスプレイ上の患者の脳の画像を観察し得る。コンピュータディスプレイ上において腫瘍の位置を観察した後、次に、外科医はその視界をコンピュータディスプレイから手術台上の実際の患者へ移し、患者の脳内部の腫瘍の実際の患者におけるおおよその位置を特定しようと試み得る。腫瘍のおおよその位置を特定するこの方法は困難であり、過誤を生じ易い可能性がある。例えば、外科医は、実際には腫瘍が脳の右側に存在する場合に、偶発的に画像中の脳の左側が腫瘍を有していると特定してしまうことがある。この過誤は、外科医が誤って患者の頭蓋の左側において不必要な切開を行うことにつながる場合がある。
別の例では、医師が患者に対して膝の手術を実施する必要がある場合に、医師はコンピュータディスプレイ上の患者の膝の画像を観察し得る。コンピュータディスプレイ上の膝の問題領域を観察した後、次に医師はその視界をコンピュータディスプレイから手術台上の実際の患者へ移して、手術のために実際の患者の膝の問題領域を特定しようと試み得る。膝の問題領域を特定するこの方法は困難であり、過誤を生じ易い可能性がある。例えば、医師が、手術台上の患者がコンピュータディスプレイ上の画像と一致しないことに気付かずに、偶発的に誤った患者の画像をコンピュータディスプレイ上に引き出してしまうことがある。この過誤は、膝の問題領域は患者によって自然と異なることから、外科医が誤って不適切な位置において切開を行うことにつながる場合がある。
本願に開示する実施形態は、従来の画像診断システムに対して様々な利点を提供し得る。具体的には、本願に開示する実施形態は、例えば、３Ｄデータにより患者のリアルタイムビューを拡張し得る。いくつかの実施形態において、患者の３Ｄデータは実際の患者のリアルタイムビューと自動的に位置合わせされるか、または登録され、次に３Ｄデータから導出された画像は患者のリアルタイムビュー上に投影され得る。よって、これらの実施形態は、時間がかかり、煩雑であり、かつ不正確な手動の位置合わせを行うことなく、かつ／または時間がかかり、煩雑であり、かつ不正確な非解剖学的基準の手動の配置を行うことなく、医療専門家が実際の患者を見ながら、その患者の仮想内部を観察することを可能にする。訓練、研究、診断または治療において用いられる場合、これらの実施形態は、医療専門家が患者内の目標位置をより容易かつ正確に見つけることを可能にし得る。
例えば、上記で検討した脳外科手術の例において用いられる場合には、これらの実施形態は、外科医が腫瘍の位置について脳の右側と左側との間で混乱するのを回避し、それにより腫瘍を除去するための外科手術中に外科医が頭蓋の不適切な側において不要な切開を行うことを回避し得る。同様に上記で検討した膝手術の例において用いられる場合には、これらの実施形態は、自動位置合わせが失敗するか、または自動位置合わせは正しかったという信頼度が低いことを示すことがあり、よって患者データが現在手術台上にいる患者のものではない可能性があることを医師に警告するので、医師が誤った患者の３Ｄデータを使用することを回避し得る。
さらに、いくつかの実施形態において、３Ｄデータによる患者のリアルタイムビューの拡張は、患者のリアルタイムビュー上に投影される画像を変更するための仮想ユーザインタフェースおよび他の仮想コントロールの表示を含み得る。この仮想ユーザインタフェースおよびこれらの他の仮想コントロールは、患者を観察するときに医療専門家の視野を遮らないようにし、医療専門家に対する比較的一定な焦点長を維持し、かつ／または医療専門家に対面する仮想ユーザインタフェースの向きを維持するように投影され得る。このように、これらの実施形態は、医療専門家が患者のリアルタイムビューに投影された画像を迅速かつ容易に変更することを可能にし得る。
図面に移ると、図１は例示的な拡張現実（ＡＲ）環境１００を示している。いくつかの実施形態において、環境１００は、３Ｄ空間１０２、ユーザ１０４、患者１０６、およびネットワーク１１０上のサーバ１１２と通信し得るＡＲヘッドセット１０８を含み得る。いくつかの実施形態において、環境１００はまた、仮想ユーザインタフェース１１４、仮想空間的差異ボックス（ｖｉｒｔｕａｌ ｓｐａｔｉａｌ ｄｉｆｆｅｒｅｎｃｅ ｂｏｘ）１１６、対象物１１８の仮想挿入部１１８ａ、および仮想カーソル１２２も含んでいてもよく、これらはすべて、ＡＲヘッドセット１０８によって生成され、ＡＲヘッドセット１０８を介してユーザ１０４のみに見えることを示すために破線で示されている。
いくつかの実施形態において、３Ｄ空間１０２は、（図１に示すような）手術台１０３を備えた手術室、オフィス、教室または研究室を含むが、これらに限定されない、いかなる３Ｄ空間であってもよい。いくつかの実施形態において、３Ｄ空間１０２は、ユーザ１０４がＡＲヘッドセット１０８を着用しながら、患者１０６を観察し得る空間であり得る。
いくつかの実施形態において、ユーザ１０４は、（図１に示すような）医療専門家、インストラクター、研究者、患者、または患者の介護者を含むが、これらに限定されないＡＲヘッドセット１０８のいかなるユーザであってもよい。例えば、医療専門家は、患者１０６に医療処置を実施するためにＡＲヘッドセット１０８を使用してもよい。同様に、研究者またはインストラクターが、医学研究を行っているとき、または医学生を指導しているときに、ＡＲヘッドセット１０８を使用してもよい。さらに、医療専門家が患者１０６のための提案された医療処置について説明しようと試みているときに、患者１０６の介護者または患者１０６自身がＡＲヘッドセット１０８を使用してもよい。
いくつかの実施形態において、患者１０６は、意識があるか、または無意識である、生きているか、または死んでいる、完全体であるか、または１つ以上の体の部分が欠損している、任意の動物であってもよい。例えば、患者１０６は、ユーザ１０４によって医療処置を受けるために無意識にされた（図１に示すような）生きているヒト成人であってもよい。別の例では、患者１０６は、研究または訓練の目的のための解剖を受けるヒト成人の遺体であってもよい。別の例では、患者１０６は、医学的状態を診断するために獣医によって診断されている意識のある動物であってもよい。別の例では、患者１０６は死亡したヒトの一肢または単一器官であってもよい。
いくつかの実施形態において、ＡＲヘッドセット１０８は、３Ｄデータにより患者１０６のリアルタイムビューを拡張することができるＡＲヘッドセットの形態にある任意のコンピュータシステムであり得る。例えば、ＡＲヘッドセット１０８は、（図１に示すような）骨１０６ｂ、筋肉、器官、または流体を含むが、これらに限定されない患者１０６の１つ以上の内層により、患者１０６のリアルタイムビューを拡張するために、ユーザ１０４によって用いられ得る。いくつかの実施形態において、ＡＲヘッドセット１０８は、３Ｄ空間１０２内におけるユーザ１０４の現在位置にかかわらず、患者１０６のリアルタイムビューのこの拡張を実施し得る。例えば、ユーザ１０４は手術台１０３のまわりを歩き回って、３Ｄ空間１０２内の任意の角度から患者１０６を観察することがあり、その間じゅう、ＡＲヘッドセット１０８は、患者１０６および患者１０６の３Ｄデータの双方がユーザ１０４によって３Ｄ空間１０２内の任意の角度から観察され得るように、患者１０６のリアルタイムビューを患者１０６の１つ以上の内層によって連続的に拡張し得る。ＡＲヘッドセット１０８は、図６Ａ〜図６Ｅに関連して本願に開示される方法６００に従って、この３Ｄデータによる患者１０６のリアルタイムビューの拡張を実施し得る。いくつかの実施形態において、ＡＲヘッドセット１０８はマイクロソフト ホロレンズ（Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ（商標））の修正版であってもよい。
いくつかの実施形態において、ネットワーク１１０は、ＡＲヘッドセット１０８、サーバ１１２、または他のコンピュータシステムを通信可能に接続するように構成され得る。いくつかの実施形態において、ネットワーク１１０は、システムと装置との間の通信を送受信するように構成された任意の有線もしくは無線ネットワーク、または複数のネットワークの組み合わせであってもよい。いくつかの実施形態において、ネットワーク１１０としては、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）ネットワークのようなパーソナルエリアネットワーク（ＰＡＮ）、ＷｉＦｉネットワークのようなローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、またはストレージエリアネットワーク（ＳＵＮ）が挙げられる。いくつかの実施形態において、ネットワーク１１０はまた、セルラーネットワークのような、様々な異なる通信プロトコルでデータを送信するための電気通信ネットワークの一部に接続されていてもよいし、またはそのような電気通信ネットワークの一部を含んでいてもよい。
いくつかの実施形態において、サーバ１１２は、ＡＲヘッドセット１０８と接続して機能することができる任意のコンピュータシステムであってもよい。いくつかの実施形態において、サーバ１１２は、３ＤデータをＡＲヘッドセット１０８に伝送するか、またはＡＲヘッドセット１０８からデータを受信するために、ＡＲヘッドセット１０８とリアルタイムで通信するように構成され得る。加えて、サーバ１１２は、ＡＲヘッドセット１０８によって所望されるデータ記憶または処理のうちの一部またはすべてをオフロードするために用いられてもよい。
いくつかの実施形態において、仮想ユーザインタフェース１１４は、患者１０６の３Ｄデータからの患者１０６の投影された内層の表示を変更するための選択肢を含む、ＡＲヘッドセット１０８によって生成された任意の仮想ユーザインタフェースであり得る。例えば、仮想ユーザインタフェース１１４に含まれる選択肢としては、ＡＲヘッドセット１０８に、
（１）患者１０６の拡張されたビューの観察を停止させる選択肢、
（２）ＡＲヘッドセット１０８の能力のデモを表示させる選択肢、
（３）投影された３Ｄデータの輝度および色のような患者１０６に投影されている３Ｄデータの特性を調整させる選択肢、
（４）患者１０６との３Ｄデータの位置合わせを調整させる選択肢、
（５）仮想空間的差異ボックス１１６を表示させる選択肢、
（６）所定体積の３Ｄデータの代わりに３Ｄデータのスライスを表示させる選択肢、
（７）３Ｄデータのスライスを再配置する際などに、３Ｄデータをユーザ１０４の方向にドラッグさせる選択肢、
（８）軸方向スライス（ａｘｉａｌ ｓｌｉｃｅｓ）、冠状スライス（ｃｏｒｏｎａｌ ｓｌｉｃｅｓ）、矢状スライス（ｓａｇｉｔｔａｌ ｓｌｉｃｅｓ）、および斜めスライス（ｏｂｌｉｑｕｅ ｓｌｉｃｅｓ）を含むが、これらに限定されない３Ｄデータの異なるスライスを表示させる選択肢、
（９）ＡＲヘッドセット１０８の他の高度な機能を実施させる選択肢
が挙げられるが、これらに限定されるものではない。仮想ユーザインタフェース１１４は、ユーザ１０４にとって有用であり得る他の情報をさらに含んでいてもよい。例えば、仮想ユーザインタフェース１１４は、心拍数、血圧および呼吸数のような患者１０６のリアルタイムバイタルサインを含んでいてもよい。別の例では、仮想ユーザインタフェース１１４は、患者１０６が無意識であった時間量を示すストップウォッチを含んでいてもよい。
いくつかの実施形態において、ＡＲヘッドセット１０８は、仮想ユーザインタフェース１１４をユーザ１０４から快適な距離に、かつ／またはユーザ１０４に対して快適な向きに、表示するように構成され得る。例えば、ＡＲヘッドセット１０８は、仮想ユーザインタフェース１１４をＡＲヘッドセット１０８から患者１０６までのリアルタイム距離Ｄ１にほぼ等しいＡＲヘッドセット１０８からの焦点距離Ｄ２において表示するように構成され得る。この距離は、ユーザが３Ｄ空間１０２を動き回っても、またユーザが患者１０６に近づいたり、患者１０６から遠ざかったりしても、ユーザ１０４が患者１０６と仮想ユーザインタフェース１１４との間でユーザの焦点を移すときにユーザの眼の焦点を再び合わせなければならないことを回避し得るので、ユーザにとって快適であり得る。別の例では、ＡＲヘッドセット１０８は、仮想ユーザインタフェース１１４をＡＲヘッドセット１０８の焦点の向き１２０に直交するように配向された焦点の向きに表示するように構成されてもよい。この配向は、ＡＲヘッドセット１０８の現在の焦点の向き１２０にかかわらず、ユーザが３Ｄ空間１０２を動き回っても、またユーザが概して患者１０６の方に向いていたり、または患者１０６から離反した方に向いていたりしても、仮想ユーザインタフェース１１４を常にユーザ１０４に対して正面に対面させ得るので、ユーザ１０４にとって快適であり得る。
いくつかの実施形態において、仮想空間的差異ボックス１１６は、投影された３Ｄデータからの患者１０６の内層を所定体積の仮想空間的差異ボックス１１６内に限定するために、ＡＲヘッドセット１０８によって生成され得る。例えば、図１において、患者１０６の投影された骨１０６ｂは、仮想空間的差異ボックス１１６内に限定され得る。いくつかの実施形態において、仮想空間的差異ボックス１１６はまた、ユーザ１０４に基準枠を提供することにより、投影された３Ｄデータを操作する場合にユーザを支援し得る。例えば、この基準枠は、仮想空間的差異ボックス１１６内において３Ｄデータの軸方向スライス、冠状スライス、矢状スライスまたは斜めスライスを移動させる場合にユーザを支援し得る。スライスは二次元（２Ｄ）スライスであってもよいし、かつ／または３Ｄスライスであってもよい。３Ｄスライスとしては、解剖学的特徴の自然な曲線に従った湾曲スライスのような湾曲スライス、または高さおよび幅だけでなく深さも有するスライスが挙げられる。ユーザ１０４は、ユーザ１０４が概して仮想空間的差異ボックス１１６の線の方向にユーザの手を動かすことを求める手振りを用いて、これらのスライスを移動させてもよく、したがって仮想空間的差異ボックス１１６の表示は、これらの手の動作をユーザ１０４にとってより容易にし得る。
いくつかの実施形態において、対象物１１８の仮想挿入部１１８ａは、ユーザ１０４が患者１０６の外層を介して患者１０６に挿入したいと思う対象物１１８の任意の部分に対応し得る。例えば、対象物１１８としては、（図１に示すような）メス、スコープ、ドリル、プローブ、別の医療器具、またはユーザ１０４の手が挙げられる。患者１０６の外層のリアルタイム位置の登録と同様に、対象物１１８の外層の位置も登録され得る。しかしながら、環境１００内において比較的静止したままであり得る患者１０６とは異なり、対象物１１８は環境１００内において頻繁に動かされる可能性があり、そのため対象物１１８のリアルタイム位置は、患者１０６の外層の登録された位置に対して３Ｄ空間１０２内において自動的に追跡され得る。次に、ユーザ１０４が対象物１１８のいくつかの部分を患者１０６の外層内に挿入する場合、ＡＲヘッドセット１０８は、３Ｄデータからの患者１０６の投影された内層内に投影された対象物１１８の仮想挿入部１１８ａを表示し得る。このように、対象物１１８の仮想挿入部１１８ａは、対象物１１８の実際の挿入部分がユーザ１０４のリアルタイムビューから隠れている場合であっても、ユーザ１０４のリアルタイムビューに投影され得る。
いくつかの実施形態において、対象物１１８は、ＡＲヘッドセット１０８による対象物１１８のより正確な追跡を可能にするように特別に設計されていてもよい。例えば、対象物１１８が針を有する注射器のような比較的小さな医療器具である場合、対象物１１８はＡＲヘッドセット１０８のセンサによってより容易に感知されるように改良されていてもよい。例えば、これらの医療器具は、（例えば視覚センサによって）より容易に感知されるように、より大きな寸法にされてもよく、より容易に感知されるために（例えば、針を取り付ける注射器の先端部を球として形成することにより）特定の形状を与えられていてもよく、より容易に感知されるために（例えば、反射ストリップまたはライトストリップの追加によって）より見やすくされていてもよく、または（例えば、金属検知センサによってより容易に感知される金属から製造されることにより）より容易に感知される材料から製造されていてもよい。
さらに、いくつかの実施形態では、ＡＲヘッドセット１０８による対象物１１８のより正確な追跡を可能にするために、対象物１１８のハンドルのような付属部品を対象物１１８に追加してもよい。例えば、付属部品は、付属部品がＡＲヘッドセット１０８のセンサによってより容易に感知されるようにするために、上述した改良のうちのいずれを含んでいてもよく、また付属部品が対象物１１８に取り付けられることにより、対象物１１８がＡＲヘッドセット１０８のセンサによってより容易に感知されるようにする。さらに、付属部品は、対象物１１８の先端部のような患者１０６に挿入することを意図した対象物１１８の部分に取り付けられるように設計されていてもよく、その結果、ＡＲヘッドセット１０８のセンサは患者１０６の内部の付属部品を実際に感知することができる。例えば、小さな磁界を放射する付属部品が対象物１１８の先端部に取り付けられ、次にＡＲヘッドセット１０８の磁気センサが患者１０６内の付属部品の正確な位置を感知することができ、それによりユーザ１０４に対して表示される仮想挿入部１１８ａの精度の向上を助け得る。
いくつかの実施形態において、仮想カーソル１２２は、仮想ユーザインタフェース１１４上、別の仮想コントロール上、または３Ｄ空間１０２内の他の位置において、ＡＲヘッドセット１０８によって生成される仮想カーソルであり得る。いくつかの実施形態において、仮想カーソル１２２の位置は、ユーザ１０４の頭部の向きに対応し得るＡＲヘッドセット１０８の焦点の向き１２０に対応し得る。仮想カーソル１２２は、仮想ユーザインタフェース１１４の１つ以上の選択肢を選択するために、時にユーザの眼の瞬きのようなユーザ１０４による１つ以上の他の動作、またはＡＲヘッドセット１０８の視野内で２本の指を打ち合わせるなどのユーザ１０４の１つ以上の手振りと関連付けられて、ユーザ１０４によって用いられ得る。
環境１００に対して、本開示の範囲から逸脱することなく、変更、追加または省略がなされてもよい。例えば、いくつかの実施形態において、ＡＲヘッドセット１０８をそれぞれ着用した複数のユーザが、患者１０６の３Ｄデータにより拡張された患者１０６を同時に観察するために、３Ｄ空間１０２内に同時に存在していてもよい。別の例では、ＡＲヘッドセット１０８を着用したユーザ１０４が患者の３Ｄデータによって拡張された複数の患者を同時に観察することを可能にするために、複数の患者が３Ｄ空間１０２内に同時に存在していてもよい。別の例では、ＡＲヘッドセット１０８をそれぞれ着用した複数のユーザおよび複数の患者が３Ｄ空間内に同時に存在していてもよい。別の例では、ＡＲヘッドセット１０８からのビューの映像がＡＲヘッドセット１０８によって捕捉され、次いでネットワーク１１０上のサーバ１１２、または別のユーザによる観察のための遠隔ＡＲヘッドセットもしくは仮想現実（ＶＲ）ヘッドセットなどの遠隔地へ送信され得る。この例は、遠隔ユーザが患者１０６に対する医療処置の間にローカルユーザ１０４を誘導することを可能にする。さらに環境１００は、概してユーザ１０４が患者１０６を観察している状況にあると開示されているが、環境１００は、ユーザが樹木、岩、油田、または惑星のような任意の対象物の１つ以上の内層を観察したいと思う任意の環境としてより広く定義され得ることが理解される。
別の例では、ＡＲヘッドセット１０８は、加えて、または代わりに、音声コマンドを用いてユーザ１０４によって制御されてもよい。例えば、ユーザの手は患者１０６の手術または他の医療処置に従事しており、よって手振りを用いてＡＲヘッドセット１０８ヘッドセットを制御するのは不都合であるため、ユーザ１０４は音声コマンドを用いてもよい。この例では、音声コマンドは、仮想ユーザインタフェース１１４を制御するため（例えば仮想ユーザインタフェース１１４の選択肢を選択するため）、仮想空間的差異ボックス１１６を制御するため（例えば仮想空間的差異ボックス１１６を表示と非表示との間で切り替えるため、または仮想空間的差異ボックス１１６に表示された３Ｄデータのスライスを再配置するため）、または仮想カーソル１２２を制御するため（例えば患者１０６上に投影された仮想カーソル１２２を表示と非表示との間で切り替えるため）、またはいくつかのそれらの組み合わせを制御するために用いられ得る。さらに、この例において、音声コマンドは他の仮想コントロールとは独立して用いられてもよい。例えば、音声コマンドは、患者１０６上に投影された３Ｄデータの表示と非表示とを切り替えるか、またはそのような３Ｄデータの透明度のレベルを調整するために用いられてもよい。これらは、ユーザ１０４が患者１０６に対して手術を実施している間に有用であり、ユーザ１０４が投影された３Ｄデータを必要な場合のみに観察し、３Ｄデータが邪魔になる場合には投影された３Ｄデータを観察しないようにするか、または３Ｄデータをより透明にすることを可能にし得る。別の例では、仮想ユーザインタフェース１１４のようなＡＲヘッドセット１０８の制御は、ユーザ１０４に対して、選択肢を少なくとも一部は聴覚的に提示してもよい。選択肢の可聴表示は、ユーザ１０４が、実際に音声コマンドを発声する前に、最初に音声選択肢（例えば可能な音声コマンド）を聞くことができるようにし得る。選択肢の可聴表示はまた、ユーザ１０４が、現在ユーザの視野内に存在しない、かつ／または現在ＡＲヘッドセット１０８によって非表示にされている仮想コントロールと依然として相互作用できると同時に、患者１０６に対するＡＲヘッドセット１０８の焦点の向き１２０および／またはユーザ１０４の視覚焦点を維持することを可能にし得る。
図２Ａ〜図２Ｆは、第１患者を含む図１のＡＲ環境１００の写真である。図２Ａに開示するように、ユーザは第１患者の３Ｄデータにより第１患者のリアルタイムビューを拡張するＡＲヘッドセットを着用し得る。また図２Ａには、ユーザがＡＲヘッドセットの仮想コントロールを操作するために手振りを用いてもよいことも開示されている。図２Ｂ〜図２Ｆは、ＡＲヘッドセットを着用しているユーザの視点（ｐｅｒｓｐｅｃｔｉｖｅ）からの実景（ａｃｔｕａｌ ｖｉｅｗ）を開示している。図２Ｂに開示するように、ユーザは、第１患者のリアルタイムビュー上に投影された患者の脳のＣＴ画像を表す３Ｄデータの軸方向スライスを得るために、手振りを用いてもよい。図２Ｃ開示するように、仮想空間的差異ボックスは、ユーザによって、第１患者の脳のＣＴ画像を表す３Ｄデータの同一の軸方向スライスを観察するために用いられ得る。図２Ｄに開示するように、ＡＲヘッドセットを着用しているユーザが第１患者のまわりを反時計回りに歩くにつれて、第１患者の脳のＣＴ画像を表す３Ｄデータの同一の軸方向スライスは３Ｄ空間内の異なる角度から観察され得る。図２Ｅおよび図２Ｆに開示するように、ユーザは軸方向スライスの観察から矢状スライスの観察へ、次に矢状スライスの観察から冠状スライスの観察にそれぞれ変更するために、仮想ユーザインタフェースの１つ以上の選択肢をそれぞれ操作し得る。
図３は第２患者を含む図１のＡＲ環境の写真である。特に、図３はＡＲヘッドセットを着用しているユーザの視点からの実景を開示している。図３に開示するように、ＡＲヘッドセットは、仮想ユーザインタフェースがＡＲヘッドセットから第２患者までのリアルタイム距離にほぼ等しいＡＲヘッドセットからの焦点距離に常に配置されるようにするために、仮想ユーザインタフェースの表示をリアルタイムで更新し得る。さらに、ＡＲヘッドセットは、仮想ユーザインタフェースがＡＲヘッドセットの焦点の向きに常に直交して配向されるようにするために、仮想ユーザインタフェースの表示をリアルタイムで更新し得る。
図４Ａ〜図４Ｂは、第３患者を含む図１のＡＲ環境の写真である。具体的には、図４Ａ〜図４Ｂは、ＡＲヘッドセットを着用しているユーザの視点からの実景を開示している。図４Ａと図４Ｂとを比較して開示しているように、ＡＲヘッドセットは、ＡＲヘッドセットの焦点の向きが第３患者にフォーカスしていない間はリアルタイムビュー上に投影された仮想ユーザインタフェースを表示するが（図４Ｂに開示）、ＡＲヘッドセットの焦点の向きが第３患者にフォーカスしている間は仮想ユーザインタフェースを非表示にするように構成され得る。このように、ＡＲヘッドセットは、仮想ユーザインタフェースが第３患者のビューを遮ることを回避し得る。いくつかの実施形態では、第３患者は一般に水平方向の視界よりも下方に配置されているため、ＡＲヘッドセットは、ＡＲヘッドセットの焦点の向きが水平よりも上方である場合には仮想ユーザインタフェースを表示し、ＡＲヘッドセットの焦点の向きが水平であるか、または水平よりも下方である場合には仮想ユーザインタフェースを非表示にすることによって、仮想ユーザインタフェースが第３患者のビューを遮ることを回避してもよい。これらの実施形態では、ユーザは、ＡＲヘッドセットを着用している間はいつでも単に見上げることにより、仮想ユーザインタフェースを見ることができる。
図２Ａ〜図４Ｂの写真に開示したように、３人の患者の３Ｄデータの投影された内層は、組織特性を表す色勾配を用いて着色されていてもよく、その色勾配は３人の患者の外層のリアルタイムビュー上に投影されたときに見えるように標準的な色勾配から変更されている。例えば、３ＤデータがＣＴスキャン画像およびＸ線像のうちの１つ以上を含んでいるいくつかの実施形態では、色勾配によって表される組織特性としては、最も軟質な組織から最も硬質な組織にわたる組織硬度が挙げられる。他の実施形態では、色勾配によって表される組織特性としては、緩和能（ｒｅｌａｘｉｖｉｔｙ）、エコー輝度（ｅｃｈｏｇｅｎｉｃｉｔｙ）、エンハンスメント量（ｅｎｈａｎｃｅｍｅｎｔ ａｍｏｕｎｔ）、エンハンスメント速度（ｅｎｈａｎｃｅｍｅｎｔ ｓｐｅｅｄ）、密度、放射活性および水分含量のうちの１つ以上が挙げられるが、これらに限定されるものではない。ＡＲヘッドセットを着用しているユーザが色勾配をより容易に見ることができるようにするためには、より暗い色勾配は患者上に投影されたときに患者のビューに溶け込んでしまうことがあるので、色勾配はコンピュータディスプレイ上で用いられる標準的な色勾配よりも明るい色に変更され得る。
図５は、３Ｄデータにより患者のビューを拡張する際に用いられ得る例示的なコンピュータシステム５００を示している。いくつかの実施形態において、コンピュータシステム５００は、この開示に記載するシステムまたは装置のうちのいずれかの一部であってもよい。例えば、コンピュータシステム５００は、ＡＲヘッドセット１０８または図１のサーバ１１２のうちのいずれかの一部であってもよい。
コンピュータシステム５００は、プロセッサ５０２、メモリ５０４、ファイルシステム５０６、通信ユニット５０８、オペレーティングシステム５１０、ユーザインタフェース５１２、およびＡＲモジュール５１４を備え、これらはすべて通信可能に接続され得る。いくつかの実施形態では、コンピュータシステム５００は、例えばデスクトップコンピュータ、クライアントコンピュータ、サーバコンピュータ、携帯電話、ラップトップコンピュータ、スマートフォン、スマートウォッチ、タブレットコンピュータ、携帯音楽プレーヤ、組込み型コンピュータ、ＡＲヘッドセット、ＶＲヘッドセット、または他のコンピュータシステムであってもよい。
一般に、プロセッサ５０２は、様々なコンピュータハードウェアまたはソフトウェアモジュールを含む任意の適切な専用もしくは汎用コンピュータ、計算主体（ｃｏｍｐｕｔｉｎｇ ｅｎｔｉｔｙ）、または処理デバイスを含んでもよく、任意の適用可能なコンピュータ可読記憶媒体上に記憶された命令を実行するように構成され得る。例えば、プロセッサ５０２としては、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラム命令を解釈および／もしくは実行し、かつ／またはデータを処理するように構成された他のデジタルもしくはアナログ回路、または任意のそれらの組み合わせが挙げられる。いくつかの実施形態において、プロセッサ５０２は、メモリ５０４および／またはファイルシステム５０６に記憶されたプログラム命令を解釈および／もしくは実行し、かつ／またはメモリ５０４および／またはファイルシステム５０６に記憶されたデータを処理し得る。いくつかの実施形態において、プロセッサ５０２はファイルシステム５０６からプログラム命令を読み込んで（ｆｅｔｃｈ）、そのプログラム命令をメモリ５０４にロードし得る。プログラム命令がメモリ５０４にロードされた後、プロセッサ５０２はプログラム命令を実行し得る。いくつかの実施形態では、命令は、プロセッサ５０２が図６Ａ〜図６Ｅの方法６００のうちの１つ以上のブロックを実施することを含み得る。
メモリ５０４およびファイルシステム５０６は、コンピュータ実行可能命令またはデータ構造を保持または記憶するためのコンピュータ可読記憶媒体を含み得る。そのようなコンピュータ可読記憶媒体は、プロセッサ５０２のような汎用または専用コンピュータによってアクセスされ得る任意の入手可能な非一時的媒体であってもよい。一例として、これに限定されるものではないが、そのようなコンピュータ可読な記憶媒体としては、読み出し専用メモリ（ＲＯＭ）、電気的消去書込み可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスクを使った読み出し専用メモリ（ＣＤ−ＲＯＭ）もしくは他の光学ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶装置、フラッシュメモリデバイス（例えばソリッドステートメモリデバイス）、または所望のプログラムコードをコンピュータ実行可能命令もしくはデータ構造の形で保持もしくは記憶するために用いられ、かつ汎用もしくは専用コンピュータによってアクセスされ得る他の記憶媒体を含む、非一時的コンピュータ可読記憶媒体が挙げられる。上記の組み合わせもコンピュータ可読記憶媒体の範囲内に含まれてもよい。コンピュータ実行可能命令としては、例えば、図６Ａ〜図６Ｅの方法６００の１つ以上のブロックのような特定の動作または動作の群をプロセッサ５０２に実施させるように構成された命令およびデータが挙げられる。これらのコンピュータ実行可能命令は、例えば、オペレーティングシステム５１０内、ＡＲモジュール５１４のような１つ以上のアプリケーション内、またはそれらのいくつかの組み合わせの中に含まれていてもよい。
通信ユニット５０８は、図１のネットワーク１１０のようなネットワーク上において情報を送信または受信するように構成された任意の構成要素、装置、システム、またはそれらの組み合わせを含み得る。いくつかの実施形態において、通信ユニット５０８は、他の位置にある他の装置、同一の位置にある他の装置、または同一システム内の他の構成要素とさえ通信し得る。例えば、通信ユニット５０８としては、モデム、ネットワークカード（無線または有線）、赤外線通信装置、無線通信装置（アンテナなど）、および／またはチップセット（ブルートゥース装置、８０２．６装置（例えばメトロポリタンエリアネットワーク（ＭＡＮ））、ＷｉＦｉ装置、ＷｉＭａｘ装置、セルラー通信装置など）、および／または同種のものが挙げられる。通信ユニット５０８は、本開示に記載したもののようなネットワークおよび／または他の装置もしくはシステムとデータが交換されることを可能にし得る。
オペレーティングシステム５１０は、コンピュータシステム５００のハードウェアおよびソフトウェア資源を管理するように構成されてもよく、またコンピュータシステム５００に共通サービスを提供するように構成されてもよい。
ユーザインタフェース５１２は、ユーザがコンピュータシステム５００と相互作用することを可能にするように構成された任意の装置を含み得る。例えば、ユーザインタフェース５１２は、映像、テキスト、アプリケーションユーザインタフェース、およびプロセッサ５０２によって指示されるような他のデータを示すように構成されたＬＣＤ、ＬＥＤ、またはＡＲレンズのような他の表示装置などの表示装置を含んでもよい。ユーザインタフェース５１２はさらに、マウス、トラックパッド、キーボード、タッチスクリーン、音量調節器、他のボタン、スピーカ、マイクロホン、カメラ、任意の周辺機器、または他の入力装置もしくは出力装置を含んでいてもよい。ユーザインタフェース５１２は、ユーザから入力を受信し、その入力をプロセッサ５０２に提供し得る。同様に、ユーザインタフェース５１２はユーザに出力を提示し得る。
ＡＲモジュール５１４は、プロセッサ５０２によって実行された場合に図６Ａ〜図６Ｅの方法６００の１つ以上のブロックのような１つ以上の方法を実施するように構成された、メモリ５０４またはファイルシステム５０６のような１つ以上の非一時的コンピュータ可読な媒体上に記憶された１つ以上のコンピュータ可読命令であってもよい。いくつかの実施形態において、ＡＲモジュール５１４は、オペレーティングシステム５１０の一部であってもよいし、またはコンピュータシステム５００のアプリケーションの一部であってもよいし、またはそれらのいくつかの組み合わせであってもよい。
コンピュータシステム５００に対して、本開示の範囲から逸脱することなく、変更、追加または省略がなされてもよい。例えば、コンピュータシステム５００の構成要素５０２〜５１４のうちのいずれも、図５では各々が単一の構成要素として示されているが、共同して機能し、通信可能に接続された複数の類似した構成要素を含んでいてもよい。さらに、コンピュータシステム５００は、単一のコンピュータシステムとして示されているが、例えばクラウドコンピューティング環境、マルチテナンシー環境、または仮想化環境などにおいて、ともにネットワーク化された複数の物理的または仮想コンピュータシステムを含んでもよいことが理解される。
図６Ａ〜図６Ｅは、３Ｄデータにより患者のビューを拡張する例示的な方法のフローチャートである。方法６００は、いくつかの実施形態において、装置またはシステムによって、例えば図１のＡＲヘッドセット１０８上および／またはサーバ１１２上で実行する図５のＡＲモジュール５１４によって、実施され得る。これらおよび他の実施形態において、方法６００は、１つ以上の非一時的コンピュータ可読媒体上に記憶された１つ以上のコンピュータ可読命令に基づいて、１つ以上のプロセッサによって実施され得る。これより方法６００について、図１、図２Ａ〜図２Ｆ、図３、図４Ａ〜図４Ｂ、図５、および図６Ａ〜図６Ｅに関連して説明する。方法６００は、以下ではＡＲヘッドセットによって実施されると記載されているが、方法６００は代わりに別のコンピュータシステムまたはコンピュータシステムの組み合わせによって実施されてもよいことが理解される。
ブロック６０２において、ＡＲヘッドセットは患者の３Ｄデータを特定し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６０２において、患者１０６の３Ｄデータを特定し得る。
いくつかの実施形態において、図１の患者１０６の３Ｄデータは、１つ以上の方法を用いて、患者１０６が環境１００内に存在している間にリアルタイムで、かつ／または患者１０６が環境１００に進入する前のいずれかにおいて捕捉または生成され得る。例えば、３Ｄデータのうちの一部は、患者１０６が環境１００に進入する前に得られてもよく、次にその３Ｄデータは患者１０６が環境１００内に存在している間にリアルタイムで得られる付加的な３Ｄデータによって拡張されてもよい。例えば、患者１０６の３Ｄデータとしては、ＭＲＩ画像、コンピュータ断層撮影（ＣＴ）スキャン画像、Ｘ線画像、陽電子放出断層撮影（ＰＥＴ）画像、超音波画像、蛍光画像、赤外線サーモグラフィ（ＩＲＴ）画像、または単光子放出断層撮影（ＳＰＥＣＴ）スキャン画像、またはそれらのいくつかの組み合わせが挙げられるが、これらに限定されるものではない。これらの画像のいずれも、静止画像の形態であってもよいし、またはビデオ画像の形態であってもよい。例えば、方法６００は、（図１に示したように）患者１０６の骨格系の静止Ｘ線画像を用いてもよい。別の例において、方法６００は、患者１０６の拍動心の超音波のビデオ画像を用いてもよい。別の例において、方法６００は、心臓の静止画像と拍動している心臓のリアルタイムビデオとの間で切り替えることができてもよい。
患者の３Ｄデータは、様々な異なる方法を用いて得られるが、いくつかの実施形態では、患者の外層および患者の複数の内層を含み得る。例えば、図１の患者１０６の外層は、図１の患者１０６の皮膚１０６ａおよび／または患者１０６が着用している衣服１０７を含み得る。別の例では、皮膚が遺体から除去されている場合には、遺体の外層は筋肉または脂肪の層のような皮膚以外の組織層であることがある。患者１０６の内層は、患者１０６の内部の骨１０６ｂ（図１に図示）、筋肉、器官、または流体を含み得るが、これらに限定されるものではない。２Ｄ画像が３Ｄ空間に投影されると２Ｄ画像は３Ｄの意味（３Ｄ ｓｉｇｎｉｆｉｃａｎｃｅ）を有するので、３ＤデータはＸ線画像のような２Ｄ画像を含み得る。例えば、患者１０６の３Ｄデータは、皮膚１０６ａまたは患者１０６の衣服１０７上に投影され得る２ＤのＸ線画像を含んでいてもよい。３Ｄデータはまた時間要素を含んでいてもよく、これは時に４次元（４Ｄ）データと称される。例えば、３Ｄデータは、３Ｄ画像だけでなく、経時的に変化する３Ｄ画像も含むビデオを含んでいてもよい。複数の内層は、患者１０６全体に及ぶ層であってもよいし、患者１０６内に特定の部分的深さだけ及ぶ層であってよい。例えば、ミリ波パッシブ撮像装置（ｍｉｌｌｉｍｅｔｅｒ ｗａｖｅ ｓｃａｎｎｅｒ）から導出された３Ｄデータのようないくつかの形態の３Ｄデータは、単に患者の外衣と皮膚との間に備えられた物を明らかにするように構成されていてもよい。加えて、または代わりに、３Ｄデータは、患者１０６に特定的に対応する代わりに、事前設定解剖アトラスから導出された３Ｄデータのような、単に一般的に患者１０６に対応するデータであってもよい。３Ｄデータはまた様々な種類の３Ｄデータの組み合わせであってもよい。
いくつかの実施形態では、３Ｄデータが捕捉されたときに患者１０６が存在したのと同じ相対位置および／または向きで、図１の患者１０６を手術台１０３上に配置するように注意が払われ得る。代わりに、３Ｄデータが捕捉または生成されたときに患者１０６が存在したのとは異なる手術台１０３上の位置および／または向きに患者１０６が配置されている場合には、ＡＲヘッドセット１０８は、患者１０６の異なる位置および／または向きと一致するように３Ｄデータを変形させ得る。
ブロック６０４において、ＡＲヘッドセットは、３Ｄデータから患者の外層の仮想形態計測測定値を決定し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６０４において、３Ｄデータから患者１０６の外層の仮想形態計測測定値を決定し得る。これらの仮想形態計測測定値の決定は、ＡＲヘッドセット１０８が３Ｄデータから患者の外層の寸法および形状を決定するために３Ｄデータを分析することを含み得る。いくつかの実施形態において、外層の仮想形態計測測定値は、外層の寸法および形状を表す外層の点群を生成することを伴い得る。例えば、外層が三角形または他の多角形形状によって表される場合、点群は多角形状の頂点のうちの一部またはすべてを含み得る。
ブロック６０６では、ＡＲヘッドセットは、３Ｄ空間内における患者の外層のリアルタイム位置を登録し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６０６において、３Ｄ空間１０２内における患者１０６の皮膚１０６ａおよび衣服１０７のリアルタイム位置を登録し得る。いくつかの実施形態において、ＡＲヘッドセット１０８は、３Ｄ空間１０２をマップし、３Ｄ空間１０２内における患者１０６の外層のリアルタイム位置をマップするように構成された１つ以上のセンサを含み得る。これらのセンサとしては、赤外線センサ、サウンドセンサ、撮影センサ（ｐｈｏｔｏｇｒａｐｈｉｃ ｓｅｎｓｏｒｓ）、透視センサ（ｆｌｕｏｒｏｓｃｏｐｙ ｓｅｎｓｏｒｓ）、加速度計、ジャイロスコープまたは磁力計が挙げられるが、これらに限定されるものではない。
ブロック６０８において、ＡＲヘッドセットは、患者の外層のリアルタイム形態計測測定値を決定し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６０８において、患者１０６の皮膚１０６ａおよび衣服１０７のリアルタイム形態計測測定値を決定し得る。いくつかの実施形態において、ブロック６０６における登録に用いられたセンサはまた、患者１０６の皮膚１０６ａおよび衣服１０７のリアルタイムの寸法および形状を決定するためにも用いられ得る。いくつかの実施形態において、これは、患者１０６の皮膚１０６ａおよび衣服１０７の寸法および形状を表す皮膚１０６ａおよび衣服１０７の点群を生成することを含み得る。
ブロック６１０において、ＡＲヘッドセットは、３Ｄデータからの患者の外層の位置を自動的に登録し、登録された３Ｄ空間内における患者の外層のリアルタイム位置と位置合わせし得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６１０において、３Ｄデータからの患者１０６の外層の位置を自動的に登録して、登録された３Ｄ空間１０２内における患者１０６の皮膚１０６ａおよび衣服１０７のリアルタイム位置と位置合わせし得る。いくつかの実施形態において、この自動登録（ａｕｔｏｍａｔｉｃ ｒｅｇｉｓｔｒａｔｉｏｎ）は、点群レジストレーション（ｐｏｉｎｔ ｓｅｔ ｒｅｇｉｓｔｒａｔｉｏｎ）を用いて、ブロック６０４において生成された点群をブロック６０８において生成された点群と自動的に位置合わせすることを含み得る。ブロック６１０の自動登録は、３Ｄデータからの患者の外層を患者のリアルタイム外層と位置合わせする手動の方法よりも時間がかからず、煩雑ではなく、誤りを生じ難いことがある。さらに、いくつかの実施形態において、ブロック６１０は任意の非解剖学的基準を用いることなく実施され得る。これは、時間がかかり、煩雑であり、不正確な非解剖学的基準の配置を回避し得る。
ブロック６１２において、ＡＲヘッドセットは、患者の外層のリアルタイムビュー上に投影された３Ｄデータからの患者の内層のうちの１つを表示し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６１２において、患者１０６の皮膚１０６ａおよび衣服１０７のリアルタイムビュー上に投影された３Ｄデータからの患者１０６の骨１０６ｂを表示し得る。別の例において、患者の脳のＣＴスキャン画像が、図２Ｂおよび図２Ｃでは患者の頭部の頂部上に投影されており、または図２Ｅでは患者の頭部の側面上に投影されている。
ブロック６１４において、ＡＲヘッドセットは自動登録が正しいという信頼度スコアを生成し、ブロック６１６では、ＡＲヘッドセットは信頼度スコアをユーザに提示し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６１４において、ブロック６１２で実施した自動登録が正しいという信頼度スコアを生成し、その信頼度スコアをユーザ１０４に対して、視覚的に、聴覚的に、またはいくつかの他の提示形式で提示し得る。いくつかの実施形態において、ＡＲヘッドセット１０８は、ブロック６１２において実施された点群レジストレーションの一部として、この信頼度スコアを生成してもよい。例えば、信頼度スコアは、３Ｄデータの外層が患者１０６外層と一致する信頼度を示す０％〜１００％の間のスコアであってもよい。信頼度スコアが相対的に高い場合には、ユーザ１０４は、患者１０６上に投影されている３Ｄデータが実際に患者１０６に対応するという自信をもって、ＡＲヘッドセット１０８を用いた患者１０６に対する訓練、研究、診断または治療を進め得る。他方で、信頼度スコアが相対的に低い場合には、患者１０６上に投影されている３Ｄデータが実際に患者１０６に対応するかどうかについて当然の疑問が存在するため、ユーザ１０４は、ＡＲヘッドセット１０８を用いた患者１０６の任意の訓練、研究、診断または治療を中止し得る。
ブロック６１８において、ＡＲヘッドセットは、患者の外層を介して患者に対象物を挿入する前に、対象物のリアルタイム形態計測測定値を決定し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６１８において、患者１０６の外層を介して患者１０６に対象物１１８を挿入する前に、対象物１１８のリアルタイム形態計測測定値を決定し得る。いくつかの実施形態において、ブロック６１８における決定はブロック６０８における決定に類似した方法で実施され得る。他の実施形態において、特に標準的な医療器具のような標準対象物については、ブロック６１８の決定は、標準対象物の設計資料中に見られる標準対象物の形態計測測定値にアクセスすることにより実施されてもよい。
ブロック６２２において、ＡＲヘッドセットは、登録された３Ｄ空間内における患者の外層の位置に対して、および登録された３Ｄデータからの患者の外層の位置に対して、３Ｄ空間内における対象物のリアルタイム位置を追跡し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６２２において、３Ｄ空間１０２内における患者１０６の皮膚１０６ａおよび衣服１０７の登録された位置に対して、および３Ｄデータからの患者１０６の外層の登録された位置に対して、３Ｄ空間１０２内における対象物１１８のリアルタイム位置を追跡し得る。
ブロック６２４において、対象物の一部が患者の外層を介して患者に挿入されている間、ＡＲヘッドセットは、投影された３Ｄデータからの患者の内層内に投影された対象物の仮想部分を表示し得る。例えば、図１の対象物１１８の一部が患者１０６の衣服１０７を介して患者１０６に挿入されている間、ＡＲヘッドセット１０８は、投影された３Ｄデータからの患者１０６の骨１０６ｂに投影された対象物１１８の仮想挿入部１１８ｂを表示し得る。
ブロック６２６において、ＡＲヘッドセットは、患者のリアルタイムビュー上に投影された仮想空間的差異ボックスを表示し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６２６において、患者１０６のリアルタイムビュー上に投影された仮想空間的差異ボックス１１６を表示し得る。いくつかの実施形態において、仮想空間的差異ボックス１１６は、図１の投影された骨１０６ｂのような投影された３Ｄデータからの患者１０６の内層を所定体積の仮想空間的差異ボックス１１６内に限定し得る。
ブロック６２８において、ＡＲヘッドセットは、投影された３Ｄデータからの患者の内層の表示を変更するための選択肢を含む仮想ユーザインタフェースを生成し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６２８で、投影された３Ｄデータからの患者１０６の骨１０６ｂの表示を変更するための選択肢を含む仮想ユーザインタフェース１１４を生成し得る。
ブロック６３０において、ＡＲヘッドセットは、ＡＲヘッドセットの焦点の向きが患者にフォーカスしていない間に、リアルタイムビュー上に投影された仮想ユーザインタフェースを表示し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６３０で、ＡＲヘッドセット１０８の焦点の向きが患者１０６にフォーカスしていない間に、リアルタイムビュー上に投影された仮想ユーザインタフェース１１４を表示し得る。
ブロック６３２において、ＡＲヘッドセットは、ＡＲヘッドセットの焦点の向きが患者にフォーカスしている間に、仮想ユーザインタフェースを非表示にし得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６３２で、ＡＲヘッドセット１０８の焦点の向き１２０が患者１０６にフォーカスしている間に、仮想ユーザインタフェース１１４を非表示にし得る。いくつかの実施形態において、ブロック６３０およびブロック６３２は、仮想ユーザインタフェース１１４が患者１０６の任意のビューを遮ることを回避し得る。
ブロック６３４において、ＡＲヘッドセットは、ＡＲヘッドセットから患者までのリアルタイム距離を決定し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６３４で、ヘッドセット１０８から患者１０６までのリアルタイム距離Ｄ１を決定し得る。このリアルタイム距離Ｄ１は、例えば、患者１０６の中心まで、患者１０６の焦点領域の中心まで、患者１０６上で現在観察されている３Ｄデータのスライスまで、または患者１０６上の他のいくつかの点または全般領域までのリアルタイム距離であり得る。
ブロック６３６において、ＡＲヘッドセットは、仮想ユーザインタフェースがＡＲヘッドセットから患者までのリアルタイム距離にほぼ等しいＡＲヘッドセットからの焦点距離に常に配置されるようにするために、仮想ユーザインタフェースの表示をリアルタイムで更新し得る。例えば、図１のＡＲヘッドセット１０８は、仮想ユーザインタフェース１１４がＡＲヘッドセット１０８から患者１０６までのリアルタイム距離Ｄ１にほぼ等しいＡＲヘッドセット１０８からの焦点距離Ｄ２に常に配置されるようにするために、仮想ユーザインタフェース１１４の表示をリアルタイムで更新し得る。この焦点距離Ｄ２は、ユーザ１０４が患者１０６と仮想ユーザインタフェース１１４との間でユーザの焦点を移すときにユーザの眼の焦点を変更しなければならないことを回避し得るので、ユーザ１０４にとって快適であり得る。
ブロック６３８において、ＡＲヘッドセットは、仮想ユーザインタフェースがＡＲヘッドセットの焦点の向きに常に直交して配向されるようにするために、仮想ユーザインタフェースの表示をリアルタイムで更新し得る。例えば、図１のＡＲヘッドセット１０８は、仮想ユーザインタフェース１１４がＡＲヘッドセット１０８の焦点の向き１２０に常に直交して配向されるようにするために、仮想ユーザインタフェース１１４の表示をリアルタイムで更新し得る。仮想ユーザインタフェース１１４がＡＲヘッドセット１０８より上方に配置されている場合には、図１に開示するように、仮想ユーザインタフェース１１４をＡＲヘッドセット１０８に直交させて配向することにより、仮想ユーザインタフェース１１４の頂部は図１に開示するようにＡＲヘッドセット１０８に向かって若干下方に傾けられ得る。この配向は、ＡＲヘッドセット１０８の現在の焦点の向き１２０に関わらず、またユーザ１０４が３Ｄ空間１０２内のどこに立っているかに関わらず、仮想ユーザインタフェース１１４を常にユーザ１０４に対して正面に対面させるので、ユーザ１０４にとって快適であり得る。
ブロック６４０において、ＡＲヘッドセットは、ＡＲヘッドセットの焦点の向きが患者にフォーカスしていない間に、リアルタイムビュー上および／または仮想ユーザインタフェース上に投影される仮想カーソルを表示し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６４０で、ＡＲヘッドセット１０８の焦点の向きが患者１０６にフォーカスしていない間に、リアルタイムビュー上および／またはユーザインタフェース１１４上に投影される仮想カーソル１２２を表示し得る。
ブロック６４２において、ＡＲヘッドセットは、ＡＲヘッドセットの焦点の向きが患者にフォーカスしている間に、仮想カーソルを非表示にし得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６４２で、ＡＲヘッドセット１０８の焦点の向き１２０が患者１０６にフォーカスしている間に、仮想カーソル１２２を非表示にし得る。いくつかの実施形態において、ブロック６４０，６４２は、仮想カーソル１２２が患者１０６の任意のビューを遮ることを回避し得る。いくつかの実施形態において、図１のＡＲヘッドセット１０８は、ブロック６４２で、ＡＲヘッドセット１０８の焦点の向き１２０が患者１０６にフォーカスしている間に、仮想カーソル１２２を選択的にのみ非表示にし得る。これらの実施形態において、ＡＲヘッドセット１０８の焦点の向き１２０が患者１０６にフォーカスしている間にユーザ１０４が仮想カーソル１２２の使用を所望し得る状況、例えば、ユーザ１０４が、患者１０６のビューに注釈を付けるため、および／または投影された３Ｄデータに注釈を付けるためにアノテーションツール（ａｎｎｏｔａｔｉｏｎ ｔｏｏｌ）を用いている場合（例えば手術中に目的の位置を追跡し続けるのを支援するために、他の３Ｄデータが非表示にされている場合であっても患者１０６上に投影されたままとなり得る、例えば十字線注釈）、またはユーザ１０４が患者１０６のビューの測定を行うため、および／または投影された３Ｄデータを測定するために測定ツールを用いている場合などが存在することがある。
いくつかの実施形態において、方法６００は、患者の３Ｄデータと実際の患者との間の自動位置合わせ（ａｕｔｏｍａｔｉｃ ａｌｉｇｎｍｅｎｔ）を行ってもよい。さらに、この自動位置合わせは、非解剖学的基準を手動で位置合わせおよび／または手動で配置することなく行われ、よって従来型の手動位置合わせよりも容易かつ正確に自動位置合わせを成し遂げ得る。
方法６００のブロックは図６Ａ〜図６Ｅでは個別のブロックとして示されているが、様々なブロックは、所望の実施に応じて、付加的なブロックに分割されてもよく、より少数のブロックに組み合わせられてもよく、並べ替えられてもよく、拡張されてもよく、または排除されてもよい。例えば、いくつかの実施形態では、ブロック６０２〜６１２は、ブロック６１４〜６４２のうちの任意のものを実施することなく、実施されてもよい。さらに、いくつかの実施形態において、ブロック６１４〜６１６、ブロック６１８〜６２４、ブロック６２６、またはブロック６２８〜６４２のうちの任意のものに関連して、患者と３Ｄデータとの間の登録および位置合わせが自動的にではなく手動で実施される場合のように、ブロック６０４〜６１０を伴うことなく、ブロック６０２，６１２のみが実施されてもよい。さらに、いくつかの実施形態において、ブロック６２８〜６３２はブロック６３４〜６４２を伴うことなく実施されてもよい。また、いくつかの実施形態において、ブロック６２８〜６３６はブロック６３８〜６４２を伴うことなく実施されてもよく、ブロック６２８〜６３２およびブロック６３８はブロック６３４〜６３６およびブロック６４０〜６４２を伴うことなく実施されてもよく、またはブロック６２８〜６３２およびブロック６４０〜６４２はブロック６３４〜６３８を伴うことなく実施されてもよい。さらに、いくつかの実施形態において、ブロック６１４〜６４２のうちの任意のものが並行して実施されてもよい。
別の例において、方法６００はさらに、患者が手術用覆布に覆われる前後のいずれかにおいて自動登録の問題に対処することを含んでいてもよい。例えば、ブロック６１０は患者を手術用覆布内に覆う前に実施されてもよく、次いでブロック６１２において３Ｄデータが手術用覆布上に投影されてもよい。しかしながら、患者が手術用覆布内に覆われた後にブロック６１０が実施される場合には、方法６００は、患者の適切な外層を不明瞭にする手術用覆布の問題に対処するように変更され得る。方法６００に対するそのような変更の１つは、ＡＲヘッドセットが手術用覆布を見通す（ｐｅｎｅｔｒａｔｅ）ことができ、患者のより適切な外層を見つけることができるほど十分に透明な手術用覆布を用いることを含み得る。別のそのような変更は、手術用覆布で覆った後でも見え続け、かつブロック６１２中に気付くことができる位置に（例えば特定パターンで）患者の外層上に視覚的マーカを配置することを含み得る。その場合には、患者の大部分が比較的不透明な手術用覆布内に覆われている場合であっても、視覚的マーカが依然として目に見える限り、基準点として視覚的マーカを用いて自動再登録（ａｕｔｏｍａｔｉｃ ｒｅ−ｒｅｇｉｓｔｒａｔｉｏｎ）を実施することができる。別のそのような変更は、視覚外マーカ（ｅｘｔｒａ−ｖｉｓｕａｌ ｍａｒｋｅｒｓ）を外層上もしくは患者上、あるいは患者の内部において、手術用覆布で覆った後には見え続けないが、それらのマーカがブロック６１２中には見えるため、またはそれらのマーカがブロック６１２中にセンサによって感知されるために、ブロック６１２中に気付くことができる位置に（例えば特定パターンで）配置することを含む。これらの視覚外マーカは、たとえ視覚外マーカがＡＲヘッドセットに対して見えなくても、ＡＲヘッドセット内のセンサによって手術用覆布下において検知することができる材料から製造され得る。例えば、金属検知器センサが金属視覚外マーカ（例えば皮下または体腔内に挿入された金属メッシュマーカまたは金属マーカなど）を検知してもよいし、赤外線センサが赤外線検知可能な視覚外マーカを検知してもよいし、磁気検出器センサが磁界発生視覚外マーカを検知してもよいし、またはラジオ周波検出器がラジオ周波発生視覚外マーカを検知してもよい。その場合には、患者の大部分が比較的不透明な手術用覆布中に覆われている場合であっても、ＡＲヘッドセット内のセンサが手術用覆布下の視覚外マーカの位置を検知することができる限り、基準点として視覚外マーカを用いて自動再登録を実施することができる。
さらに、方法６００は、ＡＲシステム自体の機能を向上し、またＡＲの分野を改善し得ることが理解される。例えば、図１のＡＲヘッドセット１０８の機能は、それ自体、方法６００により、仮想形態計測測定値を用いて、かつリアルタイム形態計測測定値を用いて、また一部の場合には任意の非解剖学的基準を用いることなく、３Ｄデータからの患者１０６の外層の仮想位置を、登録された３Ｄ空間１０２内における患者１０６の外層（例えば皮膚１０６ａおよび衣服１０７）のリアルタイム位置と位置合わせするために、自動的に登録することによって向上され得る。この自動登録は、手動登録または非解剖学的基準の手動配置を用いた登録を使用する従来のＡＲシステムよりも容易かつ正確に実施され得る。
上記に示したように、本願に記載する実施形態は、以下でより詳細に検討するような様々なコンピュータハードウェアまたはソフトウェアモジュールを含む専用または汎用コンピュータ（例えば図５のプロセッサ５０２）の使用を含み得る。さらに上記に示したように、本願に記載する実施形態は、記憶されたコンピュータ実行可能命令またはデータ構造を保持するか、または有するためのコンピュータ可読媒体（例えば図５のメモリ５０４またはファイルシステム５０６）を用いて実施されてもよい。
いくつかの実施形態において、本願に記載する異なる構成要素およびモジュールは、コンピューティングシステム上で実行するオブジェクトまたはプロセスとして（例えば別々のスレッドとして）実施されてもよい。本願に記載する方法のうちのいくつかは、概して、（汎用ハードウェア上に記憶され、かつ／またはた汎用ハードウェアによって実行される）ソフトウェア内において実施されると記載されているが、特定ハードウェア実施またはソフトウェア実施と特定ハードウェア実施との組み合わせも可能であり、企図される。
慣例に従って、図面に示した様々な特徴は、一定の縮尺で描かれていない場合がある。本開示に示した実例は、任意の特定の装置（例えば装置、システムなど）または方法の実景であることを意図するものではなく、しかしながら単に本開示の様々な実施形態を説明するために用いられている表現の例にすぎない。従って、様々な特徴の寸法は、明瞭にするために任意で拡大または縮小されていることがある。加えて、図面のうちのいくつかは明瞭にするために単純化されていることがある。よって、図面は、所与の装置（例えばデバイス）の構成要素のすべて、または特定の方法のすべての操作を示しているとは限らない。
本願および特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）において使用される用語は、一般に「オープン」タームとして意図される（例えば「〜を含む（ｉｎｃｌｕｄｉｎｇ）」という語は「〜を含むが、これ（ら）に限定されるものではない（ｉｎｃｌｕｄｉｎｇ， ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきであり、「〜を有する（ｈａｖｉｎｇ）」という語は「〜を少なくとも有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」と解釈されるべきであり、「〜を含む（ｉｎｃｌｕｄｅｓ）」という語は「〜を含むが、これ（ら）に限定されるものではない（ｉｎｃｌｕｄｅｓ， ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきである、など）。
更に、導入された請求項の記載事項において特定の数が意図される場合には、そのような意図は当該請求項中に明示的に記載されており、またそのような記載がない場合には、そのような意図は存在しない。例えば、理解を助けるものとして、以下の添付の特許請求の範囲は請求項の記載を導入するために「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」および「１つ以上の（ｏｎｅ ｏｒ ｍｏｒｅ）」という導入句の使用を含むことがある。しかしながら、そのような句の使用は、「ａ」または「ａｎ」という不定冠詞による請求項の記載事項の導入が、たとえ同一の請求項内に「１つ以上の」または「少なくとも１つの」という導入句と「ａ」または「ａｎ」のような不定冠詞とが含まれる場合であっても、そのように導入された請求項の記載事項を含むいかなる特定の請求項も、そのような記載事項を１つしか含まない実施形態に限定されることを意味すると解釈されるべきではない（例えば、「ａ」および／または「ａｎ」は「少なくとも１つの」または「１つ以上の」を意味するものと解釈されるべきである）。請求項の記載事項を導入するために用いられる定冠詞の使用についても同様のことが当てはまる。
加えて、導入された請求項の記載事項において特定の数が明示的に記載されている場合であっても、そのような記載は、少なくとも記載された数を意味するものと解釈されるべきであることが理解される（例えば、他に修飾語のない「２つの記載事項」という単なる記載は、少なくとも２つの記載事項、または２つ以上の記載事項を意味する）。更に、「Ａ、Ｂ、およびＣなどのうちの少なくとも１つ」または「Ａ、Ｂ、およびＣなどのうちの１つ以上」に類する表現が用いられる場合、一般に、そのような構文は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢの両方、ＡおよびＣの両方、ＢおよびＣの両方、および／またはＡ、ＢおよびＣのすべて、などを含むことが意図される。例えば、「および／または」という用語の使用は、このように解釈されることが意図される。
更に、２つ以上の選択的な用語を表す任意の離接語および／または離接句は、要約書、詳細な説明、特許請求の範囲、または図面のいずれの中であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、またはそれらの用語の双方を含む可能性を意図すると理解されるべきである。例えば、「ＡまたはＢ」という句は、「Ａ」もしくは「Ｂ」、または「ＡおよびＢ」の可能性を含むものと理解されるべきである。
加えて、「第１」、「第２」、「第３」などの用語の使用は、本願では、必ずしも要素の特定の順位または数を意味するために用いられているとは限らない。一般に、「第１」、「第２」、「第３」などの用語は、共通識別子として異なる要素を区別するために用いられる。「第１」、「第２」、「第３」などの用語が特定の順序を意味することが示されていない場合には、これらの用語は特定の順序を意味すると理解されるべきではない。更に、「第１」「第２」、「第３」などの用語が要素の特定の数を意味することが示されていない場合、これらの用語は要素の特定の数を意味すると理解されるべきではない。例えば、第１部品は第１側面を有すると記載され、かつ第２部品は第２側面を有すると記載されてもよい。第２部品に関して「第２側面」という用語を使用するのは、第２部品のそのような側面を第１部品の「第１側面」と区別するためであり、第２部品が２つの側面を有することを示すためではない。
説明を目的とした前記の記載は、特定の実施形態に関連して記載されている。しかしながら、上記の例示的な検討が、網羅的であること、または本発明を開示されたまさにその形態に権利要求されるように限定することは意図されていない。上記の教示を考慮して、多くの変更および変形例が可能である。実施形態は実際の応用について説明するために選択され記載されており、それにより他の当業者が企図される特定の用途に適し得るような様々な変更を伴った請求項に記載の本発明および様々な実施形態を用いることが可能となる。

Claims (27)

  1. 三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
    患者のリアルタイム３Ｄビデオデータをリアルタイムで捕捉することと、前記リアルタイム３Ｄビデオデータは患者の外層および患者の複数の内層を含むことと、
    拡張現実（ＡＲ）ヘッドセットにおいて、リアルタイムで、前記患者の外層のリアルタイム非画像実景上に投影された前記リアルタイム３Ｄビデオデータからの前記患者の内層のうちの１つを表示することとを含む、方法。
  2. 投影された前記リアルタイム３Ｄビデオデータの内層は、前記患者の外層内で活動している内臓を示す、請求項１に記載の方法。
  3. 実行時に請求項１に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
  4. 三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
    患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
    前記患者の３Ｄデータが捕捉されたときに前記患者が存在したのとは異なる位置に前記患者を配置することと、
    前記３Ｄデータを前記患者の異なる位置に合致するように変形させることと、
    拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記変形された３Ｄデータからの前記患者の内層のうちの１つを表示することとを含む、方法。
  5. 前記配置することは、前記患者の３Ｄデータが捕捉されたときに前記患者が存在したのとは異なる向きに前記患者を配置することを含み、
    前記変形させることは、前記３Ｄデータを前記患者の異なる向きに合致するように変形させることを含む、請求項４に記載の方法。
  6. 実行時に請求項４に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
  7. 三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
    患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、前記患者の複数の内層は元の色勾配を有することと、
    前記患者の外層のリアルタイム非画像実景上に投影された場合により良好に見えるようにするために、前記複数の内層の色勾配を前記元の色勾配よりも明るくなるように変更することと、
    拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、前記投影された前記３Ｄデータからの患者の内層は変更された色勾配を有することとを含む、方法。
  8. 前記変更された色勾配は、前記患者の複数の内層の組織特性を表しており、前記組織特性は、組織硬度、緩和度、エコー輝度、エンハンスメント量、エンハンスメント速度、密度、放射活性および水分含量のうちの１つ以上を含む、請求項７に記載の方法。
  9. 実行時に請求項７に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
  10. 三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
    患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
    拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、前記投影された前記３Ｄデータからの患者の内層は所定体積の仮想空間的差異ボックス内に限定されていることとを含む、方法。
  11. 前記仮想空間的差異ボックスは、頂面、底面、左側面、右側面、前面および後面を備える、請求項１０に記載の方法。
  12. 実行時に請求項１０に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
  13. 三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
    患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
    前記３Ｄデータからの患者の外層の仮想位置を自動的に登録して、前記患者の外層のリアルタイム位置と位置合わせすることと、
    拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、
    前記自動登録が正しいという数値的信頼度スコアを生成することと、
    前記ＡＲヘッドセットにおいて、前記数値的信頼度スコアをユーザに対して表示することとを含む、方法。
  14. 前記数値的信頼度スコアは、前記３Ｄデータの外層が前記患者の外層に合致する信頼度を示す１〜１００の数字である、請求項１３に記載の方法。
  15. 実行時に請求項１３に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
  16. 三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
    患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
    拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、
    前記患者の外層のリアルタイム位置に対する対象物のリアルタイム位置を自動的に追跡することと、
    前記対象物の一部が前記患者の外層を介して患者に挿入されている間に、前記ＡＲヘッドセットにおいて、前記投影された患者の内層に投影された前記対象物の仮想部分を表示することとを含む、方法。
  17. 前記対象物は、前記対象物が前記患者の外層を介して前記患者内に挿入された後であっても前記ＡＲヘッドセットのセンサが感知することができる材料から形成されており、
    前記自動的に追跡することは、前記ＡＲヘッドセットのセンサが前記患者の外層のリアルタイム位置に対する前記対象物のリアルタイム位置を自動的に追跡することを含む、請求項１６に記載の方法。
  18. 実行時に請求項１６に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
  19. 三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
    患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
    拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、
    前記ＡＲヘッドセットにおいて、前記投影された前記３Ｄデータからの患者の内層の表示を変更するための選択肢を含む仮想カーソルおよび／または仮想ユーザインタフェースを生成することと、
    前記ＡＲヘッドセットの焦点の向きが前記患者以外の他の場所にフォーカスしていると判定された場合には、前記ＡＲヘッドセットにおいて、リアルタイム非画像実景上に投影された前記仮想カーソルおよび／または仮想ユーザインタフェースを表示することと、
    前記ＡＲヘッドセットの焦点の向きが患者にフォーカスしていると判定された場合には、前記ＡＲヘッドセットにおいて、前記仮想カーソルおよび／または仮想ユーザインタフェースを非表示にすることとを含む、方法。
  20. 前記ＡＲヘッドセットが水平よりも上方にある場合には、前記ＡＲヘッドセットの焦点の向きは前記患者以外の他の場所にフォーカスしていると判定され、かつ
    前記ＡＲヘッドセットが水平よりも下方にある場合には、前記ＡＲヘッドセットの焦点の向きは前記患者上にフォーカスしていると判定される、請求項１９に記載の方法。
  21. 実行時に請求項１９に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
  22. 三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
    患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
    拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、
    前記ＡＲヘッドセットにおいて、前記投影された前記３Ｄデータからの患者の内層の表示を変更するための選択肢を含む仮想ユーザインタフェースを生成することと、
    前記ＡＲヘッドセットにおいて、リアルタイム非画像実景上に投影された前記仮想ユーザインタフェースを表示することと、
    リアルタイムで、前記ＡＲヘッドセットから前記患者までの距離を決定することと、
    前記仮想ユーザインタフェースが前記ＡＲヘッドセットから前記患者までのリアルタイム距離にほぼ等しい前記ＡＲヘッドセットからの焦点距離に常に配置されるようにするために、前記ＡＲヘッドセットにおいて前記仮想ユーザインタフェースの表示をリアルタイムで更新することとを含む、方法。
  23. 前記ＡＲヘッドセットから前記患者までのリアルタイム距離は、前記患者の中心まで、前記患者の焦点領域の中心まで、または前記患者上において現在観察されている３Ｄデータのスライスまでのリアルタイム距離である、請求項２２に記載の方法。
  24. 実行時に請求項２２に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
  25. 三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
    患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
    拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、
    前記ＡＲヘッドセットにおいて、前記投影された前記３Ｄデータからの患者の内層の表示を変更するための選択肢を含む仮想ユーザインタフェースを生成することと、
    前記ＡＲヘッドセットにおいて、リアルタイム非画像実景上に投影された前記仮想ユーザインタフェースを表示することと、
    前記仮想ユーザインタフェースが常に前記ＡＲヘッドセットの焦点の向きに直交して配向されるようにするために、前記ＡＲヘッドセットにおいて前記仮想ユーザインタフェースの表示をリアルタイムで更新することを含む、方法。
  26. 前記ＡＲヘッドセットの焦点の向きに対する前記仮想ユーザインタフェースの直交した配向は、前記ユーザが前記患者の方に向いているか、または前記患者から離反した方に向いているときでも、前記ＡＲヘッドセットの現在の焦点の向きにかかわらず、前記仮想ユーザインタフェースを常に前記ＡＲヘッドセットを装着しているユーザに対して正面に対面させる、請求項２５に記載の方法。
  27. 実行時に請求項２５に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
JP2020503249A 2017-03-30 2018-03-16 三次元データによる患者のリアルタイムビューの拡張 Pending JP2020516003A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/474,702 US9892564B1 (en) 2017-03-30 2017-03-30 Augmenting real-time views of a patient with three-dimensional data
US15/474,702 2017-03-30
US15/894,595 US10475244B2 (en) 2017-03-30 2018-02-12 Augmenting real-time views of a patient with three-dimensional data
US15/894,595 2018-02-12
PCT/US2018/022921 WO2018183001A1 (en) 2017-03-30 2018-03-16 Augmenting real-time views of a patent with three-dimensional data

Publications (1)

Publication Number Publication Date
JP2020516003A true JP2020516003A (ja) 2020-05-28

Family

ID=61147999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020503249A Pending JP2020516003A (ja) 2017-03-30 2018-03-16 三次元データによる患者のリアルタイムビューの拡張

Country Status (6)

Country Link
US (5) US9892564B1 (ja)
EP (1) EP3602180A4 (ja)
JP (1) JP2020516003A (ja)
KR (1) KR102327527B1 (ja)
CN (1) CN110494921B (ja)
WO (1) WO2018183001A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021523784A (ja) * 2018-05-14 2021-09-09 ノバラッド コーポレイションＮｏｖａｒａｄ Ｃｏｒｐｏｒａｔｉｏｎ 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ
US11481987B2 (en) 2017-03-30 2022-10-25 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
JP2022552459A (ja) * 2019-10-24 2022-12-16 ジョナサン・ロス・ヴァンフーザー Ｘ線検査用位置決め誘導システム

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
WO2018052966A1 (en) * 2016-09-16 2018-03-22 Zimmer, Inc. Augmented reality surgical technique guidance
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US10412377B2 (en) * 2017-01-11 2019-09-10 Koninklijke Philips N.V. Augmented display device for use in a medical imaging laboratory
US20180247712A1 (en) 2017-02-24 2018-08-30 Masimo Corporation System for displaying medical monitoring data
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
US11103311B2 (en) 2017-03-10 2021-08-31 Biomet Manufacturing, Llc Augmented reality supported knee surgery
WO2018169891A1 (en) 2017-03-13 2018-09-20 Zimmer, Inc. Augmented reality diagnosis guidance
KR102559598B1 (ko) 2017-05-08 2023-07-25 마시모 코오퍼레이션 동글을 이용하여 의료 시스템을 네트워크 제어기에 페어링하기 위한 시스템
WO2018206086A1 (en) * 2017-05-09 2018-11-15 Brainlab Ag Generation of augmented reality image of a medical device
EP3621548A1 (en) * 2017-06-08 2020-03-18 Medos International Sàrl User interface systems for sterile fields and other working environments
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
US11861898B2 (en) * 2017-10-23 2024-01-02 Koninklijke Philips N.V. Self-expanding augmented reality-based service instructions library
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
WO2020025110A1 (en) * 2018-07-31 2020-02-06 Brainlab Ag Medical imaging apparatus providing artificial reality support
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11696791B2 (en) 2018-09-07 2023-07-11 Cilag Gmbh International Surgical instrument utilizing drive signal to power secondary function
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US20200078071A1 (en) 2018-09-07 2020-03-12 Ethicon Llc Instrument tracking arrangement based on real time clock information
US11191609B2 (en) * 2018-10-08 2021-12-07 The University Of Wyoming Augmented reality based real-time ultrasonography image rendering for surgical assistance
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11139071B2 (en) 2018-12-31 2021-10-05 Cerner Innovation, Inc. Virtual augmentation of clinical care environments
US11532132B2 (en) * 2019-03-08 2022-12-20 Mubayiwa Cornelious MUSARA Adaptive interactive medical training program with virtual patients
US11218822B2 (en) 2019-03-29 2022-01-04 Cilag Gmbh International Audio tone construction for an energy module of a modular energy system
WO2020210972A1 (zh) * 2019-04-16 2020-10-22 孙永年 手术用穿戴式影像显示装置及手术资讯即时呈现系统
EP3726834A1 (en) * 2019-04-17 2020-10-21 Medneo GmbH Telepresence system and method
DE102020001882A1 (de) * 2019-04-26 2020-11-12 Mitutoyo Corporation Visualisierungsvorrichtung und Programm
KR20220048973A (ko) 2019-05-29 2022-04-20 스티븐 비. 머피 수술에서 증강 현실을 이용하기 위한 시스템들 및 방법들
ES2908588T3 (es) * 2019-09-09 2022-05-03 apoQlar GmbH Método para controlar una pantalla de presentación visual, programa informático y dispositivo de presentación visual de realidad mixta
EP4069074A4 (en) * 2019-12-03 2023-12-06 Mediview XR, Inc. HOLOGRAPHIC AUGMENTED REALITY ULTRASONIC NEEDLE GUIDE FOR INSERTION IN PERCUTANEOUS SURGICAL PROCEDURES
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11564767B2 (en) 2020-04-22 2023-01-31 Warsaw Orthopedic, Inc. Clinical diagnosis and treatment planning system and methods of use
US11832883B2 (en) 2020-04-23 2023-12-05 Johnson & Johnson Surgical Vision, Inc. Using real-time images for augmented-reality visualization of an ophthalmology surgical tool
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
CN115697233A (zh) * 2020-05-29 2023-02-03 柯惠Lp公司 用于通过外科机器人系统对3d可视化进行集成控制的系统和方法
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US11571225B2 (en) 2020-08-17 2023-02-07 Russell Todd Nevins System and method for location determination using movement between optical labels and a 3D spatial mapping camera
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
CN112076400A (zh) * 2020-10-15 2020-12-15 上海市肺科医院 一种重复定位方法及系统
CN112635073B (zh) * 2020-12-18 2022-02-08 四川省疾病预防控制中心 一种密切接触者排查方法、装置、计算机设备及存储介质
US11289196B1 (en) 2021-01-12 2022-03-29 Emed Labs, Llc Health testing and diagnostics platform
CN113057604A (zh) * 2021-02-04 2021-07-02 应急管理部上海消防研究所 一种埋压人员救援平台
US11164391B1 (en) 2021-02-12 2021-11-02 Optum Technology, Inc. Mixed reality object detection
US11210793B1 (en) 2021-02-12 2021-12-28 Optum Technology, Inc. Mixed reality object detection
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US20220331008A1 (en) 2021-04-02 2022-10-20 Russell Todd Nevins System and method for location determination using movement of an optical label fixed to a bone using a spatial mapping camera
US20220331053A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International Intraoperative display for surgical systems
WO2022225132A1 (ko) * 2021-04-22 2022-10-27 서울대학교병원 랜드마크를 이용한 증강현실 기반의 의료정보 시각화 시스템 및 그 방법
US11369454B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
GB2623461A (en) 2021-06-22 2024-04-17 Emed Labs Llc Systems, methods, and devices for non-human readable diagnostic tests
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2023021450A1 (en) * 2021-08-18 2023-02-23 Augmedics Ltd. Stereoscopic display and digital loupe for augmented-reality near-eye display
US11600053B1 (en) 2021-10-04 2023-03-07 Russell Todd Nevins System and method for location determination using a mixed reality device and multiple imaging cameras

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178554A (ja) * 2002-09-30 2004-06-24 Canon Inc 映像合成装置及び映像合成方法
JP2005500096A (ja) * 2001-06-13 2005-01-06 ヴォリューム・インタラクションズ・プライヴェート・リミテッド ガイドシステム
WO2009116663A1 (ja) * 2008-03-21 2009-09-24 Takahashi Atsushi 三次元デジタル拡大鏡手術支援システム
WO2011010644A1 (ja) * 2009-07-24 2011-01-27 株式会社 日立メディコ 医用画像表示装置及び医用画像表示方法
JP2015019678A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
US20160225192A1 (en) * 2015-02-03 2016-08-04 Thales USA, Inc. Surgeon head-mounted display apparatuses

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010055748A1 (en) * 2000-05-15 2001-12-27 Bailey Bradford E. System for training persons to perform minimally invasive surgical procedures
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
EP1356413A2 (en) * 2000-10-05 2003-10-29 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
FR2852226B1 (fr) * 2003-03-10 2005-07-15 Univ Grenoble 1 Instrument medical localise a ecran orientable
DE10315242B4 (de) * 2003-04-03 2006-02-23 Siemens Ag Verfahren und Vorrichtung zur realitätsnahen dreidimensionalen Bildgebung
CN1957373A (zh) * 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航系统的精度评估
US20050285844A1 (en) * 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method
US7376903B2 (en) * 2004-06-29 2008-05-20 Ge Medical Systems Information Technologies 3D display system and method
CN101170961A (zh) * 2005-03-11 2008-04-30 布拉科成像S.P.A.公司 利用显微镜的用于外科手术导航及可视化的方法及设备
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US8384771B1 (en) * 2006-12-28 2013-02-26 David Byron Douglas Method and apparatus for three dimensional viewing of images
US9473766B2 (en) * 2006-12-28 2016-10-18 David Byron Douglas Method and apparatus for three dimensional viewing of images
JP2010525444A (ja) * 2007-04-18 2010-07-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療患者に対して私的な逸話を与える装置及び方法
EP2165215B1 (de) * 2007-05-24 2014-05-07 SurgicEye GmbH Bilderzeugungsapparat und -methode zur nuklearbildgebung
WO2009094646A2 (en) * 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
EP2153794B1 (en) * 2008-08-15 2016-11-09 Stryker European Holdings I, LLC System for and method of visualizing an interior of a body
EP2179703B1 (de) * 2008-10-21 2012-03-28 BrainLAB AG Integration von chirurgischem Instrument und Anzeigevorrichtung zur Unterstützung der bildgeführten Chirurgie
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US8819591B2 (en) * 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
US9524579B2 (en) * 2010-04-15 2016-12-20 Roger Lin Orientating an oblique plane in a 3D representation
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
CN103118600B (zh) * 2010-09-21 2015-04-22 株式会社日立医疗器械 超声波诊断装置以及超声波图像的显示方法
US8657809B2 (en) 2010-09-29 2014-02-25 Stryker Leibinger Gmbh & Co., Kg Surgical navigation system
EP2452649A1 (en) * 2010-11-12 2012-05-16 Deutsches Krebsforschungszentrum Stiftung des Öffentlichen Rechts Visualization of anatomical data by augmented reality
JP5984235B2 (ja) * 2011-07-19 2016-09-06 東芝メディカルシステムズ株式会社 画像処理システム、装置、方法及び医用画像診断装置
US8670816B2 (en) * 2012-01-30 2014-03-11 Inneroptic Technology, Inc. Multiple medical device guidance
CN103445863B (zh) * 2012-06-02 2015-10-07 复旦大学 基于平板电脑的手术导航和增强现实系统
JP6239529B2 (ja) * 2012-12-06 2017-11-29 株式会社日立製作所 超音波診断装置及び超音波画像表示方法
DE102012025374A1 (de) 2012-12-27 2014-07-17 Mehran Mahvash Mohammadi Augmented-Reality-System (Erweiterte Realität) durch direkte Bildprojektion für computergestützte und bildgeführte Neurochirurgie
US20140222462A1 (en) * 2013-02-07 2014-08-07 Ian Shakil System and Method for Augmenting Healthcare Provider Performance
EP2961325A2 (en) * 2013-02-26 2016-01-06 Butterfly Network Inc. Transmissive imaging and related apparatus and methods
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US20140276001A1 (en) * 2013-03-15 2014-09-18 Queen's University At Kingston Device and Method for Image-Guided Surgery
US8922589B2 (en) * 2013-04-07 2014-12-30 Laor Consulting Llc Augmented reality apparatus
US11020016B2 (en) * 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
EP3022672A2 (en) * 2013-07-16 2016-05-25 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
EP3035884B1 (en) * 2013-08-13 2022-11-23 Regents of the University of Minnesota Computer visualization of anatomical items
EP3046518A4 (en) * 2013-09-18 2017-07-05 Richard Awdeh Surgical navigation system and method
KR20150074348A (ko) * 2013-12-24 2015-07-02 삼성전자주식회사 디스플레이 장치 및 이를 이용한 영상표시방법
US9743896B2 (en) * 2014-01-06 2017-08-29 Body Vision Medical Surgical devices and methods of use thereof
CN109893098A (zh) * 2014-01-29 2019-06-18 贝克顿·迪金森公司 用于介入式设备的插入期间增强可视化的可佩戴电子设备
US9606584B1 (en) * 2014-07-01 2017-03-28 D.R. Systems, Inc. Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using hand gestures
FR3027506B1 (fr) * 2014-10-27 2021-12-17 H 42 Procede de controle de la dentition
GB201501157D0 (en) * 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9538962B1 (en) * 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
US10111658B2 (en) * 2015-02-12 2018-10-30 Covidien Lp Display screens for medical devices
WO2016133847A1 (en) * 2015-02-16 2016-08-25 Dimensions And Shapes, Llc Systems and methods for medical visualization
US10908681B2 (en) * 2015-02-20 2021-02-02 Covidien Lp Operating room and surgical site awareness
EP3280344A2 (en) * 2015-04-07 2018-02-14 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US9436993B1 (en) * 2015-04-17 2016-09-06 Clear Guide Medical, Inc System and method for fused image based navigation with late marker placement
US10052170B2 (en) * 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
US9675319B1 (en) * 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
EP4327769A2 (en) 2016-03-12 2024-02-28 Philipp K. Lang Devices and methods for surgery
CN105788390A (zh) * 2016-04-29 2016-07-20 吉林医药学院 基于增强现实的医学解剖辅助教学系统
GB2568426B (en) * 2016-08-17 2021-12-15 Synaptive Medical Inc Methods and systems for registration of virtual space with real space in an augmented reality system
US10010379B1 (en) 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US20200186786A1 (en) 2018-12-06 2020-06-11 Novarad Corporation Calibration for Augmented Reality
CN110393921B (zh) 2019-08-08 2022-08-26 腾讯科技（深圳）有限公司 云游戏的处理方法、装置、终端、服务器及存储介质
EP4013030A4 (en) * 2019-08-27 2022-08-31 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING METHOD AND DEVICE, AND ELECTRONIC DEVICE AND COMPUTER READABLE STORAGE MEDIUM

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005500096A (ja) * 2001-06-13 2005-01-06 ヴォリューム・インタラクションズ・プライヴェート・リミテッド ガイドシステム
JP2004178554A (ja) * 2002-09-30 2004-06-24 Canon Inc 映像合成装置及び映像合成方法
WO2009116663A1 (ja) * 2008-03-21 2009-09-24 Takahashi Atsushi 三次元デジタル拡大鏡手術支援システム
WO2011010644A1 (ja) * 2009-07-24 2011-01-27 株式会社 日立メディコ 医用画像表示装置及び医用画像表示方法
JP2015019678A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
US20160225192A1 (en) * 2015-02-03 2016-08-04 Thales USA, Inc. Surgeon head-mounted display apparatuses

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481987B2 (en) 2017-03-30 2022-10-25 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
JP2021523784A (ja) * 2018-05-14 2021-09-09 ノバラッド コーポレイションＮｏｖａｒａｄ Ｃｏｒｐｏｒａｔｉｏｎ 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ
JP7190145B2 (ja) 2018-05-14 2022-12-15 ノバラッド コーポレイション 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ
JP2022552459A (ja) * 2019-10-24 2022-12-16 ジョナサン・ロス・ヴァンフーザー Ｘ線検査用位置決め誘導システム
JP7379674B2 (ja) 2019-10-24 2023-11-14 ジョナサン・ロス・ヴァンフーザー Ｘ線検査用位置決め誘導システム

Also Published As

Publication number Publication date
US20180286132A1 (en) 2018-10-04
US10475244B2 (en) 2019-11-12
US11004271B2 (en) 2021-05-11
WO2018183001A1 (en) 2018-10-04
KR102327527B1 (ko) 2021-11-17
US20230038130A1 (en) 2023-02-09
US9892564B1 (en) 2018-02-13
EP3602180A4 (en) 2021-04-14
US20200013224A1 (en) 2020-01-09
EP3602180A1 (en) 2020-02-05
US11481987B2 (en) 2022-10-25
CN110494921A (zh) 2019-11-22
CN110494921B (zh) 2023-11-28
US20210264680A1 (en) 2021-08-26
KR20190138799A (ko) 2019-12-16

Similar Documents

Publication Publication Date Title
US11481987B2 (en) Augmenting real-time views of a patient with three-dimensional data
KR102562252B1 (ko) 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법
US11652971B2 (en) Image-guided surgery with surface reconstruction and augmented reality visualization
US20220405935A1 (en) Augmented reality patient positioning using an atlas
KR102582154B1 (ko) 깊이 카메라를 이용한 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
US11340708B2 (en) Gesture control of medical displays
Kalavakonda Isosurface Visualization Using Augmented Reality for Improving Tumor Resection Outcomes
KR101529659B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
KR101513229B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191030

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210629

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20211028

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220510

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220614

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221004

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221101

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221101