JP2023500242A - 医療処置に3次元オーバーレイを利用するシステム及び方法 - Google Patents
医療処置に3次元オーバーレイを利用するシステム及び方法 Download PDFInfo
- Publication number
- JP2023500242A JP2023500242A JP2022525095A JP2022525095A JP2023500242A JP 2023500242 A JP2023500242 A JP 2023500242A JP 2022525095 A JP2022525095 A JP 2022525095A JP 2022525095 A JP2022525095 A JP 2022525095A JP 2023500242 A JP2023500242 A JP 2023500242A
- Authority
- JP
- Japan
- Prior art keywords
- overlay image
- dimensional overlay
- eye
- dimensional
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000009877 rendering Methods 0.000 claims abstract description 21
- 230000004044 response Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 210000004087 cornea Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000011282 treatment Methods 0.000 description 5
- 238000002679 ablation Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000465 moulding Methods 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
- A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1216—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes for diagnostics of the iris
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
- A61B3/132—Ophthalmic microscopes in binocular arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7445—Display arrangements, e.g. multiple display units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Computer Graphics (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Electrotherapy Devices (AREA)
Abstract
本開示は、少なくとも眼の虹彩構造の位置のうちの第1の位置に基づいて、3次元オーバーレイ画像に関連付けられた第1の2次元オーバーレイ画像をレンダリングし、第1のディスプレイを介して、第1の2次元オーバーレイ画像を表示し、少なくとも第1の位置、及び少なくとも水平オフセットに基づいて、3次元オーバーレイ画像に関連付けられた第2の2次元オーバーレイ画像をレンダリングし、第2のディスプレイを介して、第2の2次元オーバーレイ画像を表示し、少なくとも第2の位置に基づいて、3次元オーバーレイ画像に関連付けられた第3の2次元オーバーレイ画像をレンダリングし、第1のディスプレイを介して、第3の2次元オーバーレイ画像を表示し、少なくとも虹彩構造の位置のうちの第2の位置、及び少なくとも水平オフセットに基づいて、3次元オーバーレイ画像に関連付けられた第4の2次元オーバーレイ画像をレンダリングし、第2のディスプレイを介して、第4の2次元オーバーレイ画像を表示することができるシステムを提供する。
Description
本開示は、3次元オーバーレイを利用すること、より具体的には、医療処置で3次元オーバーレイを利用することに関する。
過去には、限られた情報が、手術中の外科医に提供されていた。例えば、外科医は、患者の一部分を3次元で手術する場合がある。患者の一部分には、患者の眼を含み得る。例えば、患者の眼は、3次元である。平坦な画像を使用して外科医に情報を提供することには、3次元に関連付けられた深度が考慮されていなかった。したがって、グラフィックは、患者の3次元部分上の1つ以上の位置を正確に示さない場合がある。一例では、グラフィックは、患者の眼の1つ以上の位置を正確に示さない場合がある。別の例では、グラフィックは、患者の眼の1つ以上の切開位置を正確に示さない場合がある。
本開示は、患者の眼の第1の画像を受信することができるシステムを提供する。例えば、患者の眼の第1の画像は、カメラから受信することができる。システムは、患者の眼の第1の画像から、患者の眼の複数の虹彩構造の位置を更に判定することができる。システムは、複数の虹彩構造の位置のうちの第1の位置を更に判定することができる。システムは、少なくとも複数の虹彩構造の位置のうちの第1の位置に基づいて、3次元オーバーレイ画像に関連付けられた第1の2次元オーバーレイ画像を更にレンダリングすることができる。例えば、3次元オーバーレイ画像は、患者の眼に関連付けられた切開位置を示す少なくとも1つのグラフィックを含むことができる。システムは、システムの第1のディスプレイを介して、3次元オーバーレイ画像に関連付けられた第1の2次元オーバーレイ画像を更に表示することができる。システムは、少なくとも複数の虹彩構造の位置のうちの第1の位置に基づいて、及び少なくとも水平オフセットに基づいて、3次元オーバーレイ画像に関連付けられた第2の2次元オーバーレイ画像を更にレンダリングすることができる。システムは、システムの第2のディスプレイを介して、3次元オーバーレイ画像に関連付けられた第2の2次元オーバーレイ画像を更に表示することができる。システムは、患者の眼の第2の画像を更に受信することができる。システムは、患者の眼の第2の画像から、複数の虹彩構造の位置のうちの第2の位置を更に判定することができる。システムは、少なくとも複数の虹彩構造の位置のうちの第2の位置に基づいて、3次元オーバーレイ画像に関連付けられた第3の2次元オーバーレイ画像を更にレンダリングすることができる。システムは、第1のディスプレイを介して、3次元オーバーレイ画像に関連付けられた第3の2次元オーバーレイ画像を更に表示することができる。システムは、少なくとも複数の虹彩構造の位置のうちの第2の位置に基づいて、及び少なくとも水平オフセットに基づいて、3次元オーバーレイ画像に関連付けられた第4の2次元オーバーレイ画像を更にレンダリングすることができる。システムは、第2のディスプレイを介して、3次元オーバーレイ画像に関連付けられた第4の2次元オーバーレイ画像を更に表示することができる。
システムは、複数の虹彩構造の位置が第1の位置にないことを更に判定することができる。例えば、複数の虹彩構造の位置のうちの第2の位置を判定することは、複数の虹彩構造の位置が第1の位置にないことを判定することに応じて実行され得る。
水平オフセットは、眼間距離であり得る。眼間距離は、外科医の眼の間の距離と関連付けられ得る。システムは、複数の接眼レンズを含み得る。システムは、複数の接眼レンズの2つの接眼レンズ間の距離を更に判定することができる。システムは、少なくとも2つの接眼レンズ間の距離に基づいて、眼間距離を更に判定することができる。システムは、顕微鏡一体型ディスプレイを含み得る。例えば、顕微鏡一体型ディスプレイは、複数の接眼レンズの2つの接眼レンズを含み得る。第1のディスプレイを介して、3次元オーバーレイ画像に関連付けられた第1の2次元オーバーレイ画像を表示することは、2つの接眼レンズのうちの第1の接眼レンズを介して、3次元オーバーレイ画像に関連付けられた第1の2次元オーバーレイ画像を表示することを含み得る。第2のディスプレイを介して、3次元オーバーレイ画像に関連付けられた第2の2次元オーバーレイ画像を表示することは、2つの接眼レンズのうちの第2の接眼レンズを介して、3次元オーバーレイ画像に関連付けられた第2の2次元オーバーレイ画像を表示することを含み得る。複数の虹彩構造の位置のうちの第1の位置を判定することは、X軸に関連付けられた第1の角度、Y軸に関連付けられた第2の角度、及び任意の軸の周りの回転角のうちの少なくとも1つを判定することを含み得る。
本開示は、システムのプロセッサによって実行されると、システムに上記のステップを実行させる命令を有する非一時的コンピュータ可読メモリデバイスを更に含む。本開示は、明らかに相互排他的でない限り、互いに組み合わせて使用され得る、以下の機能の1つ以上を有する上述のシステム又は非一時的コンピュータ可読メモリデバイスを更に含む。i)患者の眼の第1の画像を受信し、ii)患者の眼の第1の画像から、患者の眼の複数の虹彩構造の位置を判定し、iii)複数の虹彩構造の位置のうちの第1の位置を判定し、iv)少なくとも複数の虹彩構造の位置のうちの第1の位置に基づいて、3次元オーバーレイ画像に関連付けられた第1の2次元オーバーレイ画像をレンダリングし、v)第1のディスプレイを介して、3次元オーバーレイ画像に関連付けられた第1の2次元オーバーレイ画像を表示し、vi)少なくとも複数の虹彩構造の位置のうちの第1の位置に基づいて、及び少なくとも水平オフセットに基づいて、3次元オーバーレイ画像に関連付けられた第2の2次元オーバーレイ画像をレンダリングし、vii)第2のディスプレイを介して、3次元オーバーレイ画像に関連付けられた第2の2次元オーバーレイ画像を表示し、viii)患者の眼の第2の画像を受信し、ix)患者の眼の第2の画像から、複数の虹彩構造の位置のうちの第2の位置を判定し、x)少なくとも複数の虹彩構造の位置のうちの第2の位置に基づいて、3次元オーバーレイ画像に関連付けられた第3の2次元オーバーレイ画像をレンダリングし、xi)第1のディスプレイを介して、3次元オーバーレイ画像に関連付けられた第3の2次元オーバーレイ画像を表示し、xii)少なくとも複数の虹彩構造の位置のうちの第2の位置に基づいて、及び少なくとも水平オフセットに基づいて、3次元オーバーレイ画像に関連付けられた第4の2次元オーバーレイ画像をレンダリングし、xiii)第2のディスプレイを介して、3次元オーバーレイ画像に関連付けられた第4の2次元オーバーレイ画像を表示し、xix)複数の虹彩構造の位置が第1の位置にないことを判定し、xx)複数の接眼レンズの2つの接眼レンズ間の距離を判定し、xxi)少なくとも2つの接眼レンズ間の距離に基づいて、眼間距離を判定する。
上記のシステムのいずれかは、上記の方法のいずれかを実行することが可能であり得、上記の非一時的コンピュータ可読メモリデバイスのいずれかは、システムに上記の方法のいずれかを実行させることが可能であり得る。上記の方法のいずれかは、上記のシステムのいずれかの上において又は上記の非一時的コンピュータ可読メモリデバイスのいずれかを使用して実施され得る。
前述の概要及び以下の詳細な説明の両方は、本質的に例示及び説明的であり、本開示の範囲を限定することなく本開示の理解をもたらすことを意図するものと理解されるべきである。その点に関して、本開示の追加の態様、特徴及び利点は、以下の詳細な説明から当業者に明らかになるであろう。
本開示並びにその特徴及び利点をより詳細に理解するために、ここで、添付の図面と併せて以下の説明を参照する。添付の図面は、縮尺通りではない。
以下の説明では、開示する主題の議論を容易にするために、詳細が例として述べられている。しかしながら、開示する実施形態は、例であり、全ての考えられる実施形態を網羅するものではないことは、当業者には明らかであるべきである。
本明細書で用いるように、参照番号は、エンティティのクラス又は種類を参照し、そのような参照番号に続く任意の文字が、そのクラス又は種類の特定のエンティティの特定のインスタンスを参照する。したがって、例えば、「12A」によって参照される仮想エンティティは、特定のクラス/種類の特定のインスタンスを指し得、参照符号「12」は、一般的にその特定のクラス/種類に属するインスタンスの集合又はそのクラス/種類のいずれか1つのインスタンスを指し得る。
医療システムは、患者との医療処置を実行する際に利用され得る。一例では、第1の医療システムは、1回目に、医療処置前に患者の1つ以上の部分を識別する際に利用され得る。第2の例では、第2の医療システムは、2回目に、医療処置を実行する際に利用され得る。別の例では、第2の医療システムは、2回目に、患者の1つ以上の部分にそれぞれ関連付けられた1つ以上の識別を利用することができる。2回目は、1回目よりも後の時間であり得る。一例では、第1の医療システムは、医者の診察室において利用され得る。別の例では、第2の医療システムは、外科設備において利用され得る。
第1の医療システムは、患者の眼の虹彩構造を判定することができる。例えば、患者の眼の虹彩構造を判定することは、患者の眼の虹彩構造を識別することを含み得る。第2の医療システムは、患者の眼の虹彩構造を利用して、1つ以上の3次元オーバーレイを表示することができる。例えば、1つ以上の3次元オーバーレイは、患者の眼に関連付けられた情報を示すことができる。患者の眼に関連付けられた情報には、特に、位置決め、切開位置、嚢切開、及び中心化のうちの1つ以上が含まれ得る。一例では、第2の医療システムは、拡張現実システムであってもよく、及び/又はそれを含み得る。別の例では、第2の医療システムは、1つ以上の3次元オーバーレイを介して拡張現実を提供することができる。第2の医療システムは、顕微鏡を含み得る。例えば、1つ以上の3次元オーバーレイは、顕微鏡を介して表示され得る。
第2の医療システムは、顕微鏡一体型ディスプレイ(MID)を含み得る。MIDは、1つ以上の3次元画像を外科医に提供することができる。例えば、1つ以上の3次元画像は、1つ以上の3次元オーバーレイ画像を含み得る。MIDは、複数のディスプレイを含み得る。MIDは、複数のディスプレイを介して、1つ以上の3次元画像を外科医に提供することができる。MIDは、1つ以上の3次元画像を提供する際に、1つ以上の深度の外観をシミュレーションすることができる。外科医は、1つ以上の画像を3次元として知覚することができる。例えば、MIDの第1のディスプレイは、2次元オーバーレイ画像を外科医に提供することができ、第2のディスプレイは、第2の2次元オーバーレイ画像を外科医に同時に提供することができる。第2の2次元オーバーレイ画像は、第1の2次元オーバーレイ画像とわずかに異なり得る。例えば、第2の2次元オーバーレイ画像の第1の2次元オーバーレイ画像との差は、第2の2次元オーバーレイ画像及び第1の2次元オーバーレイ画像におけるオブジェクトの相対的な水平位置にあり得る。第1の2次元オーバーレイ画像におけるオブジェクトと第2の2次元オーバーレイ画像におけるオブジェクトとの位置の差は、水平方向視差と呼ばれ得る。より一般的には、例えば、第1の2次元オーバーレイ画像におけるオブジェクトと第2の2次元オーバーレイ画像におけるオブジェクトとの位置差は、両眼視差と呼ばれ得る。
ディスプレイは、水平方向視差が異なる「平坦な」画像(例えば、2次元画像)から深度の錯覚を提供することができる。例えば、第1のディスプレイは、第1の2次元オーバーレイ画像を外科医の左眼に提供することができ、第2のディスプレイは、第2の2次元オーバーレイ画像を外科医の右眼に提供することができる。外科医が第1の2次元オーバーレイ画像を左眼で視認し、同時に第2の2次元オーバーレイ画像を右眼で視認すると、外科医は単一の3次元オーバーレイ画像を見ることができる。例えば、外科医の脳は、外科医の左眼に対する第1のオーバーレイ画像と外科医の右眼に対する第2のオーバーレイ画像との間の小さな水平方向の不一致を受け入れることができ、これにより、外科医は、深度を有する単一のオーバーレイ画像を見る(例えば、知覚する)ことが可能になる。これは、立体視と呼ばれ得る。深度を有する単一のオーバーレイ画像は、3次元オーバーレイ画像であり得る。
ステレオオーバーレイ画像は、第1の2次元オーバーレイ画像及び第2の2次元オーバーレイ画像を作成することを介して生成され得る。例えば、第1の2次元オーバーレイ画像は、平坦な第1の画像であり得、第2の2次元オーバーレイ画像は、平坦な第2の画像であり得る。第1の平坦な第1の画像及び第2の平坦な画像は、ステレオペアと呼ばれ得る。例えば、第1の平坦な第1の画像は左眼用であり得、第2の平坦な第1の画像は右眼用であり得る。第1の平坦な画像は、左眼の位置に対してレンダリングされ得る。第2の平坦な画像は、左眼の位置に水平オフセットを適用することを介してレンダリングされ得る。例えば、水平オフセットは、眼間距離であり得る。典型的な眼間距離は、例えば、約6.5cmであり得る。他の眼間距離を利用することができる。
MIDは、眼間距離を判定することができる。例えば、MIDの接眼レンズは、調整可能であり得る。MIDの接眼レンズは、外科医に関連付けられた眼間距離に合わせて調整され得る。MIDのセンサは、MIDの接眼レンズ間の距離を判定する際に利用され得る。例えば、外科医に関連付けられた眼間距離は、少なくともMIDの接眼レンズ間の距離に基づいて判定され得る。
患者の眼が動くと、MIDによって表示される3次元オーバーレイ画像は、動くことができる。例えば、MIDによって表示される3次元オーバーレイ画像は、患者の眼の1つ以上の動きに従って動くことができる。患者の眼の複数の虹彩構造は、追跡され得る。例えば、MIDによって表示される3次元オーバーレイ画像は、少なくとも患者の眼の複数の虹彩構造を追跡することに基づいて、患者の眼の1つ以上の動きに従って動くことができる。
MIDは、患者の眼が第1の位置にあるときに、3次元画像を表示することができる。患者の眼は、第2の位置に動くことができる。一例では、眼は、左又は右に動くことができる。第2の例では、眼は、上下に動くことができる。第3の例では、眼は、時計回り又は反時計回りに回転することができる。別の例では、眼は、左又は右、上又は下、及び時計回り又は反時計回りの組み合わせで動くことができる。MIDは、患者の眼が第2の位置にあるときに、3次元オーバーレイ画像を表示することができる。例えば、眼が動いた後、眼は、第2の位置にあり得る。眼の第1の位置及び眼の第2の位置は、眼の複数の虹彩構造を介して判定され得る。MIDは、患者の眼が第2の位置にあるときに、3次元オーバーレイ画像を表示することができる。例えば、3次元オーバーレイ画像は、患者の眼球の動きに関連して表示され得る。
ここで図1Aを参照すると、医療システムの一例が示されている。示されるように、医療システム110は、患者120に利用され得る。図示されるように、医療システム110は、コンピュータシステム112を含み得る。コンピュータシステム112は、ディスプレイ116A及び116Bに通信可能に結合され得る。コンピュータシステム112は、生体測定デバイス114と通信可能に結合され得る。一例では、生体測定デバイス114は、1つ以上のカメラを含み得る。別の例では、生体測定デバイス114は、3次元スキャナを含み得る。生体測定デバイス114は、患者120の眼122の生体測定において利用され得る。示されるように、ディスプレイ116Aは、患者120の眼122に関連付けられた画像130Aを表示し得る。図示されるように、ディスプレイ116Bは、患者120の眼122に関連付けられた画像130Bを表示し得る。
コンピュータシステム112は、眼認識情報を判定することができる。例えば、眼認識情報は、患者120の眼122に関連付けられた生体測定情報を含み得る。眼122に関連付けられた生体測定情報には、特に、眼122の強膜の血管のパターン、眼122の虹彩構造、眼122の虹彩構造の位置、眼122の角膜から眼122の水晶体までの距離測定値、眼122の水晶体から眼122の網膜までの距離測定値、眼122の角膜のトポグラフィ、眼122の網膜のパターン、波面測定値のうちの1つ以上が含まれ得る。
示されるように、ディスプレイ116Bは、眼122の虹彩構造134A~134Cを表示し得る。図示されるように、ディスプレイ116Bは、表示領域136A~136Dを表示し得る。一例では、表示領域136は、眼122に関連付けられた生体測定情報の中でも、眼122の角膜から眼122の水晶体までの距離測定値、眼122の水晶体から眼122の網膜までの距離測定値、虹彩134の構造の位置、角膜トポグラフィ情報又は波面測定値情報を表示し得る。別の例では、表示領域136は、患者120に関連付けられた任意の情報を表示し得る。
人150は、医療システム110を操作することができる。例えば、人150は、医療従事者であり得る。人150は、患者120に関連付けられた識別情報をコンピュータシステム112に入力し得る。患者120に関連付けられた識別情報には、特に、患者120の名前、患者120の住所、患者120の電話番号、患者120の政府発行識別番号、患者120の政府発行識別文字列及び患者120の生年月日のうちの1つ以上が含まれ得る。
人150は、患者120に関連付けられた医療処置情報をコンピュータシステム112に提供し得る。医療処置情報は、医療処置に関連付けられ得る。医療処置情報は、患者120に関連付けられた識別情報に関連付けられ得る。コンピュータシステム112は、医療処置情報を保存し得る。例えば、コンピュータシステム112は、後の利用のために医療処置情報を保存し得る。医療処置情報は、手術に関連付けられ得る。例えば、医療処置情報は、手術前に取得され得る。医療処置情報は、医療処置中に利用され得る。例えば、医療処置には、手術が含まれ得る。
ここで図1Bを参照すると、生体測定デバイスの一例が示されている。示されるように、生体測定デバイス114は、画像センサ160A~160Cを含み得る。例えば、画像センサ160は、カメラを含み得る。カメラは、1つ以上のデジタル画像センサを含み得る。一例では、デジタル画像センサは、電荷結合デバイス(CCD)を含み得る。別の例では、デジタル画像センサは、相補型金属-酸化膜-半導体(CMOS)を含み得る。カメラは、光をデジタルデータに変換することができる。カメラは、ベイヤーフィルターモザイクを利用することができる。例えば、カメラは、光学アンチエイリアシングフィルターと組み合わせてベイヤーフィルターモザイクを利用することができる。ベイヤーフィルターモザイクを光学アンチエイリアシングフィルターと組み合わせることにより、異なる原色画像のサンプリングが減少するため、エイリアシングを低減させることができる。カメラは、デモザイク処理を利用することができる。例えば、デモザイク処理プロセスを利用して、色情報を補間し、赤、緑、及び青(RGB)画像データの完全な配列を作成することができる。
図示されるように、生体測定デバイス114は、投光器162A~162Cを含み得る。一例では、投光器162は、可視光を投射し得る。別の例では、投光器162は、赤外光を投射し得る。投光器162は、患者の眼に円形及び/又は点を投射することができる。画像センサ160は、患者の眼に投射された円形及び/又は点の反射を受光することができる。コンピュータシステムは、少なくとも患者の眼に投射された円形及び/又は点の反射に基づいて、患者の眼に関連付けられた1つ以上の位置及び/又は1つ以上のテンプレートを判定することができる。示されるように、生体測定デバイス114は、深度センサ164A~164Cを含み得る。深度センサ164は、投光器162を含み得る。深度センサ164は、光学センサを含み得る。図示されるように、生体測定デバイス114は、光低コヒーレンス反射率計(OLCR)デバイス166を含み得る。示されるように、生体測定デバイス114は、波面デバイス168を含み得る。
波面デバイス168は、特に、光源及び波面センサのうちの1つ以上を含み得る。光源は、第1の光波を眼122に送ることができる。波面センサは、少なくとも第1の光波に基づいて第1の摂動光波を眼122から受光することができる。一例では、波面デバイス168は、少なくとも第1の摂動光に基づいて第1の光学的補正を判定し得る。別の例では、コンピュータシステムは、少なくとも第1の摂動光に基づいて第1の光学的補正を判定し得る。波面デバイス168は、少なくとも第1の摂動光波に基づいてコンピュータシステムにデータを提供することができる。例えば、コンピュータシステムは、少なくとも波面デバイス168からのデータに基づいて第1の光学的補正を判定することができる。
画像センサ160、投光器162、深度センサ164、OLCRデバイス166及び波面デバイス168のうちの任意の2つ以上を組み合わせてもよい。特に、画像センサ160A~160Cの1つ以上、投光器162A~162Cの1つ以上、深度センサ164A~164Cの1つ以上、OLCRデバイス166、及び/又は波面デバイス168は、コンピュータシステムによって利用可能なデータを生成することができる。
ここで図2Aを参照すると、医療システムの第2の例が示されている。示されるように、外科医210は、手術用ツール機器220を利用し得る。一例では、外科医210は、患者120の眼122に関わる手術において手術用ツール機器220を利用し得る。医療システム200Aは、眼科手術用ツール追跡システムを含み得る。図示されるように、医療システム200Aは、コンピュータシステム230、ディスプレイ240、及びMID250を含み得る。
コンピュータシステム230は、1つ以上の画像センサによって取り込まれた画像フレームを受信し得る。例えば、コンピュータシステム230は、1つ以上の画像フレームに対して様々な画像処理を実行し得る。コンピュータシステム230は、1つ以上の画像フレームに対して画像解析を実行して、1つ以上の画像フレームから手術用ツール機器220の1つ以上の画像を識別及び/又は抽出することができる。コンピュータシステム230は、1つ以上の画像フレームを重ね合わせることができる、グラフィカルユーザインターフェース(GUI)を生成し得る。例えば、GUIは、特に、1つ以上のインジケータ及び/又は1つ以上のアイコンを含み得る。1つ以上のインジケータは、1つ以上の位置及び/又は1つ以上の向きなどの手術用データを含み得る。1つ以上のインジケータは、1つ以上の警告を含み得る。GUIは、ディスプレイ240及び/又はMID250によって、外科医210及び/又は他の医療従事者に対して表示され得る。
コンピュータシステム230、ディスプレイ240、及びMID250は、互いに通信可能に結合された別個のハウジング内、又は共通のコンソール若しくはハウジング内に実装され得る。ユーザインターフェースは、特に、コンピュータシステム230、ディスプレイ240、及びMID250の1つ以上に関連付けられ得る。例えば、ユーザインターフェースは、入力デバイスの中でも、キーボード、マウス、ジョイスティック、タッチスクリーン、アイトラッキングデバイス、音声認識デバイス、ジェスチャーコントロールモジュール、ダイヤル及び/又はボタンの1つ以上を含み得る。ユーザ(例えば、外科医210及び/又は他の医療従事者)は、ユーザインターフェースを介して、所望の命令及び/又はパラメータを入力し得る。例えば、ユーザインターフェースは、特に、コンピュータシステム230、ディスプレイ240、及びMID250のうちの1つ以上を制御する際に利用され得る。
ここで図2Bを参照すると、医療システムの別の例が示されている。示されるように、外科医210は、システム200Bを利用することができる。例えば、外科医210は、患者120の眼122に関わる手術にシステム200Bを用いることができる。システム200Bは、複数のシステムを含み得る。示されるように、システム200Bは、切断システム215Aを含み得る。例えば、外科医210は、眼122の切開の際にシステム215Aを用いることができる。眼122は、患者120の眼の角膜に皮弁を含み得る。図示されるように、システム200Bは、成形システム215Bを含み得る。例えば、外科医210は、眼122の角膜の内側部分の切除を実行する際に、成形システム215Bを利用することができる。
示されるように、システム215Aは、ディスプレイ240Aを含み得る。図示されるように、システム215Aは、MID250Aを含み得る。図示されるように、MID250Aは、接眼レンズ252AA及び252ABを含み得る。接眼レンズ252Aは、接眼レンズ252AA又は接眼レンズ252BAを指し得る。接眼レンズ252Bは、接眼レンズ252AB又は接眼レンズ252BBを指し得る。システム215Aは、特に1つ以上の画像センサ160A~160C、1つ以上の投光器162A~162C、1つ以上の深度センサ164A~164C、OLCRデバイス166及び/又は波面デバイス168を含み得る。図示されるように、システム215Bは、ディスプレイ240Bを含み得る。示されるように、システム215Bは、MID250Bを含み得る。図示されるように、MID250Bは、接眼レンズ252BA及び252BBを含み得る。システム215Bは、特に1つ以上の画像センサ160A~160C、1つ以上の投光器162A~162C、1つ以上の深度センサ164A~164C、OLCRデバイス166及び/又は波面デバイス168を含み得る。
システム215Aは、フェムト秒レーザー等のレーザーを含み得、レーザーは、短レーザパルスを用いて角膜組織の一連の小さい部分を切除して、角膜の内側部分を露出するために持ち上げられ得る皮弁を形成することができる。皮弁は、切断デバイスディスプレイ240A及び250Aの一方又は両方を制御デバイス及びコンピュータシステム230Aと共に用いて計画及び切断され得る。示されるように、システム215Aは、コンピュータシステム230Aを含み得る。例えば、コンピュータシステム230Aは、システム215Aの、特に1つ以上の画像センサ160A~160C、1つ以上の投光器162A~162C、1つ以上の深度センサ164A~164C、OLCRデバイス166及び/又は波面デバイス168に結合され得る。図示されるように、システム215Bは、コンピュータシステム230Bを含み得る。例えば、コンピュータシステム230Bは、システム215Bの、特に1つ以上の画像センサ160A~160C、1つ以上の投光器162A~162C、1つ以上の深度センサ164A~164C、OLCRデバイス166及び/又は波面デバイス168に結合され得る。
システム215A及び215Bは、図2Bに示されるように物理的に分離され得る。患者120は、システム215A及び215B間を移動する場合がある。代替的に、患者120は、静止したままであり得、システム215A及び215Bを患者120の方に移動させることができる。システム215A及び215Bは、システム215A及び215Bを切り替える際、デバイス及び患者120のいずれも位置を変えないように物理的に単一の一体的デバイスに組み合わされ得る。
システム200Bは、システム215A及び215Bを制御するための1つ以上の制御デバイスを含み得る。例えば、1つ以上の制御デバイスは、タッチスクリーンディスプレイなどの対話型ディスプレイ、キーボード、マウス、タッチパッド、ボタン、ジョイスティック、フットペダル、ヘッドアップディスプレイ及び仮想現実グラスの1つ以上又は医療従事者などのユーザと対話することが可能な他のデバイスを含み得る。
システム200Bは、特に、ディスプレイ240A、250A、240B及び250Bの少なくとも1つに提示される画像を生成するように構成された少なくとも1つのコンピュータシステムを含み得る。例えば、この少なくとも1つのコンピュータシステムは、コンピュータシステム230A及び230Bの1つ以上を含み得る。コンピュータシステム230A及び230Bの1つ以上は、顕微鏡、カメラ、光干渉断層撮影(OCT)デバイス若しくはディスプレイ等の観察デバイス又は手術中の眼の位置を測定可能な別のデバイスに結合され得る。コンピュータシステム230A及び230Bの1つ以上は、制御デバイスの1つ以上に結合され得る。
一例では、切断デバイスコンピュータシステム230Aは、i)患者120がシステム215Aに配置されたときに、眼を観察する観察デバイスに結合され得、ii)計画された皮弁位置及び計画された切除領域に関するグラフィカル情報をディスプレイ240A及び250Aの1つ以上に提供し得、iii)システム215Aの1つ以上の制御デバイスに結合され得る。第2の例では、成形デバイスコンピュータ230Bは、i)患者120が成形デバイスに配置されたときに、眼を観察する観察デバイスに結合され得、ii)計画された皮弁位置及び計画された切除領域に関するグラフィカル情報をディスプレイ240B及び250Bの1つ以上に提供し得、iii)システム215Bの1つ以上の制御デバイスに結合され得る。別の例では、コンピュータシステムは、特に、コンピュータシステム230A及び230Bのうちの1つ以上に関して上述した特性及び/又は属性を含み得る。
システム200のコンピュータシステムは、システム200の別の部分に有線又は無線で結合され得る。システム200のコンピュータシステムの1つ以上は、患者データ、治療計画、並びに/又は治療及び/若しくはシステム200に関連付けられた他の情報を記憶する、リモートコンピュータシステム若しくはリモートデータセンター上又はその両方にローカルに記憶されたデータベースに結合され得る。一例では、データベースは、リレーショナルデータベースを含み得る。第2の例では、データベースは、グラフデータベースを含み得る。別の例では、データベースは、「Not Only SQL」(NoSQL)データベースを含み得る。
システム200は、患者120、及び患者120に施されるか又は実際に患者120に施された治療に関する情報を入力することができる。システム200は、ユーザが、患者120、及び患者120に対して施される治療に関する情報を入力及び視認することを可能にし得る。そのようなデータには、識別情報、患者120の医療履歴、及び治療されている眼122に関する情報などの、患者120に関する情報が含まれ得る。そのようなデータには、特に、治療計画、例えば角膜切断の形状及び位置並びに切除の形状及び位置に関する情報が含まれ得る。
ここで図2Cを参照すると、顕微鏡一体型ディスプレイの一例及び手術用ツール機器の複数の例が示されている。示されるように、手術用ツール機器220Aは、手術用メスであり得るか又はそれを含み得る。図示されるように、手術用ツール機器220Bは、Qチップであり得るか又はそれを含み得る。示されるように、手術用ツール機器220Cは、ピンセットであり得るか又はそれを含み得る。具体的に図示されていない他の手術用ツール機器は、本明細書で説明する1つ以上のシステム、1つ以上のプロセス、及び/又は1つ以上の方法と共に利用され得る。
一例として、手術用ツール機器220は、1つ以上のパターンで印を付けられ得る。1つ以上のパターンが、手術用ツール機器220を識別する際に利用され得る。1つ以上のパターンは、特に、ハッシュパターン、ストライプパターン、及びフラクタルパターンのうちの1つ以上を含み得る。別の例として、手術用ツール機器220は、染料及び/又は塗料で印を付けられ得る。染料及び/又は塗料は、特に、可視光、赤外光、及び紫外光のうちの1つ以上を反射し得る。一例では、照明器278は、紫外光を提供し得、画像センサ272は、手術用ツール機器220から反射された紫外光を受光し得る。コンピュータシステム230は、少なくとも手術用ツール機器220から反射された紫外光に基づいて、画像センサ272から画像データを受信し得、少なくとも手術用ツール機器220から反射された紫外光に基づいて、画像データを利用して、画像センサ272によって提供される他の画像データから手術用ツール機器220を識別することができる。別の例では、照明器278は、赤外光を提供し得、画像センサ272は、手術用ツール機器220から反射された赤外光を受光し得る。コンピュータシステム230は、少なくとも手術用ツール機器220から反射された赤外光に基づいて、画像センサ272から画像データを受信し得、少なくとも手術用ツール機器220から反射された赤外光に基づいて、画像データを利用して、画像センサ272によって提供される他の画像データから手術用ツール機器220を識別することができる。
図示されるように、MID250は、接眼レンズ252A及び252Bを含み得る。示されるように、MID250は、ディスプレイ262A及び262Bを含み得る。外科医210は、接眼レンズ252A及び252Bを覗き込むことができる。一例では、ディスプレイ262Aは、接眼レンズ252Aを介して1つ以上の画像を表示することができる。外科医210の左眼は、接眼レンズ252Aを利用することができる。別の例では、ディスプレイ262Bは、接眼レンズ252Bを介して1つ以上の画像を表示することができる。外科医210の右眼は、接眼レンズ252Bを利用することができる。MID250を複数のディスプレイと共に示しているが、MID250は、単一のディスプレイ262を含み得る。例えば、単一のディスプレイ262は、1つ以上の接眼レンズ252A及び252Bを介して、1つ以上の画像を表示することができる。MID250は、1つ以上のディスプレイ262と共に実装され得る。
図示されるように、MID250は、画像センサ272A及び272Bを含み得る。一例では、画像センサ272A及び272Bは、画像を取得することができる。第2の例では、画像センサ272A及び272Bは、カメラを含み得る。別の例では、画像センサ272は、特に、可視光、赤外光、及び紫外光のうちの1つ以上を介して画像を取得することができる。1つ以上の画像センサ272A及び272Bは、画像のデータをコンピュータシステム230に提供することができる。MID250を複数の画像センサと共に示しているが、MID250は、単一の画像センサ272を含み得る。MID250は、1つ以上の画像センサ272と共に実装され得る。
図示されるように、MID250は、距離センサ274A及び274を含み得る。例えば、距離センサ274は、手術用ツール機器220との距離を判定することができる。距離センサ274は、Z軸に関連付けられる距離を判定し得る。MID250を複数の画像センサと共に示しているが、MID250は、単一の距離センサ274を含み得る。一例では、MID250は、1つ以上の距離センサ274で実装され得る。別の例では、MID250は、距離センサなしで実装され得る。
図示されるように、MID250は、レンズ276A及び276Bを含み得る。MID250を複数のレンズ276A及び276Bと共に示しているが、MID250は、単一レンズ276を含み得る。MID250は、1つ以上のレンズ276と共に実装され得る。図示されるように、MID250は、照明器278A及び278Bを含み得る。例えば、照明器278は、特に可視光、赤外光及び紫外光の1つ以上を供給及び/又は生成することができる。MID250を複数の照明器と共に示しているが、MID250は、単一の照明器278を含み得る。MID250は、1つ以上の照明器278と共に実装され得る。MID250は、生体測定デバイス114に関して記述したものと同様に、1つ以上の構造及び/又は1つ以上の機能を含み得る。一例では、MID250は、OLCRデバイス166を含み得る。別の例では、MID250は、波面デバイス168を含み得る。
ここで図3A~図3Dを参照すると、眼の例が示されている。図3Aに示されるように、眼122は、上向きに向けられ得る。一例では、眼122は、角度付けせずに上向きに向けられ得る。別の例では、眼122は、回転させずに上向きに向けられ得る。眼122が上向きに向けられていることを判定する際に、2つ以上の虹彩構造134A~134Cを利用することができる。例えば、コンピュータシステム230は、2つ以上の虹彩構造134A~134Cのそれぞれの位置を判定することができる。コンピュータシステム230は、眼122が2つ以上の虹彩構造134A~134Cのそれぞれの位置の少なくとも1つに基づいて、上向きに向けられていることを判定することができる。
図3Bに示されるように、眼122は回転され得る。2つ以上の虹彩構造134A~134Cは、眼122が回転していることを判定する際に利用され得る。例えば、コンピュータシステム230は、2つ以上の虹彩構造134A~134Cのそれぞれの位置を判定することができる。コンピュータシステム230は、眼122が、2つ以上の虹彩構造134A~134Cのそれぞれの位置の少なくとも1つに基づく角度だけ、回転していることを判定することができる。
図3Cに示されるように。眼122は、角度付けられ得る。図示されるように、眼122は、左に角度付けられ得る。眼122が角度付けられていることを判定する際に、2つ以上の虹彩構造134A~134Cを利用することができる。例えば、コンピュータシステム230は、2つ以上の虹彩構造134A~134Cのそれぞれの位置を判定することができる。コンピュータシステム230は、眼122が、2つ以上の虹彩構造134A~134Cのそれぞれの位置の少なくとも1つに基づく角度だけ、角度付けられていることを判定することができる。
図3Dに示されるように、眼122は、角度付けられ得る。示されるように、眼122は下向きに角度付けられ得る。眼122が角度付けられていることを判定する際に、2つ以上の虹彩構造134A~134Cを利用することができる。例えば、コンピュータシステム230は、2つ以上の虹彩構造134A~134Cのそれぞれの位置を判定することができる。コンピュータシステム230は、眼122が、2つ以上の虹彩構造134A~134Cのそれぞれの位置の少なくとも1つに基づく角度だけ、角度付けられていることを判定することができる。
ここで図3E~図3Hを参照すると、眼及び座標系の例が示されている。図3Eに示されるように、眼122は、X軸に対してZ軸から角度θxにあり得る。角度θxは、正又は負であり得る。図3Fに示されるように、眼122は、Y軸に対してZ軸から角度θyにあり得る。角度θyは、正又は負であり得る。図3Gに示されるように、眼122は、ある角度φだけ回転され得る。例えば、眼122は、Z軸の周りを角度φだけ回転され得る。角度φは、正又は負であり得る。図3Gに示されるように、眼122は、任意の軸310の周りを角度φだけ回転され得る。角度φは、正又は負であり得る。一例では、軸310は、少なくとも角度θxに基づき得る。第2の例では、軸310は、少なくともθyに基づき得る。別の例では、軸310は、少なくとも角度θxに基づき、及び少なくとも角度θyに基づき得る。図3E~図3Hは、デカルト座標系を利用しているが、任意の座標系が利用され得る。
ここで図4A~図4Dを参照すると、虹彩構造の位置の例が示されている。図4A~図4Dに示されるように、X軸及びY軸は、図示されるように平面内にあり得る。Z軸は、具体的に示されていない。Z軸は、X軸及びY軸に対して垂直であり得る。Z軸は、ページから来る場合がある。図3Aに示されるように、虹彩構造134A~134Cはそれぞれ、図4Aに示されるように、位置410~414に関連付けられ得る。例えば、虹彩構造134A~134Cはそれぞれ、位置410~414にあり得る。虹彩構造410~444の虹彩構造の位置は、X座標、Y座標、及びZ座標に関連付けられ得る。
図3Bに示される、虹彩構造134A~134Cはそれぞれ、図4Bに示されるように、位置420~424に関連付けられ得る。例えば、虹彩構造134A~134Cはそれぞれ、位置420~424にあり得る。図3Cに示される、虹彩構造134A~134Cはそれぞれ、図4Cに示されるように、位置430~434に関連付けられ得る。例えば、虹彩構造134A~134Cはそれぞれ、位置430~434にあり得る。図3Dに示される、虹彩構造134A~134Cはそれぞれ、図4Dに示されるように、位置440~444に関連付けられ得る。例えば、虹彩構造134A~134Cはそれぞれ、位置440~444にあり得る。
ここで図5Aを参照すると、ワイヤフレームオーバーレイの一例が示されている。3次元画像は、ワイヤフレームオーバーレイ510であり得るか、又はそれを含み得る。
ここで図5Bを参照すると、眼及び虹彩構造の一例が示されている。示されるように、眼122は、虹彩構造134A~134Cを含み得る。
ここで図5C及び図5Dを参照すると、3次元画像の例が示されている。図5Cに示されるように、ワイヤフレーム510は、図眼122上に表示され得る。例えば、ワイヤフレーム510は、図眼122上にオーバーレイされ得る。MID250は、図眼122上にワイヤフレーム510をオーバーレイすることができる。図5Dに示されるように、グラフィック520及び522は、図眼122上に表示され得る。例えば、グラフィック520及び522は、図眼122上にオーバーレイされ得る。MID250は、図眼122上にグラフィック520及び522をオーバーレイすることができる。例えば、グラフィック520及び522は、眼122の切開部位の位置を示し得る。
MID250は、1つ以上の3次元画像を外科医210に提供することができる。MID250は、ディスプレイ262A及び262Bを介して、1つ以上の3次元画像を外科医210に提供することができる。例えば、1つ以上の3次元画像は、1つ以上の3次元オーバーレイ画像を含み得る。MID250は、1つ以上の3次元画像を提供する際に、1つ以上の深度の外観をシミュレーションすることができる。外科医210は、1つ以上の画像を3次元として知覚することができる。例えば、ディスプレイ262Aは、第1の2次元オーバーレイ画像を外科医210に提供することができ、ディスプレイ262Bは、第2の2次元オーバーレイ画像を外科医210に同時に提供することができる。第2の2次元オーバーレイ画像は、第1の2次元オーバーレイ画像とわずかに異なり得る。例えば、第2の2次元オーバーレイ画像の第1の2次元オーバーレイ画像との差は、第2の2次元オーバーレイ画像及び第1の2次元オーバーレイ画像におけるオブジェクトの相対的な水平位置にあり得る。第1の2次元オーバーレイ画像におけるオブジェクトと第2の2次元オーバーレイ画像におけるオブジェクトとの位置の差は、水平方向視差と呼ばれ得る。より一般的には、例えば、第1の2次元オーバーレイ画像におけるオブジェクトと第2の2次元オーバーレイ画像におけるオブジェクトとの位置差は、両眼視差と呼ばれ得る。
ディスプレイ262A及び262Bは、水平方向視差が異なる「平坦な」画像(例えば、2次元画像)から深度の錯覚を提供することができる。例えば、ディスプレイ262Aは、外科医210の左眼に対して第1の2次元オーバーレイ画像を提供することができ、ディスプレイ262Bは、外科医210の右眼に対して第2の2次元オーバーレイ画像を提供することができる。外科医210が左眼に対する第1の2次元オーバーレイ画像を視認し、同時に右眼に対する第2の2次元オーバーレイ画像を視認すると、外科医210は単一の3次元オーバーレイ画像を見ることができる。例えば、外科医210の脳は、外科医210の左眼に対する第1の2次元オーバーレイ画像と外科医210の右眼に対する第2の2次元オーバーレイ画像との間の小さな水平方向の不一致を受け入れることができ、これにより、外科医210は、深度を有する単一の画像を見る(例えば、知覚する)ことが可能になる。これは、立体視と呼ばれ得る。深度を有する単一の画像は、3次元オーバーレイ画像であり得る。
ステレオ画像は、第1の2次元オーバーレイ画像及び第2の2次元オーバーレイ画像を作成することを介して生成され得る。例えば、第1の2次元オーバーレイ画像は、平坦な第1の画像であり得、第2の2次元オーバーレイ画像は、平坦な第2の画像であり得る。第1の平坦な第1の画像及び第2の平坦な画像は、ステレオペアと呼ばれ得る。例えば、第1の平坦な第1の画像は左眼用であり得、第2の平坦な第1の画像は右眼用であり得る。第1の平坦な画像は、左眼の位置に対してレンダリングされ得る。第2の平坦な画像は、左眼の位置に水平オフセットを適用することを介してレンダリングされ得る。例えば、水平オフセットは、眼間距離であり得る。典型的な眼間距離は、例えば、約6.5cmであり得る。
MID250は、眼間距離を判定することができる。例えば、接眼レンズ252A及び252Bは、調整可能であり得る。接眼レンズ252A及び252Bは、外科医210に関連付けられた眼間距離に合わせて調整され得る。MID250のセンサは、接眼レンズ252Aと252Bとの間の距離を判定する際に利用され得る。例えば、外科医210に関連付けられた眼間距離は、少なくとも接眼レンズ252Aと252Bとの間の距離に基づいて判定され得る。
ここで図6を参照すると、コンピュータシステムの一例が示されている。示されるように、コンピュータシステム600は、プロセッサ610、揮発性メモリ媒体620、不揮発性メモリ媒体630、及び入力/出力(I/O)デバイス640を含み得る。図示されるように、揮発性メモリ媒体620、不揮発性メモリ媒体630、及びI/Oデバイス640は、プロセッサ610に通信可能に結合され得る。
「メモリ媒体」という用語は、「メモリ」、「記憶デバイス」、「メモリデバイス」、「コンピュータ可読媒体」、及び/又は「有形コンピュータ可読記憶媒体」を意味し得る。例えば、メモリ媒体は、ハードディスクドライブを含む直接アクセス記憶デバイス、テープディスクドライブなどのシーケンシャルアクセス記憶デバイス、コンパクトディスク(CD)、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、CD-ROM、デジタル多用途ディスク(DVD)、電気的消去可能なプログラマブル読み出し専用メモリ(EEPROM)、フラッシュメモリ、非一時的媒体、及び/又は前述したものの1つ以上の組み合わせなどの、記憶媒体を限定なしに含み得る。図示されるように、不揮発性メモリ媒体630は、プロセッサ命令632を含み得る。プロセッサ命令632は、プロセッサ610によって実行され得る。一例では、プロセッサ命令632の1つ以上の部分は、不揮発性メモリ媒体630を介して実行され得る。別の例では、プロセッサ命令632の1つ以上の部分は、揮発性メモリ媒体620を介して実行され得る。プロセッサ命令632の1つ以上の部分は、揮発性メモリ媒体620に転送され得る。
プロセッサ610は、本明細書で説明される1つ以上のシステム、1つ以上のフローチャート、1つ以上のプロセス及び/又は1つ以上の方法の少なくとも一部分を実施する際にプロセッサ命令632を実行し得る。例えば、プロセッサ命令632は、本明細書で説明される1つ以上のシステム、1つ以上のフローチャート、1つ以上の方法、及び/又は1つ以上のプロセスの少なくとも一部分による命令で構成、コード化及び/又は符号化され得る。プロセッサ610は、単一プロセッサとして図示されているが、プロセッサ610は、複数のプロセッサであり得るか又はそれらを含み得る。記憶媒体及びメモリ媒体のうちの1つ以上は、ソフトウェア製品、プログラム製品、及び/又は製造品であり得る。例えば、ソフトウェア製品、プログラム製品及び/又は製造品は、本明細書に記載の1つ以上のシステム、1つ以上のフローチャート、1つ以上の方法、及び/又は1つ以上のプロセスの少なくとも一部分に従い、プロセッサにより実行可能な命令で構成、コード化及び/又は符号化され得る。
プロセッサ610は、メモリ媒体に記憶され、及び/又はネットワークを介して受信されるプログラム命令、プロセスデータ、又はその両方を解釈及び実行するように動作可能な任意の適切なシステム、デバイス又は装置を含み得る。プロセッサ610は、1つ以上のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、又はプログラム命令、プロセスデータ、若しくはその両方を解釈及び実行するように構成される他の回路を更に含み得る。
I/Oデバイス640は、ユーザからの入力及びユーザへの出力を容易にすることにより、ユーザがコンピュータシステム600及びその関連コンポーネントと対話することを可能にし、許可し、及び/又は有効にする任意の手段又は複数の手段を含み得る。ユーザからの入力を容易にすることにより、ユーザがコンピュータシステム600を操作及び/又は制御することを可能にし得、またユーザへの出力を容易にすると、コンピュータシステム600がユーザの操作及び/又は制御の効果を示すことを可能にし得る。例えば、I/Oデバイス640は、ユーザがデータ、命令又はその両方をコンピュータシステム600に入力することと、コンピュータシステム600及びその関連コンポーネントを操作及び/又は制御することとを可能にし得る。I/Oデバイスは、ユーザインターフェースデバイス、例えばキーボード、マウス、タッチスクリーン、ジョイスティック、ハンドヘルドレンズ、ツールトラッキングデバイス、座標入力デバイス又はシステムで用いるのに適した他の任意のI/Oデバイスを含み得る。
I/Oデバイス640は、プロセッサ610が、本明細書で説明される1つ以上のシステム、プロセス及び/又は方法の少なくとも一部分を実施することを容易にし及び/又は許可し得る、特に1つ以上のバス、1つ以上のシリアルデバイス及び/又は1つ以上のネットワークインターフェースを含み得る。一例では、I/Oデバイス640は、プロセッサ610が外部ストレージと通信することを容易にし及び/又は許可し得るストレージインターフェースを含み得る。ストレージインターフェースは、特に、ユニバーサルシリアルバス(USB)インターフェース、SATA(シリアルATA)インターフェース、PATA(パラレルATA)インターフェース、及び小型計算機システムインターフェース(SCSI)のうちの1つ以上を含み得る。第2の例では、I/Oデバイス640は、プロセッサ610がネットワークと通信することを容易にし及び/又は許可し得るネットワークインターフェースを含み得る。I/Oデバイス640は、無線ネットワークインターフェース及び有線ネットワークインターフェースのうちの1つ以上を含み得る。第3の例では、I/Oデバイス640は、特に、ペリフェラルコンポーネントインタコネクト(PCI)インターフェース、PCIエクスプレス(PCIe)インターフェース、シリアルペリフェラルインタコネクト(SPI)インターフェース、及びアイスクエアドシー(inter-integrated circuit:I2C)インターフェースのうちの1つ以上を含み得る。第4の例では、I/Oデバイス640は、プロセッサ610が1つ以上のセンサとデータを通信することを可能にし得る回路を含み得る。第5の例では、I/Oデバイス640は、プロセッサ610が特にディスプレイ650及びMID660の1つ以上とデータを通信することを容易にし及び/又は許可し得る。別の例では、I/Oデバイス640は、プロセッサ610が撮像デバイス670とデータを通信することを容易にし及び/又は許可し得る。図示されるように、I/Oデバイス640は、ネットワーク680に結合され得る。例えば、I/Oデバイス640は、ネットワークインターフェースを含んでいてもよい。
ネットワーク680は、数ある中でも、有線ネットワーク、無線ネットワーク、光ネットワーク、又は前述のものの組み合わせを含んでいてもよい。ネットワーク680は、様々な種類の通信ネットワークを含み得、及び/又はそれに結合され得る。例えば、ネットワーク680は、特に、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、公衆交換電話網(PSTN)、携帯電話ネットワーク、衛星電話ネットワーク、又は前述のものの組み合わせを含み得、及び/又はそれに結合され得る。WANは、特に、プライベートWAN、コーポレートWAN、パブリックWAN、又は前述のものの組み合わせを含み得る。
本明細書に記載されるコンピュータシステムは、コンピュータシステム600に関して説明されたもののような1つ以上の構造及び/又は1つ以上の機能を含み得る。一例では、コンピュータシステム112は、コンピュータシステム600に関して説明されたもののような1つ以上の構造及び/又は1つ以上の機能を含み得る。第2の例では、コンピュータシステム230は、コンピュータシステム600に関して説明されたもののような1つ以上の構造及び/又は1つ以上の機能を含み得る。別の例では、MID250のコンピュータシステムは、コンピュータシステム600に関して記述したものと同様の1つ以上の構造及び/又は1つ以上の機能を含み得る。
ここで図7を参照すると、医療システムを動作させる方法の一例が示されている。710において、患者の眼の第1の画像が受信され得る。例えば、コンピュータシステム230は、患者120の眼122の第1の画像を受信することができる。コンピュータシステム230は、画像センサから第1の画像を受信することができる。例えば、画像センサは、カメラであり得るか、又はカメラを含み得る。カメラは、光を、患者120の眼122の第1の画像を含む第1のデジタルデータに変換することができる。例えば、カメラは、第1のデジタルデータをコンピュータシステム230に提供することができる。コンピュータシステム230は、第1のデジタルデータを受信することができる。
715において、患者の眼の第1の画像から、患者の眼の複数の虹彩構造の位置を判定することができる。例えば、患者120の眼122の複数の虹彩構造134A~134Cの位置を判定することができる。720において、複数の虹彩構造の位置のうちの第1の位置を判定することができる。例えば、複数の虹彩構造134A~134Cは、図4Aに示されるように、第1の位置410~414にあり得る。
複数の虹彩構造134A~134Cの位置のうちの第1の位置を判定することは、θx、θy、及びφのうちの1つ以上を判定することを含み得る。例えば、第1の位置に関連付けられたθx、θy、及びφはそれぞれ、第1の角度、第2の角度、及び第3の角度に関連付けられ得る。第1の角度は、X軸に関連付けられ得る。第2の角度は、Y軸に関連付けられ得る。第3の角度は、Z軸又は任意の軸310に関連付けられ得る。一例では、第1の角度が非ゼロ角度に関連付けられているか、又は第2の角度が非ゼロ角度に関連付けられている場合、第3の角度は、任意の軸310の周りの回転に関連付けられ得る。別の例では、第1の角度がゼロであり、及び第2の角度がゼロである場合、第3の角度は、Z軸の周りの回転に関連付けられ得る。
725において、3次元オーバーレイ画像に関連付けられた第1の2次元オーバーレイ画像は、少なくとも複数の虹彩構造の位置のうちの第1の位置に基づいてレンダリングされ得る。例えば、3次元オーバーレイ画像に関連付けられた第1の2次元オーバーレイ画像は、少なくともX軸に関連付けられた第1の角度、Y軸に関連付けられた第2の角度、及び任意の軸の周りの回転角に基づいてレンダリングされ得る。図8Aに示されるように、3次元オーバーレイ画像810に関連付けられた第1の2次元オーバーレイ画像は、少なくとも位置820に基づいてレンダリングされ得る。図8Bに示されるように、3次元オーバーレイ画像810は、ワイヤフレーム510を含み得る。例えば、ワイヤフレーム510は、少なくともθxに基づいてレンダリングされ得る。ワイヤフレーム510は、θxだけ回転され得る。図8Dに示されるように。3次元オーバーレイ画像810は、グラフィック520及び522を含み得る。例えば、グラフィック520及び522は、少なくともθxに基づいてレンダリングされ得る。グラフィック520及び522は、θxだけ回転され得る。730において、第1の2次元オーバーレイ画像は、医療システムの第1のディスプレイを介して表示され得る。例えば、第1の2次元オーバーレイ画像は、ディスプレイ162Aを介して表示され得る。ディスプレイ162Aは、接眼レンズ152Aを介して、第1の2次元オーバーレイ画像を表示することができる。
735において、3次元オーバーレイ画像に関連付けられた第2の2次元オーバーレイ画像は、少なくとも複数の虹彩構造の位置のうちの第1の位置に基づいて、及び少なくとも水平オフセットに基づいて、レンダリングされ得る。例えば、3次元オーバーレイ画像に関連付けられた第2の2次元オーバーレイ画像は、少なくともX軸に関連付けられた第1の角度、Y軸に関連付けられた第2の角度、及び任意の軸の周りの回転角に基づいて、並びに少なくとも水平オフセットに基づいて、レンダリングされ得る。3次元オーバーレイ画像810に関連付けられた第2の2次元オーバーレイ画像は、図8Aに示されるように、少なくとも位置822に基づいてレンダリングされ得る。例えば、3次元オーバーレイ画像810に関連付けられた第2の2次元オーバーレイ画像は、図8Aに示されるように、少なくとも水平オフセット830に基づいてレンダリングされ得る。水平オフセット830は、眼間距離であり得る。例えば、眼間距離は、外科医210の眼の間の距離と関連付けられ得る。水平オフセット830は、少なくとも接眼レンズ252Aと252Bとの間の距離に基づき得る。
740において、第2の2次元オーバーレイ画像は、医療システムの第2のディスプレイを介して表示され得る。例えば、第2の2次元オーバーレイ画像は、ディスプレイ162Bを介して表示され得る。ディスプレイ162Bは、接眼レンズ152Bを介して第2の2次元オーバーレイ画像を表示することができる。第2の2次元オーバーレイ画像は、第1の2次元オーバーレイ画像と同時に表示することができる。例えば、外科医210が第2の2次元オーバーレイ画像を第1の2次元オーバーレイ画像と同時に視認すると、第2の2次元オーバーレイ画像及び第1の2次元オーバーレイ画像は、3次元オーバーレイ画像810を外科医210に提供することができる。外科医210は、MID250を介して、図8Cに示されるように、少なくともθxに基づいてレンダリングされ、眼122上にオーバーレイされた3次元オーバーレイ画像810を見ることができる。図8B~図8Dに示される例は、θxに基づくレンダリングを示しているが、3次元オーバーレイ画像810のレンダリングは、少なくともθx、θy、及びφのうちの1つ以上に基づき得る。
745において、患者の眼の第2の画像が受信され得る。例えば、コンピュータシステム230は、患者120の眼122の第2の画像を受信することができる。コンピュータシステム230は、画像センサから第2の画像を受信することができる。例えば、画像センサは、カメラであり得るか、又はカメラを含み得る。カメラは、光を第2のデジタルデータに変換することができる。例えば、カメラは、第2のデジタルデータをコンピュータシステム230に提供することができる。750において、複数の虹彩構造の位置が第1の位置にないことが判定され得る。例えば、眼122は、動いた可能性がある。眼122が動いた場合、複数の虹彩構造134A~134Cの位置は、第1の位置にない場合がある。例えば、眼122が動いた場合、図4Aに示されるように、複数の虹彩構造134A~134Cの位置は、第1の位置にない場合がある。
755において、複数の虹彩構造の位置のうちの第2の位置が判定され得る。一例では、複数の虹彩構造134A~134Cは、図4Bに示されるように、第2の位置420~424にあり得る。第2の例では、複数の虹彩構造134A~134Cは、図4Cに示されるように、第2の位置430~434にあり得る。別の例では、複数の虹彩構造134A~134Cは、図4Dに示されるように、第2の位置440~444にあり得る。複数の虹彩構造の位置のうちの第2の位置は、複数の虹彩構造の位置が第1の位置にないことの判定に応じて判定され得る。複数の虹彩構造134A~134Cの位置のうちの第2の位置を判定することは、θ’x、θ’y、及びφ’のうちの1つ以上を判定することを含み得る。例えば、第2の位置に関連付けられたθ’x、θ’y、及びφ’はそれぞれ、第1の角度、第2の角度、及び第3の角度に関連付けられ得る。θ’x、θ’y、及びφ’うちの少なくとも1つはそれぞれ、θx、θy、及びφのうちの少なくとも1つとは異なり得る。
760において、3次元オーバーレイ画像に関連付けられた第3の2次元オーバーレイ画像は、少なくとも複数の虹彩構造の位置のうちの第2の位置に基づいてレンダリングされ得る。例えば、3次元オーバーレイ画像810は、複数の虹彩構造134A~134Cの位置のうちの少なくとも第2の位置に基づいて変化し得る。3次元オーバーレイ画像に関連付けられた第3の2次元オーバーレイ画像は、少なくともX軸に関連付けられた第4の角度、Y軸に関連付けられた第5の角度、及び任意の軸の周りの回転角に基づいてレンダリングされ得る。図8Aに示されるように、3次元オーバーレイ画像810に関連付けられた第3の2次元オーバーレイ画像は、少なくとも位置820に基づいてレンダリングされ得る。ワイヤフレーム510は、少なくともθ’xに基づいてレンダリングされ得る。ワイヤフレーム510は、θ’xだけ回転され得る。グラフィック520及び522は、少なくともθ’xに基づいてレンダリングされ得る。グラフィック520及び522は、θ’xだけ回転され得る。
765において、第3の2次元オーバーレイ画像は、医療システムの第1のディスプレイを介して表示され得る。例えば、第3の2次元オーバーレイ画像は、ディスプレイ162Aを介して表示され得る。ディスプレイ162Aは、接眼レンズ152Aを介して、第3の2次元オーバーレイ画像を表示することができる。770において、3次元オーバーレイ画像に関連付けられた第4の2次元オーバーレイ画像は、少なくとも複数の虹彩構造の位置のうちの第1の位置に基づいて、及び少なくとも水平オフセットに基づいて、レンダリングされ得る。例えば、3次元2次元オーバーレイ画像に関連付けられた第4の2次元オーバーレイ画像は、少なくともX軸に関連付けられた第4の角度、Y軸に関連付けられた第5の角度、及び任意の軸の周りの回転角に基づいて、並びに少なくとも水平オフセットに基づいて、レンダリングされ得る。3次元オーバーレイ画像810に関連付けられた第4の2次元オーバーレイ画像は、図8Aに示されるように、少なくとも位置822に基づいてレンダリングされ得る。例えば、3次元オーバーレイ画像810に関連付けられた第4の2次元オーバーレイ画像は、図8Aに示されるように、少なくとも水平オフセット830に基づいてレンダリングされ得る。
775において、第4の2次元オーバーレイ画像は、医療システムの第2のディスプレイを介して表示され得る。例えば、第4の2次元オーバーレイ画像は、ディスプレイ162Bを介して表示され得る。ディスプレイ162Bは、接眼レンズ152Bを介して、第4の2次元オーバーレイ画像を表示することができる。第4の2次元オーバーレイ画像は、第3の2次元オーバーレイ画像と同時に表示することができる。例えば、外科医210が第4の2次元オーバーレイ画像を第3の2次元オーバーレイ画像と同時に視認すると、第4の2次元オーバーレイ画像及び第3の2次元オーバーレイ画像は、3次元オーバーレイ画像810を外科医210に提供することができる。外科医210は、MID250を介して、図8Eに示されるように、少なくともθ’xに基づいてレンダリングされ、眼122上にオーバーレイされた3次元オーバーレイ画像810を見ることができる。3次元オーバーレイ画像810は、図8Fに示されるように、グラフィック520及び522を含み得る。例えば、グラフィック520及び522は、眼122の切開部位を示し得る。図8E~図8Fに示される例は、θ’xに基づくレンダリングを示しているが、3次元オーバーレイ画像810のレンダリングは、少なくともθ’x、θ’y、及びφ’のうちの1つ以上に基づき得る。
方法及び/若しくはプロセス要素の1つ以上、並びに/又は方法及び/若しくはプロセッサ要素の1つ以上の部分は、変化した順序で実行されるか、反復されるか又は省略され得る。更に、追加の、補足の、及び/又は重複した方法、及び/又はプロセス要素は、必要に応じて実施、インスタンス化、及び/又は実行され得る。更に、必要に応じて、システム要素の1つ以上を省略し得、及び/又は追加のシステム要素を追加し得る。
メモリ媒体は、製造品であり得、及び/又は製造品を含み得る。例えば、製造品は、ソフトウェア製品及び/若しくはプログラム製品を含み得、及び/又はソフトウェア製品及び/若しくはプログラム製品であり得る。メモリ媒体は、製造品を製造するために、本明細書で説明された1つ以上のフローチャート、システム、方法、及び/又はプロセスに従って、プロセッサ実行可能な命令でコード化及び/又は符号化され得る。
上記で開示された主題は、限定ではなく、例示としてみなされるべきであり、添付された特許請求の範囲は、本開示の真の趣旨及び範囲内にある全てのそのような修正形態、拡張形態及び他の実装形態を包含するように意図される。したがって、法律で認められる最大限の範囲において、本開示の範囲は、以下の特許請求の範囲及びそれらの均等物の最も広い許容可能な解釈によって判断され、上述の詳細な説明によって制限又は限定されないものとする。
Claims (20)
- 医療システムであって、
少なくとも1つのプロセッサと、
前記プロセッサに結合された複数のディスプレイと、
前記少なくとも1つのプロセッサに結合され及び命令を含む、メモリ媒体であって、前記命令が前記少なくとも1つのプロセッサによって実行されると、前記システムに、
患者の眼の第1の画像を受信させ、
前記患者の前記眼の前記第1の画像から、前記患者の前記眼の複数の虹彩構造の位置を判定させ、
前記複数の虹彩構造の前記位置のうちの第1の位置を判定させ、
少なくとも前記複数の虹彩構造の前記位置のうちの前記第1の位置に基づいて、3次元オーバーレイ画像に関連付けられた第1の2次元オーバーレイ画像をレンダリングさせ、
前記複数のディスプレイのうちの第1のディスプレイを介して、前記3次元オーバーレイ画像に関連付けられた前記第1の2次元オーバーレイ画像を表示させ、
少なくとも前記複数の虹彩構造の前記位置のうちの前記第1の位置に基づいて、及び少なくとも水平オフセットに基づいて、前記3次元オーバーレイ画像に関連付けられた第2の2次元オーバーレイ画像をレンダリングさせ、
前記複数のディスプレイのうちの第2のディスプレイを介して、前記3次元オーバーレイ画像に関連付けられた前記第2の2次元オーバーレイ画像を表示させ、
前記患者の前記眼の第2の画像を受信させ、
前記患者の前記眼の前記第2の画像から、前記複数の虹彩構造の前記位置のうちの第2の位置を判定させ、
少なくとも前記複数の虹彩構造の前記位置のうちの前記第2の位置に基づいて、前記3次元オーバーレイ画像に関連付けられた第3の2次元オーバーレイ画像をレンダリングさせ、
前記第1のディスプレイを介して、前記3次元オーバーレイ画像に関連付けられた前記第3の2次元オーバーレイ画像を表示させ、
少なくとも前記複数の虹彩構造の前記位置のうちの前記第2の位置に基づいて、及び少なくとも前記水平オフセットに基づいて、前記3次元オーバーレイ画像に関連付けられた第4の2次元オーバーレイ画像をレンダリングさせ、
前記第2のディスプレイを介して、前記3次元オーバーレイ画像に関連付けられた前記第4の2次元オーバーレイ画像を表示させる、メモリ媒体と、
を備える、医療システム。 - 前記命令が、前記システムに、前記複数の虹彩構造の前記位置が前記第1の位置にないことを更に判定させる、請求項1に記載のシステム。
- 前記複数の虹彩構造の前記位置のうちの前記第2の位置を判定することが、前記複数の虹彩構造の前記位置が前記第1の位置にないことを判定することに応じて実行される、請求項2に記載のシステム。
- 前記水平オフセットが、眼間距離である、請求項1に記載のシステム。
- 複数の接眼レンズを更に備え、
前記命令が、前記システムに更に、
前記複数の接眼レンズの2つの接眼レンズ間の距離を判定させ、
少なくとも前記2つの接眼レンズ間の距離に基づいて、前記眼間距離を判定させる、請求項4に記載のシステム。 - 顕微鏡一体型ディスプレイを更に備え、
前記顕微鏡一体型ディスプレイが、前記2つの接眼レンズを含む、請求項5に記載のシステム。 - 前記眼間距離が、外科医の眼の間の距離と関連付けられている、請求項4に記載のシステム。
- 複数の接眼レンズを更に備え、
前記第1のディスプレイを介して、前記3次元オーバーレイ画像に関連付けられた前記第1の2次元オーバーレイ画像を表示するために、前記命令が、前記システムに更に、前記複数の接眼レンズのうちの第1の接眼レンズを介して、前記3次元オーバーレイ画像に関連付けられた前記第1の2次元オーバーレイ画像を表示させ、
前記第2のディスプレイを介して、前記3次元オーバーレイ画像に関連付けられた前記第2の2次元オーバーレイ画像を表示するために、前記命令が、前記システムに更に、前記複数の接眼レンズのうちの第2の接眼レンズを介して、前記3次元オーバーレイ画像に関連付けられた前記第2の2次元オーバーレイ画像を表示させる、請求項1に記載のシステム。 - 前記3次元オーバーレイ画像が、前記患者の前記眼に関連付けられた切開位置を示す少なくとも1つのグラフィックを含む、請求項1に記載のシステム。
- 前記複数の虹彩構造の前記位置のうちの前記第1の位置を判定するために、前記命令が、前記システムに、X軸に関連付けられた第1の角度、Y軸に関連付けられた第2の角度、及び任意の軸の周りの回転角のうちの少なくとも1つを更に判定させる、請求項1に記載のシステム。
- 医療システムを動作させる方法であって、
患者の眼の第1の画像を受信することと、
前記患者の前記眼の前記第1の画像から、前記患者の前記眼の複数の虹彩構造の位置を判定することと、
前記複数の虹彩構造の前記位置のうちの第1の位置を判定することと、
少なくとも前記複数の虹彩構造の前記位置のうちの前記第1の位置に基づいて、3次元オーバーレイ画像に関連付けられた第1の2次元オーバーレイ画像をレンダリングすることと、
前記医療システムの第1のディスプレイを介して、前記3次元オーバーレイ画像に関連付けられた前記第1の2次元オーバーレイ画像を表示することと、
少なくとも前記複数の虹彩構造の前記位置のうちの前記第1の位置に基づいて、及び少なくとも水平オフセットに基づいて、前記3次元オーバーレイ画像に関連付けられた第2の2次元オーバーレイ画像をレンダリングすることと、
前記医療システムの第2のディスプレイを介して、前記3次元オーバーレイ画像に関連付けられた前記第2の2次元オーバーレイ画像を表示することと、
前記患者の前記眼の第2の画像を受信することと、
前記患者の前記眼の前記第2の画像から、前記複数の虹彩構造の前記位置のうちの第2の位置を判定することと、
少なくとも前記複数の虹彩構造の前記位置のうちの前記第2の位置に基づいて、前記3次元オーバーレイ画像に関連付けられた第3の2次元オーバーレイ画像をレンダリングすることと、
前記医療システムの前記第1のディスプレイを介して、前記3次元オーバーレイ画像に関連付けられた前記第3の2次元オーバーレイ画像を表示することと、
少なくとも前記複数の虹彩構造の前記位置のうちの前記第2の位置に基づいて、及び少なくとも前記水平オフセットに基づいて、前記3次元オーバーレイ画像に関連付けられた第4の2次元オーバーレイ画像をレンダリングすることと、
前記医療システムの前記第2のディスプレイを介して、前記3次元オーバーレイ画像に関連付けられた前記第4の2次元オーバーレイ画像を表示することと
を含む、方法。 - 前記複数の虹彩構造の前記位置が前記第1の位置にないことを判定することを更に含む、請求項11に記載の方法。
- 前記複数の虹彩構造の前記位置のうちの前記第2の位置を判定することが、前記複数の虹彩構造の前記位置が前記第1の位置にないことを判定することに応じて実行される、請求項12に記載の方法。
- 前記水平オフセットが、眼間距離である、請求項11に記載の方法。
- 前記医療システムの複数の2つの接眼レンズ間の距離を判定することと、
少なくとも前記2つの接眼レンズ間の距離に基づいて、前記眼間距離を判定することと
を更に含む、請求項14に記載の方法。 - 前記医療システムの顕微鏡一体型ディスプレイが、前記2つの接眼レンズを含む、請求項15に記載の方法。
- 前記眼間距離が、外科医の眼の間の距離と関連付けられている、請求項14に記載の方法。
- 前記医療システムの前記第1のディスプレイを介して、前記3次元オーバーレイ画像に関連付けられた前記第1の2次元オーバーレイ画像を表示することが、前記医療システムの第1の接眼レンズを介して、前記3次元オーバーレイ画像に関連付けられた前記第1の2次元オーバーレイ画像を表示することを含み、
前記医療システムの前記第2のディスプレイを介して、前記3次元オーバーレイ画像に関連付けられた前記第2の2次元オーバーレイ画像を表示することが、前記医療システムの第2の接眼レンズを介して、前記3次元オーバーレイ画像に関連付けられた前記第2の2次元オーバーレイ画像を表示することを含む、請求項11に記載の方法。 - 前記3次元オーバーレイ画像が、前記患者の前記眼に関連付けられた切開位置を示す少なくとも1つのグラフィックを含む、請求項11に記載の方法。
- 前記複数の虹彩構造の前記位置のうちの前記第1の位置を前記判定することが、X軸に関連付けられた第1の角度、Y軸に関連付けられた第2の角度、及び任意の軸の周りの回転角のうちの少なくとも1つを判定することを含む、請求項11に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962927413P | 2019-10-29 | 2019-10-29 | |
US62/927,413 | 2019-10-29 | ||
PCT/IB2020/059958 WO2021084391A1 (en) | 2019-10-29 | 2020-10-22 | System and method of utilizing three-dimensional overlays with medical procedures |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023500242A true JP2023500242A (ja) | 2023-01-05 |
Family
ID=73131789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022525095A Pending JP2023500242A (ja) | 2019-10-29 | 2020-10-22 | 医療処置に3次元オーバーレイを利用するシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11272990B2 (ja) |
EP (1) | EP4051084B1 (ja) |
JP (1) | JP2023500242A (ja) |
ES (1) | ES2967387T3 (ja) |
WO (1) | WO2021084391A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11923084B2 (en) | 2018-09-07 | 2024-03-05 | Cilag Gmbh International | First and second communication protocol arrangement for driving primary and secondary devices through a single port |
US20200078118A1 (en) | 2018-09-07 | 2020-03-12 | Ethicon Llc | Power and communication mitigation arrangement for modular surgical energy system |
US11804679B2 (en) | 2018-09-07 | 2023-10-31 | Cilag Gmbh International | Flexible hand-switch circuit |
EP3690609B1 (en) * | 2019-01-30 | 2021-09-22 | DENTSPLY SIRONA Inc. | Method and system for controlling dental machines |
USD939545S1 (en) | 2019-09-05 | 2021-12-28 | Cilag Gmbh International | Display panel or portion thereof with graphical user interface for energy module |
US11980411B2 (en) | 2021-03-30 | 2024-05-14 | Cilag Gmbh International | Header for modular energy system |
US11950860B2 (en) | 2021-03-30 | 2024-04-09 | Cilag Gmbh International | User interface mitigation techniques for modular energy systems |
US11968776B2 (en) | 2021-03-30 | 2024-04-23 | Cilag Gmbh International | Method for mechanical packaging for modular energy system |
US11978554B2 (en) | 2021-03-30 | 2024-05-07 | Cilag Gmbh International | Radio frequency identification token for wireless surgical instruments |
US11857252B2 (en) | 2021-03-30 | 2024-01-02 | Cilag Gmbh International | Bezel with light blocking features for modular energy system |
US12004824B2 (en) | 2021-03-30 | 2024-06-11 | Cilag Gmbh International | Architecture for modular energy system |
US11963727B2 (en) | 2021-03-30 | 2024-04-23 | Cilag Gmbh International | Method for system architecture for modular energy system |
US20220336078A1 (en) * | 2021-04-14 | 2022-10-20 | Cilag Gmbh International | System and method for tracking a portion of the user as a proxy for non-monitored instrument |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE60030995T2 (de) * | 1999-10-21 | 2007-06-06 | Technolas Gmbh Ophthalmologische Systeme | Iriserkennung und Nachführung zum Behandeln optischer Ungleichmäßigkeiten des Auges |
US20050117118A1 (en) | 2001-10-05 | 2005-06-02 | David Miller | Digital ophthalmic workstation |
US9226798B2 (en) * | 2008-10-10 | 2016-01-05 | Truevision Systems, Inc. | Real-time surgical reference indicium apparatus and methods for surgical applications |
US9173717B2 (en) * | 2009-02-20 | 2015-11-03 | Truevision Systems, Inc. | Real-time surgical reference indicium apparatus and methods for intraocular lens implantation |
DE102016003512A1 (de) * | 2016-03-22 | 2017-09-28 | Rodenstock Gmbh | Verfahren und Vorrichtung zur Ermittlung von 3D-Koordinaten zumindest eines vorbestimmten Punktes eines Objekts |
EP3451898B1 (en) * | 2016-05-02 | 2023-06-21 | Alcon Inc. | Overlay imaging for registration of a patient eye for laser surgery |
US20190117459A1 (en) * | 2017-06-16 | 2019-04-25 | Michael S. Berlin | Methods and Systems for OCT Guided Glaucoma Surgery |
US20180360655A1 (en) * | 2017-06-16 | 2018-12-20 | Michael S. Berlin | Methods and systems for oct guided glaucoma surgery |
-
2020
- 2020-10-22 WO PCT/IB2020/059958 patent/WO2021084391A1/en unknown
- 2020-10-22 EP EP20801410.0A patent/EP4051084B1/en active Active
- 2020-10-22 JP JP2022525095A patent/JP2023500242A/ja active Pending
- 2020-10-22 US US17/078,026 patent/US11272990B2/en active Active
- 2020-10-22 ES ES20801410T patent/ES2967387T3/es active Active
Also Published As
Publication number | Publication date |
---|---|
US11272990B2 (en) | 2022-03-15 |
WO2021084391A1 (en) | 2021-05-06 |
EP4051084B1 (en) | 2023-11-01 |
ES2967387T3 (es) | 2024-04-30 |
US20210121246A1 (en) | 2021-04-29 |
EP4051084A1 (en) | 2022-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4051084B1 (en) | System and method of utilizing three-dimensional overlays with medical procedures | |
US11822089B2 (en) | Head wearable virtual image module for superimposing virtual image on real-time image | |
CN110770636A (zh) | 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制系统 | |
US20230206439A1 (en) | System and method of utilizing one or more images of an eye in medical procedures | |
WO2021149056A1 (en) | System and method for improved electronic assisted medical procedures | |
US11759359B2 (en) | System and method of determining incision depths in eyes | |
US20210177256A1 (en) | System and method of determining topographies associated with ophthalmic procedures | |
JP2017191546A (ja) | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 | |
US11543663B2 (en) | System and method for alignment between real and virtual objects in a head-mounted optical see-through display | |
US20210177651A1 (en) | System and method of corneal cross-linking | |
US11726032B2 (en) | System and method of determining issues with optical components | |
US11510742B2 (en) | System and method of utilizing computer-aided identification with medical procedures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240626 |