CN111936034A - 用于数字显微镜的自动xy定心 - Google Patents
用于数字显微镜的自动xy定心 Download PDFInfo
- Publication number
- CN111936034A CN111936034A CN201980024956.6A CN201980024956A CN111936034A CN 111936034 A CN111936034 A CN 111936034A CN 201980024956 A CN201980024956 A CN 201980024956A CN 111936034 A CN111936034 A CN 111936034A
- Authority
- CN
- China
- Prior art keywords
- view
- field
- center
- eye
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001356 surgical procedure Methods 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000012800 visualization Methods 0.000 claims description 18
- 210000003128 head Anatomy 0.000 claims description 15
- 210000001747 pupil Anatomy 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 13
- 210000001525 retina Anatomy 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 9
- 238000005286 illumination Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 6
- 208000002177 Cataract Diseases 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000000386 microscopy Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 239000002775 capsule Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000004127 vitreous body Anatomy 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000031471 Macular fibrosis Diseases 0.000 description 1
- 208000002367 Retinal Perforations Diseases 0.000 description 1
- 206010038848 Retinal detachment Diseases 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 208000034698 Vitreous haemorrhage Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000004410 intraocular pressure Effects 0.000 description 1
- 208000018769 loss of vision Diseases 0.000 description 1
- 231100000864 loss of vision Toxicity 0.000 description 1
- 208000029233 macular holes Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000000608 photoreceptor cell Anatomy 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004264 retinal detachment Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
- A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
- A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Veterinary Medicine (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
- Microscoopes, Condenser (AREA)
Abstract
描述了一种用于在眼科手术期间在XY平面中对处于高放大倍率下的患者眼睛的视场自动定心的方法和系统。所述方法包括自动将所述视场的中心移动到在实时视频信号中检测到的圆形图像的中心,所述实时视频信号是在眼科手术期间从处于高放大倍率下的患者眼睛视场中获取的。被配置为执行所述方法的系统具有处理器和所述处理器可访问的非暂时性计算机可读介质,所述非暂时性计算机可读介质包含可由所述处理器执行的指令,以执行所述方法。
Description
背景技术
本公开涉及眼科手术,更具体地涉及一种被配置为允许在眼科手术期间在XY平面中对处于高放大倍率的患者眼睛的视场自动定心的方法和系统。
在眼科学中,眼科手术每年拯救和改善成千上万患者的视力。然而,考虑到视力对眼睛的甚至小变化的敏感度以及许多眼睛结构的微小而脆弱的性质,很难进行眼科手术,并且甚至小的或不寻常的手术错误的减少或手术技术的准确度的小幅改进都可以对患者术后的视力产生巨大的不同。
在眼科手术期间,外科医生使用显微镜来放大患者眼睛或被手术的眼睛的一部分的可视化。在眼科手术期间,外科医生可以使用接目镜(由称为目镜)来观看被显微镜放大的眼睛或其一部分。替代地,或另外,在眼科手术期间,被显微镜放大的眼睛或其一部分的图像可以显示在可由手术室中的外科医生和其他人员观看的屏幕上。然而,在眼科手术期间对屏幕上放大图像的显示的控制的改进仍然具有挑战性。
发明内容
本公开提供了一种被配置用于在眼科手术期间在XY平面中对处于高放大倍率下的患者眼睛的视场自动定心的方法和系统。所述系统包括处理器;以及处理器可访问的非暂时性计算机可读介质,所述非暂时性计算机可读介质包含可由所述处理器执行的指令,所述指令用于:从光电传感器获取实时视频信号,所述实时视频信号表示包括通过显微镜处于高放大倍率下的患者眼睛的视场,其中,所述视场包括正面XY平面;在显示器上显示在对应于所述实时视频信号的所述视场内的至少一个视图;检测所述实时视频信号中的圆形图像,其中,所述圆形图像包括所述视场中的目标图像;确定所述圆形图像的中心在所述视场的XY平面内的位置;确定所述视场的中心在所述XY平面中的位置;比较所述圆形图像的中心的位置和所述视场的中心的位置;在确定所述圆形图像的中心与所述视场的中心的位置之差时,将移动指令传输到电动显微镜支撑件,所述电动显微镜支撑件被配置为在所述XY平面中移动所述显微镜视场的位置,其中,所述移动指令引导所述显微镜视场的移动,以将所述视场的中心放置在所述圆形图像的中心的位置处;由此自动将所述视场的中心移动到在所述实时视频信号中检测到的所述圆形图像的中心,所述实时视频信号是在眼科手术期间从处于高放大倍率下的患者眼睛的视场中获取的。
本公开还提供一种在眼科手术期间在XY平面中对处于高放大倍率下的患者眼睛的视场自动定心的方法。所述方法包括以下步骤:通过处理器执行在非暂时性计算机可读介质中包含的指令来从光电传感器获取实时视频信号,所述实时视频信号表示包括通过显微镜处于高放大倍率下的所述患者眼睛的视场,其中,所述视场包括正面XY平面;通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来在显示器上显示在对应于所述实时视频信号的所述视场内的至少一个视图;通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来检测所述实时视频信号中的圆形图像,其中,所述圆形图像包括所述视场中的目标图像;通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来确定所述圆形图像的中心在所述视场的XY平面内的位置;通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来确定所述视场的中心在所述XY平面中的位置;通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来比较所述圆形图像的中心的位置和所述视场的中心的位置;以及在确定所述圆形图像的中心与所述视场的中心的位置之差时,通过所述处理器执行在所述非暂时性计算机可读存储器中包含的指令来将移动指令传输到电动显微镜支撑件,所述电动显微镜支撑件被配置为在所述XY平面中移动所述显微镜视场的位置,其中,所述移动指令引导所述显微镜视场的移动,以将所述视场的中心放置在所述圆形图像的中心的位置处;由此自动将所述视场的中心移动到在所述实时视频信号中检测到的所述圆形图像的中心,所述实时视频信号是在眼科手术期间从处于高放大倍率下的患者眼睛的视场中获取的。
在任何公开的实现方式中,所述系统和方法可以进一步包括以下细节:
i)所述视场的中心可以对应于所述显示器上的设定位置;
ii)所述显示器上的设定位置可以是所述显示器的中心;
iii)所述显示器可以是矩形显示器,并且所述显示器上的设定位置可以是所述矩形显示器的长边之间的中点的位置;
iv)所述圆形图像可以对应于可通过眼睛的瞳孔看到的患者眼睛的内部的被照明部分;
v)被传输到所述电动显微镜头部支撑件的移动指令可以包括速度参数,其中,所述速度的值根据所述视场的中心的位置与所述圆形图像的中心之间的距离而可变化;
vi)所述移动指令的速度的值随着所述视场的中心的位置与所述圆形图像的中心之间的距离的增加而增大;
vii)所述移动指令的速度的值可以线性地增大;
viii)所述移动指令的速度的值可以非线性地增大;
ix)所述放大倍率的变焦可以具有值;并且所述显示器可以具有区域;其中所述方法进一步包括:通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来检测所述圆形图像的直径;通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来传输指令,以调整所述放大倍率的变焦值,使得所述检测的圆形图像的直径配合在所述显示器的区域的最大部分内;其中,传输所述指令以调整所述变焦值选自:(a)将指令传输到所述显微镜,以调整所述显微镜视场的光学变焦;以及(b)将指令传输到所述显示器,以调整所述实时视频信号的视场的数字变焦;
x)在所述非暂时性计算机可读介质中包含的通过所述处理器执行用于检测所述圆形图像的指令可以包括圆霍夫变换算法;
xi)所述眼科手术可以包括玻璃体视网膜手术;
xii)所述实时视频信号可以是3D视频信号;并且
附图说明
为了更完整地理解本公开,现在结合附图参考以下描述,在附图中:
图1示出了示例性示意图,其示出了进行玻璃体视网膜手术程序的眼睛的侧视图;
图2示出了示意图,其示出了进行示例性玻璃体视网膜手术的眼睛的示例性俯视图,其对应于正面图;
图3示出了示例性系统的示意图,该示例性系统被配置用于对在眼科手术期间在通过数字显微镜放大的眼睛的图像中检测到的圆的XY位置进行自动定心;
图4A示出了在眼科手术期间在放大倍率下在眼睛的图像中检测到的圆上覆盖的XY平面的示例性示意图;
图4B示出了在眼科手术期间在放大倍率下在眼睛的图像中检测到的圆上覆盖的XY平面的另一示例性示意图;
图4C示出了在眼科手术期间在放大倍率下在眼睛的图像中检测到的圆上覆盖的XY平面的又一示例性示意图;
图5示出了定位在示例性显示器的竖直范围的中心处的示例性检测到的圆的示意图;
图6示出了图示图像中示例性圆形形状的示意图;以及
图7示出了图示与圆霍夫变换(circle Hough transform)有关的示例性图像的示意图。
具体实施方式
在下面的描述中,通过示例的方式阐述细节以有助于对所公开主题的讨论。然而,对于本领域普通技术人员而言明显的是,所公开的实现方式是示例性的,并且不是所有可能实现方式的穷举。
本公开涉及眼科手术,更具体地涉及一种允许在眼科手术期间将处于高放大倍率下的患者眼睛的视场在XY平面中自动定心的方法、以及一种被配置为执行该方法的系统。
在眼睛和附属视觉结构上执行眼科手术。例如,玻璃体视网膜手术包括涉及眼睛内部部分(诸如玻璃体液和视网膜)的各种精细程序。视网膜是包括黄斑的感光区域,黄斑由感光细胞组成,感光细胞提供清晰、细致的视力。眼睛的玻璃体液是填充视网膜与晶状体之间的空间的透明胶状体。视网膜、黄斑、以及玻璃体全部可能遭受各种疾病和病状,所述疾病和病状可能导致失明或视力丧失,并且可能需要玻璃体视网膜外科医生的关注。
使用不同的玻璃体视网膜手术程序(有时使用激光)来改善许多眼睛疾病(包括黄斑前膜、糖尿病视网膜病变、玻璃体出血、黄斑裂孔、视网膜脱落、以及白内障手术的并发症等等)的治疗的视觉感观性能。
眼科手术经常涉及移除眼睛组织。例如,白内障手术通常需要去除和更换晶状体。然后可以将人工晶状体或眼内透镜植入物植入眼睛中,以恢复或改善患者的视力。其他程序也可能涉及去除晶状体组织和/或其他类型的眼组织。
已经开发出用于去除眼组织的许多程序和装置。例如,超声乳化术是广泛用于去除病变或受损晶状体组织的方法。超声乳化术过程通常涉及:穿过较小的角膜切口插入探针,以在白内障手术中打碎并去除晶状体。
在超声乳化术中,通常在眼睛中形成一个或多个切口,以允许引入手术器械。外科医生然后去除包含眼睛内的晶状体的囊的前面。尖端以超声波频率振动的超声波手机通常用于修整和乳化白内障。去除白内障后,后囊通常仍然完好无损,并且可以将眼内透镜植入物(IOL)放置到剩余的晶状体囊中。
在眼科手术期间中,由于眼睛结构的较小尺寸和精细性质,外科医生典型地使用显微镜来放大正在手术的患者眼睛或眼睛的一部分的可视化。典型地,在过去,在眼科手术期间,外科医生使用接目镜(又称为目镜)来观看被显微镜放大的眼睛或其一部分。在眼科手术期间中,典型地使用具有两个接目镜的立体显微镜,这两个接目镜可由两只眼睛同时观察以进行双目观察。一些眼科手术程序可能要花费几个小时来执行,因此以前,在眼科手术期间,眼科外科医生经常被要求通过其显微镜的双目接目镜来连续看数小时。
近来,作为使用接目镜的替代方式,或另外,在眼科手术期间,数字显微术的发展已经允许将通过显微镜放大的眼睛或其一部分的图像显示在可以被手术室中的外科医生和其他人员观看的屏幕上。在眼科手术期间使用显示屏而不是使用显微镜目镜来可视化眼睛结构的益处包括为外科医生减轻了疲劳感和提高了舒适度。另外,与显微镜目镜不同,因为显示器一次可以被一个以上的人观看,所以使用显示器对于教学而言是有用的并且改善了手术室中人员之间关于手术程序的交流。
适用于本文描述的方法和系统的、利用数字显微术和显示屏的眼科手术可视化平台通常包括至少一个高分辨率光电传感器,比如相机或电荷耦合器件(CCD),该光电传感器或电荷耦合器件能够接收和获取通过显微镜在放大倍率下的眼睛的多个光学视图。本领域技术人员应了解的是,接收除正常可见光波长外的波长之外的可见波长的光也在本发明的范围内。通常,高分辨率光电传感器然后将所得到的实时高分辨率视频信号传输到至少一个高分辨率视频显示器,该实时高分辨率视频信号经由处理器执行在非暂时性计算机可读介质中包含的指令而被传输。在一些配置中,由于在显示器上传输和呈现的多个高分辨率光学视图,因此可视化平台的操作者或其他人能够观看目标物体或组织的实时高清晰度三维视觉图像。
适合用于实现该系统并实施本文所述的方法的示例性实时可视化平台包括美国专利号9168173、美国专利号8339447和美国专利号8358330中描述的那些,这些专利全部通过援引并入本文。
如本文使用的,术语“显示器”是指能够显示静止图像或视频图像的任何装置。优选地,本公开的显示器显示高清(HD)静态图像和视频图像或视频,所述静态图像和视频图像或视频向外科医生提供比标清(SD)信号更高水平的细节。更优选地,显示器以三维(3D)来呈现这种HD静止图像和图像。示例性显示器包括HD监视器、阴极射线管、投影屏、液晶显示器、有机发光二极管显示器、等离子显示面板、发光二极管(LED)或有机LED(OLED)、其3D等效物等。3D HD全息显示系统被认为在本公开的范围内。
本文所述的可视化平台包括至少一个高分辨率光电传感器。光电传感器是电磁传感器,所述电磁传感器对光作出响应,并产生电信号或将光转换成电信号,所述电信号可以传输到接收器以供进行信号处理或其他操作,并且最终由仪器或观察者读取。它可能能够响应于或检测形成电磁波谱的任何或所有波长的光。替代地,光电传感器可以对包括在可见光波长外的光的至少一个波长的更受限范围的波长敏感。
本文所述的可视化平台可以包括的光电传感器的示例是相机。相机是用于捕获图像作为静态照片或活动图像序列(电影或视频)的装置。相机通常由封闭中空件组成,所述中空件在一端具有用于光进入的开口(孔径),并且在另一端具有用于捕获光的记录表面或观察表面。记录表面可以是化学的(如带有薄膜)、或电子的。相机可以具有定位在相机开口前方的透镜以收集入射光,并将全部或一部分图像聚焦在记录表面上。孔径的直径通常由光圈机构控制,但是替代性地,在适当的情况下,相机具有固定尺寸的孔径。
根据本公开的示例性电子光电传感器包括但不限于互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器。两种类型的传感器都执行捕获光并将其转换成电信号的功能。CCD是模拟器件。当光到达CCD时,其持有小电荷。在电荷从CCD被读取时,所述电荷一次被转换成一个像素的电压。CMOS芯片是使用CMOS半导体工艺制成的一种有源像素传感器。通常位于每个光电传感器旁边的电子电路系统将接收到的光能转换成电压,然后附加电路系统将电压转换成可以传输或记录的数字数据。
所传输的实时高分辨率视频信号可以是数字视频信号,该数字视频信号是离散时间信号的数字表示。通常,数字信号来自模拟信号。如本领域技术人员将理解的,离散时间信号是模拟信号的采样版本,其中以固定间隔(例如,每微秒)来记录基准值,而不是连续地记录。如果离散时间信号的各个时间值被近似到某个精度(因此仅需要特定数量的数位),而不是被精确测量(这将需要无限数量的数位),则所得到的数据流被称为“数字”信号。近似固定数量的数位或位内的精确值的过程被称为量化。因此,数字信号是量化的离散时间信号,其继而是采样的模拟信号。数字信号可以表示为二进制数,所以其量化精度以位为单位测量。
本领域普通技术人员将认识到,通过将光电传感器附接到可视化装置(比如立体显微镜,其将目标物体的多个视图引导到光电传感器上),本文所述的可视化系统能够在眼科手术期间获取目标物体(比如放大的眼睛)的多个光学视图,并且传输该信息作为实时高分辨率视频信号,该实时高分辨率视频信号可以被记录或呈现以用于显示和观看。在一些实现方式中,所传输的数字视频信号能够产生具有至少约1280线乘720线分辨率的图像。此分辨率对应于本领域普通技术人员将认为是高清信号或HD信号的典型最小分辨率。
本文使用的“实时”通常是指以与接收数据相同的速率来更新信息。更具体地,在本发明的上下文中,“实时”是指以足够高的数据速率和足够低的延迟来从光电传感器获取、处理和传输图像数据,使得当显示数据时,物体平滑地移动而没有用户能注意到的抖动或延迟。典型地,当以至少约30帧/秒(fps)的速率获取、处理和传输新的图像并以约60fps显示时以及当视频信号的组合处理具有不超过约三十分之一秒的延迟时这就会发生。
当高分辨率视频信号被接收并呈现在具有对应高分辨率或HD能力的视频显示器上时,所得到图像提供了以前在缺乏高环境视觉光的情况下无法获得的清晰度、细节和控制。示例性视觉显示器包括阴极射线管、投影屏、液晶显示器、有机发光二极管显示器、等离子显示面板和发光二极管显示器。
当本文所述的实时高分辨率视频信号包括目标物体或组织的多个视图时,可以将视频显示制作为三维的(“3D”),使得向眼科外科医生呈现景深。高分辨率3D视频显示器的示例类型包括使用偏振眼镜(比如由TrueVision系统公司开发的偏振眼镜)的立体3D显示器。替代性地,可以使用自动立体3D显示器,其不需要使用任何特殊的眼镜或其他头戴具就可将不同的图像引导到每只眼睛。类似地,全息3D显示器也被认为在本公开的范围内。
在眼科手术期间利用显示屏进行可视化的数字显微术系统的示例包括爱尔康实验室3D可视化系统(瑞士爱尔康公司,瑞士休伦堡)、用于数字辅助玻璃体视网膜手术(DAVS)的平台。特别是,系统被设计为增强眼睛后部的可视化,以用于改进外科医生体验。系统是指一种与3DSurgical(TrueVision系统公司,加利福尼亚州戈利塔)合作开发的系统。3D可视化系统允许视网膜外科医生看着高清3D屏幕来手术,而无需弯曲其脖子以通过显微镜的接目镜来看。传统的玻璃体切除手术需要30分钟到三个小时以上的长度才能完成。此无接目镜显微镜设计是为了改进外科医生的姿势而设计并可以减轻疲劳感。
3D可视化系统包括几个元件,包括提供高分辨率、图像深度、清晰度和颜色对比度的高动态范围(HDR)相机。HRD是一种3D立体高清数字摄像机,其被配置为在显微手术期间提供物体的放大立体图像。摄像机在手术期间用作手术显微镜的附加,并且可以用于显示实时图像或来自记录的图像。特别地,使用三维视图,外科医生具有以前在标准电视监视器上无法获得的深度感知。外科医生还可以在维持宽视场以及使用数字滤波器的同时增大放大倍率,以在每个程序期间定制其视图,从而突出显示眼部结构和组织层,这对于可视化眼睛后部是至关重要的。3D可视化系统的设计具体重点在于最小化患者眼睛接触光,从而有助于使用较低光水平来进行手术(Eckardt C和Paulo EB,Heads-up surgery for vitreoretinal procedures:An Experimental andClinical Study[玻璃体视网膜手术的平视手术:实验和临床研究],视网膜[Retina],2016年1月,36(1):137-47)。
尽管本文所述了在眼科手术期间在屏幕上显示放大图像的优点,但改进对在眼科手术期间在屏幕上显示放大图像的控制仍然存在挑战。
例如,需要高放大倍率以利用显示器(比如在距外科医生例如4-6英尺的距离处的55英寸OLED显示器)的整个范围。在外科手术期间,外科医生旨在观看的眼睛或眼睛的一部分的位置可以相对于显微镜的视场在对应于正面视场的XY平面中的位置移动。移动可能是由于患者在手术期间的移动,或者是与在手术期间眼睛组织操纵相关联的移动。因此,为了将外科医生旨在观看的眼睛部分维持在显微镜视场中,必须将显微镜在XY平面中的位置重新定向,使得显微镜的视场与外科医生旨在观看的眼睛部分的位置重新对齐。特别是,在手术期间使用的高放大倍率是指在手术期间的甚至小的移动可以对应于外科医生旨在观看的眼睛部分相对于显微镜的视场的移动,因此,实时视频图像从显示屏上移开。这可能导致外科医生无法有效地对外科医生旨在在显示屏上观看的眼睛部分可视化。
当前,典型地通过手动控制来执行放大的实时视频图像在屏幕上的定心,比如手动操作脚开关操纵杆以驱动在显微镜支撑臂与显微镜头部之间的箱体中的XY电机。特别地,由于高放大倍率,外科医生需要非常频繁地控制显微镜上的XY位置。另外,手动控制放大的圆形视频图像的位置可能不精确且有问题。例如,手动控制可能导致图像在屏幕上的定心次佳,或者实时视频图像定位在屏幕外。另外,手动控制(比如使用脚开关操纵杆)可能会导致在手术期间外科医生的手的意外运动。
鉴于在眼科手术期间需要微调控制,因此对眼科医生所使用的装备的改进提高了对手术技术的控制,有望改进患者的手术结果。
本公开总体上涉及在眼科手术期间对患者的眼睛的放大视频图像在由外科医生观看的屏幕上自动定心。
如本文使用的术语“高放大倍率”可以是指可以典型地在眼科手术(比如玻璃体视网膜手术)期间使用的可由技术人员识别的放大倍率的任何值或范围。例如,在一些实现方式中,示例性高放大倍率可以是指在约2x至100x、或约10x至40x、或约10x至20x范围内的放大倍率值,以及可由技术人员识别的其他范围。在一些实现方式中,高放大倍率可以是指约20x的放大倍率值。
可以与本文所述的系统和方法一起使用的示例性手术显微镜包括ZeissLumera T(卡尔蔡司公司,德国)、以及可由本领域技术人员识别的其他显微镜。如技术人员将理解的,合适的显微镜的特征可以是例如在200mm工作距离处约3.5x-21.0x的放大倍率范围、具有合适变焦倍率(比如1:6变焦倍率)的电动变焦系统、放大倍率因数γ(例如约0.4至2.4)以及约50mm的聚焦范围。
技术人员可以通过考虑显微镜和光电传感器的因数(比如焦距、在系统变焦部件上设定的放大倍率因数和光电传感器的放大倍率因数)、以及可由技术人员识别的其他因数来计算系统的总放大倍率。
在本公开中考虑了包括具有光学和/或数字变焦能力的部件的方法和系统。
通常,应理解,术语“自动”是指不需要由用户(比如眼科外科医生)手动控制或操纵的动作或过程。
特别地,如本文使用的关于患者的眼睛的高放大倍率图像的术语“自动定心”是指借助于如本文所述的那样计算机处理器执行在非暂时性计算机可读介质内包含的指令来执行对放大的视场的定心的控制。
通常,本文描述了一种利用视频分析软件的方法和系统,该视频分析软件在眼科手术期间检测患者的眼睛的实时视频中的圆或近似圆形图像,并且作为响应,驱动显微镜的视场XY位置的移动,因此相应的高放大倍率圆形视频图像在显示屏上定心。
如技术人员将理解的,关于在眼科手术期间检测眼睛和眼睛内结构的放大图像,如本文使用的术语“圆”是指近似圆形形状并且可以包括椭圆和近似椭圆形形状。
特别地,本文所述的自动XY图像定心方法和系统用于眼科手术程序,比如玻璃体视网膜手术。
例如,图1示出了示例性示意图100,其示出了进行玻璃体视网膜手术程序的眼睛的侧视图。示意图中指示了穿过切口插入眼睛的各种工具,包括玻璃体切割装置101,该装置以缓慢、受控的方式去除眼睛的玻璃体凝胶。还示出了套管102,套管用于使用盐溶液代替眼睛中的流体并且维持正确的眼压。还示出了光导管103,光导管在眼睛内部提供照明。在玻璃体视网膜手术期间,如图1中的示例性示意图所示,眼科外科医生使用显微镜观看视网膜104的被照明部分,该显微镜被定向用于通过瞳孔105观看眼睛的内部部分。
图2示出了示意图200,该示意图示出了进行示例性玻璃体视网膜手术程序的眼睛的示例性俯视图,对应于正面视图,该玻璃体视网膜手术程序类似于图1的侧视图中所示的示例性程序。示意图中指示了穿过切口插入眼睛中的各种工具,包括玻璃体切割装置201、套管202和光导管203,光导管在眼睛内部提供照明。在玻璃体视网膜手术期间,如图2中的示例性示意图所示,眼科外科医生使用显微镜观看视网膜204的被照明部分,该显微镜被定向用于通过瞳孔观看眼睛的内部部分,瞳孔的轮廓显示为虚线圆205。
在玻璃体视网膜手术期间,例如,手术显微镜的视场经常限于整个视网膜的一小部分。典型地,这一小部分出现在实时视频图像上,作为在主要深色的背景上的视网膜的小斑块。可由眼科外科医生经由显微镜观看的斑块的形状是由瞳孔的形状决定的,瞳孔的形状通常是圆形的或椭圆形的圆盘。例如,当视网膜视图通过向上、向下、向左或向右旋转的眼睛的椭圆形瞳孔时,图像可能是椭圆形的。而且,在一些情况下,例如如果缺少虹膜或者缺少虹膜结构的一部分,或者例如如果以前的手术已经改变了虹膜形状,则斑块的形状可能包括根据眼睛虹膜形状的变化而从圆形图像的变化。眼睛图像的被照明部分可以被称为“目标图像”,在外科手术程序期间眼科外科医生旨在显示器上观看该目标图像。在手术期间,被照明的斑块的位置可以相对于显微镜视场的位置在对应于正面视场的XY平面中移动。近似圆形的被照明的斑块的移动可能是由于在手术期间患者的移动、或者是由于与在手术期间眼睛组织的操作相关联的移动。因此,为了将近似圆形的被照明的斑块的图像维持在显微镜的视场中,必须将显微镜在XY平面中的位置重新定向,使得显微镜的视场与眼睛中被照明的斑块的位置重新对齐。特别地,在手术期间使用的高放大倍率是指在手术期间的甚至小的移动可能对应于眼睛的被照明的斑块相对于显微镜视场的移动,并且因此,对应于实时视频图像相对于显示器的中心的移动。这可能导致外科医生无法在显示屏上有效地看到眼睛的被照明的斑块。如本文所述,目前,这需要手动重新定位显微镜的视场,这具有如本文所述的缺点。为了解决此问题,本文所述的方法和系统允许放大的眼睛的图像在显示屏上自动定心。如技术人员将理解的,本公开的系统和方法适用于使用内照明的眼科手术程序,其中如本文使用的术语“内照明”是指眼睛的内部的照明,如本文所述和在图1和2的示例性示意图中所示那样。当使用内照明时,外部显微术照明光源(比如眼睛外部的显微镜光源)被关闭,使得通过被内照明的眼睛的瞳孔可观察为圆形或椭圆形形状的眼睛的被照明的内部部分与被内照明的眼睛的主要深色、未被照明的外部部分形成对比。例如,当使用示例性3D可视化系统用于玻璃体视网膜手术时,通过内照明来看见眼睛的内部,并且关闭外部显微镜光源。
如本文使用的,术语“XY平面”是指由X轴和Y轴定义的2维空间,其中,X轴垂直于Y轴且X轴和Y轴在被称为原点的点处相交。
特别地,如本文使用的,XY平面可以是指典型地近似平行于地面或手术室地板的平面,并且特别地可以形成当患者面朝上躺在手术台上时在眼科手术期间在眼睛上方的近似水平的平面。因此,例如,本文使用的术语“X轴”可以是指相对于眼科外科医生的位置左右定向的水平轴线,并且例如本文使用的术语“Y轴”可以是指相对于眼科外科医生的位置前后(远近)定向的水平轴线。关于可通过显微镜观看的眼睛的视场以及表示视场的对应实时视频图像,XY平面对应于实时视频图像的正面视图的2维空间。在一些实现方式中,实时视频信号是3D视频信号,其中,除了2维的正面XY平面之外,视频信号还包含对应于在垂直于XY平面的Z轴上的视场深度的视频数据。
应当理解,XY平面可以形成坐标网格,其中,坐标是指由X轴上的值和Y轴上的值的交点定义的XY平面上的位置,其中,这些值指示距原点的距离,其中,原点可以名义上由X=0且Y=0的坐标指示。技术人员将理解,XY坐标通常与笛卡尔坐标系有关,笛卡尔坐标系是点位置由坐标给出的系统,这些坐标表示其距与在被称为原点的点处相交的垂直线的距离。平面中的笛卡尔坐标系具有两条垂直线(X轴和Y轴);在三维空间中,笛卡尔坐标系具有三条垂直线(X轴、Y轴和Z轴)。
图3示出了示例性系统300的示意图,该示例性系统被配置用于对在眼科手术期间在通过数字显微镜放大的眼睛的图像中检测到的圆的XY位置进行自动定心。应当理解,被配置用于对在图3中所示的眼科手术期间在眼睛的通过数字显微镜放大的图像中检测到的圆的XY位置进行自动定心的系统300是示例性且非限制性的,并且可在本公开的范围内操作的系统300的其他配置可由本领域技术人员识别。在不脱离本公开的范围的情况下,可以对系统300进行修改、增加或省略。如本文所述的系统300的部件和元件可以根据特定应用来集成或分离。在一些实现方式中,可以使用更多、更少或不同的部件来实现系统300。
图3示出了具有瞳孔302的眼睛301。显微镜303被示出,其中显微镜303的示例性视场304被示为以虚线为界。由X轴和Y轴(分别由箭头317和318指示)形成的XY平面305被水平地示出在眼睛301上方和显微镜303下方。显微镜303被配置为通过电连接307与光电传感器(比如,相机306)处于电通信,该电连接被配置为允许眼睛的通过显微镜303放大的图像被相机306捕获。特别地,相机306是摄像机,比如能够以高帧率捕获图像的高清摄像机。摄像机306被配置为通过连接309连接到处理器308并与其处于电通信。处理器308被配置为执行在非暂时性计算机可读介质310中包含的指令,以从相机306接收数字实时视频图像数据并且将该实时视频图像显示数据传输到显示器311。在图3中,显示器311被示出为具有在眼科手术期间在眼睛的一部分的图像中检测到的圆形的放大图像312。例如,在一些实现方式中,显示器上所示的圆形图像可以是视网膜的被照明部分的圆形或椭圆形图像,被照明的部分在玻璃体视网膜手术期间通过眼睛301的瞳孔302在显微镜视场中是可见的。处理器308通过连接313与非暂时性计算机可读介质310处于电通信,并且处理器308通过连接314与显示器311处于电通信。处理器308被配置为执行在非暂时性计算机可读介质310中包含的指令,以检测从相机306接收到的数字图像数据中的圆。电动显微镜头部支撑件315被配置为根据XY平面305的坐标水平地移动显微镜,以便在XY平面中调整显微镜的视场。通过处理器308执行来自非暂时性计算机可读介质310的指令来控制通过电动显微镜头部支撑件315的显微镜移动。特别地,在检测到眼睛的放大图像的数字实时视频图像数据中的圆形图像时,处理器308(执行在非暂时性计算机可读介质310中包含的指令)被配置为将移动指令发送到电动显微镜头部支撑件315,以将圆形图像的中心定位在显微镜303的视场304的中心。因此,处理器308(执行在非暂时性计算机可读介质310中包含的指令)根据XY平面将移动指令传输到电动显微镜头部支撑件315,以使得将圆形图像的中心定位在显示器311的中心。电动显微镜头部支撑件315通过连接316来移动显微镜303。
图3中所示的示例性系统可以另外包括具有用户操作的控件的控制面板(未示出),这些控件允许外科医生调整图像数据的特性,比如发送到显示器311的放大倍率变焦、颜色、光度、对比度、亮度等等。
图4A示出了在眼科手术期间在放大倍率下在眼睛的图像中检测到的圆401上覆盖的XY平面403的示例性示意图400。例如,如图2中的虚线圆205所示,检测到的圆401可以是通过瞳孔的圆形形状可见的眼睛的被照明的内部。圆401具有被描绘为实心黑点的圆心402。XY平面403指示显微镜的视场的区域,特别地指示由相机捕获的放大图像的视场的区域。由X轴404和Y轴405形成的XY平面403具有XY坐标的网格。XY平面被描绘为在沿着轴线的点处的相交线的网格,然而应当理解,XY平面403形成连续的水平面视场,使得XY坐标可以具有沿着X和Y轴的任何X和Y值。视场可以具有任何形状,比如圆形或正方形。在示例性实现方式中,通过显微镜和光学系统视场光阑产生的视场是圆形的。在图4A中所示的示例性示意图中,XY平面403指示覆盖在显微镜的视场上的水平平面,该显微镜用于在眼科手术期间在放大倍率下可视化眼睛。在图4A中,视场具有由小圆指示的视场中心406。视场中心406的中心位于由线407和408相交的XY坐标处,这些坐标分别具有X0和Y0的坐标值。在一些实现方式中,视场中心406可以是位于视场中心的单个点,而在其他实现方式中,视场中心406可以是具有一定区域(比如圆形区域、或限定视场中心区的任何其他合适形状)的区。在一些实现方式中,视场中心406可以是具有相对于总视场的设定尺寸(比如总视场的1%、5%、10%或20%)的区。圆心具有XY坐标,坐标值分别为X1和Y1。在图4A中,圆心402被示出为位于与视场中心406的中心相同的位置。当圆心402位于与视场中心406的相同位置时,在圆心402的坐标与视场中心406的坐标之间不存在差异,因此X1-X0的绝对值=0且Y1-Y0的绝对值=0。
与图4A不同,在图4B中,圆心402被示为位于与视场中心406的中心不同的位置。在图4B中,视场中心406被示为相应地位于在坐标X0、Y0处,其由线407和408的交点指示。在图4B中,圆心402被示出为相应地位于坐标X1、Y1处,其由虚线409和410的交点指示。当圆心402位于与视场中心406不同的位置时,在圆心402的坐标与视场中心406的坐标之间存在差异,因此X1-X0的绝对值>0和/或Y1-Y0的绝对值>0。
处理器308被配置为执行在非暂时性计算机可读介质310中包含的指令,以检测圆心402和视场中心406。处理器308还配置为执行在非暂时性计算机可读介质310中包含的指令,以计算圆心402和视场中心406各自的XY坐标,以及检测圆心402与视场中心406的坐标之差。因此,在检测在圆心402与视场中心406的坐标之差时,当X1-X0的绝对值>0和/或Y1-Y0的绝对值>0时,则处理器(执行在非暂时性计算机可读介质包含的指令)根据XY平面将移动指令传输到电动显微镜头部支撑件315,以将视场中心406重新定位在与圆心402相同的位置处,以使得X1-X0的绝对值=0且Y1-Y0的绝对值=0。例如,如图4B所示,在检测到具有与视场中心406不同的坐标的圆心402的位置时,处理器(执行在非暂时性计算机可读介质中包含的指令)将移动指令发送到电动显微镜头部支撑件315,以如箭头411和412所示那样重新定位视场中心406的视场。
视场中心406和圆心402的坐标可以是相对于原点计算的值,其中,原点是XY平面的X轴和Y轴的交点。这些值可以是任何合适的距离单位,比如mm或μm。处理器被配置为执行在非暂时性计算机可读介质中包含的指令,以计算XY平面中的坐标值,比如相对于原点的值。因此,X和Y坐标的值随着距原点距离的增加而增大。因此,可以计算视场中心406和圆心402的位置,并且可以相对于原点来计算视场中心406和圆心402在XY平面中的相对位置。因此,例如,如图4A和图4B所示,当原点靠近左侧时,X的值从左到右增大,并且Y的值从近(后)到远(前)增大。因此,在图4B中所示的示例性示意图中,圆心402的位置被检测为比视场中心406靠右和靠前(更远),因此X1-X0>0且Y1-Y0>0。相反,如果圆心402的位置比视场中心406靠左和更靠近(后),则相对于原点计算的坐标将得出X1-X0<0且Y1-Y0<0。在两种情况下,当圆心402位于与视场中心406不同的位置时,X1-X0的绝对值>0且Y1-Y0的绝对值>0。
替代地,例如,可以相对于视场中心406来计算XY平面的坐标,使得视场的XY平面403被划分成四个被线407和408划分的象限。因此,如图4A和图4B所示,左上象限将具有相对于视场中心406的正值Y和负值X,右上象限将具有相对于视场中心406的正值Y和正值X,左下象限将具有相对于视场中心406的Y负值和负值X,以及右下象限将具有相对于视场中心406的负值Y和正值X。因此,可以相对于视场中心406的位置来计算位于任何象限中的位置的圆心402的坐标。
在本文所述的实现方式中,视场中心406可以对应于显示器311的中心。因此,在将视场中心406定位在与圆心402相同的位置时,圆心位于显示器311的中心。
被发送到电动显微镜头部支撑件315的移动指令可以具有速度参数,例如以任何合适的单位(比如mm/s或μm/s)测量的。例如,移动的速度可以是大约1mm/s。可以使用其他速度值,比如从大约1μm/s到1cm/s。在一些实现方式中,速度的值可以是固定的,而在其他实现方式中,速度的值可以是可变的。在一些实现方式中,速度的值可以根据圆心402和视场中心406的相对位置而变化。例如,当X1-X0的绝对值和/或Y1-Y0的绝对值增大时,速度可能增大。因此,当X1-X0的绝对值和/或Y1-Y0的绝对值减小时,速度可能减小。如图4A和图4B所示,三角形413指示移动的速度增加与圆心402距视场中心406的距离的增加的关系。在一些实现方式中,移动速度的增加随着圆心402距视场中心406的距离的增加可以是线性的(例如,如图4A和图4B中的三角形所示)。在其他实现方式中,移动速度的增加随着圆心402距视场中心406的距离的增加可以是非线性的。例如,速度的增加可以遵循曲线函数,其中,速度以与在圆心402与视场中心406之间的距离的增加成比例的乘法因数增大。
在优选的实现方式中,移动速度随着圆心402与视场中心406之间的距离的增加而增大并且随着圆心402与视场中心406之间的距离的减小而减小。因此,优选地,该方法可以被实现并且该系统被如此配置以使得移动速度随着圆心402与视场中心406之间的相应距离的增加或减小而缓慢上升和下降。
因此,本发明的目的是在显微镜视场中自动计算机处理器介导定心以及在放大的眼睛的图像中所检测到的圆的链接显示,其中,定心具有平滑的移动。特别地,本发明的目的是对在放大的眼睛中检测到“偏心”圆图像的自动受控响应,该响应使圆平滑地重新定位在视场中心。在眼科手术期间在对放大的眼睛的实时视频进行捕获和图像处理时,该定心发生。在一些实施方式中,该系统被配置为使得可以根据用户偏好来设定定心移动的速度。
在一些实现方式中,在处理器308将移动指令发送到电动显微镜头部支撑件315之前,X1-X0的绝对值和/或Y1-Y0的绝对值可以具有设定最小值。因此,本文所描述的系统可以允许在执行显微镜视场的重新定位之前,圆心402相对于视场中心406的一些移动。例如,视场中心406的位置可以在处理器308将移动指令发送到电动显微镜头部支撑件315之前,从检测到的圆心402变化了设定距离或视场或检测到的圆的设定比例。例如,在一些实现方式中,视场中心406的位置可以在处理器308将移动指令发送到电动显微镜头部支撑件315之前,从检测到的圆心402变化了视场或检测到的圆的直径的大约10%。
在一些实现方式中,在显示器上呈现的放大图像的视图可以是显微镜视场和实时视频图像的一部分或子集。如图4C所示,虚线框414可以指示在屏幕上呈现的视图,其中虚线的位置可以对应于显示屏的边缘。因此,本发明的目的之一是使在显示屏上检测到的圆形形状的放大图像的尺寸最大化。以这种方式,可以利用显示屏的最大区域来用于向外科医生显示眼睛的放大图像。在一些实施方式中,放大倍率的变焦可以由用户(比如外科医生)来设定,以使在显示屏上检测到的圆形形状的放大图像的尺寸最大化。在其他实现方式中,处理器(执行在非暂时性计算机可读介质中包含的指令)可以检测检测到的圆形图像的直径,并且控制视场的变焦水平,使得检测到的圆形图像的直径配合在显示屏边缘内。在一些实现方式中,通过处理器执行在非暂时性计算机可读介质中包含的指令以将指令发送到显微镜从而相应地改变显微镜的光学变焦,可以调整变焦水平。在其他实现方式中,通过处理器执行在非暂时性计算机可读介质中包含的指令以相应地改变传输到显示器的图像的数字变焦,可以调整变焦水平。特别地,当显示器是矩形的时,比如横向屏幕,例如典型地与系统结合使用的16×9宽高比OLED屏幕,可以设定变焦水平,使得检测到的圆形形状的直径配合在显示屏的竖直范围内。因此,在一些实现方式中,在矩形屏幕上,圆形图像可以被定位在显示器的中心,或者被定位到矩形显示器(比如示例性16×9显示器)上的一侧,留出空间,以用于比如术前图像和/或电子病历等额外信息。
图5示出了示例性圆501的示意图500,其中心位于示例性显示器502的竖直范围的中心处。本文使用的术语“定心”可以是指在显示器上对圆心的定位,其中,定位有效地将圆心定向在显示器的屏幕空间中间位置或中间附近的位置处或定向在用户定义或其预设的区域内的位置处。在一些实现方式中,术语“定心”可以是指将圆的中心定位在显示器的中心的设定距离内,比如在显示器的中心503的10%内,如图5中所示的区504所示。在一些实现方式中,显示器可以是正方形,而在其他实现方式中,显示器可以是矩形。其他的显示器形状也是可能的。关于正方形显示器,术语“显示器的中心”可以是指距每条边近似等距的位置。关于矩形显示器,术语“显示器的中心”可以是指距每条边近似等距的位置,或者特别是距矩形的每条长边505等距的位置,如在图5中所示的示例性示意矩形显示器中的位置502所示。在一些实现方式中,可以执行定心以优选地使得对圆进行定位,使得整个圆在显示器上是可见的。在其他实现方式中,可以执行定心以使得对圆进行定位,使得仅圆的一部分在显示器上是可见的。
在本文所述的各种实现方式中,圆形图像的检测可以使用本领域技术人员可识别的任何适合用于检测图像中的圆的任算法。可用于检测圆的标准算法包括圆霍夫变换和随机抽样一致性(RANSAC)、以及技术人员可识别的其他算法。
如本文使用的术语“霍夫变换”是指在图像分析、计算机视觉和数字图像处理中使用的特征提取技术。该技术的目的是通过被称为表决程序的过程来在某类形状内找到物体的不完美实例。此表决程序是在参数空间中执行的,从该参数空间中,获得候选物体作为所谓的累加器空间中的局部最大值,该累加器空间由用于计算霍夫变换的算法明确构造而成。
如本文使用的术语“圆霍夫变换”或“CHT”是指霍夫变换的特殊化,并且是数字图像处理中常规使用的基本技术,来用于检测数字图像中的圆形物体。圆霍夫变换(CHT)是用于检测圆的特征提取技术。该技术的目的是在不完美的图像输入中找到圆。通过在霍夫参数空间中“表决”产生候选圆,然后在所谓的累加器矩阵中选择局部最大值。
如本领域技术人员将理解的,在二维空间中,圆可通过以下方式描述:
(x-a)2+(y-b)2=r2 (等式1)
其中(a,b)是圆的中心,并且r是半径。如果2D点(x,y)是固定的,则可以根据等式1找到参数。参数空间将是三维的,(a,b,r)。并且,所有满足(x,y)的参数都将位于顶点为(x,y,0)的倒置直角圆锥的表面上。在3D空间中,圆参数可以通过由在2D圆上的点限定的许多圆锥曲面的交点来识别。此过程可以分为两个阶段。第一阶段是固定半径,然后在2D参数空间中找到最佳的圆心。第二阶段是在一维参数空间中找到最佳半径。
在一些实现方式中,圆的半径可以是固定的。如果半径固定,则参数空间将减小为2D(圆心的位置)。对于原始圆上的每个点(x,y),它可以根据等式1限定一个以(x,y)为中心、具有半径R的圆。参数空间中所有这种圆的交点将与原始圆的中心点相对应。
例如,如图6所示,可以考虑在示例性圆形图像600中的圆601上的4个点602。图7中示出示例性圆霍夫变换700。对于在原始图像600中的四个点602中的每一个(x,y),圆霍夫变换可以在霍夫参数空间中限定一个以(x,y)为中心、具有半径r的圆。累加器矩阵用于跟踪相交点。在参数空间中,圆经过的点的表决数将增加一。然后,可以找到局部最大值点701(在中心的点)。最大值701的位置(a,b)将是原始圆601的中心。
如技术人员将理解的,在实践中,引入累加器矩阵以在参数空间中找到相交点。首先,使用网格将参数空间划分为“桶”,以根据网格产生累加器矩阵。累加器矩阵中的元素表示参数空间中经过参数空间中的对应网格单元的“圆”的数量。该数量也称为“表决数量”。最初,矩阵中的每个元素均为零。然后,对于原始空间中的每个“边缘”点,可以在参数空间中制定一个圆,并增加该圆经过的网格单元的表决数。此过程称为“表决”。
在表决之后,可以在累加器矩阵中找到局部最大值。局部最大值的位置对应于原始空间中的圆心。
对于具有未知半径的圆,由于参数空间是3D,因此累加器矩阵也将是3D。可能的半径可能会迭代一遍;对于每个半径,使用以前的技术。最后,在3D累加器矩阵中找到局部最大值。累加器数组在3D空间中应为A[x,y,r]。表决应针对每个像素、半径和θA[x,y,r]+=1。
如技术人员将理解的,示例性算法如下:(1)对于每个A[a,b,r]=0;(2)处理图像高斯模糊的滤波算法,将图像转换为灰度(grayScaling),生成Canny算子,Canny算子得出图像的边缘。(3)对累加器中所有可能的圆进行表决。(4)累加器A的局部最大表决圆得出了圆霍夫空间。(5)累加器的最大表决圆得出了该圆。
如技术人员将理解的,圆霍夫变换表决过程的示例性代码如下:
其他示例性实现方式代码可由本领域技术人员识别,比如在MATLAB和Python中使用的代码。
在一些实现方式中,霍夫圆检测程序可以用于检测图像中的圆,该程序使用来自OpenCV库的霍夫算法CvHoughCircles,其可由技术人员识别。在霍夫圆检测程序中,可以限定参数,比如最小半径、最大半径以及可由技术人员识别的各种适用的阈值和滤波器。
在一些实现方式中,由OpenCV执行的图像中的圆的检测可以使用霍夫梯度方法,比如OpenCV中被称为“cv2.HoughCircles()”的功能,可由本领域技术人员识别。
本文所述的方法和系统的优点包括高放大倍率视频图像在显示器上的快速、精确的自动定心,允许连续使用高放大倍率同时不需要由外科医生手动控制定心视频图像(例如通过脚踏板操纵杆控制,这可能会由于脚踏板操纵杆激活而导致屏幕显示关闭或而意外的手部运动)。
以上公开的主题应被认为是说明性的而不是限制性的,并且所附权利要求旨在涵盖落入本公开的真实精神和范围内的所有这种修改、增强和其他实现方式。因此,为了被法律最大程度地允许,本公开的范围将由以下权利要求及其等效物的最广泛允许的解读来确定并且不应受限于或局限于前述具体实施方式。
如在本说明书和所附权利要求中所使用的,单数形式“一个(a)”,“一种(an)”和“该”包括复数指示物,除非内容另外明确指出。术语“多个”包括两个或更多个指代物,除非内容另有明确指明。除非另有定义,本文使用的所有技术和科学术语具有与本公开所属领域的普通技术人员通常理解的相同含义。
Claims (15)
1.一种被配置用于在眼科手术期间在XY平面中对处于高放大倍率下的患者眼睛的视场自动定心的系统,所述系统包括:
处理器;以及
所述处理器可访问的非暂时性计算机可读介质,所述非暂时性计算机可读介质包含能够由所述处理器执行的指令,所述指令用于:
从光电传感器获取实时视频信号,所述实时视频信号表示包括通过显微镜处于高放大倍率下的患者眼睛的视场,其中,所述视场包括正面XY平面;
在显示器上显示在对应于所述实时视频信号的所述视场内的至少一个视图;
检测所述实时视频信号中的圆形图像,其中,所述圆形图像包括所述视场中的目标图像;
确定所述圆形形状的中心在所述视场的XY平面内的位置;
确定所述视场的中心在所述XY平面中的位置;
比较所述圆形图像的中心的位置和所述视场的中心的位置;
在确定所述圆形图像的中心与所述视场的中心的位置之差时,将移动指令传输到电动显微镜支撑件,所述电动显微镜支撑件被配置为在所述XY平面中移动所述显微镜视场的位置,其中,所述移动指令引导所述显微镜视场的移动,以将所述视场的中心放置在所述圆形图像的中心的位置处;
由此自动将所述视场的中心移动到在所述实时视频信号中检测到的所述圆形图像的中心,所述实时视频信号是在眼科手术期间从处于高放大倍率下的患者眼睛的视场中获取的。
2.如权利要求1所述的系统,其中,所述视场的中心对应于所述显示器上的设定位置。
3.如权利要求2所述的系统,其中,所述显示器上的所述设定位置是所述显示器的中心。
4.如权利要求2所述的系统,其中,所述显示器是矩形显示器,并且所述显示器上的所述设定位置是所述矩形显示器的长边之间的中点的位置。
5.如权利要求1所述的系统,其中,所述圆形图像对应于能够通过所述眼睛的瞳孔看到的所述患者眼睛的内部的被照明部分。
6.如权利要求1所述的系统,其中,被传输到所述电动显微镜头部支撑件的所述移动指令包括速度的参数,其中,所述速度的值是根据所述视场的中心的位置与所述圆形图像的中心之间的距离而能够变化的。
7.如权利要求6所述的系统,其中,所述移动指令的速度的值随着所述视场的中心的位置与所述圆形图像的中心之间的距离的增加而增大。
8.如权利要求7所述的系统,其中,所述移动指令的速度的值线性地增大。
9.如权利要求7所述的系统,其中,所述移动指令的速度的值非线性地增大。
10.如权利要求1所述的系统,其中:
所述放大倍率的变焦具有值;以及
所述显示器具有区域;
进一步包括:
通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来检测所述圆形图像的直径;
通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来传输指令,以调整所述放大倍率的变焦值,使得所检测的圆形图像的直径配合在所述显示器的区域的最大部分内;
其中,传输所述指令以调整所述变焦值选自:(a)将指令传输到所述显微镜,以调整所述显微镜视场的光学变焦;以及(b)将指令传输到所述显示器,以调整所述实时视频信号的视场的数字变焦。
11.如权利要求1所述的系统,其中,在所述非暂时性计算机可读介质中包含的通过所述处理器执行用于检测所述圆形图像的所述指令包括圆霍夫变换算法。
12.如权利要求1所述的系统,其中,所述眼科手术包括玻璃体视网膜手术。
13.如权利要求1所述的系统,其中,所述实时视频信号是3D视频信号。
15.一种在眼科手术期间在XY平面中对处于高放大倍率下的患者眼睛的视场自动定心的方法,所述方法包括以下步骤:
通过处理器执行在非暂时性计算机可读介质中包含的指令来从光电传感器获取实时视频信号,所述实时视频信号表示包括通过显微镜处于高放大倍率下的所述患者眼睛的视场,其中,所述视场包括正面XY平面;
通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来在显示器上显示在对应于所述实时视频信号的所述视场内的至少一个视图;
通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来检测所述实时视频信号中的圆形图像,其中,所述圆形图像包括所述视场中的目标图像;
通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来确定所述圆形图像的中心在所述视场的XY平面内的位置;
通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来确定所述视场的中心在所述XY平面中的位置;
通过所述处理器执行在所述非暂时性计算机可读介质中包含的指令来比较所述圆形图像的中心的位置和所述视场的中心的位置;以及
在确定所述圆形图像的中心与所述视场的中心的位置之差时,通过所述处理器执行在所述非暂时性计算机可读存储器中包含的指令来将移动指令传输到电动显微镜支撑件,所述电动显微镜支撑件被配置为在所述XY平面中移动所述显微镜视场的位置,其中,所述移动指令引导所述显微镜视场的移动,以将所述视场的中心放置在所述圆形图像的中心的位置处;
由此自动将所述视场的中心移动到在所述实时视频信号中检测到的所述圆形图像的中心,所述实时视频信号是在眼科手术期间从处于高放大倍率下的患者眼睛的视场中获取的。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862656079P | 2018-04-11 | 2018-04-11 | |
US62/656,079 | 2018-04-11 | ||
PCT/IB2019/052783 WO2019197951A2 (en) | 2018-04-11 | 2019-04-04 | Automatic xy centering for digital microscope |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111936034A true CN111936034A (zh) | 2020-11-13 |
CN111936034B CN111936034B (zh) | 2024-06-18 |
Family
ID=66484102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980024956.6A Active CN111936034B (zh) | 2018-04-11 | 2019-04-04 | 用于数字显微镜的自动xy定心 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11219364B2 (zh) |
EP (1) | EP3773148A2 (zh) |
JP (1) | JP7297783B2 (zh) |
CN (1) | CN111936034B (zh) |
AU (1) | AU2019251316B2 (zh) |
CA (1) | CA3091582A1 (zh) |
WO (1) | WO2019197951A2 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021121821A (ja) * | 2018-05-07 | 2021-08-26 | ソニーグループ株式会社 | 眼科手術顕微鏡システム、制御装置及び制御方法 |
CN112292063B (zh) * | 2018-06-20 | 2024-08-06 | 爱尔康公司 | 辅助术野可视化系统 |
JP7616892B2 (ja) | 2021-01-28 | 2025-01-17 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置及び医療用観察システム |
JP2022116440A (ja) * | 2021-01-29 | 2022-08-10 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
DE102021204031A1 (de) | 2021-04-22 | 2022-10-27 | Carl Zeiss Meditec Ag | Verfahren zum Betreiben eines Operationsmikroskops und Operationsmikroskop |
DE102023200474A1 (de) * | 2022-01-25 | 2023-07-27 | Carl Zeiss Meditec Ag | Verfahren zum Justieren und/oder Kalibrieren eines medizinischen Mikroskops und medizinisches Mikroskop |
JP2024039546A (ja) * | 2022-09-09 | 2024-03-22 | アークレイ株式会社 | 案内プログラム、案内方法、撮像装置、情報処理装置、及び顕微鏡装置 |
TW202416066A (zh) * | 2022-10-04 | 2024-04-16 | 倍利科技股份有限公司 | 遠端遙控顯微機具的系統及方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05300521A (ja) * | 1992-02-21 | 1993-11-12 | Hitachi Denshi Ltd | 画像観察用テレビジョンシステム |
EP0740179A1 (en) * | 1995-04-28 | 1996-10-30 | Fondazione Centro San Raffaele Del Monte Tabor | Device for automatically positioning and centering a microscope optical head |
JP2008295804A (ja) * | 2007-05-31 | 2008-12-11 | Topcon Corp | 眼底検査装置及びプログラム |
CN101902950A (zh) * | 2007-12-21 | 2010-12-01 | 爱尔康折射视界公司 | 监视角膜消融手术进程的虚拟显微系统及其相关方法 |
CN102159128A (zh) * | 2008-07-24 | 2011-08-17 | 卡尔蔡司外科器械有限责任公司 | 眼手术系统、眼手术准备方法和进行眼手术的方法 |
US20110234977A1 (en) * | 2010-03-23 | 2011-09-29 | Steven Roger Verdooner | Apparatus and method for imaging an eye |
WO2014040184A1 (en) * | 2012-09-13 | 2014-03-20 | The Governing Council Of The University Of Toronto | System and method for fetal and maternal red blood cell counting |
CN103687532A (zh) * | 2011-05-02 | 2014-03-26 | 爱尔康手术激光股份有限公司 | 用于眼科系统的图像处理器控制的未对准减小 |
CN103874453A (zh) * | 2011-10-05 | 2014-06-18 | 爱尔康研究有限公司 | 能够在三维视野中调整的手术抬头显示 |
CN105451637A (zh) * | 2013-03-17 | 2016-03-30 | 威盛纳斯医疗系统公司 | 宽视场眼睛成像装置及其相关方法 |
CN106999298A (zh) * | 2015-10-15 | 2017-08-01 | 索尼公司 | 图像处理装置、图像处理方法以及手术显微镜 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05176897A (ja) * | 1991-12-27 | 1993-07-20 | Koonan:Kk | 角膜顕微鏡 |
US20040133112A1 (en) * | 2002-03-08 | 2004-07-08 | Milind Rajadhyaksha | System and method for macroscopic and confocal imaging of tissue |
US7792338B2 (en) | 2004-08-16 | 2010-09-07 | Olympus America Inc. | Method and apparatus of mechanical stage positioning in virtual microscopy image capture |
US8339447B2 (en) | 2004-10-21 | 2012-12-25 | Truevision Systems, Inc. | Stereoscopic electronic microscope workstation |
DE102004055683B4 (de) * | 2004-10-26 | 2006-09-07 | Carl Zeiss Surgical Gmbh | Augenchirurgie-Mikroskopiesystem und Verfahren hierzu |
US8358330B2 (en) | 2005-10-21 | 2013-01-22 | True Vision Systems, Inc. | Stereoscopic electronic microscope workstation |
DE102007029896B3 (de) | 2007-06-28 | 2008-06-26 | Leica Microsystems (Schweiz) Ag | Mikroskop mit zentrierter Beleuchtung |
US9168173B2 (en) | 2008-04-04 | 2015-10-27 | Truevision Systems, Inc. | Apparatus and methods for performing enhanced visually directed procedures under low ambient light conditions |
JP2012152469A (ja) * | 2011-01-27 | 2012-08-16 | Nidek Co Ltd | 眼科用手術顕微鏡 |
WO2014106783A1 (en) * | 2013-01-01 | 2014-07-10 | Controlrad Systems Inc. | X-ray reduction system |
GB2544946B (en) * | 2014-08-31 | 2021-03-10 | Berestka John | Systems and methods for analyzing the eye |
US10444160B2 (en) | 2014-09-18 | 2019-10-15 | Zhejiang University | Surface defects evaluation system and method for spherical optical components |
JP6562626B2 (ja) | 2014-12-10 | 2019-08-21 | キヤノン株式会社 | 顕微鏡システム |
JP2016112358A (ja) * | 2014-12-18 | 2016-06-23 | ソニー株式会社 | 情報処理装置、手術顕微鏡システム及び情報処理方法 |
JP6659290B2 (ja) * | 2015-09-30 | 2020-03-04 | 株式会社日立ハイテクサイエンス | 試料位置合わせ方法および荷電粒子ビーム装置 |
-
2019
- 2019-04-04 JP JP2020550604A patent/JP7297783B2/ja active Active
- 2019-04-04 CA CA3091582A patent/CA3091582A1/en active Pending
- 2019-04-04 CN CN201980024956.6A patent/CN111936034B/zh active Active
- 2019-04-04 EP EP19723493.3A patent/EP3773148A2/en active Pending
- 2019-04-04 WO PCT/IB2019/052783 patent/WO2019197951A2/en unknown
- 2019-04-04 US US16/375,566 patent/US11219364B2/en active Active
- 2019-04-04 AU AU2019251316A patent/AU2019251316B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05300521A (ja) * | 1992-02-21 | 1993-11-12 | Hitachi Denshi Ltd | 画像観察用テレビジョンシステム |
EP0740179A1 (en) * | 1995-04-28 | 1996-10-30 | Fondazione Centro San Raffaele Del Monte Tabor | Device for automatically positioning and centering a microscope optical head |
JP2008295804A (ja) * | 2007-05-31 | 2008-12-11 | Topcon Corp | 眼底検査装置及びプログラム |
CN101902950A (zh) * | 2007-12-21 | 2010-12-01 | 爱尔康折射视界公司 | 监视角膜消融手术进程的虚拟显微系统及其相关方法 |
CN102159128A (zh) * | 2008-07-24 | 2011-08-17 | 卡尔蔡司外科器械有限责任公司 | 眼手术系统、眼手术准备方法和进行眼手术的方法 |
US20110234977A1 (en) * | 2010-03-23 | 2011-09-29 | Steven Roger Verdooner | Apparatus and method for imaging an eye |
CN102917634A (zh) * | 2010-03-23 | 2013-02-06 | 神经视觉成像有限责任公司 | 对眼睛成像的装置和方法 |
CN103687532A (zh) * | 2011-05-02 | 2014-03-26 | 爱尔康手术激光股份有限公司 | 用于眼科系统的图像处理器控制的未对准减小 |
CN103874453A (zh) * | 2011-10-05 | 2014-06-18 | 爱尔康研究有限公司 | 能够在三维视野中调整的手术抬头显示 |
WO2014040184A1 (en) * | 2012-09-13 | 2014-03-20 | The Governing Council Of The University Of Toronto | System and method for fetal and maternal red blood cell counting |
CN105451637A (zh) * | 2013-03-17 | 2016-03-30 | 威盛纳斯医疗系统公司 | 宽视场眼睛成像装置及其相关方法 |
CN106999298A (zh) * | 2015-10-15 | 2017-08-01 | 索尼公司 | 图像处理装置、图像处理方法以及手术显微镜 |
Also Published As
Publication number | Publication date |
---|---|
CA3091582A1 (en) | 2019-10-17 |
US11219364B2 (en) | 2022-01-11 |
WO2019197951A2 (en) | 2019-10-17 |
CN111936034B (zh) | 2024-06-18 |
AU2019251316A1 (en) | 2020-09-10 |
EP3773148A2 (en) | 2021-02-17 |
JP2021518206A (ja) | 2021-08-02 |
JP7297783B2 (ja) | 2023-06-26 |
WO2019197951A3 (en) | 2019-11-21 |
AU2019251316B2 (en) | 2024-08-01 |
US20190313902A1 (en) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111936034B (zh) | 用于数字显微镜的自动xy定心 | |
CN107111122B (zh) | 眼科手术中的放大及相关联设备、系统和方法 | |
AU2016322712B2 (en) | Control of scanning images during vitreoretinal surgery | |
CN114223194B (zh) | 用于玻璃体视网膜手术的场景相机系统和方法 | |
US10970813B2 (en) | Shaking image for registration verification | |
CN116056626A (zh) | 用于眼科手术显微镜的照明系统和方法 | |
US12045979B2 (en) | Medical image processing device and medical observation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |