CN117653463A - 用于眼科白内障手术的显微镜增强现实引导系统及方法 - Google Patents
用于眼科白内障手术的显微镜增强现实引导系统及方法 Download PDFInfo
- Publication number
- CN117653463A CN117653463A CN202311819990.7A CN202311819990A CN117653463A CN 117653463 A CN117653463 A CN 117653463A CN 202311819990 A CN202311819990 A CN 202311819990A CN 117653463 A CN117653463 A CN 117653463A
- Authority
- CN
- China
- Prior art keywords
- parameters
- augmented reality
- microscope
- visual
- cataract surgery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001356 surgical procedure Methods 0.000 title claims abstract description 33
- 208000002177 Cataract Diseases 0.000 title claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 62
- 230000011218 segmentation Effects 0.000 claims abstract description 39
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000012805 post-processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000001054 cortical effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/007—Methods or devices for eye surgery
- A61F9/00736—Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments
- A61F9/00745—Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments using mechanical vibrations, e.g. ultrasonic
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Robotics (AREA)
- Vascular Medicine (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明提供了一种用于眼科白内障手术的显微镜增强现实引导系统及方法，其中图像采集卡用于将手术显微镜中的手术视野画面捕捉为数字化视频图像；工作站用于基于深度学习图像识别算法，根据数字化视频图像进行语义分割，得到分割结果，并利用分割结果计算白内障手术的重要结构参数，并根据重要结构参数计算视觉引导参数，并根据视觉引导参数确定增强现实视觉提示信息；半透显示器用于根据增强现实视觉提示信息进行显示，以使使用者通过手术显微镜观察到原始的手术视野和增强现实视觉提示信息。本发明能够有效提升信息提取的实时性、鲁棒性和精度，有效改善医生术中手眼协调能力。
Description
技术领域
本发明涉及医疗设备技术领域，特别是涉及一种用于眼科白内障手术的显微镜增强现实引导系统及方法。
背景技术
白内障是全球首位致盲病因，超声乳化白内障手术是治疗该疾病的常规选择。该手术通常在手术显微镜下操作完成，操作视野狭窄，医生需要克服手部生理颤抖，因此对医生的技能和年资要求较高。
为了提高医生术中技能，目前有相关工作围绕白内障手术术中引导系统展开。目前的系统采用的技术方案可以总结为：首先采集显微镜视频，对视频进行处理，获得手术步骤或者解剖结构边界信息，然后将提取的术中有效信息传输到外部显示器中进行显示，从而达到引导医生进行手术操作的目的。但是，从技术层面，该技术方案存在以下问题：
(1)该方案提取到的增强现实信息需要再外部显示器中显示，而眼科医生习惯的手术方式是在显微镜下操作。在外部显示器中显示将影响医生术中的手眼协调能力，造成可能的并发症。
(2)该方案采用的视频处理的方法多为传统的基于迭代优化的图像处理方案，难以满足实时术中引导的要求，造成术中引导的卡顿和延迟。
(3)该方案提取的是底层的手术步骤信息和解剖边界信息，而医生更关注的是上层的术中引导信息，造成术中引导的有效性降低。
发明内容
为了克服现有技术的不足，本发明的目的是提供一种用于眼科白内障手术的显微镜增强现实引导系统及方法。
为实现上述目的，本发明提供了如下方案：
一种用于眼科白内障手术的显微镜增强现实引导系统，包括：手术显微镜、图像采集卡、工作站和半透显示器；
手术显微镜，用于对手术视野进行光学成像；
图像采集卡，与所述手术显微镜连接，用于将所述手术显微镜中的手术视野画面捕捉为数字化视频图像；
工作站，与所述图像采集卡连接，用于基于深度学习图像识别算法，根据所述数字化视频图像进行语义分割，得到分割结果，并利用所述分割结果计算白内障手术的重要结构参数，并根据所述重要结构参数计算视觉引导参数，并根据视觉引导参数确定增强现实视觉提示信息；
半透显示器，设置在所述手术显微镜的光学通路中，与所述工作站连接，用于根据增强现实视觉提示信息进行显示，以使使用者通过所述手术显微镜观察到原始的手术视野和增强现实视觉提示信息。
优选地，所述手术显微镜和所述图像采集卡之间通过HDMI接口连接。
一种用于眼科白内障手术的显微镜增强现实引导方法，应用于上述用于眼科白内障手术的显微镜增强现实引导系统，所述方法包括：
利用图像采集卡获取数字化视频图像，并根据所述数字化视频图像构建手术视频序列；
基于卷积神经网络对单帧的手术视频序列进行处理，得到虹膜分割结果和手术器械分割结果；
根据所述虹膜分割结果进行最大连通区域提取，得到提取到的连通域信息；
根据所述连通域信息进行轮廓提取，得到虹膜轮廓线，并对所述虹膜轮廓线进行稀疏采样，得到一系列的轮廓点，并计算每个轮廓点的法曲率；
获取预设曲率阈值，并保留法曲率大于所述预设曲率阈值的轮廓点，删除曲率小于或等于预设曲率阈值的点；
基于最小二乘法，根据删除后的轮廓点拟合虹膜轮廓，得到椭圆及所述椭圆的圆心、长短轴和旋转角参数；
根据所述圆心、所述长短轴和所述旋转角参数计算视觉引导参数；所述视觉引导参数包括切口位置参数和撕囊范围参数；
基于最小二乘法，根据所述手术器械分割结果提取器械的中心线，获得器械中心线参数；
根据所述视觉引导参数和所述器械中心线参数构建增强现实视觉提示信息；
将所述增强现实视觉提示信息传输到半透显示器中，以进行图像化表示。
优选地，所述切口位置参数包括主切口参数和次切口参数；所述主切口参数定义为85°和105°夹角范围内截取的拟合椭圆弧形段，所述次切口参数定义为170°和180°夹角范围内截取的拟合椭圆弧形段。
优选地，所述撕囊范围参数定义为半径为椭圆长短轴之和的一半。
优选地，所述器械中心线参数包括起点坐标和终点坐标。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种用于眼科白内障手术的显微镜增强现实引导系统及方法，系统包括：手术显微镜、图像采集卡、工作站和半透显示器；手术显微镜，用于对手术视野进行光学成像；图像采集卡，与所述手术显微镜连接，用于将所述手术显微镜中的手术视野画面捕捉为数字化视频图像；工作站，与所述图像采集卡连接，用于基于深度学习图像识别算法，根据所述数字化视频图像进行语义分割，得到分割结果，并利用所述分割结果计算白内障手术的重要结构参数，并根据所述重要结构参数计算视觉引导参数，并根据视觉引导参数确定增强现实视觉提示信息；半透显示器，设置在所述手术显微镜的光学通路中，与所述工作站连接，用于根据增强现实视觉提示信息进行显示，以使使用者通过所述手术显微镜观察到原始的手术视野和增强现实视觉提示信息。本发明利用深度学习方法对显微视频进行处理，并通过后处理方法提取重要的术中引导信息，并将提取到的增强现实视觉提示信息直接在显微镜内的半透显示器中直接叠加，引导医生完成白内障手术，有效提升信息提取的实时性、鲁棒性和精度，有效改善医生术中手眼协调能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的系统结构示意图；
图2为本发明实施例提供的工作站中部署的图像处理流程。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种用于眼科白内障手术的显微镜增强现实引导系统及方法，利用深度学习方法对显微视频进行处理，并通过后处理方法提取重要的术中引导信息，并将提取到的增强现实视觉提示信息直接在显微镜内的半透显示器中直接叠加，引导医生完成白内障手术，有效提升信息提取的实时性、鲁棒性和精度，有效改善医生术中手眼协调能力。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例提供的系统结构示意图，如图1所示，本发明提供了一种用于眼科白内障手术的显微镜增强现实引导系统，包括：手术显微镜、图像采集卡、工作站和半透显示器；
手术显微镜，用于对手术视野进行光学成像；
图像采集卡，与所述手术显微镜连接，用于将所述手术显微镜中的手术视野画面捕捉为数字化视频图像；
工作站，与所述图像采集卡连接，用于基于深度学习图像识别算法，根据所述数字化视频图像进行语义分割，得到分割结果，并利用所述分割结果计算白内障手术的重要结构参数，并根据所述重要结构参数计算视觉引导参数，并根据视觉引导参数确定增强现实视觉提示信息；
半透显示器，设置在所述手术显微镜的光学通路中，与所述工作站连接，用于根据增强现实视觉提示信息进行显示，以使使用者通过所述手术显微镜观察到原始的手术视野和增强现实视觉提示信息。
优选地，所述手术显微镜和所述图像采集卡之间通过HDMI接口连接。
具体的，本实施例中系统的操作流程包括：
【眼科医生】操作【手术器械】，对【患者眼球】进行操作；
【手术显微镜】对手术视野(包含【手术器械】和【患者眼球】)进行光学成像，形成放大、明亮、清晰的手术视野；如图1中①流程所示。
【手术显微镜】与【图像采集卡】之间通过HDMI接口进行视频信号传输，将手术视野的画面捕捉为数字化视频图像，步骤的频率每秒30帧；如图1中②流程所示。
【图像采集卡】将采集到的数字视频通过USB接口传输到【工作站】，如图1中③流程所示。【工作站】上部署了深度学习图像识别算法，该算法对手术视频场景进行语义分割，获得解剖结构和手术器械分割的结果。根据分割的结果计算白内障手术重要的结构参数，并根据结构参数计算视觉引导参数，并根据视觉引导参数设计增强现实视觉提示信息。；
将【工作站】中输出的视觉提示信息通过TCP/IP通讯协议传输到【半透显示器】中进行显示，如图1中④流程所示。【半透显示器】的位置位于【手术显微镜】的光学通路中；
当【半透显示器】工作时，【眼科医生】既能看到原始的手术视野，又能看到增强现实视觉提示信息，形成增强现实的手术操作环境。医生将在增强现实视觉提示信息的引导下完成手术操作。医生可以有选择地控制【半透显示器】上面的增强现实视觉提示信息开启与否，开启与否的依据手术执行到了哪一步。通常来说白内障手术标准操作步骤有：切口，注入粘弹剂，撕囊，水分，超乳，抽吸皮质，植入人工晶状体，抽吸粘弹剂，密封切口。在我们的系统中，切口，撕囊，植入人工晶状体这三个步骤需要开启视觉提示信息，而注入粘弹剂，水分，超乳，抽吸皮质，抽吸粘弹剂，密封切口这六个步骤不需要开启视觉提示信息。具体开启或者不开启的方式为医生通过控制脚踏板开关。
可选地，本实施例还可采用数字显微镜，将显微光学信息转换为数字视频信息，然后将再将提取到的增强现实视觉提示信息叠加到数字视频上。尽管能实现类似的效果，但数字显微镜视频方案在色差、分辨率、临床适用性等方面存在缺陷。
本发明还提供了一种用于眼科白内障手术的显微镜增强现实引导方法，应用于上述用于眼科白内障手术的显微镜增强现实引导系统，所述方法包括：
利用图像采集卡获取数字化视频图像，并根据所述数字化视频图像构建手术视频序列；
基于卷积神经网络对单帧的手术视频序列进行处理，得到虹膜分割结果和手术器械分割结果；
根据所述虹膜分割结果进行最大连通区域提取，得到提取到的连通域信息；
根据所述连通域信息进行轮廓提取，得到虹膜轮廓线，并对所述虹膜轮廓线进行稀疏采样，得到一系列的轮廓点，并计算每个轮廓点的法曲率；
获取预设曲率阈值，并保留法曲率大于所述预设曲率阈值的轮廓点，删除曲率小于或等于预设曲率阈值的点；
基于最小二乘法，根据删除后的轮廓点拟合虹膜轮廓，得到椭圆及所述椭圆的圆心、长短轴和旋转角参数；
根据所述圆心、所述长短轴和所述旋转角参数计算视觉引导参数；所述视觉引导参数包括切口位置参数和撕囊范围参数；
基于最小二乘法，根据所述手术器械分割结果提取器械的中心线，获得器械中心线参数；
根据所述视觉引导参数和所述器械中心线参数构建增强现实视觉提示信息；
将所述增强现实视觉提示信息传输到半透显示器中，以进行图像化表示。
优选地，所述切口位置参数包括主切口参数和次切口参数；所述主切口参数定义为85°和105°夹角范围内截取的拟合椭圆弧形段，所述次切口参数定义为170°和180°夹角范围内截取的拟合椭圆弧形段。
优选地，所述撕囊范围参数定义为半径为椭圆长短轴之和的一半。
优选地，所述器械中心线参数包括起点坐标和终点坐标。
具体的，本实施例首先，利用【图像采集卡】采集到的手术视频序列，对单帧手术视频进行处理。本实施例利用卷积神经网络进行处理，这里的卷积神经网路为U-Net语义分割网络，分为下采样和上采样两个部分，通过跳连接进行信息融合。根据语义分割的结果，分别得到虹膜的区域和手术器械的区域分割结果。
对于虹膜分割结果，本实施例进行后处理提取关键的信息，如图2所示，流程为：首先，进行最大连通区域提取，从而去除误分割区域。然后，通过轮廓提取方法获得虹膜轮廓线，并对轮廓线进行稀疏采样，获得一系列的轮廓点，并计算每个轮廓点的法曲率。设置法曲率阈值为0.65，保留曲率大于阈值的轮廓点，删除曲率小于等于阈值的点(非轮廓点)。对于剩下的轮廓点，基于最小二乘法，拟合虹膜轮廓为一个椭圆，获得椭圆的圆心、长短轴、旋转角参数，根据这些参数来计算视觉引导参数。
本实施例一共设计了两种视觉引导参数，一种为切口位置参数，一种为撕囊范围参数。对于切口位置参数包括主切口参数和次切口参数，主切口参数定义为85°和105°夹角范围内截取的拟合椭圆弧形段，次切口参数定义为170°和180°夹角范围内截取的拟合椭圆弧形段。撕囊范围定义为半径为椭圆长短轴之和的一半。
对于手术器械分割结果，本实施例基于最小二乘法提取器械的中心线，获得器械中心线参数：起点坐标和终点坐标。
对于视觉引导参数和器械中心线参数，本实施例将其传输到【半透显示器中】进行图像化表示，可视化主切口、次切口的位置，可视化撕囊圆的范围，并可视化手术器械与主切口、次切口的位置、撕囊圆的角度和距离偏差。从而在增强现实信息的引导下帮助眼科医生更好地完成白内障手术。
本发明的有益效果如下：
(1)目镜下直接增强现实引导，有效提高眼科医生的手眼协调能力。
优点源于本实施例的【手术显微镜】中集成了【半透显示器】，可以将增强信息直接叠加到光路中。这种叠加效果使得医生既能够看到原始的手术视野，又能够看到增强现实的信息。
(2)在外部【工作站】中进行视频图像处理，有效提高处理精度。
优点源于【工作站】处理能力强，内存和显存均较大，能够部署更复杂的深度学习网络，相比于在显微镜下部署小型处理器的方案，能够提高精度。
(3)利用深度学习网络对手术视频进行语义分割，有效提高实时性。
优点源于本实施例利用深度学习网络进行视频处理。相比于其他传统图像分割方案，例如基于迭代优化的方案，本实施例的方法可以有效提升实时性，处理能力大于每秒30帧，这能够满足应用的需求，因为数据采集卡采集到的帧率为每秒30帧。
(4)利用后处理流程对语义分割的结果进行信息提取，有效提高计算视觉引导参数计算的鲁棒性。
优点源于本实施例提出了一种后处理流程。对语义分割误分割的区域进行去除，对非虹膜轮廓点进行去除，对剩余虹膜轮廓点进行拟合。这种后处理流程可以有效较少语义分割误差对视觉引导参数计算带来的误差，也使得本实施例的计算更加鲁棒。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种用于眼科白内障手术的显微镜增强现实引导系统，其特征在于，包括：手术显微镜、图像采集卡、工作站和半透显示器；
手术显微镜，用于对手术视野进行光学成像；
图像采集卡，与所述手术显微镜连接，用于将所述手术显微镜中的手术视野画面捕捉为数字化视频图像；
工作站，与所述图像采集卡连接，用于基于深度学习图像识别算法，根据所述数字化视频图像进行语义分割，得到分割结果，并利用所述分割结果计算白内障手术的重要结构参数，并根据所述重要结构参数计算视觉引导参数，并根据视觉引导参数确定增强现实视觉提示信息；
半透显示器，设置在所述手术显微镜的光学通路中，与所述工作站连接，用于根据增强现实视觉提示信息进行显示，以使使用者通过所述手术显微镜观察到原始的手术视野和增强现实视觉提示信息。
2.根据权利要求1所述的用于眼科白内障手术的显微镜增强现实引导系统，其特征在于，所述手术显微镜和所述图像采集卡之间通过HDMI接口连接。
3.一种用于眼科白内障手术的显微镜增强现实引导方法，其特征在于，应用于权利要求1至2中任一项所述的用于眼科白内障手术的显微镜增强现实引导系统，所述方法包括：
利用图像采集卡获取数字化视频图像，并根据所述数字化视频图像构建手术视频序列；
基于卷积神经网络对单帧的手术视频序列进行处理，得到虹膜分割结果和手术器械分割结果；
根据所述虹膜分割结果进行最大连通区域提取，得到提取到的连通域信息；
根据所述连通域信息进行轮廓提取，得到虹膜轮廓线，并对所述虹膜轮廓线进行稀疏采样，得到一系列的轮廓点，并计算每个轮廓点的法曲率；
获取预设曲率阈值，并保留法曲率大于所述预设曲率阈值的轮廓点，删除曲率小于或等于预设曲率阈值的点；
基于最小二乘法，根据删除后的轮廓点拟合虹膜轮廓，得到椭圆及所述椭圆的圆心、长短轴和旋转角参数；
根据所述圆心、所述长短轴和所述旋转角参数计算视觉引导参数；所述视觉引导参数包括切口位置参数和撕囊范围参数；
基于最小二乘法，根据所述手术器械分割结果提取器械的中心线，获得器械中心线参数；
根据所述视觉引导参数和所述器械中心线参数构建增强现实视觉提示信息；
将所述增强现实视觉提示信息传输到半透显示器中，以进行图像化表示。
4.根据权利要求3所述的用于眼科白内障手术的显微镜增强现实引导方法，其特征在于，所述切口位置参数包括主切口参数和次切口参数；所述主切口参数定义为85°和105°夹角范围内截取的拟合椭圆弧形段，所述次切口参数定义为170°和180°夹角范围内截取的拟合椭圆弧形段。
5.根据权利要求3所述的用于眼科白内障手术的显微镜增强现实引导方法，其特征在于，所述撕囊范围参数定义为半径为椭圆长短轴之和的一半。
6.根据权利要求3所述的用于眼科白内障手术的显微镜增强现实引导方法，其特征在于，所述器械中心线参数包括起点坐标和终点坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311819990.7A CN117653463B (zh) | 2023-12-27 | 2023-12-27 | 用于眼科白内障手术的显微镜增强现实引导系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311819990.7A CN117653463B (zh) | 2023-12-27 | 2023-12-27 | 用于眼科白内障手术的显微镜增强现实引导系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117653463A true CN117653463A (zh) | 2024-03-08 |
| CN117653463B CN117653463B (zh) | 2024-08-09 |
Family
ID=90075200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311819990.7A Active CN117653463B (zh) | 2023-12-27 | 2023-12-27 | 用于眼科白内障手术的显微镜增强现实引导系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117653463B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118178099A (zh) * | 2024-05-16 | 2024-06-14 | 湖州爱尔眼科医院有限公司 | 一种玻璃体切割手术系统及其控制方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5912720A (en) * | 1997-02-13 | 1999-06-15 | The Trustees Of The University Of Pennsylvania | Technique for creating an ophthalmic augmented reality environment |
| CN107358224A (zh) * | 2017-08-18 | 2017-11-17 | 北京工业大学 | 一种白内障手术中虹膜外轮廓检测的方法 |
| CN110390851A (zh) * | 2018-04-23 | 2019-10-29 | 黄宇轩 | 增强现实训练系统 |
| CN111616800A (zh) * | 2020-06-09 | 2020-09-04 | 电子科技大学 | 眼科手术导航系统 |
| US20220138998A1 (en) * | 2019-02-04 | 2022-05-05 | Vasoptic Medical Inc. | System and method for augmented reality visualization of biomedical imaging data |
| US20220163783A1 (en) * | 2019-04-08 | 2022-05-26 | Leica Instruments (Singapore) Pte. Ltd. | Self-teaching microscope |
| US20220346884A1 (en) * | 2021-05-03 | 2022-11-03 | Microsurgical Guidance Solutions, Llc | Intraoperative image-guided tools for ophthalmic surgery |
| KR20230099680A (ko) * | 2021-12-27 | 2023-07-04 | 주식회사 지메디텍 | 증강현실 현미경 기반 내비게이션 장치 및 방법 |
| CN116602764A (zh) * | 2023-05-22 | 2023-08-18 | 电子科技大学 | 一种端到端眼科手术定位导航方法及设备 |
-
2023
- 2023-12-27 CN CN202311819990.7A patent/CN117653463B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5912720A (en) * | 1997-02-13 | 1999-06-15 | The Trustees Of The University Of Pennsylvania | Technique for creating an ophthalmic augmented reality environment |
| CN107358224A (zh) * | 2017-08-18 | 2017-11-17 | 北京工业大学 | 一种白内障手术中虹膜外轮廓检测的方法 |
| CN110390851A (zh) * | 2018-04-23 | 2019-10-29 | 黄宇轩 | 增强现实训练系统 |
| US20220138998A1 (en) * | 2019-02-04 | 2022-05-05 | Vasoptic Medical Inc. | System and method for augmented reality visualization of biomedical imaging data |
| US20220163783A1 (en) * | 2019-04-08 | 2022-05-26 | Leica Instruments (Singapore) Pte. Ltd. | Self-teaching microscope |
| CN111616800A (zh) * | 2020-06-09 | 2020-09-04 | 电子科技大学 | 眼科手术导航系统 |
| US20220346884A1 (en) * | 2021-05-03 | 2022-11-03 | Microsurgical Guidance Solutions, Llc | Intraoperative image-guided tools for ophthalmic surgery |
| KR20230099680A (ko) * | 2021-12-27 | 2023-07-04 | 주식회사 지메디텍 | 증강현실 현미경 기반 내비게이션 장치 및 방법 |
| CN116602764A (zh) * | 2023-05-22 | 2023-08-18 | 电子科技大学 | 一种端到端眼科手术定位导航方法及设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118178099A (zh) * | 2024-05-16 | 2024-06-14 | 湖州爱尔眼科医院有限公司 | 一种玻璃体切割手术系统及其控制方法 |
| CN118178099B (zh) * | 2024-05-16 | 2024-07-26 | 湖州爱尔眼科医院有限公司 | 一种玻璃体切割手术系统及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117653463B (zh) | 2024-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117653463B (zh) | 用于眼科白内障手术的显微镜增强现实引导系统及方法 | |
| US9355446B2 (en) | Image processing apparatus and image processing method | |
| CN111616800B (zh) | 眼科手术导航系统 | |
| CN108765392B (zh) | 一种基于滑动窗口的消化道内镜病变检测和识别方法 | |
| AU2012301512C1 (en) | Imaging-based guidance system for ophthalmic docking using a location-orientation analysis | |
| KR101926848B1 (ko) | 복수-레벨 안구 레지스트레이션을 위한 방법 및 장치 | |
| US20240207093A1 (en) | System and method for improved electronic assisted medical procedures | |
| EP3265995B1 (en) | Oct image modification | |
| CN106570530A (zh) | 一种眼底影像中硬性渗出提取的方法 | |
| CN111588469B (zh) | 眼科机器人末端执行器引导和定位系统 | |
| JPWO2018207466A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| CN113940812A (zh) | 用于准分子激光角膜屈光手术的角膜中心定位方法 | |
| US20230071841A1 (en) | System and method for improved electronic assisted medical procedures | |
| CN114931436B (zh) | 一种白内障手术导航系统 | |
| US10970813B2 (en) | Shaking image for registration verification | |
| Loquin et al. | Photoreceptor detection in in-vivo adaptive optics images of the retina: towards a simple interactive tool for the physicians | |
| JP2022062620A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN108309229B (zh) | 一种针对眼底图像视网膜血管的层次结构划分方法 | |
| CN115984212B (zh) | 在眼底图中观察光凝的方法及系统 | |
| CN118195924B (zh) | 一种基于图像识别的早产儿视网膜病变分析系统 | |
| US20220148165A1 (en) | Surgical microscope system, image processing method, program, and image processing device | |
| Xue et al. | Gaze-Tracking Algorithm based on Infrared Gray Image | |
| CN116258678A (zh) | 眼底图像中识别激光光凝方法及系统 | |
| Sommersperger et al. | Uncertainty-Aware Contextual Visualization for Human Supervision of OCT-Guided Autonomous Robotic Subretinal Injection | |
| JP2022062619A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |