CN114931436B - 一种白内障手术导航系统 - Google Patents

一种白内障手术导航系统 Download PDF

Info

Publication number
CN114931436B
CN114931436B CN202210890329.4A CN202210890329A CN114931436B CN 114931436 B CN114931436 B CN 114931436B CN 202210890329 A CN202210890329 A CN 202210890329A CN 114931436 B CN114931436 B CN 114931436B
Authority
CN
China
Prior art keywords
image
source image
anterior
anterior segment
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210890329.4A
Other languages
English (en)
Other versions
CN114931436A (zh
Inventor
顾愿愿
赵一天
牟磊
方利鑫
岳星宇
蒋珊珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CIBE of CAS
Original Assignee
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CIBE of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Material Technology and Engineering of CAS, Cixi Institute of Biomedical Engineering CIBE of CAS filed Critical Ningbo Institute of Material Technology and Engineering of CAS
Priority to CN202210890329.4A priority Critical patent/CN114931436B/zh
Publication of CN114931436A publication Critical patent/CN114931436A/zh
Application granted granted Critical
Publication of CN114931436B publication Critical patent/CN114931436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A61F9/00736—Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments
    • A61F9/00754—Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments for cutting or perforating the anterior lens capsule, e.g. capsulotomes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Robotics (AREA)
  • Vascular Medicine (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明提出了一种白内障手术导航系统，白内障手术导航系统包括：图像获取模块，用于获取眼前节源图像和与眼前节源图像对应的眼前节目标图像；图像处理模块，用于根据血管结构数据将眼前节源图像相对眼前节目标图像进行图像配准，以确定眼前节源图像的源图像最陡子午线；切口确定模块，用于根据源图像最陡子午线确定白内障手术导航的角膜缘切口位置。本发明的有益效果是：实现了白内障手术切口的无标记准确定位。

Description

一种白内障手术导航系统
技术领域
本发明涉及手术图像处理技术领域，具体而言，涉及一种白内障手术导航系统。
背景技术
手术是白内障治疗的主要方式，如今白内障手术已进入屈光手术时代，散光是影响白内障术后视力质量的重要因素之一，白内障手术切口是引起角膜散光的主要因素之一，切口位置的不同对术后角膜散光造成的影响不尽相同。
目前，在白内障手术前，临床通过角膜地形图或角膜曲率计等确定角膜曲率最大子午线，从而确立最佳手术切口位置，然而，手术时患者由术前的坐立位转换成术中的躺卧位，眼球会发生不同程度的自旋，最陡子午线轴向位置也随之改变，进而导致手术切口位置改变。术中医生根据术前拍摄的标准眼前节图像凭借自身经验规划术中手术切口的位置，这种术中手术切口位置的规划对新手医生非常不友好，且主观差异性大，术源性散光发生率较高。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题，为达上述目的本发明提供一种白内障手术导航系统，包括：
图像获取模块，用于获取眼前节源图像和与所述眼前节源图像对应的眼前节目标图像；
图像处理模块，用于根据血管结构数据将所述眼前节源图像相对所述眼前节目标图像进行图像配准，以确定所述眼前节源图像的源图像最陡子午线；
切口确定模块，用于根据所述源图像最陡子午线确定白内障手术导航的角膜缘切口位置。
进一步地，所述图像处理模块具体用于：
确定所述眼前节目标图像的目标图像最陡子午线；
根据所述眼前节源图像、所述眼前节目标图像和无监督神经网络配准模型对所述眼前节源图像进行图像配准，得到配准后的变换图像；
确定所述变换图像相对所述眼前节源图像的变化量，以及根据所述变化量和所述目标图像最陡子午线确定所述眼前节源图像的源图像最陡子午线。
进一步地，所述图像处理模块具体用于：
将所述眼前节源图像和所述眼前节目标图像输入所述无监督神经网络配准模型，得到图像变形矩阵；
通过插值方法将所述图像变形矩阵作用于所述眼前节源图像，得到所述变换图像。
进一步地，所述图像处理模块具体用于：
确定所述变换图像相对所述眼前节源图像的变化位移，以及确定所述眼前节源图像的角膜缘中心位置；
根据所述角膜缘中心位置、所述血管结构数据和所述变化位移确定眼球旋转角度；
将所述眼球旋转角度作为最陡子午线旋转角度，根据所述最陡子午线旋转角度和所述目标图像最陡子午线确定所述源图像最陡子午线。
进一步地，所述无监督神经网络配准模型的损失函数由所述变换图像与所述眼前节目标图像的相似度、血管结构相似度以及正则项组成，所述血管结构数据包括血管目标图像和血管源图像；所述图像处理模块具体还用于：根据所述血管目标图像、所述血管源图像和Dice函数确定所述血管结构相似度。
进一步地，所述损失函数的确定公式包括：
Figure DEST_PATH_IMAGE002
；
其中，
Figure DEST_PATH_IMAGE004
表示所述变换图像与所述目标图像的相似度，
Figure DEST_PATH_IMAGE006
表示所述血管目标图像，
Figure DEST_PATH_IMAGE008
表示图像变形矩阵，
Figure DEST_PATH_IMAGE010
表示由所述血管源图像和所述图像变形矩阵确定的血管变换图像，
Figure DEST_PATH_IMAGE012
表示所述血管结构相似度，
Figure DEST_PATH_IMAGE014
表示正则项，所述正则项的确定公式包括：
Figure DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE018
表示恒等变换。
进一步地，所述图像处理模块具体还用于：
将所述眼前节源图像进行图像中心裁剪；
提取裁剪后的所述眼前节源图像的图像特征；
根据所述图像特征和预设的角膜缘实时分割模型生成角膜缘内侧区域掩膜；
将所述角膜缘内侧区域掩膜拟合得到的椭圆作为角膜缘；
所述切口确定模块具体用于：
确定所述角膜缘切口位置为所述角膜缘与所述源图像最陡子午线的相交位置。
进一步地，所述图像处理模块基于U-Net架构提取裁剪后的所述眼前节源图像的高层次语义特征，作为所述图像特征，其中，所述U-Net架构的编码器特征提取模块为ResNet-34残差模块，所述U-Net架构的底层采用密集空洞卷积模块和残差多核池化模块连接编码模块与解码模块，通过所述解码模块提取目标特征的所述高层次语义特征。
进一步地，所述图像获取模块具体用于：获取由多种眼前节图像设备采集的术前标准图像作为所述眼前节目标图像，以及术中显微镜图像作为所述眼前节源图像。
本发明还提出了一种白内障手术导航系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当所述处理器执行所述程序时，实现如下步骤：
获取眼前节源图像和与所述眼前节源图像对应的眼前节目标图像；
根据血管结构数据将所述眼前节源图像相对所述眼前节目标图像进行图像配准，以确定所述眼前节源图像的源图像最陡子午线；
根据所述源图像最陡子午线确定白内障手术导航的角膜缘切口位置。
本发明中的白内障手术导航系统，通过获取患者眼部的眼前节源图像和眼前节目标图像，后续能够根据眼前节源图像引导操作，结合眼部的血管结构数据以及将眼前节目标图像作为眼前节源图像的对比参照，以此进行眼前节源图像的图像配准，以此便于准确确定眼前节源图像的源图像最陡子午线，能够利用源图像最陡子午线确定出适应患者的白内障手术切口位置，以此实现手术导航的快速定位。
附图说明
图1为本发明实施例所述的白内障手术导航系统的结构示意图；
图2为本发明实施例所述的眼前节目标图像，其中，实线圆圈示意为角膜缘，虚线圆圈与一标识线，虚线圆圈与实线圆圈之间为分割的巩膜血管区域，长方形虚线框为待配准的血管区域，实线直线为目标图像最陡子午线；
图3为本发明实施例所述的眼前节源图像，其中，实线圆圈示意为角膜缘，虚线圆圈与一标识线，虚线圆圈与实线圆圈之间为分割的巩膜血管区域，长方形虚线框为待配准的血管区域，实现直线为确定得到的源图像最陡子午线，源图像最陡子午线与角膜缘的交点为角膜缘切口位置。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
在本说明书的描述中，参考术语“实施例”、“一个实施例”和“一个实施方式”等的描述意指结合该实施例或实施方式描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示实施方式中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实施方式。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或实施方式以合适的方式结合。
结合图1所示，本发明实施例提出了一种白内障手术导航系统，包括：
图像获取模块，用于获取眼前节源图像和与所述眼前节源图像对应的眼前节目标图像；
其中，眼前节源图像为医生需要针对进行手术的实时眼球图像，即获取的眼前节源图像是术中眼前节图像，眼前节目标图像为眼前节源图像进行对比参照的标准图像，眼前节目标图像可以是该患者在术前拍摄的标准眼前节图像，以此将术前标准图像与术中图像作为对应，后续用于确定术中图像相对术前标准图像的变化量，以确定手术过程中对应术中图像的角膜缘切口位置。
在一个可选的实施例中，图像获取模块可以获取由多种眼前节图像设备采集的术前标准图像作为所述眼前节目标图像，以及术中显微镜图像作为所述眼前节源图像，通过采集多品牌、多型号光学生物测量仪采集的眼前节图像，具体地，不同设备眼前节图像设备采集的术前标准图像作为眼前节目标图像，术中显微镜图像作为与之对应的所述眼前节源图像，在将眼前节源图像和眼前节源图像输入无监督神经网络配准模型进行学习训练时，能够更进一步地提高不同设备应用于手术导航中的兼容性。
在其它实施例中，眼前节源图像和眼前节目标图像可均为术中图像，其中，眼前节源图像和眼前节目标图像具有时间上的先后顺序，具体地，眼前节目标图像在眼前节源图像的时间点之前，由此，后续对两个术中图像进行配准，以此确定后续眼前节源图像对应的角膜缘切口位置。
图像处理模块，用于根据血管结构数据将所述眼前节源图像相对所述眼前节目标图像进行图像配准，以确定所述眼前节源图像的源图像最陡子午线；
在本发明实施例中，以眼前节源图像是术中眼前节图像，眼前节目标图像是该患者在术前拍摄的眼前节图像为例，图像处理模块可以在得到眼前节源图像和眼前节目标图像后，将眼前节源图像相对眼前节目标图像进行配准，以便于实现统一的参照，便于后续确定出变化后的源图像最陡子午线，其中，眼前节源图像相对眼前节目标图像的配准基于血管结构数据进行，即基于眼部的血管区域内的数据进行配准，以此通过结合血管结构特征确定新的约束方式，以能够减少了因多模态图像间差异导致的相似度难约束问题对配准结果的影响，以提高配准精确度。
切口确定模块，用于根据所述源图像最陡子午线确定白内障手术导航的角膜缘切口位置。
切口确定模块基于源图像最陡子午线，能够确定白内障手术过程中的角膜缘切口位置，以此，便于后续实现白内障手术导航，在本发明实施例的白内障手术导航系统的应用中，医生根据导航的角膜缘切口位置，可以进行操作，以使得能够达到更好的手术效果。
其中，本发明所述白内障手术导航系统可以应用于手术机器人中，从而手术机器人能够用于输出切口位置以进行医生手术导航，便于医生进行手术过程的控制操作。
本发明实施例中的白内障手术导航系统，通过图像获取模块获取患者眼部的眼前节源图像和眼前节目标图像，后续能够根据眼前节源图像引导操作，图像处理模块结合眼部的血管结构数据以及将眼前节目标图像作为眼前节源图像的对比参照，以此进行眼前节源图像的图像配准，从而准确确定眼前节源图像的源图像最陡子午线，切口确定模块能够利用源图像最陡子午线确定出适应患者的白内障手术切口位置，以此实现手术导航的快速定位。
在本发明的一个可选的实施例中，所述图像处理模块具体用于，也就是根据血管结构数据将所述眼前节源图像相对所述眼前节目标图像进行配准，以确定所述眼前节源图像的源图像最陡子午线具体包括：
确定所述眼前节目标图像的目标图像最陡子午线；
其中，对于眼前节目标图像的目标图像最陡子午线，可根据角膜地形图或角膜曲率计等进行确定。
根据所述眼前节源图像、所述眼前节目标图像和无监督神经网络配准模型对所述眼前节源图像进行图像配准，得到配准后的变换图像；
本发明实施例中，以眼前节源图像是术中眼前节图像，眼前节目标图像是该患者在术前拍摄的眼前节图像为例，将眼前节源图像相对眼前节目标图像进行配准，以便于实现统一的参照以确定配准后的变换图像相对眼前节源图像的变化量，进而便于后续以眼前节目标图像的目标图像最陡子午线作为标准确定出变化后的源图像最陡子午线。
其中，图像处理模块利用深度学习神经网络模型实现眼前节源图像和眼前节目标图像的配准，神经网络模型采用无监督学习的神经网络模型，即无监督神经网络配准模型，无监督神经网络配准模型的损失函数可基于血管结构数据进行构建，避免了多模态图像数据缺少标准的标注问题，使得配准过程更加方便，且达到较高的准确性。
确定所述变换图像相对所述眼前节源图像的变化量，以及根据所述变化量和所述目标图像最陡子午线确定所述眼前节源图像的源图像最陡子午线。
由此，对于将眼前节源图像配准后的变换图像，可以在同一参考标准下与眼前节源图像进行对比，确定其变化量，可以理解，由于变换图像为基于眼前节目标图像配准得到，对于术中图像和术前标准图像，图像的变化量也即反映目标图像最陡子午线的变化量，以此图像处理模块根据该变化量可以进一步确定出眼前节源图像中的源图像最陡子午线。
可以理解，对于模型训练学习，其输入可以是眼前节源图像和眼前节目标图像，利用输出对眼前节源图像进行配准，根据构建得到的无监督神经网络配准模型，在实际使用时，可以将患者术中眼前节显微图像作为眼前节源图像和术前前节标准图像作为眼前节目标图像输入模型中，以通过模型的预测输出，实现眼前节源图像与的配准，由此能够给出较为准确的配准数据，进而便于后续准确确定切口位置。
在本发明的一个可选的实施例中，所述图像处理模块具体还用于，也就是根据所述眼前节源图像、所述眼前节目标图像和无监督神经网络配准模型对所述眼前节源图像进行图像配准，得到配准后的变换图像具体包括：
将所述眼前节源图像和所述眼前节目标图像输入所述无监督神经网络配准模型，得到图像变形矩阵；
通过插值方法将所述图像变形矩阵作用于所述眼前节源图像，得到所述变换图像。
本实施例中，图像处理模块中无监督神经网络配准模型预测出图像间的图像变形矩阵，图像变形矩阵作用于眼前节源图像，以得到眼前节源图像的变换图像，对于一张眼前节目标图像T，和一张眼前节源图像S，将两张图像输入无监督神经网络配准模型F中，无监督神经网络配准模型F经过训练学习，以此能够预测表征眼前节目标图像T和眼前节源图像S配准关系的图像变形矩阵
Figure 41714DEST_PATH_IMAGE008
，即
Figure DEST_PATH_IMAGE020
，可通过插值方法将所述图像变形矩阵作用于所述眼前节源图像，得到所述变换图像，基于此，利用该图像变形矩阵
Figure 693275DEST_PATH_IMAGE008
配准所得到的变换图像，能够便于与眼前节源图像进行对比，确认相对于眼前节源图像的变化量，进而确定出作用于眼前节源图像的源图像最陡子午线，最终确定出角膜缘切口位置，以进行白内障手术导航。
其中，可通过确定变换图像和眼前节目标图像间的相似度，以判断模型的配准性能，其中相似度
Figure DEST_PATH_IMAGE022
的确定公式可为
Figure DEST_PATH_IMAGE024
)。
在本发明的一个可选的实施例中，图像处理模块具体还用于，也就是确定所述变换图像相对所述眼前节源图像的变化量，以及根据所述变化量和所述目标图像最陡子午线确定所述眼前节源图像的源图像最陡子午线具体包括：
确定所述变换图像相对所述眼前节源图像的变化位移，以及确定所述眼前节源图像的角膜缘中心位置；
根据所述角膜缘中心位置、所述血管结构数据和所述变化位移确定眼球旋转角度；
将所述眼球旋转角度作为最陡子午线旋转角度，根据所述最陡子午线旋转角度和所述目标图像最陡子午线确定所述源图像最陡子午线。
在本实施例中，图像处理模块在进行源图像最陡子午线确定时，通过确定变换图像相对于眼前节源图像的变化位移进而用于确定出变换图像相对于眼前节源图像的变化量，在一具体地实施例中，确定的变化位移为变换图像中血管结构区域相对于眼前节源图像中血管结构的区域的位移变化。
由于术中的眼前节源图像相对于变换图像的变换具体体现在眼球旋转上，因此图像处理模块基于确定的角膜缘中心位置、所述血管结构数据和所述变化位移确定眼球旋转角度，具体地，角膜缘中心位置与血管结构的连线结合确定的变化位移，能够确定出眼球旋转角度，最终确定出的眼球旋转角度，可以作为最陡子午线旋转角度，图像处理模块利用最陡子午线旋转角度结合作为参考基准的目标最陡子午线，以能够得到源图像最陡子午线，具体地，源图像最陡子午线即目标图像最陡子午线绕眼球角膜缘中心位置旋转最陡子午线旋转角度的最陡子午线，最终该源图像最陡子午线作用于眼前节源图像上，可用于角膜缘切口位置的确定。
参照图2和图3所示，其中，实线圆圈示意为角膜缘，虚线圆圈与一标识线，虚线圆圈与实线圆圈之间为分割的巩膜血管区域，长方形虚线框为待配准的血管区域，图2中实线直线为目标图像最陡子午线，图3中实现直线为确定得到的源图像最陡子午线，源图像最陡子午线与角膜缘的交点即为角膜缘切口位置。
在本发明的一个可选的实施例中，图像处理模块还用于：
将所述眼前节源图像进行图像中心裁剪；
提取裁剪后的所述眼前节源图像的图像特征；
根据所述图像特征和预设的角膜缘实时分割模型生成角膜缘内侧区域掩膜；
将所述角膜缘内侧区域掩膜拟合得到的椭圆作为角膜缘；
所述切口确定模块具体用于：
确定所述角膜缘切口位置为所述角膜缘与所述源图像最陡子午线的相交位置。
其中，图像处理模块基于U-Net架构提取裁剪后的所述眼前节源图像的高层次语义特征，作为所述图像特征，其中，所述U-Net架构的编码器特征提取模块为ResNet-34残差模块，所述U-Net架构的底层采用密集空洞卷积模块和残差多核池化模块连接编码模块与解码模块，通过解码模块提取目标特征的高层次语义特征。在本发明实施例中，在根据源图像最陡子午线确定角膜缘切口位置时，该角膜缘切口位置为角膜缘与源图像最陡子午线的相交位置，因此，需要预先确定出图像中的眼球角膜缘，由于眼球在图像中占据区域较小且居于中心位置，直接对整帧图像进行角膜缘分割将会导致计算冗余且影响分割准确度。本发明实施例中，首先中心裁剪眼部区域，然后基于U-Net架构，将U-Net架构中编码器特征提取模块替换成ResNet-34残差模块，以能够提高细粒度信息捕捉能力，U-Net架构底层采用密集空洞卷积和残差多核池化模块连接特征编码模块与解码模块，后通过解码模块提取目标特征的高层次语义特征以作为图像特征。由于临床认为眼球形状更接近于椭圆，可通过计算预测区域与金标准区域的交并比（即Dice系数差异函数）作为损失函数，从而训练出精准的角膜缘实时分割模型，以结合图像特征得到角膜缘内侧区域掩膜（mask），将其拟合成椭圆即可作为角膜缘，以此实现角膜缘的精准确定。
由于术前术中眼前节图像可能存在尺寸差异，因此图像处理模块可以对眼前节目标图像和眼前节源图像进行处理，后续利用处理后的图像进行配准，对眼前节目标图像和眼前节源图像进行处理可包括以下方式：确定出眼球角膜缘中心位置，以该位置为中心对裁剪的眼部区域缩放至同一尺寸，在上述实施例中，可基于对眼前节源图像和眼前节目标图像的椭圆角膜缘拟合，在拟合椭圆的过程中，可计算得到椭圆中心点及长、短轴长，可根据得到的椭圆中心点及长、短轴长，随后裁剪出角膜缘外侧3mm巩膜上血管区域，并基于高斯核的滤波器多裁剪出的角膜缘图像块进行图像增强，使得血管信息更加清晰可见，以此便于后续的图像配准及眼球旋转角度的确定。
在本发明的一个可选的实施例中，所述无监督神经网络配准模型的损失函数由所述变换图像与所述眼前节目标图像的相似度、血管结构相似度以及正则项组成，所述血管结构数据包括血管目标图像和血管源图像；图像处理模块对所述血管结构相似度的确定过程包括：
根据所述血管目标图像、所述血管源图像和Dice函数确定所述血管结构相似度。
本实施例中，血管结构数据包括血管目标图像和血管源图像，用于确定血管结构相似度，无监督神经网络配准模型的损失函数具体由变换图像与眼前节目标图像的相似度、基于血管结构数据确定的血管结构相似度以及正则项组成，由此提高无监督神经网络配准模型的配准精确度。具体地，所述损失函数的确定公式包括：
Figure 800908DEST_PATH_IMAGE002
；
其中，
Figure 930538DEST_PATH_IMAGE004
表示所述变换图像与所述眼前节目标图像的相似度，
Figure 292381DEST_PATH_IMAGE006
表示所述血管目标图像，
Figure 849264DEST_PATH_IMAGE008
表示图像变形矩阵，
Figure 913035DEST_PATH_IMAGE010
表示由所述血管源图像和血管的图像变形矩阵确定的血管变换图像，
Figure 846356DEST_PATH_IMAGE012
表示所述血管结构相似度，
Figure 311972DEST_PATH_IMAGE014
表示正则项，所述正则项的确定公式包括：
Figure 39757DEST_PATH_IMAGE016
，
Figure 590824DEST_PATH_IMAGE018
表示恒等变换，其中，血管变换图像由血管源图像以及血管的图像变形矩阵确定得到，血管变形矩阵可以由血管目标图像和血管源图像生成，其具体地确定过程可以近似于上述变换图像的确定过程，在此不再赘述。基于获取得到的血管目标图像和血管变换图像，利用Dice函数确定血管目标图像和血管变换图像之间的相似度，即作为血管结构相似度。对于多个血管目标图像和多个血管变换图像，Dice函数表示血管目标图像与血管变换图像之间交集与并集之间的比值关系。以此本实施例通过结合眼变换图像与眼前节目标图像的相似度、关于血管结构的血管结构相似度以及正则项，能够使得模型配准更加精确，进而便于更精确地确定出角膜缘切口位置。
本发明还提出了一种白内障手术导航系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当所述处理器执行所述程序时，实现如下步骤：
获取眼前节源图像和与所述眼前节源图像对应的眼前节目标图像；
根据血管结构数据将所述眼前节源图像相对所述眼前节目标图像进行图像配准，以确定所述眼前节源图像的源图像最陡子午线；
根据所述源图像最陡子午线确定白内障手术导航的角膜缘切口位置。
本发明中的白内障手术导航系统，采用处理器获取患者眼部的眼前节源图像和眼前节目标图像，后续能够根据眼前节源图像引导操作，处理器结合眼部的血管结构数据以及将眼前节目标图像作为眼前节源图像的对比参照，以此进行眼前节源图像的图像配准，进而能够准确确定眼前节源图像的源图像最陡子午线，能够利用源图像最陡子午线确定出适应患者的白内障手术切口位置，便于以此实现手术导航的快速定位。
该白内障手术导航系统可以适用于手术机器人。
所述处理器还可以实现与上述图像获取模块、图像处理模块以及切口确定模块对应的其他步骤。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (9)

1.一种白内障手术导航系统，其特征在于，包括：
图像获取模块，用于获取眼前节源图像和与所述眼前节源图像对应的眼前节目标图像；
图像处理模块，用于根据血管结构数据将所述眼前节源图像相对所述眼前节目标图像进行图像配准，以确定所述眼前节源图像的源图像最陡子午线，包括：确定所述眼前节目标图像的目标图像最陡子午线；根据所述眼前节源图像、所述眼前节目标图像和无监督神经网络配准模型对所述眼前节源图像进行图像配准，得到配准后的变换图像；确定所述变换图像相对所述眼前节源图像的变化量，以及根据所述变化量和所述目标图像最陡子午线确定所述眼前节源图像的源图像最陡子午线；
切口确定模块，用于根据所述源图像最陡子午线确定白内障手术导航的角膜缘切口位置。
2.根据权利要求1所述的白内障手术导航系统，其特征在于，所述图像处理模块具体用于：
将所述眼前节源图像和所述眼前节目标图像输入所述无监督神经网络配准模型，得到图像变形矩阵；
通过插值方法将所述图像变形矩阵作用于所述眼前节源图像，得到所述变换图像。
3.根据权利要求1所述的白内障手术导航系统，其特征在于，所述图像处理模块具体用于：
确定所述变换图像相对所述眼前节源图像的变化位移，以及确定所述眼前节源图像的角膜缘中心位置；
根据所述角膜缘中心位置、所述血管结构数据和所述变化位移确定眼球旋转角度；
将所述眼球旋转角度作为最陡子午线旋转角度，根据所述最陡子午线旋转角度和所述目标图像最陡子午线确定所述源图像最陡子午线。
4.根据权利要求1所述的白内障手术导航系统，其特征在于，所述无监督神经网络配准模型的损失函数由所述变换图像与所述眼前节目标图像的相似度、血管结构相似度以及正则项组成，所述血管结构数据包括血管目标图像和血管源图像；所述图像处理模块具体还用于：根据所述血管目标图像、所述血管源图像和Dice函数确定所述血管结构相似度。
5.根据权利要求4所述的白内障手术导航系统，其特征在于，所述损失函数的确定公式包括：
Figure DEST_PATH_IMAGE001
；
其中，
Figure 536343DEST_PATH_IMAGE002
表示所述变换图像与所述目标图像的相似度，
Figure DEST_PATH_IMAGE003
表示所述血管目标图像，
Figure 610740DEST_PATH_IMAGE004
表示图像变形矩阵，
Figure DEST_PATH_IMAGE005
表示由所述血管源图像和所述图像变形矩阵确定的血管变换图像，
Figure 921636DEST_PATH_IMAGE006
表示所述血管结构相似度，
Figure DEST_PATH_IMAGE007
表示正则项，所述正则项的确定公式包括：
Figure 723370DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE009
表示恒等变换。
6.根据权利要求1-5任一项所述的白内障手术导航系统，其特征在于，所述图像处理模块具体还用于：
将所述眼前节源图像进行图像中心裁剪；
提取裁剪后的所述眼前节源图像的图像特征；
根据所述图像特征和预设的角膜缘实时分割模型生成角膜缘内侧区域掩膜；
将所述角膜缘内侧区域掩膜拟合得到的椭圆作为角膜缘；
所述切口确定模块具体用于：
确定所述角膜缘切口位置为所述角膜缘与所述源图像最陡子午线的相交位置。
7.根据权利要求6所述的白内障手术导航系统，其特征在于，所述图像处理模块基于U-Net架构提取裁剪后的所述眼前节源图像的高层次语义特征，作为所述图像特征，其中，所述U-Net架构的编码器特征提取模块为ResNet-34残差模块，所述U-Net架构的底层采用密集空洞卷积模块和残差多核池化模块连接编码模块与解码模块，通过所述解码模块提取目标特征的所述高层次语义特征。
8.根据权利要求1所述的白内障手术导航系统，其特征在于，所述图像获取模块具体用于：获取由多种眼前节图像设备采集的术前标准图像作为所述眼前节目标图像，以及术中显微镜图像作为所述眼前节源图像。
9.一种白内障手术导航系统，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当所述处理器执行所述程序时，实现如下步骤：
获取眼前节源图像和与所述眼前节源图像对应的眼前节目标图像；
根据血管结构数据将所述眼前节源图像相对所述眼前节目标图像进行图像配准，以确定所述眼前节源图像的源图像最陡子午线，包括：确定所述眼前节目标图像的目标图像最陡子午线；根据所述眼前节源图像、所述眼前节目标图像和无监督神经网络配准模型对所述眼前节源图像进行图像配准，得到配准后的变换图像；确定所述变换图像相对所述眼前节源图像的变化量，以及根据所述变化量和所述目标图像最陡子午线确定所述眼前节源图像的源图像最陡子午线；
根据所述源图像最陡子午线确定白内障手术导航的角膜缘切口位置。
CN202210890329.4A 2022-07-27 2022-07-27 一种白内障手术导航系统 Active CN114931436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210890329.4A CN114931436B (zh) 2022-07-27 2022-07-27 一种白内障手术导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210890329.4A CN114931436B (zh) 2022-07-27 2022-07-27 一种白内障手术导航系统

Publications (2)

Publication Number Publication Date
CN114931436A CN114931436A (zh) 2022-08-23
CN114931436B true CN114931436B (zh) 2022-11-15

Family

ID=82867881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210890329.4A Active CN114931436B (zh) 2022-07-27 2022-07-27 一种白内障手术导航系统

Country Status (1)

Country Link
CN (1) CN114931436B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043814A (ja) * 2013-08-27 2015-03-12 株式会社トーメーコーポレーション 前眼部断面画像解析装置及び前眼部断面画像解析方法
DE102016206581A1 (de) * 2016-04-19 2017-10-19 Carl Zeiss Meditec Ag Planungseinrichtung für eine ophthalmologische Lasertherapievorrichtung
DE102017209574A1 (de) * 2017-06-07 2018-12-13 Francesco Ferrari Vorrichtungen und Verfahren zur Vorbereitung und Durchführung von cornealen Tattoos
CN112842255A (zh) * 2021-01-26 2021-05-28 温州医科大学附属眼视光医院 一种视网膜脱离术后最佳体位模拟测量仪及最佳体位调节装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100324542A1 (en) * 2007-11-02 2010-12-23 Kurtz Ronald M Method to Guide a Cataract Procedure by Corneal Imaging
JP2013510687A (ja) * 2009-11-12 2013-03-28 ノエル アミ アルパインズ，ドクター 角膜乱視分析およびベクトル計画治療のためのトポグラフィ半経線パラメータの査定法
JP5511516B2 (ja) * 2010-05-31 2014-06-04 株式会社ニデック 眼科装置
EP2908715A4 (en) * 2012-07-31 2016-08-17 Tracey Technologies Corp TPS TOOLS AND METHOD FOR THE SURGICAL USE OF INTRAOCULAR IMPLANTS
US10842673B2 (en) * 2016-07-06 2020-11-24 Amo Development, Llc Retinal imaging for reference during laser eye surgery
US20220304572A1 (en) * 2019-06-07 2022-09-29 SPEQS Limited Eye test
CN110544274B (zh) * 2019-07-18 2022-03-29 山东师范大学 一种基于多光谱的眼底图像配准方法及系统
CN211433343U (zh) * 2019-11-11 2020-09-08 武汉爱尔眼科汉口医院有限公司 一种带水平仪的飞秒激光白内障手术标记器
AU2021218773B2 (en) * 2020-02-14 2023-04-06 Nthalmic Holding Pty Ltd Apparatus and methods of ancillary spectacle kit solution for myopia management
CN111658308B (zh) * 2020-05-26 2022-06-17 首都医科大学附属北京同仁医院 一种体外聚焦超声治疗白内障手术系统
CN111616800B (zh) * 2020-06-09 2023-06-09 电子科技大学 眼科手术导航系统
CN112043383B (zh) * 2020-09-30 2022-07-15 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备
CN112381012A (zh) * 2020-11-18 2021-02-19 中山大学中山眼科中心 眼部图像中目标区域的识别方法、装置及电子设备
CN112465842B (zh) * 2020-12-22 2024-02-06 杭州电子科技大学 基于U-net网络的多通道视网膜血管图像分割方法
CN112991406B (zh) * 2021-02-07 2023-05-23 清华大学深圳国际研究生院 一种基于微分几何技术构建脑图谱的方法
CN113793348B (zh) * 2021-09-24 2023-08-11 河北大学 一种视网膜血管分割方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043814A (ja) * 2013-08-27 2015-03-12 株式会社トーメーコーポレーション 前眼部断面画像解析装置及び前眼部断面画像解析方法
DE102016206581A1 (de) * 2016-04-19 2017-10-19 Carl Zeiss Meditec Ag Planungseinrichtung für eine ophthalmologische Lasertherapievorrichtung
DE102017209574A1 (de) * 2017-06-07 2018-12-13 Francesco Ferrari Vorrichtungen und Verfahren zur Vorbereitung und Durchführung von cornealen Tattoos
CN112842255A (zh) * 2021-01-26 2021-05-28 温州医科大学附属眼视光医院 一种视网膜脱离术后最佳体位模拟测量仪及最佳体位调节装置

Also Published As

Publication number Publication date
CN114931436A (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
JP7249278B2 (ja) 眼科手術用の適応的画像レジストレーション
CN111616800B (zh) 眼科手术导航系统
CN110400289A (zh) 眼底图像识别方法、装置、设备和存储介质
CN108618749B (zh) 基于便携式数字化眼底照相机的视网膜血管三维重建方法
EP4078464A1 (fr) Méthode de planification automatique d'une trajectoire pour une intervention médicale
EP3459435A1 (en) Ophthalmic apparatus
Zhou et al. Needle localization for robot-assisted subretinal injection based on deep learning
WO2020211173A1 (zh) 基于机器视觉的眼前节断层图像的图像特征提取方法
Matovinovic et al. Transfer learning with U-Net type model for automatic segmentation of three retinal layers in optical coherence tomography images
Soni et al. A novel approach for the early recognition of diabetic retinopathy using machine learning
CN117058676B (zh) 一种基于眼底检查影像的血管分割方法、装置和系统
CN111160431A (zh) 一种基于多维特征融合的圆锥角膜识别方法及装置
CN114931436B (zh) 一种白内障手术导航系统
CN113940812A (zh) 用于准分子激光角膜屈光手术的角膜中心定位方法
Tomeo-Reyes et al. Investigating the impact of drug induced pupil dilation on automated iris recognition
Giancardo Automated fundus images analysis techniques to screen retinal diseases in diabetic patients
Zhai et al. Computer-aided intraoperative toric intraocular lens positioning and alignment during cataract surgery
CN115690389A (zh) 一种基于深度学习的白内障手术中角膜中心定位系统
US20240008811A1 (en) Using artificial intelligence to detect and monitor glaucoma
Shashank et al. Con-Ker: a convolutional neural network based approach for keratoconus detection and classification
US20220151482A1 (en) Biometric ocular measurements using deep learning
WO2023103609A1 (zh) 用于眼前节octa的眼动追踪方法、装置、设备和存储介质
US20240104731A1 (en) System for Integrated Analysis of Multi-Spectral Imaging and Optical Coherence Tomography Imaging
Prabaharan et al. A Novel Transfer Learning Approach for Eye Tumour Detection using Pre-Trained CNN Models
Devi et al. A SURVEY ON IDENTIFICATION OF DIABETIC RETINOPATHY FOR MEDICAL DIAGNOSIS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant