CN111588469B - 眼科机器人末端执行器引导和定位系统 - Google Patents

眼科机器人末端执行器引导和定位系统 Download PDF

Info

Publication number
CN111588469B
CN111588469B CN202010420355.1A CN202010420355A CN111588469B CN 111588469 B CN111588469 B CN 111588469B CN 202010420355 A CN202010420355 A CN 202010420355A CN 111588469 B CN111588469 B CN 111588469B
Authority
CN
China
Prior art keywords
image
robot
module
end effector
ophthalmic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010420355.1A
Other languages
English (en)
Other versions
CN111588469A (zh
Inventor
冯宇梁
罗华
张根莱
何向东
周佳美
黎彪
刁燕
高山
李翔龙
蒋春林
张明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202010420355.1A priority Critical patent/CN111588469B/zh
Publication of CN111588469A publication Critical patent/CN111588469A/zh
Application granted granted Critical
Publication of CN111588469B publication Critical patent/CN111588469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了眼科机器人末端执行器引导和定位的计算机程序产品及系统，所述计算机程序产品被配置为实时输出眼部手术准确切入点和手术实施点信息以引导并动态调整眼科机器人末端执行器的姿态和位置。本发明能够为眼科机器人末端执行器空间引导和定位调整提供精确的坐标，手术中无须人工操作和标识，是眼科自动化手术实现的功能基础；同时，通过在手术执行中进行图像的实时分割和目标追踪，给出的动态坐标可以支持眼科手术机器人能够自动调整姿态和位置；手术中出现头部和眼部超限运动时，机器人能可靠安全停止，提供了比人工更快更好的安全性。

Description

眼科机器人末端执行器引导和定位系统
技术领域
本发明涉及医疗设备技术领域，具体涉及眼科机器人末端执行器引导和定位的计算机程序产品及系统。
背景技术
近年来，随着人工智能、机器人技术、传感器技术和医学影像的高速发展，医疗机器人已成为机器人研究和创新重要的一个方向。机器人在定位的精确性、操作的灵活性和控制的稳定性等方面相较于人的操作有着巨大的优势。以麻省理工学院开发的达芬奇机器人手术系统为例，其设计的理念是通过使用微创的方法，实施复杂的外科手术，由外科医生控制台、床旁机械臂系统(Patient Cart)、成像系统(Video Cart)构成，已经成熟地用于成人和儿童的普通外科、胸外科、泌尿外科、妇产科、头颈外科以及心脏手术中。罗伯特麦克拉伦教授表示：目前的激光扫描和显微技术让人们能从微观层面上检查视网膜疾病，但这超出了人类手可操作的生理极限。而运用机器人系统则为眼科手术的发展揭开了新的一页，使目前尚不能执行的手术成为可能。2018年6月18日，英国牛津大学发布消息称，该校利用Preceyes BV公司研发的显微手术机器人：PRECEYES手术系统，为多名病患完成了眼部手术。2018年7月15日，由首都医科大学附属北京同仁医院主持的国家重点研发计划“智能机器人”重点专项“眼科显微手术机器人系统研制与临床试验”的项目启动和实施方案论证会在京顺利召开，标志着该项目正式进入全面实施和执行阶段。
眼科手术是治疗近视眼、青光眼、玻璃体视网膜、白内障等疾病的有效治疗手段，但对医生的手术技能有着很高的要求。在显微镜的帮助下，医生的在手术中需要达到的操作精度往往在20—80μm之间，而手术医生的手部颤抖的平均幅度在156μm，离眼科手术的精度要求还有着一定差距。其次手术操作的环境可视性差，医生很难对眼球深度的信息进行精确的感知，加上手术的时间较长，影响了人工手术的成功率。罗伯特麦克拉伦教授表示：目前的激光扫描和显微技术让人们能从微观层面上检查视网膜疾病，但这超出了人类手可操作的生理极限。而运用机器人系统则为眼科手术的发展揭开了新的一页，使目前尚不能执行的手术成为可能。2018年6月18日，英国牛津大学发布消息称，该校利用Preceyes BV公司研发的显微手术机器人：PRECEYES手术系统，为多名病患完成了眼部手术。2018年7月15日，由首都医科大学附属北京同仁医院主持的国家重点研发计划“智能机器人”重点专项“眼科显微手术机器人系统研制与临床试验”的项目启动和实施方案论证会在京顺利召开，标志着该项目正式进入全面实施和执行阶段。然而，国内目前仍然还未形成有效、完整可实施的用于眼科手术机器人末端执行器空间姿态准确定位的自动化系统。
发明内容
本发明提供了眼科机器人末端执行器引导和定位的计算机程序产品，用于实时输出手术准确切入点和手术实施点信息以引导并动态调整眼科手术机器人末端执行器的姿态，能够全自动、智能化且准确实现末端执行器的姿态控制。
本发明通过下述技术方案实现：
眼科机器人末端执行器引导和定位的计算机程序产品，
所述计算机程序产品被配置为实时输出眼部手术准确切入点和手术实施点信息以引导并动态调整眼科机器人末端执行器的姿态和位置。
优选的，本发明的计算机程序产品被配置为执行如下操作：
S1，根据患者的眼部图像，利用深度学习的卷积神经网络进行语义分割，划分出虹膜、瞳孔和睑裂的界限，并计算出三者之间边界位置和尺寸关系；
S2，确定眼球表面手术初始切入点在睑裂中的位置P1，并获取末端执行器到P1的距离S；
S3，根据距离S和虹膜、瞳孔和睑裂三者的边界尺寸，计算出初始切入点的空间坐标；
S4，根据手术实施点在眼球中的位置，通过P1和手术实施点的空间位置尺寸关系，计算出手术实施点的空间坐标；
S5，将初始切入点和手术实施点的空间坐标转换成机器人可执行的工具坐标，以引导末端执行器自动调整姿态和位置。
优选的，本发明的S1在进行语义分割之前还需要从获取的眼部图像中提取出眼球部分的图像并对图像进行预处理，所述预处理过程包括对眼球部分的图像进行降噪及增强处理。
优选的，本发明的降噪处理采用泊松方程滤波或高斯滤波法。
优选的，本发明的增强处理包括对降噪处理之后的图像进行直方图均衡化和同态滤波，得到的图像再通过小波变换将源图像进行融合，经融合重构后，获得对比度和细节增强的图像。
优选的，本发明的S5中机器人根据初始切入点的工具坐标和手术实施点的工具坐标以及两者的连线，动态调整末端执行器的姿态和位置。
另一方面，本发明还提出了眼科机器人末端执行器引导和定位系统，该系统用于引导眼科机器人按手术实际切入点和手术实施点信息动态调整末端执行器的姿态和位置。
优选的，本发明的系统包括图像区域划分模块、目标追踪模块、距离测量模块和坐标换算模块；
其中，所述图像区域划分模块用于根据患者的眼部图像，利用深度学习的卷积神经网络进行语义分割，划分出虹膜、瞳孔和睑裂的界限，并计算出三者之间边界位置和尺寸关系；
所述距离测量模块用于根据眼球表面手术初始切入点在睑裂中的位置P1，得到末端执行器到P1的距离S；
所述目标追踪模块用于根据距离S和虹膜、瞳孔和睑裂三者的边界尺寸，计算出初始切入点的空间坐标；并根据手术实施点在眼球中的位置，通过P1和手术实施点的空间位置尺寸关系，计算出手术实施点的空间坐标；
所述坐标换算模块用于根据目标追踪模块获得的初始切入点和手术实施点的空间坐标转换为机器人可执行的机器工具坐标并输出引导末端执行器自动调整姿态和位置。
优选的，本发明的系统包括图像预处理模块，所述图像预处理模块用于获取患者的原始眼部图像，并从原始眼部图像中提取出眼球部分的图像并对图像进行预处理，最后将预处理之后的眼部图像输出至图像区域划分模块。
优选的，本发明的预处理过程包括对眼球部分的图像进行降噪及增强处理；所述降噪处理采用泊松方程滤波或高斯滤波法；所述增强处理包括对降噪处理之后的图像进行直方图均衡化和同态滤波，得到的图像再通过小波变换将源图像进行融合，经融合重构后，获得对比度和细节增强的图像。
本发明具有如下的优点和有益效果：
本发明能够为眼科手术机器人末端执行器空间定位和姿态调整提供精确的坐标和位姿引导，手术中无须人工操作和标识，是自动化手术实现的功能基础；同时，通过在手术执行中进行图像的实时分割和目标追踪，给出的动态坐标可以支持眼科手术机器人能够自动调整姿态和位置；手术中出现头部和眼部超限运动时，机器人能可靠安全停止，提供了比人工更快更好的安全性。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明的计算机程序产品配置示意图。
图2为本发明的计算机程序产品执行操作示意图。
图3为本发明的图像区域划分结果示意图。
图4为本发明的初始切入点在睑裂中的位置示意图。
图5为本发明的坐标变换原理示意图。
图6为本发明的坐标换算结果示意图。
图7为本发明的系统结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
本实施例提出了一种眼科机器人末端执行器引导和定位的计算机程序产品1。
具体如图1所示，本实施例的计算机程序产品1被配置为实时输出眼部手术准确切入点和手术实施点信息以引导并动态调整眼科机器人末端执行器2的姿态和位置。
具体如图2所示，本实施例的计算机程序产品1被配置为执行如下操作：
S1，获取患者的原始眼部图像，从获取的原始眼部图像中提取出眼球部分的图像，对眼球部分的图像进行图像预处理。本实施例的图像预处理过程包括对眼球部分的图像进行降噪，降噪之后的图像再进一步进行增强处理。
本实施例的降噪处理采用但不限于泊松方程滤波或高斯滤波法。
本实施例的增强处理采用但不限于以下方式：先对降噪处理之后的图像进行直方图均衡化处理，之后进行同态滤波，滤波之后得到的图像再通过小波变换将原始图像进行融合，经融合重构后，获得对比度和细节增强的图像，用于后续的处理。
S2，基于S1预处理之后的图像，利用深度学习的卷积神经网络进行语义分割，划分出虹膜、瞳孔和睑裂的界限，如图3所示，并计算出三者之间边界位置和尺寸关系。
S2，确定眼球表面手术初始切入点在睑裂中的位置P1，如图4所示，并获取末端执行器到P1的距离S。
本实施例可以根据手术规划人工或自动得到眼球表面手术初始切入点在睑裂中的位置。
S3，根据距离S和虹膜、瞳孔和睑裂三者的边界尺寸，计算出初始切入点的空间坐标。
本实施例计算得到的初始切入点的空间坐标(图像像素坐标系坐标)为P1(X1,Y1,Z1)。
S4，根据手术实施点在眼球中的位置，通过P1和手术实施点的空间位置尺寸关系，计算出手术实施点的空间坐标。
本实施例可以根据手术规划人工或自动得到手术实施点在眼球中的位置。
本实施例计算得到的手术实施点的空间坐标(图像坐标系坐标)为P2(X2,Y2,Z2)。
S5，将初始切入点和手术实施点的空间坐标转换成机器人可执行的工具坐标，以引导末端执行器自动调整姿态和位置。
本实施例利用如图5所示的坐标转换方法原理，将空间坐标(图像坐标系坐标)P1(X1,Y1,Z1)和P2(X2,Y2,Z2)转换为世界坐标系中的坐标，然后将时间坐标系中的坐标转换为机器人工具坐标系中的坐标，即机器人可执行的机器工具坐标P11(X11,Y11,Z11)和P21(X21,Y21,Z21)，具体如图6所示。
图6所示的坐标转换原理：
相机中有四个坐标系，分别为world，camera，image，pixel，可由图像像素坐标系pixel转换为世界坐标系。
world为世界坐标系，可以任意指定轴和轴，为图6中点P所在坐标系。
camera为相机坐标系，原点位于小孔，Z轴与光轴重合，轴和轴平行投影面，为图6中坐标系Xc-Yc-Zc。
image为图像坐标系，原点位于光轴和投影面的交点，轴和轴平行投影面，为图6中坐标系xyz。
pixel为像素坐标系，从小孔向投影面方向看，投影面的左上角为原点，uv轴和投影面两边重合，该坐标系与图像坐标系处在同一平面，但原点不同。
本实施例的计算机程序产品1能够存储于计算机可用存储介质中。
实施例2
本实施例提出了一种眼科机器人末端执行器引导和定位的系统3。
本实施例的系统3用于引导眼科机器人按手术实际切入点和手术实施点信息动态调整末端执行器22的姿态和位置。
如图7所示，本发明的系统包括图像预处理模块3-1、图像区域划分模块3-2、距离测量模块3-3、目标追踪模块3-4和坐标换算模块3-5。
其中，本实施例的图像预处理模块3-1用于获取患者的原始眼部图像，并从原始眼部图像中提取出眼球部分的图像并对图像进行预处理，最后将预处理之后的眼部图像输出至图像区域划分模块3-2进行图像区域划分。
本实施例的预处理过程包括对眼球部分的图像进行降噪及增强处理。
本实施例的降噪处理采用泊松方程滤波或高斯滤波法。
本实施例的增强处理包括对降噪处理之后的图像进行直方图均衡化和同态滤波，得到的图像再通过小波变换将源图像进行融合，经融合重构后，获得对比度和细节增强的图像。
本实施例的图像区域划分模块3-2用于从图像预处理模块3-1接收预处理之后的图像，并利用深度学习的卷积神经网络对该图像进行语义分割，划分出虹膜、瞳孔和睑裂的界限，并计算出三者之间边界位置和尺寸关系。
本实施例的距离测量模块3-3用于根据眼球表面手术初始切入点在睑裂中的位置P1，得到末端执行器到P1的距离S。
本实施例的目标追踪模块3-4用于根据距离S和虹膜、瞳孔和睑裂三者的边界尺寸，计算出初始切入点的空间坐标；并根据手术实施点在眼球中的位置，通过P1和手术实施点的空间位置尺寸关系，计算出手术实施点的空间坐标。
本实施例计算得到的初始切入点的空间坐标(图像像素坐标系坐标)为P1(X1,Y1,Z1)，手术实施点的空间坐标(图像坐标系坐标)为P2(X2,Y2,Z2)。
所述坐标换算模块3-5用于根据目标追踪模块获得的初始切入点和手术实施点的空间坐标转换为机器人可执行的机器工具坐标并输出引导末端执行器自动调整姿态和位置。
本实施例利用如图5所示的坐标转换方法原理，将空间坐标(图像坐标系坐标)P1(X1,Y1,Z1)和P2(X2,Y2,Z2)转换为世界坐标系中的坐标，然后将时间坐标系中的坐标转换为机器人工具坐标系中的坐标，即机器人可执行的机器工具坐标P11(X11,Y11,Z11)和P21(X21,Y21,Z21)。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.眼科机器人末端执行器引导和定位系统，其特征在于，该系统用于引导眼科机器人按手术实际切入点和手术实施点信息动态调整末端执行器的姿态和位置；所述系统包括图像区域划分模块、目标追踪模块、距离测量模块和坐标换算模块；
其中，所述图像区域划分模块用于根据患者的眼部图像，利用深度学习的卷积神经网络进行语义分割，划分出虹膜、瞳孔和睑裂的界限，并计算出三者之间边界位置和尺寸关系；
所述距离测量模块用于根据眼球表面手术初始切入点在睑裂中的位置P1，得到末端执行器到P1的距离S；
所述目标追踪模块用于根据距离S和虹膜、瞳孔和睑裂三者的边界尺寸，计算出初始切入点的空间坐标；并根据手术实施点在眼球中的位置，通过P1和手术实施点的空间位置尺寸关系，计算出手术实施点的空间坐标；
所述坐标换算模块用于根据目标追踪模块获得的初始切入点和手术实施点的空间坐标转换为机器人可执行的机器工具坐标并输出引导末端执行器自动调整姿态和位置。
2.根据权利要求1所述的系统，其特征在于，还包括图像预处理模块，所述图像预处理模块用于获取患者的原始眼部图像，并从原始眼部图像中提取出眼球部分的图像并对图像进行预处理，最后将预处理之后的眼部图像输出至图像区域划分模块。
3.根据权利要求2所述的系统，其特征在于，所述预处理过程包括对眼球部分的图像进行降噪及增强处理；所述降噪处理采用泊松方程滤波或高斯滤波法；所述增强处理包括对降噪处理之后的图像进行直方图均衡化和同态滤波，得到的图像再通过小波变换将源图像进行融合，经融合重构后，获得对比度和细节增强的图像。
CN202010420355.1A 2020-05-18 2020-05-18 眼科机器人末端执行器引导和定位系统 Active CN111588469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010420355.1A CN111588469B (zh) 2020-05-18 2020-05-18 眼科机器人末端执行器引导和定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010420355.1A CN111588469B (zh) 2020-05-18 2020-05-18 眼科机器人末端执行器引导和定位系统

Publications (2)

Publication Number Publication Date
CN111588469A CN111588469A (zh) 2020-08-28
CN111588469B true CN111588469B (zh) 2021-02-02

Family

ID=72179323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010420355.1A Active CN111588469B (zh) 2020-05-18 2020-05-18 眼科机器人末端执行器引导和定位系统

Country Status (1)

Country Link
CN (1) CN111588469B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4066749A4 (en) * 2021-02-05 2022-11-30 Shenzhen Institutes of Advanced Technology Chinese Academy of Sciences SOFT DEVICE FOR OPENING EYELIDS AND METHOD THEREOF
CN117338427B (zh) * 2023-12-05 2024-02-27 四川大学华西医院 一种光动力介入式导管端部定位系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018109851A1 (ja) * 2016-12-14 2018-06-21 オリンパス株式会社 医療用マニピュレータシステム
CN108601669A (zh) * 2015-12-28 2018-09-28 埃尔比特系统公司 用于确定工具尖端相对于感兴趣的眼部组织的位置和定向的系统和方法
CN109419555A (zh) * 2017-08-28 2019-03-05 圣纳普医疗(巴巴多斯)公司 用于外科手术导航系统的定位臂
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN110711031A (zh) * 2019-10-31 2020-01-21 武汉联影智融医疗科技有限公司 手术导航系统、坐标系配准系统、方法、设备和介质
CN110772319A (zh) * 2018-07-30 2020-02-11 上海术凯机器人有限公司 一种配准方法、配准装置及计算机可读存储介质
CN110946654A (zh) * 2019-12-23 2020-04-03 中国科学院合肥物质科学研究院 一种基于多模影像融合的骨科手术导航系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108601669A (zh) * 2015-12-28 2018-09-28 埃尔比特系统公司 用于确定工具尖端相对于感兴趣的眼部组织的位置和定向的系统和方法
WO2018109851A1 (ja) * 2016-12-14 2018-06-21 オリンパス株式会社 医療用マニピュレータシステム
CN109419555A (zh) * 2017-08-28 2019-03-05 圣纳普医疗(巴巴多斯)公司 用于外科手术导航系统的定位臂
CN110772319A (zh) * 2018-07-30 2020-02-11 上海术凯机器人有限公司 一种配准方法、配准装置及计算机可读存储介质
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN110711031A (zh) * 2019-10-31 2020-01-21 武汉联影智融医疗科技有限公司 手术导航系统、坐标系配准系统、方法、设备和介质
CN110946654A (zh) * 2019-12-23 2020-04-03 中国科学院合肥物质科学研究院 一种基于多模影像融合的骨科手术导航系统

Also Published As

Publication number Publication date
CN111588469A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
US10888389B2 (en) Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
JP7249278B2 (ja) 眼科手術用の適応的画像レジストレーション
Keller et al. Optical coherence tomography-guided robotic ophthalmic microsurgery via reinforcement learning from demonstration
Chen et al. Intraocular robotic interventional surgical system (IRISS): semi‐automated OCT‐guided cataract removal
CN111588469B (zh) 眼科机器人末端执行器引导和定位系统
US20180098812A1 (en) Surgical system, image processing device, and image processing method
Zhou et al. Needle localization for robot-assisted subretinal injection based on deep learning
Kim et al. Towards autonomous eye surgery by combining deep imitation learning with optimal control
US20220346884A1 (en) Intraoperative image-guided tools for ophthalmic surgery
Zhou et al. Spotlight-based 3D instrument guidance for autonomous task in robot-assisted retinal surgery
Dehghani et al. Robotic navigation autonomy for subretinal injection via intelligent real-time virtual ioct volume slicing
CN113940812B (zh) 用于准分子激光角膜屈光手术的角膜中心定位方法
Alafaleq Robotics and cybersurgery in ophthalmology: A current perspective
Zhou et al. Spotlight-based 3D instrument guidance for retinal surgery
Dehghani et al. Colibridoc: An eye-in-hand autonomous trocar docking system
CN113499166A (zh) 一种角膜移植手术机器人用自主立体视觉导航方法及系统
Shin et al. Semi-automated extraction of lens fragments via a surgical robot using semantic segmentation of OCT images with deep learning-experimental results in ex vivo animal model
CN116549216A (zh) 基于oct的玻璃体注射数据处理方法及机器人、设备、介质
Soltani Sharif Abadi et al. Review on challenges for robotic eye surgery; surgical systems, technologies, cost‐effectiveness, and controllers
Tian et al. Toward autonomous robotic micro-suturing using optical coherence tomography calibration and path planning
Becker Vision-based control of a handheld micromanipulator for robot-assisted retinal surgery
Zhang et al. Autonomous needle navigation in subretinal injections via iOCT
Mango et al. Robotic eye surgery
EP4066749A1 (en) Soft apparatus for opening eyelids and method therefor
US20230240779A1 (en) Force feedback for robotic microsurgical procedures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant