CN117481801A - 基于图像的眼科机器人控制方法、系统、设备及介质 - Google Patents
基于图像的眼科机器人控制方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN117481801A CN117481801A CN202311395091.9A CN202311395091A CN117481801A CN 117481801 A CN117481801 A CN 117481801A CN 202311395091 A CN202311395091 A CN 202311395091A CN 117481801 A CN117481801 A CN 117481801A
- Authority
- CN
- China
- Prior art keywords
- injection needle
- distance
- movement
- ophthalmic
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000033001 locomotion Effects 0.000 claims abstract description 251
- 238000002347 injection Methods 0.000 claims abstract description 126
- 239000007924 injection Substances 0.000 claims abstract description 126
- 210000001525 retina Anatomy 0.000 claims abstract description 55
- 238000013507 mapping Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000002207 retinal effect Effects 0.000 claims 1
- 230000006378 damage Effects 0.000 abstract description 5
- 208000027418 Wounds and injury Diseases 0.000 abstract description 2
- 208000014674 injury Diseases 0.000 abstract description 2
- 230000035515 penetration Effects 0.000 abstract description 2
- 238000001356 surgical procedure Methods 0.000 abstract 2
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000012014 optical coherence tomography Methods 0.000 description 44
- 239000011159 matrix material Substances 0.000 description 7
- 239000003814 drug Substances 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000002406 microsurgery Methods 0.000 description 4
- 229940079593 drug Drugs 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000002177 Cataract Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/0008—Introducing ophthalmic products into the ocular cavity or retaining products therein
- A61F9/0017—Introducing ophthalmic products into the ocular cavity or retaining products therein implantable in, or in contact with, the eye, e.g. ocular inserts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/007—Methods or devices for eye surgery
- A61F9/00736—Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
- A61B2090/3735—Optical coherence tomography [OCT]
Abstract
本发明提供了一种基于图像的眼科机器人控制方法、系统、设备及介质，方法包括：对眼部OCT图像识别得到当前时刻在注射针运动方向上注射针针尖与视网膜底部轮廓线之间的像素距离；根据像素距离，计算下一时刻在注射针运动方向上允许注射针针尖向视网膜底部运动的最大物理距离；对眼科机器人的主手的运动分析，得到眼科机器人的从手在注射针运动方向上的理论运动距离；根据最大物理距离和理论运动距离的大小关系，判断是否控制眼科机器人的从手在注射针运动方向上继续运动，上述可以确保注射针刺入到合理的位置，避免因针尖刺入视网膜深度过度造成视力造成永久性伤害的风险，该方法有利于降低眼科手术风险，对提高眼科手术精准性具有重要意义。
Description
技术领域
本发明涉及眼科机器人技术领域，具体涉及一种基于OCT图像的眼科机器人控制方法、系统、设备及介质。
背景技术
眼科显微手术采用高精度、高分辨率显微镜和微型手术器械，已成为治疗白内障、青光眼和视网膜疾病等眼部疾病有效手段。眼科显微手术挑战了外科医生的视力、感观知觉和身体灵活性的极限，因为它们需要在脆弱的眼组织中以微米级的精度和毫牛顿级的力放置和操作显微手术器械。眼科显微手术的精细手部操作控制是保证手术质量和防止并发症的关键，传统的手术操作存在生理性手抖，对手术精度带来一定困扰。例如：在眼科显微手术向眼底注射药物的过程中、要求操作精细，其对针尖刺入视网膜的深度需要严格控制，稍有不慎则可能对患者视力造成永久性伤害。
发明内容
本发明的目的在于公开一种基于OCT(是一种具有非侵入性、高分辨率特性的三维成像系统)图像的眼科机器人控制方法、系统、设备及介质，以解决现有技术中眼科医生向患者眼底注射药物时，因难以控制针尖刺入视网膜深度而存在的对患者视力造成永久性伤害风险的技术问题，本发明的方法主要是通过结合OCT图像对眼科机器人进行精细操控，使得眼科机器人向患者眼底注射药物，以实现降低手术风险的目标，对提高手术精准性具有重要意义。
实现发明目的的技术方案如下：
本发明实施例提供了一种基于OCT图像的眼科机器人控制方法，包括：
S100、从采集的当前时刻的眼部OCT图像中，识别得到当前时刻在注射针运动方向上注射针针尖与视网膜底部轮廓线之间的像素距离；
S200、根据所述像素距离，计算下一时刻在注射针运动方向上允许所述注射针针尖向视网膜底部运动的最大物理距离；
S300、对眼科机器人的主手的运动进行分析，得到所述眼科机器人的从手在注射针运动方向上的理论运动距离，其中，注射针设置在所述眼科机器人的从手上；
S400、根据所述最大物理距离和所述理论运动距离的大小关系，判断是否控制所述眼科机器人的从手在注射针运动方向上继续运动。
进一步地，上述步骤S100中，从采集的当前时刻的眼部OCT图像中，识别得到当前时刻在注射针运动方向上注射针针尖与视网膜底部轮廓线之间的像素距离，包括：
S101、对采集的当前时刻的眼部OCT图像进行边缘检测，得到视网膜轮廓信息和注射针相关信息，所述视网膜轮廓信息包括视网膜底部轮廓线，所述注射针相关信息包括注射针直线运动方程和针尖像素坐标A；
S102、依据注射针直线运动方程，获取注射针沿注射针运动方向运动至视网膜底部轮廓线时针尖像素坐标B；
S103、通过所述针尖像素坐标A和所述针尖像素坐标B，计算得到当前时刻在注射针运动方向上所述注射针针尖与所述视网膜底部轮廓之间的像素距离。
进一步地，上述步骤S200中，根据所述像素距离，计算下一时刻在注射针运动方向上允许所述注射针针尖向视网膜底部运动的最大物理距离，包括：
计算预设距离比例系数与所述像素距离的乘积，将该乘积作为下一时刻在注射针运动方向上允许所述注射针针尖向所述视网膜底部运动的最大物理距离，其中，所述预设距离比例系数为OCT图像与实际物理距离的比例系数。
进一步地，上述步骤S300中，对眼科机器人的主手的运动进行分析，得到所述眼科机器人的从手在注射针运动方向上的理论运动距离，包括：
S301、通过所述眼科机器人的主手的运动在前后两个时刻的位姿信息，计算得到所述眼科机器人的主手的运动增量，所述位姿信息包括主手坐标系下主手的姿态信息和位置信息；
S302、根据预设映射比例系数和所述眼科机器人的主手的运动增量，计算得到所述眼科机器人的从手的运动增量，其中，所述眼科机器人的从手的运动增量包括从手坐标系下X方向运动增量、Y方向运动增量和Z方向运动增量，所述预设映射比例系数为主手运动向从手运动的映射比例系数；
S303、根据所述眼科机器人的从手的运动增量，得到所述眼科机器人的从手在注射针运动方向上的理论运动距离。
进一步地，上述步骤S301中，通过所述眼科机器人的主手的运动在前后两个时刻的位姿信息，计算得到所述眼科机器人的主手的运动增量，包括：
采用齐次变换矩阵，将所述眼科机器人的主手在前一时刻的位姿信息描述为将所述眼科机器人的主手在后一时刻的位姿信息描述为/>根据公式/>计算得到所述眼科机器人的主手的运动增量。
进一步地，上述步骤S400中，根据所述最大物理距离和所述理论运动距离的大小关系，判断是否控制所述眼科机器人的从手在注射针运动方向上继续运动，包括：
S401、当所述理论运动距离小于所述最大物理距离时，判断控制所述眼科机器人的从手在注射针运动方向上继续运动；
S402、当所述理论运动距离大于所述最大物理距离时，禁止所述眼科机器人的从手在注射针运动方向上继续运动。
在上述基于OCT图像的眼科机器人控制方法的一个改进的实施例中，还包括：
S403、当所述理论运动距离小于所述最大物理距离时，且所述理论运动距离小于等于预设距离阈值时，减小所述眼科机器人的从手在注射针运动方向上的运动速度。
本发明实施例还提供了一种基于OCT图像的眼科机器人控制系统，包括：
像素距离计算模块，用于从采集的当前时刻的眼部OCT图像中，识别得到当前时刻在注射针运动方向上注射针针尖与视网膜底部轮廓线之间的像素距离；
最大物理距离计算模块，用于根据所述像素距离，计算下一时刻在注射针运动方向上允许所述注射针针尖向视网膜底部运动的最大物理距离；
理论运动距离获取模块，用于对眼科机器人的主手的运动进行分析，得到所述眼科机器人的从手在注射针运动方向上的理论运动距离；
运动控制模块，用于根据所述最大物理距离和所述理论运动距离的大小关系，判断是否控制所述眼科机器人的从手在注射针运动方向上继续运动。
进一步地，上述运动控制模块还用于当所述理论运动距离小于所述最大物理距离时，且所述理论运动距离小于等于预设距离阈值时，减小所述眼科机器人的从手在注射针运动方向上的运动速度。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的基于OCT图像的眼科机器人控制方法，以解决现有技术中在向眼底注射药物时，因难以控制针尖刺入视网膜深度而存在的对视力造成永久性伤害风险的技术问题。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的基于OCT图像的眼科机器人控制方法的计算机程序，以解决现有技术中在向眼底注射药物时，因难以控制针尖刺入视网膜深度而存在的对视力造成永久性伤害风险的技术问题。
与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：本发明的基于OCT图像的眼科机器人控制方法，通过对当前时刻眼部OCT图像识别能够得到在注射针运动方向上注射针针尖与视网膜底部轮廓线之间的像素距离，进而可以计算出下一时刻注射针在其运动方向能够运动的最大物理距离；通过对眼科机器人的主手运动进行分析可以得到眼科机器人从手在注射针运动方向上的理论运动距离，也即注射针/针尖的理论运动距离；通过结合理论运动距离与最大物理距离的大小关系，能够对从手执行理论运动距离后针尖与视网膜底部轮廓线的位置进行预判，根据预判的结果即可判断是否开启或控制从手使能开关，来控制从手执行理论运动距离的运动，通过对从手是否运动进行控制可以避免从手执行主动运动而导致的对视力造成永久性伤害的风险，有利于确保注射针能够刺入合理的位置，有利于降低手术风险，进而有利于保证眼科手术的安全和精准。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例中基于OCT图像的眼科机器人控制方法的流程图；
图2为本发明实施例中基于OCT图像的眼科机器人控制方法的原理框图；
图3为本发明实施例中OCT图像中注射针、视网膜底部轮廓、注射针针尖位置和注射针针尖与视网膜底部轮廓线接触位置的示意图；
图4为本发明实施例中计算机设备的示意图；
图5为本发明实施例中基于OCT图像的眼科机器人控制系统的示意图；
其中，401、存储器；402、存储器；501、像素距离计算模块；502、最大物理距离计算模；503、理论运动距离获取模块；504、运动控制模块。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明实施例提供了一种基于图像的眼科机器人控制方法，参见图1和图2所示，该眼科机器人控制方法包括：
S100、从采集的当前时刻的眼部OCT图像中，识别得到当前时刻在注射针运动方向上注射针针尖与视网膜底部轮廓线之间的像素距离；
S200、根据所述像素距离，计算下一时刻在注射针运动方向上允许所述注射针针尖向视网膜底部运动的最大物理距离；
S300、对眼科机器人的主手的运动进行分析，得到所述眼科机器人的从手在注射针运动方向上的理论运动距离，其中，注射针设置在所述眼科机器人的从手上；
S400、根据所述最大物理距离和所述理论运动距离的大小关系，判断是否控制所述眼科机器人的从手在注射针运动方向上继续运动。
在一个可选的实施例中，上述步骤S100中，从采集的当前时刻的眼部OCT图像中，识别得到当前时刻在注射针运动方向上注射针针尖与视网膜底部轮廓线之间的像素距离，包括：
S101、通过像素距离计算模块，对采集的当前时刻的眼部OCT图像进行边缘检测，得到视网膜轮廓信息和注射针相关信息，所述视网膜轮廓信息包括视网膜底部轮廓线，所述注射针相关信息包括注射针直线运动方程和针尖像素坐标A；
具体实施时，在眼部OCT图像中，由于注射针的特征和视网膜的特征均比较明显，识别难度低，因此可以使用训练好的神经网络进行识别进行显示。
S102、依据注射针直线运动方程，获取注射针沿注射针运动方向运动至视网膜底部轮廓线时针尖像素坐标B；
S103、通过所述针尖像素坐标A和所述针尖像素坐标B，计算得到当前时刻在注射针运动方向上所述注射针针尖与所述视网膜底部轮廓之间的像素距离。
具体实施时，注射针直线运动方程可以通过对眼部OCT图像注射针识别得到，其表达式为y＝mx+n，参见图3所示，针尖像素坐标A表示为(x1，y1),针尖像素坐标B可以通过注射针所在直线与视网膜底部轮廓角点得到，其坐标可以表示为(x2，y2)，通过(x1，y1)和(x2，y2)，采用公式即可以计算出当前时刻在注射针运动方向上注射针针尖与视网膜底部轮廓之间的像素距离LAB。需要说明的是，像素距离LAB也可以理解为在眼部OCT图像中，在确保注射针针尖不会刺穿视网膜底部时眼科机器人从手目前可以允许运动的最大像素距离。
在一个可选的实施例中，需要将通过眼部OCT图像中计算的像素距离LAB转换为注射针尖实际的物理可移动距离，其可以通过眼部OCT图像与真实环境的比例计算，因此上述步骤S200中，根据所述像素距离，计算下一时刻在注射针运动方向上允许所述注射针针尖向视网膜底部运动的最大物理距离，包括：
计算预设距离比例系数与所述像素距离的乘积，将该乘积作为下一时刻在注射针运动方向上允许所述注射针针尖向所述视网膜底部运动的最大物理距离，其中，所述预设距离比例系数为OCT图像与实际物理距离的比例系数。
具体实施时，可以设置OCT图像与实际物理距离的比例系数为k,根据公式DAB＝k*LAB即可计算出真实环境中在注射针运动方向上注射针针尖运动的最大实际物理距离DAB。
在一个可选的实施例中，眼科手术机器人一般均采用主从式异构设计，医生操作主手进行运动，通过对主手运动进行分析，可以按照一定比例关系将主手运动映射到从手运动中，控制从手进行相应的运动，上述步骤S300中，对眼科机器人的主手的运动进行分析，得到所述眼科机器人的从手在注射针运动方向上的理论运动距离，包括：
S301、通过所述眼科机器人的主手的运动在前后两个时刻的位姿信息，计算得到所述眼科机器人的主手的运动增量，所述位姿信息包括主手坐标系下主手的姿态信息和位置信息；
S302、根据预设映射比例系数和所述眼科机器人的主手的运动增量，计算得到所述眼科机器人的从手的运动增量，其中，所述眼科机器人的从手的运动增量包括从手坐标系下X方向运动增量、Y方向运动增量和Z方向运动增量，所述预设映射比例系数为主手运动向从手运动的映射比例系数；
S303、根据所述眼科机器人的从手的运动增量，得到所述眼科机器人的从手在注射针运动方向上的理论运动距离。
具体实施时，可以采用齐次变换矩阵，将所述眼科机器人的主手在前一时刻的位姿信息描述为将所述眼科机器人的主手在后一时刻的位姿信息描述为/>根据公式计算得到所述眼科机器人的主手的运动增量。具体实施时，主手采用六自由度结构以保证操作的灵活性，主手的位姿信息可以通过4×4的齐次变换矩阵进行描述和输出，其中4×4的齐次变换矩阵包括旋转矩阵和平移矩阵。在主手坐标系下，主手前一时刻t1的位姿信息描述为/>主手后一时刻t2的位姿信息描述为/>其中，N11～N33及M11～M33是主手分别在t1和t2时刻在主手坐标系下的姿态信息描述，XN，YN，ZN和XM，YM，ZM分别是主手分别在t1和t2时刻在主手坐标系下的位置信息描述。
通过时刻t1的主手的位姿信息与时刻t2主手的位姿信息可以得到主手从t1时刻至t2时刻的运动意图，通过公式可以计算出主手的运动增量，将其表示为/>
由于眼科机器人的主手和从手的运动范围和空间不同，因此需要对主手的运动增量进行一定比例映射后得到从手的运动增量后，应用于从手的控制，定义映射比例系数为TK,其中，TK包括主手沿着x、y、z三个方向的映射比例系数kx，ky，kz。定义从手的运动增量为则从手从t1时刻至t2时刻的运动变化为/>主手的齐次变换矩阵映射至从手后，从手的齐次变换矩阵可以表示为/>其中最右列(X,Y,Z)为针尖要移动的位置增量描述。
在计算出当从手从t1时刻运动至t2时刻时在xyz三个方向的运动增量后，可以通过公式计算出眼科机器人从手在注射针运动方向上的理论运动距离DP1P2。
上述步骤S400在具体实施时，由于已经计算出当前时刻在注射针运动方向上注射针针尖可以运动的最大实际物理距离DAB，以及通过主手运动计算出的眼科机器人从手在注射针运动方向上计划运动的理论运动距离DP1P2，为了避免直接根据主动运动控制从手运动造成的可能使注射针穿透视网膜底部，损伤视力的风险，可以将实际物理距离DAB与理论运动距离DP1P2比较，对从手的运动进行控制。具体实施时，所述眼科机器人的从手的控制包括：
S401、当所述理论运动距离小于所述最大物理距离时，判断控制所述眼科机器人的从手在注射针运动方向上继续运动；
S402、当所述理论运动距离大于所述最大物理距离时，禁止所述眼科机器人的从手在注射针运动方向上继续运动。
上述步骤S401和S402中从手使能是否开启可以通过以下关系式进行描述。
在对位置限定的同时，还可以对机械臂运动速度也进行控制，因此在上述基于OCT图像的眼科机器人控制方法的一个改进的实施例中，还包括：
S403、当所述理论运动距离小于所述最大物理距离时，且所述理论运动距离小于等于预设距离阈值时，减小所述眼科机器人的从手在注射针运动方向上的运动速度。
具体实施时，可以根据最大物理距离的实时变化，可以对眼科机器人从手运动的运动速度进行控制，在最大物理距离比较小时，可以减小从手的运动速度。可以设置注射针针尖在注射针运动方向上向视网膜底部轮廓线运动的预设距离阈值为DS，当理论运动距离≤预设距离阈值时，减小眼科机器人从手运动速度，从手的运动速度可以描述为：
其中，可以使DS为5.0mm，S1为2.0mm/s，S2为0.5mm/s，这些参数设计可以根据操作需求进行调整。
本发明中，通过迭代上述步骤S100～S400的操作，对眼科机器人的从手进行控制，直至注射针针尖安全可靠的达到合理的位置。
在具体实施时，上述基于OCT图像的眼科机器人控制方法可以应用于任何可以执行向眼底注射的眼科机器人的控制场景。
本发明的基于OCT图像的眼科机器人控制方法，通过对当前时刻眼部OCT图像识别能够得到在注射针运动方向上注射针针尖与视网膜底部轮廓线之间的像素距离，进而可以计算出下一时刻注射针在其运动方向能够运动的最大物理距离；通过对眼科机器人的主手运动进行分析可以得到眼科机器人从手在注射针运动方向上的理论运动距离，也即注射针/针尖的理论运动距离；通过结合理论运动距离与最大物理距离的大小关系，能够对从手执行理论运动距离后针尖与视网膜底部轮廓线的位置进行预判，根据预判的结果即可判断是否开启或控制从手使能开关，来控制从手执行理论运动距离的运动，通过对从手是否运动进行控制可以避免从手执行主动运动而导致的对视力造成永久性伤害的风险，有利于确保注射针能够刺入合理的位置，有利于降低手术风险，进而有利于保证眼科手术的安全和精准。
在本实施例中，提供了一种计算机设备，如图4所示，包括存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的基于OCT图像的眼科机器人控制方法。
具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。
在本实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的基于OCT图像的眼科机器人控制方法的计算机程序。
具体的，计算机可读存储介质包括永久性和非永久性、可运动和非可运动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(trans itory med ia)，如调制的数据信号和载波。
基于同一发明构思，本发明实施例中还提供了一种基于OCT图像的眼科机器人控制系统，如下面的实施例所述。由于基于OCT图像的眼科机器人控制系统解决问题的原理与上述实施例中基于OCT图像的眼科机器人控制方法相似，因此眼科机器人控制系统的实施可以参见上述眼科机器人控制方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是本发明实施例的基于OCT图像的眼科机器人控制系统的一种结构框图，如图5所示，眼科机器人控制系统包括：像素距离计算模块501、最大物理距离计算模502、理论运动距离获取模块503和运动控制模块504，下面对该结构进行说明。
像素距离计算模块501，用于从采集的当前时刻的眼部OCT图像中，识别得到当前时刻在注射针运动方向上注射针针尖与视网膜底部轮廓线之间的像素距离；
最大物理距离计算模502，用于根据所述像素距离，计算下一时刻在注射针运动方向上允许所述注射针针尖向视网膜底部运动的最大物理距离；
理论运动距离获取模块503，用于对眼科机器人的主手的运动进行分析，得到所述眼科机器人的从手在注射针运动方向上的理论运动距离；
运动控制模块504，用于运动控制模块，用于根据所述最大物理距离和所述理论运动距离的大小关系，判断是否控制所述眼科机器人的从手在注射针运动方向上继续运动。
进一步地，上述运动控制模块504还用于当所述理论运动距离小于所述最大物理距离时，且所述理论运动距离小于等于预设距离阈值时，减小所述眼科机器人的从手在注射针运动方向上的运动速度。
在本实施例中，本申请还提出了一种包括上述任意的基于OCT图像的眼科机器人控制系统的眼科机器人。
本发明实施例实现了如下技术效果：本发明的基于OCT图像的眼科机器人控制方法，通过对当前时刻眼部OCT图像识别能够得到在注射针运动方向上注射针针尖与视网膜底部轮廓线之间的像素距离，进而可以计算出下一时刻注射针在其运动方向能够运动的最大物理距离；通过对眼科机器人的主手运动进行分析可以得到眼科机器人从手在注射针运动方向上的理论运动距离，也即注射针/针尖的理论运动距离；通过结合理论运动距离与最大物理距离的大小关系，能够对从手执行理论运动距离后针尖与视网膜底部轮廓线的位置进行预判，根据预判的结果即可判断是否开启或控制从手使能开关，来控制从手执行理论运动距离的运动，通过对从手是否运动进行控制可以避免从手执行主动运动而导致的对视力造成永久性伤害的风险，有利于确保注射针能够刺入合理的位置，有利于降低手术风险，进而有利于保证眼科手术的安全和精准。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于OCT图像的眼科机器人控制方法，其特征在于，包括：
从采集的当前时刻的眼部OCT图像中，识别得到当前时刻在注射针运动方向上注射针针尖与视网膜底部轮廓线之间的像素距离；
根据所述像素距离，计算下一时刻在注射针运动方向上允许所述注射针针尖向视网膜底部运动的最大物理距离；
对眼科机器人的主手的运动进行分析，得到所述眼科机器人的从手在注射针运动方向上的理论运动距离，其中，注射针设置在所述眼科机器人的从手上；
根据所述最大物理距离和所述理论运动距离的大小关系，判断是否控制所述眼科机器人的从手在注射针运动方向上继续运动。
2.根据权利要求1所述的基于OCT图像的眼科机器人控制方法，其特征在于，从采集的当前时刻的眼部OCT图像中，识别得到当前时刻在注射针运动方向上注射针针尖与视网膜底部轮廓线之间的像素距离，包括：
对采集的当前时刻的眼部OCT图像进行边缘检测，得到视网膜轮廓信息和注射针相关信息，所述视网膜轮廓信息包括视网膜底部轮廓线，所述注射针相关信息包括注射针直线运动方程和针尖像素坐标A；
依据注射针直线运动方程，获取注射针沿注射针运动方向运动至视网膜底部轮廓线时针尖像素坐标B；
通过所述针尖像素坐标A和所述针尖像素坐标B，计算得到当前时刻在注射针运动方向上所述注射针针尖与所述视网膜底部轮廓之间的像素距离。
3.根据权利要求1所述的基于OCT图像的眼科机器人控制方法，其特征在于，根据所述像素距离，计算下一时刻在注射针运动方向上允许所述注射针针尖向视网膜底部运动的最大物理距离，包括：
计算预设距离比例系数与所述像素距离的乘积，将该乘积作为下一时刻在注射针运动方向上允许所述注射针针尖向所述视网膜底部运动的最大物理距离，其中，所述预设距离比例系数为OCT图像与实际物理距离的比例系数。
4.根据权利要求1所述的基于OCT图像的眼科机器人控制方法，其特征在于，对眼科机器人的主手的运动进行分析，得到所述眼科机器人的从手在注射针运动方向上的理论运动距离，包括：
通过所述眼科机器人的主手的运动在前后两个时刻的位姿信息，计算得到所述眼科机器人的主手的运动增量，所述位姿信息包括主手坐标系下主手的姿态信息和位置信息；
根据预设映射比例系数和所述眼科机器人的主手的运动增量，计算得到所述眼科机器人的从手的运动增量，其中，所述眼科机器人的从手的运动增量包括从手坐标系下X方向运动增量、Y方向运动增量和Z方向运动增量，所述预设映射比例系数为主手运动向从手运动的映射比例系数；
根据所述眼科机器人的从手的运动增量，得到所述眼科机器人的从手在注射针运动方向上的理论运动距离。
5.根据权利要求4所述的基于OCT图像的眼科机器人控制方法，其特征在于，通过所述眼科机器人的主手的运动在前后两个时刻的位姿信息，计算得到所述眼科机器人的主手的运动增量，包括：
采用齐次变换矩阵，将所述眼科机器人的主手在前一时刻的位姿信息描述为将所述眼科机器人的主手在后一时刻的位姿信息描述为/>根据公式/>计算得到所述眼科机器人的主手的运动增量。
6.根据权利要求1至5任一项所述的基于OCT图像的眼科机器人控制方法，其特征在于，根据所述最大物理距离和所述理论运动距离的大小关系，判断是否控制所述眼科机器人的从手在注射针运动方向上继续运动，包括：
当所述理论运动距离小于所述最大物理距离时，判断控制所述眼科机器人的从手在注射针运动方向上继续运动；
当所述理论运动距离大于所述最大物理距离时，禁止所述眼科机器人的从手在注射针运动方向上继续运动。
7.根据权利要求1至5任一项所述的基于OCT图像的眼科机器人控制方法，其特征在于，还包括：
当所述理论运动距离小于所述最大物理距离时，且所述理论运动距离小于等于预设距离阈值时，减小所述眼科机器人的从手在注射针运动方向上的运动速度。
8.一种基于OCT图像的眼科机器人控制系统，其特征在于，包括：
像素距离计算模块，用于从采集的当前时刻的眼部OCT图像中，识别得到当前时刻在注射针运动方向上注射针针尖与视网膜底部轮廓线之间的像素距离；
最大物理距离计算模块，用于根据所述像素距离，计算下一时刻在注射针运动方向上允许所述注射针针尖向视网膜底部运动的最大物理距离；
理论运动距离获取模块，用于对眼科机器人的主手的运动进行分析，得到所述眼科机器人的从手在注射针运动方向上的理论运动距离；
运动控制模块，用于根据所述最大物理距离和所述理论运动距离的大小关系，判断是否控制所述眼科机器人的从手在注射针运动方向上继续运动。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于OCT图像的眼科机器人控制方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7中任一项所述的基于OCT图像的眼科机器人控制方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311395091.9A CN117481801A (zh) | 2023-10-26 | 2023-10-26 | 基于图像的眼科机器人控制方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311395091.9A CN117481801A (zh) | 2023-10-26 | 2023-10-26 | 基于图像的眼科机器人控制方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117481801A true CN117481801A (zh) | 2024-02-02 |
Family
ID=89679202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311395091.9A Pending CN117481801A (zh) | 2023-10-26 | 2023-10-26 | 基于图像的眼科机器人控制方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117481801A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107374727A (zh) * | 2017-07-28 | 2017-11-24 | 重庆金山医疗器械有限公司 | 一种微创外科手术机器人简化运动学模型的建模方法 |
| CN112515768A (zh) * | 2020-11-30 | 2021-03-19 | 哈尔滨工业大学 | 一种显微镜和oct融合的视网膜手术机器人成像方法 |
| CN112716608A (zh) * | 2021-01-20 | 2021-04-30 | 山东威高手术机器人有限公司 | 用于微创手术机器人的主从跟踪控制方法 |
| CN114224498A (zh) * | 2021-12-13 | 2022-03-25 | 复旦大学 | 一种用于复杂气道多模态气管插管机器人的主从控制系统 |
| US20220104884A1 (en) * | 2019-02-08 | 2022-04-07 | The Board Of Trustees Of The University Of Illinois | Image-Guided Surgery System |
| CN115990061A (zh) * | 2022-11-21 | 2023-04-21 | 上海交通大学 | 一种玻璃体视网膜手术机器人系统、控制方法及终端 |
| CN116141330A (zh) * | 2023-03-02 | 2023-05-23 | 上海视微医疗科技有限公司 | 机器人的运动控制方法、装置、机器人设备及存储介质 |
| CN116549216A (zh) * | 2023-05-17 | 2023-08-08 | 中国科学院苏州生物医学工程技术研究所 | 基于oct的玻璃体注射数据处理方法及机器人、设备、介质 |
-
2023
- 2023-10-26 CN CN202311395091.9A patent/CN117481801A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107374727A (zh) * | 2017-07-28 | 2017-11-24 | 重庆金山医疗器械有限公司 | 一种微创外科手术机器人简化运动学模型的建模方法 |
| US20220104884A1 (en) * | 2019-02-08 | 2022-04-07 | The Board Of Trustees Of The University Of Illinois | Image-Guided Surgery System |
| CN112515768A (zh) * | 2020-11-30 | 2021-03-19 | 哈尔滨工业大学 | 一种显微镜和oct融合的视网膜手术机器人成像方法 |
| CN112716608A (zh) * | 2021-01-20 | 2021-04-30 | 山东威高手术机器人有限公司 | 用于微创手术机器人的主从跟踪控制方法 |
| CN114224498A (zh) * | 2021-12-13 | 2022-03-25 | 复旦大学 | 一种用于复杂气道多模态气管插管机器人的主从控制系统 |
| CN115990061A (zh) * | 2022-11-21 | 2023-04-21 | 上海交通大学 | 一种玻璃体视网膜手术机器人系统、控制方法及终端 |
| CN116141330A (zh) * | 2023-03-02 | 2023-05-23 | 上海视微医疗科技有限公司 | 机器人的运动控制方法、装置、机器人设备及存储介质 |
| CN116549216A (zh) * | 2023-05-17 | 2023-08-08 | 中国科学院苏州生物医学工程技术研究所 | 基于oct的玻璃体注射数据处理方法及机器人、设备、介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李治廷: "眼科显微手术辅助机器人视网膜血管注药器研制", 中国优秀硕士论文库, 15 February 2020 (2020-02-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210157403A1 (en) | Operating room and surgical site awareness | |
| Roizenblatt et al. | Robot-assisted vitreoretinal surgery: current perspectives | |
| Vander Poorten et al. | Robotic retinal surgery | |
| Becker et al. | Vision-based control of a handheld surgical micromanipulator with virtual fixtures | |
| CN103479430A (zh) | 一种影像引导介入手术导航系统 | |
| He et al. | Toward safe retinal microsurgery: Development and evaluation of an rnn-based active interventional control framework | |
| Zhou et al. | Precision needle tip localization using optical coherence tomography images for subretinal injection | |
| Molaei et al. | Toward the art of robotic-assisted vitreoretinal surgery | |
| CN116196111B (zh) | 一种眼科手术机器人系统及其控制方法 | |
| Becker et al. | Towards vision-based control of a handheld micromanipulator for retinal cannulation in an eyeball phantom | |
| He et al. | Automatic light pipe actuating system for bimanual robot-assisted retinal surgery | |
| Mendizabal et al. | Force classification during robotic interventions through simulation-trained neural networks | |
| Ahronovich et al. | A review of robotic and OCT-aided systems for vitreoretinal surgery | |
| Alafaleq | Robotics and cybersurgery in ophthalmology: A current perspective | |
| Wang et al. | A 5-DOFs robot for posterior segment eye microsurgery | |
| CN117481801A (zh) | 基于图像的眼科机器人控制方法、系统、设备及介质 | |
| CN111588469B (zh) | 眼科机器人末端执行器引导和定位系统 | |
| He et al. | Toward robotically assisted membrane peeling with 3-DOF distal force sensing in retinal microsurgery | |
| CN116549216A (zh) | 基于oct的玻璃体注射数据处理方法及机器人、设备、介质 | |
| Alamdar et al. | Force and velocity based puncture detection in robot assisted retinal vein cannulation: in-vivo study | |
| Wang et al. | Comparison of robot-assisted vitreoretinal surgery and manual surgery in different preclinical settings: a randomized trial | |
| Becker | Vision-based control of a handheld micromanipulator for robot-assisted retinal surgery | |
| Cornelissen et al. | Towards real-time estimation of a spherical eye model based on a single fiber OCT | |
| Chen et al. | Innovative Vitreoretinal Surgery Technologies | |
| Nasseri et al. | Clinical motion tracking and motion analysis during ophthalmic surgery using electromagnetic tracking system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |