CN114391793A - 一种内窥镜视野自主控制方法、系统及介质 - Google Patents

一种内窥镜视野自主控制方法、系统及介质 Download PDF

Info

Publication number
CN114391793A
CN114391793A CN202210091825.3A CN202210091825A CN114391793A CN 114391793 A CN114391793 A CN 114391793A CN 202210091825 A CN202210091825 A CN 202210091825A CN 114391793 A CN114391793 A CN 114391793A
Authority
CN
China
Prior art keywords
rope
endoscope
image
model
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210091825.3A
Other languages
English (en)
Inventor
彭键清
张弛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202210091825.3A priority Critical patent/CN114391793A/zh
Publication of CN114391793A publication Critical patent/CN114391793A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种内窥镜视野自主控制方法、系统及介质，方法包括：获取内窥镜摄像头的视觉反馈和绳驱机械臂的真实绳长；一方面，基于视觉反馈计算图像清晰度，对手术器械尖端进行分割和定位；另一方面，基于真实绳长建立绳索‑末端运动学模型和位置级RCM约束方程；根据上述获得的信息建立手术视野调整的优化模型；利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度；建立速度级RCM约束方程和末端‑绳索逆运动学模型，解算得到绳索长度，进而实现持镜机器人的运动控制。通过使用本发明，能够实现器械尖端快速、准确及有效的跟踪，降低手眼不协调，提高图像清晰度以及智能视野调整的安全性和稳定性。

Description

一种内窥镜视野自主控制方法、系统及介质
技术领域
本发明涉及手术辅助控制技术领域，尤其涉及一种内窥镜视野自主控制方法、系统及介质。
背景技术
随着微创手术的普及和机器人技术应用的推广，针对腔镜手术机器人的研究变得很活跃。不同于主从控制式系统，辅助持镜机器人与主刀医生的协同操作具有更高的可靠性，而且辅助持镜机器人的研发成本远小于主从控制式系统。在腹腔镜手术中，智能辅助持镜机器人具有响应快、稳定性强及精度高等优势，能够辅助外科医生进行手术视野的智能调整。智能辅助持镜机器人通过视觉反馈实现手术器械尖端的快速定位，进而自主地调整手术视野，辅助外科医生完成手术操作，具有重要的研究意义和巨大的市场需求。然而，传统的伺服控制方法大多基于主从式腔镜机器人，不仅优化目标单一，而且缺少内窥镜姿态的控制和视觉反馈质量的评估及优化。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种内窥镜视野自主控制方法、系统及介质，能够实现器械尖端快速、准确及有效的跟踪，降低手眼不协调，提高图像清晰度以及智能视野调整的安全性和稳定性。
为实现上述目的，本发明提供了一种内窥镜视野自主控制方法，包括：
获取内窥镜摄像头的视觉反馈和绳驱机械臂的真实绳长；
基于视觉反馈计算图像清晰度，对手术器械尖端进行分割和定位；基于真实绳长建立绳索-末端运动学模型和位置级RCM约束方程；
建立手术视野调整的优化模型；
利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度；
建立速度级RCM约束方程和末端-绳索逆运动学模型，解算得到绳索长度，对持镜机器人进行运动控制。
进一步的，所述对手术器械尖端进行分割和定位包括：
(1)提取ROI图像；
(2)将ROI图像转换为器械尖端的灰度图像；
(3)对灰度图像进行中值滤波，进而得到滤波后的图像；
(4)将滤波后的图像转换为器械尖端的二值图像；
(5)提取二值图像中器械尖端的的轮廓；
(6)筛选二值图像中器械尖端的的轮廓；
(7)计算器械尖端的重心；
(8)计算系统跟踪点。
进一步的，所述建立手术视野调整的优化模型包括：器械尖端图像特征的跟踪模型、方向误差的手眼协调模型、图像清晰度的优化模型、位置级和速度级的安全约束模型。
进一步的，所述器械尖端图像特征的跟踪模型具体为：
Figure BDA0003489360950000021
式中，
Figure BDA0003489360950000022
Figure BDA0003489360950000023
Figure BDA0003489360950000024
其中，t代表时间，fu、fv、u0及v0表示内窥镜摄像头的内参；utips,vtips分别代表器械末端的像素坐标；Kp是常对角矩阵；sdes,stips分别代表期望的跟踪点和实际器械末端跟踪点的像素坐标；Kp,track和Kd,track都是正常数，
Figure BDA0003489360950000025
分别t时刻和t-1时刻实际器械末端跟踪点stips和期望跟踪点sdes之间的像素距离；(Jlap)#为Jlap的伪逆。
进一步的，所述方向误差的手眼协调模型具体为：
Figure BDA0003489360950000031
其中，βk(k＝t,t-1)表示方向误差：
β＝atan 2[-lapA0(2,2),-lapA0(1,2)] (6)
式中Kp,coor和Kd,coor都是正常数，lapA0(2,2),lapA0(1,2)分别表示矩阵lapA0第二行第二列和第一行第二列的元素。
进一步的，所述图像清晰度的优化模型，具体为：
Figure BDA0003489360950000032
Figure BDA0003489360950000033
其中，conAlap为内窥镜连接件到内窥镜摄像头的旋转矩阵；
Figure BDA0003489360950000034
分别为t-1时刻和t时刻的图像清晰度；
Figure BDA0003489360950000035
内窥镜摄像头跟踪器械尖端在t-1时刻z方向的线速度；
Figure BDA0003489360950000036
为
Figure BDA0003489360950000037
的符号函数，它具有性质：当
Figure BDA0003489360950000038
时，
Figure BDA0003489360950000039
当
Figure BDA00034893609500000310
时，
Figure BDA00034893609500000311
当
Figure BDA00034893609500000312
时，
Figure BDA00034893609500000313
表示图像清晰度的变化率；
Figure BDA00034893609500000314
η0表示最小容忍变化率，Kdef为正常数，此外g(ηq)还满足以下性质：
当ηq＜0时，g(ηq)＜0；当ηq＝0时，g(ηq)＝0；当ηq＞0时，g(ηq)＞0；
当ηq≠0时，|ηq|越大，g(ηq)越小。
进一步的，所述位置级和速度级的安全约束模型具体为：
Figure BDA00034893609500000315
Figure BDA00034893609500000316
其中，
Figure BDA00034893609500000317
分别表示t-1时刻和t时刻器械实际的置入距离；din,d表示期望的置入距离；Kp,safe和Kd,safe都是正常数。
本发明还提供一种内窥镜视野自主控制系统，包括：反馈数据接收模块、图像预处理模块、运动学与RCM约束建模模块、手术视野智能调整模块及运动控制模块，其中：
反馈数据接收模块，用于获取内窥镜摄像头采集的图像和绳驱机械臂的真实绳索长度；
图像预处理模块，用于计算图像清晰度和对手术器械尖端进行分割与定位；
运动学与RCM约束建模模块，用于建立绳驱柔性臂主动绳索空间到操作空间运动学模型和位置级RCM约束方程；
手术视野智能调整模块，用于建立手术视野调整的优化模型，进而利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度；
运动控制模块，用于建立速度级RCM约束方程和绳驱柔性臂操作空间到主动绳索空间的逆运动学模型，解算得到绳索长度，进而实现持镜机器人的运动控制。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
本发明的有益效果是：
(1)本发明建立了手术视野调整的优化模型，主要包括考虑器械尖端图像特征的跟踪模型、考虑方向误差的手眼协调模型、考虑图像清晰度的优化模型及位置级和速度级的安全约束模型。其中：
考虑器械尖端图像特征的跟踪模型能够确保器械尖端不超出手术视野，并且维持系统跟踪点在手术图像的中心。
考虑方向误差的手眼协调模型实现对手眼协调问题的优化，减少方向误差对主刀医生的影响。
考虑图像清晰度的优化模型通过调节内窥镜摄像头的深度实现对视觉反馈质量的优化，进而给主刀医生提供更清晰的视觉反馈。
位置级和速度级的安全约束模型能够避免内窥镜与人体或器械产生碰撞，提高手术视野调整的安全性。
(2)本发明的方法考虑了器械尖端跟踪、手眼协调、图像清晰度及安全约束多目标的优化问题，它能够实现器械尖端快速、准确及有效的跟踪，降低手眼不协调，提高图像清晰度以及智能视野调整的安全性和稳定性。
(3)本发明建立了持镜机器人的RCM位置级和速度级方程，它将绳驱柔性臂末端的运动和内窥镜摄像头的跟踪运动进行了解耦。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的机器人外科辅助手术的场景示意图。
图2是本发明的方法流程图。
图3是本发明的系统原理框图。
图4是本发明的辅助持镜机器人系统算法流程图。
图5是本发明的辅助持镜机器人系统的D-H坐标系图。
图6是本发明的器械尖端的分割和定位流程图。
图7是本发明视觉反馈中器械尖端的轨迹图。
图8是本发明的跟踪距离变化曲线图。
图9是本发明的方向误差变化曲线图。
图10是本发明的图像清晰度变化曲线图。
图11是本发明的内窥镜置入距离变化曲线图。
具体实施方式
如图1所示，辅助持镜机器人系统主要由带有控制软件的计算机、绳驱柔性臂、内窥镜连接件、内窥镜及监视器组成。计算机与绳驱柔性臂、内窥镜及监视器连接，是整个辅助持镜机器人系统的控制中心。内窥镜连接件安装在绳驱柔性臂末端，用于固定内窥镜。在腔镜手术过程中，辅助持镜机器人系统通过主动或被动的控制模式调整内窥镜摄像头的位姿，以给主刀医生提供正确和稳定的视觉反馈，辅助主刀医生完成一系列的手术操作。
如图2所示，本发明提供了一种内窥镜视野自主控制方法，包括：
获取内窥镜摄像头的视觉反馈和绳驱机械臂的真实绳长；
基于视觉反馈计算图像清晰度，对手术器械尖端进行分割和定位；基于真实绳长建立绳索-末端运动学模型和位置级RCM约束方程；
建立手术视野调整的优化模型；
利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度；
建立速度级RCM约束方程和末端-绳索逆运动学模型，解算得到绳索长度，对持镜机器人进行运动控制。
如图3所示，持镜机器人的智能控制系统总框架主要由反馈数据接收模块、图像预处理模块、运动学与RCM约束建模模块、手术视野智能调整模块及运动控制模块组成。反馈数据接收模块用于获取内窥镜摄像头采集的图像和绳驱机械臂的真实绳索长度。图像预处理模块用于计算图像清晰度和对手术器械尖端进行分割与定位。运动学与RCM约束建模模块用于建立绳驱柔性臂主动绳索空间到操作空间运动学模型和位置级RCM约束方程。手术视野智能调整模块用于建立手术视野调整的优化模型，进而利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度。运动控制模块用于建立速度级RCM约束方程和绳驱柔性臂操作空间到主动绳索空间的逆运动学模型，解算得到绳索长度，进而实现持镜机器人的运动控制。
如图4所示，对应的辅助持镜机器人系统算法主要包括：反馈数据接收、图像预处理、运动学与RCM约束建模、手术视野智能调整及运动控制。反馈数据接收是整个算法流程的第一步，主要用于获取内窥镜摄像头采集的图像和绳驱机械臂的真实绳索长度。其次，根据获取到的反馈数据实现图像预处理和运动学与RCM约束建模，图像预处理主要包括图像清晰度的计算和手术器械尖端的分割与定位，运动学与RCM约束建模主要包括绳驱柔性臂主动绳索空间到操作空间运动学模型和位置级RCM约束方程的建立。接着，根据解算得到的信息建立手术视野调整的优化模型，主要包括考虑器械尖端图像特征的跟踪模型、考虑方向误差的手眼协调模型、考虑图像清晰度的优化模型及位置级和速度级的安全约束模型，进而利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度。最后，建立速度级RCM约束方程和绳驱柔性臂操作空间到主动绳索空间的逆运动学模型，解算得到绳索长度，进而实现持镜机器人的运动控制。
如图5所示，假设{f0}-{f2m}表示绳驱柔性臂的D-H坐标系(其中{f0}为基坐标系)，{ai,di|i＝1,2,...,2m}表示D-H参数。内窥镜连接件安装在绳驱柔性臂末端，它用于固定内窥镜。在腔镜手术中，内窥镜轴线始终穿过一固定点0pRCM。假设{fcon}表示内窥镜连接件坐标系，{fRCM}表示RCM坐标系，{flap}表示内窥镜摄像头坐标系。假设内窥镜连接件的轴向长度表示为dcon，内窥镜的轴向长度表示为dlap，内窥镜插入腹腔的长度表示din＝||0pRCM-0pc||。
假设l＝[l1,l2,…,l3m]T和θ＝[θ1,θ2,…,θ2m]T表示2m-DOF绳驱柔性臂的绳索长度和关节角度，JL表示关节空间到主动绳索空间的雅可比矩阵，Je表示关节空间到操作空间的雅可比矩阵。
建立持镜机器人的D-H坐标系，相邻坐标系的齐次变换矩阵如下：
Figure BDA0003489360950000071
其中，cθi表示cosθi，sθi表示sinθi，i＝1,2,...,2m。
根据链式法则，建立持镜机器人的运动学模型，即有：
Figure BDA0003489360950000072
0T2m＝0T1 1T2…2m-1T2m＝fkine(θ) (3)
其中，
Figure BDA0003489360950000073
是JL的伪逆。
持镜机器人的速度级逆运动学数值模型可定义为：
Figure BDA0003489360950000074
其中，
Figure BDA0003489360950000075
表示Je的伪逆。
将{f0}作为参考坐标系，{fcon}和{flap}的齐次变换矩阵可分别描述为：
Figure BDA0003489360950000076
Figure BDA0003489360950000077
其中，0Acon和0Alap分别表示{fcom}和{flap}的旋转矩阵；0pcon和0plap分别表示{fcom}和{flap}的位置向量；mTcon和conTlap分别表示持镜机械臂末端到内窥镜连接件和内窥镜连接件到内窥镜摄像头的齐次变换矩阵。
假设ηin＝din/dlap表示内窥镜的置入距离和轴向长度之间的比值。由于内窥镜必须始终穿过RCM，因此，位置级RCM的约束可表示为：
Figure BDA0003489360950000081
为了表达的方便，将{fcon}作为参考坐标系，假设内窥镜连接件的线速度和角速度分别为convcon＝[convconx convcony convconz]T和conωcon＝[conωconα conωconβ conωconγ]T；内窥镜在RCM处的线速度和角速度分别为convRCM＝[convRCMx convRCMy convRCMz]T和conωRCM＝[conωRCMα conωRCMβ conωRCMγ]T；内窥镜摄像头的线速度和角速度分别为convlap＝[convlapx convlapy convlapz]T和conωc＝[conωlapα conωlapβ conωlapγ]T。
{fcon}、{fRCM}及{flap}均定义在内窥镜上，根据理论力学可得：
Figure BDA0003489360950000082
根据RCM约束的特点，内窥镜无法实现垂直于轴线方向的平动，损失了两个自由度。因此，速度级RCM约束中内窥镜垂直于轴线方向的速度始终等于0，也即：
Figure BDA0003489360950000083
根据速度级RCM约束的规律，可建立内窥镜摄像头速度与内窥镜连接件速度的关系为：
Figure BDA0003489360950000084
手术器械尖端跟踪点的定位可为辅助持镜机器人智能视野调整提供有效且重要的反馈信息。为了准确地提取系统的跟踪点，将深度学习方法用于手术器械尖端的分割和定位，它可以减小器械尖端的定位误差。首先，利用实时目标检测模型提取视觉反馈的ROI区域(也即器械尖端区域)。然后，在ROI区域中分割出器械尖端，进而提取器械尖端的重心。最后，计算所有器械尖端重心的加权平均和作为该系统的跟踪点。
器械尖端的分割和定位的流程图如图6所示，主要包括以下步骤：(1)根据
Figure BDA0003489360950000091
在IS中裁剪出第k个器械尖端的ROI图像
Figure BDA0003489360950000092
(2)将
Figure BDA0003489360950000093
转换为器械尖端的灰度图像
Figure BDA0003489360950000094
(3)根据ksize对
Figure BDA0003489360950000095
进行中值滤波，进而得到滤波后的图像
Figure BDA0003489360950000096
(4)根据阈值[threshmin,threshmax]将
Figure BDA0003489360950000097
转换为器械尖端的二值图像
Figure BDA0003489360950000098
(5)提取
Figure BDA0003489360950000099
中的Q个轮廓；(6)计算第q个(q＝1,2,…,Q)轮廓contourq的面积areaq，进一步计算contourq在
Figure BDA00034893609500000910
中的面积占比
Figure BDA00034893609500000911
当满足ratiomin＜ηarea＜ratiomax时，可以认为contourq是第k个器械尖端的轮廓；(7)根据contourq计算第k个器械尖端的重心
Figure BDA00034893609500000912
采用图像中器械尖端分割区域的一阶矩计算其重心。第k幅ROI图像中器械尖端轮廓的(i+j)阶矩mij表示为：
Figure BDA00034893609500000913
进而，可以计算得到第k个器械尖端的重心
Figure BDA00034893609500000914
为：
Figure BDA00034893609500000915
因此，系统跟踪点可表示为：
Figure BDA00034893609500000916
其中，ηk表示第k个器械尖端重心的跟踪权值(也即，该类器械的重要性)，且
Figure BDA00034893609500000917
上述建立手术视野调整的优化模型包括：器械尖端图像特征的跟踪模型、方向误差的手眼协调模型、图像清晰度的优化模型、位置级和速度级的安全约束模型，具体如下：
(1)器械尖端图像特征的跟踪模型
通过上述的尖端的分割和定位方法提取各器械尖端的重心，进一步计算系统跟踪点stips。假设sdes＝[ws/2hs/2]T表示图像中心，系统跟踪点stips和图像中心sdes之间的像素距离为dpx＝||stips-sdes||。
内窥镜摄像头跟踪器械尖端实际上是一个最小化像素距离dpx的问题，期望的像素距离为0。因此，可建立如下的跟踪模型：
Figure BDA00034893609500000918
式中，
Figure BDA0003489360950000101
Figure BDA0003489360950000102
Figure BDA0003489360950000103
其中，t代表时间，fu、fv、u0及v0表示内窥镜摄像头的内参；utips,vtips分别代表器械末端的像素坐标；Kp是常对角矩阵；sdes,stips分别代表期望的跟踪点和实际器械末端跟踪点的像素坐标；Kp,track和Kd,track都是正常数，
Figure BDA0003489360950000104
分别t时刻和t-1时刻实际器械末端跟踪点stips和期望跟踪点sdes之间的像素距离；(Jlap)#为Jlap的伪逆。
(2)方向误差的手眼协调模型
根据RCM约束的特点，内窥镜摄像头的线速度和角速度存在着耦合关系。因此，当内窥镜摄像头跟踪尖端时，耦合的旋转运动可能造成方向误差。也就是说，视觉反馈中尖端的运动方向与主刀医生期望的运动方向存在一定的角度偏差。这会影响主刀医生的手眼协调，降低主刀医生的舒适感和手术效率。
假设βk(k＝t,t-1)表示方向误差，即有：
βk＝atan 2[-lapA0(2,2),-lapA0(1,2)] (19)
相似的，提高手眼协调程度实际上是一个最小化|βk|的问题，期望的方向误差为0。因此，可建立如下的手眼协调模型：
Figure BDA0003489360950000105
式中Kp,coor和Kd,coor都是正常数，lapA0(2,2),lapA0(1,2)分别表示矩阵lapA0第二行第二列和第一行第二列的元素。
(3)图像清晰度的优化模型
基于图像边缘纹理结构信息的图像清晰度评价指标具有高灵敏度、单峰性及在峰值两侧的单调性，而图像梯度算子最能够反映图像边缘纹理结构信息。因此，利用无参考图像的清晰度评价指标来评估手术图像的质量。
假设qI表示图像清晰度(qI越大，图像越清晰)，计算公式为：
qI＝ID(Is) (21)
其中，ID(·)表示基于梯度算子的无参考图像清晰度评价方法。
假设dobj表示物距，根据相机成像原理，存在物距dobj,foc使得内窥镜摄像头的聚焦效果最好、图像最清晰。因此，在相同的场景中，图像清晰度与物距的函数关系qI(dobj)具有以下性质：
(1)当dobj＜dobj,foc或dobj＞dobj,foc时，qI(dobj)＜qI(dobj,foc)；
(2)当dobj,1＜dobj,2＜dobj,foc时，
Figure BDA0003489360950000111
当dobj,2＞dobj,1＞dobj,foc时，
Figure BDA0003489360950000112
调节图像清晰度的关键是辅助持镜机器人智能调整内窥镜摄像头和手术器械、人体之间的距离。为了最大化图像清晰度，根据上述的图像清晰度qI(dobj)与物距dobj之间的非线性函数关系，可建立如下的优化模型：
Figure BDA0003489360950000113
Figure BDA0003489360950000114
其中，conAlap为内窥镜连接件到内窥镜摄像头的旋转矩阵；
Figure BDA0003489360950000115
分别为t-1时刻和t时刻的图像清晰度；
Figure BDA0003489360950000116
内窥镜摄像头跟踪器械尖端在t-1时刻z方向的线速度；
Figure BDA0003489360950000117
为
Figure BDA0003489360950000118
的符号函数，它具有性质：当
Figure BDA0003489360950000119
时，
Figure BDA00034893609500001110
当
Figure BDA00034893609500001115
时，
Figure BDA00034893609500001111
当
Figure BDA00034893609500001112
时，
Figure BDA00034893609500001113
表示图像清晰度的变化率；
Figure BDA00034893609500001114
η0表示最小容忍变化率，Kdef为正常数，此外g(ηq)还满足以下性质：
当ηq＜0时，g(ηq)＜0；当ηq＝0时，g(ηq)＝0；当ηq＞0时，g(ηq)＞0；
当ηq≠0时，|ηq|越大，g(ηq)越小。
(4)位置级和速度级的安全约束模型
为了保证辅助持镜机器人的安全性，设置了位置级和速度级手术视野调整安全约束。在位置级别上，为了避免内窥镜置入过短或过长导致与人体、器械发生碰撞，对内窥镜的置入距离din进行约束，具体表述为：
(1)定义一个置入距离安全区din∈[dsafe,min,dsafe,max]。当内窥镜的置入距离din处于安全区时，可以确保内窥镜的运动是安全的，因此不需要对din进行控制。
(2)定义两个置入距离警戒区din∈[dalart,min,dsafe,min]和din∈[dsafe,max,dalart,max]。出于安全的考虑，当内窥镜的置入距离din处于警戒区时，需要对din进行控制，使其进入安全区。因此，可建立如下的安全约束模型：
Figure BDA0003489360950000121
Figure BDA0003489360950000122
其中，
Figure BDA0003489360950000123
分别表示t-1时刻和t时刻器械实际的置入距离；din,d表示期望的置入距离；Kp,safe和Kd,safe都是正常数。
在速度级别上，为了避免内窥镜摄像头运动速度过快导致和与人体、器械碰撞的失控现象，约束了内窥镜摄像头的最大线速度vmax和内窥镜的最大轴向角速度ωmax。
基于对器械尖端跟踪、手眼协调、图像清晰度及安全约束进行多目标优化，进而可以计算内窥镜摄像头的广义速度
Figure BDA0003489360950000124
为：
Figure BDA0003489360950000125
其中，ηtrack、ηcoor、ηdef及ηsafe分别表示三种优化目标和位置级安全约束的权值系数。
此外，当主刀医生操作关键部位时，视觉反馈会捕获器械尖端在局部区域的抖动，导致辅助持镜机器人产生微小的运动。为了防止上述情况引起手术视野的抖动，设置了一个以sdes为中心，以Rdead为半径的死区。当跟踪点进入死区后，除非内窥镜的置入距离进入警戒区，否则辅助持镜机器人停止运动，为主刀医生提供稳定的视觉反馈。
为了验证所提方法的正确性和有效性，设计了两组器械尖端跟踪的仿真实验(也即一种器械和两种器械及三种器械)。为了验证所提方法的抗抖动能力，假设器械轨迹的抖动误差符合±1mm的均匀分布。
对于一种器械的情况，手术器械尖端沿圆形轨迹运动。对于两种器械的情况，手术器械尖端分别沿矩形轨迹和圆形轨迹运动。对于三种器械的情况，手术器械尖端分别沿固定点、矩形轨迹及圆形轨迹运动。根据初始状态和仿真结果，视觉反馈中器械尖端的轨迹如图7所示，在初始状态下，当内窥镜摄像头不跟踪手术器械尖端时，手术器械尖端会超出手术视野范围。跟踪距离变化曲线如图8所示，方向误差变化曲线如图9所示，图像清晰度变化曲线如图10所示，内窥镜置入距离变化曲线如图11所示。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (9)

1.一种内窥镜视野自主控制方法，其特征在于，包括：
获取内窥镜摄像头的视觉反馈和绳驱机械臂的真实绳长；
基于视觉反馈计算图像清晰度，对手术器械尖端进行分割和定位；基于真实绳长建立绳索-末端运动学模型和位置级RCM约束方程；
建立手术视野调整的优化模型；
利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度；
建立速度级RCM约束方程和末端-绳索逆运动学模型，解算得到绳索长度，对持镜机器人进行运动控制。
2.如权利要求1所述的一种内窥镜视野自主控制方法，其特征在于，所述对手术器械尖端进行分割和定位包括：
(1)提取ROI图像；
(2)将ROI图像转换为器械尖端的灰度图像；
(3)对灰度图像进行中值滤波，进而得到滤波后的图像；
(4)将滤波后的图像转换为器械尖端的二值图像；
(5)提取二值图像中器械尖端的的轮廓；
(6)筛选二值图像中器械尖端的的轮廓；
(7)计算器械尖端的重心；
(8)计算系统跟踪点。
3.如权利要求1所述的一种内窥镜视野自主控制方法，其特征在于，所述建立手术视野调整的优化模型包括：器械尖端图像特征的跟踪模型、方向误差的手眼协调模型、图像清晰度的优化模型、位置级和速度级的安全约束模型。
4.如权利要求3所述的一种内窥镜视野自主控制方法，其特征在于，所述器械尖端图像特征的跟踪模型具体为：
Figure FDA0003489360940000011
式中，
Figure FDA0003489360940000021
Figure FDA0003489360940000022
Figure FDA0003489360940000023
其中，t代表时间，fu、fv、u0及v0表示内窥镜摄像头的内参；utips,vtips分别代表器械末端的像素坐标；Kp是常对角矩阵；sdes,stips分别代表期望的跟踪点和实际器械末端跟踪点的像素坐标；Kp,track和Kd,track都是正常数，
Figure FDA0003489360940000024
分别t时刻和t-1时刻实际器械末端跟踪点stips和期望跟踪点sdes之间的像素距离；(Jlap)#为Jlap的伪逆。
5.如权利要求3所述的一种内窥镜视野自主控制方法，其特征在于，所述方向误差的手眼协调模型具体为：
Figure FDA0003489360940000025
其中，βk(k＝t,t-1)表示方向误差：
βk＝atan2[-lapA0(2,2),-lapA0(1,2)] (6)
式中Kp,coor和Kd,coor都是正常数，lapA0(2,2),lapA0(1,2)分别表示矩阵lapA0第二行第二列和第一行第二列的元素。
6.如权利要求3所述的一种内窥镜视野自主控制方法，其特征在于，所述图像清晰度的优化模型，具体为：
Figure FDA0003489360940000026
Figure FDA0003489360940000027
其中，conAlap为内窥镜连接件到内窥镜摄像头的旋转矩阵；
Figure FDA0003489360940000028
分别为t-1时刻和t时刻的图像清晰度；
Figure FDA0003489360940000029
内窥镜摄像头跟踪器械尖端在t-1时刻z方向的线速度；
Figure FDA00034893609400000210
为
Figure FDA00034893609400000211
的符号函数，它具有性质：当
Figure FDA00034893609400000212
时，
Figure FDA00034893609400000213
当
Figure FDA00034893609400000214
时，
Figure FDA00034893609400000215
当
Figure FDA00034893609400000216
时，
Figure FDA00034893609400000217
Figure FDA00034893609400000218
表示图像清晰度的变化率；
Figure FDA00034893609400000219
η0表示最小容忍变化率，Kdef为正常数，此外g(ηq)还满足以下性质：
当ηq＜0时，g(ηq)＜0；当ηq＝0时，g(ηq)＝0；当ηq＞0时，g(ηq)＞0；当ηq≠0时，|ηq|越大，g(ηq)越小。
7.如权利要求3所述的一种内窥镜视野自主控制方法，其特征在于，所述位置级和速度级的安全约束模型具体为：
Figure FDA0003489360940000031
Figure FDA0003489360940000032
其中，
Figure FDA0003489360940000033
分别表示t-1时刻和t时刻器械实际的置入距离；din,d表示期望的置入距离；Kp,safe和Kd,safe都是正常数。
8.一种内窥镜视野自主控制系统，其特征在于，包括：反馈数据接收模块、图像预处理模块、运动学与RCM约束建模模块、手术视野智能调整模块及运动控制模块，其中：
反馈数据接收模块，用于获取内窥镜摄像头采集的图像和绳驱机械臂的真实绳索长度；
图像预处理模块，用于计算图像清晰度和对手术器械尖端进行分割与定位；
运动学与RCM约束建模模块，用于建立绳驱柔性臂主动绳索空间到操作空间运动学模型和位置级RCM约束方程；
手术视野智能调整模块，用于建立手术视野调整的优化模型，进而利用基于多目标优化的手术视野智能调整方法计算内窥镜摄像头的期望速度；
运动控制模块，用于建立速度级RCM约束方程和绳驱柔性臂操作空间到主动绳索空间的逆运动学模型，解算得到绳索长度，进而实现持镜机器人的运动控制。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202210091825.3A 2022-01-26 2022-01-26 一种内窥镜视野自主控制方法、系统及介质 Pending CN114391793A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210091825.3A CN114391793A (zh) 2022-01-26 2022-01-26 一种内窥镜视野自主控制方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210091825.3A CN114391793A (zh) 2022-01-26 2022-01-26 一种内窥镜视野自主控制方法、系统及介质

Publications (1)

Publication Number Publication Date
CN114391793A true CN114391793A (zh) 2022-04-26

Family

ID=81233511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210091825.3A Pending CN114391793A (zh) 2022-01-26 2022-01-26 一种内窥镜视野自主控制方法、系统及介质

Country Status (1)

Country Link
CN (1) CN114391793A (zh)

Similar Documents

Publication Publication Date Title
CN109567942B (zh) 采用人工智能技术的颅颌面外科手术机器人辅助系统
Allan et al. 3-D pose estimation of articulated instruments in robotic minimally invasive surgery
Li et al. Spatial motion constraints in medical robot using virtual fixtures generated by anatomy
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8073528B2 (en) Tool tracking systems, methods and computer products for image guided surgery
Qin et al. Surgical instrument segmentation for endoscopic vision with data fusion of cnn prediction and kinematic pose
Probst et al. Automatic tool landmark detection for stereo vision in robot-assisted retinal surgery
CN114041878A (zh) 骨关节置换手术机器人的ct图像的三维重建方法及系统
JP2022542241A (ja) ロボット装置からの視覚的出力を補強するシステム及び方法
CN113143461B (zh) 人机协同的微创内窥镜持镜机器人系统
CN113766997A (zh) 用于引导机械臂的方法、引导系统
CN109806004A (zh) 一种基于云数据技术的手术机器人系统及操作方法
Yasin et al. Using continuum robots for force-controlled semi autonomous organ exploration and registration
CN117218210A (zh) 一种基于仿生眼的双目主动视觉半稠密深度估计方法
CN115670515A (zh) 基于深度学习的超声机器人甲状腺检测系统
CN113925613A (zh) 一种腹腔镜手术持镜机器人系统
Zhang et al. Visual servo control of endoscope-holding robot based on multi-objective optimization: System modeling and instrument tracking
Peng et al. Endoscope FOV autonomous tracking method for robot-assisted surgery considering pose control, hand–eye coordination, and image definition
CN114027985A (zh) 一种用于骨关节置换手术的机器人
Li et al. Marker-based shape estimation of a continuum manipulator using binocular vision and its error compensation
Yang et al. Autonomous laparoscope control for minimally invasive surgery with intuition and RCM constraints
Li et al. An autonomous surgical instrument tracking framework with a binocular camera for a robotic flexible laparoscope
CN117122414A (zh) 一种主动跟踪式手术导航系统
CN114391793A (zh) 一种内窥镜视野自主控制方法、系统及介质
Wang et al. Towards autonomous control of surgical instruments using adaptive-fusion tracking and robot self-calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination