CN114191099A - 微创手术机器人主从跟踪延时测试方法 - Google Patents
微创手术机器人主从跟踪延时测试方法 Download PDFInfo
- Publication number
- CN114191099A CN114191099A CN202210040020.6A CN202210040020A CN114191099A CN 114191099 A CN114191099 A CN 114191099A CN 202210040020 A CN202210040020 A CN 202210040020A CN 114191099 A CN114191099 A CN 114191099A
- Authority
- CN
- China
- Prior art keywords
- hand
- master
- slave
- rectangular strip
- joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010998 test method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims description 46
- 230000033001 locomotion Effects 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 22
- 238000005516 engineering process Methods 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 14
- 230000002441 reversible effect Effects 0.000 claims description 13
- 210000002478 hand joint Anatomy 0.000 claims description 11
- 230000001934 delay Effects 0.000 claims description 9
- 241000238097 Callinectes sapidus Species 0.000 claims description 8
- 230000000737 periodic effect Effects 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 5
- 230000005489 elastic deformation Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000002324 minimally invasive surgery Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 15
- 238000002474 experimental method Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013475 authorization Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Environmental & Geological Engineering (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种微创手术机器人主从跟踪延时测试方法，其解决如何对微创手术机器人远程操作过程的延迟进行测量的技术问题，其在主手的输入关节上安装矩形条，同时在从手的转动关节上安装矩形条，通过相机记录这两个矩形条的方位，计算这两个矩阵条之间的角度差进而转化为系统延时。本发明广泛用于内窥镜微创手术机器人技术领域。
Description
技术领域
本发明涉及内窥镜微创手术机器人技术领域，具体而言，涉及一种用于微创手术机器人主从跟踪延时测试方法。
背景技术
微创手术是指利用腹腔镜、胸腔镜等现代医疗器械及相关设备进行的手术。与传统的开放手术相比，微创手术具有创口小、疼痛轻、术中出血量少、术后恢复快、感染风险低等优势，因此在外科手术领域得到了广泛的认可与应用。但是现有的手术机器人也有它的局限性，就是医生无法操控手术机器人对病人进行异地手术。
随着现代网络技术的发展，手术机器人远程操控技术的引入可以有效解决这些问题。手术机器人远程操控技术的出现弥补机器人操控距离上的问题，主要表现在保持手术机器人运动精度高，可对病灶区域进行精准定位操作；具有良好的稳定性，消除医生手部抖动，防止出现误操作；手眼协调一致性，降低操作难度，提升了手术安全性；消除了医生长时间站立的疲劳感，等基础上还具有医生可对病人异地手术的优点。
授权公告号为CN109091237B，名称为微创手术器械辅助系统的中国发明专利以及授权公告号为CN109091238B、名称为分体式微创手术器械辅助系统的中国发明专利，以及授权公告号为CN210872029U、名称为医生操作台的实用新型专利，就公开了包含医生操作台和器械操作台的微创手术机器人系统。
参考公开号为CN112370168A，名称为微创手术机器人系统的中国发明专利申请，微创手术器机器人被设计为在内窥镜下，医生坐在医生操作台前方，头戴3D眼镜观看显示屏，双手握住手腕进行操控，利用患者操作台上的机械臂精准的控制手术器械执行各种手术动作。控制过程采用主从映射算法，患者操作台上的器械机械臂跟随医生操作台的控制端机械臂，即从手跟随主手。
目前，异地远程手术是微创手术机器人系统的一种应用，远程手术融合了机器人技术、通讯技术、远程控制技术、空间映射算法以及容错性分析等关键技术。医生根据手术需求操作控制端机械臂；控制端机械臂的各关节传感器的信号经实时采集并处理后输出，经过主端通讯控制器将数据包进行封装后，经由专用互联网发送至器械机械臂，器械机械臂的从端控制器对接收到的数据包进行校验、滤波后发送到机器人运动控制器，在运动控制器中进行运动解算，最终器械机械臂的各个关节所期望的位置输入到各个电机的驱动器，进而控制器械机械臂完成医生期望的动作。互联网不仅有着复杂的物理线路，同时也存在复杂的协议族、校验机制以及网络安全机制。网络延时主要取决于传输距离和数据传输所经过的物理链路，包括经过路由器个数和路由处理时间。固定传输节点的传输路线和路由线路通常是一定的，但由于网络存在共享和竞争性，路由处理时间和处理任务是变化的，且不同时刻数据包在路由上的等待时间和处理时间也是随机变化的，因此会产生数据包乱序、延迟等问题，严重影响手术操作稳定性、精确性。
在保持高操作精度的前提下，微创手术机器人低透明性和大网络延迟会延长外科医生的响应时间。通过实验可知，当远程手术延迟超过500ms以上时手术风险会明显提高；根据跨大西洋远程“林白手术”的统计，医生能够忍受的延迟为330ms。对于机器人设备的开发者来说，对系统延迟详细的定量描述将有助于发现不足并不断优化，因此手术机器人延迟测试对手术的安全性与可靠性评估具有重要意义，如何进行延迟测试是本领域技术人员亟待解决的技术问题。
发明内容
本发明就是为了解决如何对微创手术机器人远程操作过程的延迟进行测量的技术问题，提供了一种微创手术机器人主从跟踪延时测试方法。
本发明公开一种微创手术机器人主从跟踪延时测试方法，包括以下步骤：
第一步，主从跟踪过程包括以下四个延时成分：τm、τt、τo、τa，与此同时，存在与之对应的五个状态：S0、S1、S2、S3、S4；
τm表示外科医生接触主手并开始运动直到编码器偏转角度大于编码器能够检测到的最小阈值的延时，状态S1为命令触发时刻，状态S0为外科医生接触主手的时刻；
τt是由于控制信号传输造成的传输延迟，状态S2表示从操作手控制器获得控制信号的瞬间；
τo表示数据处理的延迟，τo是当控制系统获得到可用的信号指令后，状态S2持续到状态S3的时间；
τa表示伺服系统驱动从手完成期望任务所用的时间；
第二步，搭建单关节延时测试工装；
第三步，基于所搭建的单关节延时测试工装，在关节空间坐标系下延时测试模型如下：
第四步，主手矩形条通过法兰联轴器固定在测试工装的主手的输入关节上，绕其中心做匀速转动并与主手编码器保持同步；从手矩形条安装在测试工装对应从手转动关节上；
第五步，通过外部相机记录主手矩形条和从手矩形条的方位，采用图像处理技术计算主手矩形条的偏转角度以及从手矩形条的偏转角度；
第六步，机器人采样-执行延时可以通过以下公式(5)计算得到：
公式(5)中，θd、θd0分别表示主手矩形条和从手矩形条之间当前角度差、初始角度差，vr表示主手矩形条的转速。
本发明还公开一种微创手术机器人主从跟踪延时测试方法，包括以下步骤：
第一步，主从跟踪过程包括以下四个延时成分：τm、τt、τo、τa，与此同时，存在与之对应的五个状态：S0、S1、S2、S3、S4；
τm表示外科医生接触主手并开始运动直到编码器偏转角度大于编码器能够检测到的最小阈值的延时，状态S1为命令触发时刻，状态S0为外科医生接触主手的时刻；
τt是由于控制信号传输造成的传输延迟，状态S2表示从操作手控制器获得控制信号的瞬间；
τo表示数据处理的延迟，τo是当控制系统获得到可用的信号指令后，状态S2持续到状态S3的时间；
τa表示伺服系统驱动从手完成期望任务所用的时间；
第二步，搭建单关节延时测试工装；
第三步，基于所搭建的单关节延时测试工装，在关节空间坐标系下延时测试模型如下：
第四步，主手矩形条通过法兰联轴器固定在测试工装的主手的输入关节上，绕其中心做匀速转动并与主手编码器保持同步；从手矩形条安装在测试工装对应从手转动关节上；
第五步，主手矩形条执行往复周期运动：首先顺时转动一定时间，接着静止一段时间和相同时间逆时针转动，最后停止一段时间；从手矩形条跟随主手运动执行相应的周期运动；整个测试过程被外部相机实时的记录下来；
第六步，从手的运动范围要小于主手的运动范围，在第i个往返运动周期中反向间隙di根据以下公式(6)可得：
di＝bi-ai (6)；
反向间隙的最终测量结果d通过多个周期求平均值获得，如下公式7所示，其中n表示往复运动的周期数：
优选地，在主手矩形条开始运动之前，被测系统需要通过预张紧来消除机械间隙和弹性形变的影响。
本发明还公开一种微创手术机器人主从跟踪延时测试方法，包括以下步骤：
第一步，主从跟踪过程包括以下四个延时成分：τm、τt、τo、τa，与此同时，存在与之对应的五个状态：S0、S1、S2、S3、S4；
τm表示外科医生接触主手并开始运动直到编码器偏转角度大于编码器能够检测到的最小阈值的延时，状态S1为命令触发时刻，状态S0为外科医生接触主手的时刻；
τt是由于控制信号传输造成的传输延迟，状态S2表示从操作手控制器获得控制信号的瞬间；
τo表示数据处理的延迟，τo是当控制系统获得到可用的信号指令后，状态S2持续到状态S3的时间；
τa表示伺服系统驱动从手完成期望任务所用的时间；
第二步，搭建单关节延时测试工装；
第三步，基于所搭建的单关节延时测试工装，在关节空间坐标系下延时测试模型如下：
第四步，主手矩形条通过法兰联轴器固定在测试工装的主手的输入关节上，绕其中心做匀速转动并与主手编码器保持同步；从手矩形条安装在测试工装对应从手转动关节上；
第五步，内窥镜对准与被测关节相对应的从手关节上的矩形条，现实场景经内窥镜捕获后在工作站中数字化并传输到LCD显示器上进行显示，外部相机需放在一个合适的位置，使它的视野可以同时完全覆盖主手运动过程和显示器屏幕；
第六步，通过外部相机记录主手矩形条和从手矩形条的方位，采用图像处理技术计算主手矩形条的偏转角度以及从手矩形条的偏转角度；
第七步，系统整体延时τt可以通过公式(8)获得：
优选地，从手矩形条的偏转角度通过以下方法计算：
外部相机获取的从手矩形条跟踪视频图像中的某一帧图像，通过图像处理技术边缘检测算法检测黑色矩形条边缘，利用以下公式(9)计算矩形条边缘直线中每点像素与某直线距离平方和的最小值，该直线角度则为矩形条的角度值；
优选地，利用背景叠加法进一步处理。首先通过外部相机捕获的图像中若干帧图像的背景进行叠加，左右两个叠加后的图形分别对应从手和主手，以从手叠加后的图像为例，检测该图的圆形边缘，得到边缘函数后，即可得到该圆的中心点坐标；然后分别对每一帧图像进行处理，蓝色点表示检测到的圆环中心点坐标，黑色矩形框表示所捕获图像的矩形条，以蓝色点为圆心一定长为半径的圆与矩形框相交于其边缘上的两点，即图上的黑点，连接蓝色中心点与两个交点的中心点形成一条直线，该直线就可以表示矩形条的角度值。
本发明的有益效果是：提供一种远程手术机器人简化运动学时间间隔测试分析和图像拍摄-传输-显示延时测试方法，准确地计算主手与从手之间的采样-通信-执行延时以及内窥镜与显示器之间的拍摄-传输-显示延时，从而对远程手术精准度更好的把控。
本发明进一步的特征和方面，将在以下参考附图的具体实施方式的描述中，得以清楚地记载。
附图说明
图1是医生操作台上的控制端机械臂(主手)的结构示意图；
图2是患者操作台上的器械机械臂(从手)的结构示意图；
图3是单关节位置跟踪流程原理图；
图4是图3对应的主手、从手结构运动示意图；
图5是远程手术机器人视觉反馈系统延时图；
图6是机器人系统单关节采样-执行延时测量的原理图；
图7是图6对应的主手、从手结构运动示意图；
图8是单关节反向间隙测量原理图；
图9是往复周期运动的理想跟踪结果图；
图10是系统总延时测量原理图；
图11是系统总延时测量原理图；
图12中图(a)所示为外部单反相机获取的从手矩形条跟踪视频图像中的某一帧图像，图(b)是通过图像处理技术边缘检测算法检测黑色矩形条边缘的结果；
图13中，图(a)是当矩形条转动时其边缘是由若干条错位的线段拼接而成的边缘轮廓，图(b)是黑色矩形条的两条长边不再平行状态。
图14中，图(a)是通过外部相机捕获的图像中若干帧图像的背景进行叠加结果，图(b)是对每一帧图像进行处理，图(c)表示寻找与矩形框相交边缘点的算法；
图15是恒定速度下的位置跟踪，图(a)是理想空间校准，图(b)是随时间的理想角度变化，图(c)表示随时间的理想角度差变化。
图中符号说明：
1.基座，2.第一关节臂，3.第二关节臂，4.手腕，5.转动连接座，6.第一抱闸，7.第二抱闸，8.第一转动轴线，9.第二转动轴线，10.第三转动轴线，11.锁止按钮；12.旋转关节，13.L型杆，14.连杆一，15.连杆二，16.伸缩关节，17.快换装置，18.夹持关节，19.轴线一，20.轴线二，21.轴线三，22.轴线四；23.输入矩形条，24.输出矩形条。
具体实施方式
医生操作台上的控制端机械臂如图1所示，定义控制端机械臂为主手。
患者操作台上的器械机械臂如图2所示，定义器械机械臂为从手。
远程手术场景下，微创手术机器人系统的延时主要由两部分构成：(1)主手与从手之间的采样-通信-执行延时；(2)内窥镜与显示器之间的拍摄-传输-显示延时。因此需要分别测定这两部分的延迟情况。
为了能够使远程操作延迟可测量，且能够反映机器人的远程运行延迟，搭建了专用测试工装；如图3所示，该工装为单关节机器人，与机器人机械臂等效惯量最大的关节一致(该工装的主手关节与图1所示机器人主手的第二关节臂3对应，该工装的从手关节与图2所示机器人从手的连杆一14、连杆二15、伸缩关节16所构成的机构一致)，能够反映机器人最大运动延迟。
主从跟踪是指当主从映射产生偏差时，从手跟踪主手消除映射偏差的一种运动过程。图3所示在没有视觉反馈下的机器人关节位置跟踪流程，图4是相应的主手、从手结构运动示意图，通过采集主手关节运动信息，通过传输后向从手控制器发送位置信号；从手关节传感器在驱动运动任务结束后，通过传输向主手控制器返回当前位置信号。由于严格的逻辑和时间顺序，主从跟踪不可能完全透明，延时是不可避免并且不能忽视的。一个完整的跟踪过程主要包含以下四个延时成分：τm、τt、τo、τa，与此同时，存在与之对应的五个状态：S0、S1、S2、S3、S4。
τm表示外科医生接触主手(S0)并开始运动直到τq(编码器偏转角度)大于Dthr(编码器能够检测到的最小阈值)的延时，状态S1为命令触发时刻。状态S0为外科医生接触主手的时刻。
τt是由于控制信号传输造成的传输延迟。状态S2表示从操作手控制器获得控制信号的瞬间。
τo表示数据处理的延迟。τo是当控制系统获得到可用的信号指令后，状态S2持续到状态S3的时间。
τa表示伺服系统驱动从手完成期望任务所用的时间。它与从手的驱动刚度，惯性，负载，弹性形变以及响应速度有关。在这四个延时源里，τa是延时最长的部分。当从手到达期望位置时表示跟踪任务完成。
视觉反馈系统中的延时主要存在于视频捕获、数据处理和显示部分，如图5所示。各部分延时描述如下：τc表示内窥镜采集图像到输出视频数据的时间；τp表示图像信号处理与远程传输所用的时间，包括编码、解码、网络传输等过程消耗的时间；τd表示图像显示刷新时间，LCD显示屏的刷新周期一般为5-20ms。
在远程手术中，由于许多额外的延时被引入，且商业互联网固有的阻塞丢包特性，在网络带宽有限且用户量高的时段，延时的波动性会进一步加强，会影响视频反馈的流畅性。
基于所搭建的单关节延时测试工装，在笛卡尔空间坐标系与关节空间坐标系下延时测试模型如下：
模型一：在笛卡尔空间坐标系下，在一个跟随单元中的每一时刻，从手末端位姿与主手末端映射后的相对位姿越近，系统位置透明度越高、时延越小。(此为末端比较法)。
模型二：在关节空间坐标系下，在一个跟随单元中的每一时刻，从手关节角度q与所对应的主手关节相对差值越小时延越小。(此为关节比较法)
针对模型一同时获取主从末端位姿较困难，此处选择模型二，在关节坐标系下评价其延时大小，基于所搭建的单关节工装即可完成测试，引入的误差也较小，能够相对准确的反映机器人远程操作下的延时状态。
图6为采样-执行延时测量方法示意图，图7是对应的结构示意图。输入黑色矩形条通过法兰联轴器固定在测试工装的主手的输入关节上，绕其中心做匀速转动并与主手编码器保持同步。另一个相同的矩形条安装在测试工装对应从手转动关节上。这两个矩形条必须严格固定在其运动源上，避免在实验过程中出现任何方向上的位置移动。将外部相机以一个合适的视野放置在实验装置之前，以至于该相机可以同时记录这两个矩形条的方位。这两个矩阵条之间的角度差可以直接转化为系统延时。
实验之前，两个矩形条的初始方向需要被预先测得，在后续的测量过程中消除初始方向不同对实验结果造成的影响。通过自动图像处理技术来测量所获取图像中黑色矩形条的角度值，主要包括以下四个步骤：(1)对感兴趣区域图像分割；(2)直方图均衡化；(3)图像二值化；(4)角度计算。
矩形条的偏转角度计算采用图像矩算法。mpq表示第p+q图像二维几何矩，如下式所示：
公式(1)中，(x，y)和I(x，y)分别表示某像素点坐标和该像素点亮度。
矩形条的中心为(xc，yc)，计算公式如下：
公式(2)中，m10表示当p和q分别取1和0时的第1+0图像二维几何矩，m01表示当p和q分别取0和1时的第0+1图像二维几何矩，m00表示当p和q分别取0和0时的第0+0图像二维几何矩。
矩形条的中心矩为upq，计算公式如下：
根据图像处理中惯性矩函数，角度θ可得：
公式(4)中，u11表示当p和q分别取1和1时图像的中心矩，u20表示当p和q分别取2和0时图像的中心矩，u02表示当p和q分别取0和2时图像的中心矩。
最后，机器人采样-执行延时τt可以通过以下公式(5)计算得到：
公式(5)中，θd和θd0分别表示主从矩形条之间当前角度差和初始角度差，vr表示主手矩形条的转速。
微创手术机器人采用了较多丝传动机制，由弹性变形和传动间隙造成的反向迟滞也是造成机器人迟滞性以及影响操作精度的重要因素之一。可以通过控制器中间隙补偿算法来消除反向间隙的影响，然而精确的间隙测量是补偿的前提和基础。
反向间隙测量的原理图如图8所示，被测主手关节上的输入矩形条执行往复周期运动：首先顺时转动一定时间，接着静止一段时间和相同时间逆时针转动，最后停止一段时间。从手关节上的输出矩形条跟随主手运动执行相应的周期运动。在输入矩形条开始运动之前，被测系统需要通过预张紧来消除机械间隙和弹性形变的影响，整个测试过程被外部相机实时的记录下来。在机器人内部延时和反向间隙延时的影响下，理想的主从跟踪轨迹如图9所示。
由于系统内部延时和反向间隙造成的延时L2大于仅仅由系统内部延时造成的延时L1。在反向间隙的影响下输出矩形条的角度变化趋势并不完全重合于输入，从手的运动范围要小于主手的运动范围。在第i个往返运动周期中反向间隙di根据以下公式(6)可得：
di＝bi-ai (6)
为了减小误差，反向间隙的最终测量结果d通过多个周期求平均值获得，如下公式7所示，其中n表示往复运动的周期数：
整体系统总延时的实验测量原理图如图10、11，内窥镜对准与被测关节相对应的从手关节上的矩形条。现实场景经内窥镜捕获后在工作站中数字化并传输到LCD显示器上进行显示。图像工作站显示器上显示的内容与从手运动场景除了存在一定的滞后以外完全相同。外部相机需放在一个合适的位置，使它的视野可以同时完全覆盖主手运动过程和显示器屏幕。系统整体延时τt可以通过公式(8)获得：
图12中图(a)所示为外部单反相机获取的从手矩形条跟踪视频图像中的某一帧图像，通过图像处理技术边缘检测算法检测黑色矩形条边缘，检测结果如图12中图(b)中绿色直线所示，利用以下公式(9)计算矩形条边缘直线中每点像素与某直线距离平方和的最小值，该直线角度则为矩形条的角度值。
由于显示屏是按照从左到右从上到下的顺序逐个像素刷新的，当矩形条转动时会出现如图13中图(a)所示的情况，其边缘是由若干条错位的线段拼接而成的边缘轮廓，这将对边缘检测产生一定的影响，使其测量精度降低。虽然在静止或者低速运转的情况下，该方法依然具有较高的测量精度，但是当速度增加到一定程度，会出现图13中图(b)所示现象，黑色矩形条的两条长边不再平行，如强行以某条边为检测对象，当矩形条匀速转动时其测试的角度值不是均匀变化，转而为周期性变化。按照强行检测某条边的算法显然不合适，因此需要利用背景叠加法进一步处理。
首先通过外部相机捕获的图像中若干帧图像的背景进行叠加，如图14(a)所示。左右两个叠加后的图形分别对应从手和主手，以从手叠加后的图像为例，检测该图的圆形边缘，如图中蓝色圆圈即为检测后的边缘，得到边缘函数后，即可得到该圆的中心点坐标。然后分别对每一帧图像进行处理，如图14(b)所示，蓝色点表示检测到的圆环中心点坐标，黑色矩形框表示所捕获图像的矩形条，以蓝色点为圆心一定长为半径的圆与矩形框相交于其边缘上的两点，即图上的黑点，连接蓝色中心点与两个交点的中心点形成一条直线，该直线就可以表示矩形条的角度值，此方法可以在一定程度上减小如图13所示由于屏幕刷新造成的影响。图14(c)表示寻找与矩形框相交边缘点的算法，检测以蓝点为中心的圆上的像素值，当圆上的像素点的像素值发生突变时，即找到了矩形条边缘点。通过以上方法获得的延时测量精度与空间校准存在紧密的关系。理想的空间校准如图15(a)所示，输入和输出矩形条的坐标平面需严格平行于外部相机的观察平面，而且输入和输出矩形条末端运动轨迹在外部相机平面上的投影需要是圆形，而非椭圆。通过空间校准，输入矩形条从s0转到s1等同于输出矩形条从a0转到a1。误差分析实验如图15(b)所示，运动跟踪过程包括三个阶段：停止-运动-停止。输出矩形条的变化趋势除了存在一定的延时以外，完全等同与输入矩形条的变化趋势。图15(c)所示为输入输出矩形条的角度差(输入减输出)。当延时为恒定时，运动阶段的角度差保持恒定，且大于其在静止情况下的角度差。图中d1，d2表示初始角度差和最大角度差。
Claims (6)
1.一种微创手术机器人主从跟踪延时测试方法，其特征在于，包括以下步骤：
第一步，主从跟踪过程包括以下四个延时成分：τm、τt、τo、τa，与此同时，存在与之对应的五个状态：S0、S1、S2、S3、S4；
τm表示外科医生接触主手并开始运动直到编码器偏转角度大于编码器能够检测到的最小阈值的延时，状态S1为命令触发时刻，状态S0为外科医生接触主手的时刻；
τt是由于控制信号传输造成的传输延迟，状态S2表示从操作手控制器获得控制信号的瞬间；
τo表示数据处理的延迟，τo是当控制系统获得到可用的信号指令后，状态S2持续到状态S3的时间；
τa表示伺服系统驱动从手完成期望任务所用的时间；
第二步，搭建单关节延时测试工装；
第三步，基于所搭建的单关节延时测试工装，在关节空间坐标系下延时测试模型如下：
第四步，主手矩形条通过法兰联轴器固定在测试工装的主手的输入关节上，绕其中心做匀速转动并与主手编码器保持同步；从手矩形条安装在测试工装对应从手转动关节上；
第五步，通过外部相机记录主手矩形条和从手矩形条的方位，采用图像处理技术计算主手矩形条的偏转角度以及从手矩形条的偏转角度；
第六步，机器人采样-执行延时可以通过以下公式(5)计算得到：
公式(5)中，θd、θd0分别表示主手矩形条和从手矩形条之间当前角度差、初始角度差，vr表示主手矩形条的转速。
2.一种微创手术机器人主从跟踪延时测试方法，其特征在于，包括以下步骤：
第一步，主从跟踪过程包括以下四个延时成分：τm、τt、τo、τa，与此同时，存在与之对应的五个状态：S0、S1、S2、S3、S4；
τm表示外科医生接触主手并开始运动直到编码器偏转角度大于编码器能够检测到的最小阈值的延时，状态S1为命令触发时刻，状态S0为外科医生接触主手的时刻；
τt是由于控制信号传输造成的传输延迟，状态S2表示从操作手控制器获得控制信号的瞬间；
τo表示数据处理的延迟，τo是当控制系统获得到可用的信号指令后，状态S2持续到状态S3的时间；
τa表示伺服系统驱动从手完成期望任务所用的时间；
第二步，搭建单关节延时测试工装；
第三步，基于所搭建的单关节延时测试工装，在关节空间坐标系下延时测试模型如下：
第四步，主手矩形条通过法兰联轴器固定在测试工装的主手的输入关节上，绕其中心做匀速转动并与主手编码器保持同步；从手矩形条安装在测试工装对应从手转动关节上；
第五步，主手矩形条执行往复周期运动：首先顺时转动一定时间，接着静止一段时间和相同时间逆时针转动，最后停止一段时间；从手矩形条跟随主手运动执行相应的周期运动；整个测试过程被外部相机实时的记录下来；
第六步，从手的运动范围要小于主手的运动范围，在第i个往返运动周期中反向间隙di根据以下公式(6)可得：
di＝bi-ai (6)；
反向间隙的最终测量结果d通过多个周期求平均值获得，如下公式7所示，其中n表示往复运动的周期数：
3.根据权利要求2所述的微创手术机器人主从跟踪延时测试方法，其特征在于，在主手矩形条开始运动之前，被测系统需要通过预张紧来消除机械间隙和弹性形变的影响。
4.一种微创手术机器人主从跟踪延时测试方法，其特征在于，包括以下步骤：
第一步，主从跟踪过程包括以下四个延时成分：τm、τt、τo、τa，与此同时，存在与之对应的五个状态：S0、S1、S2、S3、S4；
τm表示外科医生接触主手并开始运动直到编码器偏转角度大于编码器能够检测到的最小阈值的延时，状态S1为命令触发时刻，状态S0为外科医生接触主手的时刻；
τt是由于控制信号传输造成的传输延迟，状态S2表示从操作手控制器获得控制信号的瞬间；
τo表示数据处理的延迟，τo是当控制系统获得到可用的信号指令后，状态S2持续到状态S3的时间；
τa表示伺服系统驱动从手完成期望任务所用的时间；
第二步，搭建单关节延时测试工装；
第三步，基于所搭建的单关节延时测试工装，在关节空间坐标系下延时测试模型如下：
第四步，主手矩形条通过法兰联轴器固定在测试工装的主手的输入关节上，绕其中心做匀速转动并与主手编码器保持同步；从手矩形条安装在测试工装对应从手转动关节上；
第五步，内窥镜对准与被测关节相对应的从手关节上的矩形条，现实场景经内窥镜捕获后在工作站中数字化并传输到LCD显示器上进行显示，外部相机需放在一个合适的位置，使它的视野可以同时完全覆盖主手运动过程和显示器屏幕；
第六步，通过外部相机记录主手矩形条和从手矩形条的方位，采用图像处理技术计算主手矩形条的偏转角度以及从手矩形条的偏转角度；
第七步，系统整体延时τt可以通过公式(8)获得：
5.根据权利要求4所述的微创手术机器人主从跟踪延时测试方法，其特征在于，从手矩形条的偏转角度通过以下方法计算：
外部相机获取的从手矩形条跟踪视频图像中的某一帧图像，通过图像处理技术边缘检测算法检测黑色矩形条边缘，利用以下公式(9)计算矩形条边缘直线中每点像素与某直线距离平方和的最小值，该直线角度则为矩形条的角度值；
6.根据权利要求5所述的微创手术机器人主从跟踪延时测试方法，其特征在于，利用背景叠加法进一步处理。首先通过外部相机捕获的图像中若干帧图像的背景进行叠加，左右两个叠加后的图形分别对应从手和主手，以从手叠加后的图像为例，检测该图的圆形边缘，得到边缘函数后，即可得到该圆的中心点坐标；然后分别对每一帧图像进行处理，蓝色点表示检测到的圆环中心点坐标，黑色矩形框表示所捕获图像的矩形条，以蓝色点为圆心一定长为半径的圆与矩形框相交于其边缘上的两点，即图上的黑点，连接蓝色中心点与两个交点的中心点形成一条直线，该直线就可以表示矩形条的角度值。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210040020.6A CN114191099B (zh) | 2022-01-14 | 2022-01-14 | 微创手术机器人主从跟踪延时测试方法 |
| PCT/CN2022/127569 WO2023134261A1 (zh) | 2022-01-14 | 2022-10-26 | 微创手术机器人主从跟踪延时测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210040020.6A CN114191099B (zh) | 2022-01-14 | 2022-01-14 | 微创手术机器人主从跟踪延时测试方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114191099A true CN114191099A (zh) | 2022-03-18 |
| CN114191099B CN114191099B (zh) | 2023-12-01 |
Family
ID=80658511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210040020.6A Active CN114191099B (zh) | 2022-01-14 | 2022-01-14 | 微创手术机器人主从跟踪延时测试方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114191099B (zh) |
| WO (1) | WO2023134261A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114848155A (zh) * | 2022-04-29 | 2022-08-05 | 电子科技大学 | 一种用于手术机器人延时测量的验证装置 |
| CN115171384A (zh) * | 2022-07-04 | 2022-10-11 | 南京四维智联科技有限公司 | 一种车载显示过程中关键车位置延迟补偿方法及装置 |
| CN115355794A (zh) * | 2022-10-20 | 2022-11-18 | 合肥合滨智能机器人有限公司 | 主端位置测试方法及主从距离准确度与重复性测试系统 |
| CN115351819A (zh) * | 2022-10-20 | 2022-11-18 | 合肥合滨智能机器人有限公司 | 远程超声机器人的主从操作时延测试系统及方法 |
| WO2023134261A1 (zh) * | 2022-01-14 | 2023-07-20 | 山东威高手术机器人有限公司 | 微创手术机器人主从跟踪延时测试方法 |
| CN117221177A (zh) * | 2023-11-08 | 2023-12-12 | 湖南省华芯医疗器械有限公司 | 图像传输延迟监测方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020156345A1 (en) * | 1999-12-22 | 2002-10-24 | Wolfgang Eppler | Method of guiding an endoscope for performing minimally invasive surgery |
| CN103536367A (zh) * | 2013-10-23 | 2014-01-29 | 沈阳工业大学 | 一种主从微创手术机器人系统及控制方法 |
| CN104440864A (zh) * | 2014-12-04 | 2015-03-25 | 深圳先进技术研究院 | 一种主从式遥操作工业机器人系统及其控制方法 |
| CN107374727A (zh) * | 2017-07-28 | 2017-11-24 | 重庆金山医疗器械有限公司 | 一种微创外科手术机器人简化运动学模型的建模方法 |
| US20180250086A1 (en) * | 2017-03-02 | 2018-09-06 | KindHeart, Inc. | Telerobotic surgery system using minimally invasive surgical tool with variable force scaling and feedback and relayed communications between remote surgeon and surgery station |
| EP3461419A1 (de) * | 2017-09-29 | 2019-04-03 | Siemens Healthcare GmbH | Ansteuerungsverfahren für ein robotisches gerät mit einer ultraschallvorrichtung und robotisches gerät |
| CN111856942A (zh) * | 2020-08-03 | 2020-10-30 | 天津理工大学 | 一种远程介入手术控制系统的时滞与误差的改进方法 |
| CN111839740A (zh) * | 2020-07-07 | 2020-10-30 | 天津大学 | 微创手术机器人主从同构式遥操作力反馈主手 |
| CN112417755A (zh) * | 2020-11-10 | 2021-02-26 | 西安工程大学 | 一种主从式手术机器人轨迹预测控制方法 |
| CN112716608A (zh) * | 2021-01-20 | 2021-04-30 | 山东威高手术机器人有限公司 | 用于微创手术机器人的主从跟踪控制方法 |
| CN113349939A (zh) * | 2021-07-12 | 2021-09-07 | 哈尔滨思哲睿智能医疗设备有限公司 | 被动主手式主从控制手术机器人的性能测试方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7453227B2 (en) * | 2005-12-20 | 2008-11-18 | Intuitive Surgical, Inc. | Medical robotic system with sliding mode control |
| CN114191099B (zh) * | 2022-01-14 | 2023-12-01 | 山东威高手术机器人有限公司 | 微创手术机器人主从跟踪延时测试方法 |
-
2022
- 2022-01-14 CN CN202210040020.6A patent/CN114191099B/zh active Active
- 2022-10-26 WO PCT/CN2022/127569 patent/WO2023134261A1/zh unknown
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020156345A1 (en) * | 1999-12-22 | 2002-10-24 | Wolfgang Eppler | Method of guiding an endoscope for performing minimally invasive surgery |
| CN103536367A (zh) * | 2013-10-23 | 2014-01-29 | 沈阳工业大学 | 一种主从微创手术机器人系统及控制方法 |
| CN104440864A (zh) * | 2014-12-04 | 2015-03-25 | 深圳先进技术研究院 | 一种主从式遥操作工业机器人系统及其控制方法 |
| US20180250086A1 (en) * | 2017-03-02 | 2018-09-06 | KindHeart, Inc. | Telerobotic surgery system using minimally invasive surgical tool with variable force scaling and feedback and relayed communications between remote surgeon and surgery station |
| CN107374727A (zh) * | 2017-07-28 | 2017-11-24 | 重庆金山医疗器械有限公司 | 一种微创外科手术机器人简化运动学模型的建模方法 |
| EP3461419A1 (de) * | 2017-09-29 | 2019-04-03 | Siemens Healthcare GmbH | Ansteuerungsverfahren für ein robotisches gerät mit einer ultraschallvorrichtung und robotisches gerät |
| CN111839740A (zh) * | 2020-07-07 | 2020-10-30 | 天津大学 | 微创手术机器人主从同构式遥操作力反馈主手 |
| CN111856942A (zh) * | 2020-08-03 | 2020-10-30 | 天津理工大学 | 一种远程介入手术控制系统的时滞与误差的改进方法 |
| CN112417755A (zh) * | 2020-11-10 | 2021-02-26 | 西安工程大学 | 一种主从式手术机器人轨迹预测控制方法 |
| CN112716608A (zh) * | 2021-01-20 | 2021-04-30 | 山东威高手术机器人有限公司 | 用于微创手术机器人的主从跟踪控制方法 |
| CN113349939A (zh) * | 2021-07-12 | 2021-09-07 | 哈尔滨思哲睿智能医疗设备有限公司 | 被动主手式主从控制手术机器人的性能测试方法及系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023134261A1 (zh) * | 2022-01-14 | 2023-07-20 | 山东威高手术机器人有限公司 | 微创手术机器人主从跟踪延时测试方法 |
| CN114848155A (zh) * | 2022-04-29 | 2022-08-05 | 电子科技大学 | 一种用于手术机器人延时测量的验证装置 |
| CN114848155B (zh) * | 2022-04-29 | 2023-04-25 | 电子科技大学 | 一种用于手术机器人延时测量的验证装置 |
| CN115171384A (zh) * | 2022-07-04 | 2022-10-11 | 南京四维智联科技有限公司 | 一种车载显示过程中关键车位置延迟补偿方法及装置 |
| CN115171384B (zh) * | 2022-07-04 | 2024-05-14 | 南京四维智联科技有限公司 | 一种车载显示过程中关键车位置延迟补偿方法及装置 |
| CN115355794A (zh) * | 2022-10-20 | 2022-11-18 | 合肥合滨智能机器人有限公司 | 主端位置测试方法及主从距离准确度与重复性测试系统 |
| CN115351819A (zh) * | 2022-10-20 | 2022-11-18 | 合肥合滨智能机器人有限公司 | 远程超声机器人的主从操作时延测试系统及方法 |
| CN115355794B (zh) * | 2022-10-20 | 2023-01-20 | 合肥合滨智能机器人有限公司 | 主端位置测试方法及主从距离准确度与重复性测试系统 |
| CN117221177A (zh) * | 2023-11-08 | 2023-12-12 | 湖南省华芯医疗器械有限公司 | 图像传输延迟监测方法及系统 |
| CN117221177B (zh) * | 2023-11-08 | 2024-01-09 | 湖南省华芯医疗器械有限公司 | 图像传输延迟监测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023134261A1 (zh) | 2023-07-20 |
| CN114191099B (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114191099A (zh) | 微创手术机器人主从跟踪延时测试方法 | |
| JP5904676B2 (ja) | マシンビジョンシステムおよびロボットの間のロバストな較正の装置および方法 | |
| EP2768637B1 (en) | Operation input device and method of initializing operation input device | |
| EP2543482B1 (en) | Information processing apparatus and information processing method | |
| US9785249B1 (en) | Systems and methods for tracking motion and gesture of heads and eyes | |
| EP2649932A1 (en) | Method for detecting point of gaze and device for detecting point of gaze | |
| Li et al. | Gaze estimation from color image based on the eye model with known head pose | |
| Richter et al. | Augmented reality predictive displays to help mitigate the effects of delayed telesurgery | |
| JP2009269110A (ja) | 組立装置 | |
| CN105319991B (zh) | 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 | |
| US10433725B2 (en) | System and method for capturing spatially and temporally coherent eye gaze and hand data during performance of a manual task | |
| Gratal et al. | Visual servoing on unknown objects | |
| Samson et al. | The agile stereo pair for active vision | |
| US10542875B2 (en) | Imaging device, endoscope apparatus, and imaging method | |
| JPS62206684A (ja) | パタ−ン投影による位置形状計測方法 | |
| WO2016194179A1 (ja) | 撮像装置、内視鏡装置及び撮像方法 | |
| WO2016194178A1 (ja) | 撮像装置、内視鏡装置及び撮像方法 | |
| Khan et al. | On the calibration of active binocular and RGBD vision systems for dual-arm robots | |
| CN116577072A (zh) | 设备的标定方法、装置、系统和存储介质 | |
| JP3855038B2 (ja) | 剛体運動測定方法、剛体運動測定装置、剛体運動測定プログラム、顎運動測定方法、顎運動測定装置および顎運動測定プログラム | |
| JPH0449943A (ja) | 眼球運動分析装置 | |
| US11941851B2 (en) | Systems and methods for calibrating imaging and spatial orientation sensors | |
| US11850730B2 (en) | Double eye tracker configuration for a robot-assisted surgical system | |
| Vicente et al. | Calibration of kinematic body sensor networks: Kinect-based gauging of data gloves “in the wild” | |
| JP2005186193A (ja) | ロボットのキャリブレーション方法および三次元位置計測方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |