CN113679472B - 一种用于自然腔道远程手术的人机协作方法及装置 - Google Patents

一种用于自然腔道远程手术的人机协作方法及装置 Download PDF

Info

Publication number
CN113679472B
CN113679472B CN202110998526.3A CN202110998526A CN113679472B CN 113679472 B CN113679472 B CN 113679472B CN 202110998526 A CN202110998526 A CN 202110998526A CN 113679472 B CN113679472 B CN 113679472B
Authority
CN
China
Prior art keywords
time
real
virtual wall
dimensional image
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110998526.3A
Other languages
English (en)
Other versions
CN113679472A (zh
Inventor
黄彦玮
张鹏
张国平
王光能
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Niuer Robot Co ltd
Original Assignee
Shenzhen Niuer Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Niuer Robot Co ltd filed Critical Shenzhen Niuer Robot Co ltd
Priority to CN202110998526.3A priority Critical patent/CN113679472B/zh
Publication of CN113679472A publication Critical patent/CN113679472A/zh
Application granted granted Critical
Publication of CN113679472B publication Critical patent/CN113679472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请实施例提供了一种用于自然腔道远程手术的人机协作方法及装置，所述方法包括，手术前通过第一检测设备首次获取的三维图像，在所述首次获取的三维图像上标注虚拟墙初始建立位置和角度，获得初始虚拟墙；通过第一检测设备实时采集手术中人体组织的实时三维图像；基于手术前首次获取的三维图像对所述实时三维图像进行处理；根据处理结果更新所述初始虚拟墙，获得实时虚拟墙；通过所述实时虚拟墙限制手术刀的安全运动边界，本申请提出的方案设计了基于图像误差空间的遥操作方法，将手术的决策和安全执行任务分离，可让医生在使用遥操作设备时只需要专注于决策问题不需要考虑安全限制问题。

Description

一种用于自然腔道远程手术的人机协作方法及装置
技术领域
本申请各实施例属于医疗技术领域，具体涉及一种用于自然腔道远程手术的人机协作方法及装置。
背景技术
膀胱息肉是最常见的早期膀胱肿瘤病征，常见于膀胱内壁，目前国内外临床上已经大量使用的治疗方法是经尿道膀胱瘤等离子电切除术。此类手术的原理是医生由尿道将切除镜插入膀胱，并通过改变电切镜的外部姿态来控制内部探头的角度和朝向。镜头在人体内部的运动边界约有30°的成角，允许医生从各个角度观察、熟悉肿瘤的特点并进行执行相应的切除操作。
然而现有的医学方法难以满足国家和人民的日益增长医疗需求，一方面，使用经尿道切除镜对医生的临床经验有很高的要求，青年医生通常需要经过多台手术的床旁观摩和若干次临床实操后才能初步掌握和熟悉实操的各个流程以及正确辨识肿瘤的病征；另一方面，有经验的泌尿科医生难以服务到边缘城市的病患，这给国家优质医疗资源的下沉产生了阻力。
针对以上问题，一种富有前景的解决思路是使用远程医疗系统，通过远程外科手术机器人实现有经验医生和缺少经验的青年医生对患者的协同治疗。远程经尿道息肉别除术是在传统经尿道息肉剂除术的基础上改良的机器人辅助手术。通过网络链路和主从架构，主手段的医生可以看到机器人在远程端回传的图像并能通过遥操作设备实时控制远程端机器人的动作。
然而目前该技术在应用层面并不完善。这是由于传统的泌尿外科手术医生通常习惯于通过力反馈来感受腔道的运动限制和控制电切镜的旋转中心以及旋转范围，而远程手术会引入一些问题：一方面，如果使用基于实时反馈控制的控制方式，我们会在闭环中引入网络链路的传输时延，这会导致力反馈信息存在比较大滞后。这种滞后会导致机器人对医生动作的延时响应，因此此类系统在实际临床手术中是不够安全的；另一方面，如果我们使用基于模型和参数识别的方式，现有的力感知系统采集和测量的力反馈信息仍不够丰富。这是因为常见的六轴力\力矩传感器的测量方式通常只面向单源的外部力矢量，对于复杂的有挤压的腔道测量结果存在多义性，因此对产生的模型的操作感会和床旁手术有一些差别。这让我们很难再单纯依靠医生的经验来保证电切镜操作的安全性。
目前中国专利CN10051435A描述了一种经尿道电切镜手术机器人系统，该系统通过医学成像手段重建了前列腺和尿道的三维位图，医生可远程基于图像的回传结构定位病灶位置，并基于病灶的位置离线规划机器人将机构插入尿道的运动轨迹。然而，此手术方法的缺陷是多方面的，一方面轨迹生成之后的执行效果依赖于系统配准的精度，另一方面专利描述的系统只能绕轴上的预设定点转动，该控制方式可能会因为组织位置的偏移导致预设转动点位置的异常，因轨迹是离线规划的，执行偏差轨迹可能导致不当运动撕裂病人组织(末端的电切镜可看做刚体且力臂很长)。具体地，当医生对病人实施手术时，因病人内脏活动是不可避免的(如当膀胱后侧壁的肿瘤被电切时，闭孔神经被电凝电流剌激会引起股内收肌收缩导致病人抽搐)，此类活动将导致系统误差增大和组织配准精度下降。因脏器偏移导致的不当运动很可能撕裂病人的临近组织，造成病人术后遗精，尿失禁等后遗症。
发明内容
本申请实施例目的在于克服上述问题或者至少部分地解决或缓减上述问题，本申请实施例可以使医生在远程端控制机器人时可以不考虑手术刀运动的安全边界，可以自适应选择手术刀的旋转中心，提高了机器人手术的安全性。
第一方面，本申请提供了一种用于自然腔道远程手术的人机协作方法，所述方法包括，
手术前通过第一检测设备首次获取的三维图像，在所述首次获取的三维图像上标注虚拟墙初始建立位置和角度，获得初始虚拟墙；
通过第一检测设备实时采集手术中人体组织的实时三维图像；
基于手术前首次获取的三维图像对所述实时三维图像进行处理；
根据处理结果更新所述初始虚拟墙，获得实时虚拟墙；
通过所述实时虚拟墙限制手术刀的安全运动边界。
作为本申请的优选实施例，所述通过第一检测设备实时采集手术中人体组织的实时三维图像之前，包括，
通过第二检测设备获取第一检测设备与人体组织接触的力反馈，以确保第一检测设备与人体组织恒力接触。
作为本申请的优选实施例，所述第一检测设备随所述实时三维图像和所述力反馈进行自主跟随移动。
作为本申请的优选实施例，所述第一检测设备随所述实时三维图像自主跟随移动是通过三维图像空间中定义第一误差实现，所述第二检测设备获取的力反馈进行自主跟随移动是通过通过定义第二误差实现。
作为本申请的优选实施例，所述基于手术前首次获取的三维图像对所述实时三维图像进行处理，包括，
将在手术中获取的实时三维图像提取所需图像；
将提取的实时三维图像与手术前首次获取的三维图像进行位置姿态配准；
在所述实时三维图像的轮廓上提取第一特征点和在首次获取的三维图像的轮廓上提取第二特征点；
基于所述第一特征在的位置对所述第二特征点的位置进行配准处理和对所述实时三维图像的轮廓进行插值处理。
作为本申请的优选实施例，所述根据处理结果更新所述初始虚拟墙，获得实时虚拟墙包括，
根据初始虚拟墙位置，在配准后的所述实时三维图像的对应位置上标注虚拟墙的插入点和垂直与虚拟墙的法线；
根据所述标注虚拟墙的插入点和垂直与虚拟墙的法线，更新所述初始虚拟墙，获得实时虚拟墙。
作为本申请的优选实施例，所述通过所述实时虚拟墙限制手术刀的安全运动边界，包括，
根据人体组织的变化情况，实时改变所述手术刀的旋转中心；
控制所述手术刀在实时虚拟墙的法线方向上移动和/或围绕所述旋转中心进行旋转，其中，所述旋转中心为所述手术刀与所述实时虚拟墙的交点。
作为本申请的优选实施例，所述人体组织为前列腺组织。
与现有技术相比，本申请实施例通过虚拟墙限制手术刀在人体组织中运动的方法，创新性地使用了基于三维超声成像的虚拟墙生成技术，限制了手术刀在平面内的平动，同时虚拟墙将随用户的体内器官运动，提高了外科手术的安全性，同时创新性地基于虚拟墙技术，设计了基于图像误差空间的遥操作方法，将手术的决策(即医生的决策，如在所述首次获取的三维图像上标注虚拟墙初始建立位置和角度)和安全执行任务(手术刀执行切除任务)分离。可让医生在使用遥操作设备时只需要专注于决策问题不需要考虑安全限制问题。
第二方面，本申请实施例提供了一种用于自然腔道远程手术的人机协作装置，所述系统包括，
标注模块，用于手术前通过第一检测设备首次获取的三维图像，在所述首次获取的三维图像上标注虚拟墙初始建立位置和角度，获得初始虚拟墙；
采集模块，用于通过第一检测设备实时采集手术中人体组织的实时三维图像；
图像处理模块，用于基于手术前首次获取的三维图像对所述实时三维图像进行处理；
更新模块，用于根据处理结果更新所述初始虚拟墙，获得实时虚拟墙；
限制模块，用于通过所述实时虚拟墙限制手术刀的安全运动边界。
作为本申请的优选实施例，所述图像处理模块具体用于，
将在手术中获取的实时三维图像提取所需图像；
将提取的实时三维图像与手术前首次获取的三维图像进行位置姿态配准；
在所述实时三维图像的轮廓上提取的第一特征点和在并将首次获取的三维图像的轮廓上提取的第二特征点；
基于所述第一特征在的位置对所述第二特征点的位置进行配准处理和对所述实时三维图像的轮廓进行插值处理。
与现有技术相比，本申请第二方面提供实施例的有益效果与上述任一项技术方案的有益效果相同，在此不再赘述。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分，本领域技术人员应该理解的是，这些附图未必是按比例绘制的，在附图中：
图1为本申请一具体实施例中一种用于自然腔道远程手术的人机协作方法的流程图；
图2为本申请一具体实施例中旋转屏幕和旋转中心的结构示意图；
图3为本申请一具体实施例中提供的第一检测设备成像结构示意图；
图4为本申请一具体实施例三维图像处理过程示意图；
图5为本申请一具体实施例电切镜坐标系结构示意图；
图6为本申请一具体实施例一种用于自然腔道远程手术的人机协作装置。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
在本申请的实施例中，人体组织可以为泌尿系统。
如图1所示，本申请实施例提供了一种用于自然腔道远程手术的人机协作方法，所述方法包括，
步骤S11，手术前通过第一检测设备首次获取的三维图像，在所述首次获取的三维图像上标注虚拟墙初始建立位置和角度，获得初始虚拟墙；
需要说明的是，在手术前，远程端医生协助主手端医生对系统进行一定的初始化处理，初始化包括以下环节和步骤，首先，初始化远程端安全系统。该环节中，远程端医生在柱状三维超声表面涂抹超声凝胶，经直肠找到人体前列腺器官，并用4％葡萄糖作为冲洗液充盈尿道，并通过直肠对前列腺进行三维成像，主手端医生可通过对远程传回的三维超声图像得到各个角度的三维切片，如图2所示，从尿道的轴向切面中标注虚拟墙25的初始建立位置和角度21(通常虚拟墙的建立位置在膀胱的入口处附近，以前列腺22的窦口作为电切镜23的旋转中心24)，同时医生通过标注软件对图像中前列腺器官的边缘进行标注。主手端医生确认完成虚拟墙的初始位置选择之后，远程端医生协助主手端医生润滑尿道并经病人尿道插入电切镜，并保证电切镜末端进入膀胱，之后远程端医生开启视频和通讯后初始化流程结束。
步骤S12，通过第一检测设备实时采集手术中人体组织的实时三维图像；
通过步骤S12以便后边基于虚拟墙技术设计了基于图像误差空间的遥操作方法，将手术的决策和安全执行任务分离，可让医生在使用遥操作设备时只需要专注于决策问题不需要考虑安全限制问题。
步骤S12，包括，所述通过第一检测设备实时采集手术中人体组织的实时三维图像之前，包括，
通过第二检测设备获取第一检测设备与人体组织接触的力反馈，以确保第一检测设备与人体组织恒力接触。
步骤S12还包括，所述第一检测设备随所述实时三维图像和所述力反馈进行自主跟随移动。
其中，所述第一检测设备随所述实时三维图像自主跟随移动是通过三维图像空间中定义第一误差实现，所述第二检测设备获取的力反馈进行自主跟随移动是通过通过定义第二误差实现。
在本申请实施例中，检测设备随所述实时三维图像和所述力反馈进行自主跟随移动，所述第一检测设备随所述实时三维图像自主跟随移动是通过三维图像空间中定义第一误差实现，所述第二检测设备获取的力反馈进行自主跟随移动是通过通过定义第二误差实现。
在本申请实施例中，经直肠前列腺的超声成像对三维超声第一检测设备的朝向和成像手法都有一定的要求，在本申请实施例中，第一检测设备可以为探头，具体的，探头末端的超声阵列需要保持和人体组织有一定的接触力才能确保探头和人体的紧密贴合，从而保证成像质量的稳定，在本申请我们通过力传感器提供给的力反馈来保持超声探头和人体组织的恒力接触，同时通过跟随算法保持目标始终停留在探头的声窗图像中。
在本系统中，以上的控制目标是通过一个力位混合控制器来实现的。在力位混合控制器中，探头对图像的跟随运动是通过在图像空间中的定义的误差ex对力的跟随是通过定义力误差ef实现。如图3所示，其中，图中标号虚拟墙31，虚拟墙法线32，定义Timg该坐标用于表示超声图像体素33，同时我们定义Tforce为机器人力传感器的测量的坐标系，Tuser为用户坐标。在该模型中，用户坐标和超声探头有相对固定位嚣的坐标系，为方便计算，任务坐标系的原点通常选择在医生操作的超声探头的旋转轴上，Tuser一轴的朝向通常选定为和旋转轴平行，通过机器人运动学对测量空间中的误差都转移到任务坐标系中表示，假设转移后的图像空间的位置误差和力误差分别为ex和ef，可知关节空间中的速度为
Figure BDA0003234703650000081
和
Figure BDA0003234703650000082
分别为：
Figure BDA0003234703650000083
Figure BDA0003234703650000084
其中，J是机器人的雅可比矩阵。ex是关节冗余空间的任意速度矢量。 (SJ)+表示机器人雅克比的伪逆矩阵，其中.S是选择矩阵用于实现正交的力位混合运动，其对角线上的元素会被选择1，如果该对应的自由度被选择响应的话(否则为0)，S＇是相应力误差ef的选择矩阵，在当前经直肠前列腺的机器人任务中，S＇中对应的x轴对应的自由度被选择为1，这使得机器人的姿态能够在外力拖动下改变姿态，从而使得直肠探头34能够适应直肠的内部形状，S绕y方向旋转的自由度被选择为1，使得机器人能够通过绕用户坐标系y轴旋转自主消除图像空间的误差，另外，其他平移和旋转的自由度在本任务中不响应运动，因怀.此S和S＇矩阵中自由度被设置为0。
步骤S13，基于手术前首次获取的三维图像对所述实时三维图像进行处理；
在本申请实施例中，手术开始之前医生需要先预采集—组三维超声图像，该组图像通过分割后将远程传输给主手端的医生进行标注。医生标注期望的电切镜旋转中心位置和虚拟墙的朝向，之后该标注图像包括标注信息被传回从手端，手术开始时，医生通过三维超声探头实时获取病人体内的超声图像，采集的实时三维超声图像经过图像分割后将和与采集的超声图像的结果进行配准，配准的思路和常规的配准算法相似首先从图像的轮廓上提取特征并定义特征间的误差并通过扰、动特征的空间齐次矩阵通过优化的方法迭代得到图像位置和姿态的配准结果完成姿态配准后，我们通过对每一个特征点的形变位置作进一步的配准以达到提取轮廓的匹配，
步骤S14，根据处理结果更新所述初始虚拟墙，获得实时虚拟墙；
步骤S14包括，
根据初始虚拟墙位置，在配准后的所述实时三维图像的对应位置上标注虚拟墙的插入点和垂直与虚拟墙的法线；
根据所述标注虚拟墙的插入点和垂直与虚拟墙的法线，更新所述初始虚拟墙，获得实时虚拟墙。
在本申请实施例中，完成配准工作后我们对配准结果作以下两步操作：第一类是视觉展示我们对轮廓进行插值以求达到更加细腻的视觉展示效果算法的输出是形状和预采样图像一致但纹理随超声探头运动会有实时变化的三维超声体素第二类是切平面位置的更新预采集 的三维超声图像中医生的标注矢量会先表达为图像坐标系原点到特征点的矢量的线性组合之后我们再将组合关系应用到实时采集的三维图像中通过确定虚拟墙平面上的一点和一个垂直与虚拟墙的法线我们可以唯一地确定一个虚拟墙的位置。
前列腺内部的特征点的平均重复定位约为1.2mm，标准差约为1.1mm 假设前列腺的直径为3cm,我们可以推测虚拟墙法线的平均误差角为2.3 度以内，标准差可控制在2度以内假设电切镜的插入位置偏离医生标定寺1cm，按照虚拟平面与电切镜的实际交点作为电切镜的旋转中心我们可以按照3倍标准差的概率公式进行推测，认为切电镜有小于3％的概率实际旋转中心会因为匹配精度的误差产生大于1.67mm的偏移。
步骤S15，通过所述实时虚拟墙限制手术刀的安全运动边界。
步骤S15包括，根据人体组织的变化情况，实时改变所述手术刀的旋转中心；
控制所述手术刀在实时虚拟墙的法线方向上移动和/或围绕所述旋转中心进行旋转，其中，所述旋转中心为所述手术刀与所述实时虚拟墙的交点。
在本申请实施例中，手术刀的运动在虚拟平面的限制下只允许产生垂直于虚拟平面的进动和围绕旋转点的转动，本申请通过在电切镜上建立工具坐标系，并通过对雅克比矩阵中的对应维度运动的行向量置零得到受限空间的雅克比矩阵，受限空间雅克比矩阵表征机器人关节空间速度到受限空间速度的映射关系，在本申请中如果人体组织为泌尿系统，则手术刀可以为电切镜。
如图5所示，给定医生标注的虚拟墙54的上的标志点51pvir和过标志点的垂直法线52nvir，可唯一定义一个虚拟墙，假设电切镜的针头可看作无体积的直线，直线与平面的交点记为pcos，则虚拟墙内过交点pcos的坐标系记为pcro，假设医生主手端传回的速度为ξdoc，则映射后电切镜工具坐标系55Tcut中有等效的运动速度ξcut，则电切镜为刚体，则映射得到的交点53处的运动速度为：
ξcut＝ξdoc
Figure BDA0003234703650000101
限制接触点在x，y平面内的移动，因此
ξ′cro＝Schoξcro
Figure BDA0003234703650000102
式中Scho是—个对焦矩阵表示运动自由度的选择矩阵.其中对x和y 自由度对应的矩阵对角元素设置为0，其他的对角元素我们设置为1。因此对于医生主手速度到电切镜末端速度的转移矩阵可表示为：
Figure BDA0003234703650000103
其中，
Figure BDA0003234703650000104
本申请实施例，设计了基于图像误差空间的遥操作方法，将手术的决策和安全执行任务分离，让医生在使用遥操作设备时只需要专注于决策问题不需要考虑安全限制问题，解决了现有技术中由于传统的泌尿外科手术医生通常习惯于通过力反馈来感受腔道的运动限制和控制电切镜的旋转中心以及旋转范围存在的问题，同时操作的方式也更符合传统医生的操作思路，医生不需要付出额外的学习成本即可掌握，也有利千青年医生对手术操作的学习。
同时使用了基于三维超声成像的虚拟平面生成技术，限制了手术刀在平面内的平动，同时虚拟墙将随用户的体内器官随动，提高了泌尿外科手术的安全性。
创新性地基于虚拟墙技术，设计了基于图像误差空间的遥操作方法，将手术的决策和安全执行任务分离。可让医生在使用遥操作设备时只需要专注于决策问题不需要考虑安全限制问题。
第二方面，如图6所示，本申请实施例还提供了一种用于自然腔道远程手术的人机协作装置，其特征在于，所述系统包括，
标注模块61，用于手术前通过第一检测设备首次获取的三维图像，在所述首次获取的三维图像上标注虚拟墙初始建立位置和角度，获得初始虚拟墙；
采集模块62，用于通过第一检测设备实时采集手术中人体组织的实时三维图像；
图像处理模块63，用于基于手术前首次获取的三维图像对所述实时三维图像进行处理；
更新模块64，用于根据处理结果更新所述初始虚拟墙，获得实时虚拟墙；
限制模块65，用于通过所述实时虚拟墙限制手术刀的安全运动边界。
所述图像处理模块具体用于，
将在手术中获取的实时三维图像提取所需图像；
将提取的实时三维图像与手术前首次获取的三维图像进行位置姿态配准；
在所述实时三维图像的轮廓上提取第一特征点和在首次获取的三维图像的轮廓上提取第二特征点；
基于所述第一特征在的位置对所述第二特征点的位置进行配准处理和对所述实时三维图像的轮廓进行插值处理。
与现有技术相比，本申请第三方面提供实施例的有益效果与上述任一项技术方案的有益效果相同，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (4)

1.一种用于自然腔道远程手术的人机协作装置，其特征在于，所述装置包括，
标注模块，用于手术前通过第一检测设备首次获取的三维图像，在所述首次获取的三维图像上标注虚拟墙初始建立位置和角度，获得初始虚拟墙；
采集模块，用于通过第一检测设备实时采集手术中人体组织的实时三维图像；
图像处理模块，用于将在手术中获取的实时三维图像提取所需图像；
将提取的实时三维图像与手术前首次获取的三维图像进行位置姿态配准；在所述实时三维图像的轮廓上提取的第一特征点和在首次获取的三维图像的轮廓上提取的第二特征点；基于所述第一特征在的位置对所述第二特征点的位置进行配准处理，并对所述实时三维图像的轮廓进行插值处理；
更新模块，用于根据处理结果更新所述初始虚拟墙，获得实时虚拟墙；
限制模块，用于通过所述实时虚拟墙限制手术刀的安全运动边界；
所述更新模块，具体用于根据初始虚拟墙位置，在配准后的所述实时三维图像的对应位置上标注虚拟墙的插入点和垂直与虚拟墙的法线；根据所述标注虚拟墙的插入点和垂直与虚拟墙的法线，更新所述初始虚拟墙，获得实时虚拟墙；
所述限制模块，具体用于根据人体组织的变化情况，实时改变所述手术刀的旋转中心；控制所述手术刀在实时虚拟墙的法线方向上移动和/或围绕所述旋转中心进行旋转，其中，所述旋转中心为所述手术刀与所述实时虚拟墙的交点。
2.如权利要求1所述的一种用于自然腔道远程手术的人机协作装置，其特征在于，通过第二检测设备获取第一检测设备与人体组织接触的力反馈，以确保第一检测设备与人体组织恒力接触；
所述第一检测设备随所述实时三维图像和所述力反馈进行自主跟随移动。
3.如权利要求2所述的一种用于自然腔道远程手术的人机协作装置，其特征在于，所述第一检测设备随所述实时三维图像自主跟随移动是通过三维图像空间中定义第一误差实现，所述第二检测设备获取的力反馈进行自主跟随移动是通过定义第二误差实现。
4.如权利要求1至3任一项所述的一种用于自然腔道远程手术的人机协作装置，其特征在于，所述人体组织为前列腺组织。
CN202110998526.3A 2021-08-27 2021-08-27 一种用于自然腔道远程手术的人机协作方法及装置 Active CN113679472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110998526.3A CN113679472B (zh) 2021-08-27 2021-08-27 一种用于自然腔道远程手术的人机协作方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110998526.3A CN113679472B (zh) 2021-08-27 2021-08-27 一种用于自然腔道远程手术的人机协作方法及装置

Publications (2)

Publication Number Publication Date
CN113679472A CN113679472A (zh) 2021-11-23
CN113679472B true CN113679472B (zh) 2022-11-01

Family

ID=78583570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110998526.3A Active CN113679472B (zh) 2021-08-27 2021-08-27 一种用于自然腔道远程手术的人机协作方法及装置

Country Status (1)

Country Link
CN (1) CN113679472B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116473678B (zh) * 2023-06-21 2023-09-29 杭州键嘉医疗科技股份有限公司 一种虚拟墙引导末端执行器移动的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5820559A (en) * 1997-03-20 1998-10-13 Ng; Wan Sing Computerized boundary estimation in medical images
CN102512246A (zh) * 2011-12-22 2012-06-27 中国科学院深圳先进技术研究院 手术导航系统及方法
CN109512509A (zh) * 2018-12-27 2019-03-26 中国科学院深圳先进技术研究院 一种机器人的柔顺控制方法、装置及设备
CN110325093A (zh) * 2017-02-28 2019-10-11 索尼公司 医疗用臂系统、控制装置与控制方法
CN113143466A (zh) * 2021-05-31 2021-07-23 上海阅行医疗科技有限公司 一种基于一体化手术机器人的术中规划调整方法及系统
US11096753B1 (en) * 2020-06-26 2021-08-24 Procept Biorobotics Corporation Systems and methods for defining and modifying range of motion of probe used in patient treatment

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11071594B2 (en) * 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
WO2019159090A1 (en) * 2018-02-14 2019-08-22 Navix International Limited Systems and methods for automated guidance of treatment of an organ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5820559A (en) * 1997-03-20 1998-10-13 Ng; Wan Sing Computerized boundary estimation in medical images
CN102512246A (zh) * 2011-12-22 2012-06-27 中国科学院深圳先进技术研究院 手术导航系统及方法
CN110325093A (zh) * 2017-02-28 2019-10-11 索尼公司 医疗用臂系统、控制装置与控制方法
CN109512509A (zh) * 2018-12-27 2019-03-26 中国科学院深圳先进技术研究院 一种机器人的柔顺控制方法、装置及设备
US11096753B1 (en) * 2020-06-26 2021-08-24 Procept Biorobotics Corporation Systems and methods for defining and modifying range of motion of probe used in patient treatment
CN113143466A (zh) * 2021-05-31 2021-07-23 上海阅行医疗科技有限公司 一种基于一体化手术机器人的术中规划调整方法及系统

Also Published As

Publication number Publication date
CN113679472A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
EP4265213A1 (en) Navigation and positioning system and method for joint replacement surgery robot
Taylor et al. Medical robotics and computer-integrated surgery
JP7094727B2 (ja) カテーテルアブレーション治療中の視野角の自動追跡及び調節
EP2442744B1 (en) Virtual measurement tool for minimally invasive surgery
US9492240B2 (en) Virtual measurement tool for minimally invasive surgery
US20220401000A1 (en) Neural locating method
US9956042B2 (en) Systems and methods for robot-assisted transurethral exploration and intervention
CN113180828B (zh) 基于旋量理论的手术机器人约束运动控制方法
CN113679472B (zh) 一种用于自然腔道远程手术的人机协作方法及装置
Li Intelligent robotic surgical assistance for sinus surgery
WO2022100480A1 (zh) 手术机器人末端位置和姿态的控制方法及手术机器人控制方法
CN117323019A (zh) 一种用于泌尿系穿刺手术的三操作臂机器人系统
Yasin et al. Evaluation of hybrid control and palpation assistance for situational awareness in telemanipulated task execution
Bihlmaier et al. Endoscope robots and automated camera guidance
Zhang et al. Summary of medical robot technology development
CN115281802B (zh) 穿刺装置的控制方法、设备及系统
Premachandra et al. Design and development of a robotic uterine manipulator for gynecological laparoscopy
WO2022240790A1 (en) Medical instrument guidance systems and associated methods
Azimi et al. Teleoperative control of intraocular robotic snake: Vision-based angular calibration
Chi Context-aware learning for robot-assisted endovascular catheterization
US20240070875A1 (en) Systems and methods for tracking objects crossing body wallfor operations associated with a computer-assisted system
Zeng et al. Approach and control for robot assisted sinus surgery
JP7493528B2 (ja) エンドエフェクタのフィードバック連続配置制御
US20220323157A1 (en) System and method related to registration for a medical procedure
Costa et al. Robotic Ultrasound-Guided Instrument Localization in Fetoscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220915

Address after: 518100 workshop 601, building 3, Zhizao Central Park, No. 12 Chongqing Road, Heping community, Fuhai street, Bao'an District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Niuer robot Co.,Ltd.

Address before: 518000 workshop 601, building 3, Zhizao Center Park, No. 12, Chongqing Road, Heping community, Fuhai street, Bao'an District, Shenzhen, Guangdong

Applicant before: Shenzhen Dazu robot Co.,Ltd.

GR01 Patent grant
GR01 Patent grant