CN116224829B - 基于数字孪生的手术机器人穿刺取样手术半实物仿真方法 - Google Patents

Abstract

本发明适用于手术机器人技术领域，尤其涉及一种基于数字孪生的手术机器人穿刺取样手术半实物仿真方法，所述方法包括以下步骤：S1、基于数字孪生技术，构建穿刺取样手术环境的数字孪生体模型；S2、基于所述数字孪生体模型构建半实物仿真测试平台，并建立所述半实物仿真测试平台与手术机器人控制系统的通讯连接；S3、通过所述手术机器人控制系统进行控制，在所述半实物仿真测试平台进行穿刺取样手术的半实物仿真。本发明通过引入数字孪生技术建立的虚拟测试环境，能够快速地、安全地、可重复地、高精度地获取不同情况下的穿刺测试数据，且通过多个不同的测试项，测试手术机器人系统的安全性和有效性。

Description

基于数字孪生的手术机器人穿刺取样手术半实物仿真方法

技术领域

本发明适用于手术机器人技术领域，尤其涉及一种基于数字孪生的手术机器人穿刺取样手术半实物仿真方法。

背景技术

随着机器人技术的不断发展，机器人的应用进一步推动了医疗技术进步，在全球医疗机器人市场中，手术机器人份额占比达到60％以上，是技术含量最高、市场需求量最大的产品类型。穿刺手术机器人是手术机器人的一种，是通过MRI、超声、CT等成像技术将目标解剖定位，引导反馈针头达到目标解剖结构，辅助完成穿刺手术的机器人。与传统的医生手动穿刺相比，穿刺手术机器人具有稳定性与精确度更高的优点。穿刺手术机器人具有诊断与治疗作用，可实现活检、引流、消融、植入等功能，在诊断方面，穿刺手术机器人可穿刺肺、肝、肾、乳腺、前列腺、胰腺、脊椎等器官，在影像技术协助下到达目标解剖结构，取出目标组织样本，进行病理检查；在治疗方面，穿刺手术机器人可用于肾结石手术、肿瘤消融手术、放射粒子植入治疗癌症手术等方面。

手术机器人穿刺取样应用主要包含以下结构：扫描建模设备(CT、MRI)、带控制器的手术机器人、带力传感器的末端穿刺取样器械、患者位置标定相机。术前，通过CT、MRI等成像设备采集患者病灶部位图像，医生据此分离病灶部位边界，规划手术路径，避开重要血管、神经等组织，给出靶点区域，并根据软件算法，完成患者注册，对患者坐标系、图像坐标系、机械臂坐标系进行标定；术中，机械臂按照医师规划路径以规划入针姿态到达规划入针点，医师可根据跟踪装置实时获取器械进入人体的状态信息。

手术机器人作为三类医疗器械产品，对其进行注册管理，在产品全生命周期中必须考虑其对患者、医师及预期使用医疗环境造成的潜在危害，严格管控器械安全性和有效性。目前穿刺手术机器人获取测试数据，主要是通过实物穿刺测试，即穿刺生物组织或进行活体穿刺实验，虽然通过这种途径获取的数据具有更高的可信度，但是仍存在以下不可避免的缺点：

一、实物穿刺测试的准备时长较长，成本较高，且可重复利用性差，模拟效率低，难以快速得出大量测试数据；

二、实物穿刺测试获取穿刺数据的便利性较差，对测试人员的操作要求较高，操作不当的话容易出现脏数据；

三、实物穿刺测试的危险性较高，容易出现安全风险。

综上所述，现有技术缺乏快速的、安全的、可重复的、高精度的穿刺测试数据获取方法，以及有效验证手术机器人系统的安全性和有效性的方法。

发明内容

本发明提供一种基于数字孪生的手术机器人穿刺取样手术半实物仿真方法，旨在解决现有技术对于穿刺测试数据获取难度较高的技术问题。

具体的，本发明实施例提供一种基于数字孪生的手术机器人穿刺取样手术半实物仿真方法，所述方法包括以下步骤：

S1、基于数字孪生技术，构建穿刺取样手术环境的数字孪生体模型；

S2、基于所述数字孪生体模型构建半实物仿真测试平台，并建立所述半实物仿真测试平台与手术机器人控制系统的通讯连接；

S3、通过所述手术机器人控制系统进行控制，在所述半实物仿真测试平台进行穿刺取样手术的半实物仿真。

更进一步地，步骤S1包括以下子步骤：

S11、根据所述穿刺取样手术环境中的环境元素的位置和形状，使用三维建模软件分别进行独立建模；

S12、将所述穿刺取样手术环境中的所述环境元素的建模按照运动关联关系进行封装，得到所述数字孪生体模型。

更进一步地，所述环境元素包括手术机器人、人体、标定相机。

更进一步地，步骤S2中的所述半实物仿真测试平台，包括：

显示层，用于为半实物仿真提供观看与操作交互画面；

仿真层，用于连接所述数字孪生体模型；

业务层，用于根据所述手术机器人控制系统的指令控制所述数字孪生体模型中所述环境元素的运动状态；

数据层，用于在所述手术机器人控制系统与所述半实物仿真测试平台之间实现数据通讯。

更进一步地，步骤S3包括以下子步骤：

S31、通过所述半实物仿真测试平台发送所述数字孪生体模型的配置数据至所述手术机器人控制系统；

S32、在所述手术机器人控制系统中，根据所述配置数据设置穿刺取样手术的仿真参数及目标病灶点，并开始半实物仿真的仿真流程；

S33、通过手术机器人控制系统将所述仿真参数发送至所述半实物仿真测试平台；

S34、所述半实物仿真测试平台根据所述仿真参数控制所述数字孪生体模型中的所述环境元素的运动状态，并获取其位姿状态反馈给所述手术机器人控制系统；

S35、判断所述位姿状态是否到达所述目标病灶点，若否，返回步骤S33；若是，执行步骤S36；

S36、根据所述位姿状态生成所述穿刺取样手术的测试结果，完成所述半实物仿真的流程。

更进一步地，所述测试结果包括精准性测试结果、安全性测试结果和可靠性测试结果，其中：

所述精准性测试结果用于反馈所述位姿状态在接近所述目标病灶点时的穿刺速度，以判定所述手术机器人控制系统的精准性；

所述安全性测试结果用于反馈所述手术机器人控制系统是否具有预案措施；

所述可靠性测试结果用于反馈步骤S35中所述位姿状态未到达所述目标病灶点的概率。

本发明所达到的有益效果，在于提出了一种基于数字孪生的手术机器人穿刺取样手术半实物仿真方法，通过引入数字孪生技术建立的虚拟测试环境，能够快速地、安全地、可重复地、高精度地获取不同情况下的穿刺测试数据，且通过多个不同的测试项，测试手术机器人系统的安全性和有效性，本发明在很大程度上解决了上述实物穿刺测试的问题，在大大加速穿刺手术机器人系统开发进度推进的同时，也极大的降低了对患者潜在的危害与风险。

附图说明

图1是本发明实施例提供的基于数字孪生的手术机器人穿刺取样手术半实物仿真方法的步骤流程示意图；

图2是本发明实施例提供的半实物仿真测试平台中显示层的示意图；

图3是本发明实施例提供的基于数字孪生的手术机器人穿刺取样手术半实物仿真方法中的步骤S3的子流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参照图1，图1是本发明实施例提供的基于数字孪生的手术机器人穿刺取样手术半实物仿真方法的步骤流程示意图，所述方法包括以下步骤：

S1、基于数字孪生技术，构建穿刺取样手术环境的数字孪生体模型。

更进一步地，步骤S1包括以下子步骤：

S11、根据所述穿刺取样手术环境中的环境元素的位置和形状，使用三维建模软件分别进行独立建模。

在本发明实施例中，根据手术机器人穿刺取样应用常见场景，可以使用SolidWorks、Unigraphics NX、3D Studio Max等三维建模软件，建立穿刺取样手术环境的高精度模型。

更进一步地，所述环境元素包括手术机器人、人体、标定相机。同时，根据手术环境的不同，也可以包含其他的环境元素。

S12、将所述穿刺取样手术环境中的所述环境元素的建模按照运动关联关系进行封装，得到所述数字孪生体模型。

具体的，在封装时，需要根据对应实物的机械运动、物理受力、生物医学方面的机理，构建虚拟机理模型，以完全模拟手术过程中机器人、传感器的受力情况，以及人体与器官的力、位置、姿态、形变情况。例如，对于手术机器人，其多为带力控的协作机器人，因此手术机器人的运动关联关系应包括机器人的运动学、动力学、关节力矩传感器、末端穿刺传感器等关键机理；对于人体，应包括位姿变化、大小变化、形状变化等关键机理，其中，人体模型还应包括呼吸模拟等生物学机理，对于标定相机，应包括深度感知、数据定时上报等机理。

S2、基于所述数字孪生体模型构建半实物仿真测试平台，并建立所述半实物仿真测试平台与手术机器人控制系统的通讯连接。

更进一步地，步骤S2中的所述半实物仿真测试平台，包括：

显示层，用于为半实物仿真提供观看与操作交互画面；

仿真层，用于连接所述数字孪生体模型；

业务层，用于根据所述手术机器人控制系统的指令控制所述数字孪生体模型中所述环境元素的运动状态；

数据层，用于在所述手术机器人控制系统与所述半实物仿真测试平台之间实现数据通讯。

作为一种实施示例，请参照图2，图2是本发明实施例提供的半实物仿真测试平台中显示层的示意图，显示层包括前端UI界面和三维渲染引擎，前端UI界面负责测试项与测试数据的配置及展示，可以使用Java、Html5、JavaScript等语言编写，三维渲染引擎负责渲染手术环境三维场景画面，以及与场景的交互操作，可以使用Unreal Engine、JMonkeyEngine、Unity 3D、threes.js等成熟三维渲染引擎，减少测试平台开发工作。

仿真层为手术环境数字孪生体中各元素的机理模型，即所述数字孪生体模型，在实际实现时，包括但不限于手术机器人、人体模型、标定相机等机理模型。

业务层在实现时，基于上述编程语言，可以拆分为模型运动模块、物理引擎模块、通讯模块、前端UI界面服务器模块、前端时间处理模块、测试报表导出模块等。其中，模型运动模块负责三维场景内模型的直线、曲线、旋转等基础运动的插补，用于精确控制模型运动；物理引擎模块负责三维场景内模型物理属性的计算以及模型间的碰撞干涉检测；通讯模块负责建立与手术机器人控制系统的通讯，包括通讯协议定义、通讯服务器、数据收发接口定义等，使测试平台可以接收手术机器人控制系统下发的指令以及向控制系统上传相应数据；前端UI界面服务器模块负责启动轻量化服务器，用于加载前端UI界面；前端事件处理模块负责前端按钮触发事件的响应，以及相应测试数据的推送显示；测试报表导出模块负责将最终测试结果及相关数据导出为pdf格式文档。

数据层可以包括数据收发模块、数据处理模块、变量读写模块。其中，数据收发模块负责通过独立的通讯模块接收手术机器人控制系统的指令或向控制系统发送相关数据；数据处理模块负责解析接收到的指令，或编码相关测试数据发送至控制系统；变量读写模块负责将数据写入模型相关变量中，或读取模型相关变量。

S3、通过所述手术机器人控制系统进行控制，在所述半实物仿真测试平台进行穿刺取样手术的半实物仿真。

更进一步地，请参照图3，图3是本发明实施例提供的基于数字孪生的手术机器人穿刺取样手术半实物仿真方法中的步骤S3的子流程示意图，步骤S3包括以下子步骤：

S31、通过所述半实物仿真测试平台发送所述数字孪生体模型的配置数据至所述手术机器人控制系统；

S32、在所述手术机器人控制系统中，根据所述配置数据设置穿刺取样手术的仿真参数及目标病灶点，并开始半实物仿真的仿真流程；

S33、通过手术机器人控制系统将所述仿真参数发送至所述半实物仿真测试平台；

S34、所述半实物仿真测试平台根据所述仿真参数控制所述数字孪生体模型中的所述环境元素的运动状态，并获取其位姿状态反馈给所述手术机器人控制系统；

S35、判断所述位姿状态是否到达所述目标病灶点，若否，返回步骤S33；若是，执行步骤S36；

S36、根据所述位姿状态生成所述穿刺取样手术的测试结果，完成所述半实物仿真的流程。

示例性的，在一种典型的使用场景中，开始测试前，需要用户在测试平台上配置好病灶器官、病灶点位姿，配置人体模型位姿、器官形状编号及位姿等相关的仿真参数。开始测试后，测试平台将包含上述配置数据的信息发送至手术机器人控制系统，控制系统根据数据设置好术前人体模型，并计算穿刺路径，开始穿刺作业。在穿刺作业过程中，控制系统需要以一定频率不断向测试平台发送手术机器人目标位姿，测试平台将手术机器人运动到位后，将手术机器人当前位姿发回给控制系统，当控制系统判断当前机器人已到达病灶点后，手术机器人停止运动，穿刺手术结束。测试平台需要判断手术机器人是否到达预先设置的病灶点，并判断穿刺路径是否与骨骼或其他器官发生干涉，并最终输出测试报告。

更进一步地，所述测试结果包括精准性测试结果、安全性测试结果和可靠性测试结果，其中：

所述精准性测试结果用于反馈所述位姿状态在接近所述目标病灶点时的穿刺速度，以判定所述手术机器人控制系统的精准性，具体实现时，在穿刺手术半实物仿真测试过程中，不断利用射线检测当前与穿刺针模型发生干涉的组织模型，根据发生干涉的组织模型对应的机理模型，得出安全穿刺力对应的安全穿刺速度阈值，判断当前穿刺速度是否超出阈值，若超出则记录相应数据；

所述安全性测试结果用于反馈所述手术机器人控制系统是否具有预案措施，具体实现时，在穿刺手术半实物仿真测试过程中，对手术环境做出部分修改扰动，由测试平台判断控制系统是否有正确做出响应措施，扰动包括位置标定相机数据丢失、机器人错误运动、机器人关节力矩超出安全阈值、病灶点及器官出现变动等；

所述可靠性测试结果用于反馈步骤S35中所述位姿状态未到达所述目标病灶点的概率，具体实现时，等待手术机器人穿刺取样完成后，记录穿刺不成功手术的具体数据，循环执行直至手术次数达到预设值，结束测试，并输出测试报告。

本发明所达到的有益效果，在于提出了一种基于数字孪生的手术机器人穿刺取样手术半实物仿真方法，通过引入数字孪生技术建立的虚拟测试环境，能够快速地、安全地、可重复地、高精度地获取不同情况下的穿刺测试数据，且通过多个不同的测试项，测试手术机器人系统的安全性和有效性，本发明在很大程度上解决了上述实物穿刺测试的问题，在大大加速穿刺手术机器人系统开发进度推进的同时，也极大的降低了对患者潜在的危害与风险。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，所揭露的仅为本发明较佳实施例而已，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式用等同变化，均属于本发明的保护之内。

Claims (4)

1.一种基于数字孪生的手术机器人穿刺取样手术半实物仿真方法，其特征在于，所述方法包括以下步骤：

S1、基于数字孪生技术，构建穿刺取样手术环境的数字孪生体模型；步骤S1包括以下子步骤：

S11、根据所述穿刺取样手术环境中的环境元素的位置和形状，使用三维建模软件分别进行独立建模；

S12、将所述穿刺取样手术环境中的所述环境元素的建模按照运动关联关系进行封装，得到所述数字孪生体模型；

S2、基于所述数字孪生体模型构建半实物仿真测试平台，并建立所述半实物仿真测试平台与手术机器人控制系统的通讯连接；

S3、通过所述手术机器人控制系统进行控制，在所述半实物仿真测试平台进行穿刺取样手术的半实物仿真；步骤S3包括以下子步骤：

S31、通过所述半实物仿真测试平台发送所述数字孪生体模型的配置数据至所述手术机器人控制系统；

S32、在所述手术机器人控制系统中，根据所述配置数据设置穿刺取样手术的仿真参数及目标病灶点，并开始半实物仿真的仿真流程；

S33、通过手术机器人控制系统将所述仿真参数发送至所述半实物仿真测试平台；

S34、所述半实物仿真测试平台根据所述仿真参数控制所述数字孪生体模型中的所述环境元素的运动状态，并获取其位姿状态反馈给所述手术机器人控制系统；

S35、判断所述位姿状态是否到达所述目标病灶点，若否，返回步骤S33；若是，执行步骤S36；

S36、根据所述位姿状态生成所述穿刺取样手术的测试结果，完成所述半实物仿真的流程。

2.如权利要求1所述的基于数字孪生的手术机器人穿刺取样手术半实物仿真方法，其特征在于，所述环境元素包括手术机器人、人体、标定相机。

3.如权利要求1所述的基于数字孪生的手术机器人穿刺取样手术半实物仿真方法，其特征在于，步骤S2中的所述半实物仿真测试平台，包括：

显示层，用于为半实物仿真提供观看与操作交互画面；

仿真层，用于连接所述数字孪生体模型；

业务层，用于根据所述手术机器人控制系统的指令控制所述数字孪生体模型中所述环境元素的运动状态；

数据层，用于在所述手术机器人控制系统与所述半实物仿真测试平台之间实现数据通讯。

4.如权利要求1所述的基于数字孪生的手术机器人穿刺取样手术半实物仿真方法，其特征在于，所述测试结果包括精准性测试结果、安全性测试结果和可靠性测试结果，其中：

所述精准性测试结果用于反馈所述位姿状态在接近所述目标病灶点时的穿刺速度，以判定所述手术机器人控制系统的精准性；

所述安全性测试结果用于反馈所述手术机器人控制系统是否具有预案措施；

所述可靠性测试结果用于反馈步骤S35中所述位姿状态未到达所述目标病灶点的概率。