CN113633387B - 术野追踪的扶持腹腔镜微创机器人触力交互方法和系统 - Google Patents

Abstract

本发明提供一种术野追踪的扶持腹腔镜微创机器人触力交互方法、系统、存储介质和电子设备，涉及腹腔镜技术领域。本发明根据手部姿态变化信号，获取持器械机器人的末端执行器的相应姿态；据腹腔镜获取的当前时刻的术野图像，获取手术器械尖端中心点在图像坐标系中的二维位置；根据术野图像，构建圆形禁止区域型虚拟夹具，当二维位置与术野图像中心点位置之间的距离大于圆形禁止区域型虚拟夹具的半径时，生成指向术野图像中心点的阻力并施加在主操作手机器上。避免了腹腔镜自主追踪过程中，其运动是受到算法控制而完全自主的，导致医生失去对腹腔镜的控制；触力反馈的机制提示医生腹腔镜当前运动方向，以加强医生对腹腔镜术野的控制，实现人机交互。

Description

术野追踪的扶持腹腔镜微创机器人触力交互方法和系统

技术领域

本发明涉及腹腔镜技术领域，具体涉及一种术野追踪的扶持腹腔镜微创机器人触力交互方法、系统、存储介质和电子设备。

背景技术

在机器人手术中，通过机器人夹持腹腔镜，由医生对机器人进行操作和控制，可为医生提供一个稳定的手术视野并减少助手的疲劳。

目前，腹腔镜控制方法有多种。例如，通过使用医生的语音、眼神注视或头部运动来控制内窥镜的视野；研究人员开发了一种柔性腹腔镜机器人系统，该系统由医生的头部运动控制，使医生可以在直观观察腹腔镜的同时，用手操作手术器械，提高手术效率。再如，基于注意力感知的腹腔镜机器人系统，通过眼动仪捕捉医生在手术视野上的注视运动，并分析这些数据来找出医生的注意力。当机器人感知到医生的注意力稳定地位于一个新的视野兴趣点时，机器人会自动调整腹腔镜的位置以聚焦于此。

此外，基于视觉伺服的手术器械尖端跟踪方法也是研究热点之一。研究人员提出了一种通过视觉伺服实现仪器自动追踪的方法。在仪器追踪过程中，在手术器械尖端贴上一个绿色的标记以追踪器械位置，并采用最优控制方法使内窥镜运动最小化，这有助于减少器械在手术腔内的击伤以及手臂在身体外的碰撞。再如，一种通过视觉伺服实现仪器自动追踪的方法，采用改进的YOLOv3算法对手术器械的尖端进行实时精确定位，然后设计一个视觉追踪空间矢量和一个约束矢量来实现基于图像的多手术器械的安全追踪，并且无需估计器械的深度信息。

但是，在上述的自动追踪方法中，由于腹腔镜的运动完全是由算法控制的，医生无法控制或感知追踪方法的效果。也即，尽管通过移动手术器械来实现腹腔镜的移动，可以改变当前的手术视野，但这种操控是间接的，腹腔镜的运动得不到医生的直接控制，导致医生的操作感觉较差，从而带来了手术风险。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种术野追踪的扶持腹腔镜微创机器人触力交互方法、系统、存储介质和电子设备，解决了腹腔镜对手术器械自主追踪过程中，医生无法直接感知腹腔镜的运动的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种术野追踪的扶持腹腔镜微创机器人触力交互方法，包括：

S1、根据主操作手机器实时记录的医生手部运动，获取医生实时的手部姿态变化信号，所述主操作手机器用于控制持器械机器人的运动；

S2、根据所述手部姿态变化信号，获取所述持器械机器人的末端执行器的相应姿态，所述末端执行器用于夹持手术器械；

S3、根据腹腔镜获取的当前时刻的术野图像，获取手术器械尖端中心点在图像坐标系中的二维位置；

S4、根据所述术野图像，构建圆形禁止区域型虚拟夹具，当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力并施加在所述主操作手机器上。

优选的，所述方法还包括：

S5、根据所述主操作手机器实时记录的医生手部运动对应的远离所述术野图像中心点的施加力，判断所述施加力与阻力的大小关系，若所述施加力小于阻力，则令所述腹腔镜保持静止；否则，则通过持镜机器人调整所述腹腔镜的速度追踪所述手术器械。

优选的，所述S3具体包括：

根据腹腔镜获取的当前时刻的术野图像，采用相机模型将手术器械尖端从相机坐标系中的三维位置P_i＝[x_i y_i z_i]^T转化到图像坐标系中的二维位置p_i，所述手术器械尖端中心点在相机坐标系中的三维位置根据所述末端执行器的相应姿态确定，

其中，f_x，f_y，u₀，v₀均表示相机内参；x_cam，y_cam，z_cam分别表示相机坐标系中各个坐标轴上的单位向量；p_i＝[ux v_i]^T表示P_i在图像坐标上的投影；P′_i表示第i个手术器械尖端中心点在相机坐标系中按单位深度缩放后的三维位置。

优选的，所述S4具体包括：

S41、根据所述术野图像，构建半径为r圆形禁止区域型虚拟夹具；

S42、当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力f_i并施加在所述主操作手机器上，

其中，表示阻力大小；F_max为一个正值，表示最大的阻力大小，根据医生的偏好进行调整；r表示第一距离阈值，其值为所述圆形禁止区域型虚拟夹具的半径；R表示第二距离阈值；/>表示阻力的方向；d_i表示二维位置与术野图像中心点位置之间的距离。

优选的，所述S5具体包括：

S51、根据所述主操作手机器实时记录的医生手部运动对应的远离所述术野图像中心点的施加力F_h，判断F_h与阻力f_i的大小关系，若所述施加力小于阻力，则令所述腹腔镜保持静止；否则，根据所述手术器械尖端中心点在图像坐标系中的二维位置px＝[u_i v_i]^T，获取所述二维位置与术野图像中心点位置之间的距离d_i，

其中，u_i表示手术器械尖端中心点在图像坐标系中X_image轴上的坐标；v_i表示手术器械尖端中心点在图像坐标系中Y_image轴上的坐标；

S52、根据所述d_i，获取腹腔镜追踪第i个手术器械所需要运动的速度大小

其中，r表示第一距离阈值，其值为所述圆形禁止区域型虚拟夹具的半径；R表示第二距离阈值；V_max表示腹腔镜运动的最大速度；

S53、根据腹腔镜为追踪第i个手术器械所需要运动的速度方向和所述/>获取腹腔镜为追踪第i个手术器械所需要运动的速度v_i，

S54、根据所述v_i，获取所述通过持镜机器人调整的腹腔镜追踪速度

其中，n表示手术器械数量，r_i为手术器械的重要性，且0≤r_i≤1。

一种术野追踪的扶持腹腔镜微创机器人触力交互系统，包括：

信号获取模块，用于根据主操作手机器实时记录的医生手部运动，获取医生实时的手部姿态变化信号，所述主操作手机器用于控制持器械机器人的运动；

姿态获取模块，用于根据所述手部姿态变化信号，获取所述持器械机器人的末端执行器的相应姿态，所述末端执行器用于夹持手术器械；

位置获取模块，用于根据腹腔镜获取的当前时刻的术野图像，获取手术器械尖端中心点在图像坐标系中的二维位置；

触力反馈模块，用于根据所述术野图像，构建圆形禁止区域型虚拟夹具，当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力并施加在所述主操作手机器上。

优选的，所述系统还包括：

器械追踪模块，用于根据所述主操作手机器实时记录的医生手部运动对应的远离所述术野图像中心点的施加力，判断所述施加力与阻力的大小关系，若所述施加力小于阻力，则令所述腹腔镜保持静止；否则，则通过持镜机器人调整所述腹腔镜的速度追踪所述手术器械。

一种存储介质，其存储有用于术野追踪的扶持腹腔镜微创机器人触力交互的计算机程序，其中，所述计算机程序使得计算机执行如上任一项所述的扶持腹腔镜微创机器人触力交互方法。

一种电子设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的扶持腹腔镜微创机器人触力交互方法。

(三)有益效果

本发明提供了一种术野追踪的扶持腹腔镜微创机器人触力交互方法、系统、存储介质和电子设备。与现有技术相比，具备以下有益效果：

本发明根据主操作手机器实时记录的医生手部运动，获取医生实时的手部姿态变化信号；根据所述手部姿态变化信号，获取所述持器械机器人的末端执行器的相应姿态；据腹腔镜获取的当前时刻的术野图像，获取手术器械尖端中心点在图像坐标系中的二维位置；根据所述术野图像，构建圆形禁止区域型虚拟夹具，当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力并施加在所述主操作手机器上。避免了腹腔镜自主追踪过程中，其运动是受到算法控制而完全自主的，导致医生失去对腹腔镜的控制；触力反馈的机制提示医生腹腔镜当前运动方向，以加强医生对腹腔镜术野的控制，实现人机交互。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种术野追踪的扶持腹腔镜微创机器人触力交互方法的流程示意图；

图2为本发明实施例提供的相机模型原理示意图；

图3(a)为本发明实施例中投影点到图像中心的距离与第一距离阈值r的关系示意图；

图3(b)为本发明实施例中反馈阻力与第一距离阈值r的关系示意图；

图4(a)为本发明实施例中投影点到图像中心的距离与第二距离阈值R的关系示意图；

图4(b)为本发明实施例中腹腔镜的运动轨迹与第二距离阈值R的关系示意图；

图5(a)为本发明实施例中投影点到图像中心的距离与最大速度V_max的关系示意图；

图5(b)为本发明实施例中腹腔镜的运动轨迹与最大速度V_max的关系示意图；

图6(a)为本发明实施例中反馈给医生的阻力大小与最大阻力F_max的关系示意图；

图6(b)为本发明实施例中投影点到图像中心的距离与最大阻力F_max的关系示意图；

图7为本发明实施例提供的一种术野追踪的扶持腹腔镜微创机器人触力交互系统的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例通过提供一种术野追踪的扶持腹腔镜微创机器人触力交互方法、系统、存储介质和电子设备，解决了腹腔镜对手术器械自主追踪过程中，医生无法直接感知腹腔镜的运动的技术问题。

本申请实施例中的技术方案为解决上述技术问题，总体思路如下：

本发明实施例根据主操作手机器实时记录的医生手部运动，获取医生实时的手部姿态变化信号；根据所述手部姿态变化信号，获取所述持器械机器人的末端执行器的相应姿态；据腹腔镜获取的当前时刻的术野图像，获取手术器械尖端中心点在图像坐标系中的二维位置；根据所述术野图像，构建圆形禁止区域型虚拟夹具，当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力并施加在所述主操作手机器上。避免了腹腔镜自主追踪过程中，其运动是受到算法控制而完全自主的，导致医生失去对腹腔镜的控制；触力反馈的机制提示医生腹腔镜当前运动方向，以加强医生对腹腔镜术野的控制，实现人机交互。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例：

第一方面，如图1所示，本发明实施例提供了一种术野追踪的扶持腹腔镜微创机器人触力交互方法，包括：

S1、根据主操作手机器实时记录的医生手部运动，获取医生实时的手部姿态变化信号，所述主操作手机器用于控制持器械机器人的运动；

S2、根据所述手部姿态变化信号，获取所述持器械机器人的末端执行器的相应姿态，所述末端执行器用于夹持手术器械；

S3、根据腹腔镜获取的当前时刻的术野图像，获取手术器械尖端中心点在图像坐标系中的二维位置；

S4、根据所述术野图像，构建圆形禁止区域型虚拟夹具，当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力并施加在所述主操作手机器上；

S5、根据所述主操作手机器实时记录的医生手部运动对应的远离所述术野图像中心点的施加力，判断所述施加力与阻力的大小关系，若所述施加力小于阻力，则令所述腹腔镜保持静止；否则，则通过持镜机器人调整所述腹腔镜的速度追踪所述手术器械。

本发明实施例不仅避免了腹腔镜自主追踪过程中，其运动是受到算法控制而完全自主的，导致医生失去对腹腔镜的控制；触力反馈的机制提示医生腹腔镜当前运动方向，以加强医生对腹腔镜术野的控制，实现人机交互。

而且对于腹腔镜术野设计了一种以画面中心为圆心，半径为r的圆形禁止区域型虚拟夹具，当手术器械在虚拟夹具限制的范围内运动时，腹腔镜位姿保持不变；当手术器械在虚拟夹具限制的范围外运动时，腹腔镜位姿将进行调整，直至腹腔镜术野中手术器械尖端回到虚拟夹具限制之内。自主手术器械追踪的实现，为医生提供一段时间内稳定的腹腔镜术野，满足医生的临床上实际需求。

下面将结合具体内容对上述方案的各个步骤展开介绍。

首先需要说明的是，本发明实施例以计算机为核心，其功能包括医生手部运动信号接收、持器械机器人运动控制、腹腔镜图像处理、持镜机器人运动控制与触力反馈施加。在整个运行过程中，计算机与主操作手机器、持器械机器人、腹腔镜等设备进行实时的数据交互，结合相机模型、自主手术器械追踪与人机交互等方法，实现基于触力反馈的机器人辅助腹腔镜手术腹腔镜运动感知。

S1、根据主操作手机器实时记录的医生手部运动，获取医生实时的手部姿态变化信号，所述主操作手机器用于控制持器械机器人的运动。

本步骤中，医生通过操作主操作手机器控制持器械机器人的运动，同时主操作手记录下医生实时的手部运动，将六自由度(旋转与平移)的手部姿态变化信号实时传输至计算机。

S2、根据所述手部姿态变化信号，获取所述持器械机器人的末端执行器的相应姿态，所述末端执行器用于夹持手术器械。

计算机通过USB接口接收并处理所述手部姿态变化信号，将其通过坐标变换转换为持器械机器人末端执行器的相应姿态。

计算机完成坐标转换后，将其所计算的持器械机器人末端执行器的位姿通过网口传输给持器械机器人的机械臂。

机械臂获取末端执行器的位姿后，通过对机械臂逆向运动学建模求解计算得到机械臂各关节转角，机械臂内置控制器驱动电机使得机械臂各关节运动到新的位姿，由于手术器械是夹持在机械臂末端执行器上，故手术器械也会运动到一个新位姿。

S3、根据腹腔镜获取的当前时刻的术野图像，获取手术器械尖端中心点在图像坐标系中的二维位置，具体包括：

根据腹腔镜获取的当前时刻的术野图像，如图2所示，采用相机模型将手术器械尖端从相机坐标系中的三维位置P_i＝[x_i y_i z_i]^T转化到图像坐标系中的二维位置p_i，所述手术器械尖端中心点在相机坐标系中的三维位置根据所述末端执行器的相应姿态确定，

其中，f_x，f_y，u₀，v₀均表示相机内参；x_cam，y_cam，z_cam分别表示相机坐标系中各个坐标轴上的单位向量；p_i＝[u_i v_i]^T表示P_i在图像坐标上的投影；P′_i表示第i个手术器械尖端中心点在相机坐标系中按单位深度缩放后的三维位置。

S4、根据所述术野图像，构建圆形禁止区域型虚拟夹具，当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力并施加在所述主操作手机器上，

为了增强腹腔镜手术的人机交互，计算机通过对腹腔镜图像处理，设计了一种半径为r的圆形的禁止区域型虚拟夹具，以增强医生对腹腔镜手术运动的控制。由于手术器械的运动是由医生操作触力反馈设备的主操作手机器来实现的，当手术器械尖端中心位置与术野图像中心点位置之间的距离d_i大于r，一个指向图像中心的阻力将施加在主手上以提示医生当前腹腔镜的运动方向。

所述S4具体包括：

S41、根据所述术野图像，构建半径为r圆形禁止区域型虚拟夹具。

S42、当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力f_i并施加在所述主操作手机器上，

其中，表示阻力大小；F_max为一个正值，表示最大的阻力大小，根据医生的偏好进行调整；r表示第一距离阈值，其值为所述圆形禁止区域型虚拟夹具的半径；R表示第二距离阈值；/>表示阻力的方向；d_i表示二维位置与术野图像中心点位置之间的距离。

根据阻力f_i的定义，当手术器械尖端中心保持在虚拟夹具限制范围内时，阻力的大小为零。当手术器械尖端中心到图像中心的距离接近第一距离阈值r时，阻力的大小设为F_max的一半，阻力的方向与手术器械尖端中心在图像中的运动方向相反。手术器械离屏幕中心越远，所施加的阻力越大。当距离超过第二距离阈值R时，阻力达到最大值F_max。

S5、根据所述主操作手机器实时记录的医生手部运动对应的远离所述术野图像中心点的施加力，判断所述施加力与阻力的大小关系，若所述施加力小于阻力，则令所述腹腔镜保持静止；否则，将出现手术器械突破所述虚拟夹具的限制，向术野图像范围外移动的情况，此时通过持镜机器人调整所述腹腔镜的速度追踪所述手术器械。

获取手术器械在三维空间中和二维平面上的位置之后，在本步骤中，计算机采用一种自主手术器械追踪方法，通过比较主操作手机器实时记录的医生手部运动对应的远离所述术野图像中心点的施加力和上述阻力的大小，计算出使得手术器械保持在腹腔镜视野之内时，持镜机器人所需要运动的方向，从而在一定区域内追踪手术器械；为医生提供一段时间内稳定的腹腔镜术野，满足医生的临床上实际需求。

所述S5具体包括：

S51、根据所述主操作手机器实时记录的医生手部运动对应的远离所述术野图像中心点的施加力F_h，判断F_h与阻力f_i的大小关系，若所述施加力小于阻力，则令所述腹腔镜保持静止；否则，根据所述手术器械尖端中心点在图像坐标系中的二维位置p_i＝[u_i v_i]^T，获取所述二维位置与术野图像中心点位置之间的距离d_i，

其中，u_i表示手术器械尖端中心点在图像坐标系中X_image轴上的坐标；v_i表示手术器械尖端中心点在图像坐标系中Y_image轴上的坐标；

S52、根据所述d_i，获取腹腔镜追踪第i个手术器械所需要运动的速度大小

其中，同样的，此处的r表示第一距离阈值，其值为所述圆形禁止区域型虚拟夹具的半径，R表示第二距离阈值；V_max表示腹腔镜运动的最大速度。

由上述的定义可知，根据手术器械在二维平面上的位置调整腹腔镜的速度。如果在图像坐标系中第i个手术器械尖端位置与图像中心点位置之间的距离d_i小于第一距离阈值r时，则手术器械仍在医生感兴趣的区域内，因此腹腔镜位置应保持不变；否则，需要对腹腔镜施加一定的速度来调整其位置和姿态，以追踪手术器械。手术器械离图像中心越远，腹腔镜移动的速度就越快。当这个距离超过第二距离阈值R时，腹腔镜将继续以最大速度V_max移动。

S53、根据腹腔镜为追踪第i个手术器械所需要运动的速度方向和所述/>获取腹腔镜为追踪第i个手术器械所需要运动的速度v_i，

S54、根据所述v_i，获取所述通过持镜机器人调整的腹腔镜追踪速度

其中，n表示手术器械数量，r_i为手术器械的重要性，且0≤r_i≤1。

另外，为了验证本发明实施例提供的方法中涉及的参数对手术器械追踪性能和触力控制方法的影响，进行了实验验证。实验验证过程中，将操作主操作手机器将手术器械尖端中心在图像坐标系中的投影(二维位置)移动到图像的下边缘。

具体的，实验分析了r、R、V_max、F_max对性能的影响。

1)第一距离阈值r的影响：在追踪实验中，参数r的取值分别为20、70、120像素。不同r值下的手术器械追踪性能如图3所示。如图3(a)所示，r值越小，投影点到图像中心的距离越短，追踪性能越好。图3(b)给出了不同r值时反馈给医生的阻力，表明r值越小，阻力越弱，即对医生手术操作的影响越小。同时，r值的减小使手术器械越快进入禁止区域，医生对手术器械追踪效果有更好的实时感知。

2)第二距离阈值R的影响：R参数在追踪手术器械时影响腹腔镜的稳定性。不同R值下投影点到图像中心的距离如图4(a)所示。当R＝180像素时，距离最小，当R＝230像素时，距离最大。因此，R值越小，投影点到图像中心的距离越短，追踪性能越好。腹腔镜轨迹如图4(b)所示，可以看出R值越小，腹腔镜稳定性越差。

3)最大速度V_max的影响：V_max参数主要影响腹腔镜的移动速度和手术器械的追踪性能。不同V_max值下投影点到图像中心的距离如图5(a)所示。在三组实验中，投影点始终保持在腹腔镜上，证明了追踪算法能够适应不同的V_max值。当V_max＝50mm/s时，投影点到图像中心的距离最大，当V_max＝150mm/s时，投影点到图像中心的距离最小。这一结果表明，速度越快，峰值越低，追踪性能越好。腹腔镜轨迹如图5(b)所示，V_max值越大，腹腔镜运动越不稳定。经过几组实验，发现V_max的合适值应该在80mm/s到100mm/s之间。

4)最大阻力F_max的影响：参数F_max影响医生对手术器械追踪性能的感知程度。在实验中，进行类似的手术动作，阻力的值依次设置为1N，2N，3N。记录反馈给医生的阻力和投影点到图像中心的距离。如图6(a)和6(b)所示，F_max值越大，医生在手术器械追踪过程中感受到的力反馈越强。然而，虽然这种力反馈可以让医生更好的感知到手术器械追踪的效果，但是过度的力反馈会干扰医生的自由手术，从而增加手术的风险。因此，应根据医生的操作习惯设置适当的F_max值，以保证手术的安全。

第二方面，本发明实施例提供了一种术野追踪的扶持腹腔镜微创机器人触力交互系统，包括：

信号获取模块，用于根据主操作手机器实时记录的医生手部运动，获取医生实时的手部姿态变化信号，所述主操作手机器用于控制持器械机器人的运动；

姿态获取模块，用于根据所述手部姿态变化信号，获取所述持器械机器人的末端执行器的相应姿态，所述末端执行器用于夹持手术器械；

位置获取模块，用于根据腹腔镜获取的当前时刻的术野图像，获取手术器械尖端中心点在图像坐标系中的二维位置；

触力反馈模块，用于根据所述术野图像，构建圆形禁止区域型虚拟夹具，当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力并施加在所述主操作手机器上；

器械追踪模块，用于根据所述主操作手机器实时记录的医生手部运动对应的远离所述术野图像中心点的施加力，判断所述施加力与阻力的大小关系，若所述施加力小于阻力，则令所述腹腔镜保持静止；否则，则通过持镜机器人调整所述腹腔镜的速度追踪所述手术器械。

可理解的是，本发明实施例提供的术野追踪的扶持腹腔镜微创机器人触力交互系统与上述术野追踪的扶持腹腔镜微创机器人触力交互方法相对应，其有关内容的解释、举例、有益效果等部分可以参考扶持腹腔镜微创机器人触力交互方法中的相应内容，此处不再赘述。

第三方面，本发明实施例提供了一种存储介质，其存储有用于基于触力反馈的腹腔镜运动感知的计算机程序，其中，所述计算机程序使得计算机执行如上所述的扶持腹腔镜微创机器人触力交互方法。

第四方面，本发明实施例提供了一种电子设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的扶持腹腔镜微创机器人触力交互方法。

综上所述，与现有技术相比，具备以下有益效果：

1、本发明实施例根据主操作手机器实时记录的医生手部运动，获取医生实时的手部姿态变化信号；根据所述手部姿态变化信号，获取所述持器械机器人的末端执行器的相应姿态；据腹腔镜获取的当前时刻的术野图像，获取手术器械尖端中心点在图像坐标系中的二维位置；根据所述术野图像，构建圆形禁止区域型虚拟夹具，当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力并施加在所述主操作手机器上。避免了腹腔镜自主追踪过程中，其运动是受到算法控制而完全自主的，导致医生失去对腹腔镜的控制；触力反馈的机制提示医生腹腔镜当前运动方向，以加强医生对腹腔镜术野的控制，实现人机交互。

2、本发明实施例对于腹腔镜术野设计了一种以画面中心为圆心，半径为r的圆形禁止区域型虚拟夹具，当手术器械在虚拟夹具限制的范围内运动时，腹腔镜位姿保持不变；当手术器械在虚拟夹具限制的范围外运动时，腹腔镜位姿将进行调整，直至腹腔镜术野中手术器械尖端回到虚拟夹具限制之内。自主手术器械追踪的实现，为医生提供一段时间内稳定的腹腔镜术野，满足医生的临床上实际需求。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种术野追踪的扶持腹腔镜微创机器人触力交互方法，其特征在于，包括：

S1、根据主操作手机器实时记录的医生手部运动，获取医生实时的手部姿态变化信号，所述主操作手机器用于控制持器械机器人的运动；

S2、根据所述手部姿态变化信号，获取所述持器械机器人的末端执行器的相应姿态，所述末端执行器用于夹持手术器械；

S3、根据腹腔镜获取的当前时刻的术野图像，获取手术器械尖端中心点在图像坐标系中的二维位置；

S4、根据所述术野图像，构建圆形禁止区域型虚拟夹具，当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力并施加在所述主操作手机器上；

所述方法还包括：

S5、根据所述主操作手机器实时记录的医生手部运动对应的远离所述术野图像中心点的施加力，判断所述施加力与阻力的大小关系，若所述施加力小于阻力，则令所述腹腔镜保持静止；否则，则通过持镜机器人调整所述腹腔镜的速度追踪所述手术器械；

所述S3具体包括：

根据腹腔镜获取的当前时刻的术野图像，采用相机模型将手术器械尖端从相机坐标系中的三维位置P_i＝[x_i y_i z_i]^T转化到图像坐标系中的二维位置p_i，所述手术器械尖端中心点在相机坐标系中的三维位置根据所述末端执行器的相应姿态确定，

其中，f_x，f_y，u₀，v₀均表示相机内参；x_cam，y_cam，z_cam分别表示相机坐标系中各个坐标轴上的单位向量；p_i＝[u_i v_i]^T表示P_i在图像坐标上的投影；P′_i表示第i个手术器械尖端中心点在相机坐标系中按单位深度缩放后的三维位置；

所述S4具体包括：

S41、根据所述术野图像，构建半径为r圆形禁止区域型虚拟夹具；

S42、当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力f_i并施加在所述主操作手机器上，

其中，表示阻力大小；F_max为一个正值，表示最大的阻力大小，根据医生的偏好进行调整；r表示第一距离阈值，其值为所述圆形禁止区域型虚拟夹具的半径；R表示第二距离阈值；/>表示阻力的方向；d_i表示二维位置与术野图像中心点位置之间的距离；

所述S5具体包括：

S51、根据所述主操作手机器实时记录的医生手部运动对应的远离所述术野图像中心点的施加力F_h，判断F_h与阻力f_i的大小关系，若所述施加力小于阻力，则令所述腹腔镜保持静止；否则，根据所述手术器械尖端中心点在图像坐标系中的二维位置p_i＝[u_i v_i]^T，获取所述二维位置与术野图像中心点位置之间的距离d_i，

其中，u_i表示手术器械尖端中心点在图像坐标系中X_image轴上的坐标；v_i表示手术器械尖端中心点在图像坐标系中Y_image轴上的坐标；

S52、根据所述d_i，获取腹腔镜追踪第i个手术器械所需要运动的速度大小V_i ^s(d_i)，

其中，r表示第一距离阈值，其值为所述圆形禁止区域型虚拟夹具的半径；R表示第二距离阈值；V_max表示腹腔镜运动的最大速度；

S53、根据腹腔镜为追踪第i个手术器械所需要运动的速度方向和所述V_i ^s(d_i)，获取腹腔镜为追踪第i个手术器械所需要运动的速度v_i，

S54、根据所述v_i，获取所述通过持镜机器人调整的腹腔镜追踪速度

其中，n表示手术器械数量，r_i为手术器械的重要性，且0≤r_i≤1。

2.一种术野追踪的扶持腹腔镜微创机器人触力交互系统，其特征在于，包括：

信号获取模块，用于根据主操作手机器实时记录的医生手部运动，获取医生实时的手部姿态变化信号，所述主操作手机器用于控制持器械机器人的运动；

姿态获取模块，用于根据所述手部姿态变化信号，获取所述持器械机器人的末端执行器的相应姿态，所述末端执行器用于夹持手术器械；

位置获取模块，用于根据腹腔镜获取的当前时刻的术野图像，获取手术器械尖端中心点在图像坐标系中的二维位置；

触力反馈模块，用于根据所述术野图像，构建圆形禁止区域型虚拟夹具，当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力并施加在所述主操作手机器上；

所述系统还包括：

器械追踪模块，用于根据所述主操作手机器实时记录的医生手部运动对应的远离所述术野图像中心点的施加力，判断所述施加力与阻力的大小关系，若所述施加力小于阻力，则令所述腹腔镜保持静止；否则，则通过持镜机器人调整所述腹腔镜的速度追踪所述手术器械；

所述位置获取模块具体用于：

根据腹腔镜获取的当前时刻的术野图像，采用相机模型将手术器械尖端从相机坐标系中的三维位置P_i＝[x_i y_i z_i]^T转化到图像坐标系中的二维位置p_i，所述手术器械尖端中心点在相机坐标系中的三维位置根据所述末端执行器的相应姿态确定，

其中，f_x，f_y，u₀，v₀均表示相机内参；x_cam，y_cam，z_cam分别表示相机坐标系中各个坐标轴上的单位向量；p_i＝[u_i v_i]^T表示P_i在图像坐标上的投影；P′_i表示第i个手术器械尖端中心点在相机坐标系中按单位深度缩放后的三维位置；

所述触力反馈模块具体用于：

S41、根据所述术野图像，构建半径为r圆形禁止区域型虚拟夹具；

S42、当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力f_i并施加在所述主操作手机器上，

其中，表示阻力大小；F_max为一个正值，表示最大的阻力大小，根据医生的偏好进行调整；r表示第一距离阈值，其值为所述圆形禁止区域型虚拟夹具的半径；R表示第二距离阈值；/>表示阻力的方向；d_i表示二维位置与术野图像中心点位置之间的距离；

所述器械追踪模块具体用于：

S51、根据所述主操作手机器实时记录的医生手部运动对应的远离所述术野图像中心点的施加力F_h，判断F_h与阻力f_i的大小关系，若所述施加力小于阻力，则令所述腹腔镜保持静止；否则，根据所述手术器械尖端中心点在图像坐标系中的二维位置p_i＝[u_i v_i]^T，获取所述二维位置与术野图像中心点位置之间的距离d_i，

其中，u_i表示手术器械尖端中心点在图像坐标系中X_image轴上的坐标；v_i表示手术器械尖端中心点在图像坐标系中Y_image轴上的坐标；

S52、根据所述d_i，获取腹腔镜追踪第i个手术器械所需要运动的速度大小V_i ^s(d_i)，

其中，r表示第一距离阈值，其值为所述圆形禁止区域型虚拟夹具的半径；R表示第二距离阈值；V_max表示腹腔镜运动的最大速度；

S53、根据腹腔镜为追踪第i个手术器械所需要运动的速度方向和所述V_i ^s(d_i)，获取腹腔镜为追踪第i个手术器械所需要运动的速度v_i，

S54、根据所述v_i，获取所述通过持镜机器人调整的腹腔镜追踪速度

其中，n表示手术器械数量，r_i为手术器械的重要性，且0≤r_i≤1。

3.一种存储介质，其特征在于，其存储有用于术野追踪的扶持腹腔镜微创机器人触力交互的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1所述的扶持腹腔镜微创机器人触力交互方法。

4.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1所述的扶持腹腔镜微创机器人触力交互方法。