CN110613511A

CN110613511A - 手术机器人避障方法

Info

Publication number: CN110613511A
Application number: CN201910983869.5A
Authority: CN
Inventors: 张阳
Original assignee: Wuhan United Imaging Zhirong Medical Technology Co Ltd
Current assignee: Shanghai Lianying Zhirong Medical Technology Co.,Ltd.
Priority date: 2019-10-16
Filing date: 2019-10-16
Publication date: 2019-12-27
Anticipated expiration: 2039-10-16
Also published as: CN110613511B

Abstract

本申请涉及一种手术机器人避障方法，包括：设定手术机器人的目标构型，手术机器人包括基座和多个连杆。判断在目标构型中基座和与之不连接的连杆之间，和/或，任意两个不连接的连杆之间是否会发生碰撞。若判断在目标构型中基座和与之不连接的连杆之间，和/或，任意两个不连接的连杆之间会发生碰撞，则返回设定目标构型的步骤。否则，获取与手术机器人外部环境对应的点云数据，并根据点云数据建立环境模型。根据环境模型，判断连杆与外部环境中的物体是否会发生碰撞。若判断连杆与环境模型中的物体会发生碰撞，则返回设定目标构型的步骤。通过采用上述手术机器人避障方法，可以使手术机器人在复杂的手术环境中顺利完成指定的手术工作。

Description

手术机器人避障方法

技术领域

本申请涉及医疗设备技术领域，特别是涉及一种手术机器人避障方法。

背景技术

手术机器人的目的是辅助医生进行手术，从而提高手术精度和效率、减轻病人的痛苦和医生的负担。

然而，现有手术机器人缺少避障功能，从而无法在复杂的手术环境中顺利完成指定的手术工作。

发明内容

基于此，有必要针对现有手术机器人缺少避障功能的问题，提供一种手术机器人避障方法。

本申请提供一种手术机器人避障方法，包括：

设定手术机器人的目标构型，所述手术机器人包括基座和多个连杆；

判断在所述目标构型中所述基座和与之不连接的所述连杆之间，和/或，任意两个不连接的所述连杆之间是否会发生碰撞；

若判断在所述目标构型中所述基座和与之不连接的所述连杆之间，和/或，任意两个不连接的所述连杆之间会发生碰撞，则返回设定所述目标构型的步骤；

否则，获取与所述手术机器人外部环境对应的点云数据，并根据所述点云数据建立环境模型；

根据所述环境模型，判断所述连杆与所述外部环境中的物体是否会发生碰撞；

若判断所述连杆与所述环境模型中的物体会发生碰撞，则返回设定所述目标构型的步骤。

在其中一个实施例中，所述判断在所述目标构型中所述基座和与之不连接的所述连杆之间，和/或，任意两个不连接的所述连杆之间是否会发生碰撞，包括：

根据机器人运动学方程，分别计算所述目标构型中每个所述连杆的位置和姿态矩阵；

根据每个所述连杆的所述位置和所述姿态矩阵，采用避障算法判断所述基座和与之不连接的所述连杆之间，和/或，任意两个不连接的所述连杆之间是否会发生碰撞。

在其中一个实施例中，获取与所述手术机器人外部环境对应的所述点云数据，并根据所述点云数据建立所述环境模型的步骤，包括：

获取与所述手术机器人的所述外部环境对应的所述点云数据；

根据所述点云数据，采用三维点云重构算法建立所述环境模型。

在其中一个实施例中，所述根据所述点云数据，采用所述三维点云重构算法建立所述环境模型，包括：

根据所述点云数据，采用点云拼接算法生成所述外部环境的整体点云数据采用八叉树对所述整体点云数据进行空间分割，得到空间网格，并根据所述点云数据在所述空间网格的位置，在不同的所述空间网格中设置不同标志，建立所述环境模型。

在其中一个实施例中，所述获取与所述手术机器人的所述外部环境对应的所述点云数据，包括：

采用传感器实时采集与所述手术机器人的所述外部环境对应的所述点云数据。

在其中一个实施例中，所述传感器为深度相机、双目相机和激光雷达中的一种或多种，且所述传感器安装于所述外部环境中或所述手术机器人的末端。

在其中一个实施例中，所述环境模型包括待手术对象、手术台、医生和机器人移动底座中的一个或多个物体。

在其中一个实施例中，还包括：

若所述手术机器人的所述目标构型中的所述连杆与所述环境模型中的物体没有发生碰撞，则控制所述手术机器人运动至所述目标构型。

在其中一个实施例中，判断所述连杆与所述外部环境中的所述物体是否会发生碰撞的步骤，包括：

采用避障算法判断所述连杆与所述外部环境中的所述物体是否会发生碰撞。

在其中一个实施例中，所述避障算法为层次包围盒算法。

上述手术机器人避障方法，通过设定手术机器人的目标构型，并判断在所述目标构型中所述基座和与之不连接的所述连杆之间，和/或任意两个不连接的所述连杆之间是否会发生碰撞。若发生碰撞则重新设定所述目标构型，反之则进一步建立环境模型，并根据所述环境模型判断所述连杆与所述外部环境中的物体是否会发生碰撞。若发生碰撞则重新设定所述目标构型。通过采用上述手术机器人避障方法，可以使手术机器人在复杂的手术环境中，先后完成自身碰撞检测和外部碰撞检测，避开手术机器人预设移动路径中存在的障碍物，顺利完成指定的手术工作，提高了手术机器人的实用性和智能化程度。

附图说明

图1为本申请实施例提供的一种手术机器人避障方法流程图；

图2为本申请实施例提供的另一种手术机器人避障方法流程图；

图3为本申请实施例提供的一种点云数据获取方式示意图；

图4为本申请实施例提供的一种点云数据建立的环境模型示意图；

图5为本申请实施例提供的一种手术机器人环境模型结构示意图；

图6为本申请实施例提供的另一种手术机器人环境模型结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施的限制。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参见图1，本申请提供一种手术机器人避障方法。手术机器人避障方法包括：步骤S100，设定手术机器人的目标构型，手术机器人包括基座20和多个连杆30。手术机器人的基座20或连杆30上(内)设置数个驱动马达，所述驱动马达可被控制器控制，用于驱动连杆30按照设定的方向、距离运动。步骤S200，判断在目标构型中基座20和与之不连接的连杆30之间，和/或，任意两个不连接的连杆30之间是否会发生碰撞。步骤S300，若判断在目标构型中基座20和与之不连接的连杆30之间，和/或，任意两个不连接的连杆30之间会发生碰撞，则返回设定目标构型的步骤。步骤S400，否则，获取与手术机器人外部环境对应的点云数据，并根据点云数据建立环境模型。步骤S500，根据环境模型，判断连杆30与外部环境中的物体是否会发生碰撞。步骤S600，若判断连杆30与环境模型中的物体会发生碰撞，则返回设定目标构型的步骤。

在步骤S100中，手术机器人的构型是机器人所有点的位置。描述手术机器人构型的最小实数坐标的个数是机器人的自由度的数目。多个坐标构成的多维空间包括着机器人所有可能的构型，即构型空间。手术机器人的构型可以由它的构型空间里的一个点描述。可以理解，手术机器人通常包括机械臂，机械臂包括基座20和多个连杆30。其中，机械臂可以为由一系列连杆30通过移动和转动关节串联而成的开式运动链。基座20可以设置于机器人移动底座上。机器人移动底座的位置需要保证手术机器人的末端执行器可以到达手术区域中的任意一点，通常由医生在手术前进行调整并在手术过程中锁死保持不动。

在步骤S200中，在控制手术机器人开始动作前，可以首先向手术机器人的控制系统中输入控制指令。手术机器人的控制系统可以根据控制指令，计算得到手术机器人的目标构型。可以理解，手术机器人可能在进行姿态变换时发生自身碰撞，而自身碰撞可能会导致手术机器人损坏或无法按时到达目标姿态。因此，在得到的目标构型中，可以首先应该判断手术机器人自身是否会发生碰撞，即手术机器人中任意两个不连接的基座20和/或连杆30之间是否会发生碰撞。通过首先对手术机器人的自身碰撞情况进行判断，可以减少无用的碰撞判断过程，提高手术机器人对控制指令的响应速度。

在步骤S300中，手术机器人由一系列的连杆30组成，常见的六自由度机器人可以由基座20和六个连杆30组成，七自由度机器人可以由基座20和七个连杆30组成。在手术机器人的运动过程中，手术机器人的基座20和与之不连接连杆30、每个连杆30和与之不连接连杆30之间可能会发生碰撞，此时机器人本体即为障碍物。若判断在目标构型中基座20和与之不连接的连杆30之间，和/或，任意两个不连接的连杆30之间会发生碰撞，即手术机器人自身发生碰撞，此时手术机器人控制系统可以控制手术机器人停止移动至目标构型，并根据手术机器人对病灶区域的处理情况，重新计算得到目标构型或者提醒医生重新输入控制指令，避免碰撞的发生。

在步骤S400中，手术机器人的外部环境即为真实的手术环境。可以理解，真实的手术环境非常复杂，手术机器人在运动至目标构型时，可能与周围环境发生碰撞。判定目标构型中手术机器人自身不会发生碰撞后，可以获取手术机器人的外部环境，并将采集到的图像信息转化为点云数据。根据点云数据建立手术机器人的环境模型，可以为判断手术机器人与外部环境的碰撞情况提供所需数据。可以理解，首先判断手术机器人自身是否发生碰撞，再判断手术机器人与外部环境是否发生碰撞，可以在手术机器人自身碰撞时无需再判断手术机器人与外部环境的碰撞情况，节约判定目标构型发生碰撞所需的时间，提高手术机器人对控制指令的响应速度。

可选的，本申请的手术机器人避障方法对判断手术机器人的自身碰撞和与外部环境碰撞的顺序不作限定。在其中一个实施例中，在手术机器人执行手术任务的某个阶段，也可以首先判断手术机器人与外部环境的碰撞情况。当手术机器人与外部环境发生碰撞时，则无需判断手术机器人的自身碰撞情况，直接返回设定手术机器人的目标构型的步骤。当手术机器人与外部环境不发生碰撞时，则进一步判断手术机器人的自身碰撞情况。即判断手术机器人的自身碰撞和与外部环境碰撞的顺序可以依据实际手术过程进行设定。通过以上两种判断方式灵活使用，可提高避障系统的操作灵活性，提升手术机器人的利用效率。

在步骤S500和步骤S600中，根据环境模型，可以判断每个连杆30与外部环境中的每一个物体是否会发生碰撞。若任一连杆30与外部环境中的任一物体发生碰撞，即判定手术机器人与外部环境发生碰撞，此时手术机器人控制系统可以控制手术机器人停止移动至目标构型，并根据手术机器人对病灶区域的处理情况，重新计算得到目标构型或者提醒医生重新输入控制指令，以避开障碍物。

请一并参见图2，在其中一个实施例中，首先建立并读取手术机器人的基座20以及连杆30的模型，并对读取的手术机器人的基座20以及连杆30的模型进行预处理。在其中一个实施例中，手术机器人的基座20以及连杆30的模型可以选用三角网格模型，即(Tris₀,Tris₁,Tris₂,Tris₃,Tris₄,Tris₅,Tris₆)。可以理解，在层次包围盒算中，可以使用几何特性简单的包围盒来近似描述复杂对象，进而通过包围盒间相交测试来进行几何对象的碰撞检测。因此，可以采用层次包围盒算法对三角网络模型进行预处理，得到模型预处理结果(HB₀,HB₁,HB₂,HB₃,HB₄,HB₅,HB₆)，可以用于后续手术机器人的自身碰撞判断过程。完成预处理过程后，可以标定传感器的坐标系与手术机器人坐标系的位姿关系并根据传感器坐标系与手术机器人坐标系的位姿关系，建立手术机器人运动学模型

设定手术机器人的目标构型(θ₁,θ₂,θ₃,θ₄,θ₅,θ₆)，即手术机器人的关节角度，并结合手术机器人运动学模型分别计算手术机器人的每个连杆30的位置和姿态矩阵，即齐次变换矩阵根据三角网络模型预处理结果和齐次变换矩阵，判断手术机器人的基座20和与之不相邻的连杆30之间，和/或，任意两个不相连的连杆30之间是否会发生碰撞。若发生碰撞，则返回设定目标构型的步骤。请一并参见图3-图4，若不发生碰撞，则控制手术机器人带动传感器10在不同的位姿获取或补充手术机器人外部环境的点云数据(PC₁,PC₂,...,PC_n)。根据传感器10采集的多个点云数据，以及机器人运动学方程，计算获取每个点云数据时传感器10对应位姿根据获取的点云数据以及每个点云数据对应的传感器10的位姿，采用点云拼接方法建立环境地图，得到环境模型。根据环境模型判断手术机器人连杆30与外部环境中的物体是否会发生碰撞，若发生碰撞则返回设定目标构型的步骤，若不发生碰撞，则控制手术机器人运动至目标构型。

上述手术机器人避障方法，通过设定手术机器人的目标构型，并判断在目标构型中基座20和与之不连接的连杆30之间，和/或任意两个不连接的连杆30之间是否会发生碰撞。若发生碰撞则重新设定目标构型，反之则进一步建立环境模型，并根据环境模型判断连杆30与外部环境中的物体是否会发生碰撞。若发生碰撞则重新设定目标构型。通过采用上述手术机器人避障方法，可以使手术机器人在复杂的手术环境中，先后完成自身碰撞检测和外部碰撞检测，避开手术机器人预设移动路径中存在的障碍物，顺利完成指定的手术工作，提高了手术机器人的实用性和智能化程度。

在其中一个实施例中，判断在目标构型中基座20和与之不连接的连杆30之间，和/或，任意两个不连接的连杆30之间是否会发生碰撞，包括：根据机器人运动学方程，分别计算目标构型中每个连杆30的位置和姿态矩阵。根据每个连杆30的位置和姿态矩阵，采用避障算法判断基座20和与之不连接的连杆30之间，和/或，任意两个不连接的连杆30之间是否会发生碰撞。可以理解，根据手术机器人的目标构型，结合机器人的运动学方程，分别计算目标构型中每个连杆30的位置和姿态矩阵，即齐次变换矩阵。随后采用避障算法计算手术机器人的基座20与每个不相连的连杆30之间是否发生碰撞，以及每个连杆30与不相连连杆30之间是否发生碰撞。若发生任意碰撞，则控制手术机器人停止运动至目标构型，可以控制手术机器人及时避开障碍物，避免碰撞的发生。

在其中一个实施例中，获取与手术机器人外部环境对应的点云数据，并根据点云数据建立环境模型的步骤，包括：获取与手术机器人的外部环境对应的点云数据。根据点云数据，采用三维点云重构算法建立环境模型。可以理解，由于受到测量设备和使用环境的限制，在获取外部环境中物体表面测量数据时，每次测量得到的点云数据通常为物体的部分表面，且可能会出现平移错位或旋转错位等现象，导致点云数据与实际理想数据出现偏差。因此，可以对局部点云数据进行整合和配准，以得到外部环境中物体完整表面的点云数据。可以理解，本申请对三维点云重构算法不作限定，只要其可以对采集到的点云数据进行曲面重建，并可以得到符合碰撞判断要求的环境模型即可。

在其中一个实施例中，根据点云数据，采用三维点云重构算法建立环境模型，包括：根据点云数据，采用点云拼接算法生成外部环境的整体点云数据，采用八叉树对整体点云数据进行空间分割，得到空间网格，并根据点云数据在空间网格的位置，在不同的空间网格中设置不同标志，建立环境模型。在其中一个实施例中，被点云占据的空间网格置为标志1，未被点云占据的空间网格置为标志0，进而可以得到环境模型用于碰撞检测。可以理解，用于三维点云重构的数据结构复杂且数据规模庞大，使得点云数据的存储和压缩成为影响三维点云重构算法效率的关键因素。而一般的散乱点云数据不适合直接进行曲面重构，可以首先对点云数据进行分割处理。可以理解，八叉树应用于三维实体空间的分割，可以提高三维点云重构算法的速度，实现手术机器人的实时避障。在利用八叉树完成外部环境重构之后，可以将手术机器人的每一个连杆30与重构的外部环境中的物体进行碰撞检测。若手术机器人与外部环境中的物体发生碰撞，则手术机器人会避开障碍物。

在其中一个实施例中，获取与手术机器人的外部环境对应的点云数据，包括：采用传感器10实时采集与手术机器人的外部环境对应的点云数据。可以理解，真实的手术环境不是结构化的环境，通常为动态环境。因此，可以采用传感器10实时采集与手术机器人的外部环境对应的点云信息，不断重构手术环境，从而实现了手术机器人的实时避障。

在其中一个实施例中，若手术机器人运动至目标构型需要的时间较长，即手术机器人路径规划中存在多个路径点，则手术机器人运动至目标构型的过程中可能由于外部环境变化导致出现障碍物。此时，在预设情况下，可以无需判断手术机器人是否会发生自身碰撞，只需在手术机器人运动至目标构型的过程中，重复执行判断手术机器人中连杆30与外部环境中的物体是否会发生碰撞的步骤。若发生碰撞，则手术机器人控制系统可以及时控制手术机器人避开新增障碍物，从而实现手术机器人的实时避障。若手术机器人的目标构型为路径规划中相邻或相近的两个路径点，则无需传感器10实时采集外部环境的点云数据即可实现手术机器人的实时避障。

可以理解，路径规划主要指手术机器人按照预定控制指令在已知的地图信息上选择一条从起始点到达目标点的路径，本申请中的路径规划为手术机器人对病灶区域进行处理过程中需要远离或者避开重要器官区域时的路径规划。在手术机器人对病灶区域进行处理时，机械臂的起点和重点的空间坐标固定，但运动过程中机械臂经过的中间位置没有限制。

请一并参见图5-图6，在其中一个实施例中，传感器10为深度相机、双目相机和激光雷达中的一种或多种，且传感器10安装于外部环境的适当位置或者安装于手术机器人的末端。可以理解，深度相机、双目相机和激光雷达等可以获取环境点云的传感器10均可用于本申请，且实际应用中可使用多个传感器10采集点云数据以避免盲区。在其中一个实施例中，传感器10可以直接安装于手术机器人上，也可以固定在手术室中的合适位置。可选的，所述传感器10被安装于手术机器人的执行末端110的侧部，且该传感器10可以绕该执行末端110的纵长轴线旋转，该传感器10还可以沿执行末端110大致平行的方向移动，从而实现传感器10在不同空间位置获取环境点云数据，避免执行末端110自身对传感器10获取环境点云数据的遮挡，以及一些拍摄死角的环境点云数据，从而提升所获取环境点云数据的完整性及精确度。手术机器人避障方法利用深度相机、双目视觉或激光雷达等传感器10感知手术机器人的外部环境，并采集外部环境的点云信息，可以实现手术机器人在动态的复杂手术环境中的避障功能，使得手术机器人可以自动避开障碍物顺利完成指定的手术工作，提高了手术机器人的实用性和智能化程度。

在其中一个实施例中，环境模型包括待手术对象、手术台、医生和机器人移动底座中的一个或多个物体。可以理解，手术机器人不同的环境模型中的物体可以根据实际情况进行替换、增加或者减少。可以根据实际情况替换病人关键部位或者病灶区域的模型。此外，手术机器人的自由度和关节数目可以依据实际情况进行改变。在其中一个实施例中，常见的手术场景包括待手术对象、手术台、医生和机器人移动底座。其中，病人关键部位或病灶区域的模型可以通过医学影像设备获取，如计算机断层扫描成像。而病床模型、机器人移动底座模型和手术机器人模型可以通过三维建模得到。可以理解，在判断手术机器人与外部环境中的物体是否发生碰撞时，可以依次检测待手术对象、手术台、医生和机器人移动底座与手术机器人的每个连杆30之间是否发生碰撞。一旦发生碰撞，则机器人不能运动到该构型，避免碰撞发生。可选的，所述传感器10被安装于一个可移动的支撑件上，该支撑件可以固定在手术机器人上或者独立于所述手术机器人。

在其中一个实施例中，手术机器人避障方法还包括：若手术机器人的目标构型中的连杆30与环境模型中的物体没有发生碰撞，则控制手术机器人运动至目标构型。可以理解，即当判断手术机器人的目标构型没有与环境模型中的任何一个物体发生碰撞时，可以控制手术机器人运动至目标构型。

在其中一个实施例中，判断连杆30与外部环境中的物体是否会发生碰撞的步骤，包括：采用避障算法判断连杆30与外部环境中的物体是否会发生碰撞。在其中一个实施例中，避障算法为层次包围盒算法。可以理解，包围盒算法为一种求解离散点集最优包围空间的算法，基本思想是用体积稍大且特性简单的几何体，即包围盒近似地代替复杂的几何对象。在其中一个实施例中，可以采用方向包围盒OBB作为避障算法。OBB包围盒是根据物体本身的几何形状来决定包围盒的大小和方向，包围盒无须与坐标轴垂直。OBB包围盒紧密型较好，其可以成倍减少参与相交测试的包围盒数量和基本几何元素的数量，可以提高碰撞检测的准确性和实时性。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种手术机器人避障方法，其特征在于，包括：

2.根据权利要求1所述的手术机器人避障方法，其特征在于，所述判断在所述目标构型中所述基座和与之不连接的所述连杆之间，和/或，任意两个不连接的所述连杆之间是否会发生碰撞，包括：

3.根据权利要求1所述的手术机器人避障方法，其特征在于，获取与所述手术机器人外部环境对应的所述点云数据，并根据所述点云数据建立所述环境模型的步骤，包括：

4.根据权利要求3所述的手术机器人避障方法，其特征在于，所述根据所述点云数据，采用所述三维点云重构算法建立所述环境模型，包括：

根据所述点云数据，采用点云拼接算法生成所述外部环境的整体点云数据，采用八叉树对所述整体点云数据进行空间分割，得到空间网格，并根据所述点云数据在所述空间网格的位置，在不同的所述空间网格中设置不同标志，建立所述环境模型。

5.根据权利要求3所述的手术机器人避障方法，其特征在于，所述获取与所述手术机器人的所述外部环境对应的所述点云数据，包括：

6.根据权利要求5所述的手术机器人避障方法，其特征在于，所述传感器为深度相机、双目相机和激光雷达中的一种或多种，且所述传感器安装于所述外部环境中或所述手术机器人的末端。

7.根据权利要求1所述的手术机器人避障方法，其特征在于，所述环境模型包括待手术对象、手术台、医生和机器人移动底座中的一个或多个物体。

8.根据权利要求1所述的手术机器人避障方法，其特征在于，还包括：

9.根据权利要求1所述的手术机器人避障方法，其特征在于，判断所述连杆与所述外部环境中的所述物体是否会发生碰撞的步骤，包括：

10.根据权利要求2或9所述的手术机器人避障方法，其特征在于，所述避障算法为层次包围盒算法。