CN115998439A - 手术机器人的碰撞检测方法、可读存储介质及手术机器人 - Google Patents

Abstract

本发明提供一种手术机器人的碰撞检测方法、可读存储介质及手术机器人，所述手术机器人的碰撞检测方法包括：获取手术环境中预定组织于不同视角下的至少两个图像信息；其中所述预定组织包括预定组织的特征点；根据所述至少两个图像信息，获得所述预定组织的空间位置；获取手术机器人的器械臂的末端所连接的器械的预期空间位姿；根据所述预定组织的空间位置和所述器械的预期空间位姿确定所述手术器械与所述预定组织的碰撞情况。如此配置，可实现手术器械与预定组织间的碰撞检测，可有效提升手术操作的安全性，保证手术操作安全。

Description

手术机器人的碰撞检测方法、可读存储介质及手术机器人

技术领域

本发明涉及医疗器械技术领域，特别涉及一种手术机器人的碰撞检测方法、可读存储介质及手术机器人。

背景技术

手术机器人的出现符合精准外科的发展趋势。手术机器人成为帮助医生完成手术有力工具，如da Vinci手术机器人已经应用在全球各大医院，因其伤害小、出血少、恢复快，为患者带来福音。

手术机器人其设计理念是采用微创伤方式，精准地实施复杂的外科手术。在传统的手术面临种种局限的情况下，发展出了手术机器人来替代传统手术，手术机器人突破了人眼的局限，采用立体成像技术，将内部器官更加清晰的呈现给操作者。在原来手伸不进的区域，器械臂能完成360度的转动、挪动、摆动、夹持，并避免抖动。创口小，出血少，恢复快，大大缩短了患者术后住院时间，术后存活率和康复率也能明显提高，受到广大医患的青睐，现在作为一种高端医疗器械，已广泛运用于各种临床手术中。

手术机器人的手术操作中，手术器械多处于人体腔道内，手术器械与预定组织间不可避免存在接触，对于关键组织，如血管、动脉等，手术器械与这些关键组织间的碰撞接触是存在风险的，故实现手术器械与组织间的碰撞检测至关重要。

然而目前在工业机器人和手术机器人中，主要有两种方法进行碰撞检测：在工具臂的末端或器械末端设置力传感器进行碰撞检测；以及基于关节传感器进行碰撞检测。这两种方法一方面都需要额外设置的传感器，增加了手术机器人结构的复杂性；另一方面均是通过接触才能实现碰撞检测，然而一些情况下，手术器械在接触到组织时，就已经产生风险。

发明内容

本发明的目的在于提供一种手术机器人的碰撞检测方法、可读存储介质及手术机器人，以解决现有的手术机器人与组织间存在的碰撞检测问题。

为解决上述技术问题，本发明提供一种手术机器人的碰撞检测方法，其包括：

获取手术环境中预定组织于不同视角下的至少两个图像信息；

根据所述至少两个图像信息，获得所述预定组织的空间位置；

获取手术机器人的器械臂的末端所连接的手术器械的空间位姿；

根据所述预定组织的空间位置和所述手术器械的空间位姿确定所述手术器械与所述预定组织的碰撞情况；

可选的，所述预定组织具有特征点，所述特征点基于医学影像通过建立组织模型来确定。

可选的，根据所述至少两个图像信息，获得所述预定组织的空间位置的步骤包括：

根据所述至少两个图像信息，建立所述预定组织的实时的三维模型，经与所述组织模型配准后，实时得到所述特征点在图像采集装置坐标系中的位置信息，从而得到所述预定组织的空间位置。

可选的，利用至少两个图像采集单元获取所述至少两个图像信息，至少两个所述图像采集单元设置于内窥镜上，所述内窥镜连接于所述手术机器人的持镜臂的末端。

可选的，获得所述预定组织的空间位置的步骤包括：

获取所述图像信息中所述特征点在内窥镜坐标系中的位置信息；

获取所述内窥镜在持镜臂基坐标系中的位姿信息；

根据所述特征点在内窥镜坐标系中的位置信息以及所述内窥镜在持镜臂基坐标系中的位姿信息，得到所述特征点在持镜臂基坐标系下的位置信息，进而得到所述特征点在基坐标系下的位置信息，从而得到所述预定组织的空间位置。

可选的，所述手术器械的空间位姿包括当前空间位姿和预期空间位姿；所述碰撞情况包括当前碰撞情况和预期碰撞情况。

可选的，获取所述手术器械的预期空间位姿的步骤包括：

获取所述手术器械上的至少两个器械标记点在器械臂基坐标系中的位置信息，进而得到所述器械标记点在基坐标系下的位置信息；

获取所述器械标记点的运动信息；

根据所述器械标记点的位置信息和运动信息，得到所述器械标记点的预期空间位置；

根据至少两个所述器械标记点的预期空间位置，得到所述手术器械的预期空间位姿。

可选的，确定碰撞情况的步骤包括：

以所述特征点为球心，以Ro为半径建立球体Co；

以所述手术器械上的器械标记点为球心，以Rt为半径建立球体Ct；

若所述球体Co和所述球体Ct间的距离D<Ro+Rt，则标记所述特征点与所述器械标记点接触。

可选的，所述预定组织包括M个特征点，其中有N个特征点与所述器械标记点发生接触，N为自然数，M为不小于N的自然数，若N与M的比值大于阈值P，P∈(0，1]，则确定所述手术器械将要与所述预定组织碰撞。

可选的，若所述碰撞情况包括所述手术器械与所述预定组织碰撞，则进行报警、提示和启动安全保护机制中的至少一种。

可选的，启动安全保护机制的步骤包括：

根据所述碰撞情况为所述手术器械的运动设置虚拟边界，并限制所述手术器械进入所述虚拟边界的范围内。

为解决上述技术问题，本发明还提供一种可读存储介质，其上存储有程序，所述程序运行时，实现如上所述的手术机器人的碰撞检测方法。

为解决上述技术问题，本发明还提供一种手术机器人系统，其包括：器械臂、至少两个图像采集单元以及碰撞处理单元；

所述器械臂的末端用于连接手术器械；所述器械臂和至少两个所述图像采集单元分别与所述碰撞处理单元通信连接；所述碰撞处理单元用于执行如上所述的手术机器人的碰撞检测方法。

综上所述，本发明提供的手术机器人的碰撞检测方法、可读存储介质及手术机器人系统中，所述手术机器人的碰撞检测方法包括：获取手术环境中预定组织于不同视角下的至少两个图像信息；其中所述预定组织包括预定组织的特征点；根据所述至少两个图像信息，获得所述预定组织的空间位置；获取手术机器人的器械臂的末端所连接的器械的预期空间位姿；根据所述预定组织的空间位置和所述器械的预期空间位姿确定所述手术器械与所述预定组织的碰撞情况。

如此配置，基于不同视角的至少两个图像信息，以及获取的手术器械的空间位姿，可实现手术器械与预定组织间的碰撞检测，可有效提升手术操作的安全性，避免误伤周围正常组织、血管与神经，保证手术操作安全。进一步的，由于使用视觉处理技术，降低了对传感设备的需求，简化了系统的结构。

附图说明

本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：

图1是本发明涉及的手术机器人系统的应用场景的示意图；

图2是本发明实施例的主端装置的示意图；

图3是本发明实施例的从端装置的示意图；

图4a是本发明实施例的手术器械的示意图；

图4b是图4a的A部放大图；

图5是本发明实施例的术野图像的示意图；

图6是本发明实施例的手术机器人的碰撞检测方法的流程图；

图7是本发明实施例的术前医学影像扫描的示意图；

图8是本发明实施例的特征点的标记过程的流程图；

图9是本发明实施例的双目视觉的示意图；

图10是本发明实施例的双目视觉的计算原理图；

图11是本发明实施例的获取特征点与器械标记点的位置信息的流程图；

图12a是本发明实施例的手术器械与组织的位置空间关系的示意图；

图12b是图12a的B部放大图；

图13是本发明实施例的碰撞检测的流程图；

图14是本发明实施例的碰撞安全视觉告警的示意图；

图15是本发明实施例的碰撞安全声光告警的示意图。

附图中：

100-主端装置；101-主操作手；102-成像设备；103-脚踏手术控制设备；200-从端装置；201-底座；210-器械臂；221-手术器械；222-内窥镜；225-计算机；226-医学影像扫描装置；240-传动机构；241-器械杆；242-操作机构；251-自转关节；252-俯仰关节；253-偏摆关节；254-开合关节；300-图像台车；302-显示设备；400-支撑装置；410-患者；500-呼吸机和麻醉机；600-器械台；701-第一图像采集单元；702-第二图像采集单元；711-第一图像；712-第二图像。

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。

如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，术语“近端”通常是靠近操作者的一端，术语“远端”通常是靠近患者即靠近病灶的一端，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。此外，如在本发明中所使用的，一元件设置于另一元件，通常仅表示两元件之间存在连接、耦合、配合或传动关系，且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动，而不能理解为指示或暗示两元件之间的空间位姿关系，即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的目的在于提供一种手术机器人的碰撞检测方法、可读存储介质及手术机器人，以解决现有的手术机器人与组织间存在的碰撞检测问题。

下面结合附图进行描述。

请参考图1至图15，其中，图1是本发明涉及的手术机器人系统的应用场景的示意图；图2是本发明实施例的主端装置的示意图；图3是本发明实施例的从端装置的示意图；图4a是本发明实施例的手术器械的示意图；图4b是图4a的A部放大图；图5是本发明实施例的术野图像的示意图；图6是本发明实施例的手术机器人的碰撞检测方法的流程图；图7是本发明实施例的术前医学影像扫描的示意图；图8是本发明实施例的特征点的标记过程的流程图；图9是本发明实施例的双目视觉的示意图；图10是本发明实施例的双目视觉的计算原理图；图11是本发明实施例的获取特征点与器械标记点的位置信息的流程图；图12a是本发明实施例的手术器械与组织的位置空间关系的示意图；图12b是图12a的B部放大图；图13是本发明实施例的碰撞检测的流程图；图14是本发明实施例的碰撞安全视觉告警的示意图；图15是本发明实施例的碰撞安全声光告警的示意图。

图1示出了一个手术机器人系统的应用场景，所述手术机器人系统包括主从式遥操作的手术机器人，即所述手术机器人系统包括主端装置100(即医生端控制装置)、从端装置200(即患者端控制装置)、主控制器以及用于支撑手术对象进行手术的支撑装置400(例如，手术床)。需要说明的，在一些实施例中，支撑装置400也可替换为其它的手术操作平台，本发明对此不限。

请参考图2，所述主端装置100为遥操作手术机器人的操作端，并包含安装其上的主操作手101。所述主操作手101用于接收操作者的手部运动信息，以作为整个系统的运动控制信号输入。可选的，所述主控制器亦设置在所述主端装置100上。优选的，主端装置100还包括成像设备102，所述成像设备102可为操作者提供立体图像，为操作者进行手术操作提供术野图像。所述术野图像包括手术器械类型、数量、在腹中的位姿，病患器官组织以及周围器官组织血管的形态、布置等。可选的，主端装置100还包括脚踏手术控制设备103，操作者还可通过脚踏手术控制设备103，完成电切、电凝等相关操作指令的输入。

请参考图3，从端装置200为遥操作手术机器人的具体执行平台，并包括底座201及安装于其上的手术执行组件。所述手术执行组件包括器械臂210和器械，所述器械挂载或连接于器械臂210的末端。进一步的，器械包括用于具体执行手术操作的手术器械221(如高频电刀等)以及用于辅助观察的内窥镜222等；相应的，用于连接或挂载内窥镜222的器械臂210可称为持镜臂。

在一个实施例中，所述器械臂210包括调整臂和工作臂。所述工具臂为机械不动点机构，用于驱动器械围绕机械不动点运动，以实现对支撑装置400上的患者410进行微创伤手术治疗或拍摄操作。所述调整臂用于调整机械不动点在工作空间的位姿。在另外一个实施例中，所述器械臂210为一个至少具有六个自由度的空间构型的机构，用于在程序控制下驱动手术器械221围绕一主动不动点运动。所述手术器械221用于执行具体的手术操作，如夹、切、剪等操作，请参考图4a和图4b，在一个示范例中，手术器械221包括：传动机构240、器械杆241以及操作机构242。该手术器械221可沿器械杆241的轴向进行伸缩移动；可绕器械杆241的周向进行自转运动，即形成自转关节251；操作机构242可进行俯仰运动、偏摆运动和开合运动，分别形成俯仰关节252、偏摆关节253和开合关节254，以便实现手术操作中的各种应用。需要说明的，由于实际中手术器械221和内窥镜222有一定的体积，上述的“不动点”应理解为一个不动区域。当然本领域技术人员可根据现有技术对“不动点”进行理解。

主控制器分别与主端装置100、从端装置200通信连接，用于根据主操作手101的运动控制手术执行组件的运动，具体而言，所述主控制器包括主从映射模块，所述主从映射模块用于获取所述主操作手101的末端位姿，以及预定的主从映射关系，获得手术执行组件的期望末端位姿，进而控制器械臂210驱动器械运动到期望的末端位姿。进一步，所述主从映射模块还用于接收器械功能操作指令(如电切、电凝等相关操作指令)，控制手术器械221的能量驱动器，以释放能量实现电切、电凝等手术操作。一些实施例中，主控制器还接受手术执行组件所受到的作用力信息(例如人体组织器官对手术器械的作用力信息)，并将手术执行组件所受到的作用力信息反馈给主操作手101，以使操作者能够更加直观地感受手术操作的反馈力。

进一步，所述医疗机器人系统还包括图像台车300。所述图像台车300包括：与所述内窥镜222通信连接图像处理单元(未图示)。所述内窥镜222用于获取腔内(指患者的体腔内)的术野图像。所述图像处理单元用于对所述内窥镜222所获取的术野图像进行图像化处理，并传输至所述成像设备102，以便于操作者观察到术野图像。可选的，所述图像台车300还包括显示设备302。所述显示设备302与所述图像处理单元通信连接，用于为辅助操作者(例如护士)实时提供显示术野图像或其它的辅助显示信息。

可选的，在一些手术的应用场景中，手术机器人系统还包括呼吸机和麻醉机500以及器械台600等辅助部件，以用于供手术中使用。本领域技术人员可根据现有技术对这些辅助部件进行选择和配置，这里不再展开描述。

请参考图5，其示出了一个手术操作空间场景，在一个示范例中，可在患者410体表打3～4个手术孔，并安装固定具有通孔的戳卡，手术器械221与内窥镜222分别通过戳卡孔进入体内的手术操作空间。

在正常手术操作时，操作者(例如，主操作医生)在术野图像的引导下，通过主从遥操作，对手术器械221的末端位姿进行控制。手术中，操作者坐在位于无菌区之外的主端装置100前，通过成像设备102观察传回的术野图像，并通过操作主操作手101来控制手术执行组件运动，以完成各种手术操作。在手术操作时，手术孔的位姿会保持不动(即形成不动点)，以避免挤压损伤周围组织，操作者在内窥镜222所拍摄的术野图像的指引下，通过操作手术器械221，对病灶组织进行切割、电切电凝、缝合，来完成既定手术目标。在手术空间中，如图5所示，多个手术器械221和内窥镜222分别通过戳卡孔深入到人体内的狭窄空间中；内窥镜222可实时反馈术野的手术器械221和组织的图像信息。在术中，手术器械221容易与易受损伤的关键组织部位(即预定组织)，如动脉血管、心脏瓣膜等产生碰撞。

为了解决手术器械221与预定组织的碰撞问题，请参考图6，本实施例提供一种手术机器人的碰撞检测方法，其包括：

步骤S1：获取手术环境中预定组织于不同视角下的至少两个图像信息；

步骤S2：根据所述至少两个图像信息，获得所述预定组织的空间位置；

步骤S3：获取手术机器人的器械臂的末端所连接的手术器械的空间位姿；

步骤S4：根据所述预定组织的空间位置和所述手术器械的空间位姿确定所述手术器械与所述预定组织的碰撞情况。

可选的，所述手术机器人系统包括至少两个图像采集单元和碰撞处理单元，至少两个图像采集单元用于获取不同视角的至少两个图像信息，所述器械臂210和至少两个图像采集单元分别与所述碰撞处理单元通信连接；所述碰撞处理单元用于执行如上所述的手术机器人的碰撞检测方法。碰撞处理单元如可设置在从端装置200上，也可以设置在主端装置100上，或独立设置。本发明对碰撞处理单元的具体设置位置不作特别的限定。

如此配置，基于不同视角的至少两个图像信息，以及获取的手术器械221的空间位姿，可实现手术器械221与预定组织间的碰撞检测，可有效提升手术操作的安全性，避免误伤周围正常组织、血管与神经，保证手术操作安全。进一步的，由于使用视觉处理技术，降低了对传感设备的需求，简化了系统的结构。

可选的，所述预定组织具有特征点，所述特征点基于医学影像通过建模来确定。请参考图7，在一个可替代的示范例中，医学影像如可在术前通过医学影像扫描装置226(如CT或MRI等)对患者410扫描来获取。在一个可选的实施例中，在得到医学影像后，经图像处理算法完成手术空间内的组织建模，并完成手术操作场景的三维重建。操作者在术前可根据腹腔内的情况，确定需要特别关注的关键组织的轮廓，并确定和标记特征点。

进一步的，请参考图8，在步骤S1中，特征点的标记过程如可包括：

步骤S11：获取手术空间内的器官组织的医学影像；术前准备阶段使用内窥镜、CT或MRI等医学影像扫描装置扫描获得手术空间内的器官组织的医学影像；

步骤S12：组织建模和图像校准；经由视觉处理算法建立组织模型，即得到器官组织的空间位置信息，并可进一步经特定校准点完成图像校准；

步骤S13：标记关键组织的特征点；经由机器学习算法或医生明确需要特别关注的重要的关键组织部位，从而确定需要进行碰撞检测的预定组织的轮廓和特征点，并进行标记，以便在术中可实时更新预定组织的特征点的位置。在一个应用场景下，对于手术空间的器官组织而言，需要特别关注易受损伤的预定组织部位，如动脉血管、心脏瓣膜等，对于一般组织，即使与手术器械发生碰撞，也不会造成危害，可将这部分组织剔除出预定组织，而不进行特别关注。

步骤S2中，根据所述至少两个图像信息，获得所述预定组织的空间位置的步骤包括：根据所述至少两个图像信息，建立所述预定组织的实时的三维模型，经与所述组织模型配准后，实时得到所述特征点在图像采集装置坐标系中的实时的位置信息，从而得到预定组织的空间位置。

具体的，根据所述至少两个图像信息，建立预定组织的实时的三维模型的原理如可基于双目视觉原理，下面结合图9和图10，对双目视觉的原理进行说明。

如图9所示，两个图像采集单元(在图9中分别为第一图像采集单元701和第二图像采集单元702)对同一个物体P呈现的图像P1、P2(在图9中分别为第一图像711和第二图像712)存在差异，也称“视差”。视差越大，可以探测的深度越小；反之，视差越小，可以探测的深度越大。视差的大小对应着物体与两个图像采集单元之间距离的远近。

进一步地，如图10所示，两个图像采集单元的光心距离，即基线记为b，两个图像采集单元的焦距均为f。两个图像采集单元在同一时刻观看到被测物体的同一点P(x，y，z)，在第一图像采集单元701和第二图像采集单元702所采集的第一图像711和第二图像712，点P的图像分别为P₁和P₂，其中P₁的坐标为(x_l，y_l)，P₂的坐标为(x_r+b，y_r)，根据相似三角形原理可以得到如下关系式：

由式(1)可得如下关系式：

根据上述式(2)-(4)，可得到被测物体上的点P在图像采集装置坐标系下的三维坐标信息。同理，根据上述式(2)-(4)可得到被测物体上的任意特征点在双目图像采集装置坐标系下的三维坐标信息，进而可构建被测物体的三维模型。在得到预定组织的实时的三维模型后，可根据本领域常见的配准方法，与术前建立的组织模型进行配准，由此即可得到特征点在图像采集装置坐标系下实时的位置信息，从而可得到预定组织的空间位置。

可选的，在一些实施例中，至少两个所述图像采集单元设置于内窥镜222上，即内窥镜222为3D内窥镜，其具有至少两个摄像头。此时，图像采集装置坐标系即为内窥镜坐标系。在另一些实施例中，可利用两个具有单目摄像头的2D内窥镜分别配置为图像采集单元。当然在其它的一些实施例中，所述图像采集单元也可以独立于内窥镜222之外，本实施例对此不限。

进一步，获得所述预定组织的空间位置的步骤包括：

步骤S21：获取所述图像信息中所述特征点在内窥镜坐标系中的位置信息；

步骤S22：获取所述内窥镜在持镜臂基坐标系中的位姿信息；

步骤S23：根据所述特征点在内窥镜坐标系中的位置信息以及所述内窥镜在持镜臂基坐标系中的位姿信息，得到所述特征点在持镜臂基坐标系下的位置信息，进而得到所述特征点在基坐标系下的位置信息，从而得到所述预定组织的空间位置。

手术器械221的当前空间位姿如可通过主控制器获取，例如可通过获取器械臂210和手术器械221的当前指令位姿，通过坐标系转换计算得到。

可选的，获取所述手术器械221的预期空间位姿的步骤包括：

步骤S31：获取所述手术器械221上的至少两个器械标记点在器械臂基坐标系中的位置信息；进而得到所述器械标记点在基坐标系下的位置信息；

步骤S32：获取所述器械标记点的运动信息；

步骤S33：根据所述器械标记点的位置信息和运动信息，得到所述器械标记点的预期空间位置；

步骤S34：根据至少两个所述器械标记点的预期空间位置，得到所述手术器械的预期空间位姿。

需要说明的是，上述持镜臂基坐标系、器械臂基坐标系分别是指持镜臂、器械臂上某一参考基点为坐标原点形成的坐标系，基坐标系可以是以底座上某一参考基点为坐标原点形成的坐标系，也可以是从端装置200上其它的参考基点为坐标原点形成的坐标系，本发明对此不限。

请参考图11，开始手术操作后，由内窥镜222的至少两个图像采集单元实时获取手术空间的至少两个图像信息，建立组织模型，得到预定组织的特征点在内窥镜坐标系中的位置信息，从而得到预定组织的特征点在基坐标系中的位置信息；同时由器械臂210和手术器械221的运动信息，通过运动学计算得到手术器械221上的器械标记点在器械臂基坐标系中的当前空间位置和预期空间位置；且由内窥镜臂和内窥镜222的运动信息可得到内窥镜222在持镜臂基坐标系中的位姿信息；根据坐标转换原理，可计算得到底座的基坐标系下的特征点的位置信息及器械标记点的当前位置信息和预期位置信息。

下面结合图12a和图12b，通过一个示范例对预定组织的空间位置以及手术器械221的空间位姿的获取步骤进行说明。在图12b示出的示范例中，预定组织包括四个特征点O1、O2、O3、O4，该手术应用场景中，从端装置200包括3条器械臂210(分别为器械臂210-1、器械臂210-2和器械臂210-3)、两个手术器械221(分别为手术器械221a和手术器械221b)以及一个具有两个图像采集单元的内窥镜222。手术器械221a上具有两个器械标记点T1、T2，手术器械221b上具有两个器械标记点T3、T4，手术器械221a挂载连接于器械臂210-1上，手术器械221b挂载连接于器械臂210-2上，内窥镜222挂载连接于器械臂210-3上，此时器械臂210-3亦被称为持镜臂。

步骤S31：术中由内窥镜222可实时获得手术空间内的组织的图像信息，并由图像处理单元实时更新，可得到在内窥镜坐标系{Oe}中各特征点的位置信息；

内窥镜222和手术器械221a、221b均安装在器械臂210上，从端装置200之底座201的基坐标系设为{Ob}，器械臂210-1的器械臂基坐标系为{Ob1}，器械臂210-2的器械臂基坐标系为{Ob2}，器械臂210-3(即持镜臂)的持镜臂基坐标系为{Ob3}。

计算得到内窥镜222相对于持镜臂基坐标系{Ob3}的位姿信息，即Oe在持镜臂基坐标系{Ob3}的位置

进而由运动学关系可得到特征点O1在基坐标系{Ob}下的位置信息

其中，

为持镜臂基坐标系{Ob3}相对于基坐标系{Ob}的位姿信息，

为特征点O1在内窥镜坐标系{Oe}中的位姿信息。由此计算得到手术器械221的各器械标记点相对于各自基坐标系的位置信息，即器械标记点T1、T2在器械臂基坐标系{Ob1}中的位置

器械标记点T3、T4在器械臂基坐标系{Ob2}中的位置

进而由运动学关系可得到各器械标记点在基坐标系{Ob}下的当前位置信息：

进而即可得到各手术器械221在基坐标系{Ob}下的当前位姿信息。

步骤S32：器械标记点的运动信息包括速度信息、加速度信息、方向信息等。虚线以速度信息为例进行说明。器械标记点的速度信息如可由微分运动学得到：

其中，J为器械标记点相对于器械臂基坐标系的雅可比矩阵；

表示关节i对器械标记点的线速度的影响矩阵；

表示关节i对器械标记点的角速度的影响矩阵；

表示器械臂中各关节的关节速度；v_e表示器械标记点的速度。

步骤S33：如上式(7)和式(8)，经积分可得器械标记点在后续一定时间段内的可能的预期位置信息：

其中，p₀表示器械标记点的当前位置；

表示经过t_n时间后器械标记点的预期位置。

步骤S34：由此即可得到手术器械的预期空间位姿，以便于确定碰撞情况。

由于手术器械221的空间位姿包括当前空间位姿和预期空间位姿，相应的，碰撞情况包括当前碰撞情况和预期碰撞情况。通过判断特征点的位置信息是否在器械标记点的包络区域或预期包络区域内，即可得到预定组织与手术器械221的当前碰撞情况和预期碰撞情况。

请参考图13，在一个示范例中，步骤S4中确定碰撞情况的步骤包括：

步骤S41：以所述特征点O_o为球心,O_o的位置为(x_o0，y_o0，z_o0)，以Ro为半径建立球体Co：

C_o:(x-x_o0)²+(y-y_o0)²+(z-z_o0)²＝R_o ²  (10)

步骤S42：以所述手术器械上的器械标记点T_o为球心,T_o的位置为(x_t0，y_t0，z_t0)，以Rt为半径建立球体Ct：

C_t:(x-x_t0)²+(y-y_t0)²+(z-z_t0)²＝R_t ²   (11)

步骤S43：若所述球体Co和所述球体Ct间的距离D<Ro+Rt，则标记所述特征点与所述器械标记点接触，即表示手术器械221与预定组织产生碰撞；否则标记所述特征点与所述器械标记点未发生接触。具体见下式(12)和式(13)：

D<(R_o+R_t)     (13)

进一步的，对于某一预定组织而言，可能存在多个特征点的情况，针对这种情况，可根据实际设定阈值P，来制定该预定组织的碰撞规则。在一个示范例中，所述预定组织包括M个特征点，其中有N个特征点与所述器械标记点发生接触，N为自然数，M为不小于N的自然数，若N与M的比值大于阈值P，P∈(0，1]，则确定所述手术器械221将要与所述预定组织碰撞。其中M、N、P的值均可根据实际进行设定，且P值越小表明对该预定组织的碰撞检测越重要。

可选的，步骤S4中，启动安全保护机制的步骤包括：

步骤S44：根据所述碰撞情况为所述手术器械221的运动设置虚拟边界，并限制所述手术器械221进入所述虚拟边界的范围内。在一个示范例中，根据主端装置100的运动信息，经由主从映射得到从端装置200的期望运动信息后，根据预碰撞信息设置虚拟边界限制，避免手术器械221运动到与预定组织发生碰撞的位置；同时根据碰撞情况和从端装置200的期望运动指令，使得从端装置200的器械臂210和手术器械221远离碰撞位置。

可选的，若所述碰撞情况包括所述手术器械与所述预定组织碰撞，则进行报警、提示和启动安全保护机制中的至少一种。优选的，步骤S4中，进行报警或提示的步骤包括：

步骤S45：在成像设备102和/或显示设备302中，添加碰撞信息的文字提示，且对手术器械221与预定组织间的碰撞部位进行着重显示，如红色高亮显示等，以对医生和助手通过图像显示的方式进行报警或提示，如图14所示。

可选的，步骤S4中，进行报警或提示的步骤包括：

步骤S46：通过警示灯闪烁，和/或，通过声音提示。请参考图15，在一个示范例中，在器械臂210之工具臂的器械外侧端设置警示灯，若该器械臂210所挂载或连接的手术器械221发生碰撞(即当前碰撞情况为手术器械221与预定组织产生碰撞)，则进行较高频率的闪烁，如2Hz黄灯闪烁。若该器械臂210所挂载或连接的手术器械221即将发生碰撞(即预期碰撞情况为手术器械221与预定组织产生碰撞)，则进行较低频率的闪烁，如1Hz黄灯闪烁。进一步的，器械臂210上还可以设置报警声音提示装置，进行不同等级的声音提示，如若发生碰撞，则2Hz声音提示，若即将发生碰撞，则1Hz声音提示等。

进一步的，本发明实施例还提供一种可读存储介质，其上存储有程序，所述程序运行时，实现如上所述的手术机器人的碰撞检测方法。该可读存储介质可独立设置，也可以集成设置于手术机器人系统中，如可集成在碰撞处理单元中，本发明对此不限。

综上所述，本发明提供的手术机器人的碰撞检测方法、可读存储介质及手术机器人系统中，所述手术机器人的碰撞检测方法包括：获取手术环境中预定组织于不同视角下的至少两个图像信息；其中所述预定组织包括预定组织的特征点；根据所述至少两个图像信息，获得所述预定组织的空间位置；获取手术机器人的器械臂的末端所连接的器械的预期空间位姿；根据所述预定组织的空间位置和所述器械的预期空间位姿确定所述手术器械与所述预定组织的碰撞情况。如此配置，基于不同视角的至少两个图像信息，以及获取的手术器械的空间位姿，可实现手术器械与预定组织间的碰撞检测，可有效提升手术操作的安全性，避免误伤周围正常组织、血管与神经，保证手术操作安全。进一步的，由于使用视觉处理技术，降低了对传感设备的需求，简化了系统的结构。

需要说明的，上述若干实施例之间可相互组合。上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (13)

1.一种手术机器人的碰撞检测方法，其特征在于，包括：

获取手术环境中预定组织于不同视角下的至少两个图像信息；

根据所述至少两个图像信息，获得所述预定组织的空间位置；

获取手术机器人的器械臂的末端所连接的手术器械的空间位姿；

根据所述预定组织的空间位置和所述手术器械的空间位姿确定所述手术器械与所述预定组织的碰撞情况。

2.根据权利要求1所述的手术机器人的碰撞检测方法，其特征在于，所述预定组织具有特征点，所述特征点基于医学影像通过建立组织模型来确定。

3.根据权利要求2所述的手术机器人的碰撞检测方法，其特征在于，根据所述至少两个图像信息，获得所述预定组织的空间位置的步骤包括：

根据所述至少两个图像信息，建立所述预定组织的实时的三维模型，经与所述组织模型配准后，实时得到所述特征点在图像采集装置坐标系中的实时的位置信息，从而得到所述预定组织的空间位置。

4.根据权利要求3所述的手术机器人的碰撞检测方法，其特征在于，利用至少两个图像采集单元获取所述至少两个图像信息，至少两个所述图像采集单元设置于内窥镜上，所述内窥镜连接于所述手术机器人的持镜臂的末端。

5.根据权利要求4所述的手术机器人的碰撞检测方法，其特征在于，获得所述预定组织的空间位置的步骤包括：

获取所述图像信息中所述特征点在内窥镜坐标系中的位置信息；

获取所述内窥镜在持镜臂基坐标系中的位姿信息；

根据所述特征点在内窥镜坐标系中的位置信息以及所述内窥镜在持镜臂基坐标系中的位姿信息，得到所述特征点在持镜臂基坐标系下的位置信息，进而得到所述特征点在基坐标系下的位置信息，从而得到所述预定组织的空间位置。

6.根据权利要求1所述的手术机器人的碰撞检测方法，其特征在于，所述手术器械的空间位姿包括当前空间位姿和预期空间位姿；所述碰撞情况包括当前碰撞情况和预期碰撞情况。

7.根据权利要求6所述的手术机器人的碰撞检测方法，其特征在于，获取所述手术器械的预期空间位姿的步骤包括：

获取所述手术器械上的至少两个器械标记点在器械臂基坐标系中的位置信息，进而得到所述器械标记点在基坐标系下的位置信息；

获取所述器械标记点的运动信息；

根据所述器械标记点的位置信息和运动信息，得到所述器械标记点的预期空间位置；

根据至少两个所述器械标记点的预期空间位置，得到所述手术器械的预期空间位姿。

8.根据权利要求2所述的手术机器人的碰撞检测方法，其特征在于，确定碰撞情况的步骤包括：

以所述特征点为球心，以Ro为半径建立球体Co；

以所述手术器械上的器械标记点为球心，以Rt为半径建立球体Ct；

若所述球体Co和所述球体Ct间的距离D<Ro+Rt，则标记所述特征点与所述器械标记点接触。

9.根据权利要求8所述的手术机器人的碰撞检测方法，其特征在于，所述预定组织包括M个特征点，其中有N个特征点与所述器械标记点发生接触，N为自然数，M为不小于N的自然数，若N与M的比值大于阈值P，P∈(0，1]，则确定所述手术器械将要与所述预定组织碰撞。

10.根据权利要求1所述的手术机器人的碰撞检测方法，其特征在于，若所述碰撞情况包括所述手术器械与所述预定组织碰撞，则进行报警、提示和启动安全保护机制中的至少一种。

11.根据权利要求1所述的手术机器人的碰撞检测方法，其特征在于，启动安全保护机制的步骤包括：

根据所述碰撞情况为所述手术器械的运动设置虚拟边界，并限制所述手术器械进入所述虚拟边界的范围内。

12.一种可读存储介质，其上存储有程序，其特征在于，所述程序运行时，实现根据权利要求1～11中任一项所述的手术机器人的碰撞检测方法。

13.一种手术机器人系统，其特征在于，包括：器械臂、至少两个图像采集单元以及碰撞处理单元；

所述器械臂的末端用于连接手术器械；所述器械臂和至少两个所述图像采集单元分别与所述碰撞处理单元通信连接；所述碰撞处理单元用于执行根据权利要求1～11中任一项所述的手术机器人的碰撞检测方法。

Images