CN115444556A - 电磁导航机器人的控制方法、系统、设备及介质 - Google Patents

Abstract

本发明提供一种电磁导航机器人的控制方法、系统、设备及介质，包括：计算术前CT影像数据和体表三维空间数据之间的坐标转化关系M1；计算视觉相机空间和电磁坐标空间之间的坐标转化关系M2；根据M1和M2，计算坐标转化关系M12；计算三维超声影像数据和术前CT影像数据之间的坐标转化关系M3；根据M1和M3，计算坐标转化关系M13；对三维超声影像数据和术前CT影像数据进行仿射变换求解得到变换矩阵M4，得到粗配准结果；对粗配准结果进行形变变换，得到术中形变三维影像；计算机械臂与手术器械之间的坐标转化关系M5；通过术中形变三维影像、M1、M2、M12、M3、M13、M4和M5计算器械移动路径上的坐标，并控制器械移动。本发明具有更加高效准确安全的手术辅助效果。

Description

电磁导航机器人的控制方法、系统、设备及介质

技术领域

本发明涉及医疗设备技术领域，具体地，涉及一种胸腹部超声影像电磁导航机器人系统，尤其涉及一种电磁导航机器人的控制方法、系统、设备及介质。

背景技术

电磁导航手术机器人系统可以解决目前在穿刺手术定位和治疗的临床实践中，医生需要克服经验不足、手术影像信息不充分不实时、穿刺准确度和安全性不足等问题，借助低成本实时的超声影像进行辅助引导介入微创诊疗可以保证技术能够全面普及，适用于广泛的医院，引入电磁定位和手术机器人技术可以在安全性和有效性上带来巨大临床突破。

最接近现有技术的对比文件有文件《[1]毕津滔,张永德,孙波涛.基于电磁跟踪与超声图像的介入机器人穿刺导航方法及实验研究[J].仪器仪表学报,2019,40(7):253-262.》和文件《[2]刘盛,杨志永,姜杉,等.超声图像导航微创手术机器人系统的设计[J].机械科学与技术,2017,36(11):1678-1683.DOI:10.13433/j.cnki.1003-8728.2017.1107.》。其中，上述两个文件均为前列腺介入手术的应用。

参照图1所示，目前基于超声影像的手术机器人前列腺介入手术机器人主要应用在前列腺、肝脏等组织运动较小的部位，对于胸腹部的组织覆盖不足；现有技术方案中所观察的手术影像为2D的超声影像，影像中的解剖组织结构和器械在超声显影上存在难识别、不准确等问题。

目前已有技术中一般对带有电磁定位的传感器进行探头夹持绑定，通过刚性绑定的物理空间相对偏移量进行校准，电磁定位空间和超声探头物理空间的标定过程繁琐、不准确。术中手术操作者需要手持超声探头，长时间操作的繁琐没有用到机械臂进行控制。

电磁导航：基于弱电磁场的空间定位方案，由磁场发生器，信号接收器、数据处理控制单元组成，微小的电磁感应线圈传感器可以植入器械内，在一定空间中能够实现精度小于1mm的准确定位。

刚性变换/刚性形变：空间变换的映射关系是可以通过特定的旋转量和平移量统一变换形变的。

非刚性变换/非刚性形变：空间变换的映射关系不具有唯一性，不能通过平移旋转完成，各个坐标的变换数据各不相同。

配准/标定：一个空间和另一个空间的坐标映射关系。

发明内容

针对现有技术中的缺陷，本发明提供一种电磁导航机器人的控制方法、系统、设备及介质。

根据本发明提供的一种电磁导航机器人的控制方法、系统、设备及介质，所述方案如下：

第一方面，提供了一种电磁导航机器人的控制方法，所述方法包括：

步骤S1：计算术前CT影像数据和体表三维空间数据之间的坐标转化关系M1；

步骤S2：计算视觉相机空间和电磁坐标空间之间的坐标转化关系M2；

步骤S3：根据所述坐标转化关系M1和所述坐标转化关系M2，计算得到所述电磁坐标和所述术前CT影像数据之间的坐标转化关系M12；

步骤S4：计算三维超声影像数据和所述术前CT影像数据之间的坐标转化关系M3；

步骤S5：根据所述坐标转化关系M1和所述坐标转化关系M3，计算三维超声影像数据和所述体表三维空间数据之间的坐标转化关系M13；

步骤S6：对所述三维超声影像数据和所述术前CT影像数据进行仿射变换求解得到变换矩阵M4，得到粗配准结果；对所述粗配准结果进行形变，得到术中形变三维影像；

步骤S7：计算机械臂与器械之间的坐标转化关系M5；

步骤S8：通过所述术中形变三维影像、M1、M2、M12、M3、M13、M4和M5计算器械移动路径上的坐标，并控制器械移动。

优选地，所述步骤S1具体包括：通过CT扫描设备获取所述术前CT影像数据；通过视觉相机获取所述体表三维空间数据；计算所述术前CT影像数据和所述体表三维空间数据之间的坐标转化关系M1。

优选地，所述步骤S2具体包括：将内置电磁传感器的电磁校准工具放入视觉相机场景中，扫描电磁校准工具的表面空间数据，拟合计算所述电磁校准工具的中心坐标；根据电磁校准工具的中心坐标和电磁校准工具的电磁坐标，计算出视觉相机空间和电磁坐标空间之间的坐标转化关系M2。

优选地，所述步骤S4具体包括：通过超声探头扫描获取连续的二维超声影像；将所述二维超声影像转化成所述三维超声影像；计算所述三维超声影像数据和所述术前CT影像数据之间的坐标转化关系M3，进行刚性形变坐标空间注册配准。

优选地，所述步骤S6具体包括：对三维超声影像和术前CT影像数据进行仿射变换求解得到变换矩阵M4，得到粗配准结果；以所述粗配准结果做基于3D patch的非刚性形变，得到形变映射场关系G；通过所述形变映射场关系G对所述粗配准结果做非刚性形变得到所述术中形变三维影像。

优选地，所述步骤S7具体包括：机械臂与器械通过机械臂坐标和植入在器械中的电磁传感器坐标进行注册配准得到坐标转化关系M5。

优选地，所述步骤S8具体包括：获取所述术中形变三维影像中的手术规划路径中的坐标点A，计算术中三维超声坐标：

B＝(G*M4*M3)^-1*A

计算电磁空间坐标：

C＝(M13*M2)^-1*B

计算机械臂空间坐标：

D＝(M5)^-1*C

通过机械臂夹持器械输入机器人控制指令，使得机械臂运动到指定的空间坐标D。

第二方面，提供了一种电磁导航机器人的控制系统，所述系统包括：

模块1：计算术前CT影像数据和体表三维空间数据之间的坐标转化关系M1；

模块2：计算视觉相机空间和电磁坐标空间之间的坐标转化关系M2；

模块3：根据所述坐标转化关系M1和所述坐标转化关系M2，计算得到所述电磁坐标和所述术前CT影像数据之间的坐标转化关系M12；

模块4：计算三维超声影像数据和所述术前CT影像数据之间的坐标转化关系M3；

模块5：根据所述坐标转化关系M1和所述坐标转化关系M3，计算三维超声影像数据和所述体表三维空间数据之间的坐标转化关系M13；

模块6：对所述三维超声影像数据和所述术前CT影像数据进行仿射变换求解得到变换矩阵M4，得到粗配准结果；对所述粗配准结果进行形变，得到术中形变三维影像；

模块7：计算机械臂与器械之间的坐标转化关系M5；

模块8：通过所述术中形变三维影像、M1、M2、M12、M3、M13、M4和M5计算器械移动路径上的坐标，并控制器械移动。

第三方面，提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述方法中的步骤。

第四方面，提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述方法中的步骤。

与现有技术相比，本发明具有如下的有益效果：

1、本发明由于采用基于超声和术前CT影像融合的算法，可以解决超声影像在显影解剖结构中对于胸腹部的组织的成像缺陷，适用范围根据广泛；

2、本发明可以通过2D信息融合到3D术前CT中并进行3D术中实时影像的形变修正，呈现准确的术中3D辅助观察场景画面；

3、本发明通过视觉相机与人体标定、视觉相机与电磁坐标标定间接实现人体与电磁坐标的快速配准标定，人体与超声影像通过探头扫描标定，进而电磁坐标与超声探头和超声影像实现高效标定；

4、本发明通过视觉相机和机械臂的空间标定，由视觉相机获取人体体表空间信息，控制机械臂操作超声探头进行夹持超声扫描。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为现有电磁导航机器人系统流程图；

图2为本发明电磁导航机器人系统流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明实施例提供了一种电磁导航机器人的控制方法，通过术前三维医学影像获得病灶区域的解剖结构信息，术中使用超声探头获取病灶区域连续的二维超声数据，将连续的二维超声数据转化为三维超声数据，通过刚性形变粗配准和非刚性形变精配准得到术中形变三维医学影像，通过机械臂夹持带有电磁定位的手术器械采集定位数据获得电磁和机械臂空间配准关系，通过深度相机和校准工具完成电磁和术中形变三维医学影像的空间配准关系，综合转化为机械臂和术中形变三维医学影像的定位数据关系，将手术规划的数据转为机械臂的目标控制坐标数据，实现完成机器人辅助精准手术动作。参照图2所示，该方法具体内容如下：

步骤S1：获取术前CT影像数据和术中体表三维空间数据，计算得到坐标转化关系M1。

该步骤具体为通过CT扫描设备获取术前CT影像数据；通过视觉相机获取体表三维空间数据；计算术前CT影像数据和体表三维空间数据之间的坐标转化关系M1，M1为视觉空间坐标系和虚拟影像坐标系的转换关系。

步骤S2：将电磁校准工具放入视觉相机场景中，获取电磁校准工具的中心坐标和电磁坐标，计算得到视觉相机空间和电磁坐标空间之间的坐标转化关系M2。

该步骤具体为：设置中心内置电磁传感器的电磁校准工具放入视觉相机场景中，扫描电磁校准工具视觉表面数据，拟合计算电磁校准工具的中心坐标；获取电磁校准工具的电磁坐标；采集电磁校准工具运动过程中的中心坐标和电磁坐标，根据中心坐标和电磁坐标计算出视觉相机空间和电磁坐标空间转化关系M2，M2为视觉空间坐标系和电磁空间坐标系的转换关系。

本实施例中的拟合计算球形电磁校准工具表面数据为视觉相机识别到的点云，通过部分识别到的点可以计算出来球心位置，例如球面方程求解最小二乘误差优化，随机采样一致性算法(RANSAC)拟合求解等计算方法。

步骤S3：根据坐标转化关系M1和坐标转化关系M2计算得到电磁坐标到术前CT影像数据的坐标转化关系M12，M12为虚拟影像坐标系和电磁空间坐标系的转换关系。体表三维空间数据和中心坐标都在视觉空间坐标系，以此为中间转换，得到电磁坐标在虚拟影像中位置。

步骤S4：获取三维超声影像，计算三维超声影像和术前CT影像数据的坐标转化关系M3，进行刚性形变坐标空间注册配准，得到术中超声影像到术前CT影像数据的粗配准结果。

该步骤具体为：在术前，通过视觉相机和机械臂的协同下扫描获取连续的二维超声影像，将二维超声影像转化成三维超声影像，计算三维超声影像和术前CT影像数据的坐标转化关系M3，M3为刚性变换，通过刚性形变坐标空间注册配准，得到三维超声影像到术前CT影像的空间配准关系。

步骤S5：根据坐标转化关系M1和坐标转化关系M3，计算三维超声影像数据和体表三维空间数据之间的坐标转化关系M13。

步骤S6：对三维超声影像和术前CT影像数据进行仿射变换求解得到变换矩阵M4，得到粗配准结果，对粗配准结果进一步形变变换，得到术中形变三维影像。本实施例中的仿射变换又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。

该步骤具体为：对三维超声影像和术前CT影像数据进行仿射变换求解得到变换矩阵M4，得到三维超声影像和术前CT影像数据的粗配准结果；以粗配准结果做基于3Dpatch的非刚性形变，得到形变映射场关系G；通过形变映射场关系G对粗配准结果做非刚性形变得到术中形变三维影像。

步骤S7计算机械臂与手术器械之间的坐标转化关系M5.

该步骤具体为：机械臂与器械通过机械臂坐标和植入在器械中的电磁传感器坐标进行注册配准，得到机械臂与器械的坐标转化关系M5。

步骤S8：通过术中形变三维影像、M1、M2、M12、M3、M13、M4和M5计算器械移动路径上的坐标，并控制器械移动。

该步骤S8具体为：获取术中形变三维影像中的手术规划路径中的坐标点A，计算术中三维超声坐标：

B＝(G*M4*M3)^-1*A

计算电磁空间坐标：

C＝(M13*M2)^-1*B

计算机械臂空间坐标：

D＝(M5)^-1*C

通过机械臂夹持器械输入机器人控制指令，使得机械臂运动到指定的空间坐标D下，即实际运动显示画面中的手术规划坐标点A，完成手术目标。

接下来，对本发明进行更为具体的说明。

获取患者术前CT影像，提取术前CT影像体表数据，通过视觉相机扫描人体体表得到体表三维空间数据，体表三维空间数据和术前CT影像体表数据进行空间注册配准，获得坐标转化关系M1。

设置中心内置电磁传感器的小球校准工具放入视觉相机场景中，扫描小球校准工具视觉表面数据，拟合计算小球中心坐标，与电磁坐标一一对应，采集小球校准工具运动过程中的小球中心坐标和电磁坐标，建立视觉空间坐标和电磁坐标的坐标转化关系M2。

通过M1和M2的坐标转化关系，可以计算得到电磁坐标到术前CT影像坐标的转化关系M12。

在术前，通过视觉相机和机械臂的协同下扫描体表获得连续的2D超声影像，将连续的2D超声影像转化成三维超声影像，计算三维超声影像和术前CT影像体表数据的坐标转化关系M3。

在术中，由于患者的术式体位与术前发生改变，术中的人体呼吸偏移也会发生实际改变，对术前CT数据转和术中超声坐标进行仿射变换求解得到变换矩阵M4，得到粗配准结果。以粗配准结果做基于3D patch的非刚体配准，得到形变映射场关系G。通过形变映射场关系G对粗配准结果做非刚性形变得到术中形变三维CT(即精配准结果)。

通过机械臂坐标和植入在器械中的电磁传感器坐标进行注册配准得到机械臂与器械的坐标转化关系M5。

获取术中形变三维CT中的手术规划路径中的坐标点A，计算术中三维超声坐标B＝(G*M4*M3)^-1*A，进一步地计算得到电磁空间坐标C＝(M13*M2)^-1*B，再进行计算得到机械臂空间坐标D＝(M5)^-1*C，通过机械臂夹持器械输入机器人控制指令，使得器械运动到指定的空间坐标D下，即实际运动显示画面中的手术规划坐标点A，完成手术目标。

在现有技术中均为前列腺介入手术的应用，本发明覆盖的是胸腹部肿瘤组织，包括肺脏、肝脏、脾脏等；本发明使用视觉、2D超声融合3DCT影像学、电磁定位、手术机器人技术，为医生提供融合的3DCT高清显示辅助，以术中实时2D超声为基础数据动态修正3DCT的算法技术，加上电磁定位和机器人手术辅助，形成更加高效准确安全的手术辅助效果。

本发明实施例提供了一种电磁导航机器人的控制方法、系统、设备及介质，配准算法高效简单，通过设计的小球校准工具能够便捷高效的改善现有技术中需要特定电磁传感器在超声探头上装配的不足；引入视觉定位模块，配合机械臂执行超声探头扫描；最终给使用者呈现的是三维导航数据融合机械臂和器械的显示。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种电磁导航机器人的控制方法，其特征在于，包括：

步骤S1：计算术前CT影像数据和体表三维空间数据之间的坐标转化关系M1；

步骤S2：计算视觉相机空间和电磁坐标空间之间的坐标转化关系M2；

步骤S3：根据所述坐标转化关系M1和所述坐标转化关系M2，计算得到所述电磁坐标和所述术前CT影像数据之间的坐标转化关系M12；

步骤S4：获取三维超声影像，计算所述三维超声影像和所述术前CT影像数据之间的坐标转化关系M3；

步骤S5：根据所述坐标转化关系M1和所述坐标转化关系M3，计算所述三维超声影像和所述体表三维空间数据之间的坐标转化关系M13；

步骤S6：对所述三维超声影像和所述术前CT影像数据进行仿射变换求解得到变换矩阵M4，得到粗配准结果；对所述粗配准结果进行形变，得到术中形变三维影像；

步骤S7：计算机械臂与器械之间的坐标转化关系M5；

步骤S8：通过所述术中形变三维影像、M1、M2、M12、M3、M13、M4和M5计算器械移动路径上的坐标，并控制器械移动。

2.根据权利要求1所述的电磁导航机器人的控制方法，其特征在于，所述步骤S1具体包括：通过CT扫描设备获取所述术前CT影像数据；通过视觉相机获取所述体表三维空间数据；计算所述术前CT影像数据和所述体表三维空间数据之间的坐标转化关系M1。

3.根据权利要求1所述的电磁导航机器人的控制方法，其特征在于，所述步骤S2具体包括：将内置电磁传感器的电磁校准工具放入视觉相机场景中，扫描电磁校准工具的表面空间数据，拟合计算所述电磁校准工具的中心坐标；获取电磁校准工具的电磁坐标，根据所述中心坐标和所述电磁坐标，计算出视觉相机空间和电磁坐标空间之间的坐标转化关系M2。

4.根据权利要求1所述的电磁导航机器人的控制方法，其特征在于，所述步骤S4具体包括：通过超声探头扫描获取连续的二维超声影像；将所述二维超声影像转化成所述三维超声影像；计算所述三维超声影像和所述术前CT影像数据之间的坐标转化关系M3，进行刚性形变坐标空间注册配准。

5.根据权利要求1所述的电磁导航机器人的控制方法，其特征在于，所述步骤S6具体包括：对三维超声影像和术前CT影像数据进行仿射变换求解得到变换矩阵M4，得到粗配准结果；以所述粗配准结果做基于3D patch的非刚性形变，得到形变映射场关系G；通过所述形变映射场关系G对所述粗配准结果做非刚性形变得到所述术中形变三维影像。

6.根据权利要求1所述的电磁导航机器人的控制方法，其特征在于，所述步骤S7具体包括：机械臂与器械通过机械臂坐标和植入在器械中的电磁传感器坐标进行注册配准，得到机械臂与器械的坐标转化关系M5。

7.根据权利要求5所述的电磁导航机器人的控制方法，其特征在于，所述步骤S8具体包括：获取所述术中形变三维影像中的手术规划路径中的坐标点A，计算术中三维超声坐标：

B＝(G*M4*M3)^-1*A

计算电磁空间坐标：

C＝(M13*M2)^-1*B

计算机械臂空间坐标：

D＝(M5)^-1*C

通过机械臂夹持器械输入机器人控制指令，使得机械臂运动到指定的空间坐标D下。

8.一种电磁导航机器人的控制系统，其特征在于，包括：

模块1：计算术前CT影像数据和体表三维空间数据之间的坐标转化关系M1；

模块2：计算视觉相机空间和电磁坐标空间之间的坐标转化关系M2；

模块3：根据所述坐标转化关系M1和所述坐标转化关系M2，计算得到所述电磁坐标和所述术前CT影像数据之间的坐标转化关系M12；

模块4：计算三维超声影像数据和所述术前CT影像数据之间的坐标转化关系M3；

模块5：根据所述坐标转化关系M1和所述坐标转化关系M3，计算三维超声影像数据和所述体表三维空间数据之间的坐标转化关系M13；

模块6：对所述三维超声影像数据和所述术前CT影像数据进行仿射变换求解得到变换矩阵M4，得到粗配准结果；对所述粗配准结果进行形变，得到术中形变三维影像；

模块7：计算机械臂与器械之间的坐标转化关系M5；

模块8：通过所述术中形变三维影像、M1、M2、M12、M3、M13、M4和M5计算器械移动路径上的坐标，并控制器械移动。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任一项所述方法中的步骤。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法中的步骤。

Images