CN110215239B - 融合图像和力信号的介入手术器具载荷识别装置及方法 - Google Patents

Abstract

本发明公开了一种融合图像和力信号的介入手术器具载荷识别装置及方法，其中，该装置包括：X光机、力传感器和中控机，其中，X光机放置于手术床旁，用于对被测器具的前端进行间断或连续拍摄，采集被测器具的图像信号和几何模型；力传感器安装在被测器具的末端，用于采集操作被测器具产生的力信号；中控机用于根据图像信号、几何模型和力信号计算出被测器具前端的载荷值，从而根据载荷值判断是否停止器具操纵执行器的手术操作。该装置利用X光机传回的图像信号和力传感器传回的力信号，对器具前端的受力情况进行计算，提高了被测器具受力的估计精度，以此基础进行手术操作可以降低手术风险。

Description

融合图像和力信号的介入手术器具载荷识别装置及方法

技术领域

本发明涉及血管介入手术装置技术领域，特别涉及一种融合图像和力信号的介入手术器具载荷识别装置及方法。

背景技术

近年介入手术的兴起，为广大心血管病患者带来了福音，微创的治疗手段、快速的恢复周期、良好的手术效果，使介入手术越来越得到大众认可，手术数量也逐年增长。但介入手术需要医生一直暴露在X射线下，为了医生的健康着想，形形色色的血管介入手术装置相继问世，为减轻医生工作负担而努力。

在血管介入手术中，一种常见的手术事故是由于医生或机器人操作不慎导致手术器具(如导丝等)刺破病人血管壁而导致的出血，严重者可危及生命。目前主流的手术辅助装置的设计大多只给医生提供X光图像作为参考，医生脱离了原有的操作环境，缺乏手部对器具受力情况的感知，更容易做出错误的判断而导致误操作，甚至酿成悲剧。为了弥补这一手术装置的缺陷，力传感器被加入到相关产品的设计中来。

例如，相关技术一(郭书祥；赵岩；肖楠；王语鑫；曾昱雯；张超楠，血管腔内介入手术机器人导丝/导管操作扭矩检测装置，CN108158656A)采用齿轮加弹簧片的结构，对器具的扭矩进行测量，但这样的测量只是对末端进行直接测量，难以反映器具前端的真实受力情况。相关技术二(肖楠；郭书祥；彭维礼；高宝丰，用于血管腔内介入手术机器人的推送力测量装置，CN104622579A)采用了直接在导丝末端假装力传感器的方案，但只测量了沿导丝方向的阻力，而且也没有据此对前端受力进行分析。另外，也曾有过在导管前端直接假装微型传感装置的做法，但是因为导丝本身极细极软，所以同样的方法对导丝并不适用。相关技术三(Masoud Razban,Javad Dargahi and Benoit Boulet,A Sensor-lessCatheterContact Force Estimation Approach in Endovascular Intervention Procedures,2018IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS),Madrid,Spain,October 1-5,2018)提出了基于图像处理的无力传感器估计导丝在血管中的受力情况的方法，但因为由图像只能得到变形和边界条件，真正获得力，需要知道血管壁面的力学参数，这在实际应用中显然是非常困难的。

显然，相关技术对介入手术器具的前端受力缺乏感知是手术风险的重大来源。许多研究机构采用了多种替代方案来测量非前端的力，但并未在此基础上更进一步考虑前端受力分析。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种融合图像和力信号的介入手术器具载荷识别装置。

本发明的另一个目的在于提出一种融合图像和力信号的介入手术器具载荷识别方法。

为达到上述目的，本发明一方面提出了一种融合图像和力信号的介入手术器具载荷识别装置，包括：X光机，所述X光机放置于手术床旁，用于对被测器具的前端进行间断或连续拍摄，获得所述被测器具图像以构建空间模型，其中，空间模型包括图像信号和几何模型；力传感器，所述力传感器安装在所述被测器具的末端，用于采集操作所述被测器具产生的力信号；中控机，用于根据所述图像信号、所述几何模型和所述力信号计算出所述被测器具前端的载荷值，从而根据所述载荷值判断是否停止器具操纵执行器的手术操作，其中，所述中控机与所述X光机和所述力传感器有线或无线连接，以实现数据传输。

本发明实施例的融合图像和力信号的介入手术器具载荷识别装置，通过利用X光机传回的图像信号和力传感器传回的力信号，对被测器具前端的受力情况进行计算，提高了被测器具受力的估计精度，同时，本发明实施例将获得被测器具前端的载荷值可视化，使得决策者根据该载荷值向中控机下达操作指令，从而在此基础进行手术操作可以降低手术风险。

另外，根据本发明上述实施例的融合图像和力信号的介入手术器具载荷识别装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述力传感器通过支架安装在所述被测器具的操控端，以测量所述被测器具测点的六轴力信号。

进一步地，在本发明的一个实施例中，还包括：显示器，所述显示器与所述中控机连接，用于将所述载荷值可视化，供决策者参考。

进一步地，在本发明的一个实施例中，所述中控机包括：计算模块，用于根据所述力信号计算出所述被测器具前端的边界条件，通过所述图像信号和所述几何模型计算出所述被测器具的空间结构，再利用所述边界条件、所述空间结构和所述力信号计算出所述测器具前端的载荷值；

操作界面，用于将所述测器具前端的载荷值可视化并投影在所述显示器上，显示操作指令、所述被测器具当前受力状况和预警信息；

报警模块，用于根据所述被测器具前端的载荷值自动预警，并触发预警信号；

处理模块，用于接收所述操作界面的指令，将所述指令转化为器具操纵执行器的控制信号，根据所述控制信号指挥所述器具操纵执行器进行下一步手术操作。进一步地，在本发明的一个实施例中，所述预警信号包括：所述中控机紧急停止所述器具操纵执行器的当前操作；通过包括但不限于指示灯在内的方式对设备使用者进行警示。

为达到上述目的，本发明另一方面提出了融合图像和力信号的介入手术器具载荷识别方法，包括以下步骤：步骤S1，获取被测器具前端的图像信号；步骤S2，获取所述被测器具末端的力信号；步骤S3，根据所述图像信号、所述几何模型和所述力信号计算出所述被测器具前端的载荷值；步骤S4，综合所述图像信号和所述力信号计算出所述被测器具前端真实受力情况，输出给手术操作系统，根据需要判断所述被测器具前端的载荷值是否超过预设值，若超过则自动预警停止器具操纵执行器的操作，并触发预警信号。

本发明实施例的融合图像和力信号的介入手术器具载荷识别方法，通过利用X光机传回的图像信号和力传感器传回的力信号，对被测器具前端的受力情况进行计算，提高了被测器具受力的估计精度，同时，本发明实施例将获得被测器具前端的载荷值可视化，使得决策者根据该载荷值向中控机下达操作指令，从而在此基础进行手术操作可以降低手术风险。

另外，根据本发明上述实施例的融合图像和力信号的介入手术器具载荷识别方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述步骤S3进一步包括：步骤S301，根据所述力信号计算出所述被测器具的前端边界条件；步骤S302，通过所述图像信号和所述几何模型计算出所述被测器具的空间结构；步骤S303，根据所述边界条件、所述空间结构和所述力信号计算出所述被测器具前端的载荷值。

进一步地，在本发明的一个实施例中，所述预警信号包括：所述中控机紧急停止所述器具操纵执行器的当前操作；通过包括但不限于指示灯在内的方式对设备使用者进行警示。

进一步地，在本发明的一个实施例中，本发明实施例在所述步骤S3之后，将所述被测器具前端的载荷值可视化，投影到显示器上，供决策者参考。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的融合图像和力信号的介入手术器具载荷识别装置结构示意图；

图2为本发明具体示例的工作流程图；

图3为图2中具体示例的空间模型构建流程图；

图4为图2中具体示例的边界条件求解的流程示意图；

图5为根据本发明实施例的融合图像和力信号的介入手术器具载荷识别方法流程图；

图6为根据本发明实施例的融合图像和力信号的介入手术器具载荷识别方法步骤S3具体流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的融合图像和力信号的介入手术器具载荷识别装置及方法，首先将参照附图描述根据本发明实施例提出的融合图像和力信号的介入手术器具载荷识别装置。

图1是本发明一个实施例的融合图像和力信号的介入手术器具载荷识别装置结构示意图。

如图1所示，该融合图像和力信号的介入手术器具载荷识别装置10包括：X光机100、力传感器200、中控机300和显示器400。

需要说明的是，X光机100与中控机300，力传感器200与中控机300，显示器与中控机300均通过有线或无线连接，从而能够实现数据传输。

其中，X光机100放置于手术床旁，用于对被测器具的前端进行间断或连续拍摄，获得被测器具图像以构建空间模型，其中，空间模型包括图像信号和几何模型。

力传感器200安装在被测器具的末端，用于采集操作被测器具产生的力信号。

进一步地，在发明的一个实施例中，力传感器200通过支架安装在被测器具的操控端，以测量被测器具测点的六轴力信号。

也就是说，力传感器300通过支架安装在被测器具操控端，并与被测器具固定，能够直接测量出器具测点的六轴力信号，其中，六轴力信号包括三个正交方向上的力和绕以该三个方向为轴的力矩的大小。

中控机300用于根据空间模型和力信号计算出被测器具前端的载荷值，从而根据载荷值判断是否停止器具操纵执行器的手术操作。

进一步地，在本发明的一个实施例中，中控机300包括：计算模块301用于根据力信号计算出被测器具前端的边界条件，通过图像信号和几何模型计算出被测器具的空间结构，再利用边界条件、空间结构和力信号计算出测器具前端的载荷值。操作界面302用于将测器具前端的载荷值可视化并投影在显示器上，显示操作指令、被测器具当前受力状况和预警信息；报警模块303用于根据被测器具前端的载荷值自动预警，并触发预警信号；处理模块304用于接收操作界面的指令，将指令转化为器具操纵执行器的控制信号，根据控制信号指挥器具操纵执行器进行下一步手术操作。

其中，在本发明实施例的预警信号包括：中控机300紧急停止器具操纵执行器的当前操作；通过包括但不限于指示灯在内的方式对设备使用者进行警示。

也就是说，中控机300接收力传感器200的力信号与X光机100的图像信号，据此识别出器具前端的载荷，并作为手术自动控制的输入条件。

显示器400用于接收中控机传输来的载荷值进行可视化，供决策者参考。

可以理解的是，中控机连接到显示器，并一起放置于手术室外，中控机具有可操作界面。

举例而言，本发明实施例的融合图像和力信号的介入手术器具载荷识别装置的工作原理为：

(1)力传感器200读取被测器具末端的力信号，X光机100拍摄被测器具前端同一状态下多个角度的图像，并将文件传输给中控机300。

(2)中控机300根据图像信号对被测器具前端的空间结构进行重建，根据力信号和器具的力学模型求解前端的力学边界条件。

(3)由图像识别出被测器具在人体腔道中的变形情况，并根据被测器具的几何模型，推算出在腔道边界条件约束下的空间变形情况，生成以腔道壁面作为约束的计算模型，将六自由度传感器测得的被测器具操控端的力作为模型输入，被测器具前端和腔道壁面接触的前端受力作为输出，计算被测器具前端受力情况。

(4)在计算出的受力基础上，中控机300一方面做出判断是否紧急停止执行器的操作，另一方面将结果可视化并展现在显示器400上供手术医生参考决策。

(5)中控机300的可操作界面获取医生指令，并根据该指令指挥执行器进行下一步手术操作。

下面给出本发明具体实施的优选方案，并结合附图进行说明。

如图2所示，本发明实实施例用作血管介入手术装置的控制基础，主要包括信号读取、信号传输、信号解算、结果可视化、反馈决策等部分。

被测器具发生运动时，X光机100对被测器具前端进行多角度的拍摄，并利用多角度图像对被测器具前端进行空间模型构建再将空间模型传送给中控机300；力传感器200将所测信号进行预处理后传送给中控机300；中控机300接受两路信号，对被测器具前端进行完整力学建模和求解，根据结果判断是否急停，并将最终结果可视化在显示器400上，供决策者使用；决策者做出决策并下达指令给中控机300，中控机300将指令翻译为机器码并下达给执行器，执行器操作器具完成下一次运动，然后重复上述过程。

如图3所示，空间模型构建包括：对图像进行特征点搜索、对多组特征点进行匹配、通过匹配关系，并根据已知的器具几何模型，求解映射矩阵得到三维仿射变换的参数、根据映射关系将二维图像还原为三维空间结构。其中，求解映射矩阵时往往约束数大于待解参数数量，所以需要用到广义逆法求解方程组的最小二乘解。求解出参数后，利用已有的二维图像和仿射变换关系，可以解算三维结构，为了提高算法的鲁棒性，本发明实施例还需代入解出的三维结构来检验上一轮筛选的特征点两两之间是否有足够大的距离，若出现有特征点群落，则很有可能会导致匹配失误而使三维建模精确度下降，此时应筛掉相应的早点后再重复上述过程，直至满足条件。

如图4所示，力学建模和求解包括：根据柔性梁在管道中发生弯曲的模型进行公示推导，可以定量描述末端第一个导丝与导管的触点到前端最后一个触点之间数个屈曲“波长”的递推关系，根据沿导丝方向的力平衡方程和每段“波长”所满足的柔性简支梁边界条件，可以根据力传感器所传输的力信号递推出其他触点的受力情况，最终能推出前端触点受力情况，而器具前端与导管只有一个触点，并已知三维空间模型和器具本身力学参数，问题变为可解，再利用经典的材料力学理论，便可以对被测器具进行建模和求解。

最终结果可视化包括：将解算出的前端的力以及前端的三维模型一同展现在显示器400上，展示出被测器具屈曲情况以及受力情况，便于判断是否过度屈曲或者受到来自血管壁过大的阻力。

根据本发明实施例提出的融合图像和力信号的介入手术器具载荷识别装置，通过利用X光机传回的图像信号和力传感器传回的力信号，对被测器具前端的受力情况进行计算，提高了被测器具受力的估计精度，同时，本发明实施例将获得被测器具前端的载荷值可视化，使得决策者根据该载荷值向中控机下达操作指令，从而在此基础进行手术操作可以降低手术风险。

其次参照附图描述根据本发明实施例提出的融合图像和力信号的介入手术器具载荷识别方法。

图5是本发明一个实施例的融合图像和力信号的介入手术器具载荷识别方法流程图。

如图5所示，该融合图像和力信号的介入手术器具载荷识别方法包括以下步骤：

在步骤S1中，获取被测器具前端的图像信号。

在步骤S2中，获取被测器具末端的力信号。

在步骤S3中，根据图像信号、几何模型和力信号计算出被测器具前端的载荷值。

在本发明的一个实施例中，如图6所示，步骤S3进一步包括：

步骤S301，根据力信号计算出被测器具前端的边界条件；

步骤S302，通过图像信号和几何模型计算出被测器具的空间结构；

步骤S303，根据边界条件、空间结构和力信号计算出被测器具前端的载荷值。

在步骤S4中，综合图像信号和力信号计算出被测器具前端真实受力情况，输出给手术操作系统，根据需要判断被测器具前端的载荷值是否超过预设值，若超过则自动预警停止器具操纵执行器的操作，并触发预警信号。

其中，预警信号包括：中控机紧急停止器具操纵执行器的当前操作；通过包括但不限于指示灯在内的方式对设备使用者进行警示。

进一步地，步骤S3之后，，本发明实施例将被测器具前端的载荷值可视化，投影到显示器上，供决策者参考。

需要说明的是，前述对融合图像和力信号的介入手术器具载荷识别装置实施例的解释说明也适用于该方法，此处不再赘述。

根据本发明实施例提出的融合图像和力信号的介入手术器具载荷识别方法，通过利用X光机传回的图像信号和力传感器传回的力信号，对被测器具前端的受力情况进行计算，提高了被测器具受力的估计精度，同时，本发明实施例将获得被测器具前端的载荷值可视化，使得决策者根据该载荷值向中控机下达操作指令，从而在此基础进行手术操作可以降低手术风险。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种融合图像和力信号的介入手术器具载荷识别装置，其特征在于，包括：

X光机，所述X光机放置于手术床旁，用于对被测器具的前端进行间断或连续拍摄，获得所述被测器具图像以构建空间模型，其中，空间模型包括图像信号和几何模型；

力传感器，所述力传感器安装在所述被测器具的末端，用于采集操作所述被测器具产生的力信号；

中控机，用于根据所述空间模型和所述力信号计算出所述被测器具前端的载荷值，从而根据所述载荷值判断是否停止器具操纵执行器的手术操作，其中，所述中控机与所述X光机和所述力传感器有线或无线连接，以实现数据传输；

进一步地，所述中控机包括：

计算模块，用于根据所述力信号计算出所述被测器具前端的边界条件，通过所述图像信号和所述几何模型计算出所述被测器具的空间结构，再利用所述边界条件、所述空间结构和所述力信号计算出所述测器具前端的载荷值；

操作界面，用于将所述测器具前端的载荷值可视化并投影在显示器上，显示操作指令、所述被测器具当前受力状况和预警信息；

报警模块，用于根据所述被测器具前端的载荷值自动预警，并触发预警信号；

处理模块，用于接收所述操作界面的指令，将所述指令转化为器具操纵执行器的控制信号，根据所述控制信号指挥所述器具操纵执行器进行下一步手术操作；

力学建模和求解包括：根据柔性梁在管道中发生弯曲的模型进行公式 推导，定量描述末端第一个导丝与导管的触点到前端最后一个触点之间数个屈曲波长的递推关系，根据沿导丝方向的力平衡方程和每段波长所满足的柔性简支梁边界条件，根据力传感器所传输的力信号递推出其他触点的受力情况，最终能推出前端触点受力情况，利用材料力学理论对被测器具进行建模和求解。

2.根据权利要求1所述的融合图像和力信号的介入手术器具载荷识别装置，其特征在于，所述力传感器通过支架安装在所述被测器具的操控端，以测量所述被测器具测点的六轴力信号。

3.根据权利要求1所述的融合图像和力信号的介入手术器具载荷识别装置，其特征在于，还包括：

显示器，所述显示器与所述中控机连接，用于将所述载荷值可视化，供决策者参考。

4.根据权利要求1所述的融合图像和力信号的介入手术器具载荷识别装置，其特征在于，所述预警信号包括：

所述中控机紧急停止所述器具操纵执行器的当前操作；

通过包括但不限于指示灯在内的方式对设备使用者进行警示。

Images