CN112535519A - 基于实时超声图像的穿刺机器人控制方法 - Google Patents

Abstract

本发明的基于实时超声图像的穿刺机器人控制方法涉及控制穿刺机器人移动方向的方法，目的是为了克服现有术中穿刺目标多为软组织器官的场景下，穿刺目标因病人呼吸运动产生位移，导致穿刺精度低的问题，方法具体步骤如下：步骤一、分别获取穿刺目标在超声平面内和在超声平面外的运动方向和位移；步骤二、使用模型预测控制方法，控制穿刺机器人末端按照穿刺目标在超声平面内和在超声平面外的运动方向和位移进行相应的操作。

Description

基于实时超声图像的穿刺机器人控制方法

技术领域

本发明涉及控制穿刺机器人移动方向的方法，具体涉及基于图像识别穿刺目标运动并穿刺控制机器人穿刺的方法。

背景技术

针穿刺是介入放射治疗，活检等外科诊疗手段中最基本的手术方法，在传统的穿刺手术中，医生主要靠自身直觉和经验来判断穿刺位置，手术的技巧性要求高，同时还存在人手操作不稳定的问题，使用穿刺机器人能够显著减少这些人为因素带来的穿刺误差，但仍然存在术中穿刺目标因病人呼吸运动产生位移的问题，特别是在穿刺目标多为软组织器官的场景下，例如肝脏的呼吸运动位移在头尾方向上可达10.1±3.9毫米。在大多数的穿刺手术中，允许误差范围一般在毫米级，因此穿刺机器人需要处理好术中呼吸运动带来的位移。

其中，在穿刺过程中多采用门控法进行配合，门控法是一种常用的减少呼吸运动影响的方法，通常要求病人在手术时按指令屏住呼吸，同时手术医生快速插入穿刺针。

但是即使采用了门控法，身体虚弱的患者可能无法按医生指令屏住呼吸，需要额外的硬件设备支持；且每次门控的呼吸相位存在区别，不适用于需要多次穿刺的手术；插入穿刺针的时间有限；门控法无法保证穿刺目标位置与术前路径规划时的位置相同。

并且在中国专利文献号CN105361950A，公开日2016-03-02，发明“一种红外引导下的计算机辅助穿刺导航系统及方法”中，该方法通过安装在体表以及穿刺针上的红外定位装置，在术中实时显示穿刺目标，穿刺路径，穿刺针位置。该方法单纯利用体表标记点的位置变化不能完整的反应软组织器官内的穿刺目标的移动。通过跟踪体表标记点推测体内软组织器官形变，位移的精度低，效果差。

发明内容

本发明的目的是为了克服现有术中穿刺目标多为软组织器官的场景下，穿刺目标因病人呼吸运动产生位移，导致穿刺精度低的问题，提供了一种基于实时超声图像的穿刺机器人控制方法。

本发明的基于实时超声图像的穿刺机器人控制方法，具体步骤如下：

步骤一、分别获取穿刺目标在超声平面内和在超声平面外的运动方向和位移；

步骤二、使用模型预测控制方法，控制穿刺机器人末端按照穿刺目标在超声平面内和在超声平面外的运动方向和位移进行相应的操作。

本发明的有益效果是：本发明公开了一种基于实时超声图像的穿刺机器人控制方法，通过提取超声图像中穿刺目标的特征，以及超声平面的空间位置信息，可以自动，精确，高速地计算出穿刺机器人末端所夹持的超声探头的运动方向，位移，补偿穿刺目标因术中病人呼吸运动产生的位移，降低穿刺目标点误差，提高穿刺过程的安全性，与其他使用外部标记点，或表面运动模型的方法相比，能更准确，高速地计算出软组织内部的运动方向，位移。

实验结果验证：本发明的方法能够准确跟踪穿刺目标在超声平面内，外的运动；能够控制穿刺机器人根据计算所得结果进行移动，实现减小呼吸运动造成的穿刺误差；在患者不需要屏气的情况下减小降低穿刺目标点误差，提高手术成功率，减轻医生手术负担，降低患者痛苦。

附图说明

图1为本发明的基于实时超声图像的穿刺机器人控制方法的原理框图；

图2为本发明中计算穿刺目标在超声平面内运动的方法流程图。

具体实施方式

具体实施方式一，本实施方式的基于实时超声图像的穿刺机器人控制方法，具体步骤如下：

步骤一、分别获取穿刺目标在超声平面内和在超声平面外的运动方向和位移；

步骤二、使用模型预测控制方法，控制穿刺机器人末端按照穿刺目标在超声平面内和在超声平面外的运动方向和位移进行相应的操作。

具体地，如图1所示，本发明的方法通过穿刺机器人末端夹持的超声探头采集超声图像，主要包括三个部分的内容，首先步骤一通过超声图像中的亮度和几何信息提取穿刺目标的特征，根据提取到的特征与超声平面的空间位置信息计算出穿刺目标的空间位置。

超声作为一种无辐射，实时，设备成本低，软组织成像效果好的模态，是穿刺机器人术中引导的首选成像模态。通过对术中超声图像的处理，可以检测出穿刺目标在空间中的运动方向，位移，并调整穿刺机器人的运动方向，位移，从而减少呼吸运动对穿刺精度的影响。

而穿刺目标的运动可以分解为超声平面内运动与超声平面外运动，本发明使用两种不同的方法处理这两种运动，即计算穿刺目标在超声平面内运动的方法和计算穿刺目标在超声平面外运动的方法。

最后步骤二通过穿刺目标的空间位置信息控制穿刺机器人的运动机构，使穿刺机器人末端运动。

在获得穿刺目标在平面内，平面外运动的方向，位移后，使用模型预测控制(ModelPredictive Controller)来保证穿刺机器人末端能按穿刺目标的运动方向，位移进行对应的操作，直到穿刺目标在超声图像中回到初始位置。

最佳实施例，本实施例是对实施方式一的进一步说明，本实施例中，获取穿刺目标在超声平面内的运动方向和位移的具体步骤如下：

步骤二一、采集当前跟踪的穿刺目标的超声图像，根据超声图像特征确定当前跟踪目标模板大小；

步骤二二、计算并得到当前跟踪目标模板与在先跟踪目标模板的匹配值，并根据匹配值生成模板匹配概率图；

以及通过光流法和穿刺目标的超声图像得到跟踪的穿刺目标的新坐标，并根据该新坐标生成光流法概率图；

步骤二三、将模板匹配概率图和光流法概率图叠加，得到叠加概率图，将叠加概率图中概率最大的点作为当前跟踪结果；

步骤二四、将当前跟踪结果与在先多个历史跟踪结果的均值比较得到误差，

若误差在设定阈值范围内，则将该当前跟踪结果作为最终的跟踪结果，否则，将步骤二二中的得到的新坐标作为最终的跟踪结果，最终的跟踪结果即为当前穿刺目标在超声平面内的运动方向和位移。

具体地，如图2所示，对于超声平面内的运动，本实施例的方法使用基于模板匹配和光流法的混合方法，用于计算穿刺目标在超声平面内运动，该方法的流程如下。

首先需要确定跟踪目标模板的大小，跟踪目标模板越大，计算时间越长，因此需要确定一个尽可能小的模板大小，在覆盖住跟踪目标的情况下，尽量减少计算时间。

第二步是计算模板匹配与光流法的结果，模板匹配是一项在一幅图像中寻找与另一幅模板图像最匹配部分的技术，通过目标图片在待匹配图片进行遍历，选择一定的匹配方式得到每个起始像素点的匹配值，最终匹配值最大的位置就是候选匹配位置，本发明采用归一化互相关(Normalized Cross Correlation)计算匹配值。

光流法是一种利用图像序列中像素在时间上的变化与相邻帧之前的相关性来计算相邻帧之间的物体运动信息的方法，本发明采用Lucas-Kanade法计算相邻帧之间的运动关系，从而得到跟踪目标的新坐标。

得到模板匹配与光流法计算结果后，产生对应的概率图，并通过一定的策略将两种结果概率图叠加起来，跟踪结果是叠加后的概率图中概率最大的点。得出跟踪结果后，与历史跟踪结果的均值比较，若误差在设定阈值范围内，则将当前跟踪结果作为最终的跟踪结果，否则，将得到的跟踪目标的新坐标作为最终的跟踪结果，最终的跟踪结果即为当前穿刺目标在超声平面内的运动方向和位移。

最佳实施例，本实施例是对实施方式一的进一步说明，本实施例中，步骤二一中确定当前跟踪目标模板大小的方法如下：

截取一个以初始坐标为中心70像素*70像素的矩形区域，计算该矩形区域像素亮度的平均值与标准差，并将矩形区域第35行与第35列的像素亮度与平均值比较，分别找到四个方向上第一个像素亮度与平均值之差大于标准差的像素点，通过四个像素点下标确定跟踪目标模板大小。

具体地，使用以下策略计算模板大小：截取一个以初始坐标为中心，70像素*70像素大小的矩形区域，计算该区域像素亮度的平均值与标准差，并将第35行与第35列的像素亮度与平均值比较，找到四个方向上第一个像素亮度与平均值之差大于标准差的像素点，这四个像素点下标就可以确定跟踪目标模板大小。

最佳实施例，本实施例是对实施方式一的进一步说明，本实施例中，步骤二二中是采用归一化互相关法计算并得到匹配值。

最佳实施例，本实施例是对实施方式一的进一步说明，本实施例中，步骤二四中之前多个历史跟踪结果的数量为200个以下。

具体地，历史跟踪结果如果不够200就取全部，如果多于200就只取相邻的连续200个历史跟踪结果。

最佳实施例，本实施例是对实施方式一的进一步说明，本实施例中，步骤二四中，若误差小于等于跟踪目标模板大小的一半，则将当前跟踪结果作为最终的跟踪结果。

具体地，得出当前跟踪结果后，与历史跟踪结果的均值比较，若误差大于跟踪模板大小的一半，就舍弃综合后的当前跟踪结果，直接采用光流法的输出结果(跟踪目标的新坐标)。如果误差小于等于跟踪目标模板大小的一半，则将当前跟踪结果作为最终的跟踪结果。

最佳实施例，本实施例是对实施方式一的进一步说明，本实施例中，获取穿刺目标在超声平面外的运动方向和位移的具体步骤如下：

步骤七一、移动超声探头，使穿刺目标出现在超声平面上；

步骤七二、控制穿刺机器人末端垂直于超声平面移动，且每隔一定的间隔采集当前超声探头扫描的超声图像和空间位置信息，直到扫描的区域覆盖穿刺目标的超声平面外运动范围；扫描完成后超声探头回到扫描前的初始位置；

步骤七三、对于步骤七二中采集到的每一帧超声图像，计算每一帧超声图像与在先采集的每一帧超声图像之间的灰度差平方和；

步骤七四、选择步骤七三中灰度差平方和最小时对应的在先采集的一帧超声图像，通过该在先采集的一帧超声图像对应的空间位置信息可以求得穿刺目标在超声平面外运动的距离，获得穿刺目标在超声平面外的运动方向和位移。

具体地，对于超声平面外的运动，本实施例采用帧间模板匹配方法，用于计算穿刺目标在超声平面外运动，这种方法由以下几部分组成。

首先需要人工移动超声探头，使得穿刺目标出现在超声平面上。

第二部步是控制穿刺机器人，在垂直于超声平面的方向上按一定的间隔移动一段距离，每隔一定的间隔就记录下当前的超声图像内容与空间位置信息，直到扫描区域能够覆盖穿刺目标平面外运动范围。扫描完成后超声探头回到扫描前的初始位置。

对于新采集到的每一帧超声图像，计算该帧与先前采集的每一帧之间的灰度差平方和(Sum of Squared Differences),选择计算结果最小的先前采集的一帧，使用与该帧对应的空间位置信息可以求得穿刺目标在平面外运动的距离。

Claims (7)

1.基于实时超声图像的穿刺机器人控制方法，其特征在于，具体步骤如下：

步骤一、分别获取穿刺目标在超声平面内和在超声平面外的运动方向和位移；

步骤二、使用模型预测控制方法，控制穿刺机器人末端按照穿刺目标在超声平面内和在超声平面外的运动方向和位移进行相应的操作。

2.根据权利要求1所述的基于实时超声图像的穿刺机器人控制方法，其特征在于，

获取穿刺目标在超声平面内的运动方向和位移的具体步骤如下：

步骤二一、采集当前跟踪的穿刺目标的超声图像，根据超声图像特征确定当前跟踪目标模板大小；

步骤二二、计算并得到当前跟踪目标模板与在先跟踪目标模板的匹配值，并根据匹配值生成模板匹配概率图；

以及通过光流法和穿刺目标的超声图像得到跟踪的穿刺目标的新坐标，并根据该新坐标生成光流法概率图；

步骤二三、将模板匹配概率图和光流法概率图叠加，得到叠加概率图，将叠加概率图中概率最大的点作为当前跟踪结果；

步骤二四、将当前跟踪结果与在先多个历史跟踪结果的均值比较得到误差，

若误差在设定阈值范围内，则将该当前跟踪结果作为最终的跟踪结果，否则，将步骤二二中的得到的新坐标作为最终的跟踪结果，所述最终的跟踪结果即为当前穿刺目标在超声平面内的运动方向和位移。

3.根据权利要求2所述的基于实时超声图像的穿刺机器人控制方法，其特征在于，步骤二一中确定当前跟踪目标模板大小的方法如下：

截取一个以初始坐标为中心70像素*70像素的矩形区域，计算该矩形区域像素亮度的平均值与标准差，并将矩形区域第35行与第35列的像素亮度与平均值比较，分别找到四个方向上第一个像素亮度与平均值之差大于标准差的像素点，通过四个所述像素点下标确定跟踪目标模板大小。

4.根据权利要求3所述的基于实时超声图像的穿刺机器人控制方法，其特征在于，

步骤二二中是采用归一化互相关法计算并得到匹配值。

5.根据权利要求2、3或4所述的基于实时超声图像的穿刺机器人控制方法，其特征在于，

步骤二四中之前多个历史跟踪结果的数量为200个以下。

6.根据权利要求2、3或4所述的基于实时超声图像的穿刺机器人控制方法，其特征在于，步骤二四中，若误差小于等于跟踪目标模板大小的一半，则将当前跟踪结果作为最终的跟踪结果。

7.根据权利要求1、2、3或4所述的基于实时超声图像的穿刺机器人控制方法，其特征在于，

获取穿刺目标在超声平面外的运动方向和位移的具体步骤如下：

步骤七一、移动超声探头，使穿刺目标出现在超声平面上；

步骤七二、控制穿刺机器人末端垂直于所述超声平面移动，且每隔一定的间隔采集当前超声探头扫描的超声图像和空间位置信息，直到扫描的区域覆盖穿刺目标的超声平面外运动范围；扫描完成后超声探头回到扫描前的初始位置；

步骤七三、对于步骤七二中采集到的每一帧超声图像，计算所述每一帧超声图像与在先采集的每一帧超声图像之间的灰度差平方和；

步骤七四、选择步骤七三中灰度差平方和最小时对应的在先采集的一帧超声图像，通过该在先采集的一帧超声图像对应的空间位置信息可以求得穿刺目标在超声平面外运动的距离，获得穿刺目标在超声平面外的运动方向和位移。

Images