CN112614152A - 一种基于深度特征学习的软组织表面运动跟踪方法 - Google Patents

Abstract

本发明公开了一种基于深度特征学习的软组织表面运动跟踪方法，在图像三角剖分、重心坐标系理论与深度匹配三种算法的改进结合下，构造了一种无标记少样本的软组织特征跟踪算法模型，然后通过该模型实现对人体软组织目标区域准确、快速的表面运动跟踪，解决了以往各种特征跟踪中或者目标跟踪中需要大量标记样本的问题，符合当前临床医疗发展的需要。

Description

一种基于深度特征学习的软组织表面运动跟踪方法

技术领域

本发明属于视觉跟踪技术领域，更为具体地讲，涉及一种基于深度特征学习的软组织表面运动跟踪方法。

背景技术

近年来，机器人技术越来越多的用于微创手术领域，用于减轻患者痛苦，降低手术医生的工作强度，提高手术精度和降低手术难度。很多先进的机器人辅助手术技术，都需要建立在对手术器官软组织表面特征的精确跟踪之上。此外，对内窥镜图像序列软组织表面特征的跟踪，在术后手术效果分析、手术培训和教学、虚拟现实软组织3D建模等领域也有重要应用。

传统上，医学工程领域实现软组织表面的三维重构和跟踪，是通过构建各种模型实现跟踪软组织表面的运动。例如R.R i c ha等在文献《Three-dimensional motiontracking for beating heart surgery using a thin-platespline deformable model》中使用薄板样条模型跟踪跳动心脏表面的运动。W.Lau等在文献《Stereo-basedendoscopic tracking of cardiac surface deformation》中利用B样条模型基于立体内窥镜影像对心脏表面形变进行三维跟踪，D.Stoyanov等在文献《A practical approachtowards accurate dense 3-D depth recovery for robotic laparoscopic surgery》中则使用分片双线性映射模型在机器人辅助内窥镜手术中对心脏表面进行三维重构和跟踪。

然而，这些传统的方法所用形变模型通常较为复杂，在对每一帧模型参数求解时，往往无法获得最优的参数解，甚至导致无法求优；虽然有学者将深度学习技术应用到目标跟踪领域中，但对于软组织图像序列，很难建立深度学习技术所需的训练数据集。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度特征学习的软组织表面运动跟踪方法，通过无标记少样本的软组织特征跟踪算法模型实现对软组织目标区域快速、准确的三维视觉跟踪。

为实现上述发明目的，本发明为一种基于深度特征学习的软组织表面运动跟踪方法，其特征在于，包括以下步骤：

(1)、

对内窥镜视觉采集设备获取的软组织表面的N帧图像进行去噪和灰度处理，处理完成后，将第i帧内窥镜图像记作F_i，i＝1,2,…,N；

(2)、在步骤(1)的基础上，使用OpenCV库中的SimpleBlobDetector提取每帧图像中的斑点，作为特征点；

(3)、在第一帧内窥镜图像F₁中运用delaunay三角剖分算法，以检出的特征点为顶点构造三角网格；

(4)、在后续F_i中，i＝2,3,…,N，根据检出的特征点的位置坐标，对F₁中的三角形逐个进行匹配；设F₁中当前待匹配三角形为abc，具体匹配步骤如下：

(4.1)、在后续F_i中搜索满足长度和角度约束的候选匹配点，并组成三角形abc的若干候选三角形；

(4.1.1)、设置长度和角度的约束条件：

||L_a'b'-L_ab||≤ΔL_ab (1)

||L_a'c'-L_ac||≤ΔL_ac (2)

||θ_a-θ_a'||≤Δθ (3)

其中，L_ab表示待匹配三角形的边ab之间的像素距离，θ_a表示待匹配三角形顶点a的夹角，L_a'b'表示候选三角形的边a'b'之间的像素距离，θ_a'表示候选三角形顶点a'的夹角，ΔL_ab、ΔL_ac和Δθ为设定的最大形变参数；

(4.1.2)、在后续F_i中，若待匹配三角形abc的三个顶点均未匹配，则在F_i中以F₁的顶点a坐标为圆心，搜索半径为Δd内的所有特征点作为顶点a的候选匹配顶点，记为a'；

若待匹配三角形的某一个顶点已匹配，设顶点a'已匹配顶点a，则在F_i中搜索满足长度和角度约束公式(1)、(2)、(3)的所有候选特征点对{b',c'}，作为顶点b和c的候选匹配点，再与顶点a'组合构成若干候选三角形；

若待匹配三角形的某两个顶点匹配，设顶点a'、b'已匹配顶点a、b，则在F_i中搜索满足长度和角度约束公式(2)、(3)的所有特征点作为顶点c的候选匹配点，记为c'，再与a'、b'构成若干候选三角形；

(4.2)、计算每个候选三角形的像素匹配代价；

(4.2.1)、计算F₁中待匹配三角形abc内每个像素点的重心坐标；

设(x_a,y_a)、(x_b,y_b)、(x_c,y_c)分别为顶点a、b、c的像素坐标，(x_p,y_p)为待匹配三角形内任一像素点p的像素坐标，那么点p在待匹配三角形内的重心坐标(α,β,γ)为：

(4.2.2)、计算像素点p在每个候选三角形中对应点p'的像素坐标；

(4.2.3)、在后续F_i中，通过双线性插值求出每个候选三角形中对应点p'的像素值F_i(p')，再与F₁中对应点p的像素值F₁(p)计算出每个候选三角形的均方根误差，并作为匹配该候选三角形的匹配代价；

其中，M为待匹配三角形内像素点的个数；

(4.3)、选出匹配代价满足ΔE_i≤ε的有效候选三角形，ε为设定阈值；若有效候选三角形数量大于等于1，则在其中选择匹配代价ΔE_i最小的三角形作为待匹配三角形abc的匹配三角形，从而确定F₁和F_i中相应顶点的匹配关系；若有效候选三角形数量为0，则表示F_i中不存在与待匹配三角形abc相匹配的特征点，结束当前三角形的匹配。

(4.4)、选取F₁三角网格中的下一个未匹配三角形作为当前待匹配三角形abc，然后重复步骤(4.1)～(4.4)，直至遍历F₁中的所有三角形，完成F₁和F_i相应特征点的匹配；

(5)、构建训练样本集

在前N帧图像中，以特征点为中心截取M*M大小的图像块，两两组合构造正样本与负样本，其中，正样本中的特征点为互相匹配的两个三角形的对应顶点，标记为1；负样本中的特征点为互相不匹配的两个三角形的对应顶点，标记为0；最后将所有的正、负样本构建训练样本集；

(6)、构建深度匹配网络；

深度匹配网络包括双塔结构的两个相同的特征提取网络和度量网络；其中，每个特征提取网络又包括：预处理层和5个卷积层与三个下采样层；预处理层将图像像素值归一化到(0,1)之间，5个卷积层的参数分别设置为64个7*7的卷积核，32个5*5的卷积核，16个3*3的卷积核，16个3*3的卷积核，16个3*3的卷积核，三个下采样层采用2*2的最大值池化；度量网络由3层全连接层组成，前两层采用ReLU激活函数，第三层也为输出层，采用Sigmoid激活函数，用于计算图像块对的匹配值；

(7)、训练深度匹配网络

从训练样本集中选取大小为batchsize个的正、负样本构建一组训练样本，每一个batchsize中正负样本数相等；

将一组训练样本输入至深度匹配网络，预处理层将正负样本的像素值归一化到(0,1)，每个样本预处理后，将两张M*M大小图片分别输入双塔结构的一个分支，经过5个卷积层与三个下采样层依次处理后，输出两张图片的特征向量；

两个特征向量串联在一起作为度量网络的输入，再经过三个全连接层的缩放，由第三层的全连接层输出一个二维向量，将这个二维向量通过Sigmoid激活函数激活，计算出两张图片匹配的概率值

基于最小化交叉熵损失函数计算交叉熵；

其中，n表示每一个batchsize中图片对的个数，y_i表示输入图片对的标签值，图像对匹配时标签值取1，图像对不匹配时标签值取0，

为图片对匹配的概率值；

根据交叉熵更新网络权重，然后继续输入下一组训练样本，并重复上述训练过程，经过epoch组训练完成后，判断图片对匹配的概率值是否达到准确率99％，如果达到，则训练完成，否则，继续进行下一轮训练，直到图片对匹配的概率值达到准确率99％时训练结束；

(8)、软组织表面运动的实时跟踪

(8.1)、对后续图像帧F_i，i＞N，利用步骤(2)所述方法检测出特征点；

(8.2)、将F₁和F_i中特征点所对应图像块两两组合输入至深度匹配网络，将计算出特征点的匹配概率；

(8.3)、构建F₁和F_i中特征点之间的匹配矩阵；

匹配矩阵的每行对应F₁中的一个特征点，每列对应F_i中的一个检出特征点，匹配矩阵的元素通过匹配概率按行列对应关系填入；

(8.4)、根据匹配矩阵，选取每行得分最高且超过设定阈值的列作为匹配特征点，完成特征点在帧间的跟踪，若匹配概率均小于设定阈值，则表示该特征点在该帧中未检出能够匹配的特征点。

本发明的发明目的是这样实现的：

本发明为一种基于深度特征学习的软组织表面运动跟踪方法，在图像三角剖分、重心坐标系理论与深度匹配三种算法的改进结合下，构造了一种无标记少样本的软组织特征跟踪算法模型，然后通过该模型实现对人体软组织目标区域准确、快速的表面运动跟踪，解决了以往各种特征跟踪中或者目标跟踪中需要大量标记样本的问题，符合当前临床医疗发展的需要。

同时，本发明基于深度特征学习的软组织表面运动跟踪方法还具有以下有益效果：

(1)、本发明将三角剖分规则运用至内窥镜图像，并成功实施初始特征点的搜索以及三角区域的划分建立；

(2)、本发明通过重心坐标系理论运用至内窥镜图像，实现三角形的像素匹配，且快速、准确；

(3)、本发明通过建立无标记少样本的软组织特征跟踪算法模型，解决了传统算法需要大量标记样本的问题，同时又引入神经网络用于提取特征，使得本发明具有精确性的分类模型。

附图说明

图1是本发明基于深度特征学习的软组织表面运动跟踪方法流程图；

图2是三角剖分构造三角形规则示意图；

图3是深度匹配网络结构；

图4是深度匹配网络的训练过程。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：

OpenCV：基于BSD许可(开源)发行的跨平台计算机视觉和机器学习软件库；

SimpleBlobDetector：OpenCV库中的可调用的斑点检测算子；

Delaunay：德诺内三角网的算法名称

图1是本发明基于深度特征学习的软组织表面运动跟踪方法流程图。

在本实施例中，如图1所示，本发明一种基于深度特征学习的软组织表面运动跟踪方法，包括以下步骤：

S1、对内窥镜视觉采集设备获取的软组织表面的N帧图像进行去噪和灰度处理，处理完成后，将第i帧内窥镜图像记作F_i，i＝1,2,…,N；在本实施例中，N＝400；

S2、在步骤S1的基础上，使用OpenCV库中的SimpleBlobDetector提取每帧图像中的斑点，作为特征点；

S3、在第一帧内窥镜图像F₁中运用delaunay三角剖分算法，以检出的特征点为顶点构造而成的所有三角形，然后将其中一个三角形的顶点分别记为a、b、c，并标记为当前待匹配的三角形abc；

S4、在后续F_i中，i＝2,3,…,N，根据检出的特征点的位置坐标进行搜索，搜索出候选匹配点并组成若干候选三角形，然后与F₁中的三角形进行逐个匹配；

S4.1、在后续F_i中搜索满足长度和角度约束的候选匹配点，并组成若干候选三角形；

S4.1.1、设置长度和角度的约束条件：

||L_a'b'-L_ab||≤ΔL_ab (1)

||L_a'c'-L_ac||≤ΔL_ac (2)

||θ_a-θ_a'||≤Δθ (3)

其中，L_ab表示待匹配三角形的边ab之间的像素距离，θ_a表示待匹配三角形顶点a的夹角，L_a'b'表示候选三角形的边a'b'之间的像素距离，θ_a'表示候选三角形顶点a'的夹角，ΔL_ab、ΔL_ac和Δθ为设定的最大形变参数，ΔL_ab和ΔL_ac的取值均为20个像素距离，Δθ的取值为13°；

S4.1.2、在后续F_i中，若待匹配三角形的三个顶点均未匹配，则在F_i中以F₁的顶点a坐标为圆心，搜索半径为Δd＝15像素距离内的所有特征点作为顶点a的候选匹配顶点，记为a'；

若待匹配三角形的某一个顶点匹配，设顶点a'已匹配顶点a，则在F_i中搜索满足长度和角度约束公式(1)、(2)、(3)的所有候选特征点对{b',c'}，作为顶点b和c的候选匹配点，再与顶点a'组合构成若干候选三角形，构建三角形规则，如图2所示；

若待匹配三角形的某两个顶点匹配，设顶点a'、b'已匹配顶点a、b，则在F_i中搜索满足长度和角度约束公式(2)、(3)的所有特征点作为顶点c的候选匹配点，记为c'，再与a'、b'构成若干候选三角形；

S4.2、计算每个候选三角形的像素匹配代价；

S4.2.1、计算F₁中待匹配三角形abc内每个像素点的重心坐标；

设(x_a,y_a)、(x_b,y_b)、(x_c,y_c)分别为顶点a、b、c的像素坐标，(x_p,y_p)为待匹配三角形内任一像素点p的像素坐标，那么点p在待匹配三角形内的重心坐标(α,β,γ)为：

S4.2.2、计算像素点p在每个候选三角形中对应点p'的像素坐标；

S4.2.3、在后续F_i中，通过双线性插值求出每个候选三角形中对应点p'的像素值F_i(p')，再与F₁中对应点p的像素值F₁(p)计算出每个候选三角形的均方根误差，并作为匹配该候选三角形的匹配代价；

其中，M为待匹配三角形内像素点的个数；

S4.3、选出匹配代价满足ΔE_i≤ε的有效候选三角形，ε为设定阈值；若有效候选三角形数量大于等于1，则在其中选择匹配代价ΔE_i最小的三角形作为待匹配三角形abc的匹配三角形，从而确定F₁和F_i中相应顶点的匹配关系；若有效候选三角形数量为0，则表示F_i中不存在与待匹配三角形abc相匹配的特征点，结束当前三角形的匹配；

S4.4、选取F₁三角网格中的下一个未匹配三角形作为当前待匹配三角形abc，然后重复步骤S4.1～S4.4，直至遍历F₁中的所有三角形，完成F₁和F_i相应特征点的匹配；

S5、构建训练样本集

在前N帧图像中，以特征点为中心截取M*M＝32*32大小的图像块，两两组合构造正样本与负样本，其中，正样本中的特征点为互相匹配的两个三角形的对应顶点，标记为1；负样本中的特征点为互相不匹配的两个三角形的对应顶点，标记为0；最后将所有的正、负样本构建训练样本集；

S6、构建深度匹配网络；

深度匹配网络的结构如图3所示，深度匹配网络包括双塔结构的两个相同的特征提取网络和度量网络；其中，每个特征提取网络又包括：预处理层和5个卷积层与三个下采样层；预处理层将图像像素值归一化到(0,1)之间，5个卷积层的参数分别设置为64个7*7的卷积核，32个5*5的卷积核，16个3*3的卷积核，16个3*3的卷积核，16个3*3的卷积核，三个下采样层采用2*2的最大值池化；度量网络由3层全连接层组成，前两层采用ReLU激活函数，第三层也为输出层，采用Sigmoid激活函数，用于计算图像块对的匹配值；

S7、训练深度匹配网络

从训练样本集中选取大小为batchsize个的正、负样本构建一组训练样本，每一个batchsize中正负样本数相等，均为100个；

训练过程如图4所示，将一组训练样本输入至深度匹配网络，预处理层将正负样本的像素值归一化到(0,1)，每个样本预处理后，将两张32*32大小图片分别输入双塔结构的一个分支，经过5个卷积层与三个下采样层依次处理后，输出两张图片的特征向量；

两个特征向量串联在一起作为度量网络的输入，再经过三个全连接层的缩放，由第三层的全连接层输出一个二维向量，将这个二维向量通过Sigmoid激活函数激活，计算出两张图片匹配的概率值

基于最小化交叉熵损失函数计算交叉熵；

其中，n表示每一个batchsize中图片对的个数，y_i表示输入图片对的标签值，图像对匹配时标签值取1，图像对不匹配时标签值取0，

为图片对匹配的概率值；

根据交叉熵更新网络权重，然后继续输入下一组训练样本，并重复上述训练过程，经过epoch组训练完成后，判断图片对匹配的概率值是否达到准确率99％，如果达到，则训练完成，否则，继续进行下一轮训练，直到图片对匹配的概率值达到准确率99％时训练结束；

S8、软组织表面运动的实时跟踪

S8.1、对后续图像帧F_i，i＞N，利用步骤S2所述方法检测出特征点；

S8.2、将F₁和F_i中特征点所对应图像块两两组合输入至深度匹配网络，将计算出特征点的匹配概率；

S8.3、构建F₁和F_i中特征点之间的匹配矩阵；

匹配矩阵的每行对应F₁中的一个特征点，每列对应F_i中的一个检出特征点，匹配矩阵的元素通过匹配概率按行列对应关系填入；

S8.4、根据匹配矩阵，选取每行得分最高且超过设定阈值的列作为匹配特征点，完成特征点在帧间的跟踪，若匹配概率均小于设定阈值，则表示该特征点在该帧中未检出能够匹配的特征点。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于深度特征学习的软组织表面运动跟踪方法，其特征在于，包括以下步骤：

(1)、对内窥镜视觉采集设备获取的软组织表面的N帧图像进行去噪和灰度处理，处理完成后，将第i帧内窥镜图像记作F_i，i＝1,2,…,N；

(2)、在步骤(1)的基础上，使用OpenCV库中的SimpleBlobDetector提取每帧图像中的斑点，作为特征点；

(3)、在第一帧内窥镜图像F₁中运用delaunay三角剖分算法，以检出的特征点为顶点构造三角网格；

(4)、在后续F_i中，i＝2,3,…,N，根据检出的特征点的位置坐标，对F₁中的三角形逐个进行匹配；设F₁中当前待匹配三角形为abc，具体匹配步骤如下：

(4.1)、在后续F_i中搜索满足长度和角度约束的候选匹配点，并组成三角形abc的若干候选三角形；

(4.1.1)、设置长度和角度的约束条件：

||L_a'b'-L_ab||≤ΔL_ab (1)

||L_a'c'-L_ac||≤ΔL_ac (2)

||θ_a-θ_a'||≤Δθ (3)

其中，L_ab表示待匹配三角形的边ab之间的像素距离，θ_a表示待匹配三角形顶点a的夹角，L_a'b'表示候选三角形的边a'b'之间的像素距离，θ_a'表示候选三角形顶点a'的夹角，ΔL_ab、ΔL_ac和Δθ为设定的最大形变参数；

(4.1.2)、在后续F_i中，若待匹配三角形abc的三个顶点均未匹配，则在F_i中以F₁的顶点a坐标为圆心，搜索半径为Δd内的所有特征点作为顶点a的候选匹配顶点，记为a'；

若待匹配三角形的某一个顶点已匹配，设顶点a'已匹配顶点a，则在F_i中搜索满足长度和角度约束公式(1)、(2)、(3)的所有候选特征点对{b',c'}，作为顶点b和c的候选匹配点，再与顶点a'组合构成若干候选三角形；

若待匹配三角形的某两个顶点匹配，设顶点a'、b'已匹配顶点a、b，则在F_i中搜索满足长度和角度约束公式(2)、(3)的所有特征点作为顶点c的候选匹配点，记为c'，再与a'、b'构成若干候选三角形；

(4.2)、计算每个候选三角形的像素匹配代价；

(4.2.1)、计算F₁中待匹配三角形abc内每个像素点的重心坐标；

设(x_a,y_a)、(x_b,y_b)、(x_c,y_c)分别为顶点a、b、c的像素坐标，(x_p,y_p)为待匹配三角形内任一像素点p的像素坐标，那么点p在待匹配三角形内的重心坐标(α,β,γ)为：

(4.2.2)、计算像素点p在每个候选三角形中对应点p'的像素坐标；

(4.2.3)、在后续F_i中，通过双线性插值求出每个候选三角形中对应点p'的像素值F_i(p')，再与F₁中对应点p的像素值F₁(p)计算出每个候选三角形的均方根误差，并作为匹配该候选三角形的匹配代价；

其中，M为待匹配三角形内像素点的个数；

(4.3)、选出匹配代价满足ΔE_i≤ε的有效候选三角形，ε为设定阈值；若有效候选三角形数量大于等于1，则在其中选择匹配代价ΔE_i最小的三角形作为待匹配三角形abc的匹配三角形，从而确定F₁和F_i中相应顶点的匹配关系；若有效候选三角形数量为0，则表示F_i中不存在与待匹配三角形abc相匹配的特征点，结束当前三角形的匹配。

(4.4)选取F₁三角网格中的下一个未匹配三角形作为当前待匹配三角形abc，然后重复步骤(4.1)～(4.4)，直至遍历F₁中的所有三角形，完成F₁和F_i相应特征点的匹配；

(5)、构建训练样本集

在前N帧图像中，以特征点为中心截取M*M大小的图像块，两两组合构造正样本与负样本，其中，正样本中的特征点为互相匹配的两个三角形的对应顶点，标记为1；负样本中的特征点为互相不匹配的两个三角形的对应顶点，标记为0；最后将所有的正、负样本构建训练样本集；

(6)、构建深度匹配网络；

深度匹配网络包括双塔结构的两个相同的特征提取网络和度量网络；其中，每个特征提取网络又包括：预处理层和5个卷积层与三个下采样层；预处理层将图像像素值归一化到(0,1)之间，5个卷积层的参数分别设置为64个7*7的卷积核，32个5*5的卷积核，16个3*3的卷积核，16个3*3的卷积核，16个3*3的卷积核，三个下采样层采用2*2的最大值池化；度量网络由3层全连接层组成，前两层采用ReLU激活函数，第三层也为输出层，采用Sigmoid激活函数，用于计算图像块对的匹配值；

(7)、训练深度匹配网络

从训练样本集中选取大小为batchsize个的正、负样本构建一组训练样本，每一个batchsize中正负样本数相等；

将一组训练样本输入至深度匹配网络，预处理层将正负样本的像素值归一化到(0,1)，每个样本预处理后，将两张M*M大小图片分别输入双塔结构的一个分支，经过5个卷积层与三个下采样层依次处理后，输出两张图片的特征向量；

两个特征向量串联在一起作为度量网络的输入，再经过三个全连接层的缩放，由第三层的全连接层输出一个二维向量，将这个二维向量通过Sigmoid激活函数激活，计算出两张图片匹配的概率值

基于最小化交叉熵损失函数计算交叉熵；

其中，n表示每一个batchsize中图片对的个数，y_i表示输入图片对的标签值，图像对匹配时标签值取1，图像对不匹配时标签值取0，

为图片对匹配的概率值；

根据交叉熵更新网络权重，然后继续输入下一组训练样本，并重复上述训练过程，经过epoch组训练完成后，判断图片对匹配的概率值是否达到准确率99％，如果达到，则训练完成，否则，继续进行下一轮训练，直到图片对匹配的概率值达到准确率99％时训练结束；

(8)、软组织表面运动的实时跟踪

(8.1)、对后续图像帧F_i，i＞N，利用步骤(2)所述方法检测出特征点；

(8.2)、将F₁和F_i中特征点所对应图像块两两组合输入至深度匹配网络，将计算出特征点的匹配概率；

(8.3)、构建F₁和F_i中特征点之间的匹配矩阵；

匹配矩阵的每行对应F₁中的一个特征点，每列对应F_i中的一个检出特征点，匹配矩阵的元素通过匹配概率按行列对应关系填入；

(8.4)、根据匹配矩阵，选取每行得分最高且超过设定阈值的列作为匹配特征点，完成特征点在帧间的跟踪，若匹配概率均小于设定阈值，则表示该特征点在该帧中未检出能够匹配的特征点。

Images