CN110390665A - 基于深度学习多通道与图嵌法的膝关节病症超声诊断方法 - Google Patents

Abstract

本发明公开了一种基于深度学习多通道与图嵌法的膝关节病症超声诊断方法，其包括以下步骤：利用snake算法对膝关节超声图像中的积液区域进行预处理，接着输入到定义好的网络模型中实现语义分割；在Resnet网络结构的基础上,利用二次训练的图嵌法对数据集中的膝关节超声图像进行训练，最后利用分割网络和分类网络的试验进行验证；本发明采用多通道叠加和图嵌法的思路对膝关节超声图像进行分割和训练，可以根据不同膝关节疾病超声图像中积液区域是否伴随滑膜增厚的差异区分出疾病类别，避免了膝关节超声图像判定完全依靠医生的肉眼和个人判断，消除主观性和人为误差的问题，整个分割和分类识别的方法简单高效，诊断精确。

Description

基于深度学习多通道与图嵌法的膝关节病症超声诊断方法

技术领域

本发明涉及机器视觉技术领域，特别涉及一种基于深度学习多通道与图嵌法的膝关节病症超声诊断方法。

背景技术

膝关节是人体结构最为复杂的关节，每个年龄段的人均易被感染或损伤，常见的膝关节相关疾病如滑膜炎、滑膜增厚、囊肿等。医疗图像是目前膝关节诊断的常用与重要手段，其病变的液体区域在图像中表现为颜色较深的黑色区域，医生以此区域作为主要判断依据，同时该区域划定的精确度也影响着医生的正确诊断。目前，膝关节常见疾病的诊断完全依靠医生的肉眼和个人判断，浪费大量人力与物力，且有一定的主观性和人为误差，因此，采用人工智能化辅助医生诊断甚至替代医生诊断，且提高诊断精度，对膝关节病变区域识别、治疗等具有重要意义。

近些年，学者们在超声医疗图像处理领域提出了多种算法，包括：从传统算法到机器学习算法再到深度学习算法，如水平集算法、Snakes模型算法、U-net算法等。李家昌等学者提出了基于能量约束的超声图像自动分割算法，自动选择种子，并合并种子周围较为相似的像素点，直至周围像素点不相似为止，实现了肝脏肿瘤和乳腺肿瘤的超声图像分割。BentaiebA，Hamarneh G学者利用拓扑感知全卷积网络实现了腺体的分割。SamundeeswariE S、Saranya PK等学者利用K-Means算法对乳房的超声图像进行了分割，王昕等将LIC模型进行改进实现了对甲状腺结节超声图像分割，刘俊、李鹏飞提出了基于支持向量机(SVM)的连续超声图像集分割算法。其中对传统的支持向量机模型分割进行了改进，将从图像中提取出的灰度特征和图像像素点的连续特征结合再送入SVM算法训练分割模型。RonnebergerO等学者构建了一个针对超声图像分割在对称无全连接层的全卷积网络U-net网络，其采用上采样代替最大池化层，增加了输出的分辨率，扩展性路径或多或少对称于收缩路径，并产生一个U形架构，可以减少下采样阶段图像信息的丢失。Wu L，XinY，Li S等学者基于级联全卷积网络FCN对产前胎儿的头部和腹部的超声图像进行了全自动分割。

对于膝关节常用的MRI、CT、超声等三种图像，MRI和CT图像更偏向于用来诊断膝关节的软骨、骨骼等部位的疾病，精度高速度快，但其具有成本高、有辐射等缺点，而超声图像常用于对膝关节积液、滑膜炎、滑膜增厚、囊肿等疾病的诊断，其具有成本低、操作简洁、对人体无辐射、结果较为准确、无需侵入式检测、可以反复扫描并能连续成像、使用便捷等优点。虽然当前学者们在超声医疗图像方面有较多研究，但对膝关节的超声图像研究较少，所以对膝关节超声图像的分割和识别方法研究是具有重要价值。目前对于膝关节超声图像的处理仍大部分停留在传统算法上，被广泛应用在各个领域的图像处理上的深度学习算法并没有有效的被应用在超声图像上，所以将其应用与膝关节超声图像是很有必要且具有重要应用背景。

发明内容

针对上述不足，本发明的目的在于，提供一种简单高效，提升诊断精确性的基于深度学习多通道与图嵌法的膝关节病症超声诊断方法。

为实现上述目的，本发明所提供的技术方案是：

一种基于深度学习多通道与图嵌法的膝关节病症超声诊断方法，其包括以下步骤：

对膝关节超声图像中积液区域的识别以及提取，将膝关节超声图像的轮廓收缩至目标区域附近，以将膝关节超声图像外围易被误分割的区域剔除掉；

对分割得来的膝关节超声图像进行识别并分类，根据不同膝关节疾病的积液区域超声表现的差异性，利用Rsenet网络进行预处理并训练数据，训练方法为Skip gram模型，对测试集数据进行分类预测。

即本发明分为两部分，第一部分是分割网络，第二部分是分类网络。第一部分分割网络主要是对膝关节超声图像中积液区域的识别以及提取，去掉我们实验中不需要的部分，该部分使用Snake算法对图像进行预处理，将图像轮廓收缩至目标区域附近，以将膝关节超声图像外围易被误分割的区域剔除掉。并且利用空洞卷积和多通道叠加的方法对所分割得到目标图像进行优化，以达到更好的分割效果。

第二部分分类网络主要是对第一部分中分割得来的图像进行识别并分类，根据不同膝关节疾病的积液区域超声表现的差异性，我们首先利用Rsenet网络进行预处理并训练数据，而我们数据之前的采样方法是随机游走的采样方法，之后利用图嵌法二次训练来优化网络结构以得到更加精准的膝关节超声图像的分类结果，本发明所用到的训练方法是Skip gram模型，最终可以对测试集数据进行分类预测。分类预测结果为六种，分别为：正常、囊肿、瘤、无滑膜增厚、滑膜增厚和类风湿性关节炎。

本发明的有益效果为：本发明采用多通道叠加和图嵌法的思路对膝关节超声图像进行分割和训练，可以用于区分不同膝关节疾病的超声表现，根据不同膝关节疾病超声图像中积液区域是否伴随滑膜增厚的差异区分出疾病类别，避免了膝关节超声图像判定完全依靠医生的肉眼和个人判断，浪费大量人力与物力，且有一定的主观性和人为误差的问题，整个分割和分类识别的方法简单高效，利用深度学习的方法使得膝关节疾病的超声诊断更加精确，给人们的生活带来更多便利。

下面结合附图与实施例，对本发明进一步说明。

附图说明

图1为本发明的诊断方法流程图。

图2为本发明的Snakes模型算法效果图。

图3是本发明的分割网络结构框图。

图4是本发明的多通道融合结构图。

图5是本发明的Resnet网络结构图。

图6是本发明的不同类图像形成的同构图。

图7是本发明的分类算法流程图。

图8是本发明的随机游走采样示意图。

图9是本发明的Skip gram训练模型图。

图10是本发明的分类预测结果图。

具体实施方式

参见图1-图10，本实施例提供的一种基于深度学习多通道与图嵌法的膝关节病症超声诊断方法，其包括以下步骤：

(1)采用Snakes算法对图像进行预处理，剔除与目标区域相似的背景区域，Snakes模型算法需随机或人工定义一条可控且可形变的初始轮廓曲线，以轮廓线内的区域作为分割区域，以轮廓线作为参数曲线，通过定义并控制参数曲线的能量函数，以其能量函数作为目标函数并将其最小化，从而使轮廓曲线发生形变，最终变形完成后的具有最小能量值的闭合曲线即为最终停止的轮廓。利用Snakes模型算法以最外围的轮廓曲线作为初始化曲线，以最小化能量函数为目标，使该曲线在图像中发生形变以逐渐靠近目标区域的边缘，其过程如图2所示。

(2)在各个像素点间有大量的纹理信息、空间信息等，通过卷积层、池化层等综合各个像素之间的信息，可以将各个像素点分类的，最后得到更好的分割结果。引入空洞卷积的方法来增大感受野，以提高特征提取的效果，图3为本发明的基础网络，其基于Deeplab网络结构，其中包含有ASPP结构，而在该网络的基础上为扩大感受野，并衡量“大视野”和“小视野”，分别对融入双层、多层空洞卷积网络的分割结果与无空洞卷积的分割结果进行了对比。此外，在融入空洞卷积时，采用从后向前添加的方式，即自ASPP结构前的卷积层开始向前增加卷积层。

(3)由于在膝关节超声图像中目标区域的边缘不明显且粗糙，使得在利用网络架构进行检测时不够精确，本发明采用堆叠架构将前景特征(即ROI)和背景(即非ROI)分别当做目标进行学习训练，再对这两个通道获得的进行加权求和，从而得到最后的分割结果，叠加过程如图4所示。

(4)粗分类算法选择的是Resnet网络结构作为基础框架。图5为网络的整体结构，其中ID Block为图5下半部所表示的结构，而在该模块中用的思想即为残差的思想，对于一个堆积层结构，当输入为网络学习到的特征时，学习到残差是理想状态，因为残差学习相比原始特征比直接学习更容易，即“短路”，使得深度神经网络可以学习到更好更有利于分类的特征。

(5)利用图嵌法将图像进行分类，首先构建如图6所示的同构图，同类图像之间的权值为1，不同类图像之间的权值为0，图嵌法是通过模型训练学习得到各个节点所代表的各物体的表示向量，并映射到一个低维空间，其各向量间的间距大小反映着各个节点、各个物体间的联系密切程度，即相关性；之后采用随机游走采样的方法得到图形序列，即在已构建的含有图像类别关系信息的同构图上，对于每个节点进行随机采样，从每个节点出发，随机采样与它相连的节点作为句子中该的下个“词”，得到如图8所示的序列；最后使用如图9所示的Skip gram模型对采样得到的序列进行训练，选取时采用的是滑窗的方式，且其滑窗大小取决于参数window_size，若window_size＝k，则k个“词”在前，k个“词”在后，共2k个“词”作为上下文。然而，实际任务目的是通过上述任务训练得到每个“词”所对应的嵌入向量。如此可以得到各个“词”之间的相关性，从而进行分类。

(6)最后需对分类算法进行优化处理，这里采用的是二次训练的方法对算法进行优化，在进行一次训练时，利用Resnet网络进行分类，而利用的Resnet得到的图像嵌入向量是取自Resnet网络结构中的stage5的输出，将该特征提取出来进行二次训练，再将该特征经过一层平均池化得到(1,1,2048)维度的特征，将该特征作为嵌入向量的初始参数对后续的图嵌法进行初始化。最终形成的分类算法过程如图7所示，具体的分类结果有六种：正常、囊肿、瘤、无滑膜增厚、滑膜增厚和类风湿性关节炎，如图10所示。

本发明采用深度学习的方法来识别并分类常见膝关节疾病的超声表现，通过多通道叠加和图嵌法的思路对膝关节超声图像进行分割和训练，能区分不同膝关节疾病的超声表现，根据不同膝关节疾病超声图像中积液区域是否伴随滑膜增厚的差异区分出疾病类别，避免了膝关节超声图像判定完全依靠医生的肉眼和个人判断，浪费大量人力与物力，且有一定的主观性和人为误差的问题，整个分割和分类识别的方法简单高效，利用深度学习的方法使得膝关节疾病的超声诊断更加精确，给人们的生活带来更多便利。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。如本发明上述实施例所述，采用与其相同或相似的步骤而得到的其它方法，均在本发明保护范围内。

Claims (4)

1.一种基于深度学习多通道与图嵌法的膝关节病症超声诊断方法，其特征在于：其包括以下步骤：

对膝关节超声图像中积液区域的识别以及提取，将膝关节超声图像的轮廓收缩至目标区域附近，以将膝关节超声图像外围易被误分割的区域剔除掉；

对分割得来的膝关节超声图像进行识别并分类，根据不同膝关节疾病的积液区域超声表现的差异性，利用Rsenet网络进行预处理并训练数据，训练方法为Skipgram模型，对测试集数据进行分类预测。

2.根据权利要求1所述的基于深度学习多通道与图嵌法的膝关节病症超声诊断方法，其特征在于：使用Snake算法对图像进行预处理，将图像轮廓收缩至目标区域附近，以将膝关节超声图像外围易被误分割的区域剔除掉。

3.根据权利要求1所述的基于深度学习多通道与图嵌法的膝关节病症超声诊断方法，其特征在于：利用空洞卷积和多通道叠加的方法对所分割得到目标图像进行优化，以达到更好的分割效果。

4.根据权利要求1所述的基于深度学习多通道与图嵌法的膝关节病症超声诊断方法，其特征在于：分类预测结果为六种，分别为：正常、囊肿、瘤、无滑膜增厚、滑膜增厚和类风湿性关节炎。