CN111598893B - 基于多类型图像融合神经网络地方性氟骨病分级诊断系统 - Google Patents

Abstract

基于多类型图像融合神经网络地方性氟骨病分级诊断系统，涉及图像处理技术领域，针对现有技术中针对氟骨病的诊断效率低的问题，包括：预处理模块、病变区域图像粗分割模块、多类型图像融合模块和疾病分级诊断模块，本发明基于粗分割特征图与原始图像融合的多分类模型充分利用了病变区域信息，在保证信息完整性的基础上强化了神经网络对敏感区域的认知能力。本发明设计的代价函数强调特征图病变概率高的位置并削弱无关背景的影响，解决了病变区域占总图像面积比例较小的问题，提高了模型的训练和分类效率。本发明为氟骨病检测提供了辅助手段，填补了氟骨病智能诊断的空白，提高了针对氟骨病的诊断效率。

Description

基于多类型图像融合神经网络地方性氟骨病分级诊断系统

技术领域

本发明涉及图像处理技术领域，具体为一种基于多类型图像融合神经网络地方性氟骨病分级诊断系统。

背景技术

氟骨病是我国一种典型的地方性疾病，它是因摄入过量氟化物而引起以颈、腰和四肢大关节疼痛以及肢体运动功能障碍为主要表现的慢性代谢性骨病。对于有高氟暴露史的人群，根据骨和关节X射线征象可以进行氟骨症的诊断和分级。氟骨病的典型病症为骨周软组织钙化，即前臂骨间膜、韧带、肌腱附着处等部位出现钙化、骨化的病理现象。这些变化是氟骨症的特征性改变，也是用来评价氟骨症的严重程度的重要依据。轻度氟骨病患者具有骨和关节疼痛症状并伴有颈、腰、上肢、下肢关节运动功能障碍体征，生活劳动能力降低，重度氟骨病会造成肢体变形，生活和劳动能力显著降低或丧失，乃至瘫痪。

目前，氟骨病一般由医生依据骨骼的X光成像进行诊断。然而，疾病的严重程度诊断仅有定性的划分，缺乏精准的定量标准。这会导致疾病的诊断在一定程度上受到医生主观性的影响，此外，大量的重复性的人工诊断也会消耗医生的时间。因此需要一种能够辅助医生快速进行病情诊断的自动化诊断、分级方法。

近年来，人工智能发展迅速，卷积神经网络的提出促进了深度学习算法在图像领分析域的应用。然而，神经网络对于数据量的需求普遍较高，但医疗图像数据获取难度较大，难以满足大部分神经网络的训练需求。此外，医疗图像目标构成复杂、图像特征不统一、病灶区域占比小等问题均对深度学习在医疗图像领域的应用造成了阻碍。目前针对地方性氟骨病的自动诊断方案仍是空白。

发明内容

本发明的目的是：针对现有技术中针对氟骨病的诊断效率低的问题，提出一种基于多类型图像融合神经网络地方性氟骨病分级诊断系统。

本发明为了解决上述技术问题采取的技术方案是：

基于多类型图像融合神经网络地方性氟骨病分级诊断系统，包括：预处理模块、病变区域图像粗分割模块、多类型图像融合模块和疾病分级诊断模块，

所述预处理模块用于统一氟骨病图像分布特性、统一骨骼角度、增强对比度并筛选敏感区域；

所述病变区域图像粗分割模块用于初步提取敏感区域中臂骨间膜钙化区域；

所述多类型图像融合模块用于利用病变区域图像粗分割模块得到的敏感区域中臂骨间膜钙化区域对原始图像进行权重调整并获得敏感区域中臂骨间膜钙化区域和原始图像融合后的特征张量；

所述疾病分级诊断模块以融合的特征张量为输入，利用经训练集图像训练后的多分类分类器对氟骨病进行分级诊断。

进一步的，所述预处理模块执行的步骤为：首先通过数字图像处理技术统一医疗X光图像中前臂骨特性，然后经自适应阈值二值化后再进行均值滤波得到平滑的骨骼图像，根据边缘近似得到骨骼轮廓并拟合为直线后得到手臂骨角度，之后令所有图像中骨骼处于水平状态，并提取中部敏感区域，最后通过限制对比度直方图均衡进行图像对比度增强。

进一步的，所述病变区域图像粗分割模块利用基于U-Net卷积神经网络的改进模型进行前臂骨间膜钙化区域的初步提取，所述基于U-Net卷积神经网络的改进模型包括三个池化层、三个反卷积层和七个DenseNet模块，所述三个池化层和三个DenseNet模块构成用于特征提取的收缩路径，所述三个反卷积层和三个DenseNet模块构成用于恢复张量维数的扩张路径，

在所述收缩路径中，输入经第一DenseNet模块提取特征张量后通过第一池化层缩小张量尺寸，然后经第二DenseNet模块提取特征张量后通过第二池化层缩小张量尺寸，之后经第三DenseNet模块提取特征张量后通过第三池化层缩小张量尺寸，最后经第四DenseNet模块提取特征张量后进入扩张路径，

在所述扩张路径中，经第四DenseNet模块提取特征张量后通过第一反卷积层恢复张量的尺寸，然后经第五DenseNet模块提取特征张量后通过第二反卷积层恢复张量的尺寸，之后经第六DenseNet模块提取特征张量后通过第三反卷积层恢复张量的尺寸，最后经第七DenseNet模块提取特征张量后输出，

所述第一DenseNet模块、第二DenseNet模块和第三DenseNet模块的输出经过一个额外的连接分别与第七DenseNet模块、第六DenseNet模块和第五DenseNet模块的输入沿通道叠加，其中每个DenseNet模块包含五个卷积层，卷积层两两相连。

进一步的，所述DenseNet模块提取的特征张量为：

其中con(·)表示沿通道叠加，DenseNet模块内l层卷积的第i个特征张量为

block_j为模块所包含层数，n_l为l层张量通道数，×为卷积操作，

为可学习权重参数，

为可学习偏置量，f(·)为激活函数。

进一步的，所述DenseNet模块卷积层的输入由该模块前面所有卷积层特征图逐步叠加形成，其表达式为：

其中，con表示元素按照通道维数叠加。

进一步的，所述多类型图像融合模块执行如下步骤：

首先对粗分割结果和原X光图像分别进行卷积操作提取特征，然后利用粗分割结果卷积后的张量增强原始图像中病变区域，张量经叠加后经权重计算实现融合，其具体表达式如下：

com＝Dot(Add(ori_i,j+γ·seg_i,j),seg_i,j)

其中，ori为原始图像经卷积操作提取到的特征张量，seg为病变概率矩阵经卷积操作所得特征张量，i，j表示张量上点的坐标，γ为可通过训练得到的权重参数，Dot(·)表示逐点进行的权重计算，Add(·)表示逐点进行的加法计算。

进一步的，所述疾病分级诊断块利用多分类器进行分级诊断，所述多分类器包含13个残差模块，所述残差模块表示为y＝F(x,{W_i})+W_sx，其中F(·)表示卷积运算，x为残差模块的输入，{Wi}表示卷积运算的权重，Ws是用于调整x维度的线性映射，当F(x,{Wi})与x维度相同时，Ws为1，所述残差模块内部设有批量归一化层，第一个残差模块、第五个残差模块和第十一个残差模块中设有池化层。

进一步的，所述批量归一化层表示为：

其中重构参数

融合的特征张量在分类器中经三次池化操作后再经激活函数Softmax计算对应位置的病变概率，选取矩阵中表示病变概率最大的前k个位置计算代价函数，具体公式为：

其中k为选择示例的数量，N为特征张量的数量，P(·)表示概率，y为分类器得出的标签，label为位置在i，j处的示例Q的正确标签，λ为正则化参数,θ为骨骼水平倾角。

本发明的有益效果是：

1、本发明实现了对前臂骨间膜钙化区域的定位与图像分割，可用于辅助医师快速确定病变区域情况。

2、基于粗分割特征图与原始X光图像融合的多分类模型充分利用了病变区域信息，在保证信息完整性的基础上强化了神经网络对敏感区域的认知能力。本发明设计的代价函数强调特征图病变概率高的位置并削弱无关背景的影响，解决了病变区域占总图像面积比例较小的问题，提高了模型的训练和分类效率。

3、本发明首次提出了一种自动的地方性氟骨病分级诊断系统，为氟骨病检测提供了辅助手段，填补了氟骨病智能诊断的空白，提高了针对氟骨病的诊断效率。

附图说明

图1为本发明系的结构示意图；

图2为本发明粗分割模块神经网络结构图；

图3为粗分割模块神经网络中DenseNet模块结构图；

图4为多分类神经网络结构图。

具体实施方式

具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的基于多类型图像融合神经网络地方性氟骨病分级诊断系统是通过以下技术方案实现的，包括：

预处理模块，用于统一数据分布特性并筛选敏感区域；

通过数字图像处理技术统一医疗X光图像中前臂骨特性，对自适应阈值二值化后的图像进行均值滤波获取平滑的骨骼图像，由边缘近似得到骨骼轮廓并拟合为直线获得手臂骨角度，令所有图像中骨骼处于水平状态并提取中部敏感区域，通过限制对比度直方图均衡进行图像增强。

病变区域图像粗分割模块，用于初步提取符合医学要求的前臂骨间膜钙化区域；

对于疾病多分类任务预先进行病变区域区域分割，实现对病变区域的特征提取及定位，分割结果通灰度矩阵表示各位置发生病变的概率，分割模型以U-Net卷积神经网络为基本框架，强化了原模型特征提取能力，粗分割模块神经网络结构图如图2所示。

分割所用网络包括用于特征提取的收缩路径和用于恢复张量维数的扩张路径，实现端对端的分割操作；相同维数张量跨越收缩扩张路径进行跳接叠加，从而实现多深度的特征融合；在U-Net模型中插入能够有效地强化层间信息重用能力的DenseNet模块，(DenseNet输出的张量只是整个网络的一个中间量，可以认为是进行了特征提取，但输出不是分割结果。整个用于分割的模型包含多个DenseNet模块，整个网络的输出才是分割结果。)模块输出张量

其中模块内l层卷积的第i个特征张量为

block_j为模块所包含层数，n_l为l层张量通道数，×为卷积操作，

为可学习权重参数，

为可学习偏置量，f(·)为激活函数。粗分割模块神经网络结构图如图3所示。

多类型图像融合模块，用于通过粗分割结果对原X光图像进行权重调整实现两类特征张量的融合；

对分割结果和原X光图像分别进行卷积操作提取特征，通过病变区域图像分割结果增强原图像中病变区域，同时避免未被分割结果正确识别的有用信息被屏蔽，张量经两次运算实现融合com＝Dot(Add(ori_i,j+γ·seg_i,j),seg_i,j)，其中ori为原始图像经卷积操作提取到的特征张量，seg为病变概率矩阵经卷积操作所得特征张量。

为融合的特征图像设计多分类分类器，分类模型包含13个残差模块

y＝F(x,{W_i})+W_sx，模块内部加入批量归一化

其中重构参数

经三次池化操作后经激活函数Softmax计算对应位置病变概率，选取矩阵中表示病变概率最大的前k个位置计算代价函数

其中λ为正则化参数，N为特征张量的数量。

疾病分级诊断模块，用于将融合的特征张量经多分类器进行疾病的分级诊断。多分类神经网络结构图如图4所示。

以下结合具体实施例对本发明设计方案进行进一步阐释：

本发明的实施方式涉及一种基于多类型图像融合神经网络的地方性氟骨病分级诊断方法和诊断系统，包括：预处理模块，用于统一数据分布特性并筛选敏感区域；病变区域图像粗分割模块，用于初步提取符合医学要求的前臂骨间膜钙化区域；多类型图像融合模块，用于通过粗分割结果对原X光图像进行权重调整实现两类特征张量的融合；疾病分级诊断模块，用于将融合的特征张量经多分类器进行疾病的分级诊断。共计四个步骤。

基于多类型图像融合神经网络的地方性氟骨病分级诊断系统工作过程如下：

步骤一、通过数字图像处理技术统一原始图像的数据分布特性并提取敏感区域，对敏感区域进行图像增强。

步骤二、使用插入DenseNet模块的U-Net神经网络实现骨间钙化区域端对端分割，获取病变区域位置及形态。

步骤三、通过分割结果调整原始图像各成分权重，在保证信息完整的基础上强化对病变区域的识别能力并削弱无关背景的影响。

步骤四、将融合张量经多分类器进行地方性氟骨病严重程度的分级，结果包括正常、轻度和重度。

下面对上述步骤进行详细说明。

步骤一具体包括：

步骤A1、按灰度图格式读取X光图像将其转换为灰度值矩阵，矩阵元素与像素点一一对应，灰度值范围0至255。对灰度矩阵使用最大类间方差法计算阈值，即依据阈值将图像分为两部分时，两部分的方差应是最大的。

为获得边界清晰平滑的前臂骨图像，在选定滤波范围内对二值图逐像素点进行均值滤波：

步骤A2、从外向内对骨骼最外侧进行连续边缘检测，获得骨骼的近似轮廓，通过最小二乘法对轮廓进行直线拟合即获得骨骼水平倾角θ，θ要求满足：

min{∫(y_i,j-x·tanθ-b_i,j)²}

将原始图像沿中心点整体旋转指定角度，使所有X光图像中手臂骨骼均以水平方向处于图像中央。

步骤A3、提取病变多发区域即原始图像中央前臂骨间膜区域，并对该区域进行限制对比度自适应直方图均衡，始图像像素值均匀地分布在整个区间范围内。

步骤二具体包括：

步骤B1、构造U-Net基本框架。通过卷积操作实现对特征的提取，其特征图产生过程可以描述为：

在每一组卷积后接入池化层或上采样层以提取或还原图像特征，模型收缩路径中包含三个池化层，扩张路径中通过三次步长为2的反卷积替代上采样操作。

在收缩和扩张路径中，对具有同维度的张量不经主路径直接进行跳接，实现多深度特征融合，强化端对端分割能力。

步骤B2、在各组卷积中插入DenseNet模块。模块内各卷积层输入均由其前面所有卷积层特征图逐步叠加形成：

其中，con表示元素按照通道维数叠加。

模块的最终输出包含组内所有卷积层提取到的特征。

步骤B3、进行分割模型的训练及测试。选取部分具有代表性的图像按医学诊断标准进行病变区域图像标定，将原图像与标定结果逐一对应并分为训练集和验证集。将训练集数据输入上述网络进行训练并在验证集上进行实时监测，保留使验证集效果最好的模型参数。将全体图像由训练好的神经网络进行分割，获得病变区域识别结果。

步骤三具体包括：

步骤C1、对分割结果和原X光图像分别经卷积操作提取特征，并将两组张量按位置加权相加，叠加结果能够在突出病变区域的同时仍能保持信息的完整性，确保网络的容错能力：

com1_i,j＝Add(ori_i,j+γ·seg_i,j)

其中，Dot表示点对点的相加。

步骤C2、将分割结果概率矩阵作为权重施加于初步融合特征图，对感兴趣区域进行进一步强调：

com2_i,j＝Dot(com1_i,j,seg_i,j)

其中，Dot表示点对点的相乘。

步骤四具体包括：

步骤D1、为融合张量设计多分类分类器实现地方性氟骨病严重程度分级，分类器包含三类输出：正常、轻度和重度。

通过残差模块简化网络学习难度避免退化问题，分类器包含13个残差模块：

y＝F(x,{W_i})+x

在第一个残差模块、第五个残差模块、第十一个残差模块中接入池化层以降低参数量，由于模块内部张量维数的变化，须在映射中加入权重：

y＝F(x,{W_i})+W_sx

模块内部加入批量归一化，调整数据分布特性，提升训练速度：

其重构参数为：

步骤D2、设计代价函数。代价函数表征模型的优化方向，即模型向着代价函数最小的方向优化。由于病变区域所占比例较小，特征图整体在进行全连接时会湮没病变的重要区域，因此只选取张量中表示病变概率最大的前k个位置计算代价函数：

其中λ为正则化参数，N为特征张量的数量。

步骤D3、进行分类器的训练及测试。将融合张量与对应病变等级标签分为训练集、验证集、测试集。将训练集输入到神经网络中进行参数学习，并实时监测验证集的准确率，保留验证集效果最优时的模型参数。测试集在加载了训练好参数的神经网络上运行并获得严重程度分级准确率。

需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。

Claims (5)

1.基于多类型图像融合神经网络地方性氟骨病分级诊断系统，包括：预处理模块、病变区域图像粗分割模块、多类型图像融合模块和疾病分级诊断模块，

所述预处理模块用于统一氟骨病图像分布特性、统一骨骼角度、增强对比度并筛选敏感区域；

所述病变区域图像粗分割模块用于初步提取敏感区域中臂骨间膜钙化区域；

所述多类型图像融合模块用于利用病变区域图像粗分割模块得到的敏感区域中臂骨间膜钙化区域对原始图像进行权重调整并获得敏感区域中臂骨间膜钙化区域和原始图像融合后的特征张量；

所述疾病分级诊断模块以融合的特征张量为输入，利用经训练集图像训练后的多分类分类器对氟骨病进行分级诊断；

其特征在于所述多类型图像融合模块执行如下步骤：

首先对粗分割结果和原X光图像分别进行卷积操作提取特征，然后利用粗分割结果卷积后的张量增强原始图像中病变区域，张量经叠加后经权重计算实现融合，其具体表达式如下：

com＝Dot(Add(ori_i,j+γ·seg_i,j),seg_i,j)

其中，ori为原始图像经卷积操作提取到的特征张量，seg为病变概率矩阵经卷积操作所得特征张量，i，j表示张量上点的坐标，γ为可通过训练得到的权重参数，Dot(·)表示逐点进行的权重计算，Add(·)表示逐点进行的加法计算；

所述疾病分级诊断块利用多分类器进行分级诊断，所述多分类器包含13个残差模块，所述残差模块表示为y＝F(x,{W_i})+W_sx，其中F(·)表示卷积运算，x为残差模块的输入，{Wi}表示卷积运算的权重，Ws是用于调整x维度的线性映射，当F(x,{Wi})与x维度相同时，Ws为1，所述残差模块内部设有批量归一化层，第一个残差模块、第五个残差模块和第十一个残差模块中设有池化层；

所述批量归一化层表示为：

其中重构参数

β^k＝E[x^k]，融合的特征张量在分类器中经三次池化操作后再经激活函数Softmax计算对应位置的病变概率，选取矩阵中表示病变概率最大的前k个位置计算代价函数，具体公式为：

其中k为选择示例的数量，N为特征张量的数量，P(·)表示概率，y为分类器得出的标签，label为位置在i，j处的示例Q的正确标签，λ为正则化参数,θ为骨骼水平倾角。

2.根据权利要求1所述的基于多类型图像融合神经网络地方性氟骨病分级诊断系统，其特征在于所述预处理模块执行的步骤为：首先通过数字图像处理技术统一医疗X光图像中前臂骨特性，然后经自适应阈值二值化后再进行均值滤波得到平滑的骨骼图像，根据边缘近似得到骨骼轮廓并拟合为直线后得到手臂骨角度，之后令所有图像中骨骼处于水平状态，并提取中部敏感区域，最后通过限制对比度直方图均衡进行图像对比度增强。

3.根据权利要求1所述的基于多类型图像融合神经网络地方性氟骨病分级诊断系统，其特征在于所述病变区域图像粗分割模块利用基于U-Net卷积神经网络的改进模型进行前臂骨间膜钙化区域的初步提取，所述基于U-Net卷积神经网络的改进模型包括三个池化层、三个反卷积层和七个DenseNet模块，所述三个池化层和三个DenseNet模块构成用于特征提取的收缩路径，所述三个反卷积层和三个DenseNet模块构成用于恢复张量维数的扩张路径，

在所述收缩路径中，输入经第一DenseNet模块提取特征张量后通过第一池化层缩小张量尺寸，然后经第二DenseNet模块提取特征张量后通过第二池化层缩小张量尺寸，之后经第三DenseNet模块提取特征张量后通过第三池化层缩小张量尺寸，最后经第四DenseNet模块提取特征张量后进入扩张路径，

在所述扩张路径中，经第四DenseNet模块提取特征张量后通过第一反卷积层恢复张量的尺寸，然后经第五DenseNet模块提取特征张量后通过第二反卷积层恢复张量的尺寸，之后经第六DenseNet模块提取特征张量后通过第三反卷积层恢复张量的尺寸，最后经第七DenseNet模块提取特征张量后输出，

所述第一DenseNet模块、第二DenseNet模块和第三DenseNet模块的输出经过一个额外的连接分别与第七DenseNet模块、第六DenseNet模块和第五DenseNet模块的输入沿通道叠加，其中每个DenseNet模块包含五个卷积层，卷积层两两相连。

4.根据权利要求3所述的基于多类型图像融合神经网络地方性氟骨病分级诊断系统，其特征在于所述DenseNet模块提取的特征张量为：

其中con(·)表示沿通道叠加，DenseNet模块内l层卷积的第i个特征张量为

block_j为模块所包含层数，n_l为l层张量通道数，×为卷积操作，

为可学习权重参数，

为可学习偏置量，f(·)为激活函数。

5.根据权利要求4所述的基于多类型图像融合神经网络地方性氟骨病分级诊断系统，其特征在于所述DenseNet模块卷积层的输入由该模块前面所有卷积层特征图逐步叠加形成，其表达式为：

其中，con表示元素按照通道维数叠加。

Images