CN109741317B - 医学影像智能评价方法 - Google Patents

Abstract

本发明公开了一种医学影像智能评价方法，所述评价方法借助多个卷积神经网络模型实现医学影像质量的自动化智能判断，增强了医学诊断的准确性，减少了患者不必要的医疗费用，并且，借助云平台，结合基于DICOM标准的WADO远程访问与深层次图像传输技术，连接基层医疗机构，实现远程医疗和移动医疗，更好地服务广大患者。

Description

医学影像智能评价方法

技术领域

本发明涉及图像处理领域，特别是医学影像智能评价方法。

背景技术

胸部的透视影像是诊断肺部疾病的关键技术，X光成像是体检筛查肺部疾病的主要手段， 如肺部炎症、肿块、结核、肺癌等，随着数字成像技术的发展，数字化照影图像，即Digital Radiography，逐步取代了传统的胸部透视成像方式，其采用非晶硅平板探测器把穿透人体的 X线信息转化为数字信号，并由计算机重建图像及进行一系列的图像后处理，由于该技术在 曝光条件稍差时，也能获得很好的图像，并且成像清晰度高，辐射低，在我国已经成为广大 医院和基层体检中心的主要技术设备。

近年来，图像处理的发展和深度学习技术的不断成熟，使得计算机辅助检测/诊断成为 现实，可以帮助医生进行更加客观、有效的判断，但是目前对于影像质量评价的仅仅停留在 医学影像增强的图像质量评价，并没有与影像技师拍片质量进行关联，例如影像上是否有异 物遮挡，拍片患者身体站位是否正常等，不合格的医学影像会使诊断准确性受到很大的影响， 并且，若因不合格的医学影像导致重复检查，会增加患者的医疗费用，带来更大的健康风险， 浪费医疗资源。

与此同时，目前医疗影像信息化水平快速发展，尤其是远程医疗、移动医疗的开展，基 于数字医疗信息的医疗诊治活动已超出局域网环境下的医院内部范围，扩展到无线网络和广 域网应用环境下的医院间、地区间的区域协同医疗范围，可以均衡不同地区之间的医疗资源 差距，更好地服务广大患者，但是如何整合不同设备产生的医学影像，实现基层医疗机构的 影像接入成为急需解决的问题。

发明内容

针对背景技术中存在的技术问题，本发明提出一种医学影像智能评价方法，其特征在于， 所述医学影像智能评价方法包括如下步骤：

1)DICOM网关模块接收医学影像，将其输入影像部位分类模块；

2)所述影像部位分类模块判断输入的医学影像是否是正确的DICOM医学影像，是否是符 合部位要求的影像，若输入的影像文件不符合要求，则进入步骤3，若输入的影像文件符合 要求，则进入步骤4；

3)提示输入正确的影像，进入步骤1；

4)将符合要求的影像文件输入异物分析模块、医学影像分割模块和存储模块；

5)所述异物分析模块对符合要求的影像进行异物类型的判别，所述医学影像分割模块对 影像进行分割，计算锁骨的倾斜度，体位方向，以及肩胛骨和肺野的重叠面积；

6)影像评价模块对所述异物分析模块和所述医学影像分割模块的输出进行打分，判断影 像质量等级；

7)质量等级输出模块将判断得到的所述影像质量等级输出至原始影像的提供方。

进一步地，所述DICOM网关模块在采集医学影像的过程中采用基于DICOM标准的WADO远 程访问与深层次图像传输技术。

进一步地，所述影像部位分类模块判断输入的医学影像是否是正确的DICOM医学影像， 是否是符合部位要求的影像的具体工作过程如下：

1)输入影像，判断影像文件的完整性，若影像文件不完整，则进入步骤2，若影像文件 完整，则进入步骤3；

2)提示输入正确的影像，进入步骤1；

3)进行DICOM图像预处理；

4)采用卷积神经网络模型区分影像的类别；

5)根据影像类别判断影响部位是否符合要求。

进一步地，所述卷积神经网络模型采用深度达到50层的ResNet-50模型。

进一步地，所述医学影像分割模块对影像进行分割，计算锁骨的倾斜度，体位方向，以 及肩胛骨和肺野的重叠面积的具体具体工作过程如下：

1)接收影像，对于影像进行预处理；

2)基于卷积神经网络分割模型对肺野，锁骨和肩胛骨进行像素级分割，得到分割部位的 区域；

3)分割后处理计算，得到锁骨倾斜度、体位方向以及肩胛骨和肺野的重叠面积。

进一步地，所述卷积神经网络分割模型采用U-Net模型，构建深度达到27层的多标签语 义分割模型。

进一步地，所述肩胛骨和肺野的重叠面积的计算过程包括：计算肩胛骨和肺野的重叠区 域的图像，然后求取连通区域，计算每一个连通区域的面积，即为重叠区域，再计算重叠区 域和肩胛骨的比值。

进一步地，所述异物分析模块对符合要求的影像进行异物类型的判别的具体工作过程如 下：

1)输入影像，对于影像进行预处理；

2)采用卷积神经网络异物模型进行异物分类，输出异物类别结果。

进一步地，所述卷积神经网络异物模型采用深度达到121层的DenseNet-121。

进一步地，所述医学影像分割模块对影像进行分割的过程中会参照影像的质量评价模型， 所述质量评价模型是大数据分析模块通过大数据关联分析将不同类型医学影像评价指标体系 在满足医学基本原则的基础上建立联系并形成特征网络，构建而成的。

附图说明

图1是医学影像智能评片系统结构示意图；

图2是医学影像智能评价方法流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具 体实施方式。

基于附图1可以看出，医学影像智能评片系统包括DICOM网关模块、影像部位分类模块、 医学影像分割模块、异物分类模块、存储模块、大数据分析模块、影像评价模块和质量等级 输出模块。

医学影像智能评片系统部署在云平台，运行在Linux服务器下，通过GPU显卡保证深度 学习快速的计算，医学影像智能评片系统基于深度学习框架Pytorch-0.4.1开发，编程语言 为Python。

DICOM网关模块采用异构结构，按照四级目录进行图像存储，四级目录分别为：1)图像 类型；2)采集时间；3)病人信息；4)图像序列号，DICOM网关模块在采集医学影像的过程 中采用基于DICOM标准的WADO远程访问与深层次图像传输技术，实现影像的高效传输效率并 确保影像传输过程中的安全性和唯一性，DICOM网关模块首先将网关接收到图像按照四级目 录结构存储到本地，然后转发到影像部位分类模块。

影像部位分类模块用于保证正确的DICOM医学影像和符合部位要求的影像，其具体工作 过程如下：

1)输入影像，判断影像文件的完整性，若影像文件不完整，则进入步骤2，若影像文件 完整，则进入步骤3；

2)提示输入正确的影像，进入步骤1；

3)进行DICOM图像预处理；

4)采用卷积神经网络模型区分影像的类别；

5)根据影像类别判断影响部位是否符合要求，若不符合要求，进入步骤6，若符合要求， 进入步骤7；

6)提示输入正确的影像，进入步骤1；

7)将符合要求的影像输入医学影像分割模块、异物分类模块和存储模块。

由于医学影像正位影像和非正位影像的特征区别性很高，采用有监督的卷积神经网络进 行学习分类，卷积神经网络中的ResNet模型在很大程度上解决了深层网络训练时梯度消失或 梯度爆炸，导致网络无法训练的问题，同时在ImageNet数据集达到3.57％的top5错误率， 拥有强大的特征区分能力，考虑到ResNet模型所具有的优势，本发明中采用深度达到50层 的ResNet-50模型，图像输入尺寸224*224*3(宽*高*通道数)，分类类别数量为2，网络结构 图如下：

由于是二分类的问题，则损失函数采用交叉熵损失函数，具体公式如下：

利用ImageNet的预训练模型resnet50卷积神经网络进行迁移学习，采用SGD优化器， momentum＝0.9,weight_decay＝5e-4，迭代次数为2000步，loss收敛，模型稳定。

医学影像分割模型用于对医学影像进行适当的分割处理，其具体工作过程如下：

1)接收影像，对于影像进行预处理；

2)基于卷积神经网络分割模型对肺野，锁骨和肩胛骨进行像素级分割，得到分割部位的 区域；

3)分割后处理计算，得到锁骨倾斜度、体位方向以及肩胛骨和肺野的重叠面积。

深度学习在图像分割的开山之作是FCN，FCN构建了端到端的语义分割框架，FCN的优点 在于：1)并联跳跃结构，抽取多尺度图像特征；2)移除了全连接，采用全卷积层；3)上采 样阶段，保证了预测图像和输入的原始图像的大小一致；4)适用尺寸较大的医学影像，但是 分割精度较差，U-Net基于FCN进行了改进，网络的前半部分进行特征提取，后半部分进行 上采样，同时结合前半部分编码的信息，考虑到U-Net模型的上述优势，卷积神经网络分割 模型采用U-Net模型，构建深度达到27层的多标签语义分割模型，图像输入尺寸512*512*1(宽 *高*通道数),经过前面4层的编码网络进行特征提取，然后送入转置卷积层，保证输出的特 征尺寸与相对应的编码层的特征大小一致，然后并联对应编码层的特征，网络结构表如下：

F@AxB；s＝s₀；d＝d₀:block conisiting of two conv layers with each have Ffeature maps,filter siz AxB,stride s₀,output with d₀rate；

F#AxB；s＝s₀:single deconvolutional with have F feature maps,filtersiz AxB,stride s₀；

Pooling:AxB；s＝s₀:max pooling layer with pooling size AxB,stride s₀；

F△AxB；s＝s₀:single convolutional with have F feature maps,filter sizAxB,stride s₀。

多类别标签表格如下：

像素标签	索引
		背景	0
肺野	1
		锁骨	2
肩胛骨	3

由于是多分类的问题，则损失函数采用交叉熵损失函数，具体公式如下：

采用ADAM优化器，额定学习率10.5，β1＝0.9，β2＝0.999。

锁骨的倾斜度计算：利用锁骨区域的外接矩形的长和宽计算倾斜角度。

体位偏移计算：计算在x方向上两个锁骨的中点与图像中心点的距离。

肩胛骨和肺野的重叠面积：计算肩胛骨和肺野的重叠区域的图像，然后求取连通区域， 计算每一个连通区域的面积，即为重叠区域，再计算重叠区域和肩胛骨的比值。

异物分类模块对符合要求的影像，进行异物类型的判别，患者在拍摄医学影像时，很多 情况下并没有按照规定取下手机，饰品等物品，造成拍摄的影像的可靠性较低，其具体工作 过程如下：

1)输入影像，对于影像进行预处理；

2)采用卷积神经网络异物模型进行异物分类，输出异物类别结果。

由于影像上存在的异物具有显著的识别性，卷积神经网络异物模型采用有监督的卷积神 经网络进行学习多标签分类，并且DenseNet模型是一种具有密集连接的卷积神经网络，在该 网络中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出 的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入，DenseNet的一个 dense block包括BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)，而一个DenseNet则由多个这 种block组成，每个DenseBlock的之间层称为transition layers，由BN->Conv(1×1) ->averagePooling(2×2)组成，DenseNet模型在思想上借鉴了ResNet模型和Inception网 络，但却是全新的结构，网络结构并不复杂，却非常有效，在CIFAR指标上全面超越ResNet， 使得网络性能进一步提升，考虑到DenseNet模型具有上述优势，卷积神经网络异物模型采用 深度达到121层的DenseNet-121，图像输入尺寸224*224*3(宽*高*通道数)，网络结构图如 下：

多类别标签表格如下：

标签	索引
		优片	0
差片	1
		体内异物	2
体外异物在肺野上	3
		体外异物在肺野外	4

由于是多分类的问题，则损失函数采用交叉熵损失函数，具体公式如下：

采用SGD优化器，momentum＝0.9,weight_decay＝5e-4，迭代次数为20000步，loss收 敛，模型稳定。

存储模块对云平台提供的各类存储设备进行统一的池化，形成统一的存储资源池，并且 借助云平台特有的灵活性无缝在线增加存储资源，与此同时，划分不同级别的存储资源和不 同类型的影像标准库，能够根据不同的应用需求，调阅不同的影像资源。

大数据分析模块通过大数据关联分析将不同类型医学影像评价指标体系在满足医学基本 原则的基础上建立联系并形成特征网络，构建影像的质量评价模型，所述模型可用于调用、 匹配、分析、定位特征参数，实现图像关键信息的抓取，图像信息的匹配，以及图像的分割。

影像评价模块对异物分析模块和医学影像分割模块的输出进行打分，判断影像质量等级， 医学影像质控算法的目的是控制摄影质量，规范化患者后前位(PA位)站姿，减少衣物上的异 物对影像造成的影响，质控分数总分数为10分，采用减分制的计算方式，根据异物分析模块 和医学影像分割模块的结果计算最终结果，医学影像质控评分系统如下表所示：

质控评价分数＝10分减去上表中4个项目的各自的分数。

最终得到的影像质量等级如下表所示：

分数范围	9-10	7-8	5-6	1-4
					等级	优片	良片	中片	差片

质量等级输出模块用于将判断得到的影像质量等级输出至原始影像的提供方。

通过附图2可以看出，基于医学影像智能评片系统的医学影像智能评价方法包括如下步 骤：

1)DICOM网关模块接收医学影像，将其输入影像部位分类模块；

2)影像部位分类模块判断输入的医学影像是否是正确的DICOM医学影像，是否是符合部 位要求的影像，若输入的影像文件不符合要求，则进入步骤3，若输入的影像文件符合要求， 则进入步骤4；

3)提示输入正确的影像，进入步骤1；

4)将符合要求的影像文件输入异物分析模块、医学影像分割模块和存储模块；

5)异物分析模块对符合要求的影像进行异物类型的判别，医学影像分割模块对影像进行 分割，计算锁骨的倾斜度，体位方向，以及肩胛骨和肺野的重叠面积；

6)影像评价模块对异物分析模块和医学影像分割模块的输出进行打分，判断影像质量等 级；

7)质量等级输出模块将判断得到的影像质量等级输出至原始影像的提供方。

医学影像智能评价方法借助多个卷积神经网络模型实现医学影像质量的自动化智能判 断，增强了医学诊断的准确性，减少了患者不必要的医疗费用，并且，借助云平台，结合基 于DICOM标准的WADO远程访问与深层次图像传输技术，连接基层医疗机构，实现远程医疗和 移动医疗，更好地服务广大患者。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因 此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种医学影像智能评价方法，其特征在于，所述医学影像智能评价方法包括如下步骤：

1)DICOM网关模块接收医学影像，将其输入影像部位分类模块，所述DICOM网关模块在采集医学影像的过程中采用基于DICOM标准的WADO远程访问与深层次图像传输技术；

2)所述影像部位分类模块判断输入的医学影像是否是正确的DICOM医学影像，是否是符合部位要求的影像，若输入的影像文件不符合要求，则进入步骤3，若输入的影像文件符合要求，则进入步骤4；

3)提示输入正确的影像，进入步骤1；

4)将符合要求的影像文件输入异物分析模块、医学影像分割模块和存储模块；

5)所述异物分析模块对符合要求的影像进行异物类型的判别，所述医学影像分割模块对影像进行分割，计算锁骨的倾斜度，体位方向，以及肩胛骨和肺野的重叠面积，所述医学影像分割模块对影像进行分割的过程中会参照影像的质量评价模型，所述质量评价模型是大数据分析模块通过大数据关联分析将不同类型医学影像评价指标体系在满足医学基本原则的基础上建立联系并形成特征网络，构建而成的，所述异物分析模块对符合要求的影像进行异物类型的判别的具体工作过程如下：1)输入影像，对于影像进行预处理；2)采用卷积神经网络异物模型进行异物分类，输出异物类别结果，所述卷积神经网络异物模型采用深度达到121层的DenseNet-121；

6)影像评价模块对所述异物分析模块和所述医学影像分割模块的输出进行打分，判断影像质量等级；

7)质量等级输出模块将判断得到的所述影像质量等级输出至原始影像的提供方。

2.根据权利要求1所述的医学影像智能评价方法，其特征在于，所述影像部位分类模块判断输入的医学影像是否是正确的DICOM医学影像，是否是符合部位要求的影像的具体工作过程如下：

1)输入影像，判断影像文件的完整性，若影像文件不完整，则进入步骤2，若影像文件完整，则进入步骤3；

2)提示输入正确的影像，进入步骤1；

3)进行DICOM图像预处理；

4)采用卷积神经网络模型区分影像的类别；

5)根据影像类别判断影响部位是否符合要求。

3.根据权利要求2所述的医学影像智能评价方法，其特征在于，所述卷积神经网络模型采用深度达到50层的ResNet-50模型。

4.根据权利要求1所述的医学影像智能评价方法，其特征在于，所述医学影像分割模块对影像进行分割，计算锁骨的倾斜度，体位方向，以及肩胛骨和肺野的重叠面积的具体工作过程如下：

1)接收影像，对于影像进行预处理；

2)基于卷积神经网络分割模型对肺野，锁骨和肩胛骨进行像素级分割，得到分割部位的区域；

3)分割后处理计算，得到锁骨倾斜度、体位方向以及肩胛骨和肺野的重叠面积。

5.根据权利要求4所述的医学影像智能评价方法，其特征在于，所述卷积神经网络分割模型采用U-Net模型，构建深度达到27层的多标签语义分割模型。

6.根据权利要求4所述的医学影像智能评价方法，其特征在于，所述肩胛骨和肺野的重叠面积的计算过程包括：计算肩胛骨和肺野的重叠区域的图像，然后求取连通区域，计算每一个连通区域的面积，即为重叠区域，再计算重叠区域和肩胛骨的比值。

Images