CN109741316A - 医学影像智能评片系统 - Google Patents

Abstract

本发明公开了一种医学影像智能评片系统，所述系统借助多个卷积神经网络模型实现医学影像质量的自动化智能判断，增强了医学诊断的准确性，减少了患者不必要的医疗费用，并且，借助云平台，结合基于DICOM标准的WADO远程访问与深层次图像传输技术，连接基层医疗机构，实现远程医疗和移动医疗，更好地服务广大患者。

Description

医学影像智能评片系统

技术领域

本发明涉及图像处理领域，特别是医学影像智能评片系统。

背景技术

胸部的透视影像是诊断肺部疾病的关键技术，X光成像是体检筛查肺部疾病的主要手段，如肺部炎症、肿块、结核、肺癌等，随着数字成像技术的发展，数字化照影图像，即Digital Radiography,逐步取代了传统的胸部透视成像方式，其采用非晶硅平板探测器把穿透人体的 X线信息转化为数字信号，并由计算机重建图像及进行一系列的图像后处理，由于该技术在曝光条件稍差时，也能获得很好的图像，并且成像清晰度高，辐射低，在我国已经成为广大医院和基层体检中心的主要技术设备。

近年来，图像处理的发展和深度学习技术的不断成熟，使得计算机辅助检测/诊断成为现实，可以帮助医生进行更加客观、有效的判断，但是目前对于影像质量评价的仅仅停留在医学影像增强的图像质量评价，并没有与影像技师拍片质量进行关联，例如影像上是否有异物遮挡，拍片患者身体站位是否正常等，不合格的医学影像会使诊断准确性受到很大的影响，并且，若因不合格的医学影像导致重复检查，会增加患者的医疗费用，带来更大的健康风险，浪费医疗资源。

与此同时，目前医疗影像信息化水平快速发展，尤其是远程医疗、移动医疗的开展，基于数字医疗信息的医疗诊治活动已超出局域网环境下的医院内部范围，扩展到无线网络和广域网应用环境下的医院间、地区间的区域协同医疗范围，可以均衡不同地区之间的医疗资源差距，更好地服务广大患者，但是如何整合不同设备产生的医学影像，实现基层医疗机构的影像接入成为急需解决的问题。

发明内容

针对背景技术中存在的技术问题，本发明提出一种医学影像智能评片系统，其特征在于，所述医学影像智能评片系统包括DICOM网关模块、影像部位分类模块、医学影像分割模块、异物分类模块、存储模块、大数据分析模块、影像评价模块和质量等级输出模块；

所述DICOM网关模块连接所述影像部位分类模块，所述影像部位分类模块连接所述医学影像分割模块、所述异物分类模块和所述存储模块，所述医学影像分割模块和所述异物分类模块分别连接所述影像评价模块，所述影像评价模块连接所述质量等级输出模块，所述大数据分析模块连接所述影像部位分类模块、所述医学影像分割模块和所述异物分类模块。

进一步地，所述医学影像智能评片系统部署在云平台，运行在Linux服务器下，通过GPU 显卡保证深度学习快速的计算。

进一步地，所述存储模块对所述云平台提供的各类存储设备进行统一的池化，形成统一的存储资源池，并且借助所述云平台特有的灵活性无缝在线增加存储资源。

进一步地，所述DICOM网关模块在采集医学影像的过程中采用基于DICOM标准的WADO远程访问与深层次图像传输技术。

进一步地，所述影像部位分类模块的具体工作过程如下：

1)输入影像，判断影像文件的完整性，若影像文件不完整，则进入步骤2，若影像文件完整，则进入步骤3；

2)提示输入正确的影像，进入步骤1；

3)进行DICOM图像预处理；

4)采用卷积神经网络模型区分影像的类别；

5)根据影像类别判断影响部位是否符合要求，若不符合要求，进入步骤6，若符合要求，进入步骤7；

6)提示输入正确的影像，进入步骤1；

7)将符合要求的影像输入医学影像分割模块、异物分类模块和存储模块。

进一步地，所述卷积神经网络模型采用深度达到50层的ResNet-50模型。

进一步地，所述医学影像分割模块的具体工作过程如下：

1)接收影像，对于影像进行预处理；

2)基于卷积神经网络分割模型对肺野，锁骨和肩胛骨进行像素级分割，得到分割部位的区域；

3)分割后处理计算，得到锁骨倾斜度、体位方向以及肩胛骨和肺野的重叠面积。

8.根据权利要求7所述的医学影像智能评片系统，其特征在于，所述卷积神经网络分割模型采用U-Net模型，构建深度达到27层的多标签语义分割模型。

进一步地，所述肩胛骨和肺野的重叠面积的计算过程包括：计算肩胛骨和肺野的重叠区域的图像，然后求取连通区域，计算每一个连通区域的面积，即为重叠区域，再计算重叠区域和肩胛骨的比值。

进一步地，所述异物分类模块的具体工作过程如下：

1)输入影像，对于影像进行预处理；

2)采用卷积神经网络异物模型进行异物分类，输出异物类别结果。

进一步地，所述卷积神经网络异物模型采用深度达到121层的DenseNet-121。

进一步地，所述大数据分析模块通过大数据关联分析将不同类型医学影像评价指标体系在满足医学基本原则的基础上建立联系并形成特征网络，构建影像的质量评价模型。

附图说明

图1是医学影像智能评片系统结构示意图；

图2是医学影像智能评价方法流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。

基于附图1可以看出，医学影像智能评片系统包括DICOM网关模块、影像部位分类模块、医学影像分割模块、异物分类模块、存储模块、大数据分析模块、影像评价模块和质量等级输出模块。

医学影像智能评片系统部署在云平台，运行在Linux服务器下，通过GPU显卡保证深度学习快速的计算，医学影像智能评片系统基于深度学习框架Pytorch-0.4.1开发，编程语言为Python。

DICOM网关模块采用异构结构，按照四级目录进行图像存储，四级目录分别为：1)图像类型；2)采集时间；3)病人信息；4)图像序列号，DICOM网关模块在采集医学影像的过程中采用基于DICOM标准的WADO远程访问与深层次图像传输技术，实现影像的高效传输效率并确保影像传输过程中的安全性和唯一性，DICOM网关模块首先将网关接收到图像按照四级目录结构存储到本地，然后转发到影像部位分类模块。

影像部位分类模块用于保证正确的DICOM医学影像和符合部位要求的影像，其具体工作过程如下：

1)输入影像，判断影像文件的完整性，若影像文件不完整，则进入步骤2，若影像文件完整，则进入步骤3；

2)提示输入正确的影像，进入步骤1；

3)进行DICOM图像预处理；

4)采用卷积神经网络模型区分影像的类别；

5)根据影像类别判断影响部位是否符合要求，若不符合要求，进入步骤6，若符合要求，进入步骤7；

6)提示输入正确的影像，进入步骤1；

7)将符合要求的影像输入医学影像分割模块、异物分类模块和存储模块。

由于医学影像正位影像和非正位影像的特征区别性很高，采用有监督的卷积神经网络进行学习分类，卷积神经网络中的ResNet模型在很大程度上解决了深层网络训练时梯度消失或梯度爆炸，导致网络无法训练的问题，同时在ImageNet数据集达到3.57％的top5错误率，拥有强大的特征区分能力，考虑到ResNet模型所具有的优势，本发明中采用深度达到50层的ResNet-50模型，图像输入尺寸224*224*3(宽*高*通道数)，分类类别数量为2，网络结构如下：

由于是二分类的问题，则损失函数采用交叉熵损失函数，具体公式如下：

利用ImageNet的预训练模型resnet50卷积神经网络进行迁移学习，采用SGD优化器， momentum＝0.9,weight_decay＝5e-4，迭代次数为2000步，loss收敛，模型稳定。

医学影像分割模型用于对医学影像进行适当的分割处理，其具体工作过程如下：

1)接收影像，对于影像进行预处理；

2)基于卷积神经网络分割模型对肺野，锁骨和肩胛骨进行像素级分割，得到分割部位的区域；

3)分割后处理计算，得到锁骨倾斜度、体位方向以及肩胛骨和肺野的重叠面积。

深度学习在图像分割的开山之作是FCN，FCN构建了端到端的语义分割框架，FCN的优点在于：1)并联跳跃结构，抽取多尺度图像特征；2)移除了全连接，采用全卷积层；3)上采样阶段，保证了预测图像和输入的原始图像的大小一致；4)适用尺寸较大的医学影像，但是分割精度较差，U-Net基于FCN进行了改进，网络的前半部分进行特征提取，后半部分进行上采样，同时结合前半部分编码的信息，考虑到U-Net模型的上述优势，卷积神经网络分割模型采用U-Net模型，构建深度达到27层的多标签语义分割模型，图像输入尺寸512*512*1(宽*高*通道数),经过前面4层的编码网络进行特征提取，然后送入转置卷积层，保证输出的特征尺寸与相对应的编码层的特征大小一致，然后并联对应编码层的特征，网络结构如下：

F@AxB；s＝s₀；d＝d₀:block conisiting of two conv layers with each have Ffeature maps,filter siz AxB,stride s₀,output with d₀rate；

F#AxB；s＝s₀:single deconvolutional with have F feature maps,filtersiz AxB,stride s₀；

Pooling:AxB；s＝s₀:max pooling layer with pooling size AxB,stride s₀；

F△AxB；s＝s₀:single convolutional with have F feature maps,filter sizAxB,stride s₀。

多类别标签表格如下：

像素标签	索引
		背景	0
肺野	1
		锁骨	2
肩胛骨	3

由于是多分类的问题，则损失函数采用交叉熵损失函数，具体公式如下：

采用ADAM优化器，额定学习率10.5，β1＝0.9，β2＝0.999。

锁骨的倾斜度计算：利用锁骨区域的外接矩形的长和宽计算倾斜角度。

体位偏移计算：计算在x方向上两个锁骨的中点与图像中心点的距离。

肩胛骨和肺野的重叠面积：计算肩胛骨和肺野的重叠区域的图像，然后求取连通区域，计算每一个连通区域的面积，即为重叠区域，再计算重叠区域和肩胛骨的比值。

异物分类模块对符合要求的影像，进行异物类型的判别，患者在拍摄医学影像时，很多情况下并没有按照规定取下手机，饰品等物品，造成拍摄的影像的可靠性较低，其具体工作过程如下：

1)输入影像，对于影像进行预处理；

2)采用卷积神经网络异物模型进行异物分类，输出异物类别结果。

由于影像上存在的异物具有显著的识别性，卷积神经网络异物模型采用有监督的卷积神经网络进行学习多标签分类，并且DenseNet模型是一种具有密集连接的卷积神经网络，在该网络中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入，DenseNet的一个 dense block包括BN-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3)，而一个DenseNet则由多个这种block组成，每个DenseBlock的之间层称为transition layers，由BN->Conv(1×1) ->averagePooling(2×2)组成，DenseNet模型在思想上借鉴了ResNet模型和Inception网络，但却是全新的结构，网络结构并不复杂，却非常有效，在CIFAR指标上全面超越ResNet，使得网络性能进一步提升，考虑到DenseNet模型具有上述优势，卷积神经网络异物模型采用深度达到121层的DenseNet-121，图像输入尺寸224*224*3(宽*高*通道数)，网络结构如下：

多类别标签表格如下：

标签	索引
		优片	0
差片	1
		体内异物	2
体外异物在肺野上	3
		体外异物在肺野外	4

由于是多分类的问题，则损失函数采用交叉熵损失函数，具体公式如下：

采用SGD优化器，momentum＝0.9,weight_decay＝5e-4，迭代次数为20000步，loss收敛，模型稳定。

存储模块对云平台提供的各类存储设备进行统一的池化，形成统一的存储资源池，并且借助云平台特有的灵活性无缝在线增加存储资源，与此同时，划分不同级别的存储资源和不同类型的影像标准库，能够根据不同的应用需求，调阅不同的影像资源。

大数据分析模块通过大数据关联分析将不同类型医学影像评价指标体系在满足医学基本原则的基础上建立联系并形成特征网络，构建影像的质量评价模型，所述模型可用于调用、匹配、分析、定位特征参数，实现图像关键信息的抓取，图像信息的匹配，以及图像的分割。

影像评价模块对异物分析模块和医学影像分割模块的输出进行打分，判断影像质量等级，医学影像质控算法的目的是控制摄影质量，规范化患者后前位(PA位)站姿，减少衣物上的异物对影像造成的影响，质控分数总分数为10分，采用减分制的计算方式，根据异物分析模块和医学影像分割模块的结果计算最终结果，医学影像质控评分系统如下表所示：

质控评价分数＝10分减去上表中4个项目的各自的分数。

最终得到的影像质量等级如下表所示：

分数范围	9-10	7-8	5-6	1-4
					等级	优片	良片	中片	差片

质量等级输出模块用于将判断得到的影像质量等级输出至原始影像的提供方。

通过附图2可以看出，基于医学影像智能评片系统的医学影像智能评价方法包括如下步骤：

1)DICOM网关模块接收医学影像，将其输入影像部位分类模块；

2)影像部位分类模块判断输入的医学影像是否是正确的Dicom医学影像，是否是符合部位要求的影像，若输入的影像文件不符合要求，则进入步骤3，若输入的影像文件符合要求，则进入步骤4；

3)提示输入正确的影像，进入步骤1；

4)将符合要求的影像文件输入异物分析模块、医学影像分割模块和存储模块；

5)异物分析模块对符合要求的影像进行异物类型的判别，医学影像分割模块对影像进行分割，计算锁骨的倾斜度，体位方向，以及肩胛骨和肺野的重叠面积；

6)影像评价模块对异物分析模块和医学影像分割模块的输出进行打分，判断影像质量等级；

7)质量等级输出模块将判断得到的影像质量等级输出至原始影像的提供方。

医学影像智能评片系统借助多个卷积神经网络模型实现医学影像质量的自动化智能判断，增强了医学诊断的准确性，减少了患者不必要的医疗费用，并且，借助云平台，结合基于DICOM 标准的WADO远程访问与深层次图像传输技术，连接基层医疗机构，实现远程医疗和移动医疗，更好地服务广大患者。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种医学影像智能评片系统，其特征在于，所述医学影像智能评片系统包括DICOM网关模块、影像部位分类模块、医学影像分割模块、异物分类模块、存储模块、大数据分析模块、影像评价模块和质量等级输出模块；

所述DICOM网关模块连接所述影像部位分类模块，所述影像部位分类模块连接所述医学影像分割模块、所述异物分类模块和所述存储模块，所述医学影像分割模块和所述异物分类模块分别连接所述影像评价模块，所述影像评价模块连接所述质量等级输出模块，所述大数据分析模块连接所述影像部位分类模块、所述医学影像分割模块和所述异物分类模块。

2.根据权利要求1所述的医学影像智能评片系统，其特征在于，所述医学影像智能评片系统部署在云平台，运行在Linux服务器下，通过GPU显卡保证深度学习快速的计算。

3.根据权利要求2所述的医学影像智能评片系统，其特征在于，所述存储模块对所述云平台提供的各类存储设备进行统一的池化，形成统一的存储资源池，并且借助所述云平台特有的灵活性无缝在线增加存储资源。

4.根据权利要求1所述的医学影像智能评片系统，其特征在于，所述DICOM网关模块在采集医学影像的过程中采用基于DICOM标准的WADO远程访问与深层次图像传输技术。

5.根据权利要求1所述的医学影像智能评片系统，其特征在于，所述影像部位分类模块的具体工作过程如下：

1）输入影像，判断影像文件的完整性，若影像文件不完整，则进入步骤2，若影像文件完整，则进入步骤3；

2）提示输入正确的影像，进入步骤1；

3）进行DICOM图像预处理；

4）采用卷积神经网络模型区分影像的类别；

5）根据影像类别判断影响部位是否符合要求，若不符合要求，进入步骤6，若符合要求，进入步骤7；

6）提示输入正确的影像，进入步骤1；

7）将符合要求的影像输入医学影像分割模块、异物分类模块和存储模块。

6.根据权利要求5所述的医学影像智能评片系统，其特征在于，所述卷积神经网络模型采用深度达到50层的ResNet-50模型。

7.根据权利要求1所述的医学影像智能评片系统，其特征在于，所述医学影像分割模块的具体工作过程如下：

1）接收影像，对于影像进行预处理；

2）基于卷积神经网络分割模型对肺野，锁骨和肩胛骨进行像素级分割，得到分割部位的区域；

3）分割后处理计算，得到锁骨倾斜度、体位方向以及肩胛骨和肺野的重叠面积。

8.根据权利要求7所述的医学影像智能评片系统，其特征在于，所述卷积神经网络分割模型采用U-Net模型，构建深度达到27层的多标签语义分割模型。

9.根据权利要求7所述的医学影像智能评片系统，其特征在于，所述肩胛骨和肺野的重叠面积的计算过程包括：计算肩胛骨和肺野的重叠区域的图像，然后求取连通区域，计算每一个连通区域的面积，即为重叠区域，再计算重叠区域和肩胛骨的比值。

10.根据权利要求1所述的医学影像智能评片系统，其特征在于，所述异物分类模块的具体工作过程如下：

1）输入影像，对于影像进行预处理；

2）采用卷积神经网络异物模型进行异物分类，输出异物类别结果。