CN114387283A - 一种医学图像肺炎区域分割智能诊断系统 - Google Patents

一种医学图像肺炎区域分割智能诊断系统 Download PDF

Info

Publication number
CN114387283A
CN114387283A CN202111586633.1A CN202111586633A CN114387283A CN 114387283 A CN114387283 A CN 114387283A CN 202111586633 A CN202111586633 A CN 202111586633A CN 114387283 A CN114387283 A CN 114387283A
Authority
CN
China
Prior art keywords
network model
neural network
pneumonia
medical image
region segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111586633.1A
Other languages
English (en)
Inventor
侯高琦
吴军
鞠海涛
樊昭磊
李传鹏
颜红建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Msunhealth Technology Group Co Ltd
Original Assignee
Shandong Msunhealth Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Msunhealth Technology Group Co Ltd filed Critical Shandong Msunhealth Technology Group Co Ltd
Priority to CN202111586633.1A priority Critical patent/CN114387283A/zh
Publication of CN114387283A publication Critical patent/CN114387283A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种医学图像肺炎区域分割智能诊断系统，对医学图像进行格式转换和预处理；利用预训练的神经网络模型对预处理后的图像进行处理，得到肺炎区域分割结果；神经网络模型的训练过程包括：构建初步的神经网络模型；将作为样本的预处理后的医学图像中的背景当作正样本，肺炎感染区域当作负样本，输入到构建的神经网络模型进行解码操作；将图像对应的掩码进行反转操作；构建损失函数，利用损失函数优化神经网络模型的参数，直至预测结果符合要求，以此时的神经网络模型为预训练的神经网络模型；将预测结果的掩码进行复原，确定肺炎区域分割结果。本发明能够提高执行速度且提高分割精度与准确度。

Description

一种医学图像肺炎区域分割智能诊断系统
技术领域
本发明属于图像分割技术领域，具体涉及一种医学图像肺炎区域分割智能诊断系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
传统阅片过程一般采用医护工作者进行人工阅片，容易造成错误和存在漏检。用人工智能辅助诊断系统辅助传统阅片，人工智能辅助诊断系统阅片时间,检出率高于人工阅片；同时假阳性率,敏感性也高于人工阅片，综合性能明显高于人工阅片,阅片时间更少,值得推广应用。但现有部分人工智能辅助诊断系统多存在执行速度慢、精度欠佳的问题。
发明内容
本发明为了解决上述问题，提出了一种医学图像肺炎区域分割智能诊断系统，本发明能够提高执行速度且提高分割精度与准确度。
根据一些实施例，本发明采用如下技术方案：
一种医学图像肺炎区域分割智能诊断系统，包括：
预处理模块，被配置为对医学图像进行格式转换；
肺炎区域分割模块，被配置为利用预训练的神经网络模型对预处理后的图像进行处理，得到肺炎区域分割结果；
所述肺炎区域分割模块包括：
神经网络模型构建模块，被配置为构建初步的神经网络模型；
解码模块，被配置为将作为样本的预处理后的医学图像中的背景当作正样本，肺炎感染区域当作负样本，作为目标属性mask输入到构建的神经网络模型进行解码操作；
反转模块，被配置为将图像对应的掩码进行反转操作；
优化模块，被配置为构建损失函数，利用损失函数优化神经网络模型的参数，直至预测结果符合要求，以此时的神经网络模型为预训练的神经网络模型；
复原模块，被配置为将预测结果的掩码进行复原，确定肺炎区域分割结果。
作为可选择的实施方式，所述预处理模块，被配置为对医学图像进行格式转换为PNG格式。
作为可选择的实施方式，所述肺炎区域分割模块还包括数据增强模块，被配置为对预处理后的医院图像进行包含翻转、旋转、平移和裁剪中至少一种的数据增强操作。
作为可选择的实施方式，所述神经网络模型为ShufflenetV2_Unet网络模型，包括依次连接的shufflenetV2网络和Unet网络。
作为进一步的，所述解码模块，被配置为先利用shufflenetV2网络进行解码操作，在进行卷积操作后，再进行Unet网络的解码操作。
作为可选择的实施方式，所述反转模块被配置为将图像对应的掩码0置为1，1置为0。
作为可选择的实施方式，所述损失函数为相似度损失函数和交叉熵损失函数之和，所述相似度损失函数从IOU方向把控模型的分割准确性，交叉熵损失从像素级别保证模型的分类精度。
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成以下步骤：
对医学图像进行格式转换和预处理；
利用预训练的神经网络模型对预处理后的图像进行处理，得到肺炎区域分割结果；
所述神经网络模型的训练过程包括：
构建初步的神经网络模型；
将作为样本的预处理后的医学图像中的背景当作正样本，肺炎感染区域当作负样本，输入到构建的神经网络模型进行解码操作；
将图像对应的掩码进行反转操作；
构建损失函数，利用损失函数优化神经网络模型的参数，直至预测结果符合要求，以此时的神经网络模型为预训练的神经网络模型；
将预测结果的掩码进行复原，确定肺炎区域分割结果。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成以下步骤：
对医学图像进行格式转换和预处理；
利用预训练的神经网络模型对预处理后的图像进行处理，得到肺炎区域分割结果；
所述神经网络模型的训练过程包括：
构建初步的神经网络模型；
将作为样本的预处理后的医学图像中的背景当作正样本，肺炎感染区域当作负样本，输入到构建的神经网络模型进行解码操作；
将图像对应的掩码进行反转操作；
构建损失函数，利用损失函数优化神经网络模型的参数，直至预测结果符合要求，以此时的神经网络模型为预训练的神经网络模型；
将预测结果的掩码进行复原，确定肺炎区域分割结果。
与现有技术相比，本发明的有益效果为：
本发明用ShufflenetV2当作特征提取层，在保证准确率的前提下最大限度提高模型执行速度；
本发明将背景当作正例样本进行预测，可以获得更高的dice；
本发明将交叉熵损失和相似度损失之和当作最终损失函数，从全局和局部两个角度把控模型优化方向，有助于模型优化的过程的快速进行。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本实施例的流程示意图；
图2为本实施例的网络模型示意图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
实施例一：
一种医学图像肺炎区域分割智能诊断方法，包括以下步骤：
如图1所示，首先进行模型的训练。
步骤(1)：先利用若干已有诊断医学图像作为训练数据，将窗值设置为肺窗，使图像中的肺部区域重点显示出来，并将医学图像image转成PNG格式；
步骤(2)：对已有的训练数据，即训练用的医学图像进行翻转、旋转、平移或/和裁剪等数据增强操作，训练时将裁剪的图像进行不失真的调整,进行填充，成固定大小。
该步骤的意义在于扩大数据量的同时，能够进一步增强后期模型的鲁棒性。
步骤(3)：构建shufflenetV2-Unet网络，如图2所示。
本实施例在编码阶段用的shufflenetV2_1.0，本实施例直接调用与训练所述模型，对其进行改进，将最后一层分类层删除，解码过程和普通Unet解码过程一样，不一样的只是改变了它的目标属性label。
本实施例中使用shufflenetV2，具有更高的执行速度，并且精度并没有下降。
数据增强后的训练样本图像送入shufflenetV2网络进行encode阶段，image只经过Stage4和之前的特征层处理，Stage4后图像大小16×16，层数704；
本实施例中，shufflenetV2网络的具体结构如表1所示：
Figure BDA0003423905480000061
Figure BDA0003423905480000071
步骤(4)：步骤(3)之后进行一个不改变featuremap大小的卷积操作，然后进行Unet网络的decode阶段；
在步骤(3)和步骤(4)中的解码操作时，将背景当作正样本，肺炎感染区域当作负样本进行解码操作。
严格来说所有图像分割的最后一个卷积层都是一个分类映射的过程，现有技术通常是用注意力机制将想要预测出来的重点区域增加权重，或者直接自己手动设置权重参数，这种方式即复杂，又无法保证预测结果的准确性。而本实施例则改为预测背景，然后做一个反转操作即可，整个过程简化，并能够提升效果。
因为解码(decode)操作最后一步是将感染区域和正常区域分别映射到不同的feature map上，相当于一个二分类问题，而感染区域通常面积较小，直接将肺炎区域当作正样本进行预测会因为数据正负样本不平衡导致预测效果较差；将背景区域当作正样本进行预测可以使预测结果偏向样本数多的一侧，从而缓解数据不均衡的问题。经过试验对比，最终dice较直接将肺炎区域当作正样结果提升3％左右。
步骤(5)：将医学图像image对应的mask进行反转操作(0置为1，1置为0)。
该步骤的目的是预测未感染的正常区域，因为肺炎区域面积较小，直接预测效果不佳，预测完正常区域后,在部分实施例中，做一个减法复原操作即可；
步骤(6)：构建损失函数，开始训练；
本实施例的损失函数包括两个：
1、Dice系数与Dice Loss
Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围在[0,1]：
Figure BDA0003423905480000081
其中|X∩Y|是X和Y之间的交集，|X|和|Y|分别表示X和Y的元素的个数，其中，分子的系数为2，是因为分母存在重复计算X和Y之间的共同元素的原因,加1是防止分母为0。
Dice Loss：
Figure BDA0003423905480000082
2.交叉熵损失：
Ln＝-(yn*log(zn)+(1-yn)*log(1-zn))
其中zn是模型预测样本是正例的概率,yn是样本标签，如果样本属于正例，取值为1，否则取值为0。
本实施例的最终损失函数：
Loss＝Ld+Ln
Dice Loss从IOU方向宏观把控分割准确性，交叉熵损失从像素级别保证分类精度。
步骤(7)：进行训练，直至模型的损失函数达到设定要求，以此时的shufflenetV2-Unet网络模型为最终的网络模型。
将新采集的，需要诊断的医学图像进行预处理，利用最终的网络模型对其进行分割识别。
预测的时候再将mask复原，得到最终的肺炎区域dice。
实施例二：
一种医学图像肺炎区域分割智能诊断系统，包括：
预处理模块，被配置为对医学图像进行格式转换；
肺炎区域分割模块，被配置为利用预训练的神经网络模型对预处理后的图像进行处理，得到肺炎区域分割结果；
所述肺炎区域分割模块包括：
神经网络模型构建模块，被配置为构建初步的神经网络模型；
解码模块，被配置为将作为样本的预处理后的医学图像中的背景当作正样本，肺炎感染区域当作负样本，输入到构建的神经网络模型进行解码操作；
反转模块，被配置为将图像对应的掩码进行反转操作；
优化模块，被配置为构建损失函数，利用损失函数优化神经网络模型的参数，直至预测结果符合要求，以此时的神经网络模型为预训练的神经网络模型；
复原模块，被配置为将预测结果的掩码进行复原，确定肺炎区域分割结果。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种医学图像肺炎区域分割智能诊断系统，其特征是：包括：
预处理模块，被配置为对医学图像进行格式转换；
肺炎区域分割模块，被配置为利用预训练的神经网络模型对预处理后的图像进行处理，得到肺炎区域分割结果；
所述肺炎区域分割模块包括：
神经网络模型构建模块，被配置为构建初步的神经网络模型；
解码模块，被配置为将作为样本的预处理后的医学图像中的背景当作正样本，肺炎感染区域当作负样本，输入到构建的神经网络模型进行解码操作；
反转模块，被配置为将图像对应的掩码进行反转操作；
优化模块，被配置为构建损失函数，利用损失函数优化神经网络模型的参数，直至预测结果符合要求，以此时的神经网络模型为预训练的神经网络模型；
复原模块，被配置为将预测结果的掩码进行复原，确定肺炎区域分割结果。
2.如权利要求1所述的一种医学图像肺炎区域分割智能诊断系统，其特征是：所述预处理模块，被配置为对医学图像进行格式转换为PNG格式。
3.如权利要求1所述的一种医学图像肺炎区域分割智能诊断系统，其特征是：所述肺炎区域分割模块还包括数据增强模块，被配置为对预处理后的医院图像进行包含翻转、旋转、平移和裁剪中至少一种的数据增强操作。
4.如权利要求1所述的一种医学图像肺炎区域分割智能诊断系统，其特征是：所述神经网络模型为ShufflenetV2_Unet网络模型，包括依次连接的shufflenetV2网络和Unet网络。
5.如权利要求4所述的一种医学图像肺炎区域分割智能诊断系统，其特征是：所述解码模块，被配置为先利用shufflenetV2网络进行解码操作，在进行卷积操作后，再进行Unet网络的解码操作。
6.如权利要求1所述的一种医学图像肺炎区域分割智能诊断系统，其特征是：所述反转模块被配置为将图像对应的掩码0置为1，1置为0。
7.如权利要求1所述的一种医学图像肺炎区域分割智能诊断系统，其特征是：所述损失函数为相似度损失函数和交叉熵损失函数之和。
8.如权利要求7所述的一种医学图像肺炎区域分割智能诊断系统，其特征是：所述相似度损失函数从IOU方向把控模型的分割准确性，交叉熵损失从像素级别保证模型的分类精度。
9.一种电子设备，其特征是：包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成以下步骤：
对医学图像进行格式转换和预处理；
利用预训练的神经网络模型对预处理后的图像进行处理，得到肺炎区域分割结果；
所述神经网络模型的训练过程包括：
构建初步的神经网络模型；
将作为样本的预处理后的医学图像中的背景当作正样本，肺炎感染区域当作负样本，输入到构建的神经网络模型进行解码操作；
将图像对应的掩码进行反转操作；
构建损失函数，利用损失函数优化神经网络模型的参数，直至预测结果符合要求，以此时的神经网络模型为预训练的神经网络模型；
将预测结果的掩码进行复原，确定肺炎区域分割结果。
10.一种计算机可读存储介质，其特征是：用于存储计算机指令，所述计算机指令被处理器执行时，完成以下步骤：
对医学图像进行格式转换和预处理；
利用预训练的神经网络模型对预处理后的图像进行处理，得到肺炎区域分割结果；
所述神经网络模型的训练过程包括：
构建初步的神经网络模型；
将作为样本的预处理后的医学图像中的背景当作正样本，肺炎感染区域当作负样本，输入到构建的神经网络模型进行解码操作；
将图像对应的掩码进行反转操作；
构建损失函数，利用损失函数优化神经网络模型的参数，直至预测结果符合要求，以此时的神经网络模型为预训练的神经网络模型；
将预测结果的掩码进行复原，确定肺炎区域分割结果。
CN202111586633.1A 2021-12-21 2021-12-21 一种医学图像肺炎区域分割智能诊断系统 Pending CN114387283A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111586633.1A CN114387283A (zh) 2021-12-21 2021-12-21 一种医学图像肺炎区域分割智能诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111586633.1A CN114387283A (zh) 2021-12-21 2021-12-21 一种医学图像肺炎区域分割智能诊断系统

Publications (1)

Publication Number Publication Date
CN114387283A true CN114387283A (zh) 2022-04-22

Family

ID=81197314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111586633.1A Pending CN114387283A (zh) 2021-12-21 2021-12-21 一种医学图像肺炎区域分割智能诊断系统

Country Status (1)

Country Link
CN (1) CN114387283A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187819A (zh) * 2022-08-23 2022-10-14 北京医准智能科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质
CN115222940A (zh) * 2022-07-07 2022-10-21 北京邮电大学 一种语义分割方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222940A (zh) * 2022-07-07 2022-10-21 北京邮电大学 一种语义分割方法和系统
CN115187819A (zh) * 2022-08-23 2022-10-14 北京医准智能科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109165660B (zh) 一种基于卷积神经网络的显著物体检测方法
CN114387283A (zh) 一种医学图像肺炎区域分割智能诊断系统
CN109949276B (zh) 一种于改进SegNet分割网络的淋巴结检测方法
CN111723798B (zh) 一种基于关联性层级残差的多实例自然场景文本检测方法
CN111160348A (zh) 自然场景的文本识别方法、存储装置和计算机设备
CN113094509B (zh) 文本信息提取方法、系统、设备及介质
CN115422389B (zh) 处理文本图像的方法及装置、神经网络的训练方法
CN113033436A (zh) 障碍物识别模型训练方法及装置、电子设备、存储介质
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN112861795A (zh) 基于多尺度特征融合的遥感图像显著目标检测方法及装置
CN111753682A (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN116304042A (zh) 一种基于多模态特征自适应融合的虚假新闻检测方法
CN114282649A (zh) 基于双向注意力机制增强yolo v5的目标检测方法
CN110659572A (zh) 基于双向特征金字塔的视频动作检测方法
CN113297986A (zh) 手写字符识别方法、装置、介质及电子设备
CN113313669A (zh) 一种地铁隧道表面病害图像顶层语义特征增强方法
CN110796115B (zh) 图像检测方法、装置、电子设备及可读存储介质
CN114638814B (zh) 基于ct图像的结直肠癌自动分期方法、系统、介质及设备
CN113780238B (zh) 多指标时序信号的异常检测方法、装置及电子设备
CN116258931A (zh) 基于ViT和滑窗注意力融合的视觉指代表达理解方法和系统
CN113361522B (zh) 用于确定字符序列的方法、装置和电子设备
CN115205855A (zh) 融合多尺度语义信息的车辆目标识别方法、装置及设备
CN115049546A (zh) 样本数据处理方法、装置、电子设备及存储介质
CN114998222A (zh) 汽车差速器壳体表面检测方法、电子设备及介质
CN110135419B (zh) 一种自然场景下端到端文本识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination