CN111062947A - 一种基于深度学习的x光胸片病灶定位方法及系统 - Google Patents

一种基于深度学习的x光胸片病灶定位方法及系统 Download PDF

Info

Publication number
CN111062947A
CN111062947A CN201911124998.5A CN201911124998A CN111062947A CN 111062947 A CN111062947 A CN 111062947A CN 201911124998 A CN201911124998 A CN 201911124998A CN 111062947 A CN111062947 A CN 111062947A
Authority
CN
China
Prior art keywords
image
ray chest
semantic segmentation
focus
chest radiography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911124998.5A
Other languages
English (en)
Other versions
CN111062947B (zh
Inventor
柯晓文
权申文
刘远明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Smart Imaging Healthcare Co ltd
Original Assignee
Shenzhen Smart Imaging Healthcare Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Smart Imaging Healthcare Co ltd filed Critical Shenzhen Smart Imaging Healthcare Co ltd
Publication of CN111062947A publication Critical patent/CN111062947A/zh
Application granted granted Critical
Publication of CN111062947B publication Critical patent/CN111062947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本发明实施例公开了一种基于深度学习的X光胸片病灶定位方法及系统，方法包括：获取X光胸片图像，对X光胸片图像进行预处理后，生成X光胸片图像对应的数据标签；将预处理后的X光胸片图像输入训练好的卷积神经网络，根据输出结果生成X光胸片图像的初始病灶语义分割图像；对所述初始病灶语义分割图像进行二次处理后，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像；将目标病灶语义分割图像叠加渲染到原图，生成一个显示病灶高亮的热图，完成对X光胸片病灶定位。本发明实施例在保证与医生相近的准确率的同时，大大缩短了医生阅片时间，解决了胸片诊断费时的问题，提升医生的工作效率，减少漏诊。

Description

一种基于深度学习的X光胸片病灶定位方法及系统
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种基于深度学习的X光胸片病灶定位方法及系统。
背景技术
胸部X光检查是当今医学影像检查中最常规的检查。通过X光检查，医生可以清楚地了解我们身体的健康状况。不同的病种在胸片上会呈现不同的病灶特征，放射科医生会依照这些特征作为判断疾病的种类和严重程度的标准。医生的准确判断能够帮助病人及时并治疗疾病。但是对于放射科医生来说，诊断X胸光片非常费时，属于大量的重复性工作，而且是一些特征不太明显的疾病往往要求放射科医生有丰富的经验，在一些医疗条件较为落后的地区，计算机辅助病灶自动定位算法有助于解决放射科医生工作量大，主观性强，效率低等问题。
随着计算机技术的不断发展，人工智能技术已经在越来越多的领域开始帮助人类完成一些重复性的工作，医学领域也不例外。目前，许多研究者在X光胸光自动诊断方面做了大量的研究，大多数是基于图像分类算法的基础上实现的，其优点是算法本身是半监督学习，数据标注的工作量小，容易获取训练数据，但是缺点是算法鲁棒性低，病灶定位不准确。另外，还有一部分算法是基于目标检测领域开展的，这是计算机领域在图像上寻找指定目标的常用方法，但是缺点是所需的数据量巨大，在医学图像领域是不现实的。
因此现有技术还有待于进一步发展。
发明内容
针对上述技术问题，本发明实施例提供了一种基于深度学习的X光胸片病灶定位方法及系统，能够解决现有技术中病灶定位算法存在定位不准确，定位需要的数据量巨大的技术问题。
本发明实施例的第一方面提供一种基于深度学习的X光胸片病灶定位方法，包括：
获取X光胸片图像，对X光胸片图像进行预处理后，生成X光胸片图像对应的数据标签；
将预处理后的X光胸片图像输入训练好的卷积神经网络，根据输出结果生成X光胸片图像的初始病灶语义分割图像；
对所述初始病灶语义分割图像进行二次处理后，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像；
将目标病灶语义分割图像叠加渲染到原图，生成一个显示病灶高亮的热图，完成对X光胸片病灶定位。
可选地，所述获取X光胸片图像，对X光胸片图像进行预处理后，生成X光胸片图像对应的数据标签，包括：
获取医学DICOM文件格式的X光胸片图像；
将医学DICOM文件转为PNG图像，并进行图像增强；
将进行图像增强后的PNG图像进行归一化处理；
将归一化的PNG图像进行数据增强；
对增强后的数据进行标记，标记出病灶区域，生成X光图像对应的数据标签。
可选地，将预处理后的X光胸片图像输入训练好的卷积神经网络，根据输出结果生成X光胸片图像的初始病灶语义分割图像，包括：
获取预处理后的X光胸片图像，利用卷积神经网络进行特征提取，用梯度下降来训练网络；
获取卷积神经网络的输出结果，将特征向量还原为矩阵，并对像素值范围进行还原后，生成X光胸片图像的初始病灶语义分割图像。
可选地，所述对所述初始病灶语义分割图像进行二次处理后，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像，包括：
对所述初始病灶语义分割图像进行形态学处理，消除初始病灶语义分割图像的毛刺和噪声；
根据预先设置的阈值对形态学处理后初始病灶语义分割图像进行二值化处理，生成二值化图像；
计算二值化图像中单个病灶区域的置信分数；
根据初始病灶语义分割图像和置信分数，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像。
可选地，所述将目标病灶语义分割图像叠加渲染到原图，生成一个显示病灶高亮的热图，完成对X光胸片病灶定位，包括：
获取将目标病灶语义分割图像对应的灰度图，将灰度图的每一个灰度像素值映射到一个色度图上，实现将目标病灶语义分割图像叠加渲染到原图，生成一个显示病灶高亮的热图，完成对X光胸片病灶定位。
本发明实施例第二方面提供了一种基于深度学习的X光胸片病灶定位系统，所述系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下步骤：
获取X光胸片图像，对X光胸片图像进行预处理后，生成X光胸片图像对应的数据标签；
将预处理后的X光胸片图像输入训练好的卷积神经网络，根据输出结果生成X光胸片图像的初始病灶语义分割图像；
对所述初始病灶语义分割图像进行二次处理后，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像；
将目标病灶语义分割图像叠加渲染到原图，生成一个显示病灶高亮的热图，完成对X光胸片病灶定位。
可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
获取X光胸片图像，对X光胸片图像进行预处理后，生成X光胸片图像对应的数据标签，包括：
获取医学DICOM文件格式的X光胸片图像；
将医学DICOM文件转为PNG图像，并进行图像增强；
将进行图像增强后的PNG图像进行归一化处理；
将归一化的PNG图像进行数据增强；
对增强后的数据进行标记，标记出病灶区域，生成X光图像对应的数据标签。
可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
将预处理后的X光胸片图像输入训练好的卷积神经网络，根据输出结果生成X光胸片图像的初始病灶语义分割图像，包括：
获取预处理后的X光胸片图像，利用卷积神经网络进行特征提取，用梯度下降来训练网络；
获取卷积神经网络的输出结果，将特征向量还原为矩阵，并对像素值范围进行还原后，生成X光胸片图像的初始病灶语义分割图像。
可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
对所述初始病灶语义分割图像进行二次处理后，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像，包括：
对所述初始病灶语义分割图像进行形态学处理，消除初始病灶语义分割图像的毛刺和噪声；
根据预先设置的阈值对形态学处理后初始病灶语义分割图像进行二值化处理，生成二值化图像；
计算二值化图像中单个病灶区域的置信分数；
根据初始病灶语义分割图像和置信分数，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像。
本发明实施例第三方面提供了一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于深度学习的X光胸片病灶定位方法。
本发明实施例提供的技术方案中，获取X光胸片图像，对X光胸片图像进行预处理后，生成X光胸片图像对应的数据标签；将预处理后的X光胸片图像输入训练好的卷积神经网络，根据输出结果生成X光胸片图像的初始病灶语义分割图像；对所述初始病灶语义分割图像进行二次处理后，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像；将目标病灶语义分割图像叠加渲染到原图，生成一个显示病灶高亮的热图，完成对X光胸片病灶定位。因此相对于现有技术，本发明实施例在保证与医生相近的准确率的同时，大大缩短了医生阅片时间，解决了胸片诊断费时的问题，提升医生的工作效率，减少漏诊，另外，也减少了由于医生经验不同而带来的诊断误差。
附图说明
图1为本发明实施例中一种基于深度学习的X光胸片病灶定位方法的一实施例的流程示意图；
图2为本发明实施例中一种基于深度学习的X光胸片病灶定位系统的另一实施例的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例中一种基于深度学习的X光胸片病灶定位方法的一个实施例的流程示意图。如图1所示，包括：
步骤S100、获取X光胸片图像，对X光胸片图像进行预处理后，生成X光胸片图像对应的数据标签；
步骤S200、将预处理后的X光胸片图像输入训练好的卷积神经网络，根据输出结果生成X光胸片图像的初始病灶语义分割图像；
步骤S300、对所述初始病灶语义分割图像进行二次处理后，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像；
步骤S400、将目标病灶语义分割图像叠加渲染到原图，生成一个显示病灶高亮的热图，完成对X光胸片病灶定位。
具体地，本发明实施例提供一种基于深度学习的X光胸片病灶定位算法，此方法可以应用于胸片中的大小各种病灶例如结节，肺癌、肺结核、肺炎等。
首先，进行图像数据预处理，DICOM格式转PNG格式，图像增强，数据增强，训练数据标签准备；其次，训练卷积神经网络，预测胸片得到分割图；再然后，图像后处理，分别是形态学处理，二值化，面积、置信分数和肺区过滤，最后，病灶热图渲染，从而实现对病灶的定位。
本发明实施例的特点在于采用特定适用于医学图像的卷积神经做特征自动提取，相比于传统的手动提取病灶特征，大大缩短了算法开发的时间和难度，而且鲁棒性更高。另外，图像的前后处理使得来源不同的胸片之间的差异变小，消除了由于拍摄机器、拍摄环境等因素带来的差异，使得算法更加稳定；
在保证与医生相近的准确率的同时，大大缩短了医生阅片时间，解决了胸片诊断费时的问题，提升医生的工作效率，减少漏诊，另外，也减少了由于医生经验不同而带来的诊断误差。
进一步地，步骤S100具体为：
获取医学DICOM文件格式的X光胸片图像；
将医学DICOM文件转为PNG图像，并进行图像增强；
将进行图像增强后的PNG图像进行归一化处理；
将归一化的PNG图像进行数据增强；
对增强后的数据进行标记，标记出病灶区域，生成X光图像对应的数据标签。
具体地，X光胸片图像为医学DICOM文件，将图像格式为DICOM的X光胸片转换成PNG格式，转换过程中将肺部区域通过直方图均衡化调整到最清晰的显示状态，以RGB的形式保存图像。具体来说，就是将胸片中像素大于226(一些字母)的置255，小于30(背景黑色)的置零，30至226为胸片肺部区域的大致像素值范围，然后做直方图均衡化；
将图像进行归一化处理。图像分成R，G，B三个颜色通道，每个通道的各个像素点的像素值分别减去这个通道对应的平均值，再除以标准差。然后再把所有的像素值从0到255归一化至0到1。最后把图像缩小至512*512的大小。因为我们的神经网络采用迁移学习，是用ImageNet的数据进行预训练的，所以此处的标准差是通过对ImageNet所有预训练数据求得的。具体来说，平均值就是ImageNet所有图像R，G，B三个通道的所有像素分别相加，然后除以总的像素数，分别得到RGB三个通道的平均值，然后标准差就是所有图像RGB三个通道所有像素的每个像素分别求标准差，然后把所有图像RGB三个通道所有像素的标准差分别相加，然后除以总像素数，得到RGB三个通道的标准差；
数据增强。对于训练深度神经网络，我们需要对数据做数据增强，来提升网络的鲁棒性。具体就是对数据进行随机平移，裁剪，旋转，亮度、对比度的调整。具体剪裁范围为原图随机等比例缩放0.8至1；旋转为原图随机旋转正负15度，亮度为原图随机调整0.9至1.1；对比度为原图随机调整0.9至1.1。
数据标签准备。对数据进行标记，圈出病灶区域，生成数据标签，每张X光胸片图像对应一张标签，标签记录着需要神经网络进行特征提取的病灶区域。
进一步地，步骤S200包括：
获取预处理后的X光胸片图像，利用卷积神经网络进行特征提取，用梯度下降来训练网络；
获取卷积神经网络的输出结果，将特征向量还原为矩阵，并对像素值范围进行还原后，生成X光胸片图像的初始病灶语义分割图像。
具体实施时，将上述经过处理的X光胸片图像，利用卷积神经网络进行特征提取，用梯度下降来训练网络。将需要进行预测的图像，分成R，G，B三通道的矩阵，输入训练好的卷积神经网络中，得到输出为264144维的特征向量；
将此向量还原成512*512的矩阵，像素值范围还原成0到255，此时得到的就是X光胸片的病灶语义分割结果。具体就是，此向量是神经网络直接输出得到的，向量值的范围为0到1，为了能够更好地显示病灶，方便人类视觉系统观看，就将像素值还原成0-255，具体就是向量的每个像素值乘以255然后四舍五入取整数，例如向量的某个值为0.9，那就是0.9*255＝230。
进一步地，步骤S300包括：
对所述初始病灶语义分割图像进行形态学处理，消除初始病灶语义分割图像的毛刺和噪声；
根据预先设置的阈值对形态学处理后初始病灶语义分割图像进行二值化处理，生成二值化图像；
计算二值化图像中单个病灶区域的置信分数；
根据初始病灶语义分割图像和置信分数，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像。
具体实施时，上述得到的神经网络原始分割图需要进行进一步的图像处理。首先进行形态学处理，进行开运算处理，使轮廓变光滑，狭小连接区域断开，消除毛刺和噪声；
设置一个阈值，对图像进行二值化处理。大于阈值的像素值设为255，小于阈值的置0。得到二值化图像。阈值的设定为127，也就是最大像素值的一半；
计算图像中单个病灶区域的置信分数(0到1)，表示神经网络认为这个区域是病灶的确定程度；
通过结合肺区分割的结果和置信分数，过滤掉神经网络的预测在肺区外部的假阳性。
进一步地，步骤S400包括：
获取将目标病灶语义分割图像对应的灰度图，将灰度图的每一个灰度像素值映射到一个色度图上，实现将目标病灶语义分割图像叠加渲染到原图，生成一个显示病灶高亮的热图，完成对X光胸片病灶定位。
具体实施时，把得到的处理后的语义分割结果叠加渲染到原图上，产生一个显示病灶高亮的热图。颜色越红表示病灶的置信分数越高。关于渲染，具体就是将语义分割得到的灰度图的每一个灰度像素值映射到一个色度图上。首先先选择色度图，色度图的生成有很多种，具体我们是用OPENCV中的COLORMAP_JET方法，作为一个色度图，从左到右(从蓝到红)每种颜色分别对应0-255的一个像素值；然后我们把语义分割的灰度图转换成RGB，然后RGB每个通道的每一个像素值分别对应一个颜色，从而得到渲染图。
上面对本发明实施例中的基于深度学习的X光胸片病灶定位方法进行了描述，下面对本发明实施例中的基于深度学习的X光胸片病灶定位系统进行描述，请参阅图2，图2是本发明实施例中一种基于深度学习的X光胸片病灶定位系统的另一实施例的硬件结构示意图，如图2所示，系统10包括：存储器101、处理器102及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器101执行时实现以下步骤：
获取X光胸片图像，对X光胸片图像进行预处理后，生成X光胸片图像对应的数据标签；
将预处理后的X光胸片图像输入训练好的卷积神经网络，根据输出结果生成X光胸片图像的初始病灶语义分割图像；
对所述初始病灶语义分割图像进行二次处理后，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像；
将目标病灶语义分割图像叠加渲染到原图，生成一个显示病灶高亮的热图，完成对X光胸片病灶定位。
具体地，本发明实施例提供一种基于深度学习的X光胸片病灶定位算法，此方法可以应用于胸片中的大小各种病灶例如结节，肺癌、肺结核、肺炎等。
首先，进行图像数据预处理，DICOM格式转PNG格式，图像增强，数据增强，训练数据标签准备；其次，训练卷积神经网络，预测胸片得到分割图；再然后，图像后处理，分别是形态学处理，二值化，面积、置信分数和肺区过滤，最后，病灶热图渲染，从而实现对病灶的定位。
本发明实施例的特点在于采用特定适用于医学图像的卷积神经做特征自动提取，相比于传统的手动提取病灶特征，大大缩短了算法开发的时间和难度，而且鲁棒性更高。另外，图像的前后处理使得来源不同的胸片之间的差异变小，消除了由于拍摄机器、拍摄环境等因素带来的差异，使得算法更加稳定；
在保证与医生相近的准确率的同时，大大缩短了医生阅片时间，解决了胸片诊断费时的问题，提升医生的工作效率，减少漏诊，另外，也减少了由于医生经验不同而带来的诊断误差。
可选地，计算机程序被处理器101执行时还实现以下步骤：
获取X光胸片图像，对X光胸片图像进行预处理后，生成X光胸片图像对应的数据标签，包括：
获取医学DICOM文件格式的X光胸片图像；
将医学DICOM文件转为PNG图像，并进行图像增强；
将进行图像增强后的PNG图像进行归一化处理；
将归一化的PNG图像进行数据增强；
对增强后的数据进行标记，标记出病灶区域，生成X光图像对应的数据标签。
具体地，X光胸片图像为医学DICOM文件，将图像格式为DICOM的X光胸片转换成PNG格式，转换过程中将肺部区域通过直方图均衡化调整到最清晰的显示状态，以RGB的形式保存图像。具体来说，就是将胸片中像素大于226(一些字母)的置255，小于30(背景黑色)的置零，30至226为胸片肺部区域的大致像素值范围，然后做直方图均衡化；
将图像进行归一化处理。图像分成R，G，B三个颜色通道，每个通道的各个像素点的像素值分别减去这个通道对应的平均值，再除以标准差。然后再把所有的像素值从0到255归一化至0到1。最后把图像缩小至512*512的大小。因为我们的神经网络采用迁移学习，是用ImageNet的数据进行预训练的，所以此处的标准差是通过对ImageNet所有预训练数据求得的。具体来说，平均值就是ImageNet所有图像R，G，B三个通道的所有像素分别相加，然后除以总的像素数，分别得到RGB三个通道的平均值，然后标准差就是所有图像RGB三个通道所有像素的每个像素分别求标准差，然后把所有图像RGB三个通道所有像素的标准差分别相加，然后除以总像素数，得到RGB三个通道的标准差；
数据增强。对于训练深度神经网络，我们需要对数据做数据增强，来提升网络的鲁棒性。具体就是对数据进行随机平移，裁剪，旋转，亮度、对比度的调整。具体剪裁范围为原图随机等比例缩放0.8至1；旋转为原图随机旋转正负15度，亮度为原图随机调整0.9至1.1；对比度为原图随机调整0.9至1.1。
数据标签准备。对数据进行标记，圈出病灶区域，生成数据标签，每张X光胸片图像对应一张标签，标签记录着需要神经网络进行特征提取的病灶区域。
可选地，计算机程序被处理器101执行时还实现以下步骤：
将预处理后的X光胸片图像输入训练好的卷积神经网络，根据输出结果生成X光胸片图像的初始病灶语义分割图像，包括：
获取预处理后的X光胸片图像，利用卷积神经网络进行特征提取，用梯度下降来训练网络；
获取卷积神经网络的输出结果，将特征向量还原为矩阵，并对像素值范围进行还原后，生成X光胸片图像的初始病灶语义分割图像。
具体实施时，将上述经过处理的X光胸片图像，利用卷积神经网络进行特征提取，用梯度下降来训练网络。将需要进行预测的图像，分成R，G，B三通道的矩阵，输入训练好的卷积神经网络中，得到输出为264144维的特征向量；
将此向量还原成512*512的矩阵，像素值范围还原成0到255，此时得到的就是X光胸片的病灶语义分割结果。具体就是，此向量是神经网络直接输出得到的，向量值的范围为0到1，为了能够更好地显示病灶，方便人类视觉系统观看，就将像素值还原成0-255，具体就是向量的每个像素值乘以255然后四舍五入取整数，例如向量的某个值为0.9，那就是0.9*255＝230。
可选地，计算机程序被处理器101执行时还实现以下步骤：
对所述初始病灶语义分割图像进行二次处理后，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像，包括：
对所述初始病灶语义分割图像进行形态学处理，消除初始病灶语义分割图像的毛刺和噪声；
根据预先设置的阈值对形态学处理后初始病灶语义分割图像进行二值化处理，生成二值化图像；
计算二值化图像中单个病灶区域的置信分数；
根据初始病灶语义分割图像和置信分数，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像。
具体实施时，上述得到的神经网络原始分割图需要进行进一步的图像处理。首先进行形态学处理，进行开运算处理，使轮廓变光滑，狭小连接区域断开，消除毛刺和噪声；
设置一个阈值，对图像进行二值化处理。大于阈值的像素值设为255，小于阈值的置0。得到二值化图像。阈值的设定为127，也就是最大像素值的一半；
计算图像中单个病灶区域的置信分数(0到1)，表示神经网络认为这个区域是病灶的确定程度；
通过结合肺区分割的结果和置信分数，过滤掉神经网络的预测在肺区外部的假阳性。
本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤S100至步骤S400。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的X光胸片病灶定位方法，其特征在于，包括：
获取X光胸片图像，对X光胸片图像进行预处理后，生成X光胸片图像对应的数据标签；
将预处理后的X光胸片图像输入训练好的卷积神经网络，根据输出结果生成X光胸片图像的初始病灶语义分割图像；
对所述初始病灶语义分割图像进行二次处理后，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像；
将目标病灶语义分割图像叠加渲染到原图，生成一个显示病灶高亮的热图，完成对X光胸片病灶定位。
2.根据权利要求1所述的基于深度学习的X光胸片病灶定位方法，其特征在于，所述获取X光胸片图像，对X光胸片图像进行预处理后，生成X光胸片图像对应的数据标签，包括：
获取医学DICOM文件格式的X光胸片图像；
将医学DICOM文件转为PNG图像，并进行图像增强；
将进行图像增强后的PNG图像进行归一化处理；
将归一化的PNG图像进行数据增强；
对增强后的数据进行标记，标记出病灶区域，生成X光图像对应的数据标签。
3.根据权利要求1所述的基于深度学习的X光胸片病灶定位方法，其特征在于，所述将预处理后的X光胸片图像输入训练好的卷积神经网络，根据输出结果生成X光胸片图像的初始病灶语义分割图像，包括：
获取预处理后的X光胸片图像，利用卷积神经网络进行特征提取，用梯度下降来训练网络；
获取卷积神经网络的输出结果，将特征向量还原为矩阵，并对像素值范围进行还原后，生成X光胸片图像的初始病灶语义分割图像。
4.根据权利要求3所述的基于深度学习的X光胸片病灶定位方法，其特征在于，所述对所述初始病灶语义分割图像进行二次处理后，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像，包括：
对所述初始病灶语义分割图像进行形态学处理，消除初始病灶语义分割图像的毛刺和噪声；
根据预先设置的阈值对形态学处理后初始病灶语义分割图像进行二值化处理，生成二值化图像；
计算二值化图像中单个病灶区域的置信分数；
根据初始病灶语义分割图像和置信分数，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像。
5.根据权利要求4所述的基于深度学习的X光胸片病灶定位方法，其特征在于，所述将目标病灶语义分割图像叠加渲染到原图，生成一个显示病灶高亮的热图，完成对X光胸片病灶定位，包括：
获取将目标病灶语义分割图像对应的灰度图，将灰度图的每一个灰度像素值映射到一个色度图上，实现将目标病灶语义分割图像叠加渲染到原图，生成一个显示病灶高亮的热图，完成对X光胸片病灶定位。
6.一种基于深度学习的X光胸片病灶定位系统，其特征在于，所述系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下步骤：
获取X光胸片图像，对X光胸片图像进行预处理后，生成X光胸片图像对应的数据标签；
将预处理后的X光胸片图像输入训练好的卷积神经网络，根据输出结果生成X光胸片图像的初始病灶语义分割图像；
对所述初始病灶语义分割图像进行二次处理后，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像；
将目标病灶语义分割图像叠加渲染到原图，生成一个显示病灶高亮的热图，完成对X光胸片病灶定位。
7.根据权利要求6所述的基于深度学习的X光胸片病灶定位系统，其特征在于，所述计算机程序被所述处理器执行时还实现以下步骤：
获取X光胸片图像，对X光胸片图像进行预处理后，生成X光胸片图像对应的数据标签，包括：
获取医学DICOM文件格式的X光胸片图像；
将医学DICOM文件转为PNG图像，并进行图像增强；
将进行图像增强后的PNG图像进行归一化处理；
将归一化的PNG图像进行数据增强；
对增强后的数据进行标记，标记出病灶区域，生成X光图像对应的数据标签。
8.根据权利要求6所述的基于深度学习的X光胸片病灶定位系统，其特征在于，所述计算机程序被所述处理器执行时还实现以下步骤：
将预处理后的X光胸片图像输入训练好的卷积神经网络，根据输出结果生成X光胸片图像的初始病灶语义分割图像，包括：
获取预处理后的X光胸片图像，利用卷积神经网络进行特征提取，用梯度下降来训练网络；
获取卷积神经网络的输出结果，将特征向量还原为矩阵，并对像素值范围进行还原后，生成X光胸片图像的初始病灶语义分割图像。
9.根据权利要求8所述的基于深度学习的X光胸片病灶定位系统，其特征在于，所述计算机程序被所述处理器执行时还实现以下步骤：
对所述初始病灶语义分割图像进行二次处理后，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像，包括：
对所述初始病灶语义分割图像进行形态学处理，消除初始病灶语义分割图像的毛刺和噪声；
根据预先设置的阈值对形态学处理后初始病灶语义分割图像进行二值化处理，生成二值化图像；
计算二值化图像中单个病灶区域的置信分数；
根据初始病灶语义分割图像和置信分数，过滤掉卷积神经网络在肺部区域外部的假阳性，生成目标病灶语义分割图像。
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-5任一项所述的基于深度学习的X光胸片病灶定位方法。
CN201911124998.5A 2019-08-14 2019-11-18 一种基于深度学习的x光胸片病灶定位方法及系统 Active CN111062947B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019213149402 2019-08-14
CN201921314940 2019-08-14

Publications (2)

Publication Number Publication Date
CN111062947A true CN111062947A (zh) 2020-04-24
CN111062947B CN111062947B (zh) 2023-04-25

Family

ID=70298267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911124998.5A Active CN111062947B (zh) 2019-08-14 2019-11-18 一种基于深度学习的x光胸片病灶定位方法及系统

Country Status (1)

Country Link
CN (1) CN111062947B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111933274A (zh) * 2020-07-15 2020-11-13 平安科技（深圳）有限公司 疾病分类诊断方法、装置、电子设备及存储介质
CN112116571A (zh) * 2020-09-14 2020-12-22 中国科学院大学宁波华美医院 一种基于弱监督学习的x光肺部疾病自动定位方法
CN112365971A (zh) * 2020-11-09 2021-02-12 罗鑫龙 一种基于5g的远程互联网大数据智慧医疗系统
CN112617789A (zh) * 2020-07-28 2021-04-09 上海大学 激光散斑血流成像方法及系统
CN114332132A (zh) * 2021-12-31 2022-04-12 联影智能医疗科技(成都)有限公司 图像分割方法、装置和计算机设备
CN115713526A (zh) * 2022-11-28 2023-02-24 南方医科大学珠江医院 一种基于人工智能的影像质量控制系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040184647A1 (en) * 2002-10-18 2004-09-23 Reeves Anthony P. System, method and apparatus for small pulmonary nodule computer aided diagnosis from computed tomography scans
US20060147101A1 (en) * 2005-01-04 2006-07-06 Zhang Daoxian H Computer aided detection of microcalcification clusters
US20090103797A1 (en) * 2007-10-18 2009-04-23 Lin Hong Method and system for nodule feature extraction using background contextual information in chest x-ray images
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN107274402A (zh) * 2017-06-27 2017-10-20 北京深睿博联科技有限责任公司 一种基于胸部ct影像的肺结节自动检测方法及系统
CN108446730A (zh) * 2018-03-16 2018-08-24 北京推想科技有限公司 一种基于深度学习的ct肺结节检测方法
CN108648178A (zh) * 2018-04-17 2018-10-12 杭州依图医疗技术有限公司 一种影像结节检测的方法及装置
CN108898595A (zh) * 2018-06-27 2018-11-27 慧影医疗科技（北京）有限公司 一种胸部疾病检测模型的构建方法及应用
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法
US20190236782A1 (en) * 2018-01-30 2019-08-01 International Business Machines Corporation Systems and methods for detecting an indication of malignancy in a sequence of anatomical images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040184647A1 (en) * 2002-10-18 2004-09-23 Reeves Anthony P. System, method and apparatus for small pulmonary nodule computer aided diagnosis from computed tomography scans
US20060147101A1 (en) * 2005-01-04 2006-07-06 Zhang Daoxian H Computer aided detection of microcalcification clusters
US20090103797A1 (en) * 2007-10-18 2009-04-23 Lin Hong Method and system for nodule feature extraction using background contextual information in chest x-ray images
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN107274402A (zh) * 2017-06-27 2017-10-20 北京深睿博联科技有限责任公司 一种基于胸部ct影像的肺结节自动检测方法及系统
US20190236782A1 (en) * 2018-01-30 2019-08-01 International Business Machines Corporation Systems and methods for detecting an indication of malignancy in a sequence of anatomical images
CN108446730A (zh) * 2018-03-16 2018-08-24 北京推想科技有限公司 一种基于深度学习的ct肺结节检测方法
CN108648178A (zh) * 2018-04-17 2018-10-12 杭州依图医疗技术有限公司 一种影像结节检测的方法及装置
CN108898595A (zh) * 2018-06-27 2018-11-27 慧影医疗科技（北京）有限公司 一种胸部疾病检测模型的构建方法及应用
CN109711413A (zh) * 2018-12-30 2019-05-03 陕西师范大学 基于深度学习的图像语义分割方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111933274A (zh) * 2020-07-15 2020-11-13 平安科技（深圳）有限公司 疾病分类诊断方法、装置、电子设备及存储介质
CN112617789A (zh) * 2020-07-28 2021-04-09 上海大学 激光散斑血流成像方法及系统
CN112116571A (zh) * 2020-09-14 2020-12-22 中国科学院大学宁波华美医院 一种基于弱监督学习的x光肺部疾病自动定位方法
CN112365971A (zh) * 2020-11-09 2021-02-12 罗鑫龙 一种基于5g的远程互联网大数据智慧医疗系统
CN114332132A (zh) * 2021-12-31 2022-04-12 联影智能医疗科技(成都)有限公司 图像分割方法、装置和计算机设备
CN115713526A (zh) * 2022-11-28 2023-02-24 南方医科大学珠江医院 一种基于人工智能的影像质量控制系统

Also Published As

Publication number Publication date
CN111062947B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN111062947B (zh) 一种基于深度学习的x光胸片病灶定位方法及系统
US11790523B2 (en) Autonomous diagnosis of a disorder in a patient from image analysis
CN110033456B (zh) 一种医疗影像的处理方法、装置、设备和系统
CN108537784B (zh) 一种基于深度学习的ct图肺结节检测方法
US10111632B2 (en) System and method for breast cancer detection in X-ray images
WO2020151307A1 (zh) 病灶自动识别方法、装置及计算机可读存储介质
CN109003269B (zh) 一种能提高医生效率的医学影像病灶的标注提取方法
CN111325739A (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
WO2014052687A1 (en) Multi-bone segmentation for 3d computed tomography
EP0731959A1 (en) Automated method and system for the segmentation of medical images
JP2007236939A (ja) 乳房辺縁検出のための方法および装置
CN108510489B (zh) 一种基于深度学习的尘肺检测方法与系统
Antani et al. Automated detection of lung diseases in chest X-rays
CN111784686A (zh) 一种内窥镜出血区域的动态智能检测方法、系统及可读存储介质
Vodrahalli et al. TrueImage: a machine learning algorithm to improve the quality of telehealth photos
CN110013264A (zh) X光图像识别方法、装置、电子设备及存储介质
Li et al. A visual saliency-based method for automatic lung regions extraction in chest radiographs
EP4071708A1 (en) Methods and systems for localised smoke removal and color restoration of real-time video
Fonseca et al. Automatic orientation identification of pediatric chest x-rays
CN111062909A (zh) 乳腺肿块良恶性判断方法及设备
Cheng et al. Dental hard tissue morphological segmentation with sparse representation-based classifier
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
JP6642048B2 (ja) 医療画像表示システム、医療画像表示プログラム及び医療画像表示方法
Amber et al. Feature point based polyp tracking in endoscopic videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant