CN113362289A - 一种胸部dr图像上异物自动检测的方法 - Google Patents
一种胸部dr图像上异物自动检测的方法 Download PDFInfo
- Publication number
- CN113362289A CN113362289A CN202110569213.6A CN202110569213A CN113362289A CN 113362289 A CN113362289 A CN 113362289A CN 202110569213 A CN202110569213 A CN 202110569213A CN 113362289 A CN113362289 A CN 113362289A
- Authority
- CN
- China
- Prior art keywords
- image
- foreign
- model
- chest
- lung
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 210000004072 lung Anatomy 0.000 claims abstract description 84
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 238000012795 verification Methods 0.000 claims abstract description 16
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 12
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- OLBCVFGFOZPWHH-UHFFFAOYSA-N propofol Chemical compound CC(C)C1=CC=CC(C(C)C)=C1O OLBCVFGFOZPWHH-UHFFFAOYSA-N 0.000 claims description 6
- 229960004134 propofol Drugs 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000012854 evaluation process Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims 1
- 230000005012 migration Effects 0.000 claims 1
- 238000012937 correction Methods 0.000 abstract description 3
- 210000000038 chest Anatomy 0.000 description 36
- 238000003745 diagnosis Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000002601 radiography Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 210000003109 clavicle Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 210000001991 scapula Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种胸部DR图像上异物自动检测的方法，该方法包括：选取受检者胸部DR图像，将受检者胸部DR图像划分数据集为训练集、验证集和测试集；对训练集和验证集图像进行了数据增强操作使得图像数据增大为原来的5倍；然后采用Unet网络模型肺野分割模型训练；再采用Faster RCNN网络模型进行异物检测模型训练，然后进行模型评价。本发明的方法建立的模型实现了对胸部DR图像异物位置和类型的自动检测。提高了异物识别速度，有效减少了人为评估的阅片时间，达到即时反馈修正的目的，避免不同设备间及人为主观评价的干扰。
Description
技术领域
本发明属于胸部数字X线(DR)图像异物位置和类型自动检测领域，具体涉及一种胸部DR图像上异物自动检测的方法。
背景技术
胸部数字X线摄影(digital radiology,DR)具有信息采集率高、动态范围大、输出灰阶高和人工后处理功能强等特点，是临床最常用的影像学检查手段之一。胸部DR具有低辐射剂量、组织宽容度大、数据保存便捷等优势，成为日常胸部疾病筛查中行之有效的影像检查方式。实际工作中，受操作技师个体水平差异，对于迅速识别异物的能力存在个体化差异，易导致漏诊误诊的发生。技师的拍摄质量对疾病的正确诊断具有重要意义，合格的胸片才能保障对疾病的正确诊疗。异物是目前DR图像质控中最常见的诊断干扰因素。目前国内外各放射学组织，均建立了较为健全的X线评价体系和质量标准，标准的制定来自于影像科医生及影像权威专家的建议和意见。影像质量的评价主要源于诊断医生的主观评价，此方法时效性不佳，且带有主观误差，采集设备的种类多样同样可导致医疗数据的质量存在较大差异。尤其在胸片异物的实时检测中，不能完全满足即时识别反馈，在一定程度上影响胸片甲级率。
近年来，人工智能(artificial intelligence,AI)新技术逐步在影像检查中应用，通过深度学习算法在一定程度上可以辅助实现异物区域的即时识别，达到影像诊断前的图像异物实时反馈，从而提高胸部DR的图像质量，减少异物导致的误诊、漏诊，对临床医生的精确诊疗意义重大。已有研究表明，基于快速区域卷积神经网络(faster regionconvolutional neural network,Faster RCNN)的AI诊断系统在疾病诊断中具有较高的价值。也有研究表明基于AI的正位DR胸片质量控制系统提取出的图像特征相对于传统图像处理算法更加准确、高效。然而，目前国内尚未见基于Faster RCNN的AI技术在胸部DR图像异物位置和类型自动检测中的应用研究。
发明内容
发明目的：针对上述存在的问题，本发明提出了一种胸部DR图像上异物自动检测的方法，通过Faster RCNN建立了异物检测模型，结合了以Unet网络为基础的肺野分割模型，实现了对胸部DR图像异物位置和类型的自动检测。提高了异物识别速度，有效减少了人为评估的阅片时间，达到即时反馈修正的目的，避免不同设备间及人为主观评价的干扰。
上述的目的通过以下技术方案实现：
一种胸部DR图像上异物自动检测的方法，该方法包括如下步骤：
步骤一：图像采集
选取受检者胸部DR图像；
步骤二：图像数据整理
对选取的胸部DR图像进行Faster RCNN训练、验证及测试，按3:1:1的比例随机将受检者胸部DR图像划分数据集为训练集、验证集和测试集；对训练集和验证集图像进行了数据增强操作，采用高斯滤波，直方图均衡化，旋转30度，裁剪四种方式，将训练集图像和验证集图像数据增大为原来的5倍；
步骤三：肺野分割模型训练
肺野分割采用Unet网络模型，该网络的输入和输出的图像大小均为512×512×3，采用Adam优化器进行模型训练；
步骤四：异物检测模型训练
异物检测模型采用Faster RCNN网络模型，该网络模型由4部分构成，即特征提取网络、候选区域框网络RPN、感兴趣区域池化ROI pooling和分类层；其中特征提取采用超分辨率测试序列VGG16，结构中有13个卷积层和3个全链接层，网络输入大小为600×600，首先，使用超分辨率测试序列VGG16提取图片特征，然后将图片特征喂入候选区域框网络RPN得到proposals；随后，将上两步的结果的图片特征和proposals喂入感兴趣区域池化ROIpooling得到综合的proposals特征；最后，在分类层根据综合的proposals特征预测物体的包围盒和物体的类别；
步骤五：模型评价
肺野分割模型的精确程度采用肺野预测模型度量函数IoU值表示；异物检测结果分为三类：图像无异物，图像有肺野内异物，图像有肺野外异物，将检测结果用三分类混淆矩阵表示，并计算三类图像的召回率、精确率及最终分类的准确率。
所述的胸部DR图像上异物自动检测的方法，步骤三中所述的采用Adam优化器进行模型训练的过程中，初始化学习率设置为0.001，损失函数为dice loss与交叉熵，即cross-entry loss之和，batchsize设置为8，共迭代1000个epoch，输出部分包含三类，分别为左肺、右肺和背景。
所述的胸部DR图像上异物自动检测的方法，步骤四中所述使用超分辨率测试序列VGG16提取图片特征的过程中，利用迁移学习的方法，将超分辨率测试序列VGG16在ImageNet上训练的模型提取其前13个卷积层和前2个全连接层的参数，其余新添层均随机初始化权重，采用Adam优化器，初始化学习率设置为0.001，包围盒坐标的回归采用Smooth_11损失函数，异物类别的分类采用交叉熵损失函数，网络共迭代训练600个epoch。
所述的胸部DR图像上异物自动检测的方法，步骤五中所述模型评价过程中，还包括首先建立图像标注的金标准的过程，具体方法是：将步骤一中图像采集得到的所有图像，由两位初级技师采用开源分割工具ImageJ进行左右肺野及异物的标注，一位主管技师进行复测，以复测标注为准，左右肺野是区域标记，分为左肺和右肺；异物是包围框标记，异物共13类，包含患者携带异物8类及医疗异物5类，对输入的胸部DR数据进行肺野分割后再进行异物检测，未检测到异物，输出结果为图像无异物；检测到异物，根据肺野区域和异物的位置，判断为图像有肺野内异物或图像有肺野外异物。
所述的胸部DR图像上异物自动检测的方法，步骤五中所述模型评价过程，肺野分割精确程度采用肺野预测模型度量函数IoU值表示，如下方公式(1)所示：
图像的召回率、精确率及最终分类的准确率，如下方公式(2)—(4)所示：
式(1)-(4)中，y表示实际值，
表示预测值；TP代表真正例的数量，FP代表假正例的数量，TN代表真负例的数量，FN代表假负例的数量，其中y、TP、TN由图像标注的金标准得到，
FP、FN由测试集分别在步骤三和步骤四中训练好的模型中运行得到。
有益效果：本发明与现有技术相比，具有以下优点：
1.本发明通过Faster RCNN建立了异物检测模型，结合了以Unet网络为基础的肺野分割模型，实现了对胸部DR图像异物位置和类型的自动检测。本发明所采用的肺野分割模型，对测试集图像左肺野分割的平均IoU达0.959，右肺野分割的平均IoU达0.958。该结果表明，本发明所采用的基于Unet网络的肺野分割模型具有非常好的的分割效果。
2.本发明利用Faster RCNN网络从提取异物的特征入手，进行胸片异物位置和类型的检测。在检测异物位置方面，总准确率高达86％，表明基于Faster RCNN的异物识别模型具有非常高的异物位置检测能力，其中最有意义的是识别图像有肺野内异物，肺野内异物对影像诊断影响更大，易导致误诊漏诊，意义较大，对这类图像，检测的精确率高达98％。提高了异物识别速度，有效减少了人为评估的阅片时间，达到即时反馈修正的目的，避免不同设备间及人为主观评价的干扰。
附图说明
图1是胸部数字X线图像肺野及异物标注示意图，其中图1A是左、右肺野采用区域标记示意图，图1B是异物采用包围框标记示意图；
图2是胸部数字X线图像异物自动检测流程图；
图3是肺野分割模型预测结果示意图，其中图3A是左肺叶分割示意图，图3B是右肺叶分割示意图；
图4是异物检测结果的三分类混淆矩阵图。
具体实施方式
以下结合实例和说明书附图，详细说明本发明的实施过程。
本实施例的胸部DR图像上异物自动检测的方法，该方法包括如下步骤：
步骤一：图像采集
选取受检者胸部DR图像进行Faster RCNN训练、验证及测试，按3:1:1的比例随机将受检者胸部DR图像划分数据集为训练集、验证集和测试集；本实施例中选取2017年7月至2018年12月在南京大学医学院附属鼓楼医院就诊摄片的960例受检者胸部DR资料。图像设备来源包括GE XR656(350例)，联影uDR770i(338例)，Philips DiDi2.1(272例)。对960张胸部DR图像进行Faster RCNN训练、验证及测试，按3:1:1的比例随机划分数据集为训练集(576张)、验证集(192张)和测试集(192张)。图像入组标准：①临床医嘱为单纯胸部正位片；②肩部软组织上缘空曝区范围3-5cm；③患者重要信息完整(姓名，年龄，性别，影像号，检查时间)；④双侧锁骨近端连线中点居于图片中心，双肺野清晰完整显示；⑤双侧锁骨倾斜角度≤30°；⑥肩胛骨与肺野重叠区域＜1/2。
步骤二：图像数据增强
对训练集和验证集图像进行了数据增强操作，采用高斯滤波，直方图均衡化，旋转30度，裁剪四种方式，将训练集图像和验证集图像数据增大为原来的5倍；本实施例中将训练集数据从576张增强为2880张，验证集数据从192张增强为960张。
步骤三：肺野分割模型训练
肺野分割采用Unet网络模型，该模型能够将低分辨率特征和高分辨率特征很好的结合，该网络的输入和输出的图像大小均为512×512×3，采用Adam优化器进行模型训练；训练的过程中，初始化学习率设置为0.001，损失函数为dice loss与交叉熵，即cross-entry loss之和，batchsize设置为8，共迭代1000个epoch，输出部分包含三类，分别为左肺、右肺和背景。
步骤四：异物检测模型训练
异物检测模型采用Faster RCNN网络模型，该网络模型由4部分构成，即特征提取网络、候选区域框网络RPN、感兴趣区域池化ROI pooling和分类层；其中特征提取采用超分辨率测试序列VGG16，结构中有13个卷积层和3个全链接层，网络输入大小为600×600，首先，使用超分辨率测试序列VGG16提取图片特征，然后将图片特征喂入候选区域框网络RPN得到proposals；随后，将上两步的结果的图片特征和proposals喂入感兴趣区域池化ROIpooling得到综合的proposals特征；最后，在分类层根据综合的proposals特征预测物体的包围盒和物体的类别；使用超分辨率测试序列VGG16提取图片特征的过程中，利用迁移学习的方法，将超分辨率测试序列VGG16在ImageNet上训练的模型提取其前13个卷积层和前2个全连接层的参数，其余新添层均随机初始化权重，采用Adam优化器，初始化学习率设置为0.001，包围盒坐标的回归采用Smooth_11损失函数，异物类别的分类采用交叉熵损失函数，网络共迭代训练600个epoch。
步骤五：模型评价
首先建立图像标注的金标准的过程，具体方法是：将步骤一中图像采集得到的所有图像，由两位初级技师采用开源分割工具ImageJ进行左右肺野及异物的标注，一位主管技师进行复测，以复测标注为准，左右肺野是区域标记，分为左肺和右肺；异物是包围框标记，异物共13类，包含患者携带异物8类及医疗异物5类，对输入的胸部DR数据进行肺野分割后再进行异物检测，未检测到异物，输出结果为图像无异物；检测到异物，根据肺野区域和异物的位置，判断为图像有肺野内异物或图像有肺野外异物。
肺野分割模型的精确程度采用肺野预测模型度量函数IoU值表示；如下方公式(1)所示：
异物检测结果分为三类：图像无异物，图像有肺野内异物，图像有肺野外异物，将检测结果用三分类混淆矩阵表示，并计算三类图像的召回率、精确率及最终分类的准确率。图像的召回率、精确率及最终分类的准确率，如下方公式(2)—(4)所示：
式(1)-(4)中，y表示实际值，
表示预测值；TP代表真正例的数量，FP代表假正例的数量，TN代表真负例的数量，FN代表假负例的数量，其中y、TP、TN由图像标注的金标准得到，
FP、FN由测试集分别在步骤三和步骤四中训练好的模型中运行得到。
输出对各类异物检测的平均精确率(aveage precision,AP)和总平均精确率(mean AP,mAP)。AP衡量模型在检测每个异物类别上的好坏，mAP衡量模型在检测所有异物类别上的总体好坏。
本实施例中人工标注异物结果：训练集和验证集共768张胸部DR中的645张含有异物，共4655个，每类异物具体的标签数如表1所示。
表1人工标注训练集和验证集胸部DR图像异物标签及数目
| 异物类别 | 标签数目 |
| 类别1(方形肩带扣) | 770 |
| 类别2(圆形肩带扣) | 351 |
| 类别3(文胸搭扣) | 2061 |
| 类别4(衣物拉链) | 82 |
| 类别5(文胸钢圈) | 118 |
| 类别6(心脏起搏器) | 30 |
| 类别7(患者信息牌) | 25 |
| 类别8(金属缝合线) | 270 |
| 类别9(监护仪导线) | 350 |
| 类别10(监护仪导线夹) | 204 |
| 类别11(别针) | 20 |
| 类别12(项链) | 22 |
| 类别13(异物标识) | 42 |
2.肺野分割模型结果：测试集上，左肺野分割的平均IoU为0.959，右肺野分割的平均IoU为0.958。图3为测试集中一例胸部DR图像肺野分割预测情况。
3.异物检测模型结果：在测试集运行，单例测试耗时5秒。在检测异物位置方面，图像无异物，图像有肺野内异物和图像有肺野外异物三类图像的召回率分别为94％、75％和82％，精确率分别为88％、98％和70％；总准确率为86％，详见表2和图4。在检测异物类型方面，对各类异物检测的AP范围为66％～100％，mAP为81％，详见表3。
表2异物检测结果的三分类混淆矩阵
| 类别 | 预测为无异物 | 预测为肺野内异物 | 预测为肺野外异物 | 总计 |
| 样本为无异物 | 95 | 1 | 5 | 101 |
| 样本为肺野内异物 | 7 | 43 | 7 | 57 |
| 样本为肺野外异物 | 6 | 0 | 28 | 34 |
| 总计 | 108 | 44 | 40 | 192 |
表3各类异物检测的AP和mAP
注：AP：平均精确率，mAP：总平均精确率。
由上述检测结果可以看出：本发明的方法利用Faster RCNN网络从提取异物的特征入手，进行胸片异物位置和类型的检测。在检测异物位置方面，总准确率高达86％，表明基于Faster RCNN的异物识别模型具有非常高的异物位置检测能力，其中最有意义的是识别图像有肺野内异物，肺野内异物对影像诊断影响更大，易导致误诊漏诊，意义较大，对这类图像，检测的精确率高达98％。对于图像有肺野外异物这类图像检测的精确率最低，仅70％。考虑原因可能与肺野内、外分布的异物类别不同，从而识别图像特征不同，而导致的最终检测效果的差异。异物检测模型对各类别异物检测的精确率高低不同，对金属缝合线、监护仪导线和项链这些异物的识别精确率高达100％，而对文胸搭扣、衣物拉链、圆形肩带扣这类异物的识别精确率较低，印证了上文所述，图像有肺野内异物的检测精确率与图像有肺野外异物的检测精确率明显不同，与不同位置所分布的异物类别明显不同有关。
本实施例中网络训练、验证及测试环境为64位Windows 10企业版操作系统，两块16G Nvidia P100显卡，Python3.5运行环境，8G的RAM内存，Intel(R)Core(TM)i5-7500CPU@3.4GHz。
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。
Claims (5)
1.一种胸部DR图像上异物自动检测的方法，其特征在于，该方法包括如下步骤：
步骤一：图像采集
选取受检者胸部DR图像；
步骤二：图像数据整理
对选取的胸部DR图像进行Faster RCNN训练、验证及测试，按3:1:1的比例随机将受检者胸部DR图像划分数据集为训练集、验证集和测试集；对训练集和验证集图像进行了数据增强操作，采用高斯滤波，直方图均衡化，旋转30度，裁剪四种方式，将训练集图像和验证集图像数据增大为原来的5倍；
步骤三：肺野分割模型训练
肺野分割采用Unet网络模型，该网络的输入和输出的图像大小均为512×512×3，采用Adam优化器进行模型训练；
步骤四：异物检测模型训练
异物检测模型采用Faster RCNN网络模型，该网络模型由4部分构成，即特征提取网络、候选区域框网络RPN、感兴趣区域池化ROI pooling和分类层；其中特征提取采用超分辨率测试序列VGG16，结构中有13个卷积层和3个全链接层，网络输入大小为600×600，首先，使用超分辨率测试序列VGG16提取图片特征，然后将图片特征喂入候选区域框网络RPN得到proposals；随后，将上两步的结果的图片特征和proposals喂入感兴趣区域池化ROIpooling得到综合的proposals特征；最后，在分类层根据综合的proposals特征预测物体的包围盒和物体的类别；
步骤五：模型评价
肺野分割模型的精确程度采用肺野预测模型度量函数IoU值表示；异物检测结果分为三类：图像无异物，图像有肺野内异物，图像有肺野外异物，将检测结果用三分类混淆矩阵表示，并计算三类图像的召回率、精确率及最终分类的准确率。
2.根据权利要求1所述的胸部DR图像上异物自动检测的方法，其特征在于，步骤三中所述的采用Adam优化器进行模型训练的过程中，初始化学习率设置为0.001，损失函数为diceloss与交叉熵，即cross-entry loss之和，batchsize设置为8，共迭代1000个epoch，输出部分包含三类，分别为左肺、右肺和背景。
3.根据权利要求1所述的胸部DR图像上异物自动检测的方法，其特征在于，步骤四中所述使用超分辨率测试序列VGG16提取图片特征的过程中，利用迁移学习的方法，将超分辨率测试序列VGG16在ImageNet上训练的模型提取其前13个卷积层和前2个全连接层的参数，其余新添层均随机初始化权重，采用Adam优化器，初始化学习率设置为0.001，包围盒坐标的回归采用Smooth_11损失函数，异物类别的分类采用交叉熵损失函数，网络共迭代训练600个epoch。
4.根据权利要求1所述的胸部DR图像上异物自动检测的方法，其特征在于，步骤五中所述模型评价过程中，还包括首先建立图像标注的金标准的过程，具体方法是：将步骤一中图像采集得到的所有图像，由两位初级技师采用开源分割工具ImageJ进行左右肺野及异物的标注，一位主管技师进行复测，以复测标注为准，左右肺野是区域标记，分为左肺和右肺；异物是包围框标记，异物共13类，包含患者携带异物8类及医疗异物5类，对输入的胸部DR数据进行肺野分割后再进行异物检测，未检测到异物，输出结果为图像无异物；检测到异物，根据肺野区域和异物的位置，判断为图像有肺野内异物或图像有肺野外异物。
5.根据权利要求4所述的胸部DR图像上异物自动检测的方法，其特征在于，步骤五中所述模型评价过程，肺野分割精确程度采用肺野预测模型度量函数IoU值表示，如下方公式(1)所示：
图像的召回率、精确率及最终分类的准确率，如下方公式(2)—(4)所示：
式(1)-(4)中，y表示实际值，
表示预测值；TP代表真正例的数量，FP代表假正例的数量，TN代表真负例的数量，FN代表假负例的数量，其中y、TP、TN由图像标注的金标准得到，
FP、FN由测试集分别在步骤三和步骤四中训练好的模型中运行得到。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110569213.6A CN113362289A (zh) | 2021-05-25 | 2021-05-25 | 一种胸部dr图像上异物自动检测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110569213.6A CN113362289A (zh) | 2021-05-25 | 2021-05-25 | 一种胸部dr图像上异物自动检测的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113362289A true CN113362289A (zh) | 2021-09-07 |
Family
ID=77527575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110569213.6A Withdrawn CN113362289A (zh) | 2021-05-25 | 2021-05-25 | 一种胸部dr图像上异物自动检测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113362289A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116452579A (zh) * | 2023-06-01 | 2023-07-18 | 中国医学科学院阜外医院 | 一种基于胸片图像的肺动脉高压智能评估方法和系统 |
| CN117237323A (zh) * | 2023-10-12 | 2023-12-15 | 广州医科大学附属第一医院（广州呼吸中心） | 一种图像检测方法和装置 |
-
2021
- 2021-05-25 CN CN202110569213.6A patent/CN113362289A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116452579A (zh) * | 2023-06-01 | 2023-07-18 | 中国医学科学院阜外医院 | 一种基于胸片图像的肺动脉高压智能评估方法和系统 |
| CN116452579B (zh) * | 2023-06-01 | 2023-12-08 | 中国医学科学院阜外医院 | 一种基于胸片图像的肺动脉高压智能评估方法和系统 |
| CN117237323A (zh) * | 2023-10-12 | 2023-12-15 | 广州医科大学附属第一医院（广州呼吸中心） | 一种图像检测方法和装置 |
| CN117237323B (zh) * | 2023-10-12 | 2024-04-19 | 广州医科大学附属第一医院（广州呼吸中心） | 一种图像检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898595B (zh) | 一种胸部图像中病灶区域的定位模型的构建方法及应用 | |
| Khatri et al. | Pneumonia identification in chest X-ray images using EMD | |
| ES2914387T3 (es) | Estudio inmediato | |
| US20090082637A1 (en) | Multi-modality fusion classifier with integrated non-imaging factors | |
| CN101103924A (zh) | 基于乳腺x线摄片的乳腺癌计算机辅助诊断方法及其系统 | |
| CN110246580B (zh) | 基于神经网络和随机森林的颅侧面影像分析方法和系统 | |
| CN103249358A (zh) | 医用图像处理装置 | |
| CN113362289A (zh) | 一种胸部dr图像上异物自动检测的方法 | |
| Tang et al. | CNN-based qualitative detection of bone mineral density via diagnostic CT slices for osteoporosis screening | |
| Ozdemir et al. | Age Estimation from Left-Hand Radiographs with Deep Learning Methods. | |
| Yang et al. | Assessing inter-annotator agreement for medical image segmentation | |
| Zdolsek et al. | Deep neural networks with promising diagnostic accuracy for the classification of atypical femoral fractures | |
| Arsomngern et al. | Computer-aided diagnosis for lung lesion in companion animals from x-ray images using deep learning techniques | |
| Nayan et al. | A deep learning approach for brain tumor detection using magnetic resonance imaging | |
| Zhang et al. | A computer aided diagnosis system in mammography using artificial neural networks | |
| CN112508943A (zh) | 基于超声影像的乳腺肿瘤识别方法 | |
| CN112690815A (zh) | 基于肺部图像报告辅助诊断病变等级的系统和方法 | |
| Fonseca et al. | Automatic orientation identification of pediatric chest x-rays | |
| CN110827275A (zh) | 基于树莓派和深度学习的肝脏核磁动脉期影像质量分级方法 | |
| Chen et al. | Detection of Various Dental Conditions on Dental Panoramic Radiography Using Faster R-CNN | |
| CN107256544A (zh) | 一种基于vcg16的前列腺癌图像诊断方法及系统 | |
| CN113469987A (zh) | 基于深度学习的牙科x射线图像病变区域定位系统 | |
| Zhu et al. | Automatic Nuclear Atypia Scoring of Breast Cancer Pathological Images Based on Deep Residual Network and Meta-decision Tree | |
| Gunasekara et al. | A feasibility study for deep learning based automated brain tumor segmentation using magnetic resonance images | |
| Zhang et al. | Ultrasonic Image's Annotation Removal: A Self-supervised Noise2Noise Approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210907 |
|
| WW01 | Invention patent application withdrawn after publication |