CN106529555B - 一种基于全卷积网络的dr片肺轮廓提取方法 - Google Patents

一种基于全卷积网络的dr片肺轮廓提取方法 Download PDF

Info

Publication number
CN106529555B
CN106529555B CN201610973463.5A CN201610973463A CN106529555B CN 106529555 B CN106529555 B CN 106529555B CN 201610973463 A CN201610973463 A CN 201610973463A CN 106529555 B CN106529555 B CN 106529555B
Authority
CN
China
Prior art keywords
layer
image
full convolution
lung
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610973463.5A
Other languages
English (en)
Other versions
CN106529555A (zh
Inventor
王俊峰
唐鹏
姬郁林
梁宗安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201610973463.5A priority Critical patent/CN106529555B/zh
Publication of CN106529555A publication Critical patent/CN106529555A/zh
Priority to US15/598,628 priority patent/US10147187B2/en
Application granted granted Critical
Publication of CN106529555B publication Critical patent/CN106529555B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于全卷积网络的DR片肺轮廓提取方法，包括以下步骤：建立肺轮廓分割的全卷积网络结构；离线训练全卷积网络的权重参数；读取DR图像和全卷积网络权重参数；将DR图像输入全卷积网络，通过网络逐层前馈由网络终端输出图像分割结果，根据分割结果构建肺轮廓；本发明可以提高胸部DR片识别的准确率和处理效率，降低医生因经验差异对病情判别的影响；病情能够消除设备、拍摄者的年龄、性别和身形对处理效果的影响；可以作为计算机辅助诊断的基础，集成现有医疗设备和信息化网络资源。

Description

一种基于全卷积网络的DR片肺轮廓提取方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于全卷积网络的DR片肺轮廓提取方法。
背景技术
胸部的透视影像是诊断肺部疾病的关键技术，通过X光成像，是体检筛查肺部疾病的主要手段，如肺部炎症、肿块、结核、肺癌等；随着数字成像技术的发展，数字化照影图像即DR(Digital Radiography)逐步取代了传统的胸部透视成像方式；DR指在计算机控制下直接进行数字化X线摄影的一种新技术，即采非晶硅平板探测器把穿透人体的X线信息转化为数字信号，并由计算机重建图像及进行一系列的图像后处理；DR系统主要包括X线发生装置、直接转换平板探测器、系统控制器、影像监示器、影像处理工作站等几部分组成；由于DR技术动态范围广，X线光量子检出效能(DQE)高，具有很宽的曝光宽容度，即使曝光条件稍差，也能获得很好的图像；DR成像清晰度高，而辐射低，在我国已经成为广大医院和基层体检中心的主要技术设备。
在我国，拍摄胸部DR片的通常目的是做肺结核或肺癌等肺部重大和传染性疾病的筛查；结核病由结核分枝杆菌引起，容易经空气中飞沫甚至气溶胶传播；结核病患者主体是青壮年，导致家庭和社会劳动力损失；世界卫生组织指出结核病是全球重要的公共卫生问题。在我国，目前有500万活动性肺结核患者，每年有5万人死于结核病；结核病是我国重点防控的主要传染病之一；鉴于结核病的危害严重，防治工作难度大，地方各级结核病防治队伍规模仍较小，力量和经费尚不能适应防治需求，需要加强技术和资金投入，建立医防结合机制，形成切实有效的防治体系；当前在结核病防治的实施上，存在着早期发现和治疗管理两个薄弱、困难环节；在此形势下，国内逐步开展利用基本公共卫生服务开展重点人群肺结核病人筛查项目；和肺结核相比，肺癌对病患身体健康的破坏严重程度胜于前者；众所周知，肺癌的死亡率远远高于其他癌症，而且近些年来还呈逐年增加的趋势；影像学检查是癌症诊断、检测和防治方面的重要技术手段之一；通常意义上的胸部影像学的主要研究对象就是肺部癌症，它一般通过建立肺窗来观察相应肺部影像；肺癌是与吸烟、大气污染和免疫功能低下有关的肿瘤性疾病；诸如近年来雾霾等因素对肺部反复的炎症刺激会带来慢性损害，影响支气管粘上皮的正常功能和机体的免疫抗病毒状态，对肺癌的发生有促进作用。
DR片成像的原理是，人体组织有密度和厚度的差别，当X线穿透人体不同组织时，X线被吸收的程度不同，所以到达荧屏上的X线量就有差异，形成黑白对比不同的影像；利用人体组织的不同密度在X射线下成像差异，分析组织厚度和密度差别，推测估计其中可能的病变部位，为医生的诊断提供依据；但人体组织结构复杂，胸腔和腹腔包含了人体的主要关键器官，包含了高密度和低密度的各种脏器；因此各器官组织的影像互相交叠，对观察和判断的影响很大；因此阅读和判别DR片对医生的经验和精力要求很高，容易遗漏早期和非典型病例。尽管在基层医院和体检点展开一定规模的DR片检查，但超大规模的DR片检查很难在现有人力和技术资源下真正展开。
尽管DR片的阅片和诊断具有相当难度，但由于其采用数字技术，为根据临床需要针对性图像后处理提供了基础技术条件；图像后处理是数字图像的最大特点；只后要保留原始数据，就可以根据诊断需要，并通过研发算法和软件功能，有针对性的对图像进行处理，以提高诊断率；在当前技术条件下，针对性的DR片图像处理和分析尚有难度；现有设备中只能实现DR片的通用形式的功能，如边缘增强清晰、放大漫游、图像拼接、兴趣区窗宽窗位调节等，或者基本的距离、面积、密度的测量；针对特定脏器或者病变类型的特应性功能难以实现，是因为面向任务和对象的图像处理技术在应用层面仍存在较多技术困难；就胸部DR片而言，其数字化图像智能化处理的一大难点既是如何确定肺叶的区域；若能准确确定肺叶范围，减弱或消除肺部以外的干扰，就能更有利于发现细微的病变；此外，肺叶轮廓的形状本身也是判断体检者相关生理指标的重要因素；可靠的肺叶轮廓提取算法可以使体检者减少复检的次数，拍摄更少的胸片，可以在较低辐射剂量的代价下获取医生对病灶确诊；目前，还没有面向DR片处理的肺叶轮廓提取方法。
发明内容
本发明提供一种提高肺部疾病筛查处理效率，并提高病灶检测准确率和重大传染病监测效率的基于全卷积网络的DR片肺轮廓提取方法。
本发明采用的技术方案为：一种基于全卷积网络的DR片肺轮廓提取方法，包括以下步骤：
建立肺轮廓分割的全卷积网络结构；
离线训练全卷积网络的权重参数；
读取DR图像和全卷积网络权重参数；
将DR图像输入全卷积网络，通过网络逐层前馈由网络终端输出图像分割结果，根据分割结果构建肺轮廓。
进一步的，所述全卷积网络以网络的层为单位，按照输入到输出的顺序包括，数据层、CONV1-MAXPOOL1-RELU1层、CONV2-MAXPOOL2-RELU2层、CONV3-MAXPOOL3-RELU3层、CONV4-MAXPOOL4-RELU4层、FC1层、Dropout1层、FC2层、Dropout2层、DECONV1层、Crop1层、FUSE1层、DECONV2层、Crop2层、ADD1层、DECONV3层、Crop3层、SoftMax层。
进一步的，所述离线训练全卷积网络的权重参数包括以下步骤：
A、采集一定的DR图像作为样板数据集；
B、对样板数据集中的图像进行肺叶轮廓标注；
C、提取轮廓标注中的轮廓，根据其重心区分左、右肺轮廓并形成左、右肺轮廓集；
D、将左、右肺轮廓集随机的划分为训练集合测试集；
E、将训练集合测试集中的左、右肺轮廓输入全卷积网络，计算其输出值与标注结果比较后计算总体差异值；
F、对全卷积网络逆向信息传播，计算各网络层的参数更新；
G、如果迭代次数未达到设定值则返回步骤E，否则进入步骤H；
H、得到需要的网络载入参数值。
进一步的，所述DR图像输入全卷积网络之前对图像一次进行以下处理：
将DR图像转化为浮点型矩阵；
将浮点型矩阵进行尺寸标准化处理；
对图像进行白化处理。
进一步的，所述总体差异值的计算方法采用软最大值算法Softmax。
进一步的，所述计算各网络层的参数更新采用批量随机梯度下降算法Batch-SGD。
进一步的，所述浮点型矩阵的转化方法为：将DICOM格式图像的12位或14位深度像素值除以212或214，将其转化为浮点型矩阵。
进一步的，所述尺寸标准化处理的方法为将图像采用高斯平滑算法Gaussian缩放至512×512像素尺寸。
进一步的，所述白化处理的方法为将标准化尺寸的浮点数化的图像减去所有训练样本的平均值，再除以所有训练样本的标准差。
本发明的有益效果为：
(1)本发明通过提取肺部轮廓，使后续的肺病诊断更具针对性，提升后续计算机辅助处理的可靠性和准确性；可以降低医生的视觉负荷，并提高整体的识别准确率和处理效率；降低医生因经验差异对病情判别的影响；
(2)本发明能够自动处理胸部DR片，能够适应不同设备的DR片，适应不同身形、性别和年龄的拍摄者；
(3)本发明可以有效利用网络资源，实现远程会诊和疾病回访，提高疑难病症的会诊可靠性；
(4)本发明可作为计算机辅助诊断的基础，去除肋骨干扰后的图像有助于后续自动化病变判别方法的设计；
(5)本发明集成了现有医疗设备和信息化网络资源，提高了设备的使用率，避免设备闲置和资源浪费。
附图说明
图1为本发明流程图。
图2为本发明中全卷积网络的权重参数的离线训练流程图。
图3为本发明中胸部DR片的肺轮廓自动提取方法的处理流程。
具体实施方式
本发明采用计算机图像处理技术自动获取DICOM(Digital Imaging andCommunications in Medicine即医学数字成像和通信)图像中可能的肺轮廓边界的后续区域，从高可能性候选区域中进一步筛选最佳匹配方案，解决目前大规模居民体检产生数据量太大，而医生在有限时间逐个人工标注且难以保持高精度检测的问题；利用医疗信息化的优势，能适应医疗人员的主观因素导致偏差、体检点的设备变更、操作人员的计算机水平差异等问题；整个处理过程简单方便，可从基础上提高肺结核筛查的处理效率，同时降低了体检点医护人员的工作负担，因而可使计算机辅助筛查及时推广到缺乏肺结核胸透影像评估经验的基层医疗机构，更有利于针对重点传染病的居民规模体检进一步常态化和规范化。
本发明可自动处理各种胸透DR图像，提取肺叶轮廓；本发明利用新技术手段可降低医护人员人工检验胸透影像的工作量，并提升病灶检测准确率和重大传染病监测效率，为制定传染病的预防控制的方案决策和调整群众卫生健康的政策提供信息基础。
一种基于全卷积网络的DR片肺轮廓提取方法，包括以下步骤：
建立肺轮廓分割的全卷积网络结构；
离线训练全卷积网络的权重参数；
读取DR图像和全卷积网络权重参数；
将DR图像输入全卷积网络，通过网络逐层前馈由网络终端输出图像分割结果，根据分割结果构建肺轮廓。
进一步的，所述全卷积网络以网络的层为单位，按照输入到输出的顺序包括，数据层、CONV1-MAXPOOL1-RELU1层、CONV2-MAXPOOL2-RELU2层、CONV3-MAXPOOL3-RELU3层、CONV4-MAXPOOL4-RELU4层、FC1层、Dropout1层、FC2层、Dropout2层、DECONV1层、Crop1层、FUSE1层、DECONV2层、Crop2层、ADD1层、DECONV3层、Crop3层、SoftMax层。
本发明首先建立肺轮廓分割的全卷积网络FCN-LUNG结构；该网络结构是本发明实现的基础，在使用过程中保持稳定不变，以网络的层为单位，按照输入到输出的顺序包括以下结构：
1、数据层，输入为单通道的512×512像素的灰度图像矩阵，矩阵数据类型为浮点型。
2、CONV1-MAXPOOL1-RELU1层，由卷积层、池化层和ReLU激活层联合构成，其中卷积层的卷积算子尺寸为20×9×9，池化层中每2×2的像素聚合为1个像素并取其中的最大值。
3、CONV2-MAXPOOL2-RELU2层，由卷积层、池化层和ReLU激活层联合构成，其中卷积层的卷积算子尺寸为40×7×7，池化层中每2×2的像素聚合为1个像素并取其中的最大值。
4、CONV3-MAXPOOL3-RELU3层，由卷积层、池化层和ReLU激活层联合构成，其中卷积层的卷积算子尺寸为80×5×5，池化层中每2×2的像素聚合为1个像素并取其中的最大值。
5、CONV4-MAXPOOL4-RELU4层，由卷积层、池化层和ReLU激活层联合构成，其中卷积层的卷积算子尺寸为160×5×5，池化层中每2×2的像素聚合为1个像素并取其中的最大值。
6、FC1层，全联通层，实现卷积核尺寸为1×1的卷积，输出为1024层。
7、Dropout1层，实现50％概念的部分参数置零。
8、FC2层，全联通层，实现卷积核尺寸为1×1的卷积，输出为2048层。
9、Dropout2层，实现50％概念的部分参数置零。
10、DECONV1层，通过10×10尺寸的逆卷积算子，和步长8的间隔，计算逆卷积输出图像，输出层数为50层。
11、Crop1层，截取DECONV1层的输出结果，使其输出的图像长和宽的像素尺寸与CONV3-MAXPOOL3-RELU3层的输出一致。
12、FUSE1层，将Crop1层输出结果和CONV3-MAXPOOL3-RELU3层的输出在对应像素位将其值相加。
13、DECONV2层，通过10×10尺寸的逆卷积算子，和步长8的间隔，计算逆卷积输出图像，输出层数为20层。
14、Crop2层，截取DECONV2层的输出结果，使其输出的图像长和宽的像素尺寸与CONV1-MAXPOOL1-RELU1层的输出一致。
15、ADD1层，将Crop2层输出结果和CONV1-MAXPOOL1-RELU1层的输出在对应像素位将其值相加。
16、DECONV3层，通过5×5尺寸的逆卷积算子，和步长4的间隔，以ADD1层的结果为输入计算逆卷积输出图像，输出层数为3层，分别对应左肺、右肺和背景区域。
17、Crop3层，截取DECONV3层的输出结果，使其输出的图像长和宽的像素尺寸与数据层的输出一致。
18、SoftMax层，计算Crop3层的软最大值Softmax，用以评价输出结果的准确性。
建立肺轮廓分割网络的拓扑结构之后，需离线地利用带标注的肺部DR影像数据集，对肺轮廓分割网络的权重参数进行训练，以获取轮廓的特征表达；其中带标注的肺部DR影像数据集包括DR片图像和相对应的轮廓标注图像两部分；网络权重参数的离线训练过程包括以下步骤：
A、采集一定的DR图像作为样板数据集；一般情况下，数据集中DR图像的数量需达到5000张以上；
B、对样板数据集中的图像进行肺叶轮廓标注；通过标注软件，人工手动绘制与样板相对应的黑白图像，其中的白色区域对应肺叶区域，而黑色区域为其他区域；保存黑白图像文件，作为数据集中的样板肺叶的轮廓标注；
C、提取轮廓标注中的轮廓，根据其重心区分左、右肺轮廓并形成左、右肺轮廓集；遍历数据集中所有标注图像，提取每张轮廓标注图像中的轮廓，根据轮廓的重心，区分左、右肺轮廓，分别将左、右肺轮廓的像素集合按左、右加入左肺轮廓集和右肺轮廓集；
D、将左、右肺轮廓集随机的划分为训练集合测试集；其中测试集约占总数据量的20％；
E、将训练集合测试集中的左、右肺轮廓输入全卷积网络，计算其输出值与标注结果比较后计算总体差异值；输入全卷积网络后，计算其输出，将输出值与人工标注结果进行比较，利用软最大值算法Softmax计算总体差异值；
F、对全卷积网络逆向信息传播，计算各网络层的参数更新；以减小前一步的总体差异值为目标，采用批量随机梯度下降算法Batch-SGD计算各个网络层的参数更新；
G、如果迭代次数未达到设定值则返回步骤E继续读取新样板以训练，否则进入步骤H；
H、得到需要的网络载入参数值。
建立肺分割网络拓扑结构及其权重参数后，系统即具备了完整的肺叶轮廓分割能力；在此，可以实现在线地肺叶图像轮廓检测，即对于任意新录入DR图像，将其传入网络输入并通过网络逐层前馈，最终由网络终端输出轮廓模板图像；其中的非零像素灰度值联通区域分别代表左右肺叶轮廓；
进一步的，所述DR图像输入全卷积网络之前对图像一次进行以下处理：
将DR图像转化为浮点型矩阵；
将浮点型矩阵进行尺寸标准化处理；
对图像进行白化处理。
在此基础上肺叶图像进行轮廓在线检测的处理步骤如下：
胸部DR片肺叶区域提取系统初始化；
从DR片数据库中读取一副DICOM图像；
将DICOM图像的12位或14位深度像素值除以212或214，将其转化为0到1的浮点数值；
将浮点化的DICOM图像，用高斯平滑算法Gaussian缩放至512×512像素尺寸；
将标准化尺寸的浮点化DICOM图像做白化处理，即将其减去所有训练样本的平均值，再除以所有训练样本的标准差；
将白化处理后的测试样本数据输入FCN-LUNG网络，通过网络前馈计算网络输出；
根据网络输出最佳匹配值，组合生成轮廓形状。
本发明提供的方法作为肺疾病诊断的基础步骤，将本发明与计算机自动化处理和相应的程序结合，应用于规模化的基层体检点的重大疾病和传染病筛查，设备通过以下检测步骤：
1)体检点工作人员将装配有DR片管理模块的计算机连接至DR片数据库，并配置DICOM图像文件读取的参数；
2)将体检点计算机连接至远程的医疗图像数据服务器；
3)在完成体检后，体检点计算机在空余时间将当日新增DR片自动上传到远程服务器；
4)系统服务器接收新增DR片，并给予其标签，并将其标签加入待处理队列，处理的优先级由时间先后确定；
5)系统服务器在扫描到未处理队列中存在数据时，自动运行肺叶轮廓自动化提取模块，并将提取结果保存到文件；
6)系统服务器在批量化处理一定数量DR图像后，生成包含DR原始图像和轮廓提取结果的融合图像形的处理报告；
7)根据系统等级的医师记录，系统服务器将汇报发送给不同医生，以人工确认分割结果的可靠性；
8)医生使用智能终端打开汇报，对认可的肺叶轮廓提取接口，可点击确认按钮；对不认可的分割结果，可根据DR图像的难易程度，选择人工处理或者延后处理；其中，人工处理一般是针对疑难病例，用手工方式以打开人工标注的程序界面标注出肺叶区域；而延后处理是将图像重新加入待处理队列，但降低其处理优先级，使系统延后处理；
9)系统同时支持交叉评估的方式，由多名医生共同判别分割可靠性较低的肺部轮廓；
10)在未对医生的用户终端设备服务的时段，系统会根据医生的反馈，自动调用自适应状态更新模块，以根据医生新手动标记的图像特征对现有处理模块的参数改进和深化训练；
11)系统服务在进行状态更新后，会对待处理列表中的剩余图像进行重新处理；由于系统参数的优化，原来不能处理的DR图像在改进后的系统中可以正确提取肺野形状；
12)体检点DR片的某一批次处理结束之后，由系统服务器向体检点计算机发出处理结束的消息，并有体检点信息员接收处理结果。
在以上各步骤中，系统会以图形化的人机交互方式提示医生远程操作，再通过计算机自动识别和动态学习，减少医生需人工介入的工作频率，从而降低医生的工作负担和提高处理效率和改善用户体验，使枯燥的标注和验证工作变得容易让人接受；此外，系统采用浏览器-服务器(BS)架构，使医生只要有用户名和密码即可在任意连接互联网络的计算机上进行肺结核影像的标注和评估，使工作平台从局部化的专用网络扩展到广域通用网络；不仅利于医生的工作和协调，而且有利于地方卫生部门和疾控单位对基层工作的把握及数据分析和挖掘。
本发明是一种面向胸部DR片数字图像的利用计算机视觉技术提取肺部轮廓的算法和实现方法，以DICOM数字格式的医学影像文件为处理对象，以现有医学影像设备和计算服务器及互联网络为基础；与现有医疗设备和网络资源相结合，可以降低设备使用率，避免设备闲置和资源浪费，并且可实现远程会诊和疾病回访，提高了疑难病症的会诊可靠性；本发明可作为计算机辅助诊断的基础，有助于后续自动化病变判别方法的设计；并且与计算机程序相结合之后可以根据医生的反馈信息，动态持续地改进系统参数，以提高识别性能。

Claims (6)

1.一种基于全卷积网络的DR片肺轮廓提取方法，其特征在于，包括以下步骤：
建立肺轮廓分割的全卷积网络结构；
离线训练全卷积网络的权重参数；
读取直接数字化X射线成像系统DR图像和全卷积网络权重参数；
将DR图像输入全卷积网络，通过网络逐层前馈由网络终端输出图像分割结果，根据分割结果构建肺轮廓；离线训练全卷积网络的权重参数包括以下步骤：
A、采集一定的DR图像作为样板数据集；
B、对样板数据集中的图像进行肺叶轮廓标注；
C、提取轮廓标注中的轮廓，根据其重心区分左、右肺轮廓并形成左、右肺轮廓集；
D、将左、右肺轮廓集随机的划分为训练集和测试集；
E、将训练集和测试集中的左、右肺轮廓输入全卷积网络，计算其输出值与标注结果比较后总体差异值；
F、对全卷积网络逆向信息传播，计算各网络层的参数更新；
G、如果迭代次数未达到设定值则返回步骤E，否则进入步骤H；
H、得到需要的网络载入参数值；
DR图像输入全卷积网络之前对图像依次进行以下处理：
将DR图像转化为浮点型矩阵；
将浮点型矩阵进行尺寸标准化处理；
对图像进行白化处理；
所述全卷积网络以网络的层为单位，按照输入到输出的顺序包括，数据层、CONV1-MAXPOOL1-RELU1层、CONV2-MAXPOOL2-RELU2层、CONV3-MAXPOOL3-RELU3层、CONV4-MAXPOOL4-RELU4层、FC1层、Dropout1层、FC2层、Dropout2层、DECONV1层、Crop1层、FUSE1层、DECONV2层、Crop2层、ADD1层、DECONV3层、Crop3层、SoftMax层。
2.根据权利要求1所述的一种基于全卷积网络的DR片肺轮廓提取方法，其特征在于，所述总体差异值的计算方法采用软最大值算法Softmax。
3.根据权利要求1所述的一种基于全卷积网络的DR片肺轮廓提取方法，其特征在于，所述计算各网络层的参数更新采用批量随机梯度下降算法Batch-SGD。
4.根据权利要求1所述的一种基于全卷积网络的DR片肺轮廓提取方法，其特征在于，所述浮点型矩阵的转化方法为：将DICOM格式图像的12位或14位深度像素值除以212或214，将其转化为浮点型矩阵。
5.根据权利要求1所述的一种基于全卷积网络的DR片肺轮廓提取方法，其特征在于，所述尺寸标准化处理的方法为将图像采用高斯平滑算法Gaussian缩放至512×512像素尺寸。
6.根据权利要求1所述的一种基于全卷积网络的DR片肺轮廓提取方法，其特征在于，所述白化处理的方法为将标准化尺寸的浮点数化的图像减去所有训练样本的平均值，再除以所有训练样本的标准差。
CN201610973463.5A 2016-11-04 2016-11-04 一种基于全卷积网络的dr片肺轮廓提取方法 Active CN106529555B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610973463.5A CN106529555B (zh) 2016-11-04 2016-11-04 一种基于全卷积网络的dr片肺轮廓提取方法
US15/598,628 US10147187B2 (en) 2016-11-04 2017-05-18 Kind of DR radiography lung contour extraction method based on fully convolutional network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610973463.5A CN106529555B (zh) 2016-11-04 2016-11-04 一种基于全卷积网络的dr片肺轮廓提取方法

Publications (2)

Publication Number Publication Date
CN106529555A CN106529555A (zh) 2017-03-22
CN106529555B true CN106529555B (zh) 2019-12-06

Family

ID=58349588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610973463.5A Active CN106529555B (zh) 2016-11-04 2016-11-04 一种基于全卷积网络的dr片肺轮廓提取方法

Country Status (2)

Country Link
US (1) US10147187B2 (zh)
CN (1) CN106529555B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680113A (zh) * 2017-10-27 2018-02-09 武汉大学 基于贝叶斯框架边缘先验的多层分割网络的图像分割方法
CN107909581B (zh) * 2017-11-03 2019-01-29 杭州依图医疗技术有限公司 Ct影像的肺叶段分割方法、装置、系统、存储介质及设备
US20190205153A1 (en) 2017-12-29 2019-07-04 Virtual Instruments Corporation System and method of dynamically assigning device tiers based on application
US10489943B2 (en) 2018-02-28 2019-11-26 General Electric Company System and method for sparse image reconstruction
CN109100648B (zh) * 2018-05-16 2020-07-24 上海海事大学 基于CNN-ARMA-Softmax的海流发电机叶轮缠绕故障融合诊断方法
EP3784133B1 (en) * 2018-05-31 2024-05-15 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for controllinig an x-ray imaging device
CN108921851B (zh) * 2018-06-06 2021-07-09 深圳市未来媒体技术研究院 一种基于3d对抗网络的医学ct图像分割方法
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
CN109064476B (zh) * 2018-07-24 2022-03-04 西安电子科技大学 一种基于水平集的ct胸片肺组织图像分割方法
CN109285166B (zh) * 2018-09-20 2023-03-31 伍业峰 基于全卷积网络的交叠、粘连染色体自动分割方法
CN111476794B (zh) * 2019-01-24 2023-10-20 武汉兰丁智能医学股份有限公司 一种基于unet的宫颈病理组织分割方法
CN110633765B (zh) * 2019-04-04 2020-05-08 上海知火数据服务有限公司 自适应大数据处理平台
CN110378912B (zh) * 2019-07-12 2021-11-16 深圳码隆科技有限公司 包裹检测方法、装置、计算机可读存储介质和计算机设备
CN111242897A (zh) * 2019-12-31 2020-06-05 北京深睿博联科技有限责任公司 胸部x射线影像分析方法和装置
CN111652924A (zh) * 2020-05-22 2020-09-11 深圳前海微众银行股份有限公司 目标体积确定方法、装置、设备及存储介质
CN111882560B (zh) * 2020-06-16 2024-05-31 北京工业大学 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN112097693A (zh) * 2020-08-19 2020-12-18 北京机科国创轻量化科学研究院有限公司 一种基于无人机的直线度测量系统及方法
CN113538340A (zh) * 2021-06-24 2021-10-22 武汉中科医疗科技工业技术研究院有限公司 目标轮廓的检测方法、装置、计算机设备和存储介质
CN114418931B (zh) * 2021-11-23 2024-06-04 东北大学 术后剩余肺叶的提取方法及装置、电子设备和存储介质
CN117058467B (zh) * 2023-10-10 2023-12-22 湖北大学 一种胃肠道病变类型识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008372A (zh) * 2014-05-23 2014-08-27 南京邮电大学 一种无线多媒体传感器网络中的分布式人脸识别方法
CN104899255A (zh) * 2015-05-15 2015-09-09 浙江大学 适用于训练深度卷积神经网络的图像数据库的构建方法
CN105354565A (zh) * 2015-12-23 2016-02-24 北京市商汤科技开发有限公司 基于全卷积网络人脸五官定位与判别的方法及系统
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106022221A (zh) * 2016-05-09 2016-10-12 腾讯科技（深圳）有限公司 一种图像处理方法及处理系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989469B2 (en) * 2010-12-20 2015-03-24 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for simultaneous acquisition of scatter and image projection data in computed tomography
WO2016086744A1 (en) * 2014-12-02 2016-06-09 Shanghai United Imaging Healthcare Co., Ltd. A method and system for image processing
CN105631426B (zh) * 2015-12-29 2019-05-07 中国科学院深圳先进技术研究院 对图片进行文本检测的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008372A (zh) * 2014-05-23 2014-08-27 南京邮电大学 一种无线多媒体传感器网络中的分布式人脸识别方法
CN104899255A (zh) * 2015-05-15 2015-09-09 浙江大学 适用于训练深度卷积神经网络的图像数据库的构建方法
CN105354565A (zh) * 2015-12-23 2016-02-24 北京市商汤科技开发有限公司 基于全卷积网络人脸五官定位与判别的方法及系统
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN106022221A (zh) * 2016-05-09 2016-10-12 腾讯科技（深圳）有限公司 一种图像处理方法及处理系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Computer-aided diagnosis of emphysema in COPD patients: Neural-network-based analysis of lung shape in digital chest radiographs;Giuseppe Coppini 等;《Medical Engineering & Physics》;20070131;第29卷(第1期);第76-86页 *
Fully Convolutional Networks for Semantic Segmentation;Jonathan Long;《2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20151015;第3431-3440页 *
数字X光胸片肺部分割的研究;吴刚;《中国优秀硕士学位论文全文数据库信息科技辑》;20150315;第7-8、12页 *
肺结节DR图像的计算机辅助诊断技术;王春燕;《微计算机信息》;20100531(第5期);第188、197-198页 *

Also Published As

Publication number Publication date
US10147187B2 (en) 2018-12-04
CN106529555A (zh) 2017-03-22
US20180130202A1 (en) 2018-05-10

Similar Documents

Publication Publication Date Title
CN106529555B (zh) 一种基于全卷积网络的dr片肺轮廓提取方法
US10210614B2 (en) Kind of lung lobe contour extraction method aiming at DR radiography
CN106372390A (zh) 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
US20210012488A1 (en) Automated scan quality monitoring system
CN110164550B (zh) 一种基于多视角协同关系的先天性心脏病辅助诊断方法
CN104299242B (zh) 基于ngc‑acm的荧光造影眼底图像提取方法
CN105678746A (zh) 一种医学图像中肝脏范围的定位方法及装置
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
Chen et al. Detection of various dental conditions on dental panoramic radiography using Faster R-CNN
US20240046452A1 (en) Inhalation metric for chest x-ray images
CN112686897A (zh) 一种基于弱监督的长短轴辅助肠胃淋巴结像素标注的方法
CN105125228A (zh) 一种胸透dr图像肋骨抑制的图像处理方法
CN103246888A (zh) 肺病的计算机诊断系统及方法
CN108710901B (zh) 一种基于深度学习的脊柱畸形筛查系统及方法
CN115953781A (zh) 基于热层析影像的乳腺人工智能分析系统及方法
Dovganich et al. Automatic quality control in lung X-ray imaging with deep learning
CN107256544A (zh) 一种基于vcg16的前列腺癌图像诊断方法及系统
Alwash et al. Detection of COVID-19 based on chest medical imaging and artificial intelligence techniques
Roopa et al. Mortality prediction of lung cancer from CT images using deep learning techniques
TW202219977A (zh) 心胸比估算方法及心胸比估算系統
Mulimani et al. A proposed model for the implementation of cloud based decision support system for diagnosis of breast cancer using digital mammograms
Cui et al. Medical image quality assessment method based on residual learning
CN110120266A (zh) 骨骼年龄评估方法
Korürek et al. Retrospective correction of near field effect of X-ray source in radiographic images by using genetic algorithms
RU2812866C1 (ru) Способ обработки снимков компьютерной томографии (КТ-снимков)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant