CN112037212A - 一种基于深度学习的肺结核dr影像识别方法 - Google Patents
一种基于深度学习的肺结核dr影像识别方法 Download PDFInfo
- Publication number
- CN112037212A CN112037212A CN202010922695.4A CN202010922695A CN112037212A CN 112037212 A CN112037212 A CN 112037212A CN 202010922695 A CN202010922695 A CN 202010922695A CN 112037212 A CN112037212 A CN 112037212A
- Authority
- CN
- China
- Prior art keywords
- tuberculosis
- image
- network
- feature map
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 208000008128 pulmonary tuberculosis Diseases 0.000 title claims abstract description 24
- 201000008827 tuberculosis Diseases 0.000 claims abstract description 47
- 238000003745 diagnosis Methods 0.000 claims abstract description 32
- 230000006870 function Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 18
- 206010036790 Productive cough Diseases 0.000 claims abstract description 8
- 238000012216 screening Methods 0.000 claims abstract description 8
- 208000024794 sputum Diseases 0.000 claims abstract description 8
- 210000003802 sputum Anatomy 0.000 claims abstract description 8
- 238000011161 development Methods 0.000 claims abstract description 5
- 241000894006 Bacteria Species 0.000 claims abstract description 4
- 238000004043 dyeing Methods 0.000 claims abstract description 4
- 239000007788 liquid Substances 0.000 claims abstract description 4
- 238000002601 radiography Methods 0.000 claims abstract description 4
- 238000007726 management method Methods 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 17
- 230000003902 lesion Effects 0.000 claims description 13
- 208000033353 latent tuberculosis infection Diseases 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 208000036981 active tuberculosis Diseases 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 206010061218 Inflammation Diseases 0.000 claims description 3
- 206010028980 Neoplasm Diseases 0.000 claims description 3
- 206010035592 Pleural calcification Diseases 0.000 claims description 3
- 206010051200 Pulmonary calcification Diseases 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 239000000835 fiber Substances 0.000 claims description 3
- 239000002699 waste material Substances 0.000 claims description 3
- 238000013399 early diagnosis Methods 0.000 abstract description 8
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 9
- 210000000038 chest Anatomy 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000003771 laboratory diagnosis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 241000187479 Mycobacterium tuberculosis Species 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的肺结核DR影像识别方法及系统，其中方法包括：步骤1：10万张数字胸片收集后进行AI阅片及专家标注；专家标注后的胸片，进行AI训练，识别功能的实现，结合AI阅片得到数字胸片筛查结果；步骤2：薄层液基菌涂片染色一体开发，进入自动扫描识别系统，得到痰涂片诊断结果后与步骤1中的数字胸片筛查结果一并送至步骤3；步骤3：推送到医院HIS系统，得到结核病诊断结果。采有本发明的方法及系统，通过人工智能深度学习的算法辅助医生的影像学诊断，既达到快速，同时又是高效，更能保证准确。因此建立肺结核早期诊断的人工智能模型，对于结核病的早期诊断、治疗，以减少传播、降低发病率。
Description
技术领域
本发明涉及肺结核DR影像识别技术领域，尤其涉及的是，一种基于深度学习的肺结核DR影像识别方法。
背景技术
结核病是由结核分枝杆菌引起的慢性传染病，它可以侵及人体除头发、指甲以外的各个器官，特别是肺部，所占数量最多，约80％左右。尽管这是一个非常古老的疾病，但目前全球疫情仍十分严重，特别是我国结核病数量上仍居全球第二位，防控形势非常严峻。
肺结核病的早期发现除了患者因症状就诊，大规模的查体也是非常重要的手段，这就带来了一个实际问题，这些海量的胸部影像资料如何快速处理，医生的阅片能力与水平如何保证，而CAD技术则为这一难题带来解决的可能与希望。通过人工智能深度学习的算法辅助医生的影像学诊断，既达到快速，同时又是高效，更能保证准确。因此建立肺结核早期诊断的人工智能模型，可以应对结核病的早期诊断、治疗，以结核病减少传播、降低发病率。现阶段医疗影像数据快速积累，已具有开发应用规模，我国每天产生的影像数据以PB计算，占到医疗行业数据的90％，影像医生产能负荷重和部分地区医生影像诊断水平偏低，而人工智能大有所为，放射科医师数量存在缺口，医师的疲劳或经验不足可能造成误判。
现阶段国内肺结核医疗影像存在如下问题：1、医生方面，大幅减少读片时间，降低误诊概率，提高诊疗水平；2、患者方面，有效减少诊疗时间，享受大型三甲医院的高水平医疗；3、医院方面，对大规模的数据加以利用，建立整体的数字化平台，提高医院的核心业务能力，推进医院之间的数据共享。传统的医学图像处理方式是由工程师们创造一套规则，算法根据规则对图像进行处理。但由于规则很难穷尽，所以对于现实中多变的情况准确率不高。
发明内容
本发明提供一种基于深度学习的肺结核DR影像识别方法及系统，所要解决的技术问题为传统的医学图像处理方式由工程师们创造一套规则，规则很难穷尽，对于现实中多变的情况准确率不高的问题。
本发明提供一种基于深度学习的肺结核DR影像识别方法，包括以下步骤：
步骤1：10万张数字胸片收集后进行AI阅片及专家标注；专家标注后的胸片，进行AI训练识别功能的实现，结合AI阅片得到数字胸片筛查结果；
步骤2：薄层液基菌涂片染色一体开发，进入自动扫描识别系统，得到痰涂片诊断结果后与步骤1中的数字胸片筛查结果一并送至步骤3；
步骤3：推送到医院HIS系统，得到结核病诊断结果。
上述中，所述步骤1中进行AI训练识别功能的实现具体包括以下步骤：
步骤101：建立神经网络模型化以及特征构建：神经网络，由一个前置的32通道的卷积层和多个网络组件构成整个神经网络，总共有6个网络组件，每个组件由一个前置的卷积和一组循环的网络结构构成，所述循环的网络结构由卷积层，batch normalize层，激活函数，残差网络构成；所述6个网络组件分别进行不同数量的重复，首尾相接；重复的数量分别为1,2,8,8,4,4；每个组件中，卷积数量为2个，前面卷积的通道数目2倍于后面一个卷积，每个卷积后面连接batch normalize层；前5个组件的前置卷积的strde为2，其余的卷积的stride为1，因此整个神经网络的下采样率为32(2**5)；在每个组件的两个卷积层之间设计直连残差网络；最后一个卷积层的输出为1024*16*16，网络的训练是的batch size设置为16，初始学习率为0.01，采用步进学习率递减方式进行学习率的更新；训练时对不同的目标检测维度采用的不同的损失函数，对于检测框的中心点x，y和宽高w，h采用MSE损失函数，对于分类采用交叉熵损失函数，对于置信度损失采用BCElosswithlogits损失函数；
步骤102：降低维度，进行归一化和图片增强；所述图像增强，将RGB转变为HSV格式，即为色度、饱和度、亮度，然后对饱和度和亮度进行数据增强；具体实现方式为：对饱和度和亮度乘以一个0.5到1.5倍随机数，然后将HSV格式还原为RGB格式；所述归一化为让网络在训练时集中于图像的相对检测区域，图像在进入网络之前都会将尺寸归一化到512*512像素；先将图片按照原图的比例缩放到高为512或宽为512像素，然后将尺寸较小的维度，图像增强部分随后对图像进行旋转、透视、错切变换，旋转的角度为-5和5之间的随机数，透视因子为0.9到1.1的随机数，错切因子为-0.1到0.1的随机数，变换之后，按照0.5的概率对图像进行水平和垂直翻转，最终对图像会进行0到1的归一化；
步骤103：特征构建；神经网络之后是特征提取网络，网络采用多尺度空间检测方式，能自适应不同大小的检测区域；在6个网络组件中，第3个，第4个和第6个三个组件的特征图输出作为检测结果，第3个组件的输出尺寸为256*64*64，第4个组件的输出尺寸为512*32*32，第6个组件的输出尺寸为1024*16*16；首先基于第6个组件提取网络的第一个特征图，通过7个卷积进行提取特征，每个卷积的特征图尺寸相同，不同的是通道数目，前6个卷积的通道数目以1024,512循环的方式，最后一个卷积的通道数目为18，然后基于第4个，第6个组件提取网络的第二个特征图，将第4和第6这两个不同深度的特征图进行融合，具体方法为：在第一个特征图的7个卷积提取中，取第6个卷积的输出，该输出尺寸为512*16*16，对该特征图进行上采样，输出尺寸为512*32*32的特征图，取第4个组件的输出特征图尺寸也为512*32*32，将该两个特征图在通道维度进行拼接，输出一个特征图，尺寸为1024*32*32，命名为特征图B,特征图B作为后面第3个特征图的输入，也作为本层特征图的输入，将其经过7个卷积进行特征提取，每个卷积的特征图尺寸相同，不同的是通道数目，前6个卷积的通道数目以512,256循环的方式，最后一个卷积的通道数目为18；
步骤104：参数求导；具体的包括：肺部结核病AI判定，1为正常，2为异常，当0-1之间，分值越大，病灶位置相似度越大；
步骤105：数据库对比，是DR影像质量AI判定，即判定DR影像为合格片或者是废片；
步骤106：肺结核DR影像识别；肺部结核病AI判定，判定为正常或异常；当判定的异常时结合分值以及病灶位置可以具体判定为：1.活动性结核-胸膜病变；2.活动性结核-肺部病变；3.非活动性结核-肺部钙化；4.非活动性结核-肺部纤维硬结；5.非活动性结核-胸膜钙化；6.非活动性结核-胸膜纤维硬结；7.考虑结核-需排除炎症；8.考虑结核-需排除肿瘤；9.非结核。
本发明还提供一种基于深度学习的肺结核DR影像识别系统，包括：系统服务模块、Web浏览模块与系统管理模块；
所述系统服务模块：用于支持Web服务，实现浏览器访问系统各功能模块；还用于提供数据存储功能，用户数据与图像数据存储在不同的位置；还用于与第三方系统进行患者信息、阅片报告信息的接收和发送；还用于AI学习和判定平台，具体由一种基于深度学习的肺结核DR影像识别方法实现；
所述Web浏览模块：患者信息的采集，包括患者基本信息、影像文件与实验室检测结果采集；患者信息查询；支持专家对采集的患者影像进行阅片并登记阅片结果；支持按时间、地区、人群分布的各类统计信息的图文展示；
系统管理模块：包括后台用户管理单元、角色管理单元、权限管理单元、系统信息管理单元、存储介质管理单元。所述系统服务模块中的提供数据存储功能，具体的：数据中心充分利用各AI节点影像数据训练改进模型，并将新模型分发到各AI节点；同步影像、患者信息与各AI节点统计信息，为数据中心决策提供支持。
采有本发明的方法及系统，通过人工智能深度学习的算法辅助医生的影像学诊断，既达到快速，同时又是高效，更能保证准确。因此建立肺结核早期诊断的人工智能模型，对于结核病的早期诊断、治疗，以减少传播、降低发病率。
附图说明
图1为本发明肺结核DR影像识别方法示意图。
图2为本发明实施例中参数求导示意图。
图3为本发明实施例中降低维度的示意图。
图4为本发明肺结核DR影像识别方法流程图
具体实施方式
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。但是，本发明可以用许多不同的形式来实现，并不限于本说明书所描述的实施例。
在过去的五年中，人工智能领域是最为革命性的技术，模仿人脑神经元网络的数学模型，需要海量的数据作为训练素材，曾因为算法复杂、预算要求高尔难以使用，近五年的革命性突破使其更近进人脑结构，在各个领域的表现令人震惊，在默写情景下的智能水平已经超过了人脑的表现，我们通过建立深度学习神经元数学模型，从海量肺结核医疗影像诊断数据中挖掘规律，学习和模仿国内顶尖肺结核一生的诊断技术。
实施例一
本发明的一个实施例是，一种基于深度学习的肺结核DR影像识别方法，通过深度学习则无需人工特征提取，通过大量的影像数据和诊断数据，不断对神经网络进行深度学习训练，促使其掌握诊断能力。基于国内肺结核防治的需求我们通过专家资源以及对AI深度学习的方法创造了一套针对肺结核DR影像识别方法及系统，为国内肺结核防治提供更好的诊断辅助以及医学资源共享。
如图4所示，一种基于深度学习的肺结核DR影像识别方法，具体包括以下步骤：
步骤1：10万张数字胸片收集后进行AI阅片及专家标注；专家标注后的胸片，进行AI训练，识别功能的实现，结合AI阅片得到数字胸片筛查结果；如图1所示，所述步骤1中进行AI训练识别功能的实现具体包括以下步骤：
步骤101：建立神经网络模型化以及特征构建：
神经网络是一个庞大而丰富的深度卷积神经网络模型。由一个前置的32通道的卷积层和多个网络组件构成整个神经网络，总共有6个网络组件，每个组件由一个前置的卷积和一组循环的网络结构构成，该循环的网络结构由卷积层，batch normalize层，激活函数，残差网络构成。该6个网络组件分别进行不同数量的重复，首尾相接。重复的数量分别为1,2,8,8,4,4。每个组件中，卷积数量为2个，前面卷积的通道数目2倍于后面一个卷积，每个卷积后面连接batch normalize层。前5个组件的前置卷积的strde为2，其余的卷积的stride为1，所以整个神经网络的下采样率为32(2**5)。因为本发明的图像输入尺寸是512，所以神经网络最后的输出尺寸是16。在每个组件的两个卷积层之间设计直连残差网络。神经网络总共有60个卷积层。除了最后一个卷积层采用linear函数，其他卷积的激活函数都采用leaky rule函数。主干网络负责的是特征提取的工作，网络弃用了普遍采用的池化层，用步长为2的卷积来进行降采样。残差网络能确保网络不会因为深度过深而出现梯度爆炸和消失的现象。神经网络最后一个卷积层的输出为1024*16*16。网络的训练是的batch size设置为16,初始学习率为0.01，采用步进学习率递减方式进行学习率的更新。训练时对不同的目标检测维度采用的不同的损失函数，对于检测框的中心点x，y和宽高w，h采用MSE损失函数，对于分类采用交叉熵损失函数，对于置信度损失采用BCElosswithlogits损失函数。
步骤102：降低维度；也就是如图3所示，进行归一化和图片增强；
图像增强：对于病灶区域的检测主要来源与色度，为了提升网络对色度的敏感，而稍微忽略对于饱和度和亮度的影响。对饱和度和亮度进行数据增强。通常情况下，相对于RGB颜色空间，HSV颜色空间更容易跟踪某种颜色的物体，常用于分割指定颜色的物体。本专利在处理图片流程中，先将RGB转变为HSV格式，即为色度、饱和度、亮度，然后对饱和度和亮度进行数据增强。具体实现方式为：对饱和度和亮度乘以一个0.5到1.5倍随机数。然后将HSV格式还原为RGB格式。
归一化：为了让网络在训练时集中于图像的相对检测区域，图像在进入网络之前都会将尺寸归一化到512*512像素。不同于一般的直接缩放，先将图片按照原图的比例缩放到高为512或宽为512像素。然后将尺寸较小的维度，比如宽进行0值填充。这样能保证图片不会变形，提升检测效果。图像增强部分随后对图像进行旋转、透视、错切变换，旋转的角度为-5和5之间的随机数，透视因子为0.9到1.1的随机数，错切因子为-0.1到0.1的随机数。变换之后，按照0.5的概率对图像进行水平和垂直翻转。最终对图像会进行0到1的归一化。
步骤103：特征构建；
神经网络之后是特征提取网络。网络采用多尺度空间检测方式，能自适应不同大小的检测区域。在6个网络组件中，第3个，第4个和第6个三个组件的特征图输出作为检测结果。第3个组件的输出尺寸为256*64*64，第4个组件的输出尺寸为512*32*32，第6个组件的输出尺寸为1024*16*16。第6个组件输出的感受野更大，对较大目标检测效果较好，而第3，4个组件的感受野更小，对较小的目标的检测效果较好。
首先基于第6个组件提取网络的第一个特征图，通过7个卷积进行提取特征，每个卷积的特征图尺寸相同，不同的是通道数目，前6个卷积的通道数目以1024,512循环的方式，最后一个卷积的通道数目为18。所以该特征图输出尺寸为18*16*16。数目18的解释如下：对于每个特征图的每个点，设置3个检测anchor box。对于该特征图的输出，anchor box为：[142,110],[192,243],[459,401],该尺寸是对应的原图的大小，输出到特征图时，需要scale到16*16的尺寸。对于每个特征点的18个通道，1个通道用来进行分类，1个通道用来预测置信度，4个通道用来预测x，y，w，h。本专利的分类数目为1，也就是说检测的目标区域就是病灶区域一个分类。所以通道总数为18，即3*(1+1+4)。
然后基于第4个，第6个组件提取网络的第二个特征图。因为使用某个深度的特征图会使得网络的鲁棒性变差。为此将第4和第6这两个不同深度的特征图进行融合。具体方法为：在第一个特征图的7个卷积提取中，取第6个卷积的输出，该输出尺寸为512*16*16。对该特征图进行上采样，输出尺寸为512*32*32的特征图。取第4个组件的输出特征图尺寸也为512*32*32。将该两个特征图在通道维度进行拼接，输出一个特征图，尺寸为1024*32*32(命名为特征图B),该特征图将作为后面第3个特征图的输入，也作为本层特征图的输入，将其经过7个卷积进行特征提取。每个卷积的特征图尺寸相同，不同的是通道数目，前6个卷积的通道数目以512,256循环的方式，最后一个卷积的通道数目为18。所以该特征图输出尺寸为18*32*32。该特征图的通道定义和第一个特征图定义相同。不同的是特征图的尺寸，还有anchor box的尺寸和第一个特征图有差异，具体设置为：[36,75],[76,55],[72,146]。最后需要scale到32*32的尺寸。
最后基于第3个，特征图B(1024*32*32)提取第3个特征图。将特征图B进行上采样，得到尺寸为1024*64*64的特征图。第3个特征图的输出为256*64×64。将这个两个特征图在通道维度进行拼接。通过7个卷积进行提取，每个卷积的特征图尺寸相同，不同的是通道数目，前6个卷积的通道数目以1280,512循环的方式，最后一个卷积的通道数目为18。所以该特征图输出尺寸为18*64*64。该特征图的通道定义和第1,2个特征图定义相同。不同的是特征图的尺寸，还有anchor box的尺寸和第1,2个特征图有差异，具体设置为：[12,16],[19,36],[40,28]。最后需要scale到64*64的尺寸。
步骤104：参数求导；具体的包括：肺部结核病AI判定，1为正常，2为异常，当0-1之间，分值越大，病灶位置相似度越大，如图2所示，图2为同一位置的2张图，对同一病灶位置进行了分值的标注，分别标注了1及0.85，这就说明肺部结核病AI判定中对于同一病灶位置的具体判定。
步骤105：数据库对比；也就是说是DR影像质量AI判定，即判定DR影像为合格片或者是废片。
步骤106：肺结核DR影像识别；肺部结核病AI判定，判定为正常或异常；当判定的异常时结合分值以及病灶位置可以具体判定为：1.活动性结核-胸膜病变；2.活动性结核-肺部病变；3.非活动性结核-肺部钙化；4.非活动性结核-肺部纤维硬结；5.非活动性结核-胸膜钙化；6.非活动性结核-胸膜纤维硬结；7.考虑结核-需排除炎症；8.考虑结核-需排除肿瘤；9.非结核。
步骤2：薄层液基菌涂片染色一体开发，进入自动扫描识别系统，得到痰涂片诊断结果后与步骤1中的数字胸片筛查结果一并送至步骤3；
步骤3：推送到医院HIS系统，得到结核病诊断结果。
实施例二
在实施例一的基础上，还提供一种基于深度学习的肺结核DR影像识别系统，包括：“系统服务模块、Web浏览模块与系统管理模块”。
系统服务模块：1、支持Web服务，实现浏览器访问系统各功能模块。2、提供数据存储功能，用户数据与图像数据可以存储在不同的位置。3、可与第三方系统进行“患者信息、阅片报告”等信息的接收和发送。4、还包括AI学习和判定平台，具体由上述中的一种基于深度学习的肺结核DR影像识别方法实现。
系统服务模块中的提供数据存储功能，具体的：数据中心(例如中心医院)充分利用各AI节点(例如各地方医院)影像数据训练改进模型，并将新模型分发到各AI节点。同步影像、患者信息与各AI节点统计信息，为数据中心决策提供支持。确诊患者推送到病人管理系统，健全确诊病例的后续治疗管理。开放安全的第三方接口，多系统对接。AI节点支持各节点(例如各地方医院)独立运作，弹性支撑各省业务。影像诊断和实验室诊断提供人工智能AI判定，AI判定采用是实施例一中的一种基于深度学习的肺结核DR影像识别方法。，加速确诊时间，提升准确率。提供针对病人的信息采集、影像诊断、实验室诊断记录的统一记录，提高管理精度。各个维度的统计信息和可视化展示，为疾病防控提供决策支持。数据上报数据中心。
Web浏览模块：1、患者信息的采集，包括患者基本信息、影像文件与实验室检测结果采集。2、患者信息查询。3、支持专家对采集的患者影像进行阅片并登记阅片结果。4、支持按时间、地区、人群分布的各类统计信息的图文展示。5、只有授权用户可以访问系统。
系统管理模块：包括后台用户管理单元、角色管理单元、权限管理单元、系统信息管理单元、存储介质管理单元。后台用户管理单元用于管理后台用户，角色管理单元用于管理角色，权限管理单元用于管理权限，系统信息管理单元用于管理系统信息，存储介质管理单元，用于存储介质管理。
采有本发明的方法及系统，通过人工智能深度学习的算法辅助医生的影像学诊断，既达到快速，同时又是高效，更能保证准确。因此建立肺结核早期诊断的人工智能模型，对于结核病的早期诊断、治疗，以减少传播、降低发病率。
需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (4)
1.一种基于深度学习的肺结核DR影像识别方法，其特征在于，包括以下步骤：
步骤1：10万张数字胸片收集后进行AI阅片及专家标注；专家标注后的胸片，进行AI训练识别功能的实现，结合AI阅片得到数字胸片筛查结果；
步骤2：薄层液基菌涂片染色一体开发，进入自动扫描识别系统，得到痰涂片诊断结果后与步骤1中的数字胸片筛查结果一并送至步骤3；
步骤3：推送到医院HIS系统，得到结核病诊断结果。
2.如权利要求1所述的肺结核DR影像识别方法，其特征在于，所述步骤1中进行AI训练识别功能的实现具体包括以下步骤：
步骤101：建立神经网络模型化以及特征构建：神经网络，由一个前置的32通道的卷积层和多个网络组件构成整个神经网络，总共有6个网络组件，每个组件由一个前置的卷积和一组循环的网络结构构成，所述循环的网络结构由卷积层，batch normalize层，激活函数，残差网络构成；所述6个网络组件分别进行不同数量的重复，首尾相接；重复的数量分别为1,2,8,8,4,4；每个组件中，卷积数量为2个，前面卷积的通道数目2倍于后面一个卷积，每个卷积后面连接batch normalize层；前5个组件的前置卷积的strde为2，其余的卷积的stride为1，因此整个神经网络的下采样率为32(2**5)；在每个组件的两个卷积层之间设计直连残差网络；最后一个卷积层的输出为1024*16*16，网络的训练是的batch size设置为16，初始学习率为0.01，采用步进学习率递减方式进行学习率的更新；训练时对不同的目标检测维度采用的不同的损失函数，对于检测框的中心点x，y和宽高w，h采用MSE损失函数，对于分类采用交叉熵损失函数，对于置信度损失采用BCElosswithlogits损失函数；
步骤102：降低维度，进行归一化和图片增强；所述图像增强，将RGB转变为HSV格式，即为色度、饱和度、亮度，然后对饱和度和亮度进行数据增强；具体实现方式为：对饱和度和亮度乘以一个0.5到1.5倍随机数，然后将HSV格式还原为RGB格式；所述归一化为让网络在训练时集中于图像的相对检测区域，图像在进入网络之前都会将尺寸归一化到512*512像素；先将图片按照原图的比例缩放到高为512或宽为512像素，然后将尺寸较小的维度，图像增强部分随后对图像进行旋转、透视、错切变换，旋转的角度为-5和5之间的随机数，透视因子为0.9到1.1的随机数，错切因子为-0.1到0.1的随机数，变换之后，按照0.5的概率对图像进行水平和垂直翻转，最终对图像会进行0到1的归一化；
步骤103：特征构建；神经网络之后是特征提取网络，网络采用多尺度空间检测方式，能自适应不同大小的检测区域；在6个网络组件中，第3个，第4个和第6个三个组件的特征图输出作为检测结果，第3个组件的输出尺寸为256*64*64，第4个组件的输出尺寸为512*32*32，第6个组件的输出尺寸为1024*16*16；首先基于第6个组件提取网络的第一个特征图，通过7个卷积进行提取特征，每个卷积的特征图尺寸相同，不同的是通道数目，前6个卷积的通道数目以1024,512循环的方式，最后一个卷积的通道数目为18，然后基于第4个，第6个组件提取网络的第二个特征图，将第4和第6这两个不同深度的特征图进行融合，具体方法为：在第一个特征图的7个卷积提取中，取第6个卷积的输出，该输出尺寸为512*16*16，对该特征图进行上采样，输出尺寸为512*32*32的特征图，取第4个组件的输出特征图尺寸也为512*32*32，将该两个特征图在通道维度进行拼接，输出一个特征图，尺寸为1024*32*32，命名为特征图B,特征图B作为后面第3个特征图的输入，也作为本层特征图的输入，将其经过7个卷积进行特征提取，每个卷积的特征图尺寸相同，不同的是通道数目，前6个卷积的通道数目以512,256循环的方式，最后一个卷积的通道数目为18；
步骤104：参数求导；具体的包括：肺部结核病AI判定，1为正常，2为异常，当0-1之间，分值越大，病灶位置相似度越大；
步骤105：数据库对比，是DR影像质量AI判定，即判定DR影像为合格片或者是废片；
步骤106：肺结核DR影像识别；肺部结核病AI判定，判定为正常或异常；当判定的异常时结合分值以及病灶位置可以具体判定为：1.活动性结核-胸膜病变；2.活动性结核-肺部病变；3.非活动性结核-肺部钙化；4.非活动性结核-肺部纤维硬结；5.非活动性结核-胸膜钙化；6.非活动性结核-胸膜纤维硬结；7.考虑结核-需排除炎症；8.考虑结核-需排除肿瘤；9.非结核。
3.一种基于深度学习的肺结核DR影像识别系统，其特征在于，包括：系统服务模块、Web浏览模块与系统管理模块；
所述系统服务模块：用于支持Web服务，实现浏览器访问系统各功能模块；还用于提供数据存储功能，用户数据与图像数据存储在不同的位置；还用于与第三方系统进行患者信息、阅片报告信息的接收和发送；还用于AI学习和判定平台，具体由一种基于深度学习的肺结核DR影像识别方法实现；
所述Web浏览模块：患者信息的采集，包括患者基本信息、影像文件与实验室检测结果采集；患者信息查询；支持专家对采集的患者影像进行阅片并登记阅片结果；支持按时间、地区、人群分布的各类统计信息的图文展示；
系统管理模块：包括后台用户管理单元、角色管理单元、权限管理单元、系统信息管理单元、存储介质管理单元。
4.如权利要求3所述的肺结核DR影像识别系统，其特征在于，所述系统服务模块中的提供数据存储功能，具体的：数据中心充分利用各AI节点影像数据训练改进模型，并将新模型分发到各AI节点；同步影像、患者信息与各AI节点统计信息，为数据中心决策提供支持。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010922695.4A CN112037212A (zh) | 2020-09-04 | 2020-09-04 | 一种基于深度学习的肺结核dr影像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010922695.4A CN112037212A (zh) | 2020-09-04 | 2020-09-04 | 一种基于深度学习的肺结核dr影像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112037212A true CN112037212A (zh) | 2020-12-04 |
Family
ID=73590631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010922695.4A Pending CN112037212A (zh) | 2020-09-04 | 2020-09-04 | 一种基于深度学习的肺结核dr影像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112037212A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113053519A (zh) * | 2021-04-02 | 2021-06-29 | 北京掌引医疗科技有限公司 | 基于遗传算法的肺结核检测模型的训练方法、装置及设备 |
| CN113053520A (zh) * | 2021-04-02 | 2021-06-29 | 北京掌引医疗科技有限公司 | 肺结核检测模型的训练方法、训练装置及辅助诊断设备 |
| CN113393920A (zh) * | 2021-06-17 | 2021-09-14 | 李家松 | 一种用于人工智能筛查尘肺病胸片遴选、标注及验证方法 |
-
2020
- 2020-09-04 CN CN202010922695.4A patent/CN112037212A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113053519A (zh) * | 2021-04-02 | 2021-06-29 | 北京掌引医疗科技有限公司 | 基于遗传算法的肺结核检测模型的训练方法、装置及设备 |
| CN113053520A (zh) * | 2021-04-02 | 2021-06-29 | 北京掌引医疗科技有限公司 | 肺结核检测模型的训练方法、训练装置及辅助诊断设备 |
| CN113393920A (zh) * | 2021-06-17 | 2021-09-14 | 李家松 | 一种用于人工智能筛查尘肺病胸片遴选、标注及验证方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
| US11887311B2 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
| CN110111313B (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
| CN112037212A (zh) | 一种基于深度学习的肺结核dr影像识别方法 | |
| CN112862824A (zh) | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 | |
| CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN109447981A (zh) | 图像识别方法及相关产品 | |
| Shu et al. | LVC-Net: Medical image segmentation with noisy label based on local visual cues | |
| CN113450359A (zh) | 医学图像分割、显示、模型训练方法、系统、设备和介质 | |
| CN114299082A (zh) | 一种新冠肺炎ct图像分割方法、装置及存储介质 | |
| CN117710760B (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
| CN116452618A (zh) | 一种三输入脊柱ct图像分割方法 | |
| CN115601299A (zh) | 基于图像的肝硬化状态智能评估系统及其方法 | |
| CN117237351B (zh) | 一种超声图像分析方法以及相关装置 | |
| CN112634308B (zh) | 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法 | |
| CN116703837B (zh) | 一种基于mri图像的肩袖损伤智能识别方法及装置 | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| EP4318497A1 (en) | Training method for training artificial neural network for determining breast cancer lesion area, and computing system performing same | |
| CN111598144B (zh) | 图像识别模型的训练方法和装置 | |
| CN110570417B (zh) | 肺结节分类装置及图像处理设备 | |
| CN114049358A (zh) | 肋骨实例分割、计数与定位的方法及系统 | |
| CN116114027A (zh) | 利用多相生物图像学习的利用神经网络的疾病诊断方法及执行其的疾病诊断系统 | |
| CN113822846A (zh) | 医学图像中确定感兴趣区域的方法、装置、设备及介质 | |
| CN113223014A (zh) | 基于数据增强的脑部图像分析系统、方法及设备 | |
| Xu et al. | Lung segmentation in chest X‐ray image using multi‐interaction feature fusion network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |