CN110599448B - 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 - Google Patents
基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 Download PDFInfo
- Publication number
- CN110599448B CN110599448B CN201910698605.5A CN201910698605A CN110599448B CN 110599448 B CN110599448 B CN 110599448B CN 201910698605 A CN201910698605 A CN 201910698605A CN 110599448 B CN110599448 B CN 110599448B
- Authority
- CN
- China
- Prior art keywords
- network
- mask
- layer
- score
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 33
- 230000003902 lesion Effects 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 230000001617 migratory effect Effects 0.000 title description 2
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000003745 diagnosis Methods 0.000 claims abstract description 13
- 206010058467 Lung neoplasm malignant Diseases 0.000 claims abstract description 10
- 201000005202 lung cancer Diseases 0.000 claims abstract description 10
- 208000020816 lung neoplasm Diseases 0.000 claims abstract description 10
- 238000013508 migration Methods 0.000 claims abstract description 9
- 230000005012 migration Effects 0.000 claims abstract description 9
- 206010014561 Emphysema Diseases 0.000 claims abstract description 8
- 208000019693 Lung disease Diseases 0.000 claims abstract description 8
- 206010035664 Pneumonia Diseases 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims abstract description 4
- 238000009432 framing Methods 0.000 claims abstract description 4
- 230000000873 masking effect Effects 0.000 claims abstract description 4
- 230000036285 pathological change Effects 0.000 claims abstract description 4
- 231100000915 pathological change Toxicity 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 31
- 238000011176 pooling Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000013526 transfer learning Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 208000008128 pulmonary tuberculosis Diseases 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000008014 freezing Effects 0.000 claims description 2
- 238000007710 freezing Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims 1
- 238000003709 image segmentation Methods 0.000 abstract description 12
- 201000008827 tuberculosis Diseases 0.000 abstract 1
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000002685 pulmonary effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010003598 Atelectasis Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000002151 Pleural effusion Diseases 0.000 description 1
- 208000007123 Pulmonary Atelectasis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000011976 chest X-ray Methods 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 201000003453 lung abscess Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000001370 mediastinum Anatomy 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
基于MaskScoring R‑CNN网络的迁移学习肺部病变组织检测系统，包括存储肺癌、肺炎、肺结核、肺气肿4种肺部疾病的存储模块，还包括一个诊断模块，诊断模块与存储模块通信连接，诊断模块包括：步骤1)医学图像预处理；步骤2)构建MaskScoring R‑CNN网络模型：1.构建共享卷积神经网络骨干(作特征提取)，2.对共享卷积神经网络做迁移学习，3.构建FPN网络，4.构建RPN网络5.构建ROIAlign层，6.添加MaskIoU head；步骤3)肺部医学图像病变组织识别：向构建好的MaskScoring R‑CNN网络，输入待检测的肺部CT影像，网络输出得到识别之后的图像，框出并掩膜mask识别到的病变组织，并标注出病变的类别。本发明满足医学图像分割高精度的要求，也能让网络拥有良好的泛化性。
Description
技术领域
本发明涉及肺部病变的检测系统。
技术背景
近半个世纪以来，肺癌的发病率和死亡率不断上升，相隔15年约增加1倍，工业发达地区肺癌发病率高，吸烟越多发病率越高，呈明显剂量关系，我国的肺癌发病率和死亡率均占恶性肿瘤的首位。为了能够提早发现，在肺部病变的早期能够给予及时的治疗，准确的病变组织检测方法极为关键。
常见的肺部疾病包括肺脓肿、肺气肿、肺结核、肺结节等。在医学上，胸部X线检查是肺部疾病必做的基础检查项目之一，有助于诊断肺部炎症、肺不张、肺气肿、气胸、胸腔积液等疾病。胸部CT检查有助于对X线胸片发现的问题作出定性诊断，如肺部肿块性质的鉴别，肿块位置、范围、与纵隔的解剖联属等。这些病变组织的辨别难度很大，对医生的能力与经验的要求往往也非常的高。在现有的技术里，没有有效的帮助医生诊断肺部病变组织的技术。因此，我们将人工智能的技术运用到了肺部病变组织检测中来。
医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，其目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更为准确的诊断。随着人工智能的发展，尤其是人工神经网络的快速发展，每年都能涌现出大量的优秀论文以及算法和神经网络结构。在图像分割领域，不断地有新的网络结构刷新着图像分割精度的记录,这些网络分割的对象，通常是自然界的某些物体或者人和动物等，我们也可以将应用到医学图像分割中来。但把分割的对象直接换成医学图像，其分割准度定会大大降低，因为医学图像如CT图像几乎都是灰度图，在一张CT图像中，各个组织的形似度非常高，极容易造成误差，这对于精准度要求极高的医学图像分割来说是完全不能接受的。
本发明提出了一种基于MaskScoring R-CNN(一种的语义分割卷积神经网络)网络的迁移学习肺部病变组织检测系统。通过迁移学习训练MaskScoring R-CNN，提高了该网络对肺部医学图像中病变组织分割的准度，为医生的检测提供技术支持，降低误检率。
发明内容
为解决现有技术的上述不足，本发明提出基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统。本发明将用于自然图像语义分割的MaskScoring R-CNN神经网络能够应用到医学图像分割中来，用于解决肺部病变组织的分割问题。
图像分割领域近年来，涌现出非常多优秀的网络模型，它们不再是以往的单任务的网络结构，取而代之是集成、复杂的多任务网络模型。获得2017年国际计算机视觉大会ICCV的最佳论文的Mask R-CNN就是其中的代表。在实例分割的Mask R-CNN框架中主要完成了目标检测、目标分类、像素级目标分割任务，相较于之前的网络其显著提高了分割效果，同时结合了目标检测，在完成分割任务的同时能将目标识别并分类出来。本发明所用的MaskScoring R-CNN是在Mask R-CNN基础上改进而来，关键就在名字里的“Scoring”(打分)，提出一种新的算法给“实例分割假设”打分的新方法，这个分数打得是否准确就会影响实力分割模型的性能。通过这个算法，进一步地提升了mask检测的精度。
由于用于上述网络训练和测试的数据均为自然图像数据，若直接运用于医学图像分割中，不会取得良好的效果，故本发明通过迁移学习的方法提高MaskScoring R-CNN对医学图像实例分割的性能，并用于肺部的病变组织检测。
为使本发明的目的、技术方案和优点更加清晰，下面就对本发明的技术方案作进一步描述，基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统，包括存储肺癌、肺炎、肺结核、肺气肿4种肺部疾病的存储模块，其特征在于：还包括一个诊断模块，诊断模块与存储模块通信连接，诊断模块具体包括：
步骤1)医学图像预处理；
对采集到的肺部医学CT图像做数据增强处理。将处理后的数据80％用作网络的训练集，10％作为验证集，最后10％作为测试集。
步骤2)构建MaskScoring R-CNN网络模型；
2.1构建共享卷积神经网络骨干，作特征提取；
共享卷积层的目的是将步骤1)中的医学图像输入，输出为提出的特征称为特征图谱feature maps，供后续网络做进一步处理。使用已经用ImageNet数据集预训练好的卷积网络模型VGG-16网络，每一层卷积网络都在前一层的信息基础上提取更加抽象的特征。第一层通常学习到简单的边缘，第二层寻找目标边缘的模式，以激活后续卷积网络中更加复杂的形状。最终，我们得到一个在空间维度上比原始图片小，但表征更深的卷积特征图。特征图的长和宽会随着卷积层间的池化而缩小，深度会随着卷积层滤波器的数量而增加。
2.2对共享卷积神经网络做迁移学习；
由于使用的是ImageNet数据集预训练好的VGG-16网络，ImageNet数据集包含上百万个自然图像，本发明用于训练的医学图像数据量与其相差巨大。故将靠近网络开头的第三层卷积层预先训练过的层级删掉，向第一二层后添加新的全连接层，随机化设置新的完全连接层的权重，冻结预先训练过的网络中的所有权重，最后训练该网络以更新新连接层的权重。
经过上述的迁移学习方法，使得用于特征提取的卷积神经网络能够有效地从医学图像上进行特征图谱feature maps的提取。
2.3构建特征金字塔网络，即FPN网络；
FPN的提出是为了实现更好的feature maps融合，一般的网络都是直接使用最后一层的feature maps，虽然最后一层的feature maps语义强，但是位置和分辨率都比较低，容易检测不到比较小的物体。FPN的功能就是融合了底层到高层的feature maps，从而充分的利用了提取到的各个阶段的特征。
2.4构建区域建议网络，即RPN网络；
RPN是专门用来推荐候选区域的，它可以理解为一种全卷积神经网络。RPN就是上面的共享卷积网络后接一个3*3的卷积层，再接两个1*1的卷积层，其中一个是用来进行分类，另一个用于给候选区域精确定位。
2.5构建ROI Align层；
对从共享卷积层得到的feature maps上感兴趣区域ROI被划分后的各网格区域选取固定数目的等间隔采样点，根据采样点邻近特征值利用双线性插值计算采样点的特征值，然后对采样点的特征值进行池化操作。
ROIAlign后有两个分支，第一个分支是利用之前检测到的ROI进行分类和回归。第二个分支则是掩膜mask，一般用来对图像目标部分进行遮挡的预测，通过全卷积神经网络FCN来进行对ROI进行语义分割，这样就能用mask逐像素覆盖住医学图像中的想要得到的病变组织。
2.6添加MaskIoU head；
在实例分割现有框架MaskR-CNN中，物体的mask的得分直接来自于物体的分类得分，这个得分并没有考虑到物体的mask的质量,于是就会出现有些物体mask质量很差但是得分很高的问题，这个问题对mask检测精度带来影响很大，MaskScoring R-CNN就是要解决这个问题。MaskScoring R-CNN要给物体的mask打分，这个打分既要考虑到物体的分类得分也要考虑到物体mask的质量。MaskScoring R-CNN注意到评判mask好坏的标准是这个预测的mask和真实mask的交并比IoU,于是就在现在框架的基础上再拉一个分支学习这个IoU,为了方便起见，MaskScoring R-CNN不再去学一个mask的分类得分，而是直接用物体的分类得分，然后将分类得分和学习到的IoU相乘，将这个得分作为mask的得分，最后可以显著提高mask检测的精度，将病变组织精准地逐像素mask出来。
步骤3)肺部医学图像病变组织识别；
向步骤2)中构建好的MaskScoring R-CNN网络，输入待检测的肺部CT影像，网络输出得到识别之后的图像，框出并掩膜mask识别到的病变组织，并标注出病变的类别,说明本发明能辅助肺部病变组织的检测。
本发明具有以下优点：
1.提出了用MaskScoring R-CNN网络进行医学图像分割，使得目标检测、目标分类、像素级目标分割三个任务能够同时进行，在分割出病变组织的同时还能对组织进行分类并标注病变类型，分割精度达到了像素级并用mask掩膜覆盖病变组织，满足医学图像分割高精度的要求。
2.采用了迁移学习的方法，使得训练神经网络时不需要太大的医学图像数据集，也能让网络拥有良好的泛化性。
附图说明
图1是本发明的整体网络框架结构示意图；
图2是本网络中采用的VGG-16特征提取网络示意图；
图3是网络中FPN网络结构示意图；
图4是网络中RPN网络功能示意图；
图5是网络中RPN网络中的anchor示意图；
图6是本发明网络的肺部组织病变组织检测示意图；
图7是本发明的方法流程图；
具体实施方式：
以下结合附图对本发明做具体的解释说明
本发明的基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统，包括存储肺癌、肺炎、肺结核、肺气肿4种肺部疾病的存储模块，还包括一个诊断模块，诊断模块与存储模块通信连接，诊断模块具体包括：
步骤1)医学图像预处理；
选取4种不同的肺部疾病肺癌，肺炎，肺结核，肺气肿的CT图像，对数据采用NLP的方法进行标注，并以此类数据作为正样本。选取正常的正常的肺部CT图像作为负样本。
对采集到的肺部医学图像做数据增强处理。将处理后的数据80％用作网络的训练集，10％作为验证集，最后10％作为测试集，并将图像像素的大小设置为224*224。
步骤2)构建MaskScoring R-CNN网络模型；(具体结构如图1所示)
2.1构建共享卷积神经网络骨干，作特征提取；
共享卷积层的目的是将步骤1)中的医学图像输入，输出为提出的特征称为特征图谱feature maps，供后续网络做进一步处理。本发明使用已经用ImageNet数据集预训练好的卷积网络模型VGG-16网络，每一层卷积网络都在前一层的信息基础上提取更加抽象的特征。第一层通常学习到简单的边缘，第二层寻找目标边缘的模式，以激活后续卷积网络中更加复杂的形状。最终，我们得到一个在空间维度上比原始图片小很多，但表征更深的卷积特征图。特征图的长和宽会随着卷积层间的池化而缩小，深度会随着卷积层滤波器的数量而增加。
采用VGG-16所有卷积层的卷积核大小均为3*3*3，步长stride＝1，填充padding＝1，池化pooling均采用2*2的最大池化方式；输入224*224*1的图片；经过64个卷积核的两次卷积后，采用一次pooling操作；之后又经过两次128的卷积核卷积之后，采用一次pooling操作；再经过三次256的卷积核的卷积之后，采用pooling，重复两次三个512的卷积核卷积之后再pooling，最后经过三次全连接层后，得到特征图谱feature map输出；加载用ImageNet数据集预训练好的权重，为下一步迁移学习做准备；
2.2对共享卷积神经网络做迁移学习；
由于使用的是ImageNet数据集预训练好的VGG-16网络，ImageNet数据集包含上百万个自然图像，用于训练的医学图像数据量与其相差巨大；故将靠近网络开头的第三层卷积层预先训练过的层级删掉，向第一二层后添加新的全连接层，随机化设置新的完全连接层的权重，冻结预先训练过的网络中的所有权重，最后训练改网络以更新新连接层的权重；
经过上述的迁移学习方法，使得用于特征提取的卷积神经网络能够有效地从医学图像上进行特征图谱feature maps的提取；
2.3构建特征金字塔网络，即FPN网络；
FPN的提出是为了实现更好的feature maps融合，一般的网络都是直接使用最后一层的feature maps，虽然最后一层的feature maps语义强，但是位置和分辨率都比较低，容易检测不到比较小的物体；FPN的功能就是融合了底层到高层的feature maps，在共享卷积网络后构建1*1卷积层自上而下的路径都经过2层的上采样过程，融合底层到高层的feature maps,从而充分的利用了提取到的各个阶段的特征；为了防止因为医学图像中的某些组织不清晰，利用FPN将各个阶段的特征充分提取，提高分割的准确度，防止漏检或者误判；(结构如图3所示)
2.4构建区域建议网络，即RPN网络；
RPN网络是专门用来推荐候选区域的，它可以理解为一种全卷积神经网络；RPN网络就是FPN网络后接一个3*3的卷积层，再接两个1*1的卷积层，其中一个是用来进行分类，另一个用于给候选区域精确定位；
RPN网络使用卷积神经网络CNN产生的区域建议Region Proposal分割出一张肺部CT图像中病变组织所在的位置，利用滑动窗口在生成的共享特征图谱feature maps上滑动，如图4所示；
滑动过程中为每个位置生成9种预先设置好长宽比与面积的目标框，即锚anchor；这9种初始anchor包含三种面积(128×128，256×256，512×512)，每种面积又包含三种长宽比(1:1，1:2，2:1)；对于RPN输出的特征图中的每一个点，一个1×1的卷积层输出了18个值，因为是每一个点对应9个anchor，每个anchor有一个前景分数和一个背景分数，所以9×2＝18；另一个1×1的卷积层输出了36个值，因为是每一个点对应9个anchor，每个anchor对应了4个修正坐标的值，所以9×4＝36；那么，要得到这些值，RPN网络需要训练；在训练的时候，就需要对应的标签；判定一个anchor是前景还是背景的定义如下：如果一个anchor与正确的标记数据groundtruth的重叠度IoU在0.7以上，那这个anchor就算positive前景；类似地，如果这个anchor与groundtruth的IoU在0.3以下，那么这个anchor就算negative背景；在进行RPN网络训练的时候，只使用了上述两类anchor，与groundtruth的IoU介于0.3和0.7的anchor没有使用；在训练anchor属于前景与背景的时候，是在一张图中，随机抽取了128个前景anchor与128个背景anchor；
anchor边框修正的训练方法如下：边框修正主要由4个值完成，tx,ty,tw,th。由tx,ty分别是修正后的框在anchor的x和y方向上做出平移，tw,th分别是长和宽各自放大的倍数；采用SmoothL1loss进行训练，具体描述为比较预测平移缩放参数
和真实平移缩放参数v＝(vx,vy,vw,vh)的差别：
只对前景anchors进行anchor包围框修正的参数训练；因此，在训练RPN的时候，只有对128个随机抽取的positive anchors有这一步训练，训练RPN的损失函数可以写成：
其中λ被设置为10，Ncls为256为训练批次的大小，Nreg为2400为anchor的数量。如此设置RPN的两部分loss值能保持平衡。pi为anchor预测为目标的概率，ti＝{tx,ty,tw,th}是一个向量，表示预测的boundingbox的4个参数化目标，
是与positive anchor对应的ground truth包围的坐标向量。
是回归损失，用
计算，其中R是SmoothL1函数，式(2)中的
就是(1)式中的Lloc(tu,v)。Lcls是两个类别(目标和非目标的对数损失)对数损失。
2.5构建ROIAlign层；
对从共享卷积层得到的feature maps上感兴趣区域ROI被划分后的各网格区域选取固定数目的等间隔采样点，根据采样点邻近特征值利用双线性插值计算采样点的特征值，然后对采样点的特征值进行池化操作；
ROIAlign后有两个分支，第一个分支是利用之前检测到的ROI Bounding Box进行分类和回归；第二个分支则是掩膜mask的预测，通过全卷积神经网络FCN来进行对ROI进行语义分割，对于预测的二值掩膜mask输出，对每个像素点应用sigmoid函数；
sigmoid函数定义如下：
引入预测K个输出的机制，允许每个类都生成独立的mask掩膜，避免类间竞争。这样做解耦了掩膜和种类预测。
2.6添加MaskIoU head；
在现有图像分割框架MaskR-CNN中，物体的mask的得分直接来自于物体的分类得分，这个得分并没有考虑到物体的mask的质量,于是就会出现有些物体mask质量很差但是得分很高的问题，这个问题对mask检测精度带来影响较大，MaskScoring R-CNN解决了这个问题；MaskScoring R-CNN给物体的mask打分，这个打分既要考虑到物体的分类得分也要考虑到物体mask的质量；在MaskScoring R-CNN中，评判mask好坏的标准是这个mask和真实mask的交并比IoU,于是在现在框架的基础上添加了一个分支学习这个IoU，MaskScoringR-CNN不再去学习一个mask的分类得分，而是直接用物体的分类得分，然后将分类得分和学习到的IoU相乘，将这个得分作为mask的得分，综合分类得分与mask的质量得分评估算法，提高了算法质量，最后可以显著提高mask检测的精度，将病变组织精确地逐像素掩膜出来；
MaskIoU head是在经典评估指标平均正确率AP启发下得到的，将预测蒙版与物体特征进行对比；MaskIoU head同时接收蒙版head的输出与ROI的特征作为输入，用一种简单的回归损失进行训练，来计算预测的Mask和ground truth mask的IoU分数；
根据分类得分和iou分数来计算最后的mask score，如果分类得分高，但mask iou分数低，则会惩罚最后得到的mask score；mask score计算如下：
Smask＝Scls*Siou (4)
其中Scls是物体的分类得分，Siou是Mask和groundtruth mask的IoU分数
步骤3)肺部医学图像病变组织识别；
向步骤2)中构建好的MaskScoring R-CNN网络，输入待检测的肺部CT影像，网络输出得到识别之后的图像，框出并掩膜mask识别到的病变组织，并标注出病变的类别。如图6示意图所示，说明本发明能辅助肺部病变组织的检测。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (1)
1.基于MaskScoring-RCN网络和迁移学习的肺部病变检测系统，包括存储肺癌、肺炎、肺结核、肺气肿4种肺部疾病的存储模块，其特征在于：还包括一个诊断模块，诊断模块与存储模块通信连接，诊断模块具体包括：
步骤1)医学图像预处理；
选取4种不同的肺部疾病，肺癌，肺炎，肺结核，肺气肿，的CT图像，对数据采用NLP的方法进行标注，并以此类数据作为正样本；选取正常的正常的肺部CT图像作为负样本；
对采集到的肺部医学图像做数据增强处理；将处理后的数据80％用作网络的训练集，10％作为验证集，最后10％作为测试集，并将图像像素的大小设置为224*224；
步骤2)构建MaskScoring R-CNN网络模型；
2.1构建共享卷积神经网络骨干，作特征提取；
使用已经用ImageNet数据集预训练好的卷积网络模型VGG-16网络，每一层卷积网络都在前一层的信息基础上提取更加抽象的特征；第一层通常学习到简单的边缘，第二层寻找目标边缘的模式，以激活后续卷积网络中更加复杂的形状；最终，得到一个在空间维度上比原始图片小，但表征更深的卷积特征图；特征图的长和宽会随着卷积层间的池化而缩小，深度会随着卷积层滤波器的数量而增加；
采用VGG-16所有卷积层的卷积核大小均为3*3*3，步长stride＝1，填充padding＝1，池化pooling均采用2*2的最大池化方式；输入224*224*1的图片；经过64个卷积核的两次卷积后，采用一次pooling操作；之后又经过两次128的卷积核卷积之后，采用一次pooling操作；再经过三次256的卷积核的卷积之后，采用pooling，重复两次三个512的卷积核卷积之后再pooling，最后经过三次全连接层后，得到特征图谱feature map输出；加载用ImageNet数据集预训练好的权重，为下一步迁移学习做准备；
2.2对共享卷积神经网络做迁移学习；
将靠近网络开头的第三层卷积层预先训练过的层级删掉，向第一二层后添加新的全连接层，随机化设置新的完全连接层的权重，冻结预先训练过的网络中的所有权重，最后训练改网络以更新新连接层的权重；
2.3构建特征金字塔网络，即FPN网络；
在共享卷积网络后构建1*1卷积层自上而下的路径都经过2层的上采样过程，融合底层到高层的feature maps，从而充分的利用了提取到的各个阶段的特征；
2.4构建区域建议网络，即RPN网络；
在FPN网络后接一个3*3的卷积层，再接两个1*1的卷积层，其中一个是用来进行分类，另一个用于给候选区域精确定位；
使用卷积神经网络CNN产生的区域建议Region Proposal分割出一张肺部CT图像中病变组织所在的位置，利用滑动窗口在生成的共享特征图谱feature maps上滑动；
滑动过程中为每个位置生成9种预先设置好长宽比与面积的目标框，即锚anchor；这9种初始anchor包含三种面积，即128×128，256×256，512×512，每种面积又包含三种长宽比，即1:1，1:2，2:1；对于RPN输出的特征图中的每一个点，一个1×1的卷积层输出了18个值，每一个点对应9个anchor，每个anchor有一个前景分数和一个背景分数；另一个1×1的卷积层输出了36个值，每一个点对应9个anchor，每个anchor对应了4个修正坐标的值；那么，要得到这些值，RPN网络需要训练；在训练的时候，就需要对应的标签；判定一个anchor是前景还是背景的定义如下：如果一个anchor与正确的标记数据ground truth的重叠度IoU在0.7以上，那这个anchor就算positive前景；如果这个anchor与ground truth的IoU在0.3以下，那么这个anchor就算negative背景；在进行RPN网络训练的时候，只使用了上述两类anchor，与ground truth的IoU介于0.3和0.7的anchor没有使用；在训练anchor属于前景与背景的时候，是在一张图中，随机抽取了128个前景anchor与128个背景anchor；
anchor边框修正的训练方法如下；边框修正由4个值完成，tx,ty,tw,th；tx,ty分别是修正后的框在anchor的x和y方向上做出平移，tw,th分别是长和宽各自放大的倍数；采用SmoothL1loss进行训练，具体描述为比较预测平移缩放参数
和真实平移缩放参数v＝(vx,vy,vw,vh)的差别：
只对前景anchors进行anchor包围框修正的参数训练；因此，在训练RPN的时候，只有对128个随机抽取的positive anchors有这一步训练，训练RPN的损失函数可以写成：
其中λ被设置为10，Ncls为256为训练批次的大小，Nreg为2400为anchor的数量；如此设置RPN的两部分loss值能保持平衡；pi为anchor预测为目标的概率，ti＝{tx,ty,tw,th}是一个向量，表示预测的bounding box的4个参数化目标，
是与positive anchor对应的groundtruth包围的坐标向量；
是回归损失，用
计算，其中R是SmoothL1函数，式(2)中的
就是(1)式中的Lloc(tu,v)；Lcls是目标和非目标的对数损失；
2.5构建ROIAlign层；
对从共享卷积层和RPN网络得到的feature maps上感兴趣区域ROI被划分后的各网格区域选取固定数目的等间隔采样点，根据采样点邻近特征值利用双线性插值计算采样点的特征值，然后对采样点的特征值进行池化操作；
ROIAlign后有两个分支，第一个分支是利用之前检测到的ROI Bounding Box进行分类和回归；第二个分支则是掩膜mask的预测，通过全卷积神经网络FCN来进行对ROI进行语义分割，对于预测的二值掩膜mask输出，对每个像素点应用sigmoid函数；
sigmoid函数定义如下：
2.6添加MaskIoU head；
在现在框架的基础上添加了一个MaskIoU head分支学习IoU，不再去学习一个mask的分类得分，而是直接用物体的分类得分，然后将分类得分和学习到的IoU相乘，将这个得分作为mask的得分，综合分类得分与mask的质量得分评估算法；
MaskIoU head同时接收蒙版head的输出与ROI的特征作为输入，用一种简单的回归损失进行训练，来计算预测的Mask和ground truth mask的IoU分数；
根据分类得分和iou分数来计算最后的mask score，如果分类得分高，但mask iou分数低，则会惩罚最后得到的mask score；mask score计算如下：
Smask＝Scls*Siou (4)
其中Scls是物体的分类得分，Siou是Mask和ground truth mask的IoU分数；
步骤3)肺部医学图像病变组织识别；
向步骤2)中构建好的MaskScoring R-CNN网络，输入待检测的肺部CT影像，网络输出得到识别之后的图像，框出并掩膜mask识别到的病变组织，并标注出病变的类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910698605.5A CN110599448B (zh) | 2019-07-31 | 2019-07-31 | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910698605.5A CN110599448B (zh) | 2019-07-31 | 2019-07-31 | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110599448A CN110599448A (zh) | 2019-12-20 |
| CN110599448B true CN110599448B (zh) | 2022-03-15 |
Family
ID=68853123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910698605.5A Active CN110599448B (zh) | 2019-07-31 | 2019-07-31 | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110599448B (zh) |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127431A (zh) * | 2019-12-24 | 2020-05-08 | 杭州求是创新健康科技有限公司 | 一种基于区域自适应多任务神经网络的干眼症分级评估系统 |
| CN111147862B (zh) * | 2020-01-03 | 2021-02-23 | 南京大学 | 一种基于目标编码的端到端图像压缩方法 |
| CN111325739B (zh) * | 2020-02-28 | 2020-12-29 | 推想医疗科技股份有限公司 | 肺部病灶检测的方法及装置，和图像检测模型的训练方法 |
| CN111402214A (zh) * | 2020-03-07 | 2020-07-10 | 西南交通大学 | 基于神经网络的接触网吊弦载流环断裂缺陷自动检测方法 |
| CN111415743B (zh) * | 2020-03-17 | 2021-07-09 | 推想医疗科技股份有限公司 | 肺炎分类方法、装置、介质及电子设备 |
| CN111415356B (zh) * | 2020-03-17 | 2020-12-29 | 推想医疗科技股份有限公司 | 肺炎征象的分割方法、装置、介质及电子设备 |
| CN111401293B (zh) * | 2020-03-25 | 2022-06-24 | 东华大学 | 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法 |
| CN111582328A (zh) * | 2020-04-22 | 2020-08-25 | 北方民族大学 | 一种基于肺部ct影像的covid-19分类识别方法 |
| CN111612747B (zh) * | 2020-04-30 | 2023-10-20 | 湖北煌朝智能自动化装备有限公司 | 产品表面裂缝快速检测方法及检测系统 |
| CN111667469B (zh) * | 2020-06-03 | 2023-10-31 | 北京小白世纪网络科技有限公司 | 肺部疾病分类方法、装置及设备 |
| CN111797737A (zh) * | 2020-06-22 | 2020-10-20 | 重庆高新区飞马创新研究院 | 遥感目标检测方法及装置 |
| CN111862044B (zh) * | 2020-07-21 | 2024-06-18 | 深圳蓝湘智影科技有限公司 | 超声图像处理方法、装置、计算机设备和存储介质 |
| CN111862075A (zh) * | 2020-07-30 | 2020-10-30 | 西南医科大学 | 一种基于深度学习的肺部图像分析系统及其分析方法 |
| CN112102232B (zh) * | 2020-07-31 | 2021-11-02 | 深圳大学 | 一种诱导多能干细胞菌落质量自动评估方法及装置 |
| CN111916206B (zh) * | 2020-08-04 | 2023-12-08 | 重庆大学 | 一种基于级联的ct影像辅助诊断系统 |
| CN112069995B (zh) * | 2020-09-04 | 2024-02-27 | 西安西图之光智能科技有限公司 | 一种深度域人脸稠密特征提取方法、系统和存储介质 |
| CN112308822B (zh) * | 2020-10-10 | 2024-07-09 | 杭州电子科技大学 | 基于深度卷积神经网络的椎间盘ct图像检测方法 |
| CN112258461B (zh) * | 2020-10-13 | 2024-04-09 | 江南大学 | 一种基于卷积神经网络的肺结节检测方法 |
| CN112288694B (zh) * | 2020-10-19 | 2022-10-04 | 武汉大学 | 基于掩膜区域卷积神经网络的变电设备缺陷识别的方法 |
| CN112241766B (zh) * | 2020-10-27 | 2023-04-18 | 西安电子科技大学 | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 |
| US11675876B2 (en) | 2020-10-28 | 2023-06-13 | International Business Machines Corporation | Training robust machine learning models |
| CN112396620A (zh) * | 2020-11-17 | 2021-02-23 | 齐鲁工业大学 | 一种基于多阈值的图像语义分割方法及系统 |
| CN112598683B (zh) * | 2020-12-27 | 2024-04-02 | 北京化工大学 | 一种基于扫频光学相干层析成像的扫频oct人眼图像分割方法 |
| CN112734749A (zh) * | 2021-01-11 | 2021-04-30 | 四川大学华西医院 | 一种基于卷积神经网络模型的声带白斑辅助诊断系统 |
| CN112927109B (zh) * | 2021-01-22 | 2023-09-26 | 华南理工大学 | 一种智能辅助实践实训课程类别的教学系统 |
| CN112819819A (zh) * | 2021-02-26 | 2021-05-18 | 泰康保险集团股份有限公司 | 基于深度学习的尘肺分级方法、装置、介质及设备 |
| CN113052799A (zh) * | 2021-03-09 | 2021-06-29 | 重庆大学 | 一种基于Mask RCNN网络的骨肉瘤和骨软骨瘤预测方法 |
| CN113112559A (zh) * | 2021-04-07 | 2021-07-13 | 中国科学院深圳先进技术研究院 | 一种超声图像的分割方法、装置、终端设备和存储介质 |
| CN113239786B (zh) * | 2021-05-11 | 2022-09-30 | 重庆市地理信息和遥感应用中心 | 基于增强学习与特征变换的遥感图像乡村别墅识别方法 |
| CN113378812A (zh) * | 2021-05-21 | 2021-09-10 | 郑州大学 | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 |
| CN113269747B (zh) * | 2021-05-24 | 2023-06-13 | 浙江大学医学院附属第一医院 | 一种基于深度学习的病理图片肝癌扩散检测方法及系统 |
| CN113469950A (zh) * | 2021-06-08 | 2021-10-01 | 海南电网有限责任公司电力科学研究院 | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 |
| CN113674288B (zh) * | 2021-07-05 | 2024-02-02 | 华南理工大学 | 一种非小细胞肺癌数字病理图像组织自动分割方法 |
| CN113658199B (zh) * | 2021-09-02 | 2023-11-03 | 中国矿业大学 | 基于回归修正的染色体实例分割网络 |
| CN115082909B (zh) * | 2021-11-03 | 2024-04-12 | 中国人民解放军陆军军医大学第一附属医院 | 一种肺部病变识别方法及系统 |
| CN114092699B (zh) * | 2021-11-15 | 2024-08-09 | 南京理工大学 | 基于迁移学习的群猪图像分割的方法及系统 |
| CN114141339B (zh) * | 2022-01-26 | 2022-08-05 | 杭州未名信科科技有限公司 | 膜性肾病的病理图像分类方法、装置、设备及存储介质 |
| WO2023143625A1 (en) * | 2022-01-31 | 2023-08-03 | Conova Medical Technology Limited | Process and system for three-dimensional modelling of tissue of a subject, and surgical planning process and system |
| CN116309368B (zh) * | 2023-02-21 | 2023-11-14 | 北京透彻未来科技有限公司 | 一种基于深度迁移学习的肺癌病理诊断系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780448A (zh) * | 2016-12-05 | 2017-05-31 | 清华大学 | 一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法 |
| CN108281183A (zh) * | 2018-01-30 | 2018-07-13 | 重庆大学 | 基于卷积神经网络和迁移学习的宫颈涂片图像诊断系统 |
-
2019
- 2019-07-31 CN CN201910698605.5A patent/CN110599448B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780448A (zh) * | 2016-12-05 | 2017-05-31 | 清华大学 | 一种基于迁移学习与特征融合的超声甲状腺结节良恶性分类方法 |
| CN108281183A (zh) * | 2018-01-30 | 2018-07-13 | 重庆大学 | 基于卷积神经网络和迁移学习的宫颈涂片图像诊断系统 |
Non-Patent Citations (4)
| Title |
|---|
| Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks;Shaoqing Ren et al.;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20170630;第39卷(第6期);第1137-1149页 * |
| Feature Pyramid Networks for Object Detection;Tsung-Yi Lin et al.;《2017 IEEE Conference on Computer Vision and Pattern Recognition》;20171231;第936-944页 * |
| Mask R-CNN;Kaiming He et al.;《arXiv》;20180124;第1-12页 * |
| Mask Scoring R-CNN;Zhaojin Huang et al.;《arXiv》;20190301;第1-10页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110599448A (zh) | 2019-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| CN111985536B (zh) | 一种基于弱监督学习的胃镜病理图像分类方法 | |
| CN111325739B (zh) | 肺部病灶检测的方法及装置，和图像检测模型的训练方法 | |
| CN107610087B (zh) | 一种基于深度学习的舌苔自动分割方法 | |
| CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| US11514579B2 (en) | Deformable capsules for object detection | |
| CN111882560B (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
| Li et al. | Attention-guided convolutional neural network for detecting pneumonia on chest x-rays | |
| US20220198230A1 (en) | Auxiliary detection method and image recognition method for rib fractures based on deep learning | |
| CN108961229A (zh) | 基于深度学习的心血管oct影像易损失斑块检测方法及系统 | |
| CN110992377B (zh) | 图像分割方法、装置、计算机可读存储介质和设备 | |
| CN110827310A (zh) | Ct图像自动检测方法与系统 | |
| JP2023517058A (ja) | 画像処理に基づく腫瘍の自動検出 | |
| CN115082743B (zh) | 考虑肿瘤微环境的全视野数字病理图像分类系统及构建方法 | |
| CN111667459B (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
| Włodarczyk et al. | Spontaneous preterm birth prediction using convolutional neural networks | |
| CN114663426B (zh) | 一种基于关键骨区定位的骨龄评估方法 | |
| CN115063425B (zh) | 基于读片知识图谱的结构化检查所见生成方法及系统 | |
| CN113744183A (zh) | 肺结节检测方法及系统 | |
| CN115880266B (zh) | 一种基于深度学习的肠道息肉检测系统和方法 | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| Liu et al. | Extracting lungs from CT images via deep convolutional neural network based segmentation and two-pass contour refinement | |
| CN114693790B (zh) | 基于混合注意力机制的自动图像描述方法与系统 | |
| Kora et al. | Automatic segmentation of polyps using U-net from colonoscopy images | |
| Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |