CN112308822A - 基于深度卷积神经网络的椎间盘ct图像检测方法 - Google Patents
基于深度卷积神经网络的椎间盘ct图像检测方法 Download PDFInfo
- Publication number
- CN112308822A CN112308822A CN202011076847.XA CN202011076847A CN112308822A CN 112308822 A CN112308822 A CN 112308822A CN 202011076847 A CN202011076847 A CN 202011076847A CN 112308822 A CN112308822 A CN 112308822A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- convolutional neural
- intervertebral disc
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 34
- 208000003618 Intervertebral Disc Displacement Diseases 0.000 claims abstract description 29
- 206010050296 Intervertebral disc protrusion Diseases 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims abstract description 4
- 238000012795 verification Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims 1
- 238000012163 sequencing technique Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 13
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract description 2
- 208000004434 Calcinosis Diseases 0.000 description 7
- 230000002308 calcification Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 208000020307 Spinal disease Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- BHPQYMZQTOCNFJ-UHFFFAOYSA-N Calcium cation Chemical compound [Ca+2] BHPQYMZQTOCNFJ-UHFFFAOYSA-N 0.000 description 1
- 206010058907 Spinal deformity Diseases 0.000 description 1
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 229910001424 calcium ion Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度卷积神经网络的椎间盘CT图像检测方法。本发明包括如下步骤：步骤1、椎间盘突出图像预处理：步骤2、基于多骨干网络的特征提取器构建方法：步骤3、区域建议网络中锚框的参数调优：步骤4、基于卷积神经网络的图像检测模型训练。本发明从数据预处理，深度卷积神经网络结构到参数优化都经过精心设计，建立了一套完整的椎间盘突出定位和分类系统。相较于传统的图像检测算法，该方法基于深度学习技术，通过简单的端到端学习方式避免了去噪、白平衡、特征提取、特征选择等容易出错的过程，减少了人工干预，将对椎间盘突出是否合并钙化这一判断任务自动化智能化，并在检测的准确率上有较大提升。
Description
技术领域
本发明属于医学图像检测领域，具体涉及一种基于深度卷积神经网络的椎间盘CT图像检测方法。
背景技术
近些年来，人工智能和机器学习技术开始在临床医学领域崭露头角。不少脊柱外科研究者将其与脊柱畸形、脊柱退行性疾病等脊柱相关疾病的诊断和治疗相结合，以实现脊柱疾患的快速定位及准确诊断，突破传统人工操作的局限性。尽管人工智能与脊柱外科的交叉融合研究已经取得不少进展，但是涵盖范围不够全面，很多脊柱疾病的判断依然需要骨科专家的干预，耗时耗力。
针对椎间盘突出是否钙化的判断以往都是由经验丰富的骨科专家来完成，且基本上必须依靠脊柱CT平扫。而MRI影像学图片上进行椎间盘突出的判断要明显优于CT，但是对于是否合并钙化；判断则非常难以通过肉眼在MRI进行识别。因此，利用人工智能辅助骨科医生进行椎间盘突出合并钙化的诊断具有较大潜力，以往，较为常用的目标检测算法有以下几种：Viola Jones检测器：该算法采用滑动窗口，并结合积分图像、特征选择和检测级联三种重要技术；HOG检测器：通过计算图片某一区域中不同方向上梯度的值并进行累积，得到直方图来代表这块区域的特征；DPM：该算法遵循分而治之的思想，对某一对象的检测视作对该对象不同部件的检测集合，并应用了困难样本挖掘、边界框回归等重要技术来提高检测精度。
但是上述这些方法都依赖于复杂的手工特征，而且目标检测的准确率提升缓慢。近年来，随着深度学习技术在图像领域的快速发展，越来越多的图像分类、目标检测、目标识别等问题开始使用深度学习技术，通过多层非线性神经网络使得计算机可以自动从医学图像中学习到更深层次、更加抽象的特征，其识别检测精度相较于传统图像检测算法得到了显著提升。目前，越来越多的学者已经开始将深度学习技术应用于脊柱外科领域，并取得了较好的效果。
基于上述问题，本发明提出了一套完整的基于深度卷积神经网络的椎间盘CT图像检测方法。本发明基于两阶段的目标检测算法Faster R-CNN，先对图像的物体进行粗定位再精细调整，相对单阶段的检测算法准确率更高，能够大幅提高对椎间盘突出是否钙化的检测准确率，从而实现椎间盘突出检测智能化，对辅助医生临床诊断具有重要意义。
发明内容
本发明的目的是克服现有技术的不足，提供了一种基于深度卷积神经网络的椎间盘CT图像检测方法。本发明的技术方案如下：
步骤1、椎间盘突出图像预处理：
首先转化图像的数据类型，使用去噪、插值方法提高图像的分辨率，并对图像数量少于设定阈值的类别进行数据增强：通过对原始图像进行垂直或水平旋转、随机剪裁、缩放和旋转的技术来扩充椎间盘突出图像数据集；然后在数据集进行划分之后，对其中的图像进行标注和均值计算；
步骤2、基于多骨干网络的特征提取器构建方法：
利用不同结构的骨干网络从图像中提取出必要的特征信息，然后利用验证集对得到的不同结构的骨干网络进行评估，筛选出最佳的骨干网络；然后对最佳的骨干网络的结构进行调整，利用验证集进行准确率的比较以得到最优结构的骨干网络最优结构的骨干网络
步骤3、区域建议网络中锚框的参数调优：
基于椎间盘突出图像的尺寸和大小限定参数范围，对区域建议网络中的锚框的基本尺寸和大小取不同的数值，在验证集上进行网络性能的评估，得到最佳参数；
步骤4、基于卷积神经网络的图像检测模型训练：
基于步骤2和步骤3分别得到的最优结构的骨干网络和最佳锚框参数，利用训练集和验证集对深度卷积神经网络进行训练和调优；训练时采用非近似联合训练方式，即将区域建议生成网络和检测网络中分类和回归的损失相加，用于对共享的卷积神经网络进行更新；
进一步的，步骤1中所述的数据增强方法包括如下方法中的任一种或多种：
1)图像翻转：对正样本图像进行左右、上下翻转处理；
2)图像旋转：对图像旋转不同的角度处理；
3)图像像素改变：对图像不同通道的像素值进行适当改变处理；
4)图像添加噪声：对图像添加不同类型、不同程度的噪声处理；
5)图像高斯模糊：对图像进行不同程度的高斯模糊处理。
进一步的，步骤1中所述的图像标注方法为：
对医学图像中的椎间盘突出部分用边界框进行框定，并对每一个边界框添加类别标签，类别标签共分成三类：正常、突出无钙化、突出合并钙化。本发明使用在GitHub上开源的图像标注工具labelImg对医学图像进行标注，该工具在人工框定物体之后，会自动将图像原始信息以及标注信息(边框位置，物体类别等)整合生成XML文件。
进一步的，步骤1中在利用深度学习框架进行模型训练时，需要将医学图像本身的格式(如：BMP格式)转化为深度学习框架支持的格式(如PyTorch支持的JPG格式)，用于卷积神经网络的模型训练。
数据格式转换完成后，利用深度学习框架计算样本图像的均值，输出均值文件，用于后续模型训练中的去均值处理。图像减去均值后，再进行训练和测试，会提高模型训练的速度和检测精度。
步骤2中所述的多骨干网络的特征提取器构建方法，具体实现如下：
2-1.确定多个可用于作为骨干网络的卷积神经网络，并调整它们的结构使之能和目标检测网络的其余部分适配；
2-2.选择网络性能评价指标，并固定目标检测网络其余部分的参数；
2-3.使用训练集和验证集分别对基于各骨干网络的目标检测网络进行训练和优化；
2-4.使用测试集对目标检测网络进行最后的性能评估，选择其中最佳的骨干网络，对最佳骨干网络的卷积层和池化层作进一步调整，并在测试集上进行评估以确定最佳结构。
步骤3中所述的区域建议网络中锚框的参数调优算法,具体实现如下：
3-1.针对训练集中的所有样本，计算图像中已标注的边界框的尺寸和宽高比。
3-2.去除异常情况，统计尺寸和宽高比的具体范围。
3-3.对于得到的尺寸范围，以0.5为一个单位划分为多个层次；对于得到的宽高比范围，下边界向下取整，上边界向上取整，然后以1为一个单位划分为多个层次。
3-4.以3个连续的层次为一组，分别对宽高比和尺寸进行分组。
3-5.从宽高比层次和尺寸层次中各任取一组进行参数组合，作为区域建议网络中锚框的基本参数，在验证集上评估区域建议网络的性能并记录准确率，重复步骤3-5直到所有参数组合评估完毕；
3-6，从步骤3-5中选取网络准确率最高的一组参数组合作为最终锚框的参数。
本发明具有如下有益效果：
本发明提供了一种椎间盘突出的医学影像检测方法，从数据预处理，深度卷积神经网络结构到参数优化都经过精心设计，建立了一套完整的椎间盘突出定位和分类系统。相较于传统的图像检测算法，该方法基于深度学习技术，通过简单的端到端学习方式避免了去噪、白平衡、特征提取、特征选择等容易出错的过程，减少了人工干预，将对椎间盘突出是否合并钙化这一判断任务自动化智能化，并在检测的准确率上有较大提升。
附图说明
图1为基于深度卷积神经网络的椎间盘突出图像检测网络结构图。
图2为本发明使用的骨干网络结构图。
图3为区域建议网络结构图。
图4为检测网络结构图。
图5为椎间盘突出图像预处理流程图。
图6为基于多骨干网络的特征器构建方法流程图。
图7为区域建议网络中锚框的参数调优算法流程图。
具体实施方式
下面结合附图对本发明进行进一步说明。
随着腰椎间盘突出时间增长，椎间盘局部突起、缺血、血液循环较差、钙离子沉积，进而出现局部的钙化，即本来是较软的椎间盘，最终变得比较硬，类似于骨质，被称为腰椎间盘突出合并钙化。根据患病程度，可以将椎间盘在突出上的表现划分为3类：正常、突出以及突出合并钙化。因为椎间盘突出患者的医学影像较难获取，而且标注难度较大，不能完全满足训练模型，因此需要在现有的数据基础上进行数据增强，能在一定程度上提高模型的准确率。
本发明提出的基于深度学习卷积神经网络的椎间盘突出图像检测方法，其包括如下步骤：
步骤1、椎间盘突出图像预处理：
首先转化图像的数据类型，使用去噪、插值等方法提高图像的分辨率，并对图像数量相对较少的类别进行数据增强：通过对原始图像进行垂直或水平旋转，随机剪裁，缩放和旋转等技术来扩充椎间盘突出数据集。然后在数据集进行划分之后，对其中的图像进行标注和均值计算。
步骤2、基于多骨干网络的特征提取器构建方法：
固定检测算法其余部分的参数，利用不同结构的骨干网络从图像中提取出必要的特征信息，然后利用验证集对得到的模型进行评估，筛选出最佳的骨干网络。然后对骨干网络的结构进行调整，利用验证集进行准确率的比较以得到最优结构。
步骤3、区域建议网络中锚框的参数调优算法
基于椎间盘突出的尺寸和大小限定参数范围，对区域建议网络中的锚框(Anchor)的基本尺寸和大小取不同的数值，在验证集上进行网络性能的评估，得到最佳参数。
步骤4、基于卷积神经网络的图像检测模型训练方法：
基于步骤2和步骤3得到的骨干网络和锚框的参数，利用训练集和验证集对深度卷积神经网络进行训练和调优。训练时采用非近似联合训练方式，即将区域建议生成网络和检测网络(RoIHead)中分类和回归的损失相加，用于对共享的卷积神经网络进行更新。
实施例1
图1为本发明提出的基于深度卷积神经网络的椎间盘突出图像检测网络结构图。本发明使用的目标检测算法以Faster R-CNN为基础，整个网络可以大致划分为三部分：
第一部分为骨干网络，本发明的骨干网络最终确定以VGG16为基础，如图2所示。VGG16将卷积部分划分为5个模块，前两个模块包含2个3×3的卷积层，后三个模块包含3个3×3的卷积层，并且在每个卷积模块之后连接了一个最大值池化层。卷积操作通过在每一层的局部接受域内将空间信息和通道信息融合来构造信息特征，它可以很好地用于图像特征提取和抽象。
在深度学习中，感受野(Receptive Field)指的是卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小。如果这个区域中的像素发生变化，那么特征图上对应的像素点也会发生变化。对于输入到VGG16中的图像，在经过5个卷积模块(不包括最后的池化层)之后，得到的特征图上的每一个像素点的感受野为228，即对应原始图像一个228×228的区域。同时，因为每经过一个最大值池化层，特征图的尺寸就缩小为原来的一半，所以最后得到的特征图尺寸为原来的1/16。随着卷积神经网络层数的加深，特征的层次也越来越高级。
第二部分为区域建议网络(Region Proposal Network,RPN)，如图3所示。RPN本质上是一个全卷积网络(Fully ConvolutionNetwork,FCN)，它可以接受任意尺寸的图片作为输入，最终生成一系列高质量的矩形候选框以及相应的概率。Faster R-CNN直接使用RPN生成建议区域((Region ofInterests，RoIs)，和后续的RoIHead网络共享经由骨干网络卷积得到的特征图，能极大提升候选框的生成速度。
Faster R-CNN主要是基于非极大抑制(Non-Maximum Suppression，NMS)算法来从锚框中筛选出RoIs。NMS是计算机视觉中非常重要的一个算法，在目标检测，目标跟踪等领域都广泛应用。
非极大抑制算法本质上是一个寻找局部最优解的过程。在目标检测算法FasterR-CNN中，滑动窗口在卷积层输出的特征图上移动得到候选框，每个候选框都有可能和实际边框有重叠部分，但是一般只需要与实际边框最为接近的那个，其他的候选框都是多余的，选择的任务就交由NMS来完成。首先，选取一张图像的所有候选框中包含预检测物体概率最大的那一个，记为box_best并保留。然后计算box_best与其余候选框的IoU，并设置一个阈值。如果IOU大于该阈值，表明这两个候选框是属于同一物体的，因为针对同个目标的候选框只需要保留一个，所以概率小的就没有必要保留了。
RPN生成RoIs的工作过程如下：
在RPN生成20000个锚框并计算其属于前景的概率之后，按照概率对锚框进行排序，提取前12000个锚框。
利用回归的位置参数，修正这12000个锚框的位置，得到RoIs。
利用非极大抑制算法，进一步选出和实际边框最为接近的2000个RoIs。
第三部分为RoIHead，其结构如图4所示。RPN只是给出了2000个RoIs，RoIHead在其基础上继续进行分类和位置参数的回归。
对于传统的卷积神经网络(如AlexNet和VGG)，当网络构建好之后输入的图像尺寸必须是固定值，同时网络输出也是固定大小的向量或者矩阵。如果输入的图像尺寸是不确定的，那么就会带来麻烦。比如全连接层的神经元个数是固定的，其参数是神经元对于所有输入的连接权重，如果输入的向量长度不固定，那么全连接层参数的个数都不能确定。以往针对这个问题一般有两种解决方案：
对原始图像进行裁剪，裁剪出符合网络输入要求的尺寸。这种方式的弊端在于，裁剪出来的图像很可能只包含了一部分预检测物体，容易破坏图像的完整结构。
对原始图像进行变形，变形为符合网络输入要求的尺寸。这种方式的弊端在于，对原始图像进行变形会改变图像的纵横比和尺寸，破坏待检测物体的形状信息。
RPN在生成RoIs的过程中会使用边界框回归，那么就会使得RoIs的具体形状和大小是难以确定的，也就无法统一地输入到后续的神经网络里。有学者提出了空间金字塔池化层(Spatial Pyramid Pooling,SPP)，将卷积而来的特征图变换为不同的尺寸，每个尺寸提取一个固定维度的特征，最后拼接经过最大值池化之后得到一个固定尺寸的输出，从而保证网络可以被传入任意尺寸的图片，解除网络对输入尺寸的限制。Faster R-CNN借鉴了这种思路，使用RoI Pooling完成特征图尺寸的变换。
RoI Pooling是一种特殊的池化操作，主要有三个参数：pooled_w，poooled_h以及spatial_scale。RoI Pooling的具体操作如下：
(1)因为RoIs是和原图同一尺度的，所以需要使用spatial_scale参数将其映射到(H/spatial_scale)×(W/spatial_scale)特征图上。映射方式是把原始ROI的左上角和右下角映射到特征图上的两个对应点，有了两个角点就可以确定对应的区域。
(2)将每个RoIs对应的特征图区域划分为pooled_w×pooled_h的网格，pooled_w×pooled_h即为想要的固定尺寸。
(3)对每一个网格区域都进行最大值池化，再将每个区域的特征组合作为最终输出。
这样处理之后，即使是大小不同的候选框输出尺寸都是固定的大小，实现了固定长度输出。ProposalTargetCreator是位于RPN和RoIHead之间的过渡网络，主要功能是对RoIs进行评估和筛选。RPN给出的2000个RoI并非全部用于训练，我们首先利用ProposalTargetCreator从中挑选出128个作为RoIHead的输入，然后使用RoI Pooling将这些不同尺寸的区域全部下采样到统一的尺度，一般为7×7，通道数为512。
实施例2
在本发明的实验过程中，构建了自己的椎间盘医学影像数据集作为研究的基础。所有椎间盘的横断面图像均来自于当地的医院。该数据集中的影像一共分为3个类别，分别是正常，突出无钙化(软性椎间盘突出)和突出钙化(硬性椎间盘突出)。
医学影像的数据类型往往不能直接应用于深度学习框架进行模型训练，需要将图像(如：CT图像的BMP格式)转换为深度学习框架支持的数据格式(如：PyTorch框架支持的JPG格式)，用于卷积神经网络的模型训练。
为了提高算法的性能，同时满足深度神经网络对大量数据的要求，数据增强(DataAugmentation)是一种重要的手段。由于椎间盘突出图像的难以采集，因此不同类别的图像数量有很大的差异。如果不平衡每个类别之间的图像数量，则具有大量图像的类别可能会出现过拟合现象，并且具有少量图像的类别可能会出现欠拟合现象。因此，应该在每个类别之间平衡图像样本的数量。
然后将整个数据集按照6:2:2的比例划分为训练集、验证集和测试集，训练集用于网络的训练，学习图像中的特征，验证集用于评估当前模型性能并进行参数调整，最后利用测试集评估最优模型的性能。
在数据集划分完成之后，需要利用深度学习框架计算样本图像的均值，用于后续模型训练中的去均值处理。图像减去均值后，再进行训练和测试，会提高模型训练的速度和检测精度。
另外，相对于图像分类任务，目标检测更加复杂。分类任务关心整体，给出的是整张图片的内容描述。而目标检测任务需要关注特定的物体目标，要求同时获得这一目标的类别信息和位置信息。它给出的是对图片前景和背景的理解，需要从背景中分离出感兴趣的目标，并确定这一目标的描述(类别和位置)，用边框将感兴趣的物体标注出来。因此在训练模型之前，需要对图像进行人工标注。本发明使用在GitHub上开源的图像标注工具labelImg对医学图像进行标注，该工具在人工框定物体之后，会自动将图像原始信息以及标注信息(边框位置，物体类别等)整合生成XML文件，整个流程如图5所示。
实施例3
通常为了实现从图像中检测目标的位置和类别，我们会先从图像中提取出些必要的特征信息，比如HOG特征，然后利用这些特征去实现定位和分类。卷积神经网络非常善于从原始数据中学习复杂的特征结构，具有代表性的有VGGNet、ResNet、DenseNet、Xception等。起初这些网络只是用来实现图像分类，随着迁移学习思想的普及，考虑到目标检测和图像分类两个任务具有一定的相似性，我们可以将上述网络作为目标检测的特征提取器，即称为骨干网络(BackBone)。
然而不同拓扑结构的骨干网络所能取得的效果不同，如果将整个目标检测网络视作网路，数据在其中流动，一般网络带宽由整个网络带宽最小的地方决定，检测网络的表达能力也是如此。如果骨干网络的表达能力很弱，而检测网络(如Faster R-CNN的ROIHead)的表达能力很强，那么整体检测网络的性能就会被骨干网络所限制。所以只有当骨干网络和检测网络带宽相匹配时，才能最大化整个网络的表达能力。
本发明尝试使用了多种卷积神经网络作为骨干网络，以目标检测算法性能评估中常用的mAP(meanAverage Precision)作为评价指标。椎间盘原始图像为JPG格式，尺寸为512×512像素，对于每张图片首先需要进行图片的缩放，使得图像的长边不超过1000像素，短边不超过600像素。另外，对相应的边界框也需要进行同等尺度的缩放。初始学习率设置为0.0001，但是在训练过程学习率并不是固定的，在观察到当前模型的mAP提升缓慢时，我们按照一定倍率的速度进行学习率的衰减，直至模型收敛。整个流程如图6所示。
最终在测试集上进行性能评估，VGG16在所有已测试骨干网络中性能最佳，因此本发明使用VGG16作为特征提取器。但是并非将整个VGG16网络都用来进行特征提取，还需要对其进行一些调整。
在卷积神经网络中，其核心操作就是卷积操作。卷积操作的两大特性是局部连接和权值共享，它通过在每一层的局部接受域内将空间信息和通道信息融合来构造信息特征，它可以很好地用于图像特征提取和抽象。VGG16将卷积部分划分为5个模块，前两个模块包含2个3×3的卷积层，后三个模块包含3个3×3的卷积层，并且在每个卷积模块之后连接了一个最大值池化层。在测试集上进行性能评估之后，我们仅保留它的卷积部分，同时删除第5个卷积模块之后的池化层，因此总共使用13个卷积层和4个池化层。
实施例4
锚框(anchor)是以待检测位置为中心，以指定的大小和宽高比构成的一组候选框。锚框是区域建议网络(Region Proposal Network，RPN)的重要思想，对得到合适尺寸和宽高比的候选框来框定目标至关重要。在Faster R-CNN里，一共有三个参数和锚框的生成相关，分别是scale、ratio和base size，下面对三个参数分别作介绍：
(1)base size:指特征图上的点都对应于原图大小为base size×base size的区域。因为原始图像在VGG16中经过多次下采样之后，宽和高均缩小为原来的1/16，所以与之对应的base size一般设置为16，意为特征图上的每个点都对应于原图大小为16×16的区域。
(2)ratio：图像的宽高比。在保证锚框面积不变的前提下，将锚框的宽高比按照radio进行变换。
(3)scale：该参数在base size的基础上，将锚框的区域成倍地放大。假如scale为8，那么将锚框的宽和高都放大为原来的8倍。
如果将radio和scale进行组合，可以得到多种不同大小和形状的锚框，因此实际上锚框融合了多尺度检测的思想。假设骨干网络输出特征图的宽度为W，宽度为H，在每个待检测的位置生成的锚框数目为K。根据滑动窗口算法的思想，RPN在骨干网络所提供特征图的基础之上用K种锚框在特征图上进行滑动，因此特征图上的每个位置都会生成K个锚框，那么生成的总锚框数量是H×W×K个。
为了对医学影像中椎间盘突出设置更好的基础锚框，需要针对训练集中的所有样本事先标注的边界框进行统计分析，如图7所示。具体步骤如下：
(1)对生成的XML文件进行分析，提取边界框的相关信息，计算图像中已标注的边界框的尺寸和宽高比。
(2)去除边界框中异常情况，统计尺寸和宽高比的一般范围。
(3)对于得到的尺寸范围，以0.5为一个单位划分为多个层次；对于得到的宽高比范围，下边界向下取整，上边界向上取整，然后以1为一个单位划分为多个层次。
(4)以3个连续的层次为一组，分别对宽高比和尺寸进行分组。
(5)各从宽高比和尺寸中任取一组进行参数的组合作为区域建议网络中锚框的基本参数，在验证集上评估网络的性能并记录准确率，重复这一步骤直到所有参数组合评估完毕。
(6)从步骤5)中选取网络准确率最高的一组作为最终锚框的参数。
实施例4
Faster R-CNN中包含有RPN和RoIHead两个网络，这两个网络共享卷积网络的计算，因此如何进行反向传播对网络进行参数的更新是一个问题。基于这一点有三种不同的训练方案：
交替训练：首先用在ImageNet上预训练过的模型参数初始化骨干网络，然后训练RPN，再将RPN生成的RoIs输入给RoIHead供其训练。之后用RoIHead训练出的参数来初始化网络，再次训练RPN。这是一个交替训练的过程，共交替两次。
近似联合训练：在这个方案里，RPN和RoIHead在训练过程中融合为一个网络。在每次训练RoIHead时，RPN提供的候选框不会因为在前向传播过程中更新参数，也就是说参数被固定了。在反向传播阶段，RPN和RoIHead的损失结合在一起来对共享卷积网络进行参数的更新。这种方式相较于交替训练方案减少了25％-50％的时间。
非近似联合训练。因为RPN和RoIHead对边界框的预测都和输入是有关联的，因此理论上反向传播算法应该更新边界框回归的参数，因此将RPN和RoIHead中分类和回归的损失都加到了一起进行训练，速度会更快。
在本发明中，我们采用第三种方式训练网络。
Claims (5)
1.基于深度卷积神经网络的椎间盘CT图像检测方法，其特征在于包括如下步骤：
步骤1、椎间盘突出图像预处理：
首先转化图像的数据类型，使用去噪、插值方法提高图像的分辨率，并对图像数量少于设定阈值的类别进行数据增强：通过对原始图像进行垂直或水平旋转、随机剪裁、缩放和旋转的技术来扩充椎间盘突出图像数据集；然后在数据集进行划分之后，对其中的图像进行标注和均值计算；
步骤2、基于多骨干网络的特征提取器构建方法：
利用不同结构的骨干网络从图像中提取出必要的特征信息，然后利用验证集对得到的不同结构的骨干网络进行评估，筛选出最佳的骨干网络；然后对最佳的骨干网络的结构进行调整，利用验证集进行准确率的比较以得到最优结构的骨干网络最优结构的骨干网络
步骤3、区域建议网络中锚框的参数调优：
基于椎间盘突出图像的尺寸和大小限定参数范围，对区域建议网络中的锚框的基本尺寸和大小取不同的数值，在验证集上进行网络性能的评估，得到最佳参数；
步骤4、基于卷积神经网络的图像检测模型训练：
基于步骤2和步骤3分别得到的最优结构的骨干网络和最佳锚框参数，利用训练集和验证集对深度卷积神经网络进行训练和调优；训练时采用非近似联合训练方式，即将区域建议生成网络和检测网络中分类和回归的损失相加，用于对共享的卷积神经网络进行更新。
2.根据权利要求1所述的基于深度卷积神经网络的椎间盘CT图像检测方法，其特征在于步骤2所述的基于多骨干网络的特征提取器构建方法，具体实现如下：
2-1.确定多个可用于作为骨干网络的卷积神经网络，并调整它们的结构使之能和目标检测网络的其余部分适配；
2-2.选择网络性能评价指标，并固定目标检测网络其余部分的参数；
2-3.使用训练集和验证集分别对基于各骨干网络的目标检测网络进行训练和优化；
2-4.使用测试集对目标检测网络进行最后的性能评估，选择其中最佳的骨干网络，对最佳骨干网络的卷积层和池化层作进一步调整，并在测试集上进行评估以确定最佳结构。
3.根据权利要求2所述的基于深度卷积神经网络的椎间盘CT图像检测方法，其特征在于步骤3所述的基于区域建议网络中锚框的参数调优，具体实现如下：
3-1.针对训练集中的所有样本，计算图像中已标注的边界框的尺寸和宽高比；
3-2.去除异常情况，统计尺寸和宽高比的具体范围；
3-3.对于得到的尺寸范围，以0.5为一个单位划分为多个层次；对于得到的宽高比范围，下边界向下取整，上边界向上取整，然后以1为一个单位划分为多个层次；
3-4.以3个连续的层次为一组，分别对宽高比和尺寸进行分组；
3-5.从宽高比层次和尺寸层次中各任取一组进行参数组合，作为区域建议网络中锚框的基本参数，在验证集上评估区域建议网络的性能并记录准确率，重复步骤3-5直到所有参数组合评估完毕；
3-6.从步骤3-4中选取准确率最高的一组作为最终锚框的参数。
4.根据权利要求2或3所述的基于深度卷积神经网络的椎间盘CT图像检测方法，其特征在于目标检测网络以Faster R-CNN为基础，整个网络划分为三部分：
第一部分为骨干网络，以VGG16为基础，VGG16将卷积部分划分为5个模块，前两个模块包含2个3×3的卷积层，后三个模块包含3个3×3的卷积层，并且在每个卷积模块之后连接了一个最大值池化层；
第二部分为区域建议网络，是一个全卷积网络，可以接受任意尺寸的图片作为输入，最终生成一系列高质量的矩形候选框以及相应的概率；Faster R-CNN直接使用区域建议网络RPN生成建议区域和后续的RoIHead网络共享经由骨干网络卷积得到的特征图，能极大提升候选框的生成速度；
Faster R-CNN是基于非极大抑制算法来从锚框中筛选出RoIs；
第三部分为RoIHead，ProposalTargetCreator是位于RPN和RoIHead之间的过渡网络，主要功能是对RoIs进行评估和筛选；RPN给出的所有RoI并非全部用于训练；首先利用ProposalTargetCreator从中挑选出部分RoI为RoIHead的输入，然后使用RoI Pooling将这些不同尺寸的区域全部下采样到统一的尺度。
5.根据权利要求4所述的基于深度卷积神经网络的椎间盘CT图像检测方法，其特征在于RPN生成RoIs的工作过程如下：
在RPN生成20N个锚框并计算其属于前景的概率之后，按照概率对锚框进行排序，提取前12N个锚框；
利用回归的位置参数，修正这12N个锚框的位置，得到RoIs；
利用非极大抑制算法，进一步选出和实际边框最为接近的2N个RoIs。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011076847.XA CN112308822A (zh) | 2020-10-10 | 2020-10-10 | 基于深度卷积神经网络的椎间盘ct图像检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011076847.XA CN112308822A (zh) | 2020-10-10 | 2020-10-10 | 基于深度卷积神经网络的椎间盘ct图像检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112308822A true CN112308822A (zh) | 2021-02-02 |
Family
ID=74489485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011076847.XA Pending CN112308822A (zh) | 2020-10-10 | 2020-10-10 | 基于深度卷积神经网络的椎间盘ct图像检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112308822A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076972A (zh) * | 2021-03-04 | 2021-07-06 | 山东师范大学 | 一种基于深度学习的两阶段Logo图像检测方法及系统 |
| CN113517056A (zh) * | 2021-06-18 | 2021-10-19 | 安徽医科大学 | 医学图像目标区域的识别方法、神经网络模型及应用 |
| CN113792876A (zh) * | 2021-09-16 | 2021-12-14 | 北京百度网讯科技有限公司 | 骨干网络的生成方法、装置、设备以及存储介质 |
| CN114494192A (zh) * | 2022-01-26 | 2022-05-13 | 西南交通大学 | 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法 |
| CN117939098A (zh) * | 2024-03-22 | 2024-04-26 | 徐州稻源龙芯电子科技有限公司 | 一种基于卷积神经网络的图像自动白平衡处理方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599939A (zh) * | 2016-12-30 | 2017-04-26 | 深圳市唯特视科技有限公司 | 一种基于区域卷积神经网络的实时目标检测方法 |
| CN108509839A (zh) * | 2018-02-02 | 2018-09-07 | 东华大学 | 一种基于区域卷积神经网络高效的手势检测识别方法 |
| CN110991435A (zh) * | 2019-11-27 | 2020-04-10 | 南京邮电大学 | 一种基于深度学习的快递运单关键信息定位方法和装置 |
-
2020
- 2020-10-10 CN CN202011076847.XA patent/CN112308822A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599939A (zh) * | 2016-12-30 | 2017-04-26 | 深圳市唯特视科技有限公司 | 一种基于区域卷积神经网络的实时目标检测方法 |
| CN108509839A (zh) * | 2018-02-02 | 2018-09-07 | 东华大学 | 一种基于区域卷积神经网络高效的手势检测识别方法 |
| CN110991435A (zh) * | 2019-11-27 | 2020-04-10 | 南京邮电大学 | 一种基于深度学习的快递运单关键信息定位方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| GANG SHA等: "Detection of Spinal Fracture Lesions Based on Improved Faster-RCNN", 《2020 IEEE INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND INFORMATION SYSTEMS (ICAIIS)》, pages 29 - 32 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076972A (zh) * | 2021-03-04 | 2021-07-06 | 山东师范大学 | 一种基于深度学习的两阶段Logo图像检测方法及系统 |
| CN113517056A (zh) * | 2021-06-18 | 2021-10-19 | 安徽医科大学 | 医学图像目标区域的识别方法、神经网络模型及应用 |
| CN113517056B (zh) * | 2021-06-18 | 2023-09-19 | 安徽医科大学 | 医学图像目标区域的识别方法、神经网络模型及应用 |
| CN113792876A (zh) * | 2021-09-16 | 2021-12-14 | 北京百度网讯科技有限公司 | 骨干网络的生成方法、装置、设备以及存储介质 |
| CN113792876B (zh) * | 2021-09-16 | 2023-08-29 | 北京百度网讯科技有限公司 | 骨干网络的生成方法、装置、设备以及存储介质 |
| US11929871B2 (en) | 2021-09-16 | 2024-03-12 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for generating backbone network, apparatus for generating backbone network, device, and storage medium |
| CN114494192A (zh) * | 2022-01-26 | 2022-05-13 | 西南交通大学 | 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法 |
| CN117939098A (zh) * | 2024-03-22 | 2024-04-26 | 徐州稻源龙芯电子科技有限公司 | 一种基于卷积神经网络的图像自动白平衡处理方法 |
| CN117939098B (zh) * | 2024-03-22 | 2024-05-28 | 徐州稻源龙芯电子科技有限公司 | 一种基于卷积神经网络的图像自动白平衡处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112308822A (zh) | 基于深度卷积神经网络的椎间盘ct图像检测方法 | |
| CN111797716B (zh) | 一种基于Siamese网络的单目标跟踪方法 | |
| CN108830326B (zh) | 一种mri图像的自动分割方法及装置 | |
| CN111445478B (zh) | 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法 | |
| Lin et al. | Automatic retinal vessel segmentation via deeply supervised and smoothly regularized network | |
| CN112184617B (zh) | 一种基于深度学习的脊椎mri影像关键点检测方法 | |
| US9330336B2 (en) | Systems, methods, and media for on-line boosting of a classifier | |
| CN109685768A (zh) | 基于肺部ct序列的肺结节自动检测方法及系统 | |
| CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN111161287A (zh) | 基于对称双向级联网络深度学习的视网膜血管分割方法 | |
| CN108305253A (zh) | 一种基于多倍率深度学习的病理全切片诊断方法 | |
| Rajathi et al. | Varicose ulcer (C6) wound image tissue classification using multidimensional convolutional neural networks | |
| CN110543912A (zh) | 自动获取胎儿关键切面超声视频中心动周期视频的方法 | |
| CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
| CN112102282A (zh) | 一种基于Mask RCNN的医学图像中不同节数腰椎的自动识别方法 | |
| CN110648331A (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| CN111383222A (zh) | 一种基于深度学习的椎间盘mri图像智能诊断系统 | |
| CN113643297B (zh) | 一种基于神经网络的计算机辅助牙龄分析方法 | |
| CN112927215A (zh) | 一种消化道活检病理切片自动分析方法 | |
| CN112488165A (zh) | 一种基于深度学习模型的红外行人识别方法及系统 | |
| CN110728660B (zh) | 基于缺血性脑卒中mri检测标记进行病灶分割的方法及装置 | |
| CN115880266B (zh) | 一种基于深度学习的肠道息肉检测系统和方法 | |
| CN110580702A (zh) | 一种用于腹主动脉瘤边界分割的方法 | |
| KR20210017429A (ko) | 시신경 유두 분류 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |