CN109886307A - 一种基于卷积神经网络的图像检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的图像检测方法及系统，包括以下步骤：采集获取预设数量的标注好的样本图像，预处理后获得去噪后的带标注的目标区域图像；将每个带标注的目标区域图像进行特征提取，获得每个带标注的目标区域的3D特征矩阵；用获得的所有3D特征矩阵对3D卷积神经网络弱实体检测模型进行训练，获得训练好的3D卷积神经网络弱实体检测模型；将待检测图片进行预处理和特征提取，获得待检测图片的3D特征矩阵，将待检测图片的3D特征矩阵输入训练好的3D卷积神经网络弱实体检测模型中，输出待检测图片的检测结果。本发明能够更加精确和快速的完成弱实体目标检测。

Description

一种基于卷积神经网络的图像检测方法及系统

技术领域

本发明属于图像检测技术领域，特别涉及一种基于卷积神经网络的图像检测方法及系统。

背景技术

目标检测任务是图像处理任务中极为重要的组成部分。现在主要分为人为检测和算法检测两类。人为检测费时费力，且效率和精确度都相对较低。算法检测中：一种方法是利用2D的图像信息进行独立的预测，但是会缺失很多关于图像序列之间的关系信息，从而导致预测的精度较低；另一种方法是单一地使用3D网络结构进行预测，其在自然图像的简单目标检测任务中能够取得较好的效果，但是在针对特征不明显且尺寸相对较小的弱实体的检测过程总，检测效率和精确度依然较低；例如，在检测肺部CT影像的肺结节过程中，现有的检测方法均不能达到较好的效果，难点之一在于结节的判断容易和其他血管的影像混淆。

在自然图片中，人可以很明显地发现物体的位置以及类别，但是在影像中图像的特征就不是特别明显，而且形状不规则和体积较小，往往需要很长时间仔细的检查或者多名领域专家共同决断。相对于自然图片中的物体，我们将后者称之为弱实体。

综上，亟需一种新型的图像检测方法。

发明内容

本发明的目的在于提供一种基于卷积神经网络的图像检测方法及系统，以解决上述存在的技术问题。本发明根据卷积神经网络中的目标检测算法，针对弱实体检测问题，提出了一种图像检测方法，能够更加精确和快速的完成弱实体目标检测；本发明通过卷积神经网络的模型构建，可弥补针对弱实体检测使用通用模型的缺陷，可解决弱实体检测过程中因特征不明显和尺寸相对较小而造成的难以检测问题。

为达到上述目的，本发明采用以下技术方案：

一种基于卷积神经网络的图像检测方法，包括以下步骤：

步骤1，采集获取预设数量的标注好的样本图像；对每个样本图像进行预处理，获得去噪后的带标注的目标区域图像；

步骤2，对步骤1获得的每个带标注的目标区域图像进行特征提取，获得每个带标注的目标区域的3D特征矩阵；

步骤3，构建3D卷积神经网络弱实体检测模型，用步骤2获得的所有3D特征矩阵对3D 卷积神经网络弱实体检测模型进行训练，训练至预设收敛条件时停止，获得训练好的3D卷积神经网络弱实体检测模型；

步骤4，将待检测图片按照步骤1中的预处理方法进行预处理；然后用步骤2中特征提取的方法进行特征提取，获得待检测图片的3D特征矩阵；将获得的待检测图片的3D特征矩阵输入步骤3训练好的3D卷积神经网络弱实体检测模型中，输出待检测图片的检测结果。

进一步地，步骤1中对每个样本图像进行预处理的方法具体包括：

步骤1.1，将采集获取的每个标注好的样本图像处理为以像素为基本单位的图像；

步骤1.2，对获得的以像素为基本单位的图像进行二值化处理，设定阈值并提取预设目标区域的轮廓；

步骤1.3，根据连通域的算法原理，计算获得的预设目标区域轮廓的连通域，并通过预设目标区域面积估计的方法得到去噪后的目标区域；

步骤1.4，用掩码对步骤1.3获得的去噪后的目标区域进行空洞填充，获得填充后的目标区域；

步骤1.5，将步骤1.4获得的目标区域与步骤1.1采集的原始样本图像进行与运算，获得原始的目标区域图像；

步骤1.6，将步骤1.5获得的原始目标区域图像的灰度值归一化至0～255范围内。

进一步地，步骤2中特征提取的方法具体包括：

步骤2.1，构建传统的U-net网络结构，将其下采样中的两个连续的卷积操作定义为一组，每组的输入和输出叠加后作为该组的最终输出，并作为下一组的输入，获得特征提取模块；

步骤2.2，将步骤1获得的去噪后的带标注的目标区域图像输入步骤2.1获得的特征提取模块中，提取获得每个目标区域图像的3D特征矩阵。

进一步地，步骤3中，设计类别和位置损失函数，并使用卷积神经网络中区域推荐网络，构建出3D卷积神经网络弱实体检测模型。

进一步地，损失函数包括：是否是弱实体的概率预测以及对于弱实体的位置回归。

进一步地，所述3D卷积神经网络弱实体检测模型的具体结构包括：将3D-Unet网络作为底层网络，用于提取物体特征；然后使用区域推荐网络和用于分类及回归的卷积神经网络共同构成目标检测网络，用于物体分类和物体框的回归。

进一步地，提取的3D特征矩阵输入3D卷积神经网络弱实体检测模型，在3D特征矩阵上的每一个点均产生5个固定大小和比例的框，分别代表不同的标记圆的半径；

固定框与标记框之间的IOU值大于threshold的标为正例，IOU值介于[0,threshold]范围的标为负例；IOU的计算公式为：

式中，区域1的面积为s1，区域2的面积为s2，区域1和区域2的重叠面积为s；

3D特征矩阵上的每一个固定框均预测出5个值(P,X,Y,Z,R)，其中P代表存在弱实体的概率，X、Y、Z分别代表预测的球的球心位置坐标，R代表预测的球半径；

预测的P值大于预设阈值，则判断存在弱实体。

进一步地，3D卷积神经网络弱实体检测模型中概率损失函数表达式为：

式中，p_i表示预测的类别概率，表示真实的类别概率，L_cls表示定义的类别损失函数，这里用的是交叉熵，N_cls表示总的用于类别预测的框的个数；上式右边第一项表示的含义是类别损失函数；t_i表示预测框的位置信息，包含中心点坐标以及半径，表示标注框的位置信息， L_reg表示定义的位置损失函数，这里用的是交叉熵，N_reg表示总的用于位置预测的框的个数；λ是一个超参，用于调节两种损失函数的比例。

进一步地，步骤1中采集的标注好的样本图像为已诊断标注好的肺部CT影像。

一种基于卷积神经网络的图像检测系统，包括：

采集及预处理模块，用于采集获取预设数量的标注好的样本图像；对每个样本图像进行预处理，获得去噪后的带标注的目标区域图像；

特征提取模块，用于对采集及预处理模块获得的每个带标注的目标区域图像进行特征提取，获得每个带标注的目标区域的3D特征矩阵；

3D卷积神经网络弱实体检测模块，用于构建3D卷积神经网络弱实体检测模型，用特征提取模块获得的所有3D特征矩阵对3D卷积神经网络弱实体检测模型进行训练，训练至预设收敛条件时停止，获得训练好的3D卷积神经网络弱实体检测模型；

输入模块，用于将待检测图片按照采集及预处理模块中的预处理方法进行预处理；然后用特征提取模块中特征提取的方法进行特征提取，获得待检测图片的3D特征矩阵，并将获得的待检测图片的3D特征矩阵输入3D卷积神经网络弱实体检测模块训练好的3D卷积神经网络弱实体检测模型中；

输出模块，用于3D卷积神经网络弱实体检测模块输出待检测图片的检测结果。

与现有技术相比，本发明具有以下有益效果：

本发明的一种基于卷积神经网络的图像检测方法，首先对原始图像进行轮廓信息提取，然后通过使用3D卷积神经网络和残差模块来提取图像的特征，接着使用区域推荐卷积神经网络的思想来选取有可能是目标的候选框，最终针对这些候选框使用卷积神经网络得到更加精确的特征，最后设计损失函数来进行类别分类和位置回归。本发明弥补了针对弱实体检测使用通用模型的缺陷，解决了弱实体检测过程特征不明显且相对较小而通用模型难以检测的问题。

首先，根据设计的数据预处理方案，可以避免由于数据噪声所造成的检测错误。其次，在特征提取阶段，使用3DU-net网络和残差块的思想。由于直接使用3D U-net在分割时，已经得到了不错的结果，这说明该网络结果在特征提取方面已经可以提取到物体特征信息。而在本发明中，将其作为特征提取网络也是有道理的。为了更加精确的分类和位置回归，我们设计了用于检测的网络，这里包含两个步骤。一个是初步筛选或者区域推荐，另一个是在此基础上进行最终的位置和类别的预测。本发明系统设计了上述网络，并得到了预期的效果。

附图说明

图1是本发明实施例的一种基于卷积神经网络的肺结节检测流程示意图；

图2是本发明实施例中图像预处理流程示意图；

图3是本发明的U-net网络结构中基本残差模块的结构示意图；

图4是本发明的基于U-net网络结构的3D特征提取模块的网络结构示意图；

图5是本发明中特征矩阵上的预测信息的示意图。

具体实施方式

为了更清楚地说明本发明的技术方案，下面结合附图和具体实例对本发明作进一步详细说明。

本发明的一种基于卷积神经网络的图像检测方法，具体包括以下步骤：

步骤1，采集获取预设数量的标注好的样本图像；对每个样本图像进行预处理，获得去噪后的带标注的目标区域图像。

图像数据预处理的具体过程：

包含弱实体的图像中，除了拍摄的目标区域之外，还包含大部分背景区域，而且基本上与目标区域具有较为明显的像素特征；背景区域存在与目标区域相似的颜色特征，将其称之为噪声。目标区域在图像中呈现的颜色特征，背景中的其他区域可能也会呈现出这种特征，会对网络的学习产生较大的干扰。因此，首先需要减少背景区域对检测的影响，将目标区域从图像中单独提取出来。

具体目标区域的提取包括如下步骤：

Step1.根据原始的图像数据，获取以像素为基本单位的图像；

Step2.根据获取的以像素为单位的图像和像素值的差异，将图像进行二值化处理，提取目标区域大致的轮廓信息。例如，肺部CT影像中，由于不同组织具有不同的像素值，所以可以通过统计并设定阈值来提取特定像素值的图像目标区域；

Step3.根据连通域的基本算法原理，针对二值化之后的图像，计算连通域并通过预设面积估计的方法得到目标区域信息；

Step4.根据观察和统计，为了防止将空洞识别为弱实体，对目标区域的一些空洞进行填充，也为了在下一步掩码操作中得到完整的目标区域；

Step5.将获得的目标区域的信息和原始影像进行与运算，得到原始目标区域图像信息，此时得到了需要的目标区域图像；

Step6.根据数字图像处理的基本方法，将图像的灰度值重新规范化到[0,255]，得到预处理的最终结果。

步骤2，对步骤1获得的每个带标注的目标区域图像进行特征提取，获得每个带标注的目标区域的3D特征矩阵。

步骤2中特征提取的方法具体包括：

步骤2.1，构建传统的U-net网络结构，将其下采样中的两个连续的卷积操作定义为一组，每组的输入和输出叠加后作为该组的最终输出，并作为下一组的输入，获得特征提取模块；

步骤2.2，将步骤1获得的去噪后的带标注的目标区域图像输入步骤2.1获得的特征提取模块中，提取获得每个目标区域图像的3D特征矩阵。

在经典的目标检测中，一般会使用一个预训练好的VGG-16网络对图片进行特征提取，然后会得到一个特征矩阵。在自然图像中这样的特征提取方式或许是适用的，但是在包含弱实体图像中，特征不如自然图像那样明显，而目标特征具有更难的识别度，所以仅仅使用VGG-16 并不能够提取到很好的特征。所以在摒弃了原有的VGG-16网络之后，重新设计了新的网络，主要为了卷积网络能融合浅层更多的语义信息。而且，为了加深网络，在卷积操作中使用了残差块，防止梯度消失等问题。

请参阅图3，残差块的结构包括：输入矩阵经过两个卷积操作之后，将输入矩阵与其进行相加操作，作为残差块的输出。

步骤3，构建3D卷积神经网络弱实体检测模型，用步骤2获得的所有3D特征矩阵对3D 卷积神经网络弱实体检测模型进行训练，训练至预设收敛条件时停止，获得训练好的3D卷积神经网络弱实体检测模型。

在目标检测的经典算法中，主要分为两阶段模型和单阶段模型。两阶段模型的代表有 RCNN、Faster-RCNN、Faster-RCNN和R-FCN，其主要优点是精度相对较高，缺点是速度相对较慢。单阶段模型的代表有SSD、YOLOv1、YOLOv2、YOLOv3和Focal loss，其主要优点是速度较快，但是精度略低于两阶段模型。经实验分析认为，两阶段模型主要是因为在第一阶段有一个大致对于候选框的筛选操作，使得负样本得到初步过滤，正负样本趋于均衡，对于第二阶段的分类准确率具有较大的帮助，从而提高整体的准确率，也正是由于第一阶段的筛选，降低了检测速度；而单阶段模型并没有对于候选框的初筛操作，而是直接对所有候选框进行分类和回归，因此，以精度的损失来换取检测速度上的提升。

针对弱实体检测这一特殊问题，需要设计一种具有针对性的方法。本发明为了统筹单阶段模型的速度和两阶段模型的精度，设计新型的主干网络算法，同时采用区域推荐网络的设计思想。从整体上来看，本发明的设计方式把两阶段目标检测和单阶段目标检测的优点进行了融合，在保证检测精度的同时，又加快了检测的速度。

本发明的3D卷积神经网络弱实体检测模型的具体结构包括：将3D-Unet网络作为底层网络，用于提取物体特征；然后使用区域推荐网络和用于分类及回归的卷积神经网络共同构成目标检测网络，用于物体分类和物体框的回归。

具体的：首先，根据设计的数据预处理方案，可以避免由于数据噪声所造成的检测错误。然后，将处理好的图片作为3D Unet特征提取网络的输入，输出是特征矩阵。将其作为区域推荐网络的输入，区域推荐网络的输出是初步筛选的候选框信息，利用候选框信息在特征矩阵上找到对应的特征，然后将其作为目标检测中分类和回归网络的输入，该网络的输出是预测的目标区域。本发明中的模型都是采用的3D的，所以相比于2D模型，都会在原有的基础上增加一个通道，并且会综合考虑图像的序列信息。

损失函数的设计：本发明模型的损失函数借鉴了经典卷积神经网络中的损失函数来进行设计。由于需要同时预测弱实体的概率和位置，所以损失函数主要由两部分构成：是否是弱实体的概率预测和对于弱实体的位置回归。

步骤4，将待检测图片按照步骤1中的预处理方法进行预处理；然后用步骤2中特征提取的方法进行特征提取，获得待检测图片的3D特征矩阵；将获得的待检测图片的3D特征矩阵输入步骤3训练好的3D卷积神经网络弱实体检测模型中，输出待检测图片的检测结果。

具体的，通过上述特征提取网络，得到原始目标区域图像的特征矩阵之后，在特征矩阵上的每一个点均产生5个固定大小和比例的框，分别代表不同的可能标记圆的半径。针对这些固定框，从它们之中挑选出正样本和负样本。规定固定框与标记框之间的IOU值大于threshold 的标为正样本，IOU值介于[0,threshold]的标为负样本。在特征矩阵上的每一个固定框都会预测出5个值(P,X,Y,Z,R)。其中P代表存在弱实体的概率，X、Y、Z分别代表预测的球的球心位置坐标，R代表预测的球半径。

综上，本发明提出了一种基于卷积神经网络的图像检测方法。首先，基于专业人工团队标注的大量样本图像，为了减少背景区域对目标检测的影响，经过一系列的数据预处理操作，将目标区域从原始样本图像中单独提取出来，得到去噪的目标区域图像；其次，基于3D卷积神经网络中的网络结构构建特征提取模块，并且融合残差网络思想进一步加深网络深度，对目标区域进行特征提取，得到目标区域的3D特征矩阵；再次，在提取的3D特征矩阵基础上，同时保证检测速度和检测精度，设计类别和位置损失函数并使用卷积神经网络中区域推荐网络的思想，构建出3D弱实体检测网络；最后，通过在训练集上训练构建的卷积神经网络结构，在测试集上评价模型检测效果，通过卷积神经网络中的目标检测算法，针对弱实体这一特定问题，设计出更加精确和快速的目标检测模型。本发明通过卷积神经网络的模型构建，弥补了针对弱实体检测使用通用模型的缺陷，解决了弱实体检测过程特征不明显且相对较小而难以检测的问题。本发明基于卷积神经网络，能够自动、高效、精准识别图像中特征相对较弱的物体；通过本发明的图像检测方法，能够自动的对图片中的物体进行快速、准确的定位和识别，应用前景是非常广泛的；例如，在自动驾驶中可以使用该技术进行障碍规避；在医学影像中对病变区域的划分和识别；在监控系统中进行实时跟踪和定位。

本发明的一种基于卷积神经网络的图像检测系统，包括：

采集及预处理模块，用于采集获取预设数量的标注好的样本图像；对每个样本图像进行预处理，获得去噪后的带标注的目标区域图像。

特征提取模块，用于对采集及预处理模块获得的每个带标注的目标区域图像进行特征提取，获得每个带标注的目标区域的3D特征矩阵。

3D卷积神经网络弱实体检测模块，用于构建3D卷积神经网络弱实体检测模型；构建分为两个步骤：第一步，用特征提取模块获得的所有3D特征矩阵进行初步的筛选，主要目的是为了获得可能是物体的区域；第二步，根据第一步推荐的物体区域，有重点地在用特征提取模块获得的所有3D特征矩阵上进行更加精细的分类和回归；通过上述两步构成3D卷积神经网络弱实体检测模块。

输入模块，用于将待检测图片按照采集及预处理模块中的预处理方法进行预处理；然后用特征提取模块中特征提取的方法进行特征提取，获得待检测图片的3D特征矩阵，并将获得的待检测图片的3D特征矩阵输入3D卷积神经网络弱实体检测模块训练好的3D卷积神经网络弱实体检测模型中。

输出模块，用于3D卷积神经网络弱实体检测模块输出待检测图片的检测结果。

实施例1

本发明实施例的具体应用为肺部CT影像数据，目标是检测肺结节。

请参阅图1，本发明实施例的一种基于卷积神经网络的图像检测方法，包括以下步骤：

S101.原始肺部CT影像预处理。

对于原始肺部CT影像预处理，基于数字图像学并结合肺结节图像的特点，提取出双肺区域，忽略对实验有干扰的胸腔及其它部分。具体包括以下步骤：

Step1.根据原始的肺部CT数据，获取以亨氏为基本单位的图像信息；

Step2.根据以亨氏为单位的图像和像素值的差异，将图像进行二值化处理，提取肺部大致的轮廓信息；

Step3.根据连通域的基本算法原理，针对二值化之后的图像，计算连通域得到双肺区域信息；

Step4.根据观察和统计，为了防止将空洞识别为结节，对双肺区域的一些空洞进行了填充；

Step5.根据双肺区域的信息和原始影像，通过掩码运算，可以得到原始双肺的图像信息；

Step6.根据数字图像处理的基本方法，将图像的灰度值重新规范化到[0,255]，得到了预处理的最终结果。

请参阅图2，在本实例中，所涉及的数据预处理包括上述操作，分别是原始图片s1，二值化后的图片s2，肺部连通域s3，空洞填充以及规范化的预处理图片s4。

在CT影像中，各个位置点是用CT值来表示的，CT值的单位，又称亨氏单位，用Hu来表示，CT值是用来表示组织结构的相对密度。由于不同组织的密度不一样，所以，在CT影像中，不同组织的CT值不同。所以可以通过CT影像各个位置点的CT值大小对肺部区域进行提取，过滤掉非肺部的区域。原始CT影像如图2中s1所示。

将CT影像序列中的每一张切片进行高斯滤波操作。主要目的是消除一些高斯噪声，接着针对切片上的像素点统计CT值，得到CT值的分布规律。主要目的是将肺部区域和非肺部区域区分开来。通过统计发现，可以选取-500Hu值作为分界。对CT影像中的每一个切片进行二值化处理，即CT值大于-500的像素可以将其CT值设为0，CT值小于-500的像素可以将其 CT值设为最大值。或者相反，这样就可以得到初步结果，如图2中s2所示。

接下来提取双肺区域；通过图2观察到双肺区域是一个连通域。数字图像处理中，包含了图像分割和图像属性的测量等方法，希望通过数字图像处理中的方法将双肺区域提取出来，但是考虑到其中还有可能存在一些小的连通域，所以需要去掉其中连通域面积小于30mm²的区域；经过这样的二维处理，再从三维角度进行约束，去除连通区域与边界相连或者连通区域体积不在0.68L和7.5L的区域。在此基础上，还会存在一些特殊情况。它们与正常的肺部区域的不同，由于它们不在影像的中心。所以针对每张切片，计算其内部连通区域距离切片中心的最小距离，然后从三维角度选取二维连通区域总面积大于6000mm²的部分，并且去除它们中距离切片中心的平均最小距离大于62mm的部分，到此为止，可以初步提取出双肺区域，如图 2中s3所示。

由图2中s3可以看出：双肺区域中有很多的空洞(hole)。在训练的时候，这些空洞会一定程度上造成干扰，可能误以为是小的结节；所以，需要进一步对这些空洞进行填充。使用数字图像处理中的Hole Filling算法进行空洞的填充，接着把CT值转化为UINT8，把每一个像素点的像素值规范化到[0，255]。这样得到数据处理的最后结果，如图2中s4所示。

S102.基于数据预处理图片对肺部进行特征提取。

请参阅图4，在3D卷积神经网络的基础上，融合残差思想，进而加深网络深度，并防止梯度消失，提取更加高层次的图像信息。具体的特征提取模块的网络结构如表1所示：

表1底层提取特征的网络结构

表1是对图4中网络结构的具体描述，其中ResBlock*2表示执行两次图3中的卷积操作； DeConv表示的是反卷积操作，主要作用是扩大特征图片大小；Concat是拼接操作，将图4中对应层的网络输出进行拼接，以获取更低层次的图像信息。W*H*Z的三维立体图像经过图4 中的特征提取网络之后，得到的是仍是W*H*Z的三维立体图像，不同的是通道数的改变，从而得到了更多高层次的图像信息。

S103.基于上述特征初步筛选候选框。

请参阅图5，对于得到的C*W*H*Z的特征矩阵，在每个位置产生5个固定大小比例的框，共产生W*H*Z*5个候选框，直接将这些框用于分类和位置回归，结果会因为正负样本不均衡，而导致效果变差。因此根据卷积神经网络中区域推荐网络的思想，对候选框先进行初次筛选，于是能够在很大程度上解决这个问题。图5是对于特征矩阵上的其中一个固定框的表示。在进行正负样本的筛选过程中，使用了IOU的评价指标，它表示的是两个区域的重叠程度。假如区域1的面积为s1，区域2的面积为s2，区域1和区域2的重叠面积为s，则IOU的计算方式如下式所示：

S104.对候选框通过卷积神经网络进行类别预测和位置回归。

本发明模型针对肺结节检测设计了损失函数。由于需要同时预测肺结节的概率和肺结节的位置，所以损失函数主要由两部分构成，分别表示类别预测和位置回归：

Step1.肺结节概率损失函数。

通过特征提取模块得到一个特征矩阵，在特征矩阵上的每一个位置做一个二分类，用来预测该地方是否有肿瘤或结节。采用的损失函数是交叉熵损失函数，如下公式所示：

其中：i是一个batch中固定框的索引，P_i是固定框i中存在肺结节的预测概率。如果固定框为正样本，标记框的标签P_i ^*就是1，如果固定框为负样本，P_i ^*就是0。

Step2.肺结节位置预测损失函数。

由于预测的位置坐标是连续的，故肺结节位置预测损失函数应该是一个回归函数。使用如下公式来计算。

其中，R是一个鲁棒的损失函数，称为smooth L1，其计算公式为：

由于在定义肺结节的位置区域是采用的是一个3D坐标，即用一个四维的向量的表示：P＝ (Px，Py，Pz，Pr)，其中(Px，Py，Pz)为肺结节中心的位置，Pr是肺结节的半径大小。定义预测目标为：

t_x＝(P_x-A_x)/A_r

t_y＝(P_y-A_y)/A_r

t_z＝(P_z-A_z)/A_r

t_r＝log(P_r/A_r)

t_x ^*＝(P_x ^*-A_x)/A_r

t_y ^*＝(P_y ^*-A_y)/A_r

t_z ^*＝(P_z ^*-A_z)/A_r

t_r ^*＝log(P_r ^*/Ar)

其中，x、y、z、r指结节所在的外接球(x，y，z)坐标以及球的半径r，P_x、P_x ^*、A_x分别指预测的外接球、标记框的外接球以及固定框的外接球(y、z、r同理)的x轴上的坐标，可以理解为从标记框外接球和预测的外接球同时向固定框所在的外接球进行回归。

总的损失函数如下公式所示：

式中，p_i表示预测的类别概率，表示真实的类别概率，L_cls表示定义的类别损失函数，这里用的是交叉熵，N_cls表示总的用于类别预测的框的个数，上式右边第一项表示的含义是类别损失函数。t_i表示预测框的位置信息，包含中心点坐标以及半径，表示标注框的位置信息， L_reg表示定义的位置损失函数，这里用的是交叉熵，N_reg表示总的用于位置预测的框的个数，λ是一个超参，用于调节两种损失函数的比例。

p_i ^*L_reg这一项意味着只有正样本的固定框(p_i ^*＝1)才有回归损失，其他情况(p_i ^*＝0)不会计算损失函数。cls层和reg层的输出分别由{p_i}和{t_i}组成，这两项分别由N_cls和N_reg以及一个平衡权重λ来进行归一化处理。

本发明实施例的方法可对早期肺结节进行检测，以3D卷积神经网络和残差思想作为底层网络，主要作用是针对预处理后的肺结节CT影像仍难以辨别的问题，通过深度学习方法来提取更高层次的图片信息，以卷积神经网络作为位置和概率预测的主体结构，在此基础之上结合卷积神经网络中的区域推荐网络思想，对固定框有了一个预筛选。在大约2000例全有结节的数据中训练并测试，得到的具体检测准确率约为76.9％，实验结果表明，经过本发明设计的模型之间的相互作用，可以得到相对更好的检测结果。

综上所述，本发明实施例结合深度学习中目标检测算法作为对于CT影像中肺结节的检测算法，具体过程包括：1)使用3D卷积神经网络网络作为提取图像特征的底层特征提取器，并通过残差思想加深网络的深度；2)在上述特征的基础上，使用区域推荐网络思想对于特征矩阵上的固定框进行预筛选操作；3)使用卷积神经网络中分别对于类别和位置损失函数的计算方式，确定肺结节的概率和位置信息。本发明相比采用单一阶段的目标检测模型，可以在不降低检测速度的基础上提高检测的准确率，为投入肺结节在临床上使用计算机辅助检测提供了技术上的支持；在特征提取阶段，本发明采用底层的特征提取网络，其作为独立的分割网络已经在很多问题上得到了不错的结果，在本发明中，将其作为特征提取器，且为了防止深度网络中梯度消失，融合了残差思想，与直接使用VGG16作为特征提取器相比，本发明能够提取更高程度上的特征信息，具有更强的特征表示能力；在检测阶段，由于同时使用区域推荐网络和卷积神经网络，本发明具有较高的预测准确率。

本领域的技术人员容易理解，以上所述仅为本发明的方法实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于卷积神经网络的图像检测方法，其特征在于，包括以下步骤：

步骤1，采集获取预设数量的标注好的样本图像；对每个样本图像进行预处理，获得去噪后的带标注的目标区域图像；

步骤2，对步骤1获得的每个带标注的目标区域图像进行特征提取，获得每个带标注的目标区域的3D特征矩阵；

步骤3，构建3D卷积神经网络弱实体检测模型，用步骤2获得的所有3D特征矩阵对3D卷积神经网络弱实体检测模型进行训练，训练至预设收敛条件时停止，获得训练好的3D卷积神经网络弱实体检测模型；

步骤4，将待检测图片按照步骤1中的预处理方法进行预处理；然后用步骤2中特征提取的方法进行特征提取，获得待检测图片的3D特征矩阵；将获得的待检测图片的3D特征矩阵输入步骤3训练好的3D卷积神经网络弱实体检测模型中，输出待检测图片的检测结果。

2.根据权利要求1所述的一种基于卷积神经网络的图像检测方法，其特征在于，步骤1中对每个样本图像进行预处理的方法具体包括：

步骤1.1，将采集获取的每个标注好的样本图像处理为以像素为基本单位的图像；

步骤1.2，对获得的以像素为基本单位的图像进行二值化处理，设定阈值并提取预设目标区域的轮廓；

步骤1.3，根据连通域的算法原理，计算获得的预设目标区域轮廓的连通域，并通过预设目标区域面积估计的方法得到去噪后的目标区域；

步骤1.4，用掩码对步骤1.3获得的去噪后的目标区域进行空洞填充，获得填充后的目标区域；

步骤1.5，将步骤1.4获得的目标区域与步骤1.1采集的原始样本图像进行与运算，获得原始的目标区域图像；

步骤1.6，将步骤1.5获得的原始目标区域图像的灰度值归一化至0～255范围内。

3.根据权利要求1所述的一种基于卷积神经网络的图像检测方法，其特征在于，步骤2中特征提取的方法具体包括：

步骤2.1，构建传统的U-net网络结构，然后将其下采样中的两个连续的卷积操作定义为一组，每组的输入和输出叠加后作为该组的最终输出，并作为下一组的输入，最后获得特征提取模块；

步骤2.2，将步骤1获得的去噪后的带标注的目标区域图像输入步骤2.1获得的特征提取模块中，提取获得每个目标区域图像的3D特征矩阵。

4.根据权利要求1所述的一种基于卷积神经网络的图像检测方法，其特征在于，步骤3中，设计类别和位置损失函数，并使用卷积神经网络中区域推荐网络，构建出3D卷积神经网络弱实体检测模型。

5.根据权利要求4所述的一种基于卷积神经网络的图像检测方法，其特征在于，损失函数包括：是否是弱实体的概率预测以及对于弱实体的位置回归。

6.根据权利要求1所述的一种基于卷积神经网络的图像检测方法，其特征在于，所述3D卷积神经网络弱实体检测模型的具体结构包括：将3D-Unet网络作为底层网络，用于提取物体特征；然后使用区域推荐网络和用于分类及回归的卷积神经网络共同构成目标检测网络，用于物体分类和物体框的回归。

7.根据权利要求1所述的一种基于卷积神经网络的图像检测方法，其特征在于，提取的3D特征矩阵输入3D卷积神经网络弱实体检测模型，在3D特征矩阵上的每一个点均产生5个固定大小和比例的框，分别代表不同的标记圆的半径；

固定框与标记框之间的IOU值大于threshold的标为正例，IOU值介于[0,threshold]范围的标为负例；IOU的计算公式为：

式中，区域1的面积为s1，区域2的面积为s2，区域1和区域2的重叠面积为s；

3D特征矩阵上的每一个固定框均预测出5个值(P,X,Y,Z,R)，其中P代表存在弱实体的概率，X、Y、Z分别代表预测的球的球心位置坐标，R代表预测的球半径；

预测的P值大于预设阈值，则判断存在弱实体。

8.根据权利要求7所述的一种基于卷积神经网络的图像检测方法，其特征在于，3D卷积神经网络弱实体检测模型中概率损失函数表达式为：

式中，p_i表示预测的类别概率，表示真实的类别概率，L_cls表示定义的类别损失函数，这里用的是交叉熵，N_cls表示总的用于类别预测的框的个数；上式右边第一项表示的含义是类别损失函数；t_i表示预测框的位置信息，包含中心点坐标以及半径，表示标注框的位置信息，L_reg表示定义的位置损失函数，这里用的是交叉熵，N_reg表示总的用于位置预测的框的个数；λ是一个超参，用于调节两种损失函数的比例。

9.根据权利要求1至8中任一项所述的一种基于卷积神经网络的图像检测方法，其特征在于，步骤1中采集的标注好的样本图像为已诊断标注好的肺部CT影像。

10.一种基于卷积神经网络的图像检测系统，其特征在于，包括：

采集及预处理模块，用于采集获取预设数量的标注好的样本图像；对每个样本图像进行预处理，获得去噪后的带标注的目标区域图像；

特征提取模块，用于对采集及预处理模块获得的每个带标注的目标区域图像进行特征提取，获得每个带标注的目标区域的3D特征矩阵；

3D卷积神经网络弱实体检测模块，用于构建3D卷积神经网络弱实体检测模型，用特征提取模块获得的所有3D特征矩阵对3D卷积神经网络弱实体检测模型进行训练，训练至预设收敛条件时停止，获得训练好的3D卷积神经网络弱实体检测模型；

输入模块，用于将待检测图片按照采集及预处理模块中的预处理方法进行预处理；然后用特征提取模块中特征提取的方法进行特征提取，获得待检测图片的3D特征矩阵，并将获得的待检测图片的3D特征矩阵输入3D卷积神经网络弱实体检测模块训练好的3D卷积神经网络弱实体检测模型中；

输出模块，用于3D卷积神经网络弱实体检测模块输出待检测图片的检测结果。