CN110047069A - 一种图像检测装置 - Google Patents

Abstract

本申请提供一种图像检测装置，包括：第一获取模块，用于获取目标图像；第二获取模块，用于利用预先训练的异常征象检测模型中的特征提取模块对所述目标图像进行特征提取，所述特征提取模块包括多个支路卷积单元；以及还用于获得每个支路卷积单元分别对应的特征图；第三获取模块，用于利用所述预先训练的异常征象检测模型中的检测模块对所述特征图进行异常征象检测，获取所述目标图像中异常征象的第一位置信息以及第一类别信息。因此，通过在神经网络模型中采用多尺度支路，增加该神经网络模型学习多尺度目标特征的能力，从而使在图像中包含大小相差较大的检测目标时，模型的检测结果误差较小。

Description

一种图像检测装置

技术领域

本申请涉及图像检测技术领域，具体而言，涉及一种图像检测装置。

背景技术

在现有技术进行胸片异常征象的检测时，由于胸片中的异常征象的大小分布是不平衡的，例如结节征象一般较小，而心影增大征象则一般很大，两者大小之间相差几十倍。因此，采用现有的模型对胸片中的异常征象进行检测时，图像检测结果误差较大。

发明内容

本申请提供一种图像检测装置，以改善图像检测结果误差较大的问题。

为了实现上述目的，本申请实施例所提供的技术方案如下所示：

第一方面，本申请实施例提供一种图像检测装置，包括：第一获取模块，用于获取目标图像；第二获取模块，用于利用预先训练的异常征象检测模型中的特征提取模块对所述目标图像进行特征提取，所述特征提取模块包括多个支路卷积单元；以及还用于获得每个支路卷积单元分别对应的特征图；其中，所述多个支路卷积单元的中所述多个支路卷积单元的膨胀率不完全相同；第三获取模块，用于利用所述预先训练的异常征象检测模型中的检测模块对所述特征图进行异常征象检测，获取所述目标图像中异常征象的第一位置信息以及第一类别信息。因此，通过在神经网络模型中采用多尺度支路，增加该神经网络模型学习多尺度目标特征的能力，从而使在图像中包含大小相差较大的检测目标时，模型的检测结果误差较小。在测试过程中，预先训练的异常征象检测模型中的特征提取模块对目标图像进行特征图像，得到经过多个支路卷积单元的多个特征图，再经过检测单元最终得到目标图像中异常征象的位置以及类别信息。

在本申请的可选实施例中，所述每个支路卷积单元包括：依次连接的第一卷积子单元、第二卷积子单元以及第三卷积子单元；所述第一卷积子单元包括第一预设数量的残差模块；其中，每一个所述残差模块包括多个卷积归一层，每一个所述卷积归一层包括卷积层、归一化层以及Relu层；所述第二卷积子单元包括第二预设数量的所述残差模块；所述第三卷积子单元包括第三预设数量的所述残差模块。因此，每个支路卷积单元有相同的内部结构以及不同的膨胀率，增加该神经网络模型学习多尺度目标特征的能力，从而使在图像中包含大小相差较大的检测目标时，模型的检测结果误差较小。

在本申请的可选实施例中，所述第一卷积子单元、所述第二卷积子单元以及所述第三卷积子单元为可变形卷积子单元。因此，支路卷积单元中的第一卷积子单元、第二卷积子单元以及第三卷积子单元可以为可变形卷积子单元，从而使卷积核能在训练过程中扩展到很大的范围，降低模型检测结果的误差。

在本申请的可选实施例中，所述特征提取模块还包括预卷积单元；所述预卷积单元包括：依次连接的第四卷积子单元以及第五卷积子单元，所述第五卷积子单元与所述支路卷积单元连接；所述第四卷积子单元包括：卷积归一层；其中，所述卷积归一层包括卷积层、归一化层以及Relu层；所述第五卷积子单元包括最大池化层以及第四预设数量的残差模块，每一个所述残差模块包括多个所述卷积归一层。因此，特征提取模块中还可以包括预卷积单元，通过在对多尺度特征提取前进行卷积、池化等操作，增加模型学习多尺度目标特征的能力，从而使在图像中包含大小相差较大的检测目标时，模型的检测结果误差较小。

在本申请的可选实施例中，所述第二获取模块具体用于：利用所述特征提取模块中的预卷积模块对所述目标图像进行预卷积处理，并利用所述特征提取模块中的所述多个支路卷积单元分别对所述目标图像进行特征提取，获得所述每个支路卷积单元分别对应的所述特征图。因此，特征提取的过程中，还可以在对多尺度特征提取前进行卷积、池化等操作，增加模型学习多尺度目标特征的能力，从而使在图像中包含大小相差较大的检测目标时，模型的检测结果误差较小。

在本申请的可选实施例中，所述检测模块包括：依次连接的特征融合单元、特征合并单元、目标区域提取单元以及异常征象检测单元；所述第三获取模块具体用于：利用所述特征融合单元对多个特征图进行特征融合，获得多个特征融合图；利用所述特征合并单元对所述多个特征融合图进行特征合并，并利用所述检测单元中的目标区域提取单元对合并后的特征图进行目标区域提取，获得目标区域特征图；利用所述异常征象检测单元对所述目标区域特征图进行检测，获得所述目标图像中所述异常征象的所述第一位置信息以及对应所述第一类别信息。因此，在对目标图像进行特征提取之后，可以对经过特征提取模块得到的特征图进行特征融合、特征合并、目标区域提取以及特征检测，实现对多尺度目标的检测。

在本申请的可选实施例中，所述装置还包括：第四获取模块，用于获取多个第一样本图像；其中，所述第一样本图像包括第一样本图像的异常征象、所述第一样本图像的异常征象的第二位置信息以及第二类别信息；预处理模块，用于对每一第一样本图像进行预处理，得到与所述每一第一样本图像对应的第二样本图像；输出模块，用于将所述第二样本图像输入到预先建立的神经网络模型中，并输出所述第一样本图像的异常征象的第三位置信息以及第三类别信息；第一计算模块，用于根据所述第二位置信息以及所述第三位置信息计算位置预测损失，并根据所述第二类别信息以及所述第三类别信息计算分类预测损失；第一调整模块，用于基于所述位置预测损失以及所述分类预测损失计算总预测损失，并基于所述总预测损失调整所述预先建立的神经网络模型的参数，以获得所述异常征象检测模型。因此，获取多个样本图像实现对预先建立的神经网络模型的训练，以得到预先训练的异常征象检测模型，从而可以利用该模型对目标图像进行检测。

在本申请的可选实施例中，所述第一调整模块具体用于：计算所述第二样本图像的像素面积；将所述像素面积与多个预设范围进行比较，根据比较结果将与所述像素面积对应的第二样本图像输入到所述多个支路卷积单元中与预设范围对应的支路卷积单元中，以调整所述预先建立的神经网络模型的所述参数。因此，根据样本图像的尺度大小判断异常征象检测模型训练过程中反向传播的路径，从而实现对模型损失值的优化。

在本申请的可选实施例中，所述预处理模块具体用于：对所述第一样本图像进行尺度调整，得到第三样本图像；对所述第三样本图像进行直方图均衡化处理，得到所述第二样本图像。因此，通过对样本图像进行尺度调整，满足模型多尺度检测的训练效果。

在本申请的可选实施例中，所述预处理模块具体用于计算所述第三样本图像的灰度直方图；根据所述灰度直方图计算所述第三样本图像的累计直方图；根据所述累计直方图对所述第三样本图像进行均衡化调整。因此，通过对样本图像进行均衡化调整，从而保证模型训练的效果。

第二方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行本申请实施例提供的第一获取模块、第二获取模块以及第三获取模块执行的方法步骤。

第三方面，本申请实施例提供一种非暂态计算机可读存储介质所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本申请实施例提供的第一获取模块、第二获取模块以及第三获取模块执行的方法步骤。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种图像检测装置结构示意图；

图2为本申请实施例提供的异常征象检测模型训练方法流程示意图；

图3为本申请实施例提供的异常征象检测模型结构示意图；

图4(a)为本申请实施例提供的第四卷积子单元内部结构示意图；

图4(b)为本申请实施例提供的第五卷积子单元内部结构示意图；

图5(a)为本申请实施例提供的第一卷积子单元内部结构示意图；

图5(b)为本申请实施例提供的第二卷积子单元内部结构示意图；

图5(c)为本申请实施例提供的第三卷积子单元内部结构示意图；

图5(d)为本申请实施例提供的变形卷积层的结构示意图；

图6为本申请实施例提供的一种图像检测方法流程示意图；

图7为本申请实施例提供的另一种图像检测方法流程示意图；

图8为本申请实施例提供的电子设备实体结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

本申请实施例以检测胸片的异常征象为例，主要分为两大部分：异常征象检测模型的网络训练和目标图像的异常征象检测。下面将针对每一部分进行描述。应当说明的是，本申请实施例提供的图像检测方法除了可以检测胸片中异常征象外，还可以用于对图像中其他对象的检测，本申请实施例对此不做具体限定。

请参照图1，图1为本申请实施例提供的一种图像检测装置结构示意图，该图像检测装置10包括：第一获取模块101，用于获取目标图像；第二获取模块102，用于利用预先训练的异常征象检测模型中的特征提取模块对所述目标图像进行特征提取，所述特征提取模块包括多个支路卷积单元；以及还用于获得每个支路卷积单元分别对应的特征图；其中，所述多个支路卷积单元的中所述多个支路卷积单元的膨胀率不完全相同；第三获取模块103，用于利用所述预先训练的异常征象检测模型中的检测模块对所述特征图进行异常征象检测，获取所述目标图像中异常征象的第一位置信息以及第一类别信息。

在本申请实施例中，通过在神经网络模型中采用多尺度支路，增加该神经网络模型学习多尺度目标特征的能力，从而使在图像中包含大小相差较大的检测目标时，模型的检测结果误差较小。在测试过程中，预先训练的异常征象检测模型中的特征提取模块对目标图像进行特征图像，得到经过多个支路卷积单元的多个特征图，再经过检测单元最终得到目标图像中异常征象的位置以及类别信息。

其中，上述图像检测装置10在进行图像检测的过程中，应用的模型为预先训练的异常征象检测模型。所述图像检测装置10还包括：第四获取模块，用于获取多个第一样本图像；其中，所述第一样本图像包括第一样本图像的异常征象、所述第一样本图像的异常征象的第二位置信息以及第二类别信息；预处理模块，用于对每一第一样本图像进行预处理，得到与所述每一第一样本图像对应的第二样本图像；输出模块，用于将所述第二样本图像输入到所述预先建立的神经网络模型中，并输出所述第一样本图像的异常征象的第三位置信息以及第三类别信息；第一计算模块，用于根据所述第二位置信息以及所述第三位置信息计算位置预测损失，并根据所述第二类别信息以及所述第三类别信息计算分类预测损失；第一调整模块，用于基于所述位置预测损失以及所述分类预测损失计算总预测损失，并基于所述总预测损失调整所述预先建立的神经网络模型的参数，以获得所述异常征象检测模型。

基于上述图像检测装置10，请参照图2，图2为本申请实施例提供的异常征象检测模型训练方法流程示意图，该方法包括：

步骤S201：获取多个第一样本图像。

在具体的实施过程中，首先图像检测装置的第四获取模块可以获取训练异常征象检测模型的样本数据，即多个第一样本图像。作为一种实施方式，第一样本图像的数量可以为1000。其中，第一样本图像中可以包括第一样本图像的异常征象、第一样本图像的异常征象的第二位置信息以及第二类别信息。需要说明的是，第一样本图像的数量本申请实施例不作具体的限定，本领域技术人员可以根据实际情况进行选择。除此之外，第一样本图像也可以为不包括异常征象的图像。

确定第一样本图像中异常征象的位置信息以及类别信息的方式也可以有多种，包括：人为确定、通过其他模型确定等。举例来说，可以通过人工将图像的异常征象区域用长方形框住，并在此基础上确定该图像中异常征象的位置以及与其对应的异常征象类别。

第一样本图像可以通过X光拍摄获取，也可以从数据库、服务器等中直接获取，应该清楚的是，第一样本图像的获取方式不应该限制本申请的保护范围。其中，获取的第一样本图像可以为胸部图像、脑部图像、腿部图像等。然后，以胸部图像为例，可以按照以下常见异常征象：结节征象、心影增大征象等对图像中的异常征象进行分类，获得包括异常征象位置信息以及类别信息的样本图像。应理解，本申请实施例在对训练图像进行分类时，可以根据图像类别的不同采用其他分类体系对图像中的异常征象进行分类。

需要说明的是，训练图像可以是由原始训练图像经过样本扩充后获得的。因为，在通过X光拍摄或其他方式采集到的原始训练图像，其数量可能不够多，或者样本的多样性不够，再或者有些类别的异常征象的图片较少，此时，为了能够获得更多形态、每种类别的异常征象对应的样本图片数量均衡的样本集，可以对采集到的原始训练图像进行样本扩充。其中，样本扩充的方法包括运动模糊、高斯模糊、图像旋转中的任意一种或其组合。

步骤S202：对每一第一样本图像进行预处理，得到与所述每一第一样本图像对应的第二样本图像。

在具体的实施过程中，图像检测装置中的预处理模块首先对用于训练的每一个第一样本图像进行预处理，包括将输入图像进行尺度调整、直方图均衡化处理等。其中，步骤S202可以具体包括如下步骤：

(1)对所述第一样本图像进行尺度调整，得到第三样本图像。

在具体的实施过程中，预处理模块可以首先对第一样本图像进行重缩放，即对第一样本图像进行尺度调整，从而实现对多尺度目标的训练。举例来说，调整的方式可以为，将第一样本图像的大小的以最短边随机缩放在一个预设范围之间。作为一种实施方式，上述预设范围可以为600-1600。

(2)对所述第三样本图像进行直方图均衡化处理，得到所述第二样本图像。

在具体的实施过程中，为了使多个第一样本图像的对比度统一，从而使训练得到的模型的检测结果更加准确，预处理模块还可以对第一样本图像进行直方图均衡化处理。其中，由于对第一样本图像进行重缩放操作后，不会改变第一样本图像的直方图，即对第一样本图像或者第三样本图像进行直方图的计算结果相同。因此，为了便于理解，该步骤称为对第三样本图像进行直方图均衡化处理。其中，对第三样本图像进行直方图均衡化处理的过程又可以具体包括如下步骤：

(a)计算所述第三样本图像的灰度直方图。

在具体的实施过程中，预处理模块可以根据如下公式计算第三样本图像的灰度直方图：

其中，P(S_k)为第三样本图像的灰度直方图，S_k为第三样本图像的灰度级，n为第三样本图像的像素总数，n_k为灰度级的像素个数，k为第三样本图像的个数。

(b)根据所述灰度直方图计算所述第三样本图像的累计直方图。

在具体的实施过程中，在根据上述公式计算得到第三样本图像的灰度直方图之后，预处理模块可以利用第三样本图像的灰度直方图根据如下公式计算第三样本图像的累计直方图：

其中，CDF(S_k)为第三样本图像的累计直方图，P(S_k)为第三样本图像的灰度直方图，S_k为第三样本图像的灰度级，n为第三样本图像的像素总数，n_k为灰度级的像素个数。

(c)根据所述累计直方图对所述第三样本图像进行均衡化调整。

在具体的实施过程中，在根据上述公式计算得到第三样本图像的累计直方图之后，预处理模块可以利用第三样本图像的累计直方图根据如下公式对第三样本图像进行均衡化调整：

D_j＝L·CDF(S_i)，

其中，D_j为第二样本图像的像素，CDF(S_i)为第三样本图像灰度为i的乐基分布，L是第三样本图像中的最大灰度级，i为第三样本图像的个数，j为第二样本图像的个数。

步骤S203：将所述第二样本图像输入到所述预先建立的神经网络模型中，并输出所述第一样本图像的异常征象的第三位置信息以及第三类别信息。

在具体的实施过程中，在图像检测装置中的预处理模块对样本图像进行预处理之后，输出模块可以将预处理得到的第二样本图像输入到预先建立的神经网络模型中进行训练，并输出第一样本图像中异常征象的第三位置信息以及第三类别信息。其中，第一样本图像中异常征象的第二位置信息以及第二类别信息可以为人工标注的异常征象的信息，第一样本图像中异常征象的第三位置信息以及第三类别信息为通过预先建立的神经网络模型输出的异常征象的信息。通过比较两个异常征象信息，从而对预先建立的神经网络模型进行参数调整，以达到训练该异常征象检测模型的目的。

步骤S204：根据所述第二位置信息以及所述第三位置信息计算位置预测损失，并根据所述第二类别信息以及所述第三类别信息计算分类预测损失。

在具体的实施过程中，总预测损失L_total可以通过下式定义：

L_total＝L_loc+L_cls，

其中，L_total为总预测损失，L_loc为位置预测损失，L_cls为分类预测损失。需要说明的是，总预测损失也可以采用其他定义方式，例如为几项预测损失分配对应的权重系数等。

其中，位置预测损失可以采用，但不限于采用Smooth-L1作为损失函数(Loss)的形式，即：

其中，

其中，N_loc为真实类别(分为异常征象类别和背景，背景既是没有异常征象目标的区域)为异常征象的预测目标区域的数量，为预测平移缩放参数，v＝(v_x,v_y,v_w,v_n)为真实平移缩放参数，x,y,w,n为目标区域的x,y中心坐标、宽以及高。

分类预测损失可以采用，但不限于采用交叉熵(Cross Entropy)作为损失函数(Loss)的形式，即：

其中，N_cls为预测目标区域的数量，y_i是指图像上的每个预测区域的真实类别。

步骤S205：基于所述位置预测损失以及所述分类预测损失计算总预测损失，并基于所述总预测损失调整所述预先建立的神经网络模型的参数，以获得所述异常征象检测模型。

在具体的实施过程中，图像检测装置中的调整模块根据步骤S204中得到的损失值来调整预先建立的神经网络模型的参数，即对预先建立的神经网络模型进行多次训练，使得上述损失值降低。具体过程包括：开始训练神经网络模型，得到模型中每一层的参数权值，并采用经典的反向传递算法来进行参数的更新，当训练次数达到预设次数或者损失函数的值达到预设要求后，可以停止训练，获得异常征象检测模型。

作为一种实施方式，步骤S205可以包括如下步骤：

(1)计算所述第二样本图像的像素面积。

在具体的实施过程中，调整模块可以根据如下公式计算重缩放后的样本图像的像素面积，即第二样本图像的像素面积：

area＝w×h，

其中，area为第二样本图像的像素面积，w为第二样本图像的宽，h为第二样本图像的高。

(2)将所述像素面积与多个预设范围进行比较，根据比较结果将与所述像素面积对应的第二样本图像输入到所述多个支路卷积单元中与预设范围对应的支路卷积单元中，以调整所述预先建立的神经网络模型的所述参数。

在具体的实施过程中，调整模块将上述步骤中计算得到的像素面积与多个预设范围进行比较。作为一个实施方式，多个预设范围可以为：

根据第二样本图像的像素面积，判断异常征象检测模型训练过程中反向传播的路径，从而实现对模型损失值的优化。举例来说，当异常征象检测模型中包括三个支路时：0<area<90时，损失值参与第一条支路的训练过程；30≤area≤160时，损失值参与第二条支路的训练过程；area>90时，损失值参与第三条支路的训练过程。由于三条支路除了膨胀率不同，其他参数均共享，因此通过对其中一条或者多条支路的参数进行调整，可以实现对整个模型的优化。

请参照图3，图3为本申请实施例提供的异常征象检测模型结构示意图。该异常征象检测模型包括特征提取模块31和检测模块32，特征提取模块31包括预卷积单元311和多个支路卷积单元312，检测模块32包括特征融合单元321、特征合并单元322、目标区域提取单元323和异常征象检测单元324。

特征提取模块31包括预卷积单元311，预卷积单元311包括依次连接的第四卷积子单元以及第五卷积子单元。请参照图4(a)，图4(a)为本申请实施例提供的第四卷积子单元内部结构示意图，第四卷积子单元包括一个卷积归一层，其中，卷积归一层包括卷积层、归一化层以及Relu层。请参照图4(b)，图4(b)为本申请实施例提供的第五卷积子单元内部结构示意图，第五卷积子单元包括一个最大池化层(Max Pooling)以及第四预设数量的残差模块(Residul Block)，其中，每一个残差模块包括多个卷积归一层。

特征提取模块31中包括多个支路卷积单元312，每个支路卷积单元312包括依次连接的第一卷积子单元、第二卷积子单元以及第三卷积子单元。请参照图5(a)，图5(a)为本申请实施例提供的第一卷积子单元内部结构示意图，第一卷积子单元包括第一预设数量的残差模块。请参照图5(b)，图5(b)为本申请实施例提供的第二卷积子单元内部结构示意图，第二卷积子单元包括第二预设数量的残差模块。请参照图5(c)，图5(c)为本申请实施例提供的第三卷积子单元内部结构示意图，第三卷积子单元包括第三预设数量的所述残差模块。

作为一种实施方式，卷积归一层包括线性连接的卷积层、归一化层以及Relu层，每一个残差模块包括三个线性连接的卷积归一层。第四卷积子单元包括一个卷积归一层，第五卷积子单元包括线性连接的一个最大池化层以及三个的残差模块，第一卷积子单元包括线性连接的四个残差模块，第二卷积子单元包括线性连接的二十三个残差模块，第三卷积子单元包括线性连接的三个残差模块。第五卷积子单元后面连接三条平行的支路，每条支路都是由第一卷积子单元、第二卷积子单元以及第三子单元构成。唯一的区别就是每个支路的卷积层的膨胀率(Dilation Rate)分别为1、2、3，支路内部的膨胀率一致；且三条支路的权重互相共享(Weigtht Sharing)。

作为一种实施方式，第一卷积子单元、第二卷积子单元以及第三卷积子单元可以为可变形卷积层(Deformable Convolution)。请参照图5(d)，图5(d)为本申请实施例提供的变形卷积层的结构示意图。与普通卷积过程相比，可变形卷积层将原来的卷积过程分成两路，其中一路学习补偿区域的Δp_n，并采用双线性插值法插出每个点的像素值，最终得到对应的特征图。

以上述特征提取模块31为例，目标图像输入特征提取模块31中，第一步，可以经过预处理单元311的第四卷积子单元，首先经过卷积层进行卷积提取特征；然后经过归一化层，从而加速网络训练，减少过拟合的发生；最后经过Relu层，得到第一特征图像。需要说明的是，激活函数可以有多种选择，如Sigmoid，Leaky ReLU等，本申请实施例采用Relu激活函数。第二步，可以经过预处理单元311中的第五卷积子单元，首先最大池化层进行最大值池化，实现该层输入特征尺寸的减小然后经过三个的残差模块进一步提取特征，得到第二特征图像。第三步，可以分别经过三条支路卷积单元312，在每一个支路卷积单元312中，首先经过第一卷积子单元中的四个残差模块，进行进一步的特征提取，得到第三特征图像；其次经过第二卷积子单元中的二十三个残差模块，再进行进一步的特征提取，得到第四特征图像；最后经过第三卷积子单元中的三个残差模块，进行最后一步的特征提取，得到第五特征图像。

其中，每一层的输入是大小为N×C×W×H的四维张量数据，输出为大小为N×C₁×W₁×H₁的四维张量，其中，N是样本数，C是通道数(或者深度)，W是宽度，H是高度。举例来说，假设输入数据是(N,3,W,H)，则第四卷积子单元的输出是(N,64,W/2,H/2)，第五卷积子单元的输出是(N,256,W/4,H/4)，第一卷积子单元的输出是(N,512,W/8,H/8)，第二卷积子单元的输出是(N,1024,W/16,H/16)，第三卷积子单元的输出是(N,2048,W/32,H/32)。

需要说明的是，目标图像可以直接输入多个支路卷积单元312中，也可以先输入第四卷积子单元或者第五卷积子单元中，本领域技术人员可以根据实际情况进行选择。

检测模块32包括依次连接的特征融合单元321、特征合并单元322、目标区域提取单元323以及异常征象检测单元324。图像经过特征提取模块31之后，首先经过特征融合单元321。作为一种实施方式，可以使用特征金字塔网络(Feature Pyramid Networks，FPN)对特征提取模块31中得到的特征图进行由下至上的特征融合，达到能同时利用深阶段特征的强语义和浅阶段特征的高分辨率，从而实现对不同尺度目标的高质量检测效果。

特征融合的过程具体包括如下步骤：第一步，将第二特征图像、第三特征图像、第四特征图像以及第五特征图像分别进行1×1卷积层运算，将通道数统一到256，其他维度大小保持不变。第二步，从第五特征图像开始，依次将特征图进行2x上采样，即特征图的宽、高的维度均放大两倍，然后与第四特征图像进行相加得到新的第四特征图像。第三步，迭代上述过程：将新的第四特征图像进行2x上采样，然后与第三特征图像进行相加得到新的第三特征图像；将新的第三特征图像进行2x上采样，然后与第二特征图像进行相加得到新的第二特征图像；将新的第二特征图像进行2x上采样，然后与第一特征图像进行相加得到新的第一特征图像。第四步，对所有新得到的特征图分别进行3×3的卷积层运算，得到最终的多个特征图。

图像经过特征融合单元321后，然后经过特征合并单元322以及目标区域提取单元323。作为一种实施方式，使用RPN网络从FPN得到的特征图中初步提出存在异常征象目标的区域。该RPN网络由1个卷积核大小为3×3的卷积层和2个1×1卷积层构成，其中，2个1×1卷积层是3×3的卷积层后面的两个分支，一个用来预测特征图上每一个点的类别，即属于前景和背景的概率，前景是指含有检测目标，背景是不含有检测目标，并将预测有前景目标的区域作为候选目标区域；另一个是来预测特征图上每一个点的所在目标区域的平移缩放参数。然后，根据RPN提出的候选目标区域，在相应的特征图上裁剪出区域特征图。

图像经过特征合并单元322以及目标区域提取单元323之后，然后经过异常征象检测单元324。作为一种实施方式，可以使用RCNN网络对于区域特征图精修目标区域位置和目标区域类别。异常征象检测单元324由2个1024个节点的全连接层线性连接，然后有个两条支路，一条是2个节点的全连接层，用来预测目标区域的类别，另一条是4个节点的全连接层，用来预测目标区域的平移缩放参数。最终得到目标图像中异常征象的位置信息以及类别信息。

应理解，根据需求以及应用场景的变化，图3示出的异常征象检测模型的结构可以有其他变形，并且，卷积层的大小和核个数可以根据实际情况设定，本申请实施例对此不作具体限定。

基于上述预先训练的异常征象检测模型，图像检测装置10执行图像检测方法。请参照图6，图6为本申请实施例提供的一种图像检测方法流程示意图，图6示出的方法利用图3中的异常征象检测模型检测目标图像中的异常征象，并输出异常征象在目标图像中的位置信息以及类别信息作为检测结果。该方法可以用于检测一个或多个类别的异常征象。需要指出，在方法的步骤S601执行之前，异常征象检测模型已经训练好。该方法包括：

步骤S601：获取目标图像。

在具体的实施过程中，图像检测装置中的第一获取模块获取目标图像，其中，目标图像中可以包括异常征象，也可以不包括异常征象。第一获取模块获取目标图像的方式与第四获取模块获取样本图像的方式类似，本申请实施例不作具体叙述。需要说明的是，目标图像可以为图像检测装置自身采集获取，也可以为外部设备采集后发送给图像采集装置。

获取的目标图像可以为经过预先处理的图像，其中，预先处理的方式可以包括重缩放、直方图均衡化处理等。作为一种实施方式，可以将采集到的图像进行尺度调整为600、800、1000以及1200大小。

步骤S602：利用预先训练的异常征象检测模型中的特征提取模块对所述目标图像进行特征提取，并获得每个支路卷积单元分别对应的特征图。

在具体的实施过程中，图像检测装置中的第二获取模块将目标图像输入特征提取模块中进行特征提取，输出的结果为特征提取模块中每个支路卷积单元对应的特征图。由于每一个支路卷积单元的膨胀率不相同，对于不同尺度的特征的提取能力也不相同。因此，经过多个膨胀率不同的支路卷积单元，得到的特征图中的特征提取结果不相同，通过后续步骤的特征融合等步骤，可以增加该神经网络模型学习多尺度目标特征的能力，从而使在图像中包含大小相差较大的检测目标时，模型的检测结果误差较小。

其中，步骤S602可以由两种实现方式，根据异常征象检测模型结构的不同有不同的方式：

第一种，利用所述特征提取模块中的多个支路卷积单元对所述目标图像进行特征提取，并获得每个支路卷积单元分别对应的特征图。

在具体的实施过程中，第一步，经过第一卷积子单元中的四个残差模块，进行进一步的特征提取，得到第三特征图像。第二步，经过第二卷积子单元中的二十三个残差模块，再进行进一步的特征提取，得到第四特征图像。第三步，经过第三卷积子单元中的三个残差模块，进行最后一步的特征提取，得到第五特征图像。

第二种，利用所述特征提取模块中的预卷积模块对所述目标图像进行预卷积处理，并利用所述特征提取模块中的所述多个支路卷积单元分别对所述目标图像进行特征提取，获得所述每个支路卷积单元分别对应的所述特征图。

在具体的实施过程中，第一步，可以经过预处理单元中的第四卷积子单元，首先经过卷积层进行卷积提取特征；然后经过归一化层，从而加速网络训练，减少过拟合的发生；最后经过Relu层，得到第一特征图像。第二步，可以经过预处理单元中的第五卷积子单元，首先最大池化层进行大值池化，实现该层输入特征尺寸的减小然后经过三个的残差模块进一步提取特征，得到第二特征图像。第三步，可以分别经过三条支路卷积单元，在每一个支路卷积单元中，首先经过第一卷积子单元中的四个残差模块，进行进一步的特征提取，得到第三特征图像；其次经过第二卷积子单元中的二十三个残差模块，再进行进一步的特征提取，得到第四特征图像；最后经过第三卷积子单元中的三个残差模块，进行最后一步的特征提取，得到第五特征图像。

步骤S603：利用所述预先训练的异常征象检测模型中的检测模块对所述特征图进行异常征象检测，获取所述目标图像中异常征象的第一位置信息以及第一类别信息。

在具体的实施过程中，图像检测装置中的第三获取模块可以将经过特征提取模块后输出的特征图输入检测模块对上述特征图进行处理，最终检测出图像中的异常征象。其中，请参照图7，图7为本申请实施例提供的另一种图像检测方法流程示意图，步骤S603可以包括如下步骤：

步骤S701：利用所述特征融合单元对多个特征图进行特征融合，获得多个特征融合图。

在具体的实施过程中，第三获取模块可以使用特征金字塔网络对特征提取模块中得到的特征图进行由下至上的特征融合，达到能同时利用深阶段特征的强语义和浅阶段特征的高分辨率，从而实现对不同尺度目标的高质量检测效果。

步骤S702：利用所述特征合并单元对所述多个特征融合图进行特征合并，并利用所述检测单元中的目标区域提取单元对合并后的特征图进行目标区域提取，获得目标区域特征图。

在具体的实施过程中，第三获取模块首先使用RPN网络从FPN得到的特征图中初步提出存在异常征象目标的区域，然后，根据RPN提出的候选目标区域，在相应的特征图上裁剪出区域特征图。

步骤S703：利用所述异常征象检测单元对所述目标区域特征图进行检测，获得所述目标图像中所述异常征象的所述第一位置信息以及对应所述第一类别信息。

在具体的实施过程中，第三获取模块可以使用RCNN网络对于区域特征图精修目标区域位置和目标区域类别，最终得到目标图像中异常征象的位置信息以及类别信息。

请参照图8，图8为本申请实施例提供的电子设备实体结构示意图，所述电子设备可以包括：至少一个处理器810，至少一个通信接口820，至少一个存储830和至少一个通信总线840。其中，所述通信总线840用于实现这些组件直接的连接通信，所述通信接口820用于与其他节点设备进行信令或数据的通信，所述存储器830存储有所述处理器810可执行的机器可读指令。当所述电子设备运行时，所述处理器810与所述存储器830之间通过通信总线840通信，所述机器可读指令被所述处理器810执行时执行本申请实施例提供的第一获取模块、第二获取模块以及第三获取模块执行的方法步骤。

处理器810可以是一种集成电路芯片，具有信号处理能力。上述处理器810可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器830可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述实施例中各模块执行的方法步骤，例如包括：获取目标图像；利用预先训练的异常征象检测模型中的特征提取模块对所述目标图像进行特征提取，获得每个支路卷积单元分别对应的特征图；利用所述预先训练的异常征象检测模型中的检测模块对所述特征图进行异常征象检测，获取所述目标图像中异常征象的第一位置信息以及第一类别信息。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种图像检测装置，其特征在于，包括：

第一获取模块，用于获取目标图像；

第二获取模块，用于利用预先训练的异常征象检测模型中的特征提取模块对所述目标图像进行特征提取，所述特征提取模块包括多个支路卷积单元；以及还用于获得每个支路卷积单元分别对应的特征图；其中，所述多个支路卷积单元中的所述多个支路卷积单元的膨胀率不完全相同；

第三获取模块，用于利用所述预先训练的异常征象检测模型中的检测模块对所述特征图进行异常征象检测，获取所述目标图像中异常征象的第一位置信息以及第一类别信息。

2.根据权利要求1所述的图像检测装置，其特征在于，所述每个支路卷积单元包括：依次连接的第一卷积子单元、第二卷积子单元以及第三卷积子单元；

所述第一卷积子单元包括第一预设数量的残差模块；其中，每一个所述残差模块包括多个卷积归一层，每一个所述卷积归一层包括卷积层、归一化层以及Relu层；

所述第二卷积子单元包括第二预设数量的所述残差模块；

所述第三卷积子单元包括第三预设数量的所述残差模块。

3.根据权利要求2所述的图像检测装置，其特征在于，所述第一卷积子单元、所述第二卷积子单元以及所述第三卷积子单元为可变形卷积子单元。

4.根据权利要求1所述的图像检测装置，其特征在于，所述特征提取模块还包括预卷积单元；

所述预卷积单元包括：依次连接的第四卷积子单元以及第五卷积子单元，所述第五卷积子单元与所述支路卷积单元连接；

所述第四卷积子单元包括：卷积归一层；其中，所述卷积归一层包括卷积层、归一化层以及Relu层；

所述第五卷积子单元包括最大池化层以及第四预设数量的残差模块，每一个所述残差模块包括多个所述卷积归一层。

5.根据权利要求4所述的图像检测装置，其特征在于，所述第二获取模块具体用于：

利用所述特征提取模块中的预卷积模块对所述目标图像进行预卷积处理，并利用所述特征提取模块中的所述多个支路卷积单元分别对所述目标图像进行特征提取，获得所述每个支路卷积单元分别对应的所述特征图。

6.根据权利要求1所述的图像检测装置，其特征在于，所述检测模块包括：依次连接的特征融合单元、特征合并单元、目标区域提取单元以及异常征象检测单元；

所述第三获取模块具体用于：

利用所述特征融合单元对多个特征图进行特征融合，获得多个特征融合图；

利用所述特征合并单元对所述多个特征融合图进行特征合并，并利用所述检测单元中的目标区域提取单元对合并后的特征图进行目标区域提取，获得目标区域特征图；

利用所述异常征象检测单元对所述目标区域特征图进行检测，获得所述目标图像中所述异常征象的所述第一位置信息以及对应所述第一类别信息。

7.根据权利要求1所述的图像检测装置，其特征在于，所述装置还包括：

第四获取模块，用于获取多个第一样本图像；其中，所述第一样本图像包括第一样本图像的异常征象、所述第一样本图像的异常征象的第二位置信息以及第二类别信息；

预处理模块，用于对每一第一样本图像进行预处理，得到与所述每一第一样本图像对应的第二样本图像；

输出模块，用于将所述第二样本图像输入到预先建立的神经网络模型中，并输出所述第一样本图像的异常征象的第三位置信息以及第三类别信息；

第一计算模块，用于根据所述第二位置信息以及所述第三位置信息计算位置预测损失，并根据所述第二类别信息以及所述第三类别信息计算分类预测损失；

第一调整模块，用于基于所述位置预测损失以及所述分类预测损失计算总预测损失，并基于所述总预测损失调整所述预先建立的神经网络模型的参数，以获得所述异常征象检测模型。

8.根据权利要求7所述的图像检测装置，其特征在于，所述第一调整模块具体用于：

计算所述第二样本图像的像素面积；

将所述像素面积与多个预设范围进行比较，根据比较结果将与所述像素面积对应的第二样本图像输入到所述多个支路卷积单元中与预设范围对应的支路卷积单元中，以调整所述预先建立的神经网络模型的所述参数。

9.根据权利要求7所述的图像检测装置，其特征在于，所述预处理模块具体用于：

对所述第一样本图像进行尺度调整，得到第三样本图像；

对所述第三样本图像进行直方图均衡化处理，得到所述第二样本图像。

10.根据权利要求9所述的图像检测装置，其特征在于，所述预处理模块具体用于：

计算所述第三样本图像的灰度直方图；

根据所述灰度直方图计算所述第三样本图像的累计直方图；

根据所述累计直方图对所述第三样本图像进行均衡化调整。