CN107730546B - 一种图像深度特征确定方法及系统 - Google Patents

Abstract

本发明公开了一种图像深度特征确定方法及系统。该方法包括：提取深度卷积神经网络中各卷积层输出的特征图；计算各所述卷积层的层熵和相对层熵；根据各所述卷积层的层熵和相对层熵，从各所述卷积层中选取特征表达层；根据所述特征表达层输出的所述特征图构建深度特征描述子；对所述深度特征描述子进行编码处理，得到所述输入图像的深度特征表达。本发明提供的图像深度特征确定方法及系统具有泛化性强、处理过程简单的特点，能够获得具有鲁棒性与区分度的高层特征表达。

Description

一种图像深度特征确定方法及系统

技术领域

本发明涉及图像分析技术领域，特别是涉及一种图像深度特征确定方法及系统。

背景技术

如何获取鲁棒的特征表达一直是计算机视觉任务的重点。传统的手工特征均是根据特定任务设计的，适用于固定场景，迁移时，必须根据图像的特点对手工特征进行设计，随着不同的应用场景对模型设计做出相应的改变，泛化能力差且计算量大，因此，直接利用手工特征对目标进行表达，其精确性很难保证。

而深度学习通过模拟人脑视觉感知系统的层次结构，建立含有丰富隐层结构的机器学习模型，通过大量的数据训练，能够学习获得图像的本质特征。近年来，深度卷积神经网络(Deep Convolutional Neural Networks,DCNNs)快速发展，层次更深，性能更优，相比于手工特征，DCNNs能够抽取更具有区分度的特征，有效的对图像进行高层次的特征表达，被广泛应用在图像处理任务中。然而DCNNs在训练和测试时计算量大，耗时长，且训练时需要收集和标注大量的数据，因此，学者们开始关注从预训练模型中直接提取特征。研究发现卷积层能够从目标中提取局部特征，但是由于多层次的抽象和压缩这些特征很难保存在全连接层(fully-connected layer,fc layer)，而fc layer能够保留图像的全局特征和语义信息，但几何不变性较差。现有的特征层聚合方法仅仅是通过实验结果来选取最适合的特征层，聚合该层特征图形成特征描述子，过程繁琐且计算量大。

发明内容

本发明的目的是提供一种图像深度特征确定方法及系统，具有泛化性强且处理过程简单的特点。

为实现上述目的，本发明提供了如下方案：

一种图像深度特征确定方法，所述方法包括：

提取深度卷积神经网络中各卷积层输出的特征图，每个所述卷积层输出的所述特征图具有多个，所述深度卷积神经网络用于对输入图像进行特征表达；

计算各所述卷积层的层熵，所述层熵为所述卷积层输出的各所述特征图的图像熵的总和；

根据公式H^l＝H_l/[H(S_I)·n_o)]计算各所述卷积层的相对层熵，其中，H_l为第l层卷积层的层熵，I为输入图像，H(S_I)为所述输入图像I的图像熵，n_o为第l层卷积层输出的所述特征图的数量，H^l为第l层卷积层的相对层熵；

根据各所述卷积层的层熵和相对层熵，从各所述卷积层中选取特征表达层；

根据所述特征表达层输出的所述特征图构建深度特征描述子；

对所述深度特征描述子进行编码处理，得到所述输入图像的深度特征表达。

可选的，所述根据各所述卷积层的层熵和相对层熵，从各所述卷积层中选取特征表达层，具体包括：

计算所述深度卷积神经网络中所述卷积层的层熵的标准差；

构造特征层选择指标：

O^l＝H^l-σ(H)*l/[H(S_I)*n_o]

根据特征层选择指标公式O^l＝H^l-σ(H)*l/[H(S_I)*n_o]计算各所述卷积层的指标值，其中，O^l为第l层卷积层的指标值，σ(H)为深度卷积神经网络中所述卷积层的层熵的标准差；

选择所述指标值最小的所述卷积层作为所述特征表达层。

可选的，所述根据所述特征表达层所输出的所述特征图构建深度特征描述子，具体包括：

根据公式

计算所述特征表达层输出的所述特征图的重要度，其中，M(l_i)为第l层卷积层输出的第i个特征图的重要度，H(l_i)为第l层卷积层输出的第i个特征图的图像熵，λ为经验值，σ(l_i)为第l层卷积层输出的第i个特征图的像素值的标准差；

对所述特征表达层输出的各所述特征图的重要度由高到低进行排序；

保留重要度排名前50％的所述特征图，将重要度排名后50％的特征图置零，得到处理后的特征表达层；

提取处理后的所述特征表达层的深度特征描述子。

可选的，所述提取深度卷积神经网络中各卷积层输出的特征图，具体包括：

提取深度卷积神经网络中各卷积层输出的特征图

其中，

分别为第l层卷积层的第j个特征图和第l-1层卷积层的第i个特征图，W^l为第l层卷积层的卷积核，b^l表示偏差。

可选的，所述对所述深度特征描述子进行编码处理，得到所述输入图像的深度特征表达，具体包括：

利用k-means聚类方法确定所述特征表达层的码本C^l＝{c₁,c₂,...,c_i,...,c_k}；

根据公式

将深度特征描述子X^l＝{x₁,x₂,...,x_j,...,x_k}的每一描述子x_j与所述码本中最近的码字c_i进行分配；

根据公式

计算深度特征描述子x_j与对应码字c_i之间的残差v_i；

对残差v_i进行拼接，得到所述输入图像的深度特征表达。

本发明还提供了一种图像深度特征确定系统，所述系统包括：

特征图提取单元，用于提取深度卷积神经网络中各卷积层输出的特征图，每个所述卷积层输出的所述特征图具有多个，所述深度卷积神经网络用于对输入图像进行特征表达；

层熵计算单元，用于计算各所述卷积层的层熵，所述层熵为所述卷积层输出的各所述特征图的图像熵的总和；

相对层熵计算单元，用于根据公式H^l＝H_l/[H(S_I)·n_o)]计算各所述卷积层的相对层熵，其中，H_l为第l层卷积层的层熵，I为输入图像，H(S_I)为所述输入图像I的图像熵，n_o为第l层卷积层输出的所述特征图的数量，H^l为第l层卷积层的相对层熵；

特征表达层选取单元，用于根据各所述卷积层的层熵和相对层熵，从各所述卷积层中选取特征表达层；

深度特征描述子构建单元，用于根据所述特征表达层输出的所述特征图构建深度特征描述子；

深度特征表达确定单元，用于对所述深度特征描述子进行编码处理，得到所述输入图像的深度特征表达。

可选的，所述特征表达层选取单元，具体包括：

层熵标准差计算子单元，用于计算所述深度卷积神经网络中所述卷积层的层熵的标准差；

选取指标构建子单元，用于构造特征层选择指标：

O^l＝H^l-σ(H)*l/[H(S_I)*n_o]

指标值计算子单元，用于根据特征层选择指标公式O^l＝H^l-σ(H)*l/[H(S_I)*n_o]计算各所述卷积层的指标值，其中，O^l为第l层卷积层的指标值，σ(H)为深度卷积神经网络中所述卷积层的层熵的标准差；

特征表达层确定子单元，用于选择所述指标值最小的所述卷积层作为所述特征表达层。

可选的，所述深度特征描述子构建单元，具体包括：

特征图重要度计算子单元，用于根据公式

计算所述特征表达层输出的所述特征图的重要度，其中，M(l_i)为第l层卷积层输出的第i个特征图的重要度，H(l_i)为第l层卷积层输出的第i个特征图的图像熵，λ为经验值，σ(l_i)为第l层卷积层输出的第i个特征图像素值的标准差；

排序子单元，用于对所述特征表达层输出的各所述特征图的重要度由高到低进行排序；

特征表达层处理子单元，用于保留重要度排名前50％的所述特征图，将重要度排名后50％的特征图置零，得到处理后的特征表达层；

深度特征描述子构建子单元，用于提取处理后的所述特征表达层的深度特征描述子。

可选的，所述特征图提取单元，具体包括：

特征图提取子单元，用于提取深度卷积神经网络中各卷积层输出的特征图

其中，

分别为第l层卷积层的第j个特征图和第l-1层卷积层的第i个特征图，W^l为第l层卷积层的卷积核，b^l表示偏差。

可选的，所述深度特征表达确定单元，具体包括：

码本确定子单元，用于利用k-means聚类方法确定所述特征表达层的码本C^l＝{c₁,c₂,...,c_i,...,c_k}；

匹配子单元，用于根据公式

将深度特征描述子X^l＝{x₁,x₂,...,x_j,...,x_k}的每一描述子x_j与所述码本中最近的码字c_i进行分配；

残差计算子单元，用于根据公式

计算深度特征描述子x_j与对应码字c_i之间的残差v_i；

深度特征表达确定子单元，用于对残差v_i进行拼接，得到所述输入图像的深度特征表达。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的图像深度特征确定方法及系统，通过计算深度卷积神经网络中各卷积层的层熵与相对层熵，并根据各卷积层的层熵与相对层熵选取出最优的特征表达层，最后根据该最优的特征表达层的特征图形成特征描述子，得到图像的深度特征表达，由于本发明是通过计算各卷积层的层熵与相对层熵以及根据各卷积层的层熵与相对层熵选取的最优特征表达层，这使得本发明的计算量小、图像分析过程简单，而且，通过该方法得到的深度特征表达准确度高、泛化性强。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一的图像深度特征确定方法流程示意图；

图2为本发明实施例二的图像深度特征确定方法流程示意图；

图3为本发明实施例深度卷积神经网络的第一输入原图；

图4为对图3的深度卷积神经网络卷积层神经元的响应特征图；

图5为对图3的深度卷积神经网络另一卷积层神经元的响应特征图；

图6为本发明实施例利用VGG-16对绝缘子红外图像计算层熵的结果图；

图7为本发明实施例深度卷积神经网络的第二输入原图；

图8为本发明实施例对图8进行深度特征表达的结果图；

图9为本发明实施例深度卷积神经网络的第三输入原图；

图10为对图9进行深度特征表达的结果图。

图11为本发明实施例图像深度特征确定系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种图像深度特征确定方法及系统，具有泛化性强且处理过程简单的特点。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例一的图像深度特征确定方法流程示意图，如图1所示，本发明提供的图像深度特征确定方法步骤具体如下：

步骤101：提取深度卷积神经网络中各卷积层输出的特征图，每个所述卷积层输出的所述特征图具有多个，所述深度卷积神经网络用于对输入图像进行特征表达；

步骤102：计算各所述卷积层的层熵，所述层熵为所述卷积层输出的各所述特征图的图像熵的总和；

步骤103：根据公式H^l＝H_l/[H(S_I)·n_o)]计算各所述卷积层的相对层熵，其中，H_l为第l层卷积层的层熵，I为输入图像，H(S_I)为所述输入图像I的图像熵，n_o为第l层卷积层输出的所述特征图的数量，H^l为第l层卷积层的相对层熵；

步骤104：根据各所述卷积层的层熵和相对层熵，从各所述卷积层中选取特征表达层；

步骤105：根据所述特征表达层输出的所述特征图构建深度特征描述子；

步骤106：对所述深度特征描述子进行编码处理，得到所述输入图像的深度特征表达。

其中，步骤101提取深度卷积神经网络中各卷积层输出的特征图，具体包括：

提取深度卷积神经网络中各卷积层输出的特征图

其中，

分别为第l层卷积层的第j个特征图和第l-1层卷积层的第i个特征图，W^l为第l层卷积层的卷积核，b^l表示偏差。

步骤104根据各所述卷积层的层熵和相对层熵，从各所述卷积层中选取特征表达层，具体包括：

计算所述深度卷积神经网络中所述卷积层的层熵的标准差；

构造特征层选择指标：

O^l＝H^l-σ(H)*l/[H(S_I)*n_o]

根据特征层选择指标公式O^l＝H^l-σ(H)*l/[H(S_I)*n_o]计算各所述卷积层的指标值，其中，O^l为第l层卷积层的指标值，σ(H)为深度卷积神经网络中所述卷积层的层熵的标准差；

选择所述指标值最小的所述卷积层作为所述特征表达层。

步骤105根据所述特征表达层所输出的所述特征图构建深度特征描述子，具体包括：

根据公式

计算所述特征表达层输出的所述特征图的重要度，其中，M(l_i)为第l层卷积层输出的第i个特征图的重要度，H(l_i)为第l层卷积层输出的第i个特征图的图像熵，λ为经验值，σ(l_i)为第l层卷积层输出的第i个特征图的像素值的标准差；

对所述特征表达层输出的各所述特征图的重要度由高到低进行排序；

保留重要度排名前50％的所述特征图，将重要度排名后50％的特征图置零，得到处理后的特征表达层；

提取处理后的所述特征表达层的深度特征描述子。

步骤106对所述深度特征描述子进行编码处理，得到所述输入图像的深度特征表达，具体包括：

利用k-means聚类方法确定所述特征表达层的码本C^l＝{c₁,c₂,...,c_i,...,c_k}；

根据公式

将深度特征描述子X^l＝{x₁,x₂,...,x_j,...,x_k}的每一描述子x_j与所述码本中最近的码字c_i进行分配；

根据公式

计算深度特征描述子x_j与对应码字c_i之间的残差v_i；

对残差v_i进行拼接，得到所述输入图像的深度特征表达。

作为本发明的又一实施例，图2为本发明实施例二的图像深度特征确定方法流程示意图，如图2所示，具体步骤的详细描述如下：

步骤201：利用在ImageNet大规模数据库预训练的深度卷积神经网络模型作为特征提取基础模型，将输入图像输入深度卷积神经网络模型。

步骤202：深度特征提取

定义ε(·)为深度网络特征提取，则对于输入图像I，其大小为C×Q，提取的特征为：

F＝ε(I)

其中，F代表图像数据经过深度网络前向传递后各层神经元响应的特征图。在深度卷积神经网络中，对于第l个卷积层，通过一个大小为k_l×k_l的卷积核与前一层的M_l-1个输入特征图进行卷积操作，并通过非线性函数对和进行变换：

其中，

分别为第l层的第j个特征图和第l-1层的第i个特征图，W^l是大小为k_l×k_l的卷积核，b^l表示偏差，θ(·)是ReLU(RectifiedLinearUnit)函数:

步骤203：深度特征图抽取

对于输入大小为C×Q的输入图像I，其中，提取到第l层的特征图T_l是大小为c×q×d的三维张量，由d个特征图组成：

T_l＝{T₁,T₂,L,T_a}(a＝1,L,i,L,d)

T_i表示大小为c×q的特征图。

步骤204：卷积层层熵计算

为挖掘神经元的响应模式，首先将特征图元素规范化到0～255整型范围内，利用公式

计算特征图的图像熵。我们定义层熵为该卷积层的所有特征图的图像熵的总和。对于第l个卷积层，输出特征图个数为n_o，利用公式

计算第l个卷积层的层熵H_l。其中，l_i为第l层的第i个特征图，p_n表示灰度值n的像素出现的概率。

步骤205：相对层熵计算

首先利用公式

计算输入图像的图像熵H(S_I)，图像熵是特征模式的统计量，代表一幅图像的平均信息量，对于不同的输入图像，不同特征层的层熵也会有差异，因此，本发明提出了相对层熵的概念，反映卷积层的层熵与输入图像之间的相对关系。定义相对层熵为某个卷积层层熵与输入图像的图像熵和该层特征图个数乘积的比值。利用公式H^l＝H_l/[H(S_I)·n_o)]计算每个卷积层的相对层熵。

步骤206：特征层选择

计算层熵的标准差：

其中，G为深度模型卷积层的总层数，μ为层熵均值。构造特征层选择的指标：

O^l＝H^l-σ(H)*l/[H(S_I)*n_o]

对于深度神经网络所有层根据指标值从低到高进行排序，选择指标值最小的层作为最终的特征表达层。

步骤207：深度特征图重要度计算

计算所选出的特征表达层特征图的标准差。构建特征图的两个量化指标：

x_i表示第i个元素的值，N为元素总数，μ为特征图元素均值。通过结合以上两种量化方法，可以得到特征图l_i的重要度，如下式所示:

λ为经验值对两项进行平衡。

步骤208：特征图排序

对于特征表达层的所有特征图根据重要度的量化指标从高到低进行排序，对特征图的信息量进行度量。

步骤209：深度描述子构建

基于特征图排序的结果，对特征图进行选择：对重要度排名前50％的特征图进行保留，后50％置零。根据选择结果，得到新的深度描述子。

步骤210：深度特征编码

在对深度网络中特征图进行选择之后，得到深度特征描述子集。利用k-means聚类方法训练得到第l层码本C^l＝{c₁,c₂,...,c_i,...,c_k}，该码本为k×D矩阵，由k个D维的码字构成。对于输入的图像I，首先提取深度局部描述子X^l＝{x₁,x₂,...,x_j,...,x_k}，进而将每一描述子x_j与最近码字c_i通过下式进行分配:

计算深度特征描述子x_j与对应码字c_i之间的残差：

对残差v_i进行拼接从而得到最终特征表达：

v＝[v₁,...,v_i,...,v_k]

步骤211：生成特征描述子，经过以上步骤处理之后，就可以获得深度特征v＝[v₁,...,v_i,...,v_k]。

图3为本发明实施例深度卷积神经网络的第一输入原图，第一输入原图为绝缘子红外图像。图4为对图3的深度卷积神经网络卷积层神经元的响应特征图，图5为对图3的深度卷积神经网络另一卷积层神经元的响应特征图，图4、图5显示了深度卷积神经网络不同卷积层神经元响应特征图，图6为本发明实施例利用VGG-16对绝缘子红外图像计算层熵的结果图，图7为本发明实施例深度卷积神经网络的第二输入原图，图8为本发明实施例对图8进行深度特征表达的结果图；图9为本发明实施例深度卷积神经网络的第三输入原图，第三输入原图为室内场景图像，图10为对图9进行深度特征表达的结果图。

本发明提供的图像深度特征确定方法在预训练的DCNNs模型的基础上，根据不同卷积层神经元响应模式，分析图像特征在深度网络传递中各层的表达，通过计算不同卷积层的层熵与相对层熵，选取最合适的卷积层用于图像的特征表达，并通过深度特征图重要度选择特征图个数，最后进行特征建模以构建更具有鲁棒性与区分度的高层特征，而且，具有泛化性强、处理过程简单的特点。

本发明还提供了一种图像深度特征确定系统，图11为本发明实施例图像深度特征确定系统的结构示意图，如图11所示，本发明提供的图像深度特征确定系统包括：

特征图提取单元1101，用于提取深度卷积神经网络中各卷积层输出的特征图，每个所述卷积层输出的所述特征图具有多个，所述深度卷积神经网络用于对输入图像进行特征表达；

层熵计算单元1102，用于计算各所述卷积层的层熵，所述层熵为所述卷积层输出的各所述特征图的图像熵的总和；

相对层熵计算单元1103，用于根据公式H^l＝H_l/[H(S_I)·n_o)]计算各所述卷积层的相对层熵，其中，H_l为第l层卷积层的层熵，I为输入图像，H(S_I)为所述输入图像I的图像熵，n_o为第l层卷积层输出的所述特征图的数量，H^l为第l层卷积层的相对层熵；

特征表达层选取单元1104，用于根据各所述卷积层的层熵和相对层熵，从各所述卷积层中选取特征表达层；

深度特征描述子构建单元1105，用于根据所述特征表达层输出的所述特征图构建深度特征描述子；

深度特征表达确定单元1106，用于对所述深度特征描述子进行编码处理，得到所述输入图像的深度特征表达。

其中，所述特征图提取单元1101，具体包括：

特征图提取子单元，用于提取深度卷积神经网络中各卷积层输出的特征图

其中，

分别为第l层卷积层的第j个特征图和第l-1层卷积层的第i个特征图，W^l为第l层卷积层的卷积核，b^l表示偏差。

所述特征表达层选取单元1104，具体包括：

层熵标准差计算子单元，用于计算所述深度卷积神经网络中所述卷积层的层熵的标准差；

选取指标构建子单元，用于构造特征层选择指标：

O^l＝H^l-σ(H)*l/[H(S_I)*n_o]

指标值计算子单元，用于根据特征层选择指标公式O^l＝H^l-σ(H)*l/[H(S_I)*n_o]计算各所述卷积层的指标值，其中，O^l为第l层卷积层的指标值，σ(H)为深度卷积神经网络中所述卷积层的层熵的标准差；

特征表达层确定子单元，用于选择所述指标值最小的所述卷积层作为所述特征表达层。

所述深度特征描述子构建单元1105，具体包括：

特征图重要度计算子单元，用于根据公式

计算所述特征表达层输出的所述特征图的重要度，其中，M(l_i)为第l层卷积层输出的第i个特征图的重要度，H(l_i)为第l层卷积层输出的第i个特征图的图像熵，λ为经验值，σ(l_i)为第l层卷积层输出的第i个特征图的像素值的标准差；

排序子单元，用于对所述特征表达层输出的各所述特征图的重要度由高到低进行排序；

特征表达层处理子单元，用于保留重要度排名前50％的所述特征图，将重要度排名后50％的特征图置零，得到处理后的特征表达层；

深度特征描述子构建子单元，用于提取处理后的所述特征表达层的深度特征描述子。

所述深度特征表达确定单元1106，具体包括：

码本确定子单元，用于利用k-means聚类方法确定所述特征表达层的码本C^l＝{c₁,c₂,...,c_i,...,c_k}；

匹配子单元，用于根据公式

将深度特征描述子X^l＝{x₁,x₂,...,x_j,...,x_k}的每一描述子x_j与所述码本中最近的码字c_i进行分配；

残差计算子单元，用于根据公式

计算深度特征描述子x_j与对应码字c_i之间的残差v_i；

深度特征表达确定子单元，用于对残差v_i进行拼接，得到所述输入图像的深度特征表达。

本发明提供的图像深度特征确定系统在预训练的DCNNs模型的基础上，根据不同卷积层神经元响应模式，分析图像特征在深度网络传递中各层的表达，通过计算不同卷积层的层熵与相对层熵，选取最合适的卷积层用于图像的特征表达，并通过深度特征图重要度选择特征图个数，最后进行特征建模以构建更具有鲁棒性与区分度的高层特征，而且，具有泛化性强、处理过程简单的特点。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种图像深度特征确定方法，其特征在于，所述方法包括：

提取深度卷积神经网络中各卷积层输出的特征图，每个所述卷积层输出的所述特征图具有多个，所述深度卷积神经网络用于对输入图像进行特征表达；

计算各所述卷积层的层熵，所述层熵为所述卷积层输出的各所述特征图的图像熵的总和；

根据公式H^l＝H_l/[H(S_I)·n_o)]计算各所述卷积层的相对层熵，其中，H_l为第l层卷积层的层熵，I为输入图像，H(S_I)为所述输入图像I的图像熵，n_o为第l层卷积层输出的所述特征图的数量，H^l为第l层卷积层的相对层熵；

根据各所述卷积层的层熵和相对层熵，从各所述卷积层中选取特征表达层，具体包括：

计算所述深度卷积神经网络中所述卷积层的层熵的标准差；

构造特征层选择指标：

O^l＝H^l-σ(H)*l/[H(S_I)*n_o]；

根据特征层选择指标公式O^l＝H^l-σ(H)*l/[H(S_I)*n_o]计算各所述卷积层的指标值，其中，O^l为第l层卷积层的指标值，σ(H)为深度卷积神经网络中所述卷积层的层熵的标准差；

选择所述指标值最小的所述卷积层作为所述特征表达层；

根据所述特征表达层输出的所述特征图构建深度特征描述子；

对所述深度特征描述子进行编码处理，得到所述输入图像的深度特征表达。

2.根据权利要求1所述的图像深度特征确定方法，其特征在于，所述根据所述特征表达层所输出的所述特征图构建深度特征描述子，具体包括：

根据公式

计算所述特征表达层输出的所述特征图的重要度，其中，M(l_i)为第l层卷积层输出的第i个特征图的重要度，H(l_i)为第l层卷积层输出的第i个特征图的图像熵，λ为经验值，σ(l_i)为第l层卷积层输出的第i个特征图像素值的标准差；

对所述特征表达层输出的各所述特征图的重要度由高到低进行排序；

保留重要度排名前50％的所述特征图，将重要度排名后50％的特征图置零，得到处理后的特征表达层；

提取处理后的所述特征表达层的深度特征描述子。

3.根据权利要求1所述的图像深度特征确定方法，其特征在于，所述提取深度卷积神经网络中各卷积层输出的特征图，具体包括：

提取深度卷积神经网络中各卷积层输出的特征图

其中，

F_i ^l-1分别为第l层卷积层的第j个特征图和第l-1层卷积层的第i个特征图，W^l为第l层卷积层的卷积核，b^l表示偏差。

4.根据权利要求1所述的图像深度特征确定方法，其特征在于，所述对所述深度特征描述子进行编码处理，得到所述输入图像的深度特征表达，具体包括：

利用k-means聚类方法确定所述特征表达层的码本

C^l＝{c₁,c₂,...,c_i,...,c_k}；

根据公式

将深度特征描述子X^l＝{x₁,x₂,...,x_j,...,x_k}的每一描述子x_j与所述码本中最近的码字c_i进行分配；

根据公式

计算深度特征描述子x_j与对应码字c_i之间的残差v_i；

对残差v_i进行拼接，得到所述输入图像的深度特征表达。

5.一种图像深度特征确定系统，其特征在于，所述系统包括：

特征图提取单元，用于提取深度卷积神经网络中各卷积层输出的特征图，每个所述卷积层输出的所述特征图具有多个，所述深度卷积神经网络用于对输入图像进行特征表达；

层熵计算单元，用于计算各所述卷积层的层熵，所述层熵为所述卷积层输出的各所述特征图的图像熵的总和；

相对层熵计算单元，用于根据公式H^l＝H_l/[H(S_I)·n_o)]计算各所述卷积层的相对层熵，其中，H_l为第l层卷积层的层熵，I为输入图像，H(S_I)为所述输入图像I的图像熵，n_o为第l层卷积层输出的所述特征图的数量，H^l为第l层卷积层的相对层熵；

特征表达层选取单元，用于根据各所述卷积层的层熵和相对层熵，从各所述卷积层中选取特征表达层，具体包括：

层熵标准差计算子单元，用于计算所述深度卷积神经网络中所述卷积层的层熵的标准差；

选取指标构建子单元，用于构造特征层选择指标：

O^l＝H^l-σ(H)*l/[H(S_I)*n_o]

指标值计算子单元，用于根据特征层选择指标公式O^l＝H^l-σ(H)*l/[H(S_I)*n_o]计算各所述卷积层的指标值，其中，O^l为第l层卷积层的指标值，σ(H)为深度卷积神经网络中所述卷积层的层熵的标准差；

特征表达层确定子单元，用于选择所述指标值最小的所述卷积层作为所述特征表达层

深度特征描述子构建单元，用于根据所述特征表达层输出的所述特征图构建深度特征描述子；

深度特征表达确定单元，用于对所述深度特征描述子进行编码处理，得到所述输入图像的深度特征表达。

6.根据权利要求5所述的图像深度特征确定系统，其特征在于，所述深度特征描述子构建单元，具体包括：

特征图重要度计算子单元，用于根据公式

计算所述特征表达层输出的所述特征图的重要度，其中，M(l_i)为第l层卷积层输出的第i个特征图的重要度，H(l_i)为第l层卷积层输出的第i个特征图的图像熵，λ为经验值，σ(l_i)为第l层卷积层输出的第i个特征图的像素值的标准差；

排序子单元，用于对所述特征表达层输出的各所述特征图的重要度由高到低进行排序；

特征表达层处理子单元，用于保留重要度排名前50％的所述特征图，将重要度排名后50％的特征图置零，得到处理后的特征表达层；

深度特征描述子构建子单元，用于提取处理后的所述特征表达层的深度特征描述子。

7.根据权利要求5所述的图像深度特征确定系统，其特征在于，所述特征图提取单元，具体包括：

特征图提取子单元，用于提取深度卷积神经网络中各卷积层输出的特征图

其中，

F_i ^l-1分别为第l层卷积层的第j个特征图和第l-1层卷积层的第i个特征图，W^l为第l层卷积层的卷积核，b^l表示偏差。

8.根据权利要求5所述的图像深度特征确定系统，其特征在于，所述深度特征表达确定单元，具体包括：

码本确定子单元，用于利用k-means聚类方法确定所述特征表达层的码本C^l＝{c₁,c₂,...,c_i,...,c_k}；

匹配子单元，用于根据公式

将深度特征描述子X^l＝{x₁,x₂,...,x_j,...,x_k}的每一描述子x_j与所述码本中最近的码字c_i进行分配；

残差计算子单元，用于根据公式

计算深度特征描述子x_j与对应码字c_i之间的残差v_i；

深度特征表达确定子单元，用于对残差v_i进行拼接，得到所述输入图像的深度特征表达。

Images