CN111415336A - 一种图像篡改识别方法、装置、服务器及存储介质 - Google Patents

Abstract

本申请实施例提供了图像篡改识别方法、装置、服务器及存储介质，该方法包括：从待识别图像中提取隐写分析特征向量；利用篡改图像识别网络基于隐写分析特征向量和待识别图像，得到识别结果和候选篡改区域的位置。实现了利用篡改图像识别网络对待识别图像是否为通过篡改得到的篡改图像进行识别，得到识别结果和候选篡改区域的位置，提升对待识别图像是否为通过篡改得到的篡改图像进行识别得到的识别结果的准确性，节省对待识别图像是否为通过篡改得到的篡改图像进行识别的成本。当识别结果指示待识别图像为通过篡改得到的篡改图像时，既识别出待识别图像为通过篡改得到的篡改图像，又可以识别出篡改区域的位置。

Description

一种图像篡改识别方法、装置、服务器及存储介质

技术领域

本申请涉及计算机领域，具体涉及图像篡改识别方法、装置、服务器及存储介质。

背景技术

在保险理赔阶段，最为关键的环节是对用户上传的与理赔相关的待识别图像的真实性即与理赔相关的待识别图像是否为通过篡改得到的篡改图像进行识别。目前，通常依靠审核人员以人工方式对展示在审核界面上的与理赔相关的图像的真实性进行识别。

然而，一方面，由于功能强大的图像编辑工具软件使得一些企图骗取理赔金的使用者在没有任何图像处理的背景知识情况下，可以很容易地对图像进行篡改，例如，车险核保环节将刮擦痕迹抹除、在医保理赔环节修改医疗票据金额等，审核人员很难去分辨，导致出现经过篡改的图像通过审核的情况，造成对与理赔相关的待识别图像是否为通过篡改得到的篡改图像进行识别得到的识别结果的准确性低。另一方面，需要识别的与理赔相关的待识别图像的数量很大，造成对与理赔相关的待识别图像是否为通过篡改得到的篡改图像进行识别的成本高。

发明内容

本申请实施例提供了图像篡改识别方法、装置、服务器及存储介质。

第一方面，本申请实施例提供了图像篡改识别方法，该方法包括：

从待识别图像中提取隐写分析特征向量；

利用篡改图像识别网络基于所述隐写分析特征向量和所述待识别图像，得到识别结果和候选篡改区域的位置，识别结果指示所述待识别图像是否为通过篡改得到的篡改图像，其中，所述篡改图像识别网络包括：

第一卷积神经网络，被配置为对所述待识别图像进行特征提取，得到候选篡改区域位置特征图；

第二卷积神经网络，被配置为对所述隐写分析特征向量进行特征提取，得到隐写分析特征图；

特征融合单元，被配置为基于所述候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征向量；

候选篡改区域确定单元，被配置为基于所述候选篡改区域位置特征图，确定所述待识别图像中的候选篡改区域的位置；

篡改图像识别单元，被配置为基于所述融合特征向量，计算所述待识别图像为通过篡改得到的篡改图像的概率，以及根据所述概率与概率阈值的比较结果，生成所述识别结果。

在一些实施例中，基于所述候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征向量包括：

基于所述候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征矩阵，融合特征矩阵中的矩阵元素为所述候选篡改区域位置特征图中的像素的像素值与所述隐写分析特征图中的与所述像素相对应的像素的像素值的乘积；

基于所述融合特征矩阵，生成融合特征向量。

在一些实施例中，基于所述融合特征矩阵，生成融合特征向量包括：

对所述融合特征矩阵进行最大池化处理，得到降维矩阵；

生成所述降维矩阵对应的候选融合特征向量；

对所述降维矩阵对应的候选融合特征向量进行归一化预处理，得到经过归一化预处理的向量；

对于经过归一化预处理的向量进行范数归一化处理，得到所述融合特征向量。

在一些实施例中，从待识别图像中提取隐写分析特征向量包括：

利用滤波器对所述待识别图像进行滤波，得到多个残差图像；

对每一个残差图像提取共生矩阵，得到多个共生矩阵；

对于多个共生矩阵中的每一个共生矩阵，对所述共生矩阵进行逐元素扫描重排，得到所述共生矩阵对应的列向量；

生成高维空域富模型特征向量，其中，每一个共生矩阵对应的列向量各自作为高维空域富模型特征向量的子特征向量；

对于高维空域富模型特征向量中的每一个子特征向量，对所述子特征向量进行随机投影，得到所述子特征向量对应的低维度向量；

将所有子特征向量对应的低维度向量进行拼接，得到隐写分析特征向量。

在一些实施例中，所述候选篡改区域确定单元为区域推荐网络，区域推荐网络用于基于所述候选篡改区域位置特征图进行边框回归，确定所述待识别图像中的候选篡改区域的位置。

在一些实施例中，篡改图像识别单元包括概率输出层；

基于所述融合特征向量，计算所述待识别图像为通过篡改得到的篡改图像的概率包括：

利用概率输出层基于所述融合特征向量，计算所述待识别图像为通过篡改得到的篡改图像的概率。

在一些实施例中，在利用篡改图像识别网络基于所述隐写分析特征向量和所述待识别图像，得到识别结果和候选篡改区域的位置之前，所述方法还包括：

对篡改图像识别网络进行训练，对篡改图像识别网络进行训练包括：

利用用于训练的图像和用于训练的图像的标注信息，对篡改图像识别网络进行训练，其中，当用于训练的图像为经过篡改的图像时，用于训练的图像的标注信息包括：所述用于训练的图像中的篡改区域的位置信息、指示所述用于训练的图像为通过篡改得到的篡改图像的指示信息，当用于训练的图像为未被篡改的图像时，用于训练的图像的标注信息包括：指示所述用于训练的图像不是通过篡改得到的篡改图像的指示信息。

第二方面，本申请实施例提供了图像篡改识别装置，该装置包括：

提取单元，被配置为：从待识别图像中提取隐写分析特征向量；

识别单元，被配置为：利用篡改图像识别网络基于所述隐写分析特征向量和所述待识别图像，得到识别结果和候选篡改区域的位置，识别结果指示所述待识别图像是否为通过篡改得到的篡改图像，其中，所述篡改图像识别网络包括：第一卷积神经网络，被配置为对所述待识别图像进行特征提取，得到候选篡改区域位置特征图；第二卷积神经网络，被配置为对所述隐写分析特征向量进行特征提取，得到隐写分析特征图；特征融合单元，被配置为基于所述候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征向量；候选篡改区域确定单元，被配置为基于所述候选篡改区域位置特征图，确定所述待识别图像中的候选篡改区域的位置；篡改图像识别单元，被配置为基于所述融合特征向量，计算所述待识别图像为通过篡改得到的篡改图像的概率，以及根据所述概率与概率阈值的比较结果，生成所述识别结果。

在一些实施例中，基于所述候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征向量包括：

基于所述候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征矩阵，融合特征矩阵中的矩阵元素为所述候选篡改区域位置特征图中的像素的像素值与所述隐写分析特征图中的与所述像素相对应的像素的像素值的乘积；

基于所述融合特征矩阵，生成融合特征向量。

在一些实施例中，基于所述融合特征矩阵，生成融合特征向量包括：

对所述融合特征矩阵进行最大池化处理，得到降维矩阵；

生成所述降维矩阵对应的候选融合特征向量；

对所述降维矩阵对应的候选融合特征向量进行归一化预处理，得到经过归一化预处理的向量；

对于经过归一化预处理的向量进行范数归一化处理，得到所述融合特征向量。

在一些实施例中，提取单元进一步被配置为：

利用滤波器对所述待识别图像进行滤波，得到多个残差图像；

对每一个残差图像提取共生矩阵，得到多个共生矩阵；

对于多个共生矩阵中的每一个共生矩阵，对所述共生矩阵进行逐元素扫描重排，得到所述共生矩阵对应的列向量；

生成高维空域富模型特征向量，其中，每一个共生矩阵对应的列向量各自作为高维空域富模型特征向量的子特征向量；

对于高维空域富模型特征向量中的每一个子特征向量，对所述子特征向量进行随机投影，得到所述子特征向量对应的低维度向量；

将所有子特征向量对应的低维度向量进行拼接，得到隐写分析特征向量。

在一些实施例中，所述候选篡改区域确定单元为区域推荐网络，区域推荐网络用于基于所述候选篡改区域位置特征图进行边框回归，确定所述待识别图像中的候选篡改区域的位置。

在一些实施例中，篡改图像识别单元包括概率输出层；

基于所述融合特征向量，计算所述待识别图像为通过篡改得到的篡改图像的概率包括：

利用概率输出层基于所述融合特征向量，计算所述待识别图像为通过篡改得到的篡改图像的概率。

在一些实施例中，图像篡改识别装置还包括：训练单元，被配置为：

对篡改图像识别网络进行训练，对篡改图像识别网络进行训练包括：

利用用于训练的图像和用于训练的图像的标注信息，对篡改图像识别网络进行训练，其中，当用于训练的图像为经过篡改的图像时，用于训练的图像的标注信息包括：所述用于训练的图像中的篡改区域的位置信息、指示所述用于训练的图像为通过篡改得到的篡改图像的指示信息，当用于训练的图像为未被篡改的图像时，用于训练的图像的标注信息包括：指示所述用于训练的图像不是通过篡改得到的篡改图像的指示信息。

本申请的实施例提供的图像篡改识别方法，通过从待识别图像中提取隐写分析特征向量；利用篡改图像识别网络基于所述隐写分析特征向量和所述待识别图像，得到识别结果和候选篡改区域的位置。实现了利用篡改图像识别网络对待识别图像是否为通过篡改得到的篡改图像进行识别，得到指示待识别图像是否为通过篡改得到的篡改图像的识别结果和候选篡改区域的位置，提升对待识别图像是否为通过篡改得到的篡改图像进行识别得到的识别结果的准确性，节省对待识别图像是否为通过篡改得到的篡改图像进行识别的成本。当识别结果指示待识别图像为通过篡改得到的篡改图像时，则候选篡改区域成为篡改区域，候选篡改区域的位置成为篡改区域的位置。从而，既识别出待识别图像为通过篡改得到的篡改图像，又可以识别出篡改区域的位置。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1示出了本申请实施例提供的图像篡改识别方法的一个的流程图；

图2示出了对待识别图像是否为通过篡改得到的篡改图像进行识别的一个流程示意图；

图3示出了本申请实施例提供的图像篡改识别装置的一个结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1是本申请实施例提供的图像篡改识别方法的一个的流程图。该方法的各个步骤可以由服务器执行，该方法包括以下步骤：

步骤101，从待识别图像中提取隐写分析特征向量。

在本申请中，待识别图像可以为用户上传的与理赔相关的图像。例如，在车险核保环节、医保理赔环节等环节，用户上传的与理赔相关的图像。

在本申请中，可以利用空域富模型(Spatial Rich Model，SRM)算法从待识别图像中提取隐写分析特征向量。

在一些实施例中，从待识别图像中提取隐写分析特征向量包括：利用滤波器对待识别图像进行滤波，得到多个残差图像；对每一个残差图像提取共生矩阵，得到多个共生矩阵；对于多个共生矩阵中的每一个共生矩阵，对该共生矩阵进行逐元素扫描重排，得到该共生矩阵对应的列向量；生成高维空域富模型特征向量，其中，每一个共生矩阵对应的列向量各自作为高维空域富模型特征向量的子特征向量；对于高维空域富模型特征向量中的每一个子特征向量，对该子特征向量进行随机投影，得到所述子特征向量对应的低维度向量；将所有子特征向量对应的低维度向量进行拼接，得到隐写分析特征向量。

在本申请中，可以利用空间富模型快速预测(Fast Projections of SpatialRich Model，FPSRM)算法从待识别图像中提取隐写分析特征向量。

具体地，可以利用空域富模型算法中的滤波器对待识别图像进行滤波，得到多个残差图像。

对每一个残差图像提取d阶共生矩阵，得到45个d阶共生矩阵。对于45个d阶共生矩阵中的每一个共生矩阵，对该共生矩阵进行逐元素扫描重排，得到该共生矩阵对应的列向量。

在得到每一个共生矩阵对应的列向量之后，可以生成高维空域富模型特征向量。

每一个共生矩阵对应的列向量各自作为高维空域富模型特征向量的子特征向量，高维空域富模型特征向量包括每一个共生矩阵对应的列向量。

对于高维空域富模型特征向量中的每一个子特征向量，对该子特征向量进行随机投影，得到该子特征向量对应的低维度向量。

在得到每一个子特征向量对应的低维度向量之后，将所有子特征向量对应的低维度向量进行拼接，得到隐写分析特征向量。

步骤102，利用篡改图像识别网络基于隐写分析特征向量和待识别图像，得到识别结果和候选篡改区域的位置。

在本申请中，篡改图像识别网络包括：第一卷积神经网络、第二卷积神经网络、特征融合单元、候选篡改区域确定单元、篡改图像识别单元。

在本申请中，篡改图像通过对原图像进行篡改得到。候选篡改区域可以是指待识别图像中的、可能为通过篡改得到的部分占据的区域。

在通过篡改图像识别网络得到待识别图像为通过篡改得到的篡改图像的概率之后，可以根据待识别图像为通过篡改得到的篡改图像的概率和概率阈值的比较结果，得到识别结果。

识别结果指示待识别图像是否为通过篡改得到的篡改图像。例如，识别结果的取值为0或1。当识别结果为0时，识别结果指示待识别图像不是通过篡改得到的篡改图像。当识别结果为1时，识别结果指示待识别图像是通过篡改得到的篡改图像。

当待识别图像为通过篡改得到的篡改图像的概率大于或等于概率阈值时，得到的识别结果指示待识别图像为通过篡改得到的篡改图像，当待识别图像为通过篡改得到的篡改图像的概率小于概率阈值时，得到的识别结果指示待识别图像不是通过篡改得到的篡改图像即待识别图像未被篡改。

当得到的识别结果指示待识别图像为通过篡改得到的篡改图像时，则候选篡改区域成为篡改区域，篡改区域可以是指待识别图像中的、通过篡改得到的部分占据的区域，候选篡改区域的位置成为篡改区域的位置。从而，通过篡改图像识别网络，既识别出待识别图像为通过篡改得到的篡改图像，又识别出待识别图像中的篡改区域的位置。

在本申请中，第一卷积神经网络的类型可以为深层卷积神经网络。第一卷积神经网络被配置为对待识别图像进行特征提取，得到候选篡改区域位置特征图。例如，第一卷积神经网络为Fast R-CNN网络。

在本申请中，第二卷积神经网络的类型可以为深层卷积神经网络。第二卷积神经网络被配置为进一步对隐写分析特征向量进行特征提取，得到隐写分析特征图。

在本申请中，特征融合单元被配置为基于候选篡改区域位置特征图和隐写分析特征图，生成融合特征向量。

在一些实施例中，基于候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征向量包括：基于候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征矩阵，融合特征矩阵中的矩阵元素为候选篡改区域位置特征图中的像素的像素值与隐写分析特征图中的与该像素相对应的像素的像素值的乘积；基于融合特征矩阵，生成融合特征向量。

融合特征矩阵通过将在候选篡改区域位置特征图和隐写分析特征图中的同一位置上的两个像素的像素值相乘得到。

对于候选篡改区域位置特征图中的每一个像素，该像素与隐写分析特征图中的一个像素相对应。该像素在候选篡改区域位置特征图中的位置与隐写分析特征图中的、与该像素相对应的像素在隐写分析特征图中的位置相同。

对于候选篡改区域位置特征图中的每一个像素，将该像素的像素值与隐写分析特征图中的、与该像素相对应的像素的像素值相乘，得到该像素的像素值与隐写分析特征图中的与该像素相对应的像素的像素值的乘积，将该乘积作为融合特征矩阵中的一个矩阵元素。

对于融合特征矩阵中的每一个矩阵元素，该矩阵元素为候选篡改区域位置特征图中的一个像素的像素值与隐写分析特征图中的与该像素相对应的像素的像素值的乘积，该矩阵元素在融合特征矩阵中的位置与该像素在候选篡改区域位置特征图中的位置相同，该矩阵元素在融合特征矩阵中的位置与隐写分析特征图中的与该像素相对应的像素在隐写分析特征图中的位置相同。

在得到融合特征矩阵之后，可以基于融合特征矩阵，生成融合特征向量。例如，可以融合特征矩阵进行池化处理，得到降维的矩阵，然后，将降维的矩阵进行进行向量化处理，得到融合特征向量。

在一些实施例中，基于融合特征矩阵，生成融合特征向量包括：对融合特征矩阵进行最大池化处理，得到降维矩阵；生成降维矩阵对应的候选融合特征向量；对降维矩阵对应的候选融合特征向量进行归一化预处理，得到经过归一化预处理的向量；对经过归一化预处理的向量进行范数归一化处理，得到融合特征向量。

融合特征矩阵通过将在候选篡改区域位置特征图和隐写分析特征图中的同一位置上的两个像素的像素值相乘得到。因此，融合特征矩阵可以相当于一个特征图，可以采用对在卷积神经网络中生成的特征图进行最大池化处理的方式对融合特征矩阵进行最大池化处理，得到降维矩阵。

在得到降维矩阵之后，可以对降维矩阵进行向量化处理，得到降维矩阵对应的候选融合特征向量。

对降维矩阵对应的候选融合特征向量进行归一化预处理，得到经过归一化预处理的向量。

降维矩阵对应的候选融合特征向量中的一个向量元素利用x表示，经过归一化预处理的向量中的、与该向量元素的位置相同的向量元素利用y表示。

当对降维矩阵对应的候选融合特征向量进行归一化预处理时，对于降维矩阵对应的候选融合特征向量中的一个向量元素，将该向量元素作为sign函数中的x的取值，计算出该向量元素对应的sign函数值，同时，对该向量元素的绝对值进行开方计算，得到该向量元素对应的开方结果，将该向量元素对应的sign函数值与该向量元素对应的开方结果的乘积作为经过归一化预处理的向量中的、与该向量元素的位置相同的向量元素。

对经过归一化预处理的向量进行范数归一化处理，得到融合特征向量。

范数归一化处理可以为L2范数归一化处理，对经过归一化预处理的向量进行范数归一化处理，得到融合特征向量可以为对经过归一化预处理的向量进行L2范数归一化处理，得到融合特征向量。

当对经过归一化预处理的向量进行L2范数归一化处理，得到融合特征向量时，首先计算经过归一化预处理的向量的L2范数。然后，对于经过归一化预处理的向量中的每一个向量元素，将该向量元素除以经过归一化预处理的向量的L2范数，得到融合特征向量中的向量元素。

经过归一化预处理的向量中的一个向量元素利用y表示，融合特征向量中的、与该向量元素的位置相同的向量元素利用z表示。z＝y/||y||₂，||y||₂表示经过归一化预处理的向量的L2范数。

当对经过归一化预处理的向量进行L2范数归一化处理，得到融合特征向量时，对于经过归一化预处理的向量中的一个向量元素，将该向量元素除以经过归一化预处理的向量的L2范数的商作为融合特征向量中的、与该向量元素的位置相同的向量元素。

在本申请中，篡改图像识别单元被配置为基于融合特征向量，计算待识别图像为通过篡改得到的篡改图像的概率，以及根据待识别图像为通过篡改得到的篡改图像的概率与概率阈值的比较结果，生成识别结果。

在一些实施例中，候选篡改区域确定单元为区域推荐网络(Region ProposalNetworks，RPN)，区域推荐网络用于基于候选篡改区域位置特征图进行边框回归，确定待识别图像中的候选篡改区域的位置。区域推荐网络输出候选篡改区域的位置。

在本申请中，篡改图像识别单元被配置为基于融合特征向量，输出待识别图像为通过篡改得到的篡改图像的概率。

例如，篡改图像识别单元可以为基于融合特征向量进行分类的支持向量机。基于融合特征向量进行分类的支持向量机可以被预先单独训练。基于融合特征向量进行分类的支持向量机的每一个训练样本为对通过第一卷积神经网络和第二卷积神经网络从图像中提取出的特征进行融合得到的融合特征向量。每一个训练样本的标注结果为以下之一：融合特征向量属于通过篡改得到的篡改图像、融合特征向量属于不是通过篡改得到的篡改图像。

在一些实施例中，篡改图像识别单元包括概率输出层；基于融合特征向量，计算待识别图像为通过篡改得到的篡改图像的概率包括：利用概率输出层基于融合特征向量，计算待识别图像为通过篡改得到的篡改图像的概率。

当基于融合特征向量，计算待识别图像为通过篡改得到的篡改图像的概率时，可以将融合特征向量输入到概率输出层即Softmax层，利用概率输出层基于该融合特征向量，计算待识别图像为通过篡改得到的篡改图像的概率，由概率输出层输出待识别图像为通过篡改得到的篡改图像的概率。

在一些实施例中，还包括：在利用篡改图像识别网络基于隐写分析特征向量和待识别图像，得到识别结果和候选篡改区域的位置之前，还包括：对篡改图像识别网络进行训练，对篡改图像识别网络进行训练包括：利用用于训练的图像和用于训练的图像的标注信息，对篡改图像识别网络进行训练，其中，当用于训练的图像为经过篡改的图像时，用于训练的图像的标注信息包括：用于训练的图像中的篡改区域的位置信息、指示用于训练的图像为通过篡改得到的篡改图像的指示信息，当用于训练的图像为未被篡改的图像时，用于训练的图像的标注信息包括：指示用于训练的图像不是通过篡改得到的篡改图像的指示信息。

在利用篡改图像识别网络基于隐写分析特征向量和待识别图像，得到待识别图像为通过篡改得到的篡改图像的概率和候选篡改区域的位置之前，可以预先利用多个用于训练的图像和多个用于训练的图像的标注信息对篡改图像识别网络进行训练。

对于每一个用于训练的图像，当该用于训练的图像为经过篡改的图像时，该用于训练的图像的标注信息包括：该用于训练的图像中的篡改区域的位置信息、指示该用于训练的图像为通过篡改得到的篡改图像的指示信息，当该用于训练的图像为未被篡改的图像时，用于训练的图像的标注信息包括：指示该用于训练的图像不是通过篡改得到的篡改图像的指示信息。

在本申请中，可以预先获取多个图像。例如，从保单的管理系统获取车险核保环节、医保理赔环节等环节用户上传的与理赔相关的图像。

可以首先对获取到的多个图像中的每一个图像进行脱敏处理，以去除每一个图像中的敏感信息。

然后，可以利用图像处理应用对获取到的所有图像中的一部分图像进行篡改处理，得到所有经过篡改的图像。

获取到的所有图像中的处于一部分图像之外的图像和所有经过篡改的图像作为用于训练的图像。

对于所有用于训练的经过篡改的图像中的每一个用于训练的经过篡改的图像，对于用于训练的经过篡改的图像中的篡改区域的位置，可以由标注人员在展示经过篡改的图像的标注界面中绘制指示经过篡改的图像中的篡改区域的位置的标注框，根据标注框在标注界面中的坐标，可以生成该用于训练的经过篡改的图像中的篡改区域的位置信息。

在每一次对篡改图像识别网络进行训练时，利用一个用于训练的图像和用于训练的图像的标注信息对篡改图像识别网络进行训练。

在每一次对篡改图像识别网络进行训练进行训练时，可以将从用于训练的图像提取出的隐写分析特征向量和用于训练的图像同时输入到篡改图像识别网络。由篡改图像识别网络预测出待识别图像为通过篡改得到的篡改图像的概率和候选篡改区域的位置。在篡改图像识别网络中，可以根据预测出待识别图像为通过篡改得到的篡改图像的概率与概率阈值的比较结果，得到指示用于训练的图像是否为通过篡改得到的篡改图像的预测结果，当预测出的待识别图像为通过篡改得到的篡改图像的概率大于或等于概率阈值时，得到的预测结果指示用于训练的图像为通过篡改得到的篡改图像，当预测出的待识别图像为通过篡改得到的篡改图像的概率小于概率阈值时，得到的预测结果指示用于训练的图像不是通过篡改得到的篡改图像。

在每一次对篡改图像识别网络进行训练进行训练时，计算得到的预测结果与用于训练的图像的标注信息中的指示信息之间的差异，当得到的预测结果指示用于训练的图像为通过篡改得到的篡改图像并且用于训练的图像的标注信息包括用于训练的图像中的篡改区域的位置信息时，可以进一步计算候选篡改区域的位置与用于训练的图像的标注信息中的篡改区域的位置信息之间的差异。

在每一次对篡改图像识别网络进行训练时，可以利用预设损失函数基于计算出的所有差异，计算出损失函取值，然后，根据损失函取值，进行反向传播，更新篡改图像识别网络中的与损失函取值相关的参数的参取值。

篡改图像识别网络中的与损失函取值相关的参数包括：第一卷积神经网络中的参数、第二卷积神经网络中的参数、候选篡改区域确定单元中的参数、篡改图像识别单元中的参数。

请参考图2，其示出了对待识别图像是否为通过篡改得到的篡改图像进行识别的一个流程示意图。

首先从待识别图像中提取出隐写分析特征向量。在从待识别图像提取出隐写分析特征向量之后，可以将隐写分析特征向量和待识别图像同时输入到篡改图像识别网络。

篡改图像识别网络中的第一卷积神经网络的类型可以为深层卷积神经网络，第一卷积神经网络可以称之为第一深层卷积神经网络。篡改图像识别网络中的第二卷积神经网络的类型可以为深层卷积神经网络，第二卷积神经网络可以称之为第二深层卷积神经网络。

在将隐写分析特征向量和待识别图像同时输入到篡改图像识别网络之后，由第一卷积神经网络对待识别图像进行特征提取，得到候选篡改区域位置特征图。由第二卷积神经网络进一步对隐写分析特征向量进行特征提取，得到隐写分析特征图。

在篡改图像识别网络中，对候选篡改区域位置特征图和隐写分析特征图进行特征融合。

同时，候选篡改区域位置特征图可以作为区域推荐网络的输入，区域推荐网络基于候选篡改区域位置特征图进行边框回归，确定候选篡改区域的位置，区域推荐网络输出候选篡改区域的位置。

在篡改图像识别网络中，基于融合特征向量，计算待识别图像为通过篡改得到的篡改图像的概率。可以将融合特征向量输入到概率输出层，利用概率输出层基于该融合特征向量，计算待识别图像为通过篡改得到的篡改图像的概率，由概率输出层输出待识别图像为通过篡改得到的篡改图像的概率。

请参考图3，其示出本申请实施例提供的图像篡改识别装置的一个结构示意图。本申请实施例提供的图像篡改识别装置中的各个单元完成的操作的具体实现方式可以参考方法实施例中描述的相应的操作的具体实现方式。

如图3所示，图像篡改识别装置包括：提取单元301，识别单元302。

提取单元301被配置为：从待识别图像中提取隐写分析特征向量；

识别单元302被配置为：利用篡改图像识别网络基于所述隐写分析特征向量和所述待识别图像，得到识别结果和候选篡改区域的位置，识别结果指示所述待识别图像是否为通过篡改得到的篡改图像，其中，所述篡改图像识别网络包括：第一卷积神经网络，被配置为对所述待识别图像进行特征提取，得到候选篡改区域位置特征图；第二卷积神经网络，被配置为对所述隐写分析特征向量进行特征提取，得到隐写分析特征图；特征融合单元，被配置为基于所述候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征向量；候选篡改区域确定单元，被配置为基于所述候选篡改区域位置特征图，确定所述待识别图像中的候选篡改区域的位置；篡改图像识别单元，被配置为基于所述融合特征向量，计算所述待识别图像为通过篡改得到的篡改图像的概率，以及根据所述概率与概率阈值的比较结果，生成所述识别结果。

在一些实施例中，基于所述候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征向量包括：

基于所述候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征矩阵，融合特征矩阵中的矩阵元素为所述候选篡改区域位置特征图中的像素的像素值与所述隐写分析特征图中的与所述像素相对应的像素的像素值的乘积；

基于所述融合特征矩阵，生成融合特征向量。

在一些实施例中，基于所述融合特征矩阵，生成融合特征向量包括：

对所述融合特征矩阵进行最大池化处理，得到降维矩阵；

生成所述降维矩阵对应的候选融合特征向量；

对所述降维矩阵对应的候选融合特征向量进行归一化预处理，得到经过归一化预处理的向量；

对于经过归一化预处理的向量进行范数归一化处理，得到所述融合特征向量。

在一些实施例中，提取单元进一步被配置为：

利用滤波器对所述待识别图像进行滤波，得到多个残差图像；

对每一个残差图像提取共生矩阵，得到多个共生矩阵；

对于多个共生矩阵中的每一个共生矩阵，对所述共生矩阵进行逐元素扫描重排，得到所述共生矩阵对应的列向量；

生成高维空域富模型特征向量，其中，每一个共生矩阵对应的列向量各自作为高维空域富模型特征向量的子特征向量；

对于高维空域富模型特征向量中的每一个子特征向量，对所述子特征向量进行随机投影，得到所述子特征向量对应的低维度向量；

将所有子特征向量对应的低维度向量进行拼接，得到隐写分析特征向量。

在一些实施例中，所述候选篡改区域确定单元为区域推荐网络，区域推荐网络用于基于所述候选篡改区域位置特征图进行边框回归，确定所述待识别图像中的候选篡改区域的位置。

在一些实施例中，篡改图像识别单元包括概率输出层；

基于所述融合特征向量，计算所述待识别图像为通过篡改得到的篡改图像的概率包括：

利用概率输出层基于所述融合特征向量，计算所述待识别图像为通过篡改得到的篡改图像的概率。

在一些实施例中，图像篡改识别装置还包括：训练单元，被配置为：

对篡改图像识别网络进行训练，对篡改图像识别网络进行训练包括：

利用用于训练的图像和用于训练的图像的标注信息，对篡改图像识别网络进行训练，其中，当用于训练的图像为经过篡改的图像时，用于训练的图像的标注信息包括：所述用于训练的图像中的篡改区域的位置信息、指示所述用于训练的图像为通过篡改得到的篡改图像的指示信息，当用于训练的图像为未被篡改的图像时，用于训练的图像的标注信息包括：指示所述用于训练的图像不是通过篡改得到的篡改图像的指示信息。

本申请还提供了一种服务器，该服务器可以配置有一个或多个处理器；存储器，用于存储一个或多个程序，一个或多个程序中可以包括用以执行上述实施例中描述的操作的指令。当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述实施例中描述的操作的指令。

本申请还提供了一种计算机可读介质，该计算机可读介质可以是服务器中所包括的；也可以是单独存在，未装配入服务器中。上述计算机可读介质承载有一个或者多个程序，当一个或者多个程序被服务器执行时，使得服务器执行上述实施例中描述的操作。

需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包括或存储程序的有形介质，该程序可以被消息执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多方面形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由消息执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包括的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行消息。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机消息的组合来实现。

以上描述仅为本请求的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术实施例，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术实施例。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术实施例。

Claims (10)

1.一种篡改图像识别方法，其特征在于，所述方法包括：

从待识别图像中提取隐写分析特征向量；

利用篡改图像识别网络基于所述隐写分析特征向量和所述待识别图像，得到识别结果和候选篡改区域的位置，识别结果指示所述待识别图像是否为通过篡改得到的篡改图像，其中，所述篡改图像识别网络包括：

第一卷积神经网络，被配置为对所述待识别图像进行特征提取，得到候选篡改区域位置特征图；

第二卷积神经网络，被配置为对所述隐写分析特征向量进行特征提取，得到隐写分析特征图；

特征融合单元，被配置为基于所述候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征向量；

候选篡改区域确定单元，被配置为基于所述候选篡改区域位置特征图，确定所述待识别图像中的候选篡改区域的位置；

篡改图像识别单元，被配置为基于所述融合特征向量，计算所述待识别图像为通过篡改得到的篡改图像的概率，以及根据所述概率与概率阈值的比较结果，生成所述识别结果。

2.根据权利要求1所述的方法，其特征在于，基于所述候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征向量包括：

基于所述候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征矩阵，融合特征矩阵中的矩阵元素为所述候选篡改区域位置特征图中的像素的像素值与所述隐写分析特征图中的与所述像素相对应的像素的像素值的乘积；

基于所述融合特征矩阵，生成融合特征向量。

3.根据权利要求2所述的方法，其特征在于，基于所述融合特征矩阵，生成融合特征向量包括：

对所述融合特征矩阵进行最大池化处理，得到降维矩阵；

生成所述降维矩阵对应的候选融合特征向量；

对所述降维矩阵对应的候选融合特征向量进行归一化预处理，得到经过归一化预处理的向量；

对经过归一化预处理的向量进行范数归一化处理，得到所述融合特征向量。

4.根据权利要求1所述的方法，其特征在于，从待识别图像中提取隐写分析特征向量包括：

利用滤波器对所述待识别图像进行滤波，得到多个残差图像；

对每一个残差图像提取共生矩阵，得到多个共生矩阵；

对于多个共生矩阵中的每一个共生矩阵，对所述共生矩阵进行逐元素扫描重排，得到所述共生矩阵对应的列向量；

生成高维空域富模型特征向量，其中，每一个共生矩阵对应的列向量各自作为高维空域富模型特征向量的子特征向量；

对于高维空域富模型特征向量中的每一个子特征向量，对所述子特征向量进行随机投影，得到所述子特征向量对应的低维度向量；

将所有子特征向量对应的低维度向量进行拼接，得到隐写分析特征向量。

5.根据权利要求1所述的方法，其特征在于，所述候选篡改区域确定单元为区域推荐网络，区域推荐网络用于基于所述候选篡改区域位置特征图进行边框回归，确定所述待识别图像中的候选篡改区域的位置。

6.根据权利要求1所述的方法，其特征在于，篡改图像识别单元包括概率输出层；

基于所述融合特征向量，计算所述待识别图像为通过篡改得到的篡改图像的概率包括：

利用概率输出层基于所述融合特征向量，计算所述待识别图像为通过篡改得到的篡改图像的概率。

7.根据权利要求1-6之一所述的方法，其特征在于，在利用篡改图像识别网络基于所述隐写分析特征向量和所述待识别图像，得到识别结果和候选篡改区域的位置之前，所述方法还包括：

对篡改图像识别网络进行训练，对篡改图像识别网络进行训练包括：

利用用于训练的图像和用于训练的图像的标注信息，对篡改图像识别网络进行训练，其中，当用于训练的图像为经过篡改的图像时，用于训练的图像的标注信息包括：所述用于训练的图像中的篡改区域的位置信息、指示所述用于训练的图像为通过篡改得到的篡改图像的指示信息，当用于训练的图像为未被篡改的图像时，用于训练的图像的标注信息包括：指示所述用于训练的图像不是通过篡改得到的篡改图像的指示信息。

8.一种图像篡改识别装置，其特征在于，所述装置包括：

提取单元，被配置为：从待识别图像中提取隐写分析特征向量；

识别单元，被配置为：利用篡改图像识别网络基于所述隐写分析特征向量和所述待识别图像，得到识别结果和候选篡改区域的位置，识别结果指示所述待识别图像是否为通过篡改得到的篡改图像，其中，所述篡改图像识别网络包括：第一卷积神经网络，被配置为对所述待识别图像进行特征提取，得到候选篡改区域位置特征图；第二卷积神经网络，被配置为对所述隐写分析特征向量进行特征提取，得到隐写分析特征图；特征融合单元，被配置为基于所述候选篡改区域位置特征图和所述隐写分析特征图，生成融合特征向量；候选篡改区域确定单元，被配置为基于所述候选篡改区域位置特征图，确定所述待识别图像中的候选篡改区域的位置；篡改图像识别单元，被配置为基于所述融合特征向量，计算所述待识别图像为通过篡改得到的篡改图像的概率，以及根据所述概率与概率阈值的比较结果，生成所述识别结果。

9.一种服务器，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images