CN111583180A

CN111583180A - 一种图像的篡改识别方法、装置、计算机设备及存储介质

Info

Publication number: CN111583180A
Application number: CN202010263359.3A
Authority: CN
Inventors: 李冠东; 马文聘; 杨现; 叶进进
Original assignee: Suning Cloud Computing Co Ltd
Current assignee: Suning Cloud Computing Co Ltd
Priority date: 2020-04-03
Filing date: 2020-04-03
Publication date: 2020-08-25
Anticipated expiration: 2040-04-03
Also published as: CN111583180B

Abstract

本发明公开了一种图像的篡改识别方法、装置、计算机设备及存储介质，该方法包括：获取待识别图像的图像格式信息，根据图像格式信息确定用于识别待识别图像的识别模型中的检测模型的目标输出阈值，识别模型包括检测模型与分类模型级联的模型，结合图像格式信息利用识别模型对待识别图像进行识别，获取识别结果，其中，识别模型中的检测模型的输出阈值为目标输出阈值。本发明通过图像算法智能分析，先对待识别图像进行篡改区域检测，再对篡改区域进行篡改分类的方式，快速有效定位问题图像，减少因篡改的图像给企业等带来的不必要损失。

Description

一种图像的篡改识别方法、装置、计算机设备及存储介质

技术领域

本发明涉及图像识别技术领域，特别涉及一种图像的篡改识别方法、装置、计算机设备及存储介质。

背景技术

随着图像编辑技术和编辑软件的进步，对图像生成过程进行低成本的篡改现象已普遍存在。部分造假者还会利用这些手段，对扫描函的内容进行修改，以应用于商业或政治目的。有时，造假者还会在这些篡改操作之后使用图像后处理技术如高斯平滑等，对篡改的文字痕迹进行遮盖。如此，大大增加了区分真实扫描函和被篡改的函件图像的难度。

目前的图像检测算法主要有传统算法和深度学习算法两大类，其各自存在一定应用场景的局限性：

(1)基于传统算法进行图像篡改检测，其特点是手工提取特征、建立算法模型、分析特征并分类。这种特征提取方式效果较差，阈值选取困难。且对于扫描函件中一些特定区域的篡改难以检测，如函件中篡改特征信息弱、类间距离小等情况。

(2)基于深度学习算法的图像检测技术，深度学习算法一般通过使用卷积神经网络提取特征，并通过Softmax进行分类。其应用范围较广，并在一些自然场景下的检测中取得了不错的效果。但在诸如扫描函篡改识别等一些特殊的应用场景中，难以使用深度学习技术直接检测识别。这是由于扫描函等文本图像与自然场景下的图像检测存在较大差异。扫描函图像中篡改区域较小，篡改和非篡改区域边界处差异化特征不明显，背景信息干扰严重。

因此，亟需提出一种新的图像的篡改识别方法，以解决上述问题。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种图像的篡改识别方法、装置、计算机设备及存储介质，以克服现有技术中存在的难以识别诸如扫描函等篡改区域较小、篡改和非篡改区域边界处差异化特征不明显的文本图像中是否存在篡改等问题。

为解决上述一个或多个技术问题，本发明采用的技术方案是：

第一方面，提供了一种图像的篡改识别方法，该方法包括如下步骤：

获取待识别图像的图像格式信息；

根据所述图像格式信息确定用于识别所述待识别图像的识别模型中的检测模型的目标输出阈值，所述识别模型包括检测模型与分类模型级联的模型；

结合所述图像格式信息利用所述识别模型对所述待识别图像进行识别，获取识别结果，其中，所述识别模型中的检测模型的输出阈值为所述目标输出阈值。

进一步的，在获取待识别图像的图像格式信息前，所述方法还包括：

获取待识别图像的属性信息，根据所述属性信息以及预设阈值判断所述待识别图像是否符合识别要求。

进一步的，所述根据所述图像格式信息确定用于识别所述待识别图像的识别模型中的检测模型的目标输出阈值包括：

检测所述图像格式信息中是否包含图像处理软件的信息，若包含，则将预设的第一阈值作为用于识别所述待识别图像的识别模型中的检测模型的目标输出阈值，否则，将预设的第二阈值作为用于识别所述待识别图像的识别模型中的检测模型的目标输出阈值，其中，所述第一阈值小于所述第二阈值。

进一步的，所述结合所述图像格式信息利用所述识别模型对所述待识别图像进行识别，获取识别结果包括：

所述识别模型中的检测模型对所述待识别图像进行是否存在篡改区域的检测，获取检测结果；

所述识别模型中的分类模型根据所述检测结果以及所述图像格式信息对所述待识别图像进行是识别，获取识别结果。

进一步的，所述识别模型中的分类模型根据所述检测结果以及所述图像格式信息对所述待识别图像进行是识别，获取识别结果包括：

若所述图像格式信息中存在篡改关键字且所述检测结果为存在篡改区域，则识别结果为篡改，若所述图像格式信息中不存在篡改关键字且所述检测结果为不存在篡改区域，则识别结果为非篡改，若所述图像格式信息中存在篡改关键字且所述检测结果为不存在篡改区域，或所述图像格式信息中不存在篡改关键字且所述检测结果为存在篡改区域，则识别结果为需人工介入。

第二方面，提供了一种图像的篡改识别装置，所述装置包括：

信息获取模块，用于获取待识别图像的图像格式信息；

阈值确定模块，用于根据所述图像格式信息确定用于识别所述待识别图像的识别模型中的检测模型的目标输出阈值，所述识别模型包括检测模型与分类模型级联的模型；

图像识别模块，用于结合所述图像格式信息利用所述识别模型对所述待识别图像进行识别，获取识别结果，其中，所述识别模型中的检测模型的输出阈值为所述目标输出阈值。

进一步的，所述装置还包括：

图像判断模块，用于获取待识别图像的属性信息，根据所述属性信息以及预设阈值判断所述待识别图像是否符合识别要求。

进一步的，所述图像识别模块包括：

图像检测单元，用于所述识别模型中的检测模型对所述待识别图像进行是否存在篡改区域的检测，获取检测结果；

图像分类单元，用于所述识别模型中的分类模型根据所述检测结果以及所述图像格式信息对所述待识别图像进行是识别，获取识别结果。

扫描函等文本图像的篡改识别技术，正是通过图像算法智能分析，快速有效定位问题函件，减少因篡改的函件给企业等带来的不必要损失

第三方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

获取待识别图像的图像格式信息；

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如下步骤：

获取待识别图像的图像格式信息；

本发明实施例提供的技术方案带来的有益效果是：

1、本发明实施例提供的图像的篡改识别方法、装置、计算机设备及存储介质，通过获取待识别图像的图像格式信息，根据所述图像格式信息确定用于识别所述待识别图像的识别模型中的检测模型的目标输出阈值，所述识别模型包括检测模型与分类模型级联的模型，结合所述图像格式信息利用所述识别模型对所述待识别图像进行识别，获取识别结果，其中，所述识别模型中的检测模型的输出阈值为所述目标输出阈值，通过图像算法智能分析，先对待识别图像进行篡改区域检测，再对篡改区域进行篡改分类的方式，快速有效定位问题图像，减少因篡改的图像给企业等带来的不必要损失；

2、本发明实施例提供的图像的篡改识别方法、装置、计算机设备及存储介质，通过识别模型中的分类模型根据检测结果以及图像格式信息对待识别图像进行是识别，获取识别结果，采用多级检测的设置有效减少人工参与图像审核量，且结合传统图像信息进行判定可以使结果更为准确。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的图像的篡改识别方法的流程图；

图2是根据一示例性实施例示出的结合图像格式信息利用识别模型对待识别图像进行识别，获取识别结果的流程图；

图3是根据一示例性实施例示出的检测模型的结构示意图；

图4是根据一示例性实施例示出的图像的篡改识别装置的结构示意图；

图5是根据一示例性实施例示出的计算机设备的内部结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于一些特殊场景下的篡改图像(如篡改的扫描函等文本图像，尤其是发票的扫描图像)存在篡改区域较小，篡改和非篡改区域边界处差异化特征不明显(即篡改特征信息弱、类间距离小)，背景信息干扰严重等现象。导致目前现有技术中的图像篡改识别方法对这些特殊场景下的篡改图像难以识别。

本申请创造性的提出，首先，通过目标检测算法(如EAST检测框架)实现对疑似篡改区域的标定。然后，通过分类模型(如CNN+GRU)实现对标定区域的分类，在分类阶段提供更强的约束信息(如检测是否存在篡改关键字)，保证了分类信息的有效性，在扫描函的图像篡改检测识别中取得了不错的效果，同时在一定程度上解决了人工审核效率较低的问题。

图1是根据一示例性实施例示出的图像的篡改识别方法的流程图，参照图1所示，该方法包括如下步骤：

S1：获取待识别图像的图像格式信息。

具体的，本发明实施例中，待识别图像主要包括扫描函等文本图像，如发票的扫描图像等。图像格式信息主要包括图像的exif信息。exif(Exchangeable Image File)为″可交换图像文件″的缩写，是一种图像文件格式，当中包含了专门为数码相机的照片而定制的元数据，可以记录数码照片的拍摄参数、缩略图及其他属性信息，它的数据存储与JPEG格式是完全相同的。exif信息就是由数码相机在拍摄过程中采集一系列的信息，然后把信息放置在我们熟知的JPEG/TIFF文件的头部，也就是说exif信息是镶嵌在JPEG/TIFF图像文件格式内的一组拍摄参数，主要包括摄影时的光圈、快门、ISO、时间等各种与当时摄影条件相关的讯息，相机品牌型号，色彩编码，拍摄时录制的声音以及全球定位系统(GPS)等信息。简单的说，它就好像是傻瓜相机的日期打印功能一样，只不过exif信息所记录的资讯更为详尽和完备。因此，若是待识别图像经由图像处理软件处理过，它的图像格式信息的头字段信息中会记录下图像处理软件的相关信息。

S2：根据所述图像格式信息确定用于识别所述待识别图像的识别模型中的检测模型的目标输出阈值，所述识别模型包括检测模型与分类模型级联的模型。

具体的，本发明实施例中，使用预先准备的训练数据分别训练获取一检测模型和一分类模型，然后将该检测模型与分类模型进行级联并测试，获取最终的识别模型。在使用识别模型对待识别图像进行篡改识别时，为了提高检测模型的准确率，需要先根据图像格式信息来为检测模型确定一目标输出阈值，然后将检测模型的输出阈值设置为该预设阈值。

S3：结合所述图像格式信息利用所述识别模型对所述待识别图像进行识别，获取识别结果，其中，所述识别模型中的检测模型的输出阈值为所述目标输出阈值。

具体的，同样的，在使用识别模型对待识别图像进行篡改识别时，为了提高分类结果的准确率，本发明实施例中，在分类阶段提供了更强的约束信息。具体实施时，分类模型在对待识别图像进行分类时，除了参考检测模型的检测结果外，还考虑了待识别图像的图像格式信息。因为，若是待识别图像经由图像处理软件或工具处理过，它的图像格式信息的头字段信息中会记录下图像处理软件或工具的相关信息。

作为一种较优的实施方式，本发明实施例中，在获取待识别图像的图像格式信息前，所述方法还包括：

具体的，为了提高识别的准确性，本发明实施例中，输入识别模型的待识别图像需符合预先设置的识别要求，只有符合该识别要求的待识别图像才可以使用该识别模型进行篡改识别，若是，不满足该待识别图像不满足该识别要求，则不可以使用该识别模型进行篡改识别。这需要说明的是，该根据属性信息以及预设阈值判断待识别图像是否符合识别要求，既可以单独判断，也可以将该判断过程设置于使用识别模型进行判断，用户可以根据实际需求进行设置，这里不做限制。

具体在实施时，可以通过图像的属性来判断待识别图像是否符合识别要求。首先，设置一预设阈值，然后将获取到的待识别图像的属性信息与该预设阈值进行比较，若是属性信息满足预设阈值，则判判定该待识别图像符合识别要求，否则，判定该待识别图像不符合识别要求。其中，属性信息包括但不限于图像的亮度值、尺寸等信息，这里不再一一列举。

作为一种较优的实施方式，本发明实施例中，所述根据所述图像格式信息确定用于识别所述待识别图像的识别模型中的检测模型的目标输出阈值包括：

具体的，由于若是待识别图像经由图像处理软件处理过，它的图像格式信息的头字段信息中会记录下图像处理软件的相关信息。因此，可以先检测图像格式信息中是否包含图像处理软件的信息，如检测图像的头字段信息中是否存在“Photoshop”或“Meitu”等信息。若存在，则说明该待识别图像经图像处理软件处理过，此可以给检测模型设置一较小的输出阈值(即第一阈值)，若不存在，则说明该待识别图像没有经图像处理软件处理过，此可以给检测模型设置一较大的输出阈值(即第二阈值)，这样可以使特征维度更敏感，提高识别的精准度。作为一种示例，当检测出图像格式信息中包含图像处理软件的信息时，令检测模型的目标输出阈值置为box_thresh＝0.05，当检测出图像格式信息中不包含图像处理软件的信息时，令检测模型的目标输出阈值置为box_thresh＝0.5。

作为一种较优的实施方式，本发明实施例中，所述结合所述图像格式信息利用所述识别模型对所述待识别图像进行识别，获取识别结果包括：

S301：所述识别模型中的检测模型对所述待识别图像进行是否存在篡改区域的检测，获取检测结果；

S302：所述识别模型中的分类模型根据所述检测结果以及所述图像格式信息对所述待识别图像进行是识别，获取识别结果。

具体的，本发明实施例中的图像的篡改识别方法，采用了将目标检测和图像分类的方法相结合的方式。先通过检测模型锁定待识别图像中的目标篡改区域，通过设计的分类模型提供有效约束信息，从而实现对待识别图像的篡改识别，大大提高了识别结果的精准度。

作为一种较优的实施方式，本发明实施例中，所述识别模型中的分类模型根据所述检测结果以及所述图像格式信息对所述待识别图像进行是识别，获取识别结果包括：

若所述图像格式信息中存在篡改关键字且所述检测结果为存在篡改区域，则识别结果为篡改，若所述图像格式信息中不存在篡改关键字且所述检测结果为不存在篡改区域，则识别结果为非篡改，若所述图像格式信息中存在篡改关键字且所述检测结果为不存在检测出篡改区域，或所述图像格式信息中不存在篡改关键字且所述检测结果为存在篡改区域，则识别结果为需人工介入。

具体的，由于扫描函等文本图像存在篡改区域较小，篡改和非篡改区域边界处差异化特征不明显(即篡改特征信息弱、类间距离小)，背景信息干扰严重等现象，这些因素会大大影响篡改识别的识别结果，因此，本发明实施例中，结合图像格式信息(如exif可交换图像文件信息)，采用多级检测的方式，设置了多种检测结果。例如，当exif头字段中包括篡改关键字且检测模型检测出篡改区域，则判定为篡改图像；当exif头字段不包含篡改关键字但检测模型检测出篡改区域、或exif头字段包含篡改关键字但检测模型未检测出篡改区域，则判定为人工介入；若exif头字段中不包含篡改关键字且检测模型未检测出篡改区域，则判定为非篡改图像。采用多级检测的设置有效减少人工参与图像审核量，且结合传统图像信息进行判定可以使结果更为准确。

作为一种较优的实施方式，本发明实施例中，所述方法还提供了一种识别模型的获取方法，包括：

采用预先准备的训练数据分别训练一检测模型和一分类模型，然后将所述检测模型与所述分类模型级联，获取识别模型。

具体的，通常一个文本检测方法可能包含多个过程，以基于anchor的方法为例，通常包含候选框提取，候选框过滤，bouding box回归，候选框合并等阶段，这无疑增加了文本检测精度的损失和时间的消耗，因此在文本检测任务上中间处理过程越多可能效果越差。而EAST检测框架在文本检测上仅包含全卷积网络生成文本行参数阶段和局部感知的非极大值(NMS)阶段，整个网络的精度和速度都有了提升。因此，在本发明实施例中，在训练检测模型时，选用EAST检测框架，这样可以极大减少锁定目标区域(主要指篡改区域)的时间，进而让整个业务流程的处理效率变高，其次EAST在扫描函目标区域的锁定上具有一定优势，因为目标区域往往是一小块局部区域，更利于EAST的检测。EAST网络分为特征提取，特征融合和输出层三大部分。

为例提高检测性能，在本发明实施例中，在基于EAST检测框架训练获取检测模型性，对EAST网络进行了一些改进，例如用dice loss替换balanced binary cross-entropy，使用resnet50作为基础特征提取网络，更改shrink策略进行多尺度训练，用于检测目标区域等。

具体进行检测模型的训练时，使用adamw优化器对模型进行优化。更改shrink策略，长边shrink 0.3，短边shrink 0.1，长短边采用不同shrink策略，短边多临近相应文字区域，多shrink以减少标注误差，长边多在两行之间，shrink太少，容易出现预测边界不准。进行多尺度训练，先用512训练，再在model基础上用640训练，引入多尺度信息。其中512，640为随机切割训练图像并resize的大小。

具体的，在训练分类模型时，可以搭建一个具有卷积层、池化层、GRU(循环神经网络)和全连接层的神经网络base_gru。如图3所示，该神经网络首先是数据输入层(inputLayer)，将数据打包后以小批量的形式输入至网络中。接着是一个卷积层和池化层，最大池化层(max-pooling)组合的方式不断迭代，然后接两组双向的GRU(循环神经网络)，一路正方向输入到GRU，一路反方向输入到GRU，将两组输出相加(add)，之后再一路正方向，一路反方向，将两组输出级联(concat)，以获取目标区域(篡改区域)丰富的上下文特征。最后是dropout层、全连接层和损失函数层，实现对目标区域的分类。

作为一种较优的实施方式，本发明实施例中，所述方法还提供了一种识别模型的训练数据获取方法，包括：

以扫描函为例，首先准备真是扫描图像和篡改后的扫描图像(如真实报销函和篡改报销函的扫描件图像)，建立扫描图像标注数据集，对上述图像进行标注，包括标注相应的篡改区域(如金额区域)的位置，并将数据分为篡改和非篡改两类。若篡改图像数据量不足，还可根据篡改方式的多样性，采用单字篡改、拼接、复制、擦除等多种方式对原始图像进行修改以生成篡改图像。

作为一种较优的实施方式，本发明实施例中，所述方法还提供了一种识别模型的训练数据的预处理方法，包括：

根据标注结果分别生成用于图像检测和分类的数据，并对样本数据进行图像预处理，如亮度增强、标注区域的多尺度拉伸以及扩充样本数据集等。例如，按照0.9、1.1、1.2、1.3、1.4、1.5、2的相对于宽高的比例，对篡改单字进行横向0.1，0.2相对于宽的比例，按中心点对切割出的标注区域进行多尺度拉伸将扩充后的数据集按比例划分为训练集、验证集和测试集，例如，将扩充后的数据集按4∶1的比例划分为训练集和测试集。训练集用于检测模型和分类模型的训练，验证集用来在训练过程中对模型进行校正，测试集用于对结果的测试。

图4是根据一示例性实施例示出的图像的篡改识别装置的结构示意图，参照图4所示，该装置包括：

信息获取模块，用于获取待识别图像的图像格式信息；

作为一种较优的实施方式，本发明实施例中，所述装置还包括：

作为一种较优的实施方式，本发明实施例中，所述图像识别模块包括：

作为一种较优的实施方式，本发明实施例中，所述阈值确定模块具体用于：

作为一种较优的实施方式，本发明实施例中，所述图像分类单元具体用于：

图5是根据一示例性实施例示出的计算机设备的内部结构示意图，参照图5所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种执行计划的优化方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

作为一种较优的实施方式，本发明实施例中，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取待识别图像的图像格式信息；

作为一种较优的实施方式，本发明实施例中，处理器执行计算机程序时还实现以下步骤：

本发明实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如下步骤：

获取待识别图像的图像格式信息；

作为一种较优的实施方式，本发明实施例中，所述计算机程序被处理器执行时，还实现如下步骤：

综上所述，本发明实施例提供的技术方案带来的有益效果是：

需要说明的是：上述实施例提供的图像的篡改识别装置在触发识别业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像的篡改识别装置与图像的篡改识别方法实施例属于同一构思，即该装置是基于该图像的篡改识别方法的，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种图像的篡改识别方法，其特征在于，所述方法包括如下步骤：

获取待识别图像的图像格式信息；

2.根据权利要求1所述的图像的篡改识别方法，其特征在于，在获取待识别图像的图像格式信息前，所述方法还包括：

3.根据权利要求1或2所述的图像的篡改识别方法，其特征在于，所述根据所述图像格式信息确定用于识别所述待识别图像的识别模型中的检测模型的目标输出阈值包括：

4.根据权利要求1或2所述的图像的篡改识别方法，其特征在于，所述结合所述图像格式信息利用所述识别模型对所述待识别图像进行识别，获取识别结果包括：

5.根据权利要求4所述的图像的篡改识别方法，其特征在于，所述识别模型中的分类模型根据所述检测结果以及所述图像格式信息对所述待识别图像进行是识别，获取识别结果包括：

6.一种图像的篡改识别装置，其特征在于，所述装置包括：

信息获取模块，用于获取待识别图像的图像格式信息；

7.根据权利要求6所述的图像的篡改识别装置，其特征在于，所述装置还包括：

8.根据权利要求6或7所述的图像的篡改识别装置，其特征在于，所述图像识别模块包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。