CN114820436A

CN114820436A - 篡改检测方法、装置、存储介质及电子设备

Info

Publication number: CN114820436A
Application number: CN202210249866.0A
Authority: CN
Inventors: 胡玉琛; 咸静; 王洪彬
Original assignee: Alipay Hangzhou Information Technology Co Ltd
Current assignee: Alipay Hangzhou Information Technology Co Ltd
Priority date: 2022-03-14
Filing date: 2022-03-14
Publication date: 2022-07-29

Abstract

本说明书公开了一种篡改检测方法、装置、存储介质及电子设备，其中，方法包括：通过篡改检测模型对输入的材料图像提取图像异常特征和对象属性特征，基于所述篡改检测模型对图像异常特征以及对象属性特征进行检测识别，就可以识别出并输出材料图像中的篡改区域。

Description

篡改检测方法、装置、存储介质及电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种篡改检测方法、装置、存储介质及电子设备。

背景技术

在日常事务中，常会涉及到身份认证场景。例如金融机构面向投资者发行理财产品会根据投资者的认证身份发行符合认证身份的理财产品。

目前，对于投资者的身份认证方式主要是：投资者先提交投资者认证材料，通过人工对投资者认证材料进行审核，在符合身份认证规则的情况下，授予投资者相应的身份，例如，授予合格投资者身份。

发明内容

本说明书提供了一种篡改检测方法、装置、存储介质及电子设备，所述技术方案如下：

第一方面，本说明书提供了一种篡改检测方法，所述方法包括：

将材料图像输入至篡改检测模型，以基于所述篡改检测模型提取所述材料图像中的图像异常特征以及对象属性特征；

通过所述篡改检测模型对所述图像异常特征以及所述对象属性特征进行检测识别，输出所述材料图像中的篡改区域。

第二方面，本说明书提供了一种篡改检测装置，所述装置包括：

特征提取模块，用于将所述材料图像输入至篡改检测模型，以基于所述篡改检测模型提取所述材料图像中的图像异常特征以及对象属性特征；

篡改确定模块，用于通过所述篡改检测模型对所述图像异常特征以及所述对象属性特征进行检测识别，输出所述材料图像中的篡改区域。

第三方面，本说明书提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本说明书提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

本申请一些实施例提供的技术方案带来的有益效果至少包括：

在本说明书一个或多个实施例中，通过将材料图像输入至篡改检测模型，仅使用篡改检测模型提取所述材料图像中的图像异常特征以及对象属性特征，然后通过所述篡改检测模型对所述图像异常特征以及所述对象属性特征进行检测识别，就可以识别并输出所述材料图像中的篡改区域。整个篡改检测，不依赖大量的材料同源图仅使用训练好的篡改检测模型就可以实现快速定位材料图像中的篡改区域，优化了篡改检测环节，提升了篡改检测的效率，节省了篡改检测的计算处理量，也保障了篡改检测的准确性。

附图说明

为了更清楚地说明本说明书或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书提供的一种篡改检测系统的场景示意图；

图2是本说明书提供的一种篡改检测方法的流程示意图；

图3是本说明书提供的一种篡改检测方法的流程示意图；

图4是本说明书提供的篡改检测方法涉及的一种篡改检测网络涉及的场景示意图；

图5是本说明书提供的篡改检测方法涉及的一种异常检测模块的场景示意图；

图6是本说明书提供的篡改检测方法涉及的一种特征融合模块的模块场景示意图；

图7是本说明书提供的一种篡改检测装置的结构示意图；

图8是本说明书提供的一种特征提取模块的结构示意图；

图9是本说明书提供的一种异常检测单元的结构示意图；

图10是本说明书提供的一种篡改确定模块的结构示意图；

图11是本说明书提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本说明书中的附图，对本说明书中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

在相关技术中，在材料认证审核场景(如投资者身份认证、保险线上理赔场景)中，用户先提交待审核的材料文件，然后由后台对材料文件进行认证审核，以确定是否认证审核通过。在认证审核过程中会涉及到对材料真实性以及是否篡改进行审核，可以是采用材料同源图搜索方案，由于在实际事务中很多造假材料图都是使用历史材料图进行篡改后或者直接提交，因此可以通过材料同源图搜索，找到两张相同或者极度相似的图片，从而找到篡改的材料图片，然而材料同源图搜索方案需要预先保存大量的历史材料图，数据处理量也巨大，处理效率也不高。

请参见图1，为本说明书提供的一种篡改检测系统的场景示意图。如图1所示，所述篡改检测系统至少可以包括客户端集群和服务平台100。

所述客户端集群可以包括至少一个客户端，如图1所示，具体包括用户1对应的客户端1、用户2对应的客户端2、…、用户n对应的客户端n，n为大于0的整数。

客户端集群中的各客户端可以是具备通信功能的电子设备，该电子设备包括但不限于：可穿戴设备、手持设备、个人电脑、平板电脑、车载设备、智能手机、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中电子设备可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，PDA)、5G网络或未来演进网络中的电子设备等。

所述服务平台100可以是单独的服务器设备，例如：机架式、刀片、塔式、或者机柜式的服务器设备，或采用工作站、大型计算机等具备较强计算能力硬件设备；也可以是采用多个服务器组成的服务器集群，所述服务集群中的各服务器可以是以对称方式组成的，其中每台服务器在事务链路中功能等价、地位等价，各服务器均可单独对外提供服务，所述单独提供服务可以理解为无需另外的服务器的辅助。

在本说明书的一个或多个实施例中，服务平台100与客户端集群中的至少一个客户端可建立通信连接，基于该通信连接完成篡改检测过程中数据的交互；示意性的，客户端集群中的客户端1可以通过通信连接向服务平台100上传用于材料认证的材料图像。服务平台100获取到用户通过客户端1上传的材料图像，然后可以将材料图像输入至篡改检测模型，以基于所述篡改检测模型来提取材料图像中的图像异常特征以及对象属性特征，通过篡改检测模型对图像异常特征以及所述对象属性特征进行检测识别，以识别并输出材料图像中的篡改区域。

需要说明的是，服务平台100与客户端集群中的至少一个客户端通过网络建立通信连接进行交互通信，其中，网络可以是无线网络，也可以是有线网络，无线网络包括但不限于蜂窝网络、无线局域网、红外网络或蓝牙网络，有线网络包括但不限于以太网、通用串行总线(universal serial bus，USB)或控制器局域网络。在说明书一个或多个实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible Markup Language，XML)等的技术和/或格式来代表通过网络交换的数据(如目标压缩包)。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet Protocol Security，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

本说明书所提供的篡改检测系统实施例与一个或多个实施例中的所述篡改检测方法属于同一构思，在说明书一个或多个实施例涉及的所述篡改检测方法对应的执行主体可以是上述服务平台100；在说明书一个或多个实施例涉及的所述篡改检测方法对应的执行主体也可以是客户端所对应的电子设备，具体基于实际应用环境确定。篡改检测系统实施例其体现实现过程可详见下述的方法实施例，这里不再赘述。

基于图1所示的场景示意图，下面对本说明书一个或多个实施例提供的篡改检测方法进行详细介绍。

请参见图2，为本说明书一个或多个实施例提供了一种篡改检测方法的流程示意图，该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的篡改检测装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。所述篡改检测装置可以为服务平台。

具体的，该篡改检测方法包括：

S102，将所述材料图像输入至篡改检测模型，以基于所述篡改检测模型提取所述材料图像中的图像异常特征以及对象属性特征；

所述材料图像可以是相应事务场景下所需的认证材料，在相应事务场景下通常对材料图像这类认证材料的真实性以及原始性要求较高。

可选的，材料图像可以是事务认证场景下的认证材料的图像，通常用户通过所持有的客户端进行事务认证时，需提供事务认证所需的认证材料，而通常认证材料以图像形式上传至服务平台；示意性的，用户通过所持有的客户端将认证材料对应的材料图像上传至服务平台，服务平台就可以获取到认证材料对应的材料图像。例如，保险理赔涉及的保险事务认证就会涉及到对上传的材料图像进行篡改检测。

可选的，基于实际应用场景，服务平台也可通过中继设备来获取客户端的材料图像；示意性的，客户端可以将材料图像提交或上传至中继设备，由中继设备统一整理上传至服务平台，此时服务平台就可以获取到材料图像。例如，中继设备可以是服务运营端、服务维护端等等。进一步的，然后服务平台可将材料图像输入至篡改检测模型进行篡改检测，以验证材料图像的真实性。

所述图像异常特征可以理解为模型提取出的图像篡改区域所对应的高频特征向量；所述图像异常特征可能是图像中存在复制痕迹特征、粘贴痕迹特征、覆盖痕迹特征、修改痕迹特征等呈现异常图像区域形态中的至少一种；示意性的，通过篡改检测模型可以识别出材料图像中原始未篡改部分与图像篡改部分的差异特征，并通过定位存在差异特征的区域可以提取出图像异常特征，这些图像异常特征通常可能是复制痕迹特征、粘贴痕迹特征、覆盖痕迹特征、修改痕迹特征等呈现异常图像区域形态中的至少一种，且可以以高维特征向量的形式表征。

所述对象属性特征为针对图像中目标对象的属性特征，对象属性特征可以是字体风格特征、段落风格特征、图像颜色特征、笔迹特征等等。

在本说明书的一个或多个实施例中，可以预先训练篡改检测模型，通过篡改检测模型可以实现对图像中对象属性特征以及图像异常特征的提取，并可基于提取出的对象属性特征以及图像异常特征进行篡改检测识别。

S104，通过所述篡改检测模型对所述图像异常特征以及所述对象属性特征进行检测识别，输出所述材料图像中的篡改区域。

在本说明书的一个或多个实施例中，所述篡改检测模型可以是一种基于神经网络的篡改检测模型，基于神经网络的篡改检测模型是由许多节点中各节点的简单非线性模拟处理要素密集互连配置而成的，是一种模仿了生物神经元的系统模型。所述神经网络模型通过使至少一个节点的输入与每一个节点的输出连接形成，类似于真实神经元的突触连接。每个神经元表达了一种特定的输出函数，即激励函数，每两个神经元之间的连接都包含一个连接强度，即作用于通过该连接的信号的加权值。

在本说明书的一个或多个实施例中，基于神经网络创建初始的篡改检测模型，通过获取大量的样本材料图像，其中样本材料图像由多组未篡改的原始图像和在该原始图像上篡改后的篡改图像构成并对篡改图像中的篡改区域标注区域标签，将样本材料图像输入至初始的篡改检测模型进行训练，篡改检测模型可以提取篡改图像的样本对象属性特征和样本异常信息特征，并对这些特征进行检测识别，得到所述材料图像中的篡改区域。在训练过程中并结合原始图像和标注的区域标签对篡改检测模型进行模型误差调整，在训练完成之后，可以得到训练之后的篡改检测模型，该篡改检测模型具有认证处理过程中对图像中异常信息特征和对象属性特征抽取、篡改语义知识概括、篡改特征识别、信息特征学习记忆的能力，通常神经网络模型学习到的信息或知识储存在每个单元节点之间的连接矩阵上。

可选的，所述篡改检测模型可以是基于卷积神经网络(Convolutional NeuralNetwork，CNN)模型，深度神经网络(DeepNeuralNetwork，DNN)模型、循环神经网络(RecurrentNeuralNetworks，RNN)、模型、嵌入(embedding)模型、梯度提升决策树(Gradient BoostingDecisionTree，GBDT)模型、逻辑回归(LogisticRegression，LR)模型等模型中的一种或多种的拟合实现的。

请参见图3，图3是本说明书一个或多个实施例提出的一种篡改检测方法的另一种实施例的流程示意图。具体的：

S202：将所述材料图像输入至篡改检测模型，所述篡改检测模型至少包括异常检测模块以及对象检测网络；

在本说明书的一个或多个实施例中，篡改检测模型可以由异常检测模块、对象检测网络、特征融合模块以及分类模块；如图4所示，图4是一种篡改检测网络涉及的场景示意图，在一些实施例中，篡改检测模型还可以包括区域检测模块，通过将材料图像输入至篡改检测模型，依赖于篡改检测模型所包含的各个模块及网络实现对材料图像中篡改部分的检测识别，并最终输出材料图像中的篡改区域。

所述异常检测模块作为篡改检测模型的一部分，通常用于提取图像中的异常信息特征；

所述对象检测网络作为篡改检测模型的一部分，通常用于提取图像中的诸如字体风格特征、段落风格特征、图像颜色特征、笔迹特征等对象属性特征。

在一种可行的实施方式中，将材料图像输入至篡改检测模型，可以控制篡改检测模型中的异常检测模块以及对象检测网络直接进行特征提取。

在一种可行的实施方式中，为了提升模型处理效率，提高模型识别的准确率，可以控制篡改检测模型聚焦于材料图像中的感兴趣区域(POI区域)，可以理解的，不同类型材料所对应的材料图像所关注的POI区域不同，例如文本表格类材料对应的图像通常关注于文本行所处POI区域，又例如图像类材料对应的图像通常关注于图形区域所处POI区域。

示意性的，在材料认证场景中，材料图像通常会对应多种认证材料，材料图像从材料种类而言，通常为多种模态种类的认证材料的材料图像，例如通常材料图像为多种不同模态类型的证明材料图像，以金融事务认证场景为例，会涉及到如资金接收证明文件图像、资产证明文件图像、纳税明细文件图像等等，对这些不同模态种类的证明材料图像的识别通常会关注于图像中不同图像区域、信息类型(如文本行区域、图区域)等POI区域；

可以理解的，可以控制篡改检测模型识别材料图像所属的材料类型，基于材料类型确定相应类型的POI区域，然后基于篡改检测模型从材料图像中抽取出POI区域数据作为对象区域信息，以辅助篡改检测模型其他部分聚焦于对象区域信息进行特征提取处理、检测识别处理等步骤，以减少处理时间，增加精度。

可选的，所述篡改检测模型还包括区域检测模块，区域检测模块用于基于所输入篡改检测模型的材料图像来检测POI区域，并输出POI区域。示意性的，区域检测模块(Detect模块)可以识别材料图像的材料类型，并基于材料类型确定聚焦的POI区域，然后从材料图像中抽取POI区域的对象区域信息。例如，Detect模块可以是文本检测模块TextDetect，聚焦于对材料图像中的文本内容区域(POI区域)进行检测及抽取，然后输出文本感兴趣区域text rois(也即对象区域信息)。这样在一些实际应用场景中，可以考虑到一些材料通常是富文本材料图像的特点，以及用户在对材料造假时，修改的往往是文本内容的先验知识，因此提出了Detect模块使用文本检测生成POI文本区域，然后针对POI文本区域进行异常特征提取与对象属性特征提取，从而进行识别，形成了端到端的训练与推理结构。

可以理解的，可以基于实际应用场景，考虑到一些材料通常是富文本材料图像的特点，训练用于关注检测文本感兴趣区域的文本检测网络，也就是说区域检测模块可以是一种文本检测网络，基于所述文本检测网络对所述材料图像进行感兴趣文本检测，得到至少一个文本区域信息，这些文本区域信息可用于反馈通常高概率篡改的区域，示意性的，所述文本区域信息包括文本行图像信息以及文本行位置信息，文本区域信息中包括易篡改文本区域对应的文本行图像信息和易篡改文本区域对应的文本行位置信息，这样后续模型在识别到篡改特征之后可以快速基于篡改特征所对应的特征提取区域，基于前述易篡改文本区域对应的文本行位置信息，就可以定位到特征提取区域对应的文本行位置信息以此来快速识别篡改区域进行输出。

可选的，篡改检测模型中的区域检测模块可以是基于神经网络构建的，例如区域检测模块可以是卷积神经网络构建的区域检测模块，在一些实施方式中，区域检测模块可以是PSENet模块、DBNet模块等区域检测模块。

可以理解的，通过基于篡改检测模型中的区域检测模块对所述材料图像进行感兴趣对象检测，可以识别材料图像的材料类型以基于材料类型确定聚焦的POI区域，然后从材料图像中抽取POI区域的对象区域信息，从而得到对象区域信息。然后在通过篡改检测模型提取对象区域信息中的图像异常特征以及对象属性特征。

S204：基于所述异常检测模块对所述材料图像进行异常检测处理，得到图像异常特征；

在本说明书一个或多个实施例中，异常检测模块用于提取图像异常特征，也即对材料图像中可能存在复制痕迹特征、粘贴痕迹特征、覆盖痕迹特征、修改痕迹特征等呈现异常图像区域形态中的至少一种进行异常特征提取。

在一种可行的实施方式中，所述异常检测模块可以包含条件约束网络，条件约束网络可以是由Bayar Conv(Bayar卷积网络)构成，通过条件约束网络可以自适应地学习材料图像中的诸如复制、粘贴、覆盖、修改等图像操作特征，并准确识别出材料图像中经过的图像操作编辑类型以提取出相应的图像异常特征。

可以理解的，通过异常检测模块的条件约束网络对所述材料图像进行第一残差检测处理，可以得到第一图像异常特征。示意性的，条件约束网络可以对所述材料图像中对象区域信息(也即POI区域信息)进行第一残差检测处理，以此来得到第一图像异常特征。

可选的，条件约束网络可以由约束卷积层(Bayar卷积)、n(n为整数)个连续的规则卷积、卷积滤波器以及分类器组成；

示意性的，来自对所述材料图像中对象区域信息(也即POI区域信息)首先用约束卷积层中的至少一个不同的5×5约束卷积滤波器进行卷积操作，在一些实施方式中，卷积步长等于1。这些约束卷积层中的滤波器以学习估计中心像素与其局部邻域之间的低级的操作特征以生成预测误差特征。约束卷积层生成指定维数(如252×252×3维)的预测残差特征图；需要示意的，由于预测残差特征图很大程度上不包含图像内容，常将预测残差特征作为篡改痕迹特征。

示意性的，然后基于n(如n为3)个连续的规则卷积对预测残差特征图进行卷积处理以学习更高层次的残差特征，可以理解为从这些低级的预测残差特征图中处理各预测残差特征彼此之间的关联，以进一步抑制图像的内容。例如，以3个连续的规则卷积为例，可以是96个大小为7×7×3和步长为2的滤波器2、64个大小为5×5×96、步幅为1的滤波器3以及64个大小为5×5×64、步幅为1的滤波器4，然后输出高层次的残差层次特征。

示意性的，然后基于卷积滤波器(如1*1卷积层)对残差层次特征进行不同特征映射之间的关联，也即对位于同一空间位置的通道之间特征进行线性组合，在不损失残差层次特征的损失分辨率下提升非线性特征，得到深层图像异常特征。

示意性的，然后由分类器对深层图像异常特征进行分类，分类器可以基于神经网络生成，通过分类器处理深层图像异常特征之间的关联，以识别出每个可能的篡改操作的篡改区域类和未更改的图像区域类，以此来得到第一图像异常特征。

在一种可行的实施方式中，所述异常检测模块可以包含空域隐写分析网络，空域隐写分析网络可以是由SRM Conv构成，空域隐写分析网络与前述条件约束网络的处理方式不同，空域隐写分析网络可以侧重与关注图像中的视觉篡改部分(如被篡改边缘附近的篡改)以此捕获局部噪声特征中的不一致性，通过空域隐写分析网络从RGB图像输入中提取特征来发现篡改伪影，如强烈的对比度差、不自然的篡改边界等，其SRM Conv提取的噪声特征来表征真实区域和篡改区域之间的噪声不一致。

可以理解的，通过异常检测模块的空域隐写分析网络对所述材料图像进行第二残差检测处理，以检测篡改伪影，如强烈的对比度差、不自然的篡改边界等，然后得到第二图像异常特征。示意性的，空域隐写分析网络可以对所述材料图像中对象区域信息(也即POI区域信息)进行第二残差检测处理，以此来得到第二图像异常特征。

示意性的，空域隐写分析网络涉及的特征提取过程中，通过建立不同的子模型，首先对图像中的图像空域特征信息进行提取，通过使用数十个一阶、二阶甚至高阶滤波器对图像进行处理，获得具有高度多样性的残差图像集合；然后对得到的残差信息进行截断和量化，计算相应的共生矩阵来得到第二图像异常特征，整个过程中并不仅仅分析图像中是否有异常信息，并且分析可能的隐写方法、隐写修改的内容，通过隐写方法和隐写位置截取异常信息得到图像异常特征。

在本说明书的一个或多个实施例中，异常检测模块可以包括条件约束网络和空域隐写分析网络中的至少其一，具体可基于实际应用场景进行调整；示意性的，如图5所示，图5是一种异常检测模块的场景示意图，异常检测模块至少由条件约束网络和空域隐写分析网络组成，两者可以采用同步或异步执行方式进行异常检测，通过条件约束网络可以自适应地学习材料图像中的诸如复制、粘贴、覆盖、修改等图像操作特征，并准确识别出材料图像中经过的图像操作编辑类型以提取出相应的第一图像异常特征，以及，通过空域隐写分析网络检测篡改伪影，如强烈的对比度差、不自然的篡改边界等，然后得到第二图像异常特征；再对第一图像异常特征和第二图像异常特征进行特征连接，得到融合后的图像异常特征。

在一些实施方式中，异常检测模块可以同时包括条件约束网络和空域隐写分析网络，也即通过异常检测模块的条件约束网络对所述材料图像进行第一残差检测处理，可以得到第一图像异常特征，以及，通过空域隐写分析网络对所述材料图像进行第二残差检测处理，可以得到第二图像异常特征。然后对第一图像异常特征和第二图像异常特征进行特征融合，例如特征融合的方式可以是采用特征连接操作进行，得到特征融合后的图像异常特征。

可选的，也可以基于材料图像的类型控制异常检测模块选择条件约束网络和空域隐写分析网络中的至少其一，来生成图像异常特征，这样可以提高模型处理效率，优化模型处理量，契合实际材料检测场景的需求。

S206：基于所述对象检测网络对所述材料图像进行对象检测处理，得到对象属性特征。

在本说明书的一个或多个实施例中，对象属性特征为针对图像中目标对象的属性特征，对象属性特征可以是字体风格特征、段落风格特征、图像颜色特征、笔迹特征等等，通过对象检测网络对材料图像进行对象检测处理可以得到对象属性特征。

在一种可行的实施方式中，基于所述对象检测网络对所述材料图像进行字体属性检测处理，得到字体属性特征。

可选的，所述对象检测网络可以是基于神经网络训练得到的用于进行对象属性检测的网络；在一些实施例中，对象检测网络可以为可变形卷积网络，通过将所述材料图像输入至可变形卷积网络中，通过所述可变形卷积网络对所述材料图像中的材料对象进行对象属性检测处理，得到对象属性特征。在一些实施例中，还可以是将对象区域信息输入至可变形卷积网络中，以此得到对象属性特征。

示意性的，可变形卷积神经网络(Deformable Convolutional Network，DCN)即为对图像进行识别的神经网络，变形卷积神经网络中包含可变形卷积结构；

在本说明书的一个或多个实施例中，所述可变形卷积神经网络可以包括第一偏置域、卷积层、第二偏置域及全连接层，第一偏置域及卷积层组合成为可变形卷积神经网络的一个可变形卷积层，可变形卷积神经网络相比于传统的卷积神经网络增加了偏置域，通过其中所包含的偏置域及卷积层即可对图像进行可变形卷积，在本申请中，基于可变形卷积可适用于对图像中像素不连续的待识别对象属性进行识别，以检测诸如字体风格、段落风格、图像颜色、笔迹特征等至少一种，来生成对象属性特征。

S208：通过所述篡改检测模型对所述图像异常特征以及所述对象属性特征进行特征融合处理，得到目标融合特征。

可以理解的，篡改检测模型还可以包括特征融合模块，也即Feature fusion模块，Feature fusion模块的输入是异常检测模块提取到的图像异常特征以及对象检测网络提取到的对象属性特征，然后通过特征融合模块对图像异常特征以及所述对象属性特征进行特征融合处理，以得到目标融合特征。

在一种可行的实施方式中，如图6所示，图6是一种特征融合模块的模块场景示意图，特征融合模块由卷积和多项式相乘层(conv(1×1))、concatenate层(concat)、“卷积和多项式相乘层(Conv)+bn层+relu层”、“max pool”、“mul”、“add”、“reshape”、“conv(1×1)”、bn层、relu层构成，其中，bn层：加速神经网络训练层(Batch norm)，relu层：非线性激活处理层，“mul”：神经网络中的乘运算门，“add”神经网络中的加运算门，“max pool”：最大池化层。“reshape”：重塑(reshape)层。图6中“feature1”、“feature2”也即图像异常特征以及对象属性特征，通过重塑(reshape)层和“卷积和多项式相乘层(conv(1×1))”分别对图像异常特征以及对象属性特征进行处理之后再通过concatenate层进行连接得到连接之后的连接特征，再由“卷积和多项式相乘层(Conv)+bn层+relu层”进行处理得到一个处理特征，该处理特征分三个分支进行下一步处理，第一分支：最大池化层+conv(1×1)+bn层+relu层。经第一分支处理得到第一分支处理结果并在第二分支中将第一分支处理结果与处理特征进行“mul”操作得到第二分支处理结果，然后在第三分支中将第二分支处理结果和处理特征进行“add”操作，以完成特征融合处理，得到目标融合特征。

S210：通过所述篡改检测模型对所述目标融合特征进行特征分类处理，得到所述材料图像中的篡改区域，并输出所述篡改区域。

所述目标融合特征可以理解为包括多个篡改融合候选特征组成的候选集合，通过对目标融合特征中的多个篡改融合候选特征进行分类，以区分篡改融合候选特征属于篡改类特征或真实类特征(也即未篡改特征)，实际处理过程中计算篡改融合候选特征属于篡改类特征的概率，以此来确定篡改类特征，然后定位属于篡改类特征在材料图像中的区域，输出篡改区域。

可选的，所述篡改检测模型还可以包括特征分类网络，特征分类网络可以是基于神经网络训练得到，在一些实施方式中，特征分类网络可以是Softmax分类器所构建的，通过Softmax分类器识别篡改融合候选特征属于篡改类特征的概率，以此来确定目标融合特征中的篡改特征，然后定位属于篡改类特征在材料图像中的区域，输出篡改区域。

在一种具体的实施场景中，通过将所述目标融合特征输入至所述特征分类网络，通过所述特征分类网络确定所述目标融合特征中的篡改特征；特征分类网络检测目标融合特征中属于篡改类特征的概率，基于概率可以从目标融合特征中确定篡改特征；以文本行为例，也即判断文本行对应的目标融合特征中属于篡改文本行特征的概率，这样可识别出篡改特征，然后通过所述特征分类网络确定篡改特征在材料图中对应的篡改位置信息，基于篡改位置信息就可以实现从材料图像中确定篡改区域，从而输出篡改区域。

在本说明书一个或多个实施例中，通过将材料图像输入至篡改检测模型，仅使用篡改检测模型提取所述材料图像中的图像异常特征以及对象属性特征，然后通过所述篡改检测模型对所述图像异常特征以及所述对象属性特征进行检测识别，就可以识别并输出所述材料图像中的篡改区域。整个篡改检测，不依赖大量的材料同源图仅使用训练好的篡改检测模型就可以实现快速定位材料图像中的篡改区域，优化了篡改检测环节，提升了篡改检测的效率，节省了篡改检测的计算处理量；以及，充分考虑了篡改内容的特征，通过反馈篡改内容与原始材料之间的图像异常差异，以及篡改内容与原始材料之间对象风格上的对象属性差异，从而使得模型针对事务场景下的不同篡改方式更加鲁棒，也保障了篡改检测的准确性。

下面将结合图7，对本说明书一个或多个实施例中提供的篡改检测装置进行详细介绍。需要说明的是，图4所示的篡改检测装置，用于执行本申请图2～图6所示实施例的方法，为了便于说明，仅示出了与本说明书相关的部分，具体技术细节未揭示的，请参照本申请图2～图6所示的实施例。

请参见图7，其示出本说明书一个或多个实施例中的篡改检测装置的结构示意图。该篡改检测装置1可以通过软件、硬件或者两者的结合实现成为用户终端的全部或一部分。根据一些实施例，该篡改检测装置1包括特征提取模块11和篡改确定模块12，具体用于：

特征提取模块11，用于将所述材料图像输入至篡改检测模型，以基于所述篡改检测模型提取所述材料图像中的图像异常特征以及对象属性特征；

篡改确定模块12，用于通过所述篡改检测模型对所述图像异常特征以及所述对象属性特征进行检测识别，输出所述材料图像中的篡改区域。

可选的，所述篡改检测模型包括异常检测模块以及对象检测网络，如图8所示，所述特征提取模块11，包括：

异常检测单元111，用于基于所述异常检测模块对所述材料图像进行异常检测处理，得到图像异常特征；

对象检测单元112，用于基于所述对象检测网络对所述材料图像进行对象检测处理，得到对象属性特征。

可选的，如图9所示，所述异常检测单元111，包括：

条件约束子单元1111，用于通过所述异常检测模块的条件约束网络对所述材料图像进行第一残差检测处理，得到第一图像异常特征；

隐写分析子单元1112，用于通过所述异常检测模块的空域隐写分析网络对所述材料图像进行第二残差检测处理，得到第二图像异常特征。

可选的，所述对象检测单元112，具体用于：

基于所述对象检测网络对所述材料图像进行对象属性检测处理，得到对象属性特征；所述对象属性特征包括字体属性特征、段落属性特征、笔迹属性特征以及色彩属性特征中的至少一种。

可选的，所述对象检测网络为可变形卷积网络，所述对象检测单元112，具体用于：将所述材料图像输入至可变形卷积网络中，通过所述可变形卷积网络对所述材料图像中的材料对象进行对象属性检测处理，得到对象属性特征。

可选的，所述特征提取模块11，具体用于：

基于所述篡改检测模型对所述材料图像进行感兴趣对象检测，得到对象区域信息；

通过所述篡改检测模型提取所述对象区域信息中的图像异常特征以及对象属性特征。

可选的，所述特征提取模块11，具体用于：

基于所述文本检测网络对所述材料图像进行感兴趣文本检测，得到至少一个文本区域信息，所述文本区域信息包括文本行图像信息以及文本行位置信息。

可选的，如图10所示，所述篡改确定模块12，包括：

特征融合单元121，用于通过所述篡改检测模型对所述图像异常特征以及所述对象属性特征进行特征融合处理，得到目标融合特征；

特征分类单元122，用于通过所述篡改检测模型对所述目标融合特征进行特征分类处理，得到所述材料图像中的篡改区域，并输出所述篡改区域。

可选的，所述篡改检测模型包括特征分类网络，所述特征分类单元122，具体用于：

将所述目标融合特征输入至所述特征分类网络，通过所述特征分类网络确定所述目标融合特征中的篡改特征；

通过所述特征分类网络确定篡改特征对应的篡改位置信息，基于所述篡改位置信息从材料图像中确定篡改区域，输出所述篡改区域

需要说明的是，上述实施例提供的篡改检测装置在执行篡改检测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的篡改检测装置与篡改检测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

上述本说明书序号仅仅为了描述，不代表实施例的优劣。

在本说明书的一个或多个实施例中，通过将材料图像输入至篡改检测模型，仅使用篡改检测模型提取所述材料图像中的图像异常特征以及对象属性特征，然后通过所述篡改检测模型对所述图像异常特征以及所述对象属性特征进行检测识别，就可以识别并输出所述材料图像中的篡改区域。整个篡改检测，不依赖大量的材料同源图仅使用训练好的篡改检测模型就可以实现快速定位材料图像中的篡改区域，优化了篡改检测环节，提升了篡改检测的效率，节省了篡改检测的计算处理量；以及，充分考虑了篡改内容的特征，通过反馈篡改内容与原始材料之间的图像异常差异，以及篡改内容与原始材料之间对象风格上的对象属性差异，从而使得模型针对事务场景下的不同篡改方式更加鲁棒，也保障了篡改检测的准确性。

本说明书实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图2～图6所示实施例的所述篡改检测方法，具体执行过程可以参见图2～图6所示实施例的具体说明，在此不进行赘述。

本说明书实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图2～图6所示实施例的所述篡改检测方法，具体执行过程可以参见图2～图6所示实施例的具体说明，在此不进行赘述。

请参见图11，为本说明书一个或多个实施例提供了一种电子设备的结构示意图。如图10所示，所述电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。

其中，通信总线1002用于实现这些组件之间的连接通信。

其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。

其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个服务器1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行服务器1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中心处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。

其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及应用程序。

在图11所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的应用程序，并具体执行以下操作：

在一个实施例中，所述篡改检测模型包括异常检测模块以及对象检测网络，所述处理器1001在执行所述基于所述篡改检测模型提取所述材料图像中的图像异常特征以及对象属性特征时，具体执行以下步骤：

基于所述异常检测模块对所述材料图像进行异常检测处理，得到图像异常特征；

基于所述对象检测网络对所述材料图像进行对象检测处理，得到对象属性特征。

在一个实施例中，所述处理器1001在执行基于所述异常检测模块对所述材料图像进行异常检测处理，得到图像异常特征时，具体执行以下步骤：

通过所述异常检测模块的条件约束网络对所述材料图像进行第一残差检测处理，得到第一图像异常特征；和/或

通过所述异常检测模块的空域隐写分析网络对所述材料图像进行第二残差检测处理，得到第二图像异常特征。

在一个实施例中，所述处理器1001在执行所述基于所述对象检测网络对所述材料图像进行对象检测处理，得到对象属性特征，包括：

在一个实施例中，所述处理器1001在执行所述对象检测网络为可变形卷积网络，所述基于所述对象检测网络对所述材料图像进行对象属性检测处理，得到对象属性特征时，具体执行以下步骤：

将所述材料图像输入至可变形卷积网络中，通过所述可变形卷积网络对所述材料图像中的材料对象进行对象属性检测处理，得到对象属性特征。

在一个实施例中，所述处理器1001在执行所述基于所述篡改检测模型提取所述材料图像中的图像异常特征以及对象属性特征时，具体执行以下步骤：

在一个实施例中，所述处理器1001在执行所述篡改检测模型包括文本检测网络，所述基于所述篡改检测模型对所述材料图像进行感兴趣对象检测，得到对象区域信息时，具体执行以下步骤：

在一个实施例中，所述处理器1001在执行所述通过所述篡改检测模型对所述图像异常特征以及所述对象属性特征进行检测识别，输出所述材料图像中的篡改区域时，具体执行以下步骤：

通过所述篡改检测模型对所述图像异常特征以及所述对象属性特征进行特征融合处理，得到目标融合特征；

通过所述篡改检测模型对所述目标融合特征进行特征分类处理，得到所述材料图像中的篡改区域，并输出所述篡改区域。

在一个实施例中，所述处理器1001在执行所述篡改检测模型包括特征分类网络，所述通过所述篡改检测模型对所述目标融合特征进行特征分类处理，得到所述材料图像中的篡改区域，并输出所述篡改区域时，具体执行以下步骤：

通过所述特征分类网络确定篡改特征对应的篡改位置信息，基于所述篡改位置信息从材料图像中确定篡改区域，输出所述篡改区域。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims

1.一种篡改检测方法，所述方法包括：

2.根据权利要求1所述的方法，所述篡改检测模型包括异常检测模块以及对象检测网络，所述基于所述篡改检测模型提取所述材料图像中的图像异常特征以及对象属性特征，包括：

3.根据权利要求2所述的方法，所述基于所述异常检测模块对所述材料图像进行异常检测处理，得到图像异常特征，包括：

4.根据权利要求2所述的方法，所述基于所述对象检测网络对所述材料图像进行对象检测处理，得到对象属性特征，包括：

5.根据权利要求4所述的方法，所述对象检测网络为可变形卷积网络，所述基于所述对象检测网络对所述材料图像进行对象属性检测处理，得到对象属性特征，包括：

6.根据权利要求1所述的方法，所述基于所述篡改检测模型提取所述材料图像中的图像异常特征以及对象属性特征，包括：

7.根据权利要求6所述的方法，所述篡改检测模型包括文本检测网络，所述基于所述篡改检测模型对所述材料图像进行感兴趣对象检测，得到对象区域信息，包括：

8.根据权利要求1所述的方法，所述通过所述篡改检测模型对所述图像异常特征以及所述对象属性特征进行检测识别，输出所述材料图像中的篡改区域，包括：

9.根据权利要求8所述的方法，所述篡改检测模型包括特征分类网络，所述通过所述篡改检测模型对所述目标融合特征进行特征分类处理，得到所述材料图像中的篡改区域，并输出所述篡改区域，包括：

10.一种篡改检测装置，所述装置包括：

11.一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～9任意一项的方法步骤。

12.一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～9任意一项的方法步骤。