CN111582116B - 一种视频抹除痕迹检测方法、装置、设备和存储介质 - Google Patents

Abstract

本申请实施例公开了一种基于人工智能的抹除痕迹检测方法，在检测时可以将获取的待检测视频进行分帧处理，得到多个视频帧图像，将多个视频帧图像输入到抹除痕迹检测模型，通过抹除痕迹检测模型对多个视频帧图像分别进行特征提取，得到每个视频帧图像对应的图像特征。根据图像特征便可以确定每个视频帧图像对应的帧检测结果，而待检测视频是由该多个视频帧图像组成的，故根据多个帧检测结果确定待检测视频的目标检测结果，该目标检测结果反映待检测视频是否具有抹除痕迹。本申请利用基于深度学习训练得到的抹除痕迹检测模型对视频是否具有抹除痕迹进行识别，大大提高了处理效率，该方法可以集成在业务端，从而更加便捷的满足实际业务端的应用需求。

Description

一种视频抹除痕迹检测方法、装置、设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种视频抹除痕迹检测方法、装置、设备和存储介质。

背景技术

随着互联网技术的快速发展，人们能够通过网络获取到的视频信息也越来越多，这极大的丰富了人们日常生活。目前，用户在网络上获取视频信息时，一些用户存在搬运洗稿的行为，例如，将其他用户的原创视频直接进行转载，或者简单编辑后进行转载。

在搬运洗稿过程中，往往会抹除表征视频信息所有权的标识，因此可以通过检测视频是否具有抹除痕迹来确定该视频是否原创。目前在业务端，若要识别视频中是否有抹除痕迹，多是通过人工审核方式完成的。

然而，要判断一个视频是否存在抹除痕迹，需要一个人审核整个视频，人工的方式处理效率低，无法满足实际业务端的应用需求。

发明内容

为了解决上述技术问题，本申请提供了一种基于人工智能的抹除痕迹检测方法、装置、设备和存储介质，大大提高了处理效率低，该方法可以集成在业务端，从而更加便捷的满足实际业务端的应用需求。

本申请实施例公开了如下技术方案：

一方面，本申请实施例提供一种基于人工智能的抹除痕迹检测方法，所述方法包括：

对待检测视频进行分帧处理，得到多个视频帧图像；

通过抹除痕迹检测模型对所述多个视频帧图像分别进行特征提取，得到每个视频帧图像对应的图像特征；

根据所述图像特征分别确定每个视频帧图像对应的帧检测结果；

根据所述每个视频帧图像对应的帧检测结果确定所述待检测视频的目标检测结果，所述目标检测结果包括所述待检测视频是否具有抹除痕迹。

另一方面，本申请实施例提供一种抹除痕迹检测装置，所述装置包括分帧单元、提取单元、第一确定单元和第二确定单元：

所述分帧单元，用于对待检测视频进行分帧处理，得到多个视频帧图像；

所述提取单元，用于通过抹除痕迹检测模型对所述多个视频帧图像分别进行特征提取，得到每个视频帧图像对应的图像特征；

所述第一确定单元，用于根据所述图像特征分别确定每个视频帧图像对应的帧检测结果；

所述第二确定单元，用于根据所述每个视频帧图像对应的帧检测结果确定所述待检测视频的目标检测结果，所述目标检测结果包括所述待检测视频是否具有抹除痕迹。

本申请实施例提供一种用于抹除痕迹检测的设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行前述任一项所述的抹除痕迹检测方法。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述任一项所述的抹除痕迹检测方法。

由上述技术方案可以看出，为了检测出某个视频例如待检测视频是否具有抹除痕迹，在检测时可以将获取的待检测视频进行分帧处理，得到多个视频帧图像，将多个视频帧图像输入到训练得到的抹除痕迹检测模型，该模型具有准确检测抹除痕迹的能力。具体的，通过抹除痕迹检测模型对多个视频帧图像分别进行特征提取，得到每个视频帧图像对应的图像特征。图像特征可以反映该视频帧图像的特点，故根据图像特征便可以确定每个视频帧图像对应的帧检测结果，帧检测结果可以反映出每个视频帧图像是否可能具有抹除痕迹，而待检测视频是由该多个视频帧图像组成的，因此可以根据多个帧检测结果确定待检测视频的目标检测结果，该目标检测结果反映待检测视频是否具有抹除痕迹。可见，本申请利用基于深度学习训练得到的抹除痕迹检测模型对视频是否具有抹除痕迹进行识别，相较于人工审核方式，大大提高了处理效率，该方法可以集成在业务端，从而更加便捷的满足实际业务端的应用需求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的抹除痕迹检测方法的应用场景示意图；

图2为本申请实施例提供的一种抹除痕迹检测方法的流程图；

图3为本申请实施例提供的yolo模型的结构示意图；

图4为本申请实施例提供的FPN模块的结构示意图；

图5为本申请实施例提供的一种抹除痕迹检测的训练方法的流程图；

图6a为本申请实施例提供的一种带有马赛克的目标图像样本示意图；

图6b为本申请实施例提供的一种带有条纹抹除的目标图像样本示意图；

图6c为本申请实施例提供的一种带有高斯模糊的目标图像样本示意图；

图7为本申请实施例提供的一种针对原始图像样本选取目标区域的示意图；

图8为本申请实施例提供的一种损失函数的曲线图；

图9为本申请实施例提供的一种抹除痕迹检测方法的整体流程图；

图10a为本申请实施例提供的一种抹除痕迹检测装置的结构图；

图10b为本申请实施例提供的一种抹除痕迹检测装置的结构图；

图11为本申请实施例提供的一种用于抹除痕迹检测设备的结构图；

图12为本申请实施例提供的一种服务器的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在相关技术中，为了检测出视频中是否具有抹除痕迹，需要人工审核人员来识别，由于一个视频有不同镜头画面组成，要判断一个视频是否存在涂抹痕迹的镜头，需要一个人看完整个视频，这种方式检测效率是十分低下的，难以满足实际业务端的应用需求。

为了解决上述技术问题，本申请实施例提供了一种基于人工智能的抹除痕迹检测方法。该方法可以基于深度学习训练抹除痕迹检测模型，从而利用训练得到的对抹除痕迹检测模型自动的对视频是否具有抹除痕迹进行识别，相较于人工审核方式，大大提高了处理效率低，该方法可以集成在业务端，从而更加便捷的满足实际业务端的应用需求。

需要强调的是，本申请实施例所提供的抹除痕迹检测方法是基于人工智能实现的，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

在本申请实施例中，主要涉及的人工智能技术包括计算机视觉(图像)和机器学习等方向。计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。

例如，本申请实施例可以通过计算机视觉技术中的视频语义理解(videosemantic understanding，VSU)识别抹除痕迹，通过视频处理(video processing)对待检测视频进行分帧处理，通过图像语义理解(Image Semantic Understanding，ISU)提取图像特征。另外，在进行模型训练过程中，为了减少人工标注的训练样本的数量，在拥有少量标注数据的情况下增加模型训练的鲁棒性，本申请实施例还可以生成数据(目标图像样本)，生成数据的方式可以是利用计算机视觉技术中的图像处理(Image Processing)技术，例如图像压缩(image compression)技术。

本申请实施例还涉及了机器学习(Machine learning，ML)，利用机器学习技术训练得到抹除痕迹检测模型。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习通常包括深度学习(Deep Learning)等技术，深度学习包括人工神经网络(artificialneural network)，例如卷积神经网络(Convolutional Neural Network，CNN)、循环神经网络(Recurrent Neural Network，RNN)、深度神经网络(Deep neural network，DNN)等。

本申请实施例提供的基于人工智能的抹除痕迹检测方法检测到视频是否具有抹除痕迹，为视频打上“是否有抹除痕迹”的标记，从而应用于下游多种业务场景，包括优化排重、搬运洗稿识别等业务场景。

例如，×××公司发布的原创视频，其会在视频中标注“×××公司”，从而标识该视频的所有权，但是一些用户可能会抹除视频中标注的“×××公司”，然后转载该视频(即搬运洗稿过程)。为此，可以通过本申请实施例提供的抹除痕迹检测方法检测视频中是否包括抹除痕迹，若包括涂抹痕迹，则可以认为该视频是通过搬运洗稿行为得到的，从而采取相应的措施以杜绝搬运洗稿行为，例如封杀账号等。

又如，视频软件在根据用户的兴趣点来推荐视频时，如果推荐的视频中存在搬运视频，很可能会导致推荐给用户的视频中有实质内容存在重复，为此，可以通过本申请实施例提供的抹除痕迹检测方法检测视频中是否包括抹除痕迹，若包括涂抹痕迹，则可以认为该视频是通过搬运洗稿行为得到的，则不向用户推荐该视频或者将该视频排在推荐列表的后边，从而实现优化排重，尽可能排除向用户推荐重复视频的可能。

本申请实施例提供的基于人工智能的抹除痕迹检测方法同样可以应用到图片检测中，当应用图片检测时，无需进行分帧处理和帧结果融合，可以直接利用抹除痕迹检测模型对图片提取图像特征，从而根据图像特征得到检测结果。

本申请实施例提供的基于人工智能的抹除痕迹检测方法可以应用于数据处理设备，如终端设备、服务器等。其中，终端设备具体可以为智能手机、计算机、个人数字助理(Personal Digital Assistant，PDA)、平板电脑等；服务器具体可以为独立服务器，也可以为集群服务器。

若应用在终端设备中，终端设备可以根据得到的目标检测结果进行后续处理。若应用在服务器中，则服务器在确定出目标检测结果后，可以将目标检测结果发送至终端设备，以便终端设备显示该目标检测结果或根据该目标检测结果进行后续处理；当然，服务器也可以根据该目标检测结果进行后续处理，再将处理结果返回至终端设备。

为了便于理解本申请的技术方案，下面结合实际应用场景、以数据处理设备为服务器为例对本申请实施例提供的基于人工智能的抹除痕迹检测方法进行介绍。

参见图1，图1为本申请实施例提供的基于人工智能的抹除痕迹检测方法的应用场景示意图，该应用场景中可以包括终端设备101和服务器102。当用户通过终端设备101发布视频时，该视频可以作为待检测视频，也就是说，待检测视频可以是用户通过终端设备在视频平台上发布的视频。

服务器102可以获取待检测视频，从而对待检测视频中是否包括抹除痕迹进行识别。服务器102对待检测视频进行分帧处理，得到多个视频帧图像，例如得到N个视频帧图像。

由于具有抹除痕迹和不具有抹除痕迹的视频帧图像的特点不同，同时，具有不同类型抹除痕迹的视频帧图像的特点也有所不同，而图像特征可以反映出视频帧图像的特点图像，故在本申请中，可以通过抹除痕迹检测模型对多个视频帧图像分别进行特征提取，得到每个视频帧图像对应的图像特征，以便根据图像特征确定每个视频帧图像对应的帧检测结果，该帧检测结果可以反映出视频帧图像是否具有抹除痕迹，甚至反映出抹除痕迹的类型。

由于待检测视频是由上述多个视频帧图像组成的，故根据多个帧检测结果可以确定待检测视频的目标检测结果，从而通过该目标检测结果表征待检测视频是否具有抹除痕迹。

接下来，将以服务器为例，结合附图对本申请实施例提供的基于人工智能的抹除痕迹检测方法进行介绍。

参见图2，图2示出了一种基于人工智能的抹除痕迹检测方法的流程图，所述方法包括：

S201、对待检测视频进行分帧处理，得到多个视频帧图像。

在本实施例中，当获取到需要进行抹除痕迹检测的待检测视频时，可以对待检测视频进行分帧处理，得到多个视频帧图像。

需要说明的是，在本申请实施例中，根据不同的应用场景，获取待检测视频的时机可能有所不同。若在搬运洗稿识别的场景中，则可以在用户通过终端设备向视频平台上传视频后，便获取该视频作为待检测视频，从而对该待检测视频进行抹除痕迹检测；若在向用户推荐视频的优化排重场景中，则可以在向用户推荐视频时，在获取到待推荐视频后，将带推荐视频作为待检测视频，从而对该待检测视频进行抹除痕迹检测，以便排除重复视频。

S202、通过抹除痕迹检测模型对所述多个视频帧图像分别进行特征提取，得到每个视频帧图像对应的图像特征。

服务器获取到待检测视频后，由于待检测视频可以由多个视频帧图像组成，待检测视频中是否包括抹除痕迹可以根据每个视频帧图像进行判断，因此，服务器可以通过分帧处理得到多个视频帧图像，例如得到N个视频帧图像，分别是视频帧图像1、视频帧图像2、……视频帧图像N。

将得到的多个视频帧图像输入至抹除痕迹检测模型，从而得到每个视频帧图像对应的图像特征，例如针对视频帧图像1得到图像特征1，针对视频帧图像2得到图像特征2，……针对视频帧图像N得到图像特征N。

其中，抹除痕迹检测模型是基于深度学习训练得到的。抹除痕迹检测模型可以是各种神经网络模型，包括卷积神经网络(Convolutional Neural Networks，CNN)等。例如可以是名称为yolo的模型、基于角预测的网络(Corner-Net)等，其中，yolo是一种CNN模型，可以用于目标检测，在本申请实施例中，目标检测中的目标即抹除痕迹。

yolo模型的结构可以参见图3所示，其包括多个卷积层，301所标识的多个卷积层构成特征提取模块，通过特征提取模块可以得到每个视频帧图像对应的图像特征；302所标识的多个卷积层构成分类模块。其中，特征提取模块可以是暗网络(darknet-53，一种深度学习框架)、inception网络(是一种深度卷积神经网络)、深度残差网络(Deep residualnetwork，ResNet)、xception(是Inception网络的扩展)、视觉几何组(Visual GeometryGroup，VGG)网络等。

需要说明的是，抹除痕迹的大小不一，对于小目标(尺寸较小的抹除痕迹)在通过抹除痕迹检测模型提取特征的过程中，由于不断地卷积得到的图像特征的尺寸变小，其所代表的语义信息已经很丰富了，但是由于图像特征尺寸减小，可能会导致检测小目标比较困难。因此，为了更加容易、准确的检测出各种尺寸的抹除痕迹，在本申请实施例中，对抹除痕迹检测模型中引入了特征金字塔网络(Feature Pyramid Networks，FPN)模块，即在图3所示的特征提取模块后接FPN模块。这样，在S202提取图像特征时，针对每个视频帧图像，通过特征金字塔模块得到视频帧图像的多层图像特征，多层图像特征的尺寸各不相同。

FPN模块的结构可以参见图4所示，FPN模块可以包括多层，自下至上尺寸逐渐减小，图4以3层为例，自下至上的尺寸依次是30×30、20×20、10×10。这样，在进行特征提取时，针对每个视频帧图像，经过FPN模块的每一层，依次输出对应大小的图像特征，例如通过尺寸为30×30这一层后得到尺寸30×30的图像特征，通过尺寸为20×20这一层后得到尺寸20×20的图像特征，通过尺寸为10×10这一层后得到尺寸10×10的图像特征。

通过引入FPN模块得到不同尺度的图像特征，从而在后续进行识别过程中，可以融合多层级不同尺度的图像特征，大大提高多尺度检测的准确性。

S203、根据所述图像特征分别确定每个视频帧图像对应的帧检测结果。

图像特征可以反映该视频帧图像的特点，故根据图像特征便可以确定每个视频帧图像对应的帧检测结果。需要说明的是，当抹除痕迹检测模型在图3的基础上引入图4所示的FPN模块后，由于针对一个视频帧图像可以得到多层不同尺寸的图像特征，故在S203中，根据多层图像特征分别确定每个视频帧图像对应的帧检测结果，每个视频帧图像对应的帧检测结果包括多个。参见图4所示，针对每个视频帧图像，根据其对应的第一层图像特征(最上一层)可以得到第一层帧检测结果，根据其对应的第二层图像特征(从上至下数第二层)结合第一层图像特征可以得到第二层帧检测结果，根据其对应的第三层图像特征(最下一层)结合第一层图像特征和第二层图像特征可以得到第二层帧检测结果。

S204、根据所述每个视频帧图像对应的帧检测结果确定所述待检测视频的目标检测结果。

其中，目标检测结果可以标识待检测视频是否具有抹除痕迹，通过该目标检测结果可以知晓待检测视频是否具有抹除痕迹，在本申请实施例中可以通过在待检测视频中添加检测框来定位抹除痕迹。其中，目标检测结果中可以包括置信度，根据置信度可以确定待检测视频是否具有抹除痕迹。置信度越高，则说明该检测框标识的待检测视频中具有抹除痕迹更可信。当置信度达到某一阈值，则可以认为待检测视频中具有抹除痕迹。

在一些情况下，目标检测结果中还可以包括抹除痕迹的位置信息例如检测框的位置信息，检测框可以是矩形框、正方形框、圆形框等各种形状。以检测框是矩形框为例，检测框的位置信息可以通过检测框的中心点坐标和检测框的长宽表示，也可以通过检测框对角线所连接的两个顶点的坐标表示(例如检测框的左上角和右下角的坐标(x1,y1,x2,y2)，其中，(x1,y1)可以为左上角的坐标，(x2,y2)可以为右下角的坐标)。

在一些情况下，由于抹除痕迹可以包括多种类型，例如马赛克、条纹抹除或高斯模糊，因此，在本申请实施例中，目标检测结果中还可以包括抹除痕迹的类型，从而实现对不同类型抹除痕迹的识别。

基于此，在S203中，可以通过图3所示的分类模块得到帧检测结果，例如通过分类模块中的全连接层对检测框的位置信息和类型进行回归，得到帧检测结果。

需要说明的是，根据多个帧检测结果确定目标检测结果的方式以包括多种，一种方式是，若多个帧检测结果中某个帧检测结果表示其对应的视频帧图像中具有抹除痕迹，而该视频帧图像是待检测视频中的一部分，因此，可以认为待检测视频具有抹除痕迹；若多个帧检测结果任一个帧检测结果表示其对应的视频帧图像中不具有抹除痕迹，则可以认为待检测视频不具有抹除痕迹。

然而，在一些情况下，待检测视频中可能对背景进行虚化处理，例如在拍摄视频时，当需要对某对象进行特写拍摄时，背景可能是虚化的，虚化的背景与抹除痕迹的特征较为相似，但是二者仍有所区别，即抹除痕迹在不同视频帧图像中的保持一致，而虚化背景可能随着时间而有所改变，即不同视频帧图像中虚化背景的位置可能不同。基于此，在本申请实施例中，为了避免将虚化背景误识别为抹除痕迹，减少检测的误召回，另一种方式是，可以将多个帧检测结果进行帧结果融合，从而得到目标检测结果。

由于融合后的帧检测结果反映了多个视频帧图像中抹除痕迹的综合检测情况，从而减少了检测的误召回，增加了模型的精确性。

在本申请实施例中，根据所需确定的目标检测结果的不同，提供了多种帧结果融合策略。

若目标检测结果包括待检测视频是否具有抹除痕迹和抹除痕迹的位置信息，当抹除痕迹通过检测框表示时，帧检测结果包括检测框、检测框的位置信息和检测框的置信度，则帧结果融合的方式可以是确定所有检测框之间的交并比(Intersection Of Union，IOU)，根据交并比与第一预设阈值之间的关系，确定连通子图，位于同一个连通子图内的检测框可以认为是属于同一位置的。因此，位于同一个连通子图内的检测框可能是抹除痕迹，从而根据同一个连通子图内检测框的置信度确定待检测视频是否具有抹除痕迹，以及根据同一个连通子图内检测框的位置信息确定抹除痕迹的位置信息。其中，位置信息可以通过检测框的坐标表示，置信度可以通过检测框的得分来表示。

例如，在得到多个帧检测结果后，可以对帧检测结果中所有检测框求相互之间的IOU关系，得到IOU矩阵。然后，通过第一预设阈值，将IOU矩阵转换成邻接矩阵。通过邻接矩阵计算得到连通子图，通过对同一连通子图内的检测框的位置信息求平均得到检测框的位置信息，即抹除痕迹的位置信息。通过对同一连通子图内的检测框的置信度求平均得到置信度。

需要说明的是，若一个连通子图内只有一个检测框，则说明其他视频帧图像中没有检测到检测框，也就是说，其他视频帧图像中不存在抹除痕迹，那么，说明该检测框可能是将背景虚化误识别为抹除痕迹，故可以将其过滤，避免了模型的误召回。

在通过FPN模块提取图像特征的情况下，针对每个视频帧图像可能得到多个帧检测结果，若针对一个视频帧图像的多个帧检测结果，通过交并比与第一预设阈值之间的关系确定两个及两个以上的帧检测结果对应的检测框与其他检测框的交并比分别达到第一预设阈值，则进一步通过极大值抑制的方式保留一个帧检测结果作为该视频帧图像的最终帧检测结果，继续后续处理。

若目标检测结果包括待检测视频是否具有抹除痕迹，即仅标识出待检测视频是否具有抹除痕迹，当抹除痕迹通过检测框表示时，帧检测结果包括检测框和检测框的置信度，则帧结果融合的方式可以是计算多个检测框的置信度的平均值，该平均值可以作为待检测视频中具有抹除痕迹的置信度，若平均值达到第二预设阈值，说明待检测视频中具有抹除痕迹的可信度较高，则确定待检测视频具有抹除痕迹。

在进行帧结果融合时，本申请实施例可以对待检测视频中所包括的视频帧图像进行采样。本申请实施例提供了不同的采样策略，一种采样策略采用双线性插值的方式进行采样；另一种方式是采用轻量级通用上采样算子(Content-Aware ReAssembly ofFeatures，CARAFE)。该算子根据不同位置的特征预测对应的上采样核，然后根据预测到的上采样核进行上采样。通过在上采样时引入了训练参数，优化了模型效果。

通过第一种采样策略，例如可以对待检测视频前600s每隔五秒采一帧视频帧图像，最多取120帧，此时模型的准确率和召回率分别可以达到93％和76％。通过第二种采样策略，例如可以对待检测视频前50s每隔五秒采一帧视频帧图像，最多取10帧，此时模型的准确率和召回率分别可以达到92％和86％，模型对单个视频帧图像的处理耗时约为0.03s，当采样10帧时，模型可以在1s内返回目标检测结果。

通过第二种采样策略，减少了输入抹除痕迹检测模型的视频帧图像的数量，在保证模型准确和召回的前提下，进一步提高了抹除痕迹检测模型的处理速度，减少了模型的耗时。

由上述技术方案可以看出，为了检测出某个视频例如待检测视频是否具有抹除痕迹，在检测时可以将获取的待检测视频进行分帧处理，得到多个视频帧图像，将多个视频帧图像输入到训练得到的抹除痕迹检测模型，该模型具有准确检测抹除痕迹的能力。具体的，通过抹除痕迹检测模型对多个视频帧图像分别进行特征提取，得到每个视频帧图像对应的图像特征。图像特征可以反映该视频帧图像的特点，故根据图像特征便可以确定每个视频帧图像对应的帧检测结果，帧检测结果可以反映出每个视频帧图像是否可能具有抹除痕迹，而待检测视频是由该多个视频帧图像组成的，因此可以根据多个帧检测结果确定待检测视频的目标检测结果，该目标检测结果反映待检测视频是否具有抹除痕迹。可见，本申请利用基于深度学习训练得到的抹除痕迹检测模型对视频是否具有抹除痕迹进行识别，相较于人工审核方式，大大提高了处理效率，该方法可以集成在业务端，从而更加便捷的满足实际业务端的应用需求。

可以理解的是，本申请实施例中所采用的抹除痕迹检测模型是基于深度学习训练得到的，训练抹除痕迹检测模型的方式包括多种。在一些情况下，由于训练抹除痕迹检测模型往往参数量巨大，为了训练抹除痕迹检测模型，需要准备大量训练数据，而标注大量训练数据是十分耗费人力的。因此，本申请实施例提供一种抹除痕迹检测模型的训练方法，该方法不需要预先建立数据库，仅需要少量标注数据(带有抹除痕迹的已标注图像样本)，结合自动生成的大量带有抹除痕迹的图像样本构成大量训练数据，增加模型的鲁棒性。

接下来，将对抹除痕迹检测模型的训练方法进行详细介绍。参见图5，所述方法包括：

S501、获取已标注图像样本和多个原始图像样本。

其中，已标注图像样本具有抹除痕迹的标注信息，标注信息例如可以包括标识抹除痕迹的检测框、检测框的位置信息和抹除痕迹的类型；多个原始图像样本无抹除痕迹。

S502、对所述多个原始图像样本分别进行图像处理生成带有抹除痕迹的目标图像样本。

根据抹除痕迹类型的不同，生成目标图像样本的方式也有所不同。通常情况下，抹除痕迹可以包括马赛克、条纹抹除或高斯模糊，其中，马赛克可以归属为一类，条纹抹除和高斯模糊可以归属为另一类。

若抹除痕迹为马赛克，生成目标图像样本的方式可以是针对多个原始图像样本中的每个原始图像样本，选取目标区域。其中，目标区域可以是随机选取的。对目标区域进行像素缩放处理，缩放后，该目标区域中的像素点被压缩到较小，此时，对缩放后的目标区域进行放大处理，放大处理后置于原目标区域，该目标区域即对应马赛克，从而得到目标图像样本。其中，放大处理可以是采用最邻近采样放大方式。针对某原始图像样本，采用该方式得到的带有马赛克的目标图像样本可以参见图6a所示，其中，白色虚线框所标识的区域即马赛克。

可以理解的是，缩放倍数可以随机指定，对同一个原始图像样本，通过随机选取目标区域，随机指定缩放倍数等，可以生成多种风格的马赛克，数据的多样性得到了保证。

若所述抹除痕迹为条纹抹除或高斯模糊，生成目标图像样本的方式可以是针对多个原始图像样本中的每个原始图像样本，选取目标区域。其中，目标区域可以是随机选取的。对目标区域进行添加滤镜处理，得到目标图像样本。

应理解，条纹抹除和高斯模糊虽然属于同一类抹除痕迹，但是生成带有条纹抹除的目标图像样本和生成带有高斯模糊的目标图像样本所采用的滤镜处理可以有所不同。条纹抹除主要由FFmpeg工具进行delogo滤镜处理产生，FFmpeg工具即Fast Forward Mpeg工具，是一种多媒体处理工具。delogo滤镜处理可以是对目标区域周围像素进行简单的插值。通过该方法生成的带有条纹抹除的目标图像样本可以参见图6b所示，其中，白色虚线框所标识的区域即条纹抹除；高斯模糊可以是通过OpenCV(一种计算机视觉库)自带的高斯模糊对目标区域进行处理或者利用方形模糊(boxblur)滤镜对目标区域进行处理得到，生成的带有高斯模糊的目标图像样本可以参见6c所示，其中，白色虚线框所标识的区域即高斯模糊。

在一些情况下，由于原始图像样本的多样性，一些原始图像样本中需要生成抹除痕迹区域的像素值与该区域周围的其他像素值差距较小，而生成条纹抹除和高斯模糊的滤镜处理的实质是对像素值求平均，因此，可能会导致根据一些原始图像样本并不能得到带有明显抹除痕迹(条纹抹除或高斯模糊)的目标图像样本，如果利用该目标图像样本训练抹除痕迹检测模型，可能会影响模型准确性。例如，图7所示，假设选取图7中虚线框所示区域为目标区域，对该目标区域进行滤镜处理，由于该目标区域中像素点的像素值与目标区域周围其他像素点的像素值非常接近，该目标区域中像素点的像素值也非常接近，这样，处理后得到的带有抹除痕迹的目标图像样本将与原始图像样本相差非常小，即抹除痕迹不明显。

因此，为了避免生成带有不明显抹除痕迹的目标图像样本，保证模型准确性，在选取目标区域后，还可以利用校验模块对目标区域进行校验(又称区域光滑度度量)，即确定目标区域中像素点的像素值与相邻区域中像素点的像素值之间的差异值，相邻区域为与目标区域相邻的区域，若差异值小于预设阈值，则可以放弃该目标区域，重新选择目标区域，从而保证根据目标区域生成带有明显抹除痕迹的目标图像样本，保证模型准确性。

此外，为了增加训练数据(例如生成的目标图像样本)的多样性，提高模型的精度，在生成目标图像样本时，可以对多个原始图像样本分别进行增广处理，从而增加原始图像样本的多样性，然后根据增广处理后的多个原始图像样本生成目标图像样本。其中，增广处理包括调整原始图像样本的饱和度、色调、亮度，对原始图像样本进行翻转、裁剪等处理。

通过上述对目标图像样本生成方式的介绍可以看出，由于在生成目标图像样本时目标区域的多样性(即目标区域随机选取)、抹除痕迹的多样性(即可以生成多种类型的抹除痕迹)、增广处理后的原始图像样本的多样性，从而使得通过少量原始图像样本，可以得到大量目标图像样本来对抹除痕迹检测模型进行训练。

S503、根据所述已标注图像样本和所述目标图像样本对所述抹除痕迹检测模型进行训练。

在本实施例中，根据已标注图像样本和目标图像样本对抹除痕迹检测模型进行训练的方式可以包括多种。根据已标注图像样本和目标图像样本的自身特性，可以在不同抹除痕迹检测模型训练时期合理利用已标注图像样本和目标图像样本。

在一种实现可能的方式中，由于目标图像样本的数量比较大，因此，为了提高抹除痕迹检测模型的训练速度，增强模型的鲁棒性，可以首先使抹除痕迹检测模型接触大量、丰富的目标图像样本，即首先利用目标图像样本对抹除痕迹检测模型进行预训练，然后，而已标注图像样本是真实数据，质量更高，因此，根据已标注图像样本对预训练后的抹除痕迹检测模型进行调整训练，微调预训练后的抹除痕迹检测模型，使得模型更加准确。

参见图8所示，图8中分别示出了预训练的损失函数(图8中左侧曲线)和进行调整训练的损失函数(图8中右侧曲线)，左侧曲线和右侧曲线分别包括两条曲线，其中一条是训练时利用训练数据(例如目标图像样本)进行训练的损失函数，另一条是验证时利用验证数据进行验证的损失函数。从左侧曲线可以看出，训练时的损失函数和验证时的损失函数基本一致，而右侧曲线中验证时的损失函数与训练时的损失函数不一致，由此说明在预训练后的抹除痕迹检测模型中输入已标注图像样本和验证数据后，损失函数明显增加，即预训练后的抹除痕迹检测模型不能适应于已标注图像样本，还需要利用已标注图像样本对预训练后的抹除痕迹检测模型进行微调，使得训练得到的抹除痕迹检测模型更加准确，可以适应各种类型的数据。

在对抹除痕迹检测模型进行训练过程中，若该抹除痕迹检测模型需要对检测框的位置信息进行预测，为了快速、准确的预测检测框的位置信息，可以为检测框提供一个默认初始值(例如引入anchor)，以便抹除痕迹检测模型可以根据默认初始值快速定位检测框的位置范围，从而在默认初始值附近预测检测框的位置信息。此时，预测得到的检测框的位置信息可以是相对于默认初始值的位置偏移量。其中，默认初始值可以是通过已标注图像样本进行了IOU聚类得到的，从而提高默认初始值(anchor)的IOU覆盖度，使抹除痕迹检测模型效果更好。

需要说明的是，上述S501-S502可以通过数据生成模块实现，S503、S201-S203可以通过模型训练模块实现，S204可以通过帧结果融合模块实现，可见，本申请实施例提供的抹除痕迹检测方法模块化程度高。

接下来，将结合实际应用场景对本申请实施例提供的抹除痕迹检测方法进行介绍。在该应用场景中，用户可以向视频平台上传视频，当视频平台接收到视频后，视频平台可以对该视频是否具有抹除痕迹进行检测，从而识别用户是否存在搬运洗稿行为，以对视频平台进行整顿。

参见图9，图9示出了抹除痕迹检测方法的整体流程，视频平台对接收到的视频进行分帧处理，得到视频帧图像1、2、……、N。将视频帧图像1、2、……、N输入至抹除痕迹检测模型，抹除痕迹检测模型输出每个视频帧图像对应的帧检测结果，分别是帧检测结果1、2、……、N。接着，对帧检测结果1、2、……、N进行帧结果融合得到目标检测结果，目标检测结果包括是否具有抹除痕迹的得分和位置信息。

基于前述实施例提供的抹除痕迹检测方法，本申请实施例还提供一种抹除痕迹检测装置，参见图10a，所述装置包括分帧单元1001、提取单元1002、第一确定单元1003和第二确定单元1004：

所述分帧单元1001，用于对待检测视频进行分帧处理，得到多个视频帧图像；

所述提取单元1002，用于通过抹除痕迹检测模型对所述多个视频帧图像分别进行特征提取，得到每个视频帧图像对应的图像特征；

所述第一确定单元1003，用于根据所述图像特征分别确定每个视频帧图像对应的帧检测结果；

所述第二确定单元1004，用于根据所述每个视频帧图像对应的帧检测结果确定所述待检测视频的目标检测结果，所述目标检测结果包括所述待检测视频是否具有抹除痕迹。

在一种可能的实现方式中，参见图10b，所述装置还包括训练单元1005：

所述训练单元1005，用于获取已标注图像样本和多个原始图像样本；所述已标注图像样本具有抹除痕迹的标注信息，所述多个原始图像样本无抹除痕迹；对所述多个原始图像样本分别进行图像处理生成带有抹除痕迹的目标图像样本；根据所述已标注图像样本和所述目标图像样本对所述抹除痕迹检测模型进行训练。

在一种可能的实现方式中，所述训练单元1005，用于：

根据所述目标图像样本对所述抹除痕迹检测模型进行预训练；

根据所述已标注图像样本对预训练后的抹除痕迹检测模型进行调整训练。

在一种可能的实现方式中，若所述抹除痕迹为马赛克，所述训练单元1005，还用于：

针对所述多个原始图像样本中的每个原始图像样本，选取目标区域；

对所述目标区域进行像素压缩处理；

对像素压缩处理后的所述目标区域进行放大处理，得到所述目标图像样本。

在一种可能的实现方式中，若所述抹除痕迹为条纹抹除或高斯模糊，所述训练单元1005，还用于：

针对所述多个原始图像样本中的每个原始图像样本，选取目标区域；

对所述目标区域进行添加滤镜处理，得到所述目标图像样本。

在一种可能的实现方式中，所述训练单元1005，还用于：

确定所述目标区域中像素点的像素值与相邻区域中像素点的像素值之间的差异值；所述相邻区域为与所述目标区域相邻的区域；

若所述差异值小于预设阈值，重新选取所述目标区域。

在一种可能的实现方式中，所述训练单元1005，还用于：

对所述多个原始图像样本分别进行增广处理；

根据增广处理后的多个原始图像样本生成所述目标图像样本。

在一种可能的实现方式中，所述第二确定单元1004，用于：

将所述每个视频帧图像对应的帧检测结果进行帧结果融合得到所述目标检测结果。

在一种可能的实现方式中，若所述目标检测结果包括所述待检测视频是否具有抹除痕迹和抹除痕迹的位置信息，所述帧检测结果包括检测框、所述检测框的位置信息和所述检测框的置信度，所述第二确定单元1004，用于：

确定所有检测框之间的交并比；

根据所述交并比与第一预设阈值之间的关系，确定连通子图；

根据同一个连通子图内检测框的置信度确定所述待检测视频是否具有抹除痕迹，以及根据同一个连通子图内检测框的位置信息确定所述抹除痕迹的位置信息。

在一种可能的实现方式中，若所述目标检测结果包括所述待检测视频是否具有抹除痕迹，所述帧检测结果包括检测框和所述检测框的置信度，所述第二确定单元1004，用于：

根据每个检测框的置信度计算置信度的平均值；

若所述平均值达到第二预设阈值，确定所述待检测视频具有抹除痕迹。

在一种可能的实现方式中，所述抹除痕迹检测模型包括特征金字塔模块，所述提取单元1002，用于：

针对每个视频帧图像，通过所述特征金字塔模块得到所述视频帧图像的多层图像特征，所述多层图像特征的尺寸各不相同；

所述根据所述图像特征分别确定每个视频帧图像对应的帧检测结果，包括：

根据所述多层图像特征分别确定每个视频帧图像对应的帧检测结果，每个视频帧图像对应的所述帧检测结果包括多个。

本申请实施例还提供了一种用于抹除痕迹检测的设备，下面结合附图对用于抹除痕迹检测的设备进行介绍。请参见图11所示，本申请实施例提供了一种用于抹除痕迹检测的设备1100，该设备1100还可以是终端设备，该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，简称PDA)、销售终端(Point of Sales，简称POS)、车载电脑等任意智能终端，以终端设备为手机为例：

图11示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图11，手机包括：射频(Radio Frequency，简称RF)电路1110、存储器1120、输入单元1130、显示单元1140、传感器1150、音频电路1160、无线保真(wireless fidelity，简称WiFi)模块1170、处理器1180、以及电源1190等部件。本领域技术人员可以理解，图11中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图11对手机的各个构成部件进行具体的介绍：

RF电路1110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1180处理；另外，将设计上行的数据发送给基站。通常，RF电路1110包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工器等。此外，RF电路1110还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，简称GSM)、通用分组无线服务(GeneralPacket Radio Service，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、长期演进(Long Term Evolution，简称LTE)、电子邮件、短消息服务(Short Messaging Service，简称SMS)等。

存储器1120可用于存储软件程序以及模块，处理器1180通过运行存储在存储器1120的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1130可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1130可包括触控面板1131以及其他输入设备1132。触控面板1131，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1131上或在触控面板1131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1180，并能接收处理器1180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1131。除了触控面板1131，输入单元1130还可以包括其他输入设备1132。具体地，其他输入设备1132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1140可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1140可包括显示面板1141，可选的，可以采用液晶显示器(LiquidCrystal Display，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板1141。进一步的，触控面板1131可覆盖显示面板1141，当触控面板1131检测到在其上或附近的触摸操作后，传送给处理器1180以确定触摸事件的类型，随后处理器1180根据触摸事件的类型在显示面板1141上提供相应的视觉输出。虽然在图11中，触控面板1131与显示面板1141是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1131与显示面板1141集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1141的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1141和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1160、扬声器1161，传声器1162可提供用户与手机之间的音频接口。音频电路1160可将接收到的音频数据转换后的电信号，传输到扬声器1161，由扬声器1161转换为声音信号输出；另一方面，传声器1162将收集的声音信号转换为电信号，由音频电路1160接收后转换为音频数据，再将音频数据输出处理器1180处理后，经RF电路1110以发送给比如另一手机，或者将音频数据输出至存储器1120以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图11示出了WiFi模块1170，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1180是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1120内的软件程序和/或模块，以及调用存储在存储器1120内的数据，执行手机的各种功能和处理数据。可选的，处理器1180可包括一个或多个处理单元；优选的，处理器1180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1180中。

手机还包括给各个部件供电的电源1190(比如电池)，优选的，电源可以通过电源管理系统与处理器1180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本实施例中，该终端设备所包括的处理器1180还具有以下功能：

对待检测视频进行分帧处理，得到多个视频帧图像；

通过抹除痕迹检测模型对所述多个视频帧图像分别进行特征提取，得到每个视频帧图像对应的图像特征；

根据所述图像特征分别确定每个视频帧图像对应的帧检测结果；

根据所述每个视频帧图像对应的帧检测结果确定所述待检测视频的目标检测结果，所述目标检测结果包括所述待检测视频是否具有抹除痕迹。

本申请实施例还提供服务器，请参见图12所示，图12为本申请实施例提供的服务器1200的结构图，服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，简称CPU)1222(例如，一个或一个以上处理器)和存储器1232，一个或一个以上存储应用程序1242或数据1244的存储介质1230(例如一个或一个以上海量存储设备)。其中，存储器1232和存储介质1230可以是短暂存储或持久存储。存储在存储介质1230的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1222可以设置为与存储介质1230通信，在服务器1200上执行存储介质1230中的一系列指令操作。

服务器1200还可以包括一个或一个以上电源1226，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1258，和/或，一个或一个以上操作系统1241，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

在本实施例中，上述实施例中由服务器所执行的步骤可以由图12所示的结构完成。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述实施例中任一项所述的方法。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种基于人工智能的抹除痕迹检测方法，其特征在于，所述方法包括：

对待检测视频进行分帧处理，得到多个视频帧图像；

通过抹除痕迹检测模型对所述多个视频帧图像分别进行特征提取，得到每个视频帧图像对应的图像特征；

根据所述图像特征分别确定每个视频帧图像对应的帧检测结果；

根据所述每个视频帧图像对应的帧检测结果确定所述待检测视频的目标检测结果，所述目标检测结果包括所述待检测视频是否具有抹除痕迹；

所述抹除痕迹检测模型的训练方式为：

获取已标注图像样本和多个原始图像样本；所述已标注图像样本具有抹除痕迹的标注信息，所述多个原始图像样本无抹除痕迹；

对所述多个原始图像样本分别进行图像处理生成带有抹除痕迹的目标图像样本，具体包括：针对所述多个原始图像样本中的每个原始图像样本，选取目标区域，使所述目标区域中像素点的像素值与相邻区域中像素点的像素值之间的差异值不小于预设阈值，所述相邻区域为与所述目标区域相邻的区域，对所述目标区域进行图像处理，得到所述目标图像样本；

根据所述已标注图像样本和所述目标图像样本对所述抹除痕迹检测模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述根据所述已标注图像样本和所述目标图像样本对所述抹除痕迹检测模型进行训练，包括：

根据所述目标图像样本对所述抹除痕迹检测模型进行预训练；

根据所述已标注图像样本对预训练后的抹除痕迹检测模型进行调整训练。

3.根据权利要求1所述的方法，其特征在于，若所述抹除痕迹为马赛克，对所述目标区域进行图像处理，得到所述目标图像样本，包括：

对所述目标区域进行像素压缩处理；

对像素压缩处理后的所述目标区域进行放大处理，得到所述目标图像样本。

4.根据权利要求1所述的方法，其特征在于，若所述抹除痕迹为条纹抹除或高斯模糊，对所述目标区域进行图像处理，得到所述目标图像样本，包括：

对所述目标区域进行添加滤镜处理，得到所述目标图像样本。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

确定所述目标区域中像素点的像素值与相邻区域中像素点的像素值之间的差异值；

若所述差异值小于预设阈值，重新选取所述目标区域。

6.根据权利要求1所述的方法，其特征在于，所述对所述多个原始图像样本分别进行图像处理生成带有抹除痕迹的目标图像样本，包括：

对所述多个原始图像样本分别进行增广处理；

根据增广处理后的多个原始图像样本生成所述目标图像样本。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述每个视频帧图像对应的帧检测结果确定所述待检测视频的目标检测结果，包括：

将所述每个视频帧图像对应的帧检测结果进行帧结果融合得到所述目标检测结果。

8.根据权利要求7所述的方法，其特征在于，若所述目标检测结果包括所述待检测视频是否具有抹除痕迹和抹除痕迹的位置信息，所述帧检测结果包括检测框、所述检测框的位置信息和所述检测框的置信度，所述将所述每个视频帧图像对应的帧检测结果进行帧结果融合得到所述目标检测结果，包括：

确定所有检测框之间的交并比；

根据所述交并比与第一预设阈值之间的关系，确定连通子图；

根据同一个连通子图内检测框的置信度确定所述待检测视频是否具有抹除痕迹，以及根据同一个连通子图内检测框的位置信息确定所述抹除痕迹的位置信息。

9.根据权利要求7所述的方法，其特征在于，若所述目标检测结果包括所述待检测视频是否具有抹除痕迹，所述帧检测结果包括检测框和所述检测框的置信度，所述将所述每个视频帧图像对应的帧检测结果进行帧结果融合得到所述目标检测结果，包括：

根据每个检测框的置信度计算置信度的平均值；

若所述平均值达到第二预设阈值，确定所述待检测视频具有抹除痕迹。

10.根据权利要求1-6任一项所述的方法，其特征在于，所述抹除痕迹检测模型包括特征金字塔模块，所述通过抹除痕迹检测模型对所述多个视频帧图像分别进行特征提取，得到每个视频帧图像对应的图像特征，包括：

针对每个视频帧图像，通过所述特征金字塔模块得到所述视频帧图像的多层图像特征，所述多层图像特征的尺寸各不相同；

所述根据所述图像特征分别确定每个视频帧图像对应的帧检测结果，包括：

根据所述多层图像特征分别确定每个视频帧图像对应的帧检测结果，每个视频帧图像对应的所述帧检测结果包括多个。

11.一种抹除痕迹检测装置，其特征在于，所述装置包括分帧单元、提取单元、第一确定单元和第二确定单元：

所述分帧单元，用于对待检测视频进行分帧处理，得到多个视频帧图像；

所述提取单元，用于通过抹除痕迹检测模型对所述多个视频帧图像分别进行特征提取，得到每个视频帧图像对应的图像特征；

所述第一确定单元，用于根据所述图像特征分别确定每个视频帧图像对应的帧检测结果；

所述第二确定单元，用于根据所述每个视频帧图像对应的帧检测结果确定所述待检测视频的目标检测结果，所述目标检测结果包括所述待检测视频是否具有抹除痕迹；

所述装置还包括训练单元：

所述训练单元，用于获取已标注图像样本和多个原始图像样本；所述已标注图像样本具有抹除痕迹的标注信息，所述多个原始图像样本无抹除痕迹；对所述多个原始图像样本分别进行图像处理生成带有抹除痕迹的目标图像样本，具体包括：针对所述多个原始图像样本中的每个原始图像样本，选取目标区域，使所述目标区域中像素点的像素值与相邻区域中像素点的像素值之间的差异值不小于预设阈值，所述相邻区域为与所述目标区域相邻的区域，对所述目标区域进行图像处理，得到所述目标图像样本；根据所述已标注图像样本和所述目标图像样本对所述抹除痕迹检测模型进行训练。

12.一种用于抹除痕迹检测的设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-10任一项所述的抹除痕迹检测方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-10任一项所述的抹除痕迹检测方法。

Images