CN111738244A - 图像检测方法、装置、计算机设备和存储介质 - Google Patents

图像检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111738244A
CN111738244A CN202010867019.1A CN202010867019A CN111738244A CN 111738244 A CN111738244 A CN 111738244A CN 202010867019 A CN202010867019 A CN 202010867019A CN 111738244 A CN111738244 A CN 111738244A
Authority
CN
China
Prior art keywords
image
face
detected
local
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010867019.1A
Other languages
English (en)
Other versions
CN111738244B (zh
Inventor
姚太平
陈燊
丁守鸿
李季檩
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010867019.1A priority Critical patent/CN111738244B/zh
Publication of CN111738244A publication Critical patent/CN111738244A/zh
Application granted granted Critical
Publication of CN111738244B publication Critical patent/CN111738244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像检测方法、装置、计算机设备和存储介质。该方法涉及人工智能领域中的图像分类技术,该方法可以由人工智能云服务实现,所述方法包括:获取包括人脸的待检测图像;提取待检测图像对应的图像特征;切分图像特征,获得待检测图像中各局部区域对应的局部特征;根据局部特征确定各局部区域之间的相似度;根据相似度预测待检测图像中的人脸属于伪造人脸的第一概率;根据第一概率,确定待检测图像中人脸的真伪检测结果。采用本方法能够克服特定伪造图像检测算法在一些人脸图像上过拟合的问题,提升了检测效果,并具有一定的可解释性。

Description

图像检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像检测方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的飞速发展,近来出现了一些软件和工具,能够将图像或视频中原始的真实人脸换成假冒的人脸,伪造包含他人人脸的图像或视频,例如,这些工具可以利用人工智能云服务提供的基于深度学习的换脸服务来实现对视频或图像进行换脸的功能。由于伪造图像及视频具有辨别难度大、制造成本低、传播速度快和破坏能力强等特点,对个人隐私、社会稳定甚至国家安全等造成严重的潜在危险。
为此,针对换脸图像或换脸视频中真伪人脸的图像检测涉及到人工智能领域中的图像分类技术,已经成为近年来该领域的研究热点。目前采用的方法主要可以分为两大类:基于人脸伪造痕迹的检测方法,通过虚假内容的特定伪造痕迹进行判断,如眨眼模式、生物特征等;基于神经网络结构设计的检测方法,通过设计各种网络结构、借助深度神经网络强大的表征能力来检测虚假人脸视频。然而,上述方法大都局限于特定伪造图像检测算法,缺乏可解释性和泛化性,检测效果不佳。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高检测效果的图像检测方法、装置、计算机设备和存储介质。
一种图像检测方法,所述方法包括:
获取包括人脸的待检测图像;
提取所述待检测图像对应的图像特征;
切分所述图像特征,获得所述待检测图像中各局部区域对应的局部特征;
根据所述局部特征确定各所述局部区域之间的相似度;
根据所述相似度预测所述待检测图像中的人脸属于伪造人脸的第一概率;
根据所述第一概率,确定所述待检测图像中所述人脸的真伪检测结果。
一种图像检测装置,所述装置包括:
获取模块,用于获取包括人脸的待检测图像;
提取模块,用于提取所述待检测图像对应的图像特征;
切分模块,用于切分所述图像特征,获得所述待检测图像中各局部区域对应的局部特征;
相似度确定模块,用于根据所述局部特征确定各所述局部区域之间的相似度;
预测模块,用于根据所述相似度预测所述待检测图像中的人脸属于伪造人脸的第一概率;
确定模块,用于根据所述第一概率,确定所述待检测图像中所述人脸的真伪检测结果。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取包括人脸的待检测图像;
提取所述待检测图像对应的图像特征;
切分所述图像特征,获得所述待检测图像中各局部区域对应的局部特征;
根据所述局部特征确定各所述局部区域之间的相似度;
根据所述相似度预测所述待检测图像中的人脸属于伪造人脸的第一概率;
根据所述第一概率,确定所述待检测图像中所述人脸的真伪检测结果。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取包括人脸的待检测图像;
提取所述待检测图像对应的图像特征;
切分所述图像特征,获得所述待检测图像中各局部区域对应的局部特征;
根据所述局部特征确定各所述局部区域之间的相似度;
根据所述相似度预测所述待检测图像中的人脸属于伪造人脸的第一概率;
根据所述第一概率,确定所述待检测图像中所述人脸的真伪检测结果。
上述图像检测方法、装置、计算机设备和存储介质中,在获取到包括人脸的待检测图像后,提取待检测图像对应的图像特征,并将图像特征切分得到多个局部特征,局部特征代表了待检测图像中局部区域,局部特征之间的相似度就代表了待检测图像中局部区域之间的相似度。由于人脸的多样性和图像来源的不同,伪造人脸图像的不同区域间会存在一定的差异性,所以,就可以利用待检测图像中局部区域间的相似度来预测待检测图像属于伪造人脸的概率,并基于该概率确定待检测对象中人脸的真伪检测结果。这种局部区域之间的相似度是与图像内容无关的特征,也就是说,不管图像的内容是什么,每张图像都存在这样的特性,克服了特定伪造图像检测算法在一些人脸图像上过拟合的问题,提升了检测效果,并具有一定的可解释性。
一种人脸检测模型的训练方法,所述方法包括:
获取训练样本集,所述训练样本集中的每个训练样本包括人脸样本图像、人脸样本图像对应的真实像素差异图及所述人脸样本图像对应的分类标签;
将所述训练样本中的人脸样本图像输入至人脸检测模型;
通过所述人脸检测模型提取所述人脸样本图像对应的图像特征;
将所述图像特征切分后,获得所述人脸样本图像中各局部区域对应的局部特征;
根据所述局部特征确定各所述局部区域之间的第一相似度;
根据所述第一相似度预测所述人脸样本图像中人脸属于伪造人脸的第一概率;
根据所述第一概率与所述人脸样本图像对应的分类标签构建第一损失;
将所述人脸样本图像对应的真实像素差异图切分后,获得局部差异块;
根据所述局部差异块中属于伪造人脸的像素确定伪造面积;
根据所述伪造面积确定各所述局部差异块之间的第二相似度;
根据所述第一相似度与所述第二相似度构建第二损失;
根据所述第一损失和所述第二损失构建目标损失,并基于所述目标损失更新所述人脸检测模型的参数后,获取下一个训练样本并返回所述将所述训练样本中的人脸样本图像输入至人脸检测模型的步骤继续训练,直至满足迭代停止条件时,获得训练好的人脸检测模型。
一种人脸检测模型的训练装置,包括:
获取模块,用于获取训练样本集,所述训练样本集中的每个训练样本包括人脸样本图像、人脸样本图像对应的真实像素差异图及所述人脸样本图像对应的分类标签;
特征提取模块,用于将所述训练样本中的人脸样本图像输入至人脸检测模型;通过所述人脸检测模型提取所述人脸样本图像对应的图像特征;
切分模块,用于将所述图像特征切分后,获得所述人脸样本图像中各局部区域对应的局部特征;
第一损失构建模块,用于根据所述局部特征确定各所述局部区域之间的第一相似度;根据所述第一相似度预测所述人脸样本图像中人脸属于伪造人脸的第一概率;根据所述第一概率与所述人脸样本图像对应的分类标签构建第一损失;
所述切分模块还用于将所述人脸样本图像对应的真实像素差异图切分后,获得局部差异块;
第二损失构建模块,用于根据所述局部差异块中属于伪造人脸的像素确定伪造面积;根据所述伪造面积确定各所述局部差异块之间的第二相似度;根据所述第一相似度与所述第二相似度构建第二损失;
迭代模块,用于根据所述第一损失和所述第二损失构建目标损失,并基于所述目标损失更新所述人脸检测模型的参数后,获取下一个训练样本并返回所述将所述训练样本中的人脸样本图像输入至人脸检测模型的步骤继续训练,直至满足迭代停止条件时,获得训练好的人脸检测模型。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取训练样本集,所述训练样本集中的每个训练样本包括人脸样本图像、人脸样本图像对应的真实像素差异图及所述人脸样本图像对应的分类标签;
将所述训练样本中的人脸样本图像输入至人脸检测模型;
通过所述人脸检测模型提取所述人脸样本图像对应的图像特征;
将所述图像特征切分后,获得所述人脸样本图像中各局部区域对应的局部特征;
根据所述局部特征确定各所述局部区域之间的第一相似度;
根据所述第一相似度预测所述人脸样本图像中人脸属于伪造人脸的第一概率;
根据所述第一概率与所述人脸样本图像对应的分类标签构建第一损失;
将所述人脸样本图像对应的真实像素差异图切分后,获得局部差异块;
根据所述局部差异块中属于伪造人脸的像素确定伪造面积;
根据所述伪造面积确定各所述局部差异块之间的第二相似度;
根据所述第一相似度与所述第二相似度构建第二损失;
根据所述第一损失和所述第二损失构建目标损失,并基于所述目标损失更新所述人脸检测模型的参数后,获取下一个训练样本并返回所述将所述训练样本中的人脸样本图像输入至人脸检测模型的步骤继续训练,直至满足迭代停止条件时,获得训练好的人脸检测模型。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取训练样本集,所述训练样本集中的每个训练样本包括人脸样本图像、人脸样本图像对应的真实像素差异图及所述人脸样本图像对应的分类标签;
将所述训练样本中的人脸样本图像输入至人脸检测模型;
通过所述人脸检测模型提取所述人脸样本图像对应的图像特征;
将所述图像特征切分后,获得所述人脸样本图像中各局部区域对应的局部特征;
根据所述局部特征确定各所述局部区域之间的第一相似度;
根据所述第一相似度预测所述人脸样本图像中人脸属于伪造人脸的第一概率;
根据所述第一概率与所述人脸样本图像对应的分类标签构建第一损失;
将所述人脸样本图像对应的真实像素差异图切分后,获得局部差异块;
根据所述局部差异块中属于伪造人脸的像素确定伪造面积;
根据所述伪造面积确定各所述局部差异块之间的第二相似度;
根据所述第一相似度与所述第二相似度构建第二损失;
根据所述第一损失和所述第二损失构建目标损失,并基于所述目标损失更新所述人脸检测模型的参数后,获取下一个训练样本并返回所述将所述训练样本中的人脸样本图像输入至人脸检测模型的步骤继续训练,直至满足迭代停止条件时,获得训练好的人脸检测模型。
上述人脸检测模型的训练方法、装置、计算机设备和存储介质,通过初始的人脸检测模型提取所述人脸样本图像对应的图像特征,并将所述图像特征切分后,获得所述人脸样本图像中各局部区域对应的局部特征,根据所述局部特征确定各所述局部区域之间的第一相似度,该第一相似度衡量的是人脸样本图像中局部区域之间的相似度,第一概率是根据第一相似度确定的,第一损失根据第一概率构建,这样,根据第一损失可以在模型训练过程中使得人脸检测模型学习到局部区域之间的关联;同时,将所述人脸样本图像对应的真实像素差异图切分后,获得局部差异块,并根据所述局部差异块中属于伪造人脸的像素确定伪造面积,根据所述伪造面积确定各所述局部差异块之间的第二相似度,根据第一相似度与第二相似度构建第二损失,这样第二损失利用了人脸样本图像对应的真实像素差异图,可以用来监督局部区域之间相似度的学习,训练得到的人脸检测模型具有较强的泛化能力,并具有一定的可解释性,提高了模型的检测效果。
附图说明
图1为一个实施例中图像检测方法的应用环境图;
图2为一个实施例中人脸检测模型的网络结构示意图;
图3为一个实施例中图像检测方法的流程示意图;
图4为另一个实施例中人脸检测模型的网络结构示意图;
图5为另一个实施例中图像检测方法的流程示意图;
图6为一个实施例中人脸检测模型的训练过程示意;
图7为一个实施例中人脸检测模型的训练方法的流程图;
图8为一个实施例中获得人脸样本图像对应的真实像素差异图的示意图;
图9为一个实施例中确定真实像素差异图中各局部区域之间相似度的示意;
图10为另一个实施例中人脸检测模型的训练过程示意图;
图11为另一个实施例中人脸检测模型的训练方法的流程图;
图12为一个实施例中图像检测装置的结构框图;
图13为一个实施例中人脸检测模型的训练装置的结构框图;
图14为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的图像检测方法及人脸检测模型的训练方法涉及人工智能技术中的计算机视觉技术(Computer Vision, CV),计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请提供的图像检测方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。终端102可以获取包括人脸的待检测图像后,通过训练好的人脸检测模型提取待检测图像对应的图像特征,再切分图像特征,获得待检测图像中各局部区域对应的局部特征,接着,根据局部特征确定各局部区域之间的相似度,并根据相似度预测待检测图像中的人脸属于伪造人脸的第一概率,最后,根据第一概率,确定待检测图像中人脸的真伪检测结果。
在另一个实施例中,训练好的人脸检测模型可以部署在服务器104上,终端102可以将获取的待检测图像发送至服务器104,通过服务器104上部署的人脸检测模型提取待检测图像对应的图像特征后,切分图像特征,获得待检测图像中各局部区域对应的局部特征,再根据局部特征确定各局部区域之间的相似度,接着,根据相似度预测待检测图像中的人脸属于伪造人脸的第一概率,并根据第一概率,确定待检测图像中人脸的真伪检测结果后,将该真伪检测结果返回至终端102。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。训练好的人脸检测模型可以是通过终端102训练获得,也可以是通过服务器104训练获得的。
如图2所示,为一个实施例中人脸检测模型的示意图,参照图2,该人脸检测模型包括编码器,编码器用于提取输入的待检测图像的图像特征,然后切分图像特征获得局部特征,根据局部特征之间的相似度进行预测,得到待检测图像的真伪检测结果。该人脸检测模型的训练方法具体可以参考图6和图7。
在一个实施例中,如图3所示,提供了一种图像检测方法,以该方法应用于计算机设备(例如图1中的终端或服务器)为例进行说明,该方法使用如图2所示的人脸检测模型实现图像检测,包括以下步骤302至步骤312:
步骤302,获取包括人脸的待检测图像。
其中,待检测图像是待进行图像检测的图像,待检测图像中包括人脸,可以称为人脸图像。待检测图像可以是一张静态的人脸图像,也可以是从视频中获取的人脸视频帧。本申请实施例中的图像检测是识别出待检测图像是原始的真实人脸图像还是换脸后的伪造人脸图像的过程,也就是确定待检测图像所属的分类类别的过程。
可以理解的是,伪造人脸图像中的人脸是经过更换的人脸,所以,在伪造人脸图像的局部区域之间存在较大的差异,而真实人脸图像中的人脸是原始的人脸,没有经过更换,所以,真实人脸图像中的局部区域之间差异较小。基于此,可以根据局部区域的相似度来预测待检测图像是真实人脸图像还是伪造人脸图像。
具体地,计算机设备可以获取其他计算机设备传递的图像,将该图像作为待检测图像,例如用户终端可以将制作的视频上传至视频服务器,计算机设备接收视频服务器传递的视频后,从视频中获取视频帧作为待检测图像。计算机设备也可以获取在本机上生成的图像,将该图像作为待检测图像。计算机设备还可从网络上爬取图像,将该图像作为待检测图像。
在一个实施例中,获取包括人脸的待检测图像,包括:获取人脸视频;对人脸视频进行采样处理,获得人脸视频帧;从人脸视频帧中裁剪出包括人脸的人脸区域后获得待检测图像。
具体地,计算机设备可以获取需要进行换脸检测的视频,对视频进行采样处理获得人脸视频帧,例如可以对视频等间隔采样,然后利用人脸检测技术裁剪人脸视频帧中的人脸区域,获得待检测图像。在另一些实施例中,还可以将裁剪出的人脸区域为中心扩大后得到待检测图像。例如,可以将裁剪出的人脸区域扩大2倍后作为待检测图像。
步骤304,提取待检测图像对应的图像特征。
其中,图像特征可以用于反映图像的特性,根据图像的特性可以对图像进行分类,即可以提取待检测图像的图像特征,并基于图像特征进行图像分类,图像特征是将图像划分为伪造人脸图像和真实人脸图像的依据。具体地,计算机设备可以将获取的待检测图像输入至训练好的人脸检测模型,通过人脸检测模型提取待检测图像对应的图像特征。
人脸检测模型是事先训练好的神经网络模型,例如卷积神经网络模型,训练好的人脸检测模型具备图像检测能力,能够识别待检测图像是属于伪造人脸图像,还是属于真实人脸图像。
在一个实施例中,计算机设备可事先设置初始的神经网络模型的模型结构,再通过属于伪造人脸图像和真实人脸图像的图像样本,对初始的神经网络模型进行模型训练得到训练好的模型参数。据此,在需要对待检测图像进行图像检测时,计算机设备可以获取事先训练得到的模型参数,再将该模型参数导入初始的神经网络模型,得到具备图像检测能力的人脸检测模型。
在一个实施例中,图像特征可以是人脸检测模型提取到的高层的低分辨率特征,也可以是其他层的高分辨率特征。
在一个实施例中,步骤304,提取待检测图像对应的图像特征,包括:将待检测图像输入至训练好的人脸检测模型中的编码器;通过编码器中的卷积层,对待检测图像进行特征提取,获得待检测图像对应的高分辨率特征;通过编码器中的池化层,对高分辨率特征进行下采样处理,获得待检测图像对应的图像特征。
在本实施例中,人脸检测模型包括编码器。编码器包括多个卷积层和池化层,用于从待检测图像中提取反映图像内容信息的图像特征。卷积层提取待检测图像的高分辨率特征后再通过池化层进行下采样处理,获得待检测图像对应的图像特征。
步骤306,切分图像特征,获得待检测图像中各局部区域对应的局部特征。
具体地,计算机设备可以切分图像特征,获得多个尺寸大小相同的局部特征。局部特征与待检测图像中的局部区域对应,因此局部特征能够代表局部区域的语义信息,从而可以用局部特征之间的相似度来衡量局部区域之间的相似性。
例如,计算机设备可以将图像特征分别沿宽维度(W)和高维度(H)等间距切分,得到K*K个大小均为C*(H/K)*(W/K)的局部特征。K的取值范围例如可以是5~10,例如K可以取7。
步骤308,根据局部特征确定各局部区域之间的相似度。
前文提到,真实人脸图像中局部区域之间的差异性较小,相似度较大,伪造人脸图像中局部区域之间的差异性较大,相似度较小,因而可以基于局部区域之间的相似度来预测待检测图像中的人脸属于伪造人脸的第一概率。
局部特征的本质是多通道矩阵,局部区域与局部区域之间的相似度可以用局部特征之间的相似度来衡量。因而,计算机设备可以计算各局部区域对应的局部特征之间的相似度,根据该相似度确定局部区域两两之间的相似度,相似度越大,局部区域被更换的可能性越小,相似度越小,表示局部区域被更换的可能性越大。
在一个实施例中,根据局部特征确定各局部区域之间的相似度,包括:将各局部区域对应局部特征转换为局部特征向量;根据各局部特征向量之间的余弦相似度确定局部区域之间的相似度。
具体地,计算机设备可以将各个局部区域对应的局部特征按行或按列展开后,转换为一维的局部特征向量,用局部特征向量之间的余弦相似度作为局部区域之间的相似度。可以理解,各局部区域之间的相似度的取值范围是0至1之间的数值。
步骤310,根据相似度预测待检测图像中的人脸属于伪造人脸的第一概率。
其中,第一概率反映了待检测图像中的人脸属于伪造人脸的可能性的大小,第一概率越大,属于伪造人脸的几率越大,第一概率越小,属于伪造人脸的几率越小。
具体地,计算机设备可以根据步骤308得到各局部区域之间的相似度之后,统计相似度小于阈值的数量,根据相似度小于阈值的数量确定第一概率。例如,切分后获得M个局部特征,则局部特征两两之间一共可以得到N个相似度,N=M*(M-1)/2,统计N个相似度中小于阈值的数量Q1,第一概率可以用Q1/N表示。可以理解的是,计算机设备当然也可以根据相似度预测待检测图像中的人脸属于原始的真实人脸的概率,根据该概率确定待检测图像中人脸的真伪检测结果。具体地,计算机设备统计相似度大于阈值的数量,根据相似度大于阈值的数量确定第一概率。例如,切分后获得M个局部特征,则局部特征两两之间一共可以得到N个相似度,N=M*(M-1)/2,统计N个相似度中大于阈值的数量Q2,第一概率可以用Q2/N表示。上述的阈值可以是通过模型训练后确定的参数,也可以是预设阈值。
步骤312,根据第一概率,确定待检测图像中人脸的真伪检测结果。
其中,真伪检测结果包括待检测图像中人脸是伪造人脸与真实人脸中的一种,也就是待检测图像属于伪造人脸图像或是真实人脸图像。具体地,计算机设备可以将第一概率与阈值进行比较,当第一概率大于阈值时,真伪检测结果为待检测图像属于伪造人脸图像,当第一概率小于阈值时,真伪检测结果为待检测图像属于真实人脸图像。需要说明的是,若步骤310为根据相似度预测待检测图像中的人脸属于真实人脸的第一概率时,那么在步骤312中,计算机设备可以将第一概率与阈值进行比较,当第一概率小于阈值时,真伪检测结果为待检测图像属于伪造人脸图像,当第一概率大于阈值时,真伪检测结果为待检测图像属于真实人脸图像。同样地,上述阈值可以是通过模型训练后确定的模型参数,也可以是预设阈值。
上述图像检测方法,在获取到包括人脸的待检测图像后,提取待检测图像对应的图像特征,并将图像特征切分得到多个局部特征,局部特征代表了待检测图像中的局部区域,局部特征之间的相似度就代表了待检测图像中局部区域之间的相似度。由于人脸的多样性和图像来源的不同,伪造人脸图像的不同区域间会存在一定的差异性,所以,就可以利用待检测图像中局部区域间的相似度来预测待检测图像属于伪造人脸的概率,并基于该概率确定待检测对象中人脸的真伪检测结果。这种局部区域之间的相似度是与图像内容无关的特征,也就是说,不管图像的内容是什么,每张图像都存在这样的特性,克服了特定伪造图像检测算法在一些人脸图像上过拟合的问题,提升了检测效果,并具有一定的可解释性。
在上述实施例中,人脸检测模型包括编码器,编码器输出图像特征后,根据局部区域对应的局部特征之间的相似性对待检测图像是否属于伪造人脸图像进行预测,局部区域之间的相似性是一种与内容无关的特征,能够避免在特定图像上出现的过拟合情况。
如图4所示,为一个实施例中人脸检测模型的示意图,参照图4,该人脸检测模型包括编码器和解码器,编码器用于提取输入的待检测图像的图像特征,解码器用于根据图像特征预测像素差异图,根据像素差异图进行预测,得到待检测图像的真伪检测结果。如图4所示的人脸检测模型的训练方法具体可以参考图9和图10。
在一个实施例中,如图5所示,提供了一种图像检测方法,以该方法应用于计算机设备(例如图1中的终端或服务器)为例进行说明,该方法可以使用如图4所示的人脸检测模型实现图像检测,包括以下步骤502至步骤508:
步骤502,获取包括人脸的待检测图像。
其中,待检测图像是待进行图像检测的图像,待检测图像中包括人脸,可以称为人脸图像。待检测图像可以是一张静态的人脸图像,也可以是从视频中获取的人脸视频帧。本申请实施例中的图像检测是识别出待检测图像是原始的真实人脸图像还是换脸后的伪造人脸图像的过程,也就是确定待检测图像所属的分类类别的过程。
可以理解的是,伪造人脸图像中的人脸是经过更换的人脸,所以,在伪造人脸图像的局部区域之间存在较大的差异,而真实人脸图像中的人脸是原始的人脸,没有经过更换,所以,真实人脸图像中的局部区域之间差异较小。基于此,我们可以根据局部区域的相似度来预测待检测图像是真实人脸图像还是伪造人脸图像。
具体地,计算机设备可以获取其他计算机设备传递的图像,将该图像作为待检测图像,例如用户终端可以将制作的视频上传至视频服务器,计算机设备接收视频服务器传递的视频后,从视频中获取视频帧作为待检测图像。计算机设备也可以获取在本机上生成的图像,将该图像作为待检测图像。计算机设备还可从网络上爬取图像,将该图像作为待检测图像。
在一个实施例中,获取包括人脸的待检测图像,包括:获取人脸视频;对人脸视频进行采样处理,获得人脸视频帧;从人脸视频帧中裁剪出包括人脸的人脸区域后获得待检测图像。
具体地,计算机设备可以获取需要进行换脸检测的视频,对视频进行采样处理获得人脸视频帧,例如可以对视频等间隔采样,然后利用人脸检测技术裁剪人脸视频帧中的人脸区域,获得待检测图像。在另一些实施例中,还可以将裁剪出的人脸区域为中心扩大后得到待检测图像。例如,可以将裁剪出的人脸区域扩大2倍后作为待检测图像。
步骤504,通过人脸检测模型中的编码器提取待检测图像对应的图像特征。
在一个实施例中,步骤504,通过人脸检测模型中的编码器提取待检测图像对应的图像特征,包括:将待检测图像输入至训练好的人脸检测模型中的编码器;通过编码器中的卷积层,对待检测图像进行特征提取,获得待检测图像对应的高分辨率特征;通过编码器中的池化层,对高分辨率特征进行下采样处理,获得待检测图像对应的图像特征。
在本实施例中,人脸检测模型包括编码器。编码器包括多个卷积层和池化层,用于从待检测图像中提取反映图像内容信息的图像特征。卷积层提取待检测图像的高分辨率特征后再通过池化层进行下采样处理,获得待检测图像对应的图像特征。
步骤506,通过人脸检测模型中的解码器对图像特征进行解码,获得待检测图像对应的像素差异图,像素差异图用于表示待检测图像中各像素属于伪造人脸的第二概率。
在本实施例中,人脸检测模型包括解码器,解码器可以将编码器输出的低分辨率的图像特征映射回待检测图像的尺寸,以进行逐像素的分类,即确定待检测图像中各像素是属于原始的真实人脸图像还是换脸后的伪造人脸图像。像素差异图表示待检测图像与对应的真实人脸图像之间的像素差异,像素差异越大,相应的像素值也就越大,像素差异图中各像素属于伪造人脸的第二概率越大。
在一个实施例中,通过人脸检测模型中的解码器对图像特征进行解码,获得待检测图像对应的像素差异图,包括:将图像特征输入至人脸检测模型中的解码器;通过解码器中的上采样层对图像特征进行上采样处理后与编码器获得的高分辨率特征融合,获得输出特征;通过解码器中的分类层对输出特征进行归一化处理,获得待检测图像对应的像素差异图。
在本实施例中,解码器包括多个卷积层和上采样层,卷积层例如可以是3*3卷积层,上采样层将输入的图像特征放大两倍,然后通过桥接操作将编码器输出的不同尺寸的图像特征与上采样处理后获得的图像特征按通道维度进行拼接后,再经过3*3卷积操作融合通道间和空间的信息,获得最终的输出特征,输出特征经过分类层的归一化处理,将每个值映射为0至1之间的数值,获得像素差异图。分类层可以是sigmoid函数,用于将数值映射成0至1之间的数值。像素差异图中各个数值表示待检测图像中各像素属于伪造人脸的第二概率,数值越大,表示对应像素属于伪造人脸的几率越大,反之,数值越小,表示对应像素属于伪造人脸的几率越小。
步骤508,根据第二概率,确定待检测图像中人脸的真伪检测结果。
其中,真伪检测结果包括待检测图像中人脸是伪造人脸与真实人脸中的一种,也就是待检测图像属于伪造人脸图像或是真实人脸图像。具体地,计算机设备可以通过人脸检测模型中的预测单元将第二概率与阈值进行比较,当第二概率大于阈值时,对应像素属于伪造人脸图像中的像素,当第二概率小于阈值时,对应像素属于原始的人脸图像,然后统计属于伪造人脸图像的像素的数量与总像素的比例,根据该比例确定真伪检测结果。显然,该比例指示了待检测图像中人脸属于伪造人脸的几率,该比例越大,待检测图像属于伪造人脸图像的几率也就越大。上述的阈值可以是通过模型训练得到的模型参数,也可以是预设阈值。
在一个实施例中,根据第二概率,确定待检测图像中人脸的真伪检测结果,包括:根据第二概率,确定待检测图像中属于伪造人脸的像素;根据属于伪造人脸的像素的数量计算待检测图像对应的伪造面积比;根据伪造面积比确定待检测图像中人脸的真伪检测结果。
例如,待检测图像与像素差异图的面积均为A,像素差异图中像素值大于阈值的像素点个数为B,那么该待检测图像属于伪造人脸图像的几率为B/A。
上述图像检测方法,在获取到包括人脸的待检测图像后,通过训练好的人脸检测模型提取待检测图像对应的图像特征,基于图像特征预测像素差异图后进行分类,得到真伪检测结果。该人脸检测模型在训练时利用了图像中局部区域间的相似度,这种局部区域之间的相似度是与图像内容无关的特征,也就是说,不管图像的内容是什么,每张图像都存在这样的特性,克服了特定伪造图像检测算法在一些人脸图像上过拟合的问题,提升了检测效果,并具有一定的可解释性,并且过编码器-解码器的网络结构来定位人脸的具体伪造区域,并利用真实像素差异图进行监督,有效促使人脸特征图的定位信息的保留。
如图6所示,为一个实施例中人脸检测模型的训练过程示意图。参照图6,该人脸检测模型包括编码器,编码器包括多个卷积和池化操作,在训练时,输入至人脸检测模型的训练样本包括人脸样本图像、人脸样本图像对应的真实像素差异图及分类标签。首先,利用编码器提取人脸样本图像的图像特征,切分图像特征后,获得人脸样本图像中各局部区域对应的局部特征,然后利用局部特征之间的相似度来衡量人脸样本图像局部区域之间的第一相似度,并利用该第一相似度预测人脸样本图像中人脸属于伪造人脸的第一概率,根据第一概率与分类标签构建第一损失;同时,将真实像素差异图切分为局部差异块,根据局部差异块中属于伪造人脸的像素确定伪造面积,并利用伪造面积衡量各局部区域之间的第二相似度,该相似度可以用于指导局部区域相似度的学习,根据第一相似度与第二相似度之间的差异构建第二损失;最后,利用第一损失与第二损失更新模型参数,直至得到训练好的人脸检测模型。
图6所示的人脸检测模型的训练方法如图7所示,参照图7,为一个实施例中人脸检测模型的训练方法的流程图,以该方法应用于计算机设备(例如图1中的终端或服务器)为例进行说明,包括以下步骤702至步骤722:
步骤702,获取训练样本集,训练样本集中的每个训练样本包括人脸样本图像、人脸样本图像对应的真实像素差异图及人脸样本图像对应的分类标签。
其中,训练样本是进行模型训练所需要的样本数据,每个训练样本包括一张人脸样本图像、人脸样本图像对应的真实像素差异图及人脸样本图像对应的分类标签,真实像素差异图、分类标签是模型训练所需要的监督信息。人脸样本图像包括正人脸样本图像与负人脸样本图像,正人脸样本图像是真实人脸图像,负人脸样本图像是伪造人脸图像。真实像素差异图用于表示人脸样本图像与对应的真实人脸图像之间的差异。分类标签用于表示人脸样本图像所属的分类类别,分类类别包括真实人脸图像与伪造人脸图像中的一种,相应的分类标签可以分别用0和1来表示。
在一个实施例中,人脸样本图像可以通过以下步骤得到:获取人脸视频;对人脸视频进行采样处理,获得人脸视频帧;从人脸视频帧中裁剪出包括人脸的人脸区域后获得人脸样本图像。除此之外,还可以将人脸区域放大后作为人脸样本图像。
此外,训练样本大都存在正负样本不平衡的现象,即伪造人脸图像的数量往往多于真实人脸图像的数量。为此,计算机设备可以从每个真实视频对应的所有伪造视频中采样一个视频,采样得到的视频用于获得负人脸样本图像,从而确保训练样本集中正负样本的平衡。接着,按照帧序,从每个真实视频与伪造视频中采样N帧,构成最终的人脸样本图像。
在一个实施例中,人脸样本图像对应的真实像素差异图可以通过以下步骤确定:获取人脸样本图像及对应的真实人脸图像;根据人脸样本图像与真实人脸图像之间的像素差异获得人脸样本图像对应的真实像素差异图。
具体地,当人脸样本图像为正人脸样本图像时,即人脸样本图像属于真实人脸图像时,人脸样本图像与对应的真实人脸图像之间不存在任何差异,则人脸样本图像对应的真实像素差异图中各像素的像素值可以全设置为0,当人脸样本图像为负人脸样本图像时,即人脸样本图像属于伪造人脸图像时,则人脸样本图像对应的真实像素差异图可以根据与对应的真实人脸图像之间的差异来确定。人脸样本图像与对应的真实人脸图像之间的差异可以用对应像素的像素值之差来表示。如图8所示,为一个实施例中根据像素差异获得人脸样本图像对应的真实像素差异图的示意图,可以理解的是,图8中人物眼睛部位的黑条是为避免申请人侵犯图像中人物肖像权而添加的,本申请实施例中对图像的处理并不包括此步骤。
在一个实施例中,根据人脸样本图像与真实人脸图像之间的像素差异获得人脸样本图像对应的像素差异图,包括:当人脸样本图像为真实人脸图像时,则确定人脸样本图像对应的真实像素差异图中各像素的像素值均为第一预设值;当人脸样本图像为伪造人脸图像时,则根据人脸样本图像与对应的真实人脸图像确定差异像素及非差异像素,人脸样本图像对应的真实像素差异图中差异像素的像素值均为第二预设值,且非差异像素均为第一预设值。例如第一预设值可以为0,第二预设值可以为1。
步骤704,将训练样本中的人脸样本图像输入至人脸检测模型,通过人脸检测模型提取人脸样本图像对应的图像特征。
计算机设备可以利用基于mini-batch的方法从训练样本集中随机采样B张图片,并进行随机翻转、高斯模糊处理、JPEG压缩等数据增强操作后将人脸样本图像输入至初始的人脸检测模型中,并通过人脸检测模型中的编码器提取人脸样本图像对应的图像特征。B的取值可以是1,也可以是大于1的数值,但为了训练效果更好,通常取为2的幂指数的值,如32、64等,本申请实施例对此不作限制。
在一个实施例中,计算机设备可以将人脸样本图像输入至人脸检测模型中的编码器;通过编码器中的卷积层,对人脸样本图像进行特征提取,获得人脸样本图像对应的高分辨率特征;通过编码器中的池化层,对高分辨率特征进行下采样处理,获得人脸样本图像对应的图像特征。
步骤706,将图像特征切分后,获得人脸样本图像中各局部区域对应的局部特征。
可以理解的是,伪造人脸图像中的人脸是经过更换的人脸,所以,在伪造人脸图像的局部区域之间存在较大的差异,而真实人脸图像中的人脸是原始的人脸,没有经过更换,所以,真实人脸图像中的局部区域之间差异较小。基于此,我们可以根据局部区域的相似度来预测人脸样本图像是真实人脸图像还是伪造人脸图像。
参照图6,计算机设备通过编码器获得图像特征后,可以切分图像特征,获得多个尺寸大小相同的局部特征。局部特征与人脸样本图像中的局部区域对应,因此局部特征能够代表局部区域的语义信息,从而可以用局部特征之间的相似度来衡量局部区域之间的相似性。
例如,计算机设备可以将图像特征分别沿宽维度(W)和高维度(H)等间距切分,得到K*K个大小均为C*(H/K)*(W/K)的局部特征。K的取值范围例如可以是5~10,例如K可以取7。
步骤708,根据局部特征确定各局部区域之间的第一相似度。
前文提到,真实人脸图像中局部区域之间的差异性较小,相似度较大,伪造人脸图像中局部区域之间的差异性较大,相似度较小,因而可以基于局部区域之间的相似度来预测待检测图像中的人脸属于伪造人脸的第一概率。
局部特征的本质是多通道矩阵,局部区域与局部区域之间的相似度可以用局部特征之间的相似度来衡量。因而,计算机设备可以计算各局部区域对应的局部特征之间的相似度,根据该相似度确定局部区域两两之间的相似度,相似度越大,局部区域被更换的可能性越小,相似度越小,表示局部区域被更换的可能性越大。
在一个实施例中,计算机设备可以将各局部区域对应局部特征转换为局部特征向量;根据各局部特征向量之间的余弦相似度确定局部区域之间的相似度。
步骤710,根据第一相似度预测人脸样本图像中人脸属于伪造人脸的第一概率。
其中,第一概率反映了人脸样本图像中的人脸属于伪造人脸的可能性的大小,第一概率越大,属于伪造人脸的几率越大,第一概率越小,属于伪造人脸的几率越小。
计算机设备可以根据步骤708得到各局部区域之间的相似度之后,统计相似度小于阈值的数量,根据相似度小于阈值的数量确定第一概率。例如,切分后获得M个局部特征,则局部特征两两之间一共可以得到N个相似度,N=M*(M-1)/2,统计N个相似度中小于阈值的数量Q1,第一概率可以用Q1/N表示。
步骤712,根据第一概率与人脸样本图像对应的分类标签构建第一损失。
在一个实施例中,第一损失可以是交叉熵损失(CrossEntropy loss, CE loss), 第一损失
Figure 468010DEST_PATH_IMAGE001
可以通过以下公式表示:
Figure 786121DEST_PATH_IMAGE002
其中, n表示每次训练所使用的多张人脸样本图像中的第n张人脸样本图像,yn为第n张人脸样本图像对应的真实的分类标签的值,pn为当前的人脸检测模型所预测的第n张人脸样本图像对应的第一概率。
步骤714,将人脸样本图像对应的真实像素差异图切分后,获得局部差异块。
例如,真实像素人脸样本图像的大小与输入的人脸样本图像一致,每个像素的取值为0或1 ,人脸样本图像为真实人脸图像时,对应的真实像素差异图中所有像素取值均为0,人脸样本图像为伪造人脸图像时,对应的真实像素差异图中伪造区域的像素值为1,对真实像素差异图等间距切分得到K*K个局部区域块。
步骤716,根据局部差异块中属于伪造人脸的像素确定伪造面积。
例如,每个局部区域块的面积均为S,假如某区域值为1的像素点个数为N,那么该局部区域块的伪造面积比即为N/S ,这样就可以得到每个区域的伪造面积。
步骤718,根据伪造面积确定各局部差异块之间的第二相似度。
具体地,计算机设备可以利用面积比的欧式距离来度量不同局部区域块间的相似性。如图9所示,为一个实施例中确定真实像素差异图中各局部区域之间相似度的示意图。
步骤720,根据第一相似度与第二相似度构建第二损失。
在一个实施例中,第二损失可以是均方误差损失(MeanSquaredError loss, MSE loss),第二损失
Figure 851029DEST_PATH_IMAGE003
可以通过以下公式表示:
Figure 436731DEST_PATH_IMAGE004
其中,n表示每次训练所使用的多张人脸样本图像中的第n张人脸样本图像,yn为根据第n张人脸样本图像对应的真实像素差异图确定的第二相似度, pn为根据第n张人脸样本图像中各局部区域对应的局部特征确定的第一相似度。
步骤722,根据第一损失和第二损失构建目标损失,并基于目标损失更新人脸检测模型的参数后,获取下一个训练样本并返回将训练样本中的人脸样本图像输入至人脸检测模型的步骤继续训练,直至满足迭代停止条件时,获得训练好的人脸检测模型。
具体地,计算机设备可以对第一损失与第二损失进行加权求和获得目标损失,并优化算法例如Adam等更新网络参数,多次迭代优化结果。
上述人脸检测模型的训练方法,通过初始的人脸检测模型提取人脸样本图像对应的图像特征,并将图像特征切分后,获得人脸样本图像中各局部区域对应的局部特征,根据局部特征确定各局部区域之间的第一相似度,该第一相似度衡量的是人脸样本图像中局部区域之间的相似度,第一概率是根据第一相似度确定的,第一损失根据第一概率构建,这样,根据第一损失可以在模型训练过程中使得人脸检测模型学习到局部区域之间的关联;同时,将人脸样本图像对应的真实像素差异图切分后,获得局部差异块,并根据局部差异块中属于伪造人脸的像素确定伪造面积,根据伪造面积确定各局部差异块之间的第二相似度,根据第一相似度与第二相似度构建第二损失,这样第二损失利用了人脸样本图像对应的真实像素差异图,可以用来监督局部区域之间相似度的学习,训练得到的人脸检测模型具有较强的泛化能力,并具有一定的可解释性,提高了模型的检测效果。
如图10所示,为一个实施例中人脸检测模型的训练过程示意图。参照图10,该人脸检测模型包括编码器和解码器,编码器包括多个卷积层和池化层,解码器包括多个上采样层、卷积层及归一化层。在训练时,输入至人脸检测模型的训练样本包括人脸样本图像、人脸样本图像对应的真实像素差异图及分类标签。如图11所示,图11所示的人脸检测模型的训练方法可以包括如下步骤1102至1128:
步骤1102,获取训练样本集,训练样本集中的每个训练样本包括人脸样本图像、人脸样本图像对应的真实像素差异图及人脸样本图像对应的分类标签。
步骤1104,将训练样本中的人脸样本图像输入至人脸检测模型;
步骤1106,通过人脸检测模型中的编码器提取人脸样本图像对应的图像特征;
步骤1108,将图像特征切分后,获得人脸样本图像中各局部区域对应的局部特征;
步骤1110,根据局部特征确定各局部区域之间的第一相似度;
步骤1112,根据第一相似度预测人脸样本图像中人脸属于伪造人脸的第一概率;
步骤1114,根据第一概率与人脸样本图像对应的分类标签构建第一损失;
步骤1116,将人脸样本图像对应的真实像素差异图切分后,获得局部差异块;
步骤1118,根据局部差异块中属于伪造人脸的像素确定伪造面积;
步骤1120,根据伪造面积确定各局部差异块之间的第二相似度;
步骤1122,根据第一相似度与第二相似度构建第二损失;
关于上述步骤1102至步骤1122的具体实施例可以参考上文中对步骤702至步骤720的描述。
步骤1124,通过人脸检测模型中的解码器对图像特征进行解码,获得人脸样本图像对应的预测像素差异图;
在本实施例中,人脸检测模型包括解码器,解码器可以将编码器输出的低分辨率的图像特征映射回人脸样本图像的尺寸,以进行逐像素的分类,即确定人脸样本图像中各像素是属于原始的真实人脸图像还是换脸后的伪造人脸图像。像素差异图表示人脸样本图像与对应的真实人脸图像之间的像素差异,像素差异越大,相应的像素值也就越大,像素差异图中各像素属于伪造人脸的第二概率越大。
在一个实施例中,通过人脸检测模型中的解码器对图像特征进行解码,获得人脸样本图像对应的预测像素差异图,包括:将图像特征输入至人脸检测模型中的解码器;通过解码器中的上采样层对图像特征进行上采样处理后与编码器获得的高分辨率特征融合,获得输出特征;通过解码器中的分类层对输出特征进行归一化处理,获得人脸样本图像对应的预测像素差异图。
在本实施例中,解码器包括多个卷积层和上采样层,卷积层例如可以是3*3卷积层,上采样层将输入的图像特征放大两倍,然后通过桥接操作将编码器输出的不同尺寸的图像特征与上采样处理后获得的图像特征按通道维度进行拼接后,再经过3*3卷积操作融合通道间和空间的信息,获得最终的输出特征,输出特征经过分类层的归一化处理,将每个值映射为0至1之间的数值,获得预测像素差异图。分类层可以是sigmoid函数,用于将数值映射成0至1之间的数值。预测像素差异图中各个数值表示人脸样本图像中各像素属于伪造人脸的第二概率,数值越大,表示对应像素属于伪造人脸的几率越大,反之,数值越小,表示对应像素属于伪造人脸的几率越小。
步骤1126,根据真实像素差异图与预测像素差异图构建第三损失;
前文提到,真实像素差异图中每个值为0或1,预测像素差异图中每个值为0值1之间的值,表示各像素属于伪造人脸的概率,计算机设备可以根据真实像素差异图与预测像素差异图构建第三损失。
第三损失可以是二分类交叉熵损失(BinaryCrossEntropy loss, BCE loss),第 三损失
Figure 69838DEST_PATH_IMAGE005
可以通过以下公式表示:
Figure 639360DEST_PATH_IMAGE006
其中,n表示每次训练所使用的多张人脸样本图像中的第n张人脸样本图像,yn表示第n张人脸样本图像对应的真实像素差异图,pn表示第n张人脸样本图像对应的预测像素差异图。
步骤1128,根据第一损失、第二损失和第三损失构建目标损失,并基于目标损失更新人脸检测模型的参数后,获取下一个训练样本并返回将训练样本中的人脸样本图像输入至人脸检测模型的步骤继续训练,直至满足迭代停止条件时,获得训练好的人脸检测模型。
具体地,计算机设备可以对第一损失、第二损失和第三损失进行加权求和获得目标损失,并优化算法例如Adam等更新网络参数,多次迭代优化结果。
本实施例与图7的所示的训练方法的区别主要在于,需要训练的人脸检测模型的模型结构不同,图7中的模型结构仅包括编码器,而图11中所训练的人脸检测模型的模型结构不仅包括编码器,还引入了解码器,通过编码器-解码器的模型结构来预测人脸样本图像中具体的伪造区域,并利用人脸样本图像对应的真实像素差异图进行监督,有效促使人脸图像特征中定位信息的保留。
应该理解的是,虽然图3、图5、图7及图11的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3、图5、图7及图11中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图12所示,提供了一种图像检测装置1200,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:获取模块1202、提取模块1204、切分模块1206、相似度确定模块1208、预测模块1210和确定模块1212,其中:
获取模块1202,用于获取包括人脸的待检测图像;
提取模块1204,用于提取待检测图像对应的图像特征;
切分模块1206,用于切分图像特征,获得待检测图像中各局部区域对应的局部特征;
相似度确定模块1208,用于根据局部特征确定各局部区域之间的相似度;
预测模块1210,用于根据相似度预测待检测图像中的人脸属于伪造人脸的第一概率;
确定模块1212,用于根据第一概率,确定待检测图像中人脸的真伪检测结果。
在一个实施例中,提取模块1204还用于将待检测图像输入至训练好的人脸检测模型中的编码器;通过编码器中的卷积层,对待检测图像进行特征提取,获得待检测图像对应的高分辨率特征;通过编码器中的池化层,对高分辨率特征进行下采样处理,获得待检测图像对应的图像特征。
在一个实施例中,相似度确定模块1208还用于将各局部区域对应局部特征转换为局部特征向量;根据各局部特征向量之间的余弦相似度确定局部区域之间的相似度。
在一个实施例中,上述装置还包括解码模块,用于通过人脸检测模型中的解码器对图像特征进行解码,获得待检测图像对应的像素差异图,像素差异图用于表示待检测图像中各像素属于伪造人脸的第二概率;确定模块1212还用于根据第二概率,确定待检测图像中人脸的真伪检测结果。
在一个实施例中,解码模块还用于将图像特征输入至人脸检测模型中的解码器;通过解码器中的上采样层对图像特征进行上采样处理后与编码器获得的高分辨率特征融合,获得输出特征;通过解码器中的分类层对输出特征进行归一化处理,获得待检测图像对应的像素差异图。
在一个实施例中,确定模块1212还用于根据第二概率,确定待检测图像中属于伪造人脸的像素;根据属于伪造人脸的像素的数量计算待检测图像对应的伪造面积比;根据伪造面积比确定待检测图像中人脸的真伪检测结果。
在一个实施例中,获取模块1202还用于获取待检测视频;对待检测视频进行采样处理,获得待检测视频帧;从待检测视频帧中裁剪出包括人脸的人脸区域后获得待检测图像。
在一个实施例中,上述装置还包括训练模块,用于获取训练样本集,训练样本集中的每个训练样本包括人脸样本图像、人脸样本图像对应的真实像素差异图及人脸样本图像对应的分类标签;将训练样本中的人脸样本图像输入至人脸检测模型;通过人脸检测模型提取人脸样本图像对应的图像特征;将图像特征切分后,获得人脸样本图像中各局部区域对应的局部特征;根据局部特征确定各局部区域之间的第一相似度;根据第一相似度预测人脸样本图像中人脸属于伪造人脸的第一概率; 根据第一概率与人脸样本图像对应的分类标签构建第一损失;将人脸样本图像对应的真实像素差异图切分后,获得局部差异块;根据局部差异块中属于伪造人脸的像素确定伪造面积;根据伪造面积确定各局部差异块之间的第二相似度;根据第一相似度与第二相似度构建第二损失;根据第一损失和第二损失构建目标损失,并基于目标损失更新人脸检测模型的参数后,获取下一个训练样本并返回将训练样本中的人脸样本图像输入至人脸检测模型的步骤继续训练,直至满足迭代停止条件时,获得训练好的人脸检测模型。
上述图像检测装置1200,在获取到包括人脸的待检测图像后,提取待检测图像对应的图像特征,并将图像特征切分得到多个局部特征,局部特征代表了待检测图像中局部区域,局部特征之间的相似度就代表了待检测图像中局部区域之间的相似度。由于人脸的多样性和图像来源的不同,伪造人脸图像的不同区域间会存在一定的差异性,所以,就可以利用待检测图像中局部区域间的相似度来预测待检测图像属于伪造人脸的概率,并基于该概率确定待检测对象中人脸的真伪检测结果。这种局部区域之间的相似度是与图像内容无关的特征,也就是说,不管图像的内容是什么,每张图像都存在这样的特性,克服了特定伪造图像检测算法在一些人脸图像上过拟合的问题,提升了检测效果,并具有一定的可解释性。
关于图像检测装置的具体限定可以参见上文中对于图像检测方法的限定,在此不再赘述。上述图像检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,如图13所示,提供了一种人脸检测模型的训练装置1300,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:获取模块1302、特征提取模块1304、切分模块1306、第一损失构建模块1308、第二损失构建模块1310和迭代模块1312,其中:
获取模块1302,用于获取训练样本集,训练样本集中的每个训练样本包括人脸样本图像、人脸样本图像对应的真实像素差异图及人脸样本图像对应的分类标签;
特征提取模块1304,用于将训练样本中的人脸样本图像输入至人脸检测模型;通过人脸检测模型提取人脸样本图像对应的图像特征;
切分模块1306,用于将图像特征切分后,获得人脸样本图像中各局部区域对应的局部特征;
第一损失构建模块1308,用于根据局部特征确定各局部区域之间的第一相似度;根据第一相似度预测人脸样本图像中人脸属于伪造人脸的第一概率;根据第一概率与人脸样本图像对应的分类标签构建第一损失;
切分模块1306还用于将人脸样本图像对应的真实像素差异图切分后,获得局部差异块;
第二损失构建模块1310,用于根据局部差异块中属于伪造人脸的像素确定伪造面积;根据伪造面积确定各局部差异块之间的第二相似度;根据第一相似度与第二相似度构建第二损失;
迭代模块1312,用于根据第一损失和第二损失构建目标损失,并基于目标损失更新人脸检测模型的参数后,获取下一个训练样本并返回将训练样本中的人脸样本图像输入至人脸检测模型的步骤继续训练,直至满足迭代停止条件时,获得训练好的人脸检测模型。
在一个实施例中,特征提取模块1304还用于通过人脸检测模型中的编码器提取人脸样本图像对应的图像特征;上述装置还包括解码模块和第三损失构建模块,解码模块用于通过人脸检测模型中的解码器对图像特征进行解码,获得人脸样本图像对应的预测像素差异图;第三损失构建模块用于根据真实像素差异图与预测像素差异图构建第三损失;迭代模块1312还用于根据第一损失、第二损失和第三损失构建目标损失。
在一个实施例中,获取模块1302还用于获取人脸样本图像及对应的真实人脸图像;根据人脸样本图像与真实人脸图像之间的像素差异获得人脸样本图像对应的真实像素差异图。
在一个实施例中,获取模块1302还用于当人脸样本图像为真实人脸图像时,则确定人脸样本图像对应的真实像素差异图中各像素的像素值均为第一预设值;当人脸样本图像为伪造人脸图像时,则根据人脸样本图像与对应的真实人脸图像确定差异像素及非差异像素,人脸样本图像对应的真实像素差异图中差异像素的像素值均为第二预设值,且非差异像素均为第一预设值。
上述人脸检测模型的训练装置,通过初始的人脸检测模型提取人脸样本图像对应的图像特征,并将图像特征切分后,获得人脸样本图像中各局部区域对应的局部特征,根据局部特征确定各局部区域之间的第一相似度,该第一相似度衡量的是人脸样本图像中局部区域之间的相似度,第一概率是根据第一相似度确定的,第一损失根据第一概率构建,这样,根据第一损失可以在模型训练过程中使得人脸检测模型学习到局部区域之间的关联;同时,将人脸样本图像对应的真实像素差异图切分后,获得局部差异块,并根据局部差异块中属于伪造人脸的像素确定伪造面积,根据伪造面积确定各局部差异块之间的第二相似度,根据第一相似度与第二相似度构建第二损失,这样第二损失利用了人脸样本图像对应的真实像素差异图,可以用来监督局部区域之间相似度的学习,训练得到的人脸检测模型具有较强的泛化能力,并具有一定的可解释性,提高了模型的检测效果。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像检测方法和/或人脸检测模型的训练方法。
本领域技术人员可以理解,图14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像检测方法,其特征在于,所述方法包括:
获取包括人脸的待检测图像;
提取所述待检测图像对应的图像特征;
切分所述图像特征,获得所述待检测图像中各局部区域对应的局部特征;
根据所述局部特征确定各所述局部区域之间的相似度;
根据所述相似度预测所述待检测图像中的人脸属于伪造人脸的第一概率;
根据所述第一概率,确定所述待检测图像中所述人脸的真伪检测结果。
2.根据权利要求1所述的方法,其特征在于,所述提取所述待检测图像对应的图像特征,包括:
将所述待检测图像输入至训练好的人脸检测模型中的编码器;
通过所述编码器中的卷积层,对所述待检测图像进行特征提取,获得所述待检测图像对应的高分辨率特征;
通过所述编码器中的池化层,对所述高分辨率特征进行下采样处理,获得所述待检测图像对应的图像特征。
3.根据权利要求1所述的方法,其特征在于,所述根据所述局部特征确定各所述局部区域之间的相似度,包括:
将各所述局部区域对应局部特征转换为局部特征向量;
根据各所述局部特征向量之间的余弦相似度确定局部区域之间的相似度。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
对所述图像特征进行解码,获得所述待检测图像对应的像素差异图,所述像素差异图用于表示所述待检测图像中各像素属于伪造人脸的第二概率;
根据所述第二概率,确定所述待检测图像中所述人脸的真伪检测结果。
5.根据权利要求4所述的方法,其特征在于,所述对所述图像特征进行解码,获得所述待检测图像对应的像素差异图,包括:
将所述图像特征输入至训练好的人脸检测模型中的解码器;
通过所述解码器中的上采样层对所述图像特征进行上采样处理后与编码器获得的高分辨率特征融合,获得输出特征;
通过所述解码器中的分类层对所述输出特征进行归一化处理,获得所述待检测图像对应的像素差异图。
6.根据权利要求4所述的方法,其特征在于,所述根据所述第二概率,确定所述待检测图像中所述人脸的真伪检测结果,包括:
根据所述第二概率,确定所述待检测图像中属于伪造人脸的像素;
根据属于伪造人脸的像素的数量计算所述待检测图像对应的伪造面积比;
根据所述伪造面积比确定所述待检测图像中人脸的真伪检测结果。
7.根据权利要求1所述的方法,其特征在于,所述获取包括人脸的待检测图像,包括:
获取待检测视频;
对所述待检测视频进行采样处理,获得待检测视频帧;
从所述待检测视频帧中裁剪出包括人脸的人脸区域后获得待检测图像。
8.根据权利要求1所述的方法,其特征在于,所述方法通过人脸检测模型实现,所述人脸检测模型的训练步骤包括:
获取训练样本集,所述训练样本集中的每个训练样本包括人脸样本图像、人脸样本图像对应的真实像素差异图及所述人脸样本图像对应的分类标签;
将所述训练样本中的人脸样本图像输入至人脸检测模型;
通过所述人脸检测模型提取所述人脸样本图像对应的图像特征;
将所述图像特征切分后,获得所述人脸样本图像中各局部区域对应的局部特征;
根据所述局部特征确定各所述局部区域之间的第一相似度;
根据所述第一相似度预测所述人脸样本图像中人脸属于伪造人脸的第一概率;
根据所述第一概率与所述人脸样本图像对应的分类标签构建第一损失;
将所述人脸样本图像对应的真实像素差异图切分后,获得局部差异块;
根据所述局部差异块中属于伪造人脸的像素确定伪造面积;
根据所述伪造面积确定各所述局部差异块之间的第二相似度;
根据所述第一相似度与所述第二相似度构建第二损失;
根据所述第一损失和所述第二损失构建目标损失,并基于所述目标损失更新所述人脸检测模型的参数后,获取下一个训练样本并返回所述将所述训练样本中的人脸样本图像输入至人脸检测模型的步骤继续训练,直至满足迭代停止条件时,获得训练好的人脸检测模型。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
对所述图像特征进行解码,获得所述人脸样本图像对应的预测像素差异图;
根据所述真实像素差异图与所述预测像素差异图构建第三损失;
所述根据所述第一损失和所述第二损失构建目标损失包括:
根据所述第一损失、所述第二损失和所述第三损失构建目标损失。
10.根据权利要求8所述的方法,其特征在于,所述方法还包括:
获取人脸样本图像及对应的真实人脸图像;
根据所述人脸样本图像与所述真实人脸图像之间的像素差异获得所述人脸样本图像对应的真实像素差异图。
11.根据权利要求1至10任一项所述的方法,其特征在于,所述根据所述人脸样本图像与所述真实人脸图像之间的像素差异获得所述人脸样本图像对应的真实像素差异图,包括:
当所述人脸样本图像为真实人脸图像时,则确定所述人脸样本图像对应的真实像素差异图中各像素的像素值均为第一预设值;
当所述人脸样本图像为伪造人脸图像时,则根据所述人脸样本图像与对应的真实人脸图像确定差异像素及非差异像素,所述人脸样本图像对应的真实像素差异图中差异像素的像素值均为第二预设值,且非差异像素均为第一预设值。
12.一种图像检测装置,其特征在于,所述装置包括:
获取模块,用于获取包括人脸的待检测图像;
提取模块,用于提取所述待检测图像对应的图像特征;
切分模块,用于切分所述图像特征,获得所述待检测图像中各局部区域对应的局部特征;
相似度确定模块,用于根据所述局部特征确定各所述局部区域之间的相似度;
预测模块,用于根据所述相似度预测所述待检测图像中的人脸属于伪造人脸的第一概率;
确定模块,用于根据所述第一概率,确定所述待检测图像中所述人脸的真伪检测结果。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括:
解码模块,用于对所述图像特征进行解码,获得所述待检测图像对应的像素差异图,所述像素差异图用于表示所述待检测图像中各像素属于伪造人脸的第二概率;
所述确定模块,还用于根据所述第二概率,确定所述待检测图像中所述人脸的真伪检测结果。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202010867019.1A 2020-08-26 2020-08-26 图像检测方法、装置、计算机设备和存储介质 Active CN111738244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010867019.1A CN111738244B (zh) 2020-08-26 2020-08-26 图像检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010867019.1A CN111738244B (zh) 2020-08-26 2020-08-26 图像检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111738244A true CN111738244A (zh) 2020-10-02
CN111738244B CN111738244B (zh) 2020-11-24

Family

ID=72658873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010867019.1A Active CN111738244B (zh) 2020-08-26 2020-08-26 图像检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111738244B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330619A (zh) * 2020-10-29 2021-02-05 浙江大华技术股份有限公司 一种检测目标区域的方法、装置、设备及存储介质
CN112465783A (zh) * 2020-11-26 2021-03-09 泰康保险集团股份有限公司 一种图像篡改检测方法和装置
CN112651319A (zh) * 2020-12-21 2021-04-13 科大讯飞股份有限公司 一种视频检测方法、装置、电子设备及存储介质
CN112686341A (zh) * 2021-03-12 2021-04-20 聚时科技(江苏)有限公司 一种基于层数自适应卷积神经网络的图像分类方法
CN112749686A (zh) * 2021-01-29 2021-05-04 腾讯科技(深圳)有限公司 图像检测方法、装置、计算机设备及存储介质
CN112949464A (zh) * 2021-02-26 2021-06-11 中国科学院自动化研究所 基于人脸三维形状的换脸伪造检测方法、系统及设备
CN113140005A (zh) * 2021-04-29 2021-07-20 上海商汤科技开发有限公司 目标对象定位方法、装置、设备及存储介质
CN113469297A (zh) * 2021-09-03 2021-10-01 深圳市海邻科信息技术有限公司 图像篡改检测方法、装置、设备及计算机可读存储介质
CN113506272A (zh) * 2021-07-14 2021-10-15 人民网股份有限公司 一种虚假视频的检测方法及系统
CN113537027A (zh) * 2021-07-09 2021-10-22 中国科学院计算技术研究所 基于面部划分的人脸深度伪造检测方法及系统
CN113888663A (zh) * 2021-10-15 2022-01-04 推想医疗科技股份有限公司 重建模型训练方法、异常检测方法、装置、设备及介质
CN113887527A (zh) * 2021-11-04 2022-01-04 北京智慧眼信息技术有限公司 人脸图像处理方法、装置、计算机设备及存储介质
CN114841340A (zh) * 2022-04-22 2022-08-02 马上消费金融股份有限公司 深度伪造算法的识别方法、装置、电子设备及存储介质
WO2024104068A1 (zh) * 2022-11-15 2024-05-23 腾讯科技(深圳)有限公司 视频检测方法、装置、设备、存储介质及产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951819A (zh) * 2016-08-19 2017-07-14 南京理工大学 基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法
CN108846793A (zh) * 2018-05-25 2018-11-20 深圳市商汤科技有限公司 基于图像风格转换模型的图像处理方法和终端设备
CN109740572A (zh) * 2019-01-23 2019-05-10 浙江理工大学 一种基于局部彩色纹理特征的人脸活体检测方法
CN109784285A (zh) * 2019-01-21 2019-05-21 深圳市云眸科技有限公司 实现人脸识别的方法及装置、电子设备、存储介质
CN110458063A (zh) * 2019-07-30 2019-11-15 西安建筑科技大学 防视频、照片欺骗的人脸活体检测方法
CN110866470A (zh) * 2019-10-31 2020-03-06 湖北工程学院 一种基于随机图像特征的人脸防伪检测方法
CN111191539A (zh) * 2019-12-20 2020-05-22 江苏常熟农村商业银行股份有限公司 证件真伪验证方法、装置、计算机设备和存储介质
CN111241989A (zh) * 2020-01-08 2020-06-05 腾讯科技(深圳)有限公司 图像识别方法及装置、电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951819A (zh) * 2016-08-19 2017-07-14 南京理工大学 基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法
CN108846793A (zh) * 2018-05-25 2018-11-20 深圳市商汤科技有限公司 基于图像风格转换模型的图像处理方法和终端设备
CN109784285A (zh) * 2019-01-21 2019-05-21 深圳市云眸科技有限公司 实现人脸识别的方法及装置、电子设备、存储介质
CN109740572A (zh) * 2019-01-23 2019-05-10 浙江理工大学 一种基于局部彩色纹理特征的人脸活体检测方法
CN110458063A (zh) * 2019-07-30 2019-11-15 西安建筑科技大学 防视频、照片欺骗的人脸活体检测方法
CN110866470A (zh) * 2019-10-31 2020-03-06 湖北工程学院 一种基于随机图像特征的人脸防伪检测方法
CN111191539A (zh) * 2019-12-20 2020-05-22 江苏常熟农村商业银行股份有限公司 证件真伪验证方法、装置、计算机设备和存储介质
CN111241989A (zh) * 2020-01-08 2020-06-05 腾讯科技(深圳)有限公司 图像识别方法及装置、电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DARIUS AFCHAR ET AL: "MesoNet: a Compact Facial Video Forgery Detection Network", 《2018 IEEE INTERNATIONAL WORKSHOP ON INFORMATION FORENSICS AND SECURITY 》 *
陈鹏 等: "融合全局时序和局部空间特征的伪造人脸视频检测方法", 《信息安全学报》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330619A (zh) * 2020-10-29 2021-02-05 浙江大华技术股份有限公司 一种检测目标区域的方法、装置、设备及存储介质
CN112330619B (zh) * 2020-10-29 2023-10-10 浙江大华技术股份有限公司 一种检测目标区域的方法、装置、设备及存储介质
CN112465783B (zh) * 2020-11-26 2023-12-08 泰康保险集团股份有限公司 一种图像篡改检测方法和装置
CN112465783A (zh) * 2020-11-26 2021-03-09 泰康保险集团股份有限公司 一种图像篡改检测方法和装置
CN112651319A (zh) * 2020-12-21 2021-04-13 科大讯飞股份有限公司 一种视频检测方法、装置、电子设备及存储介质
CN112651319B (zh) * 2020-12-21 2023-12-05 科大讯飞股份有限公司 一种视频检测方法、装置、电子设备及存储介质
CN112749686A (zh) * 2021-01-29 2021-05-04 腾讯科技(深圳)有限公司 图像检测方法、装置、计算机设备及存储介质
CN112949464A (zh) * 2021-02-26 2021-06-11 中国科学院自动化研究所 基于人脸三维形状的换脸伪造检测方法、系统及设备
CN112949464B (zh) * 2021-02-26 2021-12-14 中国科学院自动化研究所 基于人脸三维形状的换脸伪造检测方法、系统及设备
CN112686341A (zh) * 2021-03-12 2021-04-20 聚时科技(江苏)有限公司 一种基于层数自适应卷积神经网络的图像分类方法
CN112686341B (zh) * 2021-03-12 2021-07-30 聚时科技(江苏)有限公司 一种基于层数自适应卷积神经网络的图像分类方法
CN113140005B (zh) * 2021-04-29 2024-04-16 上海商汤科技开发有限公司 目标对象定位方法、装置、设备及存储介质
CN113140005A (zh) * 2021-04-29 2021-07-20 上海商汤科技开发有限公司 目标对象定位方法、装置、设备及存储介质
CN113537027B (zh) * 2021-07-09 2023-09-01 中国科学院计算技术研究所 基于面部划分的人脸深度伪造检测方法及系统
CN113537027A (zh) * 2021-07-09 2021-10-22 中国科学院计算技术研究所 基于面部划分的人脸深度伪造检测方法及系统
CN113506272A (zh) * 2021-07-14 2021-10-15 人民网股份有限公司 一种虚假视频的检测方法及系统
CN113506272B (zh) * 2021-07-14 2024-02-13 人民网股份有限公司 一种虚假视频的检测方法及系统
CN113469297A (zh) * 2021-09-03 2021-10-01 深圳市海邻科信息技术有限公司 图像篡改检测方法、装置、设备及计算机可读存储介质
CN113888663B (zh) * 2021-10-15 2022-08-26 推想医疗科技股份有限公司 重建模型训练方法、异常检测方法、装置、设备及介质
CN113888663A (zh) * 2021-10-15 2022-01-04 推想医疗科技股份有限公司 重建模型训练方法、异常检测方法、装置、设备及介质
CN113887527B (zh) * 2021-11-04 2022-08-26 北京智慧眼信息技术有限公司 人脸图像处理方法、装置、计算机设备及存储介质
CN113887527A (zh) * 2021-11-04 2022-01-04 北京智慧眼信息技术有限公司 人脸图像处理方法、装置、计算机设备及存储介质
CN114841340A (zh) * 2022-04-22 2022-08-02 马上消费金融股份有限公司 深度伪造算法的识别方法、装置、电子设备及存储介质
CN114841340B (zh) * 2022-04-22 2023-07-28 马上消费金融股份有限公司 深度伪造算法的识别方法、装置、电子设备及存储介质
WO2024104068A1 (zh) * 2022-11-15 2024-05-23 腾讯科技(深圳)有限公司 视频检测方法、装置、设备、存储介质及产品

Also Published As

Publication number Publication date
CN111738244B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN111738244B (zh) 图像检测方法、装置、计算机设备和存储介质
CN111080628B (zh) 图像篡改检测方法、装置、计算机设备和存储介质
CN111311578B (zh) 基于人工智能的对象分类方法以及装置、医学影像设备
CN109543627B (zh) 一种判断驾驶行为类别的方法、装置、及计算机设备
CN110569721A (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
CN110245132B (zh) 数据异常检测方法、装置、计算机可读存储介质和计算机设备
CN111950329A (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
US20230021661A1 (en) Forgery detection of face image
CN111680672B (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN109886330B (zh) 文本检测方法、装置、计算机可读存储介质和计算机设备
CN112784670A (zh) 基于像素差异的对象检测
CN111191533B (zh) 行人重识别的处理方法、装置、计算机设备和存储介质
US11714921B2 (en) Image processing method with ash code on local feature vectors, image processing device and storage medium
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN110245714B (zh) 图像识别方法、装置及电子设备
CN109284613B (zh) 标识检测及仿冒站点检测方法、装置、设备及存储介质
CN114693624A (zh) 一种图像检测方法、装置、设备及可读存储介质
CN115082667A (zh) 图像处理方法、装置、设备及存储介质
CN114005019A (zh) 一种翻拍图像识别方法及其相关设备
CN115713769A (zh) 文本检测模型的训练方法、装置、计算机设备和存储介质
CN113011132B (zh) 竖排文字识别方法、装置、计算机设备和存储介质
CN115497092A (zh) 图像处理方法、装置及设备
CN114329050A (zh) 视觉媒体数据去重处理方法、装置、设备和存储介质
CN113762249A (zh) 图像攻击检测、图像攻击检测模型训练方法和装置
CN114677611A (zh) 数据识别方法、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030159

Country of ref document: HK