CN113920565A - 真伪识别方法、装置、电子设备以及存储介质 - Google Patents

真伪识别方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN113920565A
CN113920565A CN202111275648.6A CN202111275648A CN113920565A CN 113920565 A CN113920565 A CN 113920565A CN 202111275648 A CN202111275648 A CN 202111275648A CN 113920565 A CN113920565 A CN 113920565A
Authority
CN
China
Prior art keywords
image
preset
dimension
recognized
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111275648.6A
Other languages
English (en)
Inventor
梁嘉豪
石华峰
吴一超
梁鼎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202111275648.6A priority Critical patent/CN113920565A/zh
Publication of CN113920565A publication Critical patent/CN113920565A/zh
Priority to PCT/CN2022/096019 priority patent/WO2023071180A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种真伪识别方法、装置、电子设备以及存储介质,应用于目标深度神经网络。具体地:获取包括待识别对象的待识别图像;提取所述待识别图像对应于多个预设维度的图像特征;其中,图像特征对应的特征点的数量与对应的预设维度的值负相关;基于所述图像特征,确定所述待识别图像中的伪造区域和所述待识别对象的真伪结果信息中的至少一项。

Description

真伪识别方法、装置、电子设备以及存储介质
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种真伪识别方法、装置、电子设备以及存储介质。
背景技术
近年来,随着数码相机、通信技术和移动设备的快速发展,图片和视频已经成为人们生活中的一种娱乐和交流方式。
因此,实现准确的人脸造假检测迫在眉睫,目前的人脸伪造识别准确度不高,并且随着伪造技术针对人脸伪造检测所做的改进,严重降低了当前的伪造检测精度。
发明内容
本公开实施例至少提供一种真伪识别方法、装置、电子设备以及存储介质。
第一方面,本公开实施例提供了一种真伪识别方法,应用于目标深度神经网络,包括:
获取包括待识别对象的待识别图像;
提取所述待识别图像对应于多个预设维度的图像特征;其中,图像特征对应的特征 点的数量与对应的预设维度的值负相关;
基于所述图像特征,确定所述待识别图像中的伪造区域和所述待识别对象的真伪结 果信息中的至少一项。
该方面,利用目标深度神经网络能够较为准确地确定描述待识别图像的多个预设维 度的图像特征,之后利用确定的图像特征能够较为准确地识别出待识别对象是否为伪造 对象,即得到较为准确的真伪结果信息,以及,能够得到较为准确的伪造区域。进一步地,利用同一个目标神经网络同时对待识别对象进行真伪鉴别和确定图像中的伪造区域,这两个检测任务能够相互促进以及共用一些特定的图像特征,不仅能够提高检测效率, 并且能够增强对图像特征的提取能力,提高两个检测任务的检测精度。
在一种可能的实施方式中,所述基于所述图像特征,确定所述待识别图像中的伪造 区域和所述待识别对象的真伪结果信息中的至少一项,包括:
基于所述多个预设维度中最高预设维度对应的第一图像特征,得到所述待识别对象 的真伪结果信息;
和/或,基于所述多个预设维度中最低预设维度对应的第二图像特征,确定所述待识 别图像中的伪造区域。
该实施方式,最高预设维度的第一图像特征中特征点的数量较少,一个特征点对应 的特征数据维度较高,因此有效去除了待识别图像中的冗余信息,同时保留和增加了对真伪识别的有效信息,因此能够有效提高确定的真伪结果信息的准确性;最低预设维度 对应的第二图像特征中特征点的数量多,因此能够较为准确地确定对应的待识别图像中 每个像素点对应的真伪信息,继而能够较为准确地确定待识别图像中的伪造区域,另外, 由于最低预设维度对应的第二图像特征中每个特征点对应的特征数据维度较低,因此能 够提高确定伪造区域的速度。
在一种可能的实施方式中,所述图像特征包括多个预设维度中每个预设维度对应的 第二图像特征,和多个预设维度中每个预设维度对应的第一图像特征;
所述提取所述待识别图像对应于多个预设维度的图像特征,包括:
提取所述待识别图像对应于多个预设维度中每个预设维度的第一图像特征;
基于各个预设维度对应的第一图像特征,确定所述待识别图像对应于多个预设维度 中每个预设维度的第二图像特征。
该实施方式,对各个预设维度的第一图像特征进行降维和融合等操作能够较为准确 地确定待识别图像对应于多个预设维度中每个预设维度的第二图像特征。
在一种可能的实施方式中,所述基于各个预设维度对应的第一图像特征,确定所述 待识别图像对应于多个预设维度中每个预设维度的第二图像特征,包括:
将每两个相邻的预设维度作为一个组,得到多个第一维度组;所述第一维度组包括 第一预设维度和第二预设维度,所述第一预设维度高于所述第二预设维度;
按照维度从高到低的顺序,分别对每个非最高维度的第一维度组执行如下操作,直 到确定所述最低预设维度对应的第二图像特征:
按照所述第一维度组中的第二预设维度,对所述第一维度组中的第一预设维度对应 的第二图像特征进行第一特征处理操作,得到与所述第二预设维度相匹配的第三图像特 征;其中,所述第三图像特征对应的特征图与所述第二预设维度的第一图像特征对应的特征图具有相同的图像分辨率;
基于得到的所述第三图像特征和所述第一维度组中的第二预设维度对应的第一图 像特征,确定所述第一维度组中的第二预设维度对应的第二图像特征。
该实施方式,将相邻两个预设维度中较高的预设维度对应的第一图像特征进行处理, 处理后的第三图像特征与较低的预设维度对应的第一图像特征具有相同的数据维度,并 且对应的特征图具有相同的图像分辨率;后续基于数据维度和图像分辨率相同的第三图 像特征和第一图像特征进行特征融合,能够提高融合精度,得到较为准确地第二图像特征。
在一种可能的实施方式中,所述基于得到的所述第三图像特征和所述第一维度组中 的第二预设维度对应的第一图像特征,确定所述第一维度组中的第二预设维度对应的第 二图像特征,包括:
将得到的所述第三图像特征与所述第一维度组中的第二预设维度对应的第一图像 特征进行拼接处理,得到拼接图像特征;
基于所述拼接图像特征,确定所述第一维度组中的第二预设维度对应的第二图像特 征。
该实施方式,上述第三图像特征和第一图像特征具体有相同的数据维度以及相同的 图像分辨率,因此可以准确地将两者进行拼接;之后,基于拼接后的拼接图像特征进行特征提取和处理等操作,能够得到较为准确的处理结果,即上述第二图像特征。
在一种可能的实施方式中,所述提取所述待识别图像对应于多个预设维度中每个预 设维度的第一图像特征,包括:
提取所述待识别图像对应于最低预设维度的第一图像特征;
将每两个相邻的预设维度作为一个组,得到多个第二维度组;所述第二维度组包括 第三预设维度和第四预设维度,所述第三预设维度低于所述第四预设维度;
按照维度从低到高的顺序,分别对每个第二维度组执行如下操作,直到确定除最低 预设维度以外的每个预设维度的第一图像特征:
按照所述第二维度组中的第四预设维度,对所述第二维度组中的第三预设维度对应 的第一图像特征进行第二特征处理操作,得到与所述第四预设维度相匹配的第四图像特 征;
基于得到的所述第四图像特征,确定所述第二维度组中的第四预设维度对应的第一 图像特征。
该实施方式,按照第四预设维度对第一图像特征进行处理,能够较为准确地确定与 第四预设维度相匹配的第四图像特征;后续再对该第四图像特征进行继续处理,得到的第一图像特征与第四预设维度相匹配。按照本实施方式依次对每个第二维度组中较低预设维度的第一图像特征进行处理,能够较为准确地确定每个预设维度对应的第一图像特征。
在一种可能的实施方式中,所述基于所述多个预设维度中最高预设维度对应的第一 图像特征,得到所述待识别对象的真伪结果信息,包括:
基于最高预设维度对应的第一图像特征,确定所述待识别对象为真实对象的第一分 值和所述待识别对象为伪造对象的第二分值;
基于所述第一分值和第二分值,确定所述待识别对象为真实对象的第一预测概率和 所述待识别对象为伪造对象的第二预测概率;
基于所述第一预测概率和所述第二预测概率,确定所述待识别对象的真伪结果信息。
该实施方式,最高预设维度对应的第一图像特征中每个特征点对应的特征数据的维 度较多,特征点的数量较少,这样的图像特征能够较为准确地描述对真伪识别有效的图像特征,因此利用第一图像特征能够较为准确地确定上述第一预测概率和第二预测概率,继而,基于该第一预测概率和第二预测概率,能够得到较为准确的真伪结果信息。
在一种可能的实施方式中,所述基于所述多个预设维度中最低预设维度对应的第二 图像特征,确定所述待识别图像中的伪造区域,包括:
基于最低预设维度对应的第二图像特征,确定所述待识别图像中每个像素点为伪造 像素点的概率信息;
基于确定的所述概率信息和预设概率阈值,确定所述待识别图像中每个像素点为伪 造像素点的伪造结果信息;
基于每个像素点对应的所述伪造结果信息,确定所述待识别图像中的伪造区域。
该实施方式,最低预设维度对应的第二图像特征是各级预设维度对应的第一图像特 征经过降维、增加对应的特征点以及拼接等操作得到的,因此,第二图像特征的每个特征点对应的特征数据能够较为准确的表征对应的特征点是否为伪造特征点;又由于该第二图像特征对应的特征图与待识别图像的分辨率相同,因此,利用该第二图像特征能够 较为准确地确定待识别图像中每个像素点为伪造像素点的伪造结果信息,继而能够确定 较为精确的伪造区域。
在一种可能的实施方式中,所述获取包括待识别对象的待识别图像,包括:
获取原始图像;
对所述原始图像进行识别,确定所述待识别对象的检测框和所述待识别对象对应的 多个关键点;
基于所述检测框和所述多个关键点,从所述原始图像中提取所述待识别对象对应的 图像区域,得到所述待识别图像。
该实施方式,检测框和关键点均能够分别来确定待识别对象在原始图像中所占的图 像区域,将两者结合来确定上述图像区域,能够起到相互校准的作用,因此能够得到更加精准的图像区域,即能够得到更加精准的待识别图像。
在一种可能的实施方式中,所述基于所述检测框和所述多个关键点,从所述原始图 像中提取所述待识别对象对应的图像区域,得到所述待识别图像,包括:
基于所述多个关键点和所述检测框,确定所述待识别对象在所述原始图像中的初始 区域信息;
按照预设比例信息,对所述初始区域信息对应的区域进行扩展,得到所述待识别对 象在所述原始图像中的目标区域信息;
按照所述目标区域信息,从所述原始图像中提取所述待识别对象对应的图像区域, 得到所述待识别图像。
该实施方式,通过对初始区域信息对应的区域进行扩展,能够保证目标区域信息对 应的区域包括完整的待识别对象,有利于提高待识别对象对应的真伪识别精度。
在一种可能的实施方式中,所述基于所述检测框和所述多个关键点,从所述原始图 像中提取所述待识别对象对应的图像区域,得到所述待识别图像,包括:
确定所述待识别对象在所述原始图像中区域面积信息;
在所述区域面积信息对应的区域面积大于预设面积的情况下,对基于所述检测框和 所述多个关键点,从所述原始图像中提取所述待识别对象对应的图像区域,得到所述待识别图像。
该实施方式,提取在原始图像所占的面积较大的待识别对象对应的图像区域,能够 保证得到的待识别图像的分辨率较大,有利于提高真伪识别精度。
在一种可能的实施方式中,在确定所述伪造区域之后,上述方法还包括:
基于所述伪造区域和所述待识别图像,生成热力图;其中,所述热力图中对应于所述伪造区域的像素点的热力值高于预设值。
该实施方式,利用热力图实现了对待识别图像对应的伪造区域的可视化,提高了伪 造区域的直观性。
在一种可能的实施方式中,上述真伪识别方法还包括训练所述目标深度神经网络的 步骤:
获取多张样本图像;
将所述样本图像输入待训练的目标深度神经网络,经过所述目标神经网络对所述多 张样本图像进行处理,得到每张样本图像中样本对象为真实对象的第一预测分值、所述样本对象为伪造对象的第二预测分值,和每张样本图像中每个像素点为伪造像素点的预测概率信息;
基于每张样本图像对应的第一预测分值、第二预测分值、预测概率信息和标准概率 信息,生成网络损失信息;
利用所述网络损失信息对待训练的目标深度神经网络进行训练,直到满足预设训练 条件,得到训练好的目标深度神经网络。
该实施方式,基于每个像素点对应的预测概率信息,能够直接得到伪造区域的预测 结果,因此上述预测概率信息可以用于表征伪造区域的预测结果;通过第一预测分值和第二预测分值能够确定样本对象的真伪鉴别结果。因此,基于第一预测分值和第二预测 分值(对应于真伪鉴别的检测任务),以及,预测概率信息和标准概率信息(对应于伪 造区域的检测任务),这两种检测任务的预测值来建立训练目标神经网络的网络损失信 息,能够通过两种检测任务的相互促进作用,有效提高训练完成的目标神经网络的检测 精度。
在一种可能的实施方式中,所述基于每张样本图像对应的第一预测分值、第二预测 分值、预测概率信息和标准概率信息,生成网络损失信息,包括:
基于每张样本图像对应的第一预测分值、第二预测分值,生成第一损失信息;
基于每张样本图像对应的预测概率信息和标准概率信息,生成第二损失信息;
基于所述第一损失信息和所述第二损失信息,生成所述网络损失信息。
该实施方式,利用对样本图像的真伪鉴别信息,即上述第一预测分值和第二预测分 值,能够较为准确地确定上述第一损失信息;利用伪造区域对应的预测信息(即上述预测概率信息)和标准结果(标准概率信息),能够较为准确地确定上述第二损失信息; 之后,基于该第一损失信息和第二损失信息能够生成表征两种检测任务的损失的网络损 失信息。
第二方面,本公开提供了一种真伪识别装置,包括:
图像获取模块,用于获取包括待识别对象的待识别图像;
特征提取模块,用于提取所述待识别图像对应于多个预设维度的第一图像特征;其 中,第一图像特征对应的特征点的数量与对应的预设维度的值负相关;
检测模块,用于基于所述图像特征,确定所述待识别图像中的伪造区域和所述待识 别对象的真伪结果信息中的至少一项。
第三方面,本公开实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与 所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方 面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质 上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述真伪识别方法装置、电子设备、及计算机可读存储介质的效果描述参见上 述真伪识别方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图 作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下 附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通 技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附 图。
图1示出了本公开实施例所提供的一种真伪识别方法的流程图;
图2示出了本公开实施例所提供的另一种真伪识别方法的流程图;
图3示出了本公开实施例所提供的网络训练方法的流程图;
图4示出了本公开实施例所提供的一种真伪识别装置的示意图;
图5示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中 附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公 开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本 公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开 的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下 所获得的所有其他实施例,都属于本公开保护的范围。
经研究发现,现有技术的人脸伪造识别中存在的检测精度低的缺陷,本公开提供了 一种真伪识别方法、装置、电子设备以及存储介质。本公开利用目标深度神经网络能够较为准确地确定描述待识别图像的多个预设维度的图像特征,之后利用确定的图像特征能够较为准确地识别出待识别对象是否为伪造对象,即得到较为准确的真伪结果信息, 以及,能够得到较为准确的伪造区域。进一步地,利用同一个目标神经网络同时对待识 别对象进行真伪鉴别和确定图像中的伪造区域,这两个检测任务能够相互促进以及共用 一些特定的图像特征,不仅能够提高检测效率,并且能够增强对图像特征的提取能力, 提取到图像中对应于真伪鉴别的关键信息,提高两个检测任务的检测精度。
下面以执行主体为具有计算能够的设备为例对本公开实施例提供的真伪识别方法 加以说明。
如图1所示,本公开提供的真伪识别方法应用于目标深度神经网络,可以包括如下步骤:
S110、获取包括待识别对象的待识别图像。
上述待识别对象可以是需要进行真伪鉴别的对象,例如,可以是人脸,待识别对象可以根据具体的应用场景来确定,本公开对此并不进行限定。
上述待识别图像可以是上述具有计算能够的设备拍摄的,也可以是其他拍摄设备拍 摄传送给上述计算能够的设备的,本公开对此并不进行限定。
上述待识别图像可以是拍摄的原始图像,也可以是从拍摄的原始图像中截取出来的 待识别对象对应的子图像,本公开对此并不进行限定。
上述待识别图像可以是从视频片段中筛选出来的,也可以是独立存在的图像,本公 开对此并不进行限定。
S120、提取所述待识别图像对应于多个预设维度的图像特征;其中,图像特征对应的特征点的数量与对应的预设维度的值负相关。
示例性地,上述图像特征可以包括多个预设维度中每个预设维度对应的第二图像特 征,和多个预设维度中每个预设维度对应的第一图像特征。
示例性地,可以利用如下步骤提取上述图像特征:首先提取所述待识别图像对应于 多个预设维度中每个预设维度的第一图像特征,之后,基于各个预设维度对应的第一图像特征,确定所述待识别图像对应于多个预设维度中每个预设维度的第二图像特征。
不同的预设维度对应的第一图像特征的特征点数量不同,特征点对应的特征数据的 数据维度也不同。示例性地,预设维度越高,对应的第一图像特征的特征点的数量越少,一个特征点对应的特征数据的数据维度越高,对应的第一图像特征的特征图越小。
预设维度是预先根据具体的应用场景设定的。
示例性地,首先对待识别图像进行特征提取,得到与最低的预设维度对应原始图像 特征,之后利用卷积层等对提取得到图像特征进行处理,得到与最低的预设维度对应第一图像特征。
之后,按照预设维度从低到高的顺序,根据较低的预设维度对应的第一图像特征,得到相邻的、较高预设维度对应的第一图像特征。
上述第二图像特征对应的特征图与上述待识别图像具有相同的尺寸和分辨率。
示例性地,按照预设维度从高到低的顺序,通过对第一图像特征进行降低特征数据 的数据维度、拼接等操作,最终确定最低预设维度对应的第二图像特征。该第二图像特征的每个特征点对应的特征数据能够较为准确的表征对应的特征点是否为伪造特征点。
S130、基于所述图像特征,确定所述待识别图像中的伪造区域和所述待识别对象的 真伪结果信息中的至少一项。
示例性地,可以基于所述多个预设维度中最高预设维度对应的第一图像特征,得到 所述待识别对象的真伪结果信息;和/或,基于所述多个预设维度中最低预设维度对应的 第二图像特征,确定所述待识别图像中的伪造区域。
最高预设维度对应的第一图像特征中每个特征点对应的特征数据的维度较多,特征 点的数量较少,这样的图像特征能够较为准确地描述对真伪识别有效的图像特征,因此利用第一图像特征能够较为准确地确定待识别对象的真伪结果信息。
示例性地,利用卷积层对上述最高预设维度对应的第一图像特征进行处理,得到上 述真伪结果信息。
最低预设维度对应的第二图像特征是各级预设维度对应的第一图像特征经过降维、 增加对应的特征点以及拼接等操作得到的,因此,第二图像特征的每个特征点对应的特 征数据能够较为准确的表征对应的特征点是否为伪造特征点;又由于该第二图像特征对 应的特征图与待识别图像的分辨率相同,因此,利用该第二图像特征能够较为准确地确定待识别图像中每个像素点为伪造像素点的伪造结果信息,继而能够确定较为精确的伪造区域。
示例性地,利用卷积层对上述最低预设维度对应的第二图像特征进行处理,得到上 述伪造区域。
在一些实施例中,可以利用如下步骤确定各个预设维度对应的第二图像特征:
首先,对预设维度进行分组:将每两个相邻的预设维度作为一个组,得到多个第一维度组;所述第一维度组包括第一预设维度和第二预设维度,所述第一预设维度高于所 述第二预设维度。其中,某一第一维度组的维度可以是该第一维度组中的第一预设维度。
之后,按照维度从高到低的顺序,分别对每个第一维度组执行如下操作,直到确定所述最低预设维度对应的第二图像特征:
针对除最高维度的第一维度组以外的其他第一维度组,按照所述第一维度组中的第 二预设维度,对该第一维度组中的第一预设维度对应的第二图像特征进行特征处理操作, 得到与所述第二预设维度相匹配的第三图像特征;其中,所述第三图像特征对应的特征 图与所述第二预设维度对应的第一图像特征对应的特征图具有相同的图像分辨率和尺寸。基于得到的所述第三图像特征和所述第一维度组中的第二预设维度对应的第一图像特征,确定所述第一维度组中的第二预设维度对应的第二图像特征。
针对具有最高维度的第一维度组,对该第一维度组中的第一预设维度对应的第一图 像特征进行特征处理操作,得到与所述第二预设维度相匹配的第五图像特征;其中,所述第五图像特征对应的特征图与所述第二预设维度对应的第一图像特征对应的特征图 具有相同的图像分辨率和尺寸。基于得到的所述第五图像特征和所述第一维度组中的第 二预设维度对应的第一图像特征,确定所述第一维度组中的第二预设维度对应的第二图 像特征。
示例性地,上述特征处理操作可以是转置卷积操作,通过该操作可以实现降低特征 点对应的特征数据的数据维度,同时增加特征点的数量,即提升对应的特征图的分辨率。
如图2所示,对于最高维度的第一维度组C1,将该第一维度组中相邻两个预设维度中较高的预设维度对应的第一图像特征291进行特征处理操作,处理后的第五图像特 征与较低的预设维度对应的第一图像特征具有相同的数据维度,并且对应的特征图具有 相同的图像分辨率;之后,将该特征处理操作后的第三图像特征与该第一维度组中的第 二预设维度对应的第一图像特征进行拼接处理,得到拼接图像特征,如图2所示拼接图 像特征21。之后,基于拼接图像特征21,确定该第一维度组中的第二预设维度对应的 第二图像特征23,例如可以对拼接图像特征21进行至少一个卷积处理,得到第二图像 特征23。另外,如图2示出了示出了拼接特征21、第二图像特征23等。
如图2所示,对于其他维度的第一维度组,例如第一维度组C2,将该第一维度组 中相邻两个预设维度中较高的预设维度对应的第二图像特征23进行特征处理操作,处 理后的第三图像特征与较低的预设维度对应的第一图像特征具有相同的数据维度,并且 对应的特征图具有相同的图像分辨率;之后,将该第三图像特征与该第一维度组中的第 二预设维度对应的第一图像特征进行拼接处理,得到拼接图像特征,如图2所示拼接图 像特征22。之后,基于拼接图像特征22,确定该第一维度组中的第二预设维度对应的 第二图像特征24,例如可以对拼接图像特征22进行至少一个卷积处理,得到第二图像 特征24。
上述同一第一维度组对应的第三图像特征和第二预设维度对应的第一图像特征具 体有相同的数据维度以及相同的图像分辨率,因此可以准确地将两者进行拼接;之后,基于拼接后的拼接图像特征进行特征提取和处理等操作,能够得到较为准确的处理结果,即上述第二图像特征。
根据上述实施例可知,按照维度从高到低的顺序依次对每个第一维度组中的第一图 像特征和第二图像特征进行处理,可以得到最低预设维度对应的第二图像特征。在得到最低预设维度对应的第二图像特征之后,可以利用如下步骤确定待识别图像中的伪造区域:
首先,基于最低预设维度对应的第二图像特征,确定所述待识别图像中每个像素点 为伪造像素点的概率信息。
如图2示出了最低预设维度的第二图像特征25。
最低预设维度的第二图像特征对应的特征图与待识别图像的分辨率和尺寸均相同, 因此,该第二图像特征对应的特征图中的每个像素点与待识别图像中的每个像素点相对 应,那么,利用该第二图像特征能够较为准确地确定待识别图像中每个像素点为伪造像素点的伪造结果信息。
示例性地,可以利用全连接网络层、分类器等对最低预设维度对应的第二图像特征 25进行处理,得到待识别图像中每个像素点为伪造像素点的概率信息。
在得到待识别图像中每个像素点对应的概率信息之后,基于确定的所述概率信息和 预设概率阈值,确定所述待识别图像中每个像素点为伪造像素点的伪造结果信息。基于每个像素点对应的所述伪造结果信息,确定所述待识别图像中的伪造区域。
上述预设概率阈值是根据具体的应用场景灵活设定的。
示例性地,在上述概率信息对应的概率值大于或等于上述预设概率阈值时,确定上 述概率信息对应的像素点为伪造像素点;在上述概率信息对应的概率值小于上述预设概 率阈值时,确定上述概率信息对应的像素点为未经过篡改的像素点。
在确定了各个像素点是否为伪造像素点之后,确定为伪造像素点的像素点可以形成 至少一个伪造区域。
示例性地,确定了各个像素点是否为伪造像素点之后,创建一个与待识别图像相同 尺寸的掩膜MASK图Mpred。之后,根据下面的公式填充MASK图Mpred
Figure BDA0003329916960000101
式中,(i,j)表示对应像素点的行、列标识符,λ表示上述预设概率阈值,Ipred表 示上述概率信息对应的概率值。
在确定所述伪造区域之后,可以基于伪造区域和待识别图像,生成热力图;其中,所述热力图中对应于所述伪造区域的像素点的热力值高于预设值。
示例性地,根据待识别图像的分辨率和尺寸,确定热力图的分辨率和尺寸,例如,可以将热力图设置为与待识别图像具有相同的尺寸和分辨率。之后,可以将热力图中对 应于所述伪造区域的像素点的热力值高于预设值,并且热力图中的该部分像素点的热力 值相等;也可以根据伪造区域内每个像素点对应的上述概率信息,设置热力图中对应的 像素点的热力值,具体地,随着概率信息对应的概率值增高,对应的像素点的热力值也 增高。
热力图中,对应于伪造区域以外的像素点的热力值可以设置为相等,也可以根据上 述概率信息对应的概率值进行设定,本公开并不进行限定。
利用热力图实现了对待识别图像对应的伪造区域的可视化,提高了伪造区域的直观 性和解释性。
在一些实施例中,可以利用如下步骤提取所述待识别图像对应于多个预设维度中每 个预设维度的第一图像特征:
首先提取最低预设维度对应的第一图像特征,示例性地,可以将待识别图像输入目 标深度神经网络,之后经过至少一次列深度可分离卷积操作,得到上述最低预设维度的第一图像特征26。
在得到最低预设维度的第一图像特征之后,可以将每两个相邻的预设维度作为一个 组,得到多个第二维度组;所述第二维度组包括第三预设维度和第四预设维度,所述第三预设维度低于所述第四预设维度。其中,第二维度组的维度可以为该第二维度组中的 第三预设维度。
确定好上述第二维度组之后,按照维度从低到高的顺序,依次对每个第二维度组执 行如下操作,直到确定除最低预设维度以外的每个预设维度的第一图像特征:
按照所述第二维度组中的第四预设维度,对所述第二维度组中的第三预设维度对应 的第一图像特征进行第二特征处理操作,得到与所述第四预设维度相匹配的第四图像特 征;基于得到的所述第四图像特征,确定所述第二维度组中的第四预设维度对应的第一图像特征。
示例性地,如图2所示,第二维度组中较低的预设维度对应的第一图像特征26,进行特征处理操作,得到与所述较高的预设维度相匹配的第四图像特征29,之后,基于得 到的所述第四图像特征29,经过卷积等操作,确定较高的预设维度对应的第一图像特征 27。
示例性地,上述第二特征处理操作可以是可分离卷积操作,具体用于升高第一图像 特征中特征点的特征数据的数据维度,并减少特征点的数量。经过第二特征处理操作之后得到的第四图像特征,与该第二维度组中较高的第四预设维度相匹配。
针对每个第二维度组,在得到该第二维度组对应的第四图像特征之后,可以经过至 少一次卷积操作,得到该第二维度组中较高的预设维度对应的第一图像特征,该第一图像特征与第四图像特征具有相同的预设维度,并且对应的特征图具有相同的图像分辨率。
按照每个第二维度组中第四预设维度对对应第二维度组中的第一图像特征进行处 理,能够较为准确地确定与第四预设维度相匹配的第四图像特征;后续再对该第四图像特征进行继续处理,得到的第一图像特征与第四预设维度相匹配。按照本实施方式依次 对每个第二维度组中较低预设维度的第一图像特征进行处理,能够较为准确地确定每个 预设维度对应的第一图像特征。
如图2示出第二维度组中的第一图像特征27、第一图像特征28等,以及第二维度组中的第四图像特征29等。
在得到最高预设维度对应的第一图像特征之后,可以利用如下步骤确定所述待识别 对象的真伪结果信息:
首先确定两个分值,具体地,基于最高预设维度对应的第一图像特征,确定所述待识别对象为真实对象的第一分值和所述待识别对象为伪造对象的第二分值。
示例性地,可以经过至少一次卷积操作对第一图像特征进行处理,得到待识别对象 为真实对象的第一分值和待识别对象为伪造对象的第二分值。
得到上述两个分值之后确定两个预测概率,具体地,基于所述第一分值和第二分值, 确定所述待识别对象为真实对象的第一预测概率和所述待识别对象为伪造对象的第二 预测概率。
示例性地,可利用如下公式确定上述两个预测概率:
Figure BDA0003329916960000121
式中,i、class均表示待识别对象为真实对象或伪造对象的标识,i为0表示待识别对象为真实对象,i为1表示待识别对象为伪造对象,p表示预测概率,class为0时, pclass表示待识别对象为真实对象的第一预测概率,class为1时,pclass表示待识别对 象为伪造对象的第二预测概率,x表示分值,i为0时,x[i]表示待识别对象为真实对象 的第一分值,i为1时,x[i]表示待识别对象为伪造对象的第二分值。
示例性地,可以利用分类器确定上述两个预测概率。
在得到上述两个预测概率之后,进行真伪结果预测,具体地,基于所述第一预测概率和所述第二预测概率,确定所述待识别对象的真伪结果信息。
示例性地,可以将第一预测概率和第二预测概率进行比较,并将较大的预测概率对 应的鉴别结果作为上述真伪结果信息,例如,若第一预测概率大于第二预测概率,则真伪结果信息为待识别对象为真实对象,若第一预测概率小于或等于第二预测概率,则真 伪结果信息为待识别对象为伪造对象。
具体地,可以利用如下公式实现:
c=argmax(p0,p1) (3)
式中,c为用于表征真伪结果信息的参数。
上述实施例中,最高预设维度对应的第一图像特征中每个特征点对应的特征数据的 维度较多,特征点的数量较少,这样的图像特征能够较为准确地描述对真伪识别有效的图像特征,因此利用第一图像特征能够较为准确地确定上述第一预测概率和第二预 测概率,继而,基于该第一预测概率和第二预测概率,能够得到较为准确的真伪结果 信息。
上述实施例中的待识别图像既可以是拍摄装置直接拍摄得到的,也可以是从拍摄的 原始图像中截取出来的子图像。示例性地,可以利用如下步骤截取待识别对象对应的待识别图像:
首先,对获取的原始图像进行识别,确定所述待识别对象的检测框和所述待识别对 象对应的多个关键点;之后,基于所述检测框和所述多个关键点,从所述原始图像中提取所述待识别对象对应的图像区域,得到所述待识别图像。
上述原始图像可以是从一视频片段中截取得到的,示例性地,可以从一视频片段中 等间隔的进行抽帧处理,得到多帧原始图像,之后对每帧原始图像实施本公开的方法,可以实现对每帧图像的真伪鉴别。
检测框和关键点均能够分别来确定待识别对象在原始图像中所占的图像区域,将两 者结合来确定上述图像区域,能够起到相互校准的作用,因此能够得到更加精准的图像区域,即能够得到更加精准的待识别图像。
示例性地,首先统计位于检测框内的关键点的数量;之后,基于统计得到的数量,确定位于检测框内的关键点在所有关键点中的占比,在所述占比大于预设占比阈值的情况下,可以基于关键点的位置和检测框的位置,确定上述图像区域。确定的图像区域可 以只是检测框对应的区域,可以是包括检测框对应的区域和所有关键点的区域。
在确定的上述占比小于或等于预设占比阈值的情况下,说明对象识别的误差较大, 此时可以重新进行对象识别,重新确定待识别对象的检测框和关键点。
在一些实施例中,上述基于所述检测框和所述多个关键点,从所述原始图像中提取 所述待识别对象对应的图像区域,得到所述待识别图像,具体可以利用如下步骤实现:
首先基于所述多个关键点和所述检测框,确定所述待识别对象在所述原始图像中的 初始区域信息;之后,按照预设比例信息,对所述初始区域信息对应的区域进行扩展,得到所述待识别对象在所述原始图像中的目标区域信息;按照所述目标区域信息,从所 述原始图像中提取所述待识别对象对应的图像区域,得到所述待识别图像。
上述初始区域信息对应的区域可以是包括检测框和预设数量个关键点的区域。
通过对初始区域信息对应的区域进行扩展,能够保证目标区域信息对应的区域包括 完整的待识别对象以及对象周围的少部分环境,有利于提高待识别对象对应的真伪识别 精度。
示例性地,在对待识别图像进行识别时,不仅能够得到检测框和关键点,还能够确定待识别对象在原始图像中所占区域的面积(下述称为区域面积信息)以及待识别对象 的姿态信息,这些信息可以保存在json文件,供后续处理。在需要进行真伪鉴别时,从 json文件中提取所需的信息即可。
示例性地,在提取待识别图像时,首先可以从json文件中获取区域面积信息,在所述区域面积信息对应的区域面积大于预设面积的情况下,对基于所述检测框和所述多个关键点,从所述原始图像中提取所述待识别对象对应的图像区域,得到所述待识别图像。
得到的待识别图像可以保存为png格式的图片。
提取在原始图像所占的面积较大的待识别对象对应的图像区域,能够保证得到的待 识别图像的分辨率较大,有利于提高真伪识别精度。
本公开还提供了一种目标深度神经网络的训练方法,如图3所示,可以包括如下步骤:
S310、获取多张样本图像。
上述样本图像为包括样本对象的图像,例如包括人脸的样本图像。这里的样本图像 既可以是拍摄设备拍摄的原始图像,也可以是从原始图像中截取的包括待识别对象的子 图像。
S320、将所述样本图像输入待训练的目标深度神经网络,经过所述目标神经网络对 所述多张样本图像进行处理,得到每张样本图像中样本对象为真实对象的第一预测分值、 所述样本对象为伪造对象的第二预测分值,和每张样本图像中每个像素点为伪造像素点 的预测概率信息。
S330、基于每张样本图像对应的第一预测分值、第二预测分值、预测概率信息和标准概率信息,生成网络损失信息。
上述网络损失信息包括对样本对象进行真伪检测对应的第一损失信息和确定损失 区域对应的第二损失信息。
根据上述第一预测分值和第二预测分值,能够确定样本对象为真实对象的第一样本 概率和样本对象为伪造对象的第二样本概率。这里第一样本概率和第二样本概率的计算 方法与上述第一预测概率和第二预测概率的计算方法相同,这里不再赘述。
示例性地,基于每张样本图像对应的第一样本概率、第二样本概率,生成第一损失信息,可以利用如下公式实现:
Figure BDA0003329916960000141
式中,Lc表示第一损失信息,i表示样本对象为真实对象或伪造对象的标识,i为0表示样本对象为真实对象,i为1表示样本为伪造对象,p表示样本概率,p0表示样本对 象为真实对象的第一样本概率,p1表示样本对象为伪造对象的第二样本概率,q表示标 准概率,q0表示样本对象为真实对象的第一标准概率,q1表示样本对象为伪造对象的第 二标准概率。
示例性地,基于每张样本图像对应的预测概率信息和标准概率信息,生成第二损失 信息,可以利用如下公式实现:
Lregion=∑i,j(Mtarget(i,j)·log(Ipred(i,j))+(1-Mtarget(i,j))·log(1-Ipred(i,j))) (5)
式中,Lregion表示第二损失信息,(i,j)表示对应像素点的行、列标识符,Ipred表示对应像素点对应的预测概率信息,Mtarget表示对应像素点对应的标准概率信息。
在得到上述第一损失信息和第二损失信息之后,可以基于所述第一损失信息和所述 第二损失信息,生成所述网络损失信息。示例性地,可以利用如下公式实现:
L=a×Lc+b×Lregion (6)
式中,L表示网络损失信息,a、b表示预设权重。
S340、利用所述网络损失信息对待训练的目标深度神经网络进行训练,直到满足预 设训练条件,得到训练好的目标深度神经网络。
上述实施例中,基于每个像素点对应的预测概率信息,能够直接得到伪造区域的预 测结果,因此上述预测概率信息可以用于表征伪造区域的预测结果;通过第一预测分值和第二预测分值能够确定样本对象的真伪鉴别结果。因此,基于第一预测分值和第二预 测分值(对应于真伪鉴别的检测任务),以及,预测概率信息和标准概率信息(对应于 伪造区域的检测任务),这两种检测任务的预测值来建立训练目标神经网络的网络损失 信息,能够通过两种检测任务的相互促进作用,有效提高训练完成的目标神经网络的检 测精度。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不 意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功 能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了真伪识别方法对应的真伪识别装置, 由于本公开实施例中的装置解决问题的原理与本公开实施例上述真伪识别方法相似,因 此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图4所示,为本公开实施例提供的一种真伪识别装置的架构示意图,所述装置包括:
图像获取模块410,用于获取包括待识别对象的待识别图像。
特征提取模块420,用于提取所述待识别图像对应于多个预设维度的图像特征;其中,图像特征对应的特征点的数量与对应的预设维度的值负相关。
检测模块430,用于基于所述图像特征,确定所述待识别图像中的伪造区域和所述待识别对象的真伪结果信息中的至少一项。
在一些实施例中,所述检测模块430在所述图像特征,确定所述待识别图像中的伪造区域和所述待识别对象的真伪结果信息中的至少一项时,具体用于:
基于所述多个预设维度中最高预设维度对应的第一图像特征,得到所述待识别对象 的真伪结果信息;
和/或,基于所述多个预设维度中最低预设维度对应的第二图像特征,确定所述待识 别图像中的伪造区域。
在一些实施例中,所述图像特征包括多个预设维度中每个预设维度对应的第二图像 特征,和多个预设维度中每个预设维度对应的第一图像特征;
所述特征提取模块420在提取所述待识别图像对应于多个预设维度的图像特征时, 用于:
提取所述待识别图像对应于多个预设维度中每个预设维度的第一图像特征;
基于各个预设维度对应的第一图像特征,确定所述待识别图像对应于多个预设维度 中每个预设维度的第二图像特征。
在一些实施例中,所述特征提取模块420在基于各个预设维度对应的第一图像特征, 确定所述待识别图像对应于多个预设维度中每个预设维度的第二图像特征时,具体用于:
将每两个相邻的预设维度作为一个组,得到多个第一维度组;所述第一维度组包括 第一预设维度和第二预设维度,所述第一预设维度高于所述第二预设维度;
按照维度从高到低的顺序,分别对每个非最高维度的第一维度组执行如下操作,直 到确定所述最低预设维度对应的第二图像特征:
按照所述第一维度组中的第二预设维度,对所述第一维度组中的第一预设维度对应 的第一图像特征进行第一特征处理操作,得到与所述第二预设维度相匹配的第三图像特 征;其中,所述第三图像特征对应的特征图与所述第二预设维度的第一图像特征对应的特征图具有相同的图像分辨率;
基于得到的所述第三图像特征和所述第一维度组中的第二预设维度对应的第一图 像特征,确定所述第一维度组中的第二预设维度对应的第二图像特征。
在一些实施例中,所述特征提取模块420在基于得到的所述第三图像特征和所述第 一维度组中的第二预设维度对应的第一图像特征,确定所述第一维度组中的第二预设维 度对应的第二图像特征时,用于:
将得到的所述第三图像特征与所述第一维度组中的第二预设维度对应的第一图像 特征进行拼接处理,得到拼接图像特征;
基于所述拼接图像特征,确定所述第一维度组中的第二预设维度对应的第二图像特 征。
在一些实施例中,所述特征提取模块420在提取所述待识别图像对应于多个预设维 度中每个预设维度的第一图像特征时,用于:
提取所述待识别图像对应于最低预设维度的第一图像特征;
将每两个相邻的预设维度作为一个组,得到多个第二维度组;所述第二维度组包括 第三预设维度和第四预设维度,所述第三预设维度低于所述第四预设维度;
按照维度从低到高的顺序,分别对每个第二维度组执行如下操作,直到确定除最低 预设维度以外的每个预设维度的第一图像特征:
按照所述第二维度组中的第四预设维度,对所述第二维度组中的第三预设维度对应 的第一图像特征进行第二特征处理操作,得到与所述第四预设维度相匹配的第四图像特 征;
基于得到的所述第四图像特征,确定所述第二维度组中的第四预设维度对应的第一 图像特征。
在一些实施例中,所述检测模块430在基于所述多个预设维度中最高预设维度对应 的第一图像特征,得到所述待识别对象的真伪结果信息时,用于:
基于最高预设维度对应的第一图像特征,确定所述待识别对象为真实对象的第一分 值和所述待识别对象为伪造对象的第二分值;
基于所述第一分值和第二分值,确定所述待识别对象为真实对象的第一预测概率和 所述待识别对象为伪造对象的第二预测概率;
基于所述第一预测概率和所述第二预测概率,确定所述待识别对象的真伪结果信息。
在一些实施例中,所述检测模块430在基于所述多个预设维度中最低预设维度对应 的第二图像特征,确定所述待识别图像中的伪造区域时,用于:
基于最低预设维度对应的第二图像特征,确定所述待识别图像中每个像素点为伪造 像素点的概率信息;
基于确定的所述概率信息和预设概率阈值,确定所述待识别图像中每个像素点为伪 造像素点的伪造结果信息;
基于每个像素点对应的所述伪造结果信息,确定所述待识别图像中的伪造区域。
在一些实施例中,所述图像获取模块410在获取包括待识别对象的待识别图像时,用于:
获取原始图像;
对所述原始图像进行识别,确定所述待识别对象的检测框和所述待识别对象对应的 多个关键点;
基于所述检测框和所述多个关键点,从所述原始图像中提取所述待识别对象对应的 图像区域,得到所述待识别图像。
在一些实施例中,所述图像获取模块410在基于所述检测框和所述多个关键点,从所述原始图像中提取所述待识别对象对应的图像区域,得到所述待识别图像时,用于:
基于所述多个关键点和所述检测框,确定所述待识别对象在所述原始图像中的初始 区域信息;
按照预设比例信息,对所述初始区域信息对应的区域进行扩展,得到所述待识别对 象在所述原始图像中的目标区域信息;
按照所述目标区域信息,从所述原始图像中提取所述待识别对象对应的图像区域, 得到所述待识别图像。
在一些实施例中,所述图像获取模块410在基于所述检测框和所述多个关键点,从所述原始图像中提取所述待识别对象对应的图像区域,得到所述待识别图像时,用于:
确定所述待识别对象在所述原始图像中区域面积信息;
在所述区域面积信息对应的区域面积大于预设面积的情况下,对基于所述检测框和 所述多个关键点,从所述原始图像中提取所述待识别对象对应的图像区域,得到所述待识别图像。
在一些实施例中,在确定所述伪造区域之后,所述检测模块430还用于:
基于所述伪造区域和所述待识别图像,生成热力图;其中,所述热力图中对应于所述伪造区域的像素点的热力值高于预设值。
在一些实施例中,上述装置还包括对所述目标深度神经网络进行训练的训练模块440,所述训练模块440用于:
获取多张样本图像;
将所述样本图像输入待训练的目标深度神经网络,经过所述目标神经网络对所述多 张样本图像进行处理,得到每张样本图像中样本对象为真实对象的第一预测分值、所述样本对象为伪造对象的第二预测分值,和每张样本图像中每个像素点为伪造像素点的预测概率信息;
基于每张样本图像对应的第一预测分值、第二预测分值、预测概率信息和标准概率 信息,生成网络损失信息;
利用所述网络损失信息对待训练的目标深度神经网络进行训练,直到满足预设训练 条件,得到训练好的目标深度神经网络。
在一些实施例中,所述训练模块440在基于每张样本图像对应的第一预测分值、第二预测分值、预测概率信息和标准概率信息,生成网络损失信息时,用于:
基于每张样本图像对应的第一预测分值、第二预测分值,生成第一损失信息;
基于每张样本图像对应的预测概率信息和标准概率信息,生成第二损失信息;
基于所述第一损失信息和所述第二损失信息,生成所述网络损失信息。
基于同一技术构思,本公开实施例还提供了一种电子设备。参照图5所示,为本公开实施例提供的电子设备500的结构示意图,包括处理器51、存储器52、和总线53。 其中,存储器52用于存储执行指令,包括内存521和外部存储器522;这里的内存521 也称内存储器,用于暂时存放处理器51中的运算数据,以及与硬盘等外部存储器522 交换的数据,处理器51通过内存521与外部存储器522进行数据交换,当电子设备500 运行时,处理器51与存储器52之间通过总线53通信,使得处理器51在执行以下指令:
获取包括待识别对象的待识别图像;提取所述待识别图像对应于多个预设维度的图 像特征;其中,图像特征对应的特征点的数量与对应的预设维度的值负相关;基于所述图像特征,确定所述待识别图像中的伪造区域和所述待识别对象的真伪结果信息中的至少一项。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计 算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的真伪识别方法的 步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的真伪识别方法的计算机程序产品,包括存储了程序代码的计 算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的真伪 识别方法的步骤,具体可参见上述方法实施例,在此不再赘述。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品 具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件 产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和 装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的 方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为 一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以 结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或 讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的 间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示 的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是 各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存 储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软 件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以 使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个 实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存 储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、 磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对 本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技 术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修 改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者 替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖 在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (17)

1.一种真伪识别方法,其特征在于,应用于目标深度神经网络,包括:
获取包括待识别对象的待识别图像;
提取所述待识别图像对应于多个预设维度的图像特征;其中,图像特征对应的特征点的数量与对应的预设维度的值负相关;
基于所述图像特征,确定所述待识别图像中的伪造区域和所述待识别对象的真伪结果信息中的至少一项。
2.根据权利要求1所述的方法,其特征在于,所述基于所述图像特征,确定所述待识别图像中的伪造区域和所述待识别对象的真伪结果信息中的至少一项,包括:
基于所述多个预设维度中最高预设维度对应的第一图像特征,得到所述待识别对象的真伪结果信息;
和/或,基于所述多个预设维度中最低预设维度对应的第二图像特征,确定所述待识别图像中的伪造区域。
3.根据权利要求1或2所述的方法,其特征在于,所述图像特征包括多个预设维度中每个预设维度对应的第二图像特征,和多个预设维度中每个预设维度对应的第一图像特征;
所述提取所述待识别图像对应于多个预设维度的图像特征,包括:
提取所述待识别图像对应于多个预设维度中每个预设维度的第一图像特征;
基于各个预设维度对应的第一图像特征,确定所述待识别图像对应于多个预设维度中每个预设维度的第二图像特征。
4.根据权利要求3所述的方法,其特征在于,所述基于各个预设维度对应的第一图像特征,确定所述待识别图像对应于多个预设维度中每个预设维度的第二图像特征,包括:
将每两个相邻的预设维度作为一个组,得到多个第一维度组;所述第一维度组包括第一预设维度和第二预设维度,所述第一预设维度高于所述第二预设维度;
按照维度从高到低的顺序,分别对非最高维度的第一维度组执行如下操作,直到确定最低预设维度对应的第二图像特征:
按照所述第一维度组中的第二预设维度,对所述第一维度组中的第一预设维度对应的第二图像特征进行第一特征处理操作,得到与所述第二预设维度相匹配的第三图像特征;其中,所述第三图像特征对应的特征图与所述第二预设维度的第一图像特征对应的特征图具有相同的图像分辨率;
基于得到的所述第三图像特征和所述第一维度组中的第二预设维度对应的第一图像特征,确定所述第一维度组中的第二预设维度对应的第二图像特征。
5.根据权利要求4所述的方法,其特征在于,所述基于得到的所述第三图像特征和所述第一维度组中的第二预设维度对应的第一图像特征,确定所述第一维度组中的第二预设维度对应的第二图像特征,包括:
将得到的所述第三图像特征与所述第一维度组中的第二预设维度对应的第一图像特征进行拼接处理,得到拼接图像特征;
基于所述拼接图像特征,确定所述第一维度组中的第二预设维度对应的第二图像特征。
6.根据权利要求3至5任一项所述的方法,其特征在于,所述提取所述待识别图像对应于多个预设维度中每个预设维度的第一图像特征,包括:
提取所述待识别图像对应于最低预设维度的第一图像特征;
将每两个相邻的预设维度作为一个组,得到多个第二维度组;所述第二维度组包括第三预设维度和第四预设维度,所述第三预设维度低于所述第四预设维度;
按照维度从低到高的顺序,分别对每个第二维度组执行如下操作,直到确定除最低预设维度以外的每个预设维度的第一图像特征:
按照所述第二维度组中的第四预设维度,对所述第二维度组中的第三预设维度对应的第一图像特征进行第二特征处理操作,得到与所述第四预设维度相匹配的第四图像特征;
基于得到的所述第四图像特征,确定所述第二维度组中的第四预设维度对应的第一图像特征。
7.根据权利要求2所述的方法,其特征在于,所述基于所述多个预设维度中最高预设维度对应的第一图像特征,得到所述待识别对象的真伪结果信息,包括:
基于最高预设维度对应的第一图像特征,确定所述待识别对象为真实对象的第一分值和所述待识别对象为伪造对象的第二分值;
基于所述第一分值和第二分值,确定所述待识别对象为真实对象的第一预测概率和所述待识别对象为伪造对象的第二预测概率;
基于所述第一预测概率和所述第二预测概率,确定所述待识别对象的真伪结果信息。
8.根据权利要求2或7所述的方法,其特征在于,所述基于所述多个预设维度中最低预设维度对应的第二图像特征,确定所述待识别图像中的伪造区域,包括:
基于最低预设维度对应的第二图像特征,确定所述待识别图像中每个像素点为伪造像素点的概率信息;
基于确定的所述概率信息和预设概率阈值,确定所述待识别图像中每个像素点为伪造像素点的伪造结果信息;
基于每个像素点对应的所述伪造结果信息,确定所述待识别图像中的伪造区域。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述获取包括待识别对象的待识别图像,包括:
获取原始图像;
对所述原始图像进行识别,确定所述待识别对象的检测框和所述待识别对象对应的多个关键点;
基于所述检测框和所述多个关键点,从所述原始图像中提取所述待识别对象对应的图像区域,得到所述待识别图像。
10.根据权利要求9所述的方法,其特征在于,所述基于所述检测框和所述多个关键点,从所述原始图像中提取所述待识别对象对应的图像区域,得到所述待识别图像,包括:
基于所述多个关键点和所述检测框,确定所述待识别对象在所述原始图像中的初始区域信息;
按照预设比例信息,对所述初始区域信息对应的区域进行扩展,得到所述待识别对象在所述原始图像中的目标区域信息;
按照所述目标区域信息,从所述原始图像中提取所述待识别对象对应的图像区域,得到所述待识别图像。
11.根据权利要求9所述的方法,其特征在于,所述基于所述检测框和所述多个关键点,从所述原始图像中提取所述待识别对象对应的图像区域,得到所述待识别图像,包括:
确定所述待识别对象在所述原始图像中区域面积信息;
在所述区域面积信息对应的区域面积大于预设面积的情况下,对基于所述检测框和所述多个关键点,从所述原始图像中提取所述待识别对象对应的图像区域,得到所述待识别图像。
12.根据权利要求1至11任一项所述的方法,其特征在于,在确定所述伪造区域之后,还包括:
基于所述伪造区域和所述待识别图像,生成热力图;其中,所述热力图中对应于所述伪造区域的像素点的热力值高于预设值。
13.根据权利要求1至12任一项所述的方法,其特征在于,还包括训练所述目标深度神经网络的步骤:
获取多张样本图像;
将所述样本图像输入待训练的目标深度神经网络,经过所述目标神经网络对所述多张样本图像进行处理,得到每张样本图像中样本对象为真实对象的第一预测分值、所述样本对象为伪造对象的第二预测分值,和每张样本图像中每个像素点为伪造像素点的预测概率信息;
基于每张样本图像对应的第一预测分值、第二预测分值、预测概率信息和标准概率信息,生成网络损失信息;
利用所述网络损失信息对待训练的目标深度神经网络进行训练,直到满足预设训练条件,得到训练好的目标深度神经网络。
14.根据权利要求13所述的方法,其特征在于,所述基于每张样本图像对应的第一预测分值、第二预测分值、预测概率信息和标准概率信息,生成网络损失信息,包括:
基于每张样本图像对应的第一预测分值、第二预测分值,生成第一损失信息;
基于每张样本图像对应的预测概率信息和标准概率信息,生成第二损失信息;
基于所述第一损失信息和所述第二损失信息,生成所述网络损失信息。
15.一种真伪识别装置,其特征在于,包括:
图像获取模块,用于获取包括待识别对象的待识别图像;
特征提取模块,用于提取所述待识别图像对应于多个预设维度的图像特征;其中,图像特征对应的特征点的数量与对应的预设维度的值负相关;
检测模块,用于基于所述图像特征,确定所述待识别图像中的伪造区域和所述待识别对象的真伪结果信息中的至少一项。
16.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至14任一项所述的真伪识别方法的步骤。
17.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至14任一项所述的真伪识别方法的步骤。
CN202111275648.6A 2021-10-29 2021-10-29 真伪识别方法、装置、电子设备以及存储介质 Pending CN113920565A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111275648.6A CN113920565A (zh) 2021-10-29 2021-10-29 真伪识别方法、装置、电子设备以及存储介质
PCT/CN2022/096019 WO2023071180A1 (zh) 2021-10-29 2022-05-30 真伪识别方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111275648.6A CN113920565A (zh) 2021-10-29 2021-10-29 真伪识别方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN113920565A true CN113920565A (zh) 2022-01-11

Family

ID=79244013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111275648.6A Pending CN113920565A (zh) 2021-10-29 2021-10-29 真伪识别方法、装置、电子设备以及存储介质

Country Status (2)

Country Link
CN (1) CN113920565A (zh)
WO (1) WO2023071180A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023071180A1 (zh) * 2021-10-29 2023-05-04 上海商汤智能科技有限公司 真伪识别方法、装置、电子设备以及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877981B1 (ko) * 2011-12-21 2018-07-12 한국전자통신연구원 가버 특징과 svm 분류기를 이용하여 위변조 얼굴을 인식하기 위한 시스템 및 그 방법
CN110555481A (zh) * 2019-09-06 2019-12-10 腾讯科技(深圳)有限公司 一种人像风格识别方法、装置和计算机可读存储介质
CN111310616B (zh) * 2020-02-03 2023-11-28 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112668462B (zh) * 2020-12-25 2024-05-07 平安科技(深圳)有限公司 车损检测模型训练、车损检测方法、装置、设备及介质
CN113920565A (zh) * 2021-10-29 2022-01-11 上海商汤智能科技有限公司 真伪识别方法、装置、电子设备以及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023071180A1 (zh) * 2021-10-29 2023-05-04 上海商汤智能科技有限公司 真伪识别方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
WO2023071180A1 (zh) 2023-05-04

Similar Documents

Publication Publication Date Title
CN111488756B (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
CN111242088A (zh) 一种目标检测方法、装置、电子设备及存储介质
CN111444744A (zh) 活体检测方法、装置以及存储介质
CN110490214B (zh) 图像的识别方法及系统、存储介质及处理器
US20200218772A1 (en) Method and apparatus for dynamically identifying a user of an account for posting images
CN110008943B (zh) 一种图像处理方法及装置、一种计算设备及存储介质
CN110555439A (zh) 标识识别方法及其模型的训练方法、装置和电子系统
CN112651364B (zh) 图像处理方法、装置、电子设备及存储介质
CN111104813A (zh) 二维码图像关键点检测方法、装置、电子设备及存储介质
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN115171199A (zh) 图像处理方法、装置及计算机设备、存储介质
CN113920565A (zh) 真伪识别方法、装置、电子设备以及存储介质
CN113255575B (zh) 一种神经网络训练方法、装置、计算机设备及存储介质
CN112766162B (zh) 活体检测方法、装置、电子设备及计算机可读存储介质
JP2016053763A (ja) 画像処理装置、画像処理方法及びプログラム
CN116958795A (zh) 翻拍图像的识别方法、装置、电子设备及存储介质
CN110751163A (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN113469135A (zh) 对象身份信息的确定方法、装置、存储介质及电子装置
CN112883831A (zh) 一种活体检测的方法、装置、电子设备及存储介质
CN114463799A (zh) 一种活体检测方法、装置及计算机可读存储介质
CN111126283A (zh) 一种自动过滤模糊人脸的快速活体检测方法及系统
CN113158838B (zh) 基于全尺寸深度图监督的人脸表示攻击检测方法
CN112802081B (zh) 一种深度检测方法、装置、电子设备及存储介质
CN113516597B (zh) 图像校正方法、装置和服务器
CN116524605A (zh) 活体检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40061908

Country of ref document: HK