CN107578029A - 计算机辅助图片认证的方法、装置、电子设备及存储介质 - Google Patents
计算机辅助图片认证的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN107578029A CN107578029A CN201710857262.3A CN201710857262A CN107578029A CN 107578029 A CN107578029 A CN 107578029A CN 201710857262 A CN201710857262 A CN 201710857262A CN 107578029 A CN107578029 A CN 107578029A
- Authority
- CN
- China
- Prior art keywords
- picture
- pixels
- block
- image
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供了计算机辅助图片认证的方法、装置、电子设备及存储介质。应用于计算机识别技术领域，通过计算当前鉴别度，确定第一图片和第二图片对应的像素块间的区别的大小；将当前鉴别度叠加到鉴别性矩阵中，能根据机器深度学习算法分析出第一图片和第二图片的差别；对鉴别性矩阵进行可视化处理输出对比图，辅助人工认证，有效结合了机器认证与人工认证，可以提高复杂现实环境中的人脸认证率。
Description
技术领域
本发明涉及计算机识别技术领域，特别是涉及计算机辅助图片认证的方法、装置、电子设备及存储介质。
背景技术
随着机器深度学习技术的发展，图片认证技术得到迅速发展。网络中存储的海量数据结合深度学习技术为人脸认证技术带来了新的契机。在通用人脸认证数据库LFW(Labeled Faces in the Wild)中，基于深度学习算法的人脸认证可以达到很高的正确率，但是在光照、姿态、表情等因素变换的复杂现实环境中，人脸认证的准确率会大大降低。现实世界中存在许多相似的人脸，人脸认证的关键正是如何区分和辨别这些看似相像的人脸。为了认证复杂现实环境中的相似人脸，在LFW的基础上建立了FGLFW(Fine-grainedLabeled Faces in the Wild，细粒度人脸认证数据库)。
FGLFW由127位志愿者独立标注，旨在从LFW数据库中挑选出人眼认定的相似人脸。FGLFW保持LFW数据库中的3000对正样本对不变，将LFW数据库中的3000对随机选取的负样本对，替换为人工挑选出的3000对不同人的相似人脸的图像对。
现有的机器深度学习的人脸认证方法，将两幅图片输入到预先训练的深度神经网络中，计算得到这两幅图片的图像特征的余弦距离，在余弦距离大于或等于预设阈值时，判定两幅图片为同一人脸图片，否则判定两幅图片为不同人脸图片。但是在FGLFW中现有的机器深度学习的人脸认证方法和人工认证的准确率都低于LFW中的认证率。针对复杂现实环境中的相似人脸的认证问题，现有的机器人脸认证方法和人工认证的准确度低，无法满足实用要求。
发明内容
本发明实施例的目的在于提供一种计算机辅助图片认证的方法、装置、电子设备及存储介质，以实现提高复杂现实环境中的人脸认证率。具体技术方案如下：
第一方面，本发明实施例提供了一种计算机辅助图片认证的方法，所述方法包括：
A获取经过尺寸调整的第一图片和第二图片，其中，所述第一图片和所述第二图片的分辨率相同；
B通过预先训练的深度神经网络，提取所述第一图片的图像特征和所述第二图片的图像特征，计算所述第一图片的图像特征与所述第二图片的图像特征间的余弦距离，作为初始余弦距离；
C按照预设的分块规则，分别在所述第一图片与所述第二图片中确定多个像素块；
D分别在所述第一图片及所述第二图片的相同映射位置处选取一个像素块，作为当前选取的像素块；
E利用预设的均值像素块，代替当前选取的像素块，得到当前第一图片及当前第二图片；
F通过所述深度神经网络，提取当前第一图片的图像特征及当前第二图片的图像特征，计算当前第一图片的图像特征与当前第二图片的图像特征间的余弦距离，作为当前余弦距离；
G计算所述当前余弦距离与所述初始余弦距离的差值，得到当前鉴别度；
H将所述当前鉴别度叠加到鉴别性矩阵的相应位置，其中，所述鉴别性矩阵的维数与所述第一/二图片的图像特征的维数相同；
I在所述第一图片及所述第二图片的尚未选取的像素块中，在相同映射位置处分别选取一个像素块，作为当前选取的像素块，重复上述步骤E-步骤H，直至所述第一图片及所述第二图片中的所有像素块均被选取；
J将所述鉴别性矩阵做可视化处理，得到并输出对比图。
可选的，在所述获取经过尺寸调整的第一图片和第二图片之前，所述方法还包括：
获取初始第一图片和初始第二图片；
分别在所述初始第一图片和所述初始第二图片上选取特征点；
根据所述初始第一图片各特征点，以及所述初始第二图片上对应位置的各特征点，对所述初始第一图片和所述初始第二图片进行仿射变换，得到对齐后的第一图片和第二图片；
对对齐后的第一图片和第二图片进行裁剪及分辨率调整。
可选的，所述按照预设的分块规则，分别在所述第一图片与所述第二图片中确定多个像素块，包括：
获取预设的像素细胞的列跳跃量，及预设的像素细胞的行跳跃量，其中，所述像素细胞是由第一预设数量的像素点按照第一预设排列顺序组成的；
将第二预设数量的像素细胞按照第二预设排列顺序组成一个像素块，以所述列跳跃量和所述行跳跃量为基本移动单位，将所述像素块遍历所述第一图片与所述第二图片，得到多个像素块。
可选的，所述将所述鉴别性矩阵做可视化处理，得到并输出对比图，包括：
分别获取所述鉴别性矩阵中各元素的叠加次数；
针对所述鉴别性矩阵中每个元素，将一个元素对应的当前鉴别度除以该元素的叠加次数，得到去重叠的鉴别性矩阵；
对去重叠的鉴别性矩阵进行归一化运算；
将归一化运算后的鉴别性矩阵做色彩饱和度的颜色映射，得到可视化的冷暖色彩对比图，并输出所述对比图。
可选的，在所述将所述鉴别性矩阵做可视化处理，得到并输出对比图之后，所述方法还包括：
输出所述第一图片和所述第二图片；
获取并记录用户根据所述第一图片、所述第二图片、以及所述对比图反馈的图片认证结果。
第二方面，本发明实施例提供了一种计算机辅助图片认证的装置，所述装置包括：
第一图片获取模块，用于获取经过尺寸调整的第一图片和第二图片，其中，所述第一图片和所述第二图片的分辨率相同；
第一计算模块，用于通过预先训练的深度神经网络，提取所述第一图片的图像特征和所述第二图片的图像特征，计算所述第一图片的图像特征与所述第二图片的图像特征间的余弦距离，作为初始余弦距离；
分块模块，用于按照预设的分块规则，分别在所述第一图片与所述第二图片中确定多个像素块；
第一像素块选取模块，用于分别在所述第一图片及所述第二图片的相同映射位置处选取一个像素块，作为当前选取的像素块；
像素块替代模块，用于利用预设的均值像素块，代替当前选取的像素块，得到当前第一图片及当前第二图片；
第二计算模块，用于通过所述深度神经网络，提取当前第一图片的图像特征及当前第二图片的图像特征，计算当前第一图片的图像特征与当前第二图片的图像特征间的余弦距离，作为当前余弦距离；
第三计算模块，用于计算所述当前余弦距离与所述初始余弦距离的差值，得到当前鉴别度；
叠加模块，用于将所述当前鉴别度叠加到鉴别性矩阵的相应位置，其中，所述鉴别性矩阵的维数与所述第二图片的图像特征的维数相同；
第二像素块选取模块，用于在所述第一图片及所述第二图片的尚未选取的像素块中，在相同映射位置处分别选取一个像素块，作为当前选取的像素块，返回像素块替代模块继续执行，直至所述第一图片及所述第二图片中的所有像素块均被选取；
可视化处理模块，用于将所述鉴别性矩阵做可视化处理，得到并输出对比图。
可选的，所述装置还包括：
第二图片获取模块，用于获取初始第一图片和初始第二图片；
特征点选取模块，用于分别在所述初始第一图片和所述初始第二图片上选取特征点；
图片对齐模块，用于根据所述初始第一图片各特征点，以及所述初始第二图片上对应位置的各特征点，对所述初始第一图片和所述初始第二图片进行仿射变换，得到对齐后的第一图片和第二图片；
图片调整模块，用于对对齐后的第一图片和第二图片进行裁剪及分辨率调整。
可选的，所述分块模块，包括：
参数获取子模块，用于获取预设的像素细胞的列跳跃量，及预设的像素细胞的行跳跃量，其中，所述像素细胞是由第一预设数量的像素点按照第一预设排列顺序组成的；
遍历子模块，用于将第二预设数量的像素细胞按照第二预设排列顺序组成一个像素块，以所述列跳跃量和所述行跳跃量为基本移动单位，将所述像素块遍历所述第一图片与所述第二图片，得到多个像素块。
可选的，所述可视化处理模块，包括：
叠加次数获取子模块，用于分别获取所述鉴别性矩阵中各元素的叠加次数；
去重子模块，用于针对所述鉴别性矩阵中的每个元素，将一个元素对应的当前鉴别度除以该元素的叠加次数，得到去重叠的鉴别性矩阵；
归一化子模块，用于对去重叠的鉴别性矩阵进行归一化运算；
颜色映射子模块，用于将归一化运算后的鉴别性矩阵做色彩饱和度的颜色映射，得到可视化的冷暖色彩对比图，并输出所述对比图。
可选的，所述计算机辅助图片认证的装置还包括：
图片输出模块，用于输出所述第一图片和所述第二图片；
认证结果获取，用于获取并记录用户根据所述第一图片、所述第二图片、以及所述对比图反馈的图片认证结果。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
本发明实施例提供的计算机辅助图片认证的方法、装置、电子设备及存储介质。通过计算当前鉴别度，确定第一图片和第二图片对应的像素块间的区别的大小；将当前鉴别度叠加到鉴别性矩阵中，能够得到机器深度学习算法分析出的第一图片和第二图片的差别；输出可视化后的对比图，辅助人工认证，有效结合了机器认证与人工认证，可以提高复杂现实环境中的人脸认证的正确率。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的计算机辅助图片认证的方法的流程示意图；
图2为本发明实施例的深度神经网络的结构示意图；
图3为本发明实施例的利用当前鉴别度叠加鉴别性矩阵的示意图；
图4为本发明实施例的色彩饱和度映射图；
图5为本发明实施例的10对负样本的输出图像示意图；
图6为本发明实施例的5对正样本的输出图像示意图；
图7为本发明实施例的认证率散点示意图；
图8为本发明实施例的ROC曲线图；
图9为本发明实施例的计算机辅助图片认证的装置的示意图；
图10为本发明实施例的电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对复杂现实环境中的相似人脸的认证问题，现有单纯的机器认证或人工认证精度都达不到实用要求。发明人在研究中发现，机器认证中的出现的错误与人工认证错误的交集很小，说明二者间的判别模式存在较大差异。因此可以利用机器认证和人工认证的互补性提高人脸认证的准确度。
现有的深度神经网络在人脸认证时给出的结果是二值的，即两幅图像是同一个人或不是同一个人。这种二值输出结果不能为人工认证提供有效的提示信息。本发明实施例利用机器认证的输出结果辅助人工认证，提出了一种计算机辅助图片认证的方法，参见图1，包括：
S101，获取经过尺寸调整的第一图片和第二图片，其中，第一图片和第二图片的分辨率相同。
本发明实施例中的第一图片与第二图片，为待判断是否为同一认证目标的两张图片。认证目标为任意的目标，如人脸、动植物及各种物品等，在实际认证场景中，一般情况下会有一张已知待认证目标身份信息的图片，而认证另一张图片中的目标是否与该待认证目标相同。
S102，通过预先训练的深度神经网络，提取第一图片的图像特征和第二图片的图像特征，计算第一图片的图像特征与第二图片的图像特征间的余弦距离，作为初始余弦距离。
预先训练的深度神经网络为任意能够实现图像特征提取的神经网络，例如为深度残差神经网络。将第一图片与第二图片：{x1，x2}输入到提前训练好的深度神经网络中，经过向前计算，在网络的全连接层提取出第一图片的图像特征与第二图片的图像特征：{Fea1，Fea2}，并计算二者间的余弦距离：Distance(Fea1，Fea2)。例如，将{Fea1，Fea2}中各元素表示为向量的形式，分别计算出相同映射位置处向量间的余弦距离，得到Distance(Fea1，Fea2)。
S103，按照预设的分块规则，分别在第一图片与第二图片中确定多个像素块。
预设的分块规则为任意将图片划分为多个像素块的规则。同一图片中的像素块可以重叠也可以不重叠，但是第一图片与第二图片的划分规则应当相同，即保证第一图片与第二图片中各像素块的位置是一一对应的。
S104，分别在第一图片及第二图片的相同映射位置处选取一个像素块，作为当前选取的像素块。
例如，分别在{x1，x2}的相同映射位置(u1：u2，v1：v2，：)处选取一个像素块。u1为像素块的起始行号，u2为像素块的终止行号，v1为像素块的起始列号，v2为像素块的终止列号。u1：u2是指选取图片中行数为u1到u2间的像素细胞，v1：v2是指选取图片中列数为v1到v2间的像素细胞。像素细胞为提取第一图片及第二图片中图像特征的基本单位，各像素细胞间不存在重叠。一个像素细胞由一个或多个像素点组成，可以根据机器的处理能力及实际要求的计算精度进行设定。可选的，一个像素细胞为一个像素点。(u1：u2，v1：v2，：)指图片中，处于第u1行像素点到第u2行像素点间，且处于第v1列像素点到v2列像素点间的所有像素点的集合，“：”表示RGB图像中的三个不同通道。
S105，利用预设的均值像素块，代替当前选取的像素块，得到当前第一图片及当前第二图片。
利用同一预设的均值像素块，分别替换第一图片与第二图片中当前选取的像素块，得到{x’1，x’2}。预设的均值像素块为与当前选取的像素块大小相同的任意像素块，可选的，利用图片库中像素均值作为预设的均值像素块。利用图片库中像素均值作为预设的均值像素块，预设的均值像素块的像素更加接近图片像素的均值，确定的预设的均值像素更加准确。
S106，通过深度神经网络，提取当前第一图片的图像特征及当前第二图片的图像特征，计算当前第一图片的图像特征与当前第二图片的图像特征间的余弦距离，作为当前余弦距离。
将{x’1，x’2}输入到上述深度神经网络中，提取图像特征：{Fea’1，Fea’2}，计算当前余弦距离：Distance(Fea’1，Fea’2)。
S107，计算当前余弦距离与初始余弦距离的差值，得到当前鉴别度。
Distance(Fea’1，Fea’2)与Distance(Fea1，Fea2)的差为替换掉的像素块相对于{x1，x2}的鉴别度，即当前鉴别度表征机器识别算法下的替换掉的两个像素块之间的差异。
S108，将当前鉴别度叠加到鉴别性矩阵的相应位置，其中，鉴别性矩阵的维数与第二图片的图像特征的维数相同。
为了统计图像中每个像素块的余弦距离对{x1，x2}的鉴别信息的贡献，本发明实施例中提出了人脸图像的鉴别度矩阵Δ。鉴别性矩阵的维数与第一图片的图像特征和第二图片的图片特征的维数相同。鉴别性矩阵中各元素的初始值全部相同。可选的，鉴别性矩阵中各元素的初始值全部为零。将鉴别性矩阵中各元素的初始值置零，减少鉴别性矩阵的复杂度，计算简单，能够节约计算资源。
将当前鉴别度叠加到鉴别性矩阵中与当前被替换的像素块相同的位置。例如可以表示为：
S109，在第一图片及第二图片的尚未选取的像素块中，在相同映射位置处分别选取一个像素块，作为当前选取的像素块，重复上述S105-S108，直至第一图片及第二图片中的所有像素块均被选取。
遍历第一图片与第二图片中所有对应的像素块，将每次得到的当前鉴别度分别叠加到鉴别性矩阵中。
S110，将鉴别性矩阵做可视化处理，得到并输出对比图。
若在S103划分像素块的过程中，各像素块的存在重叠部分，则需要将鉴别性矩阵中对应的区域进行去重处理。例如将鉴别性矩阵中对应的区域的鉴别度除以叠加的次数等。然后再进行可视化显示，转换为人眼易区分的图像。如将鉴别性矩阵中不同的鉴别度对应不同的色调或不同的亮度等。若在S103划分像素块的过程中，各像素块间不存在重叠部分，可以直接对鉴别性矩阵进行可视化显示，转换为人眼易区分的图像。
在本发明实施中，通过计算当前鉴别度，确定机器深度学习算法中第一图片和第二图片对应的像素块间的区别的大小；将当前鉴别度叠加到鉴别性矩阵中，能够得到机器深度学习算法分析出的第一图片和第二图片的差别；输出可视化后的鉴别性矩阵，将机器深度学习算法得到的第一图片和第二图片的差别以人眼可辨识的方式进行展现，辅助人工认证，有效结合了计算机认证与人工认证，可以提高复杂现实环境中的人脸认证率。
可选的，在获取经过尺寸调整的第一图片和第二图片之前，该方法还包括：
步骤一，获取初始第一图片和初始第二图片。
步骤二，分别在初始第一图片和初始第二图片上选取特征点。
在第一图片与第二图片中指定的位置选取特征点，如当第一图片与第二图片为人脸图片时，分别在第一图片与第二图片中两只人眼中心及鼻尖选取三个特征点。如当第一图片与第二图片为鲨鱼图片时，分别在第一图片与第二图片中鲨鱼的鼻尖、鱼尾中心及鱼鳍尖处选取三个特征点。
步骤三，根据初始第一图片各特征点，以及初始第二图片上对应位置的各特征点，对初始第一图片和初始第二图片进行仿射变换，得到对齐后的第一图片和第二图片。
通过仿射变换将第一图片与第二图片中相对应的特征点进行对齐，而不改变第一图片中各区域间的比例，以及不改变第二图片中各区域间的比例。例如，当第一图片与第二图片为人脸图片时，通过仿射变换分别将第一图片与第二图片中左眼中心的特征点对齐，将第一图片与第二图片中右眼中心的特征点对齐以及将第一图片与第二图片中鼻尖处的特征点对齐。在将第一图片与第二图片对齐后，第一图片中待认证目标各部分比例不变，且第二图片中待认证目标各部分的比例不变，图片认证更加准确。
步骤四，对对齐后的第一图片和第二图片进行裁剪及分辨率调整。
将对齐后的第一图片与第二图片进行裁边，并将裁剪后的第一图片与第二图片调整为预设的分辨率。预设的分辨率为任意的分辨率，可以根据实际情况自由设定，例如为104*96*3，144*134*3或250*250*3等。
在本发明实施例中，给出了对第一图片与第二图片进行尺寸调整的方法。对第一图片与第二图片进行仿射变换，并调整为相同的分辨率，保证了第一图片中的待认证目标与第二图片中的待认证目标的映射关系。
可选的，按照预设的分块规则，分别在第一图片与第二图片中确定多个像素块，包括：
步骤一，获取预设的像素细胞的列跳跃量，及预设的像素细胞的行跳跃量，其中，像素细胞是由第一预设数量的像素点按照第一预设排列顺序组成的。
本发明实施例中，将像素细胞作为提取第一图片及第二图片中图像特征的基本单位，各像素细胞间不存在重叠。第一预设数量为一个或多个，即一个像素细胞由一个或多个像素点组成，可以根据机器的处理能力及实际要求的计算精度进行设定。第一预设排列顺序为任意的排列顺序，例如，一个像素细胞为一个像素点，或一个像素细胞为四个相邻的像素点组成的正方形等。
列跳跃量与行跳跃量可以根据实际情况进行设定，例如，列跳跃量为1、2、3或更大，行跳跃量为1、2、3或更大。
步骤二，将第二预设数量的像素细胞按照第二预设排列顺序组成一个像素块，以列跳跃量和行跳跃量为基本移动单位，将像素块遍历第一图片与第二图片，得到多个像素块。
第一预设数量与第二预设数量可以相同也可以不同。第一预设排列规则与第二预设排列规则可以相同也可以不同。第二预设数量为一个或多个，可以根据机器的处理能力及实际要求的计算精度进行设定。第二预设排列顺序为任意的排列顺序，例如，一个像素块为一个像素细胞，一个像素块为四个相邻的像素细胞组成的正方形，或一个像素块为八相邻的像素细胞组成的矩形等。
例如，所述第二图片的像素细胞列数为N，所述第二图片的像素细胞行数为M，预设的像素块为矩形，像素块中像素细胞的列数为n，像素块中像素细胞的行数为m，预设的像素细胞列跳跃量为x，及预设的像素细胞行跳跃量为y；
则所述第一图片与所述第二图片中的像素块均可以表示为：
(1+a×y：a×y+m，1+b×x：b×x+n，：)，其中，且a为整数，且b为整数。
在本发明实施例中，给出了像素细胞及像素块的确定方法，可以根据认证要求的精度及处理器的计算能力，对列跳跃量、行跳跃量、像素细胞及像素块进行设定，能够满足使用者不同的要求。
可选的，将鉴别性矩阵做可视化处理，得到并输出对比图，包括：
步骤一，分别获取鉴别性矩阵中各元素的叠加次数。
鉴别性矩阵的维数与第二图片的图像特征的维数相同，即鉴别性矩阵中元素的个数与第二图片的像素细胞的个数相同。且鉴别性矩阵中各元素与第二图片的各像素细胞一一对应。获取鉴别性矩阵中各元素的叠加次数，可以为在将当前鉴别度叠加到鉴别性矩阵中时，记录各元素的叠加次数；
获取鉴别性矩阵中各元素的叠加次数，还可以为在划分像素块后，针对各像素细胞中的每个像素细胞，将一个像素细胞的叠加次数，作为该像素细胞对应的元素的叠加次数。
步骤二，针对鉴别性矩阵中每个元素，将一个元素对应的当前鉴别度除以该元素的叠加次数，得到去重叠的鉴别性矩阵。
对鉴别性矩阵进行去重叠，保证鉴别性矩阵中每个元素的数值具有可比性，是鉴别性矩阵归一化的前提。
步骤三，对去重叠的鉴别性矩阵进行归一化运算。
根据预设的归一化算法，对去重叠后的鉴别性矩阵进行归一化运算。归一化算法为任意的将鉴别性矩阵中各元素的鉴别度转化为指定区间中数字的方法。例如，将鉴别性矩阵中各元素的鉴别度转换为0-1中。
步骤四，将归一化运算后的鉴别性矩阵做色彩饱和度的颜色映射，得到可视化的冷暖色彩对比图，并输出对比图。
归一化运算后的鉴别性矩阵中各元素的数值落到指定的范围内，根据预设的指定范围内数值与颜色相互对应的色彩映射表，分别将各元素对应的区域转化其数值对应的颜色，得到可视化的冷暖色彩对比图。
在本发明实施例中，将鉴别性矩阵做可视化处理，将机器深度学习算法识别出的第一图片与第二图片的差异，转化为人工容易辨认的可视化的冷暖色彩对比图，方便人工认证。
可选的，将鉴别性矩阵做可视化处理，得到并输出对比图之后，方法还包括：
步骤一，输出第一图片和第二图片。
步骤二，获取并记录用户根据第一图片、第二图片、以及对比图反馈的图片认证结果。
在本发明实施例中，对比图将机器深度学习算法计算出的第一图片与第二图片的差异，转化为人工容易辨识的可视化图像。用户通过参考对比图，辨别第一图片与第二图片的区别，有效结合了机器深度学习算法与人工认证，图片认证的成功率更高。
下面以针对FGLFW中人脸图像为例，对本发明实施例中的计算机辅助图片认证的方法进行具体说明：
步骤一，对待认证的人脸图像进行预处理，即将人脸图像对齐、裁剪及调整大小。
FGLFW中6000对待认证的人脸图像的大小均为250*250*3的RGB(红绿蓝)图，在每一幅人脸图像上定位三个特征点(两眼中心、鼻尖)的坐标，将三个特征点的目标坐标位置设置为(102.31，109.33)、(148.65，108.51)和(126.29，159.41)，进行仿射变换得到对齐后的图像。其中，一个像素细胞为一个像素点。
将对齐后的图像进行裁剪，保留各图像(58：201，59：192，：)中的图片，即裁剪后的人脸图像＝裁剪前人脸图像中(58：201，59：192，：)处的图像。裁剪后图片的大小为144*134*3，再将图片缩放到104*96*3。
步骤二，针对预处理后的人脸图像，分别计算出每对待认证人脸图像的鉴别性矩阵。
首先，对于每一对人脸图像，生成并维护一个与图像的长宽同维数的鉴别性矩阵Δ，在本发明实施中，Δ的维数为104*96。与此同时，维护一个次数累计矩阵W，用于记录Δ中各元素的叠加次数，且W与Δ同维度。W与Δ初始化如下：
Δ(1：104，1：96)＝0
W(1：104，1：96)＝0
其次，将一对人脸图像：{x1，x2}输入到预先训练的深度神经网络中，在网络的全连接层提取这一对人脸图像的深度特征，即图像特征{Fea1，Fea2}，并计算这一对人脸图像的图像特征间的余弦距离Distance(Fea1，Fea2)。本发明实施例中的深度神经网络为深度残差神经网络，其结构如图2所示：其网络结构由卷积层，即图2中conv(Convolution)，和池化层(图2中pool)交替堆叠组成。为了解决训练过程中梯度消失的问题，引入了残差结构，也即通过短接(shortcut)的方式，旁路两层网络。网络底端有一层全连接层(图2中fc)，这一层输出结果就是实施例中使用的深度特征。用webface数据库中的人脸图像来进行训练，得到深度神经网络所需参数。
然后，如图3所示，分别在一对人脸图像：{x1，x2}的相同映射位置处，取出一个8*8的像素块(u1：u2，v1：v2，：)。并用6000对人脸图像的像素均值替换这两个像素块，得到替换后的图像：{x’1，x’2}，将{x’1，x’2}输入到上述深度神经网络中，提取图像特征：{Fea’1，Fea’2}，并计算出{Fea’1，Fea’2}的余弦距离Distance(Fea’1，Fea’2)。Distance(Fea’1，Fea’2)与Distance(Fea1，Fea2)的差值为像素块(u1：u2，v1：v2，：)对于两张图像的鉴别度。将Distance(Fea’1，Fea’2)与Distance(Fea1，Fea2)的差值叠加到鉴别性矩阵中。如下式所示：
同时，次数累计矩阵也做相应叠加操作：
然后，使像素块(u1：u2，v1：v2，：)，遍历两张人脸图像的所有位置。例如，初始u1＝1，v1＝1，u2＝8，v2＝8，每次使v1＝v1+1，直至v1＝89，此时v2＝96，u2＝8；然后使u1＝2，v1＝1，u2＝9，v2＝8，每次使v1＝v1+1，直至v1＝89，此时v2＝96，u2＝9；然后使u1＝3，v1＝1，u2＝10，v2＝8，每次使v1＝v1+1，直至v1＝89，此时v2＝96，u2＝10；继续下去，直至最后一次替换时u2＝104，v2＝96。
或，还可以采用纵向遍历第一/第二图像的方式，例如，初始u1＝1，v1＝1，u2＝8，v2＝8，每次使u1＝u1+1，直至u2＝104，此时v2＝8；然后使u1＝1，v1＝2，u2＝8，v2＝9，每次使u1＝u1+1，直至u2＝104，此时v2＝9；然后使u1＝1，v1＝3，u2＝8，v2＝10，每次使u1＝u1+1，直至u2＝104，此时v2＝10，继续下去，直至最后一次替换时u2＝104，v2＝96。
再然后，将所有像素块的鉴别度叠加到鉴别性矩阵Δ中。在整个叠加过程中，除了Δ的边缘位置(本发明实施例中宽度为7)，其他位置处的叠加次数均相等，为了使Δ中所有位置叠加次数保持一致，进行确重叠操作，即将Δ与W对应位置的元素相除：Δ＝Δ./W。
步骤三，根据上述得到的鉴别性矩阵，确定出鉴别阈值。
将步骤二中得到的6000个鉴别矩阵(其中包括3000个正样本对和3000个负样本对的鉴别性矩阵)中的负值置零。随机选取这6000对样本中的300对样本(正负样本对各一半)的鉴别性矩阵，求出每一鉴别性矩阵的最大值。根据下述原则求一个threshold(鉴别阈值)：使这300对样本中尽可能多的正样本对的鉴别性矩阵的最大值小于threshold，而使这300对样本中尽可能多的负样本对的鉴别性矩阵的最大值大于threshold。
步骤四，对鉴别性矩阵进行归一化操作及可视化显示。
对于鉴别性矩阵中的任意元素X，使得到归一化后的鉴别性矩阵。其中，Xmin为该鉴别性矩阵中数值最小的元素的值。
对归一化后的鉴别性矩阵，进行可视化显示。具体的，可以根据各元素的数值，将各元素对应的区域做色彩饱和度的颜色映射，得到可视化处理后的鉴别性矩阵，即对比图。在本发明实施例中，鉴别性矩阵按照如图4所示的色彩饱和度映射图进行颜色映射，鉴别性矩阵中元素的值越大，其对应的区域中的颜色越偏暖色。
最终输出的图像如图5和图6所示，图5为10对负样本的输出图像，图6为5对正样本的输出图像。每一对人脸图的右侧都配有可视化后的对比图，用以更加清晰地显示出机器学习算法识别出的两个图像的不同。其中，鉴别性矩阵中的值越大，对应的该区域的可视化映射颜色越偏暖色，同时表示该区域越具有鉴别意义，即这对人脸图的这一位置是这两张人脸差异性较大的部位。如图5中的第二行第五对图像，按照可视化后的对比图，暖色部位(亮度高的区域)集中在两人的下巴区域，表示按照机器学习算法的判断，下巴所在区域是这两人差异较大的位置。如图6所示，从图6中可以看出可视化后的对比图中暖色区域(亮度高的区域)较少，这表明按照机器学习算法的判断，这些人脸对没有明显差异的区域。
为了进一步验证本发明提出的计算机辅助图像认证方法的有效性，进行了众包形式的标注实验。本实验旨在验证可视化鉴别性区域对人的提示作用，故而构建了一个对机器和人相对公平的数据集。利用已有研究中人类标注实验的融合结果，以及深度网络的判别结果，在FGLFW数据库中选出了一个200对人脸图像的小集合，其中正样本和负样本各100对。深度网络在这个集合上的认证率为75％。按照经验规律，参考已有工作中人类的标注结果，人在这个挑选出的小集合上的认证率大约也是75％左右。
本实验选取了290名参与者，在参与本次实验标注之前他们并未受过任何训练。参与者被要求判断提供给他们的图像对的相似程度，在参与者进行标注的过程中，不限制标注的时间。为了避免歧义，也使这种标注更为简单，给参与者提供了如下形式的结果选项：
请判断下图的两张人脸图片是否属于一个人？
A.确定是同一人。
B.可能是同一人。
C.不确定。
D.可能不是同一人。
E.确定不是同一人。
按照已有研究经验，选项A、B、C、D、E代表的人脸对的相似度分别为1.0、0.8、0.6、0.4、0.2，在选择A或B时，将样本对判断为正样本，选择C、D或E时，将样本对判断为负样本。按照上述规则，统计了所有参与标注的参与者的认证结果。
为了更明确地展现出本发明实施例的计算机辅助图像认证的方法的作用，标注分为两个阶段进行：第一阶段没有任何提示，第二阶段是参与者在本发明实施例的计算机辅助图像认证的方法输出的可视化后的对比图提示下进行的标注。
具体安排是，在第一阶段的标注过程中，参与者在没有任何提示的情况下，对裁剪、对齐后的200对原始图像进行标注。第一阶段的标注实验结束后，参与者未被提供任何与标注结果相关的信息，第二阶段在第一阶段之后进行，参与者将在本发明实施例提供的可视化后的对比图的提示下，结合自己的判断再次对200对图像进行标注。
事实上，参与者对于实验的理解程度、对人脸的辨别能力及对实验的重视度可能存在一定差异。为了尽可能地排除上述因素的影响，希望筛选出一部分对实验标注认真，且满足预设条件的参与者。即希望参与者的初始标注能力与深度卷积神经网络的标注水平(75％的正确率)相当。这样按照参与者的初始标注水平(第一阶段的认证率)和他们的综合标注能力(两次标注的认证率)筛选出30位参与者，重点研究这30位参与者的标注情况。这30位参与者的标注的结果如表1所示。可以看到30位参与者在第二阶段的认证结果(下称A+组)明显优于第一阶段(下称A组)，在对比图提示下认证结果有了明显提高。
表1
为了更加显著地观察这种变化，绘制了30位参与者的标注结果的认证率变化图，如图7所示，一个散点为一个参与者的认证结果。在图7中标出了坐标轴中两次标注认证率不变的曲线，即坐标系的角平分线(图中的A＝A+)，其中，落在平分线之上的散点表明该参与者在可视化后的对比图的提示下，认证准确率高于原始认证率；而落在平分线及其之下的散点则表示该参与者的准确率没有提高甚至有所下降。可以得出，在本发明实施例的计算机辅助图像认证的方法输出的可视化后的对比图提示下，参与者对应的散点普遍落在平分线以上，即相对与A组，在A+组中各参与者的认证率有明显提高。
为了更进一步，能体现本发明实施例的计算机辅助图像认证的方法的作用，参见图8，将参与者的标注结果做结果融合，得到每一张人脸图的相似度，绘制成ROC曲线(Receiver Operating Characteristic Curve，受试者工作特征曲线)，用来直观地衡量本发明实施例的计算机辅助图像认证的方法的提示效果。其中，横轴代表假阳性概率(Falsepositive rate)，纵轴代表真阳性概率(True positive rate)。可以看到在基于本发明实施例的计算机辅助图像认证的方法下，A+组ROC曲线较A组有明显优化。
以上结果验证了本发明实施例的计算机辅助图像认证的方法的有效性，其对于计算机辅助人脸认证有显著作用。
参见图9，本发明实施例还提供了一种计算机辅助图片认证的装置，包括：
第一图片获取模块901，用于获取经过尺寸调整的第一图片和第二图片，其中，第一图片和第二图片的分辨率相同。
第一计算模块902，用于通过预先训练的深度神经网络，提取第一图片的图像特征和第二图片的图像特征，计算第一图片的图像特征与第二图片的图像特征间的余弦距离，作为初始余弦距离。
分块模块903，用于按照预设的分块规则，分别在第一图片与第二图片中确定多个像素块。
第一像素块选取模块904，用于分别在第一图片及第二图片的相同映射位置处选取一个像素块，作为当前选取的像素块。
像素块替代模块905，用于利用预设的均值像素块，代替当前选取的像素块，得到当前第一图片及当前第二图片。
第二计算模块906，用于通过深度神经网络，提取当前第一图片的图像特征及当前第二图片的图像特征，计算当前第一图片的图像特征与当前第二图片的图像特征间的余弦距离，作为当前余弦距离。
第三计算模块907，用于计算当前余弦距离与初始余弦距离的差值，得到当前鉴别度。
叠加模块908，用于将当前鉴别度叠加到鉴别性矩阵的相应位置，其中，鉴别性矩阵的维数与第二图片的图像特征的维数相同。
第二像素块选取模块909，用于在第一图片及第二图片的尚未选取的像素块中，在相同映射位置处分别选取一个像素块，作为当前选取的像素块，返回像素块替代模块继续执行，直至第一图片及第二图片中的所有像素块均被选取。
可视化处理模块910，用于将鉴别性矩阵做可视化处理，得到并输出对比图。
在本发明实施中，通过计算当前鉴别度，确定机器深度学习算法中第一图片和第二图片对应的像素块间的区别的大小；将当前鉴别度叠加到鉴别性矩阵中，能够得到机器深度学习算法分析出的第一图片和第二图片的差别；输出可视化后的鉴别性矩阵，将机器深度学习算法得到的第一图片和第二图片的差别以人眼可辨识的方式进行展现，辅助人工认证，有效结合了计算机认证与人工认证，可以提高复杂现实环境中的人脸认证率。
可选的，上述计算机辅助图片认证的装置还包括：
第二图片获取模块，用于获取初始第一图片和初始第二图片；
特征点选取模块，用于分别在初始第一图片和初始第二图片上选取特征点；
图片对齐模块，用于根据初始第一图片各特征点，以及初始第二图片上对应位置的各特征点，对初始第一图片和初始第二图片进行仿射变换，得到对齐后的第一图片和第二图片；
图片调整模块，用于对对齐后的第一图片和第二图片进行裁剪及分辨率调整。
在本发明实施例中，给出了对第一图片与第二图片进行尺寸调整的方法。对第一图片与第二图片进行仿射变换，并调整为相同的分辨率，保证了第一图片中的待认证目标与第二图片中的待认证目标的映射关系。
可选的，上述分块模块903，包括：
参数获取子模块，用于获取预设的像素细胞的列跳跃量，及预设的像素细胞的行跳跃量，其中，像素细胞是由第一预设数量的像素点按照第一预设排列顺序组成的；
遍历子模块，用于将第二预设数量的像素细胞按照第二预设排列顺序组成一个像素块，以列跳跃量和行跳跃量为基本移动单位，将像素块遍历第一图片与第二图片，得到多个像素块。
在本发明实施例中，给出了像素细胞及像素块的确定方法，可以根据认证要求的精度及处理器的计算能力，对列跳跃量、行跳跃量、像素细胞及像素块进行设定，能够满足使用者不同的要求。
可选的，上述可视化处理模块910，包括：
叠加次数获取子模块，用于分别获取鉴别性矩阵中各像素细胞的叠加次数；
去重子模块，用于针对鉴别性矩阵中的每个像素细胞，将一个像素细胞对应的当前鉴别度除以该像素细胞的叠加次数，得到去重叠的鉴别性矩阵；
归一化子模块，用于对去重叠的鉴别性矩阵进行归一化运算；
颜色映射子模块，用于将归一化运算后的鉴别性矩阵做色彩饱和度的颜色映射，得到可视化的冷暖色彩对比图，并输出对比图。
在本发明实施例中，将鉴别性矩阵做可视化处理，将机器深度学习算法识别出的第一图片与第二图片的差异，转化为人工容易辨识的可视化的冷暖色彩对比图，方便人工认证。
可选的，上述计算机辅助图片认证的装置还包括：
图片输出模块，用于输出第一图片和第二图片；
认证结果获取，用于获取并记录用户根据第一图片、第二图片、以及对比图反馈的图片认证结果。
在本发明实施例中，对比图将机器深度学习算法识别出的第一图片与第二图片的差异，转化为人工容易辨识的可视化图像。用户通过参考对比图，辨别第一图片与第二图片的区别，有效结合了机器深度学习算法与人工认证，图片认证的成功率更高。
本发明实施例还提供了一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信，
存储器1003，用于存放计算机程序；
处理器1001，用于执行存储器1003上所存放的程序时，实现如下步骤：
A获取经过尺寸调整的第一图片和第二图片，其中，所述第一图片和所述第二图片的分辨率相同；
B通过预先训练的深度神经网络，提取所述第一图片的图像特征和所述第二图片的图像特征，计算所述第一图片的图像特征与所述第二图片的图像特征间的余弦距离，作为初始余弦距离；
C按照预设的分块规则，分别在所述第一图片与所述第二图片中确定多个像素块；
D分别在所述第一图片及所述第二图片的相同映射位置处选取一个像素块，作为当前选取的像素块；
E利用预设的均值像素块，代替当前选取的像素块，得到当前第一图片及当前第二图片；
F通过所述深度神经网络，提取当前第一图片的图像特征及当前第二图片的图像特征，计算当前第一图片的图像特征与当前第二图片的图像特征间的余弦距离，作为当前余弦距离；
G计算所述当前余弦距离与所述初始余弦距离的差值，得到当前鉴别度；
H将所述当前鉴别度叠加到鉴别性矩阵的相应位置，其中，所述鉴别性矩阵的维数与所述第二图片的图像特征的维数相同；
I在所述第一图片及所述第二图片的尚未选取的像素块中，在相同映射位置处分别选取一个像素块，作为当前选取的像素块，重复上述步骤E-步骤H，直至所述第一图片及所述第二图片中的所有像素块均被选取；
J将所述鉴别性矩阵做可视化处理，得到并输出对比图。
在本发明实施中，通过计算当前鉴别度，确定机器深度学习算法中第一图片和第二图片对应的像素块间的区别的大小；将当前鉴别度叠加到鉴别性矩阵中，能够得到机器深度学习算法分析出的第一图片和第二图片的差别；输出可视化后的对比图，将机器深度学习算法得到的第一图片和第二图片的差别以人眼可辨认的方式进行展现，辅助人工认证，有效结合了计算机认证与人工认证，可以提高复杂现实环境中的人脸认证准确率。
可选的，处理器1001，在执行存储器1003上所存放的程序时，还能够实现上述计算机辅助图像认证的方法的任意步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
A获取经过尺寸调整的第一图片和第二图片，其中，所述第一图片和所述第二图片的分辨率相同；
B通过预先训练的深度神经网络，提取所述第一图片的图像特征和所述第二图片的图像特征，计算所述第一图片的图像特征与所述第二图片的图像特征间的余弦距离，作为初始余弦距离；
C按照预设的分块规则，分别在所述第一图片与所述第二图片中确定多个像素块；
D分别在所述第一图片及所述第二图片的相同映射位置处选取一个像素块，作为当前选取的像素块；
E利用预设的均值像素块，代替当前选取的像素块，得到当前第一图片及当前第二图片；
F通过所述深度神经网络，提取当前第一图片的图像特征及当前第二图片的图像特征，计算当前第一图片的图像特征与当前第二图片的图像特征间的余弦距离，作为当前余弦距离；
G计算所述当前余弦距离与所述初始余弦距离的差值，得到当前鉴别度；
H将所述当前鉴别度叠加到鉴别性矩阵的相应位置，其中，所述鉴别性矩阵的维数与所述第二图片的图像特征的维数相同；
I在所述第一图片及所述第二图片的尚未选取的像素块中，在相同映射位置处分别选取一个像素块，作为当前选取的像素块，重复上述步骤E-步骤H，直至所述第一图片及所述第二图片中的所有像素块均被选取；
J将所述鉴别性矩阵做可视化处理，得到并输出对比图。
在本发明实施中，通过计算当前鉴别度，确定机器深度学习算法中第一图片和第二图片对应的像素块间的区别的大小；将当前鉴别度叠加到鉴别性矩阵中，能够得到机器深度学习算法分析出的第一图片和第二图片的差别；输出可视化后的对比图，将机器深度学习算法得到的第一图片和第二图片的差别以人眼可辨别的方式进行展现，辅助人工认证，有效结合了计算机认证与人工认证，可以提高复杂现实环境中的人脸认证准确率。
可选的，上述计算机可读存储介质内的计算机程序被处理器执行时还可以实现上述计算机辅助图像认证的方法的任意步骤。
对于算机辅助图像认证的装置/电子设备/可读存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种计算机辅助图片认证的方法，其特征在于，所述方法包括：
A获取经过尺寸调整的第一图片和第二图片，其中，所述第一图片和所述第二图片的分辨率相同；
B通过预先训练的深度神经网络，提取所述第一图片的图像特征和所述第二图片的图像特征，计算所述第一图片的图像特征与所述第二图片的图像特征间的余弦距离，作为初始余弦距离；
C按照预设的分块规则，分别在所述第一图片与所述第二图片中确定多个像素块；
D分别在所述第一图片及所述第二图片的相同映射位置处选取一个像素块，作为当前选取的像素块；
E利用预设的均值像素块，代替当前选取的像素块，得到当前第一图片及当前第二图片；
F通过所述深度神经网络，提取当前第一图片的图像特征及当前第二图片的图像特征，计算当前第一图片的图像特征与当前第二图片的图像特征间的余弦距离，作为当前余弦距离；
G计算所述当前余弦距离与所述初始余弦距离的差值，得到当前鉴别度；
H将所述当前鉴别度叠加到鉴别性矩阵的相应位置，其中，所述鉴别性矩阵的维数与所述第二图片的图像特征的维数相同；
I在所述第一图片及所述第二图片的尚未选取的像素块中，在相同映射位置处分别选取一个像素块，作为当前选取的像素块，重复上述步骤E-步骤H，直至所述第一图片及所述第二图片中的所有像素块均被选取；
J将所述鉴别性矩阵做可视化处理，得到并输出对比图。
2.根据权利要求1所述的方法，其特征在于，在所述获取经过尺寸调整的第一图片和第二图片之前，所述方法还包括：
获取初始第一图片和初始第二图片；
分别在所述初始第一图片和所述初始第二图片上选取特征点；
根据所述初始第一图片各特征点，以及所述初始第二图片上对应位置的各特征点，对所述初始第一图片和所述初始第二图片进行仿射变换，得到对齐后的第一图片和第二图片；
对对齐后的第一图片和第二图片进行裁剪及分辨率调整。
3.根据权利要求1所述的方法，其特征在于，所述按照预设的分块规则，分别在所述第一图片与所述第二图片中确定多个像素块，包括：
获取预设的像素细胞的列跳跃量，及预设的像素细胞的行跳跃量，其中，所述像素细胞是由第一预设数量的像素点按照第一预设排列顺序组成的；
将第二预设数量的像素细胞按照第二预设排列顺序组成一个像素块，以所述列跳跃量和所述行跳跃量为基本移动单位，将所述像素块遍历所述第一图片与所述第二图片，得到多个像素块。
4.根据权利要求3所述的方法，其特征在于，所述将所述鉴别性矩阵做可视化处理，得到并输出对比图，包括：
分别获取所述鉴别性矩阵中各元素的叠加次数；
针对所述鉴别性矩阵中的每个元素，将一个元素对应的当前鉴别度除以该元素的叠加次数，得到去重叠的鉴别性矩阵；
对去重叠的鉴别性矩阵进行归一化运算；
将归一化运算后的鉴别性矩阵做色彩饱和度的颜色映射，得到可视化的冷暖色彩对比图，并输出所述对比图。
5.根据权利要求1所述的方法，其特征在于，在所述将所述鉴别性矩阵做可视化处理，得到并输出对比图之后，所述方法还包括：
输出所述第一图片和所述第二图片；
获取并记录用户根据所述第一图片、所述第二图片、以及所述对比图反馈的图片认证结果。
6.一种计算机辅助图片认证的装置，其特征在于，所述装置包括：
第一图片获取模块，用于获取经过尺寸调整的第一图片和第二图片，其中，所述第一图片和所述第二图片的分辨率相同；
第一计算模块，用于通过预先训练的深度神经网络，提取所述第一图片的图像特征和所述第二图片的图像特征，计算所述第一图片的图像特征与所述第二图片的图像特征间的余弦距离，作为初始余弦距离；
分块模块，用于按照预设的分块规则，分别在所述第一图片与所述第二图片中确定多个像素块；
第一像素块选取模块，用于分别在所述第一图片及所述第二图片的相同映射位置处选取一个像素块，作为当前选取的像素块；
像素块替代模块，用于利用预设的均值像素块，代替当前选取的像素块，得到当前第一图片及当前第二图片；
第二计算模块，用于通过所述深度神经网络，提取当前第一图片的图像特征及当前第二图片的图像特征，计算当前第一图片的图像特征与当前第二图片的图像特征间的余弦距离，作为当前余弦距离；
第三计算模块，用于计算所述当前余弦距离与所述初始余弦距离的差值，得到当前鉴别度；
叠加模块，用于将所述当前鉴别度叠加到鉴别性矩阵的相应位置，其中，所述鉴别性矩阵的维数与所述第二图片的图像特征的维数相同；
第二像素块选取模块，用于在所述第一图片及所述第二图片的尚未选取的像素块中，在相同映射位置处分别选取一个像素块，作为当前选取的像素块，返回像素块替代模块继续执行，直至所述第一图片及所述第二图片中的所有像素块均被选取；
可视化处理模块，用于将所述鉴别性矩阵做可视化处理，得到并输出对比图。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第二图片获取模块，用于获取初始第一图片和初始第二图片；
特征点选取模块，用于分别在所述初始第一图片和所述初始第二图片上选取特征点；
图片对齐模块，用于根据所述初始第一图片各特征点，以及所述初始第二图片上对应位置的各特征点，对所述初始第一图片和所述初始第二图片进行仿射变换，得到对齐后的第一图片和第二图片；
图片调整模块，用于对对齐后的第一图片和第二图片进行裁剪及分辨率调整。
8.根据权利要求6所述的装置，其特征在于，所述分块模块，包括：
参数获取子模块，用于获取预设的像素细胞的列跳跃量，及预设的像素细胞的行跳跃量，其中，所述像素细胞是由第一预设数量的像素点按照第一预设排列顺序组成的；
遍历子模块，用于将第二预设数量的像素细胞按照第二预设排列顺序组成一个像素块，以所述列跳跃量和所述行跳跃量为基本移动单位，将所述像素块遍历所述第一图片与所述第二图片，得到多个像素块。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710857262.3A CN107578029B (zh) | 2017-09-21 | 2017-09-21 | 计算机辅助图片认证的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710857262.3A CN107578029B (zh) | 2017-09-21 | 2017-09-21 | 计算机辅助图片认证的方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107578029A true CN107578029A (zh) | 2018-01-12 |
| CN107578029B CN107578029B (zh) | 2020-03-27 |
Family
ID=61033731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710857262.3A Active CN107578029B (zh) | 2017-09-21 | 2017-09-21 | 计算机辅助图片认证的方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107578029B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109151440A (zh) * | 2018-10-15 | 2019-01-04 | 盎锐（上海）信息科技有限公司 | 影像定位装置及方法 |
| CN109801249A (zh) * | 2018-12-27 | 2019-05-24 | 深圳豪客互联网有限公司 | 图像融合方法、装置、计算机设备和存储介质 |
| CN111428791A (zh) * | 2020-03-26 | 2020-07-17 | 北京互金新融科技有限公司 | 图像对比方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102915436A (zh) * | 2012-10-25 | 2013-02-06 | 北京邮电大学 | 基于类内变化字典和训练图像的稀疏表示人脸识别方法 |
| CN105117692A (zh) * | 2015-08-05 | 2015-12-02 | 福州瑞芯微电子股份有限公司 | 一种基于深度学习的实时人脸识别方法及系统 |
| CN105512620A (zh) * | 2015-11-30 | 2016-04-20 | 北京天诚盛业科技有限公司 | 用于人脸识别的卷积神经网络的训练方法和装置 |
| CN105631403A (zh) * | 2015-12-17 | 2016-06-01 | 小米科技有限责任公司 | 人脸识别方法及装置 |
| US20160275341A1 (en) * | 2015-03-18 | 2016-09-22 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
| CN106326857A (zh) * | 2016-08-19 | 2017-01-11 | 乐视控股（北京）有限公司 | 基于人脸图像的性别识别方法及装置 |
-
2017
- 2017-09-21 CN CN201710857262.3A patent/CN107578029B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102915436A (zh) * | 2012-10-25 | 2013-02-06 | 北京邮电大学 | 基于类内变化字典和训练图像的稀疏表示人脸识别方法 |
| US20160275341A1 (en) * | 2015-03-18 | 2016-09-22 | Adobe Systems Incorporated | Facial Expression Capture for Character Animation |
| CN105117692A (zh) * | 2015-08-05 | 2015-12-02 | 福州瑞芯微电子股份有限公司 | 一种基于深度学习的实时人脸识别方法及系统 |
| CN105512620A (zh) * | 2015-11-30 | 2016-04-20 | 北京天诚盛业科技有限公司 | 用于人脸识别的卷积神经网络的训练方法和装置 |
| CN105631403A (zh) * | 2015-12-17 | 2016-06-01 | 小米科技有限责任公司 | 人脸识别方法及装置 |
| CN106326857A (zh) * | 2016-08-19 | 2017-01-11 | 乐视控股（北京）有限公司 | 基于人脸图像的性别识别方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| KAIMING HE 等: "Deep Residual Learning for Image Recognition", 《CVPR 2016》 * |
| WEIHONG DENG 等: "Fine-grained face verification: FGLFW database, baselines, and human-DCMN partnership", 《PATTERN RECOGNITION》 * |
| WEIHONG DENG 等: "Lighting-aware face frontalization for unconstrained face recognition", 《PATTERN RECOGNITION》 * |
| 刘一玮: "基于余弦相似度的人脸识别系统的实现", 《图像与多媒体技术》 * |
| 邢健飞 等: "基于深度神经网络的实时人脸识别", 《杭州电子科技大学学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109151440A (zh) * | 2018-10-15 | 2019-01-04 | 盎锐（上海）信息科技有限公司 | 影像定位装置及方法 |
| CN109801249A (zh) * | 2018-12-27 | 2019-05-24 | 深圳豪客互联网有限公司 | 图像融合方法、装置、计算机设备和存储介质 |
| CN111428791A (zh) * | 2020-03-26 | 2020-07-17 | 北京互金新融科技有限公司 | 图像对比方法及装置 |
| CN111428791B (zh) * | 2020-03-26 | 2023-08-29 | 北京互金新融科技有限公司 | 图像对比方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107578029B (zh) | 2020-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109858461A (zh) | 一种密集人群计数的方法、装置、设备以及存储介质 | |
| CN107423701A (zh) | 基于生成式对抗网络的人脸非监督特征学习方法及装置 | |
| CN108805040A (zh) | 一种基于分块的有遮挡人脸识别算法 | |
| CN108052884A (zh) | 一种基于改进残差神经网络的手势识别方法 | |
| CN105469100A (zh) | 基于深度学习的皮肤活检图像病理特性识别方法 | |
| CN106529448A (zh) | 利用聚合通道特征进行多视角人脸检测的方法 | |
| CN108388905B (zh) | 一种基于卷积神经网络和邻域上下文的光源估计方法 | |
| CN107423678A (zh) | 一种提取特征的卷积神经网络的训练方法及人脸识别方法 | |
| CN107578029A (zh) | 计算机辅助图片认证的方法、装置、电子设备及存储介质 | |
| US10866984B2 (en) | Sketch-based image searching system using cell-orientation histograms and outline extraction based on medium-level features | |
| US20190332854A1 (en) | Hybrid deep learning method for recognizing facial expressions | |
| CN108108670A (zh) | 一种层次化筛选的遥感图像提取港口仓库的方法 | |
| CN109740572A (zh) | 一种基于局部彩色纹理特征的人脸活体检测方法 | |
| CN104680545B (zh) | 光学图像中存在显著目标的检测方法 | |
| CN107679539B (zh) | 一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法 | |
| CN110520865A (zh) | 人脸识别的方法、装置和电子设备 | |
| CN110163567A (zh) | 基于多任务级联卷积神经网络的课堂点名系统 | |
| CN107622270A (zh) | 图像相似度计算方法和装置、相似图像检索方法和系统 | |
| US11308313B2 (en) | Hybrid deep learning method for recognizing facial expressions | |
| CN108256400A (zh) | 基于深度学习的ssd的人脸检测方法 | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN113361466A (zh) | 一种基于多模态交叉指导学习的多光谱目标检测方法 | |
| CN109635674A (zh) | 一种基于姿态适应的树突状卷积神经网络的人脸对齐方法 | |
| CN105872516A (zh) | 获取立体片源视差参数的方法及装置 | |
| CN105488473B (zh) | 一种多特征融合的海量指纹编码和比对方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |