CN110163053A - 生成人脸识别的负样本的方法、装置及计算机设备 - Google Patents

Abstract

本发明公开了一种生成人脸识别的负样本的方法、装置及计算机设备，用于实现通过正样本合成负样本的功能，从而平衡正样本和负样本的数量，以提高训练得到模型的性能。该方法包括：从用于人脸识别的机器学习所需的训练样本库中，获取一个正样本；针对选定的负样本模板，将获取的正样本嵌套进所述负样本模板中，获得在所述负样本模板的显示区域中模拟显示所述正样本的中间样本；针对选定的场景样本，将所述中间样本融合到场景样本中以得到用于人脸识别的机器学习所需的负样本，这样，可以有效的解决在人脸识别中负样本数量过少的技术问题，进而提高训练所得到的人脸识别模型的性能。

Description

生成人脸识别的负样本的方法、装置及计算机设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种生成人脸识别的负样本的方法、装置及计算机设备。

背景技术

目前，人脸识别主要是通过人脸识别模型进行识别，人脸识别模型是通过采用机器学习的方法，对大量的训练样本进行训练学习得到的。其中，用于参与机器学习的训练样本可以划分为两类，即正样本(positive sample)和负样本(negative sample)，正负样本的划分需要根据实际想要验证的内容而定，正样本是指能够得出正确结论的样本，负样本则与之相反。

但是在实际应用过程中，常常会出现正负样本的数量不平衡的情况，例如，正样本数量较多，而负样本数量较少的情况，对于这样的情况，通常的解决方案是对训练样本进行增强，例如对训练样本进行简单的几何形变、添加随机噪声或者进行随机剪裁等方式获取新的训练样本，但是，上述的对训练样本进行增强也只能得到同类的训练样本，并且由于变化方式有限，所能产生的样本数量也是有限的，那么对于在某一类样本极度缺乏的场景中并不能起到较好的辅助作用。

发明内容

本发明实施例提供一种生成人脸识别的负样本的方法、装置及计算机设备，用于实现通过正样本合成负样本的功能，从而平衡正样本和负样本的数量，以提高训练得到模型的性能。

第一方面，提供一种生成人脸识别的负样本的方法，所述方法包括：

从用于人脸识别的机器学习所需的训练样本库中，获取一个正样本；

针对选定的负样本模板，将获取的正样本嵌套进所述负样本模板中，获得在所述负样本模板的显示区域中模拟显示所述正样本的中间样本；

针对选定的场景样本，将所述中间样本融合到场景样本中以得到用于人脸识别的机器学习所需的负样本。

本发明实施例中，通过将正样本嵌套在负样本模板中，再给加上一定的背景，从而模拟生活场景中使用负样本进行攻击的场景，获得用于人脸识别的机器学习所需的负样本，这样，由于正样本的数量有所保证，根据正样本就可以生成很多的负样本，从而可以有效的解决生活中在人脸识别中攻击为少数，负样本数量过少的技术问题，进而提高训练所得到的人脸识别模型的性能。

可选的，所述针对选定的负样本模板，将获取的正样本嵌套进所述负样本模板中，包括：

对所述正样本进行图像预处理，以使得预处理后的正样本能够适应所述负样本模板的显示区域在所述负样本模板中的大小；

将预处理后的正样本嵌套进所述负样本模板中。

本发明实施例中，在将正样本嵌套在负样本模板中时，需要对正样本进行预处理，从而正样本的大小与负样本模板中显示区域的大小相适应，从而使得得到的中间样本愈加接近真实生活场景，从而提到得到的负样本的真实性。

可选的，

在所述针对选定的场景样本，将所述中间样本融合到场景样本中以得到用于人脸识别的机器学习所需的负样本之前，所述方法还包括：

针对选定的反射图片，基于所述中间样本的大小对所述反射图片进行图像预处理；

对所述中间样本进行如下处理：将所述中间样本作为前景，与预处理后的反射图片进行合成，使得所述中间样本中模拟有反射显示的所述反射图片。

本发明实施例中，在实际生活中，由于光线的反射，负样本中不可避免的会包括其他的物体反射形成的反射效果，因此还可以在中间样本中加入反射图片的元素，从而提到得到的负样本的真实性。

可选的，所述将所述中间样本作为前景，与预处理后的反射图片进行合成，包括：

根据所述中间样本的第一权重值，以及所述反射图片的第二权重值，将所述中间样本与预处理后的反射图片进行合成，其中，所述第一权重值大于预设权重阈值，且所述第二权重值小于或者等于所述预设权重阈值。

本发明实施例中，在将反射图片与中间样本合成时，反射图片的权重小于中间样本的权重，这样，在合成后得到的中间样本中还是主要以合成前的中间样本的内容为主，而反射图片的内容并不会过多的影响视觉效果，更加符合真实场景，从而提高到的负样本的真实性。

可选的，所述将所述中间样本融合到所述场景样本中，具体包括：

对所述中间样本进行至少一次几何形变，几何形变后的中间样本中包括用于指示几何形变前的中间样本在几何形变后的中间样本中的位置的掩膜；

根据所述掩膜将几何形变后的中间样本融合到所述场景样本中。

本发明实施例中，在人脸识别进行攻击时，一般摄像头不会直接正对攻击样本，而是存在一定的空间角度，因此还可以对中间样本进行一定的几何形变后，再融合到场景样本中，这样，最终得到的负样本更加符合真实情况，真实性更高。

可选的，所述负样本模板为具有显示功能的终端的模板，所述显示区域为所述终端的显示屏；和/或

所述场景样本包括场景照片或者场景视频。

第二方面，提供一种人脸识别模型的训练方法，包括：使用正样本和负样本对人脸识别模型进行训练，所述负样本包括：采用第一方面所述的方法获得的负样本。

第三方面，提供一种人脸活体认证方法，包括：采用人脸识别模型进行人脸活体认证，所述人脸识别模型为基于第二方面的训练方法训练得到的。

第四方面，提供一种生成人脸识别的负样本的装置，所述装置包括：

获取单元，用于从用于人脸识别的机器学习所需的训练样本库中，获取一个正样本；

嵌套单元，用于针对选定的负样本模板，将获取的正样本嵌套进所述负样本模板中，获得在所述负样本模板的显示区域中模拟显示所述正样本的中间样本；

场景融合单元，用于针对选定的场景样本，将所述中间样本融合到场景样本中以得到用于人脸识别的机器学习所需的负样本。

可选的，所述嵌套单元具体用于：

对所述正样本进行图像预处理，以使得预处理后的正样本能够适应所述负样本模板的显示区域在所述负样本模板中的大小；

将预处理后的正样本嵌套进所述负样本模板中。

可选的，所述装置还包括反射合成单元；

所述反射合成单元，用于针对选定的反射图片，基于所述中间样本的大小对所述反射图片进行图像预处理；以及对所述中间样本进行如下处理：将所述中间样本作为前景，与预处理后的反射图片进行合成，使得所述中间样本中模拟有反射显示的所述反射图片。

可选的，所述反射合成单元具体用于：

根据所述中间样本的第一权重值，以及所述反射图片的第二权重值，将所述中间样本与预处理后的反射图片进行合成，其中，所述第一权重值大于预设权重阈值，且所述第二权重值小于或者等于所述预设权重阈值。

可选的，所述场景融合单元具体还用于：

对所述中间样本进行至少一次几何形变，几何形变后的中间样本中包括用于指示几何变形前的中间样本在几何变形后的中间样本中的位置的掩膜；

根据所述掩膜将几何变性后的中间样本融合到所述场景样本中。

可选的，所述负样本模板为具有显示功能的终端的模板，所述显示区域为所述终端的显示屏；和/或所述场景样本包括场景照片或者场景视频。

第五方面，提供一种计算机设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面、第二方面以及第三方面所述的方法。

第六方面，提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的方法。

本发明实施例中，可以通过将正样本嵌套在负样本模板中，并融合到一场景中，从而模拟生活场景中使用负样本进行攻击的场景，获得用于人脸识别的机器学习所需的负样本，这样，根据正样本可以生成很多的负样本，从而可以有效的解决生活中在人脸识别中攻击为少数，负样本数量过少的技术问题，进而提高训练所得到的人脸识别模型的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例中的一种场景示意图；

图2为本发明实施例中的另一种场景示意图；

图3为本发明实施例中的生成人脸识别的负样本的方法的流程示意图；

图4为本发明实施例中的第一终端拍摄第二终端中的人脸图片的示意图；

图5为本发明实施例中的第一终端拍摄手持人脸图片的示意图；

图6为本发明实施例中的人脸图片分别置于人脸相框和光晕中的示意图；

图7为本发明实施例中的嵌套过程的示意图；

图8为本发明实施例中的与反射图片合成的过程的示意图；

图9为本发明实施例中的与场景图片融合的过程的示意图；

图10为本发明实施例中的生成人脸识别的负样本的装置的一种结构示意图；

图11为本发明实施例中的计算机设备的一种结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

为便于理解本发明实施例提供的技术方案，这里先对本发明实施例使用的一些关键名词进行解释：

正样本和负样本：在人脸识别中，正样本和负样本是相对而言的，正样本是指人脸识别模型对正样本进行识别之后能够验证通过的样本，那么负样本则是指人脸识别模型对正样本进行识别之后不能验证通过的样本。当然，是否验证通过是根据具体的场景而言的，例如，若是需要验证待验证图片是否为人脸，那么人脸图片就可以验证通过，而不包括人脸或者人脸部分只占据很小一部分的图片则不可以验证通过。

或者，例如在进行支付时，需要验证是否本人进行操作时，通常会要求用户进行人脸认证，那么第一用户通常会开启摄像头拍摄自己的脸部的图片进行认证，对于这种情况拍摄的图片则可以认为是正样本，而还存在着不是本人，即第二用户操作第一用户的账户进行支付的情况，则第二用户通常会通过拍摄第一用户的照片，或者拍摄另一终端中存储的第一用户的脸部的图片或者视频来进行认证，这样情况显然存在危险性，这种情况拍摄的图片则可以认为是负样本，或称为攻击样本。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。

在具体实践过程中，诸如上述进行支付时需要验证是否本人进行操作的情况，若是让负样本通过验证的话，则第一用户的账户会存在危险性，第一用户的财产安全无法得以保障，因此通过负样本进行验证的情况通常不能予以验证通过。其中，人脸认证的功能是基于人脸识别模型进行的，人脸识别模型是需要将正样本和负样本作为输入，通过建立的人脸识别模型对正样本和负样本中的特征进行学习，从而使得最终得到的人脸识别模型能够达到正确的区分正样本和负样本的目的。因此，为了在出现上述情况时不让负样本通过人脸认证，那么则需要在对人脸认证模型的训练过程中，加入负样本一并进行训练，从而让模型能够学习到负样本的特征，这样才能在出现上述情况时，能够准确的分辨出为负样本，从而让人脸认证失败，保证第一用户的账户安全。

在实际生活中，正常进行人脸认证的用户为大多数，因此正样本的数量是能够得以保证的，但是，诸如上述通过第一用户的照片或者终端中存储第一用户的图片或者视频进行人脸认证，从而操作第一用户的账户的情况，一般正常的用户都不会如此进行，因此能够获取的负样本的数量极少的，从而使得正样本和负样本的数量出现极度不平衡的情况，那么通过这些正样本和负样本训练得到的人脸识别模型的准确性也就得不到保证。

本发明人发现，人脸识别主要用在身份认证上，而在实际应用场景中，最常见的攻击者是采用合法者的照片或者视频来企图骗过人脸活体认证系统，照片可以承载在相纸上或者显示在攻击者的手持终端上，视频一般都是在攻击者的手持终端上播放，这种情况下，对于人脸活体检测装置获得的图像中，照片或者视频的周边都会有一个类似框架的东西，并且照片或者终端后面会出现背景。基于此类情况，发明人为了获得负样本，针对这种常见的情况，模拟框架结构设计出负样本模板，负样本模板用来模拟照片或者具有显示屏的手持终端设备。进一步，由于正样本是容易获取的，也就是说正样本的数量有所保障，则可以将正样本嵌套进负样本模板中，再给加上一定的背景，则可以利用正样本来生成负样本，就可以大量的增加负样本的数量，从而解决正样本和负样本极度不平衡的情况。鉴于此，本发明实施例提供了一种生成人脸识别的负样本的方法，在该方法中，可以通过将正样本嵌套在负样本模板中，并融合到一些常见的场景样本中，从而模拟生活场景中使用负样本进行攻击的场景，获得用于人脸识别的机器学习所需的负样本，这样，根据正样本可以生成很多的负样本，从而可以有效的解决生活中在人脸识别中攻击为少数，负样本数量过少的技术问题，进而提高训练所得到的人脸识别模型的性能。常见的场景样本可以是一些常见活动场所的静态照片，例如商场收银台、机场过境闸机等，也可以是带有动态人流的视频等。

此外，本发明人还考虑到，在实际生活中，例如第二用户用终端中存储的第一用户的照片进行人脸认证时，由于光线的反射，不可避免的会在终端的显示单元上反射一些其他的物体的影子，那么为了最终得到负样本的真实性更高，在该方法中，得到第一中间样本之后，还可以将在第一中间样本中加入反射图片的元素，以模拟真实场景中物体反射在第一中间样本中的情景。

进一步地，本发明人还考虑到，在人脸识别进行攻击时，一般摄像头不会直接正对攻击样本，而是存在一定的空间位置关系，因此还可以对第二中间样本进行一定的几何形变后，再融合到场景样本中，这样，最终得到的负样本更加符合真实情况，真实性更高。

在介绍完本发明实施例的设计思想之后，下面对本发明实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本发明实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本发明实施例提供的技术方案。

请参见图1所示，为发明实施例中的技术方案能够适用的一种应用场景，在该场景中，可以包括终端101和服务器102。

其中，终端101包括摄像头1011，在一种可能的场景中，终端101可以是个人的终端，个人的终端例如可以是用户个人的手机或者平板电脑(PAD)。在用户的账户需要进行人脸认证时，则会打开终端101中的摄像头，拍摄包括该用户人脸的图像，并发送给服务器102。终端101与服务器102之间可以通过网络进行通信。其中，该网络可以是有线网络或者无线网络，无线网络例如可以是移动性蜂窝网络或者无线局域网(Wireless Local AreaNetwork，WLAN)，当然，该网络还可以是其他任何可以进行通信的网络，本发明实施例对此并不进行限制。

服务器102接收到终端101发送的包括用户人脸的图像后，可以通过服务器102中的人脸识别模型对包括用户人脸的图像进行识别，进行确定出正在进行人脸认证操作的是否为用户本人，并将确定结果反馈给终端101。其中，服务器中102中的人脸识别模型是根据多个正样本和负样本进行训练学习得到的，负样本既可以是根据本发明实施例所提供的技术方案获取的负样本。

在另一种可能的场景中，终端101可以是企业或者事业单位中的终端设备，例如可以是政府办事大厅、银行柜台或者酒店前台的计算机设备等，该计算机设备可以包括摄像头1011，摄像头1011可以是终端101自身包括的摄像头，也可以是终端101外接的摄像头1011，终端101可以采集办理业务的用户的证件信息(一般为身份证)，并通过摄像头1011拍摄办理业务的用户的人脸的图片，然后一并发送给服务器202。服务器202通过人脸识别模型对用户人脸的图片进行识别，进而确定出办理业务的用户与提供的身份信息是否吻合，并将确定结果反馈给终端101。其中，服务器中102中的人脸识别模型是根据多个正样本和负样本进行训练学习得到的，负样本可以包括根据本发明实施例所提供的技术方案获取的负样本。

请参见图2所示，为本发明实施例中的技术方案能够使用的另一种应用场景，在该场景中，可以包括闸机201和服务器202。

其中，闸机201例如可以是机场安检入口的闸机、火车站检票入口的闸机或者地铁安检入口的闸机等，闸机201中包括一个或者多个摄像头，通过摄像头可以拍摄包括用户人脸的图像，并采集该用户的证件信息并发送给服务器202进行验证。服务器202可以是相应的安检系统中的验证服务器，例如当闸机201为机场入口的闸机时，则服务器202为机场安检系统中的验证服务器，服务器202通过服务器202中的人脸识别模型对包括用户人脸的图像进行识别，进而确定出正在进行安检的用户与身份证中的信息是否吻合，并将确定结果反馈给终端201。其中，服务器中202中的人脸识别模型是根据多个正样本和负样本进行训练学习得到的，负样本既可以为根据本发明实施例所提供的技术方案获取的负样本。

当然，本发明实施例提供的方法并不限用于图1和图2所示的应用场景中，还可以用于其他可能的应用场景，本发明实施例并不进行限制。

为进一步说明本发明实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本发明实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本发明实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。

请参见图3所示，本发明实施例提供一种生成人脸识别的负样本的方法，下面以一个负样本的合成为例，该方法的流程如下。

步骤301：从用于人脸识别的机器学习所需的训练样本库中，获取一个正样本。

本发明实施例中，在进行人脸识别模型的训练之前，都需要预先准备好用于机器学习的样本库，样本库可以划分为正样本库和负样本库。样本库中的样本可以是用户在人脸认证过程中拍摄的图片或者视频，或者也可以是从网络获取的人脸的图片或者视频，当然，对于样本的获取方式本发明实施例并不进行限制。

例如，目前许多的手机都可以支持人脸解锁的功能，那么第一用户想要通过人脸解锁手机时，则可以通过手机摄像头拍摄自身的人脸图片，这种情况下拍摄得到的图片则可以作为正样本，而若是第二用户获取了第一用户的手机，且获取到第一用户的人脸图片，则第二用户则可以通过第一用户的手机拍摄第一用户的人脸图片，进行解锁操作，而这种情况显然是不能够被允许的，因而这种情况下拍摄得到的图片则可以作为负样本。

例如，在第一用户银行智能柜台办理业务时，除了验证第一用户的人脸是否与第一用户提供的证件信息吻合之外，即除了验证拍摄的第一用户的人脸图片是否与证件信息中图片是否匹配，还会验证当前拍摄的第一用户是否为活体，那么通常会要求第一用户完成指定的动作，例如眨眼或者点头等，即银行智能柜台会录制第一用户执行指定的动作时的视频，进而根据该视频进行验证，那么拍摄的第一用户自身完成上述指定动作的视频既可以作为正样本，而若是第二用户获取到第一用户完成上述指定动作的视频之后，通过在摄像头前播放该段视频，以期望通过该视频完成验证时，这时候摄像头则可以拍摄到第二用户使用终端播放第一用户完成指定动作的视频的这一段视频，而这种情况显然也是不能够被允许的，因而这种情况下摄像头拍摄得到的视频也可以作为负样本。

在实际生活中，因为大多数用户都会按照正常的流程拍摄自身的图片或者视频进行人脸认证，所以正样本是较好获取的，获取到的正样本就可以加入到用于人脸识别的机器学习所需的正样本库中。而冒用他人的图片或者视频进行人脸识别的用户只是极少的一部分，因此负样本的数量是极其稀少的，因此在本发明实施例中，可以通过正样本来合成负样本，从而平衡正样本和负样本的数量，进而提高训练得到的模型的性能。

具体的，在通过正样本合成负样本时，需要从正样本库中选取一个正样本，作为合成的基础，在具体进行正样本的选取时，可以通过随机选取的方式进行选取，或者，也可以通过按照一定顺序地方式进行选取，本发明实施例对此不作限制。

步骤302：选取负样本模板，并将正样本嵌套在负样本模板中，得到中间样本。

本发明实施例中，考虑到在实际场景中，第二用户一般都是通过终端中第一用户的图片或者视频来进行人脸认证，或者，第二用户还可以是手持第一用户的人脸图片来进行人脸认证，因此打开人脸认证页面的终端拍摄到的图片或者视频中还会包括类似框架的东西，例如，通过终端中显示的图片进行人脸认证时，不可避免的就会拍摄到该终端的外形轮廓，或者第二用户手持人脸图片进行人脸认证时，会不可避免的拍摄到第二用户的手，因此可以将包括这些因素的图片作为负样本模板，进而后续可以与正样本进行嵌套，从而得到模拟实际场景的负样本。

例如，请参见图4所示，第一终端为打开人脸认证页面的设备，第二终端为播放第一用户的图片或者视频的设备，第二用户可以通过第二终端的显示屏播放第一用户的图片或者视频，进而通过拍摄播放的图片或者视频来进行人脸认证，那么第二终端则会落入到第一终端的拍摄区域中，从而第一终端拍摄得到的图片或者视频中会包括第二终端，那么负样本中也就相应的可以包括终端，因而为了模拟真实场景中的负样本，可以在通过正样本合成负样本的过程中，可以将第二终端作为负样本模板，进而将正样本嵌套在第二终端中，以模拟正样本在第二终端的显示屏上进行显示的情景。

例如，第二用户可能还会直接使用打印出来的第一用户的人脸图片进行人脸认证，请参见图5所示，第一终端为打开人脸认证页面的设备，第一终端在拍摄第一用户的人脸图片时，第二用户的手则会落入到第一终端的拍摄区域中，因而第一终端拍摄到的图片中还可能包括拿着第一用户的人脸图片的第二用户的手，那么负样本中也就相应的可以包括手，那就可以将手作为负样本模板，进而将正样本嵌套在手中，以模拟手拿着正样本的情景。

例如，如图6中左侧所示，第一用户的人脸图片还可能被放置在相框中，那么第一终端拍摄到的图片中也就会包括相框，那么相框也可以作为用于合成负样本的负样本模板；或者，如图6中右侧所示，第二用户可能直接将第一用户的人脸放置在一平面上，然后通过第一终端进行拍摄，由于环境中光线的影响，第一终端拍摄的图片中人脸图像周围可能会存在一定的光晕，那么光晕也可以作为用于合成负样本的负样本模板。

在具体实施过程中，可以预先获取市面上较为常用的终端、多个包括不同姿势的手、不同模样的相框以及光晕等作为负样本模板，并添加至负样本模板库中，在进行负样本的合成的过程中，可以从负样本模板库中选取其中一个负样本模板。其中，负样本模板的形式具体可以是图片，例如终端图片，或者负样本模板的形式还可以是视频，那么负样本模板中的每一帧都相同，均是相同的内容，例如每一帧都可以是终端图片，负样本模板具体还可以是物体本身，例如可以是终端、手或者相框等。

具体的，具体进行负样本模板的选取时，可以通过随机选取的方式进行选取，或者，也可以通过按照一定顺序地方式进行选取，本发明实施例对此不作限制。

本发明实施例中，获取正样本和负样本模板之后，则可以将正样本嵌套在负样本模板中，以获得在负样本模板的显示区域中模拟显示正样本的中间样本。

具体的，当负样本模板为具有显示功能的终端时，则显示区域具体指该终端的显示屏；或者，当负样本模板为相框时，则显示区域具体指相框的内框。

本发明实施例中，为了使得正样本能够适应负样本模板中显示区域的大小，在进行嵌套操作之前，还可以根据终端显示区域的大小先对正样本进行图像预处理，从而使得嵌套之后得到的中间样本能够显得更加真实。

下面以正样本为人脸图片，终端具体为手机为例进行描述。

请参加图7所示，可以根据手机的显示屏的大小对人脸图片进行裁剪和/或尺度变换。其中，尺度变换是对人脸图片进行缩放，以改变人脸图片的尺寸大小的方式。图7中所示的手机为黑色苹果(iPhone)手机，当然，也可以是其他颜色的手机，或者是其他品牌的手机。

在对人脸图片进行图像预处理之后，则可以将预处理后的人脸图片嵌套在手机中，例如图7中所示，即将预处理后的人脸图片置于手机的显示屏中，以模拟出手机正显示人脸图片的效果。

本发明实施例中，若是正样本为视频时，负样本模板可以是图片，或者也可以是视频，例如视频中只包括终端、者手、相框或者光晕等内容。具体的，同样可以将对视频形式的正样本进行图像预处理后，再嵌套进负样本模板中。例如，可以调整视频的比例，以适应手机显示屏的大小，再将调整后的视频嵌套在手机中，以模拟在手机中播放视频的效果。

步骤303：选取反射图片，并根据中间样本的大小对反射图片进行图像预处理。

本发明实施例中，考虑到在第二用户通过终端中第一用户的人脸图片或者视频进行人脸认证时，或者第二用户手持打印出来的第一用户的人脸图片时，由于光线的反射，场景中的背景都不可避免的会在终端中或者打印出来的人脸图片中形成反射效果，因而本发明实施例的技术方案对反射也进行了模拟。

具体的，由于用户可以在多种场景中进行人脸认证的过程，可以反射的物体是很多的，例如在室外场景中时，反射的物体例如可以是建筑物或者建筑物上的商标等，在室内场景中时，反射的物体可以是室内设施，例如壁纸、空调或者电视等，可以采集多个室内场景中的物体的图片以及多个室外场景的物体的图片，作为反射图片加入到反射图片库中，进而在合成负样本的过程中，则可以从反射图片库中进行选取。在具体进行选取时，可以通过随机选取的方式进行选取，或者，也可以通过按照一定顺序地方式进行选取，本发明实施例对此不作限制。

由于采集的反射图片的尺寸与中间样本通常不会直接吻合，因而还需要对反射图片进行图像预处理，从而使得反射图片的大小与中间样本的大小一致。例如，当负样本模板为终端时，具体即是要使得反射图片的大小与终端的外形大小一致；或者当负样本模板为相框时，具体即是要使得反射图片的大小与相框的边框大小一致。

沿用负样本模板为手机的例子，则可以对反射图片进行裁剪，使得剪裁后的反射图片与手机的外形尺寸相同；或者，还可以对反射图片进行缩放，例如横向的缩放，或者纵向的缩放，使得缩放后的反射图片与手机的外形尺寸相同。由于在反射的物体与手机的显示屏之间可能存在着一定空间位置关系，因此除了上述处理操作之外，还可以对反射图片进行几何形变，从而反射图片在中间样本中更加趋于真实。

步骤304：将中间样本作为前景，与预处理后的反射图片进行合成，使得中间样本中模拟有反射显示的反射图片。

本发明实施例中，在对反射图片进行图像预处理之后，则可以将中间样本作为前景图片，与预处理后的反射图片进行合成，以使得中间样本中模拟有反射显示的反射图片。

具体的，在中间样本为图片时，则中间样本可以与预处理后的反射图片直接进行合成，相应的合成后的中间样本也为图片。或者，当中间样本为视频时，可以对视频中的每一帧都与反射图片进行合成，相应的合成后的中间样本也为视频，其中，与不同帧进行合成的预处理后的反射图片可以是相同的，也可以是不同的，例如，与第一帧进行合成的预处理后的反射图片可以是原反射图片中的第一部分，而与第二帧进行合成的预处理后的反射图片可以是原反射图片中的第二部分，第一部分和第二部分不同，但是第一部分和第二部分之间可以存在交集，也可以是完全不存在交集。

具体的，由于通常反射图片反射到终端的显示屏上形成的反射效果都是比较浅的，也就是说，在合成后的中间样本中，起到主要视觉效果的还是合成前的中间样本的内容，而反射图片中的内容起到的视觉效果较弱。请参见图8所示，为以正样本为人脸图片为例，将中间样本和合成前的反射图片进行合成的示意图，可以看到，在合成后的中间样本中，合成前的中间样本的内容仍然处于主导地位，而反射图片中的建筑物虽然也能够感受到，但是感知效果是较弱的。

为了实现如图8所示的合成后的中间样本的效果，可以为反射图片设置权重，相应的，合成前的中间样本的权重则为反射图片的权重的补集，那么则可以根据各自的权重进行合成前的中间样本和反射图片的合成。

具体的，将合成前的中间样本的权重称为第一权重值，以及反射图片的权重称为第二权重值，第一权重值与第二权重值互为补集，且第一权重值大于预设权重阈值，且第二权重值小于或者等于所述预设权重阈值。例如，第二权重值为0.1时，则第一权重值为0.9(即1-0.1)。预设权重阈值可以是根据经验设置的值，或者根据具体实验得出的值，示例性的，预设权重阈值例如可以为0.2。

在将第一中间样本与预处理后的反射图片进行合成时，可以通过以下公式进行计算得到：

S＝(1-a)*I+a*R

其中，S表示合成后的中间样本，I表示合成前的中间样本，R表示预处理后的反射图片，a为第二权重值，a的取值可以是从满足需求的值中随机选择的，当然，a的取值也可以是固定不变的。

基于上述公式的合成过程，即是将合成前的中间样本与预处理后的反射图片中的每一个像素点的像素值与各自相应的权重进行相乘后叠加的过程。

步骤305：对中间样本进行至少一次几何形变，获得几何形变后的中间样本。

在实际场景，例如图4所示的场景中，第一终端和第二终端之间很难保持完全平行的状态，也就是说第一终端和第二终端之间或多或少都会存在一定的空间位置关系；或者，例如图5所示的场景中，第二用户手持的人脸图片也很难与第一终端保持完全平行的状态，因此为了使得最终获得负样本更加趋于真实，还可以中间样本进行一次或者多次几何形变，得到几何形变后的中间样本，进而再进行后续的合成过程。

在这里需要声明的是，几何形变前的中间样本可以是步骤304得到的合成后的中间样本，也可以是步骤302得到的中间样本。

其中，几何形变可以是透视变换，或者仿射变换，当然，几何形变也可以是其他的变换类型，本发明实施例对此并不进行限制。

下面以几何形变为透视变换为例进行描述。

具体的，透视变换的变换参数可以是固定的，也可以是每一次透视变换时都随机选取变换参数，变换参数例如可以包括旋转角度或者拉伸比例等。

请参见图9，在对中间样本进行透视变换之后，得到的几何形变后的中间样本中包括指示几何形变前的中间样本在几何形变后的中间样本中的位置的掩膜，也就是图9所示的第三中间样本中手机所占据的图像区域即为掩膜。其中，只有位于掩膜内的像素点是存在值的，而位于掩膜之外的像素点是没有值的，具体表现为如图9中所示为纯黑色区域，掩膜有助于将几何形变后的中间样本与场景样本进行融合，具体的将在后续进行介绍，在此先不过多进行赘述。

步骤306：将中间样本融合到场景样本中，获得负样本。

本发明实施例中，在进行人脸认证过程中，拍摄图片或者视频时，难以避免的会将周围的环境拍摄进去，因此为了使得最终得到负样本更贴合真实情景，还可以将中间样本融合到一场景中，从而最终得到负样本。

需要声明的是，这里所指的中间样本可以是步骤302得到的中间样本，也可以是步骤304得到的合成后的中间样本，或者还可以是步骤305得到的中间样本。也就是说，在本发明实施例中，步骤303～步骤305并不是必选的步骤，在具体实施过程中，步骤303～步骤305可以根据实际需求，灵活的选取部分或者全部来执行。

具体的，由于用户可以在多种场景中进行人脸认证的过程，总体来说，场景可以划分为室内场景和室外场景，在具体实施过程中，可以采集多个室内场景的图片以及多个室外场景的图片，加入到场景样本库中，进而在合成负样本的过程中，则可以从场景样本库中进行选取。在具体进行选取时，可以通过随机选取的方式进行选取，或者，也可以通过按照一定顺序地方式进行选取，本发明实施例对此不作限制。其中，场景样本可以是场景照片，也可以是场景视频。此外，除了上述的室内场景的图片以及室外场景的图片之外，场景照片还可以是纯色的背景，例如白墙或者蓝天等。

可选的，也可以对场景样本进行图像预处理，使得场景样本的大小与中间样本的大小一致。

在将中间样本与场景样本进行融合时，可以通过以下公式进行计算得到：

F＝S’*M+B*(1-M)

其中，F表示最终得到的负样本，S’表示中间样本，M表示掩膜，B表示预处理后的场景样本。

例如图9中所示，以中间样本为步骤305得到的中间样本，也就是几何形变后的中间样本为例，将中间样本与场景样本进行融合的过程中，实质上是将预处理后的场景样本中掩膜所在的区域替换成中间样本的掩膜，而预处理后的场景样本中掩膜之外的区域保持不变。

本发明实施例中，对于正样本为图片时，得到的负样本也就相应的为图片，对于正样本为视频时，得到的负样本也就相应的为视频。

本发明实施例中，得到负样本之后，则可以将负样本添加到负样本库中，用于人脸识别模型的训练学习，因此，本发明实施例还提供一种人脸识别模型的训练方法，在该方法中，可以结合已有的正样本，以及本发明实施例的生成人脸识别的负样本的方法得到的负样本来对模型进行训练学习，以得到最终的人脸识别模型。本发明实施例并不限于模型的类型，例如可以是神经网络模型或者遗传算法模型，或者其他可能的模型。

相应的，本发明实施例还提供一种人脸认证方法，在该方法中，可以通过上述人脸识别模型的训练方法训练得到的人脸识别模型来进行人脸活体认证，该方法可以适用于多种应用场景中，例如可以包括但不限于如图1和图2所示的应用场景。

本发明实施例中，可以通过模拟生活场景中使用负样本进行攻击的场景，获得用于人脸识别的机器学习所需的负样本，这样，根据正样本可以生成很多的负样本，从而可以有效的解决生活中在人脸识别中攻击为少数，负样本数量过少的技术问题，进而提高训练所得到的人脸识别模型的性能。并且，在上述的步骤中，可以加入很多随机因素，例如在选取负样本模板、反射照片或者场景样本时可以随机选取，反射照片的权重可以随机选取，透视变换的变换参数也可以随机选取等，那么理论上可以产生无穷的负样本，继而极大地提升模型的性能。

请参见图10，基于同一发明构思，本发明实施例还提供了一种生成人脸识别的负样本的装置，该装置包括：

获取单元1001，用于从用于人脸识别的机器学习所需的训练样本库中，获取一个正样本；

嵌套单元1002，用于针对选定的负样本模板，将获取的正样本嵌套进负样本模板中，获得在负样本模板的显示区域中模拟显示正样本的中间样本；

场景融合单元1003，用于针对选定的场景样本，将中间样本融合到场景样本中以得到用于人脸识别的机器学习所需的负样本。

可选的，嵌套单元1002具体用于：

对正样本进行图像预处理，以使得预处理后的正样本能够适应负样本模板的显示区域在负样本模板中的大小；

将预处理后的正样本嵌套进负样本模板中。

可选的，装置还包括反射合成单元1004；

反射合成单元1004，用于针对选定的反射图片，基于中间样本的大小对反射图片进行图像预处理；以及对中间样本进行如下处理：将中间样本作为前景，与预处理后的反射图片进行合成，使得中间样本中模拟有反射显示的反射图片。

可选的，反射合成单元1004具体用于：

根据中间样本的第一权重值，以及反射图片的第二权重值，将中间样本与预处理后的反射图片进行合成，其中，第一权重值大于预设权重阈值，且第二权重值小于或者等于预设权重阈值。

可选的，场景融合单元1003具体还用于：

对中间样本进行至少一次几何形变，几何形变后的中间样本中包括用于指示几何变形前的中间样本在几何变形后的中间样本中的位置的掩膜；

根据掩膜将几何变性后的中间样本融合到场景样本中。

可选的，负样本模板为具有显示功能的终端的模板，显示区域为终端的显示屏；和/或场景样本包括场景照片或者场景视频。

该装置可以用于执行图3～图8所示的实施例所提供的方法，因此，对于该装置的各功能模块所能够实现的功能等可参考图3～图8所示的实施例的描述，不多赘述。其中，反射合成单元1004虽然在图10中一并示出，但需要知道的是，反射合成单元1004并不是必选的功能单元，因此在图10中以虚线示出。

请参见图11，基于同一技术构思，本发明实施例还提供了一种计算机设备，可以包括存储器1101和处理器1102。

所述存储器1101，用于存储处理器1102执行的计算机程序。存储器1101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据计算机设备的使用所创建的数据等。处理器1102，可以是一个中央处理单元(central processing unit，CPU)，或者为数字处理单元等等。本发明实施例中不限定上述存储器1101和处理器1102之间的具体连接介质。本发明实施例在图11中以存储器1101和处理器1102之间通过总线1103连接，总线1103在图11中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线1103可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器1101可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1101也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1101是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1101可以是上述存储器的组合。

处理器1102，用于调用所述存储器1101中存储的计算机程序时执行如图3～图8中所示的实施例提供的生成人脸识别的负样本的方法、人脸识别模型的训练方法以及人脸活体认证方法。

本发明实施例还提供了一种计算机存储介质，存储为执行上述处理器所需执行的计算机可执行指令，其包含用于执行上述处理器所需执行的程序。

在一些可能的实施方式中，本发明提供的生成人脸识别的负样本的方法、人脸识别模型的训练方法以及人脸活体认证方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的生成人脸识别的负样本的方法、人脸识别模型的训练方法以及人脸活体认证方法中的步骤，例如，所述计算机设备可以执行如图3～图8中所示的实施例提供的生成人脸识别的负样本的方法、人脸识别模型的训练方法以及人脸活体认证方法。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本发明的实施方式的用于基于区块链存储和验证工作履历的方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种生成人脸识别的负样本的方法，其特征在于，所述方法包括：

从用于人脸识别的机器学习所需的训练样本库中，获取一个正样本；

针对选定的负样本模板，将获取的正样本嵌套进所述负样本模板中，获得在所述负样本模板的显示区域中模拟显示所述正样本的中间样本；

针对选定的场景样本，将所述中间样本融合到场景样本中以得到用于人脸识别的机器学习所需的负样本。

2.如权利要求1所述的方法，其特征在于，所述针对选定的负样本模板，将获取的正样本嵌套进所述负样本模板中，包括：

对所述正样本进行图像预处理，以使得预处理后的正样本能够适应所述负样本模板的显示区域在所述负样本模板中的大小；

将预处理后的正样本嵌套进所述负样本模板中。

3.如权利要求1所述的方法，其特征在于，

在所述针对选定的场景样本，将所述中间样本融合到场景样本中以得到用于人脸识别的机器学习所需的负样本之前，所述方法还包括：

针对选定的反射图片，基于所述中间样本的大小对所述反射图片进行图像预处理；

对所述中间样本进行如下处理：将所述中间样本作为前景，与预处理后的反射图片进行合成，使得所述中间样本中模拟有反射显示的所述反射图片。

4.如权利要求3所述的方法，其特征在于，所述将所述中间样本作为前景，与预处理后的反射图片进行合成，包括：

根据所述中间样本的第一权重值，以及所述反射图片的第二权重值，将所述中间样本与预处理后的反射图片进行合成，其中，所述第一权重值大于预设权重阈值，且所述第二权重值小于或者等于所述预设权重阈值。

5.如权利要求3所述的方法，其特征在于，所述将所述中间样本融合到所述场景样本中，具体包括：

对所述中间样本进行至少一次几何形变，几何形变后的中间样本中包括用于指示几何形变前的中间样本在几何形变后的中间样本中的位置的掩膜；

根据所述掩膜将几何形变后的中间样本融合到所述场景样本中。

6.如权利要求1-5任一所述的方法，其特征在于，所述负样本模板为具有显示功能的终端的模板，所述显示区域为所述终端的显示屏；和/或

所述场景样本包括场景照片或者场景视频。

7.一种人脸识别模型的训练方法，包括：使用正样本和负样本对人脸识别模型进行训练，其特征在于，所述负样本包括：采用权利要求1～6任一所述的方法获得的负样本。

8.一种生成人脸识别的负样本的装置，其特征在于，所述装置包括：

获取单元，用于从用于人脸识别的机器学习所需的训练样本库中，获取一个正样本；

嵌套单元，用于针对选定的负样本模板，将获取的正样本嵌套进所述负样本模板中，获得在所述负样本模板的显示区域中模拟显示所述正样本的中间样本；

场景融合单元，用于针对选定的场景样本，将所述中间样本融合到场景样本中以得到用于人脸识别的机器学习所需的负样本。

9.一种计算机设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1～8任一权利要求所述的方法。

10.一种计算机存储介质，其特征在于，

所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1～8任一权利要求所述的方法。