CN108491881A - 用于生成检测模型的方法和装置 - Google Patents

用于生成检测模型的方法和装置 Download PDF

Info

Publication number
CN108491881A
CN108491881A CN201810246728.0A CN201810246728A CN108491881A CN 108491881 A CN108491881 A CN 108491881A CN 201810246728 A CN201810246728 A CN 201810246728A CN 108491881 A CN108491881 A CN 108491881A
Authority
CN
China
Prior art keywords
face
sample
depth data
model
face depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810246728.0A
Other languages
English (en)
Inventor
洪智滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810246728.0A priority Critical patent/CN108491881A/zh
Publication of CN108491881A publication Critical patent/CN108491881A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了用于生成检测模型的方法和装置。该方法的一具体实施方式包括:获取样本对象的二维人脸图像;根据二维人脸图像,对样本对象的人脸结构进行分析,生成样本对象的三维人脸模型;基于三维人脸模型,生成样本对象的样本人脸深度数据;将生成的样本人脸深度数据作为训练数据,训练生成检测模型,其中,检测模型用于对输入的人脸深度数据进行检测。该实施方式可以借助二维人脸图像生成样本人脸深度数据,从而可以提高训练数据的丰富度,进而有助于提升检测模型的检测结果的准确度。

Description

用于生成检测模型的方法和装置
技术领域
本申请实施例涉及计算机技术领域,具体涉及用于生成检测模型的方法和装置。
背景技术
人脸识别,通常是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关技术,通常也叫做人像识别、面部识别。
在实际应用过程中,为了提高安全性,不仅需要人脸识别,往往还需要活体检测。即判断获取的人脸是否为真实人脸。现有的活体检测方法主要包括动作指令、近红外人脸图像和人脸深度图像。后两种方法可以在无需人机交互的情况下完成检测。
发明内容
本申请实施例提出了用于生成检测模型的方法和装置。
第一方面,本申请实施例提供了一种用于生成检测模型的方法,包括:获取样本对象的二维人脸图像;根据二维人脸图像,对样本对象的人脸结构进行分析,生成样本对象的三维人脸模型;基于三维人脸模型,生成样本对象的样本人脸深度数据;将生成的样本人脸深度数据作为训练数据,训练生成检测模型,其中,检测模型用于对输入的人脸深度数据进行检测。
在一些实施例中,根据二维人脸图像,对样本对象的人脸结构进行分析,生成样本对象的三维人脸模型,包括:将二维人脸图像输入预先构建的三维形变模型,生成样本对象的三维人脸模型。
在一些实施例中,基于三维人脸模型,生成样本对象的样本人脸深度数据,包括:调整三维人脸模型的姿态参数,生成调整后的三维人脸模型;提取调整后的三维人脸模型的人脸深度数据,生成样本对象在不同姿态下的样本人脸深度数据。
在一些实施例中,样本人脸深度数据包括正样本人脸深度数据,其中,正样本人脸深度数据为符合立体人脸结构的数据;以及将生成的样本人脸深度数据作为训练数据,训练生成检测模型,包括:对生成的正样本人脸深度数据进行存储,构成正样本人脸深度数据集合;利用正样本人脸深度数据集合,训练得到检测模型。
在一些实施例中,样本人脸深度数据还包括负样本人脸深度数据,其中,负样本人脸深度数据为不符合立体人脸结构的数据;以及将生成的样本人脸深度数据作为训练数据,训练生成检测模型,包括:对生成的负样本人脸深度数据进行存储,构成负样本人脸深度数据集合;利用负样本人脸深度数据集合,训练得到检测模型。
在一些实施例中,该方法还包括:将获取的待检测对象的人脸深度图像输入检测模型,以及根据检测模型的检测结果,输出反馈信息。
第二方面,本申请实施例提供了一种用于生成检测模型的装置,包括:获取单元,配置用于获取样本对象的二维人脸图像;模型生成单元,配置用于根据二维人脸图像,对样本对象的人脸结构进行分析,生成样本对象的三维人脸模型;数据生成单元,配置用于基于三维人脸模型,生成样本对象的样本人脸深度数据;训练单元,配置用于将生成的样本人脸深度数据作为训练数据,训练生成检测模型,其中,检测模型用于对输入的人脸深度数据进行检测。
在一些实施例中,模型生成单元进一步配置用于:将二维人脸图像输入预先构建的三维形变模型,生成样本对象的三维人脸模型。
在一些实施例中,数据生成单元包括:调整子单元,配置用于调整三维人脸模型的姿态参数,生成调整后的三维人脸模型;生成子单元,配置用于提取调整后的三维人脸模型的人脸深度数据,生成样本对象在不同姿态下的样本人脸深度数据。
在一些实施例中,样本人脸深度数据包括正样本人脸深度数据,其中,正样本人脸深度数据为符合立体人脸结构的数据;以及训练单元进一步配置用于:对生成的正样本人脸深度数据进行存储,构成正样本人脸深度数据集合;利用正样本人脸深度数据集合,训练得到检测模型。
在一些实施例中,样本人脸深度数据还包括负样本人脸深度数据,其中,负样本人脸深度数据为不符合立体人脸结构的数据;以及训练单元进一步配置用于:对生成的负样本人脸深度数据进行存储,构成负样本人脸深度数据集合;利用负样本人脸深度数据集合,训练得到检测模型。
在一些实施例中,该装置还包括:输出单元,配置用于将获取的待检测对象的人脸深度图像输入检测模型,以及根据检测模型的检测结果,输出反馈信息。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上述第一方面中任一实施例所描述的方法。
第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现如上述第一方面中任一实施例所描述的方法。
本申请实施例提供的用于生成检测模型的方法和装置,通过获取样本对象的二维人脸图像,进而可以对样本对象的人脸结构进行分析,生成样本对象的三维人脸模型。随后,可以基于三维人脸模型,生成样本对象的样本人脸深度数据。之后,可以将生成的样本人脸深度数据作为训练数据,从而训练生成检测模型。其中,检测模型可以用于对输入的人脸深度数据进行检测。也就是说,通过多种多样的二维人脸图像,便可以生成相应的样本人脸深度数据,从而可以丰富训练数据。这样有助于扩大检测模型的覆盖面,也可以提高其检测结果的准确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请用于生成检测模型的方法的一个实施例的流程图;
图3是根据本申请用于生成检测模型的方法的一个应用场景的示意图;
图4是根据本申请用于生成检测模型的方法的又一个实施例的流程图;
图5是根据本申请用于生成检测模型的装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的用于生成检测模型的方法或用于生成检测模型的装置的示例性系统架构100。
如图1所示,系统架构100可以包括终端101、102,网络103、数据库服务器104和服务器105。网络103用以在终端101、102,数据库服务器104与服务器105之间提供通信链路的介质。网络103可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端101、102通过网络103与服务器105进行交互,以接收或发送消息等。终端101、102上可以安装有各种客户端应用,例如模型训练类应用、人脸检测识别类应用、购物类应用、支付类应用、网页浏览器和即时通讯工具等。
这里的终端101、102可以是硬件,也可以是软件。当终端101、102为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、膝上型便携计算机和台式计算机等等。当终端101、102为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
当终端101、102为硬件时,其上还可以安装有图像采集设备。图像采集设备可以是各种能实现图像采集的设备,如摄像头、传感器等等。用户可以利用终端101、102上的图像采集设备,来采集自身或他人的二维人脸图像。
数据库服务器104可以是提供各种服务的数据库服务器。例如数据库服务器中可以存储有大量的二维人脸图像。此时,用户也可以通过终端101、102,从数据库服务器104所存储的大量二维人脸图像中选取二维人脸图像。
服务器105也可以是提供各种服务的服务器,例如对终端101、102上显示的各种应用提供支持的后台服务器。后台服务器可以对终端101、102发送的二维人脸图像进行分析处理,并可以将处理结果(如生成的样本人脸深度数据和\或训练生成的检测模型)发送给终端101、102。这样,可以使终端101、102将处理结果展示给用户。
这里的数据库服务器104和服务器105同样可以是硬件,也可以是软件。当它们为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当它们为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是,本申请实施例所提供的用于生成检测模型的方法一般由服务器105执行。相应地,用于生成检测模型的装置一般设置于服务器105中。
需要指出的是,在服务器105可以实现数据库服务器104的相关功能的情况下,系统架构100中可以不设置数据库服务器104。
应该理解,图1中的终端、网络、数据库服务器和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端、网络、数据库服务器和服务器。
继续参见图2,其示出了根据本申请的用于生成检测模型的方法的一个实施例的流程200。该用于生成检测模型的方法可以包括以下步骤:
步骤201,获取样本对象的二维人脸图像。
在本实施例中,用于生成检测模型的方法的执行主体(例如图1所示的服务器105)可以通过多种方式来获取样本对象的二维人脸图像。例如,执行主体可以通过有线连接方式或无线连接方式,从现有的人脸数据库中获取二维人脸图像。再例如,执行主体可以通过图像采集设备(例如图1所示的终端101、102上的图像采集设备)采集二维人脸图像。
在这里,二维人脸图像通常是指平面人脸图像,可以包括以下至少一种:彩色图像(如RGB(Red、Green、Blue,红绿蓝)照片)、灰度图像或近红外图像等等。二维人脸图像可以是网上图片,如存储在数据库服务器(例如图1所示的数据库服务器104)中的人脸图像;也可以是实际收集的人脸图像,如在可见光下利用相机对样本对象进行拍摄,而得到的包含人脸的图片。
在本实施例中,样本对象可以是任意用户,如使用终端的用户,再如网上图片所指示的用户等。也就是说,样本对象可以是获取到的各种二维人脸图像所指示的用户。
可以理解的是,二维人脸图像可以是样本对象在不同姿态下的平面人脸图像,如侧脸图像等。其中,姿态一般指样本对象在不同视角下的容貌神态。二维人脸图像的具体格式在本申请中也并不限制,如jpg(Joint Photo graphic Experts Group,一种图片格式)、BMP(Bitmap,图像文件格式)或RAW(RAW Image Format,无损压缩格式)等格式,只要可以被执行主体读取识别即可。
步骤202,根据二维人脸图像,对样本对象的人脸结构进行分析,生成样本对象的三维人脸模型。
在本实施例中,根据步骤201中获取的二维人脸图像,执行主体可以对样本对象的人脸结构进行分析,从而生成样本对象的三维人脸模型。其中,三维人脸模型通常是包含人脸深度信息的模型。
在本实施例的一些可选地实现方式中,执行主体可以将二维人脸图像输入预先构建的三维形变模型(3D Morphable Model,3DMM),从而可以分析三维形变模型中的平均人脸与二维人脸图像中的人脸之间的偏差。这样,根据这些偏差,可以调整平均人脸的特征参数,从而可以生成样本对象的三维人脸模型。
三维形变模型通常代表了一个平均人脸,但同时也包含了与这一平均值常见的偏差模式信息。例如,如长了一个长鼻子的脸也可能有一个很长的下巴。鉴于这种相关性,执行主体可以在不将有关你脸部全部表征信息都存储下来的情况下,只列出几百个数字描述你的脸与平均人脸的偏差,就能够生成专属于你的面部图像了。不仅如此,这些偏差还包括大致的年龄、性别和脸部长度等参数。需要说明的是,三维形变模型作为常用的三维人脸重建技术,目前已被广泛用于医疗、教育、娱乐等领域。这模型是可市售的,在此不再赘述。
可选地,执行主体也可以将二维人脸图像输入预先训练的神经网络中,从而通过该神经网络便可以重构出样本对象的三维人脸模型。其中,神经网络可以用于根据二维人脸图像重构三维人脸模型。这里可以(但不限于)通过以下训练过程得到神经网络。
作为示例,可以将同一对象的不同姿态的二维人脸图像输入三维形变模型,对应得到该对象在多个姿态下的三维人脸模型。之后,可以对这些三维人脸模型的特征参数进行处理(如聚合或加权等),从而最终得到该对象的三维人脸模型。接着,可以将不同对象的不同二维人脸图像作为输入,将不同对象的三维人脸模型作为输出,训练得到神经网络。
需要说明的是,生成的样本对象的三维人脸模型中的人脸可以与样本对象的二维人脸图像中的人脸具有不同的姿态。而为了有利于提高三维人脸模型的生成效率,三维人脸模型中的人脸也可以与二维人脸图像中的人脸具有相同的姿态。此外,生成的三维人脸模型可以(但不限于)是近似于样本对象的真实人脸结构的模型。
可以理解的是,为了进一步提高三维人脸模型的生成效果,上述获取的二维人脸图像可以是包含人脸特征尽可能多、且清晰度较好的图像,如正面无遮挡的高像素图像、向左(或向右)20°至45°范围内的侧面图像、仰视图像等。
步骤203,基于三维人脸模型,生成样本对象的样本人脸深度数据。
在本实施例中,基于步骤202中生成的三维人脸模型,执行主体可以生成样本对象的样本人脸深度数据。作为示例,执行主体可以在三维人脸模型中选取特征区域,从而得到选取的特征区域的深度信息。根据这些特征区域的深度信息,可以生成样本对象的样本人脸深度数据。其中,特征区域可以是描述人脸特征的区域。特征区域的选取可以是随机选取,也可以是预先设置的。
在本实施例的一些可选地实现方式中,对于生成的三维人脸模型,执行主体可以直接提取其中的深度信息,从而生成样本对象的样本人脸深度数据。该样本人脸深度数据为样本对象在三维人脸模型所表示的姿态下的人脸深度数据。
可选地,为了得到更加丰富的样本人脸深度数据,执行主体还可以调整三维人脸模型的姿态参数,生成调整后的三维人脸模型。之后,可以提取调整后的三维人脸模型的人脸深度数据,从而生成样本对象在不同姿态下的样本人脸深度数据。这里的姿态参数主要是指视觉角度,即三维人脸模型相对于基准点的旋转角度。这样一来,通过一张二维人脸图像,便可以得到多种样本人脸深度数据。从而可以提高样本人脸深度数据的收集效率和丰富度,降低工作强度。
作为示例,对于采用三维形变模型生成的样本对象的三维人脸模型,执行主体可以直接调整该三维人脸模型在三维形变模型中的旋转角度,从而得到调整后的三维人脸模型。对于采用神经网络生成的样本对象的三维人脸模型,执行主体可以将该三维人脸模型的数据导入三维形变模型,从而通过调整上述方式得到调整后的三维人脸模型。或者还可以进一步训练神经网络,使训练后的神经网络可以生成多种姿态的三维人脸模型。
步骤204,将生成的样本人脸深度数据作为训练数据,训练生成检测模型。
在本实施例中,执行主体可以将步骤203中生成的样本人脸深度数据作为训练数据,从而可以对预先创建的初始模型进行训练,以生成检测模型。其中,初始模型可以是使用现有的各种机器学习技术而创建。该初始模型可以具有现有的各种神经网络结构(例如DenseBox、VGGNet、ResNet、SegNet等)。检测模型可以用于对输入的人脸深度数据进行检测。
在本实施例的一些可选地实现方式中,上述检测模型可以是人脸检测模型。其中,人脸检测模型可以根据输入的人脸深度数据进行人脸识别。例如,上述生成的样本人脸深度数据可以是正样本人脸深度数据。正样本人脸深度数据可以为符合立体人脸结构的数据,即正样本人脸深度数据可以描述样本对象的真实人脸结构。此时,可以将同一样本对象的各种正样本人脸深度数据与该样本对象的人脸图像或身份信息建立对应关系,以作为训练数据。即将正样本人脸深度数据作为输入,将对应的人脸图像或身份信息作为输出。这样,训练得到的人脸检测模型可以对输入的人脸深度数据进行识别检测。从而可以输出与该人脸深度数据匹配的人脸图像,或者该人脸深度数据所属对象的身份信息等。
可选地,上述检测模型也可以是活体检测模型。其中,活体检测模型可以根据输入的人脸深度数据进行活体(具有生命体征的人)检测。即可以确定输入的人脸深度数据是否来自真实人脸。此时,上述生成的样本人脸深度数据可以是训练数据中的正样本人脸深度数据和/或负样本人脸深度数据。负样本人脸深度数据可以为不符合立体人脸结构的数据。这里不符合立体人脸结构的数据可以包括不符合人脸结构的平面或曲面数据,还可以包括不符合特定姿态下的人脸结构的数据。这样,利用正样本人脸深度数据和/或负样本人脸深度数据训练得到的活体检测模型,可以检测输入的人脸深度数据是否来自于真实人脸(即活体)。具体训练和检测过程可以参见图4,其示出了本申请提供的用于生成检测模型的方法的又一个实施例的流程图。此处不再赘述。
需要说明的是,上述训练数据不仅可以包括本申请实施例中生成的样本人脸深度数据。还可以根据训练得到的检测模型,来收集所需的样本人脸数据,以作为训练数据。
然而,与人脸深度数据相比,现有数据中往往存在大量的二维人脸图像,尤其是平面人脸图片。因此,通过本申请实施例提供的用于生成检测模型的方法,可以根据大量的二维人脸图像,得到多种多样的人脸深度数据。这样,可以大大缩减训练数据的收集时长,同时可以提高训练数据的丰富度。
进一步参见图3,图3是根据本实施例的用于生成检测模型的方法的一个应用场景的示意图。在图3的应用场景中,用户在进行模型训练的过程中,首先,用户可以通过终端101上的图像采集设备来采集二维人脸图像A。同时,用户也可以利用终端101,在数据库服务器中选取已存储的二维人脸图像A。进而可以将收集的二维人脸图像A发送给服务器105。
之后,服务器105可以根据二维人脸图像A,生成对应的三维人脸模型B。随后,基于三维人脸模型B,可以生成样本人脸深度数据C。这样,便可以将生成的样本人脸深度数据C作为训练数据的一部分,从而训练生成所需的检测模型D。最后,服务器105可以将生成的检测模型D存储在本地或其他设备(如终端101或数据库服务器104等)中。而且可以向终端101发送用于指示训练结果的提示信息。
本实施例中用于生成检测模型的方法,通过获取样本对象的二维人脸图像,进而可以对样本对象的人脸结构进行分析,生成样本对象的三维人脸模型。随后,可以基于三维人脸模型,生成样本对象的样本人脸深度数据。之后,可以将生成的样本人脸深度数据作为训练数据,从而训练生成检测模型。其中,检测模型可以用于对输入的人脸深度数据进行检测。也就是说,通过多种多样的二维人脸图像,便可以生成相应的样本人脸深度数据,从而可以丰富训练数据。这样有助于扩大检测模型的覆盖面,也可以提高其检测结果的准确度。
请参见图4,其示出了本申请提供的用于生成检测模型的方法的又一实施例的流程400。该用于生成检测模型的方法可以包括以下步骤:
步骤401,对生成的正样本人脸深度数据进行存储,构成正样本人脸深度数据集合。
在本实施例中,若上述实施例中生成的样本人脸深度数据包括正样本人脸深度数据,则用于生成检测模型的方法的执行主体(例如图1所示的服务器105)可以对生成的正样本人脸深度数据进行存储。从而可以构成正样本人脸深度数据集合。这里的正样本人脸深度数据可以参见上述相关描述,此处不再赘述。
可以理解的是,正样本人脸深度数据集合的存储位置在本申请中并不限制。例如可以存储在执行主体的本地,也可以存储在数据库服务器(例如图1所示的数据库服务器104)中。
步骤402,对生成的负样本人脸深度数据进行存储,构成负样本人脸深度数据集合。
在本实施例中,若上述实施例中生成的样本人脸深度数据还包括负样本人脸深度数据,则执行主体也可以对生成的负样本人脸深度数据进行存储。从而可以构成负样本人脸深度数据集合。这里的负样本人脸深度数据可以参见上述相关描述,此处不再赘述。
可以理解的是,负样本人脸深度数据集合的存储位置在本申请中同样不限制。例如可以存储在执行主体的本地,也可以存储在数据库服务器中。
步骤403,利用正样本人脸深度数据集合和负样本人脸深度数据集合,训练得到检测模型。
在本实施例中,执行主体可以利用正样本人脸深度数据集合和负样本人脸深度数据集合,训练得到检测模型。也就是说,执行主体可以将正样本人脸深度数据集合中的数据作为输入,将确定来自真实人脸(即确定为活体)的检测结果作为输出,来训练上述初始模型。同时,执行主体还可以将负样本人脸深度数据集合中的数据作为输入,将确定来自非真实人脸(即确定为非活体)的检测结果作为输出,来训练该初始模型。最终可以训练得到检测模型。
这样,检测模型可以对不符合立体人脸结构的人脸深度数据进行有效地检测,如来自照片或屏幕呈现的人脸图像的人脸深度数据。此外,检测模型还可以对不符合特定姿态(即特定视角)下的立体人脸结构的人脸深度数据进行有效地检测,如来自弯折照片或曲面屏呈现的人脸图像的人脸深度数据。其中,特定姿态可以根据实际情况来设置。由于这些人脸深度数据均不是来自真实人脸,所以检测模型可以判断输入的人脸深度数据来自非活体。
步骤404,将获取的待检测对象的人脸深度图像输入检测模型。
在本实施例中,执行主体可以将获取的待检测对象的人脸深度图像输入检测模型。其中,待检测对象可以是任意用户。例如可以是使用终端(例如图1所示的终端101、102)的用户。待检测对象的人脸深度图像可以是用于测试检测模型的测试数据,也可以是实际应用中的待检测数据。
在这里,执行主体可以通过多种方式来获取待检测对象的人脸深度图像。例如,执行主体可以通过有线连接方式或无线连接方式,从数据库服务器中获取其上存储的待检测对象的人脸深度图像。再例如,执行主体也可以通过终端上的图像采集设备,采集得到待检测对象的人脸深度图像。
步骤405,根据检测模型的检测结果,输出反馈信息。
在本实施例中,执行主体可以根据检测模型的检测结果,输出与检测结果相对应的反馈信息。其中,检测结果可以用于表示对待检测对象的人脸深度图像进行检测的结果。检测结果通常与检测模型的具体检测功能相关。同样,反馈信息也可以根据实际应用来设置。例如反馈信息可以是包括检测结果的信息。
这里的输出可以包括存储输出和/或发送输出。例如执行主体可以对反馈信息进行存储,或在内部进行传输,或者发送给终端等。其中,存储可以包括(但不限于)本地存储。
需要说明的是,本实施例中的检测模型可以是各种用于对输入的人脸深度数据进行检测的模型。本实施例的用于生成检测模型的方法,不仅可以生成样本人脸深度数据,并利用这些数据训练得到检测模型。还可以利用得到的检测模型进行人脸深度图像的检测。这样一来,可以通过实际应用来测试检测模型,从而不断改进检测模型。
继续参见图5,作为对上述各图所示方法的实现,本申请提供了一种用于生成检测模型的装置的一个实施例。该装置实施例与图2至图4所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于生成检测模型的装置500可以包括:获取单元501,配置用于获取样本对象的二维人脸图像;模型生成单元502,配置用于根据二维人脸图像,对样本对象的人脸结构进行分析,生成样本对象的三维人脸模型;数据生成单元503,配置用于基于三维人脸模型,生成样本对象的样本人脸深度数据;训练单元504,配置用于将生成的样本人脸深度数据作为训练数据,训练生成检测模型,其中,检测模型用于对输入的人脸深度数据进行检测。
在本实施例的一些可选的实现方式中,模型生成单元502可以进一步配置用于:将二维人脸图像输入预先构建的三维形变模型,生成样本对象的三维人脸模型。
可选地,数据生成单元503可以包括:调整子单元(图5中未示出),配置用于调整三维人脸模型的姿态参数,生成调整后的三维人脸模型;生成子单元(图5中未示出),配置用于提取调整后的三维人脸模型的人脸深度数据,生成样本对象在不同姿态下的样本人脸深度数据。
在一些实施例中,样本人脸深度数据可以包括正样本人脸深度数据,其中,正样本人脸深度数据为符合立体人脸结构的数据;以及训练单元504可以进一步配置用于:对生成的正样本人脸深度数据进行存储,构成正样本人脸深度数据集合;利用正样本人脸深度数据集合,训练得到检测模型。
进一步地,样本人脸深度数据还可以包括负样本人脸深度数据,其中,负样本人脸深度数据为不符合立体人脸结构的数据;以及训练单元504可以进一步配置用于:对生成的负样本人脸深度数据进行存储,构成负样本人脸深度数据集合;利用负样本人脸深度数据集合,训练得到检测模型。
在一些实施例中,该装置500还可以包括:输出单元(图5中未示出),配置用于将获取的待检测对象的人脸深度图像输入检测模型,以及根据检测模型的检测结果,输出反馈信息。
可以理解的是,该装置500中记载的诸单元与参考图2至图4描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元,在此不再赘述。
下面参见图6,其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括触摸屏、键盘、鼠标、摄像装置等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、模型生成单元、数据生成单元和训练单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取样本对象的二维人脸图像的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取样本对象的二维人脸图像;根据二维人脸图像,对样本对象的人脸结构进行分析,生成样本对象的三维人脸模型;基于三维人脸模型,生成样本对象的样本人脸深度数据;将生成的样本人脸深度数据作为训练数据,训练生成检测模型,其中,检测模型用于对输入的人脸深度数据进行检测。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于生成检测模型的方法,包括:
获取样本对象的二维人脸图像;
根据所述二维人脸图像,对所述样本对象的人脸结构进行分析,生成所述样本对象的三维人脸模型;
基于所述三维人脸模型,生成所述样本对象的样本人脸深度数据;
将生成的样本人脸深度数据作为训练数据,训练生成检测模型,其中,所述检测模型用于对输入的人脸深度数据进行检测。
2.根据权利要求1所述的方法,其中,所述根据所述二维人脸图像,对所述样本对象的人脸结构进行分析,生成所述样本对象的三维人脸模型,包括:
将所述二维人脸图像输入预先构建的三维形变模型,生成所述样本对象的三维人脸模型。
3.根据权利要求1所述的方法,其中,所述基于所述三维人脸模型,生成所述样本对象的样本人脸深度数据,包括:
调整所述三维人脸模型的姿态参数,生成调整后的三维人脸模型;
提取调整后的三维人脸模型的人脸深度数据,生成所述样本对象在不同姿态下的样本人脸深度数据。
4.根据权利要求1所述的方法,其中,所述样本人脸深度数据包括正样本人脸深度数据,其中,所述正样本人脸深度数据为符合立体人脸结构的数据;以及
所述将生成的样本人脸深度数据作为训练数据,训练生成检测模型,包括:
对生成的正样本人脸深度数据进行存储,构成正样本人脸深度数据集合;利用所述正样本人脸深度数据集合,训练得到检测模型。
5.根据权利要求1所述的方法,其中,所述样本人脸深度数据还包括负样本人脸深度数据,其中,所述负样本人脸深度数据为不符合立体人脸结构的数据;以及
所述将生成的样本人脸深度数据作为训练数据,训练生成检测模型,包括:
对生成的负样本人脸深度数据进行存储,构成负样本人脸深度数据集合;利用所述负样本人脸深度数据集合,训练得到检测模型。
6.根据权利要求1-5之一所述的方法,其中,所述方法还包括:
将获取的待检测对象的人脸深度图像输入所述检测模型,以及根据所述检测模型的检测结果,输出反馈信息。
7.一种用于生成检测模型的装置,包括:
获取单元,配置用于获取样本对象的二维人脸图像;
模型生成单元,配置用于根据所述二维人脸图像,对所述样本对象的人脸结构进行分析,生成所述样本对象的三维人脸模型;
数据生成单元,配置用于基于所述三维人脸模型,生成所述样本对象的样本人脸深度数据;
训练单元,配置用于将生成的样本人脸深度数据作为训练数据,训练生成检测模型,其中,所述检测模型用于对输入的人脸深度数据进行检测。
8.根据权利要求7所述的装置,其中,所述模型生成单元进一步配置用于:
将所述二维人脸图像输入预先构建的三维形变模型,生成所述样本对象的三维人脸模型。
9.根据权利要求7所述的装置,其中,所述数据生成单元包括:
调整子单元,配置用于调整所述三维人脸模型的姿态参数,生成调整后的三维人脸模型;
生成子单元,配置用于提取调整后的三维人脸模型的人脸深度数据,生成所述样本对象在不同姿态下的样本人脸深度数据。
10.根据权利要求7所述的装置,其中,所述样本人脸深度数据包括正样本人脸深度数据,其中,所述正样本人脸深度数据为符合立体人脸结构的数据;以及
所述训练单元进一步配置用于:
对生成的正样本人脸深度数据进行存储,构成正样本人脸深度数据集合;利用所述正样本人脸深度数据集合,训练得到检测模型。
11.根据权利要求7所述的装置,其中,所述样本人脸深度数据还包括负样本人脸深度数据,其中,所述负样本人脸深度数据为不符合立体人脸结构的数据;以及
所述训练单元进一步配置用于:
对生成的负样本人脸深度数据进行存储,构成负样本人脸深度数据集合;利用所述负样本人脸深度数据集合,训练得到检测模型。
12.根据权利要求7-11之一所述的装置,其中,所述装置还包括:
输出单元,配置用于将获取的待检测对象的人脸深度图像输入所述检测模型,以及根据所述检测模型的检测结果,输出反馈信息。
13.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201810246728.0A 2018-03-23 2018-03-23 用于生成检测模型的方法和装置 Pending CN108491881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810246728.0A CN108491881A (zh) 2018-03-23 2018-03-23 用于生成检测模型的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810246728.0A CN108491881A (zh) 2018-03-23 2018-03-23 用于生成检测模型的方法和装置

Publications (1)

Publication Number Publication Date
CN108491881A true CN108491881A (zh) 2018-09-04

Family

ID=63319550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810246728.0A Pending CN108491881A (zh) 2018-03-23 2018-03-23 用于生成检测模型的方法和装置

Country Status (1)

Country Link
CN (1) CN108491881A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272543A (zh) * 2018-09-21 2019-01-25 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN109670444A (zh) * 2018-12-18 2019-04-23 北京字节跳动网络技术有限公司 姿态检测模型的生成、姿态检测方法、装置、设备及介质
CN109753873A (zh) * 2018-11-23 2019-05-14 合刃科技(武汉)有限公司 图像处理方法及相关装置
CN111402401A (zh) * 2020-03-13 2020-07-10 北京华捷艾米科技有限公司 一种获取3d人脸数据方法、人脸识别方法及装置
CN111680574A (zh) * 2020-05-18 2020-09-18 北京的卢深视科技有限公司 一种人脸检测方法、装置、电子设备和存储介质
CN112053315A (zh) * 2020-09-14 2020-12-08 北京百度网讯科技有限公司 用于处理人物形象数据的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
CN105740775A (zh) * 2016-01-25 2016-07-06 北京天诚盛业科技有限公司 一种三维人脸活体识别方法及其装置
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
CN106570460A (zh) * 2016-10-20 2017-04-19 三明学院 一种基于深度值的单幅图像人脸姿态估计方法
CN106910247A (zh) * 2017-03-20 2017-06-30 厦门幻世网络科技有限公司 用于生成三维头像模型的方法和装置
CN108363995A (zh) * 2018-03-19 2018-08-03 百度在线网络技术(北京)有限公司 用于生成数据的方法和装置
CN111652086A (zh) * 2020-05-15 2020-09-11 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102054291A (zh) * 2009-11-04 2011-05-11 厦门市美亚柏科信息股份有限公司 一种基于单幅人脸图像实现三维人脸重建的方法及其装置
CN105740775A (zh) * 2016-01-25 2016-07-06 北京天诚盛业科技有限公司 一种三维人脸活体识别方法及其装置
CN106570460A (zh) * 2016-10-20 2017-04-19 三明学院 一种基于深度值的单幅图像人脸姿态估计方法
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
CN106910247A (zh) * 2017-03-20 2017-06-30 厦门幻世网络科技有限公司 用于生成三维头像模型的方法和装置
CN108363995A (zh) * 2018-03-19 2018-08-03 百度在线网络技术(北京)有限公司 用于生成数据的方法和装置
CN111652086A (zh) * 2020-05-15 2020-09-11 汉王科技股份有限公司 人脸活体检测方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘蓉: "姿态和表情不变的三维人脸识别研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272543A (zh) * 2018-09-21 2019-01-25 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN109272543B (zh) * 2018-09-21 2020-10-02 北京字节跳动网络技术有限公司 用于生成模型的方法和装置
CN109753873A (zh) * 2018-11-23 2019-05-14 合刃科技(武汉)有限公司 图像处理方法及相关装置
CN109670444A (zh) * 2018-12-18 2019-04-23 北京字节跳动网络技术有限公司 姿态检测模型的生成、姿态检测方法、装置、设备及介质
CN111402401A (zh) * 2020-03-13 2020-07-10 北京华捷艾米科技有限公司 一种获取3d人脸数据方法、人脸识别方法及装置
CN111402401B (zh) * 2020-03-13 2023-08-18 北京华捷艾米科技有限公司 一种获取3d人脸数据方法、人脸识别方法及装置
CN111680574A (zh) * 2020-05-18 2020-09-18 北京的卢深视科技有限公司 一种人脸检测方法、装置、电子设备和存储介质
CN111680574B (zh) * 2020-05-18 2023-08-04 合肥的卢深视科技有限公司 一种人脸检测方法、装置、电子设备和存储介质
CN112053315A (zh) * 2020-09-14 2020-12-08 北京百度网讯科技有限公司 用于处理人物形象数据的方法和装置

Similar Documents

Publication Publication Date Title
CN108491881A (zh) 用于生成检测模型的方法和装置
CN109902659B (zh) 用于处理人体图像的方法和装置
CN108961369B (zh) 生成3d动画的方法和装置
CN107578017A (zh) 用于生成图像的方法和装置
CN108898185A (zh) 用于生成图像识别模型的方法和装置
CN108416324A (zh) 用于检测活体的方法和装置
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和系统
CN108537152A (zh) 用于检测活体的方法和装置
CN108197618B (zh) 用于生成人脸检测模型的方法和装置
EP4345777A1 (en) Living body detection method and apparatus, and training method and apparatus for living body detection system
CN108509915A (zh) 人脸识别模型的生成方法和装置
CN113822977A (zh) 图像渲染方法、装置、设备以及存储介质
CN108388889B (zh) 用于分析人脸图像的方法和装置
CN110245612A (zh) 人脸图像的检测方法和装置
CN108776786A (zh) 用于生成用户真伪识别模型的方法和装置
CN108229375B (zh) 用于检测人脸图像的方法和装置
CN108363995A (zh) 用于生成数据的方法和装置
CN107609506A (zh) 用于生成图像的方法和装置
CN108062544A (zh) 用于人脸活体检测的方法和装置
US11798299B2 (en) Methods and systems for generating 3D datasets to train deep learning networks for measurements estimation
CN109472264A (zh) 用于生成物体检测模型的方法和装置
CN108491823A (zh) 用于生成人眼识别模型的方法和装置
CN109241934A (zh) 用于生成信息的方法和装置
CN109272543A (zh) 用于生成模型的方法和装置
CN108509921A (zh) 用于生成信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180904