CN111291737B - 一种人脸图像采集方法、装置和电子设备 - Google Patents

一种人脸图像采集方法、装置和电子设备 Download PDF

Info

Publication number
CN111291737B
CN111291737B CN202010384123.5A CN202010384123A CN111291737B CN 111291737 B CN111291737 B CN 111291737B CN 202010384123 A CN202010384123 A CN 202010384123A CN 111291737 B CN111291737 B CN 111291737B
Authority
CN
China
Prior art keywords
face image
face
condition
angle value
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010384123.5A
Other languages
English (en)
Other versions
CN111291737A (zh
Inventor
曹佳炯
李亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010384123.5A priority Critical patent/CN111291737B/zh
Publication of CN111291737A publication Critical patent/CN111291737A/zh
Application granted granted Critical
Publication of CN111291737B publication Critical patent/CN111291737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸图像采集方法、装置和电子设备，该方法包括：基于采集到的人脸视频数据，提取预设数量帧人脸图像；对所述人脸图像进行用户意愿检测，得到检测结果；将所述检测结果作为第一判断条件，判断所述人脸图像是否满足采集条件；根据判断结果，确定是否采集所述人脸图像。本申请的方案，通过分析用户的刷脸意愿，将用户意愿分数作为第一判断条件来判断人脸图像是否满足采集条件，从而有效减少了误刷脸情况，提升了用户的刷脸体验，进一步还保证了用户的财产安全。

Description

一种人脸图像采集方法、装置和电子设备
技术领域
本申请涉及计算机技术领域，尤其涉及一种人脸图像采集方法、装置和电子设备。
背景技术
人脸识别技术在近年来取得了巨大的突破，并在许多生产和生活场景得到了应用。例如，在诸如支付、考勤、出行等等场景，人脸识别系统都已经得到了广泛应用，极大地方便了人们的生活。
现有的人脸图像采集策略主要包括基于质量分的采集决策和基于多因子的采集决策。基于质量分的采集决策，一般采用单个CNN模型输出质量分，并卡阈值的方式来对输入图像进行是否满足采集条件的判断。基于多因子的采集决策，一般根据多个因素决定输入的人脸图像是否满足采集条件，常用因子包含人脸姿态、图像清晰度、图像亮度和人脸面积占比等等。现有的人脸图像采集策略容易导致没有刷脸意愿的用户的人脸图像被采集到人脸识别系统中，出现误刷脸情况。
有鉴于此，本领域需要一种能够减少误刷脸情况的人脸图像采集方法。
发明内容
本说明书实施例提供了一种人脸图像采集方法、装置和电子设备，通过分析用户的刷脸意愿，以有效减少误刷脸情况。
本说明书实施例采用下述技术方案：
本说明书实施例提供了一种人脸图像采集方法，该方法包括：
基于采集到的人脸视频数据，提取预设数量帧人脸图像；
对所述人脸图像进行用户意愿检测，得到检测结果；
将所述检测结果作为第一判断条件，判断所述人脸图像是否满足采集条件；
根据判断结果，确定是否采集所述人脸图像。
本说明书实施例还提供了一种人脸图像采集装置，包括：
采集模块，所述采集模块用于采集人脸视频数据；
提取模块，所述提取模块用于从所述人脸视频数据中提取预设数量帧人脸图像；
第一检测模块，所述第一检测模块用于对所述人脸图像进行用户意愿检测，得到检测结果；
判断模块，所述判断模块用于将所述检测结果作为第一判断条件，判断所述人脸图像是否满足采集条件；
确定模块，所述确定模块用于根据所述判断模块的判断结果，确定是否采集所述人脸图像。
本说明书实施例提供了一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，使所述至少一个处理器能够执行上述人脸图像采集方法。
本说明书实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述的人脸图像采集方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本说明书的方案，通过分析用户的刷脸意愿，将用户意愿分数作为第一判断条件来判断人脸图像是否满足采集条件，从而有效减少了误刷脸情况，提升了用户的刷脸体验，进一步还保证了用户的财产安全。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1为本说明书实施例提供的一种人脸图像采集方法的主要流程图；
图2为本说明书提供的一种人脸图像采集方法的具体实施方式的框架图；
图3为本说明书实施例提供的一种人脸图像采集装置的结构示意图。
具体实施方式
如背景技术所述，目前使用的基于人脸质量分的采集决策主要是将人脸图像输入到一个深度神经网络中，输出一个质量分(一般采用单个CNN模型输出质量分)。当质量分高于阈值时，判断输入人脸符合采集条件。而基于多因子的采集决策，一般是根据多个因素决定输入的人脸图像是否满足采集条件，如采用人脸姿态、人脸分辨率、人脸光照强度等多种方面的因素来判断人脸是否符合采集标准。
上述方法容易导致无刷脸意愿的用户的人脸图像(简称无意愿人脸图像) 被采集到人脸识别系统中。如果无意愿人脸图像被采集到人脸识别系统，由于用户本人没有刷脸意愿，有可能会造成：用户本人发现后，进行主动取消和退出；用户本人没有发现，其他用户利用该用户人脸进行刷脸支付。这两种情况都降低了用户的刷脸体验，甚至还可能产生一定的财产安全风险。
针对上述问题，如果考虑用户的采集意愿，则可以避免无意愿人脸图像被采集到人脸识别系统，从而得到较好的技术效果。有鉴于此，本说明书实施例提出了基于用户意愿检测的人脸图像采集策略，即在进行人脸图像采集时，先对得到的人脸图像进行用户意愿检测以筛选出有意愿的人脸图像，将有意愿的人脸图像作为满足采集条件的人脸图像，进而对满足采集条件的人脸图像进行采集，并送入后续环节以进行人脸识别。
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本说明书实施例涉及到的术语：用户意愿检测：在人脸识别系统中，用户意愿检测用于判断用户是否有刷脸的意愿。例如可以通过判断用户是否注视摄像头或屏幕等来实现。人脸图像采集策略：在人脸识别系统中，成像系统传入人脸图像后，识别系统先要对人脸图像进行筛选，当人脸满足某些采集条件后，才允许其进入后面的环节，否则，判断该人脸不适合做人脸识别。
参照图1，图1为本说明书实施例提供的一种人脸图像采集方法的主要流程图。该方法包括：
S110：基于采集到的人脸视频数据，提取预设数量帧人脸图像。
在该步骤中，可以利用相应的采集设备采集人脸视频，每个视频约2s(一共约60帧图像)。然后可以从这2s的人脸视频数据中随机提取预设数量帧人脸图像。作为示例，预设数量帧人脸图像可以是10帧，本领域技术人员还可以根据实际情况提取其他数量帧人脸图像，本说明书不对此进行限定。在本实施例中，以随机提取10帧人脸图像为例进行说明。
S120：对所述人脸图像进行用户意愿检测，得到检测结果。
在该步骤中，将步骤S110中随机提取的10帧人脸图像进行用户意愿检测。下面结合具体示例对该步骤进行详细说明。
训练一个人脸姿态回归模型。作为示例，可以使用ResNet18作为人脸姿态回归模型的网络模型骨架。采集并标注人脸姿态数据，将包含预先标注好人脸姿态角度值的人脸图像(每个人脸图像包括pitch、yaw、roll(俯仰、偏航、横滚)三个方向的人脸姿态角度值)作为第一训练样本，利用该第一训练样本对人脸姿态回归模型进行训练以得到训练好的人脸姿态回归模型。具体地，训练时，将第一训练样本作为人脸姿态回归模型的输入，输出为pitch、yaw、roll 三个方向的人脸姿态角度值，当输出的三个方向角度的平均误差小于预设角度 (如5度)时，停止训练。
训练一个注视力回归模型。作为示例，可以使用VGG19作为注视力回归模型的网络模型骨架。采集并标注人眼姿态数据，将包含预先标注好人眼注视力角度值的人眼图像(每个人眼图像包括左眼pitch、yaw、roll三个方向的人眼注视力角度值和右眼pitch、yaw、roll三个方向的人眼注视力角度值的标注值)作为第二训练样本，利用该第二训练样本对注视力回归模型进行训练以得到训练好的注视力回归模型。具体地，将第二训练样本作为注视力回归模型的输入，输出为一组(左眼+右眼)pitch、yaw、roll三个方向的眼睛注视角度。即，该注视力回归模型的输出共六个角度值，分别为左眼的pitch、yaw、roll 三个方向的人眼注视力角度值和右眼的pitch、yaw、roll三个方向的人眼注视力角度值。当输出的三个方向角度的平均误差小于8度时，停止训练。需要说明的是，包含预先标注好人眼注视力角度的人眼图像，可以是事先采集的整张人脸图像(即在人脸图像上对人眼注视力角度值预先标注)，也可以是仅将人脸图像中的人眼区域部分作为第二训练样本输入到注视力回归模型，本领域技术人员可以根据实际需要选择相应的训练样本。
训练一个用户意愿检测模型。具体而言，先利用采集设备采集多个人脸视频，每个视频约2s(一共约60帧图像)。对采集的数据进行标注，区分为有意愿人脸图像和无意愿人脸图像两类，将标注好的人脸图像作为第三训练样本。然后，将该第三训练样本分别输入上述训练好的人脸姿态回归模型和训练好的注视力回归模型，以得到人脸姿态角度值(pitch、yaw、roll三个方向的角度值) 和人眼注视力角度值(pitch、yaw、roll三个方向的左眼注视力角度值和pitch、 yaw、roll三个方向的右眼注视力角度值)。这样一来，每帧人脸图像可以得到 9个角度值。作为示例，可以从每个人脸视频数据中随机提取10帧图像的角度值作为用户意愿检测模型的输入，这样一来，每个人脸视频数据可以得到90 (每个视频数据随机提取10帧人脸图像，每帧人脸图像得到9个角度值)个角度值。
训练用户意愿检测模型，可以利用多层感知机进行分类训练。将每个人脸视频数据得到的90个角度值作为用户意愿检测模型的一个输入特征，对用户意愿检测模型进行训练，输出为用户意愿分数。对训练好的用户意愿检测模型进行测试，如果测试不达标，则重新对用户意愿检测模型进行训练，直至用户意愿检测模型通过测试，即完成训练。
在步骤S120中，对所述人脸图像进行用户意愿检测时，将步骤S110中随机提取的10帧人脸图像输入训练好的人脸姿态回归模型，每帧人脸图像得到 pitch、yaw、roll三个方向的人脸姿态角度值；将步骤S110中随机提取的10 帧人脸图像(或者该10帧人脸图像中人眼区域的部分)输入训练好的的注视力回归模型，每帧人脸图像得到pitch、yaw、roll三个方向的左眼注视力角度值和pitch、yaw、roll三个方向的右眼注视力角度值。然后，将得到的10帧人脸图像的人脸姿态角度值和人眼注视力角度值(共90个角度值作为一个输入特征)输入训练好的用户意愿检测模型，得到用户意愿分数。该用户意愿分数作为对人脸图像进行用户意愿检测的检测结果。
在此还需要说明的是，本说明书实施例中，对用户意愿检测模型进行训练时是基于人脸姿态回归模型和注视力回归模型的输出结果，也即，是通过人脸姿态和注视力方向来定义用户有无意愿。本领域技术人员能够理解的是，作为替代性地示例，还可以只用人脸姿态或注视力方向来定义用户有无意愿，即只基于人脸姿态回归模型或注视力回归模型的输出结果来训练用户意愿检测模型。此外，本领域技术人员还可以在人脸姿态和/或注视力方向的基础上结合人体姿态等方式来定义用户有无意愿。
S130：将所述检测结果作为第一判断条件，判断所述人脸图像是否满足采集条件。
在该步骤中，作为一种示例，检测结果为用户意愿分数，将用户意愿分数作为第一判断条件，如果所述用户意愿分数大于第一设定阈值，则判断所述人脸图像满足采集条件。第一设定阈值可以由本领域技术人员根据实际需要进行设定，本说明书在此不对具体的第一设定阈值进行限定。
在该步骤中，作为另一种示例，在第一判断条件的基础上，还可以结合其它判断条件来综合判断人脸图像是否满足采集条件。也就是说，本说明书中，用户意愿分数(即第一判断条件)既可以单独作为判断条件来判断人脸图像是否满足采集条件，也可以和其他判断条件综合来判断人脸图像是否满足采集条件。换言之，在步骤130的中，还可以包括：获取人脸图像的第二判断条件；根据第一判断条件和第二判断条件，判断人脸图像是否满足采集条件。
具体而言，获取人脸图像的第二判断条件时，可以将人脸图像输入相应的检测模型，以得到人脸图像质量分数、人脸图像清晰度检测分数、人脸图像亮度检测分数、人脸图像中人脸面积占比检测分数等；将这些分数中的一种或多种作为第二判断条件。在此需要说明的是，相应的检测模型可以由本领域技术人员根据选择的第二判断条件来确定合适的检测模型，如训练相应的神经网络模型等，本说明书在此不对具体的检测模型进行说明。
在根据第一判断条件和第二判断条件，判断人脸图像是否满足采集条件时，如果获取的第二判断条件为人脸图像质量分数和人脸图像清晰度检测分数，即根据用户意愿分数(SA)、人脸图像质量分数(SB)和人脸图像清晰度检测分数(SC)来判断人脸图像是否满足条件。具体地，可以为用户意愿分数(SA) 分配权重a，为人脸图像质量分数(SB)分配权重b，为人脸图像清晰度检测分数(SC)分配权重c；然后对用户意愿分数(SA)、人脸图像质量分数(SB) 和人脸图像清晰度检测分数(SC)进行加权相加以得到采集分数S；公式表示如为：S＝a*SA+b*SB+c*SC。
此时，如果S大于第二设定阈值，则判断所述人脸图像满足采集条件。其中，第二设定阈值可以由本领域技术人员根据实际需要进行设定，本说明书在此不对具体的第二设定阈值进行限定。
S140：根据判断结果，确定是否采集所述人脸图像。
在该步骤中，如果人脸图像满足采集条件，说明采集通过，则采集所述人脸图像。具体而言，经过上述步骤S110-130判断出人脸图像满足采集条件后，可以根据后续环节的识别系统的要求，可以将该随机提取的10帧人脸图像送入到识别系统进行识别，或者从该帧人脸图像中抽取至少一帧人脸图像送入到识别系统进行识别，也可以从人脸视频数据中重新提取一帧或多帧人脸图像送入到识别系统进行识别。本说明书不对此进行限定。
在该步骤中，如果人脸图像不满足采集条件，说明采集不通过，则拒绝采集所述人脸图像。也可以在人脸图像不满足采集条件时，发出提示信息引导用户调整姿态，以重新采集人脸视频数据，直到满足采集条件。作为示例，对于不满足采集条件的人脸图像，可以比较该人脸图像的人脸姿态角度和注视力角度与预先设定的标准人脸姿态角度和注视力角度的差异，并据此判断对用户的交互提示方式。如，当用户人脸姿态没有正对屏幕时，可以发出语言以提示用户面向屏幕等。
参照图2，图2为本说明书提供的一种人脸图像采集方法的具体实施方式的框架图。如图2所示，本说明书实施例的人脸图像采集方法主要包含以下方面：S100： 人脸姿态回归模型和注视力回归模型的训练；S200：用户意愿检测模型的训练；S300：基于用户意愿分数(第一判断条件)的人脸图像采集条件判断；S400：用户意愿分数和其它判断条件(第二判断条件)融合的人脸图像采集条件判断。本说明书的方案，通过分析用户的刷脸意愿，将用户意愿分数作为第一判断条件来判断人脸图像是否满足采集条件，从而有效减少了误刷脸情况，提升了用户的刷脸体验，进一步还保证了用户的财产安全。
基于同样的发明构思，本说明书实施例还提供了一种电子设备，包括：至少一个处理器和存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，使所述至少一个处理器能够执行上述的人脸图像采集方法。
基于同样的发明构思，本说明书实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述的人脸图像采集方法。
基于同样的发明构思，本说明书实施例还提供了一种人脸图像采集装置。参照图3，图3为本说明书实施例还提供的一种人脸图像采集装置的结构示意图。如图3所示，该装置包括：
采集模块301，采集模块301用于采集人脸视频数据；
提取模块302，提取模块302用于从人脸视频数据中提取预设数量帧人脸图像；
第一检测模块303，第一检测模块303用于对所述人脸图像进行用户意愿检测，得到检测结果；
判断模块304，判断模块304用于将所述检测结果作为第一判断条件，判断所述人脸图像是否满足采集条件；
确定模块305，确定模块305用于根据判断模块304的判断结果，确定是否采集所述人脸图像。
进一步，第一检测模块303用于获取人脸图像的人脸姿态角度值和/或人眼注视力角度值；以及根据人脸姿态角度值和/或人眼注视力角度值，得到用户意愿分数；其中，所述用户意愿分数作为对人脸图像进行用户意愿检测的检测结果。
进一步，第一检测模块303包括：训练好的人脸姿态回归模型，将所述人脸图像输入所述训练好的人脸姿态回归模型，以得到人脸姿态角度值；训练好的注视力回归模型，将所述人脸图像或所述人脸图像中的人眼区域数据输入所述训练好的注视力回归模型，以得到人眼注视力角度值；训练好的用户意愿检测模型，将所述人脸姿态角度值和/或人眼注视力角度值输入所述训练好的用户意愿检测模型，以得到用户意愿分数。
进一步，所述人脸姿态角度值包括俯仰、偏航、横滚三个方向的人脸姿态角度值；所述人眼注视力角度值包括左眼注视力角度值和右眼注视力角度值；其中，所述左眼注视力角度值包括俯仰、偏航、横滚三个方向的角度值，所述右眼注视力角度值包括俯仰、偏航、横滚三个方向的角度值。
进一步，判断模块304用于将所述检测结果作为第一判断条件，判断所述人脸图像是否满足采集条件，包括：如果所述用户意愿分数大于第一设定阈值，则判断所述人脸图像满足采集条件。
进一步，该装置还包括第二检测模块，所述第二检测模块用于检测所述人脸图像的第二判断条件；其中所述第二判断条件包括：人脸图像清晰度检测分数，和/或人脸图像亮度检测分数，和/或人脸图像中人脸面积占比检测分数。判断模块304可以根据所述第一判断条件和所述第二判断条件判断所述人脸图像是否满足采集条件。
进一步，判断模块304根据所述第一判断条件和所述第二判断条件判断所述人脸图像是否满足采集条件，包括：对所述第一判断条件和所述第二判断条件进行加权相加以得到采集分数；如果所述采集分数大于第二设定阈值，则判断所述人脸图像满足采集条件；其中，所述第一判断条件和所述第二判断条件预先分配有相应的权重。
进一步，确定模块305用于根据所述判断模块的判断结果确定是否采集所述人脸图像，包括：如果所述人脸图像满足采集条件，则采集所述人脸图像。
进一步，该装置还包括提示模块，确定模块305用于根据所述判断模块的判断结果确定是否采集所述人脸图像，包括：如果所述人脸图像不满足采集条件，则所述提示模块发出提示信息引导用户调整姿态，以使所述采集模块重新采集人脸视频数据。
关于上述人脸图像采集装置的更详细地说明参见上文对人脸图像采集方法的说明，在此不再赘述。
上述对本说明书特定实施例进行了描述，其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，附图中描绘的过程不一定必须按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的装置、设备、非易失性计算机可读存储介质与方法是对应的，因此，装置、设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、设备、非易失性计算机存储介质的有益技术效果。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray， FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、 Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL (Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL (RubyHardware Description Language)等，目前最普遍使用的是VHDL (Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (19)

1.一种人脸图像采集方法，该方法包括：
基于采集到的人脸视频数据，提取预设数量帧人脸图像；
对所述人脸图像进行用户意愿检测，得到检测结果；
将所述检测结果作为第一判断条件，判断所述人脸图像是否满足采集条件；
根据判断结果，确定是否采集所述人脸图像；
其中，对所述人脸图像进行用户意愿检测，得到检测结果，具体包括：
获取所述人脸图像的人脸姿态角度值和/或人眼注视力角度值；
将所述人脸姿态角度值和/或所述人眼注视力角度值输入预先训练好的用户意愿检测模型，以得到用户意愿分数；
其中，预先训练好的用户意愿检测模型按照如下方式训练：
将包含预先标注好人脸姿态角度值的人脸图像作为第一训练样本，以训练得到人脸姿态回归模型；
将包含预先标注好人眼注视力角度值的人眼图像作为第二训练样本，以训练得到注视力回归模型；
将包含预先标注为有意愿类的人脸图像和标注为无意愿类的人脸图像作为第三训练样本，并将所述第三训练样本分别输入训练好的人脸姿态回归模型和训练好的注视力回归模型，以得到人脸姿态角度值和人眼注视力角度值；
利用得到的人脸姿态角度值和人眼注视力角度值训练得到用户意愿检测模型。
2.根据权利要求1所述的方法，获取所述人脸图像的人脸姿态角度值和/或人眼注视力角度值，包括：
将所述人脸图像输入训练好的人脸姿态回归模型，以得到人脸姿态角度值；
将所述人脸图像或所述人脸图像中的人眼区域数据输入训练好的注视力回归模型，以得到人眼注视力角度值。
3.根据权利要求2所述的方法，
所述人脸姿态角度值包括俯仰、偏航、横滚三个方向的人脸姿态角度值；
所述人眼注视力角度值包括左眼注视力角度值和右眼注视力角度值；其中，所述左眼注视力角度值包括俯仰、偏航、横滚三个方向的角度值，所述右眼注视力角度值包括俯仰、偏航、横滚三个方向的角度值。
4.根据权利要求2所述的方法，将所述检测结果作为第一判断条件，判断所述人脸图像是否满足采集条件，包括：
如果所述用户意愿分数大于第一设定阈值，则判断所述人脸图像满足采集条件。
5.根据权利要求1所述的方法，将所述检测结果作为第一判断条件，以判断所述人脸图像是否满足采集条件，包括：
获取所述人脸图像的第二判断条件；
根据所述第一判断条件和所述第二判断条件，判断所述人脸图像是否满足采集条件。
6.根据权利要求5所述的方法，获取所述人脸图像的第二判断条件，具体包括：
将所述人脸图像输入相应的检测模型，以得到人脸图像质量分数、人脸图像清晰度检测分数，和/或人脸图像亮度检测分数，和/或人脸图像中人脸面积占比检测分数；
其中，人脸图像质量分数、人脸图像清晰度检测分数，和/或人脸图像亮度检测分数，和/或人脸图像中人脸面积占比检测分数，为所述第二判断条件；
其中，所述相应的检测模型为根据所述第二判断条件预先训练好的神经网络模型，所述神经网络模型能够根据输入的人脸图像输出相应的第二判断条件。
7.根据权利要求6所述的方法，根据所述第一判断条件和所述第二判断条件，判断所述人脸图像是否满足采集条件，包括：
为所述第一判断条件和所述第二判断条件分别分配相应的权重；
对所述第一判断条件和所述第二判断条件进行加权相加以得到采集分数；
如果所述采集分数大于第二设定阈值，则判断所述人脸图像满足采集条件。
8.根据权利要求1至7中任一项所述的方法，根据判断结果，确定是否采集所述人脸图像，包括：
如果所述人脸图像满足采集条件，则采集所述人脸图像。
9.根据权利要求1至7中任一项所述的方法，根据判断结果，确定是否采集所述人脸图像，包括：
如果所述人脸图像不满足采集条件，则发出提示信息引导用户调整姿态，以重新采集人脸视频数据。
10.一种人脸图像采集装置，包括：
采集模块，所述采集模块用于采集人脸视频数据；
提取模块，所述提取模块用于从所述人脸视频数据中提取预设数量帧人脸图像；
第一检测模块，所述第一检测模块用于对所述人脸图像进行用户意愿检测，得到检测结果；
判断模块，所述判断模块用于将所述检测结果作为第一判断条件，判断所述人脸图像是否满足采集条件；
确定模块，所述确定模块用于根据所述判断模块的判断结果，确定是否采集所述人脸图像；
其中，所述第一检测模块，包括：
训练好的人脸姿态回归模型，将所述人脸图像输入所述训练好的人脸姿态回归模型，以得到人脸姿态角度值；
训练好的注视力回归模型，将所述人脸图像或所述人脸图像中的人眼区域数据输入所述训练好的注视力回归模型，以得到人眼注视力角度值；
训练好的用户意愿检测模型，将所述人脸姿态角度值和/或人眼注视力角度值输入所述训练好的用户意愿检测模型，以得到用户意愿分数；
其中，将包含预先标注好人脸姿态角度值的人脸图像作为第一训练样本，以训练得到人脸姿态回归模型；
将包含预先标注好人眼注视力角度值的人眼图像作为第二训练样本，以训练得到注视力回归模型；
将包含预先标注为有意愿类的人脸图像和标注为无意愿类的人脸图像作为第三训练样本，并将所述第三训练样本分别输入训练好的人脸姿态回归模型和训练好的注视力回归模型，以得到人脸姿态角度值和人眼注视力角度值，利用得到的人脸姿态角度值和人眼注视力角度值训练得到用户意愿检测模型。
11.根据权利要求10所述的装置，
所述人脸姿态角度值包括俯仰、偏航、横滚三个方向的人脸姿态角度值；
所述人眼注视力角度值包括左眼注视力角度值和右眼注视力角度值；其中，所述左眼注视力角度值包括俯仰、偏航、横滚三个方向的角度值，所述右眼注视力角度值包括俯仰、偏航、横滚三个方向的角度值。
12.根据权利要求10所述的装置，所述判断模块用于将所述检测结果作为第一判断条件，判断所述人脸图像是否满足采集条件，包括：
如果所述用户意愿分数大于第一设定阈值，则判断所述人脸图像满足采集条件。
13.根据权利要求10所述的装置，所述装置还包括：
第二检测模块，所述第二检测模块用于检测所述人脸图像的第二判断条件；所述第二判断条件包括：人脸图像清晰度检测分数，和/或人脸图像亮度检测分数，和/或人脸图像中人脸面积占比检测分数；
其中，所述第二检测模块包括相应的检测模型，将所述人脸图像输入相应的检测模型，以得到人脸图像清晰度检测分数，和/或人脸图像亮度检测分数，和/或人脸图像中人脸面积占比检测分数；
其中，所述相应的检测模型为根据所述第二判断条件预先训练好的神经网络模型，所述神经网络模型能够根据输入的人脸图像输出相应的第二判断条件。
14.根据权利要求13所述的装置，所述判断模块用于将所述检测结果作为第一判断条件，判断所述人脸图像是否满足采集条件，包括：
所述判断模块根据所述第一判断条件和所述第二判断条件判断所述人脸图像是否满足采集条件。
15.根据权利要求14所述的装置，所述判断模块根据所述第一判断条件和所述第二判断条件判断所述人脸图像是否满足采集条件，包括：
对所述第一判断条件和所述第二判断条件进行加权相加以得到采集分数；
如果所述采集分数大于第二设定阈值，则判断所述人脸图像满足采集条件；其中，所述第一判断条件和所述第二判断条件预先分配有相应的权重。
16.根据权利要求10至15中任一项所述的装置，所述确定模块用于根据所述判断模块的判断结果确定是否采集所述人脸图像，包括：
如果所述人脸图像满足采集条件，则采集所述人脸图像。
17.根据权利要求10至15中任一项所述的装置，该装置还包括提示模块；
所述确定模块用于根据所述判断模块的判断结果确定是否采集所述人脸图像，包括：
如果所述人脸图像不满足采集条件，则所述提示模块发出提示信息引导用户调整姿态，以使所述采集模块重新采集人脸视频数据。
18.一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，使所述至少一个处理器能够执行权利要求1至9中任一项所述的人脸图像采集方法。
19.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现权利要求1至9中任一项所述的人脸图像采集方法。
CN202010384123.5A 2020-05-09 2020-05-09 一种人脸图像采集方法、装置和电子设备 Active CN111291737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010384123.5A CN111291737B (zh) 2020-05-09 2020-05-09 一种人脸图像采集方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010384123.5A CN111291737B (zh) 2020-05-09 2020-05-09 一种人脸图像采集方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111291737A CN111291737A (zh) 2020-06-16
CN111291737B true CN111291737B (zh) 2020-08-28

Family

ID=71029672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010384123.5A Active CN111291737B (zh) 2020-05-09 2020-05-09 一种人脸图像采集方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111291737B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767821B (zh) * 2020-06-23 2024-04-09 京东科技控股股份有限公司 对象被关注的识别方法、装置、设备及存储介质
CN114120386A (zh) * 2020-08-31 2022-03-01 腾讯科技（深圳）有限公司 人脸识别方法、装置、设备及存储介质
CN112287792B (zh) * 2020-10-22 2023-03-31 深圳前海微众银行股份有限公司 采集人脸图像的方法、装置及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646227B2 (en) * 2014-07-29 2017-05-09 Microsoft Technology Licensing, Llc Computerized machine learning of interesting video sections
CN104754218B (zh) * 2015-03-10 2018-03-27 广东欧珀移动通信有限公司 一种智能拍照方法及终端
CN109873952B (zh) * 2018-06-20 2021-03-23 成都市喜爱科技有限公司 一种拍摄的方法、装置、设备及介质
CN110570200B (zh) * 2019-08-16 2020-08-25 阿里巴巴集团控股有限公司 一种支付方法及装置

Also Published As

Publication number Publication date
CN111291737A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111291737B (zh) 一种人脸图像采集方法、装置和电子设备
Bainbridge The resiliency of image memorability: A predictor of memory separate from attention and priming
Guo et al. Driver drowsiness detection using hybrid convolutional neural network and long short-term memory
Loschky et al. What would Jaws do? The tyranny of film and the relationship between gaze and higher-level narrative film comprehension
Valuch et al. Using eye tracking to test for individual differences in attention to attractive faces
Smith et al. Attentional synchrony and the influence of viewing task on gaze behavior in static and dynamic scenes
Yang et al. Benchmarking commercial emotion detection systems using realistic distortions of facial image datasets
US10108852B2 (en) Facial analysis to detect asymmetric expressions
CN111553333B (zh) 人脸图像识别模型训练方法、识别方法、装置和电子设备
US10685218B2 (en) Parental advisory computer systems and computer-implemented methods of use thereof
CN107358157A (zh) 一种人脸活体检测方法、装置以及电子设备
Le et al. Eye blink detection for smart glasses
Magherini et al. Emotion recognition in the times of COVID19: Coping with face masks
Dantas et al. Recognition of emotions for people with autism: an approach to improve skills
Zelinsky Understanding scene understanding
Zhang et al. From Coarse Attention to Fine-Grained Gaze: A Two-stage 3D Fully Convolutional Network for Predicting Eye Gaze in First Person Video.
Krishnappa Babu et al. Blink rate and facial orientation reveal distinctive patterns of attentional engagement in autistic toddlers: a digital phenotyping approach
US20230237844A1 (en) Detecting emotional state of a user based on facial appearance and visual perception information
Monkaresi et al. Automatic natural expression recognition using head movement and skin color features
JP2017204280A (ja) ビデオフレームを選択する方法、システム及び装置
Borji et al. Bottom-up attention, models of
WO2022117096A1 (zh) 第一人称视角图像识别方法、装置及计算机可读存储介质
Lombardi et al. Psychological stress detection by 2d and 3d facial image processing
Min et al. Visual attention on human face
KR20130117624A (ko) 비주얼 큐를 이용하여 비디오 시퀀스에서 토킹 세그먼트를 검출하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40029455

Country of ref document: HK