CN111738243B - 人脸图像的选择方法、装置、设备及存储介质 - Google Patents

人脸图像的选择方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111738243B
CN111738243B CN202010863256.0A CN202010863256A CN111738243B CN 111738243 B CN111738243 B CN 111738243B CN 202010863256 A CN202010863256 A CN 202010863256A CN 111738243 B CN111738243 B CN 111738243B
Authority
CN
China
Prior art keywords
face image
quality
face
score
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010863256.0A
Other languages
English (en)
Other versions
CN111738243A (zh
Inventor
陈星宇
张睿欣
汪韬
李绍欣
黄渊
程盼
李广源
阳斯拯
李季檩
吴永坚
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010863256.0A priority Critical patent/CN111738243B/zh
Publication of CN111738243A publication Critical patent/CN111738243A/zh
Application granted granted Critical
Publication of CN111738243B publication Critical patent/CN111738243B/zh
Priority to PCT/CN2021/107182 priority patent/WO2022042135A1/zh
Priority to US17/964,730 priority patent/US20230030267A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本申请公开了一种人脸图像的选择方法、装置、设备及存储介质，属于人工智能技术领域。所述方法包括：在每获取到一帧人脸图像之后，逐帧检测人脸图像是否符合初步质量筛选条件；在检测到符合初步质量筛选条件的第一人脸图像时，确定第一人脸图像的质量整体分；若第一人脸图像的质量整体分大于一级阈值，则将第一人脸图像送入人脸识别流程。本申请实施例提供的技术方案中，首先对人脸图像进行初步筛选，提高了人脸优选过程的灵活度，之后再确定通过初步筛选的人脸图像的质量整体分，在人脸图像的质量整体分达到一级阈值的情况下即可将该人脸图像送入人脸识别流程，有效缩短整个人脸识别过程的耗时，提升用户体验。

Description

人脸图像的选择方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域，特别涉及一种人脸图像的选择方法、装置、设备及存储介质。
背景技术
随着人工智能技术的研究和进步，人工智能技术在多个领域展开应用。
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，是人工智能技术中重要的一环。在人脸识别检测前往往需要先经过人脸优选的过程，通常设备会缓存固定帧数的人脸图像，并从中选取一幅质量较好的图像作为人脸识别的对象。
传统的人脸优选方法耗时长、灵活度差。
发明内容
本申请实施例提供了一种人脸图像的选择方法、装置、设备及存储介质，能够有效减少人脸优选过程所需时间，提升人脸优选过程的灵活性。
根据本申请实施例的一个方面，提供了一种人脸图像的选择方法，所述方法包括：
在每获取到一帧人脸图像之后，逐帧检测所述人脸图像是否符合初步质量筛选条件；
在检测到符合所述初步质量筛选条件的第一人脸图像时，确定所述第一人脸图像的质量整体分，所述质量整体分用于表征人脸图像的整体质量；
若所述第一人脸图像的质量整体分大于一级阈值，则将所述第一人脸图像送入人脸识别流程。
根据本申请实施例的一个方面，提供了一种人脸图像的选择装置，所述装置包括：
质量初检模块，用于在每获取到一帧人脸图像之后，逐帧检测所述人脸图像是否符合初步质量筛选条件；
整体分确定模块，用于在检测到符合所述初步质量筛选条件的第一人脸图像时，确定所述第一人脸图像的质量整体分，所述质量整体分用于表征人脸图像的整体质量；
图像确定模块，用于若所述第一人脸图像的质量整体分大于一级阈值，则将所述第一人脸图像送入人脸识别流程。
根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述人脸图像的选择方法。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述人脸图像的选择方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述人脸图像的选择方法。
本申请实施例提供的技术方案可以带来如下有益效果：
通过逐帧检测的方式对人脸图像进行初步筛选，提高了人脸优选过程的灵活度，之后再确定通过初步筛选的人脸图像的质量整体分以反映人脸图像的整体质量，在人脸图像的整体质量合格的情况下即可将该人脸图像送入人脸识别流程，有效减少人脸优选所需时间，从而有助于缩短整个人脸识别过程的耗时，提升用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的应用程序运行环境的示意图；
图2是本申请一个实施例提供的人脸图像的选择方法的流程图；
图3示例性示出了一种将第一人脸图像送入人脸识别流程的界面示意图；
图4示例性示出了一种停止人脸筛选流程时显示提示信息的界面示意图；
图5是本申请另一个实施例提供的人脸图像的选择方法的流程图；
图6示例性示出了一种人脸图像的初步筛选过程的示意图；
图7示例性示出了一种通过第一打分模型确定质量整体分流程的示意图；
图8示例性示出了一种根据质量归因分显示调整信息的界面示意图；
图9示例性示出了一种人脸质量评估基础能力的示意图；
图10示例性示出了一种人脸图像的选择方案的示意图；
图11示例性示出了一种人脸图像的选择方案对比的示意图；
图12是本申请一个实施例提供的第一打分模型的训练方法的流程图；
图13是本申请一个实施例提供的第二打分模型的训练方法的流程图；
图14示例性示出了一种训练第一打分模型以及第二打分模型的示意图；
图15示例性示出了一种对冲突样本的标签信息进行修正处理的示意图；
图16是本申请一个实施例提供的人脸图像的选择装置的框图；
图17是本申请另一个实施例提供的人脸图像的选择装置的框图；
图18是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以实现成为一个人脸识别系统。该方案实施环境可以包括：终端10和服务器20。
终端10可以是诸如手机、平板电脑、多媒体播放设备、可穿戴设备、PC（PersonalComputer）、人脸支付终端、人脸签到终端、智能摄像机等电子设备。终端10可以配置或者连接摄像头，通过该摄像头采集人脸视频数据。终端10中可以安装运行有应用程序的客户端，该应用程序可以包含有人脸识别功能。在本申请实施例中，对该应用程序的类型不作限定，如其可以是社交类应用程序、支付类应用程序、监控类应用程序、即时通信类应用程序、视频类应用程序、新闻资讯类应用程序、音乐类应用程序、购物类应用程序等。
服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。服务器20可以是上述应用程序的后台服务器，用于为该应用程序提供后台服务。
终端10和服务器20之间可以通过网络进行通信，本申请在此不做限制。
本申请实施例提供的人脸图像的选择方法，各步骤的执行主体可以是服务器20，也可以是终端10（如终端10中运行的应用程序的客户端），还可以是由终端10和服务器20交互配合执行。为了便于说明，在下述方法实施例中，仅以各步骤的执行主体为计算机设备进行介绍说明，但对此不构成限定。
在一个示例中，以刷脸支付作为典型应用举例说明，刷脸支付的应用场景包括但不限于自助终端支付场景、移动终端支付场景以及无人零售商店场景。在自助终端支付场景中，上述方法可应用于设置安装在大型商业综合体、超市、加油站、医院、自助售货机、校园等场所的收银设备中。在移动终端支付场景下，上述方法可应用于智能手机、可穿戴设备等移动终端中。在无人零售商店场景下，上述方法应该应用于无人零售商店的终端上，可通过在买单流程中增加人脸支付渠道，用户刷脸即可完成支付，节约了排队结账的时间，大幅提升用户体验。
本申请技术方案涉及人工智能技术领域和云技术领域，下面对此进行介绍说明。
AI（Artificial Intelligence，人工智能）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR（Optical Character Recognition，光学字符识别）、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
ML（Machine Learning，机器学习）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
云技术（Cloud technology）是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
云计算(Cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
按照逻辑功能划分,在IaaS层上可以部署PaaS(Platform as a Service,平台即服务)层，PaaS层之上再部署SaaS (Software as a Service,软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。
人工智能云服务，一般也被称作是AIaaS（AI as a Service，中文为“AI即服务”）。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。
随着人工智能技术和云技术的研究和进步，人工智能技术和云技术在多个领域展开研究和应用，上述人脸识别环境中的终端，如刷脸支付终端可以通过网络与云平台相连。终端中还设置有基于AI技术训练的人脸选择模块，可以执行本申请提供的人脸图像的选择方法，达到快速优选人脸图像的效果。
请参考图2，其示出了本申请一个实施例提供的人脸图像的选择方法的流程图。该方法可以包括以下几个步骤（201~203）。
步骤201，在每获取到一帧人脸图像之后，逐帧检测人脸图像是否符合初步质量筛选条件。
上述人脸图像是指包含人脸的待检测图像。可选地，上述人脸图像可从人脸视频流中获取，上述人脸视频流中的一个图像帧对应一张人脸图像。可选地，人脸图像是人脸视频流中的一个图像帧，或者人脸图像是图像帧中包含人脸的一部分图像区域。可选地，人脸视频流可以通过计算机设备自身进行采集得到。
上述初步质量筛选条件是用于初步判断人脸图像质量的条件，作为初步筛选人脸图像的依据。在人脸图像采集的开始阶段，人脸图像的采集设备，比如相机或者终端中的摄像头，往往需要经过自动曝光（Automatic Exposure，AE）的调节过程，使得人脸图像具有良好的亮度效果。上述自动曝光是相机根据光线的强弱自动调整曝光量，防止曝光过度或者不足。自动曝光通过调整镜头孔径，传感器曝光时间，传感器模拟增益和传感器/ ISP（Image Signal Processing，图像信号处理）数字增益，使得在不同的照明条件和场景中实现欣赏亮度级别或所谓的目标亮度级别，从而捕获的视频或图像既不太暗也不太亮。但在自动曝光的调节过程中采集的人脸图像往往因亮度问题而导致这部分人脸图像的质量不佳，因此通常不选取自动曝光的调节过程中采集的人脸图像作为人脸识别的图像，以此避免影响人脸识别的准确性。通过设置初步质量筛选条件可以过滤掉自动曝光的调节过程中采集的人脸图像，进而筛选出自动曝光调节过程结束后的人脸图像，减轻后续筛选人脸图像步骤的计算量。
步骤202，在检测到符合初步质量筛选条件的第一人脸图像时，确定第一人脸图像的质量整体分。
上述第一人脸图像是指上述人脸视频流中第一个符合初步质量筛选条件的图像帧对应的人脸图像，例如，自动曝光调节过程结束后采集的第一帧人脸图像。
上述质量整体分用于表征人脸图像的整体质量。可选地，上述质量整体分与人脸图像的整体质量呈正相关关系，上述质量整体分越高，相应地，人脸图像的整体质量越好。
步骤203，若第一人脸图像的质量整体分大于一级阈值，则将第一人脸图像送入人脸识别流程。
上述一级阈值是预设值，用于作为是否将第一人脸图像送入人脸识别流程的判定依据。若第一人脸图像的质量整体分大于一级阈值，则说明第一人脸图像的整体质量良好，达到用作人脸识别的质量要求，可以将该第一人脸图像作为人脸识别的图像，即可送入人脸识别流程。上述一级阈值的设定可结合实际情况，根据经验或者实验数据进行设定，本申请实施例对一级阈值的取值以及取值依据不作限定。上述人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。
可选地，本申请实施例提供的人脸图像的选择方法可以应用于多种涉及人脸质量评估的场景，包括但不限于刷脸支付、摄像头成像质量审核、或者证件照质量审核等诸多应用场景。这里，仅以刷脸支付为例对上述内容作示例性说明，在刷脸支付过程中，可以根据用户的配合程度，将刷脸支付场景大致划分为三种：配合场景，半配合场景和非配合场景。上述配合场景是指大部分用户在支付时都是正常配合状态，因此支付设备采集到的人脸图像质量较好，可以作为人脸识别的图像。上述半配合场景是指由于环境或不可抗力因素，导致部分场景下采集到的用户支付时的人脸图像的整体质量不佳的场景。上述非配合场景是指用户在戴墨镜，或者扭头角度过大等非配合状态下进行刷脸支付的场景。此时通过设置一级阈值作为判定刷脸支付场景是否为配合场景的依据，只需进行一次判断，即人脸图像的质量整体分是否大于一级阈值，即可确定刷脸支付场景。若人脸图像的质量整体分大于一级阈值，则可确定用户是在配合场景下进行刷脸支付，此时采集的人脸图像可以送入人脸识别流程做人脸识别检测，保证大部分用户的人脸图像一次通过，缩短人脸图像的优选过程所耗时间。
可选地，若第一人脸图像的质量整体分大于或者等于一级阈值，则将第一人脸图像送入人脸识别流程。在一个示例中，如图3所示，其示例性示出了一种将第一人脸图像送入人脸识别流程的界面示意图。在显示界面30中显示有人脸识别处理的提示信息31以及第一人脸图像32。可选地，将第一人脸图像送入人脸识别流程前，人脸图像圆形显示区域33中显示动态的人脸视频流（图中未示出），将第一人脸图像送入人脸识别流程时，人脸图像圆形显示区域33中静止显示第一人脸图像32。
在示例性实施例中，上述步骤203之后还包括如下步骤。
步骤204，若第一人脸图像的质量整体分小于二级阈值，则停止人脸筛选流程，显示提示信息。
上述二级阈值是预设值，用于作为是否停止人脸筛选流程的判定依据。其中，二级阈值小于一级阈值。若第一人脸图像的质量整体分低于二级阈值，则说明第一人脸图像的整体质量较差，不能达到用作人脸识别的质量要求，即可停止人脸筛选流程。上述二级阈值的设定可结合实际情况，根据经验或者实验数据进行设定，本申请实施例对二级阈值的取值以及取值依据不作限定。同样，这里以刷脸支付为例对上述内容作示例性说明，通过设置二级阈值作为判定刷脸支付场景是否为非配合场景的依据，可有效拦截低质量的人脸图像。在刷脸支付的实际应用过程中，二级阈值往往较低，主要是针对一些非法的恶意网络攻击，通过设置二级阈值可以有效拦截这些恶意网络攻击所携带的图片或者用户在不配合状态下采集到的低质量人脸图像。可选地，二级阈值也可等于一级阈值。
上述提示信息用于提示用户重新获取人脸图像，以及提示用户此时人脸筛选流程停止。在一个示例中，如图4所示，其示例性示出了一种停止人脸筛选流程时显示提示信息的界面示意图。在显示界面40中显示提示信息框41，在提示信息框中显示有提示停止人脸筛选流程时的信息内容42，提示信息框41中还包括退出控件43以及重新检测控件44。
综上所述，本申请实施例提供的技术方案，通过逐帧检测的方式对人脸图像进行初步筛选，提高了人脸优选过程的灵活度，之后再确定通过筛选的人脸图像的质量整体分以反映人脸图像的整体质量，在人脸图像的整体质量合格的情况下即可将该人脸图像送入人脸识别流程，有效减少人脸优选所需时间，从而有助于缩短整个人脸识别过程的耗时，提升用户体验。
另外，在人脸图像的整体质量不合格的情况下，停止人脸筛选流程，有效拦截这些恶意网络攻击所携带的图片或者用户在不配合状态下采集到的低质量人脸图像。
请参考图5，其示出了本申请另一个实施例提供的人脸图像的选择方法的流程图。该方法可以包括以下几个步骤（501~517）。
步骤501，在每获取到一帧人脸图像之后，获取人脸图像的光线分。
上述光线分用于表征人脸图像的亮暗程度。可选地，光线分是判断上一实施例中所提及的自动曝光的调节过程是否结束的依据。
步骤502，根据人脸图像的光线分，检测人脸图像是否符合初步质量筛选条件。
可选地，通过自适应判断的方式检测人脸图像是否符合初步质量筛选条件。可选地，通过将人脸图像的光线分与光线分阈值进行比较检测人脸图像是否符合初步质量筛选条件。若人脸图像的光线分大于或者等于光线分阈值，则人脸图像符合初步质量筛选条件；若人脸图像的光线分低于光线分阈值，则人脸图像不符合初步质量筛选条件。上述光线分阈值是预设值，可根据自动曝光的参数、图像采集设备的参数或者环境参数中至少一项来确定，本申请实施例对此不作限定。
可选地，上述步骤501-502是人脸图像的初步筛选过程。在一个示例中，如图6所示，其示例性示出了一种人脸图像的初步筛选过程的示意图。图6中显示了人脸视频流61。其中，第六帧人脸图像62为符合初步质量筛选条件的第一帧人脸图像，此时可以判断人脸图像的采集设备的自动曝光调节过程结束，可以对检测第六帧图像62的质量整体分，若第六帧图像62的质量整体分高于一级阈值，则可判定人脸质量合格，进而提前结束人脸优选的过程。但通常设备是等待n帧63，选择最后一帧作为开始人脸优选过程的开始，无法判断人脸图像的采集设备的自动曝光调节状态，进而导致耗时增多。
步骤503，在检测到符合初步质量筛选条件的第一人脸图像时，调用第一打分模型。
上述第一打分模型是用于确定质量整体分的神经网络模型。可选地，上述第一打分模型是以残差网络（Residual Network，ResNet）为基础，结合压缩和激励网络（Squeeze-and-Excitation Networks，SENet）、分组卷积（Group Convolution）、非对称卷积网络(Asymmetric ConvolutionNet,ACNet)等结构，所构成的神经网络模型。
上述残差网络的卷积神经网络，其特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
上述分组卷积是对卷积神经网络输入的特征图（feature map）按照通道（channel）进行分组，然后每组分别卷积。通过分组卷积的方式，可使得神经网络模型中的参数量有效减少的同时，获得更好的模型应用效果。
上述非对称卷积网络是通过非对称卷积块（Asymmetric Convolution Blocks，ACB），替换标准方框卷积，如3×3的卷积块，构建的卷积神经网络。具体而言，对于
Figure DEST_PATH_IMAGE001
×
Figure 300045DEST_PATH_IMAGE001
;卷积，可构建一个包含三个并行分支
Figure 545082DEST_PATH_IMAGE001
×
Figure 652715DEST_PATH_IMAGE001
、1×
Figure 251187DEST_PATH_IMAGE001
、
Figure 626411DEST_PATH_IMAGE001
×1的ACB，三个分支的输出通过相加的方式来丰富特征空间。非对称卷积网络可在不引入额外参数以及不增加计算耗时的情况下，提升模型的准确性与表达力。
可选地，在检测到符合初步质量筛选条件的第一人脸图像时，得到第一人脸图像对应的梯度图像，并调用第一打分模型，将第一人脸图像以及第一人脸图像对应的梯度图像输入至第一打分模型中。上述梯度图像是指包含第一人脸图像的梯度信息的图像。可选地，图像可看成是二维离散函数，图像梯度其实就是对这个二维离散函数的求导。可选地，通过sobel算子对第一人脸图像进行处理，得到与第一人脸图像对应的梯度图像。
步骤504，通过第一打分模型确定第一人脸图像的质量整体分。
将第一人脸图像输入至第一打分模型，通过第一打分模型输出第一人脸图像的质量整体分。
可选地，第一人脸图像输入至第一打分模型之后，第一打分模型基于第一人脸图像获取第一人脸图像的通道信息，以及与第一人脸图像对应的特征图。可选地，第一打分模型基于第一人脸图像的通道信息以及与第一人脸图像对应的特征图作卷积处理。可选地，第一打分模型中的激活函数对输入内容进行处理，比如线性整流函数（Rectified LinearUnit, ReLU）。可选地，通过第一打分模型对输入数据作池化处理。可选地，上述第一打分模型对第一人脸图像进行处理后，输出第一人脸图像的质量整体分。
可选地，将第一人脸图像以及第一人脸图像对应的梯度图像输入至第一打分模型，通过第一打分模型输出第一人脸图像的质量整体分。这样，通过在输入模型时加入人脸图像对应的梯度图的先验信息，有利于提升模型对人脸图像细节的关注度，使得输出的人脸图像的质量整体分更加准确。
在一个示例中，如图7所示，其示例性示出了一种通过第一打分模型确定质量整体分流程的示意图。图7中示出了针对人脸图像71进行梯度图先验的过程72，以及结合压缩和激励网络的网络结构73，还有非对称卷积网络的网络结构74。
步骤505，判断第一人脸图像的质量整体分是否大于一级阈值；若是，则执行下述步骤506；若否，则执行下述步骤507。
步骤506，将第一人脸图像送入人脸识别流程。
步骤507，判断第一人脸图像的质量整体分是否小于二级阈值，若是，则结束人脸筛选流程；若否，则执行下述步骤508。
步骤508，获取下一帧人脸图像的质量整体分。
其中，初始的下一帧人脸图像是指第一人脸图像的下一帧人脸图像。可选地，下一帧人脸图像是当前人脸图像在人脸视频流中对应的图像帧的下一图像帧对应的人脸图像。
可选地，在第一人脸图像的质量整体分小于一级阈值的情况下，将第一人脸图像存入缓存区，并获取下一帧人脸图像的质量整体分。上述缓存区是指暂时置放输出或输入数据的内存。
步骤509，判断下一帧人脸图像的质量整体分是否大于一级阈值；若是，则执行下述步骤510；若否，则执行下述步骤511。
步骤510，将下一帧人脸图像送入人脸识别流程。
步骤511，判断下一帧人脸图像的质量整体分是否小于二级阈值，若是，则结束人脸筛选流程；若否，则执行下述步骤512。
可选地，在下一帧人脸图像的质量整体分小于一级阈值的情况下，将下一帧人脸图像存入缓存区，并再次从获取下一帧人脸图像的质量整体分的步骤开始执行。
在示例性实施例中，上述步骤511之后还包括如下步骤。
步骤512，判断是否存在连续n帧人脸图像的质量整体分小于一级阈值且高于二级阈值，若是，则执行下述步骤513，若否，则再次从上述步骤508开始执行。
步骤513，从连续n帧人脸图像中选择质量整体分最高的第二人脸图像。
上述n为大于1的正整数。可选地，n的值为预设值，可根据实际情况对n取值，本申请实施例对此不作限定。可选地，n为5。
可选地，上述步骤512-513还可以由如下方式实现：若缓存区中的n帧人脸图像的质量整体分小于一级阈值，则从缓存区中的n帧人脸图像中选择质量整体分最高的第二人脸图像。
步骤514，确定第二人脸图像的质量归因分。
针对一级阈值与二级阈值的介绍请参考上一实施例中有关一级阈值与二级阈值的介绍内容，此处不再赘述。此处针对二级阈值小于一级阈值的情况。
上述质量归因分包括多个质量参考维度上的质量分数，将人脸图像的质量体现在多个质量参考维度上，通过质量归因分可以直观看出该人脸图像在某一质量参考维度上的质量的好坏程度。上述质量参考维度是衡量人脸图像质量好坏的参考分量，用于更加细化地评价人脸图像质量。可选地，质量参考维度包括角度维度、模糊维度、遮挡维度以及光线维度中至少一个维度。
在示例性实施例中，上述步骤514中确定第二人脸图像的质量归因分的过程可由如下步骤实现。
步骤514a，调用第二打分模型，第二打分模型是用于确定质量归因分的机器学习模型。
第二打分模型是用于确定质量归因分的神经网络模型。上述第二打分模型的结构与上述第一打分模型结构类似，关于第二打分模型的结构可参考上述第一打分模型所述内容，这里不再赘述。
步骤514b，通过第二打分模型确定第二人脸图像的质量归因分。
可选地，上述质量归因分包括角度分、模糊分、遮挡分以及光线分中至少一种。其中，角度分用于表征人脸图像的人脸角度，模糊分用于表征人脸图像的模糊程度，遮挡分用于表征人脸图像的遮挡情况，光线分用于表征人脸图像的亮暗程度。
可选地，上述角度分、模糊分、遮挡分以及光线分与图像质量具有相关关系，至于具体具有何种相关关系，比如正相关关系或者负相关关系，可根据实际情况来制定，本申请实施例对此不作限定。
步骤515，判断第二人脸图像的质量归因分是否符合条件，若是，则执行下述步骤516；若否，则执行下述步骤517。
步骤516，将第二人脸图像送入人脸识别流程。
可选地，上述第二人脸图像的质量归因分符合条件是指任意项质量归因分均符合与其对应的条件。这里以质量归因分包括角度分、模糊分、遮挡分以及光线分为例进行说明，第二人脸图像的质量归因分符合条件便是指角度分、模糊分、遮挡分以及光线分均符合各自对应的阈值条件，例如角度分符合角度分阈值条件，且模糊分符合模糊分阈值条件，且遮挡分符合遮挡分阈值条件，且光线分符合光线分阈值条件。
步骤517，根据质量归因分显示调整信息。上述第二人脸图像的质量归因分不符合条件是指任一项质量归因分不符合条件，例如质量归因分包括角度分、模糊分、遮挡分以及光线分，其中只要有一项的分数不符合与其对应的阈值条件，即可认定第二人脸图像的质量归因分不符合条件。上述调整信息是指提示用户做出调整以提升人脸图像质量的信息。在一个示例中，如图8所示，其示例性示出了一种根据质量归因分显示调整信息的界面示意图。图8中示出了3种显示调整信息的界面81、82以及83。在界面81中显示的调整信息84的内容是请不要遮挡面部；在界面82中显示的调整信息85的内容是请摘掉眼镜或帽子；在界面83中显示的调整信息86的内容是请保持脸部端正。
在一个示例中，如图9所示，其示例性示出了一种人脸质量评估基础能力的示意图。图9中人脸图像中人脸大角度的情况至正脸的情况，其角度分是随之增加的。人脸图像由模糊至清晰的情况下，其模糊分也随之逐渐增加。人脸图像由存在严重遮挡的场景至无遮挡的场景，其遮挡分与是随之增加的。人脸图像由欠曝光、正常至过曝光的情况下，其光照分也是随之增加的。
在一个示例中，如图10所示，其示例性示出了一种人脸图像的选择方案的示意图。其中，在配合场景下进行人脸优选的过程体现在图10中虚线框1010所圈出的部分，在半配合场景下进行人脸优选的过程体现在图10中虚线框1020所圈出的部分，此时需要判断人脸图像的质量归因分，依次判断人脸图像的光线分、模糊分、角度分以及遮挡分，其中有任一项质量归因分不合格，便可认定此时处于非配合场景，在非配合场景下进行人脸优选的过程主要体现在图10中虚线框1030所圈出的部分，此时设备根据质量归因分提示用户作出相应的调整，例如光线过亮、光线过暗、人脸模糊、人脸遮挡以及人脸大角度等提示信息。其中，因人脸遮挡与人脸大角度在某些情况下较为类似，可通过比较角度分与遮挡分的大小关系，确定此时导致人脸图像质量较低的原因，若角度分大于遮挡分，可取定此时存在人脸扭转角度过大的问题，若角度分小于遮挡分，则可确定此时存在人脸遮挡的问题。
下面介绍本申请技术方案的一种典型实施方式，进而对本申请技术方案所带来的有益效果作充分说明。以刷脸支付场景为例，完成人脸识别的完整过程通常包括三个阶段，分别是视频取流阶段、人脸优选阶段以及人脸识别阶段。
常规技术方案在视频取流阶段所采用的方法是，在采集到的人脸视频流中过滤掉固定帧数的人脸图像之后，再进入人脸优选阶段判断人脸图像的质量，以此过滤掉图像采集设备在自动曝光调节状态下所采集的质量不佳的人脸图像。比如固定过滤人脸视频流的前20帧人脸图像，从第21帧人脸图像开始进入人脸优选过程。而实际的刷脸支付场景大多是配合场景，图像采集设备的自动曝光调节很短，常规技术方案无法自行判断自动曝光调节已经结束，仍是过滤固定帧数的人脸图像后开始人脸优选，会浪费部分有用的人脸图像帧，从而导致耗时增长。而本申请技术方案在视频取流阶段所采用的方法是根据图像亮度自适应判断图像采集设备的自动曝光调节状态，只要存在亮度符合条件的人脸图像，即可判断该人脸图像的质量。比如，自动曝光调节过程在第8帧的时候就已结束，本申请技术方案通过自适应判断即可确定第8帧的人脸图像亮度符合条件，进而判断第8帧的人脸图像质量，无需等到第21帧再开始，在视频取流阶段有效减少一半以上耗时。
常规技术方案在人脸优选阶段所采用的方法是，从人脸视频流中缓存固定帧数的人脸图像进行检测，从中优选一帧质量好的人脸图像，若该人脸图像无法通过人脸识别再从人脸视频流中缓存固定帧数的人脸图像，并重复执行上述步骤，最终将选取的图像送入人脸识别流程。比如，从人脸视频流中缓存第21- 25帧的人脸图像，分别检测这五帧人脸图像的质量，之后选取一张质量好的人脸图像或者继续缓存后面五帧人脸图像。而本申请技术方案在人脸优选阶段所采用的方法是先根据整体质量逐帧计算人脸图像的质量整体分，只要人脸图像的质量整体分高于阈值即可送入人脸识别流程，若出现连续n帧人脸图像的质量整体分低于阈值的情况，可从多个维度计算其中质量整体分最高的人脸图像的质量归因分，分析人脸图像质量低的原因，并提示用户作出相应调整，提升用户体验并培养用户正确的使用习惯。比如，在第8帧的人脸图像亮度符合条件时，计算第8帧人脸图像的质量整体分，若第8帧人脸图像的质量整体分高于阈值即可将第8帧人脸图像送入人脸识别流程。
这里还可以仅对人脸优选阶段进行对比，假设常规技术方案与本申技术方案的人脸优选流程在人脸视频流中的起始位置相同，均是第21帧，常规技术方案取第21- 25帧判断五帧的人脸质量，而本申请技术方案是逐帧检测，立即从第21帧开始计算质量整体分，若第21帧为质量较佳的人脸图像，本申请即可立即将第21帧人脸图像送入人脸识别流程，而常规技术需要计算五帧再将第21帧选出，再送入人脸识别流程，此情况之下本申请技术方案比常规技术方案的速度快5倍，即使是最差情况也和常规方案的检测次数相似，因此可以有效提升人脸优选速度，最终缩短完整人脸识别过程所耗时长。
这里可参见表1所提供的实验统计数据，表1从消耗时长的角度对本申请技术方案和常规技术方案作了对比。经实验统计发现，应用常规技术方案完成刷脸支付所需消耗时长大约在3.05秒左右，应用本申请技术方案完成刷脸支付所需消耗时长大约在1.37秒左右，相比于常规技术方案，本申请技术方案将刷脸支付时间缩短了一半以上。
表1
方案 常规方案 本申请
消耗时长（秒） 3.05左右 1.37左右
在一个示例中，如图11所示，其示例性示出了一种人脸图像的选择方案对比的示意图。传统技术方案1102中是针对自动曝光调节过程所采用的方案是固定过滤20帧；针对判断人脸图像质量的所采用的方案是缓存5帧，优选1帧，以逐帧的方式判断质量样本，拦截效果差；而本实施例提供的技术方案1101针对自动曝光调节过程所采用的方案是自适应判断AE结束时间；针对判断人脸图像质量的所采用的方案是逐帧判断图像质量，高于阈值则送去识别；并且使用质量归因分，可覆盖角度、模糊、遮挡、光线维度去判断人脸图像质量，效果明显优于常规方案。
综上所述，本申请实施例提供的技术方案将图像亮度合格作为满足初步筛选的条件，之后再通过对第一打分模型输出人脸图像的质量整体分，在连续多帧人脸图像的质量整体分小于一级阈值的情况下，通过第二打分模型输出人脸图像的质量归因分，可从多个维度判断人脸图像质量，在质量归因分满足条件的情况下，也可将该人脸图像送入人脸识别流程，有效减少人脸优选所需时间。
另外，在质量归因分不满足条件的情况下，还可以根据质量归因分分析出人脸图像质量不达标的原因所在，提示用户做出相应调整。
在示例性实施例中，如图12所示，第一打分模型的训练方法包括以下几个步骤（1201~1204）。
步骤1201，获取训练样本。
训练样本包括样本人脸图像以及与样本人脸图像对应的标准人脸图像。上述样本人脸图像是包含样本人脸的图像。上述与样本人脸图像对应的标准人脸图像是指用于作为参照的样本人脸对应的高质量图像。可选地，样本人脸图像是包含样本人脸的生活照片。可选地，标准人脸图像是样本人脸对应的证件照片。
步骤1202，获取样本人脸图像与标准人脸图像之间的相似度。
上述相似度可体现上述样本人脸图像与标准人脸图像两者之间的相似性，一般通过计算样本人脸图像与标准人脸图像各自对应的特征向量之间的距离确定。可选地，上述步骤1102包括如下几个子步骤。
步骤1202a，对样本人脸图像进行特征识别处理，得到样本人脸图像的特征信息。
上述特征识别处理是指识别样本人脸图像中样本人脸的特征信息的处理，上述样本人脸图像的特征信息反映样本人脸的信息丰富度。
可选地，通过人脸特征识别模型对样本人脸图像进行特征识别处理，得到样本人脸图像的特征。上述人脸特征识别模型是用于识别人脸特征信息的数学模型。
步骤1202b，对标准人脸图像进行特征识别处理，得到标准人脸图像的特征信息。可选地，通过人脸特征识别模型对标准人脸图像进行特征识别处理，得到标准人脸图像的特征。
步骤1202c，基于样本人脸图像的特征信息以及标准人脸图像的特征信息，得到样本人脸图像与标准人脸图像之间的相似度。
对样本人脸图像的特征信息以及标准人脸图像的特征信息作比较处理，计算样本人脸图像与标准人脸图像之间的相似度。上述比较处理是指对比样本人脸图像的特征信息以及标准人脸图像的特征信息中的相似性的处理过程。可选地，通过计算样本人脸图像的特征与标准人脸图像的特征之间的距离，反映样本人脸图像与标准人脸图像之间的相似度。可选地，上述样本人脸图像的特征向量与标准人脸图像的特征向量之间的距离包括欧式距离（Eucledian Distance）、曼哈顿距离（Manhattan Distance）、明可夫斯基距离（MinkowskiDistance）、余弦相似度（Cosine Similarity）等反映两个特征向量之间相似度的距离，本申请实施例对此不作限定。可选地，通过皮尔森相关系数(Pearson CorrelationCoefficient)度量样本人脸图像与标准人脸图像之间的相似性。在统计学中，皮尔逊相关系数又称皮尔逊积矩相关系数（Pearson Product-Moment Correlation Coefficient，简称 PPMCC或PCCs），是用于度量两个变量之间的相关程度（线性相关），其值介于-1与1之间。两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商。
上述相似度用于确定样本人脸图像的第一标签信息。第一标签信息是指质量整体分的标签信息。可选地，将相似度作为样本人脸图像的质量整体分，并记录为样本人脸图像的第一标签信息，反映样本人脸图像的整体质量。样本人脸图像的相似度越高，样本人脸图像的质量整体分越高，样本人脸图像的整体质量就越好。
可选地，将样本人脸图像的特征记为f(Ik)。将标准人脸图像的特征记为f(I0)。将样本人脸图像与标准人脸图像之间的相似度记为Sk，将样本人脸图像的标签信息的质量整体分记为Qk，通过下式可以得到样本人脸图像与标准人脸图像之间的相似度Sk以及样本人脸图像的标签信息的质量整体分记为Qk：
Figure DEST_PATH_IMAGE002
通过将样本人脸图像与标准人脸图像之间的相似度作为样本人脸图像的标签信息，这样可以直接从通过特征识别处理中自动生成样本人脸图像的质量整体分的标签，省去了样本人脸图像的标注成本，并以此训练第一打分模型，最终可以在无标准人脸图像参考的情况下，得到一张图片的质量整体分。
步骤1203，确定样本人脸图像的第一标签信息。
可选地，将上述相似度，即样本人脸图像的质量整体分作为样本人脸图像的第一标签信息。
步骤1204，基于样本人脸图像的第一标签信息，对第一打分模型进行训练。
可选地，将标记有第一标签信息的样本人脸图像输入至第一打分模型中，通过第一打分模型输出样本人脸图像的预测质量整体分。上述预测质量整体分是指通过第一打分模型输出的对样本人脸图像进行预测的质量整体分。
可选地，通过设置与第一打分模型对应的损失函数，对第一打分模型进行约束，提升第一打分模型的准确性。可选地，将均方误差（Mean-Square Error, MSE）与皮尔森相关系数相结合，构造与第一打分模型对应的损失函数，这样可基于识别的样本人脸图像的特征的线性回归以及区间保序的方式来对预测质量整体分进行拟合。可选地，该损失函数可由如下公式体现：
Figure DEST_PATH_IMAGE003
其中，X为预测的质量整体分，Y为标签值，
Figure DEST_PATH_IMAGE004
、
Figure DEST_PATH_IMAGE005
为均值，
Figure DEST_PATH_IMAGE006
为方差。通过MSE损失函数对质量整体分进行约束，并且为了保证整体的一致有序性，加入了皮尔逊相关系数约束样本的整体保序性。相应的，损失函数的值越低，与其对应的第一打分模型的准确性越好，即样本人脸图像的标签信息中的质量整体分与预测质量整体分越接近。
在示例性实施例中，如图13所示，第二打分模型的训练方法包括以下几个步骤（1301~1302）。
步骤1301，获取训练样本。
训练样本包括样本人脸图像以及样本人脸图像的第二标签信息。第二标签信息包括多个质量参考维度上的质量档位信息。上述质量档位信息用于反映样本人脸图像在某一质量参考维度上的质量好坏程度。可选地，将每个质量参考维度对应的质量档位划分为五档，即在每个质量参考维度下将样本人脸图像划分为五个档次。仅通过标记样本人脸图像所在的质量档位作为样本人脸图像的弱监督信息，即第二标签信息，使得第二打分模型自己去学习每个质量参考维度下质量档位内部的序关系分布，从而得到每个质量参考维度的分数，解决在变量连续的条件下标记训练样本难度大的问题。
可选地，第二标签信息的标签值反映样本人脸图像分布在某一质量参考维度下的概率，比如在质量档位为五档时，第二标签信息中角度分的标签值的取值范围可以是0、0.25、0.5、0.75、1。具体来讲，第二标签信息中包括角度分、模糊分、光线分以及遮挡分各自对应的标签值，例如，角度分为0、模糊分1、光线分为0.25，遮挡分为0.5。
步骤1302，基于样本人脸图像的第二标签信息，对第二打分模型进行训练。
将携带有第二标签信息的样本人脸图像输入至第二打分模型，通过第二打分模型输出样本人脸图像的质量归因分。
可选地，通过设置与第二打分模型对应的损失函数，对第二打分模型进行约束，提升第二打分模型的准确性。可选地，基于高斯混合模型（Gaussian Mixture Model，GMM），设计一种弱监督训练损失函数-高斯混合损失函数GMM Loss。上述高斯混合模型是用高斯概率密度函数（正态分布曲线）精确地量化事物，它是一个将事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。可选地，混合高斯模型使用K个高斯模型来表征样本人脸图像在各质量参考维度下的质量。
可选地，第二打分模型对应的损失函数的公式如下：
Figure DEST_PATH_IMAGE007
Figure DEST_PATH_IMAGE008
其中
Figure DEST_PATH_IMAGE009
为输入图片，
Figure DEST_PATH_IMAGE010
为第
Figure DEST_PATH_IMAGE011
类均值，
Figure DEST_PATH_IMAGE012
为
Figure 874639DEST_PATH_IMAGE011
类方差，
Figure DEST_PATH_IMAGE013
为第
Figure 938410DEST_PATH_IMAGE011
类的概率，
Figure DEST_PATH_IMAGE014
为种类，
Figure DEST_PATH_IMAGE015
为类型数量，
Figure DEST_PATH_IMAGE016
为第k类的概率。
可选地，第二打分模型的损失函数可根据训练样本的标签值与第二打分模型输出的预测值之间的差值选取。若训练样本的标签值与第二打分模型输出的预测值之间的差值大于预设阈值，选取基于均方误差构造的第二打分模型的损失函数对第二打分模型进行约束。若训练样本的标签值与第二打分模型输出的预测值之间的差值小于或者等于预设阈值，选取基于高斯混合模型和交叉熵（Cross Entropy）构造的第二打分模型的损失函数对第二打分模型进行约束。上述交叉熵用于度量两个概率分布间的差异性信息。
在一个示例中，如图14所示，其示例性示出了一种训练第一打分模型以及第二打分模型的示意图。其中，通过将请求照1401与证件照1402之间的相似度1403作为样本的第一标签值，将携带有第一标签值的请求照1401送入第一打分模型1404，得到上述请求照1401各自对应的质量整体分。此外，首先将训练样本按照角度、模糊、遮挡以及光线四个维度划分为四类，其次再将每个维度下的人脸图像划分为五档，得到第二打分模型1406的训练样本1405，再将携带有档位信息的训练样本1405送入第二打分模型1406，得到训练样本1405中各图片的质量归因分。
在示例性实施例中，上述第一打分模型的训练方法或者上述第二打分模型的训练方法还包括如下步骤。
步骤1，获取训练样本中的冲突样本。
冲突样本是指质量整体分与质量归因分存在冲突的训练样本。比如，质量整体分大于一级阈值，但质量归因分不符合条件的样本人脸图像；或者质量归因分符合条件，但质量整体分小于一级阈值的样本人脸图像。
步骤2，对冲突样本的标签信息进行修正处理。
可选地，通过梯度下降树（Gradient Boosting Decision Tree，GDBT）算法对冲突样本的标签信息进行修正处理，重新标记冲突样本中样本人脸图像的第一标签信息以及第二标签信息，使得冲突样本预测后的质量整体分与质量归因分不再冲突。
在一个示例中，如图15所示，其示例性示出了一种对冲突样本的标签信息进行修正处理的示意图。首先对训练样本分别进行总分（即质量整体分）预标注以及归因（质量归因分）预标注，将样本分别送入总分模型（第一打分模型）以及归因模型（第二打分模型）中，通过人工的方式获取冲突样本，基于冲突样本制定总分修正策略函数G（z），以及归因修正策略函数H（g），进而得到二代总分标签以及二代归因标签。
步骤3，得到修正后的训练样本。
上述修正后的训练样本用于重新对上述第一打分模型以及第二打分模型进行训练，以得到预测分数更加准确的第一打分模型以及第二打分模型。
综上所述，本申请实施例所提供的技术方案，通过将样本图像与标准图像之间的相似度作为第一打分模型的标签值，大大减少了样本标注成本，基于均方误差与皮尔森相关系数相结合，构造与第一打分模型对应的损失函数，得到更加精准的第一打分模型，提升人脸整体质量预测的准确性。
此外，通过将样本图像按照角度、模糊、遮挡以及光线四个维度划分为四类，其次再将每个维度下的人脸图像划分为不同档位并将档位信息作为样本的弱监督信息，训练第二打分模型，使得第二打分模型输出连续的质量归因分，解决在变量连续的条件下标记训练样本难度大的问题，通过设计基于高斯混合模型的弱监督训练损失函数，使得第二打分模型更加准确。
并且，通过寻找冲突样本并对其进行修正，重新训练上述第一打分模型以及第二打分模型，进一步提升了模型预测人脸图像质量的准确性。
下述为本申请装置实施例，可用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图16，其示出了本申请一个实施例提供的装置的框图。该装置具有实现上述方法的功能。该装置1600可以包括：质量初检模块1601、整体分确定模块1602以及图像确定模块1603。
质量初检模块1601，用于在每获取到一帧人脸图像之后，逐帧检测所述人脸图像是否符合初步质量筛选条件。
整体分确定模块1602，用于在检测到符合所述初步质量筛选条件的第一人脸图像时，确定所述第一人脸图像的质量整体分，所述质量整体分用于表征人脸图像的整体质量。
图像确定模块1603，用于若所述第一人脸图像的质量整体分大于一级阈值，则将所述第一人脸图像送入人脸识别流程。
在示例性实施例中，所述质量初检模块1601用于：
获取所述人脸图像的光线分，所述光线分用于表征所述人脸图像的亮暗程度；
根据所述人脸图像的光线分，检测所述人脸图像是否符合所述初步质量筛选条件。
在示例性实施例中，所述整体分确定模块1602用于：
调用第一打分模型，所述第一打分模型是用于确定所述质量整体分的神经网络模型；
通过所述第一打分模型确定所述第一人脸图像的质量整体分。
在示例性实施例中，所述第一打分模型的训练过程如下：获取训练样本，所述训练样本包括样本人脸图像以及与所述样本人脸图像对应的标准人脸图像；获取所述样本人脸图像与所述标准人脸图像之间的相似度，所述相似度用于确定所述样本人脸图像的第一标签信息，所述第一标签信息是指所述质量整体分的标签信息；基于所述样本人脸图像的第一标签信息，对所述第一打分模型进行训练。
在示例性实施例中，请参考图17，所述装置1600还包括逐帧检测模块1604，用于：若所述第一人脸图像的质量整体分小于所述一级阈值，则获取下一帧人脸图像的质量整体分；其中，初始的下一帧人脸图像是指所述第一人脸图像的下一帧人脸图像；若所述下一帧人脸图像的质量整体分大于所述一级阈值，则将所述下一帧人脸图像送入所述人脸识别流程；若所述下一帧人脸图像的质量整体分小于所述一级阈值，则再次从所述获取下一帧人脸图像的质量整体分的步骤开始执行。
在示例性实施例中，请参考图17，所述装置1600还包括：图像选择模块1605以及归因分确定模块1606。
图像选择模块1605，用于若连续n帧人脸图像的质量整体分小于所述一级阈值，则从所述连续n帧人脸图像中选择所述质量整体分最高的第二人脸图像。
归因分确定模块1606，用于若所述第二人脸图像的质量整体分大于二级阈值，则确定所述第二人脸图像的质量归因分，所述质量归因分包括多个质量参考维度上的质量分数；其中，所述二级阈值小于所述一级阈值。
所述图像确定模块1603，用于若所述第二人脸图像的质量归因分符合条件，则将所述第二人脸图像送入所述人脸识别流程。
在示例性实施例中，所述归因分确定模块1606用于：调用第二打分模型，所述第二打分模型是用于确定所述质量归因分的神经网络模型；
通过所述第二打分模型确定所述第二人脸图像的质量归因分，所述质量归因分包括角度分、模糊分、遮挡分以及光线分中至少一种；
其中，所述角度分用于表征所述人脸图像的人脸角度，所述模糊分用于表征所述人脸图像的模糊程度，所述遮挡分用于表征所述人脸图像的遮挡情况，所述光线分用于表征所述人脸图像的亮暗程度。
在示例性实施例中，所述第二打分模型的训练过程如下：获取训练样本，所述训练样本包括样本人脸图像以及所述样本人脸图像的第二标签信息，所述第二标签信息包括所述多个质量参考维度上的质量档位信息；基于所述样本人脸图像的第二标签信息，对所述第二打分模型进行训练。
在示例性实施例中，所述第一打分模型以及第二打分模型的训练过程还包括：获取所述训练样本中的冲突样本，所述冲突样本是指质量整体分与质量归因分存在冲突的训练样本；对所述冲突样本的标签信息进行修正处理。
在示例性实施例中，请参考图17，所述装置1600还包括筛选停止模块1607，用于：若所述第一人脸图像的质量整体分小于二级阈值，则停止人脸筛选流程，显示提示信息，所述提示信息用于提示用户重新获取所述人脸图像；其中，所述二级阈值小于所述一级阈值。
综上所述，本申请实施例所提供的技术方案，通过逐帧检测的方式对人脸图像进行初步筛选，提高了人脸优选过程的灵活度，之后再确定通过初步筛选的人脸图像的质量整体分以反映人脸图像的整体质量，在人脸图像的整体质量合格的情况下即可将该人脸图像送入人脸识别流程，有效减少人脸优选所需时间，从而有助于缩短整个人脸识别过程的耗时，提升用户体验。
请参考图18，其示出了本申请一个实施例提供的计算机设备1800的结构框图。该计算机设备1800可以是诸如手机、平板电脑、多媒体播放设备、可穿戴设备、PC（PersonalComputer）、人脸支付终端、人脸签到终端、智能摄像机等电子设备。该终端用于实施上述实施例中提供的方法。该计算机设备可以是图1所示应用程序运行环境中的终端10或者服务器20。
通常，计算机设备1800包括有：处理器1801和存储器1802。
处理器1801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1801可以采用DSP（Digital Signal Processing，数字信号处理）、FPGA（FieldProgrammable Gate Array，现场可编程门阵列）、PLA（Programmable Logic Array，可编程逻辑阵列）中的至少一种硬件形式来实现。处理器1801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU（Central ProcessingUnit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1801可以在集成有GPU（Graphics Processing Unit，图像处理器），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1801还可以包括AI（Artificial Intelligence，人工智能）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1802中的非暂态的计算机可读存储介质用于存储至少一个指令，至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集，且经配置以由一个或者一个以上处理器执行，以实现上述人脸图像的选择方法。
在一些实施例中，计算机设备1800还可选包括有：外围设备接口1803和至少一个外围设备。处理器1801、存储器1802和外围设备接口1803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1803相连。具体地，外围设备包括：射频电路1804、显示屏1805、摄像头组件1806、音频电路1807、定位组件1808和电源1809中的至少一种。
本领域技术人员可以理解，图18中示出的结构并不构成对计算机设备1800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时以实现上述人脸图像的选择方法。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时以实现上述人脸图像的选择方法。
可选地，该计算机可读存储介质可以包括：ROM（Read Only Memory，只读存储器）、RAM（Random Access Memory，随机存取记忆体）、SSD（Solid State Drives，固态硬盘）或光盘等。其中，随机存取记忆体可以包括ReRAM（Resistance Random Access Memory, 电阻式随机存取记忆体）和DRAM（Dynamic Random Access Memory，动态随机存取存储器）。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述人脸图像的选择方法。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述人脸图像的选择方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种人脸图像的选择方法，其特征在于，所述方法包括：
在每获取到一帧人脸图像之后，逐帧检测所述人脸图像是否符合初步质量筛选条件；
在检测到符合所述初步质量筛选条件的第一人脸图像时，确定所述第一人脸图像的质量整体分，以及停止检测所述第一人脸图像之后获取的人脸图像是否符合所述初步质量筛选条件，所述质量整体分用于表征人脸图像的整体质量；
若所述第一人脸图像的质量整体分大于一级阈值，则将所述第一人脸图像送入人脸识别流程；
若连续n帧人脸图像的质量整体分小于所述一级阈值，则从所述连续n帧人脸图像中选择所述质量整体分最高的第二人脸图像；
若所述第二人脸图像的质量整体分大于二级阈值，则确定所述第二人脸图像的质量归因分，所述质量归因分包括多个质量参考维度上的质量分数；其中，所述二级阈值小于所述一级阈值；
若所述第二人脸图像的质量归因分符合条件，则将所述第二人脸图像送入所述人脸识别流程。
2.根据权利要求1所述的方法，其特征在于，所述逐帧检测所述人脸图像是否符合初步质量筛选条件，包括：
获取所述人脸图像的光线分，所述光线分用于表征所述人脸图像的亮暗程度；
根据所述人脸图像的光线分，检测所述人脸图像是否符合所述初步质量筛选条件。
3.根据权利要求1所述的方法，其特征在于，所述确定所述第一人脸图像的质量整体分，包括：
调用第一打分模型，所述第一打分模型是用于确定所述质量整体分的神经网络模型；
通过所述第一打分模型确定所述第一人脸图像的质量整体分。
4.根据权利要求3所述的方法，其特征在于，所述第一打分模型的训练过程如下：
获取训练样本，所述训练样本包括样本人脸图像以及与所述样本人脸图像对应的标准人脸图像；
获取所述样本人脸图像与所述标准人脸图像之间的相似度，所述相似度用于确定所述样本人脸图像的第一标签信息，所述第一标签信息是指所述质量整体分的标签信息；
基于所述样本人脸图像的第一标签信息，对所述第一打分模型进行训练。
5.根据权利要求1所述的方法，其特征在于，所述确定所述第一人脸图像的质量整体分之后，还包括：
若所述第一人脸图像的质量整体分小于所述一级阈值，则获取下一帧人脸图像的质量整体分；其中，初始的下一帧人脸图像是指所述第一人脸图像的下一帧人脸图像；
若所述下一帧人脸图像的质量整体分大于所述一级阈值，则将所述下一帧人脸图像送入所述人脸识别流程；
若所述下一帧人脸图像的质量整体分小于所述一级阈值，则再次从所述获取下一帧人脸图像的质量整体分的步骤开始执行。
6.根据权利要求1所述的方法，其特征在于，所述确定所述第二人脸图像的质量归因分，包括：
调用第二打分模型，所述第二打分模型是用于确定所述质量归因分的神经网络模型；
通过所述第二打分模型确定所述第二人脸图像的质量归因分，所述质量归因分包括角度分、模糊分、遮挡分以及光线分中至少一种；
其中，所述角度分用于表征所述人脸图像的人脸角度，所述模糊分用于表征所述人脸图像的模糊程度，所述遮挡分用于表征所述人脸图像的遮挡情况，所述光线分用于表征所述人脸图像的亮暗程度。
7.根据权利要求6所述的方法，其特征在于，所述第二打分模型的训练过程如下：
获取训练样本，所述训练样本包括样本人脸图像以及所述样本人脸图像的第二标签信息，所述第二标签信息包括所述多个质量参考维度上的质量档位信息；
基于所述样本人脸图像的第二标签信息，对所述第二打分模型进行训练。
8.根据权利要求4或7所述的方法，其特征在于，所述方法还包括：
获取所述训练样本中的冲突样本，所述冲突样本是指质量整体分与质量归因分存在冲突的训练样本；
对所述冲突样本的标签信息进行修正处理。
9.根据权利要求1至7任一项所述的方法，其特征在于，所述确定所述第一人脸图像的质量整体分之后，还包括：
若所述第一人脸图像的质量整体分小于二级阈值，则停止人脸筛选流程，显示提示信息，所述提示信息用于提示用户重新获取所述人脸图像；
其中，所述二级阈值小于所述一级阈值。
10.一种人脸图像的选择装置，其特征在于，所述装置包括：
质量初检模块，用于在每获取到一帧人脸图像之后，逐帧检测所述人脸图像是否符合初步质量筛选条件；
整体分确定模块，用于在检测到符合所述初步质量筛选条件的第一人脸图像时，确定所述第一人脸图像的质量整体分，以及停止检测所述第一人脸图像之后获取的人脸图像是否符合所述初步质量筛选条件，所述质量整体分用于表征人脸图像的整体质量；
图像确定模块，用于若所述第一人脸图像的质量整体分大于一级阈值，则将所述第一人脸图像送入人脸识别流程；
图像选择模块，用于若连续n帧人脸图像的质量整体分小于所述一级阈值，则从所述连续n帧人脸图像中选择所述质量整体分最高的第二人脸图像；
归因分确定模块，用于若所述第二人脸图像的质量整体分大于二级阈值，则确定所述第二人脸图像的质量归因分，所述质量归因分包括多个质量参考维度上的质量分数；其中，所述二级阈值小于所述一级阈值；
所述图像确定模块，用于若所述第二人脸图像的质量归因分符合条件，则将所述第二人脸图像送入所述人脸识别流程。
11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至9任一项所述的方法。
CN202010863256.0A 2020-08-25 2020-08-25 人脸图像的选择方法、装置、设备及存储介质 Active CN111738243B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010863256.0A CN111738243B (zh) 2020-08-25 2020-08-25 人脸图像的选择方法、装置、设备及存储介质
PCT/CN2021/107182 WO2022042135A1 (zh) 2020-08-25 2021-07-19 人脸图像的选择方法、装置、设备及存储介质
US17/964,730 US20230030267A1 (en) 2020-08-25 2022-10-12 Method and apparatus for selecting face image, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010863256.0A CN111738243B (zh) 2020-08-25 2020-08-25 人脸图像的选择方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111738243A CN111738243A (zh) 2020-10-02
CN111738243B true CN111738243B (zh) 2020-11-20

Family

ID=72658776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010863256.0A Active CN111738243B (zh) 2020-08-25 2020-08-25 人脸图像的选择方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US20230030267A1 (zh)
CN (1) CN111738243B (zh)
WO (1) WO2022042135A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738243B (zh) * 2020-08-25 2020-11-20 腾讯科技（深圳）有限公司 人脸图像的选择方法、装置、设备及存储介质
US11810398B2 (en) * 2020-11-16 2023-11-07 Nec Corporation Face clustering with image uncertainty
CN112669289A (zh) * 2020-12-30 2021-04-16 科大讯飞股份有限公司 影像质量评估方法、装置、电子设备及存储介质
CN113076969B (zh) * 2021-02-24 2022-10-25 上海辛玮智能科技有限公司 基于混合高斯损失函数的图像目标检测方法
CN113591704B (zh) * 2021-07-30 2023-08-08 四川大学 体重指数估计模型训练方法、装置和终端设备
CN113706502B (zh) * 2021-08-26 2023-09-05 重庆紫光华山智安科技有限公司 一种人脸图像质量评估方法及装置
CN113792682A (zh) * 2021-09-17 2021-12-14 平安科技（深圳）有限公司 基于人脸图像的人脸质量评估方法、装置、设备及介质
CN114254716B (zh) * 2022-03-02 2022-05-27 浙江鹏信信息科技股份有限公司 一种基于用户行为分析的高危操作识别方法及系统
CN115953819B (zh) * 2022-12-28 2023-08-15 中国科学院自动化研究所 人脸识别模型的训练方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106921829A (zh) * 2015-12-25 2017-07-04 北京奇虎科技有限公司 一种拍照方法和装置及拍照设备
CN109711311A (zh) * 2018-12-20 2019-05-03 北京以萨技术股份有限公司 一种基于动态人脸最优帧选取方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9613058B2 (en) * 2014-12-17 2017-04-04 Adobe Systems Incorporated Neural network image curation control
CN109215010B (zh) * 2017-06-29 2021-08-31 沈阳新松机器人自动化股份有限公司 一种图像质量判断的方法及机器人人脸识别系统
CN107679451A (zh) * 2017-08-25 2018-02-09 百度在线网络技术（北京）有限公司 建立人脸识别模型的方法、装置、设备和计算机存储介质
CN108509969B (zh) * 2017-09-06 2021-11-09 腾讯科技（深圳）有限公司 数据标注方法及终端
CN108171256A (zh) * 2017-11-27 2018-06-15 深圳市深网视界科技有限公司 人脸图像质评模型构建、筛选、识别方法及设备和介质
CN110298310A (zh) * 2019-06-28 2019-10-01 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110826519B (zh) * 2019-11-14 2023-08-18 深圳华付技术股份有限公司 人脸遮挡检测方法、装置、计算机设备及存储介质
CN111241927A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 级联式人脸图像优选方法、系统、设备及可读存储介质
CN111738243B (zh) * 2020-08-25 2020-11-20 腾讯科技（深圳）有限公司 人脸图像的选择方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106921829A (zh) * 2015-12-25 2017-07-04 北京奇虎科技有限公司 一种拍照方法和装置及拍照设备
CN109711311A (zh) * 2018-12-20 2019-05-03 北京以萨技术股份有限公司 一种基于动态人脸最优帧选取方法

Also Published As

Publication number Publication date
CN111738243A (zh) 2020-10-02
US20230030267A1 (en) 2023-02-02
WO2022042135A1 (zh) 2022-03-03

Similar Documents

Publication Publication Date Title
CN111738243B (zh) 人脸图像的选择方法、装置、设备及存储介质
CN109145784B (zh) 用于处理视频的方法和装置
US10832069B2 (en) Living body detection method, electronic device and computer readable medium
US20220198800A1 (en) Video processing method, apparatus and device, and computerreadable storage medium
Bondi et al. Training strategies and data augmentations in cnn-based deepfake video detection
US10614347B2 (en) Identifying parameter image adjustments using image variation and sequential processing
CN112598045A (zh) 训练神经网络的方法、图像识别方法及图像识别装置
CN109348287A (zh) 视频摘要生成方法、装置、存储介质和电子设备
ur Rehman et al. DeepRPN-BIQA: Deep architectures with region proposal network for natural-scene and screen-content blind image quality assessment
US20190304152A1 (en) Method and device for processing image
CN111310531A (zh) 图像分类方法、装置、计算机设备及存储介质
US20230066331A1 (en) Method and system for automatically capturing and processing an image of a user
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN112052863B (zh) 一种图像检测方法及装置、计算机存储介质、电子设备
WO2022267327A1 (zh) 一种色斑预测方法、装置、设备及存储介质
CN115731620A (zh) 检测对抗攻击的方法和训练对抗攻击检测模型的方法
CN115222858A (zh) 动画重构网络的训练及其图像重构、视频重构方法与设备
CN115100334A (zh) 一种图像描边、图像动漫化方法、设备及存储介质
CN116129534A (zh) 一种图像活体检测方法、装置、存储介质及电子设备
CN116171462A (zh) 对象序列的识别方法、网络训练方法、装置、设备及介质
Yang et al. An end‐to‐end perceptual enhancement method for UHD portrait images
Vairamani Analyzing DeepFakes videos by face warping artifacts
CN111046232A (zh) 一种视频分类方法、装置及系统
RU2787136C2 (ru) Бесследный захват изображения с помощью мобильного устройства

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030162

Country of ref document: HK