CN110020581A - 一种基于多帧脸部图像的比对方法、装置和电子设备 - Google Patents

一种基于多帧脸部图像的比对方法、装置和电子设备 Download PDF

Info

Publication number
CN110020581A
CN110020581A CN201811468225.4A CN201811468225A CN110020581A CN 110020581 A CN110020581 A CN 110020581A CN 201811468225 A CN201811468225 A CN 201811468225A CN 110020581 A CN110020581 A CN 110020581A
Authority
CN
China
Prior art keywords
face image
image
multiframe
candidate
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811468225.4A
Other languages
English (en)
Other versions
CN110020581B (zh
Inventor
郑丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811468225.4A priority Critical patent/CN110020581B/zh
Publication of CN110020581A publication Critical patent/CN110020581A/zh
Priority to TW108133227A priority patent/TWI717834B/zh
Priority to SG11202100924SA priority patent/SG11202100924SA/en
Priority to PCT/CN2019/111989 priority patent/WO2020114105A1/zh
Priority to EP19892558.8A priority patent/EP3812956A4/en
Application granted granted Critical
Publication of CN110020581B publication Critical patent/CN110020581B/zh
Priority to US17/191,039 priority patent/US11210502B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本说明书实施例公开了一种基于多帧脸部图像的比对方法、装置和电子设备，该方法包括：采集目标对象的多帧脸部图像；从所述多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合；当所述候选图像集合中的图像个数小于预设数量时，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，以加入到所述候选图像集合中；基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对。

Description

一种基于多帧脸部图像的比对方法、装置和电子设备
技术领域
本说明书涉及计算机软件技术领域，尤其涉及一种基于多帧脸部图像的比对方法、装置和电子设备。
背景技术
目前，随着支付场景中支付终端的层出不穷，刷脸支付成为潮流。
常见的刷脸支付在采集图像后，会选择质量分最高的一帧人脸图像，与留底人脸图像进行比对。但是，考虑到摄像头采集的图像仅依赖质量分算法来选择一帧人脸图像，而质量分算法存在误差，筛选出的一帧人脸图像可能会出现模糊、遮挡等缺陷；另外，考虑到单帧人脸图像的信息量有限，无法最大化提升比对精确性。
因此，如何有效提升脸部图像的比对精确度成为亟待解决的技术问题。
发明内容
本说明书实施例的目的是提供一种基于多帧脸部图像的比对方法、装置和电子设备，以有效提升脸部图像的比对精确度。
为解决上述技术问题，本说明书实施例是这样实现的：
第一方面，提出了一种基于多帧脸部图像的比对方法，包括：
采集目标对象的多帧脸部图像；
从所述多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合；
当所述候选图像集合中的图像个数小于预设数量时，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，以加入到所述候选图像集合中；
基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对。
第二方面，提出了一种基于多帧脸部图像的比对装置，包括：
采集模块，采集目标对象的多帧脸部图像；
第一选择模块，从所述多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合；
第二选择模块，当所述候选图像集合中的图像个数小于预设数量时，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，以加入到所述候选图像集合中；
比对模块，基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对。
第三方面，提出了一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
采集目标对象的多帧脸部图像；
从所述多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合；
当所述候选图像集合中的图像个数小于预设数量时，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，以加入到所述候选图像集合中；
基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对。
第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
采集目标对象的多帧脸部图像；
从所述多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合；
当所述候选图像集合中的图像个数小于预设数量时，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，以加入到所述候选图像集合中；
基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对。
由以上本说明书实施例提供的技术方案可见，通过从采集到的目标对象的多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合，并基于该第一脸部图像，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，加入到候选图像集合中，直至候选图像集合中图像达到预设数量，然后，基于候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对，从而，在增加候选脸部图像帧数(保证足够的信息量)的同时，还保证了选择的脸部图像之间具有较大差异，进而，避免噪声，提升比对结果准确性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书的一个实施例提供的基于多帧脸部图像的比对方法步骤示意图。
图2是本说明书的另一个实施例提供的基于多帧脸部图像的比对流程示意图。
图3是本说明书的一个实施例提供的电子设备的结构示意图。
图4是本说明书的一个实施例提供的基于多帧脸部图像的比对装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
实施例一
参照图1所示，为本说明书实施例提供的基于多帧脸部图像的比对方法步骤示意图，该方法的执行主体可以是基于多帧脸部图像的比对装置，具体可以为脸部识别比对装置、支付终端、自助终端等。所述比对方法可以包括以下步骤：
S102：采集目标对象的多帧脸部图像。
在本说明书实施例中，所述目标对象的多帧脸部图像，应当是针对同一目标用户的脸部图像。这些脸部图像可以是基于不同标准选择的，例如，基于最大脸逻辑从每帧图像中选择目标对象的脸部图像，或是基于最近脸逻辑从每帧图像中选择目标对象的脸部图像，也可以是基于其它方式确定目标对象的脸部图像，本说明书并不对此进行限定。
在本说明书实施例中，一种可选的方案，S102在采集目标对象的多帧脸部图像时，可具体执行为：
跟踪拍摄的每帧脸部图像；
基于跟踪结果采集满足质量分阈值的脸部图像，并记录每帧脸部图像的属性。
考虑到拍摄过程中一般持续2秒，为了保证跟踪到每一帧脸部图像，且跟踪的均为所属同一目标用户的脸部图像，可以采用跟踪方法来实现。其中，所涉及的跟踪方法可以基于直方图的跟踪算法、MeanShift算法等实现。
应理解，本说明书中跟踪是指通过图像识别的方式将摄像头拍摄的当前帧的脸部图像中脸部进行定位，并基于摄像头对该脸部进行跟踪，让该脸部一直保持在摄像头采集视野范围内。
本说明书实施例中，质量分可以根据多种评估方式确定，一种可实现的方案，例如根据每帧脸部图像的角度、光线等属性确定该帧脸部图像的质量分。这里所涉及的质量分阈值可以是根据经验值或是相应算法确定的质量分取值，用以筛选图像质量较高的脸部图像，将存在遮挡、模糊曝光等异常缺陷的脸部图像滤除，有效稀释单纯采用质量分确定一帧脸部图像带来的误差。同时，还可以记录每帧脸部图像的属性，例如，这些属性可以包括：质量分、角度、亮度、光线等。
可选地，S102在基于跟踪结果采集满足质量分阈值的脸部图像时，可具体执行为：
如果跟踪成功，且跟踪成功时的当前帧的脸部图像满足质量分阈值，则采集所述当前帧的脸部图片作为目标对象的脸部图像，其中，所述当前帧的脸部图像为跟踪成功时的当前帧的脸部图像。
可选地，S102在基于跟踪结果采集满足质量分阈值的脸部图像时，还可具体执行为：
如果跟踪失败，且跟踪失败时的当前帧的脸部图像与所述当前帧之前已采集的脸部图像比对成功，且所述当前帧的脸部图像满足质量分阈值，则采集所述当前帧的脸部图像作为目标对象的脸部图像，其中，所述当前帧的脸部图像为跟踪失败时的当前帧的脸部图像；
否则，重新跟踪并清空脸部图像。
其中，跟踪成功可以理解为摄像头定位的当前帧的脸部图像，与定位的前一帧的脸部图像是同一脸部图像，即一直保持该脸部图像中脸部在摄像头的采集视野范围内。相应地，跟踪失败可以理解为摄像头定位的当前帧的脸部图像，与定位的前一帧的脸部图像不是同一脸部图像，即未能保持该脸部图像中脸部一直在摄像头的采集视野范围内。
应理解，在跟踪失败时，将当前帧的脸部图像当前帧之前已采集的脸部图像进行比对，可以是基于目标用户(或目标对象)的ID或是其它标识进行比对，以确定是否跟踪的仍是同一目标用户。
S104：从所述多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合。
S106：当所述候选图像集合中的图像个数小于预设数量时，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，以加入到所述候选图像集合中。
在本说明书实施例中，所述预设参数可以包括质量分、角度、亮度、光线中的至少一种。或者，所述预设参数可以基于质量分、角度、亮度、光线中的至少一种属性确定。
应理解，所述预设参数，可以是基于质量分、角度、亮度、光线中的至少一种属性以加权平均的方式确定。
在这里，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，可以举例说明，当预设数量为4，而此时仅选择出质量分最高的脸部图像1加入到候选图像集合中，需要再次选择，具体可以选择与质量分最高的脸部图像1之间预设参数的平均差距(因为此时候选图像集合中仅有脸部图像1，因此，平均差值也就是与脸部图像1的差值)最大的脸部图像2，加入到候选图像集合；这时，候选图像集合中的图像仍小于4，继续选择与脸部图像1以及脸部图像2之间预设参数的平均差距最大的脸部图像3，循环这样的操作，再选择出脸部图像4，这样，候选图像集合中的图像达到4个，可以终止循环。
应理解，该步骤中采用脸部图像的属性进行归一化处理，计算预设参数的平均差距，在增加候选脸部图像帧数的同时，还保证了选择的脸部图像之间具有较大差异，进而，避免噪声，提升后续的比对结果准确性。
S108：基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对。
可选地，S108在基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对时，可具体执行为：
将所述候选图像集合中每个脸部图像分别与目标对象的留底脸部图像进行特征比对；
基于预设数量的比对结果进行加权平均处理。
这样，将比对结果进行加权融合，可以提升比对结果的准确性。
应理解，留底脸部图像可以存储在系统本地或是云端服务器，若是存储在系统本地，可将候选图像集合中每个脸部图像分别与系统本地存储的目标对象的留底脸部图像进行比对；若是存储在云端服务器，可以将候选图像集合中的脸部图像上传至云端服务器与目标对象的留底脸部图像进行一一比对，并返回比对结果。
本说明书技术方案，通过从采集到的多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合，并基于该第一脸部图像，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，加入到候选图像集合中，直至候选图像集合中图像达到预设数量，然后，基于候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对，从而，在增加候选脸部图像帧数的同时，还保证了选择的脸部图像之间具有较大差异，进而，避免噪声，提升比对结果准确性。
可选地，本说明书实施例中所述脸部图像包括：可识别的人脸图像或可识别的动物脸图像。
应理解，本说明书中基于多帧脸部图像进行比对的方案可以适用于支付场景，例如，刷脸支付等；或是身份验证场景，例如刷脸门禁等。
下面通过具体的实例对本说明书实施例所涉及的技术方案进行详述。
参照图2所示，基于多帧脸部图像的比对流程可以包括以下：
S202：基于最大脸选脸逻辑，跟踪当前帧的人脸图像，若跟踪成功，则执行S204，否则，执行S206。
此处仅为示例，也可以基于其它选脸逻辑确定、跟踪。另外，本说明书实施例也不排除可能存在的动物脸图像，例如以用户的宠物脸作为留底脸部图像，后续支付时可以使用宠物脸部进行比对。
S204：判断当前帧的人脸图像是否大于最低质量分阈值，若是，则执行S208，否则，执行S210。
S206：判断当前帧的人脸图像与本地存储的上一帧人脸图像是否属于同一ID，若是，则跳转至S204，否则，清空人脸图像集合，跳转至202。
在该步骤中，若比对失败，则需要清空人脸图像集合，重新开始跟踪。
S208：加入本地目标对象的人脸图像集合，并记录人脸图像的属性。
S210：丢掉当前帧，并跳转至S202。
S212：判断跟踪时间是否达到2S，若是，则执行S214，否则，跳转至S202。
S214：从人脸图像集合中选择质量分最高的人脸图像加入至候选图像集合。
S216：从人脸图像集合中选择预设参数与所述候选图像集合中的人脸图像之间的平均差距最大的人脸图像加入至候选图像集合。
该步骤可以参照S106中的内容，在此不做赘述。
S218：判断候选图像集合中图像是否达到K帧，若是，则执行S220，否则，跳转至S216。
其中，K帧可以是60帧左右的数量，2S的人脸图像相比于单帧人脸图像而言信息量丰富程度高，可以提升比对准确性。
S220：将候选图像集合中的K帧人脸图像上传到服务器分别与目标对象的留底目标人脸图像进行比对。
S222：接收K个比对结果并加权平均。
至此，可以将加权平均后的结果作为本次比对的最终结果，并基于该比对结果决策该人脸图像对应的人脸是否验证通过。
实施例二
图3是本说明书的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成共享资源访问控制装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
采集目标对象的多帧脸部图像；
从所述多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合；
当所述候选图像集合中的图像个数小于预设数量时，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，以加入到所述候选图像集合中；
基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对。
上述如本说明书图1、图2所示实施例揭示的基于多帧脸部图像的比对装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1的方法，并实现基于多帧脸部图像的比对装置在图1、图2所示实施例的功能，本说明书实施例在此不再赘述。
当然，除了软件实现方式之外，本说明书实施例的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本说明书技术方案，通过从采集到的目标对象的多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合，并基于该第一脸部图像，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，加入到候选图像集合中，直至候选图像集合中图像达到预设数量，然后，基于候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对，从而，在增加候选脸部图像帧数的同时，还保证了选择的脸部图像之间具有较大差异，进而，避免噪声，提升比对结果准确性。
实施例三
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下方法：
采集目标对象的多帧脸部图像；
从所述多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合；
当所述候选图像集合中的图像个数小于预设数量时，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，以加入到所述候选图像集合中；
基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对。
本说明书技术方案，通过从采集到的目标对象的多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合，并基于该第一脸部图像，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，加入到候选图像集合中，直至候选图像集合中图像达到预设数量，然后，基于候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对，从而，在增加候选脸部图像帧数的同时，还保证了选择的脸部图像之间具有较大差异，进而，避免噪声，提升比对结果准确性。
实施例四
图4为本说明书的一个实施例提供的基于多帧脸部图像的比对装置400的结构示意图。请参考图4，在一种软件实施方式中，基于多帧脸部图像的比对装置400可包括：
采集模块402，采集目标对象的多帧脸部图像；
第一选择模块404，从所述多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合；
第二选择模块406，当所述候选图像集合中的图像个数小于预设数量时，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，以加入到所述候选图像集合中；
比对模块408，基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对。
本说明书技术方案，通过从采集到的目标对象的多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合，并基于该第一脸部图像，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，加入到候选图像集合中，直至候选图像集合中图像达到预设数量，然后，基于候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对，从而，在增加候选脸部图像帧数的同时，还保证了选择的脸部图像之间具有较大差异，进而，避免噪声，提升比对结果准确性。
可选地，作为一个实施例，所述采集模块402，具体用于：
跟踪拍摄的每帧脸部图像；
基于跟踪结果采集满足质量分阈值的脸部图像，并记录每帧脸部图像的属性。
可选地，作为一个实施例，所述采集模块402在基于跟踪结果采集满足质量分阈值的脸部图像时，具体用于：
如果跟踪成功，且跟踪成功时的当前帧的脸部图像满足质量分阈值，则采集所述当前帧的脸部图片作为目标对象的脸部图像。
可选地，作为另一个实施例，所述采集模块402在基于跟踪结果采集满足质量分阈值的脸部图像时，具体用于：
如果跟踪失败，且跟踪失败时的当前帧的脸部图像与所述当前帧之前已采集的脸部图像比对成功，且所述当前帧的脸部图像满足质量分阈值，则采集所述当前帧的脸部图像作为目标对象的脸部图像；
否则，重新跟踪并清空脸部图像。
可选地，在本说明书实施例的一种具体实现方式中，所述预设参数包括质量分、角度、亮度、光线中的至少一种；或者，所述预设参数基于质量分、角度、亮度、光线中的至少一种属性确定。
可选地，作为一个实施例，所述比对模块408在基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对时，具体用于：
将所述候选图像集合中每个脸部图像分别与目标对象的留底脸部图像进行特征比对；
基于预设数量的比对结果进行加权平均处理。
可选地，作为一个实施例，所述脸部图像包括：可识别的人脸图像或可识别的动物脸图像
应理解，本说明书实施例的基于多帧脸部图像的比对装置还可执行图1-图2中基于多帧脸部图像的比对装置(或设备)执行的方法，并实现基于多帧脸部图像的比对装置(或设备)在图1-图2所示实施例的功能，在此不再赘述。
总之，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种基于多帧脸部图像的比对方法，包括：
采集目标对象的多帧脸部图像；
从所述多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合；
当所述候选图像集合中的图像个数小于预设数量时，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，以加入到所述候选图像集合中；
基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对。
2.如权利要求1所述的方法，采集目标对象的多帧脸部图像，包括：
跟踪拍摄的每帧脸部图像；
基于跟踪结果采集满足质量分阈值的脸部图像，并记录每帧脸部图像的属性。
3.如权利要求2所述的方法，基于跟踪结果采集满足质量分阈值的脸部图像，包括：
如果跟踪成功，且跟踪成功时的当前帧的脸部图像满足质量分阈值，则采集所述当前帧的脸部图片作为目标对象的脸部图像。
4.如权利要求2所述的方法，基于跟踪结果采集满足质量分阈值的脸部图像，包括：
如果跟踪失败，且跟踪失败时的当前帧的脸部图像与所述当前帧之前已采集的脸部图像比对成功，且所述当前帧的脸部图像满足质量分阈值，则采集所述当前帧的脸部图像作为目标对象的脸部图像；
否则，重新跟踪并清空脸部图像。
5.如权利要求1-4任一项所述的方法，基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对，包括：
将所述候选图像集合中脸部图像分别与目标对象的留底脸部图像进行特征比对；
基于预设数量的比对结果进行加权平均处理。
6.如权利要求1-4任一项所述的方法，所述预设参数包括质量分、角度、亮度、光线中的至少一种；或者，所述预设参数基于质量分、角度、亮度、光线中的至少一种属性确定。
7.如权利要求1-4任一项所述的方法，所述脸部图像包括：可识别的人脸图像或可识别的动物脸图像。
8.一种基于多帧脸部图像的比对装置，包括：
采集模块，采集目标对象的多帧脸部图像；
第一选择模块，从所述多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合；
第二选择模块，当所述候选图像集合中的图像个数小于预设数量时，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，以加入到所述候选图像集合中；
比对模块，基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对。
9.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
采集目标对象的多帧脸部图像；
从所述多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合；
当所述候选图像集合中的图像个数小于预设数量时，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，以加入到所述候选图像集合中；
基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多帧程序，所述一个或多帧程序当被包括多帧应用程序的电子设备执行时，使得所述电子设备执行以下操作：
采集目标对象的多帧脸部图像；
从所述多帧脸部图像中选择质量分最高的第一脸部图像加入候选图像集合；
当所述候选图像集合中的图像个数小于预设数量时，循环从所述多帧脸部图像中选择预设参数与所述候选图像集合中的脸部图像之间的平均差距最大的第二脸部图像，以加入到所述候选图像集合中；
基于所述候选图像集合中的脸部图像与目标对象的留底脸部图像进行比对。
CN201811468225.4A 2018-12-03 2018-12-03 一种基于多帧脸部图像的比对方法、装置和电子设备 Active CN110020581B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201811468225.4A CN110020581B (zh) 2018-12-03 2018-12-03 一种基于多帧脸部图像的比对方法、装置和电子设备
TW108133227A TWI717834B (zh) 2018-12-03 2019-09-16 基於多幀臉部圖像的比對方法、裝置和電子設備
SG11202100924SA SG11202100924SA (en) 2018-12-03 2019-10-18 Comparison Method And Apparatus Based On A Plurality Of Face Image Frames And Electronic Device
PCT/CN2019/111989 WO2020114105A1 (zh) 2018-12-03 2019-10-18 一种基于多帧脸部图像的比对方法、装置和电子设备
EP19892558.8A EP3812956A4 (en) 2018-12-03 2019-10-18 COMPARISON PROCESS BASED ON MULTIPLE FACIAL IMAGES, APPARATUS AND ELECTRONIC DEVICE
US17/191,039 US11210502B2 (en) 2018-12-03 2021-03-03 Comparison method and apparatus based on a plurality of face image frames and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811468225.4A CN110020581B (zh) 2018-12-03 2018-12-03 一种基于多帧脸部图像的比对方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN110020581A true CN110020581A (zh) 2019-07-16
CN110020581B CN110020581B (zh) 2020-06-09

Family

ID=67188587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811468225.4A Active CN110020581B (zh) 2018-12-03 2018-12-03 一种基于多帧脸部图像的比对方法、装置和电子设备

Country Status (6)

Country Link
US (1) US11210502B2 (zh)
EP (1) EP3812956A4 (zh)
CN (1) CN110020581B (zh)
SG (1) SG11202100924SA (zh)
TW (1) TWI717834B (zh)
WO (1) WO2020114105A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020114105A1 (zh) * 2018-12-03 2020-06-11 阿里巴巴集团控股有限公司 一种基于多帧脸部图像的比对方法、装置和电子设备
CN111554006A (zh) * 2020-04-13 2020-08-18 绍兴埃瓦科技有限公司 智能锁及智能解锁方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017146160A1 (ja) * 2016-02-26 2017-08-31 日本電気株式会社 顔照合システム、顔照合方法、及び記録媒体
CN112085701A (zh) * 2020-08-05 2020-12-15 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
US11921831B2 (en) * 2021-03-12 2024-03-05 Intellivision Technologies Corp Enrollment system with continuous learning and confirmation
CN113505700A (zh) * 2021-07-12 2021-10-15 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137077A (zh) * 2010-01-26 2011-07-27 凹凸电子（武汉）有限公司 访问控制系统和采用计算机系统控制访问权限的方法
CN104462891A (zh) * 2013-09-17 2015-03-25 联想(北京)有限公司 一种信息处理的方法和设备
CN105005779A (zh) * 2015-08-25 2015-10-28 湖北文理学院 基于交互式动作的人脸验证防伪识别方法及系统
US20170330028A1 (en) * 2015-11-16 2017-11-16 MorphoTrak, LLC Facial matching system
CN107633209A (zh) * 2017-08-17 2018-01-26 平安科技（深圳）有限公司 电子装置、动态视频人脸识别的方法及存储介质
CN107730483A (zh) * 2016-08-10 2018-02-23 阿里巴巴集团控股有限公司 移动设备、处理脸部生物特征的方法、装置和系统
CN108427911A (zh) * 2018-01-30 2018-08-21 阿里巴巴集团控股有限公司 一种身份验证方法、系统、装置及设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3279913B2 (ja) * 1996-03-18 2002-04-30 株式会社東芝 人物認証装置、特徴点抽出装置及び特徴点抽出方法
KR101185243B1 (ko) * 2009-12-15 2012-09-21 삼성전자주식회사 얼굴 인식을 위한 복수의 얼굴 이미지를 등록하기 위한 장치 및 방법
JP5075924B2 (ja) * 2010-01-13 2012-11-21 株式会社日立製作所 識別器学習画像生成プログラム、方法、及びシステム
US8594401B2 (en) * 2010-03-30 2013-11-26 The Johns Hopkins University Automated characterization of time-dependent tissue change
US8885942B2 (en) * 2010-07-09 2014-11-11 Panasonic Intellectual Property Corporation Of America Object mapping device, method of mapping object, program and recording medium
US9600711B2 (en) * 2012-08-29 2017-03-21 Conduent Business Services, Llc Method and system for automatically recognizing facial expressions via algorithmic periocular localization
CN103942525A (zh) * 2013-12-27 2014-07-23 高新兴科技集团股份有限公司 一种基于视频序列的实时人脸优选方法
US20160019420A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US10671837B2 (en) * 2015-09-08 2020-06-02 Nec Corporation Face recognition system, face recognition method, display control apparatus, display control method, and display control program
US10990808B2 (en) * 2016-02-09 2021-04-27 Aware, Inc. Face liveness detection using background/foreground motion analysis
WO2017151859A1 (en) * 2016-03-02 2017-09-08 Tinoq Inc. Systems and methods for efficient face recognition
US9693050B1 (en) * 2016-05-31 2017-06-27 Fmr Llc Automated measurement of mobile device application performance
US9990536B2 (en) * 2016-08-03 2018-06-05 Microsoft Technology Licensing, Llc Combining images aligned to reference frame
KR20190088478A (ko) * 2016-11-24 2019-07-26 가부시키가이샤 가이아 시스템 솔루션 인게이지먼트 측정 시스템
JP6768537B2 (ja) * 2017-01-19 2020-10-14 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
US11010595B2 (en) * 2017-03-23 2021-05-18 Samsung Electronics Co., Ltd. Facial verification method and apparatus
CN107578017B (zh) * 2017-09-08 2020-11-17 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
CN108765394B (zh) * 2018-05-21 2021-02-05 上海交通大学 基于质量评价的目标识别方法
CN110020581B (zh) * 2018-12-03 2020-06-09 阿里巴巴集团控股有限公司 一种基于多帧脸部图像的比对方法、装置和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102137077A (zh) * 2010-01-26 2011-07-27 凹凸电子（武汉）有限公司 访问控制系统和采用计算机系统控制访问权限的方法
CN104462891A (zh) * 2013-09-17 2015-03-25 联想(北京)有限公司 一种信息处理的方法和设备
CN105005779A (zh) * 2015-08-25 2015-10-28 湖北文理学院 基于交互式动作的人脸验证防伪识别方法及系统
US20170330028A1 (en) * 2015-11-16 2017-11-16 MorphoTrak, LLC Facial matching system
CN107730483A (zh) * 2016-08-10 2018-02-23 阿里巴巴集团控股有限公司 移动设备、处理脸部生物特征的方法、装置和系统
CN107633209A (zh) * 2017-08-17 2018-01-26 平安科技（深圳）有限公司 电子装置、动态视频人脸识别的方法及存储介质
CN108427911A (zh) * 2018-01-30 2018-08-21 阿里巴巴集团控股有限公司 一种身份验证方法、系统、装置及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020114105A1 (zh) * 2018-12-03 2020-06-11 阿里巴巴集团控股有限公司 一种基于多帧脸部图像的比对方法、装置和电子设备
US11210502B2 (en) 2018-12-03 2021-12-28 Advanced New Technologies Co., Ltd. Comparison method and apparatus based on a plurality of face image frames and electronic device
CN111554006A (zh) * 2020-04-13 2020-08-18 绍兴埃瓦科技有限公司 智能锁及智能解锁方法
CN111554006B (zh) * 2020-04-13 2022-03-18 绍兴埃瓦科技有限公司 智能锁及智能解锁方法

Also Published As

Publication number Publication date
TW202024992A (zh) 2020-07-01
SG11202100924SA (en) 2021-02-25
WO2020114105A1 (zh) 2020-06-11
US11210502B2 (en) 2021-12-28
TWI717834B (zh) 2021-02-01
US20210192190A1 (en) 2021-06-24
CN110020581B (zh) 2020-06-09
EP3812956A1 (en) 2021-04-28
EP3812956A4 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
CN110020581A (zh) 一种基于多帧脸部图像的比对方法、装置和电子设备
TWI716008B (zh) 人臉識別方法及裝置
CN107194323B (zh) 车辆定损图像获取方法、装置、服务器和终端设备
JP6694829B2 (ja) ルールに基づくビデオ重要度解析
CN103201769B (zh) 图像处理装置、图像处理方法、集成电路
CN109063604A (zh) 一种人脸识别方法及终端设备
CN111882520B (zh) 一种屏幕缺陷检测方法、装置及头戴显示设备
KR20160020498A (ko) 트랙커 보조 이미지 캡쳐
CN109034266A (zh) 一种目标图像检测方法、装置及系统
CN106899800A (zh) 相机对焦的方法、装置及移动终端设备
CN109344824A (zh) 一种文本行区域检测方法、装置、介质和电子设备
CN110287877A (zh) 视频目标的处理方法及装置
CN105120154A (zh) 一种图像处理方法及终端
CN109102026B (zh) 一种车辆图像检测方法、装置及系统
CN108769537A (zh) 一种拍照方法、装置、终端及可读存储介质
CN114677394A (zh) 抠图方法、装置、摄像设备、会议系统、电子设备及介质
CN115103120A (zh) 拍摄场景检测方法、装置、电子设备和存储介质
CN115035347A (zh) 图片识别方法、装置及电子设备
CN110008802B (zh) 从多个脸部中选择目标脸部及脸部识别比对方法、装置
CN110490118A (zh) 图像处理方法及装置
CN104123716B (zh) 检测图像稳定性的方法、装置和终端
CN116214930A (zh) 3d打印方法、打印机及介质
CN116071012A (zh) 工作流的节点跳转方法、装置、处理器以及电子设备
CN110381181A (zh) 前置距离感应方法、电子装置、存储介质和移动终端
CN115984154A (zh) 一种图像融合的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40011331

Country of ref document: HK

TR01 Transfer of patent right

Effective date of registration: 20201012

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201012

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.

TR01 Transfer of patent right