CN114140839B - 用于人脸识别的图像发送方法、装置、设备及存储介质 - Google Patents

用于人脸识别的图像发送方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114140839B
CN114140839B CN202010821280.8A CN202010821280A CN114140839B CN 114140839 B CN114140839 B CN 114140839B CN 202010821280 A CN202010821280 A CN 202010821280A CN 114140839 B CN114140839 B CN 114140839B
Authority
CN
China
Prior art keywords
face
image
color image
auxiliary
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010821280.8A
Other languages
English (en)
Other versions
CN114140839A (zh
Inventor
王军
郭润增
王少鸣
洪哲鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010821280.8A priority Critical patent/CN114140839B/zh
Publication of CN114140839A publication Critical patent/CN114140839A/zh
Application granted granted Critical
Publication of CN114140839B publication Critical patent/CN114140839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks

Abstract

本申请公开了一种用于人脸识别的图像发送方法、装置、设备及存储介质，涉及人工智能的计算机视觉技术。该方法包括：获取彩色图像和辅助图像，辅助图像包括深度图像和红外图像中的至少一种；调用人脸区域识别模型识别彩色图像，得到彩色图像上的人脸区域；根据彩色图像上的人脸区域对彩色图像和辅助图像分别进行剪裁得到人脸图像，人脸图像包括剪裁彩色图像得到的人脸彩色图像、剪裁辅助图像得到的人脸辅助图像；向服务器发送人脸图像，服务器用于基于人脸辅助图像进行活体检测、以及基于人脸图像进行人脸识别。该方法可以降低人脸识别过程中通过网络传输的数据量。

Description

用于人脸识别的图像发送方法、装置、设备及存储介质
技术领域
本申请涉及人工智能的计算机视觉技术，特别涉及一种用于人脸识别的图像发送方法、装置、设备及存储介质。
背景技术
随着人脸识别技术的发展，用户可以通过人脸识别来进行快捷支付。
相关技术中，用户在刷脸时，终端采集用户人脸图像，终端将人脸图像打包压缩后，通过网络传输到人脸识别服务器。人脸识别服务器接收人脸图像进行人脸活体检测、特征提取和识别，从而完成用户在线身份识别。
当网络环境较差时，由于人脸图像的数据量较大，终端传输人脸图像到服务器的耗时较长，进而导致终端接收人脸识别结果的等待耗时较长。
发明内容
本申请实施例提供了一种用于人脸识别的图像发送方法、装置、设备及存储介质，可以减少终端发送人脸数据的数据量，减少网络传输的耗时。所述技术方案如下：
根据本申请的一个方面，提供了一种用于人脸识别的图像发送方法，所述方法包括：
获取彩色图像和辅助图像，所述辅助图像包括深度图像和红外图像中的至少一种；
调用人脸区域识别模型识别所述彩色图像，得到所述彩色图像上的人脸区域；
根据所述彩色图像上的所述人脸区域对所述彩色图像和所述辅助图像分别进行剪裁得到人脸图像，所述人脸图像包括剪裁所述彩色图像得到的人脸彩色图像、剪裁所述辅助图像得到的人脸辅助图像；
向服务器发送所述人脸图像，所述服务器用于基于所述人脸辅助图像进行活体检测、以及基于所述人脸图像进行人脸识别。
根据本申请的另一个方面，提供了一种用于人脸识别的图像发送方法，所述方法包括：
接收人脸图像，所述人脸图像是客户端根据彩色图像上的人脸区域分别剪裁所述彩色图像和辅助图像得到的，所述辅助图像包括深度图像和红外图像中的至少一种，所述人脸图像包括剪裁所述彩色图像得到的人脸彩色图像、剪裁所述辅助图像得到的人脸辅助图像；
调用第二活体检测模型检测所述人脸辅助图像，得到第二活体检测结果；
响应于所述第二活体检测结果为活体，识别所述人脸图像得到图像识别结果；
向所述客户端发送所述图像识别结果。
根据本申请的另一方面，提供了一种用于图像识别的图像发送装置，所述装置包括：
获取模块，用于获取彩色图像和辅助图像，所述辅助图像包括深度图像和红外图像中的至少一种；
区域识别模块，用于调用人脸区域识别模型识别所述彩色图像，得到所述彩色图像上的人脸区域；
剪裁模块，用于根据所述彩色图像上的所述人脸区域对所述彩色图像和所述辅助图像分别进行剪裁得到人脸图像，所述人脸图像包括剪裁所述彩色图像得到的人脸彩色图像、剪裁所述辅助图像得到的人脸辅助图像；
第一发送模块，用于向服务器发送所述人脸图像，所述服务器用于基于所述人脸辅助图像进行活体检测、以及基于所述人脸图像进行人脸识别。
在一个可选的实施例中，所述装置还包括：
所述区域识别模块，还用于调用人脸区域识别模型识别所述彩色图像，得到所述彩色图像上的至少一个人脸框，所述至少一个人脸框用于标注所述人脸区域；
确定模块，用于根据目标框确定原则将所述至少一个人脸框中的一个人脸框确定为目标框；
所述剪裁模块，还用于根据所述目标框剪裁所述彩色图像和所述辅助图像得到所述人脸图像。
在一个可选的实施例中，所述剪裁模块603，还用于等比缩放所述目标框得到剪裁框；
所述剪裁模块，还用于根据所述剪裁框剪裁所述彩色图像和所述辅助图像得到所述人脸图像。
在一个可选的实施例中，所述装置还包括：
第一活体检测模块，用于调用第一活体检测模型检测所述辅助图像，得到第一活体检测结果；
所述区域识别模块，还用于响应于所述第一活体检测结果为活体，调用人脸区域识别模型识别所述彩色图像，得到所述彩色图像上的人脸区域。
在一个可选的实施例中，所述装置还包括：
提示模块，用于响应于所述活体检测结果为非活体，提示人脸识别失败。
在一个可选的实施例中，所述装置还包括：
验证模块，用于根据所述彩色图像和所述辅助图像生成验证信息，所述验证信息用于验证数据传输的安全性；
所述第一发送模块，还用于向所述服务器发送所述人脸图像和所述验证信息。
所述第一发送模块，还用于向所述服务器异步发送所述述彩色图像和所述辅助图像，所述服务器用于基于所述彩色图像、所述辅助图像和所述验证信息验证数据传输的安全性。
在一个可选的实施例中，所述装置还包括：
第一接收模块，用于接收所述服务器发送的图像识别结果，所述图像识别结果是所述服务器识别所述人脸图像后生成的。
在一个可选的实施例中，所述装置还包括：
特征提取模块，用于对所述人脸图像进行特征提取得到特征图像；
所述第一发送模块，还用于向所述服务器发送所述特征图像。
在一个可选的实施例中，所述装置还包括：
存储模块，用于存储至少两组历史信息，历史信息包括：彩色图像和其对应的人脸框的位置坐标；
计算模块，用于根据历史信息中人脸框的位置坐标得到常用人脸框的位置坐标；
确定模块，用于根据目标框确定原则将所述至少一个人脸框中的一个人脸框确定为目标框，所述目标框确定原则包括：将所述将至少一个人脸框中与常用人脸框距离最近的人脸框确定为目标框。
在一个可选的实施例中，所述装置还包括：
显示模块，用于显示所述彩色图像、所述人脸框以及所述人脸框的编辑控件；
交互模块，用于接收所述编辑控件上的编辑操作；
存储模块，用于存储根据所述编辑操作生成的实际人脸框；
训练模块，用于根据所述实际人脸框和所述彩色图像训练所述人脸区域识别模型。
根据本申请的另一方面，提供了一种用于图像识别的图像发送装置，所述装置包括：
第二接收模块，用于接收人脸图像，所述人脸图像是客户端根据彩色图像上的人脸区域分别剪裁所述彩色图像和辅助图像得到的，所述辅助图像包括深度图像和红外图像中的至少一种，所述人脸图像包括剪裁所述彩色图像得到的人脸彩色图像、剪裁所述辅助图像得到的人脸辅助图像；
第二活体检测模块，用于调用第二活体检测模型检测所述人脸辅助图像，得到第二活体检测结果；
人脸识别模块，用于响应于所述第二活体检测结果为活体，识别所述人脸图像得到图像识别结果；
第二发送模块，用于向所述客户端发送所述图像识别结果。
在一个可选的实施例中，所述装置还包括：
所述第二接收模块，还用于接收所述人脸图像和验证信息，所述验证信息是根据所述彩色图像和辅助图像生成的；
所述第二接收模块，还用于接收所述客户端异步发送的所述彩色图像和辅助图像；
校验模块，用于根据所述彩色图像和辅助图像生成校验信息，所述校验信息和所述验证信息是根据相同生成规则生成的信息；
风控模块，用于响应于所述校验信息与所述验证信息相同，确定数据传输安全。
在一个可选的实施例中，所述装置还包括：
所述第二接收模块，还用于接收所述客户端异步发送的所述彩色图像和所述辅助图像；
风控模块，用于使用与所述人脸图像大小相同的滑动窗口、以单位距离为步长在所述彩色图像上滑动截取第一备选图像；响应于存在所述第一备选图像与所述人脸彩色图像相同，确定所述人脸彩色图像与所述彩色图像相关联；
所述风控模块，还用于使用与所述人脸图像大小相同的所述滑动窗口、以单位距离为步长在所述辅助图像上滑动截取第二备选图像；响应于存在所述第二备选图像与所述人脸辅助图像相同，确定所述人脸辅助图像与所述辅助图像相关联。
根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的用于人脸识别的图像发送方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的用于人脸识别的图像发送方法。
根据本公开实施例的另一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的用于人脸识别的图像发送方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
在人脸识别场景中，通过由终端提前对需要进行识别的彩色图像和辅助图像进行剪裁，将剪裁后得到的人脸图像上传给服务器，从而减少终端上传给服务器的数据量。终端通过识别彩色图像中的人脸区域，根据人脸区域来剪裁彩色图像和辅助图像，从而提取彩色图像和辅助图像中的人脸区域，在保障人脸识别准确度的同时降低通过网络传输的数据量，从而降低数据传输量，缩减用户等待人脸识别结果所需的时间。同时，服务器利用人脸图像进行人脸识别，由于需要进行识别的图像较小，还可以提高服务器人脸识别的效率，减少服务器的运算量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的计算机系统的框图；
图2是本申请一个示例性实施例提供的用于人脸识别的图像发送方法的流程图；
图3是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的流程图；
图4是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的示意图；
图5是本申请另一个示例性实施例提供的Haar特征模板的示意图；
图6是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的示意图；
图7是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的示意图；
图8是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的示意图；
图9是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的示意图；
图10是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的示意图；
图11是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的示意图；
图12是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的示意图；
图13是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的流程图；
图14是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的流程图；
图15是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的流程图；
图16是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的流程图；
图17是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的示意图；
图18是本申请另一个示例性实施例提供的用于人脸识别的图像发送方法的流程图；
图19是本申请另一个示例性实施例提供的用于图像识别的图像发送装置的框图；
图20是本申请另一个示例性实施例提供的用于图像识别的图像发送装置的框图；
图21是本申请另一个示例性实施例提供的服务器的结构示意图；
图22是本申请另一个示例性实施例提供的终端的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请实施例涉及的若干个名词进行简介：
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
图1示出了本申请一个示例性实施例提供的计算机系统的结构示意图，该计算机系统包括终端120和服务器140。
终端120与服务器140之间通过有线或者无线网络相互连接。
终端120可以包括具有刷脸支付功能的支付设备、具有刷脸支付功能的POS(PointOf Sale，销售终端)、智能手机、笔记本电脑、台式电脑、平板电脑、智能音箱、智能机器人中的至少一种。
终端120包括摄像装置，摄像装置用于采集彩色图像和辅助图像，例如，摄像装置可以是：单目相机、双目相机、深度相机(RGB-D相机)、红外相机中的至少一种。示例性的，终端120还包括显示器；显示器用于显示人脸识别界面，或，显示彩色图像、辅助图像或人脸图像，或，显示人脸识别结果。
终端120包括第一存储器和第一处理器。第一存储器中存储有第一程序；上述第一程序被第一处理器调用执行以实现用于人脸识别的图像发送方法。第一存储器可以包括但不限于以下几种：随机存取存储器(Random Access Memory，RAM)、只读存储器(Read OnlyMemory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)、以及电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)。
第一处理器可以是一个或者多个集成电路芯片组成。可选地，第一处理器可以是通用处理器，比如，中央处理器(Central Processing Unit，CPU)或者网络处理器(NetworkProcessor，NP)。可选地，第一处理器可以通过调用人脸区域识别模型来实现本申请提供的用于人脸识别的图像发送方法。示例性的，终端中的人脸区域识别模型可以是由终端训练得到的；或，由服务器训练得到，终端从服务器获取。
服务器140包括第二存储器和第二处理器。第二存储器中存储有第二程序，上述第二程序被第二处理器调用来实现本申请提供的用于人脸识别的图像发送方法。示例性的，第二存储器中存储有活体检测模型，上述活体检测模型被第二处理器调用以进行活体检测。示例性的，第二存储器中还存储有人脸识别模型，人脸识别模型被第二处理器调用以进行人脸识别。示例性的，服务器接收终端发送的人脸图像，使用活体检测模型来进行活体检测，当检测结果为活体时，调用人脸识别模型对人脸图像进行人脸识别。可选地，第二存储器可以包括但不限于以下几种：RAM、ROM、PROM、EPROM、EEPROM。可选地，第二处理器可以是通用处理器，比如，CPU或者NP。
示意性的，本申请提供的用于人脸识别的图像发送方法可以应用于人脸识别、刷脸支付、用户刷脸登录、刷脸门禁、用户刷脸认证等应用场景中。
图2示出了本申请一个示例性实施例提供的用于人脸识别的图像发送方法的流程图。该方法可以由如图1所示的终端来执行。所述方法包括：
步骤201，获取彩色图像和辅助图像，辅助图像包括深度图像和红外图像中的至少一种。
示例性的，彩色图像和辅助图像是终端通过摄像头采集到的图像，或，终端本地存储的图像。示例性的，彩色图像可以是RGB图像，辅助图像可以包括深度图像和红外图像中的至少一种。示例性的，终端通过RGB-D摄像头采集彩色图像和深度图像，通过红外摄像头采集红外图像。示例性的，彩色图像和辅助图像具有对应关系，彩色图像和辅助图像对应同一时刻的画面，即，彩色图像和辅助图像是拍摄同一画面的图像。示例性的，彩色图像和辅助图像的拍摄时间戳、拍摄焦距、拍摄角度、拍摄视野范围相同。示例性的，彩色图像和辅助图像大小相同，将彩色图像和辅助图像置于相同的坐标系中，相同位置的像素点在相同上方向上具有相同的变化趋势(物体边线、光影变化趋势等相同)。
示例性的，辅助图像包括深度图像；或，辅助图像包括红外图像；或，辅助图像包括深度图像和红外图像。
在刷脸支付的应用场景中，彩色图像和辅助图像可以是支付设备采集到的用户照片，例如，支付设备采集到的用户A的照片，用户A的照片包括了彩色图像、深度图像和红外图像。
步骤202，调用人脸区域识别模型识别彩色图像，得到彩色图像上的人脸区域。
终端调用人脸区域识别模型识别彩色图像。人脸区域识别模型用于识别图像中的人脸区域。人脸区域是指图像中人脸所在的区域范围。
示例性的，终端也可以用其他人脸区域识别模型来识别辅助图像的人脸区域。
步骤203，根据彩色图像上的人脸区域对彩色图像和辅助图像分别进行剪裁得到人脸图像，人脸图像包括剪裁彩色图像得到的人脸彩色图像、剪裁辅助图像得到的人脸辅助图像。
示例性的，人脸辅助图像包括人脸深度图像和人脸红外图像中的至少一种。服务器根据彩色图像上的人脸区域对彩色图像进行剪裁得到人脸彩色图像；根据彩色图像上的人脸区域对深度图像进行剪裁得到人脸深度图像；根据彩色图像上的人脸区域对红外图像进行剪裁得到人脸红外图像。
由于彩色图像和辅助图像具有对应关系，终端可以根据彩色图像中人脸区域的位置坐标，来对应地确定辅助图像中人脸区域的位置坐标。然后，终端根据人脸区域的位置坐标将人脸区域从彩色图像上剪裁下来得到人脸彩色图像，将人脸区域从辅助图像上剪裁下来得到人脸辅助图像。本实施例将人脸彩色图像和人脸辅助图像统称为人脸图像。示例性的，人脸区域的位置坐标是通过人脸框来确定的，人脸框在彩色图像的位置坐标即为人脸区域的位置坐标。例如，人脸区域的位置坐标是中心点为(4,4)、边线为2、边线平行于彩色图像边框的正方形区域位置。
步骤204，向服务器发送人脸图像，服务器用于基于人脸辅助图像进行活体检测、以及基于人脸图像进行人脸识别。
人脸图像是终端从彩色图像和辅助图像中分别剪裁下来的人脸区域的图像，即，人脸图像的图像大小要小于彩色图像和辅助图像。由于服务器在对图像进行人脸识别时，只是对人脸区域进行识别，图像中的非人脸区域不存在人脸，也就不需要进行人脸识别。因此，本实施例将人脸区域从彩色图像和辅助图像中剪裁下来，只向服务器发送人脸区域的人脸图像，服务器可以根据人脸图像来进行人脸识别，可以减少终端发送的数据量。
示例性的，本实施例中的彩色图像和辅助图像为一个时刻的一帧图像，即，只有一张彩色图像和一组辅助图像(一张深度图像，或，一张红外图像，或，一张深度图像和一张红外图像)，只采用一帧图像来进行人脸识别，使服务器根据辅助图像来进行活体检测。相比于让用户做指定动作，使用多帧图像进行活体检测的方法，本实施例使用一帧图像的方法进一步地减少了终端向服务器发送的数据量，减少了数据传输所需的时间，提高人脸识别的效率。
综上所述，本实施例提供的方法，在人脸识别场景中，通过由终端提前对需要进行识别的彩色图像和辅助图像进行剪裁，将剪裁后的人脸图像上传给服务器，从而减少终端上传给服务器的数据量。终端通过识别彩色图像中的人脸区域，根据人脸区域来剪裁彩色图像和辅助图像，从而提取彩色图像和辅助图像中的人脸区域，在保障人脸识别准确度的同时降低通过网络传输的数据量，从而降低数据传输量，缩减用户等待人脸识别结果所需的时间。同时，服务器利用人脸图像进行人脸识别，由于需要进行识别的图像较小，还可以提高服务器人脸识别的效率，减少服务器的运算量。
示例性的，给出一种使用人脸区域识别模型识别人脸区域的示例性实施例。
图3示出了本申请一个示例性实施例提供的用于人脸识别的图像发送方法的流程图。该方法可以由如图1所示的终端来执行。在图2所示的示例性实施例的基础上，步骤202还包括步骤2021，步骤203还包括步骤2031至步骤2032。
步骤2021，调用人脸区域识别模型识别彩色图像，得到彩色图像上的至少一个人脸框，至少一个人脸框用于标注人脸区域。
示例性的，人脸区域识别模型是一种目标检测模型，例如，人脸区域识别模型可以使用Faster R-CNN模型、SSD(Single Shot MultiBox Detector，单镜头多盒检测器)模型或YOLO模型中的任意一种来训练得到。Faster R-CNN模型可以参照2015年发表的论文《Faster R-CNN:Towards Real-Time Object Detection with Region ProposalNetworks(快速R-CNN：基于区域建议网络的实时目标检测)》。SSD模型可以参照2016年在ECCV(European Conference on Computer Vision，欧洲计算机视觉国际会议)发表的论文《SSD:Single Shot MultiBox Detector(SSD：单镜头多盒检测器)》。YOLO模型可以参照2015年发表的论文《You Only Look Once:Unified,Real-Time Object Detection(你只看一次：统一的、实时的对象检测)》。
示例性的，将彩色图像输入人脸区域识别模型后，人脸区域识别模型会输出人脸框。人脸框是标注在彩色图像上的矩形框。示例性的，人脸区域识别模型会输出人脸框的位置坐标。位于人脸框内的区域即为人脸区域。示例性的，人脸区域识别模型会时被彩色图像中全部的人脸区域输出至少一个人脸框。
本申请在下一个实施例中会给出一种人脸区域识别模型，及其训练方法。
步骤2031，根据目标框确定原则将至少一个人脸框中的一个人脸框确定为目标框。
示例性的，在刷脸支付、人脸识别等应用场景中，服务器只要识别用户的人脸，而终端采集的彩色图像中可能还包括其他人的人脸，而人脸区域识别模型会识别彩色图像中全部的人脸，因此，当人脸区域识别模型输出了多个人脸框时，终端会根据目标框确定原则从多个人脸框中选出一个人脸框。示例性的，目标框确定原则用于选出用户的人脸。目标框确定原则可以根据用户对应的人脸框的特征来设置，例如，目标框确定原则可以是将多个人脸框中面积最大的人脸框确定为目标框；或，将多个人脸框中中心点与彩色图像中心点距离最近的人脸框确定为目标框；或，将多个人脸框中人脸概率较大的人脸框确定为目标框。
步骤2032，根据目标框剪裁彩色图像和辅助图像得到人脸图像。
终端根据目标框在彩色图像上的位置坐标剪裁彩色图像和辅助图像。示例性的，终端会对彩色图像和辅助图像进行坐标对齐，例如，将两张图像的中心点对齐，根据人脸框在对齐后的位置坐标剪裁两张图像。
示例性的，为了确保可以完整地截取人脸区域，终端还可以等比缩放目标框得到剪裁框，根据剪裁框剪裁彩色图像和辅助图像得到人脸图像。例如，根据目标框的中心点为基准点，等比放大目标框1.8倍得到剪裁框，然后沿剪裁框剪裁彩色图像和辅助图像得到人脸图像。
示例性的，终端在得到人脸图像后，还可以提取人脸图像的特征向量，向服务器发送人脸图像的特征向量。即，终端对人脸图像进行特征提取得到特征向量，向服务器发送特征向量。示例性的，服务器根据人脸图像的特征向量进行人脸识别。
综上所述，本实施例提供的方法，人脸区域识别模型用于识别输入的彩色图像，并使用人脸框标识彩色图像中的人脸区域，终端在得到人脸区域识别模型输出的人脸框后，根据人脸框的位置来剪裁彩色图像和辅助图像从而得到人脸图像。当人脸区域识别模型输出的人脸框为多个时，终端根据目标框确定原则从多个人脸框中选出一个人脸框作为目标框，然后根据目标框剪裁彩色图像和辅助图像得到人脸图像，使终端从多个人脸区域中提取出最需要的人脸的区域进行剪裁，减少人脸图像的大小，提高图像识别的效率。
本实施例提供的方法，终端根据目标框的位置，以目标框的中心点为中心，等比缩放目标框得到剪裁框，根据剪裁框对彩色图像和辅助图像进行剪裁。终端通过等比放大目标框得到剪裁框，使剪裁框稍大于目标框，在减少传输数据量的同时，使人脸图像尽量全面地包含人脸区域。
示例性的，人脸区域识别模型的算法包括以下几个部分：1、利用Haar特征描述人脸特征；2、建立积分图像，利用该图像快速获取几种不同的Haar特征；3、利用Adaboost算法进行训练，建立级联分类器；4、非极大值抑制。
当彩色图像输入人脸区域识别模型后，先利用固定大小的窗口，从彩色图像中截取出一个个的窗口区域，然后对一个个的窗口区域进行卷积、分类，识别每个窗口区域是否为人脸，最后识别为人脸的窗口区域即为人脸区域，窗口区域的边界即为人脸框。窗口区域的截取可以是滑动截取，例如，以步长为1像素滑动截取，或，以步长为10像素滑动截取。示例性的，步长越小，截取出的窗口区域数量越多，对人脸框的预测越准确。示例性的，终端还可以缩放彩色图像或缩放窗口，从而改变窗口区域的大小，或者改变窗口从彩色图像中截取出的区域范围大小，从而实现更细化地截取窗口区域，准确地识别人脸区域。例如，如图4所示，使用10像素*10像素大小的窗口501、10像素的步长来滑动截取30像素*40像素大小的彩色图像502，则可以截取到12个窗口区域。分别对这12个窗口区域进行特征提取、分类、识别，得到每个窗口是否为人脸区域的识别结果，即可得到彩色图像中的人脸区域。
在卷积层使用Haar特征来描述每个窗口区域的人脸特征。在人脸图像中，人脸不同部位的图像呈现不同特征，例如，眼睛区域会比脸颊区域暗、嘴唇区域会比四周区域暗，鼻子区域会比两边区域亮。基于人脸的这些特征，可以使用不同的Haar特征模板，例如，如图5，提供了八种不同的Haar特征模板：Haar特征模板(1)、Haar特征模板(2)、Haar特征模板(3)、Haar特征模板(4)、Haar特征模板(5)、Haar特征模板(6)、Haar特征模板(7)、Haar特征模板(8)。卷积层先分别对Haar特征模板中的白色区域和黑色区域的像素求和，然后用白色区域的像素和与黑色区域的像素和作差。卷积层通过卷积来利用不同的Haar特征模板描述窗口区域的人脸特征。例如，如图6所示，使用八种Haar特征模板的来与窗口区域503做卷积，提取窗口区域中各个区域的Haar特征。
建立积分图像，由于Haar特征的提取需要求一个区域内的像素和，为了节约计算资源，可以用积分图像来缩减该运算过程中的计算量。积分图像与窗口区域相对应，对于积分图像中的任意一点，该点的积分图像值等于位于该点左上角所有像素之和。公式如下：
其中，s(x,y)为积分图像中(x,y)点的积分图像值，f(x,y)为窗口区域中与(x,y)点对应的像素点的像素值。如图7所示，对于积分图像504，其上的(x,y)点的积分图像值s(x,y)等于窗口区域中位于s点左上角的所有像素之和。
得到窗口区域的积分图像后，对于积分图像有以下特征：
s(x,y)＝f(x,y)+s(x-1,y)+s(x,y-1)-s(x-1,y-1)
例如，如图8所示，积分图像中(x,y)点的积分图像值等于(x,y)点在窗口区域中的像素值f(x,y)加上(x-1,y)点的积分图像值s(x-1,y)加上(x,y-1)点的积分图像值s(x,y-1)减去(x-1,y-1)点的积分图像值s(x-1,y-1)。
再如，如图9所示，对于一个窗口区域503，其中点1在积分图像中的积分图像值为sum(A)，即，A区域的所有像素值的像素和，点2在积分图像中的积分图像值为sum(A+B)，点3在积分图像中的积分图像值为sum(A+C)，点4在积分图像中的积分图像值为sum(A+B+C+D)。则D区域的像素点灰度值之和为：sum(A+B+C+D)-sum(A+C)-sum(A+B)+sum(A)。
利用积分图像的上述特征可以快速计算得到窗口区域的Haar特征。
在使用不同的Haar特征模板得到每个窗口区域的Haar特征后，使用AdaBoost算法来进行训练，对窗口区域的Haar特征进行识别，从而输出窗口区域是否为人脸。AdaBoost算法将一系列的弱分类器通过线性组合构成一个强分类器。如下所示：
其中，h(x)为强分类器，hj(x)为第j个弱分类器，αj为第j个弱分类器对应的权重系数，M为弱分类器的总数。
其中，fj为使用第j个Haar特征模板卷积窗口区域得到的Haar特征，θj为第j个弱分类器的阈值，sj∈{-1,1}。
对于弱分类器的训练，在对样本图像进行滑动截取得到窗口区域后，使用多个Haar特征模板卷积窗口区域得到多个Haar特征，对于使用同一个Haar特征模板卷积得到的不同窗口区域对应的多个Haar特征，将其按照从小到大的顺序排序，随机选取一个Haar特征作为阈值，将所有的Haar特征分为两个部分，小于阈值的一部分分类为人脸，大于阈值的部分分类为非人脸。例如，如图10所示，对于第j个弱分类器505，将使用第j个Haar特征模板卷积得到的不同窗口区域对应的多个Haar特征按照从小到大顺序排序，其中，白色代表该窗口区域被标记为人脸区域，黑色代表该窗口区域被标记为非人脸区域，将θj取为阈值，将小于θj的窗口区域判定为人脸区域，大于θj的窗口区域判定为非人脸，则存在一个样本误差。调整该弱分类器的阈值，使弱分类器的分类误差最小，则训练好了一个最优的弱分类器。
对于强分类器的训练，假设有N个窗口区域，对于用来训练的每个窗口区域用(xi,yi)来表示，其中xi为第i个窗口区域的图像，yi为该窗口区域的标记信息，其中若窗口区域的标记信息为人脸区域，则yi取1；若窗口区域的标记信息为非人脸区域，则yi取-1。首先，对于第i个窗口区域赋予一个初始的权重值假设每个窗口区域使用M种不同的Haar特征模板可以产生M个Haar特征，对于每一个Haar特征fj，j为小于M的正整数：
1)将权重值归一化：其中，/>为在第j个弱分类器中第i个窗口区域的权重值。
2)遍历第j个Haar特征模板对应的每个Haar特征fj，寻找最优的θj、sj，使其分类误差最小，即θj,sj＝argminθ，
其中，yi为第i个窗口的标记信息，yi∈{-1,1}，hj(xi,θj,sj)为第j个弱分类器，θj为第j个弱分类器的阈值，sj∈{-1,1}。
3)更新下一个弱分类器的权重值若窗口区域被正确识别，则ei＝0，否则ei＝1，/>
然后，遍历所有的Haar特征，可以得到最终的强分类器
将多个弱分类器级联起来，使用在前面的弱分类器使用少量的特征将大部分非人脸区域剔除掉，在后面的弱分类器使用更复杂的特征将更复杂的非人脸区域剔除掉，最终得到属于人脸区域的窗口区域。例如，如图11所示，使用三个弱分类器级联，将窗口区域的Haar特征一次输入一级弱分类器506、二级弱分类器507、三级弱分类器508，在每一级弱分类器将判定为非人脸区域的窗口区域剔除掉，将每一级弱分类器都判定为人脸区域的窗口区域保留，用作进一步处理。如此，如果级联分类器的识别率为D，误识率为F，则在第i层的分类器的识别率为di、识别率为fi，则其中，K为弱分类器的个数。假设每一级的分类器都具有非常高的识别率(99.9％)，同时误识率也为在较高水平(50％)，则级联20个弱分类器最终得到的强分类器的识别率为99.9％20≈98％，误识率为50％20≈9.5×10-7。其中，识别率为将正样本识别为正样本的概率，误识率为将负样本识别为正样本的概率。
在人脸识别中，一张脸会被识别出很多个人脸框，如图12所示，一张人脸被识别了3个人脸框509。假设有N个人脸框，根据分类器的输出的属于人脸的概率值从小到大排序，概率值最大的人脸框记为Z。非极大值抑制的工作步骤如下：从最大概率人脸框Z开始，分别判断其它人脸框与人脸框Z的重叠度是否大于设定的阈值。假设其中的人脸框B、人脸框C超过了阈值，就扔掉人脸框B、人脸框C，并保留人脸框Z。从剩下的人脸框中，选择概率最大的人脸框(假设为人脸框Y)，然后判断其它人脸框与人脸框Y的重叠度是否大于设定的阈值，大于扔掉，并保留人脸框Y。一直重复这个过程，直到最后一个人脸框。
示例性的，在进行人脸区域识别之前，终端还可以先进行活体检测，在活体检测成功后，再识别人脸区域。
图13示出了本申请一个示例性实施例提供的用于人脸识别的图像发送方法的流程图。该方法可以由如图1所示的终端来执行。在图2所示的示例性实施例的基础上，步骤202还包括步骤2022至步骤2024。
步骤2022，调用第一活体检测模型检测辅助图像，得到第一活体检测结果。
示例性的，终端上还存储有第一活体检测模型，第一活体检测模型用于对辅助图像进行活体检测。示例性的，第一活体检测模型可以是基于深度图像、红外图像中的至少一种图像来进行活体检测的模型。例如，使用论文《Patch and Depth-Based CNNs(基于补丁和深度图像的CNN)》中的CNN(Convolutional Neural Networks，卷积神经网络)模型，利用深度图像来进行活体检测。
示例性的，第一活体检测模型检测深度图像得到第一活体检测结果。或，第一活体检测模型检测红外图像得到第一活体检测结果。或，第一活体检测模型检测深度图像和红外图像得到第一活体检测结果。
步骤2023，响应于第一活体检测结果为活体，调用人脸区域识别模型识别彩色图像，得到彩色图像上的人脸区域。
步骤2024，响应于活体检测结果为非活体，提示人脸识别失败。
当辅助图像通过活体检测时，再对彩色图像进行人脸区域识别，对人脸区域进行剪裁和发送。当辅助图像未通过活体检测时，直接提示人脸识别失败，这样就可以及时向用户反馈人脸识别结果，提高人脸识别效率。
综上所述，本实施例提供的方法，通过在进行人脸区域识别、发送人脸图像之前，在终端侧进行活体检测，当活体检测通过时才会进行人脸区域识别，当活体检测未通过时，向用户反馈人脸识别失败，从而加快人脸识别的速度，减少无用的网络传输。
示例性的，终端还会向服务器发送彩色图像和辅助图像，来进行异步风险控制。
图14示出了本申请一个示例性实施例提供的用于人脸识别的图像发送方法的流程图。该方法可以由如图1所示的终端来执行。在图2所示的示例性实施例的基础上，步骤204还包括步骤2041。该方法还包括步骤301至步骤303。
步骤301，根据彩色图像和辅助图像生成验证信息，验证信息用于验证数据传输的安全性。
示例性的，终端会根据彩色图像和辅助图像来生成验证信息，例如，终端可以使用MD5信息摘要算法(MD5 Message-Digest Algorithm)来得到彩色图像和辅助图像对应的散列值，将散列值作为验证信息发送给服务器。再如，终端可以使用哈希算法来得到彩色图像和辅助图像的哈希值，将哈希值作为验证信息发送给服务器。
示例性的，终端根据彩色图像和深度图像生成验证信息，或，终端根据彩色图像和红外图像生成验证信息，或，终端根据彩色图像、深度图像和红外图像生成验证信息。
步骤2041，向服务器发送人脸图像和验证信息。
示例性的，终端在发送人脸图像的同时，向服务器发送验证信息。
步骤302，向服务器异步发送彩色图像和辅助图像，服务器用于基于彩色图像、辅助图像和验证信息验证数据传输的安全性。
终端在发送完人脸图像后，还会向服务器发送彩色图像和辅助图像，彩色图像和辅助图像用于做异步风险控制。服务器可以根据接收到的彩色图像和辅助图像根据与验证信息相同的生成规则生成校验信息，利用校验信息和验证信息校验彩色图像和辅助图像与人脸图像的对应关系，以防止终端异常发送人脸图像，或，在网络传输过程中数据包被篡改。例如，若终端在发送人脸图像和验证信息时的数据包被劫取或篡改，服务器可以根据终端发送的彩色图像和辅助图像生成校验信息，用校验信息和验证信息来校验数据是否一致。再如，终端错误地将人脸图像和其他错误的彩色图像的验证信息一起发送给服务器，服务器也可以根据异步接收真实的彩色图像生成的校验信息，来校验终端本次数据传输有误。
示例性的，服务器还用于根据彩色图像、辅助图像和人脸图像确定人脸图像是从彩色图像、辅助图像上裁减得到的。示例性的，服务器在接收到彩色图像和辅助图像后，还可以校验人脸图像与彩色图像的相似度。示例性的，服务器根据人脸图像的大小确定滑动窗口大小，使用滑动窗口在彩色图像和辅助图像中滑动截取备选图像，响应于存在备选图像与人脸图像相同，确定人脸图像与彩色图像和辅助图像相对应，即，人脸图像是从彩色图像和辅助图像上截取下来的图像。服务器可以用人脸图像与彩色图像和辅助图像做对比，如果在彩色图像和辅助图像中存在一个区域，与人脸图像的像素值完全相同，则可以确定人脸图像是从彩色图像和辅助图像中截取出的图像，从而防止终端异常发送数据，提高人脸识别的安全性。
示例性的，服务器还会向终端反馈数据关联结果，若没有备选图像与人脸图像相同，则服务器还会向终端发送关联失败结果，使终端重新上传人脸图像、验证信息、彩色图像和辅助图像；或，控制终端停止使用等待检修。若存在备选图像与人脸图像相同，则服务器还会向终端发送关联成功结果。
步骤303，接收服务器发送的图像识别结果，图像识别结果是服务器识别人脸图像后生成的。
服务器根据人脸图像进行人脸识别后，会向终端发送人脸识别结果。终端接收人脸识别结果。
综上所示，本实施例提供的方法，通过异步传输人脸图像和彩色图像、辅助图像，使服务器用人脸图像进行图像识别，用彩色图像、辅助图像和验证信息进行异步传输的风险控制校验，保证人脸识别的安全性。
示例性的，终端在使用人脸区域识别模型的过程中还可以对人脸区域识别模型进行调整。
示例性的，终端存储至少两组历史信息，历史信息包括：彩色图像和其对应的人脸框的位置坐标，终端根据历史信息中人脸框的位置坐标得到常用人脸框的位置坐标。示例性的，确定常用人脸框的方法可以是：求历史信息中的多个人脸框的平均值，或，将多个人脸框中出现次数最多的人脸框确定为常用人脸框。例如，终端计算至少两组历史信息中至少两个人脸框的位置坐标的平均值，将平均值的位置坐标确定为常用人脸框。或，终端将至少两组历史信息中位置坐标相同的人脸框归为同一备选人脸框，终端统计每种备选人脸框中人脸框的个数，将个数最大的备选人脸框确定为常用人脸框。示例性的，目标框确定原则可以包括：将至少一个人脸框中与常用人脸框距离最近的人脸框确定为目标框。
当终端是设置在各个商店的支付设备时，由于各个支付设备通常固定地设置在固定位置，其采集到的彩色图像和辅助图像也会具有固定性，例如，人脸图像通常出现在彩色图像和辅助图像中的左下角。各个终端设备可以采集历史信息，根据历史信息来确定一个常用人脸框，然后根据常用人脸框在接下来的图像剪裁过程中，选取与常用人脸框最近的人脸框，这样可以提高人脸框选取的准确度，使人脸框的选取贴近实际应用场景。
示例性的，终端还可以在调用人脸区域识别模型识别所述彩色图像，得到所述彩色图像上的至少一个人脸框之后，显示彩色图像以及人脸框，将人脸框设置为可编辑，接收用户在人脸框上的编辑操作，并存储根据编辑操作确定的实际人脸框。根据实际人脸框剪裁彩色图像和辅助图像，向服务器发送剪裁得到的人脸图像。示例性的，终端将存储的实际人脸框与其对应的彩色图像作为训练样本，对人脸区域识别模型进行迭代训练，得到更新后的人脸区域识别模型，在下一次进行人脸区域识别时，使用更新后的人脸区域识别模型进行人脸区域识别。
上述方法，使终端根据使用过程中用户对人脸框的修正结果，迭代调优人脸区域识别模型，提高人脸区域识别模型对人脸区域的识别能力。
图15示出了本申请一个示例性实施例提供的用于人脸识别的图像发送方法的流程图。该方法可以由如图1所示的服务器来执行。该方法包括以下步骤。
步骤401，接收人脸图像，人脸图像是客户端根据彩色图像上的人脸区域分别剪裁彩色图像和辅助图像得到的，辅助图像包括深度图像和红外图像中的至少一种，人脸图像包括剪裁彩色图像得到的人脸彩色图像、剪裁辅助图像得到的人脸辅助图像。
示例性的，服务器接收终端将彩色图像和辅助图像剪裁得到的人脸图像。
示例性的，如图16所示，步骤401还包括步骤4011。
步骤4011，接收人脸图像和验证信息，验证信息是根据彩色图像和辅助图像生成的。
步骤402，调用第二活体检测模型检测人脸辅助图像，得到第二活体检测结果。
示例性的，服务器首先调用第二活体检测模型来对人脸辅助图像进行活体检测，得到第二活体检测结果。
步骤403，响应于第二活体检测结果为活体，识别人脸图像得到图像识别结果。
若活体检测通过，服务器就对人脸图像进行人脸识别。示例性的，服务器将接收到的人脸图像与数据库中存储的用户预留人脸图像进行匹配，进而根据匹配结果进行下一步的处理，例如，进行支付操作或登录操作。
步骤404，向客户端发送图像识别结果。
示例性的，如图16所示，在步骤404之后还包括步骤405至步骤407。
步骤405，接收客户端异步发送的彩色图像和辅助图像。
步骤406，根据彩色图像和辅助图像生成校验信息，校验信息和验证信息是根据相同生成规则生成的信息。
示例性的，服务器会根据接收到的彩色图像和辅助图像来生成校验信息，例如，使用MD5信息摘要算法来得到彩色图像和辅助图像对应的散列值，将生成的散列值作为校验信息。然后对比校验信息和验证信息是否相同，相同则确定人脸图像是从彩色图像和辅助图像上截取的，不相同则人脸图像与彩色图像和辅助图像不匹配，可能存在数据被篡改的风险，服务器生成警报信息或将终端标记为异常。
步骤407，响应于校验信息与验证信息相同，确定数据传输安全。
示例性的，若校验通过，服务器确定本次人脸识别的数据传输安全；若校验失败，服务器确定本次人脸识别的数据传输存在风险。
示例性的，服务器还会验证人脸图像与彩色图像和辅助图像的关联性。服务器使用与人脸图像大小相同的滑动窗口、以单位距离为步长在彩色图像上滑动截取第一备选图像；响应于存在第一备选图像与人脸彩色图像相同，确定人脸彩色图像与彩色图像相关联；使用与人脸图像大小相同的滑动窗口、以单位距离为步长在辅助图像上滑动截取第二备选图像；响应于存在第二备选图像与人脸辅助图像相同，确定人脸辅助图像与辅助图像相关联。
示例性的，单位距离可以是一像素点，即，服务器在彩色图像和辅助图像上截取出所有与人脸图像大小相同的图像作为备选图像，将备选图像一一与人脸图像相匹配，若存在备选图像与人脸图像相同，则可以确定人脸图像是从彩色图像和辅助图像上截取下来的图像。
示例性的，终端也可以向服务器发送人脸框的位置坐标，例如，终端向服务器发送人脸图像、验证信息和人脸框(剪裁框或目标框)的位置坐标；或，终端向服务器发送彩色图像、辅助图像和人脸框(剪裁框或目标框)的位置坐标。然后服务器根据人脸框的位置坐标在彩色热图像和辅助图像上分别剪裁得到备选图像，若备选图像与人脸图像相同，则确定人脸图像是从彩色图像和辅助图像上截取下来的图像。
综上所示，本实施例提供的方法，在人脸识别场景中，通过由终端提前对需要进行识别的彩色图像和辅助图像进行剪裁，将剪裁后的人脸图像上传给服务器，从而减少终端上传给服务器的数据量。终端通过识别彩色图像中的人脸区域，根据人脸区域来剪裁彩色图像和辅助图像，从而提取彩色图像和辅助图像中的人脸区域，在保障人脸识别准确度的同时降低通过网络传输的数据量，从而降低数据传输量，缩减用户等待人脸识别结果所需的时间。服务器利用人脸图像进行人脸识别，由于需要进行识别的图像较小，还可以提高服务器人脸识别的效率，减少服务器的运算量。
示例性的，给出一种将本申请提供的方法应用于刷脸支付场景的示例性实施例。如图17所示，用户在使用终端进行刷脸支付时，首先在刷脸登录界面801中进行刷脸登录。终端采集用户的彩色图像和辅助图像后，将彩色图像和辅助图像中的人脸区域剪裁下来得到人脸图像，向服务器发送人脸图像。服务器对人脸图像进行识别后，确定该人脸为用户A的人脸，则向终端发送用户A的登录指令，使终端登录用户A的用户帐号。示例性的，终端显示登录成功界面802。然后，终端录入商品信息和优惠信息，显示支付确认界面803。在用户点击确认支付后，终端并向服务器发送支付订单，服务器接收支付订单后根据人脸识别结果支付订单。
图18示出了本申请一个示例性实施例提供的用于人脸识别的图像发送方法的流程图。该方法可以由如图1所示的计算机系统来执行。该方法包括以下步骤。
步骤901，引导用户配合，采集彩色图、红外图和深度图。
示例性的，终端引导用户拍摄彩色图像、红外图像和深度图像。示例性的，终端显示人脸采集界面，引导用户正视镜头以便采集彩色图像、深度图像和红外图像。示例性的，终端使用RGB-D摄像头和红外摄像头同时拍摄用户，得到彩色图像、深度图像和红外图像。
步骤902，裁剪人脸区域得到人脸图像。
示例性的，终端对彩色图像进行人脸区域识别，根据识别得到的人脸框分别剪裁彩色图像、红外图像和深度图像得到人脸图像。示例性的，终端调用人脸区域识别模型识别彩色图像，得到位于彩色图像上的人脸框，根据人脸框的位置坐标裁减彩色图像、红外图像和深度图像。
步骤903，添加图像验证信息。
终端根据彩色图像、深度图像和红外图像生成验证信息。例如，终端可以根据哈希算法计算彩色图像、深度图像和红外图像的哈希值，将哈希值作为验证信息。
步骤904，打包人脸图像到后台。
终端将人脸图像和验证信息打包发送给服务器。
步骤905，人脸活体检测、人脸识别。
服务器根据人脸图像中的人脸深度图像或人脸红外图像进行人脸活体检测，根据人脸图像中的人脸彩色图像、人脸深度图像、人脸红外图像中的至少一种进行人脸识别，得到人脸识别结果。示例性的，服务器将接收到的人脸图像与人脸数据库中存储的人脸数据相匹配，若与某个用户帐号的人脸数据匹配成功，则将人脸图像确定为该用户帐号的人脸图像，进而根据该用户帐号生成人脸识别结果。例如，根据该用户帐号生成登录信息，使终端登录该用户帐号；或，使用该用户帐号进行支付。
步骤906，结果返回给客户端。
服务器将人脸识别结果返回给客户端，完成人脸识别过程。
步骤907，打包发送三张原图。
终端将彩色图像、深度图像和红外图像打包发送给服务器，进行异步风险控制。
步骤908，校验图片。
服务器根据接收到的彩色图像、深度图像和红外图像校验验证信息。例如，服务器也根据收到的彩色图像、深度图像和红外图像计算其哈希值，来验证算出来的哈希值与终端发送的哈希值是否相同，进而确定终端生成人脸图像所使用的图像与终端发送的图像是否相同，若不相同则可能存在异常，服务器会发出报警信息。
步骤909，异步风险控制。
服务器根据校验结果进行异步风险控制。例如，服务器根据收到的彩色图像、深度图像、红外图像生成校验信息，如果验证信息和校验信息相同，则数据传输过程安全。再如，服务器用滑动窗口从彩色图像、深度图像、红外图像上分别滑动截取备选图像，若存在备选图像与人脸图像相同，则人脸图像确实是从彩色图像、深度图像、红外图像上截取下来的。
综上所示，本实施例提供的方法，在人脸识别场景中，通过由终端提前对需要进行识别的彩色图像和辅助图像进行剪裁，将剪裁后的人脸图像上传给服务器，从而减少终端上传给服务器的数据量。终端通过识别彩色图像中的人脸区域，根据人脸区域来剪裁彩色图像和辅助图像，从而提取彩色图像和辅助图像中的人脸区域，在保障人脸识别准确度的同时降低通过网络传输的数据量，从而降低数据传输量，缩减用户等待人脸识别结果所需的时间。服务器利用人脸图像进行人脸识别，由于需要进行识别的图像较小，还可以提高服务器人脸识别的效率，减少服务器的运算量。
以下为本申请的装置实施例，对于装置实施例中未详细描述的细节，可以结合参考上述方法实施例中相应的记载，本文不再赘述。
图19示出了本申请的一个示例性实施例提供的用于图像识别的图像发送装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分，该装置包括：
获取模块601，用于获取彩色图像和辅助图像，所述辅助图像包括深度图像和红外图像中的至少一种；
区域识别模块602，用于调用人脸区域识别模型识别所述彩色图像，得到所述彩色图像上的人脸区域；
剪裁模块603，用于根据所述彩色图像上的所述人脸区域对所述彩色图像和所述辅助图像分别进行剪裁得到人脸图像，所述人脸图像包括剪裁所述彩色图像得到的人脸彩色图像、剪裁所述辅助图像得到的人脸辅助图像；
第一发送模块604，用于向服务器发送所述人脸图像，所述服务器用于基于所述人脸辅助图像进行活体检测、以及基于所述人脸图像进行人脸识别。
在一个可选的实施例中，所述装置还包括：
所述区域识别模块602，还用于调用人脸区域识别模型识别所述彩色图像，得到所述彩色图像上的至少一个人脸框，所述至少一个人脸框用于标注所述人脸区域；
确定模块605，用于根据目标框确定原则将所述至少一个人脸框中的一个人脸框确定为目标框；
所述剪裁模块603，还用于根据所述目标框剪裁所述彩色图像和所述辅助图像得到所述人脸图像。
在一个可选的实施例中，所述剪裁模块603，还用于等比缩放所述目标框得到剪裁框；
所述剪裁模块603，还用于根据所述剪裁框剪裁所述彩色图像和所述辅助图像得到所述人脸图像。
在一个可选的实施例中，所述装置还包括：
第一活体检测模块606，用于调用第一活体检测模型检测所述辅助图像，得到第一活体检测结果；
所述区域识别模块602，还用于响应于所述第一活体检测结果为活体，调用人脸区域识别模型识别所述彩色图像，得到所述彩色图像上的人脸区域。
在一个可选的实施例中，所述装置还包括：
提示模块607，用于响应于所述活体检测结果为非活体，提示人脸识别失败。
在一个可选的实施例中，所述装置还包括：
验证模块608，用于根据所述彩色图像和所述辅助图像生成验证信息，所述验证信息用于验证数据传输的安全性；
所述第一发送模块604，还用于向所述服务器发送所述人脸图像和所述验证信息。
所述第一发送模块604，还用于向所述服务器异步发送所述述彩色图像和所述辅助图像，所述服务器用于基于所述彩色图像、所述辅助图像和所述验证信息验证数据传输的安全性。
在一个可选的实施例中，所述装置还包括：
第一接收模块609，用于接收所述服务器发送的图像识别结果，所述图像识别结果是所述服务器识别所述人脸图像后生成的。
在一个可选的实施例中，所述装置还包括：
特征提取模块610，用于对所述人脸图像进行特征提取得到特征图像；
所述第一发送模块604，还用于向所述服务器发送所述特征图像。
在一个可选的实施例中，所述装置还包括：
存储模块，用于存储至少两组历史信息，历史信息包括：彩色图像和其对应的人脸框的位置坐标；
计算模块，用于根据历史信息中人脸框的位置坐标得到常用人脸框的位置坐标；
确定模块605，用于根据目标框确定原则将所述至少一个人脸框中的一个人脸框确定为目标框，所述目标框确定原则包括：将所述将至少一个人脸框中与常用人脸框距离最近的人脸框确定为目标框。
在一个可选的实施例中，所述装置还包括：
显示模块，用于显示所述彩色图像、所述人脸框(目标框/剪裁框)以及所述人脸框的编辑控件；
交互模块，用于接收所述编辑控件上的编辑操作；
存储模块，用于存储根据所述编辑操作生成的实际人脸框；
训练模块，用于根据所述实际人脸框和所述彩色图像训练所述人脸区域识别模型。
图20示出了本申请的一个示例性实施例提供的用于图像识别的图像发送装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为服务器的全部或一部分，该装置包括：
第二接收模块701，用于接收人脸图像，所述人脸图像是客户端根据彩色图像上的人脸区域分别剪裁所述彩色图像和辅助图像得到的，所述辅助图像包括深度图像和红外图像中的至少一种，所述人脸图像包括剪裁所述彩色图像得到的人脸彩色图像、剪裁所述辅助图像得到的人脸辅助图像；
第二活体检测模块702，用于调用第二活体检测模型检测所述人脸辅助图像，得到第二活体检测结果；
人脸识别模块703，用于响应于所述第二活体检测结果为活体，识别所述人脸图像得到图像识别结果；
第二发送模块704，用于向所述客户端发送所述图像识别结果。
在一个可选的实施例中，所述装置还包括：
所述第二接收模块701，还用于接收所述人脸图像和验证信息，所述验证信息是根据所述彩色图像和辅助图像生成的；
所述第二接收模块701，还用于接收所述客户端异步发送的所述彩色图像和辅助图像；
校验模块705，用于根据所述彩色图像和辅助图像生成校验信息，所述校验信息和所述验证信息是根据相同生成规则生成的信息；
风控模块706，用于响应于所述校验信息与所述验证信息相同，确定数据传输安全。
在一个可选的实施例中，所述装置还包括：
所述第二接收模块701，还用于接收所述客户端异步发送的所述彩色图像和所述辅助图像；
风控模块706，用于使用与所述人脸图像大小相同的滑动窗口、以单位距离为步长在所述彩色图像上滑动截取第一备选图像；响应于存在所述第一备选图像与所述人脸彩色图像相同，确定所述人脸彩色图像与所述彩色图像相关联；
所述风控模块706，还用于使用与所述人脸图像大小相同的所述滑动窗口、以单位距离为步长在所述辅助图像上滑动截取第二备选图像；响应于存在所述第二备选图像与所述人脸辅助图像相同，确定所述人脸辅助图像与所述辅助图像相关联。
图21是本申请一个实施例提供的服务器的结构示意图。具体来讲：服务器1000包括中央处理单元(英文：Central Processing Unit，简称：CPU)1001、包括随机存取存储器(英文：Random Access Memory，简称：RAM)1002和只读存储器(英文：Read-Only Memory，简称：ROM)1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。服务器1000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1006，和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。
基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中显示器1008和输入设备1009都通过连接到系统总线1005的输入/输出控制器1010连接到中央处理单元1001。基本输入/输出系统1006还可以包括输入/输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入/输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。大容量存储设备1007及其相关联的计算机可读介质为服务器1000提供非易失性存储。也就是说，大容量存储设备1007可以包括诸如硬盘或者只读光盘(英文：Compact Disc Read-Only Memory，简称：CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(英文：Erasable Programmable Read-Only Memory，简称：EPROM)、电可擦除可编程只读存储器(英文：Electrically Erasable Programmable Read-Only Memory，简称：EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字通用光盘(英文：Digital Versatile Disc，简称：DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。
根据本申请的各种实施例，服务器1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1000可以通过连接在系统总线1005上的网络接口单元1011连接到网络1012，或者说，也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机系统(未示出)。
本申请还提供了一种终端，该终端包括处理器和存储器，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述各个方法实施例提供的用于人脸识别的图像发送方法。需要说明的是，该终端可以是如下图22所提供的终端。
图22示出了本申请一个示例性实施例提供的终端1100的结构框图。该终端1100可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1100包括有：处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1101所执行以实现本申请中方法实施例提供的用于人脸识别的图像发送方法。
在一些实施例中，终端1100还可选包括有：外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地，外围设备包括：射频电路1104、显示屏1105、摄像头组件1106、音频电路1107和电源1108中的至少一种。
外围设备接口1103可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中，处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上；在一些其他实施例中，处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。示例性的，射频电路1104包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时，显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时，显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1105可以为一个，设置终端1100的前面板；在另一些实施例中，显示屏1105可以为至少两个，分别设置在终端1100的不同表面或呈折叠设计；在再一些实施例中，显示屏1105可以是柔性显示屏，设置在终端1100的弯曲表面上或折叠面上。甚至，显示屏1105还可以设置成非矩形的不规则图形，也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。
摄像头组件1106用于采集图像或视频。示例性的，摄像头组件1106包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1101进行处理，或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1107还可以包括耳机插孔。
电源1108用于为终端1100中的各个组件进行供电。电源1108可以是交流电、直流电、一次性电池或可充电电池。当电源1108包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于：加速度传感器1111、陀螺仪传感器1112、压力传感器1113、光学传感器1114以及接近传感器1115。
加速度传感器1111可以检测以终端1100建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号，控制显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1112可以检测终端1100的机体方向及转动角度，陀螺仪传感器1112可以与加速度传感器1111协同采集用户对终端1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1113可以设置在终端1100的侧边框和/或显示屏1105的下层。当压力传感器1113设置在终端1100的侧边框时，可以检测用户对终端1100的握持信号，由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在显示屏1105的下层时，由处理器1101根据用户对显示屏1105的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1114用于采集环境光强度。在一个实施例中，处理器1101可以根据光学传感器1114采集的环境光强度，控制显示屏1105的显示亮度。具体地，当环境光强度较高时，调高显示屏1105的显示亮度；当环境光强度较低时，调低显示屏1105的显示亮度。在另一个实施例中，处理器1101还可以根据光学传感器1114采集的环境光强度，动态调整摄像头组件1106的拍摄参数。
接近传感器1115，也称距离传感器，通常设置在终端1100的前面板。接近传感器1115用于采集用户与终端1100的正面之间的距离。在一个实施例中，当接近传感器1115检测到用户与终端1100的正面之间的距离逐渐变小时，由处理器1101控制显示屏1105从亮屏状态切换为息屏状态；当接近传感器1115检测到用户与终端1100的正面之间的距离逐渐变大时，由处理器1101控制显示屏1105从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图22中示出的结构并不构成对终端1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的用于人脸识别的图像发送方法。
本申请还提供一种计算机设备，该计算机设备包括：处理器和存储器，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的用于人脸识别的图像发送方法。
本申请还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的用于人脸识别的图像发送方法。
本申请还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的用于人脸识别的图像发送方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种用于人脸识别的图像发送方法，其特征在于，所述方法包括：
获取彩色图像和辅助图像，所述辅助图像包括深度图像和红外图像中的至少一种；
调用第一活体检测模型检测所述辅助图像，得到第一活体检测结果；
响应于所述第一活体检测结果为活体，调用人脸区域识别模型识别所述彩色图像，得到所述彩色图像上的多个人脸框，所述多个人脸框用于标注所述人脸区域；
根据目标框确定原则将所述多个人脸框中的一个人脸框确定为目标框；
根据所述目标框剪裁所述彩色图像和所述辅助图像得到人脸图像，所述人脸图像包括剪裁所述彩色图像得到的人脸彩色图像、剪裁所述辅助图像得到的人脸辅助图像；
向服务器发送所述人脸图像，所述服务器用于基于所述人脸辅助图像进行活体检测、以及基于所述人脸图像进行人脸识别；
其中，所述目标框确定原则用于指示将所述多个人脸框中面积最大的人脸框确定为目标框；或，将所述多个人脸框中中心点与彩色图像中心点距离最近的人脸框确定为目标框；或，将所述多个人脸框中人脸概率最大的人脸框确定为目标框。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标框剪裁所述彩色图像和所述辅助图像得到所述人脸图像，包括：
等比缩放所述目标框得到剪裁框；
根据所述剪裁框剪裁所述彩色图像和所述辅助图像得到所述人脸图像。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
根据所述彩色图像和所述辅助图像生成验证信息，所述验证信息用于验证数据传输的安全性；
所述向服务器发送所述人脸图像，包括：
向所述服务器发送所述人脸图像和所述验证信息；
所述向所述服务器发送所述人脸图像和所述验证信息之后，还包括：
向所述服务器异步发送所述彩色图像和所述辅助图像，所述服务器用于基于所述彩色图像、所述辅助图像和所述验证信息验证数据传输的安全性。
4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
接收所述服务器发送的图像识别结果，所述图像识别结果是所述服务器识别所述人脸图像后生成的。
5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
对所述人脸图像进行特征提取得到特征向量；
所述向服务器发送所述人脸图像，包括：
向所述服务器发送所述特征向量。
6.一种用于人脸识别的图像发送方法，其特征在于，所述方法包括：
接收人脸图像，所述人脸图像是客户端根据目标框剪裁彩色图像和辅助图像得到的，所述目标框是所述客户端根据目标框确定原则从多个人脸框中确定出的一个人脸框，所述多个人脸框用于标注人脸区域，所述多个人脸框是所述客户端响应于第一活体检测结果为活体，调用人脸区域识别模型识别所述彩色图像得到的，所述第一活体检测结果是所述客户端调用第一活体检测模型检测所述辅助图像得到的，所述辅助图像包括深度图像和红外图像中的至少一种，所述人脸图像包括剪裁所述彩色图像得到的人脸彩色图像、剪裁所述辅助图像得到的人脸辅助图像；
调用第二活体检测模型检测所述人脸辅助图像，得到第二活体检测结果；
响应于所述第二活体检测结果为活体，识别所述人脸图像得到图像识别结果；
向所述客户端发送所述图像识别结果；
其中，所述目标框确定原则用于指示将所述多个人脸框中面积最大的人脸框确定为目标框；或，将所述多个人脸框中中心点与彩色图像中心点距离最近的人脸框确定为目标框；或，将所述多个人脸框中人脸概率最大的人脸框确定为目标框。
7.根据权利要求6所述的方法，其特征在于，所述接收人脸图像，包括：
接收所述人脸图像和验证信息，所述验证信息是根据所述彩色图像和所述辅助图像生成的；
所述方法还包括：
接收所述客户端异步发送的所述彩色图像和所述辅助图像；
根据所述彩色图像和所述辅助图像生成校验信息，所述校验信息和所述验证信息是根据相同生成规则生成的信息；
响应于所述校验信息与所述验证信息相同，确定数据传输安全。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
接收所述客户端异步发送的所述彩色图像和所述辅助图像；
使用与所述人脸图像大小相同的滑动窗口、以单位距离为步长在所述彩色图像上滑动截取第一备选图像；响应于存在所述第一备选图像与所述人脸彩色图像相同，确定所述人脸彩色图像与所述彩色图像相关联；
使用与所述人脸图像大小相同的所述滑动窗口、以单位距离为步长在所述辅助图像上滑动截取第二备选图像；响应于存在所述第二备选图像与所述人脸辅助图像相同，确定所述人脸辅助图像与所述辅助图像相关联。
9.一种用于人脸识别的图像发送装置，其特征在于，所述装置包括：
获取模块，用于获取彩色图像和辅助图像，所述辅助图像包括深度图像和红外图像中的至少一种；
第一活体检测模块，用于调用第一活体检测模型检测所述辅助图像，得到第一活体检测结果；
区域识别模块，用于响应于所述第一活体检测结果为活体，调用人脸区域识别模型识别所述彩色图像，得到所述彩色图像上的多个人脸框，所述多个人脸框用于标注所述人脸区域；
确定模块，用于根据目标框确定原则将所述多个人脸框中的一个人脸框确定为目标框；
剪裁模块，用于根据所述目标框剪裁所述彩色图像和所述辅助图像得到人脸图像，所述人脸图像包括剪裁所述彩色图像得到的人脸彩色图像、剪裁所述辅助图像得到的人脸辅助图像；
第一发送模块，用于向服务器发送所述人脸图像，所述服务器用于基于所述人脸辅助图像进行活体检测、以及基于所述人脸图像进行人脸识别；
其中，所述目标框确定原则用于指示将所述多个人脸框中面积最大的人脸框确定为目标框；或，将所述多个人脸框中中心点与彩色图像中心点距离最近的人脸框确定为目标框；或，将所述多个人脸框中人脸概率最大的人脸框确定为目标框。
10.一种用于人脸识别的图像发送装置，其特征在于，所述装置包括：
第二接收模块，用于接收人脸图像，所述人脸图像是客户端根据目标框剪裁彩色图像和辅助图像得到的，所述目标框是所述客户端根据目标框确定原则从多个人脸框中确定出的一个人脸框，所述多个人脸框用于标注人脸区域，所述多个人脸框是所述客户端响应于第一活体检测结果为活体，调用人脸区域识别模型识别所述彩色图像得到的，所述第一活体检测结果是所述客户端调用第一活体检测模型检测所述辅助图像得到的，所述辅助图像包括深度图像和红外图像中的至少一种，所述人脸图像包括剪裁所述彩色图像得到的人脸彩色图像、剪裁所述辅助图像得到的人脸辅助图像；
第二活体检测模块，用于调用第二活体检测模型检测所述人脸辅助图像，得到第二活体检测结果；
人脸识别模块，用于响应于所述第二活体检测结果为活体，识别所述人脸图像得到图像识别结果；
第二发送模块，用于向所述客户端发送所述图像识别结果；
其中，所述目标框确定原则用于指示将所述多个人脸框中面积最大的人脸框确定为目标框；或，将所述多个人脸框中中心点与彩色图像中心点距离最近的人脸框确定为目标框；或，将所述多个人脸框中人脸概率最大的人脸框确定为目标框。
11.一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行，以实现如权利要求1至8任一项所述的用于人脸识别的图像发送方法。
12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行，以实现如权利要求1至8任一项所述的用于人脸识别的图像发送方法。
CN202010821280.8A 2020-08-14 2020-08-14 用于人脸识别的图像发送方法、装置、设备及存储介质 Active CN114140839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010821280.8A CN114140839B (zh) 2020-08-14 2020-08-14 用于人脸识别的图像发送方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010821280.8A CN114140839B (zh) 2020-08-14 2020-08-14 用于人脸识别的图像发送方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114140839A CN114140839A (zh) 2022-03-04
CN114140839B true CN114140839B (zh) 2024-02-23

Family

ID=80438303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010821280.8A Active CN114140839B (zh) 2020-08-14 2020-08-14 用于人脸识别的图像发送方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114140839B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115600177B (zh) * 2022-10-09 2024-04-16 北京金和网络股份有限公司 一种身份认证的方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905733A (zh) * 2014-04-02 2014-07-02 哈尔滨工业大学深圳研究生院 一种单目摄像头对人脸实时跟踪的方法及系统
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
CN110705451A (zh) * 2019-09-27 2020-01-17 支付宝(杭州)信息技术有限公司 人脸识别方法、装置、终端及服务器
CN111046703A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 人脸防伪检测方法、装置及多目相机
CN111444887A (zh) * 2020-04-30 2020-07-24 北京每日优鲜电子商务有限公司 口罩佩戴的检测方法、装置、存储介质及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590430A (zh) * 2017-07-26 2018-01-16 百度在线网络技术（北京）有限公司 活体检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905733A (zh) * 2014-04-02 2014-07-02 哈尔滨工业大学深圳研究生院 一种单目摄像头对人脸实时跟踪的方法及系统
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
CN111046703A (zh) * 2018-10-12 2020-04-21 杭州海康威视数字技术股份有限公司 人脸防伪检测方法、装置及多目相机
CN110705451A (zh) * 2019-09-27 2020-01-17 支付宝(杭州)信息技术有限公司 人脸识别方法、装置、终端及服务器
CN111444887A (zh) * 2020-04-30 2020-07-24 北京每日优鲜电子商务有限公司 口罩佩戴的检测方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114140839A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN110647865B (zh) 人脸姿态的识别方法、装置、设备及存储介质
US20210349940A1 (en) Video clip positioning method and apparatus, computer device, and storage medium
CN111091132B (zh) 基于人工智能的图像识别方法、装置、计算机设备及介质
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
US20220004794A1 (en) Character recognition method and apparatus, computer device, and storage medium
CN111476306B (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
WO2019101021A1 (zh) 图像识别方法、装置及电子设备
CN112036331B (zh) 活体检测模型的训练方法、装置、设备及存储介质
KR100947990B1 (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
US8879803B2 (en) Method, apparatus, and computer program product for image clustering
CN111914812B (zh) 图像处理模型训练方法、装置、设备及存储介质
CN111242090B (zh) 基于人工智能的人脸识别方法、装置、设备及介质
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
CN110135336B (zh) 行人生成模型的训练方法、装置及存储介质
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN111368811B (zh) 活体检测方法、装置、设备及存储介质
US9047504B1 (en) Combined cues for face detection in computing devices
CN110647881B (zh) 确定图像对应的卡片类型的方法、装置、设备及存储介质
CN112446322B (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN111597922A (zh) 细胞图像的识别方法、系统、装置、设备及介质
CN107977636A (zh) 人脸检测方法及装置、终端、存储介质
CN112818979B (zh) 文本识别方法、装置、设备及存储介质
CN114140839B (zh) 用于人脸识别的图像发送方法、装置、设备及存储介质
CN112115748B (zh) 证件图像识别方法、装置、终端及存储介质
CN111753813A (zh) 图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40065634

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant