CN116188952A - 人脸防误刷方法、装置、设备以及存储介质 - Google Patents

人脸防误刷方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN116188952A
CN116188952A CN202111436723.2A CN202111436723A CN116188952A CN 116188952 A CN116188952 A CN 116188952A CN 202111436723 A CN202111436723 A CN 202111436723A CN 116188952 A CN116188952 A CN 116188952A
Authority
CN
China
Prior art keywords
face
color
image
depth image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111436723.2A
Other languages
English (en)
Inventor
洪哲鸣
王军
杨伟明
张晓翼
王少鸣
郭润增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111436723.2A priority Critical patent/CN116188952A/zh
Publication of CN116188952A publication Critical patent/CN116188952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种人脸防误刷方法、装置、设备以及存储介质,涉及计算机技术领域。该方法包括:采集多个人脸的彩色二维图像和该多个人脸的深度图像;将该深度图像映射至该彩色二维图像上,得到彩色深度图像;基于该多个人脸中的第一人脸和第二人脸分别在该彩色深度图像中的位置信息,确定该第一人脸和该第二人脸之间的空间关系;基于该第一人脸和该第二人脸之间的空间关系,输出提示信息,该提示信息用于提示针对该第一人脸或该第二人脸的用户操作行为。该方法能够防止无意愿刷脸用户误刷,不仅提高用户的刷脸体验,而且避免造成无意愿刷脸用户的财产损失。

Description

人脸防误刷方法、装置、设备以及存储介质
技术领域
本申请实施例涉及计算机技术领域,并且更具体地,涉及一种人脸防误刷方法、装置、设备以及存储介质。
背景技术
随着人脸识别技术的快速发展,刷脸已应用在生活中的方方面面,例如,门禁系统、刷脸支付、刷脸登录用户的个人信息系统等。
但是,在实际刷脸过程中,常常会出现意愿人脸点击刷脸后,刷脸设备在采集意愿人脸的图像时,采集到的图像中会出现多个人脸,且由于多个人脸的距离靠的太近从而导致误刷。
发明内容
本申请提供一种人脸防误刷方法、装置、设备以及存储介质,能够防止无意愿刷脸用户误刷,不仅提高用户的刷脸体验,而且避免造成无意愿刷脸用户的财产损失。
第一方面,提供了一种人脸防误刷方法,包括:
采集多个人脸的彩色二维图像和该多个人脸的深度图像;
将该深度图像映射至该彩色二维图像上,得到彩色深度图像;
基于该多个人脸中的第一人脸和第二人脸分别在该彩色深度图像中的位置信息,确定该第一人脸和该第二人脸之间的空间关系;
基于该第一人脸和该第二人脸之间的空间关系,输出提示信息,该提示信息用于提示针对该第一人脸或该第二人脸的用户操作行为。
第二方面,提供了一种人脸防误刷装置,包括:
采集单元,用于采集多个人脸的彩色二维图像和该多个人脸的深度图像;
映射单元,用于将该深度图像映射至该彩色二维图像上,得到彩色深度图像;
确定单元,用于基于该多个人脸中的第一人脸和第二人脸分别在该彩色深度图像中的位置信息,确定该第一人脸和该第二人脸之间的空间关系;
输出单元,用于基于该第一人脸和该第二人脸之间的空间关系,输出提示信息,该提示信息用于提示针对该第一人脸或该第二人脸的用户操作行为。
第三方面,提供了一种电子设备,包括:
处理器,适于执行计算机程序;
计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被该处理器执行时,实现上述第一方面的方法。
第四方面,提供了一种计算机可读存储介质,用于存储计算机程序,该计算机程序使得计算机执行上述第一方面的方法。
第五方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述第一方面的方法。
基于以上技术方案,首先,通过采集多个人脸的彩色二维图像以及与其对应的深度图像,并将该深度图像映射至彩色二维图像上,得到新的深度图像(彩色深度图像),相当于,将包括深度信息的深度图像映射至彩色二维图像上,使得到的彩色深度图像中包括彩色二维图像中多个人脸的三维坐标;然后,再基于该多个人脸中的第一人脸和第二人脸分别在该彩色深度图像中的位置信息,确定第一人脸和该第二人脸之间的空间关系,相当于,考虑到刷脸过程中,人脸之间的空间关系对刷脸设备采集意愿人脸的影响;最后,再基于第一人脸和该第二人脸之间的空间关系,输出提示针对该第一人脸或该第二人脸的用户操作行为,相当于,针对不同的空间关系,输出不同的用于提示该第一人脸或该第二人脸的用户操作行为的提示信息,利用提示信息提示用户,防止无意愿刷脸用户误刷,不仅提高了用户的刷脸体验,而且避免造成无意愿刷脸用户的财产损失。
附图说明
图1a是本申请实施例提供的相机成像场景下角度范围的示例。
图1b是本申请实施例提供的深度图像的成像过程的示例。
图1c是本申请实施例提供的相机坐标与像素坐标之间转换关系的示例。
图1d是本申请实施例提供的相机坐标与像素坐标之间转换关系的另一示例。
图2是本申请实施例提供的系统框架的示意性框图。
图3是本申请实施例提供的人脸防误刷方法的示意性流程图。
图4是本申请实施例提供的深度图像和彩色二维图像进行空间对齐的示意性框图。
图5是本申请实施例提供的深度相机坐标系与彩色相机坐标系之间的转换关系示例图。
图6是本申请实施例提供的人脸防误刷方法的另一示意性流程图。
图7是本申请实施例提供的人脸防误刷装置的框图的示例。
图8是本申请实施例提供的电子设备的示意结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供的方案可涉及人工智能技术。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
应理解,人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请提供的方案还可涉及计算机视觉技术。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
此外,本申请提供的方案还可涉及人脸识别技术。
人脸识别技术是基于人的脸部特征信息进行身份识别的一种生物识别技术。该技术是用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,通过从人脸图像中抽取人的个性化特征,进而对检测到的人脸进行脸部识别等;应理解,该人脸识别技术可包括图像采集、特征定位、身份的确认和查找等的一系列相关技术。
为便于对本申请方案的理解,下面对本申请涉及的相关术语进行说明。
1、彩色二维图像:由彩色传感器(Sensor)采集自然光成像的图像。需要说明的是,彩色二维图像在刷脸支付中一般可用于人脸优选、对比识别等。
2、深度图像:由红外传感器(Sensor)采集散斑结构红外光,再由深度单元解析散斑得到的图像;在三维(3D)计算机图形和计算机视觉中,深度图像是一种图像或图像通道,其中包含与场景对象的表面到视点的距离有关的信息;深度图像的每个像素点表示深度相机平面与被拍摄物体平面之间的垂直距离,常用16位表示,单位为毫米。需要说明的是,深度图像在刷脸支付中一般用于活体检测,辅助对比识别等。
3、红外图像:由红外传感器(Sensor)采集泛红外光成像的图像。需要说明的是,红外图像在刷脸支付中一般用于活体检测。
4、优选:即选出一组符合活体检测和对比识别算法前置条件的彩色二维图像、深度图像及红外图像。具体的,优选一般是通过人脸角度、人脸大小、人脸居中度、彩色图清晰度对彩色二维图像进行优选,通过红外图像的亮度对红外图像进行优选,通过深度图像的完整度对深度图像进行优选。
5、优选支付帧:优选通过的一组彩色二维图像、深度图像及红外图像,可用于活体检测和对比识别。
6、活体检测:判断刷脸者是真人还是相片或者头模等的检测方法,一般通过深度图像判断是否是相片,通过红外图像的亮度判断是否是硅胶头模。
7、对比识别:对比识别刷脸者是哪个用户,一般在彩色二维图像是上提取五官特征,确定特征相似度,通过深度图像辅佐对比五官特征相似度。
8、彩色深度图像(RGBD):RGBD=颜色(RGB)+深度图像(Depth Map),其中,RGB色彩模式是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB代表红、绿、蓝三个通道的颜色,这个标准几乎包括了人类视力所能感知的所有颜色,是目前运用最广的颜色系统之一;此外,在3D计算机图形中,Depth Map是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。需要说明的是,Depth Map类似于灰度图像,它的每个像素值是传感器距离物体的实际距离;通常RGB图像和Depth图像是配准的,因而像素点之间具有一对一的对应关系。
9、FOV视场角:用于描述相机成像给定场景的角度范围,如图1a所示,主要有水平视场角(HFOV)、垂直视场角(VFOV)和对角线视场角(DFOV)三种。
10、散斑结构光:散斑结构光是通过一个红外散斑投射器投出的按一定结构规律排列的点阵光。散斑结构光成像系统由一个红外激光投射器和一个红外传感器组成,如图1b所示,这些点阵光投射到物体表面,通过红外传感器成像以后根据三角测量原理可以还原出物体表面的3D坐标信息,从而获得深度图。
11、点云图像:点云图像记录的是物体在真实世界中的3D坐标信息,它可以由深度图像和相机参数计算获得,虽然深度图像中也包含物体的深度信息,但是深度图像中某点坐标(x,y)是像素坐标,而点云图中记录的是该点在真实世界中的物理坐标。点云图可以在3D渲染引擎中显示,反映各点的3D位置关系。
12、相机的内参:相机的内参是用来描述真实世界物体在相机传感器上成像时3D坐标与成像后的像素坐标之间的转换关系的参数。该转换关系可参照图1c和图1d所示的简化的相机模型来表示。即,深度图和点云图之间可以通过相机的内参相互转换;其中,如图1c所示,p′是像素平面的点,P为相机平面的点,相机坐标系由光心O、X轴、Y轴及Z轴组成;像素坐标系由o、x轴、y轴及z轴组成;o到光心O之间的距离为焦距f。如图1d所示,光心O到B之间的距离f为焦距,光心O到A之间的距离zc为物体表面到相机平面之间的距离。
13、相机坐标系:相机坐标系是指以相机光心为坐标原点,光轴为z轴,x轴和y轴平行于相机成像的像素平面。可理解的是,通过深度图像和相机的内参转化获得的3D坐标就是在相机坐标系下的坐标。
14、相机的外参:相机的外参是用来描述其他3D坐标系与相机坐标系转换关系的参数。当有多个相机时,物体点在一个相机的相机坐标系坐标通过旋转矩阵R和平移矩阵t转换到另一个相机坐标系时,矩阵R和t就是这两个相机之间的外参,即相机的外参描述了两个相机坐标系之间的转换关系。
15、人脸核身:特指首次注册人脸业务时,把用户人脸图、身份证、姓名等信息送到核身源(一般是公安部下的某机构)进行人脸识别和身份核实。
16、人脸检测:指给定一张图片,从中检测到人脸图像区域。
17、人脸比对:人脸图之间进行相似度比对。
18、人脸1:1比对:两张人脸图之间进相似度比对。
19、人脸1:1识别:指给定一张人脸图片和身份标识,通过和后台的注册照进行人脸比对,判定是否为本人。
20、人脸1:N识别:指给定一张人脸图片,从N个身份的固定集合中识别出属于该人脸的身份。
21、活体检测:通过人脸识别技术,检测是否是真人在进行人脸识别。
22、动作活体检测:通过用户配合录制摇头、眨眼、张嘴、读数字等动作的视频,来进行活体检测。
23、反光活体检测:基于屏幕反光的人脸识别技术,利用传感器和光信息,不需要用户交互动作去判断是否为活体。
24、深度图像活体检测:使用3D结构光模组摄像头进行的深度图像的活体检测。
25、RGB图像活体检测:利用RGB图像进行的活体检测。
图2是本申请实施例提供的系统框架的示意性框图200。
如图2所示,该框图200中可包括刷脸终端210、用户220、用户230以及服务器240。
示例性的,刷脸终端210响应于用户220的刷脸请求,采集用户220的人脸图像,并向服务器240发送刷脸认证请求,该刷脸认证请求中携带采集到的人脸图像,服务器240接收到刷脸认证请求后,对刷脸认证请求中携带的人脸图像进行人脸识别,得到与该人脸图像对应的刷脸相关信息,以实现刷脸目的。需要说明的是,图2中的刷脸终端210、用户220、用户230以及服务器240的数目仅仅是示意性的。
需要说明的是,刷脸终端210和支付服务器240可通过无线或有线的方式基于互联网协议进行通信。需要说明的是,该无线网络可以包括但不限于:无线保真(WIFI)网络、蓝牙网络、红外网络、紫蜂(Zigbee)网络或数据网络等,该有线网络可以是通用串行总线(USB)网络。
其中,该刷脸终端210可以是人脸终端,该人脸终端为具备人脸采集功能的终端;示例性的,该刷脸终端210可以是智能移动电话、平板电脑、车载终端、笔记本电脑或台式电脑等。该支付服务器240可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器,服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
此外,该刷脸终端210可以为具有智能摄像头的刷脸终端,该智能摄像头可拔插的设置在刷脸终端210中,该智能摄像头可以是3D(3-Dimensions,三维)摄像头,其具有活体检测的功能。可选地,该智能摄像头可以包括图像传感器(sensor),该图像传感器可用于采集图像的流媒体数据,该图像传感器可以包括彩色二维图像传感器,深度图像传感器或红外图像传感器中的任意一种多种的组合。可选地,该智能摄像头还可包括处理器,该处理器可以用于进行数据处理,例如,将对采集到的流媒体数据进行筛选处理,得到最优的人脸图像;可选的,该处理器可以是DSP(Digital Signal Processor,数字信号处理器),DSP是一种独特的微处理器,是以数字信号来处理数据的器件。
通常情况下,刷脸终端210只需采集用户220的人脸图像,但是,在实际刷脸过程中,常常会出现用户220点击刷脸后,刷脸终端210在采集用户220的人脸图像时,采集到的图像中会出现用户230的人脸图像,而且用户230的人脸和用户220的人脸距离靠的太近,从而导致可能误刷到用户230的人脸图像,不仅给用户230造成不好的刷脸体验,而且造成用户230的财产损失。
基于此,本申请提供了一种人脸防误刷方法、装置、设备以及存储介质,通过采集彩色二维图像的同时,采集深度图像,利用该深度图像检测刷脸场景中多个人脸的空间关系,并根据多个人脸的空间关系给出提示信息,该提示信息用于提示针对该多个人脸的用户操作行为,从而避免刷脸过程中误刷,不仅提高用户的刷脸体验,而且避免造成无意愿刷脸用户的财产损失。
图3是本申请实施例提供的人脸防误刷方法300的示意性流程图。需要说明的是,该方法应用于刷脸终端,该刷脸终端可以是如图2所示的刷脸终端210。
如图3所示,该方法300可包括以下中的部分或全部内容:
S301,采集多个人脸的彩色二维图像和该多个人脸的深度图像;
S302,将该深度图像映射至该彩色二维图像上,得到彩色深度图像;
S303,基于该多个人脸中的第一人脸和第二人脸分别在该彩色深度图像中的位置信息,确定该第一人脸和该第二人脸之间的空间关系;
S304,基于该第一人脸和该第二人脸之间的空间关系,输出提示信息,该提示信息用于提示针对该第一人脸或该第二人脸的用户操作行为。
示例性的,刷脸终端通过彩色相机采集彩色二维图像,通过深度相机采集深度图像。
可选的,该深度相机可以是飞行时间(Time of flight,TOF)相机,即通过对采集目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物到相机平面的距离,从而得到深度图像。
可选的,该深度相机也可以是红外相机,该红外相机通过红外散斑投射器投出的按一定结构规律排列的点阵光,该点阵光经物体表面反射后通过红外传感器成像在红外相机中,该红外相机根据三角测量原理可以还原出物体表面的3D坐标信息,从而获得深度图像。当然,该深度相机也还可以是结构光深度相机,本申请对相机的种类不作具体限制。
应理解,该深度相机包括智能摄像头,该智能摄像头可以是3D摄像头,该3D摄像头具有活体检测的功能;可选地,该智能摄像头可包括图像传感器,该图像传感器用于采集图像数据,该图像传感器可以是深度图像传感器或红外图像传感器中的任意一种或多种的组合。
应理解的是,若刷脸场景中的人脸为非静止状态,则深度相机和彩色相机的采集时间与频率应该同步,以实现同步采集彩色二维图像和深度图像。若刷脸场景中的人脸为静止状态,则深度相机与彩色相机也可以分时采集深度图像和彩色二维图像,但采集时必须从同一角度进行采集。
示例性的,该空间关系可包括空间位置关系、空间姿态关系中的一种或多种的组合。
需要说明的是,该第一人脸和第二人脸可以是多个人脸中的任意两个不同的人脸。
需要说明的是,彩色二维图像包括亮度色度(YcbCr,YUV)格式的图像、RGB格式的图像等;其中,Y表示明亮度(Luma),cb(U)表示蓝色色度,Cr(V)表示红色色度,U和V表示为色度(Chroma),用于描述色彩及饱和度;本申请对彩色二维图像的格式不作具体限制。
需要说明的是,深度图像也被称为距离影像,是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像,它直接反映了景物可见表面的几何形状。
需要说明的是,该针对该第一人脸或该第二人脸的用户操作行为可以是该第一人脸或该第二人脸的用户调整该空间关系,也可以是该第一人脸或第二人脸的用户增加身份验证信息,本申请对提示信息的具体内容不做具体限制。
基于以上技术方案,首先,通过采集多个人脸的彩色二维图像以及与其对应的深度图像,并将该深度图像映射至彩色二维图像上,得到新的深度图像(彩色深度图像),相当于,将包括深度信息的深度图像映射至彩色二维图像上,使得到的彩色深度图像中包括彩色二维图像中多个人脸的三维坐标;然后,再基于该多个人脸中的第一人脸和第二人脸分别在该彩色深度图像中的位置信息,确定第一人脸和该第二人脸之间的空间关系,相当于,考虑到刷脸过程中,人脸之间的空间关系对刷脸设备采集意愿人脸的影响;最后,再基于第一人脸和该第二人脸之间的空间关系,输出提示针对该第一人脸或该第二人脸的用户操作行为,相当于,针对不同的空间关系,输出不同的用于提示该第一人脸或该第二人脸的用户操作行为的提示信息,利用提示信息提示用户,防止无意愿刷脸用户误刷,不仅提高了用户的刷脸体验,而且避免造成无意愿刷脸用户的财产损失。
在本申请的一些实施例中,S302可包括:
基于该深度图像和该彩色二维图像之间的坐标系转换关系,将该深度图像映射至该彩色二维图像所在的空间坐标系,以得到该彩色深度图像。
换言之,基于该深度图像和该彩色二维图像之间的坐标系的转换关系,对该深度图像和该彩色二维图像进行空间对齐处理,以得到该彩色深度图像。
需要说明的是,由于拍摄深度图像的深度相机和拍摄彩色二维图像的彩色相机之间存在一定的位置偏移,需要结合该两个相机的内参和该两个相机之间的外参,确定深度图像和彩色二维图像对应像素的坐标转换关系,再基于该转换关系进行转换,使深度图像和彩色二维图像空间对齐。
基于此,在一种实现方式中,利用该深度相机的内参,将该深度图像转化为第一点云图像,该深度相机为采集该深度图像的相机;利用该深度相机和彩色相机之间的外参,将该第一点云图像转化为第二点云图像,该彩色相机为采集该彩色二维图像的相机;利用该彩色相机的内参,将该第二点云图像转化为该彩色深度图像。
需要说明的是,该两个相机的内参和该两个相机之间的外参是通过对该两个相机进行标定得到的。
下边将结合图4对深度图像和该彩色二维图像进行空间对齐的过程进行详细说明。
图4是本申请实施例提供的深度图像和彩色二维图像进行空间对齐的示意性框图400。
如图4所示,首先,利用深度相机的内参,将深度图像中的像素坐标转换到深度相机坐标系下的相机坐标,得到第一点云图像;其次,再利用深度相机和彩色相机之间的外参,将第一点云图像对应的深度相机坐标系下的坐标转换到彩色相机坐标系下的坐标,得到第二点云图像;最后,再利用彩色相机的内参,将第二点云图像对应的彩色相机坐标系下的坐标转换到像素坐标系下的坐标,从而得到彩色深度图像。
示例性的,相机坐标系与像素坐标系的转换可结合图1c来说,如图1c所示,P点是相机坐标系的点,p′点是像素坐标系的点,二者的坐标转换关系可以通过相机的内参来换算,具体来说,可通过如下公式(1)实现相机坐标系与像素坐标系的转换。需要说明的是,相机坐标系的坐标表征的是3维空间的坐标,像素坐标系的坐标表征的是2维空间的坐标。
Figure BDA0003381992550000101
其中,(fx,fy)为焦点的坐标,(u0,vo)为光心的坐标,Zc为物体表面到相机平面之间的距离,(u,v)为p′点的像素坐标,(xc,yc,zc)为P点的相机坐标。
由于采集深度图像的相机和采集彩色二维图像的相机之间存在角度和距离的偏移,所以深度图像和彩色二维图像在空间对齐时,需要对深度图像进行旋转和偏移,以和彩色二维图像对齐;又由于深度相机坐标系和彩色相机坐标系之间的转换关系类似世界坐标系与相机坐标系之间的转换关系,所以,下边将结合图5对深度相机坐标系和彩色相机坐标系之间的转换关系进行示例性说明。
图5是深度相机坐标系与彩色相机坐标系之间的转换关系示例图。
需要说明的是,从世界坐标系变换到相机坐标系属于刚体变换,即物体不会发生形变,只需要进行旋转和平移。
如图5所示,深度相机下的坐标(xw,yw,zw)通过旋转和平移变换到彩色相机下的坐标(xc,yc,zc)。
其中,R表示旋转矩阵,
Figure BDA0003381992550000111
表示偏移向量。
具体的,可结合公式(2)将深度相机下的坐标(xw,yw,zw)转换到彩色相机下的坐标(xc,yc,zc)。
Figure BDA0003381992550000112
其中,r00至r22组成的矩阵为上述旋转矩阵R,tx至tz组成的矩阵为上述偏移向量
Figure BDA0003381992550000113
当然,在其他可替代的实施例中,也可对深度相机和彩色相机的参数进行标定,利用标定好的参数再将深度图像和彩色二维图像进行空间对齐,得到该彩色深度图像。
在本申请的一些实施例中,S303之前,该方法还可包括:
对该彩色二维图像进行人脸检测,得到该第一人脸和该第二人脸分别在该彩色二维图像中的二维坐标信息;
将该第一人脸和该第二人脸分别在该彩色二维图像中的二维坐标信息映射至该彩色深度图像上,得到该第一人脸和该第二人脸分别在该彩色深度图像中的深度信息;
将该第一人脸在该彩色二维图像中的二维坐标信息和该第一人脸在该彩色深度图像中的深度信息,确定为该第一人脸在该彩色深度图像中的位置信息;
将该第二人脸在该彩色二维图像中的二维坐标信息和该第二人脸在该彩色深度图像中的深度信息,确定为该第二人脸在该彩色深度图像中的位置信息。
其中,该位置信息可包括:人脸框的坐标信息和人脸特征点的坐标信息。
需要说明的是,该人脸框可以为矩形框,该人脸框的坐标信息包括用于表征该人脸框的多个关键点的坐标信息;该人脸特征点的坐标信息包括该人脸多个特征点的坐标信息。
示例性的,首先,对彩色二维图像进行人脸检测,得到彩色二维图像中多个人脸的人脸框的二维坐标信息,再对每个人脸框中的人脸提取人脸特征点,得到人脸特征点在彩色二维图像中的二维坐标信息;其次,将该人脸框的二维坐标信息和人脸特征点的二维坐标信息分别映射至彩色深度图像上,得到该人脸框的三维坐标信息和人脸特征点的三维坐标信息。
通过将该第一人脸和该第二人脸分别在该彩色二维图像中的位置信息映射至该彩色深度图像上,相当于,将彩色二维图像中第一人脸和该第二人脸的二维位置信息映射至三维的彩色深度图像中,得到第一人脸和该第二人脸的三维位置信息,为确定第一人脸和第二人脸的三维空间关系做铺垫。
在本申请的一些实施例中,S303可包括:
基于该第一人脸和该第二人脸分别在该彩色深度图像中的位置信息,确定该第一人脸和该第二人脸之间的空间距离;
在该空间距离小于预设距离的情况下,基于该第一人脸和该第二人脸分别在该彩色深度图像中的位置信息,确定该第一人脸和该第二人脸之间的空间位置关系,该空间关系包括该空间位置关系。
示例性的,从第一人脸在该彩色深度图像中的位置信息中,筛选n个关键点的位置信息,从第二人脸在该彩色深度图像中的位置信息中,筛选与第一人脸的n个关键点分别对应的n个关键点的位置信息;通过如下公式(3)得到该第一人脸和第二人脸之间的空间距离D:
应理解,第一人脸的n个关键点中的第i个关键点和第二人脸的n个关键点中的第i个关键点一一对应,例如,第一人脸左眼角的点对应第二人脸左眼角的点;再如,第一人脸鼻尖的点对应第二人脸鼻尖的点,其中,n为大于1的正整数;i为大于或等于1且小于或等于n的正整数。
Figure BDA0003381992550000131
其中,(x1i,y1i,z1i)为第一人脸的第i个关键点的位置信息;(x2i,y2i,z2i)为第二人脸的第i个关键点的位置信息。
另一示例性的,若第一人脸的人脸框的中心点的位置信息为(x1,y1,z1),第二人脸的人脸框的中心点的位置信息为(x2,y2,z2),则将第一人脸的人脸框的中心点与第二人脸的人脸框的中心点之间的距离确定为该第一人脸和该第二人脸之间的空间距离。
再一示例性的,也可以将第一人脸的第一人脸特征点和第二人脸的第二人脸特征点之间的距离,确定为该第一人脸和第二人脸之间的空间距离,应理解,第一人脸特征点和第二人脸特征点一一对应;例如,第一人脸特征点为第一人脸左眼角的点,则与其对应第二人脸特征点为第二人脸左眼角的点。需要说明的是,该第一人脸特征点可以是第一人脸的任意特征点,本申请对第一人脸和第二人脸之间的空间距离计算方式不作限制。
示例性的,该预设距离可以是根据经验得到的,也可以是根据历史误刷数据得到的,本申请对此不作具体限制。
需要说明的是,该空间位置关系用于表征该第一人脸和该第二人脸并排或前后;例如,若第一人脸和第二人脸在垂直于采集设备方向的距离小于第一距离,则该第一人脸和第二人脸并排,否则第一人脸和第二人脸前后。应理解,第一距离小于上述预设距离。
通过确定第一人脸和第二人脸之间的空间距离,能够确定第一人脸或第二人脸在刷脸时,一方是否会给另一方造成刷脸干扰,若该空间距离大于或等于预设距离,说明第一人脸和第二人脸之间的空间距离不会造成刷脸干扰,只有在该空间距离小于预设距离的情况下,说明第一人脸和第二人脸之间的空间距离会造成刷脸干扰;若该第一人脸和第二人脸之间的空间距离会造成刷脸干扰,则再进一步确定第一人脸和该第二人脸之间的空间位置关系,相当于,为制定防误刷策略以提示用户做铺垫。
在本申请的一些实施例中,S303还可包括:
基于该第一人脸和该第二人脸分别在该彩色深度图像中的位置信息,确定该第一人脸和该第二人脸的相对姿态,该相对姿态用于表征该第一人脸和该第二人脸之间的空间姿态关系,该空间关系包括该空间姿态关系。
需要说明的是,该相对姿态可以是姿态相似度。
需要说明的是,该空间姿态关系用于表征该第一人脸和该第二人脸姿态逼近或姿态不同;例如,若第一人脸和第二人脸的姿态相似度大于或等于某一预设阈值时,则该第一人脸和第二人脸姿态逼近,否则第一人脸和第二人脸姿态不同。
在一种实现方式中,基于该第一人脸和该第二人脸分别在该彩色深度图像中的位置信息,确定从该第一人脸旋转到该第二人脸的旋转矩阵;将该旋转矩阵转换为旋转角度;基于该旋转角度,确定该第一人脸和该第二人脸的相对姿态。
示例性的,从第一人脸在该彩色深度图像中的位置信息中,筛选m个关键点的位置信息,从第二人脸在该彩色深度图像中的位置信息中,筛选与第一人脸的m个关键点分别对应的m个关键点的位置信息;基于第一人脸的m个关键点的位置信息和第二人脸的m个关键点的位置信息,通过上述公式(2)可计算出从该第一人脸旋转到该第二人脸的旋转矩阵R。需要说明的是,第一人脸的m个关键点中的第j个关键点和第二人脸的m个关键点中的第j个关键点一一对应;其中,m为大于1的正整数;j为大于或等于1且小于或等于m的正整数,每个关键点的位置信息为每个关键点的三维坐标。
示例性的,可将该旋转矩阵转换为欧拉角,即将该旋转矩阵转换为旋转角度。
需要说明的是,根据旋转矩阵,从第一人脸到第二人脸的旋转动作可以分解为空间中沿着三个互相垂直的坐标轴的旋转,即确定一个三维坐标系,用沿三个坐标轴旋转的旋转矩阵的乘积表示第一人脸旋转到第二人脸的动作状态,该三个旋转矩阵可表示如下:
Figure BDA0003381992550000141
即旋转角度为β、α及θ。
基于此,在旋转角度β小于或等于第四预设阈值、旋转角度α小于或等于第五阈值、且旋转角度小于或等于第六阈值的情况下,确定第一人脸和第二人脸的姿态接近,否则,确定第一人脸和第二人脸的姿态不同。
当然,也可以旋转角度为β、α及θ为输入,利用已训练好的第一网络模型预测得到该第一人脸和该第二人脸的姿态相似度,进而明确该第一人脸和第二人脸的姿态相近还是不同。需要说明的是,该第一网络模型是基于已标注的多组旋转角度为样本集进行训练得到的。
在另一种实现方式中,以第一人脸在该彩色深度图像中的位置信息和第二人脸在该彩色深度图像中的位置信息为输入,利用已训练好的第二网络模型,直接预测该第一人脸和第二人脸的姿态相似度。需要说明的是,该第二网络模型是基于已标注的多组关键点的三维位置信息为样本集进行训练得到的;其中,多组中的每一组关键点的三维位置信息包括两个人脸相同特征点的三维位置信息。
在本申请的一些实施例中,S304可包括:
若该空间关系包括空间位置关系和空间姿态关系,则在该空间位置关系用于表征该第一人脸和该第二人脸并排、且该空间姿态关系用于表征该第一人脸和该第二人脸的姿态相似度大于或等于第一预设阈值时,输出第一提示信息,该第一提示信息用于提示该第一人脸和该第二人脸的用户请勿并排刷脸。
在本申请的一些实施例中,S304可包括:
若该空间关系包括空间位置关系和空间姿态关系,则在该空间位置关系用于表征该第一人脸和该第二人脸前后、且该空间姿态关系用于表征该第一人脸和该第二人脸的姿态相似度大于或等于第二预设阈值时,输出第二提示信息,该第二提示信息用于提示输入人脸验证信息。
需要说明的是,该人脸验证信息可以是人脸的身份证后四位,也可以是人脸的手机号后四位,本申请对此不作具体限制。
需要说明的是,该第一预设阈值和第二预设阈值可相同。
图6是本申请实施例提供的人脸防误刷方法600的另一示意性流程图。
如图6所示,该方法600可包括:
S601,采集多个人脸的彩色二维图像和该多个人脸的深度图像。
S602,对该彩色二维图像和深度图像进行空间对齐,得到彩色深度图像。
示例性的,结合4来说,首先,利用深度相机的内参,将深度图像中的像素坐标转换到深度相机坐标系下的相机坐标,得到第一点云图像;其次,再利用深度相机和彩色相机之间的外参,将第一点云图像对应的深度相机坐标系下的坐标转换到彩色相机坐标系下的坐标,得到第二点云图像;最后,再利用彩色相机的内参,将第二点云图像对应的彩色相机坐标系下的坐标转换到像素坐标系下的坐标,从而得到彩色深度图像。
S603,对该彩色二维图像进行人脸检测,得到该第一人脸的人脸框的二维坐标信息和第一人脸的人脸特征点的二维坐标信息,以及得到该第二人脸的人脸框的二维坐标信息和第二人脸的人脸特征点的二维坐标信息。
S604,将该第一人脸的人脸框的二维坐标信息和该第二人脸的人脸框的二维坐标信息分别映射至彩色深度图像中,得到第一人脸的人脸框的三维坐标信息和该第二人脸的人脸框的三维坐标信息。
示例性的,将该第一人脸的人脸框和该第二人脸的人脸框分别在该彩色二维图像中的二维坐标信息映射至该彩色深度图像上,得到该第一人脸的人脸框和该第二人脸的人脸框分别在该彩色深度图像中的深度信息;将该第一人脸的人脸框在该彩色二维图像中的二维坐标信息和该第一人脸的人脸框在该彩色深度图像中的深度信息,确定为该第一人脸的人脸框在该彩色深度图像中的位置信息;同理,将该第二人脸的人脸框在该彩色二维图像中的二维坐标信息和该第二人脸的人脸框在该彩色深度图像中的深度信息,确定为该第二人脸的人脸框在该彩色深度图像中的位置信息。
S605,将该第一人脸的人脸特征点的二维坐标信息和该第二人脸的人脸特征点的二维坐标信息分别映射至彩色深度图像中,得到第一人脸的人脸特征点的三维坐标信息和该第二人脸的人脸特征点的三维坐标信息。
示例性的,将该第一人脸的人脸特征点和该第二人脸的人脸特征点分别在该彩色二维图像中的二维坐标信息映射至该彩色深度图像上,得到该第一人脸的人脸特征点和该第二人脸的人脸特征点分别在该彩色深度图像中的深度信息;将该第一人脸的人脸特征点在该彩色二维图像中的二维坐标信息和该第一人脸的人脸特征点在该彩色深度图像中的深度信息,确定为该第一人脸的人脸特征点在该彩色深度图像中的位置信息;同理,将该第二人脸的人脸特征点在该彩色二维图像中的二维坐标信息和该第二人脸的人脸特征点在该彩色深度图像中的深度信息,确定为该第二人脸的人脸特征点在该彩色深度图像中的位置信息。
S606,基于第一人脸的人脸框的三维坐标信息、该第二人脸的人脸框的三维坐标信息、第一人脸的人脸特征点的三维坐标信息、该第二人脸的人脸特征点的三维坐标信息,计算第一人脸和第二人脸之间的空间距离。
示例性的,从第一人脸在该彩色深度图像中的位置信息中,筛选n个关键点的位置信息,从第二人脸在该彩色深度图像中的位置信息中,筛选与第一人脸的n个关键点分别对应的n个关键点的位置信息;通过如下公式(3)得到该第一人脸和第二人脸之间的空间距离D:
应理解,第一人脸的n个关键点中的第i个关键点和第二人脸的n个关键点中的第i个关键点一一对应,例如,第一人脸左眼角的点对应第二人脸左眼角的点;再如,第一人脸鼻尖的点对应第二人脸鼻尖的点,其中,n为大于1的正整数;i为大于或等于1且小于或等于n的正整数。
Figure BDA0003381992550000171
其中,(x1i,y1i,z1i)为第一人脸的第i个关键点的位置信息;(x2i,y2i,z2i)为第二人脸的第i个关键点的位置信息。
S607,基于第一人脸的人脸框的三维坐标信息、该第二人脸的人脸框的三维坐标信息、第一人脸的人脸特征点的三维坐标信息、该第二人脸的人脸特征点的三维坐标信息,计算第一人脸和第二人脸之间的空间姿态。
在一种实现方式中,基于该第一人脸和该第二人脸分别在该彩色深度图像中的位置信息,确定从该第一人脸旋转到该第二人脸的旋转矩阵;将该旋转矩阵转换为旋转角度;基于该旋转角度,确定该第一人脸和该第二人脸的相对姿态。
S608,基于第一人脸和第二人脸之间的空间距离、第一人脸和第二人脸之间的空间姿态,输出提示信息,以规避多人同框时误刷。
示例性的,若该空间关系包括空间位置关系和空间姿态关系,则在该空间位置关系用于表征该第一人脸和该第二人脸并排、且该空间姿态关系用于表征该第一人脸和该第二人脸的姿态相似度大于或等于预设阈值时,输出第一提示信息,该第一提示信息用于提示该第一人脸和该第二人脸的用户请勿并排刷脸。
示例性的,若该空间关系包括空间位置关系和空间姿态关系,则在该空间位置关系用于表征该第一人脸和该第二人脸前后、且该空间姿态关系用于表征该第一人脸和该第二人脸的姿态相似度小于该预设阈值时,输出第二提示信息,该第二提示信息用于提示输入人脸验证信息。
需要说明的是,在以上的描述中,所涉及的术语“第一\第二”在允许的情况下可以互换特定的顺序或先后次序,不应成为本申请的限制。
以上结合附图详细描述了本申请的优选实施方式,但是,本申请并不限于上述实施方式中的具体细节,在本申请的技术构思范围内,可以对本申请的技术方案进行多种简单变型,这些简单变型均属于本申请的保护范围。例如,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本申请对各种可能的组合方式不再另行说明。又例如,本申请的各种不同的实施方式之间也可以进行任意组合,只要其不违背本申请的思想,其同样应当视为本申请所公开的内容。还应理解,在本申请的各种方法实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上文对本申请实施例提供的方法进行了说明,下面对本申请实施例提供的人脸防误刷装置进行说明。
图7是本申请实施例提供的人脸防误刷装置的框图700的示例。
需要说明的是,该人脸防误刷装置为刷脸终端。
如图7所示,该人脸防误刷装置700可包括以下中部分或全部内容:
采集单元710,用于采集多个人脸的彩色二维图像和该多个人脸的深度图像;
映射单元720,用于将该深度图像映射至该彩色二维图像上,得到彩色深度图像;
确定单元730,用于基于该多个人脸中的第一人脸和第二人脸分别在该彩色深度图像中的位置信息,确定该第一人脸和该第二人脸之间的空间关系;
输出单元740,用于基于该第一人脸和该第二人脸之间的空间关系,输出提示信息,该提示信息用于提示针对该第一人脸或该第二人脸的用户操作行为。
在本申请的一些实施例中,映射单元720可具体用于:
基于该深度图像和该彩色二维图像之间的坐标系转换关系,将该深度图像映射至该彩色二维图像所在的空间坐标系,以得到该彩色深度图像。
在本申请的一些实施例中,映射单元720还可具体用于:
利用深度相机的内参,将该深度图像转化为第一点云图像,该深度相机为采集该深度图像的相机;
利用该深度相机和彩色相机之间的外参,将该第一点云图像转化为第二点云图像,该彩色相机为采集该彩色二维图像的相机;
利用该彩色相机的内参,将该第二点云图像转化为该彩色深度图像。
在本申请的一些实施例中,确定单元730具体可用于:
对该彩色二维图像进行人脸检测,得到该第一人脸和该第二人脸分别在该彩色二维图像中的二维坐标信息;
将该第一人脸和该第二人脸分别在该彩色二维图像中的二维坐标信息映射至该彩色深度图像上,得到该第一人脸和该第二人脸分别在该彩色深度图像中的深度信息;
将该第一人脸在该彩色二维图像中的二维坐标信息和该第一人脸在该彩色深度图像中的深度信息,确定为该第一人脸在该彩色深度图像中的位置信息;
将该第二人脸在该彩色二维图像中的二维坐标信息和该第二人脸在该彩色深度图像中的深度信息,确定为该第二人脸在该彩色深度图像中的位置信息。
在本申请的一些实施例中,该位置信息包括:
人脸框的坐标信息和人脸特征点的坐标信息。
在本申请的一些实施例中,确定单元730还可具体用于:
基于该第一人脸和该第二人脸分别在该彩色深度图像中的位置信息,确定该第一人脸和该第二人脸之间的空间距离;
在该空间距离小于预设距离的情况下,基于该第一人脸和该第二人脸分别在该彩色深度图像中的位置信息,确定该第一人脸和该第二人脸之间的空间位置关系,该空间关系包括该空间位置关系。
在本申请的一些实施例中,确定单元730还可具体用于:
基于该第一人脸和该第二人脸分别在该彩色深度图像中的位置信息,确定该第一人脸和该第二人脸的相对姿态,该相对姿态用于表征该第一人脸和该第二人脸之间的空间姿态关系,该空间关系包括该空间姿态关系。
在本申请的一些实施例中,确定单元730还可具体用于:
基于该第一人脸和该第二人脸分别在该彩色深度图像中的位置信息,确定从该第一人脸旋转到该第二人脸的旋转矩阵;
将该旋转矩阵转换为旋转角度;
基于该旋转角度,确定该第一人脸和该第二人脸的相对姿态。
在本申请的一些实施例中,输出单元740可具体用于:
若该空间关系包括空间位置关系和空间姿态关系,则在该空间位置关系用于表征该第一人脸和该第二人脸并排、且该空间姿态关系用于表征该第一人脸和该第二人脸的姿态相似度大于或等于第一预设阈值时,输出第一提示信息,该第一提示信息用于提示该第一人脸和该第二人脸的用户请勿并排刷脸。
在本申请的一些实施例中,输出单元740还可具体用于:
若该空间关系包括空间位置关系和空间姿态关系,则在该空间位置关系用于表征该第一人脸和该第二人脸前后、且该空间姿态关系用于表征该第一人脸和该第二人脸的姿态相似度大于或等于第二预设阈值时,输出第二提示信息,该第二提示信息用于提示输入人脸验证信息。
应理解,人脸防误刷装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。具体地,该人脸防误刷装置700可以对应于执行本申请实施例的方法300和方法600中的相应主体,并且该人脸防误刷装置700中的各个单元分别为了实现方法300和方法600中的相应流程,为了简洁,在此不再赘述。
还应当理解,本申请实施例涉及的该人脸防误刷装置700中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,该人脸防误刷装置700也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。根据本申请的另一个实施例,可以通过在包括例如中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的通用计算机的通用计算设备上运行能够执行相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造本申请实施例涉及的该人脸防误刷装置700,以及来实现本申请实施例的人脸支付方法。其中,计算机程序可以记载于例如计算机可读存储介质上,并通过计算机可读存储介质装载于电子设备中,并在其中运行,来实现本申请实施例的相应方法。
换言之,上文涉及的单元可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过软硬件结合的形式实现。具体地,本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件组合执行完成。可选地,软件可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例中的步骤。
图8是本申请实施例提供的电子设备800的示意结构图。
如图8所示,该电子设备800至少包括处理器810以及计算机可读存储介质820。其中,处理器810以及计算机可读存储介质820可通过总线或者其它方式连接。计算机可读存储介质820用于存储计算机程序821,计算机程序821包括计算机指令,处理器810用于执行计算机可读存储介质820存储的计算机指令。处理器810是电子设备800的计算核心以及控制核心,其适于实现一条或多条计算机指令,具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
作为示例,处理器810也可称为中央处理器(Central Processing Unit,CPU)。处理器810可以包括但不限于:通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
作为示例,计算机可读存储介质820可以是高速RAM存储器,也可以是非不稳定的存储器(Non-Volatile Memory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器810的计算机可读存储介质。具体而言,计算机可读存储介质820包括但不限于:易失性存储器和/或非易失性存储器。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。
在一种实现方式中,该电子设备800可以是图7所示的人脸防误刷装置700;该计算机可读存储介质820中存储有计算机指令;由处理器810加载并执行计算机可读存储介质820中存放的计算机指令,以实现图3和图6所示方法实施例中的相应步骤;具体实现中,计算机可读存储介质820中的计算机指令由处理器810加载并执行相应步骤,为避免重复,此处不再赘述。
根据本申请的另一方面,本申请实施例还提供了一种计算机可读存储介质(Memory),计算机可读存储介质是电子设备800中的记忆设备,用于存放程序和数据。例如,计算机可读存储介质820。可以理解的是,此处的计算机可读存储介质820既可以包括电子设备800中的内置存储介质,当然也可以包括电子设备800所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了电子设备800的操作系统。并且,在该存储空间中还存放了适于被处理器810加载并执行的一条或多条的计算机指令,这些计算机指令可以是一个或多个的计算机程序821(包括程序代码)。
该电子设备800还可包括:收发器830,该收发器830可连接至该处理器810或计算机可读存储介质820。
其中,计算机可读存储介质820可以控制该收发器830与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。收发器830可以包括发射机和接收机。收发器830还可以进一步包括天线,天线的数量可以为一个或多个。
根据本申请的另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。例如,计算机程序821。此时,电子设备800可以是计算机,处理器810从计算机可读存储介质820读取该计算机指令,处理器810执行该计算机指令,使得该计算机执行上述各种可选方式中提供的图像检测方法。
换言之,当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地运行本申请实施例的流程或实现本申请实施例的功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质进行传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元以及流程步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
最后需要说明的是,以上实施例仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (14)

1.一种人脸防误刷方法,其特征在于,包括:
采集多个人脸的彩色二维图像和所述多个人脸的深度图像;
将所述深度图像映射至所述彩色二维图像上,得到彩色深度图像;
基于所述多个人脸中的第一人脸和第二人脸分别在所述彩色深度图像中的位置信息,确定所述第一人脸和所述第二人脸之间的空间关系;
基于所述第一人脸和所述第二人脸之间的空间关系,输出提示信息,所述提示信息用于提示针对所述第一人脸或所述第二人脸的用户操作行为。
2.根据权利要求1所述的方法,其特征在于,所述将所述深度图像映射至所述彩色二维图像上,得到彩色深度图像,包括:
基于所述深度图像和所述彩色二维图像之间的坐标系转换关系,将所述深度图像映射至所述彩色二维图像所在的空间坐标系,以得到所述彩色深度图像。
3.根据权利要求2所述的方法,其特征在于,所述基于所述深度图像和所述彩色二维图像之间的坐标系转换关系,将所述深度图像映射至所述彩色二维图像所在的空间坐标系,以得到所述彩色深度图像,包括:
利用深度相机的内参,将所述深度图像转化为第一点云图像,所述深度相机为采集所述深度图像的相机;
利用所述深度相机和彩色相机之间的外参,将所述第一点云图像转化为第二点云图像,所述彩色相机为采集所述彩色二维图像的相机;
利用所述彩色相机的内参,将所述第二点云图像转化为所述彩色深度图像。
4.根据权利要求1所述的方法,其特征在于,所述基于所述多个人脸中的第一人脸和第二人脸分别在所述彩色深度图像中的位置信息,确定所述第一人脸和第二人脸之间的空间关系之前,所述方法还包括:
对所述彩色二维图像进行人脸检测,得到所述第一人脸和所述第二人脸分别在所述彩色二维图像中的二维坐标信息;
将所述第一人脸和所述第二人脸分别在所述彩色二维图像中的二维坐标信息映射至所述彩色深度图像上,得到所述第一人脸和所述第二人脸分别在所述彩色深度图像中的深度信息;
将所述第一人脸在所述彩色二维图像中的二维坐标信息和所述第一人脸在所述彩色深度图像中的深度信息,确定为所述第一人脸在所述彩色深度图像中的位置信息;
将所述第二人脸在所述彩色二维图像中的二维坐标信息和所述第二人脸在所述彩色深度图像中的深度信息,确定为所述第二人脸在所述彩色深度图像中的位置信息。
5.根据权利要求4所述的方法,其特征在于,所述位置信息包括:
人脸框的坐标信息和人脸特征点的坐标信息。
6.根据权利要求1所述的方法,其特征在于,所述基于所述彩色二维图像中的第一人脸和第二人脸分别在所述彩色深度图像中的位置信息,确定所述第一人脸和所述第二人脸之间的空间关系,包括:
基于所述第一人脸和所述第二人脸分别在所述彩色深度图像中的位置信息,确定所述第一人脸和所述第二人脸之间的空间距离;
在所述空间距离小于预设距离的情况下,基于所述第一人脸和所述第二人脸分别在所述彩色深度图像中的位置信息,确定所述第一人脸和所述第二人脸之间的空间位置关系,所述空间关系包括所述空间位置关系。
7.根据权利要求1所述的方法,其特征在于,所述基于所述彩色二维图像中的第一人脸和第二人脸分别在所述彩色深度图像中的位置信息,确定所述第一人脸和所述第二人脸之间的空间关系,包括:
基于所述第一人脸和所述第二人脸分别在所述彩色深度图像中的位置信息,确定所述第一人脸和所述第二人脸的相对姿态,所述相对姿态用于表征所述第一人脸和所述第二人脸之间的空间姿态关系,所述空间关系包括所述空间姿态关系。
8.根据权利要求7所述的方法,其特征在于,所述基于所述第一人脸和所述第二人脸分别在所述彩色深度图像中的位置信息,确定所述第一人脸和所述第二人脸的相对姿态,包括:
基于所述第一人脸和所述第二人脸分别在所述彩色深度图像中的位置信息,确定从所述第一人脸旋转到所述第二人脸的旋转矩阵;
将所述旋转矩阵转换为旋转角度;
基于所述旋转角度,确定所述第一人脸和所述第二人脸的相对姿态。
9.根据权利要求1所述的方法,其特征在于,所述基于所述第一人脸和所述第二人脸之间的空间关系,输出提示信息,包括:
若所述空间关系包括空间位置关系和空间姿态关系,则在所述空间位置关系用于表征所述第一人脸和所述第二人脸并排、且所述空间姿态关系用于表征所述第一人脸和所述第二人脸的姿态相似度大于或等于第一预设阈值时,输出第一提示信息,所述第一提示信息用于提示所述第一人脸和所述第二人脸的用户请勿并排刷脸。
10.根据权利要求1所述的方法,其特征在于,所述基于所述第一人脸和所述第二人脸之间的空间关系,输出提示信息,包括:
若所述空间关系包括空间位置关系和空间姿态关系,则在所述空间位置关系用于表征所述第一人脸和所述第二人脸前后、且所述空间姿态关系用于表征所述第一人脸和所述第二人脸的姿态相似度大于或等于第二预设阈值时,输出第二提示信息,所述第二提示信息用于提示输入人脸验证信息。
11.一种人脸防误刷装置,其特征在于,包括:
采集单元,用于采集多个人脸的彩色二维图像和所述多个人脸的深度图像;
映射单元,用于将所述深度图像映射至所述彩色二维图像上,得到彩色深度图像;
确定单元,用于基于所述多个人脸中的第一人脸和第二人脸分别在所述彩色深度图像中的位置信息,确定所述第一人脸和所述第二人脸之间的空间关系;
输出单元,用于基于所述第一人脸和所述第二人脸之间的空间关系,输出提示信息,所述提示信息用于提示针对所述第一人脸或所述第二人脸的用户操作行为。
12.一种电子设备,其特征在于,包括:
处理器,适于执行计算机程序;
计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1至10中任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1至10中任一项所述的方法。
14.一种计算机程序产品,包括计算机程序/指令,其特征在于,所述计算机程序/指令被处理器执行时实现如权利要求1至10中任一项所述的方法。
CN202111436723.2A 2021-11-29 2021-11-29 人脸防误刷方法、装置、设备以及存储介质 Pending CN116188952A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111436723.2A CN116188952A (zh) 2021-11-29 2021-11-29 人脸防误刷方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111436723.2A CN116188952A (zh) 2021-11-29 2021-11-29 人脸防误刷方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN116188952A true CN116188952A (zh) 2023-05-30

Family

ID=86435069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111436723.2A Pending CN116188952A (zh) 2021-11-29 2021-11-29 人脸防误刷方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN116188952A (zh)

Similar Documents

Publication Publication Date Title
CN109446981B (zh) 一种脸部活体检测、身份认证方法及装置
US20230049533A1 (en) Image gaze correction method, apparatus, electronic device, computer-readable storage medium, and computer program product
CN110866977B (zh) 增强现实处理方法及装置、系统、存储介质和电子设备
WO2023024697A1 (zh) 图像拼接方法和电子设备
CN112101123B (zh) 一种注意力检测方法及装置
WO2022111044A1 (zh) 图像处理方法及装置、终端控制方法及装置
US20230100954A1 (en) Facial recognition method and apparatus, device, and medium
CN111104917A (zh) 基于人脸的活体检测方法、装置、电子设备及介质
CN113642639A (zh) 活体检测方法、装置、设备和存储介质
CN111079470B (zh) 人脸活体检测的方法和装置
CN111582155A (zh) 活体检测方法、装置、计算机设备和存储介质
CN114924950A (zh) 测试方法、电子设备和计算机可读介质
CN112507986B (zh) 基于神经网络的多通道人脸活体检测方法及装置
CN110852132B (zh) 一种二维码空间位置确认方法及装置
CN115482285A (zh) 图像对齐方法、装置、设备及存储介质
CN116188952A (zh) 人脸防误刷方法、装置、设备以及存储介质
CN111401258B (zh) 基于人工智能的活体检测方法、以及装置
CN115376198A (zh) 视线方向估计方法、装置、电子设备、介质及程序产品
CN114639132A (zh) 人脸识别场景下的特征提取模型处理方法、装置、设备
CN115880206A (zh) 图像准确度判断方法、装置、设备及存储介质、程序产品
CN112132107A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2023179390A1 (zh) 对象识别方法、装置、电子设备、计算机可读存储介质和计算机程序产品
CN109741243A (zh) 彩色素描图像生成方法及相关产品
CN111698481B (zh) 基于云计算的智能交互机器人监测系统
CN111553286B (zh) 用于捕捉耳朵动画特征的方法、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40087204

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination