CN115482285A - 图像对齐方法、装置、设备及存储介质 - Google Patents

图像对齐方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115482285A
CN115482285A CN202110600513.6A CN202110600513A CN115482285A CN 115482285 A CN115482285 A CN 115482285A CN 202110600513 A CN202110600513 A CN 202110600513A CN 115482285 A CN115482285 A CN 115482285A
Authority
CN
China
Prior art keywords
image
camera
infrared
coordinate system
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110600513.6A
Other languages
English (en)
Inventor
洪哲鸣
张晓翼
赵伟
王少鸣
郭润增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110600513.6A priority Critical patent/CN115482285A/zh
Publication of CN115482285A publication Critical patent/CN115482285A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像对齐方法、装置、设备及存储介质，包括：获取目标物的深度图像、红外图像和彩色图像，深度图像和红外图像是由红外相机拍摄的，彩色图像是由红绿蓝RGB相机拍摄的；根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将红外图像对齐至彩色图像；根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将深度图像对齐至彩色图像，从而可以提高深度图像、红外图像和彩色图像三者的对齐效果。

Description

图像对齐方法、装置、设备及存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种图像对齐方法、装置、设备及存储介质。
背景技术
通常同一目标物的深度图像、红外图像和彩色图像三者经常需要被一块使用在刷脸支付过程中，例如：电子设备可以通过彩色图像来识别刷脸者是哪个用户，进一步的，通过深度图像和红外图像进行活体检测。因此，同一目标物的深度图像、红外图像和彩色图像在时间和空间上对齐至关重要。
目前，针对深度图像、红外图像和彩色图像在空间上的对齐方案过程是：电子设备通过对红外图像和彩色图像识别出相同的一系列点，然后对这些点进行二次曲线拟合，计算出该二次曲线的各项参数，从而可以生成红外图像和彩色图像的之间的坐标转换关系，即可以生成红外图像和彩色图像的各个像素之间的坐标转换关系，电子设备根据该坐标转换关系将红外图像对齐至彩色图像。类似的，电子设备也通过对深度图像和彩色图像识别出相同的一系列点，最终生成深度图像和彩色图像的之间的坐标转换关系，电子设备根据该坐标转换关系将深度图像对齐至彩色图像。然而，电子设备在生成红外图像和彩色图像之间的坐标转换关系时，需要使用深度图像的像素值，也就是说，在深度图像、红外图像和彩色图像在空间上的对齐方案中，深度图像、红外图像和彩色图像三者之间存在一定的耦合，这将导致三者对齐效果不佳的问题。
发明内容
本申请提供一种图像对齐方法、装置、设备及存储介质，从而可以提高深度图像、红外图像和彩色图像三者的对齐效果。
第一方面，提供一种图像对齐方法，包括：获取目标物的深度图像、红外图像和彩色图像，深度图像和红外图像是由红外相机拍摄的，彩色图像是由红绿蓝RGB相机拍摄的；根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将红外图像对齐至彩色图像；根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将深度图像对齐至彩色图像。
第二方面，提供一种图像对齐方法，包括：获取目标物的深度图像、红外图像和彩色图像，深度图像和红外图像是由红外相机拍摄的，彩色图像是由RGB相机拍摄的；根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将彩色图像对齐至深度图像或者红外图像。
第三方面，提供一种图像对齐装置，包括：获取模块、第一对齐模块和第二对齐模块，其中，获取模块用于获取目标物的深度图像、红外图像和彩色图像，深度图像和红外图像是由红外相机拍摄的，彩色图像是由RGB相机拍摄的；第一对齐模块用于根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将红外图像对齐至彩色图像；第二对齐模块用于根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将深度图像对齐至彩色图像。
可选的，第一对齐模块具体用于：根据红外相机的内参将红外图像从红外像素坐标系转换到红外相机坐标系，以得到第一图像。根据相机外参将第一图像从红外相机坐标系转换到RGB相机坐标系，以得到第二图像。根据RGB相机的内参将第二图像从RGB相机坐标系转换到RGB像素坐标系。
可选的，第二对齐模块具体用于：根据红外相机的内参将深度图像从红外像素坐标系转换到红外相机坐标系，以得到第三图像。根据相机外参将第三图像从红外相机坐标系转换到RGB相机坐标系，以得到第四图像。根据RGB相机的内参将第四图像从RGB相机坐标系转换到RGB像素坐标系。
可选的，该图像对齐装置还包括：确定模块和处理模块，其中，确定模块用于根据彩色图像确定人脸框位置。处理模块用于在人脸框位置内，根据与彩色图像对齐后的深度图像和与彩色图像对齐后的红外图像中的至少一项进行活体检测。
第四方面，提供一种图像对齐装置，包括：获取模块和对齐模块，其中，获取模块用于获取目标物的深度图像、红外图像和彩色图像，深度图像和红外图像是由红外相机拍摄的，彩色图像是由RGB相机拍摄的；对齐模块用于根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将彩色图像对齐至深度图像或者红外图像。
可选的，对齐模块具体用于：根据RGB相机的内参将彩色图像从RGB像素坐标系转换到RGB相机坐标系，以得到第一图像。根据相机外参将第一图像从RGB相机坐标系转换到红外相机坐标系，以得到第二图像。根据红外相机的内参将第二图像从红外相机坐标系转换到红外像素坐标系。
可选的，该图像对齐装置还包括：确定模块和处理模块，其中，确定模块用于根据对齐后彩色图像确定人脸框位置。处理模块用于在人脸框位置内，根据深度图像和红外图像中的至少一项进行活体检测。
第五方面，提供一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，执行如第一方面、第二方面或其各实现方式中的方法。
第六方面，提供一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面、第二方面或其各实现方式中的方法。
第七方面，提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行如第一方面、第二方面或其各实现方式中的方法。
第八方面，提供一种计算机程序，计算机程序使得计算机执行如第一方面、第二方面或其各实现方式中的方法。
综上，在本申请中，电子设备可以根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将红外图像对齐至彩色图像，根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将深度图像对齐至彩色图像，或者，电子设备可以根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将彩色图像对齐至深度图像或者红外图像。即电子设备在将红外图像对齐至彩色图像时，不涉及深度图像，类似的，电子设备在将深度图像对齐至彩色图像时，也不涉及红外图像，使得红外图像不影响深度图像至彩色图像的对齐过程，使得深度图像不影响红外图像至彩色图像的对齐过程，从而提高了深度图像、红外图像和彩色图像在空间上的对齐效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像对齐方法的流程图；
图2为本申请实施例提供的将红外图像对齐至彩色图像的过程示意图；
图3为本申请实施例提供的将红外图像对齐至彩色图像的示意图；
图4为本申请实施例提供的将深度图像对齐至彩色图像的过程示意图；
图5为本申请实施例提供的坐标系示意图；
图6为本申请实施例提供的世界坐标系到相机坐标系转换的示意图；
图7为本申请实施例提供的相机坐标系到图像坐标系转换的示意图；
图8为本申请实施例提供的图像坐标系到像素坐标系转换的示意图；
图9为本申请实施例提供的另一种图像对齐方法的流程图；
图10为本申请实施例提供的将彩色图像对齐至深度图像或者红外图像的过程示意图；
图11为本申请实施例提供的一种图像对齐装置1100的示意性框图；
图12为本申请实施例提供的一种图像对齐装置1200的示意性框图；
图13是本申请实施例提供的电子设备1300的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请技术方案涉及人工智能(Artificial Intelligence，AI)中的计算机视觉技术(Computer Vision，CV)。
AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
CV是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(OpticalCharacter Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
为了实现刷脸支付，通常针对同一目标物，可以通过红外相机拍摄至少一副红外图像和至少一副深度图像，通过红绿蓝(Red Green Blue，RGB)相机可以拍摄至少一副彩色图像。
应理解的是，在本申请中，红外相机也可以被红外摄像头替代，RGB相机也可以并被RGB摄像头替代，下面对此不再赘述。
可选的，该红外相机或者红外摄像头可以与电子设备独立设置，也可以集成在电子设备上，类似的，该RGB相机或者RGB摄像头可以与电子设备独立设置，也可以集成在电子设备上，本申请对此不做限制。
可选的，在本申请中，电子设备可以是任何刷脸支付设备，例如：它可以是手机、平板、超市或者其他场所使用的刷脸支付设备，本申请对此不做限制。
应理解的是，彩色图像是由红外相机采集自然光得到的图像。
应理解的是，深度图像是由红外相机采集散斑结构红外光，再由深度单元解析散斑得到的图像，其中该深度单元可以是电子设备中独立于红外相机的深度单元，也可以集成在该红外相机中，本申请对此不做限制。在3D计算机图形和计算机视觉中，深度图像是一种图像或图像通道，其中包含与场景对象的表面到视点的距离有关的信息。深度图像的每个像素点表示红外相机的相机平面与目标物之间的垂直距离，常用16位表示，单位毫米。
其中，散斑结构红外光是通过一个红外散斑投射器投出的按一定结构规律排列的点阵光。
可选的，在电子设备获取到至少一副红外图像、至少一副深度图像和至少一副彩色图像后，电子设备可以选出一组符合活体检测和对比识别算法前置条件的彩色图像、深度图像和红外图像。其中，电子设备可以根据人脸角度、人脸大小、人脸居中度、彩色图清晰度对彩色图像进行优选，根据红外图亮度对红外图像进行优选，根据深度图像的完整度对深度图像进行优选。基于此，下面中提到的电子设备获取到的目标物的深度图像、红外图像和彩色图像可以是电子设备优选之后的图像，即电子设备选择的一组符合活体检测和对比识别算法前置条件的彩色图像、深度图像和红外图像。应理解的是，如果电子设备对彩色图像、深度图像和红外图像进行了优选，那么优选之后得到的一组彩色图像、深度图像和红外图像可以被称为优选支付帧。当然，下面中提到的电子设备获取到的目标物的深度图像、红外图像和彩色图像也可以不是经过优先之后的图像，例如：通过随机选择方式选择的彩色图像、深度图像和红外图像，本申请对彩色图像、深度图像和红外图像是否经过优选不做限制。此外，本申请对如何进行彩色图像、深度图像和红外图像的优选不做限制。
应理解的是，通常同一目标物的深度图像、红外图像和彩色图像三者经常需要被一块使用在刷脸支付过程中。因此，需要对深度图像、红外图像和彩色图像三者进行时间和空间上的对齐，以使三者的分辨率相同、视场角(Angle of Coverage，FOV)相同以及像素对齐。
进一步的，电子设备在对深度图像、红外图像和彩色图像三者进行时间和空间上的对齐之后，电子设备可以识别刷脸者是哪个用户，一般通过对彩色图像提取五点特种相似度，通过深度图像辅助对比五点特种相似度，以确定出人脸框的位置，即确定是哪个用户，然后，电子设备可以判断刷脸者是真人还是相片或者硅胶头模等，即进行活体检测，例如可以通过深度图像判断是否是相片，通过红外图像的亮度判断是否是硅胶头模。
应理解的是，本申请对如何实现深度图像、红外图像和彩色图像在时间上的对齐不做限制，并且对如何根据深度图像、红外图像和彩色图像进行活体检测不做限制。
本申请将重点对如何实现深度图像、红外图像和彩色图像三者在空间上的对齐进行说明：
在介绍本申请技术方案之前，下面先对现有技术中针对深度图像、红外图像和彩色图像在空间上的对齐方案过程进行说明：电子设备通过对红外图像和彩色图像识别出相同的一系列点，然后对这些点进行二次曲线拟合，计算出该二次曲线的各项参数，从而可以生成红外图像和彩色图像的之间的坐标转换关系，电子设备根据该坐标转换关系将红外图像对齐至彩色图像。类似的，电子设备也通过对深度图像和彩色图像识别出相同的一系列点，最终生成深度图像和彩色图像的之间的坐标转换关系，电子设备根据该坐标转换关系将深度图像对齐至彩色图像。
其中，在对红外图像和彩色图像进行对齐时，电子设备对识别出的一系列点进行二次曲线拟合如下：
xr＝xo+dx+βdz
yr＝y0+dy
(xo，y0)是红外图像在与彩色图像进行对齐之前，该红外图像上的任一个像素点。
(xr，yr)是红外图像在与彩色图像进行对齐之后，对齐后的红外图像上的任一个像素点。
dx是对齐后的红外图像相对于对齐前的红外图像在x方向上的坐标偏移，dy是对齐后的红外图像相对于对齐前的红外图像在y方向上的坐标偏移。
Figure BDA0003092752450000071
dz是深度图像的像素值。
由此可知，电子设备在生成红外图像和彩色图像之间的坐标转换关系时，需要使用深度图像的像素值，也就是说，在深度图像、红外图像和彩色图像在空间上的对齐方案中，深度图像、红外图像和彩色图像三者之间存在一定的耦合，这将导致三者对齐效果不佳的问题。
为了解决上述技术问题，本申请将对深度图像、红外图像和彩色图像解耦，即令深度图像与彩色图像对齐，该过程与红外图像无关，令红外图像与彩色图像对齐，该过程与深度图像无关。或者，令彩色图像与深度图像或者红外图像对齐即可，下面将对本申请技术方案进行详细说明：
图1为本申请实施例提供的一种图像对齐方法的流程图，其中，该方法可以应用于如上所述的电子设备中，如上所述，在本申请中，电子设备可以是任何刷脸支付设备，例如：它可以是手机、平板、超市或者其他场所使用的刷脸支付设备，本申请对此不做限制。如图1所示，该方法包括如下步骤：
S110：获取目标物的深度图像、红外图像和彩色图像。
S120：根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将红外图像对齐至彩色图像。
S130：根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将深度图像对齐至彩色图像。
如上所述，深度图像和红外图像是由红外相机拍摄的，彩色图像是由RGB相机拍摄的。
应理解的是，红外相机的内参包括：红外相机的焦距以及该相机的主点位置。红外相机的内参主要用于红外像素坐标系转换到红外相机坐标系的转换。
应理解的是，RGB相机的内参包括：RGB相机的焦距以及该相机的主点位置。RGB相机的内参主要用于RGB相机坐标系转换到RGB像素坐标系的转换。
应理解的是，红外相机与RGB相机之间的相机外参可以是该红外相机到该RGB相机的旋转矩阵和偏移矩阵，或者是该RGB相机到该红外相机的旋转矩阵和偏移矩阵，本申请对此不做限制。红外相机与RGB相机之间的相机外参主要用于红外相机坐标系与RGB相机坐标系之间的转换。
应理解的是，本申请对S120与S130之间的执行顺序不做限制，例如：电子设备可以先执行S120再执行S130，或者，电子设备可以先执行S130再执行S120，又或者，电子设备可以同时执行S120和S130。
可选的，图2为本申请实施例提供的将红外图像对齐至彩色图像的过程示意图，如图2所示，电子设备可以根据红外相机的内参将红外图像从红外像素坐标系转换到红外相机坐标系，以得到第一图像，并根据相机外参将第一图像从红外相机坐标系转换到RGB相机坐标系，以得到第二图像，再根据RGB相机的内参将第二图像从RGB相机坐标系转换到RGB像素坐标系。例如：图3为本申请实施例提供的将红外图像对齐至彩色图像的示意图，如图3所示，电子设备可以根据红外相机的内参将红外图像从红外像素坐标系转换到红外相机坐标系，以得到第一图像，即图3左侧上方的立方体，并根据相机外参将第一图像从红外相机坐标系转换到RGB相机坐标系，以得到第二图像，如图3右侧上方倾斜的立方体，再根据RGB相机的内参将第二图像从RGB相机坐标系转换到RGB像素坐标系。
可选的，图4为本申请实施例提供的将深度图像对齐至彩色图像的过程示意图，如图4所示，电子设备可以根据红外相机的内参将深度图像从红外像素坐标系转换到红外相机坐标系，以得到第三图像，根据相机外参将第三图像从红外相机坐标系转换到RGB相机坐标系，以得到第四图像，根据RGB相机的内参将第四图像从RGB相机坐标系转换到RGB像素坐标系，该过程变化类似于图3所示的红外图像对齐至彩色图像的过程，本申请对此不再赘述。
由此可知，电子设备将红外图像对齐至彩色图像的过程涉及坐标系之间的转换，同样，将深度图像对齐至彩色图像的过程也涉及坐标系之间的转换，下面将对图像处理过程涉及的坐标系以及坐标系之间的转换进行说明：
下面将对通常图像处理中涉及的坐标系进行说明：
图5为本申请实施例提供的坐标系示意图，如图5所示，图像处理中涉及到以下四个坐标系：
Ow-XwYwZw：世界坐标系，其用描述相机位置，单位是米(m)。
Oc-XcYcZc：相机坐标系，光心为原点，单位是米(m)。
o-xy：图像坐标系，也被称为图像物理坐标系、平面坐标系，相机的主点为原点，单位是毫米(mm)。
uv：像素坐标系，原点为图像左上角，单位是像素(pixel)。
P：世界坐标系中的一个点，即为生活中真实的一点。
p：点P在图像中的成像点，在图像坐标系中的坐标为(x，y)，在像素坐标系中的坐标为(u，v)。
f：相机焦距，等于o与Oc之间的距离，即f＝||o-Oc||。
(1)世界坐标系：根据情况而定，可以表示任何物体，此时是由于相机而引入的，世界坐标系的单位是米(m)。
(2)相机坐标系：以相机的光心为原点，在针孔模型中也就是针孔为关心，z轴与光轴重合，也就是z轴指向相机的前方，也就是与成像平面垂直，x轴与y轴的正方向与图像坐标系的两个方向平行，其中图5中的f为相机的焦距，单位为m。
(3)图像坐标系：用物理单位表示像素的位置，坐标原点为相机光轴与图像坐标系的交点位置，即坐标原点为相机的主点。坐标系为图5中的o-xy。单位是毫米(mm)。单位是毫米的原因是，此时由于相机内部的电荷耦合器件图像传感器(Charge Coupled Device，CCD)传感器是很小的，比如8mm x 6mm。但是最后图像是也像素为单位，比如640x480，这就涉及到了图像坐标系与像素坐标系的变换了。下面的像素坐标系将会讲到。
(4)像素坐标系：以像素为单位，坐标原点在图像的左上角。例如：CCD传感上上面的8mm x 6mm，转换到像素大小是640x480.假如dx表示像素坐标系中每个像素的物理大小就是1/80，也就是说毫米与像素点的之间关系是piexl/mm。
下面将对各个坐标系之间的转换进行说明：
图6为本申请实施例提供的世界坐标系到相机坐标系转换的示意图，如图6所示，从世界坐标系到相机坐标系属于刚体变换，即物体不会发生变形，只需要进行旋转和平移。其中，R表示旋转矩阵，T表示平移矩阵，也被称为平移向量。于是得到P点在相机坐标系中的坐标为：
Figure BDA0003092752450000101
等价于
Figure BDA0003092752450000102
其中，R是3*3矩阵，T是3*1矩阵。
图7为本申请实施例提供的相机坐标系到图像坐标系转换的示意图，如图7所示，相机坐标系与图像坐标系的关系属于透视投影关系，即从3D转到2D，也可以看成是针孔模型的改变模型，满足三角形的相似定理。
如图7所示，ΔABOc～ΔoCOc，ΔPBOc～ΔpCOc，因此，可以得到如下结果：
Figure BDA0003092752450000111
因此得到，
Figure BDA0003092752450000112
最终得到，
Figure BDA0003092752450000113
图8为本申请实施例提供的图像坐标系到像素坐标系转换的示意图，如图8所示，此时与前面的坐标系变换不同，这种情况下是没有旋转变换的，但是图像坐标系和像素坐标系的坐标原点位置不一致，单位不一致，依次可以涉及伸缩变换和平移变换，具体的，可以通过如下公式进行像坐标系到像素坐标系的转换：
Figure BDA0003092752450000114
因此得到，
Figure BDA0003092752450000115
需要说明的是，上述相机坐标系可以是本申请中的红外相机坐标系，相应的，像素坐标系也就是本申请中的红外像素坐标系，介绍上述四个坐标系中涉及的图像也就是红外图像或者深度图像。或者，上述相机坐标系可以是本申请中的RGB相机坐标系，相应的，像素坐标系也就是本申请中的彩色像素坐标系，介绍上述四个坐标系中涉及的图像也就是彩色图像。
也就是说，电子设备可以参照上述相机坐标系到图像坐标系，图像坐标系再到像素坐标系的转换过程的逆过程，可以将红外图像从红外像素坐标系转换到红外相机坐标系，以得到第一图像。其中，如上所述，相机坐标系到图像坐标系的转换过程中用到了相机的焦距f，而从图像坐标系到相机坐标系的转换过程中用到了相机的主点(u0，v0)，因此，可以理解电子设备是根据红外相机的内参将红外图像从红外像素坐标系转换到红外相机坐标系，以得到第一图像。进一步的，电子设备可以参照上述世界坐标系到相机坐标系的转换过程，将第一图像从红外相机坐标系转换到RGB相机坐标系，以得到第二图像，其中，如上所述，世界坐标系到相机坐标系的转换过程中用到了相机外参，即转换矩阵R和平移矩阵T，因此，可以理解电子设备是根据相机外参将第一图像从红外相机坐标系转换到RGB相机坐标系，以得到第二图像。更进一步的，电子设备可以参照上述相机坐标系到图像坐标系，图像坐标系再到像素坐标系的转换过程，将第二图像从所述RGB相机坐标系转换到RGB像素坐标系，其中，如上所述，相机坐标系到图像坐标系的转换过程中用到了相机的焦距f，而从图像坐标系到相机坐标系的转换过程中用到了相机的主点(u0，v0)，因此，可以理解电子设备是根据RGB相机的内参将第二图像从RGB相机坐标系转换到RGB像素坐标系。
类似的，电子设备可以参照上述相机坐标系到图像坐标系，图像坐标系再到像素坐标系的转换过程的逆过程，可以将深度图像从红外像素坐标系转换到红外相机坐标系，以得到第三图像。其中，如上，相机坐标系到图像坐标系的转换过程中用到了相机的焦距f，而从图像坐标系到相机坐标系的转换过程中用到了相机的主点(u0，v0)，因此，可以理解电子设备是根据红外相机的内参将深度图像从红外像素坐标系转换到红外相机坐标系，以得到第三图像。进一步的，电子设备可以参照上述世界坐标系到相机坐标系的转换过程，将第三图像从红外相机坐标系转换到RGB相机坐标系，以得到第四图像，其中，如上，世界坐标系到相机坐标系的转换过程中用到了相机外参，即转换矩阵R和平移矩阵T，因此，可以理解电子设备是根据相机外参将第三图像从红外相机坐标系转换到RGB相机坐标系，以得到第四图像。更进一步的，电子设备可以参照上述相机坐标系到图像坐标系，图像坐标系再到像素坐标系的转换过程，将第四图像从RGB相机坐标系转换到RGB像素坐标系，其中，如上，相机坐标系到图像坐标系的转换过程中用到了相机的焦距f，而从图像坐标系到相机坐标系的转换过程中用到了相机的主点(u0，v0)，因此，可以理解电子设备是根据RGB相机的内参将第四图像从RGB相机坐标系转换到RGB像素坐标系。
可选的，在电子设备将红外图像和深度图像分别对齐至彩色图像之后，电子设备可以根据彩色图像确定人脸框位置。在人脸框位置内，根据与彩色图像对齐后的深度图像和与彩色图像对齐后的红外图像中的至少一项进行活体检测。
可选的，电子设备可以通过对彩色图像提取五点特种相似度，通过深度图像辅助对比五点特种相似度，以确定出人脸框的位置，即确定是哪个用户，然后，电子设备可以判断刷脸者是真人还是相片或者硅胶头模等，即进行活体检测，例如可以通过深度图像判断是否是相片，通过红外图像的亮度判断是否是硅胶头模。
应理解的是，本申请对如何根据彩色图像确定人脸框位置，以及如何根据与彩色图像对齐后的深度图像和与彩色图像对齐后的红外图像中的至少一项进行活体检测不做限制。
综上，在本申请中，电子设备可以根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将红外图像对齐至彩色图像，根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将深度图像对齐至彩色图像。即电子设备在将红外图像对齐至彩色图像时，不涉及深度图像，类似的，电子设备在将深度图像对齐至彩色图像时，也不涉及红外图像，使得红外图像不影响深度图像至彩色图像的对齐过程，使得深度图像不影响红外图像至彩色图像的对齐过程，从而提高了深度图像、红外图像和彩色图像在空间上的对齐效果。
图9为本申请实施例提供的另一种图像对齐方法的流程图，其中，该方法可以应用于如上所述的电子设备中，如上所述，在本申请中，电子设备可以是任何刷脸支付设备，例如：它可以是手机、平板、超市或者其他场所使用的刷脸支付设备，本申请对此不做限制。如图9所示，该方法包括如下步骤：
S910：获取目标物的深度图像、红外图像和彩色图像。
S920：根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将彩色图像对齐至深度图像或者红外图像。
应理解的是，深度图像和红外图像是由红外相机拍摄的，彩色图像是由RGB相机拍摄的。
可选的，图10为本申请实施例提供的将彩色图像对齐至深度图像或者红外图像的过程示意图，如图10所示，电子设备可以根据RGB相机的内参将彩色图像从RGB像素坐标系转换到RGB相机坐标系，以得到第一图像。根据相机外参将第一图像从RGB相机坐标系转换到红外相机坐标系，以得到第二图像。根据红外相机的内参将第二图像从红外相机坐标系转换到红外像素坐标系。
需要说明的是，关于本申请实施例的解释说明可参考上一实施例的解释说明，对此不再赘述。
应理解的是，本实施例与上一实施例不同之处在于，由于红外图像和深度图像都是由红外相机拍摄的，因此，红外图像和深度图像本身是对齐的，基于此，若需要令彩色图像、深度图像和红外图像三者对齐，只需要令彩色图像对齐至深度图像或者红外图像即可。
可选的，在电子设备将彩色图像对齐至红外图像或深度图像之后，电子设备可以根据对齐后彩色图像确定人脸框位置，在人脸框位置内，根据深度图像和红外图像中的至少一项进行活体检测。
可选的，电子设备可以通过对对齐后彩色图像提取五点特种相似度，通过深度图像辅助对比五点特种相似度，以确定出人脸框的位置，即确定是哪个用户，然后，电子设备可以判断刷脸者是真人还是相片或者硅胶头模等，即进行活体检测，例如可以通过深度图像判断是否是相片，通过红外图像的亮度判断是否是硅胶头模。
应理解的是，本申请对如何根据对齐后彩色图像确定人脸框位置，以及如何根据深度图像或红外图像中的至少一项进行活体检测不做限制。
综上，在本申请中，电子设备可以根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将彩色图像对齐至深度图像或者红外图像。即电子设备在将彩色图像对齐至红外图像时，不涉及深度图像，类似的，电子设备在将彩色图像对齐至深度图像时，也不涉及红外图像，使得红外图像不影响彩色图像至深度图像的对齐过程，使得深度图像不影响彩色图像至红外图像的对齐过程，从而提高了深度图像、红外图像和彩色图像在空间上的对齐效果。另外，相对于上一实施例，本实施例只需要令彩色图像对齐至红外图像或者深度图像，从而可以提高图像对齐效率。
上文结合图1至图10，详细描述了本申请的方法实施例，下文结合图11至图13，详细描述本申请的装置实施例，应理解，装置实施例与方法实施例相互对应，类似的描述可以参照方法实施例。
图11为本申请实施例提供的一种图像对齐装置1100的示意性框图。如图11所示，该图像对齐装置1100包括：获取模块1110、第一对齐模块1120和第二对齐模块1130。其中，获取模块1110用于获取目标物的深度图像、红外图像和彩色图像，深度图像和红外图像是由红外相机拍摄的，彩色图像是由RGB相机拍摄的。第一对齐模块1120用于根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将红外图像对齐至彩色图像。第二对齐模块1130用于根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将深度图像对齐至彩色图像。
可选的，第一对齐模块1120具体用于：根据红外相机的内参将红外图像从红外像素坐标系转换到红外相机坐标系，以得到第一图像。根据相机外参将第一图像从红外相机坐标系转换到RGB相机坐标系，以得到第二图像。根据RGB相机的内参将第二图像从RGB相机坐标系转换到RGB像素坐标系。
可选的，第二对齐模块1130具体用于：根据红外相机的内参将深度图像从红外像素坐标系转换到红外相机坐标系，以得到第三图像。根据相机外参将第三图像从红外相机坐标系转换到RGB相机坐标系，以得到第四图像。根据RGB相机的内参将第四图像从RGB相机坐标系转换到RGB像素坐标系。
可选的，该图像对齐装置1100还包括：确定模块1140和处理模块1150，其中，确定模块1140用于根据彩色图像确定人脸框位置。处理模块1150用于在人脸框位置内，根据与彩色图像对齐后的深度图像和与彩色图像对齐后的红外图像中的至少一项进行活体检测。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图11所示的装置1100可以执行图1对应的方法实施例，并且装置1100中的各个模块的前述和其它操作和/或功能分别为了实现图1中的各个方法中的相应流程，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置1100。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
图12为本申请实施例提供的一种图像对齐装置1200的示意性框图。如图12所示，该图像对齐装置1200包括：获取模块1210和对齐模块1220，其中，获取模块1210用于获取目标物的深度图像、红外图像和彩色图像，深度图像和红外图像是由红外相机拍摄的，彩色图像是由RGB相机拍摄的。对齐模块1220用于根据红外相机的内参、RGB相机的内参、红外相机与RGB相机之间的相机外参将彩色图像对齐至深度图像或者红外图像。
可选的，对齐模块1220具体用于：根据RGB相机的内参将彩色图像从RGB像素坐标系转换到RGB相机坐标系，以得到第一图像。根据相机外参将第一图像从RGB相机坐标系转换到红外相机坐标系，以得到第二图像。根据红外相机的内参将第二图像从红外相机坐标系转换到红外像素坐标系。
可选的，该图像对齐装置1200还包括：确定模块1130和处理模块1140，其中，确定模块1130用于根据对齐后彩色图像确定人脸框位置。处理模块1140用于在人脸框位置内，根据深度图像和红外图像中的至少一项进行活体检测。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图12所示的装置1200可以执行图9对应的方法实施例，并且装置1200中的各个模块的前述和其它操作和/或功能分别为了实现图9中的各个方法中的相应流程，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置1200。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
图13是本申请实施例提供的电子设备1300的示意性框图。
如图13所示，该电子设备1300可包括：
存储器1310和处理器1320，该存储器1310用于存储计算机程序，并将该程序代码传输给该处理器1320。换言之，该处理器1320可以从存储器1310中调用并运行计算机程序，以实现本申请实施例中的方法。
例如，该处理器1320可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中，该处理器1320可以包括但不限于：
通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中，该存储器1310包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器1310中，并由该处理器1320执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。
如图13所示，该电子设备还可包括：
收发器1330，该收发器1330可连接至该处理器1320或存储器1310。
其中，处理器1320可以控制该收发器1330与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器1330可以包括发射机和接收机。收发器1330还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该电子设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上该，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (12)

1.一种图像对齐方法，其特征在于，包括：
获取目标物的深度图像、红外图像和彩色图像，所述深度图像和所述红外图像是由红外相机拍摄的，所述彩色图像是由红绿蓝RGB相机拍摄的；
根据所述红外相机的内参、所述RGB相机的内参、所述红外相机与所述RGB相机之间的相机外参将所述红外图像对齐至所述彩色图像；
根据所述红外相机的内参、所述RGB相机的内参、所述红外相机与所述RGB相机之间的相机外参将所述深度图像对齐至所述彩色图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述红外相机的内参、所述RGB相机的内参、所述红外相机与所述RGB相机之间的相机外参将所述红外图像对齐至所述彩色图像，包括：
根据所述红外相机的内参将所述红外图像从红外像素坐标系转换到红外相机坐标系，以得到第一图像；
根据所述相机外参将所述第一图像从红外相机坐标系转换到RGB相机坐标系，以得到第二图像；
根据所述RGB相机的内参将所述第二图像从所述RGB相机坐标系转换到RGB像素坐标系。
3.根据权利要求1所述的方法，其特征在于，所述根据所述红外相机的内参、所述RGB相机的内参、所述红外相机与所述RGB相机之间的相机外参将所述深度图像对齐至所述彩色图像，包括：
根据所述红外相机的内参将所述深度图像从红外像素坐标系转换到红外相机坐标系，以得到第三图像；
根据所述相机外参将所述第三图像从红外相机坐标系转换到RGB相机坐标系，以得到第四图像；
根据所述RGB相机的内参将所述第四图像从所述RGB相机坐标系转换到RGB像素坐标系。
4.根据权利要求1-3任一项所述的方法，其特征在于，还包括：
根据所述彩色图像确定人脸框位置；
在所述人脸框位置内，根据与所述彩色图像对齐后的深度图像和与所述彩色图像对齐后的红外图像中的至少一项进行活体检测。
5.一种图像对齐方法，其特征在于，包括：
获取目标物的深度图像、红外图像和彩色图像，所述深度图像和所述红外图像是由红外相机拍摄的，所述彩色图像是由RGB相机拍摄的；
根据所述红外相机的内参、所述RGB相机的内参、所述红外相机与所述RGB相机之间的相机外参将所述彩色图像对齐至所述深度图像或者所述红外图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述红外相机的内参、所述RGB相机的内参、所述红外相机与所述RGB相机之间的相机外参将所述彩色图像对齐至所述深度图像或者所述红外图像，包括：
根据所述RGB相机的内参将所述彩色图像从RGB像素坐标系转换到RGB相机坐标系，以得到第一图像；
根据所述相机外参将所述第一图像从RGB相机坐标系转换到红外相机坐标系，以得到第二图像；
根据所述红外相机的内参将所述第二图像从所述红外相机坐标系转换到红外像素坐标系。
7.根据权利要求5或6所述的方法，其特征在于，还包括：
根据所述对齐后彩色图像确定人脸框位置；
在所述人脸框位置内，根据所述深度图像和所述红外图像中的至少一项进行活体检测。
8.一种图像对齐装置，其特征在于，包括：
获取模块，用于获取目标物的深度图像、红外图像和彩色图像，所述深度图像和所述红外图像是由红外相机拍摄的，所述彩色图像是由RGB相机拍摄的；
第一对齐模块，用于根据所述红外相机的内参、所述RGB相机的内参、所述红外相机与所述RGB相机之间的相机外参将所述红外图像对齐至所述彩色图像；
第二对齐模块，用于根据所述红外相机的内参、所述RGB相机的内参、所述红外相机与所述RGB相机之间的相机外参将所述深度图像对齐至所述彩色图像。
9.一种图像对齐装置，其特征在于，包括：
获取模块，用于获取目标物的深度图像、红外图像和彩色图像，所述深度图像和所述红外图像是由红外相机拍摄的，所述彩色图像是由RGB相机拍摄的；
对齐模块，用于根据所述红外相机的内参、所述RGB相机的内参、所述红外相机与所述RGB相机之间的相机外参将所述彩色图像对齐至所述深度图像或者所述红外图像。
10.一种电子设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至4中任一项所述的方法。
11.一种电子设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求5至7中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至7中任一项所述的方法。
CN202110600513.6A 2021-05-31 2021-05-31 图像对齐方法、装置、设备及存储介质 Pending CN115482285A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110600513.6A CN115482285A (zh) 2021-05-31 2021-05-31 图像对齐方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110600513.6A CN115482285A (zh) 2021-05-31 2021-05-31 图像对齐方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115482285A true CN115482285A (zh) 2022-12-16

Family

ID=84419792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110600513.6A Pending CN115482285A (zh) 2021-05-31 2021-05-31 图像对齐方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115482285A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797426A (zh) * 2023-02-13 2023-03-14 合肥的卢深视科技有限公司 图像对齐方法、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797426A (zh) * 2023-02-13 2023-03-14 合肥的卢深视科技有限公司 图像对齐方法、电子设备及存储介质
CN115797426B (zh) * 2023-02-13 2023-05-12 合肥的卢深视科技有限公司 图像对齐方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US9727775B2 (en) Method and system of curved object recognition using image matching for image processing
US7554575B2 (en) Fast imaging system calibration
JP6011102B2 (ja) 物体姿勢推定方法
CN103839277B (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN113874870A (zh) 基于图像的定位
CN109583304A (zh) 一种基于结构光模组的快速3d人脸点云生成方法及装置
CN111598993A (zh) 基于多视角成像技术的三维数据重建方法、装置
CN104156998A (zh) 一种基于图片虚拟内容融合真实场景的实现方法及系统
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN111325828B (zh) 一种基于三目相机的三维人脸采集方法及装置
CN111079470B (zh) 人脸活体检测的方法和装置
CN112528902A (zh) 一种基于3d人脸模型的视频监控动态人脸识别方法及装置
CN112102404B (zh) 物体检测追踪方法、装置及头戴显示设备
CN111582155B (zh) 活体检测方法、装置、计算机设备和存储介质
CN111325107A (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN116740261B (zh) 图像重建方法和装置、图像重建模型的训练方法和装置
Żak et al. Local image features matching for real-time seabed tracking applications
WO2021114775A1 (en) Object detection method, object detection device, terminal device, and medium
CN115482285A (zh) 图像对齐方法、装置、设备及存储介质
CN116168383A (zh) 三维目标检测方法、装置、系统和存储介质
CN109961503A (zh) 一种图像处理方法及装置、终端及计算机可读存储介质
CN114743277A (zh) 活体检测方法、装置、电子设备、存储介质及程序产品
CN115880206A (zh) 图像准确度判断方法、装置、设备及存储介质、程序产品
CN112016495A (zh) 人脸识别的方法、装置和电子设备
CN112615993A (zh) 深度信息获取方法、双目摄像模组、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination