CN110163898A - 一种深度信息配准方法及装置 - Google Patents

Abstract

本申请公开了一种深度信息配准方法及装置，涉及计算机视觉技术领域，方法包括：针对待配准图像，获取深度传感器采集的深度图像根据所述深度图像包括的深度信息构成第一矩阵；获得第二矩阵，第二矩阵中的每个列向量对应深度图像中的一个像素；根据所述第一矩阵以及所述第二矩阵确定所述第三矩阵；根据系统参数对所述第三矩阵进行转换，得到待配准图像的待配准深度信息矩阵；根据待配准深度信息矩阵对待配准图像进行深度信息配准。本申请实施例中的方法能够提高配准效率，缩短配准时间。

Description

一种深度信息配准方法及装置

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种深度信息配准方法及装置。

背景技术

随着计算机视觉的发展，传统的基于二维彩色图像处理的计算机视觉技术已经无法满足人们将计算机视觉应用于三维物理世界中的要求。深度图像作为一种可以直接反映物体距离信息的图像，受到越来越多的关注。

深度图像也被称为距离影像，深度图像的每个像素点的灰度值可用于表征场景中某一点距离成像设备的远近，它直接反映了景物可见表面的几何形状。与彩色图像相比，其不会受到环境中光照变化的影响。近年来，随着深度传感器的推出，人们可以以较低的成本实时获取较高分辨率的深度图像，这大大推动了深度图像在计算机视觉技术中的应用。在摄影摄像、智能医学、智能人机交互、空间测绘、增强现实等领域都有十分重要的作用。

由于非深度图像的像平面与深度图像的像平面并不重合，从而需要进行非深度图像与深度图像的配准，如何提高配准的效率，是一个需要考虑的问题。

发明内容

有鉴于此，本申请实施例提供一种深度信息配准方法及装置，至少解决了现有技术存在的问题。

一方面，本申请实施例提供一种深度信息配准方法，包括:

针对待配准图像，获取深度传感器采集的深度图像；

根据所述深度图像包括的深度信息构成第一矩阵；

获得第二矩阵，所述第二矩阵中的每个列向量对应所述深度图像中的一个像素；

根据所述第一矩阵以及所述第二矩阵确定所述第三矩阵；

根据系统参数对所述第三矩阵进行转换，得到待配准图像的待配准深度信息矩阵；

根据所述待配准深度信息矩阵对所述待配准图像进行深度信息配准。

一方面，本申请实施例提供一种深度信息配准装置，包括：

获取单元，用于针对待配准图像，获取深度传感器采集的深度图像；

第一矩阵确定单元，用于根据所述深度图像包括的深度信息构成第一矩阵；

第二矩阵确定单元，用于获得第二矩阵，所述第二矩阵中的每个列向量对应所述深度图像中的一个像素；

第三矩阵确定单元，用于根据所述第一矩阵与所述第二矩阵确定第三矩阵；

待配准深度信息矩阵确定单元，用于根据系统参数对所述第三矩阵进行转换，得到所述待配准图像的待配准深度信息矩阵，所述待配准深度信息矩阵中的每个列向量包括一个待配准深度信息以及待配准像素坐标；

深度信息配准单元，用于根据所述待配准深度信息矩阵对所述待配准图像进行深度信息配准。

可选的，所述深度图像的分辨率为m×n，其中m大于等于1，n大于等于1，所述第一矩阵确定单元具体用于：

根据所述深度图像包括的所述m×n个深度信息构成的第一矩阵，所述第一矩阵中的每个列向量对应一个深度信息，所述第一矩阵的列向量是按照每个深度信息对应的像素坐标的先列后行的顺序依次排列；

所述第二矩阵确定单元具体用于：

将所述深度图像的每个像素坐标按照先列后行的顺序依次排列，获得所述第二矩阵。

可选的，所述待配准深度信息矩阵确定单元具体用于：

根据所述深度传感器的系统参数以及所述待配准图像的成像设备的系统参数对所述第三矩阵进行转换，得到所述待配准图像的待配准深度信息矩阵，所述待配准深度信息矩阵中的每个列向量包括一个待配准深度信息以及一个待配准像素坐标。

可选的，所述深度传感器的系统参数包括深度传感器的内参数矩阵、旋转矩阵以及平移矩阵，所述待配准图像的成像设备对应的系统参数包括所述待配准图像对应的成像设备的内参数矩阵；所述旋转矩阵以及所述平移矩阵是所述深度传感器的相机坐标系向所述待配准图像对应的成像设备的坐标系进行坐标变换时确定的。

可选的，所述待配准深度信息矩阵确定单元具体用于：

根据所述待配准图像对应的成像设备的内参数矩阵、所述旋转矩阵以及所述深度传感器的内参数矩阵的逆矩阵之间的乘积确定第四矩阵；

根据所述待配准图像对应的成像设备的内参数矩阵、所述旋转矩阵、所述平移矩阵之间的乘积确定第五矩阵；

根据所述第四矩阵与所述第三矩阵的乘积，得到第六矩阵；

根据所述第六矩阵以及所述第五矩阵之和，得到所述待配准图像的待配准深度信息矩阵。

可选的，所述获取单元还用于：

获取预先确定的所述第二矩阵、所述第四矩阵以及所述第五矩阵。

可选的，所述第三矩阵确定单元具体用于：

根据所述第一矩阵与所述第二矩阵的哈达玛积确定所述第三矩阵。

可选的，所述配准单元具体用于：

针对任一个待配准深度信息，根据所述待配准像素坐标以及所述待配准深度信息之商，确定所述待配准深度信息对应的第一待配准像素；

将所述待配准深度信息作为所述第一待配准像素的深度信息。

可选的，所述深度信息配准单元还用于：

对所述待配准像素坐标以及所述待配准深度信息之商进行取整。

一方面，本申请实施例提供一种成像系统，包括深度传感器、待配准图像对应的成像设备以及深度信息配准装置，所述深度信息配准装置与所述深度传感器以及所述待配准图像对应的成像设备相连；

所述待配准图像对应的成像设备用于采集待配准图像；

所述深度传感器用于采集深度图像；

所述深度信息配准装置用于根据所述深度图像包括的深度信息对所述待配准图像进行深度信息配准。

一方面，本申请实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现深度信息配准方法的步骤。

一方面，本申请实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行深度信息配准方法的步骤。

通过将深度图像包括的深度信息构建为第一矩阵，并根据获得的第二矩阵对第一矩阵进行矩阵变换，得到第三矩阵。通过系统参数对第三矩阵进行转换，得到了待配准深度信息矩阵，并根据待配准深度信息矩阵中的每个待配准深度信息对待配准图像进行深度信息配准。本发明实施例中的方法，可以通过矩阵运算，确定所述的待配准深度信息，并且由于第二矩阵以及系统参数是可以提前确定的，所以可以通过简单的矩阵运算，就可以确定待配准深度信息矩阵，与现有技术中针对一帧分辨率为m×n的待配准图像，至少需要进行m×n次计算，才能得到所有待配准深度信息的计算过程相比，本申请实施例中的方法能够提高配准效率，缩短配准时间，降低了配准图像输出的时延，满足了现有技术中各个计算机视觉技术领域的低时延的要求。

附图说明

图1(a)为本申请实施例提供的一种待配准图像的示意图；

图1(b)为本申请实施例提供的一种深度图像的示意图；

图1(c)为本申请实施例提供的一种未进行配准的待配准图像与深度图像的融合图像的示意图；

图2为本申请实施例提供的一种硬件环境的结构示意图；

图3为本申请实施例提供的一种深度信息配准方法的流程示意图；

图4为本申请实施例提供的一种深度传感器的结构示意图；

图5为本申请实施例提供的不同坐标系的变换示意图；

图6为本申请实施例提供的一种RGB相机与深度传感器的相对位置示意图；

图7为本申请实施例提供的一种RGB图像与深度图像进行配准的示意图；

图8为本申请实施例提供的一种体感游戏的场景示意图；

图9为本申请实施例提供的一种深度信息配准装置；

图10为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

为了方便理解，下面对本申请实施例中涉及的名词进行解释。

深度传感器：通过光学测量得到被测量物的深度的检测装置。

深度图像：深度传感器的输出结果，深度图像的每一个像素点的灰度值可以表征场景中某一点距离深度传感器的远近。

RGB-D(Red-Green-Blue-Deep，红绿蓝颜色信息以及深度信息)传感器系统：包括至少一个彩色相机或者灰度相机以及至少一个深度传感器的成像系统。

配准：将深度传感器采集的深度测量值转换到另一个成像设备的坐标系下的过程。

相机标定：在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。求解相机参数的过程称为相机标定。

内参数：相机参数中的一个，内参数不会因为外界环境变化而改变的参数，该参数由深度传感器或者成像设备自身特性确定的，通过相机标定确定。

世界坐标系：相机标定时的标准坐标系，是指真实世界的立体空间坐标，是一个三维坐标系。

相机坐标系：相机标定时的需要向世界坐标系进行转换的坐标系，也是深度传感器以及其它成像设备的成像坐标，相机坐标是根据透镜成像原理，将世界坐标在成像设备内呈现，是一个三维坐标系。

图像坐标系：深度传感器以及其它成像设备，将相机坐标下系下的成像内容投影到像片上而建立的新坐标系，通常指的是深度传感器以及其它成像设备输出的图像的坐标系统，像平面坐标不含高程信息，是一个二维坐标系。

像素坐标系：像素坐标系与图像坐标系为同一成像平面上的坐标，指示像素坐标系与图像坐标系的原点和度量单位不同，像素坐标系的单位是pixel，像素坐标系中的横坐标和纵坐标分别是图像所在的行和列，像素坐标系可以与图像坐标系相互转换。

齐次坐标：通过一个(n+1)维坐标来表示n维坐标，则(n+1)维坐标称为齐次坐标。可以将齐次坐标理解为在三维空间上第三维为常数的一个平面上的二维向量，齐次坐标将各种变换用阶数统一的矩阵来表示，提供了用矩阵算法运算实现图形变换，或者把二维、三维甚至高维空间上的一个点从一个坐标系变换到另一个坐标系的有效方法。

输出分辨率：指的是深度传感器在输出深度图像时，深度图像在水平方向的像素个数以及在竖直方向的像素个数。

三维重建技术：深度图像的主要应用场景，指的是通过不同的成像设备获取场景物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推导出现实环境中物体的三维信息。

在具体实践过程中，本申请的发明人发现，针对成像物体，深度传感器以及其它成像设备分别生成了深度图像以及其它图像，由于深度传感器的设置位置与其它成像设备的设置位置不同，导致深度传感器的相机坐标与其它成像设备的相机坐标不同，进而导致深度图像与其它图像的像平面不同。如图1所示，图1(a)中示例性的提供了一种其它图像信息，即灰度图像，图1(b)示例性的提供一副深度图像；灰度图像与深度图像的像平面不同，所以将灰度图像与深度图像进行融合后的结果如图1(c)所示，在图1(c)中，灰度图像与深度图像没有正确的融合，1(c)的融合结果存在偏差。

为了能够实现应用深度图像与待配准图像之间的融合，从而应用于更多的技术领域与应用场景中，就需要对深度图像以及待配准图像进行配准，以使深度图像的深度信息能够与待配准图像的图像信息进行正确的融合。

而现有技术中深度信息配准方法中，针对深度图像中的每一个像素点的像素坐标，通过该像素坐标、该像素的深度信息以及深度传感器的设备参数、待配准图像的设备参数计算得到配准参数，进一步通过待配准图像中的该像素点的像素坐标以及配准参数进行深度配准。该配准参数与深度图像的该像素坐标对应，且与待配准图像中的一个像素点的像素坐标对应。现有技术中是针对每一个像素点分别进行计算并配准的，那么对于一帧深度图像以及待配准图像的配准，图像中有多少像素点，就需要计算多少次配准参数，例如，深度图像以及待配准图像的分辨率为m×n，即深度图像以及待配准图像中包括m行以及n列，深度图像以及待配准图像中的总像素数为m×n，要实现一帧深度图像以及待配准图像的配准，就需要进行m×n次计算，每次计算得到一个配准参数。由于现有技术中对图像分辨率的要求越来越高，高分辨率以及超高分辨率的图像成为应用主流，所以当m以及n的数量越来越大时，对深度图像以及待配准图像配准过程中涉及到的计算量也越来越大，配准效率也就越来越低。

而现有技术中越来越多的图像应用，例如机器人导航、虚拟现实交互等图像应用，对实效性要求越来越高，但是由于深度图像以及待配准图像配准过程中涉及到的计算量也越来越大，导致配准过程中耗时增加，在图像应用中出现较长时间的试验，不能满足现有技术对于时效性的要求。

基于现有技术的方案，本申请构思了一种使用深度信息构成矩阵，并根据该矩阵经过简单的矩阵变换以及矩阵运算得到待配准深度信息矩阵进而进行深度信息配准的方法。具体的，针对待配准图像，获取深度传感器采集的深度图像，根据所述深度图像包括的深度信息构成第一矩阵；获得第二矩阵，所述第二矩阵中的每个列向量对应所述深度图像中的一个像素；根据所述第一矩阵以及所述第二矩阵确定所述第三矩阵；根据系统参数对所述第三矩阵进行转换，得到待配准图像的待配准深度信息矩阵；根据所述待配准深度信息矩阵对所述待配准图像进行深度信息配准。

与现有技术中针对一帧m×n待配准图像，至少需要进行m×n次计算，才能得到所有待配准深度信息的计算过程相比，本申请实施例中的方法能够提高配准效率，缩短配准时间，降低了配准图像输出的时延，满足了现有技术中各个计算机视觉技术领域的低时延的要求。

本申请实施例中的深度信息配准方法可以应用于成像系统中，在成像系统中至少包括深度传感器、待配准图像对应的成像设备以及深度信息配准装置，深度信息配准装置与深度传感器以及所述待配准图像对应的成像设备相连；待配准图像对应的成像设备用于采集待配准图像；深度传感器用于采集深度图像；深度信息配准装置用于根据深度图像包括的深度信息对所述待配准图像进行深度信息配准。

可选的，深度信息配准设备可以与深度传感器设置在同一装置中，也可以与深度传感器设置在不同的装置中，例如，深度信息配准设备可以设置在服务器中，服务器与深度传感器通过网络连接。

可选的，成像系统还可以包括应用终端，深度信息配准设备还可以对深度配准后的待配准图像以及深度图像进行处理，例如三维重建等，应用终端205用于显示图像处理结果。

可选的，成像系统还可以包括数据库，用于存储深度信息配准过程中的数据。

可选的，本申请的硬件环境中还包括设置在深度信息配准设备上或者独立设置的数据库，用于进行数据存储。上述网络包括但不限于：广域网、城域网或局域网，应用终端并不限定于PC、手机、平板电脑等，还包括VR(Virtual Reality，虚拟显示)产品智能穿戴设备等。深度传感器可以为微软Kinectv1、微软Kinectv2、华硕xtion等。

以深度信息配准设备设置在服务器中为例进行说明书，如图2所示，深度传感器201以及RGB相机202采集用户信息，并形成深度图像以及RGB图像，深度信息配准设备203与深度传感器201、RGB相机202相连，深度信息配准设备203根据深度图像的深度信息矩阵对RGB图像进行深度信息配准，在配准后，将深度图像以及配准后的RGB图像进行融合，并根据融合图像的信息确定用户的动作信息，将动作信息显示在与深度信息配准设备203通过无线方式连接的应用终端204中，应用终端204显示的内容为用户对应的虚拟人物的动作为跳起动作。上述处理过程的数据都可以存储在数据库205。

基于图2所示的应用场景图，本申请实施例提供一种深度信息配准方法，该方法的流程可以由服务器执行，针对一帧分辨率待配准图像以及一帧深度图像的配准过程进行说明，如图3所示，包括以下步骤：

步骤S301，针对待配准图像，获取深度传感器采集的分辨率的深度图像。

具体的，在本发明实施例中，深度图像与待配准图像的分辨率需相同，且待配准图像与深度图像需要同时生成，即待配准图像对应的成像设备与深度传感器同时成像，分别形成了待配准图像以及深度图像。

具体的，在发明实施例中，深度传感器对目标物体进行成像，得到深度图像，深度图像中的每个像素点的像素值，为该像素点的深度信息。示例性的，深度图像的中一个像素点的像素坐标为(100，100)，该像素的像素值为d100，即表示像素坐标为(100，100)的像素的深度信息为d100。在本发明实施例中，深度图像的分辨率为m×n，深度图像的像素有m×n个，则深度信息也有m×n个。

在本申请实施例中，不同的深度传感器，使用的深度测量原理可能不同。深度测量原理主要有飞行时间(Time of flight，TOF)、结构光、双目立体视觉、激光扫描等几种方式。对应的，各种不同的测量原理对应不同的深度传感器。

一种可选的实施例中，深度传感器使用双目立体视觉的原理生成深度图像，深度传感器不对外主动投射光源，完全依靠拍摄的两张深度图像来计算深度。

一种可选的实施例中，深度传感器使用TOF原理生成深度图像，深度传感器通过给目标物体连续发送光脉冲，然后用传感器接收从目标物体返回的光，通过探测光脉冲的飞行往返时间来得到目标物体的距离，并生成深度图像。

一种可选的实施例中，深度传感器使用结构光技术生成深度图像，深度传感器使用提前设计好的具有特殊结构的图案(比如离散光斑、条纹光、编码结构光等)，然后将图案投影到目标物体表面上，使用另外一个相机观察在目标物体成像的畸变情况，通过畸变情况确定目标物体的深度信息，并生成深度图像。

示例性的如图4所示，在图4中的深度传感器包括红外相机401以及红外发射器402，红外线发射器402向空间投射随机散斑，这些散斑会随着距离的不同而变图案从而对空间进行标记。红外相机401记录这些散斑并与预先记录的空间散斑图案进行匹配即可获得空间的深度信息。

可选的，在本发明实施例中，待配准图像的分辨率为m×n，深度图像的分辨率为m×n，其中m大于等于1，n大于等于1，即待配准图像的分辨率与深度图像的分辨率相同。

步骤S302，根据所述深度图像包括的深度信息构成第一矩阵。

具体的，将获取到的深度图像包括的深度信息构成一个矩阵，该矩阵中的矩阵元素代表深度图像包括的深度信息。

可选的，若深度图像的分辨率为m×n，则将m×n个深度信息构成第一矩阵，第一矩阵中的每个列向量对应一个深度信息，第一矩阵的列向量是按照每个深度信息对应的像素坐标的先列后行的顺序依次排列，具体的，第一矩阵为其中，d_i为针对深度图像中的第p行q列的像素点i_(q，p)的深度值，i的取值范围为1～m×n，其中表示位于n行m列的像素点。

第一矩阵中，每一列为一个列向量，每个列向量对应一个深度信息，在第一矩阵中，两个相邻的列对应两个深度信息，两个深度信息的像素坐标是按照像素坐标先列后行的顺序相邻的。也就是说，在第一矩阵中的第一列对应深度信息d₁，深度信息d₁对应的像素坐标为1(1,1)，第一矩阵中的第二列对应深度信息d₂，深度信息d₂对应的像素坐标为2(1,2)，第一矩阵中的第三列对应深度信息d₃，深度信息d₃对应的像素坐标为3(1,1)，……,第一矩阵中的第i列对应深度信息d_i，深度信息d_i对应的像素坐标为i(q,p)，所以第一矩阵中的列向量是按照深度信息对应的像素坐标先列后行的顺序依次排列的，深度信息有m×n个，所以在第一矩阵中有m×n列的列向量。

步骤S303，获得第二矩阵，第二矩阵中的每个列向量对应深度图像中的一个像素。

具体的，第二矩阵是根据深度图像中的像素来确定的，可选的，第二矩阵是根据深度图像中的像素坐标先列后行的顺序依次排列。第二矩阵的为第二矩阵中的每一列就是一个列向量，第二矩阵的每个列向量对应深度图像中的一个像素，且表示的是深度图像中1行1列的像素点的齐次坐标，即表示的是i_(1,1)，表示的深度图像中2行1列的像素点的齐次坐标，即表示的是i_(1,2)，表示的深度图像中3行1列的像素点的齐次坐标，即表示的是i_(1,3)，由此可以确定

中每一列都表示一个像素点的齐次坐标，且该矩阵的列是按照深度图像中像素坐标先列后行的顺序依次排列的。第二矩阵的第i列，表示的是深度图像中i(q,p)像素点的齐次坐标，所以第二矩阵中的列向是按照深度图像中每个像素的像素坐标先列后行的顺序依次排列的，也就是按照深度图像中第一列第一行、第一列第二行、……、第一列第p行、第二列第一行、第二列第二行、…….第q列第一行、…….第q列第p行的顺序来排列的。例如，在本发明实施例中，待配准图像以及深度图像的分辨率都是640×480，则第二矩阵可以表示为

由上述内容还可以确定，第二矩阵表示的是深度图像中像素的齐次坐标，而像素的坐标只与深度图像的分辨率，即m和n相关，若确定了深度图像的分辨率，则可以确定第二矩阵，所以在发明实施例中，一种可选的方法，在确定了深度图像的分辨率后，就可以预先计算第二矩阵，再进行深度信息配准时，直接调用第二矩阵，提高配准效率。

可选的，在本发明实施例中，当确定深度传感器的分辨率发生变化时，即深度传感器采集的深度图像的分辨率发生变化时，根据当前的分辨率确定第二矩阵，并将第二矩阵进行保存。

可选的，在本发明实施例中，可以存储多种分辨率对应的第二矩阵，当进行深度信息配准时，可以针对当前深度图像的分辨率，调用对应的第二矩阵。例如存储了四个第二矩阵，分别为分辨率为320×320对应的第二矩阵1，分辨率为480×320对应的第二矩阵2、分辨率为640×480对应的第二矩阵3以及分辨率为640×640对应的第二矩阵4。在进行深度信息配准时，获取当前的深度传感器的分辨率为480×320，则调用第二矩阵2进行计算。

步骤S304，根据第一矩阵以及第二矩阵，确定第三矩阵。

具体的，在确定了第一矩阵以及获取了第二矩阵后，使用第二矩阵对第一矩阵进行矩阵运算，也就是对第一矩阵进行了一次矩阵转换，得到了第三矩阵。

可选的，可以根据第一矩阵与第二矩阵的哈达玛积，确定第三矩阵。哈达玛积为矩阵之间的点乘运算，即[·]表示矩阵之间的哈达玛积，哈达玛积的原理如公式1所示：

则第一矩阵与第二矩阵通过哈达玛积进行相乘得到第三矩阵，第三矩阵的具体内容为公式2所示：

步骤S305，根据系统参数对第三矩阵进行转换，得到待配准图像的待配准深度信息矩阵。

为了对待配准图像以及深度图像进行配准，需要利用成像系统的系统参数对第三矩阵进行转换，得到待配准图像的待配准深度信息矩阵，该待配准图像的待配准深度信息矩阵中包括所有的待配准深度信息。

具体的，根据深度传感器的系统参数以及待配准图像的成像设备的系统参数对第三矩阵进行转换，得到待配准图像的待配准深度信息矩阵。

具体的，在确定了公式2后，利用系统参数对第三矩阵进行转换，可以得到待配准深度信息矩阵中的每个列向量包括一个待配准深度信息以及一个待配准像素坐标，即中表示的是待配准像素坐标，λ_i为待配准深度信息。

在一种可选的实施例中，根据深度传感器的系统参数以及待配准图像的成像设备的系统参数对所述第三矩阵进行转换，得到待配准图像的待配准深度信息矩阵。也就是说，系统参数至少包括深度传感器的系统参数以及待配准图像的成像设备的系统参数。具体的，深度传感器的系统参数包括深度传感器的内参数矩阵、旋转矩阵以及平移矩阵，待配准图像的成像设备对应的系统参数包括待配准图像对应的成像设备的内参数矩阵；旋转矩阵以及平移矩阵是深度传感器的相机坐标系向待配准图像对应的成像设备的坐标系进行坐标变换时确定的。

待配准图像对应的成像设备的内参数矩阵用K_c表示，传感器的内参数矩阵用K_d表示，旋转矩阵用R来表示，平移矩阵用T来表示。

具体的，根据待配准图像对应的成像设备的内参数矩阵、旋转矩阵以及深度传感器的内参数矩阵的逆矩阵之间的乘积确定第四矩阵；根据待配准图像对应的成像设备的内参数矩阵、旋转矩阵、平移矩阵之间的乘积确定第五矩阵；根据第四矩阵与第三矩阵的乘积，得到第六矩阵；根据第六矩阵以及第五矩阵之和，得到待配准图像的待配准深度信息矩阵。

也就是说，第四矩阵为第五矩阵为[K_cRT K_cRT … K_cRT]，上述转换第三矩阵的过程可以用公式3表示：

一种可选的实施例中，按照公式3中的各个系统参数的i定义分别计算各个系统参数，在需要进行配准时，根据深度传感器的内参数矩阵、待配准图像对应的成像设备的内参数矩阵、旋转矩阵以及平移矩阵确定每个系数，然后再根据公式3中的公式对系统参数进行依次相乘，然后得到第四矩阵和第五矩阵K_cRT，通过第四矩阵与第三矩阵的相乘，得到第六矩阵，通过第六矩阵与第五矩阵之和，得到待配准深度信息矩阵。

一种可选的实施例中，为了便于计算，在公式3中，可以将公式3中的第四矩阵以及第五矩阵进行整体计算，然后再根据第四矩阵与第三矩阵的乘积的结果，表示为第六矩阵，与第五矩阵之和，确定待配准深度信息矩阵。

深度传感器的设备信息以及待配准图像对应的成像设备的设备信息确定第四矩阵以及第五矩阵，然后根据第四矩阵、第五矩阵以及第三矩阵确定待配准图像的配准参数矩阵。

可选的，在本申请实施例中，不论采用哪种方式进行深度信息配准的计算，都需要首先确定深度传感器的系统参数与以及待配准图像对应的成像设备的系统参数。

在本发明实施例中，内参数矩阵表示为可以认为内参数矩阵与成像设备或者深度传感器的焦距有关，旋转矩阵以及平移矩阵可以理解为将深度传感器的相机坐标系与待配准图像的相机坐标系重合，需要将深度传感器的相机坐标系统进行旋转的量，以及将深度传感器的相机坐标系进行平移的量。

可选的，在本申请实施例中，可以通过相机标定的方法确定深度传感器的系统参数以及待配准图像对应的成像设备的系统参数。无论是深度传感器还是待配准图像对应的成像设备，成像的目的都是通过图像信息获取到目标物体在真实三维世界里相对应的信息，于是，建立目标物体从三维世界映射到成像设备或者深度传感器成像平面的过程中的几何模型就显得尤为重要，相机标定就是通过确定成像设备或者深度传感器的内参数矩阵、外参数矩阵来确定几何模型的，所以通过相机标定的方法可以确定出本申请实施例需要的深度传感器的系统参数以及待配准图像对应的成像设备的系统参数。

为了更好的解释相机标定的过程，首先介绍在相机标定过程中出现的坐标系。如图5所示，图5中包括世界坐标系(X_W,Y_W,Z_W)、相机坐标系(X_C,Y_C,Z_C)、图像坐标系(x,y)以及像素坐标系(u₀，v₀)。从世界坐标系变换到相机坐标系属于刚体变换，即目标物体不会发生形变，只需要进行旋转和平移。从相机坐标系到图像坐标系属于透视投影关系，将目标物体的信息从三维空间转换到二维平面。此时在二维平面中的坐标单位为mm，而不是像素，所以还需要进一步转换到像素坐标系。像素坐标系和图像坐标系都在同一平面上，只是各自的原点和度量单位不一样，所以通过1pixel＝dx mm可以将图像坐标系转换为像素坐标系。

相机标定的过程，简单的可以简单的描述为通过标定板，可以得到n个对应的世界坐标三维点Xi和对应的图像坐标二维点xi，这些三维点到二维点的转换都可以通过内参数矩阵、外参数矩阵，经过一系列的矩阵变换得到。相机标定的方法有多种，例如传统相机标定法、相机自标定法、主动视觉相机标定方法。本申请实施例中不对相机标定的方法做限制，通过任一种相机标定的方法，能够确定出深度传感器的系统参数以及待配准图像对应的成像设备的系统参数。

在确定了深度传感器的系统参数以及待配准图像对应的成像设备的系统参数后，能够确定第四矩阵以及第五矩阵，进而能够确定待配准图像的待配准深度信息矩阵。

示例性的，将公式3中的用A来表示，即A表示了第四矩阵，第二矩阵用B来表示，将公式3中的第五矩阵[K_cRT K_cRT … K_cRT]的用C来表示，则公式3可以变形为公式4：

通过公式4可以确定，在获取了第一矩阵以及A、B以及C后，就可以确定待配准深度信息矩阵。

一种可选的实施例，在针对每帧深度图像以及每帧待配准图像进行深度配准时，每次计算公式4中的A、B、C，然后根据A、B和C以及第一矩阵确定待配准图像的配准参数矩阵。

一种可选的实施例，由于A和C为系统参数，在深度传感器和待配准图像对应的成像设备相对位置未发生变化的情况下，A和C与每帧的深度图像无关，所以不论针对哪一帧待配准图像以及深度图像进行深度信息配准，A和C的值不会发生变化。通过上文可知，B的值只与深度传感器的分辨率有关，若在多次配准过程中，深度传感器的分辨率均为发生变化，则也可以认为B的值不会发生变化。

所以一种可选的实施例中，预先计算A、B和C的值，在进行深度信息配准时，只需要调用A、B和C的值，就可以快速计算出待配准图像的配准参数矩阵。

可选的，在本发明实施例中，是首先计算第一矩阵与第二矩阵的哈达玛积，然后再通过深度传感器的系统参数以及待配准图像的成像设备的系统参数对哈达玛积的结果进行转换的。由于上述内容可知，A、B和C的值是可以预先计算的，所以公式3还可以通过预先计算好的A和B的乘积，然后再与第一矩阵进行哈达积运算，将哈达玛积的运算结果与C计算矩阵的和，从而确定待配准深度信息矩阵。

一种可选的实施例中，预先计算了A、B和C后，还进行了A与B的矩阵乘积预算，并保存了矩阵乘积运算的结果，在进行深度信息配准时，调用的是矩阵乘积运算的结果以及C。

一种可选的实施例，在输出分辨发生变化后，重新计算A、B和C的值，并进行保存，保证调用的A、B和C的值与当前的输出分辨率匹配。

步骤S306，根据所述待配准深度信息矩阵对所述待配准图像进行深度信息配准。

具体的，当确定了待配准深度信息矩阵后，利用公式5来对所述待配准图像进行深度信息配准：

根据公式5分别对待配准图像中的像素点进行配准以确定每个像素点的深度信息，公式5标识的是坐标变换过程，根据公式5，待配准图像中像素坐标为的像素点的配准后的深度信息为λ_i。

具体的，通过公式5可知，当确定了待配准深度信息矩阵后，就可以根据待配准深度信息矩阵中的每个待配准深度信息对待配准图像进行深度信息配准。具配准的过程就是根据待配准像素坐标以及待配准深度信息之商，确定待配准深度信息对应的第一待配准像素，并将待配准深度信息作为第一待配准像素的深度信息。

结合公式5可以确定，通过根据待配准深度信息对待配准图像的各像素坐标进行了变换，变换后的待配准图像矩阵为其中变换后的待配准图像矩阵的每一列为变换后的待配准图像中的一个像素的齐次坐标表示。

示例性的，在确定λ₁＝0.5，λ₁在待配准深度信息矩阵中的位置信息为第一列，则确定的λ₁对应的第一待配准像素为i(1，1)，i(1，1)表示的是待配准图像中第一行第一列的像素，则可以根据i(1，1)以及λ₁之商确定出待配准图像中的第一待配准像素，第一配准像素的像素坐标(2，2)，第一配准像素的深度值为0.5。通过公式5能够确定出每个待配准深度信息对应的第一待配准像素，并将待配准深度信息作为第一待配准像素的深度信息，从而完成深度信息配准过程。

由变换后的待配准图像矩阵可知，由于每个像素坐标是用商来表示的，但是待配准深度信息的值可能不是整数，或者待配准深度信息为整数，但是的值不是整数，所以在本发明实施例中，还需要对商的结果进行处理。

一种可选的实施例中，对商进行向上取整或者向下取整，以便得到的商为整数。

由于在本发明实施中的商存在取整的操作，所以存在中有部分像素是重叠的，当出现重叠的像素时，通常的做法是会选择一个像素，作为深度配准后的待配准图像中的像素，而另一个像素则没有配准的深度信息。

另一种可能的情况，当的值超过了分辨率中的n或者的值超过了分辨率中的m时，则该像素不存在，所以该深度信息也没有对应的待配准图像中的像素。该种情况是由于待配准图像对应的成像设备的放置位置与深度传感器的放置位置相隔较远，针对一个成像物体的成像范围不同。

本领域技术人员应当明白，本申请是根据公式3进行计算的，而对于公式3中的公式变形的所有方案都是本发明实施例保护的范围。通过将深度图像中的深度信息构建为第一矩阵，并根据获得的由每个深度信息对应的像素坐标的先列后行的顺序依次排列构成的第二矩阵与第一矩阵进行一次矩阵变换，得到第三矩阵。通过深度传感器的系统参数以及待配准图像的成像设备的系统参数对第三矩阵进行转换，得到了待配准深度信息矩阵，并根据待配准深度信息矩阵中的每个待配准深度信息对待配准图像进行深度信息配准。本发明实施例中的方法，可以通过矩阵运算，确定所述的待配准深度信息，并且由于第二矩阵以及深度传感器的系统参数以及待配准图像的成像设备的系统参数是可以提前确定的，所以可以通过简单的矩阵运算，就可以确定待配准深度信息矩阵，与现有技术中针对一帧m×n待配准图像，至少需要进行m×n次计算，才能得到所有待配准深度信息的计算过程相比，极大的提高了配准效率，降低了计算机的计算量，也降低了配准后图像融合、三维重建等技术领域中的图像输出时延。

为了更好的解释本申请实施例，下面结合具体的实施场景描述本申请实施例提供的一种深度信息配准方法，该方法由深度信息配准设备执行，本申请实施例中的待配准图像为RGB图像，即彩色图像，RGB相机与深度传感器的位置如图6所示。

将根据图6采集的RGB图像以及深度图像进行配准的过程具体如图7所示，在确定了RGB相机和深度传感器后，分别对RGB相机和深度传感器的标定，得到深度传感器的内参数矩阵、深度传感器的相机坐标系向RGB相机的相机坐标系转换时的旋转矩阵和平移矩阵、RGB相机的内参数矩阵；通过获取当前深度传感器的分辨率信息，可以确定当前深度传感器的输出分辨率为480*320，即深度图像中包括480行以及320列。

为了提高配准的效率，在确定了深度传感器的输出分辨率后，根据输出分辨率确定深度传感器中每个像素的齐次坐标，并按照第1列第1行、第1列第2行、第1列第3行、……、第1列第480行、第2列第1行、……、第1列第320行的顺序依次将每个像素的齐次坐标作为矩阵中的一列，从而构建了矩阵根据RGB相机的内参数矩阵K_c、旋转矩阵R以及深度传感器的内参数矩阵的逆矩阵的乘积确定出了根据RGB相机的内参数矩阵K_c、旋转矩阵R以及平移矩阵T能够确定出包括480*320＝153600个K_cRT构成的矩阵[K_cRT K_cRT … K_cRT]，将与相乘，得到第一预先计算结果，并保存，将153600个K_cRT构成的矩阵[K_cRT K_cRT … K_cRT]作为第二预先计算结果，并进行保存。

在深度传感器成像后，将深度图像的深度信息构建第一矩阵，第一矩阵表示为并获取预先保存的第一预先计算结果以及第二预先计算结果。

根据第一预先计算结果与第一矩阵的哈达玛积的结果再加上第二预先计算结果[K_cRT K_cRT … K_cRT]，就能够得到待配准深度信息矩阵通过求解的各个待配准深度信息，继而确定各个待配准深度信息对应的待配准像素，即λ₁对应的待配准像素为RGB图像上像素坐标为(1，1)的像素，即RGB图像上第一排第一列的像素，λ₂对应的待配准像素为RGB图像上像素坐标为(1，2)的像素，……、λ₁₅₃₆₀₀对应的待配准像素为RGB图像上像素坐标为(320，480)的像素。

通过待配准像素与待配准深度信息的商，确定第一待配准像素，即待配准像素(1，1)与λ₁的商为RGB图像中像素坐标为的像素为第一待配准像素，并将λ₁作为第二待配准像素的深度信息。通过每个RGB图像中第一待配准像素的像素坐标与待配准深度信息的商，确定出RGB图像中的第二待配准像素，并将配准参数作为第二待配准像素的深度值，从而完成RGB图像与深度图像的深度信息配准。

本申请还提供一种深度信息配准方法，应用于体感游戏中，该体感游戏机为一个成像系统，即体感游戏机包括RGB相机、深度传感器以及位于服务器端的深度信息配准设备，如图8所示，当用户对体感游戏机进行设置后，体感游戏机获取当前深度传感器以及RGB相机的位置关系，并传回深度信息配准设备，深度信息配准设备在确定了深度传感器以及RGB相机的位置关系后通过相机标定的方法，确定了深度传感器的内参数矩阵、深度传感器的相机坐标系向RGB相机坐标系转换时的旋转矩阵和平移矩阵、RGB相机的内参数矩阵。深度信息配准设备在获取了用户对深度传感器的分辨率的配置信息后，也将分辨率的配置信息发送给深度信息配准设备。深度信息配准设备根据分辨率确定由深度传感器中每个像素的齐次坐标构成的矩阵；根据RGB相机的内参数矩阵、旋转矩阵以及深度传感器的内参数矩阵，深度传感器中每个像素的齐次坐标构成的矩阵的依次乘积，能够确定出第一预先计算结果；根据RGB相机的内参数矩阵、旋转矩阵以及平移矩阵能够确定出第二预先计算结果；将第一预先计算结果以及第二预先计算参数进行保存。

当体感游戏机的深度传感器开始采集用户的深度信息后，体感游戏机将深度图像发送给深度信息配准设备，深度信息配准设备将深度图像中的深度信息构建矩阵，并根据第一预先计算结果与矩阵的哈达玛积在加上第二预先计算结果确定RGB图像的待配准深度信息矩阵。深度信息配准设备通过每个待配准深度信息对应的一个RGB像素的像素坐标与待配准深度信息的商，确定出RGB图像中深度信息为待配准深度信息的像素，从而完成RGB图像与深度传感器的深度配准。

深度信息配准设备在完成RGB图像与深度图像的配准后，对RGB图像与深度图像进行融合，以便得知用户对应的体感游戏的位置，深度信息配准设备将该位置展现在与体感游戏机相连的显示终端中，实现用户的动作与显示终端中的虚拟人物的动作一致。例如，体感游戏为网球游戏，通过深度信息配准后，深度信息配准设备能够在显示终端中显示用户的击打，以及该击打力度，击打力度就是通过获取用户的深度信息确定的。

当然，上述内容中，待配准图像都是以RGB图像进行说明的，其它图像，例如灰度图像、红外图像与深度图像之间的深度信息配准都可以使用上述实施例中的深度信息配准方法，在此不做赘述。

基于相同的技术构思，本申请实施例提供了一种深度信息配准装置，如图9所示，该装置400包括：

获取单元401，用于针对待配准图像，获取深度传感器采集的深度图像；

第一矩阵确定单元402，用于根据所述深度图像包括的深度信息构成的第一矩阵；

第二矩阵确定单元403，用于获得第二矩阵，所述第二矩阵中的每个列向量对应所述深度图像中的一个像素；

第三矩阵确定单元404，根据所述第一矩阵以及所述第二矩阵确定第三矩阵；

待配准深度信息矩阵确定单元405，用于根据系统参数对所述第三矩阵进行转换，得到所述待配准图像的待配准深度信息矩阵；

深度信息配准单元406，用于根据所述待配准深度信息矩阵对所述待配准图像进行深度信息配准。

可选的，所述深度图像的分辨率为m×n，其中m大于等于1，n大于等于1，所述第一矩阵确定单元402具体用于：

根据所述深度图像包括的所述m×n个深度信息构成的第一矩阵，所述第一矩阵中的每个列向量对应一个深度信息，所述第一矩阵的列向量是按照每个深度信息对应的像素坐标的先列后行的顺序依次排列；

所述第二矩阵确定单元403具体用于：

将所述深度图像的每个像素坐标按照先列后行的顺序依次排列，获得所述第二矩阵。

可选的，所述待配准深度信息矩阵确定单元405具体用于：

根据所述深度传感器的系统参数以及所述待配准图像的成像设备的系统参数对所述第三矩阵进行转换，得到所述待配准图像的待配准深度信息矩阵，所述待配准深度信息矩阵中的每个列向量包括一个待配准深度信息以及一个待配准像素坐标。

可选的，所述深度传感器的系统参数包括深度传感器的内参数矩阵、旋转矩阵以及平移矩阵，所述待配准图像的成像设备对应的系统参数包括所述待配准图像对应的成像设备的内参数矩阵；所述旋转矩阵以及所述平移矩阵是所述深度传感器的相机坐标系向所述待配准图像对应的成像设备的坐标系进行坐标变换时确定的。

可选的，所述待配准深度信息矩阵确定单元405具体用于：

根据所述待配准图像对应的成像设备的内参数矩阵、所述旋转矩阵以及所述深度传感器的内参数矩阵的逆矩阵之间的乘积确定第四矩阵；

根据所述待配准图像对应的成像设备的内参数矩阵、所述旋转矩阵、所述平移矩阵之间的乘积确定第五矩阵；

根据所述第四矩阵与所述第三矩阵的乘积，得到第六矩阵；

根据所述第六矩阵以及所述第五矩阵之和，得到所述待配准图像的待配准深度信息矩阵。

可选的，所述获取单元401还用于：

在获取深度传感器采集的分辨率为m×n的深度图像前，还获取预先确定的所述第二矩阵、所述第四矩阵以及所述第五矩阵。

可选的，所述第三矩阵确定单元404具体用于：

根据所述第一矩阵与所述第二矩阵的哈达玛积确定所述第三矩阵。

可选的，所述深度信息配准单元406具体用于：

针对任一个待配准深度信息，根据所述待配准像素坐标以及所述待配准深度信息之商，确定所述待配准深度信息对应的第一待配准像素；

将所述待配准深度信息作为所述第一待配准像素的深度信息。

可选的，所述深度信息配准单元406还用于：

对所述待配准像素坐标以及所述待配准深度信息之商进行取整。

基于相同的技术构思，本申请实施例提供了一种计算机设备，如图10所示，包括至少一个处理器501，以及与至少一个处理器连接的存储器502，本申请实施例中不限定处理器501与存储器502之间的具体连接介质，图10中处理器501和存储器502之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。

在本申请实施例中，存储器502存储有可被至少一个处理器501执行的指令，至少一个处理器501通过执行存储器502存储的指令，可以执行前述的深度信息配准方法中所包括的步骤。

其中，处理器501是计算机设备的控制中心，可以利用各种接口和线路连接终端设备的各个部分，通过运行或执行存储在存储器502内的指令以及调用存储在存储器502内的数据，从而获得客户端地址。可选的，处理器501可包括一个或多个处理单元，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。在一些实施例中，处理器501和存储器502可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器501可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器502可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器502是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

基于相同的技术构思，本申请实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行深度信息配准方法的步骤。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种深度信息配准方法，其特征在于，所述方法包括：

针对待配准图像，获取深度传感器采集的深度图像；

根据所述深度图像包括的深度信息构成第一矩阵；

获得第二矩阵，所述第二矩阵中的每个列向量对应所述深度图像中的一个像素；

根据所述第一矩阵以及所述第二矩阵确定所述第三矩阵；

根据系统参数对所述第三矩阵进行转换，得到待配准图像的待配准深度信息矩阵；

根据所述待配准深度信息矩阵对所述待配准图像进行深度信息配准。

2.如权利要求1所述的方法，其特征在于，所述深度图像的分辨率为m×n，其中m大于等于1，n大于等于1，所述根据所述深度图像包括的深度信息构成第一矩阵，包括：

根据所述深度图像包括的所述m×n个深度信息构成的第一矩阵，所述第一矩阵中的每个列向量对应一个深度信息，所述第一矩阵的列向量是按照每个深度信息对应的像素坐标的先列后行的顺序依次排列；

所述获得第二矩阵具体包括：

将所述深度图像的每个像素坐标按照先列后行的顺序依次排列，获得所述第二矩阵。

3.如权利要求2所述的方法，其特征在于，所述根据系统参数对所述第三矩阵进行转换，得到待配准图像的待配准深度信息矩阵，包括：

根据所述深度传感器的系统参数以及所述待配准图像的成像设备的系统参数对所述第三矩阵进行转换，得到所述待配准图像的待配准深度信息矩阵，所述待配准深度信息矩阵中的每个列向量包括一个待配准深度信息以及一个待配准像素坐标。

4.如权利要求3所述的方法，其特征在于，所述深度传感器的系统参数包括深度传感器的内参数矩阵、旋转矩阵以及平移矩阵，所述待配准图像的成像设备对应的系统参数包括所述待配准图像对应的成像设备的内参数矩阵；所述旋转矩阵以及所述平移矩阵是所述深度传感器的相机坐标系向所述待配准图像对应的成像设备的坐标系进行坐标变换时确定的。

5.如权利要求3所述的方法，其特征在于，所述根据深度传感器的系统参数以及所述待配准图像的成像设备对应的系统参数对所述第三矩阵进行转换，得到待配准图像的待配准深度信息矩阵，包括：

根据所述待配准图像对应的成像设备的内参数矩阵、所述旋转矩阵以及所述深度传感器的内参数矩阵的逆矩阵之间的乘积确定第四矩阵；

根据所述待配准图像对应的成像设备的内参数矩阵、所述旋转矩阵、所述平移矩阵之间的乘积确定第五矩阵；

根据所述第四矩阵与所述第三矩阵的乘积，得到第六矩阵；

根据所述第六矩阵以及所述第五矩阵之和，得到所述待配准图像的待配准深度信息矩阵。

6.如权利要求5所述的方法，其特征在于，所述获取深度传感器采集的分辨率为m×n的深度图像前，还包括：

获取预先确定的所述第二矩阵、所述第四矩阵以及所述第五矩阵。

7.如权利要求1～6任一所述的方法，其特征在于，所述根据所述第一矩阵以及所述第二矩阵确定所述第三矩阵，包括：

根据所述第一矩阵与所述第二矩阵的哈达玛积确定所述第三矩阵。

8.如权利要求1所述的方法，其特征在于，所述根据所述待配准深度信息矩阵对所述待配准图像进行深度信息配准，包括：

针对任一个待配准深度信息，根据所述待配准像素坐标以及所述待配准深度信息之商，确定所述待配准深度信息对应的第一待配准像素；

将所述待配准深度信息作为所述第一待配准像素的深度信息。

9.如权利要求8所述的方法，其特征在于，所述根据所述待配准像素坐标以及所述待配准深度信息之商后，还包括：

对所述待配准像素坐标以及所述待配准深度信息之商进行取整。

10.一种深度信息配准装置，其特征在于，所述装置包括：

获取单元，用于针对待配准图像，获取深度传感器采集的深度图像；

第一矩阵确定单元，用于根据所述深度图像包括的深度信息构成第一矩阵；第二矩阵确定单元，用于获得第二矩阵，所述第二矩阵中的每个列向量对应所述深度图像中的一个像素；

第三矩阵确定单元，用于根据所述第一矩阵以及所述第二矩阵确定第三矩阵；

待配准深度信息矩阵确定单元，用于根据系统参数对所述第三矩阵进行转换，得到所述待配准图像的待配准深度信息矩阵，；

配准单元，用于根据所述待配准深度信息矩阵对所述待配准图像进行深度信息配准。

11.一种成像系统，其特征在于，包括深度传感器、待配准图像对应的成像设备以及深度信息配准装置，所述深度信息配准装置与所述深度传感器以及所述待配准图像对应的成像设备相连；

所述待配准图像对应的成像设备用于采集待配准图像；

所述深度传感器用于采集深度图像；

所述深度信息配准装置用于根据所述深度图像包括的深度信息对所述待配准图像进行深度信息配准。

12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9任一项所述方法的步骤。

13.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至9中任一项所述的方法。