CN114283177A

CN114283177A - 图像配准方法、装置、电子设备和可读存储介质

Info

Publication number: CN114283177A
Application number: CN202011035970.7A
Authority: CN
Inventors: 刘永光
Original assignee: Beijing Orion Star Technology Co Ltd
Current assignee: Beijing Orion Star Technology Co Ltd
Priority date: 2020-09-27
Filing date: 2020-09-27
Publication date: 2022-04-05

Abstract

本申请提出一种图像配准方法、装置、电子设备和可读存储介质，涉及图像处理领域，其中，方法包括：获取深度图像；对深度图像中的目标像素点，确定在深度图像的坐标系中的原始坐标；根据目标像素点的原始坐标，查询原始坐标与坐标常量部分之间的常量映射关系，以得到对应的坐标常量部分；根据目标像素点携带的深度，查询深度与坐标变量部分之间的变量映射关系，以得到对应的坐标变量部分；根据坐标常量部分和坐标变量部分，确定目标像素点在成像图像的坐标系中配准的目标坐标。由此，针对深度图像中的每个目标像素点，无需重复进行矩阵的乘法计算，可以极大地提升图像配准的效率，可以适用于计算能力较低的设备中，提升该方法的适用性。

Description

图像配准方法、装置、电子设备和可读存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像配准方法、装置、电子设备和可读存储介质。

背景技术

随着人工智能技术的不断发展，人工智能产品，比如机器人不断普及。一般情况下，智能产品上可以安装至少一个彩色摄像头，用于采集彩色图像，以进行物体的分类与识别，并且，智能产品上还可以安装至少一个深度摄像头，用于采集深度图像，以获取物体的空间位置信息。然而，由于彩色摄像头和深度摄像头的安装位置存在差异，通常需要将深度图像与彩色图像进行配准后再进行后续的图像处理。

相关技术中，在图像配准时，需要遍历深度图像中的每个像素点，针对每个像素点，在深度图像对应的像素坐标系中构建该像素点对应的向量，将该像素点对应的向量乘以预设变换矩阵，得到该像素点在彩色图像对应的像素坐标系中对应的向量，从而根据彩色图像对应的像素坐标系中该像素点对应的向量，可以确定该像素点在彩色图像对应的像素坐标系中配准后的坐标。

然而，深度图像的像素点较多，比如常见的深度图像的分辨率为640*480，每次配准时需要重复以上步骤640*480＝307200次，计算量较大，需要占用大量计算资源，在计算能力较低的设备，比如嵌入式设备中难以做到实时计算。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请提出一种图像配准方法、装置、电子设备和可读存储介质，以实现针对深度图像中的每个目标像素点，无需重复进行矩阵的乘法计算，可以极大地提升图像配准的效率，可以适用于计算能力较低的设备中，提升该方法的适用性。

本申请第一方面实施例提出了一种图像配准方法，包括：

获取深度图像；

对所述深度图像中的目标像素点，确定在所述深度图像的坐标系中的原始坐标；

根据所述目标像素点的原始坐标，查询原始坐标与坐标常量部分之间的常量映射关系，以得到对应的坐标常量部分；

根据所述目标像素点携带的深度，查询深度与坐标变量部分之间的变量映射关系，以得到对应的坐标变量部分；

根据所述坐标常量部分和所述坐标变量部分，确定所述目标像素点在成像图像的坐标系中配准的目标坐标。

作为本申请第一方面实施例的第一种可能的实现方式，所述根据所述坐标常量部分和所述坐标变量部分，确定所述目标像素点在成像图像的坐标系中配准的目标坐标，包括：

将所述坐标常量部分的横坐标与所述坐标变量部分的横坐标之和作为所述目标坐标中的横坐标；

将所述坐标常量部分的纵坐标与所述坐标变量部分的纵坐标之和作为所述目标坐标中的纵坐标。

作为本申请第一方面实施例的第二种可能的实现方式，所述根据所述目标像素点携带的深度，查询深度与坐标变量部分之间的变量映射关系，以得到对应的坐标变量部分之前，还包括：

对用于采集所述深度图像的深度传感器，以及用于采集所述成像图像的图像传感器进行内外参标定，以得到所述深度图像与所述成像图像之间的第一变换矩阵；

根据所述第一变换矩阵中取值随深度变化的时变元素，生成所述深度与坐标变量部分之间的变量映射关系。

作为本申请第一方面实施例的第三种可能的实现方式，所述根据所述第一变换矩阵中取值随深度变化的时变元素，生成所述深度与坐标变量部分之间的变量映射关系，包括：

根据所述时变元素与所述深度传感器深度测量范围内的各深度之间的比值，确定各深度对应的坐标变量部分；

根据各深度对应的坐标变量部分，生成所述变量映射关系。

作为本申请第一方面实施例的第四种可能的实现方式，所述根据所述目标像素点的原始坐标，查询原始坐标与坐标常量部分之间的常量映射关系，以得到对应的坐标常量部分之前，还包括：

对用于采集所述深度图像的深度传感器进行内参标定，以及对所述深度传感器与用于采集所述成像图像的图像传感器进行外参标定，以得到所述深度图像与所述图像传感器之间的第二变换矩阵；

根据所述第二变换矩阵中取值固定的常量元素，生成所述原始坐标与坐标常量部分之间的常量映射关系。

作为本申请第一方面实施例的第五种可能的实现方式，所述根据所述第二变换矩阵中取值固定的常量元素，生成所述原始坐标与坐标常量部分之间的常量映射关系，包括：

采用所述第二变换矩阵，对所述原始坐标进行坐标变换，以得到中间坐标；

对所述中间坐标进行畸变校正；

采用对所述图像传感器内参进行标定得到的第三变换矩阵，对畸变校正后的中间坐标进行坐标变换，得到所述原始坐标对应的坐标常量部分；

根据所述原始坐标和对应的坐标常量部分，生成所述常量映射关系。

本申请实施例的图像配准方法，通过预先建立原始坐标与坐标常量部分之间的常量映射关系，以及深度与坐标变量部分之间的变量映射关系，在图像配准的过程中，通过查找法，直接读出深度图像中各目标像素点的原始坐标对应的坐标常量部分，以及目标像素点携带的深度对应的坐标变量部分，从而可直接根据坐标常量部分和坐标变量部分，计算得到目标像素点在成像图像的坐标系中配准的目标坐标，由此，针对每个目标像素点，无需重复进行矩阵的乘法计算，可以极大地提升图像配准的效率，可以适用于计算能力较低的设备中，提升该方法的适用性。

本申请第二方面实施例提出了一种图像配准装置，包括：

获取模块，用于获取深度图像；

确定模块，用于对所述深度图像中的目标像素点，确定在所述深度图像的坐标系中的原始坐标；

第一查询模块，用于根据所述目标像素点的原始坐标，查询原始坐标与坐标常量部分之间的常量映射关系，以得到对应的坐标常量部分；

第二查询模块，用于根据所述目标像素点携带的深度，查询深度与坐标变量部分之间的变量映射关系，以得到对应的坐标变量部分；

配准模块，用于根据所述坐标常量部分和所述坐标变量部分，确定所述目标像素点在成像图像的坐标系中配准的目标坐标。

作为本申请第二方面实施例的第一种可能的实现方式，所述配准模块，具体用于：

作为本申请第二方面实施例的第二种可能的实现方式，所述装置还包括：

第一标定模块，用于对用于采集所述深度图像的深度传感器，以及用于采集所述成像图像的图像传感器进行内外参标定，以得到所述深度图像与所述成像图像之间的第一变换矩阵；

第一生成模块，用于根据所述第一变换矩阵中取值随深度变化的时变元素，生成所述深度与坐标变量部分之间的变量映射关系。

作为本申请第二方面实施例的第三种可能的实现方式，所述第一生成模块，具体用于：

根据各深度对应的坐标变量部分，生成所述变量映射关系。

作为本申请第二方面实施例的第四种可能的实现方式，所述装置还包括：

第二标定模块，用于对用于采集所述深度图像的深度传感器进行内参标定，以及对所述深度传感器与用于采集所述成像图像的图像传感器进行外参标定，以得到所述深度图像与所述图像传感器之间的第二变换矩阵；

第二生成模块，用于根据所述第二变换矩阵中取值固定的常量元素，生成所述原始坐标与坐标常量部分之间的常量映射关系。

作为本申请第二方面实施例的第五种可能的实现方式，所述第二生成模块，具体用于：

对所述中间坐标进行畸变校正；

本申请实施例的图像配准装置，通过预先建立原始坐标与坐标常量部分之间的常量映射关系，以及深度与坐标变量部分之间的变量映射关系，在图像配准的过程中，通过查找法，直接读出深度图像中各目标像素点的原始坐标对应的坐标常量部分，以及目标像素点携带的深度对应的坐标变量部分，从而可直接根据坐标常量部分和坐标变量部分，计算得到目标像素点在成像图像的坐标系中配准的目标坐标，由此，针对每个目标像素点，无需重复进行矩阵的乘法计算，可以极大地提升图像配准的效率，可以适用于计算能力较低的设备中，提升适用性。

本申请第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请第一方面实施例提出的图像配准方法。

本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面实施例提出的图像配准方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为传统配准算法流程示意图一；

图2为传统配准算法流程示意图二；

图3为本申请实施例一所提供的图像配准方法的流程示意图；

图4为本申请实施例二所提供的图像配准方法的流程示意图；

图5为本申请实施例中配准算法流程示意图；

图6为本申请实施例三所提供的图像配准方法的流程示意图；

图7为本申请实施例四所提供的图像配准方法的流程示意图；

图8为本申请实施例五所提供的图像配准装置的结构示意图；

图9为本申请实施例六所提供的图像配准装置的结构示意图；

图10为本申请实施例七所提供的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

一般可以将彩色摄像头定义为相机R，将深度摄像头定义为相机L，深度图像向彩色图像配准的过程，其实就是将深度图像对应的像素坐标系，即L像素坐标系的点，通过坐标变换映射到彩色图像对应的像素坐标系，即R像素坐标系。具体地，目前可以通过以下两种方式，将深度图像向彩色图像配准：

第一种方式，未进行畸变校正的配准流程：参见图1，针对深度图像中的每个像素点，确定其在L像素坐标系中的坐标(u_L，v_L)，并构建得到大小为4*1的向量

其中，Z为像素点携带的深度，并将该向量左乘矩阵M，得到R像素坐标系的向量

则(u_R，v_R)即为深度图像中的像素点在R像素坐标系中配准后的坐标。

其中，矩阵M是根据相机L的内参矩阵I_L、相机R的内参矩阵I_R、相机L与相机R之间的外参矩阵E_L2R得到的，即：

其中，

其中，相机L的内参矩阵I_L中，f_xl(单位：像素)与dx(x方向上一个像素的物理尺寸，单位：毫米/像素)和焦距f(单位：毫米)有关，f_yl(单位：像素)与dy(y方向上一个像素的物理尺寸，单位：毫米/像素)和焦距f有关，c_xl、c_yl为图像原点相对于光心成像点的纵横偏移量(单位：像素)。同理，相机R的内参矩阵I_R中，f_xr与dx和焦距f有关，f_yr与dy和焦距f有关，c_xr、c_yr为图像原点相对于光心成像点的纵横偏移量。

并且，一般情况下，外参矩阵E_L2R用[R|T]进行表示，其中，R表示旋转矩阵，T为平移矩阵，标记

则M为：

第二种方式，通常彩色图像存在较大的畸变，为了提高配准精度，可以增加畸变校正的步骤：参见图2，针对深度图像中的每个像素点，确定其在L像素坐标系中的坐标(u_L，v_L)，并构建得到大小为4*1的向量

将该向量左乘矩阵M₁，得到R相机坐标系中4*1的向量

并在R相机坐标系中进行畸变校正，具体地，将(X_R,Y_R)重组成一个大小为3*5的矩阵

然后将上述重组后的3*5的矩阵右乘5*1的畸变系数向量[1k₁ k₂ p₁ p₂]^T，得到3*1的矩阵

而后将畸变校正后的坐标(X’_R,Y’_R)变换到R像素坐标系，右乘R相机的内参矩阵I_R即可，即R像素坐标系的向量

为：

其中，k1和k2为相机R的径向畸变参数，p1和p2为相机R的切向畸变参数。

其中，矩阵M₁是根据相机L的内参矩阵I_L、相机L与相机R之间的外参矩阵E_L2R得到的，即：

其中，对于像素坐标系和相机坐标系的定义，与计算机视觉通用定义相同，即像素坐标系：坐标原点定义在图像左上角，X轴水平向右，Y轴水平向下，单位是像素；相机坐标系：坐标原点定义在镜头的光心，X轴水平向右，Y轴水平向下，单位是毫米。

因此，本申请主要针对现有技术中图像配准时需要占用大量的计算资源，在计算能力较低的设备，比如嵌入式设备中难以做到实时计算的技术问题，提出一种图像配准方法。

本申请实施例的图像配准方法，通过将图像配准过程划分为两部分，一部分为常量部分，一部分为变量部分，可以在图像配准算法初始化过程中，预先计算得到各原始坐标对应的坐标常量部分，并建立原始坐标与坐标常量部分之间的常量映射关系，以及，预先根据深度传感器测量深度的最大量程，计算得到最大量程下的各深度对应的变量映射关系，并建立深度与坐标变量部分之间的变量映射关系，在图像配准的过程中，通过查找法，直接读出深度图像中各目标像素点的原始坐标对应的坐标常量部分，以及目标像素点携带的深度对应的坐标变量部分，从而将坐标常量部分和坐标变量部分相加，得到目标像素点在成像图像的坐标系中配准的目标坐标，由此，无需针对每个目标像素点，重复进行矩阵的乘法计算，可以极大地提升图像配准的效率，可以适用于计算能力较低的设备中，提升该方法的适用性。

下面参考附图描述本申请实施例的图像配准方法、装置、电子设备和可读存储介质。

图3为本申请实施例一所提供的图像配准方法的流程示意图。

本申请实施例的执行主体为本申请提供的图像配准装置，该图像配准装置可以被配置在电子设备中，或者与电子设备联网的服务器中，以对电子设备进行控制。

其中，电子设备可以为任意一种具有计算处理能力的设备、器械或者机器，例如电子设备可以为PC(Personal Computer，个人电脑)、移动终端、机器人等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。

如图3所示，该图像配准方法可以包括以下步骤：

步骤101，获取深度图像。

本申请实施例中，可以通过电子设备中的深度传感器，对深度进行检测得到深度图像，相应的，图像配准装置可以获取深度传感器采集的深度图像。例如，可以通过TOF(Time of Flight，飞行时间)传感器，对深度进行检测得到深度图像，或者，还可以通过RGB-D(Red Green Blue-Depth，红绿蓝-深度)传感器，对深度进行检测得到深度图像，或者，还可以通过激光雷达，对深度进行检测得到深度图像，或者，还可以通过结构光传感器向被摄物投射散斑结构光，并获取被摄物反射的结构光，根据反射的结构光成像，得到红外散斑图，由深度图生成芯片根据红外散斑图，输出深度图像，等等，本申请对此并不做限制。

本申请实施例中，可以探测用户操作，响应于用户操作，获取深度图像。或者，可以持续或间断性进行图像采集，以获取深度图像。其中，深度图像携带各像素点对应的深度信息。

步骤102，对深度图像中的目标像素点，确定在深度图像的坐标系中的原始坐标。

本申请实施例中，目标像素点可以为深度图像中的每个像素点，或者，为了提升图像配准的效率，目标像素点还可以为深度图像中的部分像素点，例如，可以对深度图像进行下采样，比如隔行采样或隔列采样，此时，目标像素点可以为深度图像中奇数行的像素点、偶数行的像素点、奇数列的像素点、偶数列的像素点，等等，本申请对此并不作限制。

本申请实施例中，深度图像的坐标系为深度图像对应的图像坐标系，其为预先建立的。

作为一种示例，深度图像的坐标系中的坐标原点，可以为深度图像的中心点，X轴水平向右，Y轴水平向下，单位是像素。此时，深度图像的坐标系即为计算机视觉通用的图像坐标系。

作为另一种示例，深度图像的坐标系中的坐标原点，可以为深度图像左上角，X轴水平向右，Y轴水平向下，单位是像素。此时，深度图像的坐标系可以为图1或图2中的L像素坐标系，即图像坐标系与计算机视觉通用的像素坐标系重合。

作为又一种示例，深度图像的坐标系中的坐标原点，可以为深度图像右上角，X轴水平向左，Y轴水平向下，单位是像素。

需要说明的是，上述深度图像的坐标系的建立过程仅为示例性表述，实际应用时，深度图像的坐标系中的坐标原点，还可以为深度图像左下角，X轴水平向右，Y轴水平向上，单位是像素，或者，深度图像的坐标系中的坐标原点，可以为深度图像右下角，X轴水平向左，Y轴水平向上，单位是像素，等等，本申请对此并不作限制。

为了便于说明，本申请实施例中以深度图像的坐标系为计算机视觉通用的像素坐标系进行示例。

本申请实施例中，在确定各目标像素点后，可以确定各目标像素点在深度图像的坐标系中的原始坐标。例如，当深度图像的坐标系与计算机视觉通用的像素坐标系重合时，原始坐标中的横坐标，表示目标像素点在深度图像中的列，纵坐标，表示目标像素点在深度图像中的行。

步骤103，根据目标像素点的原始坐标，查询原始坐标与坐标常量部分之间的常量映射关系，以得到对应的坐标常量部分。

本申请实施例中，坐标常量部分，是与像素点的原始坐标、采集深度图像的深度传感器的内参，以及采集成像图像的成像传感器的内参相关的部分。进一步地，参见图2，由于成像图像发生畸变的情况，仅与成像传感器的内参相关，因此，为了提高配准精度，坐标常量部分还可以包含图2中的畸变校正步骤。

其中，成像图像为与深度图像同步采集得到的，成像图像可以为基于视觉感知的图像，比如可以为彩色图像或者RGB图像。采集成像图像的成像传感器可以为CCD(ChargeCoupled Device，电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)、TFT(Thin Film Transistor，薄膜晶体管)等图像传感器。

本申请实施例中，坐标常量部分，可以在图像配准算法初始化过程中计算得到，例如，可以在初始化过程中，预先确定深度图像中各像素点的原始坐标，并根据深度传感器的内参、成像传感器的内参，以及各原始坐标，计算得到各原始坐标对应的坐标常量部分，并将原始坐标与坐标常量部分对应存储在数组中，在图像配准时，直接通过查找法，读出目标像素点的原始坐标对应的坐标常量部分，提升数据计算的实时性。

步骤104，根据目标像素点携带的深度，查询深度与坐标变量部分之间的变量映射关系，以得到对应的坐标变量部分。

本申请实施例中，坐标变量部分，是与深度传感器测量的深度、深度传感器和成像传感器之间的外参相关的部分。

本申请实施例中，为了提升数据计算的实时性，可以覆盖深度传感器测量深度的最大量程，根据深度传感器和成像传感器之间的外参，计算每一个可能的深度Z对应的坐标变量部分，并将深度与坐标变量部分对应存储在数组中，在图像配准时，直接通过查找法，读出目标像素点携带的深度对应的坐标变量部分。

需要说明的是，本申请仅以步骤104在103之后执行示例，实际应用时，为了提升图像配准效率，步骤104还可以与步骤103并列执行，或者，在步骤102确定出各目标像素点之后，即可执行步骤104，本申请对此并不作限制。

步骤105，根据坐标常量部分和坐标变量部分，确定目标像素点在成像图像的坐标系中配准的目标坐标。

本申请实施例中，成像图像的坐标系为成像图像对应的图像坐标系，其也为预先设置的。其中，成像图像的坐标系的建立方式与深度图像的坐标系的建立方式相同，比如，当深度图像的坐标系为图1或图2中的L像素坐标系时，该成像图像的坐标系可以为图1或图2中的R像素坐标系。即L像素坐标系中的坐标原点，为深度图像左上角，X轴水平向右，Y轴水平向下，单位是像素，R像素坐标系中的坐标原点，也为成像图像左上角，X轴水平向右，Y轴水平向下，单位是像素。

本申请实施例中，在查询得到坐标常量部分和坐标变量部分，可以将坐标常量部分与坐标变量部分相加求和，得到目标像素点在成像图像的坐标系中配准的目标坐标。具体地，可以将坐标常量部分的横坐标与坐标变量部分的横坐标之和作为目标坐标中的横坐标，以及，将坐标常量部分的纵坐标与坐标变量部分的纵坐标之和作为目标坐标中的纵坐标。

本申请中，通过预先建立原始坐标与坐标常量部分之间的常量映射关系，以及深度与坐标变量部分之间的变量映射关系，在图像配准的过程中，通过查找法，直接读出深度图像中各目标像素点的原始坐标对应的坐标常量部分，以及目标像素点携带的深度对应的坐标变量部分，从而将坐标常量部分和坐标变量部分相加，得到目标像素点在成像图像的坐标系中配准的目标坐标，可以极大地提升图像配准的效率，可以适用于计算能力较低的设备中，提升该方法的适用性。

作为一种可能的实现方式，可以根据深度传感器的内参矩阵、成像传感器的内参矩阵，以及深度传感器与成像传感器之间的外参矩阵，计算得到第一变换矩阵，根据第一变换矩阵中取值随深度变化的时变元素，生成深度与坐标变量部分之间的变量映射关系。下面结合实施例二，对上述过程进行详细说明。

图4为本申请实施例二所提供的图像配准方法的流程示意图。

如图4所示，变量映射关系的生成过程可以包括以下步骤：

步骤201，对用于采集深度图像的深度传感器，以及用于采集成像图像的图像传感器进行内外参标定，以得到深度图像与成像图像之间的第一变换矩阵。

例如，对深度传感器进行内参标定，得到深度传感器的内参矩阵为I_L、对成像传感器进行内参标定，得到成像传感器的内参矩阵为I_R、对深度传感器和图像传感器进行外参标定，得到深度传感器与成像传感器之间的外参矩阵为E_L2R，则第一变换矩阵可以为图1中的矩阵M，即：

步骤202，根据第一变换矩阵中取值随深度变化的时变元素，生成深度与坐标变量部分之间的变量映射关系。

例如，参见图5，第一变换矩阵M中，取值随深度变化的时变元素为m₁₄和m₂₄，因此，可以根据m₁₄和m₂₄，直接计算得到目标像素点携带的深度对应的坐标变量部分。例如，标记目标像素点携带的深度为Z，坐标变量部分的横坐标为

纵坐标为

则

即

进一步地，为了进一步提升图像配准的效率，在图像配准时，无需直接根据各目标像素点携带的深度，计算对应的坐标变量部分，而是，预先根据第一变换矩阵中取值随深度变化的时变元素，生成深度与坐标变量部分之间的变量映射关系，从而在图像配准时，直接通过查找法，读出目标像素点携带的深度对应的坐标变量部分。

作为一种可能的实现方式，可以覆盖深度传感器测量深度的最大量程，预先计算最大量程下的每一个可能的深度Z对应的坐标变量部分

并将深度与坐标变量部分对应存储在数组中，在图像配准时，直接通过查找法，读出目标像素点携带的深度对应的坐标变量部分。由此，在图像配准时，无需针对每个目标像素点，计算对应的坐标变量部分，可以进一步提升图像配准的效率。

具体地，可以根据时变元素与深度传感器深度测量范围内的各深度之间的比值，确定各深度对应的坐标变量部分，例如标记深度为Z，则坐标变量部分的横坐标为

纵坐标为

之后，根据各深度对应的坐标变量部分，生成变量映射关系。

需要说明的是，本申请对步骤201至202的执行过程并不限制，例如，步骤201至202可以在步骤101之前执行，或者，步骤201至202还可以在步骤102、103或者104之前执行，本申请对此并不作限制。

本申请实施例中，坐标变量部分与深度传感器采集的深度信息相关，可以在图像配准时，直接根据时变元素与目标像素点携带的深度，实时计算得到对应的坐标变量部分，或者，为了提升图像配准效率，降低计算量，还可以在图像配准算法初始化过程中，预先根据深度传感器深度测量范围内的各深度与时变元素，计算得到各深度对应的坐标变量部分，并生成深度与坐标变量部分之间的变量映射关系，从而在图像配准时，进行通过查找法，即可读出对应的坐标变量部分。由此，可以通过不同方式，确定目标像素点对应的坐标变量部分，进一步提升该方法的适用性。

作为一种可能的实现方式，可以根据深度传感器的内参矩阵，以及深度传感器与成像传感器之间的外参矩阵，计算得到第二变换矩阵，根据第二变换矩阵中取值固定的常量元素，生成原始坐标与坐标常量部分之间的常量映射关系。下面结合实施例三，对上述过程进行详细说明。

图6为本申请实施例三所提供的图像配准方法的流程示意图。

如图6所示，常量映射关系的生成过程可以包括以下步骤：

步骤301，对用于采集深度图像的深度传感器进行内参标定，以及对深度传感器与用于采集成像图像的图像传感器进行外参标定，以得到深度图像与图像传感器之间的第二变换矩阵。

例如，对深度传感器进行内参标定，得到深度传感器的内参矩阵为I_L、对深度传感器和图像传感器进行外参标定，得到深度传感器与成像传感器之间的外参矩阵为E_L2R，则第二变换矩阵可以为图2或图5中的矩阵M₁，即：

步骤302，根据第二变换矩阵中取值固定的常量元素，生成原始坐标与坐标常量部分之间的常量映射关系。

由图5可知，第二变换矩阵M₁中，取值固定的常量元素为

则可以根据常量矩阵

生成原始坐标与坐标常量部分之间的常量映射关系。

需要说明的是，本申请对步骤301至302的执行过程并不限制，例如，步骤301至302可以在步骤101之前执行，或者，步骤301至302还可以在步骤102或者103之前执行，本申请对此并不作限制。

通常情况下，成像图像可能存在较大的畸变，为了提高图像配准的精度，作为本申请实施例的一种可能的实现方式，在生成坐标常量部分时，可以增加畸变校正的步骤。下面结合实施例四，对上述过程进行详细说明。

图7为本申请实施例四所提供的图像配准方法的流程示意图。

如图7所示，在上述实施例的基础上，步骤302具体可以包括以下子步骤：

步骤401，采用第二变换矩阵，对原始坐标进行坐标变换，以得到中间坐标。

例如，标记深度图像中目标像素点的原始坐标为(u_L，v_L)，参见图5，可以采用第一变换矩阵M₁中的取值固定的常量元素所组成的3*3的常量矩阵

与[u_L,v_L,1]^T相乘，即M₁ ^c*[u_L,v_L,1]^T，得到R相机坐标系中3*1的向量[X_R,Y_R,1]^T，即中间坐标可以为(X_R，Y_R)。

步骤402，对中间坐标进行畸变校正。

例如，参见图5，可以将(X_R,Y_R)重组成一个大小为3*5的矩阵

而后将上述重组后的3*5的矩阵右乘5*1的畸变系数向量[1k₁ k₂ p₁ p₂]^T，得到3*1的矩阵

则畸变校正后的中间坐标为(X’_R,Y’_R)。

其中，k1和k2为成像传感器的径向畸变参数，p1和p2为成像传感器的切向畸变参数。

步骤403，采用对图像传感器内参进行标定得到的第三变换矩阵，对畸变校正后的中间坐标进行坐标变换，得到原始坐标对应的坐标常量部分。

例如，参见图5，对图像传感器内参进行标定得到的第三变换矩阵为I_R，即

则通过

得到

即坐标常量部分的坐标为

步骤404，根据原始坐标和对应的坐标常量部分，生成常量映射关系。

本申请实施例中，在计算得到原始坐标对应的坐标常量部分之后，可以生成原始坐标与坐标常量部分之间的常量映射关系。

本申请中，通过预先确定深度图像中各像素点对应的原始坐标，并计算各像素点对应的原始坐标对应的坐标常量部分，并生成原始坐标与坐标常量部分之间的常量映射关系，从而在图像配准时，进行通过查找法，即可读出各目标像素点对应的坐标常量部分，可以提升图像配准的效率。

如图5所示，在查询得到目标像素点对应的坐标常量部分

以及坐标变量部分

之后，可以得到目标像素点在成像图像的坐标系中配准的目标坐标(u_R，v_R)为

为了实现上述实施例，本申请还提出一种图像配准装置。

图8为本申请实施例五所提供的图像配准装置的结构示意图。

如图8所示，该图像配准装置100包括：获取模块110、确定模块120、第一查询模块130、第二查询模块140以及配准模块150。

其中，获取模块110，用于获取深度图像。

确定模块120，用于对深度图像中的目标像素点，确定在深度图像的坐标系中的原始坐标。

第一查询模块130，用于根据目标像素点的原始坐标，查询原始坐标与坐标常量部分之间的常量映射关系，以得到对应的坐标常量部分。

第二查询模块140，用于根据目标像素点携带的深度，查询深度与坐标变量部分之间的变量映射关系，以得到对应的坐标变量部分。

配准模块150，用于根据坐标常量部分和坐标变量部分，确定目标像素点在成像图像的坐标系中配准的目标坐标。

作为一种可能的实现方式，配准模块150，具体用于：将坐标常量部分的横坐标与坐标变量部分的横坐标之和作为目标坐标中的横坐标；将坐标常量部分的纵坐标与坐标变量部分的纵坐标之和作为目标坐标中的纵坐标。

进一步地，在本申请实施例的一种可能的实现方式中，参见图9，在图8所示实施例的基础上，该图像配准装置100还可以包括：

第一标定模块160，用于对用于采集深度图像的深度传感器，以及用于采集成像图像的图像传感器进行内外参标定，以得到深度图像与成像图像之间的第一变换矩阵。

第一生成模块170，用于根据第一变换矩阵中取值随深度变化的时变元素，生成深度与坐标变量部分之间的变量映射关系。

作为一种可能的实现方式，第一生成模块170，具体用于：根据时变元素与深度传感器深度测量范围内的各深度之间的比值，确定各深度对应的坐标变量部分；根据各深度对应的坐标变量部分，生成变量映射关系。

第二标定模块180，用于对用于采集深度图像的深度传感器进行内参标定，以及对深度传感器与用于采集成像图像的图像传感器进行外参标定，以得到深度图像与图像传感器之间的第二变换矩阵。

第二生成模块190，用于根据第二变换矩阵中取值固定的常量元素，生成原始坐标与坐标常量部分之间的常量映射关系。

作为一种可能的实现方式，第二生成模块190，具体用于：采用第二变换矩阵，对原始坐标进行坐标变换，以得到中间坐标；对中间坐标进行畸变校正；采用对图像传感器内参进行标定得到的第三变换矩阵，对畸变校正后的中间坐标进行坐标变换，得到原始坐标对应的坐标常量部分；根据原始坐标和对应的坐标常量部分，生成常量映射关系。

需要说明的是，前述对图像配准方法实施例的解释说明也适用于该实施例的图像配准装置100，此处不再赘述。

为了实现上述实施例，本申请还提出一种电子设备。

图10为本申请实施例七所提供的电子设备的结构示意图。

如图10所示，该电子设备包括：存储器201、处理器202及存储在存储器201上并可在处理器202上运行的计算机程序，处理器202执行程序时，实现如本申请前述实施例提出的图像配准方法。

为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请前述实施例提出的图像配准方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种图像配准方法，其特征在于，所述方法包括以下步骤：

获取深度图像；

2.根据权利要求1所述的图像配准方法，其特征在于，所述根据所述坐标常量部分和所述坐标变量部分，确定所述目标像素点在成像图像的坐标系中配准的目标坐标，包括：

3.根据权利要求1所述的图像配准方法，其特征在于，所述根据所述目标像素点携带的深度，查询深度与坐标变量部分之间的变量映射关系，以得到对应的坐标变量部分之前，还包括：

4.根据权利要求3所述的图像配准方法，其特征在于，所述根据所述第一变换矩阵中取值随深度变化的时变元素，生成所述深度与坐标变量部分之间的变量映射关系，包括：

根据各深度对应的坐标变量部分，生成所述变量映射关系。

5.根据权利要求1-4任一所述的图像配准方法，其特征在于，所述根据所述目标像素点的原始坐标，查询原始坐标与坐标常量部分之间的常量映射关系，以得到对应的坐标常量部分之前，还包括：

6.根据权利要求5所述的图像配准方法，其特征在于，所述根据所述第二变换矩阵中取值固定的常量元素，生成所述原始坐标与坐标常量部分之间的常量映射关系，包括：

对所述中间坐标进行畸变校正；

7.一种图像配准装置，其特征在于，所述装置包括：

获取模块，用于获取深度图像；

8.根据权利要求7所述的图像配准装置，其特征在于，所述配准模块，具体用于：

9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-6中任一所述的图像配准方法。

10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的图像配准方法。