CN110579764B - 深度相机和毫米波雷达的配准方法、装置、电子设备 - Google Patents

深度相机和毫米波雷达的配准方法、装置、电子设备 Download PDF

Info

Publication number
CN110579764B
CN110579764B CN201910730443.9A CN201910730443A CN110579764B CN 110579764 B CN110579764 B CN 110579764B CN 201910730443 A CN201910730443 A CN 201910730443A CN 110579764 B CN110579764 B CN 110579764B
Authority
CN
China
Prior art keywords
tracking point
camera
millimeter wave
radar
wave radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910730443.9A
Other languages
English (en)
Other versions
CN110579764A (zh
Inventor
王包东
庞勃
郭彦杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201910730443.9A priority Critical patent/CN110579764B/zh
Publication of CN110579764A publication Critical patent/CN110579764A/zh
Application granted granted Critical
Publication of CN110579764B publication Critical patent/CN110579764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请公开了一种深度相机和毫米波雷达的配准方法，属于计算机技术领域，有助于提升配准精度。本申请实施例公开的深度相机和毫米波雷达配准方法包括：通过获取的标定靶的多组相机跟踪点坐标和雷达跟踪点坐标，构建标定靶位置的空间分布阵列；根据所述空间分布阵列，建立所述相机跟踪点坐标和所述雷达跟踪点坐标的一一匹配关系；根据所述一一匹配关系建立深度相机坐标系到毫米波雷达坐标系的仿射变换，确定所述深度相机坐标系到所述毫米波雷达坐标系的位姿变换参数，有助于提升毫米波雷达和深度相机配准的准确度。

Description

深度相机和毫米波雷达的配准方法、装置、电子设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种深度相机和毫米波雷达的配准方法、装置、电子设备及计算机可读存储介质。
背景技术
随着自动驾驶、无人机、机器人等行业的发展，对自动控制产品的安全性要求越来越高，在这种背景下，能实时、准确感知周围障碍物是自动控制系统必须具备的功能之一。这也是多种传感器数据融合趋势的原因，它将极大提高系统对环境的感知能力，进而提高系统的安全性能。其中，毫米波雷达和深度相机的融合使用能很好发挥二者的优势，在障碍物检测、分类、成本、重量等方面应用逐渐增多。准确对毫米波雷达和深度相机进行融合，则是提升获取到准确的融合数据的重要前提。
因此，提升毫米波雷达和深度相机配准的准确度，以提升对不同传感器获取的数据进行融合的准确度，是个亟待解决的问题。
发明内容
本申请实施例提供一种深度相机和毫米波雷达的配准方法，有助于提升毫米波雷达和深度相机配准的准确度。
为了解决上述问题，第一方面，本申请实施例提供了一种深度相机和毫米波雷达的配准方法，包括：
步骤1，通过获取的标定靶的多组相机跟踪点坐标和雷达跟踪点坐标，构建标定靶位置的空间分布阵列；其中，所述相机跟踪点坐标是在标定靶相对于深度相机和毫米波雷达移动的过程中通过所述相机跟踪点坐标，每组中的所述雷达跟踪点坐标是由所述毫米波雷达在指定时刻采集的所述标定靶的位置坐标，所述指定时刻为该组中的相机跟踪点坐标的采集时刻；
步骤2，根据所述空间分布阵列，建立所述相机跟踪点坐标和所述雷达跟踪点坐标的一一匹配关系；
步骤3，根据所述一一匹配关系建立深度相机坐标系到毫米波雷达坐标系的仿射变换，确定所述深度相机坐标系到所述毫米波雷达坐标系的位姿变换参数。
第二方面，本申请实施例提供了一种深度相机和毫米波雷达的配准装置，包括：
空间分布阵列构建模块，用于通过获取的标定靶的多组相机跟踪点坐标和雷达跟踪点坐标，构建标定靶位置的空间分布阵列；其中，所述相机跟踪点坐标是在标定靶相对于深度相机和毫米波雷达移动的过程中通过所述相机跟踪点坐标，每组中的所述雷达跟踪点坐标是由所述毫米波雷达在指定时刻采集的所述标定靶的位置坐标，所述指定时刻为该组中的相机跟踪点坐标的采集时刻；
坐标点一一匹配关系建立模块，用于根据所述空间分布阵列，建立所述相机跟踪点坐标和所述雷达跟踪点坐标的一一匹配关系；
变换参数确定模块，用于根据所述一一匹配关系建立深度相机坐标系到毫米波雷达坐标系的仿射变换，确定所述深度相机坐标系到所述毫米波雷达坐标系的位姿变换参数。
第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的深度相机和毫米波雷达的配准方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的深度相机和毫米波雷达的配准方法的步骤。
本申请实施例公开的深度相机和毫米波雷达配准方法，通过获取的标定靶的多组相机跟踪点坐标和雷达跟踪点坐标，构建标定靶位置的空间分布阵列；其中，所述相机跟踪点坐标是在标定靶相对于深度相机和毫米波雷达移动的过程中通过所述相机跟踪点坐标，每组中的所述雷达跟踪点坐标是由所述毫米波雷达在指定时刻采集的所述标定靶的位置坐标，所述指定时刻为该组中的相机跟踪点坐标的采集时刻，然后，根据所述空间分布阵列，建立所述相机跟踪点坐标和所述雷达跟踪点坐标的一一匹配关系，最后，根据所述一一匹配关系建立深度相机坐标系到毫米波雷达坐标系的仿射变换，确定所述深度相机坐标系到所述毫米波雷达坐标系的位姿变换参数，有助于提升毫米波雷达和深度相机配准的准确度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一的深度相机和毫米波雷达的配准方法流程图；
图2是本申请实施例一中采用的标定靶示意图；
图3是本申请实施例中的标定靶和深度相机和毫米波雷达的位置关系示意图；
图4是本申请实施例二的深度相机和毫米波雷达的配准方法流程图；
图5是本申请实施例三的深度相机和毫米波雷达的配准方法流程图；
图6是本申请实施例四的深度相机和毫米波雷达的配准装置结构示意图之一；
图7是本申请实施例四的深度相机和毫米波雷达的配准装置结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
本申请实施例公开的一种深度相机和毫米波雷达的配准方法，如图1所示，该方法包括：步骤1至步骤3。
步骤1，通过获取的标定靶的多组相机跟踪点坐标和雷达跟踪点坐标，构建标定靶位置的空间分布阵列。
其中，所述相机跟踪点坐标是在标定靶相对于深度相机和毫米波雷达移动的过程中通过所述相机跟踪点坐标，每组中的所述雷达跟踪点坐标是由所述毫米波雷达在指定时刻采集的所述标定靶的位置坐标，所述指定时刻为该组中的相机跟踪点坐标的采集时刻。
本申请一些实施例中，如图2所示，所述标定靶指设置有标定图案的金属面板，其中，所述标定图案可以为对比鲜明的两种颜色形成的形状清晰的图案，如黑白颜色的栅格，或红绿颜色的矩形框等。
本申请一些实施例中，如图3所示，毫米波雷达31和深度相机32共同组成标定模组，通常，标定模组设置在相对于标定靶平行的平面内。在毫米波雷达和深度相机的水平视场范围内，让标定靶正对毫米波雷达和深度相机，然后，通过沿前后、左右方向移动所述标定靶，使所述标定靶沿变化的轨迹运动，或者，移动毫米波雷达和深度相机组成的被标定模组，使所述标定模组沿前后、左右方向移动，从而使得所述标定靶相对于所述被标定模组沿变化的轨迹运动。
在标定靶相对于深度相机和毫米波雷达移动的过程中，在不同时刻，同时通过所述深度相机和所述毫米波雷达采集所述标定靶的位置坐标。例如，在标定靶相对于深度相机和毫米波雷达移动的过程中，间隔固定时间(如1秒)采集标定靶的深度图像和雷达数据，或者，随机采集标定靶的深度图像和雷达数据。其中，所述雷达数据由多个离散的坐标点组成。
在本申请的一些实施例中，在不同刻采集的每组雷达数据中包括多个位置坐标，这些位置坐标中包括标定靶的位置坐标，也包括标定靶周围物体的坐标。本申请实施例中，为了便于描述，将毫米波雷达采集到的所述标定靶所处的位置的坐标称为雷达跟踪点坐标。
在本申请的一些实施例中，对于在不同时刻采集的深度图像，通过图像识别可以确定所述深度图像中的标定靶，从而确定深度相机采集到的每幅深度图像对应的标定靶在相机坐标系中的位置坐标。本申请实施例中，由于雷达采集的位置信息只有水平方向和深度方向的信息，因此，只需要确定深度相机采集到的每幅深度图像对应的标定靶在相机坐标系中的水平位置坐标和深度坐标。由此，可以确定在标定靶相对于深度相机和毫米波雷达移动过程中，由深度相机采集到在不同时刻所述标定靶所处的位置的坐标，本申请实施例中，为了便于描述，将深度相机采集到的所述标定靶所处的位置的坐标称为相机跟踪点坐标。
通过图像识别确定所述深度图像中的物体，然后，确定该物体在深度图像中的位置，进一步确定该物体在深度相机坐标系中的位置坐标的具体方法可以参照现有技术，本申请对确定深度图像中标定靶在深度相机坐标系中所处的位置的坐标的具体方案不做限定。
在通过深度相机采集标定靶在移动过程中所处各个位置的相机跟踪点坐标时，根据相机跟踪点坐标之间的距离构建标定靶位置的空间分布阵列。本申请实施例中所述的空间分布阵列为一个N×N的矩阵，其中，N为大于2的自然数，例如表示为INN。所述空间分布阵列中的元素对应同一时刻采集的相机跟踪点坐标和雷达跟踪点坐标的一组坐标数据。本申请实施例中，将所述空间分布阵列的第m行第n列的元素表示为Im,n＝{(Xtc,Ytc),{(Xtr1,Ytr1),(Xtr2,Ytr2),…}}。其中，(Xtc,Ytc)表示t时刻采集的相机跟踪点坐标，{(Xtr1,Ytr1),(Xtr2,Ytr2),…}表示t时刻采集的雷达跟踪点坐标。不同时刻采集的雷达跟踪点坐标数目可能不同。
在本申请的一些实施例中，通过获取的标定靶的多组相机跟踪点坐标和雷达跟踪点坐标，构建标定靶位置的空间分布阵列，包括：获取所述深度相机在所述标定靶移动过程中的不同时刻采集的所述标定靶的位置坐标，作为相机跟踪点坐标；以及，获取所述毫米波雷达在所述不同时刻采集的所述标定靶的位置坐标，作为雷达跟踪点坐标；将同一时刻采集的相机跟踪点坐标和雷达跟踪点坐标作为一组坐标数据集；确定依次采集的各组坐标数据集中所述相机跟踪点坐标之间的距离满足预设距离阈值条件的各组坐标数据集，作为所述空间分布阵列的各行各列元素对应的坐标数据集。
例如，确定所述深度相机在所述标定靶移动过程中的某一时刻采集的所述标定靶的位置坐标，作为空间分布阵列第一行第一列元素对应的相机跟踪点坐标；确定所述毫米波雷达在所述某一时刻采集的所述标定靶的位置坐标，作为空间分布阵列第一行第一列元素对应的雷达跟踪点坐标；然后，逐行逐列采集所述空间分布阵列的各行各列元素对应的相机跟踪点坐标和雷达跟踪点坐标，其中，所述空间分布阵列的各行各列元素对应的相机跟踪点坐标之间的距离满足预设距离阈值条件。例如，所述空间分布阵列的各行各列元素对应的相机跟踪点坐标之间的距离大于1米。
以空间分布阵列为3×3的矩阵为例，可以将标定靶相对于深度相机和毫米波雷达移动过程中的t1时刻，深度相机采集的所述标定靶的相机跟踪点坐标作为标定靶位置的空间分布阵列的第一行第一列对应的相机跟踪点坐标，将毫米波雷达在t1时刻采集的所述标定靶的多个雷达跟踪点坐标作为标定靶位置的空间分布阵列的第一行第一列对应的雷达跟踪点坐标；然后，依次遍历深度相机在t1时刻之后采集的各相机跟踪点坐标，当遍历到某个相机跟踪点坐标(如t2时刻采集的相机跟踪点坐标)与空间分布阵列的第一行第一列对应的相机跟踪点坐标之间的距离满足预设距离阈值条件(如大于1米时)，将该相机跟踪点坐标作为空间分布阵列的第一行第二列对应的相机跟踪点坐标，同时，将与该相机跟踪点坐标同时采集(即t2时刻采集)的雷达跟踪点坐标作为空间分布阵列的第一行第二列对应的雷达跟踪点坐标。
之后，继续遍历后续采集的相机跟踪点坐标，直至遍历到某个相机跟踪点坐标(如t3时刻采集的相机跟踪点坐标)与空间分布阵列的第一行第一列和第二列对应的相机跟踪点坐标之间的距离满足预设距离阈值条件(如大于1米时)，将该相机跟踪点坐标作为空间分布阵列的第二行第一列对应的相机跟踪点坐标，同时，将与该相机跟踪点坐标同时采集(即t3时刻采集)的雷达跟踪点坐标作为空间分布阵列的第二行第一列对应的雷达跟踪点坐标。按照上述距离比对方法，确定空间分布阵列的第二行第二列对应的相机跟踪点坐标和雷达跟踪点坐标。
在本申请的一些实施例中，可以通过函数||T(i)-T(n)||2>TH,n∈Im,n构建空间分布阵列，其中，T(n)为空间分布阵列INN中的任意一个元素对应的相机跟踪坐标点，T(i)为空间分布阵列中当前元素对应的相机跟踪坐标点，TH为预设距离阈值。
步骤2，根据所述空间分布阵列，建立所述相机跟踪点坐标和所述雷达跟踪点坐标的一一匹配关系。
由上述步骤描述可知，空间分布阵列中的每个元素对应一个相机跟踪点坐标和多个雷达跟踪点坐标组成的坐标数据集，由于毫米波雷达采集的标定靶的坐标数据为多个离散数据，数据之间没有固定规律，并且，毫米波雷达采集的标定靶的数据中可能包括其他物体的坐标数据，因此，需要对毫米波雷达采集到的坐标数据进行过滤，以得到准确的标定靶的坐标。
本申请的一些实施例中，根据所述空间分布阵列，建立所述相机跟踪点坐标和所述雷达跟踪点坐标的一一匹配关系，包括：所述根据所述空间分布阵列，建立所述相机跟踪点坐标和所述雷达跟踪点坐标的一一匹配关系的步骤，包括：对于所述空间分布阵列的每个元素，分别确定该元素对应的相机跟踪点坐标和该元素对应的各雷达跟踪点坐标的欧式距离，作为所述元素对应的距离数据集；通过对至少两个所述距离数据集中的所述欧式距离进行直线拟合，确定与每个所述元素对应的相机跟踪点坐标匹配的一个雷达跟踪点坐标。
在本申请的一些实施例中，将空间分布阵列中每个元素对应的坐标数据集表示为Im,n＝{(Xtc,Ytc),{(Xtr1,Ytr1),(Xtr2,Ytr2),…}}，其中包括深度相机在t时刻采集的所述标定靶的一个位置坐标，以及，毫米波雷达在t时刻采集的所述标定靶的多个位置坐标。
具体实施时，对于每个坐标数据集，分别计算该坐标数据集中的由相机跟踪点坐标(即相机跟踪坐标点)和每个由毫米波雷达采集的位置坐标(即雷达跟踪坐标点)之间的欧式距离，可以得到多个欧氏距离，上述多个欧式距离反映了深度相机和毫米波雷达对标定靶的跟踪距离差值。在本申请的一些实施例中，上述欧式距离可以通过如下公式计算得到：Dmn＝||C(m)-R(m,n)||2，其中，m表示空间分布阵列中第m个元素，n表示第m个元素对应的坐标数据集中第n个雷达跟踪坐标点，C(m)表示第m个元素对应的坐标数据集中的相机跟踪坐标点，R(m,n)表示第m个元素对应的坐标数据集中第n个雷达跟踪坐标点，Dmn表示第m个元素对应的坐标数据集中的相机跟踪坐标点和该元素对应的坐标数据集中第n个雷达跟踪坐标点之间的欧式距离。
按照此方法，空间分布阵列中每个元素对应一组欧式距离，本申请的一些实施例中，可以将每组欧式距离通过距离数据集{ID,Dmn}表示，其中，ID为距离数据集编号，与空间分布阵列中元素编号对应，Dmn表示相应元素编号的元素对应的坐标数据集中的相机跟踪坐标点分别与各雷达跟踪坐标点之间的欧式距离。
由于深度相机和毫米波雷达的位置是固定的且在统一平面内，因此，当同时采集在由深度相机和毫米波雷达构成的标定模组前移动的标定靶的位置坐标时，标定靶距离深度相机和毫米波雷达的距离应该是基本相同的，即深度相机采集的相机跟踪点坐标和毫米波雷达采集的雷达跟踪点坐标之间的距离应该在一个较小的范围(即保留误差)内。也就是说，一对一匹配上的坐标点对应的Dmn基本相同。即每组距离数据集{ID,Dmn}中，相机跟踪点坐标和雷达跟踪点坐标之间的距离Dmn小于或等于预设距离阈值时，该雷达跟踪点才可能是对标定靶的跟踪点，距离Dmn大于预设距离阈值时，该雷达跟踪点被认为是噪声点。
本申请具体实施时，需要滤除噪声点，才能建立相机跟踪点坐标和雷达跟踪点坐标值之间的一一匹配关系。在本申请的一些实施例中，可以随机选择任意两个距离数据集中的坐标数据计算拟合直线，从而滤除噪声点，即拟合直线的外点。
本申请的一些实施例中，对所述欧式距离进行直线拟合，包括：以空间分布阵列的元素编号作为横坐标，以所述欧氏距离作为纵坐标，根据至少两个空间分布阵列的元素对应的欧氏距离计算拟合直线。例如，在计算拟合直线的过程中，以距离数据集的编号(即空间分布阵列的元素编号)作为x坐标，以距离数据数据集中相机跟踪点坐标和雷达跟踪点坐标之间的欧式距离作为y坐标，求直线y＝ax+b，使得直线上的内点数量达到预设数量阈值，之后，重复迭代N次，使得用于计算拟合直线的每组数据中，只有一个y位于拟合直线上，至此，确定了每个x坐标对应的y值，即确定了每个距离数据集中的一个欧式距离Dmn,也就是确定了与相机跟踪点坐标匹配的雷达跟踪点坐标。
步骤3，根据所述一一匹配关系建立深度相机坐标系到毫米波雷达坐标系的仿射变换，确定所述深度相机坐标系到所述毫米波雷达坐标系的位姿变换参数。
在确定了空间分布阵列中每个元素对应的每个相机跟踪点坐标匹配的一个雷达跟踪点坐标之后，可以通过最小二乘法计算毫米波雷达坐标系到相机坐标系的仿射变换，得到雷达跟踪点坐标到相机跟踪点坐标的位姿变换矩阵Trc。例如，根据公式
Figure BDA0002160360890000091
计算位姿变换矩阵Trc，其中，Xc，Yc为相机跟踪点坐标，Xr,Yr为雷达跟踪点坐标；c,r＝1,2…,N×N(N>2)。
本申请实施例公开的深度相机和毫米波雷达配准方法，通过获取的标定靶的多组相机跟踪点坐标和雷达跟踪点坐标，构建标定靶位置的空间分布阵列；其中，所述相机跟踪点坐标是在标定靶相对于深度相机和毫米波雷达移动的过程中通过所述相机跟踪点坐标，每组中的所述雷达跟踪点坐标是由所述毫米波雷达在指定时刻采集的所述标定靶的位置坐标，所述指定时刻为该组中的相机跟踪点坐标的采集时刻，然后，根据所述空间分布阵列，建立所述相机跟踪点坐标和所述雷达跟踪点坐标的一一匹配关系，最后，根据所述一一匹配关系建立深度相机坐标系到毫米波雷达坐标系的仿射变换，确定所述深度相机坐标系到所述毫米波雷达坐标系的位姿变换参数，有助于提升毫米波雷达和深度相机配准的准确度。实验结果表明，通过本申请公开的深度相机和毫米波雷达配准方法，标定模组的室外标定精度为0.12m，相对于单目相机和毫米波雷达标定精度提高1倍多。
进一步的，以金属面板作为标定靶，有助于提升毫米波雷达获取标定数据的数据量，提供丰富的数据资源，但是由于在获取标定靶反射数据的同时，也采集到了更多的噪声，因此需要进一步对噪声数据进行过滤，以的到准确的标定靶反射数据。通过在相近的且位置关系相对固定的位置深度相机和毫米波雷达，并基于数据采集原理，参照深度相机采集的标定靶数据对毫米波雷达采集的数据进行过滤，可以有效地滤除噪声数据。
另一方面，通过构建空间分布阵列，在采集时间和坐标点之间距离对坐标点进行初步过滤，可以进一步提升获取到的坐标数据的准确性和可靠性。
实施例二
本申请的另一些实施例中，如图4所示，所述深度相机和毫米波雷达的配准方法还包括：步骤4和步骤5。
步骤4，根据所述位姿变换参数和所述一一匹配关系对应的所述相机跟踪点坐标和所述雷达跟踪点坐标，确定仿射变换误差；
步骤5，根据预设的仿射变换误差条件，确定深度相机和毫米波雷达的配准数据。
为了进一步提升对毫米波雷达和深度相机标定的准确度，本申请实施例即确定一次标定的位姿变换参数之后，通过计算仿射变换误差对标定过程的准确度进行评估，并通过多次标定以确定最优的配准数据。
例如，本申请的一些实施例中，可以通过公式F(n)＝||Trc×R(m,n)-C(m)||2计算相机坐标系到雷达坐标系的变换误差，即计算所述相机跟踪点坐标和所述雷达跟踪点坐标之间的仿射变换误差，其中，Trc为位姿变换矩阵，F(n)表示基于位姿变换矩阵Trc计算的空间分布阵列中坐标点的仿射变换误差，C(m)为空间分布阵列中第m个元素对应的相机跟踪点坐标，R(m,n)C(m)为空间分布阵列中第m个元素对应的各雷达跟踪点坐标。
在本申请的一些实施例中，所述根据预设的仿射变换误差条件，确定深度相机和毫米波雷达的配准数据，进一步包括：响应于重复执行所述步骤1至所述步骤4大于等于K次，确定最小的所述仿射变换误差对应的所述位姿变换参数，作为配准数据，其中，K为大于1的自然数；否则，跳转至并执行所述步骤1
例如，可以执行多次配准，例如K次，确定K组位姿变换参数，然后分别计算K组位姿变换参数对应的K个仿射变换误差，并将K个仿射变换误差中最小的所述仿射变换误差对应的一组位姿变换参数，作为配准数据。其中，K为大于1的自然数。如图4所示，所述步骤5进一步包括：
子步骤51，判断重复执行所述步骤1至所述步骤4是否大于等于K次，若是，则执行子步骤52，否则，跳转至所述步骤1并重所述步骤1开始执行。
子步骤52，确定最小的所述仿射变换误差对应的所述位姿变换参数，作为配准数据。
通过执行多次配准，并选择多次配准得到的最小仿射变换误差对应的一组位姿变换参数，作为配准数据，可以根据具体配准精度和计算资源确定。
本申请实施例公开的深度相机和毫米波雷达的配准方法，通过计算仿射变换误差进一步调整配准数据，可以进一步提升配准精度。
实施例三
作为实施例二的一个变形，本申请的另一些实施例中，所述根据预设的仿射变换误差条件，确定深度相机和毫米波雷达的配准数据的步骤包括：响应于所述仿射变换误差小于预设误差阈值，确定所述仿射变换误差对应的所述位姿变换参数，作为配准数据；否则，确定配准失败。
如图5所示，步骤5进一步包括：
子步骤53，判断所述仿射变换误差是否小于预设误差阈值，若是，则执行子步骤54，否则，执行子步骤55；
子步骤54，确定所述仿射变换误差对应的所述位姿变换参数，作为配准数据；
子步骤55，确定配准失败。
本实施例中，可以通过判断计算得到的仿射变换误差与预设误差阈值之间的关系，确定当前位姿变换矩阵是否为准确的配准数据。例如，若计算得到的仿射变换误差小于或等于预设误差阈值，则确定最小的所述仿射变换误差对应的所述位姿变换参数，作为配准数据；若计算得到的仿射变换误差大于预设误差阈值，则确定本次配准失败。在本次配准失败的情况下，可以重新执行步骤1至步骤5再一次执行配准，计算得到的仿射变换误差小于或等于预设误差阈值。
其中，预设误差阈值可以根据配准精度需求设定，本申请对预设误差阈值的具体数值不做限定。通过预先设置误差阈值，在配准操作精度较高的情况下，可以减少配准次数，提升配准效率。
实施例四
本实施例公开的一种深度相机和毫米波雷达的配准装置，如图6所示，所述装置包括：
空间分布阵列构建模块61，用于通过获取的标定靶的多组相机跟踪点坐标和雷达跟踪点坐标，构建标定靶位置的空间分布阵列。
其中，所述相机跟踪点坐标是在标定靶相对于深度相机和毫米波雷达移动的过程中通过所述相机跟踪点坐标，每组中的所述雷达跟踪点坐标是由所述毫米波雷达在指定时刻采集的所述标定靶的位置坐标，所述指定时刻为该组中的相机跟踪点坐标的采集时刻；
坐标点一一匹配关系建立模块62，用于根据所述空间分布阵列，建立所述相机跟踪点坐标和所述雷达跟踪点坐标的一一匹配关系；
变换参数确定模块63，用于根据所述一一匹配关系建立深度相机坐标系到毫米波雷达坐标系的仿射变换，确定所述深度相机坐标系到所述毫米波雷达坐标系的位姿变换参数。
本申请的一些实施例中，如图7所示，在根据所述一一匹配关系建立深度相机坐标系到毫米波雷达坐标系的仿射变换，确定所述深度相机坐标系到所述毫米波雷达坐标系的位姿变换参数之后，所述装置还包括：
仿射变换误差确定模块64，用于根据所述位姿变换参数和所述一一匹配关系对应的所述相机跟踪点坐标和所述雷达跟踪点坐标，确定仿射变换误差；
配准数据确定模块65，用于根据预设的仿射变换误差条件，确定深度相机和毫米波雷达的配准数据。
本申请的一些实施例中，所述配准数据确定模块65进一步用于：
响应于重复执行所述空间分布阵列构建模块61至所述仿射变换误差确定模块64大于等于K次，确定最小的所述仿射变换误差对应的所述位姿变换参数，作为配准数据，其中，K为大于1的自然数；否则，跳转至并执行所述空间分布阵列构建模块61。
本申请的另一些实施例中，所述配准数据确定模块65进一步还用于：
响应于所述仿射变换误差小于预设误差阈值，确定所述仿射变换误差对应的所述位姿变换参数，作为配准数据；否则，确定配准失败。
本申请的一些实施例中，所述坐标点一一匹配关系建立模块62进一步用于：
对于所述空间分布阵列的每个元素，分别确定该元素对应的相机跟踪点坐标和该元素对应的各雷达跟踪点坐标的欧式距离，作为所述元素对应的距离数据集；
通过对至少两个所述距离数据集中的所述欧式距离进行直线拟合，确定与每个所述元素对应的相机跟踪点坐标匹配的一个雷达跟踪点坐标。
本申请的一些实施例中，所述空间分布阵列构建模块61进一步用于：
获取所述深度相机在所述标定靶移动过程中的不同时刻采集的所述标定靶的位置坐标，作为相机跟踪点坐标；以及，获取所述毫米波雷达在所述不同时刻采集的所述标定靶的位置坐标，作为雷达跟踪点坐标；并将同一时刻采集的相机跟踪点坐标和雷达跟踪点坐标作为一组坐标数据集；以及，
确定依次采集的各组坐标数据集中所述相机跟踪点坐标之间的距离满足预设距离阈值条件的各组坐标数据集，作为所述空间分布阵列的各行各列元素对应的坐标数据集。
本申请的一些实施例中，所述标定靶为金属面板。
本申请实施例公开的深度相机和毫米波雷达的配准装置，用于实现本申请实施例一中所述的深度相机和毫米波雷达的配准方法的各步骤，装置的各模块的具体实施方式参见相应步骤，此处不再赘述。
本申请实施例公开的深度相机和毫米波雷达配准装置，通过获取的标定靶的多组相机跟踪点坐标和雷达跟踪点坐标，构建标定靶位置的空间分布阵列；其中，所述相机跟踪点坐标是在标定靶相对于深度相机和毫米波雷达移动的过程中通过所述相机跟踪点坐标，每组中的所述雷达跟踪点坐标是由所述毫米波雷达在指定时刻采集的所述标定靶的位置坐标，所述指定时刻为该组中的相机跟踪点坐标的采集时刻，然后，根据所述空间分布阵列，建立所述相机跟踪点坐标和所述雷达跟踪点坐标的一一匹配关系，最后，根据所述一一匹配关系建立深度相机坐标系到毫米波雷达坐标系的仿射变换，确定所述深度相机坐标系到所述毫米波雷达坐标系的位姿变换参数，有助于提升毫米波雷达和深度相机配准的准确度。实验结果表明，通过本申请公开的深度相机和毫米波雷达配准方法，标定模组的室外标定精度为0.12m，相对于单目相机和毫米波雷达标定精度提高1倍多。
进一步的，以金属面板作为标定靶，有助于提升毫米波雷达获取标定数据的数据量，提供丰富的数据资源，但是由于在获取标定靶反射数据的同时，也采集到了更多的噪声，因此需要进一步对噪声数据进行过滤，以的到准确的标定靶反射数据。通过在相近的且位置关系相对固定的位置深度相机和毫米波雷达，并基于数据采集原理，参照深度相机采集的标定靶数据对毫米波雷达采集的数据进行过滤，可以有效地滤除噪声数据。
另一方面，通过构建空间分布阵列，在采集时间和坐标点之间距离对坐标点进行初步过滤，可以进一步提升获取到的坐标数据的准确性和可靠性。
相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一、实施例二和实施例三所述的深度相机和毫米波雷达的配准方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。
本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一、实施例二和实施例三所述的深度相机和毫米波雷达的配准方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种深度相机和毫米波雷达的配准方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (10)

1.一种深度相机和毫米波雷达的配准方法，其特征在于，包括：
步骤1，通过获取关于标定靶的多组相机跟踪点坐标和雷达跟踪点坐标，构建标定靶位置的空间分布阵列；其中，所述相机跟踪点坐标是在标定靶相对于深度相机和毫米波雷达移动的过程中通过所述深度相机采集的所述标定靶的位置坐标，每组中的所述雷达跟踪点坐标是由所述毫米波雷达在指定时刻采集的所述标定靶的位置坐标，所述指定时刻为该组中的相机跟踪点坐标的采集时刻；
步骤2，根据所述空间分布阵列，建立所述相机跟踪点坐标和所述雷达跟踪点坐标的一一匹配关系，包括：对于所述空间分布阵列的每个元素，分别确定该元素对应的相机跟踪点坐标和该元素对应的各雷达跟踪点坐标的欧氏距离，作为所述元素对应的距离数据集；
通过对至少两个所述距离数据集中的所述欧氏距离进行直线拟合，确定与每个所述元素对应的相机跟踪点坐标匹配的一个雷达跟踪点坐标；
步骤3，根据所述一一匹配关系建立深度相机坐标系到毫米波雷达坐标系的仿射变换，确定所述深度相机坐标系到所述毫米波雷达坐标系的位姿变换参数。
2.根据权利要求1所述的方法，其特征在于，所述步骤3之后，还包括：
步骤4，根据所述位姿变换参数和所述一一匹配关系对应的所述相机跟踪点坐标和所述雷达跟踪点坐标，确定仿射变换误差；
步骤5，根据预设的仿射变换误差条件，确定深度相机和毫米波雷达的配准数据。
3.根据权利要求2所述的方法，其特征在于，所述步骤5包括：
响应于重复执行所述步骤1至所述步骤4大于等于K次，确定最小的所述仿射变换误差对应的所述位姿变换参数，作为配准数据，其中，K为大于1的自然数；否则，跳转至并执行所述步骤1。
4.根据权利要求2所述的方法，其特征在于，所述步骤5包括：
响应于所述仿射变换误差小于预设误差阈值，确定所述仿射变换误差对应的所述位姿变换参数，作为配准数据；否则，确定配准失败。
5.根据权利要求1至4任一项所述的方法，其特征在于，通过获取的标定靶的多组相机跟踪点坐标和雷达跟踪点坐标，构建标定靶位置的空间分布阵列，包括：
获取所述深度相机在所述标定靶移动过程中的不同时刻采集的所述标定靶的位置坐标，作为相机跟踪点坐标；以及，获取所述毫米波雷达在所述不同时刻采集的所述标定靶的位置坐标，作为雷达跟踪点坐标；
将同一时刻采集的相机跟踪点坐标和雷达跟踪点坐标作为一组坐标数据集；
确定依次采集的各组坐标数据集中所述相机跟踪点坐标之间的距离满足预设距离阈值条件的各组坐标数据集，作为所述空间分布阵列的各行各列元素对应的坐标数据集。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述标定靶为金属面板。
7.一种深度相机和毫米波雷达的配准装置，其特征在于，包括：
空间分布阵列构建模块，用于通过获取的标定靶的多组相机跟踪点坐标和雷达跟踪点坐标，构建标定靶位置的空间分布阵列；其中，所述相机跟踪点坐标是在标定靶相对于深度相机和毫米波雷达移动的过程中深度相机采集的所述标定靶的位置坐标，每组中的所述雷达跟踪点坐标是由所述毫米波雷达在指定时刻采集的所述标定靶的位置坐标，所述指定时刻为该组中的相机跟踪点坐标的采集时刻；
坐标点一一匹配关系建立模块，用于根据所述空间分布阵列，建立所述相机跟踪点坐标和所述雷达跟踪点坐标的一一匹配关系，包括：对于所述空间分布阵列的每个元素，分别确定该元素对应的相机跟踪点坐标和该元素对应的各雷达跟踪点坐标的欧氏距离，作为所述元素对应的距离数据集；
通过对至少两个所述距离数据集中的所述欧氏距离进行直线拟合，确定与每个所述元素对应的相机跟踪点坐标匹配的一个雷达跟踪点坐标；
变换参数确定模块，用于根据所述一一匹配关系建立深度相机坐标系到毫米波雷达坐标系的仿射变换，确定所述深度相机坐标系到所述毫米波雷达坐标系的位姿变换参数。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
仿射变换误差确定模块，用于根据所述位姿变换参数和所述一一匹配关系对应的所述相机跟踪点坐标和所述雷达跟踪点坐标，确定仿射变换误差；
配准数据确定模块，用于根据预设的仿射变换误差条件，确定深度相机和毫米波雷达的配准数据。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任意一项所述的深度相机和毫米波雷达的配准方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任意一项所述的深度相机和毫米波雷达的配准方法的步骤。
CN201910730443.9A 2019-08-08 2019-08-08 深度相机和毫米波雷达的配准方法、装置、电子设备 Active CN110579764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910730443.9A CN110579764B (zh) 2019-08-08 2019-08-08 深度相机和毫米波雷达的配准方法、装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910730443.9A CN110579764B (zh) 2019-08-08 2019-08-08 深度相机和毫米波雷达的配准方法、装置、电子设备

Publications (2)

Publication Number Publication Date
CN110579764A CN110579764A (zh) 2019-12-17
CN110579764B true CN110579764B (zh) 2021-03-09

Family

ID=68810531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910730443.9A Active CN110579764B (zh) 2019-08-08 2019-08-08 深度相机和毫米波雷达的配准方法、装置、电子设备

Country Status (1)

Country Link
CN (1) CN110579764B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111122128B (zh) * 2020-01-03 2022-04-19 浙江大华技术股份有限公司 一种球形摄像机的标定方法及装置
CN111267841B (zh) * 2020-01-22 2021-04-13 深圳国信泰富科技有限公司 一种机器人距离采集系统
CN111257882B (zh) * 2020-03-19 2021-11-19 北京三快在线科技有限公司 数据融合方法、装置、无人驾驶设备和可读存储介质
CN111815717B (zh) * 2020-07-15 2022-05-17 西北工业大学 一种多传感器融合外参联合半自主标定方法
CN112684250B (zh) * 2020-12-03 2022-03-18 华中科技大学 一种高功率毫米波强度测量系统标定方法
CN112944570B (zh) * 2021-03-01 2022-11-22 青岛海尔空调电子有限公司 多室内机空间中基于毫米波雷达的变频空调控制方法
CN115236612A (zh) * 2021-11-22 2022-10-25 上海仙途智能科技有限公司 一种多毫米波雷达数据标定的方法及装置
CN118711153A (zh) * 2024-08-29 2024-09-27 深圳风向标教育资源股份有限公司 无人车、毫米波雷达和相机联合标定方法及其装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106556825A (zh) * 2015-09-29 2017-04-05 北京自动化控制设备研究所 一种全景视觉成像系统的联合标定方法
CN108226906A (zh) * 2017-11-29 2018-06-29 深圳市易成自动驾驶技术有限公司 一种标定方法、装置及计算机可读存储介质
CN108519605A (zh) * 2018-04-09 2018-09-11 重庆邮电大学 基于激光雷达和摄像机的路沿检测方法
CN108608466A (zh) * 2018-02-26 2018-10-02 北京克路德人工智能科技有限公司 一种双目相机和激光雷达联合的机器人定位方法
CN108693532A (zh) * 2018-03-29 2018-10-23 浙江大学 基于增强型双目相机与3d毫米波雷达的可穿戴避障方法及装置
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN109828262A (zh) * 2019-03-15 2019-05-31 苏州天准科技股份有限公司 基于平面和空间特征的激光雷达与相机自动联合标定方法
CN109949372A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种激光雷达与视觉联合标定方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106556825A (zh) * 2015-09-29 2017-04-05 北京自动化控制设备研究所 一种全景视觉成像系统的联合标定方法
CN108226906A (zh) * 2017-11-29 2018-06-29 深圳市易成自动驾驶技术有限公司 一种标定方法、装置及计算机可读存储介质
CN108608466A (zh) * 2018-02-26 2018-10-02 北京克路德人工智能科技有限公司 一种双目相机和激光雷达联合的机器人定位方法
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN108693532A (zh) * 2018-03-29 2018-10-23 浙江大学 基于增强型双目相机与3d毫米波雷达的可穿戴避障方法及装置
CN108519605A (zh) * 2018-04-09 2018-09-11 重庆邮电大学 基于激光雷达和摄像机的路沿检测方法
CN109212521A (zh) * 2018-09-26 2019-01-15 同济大学 一种基于前视相机与毫米波雷达融合的目标跟踪方法
CN109828262A (zh) * 2019-03-15 2019-05-31 苏州天准科技股份有限公司 基于平面和空间特征的激光雷达与相机自动联合标定方法
CN109949372A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种激光雷达与视觉联合标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
机器视觉与毫米波雷达融合的前方车辆检测方法研究;谭力凡;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑（月刊）》;20180615;第46-49页 *
立体视觉和三维激光系统的联合标定方法;董方新 等;《仪器仪表学报》;20171031;第38卷(第10期);第2591-2596页 *

Also Published As

Publication number Publication date
CN110579764A (zh) 2019-12-17

Similar Documents

Publication Publication Date Title
CN110579764B (zh) 深度相机和毫米波雷达的配准方法、装置、电子设备
CN111383285B (zh) 一种基于毫米波雷达与摄像机传感器融合标定方法及系统
US11422261B2 (en) Robot relocalization method and apparatus and robot using the same
CN110501036A (zh) 传感器参数的标定检查方法及装置
CN100573388C (zh) 实时颜色自动采集的机器人控制方法及机器人
CN105335955A (zh) 对象检测方法和对象检测装置
CN111380510B (zh) 重定位方法及装置、机器人
CN110470333A (zh) 传感器参数的标定方法及装置、存储介质和电子装置
CN111476242A (zh) 一种激光点云语义分割方法及装置
CN112465877B (zh) 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法
WO2022217988A1 (zh) 传感器配置方案确定方法、装置、计算机设备、存储介质及程序
CN112132900A (zh) 一种视觉重定位方法及系统
CN114092778A (zh) 基于表征学习的雷达摄像头数据融合系统及方法
KR20220058846A (ko) 로봇 포지셔닝 방법 및 장치, 기기, 저장 매체
CN115761684B (zh) 基于机器视觉的agv目标识别与姿态角解算方法及系统
CN115100287B (zh) 外参标定方法及机器人
CN111028264B (zh) 一种旋转鲁棒的三维物体检测优化方法及装置
CN112001247B (zh) 多目标检测方法、设备及存储装置
US11244470B2 (en) Methods and systems for sensing obstacles in an indoor environment
CN112669388B (zh) 激光雷达与摄像装置的标定方法及装置、可读存储介质
CN113256726A (zh) 移动装置的传感系统的在线标定和检查方法、移动装置
CN117523428B (zh) 基于飞行器平台的地面目标检测方法和装置
CN113256727B (zh) 移动装置及图像传感系统参数在线标定和检查方法及装置
CN118226421B (zh) 基于反射率图的激光雷达-相机在线标定方法及系统
CN114937123B (zh) 基于多源影像融合的建筑建模方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant