CN110517209A - 数据处理方法、装置、系统以及计算机可读存储介质 - Google Patents

数据处理方法、装置、系统以及计算机可读存储介质 Download PDF

Info

Publication number
CN110517209A
CN110517209A CN201810487451.0A CN201810487451A CN110517209A CN 110517209 A CN110517209 A CN 110517209A CN 201810487451 A CN201810487451 A CN 201810487451A CN 110517209 A CN110517209 A CN 110517209A
Authority
CN
China
Prior art keywords
moment
laser point
point cloud
taking pictures
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810487451.0A
Other languages
English (en)
Other versions
CN110517209B (zh
Inventor
杨恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810487451.0A priority Critical patent/CN110517209B/zh
Publication of CN110517209A publication Critical patent/CN110517209A/zh
Application granted granted Critical
Publication of CN110517209B publication Critical patent/CN110517209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开涉及一种数据处理方法、装置、系统以及计算机可读存储介质，涉及计算机技术领域。本公开的方法包括：获取拍照时刻采集的相机图像和惯性导航参数；获取扫描时刻采集的激光点云数据和惯性导航参数；根据拍照时刻和扫描时刻采集的惯性导航参数，将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据；将拍照时刻对应的激光点云数据与拍照时刻的相机图像进行融合。本公开将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据，使得激光点云数据与相机图像对应的时刻较为精准的统一为同一时刻，进而将激光点云数据和相机图像进行融合，则可以提高激光点云数据与相机图像融合的准确率，提高移动机器人的环境感知能力。

Description

数据处理方法、装置、系统以及计算机可读存储介质
技术领域
本公开涉及计算机技术领域，特别涉及一种数据处理方法、装置、系统以及计算机可读存储介质。
背景技术
多年来随着技术的发展，各种传感器在移动机器人领域得到了广泛应用，其中激光雷达和相机就是其中常用的设备。相机具有的高分辨率和颜色等内容信息的捕获能力，而激光雷达具有的对环境空间直接精确的三维测量能力，二者的相互补充能够使移动机器人获得准确可靠有冗余的环境感知能力，在这其中如果将图像数据与激光点云数据进行融合显得至关重要。
在通用的相机图像与激光点云的数据融合技术中，首先将相机和雷达进行位姿配准，然后，通过时间戳距离最近原则，找到图片采集时的时间戳最近的激光点云数据，并以此点云为中心，依据激光雷达的扫描周期作为时间区间，将此时间区间内的所有点云数据，当成点云“帧”，最后将该点云“帧”映射到与其对应的图像上，完成图像像素与三维点云数据的对应，从而实现二者数据的融合。
发明内容
发明人发现：图像与激光点云数据通过最近邻时间戳来进行对应，由于时间戳本身存在的离散性，图像采集时刻与激光点云数据采集时刻存在一定的误差，导致图像与激光点云数据的融合不准确，降低机器人的环境感知能力。
本公开所要解决的一个技术问题是：如何提高相机图像与激光点云数据融合的准确性。
根据本公开的一些实施例，提供的一种数据处理方法，包括：获取拍照时刻采集的相机图像和惯性导航参数；获取扫描时刻采集的激光点云数据和惯性导航参数；根据拍照时刻和扫描时刻采集的惯性导航参数，将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据；将拍照时刻对应的激光点云数据与拍照时刻的相机图像进行融合。
在一些实施例中，将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据包括：根据拍照时刻和扫描时刻采集的惯性导航参数，确定各激光点在扫描时刻相对于在拍照时刻的空间位移；根据空间位移，将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据。
在一些实施例中，惯性导航参数包括载体的旋转量和平移量；将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据包括：根据载体在扫描时刻的旋转量与拍照时刻的旋转量的差值，确定各激光点在扫描时刻相对于拍照时刻的旋转矩阵；根据载体在扫描时刻的平移矩阵与拍照时刻的平移量的差值，确定各激光点在扫描时刻相对于拍照时刻的平移矩阵；根据各激光点在扫描时刻相对于拍照时刻的旋转矩阵和平移矩阵，将各激光点在扫描时刻对应的坐标值转换为拍照时刻对应的坐标值。
在一些实施例中，将各激光点在扫描时刻对应的坐标值转换为拍照时刻对应的坐标值包括：将扫描时刻激光点的坐标值与旋转矩阵的乘积再加上平移矩阵的和，作为激光点在拍照时刻对应的坐标值。
在一些实施例中，将拍照时刻对应的激光点云数据与拍照时刻的相机图像进行融合包括：根据激光雷达坐标系相对于相机坐标系的旋转量和平移量，以及相机的内部参数，将拍照时刻对应的激光点云数据在拍照时刻的相机图像中的像素进行对应。
在一些实施例中，惯性导航参数是惯性导航装置以第一频率采集的；激光点云数据是激光雷达装置以第二频率采集的；相机图像是相机装置以第三频率采集的；其中，第一频率大于第二频率大于第三频率。
在一些实施例中，扫描时刻包括至少一个与拍照时刻的时间差在预设范围内的时刻。
根据本公开的另一些实施例，提供的一种数据处理装置，包括：第一数据获取模块，用于获取拍照时刻采集的相机图像和惯性导航参数；第二数据获取模块，用于获取扫描时刻采集的激光点云数据和惯性导航参数；点云数据调整模块，用于根据拍照时刻和扫描时刻采集的惯性导航参数，将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据；数据融合模块，用于将拍照时刻对应的激光点云数据与拍照时刻的相机图像进行融合。
在一些实施例中，点云数据调整模块用于根据拍照时刻和扫描时刻采集的惯性导航参数，确定各激光点在扫描时刻相对于在拍照时刻的空间位移；根据空间位移，将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据。
在一些实施例中，惯性导航参数包括载体的旋转量和平移量；点云数据调整模块用于根据载体在扫描时刻的旋转量与拍照时刻的旋转量的差值，确定各激光点在扫描时刻相对于拍照时刻的旋转矩阵；根据载体在扫描时刻的平移矩阵与拍照时刻的平移量的差值，确定各激光点在扫描时刻相对于拍照时刻的平移矩阵；根据各激光点在扫描时刻相对于拍照时刻的旋转矩阵和平移矩阵，将各激光点在扫描时刻对应的坐标值转换为拍照时刻对应的坐标值。
在一些实施例中，点云数据调整模块用于将扫描时刻激光点的坐标值与旋转矩阵的乘积再加上平移矩阵的和，作为激光点在拍照时刻对应的坐标值。
在一些实施例中，数据融合模块用于根据激光雷达坐标系相对于相机坐标系的旋转量和平移量，以及相机的内部参数，将拍照时刻对应的激光点云数据在拍照时刻的相机图像中的像素进行对应。
在一些实施例中，惯性导航参数是惯性导航装置以第一频率采集的；激光点云数据是激光雷达装置以第二频率采集的；相机图像是相机装置以第三频率采集的；其中，第一频率大于第二频率大于第三频率。
在一些实施例中，扫描时刻包括至少一个与拍照时刻的时间差在预设范围内的时刻。
根据本公开的又一些实施例，提供的一种数据处理装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器设备中的指令，执行如前述任意实施例的数据处理方法。
根据本公开的再一些实施例，提供的一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意实施例的数据处理方法。
根据本公开的又一些实施例，提供的一种数据处理系统，包括：前述任意实施例的数据处理装置；以及惯性导航装置，用于采集惯性导航参数；相机装置，用于采集相机图像；激光雷达装置，用于采集激光点云数据。
在一些实施例中，惯性导航装置用于以第一频率采集惯性导航参数；激光雷达装置用于以第二频率采集激光点云数据；相机装置用于以第三频率采集相机图像；其中，第一频率大于第二频率大于第三频率。
本公开在采集相机图像和采集激光点云数据的同时还采集惯性导航参数，根据拍照时刻和扫描时刻的惯性导航参数，将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据，这样使得激光点云数据对应的时刻与相机图像对应的时刻较为精准的统一为同一时刻，进而将激光点云数据和相机图像进行融合，则可以提高激光点云数据与相机图像融合的准确率，提高移动机器人的环境感知能力。
通过以下拍照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开的一些实施例的数据处理方法的流程示意图。
图2A示出本公开的一些实施例的数据采集频率的示意图。
图2B示出本公开的另一些实施例的数据处理方法的流程示意图。
图2C示出本公开的一些实施例的装置位置分布的结构示意图。
图3示出本公开的又一些实施例的数据处理方法的流程示意图。
图4示出本公开的一些实施例的数据处理装置的结构示意图。
图5示出本公开的另一些实施例的数据处理装置的结构示意图。
图6示出本公开的又一些实施例的数据处理装置的结构示意图。
图7示出本公开的一些实施例的数据处理系统的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开提出一种数据处理方法，可以提高相机图像和激光点云数据融合的准确性，下面结合图1进行描述。
图1为本公开数据处理方法一些实施例的流程图。如图1所示，该实施例的方法包括：步骤S102～S108。
在步骤S102中，获取拍照时刻采集的相机图像和惯性导航参数。
惯性导航参数例如包括载体(例如移动机器人)在不同时刻相对于初始时刻的旋转量和平移量等。惯性导航参数由惯性导航装置以一定频率输出。相机图像由相机装置以一定频率输出，相机图像可以包括各个像素点的像素值，以及各个像素点在相机坐标系统的坐标值等。
在步骤S104中，获取扫描时刻采集的激光点云数据和惯性导航参数。
激光点云数据可以包括扫描得到的周围物体的各个激光点在激光雷达坐标系下的坐标值。
受限于相机设备和激光雷达设备的硬件能力，无法直接精确的将相机设备和激光雷达设备调整到同一时刻进行数据采集，通常情况下相机的拍摄频率较低。因此，以惯性导航装置作为辅助。惯性导航装置的时间精度较高，可以以较高频率采集载体的位移信息，可以设置惯性导航装置在相机设备和激光雷达设备采集数据的同时较为精确的同步采集惯性导航数据。
在一些实施例中，将惯性导航装置设置为以第一频率采集惯性导航参数，激光雷达装置以第二频率采集激光点云数据，相机装置以第三频率采集图像。第一频率大于第二频率大于第三频率，例如图2A所示。在一些情况下，惯性导航装置的第一频率可以等于激光雷达装置的第二频率，例如，激光雷达装置的第二频率是相机装置的第三频率的整数倍的情况下。进一步，惯性导航装置的第一频率可以是激光雷达装置的第二频率和相机装置的第三频率的最小公约数。例如，激光雷达装置的第二频率是1秒钟采集50次激光点云数据，相机装置的第三频率是1秒中采集20次图像，惯性导航装置的第一频率可以是1秒钟采集100次惯性导航参数。
在上述实施例中，即使惯性导航装置无法完全一致的与激光雷达装置或相机装置同步采集数据，由于惯性导航装置的频率高，根据惯性导航参数调整后的激光点云数据与相机图像的采集时间差，也比现有技术中没有经过调整的激光点云数据与相机图像的采集时间差更小，也能够提高后续的激光点云数据与相机图像融合的精确度。
在步骤S106中，根据拍照时刻和扫描时刻采集的惯性导航参数，将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据。
在一些实施例中，如图2B所示，在步骤S1061，根据拍照时刻和扫描时刻采集的惯性导航参数，确定各激光点在扫描时刻相对于在拍照时刻的空间位移。在步骤S1062，根据空间位移，将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据。
该步骤的原理为，惯性导航装置、相机装置和激光雷达装置刚性固定安装于载体之上，三者之间的相对位置关系是确定的。例如图2C所示，相机装置到激光雷达装置的旋转量和平移量是可以获得的，相机装置到惯性导航装置的旋转量和平移量，以及激光雷达装置到惯性导航装置的旋转量和平移量等也是可以获得的。这样，在同一时刻，相机坐标系、激光雷达坐标系以及惯性导航坐标系之间则可以根据三个系统之间的位置关系进行相互转换。
进一步，惯性导航装置在不同时刻采集的惯性导航参数，可以反映惯性导航装置在不同时刻产生的空间位移。由于惯性导航装置与激光雷达装置的相对位置关系固定不变，惯性导航装置在不同时刻产生的空间位移即激光雷达装置在相应的时刻产生的空间位移。激光雷达装置在不同时刻的空间位移已知，则表示激光雷达坐标系在不同时刻的相对位置关系已知，将不同时刻的采集的激光点云数据根据不同时刻的激光雷达坐标系的相对位置关系进行转换，即可由一个时刻的激光点云数据得到其他不同时刻的激光点云数据。
例如，例如，在t1时刻，惯性导航参数为(R1，T1)，R1表示t1时刻惯性导航装置相对于初始时刻的旋转量，T1表示t1时刻惯性导航装置相对于初始时刻的平移量。在t2时刻，惯性导航参数为(R2，T2)，R2表示t2时刻惯性导航装置相对于初始时刻的旋转量，T2表示t2时刻惯性导航装置相对于初始时刻的平移量。那么，惯性导航装置在t2时刻相对于t1时刻的空间位移可以表示为(R2-R1，T2-T1)。激光雷达装置在t2时刻相对于t1时刻的空间位移也可以表示为(R2-R1，T2-T1)，进一步，以激光雷达为原点的激光雷达坐标系在t2时刻相对于t1时刻的空间位移也可以表示为(R2-R1，T2-T1)。已知一个激光点(采集周围树上的某一点)在t1时刻激光雷达坐标系中坐标值，则可根据(R2-R1，T2-T1)将其转换至t2时刻的激光雷达坐标系中，得到该激光点在t2时刻的激光雷达坐标系中的坐标值。进而可以将各个激光点由t1时刻转换至t2时刻的激光雷达坐标系中。
在一些实施例中，根据载体在扫描时刻的旋转量与拍照时刻的旋转量的差值，确定各激光点在扫描时刻相对于拍照时刻的旋转矩阵；根据载体在扫描时刻的平移矩阵与拍照时刻的平移量的差值，确定各激光点在扫描时刻相对于拍照时刻的平移矩阵；根据各激光点在扫描时刻相对于拍照时刻的旋转矩阵和平移矩阵，将各激光点在扫描时刻对应的坐标值转换为拍照时刻对应的坐标值。
载体在扫描时刻的旋转量与拍照时刻的旋转量的差值，即为激光雷达坐标系在扫描时刻的相对于拍照时刻的旋转量。载体在扫描时刻的平移量与拍照时刻的平移量的差值，即为激光雷达坐标系在扫描时刻的相对于拍照时刻的平移量。
假设存在两个不同的坐标系A、B，A相对于B绕坐标轴X，Y，Z的旋转量R＝(α,β,γ)，平移量T＝(tx,ty,tz)。根据旋转量R可以得到旋转矩阵 根据平移量T可以得到平移矩阵(tx,ty,tz,1)T。
进一步，对于A坐标系下的点(x,y,z),其在B坐标下的坐标为(x′,y′,z′)可以根据以下公式进行转换。
(x′,y′,z′,1)＝RγRβRα(x,y,z,1)+(tx,ty,tz,1)T (1)
扫描时刻的激光雷达坐标系可以看作坐标系A，拍照时刻的激光雷达坐标系可以看作坐标系B，通过上述公式(1)，已知扫描时刻的激光雷达坐标系中激光点的坐标，将扫描时刻激光点的坐标值与旋转矩阵的乘积再加上平移矩阵的和，则可以得到拍照时刻的激光雷达坐标系中激光点的坐标，即得到了拍照时刻对应的激光点云数据。
在步骤S108中，将拍照时刻对应的激光点云数据与拍照时刻的相机图像进行融合。
将拍照时刻对应的激光点云数据与拍照时刻的相机图像进行融合，即将拍照时刻对应的激光点云数据在拍照时刻的相机图像中的像素进行对应，也就需要将激光点的坐标值由激光雷达坐标系转换到相机坐标系中。进一步，由于相机图像为二维图像，激光点云数据为三维数据，需要参考相机内部参数进行调整。
在一些实施例中，根据激光雷达坐标系相对于相机坐标系的旋转量和平移量，以及相机的内部参数，将拍照时刻对应的激光点云数据在拍照时刻的相机图像中的像素进行对应。激光点在激光雷达坐标系中的坐标(x,y,z)可以根据以下公式转换到相机坐标系中。
其中，(u,v)表示激光点在相机坐标系中坐标值，K表示3行3列的相机内参矩阵，相机内参矩阵K中的元素包括焦距、主点、畸变等成像参数，r11～r33表示旋转矩阵R中的元素，R＝Rγ*Rβ*Rα，tx、ty、tz表示平移矩阵T中的元素，数值1的作用是使公式(2)齐次。
上述实施例中，在采集相机图像和采集激光点云数据的同时还采集惯性导航参数，根据拍照时刻和扫描时刻的惯性导航参数，将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据，这样使得激光点云数据对应的时刻与相机图像对应的时刻较为精准的统一为同一时刻，进而将激光点云数据和相机图像进行融合，则可以提高激光点云数据与相机图像融合的准确率，进一步提高移动机器人的环境感知能力。
根据本公开的方案还能够实现激光点云数据与相机图像的稠密对应。在一些实施例中，扫描时刻包括至少一个与拍照时刻的时间差在预设范围内的时刻。即可以将多个扫描时刻采集的激光点云数据对应到同一张相机图像中。这样做可以解决每次采集的激光点云数据较少，使得相机图像中像素没有直接对应的点云数据，存在对应缺失的问题，进一步提高激光点云数据与相机图像融合的准确率，提高移动机器人的环境感知能力。
下面结合图3描述本公开数据处理方法的另一些实施例。
图3为本公开数据处理方法另一些实施例的流程图。如图3所示，该实施例的方法包括：步骤S302～S310。
在步骤S302中，确定采集相机图像Pn对应的拍照时刻tn和拍照时刻tn采集的惯性导航参数(Rn，Tn)。
Rn表示tn时刻惯性导航装置相对于初始时刻的旋转量，Tn表示tn时刻惯性导航装置相对于初始时刻的平移量。
在步骤S304中，确定与拍照时刻的时间差在预设范围内的多个扫描时刻采集的激光点云数据和惯性导航参数。
例如，多个扫描时刻采集的激光点云数据和惯性导航参数包括：扫描时刻tm采集的激光点云数据和惯性导航参数(Rm，Tm)，扫描时刻tl采集的激光点云数据和惯性导航参数(Rl，Tl)，扫描时刻tk采集的激光点云数据和惯性导航参数(Rk，Tk)……这种情况下，要求激光点云数据的采集频率高于惯性导航参数采集频率。
在步骤S306中，根据拍照时刻tn和扫描时刻采集的惯性导航参数，确定各激光点在扫描时刻相对于在拍照时刻tn的空间位移。
可以参考步骤S106中的实施例。
在步骤S308中，根据空间位移，将多个扫描时刻采集的激光点云数据转换为拍照时刻tn对应的激光点云数据，以生成拍照时刻tn的稠密激光点云数据。
可以参考步骤S106中的实施例。
在步骤S310中，将拍照时刻tn对应的稠密激光点云数据在拍照时刻tn的相机图像中的像素进行对应。
可以参考步骤S108中的实施例。
上述实施例的方法，一方面可以将不同时刻采集的激光点云数据与相机图像进行时间同步，提高激光点云数据与相机图像融合的准确率；另一方面还可以实现激光点云数据与相机图像的稠密对应，进一步提高激光点云数据与相机图像融合的准确率，提高移动机器人的环境感知能力。
本公开还提供一种数据处理装置，下面结合图4进行描述。
图4为本公开数据处理装置的一些实施例的结构图。如图4所示，该实施例的装置40包括：第一数据获取模块402，第二数据获取模块404，点云数据调整模块406，数据融合模块408。
第一数据获取模块402，用于获取拍照时刻采集的相机图像和惯性导航参数。
第二数据获取模块404，用于获取扫描时刻采集的激光点云数据和惯性导航参数。
在一些实施例中，扫描时刻包括至少一个与拍照时刻的时间差在预设范围内的时刻。
点云数据调整模块406，用于根据拍照时刻和扫描时刻采集的惯性导航参数，将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据。
在一些实施例中，点云数据调整模块406用于根据拍照时刻和扫描时刻采集的惯性导航参数，确定各激光点在扫描时刻相对于在拍照时刻的空间位移；根据空间位移，将扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据。
进一步，惯性导航参数包括载体的旋转量和平移量；点云数据调整模块406用于根据载体在扫描时刻的旋转量与拍照时刻的旋转量的差值，确定各激光点在扫描时刻相对于拍照时刻的旋转矩阵；根据载体在扫描时刻的平移矩阵与拍照时刻的平移量的差值，确定各激光点在扫描时刻相对于拍照时刻的平移矩阵；根据各激光点在扫描时刻相对于拍照时刻的旋转矩阵和平移矩阵，将各激光点在扫描时刻对应的坐标值转换为拍照时刻对应的坐标值。
进一步，点云数据调整模块406用于将扫描时刻激光点的坐标值与旋转矩阵的乘积再加上平移矩阵的和，作为激光点在拍照时刻对应的坐标值。可参考公式(1)相对应的实施例。
数据融合模块408，用于将拍照时刻对应的激光点云数据与拍照时刻的相机图像进行融合。
在一些实施例中，数据融合模块408用于根据激光雷达坐标系相对于相机坐标系的旋转量和平移量，以及相机的内部参数，将拍照时刻对应的激光点云数据在拍照时刻的相机图像中的像素进行对应。
在一些实施例中，惯性导航参数是惯性导航装置以第一频率采集的；激光点云数据是激光雷达装置以第二频率采集的；相机图像是相机装置以第三频率采集的；其中，第一频率大于第二频率大于第三频率。
本公开的实施例中的数据处理装置可各由各种计算设备或计算机系统来实现，下面结合图5以及图6进行描述。
图5为本公开数据处理装置的一些实施例的结构图。如图5所示，该实施例的装置50包括：存储器510以及耦接至该存储器510的处理器520，处理器520被配置为基于存储在存储器510中的指令，执行本公开中任意一些实施例中的数据处理方法。
其中，存储器510例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
图6为本公开数据处理装置的另一些实施例的结构图。如图6所示，该实施例的装置60包括：存储器610以及处理器620，分别与存储器510以及处理器520类似。还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630，640，650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口，例如可以连接到数据库服务器或者云端存储服务器等。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本公开还提供一种数据处理系统，下面结合图7进行描述。
图7为本公开数据处理系统的一些实施例的结构图。如图7所示，该实施例的装置7包括前述任意实施例中的数据处理装置40、50或60；以及惯性导航装置72，用于采集惯性导航参数；激光雷达装置74，用于采集激光点云数据；相机装置76，用于采集相机图像。
在一些实施例中，惯性导航装置72用于以第一频率采集惯性导航参数；激光雷达装置74用于以第二频率采集激光点云数据；相机装置76用于以第三频率采集相机图像；其中，第一频率大于第二频率大于第三频率。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是拍照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (18)

1.一种数据处理方法，包括：
获取拍照时刻采集的相机图像和惯性导航参数；
获取扫描时刻采集的激光点云数据和惯性导航参数；
根据所述拍照时刻和所述扫描时刻采集的惯性导航参数，将所述扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据；
将所述拍照时刻对应的激光点云数据与所述拍照时刻的相机图像进行融合。
2.根据权利要求1所述的数据处理方法，其中，所述将所述扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据包括：
根据所述拍照时刻和所述扫描时刻采集的惯性导航参数，确定各激光点在所述扫描时刻相对于在所述拍照时刻的空间位移；
根据所述空间位移，将所述扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据。
3.根据权利要求2所述的数据处理方法，其中，
所述惯性导航参数包括载体的旋转量和平移量；
所述将所述扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据包括：
根据所述载体在扫描时刻的旋转量与所述拍照时刻的旋转量的差值，确定各激光点在所述扫描时刻相对于所述拍照时刻的旋转矩阵；
根据所述载体在扫描时刻的平移矩阵与所述拍照时刻的平移量的差值，确定各激光点在所述扫描时刻相对于所述拍照时刻的平移矩阵；
根据各激光点在所述扫描时刻相对于所述拍照时刻的旋转矩阵和平移矩阵，将所述各激光点在扫描时刻对应的坐标值转换为拍照时刻对应的坐标值。
4.根据权利要求3所述的数据处理方法，其中，将所述各激光点在扫描时刻对应的坐标值转换为拍照时刻对应的坐标值包括：
将扫描时刻激光点的坐标值与所述旋转矩阵的乘积再加上平移矩阵的和，作为所述激光点在拍照时刻对应的坐标值。
5.根据权利要求1所述的数据处理方法，其中，所述将所述拍照时刻对应的激光点云数据与所述拍照时刻的相机图像进行融合包括：
根据激光雷达坐标系相对于相机坐标系的旋转量和平移量，以及相机的内部参数，将所述拍照时刻对应的激光点云数据在所述拍照时刻的相机图像中的像素进行对应。
6.根据权利要求1所述的数据处理方法，其中，
所述惯性导航参数是惯性导航装置以第一频率采集的；
所述激光点云数据是激光雷达装置以第二频率采集的；
所述相机图像是相机装置以第三频率采集的；
其中，第一频率大于第二频率大于第三频率。
7.根据权利要求1-6任一项所述的数据处理方法，其中，
所述扫描时刻包括至少一个与所述拍照时刻的时间差在预设范围内的时刻。
8.一种数据处理装置，包括：
第一数据获取模块，用于获取拍照时刻采集的相机图像和惯性导航参数；
第二数据获取模块，用于获取扫描时刻采集的激光点云数据和惯性导航参数；
点云数据调整模块，用于根据所述拍照时刻和所述扫描时刻采集的惯性导航参数，将所述扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据；
数据融合模块，用于将所述拍照时刻对应的激光点云数据与所述拍照时刻的相机图像进行融合。
9.根据权利要求8所述的数据处理装置，其中，
所述点云数据调整模块用于根据所述拍照时刻和所述扫描时刻采集的惯性导航参数，确定各激光点在所述扫描时刻相对于在所述拍照时刻的空间位移；根据所述空间位移，将所述扫描时刻采集的激光点云数据转换为拍照时刻对应的激光点云数据。
10.根据权利要求9所述的数据处理装置，其中，
所述惯性导航参数包括载体的旋转量和平移量；
所述点云数据调整模块用于根据所述载体在扫描时刻的旋转量与所述拍照时刻的旋转量的差值，确定各激光点在所述扫描时刻相对于所述拍照时刻的旋转矩阵；根据所述载体在扫描时刻的平移矩阵与所述拍照时刻的平移量的差值，确定各激光点在所述扫描时刻相对于所述拍照时刻的平移矩阵；根据各激光点在所述扫描时刻相对于所述拍照时刻的旋转矩阵和平移矩阵，将所述各激光点在扫描时刻对应的坐标值转换为拍照时刻对应的坐标值。
11.根据权利要求10所述的数据处理装置，其中，
所述点云数据调整模块用于将扫描时刻激光点的坐标值与所述旋转矩阵的乘积再加上平移矩阵的和，作为所述激光点在拍照时刻对应的坐标值。
12.根据权利要求8所述的数据处理装置，其中，
所述数据融合模块用于根据激光雷达坐标系相对于相机坐标系的旋转量和平移量，以及相机的内部参数，将所述拍照时刻对应的激光点云数据在所述拍照时刻的相机图像中的像素进行对应。
13.根据权利要求8所述的数据处理装置，其中，
所述惯性导航参数是惯性导航装置以第一频率采集的；
所述激光点云数据是激光雷达装置以第二频率采集的；
所述相机图像是相机装置以第三频率采集的；
其中，第一频率大于第二频率大于第三频率。
14.根据权利要求8-13任一项所述的数据处理装置，其中，
所述扫描时刻包括至少一个与所述拍照时刻的时间差在预设范围内的时刻。
15.一种数据处理装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器设备中的指令，执行如权利要求1-7任一项所述的数据处理方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
17.一种数据处理系统，包括：权利要求8-14任一项所述的数据处理装置；以及
惯性导航装置，用于采集惯性导航参数；
激光雷达装置，用于采集激光点云数据；
相机装置，用于采集相机图像。
18.根据权利要求17所述的数据处理系统，其中，
所述惯性导航装置用于以第一频率采集所述惯性导航参数；
所述激光雷达装置用于以第二频率采集所述激光点云数据；
所述相机装置用于以第三频率采集所述相机图像；
其中，第一频率大于第二频率大于第三频率。
CN201810487451.0A 2018-05-21 2018-05-21 数据处理方法、装置、系统以及计算机可读存储介质 Active CN110517209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810487451.0A CN110517209B (zh) 2018-05-21 2018-05-21 数据处理方法、装置、系统以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810487451.0A CN110517209B (zh) 2018-05-21 2018-05-21 数据处理方法、装置、系统以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110517209A true CN110517209A (zh) 2019-11-29
CN110517209B CN110517209B (zh) 2022-04-26

Family

ID=68621972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810487451.0A Active CN110517209B (zh) 2018-05-21 2018-05-21 数据处理方法、装置、系统以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110517209B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223048A (zh) * 2019-12-27 2020-06-02 中铭谷智能机器人(广东)有限公司 一种3d视觉点云数据拼接的方法及其系统
CN112787740A (zh) * 2020-12-26 2021-05-11 武汉光庭信息技术股份有限公司 一种多传感器时间同步装置及方法
CN112907540A (zh) * 2021-02-22 2021-06-04 浙江大华技术股份有限公司 一种拼接异常检测方法、装置、设备及介质
CN113362467A (zh) * 2021-06-08 2021-09-07 武汉理工大学 一种基于点云预处理和ShuffleNet的移动端三维位姿估计方法
CN114627235A (zh) * 2022-03-07 2022-06-14 清华大学深圳国际研究生院 一种应用于自动驾驶车辆的动态点云染色方法及系统
WO2023060631A1 (zh) * 2021-10-14 2023-04-20 重庆数字城市科技有限公司 一种激光点云数据实时处理系统和方法
WO2023103198A1 (zh) * 2021-12-08 2023-06-15 深圳奥锐达科技有限公司 一种计算测距系统相对外参的方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177190A1 (en) * 2008-12-16 2010-07-15 Ann-Shyn Chiang Microscopy system with revolvable stage
CN104142157A (zh) * 2013-05-06 2014-11-12 北京四维图新科技股份有限公司 一种标定方法、装置及设备
US20170039436A1 (en) * 2015-08-03 2017-02-09 Nokia Technologies Oy Fusion of RGB Images and Lidar Data for Lane Classification
CN107807365A (zh) * 2017-10-20 2018-03-16 国家林业局昆明勘察设计院 用于低空无人航空器的轻小型数字摄影三维激光扫描装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177190A1 (en) * 2008-12-16 2010-07-15 Ann-Shyn Chiang Microscopy system with revolvable stage
CN104142157A (zh) * 2013-05-06 2014-11-12 北京四维图新科技股份有限公司 一种标定方法、装置及设备
US20170039436A1 (en) * 2015-08-03 2017-02-09 Nokia Technologies Oy Fusion of RGB Images and Lidar Data for Lane Classification
CN107807365A (zh) * 2017-10-20 2018-03-16 国家林业局昆明勘察设计院 用于低空无人航空器的轻小型数字摄影三维激光扫描装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
W.D. BLAIR ETAL.: "Asynchronous Data Fusion For Target Tracking With A Multi-Tasking Radar And Optical Sensor", 《SPIE VOL.1482 ACQUISITION,TRACKING,AND POINTING V》 *
张靖等: "激光点云与光学影像配准：现状与趋势", 《地球信息科学学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223048A (zh) * 2019-12-27 2020-06-02 中铭谷智能机器人(广东)有限公司 一种3d视觉点云数据拼接的方法及其系统
CN111223048B (zh) * 2019-12-27 2023-09-12 中铭谷智能机器人(广东)有限公司 一种3d视觉点云数据拼接的方法及其系统
CN112787740A (zh) * 2020-12-26 2021-05-11 武汉光庭信息技术股份有限公司 一种多传感器时间同步装置及方法
CN112907540A (zh) * 2021-02-22 2021-06-04 浙江大华技术股份有限公司 一种拼接异常检测方法、装置、设备及介质
CN112907540B (zh) * 2021-02-22 2024-05-14 浙江大华技术股份有限公司 一种拼接异常检测方法、装置、设备及介质
CN113362467A (zh) * 2021-06-08 2021-09-07 武汉理工大学 一种基于点云预处理和ShuffleNet的移动端三维位姿估计方法
CN113362467B (zh) * 2021-06-08 2023-04-07 武汉理工大学 基于点云预处理和ShuffleNet的移动端三维位姿估计方法
WO2023060631A1 (zh) * 2021-10-14 2023-04-20 重庆数字城市科技有限公司 一种激光点云数据实时处理系统和方法
WO2023103198A1 (zh) * 2021-12-08 2023-06-15 深圳奥锐达科技有限公司 一种计算测距系统相对外参的方法、装置和存储介质
CN114627235A (zh) * 2022-03-07 2022-06-14 清华大学深圳国际研究生院 一种应用于自动驾驶车辆的动态点云染色方法及系统
CN114627235B (zh) * 2022-03-07 2024-08-23 清华大学深圳国际研究生院 一种应用于自动驾驶车辆的动态点云染色方法及系统

Also Published As

Publication number Publication date
CN110517209B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN110517209A (zh) 数据处理方法、装置、系统以及计算机可读存储介质
US11704833B2 (en) Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium
AU2011312140C1 (en) Rapid 3D modeling
CN104330074B (zh) 一种智能测绘平台及其实现方法
AU2008322565B9 (en) Method and apparatus of taking aerial surveys
US11557083B2 (en) Photography-based 3D modeling system and method, and automatic 3D modeling apparatus and method
CN108629831B (zh) 基于参数化人体模板和惯性测量的三维人体重建方法及系统
CN1959343B (zh) 机载多角度成像测高技术
RU2741443C1 (ru) Способ и устройство для планирования точек выборки для съёмки и картографирования, терминал управления и носитель для хранения данных
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
CN110390719A (zh) 基于飞行时间点云重建设备
US10063792B1 (en) Formatting stitched panoramic frames for transmission
US20210374978A1 (en) Capturing environmental scans using anchor objects for registration
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
CN103679693A (zh) 一种多相机单视图标定装置及其标定方法
CN110232707A (zh) 一种测距方法及装置
CN1825203A (zh) 机载倾斜相机摄影装置
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
CN107941167B (zh) 一种基于无人机载具和结构光扫描技术的空间扫描系统及其工作方法
CN115240140A (zh) 基于图像识别的设备安装进度监控方法及系统
CN107517366A (zh) 基于rgbd的投影机画面信息自动测量方法
US20240112406A1 (en) Bar arrangement inspection result display system
Grzeszczuk et al. Creating compact architectural models by geo-registering image collections
JP5075659B2 (ja) 物体軌道演算装置及びそのプログラム
CN104567812A (zh) 空间位置测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant