CN114549750A - 多模态场景信息采集与重建方法及系统 - Google Patents
多模态场景信息采集与重建方法及系统 Download PDFInfo
- Publication number
- CN114549750A CN114549750A CN202210141601.9A CN202210141601A CN114549750A CN 114549750 A CN114549750 A CN 114549750A CN 202210141601 A CN202210141601 A CN 202210141601A CN 114549750 A CN114549750 A CN 114549750A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- scene
- reconstruction
- information
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 239000011159 matrix material Substances 0.000 claims description 58
- 238000013519 translation Methods 0.000 claims description 29
- 230000001133 acceleration Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010034719 Personality change Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000003642 reactive oxygen metabolite Substances 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种多模态场景信息采集与重建方法及系统，其中，方法包括：利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于可移动装置上的至少一个传感器；对至少一个多模态场景信息进行整合，生成原始数据集；利用原始数据集进行场景的点云重建，并获取任一场景的点云数据。由此，解决了相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求等问题。
Description
技术领域
本申请涉及三维重建技术领域，特别涉及一种多模态场景信息采集与重建方法及系统。
背景技术
人类通过双眼探索并发现世界，随着计算机技术的不断更新，计算机视觉这种给计算机添加“眼睛”与“大脑”的方向越来越热门，可以使计算机独立自主地感知世界。感知设备的不断刷新，让人们不再满足于采集场景下的单一信息，而是尽可能多角度、多维度地对现实世界中的场景进行数据采集与记录，并利用采集到的数据对真实场景进行多模态的还原。因此，如何将多模态的数据更好的关联起来，将多模态数据融合在一起变得非常重要。
然而，相关技术主要利用单一的设备进行场景的数据采集，利用单一的数据形式进行场景的重建，比如使用相机进行视觉上的重建，使用激光雷达进行点云上的重建。
相关技术的不足在于：单一使用相机进行重建时，重建结果的精度不高；单一使用激光雷达进行重建时，重建结果的信息丰富度以及视距有限。
综上，相关技术有待改善。
申请内容
本申请提供一种多模态场景信息采集与重建方法及系统，以解决相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求等问题。
本申请第一方面实施例提供一种多模态场景信息采集与重建方法，包括以下步骤：利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于所述可移动装置上的至少一个传感器；对所述至少一个多模态场景信息进行整合，生成原始数据集；以及利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据。
可选地，在本申请的一个实施例中，所述至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或GPS(Global Positioning System，全球定位系统)。
可选地，在本申请的一个实施例中，所述对所述至少一个多模态场景信息进行整合，生成原始数据集，包括：利用所述激光雷达、全景相机、惯性里程计和GPS分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息；由所述激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息得到所述原始数据集。
可选地，在本申请的一个实施例中，所述利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据，包括：播放所述原始数据集，得到实时点云重建结果，并在重建结束后，获取整个场景点云数据；基于所述整个场景点云数据获取多模态场景数据集，并根据所述多模态场景数据集得到任一场景的点云数据。
可选地，在本申请的一个实施例中，在对所述至少一个多模态场景信息进行整合之前，还包括：确定至少一个传感器之间的平移与旋转矩阵，以基于所述至少一个传感器之间的平移与旋转矩阵进行整合。
本申请第二方面实施例提供一种多模态场景信息采集与重建系统，包括：采集模块，用于利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于所述可移动装置上的至少一个传感器；生成模块，用于对所述至少一个多模态场景信息进行整合，生成原始数据集；以及重建模块，用于利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据。
可选地，在本申请的一个实施例中，所述至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或全球定位系统GPS。
可选地，在本申请的一个实施例中，所述生成模块，包括：第一获取单元，用于利用所述激光雷达、全景相机、惯性里程计和GPS分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息；第二获取单元，用于由所述激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息得到所述原始数据集。
可选地，在本申请的一个实施例中，所述重建模块，包括：播放单元，用于播放所述原始数据集，得到实时点云重建结果，并在重建结束后，获取整个场景点云数据；第三获取单元，用于基于所述整个场景点云数据获取多模态场景数据集，并根据所述多模态场景数据集得到任一场景的点云数据。
可选地，在本申请的一个实施例中，多模态场景信息采集与重建系统，还包括：整合模块，用于确定至少一个传感器之间的平移与旋转矩阵，以基于所述至少一个传感器之间的平移与旋转矩阵进行整合。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的多模态场景信息采集与重建方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的多模态场景信息采集与重建方法。
本申请实施例可以将采集到的多模态场景信息进行整合，并进行场景的点云重建，进而获取任一场景的点云数据，进而实现多模态场景信息重建的高精度和信息丰富度。由此，解决了相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求等问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种多模态场景信息采集与重建方法的流程图；
图2为根据本申请一个实施例的多模态场景信息采集与重建方法的刚性连接结构图；
图3为根据本申请一个实施例的多模态场景信息采集与重建方法的相对外参和相对内参的转换矩阵图；
图4为根据本申请一个实施例的多模态场景信息采集与重建方法的重建流程图；
图5为根据本申请一个实施例的多模态场景信息采集与重建方法的重建结果示意图；
图6为根据本申请一个实施例的多模态场景信息采集与重建方法的流程图；
图7为根据本申请实施例提供的一种多模态场景信息采集与重建系统的结构示意图；
图8为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的多模态场景信息采集与重建方法及系统。针对上述背景技术中心提到的相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求的问题，本申请提供了一种多模态场景信息采集与重建方法，在该方法中，可以将采集到的多模态场景信息进行整合，并进行场景的点云重建，进而获取任一场景的点云数据，进而实现多模态场景信息重建的高精度和信息丰富度。由此，解决了相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求等问题。
具体而言，图1为本申请实施例所提供的一种多模态场景信息采集与重建方法的流程示意图。
如图1所示，该多模态场景信息采集与重建方法包括以下步骤：
在步骤S101中，利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于可移动装置上的至少一个传感器。
在实际执行过程中，本申请实施例可以通过至少一个采集设备，采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于可移动装置上的至少一个传感器，可移动装置可以是移动机器人，本申请实施例可以通过ROS(Robot OperatingSystem，机器人操作系统)实现对移动机器人的运动编程。本申请实施例在采集设备中包括多个传感器时，为了保证采集过程中多个传感器坐标系不会发生相对位移，本申请实施例可以将多个传感器通过刚性连接，并将构成的刚性结构与可移动装置进行刚性连接。本申请实施例通过传感器搭配可移动装置，可以提高对多模态场景信息的采集精度。
需要注意的是，根据所需采集信息不同，采集设备的数量及采集设备上传感器的数量，可以由本领域技术人员根据实际情况进行设定，在此不做具体限制。
可选地，在本申请的一个实施例中，至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或全球定位系统GPS。
举例而言，本申请实施例中的传感器可以包括时序同步的激光雷达、全景相机、惯性里程计和/或全球定位系统GPS，且为保证采集过程中相机主坐标系、雷达主坐标系等坐标系在采集流程中不会发生相对位移，因此在传感器数量不唯一时，本申请实施例可以将全景相机、激光雷达、惯性里程计和/或全球定位系统GPS通过刚性连接，其具体连接方式如图2所示。本申请实施例可以将上述传感器接入平台搭载的同一计算机内，更便于进行后续多模态场景信息重建。
在步骤S102中，对至少一个多模态场景信息进行整合，生成原始数据集。
进一步地，本申请实施例可以对上述步骤中获取的至少一个多模态场景信息进行整合，进而生成原始数据集，在实际执行过程中，本申请实施例可以将至少一个传感器连接至同一计算机中，便于对获取的至少一个多模态场景信息进行整合，进而生成原始数据集。本申请实施例可以通过整合至少一个多模态场景信息，为后续进行场景的点云重建，进而获取任一场景的点云数据奠定基础，有利于实现多模态场景信息重建的高精度和信息丰富度。
可选地，在本申请的一个实施例中，对至少一个多模态场景信息进行整合，生成原始数据集，包括：利用激光雷达、全景相机、惯性里程计和GPS分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息；由激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息得到原始数据集。
作为一种可能实现的方式，本申请实施例可以利用激光雷达、全景相机、惯性里程计和GPS分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息，并通过获取的信息得到原始数据集，为后续进行场景的点云重建，进而获取任一场景的点云数据奠定基础，有利于实现多模态场景信息重建的高精度和信息丰富度。
可选地，在本申请的一个实施例中，在对至少一个多模态场景信息进行整合之前，还包括：确定至少一个传感器之间的平移与旋转矩阵，以基于至少一个传感器之间的平移与旋转矩阵进行整合。
具体地，本申请实施例可以将惯性里程计与激光雷达连接到同一计算机中；启动惯性里程计与激光雷达在ROS下的驱动，开始录制惯性里程计与激光雷达点云信息；移动雷达，使其在朝着某一直线方向移动的同时可以绕XYZ三轴分别旋转；整理录制的数据，使其在一个rosbag数据包内，启动惯性里程计与雷达标定驱动，播放上述数据包；等待处理结束，记录二者标定结果，惯性里程计到雷达的旋转矩阵Rimu2velo与平移矩阵Trimu2velo。
在标定过程中，使用到的原理如下所示：
在原始数据里，雷达的数据是以雷达自身为原点的三维坐标系下的点云数据，而惯性里程计的数据同样是以自身为原点的三维坐标系下的数据，进而可能导致惯性里程计的位姿相关的数据与雷达需要一个校准与标定。标定的方法包括离线标定和在线标定，其中，离线标定是利用工具箱通过对标定板的识别来标定，在线标定是通过直接播放数据集来采集相关数据进行标定，本申请实施例可以选用在线标定的方法。
根据旋转矩阵性质可得：
由于
所以有：
将
移到等式左边有：
根据两四元素的乘法可以转换成矩阵与四元素的乘法这个原理，转换方法如下：
q＝[qw qv]，
其中，Q+，Q-分别称作左乘、右乘矩阵。
根据上面的性质，可以将第三条公式写成如下形式：
合并同类项可得：
假设有n组测量数据用于外参标定，可以建立如下方程组：
写成矩阵形式：
上方公式为齐次线性方程组，可以通过SVD方法求解：该方法首先对A4n×4进行SVD分解，然后取最小奇异值对应的特征向量作为
的最终结果。
基于此原理，可以得到雷达与惯性里程计的相对外参矩阵旋转矩阵Rimu2velo与平移矩阵Trimu2velo。
进一步地，本申请实施例可以移动、调整移动机器人方向与位置，录制含有全景相机中某一个镜头的照片、激光雷达点云信息的数据包，利用该数据集对激光雷达主坐标系以及该全景相机的单个相机的主坐标系进行标定，计算出二者坐标系的平移与旋转矩阵，并利用该结果与全景相机出厂内参文件计算出激光雷达主坐标系与全景相机主坐标系的旋转与平移矩阵。
具体地，本申请实施例可以挑选全景相机六个单目中的某一个相机为标定主体，调整移动平台的位姿保证该相机录制的画面不被遮挡；修改全景相机在ROS下的驱动，使其可以发布选定好的单目相机的录制的画面；启动全景相机、激光雷达的ROS下的驱动，分别发布选定好的单目所录制的image类型的topic以及激光雷达录制的pointcloud类型的topic；在相机视野、雷达视野内，摆放二者联合标定所需求的标定板，录制含有上述两种topic的rosbag数据包；启动相机与雷达联合标定的ROS下驱动，播放上述rosbag数据包，进行标定，获得该单目相机主坐标系与雷达主坐标系变换的旋转矩阵Rvelo2cam*与平移矩阵Trvelo2cam*；
具体矩阵描述如图3示，同样的，二者的坐标转换可以用公式表示：
其中，K是由内在参数定义的相机内参矩阵，分别有焦距、光学中心(也称主点)和偏斜系数：
由此，本申请实施例可以通过多个目标点的坐标进行向量运算得到标定结果，具体流程如下：
1、本申请实施例可以在获得相机内参的矩阵K后，就可以利用矩阵K标定外参。
2、本申请实施例采集的外参数据需要涵盖水平移动以及垂直方向的移动。此时可以想象一个九宫格，将棋盘分别至于九宫格的九个部分，作为九个计算数据，来计算出R与t。具体的标定流程为：通过视图检索棋盘的中心圆形区域，再通过手动标注同一帧下雷达扫描出棋盘点云中心的点云部分，利用九帧以上的不同水平、垂直位置的数据联合进行计算，求解两个变换矩阵。
本申请实施例可以从全景相机出场文件中摘取其中每个单目相机到全景相机主坐标系的旋转矩阵与平移矩阵，分别为R0、R1、R2、R3、R4、R5以及Tr0、Tr1、Tr2、Tr3、Tr4、Tr5；利用上述矩阵，计算出激光雷达主坐标系到全景相机主坐标系的旋转矩阵Rvelo2cam与平移矩阵Trvelo2cam。
进一步地，本申请实施例录制在ROS平台下发布的上述四种传感器的topic信息，包括激光雷达点云、全景相机全景图片、全景相机参数、惯性里程计记录的加速度与位姿信息、GPS记录的位置信息，并将上述topic信息统一录制在同一rosbag数据集中。
具体地，本申请实施例可以调整全景相机的ROS下的驱动，使其可以发布录制的全景图片，启动GPS、惯性里程计、全景相机、激光雷达在ROS下的驱动，分别发布位置信息topic、运动与位姿信息topic、全景图片topic，点云信息topioc；录制上述所有topic到同一个rosbag数据包内。
在步骤S103中，利用原始数据集进行场景的点云重建，并获取任一场景的点云数据。
在实际执行过程中，本申请实施例可以利用上述步骤中获取的原始数据集进行场景的点云重建，并获取任一场景的点云数据，本申请实施例可以将采集到的多模态场景信息进行整合，并进行场景的点云重建，进而获取任一场景的点云数据，进而实现多模态场景信息重建的高精度和信息丰富度。
可选地，在本申请的一个实施例中，利用原始数据集进行场景的点云重建，并获取任一场景的点云数据，包括：播放原始数据集，得到实时点云重建结果，并在重建结束后，获取整个场景点云数据；基于整个场景点云数据获取多模态场景数据集，并根据多模态场景数据集得到任一场景的点云数据。
具体地，本申请实施例可以利用录制好的包括上述信息的数据集进行场景重建，启动重建相关ROS平台下的驱动，监听上述信息；播放录制好的数据包，即可以看到实时点云重建结果，等待重建结束后便可以得到整个场景点云数据，与相机信息、GPS信息进行拟合，得到多模态场景数据集。
其具体重建流程如图4所示，具体重建结果如图5所示。
下面结合图2至图6对本申请的一个具体实施例的多模态场景信息采集与重建方法进行详细阐述。
如图6所示，本申请实施例包括以下步骤：
步骤S601：将采集设备中的传感器元件进行刚性连接。为保证采集过程中相机主坐标系、雷达主坐标系等坐标系在采集流程中不会发生相对位移，因此，本申请实施例可以将全景相机、激光雷达、惯性里程计、GPS通过刚性连接，并将激光雷达、全景相机、惯性里程计、GPS等传感器组成的刚性结构与移动机器人平台通过刚性连接，并将全部传感器接入平台搭载的同一计算机内，其中，平台可以是ROS平台，其具体连接方式如图2所示。
步骤S602：获取激光雷达和惯性里程计坐标系的平移与旋转矩阵。本申请实施例中，手持激光雷达与惯性里程计的刚性连接结构着重进行绕XYZ三个轴旋转的移动，录制含有激光雷达点云信息以及惯性里程计信息的数据包，利用该数据集对激光雷达主坐标系以及惯性里程计主坐标系进行标定，计算出二者坐标系的平移与旋转矩阵。
具体地，本申请实施例可以将惯性里程计与激光雷达连接到同一计算机中；启动惯性里程计与激光雷达在ROS下的驱动，开始录制惯性里程计与激光雷达点云信息；移动雷达，使其在朝着某一直线方向移动的同时可以绕XYZ三轴分别旋转；整理录制的数据，使其在一个rosbag数据包内，启动惯性里程计与雷达标定驱动，播放上述数据包；等待处理结束，记录二者标定结果，惯性里程计到雷达的旋转矩阵Rimu2velo与平移矩阵Trimu2velo。
在标定过程中，使用到的原理如下所示：
在原始数据里，雷达的数据是以雷达自身为原点的三维坐标系下的点云数据，而惯性里程计的数据同样是以自身为原点的三维坐标系下的数据，进而可能导致惯性里程计的位姿相关的数据与雷达需要一个校准与标定。标定的方法包括离线标定和在线标定，其中，离线标定是利用工具箱通过对标定板的识别来标定，在线标定是通过直接播放数据集来采集相关数据进行标定，本申请实施例可以选用在线标定的方法。
根据旋转矩阵性质可得：
由于
所以有：
将
移到等式左边有：
根据两四元素的乘法可以转换成矩阵与四元素的乘法这个原理，转换方法如下：
q＝[qw qv]，
其中，Q+，Q-分别称作左乘、右乘矩阵。
根据上面的性质，可以将第三条公式写成如下形式：
合并同类项可得：
假设有n组测量数据用于外参标定，可以建立如下方程组：
写成矩阵形式：
上方公式为齐次线性方程组，可以通过SVD方法求解：该方法首先对A4n×4进行SVD分解，然后取最小奇异值对应的特征向量作为
的最终结果。
基于此原理，可以得到雷达与惯性里程计的相对外参矩阵旋转矩阵Rimu2velo与平移矩阵Trimu2velo。
步骤S603：获取激光雷达主坐标系与全景相机主坐标系的旋转与平移矩阵。本申请实施例可以移动、调整移动机器人方向与位置，录制含有全景相机中某一个镜头的照片、激光雷达点云信息的数据包，利用该数据集对激光雷达主坐标系以及该全景相机的单个相机的主坐标系进行标定，计算出二者坐标系的平移与旋转矩阵，并利用该结果与全景相机出厂内参文件计算出激光雷达主坐标系与全景相机主坐标系的旋转与平移矩阵。
具体地，本申请实施例可以挑选全景相机六个单目中的某一个相机为标定主体，调整移动平台的位姿保证该相机录制的画面不被遮挡；修改全景相机在ROS下的驱动，使其可以发布选定好的单目相机的录制的画面；启动全景相机、激光雷达的ROS下的驱动，分别发布选定好的单目所录制的image类型的topic以及激光雷达录制的pointcloud类型的topic；在相机视野、雷达视野内，摆放二者联合标定所需求的标定板，录制含有上述两种topic的rosbag数据包；启动相机与雷达联合标定的ROS下驱动，播放上述rosbag数据包，进行标定，获得该单目相机主坐标系与雷达主坐标系变换的旋转矩阵Rvelo2cam*与平移矩阵Trvelo2cam*；
具体矩阵描述如图3示，同样的，二者的坐标转换可以用公式表示：
其中，K是由内在参数定义的相机内参矩阵，分别有焦距、光学中心(也称主点)和偏斜系数：
由此，本申请实施例可以通过多个目标点的坐标进行向量运算得到标定结果，具体流程如下：
1、本申请实施例可以在获得相机内参的矩阵K后，就可以利用矩阵K标定外参。
2、本申请实施例采集的外参数据需要涵盖水平移动以及垂直方向的移动。此时可以想象一个九宫格，将棋盘分别至于九宫格的九个部分，作为九个计算数据，来计算出R与t。具体的标定流程为：通过视图检索棋盘的中心圆形区域，再通过手动标注同一帧下雷达扫描出棋盘点云中心的点云部分，利用九帧以上的不同水平、垂直位置的数据联合进行计算，求解两个变换矩阵。
本申请实施例可以从全景相机出场文件中摘取其中每个单目相机到全景相机主坐标系的旋转矩阵与平移矩阵，分别为R0、R1、R2、R3、R4、R5以及Tr0、Tr1、Tr2、Tr3、Tr4、Tr5；利用上述矩阵，计算出激光雷达主坐标系到全景相机主坐标系的旋转矩阵Rvelo2cam与平移矩阵Trvelo2cam。
步骤S604：整合并生成数据集。本申请实施例录制在ROS平台下发布的上述四种传感器的topic信息，包括激光雷达点云、全景相机全景图片、全景相机参数、惯性里程计记录的加速度与位姿信息、GPS记录的位置信息，并将上述topic信息统一录制在同一rosbag数据集中。
具体地，本申请实施例可以调整全景相机的ROS下的驱动，使其可以发布录制的全景图片，启动GPS、惯性里程计、全景相机、激光雷达在ROS下的驱动，分别发布位置信息topic、运动与位姿信息topic、全景图片topic，点云信息topioc；录制上述所有topic到同一个rosbag数据包内。
步骤S605：进行点云重建，获得整个场景点云数据。具体地，本申请实施例可以利用录制好的包括上述信息的数据集进行场景重建，启动重建相关ROS平台下的驱动，监听上述信息；播放录制好的数据包，即可以看到实时点云重建结果，等待重建结束后便可以得到整个场景点云数据，与相机信息、GPS信息进行拟合，得到多模态场景数据集。
其具体重建流程如图4所示，具体重建结果如图5所示。
根据本申请实施例提出的多模态场景信息采集与重建方法，可以将采集到的多模态场景信息进行整合，并进行场景的点云重建，进而获取任一场景的点云数据，进而实现多模态场景信息重建的高精度和信息丰富度。由此，解决了相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求等问题。
其次参照附图描述根据本申请实施例提出的多模态场景信息采集与重建系统。
图7是本申请实施例的多模态场景信息采集与重建系统的方框示意图。
如图7所示，该多模态场景信息采集与重建系统10包括：采集模块100、生成模块200和重建模块300。
具体地，采集模块100，用于利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于可移动装置上的至少一个传感器。
生成模块200，用于对至少一个多模态场景信息进行整合，生成原始数据集。
重建模块300，用于利用原始数据集进行场景的点云重建，并获取任一场景的点云数据。
可选地，在本申请的一个实施例中，至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或全球定位系统GPS。
可选地，在本申请的一个实施例中，生成模块200包括：第一获取单元和第二获取单元。
其中，第一获取单元，用于利用激光雷达、全景相机、惯性里程计和GPS分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息。
第二获取单元，用于由激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息得到原始数据集。
可选地，在本申请的一个实施例中，重建模块300包括：播放单元和第三获取单元。
其中，播放单元，用于播放原始数据集，得到实时点云重建结果，并在重建结束后，获取整个场景点云数据。
第三获取单元，用于基于整个场景点云数据获取多模态场景数据集，并根据多模态场景数据集得到任一场景的点云数据。
可选地，在本申请的一个实施例中，多模态场景信息采集与重建系统10还包括：整合模块。
其中，整合模块，用于确定至少一个传感器之间的平移与旋转矩阵，以基于至少一个传感器之间的平移与旋转矩阵进行整合。
需要说明的是，前述对多模态场景信息采集与重建方法实施例的解释说明也适用于该实施例的多模态场景信息采集与重建系统，此处不再赘述。
根据本申请实施例提出的多模态场景信息采集与重建系统，可以将采集到的多模态场景信息进行整合，并进行场景的点云重建，进而获取任一场景的点云数据，进而实现多模态场景信息重建的高精度和信息丰富度。由此，解决了相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求等问题。
图8为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序。
处理器802执行程序时实现上述实施例中提供的多模态场景信息采集与重建方法。
进一步地，电子设备还包括：
通信接口803，用于存储器801和处理器802之间的通信。
存储器801，用于存放可在处理器802上运行的计算机程序。
存储器801可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器801、处理器802和通信接口803独立实现，则通信接口803、存储器801和处理器802可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器801、处理器802及通信接口803，集成在一块芯片上实现，则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。
处理器802可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的多模态场景信息采集与重建方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种多模态场景信息采集与重建方法，其特征在于，包括以下步骤：
利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于所述可移动装置上的至少一个传感器；
对所述至少一个多模态场景信息进行整合，生成原始数据集；以及
利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据。
2.根据权利要求1所述的方法，其特征在于，所述至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或全球定位系统GPS。
3.根据权利要求2所述的方法，其特征在于，所述对所述至少一个多模态场景信息进行整合，生成原始数据集，包括：
利用所述激光雷达、全景相机、惯性里程计和GPS分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息；
由所述激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息得到所述原始数据集。
4.根据权利要求1或3所述的方法，其特征在于，所述利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据，包括：
播放所述原始数据集，得到实时点云重建结果，并在重建结束后，获取整个场景点云数据；
基于所述整个场景点云数据获取多模态场景数据集，并根据所述多模态场景数据集得到任一场景的点云数据。
5.根据权利要求1-4任一项所述的方法，其特征在于，在对所述至少一个多模态场景信息进行整合之前，还包括：
确定至少一个传感器之间的平移与旋转矩阵，以基于所述至少一个传感器之间的平移与旋转矩阵进行整合。
6.一种多模态场景信息采集与重建系统，其特征在于，包括：
采集模块，用于利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于所述可移动装置上的至少一个传感器；
生成模块，用于对所述至少一个多模态场景信息进行整合，生成原始数据集；以及
重建模块，用于利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据。
7.根据权利要求6所述的系统，其特征在于，所述至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或全球定位系统GPS。
8.根据权利要求7所述的系统，其特征在于，所述生成模块，包括：
第一获取单元，用于利用所述激光雷达、全景相机、惯性里程计和GPS分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息；
第二获取单元，用于由所述激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息得到所述原始数据集。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的多模态场景信息采集与重建方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的多模态场景信息采集与重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210141601.9A CN114549750A (zh) | 2022-02-16 | 2022-02-16 | 多模态场景信息采集与重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210141601.9A CN114549750A (zh) | 2022-02-16 | 2022-02-16 | 多模态场景信息采集与重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114549750A true CN114549750A (zh) | 2022-05-27 |
Family
ID=81675652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210141601.9A Pending CN114549750A (zh) | 2022-02-16 | 2022-02-16 | 多模态场景信息采集与重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549750A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780629A (zh) * | 2016-12-28 | 2017-05-31 | 杭州中软安人网络通信股份有限公司 | 一种三维全景数据采集、建模方法 |
| WO2021026705A1 (zh) * | 2019-08-09 | 2021-02-18 | 华为技术有限公司 | 匹配关系确定方法、重投影误差计算方法及相关装置 |
| CN113140040A (zh) * | 2021-04-26 | 2021-07-20 | 北京天地玛珂电液控制系统有限公司 | 一种多传感器融合的煤矿井下空间定位及建图方法与装置 |
| CN113192182A (zh) * | 2021-04-29 | 2021-07-30 | 山东产研信息与人工智能融合研究院有限公司 | 一种基于多传感器的实景重建方法及系统 |
-
2022
- 2022-02-16 CN CN202210141601.9A patent/CN114549750A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780629A (zh) * | 2016-12-28 | 2017-05-31 | 杭州中软安人网络通信股份有限公司 | 一种三维全景数据采集、建模方法 |
| WO2021026705A1 (zh) * | 2019-08-09 | 2021-02-18 | 华为技术有限公司 | 匹配关系确定方法、重投影误差计算方法及相关装置 |
| CN113140040A (zh) * | 2021-04-26 | 2021-07-20 | 北京天地玛珂电液控制系统有限公司 | 一种多传感器融合的煤矿井下空间定位及建图方法与装置 |
| CN113192182A (zh) * | 2021-04-29 | 2021-07-30 | 山东产研信息与人工智能融合研究院有限公司 | 一种基于多传感器的实景重建方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765498B (zh) | 单目视觉跟踪方法、装置及存储介质 | |
| US6094215A (en) | Method of determining relative camera orientation position to create 3-D visual images | |
| JP4010753B2 (ja) | 形状計測システムと撮像装置と形状計測方法及び記録媒体 | |
| CN103278139B (zh) | 一种可变焦单双目视觉传感装置 | |
| US6304284B1 (en) | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera | |
| CN100417231C (zh) | 立体视觉半实物仿真系统及方法 | |
| CN110378968A (zh) | 相机和惯性测量单元相对姿态的标定方法及装置 | |
| US6839081B1 (en) | Virtual image sensing and generating method and apparatus | |
| CN111429523B (zh) | 一种在3d建模中远距离标定方法 | |
| WO2014100950A1 (en) | Three-dimensional imaging system and handheld scanning device for three-dimensional imaging | |
| JP2008014653A (ja) | 測量機 | |
| CN110419208B (zh) | 成像系统、成像控制方法、图像处理设备和计算机可读介质 | |
| JP2022500793A (ja) | 多自由度可動視覚システムのキャリブレーション方法 | |
| CN112634379B (zh) | 一种基于混合视域光场的三维定位测量方法 | |
| CN112229323A (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
| CN111445528B (zh) | 一种在3d建模中多相机共同标定方法 | |
| Núnez et al. | Data Fusion Calibration for a 3D Laser Range Finder and a Camera using Inertial Data. | |
| JP4085671B2 (ja) | データ処理方法、データ処理プログラムおよび記録媒体 | |
| CN110268701B (zh) | 成像设备 | |
| CN113225480A (zh) | 一种图像采集方法、装置、电子设备及介质 | |
| CN114549750A (zh) | 多模态场景信息采集与重建方法及系统 | |
| Kwon et al. | A new approach for active stereo camera calibration | |
| CN206775653U (zh) | 多深度摄像头紧凑型全景扫描设备 | |
| JPH10170227A (ja) | 表示装置 | |
| CN110148080B (zh) | 空间信息采集设备以及空间信息采集方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |