CN113362247B - 一种激光融合多目相机的语义实景三维重建方法及系统 - Google Patents

一种激光融合多目相机的语义实景三维重建方法及系统 Download PDF

Info

Publication number
CN113362247B
CN113362247B CN202110656175.8A CN202110656175A CN113362247B CN 113362247 B CN113362247 B CN 113362247B CN 202110656175 A CN202110656175 A CN 202110656175A CN 113362247 B CN113362247 B CN 113362247B
Authority
CN
China
Prior art keywords
point cloud
laser
camera
data
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110656175.8A
Other languages
English (en)
Other versions
CN113362247A (zh
Inventor
皇攀凌
欧金顺
周军
林乐彬
赵一凡
李留昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Alesmart Intelligent Technology Co Ltd
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110656175.8A priority Critical patent/CN113362247B/zh
Publication of CN113362247A publication Critical patent/CN113362247A/zh
Application granted granted Critical
Publication of CN113362247B publication Critical patent/CN113362247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于多传感器融合的三维重建技术领域，提供了一种激光融合多目相机的语义实景三维重建方法及系统。其中，该方法包括获取多目相机图像并校正多目相机图像；获取激光点云数据及视觉惯性里程计数据，根据时间戳将激光点云数据与视觉惯性里程计数据对齐来校正激光点云数据；插值校正后的激光点云数据，得到稠密点云并将其投影到成像平面，再与校正后的多目相机图像的像素进行匹配，得到各帧带有RGB信息的稠密点云再叠加后得到实景点云；从校正后的多目相机图像获取语义信息，并与校正点云匹配得到实例对象点云并将其与实景点云融合，得到语义实景重建的三维模型。

Description

一种激光融合多目相机的语义实景三维重建方法及系统
技术领域
本发明属于多传感器融合的三维重建技术领域，尤其涉及一种激光融合多目相机的语义实景三维重建方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
三维重建是获取现实世界三维结构信息最重要的技术手段，也是摄影测量、计算机视觉、遥感测绘等领域的重要研究课题。目前常用的三维重建方法主要使用点云扫描设备生成点云三维模型，包括飞行时间法(TOF)和立体视觉。立体视觉主要使用相机作为数据采集设备，具有设备造价低、测量范围大等优点，但因其过度依赖相机图像，受光照变化影响较大，当被测物体表面纹理单一、光照变化较大时效果较差。TOF法主要使用红外深度相机和激光雷达作为数据采集设备，前者因为发射功率低测量范围较小，仅适合室内等小范围的模型重建，而后者测量距离远、精度高适合室外大场景的三维重建。
随着计算机视觉和深度学习技术的快速发展，三维重建在自动驾驶、AR、数字城市、古迹修复、智慧矿山等领域发挥着越来越重要的作用。但是发明人发现，传统的三维模型重建已不能满足现实作业中对场景重建模型的高精度、高信息量的需求。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种激光融合多目相机的语义实景三维重建方法及系统，其适合室外大场景建图，重建模型的精度高、信息丰富，便于数字场景搭建，是人机智能化协同工作的重要数据基础，可广泛应用于数字城市、智慧矿山等的地图重建中。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种激光融合多目相机的语义实景三维重建方法。
一种激光融合多目相机的语义实景三维重建方法，包括：
获取多目相机图像并校正多目相机图像；
获取激光点云数据及视觉惯性里程计数据，根据时间戳将激光点云数据与视觉惯性里程计数据对齐来校正激光点云数据；
插值校正后的激光点云数据，得到稠密点云并将其投影到成像平面，再与校正后的多相机图的像素进行匹配，得到各帧带有RGB信息的稠密点云再叠加后得到实景点云；
从校正后的多目相机图像获取语义信息，并将语义信息与点云数据匹配得到实例对象点云并将其与实景点云融合，得到语义实景重建的三维模型。
本发明的第二个方面提供一种激光融合多目相机的语义实景三维重建系统。
一种激光融合多目相机的语义实景三维重建系统，其包括：
多目相机图像获取及校正模块，其用于获取多目相机图像并校正多目相机图像；
激光点云数据获取及校正模块，其用于获取激光点云数据及视觉惯性里程计数据，根据时间戳将激光点云数据与视觉惯性里程计数据对齐来校正激光点云数据；
实景点云构建模块，其用于插值校正后的激光点云数据，得到稠密点云并将其投影到成像平面，再与校正后的多相机图的像素进行匹配，得到各帧带有RGB信息的稠密点云再叠加后得到实景点云；
语义融合模块，其用于从校正后的多目相机图像获取语义信息，与校正后的点云匹配得到实例对象点云并将其与实景点云融合，得到语义实景重建的三维模型。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的激光融合多目相机的语义实景三维重建中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的激光融合多目相机的语义实景三维重建中的步骤。
与现有技术相比，本发明的有益效果是：
本发明使用激光雷达获得的点云比用深度相机、双目相机等方式获得的点云距离远、精度高，受光照影响小，利于室外大场景建图；利用点云插值算法进一步丰富多线激光雷达的点云密度，即使在激光雷达处于静止状态时依然能够产生激光扫描线之外的点云，有效弥补激光雷达点云稀疏的不足；利用相机图像获得语义信息比直接使用无结构、无组织的三维点云获得的语义信息更加丰富，且数据易于获取、训练，计算量小；使用多目相机比单目相机能够更充分的利用激光雷达数据。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的激光融合多目相机的语义实景三维重建方法流程图；
图2是本发明实施例的图像语义与点云信息融合流程图；
图3是本发明实施例的各传感器位置布局示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
首先使激光雷达、多目相机以及IMU(惯性测量单元)等各传感器具有固定的相对位姿，如图3所示，然后对各传感器之间进行标定，获得传感器之间的外参，激光雷达到IMU之间的外参表示为IMU到第i个相机之间的外参表示为/>激光雷达到第i个相机之间的外参表示为/>对相机进行标定获得第i个相机的内参Ki和畸变系数(k1，k2，p1，p2，k3)i。标定好的传感器之间构成一套数据采集系统。
如图1所示，本实施例使用上述数据采集系统提供了一种激光融合多目相机的语义实景三维重建方法，其具体包括如下步骤：
步骤1：获取多目相机图像并校正多目相机图像。
在具体实施中，利用预先标定好的相机内参、畸变系数及畸变模型进行去畸变处理得到校正后的多目相机图像。
将多目相机采集的图像利用预先标定好的相机内参Ki、畸变系数(k1，k2，p1，p2，k3)i以及畸变模型
其中(u，v)为各像素在原始图像中的像素坐标，(u’，v’)为去畸变之后各像素在校正图像中的像素坐标。r表示原始图像中的像素与光心的距离。
对图像进行去畸变处理的到校正图像，将校正图像以及各图像对应相机的ID按照时间序列保存为图像数据。
步骤2：获取激光点云数据及视觉惯性里程计(VIO)数据，根据时间戳将二者数据对齐来校正激光点云数据。
具体地，利用激光雷达获得原始点云数据，IMU和相机获取VIO数据，根据时间戳将激光点云数据与VIO数据进行对齐，其中VIO位姿信息由IMU数据、图像数据及它们之间的外参/>计算优化得到，根据VIO的位姿信息/>将激光坐标系下的点云PL校正到世界坐标系下用PW表示，其中/>
步骤3：插值校正后的激光点云数据，得到稠密点云并将其投影到成像平面，再与校正后的多目相机图像的像素进行匹配，得到各帧带有RGB信息的稠密点云再叠加后得到实景点云。
在该步骤中，插值校正后的激光点云数据之前，还包括：
对于校正好的每一帧激光点云数据，按照时间戳在校正后的多目相机图像中找到对应图像及其相机ID，利用相机ID获得预先标定好的相机内参、畸变系数及其与激光雷达之间的外参；
使用当前相机与激光雷达之间的外参将校正后的点云数据重投影到相机成像范围内，提取相机视野内的点云，过滤掉不在相机成像范围内的点云。
具体地，对于校正好的每一帧点云数据PW，按照时间戳在图像数据中找到对应校正图像及其相机ID，利用相机ID获得预先标定好的相机内参Ki及其与激光雷达的外参使用/>将校正后的点云数据PW重投影到相机坐标系得到相机坐标系下的点云Pc，其中并提取相机视野内的点云，过滤掉不在相机成像范围内的点云，对视野内的点云进行插值得到稠密点云，再次将稠密点云重投影到成像平面得到点云在像素坐标系下的投影坐标Puv与校正后的图像像素进行匹配使点云获得像素的RGB信息，其中zc是点云在相机坐标系下的z轴坐标，z轴正向为相机正前方的纵深方向。将各帧带有RGB信息的稠密点云叠加并按照设定分辨率进行降采样，最后得到实景重建点云模型。
步骤4：从校正后的多目相机图像获取语义信息，得到实例对象点云并将其与实景点云融合，得到语义实景重建的三维模型。
在具体实施中使用深度神经网络的实例分割算法对当前帧校正后的多目相机图像提取出图像中的各个实例，得到各实例的mask和class，其中mask是实例对象在图像中所占的像素区域，class是实例对象的类别。
将实例对象在图像中所占的像素区域与校正后的激光点云数据进行重投影对齐，得到不同实例对应的点云数据，即实例对象点云数据。
在具体实施中，实例对象点云与实景点云融合的过程为：
对该实例对象点云进行离群点剔除，得到优化后的点云实例对象，为每个点云实例对象分配一个id；
对单帧点云中不同id的实例对象在局部范围内进行融合；
对于不同帧点云中的实例对象在全局范围内进行融合。
如图2所示，为了提高计算效率，直接使用校正的稀疏点云进行语义信息融合。
(1)将mask与校正点云进行重投影对齐，计算得到不同实例对应的点云数据。
(2)对该点云数据进行离群点剔除，得到优化后的点云实例对象，为每个点云实例对象分配一个id，并将各点云实例保存为miniBlock，同时记录其class，其中miniBlock由实例对象对应的点云构成。
(3)局部实例对象融合。对单帧点云中不同id的实例对象在局部范围内进行融合，融合条件为：①具有相同的class，②两实例对象的形心距离在设定阈值内，如小于实例对象在各方向上最大尺寸的2％，③两实例对象ICP匹配的重合度在设定阈值内，如重合度大于10％。将满足上述条件的不同实例对象进行点云融合，重新对其分配id并保存成新的miniBlock，同时记录其class。
(4)全局实例对象融合。对于不同帧点云中的实例对象在全局范围内进行融合，融合条件与(3)相同，最终得到全局范围内的各实例对象，主要信息包括各实例对象的id、点云数据及其类别。最后将实例对象的语义点云同实景点云融合，便得到带有语义信息的实景重建模型。
实施例二
本实施例提供了一种激光融合多目相机的语义实景三维重建系统，其具体包括如下模块：
多目相机图像获取及校正模块，其用于获取多目相机图像并校正多目相机图像；
激光点云数据获取及校正模块，其用于获取激光点云数据及视觉惯性里程计数据，根据时间戳将激光点云数据与视觉惯性里程计数据对齐来校正激光点云数据；
实景点云构建模块，其用于插值校正后的激光点云数据，得到稠密点云并将其投影到成像平面，再与校正后的多目相机图像的像素进行匹配，得到各帧带有RGB信息的稠密点云再叠加后得到实景点云；
语义融合模块，其用于从校正后的多目相机图像获取语义信息，得到实例对象点云并将其与实景点云融合，得到语义实景重建的三维模型。
此处需要说明的是，本实施例的激光融合多目相机的语义实景三维重建系统中的各个模块，与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的激光融合多目相机的语义实景三维重建方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的激光融合多目相机的语义实景三维重建方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种激光融合多目相机的语义实景三维重建方法，其特征在于，包括：
获取多目相机图像并校正多目相机图像；
获取激光点云数据及视觉惯性里程计数据，根据时间戳将激光点云数据与视觉惯性里程计数据对齐来校正激光点云数据；
具体地，利用激光雷达获得原始点云数据，惯性测量单元和相机获取视觉惯性里程计数据，根据时间戳将激光点云数据与视觉惯性里程计数据进行对齐，其中视觉惯性里程计位姿信息由惯性测量单元数据、图像数据及它们之间的外参/>计算优化得到，根据视觉惯性里程计的位姿信息/>将激光坐标系下的点云PL校正到世界坐标系下用PW表示，其中 是激光雷达数据转换到到视觉惯性里程计的坐标变换；
插值校正后的激光点云数据，得到稠密点云并将其投影到成像平面，再与校正后的多目相机图像的像素进行匹配，得到各帧带有RGB信息的稠密点云再叠加后得到实景点云；
从校正后的多目相机图像获取语义信息，得到实例对象点云并将其与实景点云融合，得到语义实景重建的三维模型；
所述实例对象点云与实景点云融合的过程为：
对该实例对象点云进行离群点剔除，得到优化后的点云实例对象，为每个点云实例对象分配一个id；
对单帧点云中不同id的实例对象在局部范围内进行融合；
对于不同帧点云中的实例对象在全局范围内进行融合。
2.如权利要求1所述的激光融合多目相机的语义实景三维重建方法，其特征在于，在局部范围和全局范围内融合的条件均为：①具有相同的实例对象的类别，②两实例对象的形心距离在设定阈值内，③两实例对象ICP匹配的重合度在设定阈值内。
3.如权利要求1所述的激光融合多目相机的语义实景三维重建方法，其特征在于，将实例对象在图像中所占的像素区域与校正后的激光点云数据进行重投影对齐，得到不同实例对应的点云数据，即实例对象点云数据。
4.如权利要求1所述的激光融合多目相机的语义实景三维重建方法，其特征在于，利用预先标定好的相机内参、畸变系数及畸变模型进行去畸变处理得到校正后的多目相机图像。
5.如权利要求1所述的激光融合多目相机的语义实景三维重建方法，其特征在于，使用深度神经网络的实例分割算法对当前帧的校正后的多目相机图像提取出图像中的各个实例，得到各实例的mask和class，其中mask是实例对象在图像中所占的像素区域，class是实例对象的类别。
6.如权利要求1所述的激光融合多目相机的语义实景三维重建方法，其特征在于，插值校正后的激光点云数据之前，还包括：
对于校正好的每一帧激光点云数据，按照时间戳在校正后的多目相机图像中找到对应图像及其相机ID，利用相机ID获得预先标定好的相机内参、畸变系数及其与激光雷达之间的外参；
使用当前相机与激光雷达之间的外参将校正后的点云数据重投影到相机成像范围内，提取相机视野内的点云，过滤掉不在相机成像范围内的点云。
7.一种激光融合多目相机的语义实景三维重建系统，其特征在于，包括：
多目相机图像获取及校正模块，其用于获取多目相机图像并校正多目相机图像；
激光点云数据获取及校正模块，其用于获取激光点云数据及视觉惯性里程计数据，根据时间戳将激光点云数据与视觉惯性里程计数据对齐来校正激光点云数据；
具体地，利用激光雷达获得原始点云数据，惯性测量单元和相机获取视觉惯性里程计数据，根据时间戳将激光点云数据与视觉惯性里程计数据进行对齐，其中视觉惯性里程计位姿信息由惯性测量单元数据、图像数据及它们之间的外参/>计算优化得到，根据视觉惯性里程计的位姿信息/>将激光坐标系下的点云PL校正到世界坐标系下用PW表示，其中 是激光雷达数据转换到到视觉惯性里程计的坐标变换；
实景点云构建模块，其用于插值校正后的激光点云数据，得到稠密点云并将其投影到成像平面，再与校正后的多目相机图像的像素进行匹配，得到各帧带有RGB信息的稠密点云再叠加后得到实景点云；
语义融合模块，其用于从校正后的多目相机图像获取语义信息，得到实例对象点云并将其与实景点云融合，得到语义实景重建的三维模型；
所述实例对象点云与实景点云融合的过程为：
对该实例对象点云进行离群点剔除，得到优化后的点云实例对象，为每个点云实例对象分配一个id；
对单帧点云中不同id的实例对象在局部范围内进行融合；
对于不同帧点云中的实例对象在全局范围内进行融合。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的激光融合多目相机的语义实景三维重建方法中的步骤。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的激光融合多目相机的语义实景三维重建方法中的步骤。
CN202110656175.8A 2021-06-11 2021-06-11 一种激光融合多目相机的语义实景三维重建方法及系统 Active CN113362247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110656175.8A CN113362247B (zh) 2021-06-11 2021-06-11 一种激光融合多目相机的语义实景三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110656175.8A CN113362247B (zh) 2021-06-11 2021-06-11 一种激光融合多目相机的语义实景三维重建方法及系统

Publications (2)

Publication Number Publication Date
CN113362247A CN113362247A (zh) 2021-09-07
CN113362247B true CN113362247B (zh) 2023-08-15

Family

ID=77534205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110656175.8A Active CN113362247B (zh) 2021-06-11 2021-06-11 一种激光融合多目相机的语义实景三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN113362247B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935428A (zh) * 2021-10-25 2022-01-14 山东大学 基于图像识别的三维点云聚类识别方法及系统
CN113920254B (zh) * 2021-12-15 2022-03-22 深圳市其域创新科技有限公司 一种基于单目rgb的室内三维重建方法及其系统
CN114926485B (zh) * 2022-02-22 2024-06-18 广州文远知行科技有限公司 图像深度标注方法、装置、设备及存储介质
CN114627275B (zh) * 2022-03-29 2022-11-29 南京航空航天大学 一种基于多源异构数据的整机测量点云融合方法
CN114998414B (zh) * 2022-06-02 2024-08-09 华侨大学 一种基于点云数据的零件三维尺寸测量方法、装置和介质
CN115164918B (zh) * 2022-09-06 2023-02-03 联友智连科技有限公司 语义点云地图构建方法、装置及电子设备
CN115655311A (zh) * 2022-10-26 2023-01-31 齐鲁工业大学 一种基于扫描匹配的阿克曼型机器人里程计标定方法
CN115655262B (zh) * 2022-12-26 2023-03-21 广东省科学院智能制造研究所 基于深度学习感知的多层级语义地图构建方法和装置
CN116245961B (zh) * 2023-03-02 2023-09-01 之江实验室 一种基于多类传感器信息的融合感知方法及系统
CN116778101B (zh) * 2023-06-26 2024-04-09 北京道仪数慧科技有限公司 基于营运载具的地图生成方法及系统
CN118279491B (zh) * 2024-04-01 2024-09-10 智成时空(西安)创新科技有限公司 基于深度学习的城市实景三维模型构建系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019179200A1 (zh) * 2018-03-22 2019-09-26 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、vr相机和全景相机
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
CN111563442A (zh) * 2020-04-29 2020-08-21 上海交通大学 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN112258494A (zh) * 2020-10-30 2021-01-22 北京柏惠维康科技有限公司 一种病灶位置确定方法、装置及电子设备
CN112258618A (zh) * 2020-11-04 2021-01-22 中国科学院空天信息创新研究院 基于先验激光点云与深度图融合的语义建图与定位方法
CN112561841A (zh) * 2020-12-04 2021-03-26 深兰人工智能(深圳)有限公司 激光雷达和相机的点云数据融合方法、装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019179200A1 (zh) * 2018-03-22 2019-09-26 深圳岚锋创视网络科技有限公司 多目相机的三维重建方法、vr相机和全景相机
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
CN111563442A (zh) * 2020-04-29 2020-08-21 上海交通大学 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN112258494A (zh) * 2020-10-30 2021-01-22 北京柏惠维康科技有限公司 一种病灶位置确定方法、装置及电子设备
CN112258618A (zh) * 2020-11-04 2021-01-22 中国科学院空天信息创新研究院 基于先验激光点云与深度图融合的语义建图与定位方法
CN112561841A (zh) * 2020-12-04 2021-03-26 深兰人工智能(深圳)有限公司 激光雷达和相机的点云数据融合方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于激光三角法测量谷物容积;蔡泽宇 等;南京农业大学学报;全文 *

Also Published As

Publication number Publication date
CN113362247A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN113362247B (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
CN111462135B (zh) 基于视觉slam与二维语义分割的语义建图方法
CN110264416B (zh) 稀疏点云分割方法及装置
CN108520554B (zh) 一种基于orb-slam2的双目三维稠密建图方法
WO2023164845A1 (zh) 三维重建方法、装置、系统及存储介质
CN109815847B (zh) 一种基于语义约束的视觉slam方法
CN111060924B (zh) 一种slam与目标跟踪方法
CN105096386A (zh) 大范围复杂城市环境几何地图自动生成方法
CN110009675B (zh) 生成视差图的方法、装置、介质及设备
CN111008660A (zh) 语义地图的生成方法、装置、系统、存储介质及电子设备
CN109917419A (zh) 一种基于激光雷达与图像的深度填充密集系统及方法
CN115035235A (zh) 三维重建方法及装置
Wu et al. A new stereo dense matching benchmark dataset for deep learning
CN114677531A (zh) 一种融合多模态信息的水面无人艇目标检测与定位方法
CN114549542A (zh) 视觉语义分割方法、装置及设备
CN117058474B (zh) 一种基于多传感器融合的深度估计方法及系统
CN118429524A (zh) 基于双目立体视觉的车辆行驶环境建模方法及系统
CN114494582A (zh) 一种基于视觉感知的三维模型动态更新方法
CN117784161A (zh) 一种ros的相机和激光雷达融合目标检测方法
Hirata et al. Real-time dense depth estimation using semantically-guided LIDAR data propagation and motion stereo
CN117095054A (zh) 一种基于厂站语义信息的巡检机器人自主定位与建图方法
CN112348941A (zh) 一种基于点云与图像数据的实时融合方法及装置
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测系统及方法
CN114897955B (zh) 一种基于可微几何传播的深度补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240422

Address after: 102, Building 9, Zhongrun Century City, No. 13777 Jingshi Road, Lixia District, Jinan City, Shandong Province, 250000

Patentee after: SHANDONG ALESMART INTELLIGENT TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: 250061, No. ten, No. 17923, Lixia District, Ji'nan City, Shandong Province

Patentee before: SHANDONG University

Country or region before: China

TR01 Transfer of patent right