CN117330050A - 基于闭环路径的室内场景雷视融合数据采集方法及系统 - Google Patents

基于闭环路径的室内场景雷视融合数据采集方法及系统 Download PDF

Info

Publication number
CN117330050A
CN117330050A CN202210989060.5A CN202210989060A CN117330050A CN 117330050 A CN117330050 A CN 117330050A CN 202210989060 A CN202210989060 A CN 202210989060A CN 117330050 A CN117330050 A CN 117330050A
Authority
CN
China
Prior art keywords
current position
loop
radar
point
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210989060.5A
Other languages
English (en)
Inventor
高跃
刘小兰
黄晋
肖罡
杨钦文
万可谦
魏志宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Kejun Industrial Co ltd
Original Assignee
Jiangxi Kejun Industrial Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Kejun Industrial Co ltd filed Critical Jiangxi Kejun Industrial Co ltd
Priority to CN202210989060.5A priority Critical patent/CN117330050A/zh
Publication of CN117330050A publication Critical patent/CN117330050A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于闭环路径的室内场景雷视融合数据采集方法及系统，本发明方法包括：S1，通过设备的相机和雷达采集当前位置的数据；S2，根据雷达采集的点云数据计算当前位置的回环特征；S3，根据回环特征判断当前位置是否为已完成采集的位置，若当前位置为已完成采集的位置，则结束采集并退出；否则，将设备移动到新的当前位置，跳转步骤S1。本发明旨在解决现有SLAM方案存在回环特征不完整、回环检测误差较大等问题，根据雷达采集的点云数据计算当前位置的回环特征更适用于真实物理世界的数据模式，具有回环特征完整度高、误差小的优点。

Description

基于闭环路径的室内场景雷视融合数据采集方法及系统
技术领域
本发明涉及SLAM技术中的路径规划技术，具体涉及一种基于闭环路径的室内场景雷视融合数据采集方法及系统。
背景技术
SLAM(Simultaneous Localization and Mapping，同步定位与地图构建)技术中的路径规划它指的是：机器人从未知环境的未知地点出发，在运动过程中通过重复观测到的环境特征建立大范围的增量式地图，在建图过程中，实现在有碰撞的环境中规划出一条从起始点到目标点的无碰撞路径，或者规划出一条符合某些条件的最优路径。
SLAM方案目前主要有下述两种：1)视觉SLAM方案。以RTAB-Map为代表的视觉SLAM方案从功能角度上分为图像数据采集、视觉里程计、后端非线性优化、回环检测以及建图五个部分，其中图像数据采集模块通过相机对环境的2D视觉数据进行获取，视觉里程计通过不同时刻和不同位置的2D图像(由于运动产生的图像变化)对3D立体信息进行预测计算，通过后端非线性优化和回环检测进而估计自身位姿的过程。输入为图像、视频序列，输出相机运动轨迹和局部地图。在建图过程中将当前计算得到的相机运动轨迹和局部地图匹配拼接到原有地图中。地图融合将这一轮来自激光雷达的新数据拼接到原始地图当中，最终完成地图的更新。2)激光SLAM方案。以LIO-SAM为代表的激光SLAM，与视觉SLAM方案不同，激光SLAM方案以3D点云作为直接输入数据。从功能角度上分为点云数据采集、激光里程计、后端非线性优化、回环检测以及建图五个部分。其中点云数据采集通过激光雷达或其他传感器获取所在位置的环境信息，然后对激光雷达原始数据进行优化，剔除一些有问题的数据，或者进行滤波。激光里程计不再预测3D立体信息，而是直接将当前局部环境的点云数据在已建立的地图上寻找对应的位置，匹配的好坏对SLAM构建地图的精度有直接的影响。在SLAM过程中，需要将激光雷达当前采集的点云匹配拼接到原有地图中。后端非线性优化、回环检测以及建图模块与视觉SLAM方案一致。视觉SLAM方案因为直接采集数据为2D图像，因此经过计算获得的3D立体信息精度较低、计算成本高、速度较慢；激光SLAM方案由于缺少视觉数据作为输入，因此最终生成的地图缺少颜色信息，对于实际户外环境的应用产生较大的限制。此外两种技术方案实际使用时需要实施繁琐的标定实现传感器之间的外参标定，在回环检测检测上存在仅考虑图像数据的问题，从而导致现有SLAM方案存在回环特征不完整、回环检测误差较大等问题。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于闭环路径的室内场景雷视融合数据采集方法及系统，本发明旨在解决现有SLAM方案存在回环特征不完整、回环检测误差较大等问题，根据雷达采集的点云数据计算当前位置的回环特征更适用于真实物理世界的数据模式，具有回环特征完整度高、误差小的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于闭环路径的室内场景雷视融合数据采集方法，包括：
S1，通过设备的相机和雷达采集当前位置的数据；
S2，根据雷达采集的点云数据计算当前位置的回环特征；
S3，判断当前位置的回环特征、已保存的回环特征是否匹配，若匹配则判定当前位置为已完成采集的位置，则结束采集并退出；否则，保存当前位置的回环特征，将设备移动到新的当前位置，跳转步骤S1。
可选地，步骤S2中计算当前位置的回环特征的函数表达式为：
上式中，cP表示当前位置P的回环特征，α和β为权重系数，S为雷达采集得到当前位置P的邻域点云集合，p和q为当前位置P的邻域点云集合S中的点云，rp和rp分别为点云p和点云q的邻域点集合的坐标平均值，Cp和Cq分别表示点云p和q的邻域点颜色值r,g,b的平均值，|S|为邻域点云集合S中点云的数量，||rp||表示p点的2范数。
可选地，步骤S2中计算当前位置的回环特征的函数表达式为：
或者/>
上式中，cP表示当前位置P的回环特征，S为雷达采集得到当前位置P的邻域点云集合，p和q为当前位置P的邻域点云集合S中的点云，rq和rq分别为点云p和点云q的邻域点集合的坐标平均值，Cp和Cq分别表示点云p和q的邻域点颜色值r,g,b的平均值，|S|为邻域点云集合S中点云的数量。
可选地，步骤S3中判断当前位置的回环特征、已保存的回环特征是否匹配时，判定为匹配的条件的函数表达式为：
上式中，cP表示当前位置P的回环特征，为某一个已完成采的集的位置Pi的回环特征，∈为预设的阈值判断系数。
可选地，步骤S1中通过设备的相机和雷达采集当前位置的数据，该设备包括多个相机C1,...,Cn和一个雷达L，所述多个相机C1,...,Cn和一个雷达L之间的位置相互固定。
可选地，所述多个相机C1,...,Cn分别为全景相机的子镜头。
可选地，步骤S1中通过设备的相机和雷达采集当前位置的数据之后，还包括将任意第k个相机Ck采集得到的图像中像素点转换到雷达坐标系中的三维点坐标从而将相相机和雷达采集当前位置的数据融合。
可选地，所述将任意第k个相机Ck采集得到的图像中像素点转换到雷达坐标系中的三维点坐标/>时，像素点/>及其三维点坐标/>的函数关系为：
上式中，∧表示逻辑与，w表示图像宽度，h表示图像高度；根据像素点及其三维点坐标/>的函数关系得到像素点/>及其三维点坐标/>之间的转换矩阵T，且有/>
此外，本发明还提供一种基于闭环路径的室内场景雷视融合数据采集系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于闭环路径的室内场景雷视融合数据采集方法的步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于闭环路径的室内场景雷视融合数据采集方法的步骤。
和现有技术相比，本发明主要具有下述优点：本发明方法包括：S1，通过设备的相机和雷达采集当前位置的数据；S2，根据雷达采集的点云数据计算当前位置的回环特征；S3，根据回环特征判断当前位置是否为已完成采集的位置，若当前位置为已完成采集的位置，则结束采集并退出；否则，将设备移动到新的当前位置，跳转步骤S1。本发明基于闭环路径的室内场景雷视融合数据采集方法通过根据雷达采集的点云数据计算当前位置的回环特征，使得回环特征包含了雷达采集的点云的信息，从而更适用于真实物理世界的数据模式，能够有效解决现有SLAM方案存在回环特征不完整、回环检测误差较大等问题，具有回环特征完整度高、误差小的优点，能够提高闭环路径的室内场景雷视融合数据采集的效率和准确度。
附图说明
图1为本发明实施例一方法的基本流程示意图。
具体实施方式
实施例一：
如图1所示，本实施例基于闭环路径的室内场景雷视融合数据采集方法包括：
S1，通过设备的相机和雷达采集当前位置的数据；
S2，根据雷达采集的点云数据计算当前位置的回环特征；
S3，判断当前位置的回环特征、已保存的回环特征是否匹配，若匹配则判定当前位置为已完成采集的位置，则结束采集并退出；否则，保存当前位置的回环特征，将设备移动到新的当前位置，跳转步骤S1。
本实施例中，步骤S2中计算当前位置的回环特征的函数表达式为：
上式中，cP表示当前位置P的回环特征，α和β为权重系数，S为雷达采集得到当前位置P的邻域点云集合，p和q为当前位置P的邻域点云集合S中的点云，rp和rp分别为点云p和点云q的邻域点集合的坐标平均值，Cp和Cq分别表示点云p和q的邻域点颜色值r,g,b的平均值，|S|为邻域点云集合S中点云的数量，||rp||表示p点的2范数，即p点的坐标向量的模，表示p点到原点的距离。上式右侧的表达式中包含通过权重系数α和β加权求和的两个因子，第一个因子表示当前位置P上点的坐标与邻域之间的差异，可以定义邻域点云集合S中各点到当前位置P点的距离的平均数到原点的距离之比，第二个因子表示当前位置P上点的颜色与邻域之间的差异，可以定义为邻域点云集合S中各点与当前位置P点的颜色之差的绝对值之和的平均数，且权重系数α和β之和为1。通过权重系数α和β将两个因子加权求和，本实施例中α＝β＝0.5。整体而言，上述两个因子共同组成了回环特征，具体而言通过两个因子对点云路程的不平滑度进行描述，不平滑度越高，不连续性越高，即说明构成回环的可能性越低。
本实施例中，步骤S3中判断当前位置的回环特征、已保存的回环特征是否匹配时，判定为匹配的条件的函数表达式为：
上式中，cP表示当前位置P的回环特征，为某一个已完成采的集的位置Pi的回环特征，∈为预设的阈值判断系数，预设的阈值判断系数∈可可根据需要选择所需的常数值，一般而言，∈取值越接近0，则对于回环特征误差的容忍度越小，∈取值等于0时，则对于回环特征误差为零容忍度；∈取值越原理0，则对于回环特征误差的容忍度越大。
本实施例中，步骤S1中通过设备的相机和雷达采集当前位置的数据，该设备包括多个相机C1,...,Cn和一个雷达L，多个相机C1,...,Cn和一个雷达L之间的位置相互固定。需要说明的是，此处所涉及的“设备”指代的是室内场景雷视融合数据采集设备，该室内场景雷视融合数据采集设备一般情况下为一具有行走能力的设备，例如底部可带有多个行走轮，通过控制器控制行走轮的驱动机构即可驱动行走轮在地面移动，控制两侧的行走轮差速运动实现转弯；或者底部可带有多个履带，通过控制器控制履带的驱动机构即可驱动行走轮在地面移动，控制两侧的履带差速运动实现转弯，该室内场景雷视融合数据采集设备可以是以采集功能为主，也可以是兼具数据处理功能，其形态可以为机器形态，也可以为仿生形态或者部分仿生的机器人形态；此外，该室内场景雷视融合数据采集设备也可以为不具备行走能力的设备，作为工作负载的形式固定在人体或机器上。此外，多个相机C1,...,Cn的还可以进一步增加相关的附加设备，包括例如补光光源等。总而言之，其附加功能以及外在形态，均不应构成对此处所涉及的“设备”的具体限制。
作为一种可选的实施方式，本实施例中多个相机C1,...,Cn分别为全景相机的子镜头。
本实施例中，步骤S1中通过设备的相机和雷达采集当前位置的数据之后，还包括将任意第k个相机Ck采集得到的图像中像素点转换到雷达坐标系中的三维点坐标从而将相相机和雷达采集当前位置的数据融合。作为一种可选的实施方式，步骤S1中通过设备的相机和雷达采集当前位置的数据之后，也可以直接将相机和雷达采集当前位置的数据输出，从而在后续数据处理时再进行相关的数据处理工作。
对于一个由单个雷达L和多个相机C1,...,Cn构成的系统，记从雷达坐标系到某相机(不妨假设为相机C1)的坐标系的变换矩阵为RL1，并记任意镜头Ck的坐标系到另一参考坐标系W的变换矩阵为因为我们的多个镜头是一个成品化的全景相机上的子镜头，因而W可以取为以全景相机内部中心点为原点的坐标系，任意镜头Ck的坐标系到另一参考坐标系W的变换矩阵/>即可由全景相机本身的技术参数换算得出。在此情况下，雷达坐标系到任意镜头Ck的坐标系的变换矩阵RLk满足：
上式中，R1W为相机C1的坐标系到另一参考坐标系W的变换矩阵的逆矩阵，RWk为任意镜头Ck的坐标系到另一参考坐标系W的变换矩阵/>的逆矩阵。
若空间中某点在雷达坐标系中的坐标为pL＝(xL,yL,zL)，则该点成像在相机Ck中对应的坐标满足以下公式：
上式中，RkL为雷达坐标系到任意镜头Ck的坐标系的变换矩阵RLk的逆矩阵，RLk为雷达坐标系到任意镜头Ck的坐标系的变换矩阵。本实施例中，将任意第k个相机Ck采集得到的图像中像素点转换到雷达坐标系中的三维点坐标/>时，像素点/>及其三维点坐标/>的函数关系为：
上式中，∧表示逻辑与，w表示图像宽度，h表示图像高度；根据像素点及其三维点坐标/>的函数关系得到像素点/>及其三维点坐标/>之间的转换矩阵T，且有/>手动标注若干图像中像素和点云中的点的对应关系，即可通过上述方法最终求解获得图像中像素点/>和点云坐标/>之间的对应关系。对图像中的每个像素点/>将其转换成点云坐标系下的三维点坐标/>并进行三维重建。本实施例中，将三维点坐标/>采用预先标定好的转换矩阵T转换得到三维空间内的转换点，其最终构成了对图像的转换，即将图像转换到三维空间，其函数表达式为：
Mi-1＝T*Ii-1，
上式中，Mi-1表示i-1时刻转换得到三维空间内的点集合，Ii-1表示i-1时刻某一图像。
综上所述，本实施例基于闭环路径的室内场景雷视融合数据采集方法通过根据雷达采集的点云数据计算当前位置的回环特征，使得回环特征包含了雷达采集的点云的信息，从而更适用于真实物理世界的数据模式，能够有效解决现有SLAM方案存在回环特征不完整、回环检测误差较大等问题，具有回环特征完整度高、误差小的优点，能够提高闭环路径的室内场景雷视融合数据采集的效率和准确度。
此外，本实施例还提供一种基于闭环路径的室内场景雷视融合数据采集系统，包括相互连接的微处理器和存储器，微处理器被编程或配置以执行前述基于闭环路径的室内场景雷视融合数据采集方法的步骤。此外，本实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序用于被微处理器编程或配置以执行前述基于闭环路径的室内场景雷视融合数据采集方法的步骤。
实施例二：
本实施例与实施例一基本相同，其主要区别点为：本实施例中，步骤S2中计算当前位置的回环特征的函数表达式为：
上式中，cP表示当前位置P的回环特征，S为雷达采集得到当前位置P的邻域点云集合，p和q为当前位置P的邻域点云集合S中的点云，rq和rq分别为点云p和点云q的邻域点集合的坐标平均值，|S|为邻域点云集合S中点云的数量。上式右侧的表达式中仅包含第一个因子，和实施例一相比计算效率更高，但是回环特征完整度、误差存在劣势。
此外，本实施例还提供一种基于闭环路径的室内场景雷视融合数据采集系统，包括相互连接的微处理器和存储器，微处理器被编程或配置以执行前述基于闭环路径的室内场景雷视融合数据采集方法的步骤。此外，本实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序用于被微处理器编程或配置以执行前述基于闭环路径的室内场景雷视融合数据采集方法的步骤。
实施例三：
本实施例与实施例一基本相同，其主要区别点为：本实施例中，步骤S2中计算当前位置的回环特征的函数表达式为：
上式中，cP表示当前位置P的回环特征，S为雷达采集得到当前位置P的邻域点云集合，p和q为当前位置P的邻域点云集合S中的点云，rq和rq分别为点云p和点云q的邻域点集合的坐标平均值，Cp和Cq分别表示点云p和q的邻域点颜色值r,g,b的平均值，|S|为邻域点云集合S中点云的数量。上式右侧的表达式中仅包含第二个因子，和实施例一相比计算效率更高，但是回环特征完整度、误差存在劣势。
此外，本实施例还提供一种基于闭环路径的室内场景雷视融合数据采集系统，包括相互连接的微处理器和存储器，微处理器被编程或配置以执行前述基于闭环路径的室内场景雷视融合数据采集方法的步骤。此外，本实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序用于被微处理器编程或配置以执行前述基于闭环路径的室内场景雷视融合数据采集方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于闭环路径的室内场景雷视融合数据采集方法，其特征在于，包括：
S1，通过设备的相机和雷达采集当前位置的数据；
S2，根据雷达采集的点云数据计算当前位置的回环特征；
S3，判断当前位置的回环特征、已保存的回环特征是否匹配，若匹配则判定当前位置为已完成采集的位置，则结束采集并退出；否则，保存当前位置的回环特征，将设备移动到新的当前位置，跳转步骤S1。
2.根据权利要求1所述的基于闭环路径的室内场景雷视融合数据采集方法，其特征在于，步骤S2中计算当前位置的回环特征的函数表达式为：
上式中，cP表示当前位置P的回环特征，α和β为权重系数，S为雷达采集得到当前位置P的邻域点云集合，p和q为当前位置P的邻域点云集合S中的点云，rp和rp分别为点云p和点云q的邻域点集合的坐标平均值，Cp和Cq分别表示点云p和q的邻域点颜色值r,g,b的平均值，|S|为邻域点云集合S中点云的数量，||rp||表示p点的2范数。
3.根据权利要求1所述的基于闭环路径的室内场景雷视融合数据采集方法，其特征在于，步骤S2中计算当前位置的回环特征的函数表达式为：
或者/>
上式中，cP表示当前位置P的回环特征，S为雷达采集得到当前位置P的邻域点云集合，p和q为当前位置P的邻域点云集合S中的点云，rq和rq分别为点云p和点云q的邻域点集合的坐标平均值，Cp和Cq分别表示点云p和q的邻域点颜色值r,g,b的平均值，|S|为邻域点云集合S中点云的数量。
4.根据权利要求1所述的基于闭环路径的室内场景雷视融合数据采集方法，其特征在于，步骤S3中判断当前位置的回环特征、已保存的回环特征是否匹配时，判定为匹配的条件的函数表达式为：
上式中，cP表示当前位置P的回环特征，为某一个已完成采的集的位置Pi的回环特征，∈为预设的阈值判断系数。
5.根据权利要求1所述的基于闭环路径的室内场景雷视融合数据采集方法，其特征在于，步骤S1中通过设备的相机和雷达采集当前位置的数据，该设备包括多个相机C1,...,Cn和一个雷达L，所述多个相机C1,...,Cn和一个雷达L之间的位置相互固定。
6.根据权利要求5所述的基于闭环路径的室内场景雷视融合数据采集方法，其特征在于，所述多个相机C1,...,Cn分别为全景相机的子镜头。
7.根据权利要求5所述的基于闭环路径的室内场景雷视融合数据采集方法，其特征在于，步骤S1中通过设备的相机和雷达采集当前位置的数据之后，还包括将任意第k个相机Ck采集得到的图像中像素点转换到雷达坐标系中的三维点坐标/>从而将相相机和雷达采集当前位置的数据融合。
8.根据权利要求7所述的基于闭环路径的室内场景雷视融合数据采集方法，其特征在于，所述将任意第k个相机Ck采集得到的图像中像素点转换到雷达坐标系中的三维点坐标/>时，像素点/>及其三维点坐标/>的函数关系为：
上式中，∧表示逻辑与，w表示图像宽度，h表示图像高度；根据像素点及其三维点坐标/>的函数关系得到像素点/>及其三维点坐标/>之间的转换矩阵T，且有/>
9.一种基于闭环路径的室内场景雷视融合数据采集系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述基于闭环路径的室内场景雷视融合数据采集方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述基于闭环路径的室内场景雷视融合数据采集方法的步骤。
CN202210989060.5A 2022-08-17 2022-08-17 基于闭环路径的室内场景雷视融合数据采集方法及系统 Pending CN117330050A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210989060.5A CN117330050A (zh) 2022-08-17 2022-08-17 基于闭环路径的室内场景雷视融合数据采集方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210989060.5A CN117330050A (zh) 2022-08-17 2022-08-17 基于闭环路径的室内场景雷视融合数据采集方法及系统

Publications (1)

Publication Number Publication Date
CN117330050A true CN117330050A (zh) 2024-01-02

Family

ID=89274236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210989060.5A Pending CN117330050A (zh) 2022-08-17 2022-08-17 基于闭环路径的室内场景雷视融合数据采集方法及系统

Country Status (1)

Country Link
CN (1) CN117330050A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117761717A (zh) * 2024-02-21 2024-03-26 天津大学四川创新研究院 一种自动回环三维重建系统及运行方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117761717A (zh) * 2024-02-21 2024-03-26 天津大学四川创新研究院 一种自动回环三维重建系统及运行方法
CN117761717B (zh) * 2024-02-21 2024-05-07 天津大学四川创新研究院 一种自动回环三维重建系统及运行方法

Similar Documents

Publication Publication Date Title
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
CN109211241B (zh) 基于视觉slam的无人机自主定位方法
CN106780601B (zh) 一种空间位置追踪方法、装置及智能设备
Paton et al. Bridging the appearance gap: Multi-experience localization for long-term visual teach and repeat
EP1796039B1 (en) Device and method for image processing
CN113674416B (zh) 三维地图的构建方法、装置、电子设备及存储介质
CN112197770B (zh) 一种机器人的定位方法及其定位装置
CN112785702A (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN113269837B (zh) 一种适用于复杂三维环境的定位导航方法
CN110146099B (zh) 一种基于深度学习的同步定位与地图构建方法
CN110163963B (zh) 一种基于slam的建图装置和建图方法
CN107179082B (zh) 基于拓扑地图和度量地图融合的自主探索方法和导航方法
CN111899280B (zh) 采用深度学习和混合型位姿估计的单目视觉里程计方法
CN111161334B (zh) 一种基于深度学习的语义地图构建方法
CN112734765A (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN112949452B (zh) 一种基于多任务共享网络的机器人弱光环境抓取检测方法
CN110764504A (zh) 一种用于变电站电缆沟道巡检的机器人导航方法及系统
CN111258311A (zh) 一种基于智能视觉的井下移动机器人避障方法
CN117330050A (zh) 基于闭环路径的室内场景雷视融合数据采集方法及系统
CN116222543A (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
CN116050277A (zh) 一种煤矿井下场景现实捕捉感知及仿真方法及设备
CN115218906A (zh) 面向室内slam的视觉惯性融合定位方法及系统
CN114859370A (zh) 定位方法和装置、计算机装置和计算机可读存储介质
CN116704112A (zh) 一种用于对象重建的3d扫描系统
CN115937810A (zh) 一种基于双目相机引导的传感器融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination