CN117437289A - 一种基于多源传感器的空间计算方法及相关设备 - Google Patents

一种基于多源传感器的空间计算方法及相关设备 Download PDF

Info

Publication number
CN117437289A
CN117437289A CN202311753366.1A CN202311753366A CN117437289A CN 117437289 A CN117437289 A CN 117437289A CN 202311753366 A CN202311753366 A CN 202311753366A CN 117437289 A CN117437289 A CN 117437289A
Authority
CN
China
Prior art keywords
point cloud
laser point
coordinates
panoramic
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311753366.1A
Other languages
English (en)
Other versions
CN117437289B (zh
Inventor
易文婷
朱元彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huajian Technology Shenzhen Co ltd
Original Assignee
Huajian Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huajian Technology Shenzhen Co ltd filed Critical Huajian Technology Shenzhen Co ltd
Priority to CN202311753366.1A priority Critical patent/CN117437289B/zh
Publication of CN117437289A publication Critical patent/CN117437289A/zh
Application granted granted Critical
Publication of CN117437289B publication Critical patent/CN117437289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例公开了一种基于多源传感器的空间计算方法及相关设备，通过利用外标定参数和位姿信息对全景图像和激光点云进行配准，获得全景图像中每个像素点与激光点云的对应关系；通过利用预设的语义分割模型获取全景图像中的目标单体对象的中心点坐标；根据全景图像中每个像素点与激光点云的对应关系和目标单体对象的中心点坐标获得目标单体对象在激光点云中的目标世界坐标。本方法通过语义分割模型可实现批量自动化获取全景图像中所关注的单体对象的世界坐标及属性数据，提高数据处理的效率，降低数据处理的成本。

Description

一种基于多源传感器的空间计算方法及相关设备
技术领域
本发明涉及导航定位测绘技术领域，尤其涉及一种基于多源传感器的空间计算方法及相关设备。
背景技术
随着自动驾驶和机器人应用的发展，基于多传感器的融合定位定姿技术已经非常成熟，能够稳定可靠地获得实时高精度位置和姿态信息。同时基于多源传感器技术，也有很多移动测量系统，包括架站式、背包式和车载式移动测量系统，可以快速地获得作业区域的激光点云和全景图像数据，实现对作业区域的快速采集。但是数据采集后，依然使用人工的方式对数据进行处理以获得作业区域中物体的坐标，导致数据处理的效率低且成本高。
发明内容
有鉴于此，本发明提供一种基于多源传感器的空间计算方法及相关设备，以提高数据处理的效率，降低数据处理的成本。
本发明第一实施例的具体技术方案为：一种基于多源传感器的空间计算方法，所述方法包括：利用不同的传感器获取目标范围内的全景图像和激光点云；获取不同的传感器之间的外标定参数及每个传感器的位姿信息；所述外标定参数至少包括不同的传感器之间的旋转矩阵和平移向量；根据所述外标定参数和所述位姿信息对所述全景图像和所述激光点云进行配准，获得所述全景图像中每个像素点与激光点云的对应关系；利用预设的语义分割模型获取所述全景图像中的目标单体对象的中心点坐标；所述目标单体对象为所述全景图像中任意一个物体；根据所述全景图像中每个像素点与激光点云的对应关系和所述目标单体对象的中心点坐标获得所述目标单体对象在所述激光点云中的目标世界坐标。
优选的，所述不同的传感器至少包括全景相机和激光雷达；所述全景相机用于获取所述全景图像，所述激光雷达用于获取所述激光点云；所述位姿信息至少包括设备位置和设备姿态角；所述设备位置为所述不同的传感器集成为一个设备后，所述设备视为质点的位置；所述设备姿态角为所述不同的传感器集成为一个设备的姿态角；则所述根据所述外标定参数和所述位姿信息对所述全景图像和所述激光点云进行配准，获得所述全景图像中每个像素点与激光点云的对应关系，包括：根据所述位姿信息中的设备位置、所述外标定参数、所述激光点云的第一世界坐标和所述设备姿态角获得所述激光点云的全景球体坐标；根据所述激光点云的全景球体坐标对应的极坐标和所述全景图像的分辨率获得所述激光点云中每个像素点的全景图像坐标；其中，所述激光点云中每个像素点的全景图像坐标与所述激光点云的第一世界坐标的转换关系为所述全景图像中每个像素点与激光点云的对应关系。
优选的，所述激光点云中每个像素点的全景图像坐标采用如下公式获得：
其中，m为所述激光点云中每个像素点的全景图像坐标的横坐标，n为所述激光点云中每个像素点的全景图像坐标的纵坐标，B为所述激光点云的全景球体坐标对应的极坐标的横坐标，L为所述激光点云的全景球体坐标对应的极坐标的纵坐标，width为所述全景图像的分辨率的像素宽度，height为所述全景图像的分辨率的像素高度。
优选的，所述激光点云的全景球体坐标对应的极坐标采用如下公式获得：
其中，B为所述极坐标中的横坐标，L为所述极坐标中的纵坐标，xs为所述全景球体坐标中的x轴坐标，ys为所述全景球体坐标中的y轴坐标，zs为所述全景球体坐标中的z轴坐标。
优选的，所述根据所述位姿信息中的设备位置、所述外标定参数、所述激光点云的第一世界坐标和所述设备姿态角获得所述激光点云的全景球体坐标，包括：根据所述位姿信息中的设备位置和所述外标定参数获得所述全景相机的第二世界坐标；根据所述全景相机的第二世界坐标对所述激光点云的第一世界坐标进行坐标转换，获得所述激光点云的相对坐标；根据所述设备姿态角对所述激光点云的相对坐标进行坐标转换，获得所述激光点云的全景球体坐标。
优选的，所述全景相机的第二世界坐标采用如下公式获得：
其中，xc为所述第二世界坐标的x轴坐标，yc为所述第二世界坐标的y轴坐标，zc为所述第二世界坐标的z轴坐标，Rbc为所述外标定参数中不同传感器与所述激光雷达之间的旋转矩阵，x为所述设备位置中的x轴坐标，y为所述设备位置中的y轴坐标，z为所述设备位置中的z轴坐标，Tbc为所述外标定参数中不同的传感器与所述全景相机之间的平移向量。
优选的，所述激光点云的全景球体坐标采用如下公式获得：
其中，
其中，xs为所述全景球体坐标中的x轴坐标，ys为所述全景球体坐标中的y轴坐标，zs为所述全景球体坐标中的z轴坐标，Rbr为所述外标定参数中不同传感器与所述全景相机之间的旋转矩阵；Rbc为所述外标定参数中不同传感器与所述激光雷达之间的旋转矩阵；x1为所述激光点云的相对坐标的x轴坐标，y1为所述激光点云的相对坐标中的y轴坐标，z1为所述激光点云的相对坐标的z轴坐标，为所述设备姿态角中的横滚角，/>为所述设备姿态角中的俯仰角，/>为所述设备姿态角中的航向角。
优选的，所述方法还包括：利用预设的语义分割模型获取所述全景图像中的目标单体对象的像素边界范围；根据所述目标单体对象在所述激光点云中的目标世界坐标和所述像素边界范围获得所述目标单体对象的平面面积。
本发明第二实施例的具体技术方案为：一种基于多源传感器的空间计算系统，所述系统包括：图像获取模块、数据获取模块、配准模块、中心点坐标获取模块和世界坐标获取模块；所述图像获取模块用于利用不同的传感器获取目标范围内的全景图像和激光点云；所述数据获取模块用于获取不同的传感器之间的外标定参数及每个传感器的位姿信息；所述外标定参数至少包括不同的传感器之间的旋转矩阵和平移向量；所述配准模块用于根据所述外标定参数和所述位姿信息对所述全景图像和所述激光点云进行配准，获得所述全景图像中每个像素点与激光点云的对应关系；所述中心点坐标获取模块用于利用预设的语义分割模型获取所述全景图像中的目标单体对象的中心点坐标；所述目标单体对象为所述全景图像中任意一个物体；所述世界坐标获取模块用于根据所述全景图像中每个像素点与激光点云的对应关系和所述目标单体对象的中心点坐标获得所述目标单体对象在所述激光点云中的目标世界坐标。
本发明第三实施例的具体技术方案为：一种基于多源传感器的空间计算设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如本申请第一实施例中任一项所述方法的步骤。
实施本发明实施例，将具有如下有益效果：
本发明通过利用外标定参数和位姿信息对全景图像和激光点云进行配准，获得全景图像中每个像素点与激光点云的对应关系；通过利用预设的语义分割模型获取全景图像中的目标单体对象的中心点坐标；根据全景图像中每个像素点与激光点云的对应关系和目标单体对象的中心点坐标获得目标单体对象在激光点云中的目标世界坐标。通过语义分割模型自动获取全景图像中的坐标点，并通过将全景图像和激光点云进行配准，从而可以根据全景图像中的坐标点自动获得激光点云的世界坐标，提高数据处理的效率，降低数据处理的成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为基于多源传感器的空间计算方法的步骤流程图；
图2为获得全景图像与激光点云的对应关系的步骤流程图；
图3为获得激光点云的全景球体坐标的步骤流程图；
图4为获得目标单体对象的平面面积步骤流程图；
图5为基于多源传感器的空间计算系统的结构图；
其中，501、图像获取模块；502、数据获取模块；503、配准模块；504、中心点坐标获取模块；505、世界坐标获取模块。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，为本申请第一实施例中一种基于多源传感器的空间计算方法的步骤流程图，提高数据处理的效率，降低数据处理的成本，所述方法包括：
步骤101、利用不同的传感器获取目标范围内的全景图像和激光点云；
步骤102、获取不同的传感器之间的外标定参数及每个传感器的位姿信息；所述外标定参数至少包括不同的传感器之间的旋转矩阵和平移向量；
步骤103、根据所述外标定参数和所述位姿信息对所述全景图像和所述激光点云进行配准，获得所述全景图像中每个像素点与激光点云的对应关系；
步骤104、利用预设的语义分割模型获取所述全景图像中的目标单体对象的中心点坐标；所述目标单体对象为所述全景图像中任意一个物体；
步骤105、根据所述全景图像中每个像素点与激光点云的对应关系和所述目标单体对象的中心点坐标获得所述目标单体对象在所述激光点云中的目标世界坐标。
具体的，不同的传感器可以包括RTK（Real - time kinematic，实时动态)设备、惯导、激光雷达和全景相机；外标定参数还可以包括全景相机内参、惯导的随机模型参数、RTK天线中心到不同的传感器的臂杆Tbk和不同的传感器到激光雷达的平移向量Tbr等，还可以将不同的传感器所获得的数据进行时间同步；根据获得外标定参数，以及RTK、惯导、激光雷达以及全景相机的数据，进行多传感器融合定位定姿，获得多传感器在统一RTK坐标系下的位姿信息；根据外标定参数和位姿信息对全景图像和激光点云进行配准，获得全景图像中每个像素点与激光点云的对应关系，即根据激光点云的第一世界坐标获得激光点云中每个像素点的全景图像坐标；利用预设的yolo8语义分割模型获取全景图像中的目标单体对象的中心点坐标；根据全景图像中每个像素点与激光点云的对应关系和目标单体对象的中心点坐标获得目标单体对象在激光点云中的目标世界坐标，从而确定目标单体对象的位置信息。
本实施例中的方法通过利用外标定参数和位姿信息对全景图像和激光点云进行配准，获得全景图像中每个像素点与激光点云的对应关系；通过利用预设的语义分割模型获取全景图像中的目标单体对象的中心点坐标；根据全景图像中每个像素点与激光点云的对应关系和目标单体对象的中心点坐标获得目标单体对象在激光点云中的目标世界坐标。通过语义分割模型自动获取全景图像中的坐标点，并通过将全景图像和激光点云进行配准，从而可以根据全景图像中的坐标点自动获得激光点云的世界坐标，提高数据处理的效率，降低数据处理的成本。
在具体实施例中，请参阅图2，所述不同的传感器至少包括全景相机和激光雷达；所述全景相机用于获取所述全景图像，所述激光雷达用于获取所述激光点云；所述位姿信息至少包括设备位置和设备姿态角；所述设备位置为所述不同的传感器集成为一个设备后，所述设备视为质点的位置；所述设备姿态角为所述不同的传感器集成为一个设备的姿态角；
则步骤103中根据所述外标定参数和所述位姿信息对所述全景图像和所述激光点云进行配准，获得所述全景图像中每个像素点与激光点云的对应关系，包括：
步骤201、根据所述位姿信息中的设备位置、所述外标定参数、所述激光点云的第一世界坐标和所述设备姿态角获得所述激光点云的全景球体坐标；
步骤202、根据所述激光点云的全景球体坐标对应的极坐标和所述全景图像的分辨率获得所述激光点云中每个像素点的全景图像坐标；其中，所述激光点云中每个像素点的全景图像坐标与所述激光点云的第一世界坐标的转换关系为所述全景图像中每个像素点与激光点云的对应关系。
具体的，以全景相机的世界坐标为球心，以激光雷达的有效测距范围为半径，搜索目标范围内的激光点云获得激光点云的第一世界坐标；根据位姿信息中的设备位置、外标定参数、激光点云的第一世界坐标和设备姿态角获得激光点云的全景球体坐标，并结合全景图像的分辨率，获得激光点云中每个像素点的全景图像坐标。通过融合外标定参数、设备姿态角和全景图像的分辨率，可以获得综合不同参数的精准的全景图像坐标。
在具体实施例中，所述激光点云中每个像素点的全景图像坐标采用如下公式获得：
其中，m为所述激光点云中每个像素点的全景图像坐标的横坐标，n为所述激光点云中每个像素点的全景图像坐标的纵坐标，B为所述激光点云的全景球体坐标对应的极坐标的横坐标，L为所述激光点云的全景球体坐标对应的极坐标的纵坐标，width为所述全景图像的分辨率的像素宽度，height为所述全景图像的分辨率的像素高度。通过将激光点云的全景球体坐标对应的极坐标与全景图像的分辨率进行融合，获得能够体现像素点具体位置的全景图像坐标。
在具体实施例中，所述激光点云的全景球体坐标对应的极坐标采用如下公式获得：
其中，B为所述极坐标中的横坐标，L为所述极坐标中的纵坐标，xs为所述全景球体坐标中的x轴坐标，ys为所述全景球体坐标中的y轴坐标，zs为所述全景球体坐标中的z轴坐标。通过区分全景球体坐标中x轴坐标的正负值获得对应的极坐标，能够准确的表征出激光点云的全景球体坐标对应的极坐标。
在具体实施例中，请参阅图3，步骤201中根据所述位姿信息中的设备位置、所述外标定参数、所述激光点云的第一世界坐标和所述设备姿态角获得所述激光点云的全景球体坐标，包括：
步骤301、根据所述位姿信息中的设备位置和所述外标定参数获得所述全景相机的第二世界坐标；
步骤302、根据所述全景相机的第二世界坐标对所述激光点云的第一世界坐标进行坐标转换，获得所述激光点云的相对坐标；
步骤303、根据所述设备姿态角对所述激光点云的相对坐标进行坐标转换，获得所述激光点云的全景球体坐标。
具体的，根据设备位置（x，y，z）和外标定参数获得全景相机的第二世界坐标（xc，yc，zc），根据全景相机的第二世界坐标（xc，yc，zc）对激光点云的第一世界坐标（xr，yr，zr）进行坐标转换，获得激光点云的相对坐标（x1，y1，z1），根据设备姿态角对激光点云的相对坐标（x1，y1，z1）进行坐标转换，获得激光点云的全景球体坐标（xs，ys，zs）。通过基于外标定参数和设备姿态角对不同的坐标进行转换，实现世界坐标转为全景球体系坐标，从而能够自动识别目标单体的位置。
在具体实施例中，所述全景相机的第二世界坐标采用如下公式获得：
其中，xc为所述第二世界坐标的x轴坐标，yc为所述第二世界坐标的y轴坐标，zc为所述第二世界坐标的z轴坐标，Rbc为所述外标定参数中不同传感器与所述激光雷达之间的旋转矩阵，x为所述设备位置中的x轴坐标，y为所述设备位置中的y轴坐标，z为所述设备位置中的z轴坐标，Tbc为所述外标定参数中不同的传感器与所述全景相机之间的平移向量。通过将设备位置与外标定参数进行结合，获得精准的全景相机的第二世界坐标。
在具体实施例中，所述激光点云的相对坐标采用如下公式获得：
其中，x1为所述激光点云的相对坐标的x轴坐标，y1为所述激光点云的相对坐标中的y轴坐标，z1为所述激光点云的相对坐标的z轴坐标，xc为所述第二世界坐标的x轴坐标，yc为所述第二世界坐标的y轴坐标，zc为所述第二世界坐标的z轴坐标，xr为激光点云的第一世界坐标的x轴坐标，yr为激光点云的第一世界坐标的y轴坐标，zr为激光点云的第一世界坐标的z轴坐标。通过将激光点云的第一世界坐标与全景相机的第二世界坐标作差，从而获得精准的激光点云的相对坐标。
在具体实施例中，所述激光点云的全景球体坐标采用如下公式获得：
其中，
其中，xs为所述全景球体坐标中的x轴坐标，ys为所述全景球体坐标中的y轴坐标，zs为所述全景球体坐标中的z轴坐标，Rbr为所述外标定参数中不同传感器与所述全景相机之间的旋转矩阵；Rbc为所述外标定参数中不同传感器与所述激光雷达之间的旋转矩阵；x1为所述激光点云的相对坐标的x轴坐标，y1为所述激光点云的相对坐标中的y轴坐标，z1为所述激光点云的相对坐标的z轴坐标，为所述设备姿态角中的横滚角，/>为所述设备姿态角中的俯仰角，/>为所述设备姿态角中的航向角。通过结合外标定参数与设备姿态角，从而获得精准的激光点云的全景球体坐标。
在具体实施例中，预设的语义分割模型通过收集应用场景的训练集和测试集全景图像，进行归一化和缩放处理后，输入模型进行训练，得到训练后的语义分割模型。训练时，损失函数选择交叉熵损失函数，交叉熵损失函数的公式为：
其中，Loss为所述交叉熵损失函数，N为图像数目，C为类别数目，yn,c为图像n的标签one-hot向量的第c个元素，pn,c为图像n的网络输出结果的第c个元素。
在具体实施例中，请参阅图4，所述方法还包括：
步骤401、利用预设的语义分割模型获取所述全景图像中的目标单体对象的像素边界范围；
步骤402、根据所述目标单体对象在所述激光点云中的目标世界坐标和所述像素边界范围获得所述目标单体对象的平面面积。
具体的，对全景图像进行归一化、缩放等预处理，然后将预处理后的全景图像输入到经过训练后的语义分割模型中，实现对全景图像的语义分割和识别。将目标单体对象进行单体化对象提取，将目标单体对象在全景图像中的属性信息提取出来，包括目标单体对象的像素边界范围（[m1，n1],[m2，n2]...[mk，nk]）和中心点像素坐标(m0，n0)等；利用中心点像素坐标(m0，n0)和目标单体对象在所述激光点云中的目标世界坐标，提取中心点像素坐标(m0，n0)对应的激光点云的世界坐标（x0，y0，z0）作为目标单体对象世界坐标，利用目标单体对象的像素边界范围（[m1，n1],[m2，n2]...[mk，nk]），并根据全景图像中每个像素点与激光点云的对应关系，提取出多边形各顶点坐标（x1，y1，z1），（x2，y3，z2）...（xk，yk，zk），假设目标单体对象在同一平面上，则利用各顶点坐标计算目标单体对象的平面面积S。具体的，平面面积S的计算公式为：
具体的，本实施例中的方法可应用于城市部件所关注的路灯灯杆、公交站、消防栓等部件。以公交站为例，将RTK设备、惯导、GNSS接收机、IMU、激光雷达、全景相机、计算与存储单元和显示单元进行组合获得多传感器组合采集设备，并对设备进行内、外参标定并保持时间同步。构建基于yolo8的语义分割模型，并收集和制作公交站的训练集全景图像测试集的全景图像，其中训练集全景图像8000张，测试集全景图像1000张。导入工程，按照yolo8提供的训练工具和流程进行模型训练，获得语义分割模型；启动设备进行融合定位定姿，获得设备实时的高精度位置和姿态信息、激光点云以及全景图像数据，并结合全景图像分辨率，比如8192*4096，获得公交站的全景图像中每个像素点与激光点云的对应关系；将全景图像输入到经过训练后的语义分割模型进行识别和分割，从分割图像中提取公交站的全景图像中的像素范围序列和中心像素点坐标（m0，n0）；根据公交站的中心像素点坐标（m0，n0）及公交站的全景图像中每个像素点与激光点云的对应关系计算像素点对应的世界坐标（x0，y0），根据公交站的全景图像中的像素范围序列获得公交站的平面面积，世界坐标（x0，y0）为公交站的位置坐标属性。将公交站的名称信息、坐标信息、平面面积、以及分类信息自动填入数据库中保存。
在具体实施例中，请参阅图5，为本申请第二实施例中一种基于多源传感器的空间计算系统的结构图，所述系统包括：图像获取模块501、数据获取模块502、配准模块503、中心点坐标获取模块504和世界坐标获取模块505；所述图像获取模块501用于利用不同的传感器获取目标范围内的全景图像和激光点云；所述数据获取模块502用于获取不同的传感器之间的外标定参数及每个传感器的位姿信息；所述外标定参数至少包括不同的传感器之间的旋转矩阵和平移向量；所述配准模块503用于根据所述外标定参数和所述位姿信息对所述全景图像和所述激光点云进行配准，获得所述全景图像中每个像素点与激光点云的对应关系；所述中心点坐标获取模块504用于利用预设的语义分割模型获取所述全景图像中的目标单体对象的中心点坐标；所述目标单体对象为所述全景图像中任意一个物体；所述世界坐标获取模块505用于根据所述全景图像中每个像素点与激光点云的对应关系和所述目标单体对象的中心点坐标获得所述目标单体对象在所述激光点云中的目标世界坐标。
本实施例中的系统通过利用外标定参数和位姿信息对全景图像和激光点云进行配准，获得全景图像中每个像素点与激光点云的对应关系；通过利用预设的语义分割模型获取全景图像中的目标单体对象的中心点坐标；根据全景图像中每个像素点与激光点云的对应关系和目标单体对象的中心点坐标获得目标单体对象在激光点云中的目标世界坐标。通过语义分割模型自动获取全景图像中的坐标点，并通过将全景图像和激光点云进行配准，从而可以根据全景图像中的坐标点自动获得激光点云的世界坐标，提高数据处理的效率，降低数据处理的成本。
在具体实施例中，本申请第三实施例提供一种基于多源传感器的空间计算设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如本申请第一实施例中任一项所述方法的步骤。
在具体实施例中，本申请第四实施例提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如本申请第一实施例中任一项所述方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。故，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于多源传感器的空间计算方法，其特征在于，所述方法包括：
利用不同的传感器获取目标范围内的全景图像和激光点云；
获取不同的传感器之间的外标定参数及每个传感器的位姿信息；所述外标定参数至少包括不同的传感器之间的旋转矩阵和平移向量；
根据所述外标定参数和所述位姿信息对所述全景图像和所述激光点云进行配准，获得所述全景图像中每个像素点与激光点云的对应关系；
利用预设的语义分割模型获取所述全景图像中的目标单体对象的中心点坐标；所述目标单体对象为所述全景图像中任意一个物体；
根据所述全景图像中每个像素点与激光点云的对应关系和所述目标单体对象的中心点坐标获得所述目标单体对象在所述激光点云中的目标世界坐标。
2.如权利要求1所述的基于多源传感器的空间计算方法，其特征在于，所述不同的传感器至少包括全景相机和激光雷达；所述全景相机用于获取所述全景图像，所述激光雷达用于获取所述激光点云；所述位姿信息至少包括设备位置和设备姿态角；所述设备位置为所述不同的传感器集成为一个设备后，所述设备视为质点的位置；所述设备姿态角为所述不同的传感器集成为一个设备的姿态角；
则所述根据所述外标定参数和所述位姿信息对所述全景图像和所述激光点云进行配准，获得所述全景图像中每个像素点与激光点云的对应关系，包括：
根据所述位姿信息中的设备位置、所述外标定参数、所述激光点云的第一世界坐标和所述设备姿态角获得所述激光点云的全景球体坐标；
根据所述激光点云的全景球体坐标对应的极坐标和所述全景图像的分辨率获得所述激光点云中每个像素点的全景图像坐标；其中，所述激光点云中每个像素点的全景图像坐标与所述激光点云的第一世界坐标的转换关系为所述全景图像中每个像素点与激光点云的对应关系。
3.如权利要求2所述的基于多源传感器的空间计算方法，其特征在于，所述激光点云中每个像素点的全景图像坐标采用如下公式获得：
其中，m为所述激光点云中每个像素点的全景图像坐标的横坐标，n为所述激光点云中每个像素点的全景图像坐标的纵坐标，B为所述激光点云的全景球体坐标对应的极坐标的横坐标，L为所述激光点云的全景球体坐标对应的极坐标的纵坐标，width为所述全景图像的分辨率的像素宽度，height为所述全景图像的分辨率的像素高度。
4.如权利要求2所述的基于多源传感器的空间计算方法，其特征在于，所述激光点云的全景球体坐标对应的极坐标采用如下公式获得：
其中，B为所述极坐标中的横坐标，L为所述极坐标中的纵坐标，xs为所述全景球体坐标中的x轴坐标，ys为所述全景球体坐标中的y轴坐标，zs为所述全景球体坐标中的z轴坐标。
5.如权利要求2所述的基于多源传感器的空间计算方法，其特征在于，所述根据所述位姿信息中的设备位置、所述外标定参数、所述激光点云的第一世界坐标和所述设备姿态角获得所述激光点云的全景球体坐标，包括：
根据所述位姿信息中的设备位置和所述外标定参数获得所述全景相机的第二世界坐标；
根据所述全景相机的第二世界坐标对所述激光点云的第一世界坐标进行坐标转换，获得所述激光点云的相对坐标；
根据所述设备姿态角对所述激光点云的相对坐标进行坐标转换，获得所述激光点云的全景球体坐标。
6.如权利要求5所述的基于多源传感器的空间计算方法，其特征在于，所述全景相机的第二世界坐标采用如下公式获得：
其中，xc为所述第二世界坐标的x轴坐标，yc为所述第二世界坐标的y轴坐标，zc为所述第二世界坐标的z轴坐标，Rbc为所述外标定参数中不同传感器与所述激光雷达之间的旋转矩阵，x为所述设备位置中的x轴坐标，y为所述设备位置中的y轴坐标，z为所述设备位置中的z轴坐标，Tbc为所述外标定参数中不同的传感器与所述全景相机之间的平移向量。
7.如权利要求5所述的基于多源传感器的空间计算方法，其特征在于，所述激光点云的全景球体坐标采用如下公式获得：
其中，
其中，xs为所述全景球体坐标中的x轴坐标，ys为所述全景球体坐标中的y轴坐标，zs为所述全景球体坐标中的z轴坐标，Rbr为所述外标定参数中不同传感器与所述全景相机之间的旋转矩阵；Rbc为所述外标定参数中不同传感器与所述激光雷达之间的旋转矩阵；x1为所述激光点云的相对坐标的x轴坐标，y1为所述激光点云的相对坐标中的y轴坐标，z1为所述激光点云的相对坐标的z轴坐标，为所述设备姿态角中的横滚角，/>为所述设备姿态角中的俯仰角，/>为所述设备姿态角中的航向角。
8.如权利要求1所述的基于多源传感器的空间计算方法，其特征在于，所述方法还包括：
利用预设的语义分割模型获取所述全景图像中的目标单体对象的像素边界范围；
根据所述目标单体对象在所述激光点云中的目标世界坐标和所述像素边界范围获得所述目标单体对象的平面面积。
9.一种基于多源传感器的空间计算系统，其特征在于，所述系统包括：图像获取模块、数据获取模块、配准模块、中心点坐标获取模块和世界坐标获取模块；
所述图像获取模块用于利用不同的传感器获取目标范围内的全景图像和激光点云；
所述数据获取模块用于获取不同的传感器之间的外标定参数及每个传感器的位姿信息；所述外标定参数至少包括不同的传感器之间的旋转矩阵和平移向量；
所述配准模块用于根据所述外标定参数和所述位姿信息对所述全景图像和所述激光点云进行配准，获得所述全景图像中每个像素点与激光点云的对应关系；
所述中心点坐标获取模块用于利用预设的语义分割模型获取所述全景图像中的目标单体对象的中心点坐标；所述目标单体对象为所述全景图像中任意一个物体；
所述世界坐标获取模块用于根据所述全景图像中每个像素点与激光点云的对应关系和所述目标单体对象的中心点坐标获得所述目标单体对象在所述激光点云中的目标世界坐标。
10.一种基于多源传感器的空间计算设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
CN202311753366.1A 2023-12-20 2023-12-20 一种基于多源传感器的空间计算方法及相关设备 Active CN117437289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311753366.1A CN117437289B (zh) 2023-12-20 2023-12-20 一种基于多源传感器的空间计算方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311753366.1A CN117437289B (zh) 2023-12-20 2023-12-20 一种基于多源传感器的空间计算方法及相关设备

Publications (2)

Publication Number Publication Date
CN117437289A true CN117437289A (zh) 2024-01-23
CN117437289B CN117437289B (zh) 2024-04-02

Family

ID=89553793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311753366.1A Active CN117437289B (zh) 2023-12-20 2023-12-20 一种基于多源传感器的空间计算方法及相关设备

Country Status (1)

Country Link
CN (1) CN117437289B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106441242A (zh) * 2016-08-27 2017-02-22 青岛秀山移动测量有限公司 一种基于激光点云与全景影像的交互式测图方法
CN112465732A (zh) * 2020-11-27 2021-03-09 武汉大学 一种车载激光点云与序列全景影像的配准方法
WO2022183657A1 (zh) * 2021-03-04 2022-09-09 浙江商汤科技开发有限公司 点云模型构建方法、装置、电子设备、存储介质和程序
CN115496783A (zh) * 2022-04-29 2022-12-20 武汉大学 一种室内空间三维彩色点云生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106441242A (zh) * 2016-08-27 2017-02-22 青岛秀山移动测量有限公司 一种基于激光点云与全景影像的交互式测图方法
CN112465732A (zh) * 2020-11-27 2021-03-09 武汉大学 一种车载激光点云与序列全景影像的配准方法
WO2022183657A1 (zh) * 2021-03-04 2022-09-09 浙江商汤科技开发有限公司 点云模型构建方法、装置、电子设备、存储介质和程序
CN115496783A (zh) * 2022-04-29 2022-12-20 武汉大学 一种室内空间三维彩色点云生成方法

Also Published As

Publication number Publication date
CN117437289B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN108279670B (zh) 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质
CN109523471B (zh) 一种地面坐标和广角摄像机画面坐标的转换方法、系统以及装置
CN112562093B (zh) 目标检测方法、电子介质和计算机存储介质
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN113029128A (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
CN116295279A (zh) 一种基于无人机遥感的建筑测绘方法及无人机
CN112308931B (zh) 相机的标定方法、装置、计算机设备和存储介质
CN113658265A (zh) 相机标定方法、装置、电子设备及存储介质
CN111191596B (zh) 一种封闭区域制图方法、装置及存储介质
CN117437289B (zh) 一种基于多源传感器的空间计算方法及相关设备
CN116630442B (zh) 一种视觉slam位姿估计精度评估方法及装置
CN113256709A (zh) 目标检测方法、装置、计算机设备以及存储介质
CN115307646B (zh) 一种多传感器融合的机器人定位方法、系统及装置
CN112381873A (zh) 一种数据标注方法及装置
CN115830073A (zh) 地图要素重建方法、装置、计算机设备和存储介质
CN115376018A (zh) 建筑物高度及占地面积计算方法、装置、设备及存储介质
CN114488042A (zh) 一种激光雷达标定方法、装置、电子设备和存储介质
CN117611762B (zh) 一种多层级地图构建方法、系统及电子设备
CN117456146B (zh) 激光点云拼接方法、装置、介质和设备
CN114897968B (zh) 车辆视野的确定方法、装置、计算机设备、存储介质
CN116229297B (zh) 一种测绘数据处理方法、系统、介质及计算机
CN115482271A (zh) 地理坐标定位方法、装置、设备及存储介质
CN117437552B (zh) 视觉定位地图的构建方法及装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant