CN112767458B - 激光点云与图像的配准的方法及系统 - Google Patents

激光点云与图像的配准的方法及系统 Download PDF

Info

Publication number
CN112767458B
CN112767458B CN202011273362.XA CN202011273362A CN112767458B CN 112767458 B CN112767458 B CN 112767458B CN 202011273362 A CN202011273362 A CN 202011273362A CN 112767458 B CN112767458 B CN 112767458B
Authority
CN
China
Prior art keywords
point cloud
image
data
parameters
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011273362.XA
Other languages
English (en)
Other versions
CN112767458A (zh
Inventor
惠念
刘圆
陶军
文铁谋
刘博�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heading Data Intelligence Co Ltd
Original Assignee
Heading Data Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heading Data Intelligence Co Ltd filed Critical Heading Data Intelligence Co Ltd
Priority to CN202011273362.XA priority Critical patent/CN112767458B/zh
Publication of CN112767458A publication Critical patent/CN112767458A/zh
Application granted granted Critical
Publication of CN112767458B publication Critical patent/CN112767458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Abstract

本发明实施例提供一种激光点云与图像的配准方法及系统,该方法包括:在待配准的数据中随机抽取预设帧数的随机数据,针对每一帧的随机数据,将随机数据中的点云图像与相机图像调整为具有一致性后,保存调整参数;对预设帧数的随机数据分别对应的调整参数进行分析,获得调整参数与惯导姿态的关联关系;根据关联关系对待配准的数据中的每一帧数据中的点云图像和相机图像进行配准。本发明实施例过对采样部分帧的数据,进行半自动的参数调整,再将其应用到整个数据上,即可以达到较高的精度,又降低了全部调参的成本。

Description

激光点云与图像的配准的方法及系统
技术领域
本发明涉及移动测量领域,更具体地,尤其涉及一种激光点云与图像的 配准的方法及系统。
背景技术
当前,移动测量技术已经成为高精度导航电子地图数据获取的主要技术 之一。移动测量系统(Mobile Mapping System,MMS)是在机动车上装配 GPS(全球定位系统)、CCD(视频系统)、INS(惯性导航系统)或航位推算系统等 传感器和设备,在车辆高速行驶的过程中,快速采集道路及路侧地物的空间 位置和属性数据,例如:道路面、车道印刷线、路面指示箭头、人行横道、 交通标志牌、交通信号灯等。数据会同步存储在车载计算机系统中,经过各 种软件的处理以后形成各类成果数据,用于导航电子地图的制作等。此外、 MMS本身具有汽车导航功能,还可以用于道路路况、道路设施的实时监测, 发现变化,便于对原有数据进行更新。
单线激光点云、连续的彩色图像是MMS系统的部分主要成果。单线激 光点云可以提供高精度的地物位置,但是缺少纹理和颜色信息,不易进行判 读和分析。而图像数据具有丰富的纹理信息,颜色信息等都有利于地物的提 取。除此之外相对图像数据而言,激光点云数据是无序的,且数据量极大。 图像的处理方法更多、更快、泛化性更好。尤其今年深度学习的快速进步, 将基于图像的处理能力提升到又一个新的高度上,基于点云的深度学习还是 在探索、预言上,暂时尚达不到工业级的应用程度。但是直接从图像数据上 获取地物精确的真实世界的位置,是非常困难的。即使是可以采集深度信息 的相机,其精度跟激光点云也不具有可比性。因此激光点云数据与图像的融 合具有很强的实用价值。
现有的MSS上点云与图像的配准方法主要包括以下几类:(1)基于多传 感器标定的半自动方法,即直接使用位置与姿态系统(Position and Orientation System,POS)输出方位元素值整体补偿标定参数的方法,进行车载激光点云和 图像的配准,该类方法通常需要使用标定场实现标定,且换测站时需要重新 标定,标定的时间成本较高。而且,研究表明由于配准误差的来源各种各样, 标定本身也具有一定误差,通常使用该方法进行配准后,点云数据和图像仍 然有明显的配准差。此外,不同时段GPS信号质量、惯导漂移都不同,这类 误差无法被消除。(2)基于几何配准基元的方法,分别从点云和图像中提取配 准基元匹配对,例如建筑物线框轮廓和激光点云轮廓、图像和点云上的特征 点对(箭头的顶点)、特征线(车道印刷线的边缘线)对。(3)基于互信息的自 动配准方法,将影像依据图像的成像方式进行成像,计算所得图像与相机图 像的互信息测度,求解最高互信息。然而,车载MMS中点云与图像配准由 于GPS信号质量、惯导漂移的动态变化,配准误差来源多种多样,全自动的 配准技术暂时还在研究阶段,还没有达到能够量产应用的水平。而使用标定 场隔一段时间进行标定,这一类半自动的配准方法,会给外业采集带来较多 额外负担,也很难落地实施。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的激 光点云与图像的配准方法及系统。
第一方面,本发明实施例提供一种激光点云与图像的配准方法,该方法 包括:在待配准的数据中随机抽取预设帧数的随机数据,针对每一帧的随机 数据,将随机数据中的点云图像与相机图像调整为具有一致性后,保存调整 参数;对预设帧数的随机数据分别对应的调整参数进行分析,获得调整参数 与惯导姿态的关联关系;根据关联关系对待配准的数据中的每一帧数据中的 点云图像和相机图像进行配准。
优选的,所述针对每一帧的所述随机数据,将所述随机数据中的点云图 像与相机图像调整为具有一致性后,保存调整参数,包括:
将惯导IMU的相对位置和姿态设置为初始变换参数;
针对每一帧的所述随机数据执行如下处理:
采用所述初始变换参数对点云数据进行旋转和平移,以将所述点云数据 投影成所述点云图像;
将所述点云图像与对应帧的所述相机图像进行叠加后,对所述点云图像 和/或所述相机图像进行调整,以使二者具有一致性;
在确认具有一致性后,保存调整过程所对应的调整参数。
优选的,对所述点云图像和/或所述相机图像进行调整,以使二者具有一 致性,包括:
对所述点云数据进行变换,以使投影后获得的所述点云图像与所述相机 图像具有一致性;
相应地,所述在确认具有一致性后,保存调整过程所对应的调整参数, 包括:
使用控制变量法,每次改变所述初始变换参数中的一个参数的值,并采 用改变后的参数对所述点云数据进行变换,并判断所述点云图像与所述相机 图像是否具有一致性;若不具有则继续改变所述初始变换参数中的一个参数 的值,直至所述点云图像与所述相机图像具有一致性。
优选的,所述确认具有一致性,包括:
根据所述点云图像与所述相机图像的叠加图的清晰度、是否有重影以及 特征点能否对齐来确认是否具有一致性。
优选的,所述关联关系为线性关系;
相应地,对所述预设帧数的所述随机数据分别对应的所述调整参数进行 分析,获得所述调整参数与惯导姿态的关联关系,包括:
采用异常检测算法剔除孤立数据,绘制散点图;
根据所述散点图中散点的分布情况,采用线性拟合的方式获得所述调整 参数与惯导姿态的线性关系。
优选的,根据所述关联关系对所述待配准的数据中的每一帧数据中的点 云图像和相机图像进行配准,包括:
针对所述待配准的数据中的每一帧数据,根据惯导姿态和所述关联关系 计算出所述初始变换参数;采用所述惯导姿态和所述初始变换参数将点云数 据变换至相机坐标系后,投影获得所述点云图像;基于评价指标对所述点云 图像与所述相机图像的一致性进行评价,并采用优化算法调整所述调整参数 以对所述点云数据进行重投影和重评价,直至获得局部最优解。
优选的,基于评价指标对所述点云图像与所述相机图像的一致性进行评 价,并采用优化算法调整所述调整参数以对所述点云数据进行重投影和重评 价,直至获得局部最优解,包括:
设置代价函数为图像的互信息,所述互信息用于表示两张图像的相似度;
使用剃度下降法获取对应所述互信息最小的目标调整参数;
根据所述目标调整参数对所述点云数据进行调整,获得配准完成的图像。
第二方面,本发明实施例提供了一种激光点云与图像的配准系统,该系 统包括:抽取模块,用于在待配准的数据中随机抽取预设帧数的随机数据, 针对每一帧的随机数据,将随机数据中的点云图像与相机图像调整为具有一 致性后,保存调整参数;分析模块,用于对预设帧数的随机数据分别对应的 调整参数进行分析,获得调整参数与惯导姿态的关联关系;配准模块,用于 根据关联关系对待配准的数据中的每一帧数据中的点云图像和相机图像进行 配准。
第三方面,本发明实施例提供了一种电子设备,包括存储器、处理器及 存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现 如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的激光点 云与图像的配准方法。
第四方面,本发明实施例提供了一种非暂态计算机可读存储介质,其上 存储有计算机程序,该计算机程序被处理器执行时实现如第一方面的各种可 能的实现方式中任一种可能的实现方式所提供的激光点云与图像的配准方法。
本发明实施例提供的激光点云与图像的配准方法及系统,不依赖于硬件 上激光雷达和相机的刚性连接,可以在后端进行处理。因为目前很多激光点 云采集设备不具备在硬件上强绑定雷达和相机的条件。通过对采样部分帧的 数据,进行半自动的参数调整,再将其应用到整个数据上,即可以达到较高 的精度,又降低了全部调参的成本。此外,本发明实施例中提到的半自动调 参,和全自动的参数优化,对于单线、多线激光雷达都适用,对全景、广角 相机也都适用,有很广泛的适用性。通过部分半自动、部分全自动的方式, 达到精度较高的配准结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面 描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲, 在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为本发明实施例提供的激光点云与图像的配准方法的流程示意图;
图2为本发明实施例提供的坐标系变换过程示意图;
图3为本发明实施例提供的由世界坐标计算图像坐标的过程示意图;
图4为本发明实施例提供的调参工具界面示意图;
图5为本发明实施例提供的变换参数与IMU姿态的关系分析图;
图6为本发明实施例提供的激光点云与图像的配准系统的结构示意图;
图7为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发 明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然, 所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明 中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例,都属于本发明保护的范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特 性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短 语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选 的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例 可以与其它实施例相结合。
参见图1,本发明实施例提供一种激光点云与图像的配准方法, 本发明实施例中,将点云投影图简称为投影图,相机成图简称为 RGB图。该方法的核心路线是将点云投影成图,通过评价投影图与 RGB图的一致性,确定参数是否已经是最优解。先由半自动的调参工具获取初始的变换参数,再将参数输入全自动配准环节,进行参 数优化,实现点云与图像的配准。点云投影的过程,实际上是点云 数据坐标从世界坐标系,变换到相机坐标系,再变换到图像坐标系 的过程,见图2。将点云的世界坐标计算获取到图像坐标的计算见 图3。该方法包括但不限于如下步骤:
步骤101、在待配准的数据中随机抽取预设帧数的随机数据,针对每一 帧的随机数据,将随机数据中的点云图像与相机图像调整为具有一致性后, 保存调整参数。
步骤102、对预设帧数的随机数据分别对应的调整参数进行分析,获得 调整参数与惯导姿态的关联关系。
步骤103、根据关联关系对待配准的数据中的每一帧数据中的点云图像 和相机图像进行配准。
其中,针对步骤101,作为一种可选实施例,针对每一帧的随机数据, 将随机数据中的点云图像与相机图像调整为具有一致性后,保存调整参数, 包括:将惯导IMU的相对位置和姿态设置为初始变换参数;针对每一帧的随 机数据执行如下处理:采用初始变换参数对点云数据进行旋转和平移,以将 点云数据投影成点云图像;将点云图像与对应帧的相机图像进行叠加后,对 点云图像和/或相机图像进行调整,以使二者具有一致性;在确认具有一致性 后,保存调整过程所对应的调整参数。
其中,作为一种可选实施例,对点云图像和/或相机图像进行调整,以使 二者具有一致性,包括:对点云数据进行变换,以使投影后获得的点云图像 与相机图像具有一致性;相应地,在确认具有一致性后,保存调整过程所对 应的调整参数,包括:使用控制变量法,每次改变初始变换参数中的一个参 数的值,并采用改变后的参数对点云数据进行变换,并判断点云图像与相机 图像是否具有一致性;若不具有则继续改变初始变换参数中的一个参数的值, 直至点云图像与相机图像具有一致性。
其中,作为一种可选实施例,确认具有一致性,包括:根据点云图像与 相机图像的叠加图的清晰度、是否有重影以及特征点能否对齐来确认是否具 有一致性。
具体地,在本步骤101中,首先可开发调参工具,在一个测站中,随机 均匀抽取一定帧数,例如20帧,调整旋转和平移参数,直到目视效果上点云 的投影图和图像一致性最好,见图3,保存参数。
该步骤101可进一步采用包括:S11:开发调参工具,在一份数据中,随 机均匀抽取20帧,将IMU((Inertial Measurement Unit,惯导)的相对位置(x,y, z)和姿态(包括航向、翻滚角、俯仰角)设置为初始的变换参数(x0,y0,z0,yaw0, pitch0,roll0),即(R0,T0),其中R代表旋转参数,T代表平移参数。对每一帧 图像处的数据执行S12~S13;S12:使用(R0,T0)对点云进行旋转和平移,将 点云投影成图像。读取RGB图像,和投影图叠加生成图。目视查看叠加图上 RGB图和投影图的一致性。主要从图像是否清晰、无重影、特征点(线)能对齐这些信息来判断;S13:如果使用(R0,T0)对点云进行变换后,投影图已经 与RGB图一致,则(R,T)=(R0,T0),保存(R,T);否则,使用控制变量法, 每次改变(x,y,z,yaw,pitch,roll)六个参数中一个参数的值(其中x,y,每次变 化0.01个单位,即1cm,yaw,pitch,roll每次变化0.1个单位,即0.1度),将 变化后的参数,用于对点云进行旋转和平移,再投影为图像,得到新的投影 图。通过目视判断投影图和RGB图的一致性,决定是否重复S13,直到投影 图和RGB图一致后,保存参数(R,T)。
针对步骤102,作为一种可选实施例,关联关系为线性关系;相应地, 对预设帧数的随机数据分别对应的调整参数进行分析,获得调整参数与惯导 姿态的关联关系,包括:采用异常检测算法剔除孤立数据,绘制散点图;根 据散点图中散点的分布情况,采用线性拟合的方式获得调整参数与惯导姿态 的线性关系。
具体地,步骤102中,对步骤101中保存的20组参数,进行分 析,得到变换参数(R,T)与惯导姿态(IMU altitude angles,AA)的线性 关系L(y=ax+b),见图4。
该步骤102可进一步采用包括:S21:对步骤101中获取到的20 帧处手动调参的结果进行分析。使用异常检测算法Isolation Forest剔 除孤立数据,绘制散点图,观察散点的分布,见图5。发现步骤101 中保存的变换参数pitch与imu的姿态pitch_imu存在线性关系,roll 与imu的姿态roll_imu存在线性关系,yaw与imu的姿态yaw_imu 存在固定差;S22:使用线性拟合的方法,求解S21中的线性关系L (即y=ax+b)。
针对步骤103,作为一种可选实施例,根据关联关系对待配准的数据中 的每一帧数据中的点云图像和相机图像进行配准,包括:针对待配准的数据 中的每一帧数据,根据惯导姿态和关联关系计算出初始变换参数;采用惯导 姿态和初始变换参数将点云数据变换至相机坐标系后,投影获得点云图像; 基于评价指标对点云图像与相机图像的一致性进行评价,并采用优化算法调 整调整参数以对点云数据进行重投影和重评价,直至获得局部最优解。
其中,作为一种可选实施例,基于评价指标对点云图像与相机图像的一 致性进行评价,并采用优化算法调整调整参数以对点云数据进行重投影和重 评价,直至获得局部最优解,包括:设置代价函数为图像的互信息,互信息 用于表示两张图像的相似度;使用剃度下降法获取对应互信息最小的目标调 整参数;根据目标调整参数对点云数据进行调整,获得配准完成的图像。
具体地,在步骤103中,对测站的每一帧,由惯导姿态和步骤102中得 到的线性关系L,计算出初始的变换参数(R0,T0),将点云使用惯导姿态和(R0, T0)变换到相机坐标系下,再按照图像的成像方式进行投影成图;使用两种评 价指标,评价当前投影图和RGB图的一致性,使用梯度下降法作为优化方法, 迭代调整变换参数(r,t),对点云进行重投影,重评价,直到获取局部最优解, 完成整个测站点云数据与图像的配准。
步骤103可进一步包括如下步骤:
S31:对测站的每一帧数据执行S32~S35:
S32:基于MMS系统中每一帧已知imu的姿态yaw_imu,pitch_imu, roll_imu,使用S22的线性关系L求解出变换参数(R,T),对点云使用(R,T) 进行刚体变换,再投影成图;
S33:设置代价函数为图像的互信息H(归一化互信息是用于度量两张图 片相似度的一种方法,它的值越大代表两张图片的相似性越高。通常用来作 为图像配准中的评判准则或是目标函数,见下式:
Figure BDA0002778364000000101
Figure BDA0002778364000000102
Figure BDA0002778364000000103
它在两幅图像的灰度级数相似的情况下有良好的配准精度,较高的可靠 性;但是同时存在计算量大,实时性差的不足),使用梯度下降法(一种非 常经典的求极小值的算法),迭代找到使互信息H最小的变换参数(R’,T’);
S34:设置重投影误差为代价函数,计算点云上语义信息和图像上对应的 语义信息之间的图像距离,使用梯度下降法,迭代找到使重投影误差最小的 变换参数(R’,T’)。这里需要依赖点云上和图像上都已经分割出了同一个地物 的轮廓信息或者已经采集了点云和图像上的同名点,并且对精度要求比较高;
S35:依据数据的具体情况,选择执行S33或者S34,在每一帧完成局部 的参数优化,完成局部点云和图像的配准。
综上,本发明实施例提供的激光点云与图像配准方法,基于车载MMS 提供的现有信息,在部分图像帧上获取到点云与图像配准的较好的初始值, 再利用该初始值,使用迭代优化的方法,将整个测站的点云和图像进行配准。 该方法也适用于具有一定纹理信息的64线、32线点云,因为本发明实施例 的应用数据主要是单线激光点云,且单线激光点云的目视判读比较容易,在 第一步的人工调参工具中,可以调整到精度较高的初始值。而迭代优化算法, 对初始值的依赖性很强。经过激光点云和图像的配准,图像上的每个像素, 都有对应的3维(x,y,z)位置信息。单纯从图像上可以获取地物的颜色、粗细、 文字内容等。结合起来,就可以用于提取带有3维位置信息和各类属性信息 的地物。
本发明实施例相比于现有技术至少具有如下有益效果:不依赖于硬件上 激光雷达和相机的刚性连接,可以在后端进行处理。因为目前很多激光点云 采集设备不具备在硬件上强绑定雷达和相机的条件。通过对采样部分帧的数 据,进行半自动的参数调整,再将其应用到整个数据上,即可以达到较高的 精度,又降低了全部调参的成本。此外,本发明实施例中提到的半自动调参, 和全自动的参数优化,对于单线、多线激光雷达都适用,对全景、广角相机 也都适用,有很广泛的适用性。通过部分半自动、部分全自动的方式,达到 精度较高的配准结果。
基于上述实施例的内容,图6为本发明实施例提供的激光点云与图像的 配准系统的结构示意图,该激光点云与图像的配准系统用于执行上述方法实 施例中的激光点云与图像的配准方法。
参见图6,该系统包括:抽取模块601,用于在待配准的数据中随机抽取 预设帧数的随机数据,针对每一帧的随机数据,将随机数据中的点云图像与 相机图像调整为具有一致性后,保存调整参数;分析模块602,用于对预设 帧数的随机数据分别对应的调整参数进行分析,获得调整参数与惯导姿态的 关联关系;配准模块603,用于根据关联关系对待配准的数据中的每一帧数 据中的点云图像和相机图像进行配准。
具体如何利用抽取模块601、分析模块602和配准模块603进行激光点 云与图像的配准,可以参照上述方法实施例,本发明实施例在此不再赘述。
在一个实施例中,基于相同的构思,本发明实施例提供了一种电子设备, 如图7所示,该设备包括:处理器(processor)701、通信接口(Communications Interface)702、存储器(memory)703和通信总线704,其中,处理器701,通信 接口702,存储器703通过通信总线704完成相互间的通信。处理器701可 以调用存储器703上并可在处理器701上运行的计算机程序,以执行上述各 实施例提供的激光点云与图像的配准方法,例如包括:在待配准的数据中随 机抽取预设帧数的随机数据,针对每一帧的随机数据,将随机数据中的点云 图像与相机图像调整为具有一致性后,保存调整参数;对预设帧数的随机数 据分别对应的调整参数进行分析,获得调整参数与惯导姿态的关联关系;根 据关联关系对待配准的数据中的每一帧数据中的点云图像和相机图像进行配 准。
此外,上述的存储器703中的逻辑指令可以通过软件功能单元的形式实 现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质 中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献 的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软 件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可 以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的 全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、 磁碟或者光盘等各种可以存储程序代码的介质。
在一个实施例中,基于相同的构思,本发明实施例还提供一种非暂态计 算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时 实现以执行上述各实施例提供的激光点云与图像的配准方法,例如包括:在 待配准的数据中随机抽取预设帧数的随机数据,针对每一帧的随机数据,将 随机数据中的点云图像与相机图像调整为具有一致性后,保存调整参数;对 预设帧数的随机数据分别对应的调整参数进行分析,获得调整参数与惯导姿 态的关联关系;根据关联关系对待配准的数据中的每一帧数据中的点云图像和相机图像进行配准。
综上所述,本发明实施例提供了一种激光点云与图像的配准方法及系统, 不依赖于硬件上激光雷达和相机的刚性连接,可以在后端进行处理。因为目 前很多激光点云采集设备不具备在硬件上强绑定雷达和相机的条件。通过对 采样部分帧的数据,进行半自动的参数调整,再将其应用到整个数据上,即 可以达到较高的精度,又降低了全部调参的成本。此外,本发明实施例中提 到的半自动调参,和全自动的参数优化,对于单线、多线激光雷达都适用, 对全景、广角相机也都适用,有很广泛的适用性。通过部分半自动、部分全 自动的方式,达到精度较高的配准结果。
以上所描述的电子设备等实施例仅仅是示意性的,其中作为分离部件说 明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是 或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网 络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施 例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可 以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实 施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬 件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部 分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可 读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台 计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施 例或者实施例的某些部分方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其 限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术 人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或 者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技 术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种激光点云与图像的配准方法,其特征在于,包括:
在待配准的数据中随机抽取预设帧数的随机数据,针对每一帧的所述随机数据,将所述随机数据中的点云图像与相机图像调整为具有一致性后,保存调整参数;其中,针对每一帧的所述随机数据,将所述随机数据中的点云图像与相机图像调整为具有一致性后,保存调整参数,包括:将惯导IMU的相对位置和姿态设置为初始变换参数;针对每一帧的所述随机数据执行如下处理:采用所述初始变换参数对点云数据进行旋转和平移,以将所述点云数据投影成所述点云图像;将所述点云图像与对应帧的所述相机图像进行叠加后,对所述点云数据进行变换,以使投影后获得的所述点云图像与所述相机图像具有一致性;使用控制变量法,每次改变所述初始变换参数中的一个参数的值,并采用改变后的参数对所述点云数据进行变换,并判断所述点云图像与所述相机图像是否具有一致性;若不具有则继续改变所述初始变换参数中的一个参数的值,直至所述点云图像与所述相机图像具有一致性;
对所述预设帧数的所述随机数据分别对应的所述调整参数进行分析,获得所述调整参数与惯导姿态的关联关系;
根据所述关联关系对所述待配准的数据中的每一帧数据中的点云图像和相机图像进行配准。
2.根据权利要求1所述的方法,其特征在于,所述确认具有一致性,包括:
根据所述点云图像与所述相机图像的叠加图的清晰度、是否有重影以及特征点能否对齐来确认是否具有一致性。
3.根据权利要求1所述的方法,其特征在于,所述关联关系为线性关系;
相应地,对所述预设帧数的所述随机数据分别对应的所述调整参数进行分析,获得所述调整参数与惯导姿态的关联关系,包括:
采用异常检测算法剔除孤立数据,绘制散点图;
根据所述散点图中散点的分布情况,采用线性拟合的方式获得所述调整参数与惯导姿态的线性关系。
4.根据权利要求1所述的方法,其特征在于,根据所述关联关系对所述待配准的数据中的每一帧数据中的点云图像和相机图像进行配准,包括:
针对所述待配准的数据中的每一帧数据,根据惯导姿态和所述关联关系计算出所述初始变换参数;采用所述惯导姿态和所述初始变换参数将点云数据变换至相机坐标系后,投影获得所述点云图像;基于评价指标对所述点云图像与所述相机图像的一致性进行评价,并采用优化算法调整所述调整参数以对所述点云数据进行重投影和重评价,直至获得局部最优解。
5.根据权利要求4所述的方法,其特征在于,基于评价指标对所述点云图像与所述相机图像的一致性进行评价,并采用优化算法调整所述调整参数以对所述点云数据进行重投影和重评价,直至获得局部最优解,包括:
设置代价函数为图像的互信息,所述互信息用于表示两张图像的相似度;
使用剃度下降法获取对应所述互信息最小的目标调整参数;
根据所述目标调整参数对所述点云数据进行调整,获得配准完成的图像。
6.一种激光点云与图像的配准系统,其特征在于,包括:
抽取模块,用于在待配准的数据中随机抽取预设帧数的随机数据,针对每一帧的所述随机数据,将所述随机数据中的点云图像与相机图像调整为具有一致性后,保存调整参数;其中,针对每一帧的所述随机数据,将所述随机数据中的点云图像与相机图像调整为具有一致性后,保存调整参数,包括:将惯导IMU的相对位置和姿态设置为初始变换参数;针对每一帧的所述随机数据执行如下处理:采用所述初始变换参数对点云数据进行旋转和平移,以将所述点云数据投影成所述点云图像;将所述点云图像与对应帧的所述相机图像进行叠加后,对所述点云数据进行变换,以使投影后获得的所述点云图像与所述相机图像具有一致性;使用控制变量法,每次改变所述初始变换参数中的一个参数的值,并采用改变后的参数对所述点云数据进行变换,并判断所述点云图像与所述相机图像是否具有一致性;若不具有则继续改变所述初始变换参数中的一个参数的值,直至所述点云图像与所述相机图像具有一致性;
分析模块,用于对所述预设帧数的所述随机数据分别对应的所述调整参数进行分析,获得所述调整参数与惯导姿态的关联关系;
配准模块,用于根据所述关联关系对所述待配准的数据中的每一帧数据中的点云图像和相机图像进行配准。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述激光点云与图像的配准方法的步骤。
8.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至5任一项所述激光点云与图像的配准方法的步骤。
CN202011273362.XA 2020-11-13 2020-11-13 激光点云与图像的配准的方法及系统 Active CN112767458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011273362.XA CN112767458B (zh) 2020-11-13 2020-11-13 激光点云与图像的配准的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011273362.XA CN112767458B (zh) 2020-11-13 2020-11-13 激光点云与图像的配准的方法及系统

Publications (2)

Publication Number Publication Date
CN112767458A CN112767458A (zh) 2021-05-07
CN112767458B true CN112767458B (zh) 2022-07-29

Family

ID=75693066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011273362.XA Active CN112767458B (zh) 2020-11-13 2020-11-13 激光点云与图像的配准的方法及系统

Country Status (1)

Country Link
CN (1) CN112767458B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794743A (zh) * 2015-04-27 2015-07-22 武汉海达数云技术有限公司 一种车载激光移动测量系统彩色点云生产方法
CN108230379A (zh) * 2017-12-29 2018-06-29 百度在线网络技术(北京)有限公司 用于融合点云数据的方法和装置
CN109934920A (zh) * 2019-05-20 2019-06-25 奥特酷智能科技(南京)有限公司 基于低成本设备的高精度三维点云地图构建方法
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN110443836A (zh) * 2019-06-24 2019-11-12 中国人民解放军战略支援部队信息工程大学 一种基于平面特征的点云数据自动配准方法及装置
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111553937A (zh) * 2020-04-23 2020-08-18 东软睿驰汽车技术(上海)有限公司 激光点云地图构建方法、装置、设备及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9972067B2 (en) * 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
CN110859044B (zh) * 2018-06-25 2023-02-28 北京嘀嘀无限科技发展有限公司 自然场景中的集成传感器校准

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794743A (zh) * 2015-04-27 2015-07-22 武汉海达数云技术有限公司 一种车载激光移动测量系统彩色点云生产方法
CN108230379A (zh) * 2017-12-29 2018-06-29 百度在线网络技术(北京)有限公司 用于融合点云数据的方法和装置
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN109934920A (zh) * 2019-05-20 2019-06-25 奥特酷智能科技(南京)有限公司 基于低成本设备的高精度三维点云地图构建方法
CN110443836A (zh) * 2019-06-24 2019-11-12 中国人民解放军战略支援部队信息工程大学 一种基于平面特征的点云数据自动配准方法及装置
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN111553937A (zh) * 2020-04-23 2020-08-18 东软睿驰汽车技术(上海)有限公司 激光点云地图构建方法、装置、设备及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Mobile Laser Scanned Point-Clouds for Road Object Detection and Extraction:A Review;Lingfei Ma 等;《remote sensing》;20180924;第10卷(第10期);1-33 *
SLAM激光点云整体精配准位姿图技术;闫利 等;《测绘学报》;20190315;第48卷(第3期);313-321 *

Also Published As

Publication number Publication date
CN112767458A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN105667518B (zh) 车道检测的方法及装置
CN110163064B (zh) 一种道路标志物的识别方法、装置及存储介质
CN110705458B (zh) 边界检测方法及装置
CN111220993A (zh) 目标场景定位方法、装置、计算机设备和存储介质
CN109598794B (zh) 三维gis动态模型的构建方法
CN111261016B (zh) 道路地图的构建方法、装置和电子设备
CN112257605B (zh) 基于自标注训练样本的三维目标检测方法、系统及装置
US10872246B2 (en) Vehicle lane detection system
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN113870343A (zh) 相对位姿标定方法、装置、计算机设备和存储介质
CN113313047B (zh) 一种基于车道结构先验的车道线检测方法及系统
CN115690338A (zh) 地图构建方法、装置、设备及存储介质
CN113945937A (zh) 精度检测方法、装置及存储介质
CN109115232B (zh) 导航的方法和装置
CN112749584A (zh) 一种基于图像检测的车辆定位方法及车载终端
CN114485698A (zh) 一种交叉路口引导线生成方法及系统
CN112507891A (zh) 自动化识别高速路口并构建路口向量的方法及装置
CN114140533A (zh) 摄像头外参标定的方法与装置
CN112767458B (zh) 激光点云与图像的配准的方法及系统
CN112258391B (zh) 一种基于道路交通标线的碎片化地图拼接方法
CN115468576A (zh) 一种基于多模态数据融合的自动驾驶定位方法及系统
CN112435336B (zh) 一种弯道类型识别方法、装置、电子设备及存储介质
CN114049542A (zh) 一种动态场景下基于多传感器的融合定位方法
CN113221883A (zh) 无人机飞行导航路线实时修正方法
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant