CN114943870A - 线特征提取模型的训练方法及装置、点云匹配方法及装置 - Google Patents
线特征提取模型的训练方法及装置、点云匹配方法及装置 Download PDFInfo
- Publication number
- CN114943870A CN114943870A CN202210361800.0A CN202210361800A CN114943870A CN 114943870 A CN114943870 A CN 114943870A CN 202210361800 A CN202210361800 A CN 202210361800A CN 114943870 A CN114943870 A CN 114943870A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- training
- sample
- extraction model
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本说明书实施例提供线特征提取模型的训练方法及装置、点云匹配方法及装置,其中线特征提取模型的训练方法包括:构造仿真点云训练集;然后根据仿真点云训练集,对点云检测器进行训练得到初始提取模型;之后获取至少两帧真实点云数据,并根据初始提取模型,确定至少两帧真实点云数据对应的参考线特征;再根据参考线特征,确定真实点云训练集;之后根据真实点云训练集对初始提取模型进行训练,获得线特征提取模型。如此,可以将从仿真点云数据学习到的知识迁移到真实点云数据,提高了线特征提取模型的训练准确率。
Description
技术领域
本说明书实施例涉及智能驾驶技术领域,特别涉及一种线特征提取模型的训练方法。本说明书一个或者多个实施例同时涉及一种点云匹配方法,一种线特征提取模型的训练装置,一种点云匹配装置,一种计算设备,以及一种计算机可读存储介质。
背景技术
随着计算机和互联网技术的快速发展,智能驾驶技术也随之蓬勃发展,智能驾驶技术结合了多种传感器来感知周围环境,例如激光传感器、声纳、全球定位系统、里程计和惯性测量单元等,控制系统可以对传感信息进行解释,以识别适当的导航路径、障碍物和相关标志。
智能驾驶依赖于高精度定位技术,激光传感器可以感知外部障碍物的位置,并以三维点云的数据形式进行存储和比对,来完成传感器自身相对外界物体位置变化的计算。现有技术中,可以基于三维点云进行特征点提取和描述,并对前后两帧的三维点云数据进行匹配,从而确定传感器自身相对外界物体位置变化,基于三维点云中的点特征对前后两帧的三维点云数据进行匹配的准确率较低。
发明内容
有鉴于此,本说明书实施例提供了一种线特征提取模型的训练方法。本说明书一个或者多个实施例同时涉及一种点云匹配方法,一种线特征提取模型的训练装置,一种点云匹配装置,一种计算设备,以及一种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种线特征提取模型的训练方法,包括:
构造仿真点云训练集,其中,仿真点云训练集包括第一设定数量个仿真样本点,仿真样本点携带第一线特征标签;
根据仿真点云训练集,对点云检测器进行训练得到初始提取模型;
获取至少两帧真实点云数据,并根据初始提取模型,确定至少两帧真实点云数据对应的参考线特征;
根据参考线特征,确定真实点云训练集,其中,真实点云训练集包括第二设定数量个真实样本点,真实样本点携带第二线特征标签;
根据真实点云训练集对初始提取模型进行训练,获得线特征提取模型。
可选地,构造仿真点云训练集包括:
根据至少两类预设顶点和边,构造至少两种网格模型;
对至少两种网格模型进行采样,获得至少两种网格模型对应的仿真点云数据;
为仿真点云数据中的仿真样本点设置第一线特征标签,其中,第一线特征标签用于指示仿真样本点为直线点或非直线点;
根据仿真点云数据,构造仿真点云训练集。
可选地,为仿真点云数据中的仿真样本点设置第一线特征标签,包括:
对至少两种网格模型的预设顶点和边进行线性插值,获得至少两种网格模型包括的直线样本点;
在仿真点云数据集的非直线样本点中搜索与直线样本点的距离小于距离阈值的扩展样本点;
将至少两种网格模型中的直线样本点和扩展样本点的第一线特征标签设置为直线点,并将其它样本点的第一线特征标签设置为非直线点。
可选地,根据仿真点云数据,构造仿真点云训练集,包括:
从真实点云数据中获取第三设定数量个非直线样本点作为噪声数据;
根据预设比例,对仿真点云数据和噪声数据进行混合,获得仿真点云训练集。
可选地,根据仿真点云训练集,对点云检测器进行训练得到初始提取模型,包括:
将仿真点云训练集输入点云检测器,获得仿真点云训练集中各个仿真样本点的第一预测线特征;
根据各个仿真样本点的第一预测线特征和第一线特征标签,计算点云检测器的第一损失值,基于第一损失值调整点云检测器的参数,并返回执行构造仿真点云训练集的操作步骤,直至达到第一训练停止条件,获得训练完成的初始提取模型。
可选地,根据各个仿真样本点的第一预测线特征和第一线特征标签,计算点云检测器的第一损失值,包括:
根据各个仿真样本点中正样本和负样本的比例,确定正样本和负样本的权重系数,其中,正样本为仿真样本点中第一线特征标签为直线点的点,负样本为仿真样本点中第一线特征标签为非直线点的点;
根据正样本的第一预测线特征和第一线特征标签,计算点云检测器的第一子损失值;
根据负样本的第一预测线特征和第一线特征标签,计算点云检测器的第二子损失值;
根据正样本和负样本的权重系数,对第一子损失值和第二子损失值进行加权融合,获得点云检测器的第一损失值。
可选地,根据参考线特征,确定真实点云训练集,包括:
根据参考线特征,确定至少两帧真实点云数据的真实直线样本点中检出率大于检出率阈值的目标直线样本点;
对目标直线样本点进行扩充处理,获得扩充直线样本点,其中,扩充处理包括区域生长、最近邻插值和/或直线拟合处理;
将目标直线样本点和扩充直线样本点的第二线特征标签设置为直线点,并将其它样本点的第二线特征标签设置为非直线点,获得真实点云训练集。
可选地,根据真实点云训练集对初始提取模型进行训练,获得线特征提取模型,包括:
将真实点云训练集输入初始提取模型,获得真实点云训练集中各个真实样本点的第二预测线特征;
根据各个真实样本点的第二预测线特征和第二线特征标签,计算初始提取模型的第二损失值,基于第二损失值调整初始提取模型的模型参数,并返回执行获取至少两帧真实点云数据的操作步骤,直至达到第二训练停止条件,获得训练完成的线特征提取模型。
根据本说明书实施例的第二方面,提供了一种点云匹配方法,包括:
获取采集到的两帧点云数据;
将两帧点云数据输入至线特征提取模型,获得两帧点云数据中的直线点,其中,线特征提取模型基于上述第一方面任一项的线特征提取模型的训练方法训练得到;
根据两帧点云数据中的直线点,对两帧点云数据进行点云匹配,获得两帧点云数据之间的位姿变换参数。
可选地,两帧点云数据包括前后的第一帧点云数据和第二帧点云数据;
根据两帧点云数据中的直线点,对两帧点云数据进行点云匹配,获得两帧点云数据之间的位姿变换参数,包括:
根据两帧点云数据中的直线点,分别确定两帧点云数据包括的直线;
对第一帧点云数据中的各条直线与在第二帧点云数据中对应的目标直线进行匹配,获得两帧点云数据之间的位姿变换参数。
根据本说明书实施例的第三方面,提供了一种线特征提取模型的训练装置,包括:
构造模块,被配置为构造仿真点云训练集,其中,仿真点云训练集包括第一设定数量个仿真样本点,仿真样本点携带第一线特征标签;
第一训练模块,被配置为根据仿真点云训练集,对点云检测器进行训练得到初始提取模型;
第一确定模块,被配置为获取至少两帧真实点云数据,并根据初始提取模型,确定至少两帧真实点云数据对应的参考线特征;
第二确定模块,被配置为根据参考线特征,确定真实点云训练集,其中,真实点云训练集包括第二设定数量个真实样本点,真实样本点携带第二线特征标签;
第二训练模块,被配置为根据真实点云训练集对初始提取模型进行训练,获得线特征提取模型。
根据本说明书实施例的第四方面,提供了一种点云匹配装置,包括:
获取模块,被配置为获取采集到的两帧点云数据;
输入模块,被配置为将两帧点云数据输入至线特征提取模型,获得两帧点云数据中的直线点,其中,线特征提取模型基于上述第一方面任一项的线特征提取模型的训练方法训练得到;
匹配模块,被配置为根据两帧点云数据中的直线点,对两帧点云数据进行点云匹配,获得两帧点云数据之间的位姿变换参数。
根据本说明书实施例的第五方面,提供了一种计算设备,包括:
存储器和处理器;
存储器用于存储计算机可执行指令,处理器用于执行计算机可执行指令,以实现上述第一方面任一项的线特征提取模型的训练方法或者上述第二方面任一项的点云匹配方法的步骤。
根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述第一方面任一项的线特征提取模型的训练方法或者上述第二方面任一项的点云匹配方法的步骤。
本说明书一个实施例提供了一种线特征提取模型的训练方法,先构造仿真点云训练集,其中,仿真点云训练集包括第一设定数量个仿真样本点,仿真样本点携带第一线特征标签;然后根据仿真点云训练集,对点云检测器进行训练得到初始提取模型;之后获取至少两帧真实点云数据,并根据初始提取模型,确定至少两帧真实点云数据对应的参考线特征;再根据参考线特征,确定真实点云训练集,其中,真实点云训练集包括第二设定数量个真实样本点,真实样本点携带第二线特征标签;之后根据真实点云训练集对初始提取模型进行训练,获得线特征提取模型。这种情况下,可以基于构造的仿真训练样本对点云检测器进行初步训练,然后使用初步训练得到的初始提取模型对真实点云数据打标签,获得真实点云训练集,然后再基于真实点云训练集对初始提取模型进一步训练,线特征提取模型的训练准确率较高,后续可以直接基于线特征提取模型准确识别真实场景下的点云数据中的直线特征,然后基于直线特征对两帧点云数据进行匹配,提高点云数据的匹配准确率。
附图说明
图1是本说明书一个实施例提供的一种线特征提取模型的训练方法的流程图;
图2a是本说明书一个实施例提供的一种构造仿真点云训练集的过程示意图;
图2b是本说明书一个实施例提供的一种点云检测器的网络结构示意图;
图2c是本说明书一个实施例提供的一种线特征提取模型的训练过程示意图;
图3是本说明书一个实施例提供的一种点云匹配方法的流程图;
图4是本说明书一个实施例提供的一种线特征提取模型的训练装置的结构示意图;
图5是本说明书一个实施例提供的一种点云匹配装置的结构示意图;
图6是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
自主定位:软件自动接收传感器数据,运行定位算法,估计设备的三维位置和三维姿态。
点云:是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合。根据激光测量原理得到的点云,包括三维坐标(XYZ)和激光反射强度(Intensity)。
激光点云(LiDAR Point Cloud):通过激光传感器感知并摄录的周遭障碍物,以三维散点的数据形式记录在计算机中。
激光点云匹配(LiDAR Point CloudRegistration):给定前后两帧激光点云,求解两帧激光点云中点与点之间的配对关系,并恢复出激光点云之间的三维变换的计算过程。
最近点迭代(ICP,Iterative Closest Point):激光点云匹配方法的一种,通过直接对两帧点云中距离最近的点进行配对,恢复点云之间的三维变换。
激光点云特征(LiDAR Point Cloud Features):通过算法在激光点云中提取的特征信息,便于在激光点云之间进行匹配和追踪。
KITTI数据集(KITTI Dataset):是自动驾驶场景下的计算机视觉算法评测数据集,该数据集用于评测立体图像(stereo),光流(optical flow),视觉测距(visualodometry),3D物体检测(object detection)和3D跟踪(tracking)等计算机视觉技术在车载环境下的性能。KITTI数据集包含市区、乡村和高速公路等场景采集的真实图像数据,每张图像中最多达15辆车和30个行人,还有各种程度的遮挡与截断,整个数据集由389对立体图像和光流图,39.2km视觉测距序列以及超过200k 3D标注物体的图像组成,以10Hz的频率采样及同步。
动态图卷积神经网络(DGCNN,Dynamic Graph Convolutional Neural Network):一个可以直接使用点云作为输入的卷积神经网络架构,可以获取足够的局部信息,用于点云分类、分割等任务。
位姿(Position and Orientation):表示位置和姿态,包括俯仰角、偏航角和翻滚角。
刚性变换:仅改变物体位置而不改变其形状与大小的变换,即点之间的距离不变,线之间的夹角不变,点积保持不变的线性变换是刚性变换。
需要说明的是,在攻坚新物流并推动智慧城市发展的背景下,无人驾驶及其相关技术,是重要板块之一。在开放道路上,运用低成本设备实现高精度和鲁棒性的自主定位,能为车辆的自动驾驶提供精确的位置信息和路径规划依据。基于激光传感器的定位系统需要完成前后两帧激光点云之间的配准,从而计算出传感器在两个时刻间,和在地图中的相对位置。由于实际激光传感器分辨率随物距距离而降低的自身扫描特性,针对激光点云进行特征点提取的匹配方法往往存在特征点重复性不高,精度受分辨率影响等问题。因而,本说明书提出一种自动在点云中获取代表实际场景中的直线特征(墙角分割线、杆状物等)的方法,从而更明显地捕捉点云中的特征并完成相对位置计算。本说明书实施例提供的方法可以在常规嵌入式平台,如NVIDIAJetson上部署使用。
目前,可以将原始点云沿不同方向投影到二维空间,在二维图像中提取二维直线支持区,将二维直线支持区反投影到三维空间,得到三维直线支持区,从而提取出点云中的直线特征,进行点云匹配。然而,上述方案基于点云投影的方法,将点云沿不同方向投影到二维空间,在二维图像上进行线段提取,只适用于均匀分布的结构化点云,单帧激光雷达点云投影到二维空间后分布并不均匀,二维直线提取方法难以提取到完整的直线,容易出现误标和漏标,因而该方案无法应用于单帧激光雷达点云。
另外,还可以将原始点云分割成小平面集合,提取带方向向量的小平面边缘点,根据方向向量将边缘点聚类成直线,进行点云匹配。然而,上述方案基于点云局部平面分割、平面边缘点聚类的方法提取直线,对点云平面要求较高,同样只适用于均匀分布的结构化点云,单帧激光雷达点云存在缺失和空洞区域,在提取平面边缘点时会产生大量误检点,导致直线提取的准确率不高。
再者,若要训练可以检测出点云中直线点的提取模型,需要大量带直线特征标注的点云数据,目前可以采用人工标注的方法,标注每一帧点云中的直线点,然而该方案自动化程度低,需要耗费大量人力成本,不具备直接在无人值守车辆上部署使用的能力,且该方法难以达到较高的标注精度,容易出现误标和漏标。
因而,本说明书实施例中提供了一种线特征提取模型的训练方法,可以基于构造的仿真训练样本对点云检测器进行初步训练,然后使用初步训练得到的初始提取模型对真实点云数据打标签,获得真实点云训练集,然后再基于真实点云训练集对初始提取模型进一步训练,采用从仿真三维点云迁移到真实三维点云的模型训练方法,无需人工标注,可以提高标注精度,保证了线特征提取模型的训练准确率。
在本说明书中,提供了一种线特征提取模型的训练方法,本说明书同时涉及一种点云匹配方法,一种线特征提取模型的训练装置,一种点云匹配装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
图1示出了根据本说明书一个实施例提供的一种线特征提取模型的训练方法的流程图,包括步骤102至步骤110。
步骤102:构造仿真点云训练集,其中,仿真点云训练集包括第一设定数量个仿真样本点,仿真样本点携带第一线特征标签。
需要说明的是,仿真点云训练集是指模仿真实场景伪造的三维点云的集合,用于初步训练点云检测器,第一设定数量是仿真点云训练集中包括的训练样本点的个数,第一线特征标签是指仿真样本点的样本标签,用于指示仿真样本点为直线点或非直线点。
实际应用中,可以先模仿真实场景伪造仿真点云训练集,伪造的仿真点云训练集中各个仿真样本点可以携带对应的样本标签,用于后续基于该仿真点云训练集对点云检测器进行初步训练,为点云检测器提供初始训练数据。
本实施例一个可选的实施方式中,构造仿真点云训练集,具体实现过程可以如下:
根据至少两类预设顶点和边,构造至少两种网格模型;
对至少两种网格模型进行采样,获得至少两种网格模型对应的仿真点云数据;
为仿真点云数据中的仿真样本点设置第一线特征标签,其中,第一线特征标签用于指示仿真样本点为直线点或非直线点;
根据仿真点云数据,构造仿真点云训练集。
需要说明的是,真实场景中可能会存在多种不同类型的直线,如面面交线(如墙角分割线)、杆状物(如指示杆、旗杆等),因而针对不同类型的直线,可以基于预设顶点和边,构造对应的网格模型,作为后续采样获得点云数据的骨架结构。具体实现时,由于不同类型的直线,其分布特点不同,因而针对任一类型的直线,可以预先设置有对应的预设顶点和边,连接该预设顶点和边,即可拉起该直线类型对应的网格模型,也即网格模型由对应的预设顶点和边连接而成。
另外,构造出不同类型直线对应的网格模型后,可以对各个网格模型进行采样,获得各个网格模型对应的仿真点云数据,即从网格模型中采样获得多个仿真样本点,完成训练数据的准备,并为每个仿真样本点增加第一线特征标签,指示该仿真样本点为直线点还是非直线点。其中,对各个网格模型进行采样时,可以调用预设库函数(如open3d库函数)对网格模型进行均匀采样,初始的采样点数可以设置的较大(如10000),然而再采用栅格降采样将点云数量降到需要的采样点数量(如1000)左右,或者还可以直接从网格模型中均匀采样获得需要的采样点数量(如1000)的采样点。
示例的,图2a是本说明书一个实施例提供的一种构造仿真点云训练集的过程示意图,以直线类型为面面交线和杆状物为例,对于面面交线类型,可以基于对应的预设顶点和边,构造对应的面面交线网格模型,如图2a所示;对于杆状物类型,可以基于对应的预设顶点和边,构造对应的杆状物网格模型,也如图2a所示。然后,可以对面面交线网格模型和杆状物网格模型分别进行采样,获得面面交线网格模型对应的仿真点云数据,以及杆状物网格模型对应的仿真点云数据,并为上述仿真点云数据中的各个仿真样本点设置对应的第一线特征标签。
另外,对至少两种网格模型进行采样,获得至少两种网格模型对应的仿真点云数据时,还可以对采样获得的各个采样点进行刚性变换,改变采样点的位姿,但是不改变采样点之间的位置关系,如将采样点整体上移预设幅度(如1%),或者整体旋转预设角度等,从而获得最终的仿真点云数据,提高了仿真点云数据的丰富性。
本说明书实施例中,可以先针对真实场景下三维点云中线特征的一般模式,构建生成对应的网格模型,并采样成点云数据完成训练数据的准备,提高了仿真点云训练集与真实场景下的点云分布情况的相似度,保证了构造获得的仿真点云训练集的有效性,进而保证了后续对点云检测器进行初步训练的准确性。
本实施例一个可选的实施方式中,还可以对采样获得直线点进行扩充,也即为仿真点云数据中的仿真样本点设置第一线特征标签,具体实现过程可以如下:
对至少两种网格模型的预设顶点和边进行线性插值,获得至少两种网格模型包括的直线样本点;
在仿真点云数据集的非直线样本点中搜索与直线样本点的距离小于距离阈值的扩展样本点;
将至少两种网格模型中的直线样本点和扩展样本点的第一线特征标签设置为直线点,并将其它样本点的第一线特征标签设置为非直线点。
需要说明的是,真实场景下点云数据中的直线点可能并不是完全位于一条直线上,可能会沿着直线上下微小浮动,因而在获得仿真点云数据,为仿真点云数据中的各个仿真样本点设置第一线特征标签时,可以将仿真点云数据中距离直线点最近的非直线点也设置为直线点。
实际应用中,两预设顶点之间的边是一条直线,也即对两预设顶点之间的边进行线性插值,可以获得网格模型中的直线样本点,然后可以在仿真点云数据集的非直线样本点中搜索与直线样本点的距离小于距离阈值的扩展样本点,该扩展样本点距离该两预设顶点之间的边较近,也即在该两预设顶点之间的边周围微小浮动,因而可以将该扩展样本点也设置为直线点,然后将采样获得的仿真点云数据中除直线样本点和扩展样本点之外的仿真样本点设置为非直线点。
本说明书实施例中,可以基于真实场景下点云数据的分布,将在直线周围浮动的非直线点也扩充为直线点,从而更接近真实场景下的点云分布情况,保证了构造获得的仿真点云训练集的有效性,进而保证了后续对点云检测器进行初步训练的准确性。
本实施例一个可选的实施方式中,考虑到真实场景下的点云数据中存在大量噪声和非直线线特征类数据的存在,可以通过叠加噪声,添加非直线特征点云的方式强化构造的仿真点云训练集,也即根据仿真点云数据,构造仿真点云训练集,具体实现过程可以如下:
从真实点云数据中获取第三设定数量个非直线样本点作为噪声数据;
根据预设比例,对仿真点云数据和噪声数据进行混合,获得仿真点云训练集。
需要说明的是,第三设定数量为添加的噪声数据的个数,第三设定数量可以基于从网格模型获得的仿真点云数据的个数设定,从网格模型中获得的仿真点云数据和非直线样本点的噪声数据的数量满足设定比例,如仿真点云数据和噪声数据的比例可以为4:1,若仿真点云数据中仿真样本点的数量为4000,那么非直线样本点的个数可以为1000,混合获得的仿真点云训练集中包括5000个仿真样本点,即第一设定数量为5000。
实际应用中,可以对KITTI数据集的激光点云进行栅格降采样,从中截取部分非直线点云作为该噪声数据,添加到从网格模型中获得的仿真点云数据中,最终生成的一组训练数据,即仿真点云训练集,该仿真点云训练集中可以包含4组仿真点云数据、1组噪声数据,该4组仿真点云数据可以由不同类型的网格模型采样获得的仿真点云数据组成,如2组面面交线网格模型采样获得的仿真点云数据和2组杆状物网格模型采样获得的仿真点云数据,或者3组面面交线网格模型采样获得的仿真点云数据和1组杆状物网格模型采样获得的仿真点云数据等。
沿用上例,如图2a所示,可以将2组面面交线网格模型采样获得的仿真点云数据和2组杆状物网格模型采样获得的仿真点云数据,以及噪声数据进行混合,获得仿真点云训练集。
本说明书实施例中,真实场景下的点云数据中存在大量噪声和非直线线特征类数据的存在,因而可以向仿真点云数据中添加非直线样本点的噪声数据,增强仿真点云训练集的多样性使得,仿真点云训练集更接近真实场景下的点云分布情况,保证了构造获得的仿真点云训练集的有效性,进而保证了后续对点云检测器进行初步训练的准确性。
步骤104:根据仿真点云训练集,对点云检测器进行训练得到初始提取模型。
需要说明的是,通过上述伪造标注数据的流程,可以低成本大量生成模拟真实场景下激光点云中直线特征的仿真点云训练集,该仿真点云训练集包括有第一设定数量个仿真样本点,每个仿真样本点携带第一线特征标签,因而可以将仿真点云训练集输入至点云检测器中,基于点云检测器预测出的线特征和第一线特征标签,对点云检测器进行初始训练,基于仿真点云训练集的训练,可以建立并学习直线特征在激光点云中的一般模式,为后续针对真实点云数据的训练提供参考基础。
实际应用中,点云检测器可以为DGCNN网络,训练平台可以采用i77820x CPU,Titan XP GPU,采用Adam优化器,初始学习率为0.001,每训练40000步学习率下降50%。
本实施例一个可选的实施方式中,可以基于点云检测器预测出的线特征和第一线特征标签,对点云检测器进行初始训练,也即根据仿真点云训练集,对点云检测器进行训练得到初始提取模型,具体实现过程可以如下:
将仿真点云训练集输入点云检测器,获得仿真点云训练集中各个仿真样本点的第一预测线特征;
根据各个仿真样本点的第一预测线特征和第一线特征标签,计算点云检测器的第一损失值,基于第一损失值调整点云检测器的参数,并返回执行构造仿真点云训练集的操作步骤,直至达到第一训练停止条件,获得训练完成的初始提取模型。
实际应用中,点云检测器的网络结构如图2b所示,图2b是本说明书一个实施例提供的一种点云检测器的网络结构示意图,如图2b所示,点云检测器由三个边缘卷积模块级联构成,每个边缘卷积模块的输出均为n*64维的特征向量,将仿真点云训练集(n*3维)输入至点云检测器的第一个边缘卷积模块,前一个边缘卷积模块的输出作为下一个边缘卷积模块的输入,最后三个边缘卷积模块的输出特征连接在一起,经过全连接层进行池化,得到1024维的全局特征,然后重复处理,可以得到n*1024维的全局特征,再将该全局特征与三个边缘卷积模块的输出特征连接,经过全连接层得到各个仿真样本点的第一预测线特征。
另外,第一训练停止条件为点云检测器停止训练需要满足的条件,如第一训练停止条件可以为第一损失值小于损失值阈值,或者迭代次数超过次数阈值。其中,损失值阈值用于判断点云检测器的预测结果和真实结果之间的差值是否足够小,一般设置的较小;次数阈值用于判断点云检测器的迭代次数是否足够多,一般通过50个迭代次数可以达到收敛,准确率可达98%,因而可以将次数阈值设置为50。
需要说明的是,第一线特征标签是指仿真样本点的真实结果,而第一预测线特征则是点云检测器针对仿真样本点预测出的线特征,因而可以基于仿真样本点的第一预测线特征和第一线特征标签,计算点云检测器的第一损失值,然后根据第一损失值调整点云检测器的模型参数,并返回继续执行构造仿真点云训练集的操作步骤,直至达到第一训练停止条件,获得初始训练完成的初始提取模型。
具体实现时,可以基于仿真样本点的第一预测线特征和第一线特征标签计算交叉熵损失函数,生成损失值。其中,第一线特征标签是指真实想要点云检测器输出的处理结果,也即第一线特征标签为真实结果,而将仿真点云训练集输入点云检测器,输出的仿真样本点的第一预测线特征是预测结果,在预测结果和真实结果之间的差值足够小时,说明预测结果足够接近真实结果,或者在迭代次数超过次数阈值时,说明已经训练了足够多的轮数,此时点云检测器初始训练完成,可以得到初始提取模型。
本说明书实施例中通过计算损失值可以直观的示出点云检测器的预测结果与真实结果之间的差异,再对点云检测器进行针对性训练,调整参数,可以有效提高点云检测器的训练速率及训练效果。
进一步地,构造获得仿真点云训练集后,还可以从仿真点云训练集中选取预设比例的仿真样本点作为第一训练集,将剩余的仿真样本点作为第一测试集,将第一训练集输入至点云检测器,获得第一训练集中各个仿真样本点的第一预测线特征,从而基于第一训练集中仿真样本点的第一预测线特征和第一线特征标签,计算点云检测器的第一损失值,对点云检测器进行训练。
其中,第一训练集和第一测试集中仿真样本点的数量比可以为预设比例,如第一训练集:第一测试集为4:1。
训练完成后,可以基于第一测试集对训练得到的初始提取模型进行测试,确定训练得到的初始提取模型的性能是否满足需求,具体的,可以将第一测试集输入至初始提取模型,获得第一测试集中各个仿真样本点的第一预测线特征,基于第一测试集中仿真样本点的第一预测线特征和第一线特征标签,计算初始提取模型的识别准确率,若识别准确率大于或等于准确率阈值,则确定训练得到的初始提取模型的性能满足需求,可以进行后续对真实点云数据打标签的处理,若识别准确率低于准确率阈值,则说明训练得到的初始提取模型的性能不满足需求,此时可以返回执行构造仿真点云训练集的操作步骤,继续构造仿真点云训练集对该初始提取模型进行进一步训练。
本实施例一个可选的实施方式中,由于仿真点云训练集中正负样本分布不均匀,负样本远远多于正样本,因而可以在计算损失值时将正样本的权重增大,以解决分类标签不平衡的问题,也即根据各个仿真样本点的第一预测线特征和第一线特征标签,计算点云检测器的第一损失值,具体实现过程可以如下:
根据各个仿真样本点中正样本和负样本的比例,确定正样本和负样本的权重系数,其中,正样本为仿真样本点中第一线特征标签为直线点的点,负样本为仿真样本点中第一线特征标签为非直线点的点,正样本的权重系数大于负样本的权重系数;
根据正样本的第一预测线特征和第一线特征标签,计算点云检测器的第一子损失值;
根据负样本的第一预测线特征和第一线特征标签,计算点云检测器的第二子损失值;
根据正样本和负样本的权重系数,对第一子损失值和第二子损失值进行加权融合,获得点云检测器的第一损失值。
需要说明的是,正样本为仿真样本点中第一线特征标签为直线点的点,负样本为仿真样本点中第一线特征标签为非直线点的点,由于仿真点云训练集中的仿真样本点包括从网格模型采样获得的仿真点云数据以及从真实点云数据中获取的非直线样本点,且从网格模型采样获得的仿真点云数据中大部分点均为非直线点,只有少部分是直线点,如图2a所示,因而仿真点云训练集中正负样本分布不均匀,负样本远远多于正样本。
实际应用中,基于正样本和负样本的比例分别确定正样本和负样本的权重系数时,由于仿真点云训练集中正负样本分布不均匀,负样本远远多于正样本,因而可以将正样本的权重系数设置的远大于负样本的权重系数,如仿真点云训练集中正样本和负样本的比例为1:999,此时可以设置正样本的权重系数为0.9,负样本的权重系数为0.1,以此增大训练过程中正样本对点云检测器的影响。
本说明书实施例中,可以确定仿真样本点中正样本和负样本的比例,然后基于正样本和负样本的比例分别确定正样本和负样本的权重系数,将正样本的权重系数设置的大于负样本的权重系数,再基于正样本计算点云检测器的第一子损失值,基于负样本计算点云检测器的第二损失值,然后基于正样本和负样本的权重系数,对第一子损失值和第二子损失值进行加权融合,获得点云检测器的第一损失值,从而可以在计算损失值时将正样本的权重增大,以解决分类标签不平衡的问题。
步骤106:获取至少两帧真实点云数据,并根据初始提取模型,确定至少两帧真实点云数据对应的参考线特征。
需要说明的是,至少两帧真实点云数据可以是从真实点云数据库中获取得到,该真实点云数据库可以为KITTI数据集。具体的,可以对KITTI数据集中至少两帧的激光点云进行栅格降采样,栅格大小可以为0.25米,每帧激光点云可以选取距离零点最近的设定数量(如10000)个点作为该帧激光点云的真实样本点,然后对该帧激光点云的真实样本点进行随机刚性变换,另外考虑到KITTI数据集的数据采集平台的平面运动特性(如车辆只能在平面上,无法沿俯仰角翻转),因而此处的刚性变换可以为二维刚性变换,每帧激光点云的真实样本点的变换次数可以预先设定,如可以设置为200次,依次类推,可以获得至少两帧真实点云数据,每帧真实点云数据包括该设定数量个真实样本点。
实际应用中,获得至少两帧真实点云数据后,可以将至少两帧真实点云数据输入至初步训练好的初始提取模型中,初始提取模型可以针对至少两帧真实点云数据中的各个真实样本点输出预测的参考线特征,也即初始提取模型可以预测至少两帧真实点云数据中各个真实样本点的类型为直线点还是非直线点,即该参考线特征用于指示至少两帧真实点云数据中各个真实样本点的类型。
本说明书实施例中,获得至少两帧真实点云数据后,可以将至少两帧真实点云数据输入至初步训练好的初始提取模型中,基于该初始提取模型对获取到的至少两帧真实点云数据打标签,从而获得真实场景下的训练数据,后续可以进一步训练初始提取模型,提高线特征提取模型的准确率。
步骤108:根据参考线特征,确定真实点云训练集,其中,真实点云训练集包括第二设定数量个真实样本点,真实样本点携带第二线特征标签。
需要说明的是,真实点云训练集是指真实场景下三维点云的集合,用于进一步对初始提取模型进行调整训练,第二设定数量是真实点云训练集中包括的训练样本点的个数,第二线特征标签是指真实样本点的样本标签,用于指示真实样本点为直线点或非直线点,真实样本点携带第二线特征标签可以基于初始提取模型预测出的参考线特征确定。
本实施例一个可选的实施方式中,可以根据初始提取模型对至少两帧真实点云数据中各个真实样本点的检出率,确定真实点云训练集中各个真实样本点的第二线特征标签,也即根据参考线特征,确定真实点云训练集,具体实现过程可以如下:
根据参考线特征,确定至少两帧真实点云数据的真实直线样本点中检出率大于检出率阈值的目标直线样本点;
对目标直线样本点进行扩充处理,获得扩充直线样本点,其中,扩充处理包括区域生长、最近邻插值和/或直线拟合处理;
将目标直线样本点和扩充直线样本点的第二线特征标签设置为直线点,并将其它样本点的第二线特征标签设置为非直线点,获得真实点云训练集。
需要说明的是,每帧真实点云数据中可以包括有多个真实样本点,该多个真实样本点中包括有真实直线样本点和真实非直线样本点,对于每帧真实点云数据中的真实直线样本点,若初始检测模型输出的参考线特征也为直线点时,可以确定该真实直线样本点被正确检出;若初始检测模型输出的参考线特征为非直线点时,可以确定该真实直线样本点未被正确检出。
实际应用中,至少两帧真实点云数据的真实直线样本点中检出率大于检出率阈值的真实直线样本点,基本上大部分情况下可以被初始提取模型正确检测,可以将该真实直线样本点作为目标直线样本点,也即大部分情况下可以被正确检出的目标直线样本点为初始提取模型可以正确识别的直线点,因而该目标直线样本点的第二线特征标签应该为直线点。其中,检出率阈值可以预先设置,如检出率阈值可以设置为80%,统计200帧真实点云数据的真实直线样本点的检出率,将检出率大于检出率阈值的真实直线样本点作为目标直线样本点。
另外,真实场景下点云数据中的直线点可能并不是完全位于一条直线上,可能会沿着直线上下微小浮动,因而除了被初始提取模型正确检出的目标直线样本点之外,还可以对目标直线样本点进行扩充处理,获得扩充直线样本点,以补全缺失的直线点。具体的,可以对目标直线样本点进行区域生长、最近邻插值和/或直线拟合处理等操作,获得扩充直线样本点,然后将获得扩充直线样本点的第二线特征标签也设置为直线点,也即目标直线样本点和扩充直线样本点的第二线特征标签均为直线点,除目标直线样本点和扩充直线样本点之外的真实样本点的第二线特征标签设置为非直线点,获得带标签的真实点云训练集。
本说明书实施例中,可以根据初始提取模型对各个真实样本点的检出率,对真实点云训练集中各个真实样本点打标签,提高了各个真实样本点的标签的准确率,且可以对目标直线样本点进行区域生长、最近邻插值和/或直线拟合等处理,补缺缺失的直线点,增加了真实点云训练集的数据丰富性,进而保证了后续对初始提取模型进行进一步训练的准确率。
步骤110:根据真实点云训练集对初始提取模型进行训练,获得线特征提取模型。
本实施例一个可选的实施方式中,可以基于真实点云训练集中各个真实样本点的第二预测线特征和第二线特征标签,对初始提取模型进行进一步训练,也即根据真实点云训练集对初始提取模型进行训练,获得线特征提取模型,具体实现过程可以如下:
将真实点云训练集输入初始提取模型,获得真实点云训练集中各个真实样本点的第二预测线特征;
根据各个真实样本点的第二预测线特征和第二线特征标签,计算初始提取模型的第二损失值,基于第二损失值调整初始提取模型的模型参数,并返回执行获取至少两帧真实点云数据的操作步骤,直至达到第二训练停止条件,获得训练完成的线特征提取模型。
需要说明的是,此处的第二训练停止条件可以为初始提取模型停止训练需要满足的条件,如第二训练停止条件可以为第二损失值小于损失值阈值,或者迭代次数超过次数阈值,一般通过100个迭代次数可以达到收敛,准确率可达96%,因而可以将次数阈值设置为100。第二线特征标签是指真实样本点的真实结果,而第二预测线特征则是初始提取模型针对真实样本点预测出的线特征,因而可以基于真实样本点的第二预测线特征和第二线特征标签,计算初始提取模型的第二损失值,然后根据第二损失值调整初始提取模型的模型参数,并返回继续执行获取至少两帧真实点云数据的操作步骤,直至达到第二训练停止条件,获得训练完成的线特征提取模型。
具体实现时,可以基于真实样本点的第二预测线特征和第二线特征标签计算交叉熵损失函数,生成损失值。其中,第二线特征标签是指真实想要初始提取模型输出的处理结果,也即第二线特征标签为真实结果,而将真实点云训练集输入初始提取模型,输出的真实样本点的第二预测线特征是预测结果,在预测结果和真实结果之间的差值足够小时,说明预测结果足够接近真实结果,或者在迭代次数超过次数阈值时,说明已经训练了足够多的轮数,此时初始提取模型训练完成,可以得到最终的线特征提取模型。
本说明书实施例中通过计算损失值可以直观的示出初始提取模型的预测结果与真实结果之间的差异,再对初始提取模型进一步针对性训练,调整参数,可以有效提高初始提取模型的训练速率及训练效果,提高准确率。
进一步地,构造获得真实点云训练集后,还可以从真实点云训练集中选取预设比例的真实样本点作为第二训练集,将剩余的真实样本点作为第二测试集,将第二训练集输入至初始提取模型,获得第二训练集中各个真实样本点的第二预测线特征,从而基于第二训练集中真实样本点的第二预测线特征和第二线特征标签,计算初始提取模型的第二损失值,对初始提取模型进行训练。
其中,第二训练集和第二测试集中真实样本点的数量比可以为预设比例,该预设比例可以和第一训练集、第一测试集的比例相同,也可以不同,如第二训练集:第二测试集也可以为4:1。
训练完成后,可以基于第二测试集对训练得到的线特征提取模型进行测试,确定训练得到的线特征提取模型的性能是否满足需求,具体的,可以将第二测试集输入至线特征提取模型,获得第二测试集中各个真实样本点的第二预测线特征,基于第二测试集中真实样本点的第二预测线特征和第二线特征标签,计算线特征提取模的识别准确率,若识别准确率大于或等于准确率阈值,则确定训练得到的线特征提取模的性能满足需求,可以进行后续点云匹配的处理,若识别准确率低于准确率阈值,则说明训练得到的线特征提取模的性能不满足需求,此时可以返回执行获取至少两帧真实点云数据的操作步骤,继续对真实点云数据打标签,获得真实点云训练集,对该线特征提取模型进行进一步训练。
作为一种示例,图2c是本说明书一个实施例提供的一种线特征提取模型的训练过程示意图,如图2c所示,线特征提取模型的训练过程包括四步,第一步构造仿真训练样本,第二步训练初始提取模型,第三步确定真实训练样本(经过刚性变换、预测、最近邻插值和直线拟合等处理),第四步训练线特征提取模型。
本说明书一个实施例提供了一种线特征提取模型的训练方法,可以基于构造的仿真训练样本对点云检测器进行初步训练,然后使用初步训练得到的初始提取模型对真实点云数据打标签,获得真实点云训练集,然后再基于真实点云训练集对初始提取模型进一步训练,可以将从仿真点云数据学习到的知识迁移到真实点云数据,提高了线特征提取模型的训练准确率,后续可以直接基于线特征提取模型准确识别真实场景下的点云数据中的直线特征,然后基于直线特征对两帧点云数据进行匹配,提高点云数据的匹配准确率。
图3示出了根据本说明书一个实施例提供的一种点云匹配方法的流程图,包括步骤302至步骤306。
步骤302:获取采集到的两帧点云数据。
需要说明的是,可以通过激光传感器采集实际场景的点云数据,通过激光传感器进行点云数据采集时,以间隔一设定的行走距离d(如0.3m)的方式,采集多帧点云,或者以间隔设定的时间采集多帧点云,本说明书实施例中,以其中的两帧点云数据为例进行详细介绍,该两帧点云数据可以为激光传感器前后采集的第一帧点云数据和第二帧点云数据,在一些实施例中,该第一帧点云数据和第二帧点云数据可以为前后相邻关系,也可以为不相邻关系。
步骤304:将两帧点云数据输入至线特征提取模型,获得两帧点云数据中的直线点,其中,线特征提取模型基于上述线特征提取模型的训练方法训练得到。
需要说明的是,可以分别将两帧点云数据输入至线特征提取模型中,线特征提取模型可以识别出两帧点云数据中哪些点为直线点,从而获得两帧点云数据中的直线点。
步骤306:根据两帧点云数据中的直线点,对两帧点云数据进行点云匹配,获得两帧点云数据之间的位姿变换参数。
本实施例一个可选的实施方式中,两帧点云数据包括前后的第一帧点云数据和第二帧点云数据;根据两帧点云数据中的直线点,对两帧点云数据进行点云匹配,获得两帧点云数据之间的位姿变换参数,具体实现过程可以如下:
根据两帧点云数据中的直线点,分别确定两帧点云数据包括的直线;
对第一帧点云数据中的各条直线与在第二帧点云数据中对应的目标直线进行匹配,获得两帧点云数据之间的位姿变换参数。
实际应用中,线特征提取模型可以输出两帧点云数据中的直线点,基于两帧点云数据中的直线点,可以分别确定两帧点云数据包括的直线,然后对第一帧点云数据中的各条直线与在第二帧点云数据中对应的目标直线进行匹配,获得两帧点云数据之间的位姿变换参数,也即对两帧点云数据中相近的两条直线进行匹配,确定两帧点云数据之间的位姿变换参数。
需要说明的是,自动驾驶领域中,激光传感器可以连续采集实际场景图像,获得三维点云数据,为了确定前后两帧点云时刻车辆的移动,可以对采集到的前后两帧点云数据进行匹配,确定位姿变换。由于点特征稳定性和重复度不高,因而本申请实施例中预先基于伪造的仿真点云数据对点云检测器进行初始训练,然后基于初始训练的初始提取模型对真实点云数据打标签,之后基于真实点云数据进一步对该初始提取模型进一步训练。
在应用阶段,通过激光传感器采集到实际场景的两帧点云数据后,可以将两帧点云数据直接输入至训练好的线特征提取模型中,该线特征提取模型可以输出两帧点云数据中哪些点为直线点,然后可以基于直线特征对两帧点云进行匹配。
本说明书一个实施例提供了一种点云匹配方法,可以直接基于线特征提取模型准确识别真实场景下的点云数据中的直线点,基于直线特征对两帧点云数据进行匹配,适用于各种真实的三维点云场景,能够实现对非均匀点云的线特征提取,在单帧激光传感器扫描的点云数据中,基于线特征提取模型可以准确提取杆状物和面面交线等直线点,包括均匀平面与非均匀平面的交线,大大提高了点云数据的匹配准确率。
与上述方法实施例相对应,本说明书还提供了线特征提取模型的训练装置实施例,图4示出了本说明书一个实施例提供的一种线特征提取模型的训练装置的结构示意图。如图4所示,该装置包括:
构造模块402,被配置为构造仿真点云训练集,其中,仿真点云训练集包括第一设定数量个仿真样本点,仿真样本点携带第一线特征标签;
第一训练模块404,被配置为根据仿真点云训练集,对点云检测器进行训练得到初始提取模型;
第一确定模块406,被配置为获取至少两帧真实点云数据,并根据初始提取模型,确定至少两帧真实点云数据对应的参考线特征;
第二确定模块408,被配置为根据参考线特征,确定真实点云训练集,其中,真实点云训练集包括第二设定数量个真实样本点,真实样本点携带第二线特征标签;
第二训练模块410,被配置为根据真实点云训练集对初始提取模型进行训练,获得线特征提取模型。
可选地,构造模块402进一步被配置为:
根据至少两类预设顶点和边,构造至少两种网格模型;
对至少两种网格模型进行采样,获得至少两种网格模型对应的仿真点云数据;
为仿真点云数据中的仿真样本点设置第一线特征标签,其中,第一线特征标签用于指示仿真样本点为直线点或非直线点;
根据仿真点云数据,构造仿真点云训练集。
可选地,构造模块402进一步被配置为:
对至少两种网格模型的预设顶点和边进行线性插值,获得至少两种网格模型包括的直线样本点;
在仿真点云数据集的非直线样本点中搜索与直线样本点的距离小于距离阈值的扩展样本点;
将至少两种网格模型中的直线样本点和扩展样本点的第一线特征标签设置为直线点,并将其它样本点的第一线特征标签设置为非直线点。
可选地,构造模块402进一步被配置为:
从真实点云数据中获取第三设定数量个非直线样本点作为噪声数据;
根据预设比例,对仿真点云数据和噪声数据进行混合,获得仿真点云训练集。
可选地,第一训练模块404进一步被配置为:
将仿真点云训练集输入点云检测器,获得仿真点云训练集中各个仿真样本点的第一预测线特征;
根据各个仿真样本点的第一预测线特征和第一线特征标签,计算点云检测器的第一损失值,基于第一损失值调整点云检测器的参数,并返回执行构造仿真点云训练集的操作步骤,直至达到第一训练停止条件,获得训练完成的初始提取模型。
可选地,第一训练模块404进一步被配置为:
根据各个仿真样本点中正样本和负样本的比例,确定正样本和负样本的权重系数,其中,正样本为仿真样本点中第一线特征标签为直线点的点,负样本为仿真样本点中第一线特征标签为非直线点的点,正样本的权重系数大于负样本的权重系数;
根据正样本的第一预测线特征和第一线特征标签,计算点云检测器的第一子损失值;
根据负样本的第一预测线特征和第一线特征标签,计算点云检测器的第二子损失值;
根据正样本和负样本的权重系数,对第一子损失值和第二子损失值进行加权融合,获得点云检测器的第一损失值。
可选地,第二确定模块408进一步被配置为:
根据参考线特征,确定至少两帧真实点云数据的真实直线样本点中检出率大于检出率阈值的目标直线样本点;
对目标直线样本点进行扩充处理,获得扩充直线样本点,其中,扩充处理包括区域生长、最近邻插值和/或直线拟合处理;
将目标直线样本点和扩充直线样本点的第二线特征标签设置为直线点,并将其它样本点的第二线特征标签设置为非直线点,获得真实点云训练集。
可选地,第二训练模块410进一步被配置为:
将真实点云训练集输入初始提取模型,获得真实点云训练集中各个真实样本点的第二预测线特征;
根据各个真实样本点的第二预测线特征和第二线特征标签,计算初始提取模型的第二损失值,基于第二损失值调整初始提取模型的模型参数,并返回执行获取至少两帧真实点云数据的操作步骤,直至达到第二训练停止条件,获得训练完成的线特征提取模型。
本说明书一个实施例提供了一种线特征提取模型的训练装置,可以基于构造的仿真训练样本对点云检测器进行初步训练,然后使用初步训练得到的初始提取模型对真实点云数据打标签,获得真实点云训练集,然后再基于真实点云训练集对初始提取模型进一步训练,可以将从仿真点云数据学习到的知识迁移到真实点云数据,提高了线特征提取模型的训练准确率,后续可以直接基于线特征提取模型准确识别真实场景下的点云数据中的直线特征,然后基于直线特征对两帧点云数据进行匹配,提高点云数据的匹配准确率。
上述为本实施例的一种线特征提取模型的训练装置的示意性方案。需要说明的是,该线特征提取模型的训练装置的技术方案与上述的线特征提取模型的训练方法的技术方案属于同一构思,线特征提取模型的训练装置的技术方案未详细描述的细节内容,均可以参见上述线特征提取模型的训练方法的技术方案的描述。
与上述方法实施例相对应,本说明书还提供了线特征提取模型的训练装置实施例,图5示出了本说明书一个实施例提供的一种点云匹配装置的结构示意图。如图5所示,该装置包括:
获取模块502,被配置为获取采集到的两帧点云数据;
输入模块504,被配置为将两帧点云数据输入至线特征提取模型,获得两帧点云数据中的直线点,其中,线特征提取模型基于上述线特征提取模型的训练方法训练得到;
匹配模块504,被配置为根据两帧点云数据中的直线点,对两帧点云数据进行点云匹配,获得两帧点云数据之间的位姿变换参数。
可选地,两帧点云数据包括前后的第一帧点云数据和第二帧点云数据;匹配模块504进一步被配置为:
根据两帧点云数据中的直线点,分别确定两帧点云数据包括的直线;
对第一帧点云数据中的各条直线与在第二帧点云数据中对应的目标直线进行匹配,获得两帧点云数据之间的位姿变换参数。
本说明书一个实施例提供了一种点云匹配装置,可以直接基于线特征提取模型准确识别真实场景下的点云数据中的直线点,基于直线特征对两帧点云数据进行匹配,适用于各种真实的三维点云场景,能够实现对非均匀点云的线特征提取,在单帧激光传感器扫描的点云数据中,基于线特征提取模型可以准确提取杆状物和面面交线等直线点,包括均匀平面与非均匀平面的交线,大大提高了点云数据的匹配准确率。
上述为本实施例的一种点云匹配装置的示意性方案。需要说明的是,该点云匹配装置的技术方案与上述的点云匹配方法的技术方案属于同一构思,点云匹配装置的技术方案未详细描述的细节内容,均可以参见上述点云匹配方法的技术方案的描述。
图6示出了根据本说明书一个实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接,数据库650用于保存数据。
计算设备600还包括接入设备640,接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,NetworkInterface Controller))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,WirelessLocal Area Networks)无线接口、全球微波互联接入(Wi-MAX,WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near FieldCommunication)接口,等等。
在本说明书的一个实施例中,计算设备600的上述部件以及图6中未示出的其它部件也可以彼此相连接,例如通过总线。应当理解,图6所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其它部件。
计算设备600可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其它类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
其中,处理器620用于执行如下计算机可执行指令,以实现线特征提取模型的训练方法或者点云匹配方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的线特征提取模型的训练方法或者点云匹配方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述线特征提取模型的训练方法或者点云匹配方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于实现线特征提取模型的训练方法或者点云匹配方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的线特征提取模型的训练方法或者点云匹配方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述线特征提取模型的训练方法或者点云匹配方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
计算机指令包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种线特征提取模型的训练方法,包括:
构造仿真点云训练集,其中,所述仿真点云训练集包括第一设定数量个仿真样本点,所述仿真样本点携带第一线特征标签;
根据所述仿真点云训练集,对点云检测器进行训练得到初始提取模型;
获取至少两帧真实点云数据,并根据所述初始提取模型,确定所述至少两帧真实点云数据对应的参考线特征;
根据所述参考线特征,确定真实点云训练集,其中,所述真实点云训练集包括第二设定数量个真实样本点,所述真实样本点携带第二线特征标签;
根据所述真实点云训练集对所述初始提取模型进行训练,获得线特征提取模型。
2.根据权利要求1所述的线特征提取模型的训练方法,所述构造仿真点云训练集包括:
根据至少两类预设顶点和边,构造至少两种网格模型;
对所述至少两种网格模型进行采样,获得所述至少两种网格模型对应的仿真点云数据;
为所述仿真点云数据中的仿真样本点设置第一线特征标签,其中,所述第一线特征标签用于指示所述仿真样本点为直线点或非直线点;
根据所述仿真点云数据,构造所述仿真点云训练集。
3.根据权利要求2所述的线特征提取模型的训练方法,所述为所述仿真点云数据中的仿真样本点设置第一线特征标签,包括:
对所述至少两种网格模型的预设顶点和边进行线性插值,获得所述至少两种网格模型包括的直线样本点;
在所述仿真点云数据集的非直线样本点中搜索与所述直线样本点的距离小于距离阈值的扩展样本点;
将所述至少两种网格模型中的直线样本点和扩展样本点的第一线特征标签设置为直线点,并将其它样本点的第一线特征标签设置为非直线点。
4.根据权利要求2所述的线特征提取模型的训练方法,所述根据所述仿真点云数据,构造所述仿真点云训练集,包括:
从真实点云数据中获取第三设定数量个非直线样本点作为噪声数据;
根据预设比例,对所述仿真点云数据和所述噪声数据进行混合,获得所述仿真点云训练集。
5.根据权利要求1所述的线特征提取模型的训练方法,所述根据所述仿真点云训练集,对点云检测器进行训练得到初始提取模型,包括:
将所述仿真点云训练集输入所述点云检测器,获得所述仿真点云训练集中各个仿真样本点的第一预测线特征;
根据所述各个仿真样本点的第一预测线特征和第一线特征标签,计算所述点云检测器的第一损失值,基于所述第一损失值调整所述点云检测器的参数,并返回执行所述构造仿真点云训练集的操作步骤,直至达到第一训练停止条件,获得训练完成的初始提取模型。
6.根据权利要求5所述的线特征提取模型的训练方法,所述根据所述各个仿真样本点的第一预测线特征和第一线特征标签,计算所述点云检测器的第一损失值,包括:
根据所述各个仿真样本点中正样本和负样本的比例,确定所述正样本和所述负样本的权重系数,其中,所述正样本为所述仿真样本点中第一线特征标签为直线点的点,所述负样本为所述仿真样本点中第一线特征标签为非直线点的点,所述正样本的权重系数大于所述负样本的权重系数;
根据所述正样本的第一预测线特征和第一线特征标签,计算所述点云检测器的第一子损失值;
根据所述负样本的第一预测线特征和第一线特征标签,计算所述点云检测器的第二子损失值;
根据所述正样本和所述负样本的权重系数,对所述第一子损失值和所述第二子损失值进行加权融合,获得所述点云检测器的第一损失值。
7.根据权利要求1-6任一项所述的线特征提取模型的训练方法,所述根据所述参考线特征,确定真实点云训练集,包括:
根据所述参考线特征,确定所述至少两帧真实点云数据的真实直线样本点中检出率大于检出率阈值的目标直线样本点;
对所述目标直线样本点进行扩充处理,获得扩充直线样本点,其中,所述扩充处理包括区域生长、最近邻插值和/或直线拟合处理;
将所述目标直线样本点和所述扩充直线样本点的第二线特征标签设置为直线点,并将其它样本点的第二线特征标签设置为非直线点,获得所述真实点云训练集。
8.根据权利要求7所述的线特征提取模型的训练方法,所述根据所述真实点云训练集对所述初始提取模型进行训练,获得线特征提取模型,包括:
将所述真实点云训练集输入初始提取模型,获得所述真实点云训练集中各个真实样本点的第二预测线特征;
根据所述各个真实样本点的第二预测线特征和第二线特征标签,计算所述初始提取模型的第二损失值,基于所述第二损失值调整所述初始提取模型的模型参数,并返回执行获取至少两帧真实点云数据的操作步骤,直至达到第二训练停止条件,获得训练完成的线特征提取模型。
9.一种点云匹配方法,包括:
获取采集到的两帧点云数据;
将所述两帧点云数据输入至线特征提取模型,获得所述两帧点云数据中的直线点,其中,所述线特征提取模型基于上述权利要求1-8任一项所述的线特征提取模型的训练方法训练得到;
根据所述两帧点云数据中的直线点,对所述两帧点云数据进行点云匹配,获得所述两帧点云数据之间的位姿变换参数。
10.根据权利要求9所述的点云匹配方法,所述两帧点云数据包括前后的第一帧点云数据和第二帧点云数据;
所述根据所述两帧点云数据中的直线点,对所述两帧点云数据进行点云匹配,获得所述两帧点云数据之间的位姿变换参数,包括:
根据所述两帧点云数据中的直线点,分别确定所述两帧点云数据包括的直线;
对所述第一帧点云数据中的各条直线与在所述第二帧点云数据中对应的目标直线进行匹配,获得所述两帧点云数据之间的位姿变换参数。
11.一种线特征提取模型的训练装置,包括:
构造模块,被配置为构造仿真点云训练集,其中,所述仿真点云训练集包括第一设定数量个仿真样本点,所述仿真样本点携带第一线特征标签;
第一训练模块,被配置为根据所述仿真点云训练集,对点云检测器进行训练得到初始提取模型;
第一确定模块,被配置为获取至少两帧真实点云数据,并根据所述初始提取模型,确定所述至少两帧真实点云数据对应的参考线特征;
第二确定模块,被配置为根据所述参考线特征,确定真实点云训练集,其中,所述真实点云训练集包括第二设定数量个真实样本点,所述真实样本点携带第二线特征标签;
第二训练模块,被配置为根据所述真实点云训练集对所述初始提取模型进行训练,获得线特征提取模型。
12.一种点云匹配装置,包括:
获取模块,被配置为获取采集到的两帧点云数据;
输入模块,被配置为将所述两帧点云数据输入至线特征提取模型,获得所述两帧点云数据中的直线点,其中,所述线特征提取模型基于上述权利要求1-8任一项所述的线特征提取模型的训练方法训练得到;
匹配模块,被配置为根据所述两帧点云数据中的直线点,对所述两帧点云数据进行点云匹配,获得所述两帧点云数据之间的位姿变换参数。
13.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,以实现权利要求1至8任一项所述的线特征提取模型的训练方法或者权利要求9-10任一项所述的点云匹配方法的步骤。
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至8任一项所述的线特征提取模型的训练方法或者权利要求9-10任一项所述的点云匹配方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210361800.0A CN114943870A (zh) | 2022-04-07 | 2022-04-07 | 线特征提取模型的训练方法及装置、点云匹配方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210361800.0A CN114943870A (zh) | 2022-04-07 | 2022-04-07 | 线特征提取模型的训练方法及装置、点云匹配方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114943870A true CN114943870A (zh) | 2022-08-26 |
Family
ID=82906775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210361800.0A Pending CN114943870A (zh) | 2022-04-07 | 2022-04-07 | 线特征提取模型的训练方法及装置、点云匹配方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114943870A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116051925A (zh) * | 2023-01-04 | 2023-05-02 | 北京百度网讯科技有限公司 | 训练样本采集方法、装置、设备以及存储介质 |
CN116152770A (zh) * | 2023-04-19 | 2023-05-23 | 深圳佑驾创新科技有限公司 | 一种3d目标匹配模型建立方法及装置 |
-
2022
- 2022-04-07 CN CN202210361800.0A patent/CN114943870A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116051925A (zh) * | 2023-01-04 | 2023-05-02 | 北京百度网讯科技有限公司 | 训练样本采集方法、装置、设备以及存储介质 |
CN116051925B (zh) * | 2023-01-04 | 2023-11-10 | 北京百度网讯科技有限公司 | 训练样本采集方法、装置、设备以及存储介质 |
CN116152770A (zh) * | 2023-04-19 | 2023-05-23 | 深圳佑驾创新科技有限公司 | 一种3d目标匹配模型建立方法及装置 |
CN116152770B (zh) * | 2023-04-19 | 2023-09-22 | 深圳佑驾创新科技股份有限公司 | 一种3d目标匹配模型建立方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108152831B (zh) | 一种激光雷达障碍物识别方法及系统 | |
CN110335337B (zh) | 一种基于端到端半监督生成对抗网络的视觉里程计的方法 | |
Chen et al. | Automatic building information model reconstruction in high-density urban areas: Augmenting multi-source data with architectural knowledge | |
WO2019153245A1 (en) | Systems and methods for deep localization and segmentation with 3d semantic map | |
CN110189304B (zh) | 基于人工智能的光学遥感图像目标在线快速检测方法 | |
WO2021082745A1 (zh) | 信息补全方法、车道线识别方法、智能行驶方法及相关产品 | |
CN111612059A (zh) | 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法 | |
CN114943870A (zh) | 线特征提取模型的训练方法及装置、点云匹配方法及装置 | |
CN112347550A (zh) | 耦合式室内三维语义建图及建模方法 | |
CN113377888A (zh) | 训练目标检测模型和检测目标的方法 | |
CN113610070A (zh) | 一种基于多源数据融合的滑坡灾害识别方法 | |
Zelener et al. | Cnn-based object segmentation in urban lidar with missing points | |
CN111709988A (zh) | 一种物体的特征信息的确定方法、装置、电子设备及存储介质 | |
CN113536920A (zh) | 一种半监督三维点云目标检测方法 | |
CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
CN115147798A (zh) | 可行驶区域预测方法、模型、装置及车辆 | |
le Fevre Sejersen et al. | Safe vessel navigation visually aided by autonomous unmanned aerial vehicles in congested harbors and waterways | |
CN115496900A (zh) | 一种基于稀疏融合的在线碳语义地图构建方法 | |
CN117808689A (zh) | 基于毫米波雷达与摄像头融合的深度补全方法 | |
CN116678424A (zh) | 高精度车辆定位、矢量化地图构建及定位模型训练方法 | |
CN116503602A (zh) | 基于多层级边缘增强的非结构化环境三维点云语义分割方法 | |
CN113947774B (zh) | 一种轻量级的车辆目标检测系统 | |
CN115937520A (zh) | 基于语义信息引导的点云运动目标分割方法 | |
CN112651986B (zh) | 环境识别方法、识别装置、识别系统、电子设备及介质 | |
CN113096104B (zh) | 目标分割模型的训练方法及装置和目标分割方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20230718 Address after: 311121 Room 413, Floor 4, Building 3, No. 969, Wenyi West Road, Wuchang Subdistrict, Yuhang District, Hangzhou City, Zhejiang Province Applicant after: Zhejiang Cainiao Chuancheng Network Technology Co.,Ltd. Address before: 310052 room 508, 5th floor, building 4, No. 699 Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Applicant before: Alibaba (China) Co.,Ltd. |