CN116071720A - 一种基于激光雷达的车道线及车辆检测方法、设备及介质 - Google Patents
一种基于激光雷达的车道线及车辆检测方法、设备及介质 Download PDFInfo
- Publication number
- CN116071720A CN116071720A CN202310165272.6A CN202310165272A CN116071720A CN 116071720 A CN116071720 A CN 116071720A CN 202310165272 A CN202310165272 A CN 202310165272A CN 116071720 A CN116071720 A CN 116071720A
- Authority
- CN
- China
- Prior art keywords
- sample
- point cloud
- cloud data
- dimensional image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种基于激光雷达的车道线及车辆检测方法、设备及介质。方法包括:获取若干个样本数据组;其中,样本数据组包括样本点云数据与样本二维图像;对样本点云数据进行数据转换处理,以获得对应的样本鸟瞰图;以及,对样本二维图像中的车道线与车辆进行标注,以获得待训练二维图像;确定待训练二维图像为目标图像,将样本鸟瞰图输入预设的待训练多尺度卷积神经网络模型进行训练,直至获得收敛的待应用检测模型;获取待检测道路的待应用点云数据,并基于待应用点云数据及待应用检测模型,确定待检测道路的车道线及车辆。本申请通过上述方法实现了基于激光雷达数据识别车道线及车辆,以推进智能驾驶技术。
Description
技术领域
本申请涉及智能驾驶技术领域,尤其涉及一种基于激光雷达的车道线及车辆检测方法、设备及介质。
背景技术
随着国家快速的城市化增长,新型基础建设成为公众的焦点。在新基建涉及的细分领域中,5G、物联网、卫星互联网、人工智能、数据中心、智能交通基础设施均与智能驾驶技术密切相关,智能驾驶站在这几大领域的交汇处,将作为重点落地场景推动新基建的发展。智能驾驶技术中的感知功能是非常重要的,而且其感知设备丰富、感知数据模态多样、感知数据量大且任务输出复杂,机深度学习技术在其中得到了广泛应用,例如计算机视觉、自然语言处理及推荐系统等。
这些机器学习技术的成功应用,都是建立在大量数据的基础之上的。然而在实际应用场景中,较多的感知设备必将提高终端成本,让智能驾驶技术更难落地。使用一种感知设备实现智能驾驶技术将是一种趋势。激光雷达具有感知精度高、识别正确率高、数据更加直接的特点,处理点云数据对于智能驾驶系统芯片与算法压力更轻,更安全和可靠的,因此如何基于激光雷达数据识别车道线及车辆,以推进智能驾驶技术成为亟待解决的技术问题。
发明内容
本申请实施例提供了一种基于激光雷达的车道线及车辆检测方法、设备及介质,用以解决如下技术问题:如何基于激光雷达数据识别车道线及车辆,以推进智能驾驶技术。
第一方面,本申请实施例提供了一种基于激光雷达的车道线及车辆检测方法,其特征在于,方法包括:获取若干个样本数据组;其中,样本数据组包括样本点云数据与样本二维图像;对样本点云数据进行数据转换处理,以获得对应的样本鸟瞰图;以及,对样本二维图像中的车道线与车辆进行标注,以获得待训练二维图像;确定待训练二维图像为目标图像,将样本鸟瞰图输入预设的待训练多尺度卷积神经网络模型进行训练,直至获得收敛的待应用检测模型;获取待检测道路的待应用点云数据,并基于待应用点云数据及待应用检测模型,确定待检测道路的车道线及车辆。
在本申请的一种实现方式中,对样本点云数据进行数据转换处理,以获得对应的样本鸟瞰图,具体包括:根据预设的角度阈值,确定样本点云数据中的样本近地点云数据;根据预设的外参矩阵,将样本近地点云数据映射到样本二维图像对应的相机坐标系下,以获得样本映射点云数据;将样本映射点云数据进行鸟瞰投影,以获得初始样本鸟瞰图,并基于样本二维图像对初始样本鸟瞰图进行尺度变换,以使变换获得的样本鸟瞰图与样本二维图像对应的空间维度相同。
在本申请的一种实现方式中,根据预设的角度阈值,确定样本点云数据中的样本近地点云数据,具体包括:基于获取样本点云数据对应的激光雷达距离地面的高度,确定样本近地面点云数据对应的空间垂直坐标;基于激光雷达的扫描下限角度及预设的角度阈值,确定样本近地面点云数据的范围;基于空间垂直坐标与样本近地面点云数据的范围,确定样本点云数据中的样本近地点云数据。
在本申请的一种实现方式中,在根据预设的外参矩阵,将样本近地点云数据映射到样本二维图像对应的相机坐标系下之前,方法还包括:确定样本二维图像对应相机的相机参数及空间参数;其中,相机参数包括:相机焦距参数、相机光心参数;空间参数包括:激光雷达相对于相机的旋转角度与平移距离;基于相机参数与空间,确定样本近地点云数据与样本二维图像中各点的空间坐标转换关系,并基于空间坐标转换关系,确定外参矩阵。
在本申请的一种实现方式中,获取待检测道路的待应用点云数据,并基于待应用点云数据及待应用检测模型,确定待检测道路的车道线及车辆,具体包括:确定待应用点云数据中的待应用近地点云数据;基于预设的外参矩阵,确定待应用近地点云数据对应的相机坐标系下的待应用映射点云数据;对待应用映射点云数据进行进行鸟瞰投影及尺度变换,以获得待应用鸟瞰图;将待应用鸟瞰图输入待应用检测模型,以确定待检测道路的车道线及车辆。
在本申请的一种实现方式中,待训练多尺度卷积神经网络模型包括:输入层、预设数量个跳层连接层、拼接层、大尺寸目标输出层、车道线输出层、中尺寸目标输出层、小尺寸目标输出层。
在本申请的一种实现方式中,跳层连接层由卷积层构成,用于对输入数据进行特征提取;车道线输出层用于输出车道线的检测结果;大尺寸目标输出层、中尺寸目标输出层及小尺寸目标输出层用于输出车辆或者其它目标的检测结果;其它目标至少包括:人、指示牌。
在本申请的一种实现方式中,样本数据组中的样本点云数据与样本二维图像相同时间戳。
第二方面,本申请实施例还提供了一种基于激光雷达的车道线及车辆检测设备,其特征在于,设备包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够:获取若干个样本数据组;其中,样本数据组包括样本点云数据与样本二维图像;对样本点云数据进行数据转换处理,以获得对应的样本鸟瞰图;以及,对样本二维图像中的车道线与车辆进行标注,以获得待训练二维图像;确定待训练二维图像为目标图像,将样本鸟瞰图输入预设的待训练多尺度卷积神经网络模型进行训练,直至获得收敛的待应用检测模型;获取待检测道路的待应用点云数据,并基于待应用点云数据及待应用检测模型,确定待检测道路的车道线及车辆。
第三方面,本申请实施例还提供了一种基于激光雷达的车道线及车辆检测的非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,计算机可执行指令设置为:获取若干个样本数据组;其中,样本数据组包括样本点云数据与样本二维图像;对样本点云数据进行数据转换处理,以获得对应的样本鸟瞰图;以及,对样本二维图像中的车道线与车辆进行标注,以获得待训练二维图像;确定待训练二维图像为目标图像,将样本鸟瞰图输入预设的待训练多尺度卷积神经网络模型进行训练,直至获得收敛的待应用检测模型;获取待检测道路的待应用点云数据,并基于待应用点云数据及待应用检测模型,确定待检测道路的车道线及车辆。
本申请实施例提供的一种基于激光雷达的车道线及车辆检测方法、设备及介质,通过使用智能驾驶终端在行驶过程中采集点云的数据,以新提出的多尺度深度卷积网络,来检测车道线以及车辆;采用深度学习技术联合智能驾驶终端激光雷达进行模型迭代更新,区别于传统的相机识别方法,来减少智能驾驶终端硬件设备,降低智能驾驶硬件成本,为智能驾驶提供了另外一种实现思路。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种基于激光雷达的车道线及车辆检测方法流程图;
图2为本申请实施例提供的一种近地点云数据确定图;
图3为本申请实施例提供的一种跳层连接层示意图;
图4为本申请实施例提供的一种待训练多尺度卷积神经网络模型示意图;
图5为本申请实施例提供的一种基于激光雷达的车道线及车辆检测设备内部结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种基于激光雷达的车道线及车辆检测方法、设备及介质,用以解决如下技术问题:如何基于激光雷达数据识别车道线及车辆,以推进智能驾驶技术。
下面通过附图对本申请实施例提出的技术方案进行详细的说明。
图1为本申请实施例提供的一种基于激光雷达的车道线及车辆检测方法流程图。如图1所示,本申请实施例提供的一种基于激光雷达的车道线及车辆检测方法,具体包括以下步骤:
步骤101、获取若干个样本数据组。
在本申请的一个实施例中,样本数据组包括样本点云数据与样本二维图像。其中,样本点云数据来源于设置于驾驶车辆的激光雷达,样本二维图像来源于设置于驾驶车辆的相机。可以理解的是,本申请的样本数据组中的样本点云数据与样本二维图像相同时间戳。
步骤102、对样本点云数据进行数据转换处理,以获得对应的样本鸟瞰图;以及,对样本二维图像中的车道线与车辆进行标注,以获得待训练二维图像。
在本申请的一个实施例中,在获取若干个样本数据组之后,首先对样本点云数据进行数据转换处理,以获得对应的样本鸟瞰图。
具体地,首先根据预设的角度阈值,确定样本点云数据中的样本近地点云数据,如图2所示,图2为本申请实施例提供的一种近地点云数据确定图。
基于获取样本点云数据对应的激光雷达距离地面的高度,确定样本近地面点云数据对应的空间垂直坐标;基于激光雷达的扫描下限角度及预设的角度阈值,确定样本近地面点云数据的范围;基于空间垂直坐标与样本近地面点云数据的范围,确定样本点云数据中的样本近地点云数据。
进一步地,根据预设的外参矩阵,将样本近地点云数据映射到样本二维图像对应的相机坐标系下,以获得样本映射点云数据;将样本映射点云数据进行鸟瞰投影,以获得初始样本鸟瞰图,并基于样本二维图像对初始样本鸟瞰图进行尺度变换,以使变换获得的样本鸟瞰图与样本二维图像对应的空间维度相同。
在本申请的一个实施例中,在根据预设的外参矩阵,将样本近地点云数据映射到样本二维图像对应的相机坐标系下之前,需要确定外参矩阵。
具体地,确定样本二维图像对应相机的相机参数及空间参数;其中,相机参数包括:相机焦距参数、相机光心参数;空间参数包括:激光雷达相对于相机的旋转角度与平移距离;基于相机参数与空间,确定样本近地点云数据与样本二维图像中各点的空间坐标转换关系,并基于空间坐标转换关系,确定外参矩阵。
步骤103、确定待训练二维图像为目标图像,将样本鸟瞰图输入预设的待训练多尺度卷积神经网络模型进行训练,直至获得收敛的待应用检测模型。
在本申请的一个实施例中,在确定样本鸟瞰图与待训练二维图像后,确定待训练二维图像为目标图像,将样本鸟瞰图输入预设的待训练多尺度卷积神经网络模型进行训练,直至获得收敛的待应用检测模型。
需要说明的是,卷积神经网络(CNN)主要由输入层、隐藏层、全连接层以及输出层组成。输入层可以处理多维数据,常见地,一维卷积神经网络的输入层接收一维或二维数组;二维数组可能包含多个通道;二维卷积神经网络的输入层接收二维或三维数组;三维卷积神经网络的输入层接收四维数组。隐藏层主要包括了卷积层和池化层,卷积层的功能是对输入数据进行特征提取,其内部包含多个卷积核,组成卷积核的每个元素都对应一个权重系数和一个偏差量。而池化层是在卷积层进行特征提取后,对输出的特征图进行特征选择和信息过滤,来避免卷积神经网络的过拟合情况。全连接层主要负责将卷积输出的二维特征图转化成一维的一个向量,由此实现了端到端的学习过程。输出层使用逻辑函数或归一化函数输出分类标签,在物体识别问题中,输出层可设计为输出物体的中心坐标、大小和分类,在图像语义分割中,输出层直接输出每个像素的分类结果。在更新深度神经网络的参数时,通常都是通过从网络的输出层开始由后向输入层计算每一层的梯度。由于梯度通常是小于1的数值,当层数很多的时候,梯度就会变得越来越小。最终,出现梯度消失的问题。当梯度无限接近于0,网络就没有办法更新学习了。
为了解决这个问题,本申请实施例引入跳层连接层:简言之,在深度网络的中间层额外加入浅层的输入,使得梯度的“路径”不再那么长。类似提供一个复合路径,在原来的“长路径”的基础上,现在额外添加一个“捷径”。跳层连接在本质上就是额外提供一个计算梯度的“捷径”。跳层连接层如图3所示,图3为本申请实施例提供的一种跳层连接层示意图。其中,CL是卷积层的缩写。
在本申请的一个实施例中,待训练多尺度卷积神经网络模型包括:输入层、预设数量个跳层连接层、拼接层、大尺寸目标输出层、车道线输出层、中尺寸目标输出层、小尺寸目标输出层。
在本申请的一个实施例中,跳层连接层由卷积层构成,用于对输入数据进行特征提取;车道线输出层用于输出车道线的检测结果;大尺寸目标输出层、中尺寸目标输出层及小尺寸目标输出层用于输出车辆或者其它目标的检测结果;其它目标至少包括:人、指示牌。
可以理解的是,本申请待训练多尺度卷积神经网络模型去掉了池化层以及全连接层,增添了更多的卷积层来提出特征,最后不同尺度的特征图通过输出层完成不同的任务。图4为本申请实施例提供的一种待训练多尺度卷积神经网络模型示意图,其中,SCL为跳层连接层,IL为输入层,OUT为输出层,CN为拼接层,如图4所示,本申请待训练多尺度卷积神经网络模型总共包含了四个输出层。图4虚线包围的是主干网络,可选的使用50层SCL,用于提取特征;可选的,第四个输出层分支与第三个输出层分支在主干网络的第10以及25层SCL处分出,用于检测小和中尺寸目标;可选的,在在主干网络的第50层SCL处有两个输出,一个用于检测大尺寸目标,另一个会经过CN层拼接第10以及25层过来的特征,用于检测车道线。
步骤104、获取待检测道路的待应用点云数据,并基于待应用点云数据及待应用检测模型,确定待检测道路的车道线及车辆。
在本申请的一个实施例中,在待应用检测模型后,确定获取待检测道路的待应用点云数据,并基于待应用点云数据及待应用检测模型,确定待检测道路的车道线及车辆。
具体地,确定待应用点云数据中的待应用近地点云数据;基于预设的外参矩阵,确定待应用近地点云数据对应的相机坐标系下的待应用映射点云数据;对待应用映射点云数据进行进行鸟瞰投影及尺度变换,以获得待应用鸟瞰图;将待应用鸟瞰图输入待应用检测模型,以确定待检测道路的车道线及车辆。
以上为本申请提出的方法实施例。基于同样的发明构思,本申请实施例还提供了一种基于激光雷达的车道线及车辆检测设备,其结构如图2所示。
图5为本申请实施例提供的一种基于激光雷达的车道线及车辆检测设备内部结构示意图。如图5所示,设备包括:
至少一个处理器501;
以及,与至少一个处理器通信连接的存储器502;
其中,存储器502存储有可被至少一个处理器执行的指令,指令被至少一个处理器501执行,以使至少一个处理器501能够:
获取若干个样本数据组;其中,样本数据组包括样本点云数据与样本二维图像;
对样本点云数据进行数据转换处理,以获得对应的样本鸟瞰图;以及,对样本二维图像中的车道线与车辆进行标注,以获得待训练二维图像;
确定待训练二维图像为目标图像,将样本鸟瞰图输入预设的待训练多尺度卷积神经网络模型进行训练,直至获得收敛的待应用检测模型;
获取待检测道路的待应用点云数据,并基于待应用点云数据及待应用检测模型,确定待检测道路的车道线及车辆。
本申请的一些实施例提供的对应于图1的一种基于激光雷达的车道线及车辆检测的非易失性计算机存储介质,存储有计算机可执行指令,计算机可执行指令设置为:
获取若干个样本数据组;其中,样本数据组包括样本点云数据与样本二维图像;
对样本点云数据进行数据转换处理,以获得对应的样本鸟瞰图;以及,对样本二维图像中的车道线与车辆进行标注,以获得待训练二维图像;
确定待训练二维图像为目标图像,将样本鸟瞰图输入预设的待训练多尺度卷积神经网络模型进行训练,直至获得收敛的待应用检测模型;
获取待检测道路的待应用点云数据,并基于待应用点云数据及待应用检测模型,确定待检测道路的车道线及车辆。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于物联网设备和介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例提供的系统和介质与方法是一一对应的,因此,系统和介质也具有与其对应的方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述系统和介质的有益技术效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于激光雷达的车道线及车辆检测方法,其特征在于,所述方法包括:
获取若干个样本数据组;其中,所述样本数据组包括样本点云数据与样本二维图像;
对所述样本点云数据进行数据转换处理,以获得对应的样本鸟瞰图;以及,对所述样本二维图像中的车道线与车辆进行标注,以获得待训练二维图像;
确定所述待训练二维图像为目标图像,将所述样本鸟瞰图输入预设的待训练多尺度卷积神经网络模型进行训练,直至获得收敛的待应用检测模型;
获取待检测道路的待应用点云数据,并基于所述待应用点云数据及所述待应用检测模型,确定所述待检测道路的车道线及车辆。
2.根据权利要求1所述的一种基于激光雷达的车道线及车辆检测方法,其特征在于,对所述样本点云数据进行数据转换处理,以获得对应的样本鸟瞰图,具体包括:
根据预设的角度阈值,确定所述样本点云数据中的样本近地点云数据;
根据预设的外参矩阵,将所述样本近地点云数据映射到所述样本二维图像对应的相机坐标系下,以获得样本映射点云数据;
将所述样本映射点云数据进行鸟瞰投影,以获得初始样本鸟瞰图,并基于所述样本二维图像对所述初始样本鸟瞰图进行尺度变换,以使变换获得的样本鸟瞰图与所述样本二维图像对应的空间维度相同。
3.根据权利要求2所述的一种基于激光雷达的车道线及车辆检测方法,其特征在于,根据预设的角度阈值,确定所述样本点云数据中的样本近地点云数据,具体包括:
基于获取样本点云数据对应的激光雷达距离地面的高度,确定所述样本近地面点云数据对应的空间垂直坐标;
基于激光雷达的扫描下限角度及预设的角度阈值,确定所述样本近地面点云数据的范围;
基于所述空间垂直坐标与所述样本近地面点云数据的范围,确定所述样本点云数据中的样本近地点云数据。
4.根据权利要求2所述的一种基于激光雷达的车道线及车辆检测方法,其特征在于,在根据预设的外参矩阵,将所述样本近地点云数据映射到所述样本二维图像对应的相机坐标系下之前,所述方法还包括:
确定所述样本二维图像对应相机的相机参数及空间参数;其中,所述相机参数包括:相机焦距参数、相机光心参数;所述空间参数包括:激光雷达相对于相机的旋转角度与平移距离;
基于所述相机参数与所述空间,确定所述样本近地点云数据与所述样本二维图像中各点的空间坐标转换关系,并基于所述空间坐标转换关系,确定所述外参矩阵。
5.根据权利要求1所述的一种基于激光雷达的车道线及车辆检测方法,其特征在于,获取待检测道路的待应用点云数据,并基于所述待应用点云数据及所述待应用检测模型,确定所述待检测道路的车道线及车辆,具体包括:
确定所述待应用点云数据中的待应用近地点云数据;
基于预设的外参矩阵,确定所述待应用近地点云数据对应的相机坐标系下的待应用映射点云数据;
对所述待应用映射点云数据进行进行鸟瞰投影及尺度变换,以获得待应用鸟瞰图;
将所述待应用鸟瞰图输入所述待应用检测模型,以确定所述待检测道路的车道线及车辆。
6.根据权利要求1所述的一种基于激光雷达的车道线及车辆检测方法,其特征在于,所述待训练多尺度卷积神经网络模型包括:输入层、预设数量个跳层连接层、拼接层、大尺寸目标输出层、车道线输出层、中尺寸目标输出层、小尺寸目标输出层。
7.根据权利要求6所述的一种基于激光雷达的车道线及车辆检测方法,其特征在于,所述跳层连接层由卷积层构成,用于对输入数据进行特征提取;所述车道线输出层用于输出车道线的检测结果;所述大尺寸目标输出层、中尺寸目标输出层及小尺寸目标输出层用于输出车辆或者其它目标的检测结果;所述其它目标至少包括:人、指示牌。
8.根据权利要求1所述的一种基于激光雷达的车道线及车辆检测方法,其特征在于,所述样本数据组中的所述样本点云数据与所述样本二维图像相同时间戳。
9.一种基于激光雷达的车道线及车辆检测设备,其特征在于,所述设备包括:
至少一个处理器;
以及,与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取若干个样本数据组;其中,所述样本数据组包括样本点云数据与样本二维图像;
对所述样本点云数据进行数据转换处理,以获得对应的样本鸟瞰图;以及,对所述样本二维图像中的车道线与车辆进行标注,以获得待训练二维图像;
确定所述待训练二维图像为目标图像,将所述样本鸟瞰图输入预设的待训练多尺度卷积神经网络模型进行训练,直至获得收敛的待应用检测模型;
获取待检测道路的待应用点云数据,并基于所述待应用点云数据及所述待应用检测模型,确定所述待检测道路的车道线及车辆。
10.一种基于激光雷达的车道线及车辆检测的非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令设置为:
获取若干个样本数据组;其中,所述样本数据组包括样本点云数据与样本二维图像;
对所述样本点云数据进行数据转换处理,以获得对应的样本鸟瞰图;以及,对所述样本二维图像中的车道线与车辆进行标注,以获得待训练二维图像;
确定所述待训练二维图像为目标图像,将所述样本鸟瞰图输入预设的待训练多尺度卷积神经网络模型进行训练,直至获得收敛的待应用检测模型;
获取待检测道路的待应用点云数据,并基于所述待应用点云数据及所述待应用检测模型,确定所述待检测道路的车道线及车辆。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310165272.6A CN116071720A (zh) | 2023-02-23 | 2023-02-23 | 一种基于激光雷达的车道线及车辆检测方法、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310165272.6A CN116071720A (zh) | 2023-02-23 | 2023-02-23 | 一种基于激光雷达的车道线及车辆检测方法、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116071720A true CN116071720A (zh) | 2023-05-05 |
Family
ID=86169834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310165272.6A Pending CN116071720A (zh) | 2023-02-23 | 2023-02-23 | 一种基于激光雷达的车道线及车辆检测方法、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116071720A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116343158A (zh) * | 2023-05-12 | 2023-06-27 | 九识(苏州)智能科技有限公司 | 车道线检测模型的训练方法、装置、设备及存储介质 |
CN117745720A (zh) * | 2024-02-19 | 2024-03-22 | 成都数之联科技股份有限公司 | 一种车辆外观检测方法、装置、设备及存储介质 |
-
2023
- 2023-02-23 CN CN202310165272.6A patent/CN116071720A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116343158A (zh) * | 2023-05-12 | 2023-06-27 | 九识(苏州)智能科技有限公司 | 车道线检测模型的训练方法、装置、设备及存储介质 |
CN116343158B (zh) * | 2023-05-12 | 2023-08-15 | 九识(苏州)智能科技有限公司 | 车道线检测模型的训练方法、装置、设备及存储介质 |
CN117745720A (zh) * | 2024-02-19 | 2024-03-22 | 成都数之联科技股份有限公司 | 一种车辆外观检测方法、装置、设备及存储介质 |
CN117745720B (zh) * | 2024-02-19 | 2024-05-07 | 成都数之联科技股份有限公司 | 一种车辆外观检测方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210390329A1 (en) | Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium | |
CN116071720A (zh) | 一种基于激光雷达的车道线及车辆检测方法、设备及介质 | |
CN111738165B (zh) | 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法 | |
CN113284163B (zh) | 基于车载激光雷达点云的三维目标自适应检测方法及系统 | |
CN110930453B (zh) | 目标物体定位方法、装置及可读存储介质 | |
CN113076871A (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
CN111797836A (zh) | 一种基于深度学习的地外天体巡视器障碍物分割方法 | |
CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
CN116246119A (zh) | 3d目标检测方法、电子设备及存储介质 | |
CN113449741A (zh) | 一种基于语义推断和图像理解的遥感影像定位方法及系统 | |
CN116503760A (zh) | 基于自适应边缘特征语义分割的无人机巡航检测方法 | |
CN115497061A (zh) | 一种基于双目视觉的道路可行驶区域识别方法及装置 | |
CN112699711A (zh) | 车道线检测方法、装置、存储介质及电子设备 | |
CN113808142A (zh) | 一种地面标识的识别方法、装置、电子设备 | |
CN114638996A (zh) | 基于对抗学习的模型训练方法、装置、设备和存储介质 | |
CN116662930A (zh) | 一种基于地面移动激光雷达的道路标识生成方法和系统 | |
CN113569600A (zh) | 物体重识别的方法、装置、电子设备及存储介质 | |
CN115035404A (zh) | 基于三维激光雷达构建语义地图的方法及系统 | |
CN111435086B (zh) | 基于拼接图的导航方法和装置 | |
CN111435537A (zh) | 模型训练方法、装置及基于拼接图的位姿优化方法、装置 | |
CN115830560A (zh) | 一种基于深度分割模型的激光雷达检测车道线方法 | |
CN117593454B (zh) | 三维重建与目标表面平面点云生成方法 | |
CN118552501A (zh) | 一种二维码质量检测方法、设备及介质 | |
CN109919046B (zh) | 一种基于关系特征的三维点云特征学习方法和装置 | |
CN117893771A (zh) | 一种基于多模态融合的三维目标检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |