CN117302263A - 一种可行驶区域检测方法、装置、设备及存储介质 - Google Patents

一种可行驶区域检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117302263A
CN117302263A CN202311304152.6A CN202311304152A CN117302263A CN 117302263 A CN117302263 A CN 117302263A CN 202311304152 A CN202311304152 A CN 202311304152A CN 117302263 A CN117302263 A CN 117302263A
Authority
CN
China
Prior art keywords
point cloud
target
grid
cloud data
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311304152.6A
Other languages
English (en)
Inventor
梁誉耀
赵承辉
田磊
杨孟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China National Heavy Duty Truck Group Jinan Power Co Ltd
Original Assignee
China National Heavy Duty Truck Group Jinan Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China National Heavy Duty Truck Group Jinan Power Co Ltd filed Critical China National Heavy Duty Truck Group Jinan Power Co Ltd
Priority to CN202311304152.6A priority Critical patent/CN117302263A/zh
Publication of CN117302263A publication Critical patent/CN117302263A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种可行驶区域检测方法，包括：根据激光雷达设备采集的当前车辆周边的道路及障碍物信息生成点云数据；将点云数据投影至二维坐标系下的二维栅格图内；根据点云数据中的点云在每个栅格内呈现的高度值，至少从二维栅格图中分割出语义为可行驶区域的目标栅格，其中，高度值为点云在点云数据中对应的竖直方向上的高度值；根据目标栅格对点云数据进行重构得到目标三维点云数据；根据目标三维点云数据确定车辆可行驶区域，从而既能降低点云数据的处理难度，提升处理速度，又能有效提升检测的准确性。

Description

一种可行驶区域检测方法、装置、设备及存储介质
技术领域
本申请涉及车辆驾驶技术领域，尤其涉及一种可行驶区域检测方法、装置及存储介质。
背景技术
露天矿区场景中的车辆行驶速度相对较低，交通流量较小，且运输任务和路线通常具有高度的重复性，非常适合自动驾驶车辆的应用。但与结构化道路不同，露天矿区是典型的非结构化道路，具有地形复杂、环境恶劣、道路边界不规则、路面粗糙等特点，车辆在这种道路上行驶时具有较大的安全隐患，因此准确识别露天矿区道路的可行驶区域至关重要。通过可行驶区域检测，车辆可以实时感知道路的情况，做出合理的导航和路径规划决策，从而确保行车安全并提升自动驾驶系统的性能。
在可行驶区域检测中，图像和点云数据都是常用的信息源。然而，矿区场景中可行驶区域与边界的色彩度区分不明显，特别是在光照不足或者遭遇强烈的反射光照时，相机会受到干扰，导致图像质量下降，从而影响分割的准确性。此外，通过相机获取的图像数据无法提供真实的三维空间信息，难以识别立体结构，对于复杂的矿区道路存在一定的局限性。相比之下，激光雷达在矿区可行驶区域检测中具有明显优势。激光雷达不受光照条件的干扰，能够在各种光照条件下提供稳定准确的物体位置和形状信息，这使得激光雷达在进行可行驶区域检测方面更加可靠。通过激光雷达采集点云数据，自动驾驶系统能够更准确地感知周围环境，识别出道路、障碍物和其他重要目标，从而为车辆的自动行驶提供有力的支持。
目前基于激光雷达的露天矿区可行驶区域检测通常采用传统点云处理算法，依赖于手工设计特征提取器，过程繁琐且容易受到噪声的干扰，导致特征提取的准确性有限。且在复杂的露天矿区道路环境中，点云数据存在大量的噪声、不规则形状以及遮挡情况等，传统算法在处理这些复杂场景时，可能无法有效地检测出可行驶区域，从而导致露天矿区可行驶区域检测准确性不高、鲁棒性不强。
发明内容
本申请提供了一种可行驶区域检测方法、装置及存储介质，以解决现有技术中露天矿区可行驶区域检测准确性不高、鲁棒性不强的问题。
为了解决上述问题，本申请采用如下技术方案：
本申请第一方面提供一种可行驶区域检测方法，包括：
根据激光雷达设备采集的当前车辆周边的道路及障碍物信息生成点云数据；
将所述点云数据投影至二维坐标系下的二维栅格图内；
根据所述点云数据中的点云在每个栅格内呈现的高度值，至少从所述二维栅格图中分割出语义为可行驶区域的目标栅格，其中，所述高度值为所述点云在所述点云数据中对应的竖直方向上的高度值；
根据所述目标栅格对所述点云数据进行重构得到目标三维点云数据；
根据所述目标三维点云数据确定车辆可行驶区域。
在一种可能的设计中，所述道路及障碍物信息包括所述车辆正前方和所述车辆左右两侧的道路及障碍物信息。
在一种可能的设计中，在将所述点云数据投影至二维坐标系下的二维栅格图内之前，还包括：
删除所述点云数据中超出所述车辆周边的预设测量距离的点云。
在一种可能的设计中，根据所述点云数据中的点云在每个栅格内呈现的高度值，至少从所述二维栅格图分割出语义为可行驶区域的目标栅格，包括：
根据所述点云数据中的所述点云在每个栅格内呈现的高度值，获取每个所述栅格的目标特征；
根据所述目标特征生成三通道图像；
对所述三通道图像进行语义分割，得到语义为可行驶区域或障碍物的目标栅格。
在一种可能的设计中，所述根据所述点云数据中的点云在每个栅格内呈现的高度值，获取每个所述栅格的目标特征，包括：
获取每个所述栅格内的每个所述点云的高度值；
将所有所述高度值中的最大值作为目标高度；
将所有所述高度值之间的最大差值作为目标高度差值；
将所有所述高度值的平均值作为目标平均高度；
将所述目标高度、所述目标高度差值和所述目标平均高度作为所述栅格的所述目标特征。
在一种可能的设计中，所述对所述三通道图像进行语义分割，得到语义为可行驶区域或障碍物的目标栅格，包括：
若所述目标高度小于或等于第一阈值，所述目标高度差值小于或等于第二阈值，所述目标平均高度小于或等于第三阈值，则确定所述栅格为语义是可行驶区域的目标栅格，否则所述栅格为语义是障碍物的目标栅格。
在一种可能的设计中，所述根据所述目标栅格对所述点云数据进行重构得到目标三维点云数据，包括：
将每个所述目标栅格对应的语义赋予所述目标栅格包含的所述点云，得到带有语义的目标点云；
将所述目标点云组成的点云数据作为所述目标三维点云数据。
本申请第二方面提供一种可行驶区域的检测装置，包括：
通信模块，获取根据激光雷达设备采集的当前车辆周边的道路及障碍物信息生成的点云数据；
处理模块，用于将所述点云数据投影至二维坐标系下的二维栅格图内；根据所述点云数据中的点云在每个栅格内呈现的高度值，至少从所述二维栅格图中分割出语义为可行驶区域的目标栅格，其中，所述高度值为所述点云在所述点云数据中对应的竖直方向上的高度值；根据所述目标栅格对所述点云数据进行重构得到目标三维点云数据；根据所述目标三维点云数据确定车辆可行驶区域。
本申请第三方面提供一种可行驶区域的检测设备，包括存储器和处理器；
其中，所述存储器用于存储计算机执行指令；
所述处理器用于执行所述存储器存储的计算机执行指令，以实现如第一方面所述的可行驶区域检测方法。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的可行驶区域检测方法。
本申请提供的可行驶区域的检测方法、装置、设备及存储介质，先通过激光雷达设备采集当前车辆周边的道路及障碍物信息生成点云数据，然后将点云数据投影至二维坐标系下的二维栅格图内，并根据点云在每个栅格内呈现的高度值至少从二维栅格图中分割出语义为可行驶区域的目标栅格，最后根据目标栅格对点云数据进行重构得到目标三维点云数据，并通过目标三维点云数据确定车辆可行驶区域，这使得点云数据的处理方法更为简单，且可降低噪声干扰，从而有效提高露天矿区可行驶区域检测的准确性，并增强鲁棒性，确保行车安全并提升自动驾驶系统的性能。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的可行驶区域检测方法的流程示意图一；
图2为本申请实施例提供的可行驶区域检测方法的流程示意图二；
图3为点云数据投影至二维栅格图内的示意图；
图4为三通道图像含义的示意图；
图5为本申请实施例提供的可行驶区域的检测装置的结构示意图；
图6为本申请实施例提供的可行驶区域的检测设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。
本申请涉及到的部分名词含义：
点云数据：是指一个三维坐标系统中的一组向量的集合，这些向量通常以X、Y、Z三维坐标的形式表示，且一般主要用来代表一个物体的外表形状，同时，点云数据还可以表示一个点的RGB颜色、灰度值、深度和分割结果等。
激光雷达：是一种通过发射激光脉冲来获取目标物体空间位置、姿态和速度等信息的传感器，主要由激光发射器、接收器、控制器、电源和机械结构组成，激光雷达可扫描车辆周围的环境来生成三维的点云数据。
在露天矿区的可行驶区域检测中，图像和点云数据都是常用的信息源。然而，矿区场景中可行驶区域与边界的色彩度区分不明显，特别是在光照不足或者遭遇强烈的反射光照时，相机会受到干扰，导致图像质量下降，从而影响分割的准确性。此外，通过相机获取的图像数据无法提供真实的三维空间信息，难以识别立体结构，对于复杂的矿区道路存在一定的局限性。
相比之下，激光雷达在矿区可行驶区域检测中具有明显优势。激光雷达不受光照条件的干扰，能够在各种光照条件下提供稳定准确的物体位置和形状信息，这使得激光雷达在进行可行驶区域检测方面更加可靠。通过激光雷达采集点云数据，自动驾驶系统能够更准确地感知周围环境，识别出道路、障碍物和其他重要目标，从而为车辆的自动行驶提供有力的支持。
目前基于激光雷达的露天矿区可行驶区域检测通常采用传统点云处理算法，其依赖于手工设计特征提取器，过程繁琐且容易受到噪声的干扰，导致特征提取的准确性有限。且在复杂的露天矿区道路环境中，点云数据存在大量的噪声、不规则形状以及遮挡情况等，传统算法在处理这些复杂场景时，可能无法有效地检测出可行驶区域，从而导致露天矿区可行驶区域检测准确性不高、鲁棒性不强。
为了避免出现上述问题，本申请提供一种可行驶区域检测方法，在激光雷达设备采集点云数据后，对点云数据进行栅格化处理，并进行语义分割，再根据分割结果再对点云数据进行重构即可获得目标三维点云数据，使得点云数据的处理方法更为简单，并且不易受噪声干扰，从而有效检测车辆可行驶区域，使得检测的准确性提高，且鲁棒性强。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
请参见图1所示，本实施例提供一种可行驶区域检测方法，以使自动驾驶车辆能有效识别露天矿区中的可行驶区域，其包括：
S101.根据激光雷达设备采集的当前车辆周边的道路及障碍物信息生成点云数据；
具体来说，可以在车身上安装激光雷达设备，通过激光雷达设备采集车辆周边的道路及障碍物信息，当然，激光雷达设备的安装位置及数量均可以根据需要采集的信息来进行确定。
在一些可能的实施方式中，激光雷达设备可以安装在车辆的前侧位置，在车辆前行时，激光雷达设备可以直接扫描车辆前进方向的正前方及其左右两侧的道路及障碍物信息，生成点云数据。
其中，点云数据包含三维点云中每个点在激光雷达坐标系下的x、y、z值，其中，X轴正方向为车辆的前进方向，Y轴正方向为车辆前进方向的左侧，Z轴正方向为竖直向上。
另外，激光雷达设备如何将采集的信息生成为激光雷达坐标系下的点云数据，是本领域的公知常识，在此就不再进行赘述。
S102.将点云数据投影至二维坐标系下的二维栅格图内；
具体来说，将点云数据投影至二维坐标系下的栅格图内是指保留点云位于激光雷达坐标系下的z值信息，将点云的(x，y)坐标值依据坐标转化公式映射到二维栅格图中。
S103.根据点云数据中的点云在每个栅格内呈现的高度值，至少从二维栅格图中分割出语义为可行驶区域的目标栅格；
具体来说，可以根据每个栅格内的点云簇的高度值确定每个栅格的特征，并根据每个栅格的特征通过图像语义分割模型对其进行语义分割，当然语义分割时至少包含可行驶区域的语义，从而使得分割后的图像中含有语义为可行驶区域的目标栅格。
S104.根据目标栅格对点云数据进行重构得到目标三维点云数据；
具体来说，栅格图像属于二维平面结构，无法表达点云数据的高度信息，无法反映具体的道路位置情况，需要对其进行升维操作。
而每个栅格代表三维空间中的一块柱状区域，包含一系列点云，通过对二维栅格图进行语义分割后可以得到语义为可行驶区域的目标栅格，这使得目标栅格内的每个点云均带有可行驶区域的标签，在通过目标栅格对点云数据进行重构后，可以将可行驶区域的标签赋予对应的点云，从而使每个点云包含雷达坐标系下的x、y、z坐标信息以及语义标签信息，这样的点云组成的目标三维点云数据即可有效展示露天矿区的可行驶区域。
S105.根据三维点云数据确定车辆可行驶区域。
本实施例以栅格划分激光雷达生成的点云数据，根据点云数据内的点云在每个栅格内呈现的高度值，采用语义分割二维栅格图，依据分割结果重构点云数据得到目标三维点云数据，从而得到可行驶区域检测结果，其检测的准确性高、鲁棒性强，对提高露天矿区自动驾驶的可行驶区域检测能力有积极作用。
为了对本申请的可行驶区域检测方法进行进一步说明，请参见图2所示，该可行驶区域检测方法包括：
S201.生成激光雷达设备坐标系下的三维点云数据；
S202.点云数据栅格化，得到二维栅格图；
具体来说，请参见图3所示，保留点云位于激光雷达设备坐标系下的z值信息，将点云的(x，y)坐标值依据坐标转换公式映射到栅格矩阵(column，row)中，基于栅格划分点云数据，形成点云的栅格矩阵。
在一些可能的实施方式中，在对点云数据进行栅格化处理之前，先删除点云数据中超出车辆周边的预设测量距离的点云，其中，预设测量距离可以综合实际检测精度、运算速度及车辆行驶情况等参数来进行确定，只要能保障在车辆通过的所有区域均能在车辆通过前相应位置前得出检测结果即可。
示例性地，综合考虑检测精度和运算速度，可以将栅格矩阵大小设置为128×512，矩阵中每个点代表三维空间中长宽均为0.25米的柱状区域，即只考虑车辆前方512×0.25＝128米、左右横向128×0.25＝32米范围内的点云数据。
根据栅格矩阵及实际区域大小的设置，将原始点云数据中x<0、x>128、y<-16和y>16的点云过滤，滤除后的点云依据公式(1)和(2)实现坐标转换，将点云在激光雷达坐标系下的(x，y)坐标转换到栅格矩阵(column，row)中，公式(1)和(2)如下所示：
row ＝ round( a×j- x) (2)
其中，如图2所示，栅格矩阵使用笛卡尔坐标系，以左上角为坐标原点，其中column轴正方向为矩阵向右延伸方向，row轴正方向为矩阵向下延伸方向；式中round表示四舍五入操作，对坐标转换结果取整，确保将连续的浮点数坐标(x，y)转换到离散的整数栅格坐标(column，row)上。
S203.根据点云数据中的点云在每个栅格内呈现的高度值，获取每个栅格的目标特征；
具体来说，点云数据被划分到不同的栅格中，每个栅格代表三维空间的一块柱状区域，其包含一系列点云，可根据栅格内每个点云在激光雷达设备坐标系下的z值，来确定目标特征。
在一些可能的实施方式中，对于每个栅格中所有点云的高度值(z值)而言，将所有高度值中的最大值作为目标高度，将所有高度值之间的最大差值作为目标高度差值，将所有高度值的平均值作为目标平均高度。然后将目标高度、目标高度差值和目标平均高度作为栅格的目标特征。
示例性地，如图4所示，针对每个栅格，计算栅格内点云的目标高度、目标高度差值和目标平均高度，将以上结果作为栅格的三个特征，则栅格特征矩阵可以表示为128×512×3，每个栅格可以表示为：
P(i，j)＝{Zmax，ΔZ，Zavg}
其中P(i，j)表示第j行第i列的栅格，Zmax表示此栅格内点云在激光雷达坐标系Z轴方向上的最大值，ΔZ表示此栅格内点云在激光雷达坐标系Z轴方向上的最大差值，Zavg表示此栅格内所有点云在激光雷达坐标系Z轴方向上的平均值。
S204.根据目标特征生成三通道图像；
示例性地，将步骤三获得的128×512×3的栅格特征矩阵转换成分辨率为128×512的三通道图像。
S205.对三通道图像进行语义分割，得到语义为可行驶区域或障碍物的目标栅格；
具体来说，可以通过训练好的图像语义分割模型直接对三通道图像进行分割，得到语义为可行驶区域或障碍物的目标栅格。
其中，图像语义分割模型可以采用如下方式进行训练：
确定训练集：采用图像分割标注工具如Labelbox、LabelImg等对训练集中的三通道图像进行图像标注，即依据训练集中对应的点云数据为三通道图像中的每个栅格赋予对应的类别标签，label标签类别可以表示为：
label∈{0，1}
其中label分为两种类别，0表示可行驶区域，1表示障碍物。
示例性地，其中label标签类别也可以表示为：
label∈{0，1，2}
其中label分为三种类别，0表示可行驶区域，1表示障碍物，2表示其它背景。
当然，可以理解的是，这里的标签类别的表示方式只是举例说明，并不限于以上两种，其它表示方式均可，只要能正确表示可行驶区域即可。
通过训练集对图像语义分割模型进行训练，例如U-Net、Mask R-CNN等，训练后即可得到图像语义分割模型。
在一些可能的实施方式中，在确定标签类别后，可以按照如下规则对图像语义分割模型进行训练：
若目标高度小于或等于第一阈值，目标高度差值小于或等于第二阈值，且目标平均高度小于或等于第三阈值，则确定对应栅格为语义是可行驶区域的目标栅格，否则栅格为语义是障碍物的目标栅格。
当然，可以理解的是第一阈值、第二阈值和第三阈值均是根据露天矿区的实际情况来进行确定的，只要能辅助确定可行驶区域即可。
可以理解的是，也可以修改规则，以不同的规则来定义可行驶区域、障碍物、其它背景这三种标签，在此就不再进行赘述。
示例性地，将分辨率为128×512的三通道图像输入训练后的图像语义分割模型进行分割，得到带语义标签的目标栅格，即图像语义分割模型输入的是点云栅格图像128×512×3的特征信息，输出为每个栅格的不同类别情况，即为每个栅格赋予对应的label。
S206.根据目标栅格对点云数据进行重构得到目标三维点云；
示例性地，可以将每个目标栅格对应的语义赋予目标栅格包含的点云，得到带有语义的目标点云，然后将目标点云组成的点云数据作为目标三维点云数据即可。
具体来说，为每个栅格赋予了不同的标签类别，得到了二维栅格图像下的可行驶区域。但二维栅格图像属于二维平面结构，无法表达点云数据的高度信息，无法反映具体的道路位置情况，需要对此数据进行升维操作。
每个栅格代表三维空间的一块柱状区域，包含一系列点云簇，将每个栅格的标签信息赋予栅格中的点云，每个点云包含激光雷达坐标系下的x、y、z坐标信息以及类别标签信息，从而完成对点云数据的重构，得到含有不同标签信息的点云，实现露天矿区可行驶区域的准确检测。
S207.根据目标三维点云确定车辆可行驶区域。
具体来说，将目标三维点云中带有可行驶区域标签的点云作为车辆可行驶区域即可，车辆只要沿着带有可行驶区域标签的点云行驶即可安全在露天矿区内移动，可有效保障车辆自动驾驶的安全性与稳定性。
这样的检测方式，可实现激光雷达设备生成的点云数据的快速处理，降低数据处理难度及处理时长，同时又能降低噪声对可行驶区域检测的影响，大幅度提升检测的准确性、鲁棒性，从而有效提升自动驾驶车辆行驶的安全性。
请参见图5所示，本申请实施例还提供一种可行驶区域的检测装置500，包括：
通信模块510，获取根据激光雷达设备采集的当前车辆周边的道路及障碍物信息生成的点云数据；
处理模块520，用于将点云数据投影至二维坐标系下的二维栅格图内；根据点云数据中的点云在每个栅格内呈现的高度值，至少从二维栅格图中分割出语义为可行驶区域的目标栅格，其中，高度值为点云在点云数据中对应的竖直方向上的高度值；根据目标栅格对点云数据进行重构得到目标三维点云数据；根据目标三维点云数据确定车辆可行驶区域。
进一步地，处理模块520还用于在将点云数据投影至二维坐标系下的二维栅格图内之前，先删除点云数据中超出车辆周边的预设测量距离的点云。
进一步地，处理模块520还用于根据点云数据中的点云在每个栅格内呈现的高度值，获取每个栅格的目标特征；根据目标特征生成三通道图像；对三通道图像进行语义分割，得到语义为可行驶区域或障碍物的目标栅格。
进一步地，处理模块520还用于获取每个栅格内的每个点云的高度值；将所有高度值中的最大值作为目标高度；将所有高度值之间的最大差值作为目标高度差值；将所有高度值的平均值作为目标平均高度；将目标高度、目标高度差值和目标平均高度作为栅格的目标特征。
进一步地，处理模块520还用于将每个目标栅格对应的语义赋予目标栅格包含的点云，得到带有语义的目标点云；将目标点云组成的点云数据作为目标三维点云数据。
请参见图6所示，本申请实施例还提供一种可行驶区域的检测设备600，包括存储器610和处理器620。
其中，存储器610用于存储计算机执行指令，处理器620执行存储器存储的计算机执行指令，实现上述可行驶区域检测方法。
该可行驶区域的检测设备600可以是独立的，也可以是车辆的一部分，该处理器620和存储器610可以采用车辆现有的硬件。
存储器610和处理器620之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线连接。存储器610中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储中的软件功能模块，处理器620通过运行存储在存储器610内的软件程序以及模块，从而执行各种功能应用以及数据处理。
存储器610可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，简称：EEPROM)等。其中，存储器620用于存储程序，处理器620在接收到执行指令后，执行程序。进一步地，上述存储器610内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。
处理器620可以是一种集成电路芯片，具有信号的处理能力。上述的处理器620可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器620可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请的实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现本申请各方法实施例的步骤。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种可行驶区域检测方法，其特征在于，包括：
根据激光雷达设备采集的当前车辆周边的道路及障碍物信息生成点云数据；
将所述点云数据投影至二维坐标系下的二维栅格图内；
根据所述点云数据中的点云在每个栅格内呈现的高度值，至少从所述二维栅格图中分割出语义为可行驶区域的目标栅格，其中，所述高度值为所述点云在所述点云数据中对应的竖直方向上的高度值；
根据所述目标栅格对所述点云数据进行重构得到目标三维点云数据；
根据所述目标三维点云数据确定车辆可行驶区域。
2.根据权利要求1所述的可行驶区域检测方法，其特征在于，所述道路及障碍物信息包括所述车辆正前方和所述车辆左右两侧的道路及障碍物信息。
3.根据权利要求2所述的可行驶区域检测方法，其特征在于，在将所述点云数据投影至二维坐标系下的二维栅格图内之前，还包括：
删除所述点云数据中超出所述车辆周边的预设测量距离的点云。
4.根据权利要求1-3任一项所述的可行驶区域检测方法，其特征在于，根据所述点云数据中的点云在每个栅格内呈现的高度值，至少从所述二维栅格图分割出语义为可行驶区域的目标栅格，包括：
根据所述点云数据中的所述点云在每个栅格内呈现的高度值，获取每个所述栅格的目标特征；
根据所述目标特征生成三通道图像；
对所述三通道图像进行语义分割，得到语义为可行驶区域或障碍物的目标栅格。
5.根据权利要求4所述的可行驶区域检测方法，其特征在于，所述根据所述点云数据中的点云在每个栅格内呈现的高度值，获取每个所述栅格的目标特征，包括：
获取每个所述栅格内的每个所述点云的高度值；
将所有所述高度值中的最大值作为目标高度；
将所有所述高度值之间的最大差值作为目标高度差值；
将所有所述高度值的平均值作为目标平均高度；
将所述目标高度、所述目标高度差值和所述目标平均高度作为所述栅格的所述目标特征。
6.根据权利要求5所述的可行驶区域检测方法，其特征在于，所述对所述三通道图像进行语义分割，得到语义为可行驶区域或障碍物的目标栅格，包括：
若所述目标高度小于或等于第一阈值，所述目标高度差值小于或等于第二阈值，所述目标平均高度小于或等于第三阈值，则确定所述栅格为语义是可行驶区域的目标栅格，否则所述栅格为语义是障碍物的目标栅格。
7.根据权利要求6所述的可行驶区域检测方法，其特征在于，所述根据所述目标栅格对所述点云数据进行重构得到目标三维点云数据，包括：
将每个所述目标栅格对应的语义赋予所述目标栅格包含的所述点云，得到带有语义的目标点云；
将所述目标点云组成的点云数据作为所述目标三维点云数据。
8.一种可行驶区域的检测装置，其特征在于，包括：
通信模块，获取根据激光雷达设备采集的当前车辆周边的道路及障碍物信息生成的点云数据；
处理模块，用于将所述点云数据投影至二维坐标系下的二维栅格图内；根据所述点云数据中的点云在每个栅格内呈现的高度值，至少从所述二维栅格图中分割出语义为可行驶区域的目标栅格，其中，所述高度值为所述点云在所述点云数据中对应的竖直方向上的高度值；根据所述目标栅格对所述点云数据进行重构得到目标三维点云数据；根据所述目标三维点云数据确定车辆可行驶区域。
9.一种可行驶区域的检测设备，其特征在于，包括存储器和处理器；
其中，所述存储器用于存储计算机执行指令；
所述处理器用于执行所述存储器存储的计算机执行指令，以实现如权利要求1-7任一项所述的可行驶区域检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的可行驶区域检测方法。
CN202311304152.6A 2023-10-10 2023-10-10 一种可行驶区域检测方法、装置、设备及存储介质 Pending CN117302263A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311304152.6A CN117302263A (zh) 2023-10-10 2023-10-10 一种可行驶区域检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311304152.6A CN117302263A (zh) 2023-10-10 2023-10-10 一种可行驶区域检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117302263A true CN117302263A (zh) 2023-12-29

Family

ID=89296888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311304152.6A Pending CN117302263A (zh) 2023-10-10 2023-10-10 一种可行驶区域检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117302263A (zh)

Similar Documents

Publication Publication Date Title
US11709058B2 (en) Path planning method and device and mobile device
CN110286387B (zh) 应用于自动驾驶系统的障碍物检测方法、装置及存储介质
CN108509820B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN111192295B (zh) 目标检测与跟踪方法、设备和计算机可读存储介质
CN112801022A (zh) 一种无人驾驶矿卡作业区道路边界快速检测更新的方法
CN111932943B (zh) 动态目标的检测方法、装置、存储介质及路基监测设备
CN108470174B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN111325138B (zh) 一种基于点云局部凹凸特征的道路边界实时检测方法
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
CN110298311B (zh) 路面积水检测方法及装置
CN114387585B (zh) 障碍物检测方法、检测装置及行驶装置
CN113835102A (zh) 车道线生成方法和装置
CN116109601A (zh) 一种基于三维激光雷达点云的实时目标检测方法
CN115139303A (zh) 一种栅格井盖检测方法、装置、设备及存储介质
CN114966651A (zh) 可行驶区域检测方法、计算机设备、存储介质及车辆
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
CN113282088A (zh) 工程车的无人驾驶方法、装置、设备、存储介质及工程车
CN113763263A (zh) 基于点云尾气过滤技术的水雾尾气噪声处理方法
CN111912418A (zh) 删除移动载体不可行驶区域内障碍物的方法、装置及介质
WO2020248118A1 (zh) 点云处理方法、系统、设备及存储介质
CN117302263A (zh) 一种可行驶区域检测方法、装置、设备及存储介质
CN116434181A (zh) 地面点检测方法、装置、电子设备和介质
CN114549764A (zh) 基于无人车的障碍物识别方法、装置、设备及存储介质
Mattson et al. Reducing ego vehicle energy-use by LiDAR-based lane-level positioning
Li et al. A Ground Segmentation Method Based on Point Cloud Map for Unstructured Roads

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination