CN110705458A - 边界检测方法及装置 - Google Patents

边界检测方法及装置 Download PDF

Info

Publication number
CN110705458A
CN110705458A CN201910933747.5A CN201910933747A CN110705458A CN 110705458 A CN110705458 A CN 110705458A CN 201910933747 A CN201910933747 A CN 201910933747A CN 110705458 A CN110705458 A CN 110705458A
Authority
CN
China
Prior art keywords
point cloud
boundary
foreground
determining
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910933747.5A
Other languages
English (en)
Other versions
CN110705458B (zh
Inventor
陈东
熊祺
张放
李晓飞
张德兆
王肖
霍舒豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Idriverplus Technologies Co Ltd
Original Assignee
Beijing Idriverplus Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Idriverplus Technologies Co Ltd filed Critical Beijing Idriverplus Technologies Co Ltd
Priority to CN201910933747.5A priority Critical patent/CN110705458B/zh
Publication of CN110705458A publication Critical patent/CN110705458A/zh
Application granted granted Critical
Publication of CN110705458B publication Critical patent/CN110705458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种边界检测方法及装置，方法包括：对当前帧的待分割点云进行处理，得到第一前景点云并根据当前帧的障碍物信息过滤后，得到第二前景点云；利用DR信息，对多帧第二前景点云进行累计，得到第三前景点云；在第一坐标系的第一方向上，以预设的距离对第三前景点云进行区间划分，得到多个区间并确定每个区间的疑似边界样本点云；对多个区间的疑似边界样本点云进行滤波，得到边界样本点云；当相邻边界点的间距大于预设的阈值时，通过插值得到插值边界点；根据插值边界点和相邻边界点的间距不大于预设的阈值的边界样本点云，确定边界信息。由此，增强了边界检测的场景自适应能力，检测精度相对较高。

Description

边界检测方法及装置
技术领域
本发明涉及数据处理领域，尤其涉及一种边界检测方法及装置。
背景技术
在无人驾驶领域中，边界检测是一个常见的技术需求。无人车通过边界检测可以识别可行驶区域的边界，并据此来约束自身的行驶路线，防止行驶过程中越过边界或与边界发生碰撞。
常见的边界检测方法主要分为视觉检测和激光检测两类。视觉检测方法一般是以摄像头作为主要的传感器，采用图像处理方法提取图像上的可行驶区域边界像素，并将图像信息转化为车辆可用的物理边界信息的一种方法。激光检测方法一般以单线或多线激光雷达作为主要的传感器，采用点云处理方法提取激光点云上的边界点，并基于此描绘车辆的可行驶区域边界。
视觉检测和激光检测两类边界检测方法，目前都有比较常见的技术方案。
视觉检测方法主要包括几种典型的深度学习算法，比如全卷积网络 (FullyConvolutional Networks，FCN)、语义分割(Semantic Segmentation， SegNet)、金字塔场景分析网络(Pyramid Scene Parsing Network，PSPNet) 等。首先，标注一定量的待检测场景数据，选择合适的网络模型和参数阈值，基于标注数据对检测网络进行训练和优化。然后，采用训练后的网络对测试数据进行分类，将分类结果与实际情况进行对比，验证网络的检测效果。最后，对摄像头的内参和外参进行准确的标定，基于标定结果输出车辆坐标系下的边界信息，并和实际测量结果进行对比，验证边界检测结果的物理精度。
激光检测方法主要是采用模型拟合的方法对部分存在特征的边界类型进行检测。首先，采用滑动窗口或特征提取的方法从激光点云中提取符合目标边界特征的部分点云。然后，基于目标边界的特点(如路沿、栅栏等边界多为直线或曲线)，选用合适的直线或多次曲线模型对特征点云进行拟合，获得边界模型参数。最后，基于拟合的边界模型剔除部分离群点，进一步优化模型结果后输出最终的边界模型。
现有的视觉检测方案，其往往需要大量的标注数据用于模型训练，实现成本较高。而且对于部分未经充分训练的特殊场景，其普适性也相对较弱，容易出现检测效果的降低。此外，由于深度学习网络对算力的需求较高，因此这种方法多需要高性能的中央处理器(Central Processing Unit,CPU)和显卡作为算力支撑。另外，视觉检测结果在转换到车辆坐标系(车辆前向为X，左侧为Y，向上为Z)时，精度相对较低，且随距离的增加有较严重的衰减。
现有的激光检测方案，由于多采用模型拟合的方法进行边界提取，虽然能够较好地滤除边界噪声点，但也因此限制了自身的适用场景。使用者需要预知当前工况的边界类型，并且要适配相应的边界模型，对于不符合预定模型的不规则边界场景，也无法很好地进行边界提取。
发明内容
本发明实施例的目的是提供一种边界检测方法及装置，以解决现有技术中的边界检测成本高、普适性较弱、适用场景受限的问题。
为解决上述问题，第一方面，本发明提供了一种边界检测方法，所述方法包括：
对当前帧的待分割点云进行处理，得到第一前景点云；
根据当前帧的障碍物信息，对所述第一前景点云进行过滤，得到第二前景点云；
利用航迹推算DR信息，对当前帧及当前之前多帧的第二前景点云进行累计，得到第三前景点云；
在第一坐标系的第一方向上，以预设的距离对所述第三前景点云进行区间划分，得到多个区间；
在每个所述区间上，根据所述区间内的多个点在第二方向上的坐标，确定疑似边界样本点云；
对多个区间的所述疑似边界样本点云进行滤波，得到边界样本点云；
计算边界样本点云中的相邻边界点的间距；
当相邻边界点的间距大于预设的阈值时，通过插值得到插值边界点；
根据所述插值边界点和所述相邻边界点的间距不大于预设的阈值的边界样本点云，确定边界信息。
在一种可能的实现方式中，所述方法之前还包括：
获取原始激光点云和定位数据；
当所述定位数据有效时，根据所述定位数据，获取地图数据；
根据所述地图数据，确定地图中的第一感兴趣区域ROI；
确定所述原始激光点云中，处于所述第一ROI内的点云为待分割点云。
在一种可能的实现方式中，所述方法还包括：
当所述定位数据无效时，或者所述定位数据有效，地图数据无效时，根据所述原始激光点云，确定车辆的位置；
根据所述车辆的位置，确定第二ROI；
确定所述原始激光点云中，处于所述第二ROI内的点云为待分割点云。
在一种可能的实现方式中，所述对当前帧的待分割点云进行处理，得到第一前景点云，具体包括：
以地面平面为基准，将所述待分割点云划分至预设的栅格地图中；
计算所述栅格地图中的任一栅格中，高度最大点和高度最小点的高度差值，得到第一高度差值；
当所述第一高度差值小于预设的第一高度阈值时，确定所述任一栅格为第一栅格，并确定所述第一栅格内的点云为疑似地面点；
根据全部所述第一栅格的疑似地面点，拟合得到地面模型；
计算所述地面模型中的每个点至所述地面平面的高度差值，得到第二高度差值；
确定所述第二高度差值不小于预设的第二高度阈值时的点为第一前景点云。
在一种可能的实现方式中，所述方法还包括：
确定所述第二高度差值小于预设的第二高度阈值时的点为第一背景点云。
在一种可能的实现方式中，所述根据当前帧的障碍物信息，对所述第一前景点云进行过滤，得到第二前景点云具体包括：
获取当前帧的障碍物信息；所述障碍物信息包括时间戳；
根据所述障碍物信息的时间戳和所述第一前景点云的时间戳，将所述障碍物信息和所述第一前景点云进行对齐；
从对齐后的第一前景点云中，滤除障碍物信息，得到第二前景点云。
在一种可能的实现方式中，所述利用航迹推算DR信息，对当前帧及当前之前多帧的第二前景点云进行累计，得到第三前景点之前，所述方法还包括：
根据IMU测量的姿态信息和轮速计测量的速度信息，确定路点的位置和对应的航向角。
第二方面，本发明提供了一种边界检测装置，所述装置包括：
处理单元，所述处理单元用于对当前帧的待分割点云进行处理，得到第一前景点云；
过滤单元，所述过滤单元用于根据当前帧的障碍物信息，对所述第一前景点云进行过滤，得到第二前景点云；
累计单元，所述累计单元用于利用航迹推算DR信息，对当前帧及当前之前多帧的第二前景点云进行累计，得到第三前景点云；
划分单元，所述划分单元用于在第一坐标系的第一方向上，以预设的距离对所述第三前景点云进行区间划分，得到多个区间；
确定单元，所述确定单元用于在每个所述区间上，根据所述区间内的多个点在第二方向上的坐标，确定疑似边界样本点云；
滤波单元，所述滤波单元用于对多个区间的所述疑似边界样本点云进行滤波，得到边界样本点云；
计算单元，所述计算单元用于计算边界样本点云中的相邻边界点的间距；
插值单元，所述插值单元用于当相邻边界点的间距大于预设的阈值时，通过插值得到插值边界点；
所述确定单元还用于，根据所述插值边界点和所述相邻边界点的间距不大于预设的阈值的边界样本点云，确定边界信息。
第三方面，本发明提供了一种设备，包括存储器和处理器，存储器用于存储程序，处理器用于执行第一方面任一的方法。
第四方面，本发明提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一的方法。
第五方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一的方法。
通过应用本发明实施例提供的边界检测方法及装置，不采用模型拟合的方法提取边界，而是采用了点云前后背景分割的方法来区分可行驶/不可行驶区域，不需要大量的数据标注，无需预知车辆周边的边界类型，能够广泛应用于无人驾驶领域中各种工况下对于边界检测功能的需求，具有广泛的普适性和实用性，且幅增强了其场景自适应能力。避免了视觉方案对于训练数据的重度依赖，激光点云自身包含三维物理信息，避免了图像转换的精度损失，检测精度相对较高。在后续工作中，可以通过应用本申请的边界检测方法得到的边界信息，在激光点云建图时对边界信息进行自动化标注，可以大幅减少人工标注的工作量。
附图说明
图1为本发明实施例一提供的边界检测方法流程示意图；
图2为本发明实施例一提供的原始激光点云示意图；
图3为本发明实施例一提供的第一前景点云示意图；
图4为本发明实施例一提供的第三前景点云示意图；
图5为本发明实施例一提供的边界信息示意图；
图6为本发明实施例二提供的边界检测装置的一个结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为本发明实施例一提供的边界检测方法流程示意图，该方法应用在安装有激光雷达的终端上，比如安装有激光雷达的无人驾驶车辆，本申请的执行主体为具有计算功能的终端、服务器或者处理器。本申请以将该方法应用在无人驾驶车辆为例进行说明，当将该方法应用在无人驾驶车辆时，该方法的执行主体为自动驾驶车辆控制单元(AutomatedVehicle Control Unit， AVCU)，即无人驾驶车辆的中央处理器相当于无人驾驶车辆的“大脑”。如图1所示，本申请包括以下步骤：
步骤101，对当前帧的待分割点云进行处理，得到第一前景点云。
其中，在步骤101之前，需要确定待分割点云。下面对如何获取待分割点云进行说明。
在一个示例中，首先，获取原始激光点云和定位数据。然后，当定位数据有效时，根据定位数据，获取地图数据。接着，根据地图数据，确定地图中的第一感兴趣区域(regionof interest，ROI)。最后，确定原始激光点云中，处于第一ROI内的点云为待分割点云。
具体的，车辆上安装有激光雷达、全球定位系统(Global Positioning System,GPS)、惯性测量单元(Inertial measurement unit，IMU)、视觉模块等传感器，可以通过单线或多线激光雷达获取原始激光点云，原始激光点云参见图2。
其中，随着车辆的位置变化，通过GPS获取定位数据，获取到的GPS发送的多个定位数据包后，对定位数据包进行解析后，会得到每个定位数据包的端口号、数据包长度、标志位等，通过数据包长度或者标志位，可以判断定位数据是否有效，比如，数据包的长度、标志位等都符合要求，则判定定位数据有效。
服务器中预存有预先构建的高精地图，高精地图可以根据经纬度，划分为多个地图数据文件并存储，在每个地图数据文件中，可以将边界进行划分，比如一个文件中包括多个边界，可以将每个边界确定为一个ROI区域。当定位数据有效时，车辆可以向服务器发送包括定位数据的请求消息，以获取定位数据对应的高精地图文件，比如，定位数据中包括车辆当前的经纬度，可以向服务器发送包括车辆当前经纬度的请求消息，以获取到当前经纬度对应的地图数据文件。车辆接收到地图数据文件后，解析得到地图数据，并根据地图数据，确定车辆当前经纬度对应的地图中的第一ROI区域，并将处于第一ROI区域内的原始激光点云确定为待分割点云。
其中，示例而非限定，对于在封闭园区内进行作业的无人车辆，可以预先从服务器中下载该封闭园区的高精地图，并根据定位数据，查询得到对应的地图数据。
在另一个示例中，当定位数据无效时，或者定位数据有效，地图数据无效时，根据原始激光点云，确定车辆的位置；根据车辆的位置，确定第二ROI；确定原始激光点云中，处于第二ROI内的点云为待分割点云。
具体的，接上例，当数据包的长度不符合预设的长度阈值，则判定数据包无效，或者数据包的标志位为无效标志位，则判定数据包无效。或者定位数据有效，但是根据定位数据向服务器发送查询请求，并未查找到对应的地图数据。此时，根据原始激光点云，确定车辆的位置。随后，根据车辆坐标系，在车辆坐标系中设定第二ROI。比如，可以在车辆坐标系的右侧，以5m*10m 的矩形，确定为第二ROI。并将原始激光点云中处于第二ROI中的点云，确定为待分割点云。
其中，上述的原始激光点云是处于车辆坐标系的原始激光点云，可以根据车辆与激光雷达的安装位置，确定激光雷达在车辆坐标系的位置，并将得到的激光点云转换为车辆坐标系的原始激光点云。定位数据是进行坐标转换后，车辆坐标系的定位数据。其中，可以以车辆的质心作为车辆坐标系的原点，自车面向前方时，指向车辆右侧作为x轴，将自车面向前方时，在行驶的方向上为y轴。
进一步的，可以根据下述步骤得到第一前景点云。
首先，以地面平面为基准，对于当前时刻的单帧原始激光点云，在得到待分割点云后，可以将待分割点云划分至预设的栅格地图中。然后，计算栅格地图中的任一栅格中，高度最大点和高度最小点的高度差值，得到第一高度差值。接着，当第一高度差值小于预设的第一高度阈值时，确定任一栅格为第一栅格，并确定第一栅格内的点云为疑似地面点。接着，根据全部第一栅格的疑似地面点，根据平面拟合算法，拟合得到地面模型。接着，计算地面模型中的每个点至地面平面的高度差值，得到第二高度差值。最后，确定第二高度差值不小于预设的第二高度阈值时的点为第一前景点云，第一前景点云参见图3中的粗黑色点的集合。同时，还可以确定第二高度差值小于预设的第二高度阈值时的点为第一背景点云。
其中，栅格的大小可以根据多次计算的经验值得到，待分割点云是多个点的集合，每个点具有位置信息，栅格也具有位置，栅格的位置可以以栅格的左上方的角的位置表示，在坐标系统一的前提下，可以将待分割点云映射至栅格地图中，从而得到分布在栅格中的待分割点云。可以根据车辆的通行能力，设定第一高度阈值。可以根据车辆的类型，设定第二高度阈值，比如，车辆为小型清扫车和车辆为物流车或者为街道上行驶的小汽车时，第二高度阈值是不同的。平面拟合算法包括但不限于最小二乘法，随机采样一致性 (RandomSample Consensus，RANSAC)算法。
步骤102，根据当前帧的障碍物信息，对第一前景点云进行过滤，得到第二前景点云。
其中，依据上述说明，示例而非限定，可以直接获得激光雷达测得的障碍物信息，障碍物信息中包括行人、固定障碍物、移动障碍物等。也可以根据激光雷达和视觉模块、超声波雷达等进行融合后的数据，得到障碍物信息。
具体的，获取的障碍物信息包括时间戳；当前帧对应的第一前景点云具有时间戳，进行时间戳对齐后，从对齐后的第一前景点云中，滤除障碍物信息，得到第二前景点云。从而，通过滤除与边界无关的前景点云，避免了障碍物对前景点云的干扰。
步骤103，利用航迹推算(Dead Reckoning，DR)信息，对当前帧及当前之前多帧的第二前景点云进行累计，得到第三前景点云。
具体的，接上述，车辆中的IMU会获取到姿态信息，姿态信息包括车辆的六个自由度，即车辆坐标系下，车辆的位置信息、俯仰角、偏航角和翻滚角。车辆中的轮速计，会获取到车辆的速度信息，通过车辆的姿态信息和速度信息，进行航迹推算，可以得到航迹线，航迹线上有多个路点，每个路点都具有偏航角。其中，此处重点考虑的是偏航角。
其中，由于多线或者单线激光雷达得到的单帧第二前景点云比较稀疏，为了提高边界检测精度，可以将当前和当前之前的N帧第二前景点云进行累计得到前景信息比较充分的第三前景点云，第三前景点云参见图4。此处的当前之前的多帧的帧数，可以根据需要进行设定，本申请对此并不限定。
步骤104，在第一坐标系的第一方向上，以预设的距离对第三前景点云进行区间划分，得到多个区间。
其中，第一坐标系可以是车辆坐标系，第一方向可以是x方向，在在车辆坐标系X方向上以预设距离为单位划分区间，得到多个区间。预设距离可以根据需要进行设置，本申请对此并不限定。
步骤105，在每个区间上，根据区间内的多个点在第二方向上的坐标，确定疑似边界样本点云。
具体的，第二方向为y方向，将每个区间上，y值最靠近于自车的第三前景点云中的点进行标记，得到疑似边界样本点云。
步骤106，对多个区间的疑似边界样本点云进行滤波，得到边界样本点云。
具体的，对于所有区间的疑似边界样本点云，可以采用点云统计滤波(Statistical Outlier Removal，SOR)算法滤除离群点，滤波之后获得边界样本点。
其中，SOR算法滤除离群点包括：对于疑似边界样本点云中的点到临近点的距离分布进行计算，得到每个点到它的所有临近点的平均距离。假设得到的结果是一个高斯分布，其形状由均值和标准差决定，平均距离在标准范围 (由全局距离平均值和方差定义)之外的点，可被定义为离群点并可从疑似边界样本点云中去除掉。
在滤除离群点之后，可以在直角坐标系下映射提取、在极坐标系下映射提取或者采用凸包算法进行提取，得到边界样本点。该些提取方法的具体步骤，都为本领域的常用技术手段，此处不再赘述。
步骤107，计算边界样本点云中的相邻边界点的间距。
步骤108，当相邻边界点的间距大于预设的阈值时，通过插值得到插值边界点。
具体的，可以计算边界样本点云中的各相邻边界点的间距，并且将相邻边界点的间距与设定的阈值进行比较。确定出相邻边界点的间距大于设定的阈值的点，并对该些点进行插值，得到插值边界点。
其中，插值的方法可以是利用多项式函数进行插值，比如线性插值、双线性插值、三线性插值等，本申请对此并不限定。
步骤109，根据插值边界点和相邻边界点的间距不大于预设的阈值的边界样本点云，确定边界信息。
具体的，边界样本点云中的相邻边界点的间距不大于预设的阈值的点以及插值边界点，一起构成边界点云，通过边界点云，得到边界信息，边界信息参见图5。
可以理解的是，本申请中的边界检测方法不仅适用于十六线激光雷达，也同样适用于其他多线激光雷达或是单线激光雷达，因此可以被广泛应用于不同传感器配置的无人车和机器人上。
通过应用本发明实施例提供的边界检测方法，不采用模型拟合的方法提取边界，而是采用了点云前后背景分割的方法来区分可行驶/不可行驶区域，不需要大量的数据标注，无需预知车辆周边的边界类型，能够广泛应用于无人驾驶领域中各种工况下对于边界检测功能的需求，具有广泛的普适性和实用性，且幅增强了其场景自适应能力。避免了视觉方案对于训练数据的重度依赖，激光点云自身包含三维物理信息，避免了图像转换的精度损失，检测精度相对较高。在后续工作中，可以通过应用本申请的边界检测方法得到的边界信息，在激光点云建图时对边界信息进行自动化标注，可以大幅减少人工标注的工作量。
图6为本发明实施例二提供的边界检测装置的一个结构示意图，该边界检测装置应用在实施例一中的边界检测方法中，如图6所示，该边界检测装置600包括：处理单元601、过滤单元602、累计单元603、划分单元604、确定单元605、滤波单元606、计算单元607和插值单元608。
处理单元601用于对当前帧的待分割点云进行处理，得到第一前景点云；
过滤单元602用于根据当前帧的障碍物信息，对第一前景点云进行过滤，得到第二前景点云；
累计单元603用于利用航迹推算DR信息，对当前帧及当前之前多帧的第二前景点云进行累计，得到第三前景点云；
划分单元604用于在第一坐标系的第一方向上，以预设的距离对第三前景点云进行区间划分，得到多个区间；
确定单元605用于在每个区间上，根据区间内的多个点在第二方向上的坐标，确定疑似边界样本点云；
滤波单元606用于对多个区间的疑似边界样本点云进行滤波，得到边界样本点云；
计算单元607用于计算边界样本点云中的相邻边界点的间距；
插值单元608用于当相邻边界点的间距大于预设的阈值时，通过插值得到插值边界点；
确定单元605还用于，根据插值边界点和相邻边界点的间距不大于预设的阈值的边界样本点云，确定边界信息。
进一步的，该边界检测装置还包括获取单元。
获取单元用于获取原始激光点云和定位数据；当定位数据有效时，根据定位数据，获取地图数据；
确定单元605用于根据地图数据，确定地图中的第一感兴趣区域ROI，并确定原始激光点云中，处于第一ROI内的点云为待分割点云。
进一步的，确定单元605还用于当定位数据无效时，或者定位数据有效，地图数据无效时，根据原始激光点云，确定车辆的位置；根据车辆的位置，确定第二ROI；确定原始激光点云中，处于第二ROI内的点云为待分割点云。
进一步的，处理单元601具体用于：
以地面平面为基准，将待分割点云划分至预设的栅格地图中；
计算栅格地图中的任一栅格中，高度最大点和高度最小点的高度差值，得到第一高度差值；
当第一高度差值小于预设的第一高度阈值时，确定任一栅格为第一栅格，并确定第一栅格内的点云为疑似地面点；
根据全部第一栅格的疑似地面点，拟合得到地面模型；
计算地面模型中的每个点至地面平面的高度差值，得到第二高度差值；
确定第二高度差值不小于预设的第二高度阈值时的点为第一前景点云。
进一步的，确定单元605还用于，确定第二高度差值小于预设的第二高度阈值时的点为第一背景点云。
进一步的，过滤单元602具体用于：
获取当前帧的障碍物信息；障碍物信息包括时间戳；
根据障碍物信息的时间戳和第一前景点云的时间戳，将障碍物信息和第一前景点云进行对齐；
从对齐后的第一前景点云中，滤除障碍物信息，得到第二前景点云。
进一步的，确定单元605具体用于：根据IMU测量的姿态信息和轮速计测量的速度信息，确定路点的位置和对应的航向角。
通过应用本发明实施例提供的边界检测装置，不采用模型拟合的方法提取边界，而是采用了点云前后背景分割的方法来区分可行驶/不可行驶区域，不需要大量的数据标注，无需预知车辆周边的边界类型，能够广泛应用于无人驾驶领域中各种工况下对于边界检测功能的需求，具有广泛的普适性和实用性，且幅增强了其场景自适应能力。避免了视觉方案对于训练数据的重度依赖，激光点云自身包含三维物理信息，避免了图像转换的精度损失，检测精度相对较高。在后续工作中，可以通过应用本申请的边界检测方法得到的边界信息，在激光点云建图时对边界信息进行自动化标注，可以大幅减少人工标注的工作量。
发明实施例三提供了一种设备，包括存储器和处理器，存储器用于存储程序，存储器可通过总线与处理器连接。存储器可以是非易失存储器，例如硬盘驱动器和闪存，存储器中存储有软件程序和设备驱动程序。软件程序能够执行本发明实施例提供的上述方法的各种功能；设备驱动程序可以是网络和接口驱动程序。处理器用于执行软件程序，该软件程序被执行时，能够实现本发明实施例一提供的方法。
本发明实施例四提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行本发明实施例一提供的方法。
本发明实施例五提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例一提供的方法。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器 (RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种边界检测方法，其特征在于，所述方法包括：
对当前帧的待分割点云进行处理，得到第一前景点云；
根据当前帧的障碍物信息，对所述第一前景点云进行过滤，得到第二前景点云；
利用航迹推算DR信息，对当前帧及当前之前多帧的第二前景点云进行累计，得到第三前景点云；
在第一坐标系的第一方向上，以预设的距离对所述第三前景点云进行区间划分，得到多个区间；
在每个所述区间上，根据所述区间内的多个点在第二方向上的坐标，确定疑似边界样本点云；
对多个区间的所述疑似边界样本点云进行滤波，得到边界样本点云；
计算边界样本点云中的相邻边界点的间距；
当相邻边界点的间距大于预设的阈值时，通过插值得到插值边界点；
根据所述插值边界点和所述相邻边界点的间距不大于预设的阈值的边界样本点云，确定边界信息。
2.根据权利要求1所述的方法，其特征在于，所述方法之前还包括：
获取原始激光点云和定位数据；
当所述定位数据有效时，根据所述定位数据，获取地图数据；
根据所述地图数据，确定地图中的第一感兴趣区域ROI；
确定所述原始激光点云中，处于所述第一ROI内的点云为待分割点云。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当所述定位数据无效时，或者所述定位数据有效，地图数据无效时，根据所述原始激光点云，确定车辆的位置；
根据所述车辆的位置，确定第二ROI；
确定所述原始激光点云中，处于所述第二ROI内的点云为待分割点云。
4.根据权利要求1所述的方法，其特征在于，所述对当前帧的待分割点云进行处理，得到第一前景点云，具体包括：
以地面平面为基准，将所述待分割点云划分至预设的栅格地图中；
计算所述栅格地图中的任一栅格中，高度最大点和高度最小点的高度差值，得到第一高度差值；
当所述第一高度差值小于预设的第一高度阈值时，确定所述任一栅格为第一栅格，并确定所述第一栅格内的点云为疑似地面点；
根据全部所述第一栅格的疑似地面点，拟合得到地面模型；
计算所述地面模型中的每个点至所述地面平面的高度差值，得到第二高度差值；
确定所述第二高度差值不小于预设的第二高度阈值时的点为第一前景点云。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述第二高度差值小于预设的第二高度阈值时的点为第一背景点云。
6.根据权利要求1所述的方法，其特征在于，所述根据当前帧的障碍物信息，对所述第一前景点云进行过滤，得到第二前景点云具体包括：
获取当前帧的障碍物信息；所述障碍物信息包括时间戳；
根据所述障碍物信息的时间戳和所述第一前景点云的时间戳，将所述障碍物信息和所述第一前景点云进行对齐；
从对齐后的第一前景点云中，滤除障碍物信息，得到第二前景点云。
7.根据权利要求1所述的方法，其特征在于，所述利用航迹推算DR信息，对当前帧及当前之前多帧的第二前景点云进行累计，得到第三前景点云之前，所述方法还包括：
根据IMU测量的姿态信息和轮速计测量的速度信息，确定路点的位置和对应的航向角。
8.一种边界检测装置，其特征在于，所述装置包括：
处理单元，所述处理单元用于对当前帧的待分割点云进行处理，得到第一前景点云；
过滤单元，所述过滤单元用于根据当前帧的障碍物信息，对所述第一前景点云进行过滤，得到第二前景点云；
累计单元，所述累计单元用于利用航迹推算DR信息，对当前帧及当前之前多帧的第二前景点云进行累计，得到第三前景点云；
划分单元，所述划分单元用于在第一坐标系的第一方向上，以预设的距离对所述第三前景点云进行区间划分，得到多个区间；
确定单元，所述确定单元用于在每个所述区间上，根据所述区间内的多个点在第二方向上的坐标，确定疑似边界样本点云；
滤波单元，所述滤波单元用于对多个区间的所述疑似边界样本点云进行滤波，得到边界样本点云；
计算单元，所述计算单元用于计算边界样本点云中的相邻边界点的间距；
插值单元，所述插值单元用于当相邻边界点的间距大于预设的阈值时，通过插值得到插值边界点；
所述确定单元还用于，根据所述插值边界点和所述相邻边界点的间距不大于预设的阈值的边界样本点云，确定边界信息。
9.一种设备，其特征在于，所述设备包括存储器和处理器，所述存储器用于存储程序，所述处理器用于执行权利要求1-7任一所述的方法。
10.一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行权利要求1-7任一所述的方法。
CN201910933747.5A 2019-09-29 2019-09-29 边界检测方法及装置 Active CN110705458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910933747.5A CN110705458B (zh) 2019-09-29 2019-09-29 边界检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910933747.5A CN110705458B (zh) 2019-09-29 2019-09-29 边界检测方法及装置

Publications (2)

Publication Number Publication Date
CN110705458A true CN110705458A (zh) 2020-01-17
CN110705458B CN110705458B (zh) 2022-06-28

Family

ID=69196405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910933747.5A Active CN110705458B (zh) 2019-09-29 2019-09-29 边界检测方法及装置

Country Status (1)

Country Link
CN (1) CN110705458B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112013831A (zh) * 2020-09-09 2020-12-01 北京易控智驾科技有限公司 一种基于地形分析的地图边界自动提取方法及装置
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN112578405A (zh) * 2020-10-29 2021-03-30 上汽大众汽车有限公司 一种基于激光雷达点云数据去除地面的方法及系统
CN113344954A (zh) * 2021-05-06 2021-09-03 加特兰微电子科技(上海)有限公司 边界检测方法、装置、计算机设备、存储介质和传感器
CN113359587A (zh) * 2021-06-29 2021-09-07 国能黄骅港务有限责任公司 船舶航向角检测方法、装置及船舶靠泊报警系统
CN113407868A (zh) * 2021-05-18 2021-09-17 郑州埃文计算机科技有限公司 一种基于图像色块连通区域分析的目标单位边界发现方法
CN113468941A (zh) * 2021-03-11 2021-10-01 长沙智能驾驶研究院有限公司 障碍物检测方法、装置、设备及计算机存储介质
CN113487479A (zh) * 2021-06-30 2021-10-08 北京易控智驾科技有限公司 车端实时检测识别高精度地图边界方法和系统
CN113763438A (zh) * 2020-06-28 2021-12-07 北京京东叁佰陆拾度电子商务有限公司 一种点云配准方法、装置、设备及存储介质
CN114066739A (zh) * 2020-08-05 2022-02-18 北京万集科技股份有限公司 背景点云滤除方法、装置、计算机设备和存储介质
WO2022078342A1 (zh) * 2020-10-12 2022-04-21 北京智行者科技有限公司 动态占据栅格估计方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1176393A2 (en) * 2000-07-17 2002-01-30 Inco Limited Self-contained mapping and positioning system utilizing point cloud data
CN104166989A (zh) * 2014-07-04 2014-11-26 电子科技大学中山学院 一种用于二维激光雷达点云匹配的快速icp方法
CN106251406A (zh) * 2016-08-04 2016-12-21 合肥景昇信息科技有限公司 基于虚拟现实技术的城市巷道定位系统
US20170113696A1 (en) * 2015-10-22 2017-04-27 Hyundai Motor Company Vehicle and method of controlling the vehicle
CN108427124A (zh) * 2018-02-02 2018-08-21 北京智行者科技有限公司 一种多线激光雷达地面点分离方法及装置、车辆
CN108931786A (zh) * 2018-05-17 2018-12-04 北京智行者科技有限公司 路沿检测装置和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1176393A2 (en) * 2000-07-17 2002-01-30 Inco Limited Self-contained mapping and positioning system utilizing point cloud data
CN104166989A (zh) * 2014-07-04 2014-11-26 电子科技大学中山学院 一种用于二维激光雷达点云匹配的快速icp方法
US20170113696A1 (en) * 2015-10-22 2017-04-27 Hyundai Motor Company Vehicle and method of controlling the vehicle
CN106251406A (zh) * 2016-08-04 2016-12-21 合肥景昇信息科技有限公司 基于虚拟现实技术的城市巷道定位系统
CN108427124A (zh) * 2018-02-02 2018-08-21 北京智行者科技有限公司 一种多线激光雷达地面点分离方法及装置、车辆
CN108931786A (zh) * 2018-05-17 2018-12-04 北京智行者科技有限公司 路沿检测装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王肖 等；: "《智能车辆3D点云快速分割方法》", 《清华大学学报（自然科学版）》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763438B (zh) * 2020-06-28 2024-04-19 北京京东叁佰陆拾度电子商务有限公司 一种点云配准方法、装置、设备及存储介质
CN113763438A (zh) * 2020-06-28 2021-12-07 北京京东叁佰陆拾度电子商务有限公司 一种点云配准方法、装置、设备及存储介质
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统
WO2022022694A1 (zh) * 2020-07-31 2022-02-03 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN114066739A (zh) * 2020-08-05 2022-02-18 北京万集科技股份有限公司 背景点云滤除方法、装置、计算机设备和存储介质
CN112013831B (zh) * 2020-09-09 2022-07-19 北京易控智驾科技有限公司 一种基于地形分析的地图边界自动提取方法及装置
CN112013831A (zh) * 2020-09-09 2020-12-01 北京易控智驾科技有限公司 一种基于地形分析的地图边界自动提取方法及装置
WO2022078342A1 (zh) * 2020-10-12 2022-04-21 北京智行者科技有限公司 动态占据栅格估计方法及装置
CN112578405A (zh) * 2020-10-29 2021-03-30 上汽大众汽车有限公司 一种基于激光雷达点云数据去除地面的方法及系统
CN112578405B (zh) * 2020-10-29 2023-03-10 上汽大众汽车有限公司 一种基于激光雷达点云数据去除地面的方法及系统
CN113468941A (zh) * 2021-03-11 2021-10-01 长沙智能驾驶研究院有限公司 障碍物检测方法、装置、设备及计算机存储介质
CN113344954A (zh) * 2021-05-06 2021-09-03 加特兰微电子科技(上海)有限公司 边界检测方法、装置、计算机设备、存储介质和传感器
CN113407868A (zh) * 2021-05-18 2021-09-17 郑州埃文计算机科技有限公司 一种基于图像色块连通区域分析的目标单位边界发现方法
CN113359587A (zh) * 2021-06-29 2021-09-07 国能黄骅港务有限责任公司 船舶航向角检测方法、装置及船舶靠泊报警系统
CN113487479A (zh) * 2021-06-30 2021-10-08 北京易控智驾科技有限公司 车端实时检测识别高精度地图边界方法和系统

Also Published As

Publication number Publication date
CN110705458B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN110705458B (zh) 边界检测方法及装置
US10684372B2 (en) Systems, devices, and methods for autonomous vehicle localization
CN109061703B (zh) 用于定位的方法、装置、设备和计算机可读存储介质
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
JP7090597B2 (ja) 位置特定基準データを生成及び使用する方法及びシステム
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
CN105711597B (zh) 前方局部行驶环境感知系统及方法
CN108256413B (zh) 可通行区域检测方法及装置、存储介质、电子设备
WO2018177026A1 (zh) 确定道路边沿的装置和方法
CN112101092A (zh) 自动驾驶环境感知方法及系统
CN112380317B (zh) 高精地图更新方法、装置、电子设备和存储介质
US10553117B1 (en) System and method for determining lane occupancy of surrounding vehicles
WO2019007263A1 (zh) 车载传感器的外部参数标定的方法和设备
US11460851B2 (en) Eccentricity image fusion
JP5941091B2 (ja) 車線ベースの位置特定
CN110858405A (zh) 车载摄像头的姿态估计方法、装置和系统及电子设备
JP6977887B2 (ja) レーン推定装置、方法およびプログラム
Kellner et al. Road curb detection based on different elevation mapping techniques
CN110728720B (zh) 用于相机标定的方法、装置、设备和存储介质
CN114485698B (zh) 一种交叉路口引导线生成方法及系统
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
US11210941B2 (en) Systems and methods for mitigating anomalies in lane change detection
WO2022078342A1 (zh) 动态占据栅格估计方法及装置
EP3872692A1 (en) Compensation for vertical road curvature in road geometry estimation
CN112712563A (zh) 相机取向估计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: B4-006, maker Plaza, 338 East Street, Huilongguan town, Changping District, Beijing 100096

Patentee after: Beijing Idriverplus Technology Co.,Ltd.

Address before: B4-006, maker Plaza, 338 East Street, Huilongguan town, Changping District, Beijing 100096

Patentee before: Beijing Idriverplus Technology Co.,Ltd.