CN113673383A - 一种面向复杂道路场景的时空域障碍物检测方法及系统 - Google Patents

一种面向复杂道路场景的时空域障碍物检测方法及系统 Download PDF

Info

Publication number
CN113673383A
CN113673383A CN202110899178.4A CN202110899178A CN113673383A CN 113673383 A CN113673383 A CN 113673383A CN 202110899178 A CN202110899178 A CN 202110899178A CN 113673383 A CN113673383 A CN 113673383A
Authority
CN
China
Prior art keywords
target
type target
detection result
known type
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110899178.4A
Other languages
English (en)
Other versions
CN113673383B (zh
Inventor
徐峣
崔迪潇
江頔
王通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhijia Technology Co Ltd
Original Assignee
Suzhou Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhijia Technology Co Ltd filed Critical Suzhou Zhijia Technology Co Ltd
Priority to CN202110899178.4A priority Critical patent/CN113673383B/zh
Publication of CN113673383A publication Critical patent/CN113673383A/zh
Application granted granted Critical
Publication of CN113673383B publication Critical patent/CN113673383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向复杂道路场景的时空域障碍物检测方法及系统，包括采集点云数据和历史帧的检测结果，对所述点云数据进行预处理；将经过预处理后的点云数据采用深度学习方法进行检测获得已知类型目标信息，采用占据栅格方法进行检测得到未知类型目标信息；对已知类型目标和未知类型目标进行空间域关联融合以得出当前帧的检测结果；对历史帧的检测结果进行运动估计以得到历史帧的运动估计结果；基于当前帧的检测结果和历史帧的运动估计结果进行时间域融合以更新当前帧目标的检测结果；该方法能够更好地对道路上出现的各类已知类型及未知类型的障碍物进行检测，并且对被遮挡目标、小体积目标等的检测有更好的表现。

Description

一种面向复杂道路场景的时空域障碍物检测方法及系统
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种面向复杂道路场景的时空域障碍物检测方法及系统。
背景技术
自动驾驶的关键技术之一是车辆通过各种传感器对周围的环境进行信息获取及处理，从而使得车辆可以规划出一条最佳路径来达到目的地；近些年来，深度学习在自动驾驶感知领域得到了广泛的使用，并且逐渐表现出取代各种传统感知方法的趋势。
深度学习以数据为驱动，通过模型设计来替代传统方法中各类特征提取算法，并且表现出良好的泛化性能；在感知领域中最为普遍使用的深度学习方法为监督式方法，虽然这类方法已经十分成熟，然而也有一些不足之处，比如在遇到一些稀有样本、严重遮挡等情况，模型通常难以给出准确的结果，除此之外，监督式方法还存在对于给定样本类型以外的目标无法进行有效检测的问题；在复杂道路场景中，往往存在车辆之间互相遮挡的情况，这极大的增加了目标检测的难度。
发明内容
针对上述问题，本发明的一个目的是提供一种面向复杂道路场景的时空域障碍物检测方法，该方法通过监督式深度学习方法检测出已知类型的目标障碍物，并且利用占据栅格方法对未知类型的障碍物进行检测；在当前帧的障碍物检测结束之后，结合历史时刻检测结果对当前帧结果进行信息补充，弥补因遮挡、点云稀疏等原因造成的漏检；该方法同时具有识别准确率高和召回率高的优势，能够更好地对道路上出现的各类已知类型及未知类型的障碍物进行检测，并且对被遮挡目标、小体积目标等的检测有更好的表现。
本发明的第二个目的是提供一种面向复杂道路场景的时空域障碍物检测系统。
本发明所采用的第一个技术方案是：一种面向复杂道路场景的时空域障碍物检测方法，包括以下步骤：
S100：采集点云数据和历史帧的检测结果，对所述点云数据进行预处理；
S200：将预处理后的点云数据采用深度学习方法进行检测获得已知类型目标信息，采用占据栅格方法进行检测获得未知类型目标信息；
S300：基于所述已知类型目标信息和所述未知类型目标信息对已知类型目标和未知类型目标进行空间域关联融合以得出当前帧的检测结果；
S400：对所述历史帧的检测结果进行运动估计以得到历史帧的运动估计结果；基于所述当前帧的检测结果和所述历史帧的运动估计结果进行时间域融合以更新当前帧目标的检测结果。
优选地，所述步骤S100中的预处理包括对点云数据进行降采样、噪点去除或/和区域过滤操作。
优选地，所述步骤S200中的深度学习方法具体为：
基于预先训练好的神经网络模型对预处理后的点云数据进行运算，得到点云数据中已知类型目标的位置和类别。
优选地，所述步骤S200中的占据栅格方法具体为：
对预处理后的点云数据进行地面点估计及地面点滤除；
通过障碍物分割算法将滤除地面点后的点云数据划分为不同的栅格簇；
对每个栅格簇进行最小包络面估计，计算包络面的中心位置，每个栅格簇为一个未知类型目标，所述包络面的中心位置作为所述未知类型目标的中心。
优选地，所述步骤S300包括以下子步骤：
S310：选取任意一个已知类型目标，依次遍历所有未知类型目标，计算所述已知类型目标和所述未知类型目标之间的关联分数；
S320：基于所述关联分数对所述已知类型目标和所述未知类型目标进行关联匹配，以得到当前帧的检测结果。
优选地，所述关联分数通过以下方式计算得到：
(1)基于所述已知类型目标信息中已知类型目标的中心点坐标计算已知类型目标的前部中心点坐标和尾部中心点坐标；基于所述未知类型目标信息中未知类型目标的中心点坐标计算未知类型目标的前部中心点坐标和尾部中心点坐标；
(2)分别计算所述已知类型目标和所述未知类型目标之间的中心点坐标距离、前部中心点坐标距离和尾部中心点坐标距离；并将所述中心点坐标距离、前部中心点坐标距离和尾部中心点坐标距离中的最小值作为关联距离；
(3)基于关联距离得到所有已知类型目标和所有未知类型目标之间的关联分数。
优选地，所述基于关联分数对所述已知类型目标和所述未知类型目标进行关联匹配具体为：
对每一个已知类型目标选择与之关联分数最高的未知类型目标进行关联，判断该关联分数是否超过设定阈值，若超过，则关联成功，删除该未知类型目标，保留已知类型目标；若不超过设定阈值，则关联失败，保留已知类型目标和未知类型目标。
优选地，所述步骤S400包括以下子步骤：
S410：基于历史帧的每一个检测结果，采用运动估计方法得到其在当前帧时刻的坐标和状态估计协方差矩阵；
S420：基于所述当前帧时刻的坐标和状态估计协方差矩阵计算得出历史帧的每一个检测结果与当前帧之间的关联分数；
S430：基于所述关联分数对当前帧的检测结果和历史帧的运动估计结果进行关联匹配；
S440：关联结束后，对未关联成功的历史帧的运动估计结果进行处理。
优选地，所述步骤S430具体为：
对每一个当前帧的检测结果选择与之关联分数最高的历史帧的运动估计结果进行关联，判断该关联分数是否超过设定阈值，若超过，则关联成功，用当前帧的检测结果替代历史帧的运动估计结果；若不超过，则关联失败，保留当前帧的检测结果和历史帧的运动估计结果。
本发明所采用的第二个技术方案是：一种面向复杂道路场景的时空域障碍物检测系统，包括预处理模块、检测模块、关联模块和融合模块；
所述预处理模块用于采集点云数据和历史帧的检测结果，对所述点云数据进行预处理；
所述检测模块用于将预处理后的点云数据采用深度学习方法进行检测获得已知类型目标信息，采用占据栅格方法进行检测获得未知类型目标信息；
所述关联模块用于基于所述已知类型目标信息和所述未知类型目标信息对已知类型目标和未知类型目标进行空间域关联融合以得出当前帧的检测结果；
所述融合模块用于对所述历史帧的检测结果进行运动估计以得到历史帧的运动估计结果；基于所述当前帧的检测结果和所述历史帧的运动估计结果进行时间域融合以更新当前帧目标的检测结果。
上述技术方案的有益效果：
(1)本发明公开的一种面向复杂道路场景的时空域障碍物检测方法，该方法通过监督式深度学习方法检测出已知类型的目标障碍物，并且利用占据栅格方法对未知类型的障碍物进行检测；在当前帧的障碍物检测结束之后，结合历史时刻检测结果对当前帧结果进行信息补充，弥补因遮挡、点云稀疏等原因造成的漏检。
(2)本发明中对检测结果进行空间域关联融合的方法能够避免错误的关联以及关联过程中位置的跳动，使得关联之后的结果更加准确、平滑。
(3)本发明公开的一种面向复杂道路场景的时空域障碍物检测方法同时具有识别准确率高和召回率高的优势，能够更好地对道路上出现的各类已知类型及未知类型的障碍物进行检测，并且对被遮挡目标、小体积目标等的检测有更好的表现。
(4)本发明公开的方法不仅能够检测出已知类别的障碍物，对未知障碍物也能够进行定位，从而能够更好地让车辆进行最优的路径规划。
(5)本发明公开的方法能够弥补依靠单一方法无法对所有道路障碍物进行检测定位的不足。
附图说明
图1为本发明一个实施例提供的一种面向复杂道路场景的时空域障碍物检测方法的流程框图；
图2为本发明一个实施例提供的一种面向复杂道路场景的时空域障碍物检测方法的流程图；
图3为本发明一个实施例提供的已知类型目标和未知类型目标的示意图；
图4为本发明一个实施例提供的一种面向复杂道路场景的时空域障碍物检测系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例的详细描述和附图用于示例性地说明本发明的原理，但不能用来限制本发明的范围，即本发明不限于所描述的优选实施例，本发明的范围由权利要求书限定。
在本发明的描述中，需要说明的是，除非另有说明，“多个”的含义是两个或两个以上；术语“第一”“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性；对于本领域的普通技术人员而言，可视具体情况理解上述术语在本发明中的具体含义。
实施例1
如图1和图2所示，本实施例公开了一种面向复杂道路场景的时空域障碍物检测方法，包括以下步骤：
S100：采集点云数据和历史帧的检测结果，对点云数据进行预处理；
点云数据包括当前时刻的一帧点云数据或/和过去某一时间段的多帧点云数据；对点云数据进行预处理包括但不限于对点云数据进行降采样、噪点去除、区域过滤等操作。
S200：将经过预处理后的点云数据分别采用深度学习方法和占据栅格方法进行检测；经过深度学习方法进行检测得到已知类型目标信息(已知类别检测结果)，经过占据栅格方法进行检测得到未知类型目标信息(未知类别检测结果)；
深度学习方法和占据栅格方法分别在计算单元上并行处理；
深度学习方法具体为：运用预先训练好的神经网络模型对输入的预处理后的点云数据进行运算，得到点云数据中已知类型目标的位置和类别；已知类型目标在神经网络模型的训练过程中进行定义，包括但不限于小车，卡车，自行车，行人等。
占据栅格方法具体为：首先对输入的预处理后的点云数据进行地面点估计并对地面点进行滤除；滤除地面点过后的点云数据通过障碍物分割算法被划分成不同的栅格簇，然后对每个栅格簇进行最小包络面估计，并计算该包络面的中心位置；每个栅格簇被当作一个未知类型目标，其包络面的中心位置作为该目标的中心。
S300：基于已知类型目标信息和未知类型目标信息对已知类型目标和未知类型目标进行空间域关联融合以得出当前帧的检测结果；具体包括以下子步骤：
S310：选取任意一个已知类型目标，依次遍历所有未知类型目标，计算相互之间关联程度的分数(关联分数)；关联分数通过以下方式计算得到：
(1)每个已知类型目标信息和未知类型目标信息中分别包含已知类型目标和未知类型目标的检测框中心点坐标x，y，z，检测框长宽高l，w，h，以及检测框朝向角度r；基于已知类型目标信息中已知类型目标的中心点坐标计算已知类型目标的前部中心点坐标和尾部中心点坐标；基于未知类型目标信息中未知类型目标的中心点坐标计算未知类型目标的前部中心点坐标和尾部中心点坐标；
其中，前部中心点坐标是由中心点坐标沿着朝向方向r向前部平移二分之一长度得到的；尾部中心点坐标是由中心点坐标沿着朝向方向r向尾部平移二分之一长度得到的；
(2)分别计算两个目标的这三类点之间的距离，即分别计算已知类型目标的中心点坐标和未知类型目标的中心点坐标之间的距离、计算已知类型目标的前部中心点坐标和未知类型目标的前部中心点坐标之间的距离、计算已知类型目标的尾部中心点坐标和未知类型目标的尾部中心点坐标之间的距离；
选取已知类型目标和未知类型目标的中心点坐标距离、已知类型目标和未知类型目标的前部中心点坐标距离、已知类型目标和未知类型目标的尾部中心点坐标距离中的最小值作为关联距离，关联距离记为d；已知类型目标和未知类型目标如图3所示；
(3)基于关联距离得到所有已知类型目标和所有未知类型目标之间的关联分数，关联分数等于关联距离d的倒数；
S320：基于关联分数对所有已知类型目标和未知类型目标进行关联匹配，得到当前帧的检测结果(当前帧关联之后的所有检测结果)；具体为：
对每一个已知类型目标选择与之关联分数最高的未知类型目标进行关联，判断该关联分数是否超过设定阈值，若超过，则关联成功，删除该未知类型目标信息，保留已知类型目标信息；若不超过设定阈值，则关联失败，保留已知类型目标信息和未知类型目标信息；
遍历结束后，得到当前帧关联之后的当前帧的检测结果。
上述对已知类型目标和未知类型目标进行空间域关联融合的方法能够避免错误的关联以及关联过程中位置的跳动，使得关联之后的结果更加准确、平滑。
本发明在空间域对已知类型障碍物检测结果(已知类型目标信息)和未知类型障碍物检测结果(未知类型目标信息)进行融合，充分检测复杂路况障碍物。
S400：对历史帧的检测结果进行运动估计以得到历史帧的运动估计结果；基于当前帧的检测结果和历史帧的运动估计结果进行时间域融合以更新当前帧目标的检测结果，并进行存储和输出。
(1)在进行当前帧检测的同时对历史帧(过去时刻)的检测结果进行运动估计得到历史帧的运动估计结果，历史帧的运动估计结果为过去帧所含的每个目标在当前时刻的预测位置；采用的方法可以是卡尔曼滤波、扩展卡尔曼滤波等；
(2)对当前帧的检测结果和历史帧的运动估计结果进行时间域融合具体为：
S410：对于历史帧的每一个检测结果，根据运动估计方法得到其在当前帧时刻的坐标x，y，z以及状态估计协方差矩阵A；
S420：计算历史帧每一个检测结果与当前帧之间的关联分数，计算公式为：
Figure BDA0003198519460000061
式中，score为历史帧每一个检测结果与当前帧之间的关联分数；dx，dy，dz为历史帧目标与当前帧目标坐标之差；A为状态估计协方差矩阵；
S430：基于所有历史帧的运动估计结果和当前帧的检测结果之间的关联分数，对所有目标进行关联匹配，具体为：
对每一个当前帧的检测结果选择与之关联分数最高的历史帧的运动估计结果进行关联，判断该关联分数是否超过设定阈值，若超过，则关联成功，用当前帧的检测结果替代历史帧的运动估计结果；否则关联失败，保留当前帧的检测结果和历史帧的运动估计结果；
S440：关联结束之后，对未关联成功的历史帧的运动估计结果进行处理；依据其未被关联次数是否大于预先设定的阈值来决定是否对其进行删除；若其未被关联次数大于预先设定的阈值，则将历史帧的运动估计结果进行删除；若其未被关联次数小于或等于预先设定的阈值，则保留历史帧的运动估计结果。
本发明通过时间域障碍物检测结果的融合，弥补了因遮挡、点云稀疏等原因造成的漏检。
本发明公开的一种面向复杂道路场景的时空域障碍物检测方法，输入的点云信息会同时经过深度学习模型和占据栅格方法进行处理，深度学习给出的检测结果带有类别(类型)信息，而占据栅格方法检测结果不带有类别(类型)信息，紧接着对这两类检测结果进行空间域关联；同时对历史帧的检测结果进行运动估计，得到每个目标在当前时刻的估计位置，然后与当前帧的检测结果进行时间域关联，最后更新当前帧的检测结果并输出。
上述方法同时具有高准确率和高召回率的优点，不仅能够检测出已知类别的障碍物，对未知障碍物也能够进行定位，从而能够更好地让车辆进行最优的路径规划；同时该方法能够充分利用不同时刻障碍物的位置信息，能够弥补依靠单一方法无法对复杂道路情况下所有障碍物进行检测定位的不足。
实施例2
如图4所示，本实施例公开了一种面向复杂道路场景的时空域障碍物检测系统，包括预处理模块、检测模块、关联模块和融合模块；
预处理模块用于采集点云数据和历史帧的检测结果，对所述点云数据进行预处理；
检测模块用于将经过预处理后的点云数据采用深度学习方法进行检测得到已知类型目标信息，采用占据栅格方法进行检测得到未知类型目标信息；
关联模块用于基于所述已知类型目标信息和所述未知类型目标信息对已知类型目标和未知类型目标进行空间域关联融合以得出当前帧的检测结果；
融合模块用于对所述历史帧的检测结果进行运动估计以得到历史帧的运动估计结果；基于所述当前帧的检测结果和所述历史帧的运动估计结果进行时间域融合以更新当前帧目标的检测结果。
虽然已经参考优选实施例对本发明进行了描述，但在不脱离本发明范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局限于文中公开的特定实施例，而是包括落入权利要求范围内的所有技术方案。本发明未详细阐述部分属于本领域技术人员的公知技术。

Claims (10)

1.一种面向复杂道路场景的时空域障碍物检测方法，其特征在于，包括以下步骤：
S100：采集点云数据和历史帧的检测结果，对所述点云数据进行预处理；
S200：将预处理后的点云数据采用深度学习方法进行检测获得已知类型目标信息，采用占据栅格方法进行检测获得未知类型目标信息；
S300：基于所述已知类型目标信息和所述未知类型目标信息对已知类型目标和未知类型目标进行空间域关联融合以得出当前帧的检测结果；
S400：对所述历史帧的检测结果进行运动估计以得到历史帧的运动估计结果；基于所述当前帧的检测结果和所述历史帧的运动估计结果进行时间域融合以更新当前帧目标的检测结果。
2.根据权利要求1所述的时空域障碍物检测方法，其特征在于，所述步骤S100中的预处理包括对点云数据进行降采样、噪点去除或/和区域过滤操作。
3.根据权利要求1所述的时空域障碍物检测方法，其特征在于，所述步骤S200中的深度学习方法具体为：
基于预先训练好的神经网络模型对预处理后的点云数据进行运算，得到点云数据中已知类型目标的位置和类别。
4.根据权利要求1所述的时空域障碍物检测方法，其特征在于，所述步骤S200中的占据栅格方法具体为：
对预处理后的点云数据进行地面点估计及地面点滤除；
通过障碍物分割算法将滤除地面点后的点云数据划分为不同的栅格簇；
对每个栅格簇进行最小包络面估计，计算包络面的中心位置，每个栅格簇为一个未知类型目标，所述包络面的中心位置作为所述未知类型目标的中心。
5.根据权利要求1所述的时空域障碍物检测方法，其特征在于，所述步骤S300包括以下子步骤：
S310：选取任意一个已知类型目标，依次遍历所有未知类型目标，计算所述已知类型目标和所述未知类型目标之间的关联分数；
S320：基于所述关联分数对所述已知类型目标和所述未知类型目标进行关联匹配，以得到当前帧的检测结果。
6.根据权利要求5所述的时空域障碍物检测方法，其特征在于，所述关联分数通过以下方式计算得到：
(1)基于所述已知类型目标信息中已知类型目标的中心点坐标计算已知类型目标的前部中心点坐标和尾部中心点坐标；基于所述未知类型目标信息中未知类型目标的中心点坐标计算未知类型目标的前部中心点坐标和尾部中心点坐标；
(2)分别计算所述已知类型目标和所述未知类型目标之间的中心点坐标距离、前部中心点坐标距离和尾部中心点坐标距离；并将所述中心点坐标距离、前部中心点坐标距离和尾部中心点坐标距离中的最小值作为关联距离；
(3)基于关联距离得到所有已知类型目标和所有未知类型目标之间的关联分数。
7.根据权利要求5所述的时空域障碍物检测方法，其特征在于，所述基于关联分数对所述已知类型目标和所述未知类型目标进行关联匹配具体为：
对每一个已知类型目标选择与之关联分数最高的未知类型目标进行关联，判断该关联分数是否超过设定阈值，若超过，则关联成功，删除该未知类型目标，保留已知类型目标；若不超过设定阈值，则关联失败，保留已知类型目标和未知类型目标。
8.根据权利要求1所述的时空域障碍物检测方法，其特征在于，所述步骤S400包括以下子步骤：
S410：基于历史帧的每一个检测结果，采用运动估计方法得到其在当前帧时刻的坐标和状态估计协方差矩阵；
S420：基于所述当前帧时刻的坐标和状态估计协方差矩阵计算得出历史帧的每一个检测结果与当前帧之间的关联分数；
S430：基于所述关联分数对当前帧的检测结果和历史帧的运动估计结果进行关联匹配；
S440：关联结束后，对未关联成功的历史帧的运动估计结果进行处理。
9.根据权利要求8所述的时空域障碍物检测方法，其特征在于，所述步骤S430具体为：
对每一个当前帧的检测结果选择与之关联分数最高的历史帧的运动估计结果进行关联，判断该关联分数是否超过设定阈值，若超过，则关联成功，用当前帧的检测结果替代历史帧的运动估计结果；若不超过，则关联失败，保留当前帧的检测结果和历史帧的运动估计结果。
10.一种面向复杂道路场景的时空域障碍物检测系统，其特征在于，包括预处理模块、检测模块、关联模块和融合模块；
所述预处理模块用于采集点云数据和历史帧的检测结果，对所述点云数据进行预处理；
所述检测模块用于将预处理后的点云数据采用深度学习方法进行检测获得已知类型目标信息，采用占据栅格方法进行检测获得未知类型目标信息；
所述关联模块用于基于所述已知类型目标信息和所述未知类型目标信息对已知类型目标和未知类型目标进行空间域关联融合以得出当前帧的检测结果；
所述融合模块用于对所述历史帧的检测结果进行运动估计以得到历史帧的运动估计结果；基于所述当前帧的检测结果和所述历史帧的运动估计结果进行时间域融合以更新当前帧目标的检测结果。
CN202110899178.4A 2021-08-05 2021-08-05 一种面向复杂道路场景的时空域障碍物检测方法及系统 Active CN113673383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110899178.4A CN113673383B (zh) 2021-08-05 2021-08-05 一种面向复杂道路场景的时空域障碍物检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110899178.4A CN113673383B (zh) 2021-08-05 2021-08-05 一种面向复杂道路场景的时空域障碍物检测方法及系统

Publications (2)

Publication Number Publication Date
CN113673383A true CN113673383A (zh) 2021-11-19
CN113673383B CN113673383B (zh) 2024-04-19

Family

ID=78541605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110899178.4A Active CN113673383B (zh) 2021-08-05 2021-08-05 一种面向复杂道路场景的时空域障碍物检测方法及系统

Country Status (1)

Country Link
CN (1) CN113673383B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116381698A (zh) * 2023-06-05 2023-07-04 蘑菇车联信息科技有限公司 道路遗撒物的检测方法、装置及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120239240A1 (en) * 2009-12-02 2012-09-20 Murata Machinery, Ltd. Autonomous mobile device
CN104751198A (zh) * 2013-12-27 2015-07-01 华为技术有限公司 图像中的目标物的识别方法及装置
CN108647646A (zh) * 2018-05-11 2018-10-12 北京理工大学 基于低线束雷达的低矮障碍物的优化检测方法及装置
CN111002980A (zh) * 2019-12-10 2020-04-14 苏州智加科技有限公司 基于深度学习的道路障碍物轨迹预测方法和系统
CN111753623A (zh) * 2020-03-12 2020-10-09 北京京东乾石科技有限公司 一种运动物体的检测方法、装置、设备及存储介质
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN112154356A (zh) * 2019-09-27 2020-12-29 深圳市大疆创新科技有限公司 点云数据处理方法及其装置、激光雷达、可移动平台
WO2020258218A1 (zh) * 2019-06-28 2020-12-30 深圳市大疆创新科技有限公司 可移动平台的障碍物检测方法、装置及可移动平台
CN112329754A (zh) * 2021-01-07 2021-02-05 深圳市速腾聚创科技有限公司 障碍物识别模型训练方法、障碍物识别方法、装置及系统
CN112700479A (zh) * 2020-12-23 2021-04-23 北京超星未来科技有限公司 一种基于cnn点云目标检测的配准方法
CN112711034A (zh) * 2020-12-22 2021-04-27 中国第一汽车股份有限公司 物体检测方法、装置及设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120239240A1 (en) * 2009-12-02 2012-09-20 Murata Machinery, Ltd. Autonomous mobile device
CN104751198A (zh) * 2013-12-27 2015-07-01 华为技术有限公司 图像中的目标物的识别方法及装置
CN108647646A (zh) * 2018-05-11 2018-10-12 北京理工大学 基于低线束雷达的低矮障碍物的优化检测方法及装置
WO2020258218A1 (zh) * 2019-06-28 2020-12-30 深圳市大疆创新科技有限公司 可移动平台的障碍物检测方法、装置及可移动平台
CN112154356A (zh) * 2019-09-27 2020-12-29 深圳市大疆创新科技有限公司 点云数据处理方法及其装置、激光雷达、可移动平台
CN111002980A (zh) * 2019-12-10 2020-04-14 苏州智加科技有限公司 基于深度学习的道路障碍物轨迹预测方法和系统
CN111753623A (zh) * 2020-03-12 2020-10-09 北京京东乾石科技有限公司 一种运动物体的检测方法、装置、设备及存储介质
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN112711034A (zh) * 2020-12-22 2021-04-27 中国第一汽车股份有限公司 物体检测方法、装置及设备
CN112700479A (zh) * 2020-12-23 2021-04-23 北京超星未来科技有限公司 一种基于cnn点云目标检测的配准方法
CN112329754A (zh) * 2021-01-07 2021-02-05 深圳市速腾聚创科技有限公司 障碍物识别模型训练方法、障碍物识别方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116381698A (zh) * 2023-06-05 2023-07-04 蘑菇车联信息科技有限公司 道路遗撒物的检测方法、装置及电子设备
CN116381698B (zh) * 2023-06-05 2024-03-12 蘑菇车联信息科技有限公司 道路遗撒物的检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN113673383B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
Behrendt et al. A deep learning approach to traffic lights: Detection, tracking, and classification
CN109784162B (zh) 一种行人行为识别及轨迹跟踪方法
CN110992683B (zh) 一种基于动态图像感知的交叉口盲区预警方法及系统
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN111260683A (zh) 一种三维点云数据的目标检测与跟踪方法及其装置
US10081308B2 (en) Image-based vehicle detection and distance measuring method and apparatus
US9213901B2 (en) Robust and computationally efficient video-based object tracking in regularized motion environments
CN106934817B (zh) 基于多属性的多目标跟踪方法及装置
CN110765906A (zh) 一种基于关键点的行人检测算法
CN112883820B (zh) 基于激光雷达点云的道路目标3d检测方法及系统
WO2003001473A1 (en) Vision-based collision threat detection system_
CN111881749B (zh) 基于rgb-d多模态数据的双向人流量统计方法
CN112666573B (zh) 一种矿区卸载区车后方挡土墙及障碍物的检测方法
CN115049700A (zh) 一种目标检测方法及装置
JP2021026644A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
KR20180070258A (ko) 주행상황에서의 동시적 물체 인식 및 학습 방법
CN112434566B (zh) 客流统计方法、装置、电子设备及存储介质
CN114454875A (zh) 一种基于强化学习的城市道路自动泊车方法及系统
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN113673383A (zh) 一种面向复杂道路场景的时空域障碍物检测方法及系统
CN113569652A (zh) 一种自动泊车环视摄像头低矮障碍物检测方法
CN113029185A (zh) 众包式高精度地图更新中道路标线变化检测方法及系统
Wu et al. Example-based clear path detection assisted by vanishing point estimation
CN107256382A (zh) 基于图像识别的虚拟保险杠控制方法和系统
Sri Jamiya et al. A survey on vehicle detection and tracking algorithms in real time video surveillance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant