CN113536959A - 一种基于立体视觉的动态障碍物检测方法 - Google Patents
一种基于立体视觉的动态障碍物检测方法 Download PDFInfo
- Publication number
- CN113536959A CN113536959A CN202110700486.XA CN202110700486A CN113536959A CN 113536959 A CN113536959 A CN 113536959A CN 202110700486 A CN202110700486 A CN 202110700486A CN 113536959 A CN113536959 A CN 113536959A
- Authority
- CN
- China
- Prior art keywords
- point
- points
- point cloud
- obstacle
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000005070 sampling Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000004888 barrier function Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000006116 polymerization reaction Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 claims description 2
- 108010050014 systemin Proteins 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明属于智能交通技术领域,具体为一种基于立体视觉的动态障碍物检测方法。本发明方法包括:从立体图像中获取深度信息,并生成原始点云数据;对点云数据进行降噪和下采样处理;对滤波后的点云数据进行聚类;对预聚类的结果进行障碍物轮廓提取;对目标进行2D检测,得到2D检测边界框,对点云聚类和3D跟踪结果进行校正;把障碍物轮廓提取得到的障碍物的矩形边框和2D目标检测得到的2D检测边界框融合,同时对动态障碍物的轨迹进行跟踪预测。本发明方法有效降低了成本,改善了检测精度,提高了跟踪的实时性和准确性。
Description
技术领域
本发明属于智能交通技术领域,具体涉及一种基于立体视觉的动态障碍物检测方法。
背景技术
智能交通系统中的动态障碍物检测方法,一方面不仅要对动态物体进行正确的检测和分类,而且要进行准确的运动估计和预测;另一方面,检测可能不仅限于人类,也可能涉及大小和速度不同的动态物体,如动物或其他交通工具等。
目前主流的动态障碍物检测方法有两种,一种是使用非视觉传感器,如激光雷达、毫米波雷达等,靠主动发射信号来探测物体位置信息。其具有测量误差小,受环境影响小的优点,但也存在着较多同类传感同时工作时互相干扰,对特殊物体的无法很好的检测以及成本较高等缺陷,不能大规模部署到智能交通系统。另一种是使用视觉传感器,利用可见光作为接收信息,相较于非视觉传感器,视觉传感器在获取场景三维信息的同时还可以采集环境的图像信息,因此可以为后续的障碍物检测获得更多的信息。该方法对相机硬件要求低,成本也低,但是对环境光照非常敏感,且计算复杂度高,不能在计算受限的平台上实时运行。
综上所述,现有技术存在以下缺点:①非视觉传感器工作时互相干扰,对特殊物体的无法很好的检测;②非视觉传感器方法成本高,大规模部署困难;③视觉传感器方法的检测精度有限,且不同的方法仅适用于检测特定的动态障碍物;④视觉传感器方法的实时性受限于平台的计算能力。
发明内容
本发明旨在克服现有技术的不足,提供一种成本低、计算量小、适应性广、精度高的基于立体视觉的动态障碍物检测方法,便于大规模应用到智能交通系统。
本发明提供的基于立体视觉的动态障碍物检测方法,具体步骤为:
(1)点云生成,是从立体图像中获取深度信息,结合视觉slam(simultaneouslocalization and mapping,即同步定位与建图)得到的位姿生成原始点云数据;
(2)点云滤波,是对点云数据进行降噪和下采样处理,提高方法的准确性和实时性;
(3)点云聚类,是对滤波后的点云数据进行聚类,得到障碍物的预聚类结果;
(4)障碍物轮廓提取,是对预聚类的结果进行最小外接矩形框提取;
(5)2D目标检测,是对目标进行2D检测,得到2D检测边界框,可对点云聚类和3D跟踪结果进行校正;
(6)动态障碍物跟踪,是把点云分类得到的分类结果和2D目标检测得到的2D检测边界框融合,同时对动态障碍物的轨迹进行跟踪预测。
进一步地,步骤(1)所述点云生成,具体流程为:
利用双目相机获取视场的左右视图,接着采用改进的自适应立体匹配深度网络(MADNet)【1】获取视差图,本发明采用基于深度学习的立体匹配网络较好地兼顾了实时性和准确性。在得到视差图后,利用相机间的位置关系通过三角测量的原理转换为三维点云。双目立体视觉系统如图2所示。图2中,世界坐标系中的点p在左右视图上的成像点为xl和xr,焦距为f,B为两相机光心的距离,则视差d=xl-xr,利用相似三角形可计算出点p的三维坐标为:
已知视差d=xl-xr,则:
其中,xc,yc,zc为p点在相机坐标系中的坐标。
进一步地,步骤(2)所述点云滤波,具体流程为:
(1)设置点云的高度范围阈值(例如:lground=0.1m,lheight=2.0m),过滤掉地面等不在测试距离范围的点云;
(2)采用体素滤波方法,在不破坏点云本身几何结构的同时对点云数据进行下采样处理;
(3)采用半径滤波方法,减少障碍物边缘的噪声。
进一步地,步骤(3)所述点云聚类,具体流程为:
为了提取障碍物的外围矩形轮廓,有必要对障碍物点进行聚类,本发明采用一种改进的DBSCAN算法【2】,该算法利用密度进行聚类,可以自动确定簇的数量,计算速度快且能够有效处理噪声点和发现任意形状的空间聚类。DBSCAN算法中,需要确定两个参数:Eps:在一个点周围邻近区域的半径;MinPts:邻近区域内至少包含点的个数。改进算法的具体操作为:
(1)根据KNN分布,2D目标检测的输出以及数学统计分析自适应计算出最优全局参数Eps与MinPts;
(2)将所有点分类,分别标记为核心点、边界点和噪声点;
(3)删除标记出的噪声点;
(4)连接在Eps距离内的所有核心点,并归入到同一簇中;
(5)各个簇中的核心点对应种子代表对象的选择;
(6)遍历滤波后的点云数据集,根据选择的代表对象进行区域查询,将边界点分入与之对应核心点的簇中;如果数据集合中所有的点都被处理,则算法结束。
进一步地,步骤(4)所述障碍物轮廓提取,采用最小凸包法结合模糊线段的方法提取聚类结果的矩形框,具体流程为:
首先,利用Graham扫描提取凸包点;然后,利用模糊线段法提取障碍物的矩形边框。
其中,所述利用Graham扫描法提取凸包点,具体操作流程为(参见图3):
(1)把同一聚类结果的所有点放在二维坐标系中,则纵坐标最小的点一定是凸包上的点,记为P0;
(2)把所有点的坐标平移一下,使P0作为原点;
(3)计算各个点相对于P0的幅角θ,按从小到大的顺序对各个点排序;当θ相同时,距离P0比较近的排在前面,依次得到的结果记为为P1,P2,P3,P4,P5,P6,P7,P8;由几何知识可知,结果中第一个点P1和最后一个点P8一定是凸包上的点;把第一个点P0和第二个点P1放在栈里面;从步骤3求得的那个结果里,把P1后面的那个点拿出来做当前点,即P2,接下来开始找第三个点;
(4)连接栈中第二个和栈顶的那个点,得到直线L;看当前点是在直线L的右边还是左边;如果在直线上,或者直线的右边就执行步骤5;如果在直线的左边就执行步骤6;
(5)如果在右边,则栈顶的那个元素不是凸包上的点,把栈顶元素出栈,执行步骤4;
(6)当前点是凸包上的点,把它压入栈,执行步骤7;
(7)检查当前点是不是步骤3那个结果的最后一个元素;如果是最后一个元素,则结束;如果不是最后一个元素,则把当前点后面那个点做当前点,返回步骤4;
进一步地,步骤(5)所述2D目标检测,具体流程为:
采用MobileNetV3-SSD网络【4】对目标进行运动检测,并将生成的2D边界框用于优化聚类和跟踪结果。MobileNetV3-SSD网络在运行时间和性能之间做到了很好的权衡。具体实现见参考资料。
进一步地,步骤(6)所述动态障碍物跟踪,具体流程为:
首先根据卡尔曼滤波器的预测结果对当前动态障碍物列表中预测的障碍物建立搜索区域;接着对相邻两帧之间的障碍物进行数据关联,在时间t,将全局框架中所有当前簇的质心计算为簇中所有点的平均值,将它们关联到最接近的质心,并将该簇关联到前一帧,实现帧间目标和轨迹的匹配;然后基于2D目标检测模块的输出边界约束以及数据关联的结果对卡尔曼滤波器进行动态更新,从而完成对目标障碍物速度和位置的滤波和预测;最后输出关联目标。其算法流程见图3所示。
其中,卡尔曼滤波器的操作包括两个阶段:预测与更新。在预测阶段,滤波器使用上一状态的估计结果,做出对当前状态的估计。在更新阶段,滤波器利用当前状态的观测值优化在预测阶段获得的预估值,以获得一个当前阶段更精确的新估计值。
其中,Ts为两次更新的时间间隔。
本发明技术方案的优点主要体现在:
①既解决了使用非视觉传感器的高成本问题,又改善了基于视觉传感器方法的检测精度;
②本发明中,点云生成模块采用快速实时的模块化自适应深度立体视觉网络从立体图像中推断出视差图,改善了基于视觉传感器方法对平台计算能力的依赖,同时提高了实时性;
③本发明引入了2D目标检测模块,一方面提高了点云聚类和位姿跟踪的准确性,另一方面使动态障碍物的检测不再局限于特定的类型;
④本发明中各个模块的实现随着人工智能技术的发展和新算法的提出可进行方法替换,完成更新迭代。
附图说明
图1为本发明方法流程图示。
图2为双目立体视觉系统。
图3为Graham扫描法示例图示。
图4为动态障碍物跟踪算法流程图示。
具体实施方式
如图1所示:
步骤一:点云生产模块的实施过程为:先基于双目相机采集视场的左右视图,将采集的左右视图输入到基于深度学习的立体匹配网络中得到视差图,本发明采用改进的MADNet网络,接着通过三角测量的原理结合相机参数将视差图转换为相机坐标系下的三维点云,本发明通过slam模块得到的位姿信息将相机坐标系下的点云变换到一个全局坐标系下,完成点云生成操作;
步骤二:点云滤波模块是对步骤一得到的点云进行降噪和下采样处理,本发明采用的点云滤波操作为:
(1)设置点云的高度范围阈值,考虑到真实场景障碍物的高度范围,可设置为lground=0.1m,lheight=2.0m,过滤掉地面等不在测试距离范围的点云;
(2)采用体素滤波方法,在不破坏点云本身几何结构的同时对点云数据进行下采样处理;
(3)采用半径滤波方法,减少障碍物边缘的噪声。
步骤三:点云聚类模块本发明采用一种改进的DBSCAN算法,该算法利用密度进行聚类,可以自动确定簇的数量,计算速度快且能够有效处理噪声点和发现任意形状的空间聚类。DBSCAN算法中,需要首先确定两个参数:Eps:在一个点周围邻近区域的半径;MinPts:邻近区域内至少包含点的个数。改进算法的具体操作为:
(1)根据KNN分布,2D目标检测的输出以及数学统计分析自适应计算出最优全局参数Eps与MinPts;
(2)将所有点分类,分别标记为核心点、边界点和噪声点;
(3)删除标记出的噪声点;
(4)连接在Eps距离内的所有核心点,并归入到同一簇中;
(5)各个簇中的核心点对应种子代表对象的选择;
(6)遍历滤波后的点云数据集,根据选择的代表对象进行区域查询,将边界点分入与之对应核心点的簇中;如果数据集合中所有的点都被处理,则算法结束。
步骤四:障碍物轮廓提取模块,采用最小凸包法结合模糊线段的方法,具体操作为:
首先,利用Graham扫描提取凸包点,参见图3,具体流程为:
(1)把同一聚类结果的所有点放在二维坐标系中,则纵坐标最小的点一定是凸包上的点,如图3中的P0。
(2)把所有点的坐标平移一下,使P0作为原点。
(3)计算各个点相对于P0的幅角θ,按从小到大的顺序对各个点排序。当θ相同时,距离P0比较近的排在前面。例如图3得到的结果为P1,P2,P3,P4,P5,P6,P7,P8。我们由几何知识可以知道,结果中第一个点P1和最后一个点P8一定是凸包上的点。把第一个点P0和第二个点P1放在栈里面。现在从步骤3求得的那个结果里,把P1后面的那个点拿出来做当前点,即P2,接下来开始找第三个点。
(4)连接栈中第二个和栈顶的那个点,得到直线L。看当前点是在直线L的右边还是左边。如果在直线上,或者直线的右边就执行步骤5;如果在直线的左边就执行步骤6。
(5)如果在右边,则栈顶的那个元素不是凸包上的点,把栈顶元素出栈,执行步骤4。
(6)当前点是凸包上的点,把它压入栈,执行步骤7。
(7)检查当前点是不是步骤3那个结果的最后一个元素。是最后一个元素的话就结束。如果不是的话就把当前点后面那个点做当前点,返回步骤4。
然后,利用模糊线段法提取障碍物的矩形边框。
步骤五:2D目标检测模块具体操作为:
本发明采用MobileNetV3-SSD网络对目标进行运动检测,并将生成的2D边界框用于优化聚类和跟踪结果。
步骤六:动态障碍物跟踪模块具体操作为:
首先根据卡尔曼滤波器的预测结果对当前动态障碍物列表中预测的障碍物建立搜索区域;接着对相邻两帧之间的障碍物进行数据关联,在时间t,将全局框架中所有当前簇的质心计算为簇中所有点的平均值,将它们关联到最接近的质心,并将该簇关联到前一帧,实现帧间目标和轨迹的匹配;然后基于2D目标检测模块的输出边界约束以及数据关联的结果对卡尔曼滤波器进行动态更新,从而完成对目标障碍物速度和位置的滤波和预测;最后输出关联目标。其算法流程见图4所示。
参考文献:
【1】Tonioni,Alessio,et al."Real-time self-adaptive deep stereo."Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2019.以及,Haiyang Wang,Xinchao Wang,Jie Song,Jie Lei,MingliSong.:Faster Self-adaptive Deep Stereo.In:Proceedings of the Asian Conferenceon Computer Vision(ACCV),2020.
【2】Martin Ester,Hans-Peter Kriegel,Jorg Sander,Xiaowei Xu,et al.“Adensity-based algorithm for discovering clusters in large spatial databaseswith noise.”In Kdd,volume 96,pages 226–231,1996.和Li,Shan-Shan.“An improvedDBSCAN algorithm based on the neighbor similarity and fast nearest neighborquery.”IEEE Access 8(2020):47468-47476.
【3】Debled-Rennesson I,Feschet F,Rouyer-Degli J.Optimalblurredsegments decomposition of noisy shapes in lineartime.Computers&Graphics,2006,30(1):30~36.
【4】Howard,Andrew,et al."Searching for mobilenetv3."Proceedings of theIEEE/CVF International Conference on Computer Vision.2019。
Claims (8)
1.一种基于立体视觉的动态障碍物检测方法,其特征在于,具体步骤为:
(1)点云生成,是从双目相机中获取深度信息,结合视觉slam得到的位姿生成原始点云数据;
(2)点云滤波,是对点云数据进行降噪和下采样处理,提高方法的准确性和实时性;
(3)点云聚类,是对滤波后的点云数据进行聚类,得到障碍物的预聚类结果;
(4)障碍物轮廓提取,提取包含预聚类结果的最小外接矩形框;
(5)2D目标检测,是对目标进行2D检测,得到2D检测边界框,可对点云聚类和3D跟踪结果进行校正;
(6)动态障碍物跟踪,是把障碍物轮廓提取的结果和2D目标检测得到的2D检测边界框融合,同时对动态障碍物的轨迹进行跟踪预测。
3.根据权利要求2所述的动态障碍物检测方法,其特征在于,步骤(2)所述点云滤波,具体流程为:
(1)设置点云的高度范围阈值,过滤掉地面等不在测试距离范围的点云;
(2)采用体素滤波方法,在不破坏点云本身几何结构的同时对点云数据进行下采样处理;
(3)采用半径滤波方法,去除障碍物边缘的噪声。
4.根据权利要求3所述的动态障碍物检测方法,其特征在于,步骤(3)所述点云聚类,具体流程为:
采用改进的DBSCAN算法进行聚类,其中,首先确定两个参数:Eps:在一个点周围邻近区域的半径;MinPts:邻近区域内至少包含点的个数;算法的具体操作为:
(1)根据KNN分布,2D目标检测的输出以及数学统计分析自适应计算出最优全局参数Eps与MinPts;
(2)将所有点分类,分别标记为核心点、边界点和噪声点;
(3)删除标记出的噪声点;
(4)连接在Eps距离内的所有核心点,并归入到同一簇中;
(5)各个簇中的核心点对应种子代表对象的选择;
(6)遍历数据集,根据选择的代表对象进行区域查询,将边界点分入与之对应核心点的簇中;如果数据集合中所有的点都被处理,则算法结束。
5.根据权利要求4所述的动态障碍物检测方法,其特征在于,步骤(4)所述障碍物轮廓提取,采用最小凸包法结合模糊线段的方法提取聚类结果的矩形框,具体流程为:
首先,利用Graham扫描提取凸包点;然后,利用模糊线段法提取障碍物的矩形边框。
6.根据权利要求5所述的动态障碍物检测方法,其特征在于,所述利用Graham扫描提取凸包点,具体操作流程为:
(1)把同一聚类结果的所有点放在二维坐标系中,则纵坐标最小的点一定是凸包上的点,记为P0;
(2)把所有点的坐标平移一下,使P0作为原点;
(3)计算各个点相对于P0的幅角θ,按从小到大的顺序对各个点排序;当θ相同时,距离P0比较近的排在前面,依次得到的结果记为为P1,P2,P3,P4,P5,P6,P7,P8;由几何知识可知,结果中第一个点P1和最后一个点P8一定是凸包上的点;把第一个点P0和第二个点P1放在栈里面;从步骤3求得的那个结果里,把P1后面的那个点拿出来做当前点,即P2,接下来开始找第三个点;
(4)连接栈中第二个和栈顶的那个点,得到直线L;看当前点是在直线L的右边还是左边;如果在直线上,或者直线的右边就执行步骤5;如果在直线的左边就执行步骤6;
(5)如果在右边,则栈顶的那个元素不是凸包上的点,把栈顶元素出栈,执行步骤4;
(6)当前点是凸包上的点,把它压入栈,执行步骤7;
(7)检查当前点是不是步骤3那个结果的最后一个元素;如果是最后一个元素,则结束;如果不是最后一个元素,则把当前点后面那个点做当前点,返回步骤4。
7.根据权利要求6所述的动态障碍物检测方法,其特征在于,步骤(5)所述2D目标检测,具体流程为:
采用MobileNetV3-SSD网络对目标进行运动检测,并将生成的2D边界框用于优化聚类和跟踪结果。
8.根据权利要求7所述的动态障碍物检测方法,其特征在于,步骤(6)所述动态障碍物跟踪,具体流程为:
首先根据卡尔曼滤波器的预测结果对当前动态障碍物列表中预测的障碍物建立搜索区域;
接着对相邻两帧之间的障碍物进行数据关联,在时间t,将全局框架中所有当前簇的质心计算为簇中所有点的平均值,将它们关联到最接近的质心,并将该簇关联到前一帧,实现帧间目标和轨迹的匹配;
然后基于2D目标检测模块的输出边界约束以及数据关联的结果对卡尔曼滤波器进行动态更新,从而完成对目标障碍物速度和位置的滤波和预测;最后输出关联目标;
卡尔曼滤波器的操作包括两个阶段:预测与更新;在预测阶段,滤波器使用上一状态的估计结果,做出对当前状态的估计;在更新阶段,滤波器利用当前状态的观测值优化在预测阶段获得的预估值,以获得一个当前阶段更精确的新估计值;
其中,Ts为两次更新的时间间隔。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110700486.XA CN113536959A (zh) | 2021-06-23 | 2021-06-23 | 一种基于立体视觉的动态障碍物检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110700486.XA CN113536959A (zh) | 2021-06-23 | 2021-06-23 | 一种基于立体视觉的动态障碍物检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113536959A true CN113536959A (zh) | 2021-10-22 |
Family
ID=78125715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110700486.XA Pending CN113536959A (zh) | 2021-06-23 | 2021-06-23 | 一种基于立体视觉的动态障碍物检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113536959A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113926174A (zh) * | 2021-11-16 | 2022-01-14 | 南京禾蕴信息科技有限公司 | 一种绕桩运动轨迹分析与计时装置及其分析方法 |
CN114648585A (zh) * | 2022-05-23 | 2022-06-21 | 中国科学院合肥物质科学研究院 | 一种基于激光点云与集成学习的车辆姿态估计方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111337941A (zh) * | 2020-03-18 | 2020-06-26 | 中国科学技术大学 | 一种基于稀疏激光雷达数据的动态障碍物追踪方法 |
CN112529874A (zh) * | 2020-12-14 | 2021-03-19 | 上海智蕙林医疗科技有限公司 | 基于三维雷达的障碍物检测方法、装置、介质和机器人 |
-
2021
- 2021-06-23 CN CN202110700486.XA patent/CN113536959A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111337941A (zh) * | 2020-03-18 | 2020-06-26 | 中国科学技术大学 | 一种基于稀疏激光雷达数据的动态障碍物追踪方法 |
CN112529874A (zh) * | 2020-12-14 | 2021-03-19 | 上海智蕙林医疗科技有限公司 | 基于三维雷达的障碍物检测方法、装置、介质和机器人 |
Non-Patent Citations (5)
Title |
---|
THOMAS EPPENBERGER 等: "Leveraging Stereo-Camera Data for Real-Time Dynamic Obstacle Detection and Tracking", 《IEEE》 * |
ZBSPY_ZJF: "Graham扫描法(凸包)", 《HTTPS://BLOG.CSDN.NET/ZBSPY_ZJF/ARTICLE/DETAILS/78859559》 * |
从刻意到习惯: "双目相机视差原理以及如何根据视差求点在相机中的三维坐标", 《HTTPS://BLOG.CSDN.NET/WEIXIN_43491924/ARTICLE/DETAILS/108558411》 * |
周治平 等: "一种改进的自适应快速AF-DBSCAN聚类算法", 《智能系统学报》 * |
邹斌 等: "基于三维激光雷达的动态障碍物检测和追踪方法", 《汽车技术》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113926174A (zh) * | 2021-11-16 | 2022-01-14 | 南京禾蕴信息科技有限公司 | 一种绕桩运动轨迹分析与计时装置及其分析方法 |
CN114648585A (zh) * | 2022-05-23 | 2022-06-21 | 中国科学院合肥物质科学研究院 | 一种基于激光点云与集成学习的车辆姿态估计方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xia et al. | Geometric primitives in LiDAR point clouds: A review | |
CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
Fan et al. | Road surface 3D reconstruction based on dense subpixel disparity map estimation | |
CN106599108B (zh) | 一种三维环境中多模态环境地图构建方法 | |
CN113168717B (zh) | 一种点云匹配方法及装置、导航方法及设备、定位方法、激光雷达 | |
Sun et al. | Aerial 3D building detection and modeling from airborne LiDAR point clouds | |
CN110189399B (zh) | 一种室内三维布局重建的方法及系统 | |
CN112634451A (zh) | 一种融合多传感器的室外大场景三维建图方法 | |
CN113506318B (zh) | 一种车载边缘场景下的三维目标感知方法 | |
CN110599489A (zh) | 一种目标空间定位方法 | |
CN115049700A (zh) | 一种目标检测方法及装置 | |
CN112784873A (zh) | 一种语义地图的构建方法及设备 | |
CN113902860A (zh) | 一种基于多线激光雷达点云的多尺度静态地图构建方法 | |
CN113516664A (zh) | 一种基于语义分割动态点的视觉slam方法 | |
CN114332348B (zh) | 一种融合激光雷达与图像数据的轨道三维重建方法 | |
Wang et al. | An overview of 3d object detection | |
Son et al. | Rapid 3D object detection and modeling using range data from 3D range imaging camera for heavy equipment operation | |
CN113536959A (zh) | 一种基于立体视觉的动态障碍物检测方法 | |
CN116449384A (zh) | 基于固态激光雷达的雷达惯性紧耦合定位建图方法 | |
CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
Hou et al. | Multi-modal feature fusion for 3D object detection in the production workshop | |
CN117706577A (zh) | 基于激光雷达三维点云算法的船舶尺寸测量方法 | |
CN117292076A (zh) | 工程机械局部作业场景动态三维重构方法及系统 | |
Shang et al. | Model-based tracking by classification in a tiny discrete pose space | |
CN116309817A (zh) | 一种基于rgb-d相机的托盘检测与定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211022 |