CN113888589A - 一种基于激光雷达的水面障碍物检测与多目标跟踪方法 - Google Patents

一种基于激光雷达的水面障碍物检测与多目标跟踪方法 Download PDF

Info

Publication number
CN113888589A
CN113888589A CN202111055342.XA CN202111055342A CN113888589A CN 113888589 A CN113888589 A CN 113888589A CN 202111055342 A CN202111055342 A CN 202111055342A CN 113888589 A CN113888589 A CN 113888589A
Authority
CN
China
Prior art keywords
target
tracking
current frame
targets
water surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111055342.XA
Other languages
English (en)
Inventor
马杰
丁军峰
余坤
方斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202111055342.XA priority Critical patent/CN113888589A/zh
Publication of CN113888589A publication Critical patent/CN113888589A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于激光雷达的水面障碍物检测与多目标跟踪方法，属于无人艇水面环境感知与理解领域。包括：步骤1，获取当前激光雷达扫描到的水面环境点云数据；步骤2，对步骤1获取到的点云数据进行坐标系变换，并映射为前视图投影栅格图；步骤3，在前视图投影栅格图上进行聚类分割并筛选，得到当前帧目标集合，实现多目标检测；步骤4，在前视图投影栅格图上将当前帧目标集合与上一帧目标集合进行目标匹配，实现多目标跟踪。本发明的基于激光雷达的水面障碍物检测与多目标跟踪方法，能够有效解决目标遮挡、新目标出现、旧目标消失等难点问题，提升了多目标检测的准确性，并且满足实时运算的需求，能够降低虚警率。

Description

一种基于激光雷达的水面障碍物检测与多目标跟踪方法
技术领域
本发明属于无人艇水面环境感知与理解领域，更具体地，涉及一种基于激光雷达的水面障碍物检测与多目标跟踪方法。
背景技术
无人艇作为一种新型水面无人操作设备，具有全天候、全天时、长续航的优点，在许多领域都有着十分广泛的应用。如军事上可遂行侦察警戒、扫雷突击等任务；民用领域可进行海上救援、垃圾清扫等；科研领域可进行水质监测、鱼群探查等。目前，无人艇的相关研究正受到越来越多的关注。
海上环境复杂多变，无人艇遂行自主航行任务，需要对水面障碍物进行精准检测和稳定跟踪，以进行有效避障和作业。目前无人艇对水面目标的探测手段主要是光电成像式和激光雷达扫描式两种。光电成像式通常采用价格相对较低的摄像头，采集周围环境可见光波段或红外波段的图像信息，去除海天背景，提取出水面目标进行检测和跟踪。光学成像实质是真实三维世界在二维成像平面上的投影，投影图像缺少距离信息，无法判断目标远近和大小，难以分割水面目标和海天背景，检测和识别的可靠性不足；同时，光电成像设备易受到光照、天气等成像条件变化的干扰，成像质量不佳导致后续目标检测跟踪算法失效，限制了无人艇的应用场景和应用时段。激光雷达采用主动发射多束激光的方式，通过测量激光束发射和返回的时间差来计算目标的距离，兼具雷达和光学成像的特点，且不受光照、天气的影响，可大大拓展无人艇的应用场景和时段。激光雷达以一定速率匀速旋转扫描周围环境可以获得360度的视场角，不但可以获取目标的精确距离、方位信息，而且可以获取目标的三维轮廓，以用于高精度的目标检测与识别。近年来，激光雷达已在自动驾驶领域得到广泛的应用。
目前基于激光雷达的障碍物检测与跟踪的研究主要集中于路面环境。路面环境中目标成像稳定，易于稳定检测。而水面环境复杂多变，存在较多的问题，一方面，水面环境经常出现一个大目标被其他小目标部分遮挡的情况，会导致一个大目标在下一帧点云中“破碎”为多个小目标，当遮挡消失时，多个小目标又会重新聚合为一个大目标，造成目标的错误检测与跟踪；并且，激光雷达探测距离有限，水面环境空旷，经常出现远处新目标进入雷达视场，旧目标离开雷达视场的情况，需要对其进行识别处理。另一方面，激光雷达获取到的点云通常数量庞大，且为无序结构，在原始点云上处理会耗时严重，影响实时性。
现有的解决方案分为两类，一类是将路面环境中的处理方法迁移到水面环境上，通常将点云投影到水平面栅格地图上，每个栅格包含一个点云团，这样会导致对原始点云的降采样，损失掉激光雷达的高分辨率优势，易造成小型目标的“漏检”。另一类是直接在原始点云上处理，这类方法因耗时严重通常对硬件算力要求较高，导致船用计算机功耗较大，降低了以电池为主要供能方式的无人艇的续航时长，限制了无人艇的应用场景与时段。另外，水面环境中目标的稳定外形特征难以获得，直接在原始点云上进行目标检测跟踪效果不佳。并且，现有的方式都没有实现对水面多目标的稳定检测与跟踪，且没有解决水面障碍物因遮挡造成的目标检测与跟踪错误的问题。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于激光雷达的水面障碍物检测与多目标跟踪方法，其目的在于通过多目标检测与跟踪提升目标检测的准确性和实时性。
一种基于激光雷达的水面障碍物检测与多目标跟踪方法，包括以下步骤：
步骤1，获取当前激光雷达扫描到的水面环境点云数据；
步骤2，对步骤1获取到的点云数据进行坐标系变换，并映射为前视图投影栅格图；
步骤3，在前视图投影栅格图上进行聚类分割并筛选，得到当前帧目标集合，实现多目标检测；
步骤4，在前视图投影栅格图上将当前帧目标集合与上一帧目标集合进行目标匹配，实现多目标跟踪。
进一步地，步骤4中，目标匹配具体如下：
(1)在投影栅格图上，确定当前帧目标集合中每个目标和上一帧目标集合中每个目标的栅格数重合度：若当前帧的多个目标与上一帧的某个目标的栅格数重合度都大于设定的阈值，则说明上一帧的该目标在当前帧被遮挡为多个目标，则合并当前帧的多个目标为一个目标；若上一帧的多个目标与当前帧的某个目标的栅格数重合度都大于设定的阈值，则说明该目标在上一帧因遮挡而被检测为了多个目标，且在当前帧遮挡已消失，重新聚合为一个目标，则合并上一帧的多个目标为一个目标；
(2)对经步骤(1)关联筛选、消除目标遮挡后的前后帧目标集合中的目标建立一对一匹配关系：将上一帧目标集合中的任意目标与当前帧目标集合中的任意目标组成目标对；确定目标对在栅格图上的重合比例；根据重合比例建立前后帧目标之间的匹配关系，实现多目标跟踪；
(3)对步骤(2)上一帧目标集合中未匹配到的目标，判定该目标已离开激光雷达视场，结束对该目标的跟踪；对当前帧目标集合中未匹配到的目标，判定该目标为新进入激光雷达视场的目标，开启对该目标的跟踪。
进一步地，在步骤(2)中，通过对前后帧目标集合中的目标构建带权二分图，以栅格数交并比指标作为目标对的权重，确定目标对在栅格图上的重合比例。
进一步地，通过阈值法对栅格数交并比指标进行筛选，剔除权重过小的目标对。
进一步地，在步骤(1)中，栅格数重合度的阈值为95％。
进一步地，步骤4中，通过建立定长批号集的方式实现多目标跟踪，具体如下：
1)建立定长批号集，并初始化第一帧点云数据目标集合中的每个目标分别为批号集中的一个批号；
2)在当前帧投影栅格图上，将上一帧投影栅格图对应栅格位置的目标批号值作为当前帧目标集合中每个目标的初始批号，并将当前帧目标集合中没有领到初始批号的目标的栅格标记为定长批号集之外的一个无效批号，统计当前帧目标集合中的目标包含的批号值：
(a)如果该目标包含的批号值不相同，说明上一帧的该目标在当前帧被遮挡为多个目标，则统计每个批号所包含的栅格数目，将包含栅格数最多的那个批号值作为该目标的批号值，并更新该目标包含的所有栅格的批号值为该批号值；
(b)如果当前帧目标集合中有多个目标所包含的批号值都相同，则说明该目标在上一帧因遮挡而被检测为了多个目标，且在当前帧遮挡已消失，重新聚合为一个目标，则合并这些目标所包含的栅格，将其仍作为一个目标，并保留当前的批号值；
(c)如果该目标包含的所有栅格的批号值都相同且不是无效批号，说明该目标在上一帧已经存在并已经有了批号值，实现了当前帧和上一帧的同一个目标的匹配，完成了对该目标的跟踪；
(d)如果该目标包含的所有栅格的批号值都是无效批号，说明该目标在上一帧栅格图中没有对应已经存在的目标，是新出现的目标，则遍历批号集，赋于该目标一个新的批号，并更新该目标包含的所有栅格的批号值为该批号值；
(e)遍历上一帧的目标集合，如果有步骤(a)～(d)中没有被访问到的批号，即该目标在当前帧目标集合中没有与之匹配的目标，说明该目标已经离开了激光雷达的视场，则将该批号返还给批号集。
进一步地，步骤3中对聚类分割后的前视图投影栅格图进行形态学开运算或形态学闭运算。
进一步地，步骤1之后还包括步骤S'，将步骤1获取到的点云数据进行滤波去噪处理。
进一步地，步骤S'采用统计滤波法和栅格滤波法对步骤1获取到的点云数据进行滤波去噪处理。
进一步地，步骤S'后还包括步骤S”，采用直通滤波法将距离激光雷达5～10米内的点云全部去除。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明的目标检测与目标跟踪方法，通过在投影栅格图上统计前后帧目标对的重合区域的栅格数，求取目标对重合度来合并“破碎”的小目标，解决了水面障碍物因遮挡造成的目标错误匹配问题，提高了水面障碍物检测跟踪的准确率。通过确定目标对在栅格图上的重合比例求解前后帧目标的一对一最优匹配关系，完成多目标跟踪任务；并且能够识别出当前帧和上一帧未被匹配到的目标，实现对新目标出现的跟踪以及对旧目标消失停止跟踪。
(2)通过在投影栅格图上统计前后帧目标对的交、并集区域的栅格数，求取交并比指标，作为目标对的筛选权重，并剔除权重过小的目标对，进一步提高了目标匹配的准确率，并且减少了后续目标匹配的计算量。
(3)通过将点云映射为前视图投影栅格图，将无序非结构化的点云数据变换到了规则的二维栅格图上，对点云数据进行了结构化处理，相对于直接在原始点云上运算，降低了运算时长，提升了目标检测的实时性，满足无人艇实时避障的需求；并且前视图的投影方式不会造成对原始点云的降采样，保留了原始点云的高分辨率，大大降低了对小目标的“漏检”。
(4)通过对聚类分割后的前视图投影栅格图进行形态学开运算和形态学闭运算，可以将靠的过近导致栅格图上表现为“粘连”的目标分开，将目标中的“空洞”栅格填充，以减轻遮挡对目标检测的影响，大幅提高了目标检测的准确率。
(5)本发明首先利用直通滤波法，减除无人艇周围的点云，可有效去除无人艇船体周围激起的浪花造成的杂波；在聚类得到目标集合后，通过阈值筛选策略，滤除了过小的目标，去除了水面浪花杂波造成的目标“误检”，大大降低了虚警率。
总而言之，本发明的基于激光雷达的水面障碍物检测与多目标跟踪方法，能够有效解决目标遮挡、新目标出现、旧目标消失等难点问题，大大减少目标的“漏检”、“虚警”，提升了多目标检测的准确性，并且满足无人艇实时避障的需求。
附图说明
图1为本发明的一种基于激光雷达的水面障碍物检测与多目标跟踪方法流程图。
图2为本发明实施例1中激光雷达极坐标表示法示意图。
图3为本发明实施例1中对应的三维直角坐标表示法示意图。
图4为本发明实施例1中激光雷达点云映射为前视图投影栅格图示意图。
图5为本发明实施例1中码头场景目标检测与跟踪结果图。
图6为本发明实施例1中水面目标检测与跟踪结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1
本实施例中主要用到的硬件设备包括：激光雷达、惯导单元。激光雷达安装在无人艇顶部无遮挡位置，实时获取周围360°视场范围内水面环境点云数据。惯导单元安装在激光雷达附近，用于实时获取无人艇在三维直角坐标系下的三轴姿态信息。
如图1所示，一种基于激光雷达的水面障碍物检测与多目标跟踪方法，包括以下步骤：
步骤1：获取当前激光雷达扫描到的水面环境点云数据；
本实施例中，使用的是上海禾赛公司的Pandar64型号的激光雷达，采用多线束旋转扫描式，有N组激光发射器，在本实施例中，N的值是64，以一定角度间隔竖直排列，水平安装在无人艇上方，以一定速率匀速旋转扫描水面环境，每旋转360°获取一帧点云数据，数据帧频率优选是10Hz、20Hz。
步骤2：将步骤1获取到的点云数据进行滤波去噪处理；
具体的，本实施例采用统计滤波法和栅格滤波法去除点云中的离群点和杂波；同时，为了避免无人艇周围激起的波浪造成的杂波，需要将激光雷达一定范围内的点云全部去除，优选采用直通滤波法将距离激光雷达一定范围内的点云全部去除，该范围优选为5～10米。
步骤3：将滤波去噪处理后的点云数据进行坐标系变换，并映射为前视图投影栅格图；
具体的，将步骤2中经过滤波去噪处理后的点云数据从激光雷达极坐标系转换到三维直角坐标系下；根据惯导单元获取到的无人艇的姿态信息将三维直角坐标系下的点云数据变换到无人艇东北天坐标系下；最后将东北天坐标系下的点云数据映射为前视图投影栅格图。
如图2和图3所示，由于激光雷达获得的原始点云数据是以激光雷达为原点的极坐标表示的，每个点云数据点包括4个属性(index，θhorizontal，θvertical，d)，分别表示该点所属的激光束编号、水平发射角、垂直发射角、目标距离。由于极坐标的数据组织方式不能体现目标的三维轮廓信息，故本实施例将点云数据从激光雷达极坐标系解算到以激光雷达为中心的三维直角坐标系下，将点云数据转换为三维直角坐标(x,y,z)表示，方便获取目标的三维轮廓信息。激光雷达极坐标数据解算为三维直角坐标，变换公式为：
x＝d*cosθvertical*cosθhorizontal，
y＝d*cosθvertical*sinθhorizontal，
z＝d*sinθvertical。
此时，障碍物目标在雷达视场中的点云坐标仍是以激光雷达为中心的局部坐标，无人艇在运动时，坐标中心激光雷达也在运动，这会导致真实世界中同一静止目标在前后帧雷达点云中的坐标并不相同，无法进行前后帧目标的跟踪。需要将前后帧雷达点云从局部坐标中心变换到同一全局坐标中心下，使真实世界中的静止目标在前后帧雷达点云中的坐标保持不变。本实施例以东北天坐标系为全局坐标系，以第一帧点云的坐标中心为全局坐标系的坐标中心，采用惯导设备获取无人艇在两帧点云间的位姿变化，将所有的点云帧都依次变换到全局坐标系下。
为了在点云数量庞大的水面环境中满足无人艇实时避障的需求，本实施例中，将点云映射为前视图投影栅格图，将点云组织为有序结构化的数据结构，降低运算时长，且栅格图中的每个栅格表示原始点云中的一个点，不会造成对原始点云的降采样，保证了小型目标的稳定检测，减少了“漏检”。
本实施例中采用的激光雷达为上海禾赛公司的Pandar64型号，共有64组激光器，各自以不同的垂直发射角度竖直有序排列，组成前视图投影栅格图在竖直方向上的行维度；激光雷达绕中心匀速旋转获取360度视场角，为环状有序扫描，同一激光器在水平方向上的相邻扫描线存在确定的前后时序关联，组成前视图投影栅格图在水平方向上的列维度。
具体的，如图4所示，激光雷达多线束竖直排列，组成栅格图的行维度，各线束水平发射角旋转展开360°，组成栅格图的列维度，即栅格图的行数为激光雷达的线束N，列数为
Figure BDA0003254383910000091
其中，N为正整数，
Figure BDA0003254383910000092
为激光雷达水平角分辨率。本实施例中，N为64，水平角分辨率
Figure BDA0003254383910000093
为0.2度，栅格图大小为64*1800，点云数据对应栅格行、列坐标求取公式如下：
row＝index,
Figure BDA0003254383910000094
步骤4：在前视图投影栅格图上进行聚类分割，得到目标集合并进行筛选，得到当前帧目标集合，实现多目标检测；
可以采用现有任意一种聚类分割法，本实施例中，采用基于欧氏距离聚类的点云目标提取分割算法，优选地以数据点在激光雷达三维直角坐标系中的欧式距离作为栅格间距离的度量准则。对于靠的过近导致栅格图上表现为“粘连”的目标，通过对栅格图进行形态学开运算将其分开；对于目标中的“空洞”栅格，通过对栅格图进行形态学闭运算进行填充，以减轻遮挡对目标检测的影响，降低虚警。通过对前视图投影栅格图聚类分割，得到障碍物目标集合，目标集合中的每个目标包含不同数目的栅格。
海浪杂波、飞鸟等会反射激光点，造成目标“虚警”，需要将其去除。这类目标通常包含的栅格数目较少，本实施例中，优选采用阈值筛选法，剔除障碍物目标集合中包含栅格数目低于阈值的目标，得到最终的当前帧目标集合，能够有效降低目标“虚警”。阈值范围优选为20～100个栅格。
步骤5：在前视图投影栅格图上将当前帧目标集合与上一帧目标集合进行目标匹配，求取前后帧目标的一对一匹配关系，实现多目标跟踪。具体包括以下子步骤：
(1)首先对前后帧目标集合进行关联筛选，解决目标遮挡问题，消除对后续目标匹配步骤的不良影响。
水面环境经常出现目标被部分遮挡的情况，原目标的大点云团“破碎”为多个小点云团，从而被检测为多个小目标，当遮挡消失时，小点云团重新“聚合”为大点云团，又会被重新检测为一个大目标。如果不能有效消除目标遮挡，会导致后续的目标匹配步骤产生错误匹配，从而目标跟踪错误。
本实施例首先对前后帧目标集合进行关联筛选，基于投影栅格图上前后帧目标的栅格数重合度，找出“破碎”、“聚合”的目标，将其合并为原目标。具体的，选取上一帧目标集合中的任意一目标、当前帧目标集合中的任意一目标，组成一对目标，在投影栅格图上统计两目标各自的栅格数、及两目标交集的栅格数，计算两目标交集栅格数占两目标中较小目标的栅格数的比例，即栅格数重合度指标，并进行阈值筛选：若当前帧的多个目标与上一帧的某个目标的重合度都很高，高于设定的阈值，则说明上一帧的该目标在当前帧被部分遮挡，“破碎”为多个小目标，则合并当前帧的多个目标，仍将其作为一个目标；同样的，若上一帧多个目标与当前帧的某个目标的重合度都大于设定的阈值，则说明该目标在上一帧被遮挡了，被检测为多个目标，当前帧遮挡消失，重新“聚合”为一个目标，则合并上一帧的多个目标，仍将其作为一个目标。本实施例优选栅格数重合度的阈值为95％，即较小的目标与大目标有超过95％的面积都重合，则认为小目标是大目标“破碎”出来的一部分。
(2)对经步骤(1)关联筛选、消除目标遮挡后的前后帧目标集合，需要对前后帧的同一个物理目标建立一对一匹配关系，求取两集合所有的目标匹配对，实现多目标跟踪。设前一帧目标集合共有m个目标，当前帧目标集合共有n个目标，则总共存在m×n组可能的目标匹配对(其中，m，n为正整数)，需要剔除错误匹配，找到最可能的目标匹配对。本发明将该问题建模为图论中的最优匹配问题，对前后帧目标集合建立带权二分图，求取二分图的最优匹配，解算得到前后帧目标的一对一最优匹配关系，快速准确的完成多目标跟踪任务。
首先求取m×n组目标匹配对的可能性权重，并进行阈值筛选，剔除掉极不可能的目标对，减少后续二分图最大匹配求解的计算量，加速算法运行。具体的，随机选取上一帧目标集合中的任意一目标、当前帧目标集合中的任意一目标，组成一对初始目标对，在投影栅格图上统计两目标交集区域的栅格数和两目标的并集区域的栅格数，计算交并比指标IoU(intersection over union)作为该目标对的可能性权重，权重取值范围为0～1，重复该步骤，直到求解得到所有m×n组目标对的可能性权重。再对所有目标对进行权重的阈值筛选，剔除权重过小的目标对。本实施例优选阈值范围为0.1～0.2，即目标对在栅格图上的重合比例小于10％～20％，认为该目标对是错误匹配，前后帧的这两个目标不是同一个目标，不存在匹配关系。最后，对筛选后剩余的所有目标对构建带权二分图，各目标对的IoU为权值，此时目标跟踪问题转化为求解带权二分图的最大匹配问题。可以采用多种优化算法求解该问题，本实施例优选采用KM(Kuhn-Munkres Algorithm)最大匹配算法求解。
(3)步骤(2)求解得到前后帧一对一目标最优匹配关系，完成了对目标的跟踪任务；上一帧目标集合中未匹配到的目标，说明该目标已经离开激光雷达视场，则放弃对该目标的跟踪；当前帧目标集合中未匹配到的目标，说明该目标是新进入激光雷达视场的目标，则开启对该目标的跟踪。
通过上述方式，完成了多目标跟踪任务，图5和图6分别为本发明实施例的码头场景目标检测与跟踪结果图和水面目标检测与跟踪结果图。
实施例2
本实施例中，通过建立定长批号集的方式，依据前后帧目标在栅格图中对应区域的重合情况，进行目标匹配。
具体匹配方法为：
(1)建立定长批号集，本实施例设定集合为1～100共100个批号；
(2)第一帧的点云数据获取后，通过步骤1～步骤4，得到该帧的目标集合，该帧目标集合中的每个目标分别赋予批号集中的一个批号，每个目标中的所有栅格点都对应标记为该目标的批号；栅格图中未被标记目标批号的其它栅格全部标记为无效批号0(在其它实施例中，栅格图中未被标记目标批号的其它栅格可以标记为其它的无效批号值)；
(3)当前帧到来后，通过步骤1～步骤4获取到当前帧的目标集合。遍历该集合，将该目标集合中的每个目标包含的栅格的批号值设置为上一帧栅格图对应栅格位置处的目标批号值，同时对每个目标所包含的栅格批号进行筛选，具体如下：
(a)如果该目标包含的批号值不唯一，即该目标部分栅格是一个批号值，另一部分栅格是另外一个批号值，说明该目标在上一帧被遮挡了一部分，进而被聚类为多个不同的目标，并赋予了多个不同的批号值。则统计每个批号所包含的栅格数目，找到包含栅格数最多的那个批号值，将其作为该目标的批号值，并更新该目标包含的所有栅格为该批号值。
(b)如果当前帧目标集合中有多个目标所包含的批号值都相同，则说明它们在上一帧属于同一个目标，该目标的部分区域在当前帧被遮挡，所以聚类为多个分离的目标；则合并这些目标所包含的栅格，将其仍作为一个目标，并保留当前的批号值。
上述解决了目标遮挡的问题。
(c)如果该目标包含的所有栅格的批号值都相同且不等于0，说明该目标在上一帧已经存在并已经有了批号值，则保留该批号值。即将当前帧和上一帧的同一个目标匹配起来了，完成了对该目标的跟踪任务。
(d)如果该目标包含的所有栅格的批号值都等于0，说明该目标在上一帧栅格图中没有对应的已经存在的目标，是新进入激光雷达视场内的目标，则遍历批号集，找出当前最小的批号赋给该目标，并对应更新该目标包含的所有栅格的批号值为该批号值，开始对该目标进行跟踪。即实现了对跟踪过程中新出现的目标进行跟踪。
(e)遍历上一帧的目标集合，如果有步骤(a)～(d)中没有被访问到的批号，说明该目标在当前帧目标集合中没有与之对应匹配的目标，说明该目标已经离开了激光雷达的视场，消失了，则将该目标的批号值回收，返还给批号集。即实现了对目标离开激光雷达视场不需要在跟踪的问题的处理。
本发明的基于激光雷达的水面障碍物检测与多目标跟踪方法，满足了无人艇航行的自主避障需求，可直接应用于无人艇的环境感知需求中。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于激光雷达的水面障碍物检测与多目标跟踪方法，其特征在于，包括以下步骤：
步骤1，获取当前激光雷达扫描到的水面环境点云数据；
步骤2，对步骤1获取到的点云数据进行坐标系变换，并映射为前视图投影栅格图；
步骤3，在前视图投影栅格图上进行聚类分割并筛选，得到当前帧目标集合，实现多目标检测；
步骤4，在前视图投影栅格图上将当前帧目标集合与上一帧目标集合进行目标匹配，实现多目标跟踪。
2.根据权利要求1所述的一种基于激光雷达的水面障碍物检测与多目标跟踪方法，其特征在于，步骤4中，目标匹配具体如下：
(1)在投影栅格图上，确定当前帧目标集合中每个目标和上一帧目标集合中每个目标的栅格数重合度：若当前帧的多个目标与上一帧的某个目标的栅格数重合度都大于设定的阈值，则说明上一帧的该目标在当前帧被遮挡为多个目标，则合并当前帧的多个目标为一个目标；若上一帧的多个目标与当前帧的某个目标的栅格数重合度都大于设定的阈值，则说明该目标在上一帧因遮挡而被检测为了多个目标，且在当前帧遮挡已消失，重新聚合为一个目标，则合并上一帧的多个目标为一个目标；
(2)对经步骤(1)关联筛选、消除目标遮挡后的前后帧目标集合中的目标建立一对一匹配关系：将上一帧目标集合中的任意目标与当前帧目标集合中的任意目标组成目标对；确定目标对在栅格图上的重合比例；根据重合比例建立前后帧目标之间的匹配关系，实现多目标跟踪；
(3)对步骤(2)上一帧目标集合中未匹配到的目标，判定该目标已离开激光雷达视场，结束对该目标的跟踪；对当前帧目标集合中未匹配到的目标，判定该目标为新进入激光雷达视场的目标，开启对该目标的跟踪。
3.根据权利要求2所述的一种基于激光雷达的水面障碍物检测与多目标跟踪方法，其特征在于，在步骤(2)中，通过对前后帧目标集合中的目标构建带权二分图，以栅格数交并比指标作为目标对的权重，确定目标对在栅格图上的重合比例。
4.根据权利要求3所述的一种基于激光雷达的水面障碍物检测与多目标跟踪方法，其特征在于，通过阈值法对栅格数交并比指标进行筛选，剔除权重过小的目标对。
5.根据权利要求4所述的一种基于激光雷达的水面障碍物检测与多目标跟踪方法，其特征在于，在步骤(1)中，栅格数重合度的阈值为95％。
6.根据权利要求5所述的一种基于激光雷达的水面障碍物检测与多目标跟踪方法，其特征在于，步骤4中，通过建立定长批号集的方式实现多目标跟踪，具体如下：
1)建立定长批号集，并初始化第一帧点云数据目标集合中的每个目标分别为批号集中的一个批号；
2)在当前帧投影栅格图上，将上一帧投影栅格图对应栅格位置的目标批号值作为当前帧目标集合中每个目标的初始批号，并将当前帧目标集合中没有领到初始批号的目标的栅格标记为定长批号集之外的一个无效批号，统计当前帧目标集合中的目标包含的批号值：
(a)如果该目标包含的批号值不相同，说明上一帧的该目标在当前帧被遮挡为多个目标，则统计每个批号所包含的栅格数目，将包含栅格数最多的那个批号值作为该目标的批号值，并更新该目标包含的所有栅格的批号值为该批号值；
(b)如果当前帧目标集合中有多个目标所包含的批号值都相同，则说明该目标在上一帧因遮挡而被检测为了多个目标，且在当前帧遮挡已消失，重新聚合为一个目标，则合并这些目标所包含的栅格，将其仍作为一个目标，并保留当前的批号值；
(c)如果该目标包含的所有栅格的批号值都相同且不是无效批号，说明该目标在上一帧已经存在并已经有了批号值，实现了当前帧和上一帧的同一个目标的匹配，完成了对该目标的跟踪；
(d)如果该目标包含的所有栅格的批号值都是无效批号，说明该目标在上一帧栅格图中没有对应已经存在的目标，是新出现的目标，则遍历批号集，赋于该目标一个新的批号，并更新该目标包含的所有栅格的批号值为该批号值；
(e)遍历上一帧的目标集合，如果有步骤(a)～(d)中没有被访问到的批号，即该目标在当前帧目标集合中没有与之匹配的目标，说明该目标已经离开了激光雷达的视场，则将该批号返还给批号集。
7.根据权利要求6所述的一种基于激光雷达的水面障碍物检测与多目标跟踪方法，其特征在于，步骤3中对聚类分割后的前视图投影栅格图进行形态学开运算或形态学闭运算。
8.根据权利要求7所述的一种基于激光雷达的水面障碍物检测与多目标跟踪方法，其特征在于，步骤1之后还包括步骤S'，将步骤1获取到的点云数据进行滤波去噪处理。
9.根据权利要求8所述的一种基于激光雷达的水面障碍物检测与多目标跟踪方法，其特征在于，步骤S'采用统计滤波法和栅格滤波法对步骤1获取到的点云数据进行滤波去噪处理。
10.根据权利要求1-9任意一项所述的一种基于激光雷达的水面障碍物检测与多目标跟踪方法，其特征在于，步骤S'后还包括步骤S”，采用直通滤波法将距离激光雷达5～10米内的点云全部去除。
CN202111055342.XA 2021-09-09 2021-09-09 一种基于激光雷达的水面障碍物检测与多目标跟踪方法 Pending CN113888589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111055342.XA CN113888589A (zh) 2021-09-09 2021-09-09 一种基于激光雷达的水面障碍物检测与多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111055342.XA CN113888589A (zh) 2021-09-09 2021-09-09 一种基于激光雷达的水面障碍物检测与多目标跟踪方法

Publications (1)

Publication Number Publication Date
CN113888589A true CN113888589A (zh) 2022-01-04

Family

ID=79008937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111055342.XA Pending CN113888589A (zh) 2021-09-09 2021-09-09 一种基于激光雷达的水面障碍物检测与多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN113888589A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071694A (zh) * 2023-03-07 2023-05-05 浙江华是科技股份有限公司 船舶检测方法、装置及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071694A (zh) * 2023-03-07 2023-05-05 浙江华是科技股份有限公司 船舶检测方法、装置及计算机可读存储介质
CN116071694B (zh) * 2023-03-07 2023-06-23 浙江华是科技股份有限公司 船舶检测方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
Nabati et al. Rrpn: Radar region proposal network for object detection in autonomous vehicles
CN106204705B (zh) 一种基于多线激光雷达的3d点云分割方法
US20220028163A1 (en) Computer Vision Systems and Methods for Detecting and Modeling Features of Structures in Images
CN110275153B (zh) 一种基于激光雷达的水面目标检测与跟踪方法
Aldera et al. Fast radar motion estimation with a learnt focus of attention using weak supervision
CN110531376B (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
CN112882059B (zh) 一种基于激光雷达的无人船内河障碍物感知方法
CN108509972A (zh) 一种基于毫米波和激光雷达的障碍物特征提取方法
CN109283538A (zh) 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
Wang et al. Bionic vision inspired on-road obstacle detection and tracking using radar and visual information
CN108564525A (zh) 一种基于多线激光雷达的3d点云2d化数据处理方法
CN113761999B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN110132284B (zh) 一种基于深度信息的全局定位方法
Tilly et al. Detection and tracking on automotive radar data with deep learning
CN111781608A (zh) 一种基于fmcw激光雷达的运动目标检测方法及系统
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN112166457A (zh) 点云分割方法、系统和可移动平台
CN114998276A (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
CN114241211A (zh) 基于激光雷达点云特征的岸线提取方法
CN111736167B (zh) 一种获取激光点云密度的方法和装置
CN113888589A (zh) 一种基于激光雷达的水面障碍物检测与多目标跟踪方法
CN112802195B (zh) 一种基于声呐的水下机器人连续占据建图方法
Nitsch et al. 3d ground point classification for automotive scenarios
CN117029870A (zh) 一种基于路面点云的激光里程计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination