CN108509918B - 融合激光点云与图像的目标检测与跟踪方法 - Google Patents

融合激光点云与图像的目标检测与跟踪方法 Download PDF

Info

Publication number
CN108509918B
CN108509918B CN201810290515.8A CN201810290515A CN108509918B CN 108509918 B CN108509918 B CN 108509918B CN 201810290515 A CN201810290515 A CN 201810290515A CN 108509918 B CN108509918 B CN 108509918B
Authority
CN
China
Prior art keywords
target
point cloud
image
detection result
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810290515.8A
Other languages
English (en)
Other versions
CN108509918A (zh
Inventor
尹栋
相晓嘉
李梦洁
李�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201810290515.8A priority Critical patent/CN108509918B/zh
Publication of CN108509918A publication Critical patent/CN108509918A/zh
Application granted granted Critical
Publication of CN108509918B publication Critical patent/CN108509918B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种融合激光点云与图像的目标检测与跟踪方法，步骤包括：S1.分别采集目标的激光点云数据、图像数据，根据采集到的点云数据进行第一目标检测，得到第一目标检测结果，以及根据采集到的图像数据进行第二目标检测，得到第二目标检测结果；S2.基于贝叶斯决策对第一目标检测结果、第二目标检测结果进行融合判决，得到最终的目标检测结果输出；S3.根据最终的目标检测结果进行目标跟踪。本发明具有实现方法简单高效、目标检测跟踪精度高、环境适应性及容错性强且稳定可靠等优点。

Description

融合激光点云与图像的目标检测与跟踪方法
技术领域
本发明涉及目标检测跟踪技术领域，尤其涉及一种融合激光点云与图像的目标检测与跟踪方法。
背景技术
目前大多数的目标检测跟踪方法大都是基于图像及视频数据，即依赖单一的视觉图像信息进行目标检测与跟踪，但是该类单一的依靠视觉图像信息进行目标检测方式，通常要求是高质量、高分辨率的原始图像，而视觉传感器自身的局限性使得光照变化、目标间遮挡、阴影等因素都会对采集到的图像质量产生严重的影响，如大风、雨雪等恶劣天气或光照变化、遮挡、阴影等，使检测结果的可靠性大大降低，检测系统的鲁棒性差，跟踪在环境变化比较复杂的时候使用很受限制。
多传感器系统相比单一传感器获取目标的信息更加丰富、观测域更加广阔，且鲁棒性更高，结合多传感器实现目标检测跟踪可以解决上述单一依靠视觉图像信息检测的问题。激光雷达是一种获取外界信息的主动式传感器，能快速的获取周围环境的三维点云信息，且受外界干扰影响小，而激光雷达获得的点云数据相对于图像来说信息量并不是很丰富，尤其是当激光线数少时，有从业者提出结合激光雷达与视觉传感器组合使用进行目标检测，使得激光雷达和视觉传感器可以在时间及空间上互相弥补和完善，减少工作盲区，获得更加丰富的目标信息。
但是目前结合激光雷达与图像数据进行目标检测跟踪的方式中，通常都只是借助激光雷达的点云信息作为先验知识用来降低在图像上的搜索空间，由搜索到的图像数据再进行目标检测跟踪，该类方式存在以下问题：
1、对激光雷达测得的点云信息仅仅是用于降低图像的搜索空间，并未充分利用该点云信息，没有充分发挥激光雷达与图像数据的优势；
2、由于是先借助激光雷达的点云信息来降低图像上的搜索空间，再由搜索的图像数据进行目标检测跟踪，则当激光雷达或图像采集中任意一个传感器失效时，整个检测系统均无法工作，系统的稳定可靠性不高。
发明内容
本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、目标检测跟踪精度高、环境适应性及容错性强且稳定可靠的融合激光点云与图像的目标检测与跟踪方法。
为解决上述技术问题，本发明提出的技术方案为：
一种融合激光点云与图像的目标检测与跟踪方法，步骤包括：
S1.分别采集目标的激光点云数据、图像数据，根据采集到的所述点云数据进行第一目标检测，得到第一目标检测结果，以及根据采集到的所述图像数据进行第二目标检测，得到第二目标检测结果；
S2.基于贝叶斯决策对所述第一目标检测结果、第二目标检测结果进行融合判决，得到最终的目标检测结果输出；
S3.根据所述最终的目标检测结果进行目标跟踪。
作为本发明的进一步改进，所述步骤S1中根据采集到的所述点云数据进行第一目标检测的具体步骤为：
S111.对采集到的点云数据进行滤波，输出滤除地面点后的地物点数据；
S112.将所述地物点数据映射生成距离图像以及基于反射强度图像，根据所述距离图像、反射强度图像以及回波强度信息对所述地物点数据进行点云分割聚类，得到多个点云区域；
S113.根据目标的先验知识从各个点云区域中筛选出疑似目标的目的点云区域；
S114.对各目的点云区域进行特征提取，由提取的特征向量进行分类以识别出目标，得到第一目标检测结果。
作为本发明的进一步改进，所述步骤S112的具体步骤为：
S1121.将所述地物点数据映射生成距离图像以及反射强度图像；
S1122.采用区域增长的方法对所述距离图像进行初次分割，得到多个初次分割后的子集合；
S1123.根据所述回波强度信息对所述初次分割后的子集合进行细化分割，得到的细化分割后的多个子集合并作为最终分割得到的点云区域。
作为本发明的进一步改进，所述进行初次分割时分割参数包括夹角β，所述夹角β为所述距离图像中相邻两点的直线与距离雷达较远的点到雷达中心连线之间的夹角；所述分割参数还包括相邻数据点之间的距离阈值D，所述距离阈值具体为D＝K*L*α，其中，K为矫正系数，L＝min(d1,d2)为两相邻数据点中距离雷达较近的点到雷达中心的距离，d1、d2分别表示两相邻数据点距离雷达中心的距离；α为相邻两激光束之间的夹角。
作为本发明的进一步改进，所述步骤S114中提取的特征具体包括：用于表征目标几何状态的几何状态特征、用于表征目标姿态变化的姿态变化特征、点云分布特征以及回波强度特征中一种或两种以上的组合；所述几何状态特征具体包括包围所述点云区域所形成的长方体的长度、宽度、高度、宽度与高度之间比值和长度与高度之间比值中一种或两种以上的组合；所述姿态变化特征包括所述点云区域内的数据点数、数据点与雷达之间的距离、方位角、纵向点数分布特征以及横向高度轮廓特征中一种或两种以上的组合；所述点云分布特征包括X， Y，Z方向的方差、三维协方差矩阵以及惯性张量矩阵中一种或两种以上的组合；所述回波强度特征具体包括回波强度的最大值、均值、方差、反射强度概率分布中一种或两种以上的组合。
作为本发明的进一步改进，所述步骤S1中根据采集到的所述图像数据进行第二目标检测的具体步骤为：
S121.预先对激光雷达与采集图像装置进行联合标定，得到三维点云与图像像素点之间的投影变换矩阵；
S122.采集到图像数据时，对图像进行预处理，对预处理后的图像使用所述投影变换矩阵提取感兴趣区域；
S123.对所述提取的感兴趣区域进行图像特征提取，根据提取的图像特征识别出目标，得到第二目标检测结果。
作为本发明的进一步改进，所述步骤S121的具体步骤为：
S1211.预先制作中间镂空的菱形板以作为标定板；
S1212.使用待标定的激光雷达采集所述标定板的点云数据，以及使用待标定的采集图像采集所述标定板的图像数据；
S1213.对采集的所述点云数据处理时，通过点云分割聚类找出属于所述标定板表面点的一类点作为目标点云，使用所述目标点云拟合所述标定板的平面，得到拟合平面，对于所述目标点云中每一根扫描线利用最近邻聚类算法获得边缘点，并在所述拟合平面内利用所述标定板的边缘点拟合边缘线，求出相邻两条边缘线的交点坐标输出；对采集的所述图像数据处理时，进行角点检测，输出检测到的角点坐标；
S124.根据检测得到的所述交点坐标以及角点坐标求解出所述投影变换矩阵。
作为本发明的进一步改进，所述步骤S2的具体步骤为：若所述第一目标检测结果、第二目标检测结果相同，将所述第一目标检测结果或所述第二目标检测结果作为最终的目标检测结果输出，若所述第一目标检测结果、第二目标检测结果不相同，分别获取待检测目标身份为行人、非行人的先验概率P{ tE} 、P{ tN} ，并根据所述先验概率P{ tE} 、P{ tN}分别计算第一目标检测结果、第二目标检测结果为情况k时目标真实身份分别被判定为行人和非行人的后验概率CptP{tE|k},CfP{tN|k}，其中若CptP{tE|k}＞CfP{tN|k}，融合后最终判定目标身份为行人，若CptP{tE|k}＜CfP{tN|k}，融合后最终判定目标身份为非行人。
作为本发明的进一步改进，所述后验概率CptP{tE|k},CfP{tN|k}具体按下式计算得到：
Figure GDA0002692843100000041
Figure GDA0002692843100000042
其中，k＝b，b表示基于激光雷达检测方式得到的第一目标检测结果为行人、基于图像数据检测方式得到的第二目标检测结果为非行为，C表示基于图像数据检测方式的第二目标检测结果，L表示基于激光雷达检测方式的第一目标检测结果，tE表示真实为行人，tN表示真实为非行人，P{ N|tE} 表示传感器给出的判别结果是非行人N而目标的真实身份是行人E 的概率，Cpt代表目标真实身份是行人而检测结果判定为非行人的损失，Cf代表目标真实身份是非行人而检测结果误判为行人的损失，P{tE|b}为第一目标检测结果、第二目标检测结果为情况b时目标真实身份被判定为行人的概率,P{tN|b}为第一目标检测结果、第二目标检测结果为情况b时目标真实身份被判定为非行人的概率，PL{E|tE}为基于激光雷达数据检测方式得到的召回率，PC{N|tE}为基于图像数据检测方式得到的漏检率，PL{E|tN}为基于雷达数据检测方式得到的虚警率，PC{N|tN}为基于图像数据检测方式得到的真实为非行人的概率， P{b}为检测结果为b的概率。
作为本发明的进一步改进，所述步骤S3具体使用基于MDP(Markov DecisionProcss，马尔科夫决策过程)的多目标跟踪方法进行跟踪。
与现有技术相比，本发明的优点在于：
1)本发明融合激光点云与图像的目标检测与跟踪方法，通过分别基于激光点云数据、图像数据进行目标检测，再由检测结果在决策层基于贝叶斯决策进行融合判决实现目标检测与跟踪，能够充分利用激光雷达点云数据与图像数据实现目标检测，可以充分发挥激光雷达检测与图像检测两者的优势，融合激光点云与图像提高检测效率、精度以及对复杂环境的适应能力、容错能力，同时当任一传感器故障时仍然可以正常工作，稳定可靠性高。
2)本发明融合激光点云与图像的目标检测与跟踪方法，在基于激光点云数据、图像数据进行目标检测的过程中，分别可以获取得到各检测过程中的概率数据，基于该概率数据在决策层可以方便的使用基于贝叶斯决策进行融合判决，从而将激光点云检测、图像检测与最终决策层判决有效结合起来，充分利用检测过程中得到的概率数据，能够保证最终判决的准确性，实现精确的目标检测跟踪。
3)本发明融合激光点云与图像的目标检测与跟踪方法，进一步结合贝叶斯决策理论和最小化后验风险准则对激光雷达与图像的独立检测结果进行融合决策，针对检激光雷达与图像检测的情况，构建决策融合判定准则，能够结合检测过程实现最终目标检测结果的准确判定。
4)本发明融合激光点云与图像的目标检测与跟踪方法，进一步针对点云数据上述稀疏且空间分布不均匀特性，通过将地物点数据映射生成距离图像以及反射强度图像，对距离图像进行初次分割，能够基于目标表面点云分布几何特性和属性特征实现快速分割，再利用回波强度信息进行细化分割，保证能够将潜在的未分割目标点云分割，提高点云分割的精度；点云分割时，通过结合β角与距离阈值D作为点云分割的参数，可以有效实现点云分割，同时能够避免分割多平面场景目标时会造成对平面的过分割问题。
4)本发明融合激光点云与图像的目标检测与跟踪方法，进一步通过预先激光雷达与采集图像装置进行联合标定，确定三维点云与图像像素点之间的投影变换矩阵，再使用投影变换矩阵提取采集的图像中的感兴趣区域，实现基于图像的目标检测，能够结合激光雷达检测数据快速定位图像中的感兴趣区域，有效提高图像检测的效率，保证图像检测的精度；针对激光雷达扫描得到的稀疏点云特点，预先设置中间镂空的菱形标定板，能够增加特征点数目以及对距离的适应能力，同时通过镂空的结构增加了额外的约束条件，有利于后续优化求解标定板角点。
附图说明
图1是本实施例融合激光点云与图像的目标检测与跟踪方法的实现流程示意图。
图2是本实施例实现点云分割的实现流程示意图。
图3是本发明具体实施例中映射生成的距离图像示意图。
图4是激光雷达扫描时刻几何关系原理示意图。
图5是本发明具体实施例中基于激光点云实现目标检测的实现流程示意图。
图6是本实施例使用的标定板的结构示意图。
图7是本实施例实现激光雷达与相机联合标定的实现流程示意图。
图8是本实施例求激光扫描平面与图像间交线的原理示意图。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
如图1所示，本实施例融合激光点云与图像的目标检测与跟踪方法，步骤包括：
S1.分别采集目标的激光点云数据、图像数据，根据采集到的点云数据进行第一目标检测，得到第一目标检测结果，以及根据采集到的图像数据进行第二目标检测，得到第二目标检测结果；
S2.基于贝叶斯决策对第一目标检测结果、第二目标检测结果进行融合判决，得到最终的目标检测结果输出；
S3.根据最终的目标检测结果进行目标跟踪。
本实施例通过分别基于激光点云数据、图像数据进行目标检测，再由检测结果在决策层基于贝叶斯决策进行融合判决实现目标检测与跟踪，能够充分利用激光雷达点云数据与图像数据实现目标检测，可以充分发挥激光雷达检测与图像检测两者的优势，融合激光点云与图像提高检测精度以及对复杂环境的适应能力、容错能力，同时当任一传感器故障时仍然可以正常工作，稳定可靠性高，可以适用于各类无人车中的行人、障碍物检测领域，也可以应用于精确制导、战场环境监控，海洋监视、无人机侦察等军事领域。
本实施例上述方法在基于激光点云数据、图像数据进行目标检测的过程中，分别可以获取得到各检测过程中的概率数据，基于该概率数据在决策层可以方便的使用基于贝叶斯决策进行融合判决，从而将激光点云检测、图像检测与最终决策层判决有效结合起来，充分利用检测过程中得到的概率数据，能够保证最终判决的准确性，实现精确的目标检测跟踪。
本实施例中，步骤S1中根据采集到的点云数据进行第一目标检测的具体步骤为：
S111.对采集到的点云数据进行滤波，输出滤除地面点后的地物点数据；
S112.将地物点数据映射生成距离图像以及基于反射强度图像，根据距离图像、反射强度图像以及回波强度信息对地物点数据进行点云分割聚类，得到多个点云区域；
S113.根据目标的先验知识从各个点云区域中筛选出疑似目标的目的点云区域；
S114.对各目的点云区域进行特征提取，由提取的特征向量进行分类以识别出目标，得到第一目标检测结果。
本实施例中首先建立极坐标栅格图，在每个扇形分割区域内用高斯过程回归(GPR)判断出地面点集并将其过滤掉，得到地物点云数据集S，然后对滤除地面点后的地物点云数据集S进行点云分割聚类。如图2所示，本实施例步骤S112中进行点云分割聚类的具体步骤为：
S1121.将地物点数据映射生成距离图像以及反射强度图像；
S1122.采用区域增长的方法对距离图像进行初次分割，得到多个初次分割后的子集合；
S1123.根据回波强度信息对初次分割后的子集合进行细化分割，得到的细化分割后的多个子集合并作为最终分割得到的点云区域。
激光雷达采集到的点云数据量一般非常巨大，受测量距离的影响，点云密度空间分布不均匀，叠加许多离群点和噪声点，其获得的有效信息主要指点的空间坐标及回波强度信息。三维点云数据主要有以下特点：1)目标距离激光雷达越远覆盖目标的点数越少且分布越稀疏； 2)激光点云能够直观反映物体的几何形状和具体方位；3)不同材质的回波强度值不同；4) 激光点云在高度方向按层次分布。
假设激光雷达采集得到的三维点云可用集合表示为如下的形式：
S＝{(Xi,Yi,Zi,Ii),i＝1,2，…,n} (1)
其中(Xi,Yi,Zi)和Ii分别为点云在笛卡尔坐标系下的三维坐标和激光雷达测得的回波强度，i为数据点的序列号。点云分割即对点集S进行有效的划分，从而得到点集S的互不相交的子集R＝{box0,box1,…,boxm}，其中boxi(i≥0)表示从全集S中分割得出的属于同一目标的点集，m为分割得到的独立目标个数。若集合R满足以下几条内容，则称R为点集S的一个有效分割：
1)
Figure GDA0002692843100000071
表示分割得到的各个子集的并集为全集，即每一个数据点都被划分到了某个子集中。
2)boxi∩boxj＝空集,
Figure GDA0002692843100000072
且i≠j，意味着分割得到的各个点集相互之间无重叠部分，即每个数据点不可能同时属于两个不同的子集合。
3)每个集合boxi(i≥0)中的数据点具有相同的特征，例如法矢量、平均曲率和高斯曲率等，而任意两个不同的子集合具有不同的特征。
4)每个boxi(i≥0)都是连通的区域，即在每一个子集合中，点与点之间在空间上是连通的。
三维激光雷达测量得到的数据点是在球坐标下的描述，表示为向量形式即P＝[r,θ,φ]T，其中r为数据点到雷达中心的距离，θ为方位角，φ为仰角，由点集S生成的距离图像可表示为R(θ,φ)，其中图像像素值为雷达在角度(θ,φ)处的距离值，由三维点云映射生成的距离图像，同理也可以得到反射强度图像I(θ,φ)。在具体实施例中检测目标为行人时三维点云映射生成的距离图像如图3所示。对于测量原始数据不是(r,θ,φ)形式的激光雷达设备，可以通过投影的方式得到上述距离图像。
本实施例针对点云数据上述稀疏且空间分布不均匀特性，通过将地物点数据映射生成距离图像以及反射强度图像，对距离图像进行初次分割，能够基于目标表面点云分布几何特性和属性特征实现快速分割，再利用回波强度信息进行细化分割，保证能够将潜在的未分割目标点云分割，提高点云分割的精度。
如图4所示，A、B为距离图像中任意相邻两点，O为激光雷达中心，α为相邻两激光束之间的夹角，d1,d2分别为雷达距目标点A、B的距离，H为点B在OA上的投影，定义A、B 两点之间的夹角β为过A、B两点的直线与距离雷达较远的点到雷达中心连线之间的夹角，且0＜β＜90，若相邻两点属于同一物体β偏大反之则偏小，本实施例将β角作为分割点云的关键参数，计算公式为：
Figure GDA0002692843100000081
其中，α为相邻激光束之间的夹角，对于三维激光雷达α值可分为水平和垂直两个方向。
由上述式(2)可知，β值由相邻目标点到雷达的距离决定，由β角作为分割参数可以有效实现点云分割，但是只依靠该参数分割多平面场景目标时会造成对平面的严重过分割，如激光雷达从左往右连续扫描其前面的墙面，β角的变化先由小变大之后又变小，分割时无论阈值β如何取值都会对连续的墙面造成严重的过分割。为了克服单一角度造成的过分割现象，本实施例进一步引入相邻数据点之间的距离约束D，其计算公式为如下：
D＝K*L*α (3)
其中，K为矫正系数，L＝min(d1,d2)表示两相邻数据点中距离雷达较近的点到雷达中心的距离。
由于属于同一物体的相邻数据点之间的欧式距离与以短边为半径形成的弧长相差不大，反之两者之间相差较大，因结合β角与距离阈值D作为点云分割的参数，可以有效实现点云分割，同时能够避免分割多平面场景目标时会造成对平面的过分割问题。
物体表面介质材料的反射系数决定了其反射能量的大小，激光雷达测量得到的物体表面的回波强度，可以反映不同被测物体对激光的反射性能。激光雷达测量得到的强度值经过内部标定，进行初次分割后，直接利用其测得的回波强度信息对介质属性相差较大的未完全分割目标点云再次进行细化分割，能够将潜在的未分割目标均进行分割，保证点云分割的精度。
强度直方图的多峰性结构特征表示为不同反射面介质的混合点云，在具体应用实施例中进行细化分割时，首先针对具体应用场景设定未完全分割子集中包含的最小点数PNum，进行初次筛选，接着利用强度方差和直方图的多峰结构，筛选出潜在的未完全分割子集，之后采用K-means聚类的方法，完成介质属性差异较大的点云数据的细化分割，保证紧密相连且回波强度差异较大的目标点云被正确分割。
如图2所示，本实施例进行点云分割时首先利用R(θ,φ)将地物点云数据集S映射生成距离图像和反射强度图像；再使用上述式(1)的角度约束、式(2)的距离约束作为分割参数，利用距离图像中四邻域点的邻近关系，采用区域增长的方法完成点云的初次分割，得到集合 R1＝{box1,box2,...,boxn}；根据回波强度值的统计特性对初次分割得到的集合 R1＝{box1,box2,...,boxn}进行筛选，找出潜在的未完全分割子集boxi，采用K-means聚类的方法完成对潜在的未分割目标点云分割，输出最终点云分割结果，分割得到的若干点云区域。
本实施例中，步骤S114中提取的特征具体包括：用于表征目标几何状态的几何状态特征、用于表征目标姿态变化的姿态变化特征、点云分布特征以及回波强度特征，当然也可以根据实际需求采用其中一种或几种的组合，或采用其他特征参数。
几何形状是区分不同目标对象的关键特征，一帧完整的点云数据经过分割聚类算法之后可得到若干个候选行人点云轮廓列表candidate＝{box1,box2,box3,…,boxn}，对于每个 boxi＝[long,width,height,P]，即每个box由长度、宽度、高度和box内的点集 P＝{(Xi,Yi,Zi,Ii),i＝1,2，…,n}唯一确定，其中Xi，Yi，Zi和Ii分别为点云在笛卡尔坐标系下的三维坐标和激光雷达测得的回波强度。本实施例选取包括包围点云区域所形成的长方体的长度、宽度、高度、宽度与高度之间比值和长度与高度之间比值作为几何状态特征，当然也可以采用其中一种或两种以上的组合。
目标在运动过程中会伴随着姿态的改变，而同一姿态在不同观察角度下得到的目标点云分布也不同，本实施例选包括点云区域内的数据点数、数据点与雷达之间的距离、方位角、纵向点数分布特征以及横向高度轮廓特征作为姿态变化特征，以表征与目标姿态变化相关的特征，其中纵向点数分布特征、横向高度轮廓特征用于从对目标的2D外形轮廓这个角度进目标描述，当然也可以采用上述特征其中一种或两种以上的组合。本实施例在计算纵向点数分布特征时，将点云区域沿高度方向划分上、中、下三个部分9个bin，统计落入每个bin区间的点数占总点数的百分比作为该bin的值，得到纵向点数分布特征；类似的实现横向高度轮廓形状特征的描述，具体首先利用PCA算法找出目标的正投影方向作为包围盒的长边方向，并沿该方向均等划分若干bin，计算每个bin里面的最大高度作为该bin的值，进而得到向横向高度轮廓形状特征。
本实施例具体选取包括X，Y，Z方向的方差、三维协方差矩阵以及惯性张量矩阵作为点云分布特征阵，点云分布特征表示目标的3D轮廓，能够很好的描述目标3D表面点云的分布，本实施例具体采用三维点云协方差矩阵的六个独立项和惯性张量矩阵六个独立项以及X、Y、 Z轴三个方向的方差作为其点云分布特征，所选用的惯性张量矩阵为：
Figure GDA0002692843100000101
协方差矩阵为：
Figure GDA0002692843100000102
其中Xk＝(xk,yk,zk)，
Figure GDA0002692843100000103
为其均值。
激光雷达的回波强度受目标表面材质的影响，通过回波强度特征能够很好的描述目标的材质，本实施例具体选取包括回波强度的最大值、均值、方差、反射强度概率分布作为回波强度特征，当然也可以采用其中一种或两种以上的组合。其中回波强度概率分布特征提取时，具体将激光雷达的回波强度范围均等划分为多个区间，统计落入每个区间里面的点数占全部点数的百分比，作为目标的回波强度概率分布特征。
本实施例通过采用几何状态特征、姿态变化特征、点云分布特征以及回波强度特征的融合特征参数，可以准确表征目标几何状态、目标姿态变化、点云分布状态以及目标的材质等，能够准确的表征目标的状态，从而进一步提高检测的精度。
本实施例在通过点云分割聚类后，根据目标的先验知识(如目标的大小、形状、材质等) 从各个点云区域中筛选出疑似目标的目的点云区域，能够快速的筛选出经过点云聚类之后，所得到的boxi,i＝1,2…n中的疑似目标的点云区域，去除多余的点云类别，减小检测时的计算量，从而加快检测速度。如图5所示，在具体应用实施例中，检测目标为行人时，由于无论行人走路姿态怎么变化，一般行人的高度小于2.5m，正面和侧面宽度小于1.5m，根据这些先验知识设置几何约束关系：包围行人点云数据的最小立方体的高度H(boxi)<2.5m，长度 L(boxi)＜1.5m，宽度W(boxi)＜1.5m，再对确定的目的点云区域提取上述点云特征，使用离线训练好的SVM分类器完成检测后，得到第一目标检测结果。
本实施例中，步骤S1中根据采集到的图像数据进行第二目标检测的具体步骤为：
S121.预先对激光雷达与采集图像装置进行联合标定，得到三维点云与图像像素点之间的投影变换矩阵；
S122.采集到图像数据时，对图像进行预处理，对预处理后的图像使用投影变换矩阵提取感兴趣区域；
S123.对提取的感兴趣区域进行图像特征提取，根据提取的图像特征识别出目标，得到第二目标检测结果。
本实施例通过预先激光雷达与采集图像装置进行联合标定，确定三维点云与图像像素点之间的投影变换矩阵，再使用投影变换矩阵提取采集的图像中的感兴趣区域，实现基于图像的目标检测，能够结合激光雷达检测数据快速定位图像中的感兴趣区域，有效提高图像检测的效率，保证图像检测的精度。
本实施例中，步骤S121的具体步骤为：
S1211.预先制作中间镂空的菱形板以作为标定板；
S1212.使用待标定的激光雷达采集标定板的点云数据，以及使用待标定的采集图像采集标定板的图像数据；
S1213.对采集的点云数据处理时，通过点云分割聚类找出属于标定板表面点的一类点作为目标点云，使用目标点云拟合标定板的平面，得到拟合平面，对于目标点云中每一根扫描线利用最近邻聚类算法获得边缘点，并在拟合平面内利用标定板的边缘点拟合边缘线，求出相邻两条边缘线的交点坐标输出；对采集的图像数据处理时，进行角点检测，输出检测到的角点坐标；
S124.根据检测得到的交点坐标以及角点坐标求解出投影变换矩阵。
本实施例图像采集装置使用单目相机，通过对激光雷达与单目相机之间进行联合标定，求解三维点云与图像像素点之间的投影变换矩阵，通过该投影变换矩阵可以将三维点云直接映射到图像上，得到其在图像坐标系下的位置。
假设(XW,YW,ZW)和(Xf,Yf)分别为参考点X在激光雷达坐标系和图像像素坐标系下的坐标，根据相机成像的针孔模型可以得出，两坐标间转换关系如下：
Figure GDA0002692843100000111
其中，K为相机内参矩阵，[R T]为相机外参矩阵，f为相机的焦距，dX,dY为每个像素在图像物理坐标系下的物理尺寸，(CX,CY)为光轴和像平面交点像素坐标，ZC为比例因子。
为求出投影变换矩阵
Figure GDA0002692843100000112
式(6)可化简为：
Figure GDA0002692843100000113
消去比例因子ZC可得：
Figure GDA0002692843100000121
由式(8)可知，对于三维激光雷达与图像的每一组对应点，上式可以得到两个方程，只需找到两坐标系下的对应点，便可以此求解出投影变换矩阵M，本实施例借助标定板实现，标定原理具体如图6所示，其中图(a)为求取激光扫描平面与图像间交线的原理，图(b) 为所采用的标定板结构。
为了得到设定在标志物上的特征点的像素坐标可以借助图像处理中比较成熟的特征点检测技术(比如FAST算法和Harris算法)，但在低分辨率的激光雷达中往往不能精确的得到该特征点的空间坐标。如图6所示，本实施例针对激光雷达扫描得到的稀疏点云特点，预先设置中间镂空的菱形标定板，由于其中间镂空的设计，当标定板放置到较远距离上时，外部四个角点可作为特征点，放置距离较近时，中间和左右两角点作为特征点，不仅增加了特征点数目，也增加了对距离的适应能力，且镂空的结构增加了额外的约束条件，有利于后续优化求解标定板角点。
本实施例使用上述标定板实现两传感器联合标定如图7所示，首先利用点云分割聚类算法找出属于标定板表面点的一类点作为目标点云，之后利用RANSAC拟合标定板平面，由于标定板内部的镂空结构，菱形标定板的边缘点包括内边缘点和外边缘点两部分，对于目标点云中每一根扫描线利用最近邻聚类算法获得边缘点，在所得的拟合平面内利用标定板边缘点拟合边缘线，并求相邻两条边缘线交点，激光扫描平面与图像间交线如图8所示，根据平面方程求出标定板角点在激光雷达坐标系下的空间坐标；对图像标定板角点进行检测，具体可使用如FAST算法，获得两坐标系下的对应点对之后，利用最小二乘法求解投影变换矩阵M，将式(8)改写成写成AX＝B的形式，其中：
Figure GDA0002692843100000122
X＝[m11 m12 m13 m14 m21 m22 m23 m24 m31 m32 m33]T (10)
B＝[Xfi Yfi]T (11)
由最小二乘法的递推公式可知，投影变换矩阵M＝(ATA)-1ATB，之后根据式3.2可将三维点云直接投影到图像坐标，完成两传感器之间的联合标定。
本实施例中由上述联合标定后得到的投影变化矩阵提取出感兴趣图像区域，对感兴趣图像区域再使用图像检测算法(如ACF算法)实现目标检测，得到第二目标检测结果。
本实施例中，步骤S2的具体步骤为：若第一目标检测结果、第二目标检测结果相同，将第一目标检测结果或第二目标检测结果作为最终的目标检测结果输出，若第一目标检测结果、第二目标检测结果不相同，分别获取待检测目标身份为行人、非行人的先验概率P(tE)、P(tN)，并根据先验概率P(tE)、P(tN)分别计算第一目标检测结果、第二目标检测结果为情况k时目标真实身份分别被判定为行人和非行人的后验概率CptP{tE|k},CfP{tN|k}，其中若 CptP{tE|k}＞CfP{tN|k}，融合后最终判定目标身份为行人，若CptP{tE|k}＜CfP{tN|k}，融合后最终判定目标身份为非行人。
假设A1,A2,…An表示n个互不相容且具有完备性的事件组，即满足
Figure GDA0002692843100000131
Ai∩Aj＝空集,P(Ai)＞0,P(B)＞0,i＝1,2,...,n，在事件B发生的条件下，事件Ai发生的概率为：
Figure GDA0002692843100000132
其中，P(Ai)表示发生事件的先验概率，P(Ai|B)是事件Ai的后验概率，贝叶斯定理表示在已知“事件B发生”这条新信息后，对Ai的概率的修正。
在目标检测过程中，激光雷达和相机两传感器分别输出各自检测结果，可认为这两个事件之间是相互独立的，但是它们给出的检测结果可能发生冲突。本实施例以行为检测为例，对于一个目标的身份只有行人(pedestrian，E)和非行人(non-pedestrian，N)两种，可以将传感器给出的目标身份检测结果定义为概率矩阵，如表1所示。
表1：传感器检测概率矩阵。
Figure GDA0002692843100000133
上述表1中，P{N|tE}表示传感器给出的判别结果是非行人(N)而目标的真实身份是行人(E)的概率，其他符号表示的含义类推，P{E|tE},P{N|tE},P{E|tN}分别即对应召回率、漏检率和虚警率，相机和激光雷达两传感器的概率矩阵的具体数值具体可从激光雷达、图像检测过程中获取得到，在决策层融合时，两传感器给出的所有可能出现的检测结果组合如表2 所示，其中字母编号代表可能出现的组合情况。
表2：两传感器检测结果输出组合。
Figure GDA0002692843100000134
结合Bayes统计决策理论，本实施例定义以下参数以实现决策层融合判定：
(1)联合密度函数。激光雷达和相机给出的检测结果是相互独立的，各检测结果发生的概率根据表1和表2可以得出：
P{k|l}＝P{s，t|l}＝PL{s|l}×PC{t|l} (13)
式中，k＝a,b,c,d代表可能出现的检测结果组合，是两维向量，l的取值为tE、tN，表示目标的真实身份，s，t分别取E、N，表示行人和非行人，PL{s|l}和PC{t|l}分别表示两传感器的概率矩阵，由大量的测试样本得出的经验值。
(2)先验概率。待检测目标身份为行人、非行人的先验概率分别记做P{tE}和P{tN}，利用激光点云特征训练得到的SVM分类器和基于图像ACF算法的目标检测都会对待检测目标给出自己的判决结果和对该结果的置信度(分数)，具体可以根据统计得到的最大值和最小值将置信度归一化到[0,1]区间，作为两传感器检测结果的先验概率。
(3)定义损失函数L(θ,a)，表示检测判决结果错误对系统造成的损失，不同情况下损失函数的取值如表3所示。
表3：损失函数取值表。
Figure GDA0002692843100000141
上述表3中，Cpt代表目标真实身份是行人，而检测结果判定为非行人的损失；Cf代表目标真实身份是非行人，而检测结果误判为行人的损失。在实际应用中将行人误判为非行人造成的损失往往比较严重，一般Cpt与Cf取值不同，可根据具体应用设定，本实施例具体分别取1.2、1.1。
由上述根据表2可知，两传感器输出的可能结果包含四种情况，其中a，d所代表的情况，对应的最优决策结果直觉应该判定为行人和非行人，当检测结果出现情况b和c，即两传感器给出的独立检测结果不一致时，比如光线不好的黄昏、大面积阴影等都会影响图像检测结果使得检测结果不一致，则需要根据两传感器给出的独立检测结果做决策，以保证系统的容错能力。
本实施例结合贝叶斯决策理论和最小化后验风险准则对激光雷达与图像的独立检测结果进行融合决策，针对检测结果冲突的情况，设定判定准则为：若CptP{tE|k}＞CfP{tN|k}成立，经决策融合后目标身份判定为行人；若CptP{tE|k}＜CfP{tN|k}成立，经决策融合后目标身份判定为非行人；其中CptP{tE|k},CfP{tN|k}代表两传感器输出结果为情况k时，目标真实身份分别被判定为行人和非行人的后验概率，以k＝b为例，CptP{tE|k},CfP{tN|k}的计算公式如下：
Figure GDA0002692843100000151
Figure GDA0002692843100000152
其中，其中，k＝b，b表示基于激光雷达检测方式得到的第一目标检测结果为行人、基于图像数据检测方式得到的第二目标检测结果为非行为，C表示基于图像数据检测方式的第二目标检测结果，L表示基于激光雷达检测方式的第一目标检测结果，tE表示真实为行人，tN表示真实为非行人，P{ N|tE} 表示传感器给出的判别结果是非行人N而目标的真实身份是行人E的概率，Cpt代表目标真实身份是行人而检测结果判定为非行人的损失，Cf代表目标真实身份是非行人而检测结果误判为行人的损失，P{tE|b}为第一目标检测结果、第二目标检测结果为情况b时目标真实身份被判定为行人的概率, P{tN|b}为第一目标检测结果、第二目标检测结果为情况b时目标真实身份被判定为非行人的概率，PL{E|tE}为基于激光雷达数据检测方式得到的召回率，PC{N|tE}为基于图像数据检测方式得到的漏检率，PL{E|tN}为基于雷达数据检测方式得到的虚警率， PC{N|tN}为基于图像数据检测方式得到的真实为非行人的概率，P{b}为检测结果为b 的概率。
当激光雷达与图像检测的结果不一致时，上述决策融合判定准则依然成立，并符合人的直观判决，能够准确的实现最终目标检测结果的判定。
当两分类器的检测结果出现如表2中情况a，即检测结果都判定为行人时，利用Bayes 决策理论，独立检测结果在决策层融合时系统也最终会判定该目标为行人，本实施例将两传感器得到的包含目标的矩形框整合到同一幅图像中，这时同一个目标会被两个矩形框包围，并且两窗口之间并不完全重合，尤其是在人群密度较大区域，检测窗口重叠现象十分严重，本实施例通过使用窗口间矩形框重叠面积占检测窗口总面积的百分比做辅助判定，删除交叉不重叠的多余检测窗口。
本实施例中，步骤S3具体使用基于MDP的多目标跟踪方法进行跟踪，基于MDP能够实现对多目标的可靠跟踪，可以避免跟踪过程中目标间遮挡和数据关联等问题，从而进一步提高跟踪效率及精度，当然也可以使用其他跟踪方法。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (8)

1.一种融合激光点云与图像的目标检测与跟踪方法，其特征在于，步骤包括：
S1.分别采集目标的激光点云数据、图像数据，根据采集到的所述点云数据进行第一目标检测，得到第一目标检测结果，以及根据采集到的所述图像数据进行第二目标检测，得到第二目标检测结果；
S2.基于贝叶斯决策对所述第一目标检测结果、第二目标检测结果进行融合判决，得到最终的目标检测结果输出；
S3.根据所述最终的目标检测结果进行目标跟踪；
所述步骤S2的具体步骤为：若所述第一目标检测结果、第二目标检测结果相同，将所述第一目标检测结果或所述第二目标检测结果作为最终的目标检测结果输出，若所述第一目标检测结果、第二目标检测结果不相同，分别获取待检测目标身份为行人的先验概率P{tE}、非行人的先验概率P{tN}，并根据所述先验概率P{tE}、P{tN}分别计算第一目标检测结果、第二目标检测结果为情况k时目标真实身份分别被判定为行人的后验概率CptP{tE|k}和非行人的后验概率CfP{tN|k}，其中若CptP{tE|k}＞CfP{tN|k}，融合后最终判定目标身份为行人，若CptP{tE|k}＜CfP{tN|k}，融合后最终判定目标身份为非行人；
所述后验概率CptP{tE|k},CfP{tN|k}具体按下式计算得到：
Figure FDA0002692843090000011
Figure FDA0002692843090000012
其中，k＝b，b表示基于激光雷达检测方式得到的第一目标检测结果为行人、基于图像数据检测方式得到的第二目标检测结果为非行为，C表示基于图像数据检测方式的第二目标检测结果，L表示基于激光雷达检测方式的第一目标检测结果，tE表示真实为行人，tN表示真实为非行人，P{N|tE}表示判别结果是非行人N而目标的真实身份是行人E的概率，Cpt代表目标真实身份是行人而检测结果判定为非行人的损失，Cf代表目标真实身份是非行人而检测结果误判为行人的损失，P{tE|b}为第一目标检测结果、第二目标检测结果为情况b时目标真实身份被判定为行人的概率,P{tN|b}为第一目标检测结果、第二目标检测结果为情况b时目标真实身份被判定为非行人的概率，PL{E|tE}为基于激光雷达数据检测方式得到的召回率，PC{N|tE}为基于图像数据检测方式得到的漏检率，PL{E|tN}为基于雷达数据检测方式得到的虚警率，PC{N|tN}为基于图像数据检测方式得到的真实为非行人的概率，P{b}为检测结果为b的概率。
2.根据权利要求1所述的融合激光点云与图像的目标检测与跟踪方法，其特征在于，所述步骤S1中根据采集到的所述点云数据进行第一目标检测的具体步骤为：
S111.对采集到的点云数据进行滤波，输出滤除地面点后的地物点数据；
S112.将所述地物点数据映射生成距离图像以及反射强度图像，根据所述距离图像、反射强度图像以及回波强度信息对所述地物点数据进行点云分割聚类，得到多个点云区域；
S113.根据目标的先验知识从各个点云区域中筛选出疑似目标的目的点云区域；
S114.对各目的点云区域进行特征提取，由提取的特征向量进行分类以识别出目标，得到第一目标检测结果。
3.根据权利要求2所述的融合激光点云与图像的目标检测与跟踪方法，其特征在于，所述步骤S112的具体步骤为：
S1121.将所述地物点数据映射生成距离图像以及反射强度图像；
S1122.对所述距离图像进行初次分割，得到多个初次分割后的子集合；
S1123.根据所述回波强度信息对所述初次分割后的子集合进行细化分割，得到的细化分割后的多个子集合并作为最终分割得到的点云区域。
4.根据权利要求3所述的融合激光点云与图像的目标检测与跟踪方法，其特征在于，所述进行初次分割时分割参数包括夹角β，所述夹角β为所述距离图像中相邻两点的直线与距离雷达较远的点到雷达中心连线之间的夹角；所述分割参数还包括相邻数据点之间的距离阈值D，所述距离阈值具体为D＝K*L*α，其中，K为矫正系数，L＝min(d1,d2)为两相邻数据点中距离雷达较近的点到雷达中心的距离，d1、d2即分别表示两相邻数据点距离雷达中心的距离，α为相邻激光束之间的夹角。
5.根据权利要求2或3或4所述的融合激光点云与图像的目标检测与跟踪方法，其特征在于，所述步骤S114中提取的特征具体包括：用于表征目标几何状态的几何状态特征、用于表征目标姿态变化的姿态变化特征、点云分布特征以及回波强度特征中一种或两种以上的组合；所述几何状态特征具体包括包围所述点云区域所形成的长方体的长度、宽度、高度、宽度与高度之间比值和长度与高度之间比值中一种或两种以上的组合；所述姿态变化特征包括所述点云区域内的数据点数、数据点与雷达之间的距离、方位角、纵向点数分布特征以及横向高度轮廓特征中一种或两种以上的组合；所述点云分布特征包括X，Y，Z方向的方差、三维协方差矩阵以及惯性张量矩阵中一种或两种以上的组合；所述回波强度特征具体包括回波强度的最大值、均值、方差、反射强度概率分布中一种或两种以上的组合。
6.根据权利要求1～4中任意一项所述的融合激光点云与图像的目标检测与跟踪方法，其特征在于，所述步骤S1中根据采集到的所述图像数据进行第二目标检测的具体步骤为：
S121.预先对激光雷达与采集图像装置进行联合标定，得到三维点云与图像像素点之间的投影变换矩阵；
S122.采集到图像数据时，对图像进行预处理，对预处理后的图像使用所述投影变换矩阵提取感兴趣区域；
S123.对提取的所述感兴趣区域进行图像特征提取，根据提取的图像特征识别出目标，得到第二目标检测结果。
7.根据权利要求6所述的融合激光点云与图像的目标检测与跟踪方法，其特征在于，所述步骤S121的具体步骤为：
S1211.预先制作中间镂空的菱形板以作为标定板；
S1212.使用待标定的激光雷达采集所述标定板的点云数据，以及使用待标定的采集图像采集所述标定板的图像数据；
S1213.对采集的所述点云数据处理时，通过点云分割聚类找出属于所述标定板表面点的一类点作为目标点云，使用所述目标点云拟合所述标定板的平面，得到拟合平面，对于所述目标点云中每一根扫描线利用最近邻聚类算法获得边缘点，并在所述拟合平面内利用所述标定板的边缘点拟合边缘线，求出相邻两条边缘线的交点坐标输出；对采集的所述图像数据处理时，进行角点检测，输出检测到的角点坐标；
S124.根据检测得到的所述交点坐标以及角点坐标求解出所述投影变换矩阵。
8.根据权利要求1～4中任意一项所述的融合激光点云与图像的目标检测与跟踪方法，其特征在于，所述步骤S3具体使用基于马尔科夫决策过程MDP的多目标跟踪方法进行跟踪。
CN201810290515.8A 2018-04-03 2018-04-03 融合激光点云与图像的目标检测与跟踪方法 Active CN108509918B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810290515.8A CN108509918B (zh) 2018-04-03 2018-04-03 融合激光点云与图像的目标检测与跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810290515.8A CN108509918B (zh) 2018-04-03 2018-04-03 融合激光点云与图像的目标检测与跟踪方法

Publications (2)

Publication Number Publication Date
CN108509918A CN108509918A (zh) 2018-09-07
CN108509918B true CN108509918B (zh) 2021-01-08

Family

ID=63380136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810290515.8A Active CN108509918B (zh) 2018-04-03 2018-04-03 融合激光点云与图像的目标检测与跟踪方法

Country Status (1)

Country Link
CN (1) CN108509918B (zh)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410264B (zh) * 2018-09-29 2020-08-25 大连理工大学 一种基于激光点云与图像融合的前方车辆距离测量方法
CN110147706B (zh) * 2018-10-24 2022-04-12 腾讯科技（深圳）有限公司 障碍物的识别方法和装置、存储介质、电子装置
CN111127315B (zh) * 2018-10-31 2023-07-21 北京北科天绘科技有限公司 激光点云数据的超分辨处理方法、装置、系统和存储介质
CN109410282B (zh) * 2018-11-08 2021-06-01 上海智蕙林医疗科技有限公司 一种输液杆的检测跟踪方法和装置
CN110046633B (zh) * 2018-11-23 2023-05-02 创新先进技术有限公司 一种数据质量检测方法及装置
CN109581345A (zh) * 2018-11-28 2019-04-05 深圳大学 基于毫米波雷达的目标检测与跟踪方法及系统
CN109444839B (zh) * 2018-11-29 2020-10-13 北京行易道科技有限公司 目标轮廓的获取方法及装置
CN109583383A (zh) * 2018-11-30 2019-04-05 湖南华诺星空电子技术有限公司 一种基于多源传感器的无人机生命探测方法及系统
CN109781163B (zh) * 2018-12-18 2021-08-03 北京百度网讯科技有限公司 标定参数有效性检验方法、装置、设备及存储介质
CN109840882B (zh) * 2018-12-24 2021-05-28 中国农业大学 基于点云数据的站位匹配方法及装置
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
CN109784229B (zh) * 2018-12-29 2020-10-30 华中科技大学 一种地面建筑物数据融合的复合识别方法
CN109829386B (zh) * 2019-01-04 2020-12-11 清华大学 基于多源信息融合的智能车辆可通行区域检测方法
CN109946703B (zh) * 2019-04-10 2021-09-28 北京小马智行科技有限公司 一种传感器姿态调整方法及装置
CN110232315A (zh) * 2019-04-29 2019-09-13 华为技术有限公司 目标检测方法和装置
CN110162089B (zh) * 2019-05-30 2020-11-03 北京三快在线科技有限公司 一种无人驾驶的仿真方法及装置
CN110146865B (zh) * 2019-05-31 2023-07-14 创新先进技术有限公司 用于雷达图像的目标识别方法及装置
CN111712828A (zh) * 2019-06-06 2020-09-25 深圳市大疆创新科技有限公司 物体检测方法、电子设备和可移动平台
CN110349192B (zh) * 2019-06-10 2021-07-13 西安交通大学 一种基于三维激光点云的在线目标跟踪系统的跟踪方法
CN110456363B (zh) * 2019-06-17 2021-05-18 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN112115739A (zh) * 2019-06-19 2020-12-22 北京地平线机器人技术研发有限公司 一种车辆状态量信息获取方法及装置
CN112116804B (zh) * 2019-06-19 2023-03-07 北京地平线机器人技术研发有限公司 一种车辆状态量信息确定方法及装置
CN110427986B (zh) * 2019-07-16 2022-02-01 浙江大学 一种基于毫米波雷达点云特征的核支持向量机目标分类方法
CN110414396B (zh) * 2019-07-19 2021-07-16 中国人民解放军海军工程大学 一种基于深度学习的无人艇感知融合算法
CN112327308A (zh) * 2019-07-19 2021-02-05 阿里巴巴集团控股有限公司 物体检测方法、装置、系统及设备
CN110361717B (zh) * 2019-07-31 2021-03-12 苏州玖物互通智能科技有限公司 激光雷达-摄像机联合标定靶和联合标定方法
CN110472553B (zh) * 2019-08-12 2022-03-11 北京易航远智科技有限公司 图像和激光点云融合的目标追踪方法、计算装置和介质
CN110456377B (zh) * 2019-08-15 2021-07-30 中国人民解放军63921部队 一种基于三维激光雷达的卫星来袭异物检测方法和系统
CN110675307B (zh) * 2019-08-19 2023-06-06 杭州电子科技大学 基于vslam的3d稀疏点云到2d栅格图的实现方法
CN110503040B (zh) * 2019-08-23 2022-05-27 斯坦德机器人（深圳）有限公司 障碍物检测方法及装置
CN112526520A (zh) * 2019-08-29 2021-03-19 中车株洲电力机车研究所有限公司 一种行人及障碍物提示系统
CN110781720B (zh) * 2019-09-05 2022-08-19 国网江苏省电力有限公司 基于图像处理的多传感器融合的物体识别方法
CN110515060B (zh) * 2019-09-05 2021-05-07 北京智行者科技有限公司 多线激光雷达反射率标定的方法
CN110675431B (zh) * 2019-10-08 2020-09-11 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法
CN110687521B (zh) * 2019-10-15 2023-05-16 深圳数翔科技有限公司 一种车载激光雷达标定的方法
CN110992398A (zh) * 2019-11-06 2020-04-10 上海航天控制技术研究所 一种激光雷达与红外探测系统图像融合跟踪与抗干扰方法
CN112816949B (zh) * 2019-11-18 2024-04-16 商汤集团有限公司 传感器的标定方法及装置、存储介质、标定系统
CN112313536B (zh) * 2019-11-26 2024-04-05 深圳市大疆创新科技有限公司 物体状态获取方法、可移动平台及存储介质
CN110879401B (zh) * 2019-12-06 2023-08-04 南京理工大学 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法
CN111209840B (zh) * 2019-12-31 2022-02-18 浙江大学 一种基于多传感器数据融合的3d目标检测方法
CN111311752B (zh) * 2020-02-14 2021-04-27 福州大学 一种基于映射图的LiDAR数据随机采样及重构方法
CN111340875B (zh) * 2020-02-17 2023-04-07 南京航空航天大学 一种基于三维激光雷达的空间移动目标检测方法
CN113340313B (zh) * 2020-02-18 2024-04-16 北京四维图新科技股份有限公司 导航地图参数确定方法及装置
CN111353417A (zh) * 2020-02-26 2020-06-30 北京三快在线科技有限公司 一种目标检测的方法及装置
CN113408324A (zh) * 2020-03-17 2021-09-17 上海高德威智能交通系统有限公司 目标检测方法、装置及系统、高级驾驶辅助系统
CN111487641B (zh) * 2020-03-19 2022-04-22 福瑞泰克智能系统有限公司 一种利用激光雷达检测物体的方法、装置、电子设备及存储介质
CN113536867B (zh) * 2020-04-22 2023-09-22 杭州海康威视数字技术股份有限公司 物体识别的方法、装置及系统
CN111583663B (zh) * 2020-04-26 2022-07-12 宁波吉利汽车研究开发有限公司 基于稀疏点云的单目感知修正方法、装置及存储介质
CN111539347B (zh) * 2020-04-27 2023-08-08 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN111709988B (zh) * 2020-04-28 2024-01-23 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111626217B (zh) * 2020-05-28 2023-08-22 宁波博登智能科技有限公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111845709B (zh) * 2020-07-17 2021-09-10 燕山大学 一种基于多信息融合的路面附着系数估计方法及系统
CN111738214B (zh) * 2020-07-21 2020-11-27 中航金城无人系统有限公司 一种激光点云中的无人机目标检测方法
DE102020210355A1 (de) 2020-08-14 2022-02-17 Robert Bosch Gesellschaft mit beschränkter Haftung Clusteranalyse einer Punktwolke
CN112213735A (zh) * 2020-08-25 2021-01-12 上海主线科技有限公司 一种针对雨雪天气的激光点云降噪方法
CN112269401B (zh) * 2020-09-04 2021-07-20 河南大学 基于跟踪精度与风险控制的自适应主动传感器跟踪方法
CN113759346A (zh) * 2020-10-10 2021-12-07 北京京东乾石科技有限公司 一种激光雷达标定方法、装置、电子设备及存储介质
CN112233097B (zh) * 2020-10-19 2022-10-28 中国科学技术大学 基于空时域多维融合的道路场景他车检测系统和方法
CN112258618B (zh) * 2020-11-04 2021-05-14 中国科学院空天信息创新研究院 基于先验激光点云与深度图融合的语义建图与定位方法
CN112288827B (zh) * 2020-11-22 2022-09-02 吉林大学 基于线光场的汽车检测无公共视场相机全局标定方法与系统
CN112541416B (zh) * 2020-12-02 2023-07-14 深兰科技（上海）有限公司 跨雷达障碍物跟踪方法、装置、电子设备和存储介质
CN112766302B (zh) * 2020-12-17 2024-03-29 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置
CN112669393B (zh) * 2020-12-31 2021-10-22 中国矿业大学 一种激光雷达与相机联合标定方法
CN112926446A (zh) * 2021-02-24 2021-06-08 北京爱笔科技有限公司 一种抛物检测方法及抛物检测系统
CN113138375B (zh) * 2021-04-27 2022-11-29 北京理工大学 一种联合标定方法
CN113192091B (zh) * 2021-05-11 2021-10-22 紫清智行科技(北京)有限公司 一种基于激光雷达与相机融合的远距离目标感知方法
CN113256696B (zh) * 2021-06-28 2021-09-24 中国人民解放军国防科技大学 基于自然场景的激光雷达和相机的外参标定方法
CN113674421B (zh) * 2021-08-25 2023-10-13 北京百度网讯科技有限公司 3d目标检测方法、模型训练方法、相关装置及电子设备
CN113838125A (zh) * 2021-09-17 2021-12-24 中国第一汽车股份有限公司 目标位置确定方法、装置、电子设备以及存储介质
CN114049474B (zh) * 2022-01-13 2022-03-29 天津仁爱学院 一种高精度遥感快速成图方法、装置及存储介质
CN114419152B (zh) * 2022-01-14 2024-04-26 中国农业大学 一种基于多维度点云特征的目标检测与跟踪方法及系统
CN114078151B (zh) * 2022-01-19 2022-04-22 季华实验室 一种点云融合方法、装置、电子设备及存储介质
CN114743169A (zh) * 2022-04-11 2022-07-12 南京领行科技股份有限公司 一种对象的异常检测方法、装置、电子设备及存储介质
CN114888790B (zh) * 2022-04-18 2023-10-24 金陵科技学院 基于散料三维特征分布的空间坐标寻位方法
CN115909815B (zh) * 2023-01-06 2023-06-06 广州通达汽车电气股份有限公司 基于多元数据的融合检测方法、装置、设备及存储介质
CN116385431B (zh) * 2023-05-29 2023-08-11 中科航迈数控软件(深圳)有限公司 基于红外热成像与点云结合的数控机床设备故障检测方法
CN116559840B (zh) * 2023-07-07 2023-10-13 禾多科技（北京）有限公司 激光雷达清洁保护装置和激光雷达清洁信息生成方法
CN116631134A (zh) * 2023-07-26 2023-08-22 海南至元科技有限公司 一种智能监控防盗装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097348A (zh) * 2016-06-13 2016-11-09 大连理工大学 一种三维激光点云与二维图像的融合方法
CN106529417A (zh) * 2016-10-17 2017-03-22 北海益生源农贸有限责任公司 一种视觉激光数据融合的道路检测方法
CN107167811A (zh) * 2017-04-26 2017-09-15 西安交通大学 基于单目视觉与激光雷达融合的道路可行驶区域检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097348A (zh) * 2016-06-13 2016-11-09 大连理工大学 一种三维激光点云与二维图像的融合方法
CN106529417A (zh) * 2016-10-17 2017-03-22 北海益生源农贸有限责任公司 一种视觉激光数据融合的道路检测方法
CN107167811A (zh) * 2017-04-26 2017-09-15 西安交通大学 基于单目视觉与激光雷达融合的道路可行驶区域检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多传感器信息融合的运动目标三维重建技术研究;曾浩;《中国优秀硕士学位论文全文数据库信息科技辑》;20150215(第2期);全文 *
基子粒子滤波的行人跟踪算法研究;李辉;《中国博士学位论文全文数据库信息科技辑》;20131115(第11期);论文第76-111页 *

Also Published As

Publication number Publication date
CN108509918A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN108509918B (zh) 融合激光点云与图像的目标检测与跟踪方法
CN110781827B (zh) 一种基于激光雷达与扇状空间分割的路沿检测系统及其方法
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN108445480B (zh) 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
US8385599B2 (en) System and method of detecting objects
US8768007B2 (en) Method of filtering an image
KR102195164B1 (ko) 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
CN109738910A (zh) 一种基于三维激光雷达的路沿检测方法
CN111712731A (zh) 目标检测方法、系统及可移动平台
Wang et al. Bionic vision inspired on-road obstacle detection and tracking using radar and visual information
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
Wang et al. An overview of 3d object detection
CN111781608A (zh) 一种基于fmcw激光雷达的运动目标检测方法及系统
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN113281782A (zh) 一种基于无人驾驶车的激光雷达雪点滤除方法
CN112464812A (zh) 一种基于车辆的凹陷类障碍物检测方法
CN114782729A (zh) 一种基于激光雷达与视觉融合的实时目标检测方法
CN114882701B (zh) 车位检测方法、装置、电子设备及机器可读存储介质
CN116524219A (zh) 一种基于激光雷达点云聚类的障碍物检测方法
Li et al. Pedestrian liveness detection based on mmwave radar and camera fusion
CN115327572A (zh) 一种车辆前方障碍物检测方法
CN113219472B (zh) 一种测距系统和方法
Nitsch et al. 3d ground point classification for automotive scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant