CN116189138A - 一种基于车路协同的视野盲区行人检测算法 - Google Patents

一种基于车路协同的视野盲区行人检测算法 Download PDF

Info

Publication number
CN116189138A
CN116189138A CN202211625275.5A CN202211625275A CN116189138A CN 116189138 A CN116189138 A CN 116189138A CN 202211625275 A CN202211625275 A CN 202211625275A CN 116189138 A CN116189138 A CN 116189138A
Authority
CN
China
Prior art keywords
point cloud
vehicle
road
laser radar
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211625275.5A
Other languages
English (en)
Inventor
黄凯
方至钰
吴绪芃
李博洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202211625275.5A priority Critical patent/CN116189138A/zh
Publication of CN116189138A publication Critical patent/CN116189138A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于车路协同的视野盲区行人检测方法，路侧和车侧均设有相机和激光雷达，其中车侧设备包括相对固定的车载激光雷达车载相机，路侧设备包括相对固定的路侧激光雷达和路侧相机，包括坐标系统一、行人检测方法以及车路协同融合。本发明不仅结合了激光雷达以及相机进行行人检测从而使得点云数据补充了图像数据欠缺的深度信息和盲区，而图像数据补充了点云近处的盲区和远处数据稀疏的缺陷，在感知上形成互补，而且本发明还在路侧和车侧均设置激光雷达和相机并将两侧设备得到的数据进行配准转换，从而实现车路协同的超视距感知，补充了车辆的视野盲区感知数据。

Description

一种基于车路协同的视野盲区行人检测算法
技术领域
本发明涉及是车辆视野盲区的行人检测技术领域，更具体地，涉及一种基于车路协同的视野盲区行人检测算法。
背景技术
当前车辆在自动驾驶与辅助驾驶领域里存在着感知域受限、存在视野盲区和长距离物体识别受限等问题，而利用车路协同技术，将多源异构的原始传感器数据在数据层和决策层进行融合，增强车辆对盲区行人的预先感知与检测能力，可以大大提升交通的安全性。
有一种用于车辆的行人位姿解算方法，包括：多辆能够联网的车辆利用其环视相机，对视野范围内行人进行实时感知，获得单车视野的行人三维点云；根据车载系统的行驶速度回报值，过滤无效车辆，形成可共享有效数据的局域车联网；基于局域车联网，进行多车视野的行人三维点云的合成与拼接，得到全局三维点云；利用点云中各点之间的位置关系，得到全局行人三维位姿；将全局行人三维位姿共享至局域车联网内的所有车辆；基于单车安全范围，对全局行人三维位姿进行分析，获得单车安全范围内的行人预警信息。利用本发明，可以在停车场、交叉路口等场景中，扩展车辆的感知范围，同时使不具备感知能力的车辆感知到安全范围内的行人信息。
但上述方案只通过环视单目相机获取图像，再根据关键点估计得到单车视野的三维点云，该方法估计的三维点云误差难以保证，且在协同坐标系统一的，只是使用RANSAC算法求解转换矩阵并进行拼接，对算力要求高，需要的计算时间长，难以实现实时点云配准和转换。同时，上述方案协同感知仅通过车辆之间实现，没有使用路侧结点。并且协同的对象是周围的静止车辆，该方法适用场景局限，如周围无静止车辆，或者静止车辆并未启动，也就无法进行感知和通信。且对行人的检测只是基于图像，得到行人包围盒，行人检测精度低。
发明内容
本发明的目的在于克服现有技术的用于车辆的行人位姿解算方法仅通过相机获取图像，且协同感知进通过车辆之间实现，使用场景局限，同时对行人的检测仅基于图像得到行人包围盒，检测精度低的不足，提供一种基于车路协同的视野盲区行人检测算法。本发明不仅结合了激光雷达以及相机进行行人检测从而使得点云数据补充了图像数据欠缺的深度信息和盲区，而图像数据补充了点云近处的盲区和远处数据稀疏的缺陷，在感知上形成互补，而且本发明还在路侧和车侧均设置激光雷达和相机并将两侧设备得到的数据进行配准转换，从而实现车路协同的超视距感知，补充了车辆的视野盲区感知数据。
本发明的目的可采用以下技术方案来达到：
一种基于车路协同的视野盲区行人检测方法，路侧和车侧均设有相机和激光雷达，其中车侧设备包括相对固定的车载激光雷达车载相机，路侧设备包括相对固定的路侧激光雷达和路侧相机，包括坐标系统一、行人检测方法以及车路协同融合，其中，坐标系统一包括如下步骤：
S1.1：使用标定工具将位于同一侧的相机和激光雷达进行联合标定，得到相机的内部参考矩阵K和相机与激光雷达之间的外部参考矩阵
Figure SMS_1
S1.2：激光雷达采集点云P，其中车载激光雷达采集的点云为P1，路侧激光雷达采集的点云为P2，分别对点云P1和P2进行预处理，预处理包括点云去噪、点云下采样、点云地面分割、感兴趣区域提取，从而得到可以用于配准的点云P1roi和P2roi。
S1.3：车辆驶入路侧设备的通信范围后，使用车辆GPS和IMU确定车辆位姿信息，通信得到路侧设备位姿信息，计算出转换矩阵的初始值TGPS，以TGPS为初始值，将经过预处理的点云P1roi和P2roi进行初始配准，得到转换矩阵TSAC，以TSAC为初始值，进行精确配准得到首次坐标系转换矩阵Tinit；
S1.4：在首次坐标系转换矩阵Tinit的基础上，估计车辆相对首次配准位置的运动
Figure SMS_2
则根据坐标转换关系连续输出转换矩阵/>
Figure SMS_3
行人检测包括如下步骤：
S2.1：车载相机和路侧相机分别采集图像，对相机获取的图像进行行人检测，得到2D平面检测框，根据内部参考矩阵K和外部参考矩阵
Figure SMS_4
将点云P投影到图像坐标系内，并统计落在图像坐标系中2D平面检测框范围内的点云集合Pdetect；
S2.2：对点云集合Paetect内的点进行聚类，选取点数最多的一类作为行人点云Pperson，并生成点云包围盒序列B1；
S2.3：对点云P进行3D行人检测，并生成行人点云包围盒序列B2；
S2.4：将上述两种方法形成的行人点云包围盒序列B1和B2使用进行匹配，并采用加权平均的方法得到最终的行人包围盒序列Bfusion；
S2.5：分别对点云P1和P2作为输入的点云P进行步骤S2.1至S2.4的处理，分别得到车侧设备处理形成的行人包围盒序列B1fusion和路侧设备处理形成的行人包围盒序列B2fusion；
车路协同融合包括如下步骤：
S3：根据转换矩阵
Figure SMS_5
将路侧设备处理形成的行人点云包围盒B2fusion转换到车辆坐标系下，则行人包围盒序列B1fusion和经过换矩阵/>
Figure SMS_6
转换后的行人点云包围盒B2fusion即为车辆视角下行人检测结果。
本发明在路侧和车侧均设置检测设备，每一侧的检测设备均包括相机和激光雷达。
在同一侧的相机和激光雷达中，使用标定工具对在同一侧的相机采集的图像和激光雷达采集点云P进行标定，即可得出同一侧中相机和激光雷达之间的转换关系，即内部参考矩阵K和外部参考矩阵
Figure SMS_7
从而提取出点云P中落在图像的平面检测框范围内的点云集合Paetect，从而得出结合了相机和激光雷达的行人点云包围盒序列B1。同时，仅仅使用激光雷达采集的P形成行人点云包围盒序列B2，将行人点云包围盒序列B1和B2匹配和加权平均，得到最终的行人包围盒序列Bfusion。对两侧的检测设备所采集的数据均进行上述步骤，即进行步骤S1.1和步骤S2.1-S2.5，车侧设备得到行人包围盒序列B1fusion，路侧设备得到行人包围盒序列B2fusion，然后，需要路侧的行人包围盒序列B2fusion转换到车辆视角中。相机缺点是无法获取准确的深度信息，而激光雷达的缺点是对于距离较远的物体感知数据过于稀疏，难以检测，单一的传感器在复杂环境的感知和检测上具有局限性，因此，通过本发明结合图像和点云两种数据进行行人检测，点云数据补充了图像数据欠缺的深度信息和盲区，而图像数据补充了点云近处的盲区和远处数据稀疏的缺陷，在感知上形成互补。
而将路侧的行人包围盒序列B2fusion转换到车辆视角中时，则通过对车侧和路侧这两侧的激光雷达采集的点云P1和P2进行配准得到转换矩阵
Figure SMS_8
即进行步骤S1.2-S1.4，即可将行人包围盒序列B2fusion转换到车辆视角中。这样，路侧设备的得到的行人包围盒序列B2fusion可以对车侧设备得到行人包围盒序列B1fusion进行补充，实现车路协同的超视距感知，补充了车辆的视野盲区感知数据。
其中，在两侧的激光雷达采集的点云P1和P2进行配准时，激光点云配准的本质是根据重叠区域对点云进行空间变换，点云配准对于刚性变换的点云具有较好的效果，但由于路侧与车载激光雷达的激光线数、角度分布、采样分辨率不同，获取的两部分点云疏密不一致，这两部分点云具有异构性。本发明为了提高配准精度，对点云P1和P2进行预处理从而降低噪点去除不需要的区域如车辆项部以上的区域，再进行配准，并且配准的过程中经过初始配准和精确配准两次配准，大大提高了配准精度。并且，在车辆运动较快，雷达帧率较高的背景下，现有的点云配准方法需要逐帧配准，计算量大，在车路协同的场景下无法满足实时性需求，为了实现实时配准并降低计算量，估计车辆相对首次配准位置的运动
Figure SMS_9
根据运动/>
Figure SMS_10
实时输出出转换矩阵/>
Figure SMS_11
这样当车辆进入一套路侧设备中时，即进入位于同一处的路侧激光雷达和路侧相机的通信方位内时，只需要进行一次步骤S1.2和步骤S1.3的预处理和配准过程得到首次坐标系转换矩阵Tinit，然后通过首次坐标系转换矩阵Tinit和车辆相对首次配准位置的运动/>
Figure SMS_12
即可实时输出出转换矩阵/>
Figure SMS_13
直至进入下一套路侧设备的通信范围中。
所述标定工具可以使用Autoware框架中的Calibration Tool Kit，Apollo 2.0框架中的Sensor Calibration，but_calibration_camera_velodyne等。
进一步的，所述步骤S1.1中进行联合标定时，当位于同一侧的相机与激光雷达同时观察点M时，在M点在图像坐标系中的投影坐标为U＝(u，v，1)T，在激光雷达坐标系中的坐标为Ml(xl，yl，zl)；
设激光雷达-相机的转换关系为
Figure SMS_14
则
Figure SMS_15
其中
Figure SMS_16
为相机的内参矩阵，通过同一侧的激光雷达和相机分别采集至少四组数据即可求解出转换矩阵/>
Figure SMS_17
本方案中，激光点云中的扫描点(xl，yl，zl)在图像像素坐标系中的坐标(u，v)可以通过
Figure SMS_18
计算，然后通过变换即可得到/>
Figure SMS_19
Figure SMS_20
易知，/>
Figure SMS_21
共有12个参数需要求解，因此需要4组以上的激光雷达对应点才能得到结果，因此在标定中可采用多组数据，并使用最小二乘法进行求解外部参考矩阵/>
Figure SMS_22
进一步的，所述步骤S1.2中，对点云P进行预处理时，包括如下步骤：
S1.2.1：点云去噪：假设输入的点云为Pinput＝(p1，p2，...，pn)，设定的滤波半径为Rfilter，邻近点个数阈值为numth，使用半径滤波算法进行去噪，得到去噪后的点云集合Pfiltered；
使用半径滤波算法进行去噪时，对于每一个点云集合Pinput中的点pi，若以pi为球心，Rfilter为半径的球体内的邻近点个数numngb＜numth，则pi移除，否则pi保留，最终会得到一个去噪后的点云集合Pfiltered。
S1.2.2：点云下采样：对于去噪后的点云集合Pfiltered分别进行同规格的体素下采样，将三维空间划分为边长为(δx，δy，δz)的体素，设体素内的点为Pvoxel＝(p1，p2，...，pn)，则该体素内的所有激光反射点的重心为pc＝(xc，yc，zc)，其中重心点的坐标值为
Figure SMS_23
Figure SMS_24
Figure SMS_25
用该重心pc代替该体素内的点，依次遍历每一个体素，则形成了下采样后的点云Pds；
在多源激光雷达的点云数据融合中，不同激光雷达往往因为激光光束的分布、视场角、分辨率不同，导致对同一物体的采样点不同，因此得到的点云数据特征不同，这一情况对于点云配准造成很大的挑战。考虑到以上原因，对于配准使用的两个点云集合，可以先进行同规格的体素下采样以提高配准精度。
S1.2.3：点云地面分割：对于下采样后的点云Pds中地面部分的点云进行去除，得到去除地面部分的点云集合Png；
机械式激光雷达发射激光到地面形成的反射点云，一般都是以激光雷达为圆心的同心圆弧。当两个激光雷达的位置不同时，即使对于同一块地面而言，这些圆弧上的点特征也是完全不同的，对于点云的配准将可能起到干扰的效果，因此需要对于地面的点云进行分割。对于地面部分的点云分割，可以采用基于随机抽样一致性(Random SampleConsensus,RANSAC)的算法，得到去除地面部分的点云集合Png
S1.2.4：根据路侧激光雷达的视场角、周围建筑、障碍物的距离、以及车辆行驶需要关注的区域，将点云集合Png中高度超过一定范围的点云去除，只留下感兴趣区域的点云数据Proi。
一般而言，由于不同的激光雷达的垂直视场角不同，所处位置不同，与物体的距离也不同，获取到的点云数据在高度并不一致，很有可能出现一个点云集合中部分点云高度完全超出另一个点云集合的情况，也就是说，这部分高度过高的点云在另一点云集合中找不到对应点，对于点云配准没有帮助。若车载激光雷达的垂直视场角更大，采集到了高度更高的部分数据，例如树的顶端、更高楼层的墙面等，这部分数据在路侧激光雷达的点云中并不能找到对应点，不仅无法对点云配准起到促进作用，还可能导致配准时间增加或者配准误差增大。另一方面，车辆行驶的过程中关注的区域也有限，往往只关心地面以上一定高度范围内的场景，所以一定高度以上的点云数据也可以舍弃，减少冗余数据也有利于数据传输和处理，也减少了对感兴趣区域内有效数据的干扰。
S1.2.5：分别将点云数据P1和P2分别作为输入的点云集合Pinput进行上述步骤S1.2.1至S1.2.4的处理，到去噪后的点云集合P1roi和P2roi。
进一步的，所述步骤S1.2.3中，采用基于随机抽样一致性算法对下采样后的点云Pds中地面部分的点云去除
进一步的，所述步骤S1.3中，在车侧中，提前标定位置相对固定的车载激光雷达坐标系、GPS和IMU的坐标系以及车辆进行标定，通过GPS和IMU给出的车辆位置和方向信息得到车载激光雷达坐标系与地心地固坐标系的转换矩阵，从而确定车载激光雷达在地心地固坐标系的位置；
在路侧，将固定在路侧的路侧激光雷达的坐标系与地心地固坐标系的预先标定，从而确定路侧激光雷达在地心地固坐标系内的坐标位置并将该坐标位置进行广播；
根据两侧的激光雷达在地心地固坐标系的位置，计算出转换矩阵的初始值TGPS；以TGPS为初始值，通过采样一致性初始配准算法SAC-IA，将经过预处理的点云P1roi和P2roi进行初始配准，得到转换矩阵TSAC；以TSAc为初始值，通过最近点迭代法ICP将点云P1roi和P2roi进行精确配准，得到最终的首次坐标系转换矩阵Tinit。
由于车载激光雷达以及GPS和IMU是固定设置在车辆上的，因此可以提前将车辆与车载激光雷达进行标定，并将GPS和IMU的坐标系和车载雷达坐标系均转换到地心地固坐标系中，利用GPS和IMU给出的信息得到车辆的方向信息确定激光雷达坐标系与地心地固坐标系的转换矩阵。由于本发明还利用了IMU进行初始位姿估计，比起只依赖只依赖于GPS位置信息，本发明的融合的精度和稳定性更高，同时通过GPS和IMU给出的信息比仅仅通过GPS给出的信息其初始精确度更高，从而得到初始精度高的转换矩阵TSAc，在通过最近点迭代法ICP将点云P1roi和P2roi进行精确配准后，得到的首次坐标系转换矩阵Tinit融合精度更高。
将GPS的WGS-84坐标系转换为地心地固坐标系如下：
Figure SMS_26
/>
其中alt为高程，lat为纬度，lon为经度，WGS-84坐标系基准椭球体的长半径a＝6378137.0m，基准椭球体的极偏率
Figure SMS_27
进一步的，所述S1.4中，通过LeGO-LOAM算法输出的车辆获取第i帧点云时刻相对于首次配准位置的转换矩阵为
Figure SMS_28
则当前时刻的转换矩阵为/>
Figure SMS_29
进一步的，述步骤S2.1中，根据标定的相机与激光雷达的内参K和外参
Figure SMS_30
使用式
Figure SMS_31
将点云P投影到图像坐标系内。
进一步的，所述步骤S2.2中，对点云Pdetect内的点进行聚类时，根据激光雷达的性能，选定两个参数(ε，MinPts)，其中，ε描述了某一数据点的邻域距离阈值，MinPts描述了数据点半径为ε的邻域中数据点个数的最小个数，若一个点p对应的ε领域内至少有MinPts个点，则点p为核心对象，使用DB-SCAN算法对点云Pdetect内的点进行聚类，任意选择一个没有类别的核心对象pi作为种子，找到所有这个核心对象pi能够密度可达MinPts的一个聚类簇Ck，直到所有点遍历完全，选取点数最多的一类点云簇Ck作为行人点云Pperson，根据Pperson形成轴对齐包围盒(AABB)序列
Figure SMS_32
DB-SCAN算法开始时我们任意选择一个没有类别的核心对象p1作为种子，然后找到所有这个核心对象能够密度可达的样本集合C1，即一个聚类簇。接着继续选择另一个没有类别的核心对象去寻找密度可达的样本集合C2，...，Cn，直到所有点遍历完全。选取点数最多的一类点云簇Ck作为行人点云Pperson，根据Pperson形成轴对齐包围盒(AABB)序列
Figure SMS_33
对点云Pdetect内的点进行聚类时，还可以使用k-means，OPTICS，Agglomerative，Divisive等类聚方法均可。
进一步的，所述步骤S2.3中，使用Point-Pillar检测方法进行3D行人检测，首先采用Pillar编码方式编码点云P，得到伪2D图，然后使用2D卷积对编码后的伪2D图进行处理，最后使用SSD的检测头对目标进行检测，得到包围盒序列
Figure SMS_34
Point Pillar检测点云首先会完成所有点云集合Pdetect到伪图像的转换，在三维空间的x，y轴上进行切割，生成一个个的Pillar，每单个点云用一个9维的增广向量来表示，并使用截取和补齐两种方式将稀疏的点云转化为稠密的数据，最终点云Pdetect都会聚集到一个稠密的，尺寸为(D*N*P)的Tensor上。之后对每一个点云运用一个简化版本的PointNet和一个线性层后，学习到点云的特征产生尺寸为(C*P*N)的Tensor后，将点云根据索引移动回来原来的位置，产生伪图像(pseudo-image)，经过backbone的渐进式下采样处理后，进行对应特征上采样到统一的尺寸并拼接；最后使用SSD检测形成序列
Figure SMS_35
点云行人检测模型除了Point-Pillar之外，还有SECOND，VoxelNet，MVF，LaserNet，PointRCNN，PIXOR等均可。
进一步的，所述步骤S2.4中，以包围盒的中心位置为准，可以得到包围盒序列B1和包围盒序列B2之间两两之间的距离，以最小的距离和为优化目标，使用匈牙利算法进行两两匹配，得到包围盒序列B1和包围盒序列B2之间的对应关系
Figure SMS_36
其中，
Figure SMS_37
和/>
Figure SMS_38
分别是包围盒序列B1和包围盒序列B2中的第i和j个包围盒。
与现有技术相比，本发明的有益效果是：
(1)结合了激光雷达以及相机进行行人检测从而使得点云数据补充了图像数据欠缺的深度信息和盲区，而图像数据补充了点云近处的盲区和远处数据稀疏的缺陷，在感知上形成互补。
(2)在路侧和车侧均设置激光雷达和相机并将两侧设备得到的数据进行配准转换，从而实现车路协同的超视距感知，补充了车辆的视野盲区感知数据。
(3)对点云P进行预处理剔除不需要的部分使得车路两侧配准精度大大提高。
(4)在车辆动态运行的情况下，车侧和路侧数据坐标系可以进行统一。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
实施例1
如图1所示，一种基于车路协同的视野盲区行人检测方法，路侧和车侧均设有相机和激光雷达，其中车侧设备包括相对固定的车载激光雷达车载相机，路侧设备包括相对固定的路侧激光雷达和路侧相机，包括坐标系统一、行人检测方法以及车路协同融合，其中，坐标系统一包括如下步骤：
S1.1：使用标定工具将位于同一侧的相机和激光雷达进行联合标定，得到相机的内部参考矩阵K和相机与激光雷达之间的外部参考矩阵
Figure SMS_39
S1.2：激光雷达采集点云P，其中车载激光雷达采集的点云为P1，路侧激光雷达采集的点云为P2，分别对点云P1和P2进行预处理，预处理包括点云去噪、点云下采样、点云地面分割、感兴趣区域提取，从而得到可以用于配准的点云P1roi和P2roi。
S1.3：车辆驶入路侧设备的通信范围后，使用车辆GPS和IMU确定车辆位姿信息，通信得到路侧设备位姿信息，计算出转换矩阵的初始值TGPS，以TGPS为初始值，将经过预处理的点云P1roi和P2roi进行初始配准，得到转换矩阵TSAC，以TSAC为初始值，进行精确配准得到首次坐标系转换矩阵Tinit；
S1.4：在首次坐标系转换矩阵Tinit的基础上，估计车辆相对首次配准位置的运动
Figure SMS_40
则根据坐标转换关系连续输出转换矩阵/>
Figure SMS_41
行人检测包括如下步骤：
S2.1：车载相机和路侧相机分别采集图像，对相机获取的图像进行行人检测，得到2D平面检测框，根据内部参考矩阵K和外部参考矩阵
Figure SMS_42
将点云P投影到图像坐标系内，并统计落在图像坐标系中2D平面检测框范围内的点云集合Pdetect；
S2.2：对点云集合Paetect内的点进行聚类，选取点数最多的一类作为行人点云Pperson，并生成点云包围盒序列B1；
S2.3：对点云P进行3D行人检测，并生成行人点云包围盒序列B2；
S2.4：将上述两种方法形成的行人点云包围盒序列B1和B2使用进行匹配，并采用加权平均的方法得到最终的行人包围盒序列Bfusion；
S2.5：分别对点云P1和P2作为输入的点云P进行步骤S2.1至S2.4的处理，分别得到车侧设备处理形成的行人包围盒序列B1fusion和路侧设备处理形成的行人包围盒序列B2fusion；
车路协同融合包括如下步骤：
S3：根据转换矩阵
Figure SMS_43
将路侧设备处理形成的行人点云包围盒B2fusion转换到车辆坐标系下，则行人包围盒序列B1fusion和经过换矩阵/>
Figure SMS_44
转换后的行人点云包围盒B2fusion即为车辆视角下行人检测结果。
本发明在路侧和车侧均设置检测设备，每一侧的检测设备均包括相机和激光雷达。
在同一侧的相机和激光雷达中，使用标定工具对在同一侧的相机采集的图像和激光雷达采集点云P进行标定，即可得出同一侧中相机和激光雷达之间的转换关系，即内部参考矩阵K和外部参考矩阵
Figure SMS_45
从而提取出点云P中落在图像的平面检测框范围内的点云集合Pdetect，从而得出结合了相机和激光雷达的行人点云包围盒序列B1。同时，仅仅使用激光雷达采集的P形成行人点云包围盒序列B2，将行人点云包围盒序列B1和B2匹配和加权平均，得到最终的行人包围盒序列Bfusion。对两侧的检测设备所采集的数据均进行上述步骤，即进行步骤S1.1和步骤S2.1-S2.5，车侧设备得到行人包围盒序列B1fusion，路侧设备得到行人包围盒序列B2fusion，然后，需要路侧的行人包围盒序列B2fusion转换到车辆视角中。相机缺点是无法获取准确的深度信息，而激光雷达的缺点是对于距离较远的物体感知数据过于稀疏，难以检测，单一的传感器在复杂环境的感知和检测上具有局限性，因此，通过本发明结合图像和点云两种数据进行行人检测，点云数据补充了图像数据欠缺的深度信息和盲区，而图像数据补充了点云近处的盲区和远处数据稀疏的缺陷，在感知上形成互补。
而将路侧的行人包围盒序列B2fusion转换到车辆视角中时，则通过对车侧和路侧这两侧的激光雷达采集的点云P1和P2进行配准得到转换矩阵
Figure SMS_46
即进行步骤S1.2-S1.4，即可将行人包围盒序列B2fusion转换到车辆视角中。这样，路侧设备的得到的行人包围盒序列B2fusion可以对车侧设备得到行人包围盒序列B1fusion进行补充，实现车路协同的超视距感知，补充了车辆的视野盲区感知数据。
其中，在两侧的激光雷达采集的点云P1和P2进行配准时，激光点云配准的本质是根据重叠区域对点云进行空间变换，点云配准对于刚性变换的点云具有较好的效果，但由于路侧与车载激光雷达的激光线数、角度分布、采样分辨率不同，获取的两部分点云疏密不一致，这两部分点云具有异构性。本发明为了提高配准精度，对点云P1和P2进行预处理从而降低噪点去除不需要的区域如车辆项部以上的区域，再进行配准，并且配准的过程中经过初始配准和精确配准两次配准，大大提高了配准精度。并且，在车辆运动较快，雷达帧率较高的背景下，现有的点云配准方法需要逐帧配准，计算量大，在车路协同的场景下无法满足实时性需求，为了实现实时配准并降低计算量，估计车辆相对首次配准位置的运动
Figure SMS_47
根据运动/>
Figure SMS_48
实时输出出转换矩阵/>
Figure SMS_49
这样当车辆进入一套路侧设备中时，即进入位于同一处的路侧激光雷达和路侧相机的通信方位内时，只需要进行一次步骤S1.2和步骤S1.3的预处理和配准过程得到首次坐标系转换矩阵Tinit，然后通过首次坐标系转换矩阵Tinit和车辆相对首次配准位置的运动/>
Figure SMS_50
即可实时输出出转换矩阵/>
Figure SMS_51
直至进入下一套路侧设备的通信范围中。
本实施例中，所述标定工具使用Autoware框架中的Calibration Tool Kit。
进一步的，所述步骤S1.1中进行联合标定时，当位于同一侧的相机与激光雷达同时观察点M时，在M点在图像坐标系中的投影坐标为U＝(u，v，1)T，在激光雷达坐标系中的坐标为Ml(xl，yl，zl)；
设激光雷达-相机的转换关系为
Figure SMS_52
则
Figure SMS_53
其中
Figure SMS_54
为相机的内参矩阵，通过同一侧的激光雷达和相机分别采集至少四组数据即可求解出转换矩阵/>
Figure SMS_55
本方案中，激光点云中的扫描点(xl，yl，zl)在图像像素坐标系中的坐标(u，v)可以通过
Figure SMS_56
计算，然后通过变换即可得到/>
Figure SMS_57
Figure SMS_58
易知，/>
Figure SMS_59
共有12个参数需要求解，因此需要4组以上的激光雷达对应点才能得到结果，因此在标定中可采用多组数据，并使用最小二乘法进行求解外部参考矩阵/>
Figure SMS_60
进一步的，所述步骤S1.2中，对点云P进行预处理时，包括如下步骤：
S1.2.1：点云去噪：假设输入的点云为Pinput＝(p1，p2，...，pn)，设定的滤波半径为Rfilter，邻近点个数阈值为numth，使用半径滤波算法进行去噪，得到去噪后的点云集合Pfiltered；
使用半径滤波算法进行去噪时，对于每一个点云集合Pinput中的点pi，若以pi为球心，Rfilter为半径的球体内的邻近点个数numngb＜numth，则pi移除，否则pi保留，最终会得到一个去噪后的点云集合Pfiltered。
S1.2.2：点云下采样：对于去噪后的点云集合Pfiltered分别进行同规格的体素下采样，将三维空间划分为边长为(δx，δy，δz)的体素，设体素内的点为Pvoroi＝(p1，p2，...，pn)，则该体素内的所有激光反射点的重心为pc＝(xc，yc，zc)，其中重心点的坐标值为
Figure SMS_61
Figure SMS_62
Figure SMS_63
用该重心pc代替该体素内的点，依次遍历每一个体素，则形成了下采样后的点云Pds；
在多源激光雷达的点云数据融合中，不同激光雷达往往因为激光光束的分布、视场角、分辨率不同，导致对同一物体的采样点不同，因此得到的点云数据特征不同，这一情况对于点云配准造成很大的挑战。考虑到以上原因，对于配准使用的两个点云集合，可以先进行同规格的体素下采样以提高配准精度。
S1.2.3：点云地面分割：对于下采样后的点云Pds中地面部分的点云进行去除，得到去除地面部分的点云集合Png；
机械式激光雷达发射激光到地面形成的反射点云，一般都是以激光雷达为圆心的同心圆弧。当两个激光雷达的位置不同时，即使对于同一块地面而言，这些圆弧上的点特征也是完全不同的，对于点云的配准将可能起到干扰的效果，因此需要对于地面的点云进行分割。对于地面部分的点云分割，可以采用基于随机抽样一致性(Random SampleConsensus,RANSAC)的算法，得到去除地面部分的点云集合Png
S1.2.4：根据路侧激光雷达的视场角、周围建筑、障碍物的距离、以及车辆行驶需要关注的区域，将点云集合Png中高度超过一定范围的点云去除，只留下感兴趣区域的点云数据Proi。
一般而言，由于不同的激光雷达的垂直视场角不同，所处位置不同，与物体的距离也不同，获取到的点云数据在高度并不一致，很有可能出现一个点云集合中部分点云高度完全超出另一个点云集合的情况，也就是说，这部分高度过高的点云在另一点云集合中找不到对应点，对于点云配准没有帮助。若车载激光雷达的垂直视场角更大，采集到了高度更高的部分数据，例如树的顶端、更高楼层的墙面等，这部分数据在路侧激光雷达的点云中并不能找到对应点，不仅无法对点云配准起到促进作用，还可能导致配准时间增加或者配准误差增大。另一方面，车辆行驶的过程中关注的区域也有限，往往只关心地面以上一定高度范围内的场景，所以一定高度以上的点云数据也可以舍弃，减少冗余数据也有利于数据传输和处理，也减少了对感兴趣区域内有效数据的干扰。
S1.2.5：分别将点云数据P1和P2分别作为输入的点云集合Pinput进行上述步骤S1.2.1至S1.2.4的处理，到去噪后的点云集合P1roi和P2roi。
进一步的，所述步骤S1.2.3中，采用基于随机抽样一致性算法对下采样后的点云Pds中地面部分的点云去除
进一步的，所述步骤S1.3中，在车侧中，提前标定位置相对固定的车载激光雷达坐标系、GPS和IMU的坐标系以及车辆进行标定，通过GPS和IMU给出的车辆位置和方向信息得到车载激光雷达坐标系与地心地固坐标系的转换矩阵，从而确定车载激光雷达在地心地固坐标系的位置；
在路侧，将固定在路侧的路侧激光雷达的坐标系与地心地固坐标系的预先标定，从而确定路侧激光雷达在地心地固坐标系内的坐标位置并将该坐标位置进行广播；
根据两侧的激光雷达在地心地固坐标系的位置，计算出转换矩阵的初始值TGPS；以TGPS为初始值，通过采样一致性初始配准算法SAC-IA，将经过预处理的点云P1roi和P2roi进行初始配准，得到转换矩阵TSAC；以TSAC为初始值，通过最近点迭代法ICP将点云P1roi和P2roi进行精确配准，得到最终的首次坐标系转换矩阵Tinit。
由于车载激光雷达以及GPS和IMU是固定设置在车辆上的，因此可以提前将车辆与车载激光雷达进行标定，并将GPS和IMU的坐标系和车载雷达坐标系均转换到地心地固坐标系中，利用GPS和IMU给出的信息得到车辆的方向信息确定激光雷达坐标系与地心地固坐标系的转换矩阵。由于本发明还利用了IMU进行初始位姿估计，比起只依赖只依赖于GPS位置信息，本发明的融合的精度和稳定性更高，同时通过GPS和IMU给出的信息比仅仅通过GPS给出的信息其初始精确度更高，从而得到初始精度高的转换矩阵TSAC，在通过最近点迭代法ICP将点云P1roi和P2roi进行精确配准后，得到的首次坐标系转换矩阵Tinit融合精度更高。
将GPS的WGS-84坐标系转换为地心地固坐标系如下：
Figure SMS_64
其中alt为高程，lat为纬度，lon为经度，WGS-84坐标系基准椭球体的长半径a＝6378137.0m，基准椭球体的极偏率
Figure SMS_65
进一步的，所述S1.4中，通过LeGO-LOAM算法输出的车辆获取第i帧点云时刻相对于首次配准位置的转换矩阵为
Figure SMS_66
则当前时刻的转换矩阵为/>
Figure SMS_67
进一步的，述步骤S2.1中，根据标定的相机与激光雷达的内参K和外参
Figure SMS_68
使用式
Figure SMS_69
将点云P投影到图像坐标系内。
进一步的，所述步骤S2.2中，对点云Pdetect内的点进行聚类时，根据激光雷达的性能，选定两个参数(ε，MinPts)，其中，ε描述了某一数据点的邻域距离阈值，MinPts描述了数据点半径为ε的邻域中数据点个数的最小个数，若一个点p对应的ε领域内至少有MinPts个点，则点p为核心对象，使用DB-SCAN算法对点云Pdetect内的点进行聚类，任意选择一个没有类别的核心对象pi作为种子，找到所有这个核心对象pi能够密度可达MinPts的一个聚类簇Ck，直到所有点遍历完全，选取点数最多的一类点云簇Ck作为行人点云Pperson，根据Pperson形成轴对齐包围盒(AABB)序列
Figure SMS_70
DB-SCAN算法开始时我们任意选择一个没有类别的核心对象p1作为种子，然后找到所有这个核心对象能够密度可达的样本集合C1，即一个聚类簇。接着继续选择另一个没有类别的核心对象去寻找密度可达的样本集合C2，...，Cn，直到所有点遍历完全。选取点数最多的一类点云簇Ck作为行人点云Pperson，根据Pperson形成轴对齐包围盒(AABB)序列
Figure SMS_71
进一步的，所述步骤S2.3中，使用Point-Pillar检测方法进行3D行人检测，首先采用Pillar编码方式编码点云P，得到伪2D图，然后使用2D卷积对编码后的伪2D图进行处理，最后使用SSD的检测头对目标进行检测，得到包围盒序列
Figure SMS_72
Point Pillar检测点云首先会完成所有点云集合Pdetect到伪图像的转换，在三维空间的x，y轴上进行切割，生成一个个的Pillar，每单个点云用一个9维的增广向量来表示，并使用截取和补齐两种方式将稀疏的点云转化为稠密的数据，最终点云Pdetect都会聚集到一个稠密的，尺寸为(D*N*P)的Tensor上。之后对每一个点云运用一个简化版本的PointNet和一个线性层后，学习到点云的特征产生尺寸为(C*P*N)的Tensor后，将点云根据索引移动回来原来的位置，产生伪图像(pseudo-image)，经过backbone的渐进式下采样处理后，进行对应特征上采样到统一的尺寸并拼接；最后使用SSD检测形成序列
Figure SMS_73
进一步的，所述步骤S2.4中，以包围盒的中心位置为准，可以得到包围盒序列B1和包围盒序列B2之间两两之间的距离，以最小的距离和为优化目标，使用匈牙利算法进行两两匹配，得到包围盒序列B1和包围盒序列B2之间的对应关系
Figure SMS_74
其中，
Figure SMS_75
和/>
Figure SMS_76
分别是包围盒序列B1和包围盒序列B2中的第i和j个包围盒。
实施例2
本实施例与实施例1类似，所不同之处在于，本实施例中，所使用的标定工具为Apollo 2.0框架中的Sensor Calibration。
实施例3
本实施例与实施例1类似，所不同之处在于，本实施例中，对点云Pdetect内的点进行聚类时，使用k-means类聚方法。所述点云行人检测模型为SECOND。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于车路协同的视野盲区行人检测方法，其特征在于，路侧和车侧均设有相机和激光雷达，其中车侧设备包括相对固定的车载激光雷达车载相机，路侧设备包括相对固定的路侧激光雷达和路侧相机，包括坐标系统一、行人检测方法以及车路协同融合，其中，坐标系统一包括如下步骤：
S1.1：使用标定工具将位于同一侧的相机和激光雷达进行联合标定，得到相机的内部参考矩阵K和相机与激光雷达之间的外部参考矩阵
Figure QLYQS_1
S1.2：激光雷达采集点云P，其中车载激光雷达采集的点云为P1，路侧激光雷达采集的点云为P2，分别对点云P1和P2进行预处理，预处理包括点云去噪、点云下采样、点云地面分割、感兴趣区域提取，从而得到可以用于配准的点云P1roi和P2roi。
S1.3：车辆驶入路侧设备的通信范围后，使用车辆GPS和IMU确定车辆位姿信息，通信得到路侧设备位姿信息，计算出转换矩阵的初始值TGPS，以TGPS为初始值，将经过预处理的点云P1roi和P2roi进行初始配准，得到转换矩阵TSAC，以TSAC为初始值，进行精确配准得到首次坐标系转换矩阵Tinit；
S1.4：在首次坐标系转换矩阵Tinit的基础上，估计车辆相对首次配准位置的运动
Figure QLYQS_2
则根据坐标转换关系连续输出转换矩阵/>
Figure QLYQS_3
行人检测包括如下步骤：
S2.1：车载相机和路侧相机分别采集图像，对相机获取的图像进行行人检测，得到2D平面检测框，根据内部参考矩阵K和外部参考矩阵
Figure QLYQS_4
将点云P投影到图像坐标系内，并统计落在图像坐标系中2D平面检测框范围内的点云集合Pdetect；
S2.2：对点云集合Pdetect内的点进行聚类，选取点数最多的一类作为行人点云Pperson，并生成点云包围盒序列B1；
S2.3：对点云P进行3D行人检测，并生成行人点云包围盒序列B2；
S2.4：将上述两种方法形成的行人点云包围盒序列B1和B2使用进行匹配，并采用加权平均的方法得到最终的行人包围盒序列Bfusion；
S2.5：分别对点云P1和P2作为输入的点云P进行步骤S2.1至S2.4的处理，分别得到车侧设备处理形成的行人包围盒序列B1fusion和路侧设备处理形成的行人包围盒序列B2fusion；
车路协同融合包括如下步骤：
S3：根据转换矩阵
Figure QLYQS_5
将路侧设备处理形成的行人点云包围盒B2fusion转换到车辆坐标系下，则行人包围盒序列B1fusion和经过换矩阵/>
Figure QLYQS_6
转换后的行人点云包围盒B2fusion即为车辆视角下行人检测结果。
2.根据权利要求1所述的基于车路协同的视野盲区行人检测方法，其特征在于，所述步骤S1.1中进行联合标定时，当位于同一侧的相机与激光雷达同时观察点M时，在M点在图像坐标系中的投影坐标为U＝(u，v，1)T，在激光雷达坐标系中的坐标为M1(xl，yl，zl)；
设激光雷达-相机的转换关系为
Figure QLYQS_7
则
Figure QLYQS_8
/>
其中
Figure QLYQS_9
为相机的内参矩阵，通过同一侧的激光雷达和相机分别采集至少四组数据即可求解出转换矩阵/>
Figure QLYQS_10
3.根据权利要求1所述的基于车路协同的视野盲区行人检测方法，其特征在于，所述步骤S1.2中，对点云P进行预处理时，包括如下步骤：
S1.2.1：点云去噪：假设输入的点云为Pinput＝(p1，p2，...，pn)，设定的滤波半径为Rfilete，邻近点个数阈值为numth，使用半径滤波算法进行去噪，得到去噪后的点云集合Pfiltered；
S1.2.2：点云下采样：对于去噪后的点云集合Pfileteed分别进行同规格的体素下采样，将三维空间划分为边长为(δx，δy，δz)的体素，设体素内的点为Pvoroi＝(p1，p2，...，pn)，则该体素内的所有激光反射点的重心为pc＝(xc，yc，zc)，其中重心点的坐标值为
Figure QLYQS_11
Figure QLYQS_12
Figure QLYQS_13
用该重心pc代替该体素内的点，依次遍历每一个体素，则形成了下采样后的点云Pds；
S1.2.3：点云地面分割：对于下采样后的点云Pds中地面部分的点云进行去除，得到去除地面部分的点云集合Png；
S1.2.4：根据路侧激光雷达的视场角、周围建筑、障碍物的距离、以及车辆行驶需要关注的区域，将点云集合Png中高度超过一定范围的点云去除，只留下感兴趣区域的点云数据Proi。
S1.2.5：分别将点云数据P1和P2分别作为输入的点云集合Pinput进行上述步骤S1.2.1至S1.2.4的处理，到去噪后的点云集合P1roi和P2roi。
4.根据权利要求3所述的基于车路协同的视野盲区行人检测方法，其特征在于，所述步骤S1.2.3中，采用基于随机抽样一致性算法对下采样后的点云Pds中地面部分的点云去除。
5.根据权利要求3所述的基于车路协同的视野盲区行人检测方法，其特征在于，所述步骤S1.3中，在车侧中，提前标定位置相对固定的车载激光雷达坐标系、GPS和IMU坐标系以及车辆进行标定，通过GPS和IMU的给出的车辆位置和方向信息得到车载激光雷达坐标系与地心地固坐标系的转换矩阵，从而确定车载激光雷达在地心地固坐标系的位置；
在路侧，将固定在路侧的路侧激光雷达的坐标系与地心地固坐标系的预先标定，从而确定路侧激光雷达在地心地固坐标系内的坐标位置并将该坐标位置进行广播；
根据两侧的激光雷达在地心地固坐标系的位置，计算出转换矩阵的初始值TGPS；以TGPS为初始值，通过采样一致性初始配准算法SAC-IA，将经过预处理的点云P1roi和P2roi进行初始配准，得到转换矩阵TSAC；以TSAC为初始值，通过最近点迭代法ICP将点云P1roi和P2roi进行精确配准，得到最终的首次坐标系转换矩阵Tinit。
6.根据权利要求1所述的基于车路协同的视野盲区行人检测方法，其特征在于，所述S1.4中，通过LeGO-LOAM算法输出的车辆获取第i帧点云时刻相对于首次配准位置的转换矩阵为
Figure QLYQS_14
则当前时刻的转换矩阵为/>
Figure QLYQS_15
7.根据权利要求2所述的基于车路协同的视野盲区行人检测方法，其特征在于，所述步骤S2.1中，根据标定的相机与激光雷达的内参K和外参
Figure QLYQS_16
使用式
Figure QLYQS_17
将点云P投影到图像坐标系内。
8.根据权利要求7所述的基于车路协同的视野盲区行人检测方法，其特征在于，所述步骤S2.2中，对点云Pdetect内的点进行聚类时，根据激光雷达的性能，选定两个参数(ε，MinPts)，其中，ε描述了某一数据点的邻域距离阈值，MinPts描述了数据点半径为ε的邻域中数据点个数的最小个数，若一个点p对应的ε领域内至少有MinPts个点，则点p为核心对象，使用DB-SCAN算法对点云Pdetect内的点进行聚类，任意选择一个没有类别的核心对象pi作为种子，找到所有这个核心对象pi能够密度可达MinPts的一个聚类簇Ck，直到所有点遍历完全，选取点数最多的一类点云簇Ck作为行人点云Pperson，根据Pperson形成轴对齐包围盒(AABB)序列
Figure QLYQS_18
9.根据权利要求1所述的基于车路协同的视野盲区行人检测方法，其特征在于，所述步骤S2.3中，使用Point-Pillar检测方法进行3D行人检测，首先采用Pillar编码方式编码点云P，得到伪2D图，然后使用2D卷积对编码后的伪2D图进行处理，最后使用SSD的检测头对目标进行检测，得到包围盒序列
Figure QLYQS_19
10.根据权利要求1所述的基于车路协同的视野盲区行人检测方法，其特征在于，所述步骤S2.4中，以包围盒的中心位置为准，可以得到包围盒序列B1和包围盒序列B2之间两两之间的距离，以最小的距离和为优化目标，使用匈牙利算法进行两两匹配，得到包围盒序列B1和包围盒序列B2之间的对应关系
Figure QLYQS_20
/>
CN202211625275.5A 2022-12-16 2022-12-16 一种基于车路协同的视野盲区行人检测算法 Pending CN116189138A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211625275.5A CN116189138A (zh) 2022-12-16 2022-12-16 一种基于车路协同的视野盲区行人检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211625275.5A CN116189138A (zh) 2022-12-16 2022-12-16 一种基于车路协同的视野盲区行人检测算法

Publications (1)

Publication Number Publication Date
CN116189138A true CN116189138A (zh) 2023-05-30

Family

ID=86441234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211625275.5A Pending CN116189138A (zh) 2022-12-16 2022-12-16 一种基于车路协同的视野盲区行人检测算法

Country Status (1)

Country Link
CN (1) CN116189138A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252899A (zh) * 2023-09-26 2023-12-19 探维科技(苏州)有限公司 目标跟踪方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252899A (zh) * 2023-09-26 2023-12-19 探维科技(苏州)有限公司 目标跟踪方法和装置
CN117252899B (zh) * 2023-09-26 2024-05-17 探维科技(苏州)有限公司 目标跟踪方法和装置

Similar Documents

Publication Publication Date Title
US11113959B2 (en) Crowdsourced detection, identification and sharing of hazardous road objects in HD maps
US10354151B2 (en) Method of detecting obstacle around vehicle
US20180322646A1 (en) Gaussian mixture models for temporal depth fusion
Zhe et al. Inter-vehicle distance estimation method based on monocular vision using 3D detection
EP2948927B1 (en) A method of detecting structural parts of a scene
CN111209825B (zh) 一种用于动态目标3d检测的方法和装置
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
CN112740225B (zh) 一种路面要素确定方法及装置
CN111814602B (zh) 一种基于视觉的智能车环境动态目标检测的方法
Pantilie et al. Real-time obstacle detection using dense stereo vision and dense optical flow
Benedek et al. Positioning and perception in LIDAR point clouds
CN115032651A (zh) 一种基于激光雷达与机器视觉融合的目标检测方法
DE102021132853A1 (de) Auf deep learning basierende kamerakalibrierung
Li et al. Automatic parking slot detection based on around view monitor (AVM) systems
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN116189138A (zh) 一种基于车路协同的视野盲区行人检测算法
Madake et al. Visualization of 3D Point Clouds for Vehicle Detection Based on LiDAR and Camera Fusion
Ma et al. Disparity estimation based on fusion of vision and LiDAR
Franke et al. Towards optimal stereo analysis of image sequences
Tang et al. Environmental perception for intelligent vehicles
John et al. Sensor fusion and registration of lidar and stereo camera without calibration objects
CN114972541B (zh) 基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法
CN111414848B (zh) 一种全类别3d障碍物检测方法、系统和介质
CN117152199B (zh) 一种动态目标运动矢量估计方法、系统、设备及存储介质
US20240096109A1 (en) Automatic lane marking extraction and classification from lidar scans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination