CN115116034A - 一种夜间行人检测方法、装置及系统 - Google Patents

一种夜间行人检测方法、装置及系统 Download PDF

Info

Publication number
CN115116034A
CN115116034A CN202210701257.4A CN202210701257A CN115116034A CN 115116034 A CN115116034 A CN 115116034A CN 202210701257 A CN202210701257 A CN 202210701257A CN 115116034 A CN115116034 A CN 115116034A
Authority
CN
China
Prior art keywords
detection
night
visual
detection frame
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210701257.4A
Other languages
English (en)
Inventor
郭枰
屈操
陶烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Weifu High Technology Group Co Ltd
Original Assignee
Wuxi Weifu High Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Weifu High Technology Group Co Ltd filed Critical Wuxi Weifu High Technology Group Co Ltd
Priority to CN202210701257.4A priority Critical patent/CN115116034A/zh
Publication of CN115116034A publication Critical patent/CN115116034A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明涉及智能驾驶技术领域，具体公开了一种夜间行人检测方法，其中，包括：分别获取夜间目标道路的实时视觉图像信息和实时点云信息，其中视觉图像信息为标定后的红外视觉检测装置实时采集到的夜间目标道路的图像信息，点云信息为标定后的毫米波雷达装置实时采集到的夜间目标道路的点云信息；对实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，以及对实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框；将雷达检测框与视觉检测框进行融合，根据融合结果确定夜间行人的检测结果。本发明还提供了一种夜间行人检测装置及夜间行人检测系统。本发明提供的夜间行人检测方法能够提高黑暗环境下的检测精度。

Description

一种夜间行人检测方法、装置及系统
技术领域
本发明涉及智能驾驶技术领域，尤其涉及一种夜间行人检测方法、夜间行人检测装置及夜间行人检测系统。
背景技术
随着近年来自动驾驶技术逐渐兴起，人们对该技术的需求也越来越多，而安全驾驶作为智能汽车基本的组成部分，起着重要的作用。尤其是在夜间行车的时候，人可能无法主观判断出在黑暗中是否有潜在的行人横穿，或其他运动的物体。而环境感知技术作为自动驾驶系统的重要组成部分，就可以有效地解决此类问题。一般的环境感知包括摄像头、激光雷达、毫米波雷达、超声波雷达等传感器技术，这些传感器可以有效地检测相应目标的各种信息，如类别、速度、距离、角度、高度等，且各有优势。
而常见的道路检测系统使用的是摄像头，或者摄像头与雷达相结合。摄像头用来对前方目标进行检测、提供该目标的类别距离速度等信息，但距离速度存在误差，且摄像头不利于在雨雪等恶劣天气工作。而摄像与雷达融合的技术，摄像头主要用于识别道路上前方目标的种类，而雷达主要用来检测距离速度等高精度信息，以此来达到信息融合，可以有效地检测出前方危险的目标的各种信息，从而做出紧急制动，避免危险。
现有技术如摄像头受雨雪，光线等因素影响、激光雷达造价较高，3d毫米波雷达精度较低。在黑暗环境下可能会造成漏检，会造成一定的安全隐患。因此，如何能够提高黑暗环境下的检测精度成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种夜间行人检测方法、夜间行人检测装置及夜间行人检测系统，解决相关技术中存在的黑暗环境下检测精度低的问题。
作为本发明的第一个方面，提供一种夜间行人检测方法，其中，包括：
分别获取夜间目标道路的实时视觉图像信息和实时点云信息，其中所述视觉图像信息为标定后的红外视觉检测装置实时采集到的夜间目标道路的图像信息，所述点云信息为标定后的毫米波雷达装置实时采集到的夜间目标道路的点云信息；
对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，以及对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框；
将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果。
进一步地，对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，包括：
根据夜间行人的红外图像训练数据集进行训练，得到夜间行人检测模型；
将所述实时视觉图像信息输入所述夜间行人检测模型，得到所述视觉检测框。
进一步地，包括：
根据追踪算法对所述视觉检测框进行平滑处理。
进一步地，对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框，包括：
对所述实时点云信息进行聚类处理得到多个点云簇；
对每个点云簇进行目标跟踪算法处理，得到每个点云簇的航迹；
根据每个点云簇的航迹与聚类结果获得雷达检测框。
进一步地，根据每个点云簇的航迹与聚类结果获得雷达检测框，包括：
根据所述实时点云信息的体积以及每个点云簇的航迹生成雷达目标检测框列表；
对所述雷达目标检测框列表进行抗干扰处理，得到所述雷达检测框。
进一步地，将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果，包括：
将所述雷达检测框映射到所述视觉检测框所在的摄像头坐标系下；
分别遍历所述雷达检测框与所述视觉检测框，以确定所述雷达检测框与所述视觉检测框均检测到相同目标；
当所述雷达检测框与所述视觉检测框均检测到相同目标时，将所述雷达检测框对目标的检测信息与所述视觉检测框对目标的检测信息进行融合。
进一步地，分别遍历所述雷达检测框与所述视觉检测框，以确定所述雷达检测框与所述视觉检测框均检测到相同目标，包括：
遍历雷达目标检测框列表中的检测框，得到检测框第一遍历结果；
遍历视觉目标检测框列表中的检测框，得到检测框第二遍历结果，其中所述雷达目标检测框列表的框元素和所述视觉目标检测框列表的框元素相同；
计算所述检测框第一遍历结果与所述检测框第二遍历结果的目标重合率；
若所述目标重合率大于第一预设阈值，则确定所述雷达检测框与所述视觉检测框均检测到相同目标，其中所述目标包括夜间行人；
若所述目标重合率不大于第一预设阈值，则计算所述检测框第一遍历结果与所述检测框第二遍历结果的属性匹配度；
若所述属性匹配度大于第二预设阈值，则确定所述雷达检测框与所述视觉检测框均检测到相同目标；
若所述属性匹配度不大于第二预设阈值，则确定所述毫米波雷达装置和红外视觉检测装置两者至少之一存在误差，并输出两者的所有检测结果。
进一步地，在所述分别获取夜间目标道路的实时视觉图像信息和实时点云信息的步骤前进行的：
对所述毫米波雷达装置和所述红外视觉检测装置进行空间坐标匹配，以实现所述毫米波雷达装置和所述红外视觉检测装置的标定。
作为本发明的另一个方面，提供一种夜间行人检测装置，用于实现前文所述的夜间行人检测方法，其中，包括：
获取模块，用于分别获取夜间目标道路的实时视觉图像信息和实时点云信息，其中所述视觉图像信息为标定后的红外视觉检测装置实时采集到的夜间目标道路的图像信息，所述点云信息为标定后的毫米波雷达装置实时采集到的夜间目标道路的点云信息；
处理模块，用于对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，以及对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框；
融合模块，用于将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果。
作为本发明的另一个方面，提供一种夜间行人检测系统，其中，包括：红外视觉检测装置、毫米波雷达装置和前文所述的夜间行人检测装置，所述红外视觉检测装置和毫米波雷达装置均与所述夜间行人检测装置通信连接，所述红外视觉检测装置用于实时采集夜间目标道路的图像信息，所述毫米波雷达装置用于实时采集夜间目标道路的点云信息，所述夜间行人检测装置用于根据所述夜间目标道路的图像信息和夜间目标道路的点云信息进行融合处理，得到夜间行人的检测结果。
本发明提供的夜间行人检测方法，通过毫米波雷达装置与红外视觉检测装置的融合获得夜间行人的检测结果，从而能够实现有效预警与干预。由于毫米波雷达装置比激光雷达成本低，且不受天气影响，而红外视觉检测装置不受黑暗影响能够高准确率的分类信息，因此本发明提供的这种夜间行人检测方法将毫米波雷达装置与红外视觉检测装置两者信息融合能够有效提升夜间行人识别准确率。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明提供的夜间行人检测方法的流程图。
图2为本发明提供的汽车在世界坐标系下的示意图。
图3为本发明提供的雷达坐标系与摄像头坐标系的示意图。
图4为本发明提供的夜间行人检测方法的具体实施方式流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本实施例中提供了一种夜间行人检测方法，图1是根据本发明实施例提供的夜间行人检测方法的流程图，如图1所示，包括：
S100、分别获取夜间目标道路的实时视觉图像信息和实时点云信息，其中所述视觉图像信息为标定后的红外视觉检测装置实时采集到的夜间目标道路的图像信息，所述点云信息为标定后的毫米波雷达装置实时采集到的夜间目标道路的点云信息；
应当理解的是，毫米波雷达装置和红外视觉检测装置在进行数据采集前，均需要对两者进行空间坐标匹配。
具体地，对所述毫米波雷达装置和所述红外视觉检测装置进行空间坐标匹配，以实现所述毫米波雷达装置和所述红外视觉检测装置的标定。
在本发明实施例中，所述毫米波雷达装置具体可以为4d毫米波雷达，所述红外视觉检测装置具体可以为红外摄像头。
根据红外摄像头与4d毫米波雷达的安装位置、采样时间，进行空间的坐标匹配，使两传感器对前方目标位置感知一致，再进行时间戳匹配，使工作的频率相同，防止出现延迟。
在本发明实施例中， 以图2所示的世界坐标系示意图为例，其中汽车位于世界坐标系中，平行于车头的方向为X方向，垂直于车头的方向为Y方向，垂直于车顶的方向为Z方向。如图3所示，为本发明中4d毫米波雷达、红外摄像头位于雷达坐标系、红外摄像头坐标系的示意图。平行于车头的方向为X方向，垂直于车头的方向为Y方向，垂直于车顶的方向为Z方向，4d毫米波雷达0点位于车前鼻翼，红外摄像头0点位于前挡风玻璃上方。
S200、对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，以及对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框；
在本发明实施例中，针对目标夜间道路进行红外图像采集，然后针对红外图像采集的图像进行目标检测，生成视觉检测框；针对目标夜间道路通过4d毫米波雷达进行实时采集，生成点云信息，对点云信息进行聚类处理后得到雷达检测框。
S300、将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果。
在本发明实施例中，将前文获得的雷达检测框与视觉检测框进行融合，判断融合后目标重合率，如目标重合率大于设定阈值，则认为两者均检测到了同一目标，因此可以将红外摄像头与雷达信息融合后获得该目标行人的检测结果，即确定夜间行人的检测结果。
因此，本发明实施例提供的夜间行人检测方法，通过毫米波雷达装置与红外视觉检测装置的融合获得夜间行人的检测结果，从而能够实现有效预警与干预。由于毫米波雷达装置比激光雷达成本低，且不受天气影响，而红外视觉检测装置不受黑暗影响能够高准确率的分类信息，因此本发明提供的这种夜间行人检测方法将毫米波雷达装置与红外视觉检测装置两者信息融合能够有效提升夜间行人识别准确率。
在本发明实施例中，对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，包括：
S210、根据夜间行人的红外图像训练数据集进行训练，得到夜间行人检测模型；
具体地，针对红外摄像头的分类，采集大量训练数据，离线训练出能够识别出夜间行人的神经网络模型。
S220、将所述实时视觉图像信息输入所述夜间行人检测模型，得到所述视觉检测框。
具体地，在线对夜间目标道路进行红外图像采集，即视频检测，然后将每帧采集到的视觉图像信息均输入至训练好的神经网络模型中进行目标检测，生成视觉检测框及其对应的类别信息。
为了获得更加准确检测结果，根据追踪算法对所述视觉检测框进行平滑处理。
应当理解的是，根据追踪算法对所述视觉检测框进行平滑处理，可以得到最终的视觉检测框。在本发明实施例中，所述跟踪算法具体可以为卡尔曼滤波算法。
具体地，对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框，包括：
S230、对所述实时点云信息进行聚类处理得到多个点云簇；
在本发明实施例中，通过毫米波雷达实时采集目标夜间道路的点云信息。
优选地，对所述实时点云信息具体可以采用如DBSCAN聚类算法进行聚类处理，得到多个点云簇。
S240、对每个点云簇进行目标跟踪算法处理，得到每个点云簇的航迹；
具体地，通过聚类算法处理使点云集合成簇，并通过帧关联以及目标跟踪算法处理，生成每个点云簇的航迹。
在本发明实施例中，所述目标跟踪算法具体可以为卡尔曼滤波处理算法。
S250、根据每个点云簇的航迹与聚类结果获得雷达检测框。
进一步具体地，根据每个点云簇的航迹与聚类结果获得雷达检测框，包括：
根据所述实时点云信息的体积以及每个点云簇的航迹生成雷达目标检测框列表；
对所述雷达目标检测框列表进行抗干扰处理，得到所述雷达检测框。
在本发明实施例中，根据点云的体积信息，生成雷达目标检测框列表b[]，去除干扰框，如路沿等体积较大的点云。假如前方有两个动目标，目标框列表表示为：b[b1 b2]，b1表示目标1的框组，b2表示目标2的框组，b1内包含目标框的帧数，以及各帧的位置信息，如b1=[f,xb,yb,zb,x,y,z]，f代表帧数、xb代表位于空间中的x坐标，yb代表位于空间中的y坐标，zb代表位于空间中的z坐标。xyz代表框自己的长宽高。
具体地，将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果，包括：
S310、将所述雷达检测框映射到所述视觉检测框所在的摄像头坐标系下；
生成摄像头的视觉目标检测框列表a[]，视觉目标框列表与雷达生成的框元素相同。如a[a1,a2] a1=[f,xa,ya,za,x,y,z]。之后将雷达的目标检测框投影到摄像头坐标系下。
S320、分别遍历所述雷达检测框与所述视觉检测框，以确定所述雷达检测框与所述视觉检测框均检测到相同目标；
S330、当所述雷达检测框与所述视觉检测框均检测到相同目标时，将所述雷达检测框对目标的检测信息与所述视觉检测框对目标的检测信息进行融合。
在本发明实施例中，分别遍历所述雷达检测框与所述视觉检测框，以确定所述雷达检测框与所述视觉检测框均检测到相同目标，包括：
遍历雷达目标检测框列表中的检测框，得到检测框第一遍历结果；
遍历视觉目标检测框列表中的检测框，得到检测框第二遍历结果，其中所述雷达目标检测框列表的框元素和所述视觉目标检测框列表的框元素相同；
计算所述检测框第一遍历结果与所述检测框第二遍历结果的目标重合率；
若所述目标重合率大于第一预设阈值，则确定所述雷达检测框与所述视觉检测框均检测到相同目标，其中所述目标包括夜间行人；
若所述目标重合率不大于第一预设阈值，则计算所述检测框第一遍历结果与所述检测框第二遍历结果的属性匹配度；
若所述属性匹配度大于第二预设阈值，则确定所述雷达检测框与所述视觉检测框均检测到相同目标；
若所述属性匹配度不大于第二预设阈值，则确定所述毫米波雷达装置和红外视觉检测装置两者至少之一存在误差，并输出两者的所有检测结果。
在本发明实施例中，所述属性匹配度具体可以为速度、高度、距离等特征。
如图4所示，将摄像头检测框列表a[]中的检测框与雷达检测框列表b[]的检测框进行遍历，如果有两组检测框重合率>x%（如a[a1,a2]，b[b1,b2]中，a1与b1重合率>x%）则判定两者检测到了同一个目标，进行S13，若重合率≤x%，则进入S12，即进入遍历摄像头、雷达检测框内的属性：若距离高度速度的匹配率>y%，则匹配成功进入S13，否则进入S14。
其中，步骤S13，将雷达检测的信息，距离速度角度等，赋给摄像头检测出的目标。步骤S14，摄像头雷达之一存在漏检或较大误差，输出所有的传感器信息，如a[a1,a2] b[b1,b2]（理想情况下能互相匹配，则输出两个目标a1+b1 与 a2+b2）若都不能匹配，则输出全部四个目标[a1,b1,a2,b2]的信息。步骤S15，结束。
综上，本发明实施例提供的夜间行人检测方法，通过摄像头的目标检测框，与雷达输出的点云进行融合匹配，利用4d毫米波雷达具有的高度特征，检测出3维点云的目标检测框，与摄像头目标检测算法的目标检测框的进行重叠，根据两框的重叠率判断两传感器是否检测出了同一个目标。由于4d毫米波雷达进行夜间行人检测，相比于传统3d雷达点云信息更丰富，且拥有高度信息，不受天气、光线、地面影响，抗干扰性好、稳定性高、鲁棒性强；利用4d雷达的点云体积形成的检测框，与摄像头形成的检测框，通过两框重叠的百分比判断是否成功融合。现有3d雷达检测到一个目标只聚类成一个点云，融合精度差。且不具备高度维度，也不具备使用框重叠方法作为判断依据；通过信息融合，利用4d毫米波雷达的高精度测距测高，结合摄像头的高精度分类，使检测出的信息精度更高。
作为本发明的另一实施例，提供一种夜间行人检测装置，用于实现前文所述的夜间行人检测方法，其中，包括：
获取模块，用于分别获取夜间目标道路的实时视觉图像信息和实时点云信息，其中所述视觉图像信息为标定后的红外视觉检测装置实时采集到的夜间目标道路的图像信息，所述点云信息为标定后的毫米波雷达装置实时采集到的夜间目标道路的点云信息；
处理模块，用于对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，以及对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框；
融合模块，用于将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果。
关于本发明实施例提供的夜间行人检测装置的具体工作原理可以参照前文的夜间行人检测方法的描述，此处不再赘述。
作为本发明的另一实施例，提供一种夜间行人检测系统，其中，包括：红外视觉检测装置、毫米波雷达装置和前文所述的夜间行人检测装置，所述红外视觉检测装置和毫米波雷达装置均与所述夜间行人检测装置通信连接，所述红外视觉检测装置用于实时采集夜间目标道路的图像信息，所述毫米波雷达装置用于实时采集夜间目标道路的点云信息，所述夜间行人检测装置用于根据所述夜间目标道路的图像信息和夜间目标道路的点云信息进行融合处理，得到夜间行人的检测结果。
在本发明实施例中，所述毫米波雷达装置具体可以为4d毫米波雷达，所述红外视觉检测装置具体可以为红外摄像头。
关于本发明实施例提供的夜间行人检测系统的具体工作原理可以参照前文的夜间行人检测方法的描述，此处不再赘述。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种夜间行人检测方法，其特征在于，包括：
分别获取夜间目标道路的实时视觉图像信息和实时点云信息，其中所述视觉图像信息为标定后的红外视觉检测装置实时采集到的夜间目标道路的图像信息，所述点云信息为标定后的毫米波雷达装置实时采集到的夜间目标道路的点云信息；
对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，以及对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框；
将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果。
2.根据权利要求1所述的方法，其特征在于，对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，包括：
根据夜间行人的红外图像训练数据集进行训练，得到夜间行人检测模型；
将所述实时视觉图像信息输入所述夜间行人检测模型，得到所述视觉检测框。
3.根据权利要求2所述的方法，其特征在于，包括：
根据追踪算法对所述视觉检测框进行平滑处理。
4.根据权利要求1所述的方法，其特征在于，对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框，包括：
对所述实时点云信息进行聚类处理得到多个点云簇；
对每个点云簇进行目标跟踪算法处理，得到每个点云簇的航迹；
根据每个点云簇的航迹与聚类结果获得雷达检测框。
5.根据权利要求4所述的方法，其特征在于，根据每个点云簇的航迹与聚类结果获得雷达检测框，包括：
根据所述实时点云信息的体积以及每个点云簇的航迹生成雷达目标检测框列表；
对所述雷达目标检测框列表进行抗干扰处理，得到所述雷达检测框。
6.根据权利要求1所述的方法，其特征在于，将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果，包括：
将所述雷达检测框映射到所述视觉检测框所在的摄像头坐标系下；
分别遍历所述雷达检测框与所述视觉检测框，以确定所述雷达检测框与所述视觉检测框均检测到相同目标；
当所述雷达检测框与所述视觉检测框均检测到相同目标时，将所述雷达检测框对目标的检测信息与所述视觉检测框对目标的检测信息进行融合。
7.根据权利要求6所述的方法，其特征在于，分别遍历所述雷达检测框与所述视觉检测框，以确定所述雷达检测框与所述视觉检测框均检测到相同目标，包括：
遍历雷达目标检测框列表中的检测框，得到检测框第一遍历结果；
遍历视觉目标检测框列表中的检测框，得到检测框第二遍历结果，其中所述雷达目标检测框列表的框元素和所述视觉目标检测框列表的框元素相同；
计算所述检测框第一遍历结果与所述检测框第二遍历结果的目标重合率；
若所述目标重合率大于第一预设阈值，则确定所述雷达检测框与所述视觉检测框均检测到相同目标，其中所述目标包括夜间行人；
若所述目标重合率不大于第一预设阈值，则计算所述检测框第一遍历结果与所述检测框第二遍历结果的属性匹配度；
若所述属性匹配度大于第二预设阈值，则确定所述雷达检测框与所述视觉检测框均检测到相同目标；
若所述属性匹配度不大于第二预设阈值，则确定所述毫米波雷达装置和红外视觉检测装置两者至少之一存在误差，并输出两者的所有检测结果。
8.根据权利要求1所述的方法，其特征在于，在所述分别获取夜间目标道路的实时视觉图像信息和实时点云信息的步骤前进行的：
对所述毫米波雷达装置和所述红外视觉检测装置进行空间坐标匹配，以实现所述毫米波雷达装置和所述红外视觉检测装置的标定。
9.一种夜间行人检测装置，用于实现权利要求1至8中任意一项所述的夜间行人检测方法，其特征在于，包括：
获取模块，用于分别获取夜间目标道路的实时视觉图像信息和实时点云信息，其中所述视觉图像信息为标定后的红外视觉检测装置实时采集到的夜间目标道路的图像信息，所述点云信息为标定后的毫米波雷达装置实时采集到的夜间目标道路的点云信息；
处理模块，用于对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，以及对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框；
融合模块，用于将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果。
10.一种夜间行人检测系统，其特征在于，包括：红外视觉检测装置、毫米波雷达装置和权利要求9所述的夜间行人检测装置，所述红外视觉检测装置和毫米波雷达装置均与所述夜间行人检测装置通信连接，所述红外视觉检测装置用于实时采集夜间目标道路的图像信息，所述毫米波雷达装置用于实时采集夜间目标道路的点云信息，所述夜间行人检测装置用于根据所述夜间目标道路的图像信息和夜间目标道路的点云信息进行融合处理，得到夜间行人的检测结果。
CN202210701257.4A 2022-06-21 2022-06-21 一种夜间行人检测方法、装置及系统 Pending CN115116034A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210701257.4A CN115116034A (zh) 2022-06-21 2022-06-21 一种夜间行人检测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210701257.4A CN115116034A (zh) 2022-06-21 2022-06-21 一种夜间行人检测方法、装置及系统

Publications (1)

Publication Number Publication Date
CN115116034A true CN115116034A (zh) 2022-09-27

Family

ID=83327828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210701257.4A Pending CN115116034A (zh) 2022-06-21 2022-06-21 一种夜间行人检测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN115116034A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116148801A (zh) * 2023-04-18 2023-05-23 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116148801A (zh) * 2023-04-18 2023-05-23 深圳市佰誉达科技有限公司 一种基于毫米波雷达的目标检测方法及系统

Similar Documents

Publication Publication Date Title
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN112693466A (zh) 一种车辆环境感知传感器性能测评系统及方法
CN101915672B (zh) 车道偏离报警系统的测试装置及测试方法
CN111753797B (zh) 一种基于视频分析的车辆测速方法
CN112562405A (zh) 一种雷达视频智能融合与预警方法及系统
KR102195164B1 (ko) 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
CN103176185A (zh) 用于检测道路障碍物的方法及系统
CN111192295A (zh) 目标检测与跟踪方法、相关设备和计算机可读存储介质
CN113111887A (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN113253257B (zh) 一种基于多毫米波雷达和视觉的露天矿障碍物检测方法
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN112379674B (zh) 一种自动驾驶设备及系统
CN112835030A (zh) 一种障碍物目标的数据融合方法、装置及智能汽车
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
CN201812368U (zh) 车道偏离报警系统的测试装置
CN115690713A (zh) 一种基于双目相机的雷视融合事件检测方法
CN115116034A (zh) 一种夜间行人检测方法、装置及系统
CN113432615B (zh) 基于多传感器融合可驾驶区域的检测方法、系统和车辆
CN114296095A (zh) 自动驾驶车辆的有效目标提取方法、装置、车辆及介质
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN112085101A (zh) 一种高性能高可靠的环境融合感知方法及系统
CN111959515A (zh) 一种基于视觉检测的前向目标选择方法、装置及系统
CN116994217A (zh) 基于多源传感器的车道线检测方法及相关设备
CN114842643B (zh) 视频车辆检测模型在线更新方法、装置及雷视融合系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination