CN115100251A - 一种基于热像仪和激光雷达的车前行人检测方法及终端 - Google Patents
一种基于热像仪和激光雷达的车前行人检测方法及终端 Download PDFInfo
- Publication number
- CN115100251A CN115100251A CN202210746811.0A CN202210746811A CN115100251A CN 115100251 A CN115100251 A CN 115100251A CN 202210746811 A CN202210746811 A CN 202210746811A CN 115100251 A CN115100251 A CN 115100251A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- thermal
- vehicle
- point cloud
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims description 15
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 8
- 240000007651 Rubus glaucus Species 0.000 description 7
- 235000011034 Rubus glaucus Nutrition 0.000 description 7
- 235000009122 Rubus idaeus Nutrition 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003014 reinforcing effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提供一种基于热像仪和激光雷达的车前行人检测方法及终端，包括：分别获取部署在车辆外侧顶端的热像仪的图像坐标系和激光雷达的点云坐标系，并将激光雷达的点云坐标系转换到热像仪的图像坐标系中，使得同一视野内的点云图像与热像图逐像素配准；利用热像仪预先采集的图像集基于神经网络算法训练得到行人识别模型；启动热像仪和激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至行人识别模型中，由行人识别模型判断热像图中是否存在行人，若存在行人则读取行人在点云数据中的坐标点，得到行人与当前车辆的距离并显示在车载显示屏中。本发明可协助驾驶员实时检测车辆驾驶过程中前方是否存在行人，增强行驶安全性，降低事故率。
Description
技术领域
本发明涉及车辆安全驾驶技术领域，尤其是涉及一种基于热像仪和激光雷达的车前行人检测方法及终端。
背景技术
随着汽车交通运输业和汽车工业的高速发展，我国的汽车保有量正在不断攀升，交通安全出行也成为人们日常生活的一部分。在越发复杂的交通环境中，尤其是夜晚这种能见度很低、容易引起驾驶疲劳的驾驶场景，保证车辆的安全驾驶显得尤为重要。
因此，如何在夜晚的驾驶过程中及时发现车辆前方的行人，并判断行人的距离，成为一个亟待解决的问题。
发明内容
本发明所要解决的技术问题是：提供一种基于热像仪和激光雷达的车前行人检测方法及终端，协助驾驶员驾驶车辆，增强行驶的安全性，有效降低事故率。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于热像仪和激光雷达的车前行人检测方法，包括步骤：
S1、分别获取部署在车辆外侧顶端的热像仪的图像坐标系和激光雷达的点云坐标系，并将所述激光雷达的点云坐标系转换到热像仪的图像坐标系中，使得同一视野内的点云图像与热像图逐像素配准；
S2、利用所述热像仪预先采集的图像集基于神经网络算法训练得到行人识别模型；
S3、启动所述热像仪和所述激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至所述行人识别模型中，由所述行人识别模型判断热像图中是否存在行人，若存在行人则读取行人在点云数据中的坐标点，得到行人与当前车辆的距离并显示在车载显示屏中。
为了解决上述技术问题，本发明采用的另一个技术方案为：
一种基于热像仪和激光雷达的车前行人检测终端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：
S1、分别获取部署在车辆外侧顶端的热像仪的图像坐标系和激光雷达的点云坐标系，并将所述激光雷达的点云坐标系转换到热像仪的图像坐标系中，使得同一视野内的点云图像与热像图逐像素配准；
S2、利用所述热像仪预先采集的图像集基于神经网络算法训练得到行人识别模型；
S3、启动所述热像仪和所述激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至所述行人识别模型中，由所述行人识别模型判断热像图中是否存在行人，若存在行人则读取行人在点云数据中的坐标点，得到行人与当前车辆的距离并显示在车载显示屏中。
本发明的有益效果在于：本发明提供一种基于热像仪和激光雷达的车前行人检测方法及终端，通过在车辆外侧顶部部署热像仪和激光雷达，分别采集车辆前方的热像图和点云数据，结合行人热像图集训练得到的行人识别模型，实现对车辆前方行人的实时监测，并通过将点云数据的坐标转换到热像图坐标下，从而实现识别到的行人与车辆的距离的计算，并显示在车载显示屏中，协助驾驶员驾驶车辆，增强行驶的安全性，有效降低事故率。
附图说明
图1为本发明实施例的一种基于热像仪和激光雷达的车前行人检测方法的整体流程图；
图2为本发明实施例的一种基于热像仪和激光雷达的车前行人检测方法的具体流程图；
图3为本发明实施例的一种基于热像仪和激光雷达的车前行人检测终端的结构示意图。
标号说明：
1、一种基于热像仪和激光雷达的车前行人检测终端；2、存储器；3、处理器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1及图2，一种基于热像仪和激光雷达的车前行人检测方法，包括步骤：
S1、分别获取部署在车辆外侧顶端的热像仪的图像坐标系和激光雷达的点云坐标系，并将所述激光雷达的点云坐标系转换到热像仪的图像坐标系中，使得同一视野内的点云图像与热像图逐像素配准；
S2、利用所述热像仪预先采集的图像集基于神经网络算法训练得到行人识别模型；
S3、启动所述热像仪和所述激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至所述行人识别模型中，由所述行人识别模型判断热像图中是否存在行人，若存在行人则读取行人在点云数据中的坐标点，得到行人与当前车辆的距离并显示在车载显示屏中。
由上述描述可知，本发明的有益效果在于：通过在车辆外侧顶部部署热像仪和激光雷达，分别采集车辆前方的热像图和点云数据，结合行人热像图集训练得到的行人识别模型，实现对车辆前方行人的实时监测，并通过将点云数据的坐标转换到热像图坐标下，从而实现识别到的行人与车辆的距离的计算，并显示在车载显示屏中，协助驾驶员驾驶车辆，增强行驶的安全性，有效降低事故率。
进一步地，所述步骤S1具体为：
预先开启部署在车辆外侧顶端的所述热像仪和所述激光雷达，获取所述热像仪的热像图和所述激光雷达的点云数据，将点云数据的坐标系转换到热像图的坐标系中，使得同一视野内的点云图像的每个坐标点与热像图的每个坐标点配准，转换公式为：
Y＝R*(R|T)*X；
其中，R为所述热像仪的内参矩阵，(R|T)为所述激光雷达到相机的转换矩阵，X为所述激光雷达的坐标点。
由上述描述可知，将激光雷达的点云坐标系转换到热像仪的图像坐标系下，使的两个设备采集到同一视野内的图像像素配置，以便后续通过热像仪确定行人，通过激光雷达确定行人的距离，从而便于在显示屏上标记行人及其距离，进一步协助驾驶员驾驶车辆，提高行驶安全性。
进一步地，所述神经网络算法为yolov4算法，所述步骤S2具体为：
S21、利用所述热像仪预先采集不同场景下的车辆前方的行人热像图，并对所述行人热像图进行归一化预处理；
S22、将归一化预处理后的所述行人热像图按照7:2:1的比例随机划分为训练集、验证集和测试集，并将所述训练集、所述验证集和所述测试集输入到yolov4算法中；
S23、调整所述yolov4算法的深度、训练批次和自适应学习率参数，采用所述训练集训练所述yolov4算法，拟合得到多个模型，然后采用验证集验证多个模型的准确率，选出最佳的模型作为行人识别模型，最后采用所述测试集对所述行人识别模型进行预测，修正所述行人模型的精度和运算速度。
由上述描述可知，通过yolov4神经网络对热像仪采集到的行人热像图进行行人识别模型训练，后续直接通过行人模型对热像仪实时拍摄的热像图进行行人识别，快速准确，进一步辅助驾驶员及时知晓车辆前方行人的所在和距离，提高驾驶安全性。
进一步地，所述步骤S3具体为：
S31、启动所述热像仪和所述激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至所述行人识别模型中；
S32、先利用所述行人识别模型对所述热像仪实时采集到的热像图进行逐帧识别，判断车辆前方是否存在行人，若不存在行人，则继续识别下一帧热像图，若存在行人，则在这一帧热像图上标记出行人所在的区域，并执行步骤S43；
S33、根据所述转换公式，获取热像图中行人所在的区域的坐标点，对应到这一帧的所述激光雷达采集到的点云数据中，读取所述坐标点与当前车辆距离的雷达数据，得到行人与当前车辆的距离，并在所述车载显示屏中显示的热像图中标出。
由上述描述可知，先通过行人识别模型对热像仪实时拍摄的热像图进行逐帧的行人识别，若未识别到行人，则不做处理，只有识别到行人后才对需要对激光雷达采集到的对应帧下的点云数据进行行人的坐标点获取，从而得到行人距离当前车辆的距离，从而减小图像数据处理的时间，提高行人识别及其距离计算的效率，为驾驶员及时提供车辆前方行人的准确位置和准确距离。
进一步地，所述步骤S3之后还包括步骤：
S4、预设安全距离及其阈值，当所述步骤S4中得到的行人与当前车辆的距离达到所述安全距离的所述阈值时，启动车载蜂鸣器进行报警。
由上述描述可知，在车辆内部增加车载蜂鸣器，可在车辆驾驶过程中对车辆前方行人与当前车辆的距离超过安全距离的阈值时及时示警，进一步辅助驾驶员安全驾驶，使驾驶员能有充分的时间进行规避，避免交通事故的发生。
请参照图3，一种基于热像仪和激光雷达的车前行人检测终端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：
S1、分别获取部署在车辆外侧顶端的热像仪的图像坐标系和激光雷达的点云坐标系，并将所述激光雷达的点云坐标系转换到热像仪的图像坐标系中，使得同一视野内的点云图像与热像图逐像素配准；
S2、利用所述热像仪预先采集的图像集基于神经网络算法训练得到行人识别模型；
S3、启动所述热像仪和所述激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至所述行人识别模型中，由所述行人识别模型判断热像图中是否存在行人，若存在行人则读取行人在点云数据中的坐标点，得到行人与当前车辆的距离并显示在车载显示屏中。
由上述描述可知，本发明的有益效果在于：基于同一技术构思，配合上述的一种基于热像仪和激光雷达的车前行人检测方法，提供一种基于热像仪和激光雷达的车前行人检测终端，通过在车辆外侧顶部部署热像仪和激光雷达，分别采集车辆前方的热像图和点云数据，结合行人热像图集训练得到的行人识别模型，实现对车辆前方行人的实时监测，并通过将点云数据的坐标转换到热像图坐标下，从而实现识别到的行人与车辆的距离的计算，并显示在车载显示屏中，协助驾驶员驾驶车辆，增强行驶的安全性，有效降低事故率。
进一步地，所述步骤S1具体为：
预先开启部署在车辆外侧顶端的所述热像仪和所述激光雷达，获取所述热像仪的热像图和所述激光雷达的点云数据，将点云数据的坐标系转换到热像图的坐标系中，使得同一视野内的点云图像的每个坐标点与热像图的每个坐标点配准，转换公式为：
Y＝R*(R|T)*X；
其中，R为所述热像仪的内参矩阵，(R|T)为所述激光雷达到相机的转换矩阵，X为所述激光雷达的坐标点。
由上述描述可知，将激光雷达的点云坐标系转换到热像仪的图像坐标系下，使的两个设备采集到同一视野内的图像像素配置，以便后续通过热像仪确定行人，通过激光雷达确定行人的距离，从而便于在显示屏上标记行人及其距离，进一步协助驾驶员驾驶车辆，提高行驶安全性。
进一步地，所述神经网络算法为yolov4算法，所述步骤S2具体为：
S21、利用所述热像仪预先采集不同场景下的车辆前方的行人热像图，并对所述行人热像图进行归一化预处理；
S22、将归一化预处理后的所述行人热像图按照7:2:1的比例随机划分为训练集、验证集和测试集，并将所述训练集、所述验证集和所述测试集输入到yolov4算法中；
S23、调整所述yolov4算法的深度、训练批次和自适应学习率参数，采用所述训练集训练所述yolov4算法，拟合得到多个模型，然后采用验证集验证多个模型的准确率，选出最佳的模型作为行人识别模型，最后采用所述测试集对所述行人识别模型进行预测，修正所述行人模型的精度和运算速度。
由上述描述可知，通过yolov4神经网络对热像仪采集到的行人热像图进行行人识别模型训练，后续直接通过行人模型对热像仪实时拍摄的热像图进行行人识别，快速准确，进一步辅助驾驶员及时知晓车辆前方行人的所在和距离，提高驾驶安全性。
进一步地，所述步骤S3具体为：
S31、启动所述热像仪和所述激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至所述行人识别模型中；
S32、先利用所述行人识别模型对所述热像仪实时采集到的热像图进行逐帧识别，判断车辆前方是否存在行人，若不存在行人，则继续识别下一帧热像图，若存在行人，则在这一帧热像图上标记出行人所在的区域，并执行步骤S43；
S33、根据所述转换公式，获取热像图中行人所在的区域的坐标点，对应到这一帧的所述激光雷达采集到的点云数据中，读取所述坐标点与当前车辆距离的雷达数据，得到行人与当前车辆的距离，并在所述车载显示屏中显示的热像图中标出。
由上述描述可知，先通过行人识别模型对热像仪实时拍摄的热像图进行逐帧的行人识别，若未识别到行人，则不做处理，只有识别到行人后才对需要对激光雷达采集到的对应帧下的点云数据进行行人的坐标点获取，从而得到行人距离当前车辆的距离，从而减小图像数据处理的时间，提高行人识别及其距离计算的效率，为驾驶员及时提供车辆前方行人的准确位置和准确距离。
进一步地，所述步骤S3之后还包括步骤：
S4、预设安全距离及其阈值，当所述步骤S4中得到的行人与当前车辆的距离达到所述安全距离的所述阈值时，启动车载蜂鸣器进行报警。
由上述描述可知，在车辆内部增加车载蜂鸣器，可在车辆驾驶过程中对车辆前方行人与当前车辆的距离超过安全距离的阈值时及时示警，进一步辅助驾驶员安全驾驶，使驾驶员能有充分的时间进行规避，避免交通事故的发生。
本发明提供的一种基于热像仪和激光雷达的车前行人检测方法及终端，适用于驾驶员驾驶车辆过程中，尤其是在夜晚驾驶时对车辆前方的行人进行及时识别和距离精确测量，以辅助驾驶员安全驾驶，以下结合实施例具体说明。
请参照图1，本发明的实施例一为：
一种基于热像仪和激光雷达的车前行人检测方法，如图1所示，包括步骤：
S1、分别获取部署在车辆外侧顶端的热像仪的图像坐标系和激光雷达的点云坐标系，并将激光雷达的点云坐标系转换到热像仪的图像坐标系中，使得同一视野内的点云图像与热像图逐像素配准。
S2、利用热像仪预先采集的图像集基于神经网络算法训练得到行人识别模型。
S3、启动热像仪和激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至行人识别模型中，由行人识别模型判断热像图中是否存在行人，若存在行人则读取行人在点云数据中的坐标点，得到行人与当前车辆的距离并显示在车载显示屏中。
即在本实施例中，通过在车辆外侧顶部部署热像仪和激光雷达，分别采集车辆前方的热像图和点云数据，结合行人热像图集训练得到的行人识别模型，实现对车辆前方行人的实时监测，并通过将点云数据的坐标转换到热像图坐标下，从而实现识别到的行人与车辆的距离的计算，并显示在车载显示屏中，协助驾驶员驾驶车辆，增强行驶的安全性，有效降低事故率。同时，在本实施例中，可以在车辆内部设置一个中央处理控制器，例如树莓派等，并采用千兆网线将树莓派、车载显示屏、热像仪和激光雷达连接在同一个网络下，实现各设备之间的通信传输，比如热像仪和激光雷达采集到的热像图和点云数据传输至树莓派中、行人识别模型在树莓派中进行训练以及树莓派将识别到行人的热像图发送至车载显示屏中进行显示并标出其行人距离等。在其他等同实施例中，可不局限于采用树莓派作为中央处理控制器器实现热像仪、激光雷达和显示屏之间的数据传输和处理，还可以使用其他的处理器。
请参照图2，本发明的实施例二为：
一种基于热像仪和激光雷达的车前行人检测方法，在上述实施例一的基础上，在本实施例中，步骤S1具体为：
预先开启部署在车辆外侧顶端的热像仪和激光雷达，获取热像仪的热像图和激光雷达的点云数据，将点云数据的坐标系转换到热像图的坐标系中，使得同一视野内的点云图像的每个坐标点与热像图的每个坐标点配准，转换公式为：
Y＝R*(R|T)*X；
其中，R为热像仪的内参矩阵，(R|T)为激光雷达到相机的转换矩阵，X为激光雷达的坐标点。
即在本实施例中，可以预先开启一次激光雷达和热像仪，以获取激光雷达的点云坐标系和热像仪的图像坐标系，然后将激光雷达的点云坐标系转换到热像仪的图像坐标系下，使的两个设备采集到同一视野内的图像像素配置，以便后续通过热像仪确定行人，通过激光雷达确定行人的距离，从而便于在显示屏上标记行人及其距离，进一步协助驾驶员驾驶车辆，提高行驶安全性。
其中，在本实施例中，步骤S2中的神经网络算法为yolov4算法，则步骤S2具体为：
S21、利用热像仪预先采集不同场景下的车辆前方的行人热像图，并对行人热像图进行归一化预处理；
S22、将归一化预处理后的行人热像图按照7:2:1的比例随机划分为训练集、验证集和测试集，并将训练集、验证集和测试集输入到yolov4算法中；
S23、调整yolov4算法的深度、训练批次和自适应学习率参数，采用训练集训练yolov4算法，拟合得到多个模型，然后采用验证集验证多个模型的准确率，选出最佳的模型作为行人识别模型，最后采用测试集对行人识别模型进行预测，修正行人模型的精度和运算速度。
即通过yolov4神经网络对热像仪采集到的行人热像图进行行人识别模型训练，后续直接通过行人模型对热像仪实时拍摄的热像图进行行人识别，快速准确，进一步辅助驾驶员及时知晓车辆前方行人的所在和距离，提高驾驶安全性。
其中，步骤S3具体为：
S31、启动热像仪和激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至行人识别模型中；
S32、先利用行人识别模型对热像仪实时采集到的热像图进行逐帧识别，判断车辆前方是否存在行人，若不存在行人，则继续识别下一帧热像图，若存在行人，则在这一帧热像图上标记出行人所在的区域，并执行步骤S43；
S33、根据转换公式，获取热像图中行人所在的区域的坐标点，对应到这一帧的激光雷达采集到的点云数据中，读取坐标点与当前车辆距离的雷达数据，得到行人与当前车辆的距离，并在车载显示屏中显示的热像图中标出。
即将激光雷达和热像仪实时拍摄的两种图像：点云图像和热像图通过千兆网线传输到树莓派中，先通过行人识别模型对热像仪实时拍摄的热像图进行逐帧的行人识别，若未识别到行人，则不做处理，只有识别到行人后才对需要对激光雷达采集到的对应帧下的点云数据进行行人的坐标点获取，从而得到行人距离当前车辆的距离，从而减小图像数据处理的时间，提高行人识别及其距离计算的效率，为驾驶员及时提供车辆前方行人的准确位置和准确距离。
另外，在本实施例中，还可以在车辆内部部署车载蜂鸣器，则步骤S3之后还包括步骤：
S4、预设安全距离及其阈值，当步骤S4中得到的行人与当前车辆的距离达到安全距离的阈值时，启动车载蜂鸣器进行报警。
即通过在车辆内部增加车载蜂鸣器，可在车辆驾驶过程中对车辆视线盲区的障碍物距离超过安全距离的阈值时及时示警，进一步辅助驾驶员安全驾驶，使驾驶员能有充分的时间进行规避，避免交通事故的发生。
请参照图3，本发明的实施例三为：
一种基于热像仪和激光雷达的车前行人检测终端1，包括存储器2、处理器3以及存储在存储器2是上并可在处理器3上执行的计算机程序，在本实施例中，处理器3执行计算机程序时实现上述实施例一或实施例二中的步骤。
综上所述，本发明提供的一种基于热像仪和激光雷达的车前行人检测方法及终端，通过在车辆外侧顶部部署热像仪和激光雷达，分别采集车辆前方的热像图和点云数据，结合行人热像图集训练得到的行人识别模型，实现对车辆前方行人的实时监测，并通过将点云数据的坐标转换到热像图坐标下，从而实现识别到的行人与车辆的距离的计算，并显示在车载显示屏中，协助驾驶员驾驶车辆，增强行驶的安全性，有效降低事故率。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于热像仪和激光雷达的车前行人检测方法，其特征在于，包括步骤：
S1、分别获取部署在车辆外侧顶端的热像仪的图像坐标系和激光雷达的点云坐标系，并将所述激光雷达的点云坐标系转换到热像仪的图像坐标系中，使得同一视野内的点云图像与热像图逐像素配准；
S2、利用所述热像仪预先采集的图像集基于神经网络算法训练得到行人识别模型；
S3、启动所述热像仪和所述激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至所述行人识别模型中，由所述行人识别模型判断热像图中是否存在行人，若存在行人则读取行人在点云数据中的坐标点，得到行人与当前车辆的距离并显示在车载显示屏中。
2.根据权利要求1所述的一种基于热像仪和激光雷达的车前行人检测方法，其特征在于，所述步骤S1具体为：
预先开启部署在车辆外侧顶端的所述热像仪和所述激光雷达，获取所述热像仪的热像图和所述激光雷达的点云数据，将点云数据的坐标系转换到热像图的坐标系中，使得同一视野内的点云图像的每个坐标点与热像图的每个坐标点配准，转换公式为：
Y＝R*(R|T)*X；
其中，R为所述热像仪的内参矩阵，(R|T)为所述激光雷达到相机的转换矩阵，X为所述激光雷达的坐标点。
3.根据权利要求2所述的一种基于热像仪和激光雷达的车前行人检测方法，其特征在于，所述神经网络算法为yolov4算法，所述步骤S2具体为：
S21、利用所述热像仪预先采集不同场景下的车辆前方的行人热像图，并对所述行人热像图进行归一化预处理；
S22、将归一化预处理后的所述行人热像图按照7:2:1的比例随机划分为训练集、验证集和测试集，并将所述训练集、所述验证集和所述测试集输入到yolov4算法中；
S23、调整所述yolov4算法的深度、训练批次和自适应学习率参数，采用所述训练集训练所述yolov4算法，拟合得到多个模型，然后采用验证集验证多个模型的准确率，选出最佳的模型作为行人识别模型，最后采用所述测试集对所述行人识别模型进行预测，修正所述行人模型的精度和运算速度。
4.根据权利要求3所述的一种基于热像仪和激光雷达的车前行人检测方法，其特征在于，所述步骤S3具体为：
S31、启动所述热像仪和所述激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至所述行人识别模型中；
S32、先利用所述行人识别模型对所述热像仪实时采集到的热像图进行逐帧识别，判断车辆前方是否存在行人，若不存在行人，则继续识别下一帧热像图，若存在行人，则在这一帧热像图上标记出行人所在的区域，并执行步骤S43；
S33、根据所述转换公式，获取热像图中行人所在的区域的坐标点，对应到这一帧的所述激光雷达采集到的点云数据中，读取所述坐标点与当前车辆距离的雷达数据，得到行人与当前车辆的距离，并在所述车载显示屏中显示的热像图中标出。
5.根据权利要求1所述的一种基于热像仪和激光雷达的车前行人检测方法，其特征在于，所述步骤S3之后还包括步骤：
S4、预设安全距离及其阈值，当所述步骤S4中得到的行人与当前车辆的距离达到所述安全距离的所述阈值时，启动车载蜂鸣器进行报警。
6.一种基于热像仪和激光雷达的车前行人检测终端，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：
S1、分别获取部署在车辆外侧顶端的热像仪的图像坐标系和激光雷达的点云坐标系，并将所述激光雷达的点云坐标系转换到热像仪的图像坐标系中，使得同一视野内的点云图像与热像图逐像素配准；
S2、利用所述热像仪预先采集的图像集基于神经网络算法训练得到行人识别模型；
S3、启动所述热像仪和所述激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至所述行人识别模型中，由所述行人识别模型判断热像图中是否存在行人，若存在行人则读取行人在点云数据中的坐标点，得到行人与当前车辆的距离并显示在车载显示屏中。
7.根据权利要求6所述的一种基于热像仪和激光雷达的车前行人检测终端，其特征在于，所述步骤S1具体为：
预先开启部署在车辆外侧顶端的所述热像仪和所述激光雷达，获取所述热像仪的热像图和所述激光雷达的点云数据，将点云数据的坐标系转换到热像图的坐标系中，使得同一视野内的点云图像的每个坐标点与热像图的每个坐标点配准，转换公式为：
Y＝R*(R|T)*X；
其中，R为所述热像仪的内参矩阵，(R|T)为所述激光雷达到相机的转换矩阵，X为所述激光雷达的坐标点。
8.根据权利要求7所述的一种基于热像仪和激光雷达的车前行人检测终端，其特征在于，所述神经网络算法为yolov4算法，所述步骤S2具体为：
S21、利用所述热像仪预先采集不同场景下的车辆前方的行人热像图，并对所述行人热像图进行归一化预处理；
S22、将归一化预处理后的所述行人热像图按照7:2:1的比例随机划分为训练集、验证集和测试集，并将所述训练集、所述验证集和所述测试集输入到yolov4算法中；
S23、调整所述yolov4算法的深度、训练批次和自适应学习率参数，采用所述训练集训练所述yolov4算法，拟合得到多个模型，然后采用验证集验证多个模型的准确率，选出最佳的模型作为行人识别模型，最后采用所述测试集对所述行人识别模型进行预测，修正所述行人模型的精度和运算速度。
9.根据权利要求8所述的一种基于热像仪和激光雷达的车前行人检测终端，其特征在于，所述步骤S3具体为：
S31、启动所述热像仪和所述激光雷达分别实时采集车辆前方的热像图和点云数据，并发送至所述行人识别模型中；
S32、先利用所述行人识别模型对所述热像仪实时采集到的热像图进行逐帧识别，判断车辆前方是否存在行人，若不存在行人，则继续识别下一帧热像图，若存在行人，则在这一帧热像图上标记出行人所在的区域，并执行步骤S43；
S33、根据所述转换公式，获取热像图中行人所在的区域的坐标点，对应到这一帧的所述激光雷达采集到的点云数据中，读取所述坐标点与当前车辆距离的雷达数据，得到行人与当前车辆的距离，并在所述车载显示屏中显示的热像图中标出。
10.根据权利要求9所述的一种基于热像仪和激光雷达的车前行人检测终端，其特征在于，所述步骤S3之后还包括步骤：
S4、预设安全距离及其阈值，当所述步骤S4中得到的行人与当前车辆的距离达到所述安全距离的所述阈值时，启动车载蜂鸣器进行报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210746811.0A CN115100251A (zh) | 2022-06-29 | 2022-06-29 | 一种基于热像仪和激光雷达的车前行人检测方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210746811.0A CN115100251A (zh) | 2022-06-29 | 2022-06-29 | 一种基于热像仪和激光雷达的车前行人检测方法及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115100251A true CN115100251A (zh) | 2022-09-23 |
Family
ID=83294146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210746811.0A Pending CN115100251A (zh) | 2022-06-29 | 2022-06-29 | 一种基于热像仪和激光雷达的车前行人检测方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115100251A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230068046A1 (en) * | 2021-08-24 | 2023-03-02 | GM Global Technology Operations LLC | Systems and methods for detecting traffic objects |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105711597A (zh) * | 2016-02-25 | 2016-06-29 | 江苏大学 | 前方局部行驶环境感知系统及方法 |
| CN109490899A (zh) * | 2018-11-12 | 2019-03-19 | 广西交通科学研究院有限公司 | 一种基于激光雷达和红外热成像仪的隧道内火源定位方法 |
| CN111753741A (zh) * | 2020-06-28 | 2020-10-09 | 北京小眼探索科技有限公司 | 基于深度学习的特种车辆辅助驾驶方法、装置及存储介质 |
| CN113378890A (zh) * | 2021-05-17 | 2021-09-10 | 浙江工业大学 | 一种基于改进YOLO v4的轻量级行人车辆检测方法 |
| US20210357662A1 (en) * | 2020-05-15 | 2021-11-18 | Perceptive Automata, Inc. | Ground truth based metrics for evaluation of machine learning based models for predicting attributes of traffic entities for navigating autonomous vehicles |
-
2022
- 2022-06-29 CN CN202210746811.0A patent/CN115100251A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105711597A (zh) * | 2016-02-25 | 2016-06-29 | 江苏大学 | 前方局部行驶环境感知系统及方法 |
| CN109490899A (zh) * | 2018-11-12 | 2019-03-19 | 广西交通科学研究院有限公司 | 一种基于激光雷达和红外热成像仪的隧道内火源定位方法 |
| US20210357662A1 (en) * | 2020-05-15 | 2021-11-18 | Perceptive Automata, Inc. | Ground truth based metrics for evaluation of machine learning based models for predicting attributes of traffic entities for navigating autonomous vehicles |
| CN111753741A (zh) * | 2020-06-28 | 2020-10-09 | 北京小眼探索科技有限公司 | 基于深度学习的特种车辆辅助驾驶方法、装置及存储介质 |
| CN113378890A (zh) * | 2021-05-17 | 2021-09-10 | 浙江工业大学 | 一种基于改进YOLO v4的轻量级行人车辆检测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230068046A1 (en) * | 2021-08-24 | 2023-03-02 | GM Global Technology Operations LLC | Systems and methods for detecting traffic objects |
| US11869250B2 (en) * | 2021-08-24 | 2024-01-09 | GM Global Technology Operations LLC | Systems and methods for detecting traffic objects |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102765365B (zh) | 基于机器视觉的行人检测方法及行人防撞预警系统 | |
| CN110077399B (zh) | 一种基于道路标线、车轮检测融合的车辆防碰撞方法 | |
| CN111060904B (zh) | 一种基于毫米波与视觉融合感知的盲区监测方法 | |
| CN112349144B (zh) | 一种基于单目视觉的车辆碰撞预警方法及系统 | |
| CN104260723B (zh) | 一种后方车辆运动状态追踪预测装置及预测方法 | |
| US20170158134A1 (en) | Image display device and image display method | |
| CN110400478A (zh) | 一种路况通知方法及装置 | |
| CN109919074B (zh) | 一种基于视觉感知技术的车辆感知方法及装置 | |
| CN107031553A (zh) | 一种用于车辆的防追尾系统及方法 | |
| CN104786933A (zh) | 一种全景影像驾驶辅助装置及方法 | |
| US20110199197A1 (en) | System for monitoring the area around a vehicle | |
| US9892329B2 (en) | Animal type determination device | |
| CN113657265B (zh) | 一种车辆距离探测方法、系统、设备及介质 | |
| CN109389060A (zh) | 一种基于视觉的车周碰撞预警方法 | |
| CN111351474A (zh) | 车辆移动目标检测方法、装置和系统 | |
| CN113903012A (zh) | 碰撞预警方法及装置、车载设备及存储介质 | |
| CN115100251A (zh) | 一种基于热像仪和激光雷达的车前行人检测方法及终端 | |
| CN112606804A (zh) | 一种车辆主动制动的控制方法及控制系统 | |
| CN109131321A (zh) | 基于图像处理与计算危险系数的变道辅助方法及装置 | |
| CN112149560B (zh) | 一种车道偏离检测方法 | |
| CN116665188B (zh) | 一种大客车图像系统数据分析方法 | |
| CN210760742U (zh) | 智能车辆辅助驾驶系统 | |
| CN107292818B (zh) | 一种基于环视相机的捕线器自动定位系统及方法 | |
| CN110889409B (zh) | 汽车雷达监测优化方法、装置、设备及存储介质 | |
| CN110556024B (zh) | 一种防碰撞辅助驾驶方法、系统及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |