CN112836619A - 嵌入式车载远红外行人检测方法、系统、设备及存储介质 - Google Patents
嵌入式车载远红外行人检测方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN112836619A CN112836619A CN202110119822.1A CN202110119822A CN112836619A CN 112836619 A CN112836619 A CN 112836619A CN 202110119822 A CN202110119822 A CN 202110119822A CN 112836619 A CN112836619 A CN 112836619A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- infrared
- detection model
- target detection
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 165
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 28
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种嵌入式车载远红外行人检测方法、系统、设备及存储介质，该方法包括：包括：获取多张原始红外图像作为数据集；对数据集中的训练集进行训练，得到卷积神经网络mobilenet_yolov3的目标检测模型；采用训练好的目标检测模型检测待测红外图像中的行人目标，输出初步的行人识别结果；将目标检测模型输出的行人识别结果结合行人在待测红外图像上的显著性特征进行逐一校验，剔除不满足显著性特征的行人识别结果，以得到最终检测结果。这样可以对道路上的行人进行有效检测，提高车辆全天候出行的安全性，并且识别率高、漏检率低、误检率低、实时性好，检测精度高，满足实际应用的需求。
Description
技术领域
本发明涉及目标检测技术领域，特别是涉及一种嵌入式车载远红外行人检测方法、系统、设备及存储介质。
背景技术
车辆夜间驾驶时，恶劣天气和强光等容易影响驾驶员视野和能见度，发生交通事故的比例明显高于白天。传统的可见光行人检测算法如HOG+SVM或ACF+Adaboost等效果差，并不能满足车载复杂场景对识别率的要求。
近年来，基于热成像的车载行人检测方法研究已经取得了一定的成果，但大都停留在PC端仿真阶段，实用性不强，迫切需要在检测准确率、实时性等方面做出进一步的改进，并且需求算法能够移植到嵌入式系统。
因此，如何解决现有的车载行人检测方法的识别率低、实时性差、误检率高、算法未在嵌入式设备中运行等问题，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种嵌入式车载远红外行人检测方法、系统、设备及存储介质，识别率高、漏检率低、误检率低、实时性好、检测精度高，满足实际应用的需求。其具体方案如下：
一种嵌入式车载远红外行人检测方法，包括：
获取多张原始红外图像作为数据集；
对所述数据集中的训练集进行训练，得到卷积神经网络mobilenet_yolov3的目标检测模型；
采用训练好的所述目标检测模型检测待测红外图像中的行人目标，输出初步的行人识别结果；
将所述目标检测模型输出的行人识别结果结合行人在所述待测红外图像上的显著性特征进行逐一校验，剔除不满足显著性特征的行人识别结果，以得到最终检测结果。
优选地，在本发明实施例提供的上述嵌入式车载远红外行人检测方法中，获取多张原始红外图像作为数据集，具体包括：
通过安装在车辆上的红外摄像头在不同地域、不同季节、不同天气下采集不同场景的视频；
将采集的视频按设定比例进行抽帧得到原始红外图像并进行清洗，获取清洗后的多张原始红外图像作为数据集。
优选地，在本发明实施例提供的上述嵌入式车载远红外行人检测方法中，在得到卷积神经网络mobilenet_yolov3的目标检测模型之后，还包括：
采用所述数据集中的测试集对训练好的所述目标检测模型进行测试，输出包含各类别精度平均值和召回率的参数信息，并对所述参数信息进行调优。
优选地，在本发明实施例提供的上述嵌入式车载远红外行人检测方法中，将所述目标检测模型输出的行人识别结果结合行人在所述待测红外图像上的显著性特征进行逐一校验，剔除不满足显著性特征的行人识别结果，具体包括：
判断所述目标检测模型输出的识别框面积内亮度均值是否大于所述待测红外图像的亮度均值，若否，则剔除该识别框；
判断所述目标检测模型输出的识别框的宽高比是否在0.4至0.6之间，若否，则剔除该识别框；
通过Haar-like特征的头部校验算法对所述目标检测模型输出的识别框进行判别；
通过用于提取行人头部的霍夫变换的圆形检测对所述目标检测模型输出的识别框进行判别。
优选地，在本发明实施例提供的上述嵌入式车载远红外行人检测方法中，通过Haar-like特征的头部校验算法对所述目标检测模型输出的识别框进行判别，具体包括：
从上到下提取所述目标检测模型输出的识别框的1/4高度；
将提取的具有1/4高度的识别框按1/4、1/2和1/4分成左中右三部分，并分别计算左中右三部分的亮度均值；
判断中间部分亮度均值减去左边和右边亮度均值是否大于设定的头部校验阈值；若否，则剔除该识别框。
优选地，在本发明实施例提供的上述嵌入式车载远红外行人检测方法中，通过用于提取行人头部的霍夫变换的圆形检测对所述目标检测模型输出的识别框进行判别，具体包括：
采用Canny算子对所述目标检测模型输出的识别框进行边缘检测；
采用HoughCircles()函数提取边缘检测后的识别框中的圆形，圆心的位置对应人头部的中心点；
判断所述圆心是否在该识别框的1/4高度与1/2宽度范围内；若否，则剔除该识别框。
优选地，在本发明实施例提供的上述嵌入式车载远红外行人检测方法中，在剔除不满足显著性特征的行人识别结果之后，还包括：
对剔除后得到的行人识别结果进行非极大值抑制运算操作。
本发明实施例还提供了一种嵌入式车载远红外行人检测系统，包括：安装在车辆前端格栅位置的红外摄像头，安装在驾驶室内储物仓位置的ECU，显示设备和用于向所述红外摄像头和ECU供电的电源；其中，所述ECU包括：
图像获取模块，用于获取多张原始红外图像作为数据集；
网络训练模块，用于对所述数据集中的训练集进行训练，得到卷积神经网络mobilenet_yolov3的目标检测模型；
模型检测模块，用于采用训练好的所述目标检测模型检测待测红外图像中的行人目标，输出初步的行人识别结果；
特征校验模块，用于将所述目标检测模型输出的行人识别结果结合行人在所述待测红外图像上的显著性特征进行逐一校验，剔除不满足显著性特征的行人识别结果，以得到最终检测结果并传输至显示设备。
本发明实施例还提供了一种嵌入式车载远红外行人检测设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述嵌入式车载远红外行人检测方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述嵌入式车载远红外行人检测方法。
从上述技术方案可以看出，本发明所提供的一种嵌入式车载远红外行人检测方法，包括：获取多张原始红外图像作为数据集；对数据集中的训练集进行训练，得到卷积神经网络mobilenet_yolov3的目标检测模型；采用训练好的目标检测模型检测待测红外图像中的行人目标，输出初步的行人识别结果；将目标检测模型输出的行人识别结果结合行人在待测红外图像上的显著性特征进行逐一校验，剔除不满足显著性特征的行人识别结果，以得到最终检测结果。
本发明将卷积神经网络的目标检测模型与行人在红外图像上的显著性特征相结合，可以对道路上的行人进行有效检测，提高车辆全天候出行的安全性，并且识别率高、漏检率低、误检率低、实时性好、检测精度高，满足实际应用的需求。此外，本发明还针对嵌入式车载远红外行人检测方法提供了相应的系统、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该系统、设备及计算机可读存储介质具有相应的优点。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的嵌入式车载远红外行人检测方法的流程图；
图2为本发明实施例提供的Haar-like特征的头部校验算法的原理示意图；
图3为本发明实施例提供的采用图2的头部校验算法对待测红外图像进行划分的示意图；
图4为本发明实施例提供的嵌入式车载远红外行人检测系统中ECU的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种嵌入式车载远红外行人检测方法，如图1所示，包括以下步骤：
S101、获取多张原始红外图像作为数据集；
需要说明的是，被动式远红外根据温差成像，不依赖场景的光照条件，能在全黑夜间、雨雪天气、雾霾天气以及对面车灯眩光等情况下，输出前方路况的清晰热图像，可以有效提升驾驶员视觉范围，避免碰撞行人等障碍物，有效提升驾驶安全，具有较大的研究和社会价值，因此，本发明针对被动式远红外热成像不受光线影响的特点，基于车辆夜间或恶劣天气下行驶的特殊场景，采集原始红外图像作为数据集。
S102、对数据集中的训练集进行训练，得到卷积神经网络mobilenet_yolov3的目标检测模型；
需要说明的是，复杂卷积神经网络模型算法开销大，嵌入式系统单帧运行时间长，无法满足实时性要求，因此，本发明采用轻量化卷积神经网络mobilenet_yolov3模型快速检测红外图像中的行人，得到识别框Bounding Box，包括了目标的位置的坐标(x,y)和目标大小(width,height)等信息。本发明也可以根据实际情况，采用其他模型如YOLO系列、SSD系列、Mobilenet系列等来替代。
S103、采用训练好的目标检测模型检测待测红外图像中的行人目标，输出初步的行人识别结果；
在实际应用中，采用目标检测模型接入安装在车辆上的红外摄像头，进行卷积神经网络的运算，输出初步的行人识别结果(包含识别框)，但由于车载场景复杂，红外摄像头分辨率低等原因，目标检测模型输出的行人识别结果存在误检率高的问题，因此本发明还需执行步骤S104。
S104、将目标检测模型输出的行人识别结果结合行人在待测红外图像上的显著性特征进行逐一校验，剔除不满足显著性特征的行人识别结果，以得到最终检测结果。
需要说明的是，本发明利用精度较高的卷积神经网络技术进行特征提取和分类，并结合行人在红外图像上的显著性特征，可达到消除部分误检的目的且能够将检测算法部署到嵌入式系统中(可在嵌入式芯片中实现)。另外，本发明充分考虑车辆在高速行驶中对行人检测算法实时性的要求，在多种户外交通场景下实际运行帧率可以为25fps。
在本发明实施例提供的上述嵌入式车载远红外行人检测方法中，将卷积神经网络的目标检测模型与行人在红外图像上的显著性特征相结合，可以对道路上的行人进行有效检测，提高车辆全天候出行的安全性，并且识别率高、漏检率低、误检率低、实时性好、检测精度高，满足实际应用的需求。
进一步地，在具体实施时，在本发明实施例提供的上述嵌入式车载远红外行人检测方法中，步骤S101获取多张原始红外图像作为数据集，具体可以包括：首先，通过安装在车辆上的红外摄像头在不同地域、不同季节、不同天气下采集不同场景(如高速公路、国道、市区、郊区)的数千小时的视频；然后，将采集的视频按设定比例进行抽帧得到原始红外图像并严格进行清洗，剔除没有行人等无效数据，获取清洗后的多张原始红外图像作为数据集。在此，可对原始红外图像中的行人进行手工标注，每个标注框对应一个名为person的label，保存为.xml格式文件。数据集命可名为Infrared_Dateset，将数据集按8:2比例随机分成训练集和测试集。
在实际应用中，本发明的卷积神经网络为mobilenet_yolov3，可以在英伟达GPU上用Infrared_Dateset数据集中的训练集进行训练。本发明涉及到的mobilenet_yolov3网络，具体的网络结构为表一所示：
表一mobilenet_yolov3网络结构表
其中，“Convolution”代表卷积操作，“DepthwiseConvolution”代表深度可分离卷积操作，“ReLU”代表线性整流函数为激活函数。
在具体实施时，在本发明实施例提供的上述嵌入式车载远红外行人检测方法中，在执行步骤S102得到卷积神经网络mobilenet_yolov3的目标检测模型之后，还可以包括：采用Infrared_Dateset数据集中的测试集对训练好的目标检测模型进行测试，输出包含各类别精度平均值(mean Average Precision,mAP)和召回率(recall)的参数信息，并对参数信息进行调优。具体地，经过反复调优，PC端的mAP在95％以上，Recall在98％以上，可达到比较理想的状态。
在具体实施时，在本发明实施例提供的上述嵌入式车载远红外行人检测方法中，步骤S104将目标检测模型输出的行人识别结果结合行人在待测红外图像上的显著性特征进行逐一校验，剔除不满足显著性特征的行人识别结果，具体可以包括：
第一步、判断目标检测模型输出的识别框面积内亮度均值是否大于待测红外图像的亮度均值，若否，则剔除该识别框；由于人是恒温动物，行人在红外图像中的亮度高于背景亮度，即每个识别框面积(宽×高)内亮度均值应大于当前整幅图像的亮度均值；
第二步、判断目标检测模型输出的识别框的宽高比是否在0.4至0.6之间，若否，则剔除该识别框；具体根据车载红外摄像头安装信息，结合几何光学与人体学知识，可确定识别结果的宽高比(宽/高)应在0.4～0.6之间；
第三步、由于行人的头部呈明显的高亮特征，如图2所示，通过Haar-like特征的头部校验算法对目标检测模型输出的识别框进行判别；
第四步、通过用于提取行人头部的霍夫变换的圆形检测对目标检测模型输出的识别框进行判别。
进一步地，在具体实施时，在本发明实施例提供的上述嵌入式车载远红外行人检测方法中，上述第三步中通过Haar-like特征的头部校验算法对目标检测模型输出的识别框进行判别，如图3所示，具体可以包括：首先，从上到下提取目标检测模型输出的识别框的1/4高度；然后，将提取的具有1/4高度的识别框按1/4、1/2和1/4分成左中右三部分，并分别计算左中右三部分的亮度均值；最后，判断中间部分亮度均值减去左边和右边亮度均值是否大于设定的头部校验阈值；若否，则剔除该识别框。需要说明的是，经过对海量红外行人图像数据的统计分析，头部校验阈值可以设定为32。
进一步地，在具体实施时，在本发明实施例提供的上述嵌入式车载远红外行人检测方法中，上述第四步中通过用于提取行人头部的霍夫变换的圆形检测对目标检测模型输出的识别框进行判别，具体可以包括：首先，采用Canny算子对目标检测模型输出的识别框进行边缘检测；然后，采用HoughCircles()函数提取边缘检测后的识别框中的圆形，圆心的位置对应人头部的中心点；最后，判断圆心是否在该识别框的1/4高度与1/2宽度范围内；若否，则剔除该识别框。
在具体实施时，在本发明实施例提供的上述嵌入式车载远红外行人检测方法中，在步骤S104剔除不满足显著性特征的行人识别结果之后，还可以包括：对剔除后得到的行人识别结果进行非极大值抑制(Non-Maximum Suppression,NMS)运算操作。之后，可输出最终检测结果。
基于同一发明构思，本发明实施例还提供了一种嵌入式车载远红外行人检测系统，由于该系统解决问题的原理与前述一种嵌入式车载远红外行人检测方法相似，因此该系统的实施可以参见嵌入式车载远红外行人检测方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的嵌入式车载远红外行人检测系统，包括：安装在车辆前端格栅位置的红外摄像头，安装在驾驶室内储物仓位置的ECU(电子控制单元)，显示设备和用于向红外摄像头和ECU供电的电源；其中，如图4所示，ECU可以包括：
图像获取模块11，用于获取多张原始红外图像作为数据集；
网络训练模块12，用于对数据集中的训练集进行训练，得到卷积神经网络mobilenet_yolov3的目标检测模型；
模型检测模块13，用于采用训练好的目标检测模型检测待测红外图像中的行人目标，输出初步的行人识别结果；
特征校验模块14，用于将目标检测模型输出的行人识别结果结合行人在待测红外图像上的显著性特征进行逐一校验，剔除不满足显著性特征的行人识别结果，以得到最终检测结果并传输至显示设备。
需要注意的是，本发明的所有算法，均可在嵌入式芯片中实现。ECU为整合了该嵌入式芯片的硬件电路板。红外摄像头可用于探测车前道路上的红外辐射，输出8bit灰度图。ECU可用于接收摄像头的图像信号并进行算法运算，输出带行人检测结果的模拟视频，车载12V电源给ECU和摄像头供电，显示设备将最终图像呈现给客户。本发明充分考虑车辆在高速行驶中对行人检测算法实时性的要求，在嵌入式车载远红外行人检测系统中实际运行帧率为25fps。
在本发明实施例提供的上述嵌入式车载远红外行人检测系统中，可以通过上述四个模块的相互作用，将卷积神经网络的目标检测模型与行人在红外图像上的显著性特征相结合，在夜晚、沙尘、雾霾等天气也能对道路上的行人进行有效检测，提高车辆全天候出行的安全性，并且识别率高、漏检率低、误检率低、实时性好、检测精度高，满足实际应用的需求。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应地，本发明实施例还公开了一种嵌入式车载远红外行人检测设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的嵌入式车载远红外行人检测方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的嵌入式车载远红外行人检测方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的系统、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种嵌入式车载远红外行人检测方法，包括：获取多张原始红外图像作为数据集；对数据集中的训练集进行训练，得到卷积神经网络mobilenet_yolov3的目标检测模型；采用训练好的目标检测模型检测待测红外图像中的行人目标，输出初步的行人识别结果；将目标检测模型输出的行人识别结果结合行人在待测红外图像上的显著性特征进行逐一校验，剔除不满足显著性特征的行人识别结果，以得到最终检测结果。本发明将卷积神经网络的目标检测模型与行人在红外图像上的显著性特征相结合，可以对道路上的行人进行有效检测，提高车辆全天候出行的安全性，并且识别率高、漏检率低、误检率低、实时性好、检测精度高，满足实际应用的需求。此外，本发明还针对嵌入式车载远红外行人检测方法提供了相应的系统、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该系统、设备及计算机可读存储介质具有相应的优点。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的嵌入式车载远红外行人检测方法、系统、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种嵌入式车载远红外行人检测方法，其特征在于，包括：
获取多张原始红外图像作为数据集；
对所述数据集中的训练集进行训练，得到卷积神经网络mobilenet_yolov3的目标检测模型；
采用训练好的所述目标检测模型检测待测红外图像中的行人目标，输出初步的行人识别结果；
将所述目标检测模型输出的行人识别结果结合行人在所述待测红外图像上的显著性特征进行逐一校验，剔除不满足显著性特征的行人识别结果，以得到最终检测结果。
2.根据权利要求1所述的嵌入式车载远红外行人检测方法，其特征在于，获取多张原始红外图像作为数据集，具体包括：
通过安装在车辆上的红外摄像头在不同地域、不同季节、不同天气下采集不同场景的视频；
将采集的视频按设定比例进行抽帧得到原始红外图像并进行清洗，获取清洗后的多张原始红外图像作为数据集。
3.根据权利要求2所述的嵌入式车载远红外行人检测方法，其特征在于，在得到卷积神经网络mobilenet_yolov3的目标检测模型之后，还包括：
采用所述数据集中的测试集对训练好的所述目标检测模型进行测试，输出包含各类别精度平均值和召回率的参数信息，并对所述参数信息进行调优。
4.根据权利要求1所述的嵌入式车载远红外行人检测方法，其特征在于，将所述目标检测模型输出的行人识别结果结合行人在所述待测红外图像上的显著性特征进行逐一校验，剔除不满足显著性特征的行人识别结果，具体包括：
判断所述目标检测模型输出的识别框面积内亮度均值是否大于所述待测红外图像的亮度均值，若否，则剔除该识别框；
判断所述目标检测模型输出的识别框的宽高比是否在0.4至0.6之间，若否，则剔除该识别框；
通过Haar-like特征的头部校验算法对所述目标检测模型输出的识别框进行判别；
通过用于提取行人头部的霍夫变换的圆形检测对所述目标检测模型输出的识别框进行判别。
5.根据权利要求4所述的嵌入式车载远红外行人检测方法，其特征在于，通过Haar-like特征的头部校验算法对所述目标检测模型输出的识别框进行判别，具体包括：
从上到下提取所述目标检测模型输出的识别框的1/4高度；
将提取的具有1/4高度的识别框按1/4、1/2和1/4分成左中右三部分，并分别计算左中右三部分的亮度均值；
判断中间部分亮度均值减去左边和右边亮度均值是否大于设定的头部校验阈值；若否，则剔除该识别框。
6.根据权利要求5所述的嵌入式车载远红外行人检测方法，其特征在于，通过用于提取行人头部的霍夫变换的圆形检测对所述目标检测模型输出的识别框进行判别，具体包括：
采用Canny算子对所述目标检测模型输出的识别框进行边缘检测；
采用HoughCircles()函数提取边缘检测后的识别框中的圆形，圆心的位置对应人头部的中心点；
判断所述圆心是否在该识别框的1/4高度与1/2宽度范围内；若否，则剔除该识别框。
7.根据权利要求6所述的嵌入式车载远红外行人检测方法，其特征在于，在剔除不满足显著性特征的行人识别结果之后，还包括：
对剔除后得到的行人识别结果进行非极大值抑制运算操作。
8.一种嵌入式车载远红外行人检测系统，其特征在于，包括：安装在车辆前端格栅位置的红外摄像头，安装在驾驶室内储物仓位置的ECU，显示设备和用于向所述红外摄像头和ECU供电的电源；其中，所述ECU包括：
图像获取模块，用于获取多张原始红外图像作为数据集；
网络训练模块，用于对所述数据集中的训练集进行训练，得到卷积神经网络mobilenet_yolov3的目标检测模型；
模型检测模块，用于采用训练好的所述目标检测模型检测待测红外图像中的行人目标，输出初步的行人识别结果；
特征校验模块，用于将所述目标检测模型输出的行人识别结果结合行人在所述待测红外图像上的显著性特征进行逐一校验，剔除不满足显著性特征的行人识别结果，以得到最终检测结果并传输至显示设备。
9.一种嵌入式车载远红外行人检测设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的嵌入式车载远红外行人检测方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的嵌入式车载远红外行人检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110119822.1A CN112836619A (zh) | 2021-01-28 | 2021-01-28 | 嵌入式车载远红外行人检测方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110119822.1A CN112836619A (zh) | 2021-01-28 | 2021-01-28 | 嵌入式车载远红外行人检测方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112836619A true CN112836619A (zh) | 2021-05-25 |
Family
ID=75932381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110119822.1A Pending CN112836619A (zh) | 2021-01-28 | 2021-01-28 | 嵌入式车载远红外行人检测方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112836619A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255521A (zh) * | 2021-05-26 | 2021-08-13 | 青岛以萨数据技术有限公司 | 一种面向嵌入式平台的双模目标检测方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007089094A (ja) * | 2005-09-26 | 2007-04-05 | Toyota Motor Corp | 歩行者検知装置 |
| GB201700496D0 (en) * | 2016-01-15 | 2017-02-22 | Ford Global Tech Llc | Pedestrian detection with saliency maps |
| CN108509913A (zh) * | 2018-03-30 | 2018-09-07 | 世纪美映影院技术服务（北京）有限公司 | 一种室内人数统计方法 |
| CN108564030A (zh) * | 2018-04-12 | 2018-09-21 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的分类器训练方法和装置 |
| CN109635768A (zh) * | 2018-12-20 | 2019-04-16 | 深圳市捷顺科技实业股份有限公司 | 一种图像帧中停车位状态检测方法、系统及相关设备 |
| CN110321874A (zh) * | 2019-07-12 | 2019-10-11 | 南京航空航天大学 | 一种轻量化的卷积神经网络行人识别方法 |
| CN111259736A (zh) * | 2020-01-08 | 2020-06-09 | 上海海事大学 | 一种基于深度学习的复杂环境下行人实时检测方法 |
-
2021
- 2021-01-28 CN CN202110119822.1A patent/CN112836619A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007089094A (ja) * | 2005-09-26 | 2007-04-05 | Toyota Motor Corp | 歩行者検知装置 |
| GB201700496D0 (en) * | 2016-01-15 | 2017-02-22 | Ford Global Tech Llc | Pedestrian detection with saliency maps |
| CN108509913A (zh) * | 2018-03-30 | 2018-09-07 | 世纪美映影院技术服务（北京）有限公司 | 一种室内人数统计方法 |
| CN108564030A (zh) * | 2018-04-12 | 2018-09-21 | 广州飒特红外股份有限公司 | 面向车载热成像行人检测的分类器训练方法和装置 |
| CN109635768A (zh) * | 2018-12-20 | 2019-04-16 | 深圳市捷顺科技实业股份有限公司 | 一种图像帧中停车位状态检测方法、系统及相关设备 |
| CN110321874A (zh) * | 2019-07-12 | 2019-10-11 | 南京航空航天大学 | 一种轻量化的卷积神经网络行人识别方法 |
| CN111259736A (zh) * | 2020-01-08 | 2020-06-09 | 上海海事大学 | 一种基于深度学习的复杂环境下行人实时检测方法 |
Non-Patent Citations (7)
| Title |
|---|
| 刘丽等: "基于MCS-LBP的红外图像行人检测方法", 《北京联合大学学报(自然科学版)》 * |
| 刘丽等: "基于MCS-LBP的红外图像行人检测方法", 《北京联合大学学报(自然科学版)》, no. 02, 20 April 2015 (2015-04-20) * |
| 张童等: "应用于嵌入式平台的实时红外行人检测方法", 《激光与红外》 * |
| 张童等: "应用于嵌入式平台的实时红外行人检测方法", 《激光与红外》, no. 02, 20 February 2020 (2020-02-20), pages 239 - 244 * |
| 王忠耀等: "基于红外视频的车载行人车辆检测系统", 《杭州电子科技大学学报》 * |
| 王忠耀等: "基于红外视频的车载行人车辆检测系统", 《杭州电子科技大学学报》, no. 05, 15 October 2013 (2013-10-15) * |
| 田煜衡: "基于头部特征的行人计数系统", 《天津工业大学学报》, vol. 32, no. 3 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255521A (zh) * | 2021-05-26 | 2021-08-13 | 青岛以萨数据技术有限公司 | 一种面向嵌入式平台的双模目标检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110487562B (zh) | 一种用于无人驾驶的车道保持能力检测系统及方法 | |
| CN111368687B (zh) | 一种基于目标检测和语义分割的人行道车辆违停检测方法 | |
| Zhang et al. | CCTSDB 2021: a more comprehensive traffic sign detection benchmark | |
| CN110659539B (zh) | 一种信息处理方法、装置及机器可读存储介质 | |
| CN109389046B (zh) | 用于自动驾驶的全天候物体识别与车道线检测方法 | |
| CN110399856B (zh) | 特征提取网络训练方法、图像处理方法、装置及其设备 | |
| Pavlic et al. | Classification of images in fog and fog-free scenes for use in vehicles | |
| US20140247968A1 (en) | Method for Fog Detection | |
| CN103824037B (zh) | 车用防跟踪报警装置 | |
| CN110619750A (zh) | 面向违停车辆的智能航拍识别方法及系统 | |
| CN112163543A (zh) | 一种车辆违法占道的检测方法及系统 | |
| CN106127107A (zh) | 基于车牌信息和车辆轮廓的多路视频信息融合的车型识别方法 | |
| CN103902976A (zh) | 一种基于红外图像的行人检测方法 | |
| CN110415544B (zh) | 一种灾害天气预警方法及汽车ar-hud系统 | |
| CN103208185A (zh) | 一种基于车灯识别的夜间车辆检测方法及系统 | |
| CN110852177B (zh) | 基于单目相机的障碍物检测方法及系统 | |
| CN111915583B (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
| CN104881661A (zh) | 基于结构相似度的车辆检测方法 | |
| CN109191492B (zh) | 一种基于轮廓分析的智能视频黑烟车检测方法 | |
| CN110610153A (zh) | 一种用于自动驾驶的车道识别方法及系统 | |
| CN111368612A (zh) | 超员检测系统、人员检测方法及电子设备 | |
| CN113903012A (zh) | 碰撞预警方法及装置、车载设备及存储介质 | |
| CN111144301A (zh) | 一种基于深度学习的道路路面缺陷快速预警装置 | |
| JP2018055597A (ja) | 車種判別装置および車種判別方法 | |
| CN108974018A (zh) | 一种基于机器视觉的汽车前向防碰撞预警装置及其监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |