CN111652134A - 一种基于微处理器的车载行人检测系统及检测方法 - Google Patents

一种基于微处理器的车载行人检测系统及检测方法 Download PDF

Info

Publication number
CN111652134A
CN111652134A CN202010493500.9A CN202010493500A CN111652134A CN 111652134 A CN111652134 A CN 111652134A CN 202010493500 A CN202010493500 A CN 202010493500A CN 111652134 A CN111652134 A CN 111652134A
Authority
CN
China
Prior art keywords
microprocessor
pedestrian
pedestrian detection
detection
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010493500.9A
Other languages
English (en)
Inventor
高玉梅
水玲玲
易子川
迟锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China Zhongshan Institute
Original Assignee
University of Electronic Science and Technology of China Zhongshan Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China Zhongshan Institute filed Critical University of Electronic Science and Technology of China Zhongshan Institute
Priority to CN202010493500.9A priority Critical patent/CN111652134A/zh
Publication of CN111652134A publication Critical patent/CN111652134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

本发明公开了一种基于微处理器的车载行人检测系统及检测方法，该系统包括微处理器和摄像模块，微处理器与摄像模块电连接，微处理器设置有电源接口、HDMI接口、LAN接口和USB接口，用于与汽车系统交互信息，具有结构简单，体积小，适用性高等优点，本发明采用YOLOv3算法对采集到的行人检测图像进行训练，最终筛选出行人检测图像的行人，具有操作简单，准确率高等优点，能够有效提高汽车行驶的安全性。

Description

一种基于微处理器的车载行人检测系统及检测方法
技术领域
本发明涉及汽车安全辅助驾驶领域，特别是一种基于微处理器的车载行人检测系统及检测方法。
背景技术
在车辆行驶过程中，常常会因为如环境条件等各类不可控成因，或由于驾驶操作人员无法准确识行人的存在和位置等原因，导致交通事故频繁发生，为降低和避免此类事件发生的概率，设计一种可实际应用于车载中的行人检测系统显得尤为重要。
随着科技的进步，人工智能迅速发展，越来越多的人运用不同的技术，不同的研究方法和手段来使行人检测这一技术更成熟，更完善，适用于不同的场景，用科技为生活提供更大的便利，但是当前的大多数的行人检测运行平台是体积较大是PC机，应用于车载场景较为困难，而且传统检测方法(如传统目标检测算级联分类器的快速训练方法)的准确度和速度等都有所限制，而基于微处理器的智能检测系统就可以解决运行平台体积较大因而无法应用于实际的问题，并且具有扩展性强和准确度高的优点，很适合应用于车载场景。
发明内容
为了克服现有技术的不足，本发明提供一种结构简单，检测正确率高的基于微处理器的车载行人检测系统及检测方法。
本发明的第一个目的在于提供一种基于微处理器的车载行人检测系统，它包括微处理器和摄像模块，所述微处理器与所述摄像模块电连接，所述微处理器设置有：
电源接口，用于连接汽车内的电源模块。
HDMI接口，用于连接汽车上的显示模块。
LAN接口，用于连接本地网络或互联网。
USB接口，用于连接汽车上的操作模块。
所述摄像模块为Module V2摄像头，所述微处理器设置有CSI接口，所述Module V2摄像头通过所述CSI接口连接在所述微处理器上。
所述微处理器为树莓派3B+。
本发明的第二个目的在于提供一种基于微处理器的车载行人检测系统的检测方法，它包括以下步骤：
步骤S1、通过摄像模块拍摄行人图像或行人视频，采集到行人检测图像。
步骤S2、把采集到的行人检测图像的像素大小统一编辑为416*416，并对采集到的行人检测图像按顺序进行排序命名。
步骤S3、用图片标注工具对预处理后的行人检测图像中总的行人进行标注，将图片中的目标框出，并生成xml文本，所生成的xml文本的文本名与所述步骤S22中行人检测图像的命名一一对应。
步骤S4、利用软件将xml文本转换成txt文件，作为训练集文件。
步骤S5、利用YOLOv3算法对生成的训练集文件进行训练，得到训练权重文件，检测出图像中的行人。
进一步地，所述步骤S5中，YOLOv3算法训练所述训练集文件具体包括以下步骤：步骤S51、通过特征提取网络提取训练集文件中图像的特征，从而获得特征图。
步骤S52、通过把整张特征图的所有像素输入卷积网络通过回归分析得到边界框，所述边界框包含物体的置信度和物体所属的类别。
步骤S53、通过非极大值抑制筛选边界框。
步骤S54、通过计算定位误差、类别误差、置信度误差反向传播更新每层的权重矩阵和偏置。
本发明的有益效果是：本发明基于微处理器来进行行人图像检测，其结构简单，体积小，能够更好地应用于车载场景，通过在多种场景下拍摄获取行人检测图像，再采用YOLOv3算法来对采集到的行人检测图像进行训练，最终筛选出行人检测图像的行人，具有操作简单，准确率高等优点，能够有效提高汽车行驶的安全性。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的检测系统的结构原理框图；
图2是本发明的检测方法的流程图；
图3是采用传统检测方法在白天进行图像行人检测的检测结果图；
图4是采用本发明的检测方法对图3中所检测的图像进行图像行人检测的检测结果图；
图5是采用传统检测方法在夜间进行图像行人检测的检测结果图；
图6是采用本发明的检测方法对图5中所检测的图像进行图像行人检测的检测结果图。
具体实施方式
参照图1至图6，一种基于微处理器的车载行人检测系统，它包括微处理器和摄像模块，所述微处理器与所述摄像模块电连接，所述微处理器设置有：
电源接口，用于连接汽车内的电源模块。
HDMI接口，用于连接汽车上的显示模块。
LAN接口，用于连接本地网络或互联网，其作用在于与汽车的网络系统相连通，以及访问相关的数据库。
USB接口，用于连接汽车上的操作模块(如汽车上的操作按键等)。
进一步地，所述摄像模块为Module V2摄像头，所述微处理器设置有CSI接口，所述Module V2摄像头通过所述CSI接口连接在所述微处理器上，所述微处理器为树莓派3B+；本实施例中，基于微处理器来进行车载行人检测，其结构简单，体积小，能够更好地使用车载场景。
本申请还提供一种基于微处理器的车载行人检测系统的检测方法，它包括以下步骤：步骤S1、通过摄像模块拍摄行人图像或行人视频，采集到行人检测图像。
步骤S2、把采集到的行人检测图像的像素大小统一编辑为416*416，并对采集到的行人检测图像按顺序进行排序命名。
步骤S3、用图片标注工具(本实施例中，采用的图片标注工具为labelimg)对预处理后的行人检测图像中总的行人进行标注，将图片中的目标框出，并生成xml文本，所生成的xml文本的文本名与所述步骤S22中行人检测图像的命名一一对应。
步骤S4、利用软件将xml文本转换成txt文件，作为训练集文件。
步骤S5、利用YOLOv3算法对生成的训练集文件进行训练，得到训练权重文件，检测出图像中的行人，其中，采用YOLOv3算法训练所述训练集文件具体包括以下步骤：
步骤S51、通过特征提取网络提取训练集文件中图像的特征，从而获得特征图，本实施例中，采用Darknet-53特征提取网络来提取图像的特征图。
步骤S52、通过把整张特征图的所有像素输入卷积网络通过回归分析得到边界框，所述边界框包含物体的置信度和物体所属的类别；具体地，本实施例中，采用anchor box进行边界框(Bounding Box，BBox)预测，使用K-means算法获得初始候选边框的参数，聚类的目的是anchor box和实际框有更大的IOU值，先将图片分为S×S个大小相等单元格，每个单元格给定不同大小的候选框，如果物体的中心落在某个单元格内，则该单元格内的3个Anchor box就需要负责去检测该物体，即由候选框与实际框的IOU值最大的Anchor box去预测，而剩余的2个anchor box不与该实际框匹配，然后用卷积层提取特征，以便对目标的获取；在本实施例中，置信度表示是否含有物体和含有物体情况下位置的准确性，定义Pr(Object)与
Figure BDA0002519632200000031
的乘积为置信度，其中，Pr(Object)取值为0或1，表示边界框内存在对象的概率，如果有目标物体落在格子内，则Pr(Object)的值为1，否则Pr(Object)为0，
Figure BDA0002519632200000041
是边界框与实际框的IOU，IOU＝交集部分面积/并集部分面积；本实施例中，对于图像类别的区分采用多尺度预测，用类似FPN的上采样和融合(将前一层的特征图与本层的特征图先堆积再融合，用融合后的特征图检测)，融合3个尺度，在多个尺度的特征图上检测，对小目标的检测效果提升。
步骤S53、通过非极大值抑制筛选边界框，由于目标检测过程存在同一目标的位置上会检测出不同的候选框，而且检测出来的候选框间可能会重叠，而非极大值抑制就是找到最佳的目标候选框，而消除冗余的候选框，本实施例中，使用cv2.dnn.NMSBoxes函数进行非极大值抑制，非最大值抑制阈值设为0.3，在每帧图片上画边框，并输出结果。
步骤S54、通过计算定位误差、类别误差、置信度误差反向传播更新每层的权重矩阵和偏置；本实施例中，通过设置损失函数来评估预测值与真实值差别，具体地，本实施例中，采用和方差损失(Sum-Squared Error Loss，记为SSE)计量目标物体的坐标、置信度和类别的预测值和真实值之间的误差，具体计算公式如下：
Figure BDA0002519632200000042
Figure BDA0002519632200000043
Figure BDA0002519632200000044
Figure BDA0002519632200000045
其中，LOSS1和LOSS2为坐标损失函数，表示当第i个网格的第j个Anchor box负责某个真实目标检测的适合，那么这个Anchor box所产生的Bounding Box就需要和实际框去相比较，由此就可以计算得出中心坐标的误差，其中，λcoord为坐标预测的惩罚系数，在本实施例中，λcoord＝5，S2表示把输入图片划分为S×S个单元格，B是单个网格要预测的边框数，xi和yi分别为预测物体的中心点的横纵坐标，wi、hi分别为预测物体的中心点的坐标的宽高，
Figure BDA0002519632200000046
hi为实际物体的中心点的横纵坐标和宽高；LOSS3为置信度损失函数，由含目标检测物体的预测框的置信度预测和不含目标检测物体的框的置信度预测组成，λnoobj为不包含运动目标时候置信度的惩罚系数，取值为λnoobj＝0.5，Ci表示第i个单元格中存在运动目标预测的置信度，
Figure BDA0002519632200000047
表示第i个单元格中存在运动目标真实的置信度，LOSS4为分类损失函数，
Figure BDA0002519632200000051
与
Figure BDA0002519632200000052
分别为第j个候选框所在的第i个网格是否检测该物体，若是，则
Figure BDA0002519632200000053
若否，则
Figure BDA0002519632200000054
pi(c)和
Figure BDA0002519632200000055
分别表示第i个单元格中运动目标属于某类别预测的与真实概率值。
本实施例中，为了验证行人检测的效果，分别在白天和夜间采用传统检测方法对道路的行人进行检测，并与本申请的检测方法进行比对，具体流程如下：
首先对微处理器进行测试指标设置，所述测试指标包括正确率R、误报率F和漏检率D，假设在一帧所检测完成的图像当中，出现的行人总个数为S，系统正确检测的行人目标的数量个数为r，将非行人的目标错误的检测成为行人目标的数量为f，将行人目标错误判读为非行人目标的数量个数为n；
则所述正确率的计算公式为：R＝r/S，其表示为正确检测到的行人目标的个数与实际的行人总数之间的比值，正确率R越大表示系统的行人检测能力越强；
所述误报率F的计算公式为：F＝f/(f+r)，其表示为将非行人目标错误检测为行人目标的个数与系统出现的行人总个数的之间的比值，误报率F越大表示该系统的分类器的性能和抗干扰能力越差；
所述漏检率D的计算公式为：D＝n/S，其表示被错误判断成非行人目标的个数与实际的行人总数之比，漏检率D越小就说明系统的检测准确度越高。
随后，在白天采用传统检测方法对道路的行人进行检测，并与本申请的检测方法进行对比，参照图3和图4，当检测图片中出现行人目标较模糊且人物身体部位有交叠或遮挡时，可看到，传统的检测方法会出现漏检的问题，相较而言，本申请的检测方法的检测结果要更好，图片中出现的人们都能被一一检测出，其准确率大大提高；为了进一步验证结果，本实施例中，在白天进行了更多的行人检测，参照表1：
表1白天不同方法下行人检测数据表
Figure BDA0002519632200000056
由上面可以看出，在白天光线较好的条件下，用YOLOv3方法检测的正确率为98％，而传统检测方法的正确率仅为65.7％；用YOLOv3方法检测的误报率为4.7％，而传统检测方法的误报率为28.5％；用YOLOv3方法检测的漏检率为1.9％，而传统检测方法的漏检率为34％；因此，本申请的系统所采用的检测方法在正确率、漏检率、误报率等检测效果都要优于传统检测方法的行人检测。
最后，再在夜间采用传统检测方法对道路的行人进行检测，并与本申请的检测方法进行对比，参照图5和图6，在夜间室内拍摄，行人的姿态更加复杂，且还出现抓拍行人图像模糊等情况，在多重因素是干扰下，对传统方法的冲击较大，造成检测结果不理想，故准确率低，而相对于本申请的检测方法而言，则不会出现漏检的情况，为了进一步验证结果，本实施例中，在夜间进行了更多的行人检测，参照表2：
表2夜间不同方法下行人检测数据表
Figure BDA0002519632200000061
由上面可以看出，在夜间光线条件不好的条件下，用YOLOv3方法检测的正确率为92.8％，而传统检测方法的正确率仅为60.4％；用YOLOv3方法检测的误报率为6.5％，而传统检测方法的误报率为32.4％；用YOLOv3方法检测的漏检率为5.6％，而传统检测方法的漏检率为39.5％；因此，在夜间，本申请的系统所采用的检测方法在正确率、漏检率、误报率等检测效果都要优于传统检测方法的行人检测。
以上的实施方式不能限定本发明创造的保护范围，专业技术领域的人员在不脱离本发明创造整体构思的情况下，所做的均等修饰与变化，均仍属于本发明创造涵盖的范围之内。

Claims (5)

1.一种基于微处理器的车载行人检测系统，其特征在于它包括微处理器和摄像模块，所述微处理器与所述摄像模块电连接，所述微处理器设置有：
电源接口，用于连接汽车内的电源模块；
HDMI接口，用于连接汽车上的显示模块；
LAN接口，用于连接本地网络或互联网；
USB接口，用于连接汽车上的操作模块。
2.根据权利要求1所述的基于微处理器的车载行人检测系统，其特征在于所述摄像模块为Module V2摄像头，所述微处理器设置有CSI接口，所述Module V2摄像头通过所述CSI接口连接在所述微处理器上。
3.根据权利要求1所述的基于微处理器的车载行人检测系统，其特征在于所述微处理器为树莓派3B+。
4.一种基于微处理器的车载行人检测系统的检测方法，其特征在于它包括以下步骤：
步骤S1、通过摄像模块拍摄行人图像或行人视频，采集到行人检测图像；
步骤S2、把采集到的行人检测图像的像素大小统一编辑为416*416，并对采集到的行人检测图像按顺序进行排序命名；
步骤S3、用图片标注工具对预处理后的行人检测图像中总的行人进行标注，将图片中的目标框出，并生成xml文本，所生成的xml文本的文本名与所述步骤S22中行人检测图像的命名一一对应；
步骤S4、利用软件将xml文本转换成txt文件，作为训练集文件；
步骤S5、利用YOLOv3算法对生成的训练集文件进行训练，得到训练权重文件，检测出图像中的行人。
5.根据权利要求4所述的基于微处理器的车载行人检测系统的检测方法，其特征在于所述步骤S5中，YOLOv3算法训练所述训练集文件具体包括以下步骤：
步骤S51、通过特征提取网络提取训练集文件中图像的特征，从而获得特征图；
步骤S52、通过把整张特征图的所有像素输入卷积网络通过回归分析得到边界框，所述边界框包含物体的置信度和物体所属的类别；
步骤S53、通过非极大值抑制筛选边界框；
步骤S54、通过计算定位误差、类别误差、置信度误差反向传播更新每层的权重矩阵和偏置。
CN202010493500.9A 2020-06-02 2020-06-02 一种基于微处理器的车载行人检测系统及检测方法 Pending CN111652134A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010493500.9A CN111652134A (zh) 2020-06-02 2020-06-02 一种基于微处理器的车载行人检测系统及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010493500.9A CN111652134A (zh) 2020-06-02 2020-06-02 一种基于微处理器的车载行人检测系统及检测方法

Publications (1)

Publication Number Publication Date
CN111652134A true CN111652134A (zh) 2020-09-11

Family

ID=72343876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010493500.9A Pending CN111652134A (zh) 2020-06-02 2020-06-02 一种基于微处理器的车载行人检测系统及检测方法

Country Status (1)

Country Link
CN (1) CN111652134A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN110097109A (zh) * 2019-04-25 2019-08-06 湖北工业大学 一种基于深度学习的道路环境障碍物检测系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN110097109A (zh) * 2019-04-25 2019-08-06 湖北工业大学 一种基于深度学习的道路环境障碍物检测系统及方法

Similar Documents

Publication Publication Date Title
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN103902976B (zh) 一种基于红外图像的行人检测方法
CN102867417B (zh) 一种出租车防伪系统及方法
CN111414861A (zh) 基于深度学习实现行人及非机动车辆检测处理的方法
CN110610153A (zh) 一种用于自动驾驶的车道识别方法及系统
CN112084928A (zh) 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法
CN106339657A (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN110852164A (zh) 一种基于YOLOv3的自动检测违章建筑方法及系统
CN112837315A (zh) 一种基于深度学习的输电线路绝缘子缺陷检测方法
CN114049572A (zh) 识别小目标的检测方法
CN112836657A (zh) 一种基于轻量化YOLOv3的行人检测方法及系统
WO2024051296A1 (zh) 一种复杂天气下障碍物检测方法及装置
CN106991821A (zh) 违章车辆用手持移动终端数据采集系统
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
CN112560852A (zh) 基于YOLOv3网络具有旋转适应能力的单阶段目标检测方法
CN114596278A (zh) 一种用于光伏电站的光伏面板热斑缺陷检测方法及装置
CN113449632A (zh) 一种基于融合感知的视觉与雷达感知算法优化方法、系统及汽车
CN115409789A (zh) 基于图像语义分割的输电线路工程缺陷检测方法
CN114639067A (zh) 一种基于注意力机制的多尺度全场景监控目标检测方法
CN113158954A (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN116229424A (zh) 基于改进YOLO v3的智能网联汽车行人检测方法
CN105574490A (zh) 基于车前灯图像特征的车辆品牌识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination