CN110956156A - 一种基于深度学习的闯红灯检测系统 - Google Patents

一种基于深度学习的闯红灯检测系统 Download PDF

Info

Publication number
CN110956156A
CN110956156A CN201911279731.3A CN201911279731A CN110956156A CN 110956156 A CN110956156 A CN 110956156A CN 201911279731 A CN201911279731 A CN 201911279731A CN 110956156 A CN110956156 A CN 110956156A
Authority
CN
China
Prior art keywords
neural network
red light
image
detected
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911279731.3A
Other languages
English (en)
Inventor
李家兴
吴军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhongke Kaize Technology Co ltd
Original Assignee
Guangzhou Zhongke Kaize Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhongke Kaize Technology Co ltd filed Critical Guangzhou Zhongke Kaize Technology Co ltd
Priority to CN201911279731.3A priority Critical patent/CN110956156A/zh
Publication of CN110956156A publication Critical patent/CN110956156A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的闯红灯检测系统，其包括检测模块；所述检测模块用于使用卷积神经网络对所述待检测图像进行检测，通过检测所述检测图像中的红绿灯处于红灯状态时，监控区域中是否存在行人来获得检测结果，所述检测结果为所述待检测图像中是否存在行人闯红灯行为。本发明通过构建建立基于深度学习的卷积神经网络，并使用所述卷积神经网络对监控区域中是否存在行人来进行检测，解决了传统识别技术中行人识别不准确的问题。

Description

一种基于深度学习的闯红灯检测系统
技术领域
本发明涉及智能交通领域，具体涉及一种基于深度学习的闯红灯检测系统。
背景技术
闯红灯行为在各地屡见不鲜，国外亦是如此，此等行为产生了严重的交通隐患，每年因闯红灯导致的交通事故不计其数，对人身财产安全造成了极大的影响。随着摄像头的普及应用，大大小小的场所活动都在人们的监管下有序进行，消除了大部分因个人原因导致的不安全因素。但是斑马线的行人监管，往往只是靠行人的自觉，不能有效地管控行人是否存在闯红灯行为。可采用摄像头大量布防的方式，通过人工监管，及时语音提醒，防止闯红灯的行为再次发生。但是人力工作方式有很大的弊端，长时间监管会导致视觉疲劳，降低工作效率，同时因摄像头过多，导致监管人员数量大量提升，成本较高。随着科学技术的进步，深度学习的长足发展，传统的视频或图像识别技术虽然在一定程度上能解决摄像头监管问题，但是存在遮挡限制和光线限制的缺陷。因此现有技术中闯红灯检测主要存在检测不精准的问题。
发明内容
针对上述问题，本发明提供了一种基于深度学习的闯红灯检测系统，其包括输入模块、输出模块和检测模块；
所述输入模块用于获取待检测图像，并将所述待检测图像传输到所述检测模块；
所述检测模块用于检测所述待检测图像中的红绿灯处于红灯状态时，采用训练好的卷积神经网络检测所述待检测图像的监控区域中是否存在行人，获取是否存在行人闯红灯行为的检测结果；
所述输出模块用于展示所述输出结果。
优选地，所述检测模块包括建模子模块、判断子模块；
所述建模子模块用于建立基于深度学习的卷积神经网络；所述判断子模块用于判断所述检测图像中的红绿灯处于红灯状态时，监控区域中是否存在行人来获得检测结果，所述检测结果为所述待检测图像中是否存在行人闯红灯行为。
优选地，所述建模子模块包括神经网络构建单元、神经网络训练单元；
所述神经网络构建单元用于构建卷积神经网络；所述神经网络训练单元对所述卷积神经网络进行训练，获得训练好的卷积神经网络。
本发明的有益效果为：本发明通过构建建立基于深度学习的卷积神经网络，并使用所述卷积神经网络对监控区域中是否存在行人来进行检测，解决了传统识别技术中行人识别不准确的问题。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1，为本发明一种基于深度学习的闯红灯检测系统的一种示例性实施例图。
图2，为本发明的技术方案总体框架的一种示例性实施例图。
图3，为本发明卷积神经网络的的架构的一种示例性实施例图。
图4，为本发明残差网络架构的一种示例性实施例图。
图5，为本发明前端网络的一种示例性实施例图。
图6，为本发明后端网络的一种示例性实施例图。
图7，为本发明红绿灯区域的选取的一种示例性实施例图。
图8，为使用掩模分析法进行行人检测导致行人漏检的示意图。
附图标记：输入模块1、检测模块2、输出模块3。
具体实施方式
结合以下实施例对本发明作进一步描述。
如图1所示，本发明的一种基于深度学习的闯红灯检测系统，其包括输入模块1、输出模块2和检测模块3；
所述输入模块1用于获取待检测图像，并将所述待检测图像传输到所述检测模块2；
所述检测模块2用于检测所述待检测图像中的红绿灯处于红灯状态时，采用训练好的卷积神经网络检测所述待检测图像的监控区域中是否存在行人，获取是否存在行人闯红灯行为的检测结果；
所述输出模块3用于展示所述输出结果。
在一种实施方式中，所述检测模块2包括建模子模块、判断子模块；
所述建模子模块用于建立基于深度学习的卷积神经网络；所述判断子模块用于判断所述检测图像中的红绿灯处于红灯状态时，监控区域中是否存在行人来获得检测结果，所述检测结果为所述待检测图像中是否存在行人闯红灯行为。
在一种实施方式中，所述建模子模块包括神经网络构建单元、神经网络训练单元；
所述神经网络构建单元用于构建卷积神经网络；所述神经网络训练单元对所述卷积神经网络进行训练，获得训练好的卷积神经网络。
本发明技术方案总体框架如图2所示。
在一种实施方式中，参见图3，所述神经网络构建单元用于构建卷积神经网络，包括：
构建包括前端网络和后端网络的卷积神经网络，
采用开源数据集ImageNet2012对前端网络进行分类训练，获取卷积神经网络的初始化权重和偏置。
本发明上述实施例，解决了现有技术中，因采用随机初始化的方式初始化卷积神经网络，导致的现梯度不下降或者造成网络局部最小的问题。
网络架构设计好后，如何训练此网络使之能准确检测目标成为了算法的关键。因神经网络采用随机初始化网络架构，很容易出现梯度不下降或者造成网络局部最小，因此本发明采用预训练模型进行微调。预训练指的是采用开源数据集ImageNet2012进行前端网络的分类训练，得到网络的初始权重和偏置。同时预训练网络需要完成高精度的网络分类来证明该网络的数据解析能力，所以针对此网络，我们对比了以往流行的分类网络，如表1所示。其中Top-1表示只猜一次得到结果的概率，Top-5表示连续猜5次得到结果的概率,表1中的Ours表示本发明的预训练方式。在得到初始权重和偏置后对整个网络进行目标检测数据的微调。
表1网络预训练准确率
Model Top-1 Top-5
AlexNet 57.0 80.3
VGG16 70.5 90.0
ResNet101 77.1 93.7
Ours 78.2 93.8
在一种实施方式中，所述卷积神经网络的前端网络，包括：
卷积层conv1，采用3x3卷积核，步长为1，输出特征图通道为32；
卷积层conv2，采用3x3卷积核，步长为2，输出特征图通道为64；
卷积层conv3总体采用残差网络架构，所述残差网络架构如附图4所示。其中卷积层conv3_1，采用1x1卷积核，步长为1，输出特征图通道为32；卷积层conv3_2，采用3x3卷积核，步长为1，输出特征图通道为64；
卷积层conv4，采用3x3卷积核，步长为2，输出特征图通道为128；
卷积层conv5总体采用残差网络架构，其中卷积层conv5_1，采用1x1卷积核，步长为1，输出特征图通道为64；卷积层conv5_2，采用3x3卷积核，步长为1，输出特征图通道为128；
卷积层conv6总体采用残差网络架构，其中卷积层conv6_1，采用1x1卷积核，步长为1，输出特征图通道为64；卷积层conv6_2，采用3x3卷积核，步长为1，输出特征图通道为128；
卷积层conv7，采用3x3卷积核，步长为2，输出特征图通道为256；
卷积层conv8总体采用残差网络架构，其中卷积层conv8_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv8_2，采用3x3卷积核，步长为1，输出特征图通道为256；
卷积层conv9总体采用残差网络架构，其中卷积层conv9_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv9_2，采用3x3卷积核，步长为1，输出特征图通道为256；
卷积层conv10总体采用残差网络架构，其中卷积层conv10_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv10_2，采用3x3卷积核，步长为1，输出特征图通道为256；
卷积层conv11总体采用残差网络架构，其中卷积层conv11_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv11_2，采用3x3卷积核，步长为1，输出特征图通道为256；
卷积层conv12总体采用残差网络架构，其中卷积层conv12_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv12_2，采用3x3卷积核，步长为1，输出特征图通道为256；
卷积层conv13总体采用残差网络架构，其中卷积层conv13_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv13_2，采用3x3卷积核，步长为1，输出特征图通道为256；
卷积层conv14总体采用残差网络架构，其中卷积层conv14_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv14_2，采用3x3卷积核，步长为1，输出特征图通道为256；
卷积层conv15总体采用残差网络架构，其中卷积层conv15_1，采用1x1卷积核，步长为1，输出特征图通道为128；卷积层conv15_2，采用3x3卷积核，步长为1，输出特征图通道为256；
卷积层conv16，采用3x3卷积核，步长为2，输出特征图通道为512；
卷积层conv17总体采用残差网络架构，其中卷积层conv17_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv17_2，采用3x3卷积核，步长为1，输出特征图通道为512；
卷积层conv18总体采用残差网络架构，其中卷积层conv18_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv18_2，采用3x3卷积核，步长为1，输出特征图通道为512；
卷积层conv19总体采用残差网络架构，其中卷积层conv19_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv19_2，采用3x3卷积核，步长为1，输出特征图通道为512；
卷积层conv20总体采用残差网络架构，其中卷积层conv20_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv20_2，采用3x3卷积核，步长为1，输出特征图通道为512；
卷积层conv21总体采用残差网络架构，其中卷积层conv21_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv21_2，采用3x3卷积核，步长为1，输出特征图通道为512；
卷积层conv22总体采用残差网络架构，其中卷积层conv22_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv22_2，采用3x3卷积核，步长为1，输出特征图通道为512；
卷积层conv23总体采用残差网络架构，其中卷积层conv23_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv23_2，采用3x3卷积核，步长为1，输出特征图通道为512；
卷积层conv24总体采用残差网络架构，其中卷积层conv24_1，采用1x1卷积核，步长为1，输出特征图通道为256；卷积层conv24_2，采用3x3卷积核，步长为1，输出特征图通道为512；
卷积层conv25，采用3x3卷积核，步长为2，输出特征图通道为1024；
卷积层conv26总体采用残差网络架构，其中卷积层conv26_1，采用1x1卷积核，步长为1，输出特征图通道为512；卷积层conv26_2，采用3x3卷积核，步长为1，输出特征图通道为1024；
卷积层conv27总体采用残差网络架构，其中卷积层conv27_1，采用1x1卷积核，步长为1，输出特征图通道为512；卷积层conv27_2，采用3x3卷积核，步长为1，输出特征图通道为1024；
卷积层conv28总体采用残差网络架构，其中卷积层conv28_1，采用1x1卷积核，步长为1，输出特征图通道为512；卷积层conv28_2，采用3x3卷积核，步长为1，输出特征图通道为1024；
卷积层conv29总体采用残差网络架构，其中卷积层conv29_1，采用1x1卷积核，步长为1，输出特征图通道为512；卷积层conv29_2，采用3x3卷积核，步长为1，输出特征图通道为1024。
前端网络的组成结构如附图5所示。
在一种实施方式中，所述卷积神经网络的后端网络，包括：
卷积层conv30_1，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv30_2，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv30_3，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv30_4，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv30_5，采用3x3卷积核，步长为1，输出特征图通道为1024；
卷积层conv31_1，采用3x3卷积核，步长为1，输出特征图通道为1024；卷积层conv31_2，采用1x1卷积核，步长为1，输出特征图通道为1024；输出特征1，输出特征图通道为18。
卷积层conv32，采用1x1卷积核，步长为1，输出特征图通道为256；上采样层unsample，输出特征图通道为256；
卷积层conv33_1，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv33_2，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv33_3，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv33_4，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv33_5，采用3x3卷积核，步长为1，输出特征图通道为256；
卷积层conv34_1，采用3x3卷积核，步长为1，输出特征图通道为256；卷积层conv34_2，采用1x1卷积核，步长为1，输出特征图通道为256；输出特征2，输出特征图通道为18。
卷积层conv35，采用1x1卷积核，步长为1，输出特征图通道为128；上采样层unsample，输出特征图通道为128；
卷积层conv36_1，采用3x3卷积核，步长为1，输出特征图通道为128；卷积层conv36_2，采用3x3卷积核，步长为1，输出特征图通道为128；卷积层conv36_3，采用3x3卷积核，步长为1，输出特征图通道为128；卷积层conv36_4，采用3x3卷积核，步长为1，输出特征图通道为128；卷积层conv36_5，采用3x3卷积核，步长为1，输出特征图通道为128；
卷积层conv37_1，采用3x3卷积核，步长为1，输出特征图通道为128；卷积层conv37_2，采用1x1卷积核，步长为1，输出特征图通道为128；输出特征3，输出特征图通道为18。
后端网络的组成结构如附图6所示。
在一种实施方式中，所述神经网络训练单元包括：
训练数据选取子单元、训练数据预处理子单元、先验框确定子单元、损失函数定义子单元、训练子单元；
所述训练数据准备子单元用于选取用来训练所述卷积神经网络的训练数据；
所述训练数据预处理子单元用于对所述训练数据进行归一化处理和数据增强处理，获取预处理数据；
所述先验框确定子单元用于获取对所述卷积神经网络进行训练时使用的先验框；
所述损失函数定义子单元用于定义对所述卷积神经网络进行训练时使用的损失函数；
所述训练子单元用于使用所述预处理数据、先验框以及损失函数对所述卷积神经网络进行训练，所述训练包括更新所述权重。
在一种实施方式中，所述选取用来训练所述卷积神经网络的训练数据，包括：
选取VOC2012数据集中的行人类数据集和自标注数据集作为所述训练数据；
所述自标注数据集是采用LabelImg工具对取自真实应用场景数据集进行行人标签的标注得到的数据集。
本发明上述实施例，在选取训练数据时，主要提取的是VOC2012数据集中的行人类数据集，有利于增强训练数据的鲁棒性，而对对取自真实应用场景数据集进行行人标签的标注，则有利于更加精准地完成行人检测。
在一种实施方式中，所述对所述训练数据进行归一化处理和数据增强处理，获取预处理数据，包括：
采用缩放因子1/255对所述训练数据进行归一化处理，将其归一化至(0,1)区间；
增强处理的方式包括镜像化处理、模糊化处理、灰度化处理和加噪声处理；
所述镜像化处理包括：将训练数据中的原始图像按照中心垂直线进行左右翻转，得到反转图像；
所述模糊化处理，包括：采用高斯模糊方式，对训练数据中的原始图像进行模糊化处理，得到模糊化图像；
所述灰度化处理，包括：对训练数据中的原始图像进行灰度化处理，获得灰度化图像；
所述加噪声处理，包括：对训练数据中的原始图像随机取点进行椒盐噪声的添加，获得噪声图像。
本发明上述实施例，对训练数据进行归一化处理，有效降低训练数据中的原始图像的信息丢失的几率，也避免了某些特殊激活函数导致的网络训练无法收敛的问题。而增强处理则是模拟实际使用场景中获取图片时会遇到的问题，以加强卷积神经网络的准确性。
在一种实施方式中，所述获取对所述卷积神经网络进行训练时使用的先验框，包括：
采用K-means聚类得到先验框的种类为3种，为每种类型的先验框设定3种尺度的先验框；一共有9个先验框，这9个先验框的尺寸分别是：10x13，16x30，33x23，30x61，62x45，59x119，116x90，156x198，373x326；在分配上，在最小的13*13的特征图上(有最大的感受野)应用较大尺寸的先验框116x90，156x198，373x326，适合检测较大的对象；在中等的26*26的特征图上(中等感受野)应用中等尺寸的先验框30x61，62x45，59x119，适合检测中等大小的对象；在较大的52*52特征图上(较小的感受野)应用较小尺寸的先验框10x13，16x30，33x23，适合检测较小的对象。
在一种实施方式中，所述定义对所述卷积神经网络进行训练时使用的损失函数，包括：
对不同的部分采用了不同的权重值；首先区分定位误差和分类误差；对于定位误差，即边界框坐标预测误差，采用较大的权重λcoord＝5；然后其区分不包含目标的边界框与含有目标的边界框的置信度，对于前者，采用较小的权重值λnoobj＝0.5；其它权重值均设为1；然后采用均方误差，其同等对待大小不同的边界框，但是实际上较小的边界框的坐标误差应该要比较大的边界框要更敏感；为了保证这一点，将网络的边界框的宽与高预测改为对其平方根的预测，即预测值变为(x,y,
Figure BDA0002316381630000071
)；因此损失函数loss定义如下：
Figure BDA0002316381630000081
式中，λcoord表示坐标误差系数，S2表示图片划分网格的个数，B表示每个网格先验框的个数，
Figure BDA0002316381630000082
表示发现目标时，第i个网格中的第j个先验框是否负责该目标的预测，(xi,yi)表示人为标注的所述目标的外接框的中心坐标；
Figure BDA0002316381630000083
表示卷积神经网络生成的先验框的中心坐标；(wi,hi)表示所述外接框的宽度和高度；
Figure BDA0002316381630000084
表示所述先验框的宽度和高度；λnoobj表示不包含目标时的误差系数；
Figure BDA0002316381630000085
表示未发现目标时，第i个网格中的第j个先验框是否负责该目标的预测，Ci表示包含目标的实际概率，
Figure BDA0002316381630000086
为预测的包含目标的概率，
Figure BDA0002316381630000087
表示第i个网格中包含目标的中心点，pi(c)表示实际的目标类别，
Figure BDA0002316381630000088
表示预测的目标类别，classes表示所有目标类别的集合，c表示所述集合中第c个元素。
其中第一项是目标外接框中心坐标的误差项，第二项是目标外接框的高与宽的误差项。第三项是包含目标的目标外接框的置信度误差项。第四项是不包含目标的目标外接框的置信度误差项。而第五项是包含目标的单元格的分类误差项。
在一种实施方式中，所述判断子模块包括红绿灯状态识别单元，检测区域识别单元，行人检测单元，判断单元；
所述红绿灯状态识别单元用于判断所述待检测图像中红绿灯是否处于红灯状态；
所述检测区域识别单元用于识别出所述待检测图像中对行人闯红灯行为进行检测的监控区域；
所述行人检测单元用于调用所述训练好的卷积神经网络检测所述待检测图像中是否存在行人；
所述判断单元用于先调用红绿灯状态识别单元判断所述待检测图像中的红绿灯是否处于红灯状态，若是，对所述待检测图像进行闯红灯检测，否则，不对所述待检测图像进行闯红灯检测；
所述闯红灯检测包括：通过调用所述检测区域识别单元和行人检测单元，判断所述监控区域中是否存在行人，若是，则所述检测结果为为所述待检测图像中存在行人闯红灯行为，否则，所述检测结果为所述待检测图像中不存在行人闯红灯行为。
在一种实施方式中，所述监控区域包括斑马线区域。
在一种实施方式中，所述判断所述待检测图像中红绿灯是否处于红灯状态，包括：
采用RGB颜色空间判断红绿灯颜色，因颜色空间中红色R要比绿色蓝色G/B两个都大一定的值，所以可以通过R、B、G取值范围来判断红色区域是否存在，且计算红色区域的比例，红色区域在RGB颜色空间中有着一定的范围，且该范围和绿色以及蓝色有关：
Red∈(R＞180&&G＜70&&B＜70)||(R-G＞50&&R-B＞50)
上式中，Red表示红色区域，R表示红色，G表示绿色，B表示蓝色；得知红色区域为当红色大于180，同时绿色大于70和蓝色大于70，或者当红色值比绿色值大50且比蓝色值大50；
Figure BDA0002316381630000091
上式中，计算了红色区域所占整个红绿灯区域的比例red_percent，red_count表示红色像素点数量，all_count表示整个红绿灯区域像素点的总数，通过预设的阈值0.15，可以判断红绿灯区域颜色，当所述比例大于等于0.15时表示所述待检测图像中红绿灯处于红灯状态，小于0.15时表示所述红绿灯处于非红灯状态；
因某些红绿灯立柱的颜色接近红色，所以红绿灯区域选择不可过大，当然过小也会导致无法检测红绿灯。最佳的红绿灯区域位置为红绿灯边缘框，如图7所示，此框既不会造成外围红色区域影响到红灯判断，也不会造成红色区域过小导致红色与绿色比例不协调的问题。
本发明上述实施例，通过设定现场阈值，可以判断红绿灯区域颜色，因白天和黑夜会显现不同干扰颜色，故通过多场景比对，最终确定0.15为最佳阈值，即当红色区域比例大于等于0.15时表示红灯，小于0.15时表示绿灯。有效地解决了传统识别技术中由于红绿灯区域光线变化导致红绿灯识别不准确的问题。
在一种实施方式中，所述判断所述监控区域中是否存在行人，包括：
若在所述待检测图像中检测不到行人，则所述监控区域中不存在行人；
否则，在检测到所述待检测图像中存在行人后，将所述待检测图像中的行人用最小外接框进行标注，获得行人区域框；
判断所述行人区域框左下角和右下角两个角点是否均处于监控区域中，若是，则所述监控区域中存在行人，否则，所述监控区域中不存在行人。
本发明上述实施例，避免了传统识别技术中的漏检问题，对规定区域进行目标检测时，通过Mask思想进行掩模分析，即将规定区域以外的地方进行处理，一般的处理方式是图像全黑或者全白，让其他区域不会干扰目标检测，即可完成规定区域的目标检测。但是存在如图8所示的情况，当行人只出现部分肢体在待检测区域内，此时从功能角度来看，该行人应该属于待检测区域，可一旦我们将其另外肢体屏蔽，从算法角度来看会存在漏检，只能判断为单人出现，误报就会产生。而本发明上述实施例则可以很好的避免上述问题。
本发明采用的是VOC2007-test作为行人检测的测试数据集，AP作为算法准确率的计算方式，用以验证算法的准确性，AP的定义如公式(1)所示。
Figure BDA0002316381630000101
其中pinterp(r)是超过r的recall中对应的最大precision值，又Precision＝TP/(TP+FP),Recall＝TP/(TP+FN)。
经过测试，本发明得到了88.5的AP值，并能准确检测行人位置。相较于以往实验，本发明很好地完成了行人检测的功能，如表2所示，Ours表示本发明采用的算法。
表2算法准确率比对表
Models AP-person Speed(ms)
YOLOV2-544 81.3 29
SSD-512 83.3 50
Ours 88.5 30
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质
包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (7)

1.一种基于深度学习的闯红灯检测系统，其特征在于，其包括输入模块、输出模块和检测模块；所述输入模块用于获取待检测图像，并将所述待检测图像传输到所述检测模块；所述检测模块用于检测所述待检测图像中的红绿灯处于红灯状态时，采用训练好的卷积神经网络检测所述待检测图像的监控区域中是否存在行人，获取是否存在行人闯红灯行为的检测结果；所述输出模块用于展示所述输出结果。
2.根据权利要求1所述的一种基于深度学习的闯红灯检测系统，其特征在于，所述检测模块包括建模子模块、判断子模块；所述建模子模块用于建立基于深度学习的卷积神经网络；所述判断子模块用于判断所述检测图像中的红绿灯处于红灯状态时，监控区域中是否存在行人来获得检测结果，所述检测结果为所述待检测图像中是否存在行人闯红灯行为。
3.根据权利要求2所述的一种基于深度学习的闯红灯检测系统，其特征在于，所述建模子模块包括神经网络构建单元、神经网络训练单元；所述神经网络构建单元用于构建卷积神经网络；所述神经网络训练单元对所述卷积神经网络进行训练，获得训练好的卷积神经网络。
4.根据权利要求2所述的一种基于深度学习的闯红灯检测系统，其特征在于，所述判断子模块包括红绿灯状态识别单元，检测区域识别单元，行人检测单元，判断单元；
所述红绿灯状态识别单元用于判断所述待检测图像中红绿灯是否处于红灯状态；
所述检测区域识别单元用于识别出所述待检测图像中对行人闯红灯行为进行检测的监控区域；
所述行人检测单元用于调用所述训练好的卷积神经网络检测所述待检测图像中是否存在行人；
所述判断单元用于先调用红绿灯状态识别单元判断所述待检测图像中的红绿灯是否处于红灯状态，若是，对所述待检测图像进行闯红灯检测，否则，不对所述待检测图像进行闯红灯检测；
所述闯红灯检测包括：通过调用所述检测区域识别单元和行人检测单元，判断所述监控区域中是否存在行人，若是，则所述检测结果为为所述待检测图像中存在行人闯红灯行为，否则，所述检测结果为所述待检测图像中不存在行人闯红灯行为。
5.根据权利要求3所述的一种基于深度学习的闯红灯检测系统，其特征在于，所述神经网络构建单元用于构建卷积神经网络，包括：
构建包括前端网络和后端网络的卷积神经网络，
采用开源数据集ImageNet2012对前端网络进行分类训练，获取卷积神经网络的初始化权重和偏置。
6.根据权利要求3所述的一种基于深度学习的闯红灯检测系统，其特征在于，所述神经网络训练单元包括：
训练数据选取子单元、训练数据预处理子单元、先验框确定子单元、损失函数定义子单元、训练子单元；
所述训练数据准备子单元用于选取用来训练所述卷积神经网络的训练数据；
所述训练数据预处理子单元用于对所述训练数据进行归一化处理和数据增强处理，获取预处理数据；
所述先验框确定子单元用于获取对所述卷积神经网络进行训练时使用的先验框；
所述损失函数定义子单元用于定义对所述卷积神经网络进行训练时使用的损失函数；
所述训练子单元用于使用所述预处理数据、先验框以及损失函数对所述卷积神经网络进行训练，所述训练包括更新所述权重。
7.根据权利要求4所述的一种基于深度学习的闯红灯检测系统，其特征在于，所述判断所述监控区域中是否存在行人，包括：
若在所述待检测图像中检测不到行人，则所述监控区域中不存在行人；
否则，在检测到所述待检测图像中存在行人后，将所述待检测图像中的行人用最小外接框进行标注，获得行人区域框；
判断所述行人区域框左下角和右下角两个角点是否均处于监控区域中，若是，则所述监控区域中存在行人，否则，所述监控区域中不存在行人。
CN201911279731.3A 2019-12-13 2019-12-13 一种基于深度学习的闯红灯检测系统 Withdrawn CN110956156A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911279731.3A CN110956156A (zh) 2019-12-13 2019-12-13 一种基于深度学习的闯红灯检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911279731.3A CN110956156A (zh) 2019-12-13 2019-12-13 一种基于深度学习的闯红灯检测系统

Publications (1)

Publication Number Publication Date
CN110956156A true CN110956156A (zh) 2020-04-03

Family

ID=69981308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911279731.3A Withdrawn CN110956156A (zh) 2019-12-13 2019-12-13 一种基于深度学习的闯红灯检测系统

Country Status (1)

Country Link
CN (1) CN110956156A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495032A (zh) * 2022-04-14 2022-05-13 科大天工智能装备技术（天津）有限公司 一种交通违法行为监测方法、系统及智慧灯杆

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495032A (zh) * 2022-04-14 2022-05-13 科大天工智能装备技术（天津）有限公司 一种交通违法行为监测方法、系统及智慧灯杆
CN114495032B (zh) * 2022-04-14 2022-07-19 科大天工智能装备技术（天津）有限公司 一种交通违法行为监测方法、系统及智慧灯杆

Similar Documents

Publication Publication Date Title
CN110619750B (zh) 面向违停车辆的智能航拍识别方法及系统
CN110569772B (zh) 一种泳池内人员状态检测方法
CN106599792B (zh) 一种手部驾驶违规行为的检测方法
CN106250845A (zh) 基于卷积神经网络的火焰检测方法及装置
US20210192227A1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN107833221A (zh) 一种基于多通道特征融合和机器学习的漏水监测方法
CN105574550A (zh) 一种车辆识别方法及装置
CN113822247B (zh) 基于航拍影像的违章建筑识别方法及系统
CN109255350A (zh) 一种基于视频监控的新能源车牌检测方法
CN113947766B (zh) 一种基于卷积神经网络的实时车牌检测方法
CN107944403A (zh) 一种图像中的行人属性检测方法及装置
CN111724566A (zh) 基于智慧灯杆视频监控系统的行人跌倒检测方法和装置
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
CN110245544A (zh) 一种确定停车状态的方法及装置
CN111797726A (zh) 一种火焰检测方法、装置、电子设备及存储介质
CN114049325A (zh) 轻量化人脸口罩佩戴检测模型的构建方法及应用
CN112270381A (zh) 基于深度学习的人流量检测方法
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN114332781A (zh) 一种基于深度学习的智能车牌识别方法及系统
CN110956156A (zh) 一种基于深度学习的闯红灯检测系统
CN117475353A (zh) 基于视频的异常烟雾识别方法及系统
CN110516538B (zh) 基于深度学习目标检测的监狱双人离岗违规评估方法
CN117294818A (zh) 一种用于机场施工的工地全景监控方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN112183287A (zh) 一种移动机器人在复杂背景下的人数统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200403

WW01 Invention patent application withdrawn after publication