CN112016510B - 基于深度学习的信号灯识别方法和装置、设备及存储介质 - Google Patents
基于深度学习的信号灯识别方法和装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112016510B CN112016510B CN202010930268.0A CN202010930268A CN112016510B CN 112016510 B CN112016510 B CN 112016510B CN 202010930268 A CN202010930268 A CN 202010930268A CN 112016510 B CN112016510 B CN 112016510B
- Authority
- CN
- China
- Prior art keywords
- signal lamp
- image data
- loss
- diou
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013135 deep learning Methods 0.000 title claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 56
- 230000006870 function Effects 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 50
- 238000000605 extraction Methods 0.000 claims description 29
- 238000010586 diagram Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000011176 pooling Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例属于人工智能领域，应用于智慧城市领域中,涉及一种基于深度学习的信号灯识别方法、装置、计算机设备及存储介质，该方法包括：接收图像采集设备发送的道路图像数据；将所述道路图像数据输入至基于DIOU‑YOLOv3算法以及DIOU损失的识别模型进行识别操作，得到信号灯标识信息；输出所述信号灯标识信息。此外，本申请还涉及区块链技术，图像采集设备发送的道路图像数据可存储于区块链中。本申请通过对传统“YOLOv3算法”进行改进，即在原先的损失函数中增加了一种新的DIOU损失，使得识别模型更加精准地拟合信号灯检测框的位置和大小，从而进一步提高了交通信号灯识别的整体准确率和召回率，新的DIOU损失函数可以加快模型的收敛，并且可以使模型的鲁棒性更强。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于深度学习的信号灯识别方法和装置、计算机设备及存储介质。
背景技术
随着车辆闯红灯违法行为的不断增加，对交通卡口图像中的信号灯进行快速定位与识别，成为智能交通系统中极其重要的环节。
现有一种信号灯识别方法，即基于YOLOv3的深度学习方法对交通卡口图像中的信号灯进行定位与识别。
然而，传统的信号灯识别方法普遍不智能，当交通卡口存在较多机动车辆时，由于过多机动车辆的前大灯发出干扰光线，从而降低交通卡口图像采集信号灯的清晰度，进而降低传统的信号灯识别方法的准确率。
当在夜间、雨天、雾霾、有遮挡等时，传统基于YOLOv3的信号灯识别方法的识别准确率和召回率则偏弱，无法在夜间、雨天、雾霾、有遮挡等困难场景下保证较高的准确率。
发明内容
本申请实施例的目的在于提出一种基于深度学习的信号灯识别方法、装置、计算机设备及存储介质，以解决当交通卡口存在较多机动车辆时，由于过多机动车辆的前大灯发出干扰光线，从而降低交通卡口图像采集信号灯的清晰度，进而降低传统的信号灯识别方法的准确率的问题。
为了解决上述技术问题，本申请实施例提供一种基于深度学习的信号灯识别方法，采用了如下所述的技术方案：
接收图像采集设备发送的道路图像数据；
将所述道路图像数据输入至基于DIOU-YOLOv3算法以及DIOU损失的识别模型进行识别操作，得到信号灯标识信息；
输出所述信号灯标识信息。
为了解决上述技术问题，本申请实施例还提供一种基于深度学习的信号灯识别装置，采用了如下所述的技术方案：
图像数据接收模块，用于接收图像采集设备发送的道路图像数据；
识别操作模块，用于将所述道路图像数据输入至基于DIOU-YOLOv3算法以及DIOU损失的识别模型进行识别操作，得到信号灯标识信息；
信号灯标识输出模块，用于输出所述信号灯标识信息。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
包括存储器和处理器，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述基于深度学习的信号灯识别方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述基于深度学习的信号灯识别方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请提供了一种基于深度学习的信号灯识别方法，包括：接收图像采集设备发送的道路图像数据；将所述道路图像数据输入至基于DIOU-YOLOv3算法以及DIOU损失的识别模型进行识别操作，得到信号灯标识信息；输出所述信号灯标识信息。通过在识别模型中引入DIOU-YOLOv3算法以及DIOU损失，使得识别模型更加精准地拟合信号灯检测框的位置和大小，从而进一步提高了交通信号灯识别的整体准确率和召回率，新的DIOU损失函数可以加快模型的收敛，并且可以使模型的鲁棒性更强。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的基于深度学习的信号灯识别方法的实现流程图；
图2是本申请实施例提供的模型预测的示例图；
图3是本申请实施例一提供的识别模型获取方法的实现流程图；
图4是本申请实施例提供的DarkNet53网络的网络结构示意图；
图5是本申请实施例提供的模型训练的示例图；
图6是图2中步骤S201的实现流程图；
图7本申请实施例提供的图像增强操作的实现流程图；
图8本申请实施例提供的图像增强操作的示例图；
图9是本申请实施例一提供的训练图像预处理的实现流程图；
图10是本申请实施例提供的模型预测框与真实标注框的示例图；
图11是本申请实施例二提供的一种基于深度学习的信号灯识别装置的结构示意图；
图12是本申请实施例二提供的另一种基于深度学习的信号灯识别装置的结构示意图
图13是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
实施例一
参考图1，示出了本申请实施例一提供的基于深度学习的信号灯识别方法的实现流程图，为了便于说明，仅示出与本申请相关的部分。
在步骤S101中，接收图像采集设备发送的道路图像数据。
在本申请实施例中，图像采集设备主要设置于交通路口、路段等位置，主要用于摄取含有交通信号指示灯的道路车辆情况，以进行进一步判断是否存在道路违章行为。
在本申请实施例中，道路图像数据指的是上述含有交通信号指示灯的道路图像数据。
在步骤S102中，将道路图像数据输入至基于DIOU-YOLOv3算法以及DIOU损失的识别模型进行识别操作，得到信号灯标识信息。
在本申请实施例中，DIOU-YOLOv3算法是对传统“YOLOv3算法”进行改进后的算法，传统“YOLOv3算法”使用了darknet-53的前面的52层(没有全连接层)，yolo_v3这个网络是一个全卷积网络，大量使用残差的跳层连接，并且为了降低池化带来的梯度负面效果，直接摒弃了POOLing，用conv的stride来实现降采样。在这个网络结构中，使用的是步长为2的卷积来进行降采样。而上述DIOU-YOLOv3算法是对传统传统“YOLOv3算法”的的损失函数进行改进，即在原先仅包含坐标损失、类别损失的基础上增加了一种新的DIOU损失。
在本申请实施例中，识别操作具体可以是：
①利用DarkNet53网络提取输入图像中交通信号灯的特征；
②基于上述特征进行深度卷积，从而获得三种不同尺度的特征图y1、y2、y3；
其中，深度卷积经过多次执行conv_layer(5层卷积+1层归一化+1层激活)、conv_block(1层卷积+1层归一化+1层激活)、conv(1层卷积)三个操作步骤，得到三种不同尺度的特征图y1、y2、y3。
③利用预先使用k-means算法聚类得到的9个anchor box分别在得到的y1、y2、y3这三种不同尺度的特征图上进行交通信号灯的检测与识别，每种特征图上分别预测3个不同anchor box的坐标、类别(即二分类，是否为交通信号灯)和DIOU；
模型的损失函数由三部分构成(坐标损失、类别损失、DIOU损失)，其中，坐标损失又细分为预测框的中心点坐标损失和预测框的宽高损失两个部分；
④最后将特征图上预测得到的信号灯坐标映射为原始输入图像上的坐标，从而实现图像的交通信号灯识别。
在实际应用中，如图2所示，假设测试图片为image，大小为1024*768*3，首先会进行resize操作将其大小固定到512*512*3，然后经过特征提取网络DarkNet53后得到的矩阵大小变成(512/32)*(512/32)*1024＝16*16*1024，接着分别经过三条分支得到特征图y1、y2、y3(y1、y2、y3的矩阵大小分别为(512/32)*(512/32)*(3*(1+4))＝16*16*15，(512/32*2)*(512/32*2)*(3*(1+4))＝32*32*15，(512/32*2*2)*(512/32*2*2)*(3*(1+4))＝64*64*15，中间每一步操作后得到的矩阵大小如图1-3所示)，然后利用预先聚类得到的9个anchorbox(即矩形框)分别在这三个特征图y1、y2、y3上进行滑动得到最终的预测结果(预测框坐标和类别)。
在步骤S103中，输出信号灯标识信息。
本申请提供了一种基于深度学习的信号灯识别方法，包括：接收图像采集设备发送的道路图像数据；将道路图像数据输入至基于DIOU-YOLOv3算法以及DIOU损失的识别模型进行识别操作，得到信号灯标识信息；输出信号灯标识信息。通过在识别模型中引入DIOU-YOLOv3算法以及DIOU损失，使得识别模型更加精准地拟合信号灯检测框的位置和大小，从而进一步提高了交通信号灯识别的整体准确率和召回率，新的DIOU损失函数可以加快模型的收敛，并且可以使模型的鲁棒性更强。
继续参考图3，示出了本申请实施例一提供的识别模型获取方法的实现流程图，为了便于说明，仅示出与本申请相关的部分。
作为本申请实施例一的一些可选实现方式中，在上述步骤S102之前，还包括：步骤S201、步骤S202、步骤S203、步骤S204以及步骤S205。
在步骤S201中，读取本地数据库，在本地数据库中获取训练图像数据。
在本申请实施例中，本地数据库存储有大量的训练图像数据。
在本申请实施例中，训练图像数据为一张大小512*512的图像。
在步骤S202中，将训练图像数据输入至DarkNet53网络进行特征提取操作，获得信号灯特征数据。
在本申请实施例中，DarkNet53网络是一款经典的深层网络结构，如图4所示，结合Resnet的特点在保证对特征进行超强表达的同时又避免了网络过深带来的梯度问题。
在本申请实施例中，如图5所示，大小为512*512*3的训练图像数据经过特征提取网络DarkNet53后得到的矩阵大小变成(512/32)*(512/32)*1024＝16*16*1024，接着分别经过三次特征识别，得到特征图y1、y2、y3(y1、y2、y3的矩阵大小分别为(512/32)*(512/32)*(3*(1+4))＝16*16*15，(512/32*2)*(512/32*2)*(3*(1+4))＝32*32*15，(512/32*2*2)*(512/32*2*2)*(3*(1+4))＝64*64*15。需说明的是：y1、y2、y3三个特征图矩阵中的最后一维3*(1+4)里的3表示3个anchor box(即9个anchor box会分成三组，每组3个，分别对应于三个特征图)，1表示类别数(这里指交通信号灯这一个类别)，4表示预测框(即交通信号灯检测框)的坐标(即预测框的中心点坐标x,y和预测框的宽高w,h)。
在本申请实施例中，特征图y2和y3在操作上主要比y1多了一个残差连接操作(即将上一层得到的特征图进行上采样(upsample)后与DarkNet53网络中相应的block进行拼接(concat))。
在本申请实施例中，上述y1、y2、y3即为信号灯特征数据。
在步骤S203中，对信号灯特征数据进行预测操作，获取初始预测结果数据。
在步骤S204中，基于k-means算法对预测结果数据进行检测与识别操作，获得最终预测结果与标注结果的损失数据。
在步骤S205中，基于随机梯度下降算法对损失数据进行优化操作，获得识别模型。
在本申请实施例中，利用预先使用k-means算法聚类得到的9个anchor box分别在得到的y1、y2、y3这三种不同尺度的特征图上进行交通信号灯的检测与识别，每种特征图上分别预测3个不同anchor box的坐标、类别(即二分类，是否为交通信号灯)和DIOU，最后以最小化该损失为优化目标并利用随机梯度下降算法进行模型参数的更新迭代，最终达到模型收敛(即模型训练完成)。
继续参考图6，示出了图2中步骤S201的实现流程图，为了便于说明，仅示出与本申请相关的部分。
作为本申请实施例一的一些可选实现方式中，上述步骤S201具体包括：步骤S301以及步骤S302。
在步骤S301中，在本地数据库中获取预设数量的随机图像数据。
在本申请实施例中，预设数量可根据实际需要进行动态调整，作为示例，该预设数量可以是4张、8张、16张等，在下述实施例中，以预设数量为4张进行举例阐述，应当理解，此处对预设数量进行的举例仅为方便理解，不用于限定本申请。
在步骤S302中，对随机图像数据进行图像增强操作，获得训练图像数据。
在本申请实施例中，如图7所示，图像增强操作的具体实现方式为：将4张图片image1、image2、image3、image4分别进行随机裁剪(random_cut)，然后将4张裁剪后的图片再进行随机拼接组合(random_combine)得到1张混合图片，最后再将这张混合图片进行resize成固定大小为512*512的图片image作为最终模型的输入图像。
在实际应用中，如图8所示，假设从所有训练图片中随机选择的4张图片分别为图1-1中的image1、image2、image3、image4，首先对这4张图片分别进行随机裁剪(即裁剪的位置和大小都是随机的)得到4张新的小图片(即图1-1中的4个红色区域图片)，然后将这4张小图片再进行随机组合(即4张小图的拼接顺序是随机的，例如图1-1中的拼接顺序按顺时针分别为1->2->4->3，也可以为1->2->3->4、1->3->4->2、3->4->2->1等等其他拼接顺序)，接着将组合得到的图片(即图1-1中的image)resize成固定大小512*512作为模型的输入。
在本申请实施例中，引入图像增强算法Mosaic，从而增加输入模型的图像的特征内容，增加模型的训练宽度，有效减少了夜间将汽车尾灯等非信号灯误识别成交通信号灯的情况，同时显著增加了雨天、雾霾、有遮挡等困难场景下交通信号灯的召回，从而提高了交通信号灯识别的整体准确率和召回率。
继续参考图9，示出了本申请实施例一提供的训练图像预处理的实现流程图，为了便于说明，仅示出与本申请相关的部分。
作为本申请实施例一的一些可选实现方式中，上述步骤S201具体包括：步骤S401、步骤S402、步骤S403以及步骤S404。
在步骤S401中，判断训练图像数据是否满足预设图像条件。
在本申请实施例中，预设图像条件主要用于限定输入至DarkNet53网络的图像尺寸大小。
在步骤S402中，若训练图像数据满足预设图像条件，则将训练图像数据输入至DarkNet53网络进行特征提取操作，获得信号灯特征数据。
在步骤S403中，若训练图像数据不满足预设图像条件，则对训练图像数据进行预处理操作，获得规范图像数据。
在步骤S404中，将规范图像数据输入至DarkNet53网络进行特征提取操作，获得信号灯特征数据。
在本申请实施例中，由于图像数据存在大小不统一的情况，进而影响DarkNet53网络进行特征提取的处理效率，通过对不满足预设图像条件的训练图像数据进行预处理操作，从而为后续DarkNet53网络的特征提取操作打好基础，有效提高信号灯识别的处理效率。
作为本申请实施例一的一些可选实现方式中，上述识别模型的损失函数表示为：
loss＝∑lossxy+losswh+lossclass+lossdiou
其中，lossxy表示预测框的中心点坐标损失(即坐标x与坐标y的交叉熵损失之和)；losswh表示预测框的宽高损失(即宽w与高h的均方损失之和)；lossclass表示类别损失(即类别的交叉熵损失)；lossdiou表示DIOU损失(即预测框与标注框之间的损失)。
在本申请实施例中，预测框的中心点坐标损失(即坐标x与坐标y的交叉熵损失之和)：
预测框的宽高损失(即宽w与高h的均方损失之和)：
类别损失(即类别的交叉熵损失)：
lossclass＝-(ytrue_classlogypredict_class+(1-ytrue_class)log(1-ypredict_class))
DIOU损失(即预测框与标注框之间的损失)：
DIOU是对传统IOU的改进，能够对不同比例、面积、方向的anchor box进行更好的回归。
传统IOU的计算公式为：其中I表示模型预测框与真实标注框的交集面积；U表示模型预测框与真实标注框的并集面积。
d(box_predict,box_true)表示模型预测框与真实标注框的中心点之间的距离；c表示同时包围模型预测框与真实标注框的最小外接矩阵的对角线长度。d和c的几何含义如图10所示，图中红色矩形表示模型预测框，绿色矩形表示真实标注框，最大的蓝色矩形表示同时包围模型预测框与真实标注框的最小外接矩阵。
综上所述，本申请提供了一种基于深度学习的信号灯识别方法，包括：接收图像采集设备发送的道路图像数据；将道路图像数据输入至基于DIOU-YOLOv3算法以及DIOU损失的识别模型进行识别操作，得到信号灯标识信息；输出信号灯标识信息。通过在识别模型中引入DIOU-YOLOv3算法以及DIOU损失，使得识别模型更加精准地拟合信号灯检测框的位置和大小，从而进一步提高了交通信号灯识别的整体准确率和召回率，新的DIOU损失函数可以加快模型的收敛，并且可以使模型的鲁棒性更强。同时，引入图像增强算法Mosaic，从而增加输入模型的图像的特征内容，增加模型的训练宽度，有效减少了夜间将汽车尾灯等非信号灯误识别成交通信号灯的情况，同时显著增加了雨天、雾霾、有遮挡等困难场景下交通信号灯的召回，从而提高了交通信号灯识别的整体准确率和召回率；由于图像数据存在大小不统一的情况，进而影响DarkNet53网络进行特征提取的处理效率，通过对不满足预设图像条件的训练图像数据进行预处理操作，从而为后续DarkNet53网络的特征提取操作打好基础，有效提高信号灯识别的处理效率。
需要强调的是，为进一步保证上述道路图像数据的私密和安全性，上述道路图像数据还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例二
进一步参考图11，作为上述图1所示方法的实现，本申请提供了一种基于深度学习的信号灯识别装置，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图11所示，本申请实施例二提供的基于深度学习的信号灯识别装置100包括：图像数据接收模块110、识别操作模块120以及信号灯标识输出模块130。其中：
图像数据接收模块110，用于接收图像采集设备发送的道路图像数据；
识别操作模块120，用于将所述道路图像数据输入至基于DIOU-YOLOv3算法以及DIOU损失的识别模型进行识别操作，得到信号灯标识信息；
信号灯标识输出模块130，用于输出所述信号灯标识信息。
在本申请实施例中，图像采集设备主要设置于交通路口、路段等位置，主要用于摄取含有交通信号指示灯的道路车辆情况，以进行进一步判断是否存在道路违章行为。
在本申请实施例中，道路图像数据指的是上述含有交通信号指示灯的道路图像数据。
在本申请实施例中，DIOU-YOLOv3算法是对传统“YOLOv3算法”进行改进后的算法，传统“YOLOv3算法”使用了darknet-53的前面的52层(没有全连接层)，yolo_v3这个网络是一个全卷积网络，大量使用残差的跳层连接，并且为了降低池化带来的梯度负面效果，直接摒弃了POOLing，用conv的stride来实现降采样。在这个网络结构中，使用的是步长为2的卷积来进行降采样。而上述DIOU-YOLOv3算法是对传统传统“YOLOv3算法”的的损失函数进行改进，即在原先仅包含坐标损失、类别损失的基础上增加了一种新的DIOU损失。
在本申请实施例中，识别操作具体可以是：
①利用DarkNet53网络提取输入图像中交通信号灯的特征；
②基于上述特征进行深度卷积，从而获得三种不同尺度的特征图y1、y2、y3；
其中，深度卷积经过多次执行conv_layer(5层卷积+1层归一化+1层激活)、conv_block(1层卷积+1层归一化+1层激活)、conv(1层卷积)三个操作步骤，得到三种不同尺度的特征图y1、y2、y3。
③利用预先使用k-means算法聚类得到的9个anchor box分别在得到的y1、y2、y3这三种不同尺度的特征图上进行交通信号灯的检测与识别，每种特征图上分别预测3个不同anchor box的坐标、类别(即二分类，是否为交通信号灯)和DIOU；
模型的损失函数由三部分构成(坐标损失、类别损失、DIOU损失)，其中，坐标损失又细分为预测框的中心点坐标损失和预测框的宽高损失两个部分；
④最后将特征图上预测得到的信号灯坐标映射为原始输入图像上的坐标，从而实现图像的交通信号灯识别。
在实际应用中，如图2所示，假设测试图片为image，大小为1024*768*3，首先会进行resize操作将其大小固定到512*512*3，然后经过特征提取网络DarkNet53后得到的矩阵大小变成(512/32)*(512/32)*1024＝16*16*1024，接着分别经过三条分支得到特征图y1、y2、y3(y1、y2、y3的矩阵大小分别为(512/32)*(512/32)*(3*(1+4))＝16*16*15，(512/32*2)*(512/32*2)*(3*(1+4))＝32*32*15，(512/32*2*2)*(512/32*2*2)*(3*(1+4))＝64*64*15，中间每一步操作后得到的矩阵大小如图1-3所示)，然后利用预先聚类得到的9个anchorbox(即矩形框)分别在这三个特征图y1、y2、y3上进行滑动得到最终的预测结果(预测框坐标和类别)。
本申请提供了一种基于深度学习的信号灯识别装置，包括：图像数据接收模块，用于接收图像采集设备发送的道路图像数据；识别操作模块，用于将所述道路图像数据输入至基于DIOU-YOLOv3算法以及DIOU损失的识别模型进行识别操作，得到信号灯标识信息；信号灯标识输出模块，用于输出所述信号灯标识信息。通过在识别模型中引入DIOU-YOLOv3算法以及DIOU损失，使得识别模型更加精准地拟合信号灯检测框的位置和大小，从而进一步提高了交通信号灯识别的整体准确率和召回率，新的DIOU损失函数可以加快模型的收敛，并且可以使模型的鲁棒性更强。
继续参考图12，示出了本申请实施例二提供的另一种基于深度学习的信号灯识别装置的结构示意图，为了便于说明，仅示出与本申请相关的部分。
在本申请实施例二的一些可选的实现方式中，如图12所示，上述基于深度学习的信号灯识别装置100还包括：训练图像获取模块140、特征提取操作模块150、初始预测模块160、最终预测模块170以及模型获取模块180。其中：
训练图像获取模块140，用于读取本地数据库，在所述本地数据库中获取训练图像数据；
特征提取操作模块150，用于将所述训练图像数据输入至DarkNet53网络进行特征提取操作，获得信号灯特征数据；
初始预测模块160，用于对所述信号灯特征数据进行预测操作，获取初始预测结果数据；
最终预测模块170，用于基于k-means算法对所述预测结果数据进行检测与识别操作，获得最终预测结果与标注结果的损失数据；
模型获取模块180，用于基于随机梯度下降算法对所述损失数据进行优化操作，获得所述识别模型。
在本申请实施例中，本地数据库存储有大量的训练图像数据。
在本申请实施例中，训练图像数据为一张大小512*512的图像。
在本申请实施例中，DarkNet53网络是一款经典的深层网络结构，如图4所示，结合Resnet的特点在保证对特征进行超强表达的同时又避免了网络过深带来的梯度问题。
在本申请实施例中，如图5所示，大小为512*512*3的训练图像数据经过特征提取网络DarkNet53后得到的矩阵大小变成(512/32)*(512/32)*1024＝16*16*1024，接着分别经过三次特征识别，得到特征图y1、y2、y3(y1、y2、y3的矩阵大小分别为(512/32)*(512/32)*(3*(1+4))＝16*16*15，(512/32*2)*(512/32*2)*(3*(1+4))＝32*32*15，(512/32*2*2)*(512/32*2*2)*(3*(1+4))＝64*64*15。需说明的是：y1、y2、y3三个特征图矩阵中的最后一维3*(1+4)里的3表示3个anchor box(即9个anchor box会分成三组，每组3个，分别对应于三个特征图)，1表示类别数(这里指交通信号灯这一个类别)，4表示预测框(即交通信号灯检测框)的坐标(即预测框的中心点坐标x,y和预测框的宽高w,h)。
在本申请实施例中，特征图y2和y3在操作上主要比y1多了一个残差连接操作(即将上一层得到的特征图进行上采样(upsample)后与DarkNet53网络中相应的block进行拼接(concat))。
在本申请实施例中，上述y1、y2、y3即为信号灯特征数据。
在本申请实施例中，利用预先使用k-means算法聚类得到的9个anchor box分别在得到的y1、y2、y3这三种不同尺度的特征图上进行交通信号灯的检测与识别，每种特征图上分别预测3个不同anchor box的坐标、类别(即二分类，是否为交通信号灯)和DIOU，最后以最小化该损失为优化目标并利用随机梯度下降算法进行模型参数的更新迭代，最终达到模型收敛(即模型训练完成)。
在本申请实施例二的一些可选的实现方式中，上述训练图像获取模块140包括：随机图像获取子模块以及图像增强子模块。其中：
随机图像获取子模块，用于在本地数据库中获取预设数量的随机图像数据。
图像增强子模块，用于对随机图像数据进行图像增强操作，获得训练图像数据。
在本申请实施例二的一些可选的实现方式中，上述识别操作模块120还包括：图像条件判断模块、第一特征提取操作子模块、预处理操作子模块以及第二特征提取操作子模块。其中：
图像条件判断模块，用于判断训练图像数据是否满足预设图像条件。
第一特征提取操作子模块，用于若训练图像数据满足预设图像条件，则将训练图像数据输入至DarkNet53网络进行特征提取操作，获得信号灯特征数据。
预处理操作子模块，用于若训练图像数据不满足预设图像条件，则对训练图像数据进行预处理操作，获得规范图像数据。
第二特征提取操作子模块，用于将规范图像数据输入至DarkNet53网络进行特征提取操作，获得信号灯特征数据。
作为本申请实施例一的一些可选实现方式中，上述识别模型的损失函数表示为：
loss＝∑lossxy+losswh+lossclass+lossdiou
其中，lossxy表示预测框的中心点坐标损失(即坐标x与坐标y的交叉熵损失之和)；losswh表示预测框的宽高损失(即宽w与高h的均方损失之和)；lossclass表示类别损失(即类别的交叉熵损失)；lossdiou表示DIOU损失(即预测框与标注框之间的损失)。
综上所述，本申请提供了一种基于深度学习的信号灯识别装置，包括：图像数据接收模块，用于接收图像采集设备发送的道路图像数据；识别操作模块，用于将所述道路图像数据输入至基于DIOU-YOLOv3算法的识别模型进行识别操作，获取信号灯标识信息；信号灯标识输出模块，用于输出所述信号灯标识信息。通过对传统“YOLOv3算法”进行改进，即在原先的损失函数中增加了一种新的DIOU损失，使得识别模型更加精准地拟合信号灯检测框的位置和大小，从而进一步提高了交通信号灯识别的整体准确率和召回率，新的DIOU损失函数可以加快模型的收敛，并且可以使模型的鲁棒性更强。同时，引入图像增强算法Mosaic，从而增加输入模型的图像的特征内容，增加模型的训练宽度，有效减少了夜间将汽车尾灯等非信号灯误识别成交通信号灯的情况，同时显著增加了雨天、雾霾、有遮挡等困难场景下交通信号灯的召回，从而提高了交通信号灯识别的整体准确率和召回率；由于图像数据存在大小不统一的情况，进而影响DarkNet53网络进行特征提取的处理效率，通过对不满足预设图像条件的训练图像数据进行预处理操作，从而为后续DarkNet53网络的特征提取操作打好基础，有效提高信号灯识别的处理效率。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图13，图13为本实施例计算机设备基本结构框图。
所述计算机设备200包括通过系统总线相互通信连接存储器201、处理器202、网络接口203。需要指出的是，图中仅示出了具有组件201-203的计算机设备200，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器201至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器201可以是所述计算机设备200的内部存储单元，例如该计算机设备200的硬盘或内存。在另一些实施例中，所述存储器201也可以是所述计算机设备200的外部存储设备，例如该计算机设备200上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器201还可以既包括所述计算机设备200的内部存储单元也包括其外部存储设备。本实施例中，所述存储器201通常用于存储安装于所述计算机设备200的操作系统和各类应用软件，例如基于深度学习的信号灯识别方法的计算机可读指令等。此外，所述存储器201还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器202在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器202通常用于控制所述计算机设备200的总体操作。本实施例中，所述处理器202用于运行所述存储器201中存储的计算机可读指令或者处理数据，例如运行所述基于深度学习的信号灯识别方法的计算机可读指令。
所述网络接口203可包括无线网络接口或有线网络接口，该网络接口203通常用于在所述计算机设备200与其他电子设备之间建立通信连接。
本申请提供的基于深度学习的信号灯识别方法，包括：接收图像采集设备发送的道路图像数据；将所述道路图像数据输入至基于DIOU-YOLOv3算法的识别模型进行识别操作，获取信号灯标识信息；输出所述信号灯标识信息。通过对传统“YOLOv3算法”进行改进，即在原先的损失函数中增加了一种新的DIOU损失，使得识别模型更加精准地拟合信号灯检测框的位置和大小，从而进一步提高了交通信号灯识别的整体准确率和召回率，新的DIOU损失函数可以加快模型的收敛，并且可以使模型的鲁棒性更强。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于深度学习的信号灯识别方法的步骤。
本申请提供的基于深度学习的信号灯识别方法，包括：接收图像采集设备发送的道路图像数据；将所述道路图像数据输入至基于DIOU-YOLOv3算法的识别模型进行识别操作，获取信号灯标识信息；输出所述信号灯标识信息。通过对传统“YOLOv3算法”进行改进，即在原先的损失函数中增加了一种新的DIOU损失，使得识别模型更加精准地拟合信号灯检测框的位置和大小，从而进一步提高了交通信号灯识别的整体准确率和召回率，新的DIOU损失函数可以加快模型的收敛，并且可以使模型的鲁棒性更强。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种基于深度学习的信号灯识别方法，其特征在于，所述方法包括下述步骤：
接收图像采集设备发送的道路图像数据；
将所述道路图像数据输入至基于DIOU-YOLOv3算法以及DIOU损失的识别模型进行识别操作，得到信号灯标识信息；
输出所述信号灯标识信息；
所述将所述道路图像数据输入至基于DIOU-YOLOv3算法以及DIOU损失的识别模型进行识别操作，得到信号灯标识信息的步骤，具体包括下述步骤：
根据DarkNet53网络提取所述道路图像数据中交通信号灯的特征；
对所述交通信号灯的特征进行深度卷积，得到三个特征图，其中，所述深度卷积包括5层卷积+1层归一化+1层激活、1层卷积+1层归一化+1层激活、1层卷积三个操作步骤；
根据预先使用k-means算法聚类得到的9个anchor box分别在所述三个特征图中进行交通信号灯的检测与识别，得到每个特征图上分别预测的坐标、类别以及DIOU；
将每个特征图上分别预测的坐标映射为所述道路图像数据上的坐标，得到所述信号灯标识信息。
2.根据权利要求1所述的基于深度学习的信号灯识别方法，其特征在于，在所述将所述道路图像数据输入至基于DIOU-YOLOv3算法的识别模型进行识别操作，得到信号灯标识信息的步骤之前，所述方法还包括：
读取本地数据库，在所述本地数据库中获取训练图像数据；
将所述训练图像数据输入至DarkNet53网络进行特征提取操作，获得信号灯特征数据；
对所述信号灯特征数据进行预测操作，获取初始预测结果数据；
基于k-means算法对所述预测结果数据进行检测与识别操作，获得最终预测结果与标注结果的损失数据；
基于随机梯度下降算法对所述损失数据进行优化操作，获得所述识别模型。
3.根据权利要求2所述的基于深度学习的信号灯识别方法，其特征在于，所述读取本地数据库，在所述本地数据库中获取训练图像数据的步骤具体包括：
在所述本地数据库中获取预设数量的随机图像数据；
对所述随机图像数据进行图像增强操作，获得所述训练图像数据。
4.根据权利要求2所述的基于深度学习的信号灯识别方法，其特征在于，所述将所述训练图像数据输入至DarkNet53网络进行特征提取操作，获得信号灯特征数据包括：
判断所述训练图像数据是否满足预设图像条件；
若所述训练图像数据满足所述预设图像条件，则将所述训练图像数据输入至所述DarkNet53网络进行特征提取操作，获得所述信号灯特征数据；
若所述训练图像数据不满足所述预设图像条件，则对所述训练图像数据进行预处理操作，获得规范图像数据；
将所述规范图像数据输入至所述DarkNet53网络进行特征提取操作，获得所述信号灯特征数据。
5.根据权利要求1所述的基于深度学习的信号灯识别方法，其特征在于，所述识别模型的损失函数表示为：
loss＝∑lossxy+losswh+lossclass+lossdiou
其中，lossxy表示预测框的中心点坐标损失；losswh表示预测框的宽高损失；lossclass表示类别损失；lossdiou表示DIOU损失。
6.根据权利要求1所述的基于深度学习的信号灯识别方法，其特征在于，在所述接收图像采集设备发送的道路图像数据的步骤之后，所述方法还包括：
将所述道路图像数据存储至区块链中。
7.一种基于深度学习的信号灯识别装置，其特征在于，所述装置包括：
图像数据接收模块，用于接收图像采集设备发送的道路图像数据；
识别操作模块，用于将所述道路图像数据输入至基于DIOU-YOLOv3算法以及DIOU损失的识别模型进行识别操作，得到信号灯标识信息；
信号灯标识输出模块，用于输出所述信号灯标识信息；
所述识别操作模块包括：
特征提取子模块，用于根据DarkNet53网络提取所述道路图像数据中交通信号灯的特征；
深度卷积子模块，用于对所述交通信号灯的特征进行深度卷积，得到三个特征图，其中，所述深度卷积包括5层卷积+1层归一化+1层激活、1层卷积+1层归一化+1层激活、1层卷积三个操作步骤；
识别子模块，用于根据预先使用k-means算法聚类得到的9个anchor box分别在所述三个特征图中进行交通信号灯的检测与识别，得到每个特征图上分别预测的坐标、类别以及DIOU；
映射子模块，用于将每个特征图上分别预测的坐标映射为所述道路图像数据上的坐标，得到所述信号灯标识信息。
8.根据权利要求7所述的基于深度学习的信号灯识别装置，其特征在于，所述装置还包括：
训练图像获取模块，用于读取本地数据库，在所述本地数据库中获取训练图像数据；
特征提取操作模块，用于将所述训练图像数据输入至DarkNet53网络进行特征提取操作，获得信号灯特征数据；
初始预测模块，用于对所述信号灯特征数据进行预测操作，获取初始预测结果数据；
最终预测模块，用于基于k-means算法对所述预测结果数据进行检测与识别操作，获得最终预测结果与标注结果的损失数据；
模型获取模块，用于基于随机梯度下降算法对所述损失数据进行优化操作，获得所述识别模型。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述的基于深度学习的信号灯识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的基于深度学习的信号灯识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010930268.0A CN112016510B (zh) | 2020-09-07 | 2020-09-07 | 基于深度学习的信号灯识别方法和装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010930268.0A CN112016510B (zh) | 2020-09-07 | 2020-09-07 | 基于深度学习的信号灯识别方法和装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112016510A CN112016510A (zh) | 2020-12-01 |
| CN112016510B true CN112016510B (zh) | 2024-04-16 |
Family
ID=73516112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010930268.0A Active CN112016510B (zh) | 2020-09-07 | 2020-09-07 | 基于深度学习的信号灯识别方法和装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112016510B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633134A (zh) * | 2020-12-18 | 2021-04-09 | 深圳赛安特技术服务有限公司 | 基于图像识别的车内人脸识别方法、装置及介质 |
| CN112633174B (zh) * | 2020-12-23 | 2022-08-02 | 电子科技大学 | 一种基于改进的YOLOv4高穹顶场景下火灾检测方法、存储介质 |
| CN112733686A (zh) * | 2020-12-31 | 2021-04-30 | 武汉兴图新科电子股份有限公司 | 用于云联邦的图像中的目标物识别方法及装置 |
| CN113536941A (zh) * | 2021-06-18 | 2021-10-22 | 浙江吉利控股集团有限公司 | 训练图像生成、定位检测网络训练、定位检测方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108182456A (zh) * | 2018-01-23 | 2018-06-19 | 哈工大机器人（合肥）国际创新研究院 | 一种基于深度学习的目标检测模型及其训练方法 |
| CN110069986A (zh) * | 2019-03-13 | 2019-07-30 | 北京联合大学 | 一种基于混合模型的交通信号灯识别方法及系统 |
| KR102030628B1 (ko) * | 2019-04-04 | 2019-10-10 | (주)아이엠시티 | Cnn 기반 차량 번호판 인식 방법 및 시스템 |
| CN111160282A (zh) * | 2019-12-31 | 2020-05-15 | 合肥湛达智能科技有限公司 | 一种基于二值化Yolov3网络的红绿灯检测方法 |
| CN111310773A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 一种高效的卷积神经网络的车牌定位方法 |
| CN111553201A (zh) * | 2020-04-08 | 2020-08-18 | 东南大学 | 一种基于YOLOv3优化算法的交通灯检测方法 |
-
2020
- 2020-09-07 CN CN202010930268.0A patent/CN112016510B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108182456A (zh) * | 2018-01-23 | 2018-06-19 | 哈工大机器人（合肥）国际创新研究院 | 一种基于深度学习的目标检测模型及其训练方法 |
| CN110069986A (zh) * | 2019-03-13 | 2019-07-30 | 北京联合大学 | 一种基于混合模型的交通信号灯识别方法及系统 |
| KR102030628B1 (ko) * | 2019-04-04 | 2019-10-10 | (주)아이엠시티 | Cnn 기반 차량 번호판 인식 방법 및 시스템 |
| CN111160282A (zh) * | 2019-12-31 | 2020-05-15 | 合肥湛达智能科技有限公司 | 一种基于二值化Yolov3网络的红绿灯检测方法 |
| CN111310773A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 一种高效的卷积神经网络的车牌定位方法 |
| CN111553201A (zh) * | 2020-04-08 | 2020-08-18 | 东南大学 | 一种基于YOLOv3优化算法的交通灯检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112016510A (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112016510B (zh) | 基于深度学习的信号灯识别方法和装置、设备及存储介质 | |
| WO2022105125A1 (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| CN112016502B (zh) | 安全带检测方法、装置、计算机设备及存储介质 | |
| CN111178357B (zh) | 车牌识别方法、系统、设备和存储介质 | |
| CN111832493A (zh) | 图像交通信号灯检测方法、装置、电子设备及存储介质 | |
| CN109902556A (zh) | 行人检测方法、系统、计算机设备及计算机可存储介质 | |
| CN114495128A (zh) | 字幕信息检测方法、装置、设备以及存储介质 | |
| Zhang et al. | Detecting small Chinese traffic signs via improved YOLOv3 method | |
| CN112396060B (zh) | 基于身份证分割模型的身份证识别方法及其相关设备 | |
| CN113157936A (zh) | 实体关系联合抽取方法、装置、电子设备和存储介质 | |
| CN112016503B (zh) | 人行道检测方法、装置、计算机设备及存储介质 | |
| CN112581344A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| US20240037911A1 (en) | Image classification method, electronic device, and storage medium | |
| CN116580382A (zh) | 一种多任务联合检测方法、系统、电子设备及存储介质 | |
| CN112132037B (zh) | 基于人工智能的人行道检测方法、装置、设备及介质 | |
| CN114998883A (zh) | 车牌识别方法、装置、电子设备、智能交通设备 | |
| CN111695441B (zh) | 图像文档处理方法、装置及计算机可读存储介质 | |
| CN113989300A (zh) | 车道线分割的方法、装置、电子设备和存储介质 | |
| CN113378845A (zh) | 一种场景分割方法、装置、设备及存储介质 | |
| CN112633134A (zh) | 基于图像识别的车内人脸识别方法、装置及介质 | |
| CN113190703A (zh) | 视频图像的智能检索方法、装置、电子设备及存储介质 | |
| CN114549817A (zh) | 一种印章检测方法、装置、计算机设备及存储介质 | |
| CN114764858B (zh) | 一种复制粘贴图像识别方法、装置、计算机设备及存储介质 | |
| CN112052773B (zh) | 基于图像传感的无人机交通疏导智能播音方法及装置 | |
| CN112434591B (zh) | 车道线确定方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |