CN111723614A - 交通信号灯识别方法及装置 - Google Patents
交通信号灯识别方法及装置 Download PDFInfo
- Publication number
- CN111723614A CN111723614A CN201910214523.9A CN201910214523A CN111723614A CN 111723614 A CN111723614 A CN 111723614A CN 201910214523 A CN201910214523 A CN 201910214523A CN 111723614 A CN111723614 A CN 111723614A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- learning model
- image
- traffic signal
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013136 deep learning model Methods 0.000 claims abstract description 132
- 238000013527 convolutional neural network Methods 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 21
- 238000012549 training Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 2
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种交通信号灯识别方法及装置，其中方法包括：确定待处理图像、第一深度学习模型和第二深度学习模型；根据第一深度学习模型确定待处理图像中包含交通信号灯的目标区域；根据第二深度学习模型识别目标区域中交通信号灯的显示信息。本发明提供的交通信号灯识别方法及装置，提高了对交通信号灯的识别准确率。
Description
技术领域
本发明涉及电子技术领域，其中，本发明尤其涉及一种交通信号灯识别方法及装置。
背景技术
随着电子技术和汽车技术的发展，汽车的自动驾驶逐渐成为电子技术的应用领域中主要的研究方向。在汽车自动驾驶时，需要实时获取前方道路驾驶信息，尤其是汽车前方交通信号灯的显示信息的识别，以使汽车根据路况信息调整汽车的自动驾驶策略，使汽车根据在满足路况以及交通规则的情况下实现启动、停止、加速或减速。
现有技术中，汽车自动驾驶时用于识别交通信号灯的电子设备获取拍摄设备采集的汽车前方道路的图像后，通过深度学习模型，以机器学习的方式提取图像的特征并对图像中所包括的交通信号灯进行识别。其中，深度学习模型通过若干包括交通信号灯的图像集合进行训练，深度学习模型提取并存储图像集合中交通信号灯的特征集合，以在识别时将待处理的图像中交通信号灯的特征与特征集合进行比对从而实现交通信号灯的显示信息的识别。
但是采用现有技术，深度学习模型在训练过程中具体包括图像的交通信号灯检测和交通信号灯识别的两部分内容，因此在深度学习模型计算损失率(loss)时，最终计算的是检测和识别两部分的loss的和，而深度学习神经网络在反向传播计算进行优化时，其交通信号灯检测的参数会影响信号灯识别的参数loss的计算，进而会降低深度学习模型识别交通信号灯的准确率。因此，如何提高对交通信号灯的识别准确率，是本领域亟待解决的技术问题。
发明内容
本发明提供一种交通信号灯识别方法及装置，使用不同的第一深度学习模型和第二深度学习模型分别进行图像的交通信号灯检测和交通信号灯识别，从而能够避免两个深度学习模型的互相干扰，提高深度学习模型的检测效率和识别效率，进而提高对交通信号灯的识别准确率。
本发明第一方面提供一种交通信号灯识别方法，包括：
确定待处理图像、第一深度学习模型和第二深度学习模型；
根据所述第一深度学习模型确定所述待处理图像中包含交通信号灯的目标区域；
根据所述第二深度学习模型识别所述目标区域中所述交通信号灯的显示信息。
本发明第二方面提供一种交通信号灯识别装置，包括：
确定模块，用于确定待处理图像、第一深度学习模型和第二深度学习模型；
检测模块，用于根据第一深度学习模型确定待处理图像中包含交通信号灯的目标区域；
识别模块，用于根据第二深度学习模型识别所述目标区域中所述交通信号灯的显示信息。
综上，本发明提供一种交通信号灯识别方法及装置，其中方法包括：确定待处理图像、第一深度学习模型和第二深度学习模型；根据第一深度学习模型确定待处理图像中包含交通信号灯的目标区域；根据第二深度学习模型识别目标区域中交通信号灯的显示信息。本发明提供的交通信号灯识别方法及装置，通过使用不同的第一深度学习模型和第二深度学习模型分别进行图像的交通信号灯检测和交通信号灯识别，从而能够避免两个深度学习模型的互相干扰，提高深度学习模型的检测效率和识别效率，进而提高对交通信号灯的识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的交通信号灯识别方法实施例一的流程示意图；
图2为本发明提供的确定待识别图像中目标区域的应用示意图；
图3为本发明提供的第一深度学习模型一实施例的结构示意图；
图4为本发明提供的第二深度学习模型一实施例的结构示意图；
图5为本发明提供的交通信号灯识别方法实施例二的流程示意图；
图6为本发明提供的跟踪目标区域的应用示意图；
图7为本发明提供的交通信号灯识别装置实施例一的结构示意图；
图8为本发明提供的交通信号灯识别装置实施例二的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明提供的交通信号灯识别方法实施例一的流程示意图。如图1所示，本实施例的执行主体可以是任何具备相关数据处理功能的电子设备，例如：手机、平板电脑、笔记本电脑、台式电脑和服务器等。或者，本实施例的执行主体还可以是电子设备的芯片，例如：CPU和GPU等。本发明后续各实施例中以电子设备为执行主体为示例进行说明，并且在本实施例一种可能的应用方式中，电子设备可以设置在自动驾驶车辆上，通过对设置在车辆上的拍摄设备得到的车辆前方的图像进行交通信号灯的识别，以使自动驾驶车辆根据交通信号灯的识别结果确定自动驾驶策略。
则在S101中，电子设备首先确定待处理图像、第一深度学习模型和第二深度学习模型。其中，电子设备通过第一深度学习模型和第二深度学习模型对待处理图像中的交通信号灯进行识别，第一深度学习模型与第二深度学习模型独立存在。在本实施例中，第一深度学习模型用于检测并提取待处理图像中包含交通信号灯的目标区域，第二深度学习模型用于识别目标区域中交通信号灯的显示信息。
可选地，第一深度学习模型和第二深度学习模型可以是电子设备根据包括交通信号灯的多个训练图像通过机器学习算法提取特征后，得到并存储在存储设备内的包含交通信号灯图像特征的深度学习模型。或者，第一深度学习模型和第二深度学习模型还可以是电子设备连接服务器后，通过有线通信或者无线通信方式从服务器所获取的，本实施例对此不做限定。
可选地，若电子设备应用在自动驾驶场景下，则S101中所获取的待处理图像可以是自动驾驶车辆的拍摄设备所拍摄的车辆前方的实时图像，该图像可能包括待识别的交通信号灯，电子设备需要对该实时图像中的交通信号灯进行识别。或者，在其他可能的应用场景下，S101中的电子设备可以通过获取的存储设备中存储的图像作为待处理图像，S101中的电子设备还可以根据电子设备的用户的指示的图像作为待处理图像，并对待处理图像中的交通信号灯进行识别。需要说明的是，本实施例对于具体得到待识别图像、第一深度学习模型和第二深度学习模型的方式与主体均不做具体限定，S101中强调用于识别交通信号灯的电子设备对待识别图像以及两个深度学习模型的获取和确定。
随后在S102中，电子设备对S101中所获取的待处理图像进行识别，根据S101中所确定的第一深度学习模型确定待处理图像中包含交通信号灯的目标区域。
具体地，在S102中电子设备通过第一深度学习模型对待处理图像中包含的交通信号灯的目标区域进行检测，得到待处理图像中目标区域的坐标。下面结合图2对本发明所述的目标区域进行进一步说明，其中，图2为本发明提供的确定待识别图像中目标区域的应用示意图，如图2所示，待识别图像10内包括交通信号灯101。当电子设备获取待识别图像10后，通过第一深度学习模型提取待识别图像10中包括交通信号灯101的目标区域20。并且该矩形的目标区域可以通过矩形的两个对角顶点A和B在待识别图像10的坐标来表示。例如一种可能的坐标可以使用待识别图像10左下角的像素点作为原点(0,0)建立坐标系，并根据A点和B点在待识别图像10与原点的相对像素点位置得到A点的坐标例如(80,50)和B点的坐标例如(100,40)等。可选地，在如图2所示的示例中，仅以目标区域的形状为矩形作为示例性的说明，目标区域还可以是圆形或者不规则形状等形状，在此不做限定。
进一步地，S102一种可能的实现方式中，根据第一深度学习模型通过多个卷积特征尺度对待处理图像进行处理后，得到待处理图像的多个特征；随后根据多个不同卷积特征尺度得到的特征，确定待处理图像中包含交通信号灯的目标区域。即，本实施例通过所获取的第一深度学习模型对待处理图像使用多个不同卷积特征尺度进行特征提取操作，并根据多个不同卷积特征尺度得到的特征共同确定待处理图像中包含交通信号灯的目标区域。
具体地，下面结合附图3对本实施例中第一深度学习模型确定待处理图像中目标区域的流程进行说，其中，图3为本发明提供的第一深度学习模型一实施例的结构示意图。在图3中以第一深度学习模型为深度卷积神经网络中的深度残差网络(Deep residualnetwork，简称：ResNet)为例进行说明。
由于在现有技术中的ResNet50内只存在一个特定大小尺度的卷积特征，通过该ResNet50内仅有的一个卷积特征尺度能够识别出待处理图像中大部分目标区域。但是，针对在交通信号灯检测过程中，若待处理图像中包括的交通信号灯距离较远而在待处理图像中显示占比较小，如果还以整张图片为主体并使用ResNet50内特定卷积特征尺度进行检测时，可能无法检测到图像中较小的交通信号灯。因此，本实施例提供的卷积神经网络ResNet50中，通过不同大小的卷积特征尺度对待处理图像进行处理，以满足对待处理图像中显示占比较小的交通信号灯的检测，在图3所示的示例中，卷积神经网络ResNet50包括三个不同大小的卷积特征尺度，记为第一卷积特征尺度、第二卷积特征尺度和第三卷积特征尺度。
例如在图3中，若待处理图像的尺度为512*512，则将待处理图像送入卷积神经网络ResNet50后，ResNet50使用首先最大尺度例如128*128的第一卷积特征尺度对待处理图像中的交通信号灯位置进行检测。随后，ResNet50再依次使用第二卷积特征尺度和第三卷积特征尺度再次对待处理图像中的交通信号灯位置进行检测，其中，不同的卷积特征尺度的按照由从大到小的顺序前后排列，每个较小卷积特征尺度对之前的较大卷积特征尺度所输出的特征进行处理。第二卷积特征尺度可以是例如64*64，第三卷积特征尺度可以是例如32*32。最后，ResNet50可以根据非极大值抑制(non maximum suppression，简称：NMS)算法根据三个卷积特征尺度的输出结果确定最终的目标区域。其中，由于根据最小尺度的第三卷积特征尺度可能无法检测到待处理图像中占比较小的交通信号灯，而尺度较大的第一卷积特征尺度能够对占比较小的交通信号灯进行更加精细地识别。因此对于包含较小交通信号灯的待处理图像，第一卷积特征尺度能够检测到待处理图像中的交通信号灯而第二卷积特征尺度和第三卷积特征尺度可能无输出结果，则可以直接将第一卷积特征尺度的输出结果作为目标区域。而若对于包含较大交通信号灯的待处理图像，ResNet50中的三个卷积特征尺度都可能会检测出包含交通信号灯的目标区域，则NMS算法会遍历三个卷积特征尺度的输出结果，选取具有最高评分结果的输出结果作为目标区域。其中，所述评分为每个卷积特征尺度在检测待处理图像中的交通信号灯时，根据机器学习评价标准对于最有可能存在交通信号灯的区域的评分，每个卷积特征尺度都会将该卷积特征尺度下评分最高的区域进行输出。最终ResNet50结合三个具有不同卷积特征尺度的检测结果确定待处理图像中包括交通信号灯的目标区域，输出的bbox信息中可以包括目标区域的矩形两个对角顶点A和B在待识别图像10的坐标(x，y)和(w，h)。
可选地，在本发明如图3所示实施例中，基于ResNet50使用batchnorm层进行训练可以加速训练收敛并对卷积层的数据进行归一化的处理。因此，在本实施例中，将batchnorm层和scale层合并融合至卷积层中，使得卷积层在不影响准确度情况下加速预测计算时间，能够尽快输出检测结果。即，在如图3所示的卷积神经网络ResNet50中，每个卷积特征尺度的计算时，都会经过batchnorm层和scale层的计算，从而提高卷积神经网络ResNet50的计算速度并减少对于电子设备内存和显存空间的占用，加速卷积神经网络ResNet50网络传播的速度。
可选地，由于在卷积神经网络的应用中，使用更小的卷积核是在保证当前网络精度的情况下，减少神经网络计算参数的趋势之一。则在本发明如图3所示的实施例中，可以使用2个1*1的卷积核代替现有的卷积神经网络ResNet50中3*3的卷积核，从而在保证具有相同感知视野的条件下，在一定程度上提升网络的深度，还能够提升卷积神经网络的计算效率和性能。
进一步地，在本实施例中，为了提高卷积神经网络ResNet50的性能，在如图3所示的实施例中，卷积神经网络ResNet50将神经网络中采用32bit浮点数表示的模型参数采用int8量化压缩后进行计算，从而加快卷积神经网络ResNet50的计算速度，提升卷积神经网络的计算效率和性能。
进一步地，基于在自动驾驶应用场景下，电子设备所采集的实时路况图像最为待处理图像时，交通信号灯多位于待处理图像的上部分，例如在图2所示的示例中，待处理图像10中的交通信号灯101位于整个待处理图像上半部分。则在本实施例S102中，第一深度学习模型在对待处理图像进行检测时，从所述待处理图像的特定区域确定包含交通信号灯的目标区域。其中，特定区域可以是最可能包括交通信号灯的区域，例如待处理图像的上部分的区域。例如：第一深度学习模型可以通过预设比例提取部分待处理图像进行检测计算，预设比例可以设置为60％，则第一深度学习模型在S102中根据待处理图像进行裁剪后保留的上60％的部分图像进行目标区域的检测，以提高第一深度学习模型的检测计算效率。
可以理解的是，若S102中第一深度学习模型在待处理图像中未检测出包括交通信号灯的目标区域，则不会继续通过后续对交通信号灯具体显示信息进行识别。
随后在S103中，电子设备根据S102中所确定的包括交通信号灯的目标区域，根据S101中所获取的第二深度学习模型，识别目标区域中交通信号灯的显示信息。其中，显示信息包括但不限于：交通信号灯的颜色。交通信号灯的颜色可以分为4类：红、黄、绿和交通信号灯关闭(off)状态的颜色。
图4为本发明提供的第二深度学习模型一实施例的结构示意图。如图4示出了一种第二深度学习模型为深度卷积神经网络为例，其中，该深度卷积神经网络包括：3个卷积层(convolutions)、2个池化(max-pooling)层、2个全连接层、1个空间金字塔池化(SpatialPyramid Pooling，简称：SPP)层和多个Logistic分类器。
如图4所示，深度卷积神经网络将输入的待处理图像的目标区域依次经过3个卷积层和2个池化层的处理后，将卷积特征图送入SPP层。其中，深度卷积神经网络通过卷积层和池化层对待处理图像进行的提取卷积特征图的处理可参照现有技术，不再赘述。可选地，如图4所示的深度卷积神经网络获取到输入的待处理图像后，可以首先根据S102中第一深度学习模型所确定的目标区域的坐标在待处理图像中提取目标区域。
而由于S102中，第一深度学习模型使用不同大小的卷积特征尺度对待处理图像中包含交通信号灯的目标区域进行检测，而不同卷积特征尺度得到的目标区域的尺度不固定；又因为深度卷积神经网络在训练过程中，需要使用统一尺度的图像进行信号的属性的分类学习。因此，为了统一第一深度学习模型输出的目标区域的尺度以及深度卷积神经网络进行目标区域中信号灯识别的尺度，本实施例在现有的深度卷积神经网络基础上，加入了SPP层，用于将第一深度学习模型输出的目标区域调整为目标尺度后，再通过深度卷积神经网络进行识别。其中，所述的目标尺度是深度卷积神经网络训练过程中使用的包含交通信号灯的训练图像的尺度。例如，深度卷积神经网络在训练过程中，使用目标尺度为128*128的包含交通信号灯的图像进行特征的识别与模型的训练。而在待处理图像的识别过程中，若第一深度学习模型所提取的待处理图像中目标区域的尺度为64*64，此时深度卷积神经网络需要通过SPP层对目标区域进行尺度变换，将目标区域的尺度由64*64变换为目标尺度128*128后，再通过全连接层的处理并送入Logistic分类器进行交通信号灯显示信息的识别，从而能够统一深度卷积神经网络中的分类器所处理的图像的尺度，允许第一深度学习模型在检测过程中对待处理图像进行处理后得到的图像的尺度与深度卷积神经网络训练时尺度不同，进而提高分类器的检测准确程度。
如图4所示的实施例中，针对现有技术中深度卷积神经网络使用的Softmax分类器由于其单输出的特性而只能对目标区域中出现的得分最高的交通信号灯进行识别，而交通信号灯在道路上设置较为复杂，在自动驾驶的场景下，拍摄设备所采集的待处理图像中可能不只包括一个交通信号灯，而是包括多个交通信号灯，并且同一个目标区域内还可能会包括距离较近的两个交通信号灯，Softmax分类器无法对目标区域中出现的多个交通信号灯进行识别。则本实施例图4提供的S103一种可能的实现方式中，电子设备根据第二深度学习模型识别S102中所获取的目标区域中至少一个交通信号灯的显示信息。
具体地，所述的深度卷积神经网络中包括逻辑(Logistic)分类器，利用Logistic分类器的多输出特性，对同一目标区域内至少一个交通信号灯进行识别，所述至少一个交通信号灯包括：一个或者多个交通信号灯，所述多个指两个或两个以上。可选地，本实施例中深度卷积神经网络包括的Logistic分类器可以是多个。其中，S102中若第一深度学习模型检测出目标区域中包括至少一个交通信号灯，则在所确定的目标区域中进行标记。S103中深度卷积神经网络根据标记的个数，通过多个Logistic分类器识别出与标记个数相同的交通信号灯的显示信息。例如：若深度卷积神经网络所获取的目标区域中标记有2个交通信号灯，则在如图4所示的Logistic分类步骤中，由多个不同的Logistic分类器同时对经过前述处理后的卷积图数据进行识别，并取多个不同的Logistic分类器的输出中得分最高的2个交通信号灯作为2个交通信号灯的显示信息的输出。
进一步地，在本实施例中，为了提高深度卷积神经网络的性能，在如图4所示的实施例中，深度卷积神经网络将神经网络中采用32bit浮点数表示的模型参数采用int8量化压缩后进行计算，从而加快深度卷积神经网络的计算速度，提升卷积神经网络的计算效率和性能。
可选地，在本发明各实施例的基础上，本发明还提供一种训练得到第一深度学习模型和第二深度学习模型的方式。其中，使用第一训练图像集合训练得到第一深度学习模型，第一训练图像集合包括多个包含交通信号灯的图像；使用第二训练图像集合训练得到第一深度学习模型，第二训练图像集合包括多个包含交通信号灯的目标区域。即，本发明将用于检测的第一深度学习模型和用于识别的第二深度学习模型分开进行深度学习以得到不同的深度学习模型。
而现有的交通信号灯识别方法中，深度学习模型中检测和识别部分是一并处理，这样在求深度学习模型的损失率(loss)时，最终计算的是检测和识别两部分的loss的和。其中，loss为神经网络在图像的检测与识别过程中用于指示网络输出结果与实际图像之差的参数，神经网络可以根据loss的回馈机制对神经网络内的参数进行调整。例如：若神经网络在图像检测时所检测的包含交通信号灯的目标区域顶点的坐标为a而实际坐标为b，则此时loss＝b-a，而神经网络在图像识别时识别出交通信号灯的属性为c而实际属性为d，此时loss＝d-c，因此对于该神经网络对于图像既进行检测又进行识别，该神经网络的loss＝(b-a)+(d-c)。由于神经网络的训练最终目标是通过loss来衡量，loss越小时说明神经网络能够输出的内容和实际的内容更加接近。明显地，在现有技术中神经网络的loss是检测和识别两部分之和，对于该神经网络最终需要输出的交通信号灯识别结果，由于识别结果在训练时loss有检测结果的loss的加入，检测的loss影响识别的loss，导致神经网络的loss较大而不能进一步降低，而loss越大说明神经网络能够输出的内容与实际的内容越不相似，从而会由于检测部分的引入会降低神经网络对交通信号灯的识别准确率。因此，本发明提供的将用于检测的第一深度学习模型和用于识别的第二深度学习模型分开进行深度学习，能够避免两个深度学习模型的互相干扰，使得专门用于识别的第二深度学习模型在训练时无检测部分loss的干扰，能够获得尽可能小的loss，进而提高训练得到的深度学习模型的检测效率和识别效率。
综上，本实施例提供的交通信号灯识别方法中，通过使用不同的第一深度学习模型和第二深度学习模型分别进行图像的交通信号灯检测和交通信号灯识别，从而能够避免两个深度学习模型的互相干扰，提高深度学习模型的检测效率和识别效率，进而提高对交通信号灯的识别准确率。
图5为本发明提供的交通信号灯识别方法实施例二的流程示意图。如图5所示的实施例二在如图1所示基础上，还包括：S104：根据目标区域对所述交通信号灯在待处理图像中的位置信息进行跟踪。
其中，在S104一种可能的实现方式中，电子设备具体根据MedianFlow跟踪算法来实现多张连续的图像中特定交通信号灯位置信息的跟踪。例如，图6为本发明提供的跟踪目标区域的应用示意图，在如图6所示的示例中，在自动驾驶的应用场景下，电子设备对拍摄设备在时间轴t上所采集的连续N帧图像进行检测时，由于连续采集的图像之间交通信号灯可能位置变化较小。因此在第一帧图像①作为待处理图像进行如前述实施例中S102中第一深度学习模型检测得到交通信号灯的位置信息后，通过MedianFlow跟踪算法建立该交通信号灯的位置信息与交通信号灯的对应关系，并对下一帧图像②中交通信号灯的位置信息进行预测，从而在电子设备通过S102检测包括交通信号灯的目标区域时，第一深度学习模型能够以图像①中交通信号灯的位置信息为参考，对图像②中包括交通信号灯的目标区域进行检测，从而实现对连续N张图像中交通信号灯的位置信息进行跟踪，进而实现对交通信号灯的识别效率。
图7为本发明提供的交通信号灯识别装置实施例一的结构示意图。如图7所示，本实施例提供的交通信号灯识别装置包括：确定模块701，检测模块702和识别模块703。其中，确定模块701用于确定待处理图像、第一深度学习模型和第二深度学习模型；检测模块702用于根据第一深度学习模型确定待处理图像中包含交通信号灯的目标区域；识别模块703用于根据第二深度学习模型识别所述目标区域中所述交通信号灯的显示信息。
本实施例提供的交通信号灯识别装置可用于执行如图1所示的交通信号灯识别方法，其实现方式与原理相同，不再赘述。
可选地，在上述实施例中，检测模块702具体用于，根据第一深度学习模型通过多个卷积特征尺度对待处理图像处理，得到待处理图像的多个特征；根据第一深度学习模型根据多个特征确定待处理图像中包含交通信号灯的目标区域。
可选地，在上述实施例中，检测模块702具体用于，根据第一深度学习模型依次使用多个卷积特征尺度对待处理图像进行处理，使得多个卷积特征尺度中的每个卷积特征尺度输出一个待处理图像的特征；其中，多个卷积特征尺度按照从大到小的顺序前后排列，每个卷积特征尺度对之前的卷积特征尺度所输出的特征进行处理得到卷积特征尺度的特征。
可选地，在上述实施例中，检测模块702具体用于，根据第一深度学习模型通过非极大值抑制NMS算法，从多个特征中确定待处理图像中包含交通信号灯的目标区域。
可选地，在上述实施例中，第一深度学习模型为卷积神经网络ResNet50；ResNet50中的每个卷积特征尺度均包括batchnorm层和scale层；其中，batchnorm层和scale层用于提高卷积特征尺度的计算速度。
可选地，在上述实施例中，识别模块703具体用于，根据第二深度学习模型识别目标区域中至少一个交通信号灯的显示信息。
可选地，在上述实施例中，识别模块703具体用于，根据第二深度学习模型提取目标区域的卷积特征；根据第二深度学习模型通过空间金字塔池化SPP层调整卷积特征的尺寸；根据第二深度学习模型通过多个Logistic分类器对调整尺寸后的卷积特征进行分类识别，确定目标区域中至少两个交通信号灯的显示信息。
可选地，在上述各实施例中，第一深度学习模型使用INT8量化压缩；和/或，第二深度模型使用INT8量化压缩。
可选地，在上述实施例中，检测模块702具体用于，根据所述第一深度学习模型在所述待处理图像的特定区域确定包含交通信号灯的目标区域。
图8为本发明提供的交通信号灯识别装置实施例二的结构示意图。如图8所示的交通信号灯识别装置在如图7所示实施例一的基础上，还包括：跟踪模块801，用于根据所述目标区域对所述交通信号灯在所述待处理图像中的位置信息进行跟踪。
本实施例提供的交通信号灯识别装置可用于执行如图5所示的交通信号灯识别方法，其实现方式与原理相同，不再赘述。
本发明还提供一种电子设备，包括：处理器，存储器以及计算机程序；其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如前述实施例中任一项所述的交通信号灯识别方法的指令。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得服务器执行如前述实施例中任一项所述的交通信号灯识别方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (13)
1.一种交通信号灯识别方法，其特征在于，包括：
确定待处理图像、第一深度学习模型和第二深度学习模型；
根据所述第一深度学习模型确定所述待处理图像中包含交通信号灯的目标区域；
根据所述第二深度学习模型识别所述目标区域中所述交通信号灯的显示信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一深度学习模型确定所述待处理图像中包含交通信号灯的目标区域，包括：
根据所述第一深度学习模型通过多个卷积特征尺度对所述待处理图像处理，得到所述待处理图像的多个特征；
根据所述第一深度学习模型根据所述多个特征确定所述待处理图像中包含交通信号灯的目标区域。
3.根据权利要求2所述的方法，其特征在于，根据所述第一深度学习模型通过多个卷积特征尺度对所述待处理图像处理，得到所述待处理图像的多个特征，包括：
根据所述第一深度学习模型依次使用所述多个卷积特征尺度对所述待处理图像进行处理，使得所述多个卷积特征尺度中的每个所述卷积特征尺度输出一个所述待处理图像的特征；
其中，所述多个卷积特征尺度按照从大到小的顺序前后排列，每个所述卷积特征尺度对之前的卷积特征尺度所输出的特征进行处理得到所述卷积特征尺度的特征。
4.根据权利要求2所述的方法，其特征在于，根据所述第一深度学习模型根据所述多个卷积特征确定所述待处理图像中包含交通信号灯的目标区域，包括：
根据所述第一深度学习模型通过非极大值抑制NMS算法，从所述多个特征中确定所述待处理图像中包含交通信号灯的目标区域。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述第一深度学习模型为卷积神经网络ResNet50；
所述ResNet50中的每个卷积特征尺度均包括batchnorm层和scale层；其中，所述batchnorm层和所述scale层用于提高所述卷积特征尺度的计算速度。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第二深度学习模型识别所述目标区域中所述交通信号灯的显示信息，包括：
根据所述第二深度学习模型识别所述目标区域中至少一个交通信号灯的显示信息。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第二深度学习模型识别所述目标区域中交通信号灯的显示信息，包括：
根据所述第二深度学习模型提取所述目标区域的卷积特征；
根据所述第二深度学习模型通过空间金字塔池化SPP层调整所述卷积特征的尺寸；
根据所述第二深度学习模型通过多个Logistic分类器对调整尺寸后的所述卷积特征进行分类识别，确定所述目标区域中至少一个交通信号灯的显示信息。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述第一深度学习模型确定所述待处理图像中包含交通信号灯的目标区域，包括：
根据所述第一深度学习模型在所述待处理图像的特定区域确定包含交通信号灯的目标区域。
9.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述第二深度学习模型识别所述目标区域中所述交通信号灯的显示信息之后，还包括：
根据所述目标区域对所述交通信号灯在所述待处理图像中的位置信息进行跟踪。
10.根据权利要求1-7任一项所述的方法，其特征在于，
所述第一深度学习模型使用int8量化压缩；
和/或，所述第二深度模型使用int8量化压缩。
11.一种交通信号灯识别装置，其特征在于，包括：
确定模块，用于确定待处理图像、第一深度学习模型和第二深度学习模型；
检测模块，用于根据第一深度学习模型确定待处理图像中包含交通信号灯的目标区域；
识别模块，用于根据第二深度学习模型识别所述目标区域中所述交通信号灯的显示信息。
12.根据权利要求11所述的装置，其特征在于，还包括：
跟踪模块，用于根据所述目标区域对所述交通信号灯在所述待处理图像中的位置信息进行跟踪。
13.一种电子设备，其特征在于，包括：处理器，存储器以及计算机程序；其中，所述计算机程序被存储在所述存储器中，并且被配置为由所述处理器执行，所述计算机程序包括用于执行如权利要求1-10任一项所述的方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910214523.9A CN111723614A (zh) | 2019-03-20 | 2019-03-20 | 交通信号灯识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910214523.9A CN111723614A (zh) | 2019-03-20 | 2019-03-20 | 交通信号灯识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111723614A true CN111723614A (zh) | 2020-09-29 |
Family
ID=72563472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910214523.9A Pending CN111723614A (zh) | 2019-03-20 | 2019-03-20 | 交通信号灯识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723614A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112712057A (zh) * | 2021-01-13 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 交通信号识别方法、装置、电子设备及存储介质 |
| CN113065466A (zh) * | 2021-04-01 | 2021-07-02 | 安徽嘻哈网络技术有限公司 | 一种基于深度学习的驾培用红绿灯检测系统 |
| CN113065466B (zh) * | 2021-04-01 | 2024-06-04 | 安徽嘻哈网络技术有限公司 | 一种基于深度学习的驾培用红绿灯检测系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038420A (zh) * | 2017-04-14 | 2017-08-11 | 北京航空航天大学 | 一种基于卷积网络的交通信号灯识别算法 |
| CN107563372A (zh) * | 2017-07-20 | 2018-01-09 | 济南中维世纪科技有限公司 | 一种基于深度学习ssd框架的车牌定位方法 |
| US20180144203A1 (en) * | 2016-11-23 | 2018-05-24 | Ford Global Technologies Llc | Traffic-Light Detection and Classification Using Computer Vision and Deep Learning |
| CN108304813A (zh) * | 2018-02-08 | 2018-07-20 | 长安大学 | 一种智能识别圆形交通信号灯状态的方法 |
| CN108305475A (zh) * | 2017-03-06 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种交通灯识别方法及装置 |
| CN108319949A (zh) * | 2018-01-26 | 2018-07-24 | 中国电子科技集团公司第十五研究所 | 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法 |
| US20180260639A1 (en) * | 2014-05-14 | 2018-09-13 | Mobileye Vision Technologies Ltd. | Systems and methods for detecting traffic signs |
| US20180307925A1 (en) * | 2017-04-20 | 2018-10-25 | GM Global Technology Operations LLC | Systems and methods for traffic signal light detection |
| CN108764164A (zh) * | 2018-05-30 | 2018-11-06 | 华中科技大学 | 一种基于可变形卷积网络的人脸检测方法及系统 |
| CN108960198A (zh) * | 2018-07-28 | 2018-12-07 | 天津大学 | 一种基于残差ssd模型的交通标志检测与识别方法 |
| CN109101914A (zh) * | 2018-08-01 | 2018-12-28 | 北京飞搜科技有限公司 | 一种基于多尺度的行人检测方法和装置 |
| US20190080455A1 (en) * | 2017-09-12 | 2019-03-14 | Beihang University | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation |
-
2019
- 2019-03-20 CN CN201910214523.9A patent/CN111723614A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260639A1 (en) * | 2014-05-14 | 2018-09-13 | Mobileye Vision Technologies Ltd. | Systems and methods for detecting traffic signs |
| US20180144203A1 (en) * | 2016-11-23 | 2018-05-24 | Ford Global Technologies Llc | Traffic-Light Detection and Classification Using Computer Vision and Deep Learning |
| CN108305475A (zh) * | 2017-03-06 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种交通灯识别方法及装置 |
| CN107038420A (zh) * | 2017-04-14 | 2017-08-11 | 北京航空航天大学 | 一种基于卷积网络的交通信号灯识别算法 |
| US20180307925A1 (en) * | 2017-04-20 | 2018-10-25 | GM Global Technology Operations LLC | Systems and methods for traffic signal light detection |
| CN107563372A (zh) * | 2017-07-20 | 2018-01-09 | 济南中维世纪科技有限公司 | 一种基于深度学习ssd框架的车牌定位方法 |
| US20190080455A1 (en) * | 2017-09-12 | 2019-03-14 | Beihang University | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation |
| CN108319949A (zh) * | 2018-01-26 | 2018-07-24 | 中国电子科技集团公司第十五研究所 | 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法 |
| CN108304813A (zh) * | 2018-02-08 | 2018-07-20 | 长安大学 | 一种智能识别圆形交通信号灯状态的方法 |
| CN108764164A (zh) * | 2018-05-30 | 2018-11-06 | 华中科技大学 | 一种基于可变形卷积网络的人脸检测方法及系统 |
| CN108960198A (zh) * | 2018-07-28 | 2018-12-07 | 天津大学 | 一种基于残差ssd模型的交通标志检测与识别方法 |
| CN109101914A (zh) * | 2018-08-01 | 2018-12-28 | 北京飞搜科技有限公司 | 一种基于多尺度的行人检测方法和装置 |
Non-Patent Citations (20)
| Title |
|---|
| BAI, Q ET AL.: "An efficient pedestrian detection network on mobile GPU with millisecond scale", 2019 CHINESE AUTOMATION CONGRESS (CAC2019), pages 3195 - 3199 * |
| CHEN D等: "Person search via a mask-guided two-stream cnn model", 《PROCEEDINGS OF THE EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV)》 * |
| CHEN D等: "Person search via a mask-guided two-stream cnn model", 《PROCEEDINGS OF THE EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV)》, 1 January 2018 (2018-01-01), pages 734 - 750 * |
| HUI ZHANG等: "MFR-CNN: Incorporating Multi-Scale Features and Global Information for Traffic Object Detection", 《IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY》 * |
| HUI ZHANG等: "MFR-CNN: Incorporating Multi-Scale Features and Global Information for Traffic Object Detection", 《IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY》, 4 June 2018 (2018-06-04), pages 8019 - 8030 * |
| JINKYU KIM ET AL.: "Deep Traffic Light Detection for Self-driving Cars from a Large-scale Dataset", 2018 21ST INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC), pages 280 - 285 * |
| PENG CHENG等: "LOCO: Local Context Based Faster R-CNN for Small Traffic Sign Detection", 《INTERNATIONAL CONFERENCE ON MULTIMEDIA MODELING》 * |
| PENG CHENG等: "LOCO: Local Context Based Faster R-CNN for Small Traffic Sign Detection", 《INTERNATIONAL CONFERENCE ON MULTIMEDIA MODELING》, 13 January 2018 (2018-01-13), pages 329 - 341, XP047460398, DOI: 10.1007/978-3-319-73603-7_27 * |
| XINYUAN WANG等: "A Method of Traffic Light Status Recognition Based o", 《ASSOCIATION FOR COMPUTING MACHINERY》 * |
| XINYUAN WANG等: "A Method of Traffic Light Status Recognition Based o", 《ASSOCIATION FOR COMPUTING MACHINERY》, 26 December 2018 (2018-12-26), pages 166 - 170, XP058428857, DOI: 10.1145/3303714.3303726 * |
| YIFAN LU等: "Traffic signal detection and classification in street views using an attention model", 《COMPUTATIONAL VISUAL MEDIA》 * |
| YIFAN LU等: "Traffic signal detection and classification in street views using an attention model", 《COMPUTATIONAL VISUAL MEDIA》, 30 September 2018 (2018-09-30), pages 253 - 266 * |
| 吴国庆等: "基于图像处理的交通灯检测技术", 现代电子技术, vol. 40, no. 08, pages 103 - 106 * |
| 孙伟等: "基于CNN多层特征和ELM的交通标志识别", 《电子科技大学学报》 * |
| 孙伟等: "基于CNN多层特征和ELM的交通标志识别", 《电子科技大学学报》, vol. 47, no. 3, 30 May 2018 (2018-05-30), pages 343 - 349 * |
| 李树林: "基于无人机交通视频分析的车辆目标检测技术研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| 李树林: "基于无人机交通视频分析的车辆目标检测技术研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 10, 15 October 2018 (2018-10-15), pages 8 - 9 * |
| 李玉鉴等: "《深度学习卷积神经网络从入门到精通》", 31 July 2018, 北京：北京理工大学出版社, pages: 167 - 169 * |
| 熊昌镇等: "图切技术和卷积网络的交通标志数据集构建方法", 计算机应用, vol. 37, no. 1, pages 183 - 186 * |
| 郭济民: "基于深度神经网络的物体识别方法研究及实现", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 09, pages 138 - 314 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112712057A (zh) * | 2021-01-13 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 交通信号识别方法、装置、电子设备及存储介质 |
| CN112712057B (zh) * | 2021-01-13 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 交通信号识别方法、装置、电子设备及存储介质 |
| CN113065466A (zh) * | 2021-04-01 | 2021-07-02 | 安徽嘻哈网络技术有限公司 | 一种基于深度学习的驾培用红绿灯检测系统 |
| CN113065466B (zh) * | 2021-04-01 | 2024-06-04 | 安徽嘻哈网络技术有限公司 | 一种基于深度学习的驾培用红绿灯检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11222441B2 (en) | Methods and apparatuses for object detection, and devices | |
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN110738101B (zh) | 行为识别方法、装置及计算机可读存储介质 | |
| KR102279291B1 (ko) | 사물 감지 장치 및 방법 | |
| WO2021051601A1 (zh) | 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质 | |
| US20190362144A1 (en) | Eyeball movement analysis method and device, and storage medium | |
| CN107480676B (zh) | 一种车辆颜色识别方法、装置和电子设备 | |
| CN112183482A (zh) | 危险驾驶行为识别方法、装置、系统及可读存储介质 | |
| US10062195B2 (en) | Method and device for processing a picture | |
| KR102476022B1 (ko) | 얼굴검출 방법 및 그 장치 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| US11887346B2 (en) | Systems and methods for image feature extraction | |
| CN111401196A (zh) | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 | |
| CN112784712B (zh) | 一种基于实时监控的失踪儿童预警实现方法、装置 | |
| CN111259710B (zh) | 采用停车位框线、端点的停车位结构检测模型训练方法 | |
| CN112052782A (zh) | 基于环视的停车位识别方法、装置、设备及存储介质 | |
| CN112560584A (zh) | 一种人脸检测方法及装置、存储介质、终端 | |
| CN110751225A (zh) | 图像分类方法、装置及存储介质 | |
| CN114220087A (zh) | 一种车牌检测方法、车牌检测器及相关设备 | |
| CN111723614A (zh) | 交通信号灯识别方法及装置 | |
| CN112784675A (zh) | 目标检测方法及装置、存储介质、终端 | |
| CN113065379A (zh) | 融合图像质量的图像检测方法、装置、电子设备 | |
| CN111160372A (zh) | 一种基于高速卷积神经网络的大目标识别方法 | |
| CN114219757B (zh) | 一种基于改进Mask R-CNN的车辆智能定损方法 | |
| CN114038030A (zh) | 图像篡改识别方法、设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |