CN112712057A - 交通信号识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及人工智能技术领域，具体提供了一种信号灯识别方法、装置、电子设备及存储介质，该方法包括：获取目标图像；对目标图像进行目标检测，确定目标图像中的目标区域，目标区域包含有信号灯；对目标区域进行图像特征提取，得到目标区域对应的图像特征；通过至少两种分类器根据图像特征进行运算，得到每一分类器输出的分类结果；根据至少两种分类器输出的分类结果进行投票运算，确定目标结果，将目标结果确定为信号灯的显示状态，显示状态包括亮灯颜色；该方法保证了所识别出交通信号灯的显示状态的准确性。该方案可应用于自动驾驶、辅助驾驶等领域。

Description

交通信号识别方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，具体而言，涉及一种交通信号识别方法、装置、电子设备及存储介质。

背景技术

自动驾驶、辅助驾驶等是人工智能技术应用的具体场景，其对于改善人们的出行方式、降低交通事故发生率和提高交通效率等具有重要意义。对自动驾驶、辅助驾驶而言，环境感知是不可缺少的环节。

环境感知包括感知信号灯，即通过识别信号灯的显示状态识别出交通信号，进而来确定当前交通工具的行驶动作，如，根据识别出的交通信号，确定当前交通工具允许通行的方向和禁止通行的方向，以实现正确行驶。但相关技术中存在交通信号识别准确度低的问题。

发明内容

本申请的实施例提供了一种交通信号识别方法、装置、电子设备及存储介质，以提高交通信号识别的准确度。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种交通信号识别方法，所述方法包括：

获取目标图像；

对所述目标图像进行目标检测，确定所述目标图像中的目标区域，所述目标区域包含有交通信号灯；

对所述目标区域进行图像特征提取，得到所述目标区域对应的图像特征；

通过至少两种分类器根据所述图像特征进行运算，得到每一分类器输出的分类结果；

根据所述至少两种分类器输出的所述分类结果进行投票运算，确定目标结果，将所述目标结果确定为所述信号灯的显示状态，所述显示状态包括亮灯颜色。

根据本申请实施例的一个方面，提供了一种交通信号识别装置，所述装置包括：

获取模块，用于获取目标图像；

目标检测模块，用于对所述目标图像进行目标检测，确定所述目标图像中的目标区域，所述目标区域包含有信号灯；

特征提取模块，用于对所述目标区域进行图像特征提取，得到所述目标区域对应的图像特征；

分类模块，用于通过至少两种分类器根据所述图像特征进行运算，得到每一分类器输出的分类结果；

确定模块，用于根据所述至少两种分类器输出的所述分类结果进行投票运算，确定目标结果，将所述目标结果确定为所述信号灯的显示状态，所述显示状态包括亮灯颜色。

根据本申请实施例的一个方面，提供了一种电子设备，包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上所述交通信号识别方法。

根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被处理器执行时，实现如上所述的交通信号识别方法。

在本申请的方案中，在确定目标图像中包括信号灯所在区域的目标区域后，通过至少两种分类器来根据目标区域的图像特征进行分类，并通过对分类结果进行投票来确定目标区域中信号灯的显示状态。相较而言，多种分类器同时出现分类错误的概率远远低于单种分类器出错的概率，由于本方案中目标结果是由至少两种分类器所分别输出的分类结果进行投票确定，而不仅仅只取决于其中一种分类器的输出结果，因此降低了所确定目标结果出现错误的概率，由此提高了所确定信号灯的显示状态的准确性。而且，在至少两种分类器所输出的分类结果相同的情况下，两种分类器所输出的分类结果互为见证，相较于仅用一种分类器进行分类的场景，提高了所确定目标结果的可靠性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

图2是根据本申请的一个实施例示出的交通信号识别方法的流程图。

图3是根据本申请一实施例示出的步骤240的流程图。

图4是根据本申请一实施例示出的步骤220的流程图。

图5是根据本申请一实施例示出的步骤220之前步骤的流程图。

图6是根据本申请一实施例示出的步骤230之前步骤的流程图。

图7是根据本申请一实施例示出的目标图像的示意图。

图8示出了图7的目标图像中所包括目标区域的示意图。

图9是根据本申请的一实施例示出的步骤240之后步骤的流程图。

图10是根据一实施例示出的交通信号识别装置的框图。

图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

自动驾驶、辅助驾驶等是人工智能技术的具体应用场景，其中，在自动驾驶和高级辅助驾驶的技术中，需要借助于人工智能技术进行环境感知，从而使交通工具自动获知到周围环境的情况，进而基于所感知到的环境情况自动进行驾驶决策。

在自动驾驶和辅助驾驶等领域中，信号灯是一种重要的感知元素。为了解决相关技术中交通信号识别准确度低的问题，提出了本申请的方案。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

如图1所示，该系统架构可以包括图像采集终端110、交通信号灯识别装置120和交通工具130，其中，图像采集终端110将所采集到的目标图像发送至交通信号灯识别终端120，由交通信号灯识别装置120根据该目标图像识别目标图像中交通信号灯的显示状态，然后，由交通信号灯识别装置120将所识别出的交通信号灯的显示状态发送至交通工具，以便于交通工具基于所识别出的交通信号灯的显示状态进行驾驶决策，例如确定当前的行驶方向、交通工具的停止与启动等。

图像采集终端110可以是照相机、摄像头等可以采集图像的设备，在此不进行具体限定。交通信号灯识别装置120可以是独立的计算机设备，例如服务器等，当然，该交通信号灯识别装置120还可以是集成在交通工具130中的终端(如车载终端)或终端中的功能模块。交通工具130可以是汽车(小轿车、公共汽车、大巴车、货车等)、高铁、火车等。

在一应用场景中，图像采集终端110和交通信号灯识别装置120均可以设置在交通工具130中，从而，在交通工具130的行驶过程中，通过图像采集终端110实时进行图像采集，然后由交通信号灯识别装置120实时根据所采集的图像识别交通信号灯的显示状态。

可以理解的是，图像采集终端110所采集的目标图像是朝向交通工具的行驶方向进行图像采集得到的，其中，该图像采集终端110以设有交通信号灯的灯板作为图像采集对象，因此，图像采集终端110所采集的图像中的元素至少包括设有交通信号灯的灯板。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

图2示出了根据本申请的一个实施例示出的交通信号识别方法的流程图，该方法可以由具备处理能力的计算机设备执行，例如服务器或者交通工具等。参照图2所示，该方法至少包括步骤210至250，详细介绍如下：

步骤210，获取目标图像。

目标图像是指待对其中的交通信号灯进行识别的图像。

在本申请的一些实施例中，该目标图像可以是在交通工具的驾驶视角下所采集到的图像，例如在交通工具中布设图像采集装置，从而，在交通工具在道路上行驶中实时朝向交通工具的行驶方向进行图像采集，得到指示该交通工具前方的道路情况的目标图像。

步骤220，对所述目标图像进行目标检测，确定所述目标图像中的目标区域，所述目标区域包含有信号灯。

在本申请的方案中，对目标图像进行目标检测是为了确定目标图像中信号灯所在的图块，即目标区域。

在本申请的一些实施例中，目标检测所要确定的目标对象可以是图像中的灯板，该灯板中设有至少一信号灯。在该实施例中，目标区域即为目标图像中灯板所在的图块。所确定的目标区域至少包围了该灯板的轮廓。一灯板上可以设有多个信号灯，通常为三个，该多个信号灯是并排间隔设置的，例如横向间隔设置，或者纵向间隔设置。

目标图像所示出环境中可能包括多个灯板，在该种情况下，需要通过步骤220来确定目标图像中所示出每一灯板所在的目标区域。

对目标图像进行目标检测所得到的检测结果，一方面指示了该目标图像中是否包括信号灯，另一方面，如果该目标图像中包括信号灯，该检测结果还指示了目标区域在目标图像中的位置信息和该目标区域在目标图像中的尺寸信息。在此基础上，根据所得到检测结果所指示目标区域的位置信息和尺寸信息可以对应从目标图像中提取得到该目标区域。

在本申请的一些实施例中，可以通过深度学习的方式进行目标检测。通过构建一深度学习模型，然后对该深度学习模型进行训练，使得该深度学习模型可以准确定位图像中信号灯所在的目标区域，训练结束后，该深度学习模型可以用于检测目标图像中是否包括信号灯，以及信号灯所在的目标区域在目标图像中的位置信息和尺寸信息。该深度学习模型可以是通过神经网络构建，例如卷积神经网络(Convolutional Neural Network，CNN)、全连接神经元等，在此不进行具体限定。

在本申请的一些实施例中，该深度学习模型可以是特征金字塔网络、SSD(SingleShot Detection)网络、基于区域的全卷积神经网络(Region-based Fully ConvolutionalNetworks，R-FCN)等，具体可根据实际需要选用并对该深度学习模型进行训练。

步骤230，对所述目标区域进行图像特征提取，得到所述目标区域对应的图像特征。

所提取的图像特征可以是LBP(Local Binary Pattern，局部二值模式)特征、HOG(Histogram of Oriented Gradient，方向梯度直方图)特征、HSV特征、HAAR特征等，在此不进行具体限定。

LBP特征是一种用来描述图像局部纹理特征的算子。其中，LBP设定在设定的窗口内，以窗口中的中心点像素为参照，将在该窗口内与中心点像素的相邻像素的灰度值与该中心点像素的灰度值进行比较，若相邻像素的灰度值大于中心点像素，则该中心点像素的位置被标记为1，否则为0，这样该窗口内的每一个像素点经比较可对应得到编码，该编码即为中心点像素的LBP值，并用这个值来反映该窗口所在区域的纹理信息。

HOG特征是通过计算和统计图像局部区域的梯度方向直方图来构成特征，其描述了图像中局部目标的表象和形状。

Haar特征，又称为Haar-like特征，其反应了图像的灰度变化情况。其特征模板内有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。

HSV特征是指图像在HSV空间下中各个像素点对应的色调(H)、饱和度(S)、亮度(V)的值。其中，色调(H)用角度度量，其取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°，蓝色为240°。饱和度(S)的取值范围为0.0-1.0，值越大，颜色越饱和。亮度(V)的取值范围为0(黑色)～255(白色)。

在本申请的一些实施例中，所提取的图像特征可以是一种，也可以是至少两种，在提取至少两种图像特征的场景下，将该至少两种图像特征进行融合得到目标图像特征，然后基于目标图像特征进行分类。

步骤240，通过至少两种分类器根据所述图像特征进行运算，得到每一分类器输出的分类结果。

分类器可以是SVM(Support Vector Machine，支持向量机)分类器、决策树、K邻近分类器、朴素贝叶斯分类器等，在此不进行具体限定。选定用于进行分类的至少两种分类器是不同类型的分类器。

分类器所输出的分类结果用于指示该图像特征所对应灯板区块中交通信号灯的显示状态。

为了保证分类器所输出分类结果的准确性，在步骤240之前需要通过训练数据对每一种分类器进行训练，其中，训练数据包括样本图块和样本图块的标签信息，该样本灯板图块的标签信息用于指示该样本图块中信号灯的显示状态，在训练过程中，通过分类器根据样本图块的图像特征进行分类预测，得到为该样本图块所预测到的预测信息，该预测信息用于指示所预测到样本图块中信号灯的显示状态，然后根据预测信息所指示的显示状态和标签信息所指示的显示状态来调整分类器的参数，指示达到训练结束条件。

在本申请的一些实施例中，为目标区域所提取的图像特征可以是至少两种，在该种应用场景下，如图3所示，步骤240进一步包括：

步骤310，对所提取的至少两种图像特征进行融合，得到所述目标区域的目标图像特征。

所进行的融合可以是对至少两种图像特征进行拼接，将拼接结果作为该目标区域的目标图像特征。

在本申请的一些实施例中，步骤310进一步包括：对每一种图像特征进行归一化处理；将归一化处理后的至少两种图像特征进行拼接，得到所述目标区域的目标图像特征。

为了避免每种图像特征的取值范围不同影响后续分类的结果，通过对每一种图像特征进行归一化处理，从而将每一种图像特征均转换到相同的无量纲范围中。

步骤320，将所述目标图像特征分别输入至所述至少两种分类器。

步骤330，由每一分类器根据所述目标图像进行分类运算，输出对应的分类结果。

请继续参阅图2，步骤250，根据所述至少两种分类器输出的所述分类结果进行投票运算，确定目标结果，将所述目标结果确定为所述信号灯的显示状态，所述显示状态包括亮灯颜色。

信号灯的显示状态包括指示未亮灯的显示状态和指示亮灯的显示状态，指示亮灯的显示状态例如指示亮红灯的显示状态、指示亮绿灯的显示状态等。交通信号灯的亮灯颜色包括红色、绿色和黄色。

在一些应用场景中，还可能通过被点亮的信号灯的亮灯形状来指示所允许或者所禁止的通行方向，在该应用场景下，显示状态还进一步包括亮灯形状。

在本申请的一些实施例中，步骤250进一步包括:根据所述至少两种分类器针对所述目标图像输出的分类结果进行统计，得到每一分类结果的票数；将票数最高的分类结果确定为目标结果。

举例来说，若使用了三种分类器(分别为分类器A、分类器B和分类器C)来根据一灯板图块的图像特征进行分类，其中，分类器A所输出的分类结果指示亮红灯；分类器B所输出的分类结果指示亮红灯，分类器C所输出的分类结果指示亮绿灯。通过统计分类结果可以发现，指示亮红灯的分类结果的数量为2(表明指示亮红灯的分类结果的票数为2)，指示亮绿灯的分类结果的数量为1(表明指示亮绿灯的分类结果的票数为1)，显然，指示亮红灯的分类结果的票数最高，因此目标分类结果为指示亮红灯的分类结果。

在本申请的一些实施例中，为了避免出现票数相等的情况，可以使用奇数种分类器来进行分类预测。

在本申请的一些实施例中，由于不同的分类器的分类准确度存在差异，因此还可以基于每种分类器的分类准确度为该分类器所输出的分类结果设定投票权重。在进行投票过程中，该分类器对应的投票权重与参考票数的乘积作为该分类器对所输出分类结果的贡献票数。

继续上述三种分类器A、B、C的例子，若分类器A的分类准确度为90％，分类器B的分类准确度为95％，分类器C的分类准确度为97％，基于各分类器的分类准确度设定分类器A的投票权重为0.9，分类器B的投票权重为0.95，分类器C的投票权重为0.97。

假设参考票数为100，各个分类器所输出的分类结果仍然为上文中所描述的结果，则在投票过程中，分类器A针对指示亮红灯的分类结果的贡献票数为90，分类器B针对指示亮红灯的分类结果的贡献票数为95，分类器C针对指示亮绿灯的分类结果的贡献票数为97。进行票数统计可以确定指示亮红灯的分类结果的总计票数为185，指示亮绿灯的分类结果的总计票数为97，指示亮红灯的分类结果的总计票数高于指示亮绿灯的分类结果的总计票数，因此，将指示亮红灯的分类结果作为目标分类结果。

其中，分类器的分类准确度可以在对分类器完成训练后，通过测试样本来对分类器进行测试，以统计得到该分类器的分类准确度。在一实施例中，为分类器所设定的投票权重与该分类器的分类准确度成正比。

在本实施例中，根据每一分类器的分类准确度设定了该分类器对应的投票权重，并基于投票权重确定该分类器在投票过程中针对所输出分类结果的贡献票数，保证分类准确度越高的分类器对于所输出分类结果的贡献票数越高，保证了所确定目标结果的准确性，提升了信号灯识别的准确性。

在一个或多个实施例中，根据不同的环境状况，调整不同的分类器的投票权重，以得到更准确的结果。例如：根据当前处于黑夜、白天、阴天、下雨、下雪等不同环境状况下，根据不同分类器在不同环境状况下的识别能力，动态调整每个分类器对应的投票权重，以提升识别的准确性。

在一实施例中，可以预先设定每种分类器在每一环境状况对应的投票权重，在此基础上，在步骤250之前，先根据目标图像所对应的环境状况，获取各种分类器在该种环境状况对应的投票权重，进而在步骤250根据所获取的投票权重和在步骤240中所得到的分类结果来综合确定目标结果。

在一具体实施例中，可以按照如下表1所示来设定每种分类器在每一环境状况下的投票权重。当然，表1中所示出的环境情况分类仅仅是一种示例性举例，实际中环境情况的分类可能包括更多或者更少的分类，在此不进行具体限定。

	分类器X1	分类器X2	…	分类器Xn
					黑夜	A1	A2	…	An
白天	B1	B2	…	Bn
					阴天	C1	C2	…	Cn
下雨	D1	D2	…	Dn
					下雪	E1	E2	…	En
…	…	…	…	…

表1

在本申请的一些实施例中，还可以基于每一分类器的设定权重和每一分类器在对应环境状况下的准确度系数来确定每一种分类器在一环境状况下的投票权重。具体可以按照如下公式来计算每一种分类器在一环境状况下的投票权重：Q_i,j＝P_i×α_i,j；i∈[1,n]；j∈[1,m]，n和m均为正整数。其中，Q_i,j表示分类器Xi在第j种环境状况下的投票权重，P_i表示分类器Xi对应的设定权重；α_i,j表示分类器Xi在第j种环境情况下的准确度系数。

在该实施例中，如果分类器X1在白天、下雪天的识别准确度更高(所对应的准确度系数更大)，而分类器X2在阴天、下雨的识别准确度更高(所对应的准确度系数更大)，则按照上述公式所计算得到分类器X1在白天、下雪天环境中的投票权重更高，而分类器X2在阴天、下雨的投票权重更高。通过这种方式，可以通过调整准确度系数来灵活调整投票权重，实现了结合不同分类器在不同天气情况下的识别能力来确定目标结果，进一步保证了所得到目标结果的准确性。

在本申请的一些实施例中，信号灯的显示状态还包括亮灯形状，每一分类器所输出的分类结果不仅指示了该灯板区块中信号灯的亮灯颜色，而且指示了该信号灯的亮灯形状。亮灯形状例如表示直行的箭头、表示向左拐的左行箭头、表示向右拐的右行箭头、表示掉头的转弯箭头、表示倒计时的数字等。

可以理解的是，在此种应用场景中，对于用于训练分类器的训练数据而言，训练样本(即样本图块)的标签信息不仅指示了该样本图块中信号的亮灯颜色，而且还指示了该样本图块中信号灯的亮灯形状。

在本申请的另一些实施例中，所述显示状态还包括亮灯形状，所述分类器包括用于进行亮灯颜色分类的第一分类器和用于进行亮灯形状分类的第二分类器；在该应用场景下，步骤240进一步包括：通过至少两种第一分类器根据所述图像特征进行运算，得到每一第一分类器输出的第一分类结果，所述第一分类结果用于指示亮灯颜色；通过至少两种第二分类器根据所述图像特征进行运算，得到每一第二分类器输出的第二分类结果，所述第二分类结果用于指示亮灯形状。

在本实施例中，亮灯颜色和亮灯形状的分类为不同的分类任务，针对该两种不同的分类任务，分别使用至少两种分类器来进行分类。

在得到每一第一分类器输出的第一分类结果后，对第一分类结果进行统计，得到每一第一分类结果的票数，并将票数最高的第一分类结果作为第一目标分类结果，将该第一目标分类结果所指示的亮灯颜色确定为目标区域中信号灯的亮灯颜色。

同理，在得到每一第二分类器输出的第二分类结果后，对第二分类结果进行统计，得到每一第二分类结果的票数，并将票数最高的第二分类结果作为第二目标分类结果，将该第二目标分类结果所指示的亮灯形状确定为目标区域中信号灯的亮灯形状。

不可避免的是，分类器在分类过程中可能存在分类错误的情况，在仅用一种分类器进行分类的场景中，如果该分类器输出错误的分类结果，则直接导致所得到目标区域中信号灯的显示状态错误。

而在本申请的方案中，在确定目标图像中包括信号灯所在区域的目标区域后，通过至少两种分类器来根据目标区域的图像特征进行分类，并通过对分类结果进行投票来确定目标区域中信号灯的显示状态。相较而言，多种分类器同时出现分类错误的概率远远低于单种分类器出错的概率，由于本方案中目标结果是由至少两种分类器所分别输出的分类结果进行投票确定，而不仅仅只取决于其中一种分类器的输出结果，所确定目标分类结果错误的概率大大降低，由此提高了所确定信号灯的显示状态的准确性。而且，在至少两种分类器所输出的分类结果相同的情况下，两种分类器所输出的分类结果互为见证，相较于仅用一种分类器进行分类的场景，提高了所确定目标结果的可靠性。

进一步的，在本申请的方案中，在确定目标图像中的目标区域后，采用机器学习的方式识别目标区域中信号灯的显示状态，该机器学习的方式计算量小，对计算机设备的计算资源的需求不高，因此，算力受限的计算机设备也可以执行本申请的方案，因此，本申请的方案可以应用于在算力受限的情况下来实现信号灯的识别。

在本申请的一些实施例中，如图4所示，步骤220，包括：

步骤410，通过卷积模块对所述目标图像进行卷积处理，得到所述目标图像的目标特征图。

该卷积模块可以是卷积神经网络中的卷积层，该卷积模块基于所设置的卷积核对目标图像进行卷积处理，来提取得到该目标图像的卷积特征，其中卷积核的参数可以根据实际需要进行设定，例如选用3*3卷积核进行卷积处理。其中，卷积模块中可以包括多层卷积层。

在本申请的一些实施例中，所述卷积模块包括级联的复合卷积层和点卷积层，所述复合卷积层包括级联的第一卷积层和第二卷积层；在本实施例中，如图4所示，步骤410进一步包括：

步骤411，由所述第一卷积层中的每一第一一维卷积核在所对应的通道上对第一图像进行卷积处理，得到每一通道上的第一特征图；其中，若所述第一卷积层是所述卷积模块中的首层卷积层，所述目标图像作为所述第一图像；若所述第一卷积层是所述卷积模块中的非首层卷积层，所述第一卷积层的上一卷积层所输出的上一级特征图作为所述第一图像；一个所述第一一维卷积核与所述第一图像的一个通道相对应；

步骤412，由所述第二卷积层中的第二一维卷积核对所对应通道上的第二特征图进行卷积处理，得到每一通道上的第二特征图，其中，所述第一一维卷积核和所述第二一维卷积核中一个尺寸为1*K，另一个尺寸为K*1，K为大于1的正整数。

对于卷积核而言，其参数包括指示卷积核尺寸的参数，和卷积核的输入通道数和输出通道数，其中，卷积核的输入通道数与该卷积核所在卷积层的输入对象的通道数相同，卷积核的输出通道数决定了所输出特征图的通道。

第一一维卷积核是指在第一卷积层中的一维卷积核；第二一维卷积核是指第二卷积层中的一维卷积核。第一卷积层中的第一一维卷积核和第二卷积层中的第二一维卷积核对每个通道独立进行卷积处理，即第一卷积层中的一个第一一维卷积核仅负责第一图像中一个通道上的卷积处理，且一个通道仅被一个第一一维卷积核卷积。同理，第二卷积层中的一个第二一维卷积核也是仅负责第一特征图的一个通道。

第一一维卷积核和第二一维卷积核中一个尺寸为1*K，另一个尺寸为K*1，K为大于1的正整数，且第一卷积层和第二卷积层是相级联的，通过第一一维卷积核和第二卷积核的级联卷积处理，相当于实现了尺寸为K*K的卷积核所进行的卷积处理。

步骤413，由所述点卷积层中的点卷积核在全部通道上对第二特征图进行卷积处理，得到第三特征图。

在第三特征图的全部通道上对所述第三特征图进行卷积处理，得到第四特征图。

点卷积核是指尺寸为1*1的卷积核。假设第一图像的通道为c，点卷积核的输出通道数为c，如上所描述，第一卷积层和第二卷积层所进行的卷积处理等效于K*K的卷积核所进行的处理，而且第一卷积层和第二卷积层均是进行单通道独立卷积，因此，通过如上步骤411-413所实现的卷积处理与大小为K*K卷积核在输入通道和输出通道均为c的情况下所实现的卷积处理是等效的。

步骤414，根据所述第三特征图生成所述目标图像的目标特征图。

可以理解的是，卷积模块中可能还设置由池化层或者全连接层，或者有更多的彼此级联的第一卷积层、第二卷积层和点卷积层，因此，卷积模块中其后的网络层可以在所得到的第三特征图的基础上继续进行处理，得到目标图像的目标特征图。其中池化层用于对输入进行池化处理，全连接层用于对输入进行全连接处理。

通过如上步骤411-413所实现的卷积处理与大小为K*K卷积核在输入通道和输出通道均为c的情况下所实现的卷积处理是等效的。而在输入通道和输出通道均为c的情况下，若直接采用K*K卷积核进行卷积处理，其对应的参数计算量为：k*k*c*c＝k²*c²。在本实施例中，第一卷积层中的参数计算量为k*1*c；第二卷积层中的参数计算量为k*1*c；点卷积层中的参数计算量为1*1*c*c，因此，其参数计算量总和为：k*1*c+k*1*c+1*1*c*c＝(2k+c)*c。可以看出，在k或者c较大时，采用本实施例的方式可以大幅减少卷积参数量，从而计算量对应减少。由于此种卷积方式的计算量较小，从而，本实施例的方案对计算机设备的处理资源的要求较低，使得本申请的方案应用于算力受限的设备，例如交通工具，可以由交通工具来按照本申请的方案进行交通信号识别。

步骤420，基于初始锚框进行锚框回归，以根据所述目标特征图确定包围信号灯所在区域的目标锚框。

所进行的锚框回归即基于初始锚框进行锚框调整(其包括位置和尺寸的调整)，在目标特征图中提取对应像素点的特征来识别所提取像素点的特征是否为信号灯所在区域，进而确定包围信号灯所在区域的目标锚框。

初始锚框的尺寸是根据样本图像中的标注框的尺寸来进行聚类确定的。具体的，包括：获取多个样本图像的标签信息，所述标签信息指示了所述样本图像中的标注框的尺寸；对所述样本图像中标注框的尺寸进行聚类；根据聚类结果确定所述初始锚框的尺寸。

该样本图像中的标注框所包围的区域为样本图像中信号灯所在的区域。

对多个样本图像中标注框的尺寸所进行的聚类可以是通过K-means算法进行聚类，其中，聚类过程中的K值可以根据实际需要进行设定。所得到的聚类结果指示了标注框的尺寸的类别，然后，可以从中一个类别所对应的尺寸作为初始锚框的尺寸，可以是从中选定多个类型所分别指示的尺寸作为初始锚框的尺寸，在该种情况下，初始锚框可以包括多种尺寸的锚框。

步骤430，根据所述目标锚框从所述目标图像中提取得到所述目标区域。

通过上述步骤430可以确定目标锚框在目标图像中的位置和尺寸，例如目标锚框的宽和高。由此，确定目标锚框的基础上，可以直接按照锚框的位置和尺寸从目标图像中提取以该目标锚框作为边界所围成的区域，即灯板所在的灯板图块。

在上述实施例中，卷积模块是深度学习模型中的功能模块，也就是说，是通过深度学习模型来进行目标检测，确定目标图像中信号灯所在的目标区域。而所使用的深度学习模型为了保证所进行目标检测的准确性，需要通过训练数据对该深度学习模型进行训练。该深度学习模型的训练过程如下图5所示，包括步骤510-540，详细说明如下。

步骤510，获取训练样本集，所述训练样本集包括若干样本图像和所述样本图像的标签信息，所述标签信息包括标注框信息和类别信息，所述类别信息指示了所述样本图像中标注框所包围区域是否为信号灯所在区域。

步骤520，通过所述深度学习模型对所述样本图像进行训练检测，得到训练检测结果，所述训练检测结果指示了预测框的预测框信息和预测类别信息，所述预测类别信息指示了所述样本图像中预测框所包围区域是否为信号灯所在区域。

其中，预测框信息包括所得到包围灯板所在区域的预测框在样本图像中的位置以及该预测框的尺寸。

步骤530，根据所述样本图像的标注框信息、类别信息、预测框信息和预测类别信息计算所述深度学习模型的损失函数的损失值。

在本申请的一些实施例中，深度学习模型的损失函数包括中心点位置损失、高度损失、宽度损失、类别损失、置信度损失的叠加。

在该实施例中，所述标注框和所述预测框为矩形；所述目标检测结果还包括预测置信度；所述标注框信息指示了所述样本图像中标注框的尺寸信息和标注框所对应中心点的位置信息；所述预测框信息指示了所述预测框的中心点在所述样本图像中的位置信息和所述预测框的尺寸信息。

在该实施例中，步骤530进一步包括：根据所述标注框所对应中心点的位置信息和所述预测框的中心点的位置信息计算得到中心点位置损失；根据所述标注框的尺寸信息和所述预测框的尺寸信息计算得到高度损失和宽度损失；根据所述样本图像的类别信息和所述样本图像的预测类别信息计算得到类别损失；根据所述预测置信度和所述样本图像的类别信息在所述训练样本集中的置信度计算得到置信度损失；根据所述中心点位置损失、所述高度损失、所述宽度损失、所述类别损失和所述置信度损失计算得到所述损失值。

在一实施例中，中心位置点损失、高度损失、宽度损失、类别损失以及置信度损失可以分别是对应于样本图像的预测值与对应于样本图像的实际值的均方误差。举例来说，中心位置点损失等于标注框所对应中心点的坐标与预测框所对应点的坐标的均方误差。

步骤540，根据所计算得到的损失值调整所述深度学习模型的参数。

根据所得到的损失值调整深度学习模型的参数后，通过该深度学习模型再次对该样本图像进行目标检测，直至所得到的目标检测结果与该样本图像的标签信息之间的误差满足设定要求，该设定要求可以是所再次计算得到的损失值位于设定范围内。

针对每一样本图像均按照上述步骤510-540的过程对该深度学习模型进行训练，直至达到训练结束条件，该训练结束条件可以是该深度学习模型的迭代次数达到指定的训练迭代次数，还可以是该深度学习模型进行目标检测的准确度达到准确度要求。

在本申请的一些实施例中，在构建深度学习模型中，需要预先设定所使用神经网络的网络宽度，例如上述所涉及卷积神经网络的宽度，在本申请的方案中，该深度学习模型仅用于检测信号灯所在的区域，而需要检测出信号灯的颜色，因此，可以设定较小的宽度的神经网络。其中，网络宽度的设定值可以根据需要进行设定。

在通过该深度学习模型进行目标检测之前，需要预先设定该深度学习模型的下采样比例。对特征图进行下采样不仅能增加模型的感知视野，还可以减少模型的计算量。但是，由于信号灯在图像中尺度较小，如果下采样的比例过大，会丢失信号灯的信息。在一实施例中，经过实验对比，可以使用1/8的下采样比例，即可以保证不丢失信号灯的信息，又可以保证模型的计算量不过量。

在通过该深度学习模型进行目标检测之前，还需要设定目标图像的输入尺寸。如果输入至深度学习模型的图像的尺寸越大，可提取的特征越清晰，当时随之带来的计算量也增多。在一实施例中，考虑到由交通工具来执行本申请的方案，而交通工具的算力有限，通过实验验证，将输入图像的尺寸设为256*144可以在模型的计算量和可提取特征数量之间达到平衡。

在本申请的一些实施例中，所述目标图像中包括多个目标区域，如图6所示，步骤230之前，该方法还包括：

步骤610，确定各个目标区域的面积信息。

步骤620，根据所述各个目标区域的面积信息对所述目标区域进行过滤，将过滤后的目标区域作为进行图像特征提取的对象。

由于目标图像中可能包括多个目标区域，而目标区域所指示的信号灯距离采集该目标图像的图像采集终端的镜头的距离可能不同。

所进行交通信号识别是为了根据所识别出的信号灯的显示状态来作为交通工具进行驾驶的参照。而对于交通工具来说，朝向交通工具当前行驶方向下距离该交通工具最近的信号灯的显示状态对确定交通工具的驾驶决策才是具有意义的，距离该交通工具较远的信号灯的显示状态对于交通工具当前的驾驶决策意义不大，因此，为了避免进行不必要的信号灯的显示状态的识别，以节省计算资源，在步骤230之前，可以先对目标图像中的目标区域进行过滤。

在同一目标图像中不同目标区域的面积的相对大小可以反映该目标区域所对应信号灯距离该目标图像所来源图像采集终端的距离的远近，即目标区域的面积越小，表明该目标区域所指示信号灯距离该目标图像所来源图像采集终端的距离越远。

在步骤620中，通过进行灯板图块过滤，可以过滤掉距离目标图像所来源图像采集终端的距离较远的信号灯对应的目标区域，保留距离目标图像所来源图像采集终端的距离较近的信号灯对应的目标区域。

在本申请的一些实施例中，可以根据该目标图像中各目标区域的面积信息按照目标区域的面积大小由大到小进行排序，然后再根据设定的过滤条件将位于排序中后面的目标区域过滤掉，保留位于排序中靠前的目标区域，以对所保留的目标区域进行图像特征提取。

在本申请的一些实施例中，根据目标区域的面积信息和该目标图像的尺寸信息，可以确定该灯板区块在目标图像中的面积占比。可以理解的是，在图像采集终端的镜头的焦距固定的情况下，在目标图像中的面积占比越小则表明该对象距离该镜头的距离越远。因此，可以设定第一面积占比阈值，将面积占比小于该第一面积占比阈值的目标区域过滤掉。

通过在步骤230之前根据目标图像中各目标区域的面积信息对目标区域进行过滤，从而可以过滤掉距离交通工具较远的灯板的目标区域，避免进行不必要的交通信号灯的显示信息的识别，节省了计算资源。

在本申请的一些实施例中，在双向通行的道路中，其设置了指示每一通行方向的交通工具的通行指令的交通信号灯，而由于在一通行方向下所拍摄的图像中，用于指示该通行方向相反方向的信号灯所在的灯板的正面并没有显示在该图像中，而是该灯板的背面显示在该图像中的。而基于灯板的背面的图像并不能识别该灯板上信号灯的显示状态，因此，为了避免对该种不能识别的灯板进行交通信号灯识别，可以在步骤240之前，基于为目标区域所提取的图像特征来进一步的进行目标区域过滤。

步骤230中为目标区域所提取的图像特征包括表征目标区域颜色信息的特征，例如上述所列举HSV特征，因此可以基于表征该目标区域颜色信息的图像特征来进行目标区域过滤，以过滤掉其中不能指示信号灯亮的目标区域，当然，仅仅背面显示在目标图像中的灯板所对应的目标区域也被过滤掉。

在本申请的一些实施例中，可以根据目标区域中红绿黄颜色的区域在该目标区域中的面积占比，来滤掉不能指示交通信号灯亮的目标区域。具体的，可以设定第二面积占比阈值，在一目标区域中，若红绿黄三种颜色的区域在该目标区域中的面积占比小于该第二面积占比阈值，则可以视作该目标区域为并没有信号灯亮的目标区域，对应将该目标区域过滤掉，不需要通过分类器对该目标区域的图像特征进行分类。

举例来说，图7是在一车辆的驾驶视角下采集到的目标图像，由图7可以看出，图7中所示货车的通行方向与该图像所来源图像采集终端所在的车辆(为描述方便，称为目标车辆)的通行方向相反，在图7中，该目标车辆所在道路的左右两侧均布置有设置交通信号灯的灯板，设于图7中道路左侧的交通信号灯用于指示该货车所对应通行方向下车辆的通行，设于图7中道路右侧的信号灯用于指示该目标车辆所对应通行方向下车辆的通行。

若通过对图7所示的图像进行目标检测，检测出了图8所示出A、B、C、D四个灯板所在的目标区域，而显然，在图7和图8中，A灯板仅背面显示在该图像中的，因此，通过如上基于该灯板所在目标区域的表征颜色信息的图像特征可以将该A灯板所对应的目标区域过滤掉，而在步骤240中仅对B、C、D三个灯板对应的目标区域进行分类。

在本实施例中，由于在通过分类之前根据目标区域的表征颜色信息的图像特征进行了目标区域过滤，可以过滤掉不能指示交通信号灯亮的目标区域，从而不用对不指示交通信号灯亮的目标区域进行显示状态的分类，节省了计算处理资源。

在本申请的一些实施例中，步骤240之后，该方法还包括：根据所述分类结果确定禁止通行方向、允许通行方向；根据所述禁止通行方向、所述允许通行方向和所述交通工具的目的地确定所述交通工具的控制信息。

在本申请的一些实施例中，目标图像中包括多个目标区域，在该种情况下，可通过如图9所示的过程来生成控制信息，如图9所示，包括：步骤910，根据所述目标区域中对应于亮红灯的信号灯所对应的亮灯形状确定禁止通行方向；以及

步骤920，根据所述目标中对应于亮绿灯的交通信号灯所对应的亮灯形状确定允许通行方向。

在本申请一些实施例中，所述目标图像是朝向所述交通工具的行驶方向采集到的图像；所述显示状态还包括亮灯形状。

亮红灯的交通信号灯指示禁止通行，其亮灯形状指示了所禁止通行的方向。同理，亮绿灯的交通信号灯指示允许通行，其亮灯形状指示了所允许通行的方向。

在一些应用场景中，在一灯板支架上设有多个灯板，例如在一十字路口的灯板支架上设有第一灯板、第二灯板、第三灯板，其中，第一灯板上设有用于指示是否允许直行的信号灯，第二灯板上设有用于指示是否允许左转的信号灯，第三灯板上设有用于指示是否允许右转的信号灯。

若在某一时刻，第一灯板上的信号灯亮绿灯，第二灯板上的信号灯亮绿灯，第三灯板上的信号灯亮红灯，则在此情况下，禁止通行方向为右转方向(即第三灯板上信号灯的亮灯形状所指示的方向)，允许通行方向包括直行方向(第一灯板上信号灯的亮灯形状所指示的方向)和左转方向(第二灯板上信号灯的亮灯形状所指示的方向)。

因此，在一灯板支架上设有至少两个灯板的应用场景中，需要结合该至少两个灯板中的信号灯的亮灯状态来确定该时刻的全部禁止通行方向和全部允许通行方向。

由于位于同一灯板支架上的多个灯板一般是并排布置的，对应的，各位于同一灯板支架上的各个灯板上的信号灯也对应是并排布置的，例如横向间隔布置，或者纵向间隔布置，对应的，在目标图像中，位于同一灯板支架上的多个灯板所对应的目标区域是横向对其或者纵向对齐的，而且，一般的，位于同一灯板支架上的多个灯板的大小基本相同。因此，可以根据各个目标区域在目标图像中的位置信息和尺寸信息来确定位于同一灯板支架上的灯板。

可以先根据目标区域的尺寸信息确定尺寸信息基本相同的至少两个目标区域，然后对于该尺寸信息基本相同的至少两个目标区域，根据其所分别对应的位置信息来判断该至少两个目标区域在目标图像中是否位于同一水平高度，或者是否纵向对齐，如果该至少两个目标区域在目标图像中基本位于同一水平高度，或者纵向对齐，则确定该至少两个目标区域为位于同一灯板支架上的至少两个灯板所对应的目标区域。进而结合该位于同一灯板支架上的至少两个灯板所分别对应的目标区域中信号灯的显示状态来确定全部允许通行方向和全部禁止通行方向。

步骤930，根据所述禁止通行方向、所述允许通行方向和所述交通工具的目的地确定所述交通工具的控制信息。

交通工具的控制信息用于指示交通工具停下等待或者向某一通行方向行驶。其中，该控制信息可以直接用于交通工具的驾驶控制，该控制信息还可以用于对驾驶人员进行提示，以提示驾驶人员下一时刻所需要对交通工具进行的控制，便于该驾驶人员按照该控制信息来操控该交通工具。

根据交通工具所设定的目的地和该交通工具当前所在的位置，可以确定该交通工具下一时刻的目标通行方向。

在此基础上，根据所确定的禁止通行方向和允许通行方向确定该目标通行方向属于禁止通行方向还是属于允许通行方向。如果该目标通行方向属于禁止通行方向，则确定该交通工具的控制信息为指示停下等待的控制信息；反之，如果该目标通行方向属于允许通行方向，则确定该交通工具的控制信息为指示向目标通行方向行驶的控制信息。

在本实施例中，根据交通信号灯中的目标区域中信号灯的显示状态确定允许通行方向和禁止通行方向后，结合该交通工具的目的地确定交通工具下一时刻的目标通行方向，以及当前交通信号灯所指示的允许通行方向和禁止通行方向来确定该交通工具的控制信息，实现了根据所感知到交通信号灯的显示状态来自动控制交通工具的行驶，实现了交通工具的自动驾驶控制。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的方法。对于本申请装置实施例中未披露的细节，请参照本申请上述方法实施例。

图10是根据一实施例示出的交通信号识别装置的框图，如图10所示，该交通信号识别装置包括：

获取模块1010，用于获取目标图像。

目标检测模块1020，用于对所述目标图像进行目标检测，确定所述目标图像中的目标区域，所述目标区域包含有信号灯。

特征提取模块1030，用于对所述目标区域进行图像特征提取，得到所述目标区域对应的图像特征。

分类模块1040，用于通过至少两种分类器根据所述图像特征进行运算，得到每一分类器输出的分类结果。

确定模块1050，用于根据所述至少两种分类器输出的所述分类结果进行投票运算，确定目标结果，将所述目标结果确定为所述信号灯的显示状态，所述显示状态包括亮灯颜色。

在本申请的一些实施例中，所述显示状态还包括亮灯形状，所述分类器包括用于进行亮灯颜色分类的第一分类器和用于进行亮灯形状分类的第二分类器；分类模块1040包括：第一分类单元，用于通过至少两种第一分类器根据所述图像特征进行分类运算，得到每一第一分类器输出的第一分类结果，所述第一分类结果用于指示亮灯颜色。第二分类单元，用于通过至少两种第二分类器根据所述图像特征进行分类运算，得到每一第二分类器输出的第二分类结果，所述第二分类结果用于指示亮灯形状。

在本申请的一些实施例中，所述图像特征至少为两种，分类模块1040，包括：融合单元，用于对所提取的至少两种图像特征进行融合，得到所述目标区域的目标图像特征；输入单元，用于将所述目标图像特征分别输入至所述至少两种分类器分类预测单元，用于由每一分类器根据所述目标图像进行分类运算，输出对应的分类结果。

在本申请的一些实施例中，融合单元，用于包括：归一化处理单元，用于对每一种图像特征进行归一化处理；拼接单元，用于将归一化处理后的至少两种图像特征进行拼接，得到所述目标图像特征。

在本申请的一些实施例中，目标检测模块1020包括：卷积处理单元，用于通过卷积模块对所述目标图像进行卷积处理，得到所述目标图像的目标特征图；目标锚框确定单元，用于基于初始锚框进行锚框回归，以根据所述目标特征图确定包围信号灯所在区域的目标锚框；提取单元，用于根据所述目标锚框从所述目标图像中提取得到所述目标区域。

在本申请的一些实施例中，所述卷积模块包括级联的复合卷积层和点卷积层，所述复合卷积层包括级联的第一卷积层和第二卷积层；卷积处理单元，包括：

第一卷积处理单元，用于由所述第一卷积层中的每一第一一维卷积核在所对应的通道上对第一图像进行卷积处理，得到每一通道上的第一特征图；其中，若所述第一卷积层是所述卷积模块中的首层卷积层，所述目标图像作为所述第一图像；若所述第一卷积层是所述卷积模块中的非首层卷积层，所述第一卷积层的上一卷积层所输出的上一级特征图作为所述第一图像；一个所述第一一维卷积核与所述第一图像的一个通道相对应；

第二卷积处理单元，用于由所述第二卷积层中的第二一维卷积核对所对应通道上的第二特征图进行卷积处理，得到每一通道上的第二特征图，其中，所述第一一维卷积核和所述第二一维卷积核中一个尺寸为1*K，另一个尺寸为K*1，K为大于1的正整数；

第三卷积处理单元，用于由所述点卷积层中的点卷积核在全部通道上对第二特征图进行卷积处理，得到第三特征图；

目标特征图生成单元，用于根据所述第三特征图生成所述目标图像的目标特征图。

在本申请的一些实施例中，交通信号识别装置还包括：标签信息获取模块，用于获取多个样本图像的标签信息，所述标签信息指示了所述样本图像中的标注框的尺寸；聚类模块，用于对所述样本图像中标注框的尺寸进行聚类；尺寸确定模块，用于根据聚类结果确定所述初始锚框的尺寸。

在本申请的一些实施例中，目标检测模块1020进一步用于通过深度学习模型对所述目标图像进行目标检测，确定所述目标图像中的目标区域；在该实施例中，交通信号识别装置还包括：

训练样本集获取模块，用于获取训练样本集，所述训练样本集包括若干样本图像和所述样本图像的标签信息，所述标签信息包括标注框信息和类别信息，所述类别信息指示了所述样本图像中标注框所包围区域是否为信号灯所在区域；

目标检测结果确定模块，用于通过所述深度学习模型对所述样本图像进行训练检测，得到训练检测结果，所述训练检测结果指示了预测框的预测框信息和预测类别信息，所述预测类别信息指示了所述样本图像中预测框所包围区域是否为信号灯所在区域；

损失值计算模块，用于根据所述样本图像的标注框信息、类别信息、预测框信息和预测类别信息计算所述深度学习模型的损失函数的损失值；

参数调整模块，用于根据所计算得到的损失值调整所述深度学习模型的参数。

在本申请的一些实施例中，所述标注框和所述预测框为矩形；所述目标检测结果还包括预测置信度；所述标注框信息指示了所述样本图像中标注框的尺寸信息和标注框所对应中心点的位置信息；所述预测框信息指示了所述预测框的中心点在所述样本图像中的位置信息和所述预测框的尺寸信息；在该实施例中，损失值计算模块包括：中心点位置损失计算单元，用于根据所述标注框所对应中心点的位置信息和所述预测框的中心点的位置信息计算得到中心点位置损失；高度损失和宽度损失计算单元，用于根据所述标注框的尺寸信息和所述预测框的尺寸信息计算得到高度损失和宽度损失；类别损失计算单元，用于根据所述样本图像的类别信息和所述样本图像的预测类别信息计算得到类别损失；置信度损失计算单元，用于根据所述预测置信度和所述样本图像的类别信息在所述训练样本集中的置信度计算得到置信度损失；损失值计算单元，用于根据所述中心点位置损失、所述高度损失、所述宽度损失、所述类别损失和所述置信度损失计算得到所述损失值。

在本申请的一些实施例中，所述目标图像中包括多个灯目标区域，交通信号识别装置还包括：面积信息确定模块，用于确定各个目标区域的面积信息；过滤模块，用于根据所述各个目标区域的面积信息对所述目标区域进行过滤，将过滤后的目标区域作为进行图像特征提取的对象。

在本申请的一些实施例中，确定模块1050，包括：统计单元，用于根据所述至少两种分类器输出的分类结果进行统计，得到每一分类结果的票数；目标结果确定单元，用于将票数最高的分类结果确定为目标分类结果。

在本申请的一些实施例中，所述目标图像是朝向交通工具的行驶方向采集到的图像；所述显示状态还包括亮灯形状；交通信号识别装置还包括：禁止通行方向确定单元，用于根据所述目标区域中对应于亮红灯的信号灯所对应的亮灯形状确定禁止通行方向；以及允许通行方向确定单元，用于根据所述目标区域中对应于亮绿灯的信号灯所对应的亮灯形状确定允许通行方向；控制信息确定单元，用于根据所述禁止通行方向、所述允许通行方向和所述交通工具的目的地确定所述交通工具的控制信息。

图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图11示出的电子设备的计算机系统1100仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图11所示，计算机系统1100包括中央处理单元(Central Processing Unit，CPU)1101，其可以根据存储在只读存储器(Read-Only Memory，ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(Random Access Memory，RAM)1103中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 1103中，还存储有系统操作所需的各种程序和数据。CPU1101、ROM1102以及RAM 1103通过总线1104彼此相连。输入/输出(Input/Output，I/O)接口1105也连接至总线1104。

以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载计算机可读指令，当该计算机可读存储指令被处理器执行时，实现上述实施例中的方法。

根据本申请的一个方面，还提供了一种电子设备，其包括：处理器；存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时，实现上述实施例中的方法。

根据本申请实施例的一个方面，提供了计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各可选实施例中提供的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种交通信号识别方法，其特征在于，所述方法包括：

获取目标图像；

对所述目标图像进行目标检测，确定所述目标图像中的目标区域，所述目标区域包含有信号灯；

对所述目标区域进行图像特征提取，得到所述目标区域对应的图像特征；

通过至少两种分类器根据所述图像特征进行运算，得到每一分类器输出的分类结果；

根据所述至少两种分类器输出的所述分类结果进行投票运算，确定目标结果，将所述目标结果确定为所述信号灯的显示状态，所述显示状态包括亮灯颜色。

2.根据权利要求1所述的方法，其特征在于，所述显示状态还包括亮灯形状，所述分类器包括用于进行亮灯颜色分类的第一分类器和用于进行亮灯形状分类的第二分类器；

所述通过至少两种分类器根据所述图像特征进行运算，得到每一分类器输出的分类结果，包括：

通过至少两种第一分类器根据所述图像特征进行分类运算，得到每一第一分类器输出的第一分类结果，所述第一分类结果用于指示亮灯颜色；

通过至少两种第二分类器根据所述图像特征进行分类运算，得到每一第二分类器输出的第二分类结果，所述第二分类结果用于指示亮灯形状。

3.根据权利要求1所述的方法，其特征在于，所述图像特征至少为两种，所述通过至少两种分类器根据所述图像特征进行运算，得到每一分类器输出的分类结果，包括：

对所提取的至少两种图像特征进行融合，得到所述目标区域的目标图像特征；

将所述目标图像特征分别输入至所述至少两种分类器；

由每一分类器根据所述目标图像进行分类运算，输出对应的分类结果。

4.根据权利要求3所述的方法，其特征在于，所述对所提取的至少两种图像特征进行融合，得到所述目标区域的目标图像特征，包括：

对每一种图像特征进行归一化处理；

将归一化处理后的至少两种图像特征进行拼接，得到所述目标图像特征。

5.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行目标检测，确定所述目标图像中的目标区域，包括：

通过卷积模块对所述目标图像进行卷积处理，得到所述目标图像的目标特征图；

基于初始锚框进行锚框回归，以根据所述目标特征图确定包围信号灯所在区域的目标锚框；

根据所述目标锚框从所述目标图像中提取得到所述目标区域。

6.根据权利要求5所述的方法，其特征在于，所述卷积模块包括级联的复合卷积层和点卷积层，所述复合卷积层包括级联的第一卷积层和第二卷积层；

所述通过卷积模块对所述目标图像进行卷积处理，得到所述目标图像的目标特征图，包括：

由所述第一卷积层中的每一第一一维卷积核在所对应的通道上对第一图像进行卷积处理，得到每一通道上的第一特征图；其中，若所述第一卷积层是所述卷积模块中的首层卷积层，所述目标图像作为所述第一图像；若所述第一卷积层是所述卷积模块中的非首层卷积层，所述第一卷积层的上一卷积层所输出的上一级特征图作为所述第一图像；一个所述第一一维卷积核与所述第一图像的一个通道相对应；

由所述第二卷积层中的第二一维卷积核对所对应通道上的第二特征图进行卷积处理，得到每一通道上的第二特征图，其中，所述第一一维卷积核和所述第二一维卷积核中一个尺寸为1*K，另一个尺寸为K*1，K为大于1的正整数；

由所述点卷积层中的点卷积核在全部通道上对第二特征图进行卷积处理，得到第三特征图；

根据所述第三特征图生成所述目标图像的目标特征图。

7.根据权利5所述的方法，其特征在于，所述基于初始锚框进行锚框回归，以根据所述目标特征图确定包围信号灯所在区域的目标锚框之前，所述方法还包括：

获取多个样本图像的标签信息，所述标签信息指示了所述样本图像中的标注框的尺寸；

对所述样本图像中标注框的尺寸进行聚类；

根据聚类结果确定所述初始锚框的尺寸。

8.根据权利要求1所述的方法，其特征在于，通过深度学习模型对所述目标图像进行目标检测，确定所述目标区域，所述深度学习模型通过如下方式进行训练：

获取训练样本集，所述训练样本集包括若干样本图像和所述样本图像的标签信息，所述标签信息包括标注框信息和类别信息，所述类别信息指示了所述样本图像中标注框所包围区域是否为信号灯所在区域；

通过所述深度学习模型对所述样本图像进行训练检测，得到训练检测结果，所述训练检测结果指示了预测框的预测框信息和预测类别信息，所述预测类别信息指示了所述样本图像中预测框所包围区域是否为信号灯所在区域；

根据所述样本图像的标注框信息、类别信息、预测框信息和预测类别信息计算所述深度学习模型的损失函数的损失值；

根据所计算得到的损失值调整所述深度学习模型的参数。

9.根据权利要求8所述的方法，其特征在于，所述标注框和所述预测框为矩形；所述训练检测结果还包括预测置信度；

所述标注框信息指示了所述样本图像中标注框的尺寸信息和标注框所对应中心点的位置信息；所述预测框信息指示了所述预测框的中心点在所述样本图像中的位置信息和所述预测框的尺寸信息；

所述根据所述样本图像的标注框信息、类别信息、预测框信息和预测类别信息计算所述深度学习模型的损失函数的损失值，包括：

根据所述标注框所对应中心点的位置信息和所述预测框的中心点的位置信息计算得到中心点位置损失；

根据所述标注框的尺寸信息和所述预测框的尺寸信息计算得到高度损失和宽度损失；

根据所述样本图像的类别信息和所述样本图像的预测类别信息计算得到类别损失；

根据所述预测置信度和所述样本图像的类别信息在所述训练样本集中的置信度计算得到置信度损失；

根据所述中心点位置损失、所述高度损失、所述宽度损失、所述类别损失和所述置信度损失计算得到所述损失值。

10.根据权利要求1所述的方法，其特征在于，所述目标图像中包括多个目标区域，所述对所述目标区域进行图像特征提取，得到所述目标区域对应的图像特征之前，所述方法还包括：

确定各个目标区域的面积信息；

根据所述各个目标区域的面积信息对所述目标区域进行过滤，将过滤后的目标区域作为进行图像特征提取的对象。

11.根据权利要求1所述的方法，其特征在于，所述根据所述至少两种分类器输出的所述分类结果进行投票运算，确定目标结果，包括：

根据所述至少两种分类器输出的分类结果进行统计，得到每一分类结果的票数；

将票数最高的分类结果确定为目标分类结果。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述分类结果确定禁止通行方向、允许通行方向；

根据所述禁止通行方向、所述允许通行方向和交通工具的目的地确定所述交通工具的控制信息。

13.一种交通信号识别装置，其特征在于，所述装置包括：

获取模块，用于获取目标图像；

目标检测模块，用于对所述目标图像进行目标检测，确定所述目标图像中的目标区域，所述目标区域包含有信号灯；

特征提取模块，用于对所述目标区域进行图像特征提取，得到所述目标区域对应的图像特征；

分类模块，用于通过至少两种分类器根据所述图像特征进行运算，得到每一分类器输出的分类结果；

确定模块，用于根据所述至少两种分类器输出的所述分类结果进行投票运算，确定目标结果，将所述目标结果确定为所述信号灯的显示状态，所述显示状态包括亮灯颜色。

14.一种电子设备，其特征在于，包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1-12中任一项所述的方法。

15.一种计算机可读存储介质，其上存储有计算机可读指令，其特征在于，当所述计算机可读指令被处理器执行时，实现如权利要求1-12中任一项所述的方法。

Images