CN113989774A - 一种交通灯检测方法、装置、车辆和可读存储介质 - Google Patents
一种交通灯检测方法、装置、车辆和可读存储介质 Download PDFInfo
- Publication number
- CN113989774A CN113989774A CN202111258632.4A CN202111258632A CN113989774A CN 113989774 A CN113989774 A CN 113989774A CN 202111258632 A CN202111258632 A CN 202111258632A CN 113989774 A CN113989774 A CN 113989774A
- Authority
- CN
- China
- Prior art keywords
- image
- traffic light
- determining
- characteristic
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 74
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000003062 neural network model Methods 0.000 claims abstract description 49
- 238000010586 diagram Methods 0.000 claims description 116
- 238000013528 artificial neural network Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 18
- 239000003086 colorant Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 22
- 238000012545 processing Methods 0.000 abstract description 13
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011895 specific detection Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明实施例提供了一种交通灯检测方法、装置、车辆和可读存储介质，所述方法包括：获取待检测图像；将所述待检测图像输入预设的神经网络模型中，从输出的特征图像中确定交通灯特征点；确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，以识别所述交通灯的指示信号。根据本发明实施例，可以先确定交通灯的特征点，然后根据特征点上的图像特征信息确定交通灯的其它特征信息。通过采用上述方法，无需提前设置anchor，简化交通灯检测任务的处理过程，可以实现简单高效地完成交通灯检测任务。
Description
技术领域
本发明涉及车辆技术领域，特别是涉及一种交通灯检测方法、一种交通灯检测装置、一种车辆和一种计算机可读存储介质。
背景技术
智能车辆在自动驾驶过程中，需要执行多种基于神经网络的检测任务，部分检测任务采用基于anchor(也被称为anchor box)的方法对图像进行识别后获得待检测物体的位置，或采用two-stage的检测方法分别对检测物体的位置进行回归，并从二维框中的图像范围内对物体的其它特征信息进行回归和分类。上述检测方法在泛化的车辆检测任务中取得一定的成果，但对于特定的检测任务——交通灯检测任务，上述检测方法则过于繁琐。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种交通灯检测方法和相应的一种交通灯检测装置、一种车辆，以及一种计算机可读存储介质。
本发明实施例公开了一种交通灯检测方法，所述方法包括：
获取待检测图像；
将所述待检测图像输入预设的神经网络模型中，从输出的特征图像中确定交通灯特征点；
确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，以识别所述交通灯的指示信号。
可选地，所述预设的神经网络模型包括一个神经网络，所述将所述待检测图像输入预设的神经网络模型中，从输出的特征图像中确定交通灯特征点，包括：
将所述待检测图像输入所述一个神经网络中，输出对应的多通道热力图；
从所述多通道热力图中确定用于提取位置特征的第一通道热力图；
将所述第一通道热力图中，存在特征点的概率大于预设概率的位置确定为所述特征点的所在位置。
可选地，所述将所述待检测图像输入预设的神经网络模型中，从输出的特征图像中确定交通灯特征点，包括：
将所述待检测图像输入所述预设的神经网络模型中，输出感受野范围与所述交通灯背板的尺寸匹配的所述特征图像；
从所述特征图像中确定所述特征点。
可选地，所述特征点包括背板的中心点和/或各色灯区的中心点和/或各色灯区中方向指示标志的角点；所述其它交通灯特征信息包括背板的尺寸特征信息和/或各色灯区的颜色特征信息和/或各色灯区的指向特征信息。
可选地，所述确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，包括：
从所述多通道热力图中，确定用于提取颜色特征的第二通道热力图；
确定所述第二通道热力图中，位于所述特征点的第一图像特征信息；
采用所述第一图像特征信息确定所述交通灯各色灯区的显示颜色。
可选地，所述确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，包括：
从所述多通道热力图中，确定用于提取尺寸特征的第三通道热力图；
确定所述第三通道热力图中，位于所述特征点的第二图像特征信息；
采用所述第二图像特征信息确定所述交通灯背板的绝对尺寸。
可选地，所述确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，包括：
从所述多通道热力图中，确定用于提取指向特征的第四通道热力图；
确定所述第四通道热力图中，位于所述特征点的第三图像特征信息；
采用所述第三图像特征信息确定所述交通灯各色灯区的指示方向。
本发明实施例还公开了一种交通灯检测装置，所述装置包括：
获取模块，用于获取待检测图像；
第一确定模块，用于将所述待检测图像输入预设的神经网络模型中，从输出的特征图像中确定交通灯特征点；
第二确定模块，用于确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，以识别所述交通灯的指示信号。
可选地，所述预设的神经网络模型包括一个神经网络，所述第一确定模块，包括：
第一输出子模块，用于将所述待检测图像输入所述一个神经网络中，输出对应的多通道热力图；
第一确定子模块，用于从所述多通道热力图中确定用于提取位置特征的第一通道热力图；
第二确定子模块，用于将所述第一通道热力图中，存在特征点的概率大于预设概率的位置确定为所述特征点的所在位置。
可选地，所述第一确定模块，包括：
第二输出子模块，用于将所述待检测图像输入所述预设的神经网络模型中，输出感受野范围与所述交通灯背板的尺寸匹配的所述特征图像；
第三确定子模块，用于从所述特征图像中确定所述特征点。
可选地，所述特征点包括背板的中心点和/或各色灯区的中心点和/或各色灯区中方向指示标志的角点；所述其它交通灯特征信息包括背板的尺寸特征信息和/或各色灯区的颜色特征信息和/或各色灯区的指向特征信息。
可选地，所述第二确定模块，包括：
第四确定子模块，从所述多通道热力图中，确定用于提取颜色特征的第二通道热力图；
第五确定子模块，确定所述第二通道热力图中，位于所述特征点的第一图像特征信息；
第六确定子模块，采用所述第一图像特征信息确定所述交通灯各色灯区的显示颜色。
可选地，所述第二确定模块，包括：
第七确定子模块，用于从所述多通道热力图中，确定用于提取尺寸特征的第三通道热力图；
第八确定子模块，用于确定所述第三通道热力图中，位于所述特征点的第二图像特征信息；
第九确定子模块，用于采用所述第二图像特征信息确定所述交通灯背板的绝对尺寸。
可选地，所述第二确定模块，包括：
第十确定子模块，用于从所述多通道热力图中，确定用于提取指向特征的第四通道热力图；
第十一确定子模块，用于确定所述第四通道热力图中，位于所述特征点的第三图像特征信息；
第十二确定子模块，用于采用所述第三图像特征信息确定所述交通灯各色灯区的指示方向。
本发明实施例还公开了一种车辆，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的一种交通灯检测方法的步骤。
本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的一种交通灯检测方法的步骤。
本发明实施例包括以下优点：
在本发明实施例中，可以先确定交通灯的特征点，然后根据特征点上的图像特征信息确定交通灯的其它特征信息。通过采用上述方法，无需提前设置anchor，简化交通灯检测任务的处理过程，基于交通灯的物理特性设计的上述技术方案可以实现简单高效地完成交通灯检测任务。
附图说明
图1是本发明实施例提供的一种交通灯检测方法的步骤流程图；
图2是本发明实施例提供的另一种交通灯检测方法的步骤流程图；
图3是本发明实施例的多通道热力图的示意图；
图4是成像设备“近大远小”的形变特性对于交通灯影响的模型示意图；
图5是本发明实施例提供的一种交通灯检测装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其它实施例，都属于本发明保护的范围。
在自动驾驶过程中，需要执行多种基于神经网络的检测任务，部分检测任务采用基于anchor(也被称为anchor box)的方法对图像进行识别后获得待检测物体的位置，或采用two-stage的检测方法分别对检测物体的位置进行回归，并从二维框中的图像范围内对物体的其它特征信息进行回归和分类。上述检测方法在泛化的车辆检测任务中取得一定的成果，但对于特定的检测任务——交通灯检测任务，上述检测方法则过于繁琐。
本发明实施例的核心构思之一在于，可以先确定交通灯的特征点，然后根据特征点上的图像特征信息确定交通灯的其它特征信息。通过采用上述方法，无需提前设置anchor，简化交通灯检测任务的处理过程，基于交通灯的物理特性设计的上述技术方案可以实现简单高效地完成交通灯检测任务。
参照图1，示出了本发明实施例提供的一种交通灯检测方法的步骤流程图，具体可以包括如下步骤：
步骤101，获取待检测图像。
智能交通系统中的目标检测综合利用图像处理、传感器测控、电子信息以及系统工程等技术，对交通场景内的车辆、道路、行人等目标进行准确识别、定位和分类，同时为智能交通系统提供准确的信息输入。该系统通过安装在车辆各个位置的摄像头采集车辆周边信息，并分析车辆当前运行环境，从而实现辅助驾驶功能。
本发明实施例为对交通灯进行检测。交通灯具有固定的设计特征。交通灯主要由明亮的彩色灯组成，通常是圆形或箭头形的，最常见的交通灯配置为圆形的红黄绿灯，其每个状态分别表示停车、等待和通行。交通灯的基础组成结构包括杆、背板和背板中的灯区。交通灯具有明显的颜色特征和形状特征，交通灯通常包含在一个灰黑色矩形的背板中，背板内接一个或多个圆形灯。尽管气候、道路环境等会在不同程度上影响交通灯图像的采集，但是交通灯的形状和几何尺寸却不会有太大的变化。
在智能车辆的自动驾驶过程中，可以通过车辆传输器获取待检测图像。该待检测图像中包含交通灯。
步骤102，将所述待检测图像输入预设的神经网络模型中，从输出的特征图像中确定交通灯特征点。
在本发明实施例中，采用神经网络模型对待检测图像进行交通灯检测，具体的，是将获取的待检测图像输入至神经网络模型进行运算，根据运算结果确定交通灯特征点的位置。相对于现有技术，本发明实施例中，首先识别出交通灯特征点的位置，而不是对交通灯的颜色或者几何尺寸等特征进行识别。
需要说明的是，交通灯特征点用于后续对交通灯其它特征进行识别，交通灯特征点可以设置为易于识别交通灯其它特征的关键点。在一种优选的示例中，特征点可以是交通灯背板(与杆分离)的中心点或者各色灯区的中心点。此外，本领域技术人员还可以根据实际需要设置不同的特征点，对此，本发明实施例不加以具体限制。
神经网络模型是由大量的交通灯图像数据作为样本数据训练得到的。神经网络模型的训练过程可以在车辆进行，或者，还可以在PC端进行。神经网络模型的训练步骤至少包括：将大量的交通灯图像数据作为样本数据发送至神经网络训练系统，其中，每个交通灯图像数据标注有交通灯特征点位置；利用神经网络训练系统对多个样本数据进行训练，得到对应的神经网络模型。
如此，在本步骤中，可以将待检测图像输入预先训练的神经网络模型中，输出对应的特征图像，并从该特征图像中确定交通灯的特征点位置。具体的，可以是根据输出的特征图像中像素点的像素值确定交通灯特征点的位置。
基于卷积的目标检测网络根据预设锚框分为Anchor-based算法和Anchor-free算法。Anchor-based算法针对被检测目标特征在候选区设置锚框，对特征图遍历实现目标检测。但是该检测方法存在正负样本不均衡、计算量大、泛化能力差和主观性大等技术缺陷。为此，提出了基于关键点思想的Anchor-free算法，利用特征图关键点直接回归目标信息，无需依赖设计复杂的锚框，典型网络有：CornerNet、ExtremeNet、CenterNet等。
其中，CenterNet将目标检测视为中心点检测问题，通过检测到的中心点位置直接地回归出目标的相关属性，实现了无锚点(anchor free)检测。即本步骤中，如果特征点为中心点，则可以采用CenterNet算法确定特征点位置，特征图像可以为热力图，热力图中的高峰点对应即为中心点(特征点)。
步骤103，确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，以识别所述交通灯的指示信号。
特征图像可以为神经网络输出的包含交通灯的多种特征信息的多幅热力图像。通过特征图像不仅仅可以确定交通灯特征点的位置，还可以确定交通灯的其它特征，如颜色特征、尺寸特征或者指向特征等，且交通灯的其它特征是从神经网络模型输出的特征图像中，特征点处的图像特征信息确定的。也就是说，可以根据特征点处的像素值确定交通灯的其它交通灯特征信息。
其中，其它交通灯特征信息可以包括背板的尺寸特征信息、各色灯区的颜色特征信息和各色灯区的指向特征信息中的一种或多种。具有方向指示标志的指向性交通灯具有相应的指向特征信息。
预设的神经网络模型可以为卷积神经网络，卷积神经网络由卷积层、池化层和全连接层组成。卷积层中对图像的卷积操作是卷积核在图像上作步长滑动，该卷积核与其所在的图像上的像素点做内积并求和以提取特征。不同的卷积核可以提取不同类型的特征。池化层的作用主要是对特征图进行压缩以提取主要特征，剔除无关特征。全连接层连接所有的特征，并将输出值传给分类器。
在本申请的一种实施方式中，神经网络模型的训练步骤至少包括：将大量的交通灯图像数据作为样本数据发送至神经网络训练系统，其中，每个交通灯图像数据标注有交通灯特征点位置、交通灯灯区的显示颜色以及背板尺寸；利用神经网络训练系统对多个样本数据进行训练，得到对应的用于确定交通灯特征点位置、确定交通灯灯区颜色特征和背板尺寸特征的神经网络模型。即利用一个神经网络模型即可以确定交通灯的上述所有特征信息。且在该神经网络模型中，其它交通灯特征信息是从交通灯特征点处的图像特征信息中确定的。例如，在确定特征点位置后，可以获取特征点处的像素值，根据该数值大小确定其它交通灯特征信息，即除交通灯特征点位置之外的其它位置处的图像特征信息不用于确定颜色特征、尺寸特征等其它特征。具体的，可以采用基于关键点思想的Anchor-free算法实现，如果特征点为中心点，则可以采用CenterNet算法，该算法中，每个物体仅有一个正样本点，无需采用NMS(Non-Maximum Suppression，非极大值抑制)，可以直接通过输出的热力图提取局部的最大值，从而可以知道采用哪一点产生预测框。在检测任务中，该算法可以直接预测目标框的大小，且目标框大小的监督信息仅在目标框中心点处产生，此外，也可以预测其他视觉任务中的额外属性。即CenterNet算法可以直接检测物体中心点和尺寸，基于该特性，在本发明实施例中，可以采用CenterNet算法检测出交通灯背板的中心点后，从该中心点处的监督信息中确定背板的尺寸大小。
具体的，如果特征点为背板的中心点，查找到该特征点后，可以从提取背板尺寸特征的热力图像中获取该特征点位置处的像素值，该像素值即为背板的尺寸值。
在另一种示例中，如果特征点为各色灯区的中心点，则可以从提取各色灯区颜色特征的热力图像中获取该特征点位置处的像素值，该像素值即为该处灯区处于某种显示颜色的信服程度值。例如，红绿黄三个颜色类别，对应三个热力图像，分别表示交通灯的灯区处于各个颜色的信服程度，可以从对应红色的热力图像中，确定交通灯三个灯区中心点处的三个像素值，该三个像素值分别用于表示该三个灯区的显示颜色为红色的信服程度，可以再通过softmax函数转化成概率值。
在再一种示例中，如果特征点为各色灯区的中心点，则可以从提取各色灯区指向特征的热力图像中获取该特征点位置处的像素值，该像素值即为该处灯区的指向为某种指向信息的信服程度值。例如，一个热力图像用于表示交通灯灯区的指向为左转的信服程度，可以从该热力图像中，确定交通灯三个灯区中心点处的三个像素值，该三个像素值分别用于表示该三个灯区的指向为左转的信服程度，分别为A、B、C，其中，A大于B大于C且A大于预先设置的信服程度阈值，则可以确定A处对应的灯区的指向为向左转。
在本发明实施例中，若交通灯的颜色特征信息为红灯亮，则控制车辆停止行驶；若交通灯的颜色特征信息为绿灯亮，且指向特征信息为向左转，则可以控制车辆向左行驶。在本发明实施例中，可以根据获取的其它交通灯特征信息，识别出检测图像中交通灯的指示信息，以控制车辆的行驶，确定是否控制车辆通过该交通灯的路口。
此外，还可以采用该其它交通灯特征信息绘制相应的交通灯模型，并在车载屏幕中显示。
综上，在本发明实施例中，可以先确定交通灯的特征点，然后根据特征点上的图像特征信息确定交通灯的其它特征信息。通过采用上述方法，无需提前设置anchor，简化交通灯检测任务的处理过程，基于交通灯的物理特性设计的上述技术方案可以实现简单高效地完成交通灯检测任务。
参照图2，示出了本发明实施例提供的另一种交通灯检测方法的步骤流程图，具体可以包括如下步骤：
步骤201，获取待检测图像。
在智能交通系统中，车辆需要对交通场景内的车辆、道路、行人等目标进行检测，而本申请基于交通灯的设计特征，提出了一种针对交通灯的检测方法。
在车辆自动驾驶过程中，可以通过车辆传感器获取待检测图像。该待检测图像可以为静态图像。该静态图像中包含交通灯。
在本发明实施例中，可以采用上一个实施例中提及的神经网络模型训练方法训练神经网络模型，并将获取的待检测图像输入至该神经网络模型进行运算，根据运算结果确定交通灯的特征信息。
在一种可选的示例中，神经网络模型可以是一个神经网络，可以利用一个神经网络串行地对待检测图像进行检测。由于交通灯的设计特性，神经网路模型中可以只包含一个神经网络，采用该一个神经网络即可以提取所需的交通灯特征信息，采用一个神经网络可以提高交通灯检测任务的处理速度。示例性地，可以采用one-stage检测方法对待检测图像进行检测。one-stage检测算法，不需要region proposal(产生候选区域)阶段，直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，比较典型的算法如YOLO，SSD，YOLOv2，YOLOv3，Retina-Net等。
步骤202，将所述待检测图像输入所述一个神经网络中，输出对应的多通道热力图。
一个RGB图像具有三个通道，本发明实施例中的神经网络模型输出的特征图像是包含多个通道的热力图。热力图是指以特殊高亮的形式显示访客热衷的页面区域和访客所在的地理区域的图示。而在神经网络中，主要用于理解给定的检测图像中，哪部分在神经网络最终的分类决策中起作用。
类激活映射(CAM)是一种生成热力图的技术，利用一种特殊的卷积神经网络结构生成可视化热力图，可用于突出图像的类的特定区域。采用热力图视觉化神经网络可以帮助理解神经网络是否在查看图像中的适当部分，或者神经网络是否在进行误导。
若神经网络模型为一个神经网络，则将待检测图像输入该一个神经网络后，可以输出对应的多通道热力图。不同的通道可以分别组成相应的热力图，每一个通道对应的热力图用于提取一种类别的交通灯特征信息。交通灯特征信息可以包括特征点位置、背板的尺寸特征信息、各色灯区的颜色特征信息、各色灯区的指向特征信息中的一种或多种。示例性地，特征点位置的提取可以是在第一通道热力图中进行的，而颜色特征信息和指向特征信息的提取则可以在由另外的通道组成的热力图中进行提取。
每一个通道热力图的角色是固定的，为了便于查找，可以预先对输出的多通道热力图中的各个通道做标识，并确定每个通道的用途，例如，可以预先将神经网络模型训练为输出的多通道热力图中，具有第一标识的通道用于确定交通灯特征点的位置特征信息，具有第二标识的通道用于确定交通灯的颜色特征信息，具有第三标识的通道用于确定交通灯的尺寸特征信息，具有第四标识的通道用于确定交通灯的指向特征信息等。
步骤203，从所述多通道热力图中确定用于提取位置特征的第一通道热力图。
在本发明实施例中，可以从多通道热力图中确定用于提取位置特征的第一通道热力图。
步骤204，将所述第一通道热力图中，存在特征点的概率大于预设概率的位置确定为所述特征点的所在位置。
示例性地，特征点可以包括背板的中心点和各色灯区的中心点。可以将第一通道热力图中，存在特征点的概率大于预设概率的位置确定为特征点位置。优选地，还可以将存在特征点的概率最大且大于预设概率的位置确定为特征点位置。具体而言，本领域技术人员希望特征点在热力图上的所对应的位置的回归结果趋近于1，即该位置存在某种特征点的概率趋近于1。
在一种可选的示例中，将所述待检测图像输入预设的神经网络模型中，从输出的特征图像中确定交通灯特征点，包括：
将所述待检测图像输入所述预设的神经网络模型中，输出感受野范围与所述交通灯背板的尺寸匹配的所述特征图像；从所述特征图像中确定所述特征点。
在神经网络中，感受野(Receptive Field)的定义是神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。再通俗点的解释是，特征图上的一个点对应输入图上的区域。感受野用于限定输入图像中的像素点可以和多大区域范围内的其它像素点联动。增加感受野的大小可以利用更大的图像区域中的上下文信息进行分析处理。感受野大小只和神经网络模型的结构特征相关。即在本发明实施例中可以将用于进行交通灯特征提取的一个神经网络的网络结构设定为，该网络结构对应的感受野范围与交通灯形状或者尺寸匹配。具体的，可以是与交通灯背板的尺寸匹配。其中，感受野范围与交通灯背板的尺寸匹配，可以是感受野范围不小于交通灯背板的尺寸大小。
本申请中的神经网络模型可以采用卷积运算对待检测图像进行特征提取，且可以设置每一层卷积输出的特征图像的每一个像素在输入图像中对应有限的感受野，可以将该感受野范围配置为与交通灯背板的尺寸匹配。采用此种方法，在图像空间结构不被卷积破坏的前提下，可以使得感受野只包括能够指示交通灯特征信息的信息，将感受野范围局限于交通灯背板的大小，可以在不遗漏信息的前提下，不额外引入其它干扰信息。
步骤205，确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，以识别所述交通灯的指示信号。
在确定特征点位置后，可以确定在输出的特征图像(多通道热力图)中，位于特征点的图像特征信息，采用该图像特征信息确定交通灯的其它交通灯特征信息。
参照图3所示，为本发明实施例的多通道热力图的示意图。将交通灯外轮廓(背板外轮廓)的中心点作为特征点(Keypoint)，在第一通道热力图中高亮显示特征点位置，利用其它通道热力图中，特征点位置处的图像特征信息，例如，像素点数值，确定其它交通灯特征信息，包括尺寸特征信息(Dim)和颜色特征信息(Color)。
此外，针对步骤205，确定其它交通灯特征信息，具体可以执行以下子步骤：
子步骤S11，从所述多通道热力图中，确定用于提取颜色特征的第二通道热力图。
子步骤S12，确定所述第二通道热力图中，位于所述特征点的第一图像特征信息。
子步骤S13，采用所述第一图像特征信息确定所述交通灯各色灯区的显示颜色。
可以从多通道热力图中确定用于提取颜色特征的第二通道热力图，确定第二通道热力图中，位于特征点位置处的第一图像特征信息，并采用该第一图像特征信息确定交通灯各色灯区的显示颜色。其中，显示颜色的类别可以包括红灯、黄灯、绿灯和不亮。
由于车载成像设备采集图像与交通灯颜色改变是相互独立的事件，且路面上存在交通灯不亮或转换间隔时间长的情况，通过在分类过程中加入“不亮”类别，可以使神经网络的学习过程更符合现实认知，提高神经网络分类的准确率。
在具体实施方式中，采用第一图像特征信息确定交通灯各色灯区的显示颜色，具体可以是采用第一图像特征信息确定灯区的分类归属概率，并根据该分类归属概率确定对应灯区的显示颜色。例如，某一灯区中，计算得到为绿灯的概率为0.0017；为红灯的概率为0.6069；为黄灯的概率为0；为不亮的概率为0.3914；则可以确定该处灯区的显示颜色为红灯。
在本发明的一种可选的示例中，可以依据识别出的其它交通灯特征信息绘制相应的交通灯模型，在进行其它交通灯特征信息的识别之前，可以根据用户需要先确定所需获取交通灯的其它交通灯特征信息的类型。
针对步骤205，确定其它交通灯特征信息，具体还可以执行以下子步骤：
子步骤S21，从所述多通道热力图中，确定用于提取尺寸特征的第三通道热力图。
子步骤S22，确定所述第三通道热力图中，位于所述特征点对应位置处的第二图像特征信息。
子步骤S23，采用所述第二图像特征信息确定所述交通灯背板的绝对尺寸。
可以从多通道热力图中确定用于提取尺寸特征的第三通道热力图，确定第三通道热力图中，位于特征点位置处的第二图像特征信息，并采用该第二图像特征信息确定交通灯背板的绝对尺寸。
通过在特征点位置处对交通灯背板的尺寸特征信息进行回归，进而可以根据特征点位置和尺寸特征信息确定可视化的二维框(bounding box)。对于交通灯检测任务这一专项任务，虽然成像设备具有“近大远小”的形变特性，但由于交通灯尺寸相对较小，其在图像上的形变极小，近似仍为矩形。参照图4所示，为成像设备“近大远小”的形变特性对于交通灯影响的模型示意图。将左图拍摄图像中的交通灯(Traffic Light)和车辆(Bus)逐行切割并拼接成右侧条状图，右图中的各个带下标的W指的是左图中对应区块在每行上的宽度，Traffic Light区块的对应宽度分别为W1、W2和W3；Bus区块的对应宽度分别为Wa、Wb、Wc、Wd和We。由于Traffic Light是矩形所以每个区块的宽度近乎相同，因此有Traffic Light区块宽度W＝average(W1，W2，W3)。而Bus是梯形所以每个区块的宽度不尽相同，因此有Bus区块宽度W≠average(Wa，Wb，Wc，Wd，We)。即对于矩形的Traffic Light而言可以直接从各行的W中取平均值得到最终的W，因为它们数值几乎相同；而对于梯形的Bus而言，则需要从各行的W中取最大值，计算复杂。
此外，由于在同一国家或地域内，交通灯制式相对统一，存在形状规则、大小近似、宽度高度比例固定的特点。所以对交通灯尺寸的回归方差较小，无需采用额外的辅助手段，可以直接对交通灯的绝对长度进行回归。
在另一种可选的示例中，还可以对交通灯的相对尺寸进行回归。示例性地，不直接确定交通灯背板的绝对长度，而是对绝对长度与标准长度比值的自然对数进行回归。其中，标准长度可以为样本数据集合中交通灯背板尺寸的平均长度。即除了可以将神经网络模型训练为用于输出交通灯背板的绝对尺寸大小之外，还可以将神经网络模型训练为用于输出交通灯背板的相对尺寸大小。相比于绝对尺寸，回归相对尺寸可以使得神经网络回归值的动态变化范围减少，可以提高神经网络的回归性能。
在一种可选的示例中，针对步骤205，可以执行以下步骤：
子步骤S31，从所述多通道热力图中，确定用于提取指向特征的第四通道热力图。
子步骤S32，确定所述第四通道热力图中，位于所述特征点的第三图像特征信息。
子步骤S33，采用所述第三图像特征信息确定所述交通灯各色灯区的指示方向。
可以从多通道热力图中确定用于提取指向特征的第四通道热力图，采用第四通道热力图中特征点位置处的第三图像特征信息确定交通灯各色灯区的指示方向。
对于交通灯指示方向的识别上，还可以将各色灯区中方向指示标志的角点作为特征点，以得到更好的交通灯指示方向的分类识别结果。对于采用中心点作为特征点，可以采用CenterNet的目标检测网络进行检测，而对于采用角点作为特征点，则可以采用其它的目标检测网络进行检测。
需要说明的是，上述的第一图像特征信息、第二图像特征信息和第三图像特征信息只是用于区分不同的图像特征信息，并不表示先后顺序或者其它含义。
在确定其它交通灯特征信息后，即可以识别出交通灯的指示信号，从而确定是否控制车辆通过该交通灯的路口。
为了使本领域技术人员能够更好地理解本发明实施例步骤201至步骤206，下面通过一个例子加以说明：
交通灯检测方法的具体实施流程如下：
1、在车辆自动驾驶过程中，通过车辆传感器可以获取待检测图像，待检测图像中包含交通灯；车辆自动驾驶系统中具有预先训练好的神经网络模型，该神经网络模型用于进行交通灯检测。且该神经网络模型由一个神经网络组成。
2、将待检测图像输入该一个神经网络后，在神经网络中，可以输出由不同通道组成的多个热力图，分别用于识别交通灯的各种特征信息，包括特征点位置、灯区颜色特征信息、背板尺寸特征信息和灯区指向特征信息等。其中，首先需要进行识别的是交通灯特征点位置，因为其它特征信息的识别均需要依赖于该特征点位置。因此，首先利用第一通道热力图确定特征点位置，而对于其它特征，如尺寸特征、颜色特征以及指向特征等则在其它热力图中进行识别，具体的，是基于特征点位置处的像素点数值进行确定。
3、根据识别到的交通灯特征，确定交通灯的指示信号，控制车辆执行相应的驾驶行为。
综上，在本发明实施例中，可以先确定交通灯的特征点，然后根据特征点上的图像特征信息确定交通灯的其它特征信息。通过采用上述方法，无需提前设置anchor，简化交通灯检测任务的处理过程，能够在神经网络训练过程中提高速度，减小开销，基于交通灯的物理特性设计的上述技术方案可以实现简单高效地完成交通灯检测任务。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图5，示出了本发明实施例提供的一种交通灯检测装置的结构框图，具体可以包括如下模块：
获取模块501，用于获取待检测图像；
第一确定模块502，用于将所述待检测图像输入预设的神经网络模型中，从输出的特征图像中确定交通灯特征点；
第二确定模块503，用于确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，以识别所述交通灯的指示信号。
在一种可选的实施例中，所述预设的神经网络模型包括一个神经网络，所述第一确定模块，包括：
第一输出子模块，用于将所述待检测图像输入所述一个神经网络中，输出对应的多通道热力图；
第一确定子模块，用于从所述多通道热力图中确定用于提取位置特征的第一通道热力图；
第二确定子模块，用于将所述第一通道热力图中，存在特征点的概率大于预设概率的位置确定为所述特征点的所在位置。
在一种可选的实施例中，所述第一确定模块，包括：
第二输出子模块，用于将所述待检测图像输入所述预设的神经网络模型中，输出感受野范围与所述交通灯背板的尺寸匹配的所述特征图像；
第三确定子模块，用于从所述特征图像中确定所述特征点。
在一种可选的实施例中，所述特征点包括背板的中心点和/或各色灯区的中心点和/或各色灯区中方向指示标志的角点；所述其它交通灯特征信息包括背板的尺寸特征信息和/或各色灯区的颜色特征信息和/或各色灯区的指向特征信息。
在一种可选的实施例中，所述第二确定模块，包括：
第四确定子模块，从所述多通道热力图中，确定用于提取颜色特征的第二通道热力图；
第五确定子模块，确定所述第二通道热力图中，位于所述特征点的第一图像特征信息；
第六确定子模块，采用所述第一图像特征信息确定所述交通灯各色灯区的显示颜色。
在一种可选的实施例中，所述第二确定模块，包括：
第七确定子模块，用于从所述多通道热力图中，确定用于提取尺寸特征的第三通道热力图；
第八确定子模块，用于确定所述第三通道热力图中，位于所述特征点的第二图像特征信息；
第九确定子模块，用于采用所述第二图像特征信息确定所述交通灯背板的绝对尺寸。
在一种可选的实施例中，所述第二确定模块，包括：
第十确定子模块，用于从所述多通道热力图中，确定用于提取指向特征的第四通道热力图；
第十一确定子模块，用于确定所述第四通道热力图中，位于所述特征点的第三图像特征信息；
第十二确定子模块，用于采用所述第三图像特征信息确定所述交通灯各色灯区的指示方向。
综上，在本发明实施例中，可以先确定交通灯的特征点，然后根据特征点上的图像特征信息确定交通灯的其它特征信息。通过采用上述方法，无需提前设置anchor，简化交通灯检测任务的处理过程，能够在神经网络训练过程中提高速度，减小开销，基于交通灯的物理特性设计的上述技术方案可以实现简单高效地完成交通灯检测任务。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种车辆，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述一种交通灯检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述一种交通灯检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理终端设备上，使得在计算机或其它可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种交通灯检测方法和一种交通灯检测装置、一种车辆和一种计算机可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种交通灯检测方法，其特征在于，所述方法包括：
获取待检测图像；
将所述待检测图像输入预设的神经网络模型中，从输出的特征图像中确定交通灯特征点；
确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，以识别所述交通灯的指示信号。
2.根据权利要求1所述的方法，其特征在于，所述预设的神经网络模型包括一个神经网络，所述将所述待检测图像输入预设的神经网络模型中，从输出的特征图像中确定交通灯特征点，包括：
将所述待检测图像输入所述一个神经网络中，输出对应的多通道热力图；
从所述多通道热力图中确定用于提取位置特征的第一通道热力图；
将所述第一通道热力图中，存在特征点的概率大于预设概率的位置确定为所述特征点的所在位置。
3.根据权利要求1所述的方法，其特征在于，所述将所述待检测图像输入预设的神经网络模型中，从输出的特征图像中确定交通灯特征点，包括：
将所述待检测图像输入所述预设的神经网络模型中，输出感受野范围与所述交通灯背板的尺寸匹配的所述特征图像；
从所述特征图像中确定所述特征点。
4.根据权利要求1或2所述的方法，其特征在于，所述特征点包括背板的中心点和/或各色灯区的中心点和/或各色灯区中方向指示标志的角点；所述其它交通灯特征信息包括背板的尺寸特征信息和/或各色灯区的颜色特征信息和/或各色灯区的指向特征信息。
5.根据权利要求2所述的方法，其特征在于，所述确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，包括：
从所述多通道热力图中，确定用于提取颜色特征的第二通道热力图；
确定所述第二通道热力图中，位于所述特征点的第一图像特征信息；
采用所述第一图像特征信息确定所述交通灯各色灯区的显示颜色。
6.根据权利要求5所述的方法，其特征在于，所述确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，包括：
从所述多通道热力图中，确定用于提取尺寸特征的第三通道热力图；
确定所述第三通道热力图中，位于所述特征点的第二图像特征信息；
采用所述第二图像特征信息确定所述交通灯背板的绝对尺寸。
7.根据权利要求5所述的方法，其特征在于，所述确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，包括：
从所述多通道热力图中，确定用于提取指向特征的第四通道热力图；
确定所述第四通道热力图中，位于所述特征点的第三图像特征信息；
采用所述第三图像特征信息确定所述交通灯各色灯区的指示方向。
8.一种交通灯检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测图像；
第一确定模块，用于将所述待检测图像输入预设的神经网络模型中，从输出的特征图像中确定交通灯特征点；
第二确定模块，用于确定所述特征图像中，位于所述特征点的图像特征信息，并采用所述图像特征信息确定所述交通灯的其它交通灯特征信息，以识别所述交通灯的指示信号。
9.一种车辆，其特征在于，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的一种交通灯检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的一种交通灯检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111258632.4A CN113989774A (zh) | 2021-10-27 | 2021-10-27 | 一种交通灯检测方法、装置、车辆和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111258632.4A CN113989774A (zh) | 2021-10-27 | 2021-10-27 | 一种交通灯检测方法、装置、车辆和可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113989774A true CN113989774A (zh) | 2022-01-28 |
Family
ID=79742885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111258632.4A Pending CN113989774A (zh) | 2021-10-27 | 2021-10-27 | 一种交通灯检测方法、装置、车辆和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989774A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463723A (zh) * | 2022-02-10 | 2022-05-10 | 广州小鹏自动驾驶科技有限公司 | 交通信号灯信息处理方法、装置及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804983A (zh) * | 2017-05-03 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 交通信号灯状态识别方法、装置、车载控制终端及机动车 |
| US20190087673A1 (en) * | 2017-09-15 | 2019-03-21 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for identifying traffic light |
| CN110660254A (zh) * | 2018-06-29 | 2020-01-07 | 北京市商汤科技开发有限公司 | 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备 |
| CN111428663A (zh) * | 2020-03-30 | 2020-07-17 | 北京百度网讯科技有限公司 | 红绿灯状态的识别方法、装置、电子设备和存储介质 |
| CN111723625A (zh) * | 2019-03-22 | 2020-09-29 | 上海海拉电子有限公司 | 交通灯图像识别处理方法、装置、辅助通行系统及存储介质 |
| CN111832493A (zh) * | 2020-07-17 | 2020-10-27 | 平安科技（深圳）有限公司 | 图像交通信号灯检测方法、装置、电子设备及存储介质 |
| GB202100066D0 (en) * | 2021-01-05 | 2021-02-17 | Nissan Motor Mfg Uk Limited | Traffic light detection |
| CN112488083A (zh) * | 2020-12-24 | 2021-03-12 | 杭州电子科技大学 | 基于heatmap提取关键点的交通信号灯的识别方法、装置、介质 |
| CN113095228A (zh) * | 2021-04-13 | 2021-07-09 | 地平线(上海)人工智能技术有限公司 | 图像中的目标检测方法、装置及计算机可读存储介质 |
-
2021
- 2021-10-27 CN CN202111258632.4A patent/CN113989774A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804983A (zh) * | 2017-05-03 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 交通信号灯状态识别方法、装置、车载控制终端及机动车 |
| US20190087673A1 (en) * | 2017-09-15 | 2019-03-21 | Baidu Online Network Technology (Beijing) Co., Ltd | Method and apparatus for identifying traffic light |
| CN110660254A (zh) * | 2018-06-29 | 2020-01-07 | 北京市商汤科技开发有限公司 | 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备 |
| CN111723625A (zh) * | 2019-03-22 | 2020-09-29 | 上海海拉电子有限公司 | 交通灯图像识别处理方法、装置、辅助通行系统及存储介质 |
| CN111428663A (zh) * | 2020-03-30 | 2020-07-17 | 北京百度网讯科技有限公司 | 红绿灯状态的识别方法、装置、电子设备和存储介质 |
| CN111832493A (zh) * | 2020-07-17 | 2020-10-27 | 平安科技（深圳）有限公司 | 图像交通信号灯检测方法、装置、电子设备及存储介质 |
| CN112488083A (zh) * | 2020-12-24 | 2021-03-12 | 杭州电子科技大学 | 基于heatmap提取关键点的交通信号灯的识别方法、装置、介质 |
| GB202100066D0 (en) * | 2021-01-05 | 2021-02-17 | Nissan Motor Mfg Uk Limited | Traffic light detection |
| CN113095228A (zh) * | 2021-04-13 | 2021-07-09 | 地平线(上海)人工智能技术有限公司 | 图像中的目标检测方法、装置及计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 李海霞等: "汽车辅助驾驶系统交通信号灯识别", 电子技术与软件工程, no. 13, 10 July 2018 (2018-07-10), pages 234 - 236 * |
| 王辉;张冠丽;: "基于视频和位置信息的交通灯识别", 大众科技, no. 10, 20 October 2015 (2015-10-20) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114463723A (zh) * | 2022-02-10 | 2022-05-10 | 广州小鹏自动驾驶科技有限公司 | 交通信号灯信息处理方法、装置及设备 |
| CN114463723B (zh) * | 2022-02-10 | 2023-02-03 | 广州小鹏自动驾驶科技有限公司 | 交通信号灯信息处理方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109284674B (zh) | 一种确定车道线的方法及装置 | |
| US9384401B2 (en) | Method for fog detection | |
| US11380104B2 (en) | Method and device for detecting illegal parking, and electronic device | |
| Pavlic et al. | Classification of images in fog and fog-free scenes for use in vehicles | |
| CN106951898B (zh) | 一种车辆候选区域推荐方法及系统、电子设备 | |
| KR20200115705A (ko) | 자율주행용 클래스 레이블링 장치 | |
| CN109697397B (zh) | 一种目标检测方法及装置 | |
| CN110909598B (zh) | 一种基于深度学习的非机动车道交通违法行驶识别方法 | |
| CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
| JP6700373B2 (ja) | ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法 | |
| JP6653361B2 (ja) | 路面標示画像処理装置、路面標示画像処理方法及び路面標示画像処理プログラム | |
| CN112396044B (zh) | 车道线属性信息检测模型训练、车道线属性信息检测方法 | |
| CN111860219A (zh) | 一种高速占道判断方法、装置及电子设备 | |
| CN108509826B (zh) | 一种遥感影像的道路识别方法及其系统 | |
| CN113989772A (zh) | 一种交通灯检测方法、装置、车辆和可读存储介质 | |
| CN113989774A (zh) | 一种交通灯检测方法、装置、车辆和可读存储介质 | |
| Thomas et al. | Smart car parking system using convolutional neural network | |
| CN110210324B (zh) | 一种道路目标快速检测预警方法和系统 | |
| CN112784817B (zh) | 车辆所在车道检测方法、装置、设备及存储介质 | |
| CN116259021A (zh) | 一种车道线检测方法、存储介质和电子设备 | |
| JP2011081614A (ja) | 認識装置、認識方法及びプログラム | |
| CN112164221B (zh) | 图像数据挖掘方法、装置、设备及路侧设备 | |
| CN114373081A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN113435350A (zh) | 一种交通标线检测方法、装置、设备和介质 | |
| US20200184216A1 (en) | Machine continuous learning method of neural network object classifier and related monitoring camera apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |