CN113705406A - 交通指示信号的检测方法及相关装置、设备、介质 - Google Patents

Abstract

本申请公开了一种交通指示信号的检测方法及相关装置、设备、介质，其中，交通指示信号的检测方法包括：获取待检测图像；对待检测图像进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别；其中，每个候选区域中包含一个用于交通指示的目标对象，且每个候选区域中的目标对象的粗分类类别为交通灯或交通标志；针对每个候选区域，对待检测图像中的候选区域内的图像进行检测，结合候选区域中的目标对象的粗分类类别，得到候选区域中的目标对象的分类结果。上述方案，能够提高交通指示信号检测的精度和速度。

Description

交通指示信号的检测方法及相关装置、设备、介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种交通指示信号的检测方法及相关装置、设备、介质。

背景技术

随着电子信息技术的不断发展，人工智能技术已逐渐应用于日常学习、工作、研究等诸多场景中。在此其中，通过检测图像中的交通灯、交通标志等交通指示信号，以为车辆行驶提供决策信息，从而能够提高自动驾驶的安全性和可靠性。

在现实场景中，车辆通常以一定速度行驶，在快速路、高架路等路段，其速度甚至往往较快，故要求交通检测应具有较高的实时性和准确性。有鉴于此，如何提高交通指示信号检测的精度和速度成为亟待解决的技术问题。

发明内容

本申请提供一种交通指示信号的检测方法及相关装置、设备、介质。

本申请第一方面提供了一种交通指示信号的检测方法，包括：获取待检测图像；对待检测图像进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别；其中，每个候选区域中包含一个用于交通指示的目标对象，且每个候选区域中的目标对象的粗分类类别为交通灯或交通标志；针对每个候选区域，对待检测图像中的候选区域内的图像进行检测，结合候选区域中的目标对象的粗分类类别，得到候选区域中的目标对象的分类结果。

因此，获取待检测图像，并对待检测图像进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别，且每个候选区域中包含一个用于交通指示的目标对象，每个候选区域中的目标对象的粗分类类别为交通灯火交通标志，在此基础上，针对每个候选区域，对待检测图像中的候选区域内的图像进行检测，结合候选区域中的目标对象的粗分类类别，得到候选区域中的目标对象的分类结果，即分两阶段进行交通指示信号的检测，在第一阶段，检测候选区域以及候选区域中目标对象的粗分类类别，且由于粗分类类别仅有交通灯、交通标志两类，故能够提升粗分类准确性，在第二阶段，直接在每个候选区域进行检测，相较于在整个图像进行检测而言，能够提升检测实时性，且由于分类结果是进一步结合粗分类类别得到的，故也有利于提升分类结果的准确性，故此能够提高交通指示信号检测的精度和速度。

其中，针对每个候选区域，对待检测图像中的候选区域内的图像进行检测，包括：针对每个候选区域，从待检测图像中截取候选区域的图像，其中，截取的图像是以候选区域中的目标对象的包围框的长边作为截取的图像的长边，基于预设长宽比截取的包含候选区域中的目标对象的矩形区域；对每个截取的图像进行检测。

因此，针对每个候选区域，从待检测图像中截取候选区域的图像，且截取的图像是以候选区域中的目标对象的包围框的长边作为截取的图像的长边，基于预设长宽比截取的包含候选区域中的目标对象的矩形区域，再对每个截取的图像进行检测，从而能够有利于统一数据格式，有利于在后续分类时区分不同种类目标，同时也有利于后续分类时将交通灯的分类任务和交通标志的分类任务统一起来，减少若后续两个任务分别部署所需的人力和精力。

其中，在从待检测图像中截取候选区域的图像之后，以及在对每个截取的图像进行检测之前，交通指示信号的检测方法还包括：将每个截取的图像调整为预设尺寸；对每个截取的图像进行检测，包括：对调整尺寸之后的各个截取的图像进行检测。

因此，在从待检测图像中截取候选区域的图像之后，以及在对每个截取的图像进行检测之前，还将每个截取的图像调整为预设尺寸，以对调整尺寸后的各个截取的图像进行检测，即在检测之前，将每个截取的图像调整为统一尺寸，从而能够在统一尺寸的而基础上进行检测，有利于提升检测精度。

其中，对待检测图像进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别，包括：利用交通检测模型的第一提取网络提取待检测图像的第一特征图；利用交通检测模型的第一检测网络对第一特征图进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别。

因此，利用交通检测模型的第一提取网络提取待检测图像的第一特征图，并利用交通检测模型的第一检测网络对第一特征图进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别，故在粗分类过程中，能够利用网络模型先提取整个待检测图像的特征图，再根据该特征图检测得到粗分类类别，即能够通过网络模型检测出候选区域以及粗分类类别，有利于提升检测效率。

其中，对待检测图像中的候选区域内的图像进行检测，结合候选区域中的目标对象的粗分类类别，得到候选区域中的目标对象的分类结果，包括：利用交通检测模型的第二提取网络提取候选区域内的图像的第二特征图；利用交通检测模型的第二检测网络对第二特征图进行检测，并结合候选区域中的目标对象的粗分类类别，得到候选区域中的目标对象的分类结果。

因此，利用交通检测模型的第二提取网络提取候选区域内的图像的第二特征图，并利用交通检测模型的第二检测网络对第二特征图进行检测，并结合候选区域中的目标对象的粗分类类别，得到候选区域中的目标对象的分类结果，故在第二阶段检测过程中，能够利用网络模型先提取候选区域内图像的特征图，再根据该特征图进行检测以及结合粗分类类别，得到目标对象的分类结果，即能够通过网络模型以及粗分类类别得到最终的分类结果，有利于提升检测效率和精度。

其中，利用交通检测模型的第二检测网络对第二特征图进行检测，并结合候选区域中的目标对象的粗分类类别，得到候选区域中的目标对象的分类结果，包括：利用交通检测模型的第二检测网络对第二特征图进行检测，得到候选区域中的目标对象的细分类类别；结合候选区域中的目标对象的粗分类类别和细分类类别，得到候选区域中的目标对象的分类结果。

因此，利用交通检测模型的第二检测网络对第二特征图进行检测，得到候选区域中的目标对象的细分类类别，并结合候选区域中的目标对象的粗分类类别和细分类类别，得到候选区域中的目标对象的分类结果，即在第二阶段检测过程中，能够利用网络模型检测出目标对象的细分类类别，再结合细分类类别和粗分类类别即可得到分类结果，故能够有利于提升检测精度。

其中，交通灯的分类结果包括交通灯的颜色类别、指向类别中的至少一者；和/或，交通标志的分类结果包括交通标志的标志类别。

因此，通过将交通灯的分类结果设置为包括交通灯的颜色类别、指向类别中的至少一者，能够提高第分类结果的准确性；而通过将交通标志的分类结果设置为包括交通标志的标志类别，能够有利于进一步提高道路信息的丰富度。

本申请第二方面提供了一种交通指示信号的检测装置，包括：图像获取模块、图像粗检模块和图像细检模块，图像获取模块，用于获取待检测图像；图像粗检模块，用于对待检测图像进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别；其中，每个候选区域中包含一个用于交通指示的目标对象，且每个候选区域中的目标对象的粗分类类别为交通灯或交通标志；图像细检模块，用于针对每个候选区域，对待检测图像中的候选区域内的图像进行检测，结合候选区域中的目标对象的粗分类类别，得到候选区域中的目标对象的分类结果。

本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的交通指示信号的检测方法。

本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的交通指示信号的检测方法。

上述方案，获取待检测图像，并对待检测图像进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别，且每个候选区域中包含一个用于交通指示的目标对象，每个候选区域中的目标对象的粗分类类别为交通灯或交通标志，在此基础上，针对每个候选区域，对待检测图像中的候选区域内的图像进行检测，结合候选区域中的目标对象的粗分类类别，得到候选区域中的目标对象的分类结果，即分两阶段进行交通指示信号的检测，在第一阶段，检测候选区域以及候选区域中目标对象的粗分类类别，且由于粗分类类别仅有交通灯、交通标志两类，故能够提升粗分类准确性，在第二阶段，直接在每个候选区域进行检测，相较于在整个图像进行检测而言，能够提升检测实时性，且由于分类结果是进一步结合粗分类类别得到的，故也有利于提升分类结果的准确性，故此能够提高交通指示信号检测的精度和速度。

附图说明

图1是本申请交通指示信号的检测方法一实施例的流程示意图；

图2是待检测图像一实施例的示意图；

图3是截取图像一实施例的示意图；

图4是本申请交通指示信号的检测方法一实施例的状态示意图；

图5是本申请交通指示信号的检测方法另一实施例的流程示意图；

图6是本申请交通指示信号的检测装置一实施例的框架示意图；

图7是本申请电子设备一实施例的框架示意图；

图8是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

请参阅图1，图1是本申请交通指示信号的检测方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S11：获取待检测图像。

在一个实施场景中，待检测图像可以是由车载摄像头、手机等电子设备拍摄得到的，在此不做限定。例如，在自动驾驶场景中，车辆上可以安装有至少一个车载摄像头，从而可以通过车载摄像头拍摄得到环境图像，作为待检测图像。其他场景可以以此类推，在此不再一一举例。

需要说明的是，本公开实施例中，待检测图像包含用于交通指示的目标对象，且目标对象包括交通灯、交通标志中的至少一者。具体地，待检测图像中可以仅包含交通灯，或者，待检测图像中也可以仅包含交通标志，或者，待检测图像中还可以既包含交通灯也包含交通标志，在此不做限定。仍以前述自动驾驶场景为例，车辆在靠近路口时，待检测图像中可以包括交通灯、交通标志中的至少一者，其他场景可以以此类推，在此不再一一举例。

此外，待检测图像中也可能不包含任何目标对象，如在自动驾驶场景中，车辆在两个路口之间的路段行驶过程中，其所拍摄到的待检测图像有可能不包含任何目标对象。其他场景可以以此类推，在此不再一一举例。

步骤S12：对待检测图像进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别。

本公开实施例中，每个候选区域中包含一个用于交通指示的目标对象，且每个候选区域中的目标对象的粗分类类别为交通灯或交通标志。

在一个实施场景中，为了提高检测效率，可以预先训练一个交通检测模型，且该交通检测模型可以包括第一提取网络和第一检测网络，在此基础上，可以利用第一提取网络提取待检测图像的第一特征图，并利用第一检测图像对第一特征图进行检测，得到至少一个候选区域以及各个候选区域中目标对象的粗分类类别。也就是说，在目标对象包含交通灯和交通标志的情况下，待检测图像可以通过上述第一提取网络、第一检测网络依次进行处理，最终得到交通灯的候选区域和交通标志的候选区域，而无需利用不同的网络分支分别检测得到交通灯、交通标志等不同目标对象的目标区域。在目标对象仅包含交通灯或仅包含交通标志等其他情况下，可以以此类推，在此不再一一举例。上述方式，在粗分类过程中，能够利用网络模型先提取整个待检测图像的特征图，再根据该特征图检测得到粗分类类别，即能够通过网络模型检测出候选区域以及粗分类类别，有利于提升检测效率。

在一个具体的实施场景中，第一提取网络具体可以包括但不限于：卷积层、激活层、池化层等等。此外，为了提取深层图像特征，第一提取网络还可以包括残差块，在此不做限定。

在一个具体的实施场景中，第一检测模型可以包括但不限于RPN(RegionProposal Network)等Proposal模型，通过Proposal模型能够尽可能地检测出待检测图像中所有目标对象的候选区域，有利于提升检测召回率。

在又一个具体的实施场景中，待检测图像中可以包含多个交通灯。请结合参阅图2，图2是待检测图像一实施例的示意图。如图2所示，矩形虚线框所圈画的区域中包含：红色左转、红色右转以及红色直行共3个交通灯，在此基础上，经第一提取网络和第一检测网络处理之后，可以在如图2所示的待检测图像中检测得到分别包含上述三个交通灯的候选区域，并得到这些候选区域中目标对象的粗分类类别(即交通灯)。此外，待检测图像中也可以包括多个交通标志，请继续结合参阅图2，如图2所示，椭圆虚线框所圈画的区域中包含：限速40、禁止货车、禁止掉头、禁止鸣笛、禁止停靠共5个交通标志，在此基础上，经第一提取网络和第一检测网络处理之后，可以在如图2所示的待检测图像中检测得到分别包含上述五个交通标志的候选区域，并得到这些候选区域中目标对象的粗分类类别(即交通标志)。其他情况可以以此类推，在此不再一一举例。

在一个实施场景中，为了便于后续统一检测，在检测得到候选区域以及候选区域中的目标对象的粗分类类别之后，可以针对每个候选区域，从待检测图像中截取候选区域的图像，且截取的图像是以候选区域中的目标对象的包围框的长边作为截取图像的长边，基于预设长宽比截取的包含候选区域中的目标对象的矩形区域，以在后续检测过程中，再对每个截取的图像进行检测。上述方式，能够有利于统一数据格式，有利于在后续分类时区分不同种类目标，同时也有利于后续分类时将交通灯的分类任务和交通标志的分类任务统一起来，减少后续两个任务分别部署所需的人力和精力。

在一个具体的实施场景中，预设长宽比可以根据实际应用情况进行设置，具体可以根据后续检测对输入的图像数据的格式进行设置。例如，后续检测对输入的图像数据的格式要求为长宽比为2:1，则可以将上述预设长宽比设置为2:1；或者，后续检测对输入的图像数据的格式要求为长宽比为1:1，则可以将上述预设长宽比设置为1:1。其他情况可以以此类推，在此不再一一举例。

在另一个具体的实施场景中，请结合参阅图3，图3是截取图像一实施例的示意图。如图3所示，图3左侧表示检测得到的候选区域，候选区域中包含目标对象(即交通灯)，以其长边作为截取的图像的长边，在预设长宽比为1:1的情况下，可以基于1:1的长宽比从待检测图像中截取包含上述目标对象(即交通灯)的矩形区域，即可得到图3右侧所示的截取的图像。在预设长宽比为2:1等其他情况下，可以以此类推，在此不再一一举例。

在又一个具体的实施场景中，为了提升后续检测的精度，在截取图像之后，还可以将每个截取的图像调整为预设尺寸，以在后续检测过程中，对调整尺寸之后的各个截取的图像进行检测。需要说明的是，在现实场景中，无论是交通灯还是交通标志在待检测图像中的都较小，往往只占图像总像素的万分之一左右，故通过将截取的图像调整为预设尺寸，一方面能够统一尺寸的而基础上进行后续检测，另一方面也有利于提升目标对象的图像清晰度，故通过调整尺寸能够提升检测精度。此外，为了尽可能地提升调整尺寸后的图像清晰度，可以采用诸如双线性插值等上采样算法将每个截取的图像调整为预设尺寸，上采样的具体过程，可以参阅诸如双线性插值等上采样算法的技术细节，在此不再赘述。例如，截取的图像可以包含：分辨率为8*8的图像、分辨率为16*16的图像、分辨率为24*24的图像，在预设尺寸为32*32的情况下，可以对上述图像进行插值处理，从而将上述图像的尺寸统一调整为32*32。预设尺寸为其他情况时，可以以此类推，在此不再一一举例。

步骤S13：针对每个候选区域，对待检测图像中的候选区域内的图像进行检测，结合候选区域中的目标对象的粗分类类别，得到候选区域中的目标对象的分类结果。

在一个实施场景中，如前所述，针对每个候选区域，从待检测图像中截取候选区域的图像，具体可以参阅前述相关描述，在此不再赘述。在此基础上，针对每个截取的图像，可以对截取的图像进行检测，结合截取的图像中目标对象的粗分类类别，得到截取的图像中目标对象的分类结果。

在一个实施场景中，如前所述，在截取图像之后，还可以将每个截取的图像调整为预设尺寸，具体过程可以参阅前述相关描述，在此不再赘述。在此基础上，针对每个调整尺寸之后的截取的图像，可以对调整尺寸之后的截取的图像进行检测，结合调整尺寸之后的截取的图像中目标对象的粗分类类别，得到调整尺寸之后的截取的图像中目标对象的分类结果。

在一个实施场景中，为了便于描述，无论是直接对候选区域的图像进行检测，还是对截取的图像进行检测，抑或是对调整尺寸之后的截取的图像进行检测，由于上述三者均为对待检测图像中子图像进行检测，故均统一描述为对子图像进行检测，即无论是上述三种情况中的哪一种，均可以采用下述检测过程，检测得到目标对象的分类结果。具体而言，可以利用交通检测模型的第二提取网络提取子图像的第二特征图，再利用交通检测模型的第二检测网络对第二特征图进行检测，并结合子图像中的目标对象的粗分类类别，得到子图像中的目标对象的分类结果。上述方式，在第二阶段检测过程中，能够利用网络模型先提取子图像的特征图，再根据该特征图进行检测以及结合粗分类类别，得到目标对象的分类结果，即能够通过网络模型以及粗分类类别得到最终的分类结果，有利于提升检测效率和精度。

在一个具体的实施场景中，第二提取网络具体可以包括但不限于：卷积层、激活层、池化层等等，在此不做限定。此外，为了提升特征提取的深度，第二提取网络还可以包括残差块，在此不做限定。

在另一个具体的实施场景中，第二检测网络可以包括但不限于：全连接层、softmax层等等，在此不做限定。

在又一个具体的实施场景中，可以利用交通检测模型的第二检测网络对子图像进行检测，得到子图像中目标对象的细分类类别，从而可以结合子图像中目标对象的粗分类类别和细分类类别，得到子图像中目标对象的分类结果。需要说明的是，在目标对象为交通灯的情况下，细分类类别包括颜色类别、指向类别中的至少一者，在目标对象为交通标志的情况下，细分类类别包括标志类别。请继续结合参阅图2，如图2所示，在待检测图像中检测得到3个交通灯以及5个交通标志的情况下，可以从待检测图像中提取出分别包含上述8个目标对象的子图像，并继续利用第二提取网络和第二检测网络进一步对上述8个子图像进行检测，得到3个交通灯的细分类类别：红色左转、红色直行、红色右转，故结合其粗分类类别“交通灯”，可以得到分类结果分别为：交通灯红色右转、交通灯红色直行、交通灯红色右转，以及得到5个交通标志的细分类类别：限速40、禁止货车、禁止掉头、禁止鸣笛、禁止停靠，故结合其粗分类类别“交通标志”，可以得到分类结果分别为：交通标志限速40、交通标志禁止货车、交通标志禁止掉头、交通标志禁止鸣笛、交通标志禁止停靠。其他情况可以以此类推，在此不再一一举例。上述方式，通过结合细分类类别和粗分类类别即可得到分类结果，能够有利于提升检测精度。

在又一个具体的实施场景中，第二检测网络在对子图像的第二特征图进行分类检测的过程中，具体可以检测得到子图像内目标对象分别属于多种预设类别的概率值，从而可以基于最高概率值对应的预设类别，得到子图像内目标对象的细分类类别。多种预设类别可以根据实际应用情况进行设置，例如，可以包括：绿色右转、绿色直行、绿色左转、红色右转、红色直行、红色左转、限速40、禁止鸣笛、禁止掉头等，在此不做限定。请继续结合参阅图2，在对包含交通标志“限速40”的子图像进行分类检测，可以得到该子图像内目标对象分别属于上述多种预设类别的概率值，如检测到属于预设类别“限速40”的概率值为95％，且该概率值在多种预设类别中最高，在此基础上，可以得到该子图像内目标对象的细分类类别(即“限速40”)。其他情况可以以此类推，在此不再一一举例。

此外，需要说明的是，本公开实施例中，为了便于描述，分类结果具体可以包括：交通灯的分类结果、交通标志的分类结果中的至少一者。即在待检测图像中包含交通灯的情况下，分类结果可以包括交通灯的分类结果，而在待检测图像中包含交通标志的情况下，分类结果可以包括交通标志的分类结果，类似地，在待检测图像中既包含交通灯又包含交通标志的情况下，分类结果可以包括交通灯的分类结果和交通标志的分类结果。

在一个实施场景中，如前所述，在目标对象为交通灯的情况下，细分类类别包括颜色类别、指向类别中的至少一者，故交通灯的分类结果可以包括交通灯的颜色类别、指向类别中的至少一者。请结合参阅图2，交通灯的分类结果可以包括“交通灯红色右转”，其中“红色”为颜色类别、“右转”为指向类别，其他情况可以以此类推，在此不再一一举例。此外，交通灯的分类结果也可以仅包括颜色类别，如交通灯的分类结果为“交通灯黄色”，在此不做限定。

在另一个实施场景中，如前所述，在目标对象为交通标志的情况下，细分类类别包括标志类别，故交通标志的分类结果可以包括交通标志的标志类别。请结合参阅图2，交通标志的分类结果可以包括“交通标志限速40”，其中“限速40”即为交通标志的标志类别，其他情况可以以此类推，在此不再一一举例。

在又一个实施场景中，请参阅图4，图4是本申请交通指示信号的检测方法一实施例的状态示意图。待检测图像经过第一阶段检测之后，可以得到待检测图像中包含目标对象的候选区域，在此基础上，可以继续对候选区域进行预处理(如，图像截取、尺寸调整等)，得到包含目标对象的子图像。例如，可以得到包含交通灯的子图像1、子图像2、……子图像m，以及包含交通标志的子图像m+1、子图像m+2、……子图像m+n。在此之后，即可对上述子图像分别进行第二阶段检测，并结合各个子图像中目标对象的粗分类类别，分别得到子图像1、子图像2、……子图像m，以及子图像m+1、子图像m+2、……、子图像m+n内目标对象的分类结果。具体可以参阅前述相关描述，在此不再赘述。

在又一个实施场景中，在得到目标对象的分类结果之后，还可以基于分类结果进行交通决策。仍以自动驾驶为例，请结合参阅图2，在检测到交通灯的分类结果包括“交通灯红色右转”、“交通灯红色左转”、“交通灯红色直行”的情况下，可以决策车辆逐渐减速，并在停止线或前一车辆前停止行驶；或者，仍以自动驾驶为例，请继续结合参阅图2，在检测到交通标志的分类结果包括“交通标志限速40”的情况下，可以决策车辆减速至40km/h之内；或者，仍以自动驾驶为例，请继续结合参阅图2，在检测到交通灯的分类结果包括“交通灯红色右转”、“交通灯红色左转”、“交通灯红色直行”且交通标志的分类结果包括“交通标志限速40”的情况下，可以决策车辆逐渐减速，并在停止线或前一车辆前停止行驶，在此之后，若在某一时刻，检测到交通灯的分类结果变为“交通灯绿色直行”的情况下，可以逐渐加速或随前车逐渐加速并驶出停止线，并控制车速在40km/h之内。其他情况可以以此类推，在此不再一一举例。

上述方案，获取待检测图像，并对待检测图像进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别，且每个候选区域中包含一个用于交通指示的目标对象，每个候选区域中的目标对象的粗分类类别为交通灯火交通标志，在此基础上，针对每个候选区域，对待检测图像中的候选区域内的图像进行检测，结合候选区域中的目标对象的粗分类类别，得到候选区域中的目标对象的分类结果，即分两阶段进行交通指示信号的检测，在第一阶段，检测候选区域以及候选区域中目标对象的粗分类类别，且由于粗分类类别仅有交通灯、交通标志两类，故能够提升粗分类准确性，在第二阶段，直接在每个候选区域进行检测，相较于在整个图像进行检测而言，能够提升检测实时性，且由于分类结果是进一步结合粗分类类别得到的，故也有利于提升分类结果的准确性，故此能够提高交通指示信号检测的精度和速度。

请参阅图5，图5是本申请交通指示信号的检测方法另一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S51：获取待检测图像。

具体可以参阅前述公开实施例中相关描述，在此不再赘述。

步骤S52：利用交通检测模型的第一提取网络提取待检测图像的第一特征图。

具体可以参阅前述公开实施例中相关描述，在此不再赘述。

步骤S53：利用交通检测模型的第一检测网络对第一特征图进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别。

本公开实施例中，每个候选区域中包含一个用于交通指示的目标对象，且每个候选区域中的目标对象的粗分类类别为交通灯或交通标志。具体可以参阅前述公开实施例中相关描述，在此不再赘述。

步骤S54：针对每个候选区域，从待检测图像中截取候选区域的图像。

本公开实施例中，截取的图像是以候选区域中的目标对象的包围框的长边作为截取的图像的长边，基于预设长宽比截取的包含候选区域中的目标对象的矩形区域。具体可以参阅前述公开实施例中相关描述，在此不再赘述。

步骤S55：将每个截取的图像调整为预设尺寸，得到子图像。

具体可以参阅前述公开实施例中相关描述，在此不再赘述。

步骤S56：利用交通检测模型的第二提取网络提取子图像的第二特征图。

具体可以参阅前述公开实施例中相关描述，在此不再赘述。

步骤S57：利用交通检测模型的第二检测网络对第二特征图进行检测，并结合子图像中的目标对象的粗分类类别，得到子图像中的目标对象的分类结果。

具体地，可以利用交通检测模型的第二检测网络对第二特征图进行检测，得到子图像中的目标对象的细分类类别，并结合子图像中的目标对象的粗分类类别和细分类类别，得到子图像中的目标对象的分类结果。具体可以参阅前述公开实施例中相关描述，在此不再赘述。

上述方案，获取待检测图像，利用交通检测模型的第一提取网络提取待检测图像的第一特征图，利用交通检测模型的第一检测网络对第一特征图进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别，针对每个候选区域，从待检测图像中截取候选区域的图像，将每个截取的图像调整为预设尺寸，得到子图像，将每个截取的图像调整为预设尺寸，得到子图像，利用交通检测模型的第二提取网络提取子图像的第二特征图，利用交通检测模型的第二检测网络对第二特征图进行检测，并结合子图像中的目标对象的粗分类类别，得到子图像中的目标对象的分类结果，故一方面能够两阶段进行交通指示信号的检测，在第一阶段，检测候选区域以及候选区域中目标对象的粗分类类别，且由于粗分类类别仅有交通灯、交通标志两类，故能够提升粗分类准确性，在第二阶段，直接在每个候选区域进行检测，相较于在整个图像进行检测而言，能够提升检测实时性，且由于分类结果是进一步结合粗分类类别得到的，故也有利于提升分类结果的准确性，故此能够提高交通指示信号检测的精度和速度，另一方面，在两阶段检测过程中，均利用网络模型完成相关检测，故能够有利于提升检测效率，又一方面，通过截取图像以及调整尺寸等处理，能够有利于统一数据格式，有利于在后续分类时区分不同种类目标，同时也有利于后续分类时将交通灯的分类任务和交通标志的分类任务统一起来，提升检测精度，以及减少若后续两个任务分别部署所需的人力和精力。

请参阅图6，图6是本申请交通指示信号的检测装置60一实施例的框架示意图。交通指示信号的检测装置60包括图像获取模块61、图像粗检模块62和图像细检模块63，图像获取模块61，用于获取待检测图像；图像粗检模块62，用于对待检测图像进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别；其中，每个候选区域中包含一个用于交通指示的目标对象，且每个候选区域中的目标对象的粗分类类别为交通灯或交通标志；图像细检模块63，用于针对每个候选区域，对待检测图像中的候选区域内的图像进行检测，结合候选区域中的目标对象的粗分类类别，得到候选区域中的目标对象的分类结果。

上述方案，分两阶段进行交通指示信号的检测，在第一阶段，检测候选区域以及候选区域中目标对象的粗分类类别，且由于粗分类类别仅有交通灯、交通标志两类，故能够提升粗分类准确性，在第二阶段，直接在每个候选区域进行检测，相较于在整个图像进行检测而言，能够提升检测实时性，且由于分类结果是进一步结合粗分类类别得到的，故也有利于提升分类结果的准确性，故此能够提高交通指示信号检测的精度和速度。

在一些公开实施例中，图像细检模块63包括图像截取子模块，用于针对每个候选区域，从待检测图像中截取候选区域的图像，其中，截取的图像是以候选区域中的目标对象的包围框的长边作为截取的图像的长边，基于预设长宽比截取的包含候选区域中的目标对象的矩形区域；图像细检模块63包括图像检测子模块，用于对每个截取的图像进行检测。

因此，能够有利于统一数据格式，有利于在后续分类时区分不同种类目标，同时也有利于后续分类时将交通灯的分类任务和交通标志的分类任务统一起来，减少若后续两个任务分别部署所需的人力和精力。

在一些公开实施例中，图像细检模块63包括尺寸调整子模块，用于将每个截取的图像调整为预设尺寸；图像检测子模块具体用于对调整尺寸之后的各个截取的图像进行检测。

因此，在从待检测图像中截取候选区域的图像之后，以及在对每个截取的图像进行检测之前，还将每个截取的图像调整为预设尺寸，以对调整尺寸后的各个截取的图像进行检测，即在检测之前，将每个截取的图像调整为统一尺寸，从而能够在统一尺寸的而基础上进行检测，有利于提升检测精度。

在一些公开实施例中，图像粗检模块62包括第一提取子模块，用于利用交通检测模型的第一提取网络提取待检测图像的第一特征图；图像粗检模块62包括第一检测子模块，用于利用交通检测模型的第一检测网络对第一特征图进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别。

因此，在粗分类过程中，能够利用网络模型先提取整个待检测图像的特征图，再根据该特征图检测得到粗分类类别，即能够通过网络模型检测出候选区域以及粗分类类别，有利于提升检测效率。

在一些公开实施例中，图像细检模块63还包括第二提取子模块，用于利用交通检测模型的第二提取网络提取候选区域内的图像的第二特征图；图像细检模块63还包括第二检测子模块，用于利用交通检测模型的第二检测网络对第二特征图进行检测，并结合候选区域中的目标对象的粗分类类别，得到候选区域中的目标对象的分类结果。

因此，在第二阶段检测过程中，能够利用网络模型先提取候选区域内图像的特征图，再根据该特征图进行检测以及结合粗分类类别，得到目标对象的分类结果，即能够通过网络模型以及粗分类类别得到最终的分类结果，有利于提升检测效率和精度。

在一些公开实施例中，第二检测子模块包括细分检测单元，用于利用交通检测模型的第二检测网络对第二特征图进行检测，得到候选区域中的目标对象的细分类类别；第二检测子模块包括类别结合单元，用于结合候选区域中的目标对象的粗分类类别和细分类类别，得到候选区域中的目标对象的分类结果。

因此，在第二阶段检测过程中，能够利用网络模型检测出目标对象的细分类类别，再结合细分类类别和粗分类类别即可得到分类结果，故能够有利于提升检测精度。

在一些公开实施例中，交通灯的分类结果包括交通灯的颜色类别、指向类别中的至少一者；和/或，交通标志的分类结果包括交通标志的标志类别。

因此，通过将交通灯的分类结果设置为包括交通灯的颜色类别、指向类别中的至少一者，能够提高第分类结果的准确性；而通过将交通标志的分类结果设置为包括交通标志的标志类别，能够有利于进一步提高道路信息的丰富度。

请参阅图7，图7是本申请电子设备70一实施例的框架示意图。电子设备70包括相互耦接的存储器71和处理器72，处理器72用于执行存储器71中存储的程序指令，以实现上述任一交通指示信号的检测方法实施例的步骤。在一个具体的实施场景中，电子设备70可以包括但不限于：微型计算机、服务器、车载导航，此外，电子设备70还可以包括笔记本电脑、平板电脑、行车记录仪等设备，在此不做限定。

具体而言，处理器72用于控制其自身以及存储器71以实现上述任一交通指示信号的检测方法实施例的步骤。处理器72还可以称为CPU(Central Processing Unit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器72可以由集成电路芯片共同实现。

上述方案，能够提高交通指示信号检测的精度和速度。

请参阅图8，图8为本申请计算机可读存储介质80一实施例的框架示意图。计算机可读存储介质80存储有能够被处理器运行的程序指令801，程序指令801用于实现上述任一交通指示信号的检测方法实施例的步骤。

上述方案，能够提高交通指示信号检测的精度和速度。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种交通指示信号的检测方法，其特征在于，包括：

获取待检测图像；

对所述待检测图像进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别；其中，每个候选区域中包含一个用于交通指示的目标对象，且每个候选区域中的目标对象的粗分类类别为交通灯或交通标志；

针对每个候选区域，对所述待检测图像中的所述候选区域内的图像进行检测，结合所述候选区域中的目标对象的粗分类类别，得到所述候选区域中的目标对象的分类结果。

2.根据权利要求1所述的方法，其特征在于，所述针对每个候选区域，对所述待检测图像中的所述候选区域内的图像进行检测，包括：

针对每个候选区域，从所述待检测图像中截取所述候选区域的图像，其中，截取的图像是以所述候选区域中的目标对象的包围框的长边作为截取的图像的长边，基于预设长宽比截取的包含所述候选区域中的目标对象的矩形区域；

对每个截取的图像进行检测。

3.根据权利要求2所述的方法，其特征在于，在所述从所述待检测图像中截取所述候选区域的图像之后，以及在所述对每个截取的图像进行检测之前，所述方法还包括：

将每个截取的图像调整为预设尺寸；

所述对每个截取的图像进行检测，包括：

对调整尺寸之后的各个截取的图像进行检测。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述待检测图像进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别，包括：

利用交通检测模型的第一提取网络提取所述待检测图像的第一特征图；

利用所述交通检测模型的第一检测网络对所述第一特征图进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述待检测图像中的所述候选区域内的图像进行检测，结合所述候选区域中的目标对象的粗分类类别，得到所述候选区域中的目标对象的分类结果，包括：

利用交通检测模型的第二提取网络提取所述候选区域内的图像的第二特征图；

利用所述交通检测模型的第二检测网络对所述第二特征图进行检测，并结合所述候选区域中的目标对象的粗分类类别，得到所述候选区域中的目标对象的分类结果。

6.根据权利要求5所述的方法，其特征在于，所述利用所述交通检测模型的第二检测网络对所述第二特征图进行检测，并结合所述候选区域中的目标对象的粗分类类别，得到所述候选区域中的目标对象的分类结果，包括：

利用所述交通检测模型的第二检测网络对所述第二特征图进行检测，得到候选区域中的目标对象的细分类类别；

结合所述候选区域中的目标对象的粗分类类别和细分类类别，得到所述候选区域中的目标对象的分类结果。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述交通灯的分类结果包括所述交通灯的颜色类别、指向类别中的至少一者；

和/或，所述交通标志的分类结果包括所述交通标志的标志类别。

8.一种交通指示信号的检测装置，其特征在于，包括：

图像获取模块，用于获取待检测图像；

图像粗检模块，用于对所述待检测图像进行检测，得到至少一个候选区域以及各个候选区域中的目标对象的粗分类类别；其中，每个候选区域中包含一个用于交通指示的目标对象，且每个候选区域中的目标对象的粗分类类别为交通灯或交通标志；

图像细检模块，用于针对每个候选区域，对所述待检测图像中的所述候选区域内的图像进行检测，结合所述候选区域中的目标对象的粗分类类别，得到所述候选区域中的目标对象的分类结果。

9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7任一项所述的交通指示信号的检测方法。

10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至7任一项所述的交通指示信号的检测方法。

Images