CN113822261A - 交通信号灯的检测方法、装置及电子设备、存储介质 - Google Patents

Abstract

本申请公开了一种交通信号灯的检测方法、装置及电子设备、存储介质，该方法包括：获取第一图像和第二图像，第一图像和第二图像分别为第一摄像头和第二摄像头在同一时间采集的待检测图像，第一摄像头与第二摄像头具有不同焦距和视场；利用信号灯检测模型分别对第一图像和第二图像进行检测，得到第一检测结果和第二检测结果；按照预设图像拼接策略，对第一检测结果与第二检测结果进行融合处理，得到融合处理结果；根据融合处理结果确定信号灯的检测结果。本申请按照预设图像拼接策略对两个不同型号的摄像头的检测结果进行融合处理，得到了更加准确的检测结果，同时避免了自车定位误差对检测结果的不利影响，且不依赖于高精地图，检测结果更加可靠。

Description

交通信号灯的检测方法、装置及电子设备、存储介质

技术领域

本申请涉及目标检测技术领域，尤其涉及一种交通信号灯的检测方法、装置及电子设备、存储介质。

背景技术

在自动驾驶视觉感知领域，通过摄像头对前方的目标物体进行目标检测是一项重要能力。目标检测是一种常见的计算机视觉任务，其作用是预测出图像中存在的目标物体的位置、大小及类别。目标检测的一大难点是对小目标的检测，小目标体积小，在图像中占有的像素值少，可提取的特征信息少，因此小目标容易被漏检或分类错误。

不同的摄像头具有不同的视场和焦距，下面以两款摄像头为例，摄像头一：水平视场28度，垂直视场16度，焦距11.9mm；摄像头二：水平视场60度，垂直视场32度，焦距6mm。视场和焦距是一对相互矛盾的参数。如果摄像头焦距长，则可以看得更远，有利于检测远处小目标，但视场小，目标容易超出画面；反之，如果摄像头视场大，可以看到更大的范围，但焦距短，目标物体在图像中占有的尺寸小，容易被漏检或分类错误。

自动驾驶场景中对于信号灯的检测正是这种矛盾的典型，一方面信号灯需要在远距离被检测出，以预留给车辆足够的刹车距离，而信号灯尺寸小，需要用焦距长的摄像头来检测，因此如何实现此种场景下信号灯的准确检测是目前亟待解决的技术问题。

发明内容

本申请实施例提供了一种交通信号灯的检测方法、装置及电子设备、存储介质，以提高信号灯检测结果的准确性。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种交通信号灯的检测方法，其中，所述方法包括：

获取第一图像和第二图像，所述第一图像和所述第二图像分别为第一摄像头和第二摄像头在同一时间采集的待检测图像，所述第一摄像头与所述第二摄像头具有不同的焦距和视场；

利用信号灯检测模型分别对所述第一图像和所述第二图像进行检测，得到第一检测结果和第二检测结果；

按照预设图像拼接策略，对所述第一检测结果与所述第二检测结果进行融合处理，得到融合处理结果；

根据所述融合处理结果确定信号灯的检测结果。

可选地，所述第一检测结果包括第一图像上的第一目标框，所述第二检测结果包括第二图像上的第二目标框，所述按照预设图像拼接策略，对所述第一检测结果与所述第二检测结果进行融合处理包括：

按照预设缩放比例，分别对所述第一图像以及所述第一图像上的第一目标框进行缩放处理，得到缩放后的第一图像和缩放后的第一目标框；

按照预设位置偏移量，分别将缩放后的第一图像以及缩放后的第一目标框拼接到所述第二图像中，得到拼接图像；

根据所述拼接图像中的第一目标框和所述第二目标框确定所述融合处理结果。

可选地，所述根据所述拼接图像中的第一目标框和所述第二目标框确定所述融合处理结果包括：

根据缩放后的第一图像与所述第二图像的拼接位置确定所述拼接图像上的重合区域和非重合区域；

根据所述拼接图像中的第一目标框和第二目标框与所述重合区域和所述非重合区域的相对位置关系，确定所述融合处理结果。

可选地，所述根据缩放后的第一图像与所述第二图像的拼接位置确定所述拼接图像上的重合区域和非重合区域包括：

将所述缩放后的第一图像作为所述拼接图像的重合区域；

将所述第二图像中去除所述重合区域后的剩余部分作为所述融合处理结果。

可选地，所述根据所述拼接图像中的第一目标框和第二目标框与所述重合区域和所述非重合区域的相对位置关系，确定所述融合处理结果包括：

若所述拼接图像中的第一目标框和第二目标框均位于所述重合区域，和/或所述非重合区域的内部，则在所述重合区域内，保留所述第一目标框，在所述非重合区域内，保留所述第二目标框；

若所述拼接图像中的第二目标框跨越了所述非重合区域与所述重合区域的分界线，则保留所述非重合区域的第二目标框，并按照预设过滤策略对所述重合区域的第一目标框进行过滤处理；

将所述重合区域和所述非重合区域中剩余的目标框，作为所述融合处理结果。

可选地，所述按照预设过滤策略对所述重合区域的第一目标框进行过滤处理包括：

确定所述非重合区域的第二目标框与所述重合区域的各个第一目标框的交并比；

若所述交并比大于预设交并比阈值，则舍弃所述重合区域内对应的第一目标框。

可选地，所述预设缩放比例和所述预设位置偏移量通过如下方式得到：

获取第三图像和第四图像，所述第三图像和所述第四图像分别为所述第一摄像头和所述第二摄像头在同一时间采集的样本图像；

将所述第三图像进行缩放，并将所述缩放后的第三图像拼接到所述第四图像上，以使缩放后的第三图像能够与所述第四图像的对应位置相重合；

根据所述缩放后的第三图像与所述第四图像的拼接位置，确定所述预设缩放比例和所述预设位置偏移量。

第二方面，本申请实施例还提供一种交通信号灯的检测装置，其中，所述装置包括：

获取单元，用于获取第一图像和第二图像，所述第一图像和所述第二图像分别为第一摄像头和第二摄像头在同一时间采集的待检测图像，所述第一摄像头与所述第二摄像头具有不同的焦距和视场；

检测单元，用于利用信号灯检测模型分别对所述第一图像和所述第二图像进行检测，得到第一检测结果和第二检测结果；

融合单元，用于按照预设图像拼接策略，对所述第一检测结果与所述第二检测结果进行融合处理，得到融合处理结果；

确定单元，用于根据所述融合处理结果确定信号灯的检测结果。

第三方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的交通信号灯的检测方法，先获取第一图像和第二图像，第一图像和第二图像分别为第一摄像头和第二摄像头在同一时间采集的待检测图像，第一摄像头与第二摄像头具有不同的焦距和视场；然后利用信号灯检测模型分别对第一图像和第二图像进行检测，得到第一检测结果和第二检测结果；之后按照预设图像拼接策略，对第一检测结果与第二检测结果进行融合处理，得到融合处理结果；最后根据融合处理结果确定信号灯的检测结果。本申请实施例的交通信号灯检测方法采用两个具有不同焦距和视场的摄像头采集图像，按照一定的图像拼接策略对两个摄像头的图像检测结果进行融合处理，能够得到更加准确的信号灯检测结果，同时避免了自车定位误差对检测结果的不利影响，且不依赖于高精度地图，检测结果更加可靠。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种摄像头一的拍摄效果示意图；

图2为本申请实施例中一种摄像头二的拍摄效果示意图；

图3为本申请实施例中另一种摄像头一的拍摄效果示意图；

图4为本申请实施例中另一种摄像头二的拍摄效果示意图；

图5为本申请实施例中一种交通信号灯的检测方法的流程示意图；

图6为本申请实施例中一种第一摄像头的拍摄效果示意图；

图7为本申请实施例中一种第二摄像头的拍摄效果示意图；

图8为本申请实施例中一种拼接图像示意图；

图9为本申请实施例中一种交通信号灯的检测装置的结构示意图；

图10为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

为了便于对本申请各实施例的理解，这里提供示意图进行解释说明，如图1所示，提供了本申请实施例中一种摄像头一的拍摄效果示意图，如图2所示，提供了本申请实施例中一种摄像头二的拍摄效果示意图。从图1和图2可以看出，摄像头一具有更长的焦距，因此能够检测到远处的小目标，摄像头二具有更大的视场，因此能够检测到更大范围内的目标。

另一方面，在自动驾驶场景下对于信号灯的检测，由于信号灯有一定的高度，当车辆停在路口停止线附近时离信号灯较近，需要使用视场较大的摄像头才能看到信号灯，参考图3和图4。图3提供了本申请实施例中另一种摄像头一的拍摄效果示意图，图4提供了本申请实施例中另一种摄像头二的拍摄效果示意图。

基于此，一种解决方案是先采用两个具有不同焦距和视场的摄像头，然后根据自车定位和高精度地图计算车辆距离下一个信号灯的距离，设定一个距离阈值，当距离较远时信任视场更大的摄像头的检测结果，当距离较近时，信任焦距更长的摄像头的检测结果。

然而这种方案存在的问题是：由于自车定位结果存在误差，高精度地图也存在误差，因此车辆距离下一个信号灯的距离也是存在误差的，这就可能导致摄像头切换不当，从而出现漏检或分类错误的情况。

基于此，本申请实施例提供了一种交通信号灯的检测方法，如图5所示，提供了本申请实施例中一种交通信号灯的检测方法的流程示意图，所述方法至少包括如下的步骤S510至步骤S540：

步骤S510，获取第一图像和第二图像，所述第一图像和所述第二图像分别为第一摄像头和第二摄像头在同一时间采集的待检测图像，所述第一摄像头与所述第二摄像头具有不同的焦距和视场。

本申请实施例在进行交通信号灯的检测之前，需要事先部署好两个用于采集图像的摄像头，以自动驾驶场景为例，可以选取两个具有不同焦距和视场的第一摄像头和第二摄像头，其中第一摄像头的焦距可以更长一些，第二摄像头的视场可以更大一些。在安装摄像头时，两个摄像头可以安装在自动驾驶车辆的顶部并位于同一水平线上，且安装位置相靠近。

在完成摄像头的部署后，需要获取第一摄像头和第二摄像头在同一时间分别采集的第一图像和第二图像，以对第一图像和第二图像中的信号灯等目标进行检测。

步骤S520，利用信号灯检测模型分别对所述第一图像和所述第二图像进行检测，得到第一检测结果和第二检测结果。

在获取到第一图像和第二图像后，需要利用事先训练好的信号灯检测模型分别对第一图像和第二图像进行信号灯检测，从而得到第一检测结果和第二检测结果。

这里的信号灯检测模型可以基于现有的目标检测模型的训练方法训练得到，当然该信号灯检测模型不仅可以检测到图像中的信号灯，还可以检测到其他可能需要关注的目标，如行人、车辆等等。

步骤S530，按照预设图像拼接策略，对所述第一检测结果与所述第二检测结果进行融合处理，得到融合处理结果。

步骤S540，根据所述融合处理结果确定信号灯的检测结果。

在得到第一检测结果和第二检测结果后，需要按照一定的图像拼接策略，对第一检测结果和第二检测结果进行融合处理，得到融合处理结果，最后根据融合处理结果确定信号灯检测结果。此种融合处理的方式综合考量了焦距较长的摄像头采集的图像的检测结果以及视场较大的摄像头采集的图像的检测结果，从而可以得到更加准确的信号灯检测结果。

本申请实施例的交通信号灯检测方法采用两个具有不同焦距和视场的摄像头采集图像，按照一定的图像拼接策略对两个摄像头的图像检测结果进行融合处理，能够得到更加准确的信号灯检测结果，同时避免了自车定位误差对检测结果的不利影响，且不依赖于高精度地图，检测结果更加可靠。

需要说明的是，对于上述实施例中摄像头数量的设置，本领域技术人员也可以根据实际需求灵活调整，例如可以设置为三个或者更多个，具体实现逻辑可以参照上述逻辑，在此不再赘述。

在本申请的一个实施例中，所述第一检测结果包括第一图像上的第一目标框，所述第二检测结果包括第二图像上的第二目标框，所述按照预设图像拼接策略，对所述第一检测结果与所述第二检测结果进行融合处理包括：按照预设缩放比例，分别对所述第一图像以及所述第一图像上的第一目标框进行缩放处理，得到缩放后的第一图像和缩放后的第一目标框；按照预设位置偏移量，分别将缩放后的第一图像以及缩放后的第一目标框拼接到所述第二图像中，得到拼接图像；根据所述拼接图像中的第一目标框和所述第二目标框确定所述融合处理结果。

如前所述，本申请实施例选取的第一摄像头的焦距更长，因此第一摄像头可以拍摄到远距离的小目标，如图6所示，提供了本申请实施例中一种第一摄像头的拍摄效果示意图，本申请实施例选取的第二摄像头的视场更大，因此第二摄像头拍摄到的视野范围更大，如图7所示，提供了本申请实施例中一种第二摄像头的拍摄效果示意图。

基于此，本申请实施例采取的图像拼接策略目的在于将第一摄像头采集的图像对应的视野区域拼接到第二图像的对应区域中，因此本申请实施例的预设图像拼接策略主要包括两个参数，一个是预设缩放比例(W_scale,H_scale)，一个是预设位置偏移量(X_offset，Y_offset)，预设缩放比例是指在将第一图像拼接到第二图像中时，需要对第一图像的尺寸进行调整的比例大小，而预设位置偏移量则是指在将缩放后的第一图像拼接到第二图像的相应位置上时，在横向和纵向上需要平移的距离。这两个参数可以事先通过实验测得，在两个摄像头的位置未发生变化的情况下，后续的实际检测将阶段可以直接应用。

具体地，本申请实施例在利用上述图像拼接策略对第一检测结果和第二检测结果进行融合处理时，可以先利用预设缩放比例(W_scale,H_scale)，分别对第一图像和第一图像上的第一目标框的长宽进行缩放处理，得到（W*W_scale,H*H_scale），然后利用预设位置偏移量(X_offset，Y_offset)，分别将缩放后的第一图像以及缩放后的第一目标框平移到第二图像中，这里主要是以第一图像和第一目标框的左上角坐标(X,Y)为基准，将左上角坐标(X,Y)添加偏移量(X_offset，Y_offset)，得到(X+X_offset，Y+Y_offset)，从而得到拼接图像，如图8所示，提供了本申请实施例中一种拼接图像示意图，最后根据拼接图像中的第一目标框和第二目标框确定融合处理结果。

需要说明的是，上述拼接方式不能做到严丝合缝，但由于本申请的应用场景主要是为了对信号灯进行有效检测，拼接误差不会影响最终的信号灯检测结果。

在本申请的一个实施例中，所述根据所述拼接图像中的第一目标框和所述第二目标框确定所述融合处理结果包括：根据缩放后的第一图像与所述第二图像的拼接位置确定所述拼接图像上的重合区域和非重合区域；根据所述拼接图像中的第一目标框和第二目标框与所述重合区域和所述非重合区域的相对位置关系，确定所述融合处理结果。

在本申请的一个实施例中，所述根据缩放后的第一图像与所述第二图像的拼接位置确定所述拼接图像上的重合区域和非重合区域包括：将所述缩放后的第一图像作为所述拼接图像的重合区域；将所述第二图像中去除所述重合区域后的剩余部分作为所述融合处理结果。

在根据拼接图像中的第一目标框和第二目标框确定融合处理结果时，可以先根据缩放后的第一图像与第二图像的拼接位置确定拼接图像上的重合区域和非重合区域，如图8所示，第一图像经过缩放和平移处理后在拼接图像中的对应位置即第一图像与第二图像拍摄区域基本相同的部分就可以看作是重合区域，也即图8中矩形框内的部分，而在该矩形框外的剩余部分就可以看作是非重合区域即第一图像与第二图像拍摄区域完全不同的部分。

在确定了拼接图像上的重合区域和非重合区域的区分后，此时拼接图像上将存在两组目标框，因此这时可以进一步根据每一个目标框与重合区域和非重合区域的相对位置关系，进行目标框的过滤或筛选，从而得到最终的目标框作为融合处理结果。

在本申请的一个实施例中，所述根据所述拼接图像中的第一目标框和第二目标框与所述重合区域和所述非重合区域的相对位置关系，确定所述融合处理结果包括：若所述拼接图像中的第一目标框和第二目标框均位于所述重合区域，和/或所述非重合区域的内部，则在所述重合区域内，保留所述第一目标框，在所述非重合区域内，保留所述第二目标框；若所述拼接图像中的第二目标框跨越了所述非重合区域与所述重合区域的分界线，则保留所述非重合区域的第二目标框，并按照预设过滤策略对所述重合区域的第一目标框进行过滤处理；将所述重合区域和所述非重合区域中剩余的目标框，作为所述融合处理结果。

第一目标框和第二目标框与重合区域和非重合区域的相对位置关系主要有以下两种情况：1）第一目标框和第二目标框均位于重合区域和/或非重合区域的内部；2）第二目标框跨越了重合区域和非重合区域的分界线。

对于上述第1）种情况，进一步可以细分为两种情形进行处理，对于重合区域来说，仅保留第一目标框，对于非重合区域来说，仅保留第二目标框，因为这两种情形的目标框在其所在的区域内都能完整地捕捉到目标特征，且同时满足了检测距离更远以及视场范围更大的目标检测要求。

对于上述第2）种情况，由于第二目标框对应的是图像尺寸更大的第二图像，因此第二目标框可能会有一部分位于重合区域内，一部分位于非重合区域内，此种情况下，可以保留该第二目标框，然后进一步按照一定的过滤策略对重合区域内的第一目标框进行过滤处理，以尽可能保证同一个目标仅对应一个目标框。

按照上述两种情况对拼接图像中的目标框进行处理后，将最终剩余的目标框作为融合处理结果，也即最终的信号灯检测结果。

在本申请的一个实施例中，所述按照预设过滤策略对所述重合区域的第一目标框进行过滤处理包括：确定所述非重合区域的第二目标框与所述重合区域的各个第一目标框的交并比；若所述交并比大于预设交并比阈值，则舍弃所述重合区域内对应的第一目标框。

针对上述实施例的第2）种情况，由于第二目标框是基于视场范围更大的第二摄像头检测到的，因此为了保证目标检测的完整性和准确性，可以保留该第二目标框，此外为了保证同一个目标仅对应一个目标框，在保留了第二目标框后，还需要剔除掉该第二目标框在上述重合区域内对应的第一目标框。

具体地，可以将第二目标框与重合区域内的各个第一目标框进行匹配，计算交并比(Intersection-over-Union,IoU)，当IoU大于一定阈值时如可以设置为0.3，说明这两个目标框可能对应的是同一个目标，由于第二目标框已经被保留，因此可以通过此种方式直接舍弃对应的第一目标框，从而确保每一个被检测到的目标均对应一个目标框。

这里说明的是，在进行目标框之间的匹配时，第一目标框和第二目标框可以通过一定方式区分开，但是无法直接确定第二目标框具体对应的是哪一个第一目标框，因此采用了将第二目标框与重合区域内的每一个第一目标框均进行匹配，通过交并比大小的方式来确定。

为了便于对上述实施例的理解，这里举例说明，假设拼接图像中有第一目标框a1-a3，第二目标框b1-b3，第一目标框a1-a3以及第二目标框b1、第二目标框b2均位于上述重合区域的内部，此时保留第一目标框a1-a3，舍弃第一目标框b1和第二目标框b2。

第二目标框b3一部分位于重合区域内，一部分位于非重合区域内，此时保留第二目标框b3，然后计算第二目标框b3分别与上述重合区域的内部的各个第一目标框a1-a3的IoU，之后将IoU小于0.3的第一目标框舍弃，最后得到剩余的目标框作为最终的信号灯检测结果。

在本申请的一个实施例中，所述预设缩放比例和所述预设位置偏移量通过如下方式得到：获取第三图像和第四图像，所述第三图像和所述第四图像分别为所述第一摄像头和所述第二摄像头在同一时间采集的样本图像；将所述第三图像进行缩放，并将所述缩放后的第三图像拼接到所述第四图像上，以使缩放后的第三图像能够与所述第四图像的对应位置相重合；根据所述缩放后的第三图像与所述第四图像的拼接位置，确定所述预设缩放比例和所述预设位置偏移量。

对于已经安装好的第一摄像头和第二摄像头，其相对位置基本固定，因此可以事先通过实验测得上述实施例中的预设缩放比例和预设位置偏移量这两个参数，以便于实际检测过程中直接应用。

这里的实验过程与前述实施例的融合过程基本相同，首先可以先获取第一摄像头和第二摄像头在同一时间分别采集到的第三图像和第四图像，然后对第三图像进行缩放处理，之后移动到第二图像所在的摄像头坐标系下，最终实现的效果是使缩放后的第三图像与第四图像中的对应区域能够基本重合，但这里并不要求完全做到严丝合缝。

在完成上述图像拼接后，可以根据缩放后的第三图像的尺寸大小与第四图像的尺寸大小计算得到图像长宽的预设缩放比例(W_scale,H_scale)，根据缩放后的第三图像的左上角在上述摄像头坐标系下的位置坐标得到预设位置偏移量(X_offset，Y_offset)。

在本申请的一个实施例中，在获取到第一图像和第二图像之后，还可以利用去畸变算法对图像进行去畸变等预处理操作，以进一步保证检测效果。

本申请实施例还提供了一种交通信号灯的检测装置900，如图9所示，提供了本申请实施例中一种交通信号灯的检测装置，所述装置900包括：获取单元910、检测单元920、融合单元930以及确定单元940，其中：

获取单元910，用于获取第一图像和第二图像，所述第一图像和所述第二图像分别为第一摄像头和第二摄像头在同一时间采集的待检测图像，所述第一摄像头与所述第二摄像头具有不同的焦距和视场；

检测单元920，用于利用信号灯检测模型分别对所述第一图像和所述第二图像进行检测，得到第一检测结果和第二检测结果；

融合单元930，用于按照预设图像拼接策略，对所述第一检测结果与所述第二检测结果进行融合处理，得到融合处理结果；

确定单元940，用于根据所述融合处理结果确定信号灯的检测结果。

在本申请的一个实施例中，所述第一检测结果包括第一图像上的第一目标框，所述第二检测结果包括第二图像上的第二目标框，所述融合单元930具体用于：按照预设缩放比例，分别对所述第一图像以及所述第一图像上的第一目标框进行缩放处理，得到缩放后的第一图像和缩放后的第一目标框；按照预设位置偏移量，分别将缩放后的第一图像以及缩放后的第一目标框拼接到所述第二图像中，得到拼接图像；根据所述拼接图像中的第一目标框和所述第二目标框确定所述融合处理结果。

在本申请的一个实施例中，所述融合单元930具体用于：根据缩放后的第一图像与所述第二图像的拼接位置确定所述拼接图像上的重合区域和非重合区域；根据所述拼接图像中的第一目标框和第二目标框与所述重合区域和所述非重合区域的相对位置关系，确定所述融合处理结果。

在本申请的一个实施例中，所述融合单元930具体用于：将所述缩放后的第一图像作为所述拼接图像的重合区域；将所述第二图像中去除所述重合区域后的剩余部分作为所述融合处理结果。

在本申请的一个实施例中，所述融合单元930具体用于：若所述拼接图像中的第一目标框和第二目标框均位于所述重合区域，和/或所述非重合区域的内部，则在所述重合区域内，保留所述第一目标框，在所述非重合区域内，保留所述第二目标框；若所述拼接图像中的第二目标框跨越了所述非重合区域与所述重合区域的分界线，则保留所述非重合区域的第二目标框，并按照预设过滤策略对所述重合区域的第一目标框进行过滤处理；将所述重合区域和所述非重合区域中剩余的目标框，作为所述融合处理结果。

在本申请的一个实施例中，所述融合单元930具体用于：确定所述非重合区域的第二目标框与所述重合区域的各个第一目标框的交并比；若所述交并比大于预设交并比阈值，则舍弃所述重合区域内对应的第一目标框。

在本申请的一个实施例中，所述预设缩放比例和所述预设位置偏移量通过如下方式得到：获取第三图像和第四图像，所述第三图像和所述第四图像分别为所述第一摄像头和所述第二摄像头在同一时间采集的样本图像；将所述第三图像进行缩放，并将所述缩放后的第三图像拼接到所述第四图像上，以使缩放后的第三图像能够与所述第四图像的对应位置相重合；根据所述缩放后的第三图像与所述第四图像的拼接位置，确定所述预设缩放比例和所述预设位置偏移量。

能够理解，上述交通信号灯的检测装置，能够实现前述实施例中提供的交通信号灯的检测方法的各个步骤，关于交通信号灯的检测方法的相关阐释均适用于交通信号灯的检测装置，此处不再赘述。

图10是本申请的一个实施例电子设备的结构示意图。请参考图10，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成交通信号灯的检测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取第一图像和第二图像，所述第一图像和所述第二图像分别为第一摄像头和第二摄像头在同一时间采集的待检测图像，所述第一摄像头与所述第二摄像头具有不同的焦距和视场；

利用信号灯检测模型分别对所述第一图像和所述第二图像进行检测，得到第一检测结果和第二检测结果；

按照预设图像拼接策略，对所述第一检测结果与所述第二检测结果进行融合处理，得到融合处理结果；

根据所述融合处理结果确定信号灯的检测结果。

上述如本申请图5所示实施例揭示的交通信号灯的检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central ProcessingUnit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（DigitalSignal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图5中交通信号灯的检测装置执行的方法，并实现交通信号灯的检测装置在图5所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图5所示实施例中交通信号灯的检测装置执行的方法，并具体用于执行：

获取第一图像和第二图像，所述第一图像和所述第二图像分别为第一摄像头和第二摄像头在同一时间采集的待检测图像，所述第一摄像头与所述第二摄像头具有不同的焦距和视场；

利用信号灯检测模型分别对所述第一图像和所述第二图像进行检测，得到第一检测结果和第二检测结果；

按照预设图像拼接策略，对所述第一检测结果与所述第二检测结果进行融合处理，得到融合处理结果；

根据所述融合处理结果确定信号灯的检测结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种交通信号灯的检测方法，其中，所述方法包括：

获取第一图像和第二图像，所述第一图像和所述第二图像分别为第一摄像头和第二摄像头在同一时间采集的待检测图像，所述第一摄像头与所述第二摄像头具有不同的焦距和视场；

利用信号灯检测模型分别对所述第一图像和所述第二图像进行检测，得到第一检测结果和第二检测结果；

按照预设图像拼接策略，对所述第一检测结果与所述第二检测结果进行融合处理，得到融合处理结果；

根据所述融合处理结果确定信号灯的检测结果。

2.如权利要求1所述方法，其中，所述第一检测结果包括第一图像上的第一目标框，所述第二检测结果包括第二图像上的第二目标框，所述按照预设图像拼接策略，对所述第一检测结果与所述第二检测结果进行融合处理包括：

按照预设缩放比例，分别对所述第一图像以及所述第一图像上的第一目标框进行缩放处理，得到缩放后的第一图像和缩放后的第一目标框；

按照预设位置偏移量，分别将缩放后的第一图像以及缩放后的第一目标框拼接到所述第二图像中，得到拼接图像；

根据所述拼接图像中的第一目标框和所述第二目标框确定所述融合处理结果。

3.如权利要求2所述方法，其中，所述根据所述拼接图像中的第一目标框和所述第二目标框确定所述融合处理结果包括：

根据缩放后的第一图像与所述第二图像的拼接位置确定所述拼接图像上的重合区域和非重合区域；

根据所述拼接图像中的第一目标框和第二目标框与所述重合区域和所述非重合区域的相对位置关系，确定所述融合处理结果。

4.如权利要求3所述方法，其中，所述根据缩放后的第一图像与所述第二图像的拼接位置确定所述拼接图像上的重合区域和非重合区域包括：

将所述缩放后的第一图像作为所述拼接图像的重合区域；

将所述第二图像中去除所述重合区域后的剩余部分作为所述融合处理结果。

5.如权利要求3所述方法，其中，所述根据所述拼接图像中的第一目标框和第二目标框与所述重合区域和所述非重合区域的相对位置关系，确定所述融合处理结果包括：

若所述拼接图像中的第一目标框和第二目标框均位于所述重合区域，和/或所述非重合区域的内部，则在所述重合区域内，保留所述第一目标框，在所述非重合区域内，保留所述第二目标框；

若所述拼接图像中的第二目标框跨越了所述非重合区域与所述重合区域的分界线，则保留所述非重合区域的第二目标框，并按照预设过滤策略对所述重合区域的第一目标框进行过滤处理；

将所述重合区域和所述非重合区域中剩余的目标框，作为所述融合处理结果。

6.如权利要求5所述方法，其中，所述按照预设过滤策略对所述重合区域的第一目标框进行过滤处理包括：

确定所述非重合区域的第二目标框与所述重合区域的各个第一目标框的交并比；

若所述交并比大于预设交并比阈值，则舍弃所述重合区域内对应的第一目标框。

7.如权利要求2~6任一项所述方法，其中，所述预设缩放比例和所述预设位置偏移量通过如下方式得到：

获取第三图像和第四图像，所述第三图像和所述第四图像分别为所述第一摄像头和所述第二摄像头在同一时间采集的样本图像；

将所述第三图像进行缩放，并将所述缩放后的第三图像拼接到所述第四图像上，以使缩放后的第三图像能够与所述第四图像的对应位置相重合；

根据所述缩放后的第三图像与所述第四图像的拼接位置，确定所述预设缩放比例和所述预设位置偏移量。

8.一种交通信号灯的检测装置，其中，所述装置包括：

获取单元，用于获取第一图像和第二图像，所述第一图像和所述第二图像分别为第一摄像头和第二摄像头在同一时间采集的待检测图像，所述第一摄像头与所述第二摄像头具有不同的焦距和视场；

检测单元，用于利用信号灯检测模型分别对所述第一图像和所述第二图像进行检测，得到第一检测结果和第二检测结果；

融合单元，用于按照预设图像拼接策略，对所述第一检测结果与所述第二检测结果进行融合处理，得到融合处理结果；

确定单元，用于根据所述融合处理结果确定信号灯的检测结果。

9.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1~7之任一所述方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1~7之任一所述方法。

Images