CN111753826B - 车辆与车牌的关联方法、装置和电子系统 - Google Patents

Abstract

本发明提供了一种车辆与车牌的关联方法、装置和电子系统。其中，该方法包括：对待检测图像进行车辆特征检测和车牌特征检测，得到待检测图像的车辆检测框集合和车牌关联框组集合；车辆检测框集合包括至少一个车辆检测框；车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框；计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度；根据计算得到的候选车框与车辆检测框的匹配度，确定车牌关联框组集合中的车牌检测框关联的车辆检测框。该方式中计算候选车框与车辆检测框的匹配度，不存在检测框不包括车牌以及同一个车牌存在于多个检测框中的问题，可以提高车辆和车牌关联的稳定性和准确率。

Description

车辆与车牌的关联方法、装置和电子系统

技术领域

本发明涉及目标检测技术领域，尤其是涉及一种车辆与车牌的关联方法、装置和电子系统。

背景技术

目标检测是基于计算机视觉的人工智能应用的基础组件。近年来，随着深度学习和计算机硬件技术的飞速发展，目标检测技术在准确度和运算速度两个维度都取得了突破性进展，车辆检测和车牌检测技术也因此得到了广泛使用。在进行车辆检测和车牌检测时，不仅要准确检测出车辆和车牌，还要确定车辆和车牌的对应关系，从而为跨摄像头跟踪打下坚实的基础。例如安防场景，在连续的视频镜头中，可能只有某几帧能够看清楚车牌，为了持续跟踪一辆车，通常的思路是：在能检测并识别出车牌的一帧图像上，检测出包含该车牌的车辆，然后利用该车辆的外观特征，在其它镜头中去检索与之相似的车辆，完成跨摄像头追踪。因此，要完成这一连串的功能，车辆和车牌关联技术必不可少。

现有的车辆和车牌关联技术中，首先进行车辆和车牌各自的检测，然后使用后处理逻辑(例如IoU(Intersection-over-Union，交并比))进行关联，存在以下问题：1、车辆检测框可能会偏小，偏小的检测框有可能不会包括车牌，无法关联车牌与车辆；2、车辆与车辆相互重叠，会造成不同的车辆检测框的相互重叠，这样一个车牌可能会存在于多个车辆检测框中，一个车辆检测框也可能包括多个车牌；这种情况下车牌与车辆检测框的对应关系无法确定，导致车辆和车牌关联的稳定性较差，准确率不高。

发明内容

有鉴于此，本发明的目的在于提供一种车辆与车牌的关联方法、装置和电子系统，以提高车辆和车牌关联的稳定性和准确率。

第一方面，本发明实施例提供了一种车辆与车牌的关联方法，方法应用于电子设备，包括：对待检测图像进行车辆特征检测和车牌特征检测，得到待检测图像的车辆检测框集合和车牌关联框组集合；该车辆检测框集合包括至少一个车辆检测框；该车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框；计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度；根据计算得到的候选车框与车辆检测框的匹配度，确定车牌关联框组集合中的车牌检测框关联的车辆检测框。

在本发明较佳的实施例中，上述电子设备预存有训练完成的神经网络模型；神经网络模型的第一分支网络为车辆检测模型，第二分支网络为车牌检测模型；对待检测图像进行车辆特征检测和车牌特征检测，得到待检测图像的车辆检测框集合和车牌关联框组集合的步骤，包括：将待检测图像输入神经网络模型；通过神经网络模型的第一分支网络对待检测图像进行车辆检测，得到待检测图像的车辆检测框集合；通过神经网络模型的第二分支网络对待检测图像进行车牌检测，得到待检测图像的车牌关联框组集合。

在本发明较佳的实施例中，上述通过神经网络模型的第一分支网络对待检测图像进行车辆检测，得到待检测图像的车辆检测框集合的步骤，包括：通过神经网络模型的第一分支网络确定待检测图像对应的特征图中的车辆锚定框；基于车辆锚定框确定待检测图像中的车辆检测框集合。

在本发明较佳的实施例中，上述通过神经网络模型的第二分支网络对待检测图像进行车牌检测，得到待检测图像的车牌关联框组集合的步骤，包括：通过神经网络模型的第二分支网络确定待检测图像对应的特征图中的车牌锚定框；基于车牌锚定框确定待检测图像中的车牌检测框和车牌检测框对应的候选车框；基于车牌检测框和车牌检测框对应的候选车框确定车牌关联框组集合。

在本发明较佳的实施例中，上述计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度的步骤，包括：计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的交并比；其中，交并比为候选车框和车辆检测框的交集区域与并集区域之比；将计算得到的交并比作为候选车框与车辆检测框的匹配度。

在本发明较佳的实施例中，上述根据计算得到的候选车框与车辆检测框的匹配度，确定车牌关联框组集合中的车牌检测框关联的车辆检测框的步骤，包括：基于候选车框与车辆检测框的匹配度构建匹配度集合；其中，匹配度集合包括至少一个匹配度，以及匹配度对应的候选车框和车辆检测框；将匹配度集合中大于预设的第一阈值的匹配度对应的候选车框和车辆检测框相互关联。

在本发明较佳的实施例中，上述将匹配度集合中大于预设的第一阈值的匹配度对应的候选车框和车辆检测框相互关联的步骤，包括：按照匹配度由大到小的顺序对匹配度集合中各个匹配度对应的候选车框和车辆检测框排序；从排序后的匹配度集合中选择大于预设的第一阈值的匹配度作为目标匹配度；将目标匹配度对应的候选车框和车辆检测框标记为关联关系。

在本发明较佳的实施例中，上述车辆检测框集合还包括车辆检测框对应的车辆置信度；在基于候选车框与车辆检测框的匹配度构建匹配度集合的步骤之后，方法包括：从匹配度集合中选择车辆置信度小于预设的第二阈值的目标车辆检测框；从匹配度集合中删除目标车辆检测框、目标车辆检测框对应的匹配度和候选车框。

在本发明较佳的实施例中，上述车牌关联框组集合还包括车牌检测框对应的车牌置信度；将匹配度集合中大于预设的第一阈值的匹配度对应的候选车框和车辆检测框相互关联的步骤之后，方法包括：检查是否存在未被关联的目标候选车框；如果存在目标候选车框，且目标候选车框对应的目标车牌检测框的车牌置信度大于预设的车牌置信度阈值，将目标候选车框作为目标车牌检测框关联的车辆检测框。

在本发明较佳的实施例中，上述方法还包括：如果存在目标候选车框，且目标候选车框对应的目标车牌检测框的车牌置信度小于或等于预设的车牌置信度阈值，基于目标候选车框对车牌关联框组集合进行删除操作。

第二方面，本发明实施例还提供一种车辆与车牌的关联装置，装置应用于电子设备，包括：车辆和车牌特征检测模块，用于对待检测图像进行车辆特征检测和车牌特征检测，得到待检测图像的车辆检测框集合和车牌关联框组集合；车辆检测框集合包括至少一个车辆检测框；车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框；匹配度计算模块，用于计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度；车辆和车牌关联模块，用于根据计算得到的候选车框与车辆检测框的匹配度，确定车牌关联框组集合中的车牌检测框关联的车辆检测框。

第三方面，本发明实施例还提供一种电子系统，电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取待检测图像；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述车辆与车牌的关联方法。

第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述车辆与车牌的关联方法的步骤。

本发明实施例带来了以下有益效果：

本发明实施例提供的车辆与车牌的关联方法、装置和电子系统，对待检测图像进行车辆特征检测和车牌特征检测，得到车牌关联框组集合和车牌关联框组集合；其中，车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框，即进行车牌检测的同时，得到车牌和该车牌对应的候选车框，再计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度，并根据上述匹配度将车牌检测框和车辆检测框进行关联。该方式中，通过基于车牌对应的候选车框确定该车牌关联的车辆检测框，候选车框中不但包括对应的车牌检测框，还会框出该车牌检测框周边的信息，其信息量远远大于车牌检测框，因此应用候选车框确定车牌对应的车辆检测框的方式，可以得出比较准确的结果，有效提高车辆和车牌关联的稳定性和准确率。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种车辆与车牌的关联示意图；

图2为本发明实施例提供的一种电子系统的结构示意图；

图3为本发明实施例提供的一种车辆与车牌的关联方法的流程图；

图4为本发明实施例提供的一种车辆特征检测和车牌特征检测的结果示意图；

图5为本发明实施例提供的另一种车辆与车牌的关联方法的流程图；

图6为本发明实施例提供的一种神经网络模型的结构示意图；

图7为本发明实施例提供的一种车辆锚定框的示意图；

图8为本发明实施例提供的一种车牌锚定框的示意图；

图9为本发明实施例提供的一种车辆与车牌的关联装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，在对车辆和车牌进行关联时，首先进行车辆和车牌各自的检测，然后使用后处理逻辑进行关联。参见图1所示的一种车辆与车牌的关联示意图。检测框1为1个车牌检测框，检测框2和检测框3为不同车辆的车辆检测框。如图1所示，检测框1与检测框2属于同一车辆(即图1中的出租车)，然而，由于检测框2较小，没有包括检测框1。而检测框3包括了检测框1。在使用后处理逻辑进行关联时，很有可能认为检测框1和检测框3属于同一车辆，导致关联准确率降低。即使图1中的检测框2增大了范围包括检测框1，检测框3也包括检测框1，在使用后处理逻辑进行关联时也难以进行关联，准确率不高。基于此，本发明实施例提供的一种车辆与车牌的关联方法、装置和电子系统，该技术可以应用于手机、电脑、服务器等需要进行车牌和车辆关联操作的电子设备中。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种车辆与车牌的关联方法进行详细介绍。

实施例一：

首先，参照图2所示的电子系统100的结构示意图。该电子系统可以用于实现本发明实施例的车辆与车牌的关联方法和装置。

如图2所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图2所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，电子系统也可以具有其他组件和结构。

处理设备102可以为服务器、智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对电子系统100中的其它组件的数据进行处理，还可以控制电子系统100中的其它组件以执行目标对象统计的功能。

存储装置104可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行程序指令，以实现下文的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如应用程序使用和/或产生的各种数据等。

输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

图像采集设备110可以获取待检测图像，并且将采集到的图像存储在存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的车辆与车牌的关联方法、装置和电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到图像的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。

实施例二：

本实施例提供了一种车辆与车牌的关联方法，该方法应用于电子设备，参见图3所示的一种车辆与车牌的关联方法的流程图，该车辆与车牌的关联方法包括如下步骤：

步骤S302，对待检测图像进行车辆特征检测和车牌特征检测，得到待检测图像的车辆检测框集合和车牌关联框组集合；车辆检测框集合包括至少一个车辆检测框；车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框。

待检测图像为图像采集装置采集的图像，待检测图像中至少包括一个车辆和一个车牌。车辆特征检测用于检测待检测图像中的车辆，通过车辆检测框将检测到的车辆标识出来，车辆检测框集合包括通过车辆特征检测得到的全部车辆检测框。车牌特征检测用于检测待检测图像中的车牌，通过车牌检测框将检测到的车牌和该车牌对应的候选车框标识出来，本发明实施例，在进行车牌特征检测时，应用车牌检测参数，同时标识出每个车牌对应的候选车框，即在检测车牌的同时，生成每个检测到的车牌对应的一个可能的车辆框，该车辆框即候选车框，每个车牌检测框和该车牌检测框对应的候选车框视为一个车牌关联框组，上述车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框。

步骤S304，计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度。

候选车框与车辆检测框的匹配度，可以理解为候选车框与车辆检测框的重叠率。参见图4所示的一种车辆特征检测和车牌特征检测的结果示意图，如图4所示，实线框41为车牌特征检测输出的一个车牌检测框，实线框42为车牌特征检测输出的一个候选车框。虚线框43为车辆特征检测输出的同一个车辆对应的车辆检测框。可以看出，同一个车辆对应的候选车框与车辆检测框的重叠率较高，即存在较高的匹配度。

步骤S306，根据计算得到的候选车框与车辆检测框的匹配度，确定车牌关联框组集合中的车牌检测框关联的车辆检测框。

一般来说，如果候选车框与车辆检测框的匹配度较高，说明二者很可能属于同一个车辆，那么就可以将车辆检测框与候选车框对应的车牌检测框相互关联，即确定车牌关联框组集合中的车牌检测框关联的车辆检测框。

本发明实施例提供的车辆与车牌的关联方法，对待检测图像进行车辆特征检测和车牌特征检测，得到车牌关联框组集合和车牌关联框组集合；其中，车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框，即进行车牌检测的同时，得到车牌和该车牌对应的候选车框，再计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度，并根据上述匹配度将车牌检测框和车辆检测框进行关联。该方式中，通过基于车牌对应的候选车框确定该车牌关联的车辆检测框，候选车框中不但包括对应的车牌检测框，还会框出该车牌检测框周边的信息，其信息量远远大于车牌检测框，因此应用候选车框确定车牌对应的车辆检测框的方式，可以得出比较准确的结果，有效提高车辆和车牌关联的稳定性和准确率。

实施例三：

本实施例提供了另一种车辆与车牌的关联方法，该方法在上述实施例的基础上实现；本实施例重点描述对待检测图像进行车辆特征检测和车牌特征检测的具体实施方式。如图5所示的另一种车辆与车牌的关联方法的流程图，本实施例中的车辆与车牌的关联方法包括如下步骤：

步骤S502，将待检测图像输入神经网络模型。

本实施例中的电子设备预存有训练完成的神经网络模型，该神经网络模型可以为单级(one-stage)目标检测网络。神经网络模型的第一分支网络为车辆检测模型，车辆检测模型用于进行车辆特征检测，输出车辆检测框集合；神经网络模型的第二分支网络为车牌检测模型，车牌检测模型用于进行车牌特征检测，输出车牌关联框组集合。

参见图6所示的一种神经网络模型的结构示意图，需要说明的是，本实施例中的神经网络模型的结构可以如图6所示，也可以与图6所示的结构不同，只要可以进行车辆特征检测和车牌特征检测即可。如图6所示，神经网络模型中的第一分支网络可以通过B42模块输出车辆检测框，第二分支网络可以通过B44模块和B45模块分别输出车辆检测框和候选车框。此外，第一分支网络还可以通过B41模块输出车辆置信度，第二分支网络还可以通过B43模块输出车牌置信度。

步骤S504，通过神经网络模型的第一分支网络对待检测图像进行车辆检测，得到待检测图像的车辆检测框集合。

如图6所示，骨干网络B1可以在待检测图像上进行卷积计算，输出待检测图像对应的特征图。特征图经过第一分支网络中的B21模块和B32模块的卷积计算，即可得到待检测图像包括的车辆检测框，生成车辆检测框集合。具体来说，可以通过步骤A1-步骤A2输出车辆检测框集合：

步骤A1，通过神经网络模型的第一分支网络确定待检测图像对应的特征图中的车辆锚定框。

用于进行车辆特征检测的锚定框(anchor box)称为车辆锚定框，参见图7所示的一种车辆锚定框的示意图，如图7所示，第一分支网络可以将一个待检测图像分为了3×3的9个网格，每一个网格就是一个车辆锚定框，例如网格(x1，y1；x2，y2)就是一个车辆锚定框，网格(x1，y1；x2，y2)用于表示点(x1，y1)与点(x2，y2)构成的网格。

步骤A2，基于车辆锚定框确定待检测图像中的车辆检测框集合。

在将待检测图像分为若干个车辆锚定框后，可以基于车辆锚定框确定待检测图像中的车辆检测框，例如基于图7中的车辆锚定框(x1，y1；x2，y2)可以确定车辆检测框(x3，y3；x4，y4)。需要说明的是，车辆检测框可以在车辆锚定框的范围内，也可以在车辆锚定框的范围外，这里不做限定。

步骤S506，通过神经网络模型的第二分支网络对待检测图像进行车牌检测，得到待检测图像的车牌关联框组集合。

如图6所示，骨干网络B1输出待检测图像对应的特征图后，特征图经过第二分支网络中的B22模块和B34模块的卷积计算，即可得到待检测图像包括的车牌检测框和候选车框，生成车牌关联框组集合。具体来说，可以通过步骤B1-步骤B3输出车牌关联框组集合：

步骤B1，通过神经网络模型的第二分支网络确定待检测图像对应的特征图中的车牌锚定框。

用于进行车牌特征检测的锚定框称为车牌锚定框，参见图8所示的一种车牌锚定框的示意图，如图7所示，第二分支网络可以将一个待检测图像分为了5×5的25个网格，每一个网格就是一个车牌锚定框，例如网格(x5，y5；x6，y6)就是一个车牌锚定框。

步骤B2，基于车牌锚定框确定待检测图像中的车牌检测框和车牌检测框对应的候选车框。

在将待检测图像分为若干个车牌锚定框后，可以基于车牌锚定框确定待检测图像中的车牌检测框，例如基于图8中的车牌锚定框(x5，y5；x6，y6)可以确定车牌检测框(x7，y7；x8，y8)。需要说明的是，车牌检测框可以在车牌锚定框的范围内，也可以在车牌锚定框的范围外，这里不做限定。

在将待检测图像分为若干个车牌锚定框后，还可以基于车牌锚定框确定待检测图像中的候选车框，例如基于图8中的车牌锚定框(x5，y5；x6，y6)可以确定由点(a，b)和点(c，d)构成的候选车框(a，b；c，d)。可以将同一个车牌锚定框确定的车牌检测框和候选车框相互关联，如车牌检测框(x7，y7；x8，y8)和候选车框(a，b；c，d)都是基于车牌锚定框(x5，y5；x6，y6)确定的，车牌检测框(x7，y7；x8，y8)和候选车框(a，b；c，d)相互关联，也可以称作候选车框(a，b；c，d)为车牌检测框(x7，y7，x8，y8)对应的候选车框。

步骤B3，基于车牌检测框和车牌检测框对应的候选车框确定车牌关联框组集合。

基于车牌检测框和每个车牌检测框对应的候选车框建立集合，可以得到车牌关联框组集合。该方式中的神经网络模型通过第一分支网络计算车辆检测框集合，通过第二分支网络计算车牌关联框组集合，通过一个神经网络可以同时检测车辆检测框、车牌检测框和候选车框，计算速度快，且结果较为准确。

步骤S508，计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度。

本实施例中的匹配度用于说明候选车框与车辆检测框的重叠程度，可以用交并比(IOU)表示，可以通过步骤C1-步骤C2计算匹配度：

步骤C1，计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的交并比；其中，交并比为候选车框和车辆检测框的交集区域与并集区域之比。

计算车牌关联框组集合中的所有候选车框与车辆检测框集合中的所有车辆检测框的交并比，候选车框A与车辆检测框B的交并比是指候选车框与车辆检测框的交集与并集的比值，即交并比IOU＝(A∩B)/(A∪B)。首先确定候选车框A与车辆检测框B的交集A∩B的面积，然后确定候选车框A与车辆检测框B的并集A∪B的面积，将A∩B的面积与集A∪B的面积的比值作为交并比IOU。

步骤C2，将计算得到的交并比作为候选车框与车辆检测框的匹配度。

对于车牌关联框组集合中的一个候选车框，分别计算该候选车框与车辆检测框集合中的每个车辆检测框的交并比，可以作为该候选车框与每个车辆检测框的匹配度。该方式中，通过计算候选车框与车辆检测框的交并比代表候选车框与车辆检测框的匹配度，可以准确地说明候选车框与车辆检测框的重叠程度。

步骤S510，根据计算得到的候选车框与车辆检测框的匹配度，确定车牌关联框组集合中的车牌检测框关联的车辆检测框。

在根据匹配度确定车牌检测框与车辆检测框的关联关系的步骤中，可以将匹配度较高的车牌检测框与车辆检测框优先关联，例如：通过步骤D1-步骤D2关联车牌检测框与车辆检测框：

步骤D1，基于候选车框与车辆检测框的匹配度构建匹配度集合；其中，匹配度集合包括至少一个匹配度，以及匹配度对应的候选车框和车辆检测框。

将上述步骤计算的匹配度构建为匹配度集合，匹配度集合中除了包括匹配度之外，还包括匹配度对应的候选车框和车辆检测框。例如：候选车框A和车辆检测框B的匹配度为0.4，在匹配度集合中，候选车框A、车辆检测框B以及匹配度0.4是具有对应关系的。

举例来说，可以先车辆检测框b_car和车辆置信度s_car构建为一个车辆列表list_car(即车辆检测框集合)；将车牌检测框b_plate、车牌置信度s_plate和候选车框b_p2c构建为车牌列表(即车牌关联框组集合)list_plate。通过下述伪代码计算每一个b_car和每一个b_p2c之间的交并比IOU，加入匹配度列表(也称为匹配度集合)iou_list：

上述伪代码的含义是：计算每一个车辆检测框b_car和每一个候选车框b_p2c之间的交并比IOU，将结果保存到iou_list。

上文已经提到，车辆检测框集合还包括车辆检测框对应的车辆置信度；如果存在一个车辆检测框对应的车辆置信度较低，则说明该车辆检测框的准确率较低，可以将该车辆检测框从匹配度集合中删除，基于此，上述方法还包括：从匹配度集合中选择车辆置信度小于预设的第二阈值的目标车辆检测框；从匹配度集合中删除目标车辆检测框、该目标车辆检测框对应的匹配度和候选车框。

第二阈值可以为0.1或0.05，或0.15等数值，本发明实施例对此不进行限定。假设第二阈值为0.1，如果匹配度集合中的一个车辆置信度小于0.1，则说明该车辆置信度对应的目标车辆检测框的可能性较低，因此可以将车辆置信度、目标车辆检测框以及目标车辆检测框对应的匹配度和候选车框从匹配度集合中删除。该方式通过删除车辆置信度小于预设的第二阈值的目标车辆检测框以及其对应的车辆置信度、匹配度和候选车框，可以减少匹配度集合中的冗余数据，减少后续确定关联关系的时间，在较少的时间内快速、准确地确定候选车框与车辆检测框的关联关系。

步骤D2，将匹配度集合中大于预设的第一阈值的匹配度对应的候选车框和车辆检测框相互关联。

为了将匹配度较高的车牌检测框与车辆检测框优先关联，可以先将上述匹配度集合中大于预设的第一阈值(第一阈值可以在0.5-0.7之间)的匹配度对应的候选车框和车辆检测框相互关联。具体来说，可以先对匹配度集合中的匹配度进行排序，然后根据排序后的匹配度集合可以快速确定大于第一阈值的匹配度对应的候选车框和车辆检测框，可以通过步骤E1-步骤E3进行匹配度集合的排序：

步骤E1，按照匹配度由大到小的顺序对匹配度集合中各个匹配度对应的候选车框和车辆检测框排序。

本实施例中的每个候选车框与每个车辆检测框只能关联一次，即一个候选车框不能关联两个车辆检测框，一个车辆检测框也不能关联两个候选车框。可以将较高匹配度对应的候选车框与车辆检测框优先匹配，可以按照匹配度由大到小的顺序，之后基于排序对候选车框与车辆检测框相互关联。

步骤E2，从排序后的匹配度集合中选择大于预设的第一阈值的匹配度作为目标匹配度。

按照排序顺序可以快速确定匹配度为第一阈值时的位置，例如：假设第一阈值为0.7，排序后的匹配度集合中匹配度顺序依次为：0.9、0.8、0.76、0.72、0.7……可以看出匹配度为第一阈值时处于第5位，则在该位置之前的匹配度均为大于第一阈值的匹配度，可以从该位置之前的匹配度中选择一个匹配度作为目标匹配度。

步骤E3，将目标匹配度对应的候选车框和车辆检测框标记为关联关系。

目标匹配度对应的候选车框A和车辆检测框B标记为关联关系后，候选车框A不能与除车辆检测框B的其他车辆检测框标记为关联关系，车辆检测框B也不能与除候选车框A的其他候选车框标记为关联关系。为了更加准确地确定关联关系，可以按照匹配度集合的顺序依次选择目标匹配度。即：首先将排序后的匹配度集合的第1个匹配度作为目标匹配度，将该目标匹配度对应的候选车框和车辆检测框标记为关联关系；之后将排序后的匹配度集合的第2个匹配度作为目标匹配度，将该目标匹配度对应的候选车框和车辆检测框标记为关联关系；需要说明的是，如果目标匹配度对应的候选车框和车辆检测框中已经有一个被标记为关联关系，则不能将该目标匹配度对应的候选车框和车辆检测框标记为关联关系。

例如：匹配度集合的第2个匹配度对应候选车框X和车辆检测框Y，已经被标记为关联关系。如果匹配度集合的第5个匹配度对应候选车框X和车辆检测框Z，由于候选车框X已经和车辆检测框Y被标记为关联关系，则应候选车框X和车辆检测框Z不能被标记为关联关系。如果匹配度集合的第7个匹配度对应候选车框P和车辆检测框Y，由于候选车框X已经和车辆检测框Y被标记为关联关系，则应候选车框P和车辆检测框Y不能被标记为关联关系。

可以通过下述伪代码将车辆检测框idx_car和候选车框idx_p2c标记为关联关系：

在确定关联关系后，可以将关联关系中的车辆检测框idx_car和候选车框idx_p2c构建一个关联映射表matched_pair.append，之后输出该关联映射表，以方便用户后续确定车辆检测框和车牌检测框的关联关系。

在将匹配度集合中大于预设的第一阈值的匹配度对应的候选车框和车辆检测框相互关联的步骤中，可能存在候选车框匹配不到车辆检测框的情况，这通常是由于车辆漏检或者车牌虚警导致的。车牌虚警是指把不是车牌的物品当成车牌检测出来。当车牌置信度非常高时，出现车牌虚警的概率就非常低。所以，在候选车框匹配不到车辆检测框的时候，如果该候选车框对应的车牌置信度非常高，那么往往就是车辆漏检，这时我们可以直接将候选车框作为车辆检测框，从而弥补了车辆检测模型的漏检。基于此上述方法还包括：检查是否存在未被关联的目标候选车框；如果存在目标候选车框，且目标候选车框对应的目标车牌检测框的车牌置信度大于预设的车牌置信度阈值，将目标候选车框作为目标车牌检测框关联的车辆检测框。

车牌置信度阈值可以为0.95或0.96等相关数值，本发明对此不进行限定，目标候选车框是指未被关联的候选车框，如果目标候选车框对应的目标车牌检测框的车牌置信度大于0.95，则很可能存在车辆漏检，可以将目标候选车框作为目标车牌检测框关联的车辆检测框。

具体来说，可以首先由未被匹配的候选车框b_p2c、车牌置信度s_plate构成列表list_unmatched；由车辆检测框b_car、车辆置信度s_car构成列表list_car；车牌置信度阈值用plate_th_high表示，通过下述伪代码执行：

伪代码输出list_car+added_cars，即对于每一个未被匹配的候选车框b_p2c，如果车牌置信度超过车牌置信度阈值plate_th_high，就将候选车框加入到added_cars，即将目标候选车框作为目标车牌检测框关联的车辆检测框。最后输出list_car+added_cars的集合。

此外，如果目标候选车框对应的目标车牌检测框的车牌置信度小于或等于车牌置信度阈值，则目标候选车框对应的车牌检测框很可能检测的不是车牌，可能存在车辆虚警的情况，此时需要从车牌关联框组集合进行删除操作，基于此，上述方法还包括：如果存在目标候选车框，且目标候选车框对应的目标车牌检测框的车牌置信度小于或等于预设的车牌置信度阈值，基于目标候选车框对车牌关联框组集合进行删除操作。该删除操作可以为将目标候选车框、目标候选车框对应的车牌置信度和车牌检测框从车牌关联框组集合中全部删除，也可以为将目标候选车框从车牌关联框组集合中删除。

上述方式中通过对车牌关联框组集合进行删除操作，可以减少车牌关联框组集合中的无用数据，减少后续车牌与车辆关联的时间，在较少的时间内快速、准确地确定候选车框与车辆检测框的关联关系。

在确定候选车框和车辆检测框的关联关系后，可以从车牌关联框组集合中确定候选车框对应的车牌检测框，将该车牌检测框与上述车辆检测框相互关联，完成车牌与车辆的关联。

本发明实施例提供的上述方法，提出一种同时检测车辆、车牌和关联候选框的模型结构，提出一种新的车辆和车牌关联的后处理流程，提出一种根据车牌和车辆关联结果提升车辆检测准确率的方法。该方法在几乎不增加计算量的情况下，用模型同时检测了车牌、车辆和关联候选框，再配合简单的后处理逻辑，显著提升了车辆和车牌关联的准确率。同时，基于车牌和车辆的关联结果，给出一种提升原始车辆检测准确率的方法。

实施例四：

对应于上述方法实施例，参见图9所示的一种车辆与车牌的关联装置的结构示意图，该装置应用于电子设备，该车辆与车牌的关联装置包括：

车辆和车牌特征检测模块91，用于对待检测图像进行车辆特征检测和车牌特征检测，得到待检测图像的车辆检测框集合和车牌关联框组集合；车辆检测框集合包括至少一个车辆检测框；车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框；

匹配度计算模块92，用于计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度；

车辆和车牌关联模块93，用于根据计算得到的候选车框与车辆检测框的匹配度，确定车牌关联框组集合中的车牌检测框关联的车辆检测框。

本发明实施例提供的车辆与车牌的关联装置，对待检测图像进行车辆特征检测和车牌特征检测，得到车牌关联框组集合和车牌关联框组集合；其中，车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框，即进行车牌检测的同时，得到车牌和该车牌对应的候选车框，再计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度，并根据上述匹配度将车牌检测框和车辆检测框进行关联。该方式中，通过基于车牌对应的候选车框确定该车牌关联的车辆检测框，候选车框中不但包括对应的车牌检测框，还会框出该车牌检测框周边的信息，其信息量远远大于车牌检测框，因此应用候选车框确定车牌对应的车辆检测框的方式，可以得出比较准确的结果，有效提高车辆和车牌关联的稳定性和准确率。

上述电子设备预存有训练完成的神经网络模型；神经网络模型的第一分支网络为车辆检测模型，第二分支网络为车牌检测模型；上述车辆和车牌特征检测模块，用于将待检测图像输入神经网络模型；通过神经网络模型的第一分支网络对待检测图像进行车辆检测，得到待检测图像的车辆检测框集合；通过神经网络模型的第二分支网络对待检测图像进行车牌检测，得到待检测图像的车牌关联框组集合。

上述车辆和车牌特征检测模块，还用于通过神经网络模型的第一分支网络确定待检测图像对应的特征图中的车辆锚定框；基于车辆锚定框确定待检测图像中的车辆检测框集合。

上述车辆和车牌特征检测模块，还用于通过神经网络模型的第二分支网络确定待检测图像对应的特征图中的车牌锚定框；基于车牌锚定框确定待检测图像中的车牌检测框和车牌检测框对应的候选车框；基于车牌检测框和车牌检测框对应的候选车框确定车牌关联框组集合。

上述匹配度计算模块，用于计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的交并比；其中，交并比为候选车框和车辆检测框的交集区域与并集区域之比；将计算得到的交并比作为候选车框与车辆检测框的匹配度。

上述车辆和车牌关联模块，用于基于候选车框与车辆检测框的匹配度构建匹配度集合；其中，匹配度集合包括至少一个匹配度，以及匹配度对应的候选车框和车辆检测框；将匹配度集合中大于预设的第一阈值的匹配度对应的候选车框和车辆检测框相互关联。

上述车辆和车牌关联模块，还用于按照匹配度由大到小的顺序对匹配度集合中各个匹配度对应的候选车框和车辆检测框排序；从排序后的匹配度集合中选择大于预设的第一阈值的匹配度作为目标匹配度；将目标匹配度对应的候选车框和车辆检测框标记为关联关系。

上述车辆检测框集合还包括车辆检测框对应的车辆置信度；上述车辆和车牌关联模块，还用于从匹配度集合中选择车辆置信度小于预设的第二阈值的目标车辆检测框；从匹配度集合中删除目标车辆检测框、目标车辆检测框对应的匹配度和候选车框。

上述车牌关联框组集合还包括车牌检测框对应的车牌置信度；上述车辆和车牌关联模块，还用于检查是否存在未被关联的目标候选车框；如果存在目标候选车框，且目标候选车框对应的目标车牌检测框的车牌置信度大于预设的车牌置信度阈值，将目标候选车框作为目标车牌检测框关联的车辆检测框。

上述车辆和车牌关联模块，还用于如果存在目标候选车框，且目标候选车框对应的目标车牌检测框的车牌置信度小于或等于预设的车牌置信度阈值，基于目标候选车框对车牌关联框组集合进行删除操作。

本发明实施例提供的车辆与车牌的关联装置，与上述实施例提供的车辆与车牌的关联方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

实施例五：

本发明实施例提供了一种电子系统，该电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取待检测图像；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述车辆与车牌的关联方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如车辆与车牌的关联方法的步骤。

本发明实施例所提供的车辆与车牌的关联方法、装置和电子系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种车辆与车牌的关联方法，其特征在于，所述方法应用于电子设备，包括：

对待检测图像进行车辆特征检测和车牌特征检测，得到所述待检测图像的车辆检测框集合和车牌关联框组集合；所述车辆检测框集合包括至少一个车辆检测框；所述车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框；

计算所述车牌关联框组集合中的候选车框与所述车辆检测框集合中的车辆检测框的匹配度；

根据计算得到的所述候选车框与所述车辆检测框的匹配度，确定所述车牌关联框组集合中的车牌检测框关联的车辆检测框。

2.根据权利要求1所述的方法，其特征在于，所述电子设备预存有训练完成的神经网络模型；所述神经网络模型的第一分支网络为车辆检测模型，第二分支网络为车牌检测模型；

对待检测图像进行车辆特征检测和车牌特征检测，得到所述待检测图像的车辆检测框集合和车牌关联框组集合的步骤，包括：

将待检测图像输入所述神经网络模型；

通过所述神经网络模型的第一分支网络对所述待检测图像进行车辆检测，得到所述待检测图像的车辆检测框集合；

通过所述神经网络模型的第二分支网络对所述待检测图像进行车牌检测，得到所述待检测图像的车牌关联框组集合。

3.根据权利要求2所述的方法，其特征在于，通过所述神经网络模型的第一分支网络对所述待检测图像进行车辆检测，得到所述待检测图像的车辆检测框集合的步骤，包括：

通过所述神经网络模型的第一分支网络确定所述待检测图像对应的特征图中的车辆锚定框；

基于所述车辆锚定框确定所述待检测图像中的车辆检测框集合。

4.根据权利要求2所述的方法，其特征在于，通过所述神经网络模型的第二分支网络对所述待检测图像进行车牌检测，得到所述待检测图像的车牌关联框组集合的步骤，包括：

通过所述神经网络模型的第二分支网络确定所述待检测图像对应的特征图中的车牌锚定框；

基于所述车牌锚定框确定所述待检测图像中的车牌检测框和所述车牌检测框对应的候选车框；

基于所述车牌检测框和所述车牌检测框对应的候选车框确定车牌关联框组集合。

5.根据权利要求1所述的方法，其特征在于，计算所述车牌关联框组集合中的候选车框与所述车辆检测框集合中的车辆检测框的匹配度的步骤，包括：

计算所述车牌关联框组集合中的候选车框与所述车辆检测框集合中的车辆检测框的交并比；其中，所述交并比为所述候选车框和所述车辆检测框的交集区域与并集区域之比；

将计算得到的交并比作为所述候选车框与所述车辆检测框的匹配度。

6.根据权利要求1所述的方法，其特征在于，根据计算得到的所述候选车框与所述车辆检测框的匹配度，确定所述车牌关联框组集合中的车牌检测框关联的车辆检测框的步骤，包括：

基于所述候选车框与所述车辆检测框的匹配度构建匹配度集合；其中，所述匹配度集合包括至少一个所述匹配度，以及所述匹配度对应的所述候选车框和所述车辆检测框；

将所述匹配度集合中大于预设的第一阈值的匹配度对应的所述候选车框和所述车辆检测框相互关联。

7.根据权利要求6所述的方法，其特征在于，将所述匹配度集合中大于预设的第一阈值的匹配度对应的所述候选车框和所述车辆检测框相互关联的步骤，包括：

按照所述匹配度由大到小的顺序对所述匹配度集合中各个所述匹配度对应的所述候选车框和所述车辆检测框排序；

从排序后的所述匹配度集合中选择大于预设的第一阈值的匹配度作为目标匹配度；

将目标匹配度对应的所述候选车框和所述车辆检测框标记为关联关系。

8.根据权利要求6所述的方法，所述车辆检测框集合还包括所述车辆检测框对应的车辆置信度；

在基于所述候选车框与所述车辆检测框的匹配度构建匹配度集合的步骤之后，所述方法包括：

从所述匹配度集合中选择所述车辆置信度小于预设的第二阈值的目标车辆检测框；

从所述匹配度集合中删除所述目标车辆检测框、所述目标车辆检测框对应的匹配度和候选车框。

9.根据权利要求6所述的方法，其特征在于，所述车牌关联框组集合还包括所述车牌检测框对应的车牌置信度；

将所述匹配度集合中大于预设的第一阈值的匹配度对应的所述候选车框和所述车辆检测框相互关联的步骤之后，所述方法包括：

检查是否存在未被关联的目标候选车框；

如果存在目标候选车框，且所述目标候选车框对应的目标车牌检测框的车牌置信度大于预设的车牌置信度阈值，将所述目标候选车框作为所述目标车牌检测框关联的车辆检测框。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

如果存在目标候选车框，且所述目标候选车框对应的目标车牌检测框的车牌置信度小于或等于预设的车牌置信度阈值，基于所述目标候选车框对所述车牌关联框组集合进行删除操作。

11.一种车辆与车牌的关联装置，其特征在于，所述装置应用于电子设备，包括：

车辆和车牌特征检测模块，用于对待检测图像进行车辆特征检测和车牌特征检测，得到所述待检测图像的车辆检测框集合和车牌关联框组集合；所述车辆检测框集合包括至少一个车辆检测框；所述车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框；

匹配度计算模块，用于计算所述车牌关联框组集合中的候选车框与所述车辆检测框集合中的车辆检测框的匹配度；

车辆和车牌关联模块，用于根据计算得到的所述候选车框与所述车辆检测框的匹配度，确定所述车牌关联框组集合中的车牌检测框关联的车辆检测框。

12.一种电子系统，其特征在于，所述电子系统包括：图像采集设备、处理设备和存储装置；

所述图像采集设备，用于获取待检测图像；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至10任一项所述的车辆与车牌的关联方法。

13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至10任一项所述的车辆与车牌的关联方法的步骤。