CN114005095A - 车辆属性识别方法、装置、电子设备和介质 - Google Patents

Abstract

本公开提供了一种车辆属性识别方法、装置、设备、介质和产品，涉及人工智能领域，尤其涉及计算机视觉和深度学习技术领域。具体实现方案包括：确定M个车辆图像的每个车辆图像中的候选车辆区域，其中，M为大于2的整数，M个车辆图像包括待识别的当前帧图像和至少一个参考帧图像；确定每个车辆图像中的候选车辆区域的区域覆盖特征，其中，区域覆盖特征包括区域面积特征和/或被遮挡等级特征；根据每个车辆图像中的候选车辆区域的区域覆盖特征，确定与当前帧图像关联的目标车辆区域；以及进行针对目标车辆区域的属性识别，得到与当前帧图像关联的车辆属性识别结果。

Description

车辆属性识别方法、装置、电子设备和介质

技术领域

本公开涉及人工智能领域，尤其涉及计算机视觉和深度学习技术领域，可应用于车辆属性识别场景下。

背景技术

车辆属性识别在人工智能领域尤其是智能交通领域中发挥着重要的作用，属性识别效率和识别结果准确性影响车辆属性识别应用的广泛性和有效性。但是，在一些场景下，在基于车辆图像进行车辆属性识别时，存在识别效率不高、识别结果不稳定的现象。

发明内容

本公开提供了一种车辆属性识别方法、装置、电子设备、存储介质以及程序产品。

根据本公开的一方面，提供了一种车辆属性识别方法，包括：确定M个车辆图像的每个车辆图像中的候选车辆区域，其中，M为大于2的整数，所述M个车辆图像包括待识别的当前帧图像和至少一个参考帧图像；确定所述每个车辆图像中的候选车辆区域的区域覆盖特征，其中，所述区域覆盖特征包括区域面积特征和/或被遮挡等级特征；根据所述每个车辆图像中的候选车辆区域的区域覆盖特征，确定与所述当前帧图像关联的目标车辆区域；以及进行针对所述目标车辆区域的属性识别，得到与所述当前帧图像关联的车辆属性识别结果。

根据本公开的另一方面，提供了一种车辆属性识别装置，包括：第一处理模块，用于确定M个车辆图像的每个车辆图像中的候选车辆区域，其中，M为大于2的整数，所述M个车辆图像包括待识别的当前帧图像和至少一个参考帧图像；第二处理模块，用于确定所述每个车辆图像中的候选车辆区域的区域覆盖特征，其中，所述区域覆盖特征包括区域面积特征和/或被遮挡等级特征；第三处理模块，用于根据所述每个车辆图像中的候选车辆区域的区域覆盖特征，确定与所述当前帧图像关联的目标车辆区域；以及第四处理模块，用于进行针对所述目标车辆区域的属性识别，得到与所述当前帧图像关联的车辆属性识别结果。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器和与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的车辆属性识别方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的车辆属性识别方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述的车辆属性识别方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开一实施例的车辆属性识别和装置的系统架构；

图2示意性示出了根据本公开一实施例的车辆属性识别方法的流程图；

图3示意性示出了根据本公开另一实施例的车辆属性识别方法的流程图；

图4A示意性示出了根据本公开一实施例的车辆属性识别过程的示意图；

图4B示意性示出了根据本公开一实施例的车辆图像的示意图；

图5示意性示出了根据本公开一实施例的车辆属性识别装置的框图；以及

图6示意性示出了根据本公开实施例的用于执行车辆属性识别的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

本公开的实施例提供了一种车辆属性识别方法。车辆属性识别方法包括：确定M个车辆图像的每个车辆图像中的候选车辆区域，其中，M为大于2的整数，M个车辆图像包括待识别的当前帧图像和至少一个参考帧图像，确定每个车辆图像中的候选车辆区域的区域覆盖特征，其中，区域覆盖特征包括区域面积特征和/或被遮挡等级特征，根据每个车辆图像中的候选车辆区域的区域覆盖特征，确定与当前帧图像关联的目标车辆区域，以及进行针对目标车辆区域的属性识别，得到与当前帧图像关联的车辆属性识别结果。

图1示意性示出了根据本公开一实施例的车辆属性识别和装置的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

根据该实施例的系统架构100可以包括数据端101、网络102和服务器103。网络102用于在数据端101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。服务器103可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或分布式系统，还可以是提供云服务、云计算、网络服务、中间件服务等基础云计算服务的云服务器。

数据端101用于提供待进行车辆属性识别的车辆图像，数据端101可以包括本地数据库和/或云数据库，还可以包括车辆图像采集端，采集端可以将采集的车辆图像序列发送给服务器103进行车辆属性识别。服务器103可以从数据端101中获取待识别的当前帧图像，以及获取与待识别的当前帧图像关联的至少一个参考帧图像。

服务器103可用于确定M个车辆图像的每个车辆图像中的候选车辆区域，其中，M为大于2的整数，M个车辆图像包括待识别的当前帧图像和至少一个参考帧图像。服务器103还用于确定每个车辆图像中的候选车辆区域的区域覆盖特征，其中，区域覆盖特征包括区域面积特征和/或被遮挡等级特征，根据每个车辆图像中的候选车辆区域的区域覆盖特征，确定与当前帧图像关联的目标车辆区域，以及用于对目标车辆区域进行属性识别，得到与当前帧图像关联的车辆属性识别结果。

需要说明的是，本公开实施例所提供的图像处理方法可以由服务器103执行。相应地，本公开实施例所提供的图像处理装置可以设置于服务器103中。本公开实施例所提供的图像处理方法也可以由不同于服务器103且能够与数据端101和/或服务器103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像处理装置也可以设置于不同于服务器103且能够与数据端101和/或服务器103通信的服务器或服务器集群中。

应该理解，图1中的数据端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的数据端、网络和服务器。

本公开实施例提供了一种车辆属性识别方法，下面结合图1的系统架构，参考图2～图3、图4A、图4B来描述根据本公开示例性实施方式的车辆属性识别方法。本公开实施例的车辆属性识别方法例如可以由图1所示的服务器103来执行。

图2示意性示出了根据本公开一实施例的车辆属性识别方法的流程图。

如图2所示，本公开实施例的车辆属性识别方法200例如可以包括操作S210～操作S240。

在操作S210，确定M个车辆图像的每个车辆图像中的候选车辆区域，其中，M为大于2的整数，M个车辆图像包括待识别的当前帧图像和至少一个参考帧图像。

在操作S220，确定每个车辆图像中的候选车辆区域的区域覆盖特征，其中，区域覆盖特征包括区域面积特征和/或被遮挡等级特征。

在操作S230，根据每个车辆图像中的候选车辆区域的区域覆盖特征，确定与当前帧图像关联的目标车辆区域。

在操作S240，进行针对目标车辆区域的属性识别，得到与当前帧图像关联的车辆属性识别结果。

下面详细说明本实施例的车辆属性识别方法的各操作的示例流程。

示例性地，确定M个车辆图像的每个车辆图像中的候选车辆区域，M为大于2的整数，M个车辆图像包括待识别的当前帧图像和至少一个参考帧图像。参考帧图像可以包括与待识别的当前帧图像关联的在前帧图像和/或在后帧图像，在前帧图像可以包括车辆图像序列中位于当前帧图像之前的至少一帧图像，在后帧图像可以包括车辆图像序列中位于当前帧图像之后的至少一帧图像。

待识别的车辆属性例如可以包括车辆类型、车辆型号、车辆品牌、车辆颜色、车辆行驶状态等。参考帧图像与待识别的当前帧图像具有时序依赖关系和内容相关性，基于当前帧图像和至少一个参考帧图像，确定与当前帧图像关联的待识别的目标车辆区域，能够有效改善针对当前帧图像的车辆属性识别的识别效率及识别精确度。

确定M个车辆图像的每个车辆图像中的候选车辆区域，候选车辆区域可以包括与车辆对象关联的车辆整体图像和至少一个车辆局部图像。一种示例方式，对每个车辆图像进行车辆轮廓检测，得到与每个车辆图像关联的车辆轮廓信息。根据与每个车辆图像关联的车辆轮廓信息，确定每个车辆图像中包含车辆图像区域在内的车辆检测框，以及将每个车辆图像中的车辆检测框所指示的图像区域，作为对应车辆图像中的候选车辆区域。

示例性地，利用经训练的车辆检测模型进行针对车辆图像的车辆轮廓检测，得到与车辆图像关联的车辆轮廓信息，车辆检测模型例如可采用RDS Net网络或YOLO v3目标检测模型实现。根据与每个车辆图像关联的车辆轮廓信息，确定每个车辆图像中的候选车辆区域相对图像中心点的像素偏移量。根据每个车辆图像中的候选车辆区域相对图像中心点的像素偏移量，确定对应车辆图像中的车辆检测框的位置信息。根据每个车辆图像中的车辆检测框的位置信息，确定对应车辆图像中的车辆检测框。

候选车辆区域相对图像中心点的像素偏移量包括水平像素偏移量和垂直像素偏移量。根据候选车辆区域相对图像中心点的像素偏移量，确定对应车辆图像中的车辆检测框的位置信息，即确定与对应车辆图像中的车辆检测框关联的坐标信息，坐标信息例如可以包括框顶点坐标、框宽信息和框高信息。在获得每个车辆图像中的车辆检测框的位置信息后，基于位置信息确定对应车辆图像中的车辆检测框。

另一示例方式，对每个车辆图像进行灰度化处理，对灰度化处理后的每个车辆图像进行背景差分运算，得到与每个车辆图像关联的前景图像和背景图像，以及将与每个车辆图像关联的前景图像，作为对应车辆图像中的候选车辆区域。示例性地，采用均值法计算M个车辆图像的算术平均像素，基于算术平均像素进行针对每个车辆图像的背景差分运算，得到与每个车辆图像关联的前景图像和背景图像。

可选地，针对任一车辆图像，在得到与车辆图像关联的前景图像和背景图像之后，还可以将灰度化处理后的车辆图像和前景图像的二值化图进行与操作，得到前景模板图。将背景图像和前景图像的二值化图进行与操作，得到背景模板图。对前景模板图中包含的背景像素进行边缘腐蚀处理，得到腐蚀后的前景模板图和腐蚀后的背景模板图，以及将腐蚀后的前景模板图作为车辆图像中的候选车辆区域。

在确定出每个车辆图像中的候选车辆区域之后，确定与每个车辆图像中的候选车辆区域关联的区域覆盖特征，区域覆盖特征可以包括区域面积特征和/或被遮挡等级特征。在M个车辆图像的候选车辆区域中，确定与相同车辆关联的至少一个候选车辆区域。在M个车辆图像中的针对任一车辆的候选车辆区域中，选取区域覆盖特征指示区域面积最大和/或被遮挡等级最低的候选车辆区域，作为与当前帧图像关联的针对对应车辆的目标车辆区域。

与当前帧图像关联的针对任一车辆的目标车辆区域，可以是任意至少一个车辆图像中与对应车辆关联的候选车辆区域，即可以是当前帧图像中与对应车辆关联的候选车辆区域，也可以是参考帧图像中与对应车辆关联的候选车辆区域。目标车辆区域可以包括区域面积最大和/或被遮挡等级最低的车辆整体图像，也可以包括区域面积最大和/或被遮挡等级最低的至少一个车辆局部图像，至少一个车辆局部图像可以指示不同的车辆部位。

通过本公开实施例，确定M个车辆图像的每个车辆图像中的候选车辆区域，其中，M为大于2的整数，M个车辆图像包括待识别的当前帧图像和至少一个参考帧图像，确定每个车辆图像中的候选车辆区域的区域覆盖特征，其中，区域覆盖特征包括区域面积特征和/或被遮挡等级特征，根据每个车辆图像中的候选车辆区域的区域覆盖特征，确定与当前帧图像关联的目标车辆区域，以及进行针对目标车辆区域的属性识别，得到与当前帧图像关联的车辆属性识别结果。

根据待识别的当前帧图像中的候选车辆区域的区域覆盖特征，以及根据至少一个参考帧图像中的候选车辆区域的区域覆盖特征，确定与待识别的当前帧图像关联的目标车辆区域。目标车辆区域可以是当前帧图像和/或至少一个参考帧图像中的候选车辆区域。通过充分利用参考帧图像和当前帧图像中的车辆图像信息，能够有效解决因区域面积过小或被遮挡等级过高造成车辆属性识别效率低、识别精度不佳的问题。

图3示意性示出了根据本公开另一实施例的车辆属性识别方法的示意图。

如图3所示，本公开实施例的车辆属性识别方法300例如可以包括操作S210、操作S320～操作S330和操作S240。

在操作S210，确定M个车辆图像的每个车辆图像中的候选车辆区域，其中，M为大于2的整数，M个车辆图像包括待识别的当前帧图像和至少一个参考帧图像。

在操作S320，确定M个车辆图像中针对相同车辆的候选车辆区域。

在操作S330，在M个车辆图像中的针对任一车辆的候选车辆区域中，将区域面积最大和/或被遮挡等级最低的候选车辆区域，作为与当前帧图像关联的针对对应车辆的目标车辆区域。

在操作S240，进行针对目标车辆区域的属性识别，得到与当前帧图像关联的车辆属性识别结果。

下面详细说明本实施例的车辆属性识别方法的各操作的示例流程。

示例性地，在确定出每个车辆图像中的候选车辆区域后，确定与每个车辆图像中的候选车辆区域关联的区域覆盖特征，区域覆盖特征可以包括区域面积特征和/或被遮挡等级特征。一种示例方式，确定与每个车辆图像中的候选车辆区域关联的像素总数，以作为对应车辆图像中的候选车辆区域的区域面积特征。一般来说，与候选车辆区域关联的像素总数越大，候选车辆区域的区域面积越大。

确定与每个车辆图像中的候选车辆区域关联的颜色分布特征，根据与每个车辆图像中的候选车辆区域关联的颜色分布特征，确定每个车辆图像中针对同一车辆的候选车辆区域。示例性地，确定与每个车辆图像中的候选车辆区域关联的颜色直方图，将相似度高于预设阈值的颜色直方图所对应的候选车辆区域，作为针对同一车辆的候选车辆区域。再示例性地，将每个车辆图像由RGB颜色空间转换到HSV颜色空间，并且再由HSV颜色空间转换到L颜色空间，将L颜色空间中的像素颜色值作为与候选车辆区域关联的颜色分布特征。将相似度高于预设阈值的颜色分布特征所对应的候选车辆区域，作为针对同一车辆的候选车辆区域。

一种示例方式，根据每个车辆图像中针对任一车辆的候选车辆区域的区域面积特征，确定每个车辆图像中与针对对应车辆的候选车辆区域关联的被遮挡等级特征。一般来说，候选车辆区域的区域面积越大，与候选车辆区域关联的被遮挡等级越低。

另一示例方式，根据每个车辆图像中针对任一车辆的候选车辆区域的颜色分布特征与预设标准图像中针对对应车辆的候选车辆区域的颜色分布特征之间的差异值，确定每个车辆图像中与针对对应车辆的候选车辆区域关联的被遮挡等级特征。一般来说，颜色分布特征间的差异值越大，针对对应车辆的候选车辆区域的被遮挡等级越高。预设标准图像可以是人为选定的参考图像，也可以是针对对应车辆的候选车辆区域的被遮挡等级小于预设阈值的车辆图像。

与任一车辆关联的候选车辆区域可以包括车辆整体图像和至少一个车辆局部图像，至少一个车辆局部图像可以指示不同的车辆部位。与当前帧图像关联的针对任一车辆的目标车辆区域，可以包括与对应车辆关联的车辆整体图像和至少一个车辆局部图像，与同一车辆关联的车辆整体图像和至少一个车辆局部图像可以位于不同车辆图像中。

在进行针对目标车辆区域的属性识别时，可以对目标车辆区域中的车辆整体图像进行属性识别，得到第一识别结果，对目标车辆区域中的每个车辆局部图像进行属性识别，得到至少一个第二识别结果。第一识别结果和每个第二识别结果均包含车辆属性与置信度之间的对应关系，根据第一识别结果和至少一个第二识别结果，确定与当前帧图像关联的车辆属性识别结果。示例性地，根据第一识别结果和至少一个第二识别结果，计算与车辆属性关联的平均置信度，以及将最大平均置信度所对应的车辆属性，作为与当前帧图像关联的车辆属性识别结果。

基于车辆整体图像和至少一个车辆局部图像进行车辆属性识别，通过增加车辆属性识别维度，有利于提高车辆属性识别的识别精度和识别效率。

一种示例方式，将目标车辆区域中的车辆整体图像输入第一属性识别模型，得到第一识别结果。第一属性识别模型是根据样本车辆整体图像和车辆属性标签训练得到的。将目标车辆区域中的每个车辆局部图像输入对应的第二属性识别模型，得到至少一个第二识别结果。第二属性识别模型是根据样本车辆局部图像和车辆属性标签训练得到的，不同的第二属性识别模型可以对应不同的车辆部位。

示例性地，第一属性识别模型和每个第二属性识别模型可以是通过Adaboost算法或支持向量机或随机森林算法训练得到的车辆分类器。车辆部位例如可以包括车盖部位、保险杠部位、车牌号部位等，车盖部位例如可以包括前车盖部位和后车盖部位，保险杠部位例如可以包括前保险杠部位和后保险杠部位。

第一属性识别模型和至少一个第二属性识别模型用于识别同一车辆属性。示例性地，第一属性识别模型用于基于车辆整体图像识别车辆型号，不同的第二属性识别模型用于基于不同的车辆部位识别车辆型号。第一识别结果和每个第二识别结果均包含车辆属性与置信度之间的对应关系，根据第一识别结果和至少一个第二识别结果，计算与车辆属性对应的平均置信度，并将最大平均置信度所对应的车辆属性作为与当前帧图像关联的针对对应车辆的车辆属性识别结果。

与当前帧图像关联的目标车辆区域中的车辆整体图像可以是M个车辆图像中的针对对应车辆的区域面积最大和/或被遮挡等级最低的车辆整体图像，目标车辆区域中的每个车辆局部图像可以是M个车辆图像中的针对对应车辆的区域面积最大和/或被遮挡等级最低的车辆局部图像。基于目标车辆区域中的车辆整体图像和至少一个车辆局部图像，进行针对当前帧图像的车辆属性识别，有利于有效改善车辆属性识别效率，和有效提升车辆属性识别结果的准确性。

另一示例方式，将目标车辆区域中的车辆整体图像和至少一个车辆局部图像输入同一属性识别模型，利用属性识别模型分别提取车辆整体图像和每个车辆局部图像中的特征信息。根据车辆整体图像中的特征信息和每个车辆局部图像中的特征信息，确定与当前帧图像关联的车辆属性识别结果。属性识别模型例如可采用递归神经网络模型实现。

示例性地，利用第一预设数量的卷积核，对由车辆整体图像的像素构成的像素矩阵执行相应次数的卷积处理，得到与车辆整体图像关联的池化矩阵。对与车辆整体图像关联的池化矩阵进行全连接处理，得到预设维数的全局特征向量。利用第二预设数量的卷积核，分别对由每个车辆局部图像的像素构成的像素矩阵执行相应次数的卷积处理，得到与每个车辆局部图像关联的池化矩阵。对与每个车辆局部图像关联的池化矩阵进行全连接处理，得到与全局特征向量维数相同的局部特征向量。

对全局特征向量和每个局部特征向量进行特征融合，得到当前帧图像的与对应车辆关联的融合特征向量。基于融合特征向量，确定与车辆属性对应的置信度，并将最大置信度对应的车辆属性作为与当前帧图像关联的针对对应车辆的车辆属性识别结果。示例性地，将最大置信度对应的颜色作为与当前帧图像关联的针对对应车辆的颜色识别结果。当存在多个最大置信度对应的颜色时，可以将多个最大置信度对应的颜色的组合色作为与当前帧图像关联的针对对应车辆的颜色识别结果。

在待识别的当前帧图像和至少一个参考帧图像中，选取区域面积最大和/或被遮挡等级最低的候选车辆区域，作为与当前帧图像关联的待识别的目标车辆区域。通过充分利用前后帧图像中的车辆区域覆盖信息，有利于有效缓解因待识别车辆区域的区域面积过小和/或被遮挡等级过高造成的车辆属性识别精度低和识别效率不佳的现象，能够有效实现精准快速识别车辆属性，有利于将车辆属性识别更好地应用于辅助驾驶和车辆智能监控中。

图4A示意性示出了根据本公开一实施例的车辆属性识别过程的示意图。

如图4A所示，在车辆属性识别过程中，数据端4A1向处理端4A2发送车辆图像序列，车辆图像序列中包含待识别的当前帧图像和至少一个参考帧图像。处理端4A2基于接收的车辆图像序列进行车辆属性识别，得到与当前帧图像关联的车辆属性识别结果并返回给数据端4A1。数据端4A1可用于获取车辆图像，其可以是数据库或车辆图像采集端。一种示例方式，待识别的当前帧图像可以是车辆图像序列中的任意一帧图像，因此，可认为是基于车辆图像序列中的多帧图像识别目标车辆或识别车辆行驶环境中的不同车辆的车辆属性。

图4B示意性示出了根据本公开一实施例的车辆图像的示意图。

如图4B所示，车辆图像4B1～4B5中均包含车辆对象a、b、c。车辆图像4B2为待识别的当前帧图像，与待识别的当前帧图像4B2关联的在前帧图像4B1、在后帧图像4B3、4B4、4B5构成参考帧图像。

确定每个车辆图像中的候选车辆区域，并在所有车辆图像中的针对任一车辆的候选车辆区域中，选取区域面积最大和/或被遮挡等级最低的候选车辆区域，作为与对应车辆关联的目标车辆区域。示例性地，在当前帧图像4B2和每个参考帧图像中的针对a车辆的候选车辆区域中，参考帧图像4B4中针对a车辆的候选车辆区域的被遮挡等级最低。选取参考帧图像4B4中针对a车辆的候选车辆区域，作为与当前帧图像4B2关联的针对a车辆的目标车辆区域。对目标车辆区域进行属性识别，得到与当前帧图像4B2关联的针对a车辆的车辆属性识别结果。

根据当前帧图像和参考帧图像中的候选车辆区域的区域面积和/或被遮挡等级，确定与当前帧图像关联的待识别的目标车辆区域，目标车辆区域可以是当前帧图像或参考帧图像中区域面积最大和/或被遮挡等级最低的候选车辆区域。基于目标车辆区域进行车辆属性识别，能够有效改善车辆属性识别精度，和有效提升车辆属性识别效率。

图5示意性示出了根据本公开一实施例的车辆属性识别装置的框图。

如图5所示，本公开实施例的车辆属性识别装置500例如包括第一处理模块510、第二处理模块520、第三处理模块530和第四处理模块540。

第一处理模块510，用于确定M个车辆图像的每个车辆图像中的候选车辆区域，其中，M为大于2的整数，M个车辆图像包括待识别的当前帧图像和至少一个参考帧图像。第二处理模块520，用于确定每个车辆图像中的候选车辆区域的区域覆盖特征，其中，区域覆盖特征包括区域面积特征和/或被遮挡等级特征。第三处理模块530，用于根据每个车辆图像中的候选车辆区域的区域覆盖特征，确定与当前帧图像关联的目标车辆区域。以及，第四处理模块540，用于进行针对目标车辆区域的属性识别，得到与当前帧图像关联的车辆属性识别结果。

通过本公开实施例，确定M个车辆图像的每个车辆图像中的候选车辆区域，其中，M为大于2的整数，M个车辆图像包括待识别的当前帧图像和至少一个参考帧图像，确定每个车辆图像中的候选车辆区域的区域覆盖特征，其中，区域覆盖特征包括区域面积特征和/或被遮挡等级特征，根据每个车辆图像中的候选车辆区域的区域覆盖特征，确定与当前帧图像关联的目标车辆区域，以及进行针对目标车辆区域的属性识别，得到与当前帧图像关联的车辆属性识别结果。

根据待识别的当前帧图像中的候选车辆区域的区域覆盖特征，以及根据至少一个参考帧图像中的候选车辆区域的区域覆盖特征，确定与待识别的当前帧图像关联的目标车辆区域。目标车辆区域可以是当前帧图像和/或至少一个参考帧图像中的候选车辆区域。通过充分利用参考帧图像和当前帧图像中的车辆图像信息，能够有效解决区域面积过小或被遮挡等级过高造成车辆属性识别效率低、识别精度不佳的问题。

根据本公开的实施例，第一处理模块包括：第一处理子模块，用于对每个车辆图像进行车辆轮廓检测，得到与每个车辆图像关联的车辆轮廓信息。第二处理子模块，用于根据与每个车辆图像关联的车辆轮廓信息，确定每个车辆图像中包含车辆图像区域在内的车辆检测框。第三处理子模块，用于将每个车辆图像中的车辆检测框所指示的图像区域，作为对应车辆图像中的候选车辆区域。

根据本公开的实施例，第二处理子模块包括：第一处理单元，用于根据与每个车辆图像关联的车辆轮廓信息，确定对应车辆图像中的候选车辆区域相对图像中心点的像素偏移量；第二处理单元，用于根据每个车辆图像中的候选车辆区域相对图像中心点的像素偏移量，确定对应车辆图像中的车辆检测框的位置信息；第三处理单元，用于根据每个车辆图像中的车辆检测框的位置信息，确定对应车辆图像中的车辆检测框。

根据本公开的实施例，第一处理模块还包括：第四处理子模块，用于对每个车辆图像进行灰度化处理；第五处理子模块，用于对灰度化处理后的每个车辆图像进行背景差分运算，得到与每个车辆图像关联的前景图像和背景图像；以及第六处理子模块，用于将与每个车辆图像关联的前景图像，作为对应车辆图像中的候选车辆区域。

根据本公开的实施例，区域覆盖特征包括区域面积特征，第二处理模块包括：第七处理子模块，用于确定与每个车辆图像中的候选车辆区域关联的像素总数，作为对应车辆图像中的候选车辆区域的区域面积特征。

根据本公开的实施例，区域覆盖特征还包括被遮挡等级特征，第二处理模块还包括：第八处理子模块，用于确定与每个车辆图像中的候选车辆区域关联的颜色分布特征；第九处理子模块，用于根据与每个车辆图像中的候选车辆区域关联的颜色分布特征，确定每个车辆图像中针对同一车辆的候选车辆区域；第十处理子模块，用于根据每个车辆图像中针对任一车辆的候选车辆区域的区域面积特征，确定每个车辆图像中针对对应车辆的候选车辆区域的被遮挡等级特征。

根据本公开的实施例，第三处理模块包括：第十一处理子模块，用于在与每个车辆图像关联的针对任一车辆的候选车辆区域中，将区域覆盖特征指示区域面积最大和/或被遮挡等级最低的候选车辆区域，作为与当前帧图像关联的针对对应车辆的目标车辆区域。

根据本公开的实施例，候选车辆区域包括车辆整体图像和至少一个车辆局部图像，第十一处理子模块包括：第四处理单元，用于在与每个车辆图像关联的针对任一车辆的候选车辆区域中，将区域覆盖特征指示区域面积最大和/或被遮挡等级最低的车辆整体图像和至少一个车辆局部图像，作为与当前帧图像关联的针对对应车辆的目标车辆区域。

根据本公开的实施例，第四处理模块包括：第十二处理子模块，用于对目标车辆区域中的车辆整体图像进行属性识别，得到第一识别结果；第十三处理子模块，用于对目标车辆区域中的每个车辆局部图像进行属性识别，得到至少一个第二识别结果；以及第十四处理子模块，用于根据第一识别结果和至少一个第二识别结果，确定与当前帧图像关联的车辆属性识别结果。

根据本公开的实施例，第一识别结果和每个第二识别结果均包含车辆属性与置信度之间的对应关系。第十四处理子模块包括：第五处理单元，用于根据第一识别结果和至少一个第二识别结果，计算与车辆属性关联的平均置信度；以及第六处理单元，用于将最大平均置信度所对应的车辆属性，作为与当前帧图像关联的车辆属性识别结果。

根据本公开的实施例，车辆属性包括车辆类型、车辆型号、车辆品牌、车辆颜色、车辆行驶状态中的至少之一。

应该注意的是，本公开的技术方案中，所涉及的信息收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示意性示出了根据本公开实施例的用于执行车辆属性识别的电子设备的框图。

图6示出了可以用来实施本公开实施例的示例电子设备600的示意性框图。电子设备600旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元606，例如网卡、调制解调器、无线通信收发机等。通信单元606允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如车辆属性识别方法。例如，在一些实施例中，车辆属性识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元606而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的车辆属性识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行车辆属性识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种车辆属性识别方法，包括：

确定M个车辆图像的每个车辆图像中的候选车辆区域，其中，M为大于2的整数，所述M个车辆图像包括待识别的当前帧图像和至少一个参考帧图像；

确定所述每个车辆图像中的候选车辆区域的区域覆盖特征，其中，所述区域覆盖特征包括区域面积特征和/或被遮挡等级特征；

根据所述每个车辆图像中的候选车辆区域的区域覆盖特征，确定与所述当前帧图像关联的目标车辆区域；以及

进行针对所述目标车辆区域的属性识别，得到与所述当前帧图像关联的车辆属性识别结果。

2.根据权利要求1所述的方法，其中，所述确定M个车辆图像的每个车辆图像中的候选车辆区域，包括：

对所述每个车辆图像进行车辆轮廓检测，得到与所述每个车辆图像关联的车辆轮廓信息；

根据与所述每个车辆图像关联的车辆轮廓信息，确定所述每个车辆图像中包含车辆图像区域在内的车辆检测框；以及

将所述每个车辆图像中的车辆检测框所指示的图像区域，作为对应车辆图像中的候选车辆区域。

3.根据权利要求2所述的方法，其中，所述根据与所述每个车辆图像关联的车辆轮廓信息，确定所述每个车辆图像中包含车辆图像区域在内的车辆检测框，包括：

根据与所述每个车辆图像关联的车辆轮廓信息，确定对应车辆图像中的候选车辆区域相对图像中心点的像素偏移量；

根据所述每个车辆图像中的候选车辆区域相对图像中心点的像素偏移量，确定对应车辆图像中的车辆检测框的位置信息；以及

根据所述每个车辆图像中的车辆检测框的位置信息，确定对应车辆图像中的车辆检测框。

4.根据权利要求1所述的方法，其中，所述确定M个车辆图像的每个车辆图像中的候选车辆区域，包括：

对所述每个车辆图像进行灰度化处理；

对灰度化处理后的每个车辆图像进行背景差分运算，得到与所述每个车辆图像关联的前景图像和背景图像；以及

将与所述每个车辆图像关联的前景图像，作为对应车辆图像中的候选车辆区域。

5.根据权利要求1所述的方法，其中，所述区域覆盖特征包括区域面积特征，所述确定所述每个车辆图像中的候选车辆区域的区域覆盖特征，包括：

确定与所述每个车辆图像中的候选车辆区域关联的像素总数，作为对应车辆图像中的候选车辆区域的区域面积特征。

6.根据权利要求5所述的方法，其中，所述区域覆盖特征还包括被遮挡等级特征，所述确定所述每个车辆图像中的候选车辆区域的区域覆盖特征，包括：

确定与所述每个车辆图像中的候选车辆区域关联的颜色分布特征；

根据与所述每个车辆图像中的候选车辆区域关联的颜色分布特征，确定所述每个车辆图像中针对同一车辆的候选车辆区域；

根据所述每个车辆图像中针对任一车辆的候选车辆区域的区域面积特征，确定所述每个车辆图像中针对对应车辆的候选车辆区域的被遮挡等级特征。

7.根据权利要求6所述的方法，其中，所述根据所述每个车辆图像中的候选车辆区域的区域覆盖特征，确定与所述当前帧图像关联的目标车辆区域，包括：

在与所述每个车辆图像关联的针对任一车辆的候选车辆区域中，将区域覆盖特征指示区域面积最大和/或被遮挡等级最低的候选车辆区域，作为与所述当前帧图像关联的针对对应车辆的目标车辆区域。

8.根据权利要求7所述的方法，其中，

所述候选车辆区域包括车辆整体图像和至少一个车辆局部图像；

所述在与所述每个车辆图像关联的针对任一车辆的候选车辆区域中，将区域覆盖特征指示区域面积最大和/或被遮挡等级最低的候选车辆区域，作为与所述当前帧图像关联的针对对应车辆的目标车辆区域，包括：

在与所述每个车辆图像关联的针对任一车辆的候选车辆区域中，将区域覆盖特征指示区域面积最大和/或被遮挡等级最低的车辆整体图像和至少一个车辆局部图像，作为与所述当前帧图像关联的针对对应车辆的目标车辆区域。

9.根据权利要求8所述的方法，其中，所述进行针对所述目标车辆区域的属性识别，得到与所述当前帧图像关联的车辆属性识别结果，包括：

对所述目标车辆区域中的车辆整体图像进行属性识别，得到第一识别结果；

对所述目标车辆区域中的每个车辆局部图像进行属性识别，得到至少一个第二识别结果；以及

根据所述第一识别结果和所述至少一个第二识别结果，确定与所述当前帧图像关联的车辆属性识别结果。

10.根据权利要求9的方法，其中，

所述第一识别结果和每个第二识别结果均包含车辆属性与置信度之间的对应关系；

所述根据所述第一识别结果和至少一个第二识别结果，确定与所述当前帧图像关联的车辆属性识别结果，包括：

根据所述第一识别结果和所述至少一个第二识别结果，计算与车辆属性关联的平均置信度；以及

将最大平均置信度所对应的车辆属性，作为与所述当前帧图像关联的车辆属性识别结果。

11.根据权利要求1至10中任一项所述的方法，其中，所述车辆属性包括车辆类型、车辆型号、车辆品牌、车辆颜色、车辆行驶状态中的至少之一。

12.一种车辆属性识别装置，包括：

第一处理模块，用于确定M个车辆图像的每个车辆图像中的候选车辆区域，其中，M为大于2的整数，所述M个车辆图像包括待识别的当前帧图像和至少一个参考帧图像；

第二处理模块，用于确定所述每个车辆图像中的候选车辆区域的区域覆盖特征，其中，所述区域覆盖特征包括区域面积特征和/或被遮挡等级特征；

第三处理模块，用于根据所述每个车辆图像中的候选车辆区域的区域覆盖特征，确定与所述当前帧图像关联的目标车辆区域；以及

第四处理模块，用于进行针对所述目标车辆区域的属性识别，得到与所述当前帧图像关联的车辆属性识别结果。

13.根据权利要求12所述的装置，其中，所述第一处理模块包括：

第一处理子模块，用于对所述每个车辆图像进行车辆轮廓检测，得到与所述每个车辆图像关联的车辆轮廓信息；

第二处理子模块，用于根据与所述每个车辆图像关联的车辆轮廓信息，确定所述每个车辆图像中包含车辆图像区域在内的车辆检测框；以及

第三处理子模块，用于将所述每个车辆图像中的车辆检测框所指示的图像区域，作为对应车辆图像中的候选车辆区域。

14.根据权利要求13所述的装置，其中，所述第二处理子模块包括：

第一处理单元，用于根据与所述每个车辆图像关联的车辆轮廓信息，确定对应车辆图像中的候选车辆区域相对图像中心点的像素偏移量；

第二处理单元，用于根据所述每个车辆图像中的候选车辆区域相对图像中心点的像素偏移量，确定对应车辆图像中的车辆检测框的位置信息；以及

第三处理单元，用于根据所述每个车辆图像中的车辆检测框的位置信息，确定对应车辆图像中的车辆检测框。

15.根据权利要求12所述的装置，其中，所述第一处理模块还包括：

第四处理子模块，用于对所述每个车辆图像进行灰度化处理；

第五处理子模块，用于对灰度化处理后的每个车辆图像进行背景差分运算，得到与所述每个车辆图像关联的前景图像和背景图像；以及

第六处理子模块，用于将与所述每个车辆图像关联的前景图像，作为对应车辆图像中的候选车辆区域。

16.根据权利要求12所述的装置，其中，所述区域覆盖特征包括区域面积特征，所述第二处理模块包括：

第七处理子模块，用于确定与所述每个车辆图像中的候选车辆区域关联的像素总数，作为对应车辆图像中的候选车辆区域的区域面积特征。

17.根据权利要求16所述的装置，其中，所述区域覆盖特征还包括被遮挡等级特征，所述第二处理模块还包括：

第八处理子模块，用于确定与所述每个车辆图像中的候选车辆区域关联的颜色分布特征；

第九处理子模块，用于根据与所述每个车辆图像中的候选车辆区域关联的颜色分布特征，确定所述每个车辆图像中针对同一车辆的候选车辆区域；

第十处理子模块，用于根据所述每个车辆图像中针对任一车辆的候选车辆区域的区域面积特征，确定所述每个车辆图像中针对对应车辆的候选车辆区域的被遮挡等级特征。

18.根据权利要求17所述的装置，其中，所述第三处理模块包括：

第十一处理子模块，用于在与所述每个车辆图像关联的针对任一车辆的候选车辆区域中，将区域覆盖特征指示区域面积最大和/或被遮挡等级最低的候选车辆区域，作为与所述当前帧图像关联的针对对应车辆的目标车辆区域。

19.根据权利要求18所述的装置，其中，

所述候选车辆区域包括车辆整体图像和至少一个车辆局部图像；

所述第十一处理子模块包括：

第四处理单元，用于在与所述每个车辆图像关联的针对任一车辆的候选车辆区域中，将区域覆盖特征指示区域面积最大和/或被遮挡等级最低的车辆整体图像和至少一个车辆局部图像，作为与所述当前帧图像关联的针对对应车辆的目标车辆区域。

20.根据权利要求19所述的装置，其中，所述第四处理模块包括：

第十二处理子模块，用于对所述目标车辆区域中的车辆整体图像进行属性识别，得到第一识别结果；

第十三处理子模块，用于对所述目标车辆区域中的每个车辆局部图像进行属性识别，得到至少一个第二识别结果；以及

第十四处理子模块，用于根据所述第一识别结果和所述至少一个第二识别结果，确定与所述当前帧图像关联的车辆属性识别结果。

21.根据权利要求20的装置，其中，

所述第一识别结果和每个第二识别结果均包含车辆属性与置信度之间的对应关系；

所述第十四处理子模块包括：

第五处理单元，用于根据所述第一识别结果和所述至少一个第二识别结果，计算与车辆属性关联的平均置信度；以及

第六处理单元，用于将最大平均置信度所对应的车辆属性，作为与所述当前帧图像关联的车辆属性识别结果。

22.根据权利要求12至21中任一项所述的装置，其中，所述车辆属性包括车辆类型、车辆型号、车辆品牌、车辆颜色、车辆行驶状态中的至少之一。

23.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的方法。

25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。

Images