CN110543838A

CN110543838A - 车辆信息检测的方法及装置

Info

Publication number: CN110543838A
Application number: CN201910764897.8A
Authority: CN
Inventors: 单靖翔; 吕良福; 陈凯峰; 朱洁尔; 肖慧哲; 卯升晔; 詹国飞
Original assignee: Shanghai Guangshi Information Technology Co Ltd
Current assignee: Shanghai Yunli Technology Co.,Ltd.
Priority date: 2019-08-19
Filing date: 2019-08-19
Publication date: 2019-12-06

Abstract

本申请公开了一种车辆信息检测的方法及装置。该申请的方法包括获取车辆图像信息；基于改进的CenterNet网络对车辆图像信息进行目标检测，识别出车辆图像信息中的车辆的位置和车型、车颜色、与车辆对应的车标、与车辆对应的车牌位置。本申请解决相关的车辆信息检测效率低的问题。

Description

车辆信息检测的方法及装置

技术领域

本申请涉及目标检测技术领域，具体而言，涉及一种车辆信息检测的方法及装置。

背景技术

随着车辆的日益增多，在许多情况下需要对车辆进行监控，在对车辆的监控信息处理的过程中，首先需要对监控信息中包含的车辆信息进行检测。目前，对车辆信息进行检测用到的目标检测方法往往在图像上将目标以轴对称的框形式框出。具体的实现方式是先穷举出潜在目标位置，然后对该位置进行分类，最终框出目标位置。本发明人在实施上述目标检测方式对车辆信息进行检测时，发现该种目标检测方式花费的时间较长，并且还需要额外的后处理(删除同个目标的重复检测框)，效率较低。

发明内容

本申请的主要目的在于提供一种车辆信息检测的方法及装置，以解决车辆信息检测效率低的问题。

为了实现上述目的，根据本申请的第一方面，提供了一种车辆信息检测的方法。

根据本申请的车辆信息检测的方法包括：

获取车辆图像信息；

基于改进的CenterNet网络对车辆图像信息进行目标检测，识别出车辆图像信息中的车辆的位置和车型、车颜色、与车辆对应的车标、与车辆对应的车牌位置，所述改进的CenterNet网络是将车辆图像信息中的每个目标作为一个中心点，并依照该中心点回归目标的属性。

进一步的，基于改进的CenterNet网络对车辆图像信息进行目标检测，识别出车辆图像信息中的车辆的位置和车型、车颜色、与车辆对应的车标、与车辆对应的车牌位置包括：

确定车辆图像信息中车辆、车标的中心点；

根据车辆、车标的中心点回归出车辆图像信息中的车辆、车标以及车牌位置坐标；

根据车辆图像信息中的车辆的位置坐标判断车辆的车型、车颜色。

进一步的，所述确定车辆图像信息中车辆、车标的中心点包括：

将车辆图像信息输入到全卷积神经网络中，得到车型热力图、车颜色热力图、车标热力图；

根据车型热力图、车颜色热力图、车标热力图确定车辆中心点、车标中心点。

进一步的，所述根据车辆、车标的中心点回归出车辆图像信息中的车辆、车标以及车牌位置坐标包括：

基于预设检测模型根据车辆中心点、车标中心点回归出车辆图像信息中的车辆、车标以及车牌位置坐标。

进一步的，所述基于预设检测模型根据车辆中心点、车标中心点回归出车辆图像信息中的车辆、车标以及车牌位置坐标包括：

基于卷积层网络分支回归车辆中心点对应的深度值、车标中心点对应的深度值，所述深度估计器通过二维矩阵损失函数进行训练；

基于卷积层网络分支回归车辆中心点对应的3D维度值、车标中心点对应的3D维度值、车牌对应的3D维度值；

进一步的，所述方法还包括：

将识别出的车辆图像信息中的车辆、车标以及车牌对应的图像判断车标类型和车牌号。

为了实现上述目的，根据本申请的第二方面，提供了一种车辆信息检测的装置。

根据本申请的车辆信息检测的装置包括：

获取单元，用于获取车辆图像信息；

识别单元，用于基于改进的CenterNet网络对车辆图像信息进行目标检测，识别出车辆图像信息中的车辆的位置和车型、车颜色、与车辆对应的车标、与车辆对应的车牌位置，所述改进的CenterNet网络是将车辆图像信息中的每个目标作为一个中心点，并依照该中心点回归目标的属性。

进一步的，识别单元包括：

确定模块，用于确定车辆图像信息中车辆、车标的中心点；

回归模块，用于根据车辆、车标的中心点回归出车辆图像信息中的车辆、车标以及车牌位置坐标；

判断模块，用于根据车辆图像信息中的车辆的位置坐标判断车辆的车型、车颜色。

进一步的，所述确定模块用于：

进一步的，所述回归模块，用于：

进一步的，所述装置还包括：

判断单元，用于将识别出的车辆图像信息中的车辆、车标以及车牌对应的图像判断车标类型和车牌号。

为了实现上述目的，根据本申请的第三方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述第一方面中任一项所述的车辆信息检测的方法。

在本申请实施例中，车辆信息检测的方法和装置能够首先获取车辆图像信息；然后基于改进的CenterNet网络对车辆图像信息进行目标检测，识别出车辆图像信息中的车辆的位置和车型、车颜色、与车辆对应的车标、与车辆对应的车牌位置。由于改进的CenterNet网络是将车辆图像信息中的每个目标作为一个中心点，并依照该中心点回归目标的属性，该网络模型不需进行额外的删除同个目标的重复检测框的后处理，而且收敛的速度的速度更快，因此可以提高车辆信息检测的效率。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的一种车辆信息检测的方法流程图；

图2是根据本申请实施例提供的另一种车辆信息检测的方法流程图；

图3是根据本申请实施例提供的一种车辆信息检测的装置的组成框图；

图4是根据本申请实施例提供的另一种车辆信息检测的装置的组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本申请实施例，提供了一种车辆信息检测的方法，如图1所示，该方法包括如下步骤。

S101.获取车辆图像信息。

其中，车辆图像信息一定是包含车辆的图像信息。具体的获取车辆图像信息的方式多种多样，可以通过具有摄像头的设备直接拍摄获取，也可以通过从包含车辆图像信息的存储设备中直接获取，等等。本实施例对车辆图像信息的获取方式以及途径不做限制。

S102.基于改进的CenterNet网络对车辆图像信息进行目标检测，识别出车辆图像信息中的车辆的位置和车型、车颜色、与车辆对应的车标、与车辆对应的车牌位置。

改进的CenterNet网络的原理：基于“如果目标框是准确的，那么在其中心区域能够检测到目标中心点的概率就会很高，反之亦然”的推论。首先利用左上和右下两个角点生成初始目标框，对每个预测框定义一个中心区域，然后判断每个目标框的中心区域是否含有中心点，若有则保留该目标框，若无则删除该目标框。

基于改进的CenterNet网络对车辆图像信息进行目标检测，识别出车辆图像信息中的车辆的位置和车型、车颜色、与车辆对应的车标、与车辆对应的车牌位置的原理为：确定车辆图像信息中的车辆、车标两种目标分别对应的中心点；然后依照中心点回归出中心点对应的属性特征(外接框两个点的偏移量、类别等)；最终识别出车辆图像信息中的车辆的位置和车型、车颜色、与车辆对应的车标、与车辆对应的车牌位置等多种目标和属性。

从以上的描述中，可以看出，本申请实施例中车辆信息检测的方法能够首先获取车辆图像信息；然后基于改进的CenterNet网络对车辆图像信息进行目标检测，识别出车辆图像信息中的车辆的位置和车型、车颜色、与车辆对应的车标、与车辆对应的车牌位置。由于改进的CenterNet网络是将车辆图像信息中的每个目标作为一个中心点，并依照该中心点回归目标的属性，该网络模型不需进行额外的删除同个目标的重复检测框的后处理，而且收敛的速度的速度更快，因此可以提高车辆信息检测的效率。

根据本申请实施例，提供了另一种车辆信息检测的方法，如图2所示，该方法包括：

S201.获取车辆图像信息。

本步骤的实现方式与图1步骤S101中的实现方式相同，此处不再赘述。

S202.确定车辆图像信息中车辆、车标的中心点。

具体的，确定车辆图像信息中车辆、车标的中心点包括：

第一，将车辆图像信息输入到全卷积神经网络中，得到车型热力图、车颜色热力图、车标热力图；

给出具体的示例对根据网络前一层特征图得到对应的热力图的过程进行说明：

令I∈R^W×H×3为输入特征图，其宽W，高H。我们目标是生成对应的热力图其中R是输出stride(即尺寸缩放比例，本实施例中取4倍的缩放比例)，C是车辆属性的类型数(即输出热力图通道数)；对于车型，有C＝13个车型，对于车颜色，有C＝8种车颜色，对于车标，有C＝40种车标。表示检测到的中心点；表示背景；我们采用了几个不同的网络分支来预测图像I得到的(即预测热力图，与后面的目标热力图通过focal loss结合来训练)。

我们训练中心点预测网络时对于Ground Truth(即GT)的中心点c,其位置为p∈R²，计算得到低分辨率(经过下采样)上对应的中心点将GT中心点通过高斯核分散到热力图上，其中σ_p是目标尺度-自适应的标准方差。如果对于同个类c(同个中心点或是目标类别)有两个高斯函数发生重叠，我们选择元素级最大的，这样就得到了训练的目标热力图。训练目标函数如下，像素级逻辑回归的focal loss：

其中α和β是focal loss的超参数，实验中两个数分别设置为2和4，N是图像I中的中心点个数，除以N主要为了将所有focal loss归一化。

由于图像下采样时，GT的中心点会因数据是离散的而产生偏差，我们对每个中心点附加预测了个局部偏移所有类别c共享同个偏移预测，这个偏移用同个L1loss来训练：

只会在中心点位置做监督操作，其他位置无视。

第二，根据车辆热力图、车标热力图确定车辆中心点、车标中心点。

车辆中心点、车标中心点是根据车型热力图、车标热力图的峰值点确定的。具体的确定过程如下：

首先，网络测试阶段，中心点确定方法为：在预测热力图上，提取热力值最高的100个极值点作为目标的中心点。

其次，网络训练阶段，目标热力图生成方式为：

令是目标k(其类别为c_k)的bbox.其中心位置为使用中心点估计来得到所有的中心点。然后用第一点中的高斯核分散到目标热力图上。

此外，为每个目标k回归出目标外接戒框的长宽(为后续回归出目标位置作准备)。为了减少计算负担，为每个目标种类使用单一的尺寸预测在中心点位置添加了L1loss：

我们不将scale进行归一化，直接使用原始像素坐标。为了调节该loss的影响，将其乘了个系数，整个训练的目标loss函数为：

L_det＝L_k+λ_sizeL_size+λ_offL_off. (4)

其中，λ_size＝0.1，λ_off＝1，整个网络预测会在每个位置输出C+4个值(即中心点类别C,偏移量的x,y，尺寸的W和H)，所有输出共享一个全卷积的backbone。

S203.根据车辆、车标的中心点回归出车辆图像信息中的车辆、车标以及车牌。

具体的，根据车辆、车标中心点回归出车辆图像信息中的车辆、车标以及车牌是基于预设3D检测模型根据车辆中心点、车标中心点回归出车辆图像信息中的车辆、车标以及车牌。具体的实现过程包括：

第一，基于卷积层网络分支回归车辆中心点对应的深度值、车标中心点对应的深度值，深度估计器通过二维矩阵损失函数进行训练；

对于每个中心点，深度值depth是一个维度的，depth很难直接回归。本实施例中对输出做了变换，其中σ是sigmoid函数，在主干网络末尾添加了一个卷积层网络分支该分支使用了两个卷积层，然后做激活函数ReLU。我们用二维矩阵loss来训练深度估计器。具体的二维矩阵损失函数如下：

其中，D_k为不同类别(车辆、车标、车牌)中心点的卷积层网络分支，W和H为特征图像的宽和高，R为缩放比例。

第二，基于卷积层网络分支回归车辆中心点对应的3D维度值、车标中心点对应的3D维度值、车牌对应的3D维度值；

3D维度(长，宽，高)是三个标量值，可以从主干网络末尾直接拉出一个卷积层分支回归出车辆、车标、车牌的长宽高的绝对值，单位为米，用的是一个独立的卷积层网络分支:为了保持输出的几何结构，同时提升计算速度和精度，我们采用张量损失：

张量损失函数如下：

其中F为张量Γ的F范数。

回归出车辆图像信息中的车辆后，可以根据车辆图像信息中的车辆的位置坐标判断车辆的车型、车颜色。

S204.将识别出的车辆图像信息中的车辆、车标以及车牌对应的图像判断车标类型和车牌号。

识别出车辆图像信息中的车辆、车标以及车牌后，还可以将车辆、车标以及车牌对应的图像与预设的车辆、车标、车牌图像进行比对自动确定车辆的车标类型和车牌号。具体的，比对过程可以根据图像相似度算法确定。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述图1和图2所述方法的车辆信息检测的装置，如图3所示，该装置包括：

获取单元31，用于获取车辆图像信息；

识别单元32，用于基于改进的CenterNet网络对车辆图像信息进行目标检测，识别出车辆图像信息中的车辆的位置和车型、车颜色、与车辆对应的车标、与车辆对应的车牌位置，所述改进的CenterNet网络是将车辆图像信息中的每个目标作为一个中心点，并依照该中心点回归目标的属性。

从以上的描述中，可以看出，本申请实施例中车辆信息检测的装置能够本申请实施例中车辆信息检测的方法能够首先获取车辆图像信息；然后基于改进的CenterNet网络对车辆图像信息进行目标检测，识别出车辆图像信息中的车辆的位置和车型、车颜色、与车辆对应的车标、与车辆对应的车牌位置。由于改进的CenterNet网络是将车辆图像信息中的每个目标作为一个中心点，并依照该中心点回归目标的属性，该网络模型不需进行额外的删除同个目标的重复检测框的后处理，而且收敛的速度的速度更快，因此可以提高车辆信息检测的效率。

进一步的，如图4所示，识别单元32包括：

确定模块321，用于确定车辆图像信息中车辆、车标的中心点；

回归模块322，用于根据车辆、车标的中心点回归出车辆图像信息中的车辆、车标以及车牌位置坐标；

判断模块323，用于根据车辆图像信息中的车辆的位置坐标判断车辆的车型、车颜色。

进一步的，如图4所示，所述确定模块321用于：

进一步的，如图4所示，所述回归模块322，用于：

进一步的，如图4所示，所述装置还包括：

判断单元33，用于将识别出的车辆图像信息中的车辆、车标以及车牌对应的图像判断车标类型和车牌号。

具体的，本申请实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

根据本申请实施例，还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行图1或图2所述的车辆信息检测的方法。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种车辆信息检测的方法，其特征在于，所述方法包括：

获取车辆图像信息；

2.根据权利要求1所述的车辆信息检测的方法，其特征在于，基于改进的CenterNet网络对车辆图像信息进行目标检测，识别出车辆图像信息中的车辆的位置和车型、车颜色、与车辆对应的车标、与车辆对应的车牌位置包括：

确定车辆图像信息中车辆、车标的中心点；

3.根据权利要求2所述的车辆信息检测的方法，其特征在于，所述确定车辆图像信息中车辆、车标的中心点包括：

4.根据权利要求2所述的车辆信息检测的方法，其特征在于，所述根据车辆、车标的中心点回归出车辆图像信息中的车辆、车标以及车牌位置坐标包括：

5.根据权利要求4所述的车辆信息检测的方法，其特征在于，所述基于预设检测模型根据车辆中心点、车标中心点回归出车辆图像信息中的车辆、车标以及车牌位置坐标包括：

基于卷积层网络分支回归车辆中心点对应的3D维度值、车标中心点对应的3D维度值、车牌对应的3D维度值。

6.根据权利要求1-5中任一项所述的车辆信息检测的方法，其特征在于，所述方法还包括：

7.一种车辆信息检测的装置，其特征在于，所述装置包括：

获取单元，用于获取车辆图像信息；

8.根据权利要求7所述的车辆信息检测的装置，其特征在于，识别单元包括：

确定模块，用于确定车辆图像信息中车辆、车标的中心点；

9.根据权利要求8所述的车辆信息检测的装置，其特征在于，所述确定模块用于：

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至权利要求6中任一项所述的车辆信息检测的方法。