CN105574485A - 一种车辆信息识别方法及系统 - Google Patents

Abstract

本发明提供一种车辆信息识别方法及系统，方法包括：在全景图像的四个角点处设定角点矩形区域，对获取的目标全景图像进行扫描，得到多个初始矩形区域；根据预先设定的四个角点矩形区域，从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域；对至少一个候选矩形区域分别进行分类分析，得到车辆信息所对应区域的目标图像；对目标图像进行字符分割，以及对分割后的字符进行识别。根据本方案，筛选出的候选矩形区域的个数远远小于初始矩形区域的个数，只需将数量较少的候选矩形区域进行分类分析即可，省却了大量分类分析时间，从而可以提高车辆信息所对应区域的图像的确定时间，进而提高车辆信息识别的效率。

Description

一种车辆信息识别方法及系统

技术领域

本发明涉及识别技术领域，特别涉及一种车辆信息识别方法及系统。

背景技术

随着计算机识别技术的不断提高，车辆信息识别的应用也越来越广。其中，车辆信息识别技术可以实现停车场收费管理、交通流量控制指标测量、车辆定位、汽车防盗、高速公路超速自动化监管、闯红灯电子警察、公路收费站等功能。由此可见，车辆信息识别技术对于维护交通安全和城市治安，防止交通堵塞，实现交通自动化管理有着重要的意义。

目前，车辆信息识别过程可以包括：通过直方图特征以及分类器来定位车辆信息，对定位的车辆信息进行字符分割，对分割后的每个字符进行识别。在现有的车辆信息的定位过程中，采用直方图特征扫描全景图像，并将扫描得到的每一个矩形区域放入分类器中进行分类，以确定出车辆信息所对应的矩形区域。

然而，采用直方图特征扫描全景图像，得到的矩形区域的数量较多，逐一放入分类器中进行分类，需要耗费较长时间，从而影响车辆信息识别的效率。

发明内容

有鉴于此，本发明提供一种车辆信息识别方法及系统，以提高车辆信息识别的效率。

第一方面，本发明提供了一种车辆信息识别方法，预先在全景图像的四个角点处分别设定一个相应地角点矩形区域，还包括：

对获取的目标全景图像进行扫描，得到多个初始矩形区域；

根据预先设定的四个角点矩形区域，从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域；

对所述至少一个候选矩形区域分别进行分类分析，得到车辆信息所对应区域的目标图像；

对所述目标图像进行字符分割，以及对分割后的字符进行识别。

优选地，所述在全景图像的四个角点处分别设定一个相应地角点矩形区域，包括：

根据车辆信息所对应区域位于全景图像左上角点的多个全景图像，确定车辆信息所对应区域位于全景图像的左上角点时的第一角点矩形区域，并在全景图像的左上角点处设定中心点为(x₁,y₁)、长为w₁、宽为h₁的所述第一角点矩形区域；

根据车辆信息所对应区域位于全景图像右上角点的多个全景图像，确定车辆信息所对应区域位于全景图像的右上角点时的第二角点矩形区域，并在全景图像的右上角点处设定中心点为(x₂,y₂)、长为w₂、宽为h₂的所述第二角点矩形区域；

根据车辆信息所对应区域位于全景图像左下角点的多个全景图像，确定车辆信息所对应区域位于全景图像的左下角点时的第三角点矩形区域，并在全景图像的左下角点处设定中心点为(x₃,y₃)、长为w₃、宽为h₃的所述第三角点矩形区域；

根据车辆信息所对应区域位于全景图像右下角点的多个全景图像，确定车辆信息所对应区域位于全景图像的右下角点时的第四角点矩形区域，并在全景图像的右下角点处设定中心点为(x₄,y₄)、长为w₄、宽为h₄的所述第四角点矩形区域。

优选地，

进一步包括：预先设定第一阈值和第二阈值；

所述根据预先设定的四个角点矩形区域，从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域，包括：

针对每一个初始矩形区域，执行如下操作：

确定当前初始矩形区域的中心点、长和宽；

判断当前初始矩形区域的中心点是否与任意一个角点矩形区域的中心点重合；

若当前初始矩形区域的中心点与其中一个角点矩形区域中心点重合，则进一步判断当前初始矩形区域的长与该角点矩形区域的长之间差值的绝对值是否小于所述第一阈值，以及进一步判断当前初始矩形区域的宽与该角点矩形区域的宽之间差值的绝对值是否在小于所述第二阈值，若上述进一步判断的结果均为是时，则将当前初始矩形区域作为候选矩形区域；

若当前初始矩形区域的中心点与任意一个角点矩形区域的中心点均不重合，则进一步通过下式确定当前初始矩形区域是否为候选矩形区域：

$w_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*w_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

$h_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*h_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

其中，(x_n,y_n)为当前初始矩形区域的中心点，w_n、h_n分别为在当前初始矩形区域的中心点为(x_n,y_n)时的期望长、期望宽；

所述确定当前初始矩形区域是否为候选矩形区域，包括：判断当前初始矩形区域的长与期望长之间差值的绝对值是否小于所述第一阈值，以及判断当前初始矩形区域的宽与期望宽之间差值的绝对值是否小于所述第二阈值，在判断结果均为是时，将当前初始矩形区域作为候选矩形区域。

优选地，所述车辆信息包括车牌、车标、型号和排量信息中的一种或多种。

优选地，

在所述对所述目标图像进行字符分割之前，进一步包括：对所述目标图像进行校正；

在所述车辆信息包括车牌时，所述对所述目标图像进行校正，包括：获取所述目标图像中车牌区域的四个顶点，根据获取的车牌区域的四个顶点，将车牌区域校正为水平矩形区域，并截取该水平矩形区域的图像作为目标图像；

在所述车辆信息包括车标、型号或排量信息时，所述对所述目标图像进行校正，包括：获取所述目标图像中车牌区域的四个顶点，根据获取的车牌区域的四个顶点，将车牌区域校正为水平矩形区域，将该水平矩形区域的长按照第一设定值向第一设定方向进行调整，将该水平矩形区域的宽按照第二设定值向第二设定方向进行调整，以使调整后的水平矩形区域内包括车标、型号或排量信息。

第二方面，本发明还提供了一种车辆信息识别系统，包括：

设定单元，用于在全景图像的四个角点处分别设定一个相应地角点矩形区域；

扫描单元，用于对获取的目标全景图像进行扫描，得到多个初始矩形区域；

筛选单元，用于根据预先设定的四个角点矩形区域，从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域；

分类单元，用于对所述至少一个候选矩形区域分别进行分类分析，得到车辆信息所对应区域的目标图像；

分割单元，用于对所述目标图像进行字符分割；

识别单元，用于对分割后的字符进行识别。

优选地，所述设定单元，具体用于：

根据车辆信息所对应区域位于全景图像左上角点的多个全景图像，确定车辆信息所对应区域位于全景图像的左上角点时的第一角点矩形区域，并在全景图像的左上角点处设定中心点为(x₁,y₁)、长为w₁、宽为h₁的所述第一角点矩形区域；

根据车辆信息所对应区域位于全景图像右上角点的多个全景图像，确定车辆信息所对应区域位于全景图像的右上角点时的第二角点矩形区域，并在全景图像的右上角点处设定中心点为(x₂,y₂)、长为w₂、宽为h₂的所述第二角点矩形区域；

根据车辆信息所对应区域位于全景图像左下角点的多个全景图像，确定车辆信息所对应区域位于全景图像的左下角点时的第三角点矩形区域，并在全景图像的左下角点处设定中心点为(x₃,y₃)、长为w₃、宽为h₃的所述第三角点矩形区域；

根据车辆信息所对应区域位于全景图像右下角点的多个全景图像，确定车辆信息所对应区域位于全景图像的右下角点时的第四角点矩形区域，并在全景图像的右下角点处设定中心点为(x₄,y₄)、长为w₄、宽为h₄的所述第四角点矩形区域。

优选地，

所述设定单元，进一步用于设定第一阈值和第二阈值；

所述筛选单元，具体用于：针对每一个初始矩形区域，执行如下操作：

确定当前初始矩形区域的中心点、长和宽；

判断当前初始矩形区域的中心点是否与任意一个角点矩形区域的中心点重合；

若当前初始矩形区域的中心点与其中一个角点矩形区域中心点重合，则进一步判断当前初始矩形区域的长与该角点矩形区域的长之间差值的绝对值是否小于所述第一阈值，以及进一步判断当前初始矩形区域的宽与该角点矩形区域的宽之间差值的绝对值是否在小于所述第二阈值，若上述进一步判断的结果均为是时，则将当前初始矩形区域作为候选矩形区域；

若当前初始矩形区域的中心点与任意一个角点矩形区域的中心点均不重合，则进一步通过下式确定当前初始矩形区域是否为候选矩形区域：

$w_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*w_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

$h_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*h_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

其中，(x_n,y_n)为当前初始矩形区域的中心点，w_n、h_n分别为在当前初始矩形区域的中心点为(x_n,y_n)时的期望长、期望宽；

所述确定当前初始矩形区域是否为候选矩形区域，包括：判断当前初始矩形区域的长与期望长之间差值的绝对值是否小于所述第一阈值，以及判断当前初始矩形区域的宽与期望宽之间差值的绝对值是否小于所述第二阈值，在判断结果均为是时，将当前初始矩形区域作为候选矩形区域。

优选地，所述车辆信息包括车牌、车标、型号和排量信息中的一种或多种。

优选地，

进一步包括：校正单元，用于对所述目标图像进行校正；

在所述车辆信息包括车牌时，所述校正单元，具体用于获取所述目标图像中车牌区域的四个顶点，根据获取的车牌区域的四个顶点，将车牌区域校正为水平矩形区域，并截取该水平矩形区域的图像作为目标图像；

在所述车辆信息包括车标、型号或排量信息时，所述校正单元，具体用于获取所述目标图像中车牌区域的四个顶点，根据获取的车牌区域的四个顶点，将车牌区域校正为水平矩形区域，将该水平矩形区域的长按照第一设定值向第一设定方向进行调整，将该水平矩形区域的宽按照第二设定值向第二设定方向进行调整，以使调整后的水平矩形区域内包括车标、型号或排量信息。

本发明实施例提供了一种车辆信息识别方法及系统，通过预先在全景图像的四个角点处分别设定一个相应地角点矩形区域，利用设定的该四个角点矩形区域可以直接从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域，其中，筛选出的候选矩形区域的个数远远小于初始矩形区域的个数，因此，只需将数量较少的候选矩形区域进行分类分析即可，省却了大量分类分析时间，从而可以提高车辆信息所对应区域的图像的确定时间，进而提高车辆信息识别的效率。

附图说明

图1是本发明实施例提供的方法流程图；

图2是本发明实施例提供的另一方法流程图；

图3是本发明实施例提供的在全景图像设定四个角点矩形区域示意图；

图4是本发明实施例提供的车辆信息识别系统硬件架构图；

图5是本发明实施例提供的车辆信息识别系统的一种结构图；

图6是本发明实施例提供的车辆信息识别系统的另一种结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种车辆信息识别方法，该方法可以包括以下步骤：

步骤101：预先在全景图像的四个角点处分别设定一个相应地角点矩形区域。

步骤102：对获取的目标全景图像进行扫描，得到多个初始矩形区域。

步骤103：根据预先设定的四个角点矩形区域，从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域。

步骤104：对所述至少一个候选矩形区域分别进行分类分析，得到车辆信息所对应区域的目标图像。

步骤105：对所述目标图像进行字符分割，以及对分割后的字符进行识别。

根据本实施例提供的车辆信息识别方法，通过预先在全景图像的四个角点处分别设定一个相应地角点矩形区域，利用设定的该四个角点矩形区域可以直接从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域，其中，筛选出的候选矩形区域的个数远远小于初始矩形区域的个数，因此，只需将数量较少的候选矩形区域进行分类分析即可，省却了大量分类分析时间，从而可以提高车辆信息所对应区域的图像的确定时间，进而提高车辆信息识别的效率。

在本发明一个优选实施例中，为了提高确定车辆信息所对应区域的图像的效率，可以在全景图像的四个角点处分别设定一个相应地角点矩形区域，以将设定的该四个角点矩形区域作为车辆信息出现在全景图像的四个角点时的参考区域，其中，可以根据如下方式进行设定：

根据车辆信息所对应区域位于全景图像左上角点的多个全景图像，确定车辆信息所对应区域位于全景图像的左上角点时的第一角点矩形区域，并在全景图像的左上角点处设定中心点为(x₁,y₁)、长为w₁、宽为h₁的所述第一角点矩形区域；

根据车辆信息所对应区域位于全景图像右上角点的多个全景图像，确定车辆信息所对应区域位于全景图像的右上角点时的第二角点矩形区域，并在全景图像的右上角点处设定中心点为(x₂,y₂)、长为w₂、宽为h₂的所述第二角点矩形区域；

根据车辆信息所对应区域位于全景图像左下角点的多个全景图像，确定车辆信息所对应区域位于全景图像的左下角点时的第三角点矩形区域，并在全景图像的左下角点处设定中心点为(x₃,y₃)、长为w₃、宽为h₃的所述第三角点矩形区域；

根据车辆信息所对应区域位于全景图像右下角点的多个全景图像，确定车辆信息所对应区域位于全景图像的右下角点时的第四角点矩形区域，并在全景图像的右下角点处设定中心点为(x₄,y₄)、长为w₄、宽为h₄的所述第四角点矩形区域。

在本发明一个优选实施例中，由于在全景图像的四个角点处设定的四个角点矩形区域是作为参考用的参考区域，因此，其与真实的车辆信息所对应区域存在一定的误差，因此，可以通过设定第一阈值和第二阈值，以提高对初始矩形区域筛选的准确度，那么所述根据预先设定的四个角点矩形区域，从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域，包括：

针对每一个初始矩形区域，执行如下操作：

确定当前初始矩形区域的中心点、长和宽；

判断当前初始矩形区域的中心点是否与任意一个角点矩形区域的中心点重合；

若当前初始矩形区域的中心点与其中一个角点矩形区域中心点重合，则进一步判断当前初始矩形区域的长与该角点矩形区域的长之间差值的绝对值是否小于所述第一阈值，以及进一步判断当前初始矩形区域的宽与该角点矩形区域的宽之间差值的绝对值是否在小于所述第二阈值，若上述进一步判断的结果均为是时，则将当前初始矩形区域作为候选矩形区域；

若当前初始矩形区域的中心点与任意一个角点矩形区域的中心点均不重合，则进一步通过下式确定当前初始矩形区域是否为候选矩形区域：

$w_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*w_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

$h_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*h_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

其中，(x_n,y_n)为当前初始矩形区域的中心点，w_n、h_n分别为在当前初始矩形区域的中心点为(x_n,y_n)时的期望长、期望宽；

所述确定当前初始矩形区域是否为候选矩形区域，包括：判断当前初始矩形区域的长与期望长之间差值的绝对值是否小于所述第一阈值，以及判断当前初始矩形区域的宽与期望宽之间差值的绝对值是否小于所述第二阈值，在判断结果均为是时，将当前初始矩形区域作为候选矩形区域。

为使本发明的目的、技术方案和优点更加清楚，下面结合附图及具体实施例对本发明作进一步地详细描述。

如图2所示，本发明实施例提供了一种车辆信息识别方法，该方法可以包括以下步骤：

步骤201：在全景图像的四个角点处分别设定一个相应地角点矩形区域。

在本实施例中，为了提高所设定角点矩形区域的准确度，可以利用大量的车辆信息所对应区域分别位于全景图像各个角点的全景图像，来分别确定设定在各个角点上的角点矩形区域。其中，可以采用均值方式对该大量的全景图像进行分析，以确定设定在各个角点上的角点矩形区域的范围，即每个角点区域的中心点、长和宽。其中，在对车辆信息中的车牌进行定位时，该每一个矩形区域的长、宽比值可以按照实际情况中车牌的长、宽比值来设定。

如图3所示，为在全景图像的四个角点处分别设定的角点矩形区域，即位于全景图像左上角点的角点矩形区域1、位于全景图像右上角点的角点矩形区域2、位于全景图像左下角点的角点矩形区域3、位于全景图像右下角点的角点矩形区域4。

其中，角点矩形区域1的中心点为(x₁,y₁)、长为w₁、宽为h₁；角点矩形区域2的中心点为(x₂,y₂)、长为w₂、宽为h₂；角点矩形区域3的中心点为(x₃,y₃)、长为w₃、宽为h₃；角点矩形区域4的中心点为(x₄,y₄)、长为w₄、宽为h₄。

其中，对角点矩形区域的设置顺序本实施例不做具体限定。

本实施例中，该四个角点矩形区域只需在系统初始化设置一次即可，对于不同的应用场景，该四个角点矩形区域长、宽可以设定为不同值。

在本发明一个优选实施例中，为了保证对后续过程中获取的目标全景图像中的车辆信息的识别准确率，需要对该被设定四个角点矩形区域的全景图像设定固定尺寸，并在该固定尺寸的基础上设定四个角点矩形区域。

步骤202：获取目标全景图像。

在本实施例中，目标全景图像可以由设置在交通叉路口的摄像头进行拍照获取，当然也可以是通过其他方式来获取。

其中，获取的目标全景图像中包括有所需的车辆信息所对应的区域。

在本实施例中，所述车辆信息可以包括车牌、车标、型号和排量信息中的一种或多种。

步骤203：对获取的目标全景图像进行扫描，得到多个初始矩形区域。

在本发明一个优选实施例中，在对目标全景图像进行处理之前，先根据步骤201中设定的全景图像的固定尺寸对目标全景图像进行归一化处理，以使处理后的目标全景图像的尺寸与该固定尺寸相同，从而可以保证对目标全景图像的处理结果的准确度。

在本实施例中，对目标全景图像中定位出车辆信息所对应区域的图像方式较多，例如，可以采用彩色边缘术和区域生长相结合的方法来共同定位；可以利用神经网络技术对目标全景图像进行颜色分割，计算车辆信息底色的水平和垂直投影值，根据车辆信息所对应区域的宽高比进行定位；可以利用颜色空间距离和相似度进行车辆信息所对应区域底色的颜色分割，利用投影法根据车辆信息所对应区域的宽高比确定侯选区域，并对侯选车牌区域的灰度图像进行纹珲分割来进行定位等等。

在本发明一个优选实施例中，可以采用直方图特征的方式以及分类器来实现车辆信息所对应区域的定位。为了获取到目标全景图像中的车辆信息所对应的区域，可以采用直方图特征的方式对目标全景图像进行扫描，得到多个初始矩形区域，其中，每一个初始矩形区域中都包括有特征信息。

步骤204：根据预先设定的四个角点矩形区域，从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域。

为了减少分类器进行分类分析的矩形区域的个数，可以对得到的多个初始矩形区域进行筛选，以筛选出至少一个候选矩形区域。

在本发明一个优选实施例中，可以通过如下方式进行筛选：

针对每一个初始矩形区域，执行如下操作：

S1：确定当前初始矩形区域的中心点、长和宽；

S2：判断当前初始矩形区域的中心点是否与任意一个角点矩形区域的中心点重合；若当前初始矩形区域的中心点与其中一个角点矩形区域中心点重合，则执行S3；若当前初始矩形区域的中心点与任意一个角点矩形区域的中心点均不重合，则执行S4；S3：进一步判断当前初始矩形区域的长与该角点矩形区域的长之间差值的绝对值是否小于所述第一阈值，以及进一步判断当前初始矩形区域的宽与该角点矩形区域的宽之间差值的绝对值是否在小于所述第二阈值，若上述进一步判断的结果均为是时，则将当前初始矩形区域作为候选矩形区域，若上述进一步判断的结果中有至少一个结果为否时，则将当前初始矩形区域确定为非车辆信息所对应的区域；

其中，该第一阈值与第二阈值可以相等，也可以不相等，本实施例对此不作具体限定。例如，该第一阈值可以是被参考长度的20％，其中，该被参考长度是中心点重合的角点矩形区域的长；该第二阈值可以是被参考宽度的20％，其中，该被参考宽度是中心点重合的角点矩形区域的宽。

例如，该当前初始矩形区域的中心点与角点矩形区域1的中心点重合。

S4：进一步通过下式(1)确定当前初始矩形区域是否为候选矩形区域：

$w_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*w_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

式(1)

$h_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*h_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

其中，(x_n,y_n)为当前初始矩形区域的中心点，w_n、h_n分别为在当前初始矩形区域的中心点为(x_n,y_n)时的期望长、期望宽；

所述确定当前初始矩形区域是否为候选矩形区域，包括：判断当前初始矩形区域的长与期望长之间差值的绝对值是否小于所述第一阈值，以及判断当前初始矩形区域的宽与期望宽之间差值的绝对值是否小于所述第二阈值，在判断结果均为是时，将当前初始矩形区域作为候选矩形区域。

其中，此处的第一阈值可以是期望长的20％，此处的第二阈值可以是期望宽的20％。

其中，利用本步骤筛选出的候选矩形区域的个数远远小于初始矩形区域的个数，从而减少了后续过程中分类器分类分析的时间。

步骤205：对所述至少一个候选矩形区域分别进行分类分析，得到车辆信息所对应区域的目标图像。

在本实施例中，为了确定候选矩形区域中的特征是否为车辆信息的特征，可以利用对车辆信息的训练数据库对每一个候选矩形区域中的特征进行分类。

在本发明一个优选实施例中，可以采用Adaboost分类器对该至少一个候选矩形区域进行分类，其中，该Adaboost分类器中包括有大量的车辆信息训练数据和大量非车辆信息的训练数据，可以利用这些训练数据对每一个候选矩形区域进行分类，以确定候选矩形区域中是否具有车辆信息的特征。

其中，分类器可以输出至少一个候选矩形区域，至少一个候选矩形区域的集合即为车辆信息所对应区域，包括有该车辆信息所对应区域的图像为目标图像。

步骤206：对目标图像进行校正。

由于在得到的目标图像中可能包括一些非车辆信息的区域，以及目标图像中的车辆信息所对应区域不是矩形区域，因此，为了提高车辆信息识别的准确率，需要对目标图像进行校正。

其中，在车辆信息只包括车牌时，和车辆信息包括车标、型号和排量信息中的至少一种以及车牌信息时，对目标图像的校正方式不同，可以分为如下校正方式：

1、在所述车辆信息包括车牌时，所述对所述目标图像进行校正，包括：获取所述目标图像中车牌区域的四个顶点，根据获取的车牌区域的四个顶点，将车牌区域校正为水平矩形区域，并截取该水平矩形区域的图像作为目标图像。其中，该具体过程和实现方式可以包括：

首先，在车辆信息包括车牌时，需要获取到车牌区域的四个顶点，其中，可以采用卷积神经网络，对车牌区域四个特征点进行回归，得到车牌区域的四个顶点。

其次，根据车牌区域的四个顶点对车牌区域进行校正，将车牌区域校正为水平矩形区域，其中，可以采用仿射变换技术对该车牌区域进行校正；

最后，从校正后的图像中，根据四个顶点校正后的位置，截取出一个矩形区域，这个矩形区域就是校正后的车牌区域。

2、在所述车辆信息包括车标、型号或排量信息时，所述对所述目标图像进行校正，包括：获取所述目标图像中车牌区域的四个顶点，根据获取的车牌区域的四个顶点，将车牌区域校正为水平矩形区域，将该水平矩形区域的长按照第一设定值向第一设定方向进行调整，将该水平矩形区域的宽按照第二设定值向第二设定方向进行调整，以使调整后的水平矩形区域内包括车标、型号或排量信息。

其中，在车辆信息包括车标、型号或排量信息时，也需要利用车牌区域的校正方式对包括有车辆信息的目标图像进行校正，在按照上述步骤中对车牌区域进行校正之后，得到的图像中，可以根据车标、型号或排量信息分别与车牌区域的位置关系，对车辆信息的区域进行截取。例如，车辆信息包括车标，那么需要对车牌区域进行校正后得到的图像向上扩展车牌的5倍宽度，分别向左向右扩展车牌的3倍长度，并对得到的区域进行截取，得到包括有车标区域的图像。

步骤207：对校正后的目标图像进行字符分割。

本实施例中，该字符分割方式可以采用目前任何一种可以实现字符分割的方式进行字符分割。例如，利用神经网络回归出每个字符的位置，以及利用深度学习的方式，对字符进行分割。

步骤208：对分割后的字符进行识别。

本实施例中，该字符识别方式可以采用目前任何一种可以实现字符识别的方式进行字符识别。例如，将车辆信息所对应区域进行大小归一化，送入卷积神经网络进行字符识别。

如图4、图5所示，本发明实施例提供了一种车辆信息识别系统。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图4所示，为本发明实施例的车辆信息识别系统所在设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图5所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的车辆信息识别系统包括：

设定单元501，用于在全景图像的四个角点处分别设定一个相应地角点矩形区域；

扫描单元502，用于对获取的目标全景图像进行扫描，得到多个初始矩形区域；

筛选单元503，用于根据预先设定的四个角点矩形区域，从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域；

分类单元504，用于对所述至少一个候选矩形区域分别进行分类分析，得到车辆信息所对应区域的目标图像；

分割单元505，用于对所述目标图像进行字符分割；

识别单元506，用于对分割后的字符进行识别。

进一步地，所述设定单元501，具体用于：

根据车辆信息所对应区域位于全景图像左上角点的多个全景图像，确定车辆信息所对应区域位于全景图像的左上角点时的第一角点矩形区域，并在全景图像的左上角点处设定中心点为(x₁,y₁)、长为w₁、宽为h₁的所述第一角点矩形区域；

根据车辆信息所对应区域位于全景图像右上角点的多个全景图像，确定车辆信息所对应区域位于全景图像的右上角点时的第二角点矩形区域，并在全景图像的右上角点处设定中心点为(x₂,y₂)、长为w₂、宽为h₂的所述第二角点矩形区域；

根据车辆信息所对应区域位于全景图像左下角点的多个全景图像，确定车辆信息所对应区域位于全景图像的左下角点时的第三角点矩形区域，并在全景图像的左下角点处设定中心点为(x₃,y₃)、长为w₃、宽为h₃的所述第三角点矩形区域；

根据车辆信息所对应区域位于全景图像右下角点的多个全景图像，确定车辆信息所对应区域位于全景图像的右下角点时的第四角点矩形区域，并在全景图像的右下角点处设定中心点为(x₄,y₄)、长为w₄、宽为h₄的所述第四角点矩形区域。

进一步地，

所述设定单元501，进一步用于设定第一阈值和第二阈值；

所述筛选单元503，具体用于：针对每一个初始矩形区域，执行如下操作：

确定当前初始矩形区域的中心点、长和宽；

判断当前初始矩形区域的中心点是否与任意一个角点矩形区域的中心点重合；

若当前初始矩形区域的中心点与其中一个角点矩形区域中心点重合，则进一步判断当前初始矩形区域的长与该角点矩形区域的长之间差值的绝对值是否小于所述第一阈值，以及进一步判断当前初始矩形区域的宽与该角点矩形区域的宽之间差值的绝对值是否在小于所述第二阈值，若上述进一步判断的结果均为是时，则将当前初始矩形区域作为候选矩形区域；

若当前初始矩形区域的中心点与任意一个角点矩形区域的中心点均不重合，则进一步通过下式确定当前初始矩形区域是否为候选矩形区域：

$w_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*w_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

$h_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*h_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

其中，(x_n,y_n)为当前初始矩形区域的中心点，w_n、h_n分别为在当前初始矩形区域的中心点为(x_n,y_n)时的期望长、期望宽；

所述确定当前初始矩形区域是否为候选矩形区域，包括：判断当前初始矩形区域的长与期望长之间差值的绝对值是否小于所述第一阈值，以及判断当前初始矩形区域的宽与期望宽之间差值的绝对值是否小于所述第二阈值，在判断结果均为是时，将当前初始矩形区域作为候选矩形区域。

进一步地，所述车辆信息包括车牌、车标、型号和排量信息中的一种或多种。

在本发明一个优选实施例中，请参考图6，车辆信息识别系统可以进一步包括：校正单元601，用于对所述目标图像进行校正；

在所述车辆信息包括车牌时，所述校正单元601，具体用于获取所述目标图像中车牌区域的四个顶点，根据获取的车牌区域的四个顶点，将车牌区域校正为水平矩形区域，并截取该水平矩形区域的图像作为目标图像；

在所述车辆信息包括车标、型号或排量信息时，所述校正单元601，具体用于获取所述目标图像中车牌区域的四个顶点，根据获取的车牌区域的四个顶点，将车牌区域校正为水平矩形区域，将该水平矩形区域的长按照第一设定值向第一设定方向进行调整，将该水平矩形区域的宽按照第二设定值向第二设定方向进行调整，以使调整后的水平矩形区域内包括车标、型号或排量信息。

综上，本发明实施例至少可以实现如下有益效果：

1、本实施例中，通过预先在全景图像的四个角点处分别设定一个相应地角点矩形区域，利用设定的该四个角点矩形区域可以直接从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域，其中，筛选出的候选矩形区域的个数远远小于初始矩形区域的个数，因此，只需将数量较少的候选矩形区域进行分类分析即可，省却了大量分类分析时间，从而可以提高车辆信息所对应区域的图像的确定时间，进而提高车辆信息识别的效率。

2、在本实施例中，通过在全景图像的四个角点处分别设定一个相应地角点矩形区域，以将设定的该四个角点矩形区域作为车辆信息出现在全景图像的四个角点时的参考区域进行候选矩形区域的筛选，从而可以提高确定车辆信息所对应区域的图像的效率。

3、在本实施例中，由于在全景图像的四个角点处设定的四个角点矩形区域是作为参考用的参考区域，因此，其与真实的车辆信息所对应区域存在一定的误差，因此，可以通过设定第一阈值和第二阈值，以提高对初始矩形区域筛选的准确度，那么所述根据预先设定的四个角点矩形区域，从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域。

上述设备内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种车辆信息识别方法，其特征在于，预先在全景图像的四个角点处分别设定一个相应地角点矩形区域，还包括：

对获取的目标全景图像进行扫描，得到多个初始矩形区域；

根据预先设定的四个角点矩形区域，从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域；

对所述至少一个候选矩形区域分别进行分类分析，得到车辆信息所对应区域的目标图像；

对所述目标图像进行字符分割，以及对分割后的字符进行识别。

2.根据权利要求1所述的方法，其特征在于，所述在全景图像的四个角点处分别设定一个相应地角点矩形区域，包括：

根据车辆信息所对应区域位于全景图像左上角点的多个全景图像，确定车辆信息所对应区域位于全景图像的左上角点时的第一角点矩形区域，并在全景图像的左上角点处设定中心点为(x₁,y₁)、长为w₁、宽为h₁的所述第一角点矩形区域；

根据车辆信息所对应区域位于全景图像右上角点的多个全景图像，确定车辆信息所对应区域位于全景图像的右上角点时的第二角点矩形区域，并在全景图像的右上角点处设定中心点为(x₂,y₂)、长为w₂、宽为h₂的所述第二角点矩形区域；

根据车辆信息所对应区域位于全景图像左下角点的多个全景图像，确定车辆信息所对应区域位于全景图像的左下角点时的第三角点矩形区域，并在全景图像的左下角点处设定中心点为(x₃,y₃)、长为w₃、宽为h₃的所述第三角点矩形区域；

根据车辆信息所对应区域位于全景图像右下角点的多个全景图像，确定车辆信息所对应区域位于全景图像的右下角点时的第四角点矩形区域，并在全景图像的右下角点处设定中心点为(x₄,y₄)、长为w₄、宽为h₄的所述第四角点矩形区域。

3.根据权利要求2所述的方法，其特征在于，

进一步包括：预先设定第一阈值和第二阈值；

所述根据预先设定的四个角点矩形区域，从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域，包括：

针对每一个初始矩形区域，执行如下操作：

确定当前初始矩形区域的中心点、长和宽；

判断当前初始矩形区域的中心点是否与任意一个角点矩形区域的中心点重合；

若当前初始矩形区域的中心点与其中一个角点矩形区域中心点重合，则进一步判断当前初始矩形区域的长与该角点矩形区域的长之间差值的绝对值是否小于所述第一阈值，以及进一步判断当前初始矩形区域的宽与该角点矩形区域的宽之间差值的绝对值是否在小于所述第二阈值，若上述进一步判断的结果均为是时，则将当前初始矩形区域作为候选矩形区域；

若当前初始矩形区域的中心点与任意一个角点矩形区域的中心点均不重合，则进一步通过下式确定当前初始矩形区域是否为候选矩形区域：

$w_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*w_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

$h_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*h_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

其中，(x_n,y_n)为当前初始矩形区域的中心点，w_n、h_n分别为在当前初始矩形区域的中心点为(x_n,y_n)时的期望长、期望宽；

所述确定当前初始矩形区域是否为候选矩形区域，包括：判断当前初始矩形区域的长与期望长之间差值的绝对值是否小于所述第一阈值，以及判断当前初始矩形区域的宽与期望宽之间差值的绝对值是否小于所述第二阈值，在判断结果均为是时，将当前初始矩形区域作为候选矩形区域。

4.根据权利要求1-3中任一所述的方法，其特征在于，所述车辆信息包括车牌、车标、型号和排量信息中的一种或多种。

5.根据权利要求4所述的方法，其特征在于，

在所述对所述目标图像进行字符分割之前，进一步包括：对所述目标图像进行校正；

在所述车辆信息包括车牌时，所述对所述目标图像进行校正，包括：获取所述目标图像中车牌区域的四个顶点，根据获取的车牌区域的四个顶点，将车牌区域校正为水平矩形区域，并截取该水平矩形区域的图像作为目标图像；

在所述车辆信息包括车标、型号或排量信息时，所述对所述目标图像进行校正，包括：获取所述目标图像中车牌区域的四个顶点，根据获取的车牌区域的四个顶点，将车牌区域校正为水平矩形区域，将该水平矩形区域的长按照第一设定值向第一设定方向进行调整，将该水平矩形区域的宽按照第二设定值向第二设定方向进行调整，以使调整后的水平矩形区域内包括车标、型号或排量信息。

6.一种车辆信息识别系统，其特征在于，包括：

设定单元，用于在全景图像的四个角点处分别设定一个相应地角点矩形区域；

扫描单元，用于对获取的目标全景图像进行扫描，得到多个初始矩形区域；

筛选单元，用于根据预先设定的四个角点矩形区域，从扫描得到的多个初始矩形区域中筛选出至少一个候选矩形区域；

分类单元，用于对所述至少一个候选矩形区域分别进行分类分析，得到车辆信息所对应区域的目标图像；

分割单元，用于对所述目标图像进行字符分割；

识别单元，用于对分割后的字符进行识别。

7.根据权利要求6所述的车辆信息识别系统，其特征在于，所述设定单元，具体用于：

根据车辆信息所对应区域位于全景图像左上角点的多个全景图像，确定车辆信息所对应区域位于全景图像的左上角点时的第一角点矩形区域，并在全景图像的左上角点处设定中心点为(x₁,y₁)、长为w₁、宽为h₁的所述第一角点矩形区域；

根据车辆信息所对应区域位于全景图像右上角点的多个全景图像，确定车辆信息所对应区域位于全景图像的右上角点时的第二角点矩形区域，并在全景图像的右上角点处设定中心点为(x₂,y₂)、长为w₂、宽为h₂的所述第二角点矩形区域；

根据车辆信息所对应区域位于全景图像左下角点的多个全景图像，确定车辆信息所对应区域位于全景图像的左下角点时的第三角点矩形区域，并在全景图像的左下角点处设定中心点为(x₃,y₃)、长为w₃、宽为h₃的所述第三角点矩形区域；

根据车辆信息所对应区域位于全景图像右下角点的多个全景图像，确定车辆信息所对应区域位于全景图像的右下角点时的第四角点矩形区域，并在全景图像的右下角点处设定中心点为(x₄,y₄)、长为w₄、宽为h₄的所述第四角点矩形区域。

8.根据权利要求7所述的车辆信息识别系统，其特征在于，

所述设定单元，进一步用于设定第一阈值和第二阈值；

所述筛选单元，具体用于：针对每一个初始矩形区域，执行如下操作：

确定当前初始矩形区域的中心点、长和宽；

判断当前初始矩形区域的中心点是否与任意一个角点矩形区域的中心点重合；

若当前初始矩形区域的中心点与其中一个角点矩形区域中心点重合，则进一步判断当前初始矩形区域的长与该角点矩形区域的长之间差值的绝对值是否小于所述第一阈值，以及进一步判断当前初始矩形区域的宽与该角点矩形区域的宽之间差值的绝对值是否在小于所述第二阈值，若上述进一步判断的结果均为是时，则将当前初始矩形区域作为候选矩形区域；

若当前初始矩形区域的中心点与任意一个角点矩形区域的中心点均不重合，则进一步通过下式确定当前初始矩形区域是否为候选矩形区域：

$w_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*w_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

$h_n={\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}*h_i/{\mathrm{\Σ}}_{i=1}^4\sqrt{{(x_n-x_i)}^2+{(y_n-y_i)}^2}$

其中，(x_n,y_n)为当前初始矩形区域的中心点，w_n、h_n分别为在当前初始矩形区域的中心点为(x_n,y_n)时的期望长、期望宽；

所述确定当前初始矩形区域是否为候选矩形区域，包括：判断当前初始矩形区域的长与期望长之间差值的绝对值是否小于所述第一阈值，以及判断当前初始矩形区域的宽与期望宽之间差值的绝对值是否小于所述第二阈值，在判断结果均为是时，将当前初始矩形区域作为候选矩形区域。

9.根据权利要求6-8中任一所述的车辆信息识别系统，其特征在于，所述车辆信息包括车牌、车标、型号和排量信息中的一种或多种。

10.根据权利要求9所述的车辆信息识别系统，其特征在于，

进一步包括：校正单元，用于对所述目标图像进行校正；

在所述车辆信息包括车牌时，所述校正单元，具体用于获取所述目标图像中车牌区域的四个顶点，根据获取的车牌区域的四个顶点，将车牌区域校正为水平矩形区域，并截取该水平矩形区域的图像作为目标图像；

在所述车辆信息包括车标、型号或排量信息时，所述校正单元，具体用于获取所述目标图像中车牌区域的四个顶点，根据获取的车牌区域的四个顶点，将车牌区域校正为水平矩形区域，将该水平矩形区域的长按照第一设定值向第一设定方向进行调整，将该水平矩形区域的宽按照第二设定值向第二设定方向进行调整，以使调整后的水平矩形区域内包括车标、型号或排量信息。