CN111626295A - 车牌检测模型的训练方法和装置 - Google Patents

Abstract

说明书披露一种车牌检测模型的训练方法和装置，方法包括：利用以下步骤进行迭代训练，直至满足所述车牌检测模型的模型训练要求：将样本图像输入所述车牌检测模型，得到所述样本图像的车牌预测框，所述样本图像标注有车牌标注框；根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失；根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失；根据所述第一旋转损失和所述第二旋转损失确定综合旋转损失；根据所述综合旋转损失更新所述车牌检测模型的模型参数。

Description

车牌检测模型的训练方法和装置

技术领域

本说明书涉及人工智能领域，尤其涉及一种车牌检测模型的训练方法和装置。

背景技术

车牌是车辆的重要标识，在公路、停车场等的监控系统中，都可以借助人工智能来对车牌进行识别，以根据车牌号确定车辆和车主信息。车牌识别前往往需要进行车牌检测，车牌检测是从复杂的图像中检测到车牌所在的位置。基于检测到的车牌位置进而进行车牌识别。车牌检测是车牌识别的基础，如何提高车牌检测的准确率成了亟待解决的问题。

发明内容

有鉴于此，本说明书提供一种车牌检测模型的训练方法和装置。

具体地，本说明书是通过如下技术方案实现的：

根据本申请的第一方面，提供一种车牌检测模型的训练方法，所述方法包括：

利用以下步骤进行迭代训练，直至满足所述车牌检测模型的模型训练要求：

将样本图像输入所述车牌检测模型，得到所述样本图像的车牌预测框，所述样本图像标注有车牌标注框；

根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失；

根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失；

根据所述第一旋转损失和所述第二旋转损失确定综合旋转损失；

根据所述综合旋转损失更新所述车牌检测模型的模型参数。

根据本申请的第二方面，提供一种车牌检测模型的训练装置，所述装置包括：

利用以下单元进行迭代训练，直至满足所述车牌检测模型的模型训练要求：

样本输入单元，用于将样本图像输入所述车牌检测模型，得到所述样本图像的车牌预测框，所述样本图像标注有车牌标注框；

第一确定单元，用于根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失；

第二确定单元，用于根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失；

综合确定单元，用于根据所述第一旋转损失和所述第二旋转损失确定综合旋转损失；

第一参数更新单元，用于根据所述综合旋转损失更新所述车牌检测模型的模型参数。

根据本申请的第三方面，提供一种车牌检测模型的训练装置，所述装置包括：

处理器；

用于存储机器可执行指令的存储器；

其中，通过读取并执行所述存储器存储的与车牌检测模型的训练逻辑对应的机器可执行指令，所述处理器被促使：

利用以下步骤进行迭代训练，直至满足所述车牌检测模型的模型训练要求：

将样本图像输入所述车牌检测模型，得到所述样本图像的车牌预测框，所述样本图像标注有车牌标注框；

根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失；

根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失；

根据所述第一旋转损失和所述第二旋转损失确定综合旋转损失；

根据所述综合旋转损失更新所述车牌检测模型的模型参数。

本说明书一个实施例实现了，在对车牌检测模型进行训练时，针对每张样本图像，根据车牌预测框与车牌标注框的在角度维度上的第一旋转损失和在面积维度上的第二旋转损失，确定综合旋转损失，基于综合损失对车牌检测模型的模型参数进行更新。相较于单独对车牌预测框中的各个顶点的坐标分别与车牌标注框对应坐标进行比较的方法，本方法通过第一旋转损失和第二旋转损失关联车牌框的各顶点，即使标注信息中存在错误的坐标值，也不会将该误差放大，继而使得模型参数不会因为偶然的误差数据而发生剧烈震荡，可以提高车牌检测模型的稳定性。

附图说明

图1是本说明书一示例性实施例示出的一种获取样本图像的方法的流程示意图。

图2是本说明书一示例性实施例示出的一种车牌检测模型的训练方法的流程示意图。

图3是本说明书一示例性实施例示出的一种确定第一旋转损失的方法的流程示意图。

图4是本说明书一示例性实施例示出的一种样本图像的示意图。

图5是本说明书一示例性实施例示出的一种车牌检测模型的结构示意图。

图6是本说明书一示例性实施例示出的一种样本图像中标注信息的示意图。

图7是本说明书一示例性实施例示出的另一种车牌检测模型的结构示意图。

图8是本说明书一示例性实施例示出的一种用于建立车牌检测模型的训练装置的一结构示意图。

图9是本说明书一示例性实施例示出的一种车牌检测模型的训练装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

车牌检测是指检测指定图像中车辆的车牌框，例如可以输出在指定坐标系下的车牌框顶点的坐标；或者直接在指定图像中绘出车牌框。常见的，公路或停车场的监控系统中可以应用车牌检测来确定监控区域中车辆的车牌框，后续可以根据该检测到的车牌框来识别具体的车牌号码。

随着人工智能技术的发展，基于深度学习技术来进行车牌检测的方法被广泛应用。在该方法中，首先需要一个预设的车牌检测模型，然后使用携带标签的样本图像来训练模型，以更新该车牌检测模型的模型参数，多次迭代训练，直到满足预设的模型训练要求。

其中，模型训练要求可以根据实际情况进行设定，例如要求迭代训练的次数满足预设的迭代次数；或者要求设定的损失函数收敛等，这里只是示例性说明，并不进行限定。

在模型训练时，如何定义模型的损失函数是决定模型优劣的一个重要因素。在相关技术中，对于任意角度的车牌检测，通常可以基于车牌框四个顶点在指定坐标系下的8个坐标值（每个顶点包括横坐标值和纵坐标值）来确定模型损失，例如，针对每个坐标，计算预测出的坐标值与样本图像中实际车牌框中对应坐标值的偏移量，继而根据各个坐标值的偏移量来确定损失。然而，这种对每个坐标值分别进行处理的方法中，标注信息中如果存在错误的坐标值，在计算损失时该误差会被放大，继而很容易引起模型参数的剧变，导致训练得到的模型稳定性较差。

有鉴于此，本说明书提出了一种车牌检测模型的训练方法，本方法可以应用于监控设备、个人PC或服务器等电子设备中，训练得到的车牌检测模型具有更好的稳定性。

本申请实施例中，预先获取用于训练车牌检测模型的样本图像，该过程可以包含在车牌检测模型中，也可以由电子设备的其他软件处理模块来执行，这里不进行限定。

预先获取样本图像有多种实现方式，下面通过图1介绍一种可行的方法来获取并预处理图像，可以包括以下步骤：

步骤S101，获取自然场景下的图像。

举例来说，可以从公路、停车场等的监控相机中获取图像，这些图像中通常都包含有车牌。或者，也可以从网络上获取现有的图像数据集等。

步骤S102，接收用户对图像的标注。

一般地，可以通过可视化界面向用户展示获取到的图像，并接收用户在图像上标注的车牌框，为便于区分，这里将用户在图像上标注的车牌框称为车牌标注框。为便于后续处理，电子设备也可以保存该车牌标注框各顶点在指定坐标系下的坐标。

在本实施例中，如果图像中不包含车牌，可以将该图像直接丢弃，或者也可以为该图像标注用于指示图像中不包含车牌的标签。

当然，在其他例子中，也可以直接获取标注有车牌标注框的图像，本说明书对此不作特殊限制。

步骤S103，对标注后的图像进行随机缩放。

可以理解的是，在真实场景下拍摄到图像中，由于车辆与相机的距离不固定，车牌的大小往往也有较大区别。为了更好地模拟真实环境，本实施例对包含有车牌的图像进行随机缩放，例如可以将图像缩放至原图的一半大小。

步骤S104，对随机缩放后的图像按照预设分辨率进行裁剪。

本实施例中，使用相同分辨率的图像来对车牌检测模型进行训练。针对随机缩放后的每张图像，按照预设的相同分辨率进行随机裁剪，得到分辨率相同的至少一张图像。

举例来说，假设预设的分辨率为256*256，针对各种分辨率的图像，从每张图像中裁剪出至少一张分辨率为256*256的图像。例如可以从1920*1080的图像中裁剪得到多张256*256的图像。

步骤S105，根据裁剪得到的图像确定样本图像。

裁剪得到的图像中，部分图像包含车牌，部分图像不包含车牌，本实施例可以根据图像中是否包含车牌标注框将裁剪后的图像分成两组，第一组为包含车牌的图像，第二组为不包含车牌的图像。

本实施例中，可以将上述第一组包含车牌的图像作为正样本图像。或者，可以先对包含车牌的图像进行数据增强，例如添加高斯模糊、调整图像亮度、翻转图像、对图像进行cutout等处理，以得到更多的图像，然后将数据增强得到的图像作为正样本图像。

在另一个例子中，还可以从上述第二组不包含车牌的图像中筛选一定数量的图像作为负样本图像，然后将负样本图像与前一个实施例中得到的正样本图像混合得到样本图像。筛选负样本图像时，可以按照预设的比例来选取，例如，可以按照正样本图像与负样本图像1:1的方法来选取负样本图像。

步骤S106，对样本图像进行归一化处理。

为了使模型训练的速度更快，本实施例还对步骤S105中得到的样本图像进行归一化处理，将图像中每个像素点的像素值映射到固定大小范围，例如（-1,1）。

例如，可以采用公式（1）对每个像素点的像素值进行处理。

其中，x为归一化处理前样本图像中各像素点的像素值，

为归一化处理后的样本图像 中各像素点的像素值。

至此，完成图1的流程，得到预处理后的样本图像。

本说明书方法可以使用按照图1所示流程得到的样本图像来进行车牌检测模型的训练。当然，这里只是示例性说明，还可以使用其他方法来确定样本图像。

下面对训练车牌模型的方法进行具体描述。

参见图2，图2是本说明书一示例性实施例示出的一种车牌检测模型的训练方法的流程示意图。电子设备可利用以下步骤进行迭代训练，直至满足所述车牌检测模型的模型训练要求：

步骤S201：将样本图像输入所述车牌检测模型，得到所述样本图像的车牌预测框，所述样本图像标注有车牌标注框。

本实施例中，车牌检测模型中的初始模型参数可以是随机数值，也可以预先指定。

本实施例中，样本图像可以包括至少一个正样本图像，用户预先为该正样本图像标注了图像中的车牌框。为方便区分，这里将用户标注的车牌框称为车牌标注框。在实现时，车牌标注框可以以各顶点在指定坐标系中的坐标来表示。其中，指定坐标系可以是以图像的左上角为原点，从原点起水平向右的方向为x轴，从原点起垂直向下的方向为y轴。或者也可以以其他方式建立坐标系，这里不进行限定。

将正样本图像输入车牌检测模型，车牌检测模型可以输出从该正样本图像中检测到的车牌框，为便于区分，这里将车牌检测模型检测到的车牌框称为车牌预测框。在实现时，车牌检测模型可以输出正样本图像中的车牌预测框在指定坐标系下的各顶点的坐标，包括车牌预测框左上、左下、右上、右下四个顶点的8个坐标值（每个顶点包括横坐标值和纵坐标值），一般地，车牌预测框所参考的坐标系通常与车牌标注框相同。

可选地，样本图像中还可以包括至少一个负样本图像，用户可以预先为该负样本图像标注用于指示该样本图像中不包含车牌的标签。

常见的，车牌检测模型通常还输出分类预测结果，该分类预测结果可以指示输入图像中是否包含车牌，在确定包含车牌的情况下，车牌检测模型输出车牌预测框。对于正样本图像，车牌检测模型可以确定图像中包含车牌，并输出车牌预测框；对于负样本图像，车牌检测模型通常可以确定图形中不包含车牌，且不会输出车牌预测框。

因而，在训练模型时，对于正样本图像，可以基于其输出的分类预测结果和车牌预测框来更新模型参数，本说明书将在步骤S202-步骤S205中介绍具体方法；对于负样本图像，可以基于其输出的分类预测结果来更新模型参数，本说明书将在图5所示实施例中介绍，在此暂不赘述。

为方便描述，若不做特殊说明，步骤S202-步骤S205所述的样本图像均指正样本图像。

步骤S202：根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失。

本实施例中，可以按照预设的方法来确定基准点。在一个例子中，可以将车牌标注框所参考的坐标系的原点作为基准点。在另一个例子中，也可以从车牌预测框对角线所在的直线、或从车牌标注框对角线所在的直线上确定一个基准点。这里不进行限定。

本实施例中，可以采用如图3所示的流程来确定第一旋转损失。如图3所示，包括以下步骤：

步骤S2021：确定基准点与所述车牌预测框的相对顶点之间的第一角度。

可以理解的是，在任意角度下拍摄的车牌框都为四边形。例如正面拍摄的车牌框一般为矩形，斜向拍摄的车牌框可以为平行四边形、梯形或其他的四边形。四边形包括四个顶点，这里将同一条边连接的两个顶点称为相邻顶点，处于对角位置的两个顶点称为相对顶点。

本实施例中，车牌预测框也是四边形，该车牌预测框包括两对相对顶点，将四个顶点分别记为左上顶点、左下顶点、右上顶点和右下顶点，其中，将左上顶点与右下顶点记为第一对相对顶点，左下顶点与右上顶点将记为第二对相对顶点。

本实施例中，第一角度可以包括针对每一对相对顶点分别确定的角度。例如对于第一对相对顶点，基于基准点与左上顶点确定线段1，以及基准点与右下顶点确定线段2，然后可以将线段1与线段2之间的夹角角度作为第一角度。同样的，对于第二对相对顶点，基于基准点与左下顶点确定线段3，以及基准点与右上顶点确定线段4，然后可以将线段3与线段4之间的夹角角度也作为第一角度。

在实现时，可以建立坐标系，根据各顶点在该坐标系下的坐标来确定第一角度。

以图4为例，假设以图像的左上角为原点O，从原点起水平向右的方向为x轴，从原点其垂直向下的方向为y轴建立坐标系，为方便描述，这里将基准点确定为该坐标系的原点。

假设图4中车牌预测框为四边形ABCD，左上顶点A的坐标为

、左下顶点B的坐标为

、右上顶点D的坐标为

、右下顶点C的坐标为

则计算车牌预测框第一角度的方法包括：

首先，对车牌预测框中各顶点的坐标进行归一化，使得各顶点坐标的数值不超过固定范围，可以通过如下公式（2）来实现：

其中，

表示使用L2范式来对各顶点坐标进行归一化。

表 示归一化处理后的左上顶点A，这里仍使用

来表示该顶点坐标，同 样地，

表示归一化处理后的左下顶点B，坐标为

表示归一化处理后的右下 顶点C，坐标为

表示归一化处 理后的右上顶点D，坐标为

。

然后，采用如下公式（3）来计算内积：

其中，

表示对两个坐标进行点乘来计算内积，

表示左上顶点A坐标与 右下顶点C坐标点乘得到的内积，

表示左下顶点B坐标与右上顶点D坐标点乘 得到的内积。

接着，根据线段内积和原点至各顶点的线段长度来计算第一角度，可以采用如下公式（4）来实现：

其中，

表示线段OA长度，

表示线段OC长度；

表示线段OB长度，

表示线段OD长度，arccos为反余 弦函数，根据余弦值确定角度。

至此，确定了图4中两对相对顶点的第一角度，包括∠AOC和∠BOD。

步骤S2022：确定所述基准点与所述车牌标注框的相对顶点之间的第二角度。

与车牌预测框相同，车牌标注框中也包括两对相对顶点，四个顶点分别记为左上 顶点

、左下顶点

、右上顶点

和右下顶点

，其中，将左上顶点

与右下顶点

记为第 一对相对顶点，左下顶点

与右上顶点

将记为第二对相对顶点。

本实施例中，可以采用与步骤S2021相似的方法，针对每一对相对顶点，分别计算 基准点至两个顶点的线段的夹角，得到第二角度，可以记为

、

。其中，

为根据左上顶点和右下顶点确定的角度，

为根据左下顶点和右上顶点确 定的角度。

第二角度的计算方法可参见步骤S2021，这里不再赘述。

当然，这里将图像的左上角作为基准点只是示例性说明，也可以从车牌预测框对角线所在的直线、或从车牌标注框对角线所在的直线上确定一个基准点，在确定基准点后，可以将该基准点确定为原点，然后将车牌预测框和车牌标注框的各顶点表示为以该基准点建立的坐标系上的坐标，继而采用类似的方法计算第一角度和第二角度，这里不再赘述。若将车牌预测框或车牌标注框对角线所在的直线上的点作为基准点，则第一角度或第二角度中至少存在一个数值为0的角度，在后续处理时，能简化计算，提高模型训练速度。

步骤S2023：根据所述第一角度和所述第二角度确定所述第一旋转损失。

其中，第一角度包括根据车牌预测框中左上顶点和右下顶点确定的角度∠AOC、以 及根据车牌预测框中左下顶点和右上顶点确定的角度∠BOD；第二角度包括根据车牌标注 框中左上顶点和右下顶点确定的角度

、以及根据车牌标注框中左下顶点和右上顶 点确定的角度

。

在一个例子中，可以通过以下方法来确定第一旋转损失。

首先，确定位置关系相同的所述第一角度和所述第二角度之间的角度差值。

其中，位置关系是指相对顶点之间的位置关系。例如，一对相对顶点的位置关系可以是左上顶点-右下顶点；或者也可以是左下顶点-右上顶点。

本实施例中，对于位置关系为左下顶点和右上顶点，可以将车牌预测框中的第一 角度∠AOC与车牌标注框中的第二角度

确定为对应的第一组角度；对于位置关系 为左下顶点和右上顶点，可以将车牌预测框中的第一角度∠BOD与车牌标注框中的第二角 度

确定为对应的第二组角度。

针对每一组角度，可以计算该组角度中两个角度的差值。例如对于第一组角度，可 以计算∠AOC与

的差值；对于第二组角度，可以计算∠BOD与

的差值。

然后，根据位置关系不同的角度差值确实所述第一旋转损失。

本实施例中，可以根据上述步骤中的第一组角度的角度差值和第二组角度的差值来确定第一旋转损失。例如，可以将两个差值的绝对值的加和作为第一旋转损失E_{angle_loss}，如公式（5）所示。

其中，abs表示取绝对值。需要说明的是，样本图像中可以包括多个车牌框，

表示对该 样本图像中多个车牌预测框的损失求和。

至此，完成图3所示的流程。本申请通过第一旋转损失来表示车牌预测框相对于车牌标注框的损失，该第一旋转损失将车牌各顶点进行关联，而不是孤立地计算对每个坐标的偏移量。即使车牌标注框中出现偶然的错误坐标，也不会放大这一误差，使得模型参数不会因为偶然的错误数据而发生剧烈震荡，本方法中的可以提高车牌检测模型的稳定性。

步骤S203：根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失。

本实施例中，可以根据车牌预测框和车牌标注框来确定第二旋转损失。

在另一个实施例中，由于车牌预测框和车牌标注框为不规则四边形，为方便计算，可以先确定车牌预测框的最小外接矩形，作为车牌预测包围框，再确定车牌标注框的最小外接矩形，作为车牌标注包围框，然后基于车牌预测包围框和车牌标注包围框的IoU（Intersection over Union，交并比）来确定第二旋转损失。

下面仍以图4为例，该车牌标注框ABCD的最小外接矩形为EFGH，下面对确定车牌标注框最小外接矩形的方法进行说明。本实施例中，可以采用如公式（6）所示的方法来确定最小外接矩形的左上顶点和右下顶点的坐标。

其中，min表示取最小值，max表示取最大值。在上述公式（6）中，根据左上顶点和左下顶点的横轴坐标，将两者中数值较小的值作为最小外接矩形左上顶点的横轴坐标xmin；根据右上顶点和右下顶点的横轴坐标，将两者中数值较大的值作为最小外接矩形右下顶点的横轴坐标xmax；根据左上顶点和右上顶点的纵轴坐标，将两者中数值小的值作为最小外接矩形左上顶点的纵轴坐标ymin；根据左下顶点和右下顶点的纵轴坐标，将两者中数值较大的值作为最小外接矩形右下顶点的纵轴坐标ymax。

根据公式（6）得到的xmin、xmax、ymin、ymax，可以确定最小外接矩形的左上顶点坐标为（xmin,ymin），右下顶点坐标为（xmax,ymax）。可以理解的是，对于矩形而言，只需要左上顶点和右上顶点坐标就可以确定其它两个顶点的坐标，这里不再赘述。

采用类似的方法确定车牌标注框的最小外接矩形，将左上顶点坐标记为（

min,

min），右下顶点坐标记为（

max,

max）。

基于车牌预测框的最小外接矩形和车牌标注框的最小外接矩形，可以是用如下公式（7）来确定两者的交集和并集。

其中，Box_inter表示车牌预测框最小外接矩形和车牌标注框的最小外接矩形的交集的面积，Box_union表示车牌预测框最小外接矩形和车牌标注框的最小外接矩形的并集的面积，Box_inter与Box_union的比值即为IoU。

本实施例中，可以采用公式（8）来计算第二旋转损失E_{iou_loss}。

其中，ln表示以e为底的对数。需要说明的是，样本图像中可以包括多个车牌框，

表示 对样本图像中多个车牌预测框的损失求和。

本申请中，在第一旋转损失的基础上，还通过在面积维度上计算第二旋转损失来表示车牌预测框相对于车牌标注框的损失。根据IoU损失的定义，其范围固定在（0-1）之间，不需要再额外对损失进行归一化处理，能简化计算，提高训练车牌检测模型的效率。

步骤S204：根据所述第一旋转损失和所述第二旋转损失确定综合旋转损失。

本实施例中，可以根据第一旋转损失E_{angle_loss}和第二旋转损失E_{iou_loss}来确定车牌检测模型的综合旋转损失E_{total_loss}。例如，可以将综合旋转损失确定为第一旋转损失与第二旋转损失的加和，如下述公式（9）所示。

当然，也可以采用其他方法来确定该综合损失，例如按照预设的权重系数将第一旋转损失E_{angle_loss}和第二旋转损失E_{iou_loss}的加权平均作为综合损失等，这里只是示例性说明，并不进行限定。

步骤S205：根据所述综合旋转损失更新所述车牌检测模型的模型参数。

本实施例中，可以采用随机梯度下降法(SGD)来更新模型参数。基于步骤S204中确定的综合旋转损失，通过链式法则确定模型中参数关于旋转损失的梯度，更新模型参数。或者也可以采用其他方法更新模型参数，例如带动量的随机梯度下降(SGD with momentum)、Adam优化器等。更新模型参数的具体方法可以参考相关技术，这里不再赘述。

需要说明的是，这里计算的综合旋转损失为针对正样本图像的损失。若样本图像为负样本图像，不存在车牌标注框，无需计算综合旋转损失。

至此，完成图2所示的流程。本实施例中的车牌检测模型训练方法，将车牌框各顶点的8个坐标值转换到角度维度和面积维度下来综合考量。通过角度维度下的第一旋转损失和面积维度下的第二旋转损失关联车牌框的各顶点，而不是孤立地对每个顶点的横纵坐标分别进行考虑。由此，即使车牌标注框中出现偶然的错误坐标，也不会放大这一误差，使得模型参数不会因为偶然的错误数据而发生剧烈震荡，本方法中的可以提高车牌检测模型的准确性和稳定性。

本说明书还提供了一种车牌检测模型，该模型可以使用图2所示的流程来进行模型训练。

参见图5，图5是本说明书一示例性实施例示出的一种车牌检测模型的结构示意图。该车牌检测模型50可以包括特征提取层501，特征筛选层502和车牌检测层503，下面对各个层进行具体描述。

特征提取层501，用于获取所述样本图像，并对所述样本图像进行特征提取，得到基础特征图。

特征提取层501可以包括多个子层。

在一个实施例中，特征提取层中可以包括至少一个卷积层，该卷积层可以利用卷积核对输入的样本图像或前一层输出的特征图进行卷积处理。该卷积处理的过程也就是特征提取的过程，卷积层可以输出特征提取后的特征图。

可选地，特征提取层中还可以包括至少一个池化层，池化层通常连接于卷积层之后，用于对卷积层输出的特征图进行特征压缩，并输出池化处理后的特征图。

在实际应用中，特征提取层可以按照需求来部署，本实施例并不具体限定。本实施例将样本图像输入特征提取层，经一系列卷积和池化处理后，可以得到基础特征图。

特征筛选层502，用于对所述基础特征图进行特征筛选，得到热点特征图。

本实施例中，特征筛选层可以使用至少一个卷积层来对基础特征图进行特征筛选，并输出热点特征图。该热点特征图中使用不同的数值来对图上的区域按照受关注程度的不同加以标注。例如，热点特征图中数值越大的区域可以表示该区域存在车牌的概率越大，车牌检测模型对该区域的关注度越高。

本实施例中，还可以根据热点特征图和预先标注的车牌标注框来确定特征筛选损失，并根据该特征筛选损失来更新特征筛选层的模型参数。

在一个例子中，根据车牌标注框，可以确定车牌标注框内的区域为存在车牌，车牌标注框外的区域不存在车牌。为了进行区分，可以将车牌标注框内的区域标注为1，车牌标注框外的区域标注为0。在该标注的基础上，可以使用公式（10）来确定特征筛选损失E_mask。

其中，

为车牌标注值，即上文所述的标注为0或标注为1；

为热点 特征图中对应点的值。log表示取对数，常见的，该对数可以以10为底数，或者以e为底数，这 里不进行限定。

可选地，在计算特征筛选损失时，

可以表示针对热点特征图中的每个点进行计 算，然后将计算结果求和。或者，也可以按照预设方法来选取样本点，

表示对样本点的计 算结果求和，举例来说，假设预设按照1:10的比例选取正、负样本点，其中正样本点表示热 点特征图中与车牌标注值为1所对应的点，负样本点表示热点特征图中与车牌标注值为0所 对应的点，首先选取所有的正样本点，然后随机选取10倍数量负样本点，继而可以基于选取 的正负样本点来计算特征筛选损失。

需要说明的是，上述车牌标注值为映射后的车牌标注值。其中，映射是指在样本图像和热点特征图的尺寸不同的情况下，将样本图像的尺寸转换到热点特征图的尺寸下，继而根据映射后的车牌标注框来确定与热点特征图中各点对应的车牌标注值。例如，若样本图像的尺寸为256*256，热点特征图的尺寸为32*32，则可以将车牌标注框的各坐标值除以8，以将车牌标注框映射到热点特征图中，然后可以根据映射到热点特征图中的车牌标注框确定车牌标注值。

需要说明的是，输入的样本图像可以是正样本图像（即包含车牌的样本图像）或负样本图像（即不包含车牌的样本图像），且均需要计算特征筛选损失。在计算负样本图像的特征筛选损失时，可以将该负样本图像对应的热点特征图上的所有点作为负样本点来计算特征筛选损失，或者也从热点特征图中随机选取预设数量的负样本点来计算特征筛选损失，例如根据经验选取1000个负样本点。

本实施例中的特征筛选损失，还可以用于更新特征提取层的模型参数。在实现时，特征提取层可以基于特征筛选损失和综合旋转损失确定第一综合损失，然后根据该第一综合损失更新特征提取层的模型参数。

其中，第一综合损失的确定方法可以有多种，例如可以将特征筛选损失与综合旋转损失的加和作为第一综合损失，或者将特征筛选损失与综合旋转损失的加权平均作为第一综合损失等，这里不进行具体限定。

更新模型参数的方法可以参见图2所示实施例，例如采用随机梯度下降法等，这里不再赘述。

车牌检测层503，用于根据所述基础特征图和所述热点特征图预测得到所述车牌预测框。

车牌检测层503可以先利用热点特征图对基础特征图进行过滤，然后对过滤后的基础特征图进行车牌检测。

可选地，车牌检测层503可以包括点乘子层和车牌检测子层，其中点乘子层可以用于利用热点特征图对基础特征图进行过滤，车牌检测子层可以用于对过滤后的基础特征图进行车牌检测。下面分别进行介绍。

本实施例中，点乘子层可以将特征筛选层输出的热点特征图和特征提取层输出的基础特征图进行点乘，使得基础特征图中存在车牌概率较大的区域可以通过，存在车牌位置概率较小的区域被抑制。

在基础特征图的通道数与热点特征图不同的情况下，点乘子层可以先根据基础特征图的通道数对热点特征图进行复制，并将复制结果在通道上进行拼接，然后将拼接后的热点特征图与基础特征图进行点乘。

举例来说，假设基础特征图的大小为32*32*32，对应于H*W*C；假设热点特征图的 大小为32*32*1，对应于H*W*C。其中H*W表示同一通道上的高*宽，C表示通道数。可以采用如 下公式（11）来得到点乘结果

。

其中，mask表示热点特征图，

表示将热点特征图复制32份并在 通道上拼接，

表示基础特征图。

本实施例中，车牌检测子层可以对点乘子层输出的点乘结果

进行检 测，并得到车牌预测框。

在一个例子中，车牌检测子层可以基于点乘结果进行车牌检测，确定样本图像中车牌框的位置。该车牌检测子层的模型参数可以根据图2所示流程中得到的综合旋转损失来更新。

在另一个例子中，车牌检测子层还可以包括分类预测层、位置预测层和解码预测层。其中，分类预测层和位置预测层分别对点乘子层输出的点乘结果进行处理。分类预测层可以输出分类预测特征图，解码预测层可以根据该分类预测特征图来判断输入的样本图像中是否包含车牌。位置预测层可以输出位置预测特征图，解码预测层根据分类预测特征图和位置预测特征图，确定车牌预测框的位置。

针对分类预测层，在一个例子中，其输出层使用的激活函数可以是softmax函数，如公式（12）所示：

其中，x_i是指第i个神经元的输出，

是指所有输出神经元经过指数运算求和。该 公式输出的每个神经节点的概率值的和等于1。

当然，分类预测层也可以根据实际需求选择其他激活函数，例如sigmoid函数。

在更新分类预测层的模型参数时，首先可以根据分类预测特征图和车牌标注框来确定分类预测损失，然后根据该分类预测损失来更新分类预测层的模型参数。

本实施例可以根据样本图像中的车牌标注框来确定该车牌的中心点，例如可以将车牌标注框的对角线的交点作为车牌中心点，考虑到可能存在的误差，可以将该中心点及其8连通区域视为车牌中心区域。为了进行区分，可以将该车牌标注框的中心区域（即车牌中心点及其8连通区域）标注为1，其他非中心区域标注为0。其中，8连通区域为该中心点的上、下、左、右、左上、左下、右上和右下这8个区域。如图6所示，图中黑色的点表示中心点，该黑色点及其8连通区域被标注为1。

本实施例中的分类预测结果可以为2通道的特征图，其中一个通道用于表示存在 车牌的情况，另一个通道用于表示不存在车牌的情况。在上述对样本图像进行标注的基础 上，可以使用如公式（13）所示的交叉熵损失来确定分类预测损失

。

其中，

为第i个点所对应的车牌标注值，

是指分类预测特征图中第i个点对应的 数值。

可选地，在计算分类预测损失时，

可以表示针对分类预测特征图中的每个点的 计算结果求和。或者，也可以按照预设方法来选取样本点，

表示对每个样本点的计算结果 求和，举例来说，假设按照1:10的比例选取正负样本点，其中正样本点表示分类预测特征图 中与车牌中心区域（即标注值为1点）所对应的点，负样本点表示分类预测特征图中与非车 牌中心区域（即标注值为0的点）所对应的点，首先选取所有的正样本点，然后随机选取10倍 数量的负样本点，继而可以基于选取的正负样本点来计算分类预测损失。

需要说明的是，上述车牌标注值为映射后的车牌标注值。其中，映射是指在样本图像和分类预测特征图的尺寸不同的情况下，将样本图像的尺寸转换到分类预测特征图的尺寸下，继而根据映射后的车牌标注框来确定车牌中心区域（包括中心点及其8连通区域），并确定分类预测特征图中各点对应的车牌标注值。例如，若样本图像的尺寸为256*256，分类预测特征图的尺寸为32*32，则可以将车牌标注框的各坐标值除以8，以将车牌标注框映射到分类预测特征图中，然后根据映射到分类预测特征图中的车牌标注框确定车牌标注值。

需要说明的是，输入的样本图像可以是正样本图像或负样本图像，且均需要计算分类预测损失。在计算负样本图像的分类预测损失时，可以按照预设的数量来选取分类预测特征图中的负样本点，例如根据经验选取1000个负样本点。

本实施例中的分类预测损失，还可以用于更新特征提取层的模型参数。在实现时，特征提取层可以基于分类预测损失、特征筛选损失确定第二综合损失，然后根据该第二综合损失更新特征提取层的模型参数。

其中，第二综合损失的确定方法可以有多种，例如可以将分类预测损失、特征筛选损失的加和作为第二综合损失，或者将分类预测损失、特征筛选损失的加权平均作为第二综合损失等，这里不进行具体限定。

更新模型参数的方法可以参见图2，例如采用随机梯度下降法等，这里不再赘述。

针对解码预测层，其用于对分类预测特征图和位置预测特征图进行分析，输出车牌预测框。

在一个例子中，分类预测结果包括2通道的分类预测特征图。假设第一通道用于指示存在车牌的置信度，第二通道用于指示不存在车牌的置信度。

以第一通道为例，可以根据该通道中是否存在置信度大于阈值的点来确定是否存在车牌。

举例来说，设定阈值为a，筛选出该通道中置信度大于阈值的点，然后对筛选出的点进行聚类操作，得到至少一个点簇。

本实施例中，得到的点簇的个数表示该样本图像中车牌的数量。可选地，本实施例可以设定一个数量阈值，例如2，若点簇中点的个数大于该数量阈值，则认为该点簇对应一个车牌；若点簇中点的个数不大于该数量阈值，则认为该点簇为误差，不再对该点簇进行处理。

基于得到的点簇，解码预测层可以确定每个点簇所对应的车牌框位置。

首先，可以在每个点簇中选取一个目标点，选取目标点的方法可以有多种，例如可以选取聚类中心，或者选取该点簇中对应置信度最大的点等，这里不进行限定。

然后，可以确定目标点的坐标，并在位置预测特征图中确定与该目标点坐标对应的点。

在一个实施例中，位置预测特征图为8通道的特征图，每个通道分别表示车牌预测 框左上顶点与目标点的横轴偏移量

、左上顶点与目标点的纵轴偏移量

、右上顶点与目标点的横轴偏移量

、右上顶点与目标点的纵轴偏移 量

、右上顶点与目标点的横轴偏移量

、右上顶点与目标点的纵轴 偏移量

、左下顶点与目标点的横轴偏移量

、左下顶点与目标点的 横轴偏移量

。

基于目标点的坐标，获取位置预测特征图中与该坐标对应的点，可以确定以该目标点为中心点的车牌框，如公式（14）所示。

其中，

分别表示目标点的坐标， stride表示将位置预测特征图映射到样本图像中的倍数，例如，位置预测特征图的尺寸为 32*32，样本图像的尺寸为256*256，则stride值为8。

基于解码预测层的输出结果，可以确定样本图像中的车牌预测框。

针对位置预测层，可以根据解码预测层得到的车牌预测框、以及样本图像中的车牌标注框来确定综合旋转损失，并根据该综合旋转损失来更新位置预测层的模型参数，具体方法参见上文图2所示流程，这里不再赘述。

需要说明的是，若输入的样本图像为负样本图像，负样本图像中不存在车牌，则不需要计算综合旋转损失。

本模型中，还可以基于特征筛选损失、分类预测损失、综合旋转损失来更新特征提取层的模型参数。在实现时，特征提取层可以基于分类预测损失、特征筛选损失、以及综合旋转损失确定第三综合损失，然后根据该第三综合损失更新特征提取层的模型参数。更新模型参数的方法可以为随机梯度下降法等，这里不再赘述。

其中，第三综合损失的确定方法可以有多种，例如可以将分类预测损失、特征筛选损失、以及综合旋转损失的加和作为第三综合损失，或者将分类预测损失、特征筛选损失、以及综合旋转损失的加权平均作为第三综合损失等，这里不进行具体限定。

至此，完成了对图5所示的车牌检测模型的介绍。

下面结合图7来介绍一个应用本申请方法的具体车牌检测模型，该模型的具体网络配置如表1所示。

其中k代表卷积核大小，n代表输出卷积特征图个数，s代表卷积滑动步长，Bn代表BatchNormalization（批标准化）操作，ReLU6、Softmax和Sigmoid表示使用的激活函数。

图7所示的车牌检测模型与图5所示实施例的车牌检测模型对应，其具体训练方法可以参见图5，这里不再赘述。下面对图7和图5的对应关系进行说明：

图7中的卷积层1(conv1)~ 卷积层8(conv8)对应于图5所示实施例中的特征提取层501，可以将输入的样本图像转换为基础特征图。

图7中的特征筛选层（feature selection）对应于图5所示实施例中的特征筛选层，可以将基础特征图转换为热点特征图。

图7中的点乘层（point_multi）~卷积层_分类(class _conv)和卷积层_车牌框(box_conv)对应于图5所示实施例中的车牌检测层。其中，点乘层（point_multi）对应于图5所示实施例中的点乘子层，卷积层1_1(conv1_1) ~卷积层_分类(class _conv)对应于图5所示实施例中的分类预测层，卷积层1_3(conv1_3) ~卷积层_车牌框(box_conv) 对应于图5所示实施例中的位置预测层。

可以理解的是，图7所示的车牌检测模型只是示例性说明，在实际实现时，还可以在该车牌检测模型网络结构的基础上进行更改，本实施例不进行具体限定。

至此，完成了对本说明书中车牌检测模型的训练方法的介绍。

在对车牌检测模型进行多次迭代训练并满足预设要求后，可以得到训练后的车牌检测模型。利用该车牌检测模型，可以将待进行车牌检测的目标图像输入该车牌检测模型，则该车牌检测模型的输出结果可以包括该目标图像中是否包括车牌，以及在目标图像中包括车牌的情况下输出至少一个车牌预测框。

与前述车牌检测模型的训练方法的实施例相对应，本说明书还提供了车牌检测模型的训练装置的实施例。

本说明书车牌检测模型的训练装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，为本说明书一示例性实施例示出的一种用于建立车牌检测模型的训练装置的一结构示意图，用于示意本说明书建立车牌检测模型的训练装置所在电子设备的一种硬件结构，除了图8所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

图9是本说明书一示例性实施例示出的一种车牌检测模型的训练装置的框图。

请参考图9，所述车牌检测模型的训练装置900可以应用在前述图8所示的电子设备中，包括有：

利用以下单元进行迭代训练，直至满足所述车牌检测模型的模型训练要求：

样本输入单元901，用于将样本图像输入所述车牌检测模型，得到所述样本图像的车牌预测框，所述样本图像标注有车牌标注框；

第一确定单元902，用于根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失；

第二确定单元903，用于根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失；

综合确定单元904，用于根据所述第一旋转损失和所述第二旋转损失确定综合旋转损失；

第一参数更新单元905，用于根据所述综合旋转损失更新所述车牌检测模型的模型参数。

其中，可选地，所述第一确定单元902，具体用于：

确定基准点与所述车牌预测框的相对顶点之间的第一角度；

确定所述基准点与所述车牌标注框的所述相对顶点之间的第二角度；

根据所述第一角度和所述第二角度确定所述第一旋转损失。

可选地，所述根据所述第一角度和所述第二角度确定所述第一旋转损失，包括：

确定位置关系相同的所述第一角度和所述第二角度之间的角度差值；

根据位置关系不同的角度差值确实所述第一旋转损失。

可选地，所述基准点位于所述车牌预测框对角线所在的直线上；或

所述基准点位于所述车牌标注框对角线所在的直线上。

可选地，第二确定单元903，具体用于：

确定所述车牌预测框的最小外接矩形，作为车牌预测包围框；

确定所述车牌标注框的最小外接矩形，作为车牌标注包围框；

根据所述车牌预测包围框和所述车牌标注包围框确定所述第二旋转损失。

可选地，所述车牌检测模型包括：特征提取层、特征筛选层和车牌检测层；

所述特征提取层，用于获取所述样本图像，并对所述样本图像进行特征提取，得到基础特征图；

所述特征筛选层，用于对所述基础特征图进行特征筛选，得到热点特征图；

所述车牌检测层，用于根据所述基础特征图和所述热点特征图预测得到所述车牌预测框。

所述装置还包括：

第二参数更新单元906，用于：

根据所述车牌标注框和所述热点特征图确定特征筛选损失；

根据所述特征筛选损失更新所述特征筛选层的模型参数；

根据所述综合旋转损失更新车牌检测层的模型参数；

根据所述特征筛选损失和所述综合旋转损失更新所述特征提取层的模型参数。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

与前述车牌检测模型的训练方法的实施例相对应，本说明书还提供一种车牌检测模型的训练装置，该装置包括：处理器以及用于存储机器可执行指令的存储器。其中，处理器和存储器通常借由内部总线相互连接。在其他可能的实现方式中，所述设备还可能包括外部接口，以能够与其他设备或者部件进行通信。

在本实施例中，通过读取并执行所述存储器存储的与车牌检测模型的训练逻辑对应的机器可执行指令，所述处理器被促使：

利用以下步骤进行迭代训练，直至满足所述车牌检测模型的模型训练要求：

将样本图像输入所述车牌检测模型，得到所述样本图像的车牌预测框，所述样本图像标注有车牌标注框；

根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失；

根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失；

根据所述第一旋转损失和所述第二旋转损失确定综合旋转损失；

根据所述综合旋转损失更新所述车牌检测模型的模型参数。

可选地，所述根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失，包括：

确定基准点与所述车牌预测框的相对顶点之间的第一角度；

确定所述基准点与所述车牌标注框的所述相对顶点之间的第二角度；

根据所述第一角度和所述第二角度确定所述第一旋转损失。

可选地，所述根据所述第一角度和所述第二角度确定所述第一旋转损失，包括：

确定位置关系相同的所述第一角度和所述第二角度之间的角度差值；

根据位置关系不同的角度差值确实所述第一旋转损失。

可选地，所述基准点位于所述车牌预测框对角线所在的直线上；或

所述基准点位于所述车牌标注框对角线所在的直线上。

可选地，所述根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失，包括：

确定所述车牌预测框的最小外接矩形，作为车牌预测包围框；

确定所述车牌标注框的最小外接矩形，作为车牌标注包围框；

根据所述车牌预测包围框和所述车牌标注包围框确定所述第二旋转损失。

可选地，所述车牌检测模型包括：特征提取层、特征筛选层和车牌检测层；

所述特征提取层，用于获取所述样本图像，并对所述样本图像进行特征提取，得到基础特征图；

所述特征筛选层，用于对所述基础特征图进行特征筛选，得到热点特征图；

所述车牌检测层，用于根据所述基础特征图和所述热点特征图预测得到所述车牌预测框。

可选地，所述步骤还包括：

根据所述车牌标注框和所述热点特征图确定特征筛选损失；

根据所述特征筛选损失更新所述特征筛选层的模型参数；

根据所述综合旋转损失更新车牌检测层的模型参数；

根据所述特征筛选损失和所述综合旋转损失更新所述特征提取层的模型参数。

与前述车牌检测模型的训练方法的实施例相对应，本说明书还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时利用以下步骤进行迭代训练，直至满足所述车牌检测模型的模型训练要求：

将样本图像输入所述车牌检测模型，得到所述样本图像的车牌预测框，所述样本图像标注有车牌标注框；

根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失；

根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失；

根据所述第一旋转损失和所述第二旋转损失确定综合旋转损失；

根据所述综合旋转损失更新所述车牌检测模型的模型参数。

可选地，所述根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失，包括：

确定基准点与所述车牌预测框的相对顶点之间的第一角度；

确定所述基准点与所述车牌标注框的所述相对顶点之间的第二角度；

根据所述第一角度和所述第二角度确定所述第一旋转损失。

可选地，所述根据所述第一角度和所述第二角度确定所述第一旋转损失，包括：

确定位置关系相同的所述第一角度和所述第二角度之间的角度差值；

根据位置关系不同的角度差值确实所述第一旋转损失。

可选地，所述基准点位于所述车牌预测框对角线所在的直线上；或

所述基准点位于所述车牌标注框对角线所在的直线上。

可选地，所述根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失，包括：

确定所述车牌预测框的最小外接矩形，作为车牌预测包围框；

确定所述车牌标注框的最小外接矩形，作为车牌标注包围框；

根据所述车牌预测包围框和所述车牌标注包围框确定所述第二旋转损失。

可选地，所述车牌检测模型包括：特征提取层、特征筛选层和车牌检测层；

所述特征提取层，用于获取所述样本图像，并对所述样本图像进行特征提取，得到基础特征图；

所述特征筛选层，用于对所述基础特征图进行特征筛选，得到热点特征图；

所述车牌检测层，用于根据所述基础特征图和所述热点特征图预测得到所述车牌预测框。

可选地，所述步骤还包括：

根据所述车牌标注框和所述热点特征图确定特征筛选损失；

根据所述特征筛选损失更新所述特征筛选层的模型参数；

根据所述综合旋转损失更新车牌检测层的模型参数；

根据所述特征筛选损失和所述综合旋转损失更新所述特征提取层的模型参数。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (15)

1.一种车牌检测模型的训练方法，其特征在于，所述方法包括：

利用以下步骤进行迭代训练，直至满足所述车牌检测模型的模型训练要求：

将样本图像输入所述车牌检测模型，得到所述样本图像的车牌预测框，所述样本图像标注有车牌标注框；

根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失；

根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失；

根据所述第一旋转损失和所述第二旋转损失确定综合旋转损失；

根据所述综合旋转损失更新所述车牌检测模型的模型参数。

2.根据权利要求1所述的方法，其特征在于，所述根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失，包括：

确定基准点与所述车牌预测框的相对顶点之间的第一角度；

确定所述基准点与所述车牌标注框的所述相对顶点之间的第二角度；

根据所述第一角度和所述第二角度确定所述第一旋转损失。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一角度和所述第二角度确定所述第一旋转损失，包括：

确定位置关系相同的所述第一角度和所述第二角度之间的角度差值；

根据位置关系不同的角度差值确实所述第一旋转损失。

4.根据权利要求2所述的方法，其特征在于，所述基准点位于所述车牌预测框对角线所在的直线上；或

所述基准点位于所述车牌标注框对角线所在的直线上。

5.根据权利要求1所述的方法，其特征在于，所述根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失，包括：

确定所述车牌预测框的最小外接矩形，作为车牌预测包围框；

确定所述车牌标注框的最小外接矩形，作为车牌标注包围框；

根据所述车牌预测包围框和所述车牌标注包围框确定所述第二旋转损失。

6.根据权利要求1所述的方法，其特征在于，所述车牌检测模型包括：特征提取层、特征筛选层和车牌检测层；

所述特征提取层，用于获取所述样本图像，并对所述样本图像进行特征提取，得到基础特征图；

所述特征筛选层，用于对所述基础特征图进行特征筛选，得到热点特征图；

所述车牌检测层，用于根据所述基础特征图和所述热点特征图预测得到所述车牌预测框。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据所述车牌标注框和所述热点特征图确定特征筛选损失；

根据所述特征筛选损失更新所述特征筛选层的模型参数；

根据所述综合旋转损失更新车牌检测层的模型参数；

根据所述特征筛选损失和所述综合旋转损失更新所述特征提取层的模型参数。

8.一种车牌检测模型的训练装置，其特征在于，所述装置包括：

利用以下单元进行迭代训练，直至满足所述车牌检测模型的模型训练要求：

样本输入单元，用于将样本图像输入所述车牌检测模型，得到所述样本图像的车牌预测框，所述样本图像标注有车牌标注框；

第一确定单元，用于根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失；

第二确定单元，用于根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失；

综合确定单元，用于根据所述第一旋转损失和所述第二旋转损失确定综合旋转损失；

第一参数更新单元，用于根据所述综合旋转损失更新所述车牌检测模型的模型参数。

9.根据权利要求8所述的装置，其特征在于，所述第一确定单元，具体用于：

确定基准点与所述车牌预测框的相对顶点之间的第一角度；

确定所述基准点与所述车牌标注框的所述相对顶点之间的第二角度；

根据所述第一角度和所述第二角度确定所述第一旋转损失。

10.根据权利要求9所述的装置，其特征在于，所述根据所述第一角度和所述第二角度确定所述第一旋转损失，包括：

确定位置关系相同的所述第一角度和所述第二角度之间的角度差值；

根据位置关系不同的角度差值确实所述第一旋转损失。

11.根据权利要求9所述的装置，其特征在于，所述基准点位于所述车牌预测框对角线所在的直线上；或

所述基准点位于所述车牌标注框对角线所在的直线上。

12.根据权利要求8所述的装置，其特征在于，第二确定单元，具体用于：

确定所述车牌预测框的最小外接矩形，作为车牌预测包围框；

确定所述车牌标注框的最小外接矩形，作为车牌标注包围框；

根据所述车牌预测包围框和所述车牌标注包围框确定所述第二旋转损失。

13.根据权利要求8所述的装置，其特征在于，所述车牌检测模型包括：特征提取层、特征筛选层和车牌检测层；

所述特征提取层，用于获取所述样本图像，并对所述样本图像进行特征提取，得到基础特征图；

所述特征筛选层，用于对所述基础特征图进行特征筛选，得到热点特征图；

所述车牌检测层，用于根据所述基础特征图和所述热点特征图预测得到所述车牌预测框。

14.根据权利要求13所述的装置，其特征在于，所述装置还包括：

第二参数更新单元，用于：

根据所述车牌标注框和所述热点特征图确定特征筛选损失；

根据所述特征筛选损失更新所述特征筛选层的模型参数；

根据所述综合旋转损失更新车牌检测层的模型参数；

根据所述特征筛选损失和所述综合旋转损失更新所述特征提取层的模型参数。

15.一种车牌检测模型的训练装置，包括：

处理器；

用于存储机器可执行指令的存储器；

其中，通过读取并执行所述存储器存储的与车牌检测模型的训练逻辑对应的机器可执行指令，所述处理器被促使：

利用以下步骤进行迭代训练，直至满足所述车牌检测模型的模型训练要求：

将样本图像输入所述车牌检测模型，得到所述样本图像的车牌预测框，所述样本图像标注有车牌标注框；

根据所述车牌预测框和所述车牌标注框确定角度维度下的第一旋转损失；

根据所述车牌预测框和所述车牌标注框确定面积维度下的第二旋转损失；

根据所述第一旋转损失和所述第二旋转损失确定综合旋转损失；

根据所述综合旋转损失更新所述车牌检测模型的模型参数。

Images