CN114049627A - 可智能选择缩放尺度的船牌检测方法、装置及系统 - Google Patents

Abstract

本发明公开一种可智能选择缩放尺度的船牌检测方法、装置及系统。其中，该方法包括：获取原始图片集，将第一当前图片从预设的P个固定尺度中任意选取一个固定尺度，计算第一缩放比例并判断是否在预设的缩放比例约束范围内，若否，在预设的缩放比例约束范围内任选一第二缩放比例对第一当前图片进行缩放；将原始图片数据集根据长边的尺寸采用聚类方法划分为n个小数集；对每个小数据集选取损失值最小的T个第三缩放尺度并进行缩放；将每个小数据集继续划分n个微数据集；对每个微数集选取损失值最小的第六缩放尺度并进行缩放，生成船牌检测模型。本发明中，可以智能选择缩放尺度，从而可以更有效的训练模型，提高模型准确率，降低误检。

Description

可智能选择缩放尺度的船牌检测方法、装置及系统

技术领域

本发明涉及船牌检测技术领域，具体而言，涉及一种可智能选择缩放尺度的船牌检测方法、装置及系统。

背景技术

缩放船舶图片尺度是船牌检测算法训练重要参数之一，选择合适的缩放尺度训练对船牌检测效果有巨大提升。目前，算法训练网络尺度存在训练分为两种：①单尺度训练；②多尺度训练。调节网络输入缩放尺度，可以提升模型训练和测试效果。在图片特征提取阶段，选择适当的图片输入尺度，降低错误特征提取，提高有效信息提取，从而达到提高检测算法检出率和降低误检率，模型更具有鲁棒性。

现有技术存在以下缺点：

单尺度训练是目前工业算法训练比较流行的方法，但单尺度训练需要设置多组不同尺度算法训练，分析比较，得到最佳尺度方案。这个过程需要大量人力，比较耗时。除此之外， 单尺度训练需要数据集原始图片尺寸大小基本差别不大，否则会影响检测效果。由于船牌的数据集来源于船牌抠图，船舶大小并不统一，差异巨大。因此，单尺度并不适用于船牌检测，用一种固定的缩放尺度无法全面适配数据集各种尺度。

多尺度训练依据数据集的大小，设置多个尺度模型训练，本发明实验设置6个。多尺度网络训练在模型训练阶段可以更好的拟合训练数据集原始图片尺寸，增加模型鲁棒性，提高检出率，但由于尺度是随机选择，选择不适合缩放尺度会产生不良反应（即原始图片集尺寸过大，缩小图片尺寸会丢掉图片有效信息；原始图片集过小，扩大图片尺寸会增加图片噪音）；在推理阶段， 使用多个尺度推理，提高目标检出率，但同时会增加目标误检率和目标推理时间。多尺度训练对数据集图片尺寸不一，具有一定的鲁棒性，但并不是按照实际图片尺寸智能选择输入尺寸进行模型训练和测试，在一定程度会降低模型效果。

针对现有技术中单尺度训练时浪费时间、人力，且用一种固定的缩放尺度无法全面适配原始图片集；多尺度训练时选择不适合的缩放尺度会产生不良反应的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例中提供一种船牌检测模型训练方法、装置、系统及计算机存储介质，以解决现有技术中单尺度训练时浪费时间、人力，且用一种固定的缩放尺度无法全面适配原始图片集；多尺度训练时选择不适合的缩放尺度会产生不良反应的问题。

为达到上述目的，一方面，本发明提供了一种可智能选择缩放尺度的船牌检测方法，该方法包括：步骤101，获取原始图片数据集，将其中的每张图片均做多次如下处理：将第一当前图片从预设的P个固定尺度中任意选取一个固定尺度，作为第一当前缩放尺度，计算所述第一当前图片缩放至所述第一当前缩放尺度时的第一缩放比例；判断所述第一缩放比例是否在预设的缩放比例范围内，若是，则根据所述第一缩放比例对所述第一当前图片进行缩放，若否，在所述预设的缩放比例约束范围内任选一第二缩放比例对所述第一当前图片进行缩放，并记录缩放后的第二缩放尺度；步骤102，将原始图片数据集根据长边的尺寸采用聚类方法划分为n个小数集；对每个小数集对应进行如下操作：按步长在当前小数集对应的所述第二缩放尺度中选取K个缩放尺度；根据所述K个缩放尺度和所述P个固定尺度对所述当前小数集进行尺度缩放，计算得到所述当前小数集损失值最小的T个第三缩放尺度；步骤S103，将所述每个小数据集继续划分n个微数据集；对每个微数集对应进行如下操作：根据所述T个第三缩放尺度对所述当前微数集进行尺度缩放，计算得到损失值最小的第六缩放尺度并根据其进行模型训练得到船牌检测模型；步骤S104，获取新增图片并根据所述新增图片的尺寸选取对应的微数集中损失值最小的第六缩放尺度进行缩放，将缩放后的所述新增图片输入到所述船牌检测模型中进行船牌检测，得到船牌位置。

可选的，所述计算得到所述当前小数集损失值最小的T个第三缩放尺度包括：计算所述当前小数集缩放至所述K个缩放尺度和所述P个固定尺度的损失值，选取所述当前小数集损失值最小的T个第三缩放尺度；对所述当前小数据集中的每张图片进行多次如下处理：将第二当前图片从所述K个缩放尺度和所述P个固定尺度中任意选取一个尺度，作为第四当前缩放尺度，计算所述第二当前图片缩放至所述第四当前缩放尺度时的第四缩放比例；当判定所述第四缩放比例在所述预设的缩放比例约束范围内时，根据所述第四缩放比例对所述第二当前图片进行缩放；当判定所述第四缩放比例不在所述预设的缩放比例约束范围内时，在所述T个第三缩放尺度中任选一个缩放比例对所述第二当前图片进行缩放。

可选的，所述根据所述T个第三缩放尺度对所述当前微数集进行尺度缩放，计算得到损失值最小的第六缩放尺度并根据其进行模型训练得到船牌检测模型包括：根据所述T个第三缩放尺度对所述当前微数集进行尺度缩放，计算所述当前微数集缩放至所述T个第三缩放尺度的损失值，选取所述当前微数集损失值最小的L个第六缩放尺度；对所述当前微数集中的每张图片分别根据L个第六缩放比例进行缩放，并计算该L次缩放的损失值；将损失值最小的第六缩放尺度作为该当前微数据集对应的缩放尺度，根据损失值最小的所述缩放尺度进行模型训练得到船牌检测模型。

可选的，所述计算所述第一当前图片缩放至所述第一当前缩放尺度时的第一缩放比例的公式为：

max_long_edge1=max(scale1)；

max_short_edge1=min(scale1)；

scale_factor1=min(max_long_edge1/max(h,w)1,max_short_edge1/min(h,w)1)；

判断min_ration<scale_factor1<max_raion，若是，则直接使用所述第一缩放比例对所述第一当前图片进行缩放；若否，在所述min_ration~ max_raion内任选一第二缩放比例对所述第一当前图片进行缩放；

其中，scale1为选取的所述固定尺度，max(scale1)为选取的所述固定尺度的最长边，min(scale1)为选取的所述固定尺度的最短边，max(h,w)1为第一当前图片的最长边，min(h,w)1为第一当前图片的最短边；scale_factor1为第一缩放比例；min_ration为所述预设的缩放比例约束范围内的最小缩放比例；max_raion为所述预设的缩放比例约束范围内的最大缩放比例。

可选的，所述计算所述第二当前图片缩放至所述第四当前缩放尺度时的第四缩放比例的公式为：

max_long_edge2=max(scale2)；

max_short_edge2=min(scale2)；

scale_factor2=min(max_long_edge2/max(h,w)2,max_short_edge2/min(h,w)2)；

判断min_ration<scale_factor2<max_raion，若是，则直接使用所述第四缩放比例对所述第二当前图片进行缩放；若否，在所述T个第三缩放尺度中任选一个缩放比例对所述第二当前图片进行缩放；

其中，scale2为选取的所述固定尺度，max(scale2)为K个缩放尺度和P个固定尺度中任意选取一个尺度的最长边，min(scale1)为K个缩放尺度和P个固定尺度中任意选取一个尺度的最短边，max(h,w)2为第二当前图片的最长边，min(h,w)2为第二当前图片的最短边；scale_factor2为第四缩放比例；min_ration为所述预设的缩放比例约束范围内的最小缩放比例；max_raion为所述预设的缩放比例约束范围内的最大缩放比例。

可选的，所述选取所述当前小数集损失值最小的T个第三缩放尺度后包括：增加所述T个第三缩放尺度的损失权重，降低所述K个缩放尺度以及所述P个固定尺度中除所述T个第三缩放尺度外的其他尺度的损失权重。

可选的，所述增加所述T个第三缩放尺度的损失权重，降低所述K个缩放尺度以及所述P个固定尺度中除所述T个第三缩放尺度外的其他尺度的损失权重的计算公式为：

（1）T个第三缩放尺度内的计算公式：

其中，N1为每个小数集中在T个第三缩放尺度内的图片数量；

（2）T个第三缩放尺度外的计算公式：

其中，N1为每个小数集中在T个第三缩放尺度内的图片数量，N2为每个小数集中在T个第三缩放尺度外的图片数量，

为缩放比例。

另一方面，本发明提供了一种可智能选择缩放尺度的船牌检测装置，包括：第一训练单元，用于获取原始图片数据集，将其中的每张图片均做多次如下处理：将第一当前图片从预设的P个固定尺度中任意选取一个固定尺度，作为第一当前缩放尺度，计算所述第一当前图片缩放至所述第一当前缩放尺度时的第一缩放比例；判断所述第一缩放比例是否在预设的缩放比例范围内，若是，则根据所述第一缩放比例对所述第一当前图片进行缩放，若否，在所述预设的缩放比例约束范围内任选一第二缩放比例对所述第一当前图片进行缩放，并记录缩放后的第二缩放尺度；第二训练单元，用于将原始图片数据集根据长边的尺寸采用聚类方法划分为n个小数集；对每个小数集对应进行如下操作：按步长在当前小数集对应的所述第二缩放尺度中选取K个缩放尺度；根据所述K个缩放尺度和所述P个固定尺度对所述当前小数集进行尺度缩放，计算得到所述当前小数集损失值最小的T个第三缩放尺度；第三训练单元，用于将所述每个小数据集继续划分n个微数据集；对每个微数集对应进行如下操作：根据所述T个第三缩放尺度对所述当前微数集进行尺度缩放，计算得到损失值最小的第六缩放尺度并根据其进行模型训练得到船牌检测模型；推理单元，用于获取新增图片并根据所述新增图片的尺寸选取对应的微数集中损失值最小的第六缩放尺度进行缩放，将缩放后的所述新增图片输入到所述船牌检测模型中进行船牌检测，得到船牌位置。

可选的，所述计算所述第一当前图片缩放至所述第一当前缩放尺度时的第一缩放比例的公式为：

max_long_edge1=max(scale1)；

max_short_edge1=min(scale1)；

scale_factor1=min(max_long_edge1/max(h,w)1,max_short_edge1/min(h,w)1)；

判断min_ration<scale_factor1<max_raion，若是，则直接使用所述第一缩放比例对所述第一当前图片进行缩放；若否，在所述min_ration~ max_raion内任选一第二缩放比例对所述第一当前图片进行缩放；

其中，scale1为选取的所述固定尺度，max(scale1)为选取的所述固定尺度的最长边，min(scale1)为选取的所述固定尺度的最短边，max(h,w)1为第一当前图片的最长边，min(h,w)1为第一当前图片的最短边；scale_factor1为第一缩放比例；min_ration为所述预设的缩放比例约束范围内的最小缩放比例；max_raion为所述预设的缩放比例约束范围内的最大缩放比例。

另一方面，本发明还提供了一种可智能选择缩放尺度的船牌检测系统，包括上述的可智能选择缩放尺度的船牌检测装置。

本发明的有益效果：

本发明提供了一种可智能选择缩放尺度的船牌检测方法、装置及系统。本发明中通过增加判断第一缩放比例是否在预设的缩放比例约束范围内，若否，在所述预设的缩放比例约束范围内任选一第二缩放比例对所述第一当前图片进行缩放，从而保证后续特征提取更加准确；原始图片数据集的宽高保持统一比例，船牌检测模型不受形状影响，提高训练效果；不同尺寸的原始图片数据集采用不同的缩放尺度进行缩放，提高船牌检测模型的鲁棒性，加强模型对不同尺度的数据集学习。

附图说明

图1是本发明实施例提供的一种可智能选择缩放尺度的船牌检测方法的流程图；

图2是本发明实施例提供的一种可智能选择缩放尺度的船牌检测装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

现有技术存在以下缺点：

单尺度训练是目前工业算法训练比较流行的方法，但单尺度训练需要设置多组不同尺度算法训练，分析比较，得到最佳尺度方案。这个过程需要大量人力，比较耗时。除此之外， 单尺度训练需要数据集原始图片尺寸大小基本差别不大，否则会影响检测效果。由于船牌的数据集来源于船牌抠图，船舶大小并不统一，差异巨大。因此，单尺度并不适用于船牌检测，用一种固定的缩放尺度无法全面适配数据集各种尺度。

多尺度训练依据数据集的大小，设置多个尺度模型训练，本发明实验设置6个。多尺度网络训练在模型训练阶段可以更好的拟合训练数据集原始图片尺寸，增加模型鲁棒性，提高检出率，但由于尺度是随机选择，选择不适合缩放尺度会产生不良反应（即原始图片集尺寸过大，缩小图片尺寸会丢掉图片有效信息；原始图片集过小，扩大图片尺寸会增加图片噪音）；在推理阶段， 使用多个尺度推理，提高目标检出率，但同时会增加目标误检率和目标推理时间。多尺度训练对数据集图片尺寸不一，具有一定的鲁棒性，但并不是按照实际图片尺寸智能选择输入尺寸进行模型训练和测试，在一定程度会降低模型效果。

因而，本发明提供了一种可智能选择缩放尺度的船牌检测方法，图1是本发明实施例提供的一种可智能选择缩放尺度的船牌检测方法的流程图，如图1所示，该方法包括：

步骤101，获取原始图片数据集，将其中的每张图片均做多次如下处理：

将第一当前图片从预设的P个固定尺度中任意选取一个固定尺度，作为第一当前缩放尺度，计算所述第一当前图片缩放至所述第一当前缩放尺度时的第一缩放比例；

当判定所述第一缩放比例在预设的缩放比例约束范围内时，根据所述第一缩放比例对所述第一当前图片进行缩放；

当判定所述第一缩放比例不在预设的缩放比例约束范围内时，在所述预设的缩放比例约束范围内任选一第二缩放比例对所述第一当前图片进行缩放，并记录缩放后的第二缩放尺度；

在一个可选的实施方式中，假设原始图片数据集有3万张，统计所有原始图片的短边和长边，长边分别为([2500，2300]， [1200， 1000]， [400，200])，短边为([900，800]，[300，200]， [100，0])这三组数据占图片的总数量90%以上，基于以上尺寸，选择6个缩放尺度([2560，1920]， [2560，1080]， [2560，960]， [2560，640]， [2560，320]，[2560，160])，这6个缩放尺度为预设的P个固定尺度。

将第一当前图片从预设的P个固定尺度中任意选取一个固定尺度，作为第一当前缩放尺度，假设第一当前图片为[3560，1080]，选取的固定尺度为[2560，1080]，将[2560，1080]作为第一当前缩放尺度，计算所述第一当前图片缩放至所述第一当前缩放尺度时的第一缩放比例；具体的计算公式为：

max_long_edge1=max(scale1)；

max_short_edge1=min(scale1)；

scale_factor1=min(max_long_edge1/max(h,w)1,max_short_edge1/min(h,w)1)；

其中，scale1为选取的所述固定尺度，max(scale1)为选取的所述固定尺度的最长边，min(scale1)为选取的所述固定尺度的最短边，max(h,w)1为第一当前图片的最长边，min(h,w)1为第一当前图片的最短边；scale_factor1为第一缩放比例；min_ration为所述预设的缩放比例约束范围内的最小缩放比例；max_raion为所述预设的缩放比例约束范围内的最大缩放比例。

具体的，max_long_edge1=2560，max_short_edge1=1080；

max(h,w)1=3560，min(h,w)1=1080；

scale_factor1=min(0.7191，1)=0.7191

判断min_ration<scale_factor1<max_raion，若是，则直接使用所述第一缩放比例对所述第一当前图片进行缩放；若否，在所述min_ration~ max_raion内任选一第二缩放比例对所述第一当前图片进行缩放；

本发明中，min_ration为0.5，max_raion为1，0.5<0.7191<1，所以可直接使用所述第一缩放比例对所述第一当前图片进行缩放，缩放后的第一当前图片的尺寸为[2560，777]，若否，在所述0.5~ 1内任选一第二缩放比例对所述第一当前图片进行缩放，例如：选取0.6对所述第一当前图片进行缩放，缩放后的第一当前图片的尺寸为[2136，648]。

将缩放后的所有图片训练模型，得到第一阶段模型，将所有图片进行多轮训练，直至模型拟合，本发明中进行了36轮训练。

本发明中，通过加入预设的缩放比例约束范围，防止原始图片数据集缩放过小或过大，减少缩放后的图片信息损失和噪音增加；通过选用最小缩放比例，减少缩放后的图片信息损失；通过根据第一缩放比例或第二缩放比例对第一当前图片进行缩放，保证第一当前图片的宽高比例，缩放后的第一当前图片不会发生变形。

步骤102，将原始图片数据集根据长边的尺寸采用聚类方法划分为n个小数集；对每个小数集对应进行如下操作：

按步长在当前小数集对应的所述第二缩放尺度中选取K个缩放尺度；根据所述K个缩放尺度和所述P个固定尺度对所述当前小数集进行尺度缩放，计算所述当前小数集缩放至所述K个缩放尺度和所述P个固定尺度的损失值，选取所述当前小数集损失值最小的T个第三缩放尺度；

本发明中，将原始图片数据集根据长边的尺寸采用聚类方法划分为6个小数集；对每个小数集对应进行如下操作：按照0.5，0.6，0.7，0.8，0.9，1.0在当前小数据集对应的所述第二缩放尺度中选取K个缩放尺度（本发明中为6个缩放尺度）；在所述6个缩放尺度和上述6个固定尺度中，选取所述当前小数集损失值最小的T个第三缩放尺度；本发明中，T设置为6，即选取所述当前小数据集损失值最小的6个第三缩放尺度。需要注意的是，每个小数据集都选取损失值最小的6个第三缩放尺度。

对所述当前小数集中的每张图片进行多次如下处理：

将第二当前图片从所述6个缩放尺度和上述6个固定尺度中任意选取一个尺度，作为第四当前缩放尺度，计算所述第二当前图片缩放至所述第四当前缩放尺度时的第四缩放比例；

当判定所述第四缩放比例在所述预设的缩放比例约束范围内时，根据所述第四缩放比例对所述第二当前图片进行缩放；

当判定所述第四缩放比例不在所述预设的缩放比例约束范围内时，在所述6个第三缩放尺度中任选一个缩放比例对所述第二当前图片进行缩放；6个第三缩放尺度中任意选取的一个尺度为：[2560，960]，将[2560，960]作为第四当前缩放尺度，计算所述第二当前图片缩放至所述第四当前缩放尺度时的第四缩放比例；具体的计算公式为：

具体的计算公式为：

max_long_edge2=max(scale2)；

max_short_edge2=min(scale2)；

scale_factor2=min(max_long_edge2/max(h,w)2,max_short_edge2/min(h,w)2)；

其中，scale2为选取的所述固定尺度，max(scale2)为6个缩放尺度和6个固定尺度中任意选取一个尺度的最长边，min(scale1)为6个缩放尺度和6个固定尺度中任意选取一个尺度的最短边，max(h,w)2为第二当前图片的最长边，min(h,w)2为第二当前图片的最短边；scale_factor2为第四缩放比例；min_ration为所述预设的缩放比例约束范围内的最小缩放比例；max_raion为所述预设的缩放比例约束范围内的最大缩放比例。

具体的，max_long_edge2=2560，max_short_edge2=960；

max(h,w)2=3560，min(h,w)2=960；

scale_factor2=min(0.7191，1)=0.7191

判断min_ration<scale_factor2<max_raion，若是，则直接使用所述第四缩放比例对所述第二当前图片进行缩放；若否，在所述6个第三缩放尺度中任选一个缩放比例对所述第二当前图片进行缩放；

本发明中，min_ration为0.5，max_raion为1，0.5<0.7191<1，所以可直接使用所述第四缩放比例对所述第二当前图片进行缩放，缩放后的第二当前图片的尺寸为[2560，690]，若否，可直接选取0.7191对所述第二当前图片进行缩放，缩放后的第二当前图片的尺寸为[2560，690]。

加载第一阶段模型，将缩放后的所有第二图片在第一阶段模型下训练模型，得到第二阶段模型。

进一步的，本发明中，选取所述当前小数集损失值最小的6个第三缩放尺度后包括：

增加所述6个第三缩放尺度的损失权重，降低所述6个缩放尺度以及所述6个固定尺度中除所述6个第三缩放尺度外的其他尺度的损失权重。

在一个可选的实施方式中，所述增加所述6个第三缩放尺度的损失权重，降低所述6个缩放尺度以及所述6个固定尺度中除所述6个第三缩放尺度外的其他尺度的损失权重的计算公式为：

（1）6个第三缩放尺度内的计算公式：

其中，N1为每个小数集中在6个第三缩放尺度内的图片数量；

（2）6个第三缩放尺度外的计算公式：

其中，N1为每个小数集中在6个第三缩放尺度内的图片数量，N2为每个小数集中在6个第三缩放尺度外的图片数量，

为缩放比例。

本发明中，所述N1为每个小数集中在6个第三缩放尺度内的图片数量。即：每个小数集的所有图片中，缩放至6个第三缩放尺度中的任意一个时的缩放比例在预设的缩放比例范围内的图片数量。Loss为损失值。N2为每个小数集中在6个第三缩放尺度外的图片数量。即：每个小数集的所有图片中，缩放至6个第三缩放尺度中的任意一个时的缩放比例在预设的缩放比例范围外的图片数量。

本发明中，通过增加所述6个第三缩放尺度的损失权重，降低所述6个缩放尺度以及所述6个固定尺度中除所述6个第三缩放尺度外的其他尺度的损失权重，可降低噪声的干扰，提升船牌检测模型的鲁棒性，即更新第二阶段模型的参数。

本发明中，步骤102与步骤101相比，有3个不同点，①缩放尺度从原先P个固定尺度基础上增加K个缩放比例；②第四缩放比例不再预设的缩放比例约束范围内时，不再选取随机值，而是在所述T个第三缩放尺度中任选一个缩放比例进行缩放；③修改损失权重，增加T个第三缩放尺度的损失权重，降低K个缩放尺度以及P个固定尺度中除T个第三缩放尺度外的其他尺度的损失权重。

步骤103，将所述每个小数据集继续划分n个微数据集；对每个微数集对应进行如下操作：

本发明中，将每个小数据集继续划分6个微数据集；对每个微数集对应进行如下操作：

根据所述T个第三缩放尺度对所述当前微数集进行尺度缩放，计算所述当前微数集缩放至所述T个第三缩放尺度的损失值，选取所述当前微数集损失值最小的L个第六缩放尺度；对所述当前微数集中的每张图片分别根据L个第六缩放比例进行缩放，并计算该L次缩放的损失值；将损失值最小的第六缩放尺度作为该当前微数据集对应的缩放尺度，根据损失值最小的所述缩放尺度进行模型训练得到船牌检测模型，即最终船牌检测模型。

具体的，根据6个第三缩放尺度对当前微数集进行尺度缩放，计算当前微数集缩放至6个第三缩放尺度的损失值，选取当前微数集损失值最小的L个第六缩放尺度；对所述当前微数集中的每张图片分别根据L个第六缩放比例进行缩放，并计算该L次缩放的损失值；将损失值最小的第六缩放尺度作为该当前微数据集对应的缩放尺度，根据损失值最小的所述缩放尺度进行模型训练得到船牌检测模型；该船牌检测模型为第三阶段模型，即最终船牌检测模型。

步骤104，获取新增图片并根据所述新增图片的尺寸选取对应的微数集中损失值最小的第六缩放尺度进行缩放，将缩放后的所述新增图片输入到所述船牌检测模型中进行船牌检测，得到船牌位置。

获取新增图片（要进行船牌检测的图片），根据新增图片的尺寸看其在哪个微数集中，选取该微数集中损失值最小的第六缩放尺度对新增图片进行缩放，将缩放后的新增图片输入到船牌检测模型中进行船牌检测，得到船牌位置。

本发明中，因可以智能选择缩放尺度，从而可以更有效的训练模型，提高模型准确率，降低误检。

图2是本发明实施例提供的一种可智能选择缩放尺度的船牌检测装置的结构示意图，如图2所示，该装置包括：

第一训练单元201，用于获取原始图片数据集，将其中的每张图片均做多次如下处理：

将第一当前图片从预设的P个固定尺度中任意选取一个固定尺度，作为第一当前缩放尺度，计算所述第一当前图片缩放至所述第一当前缩放尺度时的第一缩放比例；当判定所述第一缩放比例在预设的缩放比例约束范围内时，根据所述第一缩放比例对所述第一当前图片进行缩放；当判定所述第一缩放比例不在预设的缩放比例约束范围内时，在所述预设的缩放比例约束范围内任选一第二缩放比例对所述第一当前图片进行缩放，并记录缩放后的第二缩放尺度；

在一个可选的实施方式中，假设原始图片数据集有3万张，统计所有原始图片的短边和长边，长边分别为([2500，2300]， [1200， 1000]， [400，200])，短边为([900，800]，[300，200]， [100，0])这三组数据占图片的总数量90%以上，基于以上尺寸，选择6个缩放尺度([2560，1920]， [2560，1080]， [2560，960]， [2560，640]， [2560，320]，[2560，160])，这6个缩放尺度为预设的P个固定尺度。

将第一当前图片从预设的P个固定尺度中任意选取一个固定尺度，作为第一当前缩放尺度，假设第一当前图片为[3560，1080]，选取的固定尺度为[2560，1080]，将[2560，1080]作为第一当前缩放尺度，计算所述第一当前图片缩放至所述第一当前缩放尺度时的第一缩放比例；具体的计算公式为：

max_long_edge1=max(scale1)；

max_short_edge1=min(scale1)；

scale_factor1=min(max_long_edge1/max(h,w)1,max_short_edge1/min(h,w)1)；

其中，scale1为选取的所述固定尺度，max(scale1)为选取的所述固定尺度的最长边，min(scale1)为选取的所述固定尺度的最短边，max(h,w)1为第一当前图片的最长边，min(h,w)1为第一当前图片的最短边；scale_factor1为第一缩放比例；min_ration为所述预设的缩放比例约束范围内的最小缩放比例；max_raion为所述预设的缩放比例约束范围内的最大缩放比例。

具体的，max_long_edge1=2560，max_short_edge1=1080；

max(h,w)1=3560，min(h,w)1=1080；

scale_factor1=min(0.7191，1)=0.7191

判断min_ration<scale_factor1<max_raion，若是，则直接使用所述第一缩放比例对所述第一当前图片进行缩放；若否，在所述min_ration~ max_raion内任选一第二缩放比例对所述第一当前图片进行缩放；

本发明中，min_ration为0.5，max_raion为1，0.5<0.7191<1，所以可直接使用所述第一缩放比例对所述第一当前图片进行缩放，缩放后的第一当前图片的尺寸为[2560，777]，若否，在所述0.5~ 1内任选一第二缩放比例对所述第一当前图片进行缩放，例如：选取0.6对所述第一当前图片进行缩放，缩放后的第一当前图片的尺寸为[2136，648]。

将缩放后的所有图片训练模型，得到第一阶段模型，将所有图片进行多轮训练，直至模型拟合，本发明中进行了36轮训练。

本发明中，通过加入预设的缩放比例约束范围，防止原始图片数据集缩放过小或过大，减少缩放后的图片信息损失和噪音增加；通过选用最小缩放比例，减少缩放后的图片信息损失；通过根据第一缩放比例或第二缩放比例对第一当前图片进行缩放，保证第一当前图片的宽高比例，缩放后的第一当前图片不会发生变形。

第二训练单元202，用于将原始图片数据集根据长边的尺寸采用聚类方法划分为n个小数集；对每个小数集对应进行如下操作：

按步长在当前小数集对应的所述第二缩放尺度中选取K个缩放尺度；根据所述K个缩放尺度和所述P个固定尺度对所述当前小数集进行尺度缩放，计算所述当前小数集缩放至所述K个缩放尺度和所述P个固定尺度的损失值，选取所述当前小数集损失值最小的T个第三缩放尺度；

本发明中，将原始图片数据集根据长边的尺寸采用聚类方法划分为6个小数集；对每个小数集对应进行如下操作：按照0.5，0.6，0.7，0.8，0.9，1.0在当前小数据集对应的所述第二缩放尺度中选取K个缩放尺度（本发明中为6个缩放尺度）；在所述6个缩放尺度以及上述6个固定尺度中，选取所述当前小数集损失值最小的T个第三缩放尺度；本发明中，T设置为6，即选取所述当前小数据集损失值最小的6个第三缩放尺度。需要注意的是，每个小数据集都选取损失值最小的6个第三缩放尺度。

对所述当前小数集中的每张图片进行多次如下处理：

将第二当前图片从所述6个缩放尺度和上述6个固定尺度中任意选取一个尺度，作为第四当前缩放尺度，计算所述第二当前图片缩放至所述第四当前缩放尺度时的第四缩放比例；

当判定所述第四缩放比例在所述预设的缩放比例约束范围内时，根据所述第四缩放比例对所述第二当前图片进行缩放；

当判定所述第四缩放比例不在所述预设的缩放比例约束范围内时，在所述6个第三缩放尺度中任选一个缩放比例对所述第二当前图片进行缩放；6个第三缩放尺度中任意选取的一个尺度为：[2560，960]，将[2560，960]作为第四当前缩放尺度，计算所述第二当前图片缩放至所述第四当前缩放尺度时的第四缩放比例；具体的计算公式为：

具体的计算公式为：

max_long_edge2=max(scale2)；

max_short_edge2=min(scale2)；

scale_factor2=min(max_long_edge2/max(h,w)2,max_short_edge2/min(h,w)2)；

其中，scale2为选取的所述固定尺度，max(scale2)为6个缩放尺度和6个固定尺度中任意选取一个尺度的最长边，min(scale1)为6个缩放尺度和6个固定尺度中任意选取一个尺度的最短边，max(h,w)2为第二当前图片的最长边，min(h,w)2为第二当前图片的最短边；scale_factor2为第四缩放比例；min_ration为所述预设的缩放比例约束范围内的最小缩放比例；max_raion为所述预设的缩放比例约束范围内的最大缩放比例。

具体的，max_long_edge2=2560，max_short_edge2=960；

max(h,w)2=3560，min(h,w)2=960；

scale_factor2=min(0.7191，1)=0.7191

判断min_ration<scale_factor2<max_raion，若是，则直接使用所述第四缩放比例对所述第二当前图片进行缩放；若否，在所述6个第三缩放尺度中任选一个缩放比例对所述第二当前图片进行缩放；

本发明中，min_ration为0.5，max_raion为1，0.5<0.7191<1，所以可直接使用所述第四缩放比例对所述第二当前图片进行缩放，缩放后的第二当前图片的尺寸为[2560，690]，若否，可直接选取0.7191对所述第二当前图片进行缩放，缩放后的第二当前图片的尺寸为[2560，690]。

加载第一阶段模型，将缩放后的所有第二图片在第一阶段模型下训练模型，得到第二阶段模型。

进一步的，本发明中，选取所述当前小数集损失值最小的6个第三缩放尺度后包括：增加所述6个第三缩放尺度的损失权重，降低所述6个缩放尺度以及所述6个固定尺度中除所述6个第三缩放尺度外的其他尺度的损失权重。

在一个可选的实施方式中，所述增加所述6个第三缩放尺度的损失权重，降低所述6个缩放尺度以及所述6个固定尺度中除所述6个第三缩放尺度外的其他尺度的损失权重的计算公式为：

（1）6个第三缩放尺度内的计算公式：

其中，N1为每个小数集中在6个第三缩放尺度内的图片数量；

（2）6个第三缩放尺度外的计算公式：

其中，N1为每个小数集中在6个第三缩放尺度内的图片数量，N2为每个小数集中在6个第三缩放尺度外的图片数量，

为缩放比例。

本发明中，所述N1为每个小数集中在6个第三缩放尺度内的图片数量。即：每个小数集的所有图片中，缩放至6个第三缩放尺度中的任意一个时的缩放比例在预设的缩放比例范围内的图片数量。Loss为损失值。N2为每个小数集中在6个第三缩放尺度外的图片数量。即：每个小数集的所有图片中，缩放至6个第三缩放尺度中的任意一个时的缩放比例在预设的缩放比例范围外的图片数量。

本发明中，通过增加所述6个第三缩放尺度的损失权重，降低所述6个缩放尺度以及所述6个固定尺度中除所述6个第三缩放尺度外的其他尺度的损失权重，可降低噪声的干扰，提升船牌检测模型的鲁棒性，即更新第二阶段模型的参数。

本发明中，第二训练单元202与第一训练单元201相比，有3个不同点，①缩放尺度从原先P个固定尺度基础上增加K个缩放比例；②第四缩放比例不再预设的缩放比例约束范围内时，不再选取随机值，而是在所述T个第三缩放尺度中任选一个缩放比例进行缩放；③修改损失权重，增加T个第三缩放尺度的损失权重，降低K个缩放尺度以及P个固定尺度中除T个第三缩放尺度外的其他尺度的损失权重。

第三训练单元203，用于将所述每个小数据集继续划分n个微数据集；对每个微数集对应进行如下操作：

本发明中，将每个小数据集继续划分6个微数据集；对每个微数集对应进行如下操作：

根据所述T个第三缩放尺度对所述当前微数集进行尺度缩放，计算所述当前微数集缩放至所述T个第三缩放尺度的损失值，选取所述当前微数集损失值最小的L个第六缩放尺度；对所述当前微数集中的每张图片分别根据L个第六缩放比例进行缩放，并计算该L次缩放的损失值；将损失值最小的第六缩放尺度作为该当前微数据集对应的缩放尺度，根据损失值最小的所述缩放尺度进行模型训练得到船牌检测模型，即最终船牌检测模型。

具体的，根据6个第三缩放尺度对当前微数集进行尺度缩放，计算当前微数集缩放至6个第三缩放尺度的损失值，选取当前微数集损失值最小的L个第六缩放尺度；对所述当前微数集中的每张图片分别根据L个第六缩放比例进行缩放，并计算该L次缩放的损失值；将损失值最小的第六缩放尺度作为该当前微数据集对应的缩放尺度，根据损失值最小的所述缩放尺度进行模型训练得到船牌检测模型；该船牌检测模型为第三阶段模型，即最终船牌检测模型。

推理单元204，用于获取新增图片并根据所述新增图片的尺寸选取对应的微数集中损失值最小的第六缩放尺度进行缩放，将缩放后的所述新增图片输入到所述船牌检测模型中进行船牌检测，得到船牌位置。

获取新增图片（要进行船牌检测的图片），根据新增图片的尺寸看其在哪个微数集中，选取该微数集中损失值最小的第六缩放尺度对新增图片进行缩放，将缩放后的新增图片输入到船牌检测模型中进行船牌检测，得到船牌位置。

本发明中，因可以智能选择缩放尺度，从而可以更有效的训练模型，提高模型准确率，降低误检。

本发明的有益效果：

本发明提供了一种可智能选择缩放尺度的船牌检测方法、装置及系统。本发明中通过增加判断第一缩放比例是否在预设的缩放比例约束范围内，若否，在所述预设的缩放比例约束范围内任选一第二缩放比例对所述第一当前图片进行缩放，从而保证后续特征提取更加准确；原始图片数据集的宽高保持统一比例，船牌检测模型不受形状影响，提高训练效果；不同尺寸的原始图片数据集采用不同的缩放尺度进行缩放，提高船牌检测模型的鲁棒性，加强模型对不同尺度的数据集学习。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种可智能选择缩放尺度的船牌检测方法，其特征在于，包括：

步骤101，获取原始图片数据集，将其中的每张图片均做多次如下处理：将第一当前图片从预设的P个固定尺度中任意选取一个固定尺度，作为第一当前缩放尺度，计算所述第一当前图片缩放至所述第一当前缩放尺度时的第一缩放比例；判断所述第一缩放比例是否在预设的缩放比例范围内，若是，则根据所述第一缩放比例对所述第一当前图片进行缩放，若否，在所述预设的缩放比例约束范围内任选一第二缩放比例对所述第一当前图片进行缩放，并记录缩放后的第二缩放尺度；

步骤102，将原始图片数据集根据长边的尺寸采用聚类方法划分为n个小数集；对每个小数集对应进行如下操作：按步长在当前小数集对应的所述第二缩放尺度中选取K个缩放尺度；根据所述K个缩放尺度和所述P个固定尺度对所述当前小数集进行尺度缩放，计算得到所述当前小数集损失值最小的T个第三缩放尺度；

步骤S103，将所述每个小数据集继续划分n个微数据集；对每个微数集对应进行如下操作：根据所述T个第三缩放尺度对所述当前微数集进行尺度缩放，计算得到损失值最小的第六缩放尺度并根据其进行模型训练得到船牌检测模型；

步骤S104，获取新增图片并根据所述新增图片的尺寸选取对应的微数集中损失值最小的第六缩放尺度进行缩放，将缩放后的所述新增图片输入到所述船牌检测模型中进行船牌检测，得到船牌位置。

2.根据权利要求1所述的方法，其特征在于，所述计算得到所述当前小数集损失值最小的T个第三缩放尺度包括：

计算所述当前小数集缩放至所述K个缩放尺度和所述P个固定尺度的损失值，选取所述当前小数集损失值最小的T个第三缩放尺度；

对所述当前小数据集中的每张图片进行多次如下处理：

将第二当前图片从所述K个缩放尺度和所述P个固定尺度中任意选取一个尺度，作为第四当前缩放尺度，计算所述第二当前图片缩放至所述第四当前缩放尺度时的第四缩放比例；

当判定所述第四缩放比例在所述预设的缩放比例约束范围内时，根据所述第四缩放比例对所述第二当前图片进行缩放；

当判定所述第四缩放比例不在所述预设的缩放比例约束范围内时，在所述T个第三缩放尺度中任选一个缩放比例对所述第二当前图片进行缩放。

3.根据权利要求1所述的方法，其特征在于，所述根据所述T个第三缩放尺度对所述当前微数集进行尺度缩放，计算得到损失值最小的第六缩放尺度并根据其进行模型训练得到船牌检测模型包括：

根据所述T个第三缩放尺度对所述当前微数集进行尺度缩放，计算所述当前微数集缩放至所述T个第三缩放尺度的损失值，选取所述当前微数集损失值最小的L个第六缩放尺度；

对所述当前微数集中的每张图片分别根据L个第六缩放比例进行缩放，并计算该L次缩放的损失值；

将损失值最小的第六缩放尺度作为该当前微数据集对应的缩放尺度，根据损失值最小的所述缩放尺度进行模型训练得到船牌检测模型。

4.根据权利要求1所述的方法，其特征在于：

所述计算所述第一当前图片缩放至所述第一当前缩放尺度时的第一缩放比例的公式为：max_long_edge1=max(scale1)；

max_short_edge1=min(scale1)；

scale_factor1=min(max_long_edge1/max(h,w)1,max_short_edge1/min(h,w)1)；

判断min_ration<scale_factor1<max_raion，若是，则直接使用所述第一缩放比例对所述第一当前图片进行缩放；若否，在所述min_ration~ max_raion内任选一第二缩放比例对所述第一当前图片进行缩放；

其中，scale1为选取的所述固定尺度，max(scale1)为选取的所述固定尺度的最长边，min(scale1)为选取的所述固定尺度的最短边，max(h,w)1为第一当前图片的最长边，min(h,w)1为第一当前图片的最短边；scale_factor1为第一缩放比例；min_ration为所述预设的缩放比例约束范围内的最小缩放比例；max_raion为所述预设的缩放比例约束范围内的最大缩放比例。

5.根据权利要求2所述的方法，其特征在于，所述计算所述第二当前图片缩放至所述第四当前缩放尺度时的第四缩放比例的公式为：

max_long_edge2=max(scale2)；

max_short_edge2=min(scale2)；

scale_factor2=min(max_long_edge2/max(h,w)2,max_short_edge2/min(h,w)2)；

判断min_ration<scale_factor2<max_raion，若是，则直接使用所述第四缩放比例对所述第二当前图片进行缩放；若否，在所述T个第三缩放尺度中任选一个缩放比例对所述第二当前图片进行缩放；

其中，scale2为选取的所述固定尺度，max(scale2)为K个缩放尺度和P个固定尺度中任意选取一个尺度的最长边，min(scale1)为K个缩放尺度和P个固定尺度中任意选取一个尺度的最短边，max(h,w)2为第二当前图片的最长边，min(h,w)2为第二当前图片的最短边；scale_factor2为第四缩放比例；min_ration为所述预设的缩放比例约束范围内的最小缩放比例；max_raion为所述预设的缩放比例约束范围内的最大缩放比例。

6.根据权利要求2所述的方法，其特征在于，所述选取所述当前小数集损失值最小的T个第三缩放尺度后包括：

增加所述T个第三缩放尺度的损失权重，降低所述K个缩放尺度以及所述P个固定尺度中除所述T个第三缩放尺度外的其他尺度的损失权重。

7.根据权利要求6所述的方法，其特征在于，所述增加所述T个第三缩放尺度的损失权重，降低所述K个缩放尺度以及所述P个固定尺度中除所述T个第三缩放尺度外的其他尺度的损失权重的计算公式为：

（1）T个第三缩放尺度内的计算公式：

其中，N1为每个小数集中在T个第三缩放尺度内的图片数量；

（2）T个第三缩放尺度外的计算公式：

其中，N1为每个小数集中在T个第三缩放尺度内的图片数量，N2为每个小数集中在T个第三缩放尺度外的图片数量，

为缩放比例。

8.一种可智能选择缩放尺度的船牌检测装置，其特征在于，包括：

第一训练单元，用于获取原始图片数据集，将其中的每张图片均做多次如下处理：将第一当前图片从预设的P个固定尺度中任意选取一个固定尺度，作为第一当前缩放尺度，计算所述第一当前图片缩放至所述第一当前缩放尺度时的第一缩放比例；判断所述第一缩放比例是否在预设的缩放比例范围内，若是，则根据所述第一缩放比例对所述第一当前图片进行缩放，若否，在所述预设的缩放比例约束范围内任选一第二缩放比例对所述第一当前图片进行缩放，并记录缩放后的第二缩放尺度；

第二训练单元，用于将原始图片数据集根据长边的尺寸采用聚类方法划分为n个小数集；对每个小数集对应进行如下操作：按步长在当前小数集对应的所述第二缩放尺度中选取K个缩放尺度；根据所述K个缩放尺度和所述P个固定尺度对所述当前小数集进行尺度缩放，计算得到所述当前小数集损失值最小的T个第三缩放尺度；

第三训练单元，用于将所述每个小数据集继续划分n个微数据集；对每个微数集对应进行如下操作：根据所述T个第三缩放尺度对所述当前微数集进行尺度缩放，计算得到损失值最小的第六缩放尺度并根据其进行模型训练得到船牌检测模型；

推理单元，用于获取新增图片并根据所述新增图片的尺寸选取对应的微数集中损失值最小的第六缩放尺度进行缩放，将缩放后的所述新增图片输入到所述船牌检测模型中进行船牌检测，得到船牌位置。

9.根据权利要求8所述的装置，其特征在于：

所述计算所述第一当前图片缩放至所述第一当前缩放尺度时的第一缩放比例的公式为：max_long_edge1=max(scale1)；

max_short_edge1=min(scale1)；

scale_factor1=min(max_long_edge1/max(h,w)1,max_short_edge1/min(h,w)1)；

判断min_ration<scale_factor1<max_raion，若是，则直接使用所述第一缩放比例对所述第一当前图片进行缩放；若否，在所述min_ration~ max_raion内任选一第二缩放比例对所述第一当前图片进行缩放；

其中，scale1为选取的所述固定尺度，max(scale1)为选取的所述固定尺度的最长边，min(scale1)为选取的所述固定尺度的最短边，max(h,w)1为第一当前图片的最长边，min(h,w)1为第一当前图片的最短边；scale_factor1为第一缩放比例；min_ration为所述预设的缩放比例约束范围内的最小缩放比例；max_raion为所述预设的缩放比例约束范围内的最大缩放比例。

10.一种可智能选择缩放尺度的船牌检测系统，其特征在于，包括：权利要求8-9任一项所述的可智能选择缩放尺度的船牌检测装置。

Images