CN112597995A - 车牌检测模型训练方法、装置、设备及介质 - Google Patents
车牌检测模型训练方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112597995A CN112597995A CN202011403773.6A CN202011403773A CN112597995A CN 112597995 A CN112597995 A CN 112597995A CN 202011403773 A CN202011403773 A CN 202011403773A CN 112597995 A CN112597995 A CN 112597995A
- Authority
- CN
- China
- Prior art keywords
- license plate
- sample image
- image
- loss function
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 228
- 238000012549 training Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000006870 function Effects 0.000 claims abstract description 196
- 238000000605 extraction Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 23
- 239000010410 layer Substances 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 238000009795 derivation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像处理技术领域，提供一种车牌检测模型训练方法、装置、设备及介质，用于提高车牌检测模型的泛化能力。该方法包括：将样本图像集中各个样本图像输入车牌检测模型，获得每个样本图像的车牌检测结果，样本图像集为在不同场景下采集的车辆图像；根据每类车牌类别下的样本图像数量占比所属的占比范围，确定每类车牌下的样本图像对应的损失函数；每类车牌类别下的样本图像数量占比所属的占比范围越小，对应类别车牌下的样本图像的损失函数对应的梯度损失越大；根据各类车牌类别下的样本图像对应的损失函数的取值，调整车牌检测模型的模型参数；直到车牌检测模型收敛，获得训练后的车牌检测模型。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种车牌检测模型训练方法、装置、设备及介质。
背景技术
车牌是车辆的身份标识，车牌是车辆的一个重要特征。随着智能技术的不断发展，在智能交通中常广泛利用车牌检测模型检测车辆的车牌，具体来说，通过已训练的车牌检测模型对包含车牌的车辆图像进行检测，从而得到车牌号。
但目前的车牌检测模型训练通常是采用单一场景下的样本图像集训练得到，这样训练出的车牌检测模型在该场景下进行车牌检测时，其检测性能较好，一旦场景改变时，车牌检测模型检测效果较差，即车牌检测模型的泛化能力差。
发明内容
本申请实施例提供一种车牌检测模型训练方法、装置、设备及介质，用于提高车牌检测模型的泛化能力。
第一方面，提供了一种车牌检测模型训练方法，包括：
将样本图像集中各个样本图像输入车牌检测模型，获得每个样本图像的车牌检测结果，所述样本图像集为在不同场景下采集的车辆图像，所述样本图像集中存在至少两类车牌下的车辆图像；
根据每类车牌类别下的样本图像数量占比所属的占比范围，确定每类车牌下的样本图像对应的损失函数；每类车牌类别下的样本图像数量占比所属的占比范围越小，对应类别车牌下的样本图像的损失函数对应的梯度损失越大；
根据各类车牌类别下的样本图像对应的损失函数的取值，调整所述车牌检测模型的模型参数；
直到所述车牌检测模型收敛，获得训练后的车牌检测模型。
本申请实施例中，用于训练车牌检测模型的样本图像集包括在不同场景下采集的车辆图像，本申请实施例中通过不同场景的样本图像训练模型，从而提车牌检测模型的跨场景检测能力。且在训练车牌检测模型时，会考虑每类车牌类别下的样本图像数量占比所属的占比范围，进而确定每类车牌下的样本图像对应的损失函数，具体来说，每类车牌类别下的样本图像数量占比所属的占比范围越小，对应类别车牌下的样本图像的损失函数对应的梯度损失越大，这样一来，样本图像数量占比少的，其对应的损失占比更大，即本申请实施例考虑了不同场景下的不同车牌类别下的样本图像数量的差异性，训练时会强化数量相对少的场景下的损失，使得车牌检测模型在数量少的场景下的识别效果更好，提升车牌检测模型的泛化能力。
在一种可能的实施例中，每个样本图像的车牌检测结果包括对应样本图像所属的场景预测结果；所述占比范围包括第一占比范围、第二占比范围和第三占比范围，所述第一占比范围的最大值小于所述第二占比范围的最小值，所述第二占比范围的最大值小于所述第三占比范围的最小值；根据每类车牌类别下的样本图像数量占比所属的占比范围，确定每类车牌下的样本图像对应的损失函数，包括：
若任一类车牌类别下的样本图像的数量占比属于所述第一占比范围，则确定所述任一类车牌类别对应的样本图像对应的损失函数包括第一场景损失函数；所述第一场景损失函数用于表示每个样本图像的真实所属的场景标签值与所述对应样本图像的第一场景预测结果之间的绝对差值；
若任一类车牌类别下的样本图像的数量占比属于所述第二占比范围，则确定所述任一类车牌类别对应的样本图像对应的损失函数包括第二场景损失函数；所述第二场景损失函数用于表示第一场景预测结果的对数；
若任一类车牌类别下的样本图像的数量占比属于所述第三占比范围，则确定所述任一类车牌类别对应的样本图像对应的损失函数包括第三场景损失函数；所述第三损失函数用于表示每个样本图像的真实所属的场景标签值与所述对应样本图像的第一场景预测结果之间的差值的平方。
本实施例中，根据每类车牌类别下的样本图像数量占比所属的占比范围不同，为每类车牌下的样本图像确定的损失函数不同，对于样本图像数量占比较小，其损失函数使用绝对差值，使损失函数求导后的梯度损失越大，相当于在训练时强化了样本数量少的场景下的损失；对于样本图像数量占比较多的，其损失函数使用差值的平方，使损失函数求导后的梯度损失越小，相当于在训练时会弱化样本数量多的场景下的损失，从而平衡了模型对数量不同的车牌类别下的样本图像的检测差异，提高了模型的泛化能力。
在一种可能的实施例中，每个样本图像包括多个图像区域，每个样本图像的车牌检测结果包括基于每个图像区域预测出的预测车牌中心坐标点、基于每个图像区域预测出的预测车牌长度和基于每个图像区域预测出的预测车牌宽度，所述每类车牌下的样本图像对应的损失函数均还包括尺寸损失函数，针对每个样本图像的尺寸损失函数的取值是通过如下方式获得的：
针对样本图像中多个图像区域中每个图像区域，根据对应图像区域的基于每个图像区域预测出的预测车牌中心坐标点、基于每个图像区域预测出的预测车牌长度和基于每个图像区域预测出的预测车牌宽度，确定对应图像区域的车牌预测框，以获得样本图像所对应的多个车牌预测框；
将满足预设条件的车牌预测框确定为样本图像的目标车牌预测框；
根据确定出的目标车牌预测框对应的预测车牌中心坐标点、预测车牌长度和预测车牌宽度，计算尺寸损失函数的取值。
本实施例中，根据每个样本图像的车牌检测结果获得样本图像所对应的多个车牌预测框，对多个车牌预测框进行筛选，将满足预设条件的车牌预测框确定为样本图像的目标车牌预测框，减少后续处理的车牌预测框的数量，可相对减少模型后续的处理量，提高模型的训练效率。且，本实施例根据目标车牌预测框对应的预测车牌中心坐标点、预测车牌长度和预测车牌宽度，计算尺寸损失函数的取值，基于车牌预测框与车牌真实框的尺寸差异，计算损失函数，保证训练后的车牌检测模型在车牌尺寸方面的检测性能。
在一种可能的实施例中，将满足预设条件的车牌预测框确定为样本图像的目标车牌预测框，包括：
针对样本图像所对应的多个车牌预测框，确定置信度最高的第一车牌预测框，并确定第一剩余车牌预测框与所述第一车牌预测框之间的交并比；所述置信度表示样本图像包含车牌的概率，所述第一剩余车牌预测框为多个车牌预测框中除了第一车牌预测框之外的车牌预测框；
从交并比小于或等于阈值的车牌预测框中，确定置信度最高的第二车牌预测框，并确定第二剩余车牌预测框与所述第二车牌预测框之间的交并比，直到交并比小于或等于阈值的车牌预测框不存在，则将所述第一车牌预测框、所述第二车牌预测框确定为样本图像的目标车牌预测框；所述第二剩余车牌预测框为多个车牌预测框中除了所述第一车牌预测框和所述第二车牌预测框之外的车牌预测框。
在本实施例中，通过计算样本图像的各个车牌预测框之间的交并比，将交并比大于阈值的车牌预测框剔除，相当于筛掉了部分冗余度较大的车牌预测框，可以获得相互之间重叠部分较少的车牌预测框，在不影响训练效果的情况下，尽可能地减少车牌检测模型后续的处理量，相对提高车牌检测模型的训练效率。
在一种可能的实施例中，每个样本图像的车牌检测结果还包括所述基于每个图像区域的是否属于车牌的置信度和基于每个图像区域所属车牌类别的类别分类结果，所述每类车牌下的样本图像对应的损失函数均还包括分类损失函数，针对每个样本图像的分类损失函数的取值是通过如下方式获得的：
根据确定出的目标车牌预测框对应的图像区域的置信度和类别分类结果，计算分类损失函数的取值。
本实施例中，根据目标车牌预测框对应的图像区域是否属于车牌的置信度和基于每个图像区域所属车牌类别的类别分类结果，计算分类损失函数的取值，基于车牌预测框与车牌真实框的分类差异，计算损失函数，保证训练后的车牌检测模型在识别车牌类型方面的检测性能。
在一种可能的实施例中，所述车牌检测模型包括特征提取模块，所述每类车牌下的样本图像对应的损失函数均还包括对抗损失函数，针对每个样本图像的对抗损失函数的取值是通过如下方式获得的：
将样本图像的特征图输入生成器，获得样本图像的生成图；每个样本图像的特征图是通过所述特征提取模块输出的；
将样本图像的生成图输入判别器，获得样本图像所属的第二场景预测结果；
根据所述第二预测场景结果，计算对抗损失函数的取值。
本实施例中，生成器根据特征图输出的生成图，判别器根据生成图获得样本图像所属的第二预测场景结果，也为样本图像属于真实场景的概率，并根据第二预测场景结果，计算对抗损失函数的取值，通过生成器和判别器对抗训练的方式，使训练后的车牌检测模型的鲁棒性更好。
第二方面，提供一种车牌检测方法，包括：
获取目标车辆图像集；
将所述目标车辆图像集输入训练后的车牌检测模型，获得目标车辆图像的车牌检测结果；其中，所述训练后的车牌检测模型是通过第一方面任一所述的方法训练得到的。
第三方面，提供一种车牌检测模型训练装置，包括：
获得模块，用于将样本图像集中各个样本图像输入车牌检测模型，获得每个样本图像的车牌检测结果，所述样本图像集为在不同场景下采集的车辆图像，所述样本图像集中存在至少两类车牌下的车辆图像；
确定模块，用于根据每类车牌类别下的样本图像数量占比所属的占比范围，确定每类车牌下的样本图像对应的损失函数；每类车牌类别下的样本图像数量占比所属的占比范围越小，对应类别车牌下的样本图像的损失函数对应的梯度损失越大；
调整模块，用于根据各类车牌类别下的样本图像对应的损失函数的取值，调整所述车牌检测模型的模型参数；
所述获得模块，还用于直到所述车牌检测模型收敛，获得训练后的车牌检测模型。
第四方面，提供一种车牌检测装置，包括：
获取模块，用于获取目标车辆图像集；
获得模块，用于将所述目标车辆图像集输入训练后的车牌检测模型，获得目标车辆图像的车牌检测结果；其中，所述训练后的车牌检测模型是通过第一方面任一所述的方法训练得到的。
第五方面，提供一种计算机设备，包括：
至少一个处理器，以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面或第二方面中任一项所述的方法。
第六方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面或第二方面中任一项所述的方法。
附图说明
图1为本申请实施例提供的一种车牌检测模型训练方法的应用场景示意图；
图2为本申请实施例提供的一种车牌检测模型的结构示意图；
图3为本申请实施例提供的一种车牌检测模型训练的流程示意图；
图4为本申请实施例提供的一种特征对齐的示意图；
图5为本申请实施例提供的一种生成器和判别器的网络结构示意图；
图6为本申请实施例提供的一种生成器和判别器的连接示意图；
图7A为现有技术中的车牌检测模型的检测效果图；
图7B为本申请实施例提供的车牌检测模型的检测效果图；
图8为本申请实施例提供的一种车牌检测模型训练装置的结构示意图；
图9为本申请实施例提供的一种车牌检测装置的结构示意图；
图10为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了更好的理解本申请实施例提供的技术方案，下面将结合说明书附图以及具体的实施方式进行详细的说明。
目前的车牌检测模型训练通常是采用单一场景下的样本图像集训练得到，该训练后的车牌检测模型在使用过程中，对于训练中经常出现的图像，其检测性能较好，而一旦场景改变，对于训练中偶然出现或从未出现的图像，其检测效果可能较差，即通过单一场景下的样本训练得到的车牌检测模型的泛化能力差。
鉴于此，本申请实施例提供一种车牌检测模型训练方法，下面对本申请实施例涉及的车牌检测模型训练方法的设计思路进行介绍：
在本申请实施例中，会根据每类车牌类别下的样本图像数量占比所属的占比范围不同，为每类车牌下的样本图像确定不同的损失函数，进而根据各类车牌类别下的样本图像对应的损失函数的取值，调整车牌检测模型的模型参数，直到车牌检测模型收敛，获得训练后的车牌检测模型。因此，本申请实施例通过为车牌类别数量不同的样本图像确定不同的损失函数，使得每类车牌类别下的样本图像数量占比所属的占比范围越小，对应类别车牌下的样本图像的损失函数对应的梯度损失越大，平衡不同数量的车牌类别之间的差异性，从而在源域和目标域的数据分布差异较大时，提高车牌检测模型的泛化能力。
在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
请参照图1，为本申请实施例提供的车牌检测模型训练方法的应用场景示意图。该应用场景可以包括拍摄装置110、训练设备120和检测设备130。训练设备120可以分别与拍摄装置110和检测设备130进行通信，检测设备130和拍摄装置110之间也可以进行通信。拍摄装置110例如为终端设备或摄像机等，终端设备例如包括相机、手机或平板电脑(Portable Android Device，PAD)等，还可能包括其他的带有拍摄功能的设备。训练设备120和检测设备130均可以通过终端或服务器实现，终端例如个人计算机、手机、或嵌入式设备等，嵌入式设备例如摄像头等，服务器例如实体服务或虚拟服务器等。
图1中是以训练设备120和检测设备130为两个相互独立的设备为例，但是实际上，训练设备120也可以是与检测设备130耦合，或者训练设备120和检测设备130为同一个设备。
下面对各个设备的主要功能进行介绍：拍摄装置110将样本图像集发送给训练设备120，训练设备120还可以是从网上数据库下载的样本图像，还可以是根据用户的输入操作获得样本图像。训练设备120中有预先构建的车牌检测模型，训练设备120在接收到样本图像集之后，根据样本图像集对车牌检测模型进行训练，获得训练后的车牌检测模型。其中，车牌检测模型训练方法将在下文中进行介绍。
进一步地，训练设备120可以将训练后的车牌检测模型发送给检测设备130。拍摄装置110在实时检测到目标车辆图像之后，可以将目标车辆图像发送给检测设备130，或者检测设备130可以自行拍摄目标车辆图像。检测设备130在获得目标车辆图像之后，通过训练后的车牌检测模型对目标车辆图像进行检测，获得车牌检测结果。其中，车牌检测方法将在下文中进行介绍。
下面先对本申请实施例需要进行训练的车牌检测模型的结构进行示例说明：
请参照图2，为本申请实施例提供的车牌检测模型的一种结构示意图。本申请实施例中的车牌检测模型实际可以采用多分类检测模型，其用于识别车辆图像中的车牌，以及该车牌所属的类别。车牌检测模型包括特征提取模块210和预测模块220，特征提取模块210还可以与生成器230连接、生成器230与判别器240连接，这里的连接是指两个模块之间可以传递对应的输出或输入。
特征提取模块210用于提取图像中的特征，例如可以用于提取样本图像对应的样本特征，以获得特征图。特征提取模块可以有多种实现方式，例如可以基于各种神经网络实现，例如可以通过全卷积网络实现，全卷积网络包括卷积部分和反卷积部分，卷积部分包括一层或多层卷积层，卷积部分用于提取特征，获得小尺寸的特征图，反卷积部分用于将小尺寸的特征图上采样到更大尺寸的特征图。预测模块220用于对特征提取模块210输出的特征图进行车牌预测，输出车牌检测结果，预测模块220例如可以是采用归一化层(softmax)实现。
进一步地，还可以引入对抗式生成网络训练，对抗式生成网络中的生成器230可以用于获取特征提取模块210输出的特征图，根据该特征图生成以假乱真的图像，对抗式生成网络中的判别器240用于判断该图像的真假。
基于图1论述的应用场景和图2论述的车牌检测模型的结构，下面以图1中训练设备120执行车牌检测模型训练方法为例进行介绍。请参照图3，为一种车牌检测模型训练方法的流程示意图，该方法包括：
S310，训练设备120将样本图像集中各个样本图像输入车牌检测模型，获得每个样本图像的车牌检测结果。
拍摄装置110采集了在不同场景下的车辆图像，将各个车辆图像发送给训练设备120，或者训练设备120可以从网络资源上下载或根据用户的输入获得车辆图像，以使得训练设备120根据这些样本图像进行训练。所谓不同场景可以理解为环境参数不同的情况下所采集的图像，环境参数例如环境位置、环境亮度或环境色调等。环境位置例如为不同场所下采集的车辆图像，例如在停车场入口或停车场出口，环境亮度或环境色调例如为不同亮度或色调下采集的车辆图像，例如黑夜或白天。对于两个不同场景下的样本图像，其中一个样本图像视为属于源域，另一个样本图像可以视为属于目标域。
样本图像集除了对应不同的场景下的样本图像，还应当包括多类车牌下的车辆图像。所谓类别是指车牌的类型，例如单层蓝牌、新能源牌、双层黄牌等。
具体的，训练设备120中有预先建立好的车牌检测模型，例如特征提取模块可以采用全卷积网络，该全卷积网络包括6层卷积层和3层池化层，为了降低耗时、减少计算量，第一个卷积层的步长设为2，全卷积网络整体下采样率设为16，最后一层卷积层输出大小设为19x19。预测模块可以直接通过归一化层实现，基于该19x19的特征图，输出车牌检测结果。
训练设备120获得样本图像集之后，将各个样本图像输入车牌检测模型。车牌检测模型的特征提取模块210，对输出样本图像进行卷积，输出样本图像对应的特征图，预测模块220接收特征提取模块210输出的特征图，并根据特征图获得车牌检测结果。
一种可能的实施例中，车牌检测结果仅包括样本图像是否包含车牌的置信度。这时每个样本图像的损失函数则对应与该置信度相关。
另一种可能的实施例中，每个样本图像实际上可以划分为多个图像区域，为了提高预测的准确性，在本申请实施例中的预测模块可以分别针对样本图像中每个图像区域进行预测，从而获得每个图像区域的车牌检测结果。车牌检测结果具体可以包括每个图像区域对应的场景预测结果、基于每个图像区域预测出的预测车牌中心坐标点、基于每个图像区域预测出的预测车牌长度、基于每个图像区域预测出的预测车牌宽度、基于每个图像区域的是否属于车牌的置信度、基于每个图像区域所属车牌类别的类别分类结果。
具体来说，车牌检测模块可以识别每个图像区域中各个像素点是否属于车牌，从而确定每个图像区域中属于车牌的车牌子区域，当然这部分车牌子区域可能为完整的车牌，也可能是车牌的部分，进而可以根据车牌的固定大小，以及该图像区域中的车牌子区域，从而确定基于该图像区域所对应的车牌预测框，自然也就能获得该图像区域对应的场景预测结果、基于该图像区域预测出的预测车牌中心坐标点、基于该图像区域预测出的预测车牌长度、基于该图像区域预测出的预测车牌宽度、该图像区域是否属于车牌的置信度、该图像区域所属车牌类别的类别分类结果等。
其中，场景预测结果表示该图像区域属于真实场景的概率。预测车牌中心坐标点指预测出的车牌的中心点的位置，如果在世界坐标系下表示该中心点，那么位置具体可以用世界坐标系下的X轴的坐标值和Y轴的坐标值进行表示。预测车牌长度指预测出的车牌的长度。预测车牌宽度指预测出的车牌的宽度。是否属于车牌的置信度指该图像区域包括车牌的概率。所属车牌类别的类别分类结果指该图像区域属于的每个车牌类别，具体可以通过概率值表示或分数值表示等。
在这种情况下，由于检测结果包括多个量，因此可以分别基于这些量构建损失函数，下面对上述这些量构建的损失函数进行介绍：
1、考虑到不同场景之间的差异，为了保证训练后的车牌检测模型在场景方面的检测性能，可以引入场景损失，该场景损失是用于表示预测出的样本图像所属的场景与样本图像真实所属的场景之间的差别，场景损失具体可以用场景损失函数和对抗损失函数来表示，场景损失函数和对抗损失函数具体可以用场景预测结果表示。
2、考虑到车牌预测框与车牌真实框的的尺寸差异，为了保证训练后的车牌检测模型在车牌尺寸方面的检测性能，可以引入尺寸损失，该尺寸损失用于表示预测的车牌框和真实的车牌框之间的尺寸差异，尺寸损失具体可以用尺寸损失函数来表示，尺寸损失函数具体可以用预测车牌中心坐标点、预测车牌长度和预测车牌宽度来计算。
3、考虑到车牌预测框与车牌真实框的的分类差异，为了保证训练后的车牌检测模型在车牌分类方面的检测性能，可以引入分类损失，该分类损失用于表示预测的样本图像包括车牌的置信度与样本图像真实包括车牌的置信度之间的差异，以及预测的样本图像的车牌所属类别和样本图像真实所属的车牌之间的差异。分类损失具体可以用分类损失函数来表示，分类损失函数具体可以用该图像区域是否属于车牌的置信度和该图像区域所属车牌类别的类别分类结果来计算。
S320，训练设备120根据每类车牌类别下的样本图像数量占比所属的占比范围，确定每类车牌下的样本图像对应的损失函数。
不同场景下的样本图像的数量不一致，可能会影响车牌检测模型在跨场景下的检测性能，因此，训练设备120可以对不同场景下的样本图像的进行特征对齐，使车牌检测模块针对不同场景下的图像处理能力尽可能一致。请参照图4，为本申请实施例提供的特征对齐的示意图。下面结合图4对本申请实施例涉及的特征对齐方式进行介绍：
训练设备120可以确定每类车牌类别下的样本图像数量占比，占比是指每类车牌类别下的样本图像数量占样本图像总数量的比例。训练设备120可以预存有多个不同的占比范围，以及每个占比范围所对应的损失函数，占比范围表示预设的占比的取值范围，不同的占比范围是指任意两个占比范围不存在相同的一个占比。所属的占比范围越小，则对应损失函数的损失梯度越大，损失函数是用来估量车牌检测模型输出的预测值与样本图像的真实值的不一致程度。梯度损失可以理解为对损失函数求导后的梯度变化，梯度损失越小，就能越快找到损失函数的最小值。
应当说明的是，每个占比范围所对应的损失函数可以包括一个或多个损失函数，当每个占比范围所对应的损失函数包括多个时，任意两个占比范围所对应的损失函数可以存在部分相同的损失函数，而其余的损失函数满足所属的占比范围越小，则对应损失函数的损失梯度越大这一点即可，或者当每个占比范围所对应的损失函数包括多个时，任意两个占比范围所对应的各个损失函数均满足所属的占比范围越小，则对应损失函数的损失梯度越大这一点。
在训练设备120确定当前车牌类别下的样本图像数量占比之后，可以确定该占比所属的占比范围，进而根据该占比所属的占比范围确定每类车牌下的样本图像对应的损失函数，使得每类车牌类别下的样本图像数量占比所属的占比范围越小，对应类别车牌下的样本图像的损失函数对应的梯度损失越大，实现不同场景下的样本图像的特征对齐。
下面以训练设备120基于场景损失实现特征对齐为例进行说明：具体训练设备120可以根据每类车牌类别下的样本图像数量占比所属的占比范围，为每类车牌下的样本图像确定的损失函数不同，以实现特征对齐。
在一种可能的实施例中，可以根据车牌所属的类别设置损失函数和占比范围，具体来说，车辆所属的类别数量等同于损失函数的类型数量，也等同于占比范围的数量，这样能够最大程度地区分不同类别样本的损失函数。例如车牌所属的类别包括红、黄、蓝三种，那么对应占比范围也可以设置三个，每个占比范围对应一种损失函数。
下面对本申请实施例涉及的特征对齐的方式进行示例说明：
一、若任一类车牌类别下的样本图像的数量占比属于第一占比范围，则确定任一类车牌类别对应的样本图像对应的损失函数包括第一场景损失函数。
第一场景损失函数用于表示每个样本图像的真实所属的场景标签值与车牌检测模型输出的第一预测场景结果之间的绝对差值，第一预测场景结果为每个样本图像属于真实场景的概率。例如，某样本图像的真实所属的目标域标签值为“1”，该样本图像属于目标域的概率为90％。
二、若任一类车牌类别下的样本图像的数量占比属于第二占比范围，则确定任一类车牌类别对应的样本图像对应的损失函数包括第二场景损失函数。
第二场景损失函数用于表示车牌检测模型输出的每个样本图像的第一预测场景结果的对数；
三、若任一类车牌类别下的样本图像的数量占比属于第三占比范围，则确定任一类车牌类别对应的样本图像对应的损失函数包括第三场景损失函数。
第三场景损失函数用于表示每个样本图像的真实所属的场景标签值与车牌检测模型输出的第一预测场景结果之间的差值的平方。
其中，第一占比范围的最大值小于第二占比范围的最小值，第二占比范围的最大值小于第三占比范围的最小值。例如，第一占比范围为(0,0.3]，第二占比范围为(0.3,0.6]，第三占比范围为(0.6,1.0]。
例如，第一场景损失函数、第二场景损失函数以及第三场景损失函数可以分别参照公式(1)～(3)：
其中，L1表示第一场景损失函数；L2表示第二场景损失函数；L3表示第三场景损失函数；N表示样本图像的总数量，即特征图的总数量；W表示特征图的长度；H表示特征图的宽度；Pt表示第t类车牌类别下的样本图像的数量占总样本图像数量的占比；pi,j,k表示第i个样本图像对应的特征图属于真实场景的概率；yi表示第i个样本图像对应的特征图的真实所属的场景标签值。其中，(a，b]对应表示第一占比范围，(b，c]对应表示第二占比范围，(c，d]对应表示第三占比范围。
应当说明的是，车牌检测模型中的特征提取模块可能包括多个卷积层，每一个卷积层实际上都可以输出对应的特征图，在得到预测结果时，如果以最后一层卷积层输出的特征图作为分类标准，由于该特征图的分辨率过小进而可能影响预测结果，因此车牌检测模型根据中间层输出的特征图计算第一场景损失函数或第二场景损失函数或第三场景损失函数，以获得样本图像更准确的分类结果。
在一种可能的实施例中，当损失函数包括尺寸损失函数时，针对每个样本图像的尺寸损失函数的取值是通过如下方式获得的：
针对样本图像中多个图像区域中每个图像区域，根据对应图像区域的基于每个图像区域预测出的预测车牌中心坐标点、基于每个图像区域预测出的预测车牌长度和基于每个图像区域预测出的预测车牌宽度，确定对应图像区域的车牌预测框，以获得样本图像所对应的多个车牌预测框，并将满足预设条件的车牌预测框确定为样本图像的目标车牌预测框。
训练设备120在获得了样本图像所对应的多个车牌预测框之后，由于样本图像所对应的车牌预测框可能较多，为了筛掉冗余的车牌预测框，减少后续的处理量，训练设备120可以对多个车牌预测框进行筛选，将满足预设条件的车牌预测框确定为样本图像的目标车牌预测框。
训练设备120根据不同的预设条件，确定出的样本图像的目标车牌预测框不同，具体示例如下：
一、训练设备120可以基于各个车牌预测框与车牌真实框之间的交并比筛选车牌预测框。
针对样本图像所对应的多个车牌预测框中每个车牌预测框，训练设备120计算对应车牌预测框与样本图像的车牌真实框之间的交并比，将交并比大于阈值的车牌检测框确定为样本图像的目标车牌预测框。
二、训练设备120可以基于各个车牌预测框之间的交并比筛选车牌预测框，例如，非极大值抑制(Non Maximum Suppression,NMS)算法。
针对样本图像所对应的多个车牌预测框，训练设备120确定置信度最高的第一车牌预测框，并确定其余第一剩余车牌预测框与第一车牌预测框之间的交并比。训练设备120从交并比小于或等于阈值的车牌预测框中，确定置信度最高的第二车牌预测框，并确定其它第二剩余车牌预测框与第二车牌预测框之间的交并比，直到交并比小于或等于阈值的车牌预测框不存在，则训练设备120将第一车牌预测框、第二车牌预测框确定为样本图像的目标车牌预测框。本申请实施例通过比较各个车牌预测框之间的交并比，将重叠部分较多的车牌预测框剔除，消除冗余的车牌预测框，从而提高模型的训练效率。
其中，置信度为每个车牌预测框是否属于车牌的概率；第一剩余车牌预测框为多个车牌预测框中除了第一车牌预测框之外的车牌预测框；第二剩余车牌预测框为多个车牌预测框中除了第一车牌预测框和第二车牌预测框之外的车牌预测框。交并比是指两个矩形框面积的交集和并集的比值，交并比可以参考下式：
其中，IOU表示两个车牌预测框的交并比；S1表示S2分别表示两个不同车牌预测框的面积。
例如，样本图像对应有4个车牌预测框，A框的置信度为90％，B框的置信度为80％，C框的置信度为70％，D框的置信度为60％，将置信度最大的A框确定为第一车牌预测框，A框与C框的交并比大于阈值，删除C框，A框与B框的交并比以及A框与D框的交并比均小于或等于阈值，保留B框和D框。将置信度最大的B框确定为第二车牌预测框，B框与D框的交并比大于阈值，删除D框，此时交并比小于或等于阈值的车牌预测框没有了，因此，将A框和B框确定为样本图像的目标车牌预测框。
进一步的，训练设备120确定出的目标车牌预测框可能不止一个，根据每个目标车牌预测框对应的预测车牌中心坐标点、预测车牌长度和预测车牌宽度，计算尺寸损失函数的取值。
例如，尺寸损失函数可以参考下式：
其中，L4表示尺寸损失函数，S表示样本图像中图像区域的总数量；B表示针对每个图像区域预先设置的框的数量；i表示样本图像中第i个图像区域；j表示设置的第j个框；
和
表示样本图像中的真实车牌中心坐标点；xi和yi表示基于第i个图像区域预测出的预测车牌中心坐标点；
表示样本图像中的真实车牌长度；
表示样本图像中的真实车牌宽度；wi表示基于第i个图像区域预测出的预测车牌车牌长度；hi表示基于第i个图像区域预测出的预测车牌宽度。
应当说明的是，每个样本图像中可能有一个或多个车牌真实框，每个车牌真实框对应有真实车牌中心坐标点、真实车牌长度和真实车牌宽度，因此在计算尺寸损失函数的取值时，计算每个目标车牌预测框与每个车牌真实框的损失，并求和。
在一种可能的实施例中，当损失函数包括分类损失函数时，针对每个样本图像的分类损失函数的取值是通过如下方式获得的：
训练设备120在确定出了目标车牌预测框之后，根据确定出的目标车牌预测框对应的图像区域的置信度和类别分类结果，计算分类损失函数的取值。其中，置信度表示目标车牌预测框对应的图像区域属于车牌的概率，类别分类结果表示目标车牌预测框对应的图像区域的所属车牌类别。
例如，分类损失函数可以参考如下公式：
其中，L5表示分类损失函数；S表示样本图像中图像区域的总数量；B表示针对每个图像区域预先设置的框的数量；i表示样本图像中第i个图像区域；j表示设置的第j个框；
表示第i个图像区域是否属于车牌的真实标签值；Ci表示第i个图像区域是否属于车牌的置信度；N表示样本图像中车牌的类别数量；k表示第k个车牌类别，
表示第i个图像区域属于第k个车牌类别的真实标签值；Pi(k)表示第i个图像区域属于第k个车牌类别的概率。
在一种可能的实施例中，当损失函数包括对抗损失函数时，针对每个样本图像的对抗损失函数的取值是通过如下方式获得的：
生成器230接收特征提取模块210输出的样本图像对应的特征图，并根据样本图像对应的特征图，获得样本图像的生成图。判别器240接收生成器230输出样本图像的生成图，获得样本图像所属的第二预测场景结果，第二预测场景结果为样本图像属于真实场景的概率。训练设备120根据第二预测场景结果，计算对抗损失函数的取值。例如，将样本图像对应的特征图输入生成器230，判别器240对该样本图像的生成图进行判别，获得该样本图像属于目标域的概率为90％。
例如，对抗损失函数可以参考下式：
其中，L6表示对抗损失函数；N表示样本图像的总数量，即特征图的总数量；W表示特征图的长度；H表示特征图的宽度；pi,j,k表示将第i个样本图像属于真实场景的概率。
例如，生成器230和判别器240可以采用残差网络的结构，有14个卷积层，上采样和下采样倍率均为16，保证生成图像和原始图像大小一致。请参照图5，为本申请实施例提供的生成器和判别器的网络结构示意图。
请参照图6，为本申请实施例提供的生成器和判别器的输入示意图。图6中先将源域样本图像对应的特征图输入生成器230，再将生成器230的输出、源域样本图像以及目标域样本图像一块输入判别器240。
S330，训练设备120根据各类车牌类别下的样本图像对应的损失函数的取值，调整车牌检测模型的模型参数。
具体的，训练设备120在步骤S320之后，确定了多个损失函数，包括第一场景损失函数或第二场景损失函数获第三场景损失函数、尺寸损失函数、分类损失函数以及对抗损失函数。训练设备120基于各个损失函数分别调整车牌检测模型的模型参数，例如采用梯度下降法，对每个损失函数求偏导数，求得梯度向量，并沿着梯度向量相反的方向，找到每个损失函数的最小值，此时的模型参数是最优参数。
S340，直到车牌检测模型收敛，训练设备120获得训练后的车牌检测模型。
一直重复S310～S330，直到车牌检测模型收敛，则停止执行S310～S330的步骤，训练设备120可以获得训练后的车牌检测模型。车牌检测模型收敛包括：误差满足预设阈值，或者训练次数达到最大训练次数，或者模型的学习率满足预设学习率。
基于同一发明构思，本申请实施例提供一种车牌检测方法，包括：
检测设备130获取目标车辆图像集；目标车辆图像集采集的任一场景下的车辆图像。
检测设备130将目标车辆图像集输入训练后的车牌检测模型，获得目标车辆图像的车牌检测结果。
训练后的车牌检测模型是通过训练设备120的车牌检测模型训练方法训练得到的，或者由检测设备130通过上述方法训练获得，其中获得车牌检测模型的方式可以参照前文论述的内容，此处不再赘述。训练设备120在获得目标车辆图像之后，将该目标车辆图像输入至车牌检测模型中，从而获得车牌检测结果，车牌检测模型处理目标车辆图像的具体方式可以参照前文论述的内容，此处不再赘述。
其中，该车牌检测结果至少包括该车辆图像中的车牌检测框，以及还可以包括：预测车牌中心坐标点、预测车牌长度、预测车牌宽度和预测车牌类别中的一种或多种。该车牌检测框可以是根据预测车牌中心坐标点、预测车牌长度和预测车牌宽度可以得到车牌预测框。
请参照图7A，为现有技术中的车牌检测模型的检测效果图。其中，图7A的左图为现有车牌检测模型在白天的检测效果图，可以检测出其中的车牌预测框，箭头所指的虚线框为车牌预测框，图7A的右图为现有车牌检测模型在夜晚的检测效果图，不能检测出其中的车牌预测框。
请参照图7B，为本申请实施例提供的车牌检测模型的检测效果图。其中，图7B的左图为本申请实施例提供的车牌检测模型在白天的检测效果图，可以检测出其中的车牌预测框，图7B的右图为本申请实施例提供的车牌检测模型在夜晚的检测效果图，也可以检测出其中的车牌预测框，箭头所指的虚线框为车牌预测框。
基于同一发明构思，本申请实施例提供一种车牌检测模型训练装置，请参照图8，该装置设置在前文论述的训练设备120中，可以用于实现前文论述的训练设备120的功能，该装置包括：
获得模块801，用于将样本图像集中各个样本图像输入车牌检测模型，获得每个样本图像的车牌检测结果，样本图像集为在不同场景下采集的车辆图像，样本图像集中存在至少两类车牌下的车辆图像；
确定模块802，用于根据每类车牌类别下的样本图像数量占比所属的占比范围，确定每类车牌下的样本图像对应的损失函数；每类车牌类别下的样本图像数量占比所属的占比范围越小，对应类别车牌下的样本图像的损失函数对应的梯度损失越大；
调整模块803，用于根据各类车牌类别下的样本图像对应的损失函数的取值，调整车牌检测模型的模型参数；
获得模块801，还用于直到车牌检测模型收敛，获得训练后的车牌检测模型。
在一种可能的实施例中，每个样本图像的车牌检测结果包括对应样本图像所属的场景预测结果；占比范围包括第一占比范围、第二占比范围和第三占比范围，第一占比范围的最大值小于第二占比范围的最小值，第二占比范围的最大值小于第三占比范围的最小值；确定模块802具体用于：
若任一类车牌类别下的样本图像的数量占比属于第一占比范围，则确定任一类车牌类别对应的样本图像对应的损失函数包括第一场景损失函数；第一场景损失函数用于表示每个样本图像的真实所属的场景标签值与对应样本图像的第一场景预测结果之间的绝对差值；
若任一类车牌类别下的样本图像的数量占比属于第二占比范围，则确定任一类车牌类别对应的样本图像对应的损失函数包括第二场景损失函数；第二场景损失函数用于表示第一场景预测结果的对数；
若任一类车牌类别下的样本图像的数量占比属于第三占比范围，则确定任一类车牌类别对应的样本图像对应的损失函数包括第三场景损失函数；第三损失函数用于表示每个样本图像的真实所属的场景标签值与对应样本图像的第一场景预测结果之间的差值的平方。
在一种可能的实施例中，每个样本图像包括多个图像区域，每个样本图像的车牌检测结果包括基于每个图像区域预测出的预测车牌中心坐标点、基于每个图像区域预测出的预测车牌长度和基于每个图像区域预测出的预测车牌宽度，每类车牌下的样本图像对应的损失函数均还包括尺寸损失函数，针对每个样本图像的尺寸损失函数的取值是通过如下方式获得的：
针对样本图像中多个图像区域中每个图像区域，根据对应图像区域的基于每个图像区域预测出的预测车牌中心坐标点、基于每个图像区域预测出的预测车牌长度和基于每个图像区域预测出的预测车牌宽度，确定对应图像区域的车牌预测框，以获得样本图像所对应的多个车牌预测框；
将满足预设条件的车牌预测框确定为样本图像的目标车牌预测框；
根据确定出的目标车牌预测框对应的预测车牌中心坐标点、预测车牌长度和预测车牌宽度，计算尺寸损失函数的取值。
在一种可能的实施例中，确定模块802还用于：
针对样本图像所对应的多个车牌预测框，确定置信度最高的第一车牌预测框，并确定第一剩余车牌预测框与第一车牌预测框之间的交并比；置信度表示样本图像包含车牌的概率，第一剩余车牌预测框为多个车牌预测框中除了第一车牌预测框之外的车牌预测框；
从交并比小于或等于阈值的车牌预测框中，确定置信度最高的第二车牌预测框，并确定第二剩余车牌预测框与第二车牌预测框之间的交并比，直到交并比小于或等于阈值的车牌预测框不存在，则将第一车牌预测框、第二车牌预测框确定为样本图像的目标车牌预测框；第二剩余车牌预测框为多个车牌预测框中除了第一车牌预测框和第二车牌预测框之外的车牌预测框。
在一种可能的实施例中，每个样本图像的车牌检测结果还包括基于每个图像区域的是否属于车牌的置信度和基于每个图像区域所属车牌类别的类别分类结果，每类车牌下的样本图像对应的损失函数均还包括分类损失函数，针对每个样本图像的分类损失函数的取值是通过如下方式获得的：
根据确定出的目标车牌预测框对应的图像区域的置信度和类别分类结果，计算分类损失函数的取值。
在一种可能的实施例中，车牌检测模型包括特征提取模块，每类车牌下的样本图像对应的损失函数均还包括对抗损失函数，针对每个样本图像的对抗损失函数的取值是通过如下方式获得的：
将样本图像的特征图输入生成器，获得样本图像的生成图；每个样本图像的特征图是通过特征提取模块输出的；
将样本图像的生成图输入判别器，获得样本图像所属的第二场景预测结果；
根据第二预测场景结果，计算对抗损失函数的取值。
应当说明的是，图8中装置还可以用于实现前文论述的任一的车牌检测模型训练方法，此处不再赘述。
基于同一发明构思，本申请实施例提供一种车牌检测装置，该装置相当于前文设置在前文中检测设备130中，用于实现检测设备130的功能，请参照图9，该装置包括：
获取模块901，用于获取目标车辆图像集；
获得模块902，用于将目标车辆图像集输入训练后的车牌检测模型，获得目标车辆图像的车牌检测结果；其中，训练后的车牌检测模型是通过前文论述的车牌检测训练方法得到的。
应当说明的是，图9中装置还可以用于实现前文论述的任一的车牌检测方法，此处不再赘述。
基于同一发明构思，本申请实施例提供一种计算机设备，请参照图10，该设备相当于前文论述的训练设备120或检测设备130，该设备包括：
至少一个处理器1001，以及
与至少一个处理器1001通信连接的存储器1002；
其中，存储器1002存储有可被至少一个处理器1001执行的指令，至少一个处理器1001通过执行存储器1002存储的指令实现如前文论述的车牌检测模型训练方法和/或车牌检测方法。
处理器1001可以是一个中央处理单元(central processing unit，CPU)，或者为数字处理单元、或为图像处理器等中的一种或多种组合。存储器1002可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1002也可以是非易失性存储器(non-volatile memory)，例如只读存储器，快闪存储器(flashmemory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1002是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1002可以是上述存储器的组合。
作为一种实施例，图10中的处理器1001可以实现前文论述的车牌检测模型训练方法和/或车牌检测方法，处理器1001还可以实现前文图8和/或图9论述的装置的功能。
基于同一发明构思，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如前文论述的车牌检测模型训练方法和/或车牌检测方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (11)
1.一种车牌检测模型训练方法，其特征在于，包括：
将样本图像集中各个样本图像输入车牌检测模型，获得每个样本图像的车牌检测结果，所述样本图像集为在不同场景下采集的车辆图像，所述样本图像集中存在至少两类车牌下的车辆图像；
根据每类车牌类别下的样本图像数量占比所属的占比范围，确定每类车牌下的样本图像对应的损失函数；每类车牌类别下的样本图像数量占比所属的占比范围越小，对应类别车牌下的样本图像的损失函数对应的梯度损失越大；
根据各类车牌类别下的样本图像对应的损失函数的取值，调整所述车牌检测模型的模型参数；
直到所述车牌检测模型收敛，获得训练后的车牌检测模型。
2.如权利要求1所述的方法，其特征在于，每个样本图像的车牌检测结果包括对应样本图像所属的场景预测结果；所述占比范围包括第一占比范围、第二占比范围和第三占比范围，所述第一占比范围的最大值小于所述第二占比范围的最小值，所述第二占比范围的最大值小于所述第三占比范围的最小值；根据每类车牌类别下的样本图像数量占比所属的占比范围，确定每类车牌下的样本图像对应的损失函数，包括：
若任一类车牌类别下的样本图像的数量占比属于所述第一占比范围，则确定所述任一类车牌类别对应的样本图像对应的损失函数包括第一场景损失函数；所述第一场景损失函数用于表示每个样本图像的真实所属的场景标签值与所述对应样本图像的第一场景预测结果之间的绝对差值；
若任一类车牌类别下的样本图像的数量占比属于所述第二占比范围，则确定所述任一类车牌类别对应的样本图像对应的损失函数包括第二场景损失函数；所述第二场景损失函数用于表示第一场景预测结果的对数；
若任一类车牌类别下的样本图像的数量占比属于所述第三占比范围，则确定所述任一类车牌类别对应的样本图像对应的损失函数包括第三场景损失函数；所述第三损失函数用于表示每个样本图像的真实所属的场景标签值与所述对应样本图像的第一场景预测结果之间的差值的平方。
3.如权利要求1或2所述的方法，其特征在于，每个样本图像包括多个图像区域，每个样本图像的车牌检测结果包括基于每个图像区域预测出的预测车牌中心坐标点、基于每个图像区域预测出的预测车牌长度和基于每个图像区域预测出的预测车牌宽度，所述每类车牌下的样本图像对应的损失函数均还包括尺寸损失函数，针对每个样本图像的尺寸损失函数的取值是通过如下方式获得的：
针对样本图像中多个图像区域中每个图像区域，根据对应图像区域的基于每个图像区域预测出的预测车牌中心坐标点、基于每个图像区域预测出的预测车牌长度和基于每个图像区域预测出的预测车牌宽度，确定对应图像区域的车牌预测框，以获得样本图像所对应的多个车牌预测框；
将满足预设条件的车牌预测框确定为样本图像的目标车牌预测框；
根据确定出的目标车牌预测框对应的预测车牌中心坐标点、预测车牌长度和预测车牌宽度，计算尺寸损失函数的取值。
4.如权利要求3所述的方法，其特征在于，将满足预设条件的车牌预测框确定为样本图像的目标车牌预测框，包括：
针对样本图像所对应的多个车牌预测框，确定置信度最高的第一车牌预测框，并确定第一剩余车牌预测框与所述第一车牌预测框之间的交并比；所述置信度表示样本图像包含车牌的概率，所述第一剩余车牌预测框为多个车牌预测框中除了第一车牌预测框之外的车牌预测框；
从交并比小于或等于阈值的车牌预测框中，确定置信度最高的第二车牌预测框，并确定第二剩余车牌预测框与所述第二车牌预测框之间的交并比，直到交并比小于或等于阈值的车牌预测框不存在，则将所述第一车牌预测框、所述第二车牌预测框确定为样本图像的目标车牌预测框；所述第二剩余车牌预测框为多个车牌预测框中除了所述第一车牌预测框和所述第二车牌预测框之外的车牌预测框。
5.如权利要求3所述的方法，其特征在于，每个样本图像的车牌检测结果还包括所述基于每个图像区域的是否属于车牌的置信度和基于每个图像区域所属车牌类别的类别分类结果，所述每类车牌下的样本图像对应的损失函数均还包括分类损失函数，针对每个样本图像的分类损失函数的取值是通过如下方式获得的：
根据确定出的目标车牌预测框对应的图像区域的置信度和类别分类结果，计算分类损失函数的取值。
6.如权利要求1或2所述的方法，其特征在于，所述车牌检测模型包括特征提取模块，所述每类车牌下的样本图像对应的损失函数均还包括对抗损失函数，针对每个样本图像的对抗损失函数的取值是通过如下方式获得的：
将样本图像的特征图输入生成器，获得样本图像的生成图；每个样本图像的特征图是通过所述特征提取模块输出的；
将样本图像的生成图输入判别器，获得样本图像所属的第二场景预测结果；
根据所述第二预测场景结果，计算对抗损失函数的取值。
7.一种车牌检测方法，其特征在于，包括：
获取目标车辆图像集；
将所述目标车辆图像集输入训练后的车牌检测模型，获得目标车辆图像的车牌检测结果；其中，所述训练后的车牌检测模型是通过权利要求1～6任一所述的方法训练得到的。
8.一种车牌检测模型训练装置，其特征在于，包括：
获得模块，用于将样本图像集中各个样本图像输入车牌检测模型，获得每个样本图像的车牌检测结果，所述样本图像集为在不同场景下采集的车辆图像，所述样本图像集中存在至少两类车牌下的车辆图像；
确定模块，用于根据每类车牌类别下的样本图像数量占比所属的占比范围，确定每类车牌下的样本图像对应的损失函数；每类车牌类别下的样本图像数量占比所属的占比范围越小，对应类别车牌下的样本图像的损失函数对应的梯度损失越大；
调整模块，用于根据各类车牌类别下的样本图像对应的损失函数的取值，调整所述车牌检测模型的模型参数；
所述获得模块，还用于直到所述车牌检测模型收敛，获得训练后的车牌检测模型。
9.一种车牌检测装置，其特征在于，包括：
获取模块，用于获取目标车辆图像集；
获得模块，用于将所述目标车辆图像集输入训练后的车牌检测模型，获得目标车辆图像的车牌检测结果；其中，所述训练后的车牌检测模型是通过权利要求1～6任一所述的方法训练得到的。
10.一种计算机设备，其特征在于，包括：
至少一个处理器，以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-6或7中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-6或7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403773.6A CN112597995B (zh) | 2020-12-02 | 2020-12-02 | 车牌检测模型训练方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403773.6A CN112597995B (zh) | 2020-12-02 | 2020-12-02 | 车牌检测模型训练方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112597995A true CN112597995A (zh) | 2021-04-02 |
| CN112597995B CN112597995B (zh) | 2023-11-03 |
Family
ID=75188161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011403773.6A Active CN112597995B (zh) | 2020-12-02 | 2020-12-02 | 车牌检测模型训练方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112597995B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113553948A (zh) * | 2021-07-23 | 2021-10-26 | 中远海运科技(北京)有限公司 | 烟虫自动识别和计数方法、计算机可读介质 |
| CN114663731A (zh) * | 2022-05-25 | 2022-06-24 | 杭州雄迈集成电路技术股份有限公司 | 车牌检测模型的训练方法及系统、车牌检测方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190095571A (ko) * | 2018-01-19 | 2019-08-16 | 한국기술교육대학교 산학협력단 | 차량번호판 자동인식 방법 |
| US20190378347A1 (en) * | 2018-06-11 | 2019-12-12 | Raytheon Company | Architectures for vehicle tolling |
| CN110807491A (zh) * | 2019-11-05 | 2020-02-18 | 上海眼控科技股份有限公司 | 车牌图像清晰度模型训练方法、清晰度检测方法及装置 |
| CN111582261A (zh) * | 2020-04-30 | 2020-08-25 | 浙江大华技术股份有限公司 | 一种非机动车的车牌识别方法和车牌识别装置 |
| CN111611947A (zh) * | 2020-05-25 | 2020-09-01 | 济南博观智能科技有限公司 | 一种车牌检测方法、装置、设备及介质 |
| CN111797829A (zh) * | 2020-06-24 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种车牌检测方法、装置、电子设备和存储介质 |
| CN111881958A (zh) * | 2020-07-17 | 2020-11-03 | 上海东普信息科技有限公司 | 车牌分类识别方法、装置、设备及存储介质 |
-
2020
- 2020-12-02 CN CN202011403773.6A patent/CN112597995B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190095571A (ko) * | 2018-01-19 | 2019-08-16 | 한국기술교육대학교 산학협력단 | 차량번호판 자동인식 방법 |
| US20190378347A1 (en) * | 2018-06-11 | 2019-12-12 | Raytheon Company | Architectures for vehicle tolling |
| CN110807491A (zh) * | 2019-11-05 | 2020-02-18 | 上海眼控科技股份有限公司 | 车牌图像清晰度模型训练方法、清晰度检测方法及装置 |
| CN111582261A (zh) * | 2020-04-30 | 2020-08-25 | 浙江大华技术股份有限公司 | 一种非机动车的车牌识别方法和车牌识别装置 |
| CN111611947A (zh) * | 2020-05-25 | 2020-09-01 | 济南博观智能科技有限公司 | 一种车牌检测方法、装置、设备及介质 |
| CN111797829A (zh) * | 2020-06-24 | 2020-10-20 | 浙江大华技术股份有限公司 | 一种车牌检测方法、装置、电子设备和存储介质 |
| CN111881958A (zh) * | 2020-07-17 | 2020-11-03 | 上海东普信息科技有限公司 | 车牌分类识别方法、装置、设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113553948A (zh) * | 2021-07-23 | 2021-10-26 | 中远海运科技(北京)有限公司 | 烟虫自动识别和计数方法、计算机可读介质 |
| CN114663731A (zh) * | 2022-05-25 | 2022-06-24 | 杭州雄迈集成电路技术股份有限公司 | 车牌检测模型的训练方法及系统、车牌检测方法及系统 |
| CN114663731B (zh) * | 2022-05-25 | 2022-09-20 | 杭州雄迈集成电路技术股份有限公司 | 车牌检测模型的训练方法及系统、车牌检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112597995B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112862702B (zh) | 图像增强方法、装置、设备及存储介质 | |
| CN109359666A (zh) | 一种基于多特征融合神经网络的车型识别方法及处理终端 | |
| CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
| CN112287912B (zh) | 基于深度学习的车道线检测方法以及装置 | |
| CN108182421A (zh) | 视频分割方法和装置 | |
| CN112084869A (zh) | 一种基于紧致四边形表示的建筑物目标检测方法 | |
| CN110176024B (zh) | 在视频中对目标进行检测的方法、装置、设备和存储介质 | |
| CN107563299B (zh) | 一种利用ReCNN融合上下文信息的行人检测方法 | |
| CN112288758B (zh) | 一种电力设备红外与可见光图像配准方法 | |
| CN111127520B (zh) | 一种基于视频分析的车辆跟踪方法和系统 | |
| CN112597995B (zh) | 车牌检测模型训练方法、装置、设备及介质 | |
| CN112115979B (zh) | 一种红外图像和可见图像的融合方法及设备 | |
| CN114926766A (zh) | 识别方法及装置、设备、计算机可读存储介质 | |
| CN115239710A (zh) | 基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法 | |
| WO2022222036A1 (zh) | 车位确定方法及装置 | |
| CN113723229A (zh) | 信号灯的检测方法、装置及计算机可读存储介质 | |
| CN113936252A (zh) | 基于视频监控的电瓶车智能管理系统及方法 | |
| CN110738229B (zh) | 一种细粒度图像分类方法、装置及电子设备 | |
| CN114611635B (zh) | 一种对象的识别方法、装置、存储介质及电子装置 | |
| CN115984646A (zh) | 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星 | |
| CN112257666B (zh) | 目标图像内容的聚合方法、装置、设备及可读存储介质 | |
| CN110852314B (zh) | 一种基于相机投影模型的物品检测网络方法 | |
| CN114373081A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN112686155A (zh) | 图像识别方法、装置、计算机可读存储介质及处理器 | |
| CN113936134A (zh) | 一种目标检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |