CN112381129A - 车牌分类方法、装置、存储介质和电子设备 - Google Patents

车牌分类方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN112381129A
CN112381129A CN202011245759.8A CN202011245759A CN112381129A CN 112381129 A CN112381129 A CN 112381129A CN 202011245759 A CN202011245759 A CN 202011245759A CN 112381129 A CN112381129 A CN 112381129A
Authority
CN
China
Prior art keywords
license plate
region
plate image
features
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011245759.8A
Other languages
English (en)
Inventor
李轶锟
王耀农
敦婧瑜
薛佳乐
张湾湾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011245759.8A priority Critical patent/CN112381129A/zh
Publication of CN112381129A publication Critical patent/CN112381129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

本申请提供一种车牌分类方法、装置、存储介质和电子设备，属于计算机技术领域，涉及人工智能和计算机视觉技术。本申请提供的车牌分类方法，通过提取待分类的车牌图像的车牌特征，可以确定车牌图像中的车牌对应的第一分类结果，进而确定出车牌所属的第一区域。通过对车牌图像的字符序列特征进行提取，得到融合特征，可以确定车牌图像中的车牌对应的第二分类结果，进而确定出车牌所属的第二区域。其中，第一区域的地域范围大于第二区域的地域范围。当第二分类结果符合设定的区分度条件时，输出车牌所属的第二区域，当第二分类结果不符合设定的区分度条件时，输出车牌所属的第一区域。从而可以提高车牌分类的准确度和合理性。

Description

车牌分类方法、装置、存储介质和电子设备
技术领域
本申请实施例涉及图像处理领域，尤其涉及一种车牌分类方法、装置、存储介质和电子设备。
背景技术
随着智能交通的不断发展，对车牌进行分类已经越来越普遍。目前的车牌分类方法通常只适应于对在某个特定场景中采集到的车牌图像进行分类，当车牌的角度、大小、成像、亮度等发生明显的变化，或者车牌极度相似时，这些分类方法就会失效。当车牌图像过于模糊或者车牌图像中的车牌信息缺失时，这些分类方法也会失效。
目前的车牌分类方法的分类精度不高，无法准确地确定出车牌图像中的车牌所属的具体区域。
发明内容
为解决现有存在的技术问题，本申请实施例提供了一种车牌分类方法、装置、存储介质和电子设备，可以提高车牌分类的准确度。
为达到上述目的，本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种车牌分类方法，所述方法包括：
提取待分类的车牌图像的车牌特征；
根据所述车牌图像的车牌特征，确定所述车牌图像中的车牌对应的第一分类结果，并根据所述第一分类结果确定所述车牌所属的第一区域；
提取所述车牌图像的字符序列特征，并生成所述车牌特征和所述字符序列特征的融合特征；
根据所述车牌图像的车牌特征和字符序列特征的融合特征，确定所述车牌图像中的车牌对应的第二分类结果，并根据所述第二分类结果确定所述车牌所属的第二区域；所述第一区域的地域范围大于所述第二区域的地域范围；
若所述第二分类结果符合设定的区分度条件，输出所述车牌所属的第二区域；若所述第二分类结果不符合设定的区分度条件，输出所述车牌所属的第一区域。
本申请实施例提供的车牌分类方法，通过提取待分类的车牌图像的车牌特征，根据车牌特征确定车牌图像中的车牌对应的第一分类结果，再根据第一分类结果可以确定出车牌所属的第一区域。通过对车牌图像的字符序列特征进行提取，得到车牌特征和字符序列特征的融合特征，进而根据融合特征确定车牌图像中的车牌对应的第二分类结果，再根据第二分类结果可以确定出车牌所属的第二区域。其中，第一区域的地域范围大于第二区域的地域范围。当第二分类结果符合设定的区分度条件时，输出车牌所属的第二区域，当第二分类结果不符合设定的区分度条件时，则输出车牌所属的第一区域。从而可以提高车牌分类的准确度和合理性。
在一种可选的实施例中，所述提取待分类的车牌图像的车牌特征，包括：
将所述车牌图像输入特征提取网络，得到所述车牌图像的车牌特征；
提取所述车牌图像的字符序列特征，包括：
将所述车牌图像的车牌特征输入长短期记忆网络，得到所述车牌图像的字符序列特征。
在该实施例中，通过将车牌图像输入特征提取网络，可以得到车牌图像的车牌特征，通过将车牌图像的车牌特征输入长短期记忆网络，可以得到车牌图像的字符序列特征，从而可以提升对车牌进行分类的分类准确率。
在一种可选的实施例中，根据所述车牌图像的车牌特征，确定所述车牌图像中的车牌对应的第一分类结果，并根据所述第一分类结果确定所述车牌所属的第一区域，包括：
将所述车牌图像的车牌特征输入第一分类神经网络，得到所述车牌图像中的车牌对应的第一分类结果；所述第一分类结果包括所述车牌图像的车牌对应于每个第一区域的置信度；
将置信度最大的第一区域作为所述车牌图像中的车牌所属的第一区域。
在该实施例中，将提取出的车牌特征输入到第一分类神经网络中，从而可以得到车牌图像中的车牌对应的第一分类结果，由于第一分类结果中包括车牌图像的车牌对应于每个第一区域的置信度，因此可以将置信度最大的第一区域作为车牌图像中的车牌所属的第一区域。从而可以较为准确地确定出车牌图像中的车牌所属的第一区域。
在一种可选的实施例中，生成所述车牌特征和所述字符序列特征的融合特征，包括：
对所述车牌图像的车牌特征进行特征维度变换，以使变换后的车牌特征的特征维度与所述车牌图像的字符序列特征的特征维度相等；
将经过特征维度变换的车牌图像的车牌特征与所述车牌图像的字符序列特征进行相加，得到所述车牌特征和所述字符序列特征的融合特征。
在该实施例中，将车牌图像的车牌特征的特征维度变换成与车牌图像的字符序列特征相同的特征维度，再将特征维度相等的车牌特征和字符序列特征进行相加，得到融合特征，使得车牌分类的标准中包含车牌图像的多个特征信息，从而可以得到较好的车牌分类结果。
在一种可选的实施例中，根据所述车牌图像的车牌特征和字符序列特征的融合特征，确定所述车牌图像中的车牌对应的第二分类结果，并根据所述第二分类结果确定所述车牌所属的第二区域，包括：
将所述融合特征输入第二分类神经网络，得到所述车牌图像中的车牌对应的第二分类结果；所述第二分类结果包括所述车牌图像的车牌对应于每个第二区域的置信度；
将置信度最大的第二区域作为所述车牌图像中的车牌所属的第二区域。
在该实施例中，将融合特征输入到第二分类神经网络中，可以得到车牌图像中的车牌对应的第二分类结果，由于第二分类结果中包括车牌图像的车牌对应于每个第二区域的置信度，因此可以将置信度最大的第二区域作为车牌图像中的车牌所属的第二区域。从而可以较为准确地确定出车牌图像中的车牌所属的第二区域。
在一种可选的实施例中，若所述第二分类结果符合设定的区分度条件，输出所述车牌所属的第二区域；若所述第二分类结果不符合设定的区分度条件，输出所述车牌所属的第一区域，包括：
按从大到小的顺序选取预设数量的置信度，确定所述预设数量的置信度的均值；
若最大置信度与所述均值的差值大于设定阈值，输出所述车牌图像中的车牌所属的第二区域；
若最大置信度与所述均值的差值小于或等于设定阈值，输出所述车牌图像中的车牌所属的第一区域。
在该实施例中，得到车牌图像的车牌对应于每个第二区域的置信度后，可以按照从大到小的顺序选取预设数量的置信度，再确定出这些置信度的均值。当最大的置信度与上述均值的差值大于设定阈值时，可以输出车牌图像中的车牌所属的第二区域，当最大的置信度与上述均值的差值小于或等于设定阈值时，可以输出车牌图像中的车牌所属的第一区域。从而使得车牌分类方法的输出更加灵活和智能化，可以提高分类结果的精度。
第二方面，本申请实施例还提供了一种车牌分类装置，包括：
特征提取模块，用于提取待分类的车牌图像的车牌特征和所述车牌图像的字符序列特征；
融合特征生成模块，用于生成所述车牌特征和所述字符序列特征的融合特征；
区域确定模块，用于根据所述车牌图像的车牌特征，确定所述车牌图像中的车牌对应的第一分类结果，并根据所述第一分类结果确定所述车牌所属的第一区域；以及根据所述车牌图像的车牌特征和字符序列特征的融合特征，确定所述车牌图像中的车牌对应的第二分类结果，并根据所述第二分类结果确定所述车牌所属的第二区域；
区域输出模块，用于当所述第二分类结果符合设定的区分度条件时，输出所述车牌所属的第二区域；以及当所述第二分类结果不符合设定的区分度条件时，输出所述车牌所属的第一区域。
在一种可选的实施例中，所述特征提取模块具体用于：
将所述车牌图像输入特征提取网络，得到所述车牌图像的车牌特征；
将所述车牌图像的车牌特征输入长短期记忆网络，得到所述车牌图像的字符序列特征。
在一种可选的实施例中，所述区域确定模块具体用于：
将所述车牌图像的车牌特征输入第一分类神经网络，得到所述车牌图像中的车牌对应的第一分类结果；所述第一分类结果包括所述车牌图像的车牌对应于每个第一区域的置信度；
将置信度最大的第一区域作为所述车牌图像中的车牌所属的第一区域。
在一种可选的实施例中，所述融合特征生成模块具体用于：
对所述车牌图像的车牌特征进行特征维度变换，以使变换后的车牌特征的特征维度与所述车牌图像的字符序列特征的特征维度相等；
将经过特征维度变换的车牌图像的车牌特征与所述车牌图像的字符序列特征进行相加，得到所述车牌特征和所述字符序列特征的融合特征。
在一种可选的实施例中，所述区域确定模块，还用于：
将所述融合特征输入第二分类神经网络，得到所述车牌图像中的车牌对应的第二分类结果；所述第二分类结果包括所述车牌图像的车牌对应于每个第二区域的置信度；
将置信度最大的第二区域作为所述车牌图像中的车牌所属的第二区域。
在一种可选的实施例中，所述区域输出模块具体用于：
按从大到小的顺序选取预设数量的置信度，确定所述预设数量的置信度的均值；
若最大置信度与所述均值的差值大于设定阈值，输出所述车牌图像中的车牌所属的第二区域；
若最大置信度与所述均值的差值小于或等于设定阈值，输出所述车牌图像中的车牌所属的第一区域。
第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面的车牌分类方法。
第四方面，本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现第一方面的车牌分类方法。
第二方面至第四方面中任意一种实现方式所带来的技术效果可参见第一方面中对应的实现方式所带来的技术效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种车牌分类方法的流程图；
图2为本申请实施例提供的一种车牌分类方法的整体方案流程图；
图3为本申请实施例提供的一种分类神经网络的训练方法的流程图；
图4为本申请实施例提供的一种车牌分类装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
需要说明的是，本申请的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面将结合附图，对本申请实施例提供的技术方案进行详细说明。
本申请实施例提供了一种车牌分类方法，如图1所示，包括如下步骤：
步骤S101，提取待分类的车牌图像的车牌特征。
获取待分类的车牌图像，用双线性插值方法将获取到的车牌图像等比例缩放到设定的尺寸，多出的图像部分用黑边进行填充。对车牌图像的尺寸进行调整后，将车牌图像输入到特征提取网络中，可以得到车牌图像的车牌特征。
步骤S102，根据车牌图像的车牌特征，确定车牌图像中的车牌对应的第一分类结果，并根据第一分类结果确定车牌所属的第一区域。
将得到的车牌图像的车牌特征输入到第一分类神经网络中，可以得到第一分类神经网络输出的车牌图像中的车牌对应的第一分类结果，该第一分类结果中包括车牌图像的车牌对应于每个第一区域的置信度，将置信度最大的第一区域作为车牌图像中的车牌所属的第一区域。这里的第一区域可以是世界的5大洲，例如，亚洲，欧洲，非洲等。
步骤S103，提取车牌图像的字符序列特征，并生成车牌特征和字符序列特征的融合特征。
将得到的车牌图像的车牌特征输入到LSTM(Long Short-Term Memory，长短期记忆网络)中，可以得到车牌图像的字符序列特征。将得到的车牌图像的车牌特征通过卷积变换特征维度，使得变换后的车牌特征的特征维度与LSTM提取的字符序列特征的特征维度相等，将经过特征维度变换的车牌图像的车牌特征与车牌图像的字符序列特征进行相加，可以得到车牌特征和字符序列特征的融合特征。
步骤S104，根据车牌图像的车牌特征和字符序列特征的融合特征，确定车牌图像中的车牌对应的第二分类结果，并根据第二分类结果确定车牌所属的第二区域。
将车牌图像的融合特征输入到第二分类神经网络中，可以得到第二分类神经网络输出的车牌图像中的车牌对应的第二分类结果，该第二分类结果中包括车牌图像的车牌对应于每个第二区域的置信度，将置信度最大的第二区域作为车牌图像中的车牌所属的第二区域。这里的第二区域的地域范围小于第一区域的地域范围，并且第二区域可以是世界的各个国家，例如，中国，美国，英国等。
在一种实施例中，当第一区域为世界的5大洲时，第二区域为比第一区域的地域范围小的区域，可以是世界上的各个国家。
在另一种实施例中，当第一区域为世界上的各个国家时，第二区域可以为国家的下属区域，例如，中国的各个省份。
步骤S105，确定第二分类结果是否符合设定的区分度条件；如果否，执行步骤S106；如果是，执行步骤S107。
步骤S106，输出车牌图像中的车牌所属的第一区域。
步骤S107，输出车牌图像中的车牌所属的第二区域。
按照从大到小的顺序选取预设数量的车牌图像的车牌对应于每个第二区域的置信度，并对这些置信度求均值。当最大置信度与均值的差值大于设定阈值时，输出车牌图像中的车牌所属的第二区域，当最大置信度与均值的差值小于或等于设定阈值时，输出车牌图像中的车牌所属的第一区域。
本申请实施例提供的车牌分类方法，通过提取待分类的车牌图像的车牌特征，根据车牌特征确定车牌图像中的车牌对应的第一分类结果，再根据第一分类结果可以确定出车牌所属的第一区域。通过对车牌图像的字符序列特征进行提取，得到车牌特征和字符序列特征的融合特征，进而根据融合特征确定车牌图像中的车牌对应的第二分类结果，再根据第二分类结果可以确定出车牌所属的第二区域。其中，第一区域的地域范围大于第二区域的地域范围。当第二分类结果符合设定的区分度条件时，输出车牌所属的第二区域，当第二分类结果不符合设定的区分度条件时，则输出车牌所属的第一区域。从而可以提高车牌分类的准确度和合理性。
在一种可选的实施例中，上述步骤S101中所采用的特征提取网络可以采用CNN(Convolutional Neural Networks，卷积神经网络)实现，例如，可以采用ResNet或VGG等神经网络。
在一些实施例中，特征提取网络可以包括卷积层和池化层。将调整尺寸后的车牌图像输入到特征提取网络的卷积层中，卷积层用于对输入的车牌图像进行特征提取，得到特征向量，并输入到池化层中，卷积层可以使用2*2的卷积核。池化层用于对输入的特征向量进行降维处理，得到车牌图像的车牌特征。
在另一些实施例中，特征提取网络可以由多个卷积层构成，如特征提取网络可以采用全卷积神经网络实现。
可选地，由于车牌图像中的车牌文字是竖直的，因此特征提取网络中的部分卷积核可以使用3*1的卷积核。
得到特征提取网络输出的车牌特征后，可以将车牌特征输入LSTM中，LSTM用于提取车牌图像的字符序列特征。采用LSTM提取车牌图像的字符序列特征的过程可以为：
特征提取网络提取的车牌特征为fi,j,c，将车牌特征与一个权重因子αt,i,j相乘可以得到ut,c：
Figure BDA0002769962220000091
其中，i，j表示像素在车牌特征矩阵中的位置，c表示通道数，t表示输入时刻。权重因子αt,i,j可以采用如下的公式计算得到：
Figure BDA0002769962220000101
其中，V是车牌特征矩阵，Wh和Wf为权重，ht为t时刻的隐状态。
根据ut,c，可以由如下公式得到LSTM在t时刻对应的输入
Figure BDA0002769962220000102
Figure BDA0002769962220000103
其中，Wc和Wu为权重，bt-1为t-1时刻的标签。
根据LSTM在t时刻对应的输入
Figure BDA0002769962220000104
可以得到LSTM在t时刻输出的字符特征ot：
Figure BDA0002769962220000105
将LSTM在所有时刻输出的字符特征进行组合可以得到车牌图像的字符序列特征。
本申请实施例使用特征提取网络提取车牌图像的车牌特征，将车牌图像的车牌特征输入到LSTM中进一步提取出车牌图像的字符序列特征，并且在对车牌图像的字符序列特征进行提取过程中加入了像素位置注意力信息，使得后续的第二分类网络学习字符序列的能力大大增强。将车牌图像的车牌特征和字符序列特征进行融合得到的融合特征输入到第二分类网络中，可以使网络既学习到车牌的颜色、位置、形状和边缘等信息又学习到字符序列信息，从而得到更好的第二区域分类效果。
图2为本申请实施例提出的车牌分类方法的整体方案流程图。如图2所示，获取待分类的车牌图像，将车牌图像输入到特征提取网络中，得到车牌图像的车牌特征，该车牌特征可以是车牌图像的颜色、形状和边缘信息。将提取出的车牌特征输入到第一分类神经网络中，该第一分类神经网络可以包括全连接层和softmax层，可以得到第一分类神经网络输出的车牌图像的车牌对应于每个第一区域的置信度，将最大置信度对应的第一区域作为车牌图像中的车牌所属的第一区域。
将得到的车牌图像的车牌特征输入到长短期记忆网络中，可以得到车牌图像的字符序列特征，该字符序列特征可以是车牌图像的字符序列信息，即车牌图像中的车牌字符排列顺序。然后对车牌图像的车牌特征进行特征维度变换，变换后的车牌特征的特征维度与字符序列特征的特征维度相等，再将经过特征维度变换的车牌图像的车牌特征与车牌图像的字符序列特征进行相加，进而得到车牌特征和字符序列特征的融合特征。
将得到的融合特征输入到第二分类神经网络中，该第二分类神经网络可以包括全连接层和softmax层，可以得到第二分类神经网络输出的车牌图像的车牌对应于每个第二区域的置信度，将最大置信度对应的第二区域作为车牌图像中的车牌所属的第二区域。由于融合特征中既包含有车牌的颜色、形状、纹理和边缘等信息，又包含有车牌字符的序列信息，因此可以提高第二分类神经网络的分类准确率以及网络的泛化性能，避免由于背景、灯光、色彩变化等因素导致对车牌进行分类失效。
得到车牌图像中的车牌所属的第一区域和第二区域后，可以对结果进行处理。将第二分类神经网络输出的车牌图像的车牌对应于每个第二区域的置信度按照从大到小的顺序选取进行排序，由大到小选取预设数量的置信度求均值，在本实施例中，选取前3个置信度求均值。然后计算最大置信度与均值的差值，当差值大于设定阈值时，可以得到车牌图像中的车牌所属的第二区域，当差值小于或等于设定阈值时，可以得到车牌图像中的车牌所属的第一区域。
本申请实施例提供的车牌分类方法既可以输出车牌所属的第一区域也可以输出车牌所属的第二区域，并且在无法判断车牌所属的具体的第二区域时，可以只输出车牌所属的第一区域，提升分类网络输出的智能化。
可选地，上述实施例中所采用的第一分类神经网络和第二分类神经网络的训练过程可以如图3所示，包括如下步骤：
步骤S301，获得车牌图像数据集。
可以使用图像采集装置或网络搜索方式获得世界各国的车牌图像数据集对车牌图像数据集中的车牌图像进行区域标注。可以先按照第一区域对这些车牌图像进行标注，第一区域可以是世界的5大洲，例如，亚洲，欧洲，非洲等。然后再按照第二区域对这些车牌图像进行标注，第二区域可以是世界上的各个国家，例如，中国，美国，英国等。对车牌图像进行区域标注后，每张车牌图像中既包含有第一区域的标注，又包含有第二区域的标注。
步骤S302，提取车牌图像数据的车牌特征，将车牌特征输入待训练的第一分类神经网络，得到车牌图像中的车牌所属的第一区域，并确定第一损失值。
从已标注的车牌图像中抽取多张车牌图像输入到特征提取网络中，得到车牌图像的车牌特征，将车牌特征输入到待训练的第一分类神经网络中，得到车牌图像中的车牌所属的第一区域。将得到的车牌所属的第一区域与输入的已标注的车牌图像的第一区域进行比较，确定出第一损失值。
步骤S303，提取车牌图像数据的字符序列特征，将车牌特征和字符序列特征生成的融合特征输入待训练的第二分类神经网络，得到车牌图像中的车牌所属的第二区域，并确定第二损失值。
将得到的车牌图像的车牌特征输入到LSTM中，得到车牌图像的字符序列特征，根据车牌特征和字符序列特征可以得到融合特征。将车牌图像的融合特征输入到待训练的第二分类网络中，可以得到车牌图像中的车牌所属的第二区域，将得到的车牌所属的第二区域与输入的已标注的车牌图像的第二区域进行比较，确定出第二损失值。
步骤S304，根据第一损失值和第二损失值，确定联合损失值。
步骤S305，确定联合损失值是否收敛至预设的目标值；如果否，执行步骤S306；如果是，执行步骤S307。
步骤S306，根据确定的联合损失值对第一分类神经网络参数和第二神经网络参数进行调整。
如果联合损失值未收敛，则对待训练的第一分类神经网络参数和第二神经网络参数进行调整，调整参数后，返回执行步骤S302和步骤S303，继续下一轮的训练过程。
在一种可选的实施例中，可以使用反向传播方法对待训练的第一分类神经网络的参数和第二神经网络的参数进行调整。
步骤S307，结束训练得到已训练的第一分类神经网络和第二分类神经网络。
如果联合损失值收敛，则将当前得到的第一分类神经网络和第二分类神经网络作为已训练的第一分类神经网络和第二分类神经网络。
与图1所示的车牌分类方法基于同一发明构思，本申请实施例中还提供了一种车牌分类装置。由于该装置是本申请车牌分类方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见上述方法的实施，重复之处不再赘述。
图4示出了本申请实施例提供的一种车牌分类装置的结构示意图，如图4所示，该车牌分类装置包括特征提取模块401、融合特征生成模块402、区域确定模块403和区域输出模块404。
其中，特征提取模块401，用于提取待分类的车牌图像的车牌特征和车牌图像的字符序列特征；
融合特征生成模块402，用于生成车牌特征和字符序列特征的融合特征；
区域确定模块403，用于根据车牌图像的车牌特征，确定车牌图像中的车牌对应的第一分类结果，并根据第一分类结果确定车牌所属的第一区域；以及根据车牌图像的车牌特征和字符序列特征的融合特征，确定车牌图像中的车牌对应的第二分类结果，并根据第二分类结果确定车牌所属的第二区域；
区域输出模块404，用于当第二分类结果符合设定的区分度条件时，输出车牌所属的第二区域；以及当第二分类结果不符合设定的区分度条件时，输出车牌所属的第一区域。
在一种可选的实施例中，特征提取模块401，具体用于：
将,车牌图像输入特征提取网络，得到车牌图像的车牌特征；
将车牌图像的车牌特征输入长短期记忆网络，得到车牌图像的字符序列特征。
在一种可选的实施例中，区域确定模块403，具体用于：
将车牌图像的车牌特征输入第一分类神经网络，得到车牌图像中的车牌对应的第一分类结果；第一分类结果包括车牌图像的车牌对应于每个第一区域的置信度；
将置信度最大的第一区域作为车牌图像中的车牌所属的第一区域。
在一种可选的实施例中，融合特征生成模块402，具体用于：
对车牌图像的车牌特征进行特征维度变换，以使变换后的车牌特征的特征维度与车牌图像的字符序列特征的特征维度相等；
将经过特征维度变换的车牌图像的车牌特征与车牌图像的字符序列特征进行相加，得到车牌特征和字符序列特征的融合特征。
在一种可选的实施例中，区域确定模块403，还用于：
将融合特征输入第二分类神经网络，得到车牌图像中的车牌对应的第二分类结果；第二分类结果包括车牌图像的车牌对应于每个第二区域的置信度；
将置信度最大的第二区域作为车牌图像中的车牌所属的第二区域。
在一种可选的实施例中，区域输出模块404，具体用于：
按从大到小的顺序选取预设数量的置信度，确定预设数量的置信度的均值；
若最大置信度与均值的差值大于设定阈值，输出车牌图像中的车牌所属的第二区域；
若最大置信度与均值的差值小于或等于设定阈值，输出车牌图像中的车牌所属的第一区域。
与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。该电子设备可以用于车牌分类。在一种实施例中，该电子设备可以是服务器，也可以是终端设备或其他电子设备。在该实施例中，电子设备的结构可以如图5所示，包括存储器501，通讯模块503以及一个或多个处理器502。
存储器501，用于存储处理器502执行的计算机程序。存储器501可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器501可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器501也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器501是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器501可以是上述存储器的组合。
处理器502，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器502，用于调用存储器501中存储的计算机程序时实现上述车牌分类方法。
通讯模块503用于与终端设备和其他服务器进行通信。
本申请实施例中不限定上述存储器501、通讯模块503和处理器502之间的具体连接介质。本公开实施例在图5中以存储器501和处理器502之间通过总线504连接，总线504在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线504可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的车牌分类方法。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种车牌分类方法，其特征在于，所述方法包括：
提取待分类的车牌图像的车牌特征；
根据所述车牌图像的车牌特征，确定所述车牌图像中的车牌对应的第一分类结果，并根据所述第一分类结果确定所述车牌所属的第一区域；
提取所述车牌图像的字符序列特征，并生成所述车牌特征和所述字符序列特征的融合特征；
根据所述车牌图像的车牌特征和字符序列特征的融合特征，确定所述车牌图像中的车牌对应的第二分类结果，并根据所述第二分类结果确定所述车牌所属的第二区域；所述第一区域的地域范围大于所述第二区域的地域范围；
若所述第二分类结果符合设定的区分度条件，输出所述车牌所属的第二区域；若所述第二分类结果不符合设定的区分度条件，输出所述车牌所属的第一区域。
2.根据权利要求1所述的方法，其特征在于，所述提取待分类的车牌图像的车牌特征，包括：
将所述车牌图像输入特征提取网络，得到所述车牌图像的车牌特征；
提取所述车牌图像的字符序列特征，包括：
将所述车牌图像的车牌特征输入长短期记忆网络，得到所述车牌图像的字符序列特征。
3.根据权利要求1所述的方法，其特征在于，根据所述车牌图像的车牌特征，确定所述车牌图像中的车牌对应的第一分类结果，并根据所述第一分类结果确定所述车牌所属的第一区域，包括：
将所述车牌图像的车牌特征输入第一分类神经网络，得到所述车牌图像中的车牌对应的第一分类结果；所述第一分类结果包括所述车牌图像的车牌对应于每个第一区域的置信度；
将置信度最大的第一区域作为所述车牌图像中的车牌所属的第一区域。
4.根据权利要求1所述的方法，其特征在于，生成所述车牌特征和所述字符序列特征的融合特征，包括：
对所述车牌图像的车牌特征进行特征维度变换，以使变换后的车牌特征的特征维度与所述车牌图像的字符序列特征的特征维度相等；
将经过特征维度变换的车牌图像的车牌特征与所述车牌图像的字符序列特征进行相加，得到所述车牌特征和所述字符序列特征的融合特征。
5.根据权利要求1所述的方法，其特征在于，根据所述车牌图像的车牌特征和字符序列特征的融合特征，确定所述车牌图像中的车牌对应的第二分类结果，并根据所述第二分类结果确定所述车牌所属的第二区域，包括：
将所述融合特征输入第二分类神经网络，得到所述车牌图像中的车牌对应的第二分类结果；所述第二分类结果包括所述车牌图像的车牌对应于每个第二区域的置信度；
将置信度最大的第二区域作为所述车牌图像中的车牌所属的第二区域。
6.根据权利要求5所述的方法，其特征在于，若所述第二分类结果符合设定的区分度条件，输出所述车牌所属的第二区域；若所述第二分类结果不符合设定的区分度条件，输出所述车牌所属的第一区域，包括：
按从大到小的顺序选取预设数量的置信度，确定所述预设数量的置信度的均值；
若最大置信度与所述均值的差值大于设定阈值，输出所述车牌图像中的车牌所属的第二区域；
若最大置信度与所述均值的差值小于或等于设定阈值，输出所述车牌图像中的车牌所属的第一区域。
7.一种车牌分类装置，其特征在于，包括：
特征提取模块，用于提取待分类的车牌图像的车牌特征和所述车牌图像的字符序列特征；
融合特征生成模块，用于生成所述车牌特征和所述字符序列特征的融合特征；
区域确定模块，用于根据所述车牌图像的车牌特征，确定所述车牌图像中的车牌对应的第一分类结果，并根据所述第一分类结果确定所述车牌所属的第一区域；以及根据所述车牌图像的车牌特征和字符序列特征的融合特征，确定所述车牌图像中的车牌对应的第二分类结果，并根据所述第二分类结果确定所述车牌所属的第二区域；
区域输出模块，用于当所述第二分类结果符合设定的区分度条件时，输出所述车牌所属的第二区域；以及当所述第二分类结果不符合设定的区分度条件时，输出所述车牌所属的第一区域。
8.根据权利要求7所述的装置，其特征在于，所述特征提取模块具体用于：
将所述车牌图像输入特征提取网络，得到所述车牌图像的车牌特征；
将所述车牌图像的车牌特征输入长短期记忆网络，得到所述车牌图像的字符序列特征。
9.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1～6中任一项所述的方法。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1～6中任一项所述的方法。
CN202011245759.8A 2020-11-10 2020-11-10 车牌分类方法、装置、存储介质和电子设备 Pending CN112381129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011245759.8A CN112381129A (zh) 2020-11-10 2020-11-10 车牌分类方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011245759.8A CN112381129A (zh) 2020-11-10 2020-11-10 车牌分类方法、装置、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN112381129A true CN112381129A (zh) 2021-02-19

Family

ID=74579552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011245759.8A Pending CN112381129A (zh) 2020-11-10 2020-11-10 车牌分类方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN112381129A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408574A (zh) * 2021-05-11 2021-09-17 浙江大华技术股份有限公司 一种车牌分类方法、车牌分类装置和计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722733A (zh) * 2012-05-31 2012-10-10 信帧电子技术（北京）有限公司 一种车牌类型的识别方法及装置
CN103902981A (zh) * 2014-04-02 2014-07-02 浙江师范大学 一种基于字符融合特征的车牌字符识别方法及系统
CN106845478A (zh) * 2016-12-30 2017-06-13 同观科技（深圳）有限公司 一种字符置信度的二次车牌识别方法及装置
CN108154160A (zh) * 2017-12-27 2018-06-12 苏州科达科技股份有限公司 车牌颜色识别方法及系统
US20190251369A1 (en) * 2018-02-11 2019-08-15 Ilya Popov License plate detection and recognition system
CN110490179A (zh) * 2018-05-15 2019-11-22 杭州海康威视数字技术股份有限公司 车牌识别方法、装置及存储介质
CN110728283A (zh) * 2019-10-11 2020-01-24 高新兴科技集团股份有限公司 一种车牌类型识别方法及设备
CN111144405A (zh) * 2019-12-13 2020-05-12 国网江苏省电力有限公司 一种新能源车辆识别方法及装置
US20200293794A1 (en) * 2015-10-01 2020-09-17 Intellivision Technologies Corp Methods and systems for accurately recognizing vehicle license plates

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722733A (zh) * 2012-05-31 2012-10-10 信帧电子技术（北京）有限公司 一种车牌类型的识别方法及装置
CN103902981A (zh) * 2014-04-02 2014-07-02 浙江师范大学 一种基于字符融合特征的车牌字符识别方法及系统
US20200293794A1 (en) * 2015-10-01 2020-09-17 Intellivision Technologies Corp Methods and systems for accurately recognizing vehicle license plates
CN106845478A (zh) * 2016-12-30 2017-06-13 同观科技（深圳）有限公司 一种字符置信度的二次车牌识别方法及装置
CN108154160A (zh) * 2017-12-27 2018-06-12 苏州科达科技股份有限公司 车牌颜色识别方法及系统
US20190251369A1 (en) * 2018-02-11 2019-08-15 Ilya Popov License plate detection and recognition system
CN110490179A (zh) * 2018-05-15 2019-11-22 杭州海康威视数字技术股份有限公司 车牌识别方法、装置及存储介质
CN110728283A (zh) * 2019-10-11 2020-01-24 高新兴科技集团股份有限公司 一种车牌类型识别方法及设备
CN111144405A (zh) * 2019-12-13 2020-05-12 国网江苏省电力有限公司 一种新能源车辆识别方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408574A (zh) * 2021-05-11 2021-09-17 浙江大华技术股份有限公司 一种车牌分类方法、车牌分类装置和计算机可读存储介质
WO2022237027A1 (en) * 2021-05-11 2022-11-17 Zhejiang Dahua Technology Co., Ltd. License plate classification method, license plate classification apparatus, and computer-readable storage medium

Similar Documents

Publication Publication Date Title
Chen et al. Adaptive fractional dilated convolution network for image aesthetics assessment
CN110163198B (zh) 一种表格识别重建方法、装置和存储介质
CN109146892B (zh) 一种基于美学的图像裁剪方法及装置
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
CN109658455B (zh) 图像处理方法和处理设备
CN107704838B (zh) 目标对象的属性识别方法及装置
CN110516577B (zh) 图像处理方法、装置、电子设备及存储介质
CN110516201B (zh) 图像处理方法、装置、电子设备及存储介质
Zhao et al. Pyramid global context network for image dehazing
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
CN111814794A (zh) 文本检测方法、装置、电子设备及存储介质
CN113762309B (zh) 对象匹配方法、装置及设备
CN112132208B (zh) 图像转换模型的生成方法、装置、电子设备及存储介质
JP6107531B2 (ja) 特徴抽出プログラム及び情報処理装置
CN110909665A (zh) 一种多任务的图像处理方法、装置、电子设备及存储介质
Liu et al. Learning explicit shape and motion evolution maps for skeleton-based human action recognition
CN113781164A (zh) 虚拟试衣模型训练方法、虚拟试衣方法和相关装置
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN111108508A (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN114529793A (zh) 一种基于门控循环特征融合的深度图像修复系统及方法
CN112381129A (zh) 车牌分类方法、装置、存储介质和电子设备
CN112419249B (zh) 一种特殊服饰图片转化方法、终端设备及存储介质
CN106469437B (zh) 图像处理方法和图像处理装置
CN113537398A (zh) 颜值评估模型训练方法及组件，颜值评估方法及组件
CN107977929B (zh) 图像超分辨率处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination