CN115661807B - 一种获取车牌信息的方法 - Google Patents

一种获取车牌信息的方法 Download PDF

Info

Publication number
CN115661807B
CN115661807B CN202211691914.8A CN202211691914A CN115661807B CN 115661807 B CN115661807 B CN 115661807B CN 202211691914 A CN202211691914 A CN 202211691914A CN 115661807 B CN115661807 B CN 115661807B
Authority
CN
China
Prior art keywords
license plate
image
feature extraction
information features
extraction network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211691914.8A
Other languages
English (en)
Other versions
CN115661807A (zh
Inventor
李军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHENGDU XIWU SECURITY SYSTEM ALLIANCE CO LTD
Original Assignee
CHENGDU XIWU SECURITY SYSTEM ALLIANCE CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU XIWU SECURITY SYSTEM ALLIANCE CO LTD filed Critical CHENGDU XIWU SECURITY SYSTEM ALLIANCE CO LTD
Priority to CN202211691914.8A priority Critical patent/CN115661807B/zh
Publication of CN115661807A publication Critical patent/CN115661807A/zh
Application granted granted Critical
Publication of CN115661807B publication Critical patent/CN115661807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种获取车牌信息的方法，包括以下步骤：收集若干含有车牌号的车辆图像，并截取车牌号图像和标注车牌号，形成图像数据集；将图像数据集输入第一特征提取网络，得到视觉信息特征；将图像数据集输入第二特征提取网络，得到字符信息特征；基于自注意力机制融合所述视觉信息特征和字符信息特征，得到车牌高维特征向量；将车牌高维特征向量输入分类网络，输出车牌号。本方案通过第一特征提取网络提取的非字符的部分与第二特征提取网络获取的字符部分分离开，再基于自注意力机制将视觉信息特征中残留的字符信息特征，或字符信息特征中残留的视觉信息特征相互补偿，以输出平滑分离的字符。

Description

一种获取车牌信息的方法
技术领域
本发明涉及图像识别技术领域，特别涉及一种获取车牌信息的方法。
背景技术
车辆信息中最重要的信息就是车牌号，目前，通过高清摄像仪拍摄行驶的车辆，并识别车辆的车牌号，但是对于老式的摄像仪，或者摄像仪及其传输线路收到外界环境的影响时，终端通过摄像仪采集的图像识别车辆车牌号时，可能存在图像不清晰，识别不准确的问题。
发明内容
本发明的目的在于更加准确的识别车牌号，提供一种获取车牌信息的方法。
为了实现上述发明目的，本发明实施例提供了以下技术方案：
一种获取车牌信息的方法，包括以下步骤：
步骤1，收集若干含有车牌号的车辆图像，并截取车牌号图像和标注车牌号，形成图像数据集；
步骤2，将图像数据集输入第一特征提取网络，得到视觉信息特征；将图像数据集输入第二特征提取网络，得到字符信息特征；
步骤3，基于自注意力机制融合所述视觉信息特征和字符信息特征，得到车牌高维特征向量；
步骤4，将车牌高维特征向量输入分类网络，输出车牌号。
步骤2中所述将图像数据集输入第一特征提取网络，得到视觉信息特征的步骤，包括：
将图像数据集输入第一特征提取网络，获得图像数据集中第i张图像的可擦除信息，i=1,2,...,N，N为图像数据集中图像总数；
对可擦除信息进行归一化处理：
其中，表示第i张图像归一化处理后的可擦除信息；mean( )表示均值，std( )表示方差；
其中，表示第i张图像的灰度图像中第k个区域对应的平均灰度值，表示第i张图像的灰度图像中第k-1个区域对应的平均灰度值；表示平均灰度值阶梯数；
其中，表示第i张图像的灰度图像中第k个区域对应的方差，表示第i张图像的灰度图像中第k-1个区域对应的方差，表示方差阶梯数；
计算归一化处理后的可擦除信息的损失函数：
其中，表示第k个区域中第j个像素点的值，J表示第k个区域中的像素点总数；、表示超参数；m表示自然常数；
使用损失函数对第一特征提取网络进行训练，使得第一特征提取网络输出视觉信息特征。
所述第二特征提取网络包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、全连接层、输出层；其中，所述第一卷积层、第二卷积层均包括依次连接的空洞卷积层、BN层、激活函数层。
步骤3中所述基于自注意力机制融合所述视觉信息特征和字符信息特征，得到车牌高维特征向量的步骤，包括：
其中，表示车牌高维特征向量；表示第i张图像的视觉信息特征，表示第i张图像的字符信息特征；表示reshape操作，使和统一为单维特征向量；表示softmax操作；表示concat操作；表示单通道卷积操作。
与现有技术相比，本发明的有益效果：
本方案通过第一特征提取网络提取的非字符的部分与第二特征提取网络获取的字符部分分离开，再基于自注意力机制将视觉信息特征中残留的字符信息特征，或字符信息特征中残留的视觉信息特征相互补偿，以输出平滑分离的字符。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明方法流程图；
图2为本发明实施例第一特征提取网络工作流程图；
图3为本发明实施例第二特征提取网络结构示意图；
图4为本发明实施例第一卷积层、第二卷积层的结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性，或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。另外，术语“相连”、“连接”等可以是元件之间直接相连，也可以是经由其他元件的间接相连。
实施例：
本发明通过下述技术方案实现，如图1所示，一种获取车牌信息的方法，包括以下步骤：
步骤1，收集若干含有车牌号的车辆图像，并截取车牌号图像和标注车牌号，形成图像数据集。
从网络或历史数据库收集大量的含有车牌号的车辆图像，并裁剪出只包含车牌号的图像，尽量裁去不是车牌部分的图像。使用标注软件标注出具体的车牌号，形成图像数据集，且假设图像数据集中包含了N张图像。
步骤2，将图像数据集输入第一特征提取网络，得到视觉信息特征；将图像数据集输入第二特征提取网络，得到字符信息特征。
请参见图2，将图像数据集输入第一特征提取网络，获得图像数据集中第i张图像的可擦除信息，i=1,2,...,N，N为图像数据集中图像总数。在本方案中，可擦除信息指的是车牌中非字符的部分（车牌的字符包括数字0～9、大写英文字母A～Z、省份简称），比如蓝车牌上蓝色的部分，车牌的白色边框，以及图像中还存在的其他非车牌的部分，都是属于可擦除信息。第一特征提取网络即是为了获取图像中非字符的部分，与第二特征提取网络获取的字符部分分离开。
对可擦除信息进行归一化处理：
其中，表示第i张图像归一化处理后的可擦除信息；mean( )表示均值，std( )表示方差；
其中，表示第i张图像的灰度图像中第k个区域对应的平均灰度值，表示第i张图像的灰度图像中第k-1个区域对应的平均灰度值；表示平均灰度值阶梯数；
其中，表示第i张图像的灰度图像中第k个区域对应的方差，表示第i张图像的灰度图像中第k-1个区域对应的方差，表示方差阶梯数；
计算归一化处理后的可擦除信息的损失函数：
其中，表示第k个区域中第j个像素点的值，J表示第k个区域中的像素点总数；、表示超参数；m表示自然常数；
使用损失函数对第一特征提取网络进行训练，使得第一特征提取网络输出视觉信息特征。
所述第二特征提取网络是基于CNN的卷积神经网络，请参见图3，包括依次连接的输入层，第一卷积层、第一池化层、第二卷积层、第二池化层、全连接层、输出层。其中，请参见图4，所述第一卷积层、第二卷积层是残差空洞卷积块的结构形式，包括依次连接的空洞卷积层、BN层、激活函数层；第一卷积层的空洞卷积层与输入层连接，第一卷积层的激活函数层与第一池化层的输入端连接；第二卷积层的空洞卷积层与第一池化层的输出端连接，第二卷积层的激活函数层与激活函数层的输入端连接。
在本方案中对卷积层（即第一卷积层、第二卷积层）的结构改进为残差空洞卷积块的形式，能够更好的保留字符的纹理特征。由于提取的字符包括数字0～9、大写英文字母A～Z、省份简称，是有限数量的，且无变形字体等，所以直接使用CNN卷积神经网络，可直接输出训练学习后输出字符特征信息，而本方案改进的残差空洞卷积块更好的保留了字符的纹理特征，与第一特征提取网络获取的可擦除信息更加平滑的分离开，降低分离时产生的齿轮感。
步骤3，基于自注意力机制融合所述视觉信息特征和字符信息特征，得到车牌高维特征向量。
视觉信息特征和字符信息特征自身蕴含了像素级信息，但由于是通过两个特征提取网络各自提取出来的，所以二者之间存在的强互补特征没有充分挖掘，融合是为了将视觉信息特征中还残留的字符信息特征，或字符信息特征中残留的视觉信息特征相互补偿，在步骤4中输出的字符则是非常准确的字符像素了。
基于自注意力机制融合的过程为：
其中，表示车牌高维特征向量；表示第i张图像的视觉信息特征，表示第i张图像的字符信息特征；表示reshape操作，使和统一为单维特征向量；表示softmax操作；表示concat操作；表示单通道卷积操作。
步骤4，将车牌高维特征向量输入分类网络，输出车牌号。
本方案所使用的分类网络不是传统的二分类网络，而是包含车牌所有字符的分类网络，可分类出数字0～9、大写英文字母A～Z、省份简称。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (2)

1.一种获取车牌信息的方法，其特征在于：包括以下步骤：
步骤1，收集若干含有车牌号的车辆图像，并截取车牌号图像和标注车牌号，形成图像数据集；
步骤2，将图像数据集输入第一特征提取网络，得到视觉信息特征；将图像数据集输入第二特征提取网络，得到字符信息特征；
步骤2中所述将图像数据集输入第一特征提取网络，得到视觉信息特征的步骤，包括：
将图像数据集输入第一特征提取网络，获得图像数据集中第i张图像的可擦除信息，i=1,2,...,N，N为图像数据集中图像总数；
对可擦除信息进行归一化处理：
其中，表示第i张图像归一化处理后的可擦除信息；mean( )表示均值，std( )表示方差；
其中，表示第i张图像的灰度图像中第k个区域对应的平均灰度值，表示第i张图像的灰度图像中第k-1个区域对应的平均灰度值；表示平均灰度值阶梯数；
其中，表示第i张图像的灰度图像中第k个区域对应的方差，表示第i张图像的灰度图像中第k-1个区域对应的方差，表示方差阶梯数；
计算归一化处理后的可擦除信息的损失函数：
其中，表示第k个区域中第j个像素点的值，J表示第k个区域中的像素点总数；、表示超参数；m表示自然常数；
使用损失函数对第一特征提取网络进行训练，使得第一特征提取网络输出视觉信息特征；
步骤3，基于自注意力机制融合所述视觉信息特征和字符信息特征，得到车牌高维特征向量；
步骤3中所述基于自注意力机制融合所述视觉信息特征和字符信息特征，得到车牌高维特征向量的步骤，包括：
其中，表示车牌高维特征向量；表示第i张图像的视觉信息特征，表示第i张图像的字符信息特征；表示reshape操作，使和统一为单维特征向量；表示softmax操作；表示concat操作；表示单通道卷积操作；
步骤4，将车牌高维特征向量输入分类网络，输出车牌号。
2.根据权利要求1所述的一种获取车牌信息的方法，其特征在于：所述第二特征提取网络包括依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、全连接层、输出层；其中，所述第一卷积层、第二卷积层均包括依次连接的空洞卷积层、BN层、激活函数层。
CN202211691914.8A 2022-12-28 2022-12-28 一种获取车牌信息的方法 Active CN115661807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211691914.8A CN115661807B (zh) 2022-12-28 2022-12-28 一种获取车牌信息的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211691914.8A CN115661807B (zh) 2022-12-28 2022-12-28 一种获取车牌信息的方法

Publications (2)

Publication Number Publication Date
CN115661807A CN115661807A (zh) 2023-01-31
CN115661807B true CN115661807B (zh) 2023-04-07

Family

ID=85023329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211691914.8A Active CN115661807B (zh) 2022-12-28 2022-12-28 一种获取车牌信息的方法

Country Status (1)

Country Link
CN (1) CN115661807B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354572A (zh) * 2015-12-10 2016-02-24 苏州大学 一种基于简化卷积神经网络的车牌自动识别系统
WO2019169532A1 (zh) * 2018-03-05 2019-09-12 深圳前海达闼云端智能科技有限公司 车牌识别方法及云系统
WO2021135254A1 (zh) * 2019-12-31 2021-07-08 深圳云天励飞技术股份有限公司 车牌号码识别方法、装置、电子设备及存储介质
WO2022237027A1 (en) * 2021-05-11 2022-11-17 Zhejiang Dahua Technology Co., Ltd. License plate classification method, license plate classification apparatus, and computer-readable storage medium

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398894B (zh) * 2008-06-17 2011-12-07 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN107832762A (zh) * 2017-11-06 2018-03-23 广西科技大学 一种基于多特征融合的车牌定位与识别方法
CN110210475B (zh) * 2019-05-06 2021-05-18 浙江大学 一种非二值化和边缘检测的车牌字符图像分割方法
CN111914842A (zh) * 2020-08-10 2020-11-10 深圳市视美泰技术股份有限公司 车牌信息的识别方法、装置、计算机设备及存储介质
CN112215223B (zh) * 2020-10-16 2024-03-19 清华大学 基于多元注意力机制的多方向场景文字识别方法及系统
CN113610088A (zh) * 2021-07-15 2021-11-05 安徽清新互联信息科技有限公司 一种基于自注意力的车牌字符识别方法
CN114639092A (zh) * 2022-03-11 2022-06-17 阿里巴巴（中国）有限公司 图像识别方法、装置、设备和存储介质
CN114677502B (zh) * 2022-05-30 2022-08-12 松立控股集团股份有限公司 一种任意倾斜角度的车牌检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354572A (zh) * 2015-12-10 2016-02-24 苏州大学 一种基于简化卷积神经网络的车牌自动识别系统
WO2019169532A1 (zh) * 2018-03-05 2019-09-12 深圳前海达闼云端智能科技有限公司 车牌识别方法及云系统
WO2021135254A1 (zh) * 2019-12-31 2021-07-08 深圳云天励飞技术股份有限公司 车牌号码识别方法、装置、电子设备及存储介质
WO2022237027A1 (en) * 2021-05-11 2022-11-17 Zhejiang Dahua Technology Co., Ltd. License plate classification method, license plate classification apparatus, and computer-readable storage medium

Also Published As

Publication number Publication date
CN115661807A (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及系统
CN110147788B (zh) 一种基于特征增强crnn的金属板带产品标签文字识别方法
CN109086654B (zh) 手写模型训练方法、文本识别方法、装置、设备及介质
CN112818951B (zh) 一种票证识别的方法
CN111027562A (zh) 基于多尺度cnn和结合注意力机制的rnn的光学字符识别方法
CN112465840B (zh) 语义分割模型训练方法、语义分割方法及相关装置
WO2021042505A1 (zh) 基于文字识别技术的笔记生成方法、装置和计算机设备
CN114048822A (zh) 一种图像的注意力机制特征融合分割方法
CN115862045B (zh) 基于图文识别技术的病例自动识别方法、系统、设备及存储介质
CN115880704B (zh) 一种病例的自动编目方法、系统、设备及存储介质
CN113554027A (zh) 一种报销单据图像文本信息校准与提取方法
CN114565628B (zh) 一种基于边界感知注意的图像分割方法及系统
CN114898472A (zh) 基于孪生视觉Transformer网络的签名鉴定方法和系统
CN115661807B (zh) 一种获取车牌信息的方法
CN112966676A (zh) 一种基于零样本学习的文档关键信息抽取方法
CN112016592A (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
CN116110047A (zh) 基于ocr-ner的结构化电子病历构建方法和系统
CN115966006A (zh) 基于深度学习模型的跨年龄式人脸识别系统
CN113420174B (zh) 难样本挖掘方法、装置、设备以及存储介质
CN112884046A (zh) 基于不完全监督学习的图像分类方法、装置及相关设备
CN113961674B (zh) 一种关键信息与上市公司公告文本语义匹配方法及装置
CN111325270B (zh) 一种基于模板匹配和bp神经网络的东巴文识别方法
CN117152773A (zh) 一种基于机器学习的表单手写数字识别方法
CN115035314A (zh) 网络模型的训练、图像特征的确定方法及装置
CN116246107A (zh) 标注不完备图像的识别方法、装置、系统和电子介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant