CN112464940A - 一种基于深度学习的车辆前挡风玻璃vin码识别方法及系统 - Google Patents

一种基于深度学习的车辆前挡风玻璃vin码识别方法及系统 Download PDF

Info

Publication number
CN112464940A
CN112464940A CN202110145316.XA CN202110145316A CN112464940A CN 112464940 A CN112464940 A CN 112464940A CN 202110145316 A CN202110145316 A CN 202110145316A CN 112464940 A CN112464940 A CN 112464940A
Authority
CN
China
Prior art keywords
vin code
image
vin
front windshield
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110145316.XA
Other languages
English (en)
Inventor
施恒之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yikm Intelligent Technology Co ltd
Original Assignee
Zhejiang Yikm Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Yikm Intelligent Technology Co ltd filed Critical Zhejiang Yikm Intelligent Technology Co ltd
Priority to CN202110145316.XA priority Critical patent/CN112464940A/zh
Publication of CN112464940A publication Critical patent/CN112464940A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的车辆前挡风玻璃vin码识别方法及系统，目标检测模型中的区域检测模块将基于可微二值化的文本检测算法DB引入对上下文敏感的预测网络CPM中，vin码文本识别模块在文本识别算法CRNN算法的基础上增加对抗生成网络GAN，使得该基于深度学习的车辆前挡风玻璃vin码识别方法及系统特别适用于对vin区域小、vin码文本分辨率低的图像进行有效的vin码检测和识别。

Description

一种基于深度学习的车辆前挡风玻璃vin码识别方法及系统
技术领域
本发明涉及车辆检测领域，特别涉及一种基于深度学习的车辆前挡风玻璃vin码识别方法及系统。
背景技术
vin码，全称为车辆识别号码（Vehicle Identification Number），是一组由十七个字母或数字组成，是用于识别车辆的一组独一无二的号码。vin码标牌会被固定在仪表板的左侧并位于前挡风玻璃的左下方的位置，在车辆识别中经常需要识别vin码来获取详细的车辆信息。
以无人洗车领域的车辆识别为例，目前常用的方式是在无人洗车设备的设定位置设置高分辨率的相机，当待洗车辆进入无人洗车设备内，相机拍摄包含车辆前挡风玻璃上对应的vin码的图像，并将获取的图像上传给云端进行图像处理，以期得到该待洗车辆的vin码。然而，由于无人洗车设备上的相机距离车辆的vin码区域距离较远，且vin码区域尺寸较小，导致无人洗车设备上的相机拍摄得到的图像上的vin码区域相较整个图像而言非常小，这就加大了云端检测vin码区域的难度；即使云端分割得到vin码区域，该vin码区域的分辨率也会很低，也加大了目前深度学习模型识别vin的难度。
当然，还有些技术方案是人工采集清晰的vin码区域的图像后利用深度学习模型进行识别，这种技术方案需要人工的参与，不符合无人洗车设备的应用需求。
发明内容
本发明的目的在于提供一种基于深度学习的车辆前挡风玻璃vin码识别方法及系统，该基于深度学习的车辆前挡风玻璃vin码识别方法及系统可针对vin区域小、vin码文本分辨率低的图像进行有效的vin码检测和识别，特别适用于无人洗车设备的全自动vin码识别。
为实现以上目的，第一方面，本技术方案提供一种基于深度学习的车辆前挡风玻璃vin码识别方法，包括以下步骤：获取待检测图像，其中所述待检测图像包括车辆前挡风玻璃上的vin码区域，所述待检测图像输入被训练后的目标检测模型中，在所述目标检测模型的区域检测模块中，所述待检测图像经过所述区域检测模块的特征金字塔被提取特征，利用所述特征预测概率图和阈值图，所述概率图和阈值图预测得到二值图，从所述二值图上得到vin码目标框，所述vin码目标框的方向经过所述目标检测模型的方向矫正模块被矫正至水平，矫正后的所述vin码目标框在所述目标检测模型的vin码文本识别模块中，所述vin码文本识别模块提取所述vin码目标框的特征序列，所述特征序列的每一帧在循环网络LSTM中进行预测得到预测结果，所述预测结果被转录得到vin码识别结果，所述vin码识别结果至少包括vin码。
第二方面，本技术方案提供一种基于深度学习的车辆前挡风玻璃vin码识别系统，包括：图像获取单元，用于获取待检测图像，其中所述待检测图像包括车辆前挡风玻璃上的vin码区域；被训练后的vin码目标检测模块，包括依次逻辑连接的区域检测模块、方向矫正模块以及vin码文本识别模块；检测单元，所述待检测图像输入被训练后的目标检测模型中，在所述目标检测模型的区域检测模块中，所述待检测图像经过所述区域检测模块的特征金字塔被提取特征，利用所述特征预测概率图和阈值图，所述概率图和阈值图预测得到二值图，从所述二值图上得到vin码目标框，所述vin码目标框的方向经过所述目标检测模型的方向矫正模块被矫正至水平，矫正后的所述vin码目标框在所述目标检测模型的vin码文本识别模块中，所述vin码文本识别模块提取所述vin码目标框的特征序列，所述特征序列的每一帧在循环网络LSTM中进行预测得到预测结果，所述预测结果被转录得到vin码识别结果，所述vin码识别结果至少包括vin码。
相较现有技术，本技术方案具有以下特点和有益效果：本方案识别vin码的目标检测模型的框架包括用于检测车辆图像上vin码的区域检测模块、矫正vin码区域水平度的方向矫正模块，识别vin码区域内vin码的vin码文本识别模块，其中vin码区域检测模块在基于可微分的分割网络的文本检测算法的基础上引入对上下文敏感的预测网络，vin码文本识别模块在文本识别算法的基础上增加了对抗生成网络的新组件，针对性地解决了远距离拍摄图像中vin码区域不易检测，vin码区域分辨率低导致的vin码文本识别率不高的技术问题。
附图说明
图1到图3是根据本发明的一实施例的基于深度学习的车辆前挡风玻璃vin码识别方法中的区域检测模块的网络架构图。
图4是根据本发明的一实施例的基于深度学习的车辆前挡风玻璃vin码识别方法中的vin码文字识别模块的网络架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
本技术方案提供一种基于深度学习的车辆前挡风玻璃vin码识别方法及系统，该基于深度学习的车辆前挡风玻璃vin码识别方法特别适用于对vin区域小、vin码文本分辨率低的图像进行有效的vin码检测和识别，可被运用于无人洗车领域的自动车辆识别的场景。
在无人洗车领域中，待洗车辆进入无人洗车设备中，无人洗车设备上的相机拍摄包含车辆前挡风玻璃vin码的图像，并回传图像给云端以识别图像中的vin码，然而考虑到无人洗车设备的相机往往是固定在无人洗车设备的高位，相机和待洗车辆的距离在2米左右，且车辆vin区域本身尺寸非常小，导致相机拍摄得到的图像中的vin区域不容易被检测以及vin码的识别率低，进而影响了vin码识别车辆技术在无人洗车领域的应用。
以现有技术CN111507332A“一种车辆vin码检测方法”提供的方案所示，根据其利用的R3Det网络结构可知，其检测vin码目标框的特征需满足：vin码区域面积大、vin码区域分辨率高、字符清晰等特点，这样的旋转检测器以及车辆vin码字符分割模型在无人洗车设备的vin码识别中的应用效果不佳；且参考CN111507332A的申请日也可获知，其代表的是目前常规的vin码识别检测的技术水平。
本方案针对特定的应用场景：获取的检测图中vin区域面积小、vin码文本分辨率低的图像的场景，作出了vin码识别检测的技术改进，具体的，本方案提供的基于深度学习的车辆前挡风玻璃vin码识别方法包括以下步骤：
获取待检测图像，其中所述待检测图像包括车辆前挡风玻璃上的vin码区域；
所述待检测图像输入被训练后的目标检测模型中，在所述目标检测模型的区域检测模块中，所述待检测图像经过所述区域检测模块的特征金字塔被提取特征，利用预测网络预测所述特征得到概率图和阈值图，所述概率图和阈值图预测得到二值图，从所述二值图上得到vin码目标框，所述vin码目标框的方向经过所述目标检测模型的方向矫正模块被矫正至水平，矫正后的所述vin码目标框在所述目标检测模型的vin码文本识别模块中，所述vin码文本识别模块的提取所述vin码目标框的特征序列，所述特征序列的每一帧在循环网络LSTM中进行预测得到预测结果，所述预测结果被转录得到vin码识别结果，所述vin码识别结果至少包括vin码。
在本方案中，所述待测图像的图像面积远大于所述vin码区域的区域面积，其可通过vin码图像采集模块获取。此时，所述vin码图像采集模块置于嵌入式设备上获取车辆的图像，所述vin码采集模块包括相机以及控制端，所述相机获取所述待测图像，在一些实施例中，所述控制端还可控制相机获取所述待测图像的时机，以此方式实现整体基于深度学习的车辆前挡风玻璃vin码识别方法的自动运行。
示例性的，该基于深度学习的车辆前挡风玻璃vin码识别方法特别适用于无人洗车设备领域，此时，所述vin码图像采集模块包括置于无人洗车设备上的相机，所述相机拍摄车辆前挡风玻璃上的vin码区域，由于相机距离车辆前挡风玻璃很远，因此获取的所述待测图像的区域面积远大于vin码的区域面积；所述相机将获取的所述待测图像回传至服务器端的目标检测模型。
在本方案中，所述区域检测模块的网络架构如图1所示，所述区域检测模块包括依次连接的低级特征的特征金字塔LFPN以及预测网络CPM，预测网络CPM预测特征金字塔LFPN生成的特征得到概率图和阈值图，概率图和阈值图经过基于可微二值化的文本检测算法DB得到二值图，从二值图中分割得到vin码目标框。如图2所示是该低级特征的特征金字塔LFPN的结构，如图3所示是所述预测网络CPM的结构。
再次重申，由于本方案获取的所述待测图像中的场景语义噪声较大，具体的，所述待测图像中除了包括占总图像面积比例非常小的vin码区域以外，还包括部分车辆车头、部分车玻璃、可能存在的雨刷器等大量上下文语义，且所述上下文语义区域对应的面积远大于vin码区域对应的面积，故本方案的区域检测模块将基于可微二值化的文本检测算法DB引入对上下文敏感的预测网络CPM中，具体的，所述基于可微二值化的文本检测算法DB对预测网络CPM得到的概率图和阈值图进行后处理，以解决阶跃二值化过程为不可微分而导致的无法将预测的二值图与概率图一起训练的缺点，其中基于可微二值化的文本检测方法DB可在分割网络中执行二值化过程，可以自适应地设置二值化阈值，不仅简化了特征后处理的步骤，而且提高了文本检测的性能。
其中所述预测网络CPM采用低级特征的金字塔网络LFPN，以更好地合并上下文语义和vin码区域。其中上下文语义指的是vin码周围的一些事物（雨刷器、车前玻璃、车头），上下文语义对于确定vin码的位置而言是有帮助的，在此对上下文语义和vin码区域进行合并，以更好的确定vin码目标框的位置。后续在识别vin码的时候需要去除上下文语义。
换言之，本方案提供的区域检测模块采用可微分二值化搭建分割网络，这样做的好处不仅可以有助于把vin码区域所对应的文字区域和背景区分开来，还能将相近的实例分离，以更准确地获取vin码目标框。其中相近实例指的是类似电话号码等一些其他的噪音文本区域，这些噪音文本区域被标记为上下文语义用于辅助定位vin区域，所以有助于将相近实例分离。
所述区域检测模块的训练过程包括：（1）训练数据准备阶段，获取标记vin码目标框的样本图像，其中vin码目标框用矩形框标出，同时记录vin码目标框的坐标，得到标注好的训练数据（2）区域检测模块训练阶段，利用上述标注好的训练数据，训练基于深度学习的区域检测模块，所述区域检测模块的网络架构如上所述，得到训练后的区域检测模块。所述待测图像输入所述区域检测模块后即可获取所述vin码目标框。
由于拍摄角度、vin码区域设置位置等原因，利用所述区域检测模块分割得到的所述vin码目标框往往带有一定程度的倾斜，故需要通过所述方向矫正模块将倾斜的所述vin码目标框调整为水平的vin码目标框，以便进行后续的vin码文本识别。
在本方案中，所述方向矫正模块选用普通的分类模型作为方向分类器，并使用MobileNetV3作为方向分类器的主干，使其具有高效率的特点。由于所述vin码目标框由四个点组成，因此很容易通过几何变换实现检测，但是检测得到的vin码目标检测框可能会颠倒。因此，需要分类器来确定vin码的文本方向。如果确定所述vin码目标框是反向的，则需要进一步翻转，因此这里只需要简单的二分类算法分析正反（决策树算法,随机森林算法,朴素贝叶斯,还有逻辑回归）即可。
且为了增强方向分类器的矫正能力并减小方向分类器的大小，采用以下四种策略对方向分类器进行处理：轻骨干，数据增强，输入分辨率和PACT量化。
同样的，所述方向矫正模块也需要被训练，所述方向矫正模块的训练过程包括：（1）训练数据准备阶段，训练样本需要正反的英文数字文本图像以及vin码图像，标注英文数字文本图像的正反向，得到标注后的训练样本（2）方向矫正模块训练阶段，利用上述标注好的训练数据，训练方向矫正模块，得到训练后的方向矫正模块。
在本方案中，所述vin码文本识别模块的网络架构如图4所示，所述vin码文本识别模块包括文本识别模型CRNN以及对抗生成网络GAN,所述vin码目标框输入所述vin码目标框的特征序列得到所述vin码目标框的特征序列，所述特征序列的每一帧在循环网络LSTM中进行预测得到预测结果，所述预测结果被转录得到vin码识别结果。
由于vin码区域在所述待测图像中所占面积极小，并且由于光照，阴影、以及灰尘污染等原因，因此通过所述区域检测模块切割出来的所述vin码目标框的图像分辨率低，且部分vin码目标框对应的上下文语义噪声较大，导致vin码文本识别模块对所述vin码目标框中的vin码识别难度提高。
基于这种情况，本方案改进了主流的文本识别模型CRNN，在文本识别模型CRNN的基础上增加对抗生成网络GAN，使用GAN对切割出来的vin码目标框对应的小目标进行超分辨率处理，其中所述小目标指的是分辨率低的vin码图像，生成一个和大目标很相似的超分辨率特征，其中大目标指的是分辨率高的vin码图像，该大目标指的是训练过程中加入的高分辨率的vin码图像，在实际应用中GAN直接生成超分辨率特征，然后将这个超分辨率特征叠加在CNN生成的小目标特征图上，逐步增强小图片的vin码目标框的特征表达，然后将得到的特征序列输入LSTM网络中训练，以此来提高vin码的识别率。
具体，所述vin码文本识别模块使用CRNN的体系架构作为文本识别器，且增加对抗生成网络GAN来对vin码目标框进行超分辨率处理，也就是说，所述vin码文本识别模块采用CRNN+GAN的技术，提高对低分辨率的vin码目标框中的vin码的识别。
所述vin码文本识别模块的训练过程包括：（1）训练数据准备阶段，获取低分辨率的vin码图像以及高分辨率的vin码图像，其中标注vin码图像中的vin码，得到标注好的训练数据（2）vin码文本识别模块训练阶段，利用上述标注好的训练数据，训练基于深度学习的vin码文本识别模块，所述vin码文本识别模块的网络架构如上所述，得到训练后的vin码文本识别模块，利用所述训练得到的vin码文本识别模块可识别出vin码作为vin码识别结果。
值得一提的是，本方案提供的基于深度学习的车辆前挡风玻璃vin码识别方法特别适用于无人洗车设备对车辆的识别场景，且可实现多车辆同时自动识别的效果。
此时，多台无人洗车设备上部署所述vin码图像采集模块和图像上传模块，所述目标检测模型以及图像接收模块部署在服务器端，所述无人洗车设备和所述服务器之间通过图像上传模块以及图像接收模块进行通信连接。在一些实施例中，所述图像接收模块和所述图像上传模块之间的网络传输协议使用HTTP协议，所述vin码图像采集模块采集得到的待测图像传送给服务器进行vin码的自动识别。
示例性的，当所述基于深度学习的车辆前挡风玻璃vin码识别方法应用于无人洗车设备对车辆的识别场景时，运行方式如下：
待洗车辆进入部署有所述vin码图像采集模块以及所述图像上传模块的无人洗车设备内，相机获取所述待洗车辆的待测图像，所述待测图像被回传至部署有所述目标检测模型以及所述图像接收模块的服务器中被检测得到vin码。
第三方面，本方案提供一种基于深度学习的车辆前挡风玻璃vin码识别系统，包括：
图像获取单元，用于获取待检测图像，其中所述待检测图像包括车辆前挡风玻璃上的vin码区域；
被训练后的vin码目标检测模块，包括依次逻辑连接的区域检测模块、方向矫正模块以及vin码文本识别模块；
检测单元，所述待检测图像输入所述被训练后的目标检测模型中，在所述目标检测模型的区域检测模块中，所述待检测图像经过所述区域检测模块的特征金字塔被提取特征，利用预测网络预测所述特征得到概率图和阈值图，所述概率图和阈值图预测得到二值图，从所述二值图上得到vin码目标框，所述vin码目标框的方向经过所述目标检测模型的方向矫正模块被矫正至水平，矫正后的所述vin码目标框在所述目标检测模型的vin码文本识别模块中，所述vin码文本识别模块的提取所述vin码目标框的特征序列，所述特征序列的每一帧在循环网络LSTM中进行预测得到预测结果，所述预测结果被转录得到vin码识别结果，所述vin码识别结果至少包括vin码。
具体的，基于深度学习的车辆前挡风玻璃vin码识别系统参照基于深度学习的车辆前挡风玻璃vin码识别方法进行vin码识别，涉及的技术内容参见基于深度学习的车辆前挡风玻璃vin码识别方法的介绍。
另外，本方案提供一种实施上述方法的电子装置，电子设备包括存储器以及处理器，存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项基于深度学习的车辆前挡风玻璃vin码识别方法实施例中的步骤。
具体地，上述处理器可以包括处理器（GPU），或者特定集成电路（ApplicationSpecific Integrated Circuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器（Hard Disk Drive，简称为HDD）、软盘驱动器、固态驱动器（SolidState Drive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（Universal SerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性（Non-Volatile）存储器。在特定实施例中，存储器包括只读存储器（Read-Only Memory，简称为ROM）和随机存取存储器（Random AccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（Programmable Read-Only Memory，简称为PROM）、可擦除PROM（Erasable ProgrammableRead-Only Memory，简称为EPROM）、电可擦除PROM（Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM）、电可改写ROM（Electrically Alterable Read-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（Static Random-Access Memory，简称为SRAM）或动态随机存取存储器（Dynamic Random Access Memory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器（Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM）、同步动态随机存取内存（Synchronous Dynamic Random-Access Memory，简称SDRAM）等。
存储器可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器所执行的可能的计算机程序指令。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
获取待检测图像，其中所述待检测图像包括车辆前挡风玻璃上的vin码区域；
所述待检测图像输入被训练后的目标检测模型中，在所述目标检测模型的区域检测模块中，所述待检测图像经过所述区域检测模块的特征金字塔被提取特征，利用预测网络预测所述特征得到概率图和阈值图，所述概率图和阈值图预测得到二值图，从所述二值图上得到vin码目标框，所述vin码目标框的方向经过所述目标检测模型的方向矫正模块被矫正至水平，矫正后的所述vin码目标框在所述目标检测模型的vin码文本识别模块中，所述vin码文本识别模块的提取所述vin码目标框的特征序列，所述特征序列的每一帧在循环网络LSTM中进行预测得到预测结果，所述预测结果被转录得到vin码识别结果，所述vin码识别结果至少包括vin码。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的基于深度学习的车辆前挡风玻璃vin码识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于深度学习的车辆前挡风玻璃vin码识别方法。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的车辆前挡风玻璃vin码识别方法，其特征在于，包括以下步骤：
获取待检测图像，其中所述待检测图像包括车辆前挡风玻璃上的vin码区域；
所述待检测图像输入被训练后的目标检测模型中，在所述目标检测模型的区域检测模块中，所述待检测图像经过所述区域检测模块的特征金字塔被提取特征，利用预测网络预测所述特征得到概率图和阈值图，所述概率图和阈值图预测得到二值图，从所述二值图上得到vin码目标框，所述vin码目标框的方向经过所述目标检测模型的方向矫正模块被矫正至水平，矫正后的所述vin码目标框在所述目标检测模型的vin码文本识别模块中，所述vin码文本识别模块的提取所述vin码目标框的特征序列，所述特征序列的每一帧在循环网络LSTM中进行预测得到预测结果，所述预测结果被转录得到vin码识别结果，所述vin码识别结果至少包括vin码。
2.根据权利要求1所述的基于深度学习的车辆前挡风玻璃vin码识别方法，其特征在于，所述区域检测模块的特征金字塔为LPFN,所述预测网络为CPM。
3.根据权利要求2所述的基于深度学习的车辆前挡风玻璃vin码识别方法，其特征在于，所述预测网络CPM预测特征金字塔LFPN生成的所述特征得到所述概率图和所述阈值图，所述概率图和所述阈值图经过基于可微二值化的文本检测算法DB得到所述二值图。
4.根据权利要求1所述的基于深度学习的车辆前挡风玻璃vin码识别方法，其特征在于，所述vin码文本识别模块在文本识别模型CRNN的基础上增加对抗生成网络GAN。
5.根据权利要求4所述的基于深度学习的车辆前挡风玻璃vin码识别方法，其特征在于，使用GAN对切割出来的vin码目标框对应的小目标进行超分辨率处理，其中所述小目标指的是分辨率低的vin码图像，生成超分辨率特征，将所述超分辨率特征叠加在CNN生成的小目标特征图上。
6.根据权利要求1所述的基于深度学习的车辆前挡风玻璃vin码识别方法，其特征在于，所述方向矫正模块为方向分类器，使用MobileNetV3作为方向分类器的主干。
7.根据权利要求6所述的基于深度学习的车辆前挡风玻璃vin码识别方法，其特征在于，采用以下四种策略对方向分类器进行处理：轻骨干，数据增强，输入分辨率和PACT量化。
8.根据权利要求1所述的基于深度学习的车辆前挡风玻璃vin码识别方法，其特征在于，适用于无人洗车设备对车辆的识别场景，vin码图像采集模块置于所述无人洗车设备上获取所述待检测图像。
9.一种基于深度学习的车辆前挡风玻璃vin码识别系统，其特征在于，包括：
图像获取单元，用于获取待检测图像，其中所述待检测图像包括车辆前挡风玻璃上的vin码区域；
被训练后的vin码目标检测模块，包括依次逻辑连接的区域检测模块、方向矫正模块以及vin码文本识别模块；
检测单元，所述待检测图像输入所述被训练后的目标检测模型中，在所述目标检测模型的区域检测模块中，所述待检测图像经过所述区域检测模块的特征金字塔被提取特征，利用预测网络预测所述特征得到概率图和阈值图，所述概率图和阈值图预测得到二值图，从所述二值图上得到vin码目标框，所述vin码目标框的方向经过所述目标检测模型的方向矫正模块被矫正至水平，矫正后的所述vin码目标框在所述目标检测模型的vin码文本识别模块中，所述vin码文本识别模块的提取所述vin码目标框的特征序列，所述特征序列的每一帧在循环网络LSTM中进行预测得到预测结果，所述预测结果被转录得到vin码识别结果，所述vin码识别结果至少包括vin码。
10.一种电子设备，其特征在于，包括：
存储器以及处理器，存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述权利要求1到8任一项基于深度学习的车辆前挡风玻璃vin码识别方法。
CN202110145316.XA 2021-02-03 2021-02-03 一种基于深度学习的车辆前挡风玻璃vin码识别方法及系统 Pending CN112464940A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110145316.XA CN112464940A (zh) 2021-02-03 2021-02-03 一种基于深度学习的车辆前挡风玻璃vin码识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110145316.XA CN112464940A (zh) 2021-02-03 2021-02-03 一种基于深度学习的车辆前挡风玻璃vin码识别方法及系统

Publications (1)

Publication Number Publication Date
CN112464940A true CN112464940A (zh) 2021-03-09

Family

ID=74802753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110145316.XA Pending CN112464940A (zh) 2021-02-03 2021-02-03 一种基于深度学习的车辆前挡风玻璃vin码识别方法及系统

Country Status (1)

Country Link
CN (1) CN112464940A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241183A (zh) * 2021-12-22 2022-03-25 易思维（杭州）科技有限公司 一种基于crnn网络模型的车辆vin码识别方法
CN117079085A (zh) * 2023-10-16 2023-11-17 合肥市斑马智行网络技术有限公司 雨滴检测模型的训练方法及车辆控制方法、设备及介质
CN117789185A (zh) * 2024-02-28 2024-03-29 浙江驿公里智能科技有限公司 基于深度学习的汽车油孔姿态识别系统及方法
CN117789185B (zh) * 2024-02-28 2024-05-10 浙江驿公里智能科技有限公司 基于深度学习的汽车油孔姿态识别系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778450A (zh) * 2015-03-30 2015-07-15 深圳市道通科技股份有限公司 一种车辆识别码图像的预处理方法及装置
CN109740547A (zh) * 2019-01-04 2019-05-10 平安科技（深圳）有限公司 一种图像处理方法、设备及计算机可读存储介质
CN110490232A (zh) * 2019-07-18 2019-11-22 北京捷通华声科技股份有限公司 训练文字行方向预测模型的方法、装置、设备、介质
CN111507332A (zh) * 2020-04-17 2020-08-07 上海眼控科技股份有限公司 车辆vin码检测方法与设备
CN111652217A (zh) * 2020-06-03 2020-09-11 北京易真学思教育科技有限公司 文本检测方法、装置、电子设备及计算机存储介质
CN111814794A (zh) * 2020-09-15 2020-10-23 北京易真学思教育科技有限公司 文本检测方法、装置、电子设备及存储介质
CN112036259A (zh) * 2020-08-10 2020-12-04 晶璞(上海)人工智能科技有限公司 一种基于图像处理与深度学习相结合的表格矫正与识别的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778450A (zh) * 2015-03-30 2015-07-15 深圳市道通科技股份有限公司 一种车辆识别码图像的预处理方法及装置
CN109740547A (zh) * 2019-01-04 2019-05-10 平安科技（深圳）有限公司 一种图像处理方法、设备及计算机可读存储介质
CN110490232A (zh) * 2019-07-18 2019-11-22 北京捷通华声科技股份有限公司 训练文字行方向预测模型的方法、装置、设备、介质
CN111507332A (zh) * 2020-04-17 2020-08-07 上海眼控科技股份有限公司 车辆vin码检测方法与设备
CN111652217A (zh) * 2020-06-03 2020-09-11 北京易真学思教育科技有限公司 文本检测方法、装置、电子设备及计算机存储介质
CN112036259A (zh) * 2020-08-10 2020-12-04 晶璞(上海)人工智能科技有限公司 一种基于图像处理与深度学习相结合的表格矫正与识别的方法
CN111814794A (zh) * 2020-09-15 2020-10-23 北京易真学思教育科技有限公司 文本检测方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241183A (zh) * 2021-12-22 2022-03-25 易思维（杭州）科技有限公司 一种基于crnn网络模型的车辆vin码识别方法
CN117079085A (zh) * 2023-10-16 2023-11-17 合肥市斑马智行网络技术有限公司 雨滴检测模型的训练方法及车辆控制方法、设备及介质
CN117079085B (zh) * 2023-10-16 2024-01-26 合肥市斑马智行网络技术有限公司 雨滴检测模型的训练方法及车辆控制方法、设备及介质
CN117789185A (zh) * 2024-02-28 2024-03-29 浙江驿公里智能科技有限公司 基于深度学习的汽车油孔姿态识别系统及方法
CN117789185B (zh) * 2024-02-28 2024-05-10 浙江驿公里智能科技有限公司 基于深度学习的汽车油孔姿态识别系统及方法

Similar Documents

Publication Publication Date Title
CN110135411B (zh) 名片识别方法和装置
US11790040B2 (en) Method for object detection and recognition based on neural network
US8644561B2 (en) License plate optical character recognition method and system
CN108090906B (zh) 一种基于区域提名的宫颈图像处理方法及装置
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
CN108885699A (zh) 字符识别方法、装置、存储介质及电子设备
CN109299717B (zh) 文字识别模型建立及文字识别方法、装置、介质及设备
CN112464940A (zh) 一种基于深度学习的车辆前挡风玻璃vin码识别方法及系统
CN110276351B (zh) 多语言场景文本检测与识别方法
WO2014014685A1 (en) Character recognition of devanagari by redundant decoding of normal characters|and conjunct characters
US11893765B2 (en) Method and apparatus for recognizing imaged information-bearing medium, computer device and medium
CN113903036B (zh) 一种文本识别方法、装置、电子设备、介质及产品
CN111507145A (zh) 嵌入式车载环视系统库位障碍物检测方法、系统及装置
CN106778736A (zh) 一种鲁棒的车牌识别方法及其系统
CN111723852B (zh) 针对目标检测网络的鲁棒训练方法
Ling et al. A model for automatic recognition of vertical texts in natural scene images
RU2633182C1 (ru) Определение направления строк текста
CN107886093B (zh) 一种字符检测方法、系统、设备及计算机存储介质
CN111435445A (zh) 字符识别模型的训练方法及装置、字符识别方法及装置
WO2013177240A1 (en) Textual information extraction method using multiple images
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN114627484A (zh) 一种复杂多场景文档分割方法、系统、装置及介质
Singh et al. StreetOCRCorrect: An interactive framework for OCR corrections in chaotic Indian street videos
CN111860289A (zh) 一种时序动作检测方法、装置及计算机设备
CN112784825A (zh) 图片中文字的识别方法、关键字检索方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309

RJ01 Rejection of invention patent application after publication