CN115953601A - 一种车辆标牌视觉检测方法、装置、终端设备及存储介质 - Google Patents
一种车辆标牌视觉检测方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN115953601A CN115953601A CN202211617894.XA CN202211617894A CN115953601A CN 115953601 A CN115953601 A CN 115953601A CN 202211617894 A CN202211617894 A CN 202211617894A CN 115953601 A CN115953601 A CN 115953601A
- Authority
- CN
- China
- Prior art keywords
- information
- label
- detected
- target
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 163
- 230000000007 visual effect Effects 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000009826 distribution Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 36
- 238000002156 mixing Methods 0.000 claims description 23
- 238000012216 screening Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000011179 visual inspection Methods 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种车辆标牌视觉检测方法、装置、终端设备及存储介质，通过获取待检测车辆的型号信息，根据所述型号信息查询对应的检测项目信息；根据所述检测项目信息触发对应位置的传感设备获取所述待检测车辆对应位置的待检测图像；根据所述待检测图像的图片标签选择对应的目标检测模型，通过所述目标检测模型检测所述待检测图像中的标牌信息，通过预先训练的模板匹配算法检测所述标牌信息的待测样本信息，将待测样本信息与预先训练得到的多维信息样本分布进行相似度对比，校正所述标牌信息中的相似字段，得到标牌的目标标签；将检出的目标标签和对应的概率作为视觉检测的目标信息。提高标牌检测效率和准确率。
Description
技术领域
本发明涉及车辆检测技术领域，尤其是涉及一种车辆标牌视觉检测方法、装置、终端设备及存储介质。
背景技术
在汽车生产过程中通常需要在车身上粘贴标牌，由于不同车型的车辆所对应的标牌不相同，且在车身上的粘贴位置也不相同，为了确保标牌粘贴无误，有必要在汽车生产过程中，对每辆车辆上的标牌进行检测。
现有的车辆标牌检测方法通常是在汽车生产线上使用检查员，通过人工检测车辆粘贴标牌数据是否准确。但是通过人工目视观察对车辆的标牌信息进行检查核对时，由于生产线上不同车型的标牌不同，且有些相同车型的不同车款标牌也会略有差异，并且实际工作的经常性和不确定性，例如因检测员疲劳等非可控人为因素，因此人工核查的方式准确率和效率都不高。
发明内容
本发明提供一种车辆标牌视觉检测方法、装置、终端设备及存储介质，以解决现有的车辆标牌视觉检测方法检测效率和检测准确率低下的问题，通过对车辆的标牌目标拍摄图像，通过图像处理对拍照图像识别和检测，替代人工目视检查，提高检测效率和准确率。
为了解决上述技术问题，本发明实施例提供一种车辆标牌视觉检测方法，包括如下步骤：
获取待检测车辆的型号信息，根据所述型号信息查询对应的检测项目信息；
根据所述检测项目信息触发对应位置的传感设备获取所述待检测车辆对应位置的待检测图像；
根据所述待检测图像的图片标签选择对应的目标检测模型，通过所述目标检测模型检测所述待检测图像中的标牌信息，所述标牌信息包括标牌种类、位置及概率；
通过预先训练的模板匹配算法检测所述标牌信息的待测样本信息，将待测样本信息与预先训练得到的多维信息样本分布进行相似度对比，校正所述标牌信息中的相似字段，得到标牌的目标标签；
将检出的目标标签和对应的概率作为视觉检测的目标信息。
优选地，所述方法还包括以下步骤：
将所述目标信息和所述型号信息反馈到显示设备进行可视化显示；
将所述目标信息与所述型号信息在云端服务器预存的标准信息进行对比，判断所述目标信息和所述标准信息是否相同；
当所述目标信息和所述标准信息相同时，所述显示设备输出检测正常反馈，并将所述目标信息上传到所述云端服务器；
当所述目标信息和所述标准信息不相同时，所述显示设备输出检测异常反馈。
作为一种优选方案，在根据所述待检测图像的图片标签选择对应的目标检测模型之前，所述方法还包括以下步骤：
启动AI检测服务，通过基于深度学习的双阶段faster RCNN目标检测模型，监听http端口，判断是否检测到图片输入；
若无图片输入，继续等待，保持对http端口的监听，直到接收到图片输入为止；
若接收到前端输入的图片，将接收的图片作为所述待检测图像。
优选地，在通过所述目标检测模型检测所述待检测图像中的标牌信息之前，所述方法还包括以下步骤：
通过高光过滤算法对所述待检测图像进行矫正。
优选地，在根据所述目标检测模型检测所述待检测图像中的标牌信息之后，所述方法还包括以下步骤：
通过NMS算法筛选所述标牌信息中的有效检测目标物，并通过离群点筛除算法筛除无效位置标牌目标，对所述标牌信息进行筛选。
作为一种优选方案，所述目标检测模型具体为基于深度学习的双阶段fasterRCNN目标检测模型。
优选地，所述模板匹配算法预先训练过程包括：
将预先采集的训练集中的标牌图像经过所述模板匹配算法的Patch Embedding模块将每一标牌图像分为n个区域；
将对不同区域进行对应的位置编码后的每一标牌图像送入到Three-stage HPD网络中计算标牌图像的多维信息样本分布，所述Three-stage HPD网络由三个相同的MixingBlock块和Merging模块组成；所述Mixing Block块包括Local Mixing及Global Mixing。
本发明实施例还提供一种车辆标牌视觉检测装置，包括：
项目查询模块，用于获取待检测车辆的型号信息，根据所述型号信息查询对应的检测项目信息；
图像获取模块，用于根据所述检测项目信息触发对应位置的传感设备获取所述待检测车辆对应位置的待检测图像；
图像检测模块，用于根据所述待检测图像的图片标签选择对应的目标检测模型，通过所述目标检测模型检测所述待检测图像中的标牌信息，所述标牌信息包括标牌种类、位置及概率；
目标校正模块，用于通过预先训练的模板匹配算法检测所述标牌信息的待测样本信息，将待测样本信息与预先训练得到的多维信息样本分布进行相似度对比，校正所述标牌信息中的相似字段，得到标牌的目标标签；
结果输出模块，用于将检出的目标标签和对应的概率作为视觉检测的目标信息。
优选地，所述装置还包括结果判定模块，用于：
将所述目标信息和所述型号信息反馈到显示设备进行可视化显示；
将所述目标信息与所述型号信息在云端服务器预存的标准信息进行对比，判断所述目标信息和所述标准信息是否相同；
当所述目标信息和所述标准信息相同时，所述显示设备输出检测正常反馈，并将所述目标信息上传到所述云端服务器；
当所述目标信息和所述标准信息不相同时，所述显示设备输出检测异常反馈。
作为一种优选方案，所述装置还包括监听模块，用于：
在根据所述待检测图像的图片标签选择对应的目标检测模型之前，启动AI检测服务，通过基于深度学习的双阶段faster RCNN目标检测模型，监听http端口，判断是否检测到图片输入；
若无图片输入，继续等待，保持对http端口的监听，直到接收到图片输入为止；
若接收到前端输入的图片，将接收的图片作为所述待检测图像。
作为一种优选方案，所述装置还包括校正模块，用于：
在通过所述目标检测模型检测所述待检测图像中的标牌信息之前，通过高光过滤算法对所述待检测图像进行矫正。
作为一种优选方案，所述装置还包括筛选模块，用于：
在根据所述目标检测模型检测所述待检测图像中的标牌信息之后，通过NMS算法筛选所述标牌信息中的有效检测目标物，并通过离群点筛除算法筛除无效位置标牌目标，对所述标牌信息进行筛选。
优选地，所述目标检测模型具体为基于深度学习的双阶段faster RCNN目标检测模型。
作为一种优选方案，所述目标校正模块训练所述模板匹配算法的过程包括：
将预先采集的训练集中的标牌图像经过所述模板匹配算法的Patch Embedding模块将每一标牌图像分为n个区域；
将对不同区域进行对应的位置编码后的每一标牌图像送入到Three-stage HPD网络中计算标牌图像的多维信息样本分布，所述Three-stage HPD网络由三个相同的MixingBlock块和Merging模块组成；所述Mixing Block块包括Local Mixing及Global Mixing。
本发明实施例提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的车辆标牌视觉检测方法。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面任一项所述的车辆标牌视觉检测方法。
相比于现有技术，本发明实施例的有益效果在于，通过对车辆的标牌目标拍摄图像，通过图像处理对拍照图像识别和检测，替代人工目视检查，以解决现有的车辆标牌视觉检测方法检测效率和检测准确率低下的问题，提高检测效率和准确率。
附图说明
图1是本发明实施例提供一种车辆标牌视觉检测方法的流程示意图；
图2是本发明另一实施例提供的车辆标牌视觉检测方法的流程示意图；
图3是本发明又一实施例提供的车辆标牌视觉检测方法的流程示意图；
图4是本发明实施例提供的Global Mixing的结构示意图；
图5是本发明实施例提供的Local Mixing的结构示意图；
图6是本发明实施例中的车辆标牌视觉检测装置的结构示意图；
图7是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明提供的实施例中，参见图1，是本发明实施例提供一种车辆标牌视觉检测方法的流程示意图，包括步骤S1～S5：
S1，获取待检测车辆的型号信息，根据所述型号信息查询对应的检测项目信息；
S2，根据所述检测项目信息触发对应位置的传感设备获取所述待检测车辆对应位置的待检测图像；
S3，根据所述待检测图像的图片标签选择对应的目标检测模型，通过所述目标检测模型检测所述待检测图像中的标牌信息，所述标牌信息包括标牌种类、位置及概率；
S4，通过预先训练的模板匹配算法检测所述标牌信息的待测样本信息，将待测样本信息与预先训练得到的多维信息样本分布进行相似度对比，校正所述标牌信息中的相似字段，得到标牌的目标标签；
S5，将检出的目标标签和对应的概率作为视觉检测的目标信息。
在本实施例具体实施时，在进行车辆标牌视觉检测时，需要先获取待检测车辆的型号信息，不同型号的车辆对应的检测项目不同，因此需要根据所述待检测车辆的型号信息能够查询对应的检测项目信息，所述检测项目信息即每一车辆在标牌检测时，需要对应检测的标牌数量、标牌在所述待检测车辆的分布位置；通过确定检测项目信息，能够获取对应的标牌图像进行对应的视觉检测处理。
所述待检测车辆在进行视觉检测时，预先在待检测车辆位置周围配置对应的传感设备，通过传感设备获取对应的标牌图像；
需要说明的是，进行车辆标牌视觉检测时，先在检测架上对应位置布置若干传感设备，在进行标牌检测时，将待检测车辆置于预设位置，此时布置的传感设备能够获取对应位置的图像；
根据所述检测项目信息触发对应位置的传感设备获取所述待检测车辆对应位置的待检测图像；
根据所述待检测图像的图片标签选择对应的目标检测模型，通过所述目标检测模型检测所述待检测图像中的标牌信息，其中，所述标牌信息包括对应的标牌种类，标牌位置和标牌检测的概率；
通过预先训练的模板匹配算法校正相似字标牌目标标签，模板匹配算法是通过历史图片数据分析出检测项多维信息样本分布，然后将待测样本信息与多维信息样本分布做相似度对比，根据图片相似度来判别检出目标是否正确，以校正所述标牌信息中的相似字段，得到标牌的目标标签，降低标牌检测的错检率。
将有效检出的目标标签和对应的概率组合成json返回给前端，作为视觉检测的目标信息；完成对所述待检测车辆的标牌检测，能够高效、准确完成车辆的标牌检测。
本实施例能够解决现有的车辆标牌视觉检测方法检测效率和检测准确率低下的问题，通过对车辆的标牌目标拍摄图像，通过图像处理对拍照图像识别和检测，替代人工目视检查，提高检测效率和准确率。
在本发明提供的又一实施例中，所述方法还包括以下步骤：
将所述目标信息和所述型号信息反馈到显示设备进行可视化显示；
将所述目标信息与所述型号信息在云端服务器预存的标准信息进行对比，判断所述目标信息和所述标准信息是否相同；
当所述目标信息和所述标准信息相同时，所述显示设备输出检测正常反馈，并将所述目标信息上传到所述云端服务器；
当所述目标信息和所述标准信息不相同时，所述显示设备输出检测异常反馈。
在本实施例具体实施时，参见图2，是本发明另一实施例提供的车辆标牌视觉检测方法的流程示意图；
在进行车辆标牌视觉检测时，车辆到位后，通过车辆侧边扫码枪录入车架号，系统识别到车架号，然后调用AS400接口获取车辆信息，获取车辆型号，根据车辆型号获取车辆检验项目，进行检测触发，推送消息到大屏，发送语音提示推送，通过大屏消息推送，提示质检员按步骤操作；
扫码枪被触发后，根据大屏提示信息和语音提示驾驶员按规操作，调用相机取图；
提示消息推送，推送消息到大屏，发送语音提示推送，通过大屏消息推送；
相机取图，调用模型取图，通过AI智能检测服务对图片进行检测，输出检测结果；
将检测结果汇总推送，通过大屏消息推送，将所述目标信息和所述型号信息反馈到显示设备进行可视化显示；
将所述目标信息与所述型号信息在云端服务器预存的标准信息进行对比，判断所述目标信息和所述标准信息是否相同，即进行OK/NG判断；
当所述目标信息和所述标准信息不相同时，输出结果为NG，显示设备输出检测异常反馈，并通过语音提示推送。触发报警灯和语音提示大屏会有红色标志，提示现场人员车辆存在问题。
当所述目标信息和所述标准信息相同时，输出结果为OK，所述显示设备输出检测正常反馈，大屏会出现绿色标志，上述目标信息到指定服务器，即上传目标信息至云端服务器，进行人工确认；
人工确认目标信息存在异常时，通过修改检测结果，修改车辆信息，修改完成后，再次上传修改后的目标信息到指定服务器；
人工确认目标信息正常时，不做修改；
大屏收到车辆结果信息后，现场人员可以根据现场实际情况更改检测结果，将车辆检测数据及图片数据存储到对应的服务器和管理平台，可以进行实时查询和追溯。
实现自动检测标牌与信息核对，能够对不正确标牌进行显示标识与报警；
通过视觉检测标牌，可与其他智能检测项目合并同时进行，减少岗位设置，优化工艺流程；实现自动检测、记录标牌检测信息，确保所有车辆记录准确；标牌检测结果数据自动保存并上传至指定服务器，并对最终结果进行图片与数据展示。
在本发明提供的又一实施例中，在根据所述待检测图像的图片标签选择对应的目标检测模型之前，所述方法还包括以下步骤：
启动AI检测服务，通过基于深度学习的双阶段faster RCNN目标检测模型，监听http端口，判断是否检测到图片输入；
若无图片输入，继续等待，保持对http端口的监听，直到接收到图片输入为止；
若接收到前端输入的图片，将接收的图片作为所述待检测图像。
在本实施例具体实施时，参见图3，是本发明又一实施例提供的车辆标牌视觉检测方法的流程示意图；
在根据所述待检测图像的图片标签选择对应的目标检测模型之前，先启动AI检测服务，标牌AI服务阵列的N个检测服务监听对应的http端口；
判断前端负载是否均衡发图，通过基于深度学习的双阶段faster RCNN目标检测模型，监听http端口，判断是否检测到图片输入；
若无图片输入，继续等待，保持对http端口的监听，直到接收到图片输入为止；
若接收到前端传输图片，将接收的图片作为所述待检测图像；
通过AI检测服务检测http接口，保证AI智能检测服务的高效性。
在本发明提供的又一实施例中，在通过所述目标检测模型检测所述待检测图像中的标牌信息之前，所述方法还包括以下步骤：
通过高光过滤算法对所述待检测图像进行矫正。
在本实施例具体实施时，参见图3，通过图片标签选择标牌检测的检测模型后，即根据所述待检测图像的图片标签选择对应的目标检测模型后，通过图片高光过滤算法，校正图片质量，降低漏检率；
在进行标牌检测前，先通过高光过滤算法，校正图片质量，降低漏检率，提高标牌视觉检测的准确率。
在本发明提供的又一实施例中，在根据所述目标检测模型检测所述待检测图像中的标牌信息之后，所述方法还包括以下步骤：
通过NMS算法筛选所述标牌信息中的有效检测目标物，并通过离群点筛除算法筛除无效位置标牌目标，对所述标牌信息进行筛选。
在本实施例具体实施时，参见图3，在根据所述目标检测模型对所述待检测图像进行检测，即目标检测模型检测出图片中的标牌种类、位置及概率等标牌信息后，通过NMS算法筛除重叠检测框，即通过NMS算法筛选所述标牌信息中的有效检测目标物，并通过离群点筛除算法筛除无效位置标牌目标，对所述标牌信息进行筛选。
通过NMS算法筛除有效检测目标物，通过离群点筛除算法筛除无效位置标牌目标，降低误检率。
在本发明提供的又一实施例中，所述目标检测模型具体为基于深度学习的双阶段faster RCNN目标检测模型。
在本实施例具体实施时，目标检测模型为基于深度学习的双阶段faster RCNN目标检测模型；
通过基于深度学习的双阶段faster RCNN目标检测模型能够准确的通过合适大小的检测框完成对标牌目标的检测。
在本发明提供的又一实施例中，所述模板匹配算法预先训练过程包括：
将预先采集的训练集中的标牌图像经过所述模板匹配算法的Patch Embedding模块将每一标牌图像分为n个区域；
将对不同区域进行对应的位置编码后的每一标牌图像送入到Three-stage HPD网络中计算标牌图像的多维信息样本分布，所述Three-stage HPD网络由三个相同的MixingBlock块和Merging模块组成；所述Mixing Block块包括Local Mixing及Global Mixing。
在本实施例具体实施时，在模板匹配算法训练阶段，预先采集的训练集中的标牌图像首先经过Patch Embedding模块将图像分为n个区域，将对不同区域进行对应的位置编码后送入到Three-stage HPD网络中计算标牌图像的多维信息样本分布；
其中Three-Stage HDP网络由三个相同的Mixing Block块和Merging模块组成。Mixing Block分为Local Mixing及Global Mixing。
参见图4，是本发明实施例提供的Global Mixing的结构示意图，Global Mixing用于评估所有字符组件之间的依赖性，当进入混合块时，应用一个层范数，然后应用多头自注意力机制进行依赖建模。依次应用层范数和多层感知器进行特征融合，与shortcutconnections一起，形成Global Mixing。
参见图5，是本发明实施例提供的Local Mixing的结构示意图，Local Mixing在一个预定义的窗口内评估组件之间的相关性，其目的是对形态特征进行编码，并建立特征内成分之间的关联，从而模拟对特征识别至关重要的笔画样特征。然后将得到的多维特征与标牌语义特征，做损失计算。
训练完成后得到预训练Three-stage HPD网络。标牌图像经过预训练模型后映射到高斯分布矩阵中，测试阶段，标牌图像经过Patch Embedding模块，Position Embedding模块后，经Three-Stage HDP网络提取特征后送入高斯分布矩阵，判断分布区域是否为目标检测区域，从而达到降低错检的概率。最后将有效检出目标物的标签和概率组合成json返回给前端，前端通过检出信息结合型号信息显示出可视化结果。
本发明以GPU进行深度学习模型运算，通过编程来实现各种控制功能，具有自动化、智能化程度高的特点，可以自动化实现兼容各种车型的标牌信息检查核对，采用深度学习识别不同车型的车标，兼容多种现有车型；当有新车型生产时，拍摄新车型图片，用于模型训练，模型训练好后发布出来替代旧模型，即可实现新车型检查，后期维护简单；开发的云端服务器，可以方便比对数据进行查询和追溯。
在本发明提供的又一实施例中，参见图6，是本发明实施例提供的一种车辆标牌视觉检测装置的结构示意图，所述装置包括：
项目查询模块，用于获取待检测车辆的型号信息，根据所述型号信息查询对应的检测项目信息；
图像获取模块，用于根据所述检测项目信息触发对应位置的传感设备获取所述待检测车辆对应位置的待检测图像；
图像检测模块，用于根据所述待检测图像的图片标签选择对应的目标检测模型，通过所述目标检测模型检测所述待检测图像中的标牌信息，所述标牌信息包括标牌种类、位置及概率；
目标校正模块，用于通过预先训练的模板匹配算法检测所述标牌信息的待测样本信息，将待测样本信息与预先训练得到的多维信息样本分布进行相似度对比，校正所述标牌信息中的相似字段，得到标牌的目标标签；
结果输出模块，用于将检出的目标标签和对应的概率作为视觉检测的目标信息。
需要说明的是，本发明实施例所提供的一种车辆标牌视觉检测装置，能够实现上述任一实施例所述的车辆标牌视觉检测方法的所有流程，装置中的各个模块的作用以及实现的技术效果分别与上述实施例所述的车辆标牌视觉检测方法的作用以及实现的技术效果对应相同，这里不再赘述。
参见图7，是本发明实施例提供的一种终端设备的结构示意图，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一实施例所述的车辆标牌视觉检测方法。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面任一实施例所述的车辆标牌视觉检测方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种车辆标牌视觉检测方法，其特征在于，包括如下步骤：
获取待检测车辆的型号信息，根据所述型号信息查询对应的检测项目信息；
根据所述检测项目信息触发对应位置的传感设备获取所述待检测车辆对应位置的待检测图像；
根据所述待检测图像的图片标签选择对应的目标检测模型，通过所述目标检测模型检测所述待检测图像中的标牌信息，所述标牌信息包括标牌种类、位置及概率；
通过预先训练的模板匹配算法检测所述标牌信息的待测样本信息，将待测样本信息与预先训练得到的多维信息样本分布进行相似度对比，校正所述标牌信息中的相似字段，得到标牌的目标标签；
将检出的目标标签和对应的概率作为视觉检测的目标信息。
2.如权利要求1所述的车辆标牌视觉检测方法，其特征在于，所述方法还包括以下步骤：
将所述目标信息和所述型号信息反馈到显示设备进行可视化显示；
将所述目标信息与所述型号信息在云端服务器预存的标准信息进行对比，判断所述目标信息和所述标准信息是否相同；
当所述目标信息和所述标准信息相同时，所述显示设备输出检测正常反馈，并将所述目标信息上传到所述云端服务器；
当所述目标信息和所述标准信息不相同时，所述显示设备输出检测异常反馈。
3.如权利要求1所述的车辆标牌视觉检测方法，其特征在于，在根据所述待检测图像的图片标签选择对应的目标检测模型之前，所述方法还包括以下步骤：
启动AI检测服务，通过基于深度学习的双阶段faster RCNN目标检测模型，监听http端口，判断是否检测到图片输入；
若无图片输入，继续等待，保持对http端口的监听，直到接收到图片输入为止；
若接收到前端输入的图片，将接收的图片作为所述待检测图像。
4.如权利要求1所述的车辆标牌视觉检测方法，其特征在于，在通过所述目标检测模型检测所述待检测图像中的标牌信息之前，所述方法还包括以下步骤：
通过高光过滤算法对所述待检测图像进行矫正。
5.如权利要求1所述的车辆标牌视觉检测方法，其特征在于，在根据所述目标检测模型检测所述待检测图像中的标牌信息之后，所述方法还包括以下步骤：
通过NMS算法筛选所述标牌信息中的有效检测目标物，并通过离群点筛除算法筛除无效位置标牌目标，对所述标牌信息进行筛选。
6.如权利要求1所述的车辆标牌视觉检测方法，其特征在于，所述目标检测模型具体为基于深度学习的双阶段faster RCNN目标检测模型。
7.如权利要求1所述的车辆标牌视觉检测方法，其特征在于，所述模板匹配算法预先训练过程包括：
将预先采集的训练集中的标牌图像经过所述模板匹配算法的Patch Embedding模块将每一标牌图像分为n个区域；
将对不同区域进行对应的位置编码后的每一标牌图像送入到Three-stage HPD网络中计算标牌图像的多维信息样本分布，所述Three-stage HPD网络由三个相同的MixingBlock块和Merging模块组成；所述Mixing Block块包括Local Mixing及Global Mixing。
8.一种车辆标牌视觉检测装置，其特征在于，包括：
项目查询模块，用于获取待检测车辆的型号信息，根据所述型号信息查询对应的检测项目信息；
图像获取模块，用于根据所述检测项目信息触发对应位置的传感设备获取所述待检测车辆对应位置的待检测图像；
图像检测模块，用于根据所述待检测图像的图片标签选择对应的目标检测模型，通过所述目标检测模型检测所述待检测图像中的标牌信息，所述标牌信息包括标牌种类、位置及概率；
目标校正模块，用于通过预先训练的模板匹配算法检测所述标牌信息的待测样本信息，将待测样本信息与预先训练得到的多维信息样本分布进行相似度对比，校正所述标牌信息中的相似字段，得到标牌的目标标签；
结果输出模块，用于将检出的目标标签和对应的概率作为视觉检测的目标信息。
9.一种终端设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的车辆标牌视觉检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7任一项所述的车辆标牌视觉检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211617894.XA CN115953601A (zh) | 2022-12-13 | 2022-12-13 | 一种车辆标牌视觉检测方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211617894.XA CN115953601A (zh) | 2022-12-13 | 2022-12-13 | 一种车辆标牌视觉检测方法、装置、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115953601A true CN115953601A (zh) | 2023-04-11 |
Family
ID=87290056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211617894.XA Pending CN115953601A (zh) | 2022-12-13 | 2022-12-13 | 一种车辆标牌视觉检测方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115953601A (zh) |
-
2022
- 2022-12-13 CN CN202211617894.XA patent/CN115953601A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11823503B2 (en) | Remote automotive diagnostics | |
| TWI716012B (zh) | 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置 | |
| CN108171203B (zh) | 用于识别车辆的方法和装置 | |
| CN108734702A (zh) | 车损判定方法、服务器及存储介质 | |
| CN115619787B (zh) | 一种uv胶缺陷检测方法、系统、设备及介质 | |
| CN114419038A (zh) | 轮毂表面缺陷的识别方法及装置、存储介质、电子设备 | |
| CN113763348A (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
| CN110826646A (zh) | 机器人视觉测试方法、装置、存储介质及终端设备 | |
| US20210090176A1 (en) | Car damage picture angle correction method, electronic device, and readable storage medium | |
| CN113284094A (zh) | 获取玻璃基板缺陷信息的方法、装置、存储介质及设备 | |
| CN103913150B (zh) | 智能电能表电子元器件一致性检测方法 | |
| CN112161984B (zh) | 酒品定位方法、酒品信息管理方法、装置、设备及存储介质 | |
| WO2019140641A1 (zh) | 信息处理方法、系统、云处理设备以及计算机程序产品 | |
| CN112115950A (zh) | 酒标识别方法、酒品信息管理方法、装置、设备及存储介质 | |
| CN112328822A (zh) | 图片预标注方法、装置及终端设备 | |
| CN114943875A (zh) | 用于电缆元件识别的视觉分析方法 | |
| CN113128522B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
| CN115953601A (zh) | 一种车辆标牌视觉检测方法、装置、终端设备及存储介质 | |
| CN115631169A (zh) | 产品检测方法、装置、电子设备及存储介质 | |
| CN112116460B (zh) | 基于区块链的专利质押业务处理方法、系统及存储介质 | |
| CN114022070A (zh) | 盘库方法、装置、设备及存储介质 | |
| CN112668558A (zh) | 基于人机交互的收银纠错方法及装置 | |
| CN112308062A (zh) | 一种复杂背景图像中的医疗影像访问号识别方法 | |
| CN112686203A (zh) | 一种基于空间先验的车辆安全警示装置检测方法 | |
| CN117592917B (zh) | 一种基于移动执法的行驶证信息快速录入方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |