CN115331453A - 一种车辆进入无接触式智能控制方法 - Google Patents
一种车辆进入无接触式智能控制方法 Download PDFInfo
- Publication number
- CN115331453A CN115331453A CN202210984259.9A CN202210984259A CN115331453A CN 115331453 A CN115331453 A CN 115331453A CN 202210984259 A CN202210984259 A CN 202210984259A CN 115331453 A CN115331453 A CN 115331453A
- Authority
- CN
- China
- Prior art keywords
- license plate
- image
- recognition
- mask
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000036541 health Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 50
- 238000001514 detection method Methods 0.000 claims description 31
- 238000012795 verification Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000002790 cross-validation Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/20—Individual registration on entry or exit involving the use of a pass
- G07C9/21—Individual registration on entry or exit involving the use of a pass having a variable access code
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/20—Individual registration on entry or exit involving the use of a pass
- G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
- G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
Abstract
本发明公开了一种车辆进入无接触式智能控制方法，包括如下过程：S1车辆触发系统启动，S2车牌和人面部图像采集，S3图像识别：车牌识别模块和口罩识别模块分别对所述车牌图像和人面识图像进行识别，得到车牌号码数据和是否佩戴口罩的判断结果；S4识别数据的处理：对于口罩识别模块识别结果是，启动健康码处理模块识别健康码，并判断健康码是否正常；S5入口闸机的控制：当健康码处理模块识别结果为是，控制模块向闸机发送开启指令控制入口闸机开启，并记录车牌号码和进入时间。其中车牌和口罩识别模块，采用YOLOV4。本发明实现了车牌与口罩佩戴的自动智能识别，特别是还结合健康码的自动识别判断，不仅提高了效率，还提高的安全性，适应疫情控制的需要。
Description
技术领域
本发明属于智能停车控制领域，具体来说是一种车辆进入无接触式智能控制方法。
背景技术
伴随着国家经济快速发展和人民生活水平的提高，汽车作为方便快捷的交通工具越来越普及到市民的日常生活中，小区、商场等人流量大的区域中需要停放的车辆众多，因此地上停车场、地下车库成为必备的硬件设施。随着人工智能技术的发展，目前公共场车场、车库以及一些机关企事业单位车辆进出通过闸机和车牌识别系统进行控制管理，收费停车场均采用了车牌识别+自动计算 +自助缴费+自动放行的无接触式停车管理系统，极大地提高了停车管理效率并降低了管理运营成本。
现有的车库停车管理设备并不能自动识别进入人员是否符合佩戴口罩的要求，还不能做到无接触式的人员检测，只能依靠车库管理员进行检查并控制是否放行，这不仅十分费时费力，且由于并非为非接触式管理，因此存在不安全的问题。
由于车牌是采用了固定尺寸、颜色，相同的位数和字体，自动识别相对容易。传统车牌识别采用opencv进行车牌区域提取后，采用轮廓提取的方式提取字符，然后将提取的字符进行分割，将分割的字符采用SVM或者模板匹配的方式进行字符分类识别。但，这种识别方式还有一定缺陷，主要是在分割字符的时候比较容易分割到两个字符，并且受到外界环境的影响比较严重，识别效果不很理想，并且由于字符提取的方式依赖于阈值化的参数调节以及字符轮廓的参数设置，参数调节起来会比较麻烦。而相对于采用了统一标准的车牌识别，由于口罩的样式、规格、颜色没有统一标准，因此口罩自动识别难度比车牌识别更大，这也是目前智能停车管理系统不能通过简单软件升级实现口罩识别，所以还要人工检查口罩佩戴的原因。
另外，传统车牌识别采用opencv跨平台视觉库进行车牌区域提取后，采用轮廓提取的方式提取字符，然后将提取的字符进行分割，将分割的字符采用 SVM或者模板匹配的方式进行字符分类识别。这种识别方式存在一些缺陷，比较容易在分割字符的时候分割到两个字符，并且受到外界环境的影响比较严重，识别效果不理想，并且由于字符提取的方式依赖于阈值化的参数调节以及字符轮廓的参数设置，参数调节起来会比较麻烦。
基于现状，始得本发明。
发明内容
针对现有的智能停车管理系统无法适应无接触式管理的问题，本发明的目的在于提供一种车辆进入无接触式智能控制方法，通过口罩自动识别与车牌识别相结合，进行智能识别和管理，实现车辆的无接触式管理，以提高车辆进出检测效率。
为了解决上述问题，本发明提供一种车辆进入无接触式智能控制方法，包括如下过程：
S1触发系统启动：当车辆进入入口闸机预定位置，触发控制系统工作，链接系统硬件，并选择串口启动程序；
S2车牌和人面部图像采集：图像采集设备启动，识别车牌的摄像头和识别人面部的摄像头分别采集车牌图像和人面部图像；
S3图像识别：车牌识别模块和口罩识别模块分别对S2采集的所述车牌图像和人面识图像进行识别，得到车牌号码数据和是否佩戴口罩的判断结果；
S4识别数据的处理：对于口罩识别模块识别结果为否，控制模块控制反馈模块通过语音或文字提醒车内人员佩戴口罩；识别结果为是，启动健康码处理模块识别健康码，并判断健康码是否正常；
S5入口闸机的控制：当健康码处理模块识别结果为是，控制模块向闸机发送开启指令控制入口闸机开启，并记录车牌号码和进入时间；当健康码处理模块识别结果为否，控制模块不给闸机发送开启指令并通过所述反馈模块通过语音或文字提醒禁止进入。
进一步地，所述口罩识别模块，采用YOLOV4 mobilenetv2进行识别，包括训练子模块和检测子模块。
进一步地，所述检测子模块口罩检测方法为：
C1获取摄像头所采集的图像；
C2加载口罩检测模型；
C3加载检测种类标签文件；
C4加载先验框对应的txt文件；
C5对图像进行不失真图像尺寸调整；
C6判断GPU是否可用；
C7将图像输入网络中进行预测，得出预测框，对预测框进行堆叠，然后进行非极大值抑制；
C8输出目标位置以及目标种类概率；
C9将检测结果在图像上进行绘制并显示。
进一步地，所述车牌识别模块，包括车牌预处理、车牌提取和车牌字符识别步骤，具体为：
B1车牌预处理：对车牌图像进行灰度化处理，然后对图像边缘提取，对边缘提取的图像进行腐蚀和膨胀，再进行均值滤波，得到预处理图像；
B2车牌提取流程：使用findContours对B1步骤预处理过后的图像进行轮廓查找，遍历轮廓，获取每个查找到的轮廓的最小外接矩形的中心坐标，宽高以及旋转角度，然后根据宽高变换进行宽高交换，然后根据车牌的宽高比进行车牌初步提取，将提取到的车牌进行仿射变换以及裁剪，获取到提取的车牌区域图像，将裁剪过后的车牌进行平均像素计算，根据计算到的图像RGB值进行判断当前车牌的颜色，筛选掉颜色不正确的车牌；
B3车牌字符识别：将B2步骤筛选后的图像进行尺寸调整，并进行字符识别，字符识别采用YOLOV4模型进行车牌字符识别，最后返回车牌识别字符结果。
进一步地，本申请车牌识别与口罩识别均使用YOLOv4，YOLOv4是一种目标检测模型，相较于R-CNN，Fast-RCNN等Two-Stage的识别算法相比，识别速度更快，运行效率更高占用的硬件资源更少，可以在大部分不是特别复杂的情况下识别目标，并且经过多年的发展YOLO算法识别的精准度与识别速度进一步提高。
本申请车牌检测和口罩检测基于YOLOv4网络训练过程如下：
T1制作数据集：制作车牌或人脸图片，人脸图片要包括未佩戴口罩和佩戴口罩的人脸图片，使用labelme对图片信息做标记，每次标注一张图片完成时都将所标注的信息保存为.xml文件，所xml文件中会包含所标注图像的ROI 区域信息；
T2训练参数设置：在训练时需要对模型的网络超参数进行设定，主要涉及图像输入分辨率、置信度阈值、与非极大值抑制的iou大小、初始学习速率、和优化器类型；
T3模型训练：将T1标记的图像数据集输入YOLOV4 mobilenetv2网络进行训练；
T4模型欠拟合与过拟合处理：在损失函数里添加限制权重参数过大的L1 范数正则化或者L2范数正则化，在损失函数下降的过程中，使得权重参数逐渐趋向0甚至等于0；
T5验证数据集与评测标准：验证数据集首先将原来训练数据集中划分为K 个不重叠的子数据集，接着再进行K个模型训练和验证，最后对这K次的训练偏差和验证误差各自求平均数；
评测标准采用mAP，其计算公式如式1-3所示：
其中QR是验证集个数。
进一步所，所述T4步骤中的正则化可以分为L1正则化与L2正则化，L1 正则化的计算方法如公式1-1所示，L2正则化的计算方法如公式1-2所示：
上式中，λ为正则化因子，是超参数；
||w||1为L1范数，||w||1为L2范数。
本发明，将口罩识别结果作为控制入口闸机开启的控制条件，实现了车牌与口罩佩戴的自动智能识别，特别是还结合健康码的自动识别判断，实现了车辆进入停车场、车库等的非接触式智能控制，不仅提高了效率，还提高的安全性。附图说明
图1是本发明的流程示意图；
图2是本发明的mAP曲线图；
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以助于理解发明内容。
是本发明用于停车场、地下车库以及单位门口控制车辆入口闸机开启的智能控制方法，即车辆进入排接触式智能控制方法，与出口自动闸机和收费系统构成停车智能管理控制系统。由于本发明只对入口闸机的控制进行改进，因此对出口闸机的控制预以省略。
对于车辆进出闸机智能管理控制系统硬件部分，包括进、出口闸机、控制器、摄像头、LED照明系统，还可以包括地感线圈等。
如图1所示，车辆进入无接触式智能控制方法，整个流程包括如下过程：
S1触发系统启动：当车辆进入入口闸机预定位置，通过地感线圈或图像采集设置获取到车辆进入信息，触发控制系统工作，链接硬件，并选择串口启动程序启动相应摄像头等串口硬件；
S2车牌和人面部图像采集：图像采集设备启动，识别车牌的摄像头和识别人面部的摄像头分别采集车牌图像和车内人面部图像；
S3图像识别：车牌识别模块和口罩识别模块分别对已经采集的所述车牌图像和人面识图像进行识别，得到车牌号码数据和是否佩戴口罩的判断结果；
S4识别数据的处理：如果未正确识别出车牌，则再次进行图像采集和识别；对于口罩识别模块识别结果为否，控制模块控制口罩反馈模块通过语音或文字提醒车内人员佩戴口罩；识别结果为是，启动健康码处理模块识别健康码，并判断健康码是否正常；
S5入口闸机的控制：当健康码处理模块识别结果为是(或正常)，控制模块向闸机发送开启指令控制入口闸机开启，并保存记录车牌号码和进入时间；当健康码处理模块识别结果为否(或异常)，控制模块不给闸机发送开启指令并通过所述反馈模块通过语音或文字提醒禁止进入。
由于健康码涉及加密系统，本发明健康码识别使用二维码作为替代，即通过拍照获取健康码中的二维码信息，使用opencv4的QRCodeDetector函数进行识别健康码的二维码，获取识别到的二维码解析的信息。
本申请的核心是口罩识别模块和车牌识别模块，下面进行详细说明。
车牌识别与口罩识别均使用YOLOv4目标检测模型，包括车牌识别模块和口罩识别模块，均由训练子模块和检测子模块组成。使用windows10进行模型的训练，在深度学习的训练和推导过程中对计算机硬件的需求都相当高，主要对内存和显存要求较高，不推荐用CPU来训练，本次训练采用如下配置：Intel12 代i5cpu，双通道2x8G内存，Nvidia RTX2070s显卡。
一、训练子模块说明
车牌检测和口罩检测基于YOLOv4网络训练过程如下：
T1制作数据集：(1)分别制作车牌和人脸图片
由于车牌有统一的标准，因此车牌图片使用程序进行车牌生成，一共生成 1000张车牌数据，分辨率为416×132。人脸图片要包括未佩戴口罩和佩戴口罩的人脸图片，本次训练采用800张开源数据图像作为训练数据，其中未佩戴口罩的人脸300张，佩戴了口罩的人脸500张。
(2)制作车牌和人脸数据集
使用labelme对图片信息做标记，把数据集中的任何要标注的图片进行标注，从而完成标注(即框选出待检测目标的位置和类别)。每次标注一张图片完成时都将所标注的信息保存为.xml文件，所有xml文件中会包含所标注图像的 ROI区域信息，形成车牌数据集和人脸数据集，以便于对车牌检测模型和口罩检测模型进行训练。
T2训练参数设置：在训练时需要对检测模型的网络超参数进行设定，在这里主要涉及图像输入分辨率、置信度阈值、与非极大值抑制的iou大小、初始学习速率、和优化器类型；置信度阈值以及与非极大值抑制的iou大小的，设定后可以通过过滤识别率较小的检测矩形框，学习速率控制代表着根据损失梯度调整神经网络权值的速率，学习率越小，损失梯度降低的速率就越缓慢，而收敛速率的持续时间也更长；而一旦学习率过大，梯度降低的步子过大可能会跨过最优阈值。所以训练全过程中并没有使用一个恒定数值的学习速率，而只是随着持续时间的延长使学习速率动态地变化。
车牌训练的网络超参数设定如下：
使用SGD(随机梯度下降)作为损失函数优化器
Epoch分为Init_Epoch、Freeze_Epoch和UnFreeze_Epoch
Init_Epoch＝0
Freeze_Epoch＝50
Freeze_batch_size＝4
UnFreeze_Epoch＝300
Unfreeze_batch_size＝2
momentum＝0.937#momentum为优化器内部使用到的momentum参数
weight_decay＝5e-4#weight_decay为权值衰减，可防止过拟合
Init_lr＝1e-2Init_lr为模型的最大学习率
Min_lr＝Init_lr*0.01Min_lr为模型的最小学习率，默认为最大学习率的 0.01
lr_decay_type＝"cos"lr_decay_type是使用到的学习率下降方式
save_period＝10save_period多少个epoch保存一次权值
口罩训练的网络超参数设定如下：
Epoch分为Init_Epoch、Freeze_Epoch和UnFreeze_Epoch
Init_Epoch＝0
Freeze_Epoch＝50
Freeze_batch_size＝8
UnFreeze_Epoch＝300
Unfreeze_batch_size＝4
momentum＝0.937#momentum为优化器内部使用到的momentum参数
weight_decay＝5e-4#weight_decay为权值衰减，可防止过拟合
Init_lr＝1e-2Init_lr为模型的最大学习率
Min_lr＝Init_lr*0.01Min_lr为模型的最小学习率，默认为最大学习率的 0.01
lr_decay_type＝"cos"lr_decay_type是使用到的学习率下降方式
save_period＝10save_period多少个epoch保存一次权值
focal_loss＝False focal_loss是否使用Focal Loss平衡正负样本
focal_alpha＝0.25focal_alpha Focal Loss的正负样本平衡参数
focal_gamma＝2focal_gamma Focal Loss的难易分类样本平衡参数
T3模型训练：将T1标记的图像数据集输入YOLOV4 mobilenetv2网络进行训练；
T4模型欠拟合与过拟合处理：深度学习模型在训练时常会发生欠拟合和过拟合的情形。欠拟合是指一类没有很好地拟合数据的现状，也就是训练与验证误差损失都相当大的状况，一般由网络层数不够多、不够深所造成，会造成网络训练的精度不够高，甚至无法很好地对非线性拟合数据进行分类。过拟合也是指一类过度拟合了数据的现状，实际上是因为所建的机器学习模型或者说是深度学习模型在训练数据中体现得过于优秀，使得在测试数据集上或者验证资料集上体现不佳，一般是由于网络层数过深或是训练样本数太小，使得在模拟训练时陷入了极小值点所造成，会使得训练网络严重缺失了泛化学习能力，甚至根本无法对除训练样品以外的所有样品做出精确划分。
随着模型复杂度的增高，过拟合的情况越来越严重，因此减少参数可以有效缓解过拟合，本发明是在损失函数里添加限制权重参数过大的L1范数正则化或者L2范数正则化，在损失函数下降的过程中，使得权重参数逐渐趋向0 甚至等于0；正则化可以分为L1正则化与L2正则化，L1正则化的计算方法如公式1-1所示，L2正则化的计算方法如公式1-2所示。
同时，λ为正则化因子，是超参数，λ＞0，当权重参数均为零时，惩罚项最小。当λ较大时，由于惩罚项在损失函数中的比重很大，它往往会使学到的权重参数的元素较接近零，当λ设为零时，惩罚项根本不起作用。||w||1为L1 范数，
为L2范数，由于L1正则化最后得到w向量中将存在大量的零，使模型变得稀疏化，因此L2正则化更加常用。
通常，如果在训练数据集中的样本数过少，尤其是比训练模型的参数更少时，过拟合更易于出现。因此，可以通过增加数据集的情况来防止欠拟合的发生。
T5验证数据集与评测标准：由于验证数据集中并不参加模型训练，在训练数据不够用时，保留大批的验证数据过于浪费。一个可以改进的办法就是K折交叉验证(K-foldcross-validation)。在K折交叉验证当中，首先将原来训练数据集中划分为K个不重叠的子数据集，接着再进行K个模型训练和验证，最后对这K次的训练偏差和验证误差各自求平均数。
评测标准：本设计在设计的同时考虑了评估模型检验结果的优劣，一个很关键的标准是mAP(Mean Average Precision)，代表全部类标签的平均准确率，是对多个验证集求平均AP(Average Precision)值，通过对召回率(Recall)以及精确率(Precision)的计算可以得出ap值，然后由此计算相应mAP，mAP计算公式如式1-3所示：
其中QR是验证集个数。
训练mAP变化曲线如图2所示。
二、检测方法
1、车牌识别：车牌识别分为车牌预处理，车牌提取，车牌字符识别。 B1车牌预处理流程：对车牌图像进行灰度化处理，图像边缘提取，对边缘提取的图像进行腐蚀膨胀，进行均值滤波，得到预处理图像；
B2车牌提取流程：使用findContours对预处理过后的图像进行轮廓查找，遍历轮廓，获取每个查找到的轮廓的最小外接矩形的中心坐标，宽高以及旋转角度，然后根据宽高变换进行宽高交换，然后根据车牌的宽高比进行车牌初步提取，将提取到的车牌进行仿射变换以及裁剪，获取到提取的车牌区域图像，将裁剪过后的车牌进行平均像素计算，根据计算到的图像RGB值进行判断当前车牌的颜色，筛选掉颜色不正确的车牌。
B3车牌字符识别：将筛选后的图像进行尺寸调整，并进行字符识别，本发明采用YOLOV4模型进行车牌字符识别，最后返回车牌识别字符结果。 YOLOV4模型具有以下优点：BackBone部分使用CSPDarknet53结构，在网络架构中，将残差模块集成到ResNet网络结构中，获得DarkNet53。为了进一步提高网络性能，需要结合Cross Stage Partial Network(CSPNet)，结合其优越的学习能力，形成CSPDarkNet53。将不同的特征层的信息输入到残差模块中，提供更高层次的特征映射作为输出。与ResNet网络相比，这显著降低了网络参数，同时提高了残差特征信息，提高了特征学习能力。从输入图像中提取丰富的特征信息，解决了其他大型卷积网络结构中的重复梯度问题，减少模型参数和 FLOPS，既保证了推理速度和准确率，又减小了模型尺寸，降低了环境的干扰，并且免去了参数的调节。Yolov4中使用的Dropblock，能够随机删除减少神经元的数量，使网络变得更简单。在Neck部分，采用了SPP模块以及PAN模块，将特征层分别通过一个池化核大小为5×5、9×9、13×13的最大池化层，然后在通道方向进行concat拼接在做进一步融合，这样能够在一定程度上解决目标多尺度问题。通过前述方法处理，让车牌的字符识别可以更加精确，并且可以定位出每个字符的精确位置。
2、口罩识别
口罩检测方法为：
C1获取摄像头所采集的图像：采用opencv的函数videocapture进行图像采集，将采集的图像在qt界面上显示。
C2加载训练好的口罩检测模型：通过pytorch加载YOLOV3口罩检测模型，对采集的图像进行预测。
C3加载检测种类标签文件(txt)：加载口罩的种类文件，分别为戴口罩 (with_mask)与未带口罩(without_mask)。
C4加载先验框对应的txt文件：加载事先设定的先验框数据，更加精确的预测。
C5对图像进行不失真图像尺寸调整：对图像进行不失真调整，通过在图像周围补上黑色背景实现图像尺寸调整。
C6判断GPU是否可用：通过pytorch函数对设备的CUDA判断是否可用。
C7图像预测：将图像输入网络中进行预测，得出预测框，对预测框进行堆叠，然后进行非极大值抑制；经分类器分类识别后，每个窗口都会得到一个分数。但是滑动窗口会导致很多窗口与其他窗口存在包含或者大部分交叉的情况，这时就需要用到NMS来选取那些邻域里分数最高(口罩的概率最大)，并且抑制那些分数低的窗口。
C8输出目标位置以及目标种类概率：将目标概率最大的一类进行输出，得出输出概率以及输出的矩形框位置
C9将检测结果在图像上进行绘制并显示。通过opencv的矩形绘制函数，将预测结果位置以及预测概率在图像上进行显示。
以上所述，只公开了本发明的较优应用实例，不能以此限定本发明的范围，凡依此发明专利申请范围及说明内容所做的简单的等效变化与修饰，皆属于本发明专利涵盖的范围。
Claims (7)
1.一种车辆进入无接触式智能控制方法，包括如下过程：
S1触发系统启动：当车辆进入入口闸机预定位置，触发控制系统工作，链接系统硬件，并选择串口启动程序；
S2车牌和人面部图像采集：图像采集设备启动，识别车牌的摄像头和识别人面部的摄像头分别采集车牌图像和人面部图像；
S3图像识别：车牌识别模块和口罩识别模块分别对S2采集的所述车牌图像和人面识图像进行识别，得到车牌号码数据和是否佩戴口罩的判断结果；
S4识别数据的处理：对于口罩识别模块识别结果为否，控制模块控制反馈模块通过语音或文字提醒车内人员佩戴口罩；识别结果为是，启动健康码处理模块以识别健康码，并判断健康码是否正常；
S5入口闸机的控制：当健康码处理模块识别结果为是，控制模块向闸机发送开启指令控制入口闸机开启，并记录车牌号码和进入时间；当健康码处理模块识别结果为否，控制模块不给闸机发送开启指令并通过所述反馈模块通过语音或文字提醒禁止进入。
2.如权利要求1所述的车辆进入无接触式智能控制方法，其特征在于：所述口罩识别模块，采用YOLOV4 mobilenetv2进行识别，包括训练子模块和检测子模块。
3.如权利要求2所述的车辆进入无接触式智能控制方法，其特征在于：所述检测子模块口罩检测方法为：
C1获取摄像头所采集的图像；
C2加载口罩检测模型；
C3加载检测种类标签文件；
C4加载先验框对应的txt文件；
C5对图像进行不失真图像尺寸调整；
C6判断GPU是否可用；
C7将图像输入网络中进行预测，得出预测框，对预测框进行堆叠，然后进行非极大值抑制；
C8输出目标位置以及目标种类概率；
C9将检测结果在图像上进行绘制并显示。
4.如权利要求1所述的车辆进入无接触式智能控制方法，其特征在于：所述车牌识别模块包括训练子模块和检测子模块，所述检测子模块包括车牌预处理、车牌提取和车牌字符识别步骤，具体为：
B1车牌预处理：对车牌图像进行灰度化处理，然后对图像边缘提取，对边缘提取的图像进行腐蚀和膨胀，再进行均值滤波，得到预处理图像；
B2车牌提取流程：使用findContours对B1步骤预处理过后的图像进行轮廓查找，遍历轮廓，获取每个查找到的轮廓的最小外接矩形的中心坐标，宽高以及旋转角度，然后根据宽高变换进行宽高交换，然后根据车牌的宽高比进行车牌初步提取，将提取到的车牌进行仿射变换以及裁剪，获取到提取的车牌区域图像，将裁剪过后的车牌进行平均像素计算，根据计算到的图像RGB值进行判断当前车牌的颜色，筛选掉颜色不正确的车牌；
B3车牌字符识别：将B2步骤筛选后的图像进行尺寸调整，并进行字符识别，字符识别采用YOLOV4模型进行车牌字符识别，最后返回车牌识别字符结果。
5.如权利要求1所述的车辆进入无接触式智能控制方法，其特征在于：所述健康码处理模块，使用opencv4的QRCodeDetector函数进行识别健康码的二维码，获取识别到的二维码解析的信息。
6.如权利要求2或4所述的车辆进入无接触式智能控制方法，其特征在于：所述训练子模块的训练方法如下：
T1制作数据集：制作车牌或人脸图片，人脸图片要包括未佩戴口罩和佩戴口罩的人脸图片，使用labelme对图片信息做标记，每次标注一张图片完成时都将所标注的信息保存为.xml文件，所有xml文件中会包含所标注图像的ROI区域信息；
T2训练参数设置：在训练时需要对模型的网络超参数进行设定，涉及图像输入分辨率、置信度阈值、与非极大值抑制的iou大小、初始学习速率、和优化器类型；
T3模型训练：将T2标记的图像数据集输入YOLOV4 mobilenetv2网络进行训练；
T4模型欠拟合与过拟合处理：在损失函数里添加限制权重参数过大的L1范数正则化或者L2范数正则化，在损失函数下降的过程中，使得权重参数逐渐趋向0甚至等于0；
T5验证数据集与评测标准：验证数据集首先将原来训练数据集中划分为K个不重叠的子数据集，接着再进行K个模型训练和验证，最后对这K次的训练偏差和验证误差各自求平均数；
评测标准采用mAP，其计算公式如式1-3所示：
其中QR是验证集个数。
7.如权利要求6所述的车辆进入无接触式智能控制方法，其特征在于：所述T4步骤中，正则化可以分为L1正则化与L2正则化，L1正则化的计算方法如公式1-1所示，L2正则化的计算方法如公式1-2所示：
同时，λ为正则化因子，是超参数；
||w||1为L1范数，||w||1为L2范数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210984259.9A CN115331453A (zh) | 2022-08-17 | 2022-08-17 | 一种车辆进入无接触式智能控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210984259.9A CN115331453A (zh) | 2022-08-17 | 2022-08-17 | 一种车辆进入无接触式智能控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115331453A true CN115331453A (zh) | 2022-11-11 |
Family
ID=83924437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210984259.9A Pending CN115331453A (zh) | 2022-08-17 | 2022-08-17 | 一种车辆进入无接触式智能控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115331453A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152790A (zh) * | 2023-04-23 | 2023-05-23 | 无锡车联天下信息技术有限公司 | 一种安全带检测方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111583469A (zh) * | 2020-04-07 | 2020-08-25 | 西安艾润物联网技术服务有限责任公司 | 停车管理方法及装置 |
| CN112037928A (zh) * | 2020-08-25 | 2020-12-04 | 陕西科技大学 | 一种多功能防疫检测仪及其运行方法 |
| CN112233263A (zh) * | 2020-08-25 | 2021-01-15 | 云南乐进科技有限公司 | 基于人脸图像识别的考勤管理系统 |
| CN112668475A (zh) * | 2020-12-28 | 2021-04-16 | 苏州科达科技股份有限公司 | 一种人员身份识别方法、装置、设备及可读存储介质 |
| CN112989989A (zh) * | 2021-03-09 | 2021-06-18 | 蒋欣呈 | 一种安检方法、装置、设备及存储介质 |
| CN112991599A (zh) * | 2021-03-25 | 2021-06-18 | 武汉虹信技术服务有限责任公司 | 一种多功能门禁机的通行控制方法 |
| CN113160465A (zh) * | 2021-04-25 | 2021-07-23 | 安徽科大擎天科技有限公司 | 一种完全免接触式安全闸机系统及其管理方法 |
| CN113361397A (zh) * | 2021-06-04 | 2021-09-07 | 重庆邮电大学 | 一种基于深度学习的人脸口罩佩戴情况检测方法 |
| CN113554791A (zh) * | 2021-06-17 | 2021-10-26 | 宁波职业技术学院 | 一种小区车辆进门综合检测系统及方法 |
| CN113963573A (zh) * | 2021-12-22 | 2022-01-21 | 汕头大学 | 一种室内停车场智能管理系统 |
| CN114419584A (zh) * | 2022-01-05 | 2022-04-29 | 西安电子科技大学 | 一种改进的非极大值抑制YOLOv4交通标志识别定位方法 |
-
2022
- 2022-08-17 CN CN202210984259.9A patent/CN115331453A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111583469A (zh) * | 2020-04-07 | 2020-08-25 | 西安艾润物联网技术服务有限责任公司 | 停车管理方法及装置 |
| CN112037928A (zh) * | 2020-08-25 | 2020-12-04 | 陕西科技大学 | 一种多功能防疫检测仪及其运行方法 |
| CN112233263A (zh) * | 2020-08-25 | 2021-01-15 | 云南乐进科技有限公司 | 基于人脸图像识别的考勤管理系统 |
| CN112668475A (zh) * | 2020-12-28 | 2021-04-16 | 苏州科达科技股份有限公司 | 一种人员身份识别方法、装置、设备及可读存储介质 |
| CN112989989A (zh) * | 2021-03-09 | 2021-06-18 | 蒋欣呈 | 一种安检方法、装置、设备及存储介质 |
| CN112991599A (zh) * | 2021-03-25 | 2021-06-18 | 武汉虹信技术服务有限责任公司 | 一种多功能门禁机的通行控制方法 |
| CN113160465A (zh) * | 2021-04-25 | 2021-07-23 | 安徽科大擎天科技有限公司 | 一种完全免接触式安全闸机系统及其管理方法 |
| CN113361397A (zh) * | 2021-06-04 | 2021-09-07 | 重庆邮电大学 | 一种基于深度学习的人脸口罩佩戴情况检测方法 |
| CN113554791A (zh) * | 2021-06-17 | 2021-10-26 | 宁波职业技术学院 | 一种小区车辆进门综合检测系统及方法 |
| CN113963573A (zh) * | 2021-12-22 | 2022-01-21 | 汕头大学 | 一种室内停车场智能管理系统 |
| CN114419584A (zh) * | 2022-01-05 | 2022-04-29 | 西安电子科技大学 | 一种改进的非极大值抑制YOLOv4交通标志识别定位方法 |
Non-Patent Citations (11)
| Title |
|---|
| J. Y. SUNG等: "Real-time automatic license plate recognition system using yolov4", 《PROCEEDINGS OF 2020 IEEE INTERNATIONAL CONFERENCE ON CONSUMER ELECTRONICS - ASIA (ICCE-ASIA)》, 31 December 2020 (2020-12-31), pages 1 - 3 * |
| 付城祥;仇润鹤;: "一种基于YOLOv3算法的车牌识别系统", 科技与创新, no. 03, pages 48 - 50 * |
| 傅鹏;谢世朋;: "基于级联卷积神经网络的车牌定位", 计算机技术与发展, no. 01, pages 140 - 143 * |
| 史建伟;章韵;: "基于改进YOLOv3和BGRU的车牌识别系统", 计算机工程与设计, no. 08, pages 253 - 259 * |
| 张龙玉: "基于深度学习的变电站仪表的检测与识别算法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 08, 15 August 2021 (2021-08-15), pages 042 - 336 * |
| 李兴维 等: "基于深度学习的实时车牌检测", 《信息通信》, vol. 1, no. 204, pages 88 - 89 * |
| 梁鸿 等: "小目标检测技术研究综述", 《计算机工程与应用》, vol. 57, no. 1, 31 January 2021 (2021-01-31), pages 17 - 28 * |
| 王兵 等: "改进YOLO轻量化网络的口罩检测算法", 《计算机工程与应用》, vol. 57, no. 8, 31 August 2021 (2021-08-31), pages 62 - 69 * |
| 田港 等: "基于改进YOLOV4的无人机目标检测方法", 《空军工程大学学报（自然科学版）》, vol. 22, no. 4, 31 August 2021 (2021-08-31), pages 9 - 14 * |
| 管军霖 等: "基于YOLOv4卷积神经网络的口罩佩戴检测方法", 《现代信息科技》, vol. 4, no. 11, 10 June 2020 (2020-06-10), pages 9 - 12 * |
| 邵伟平 等: "基于MobileNet与YOLOv3的轻量化卷积神经网络设计", 《计算机应用》, vol. 40, no. 1, pages 8 - 13 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152790A (zh) * | 2023-04-23 | 2023-05-23 | 无锡车联天下信息技术有限公司 | 一种安全带检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100568262C (zh) | 基于多摄像机信息融合的人脸识别检测装置 | |
| CN106897716A (zh) | 一种宿舍安全监控系统及方法 | |
| CN102663413B (zh) | 一种面向多姿态和跨年龄的人脸图像认证方法 | |
| CN112183471A (zh) | 一种现场人员防疫口罩规范佩戴的自动检测方法及系统 | |
| CN107194346A (zh) | 一种汽车疲劳驾驶预测方法 | |
| CN107330371A (zh) | 3d脸部模型的脸部表情的获取方法、装置和存储装置 | |
| CN102902986A (zh) | 自动性别识别系统及方法 | |
| CN103632132A (zh) | 一种基于肤色分割和模板匹配的人脸检测与识别方法 | |
| CN101201893A (zh) | 一种基于灰度信息的虹膜识别预处理方法 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| Shujuan et al. | Real-time vehicle detection using Haar-SURF mixed features and gentle AdaBoost classifier | |
| CN111860390A (zh) | 一种电梯候梯人数检测统计方法、装置、设备及介质 | |
| CN112287827A (zh) | 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统 | |
| Baltzakis et al. | Visual tracking of hands, faces and facial features of multiple persons | |
| CN103077378A (zh) | 基于扩展八邻域局部纹理特征的非接触式人脸识别算法和签到系统 | |
| CN106778637B (zh) | 一种对男女客流的统计方法 | |
| Jain et al. | Random walk-based feature learning for micro-expression recognition | |
| CN106203338B (zh) | 基于网格区域分割和阈值自适应的人眼状态快速识别方法 | |
| Negri et al. | Detecting pedestrians on a movement feature space | |
| CN115331453A (zh) | 一种车辆进入无接触式智能控制方法 | |
| CN110287798B (zh) | 基于特征模块化和上下文融合的矢量网络行人检测方法 | |
| Diyasa et al. | Multi-face Recognition for the Detection of Prisoners in Jail using a Modified Cascade Classifier and CNN | |
| Ngxande et al. | Detecting inter-sectional accuracy differences in driver drowsiness detection algorithms | |
| CN114550268A (zh) | 一种利用时空特征的深度伪造视频检测方法 | |
| CN113177439A (zh) | 一种行人翻越马路护栏检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |