CN116129566A - 一种智能车位锁联动方法 - Google Patents

一种智能车位锁联动方法 Download PDF

Info

Publication number
CN116129566A
CN116129566A CN202310408754.XA CN202310408754A CN116129566A CN 116129566 A CN116129566 A CN 116129566A CN 202310408754 A CN202310408754 A CN 202310408754A CN 116129566 A CN116129566 A CN 116129566A
Authority
CN
China
Prior art keywords
vehicle
license plate
loss
module
parking space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310408754.XA
Other languages
English (en)
Inventor
刘寒松
王国强
王永
刘瑞
李贤超
焦安健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202310408754.XA priority Critical patent/CN116129566A/zh
Publication of CN116129566A publication Critical patent/CN116129566A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04H—BUILDINGS OR LIKE STRUCTURES FOR PARTICULAR PURPOSES; SWIMMING OR SPLASH BATHS OR POOLS; MASTS; FENCING; TENTS OR CANOPIES, IN GENERAL
    • E04H6/00—Buildings for parking cars, rolling-stock, aircraft, vessels or like vehicles, e.g. garages
    • E04H6/42—Devices or arrangements peculiar to garages, not covered elsewhere, e.g. securing devices, safety devices, monitoring and operating schemes; centering devices
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01F—ADDITIONAL WORK, SUCH AS EQUIPPING ROADS OR THE CONSTRUCTION OF PLATFORMS, HELICOPTER LANDING STAGES, SIGNS, SNOW FENCES, OR THE LIKE
    • E01F13/00—Arrangements for obstructing or restricting traffic, e.g. gates, barricades ; Preventing passage of vehicles of selected category or dimensions
    • E01F13/04—Arrangements for obstructing or restricting traffic, e.g. gates, barricades ; Preventing passage of vehicles of selected category or dimensions movable to allow or prevent passage
    • E01F13/042—Arrangements for obstructing or restricting traffic, e.g. gates, barricades ; Preventing passage of vehicles of selected category or dimensions movable to allow or prevent passage for controlling access to an individual parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00896—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Architecture (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于交通技术领域，涉及一种智能车位锁联动方法，车辆进入或者离开停车场时，摄像头拍摄车辆图像，车辆与车牌检测网络将拍摄到的车辆图像进行实时视觉感知，识别出车辆并检测到车牌位置，得到车牌图像；车牌识别网络对车牌图像进行车牌识别，如车牌属于停车场内车位用户，则通过单目测距算法预测车辆的距离，并联动车位锁，从而实现智能开关车位锁，保证车位锁开关的安全性和可靠性，提高服务效率和质量。

Description

一种智能车位锁联动方法
技术领域
本发明属于交通技术领域，涉及一种智能车位锁联动方法，特别是一种基于yolov7的实时视觉感知与距离预测的智能车位锁联动方法。
背景技术
随着经济的发展与新能源汽车产业的崛起，汽车在社会生活中越来越被普遍使用。汽车的大量增加导致车位的急剧短缺，使得在一些免费泊车的小区或者停车场就会出现抢车位的情况，为能够方便停车，有些车主就去租车位或者买车位，保证有一个专属于自己的车位。但在现实情况中，往往会出现自己的车位被其他车主占用的情况，这时就需要一个车位锁来限制其他人对自己车位的随意使用。
目前存在的车位锁主要分为两种，一种是需要人工亲自开关的普通车位锁，在使用时需要车主下车去打开或者关闭，使用过程繁琐麻烦；另一种是感应式的车位锁，即在车辆上放置一个发射信号的设备，在车辆接近车位时，车位锁自动打开，车辆远离车位时，车位锁自动关闭。
普通车位锁在使用时，需要车主下车去打开或者关闭，极不方便；现有的感应式的车位锁也存在一些弊端，比如可能会发生串码使用的情况，即使车辆仍在车位上但是车位锁收到信号进行关闭，从而损坏车辆，难以保证使用过程中的稳定性、安全性；综上这两种车位锁都不适合大型商业停车场进行使用。因此亟需一个更加智能化的车位锁联动方法，来为大型商业停车场的车主提供方便高效的车位服务。
发明内容
为克服上述现有技术的不足，本发明设计提供了一种基于智能车位锁联动方法，车辆进入或者离开停车场时，摄像头拍摄车辆图像，基于yolov7实现对车辆图像的实时视觉监测，充分考虑视频监控中目标车辆的特征和车牌特征，检测出车牌后，通过CRNN识别算法进行车牌的识别，如车牌属于停车场内车位用户，则通过单目测距算法预测车辆的距离，并联动车位锁，从而实现智能开关车位锁，保证车位锁开关的安全性和可靠性，提高服务效率和质量。
为实现上述目的，本发明具体包括以下步骤：
S1、车主驾驶车辆驶入或驶离停车场，停车场摄像头拍摄车辆图像；
S2、车辆与车牌检测网络将步骤S1拍摄到的车辆图像进行实时视觉感知，识别出车辆并检测到车牌位置，得到车牌图像；
S3、车牌识别网络对步骤S2得到的车牌图像进行车牌识别，并判断车牌是否属于停车场内车位用户，如属于停车场内车位用户，则进行步骤S4；
S4、使用单目测距算法进行距离预测，得到车辆距离摄像头的距离，再与对应车位距离进行换算，得到车辆距离对应车位的距离；
S5、根据车辆距离对应车位的距离，对应的车位锁自动开关，如果对应车位锁是关闭状态，说明车辆是进入停车场使用车位，当车辆距离车位的距离小于等于预设距离时提前打开车位锁；如果车位锁已经开启过一次，说明车辆是离开停车场，当车辆驶离车位的距离大于等于预设距离时关闭车位锁。
作为本发明的进一步技术方案，步骤S2所述车辆与车牌检测网络的训练过程如下：
S21、数据集构建：将不同情景下拍到的车辆图像和车牌图像进行整理构建目标数据集，并随机分成训练集、测试集和验证集；
S22、数据处理与特征提取：调整目标数据集中的图像大小为
Figure SMS_1
,将图像分为
Figure SMS_2
的网格单元后输入主干网络对图像进行特征提取得到目标特征，其中n的取值根据实际需要确定，主干网络采用yolov7网络；
S23、特征融合与目标检测：将步骤S22得到的目标特征输入到预测头中进行特征融合，并对每个网格单元进行预测，在每个网格单元上预测目标车辆或车牌的边界框、种类以及该预测的置信度，从而产生定位损失、置信度损失和分类损失三个损失，其中定位损失为车辆或车牌预测的目标框位置与真实的目标框位置之间的误差；置信度损失为关于当前车辆或车牌预测的目标框存在检测目标可能性的损失；分类损失为预测出的目标类别和真实类别之间的差距，目标类别为车辆或车牌；
S24、网络训练：将定位损失、置信度损失以及分类损失进行加权和，作为网络的总损失函数，采用反向传播进行更新训练，直到训练的迭代次数达到预定值或者损失经过一定的迭代一直没有减小为止，保存其最小的总损失值的网络模型，得到训练好的车辆与车牌检测网络。
作为本发明的进一步技术方案，步骤S22 对图像进行特征提取的具体过程为：
将大小为
Figure SMS_3
的图像输入到主干网络后，即将3个640行640列的矩阵输入到主干网络，先经过4个CBS模块，得到
Figure SMS_4
的特征图，其中每个CBS模块由一个卷积操作+一个批归一化操作+一个SiLU激活函数构成；然后大小为
Figure SMS_5
的特征图经过MP1模块+ELAN模块总共三次，第一次经过MP1模块+ELAN模块，特征图变为
Figure SMS_6
大小，将其记为C3；第二次经过MP1模块+ELAN模块，即C3经过MP1模块+ELAN模块，特征图变为
Figure SMS_7
大小，记为C4；第三次经过MP1模块+ELAN模块，特征图变为
Figure SMS_8
大小，记为C5，其中每个MP1模块由Maxpool层和CBS模块组成，ELAN模块由多个CBS模块组成。
作为本发明的进一步技术方案，步骤S23所述预测头采用PAFPN结构，由SPPCSPC模块、插值上采样操作、ELAN-W模块、MP2模块和REP模块以及卷积层组成，其中SPPCSPC模块由CBS模块和Maxpool层组成，用于增大感受野，从而适应不同分辨率的图像；ELAN-W模块由CBS模块组成；MP2模块由Maxpool层和CBS模块组成，作用是下采样，REP模块由CBS模块和BN操作以及add操作组成。
作为本发明的进一步技术方案，步骤S23所述定位损失采用Focal EIoU损失函数进行计算，该损失包括车辆或车牌的目标框与预测框之间的重叠损失、中心距离损失、宽高损失，计算公式如下：
Figure SMS_9
；
Figure SMS_10
；
Figure SMS_11
；
Figure SMS_12
；
其中，IoU代表车辆或车牌的目标框和预测框之间的交并比；
Figure SMS_26
是一个超参数；
Figure SMS_14
代表EIoU损失函数；
Figure SMS_20
和
Figure SMS_17
分别代表车辆或车牌预测框和目标框的中心坐标，
Figure SMS_24
和
Figure SMS_25
分别代表车辆或车牌预测框和目标框的宽，
Figure SMS_28
和
Figure SMS_21
代表车辆或车牌预测框和目标框的高；
Figure SMS_27
和
Figure SMS_13
代表覆盖两个框的最小外接框的宽度和高度，
Figure SMS_19
为
Figure SMS_18
或
Figure SMS_23
，
Figure SMS_15
为对应的
Figure SMS_22
或
Figure SMS_16
；
置信度损失由正样本匹配得到的样本对计算，假设score代表网格单元中的车辆或车牌预测框的置信度分数，IoU代表车辆或车牌目标框和预测框之间的交并比，这两个值计算带 sigmoid的二进制交叉熵得到最终的目标置信度损失：
Figure SMS_29
，其中
Figure SMS_30
代表正样本的权重；
分类损失通过车辆或车牌预测框的类别分数和目标框类别的 one-hot 表现来计算类别损失，计算公式为：
Figure SMS_31
，其中
Figure SMS_32
和
Figure SMS_33
分别代表预测的类别值与真实的类别值，
Figure SMS_34
是正样本权重。
作为本发明的进一步技术方案，步骤S24所述总损失函数为：
Figure SMS_35
，其中
Figure SMS_36
、
Figure SMS_37
是超参数，用于平衡各个损失函数。
作为本发明的进一步技术方案，步骤S3所述车牌识别网络的训练过程为：
车牌识别网络采用CRNN算法，先将步骤S2得到的车牌图像进行缩放，使其大小变为(32,100,3)，即高度为32，宽度为100，通道数为3，再将缩放后的车牌图像输入到卷积层提取图像的特征图，特征图大小为(1,40,512)；然后将特征图转换为由40个1行1列512通道数的向量组成的特征序列，将特征序列输入到深层双向LSTM网络提取特征序列的上下文特征，得到40个长度为512的特征向量，然后进行softmax操作得到车牌标签分布的预测；最后将车牌标签分布输入到转录层，使用CTC通过去重整合操作转换成最终的车牌识别结果，同时计算损失函数，找到像素区域对应的字符，其中损失函数为：
Figure SMS_38
；
其中，
Figure SMS_39
代表输入的车牌图像，
Figure SMS_40
代表做出的车牌预测标签，
Figure SMS_41
代表车牌真实标签，p表示关于x的后验概率函数，S代表训练批次，一个批次里面有多个样本组，每一个样本组包含一个x和一个
Figure SMS_42
。
作为本发明的进一步技术方案，步骤S4计算车辆距离摄像头的距离d的过程为：已知相机焦距f，设车辆宽度W，计算图片中车辆的成像宽度w，利用相似三角形计算出车辆距离摄像头的距离d，公式如下：
Figure SMS_43
，
Figure SMS_44
；
将车辆距离车位的距离D为车辆距离摄像头的距离d和车位距离摄像头的距离之和。
本发明在使用车辆数据集和车牌数据集来训练车辆与车牌检测网络之前，先使用COCO数据集来对整个检测网络进行预训练，来提高整个模型的泛化能力，从而能够适应不同的情景，降低因光照强度、天气不同等因素造成的影响，COCO数据集是Microsoft公司出资标注的用于计算机视觉领域的大型数据集，它含有80个目标类别，预训练完成后，再使用由车辆图像和车牌图像组成的数据集进行训练。
与现有技术相比，本发明的有益效果是：
本发明基于yolov7的实时目标检测方法，通过yolov7算法实现视觉感知来检测车辆和车牌，通过CRNN算法识别车牌，并使用大型数据集预训练检测网络来适应不同的场景，提高了检测的效率和准确度；
本发明不需要在额外添置摄像头，比如在每个车位前安置一个摄像头来单独识别每个车辆，而是可以直接利用停车场中的监控摄像头，进行有效的检测与识别，在保证效率和准确度的基础上大大节省了成本；
（3）基于yolov7的目标检测算法通过摄像头对车位用户的车辆进行检测，通过CRNN算法进行车牌识别，识别成功后，对车辆进行测距，向车位锁发出信号并与车位锁进行联动，从而实现车位锁的智能开关，得到一个安全、高效且准确的智能车位锁联动方法。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本公开，并不构成对本发明的不当限定。
图1为本发明所述智能车位锁联动方法的工作流程框架图。
图2为本发明所述车辆与车牌检测网络的训练流程图。
图3为本发明所述车牌识别网络的训练流程。
图4为本发明所述车辆距离车位的距离测量过程框图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
实施例：
如图1所示，本实施例实现智能车位锁联动的具体过程为：
S1、车主驾驶车辆驶入或驶离停车场，停车场摄像头拍摄车辆图像；
S2、车辆与车牌检测网络将步骤S1拍摄到的车辆图像进行实时视觉感知， 识别出车辆并检测到车牌位置，得到车牌图像；所述车辆与车牌检测网络的训练如图2所示，包括以下步骤：
S21、数据集构建，在网络训练时，使用COCO数据集进行预训练，所以整个检测网络训练两次，第一次使用COCO数据集进行预训练，将COCO数据集分为训练集、测试集和验证集，在训练过程中，每轮随机在训练集中随机选择C类目标（COCO数据集共有），每类目标K个样本，组成样本集合D(
Figure SMS_45
）进行训练，测试集和验证集同理，同理构建车辆图像和车牌图像组成的目标数据集；
S22、数据处理与特征提取，调整目标数据集中的图像大小为
Figure SMS_47
,将图像分为
Figure SMS_49
的网格单元后输入主干网络对图像进行特征提取得到目标特征，其中n的取值根据实际需要确定，主干网络采用yolov7网络，特征提取过程为：将大小为
Figure SMS_51
的图像输入到主干网络后，即将3个640行640列的矩阵输入到主干网络，先经过4个CBS模块，得到
Figure SMS_48
的特征图，其中每个CBS模块由一个卷积操作+一个批归一化操作+一个SiLU激活函数构成；然后大小为
Figure SMS_50
的特征图经过MP1模块+ELAN模块总共三次，第一次经过MP1模块+ELAN模块，特征图变为
Figure SMS_52
大小，将其记为C3；第二次经过MP1模块+ELAN模块，即C3经过MP1模块+ELAN模块，特征图变为
Figure SMS_53
大小，记为C4；第三次经过MP1模块+ELAN模块，特征图变为
Figure SMS_46
大小，记为C5，其中每个MP1模块由Maxpool层和CBS模块组成，ELAN模块由多个CBS模块组成；
S23、S23、特征融合与目标检测，将步骤S22得到的C3、C4、C5三个特征图输入到预测头进行特征融合并作出预测，其中预测头为PAFPN结构，主要由SPPCSPC模块、插值上采样操作、ELAN-W模块、MP2模块和REP模块以及卷积层组成，其中SPPCSPC模块由CBS模块和Maxpool层组成，用来增大感受野，从而适应不同分辨率的图像；ELAN-W模块由CBS模块组成；MP2模块由Maxpool层和CBS模块组成，作用是下采样，REP模块由CBS模块和BN操作以及add操作组成，经过预测头后得到三个大小分别为
Figure SMS_54
，和
Figure SMS_55
，
Figure SMS_56
的特征图，三个特征图对应原图像中的不同大小感受野的目标，即分别对小、中、大的目标进行预测，最终在每个网格单元上预测目标的边界框，种类以及该预测的置信度，从而产生定位损失、置信度损失和分类损失三个损失，其中定位损失为车辆或车牌预测的目标框位置和真实的目标框位置之间的误差，定位损失采用Focal EIoU损失函数进行计算，该损失包括车辆或车牌目标框和预测框之间的重叠损失、中心距离损失、宽高损失，计算公式如下：
Figure SMS_57
；
Figure SMS_58
；
Figure SMS_59
；
Figure SMS_60
；
其中，IoU代表车辆或车牌目标框和预测框之间的交并比；
Figure SMS_63
是一个超参数；
Figure SMS_64
代表EIoU损失函数；
Figure SMS_70
和
Figure SMS_65
分别代表车辆或车牌预测框和目标框的中心坐标，
Figure SMS_73
和
Figure SMS_66
分别代表车辆或车牌预测框和目标框的宽，
Figure SMS_71
和
Figure SMS_72
代表车辆或车牌预测框和目标框的高；
Figure SMS_75
和
Figure SMS_61
代表覆盖两个框的最小外接框的宽度和高度，
Figure SMS_67
为
Figure SMS_68
或
Figure SMS_74
，
Figure SMS_69
为对应的
Figure SMS_76
或
Figure SMS_62
；
置信度损失为关于当前车辆或车牌预测的目标框存在检测目标可能性的损失，由正样本匹配得到的样本对计算，假设score代表网格单元中的预测框的置信度分数，IoU代表车辆或车牌目标框和预测框之间的交并比，这两个值计算带 sigmoid的二进制交叉熵得到最终的目标置信度损失：
Figure SMS_77
，其中
Figure SMS_78
代表正样本的权重；
分类损失为预测出的目标类别和真实类别之间的差距，通过车辆或车牌预测框的类别分数和目标框类别的 one-hot 表现来计算类别损失，计算公式为：
Figure SMS_79
，其中
Figure SMS_80
和
Figure SMS_81
分别代表预测的类别值与真实的类别值，
Figure SMS_82
是正样本权重；
S24、网络训练，将定位损失、置信度损失以及分类损失进行加权和，作为网络的总损失函数，总损失函数为
Figure SMS_83
，其中
Figure SMS_84
、
Figure SMS_85
是超参数，用于平衡各个损失函数；在网络训练时，采用反向传播来更新每层网络的参数，直到达到指定的迭代次数或者总损失经过多个迭代不再下降为止，保存损失值达到最小的模型作为训练好的网络模型；
S3、车牌识别网络对步骤S2得到的车牌图像进行车牌识别，并判断车牌是否属于停车场内车位用户，如属于停车场内车位用户，则进行步骤S4；其中车牌识别网络的训练如图3所示，车牌识别网络采用CRNN算法，先将步骤S2得到的车牌图像进行缩放，使其大小变为(32,100,3)，即高度为32，宽度为100，通道数为3，再将缩放后的车牌图像输入到卷积层提取图像的特征图，特征图大小为(1,40,512)；然后将特征图转换为由40个1行1列512通道数的向量组成的特征序列，将特征序列输入到深层双向LSTM网络提取特征序列的上下文特征，得到40个长度为512的特征向量，然后进行softmax操作得到车牌标签分布的预测；最后将车牌标签分布输入到转录层，使用CTC通过去重整合操作转换成最终的车牌识别结果，同时计算损失函数，找到像素区域对应的字符，其中损失函数为：
Figure SMS_86
，其中，
Figure SMS_87
代表输入的车牌图像，
Figure SMS_88
代表做出的车牌预测标签，
Figure SMS_89
代表车牌真实标签，p表示关于x的后验概率函数，S代表训练批次，一个批次里面有多个样本组，每一个样本组包含一个x和一个
Figure SMS_90
；
S4、如图4所示，使用单目测距算法进行距离预测，得到车辆距离摄像头的距离，再与对应车位距离进行换算，得到车辆距离对应车位的距离，已知相机焦距f，设车辆宽度W，计算图片中车辆的成像宽度w，利用相似三角形计算出车辆距离摄像头的距离d，公式如下：
Figure SMS_91
，
Figure SMS_92
；
将车辆距离车位的距离D为车辆距离摄像头的距离d和车位距离摄像头的距离之和；
S5、根据车辆距离对应车位的距离，对应的车位锁自动开关，如果对应车位锁是关闭状态，说明车辆是进入停车场使用车位，当车辆距离车位的距离小于等于预设距离时提前打开车位锁；如果车位锁已经开启过一次，说明车辆是离开停车场，当车辆驶离车位的距离大于等于预设距离时关闭车位锁，高效、安全的完成智能车位锁服务，本实施例中预设距离选用五个车位的长度。
本文中未详细说明的算法、网络模块结构均为本领域通用技术。

Claims (8)

1.一种智能车位锁联动方法，其特征在于，具体包括以下步骤：
S1、车主驾驶车辆驶入或驶离停车场，停车场摄像头拍摄车辆图像；
S2、车辆与车牌检测网络将步骤S1拍摄到的车辆图像进行实时视觉感知，识别出车辆并检测到车牌位置，得到车牌图像；
S3、车牌识别网络对步骤S2得到的车牌图像进行车牌识别，并判断车牌是否属于停车场内车位用户，如属于停车场内车位用户，则进行步骤S4；
S4、使用单目测距算法进行距离预测，得到车辆距离摄像头的距离，再与对应车位距离进行换算，得到车辆距离对应车位的距离；
S5、根据车辆距离对应车位的距离，对应的车位锁自动开关，如果对应车位锁是关闭状态，说明车辆是进入停车场使用车位，当车辆距离车位的距离小于等于预设距离时提前打开车位锁；如果车位锁已经开启过一次，说明车辆是离开停车场，当车辆驶离车位的距离大于等于预设距离时关闭车位锁。
2.根据权利要求1所述智能车位锁联动方法，其特征在于，步骤S2所述车辆与车牌检测网络的训练过程如下：
S21、数据集构建：将不同情景下拍到的车辆图像和车牌图像进行整理构建目标数据集，并随机分成训练集、测试集和验证集；
S22、数据处理与特征提取：调整目标数据集中的图像大小为
Figure QLYQS_1
,将图像分为
Figure QLYQS_2
的网格单元后输入主干网络对图像进行特征提取得到目标特征，其中n的取值根据实际需要确定，主干网络采用yolov7网络；
S23、特征融合与目标检测：将步骤S22得到的目标特征输入到预测头中进行特征融合，并对每个网格单元进行预测，在每个网格单元上预测目标车辆或车牌的边界框、种类以及该预测的置信度，从而产生定位损失、置信度损失和分类损失三个损失，其中定位损失为车辆或车牌预测的目标框位置与真实的目标框位置之间的误差；置信度损失为关于当前车辆或车牌预测的目标框存在检测目标可能性的损失；分类损失为预测出的目标类别和真实类别之间的差距，目标类别为车辆或车牌；
S24、网络训练：将定位损失、置信度损失以及分类损失进行加权和，作为网络的总损失函数，采用反向传播进行更新训练，直到训练的迭代次数达到预定值或者损失经过一定的迭代一直没有减小为止，保存其最小的总损失值的网络模型，得到训练好的车辆与车牌检测网络。
3.根据权利要求2所述智能车位锁联动方法，其特征在于，步骤S22对图像进行特征提取的具体过程为：
将大小为
Figure QLYQS_3
的图像输入到主干网络后，即将3个640行640列的矩阵输入到主干网络，先经过4个CBS模块，得到
Figure QLYQS_4
的特征图，其中每个CBS模块由一个卷积操作+一个批归一化操作+一个SiLU激活函数构成；然后大小为
Figure QLYQS_5
的特征图经过MP1模块+ELAN模块总共三次，第一次经过MP1模块+ELAN模块，特征图变为
Figure QLYQS_6
大小，将其记为C3；第二次经过MP1模块+ELAN模块，即C3经过MP1模块+ELAN模块，特征图变为
Figure QLYQS_7
大小，记为C4；第三次经过MP1模块+ELAN模块，特征图变为
Figure QLYQS_8
大小，记为C5，其中每个MP1模块由Maxpool层和CBS模块组成，ELAN模块由多个CBS模块组成。
4.根据权利要求3所述智能车位锁联动方法，其特征在于，步骤S23所述预测头采用PAFPN结构，由SPPCSPC模块、插值上采样操作、ELAN-W模块、MP2模块和REP模块以及卷积层组成，其中SPPCSPC模块由CBS模块和Maxpool层组成，用于增大感受野，从而适应不同分辨率的图像；ELAN-W模块由CBS模块组成；MP2模块由Maxpool层和CBS模块组成，作用是下采样，REP模块由CBS模块和BN操作以及add操作组成。
5.根据权利要求4所述智能车位锁联动方法，其特征在于，步骤S23所述定位损失采用Focal EIoU损失函数进行计算，该损失包括车辆或车牌的目标框与预测框之间的重叠损失、中心距离损失、宽高损失，计算公式如下：
Figure QLYQS_9
；
Figure QLYQS_10
；
Figure QLYQS_11
；
Figure QLYQS_12
；
其中，IoU代表车辆或车牌的目标框和预测框之间的交并比；
Figure QLYQS_25
是一个超参数；
Figure QLYQS_15
代表EIoU损失函数；
Figure QLYQS_20
和
Figure QLYQS_17
分别代表车辆或车牌预测框和目标框的中心坐标，
Figure QLYQS_23
和
Figure QLYQS_16
分别代表车辆或车牌预测框和目标框的宽，
Figure QLYQS_26
和
Figure QLYQS_24
代表车辆或车牌预测框和目标框的高；
Figure QLYQS_28
和
Figure QLYQS_13
代表覆盖两个框的最小外接框的宽度和高度，
Figure QLYQS_19
为
Figure QLYQS_14
或
Figure QLYQS_21
，
Figure QLYQS_22
为对应的
Figure QLYQS_27
或
Figure QLYQS_18
；
置信度损失由正样本匹配得到的样本对计算，假设score代表网格单元中的车辆或车牌预测框的置信度分数，IoU代表车辆或车牌目标框和预测框之间的交并比，这两个值计算带 sigmoid的二进制交叉熵得到最终的目标置信度损失：
Figure QLYQS_29
，其中
Figure QLYQS_30
代表正样本的权重；
分类损失通过车辆或车牌预测框的类别分数和目标框类别的 one-hot 表现来计算类别损失，计算公式为：
Figure QLYQS_31
，其中
Figure QLYQS_32
和
Figure QLYQS_33
分别代表预测的类别值与真实的类别值，
Figure QLYQS_34
是正样本权重。
6.根据权利要求5所述智能车位锁联动方法，其特征在于，步骤S24所述总损失函数为：
Figure QLYQS_35
，其中
Figure QLYQS_36
、
Figure QLYQS_37
是超参数，用于平衡各个损失函数。
7.根据权利要求6所述智能车位锁联动方法，其特征在于，步骤S3所述车牌识别网络的训练过程为：
车牌识别网络采用CRNN算法，先将步骤S2得到的车牌图像进行缩放，使其大小变为(32,100,3)，即高度为32，宽度为100，通道数为3，再将缩放后的车牌图像输入到卷积层提取图像的特征图，特征图大小为(1,40,512)；然后将特征图转换为由40个1行1列512通道数的向量组成的特征序列，将特征序列输入到深层双向LSTM网络提取特征序列的上下文特征，得到40个长度为512的特征向量，然后进行softmax操作得到车牌标签分布的预测；最后将车牌标签分布输入到转录层，使用CTC通过去重整合操作转换成最终的车牌识别结果，同时计算损失函数，找到像素区域对应的字符，其中损失函数为：
Figure QLYQS_38
；
其中，
Figure QLYQS_39
代表输入的车牌图像，
Figure QLYQS_40
代表做出的车牌预测标签，
Figure QLYQS_41
代表车牌真实标签，p表示关于x的后验概率函数，S代表训练批次，一个批次里面有多个样本组，每一个样本组包含一个x和一个
Figure QLYQS_42
。
8.根据权利要求7所述智能车位锁联动方法，其特征在于，步骤S4计算车辆距离摄像头的距离d的过程为：已知相机焦距f，设车辆宽度W，计算图片中车辆的成像宽度w，利用相似三角形计算出车辆距离摄像头的距离d，公式如下：
Figure QLYQS_43
，
Figure QLYQS_44
；将车辆距离车位的距离D为车辆距离摄像头的距离d和车位距离摄像头的距离之和。
CN202310408754.XA 2023-04-18 2023-04-18 一种智能车位锁联动方法 Pending CN116129566A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310408754.XA CN116129566A (zh) 2023-04-18 2023-04-18 一种智能车位锁联动方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310408754.XA CN116129566A (zh) 2023-04-18 2023-04-18 一种智能车位锁联动方法

Publications (1)

Publication Number Publication Date
CN116129566A true CN116129566A (zh) 2023-05-16

Family

ID=86308531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310408754.XA Pending CN116129566A (zh) 2023-04-18 2023-04-18 一种智能车位锁联动方法

Country Status (1)

Country Link
CN (1) CN116129566A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593910A (zh) * 2024-01-18 2024-02-23 融科联创(天津)信息技术有限公司 一种基于计算机视觉的智能监控方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223521A (zh) * 2019-05-15 2019-09-10 南京莱斯信息技术股份有限公司 一种视频导航和车位锁联动方法
CN112183233A (zh) * 2020-09-09 2021-01-05 上海鹰觉科技有限公司 基于深度学习的船牌识别方法及系统
CN112687124A (zh) * 2019-10-17 2021-04-20 杭州小旅科技有限公司 基于etc的路侧图像识别无感支付停车系统及方法
CN113781300A (zh) * 2021-08-17 2021-12-10 东风汽车集团股份有限公司 一种用于远距离自主泊车的车辆视觉定位方法
CN114187491A (zh) * 2022-02-17 2022-03-15 中国科学院微电子研究所 一种遮挡物体检测方法和装置
CN115359563A (zh) * 2022-08-23 2022-11-18 深圳市赛为智能股份有限公司 多人行为识别方法、装置、计算机设备及存储介质
CN115527210A (zh) * 2022-09-23 2022-12-27 昆山佰奥软件有限公司 基于YOLOv7算法的OCR字符检测方法及装置
CN115546187A (zh) * 2022-10-28 2022-12-30 北京市农林科学院 基于YOLO v5的农业病虫害检测方法及装置
CN115565153A (zh) * 2022-09-21 2023-01-03 河南科技大学 一种改进yolov7的无人驾驶拖拉机田间障碍物识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223521A (zh) * 2019-05-15 2019-09-10 南京莱斯信息技术股份有限公司 一种视频导航和车位锁联动方法
CN112687124A (zh) * 2019-10-17 2021-04-20 杭州小旅科技有限公司 基于etc的路侧图像识别无感支付停车系统及方法
CN112183233A (zh) * 2020-09-09 2021-01-05 上海鹰觉科技有限公司 基于深度学习的船牌识别方法及系统
CN113781300A (zh) * 2021-08-17 2021-12-10 东风汽车集团股份有限公司 一种用于远距离自主泊车的车辆视觉定位方法
CN114187491A (zh) * 2022-02-17 2022-03-15 中国科学院微电子研究所 一种遮挡物体检测方法和装置
CN115359563A (zh) * 2022-08-23 2022-11-18 深圳市赛为智能股份有限公司 多人行为识别方法、装置、计算机设备及存储介质
CN115565153A (zh) * 2022-09-21 2023-01-03 河南科技大学 一种改进yolov7的无人驾驶拖拉机田间障碍物识别方法
CN115527210A (zh) * 2022-09-23 2022-12-27 昆山佰奥软件有限公司 基于YOLOv7算法的OCR字符检测方法及装置
CN115546187A (zh) * 2022-10-28 2022-12-30 北京市农林科学院 基于YOLO v5的农业病虫害检测方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593910A (zh) * 2024-01-18 2024-02-23 融科联创(天津)信息技术有限公司 一种基于计算机视觉的智能监控方法及系统

Similar Documents

Publication Publication Date Title
CN111401201B (zh) 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
CN114005096B (zh) 基于特征增强的车辆重识别方法
CN111898432B (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN111882620B (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN111968150B (zh) 一种基于全卷积神经网络的弱监督视频目标分割方法
CN113256601B (zh) 路面病害检测方法及系统
CN111444865B (zh) 一种基于逐步求精的多尺度目标检测方法
CN112989942A (zh) 一种基于交通监控视频的目标实例分割方法
CN116129566A (zh) 一种智能车位锁联动方法
CN110751005B (zh) 融合深度感知特征和核极限学习机的行人检测方法
CN118379288B (zh) 基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法
CN114639067A (zh) 一种基于注意力机制的多尺度全场景监控目标检测方法
CN112949510A (zh) 基于Faster R-CNN热红外影像人物探测方法
CN117523401A (zh) 一种多模态遥感数据变化检测方法
CN116824543A (zh) 一种基于od-yolo的自动驾驶目标检测方法
CN115171074A (zh) 一种基于多尺度yolo算法的车辆目标识别方法
CN113536896B (zh) 基于改进Faster RCNN的绝缘子缺陷检测方法、装置及存储介质
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN115731517B (zh) 一种基于Crowd-RetinaNet网络的拥挤人群检测方法
CN115690770A (zh) 基于空间注意力特征的非受限场景下的车牌识别方法
Li YOLOV5-based traffic sign detection algorithm
Jiangzhou et al. Research on real-time object detection algorithm in traffic monitoring scene
CN115393802A (zh) 一种基于小样本学习的铁路场景不常见入侵目标识别方法
CN115273131A (zh) 基于双通路特征融合的动物识别方法
CN118522039B (zh) 一种基于YOLOv5s和阶段式正则联合行人重识别的帧提取行人检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230516

RJ01 Rejection of invention patent application after publication