CN115116012B - 基于目标检测算法的车辆停车位停车状态检测方法及系统 - Google Patents

基于目标检测算法的车辆停车位停车状态检测方法及系统 Download PDF

Info

Publication number
CN115116012B
CN115116012B CN202210851142.3A CN202210851142A CN115116012B CN 115116012 B CN115116012 B CN 115116012B CN 202210851142 A CN202210851142 A CN 202210851142A CN 115116012 B CN115116012 B CN 115116012B
Authority
CN
China
Prior art keywords
vehicle
frame
tire
envelope
tail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210851142.3A
Other languages
English (en)
Other versions
CN115116012A (zh
Inventor
区英杰
符桂铭
谭焯康
董万里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Embedded Machine Tech Co ltd
Original Assignee
Guangzhou Embedded Machine Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Embedded Machine Tech Co ltd filed Critical Guangzhou Embedded Machine Tech Co ltd
Priority to CN202210851142.3A priority Critical patent/CN115116012B/zh
Publication of CN115116012A publication Critical patent/CN115116012A/zh
Application granted granted Critical
Publication of CN115116012B publication Critical patent/CN115116012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了基于目标检测算法的车辆停车位停车状态检测方法及系统，所述检测方法包括以下步骤：采集车辆停车视频图像序列；定义目标检测模型的输入输出；分别确定轮胎包络框、车头包络框、车尾包络框与车辆包络框的从属关系；以区域框为跟踪和告警对象，在当前处理帧下，遍历所有区域框，对于某一个区域框，会遍历所有车辆包络框，然后判断每一辆车与该区域框的位置关系，最后判断区域框的停车状态；所述区域框包括车位框和通道框。本发明获取多样的车辆外形信息，有效提高检测方法的稳定性和准确性；且通过检测车轮方式获得车轮地面接触点，检测对象特征更丰富，检测起来更加容易，在低分辨率或者遮挡情况下有更好的检测效果。

Description

基于目标检测算法的车辆停车位停车状态检测方法及系统
技术领域
本发明涉及车辆停车管理领域，特别涉及基于目标检测算法的车辆停车位停车状态检测方法及系统。
背景技术
在园区物业管理中，车辆停车占线占道和停车不规范等现象屡见不鲜，容易影响园区道路健康，造成拥堵和管理混乱，往往需要工作人员长时间持续的巡查和监督来杜绝，效率不高而且人力资源消耗大。随着人工智能的发展，自动化的检测设备应运而生，也让车辆停车位停车状态的自动化检测成为可能。
车辆停车管理作为城市物业管理中的一个典型问题，目前是智慧园区管理的研究热点之一。随着人工智能的发展，智能化的监控设备广泛应用于车辆停车管理中。目前的智能化停车管理技术，主要通过监控摄像机对车辆进行图像抓取，然后在边缘设备或中心服务器中利用计算机视觉技术进行检测和分析，从而得到车辆停车状态。而目前车辆停车状态判别算法或者对场景复杂度，摄像机视角等有要求，无法解决遮挡和照明不足问题，或者只能适应入库停车位和侧方停车位中的一种，均不能满足日益丰富的停车位场景需求。
例如：
专利一：一种基于物联网的停车场内违规泊车智能检测方法及系统，公开号：CN113643544A。
该专利通过现有车型尺寸和车位大小,构建以极限姿态转角矩阵为元素的数据库，当有车辆进入时，通过门禁系统识别车辆图像得到车牌号和车型，确定该类车的长和宽，查询数据库得到该车辆对应的极限姿态矩阵，根据摄像机拍摄的停车区域视频，得到车辆中心点，根据车辆中心点在极限姿态矩阵中的位置,得对应的极限姿态转角范围，判断实际转角是否超过范围，确定是否压线，基于人工智能和图像处理进行压线判断。
该专利存在以下缺点：
(1)方案需要预先确定各车型长和宽，对于未知车型不能提供解决方案。
(2)部署过程繁琐，需要标定相机，大视场的相机标定精度有限，无法获得准确的车辆中心点。
专利二：一种基于视频数据的路内不规范停车识别方法，公开号：CN113378690A。
该专利利用自适应阈值分割技术以及Canny算子边缘检测，提取车辆特征。停车行为识别，具体操作如下：对于斜位停车和横向停车的车辆，判断车辆的主轴方向与停车空间的主轴方向之间的角度来识别停车行为；对于反向摆放的车辆，判断其与停车位之间的距离间距以及箭头方向来识别停车行为；对于跨位停车、压线停车和未保持合理车距停车的车辆，判断车体轮廓的四个角点是否都在停车区域内来识别停车行为；以此获取车辆的违章停车信息。
该专利存在以下缺点：
(1)自适应阈值分割易受光照影响，得到的车辆图像连通域不够鲁棒。
(2)车辆跟踪算法在实际应用中如碰到遮挡容易切换id，从而跟丢。
(3)摄像机视角限制，必须由上往下俯视采集图像。
专利三：一种停车压线检测方法及服务器，公开号：CN111753716A。
该专利首先获取目标图像，确定目标图像中包括目标车辆；获取第一横坐标以及第二横坐标；第一横坐标以及第二横坐标分别为目标车辆的车头轮廓或车尾轮廓上所有点位的横坐标中的最小值及最大值；若目标横坐标组中存在第一预设横坐标，则确定目标车辆停车压线。
该专利存在以下缺点：
(1)适用于处理入库停车位场景，无法适用侧方停车位场景。
(2)无法判断车辆入库深度。
专利四：一种基于车轮着地点检测车辆停车状态的方法及装置，公开号：CN110491168A。
该专利训练基于卷积神经网络的车轮着地点检测模型，确定各个车辆车轮着地点的坐标信息与车轮状态，然后判断当前车轮着地点在所述当前停车位内部或在当前停车位边线上。
该专利存在以下缺点：
(1)适用于处理侧方停车位，无法适用与入库停车位。
(2)车轮着地点检测起来难度较大，特征信息较少。受视角影响，部分车轮着地点无法检测到。
文献五：基于卷积网络结构重参数化的车位状态检测算法，吉林大学学报
本文提出一种基于卷积网络结构重参数化的车位状态检测算法，该算法可实现对车位上车辆有无的检测。利用结构重参数化解耦训练网络和推理网络。在训练时，利用不同尺度小卷积核组成多分支结构，用于同时获取车位图像中局部细节特征，使网络达到较高检测精度。训练完成后，利用结构重参数化将训练时多分支结构等价转化为单分支结构用于推理，显著提升检测速度而不损失检测精度。
该文献存在以下缺点：
(1)该算法仅检测车位上是否有无车辆，较为粗放式的检测，并不会判断车辆是否压线等细节信息；
(2)文章主要着墨于算法模型的创新，结果均是在实验室PC端测试得到，并没提供算法模型在边缘设备端的部署经验，直接PC端部署的话设备成本较高。
上述现有技术的缺点可总结为：
(1)通用性不强，无法适应多种场景。
(2)现场部署过程繁琐，用户参与度过高，不够友好。
(3)鲁棒性不高，无法适应低分辨率、光照影响和存在遮挡等场景。
(4)算法模型未部署边缘端，方案成本较高。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供基于目标检测算法的车辆停车位停车状态检测方法。
本发明的另一目的在于提供基于目标检测算法的车辆停车位停车状态检测系统。
本发明的目的通过以下的技术方案实现：
基于目标检测算法的车辆停车位停车状态检测方法，包括以下步骤：
S1、采集车辆停车视频图像序列；
S2、将车辆停车图片输入到yolov5目标检测模型，yolov5目标检测模型将车辆、轮胎、车头和车尾作为检测目标，分别得到车辆包络框、轮胎包络框、车头包络框和车尾包络框并输出；
S3、分别确定轮胎包络框、车头包络框、车尾包络框与车辆包络框的从属关系；
S4、以区域框为跟踪和告警对象，在当前处理帧下，遍历所有区域框，对于某一个区域框，会遍历所有车辆包络框，然后判断每一辆车与该区域框的位置关系，最后判断区域框的停车状态；所述区域框包括车位框和通道框。
对所述yolov5目标检测模型进行改进：修改yolov5目标检测模型主干网络的第一层将Focus层替换为Conv卷积层，兼容边缘计算器的加速功能，加速输入数据的拷贝；将激活函数从SiLu改成LeakyReLU,减少激活函数的处理时间；最后对模型进行int16量化，将float数值向int数值映射，保证精度的同时，使算法在边缘端部署运行效率达到实时。
所述步骤S3具体如下：
以yolov5目标检测模型所得的车辆包络框B的左上角点为坐标原点，假设轮胎或车头或车尾的包络框T的中心在X方向与原点的距离为
Figure 100002_DEST_PATH_IMAGE001
，Y方向与原点距离为/>
Figure 242045DEST_PATH_IMAGE002
，宽和高分别为w和h，车辆包络框的宽和高分别为W和H，则计算轮胎或车头或车尾的包络框的中心坐标为：/>
Figure 100002_DEST_PATH_IMAGE003
，/>
Figure 566847DEST_PATH_IMAGE004
，轮胎或车头或车尾的包络框T相对于车辆包络框B的宽和高分别为/>
Figure 100002_DEST_PATH_IMAGE005
，/>
Figure 625064DEST_PATH_IMAGE006
，且将/>
Figure 100002_DEST_PATH_IMAGE007
作为轮胎或车头或车尾的包络框T在包络框区域的特征；
对于车辆包络框B和轮胎或车头或车尾的包络框T，存在两种可能性：即轮胎或车头或车尾的包络框T中的轮胎或车头或车尾属于车辆包络框B代表的车辆，记为c=1，轮胎或车头或车尾的包络框T中的轮胎或车头或车尾不属于车辆包络框B代表的车辆，记为c=0；由此，将轮胎或车头或车尾与车辆的从属关系转化为概率问题；
当
Figure 453342DEST_PATH_IMAGE008
Figure 100002_DEST_PATH_IMAGE009
时，
则认为轮胎或车头或车尾的包络框T中的轮胎或车头或车尾属于车辆包络框B代表的车辆；
其中，
Figure 250397DEST_PATH_IMAGE010
为：当轮胎或车头或车尾的包络框T的信息为
Figure 100002_DEST_PATH_IMAGE011
时，轮胎或车头或车尾的包络框T属于车辆包络框B的概率；
Figure 46184DEST_PATH_IMAGE012
为：当轮胎或车头或车尾的包络框T的信息为/>
Figure 219676DEST_PATH_IMAGE011
时，轮胎或车头或车尾的包络框T不属于车辆包络框B的概率；
其中
Figure 100002_DEST_PATH_IMAGE013
根据贝叶斯公式计算；/>
根据贝叶斯定理可得：
Figure 168040DEST_PATH_IMAGE014
，
其中，c=1时，
Figure 100002_DEST_PATH_IMAGE015
为：当轮胎或车头或车尾的包络框T的信息为
Figure 841990DEST_PATH_IMAGE011
时，轮胎或车头或车尾的包络框T属于车辆包络框B的概率；/>
Figure 938122DEST_PATH_IMAGE016
为：当轮胎或车头或车尾的包络框T属于车辆包络框B时，轮胎或车头或车尾的包络框T的信息为/>
Figure 649726DEST_PATH_IMAGE011
的概率；/>
Figure 100002_DEST_PATH_IMAGE017
为：轮胎或车头或车尾的包络框T属于车辆包络框B的概率；
c=0时，
Figure 452597DEST_PATH_IMAGE015
为：当轮胎或车头或车尾的包络框T的信息为
Figure 591454DEST_PATH_IMAGE011
时，轮胎或车头或车尾的包络框T不属于车辆包络框B的概率；
Figure 361833DEST_PATH_IMAGE018
为：当轮胎或车头或车尾的包络框T不属于车辆包络框B时，轮胎或车头或车尾的包络框T的信息为/>
Figure 611549DEST_PATH_IMAGE011
的概率；/>
Figure 596822DEST_PATH_IMAGE017
为：轮胎或车头或车尾的包络框T不属于车辆包络框B的概率；
Figure 100002_DEST_PATH_IMAGE019
为：轮胎或车头或车尾的包络框T的信息为/>
Figure 844264DEST_PATH_IMAGE011
的概率；
简化公式，只需知道：
Figure 914988DEST_PATH_IMAGE020
，
则输出轮胎或车头或车尾的包络框T中的轮胎或车头或车尾属于车辆包络框B代表的车辆；由于
Figure 100002_DEST_PATH_IMAGE021
属性彼此独立，上述公式中的分子部分可按下式等价计算：
Figure 656811DEST_PATH_IMAGE022
；
其中的
Figure 496591DEST_PATH_IMAGE023
通过训练数据统计得到；
c=1时，
Figure 100002_DEST_PATH_IMAGE024
为：当轮胎或车头或车尾的包络框T属于车辆包络框B时，轮胎或车头或车尾的包络框T的X方向的坐标为x的概率；/>
Figure 914934DEST_PATH_IMAGE025
为：当轮胎或车头或车尾的包络框T属于车辆包络框B时，轮胎或车头或车尾的包络框T的Y方向的坐标为y的概率；/>
Figure 100002_DEST_PATH_IMAGE026
为：当轮胎或车头或车尾的包络框T属于车辆包络框B时，轮胎或车头或车尾的包络框T相对于车辆包络框B的宽为/>
Figure 394325DEST_PATH_IMAGE027
的概率；/>
Figure 100002_DEST_PATH_IMAGE028
为：当轮胎或车头或车尾的包络框T属于车辆包络框B时，轮胎或车头或车尾的包络框T相对于车辆包络框B的高为/>
Figure 189106DEST_PATH_IMAGE029
的概率；
c=0时，
Figure 883393DEST_PATH_IMAGE024
为：当轮胎或车头或车尾的包络框T不属于车辆包络框B时，轮胎或车头或车尾的包络框T的X方向的坐标为x的概率；/>
Figure 534954DEST_PATH_IMAGE025
为：当轮胎或车头或车尾的包络框T不属于车辆包络框B时，轮胎或车头或车尾的包络框T的Y方向的坐标为y的概率；/>
Figure 268686DEST_PATH_IMAGE026
为：当轮胎或车头或车尾的包络框T不属于车辆包络框B时，轮胎或车头或车尾的包络框T相对于车辆包络框B的宽为/>
Figure 663895DEST_PATH_IMAGE027
的概率；/>
Figure 212688DEST_PATH_IMAGE028
为：当轮胎或车头或车尾的包络框T不属于车辆包络框B时，轮胎或车头或车尾的包络框T相对于车辆包络框B的高为/>
Figure 238413DEST_PATH_IMAGE029
的概率。
所述判断区域框的停车状态的场景为侧方停车位时：
步骤一：对于某一帧待处理的图像，遍历所有区域框，对于某一个区域框，会遍历所有yolov5目标检测模型得到的车辆包络框；
步骤二：提取车辆包络框对应的轮胎包络框：
(1)如果轮胎包络框个数小于等于1，轮胎检测结果不完整，跳过该车辆包络框，不做判断；
(2)当轮胎包络框个数为2时，计算轮胎地面接触点，即为轮胎包络框底边中点坐标，通过射线判断法判断轮胎地面接触点是否在当前区域框内，即过目标点做一条直线（两条反方向的射线），每条射线与多边形边的交点数量都是奇数，则点在多边形内，否则在多边形外部；根据两个轮胎地面接触点的位置，有如下情况：
(2.1)如果两个轮胎地面接触点均在区域框内，则认为该车辆属于当前区域框，如果区域框为通道框，直接判断该区域框的停车状态为车辆占道嫌疑区域框（之所以带有“嫌疑”两字，是因为还需要后续的跨时间序列判断）；如果区域框为车位框，需进行后续的停车状态判断，假设车辆包络框水平方向最小坐标为
Figure 100002_DEST_PATH_IMAGE030
，最大坐标为/>
Figure 505446DEST_PATH_IMAGE031
，区域框水平方向最小坐标为/>
Figure 100002_DEST_PATH_IMAGE032
，最大坐标为/>
Figure 891297DEST_PATH_IMAGE033
，如果/>
Figure 294596DEST_PATH_IMAGE034
或者/>
Figure DEST_PATH_IMAGE035
，则认为该车辆处于跨车位压线状态，直接判断该区域框的停车状态为车辆占线嫌疑区域框；
(2.2)如果仅有一个轮胎地面接触点在区域框内，同理认为该车辆处于跨车位压线状态，直接判断该区域框的停车状态为车辆占线嫌疑区域框；
(2.3)如果两个轮胎地面接触点均不在区域框内，则认为该车辆不属于当前区域框，不做判断；
(2.4)其余状况视为正常停车状态。
所述判断区域框的停车状态的场景为入库停车位时：
步骤A：对于某一帧待处理的图像，遍历所有区域框，对于某一个区域框，会遍历所有yolov5目标检测模型得到的车辆包络框；
步骤B：提取车辆包络框对应的车头或车尾包络框，有如下情况：
a、如果车头或车尾包络框不存在，说明车头或车尾目标检测结果不存在，跳过该车辆包络框，不做判断；
b、当车头或车尾包络框个数为1时，获取车头或车尾的左右近地点，其中左近地点为车头或车尾包络框左下角点，右近地点为车头或车尾包络框右下角点。同理，利用射线判断法，判断左右近地点是否在区域框内。根据两个近地点的不同位置，有如下情况:
(b.1)如果左右两个近地点均在区域框内，则认为该车辆属于当前区域框，如果区域框为通道框，直接判断该区域框的停车状态为车辆占道嫌疑区域框，如果区域框为车位框，需进行后续的停车状态判断，假设车辆包络框水平方向最小坐标为
Figure 491223DEST_PATH_IMAGE030
，最大坐标为/>
Figure 245552DEST_PATH_IMAGE031
，区域框水平方向最小坐标为/>
Figure 670979DEST_PATH_IMAGE036
，最大坐标为/>
Figure 194364DEST_PATH_IMAGE033
，如果/>
Figure 624209DEST_PATH_IMAGE034
或者/>
Figure 537938DEST_PATH_IMAGE035
，则认为该车辆处于跨车位压线状态，直接判断该区域框的停车状态为车辆占线嫌疑区域框；
(b.2)如果仅有一个近地点在区域框内，同理认为该车辆处于跨车位压线状态，直接判断该区域框的停车状态为车辆占线嫌疑区域框；
(b.3)如果两个近地点均不在区域框内，则认为该车辆不属于当前区域框，不做判断；
(b.4)其余状况视为正常停车状态。
所述车辆包络框定义为：涵盖车辆连通域的最大包络区域；
轮胎包络框定义为：包络区域仅为轮胎外侧圆平面，不包括与地面接触的圆柱面；
车头包络框定义为：左右边界为前车灯左右边界，上边界为车盖前沿，如果不明确，就以前车灯上边界为边界，下边界为车牌底部，如果没有车牌，就以车头地盘为边界；
车尾包络框定义为：左右边界为后车灯左右边界，上边界为后车灯顶部，下边界为车尾底盘。
所述检测方法采用跨时间序列判断机制：对每一个区域框，在一个检测周期内，统计所有帧下的停车状态，如果这个周期内80%以上的帧一直告警车辆占线嫌疑区域框，则认为该区域框有车占线，同理如果一直告警车辆占道嫌疑区域框，则认为该区域框有车占道；其余情况为正常停车状态。
本发明的另一目的通过以下的技术方案实现：
基于目标检测算法的车辆停车位停车状态检测系统，包括：图像信息采集模块、目标检测模块、停车状态判断模块，用于实现上述检测方法；其中：
所述图像信息采集模块采集车辆停车视频图像序列并传输至目标检测模块，目标检测模块通过yolov5目标检测模型得到车辆包络框、轮胎包络框、车头包络框和车尾包络框并输出；停车状态判断模块以区域框为跟踪和告警对象，判断该车辆的车辆包络框、轮胎包络框、车头包络框和车尾包络框与区域框的位置关系，最后判断区域框的停车状态。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明同时检测车轮，车头车尾和车辆外轮廓全方位的车辆外形信息，现有技术对车辆的外形信息获取较为单一，或者只有利用连通域得到的车辆外轮廓框，或者只有车辆着地点。多样的车辆外形信息的获取，可以有效提高检测方法的稳定性和准确性。
2、本发明通过检测车轮方式获得车轮地面接触点，现有技术中有直接对车轮着地点进行检测，相比较而言，本发明的检测对象特征更丰富，检测起来更加容易，在低分辨率或者遮挡情况下有更好的检测效果。
3、本发明同时适应入库和侧方停车两种场景。多样的车辆外形信息的获取，使得同时适应两种停车场景成为可能，而现有技术只能适应其中一种场景。
4、本发明区域框的停车状态判断，分侧方停车位和入库停车位两种情况进行处理。其中，对于侧方停车位场景，关注车轮地面接触点与区域框的位置关系，并结合车辆包络框与区域框的水平方向坐标值进行停车状态判断；对于入库停车位场景，关注车头或车尾左右近地点与区域框的位置关系，并结合车辆包络框与区域框的水平方向坐标值进行停车状态判断。现有技术并未有与本发明相似方法。
5、本发明以区域框为告警对象。现有技术多以车辆为处理对象，并结合跟踪算法进行检测告警，但会受遮挡导致跟踪id变化，出现同一辆车频繁告警的情况，对此本发明选择以区域框为告警对象，在同一视野下，区域框是不会有所变化的，避免了频繁告警情况。
6、本发明适应边缘端部署的算法改进。改进后的算法可以在边缘端设备稳定实时运行。现有技术方案中并未有模型部署过程，相对而言边缘端部署成本更低。
附图说明
图1为侧方停车位摄像头安装方式示意图；
图2为入库停车位摄像头安装方式示意图；
图3为目标检测算法输出结果包络框示意图；
图4为车轮（或车头车尾）与车辆从属关系计算时包络框区域特征示意图；
图5为区域框绘制示意图；
图6为利用射线判断法判断点是否在多边形内示意图；
图7为可见车轮均在通道框内的车辆占道嫌疑区域框示意图；
图8为可见车轮均在车位框内的车辆占线嫌疑区域框示意图；
图9为可见车轮跨车位压线的车辆占线嫌疑区域框示意图；
图10为侧方停车位场景区域框停车状态判断流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1至10，基于目标检测算法的车辆停车位停车状态检测方法，包括以下步骤：
1、停车区域按照要求安装摄像头。
安装方式上，对安装高度、摄像头拍摄角度要求限制不多，针对侧方停车位和入库停车位两种场景，参数分别如下所示：
如图1，侧方停车位场景：摄像头高度2~5m，摄像头俯角0~25°，摄像头与侧方停车线的水平距离2~5m，成像区域底边水平对齐侧方停车线，成像区域内，最好容纳完整的三个停车位，摄像头分辨率720p以上。此时对于每一辆车，可以观察到车的侧面和两个车轮。
如图2，入库停车位场景：摄像头高度2~5m，摄像头俯角0~25°，摄像头与入库停车线的水平距离2~5m，成像区域底边水平对齐入库停车线，成像区域内，最好容纳完整的三个停车位，摄像头分辨率720p以上，此时对于每一辆车，可以观察到车的正面和车头信息（或者车的背面和车尾信息）。
对于物理支架设计，以及采用有线传输方式还是无线传输方式，不做具体要求。
2、利用安装好的摄像头，采集视频图像序列，并保存图像数据到边缘设备或中心服务器。
采集到的数据主要用于目标检测算法模型的训练与测试。为了保证模型性能，需要采集不同情况下的数据，涵盖不同时间段，不同光照变化，不同天气情况。
3、定义目标检测模型的输入输出：将车轮、车头、车尾和车辆四方面信息作为目标检测算法的检测目标。
目标检测算法主要基于卷积神经网络模型，基于卷积神经网络模型的算法，在检测效果上更能适应出现光照变化，遮挡的情况。卷积神经网络模型的效果生成需要事先定义好输入输出，所谓输入，即定义模型的输入中图片的个数以及格式，输出即为目标包络框和类别。利用定义的输出方案对采集数据进行标注，得到训练数据，最后对目标检测模型进行训练，更新模型权重，使得当给模型指定输入时，模型输出会不断逼近期望内容。在本发明中，模型为yolov5目标检测模型，输入为一张大小为640*384的图片，兼顾速度与精度；如图3，输出有四个类别，分别为车辆、轮胎、车头和车尾，对于每一个类别，其包络框区域分别为：
车辆包络框：涵盖车辆连通域的最大包络区域；
轮胎包络框：包络区域仅为轮胎外侧圆平面，不包括与地面接触的圆柱面；
车头包络框：左右边界为前车灯左右边界，上边界为车盖前沿(如果不明确，就以前车灯上边界为边界），下边界为车牌底部（如果没有车牌，就以车头地盘为边界）；
车尾包络框：左右边界为后车灯左右边界，上边界为后车灯顶部，下边界为车尾底盘。
值得注意的是，直接检测上述目标可获得车辆轮廓全方位信息，这些信息特征都比较丰富，目标也较大，在低分辨率情况也可有效识别。其中，通过检测轮胎，间接寻找轮胎地面接触点，比直接检测轮胎着地点更为稳定。
采用深度学习目标检测算法，检测类别的增加，并不会给算法模型带来太多的耗时，在寒武纪MLU220上，模型处理一帧图像耗时为30ms。同时模型容量为28M，即可达到检测准确率80%以上。
4、调整算法模型网络，兼容边缘端部署，保证准确性和效率。
本发明采用的目标检测算法为yolov5s，采用边缘计算器运行算法。在算法模型移植过程中，修改模型主干网络的第一层，将Focus层替换为Conv卷积层，兼容边缘计算器的加速功能，加速输入数据的拷贝;将激活函数从SiLu改成LeakyReLU,减少激活函数的处理时间;最后对模型进行int16量化，将float数值向int数值映射，保证精度的同时，使算法在边缘端部署运行效率达到实时。
并对调整后的目标检测模型进行训练，然后应用到后续的停车判断。
5、分别确定轮胎包络框、车头包络框、车尾包络框与车辆包络框的从属关系，确定归属于同一车辆的轮胎包络框、车头包络框、车尾包络框与车辆包络框，如图4。目标检测算法输出的车辆包络框、轮胎包络框、车头包络框和车尾包络框是相互独立的，算法层面不知道其中一个轮胎包络框（或车头包络框、车位包络框）是属于哪一个车辆包络框。确定从属关系后，就可以知道其中任意一个车辆包络框对应的轮胎包络框（或车头包络框、车位包络框），然后才能利用轮胎包络框去判断停车状态。
本实施例中，训练好的目标检测算法模型会检测上述四个类别的目标，并给出对应包络框以及置信度，所有目标都是独立检测，不存在从属关系，画面中出现多辆车时，包络框会出现混叠，如果仅用IOU(交并比)计算无法准确判定从属关系。直观地看，车辆包络框和轮胎包络框以及车头车尾包络框存在一定的几何约束关系。本发明以目标检测算法所得的车辆包络框B的左上角点为坐标原点，假设轮胎或车头或车尾的包络框T的中心在X方向与原点的距离为
Figure DEST_PATH_IMAGE037
，Y方向与原点距离为/>
Figure 78641DEST_PATH_IMAGE002
，宽和高分别为w和h，车辆包络框的宽和高分别为W和H，则计算轮胎或车头或车尾的包络框的中心坐标为：/>
Figure 909063DEST_PATH_IMAGE003
，/>
Figure 244229DEST_PATH_IMAGE004
，T相对于B的宽和高分别为/>
Figure 973151DEST_PATH_IMAGE005
，/>
Figure 989648DEST_PATH_IMAGE006
，且将/>
Figure 487626DEST_PATH_IMAGE007
作为T包络框区域的特征。对于包络框B和T，存在两种可能性：即T包络框中的轮胎或车头或车尾属于B包络框代表的车辆，记为c=1，T包络框中的轮胎或车头或车尾不属于B包络框代表的车辆，记为c=0。由此，可将轮胎或车头或车尾与车辆的从属关系转化为概率问题，当T属于B的概率大于T不属于B的概率时，即
Figure 993693DEST_PATH_IMAGE038
，
则认为T包络框中的轮胎或车头或车尾属于B包络框代表的车辆。
其中
Figure 892467DEST_PATH_IMAGE013
可根据贝叶斯公式计算；
根据贝叶斯定理可得：
Figure 774972DEST_PATH_IMAGE014
，
其中，c=1或0。
简化公式，只需知道
Figure 127456DEST_PATH_IMAGE020
，
则输出T包络框中的轮胎或车头或车尾属于B包络框代表的车辆。由于
Figure DEST_PATH_IMAGE039
等属性彼此独立，上述公式中的分子部分可按下式等价计算：
Figure 7688DEST_PATH_IMAGE022
，
其中的
Figure 445622DEST_PATH_IMAGE023
可通过训练数据统计得到。
6、自定义车位框和通道框(后续统称区域框)。
车位框线因为常年风吹日晒，许多都已经腐蚀殆尽，直接用自动化的车位线检测方法容易误检测，决定通过人工交互绘制车位框，每个车位框均是通过折线首尾相接得到的四边形，如图5，用户可以沿着已有车位线画框，如果车位线已破损，则根据经验画框；同理，通道框为车辆通行区域，用户可通过折现绘制多边形区域进行覆盖。
7、不以车辆为跟踪和告警对象，采用区域框为跟踪和告警对象。
现有的检测技术中，关注对象为车辆，利用跟踪算法实时检测车辆的停车状态，当车辆有连续多帧图像的停车状态不是正常停车状态时就会告警提示，存在问题就是对某一辆车的跟踪过程容易受视角遮挡等影响中断，中断后重新检测的同一辆车的id就会发送变化，即认为是新的车辆，于是又重新对它的停车状态进行检测和告警，于是可能就会出现同一辆车在压线时，频繁告警的情况。
因为只关注哪一个车位（区域框）上有车辆停车压线，并不需要知道具体哪一辆车造成的，同时在后续任务中也不提取车辆信息，所以我们无需对车辆进行跟踪告警，这样子我们的注意力就可以放到区域框本身上来，而在同一摄像头视野底下，区域框是不会有变动的，所以无需对区域框进行跟踪，只需不断判断不同时间段内的区域框停车状态。
本发明以区域框为告警对象，当前处理帧下，遍历所有区域框，对于某一个区域框，会遍历所有目标检测算法得到的车辆包络框，然后判断每一辆车与该区域框的位置关系（同一车辆只有一个车辆包络框），最后判断区域框的停车状态。
8、根据轮胎或车头或车尾和车辆目标框和区域框的位置关系判断停车状态。
根据判断区域框的停车状态分两种情况处理：
场景一：如图10，侧方停车位：
步骤一：对于某一帧待处理的图像，遍历所有区域框，对于某一个区域框，会遍历所有yolov5目标检测模型得到的车辆包络框。
本实施例算法会逐帧处理每一帧图像，对于某一帧图像，要得到所有区域框的停车状态，就需要遍历所有区域框；对于其中一个区域框，又需要判断每一个车辆包络框和它的位置关系，而这些车辆包络框都是模型得到的，所以说“会遍历所有yolov5目标检测模型得到的车辆包络框”。通俗的说，就是要判断每一辆车和某一车位的位置关系。
其他的包络框（指的是车轮、车头和车尾包络框）是不需要遍历的，因为在前面的步骤已经确定了从属关系，所以遍历每一个车辆包络框，也就可以访问到对应的车轮、车头和车尾包络框。
步骤二：提取车辆包络框对应的轮胎包络框（通过从属关系可判断）：
(1)如果轮胎包络框个数小于等于1，轮胎检测结果不完整，跳过该车辆包络框，不做判断。
(2)当轮胎包络框个数为2时，计算轮胎地面接触点，即为轮胎包络框底边中点坐标，判断轮胎地面接触点是否在当前区域框内，方法为射线判断法，如图6，即过目标点做一条直线（两条反方向的射线），每条射线与多边形边的交点数量都是奇数，则点在多边形内，否则在多边形外部。根据两个轮胎地面接触点的位置，有如下情况：
(2.1)如果两个轮胎地面接触点均在区域框内，则认为该车辆属于当前区域框，如图7，如果区域框为通道框，直接判断该区域框的停车状态为车辆占道嫌疑区域框（之所以带有“嫌疑”两字，是因为还需要后续的跨时间序列判断）；如果区域框为车位框，需进行后续的停车状态判断，假设车辆包络框水平方向最小坐标为
Figure 53190DEST_PATH_IMAGE040
，最大坐标为/>
Figure 525760DEST_PATH_IMAGE031
，区域框水平方向最小坐标为/>
Figure 373630DEST_PATH_IMAGE032
，最大坐标为/>
Figure 236544DEST_PATH_IMAGE033
，如果/>
Figure 460852DEST_PATH_IMAGE034
或者/>
Figure 787928DEST_PATH_IMAGE035
，则认为该车辆处于跨车位压线状态，直接判断该区域框的停车状态为车辆占线嫌疑区域框，如图8。
(2.2)如图9，如果仅有一个轮胎地面接触点在区域框内，同理认为该车辆处于跨车位压线状态，直接判断该区域框的停车状态为车辆占线嫌疑区域框。
(2.3)如果两个轮胎地面接触点均不在区域框内，则认为该车辆不属于当前区域框，不做判断。
(2.4)上述未提到状况为正常停车状态。
场景一：入库停车位：
步骤一：对于某一帧待处理的图像，遍历所有区域框，对于某一个车位框或通道框，会遍历所有目标检测算法得到的车辆包络框。
步骤二：提取车辆包络框对应的车头或车尾包络框，有如下情况：
(1)如果车头或车尾包络框不存在，说明车头或车尾目标检测结果不存在，跳过该车辆包络框，不做判断。
(2)当车头或车尾包络框个数为1时，获取车头或车尾的左右近地点，其中左近地点为车头或车尾包络框左下角点，右近地点为车头或车尾包络框右下角点。同理，利用射线判断法，判断左右近地点是否在区域框内。根据两个近地点的不同位置，有如下情况:
(2.1)如果左右两个近地点均在区域框内，则认为该车辆属于当前区域框，如果区域框为通道框，直接判断该区域框的停车状态为车辆占道嫌疑区域框，如果区域框为车位框，需进行后续的停车状态判断，假设车辆包络框水平方向最小坐标为
Figure 760694DEST_PATH_IMAGE030
，最大坐标为/>
Figure 173221DEST_PATH_IMAGE031
，区域框水平方向最小坐标为/>
Figure 935641DEST_PATH_IMAGE032
，最大坐标为/>
Figure 54906DEST_PATH_IMAGE033
，如果/>
Figure 510158DEST_PATH_IMAGE034
或者/>
Figure 409981DEST_PATH_IMAGE035
，则认为该车辆处于跨车位压线状态，直接判断该区域框的停车状态为车辆占线嫌疑区域框。
(2.2)如果仅有一个近地点在区域框内，同理认为该车辆处于跨车位压线状态，直接判断该区域框的停车状态为车辆占线嫌疑区域框。
(2.3)如果两个近地点均不在区域框内，则认为该车辆不属于当前区域框，不做判断。(2.4)上述未提到状况为正常停车状态。
9.跨时间序列判断机制。
对每一个区域框，以2min作为一个检测周期，统计所有帧下的停车状态，如果这个周期内80%以上的帧一直告警车辆占线嫌疑区域框，则认为该区域框有车占线，同理如果一直告警车辆占道嫌疑区域框，则认为该区域框有车占道。其余情况为正常停车状态。这样可以有效避免车辆停车过程和离开过程占线的误报。
上述方案与现有技术相比较，有如下优点：
1.场景适应性强，方法更通用。本发明同时结合车轮，车头车尾和车辆外轮廓全方位的车辆外形信息做车辆停车状态检测，现有技术未有采用这个检测方案，可适应不同摄像头视角，这是一个多用途检测手段，可适用于目前常见的入库和侧方停车两种场景。
2.对环境要求低，可适应遮挡，低分辨率成像情况。与现有技术直接检测车轮着地点相比，所检测的车轮，车头和车尾均为特征信息丰富目标，采用的目标检测算法为大数据训练的卷积神经网络模型，即使存在部分遮挡或者部分失真情况也可以检测出。
3.自动化程度高，基本无需设置参数，仅需初始设置区域框即可开启检测功能。
4.算法模型运行在边缘端设备，部署成本低。
本发明主要创新点是通过检测车轮、车头、车尾和车辆轮廓四方面信息来全方位的捕获车辆的外形信息，这些外形信息在图像内目标都会比较大，这样检测起来会比较容易，较少出现遗漏的情况，保证了后续车辆与车位框之间的位置判断的准确性以及稳定性。比如检测车轮，相比于现有技术的直接检测车轮和地面的接触点，会更容易捕获，间接得到的车轮检测框的底边中点作为接触点。与此同时，上述的四方面检测信息也使得本方案更通用，可适用于目前常见的入库和侧方停车两种场景。
目前本专利采用深度学习目标检测算法，检测类别的增加，并不会给算法模型带来太多的耗时，在边缘设备上，模型处理一帧图像耗时为30ms。同时模型容量为28M，即可达到检测准确率80%以上。
结合本发明实际应用场景，因为只关注哪一个车位（区域框）上有车辆停车压线，并不需要知道具体哪一辆车造成的，同时在后续任务中也不提取车辆信息，所以我们无需对车辆进行跟踪告警，这样子我们的注意力就可以放到车位框本身上来。而专利一、二、三如果需要关注车辆信息，就没法采用本专利的“以区域框为告警对象”。
本领域技术人员可以理解的是，实施例中的全部或部分步骤，可以通过计算机程序来指令相关的硬件实现，该程序可以存储于计算机可读介质中，可读介质可以包括闪存盘、移动硬盘、只读存储器、随机存取器、磁盘或光盘等各种可以存储程序代码的介质。在一个实施例中，公开提出了一种计算机可读介质，所述计算机可读介质中存储有计算机程序，所述计算机程序由处理模块加载并执行以实现基于目标检测算法的车辆停车位停车状态检测方法。
在符合本领域技术人员的知识和能力水平范围内，本文提及的各种实施例或者技术特征在不冲突的情况下，可以相互组合而作为另外一些可选实施例，这些并未被一一罗列出来的、由有限数量的技术特征组合形成的有限数量的可选实施例，仍属于本公开揭露的技术范围内，亦是本领域技术人员结合附图和上文所能理解或推断而得出的。
再次强调，上文所列举的实施例，为本公开较为典型的、较佳实施例，仅用于详细说明、解释本公开的技术方案，以便于读者理解，并不用以限制本公开的保护范围或者应用。在本公开的精神和原则之内所作的任何修改、等同替换、改进等而获得的技术方案，都应被涵盖在本公开的保护范围之内。

Claims (8)

1.基于目标检测算法的车辆停车位停车状态检测方法，其特征在于，包括以下步骤：
S1、采集车辆停车视频图像序列；
S2、将车辆停车图片输入到yolov5目标检测模型，yolov5目标检测模型将车辆、轮胎、车头和车尾作为检测目标，分别得到车辆包络框、轮胎包络框、车头包络框和车尾包络框并输出；
S3、分别确定轮胎包络框、车头包络框、车尾包络框与车辆包络框的从属关系：
以yolov5目标检测模型所得的车辆包络框B的左上角点为坐标原点，假设轮胎或车头或车尾的包络框T的中心在X方向与原点的距离为
Figure DEST_PATH_IMAGE001
，Y方向与原点距离为
Figure DEST_PATH_IMAGE002
，宽和高分别为w和h，车辆包络框的宽和高分别为W和H，则计算轮胎或车头或车尾的包络框的中心坐标为：
Figure DEST_PATH_IMAGE003
，
Figure DEST_PATH_IMAGE004
，轮胎或车头或车尾的包络框T相对于车辆包络框B的宽和高分别为
Figure DEST_PATH_IMAGE005
，
Figure DEST_PATH_IMAGE006
，且将
Figure DEST_PATH_IMAGE007
作为轮胎或车头或车尾的包络框T在包络框区域的特征；
对于车辆包络框B和轮胎或车头或车尾的包络框T，存在两种可能性：即轮胎或车头或车尾的包络框T中的轮胎或车头或车尾属于车辆包络框B代表的车辆，记为c=1，轮胎或车头或车尾的包络框T中的轮胎或车头或车尾不属于车辆包络框B代表的车辆，记为c=0；由此，将轮胎或车头或车尾与车辆的从属关系转化为概率问题；
当
Figure DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE009
时，
则认为轮胎或车头或车尾的包络框T中的轮胎或车头或车尾属于车辆包络框B代表的车辆；
其中，
Figure DEST_PATH_IMAGE010
为：当轮胎或车头或车尾的包络框T的信息为
Figure DEST_PATH_IMAGE011
时，轮胎或车头或车尾的包络框T属于车辆包络框B的概率；
Figure 990963DEST_PATH_IMAGE009
为：当轮胎或车头或车尾的包络框T的信息为
Figure 219688DEST_PATH_IMAGE011
时，轮胎或车头或车尾的包络框T不属于车辆包络框B的概率；
其中
Figure DEST_PATH_IMAGE012
根据贝叶斯公式计算；
根据贝叶斯定理可得：
Figure DEST_PATH_IMAGE013
，
其中，c=1时，
Figure DEST_PATH_IMAGE014
为：当轮胎或车头或车尾的包络框T的信息为
Figure 61742DEST_PATH_IMAGE011
时，轮胎或车头或车尾的包络框T属于车辆包络框B的概率；
Figure DEST_PATH_IMAGE015
为：当轮胎或车头或车尾的包络框T属于车辆包络框B时，轮胎或车头或车尾的包络框T的信息为
Figure 270001DEST_PATH_IMAGE011
的概率；
Figure DEST_PATH_IMAGE016
为：轮胎或车头或车尾的包络框T属于车辆包络框B的概率；
c=0时，
Figure 84373DEST_PATH_IMAGE014
为：当轮胎或车头或车尾的包络框T的信息为
Figure 969152DEST_PATH_IMAGE011
时，轮胎或车头或车尾的包络框T不属于车辆包络框B的概率；
Figure 236186DEST_PATH_IMAGE015
为：当轮胎或车头或车尾的包络框T不属于车辆包络框B时，轮胎或车头或车尾的包络框T的信息为
Figure 435086DEST_PATH_IMAGE011
的概率；
Figure 103965DEST_PATH_IMAGE016
为：轮胎或车头或车尾的包络框T不属于车辆包络框B的概率；
Figure DEST_PATH_IMAGE017
为：轮胎或车头或车尾的包络框T的信息为
Figure 408913DEST_PATH_IMAGE011
的概率；
简化公式，只需知道：
Figure DEST_PATH_IMAGE018
，
则输出轮胎或车头或车尾的包络框T中的轮胎或车头或车尾属于车辆包络框B代表的车辆；由于
Figure DEST_PATH_IMAGE019
属性彼此独立，上述公式中的分子部分可按下式等价计算：
Figure DEST_PATH_IMAGE020
；
其中的
Figure DEST_PATH_IMAGE021
通过训练数据统计得到；
c=1时，
Figure DEST_PATH_IMAGE022
为：当轮胎或车头或车尾的包络框T属于车辆包络框B时，轮胎或车头或车尾的包络框T的X方向的坐标为x的概率；
Figure DEST_PATH_IMAGE023
为：当轮胎或车头或车尾的包络框T属于车辆包络框B时，轮胎或车头或车尾的包络框T的Y方向的坐标为y的概率；
Figure DEST_PATH_IMAGE024
为：当轮胎或车头或车尾的包络框T属于车辆包络框B时，轮胎或车头或车尾的包络框T相对于车辆包络框B的宽为
Figure DEST_PATH_IMAGE025
的概率；
Figure DEST_PATH_IMAGE026
为：当轮胎或车头或车尾的包络框T属于车辆包络框B时，轮胎或车头或车尾的包络框T相对于车辆包络框B的高为
Figure DEST_PATH_IMAGE027
的概率；
c=0时，
Figure 100925DEST_PATH_IMAGE022
为：当轮胎或车头或车尾的包络框T不属于车辆包络框B时，轮胎或车头或车尾的包络框T的X方向的坐标为x的概率；
Figure 149522DEST_PATH_IMAGE023
为：当轮胎或车头或车尾的包络框T不属于车辆包络框B时，轮胎或车头或车尾的包络框T的Y方向的坐标为y的概率；
Figure 672907DEST_PATH_IMAGE024
为：当轮胎或车头或车尾的包络框T不属于车辆包络框B时，轮胎或车头或车尾的包络框T相对于车辆包络框B的宽为
Figure 102751DEST_PATH_IMAGE025
的概率；
Figure 406694DEST_PATH_IMAGE026
为：当轮胎或车头或车尾的包络框T不属于车辆包络框B时，轮胎或车头或车尾的包络框T相对于车辆包络框B的高为
Figure 681817DEST_PATH_IMAGE027
的概率；
S4、以区域框为跟踪和告警对象，在当前处理帧下，遍历所有区域框，对于某一个区域框，会遍历所有车辆包络框，然后判断每一辆车与该区域框的位置关系，最后判断区域框的停车状态；所述区域框包括车位框和通道框。
2.根据权利要求1所述基于目标检测算法的车辆停车位停车状态检测方法，其特征在于，对所述yolov5目标检测模型进行改进：修改yolov5目标检测模型主干网络的第一层将Focus层替换为Conv卷积层，兼容边缘计算器的加速功能，加速输入数据的拷贝；将激活函数从SiLu改成LeakyReLU,减少激活函数的处理时间；最后对模型进行int16量化，将float数值向int数值映射，保证精度的同时，使算法在边缘端部署运行效率达到实时。
3.根据权利要求1所述基于目标检测算法的车辆停车位停车状态检测方法，其特征在于，所述判断区域框的停车状态的场景为侧方停车位时：
步骤一：对于某一帧待处理的图像，遍历所有区域框，对于某一个区域框，会遍历所有yolov5目标检测模型得到的车辆包络框；
步骤二：提取车辆包络框对应的轮胎包络框：
(1)如果轮胎包络框个数小于等于1，轮胎检测结果不完整，跳过该车辆包络框，不做判断；
(2)当轮胎包络框个数为2时，计算轮胎地面接触点，即为轮胎包络框底边中点坐标，通过射线判断法判断轮胎地面接触点是否在当前区域框内，即过目标点做一条直线，每条射线与多边形边的交点数量都是奇数，则点在多边形内，否则在多边形外部；根据两个轮胎地面接触点的位置，有如下情况：
(2.1)如果两个轮胎地面接触点均在区域框内，则认为该车辆属于当前区域框，如果区域框为通道框，直接判断该区域框的停车状态为车辆占道嫌疑区域框；如果区域框为车位框，需进行后续的停车状态判断，假设车辆包络框水平方向最小坐标为
Figure DEST_PATH_IMAGE028
，最大坐标为
Figure DEST_PATH_IMAGE029
，区域框水平方向最小坐标为
Figure DEST_PATH_IMAGE030
，最大坐标为
Figure DEST_PATH_IMAGE031
，如果
Figure DEST_PATH_IMAGE032
或者
Figure DEST_PATH_IMAGE033
，则认为该车辆处于跨车位压线状态，直接判断该区域框的停车状态为车辆占线嫌疑区域框；
(2.2)如果仅有一个轮胎地面接触点在区域框内，同理认为该车辆处于跨车位压线状态，直接判断该区域框的停车状态为车辆占线嫌疑区域框；
(2.3)如果两个轮胎地面接触点均不在区域框内，则认为该车辆不属于当前区域框，不做判断；
(2.4)其余状况视为正常停车状态。
4.根据权利要求1所述基于目标检测算法的车辆停车位停车状态检测方法，其特征在于，所述判断区域框的停车状态的场景为入库停车位时：
步骤A：对于某一帧待处理的图像，遍历所有区域框，对于某一个区域框，会遍历所有yolov5目标检测模型得到的车辆包络框；
步骤B：提取车辆包络框对应的车头或车尾包络框，有如下情况：
a、如果车头或车尾包络框不存在，说明车头或车尾目标检测结果不存在，跳过该车辆包络框，不做判断；
b、当车头或车尾包络框个数为1时，获取车头或车尾的左右近地点，其中左近地点为车头或车尾包络框左下角点，右近地点为车头或车尾包络框右下角点；同理，利用射线判断法，判断左右近地点是否在区域框内；根据两个近地点的不同位置，有如下情况:
(b.1)如果左右两个近地点均在区域框内，则认为该车辆属于当前区域框，如果区域框为通道框，直接判断该区域框的停车状态为车辆占道嫌疑区域框，如果区域框为车位框，需进行后续的停车状态判断，假设车辆包络框水平方向最小坐标为
Figure 200654DEST_PATH_IMAGE028
，最大坐标为
Figure 535821DEST_PATH_IMAGE029
，区域框水平方向最小坐标为
Figure 576327DEST_PATH_IMAGE030
，最大坐标为
Figure 655141DEST_PATH_IMAGE029
，如果
Figure 153119DEST_PATH_IMAGE032
或者
Figure 987082DEST_PATH_IMAGE033
，则认为该车辆处于跨车位压线状态，直接判断该区域框的停车状态为车辆占线嫌疑区域框；
(b.2)如果仅有一个近地点在区域框内，同理认为该车辆处于跨车位压线状态，直接判断该区域框的停车状态为车辆占线嫌疑区域框；
(b.3)如果两个近地点均不在区域框内，则认为该车辆不属于当前区域框，不做判断；
(b.4)其余状况视为正常停车状态。
5.根据权利要求1所述基于目标检测算法的车辆停车位停车状态检测方法，其特征在于，所述车辆包络框定义为：涵盖车辆连通域的最大包络区域；
轮胎包络框定义为：包络区域仅为轮胎外侧圆平面，不包括与地面接触的圆柱面；
车头包络框定义为：左右边界为前车灯左右边界，上边界为车盖前沿，如果不明确，就以前车灯上边界为边界，下边界为车牌底部，如果没有车牌，就以车头地盘为边界；
车尾包络框定义为：左右边界为后车灯左右边界，上边界为后车灯顶部，下边界为车尾底盘。
6.根据权利要求1所述基于目标检测算法的车辆停车位停车状态检测方法，其特征在于，所述检测方法采用跨时间序列判断机制：对每一个区域框，在一个检测周期内，统计所有帧下的停车状态，如果这个周期内80%以上的帧一直告警车辆占线嫌疑区域框，则认为该区域框有车占线，同理如果一直告警车辆占道嫌疑区域框，则认为该区域框有车占道；其余情况为正常停车状态。
7.基于目标检测算法的车辆停车位停车状态检测系统，包括：图像信息采集模块、目标检测模块、停车状态判断模块，用于实现如权利要求1至6任一所述检测方法；其中：
所述图像信息采集模块采集车辆停车视频图像序列并传输至目标检测模块，目标检测模块通过yolov5目标检测模型得到车辆包络框、轮胎包络框、车头包络框和车尾包络框并输出；停车状态判断模块以区域框为跟踪和告警对象，判断该车辆的车辆包络框、轮胎包络框、车头包络框和车尾包络框与区域框的位置关系，最后判断区域框的停车状态。
8.计算机可读介质，其特征在于：所述计算机可读介质中存储有计算机程序，所述计算机程序由处理模块加载并执行以实现如权利要求1至6任一所述基于目标检测算法的车辆停车位停车状态检测方法。
CN202210851142.3A 2022-07-20 2022-07-20 基于目标检测算法的车辆停车位停车状态检测方法及系统 Active CN115116012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210851142.3A CN115116012B (zh) 2022-07-20 2022-07-20 基于目标检测算法的车辆停车位停车状态检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210851142.3A CN115116012B (zh) 2022-07-20 2022-07-20 基于目标检测算法的车辆停车位停车状态检测方法及系统

Publications (2)

Publication Number Publication Date
CN115116012A CN115116012A (zh) 2022-09-27
CN115116012B true CN115116012B (zh) 2023-03-24

Family

ID=83332193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210851142.3A Active CN115116012B (zh) 2022-07-20 2022-07-20 基于目标检测算法的车辆停车位停车状态检测方法及系统

Country Status (1)

Country Link
CN (1) CN115116012B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116026349B (zh) * 2022-12-30 2024-03-19 吉咖智能机器人有限公司 用于车辆距离测量的方法、装置、电子设备和介质
CN115861975B (zh) * 2023-02-28 2023-05-12 杭州枕石智能科技有限公司 障碍物车辆位姿估计方法及设备
CN116994227B (zh) * 2023-09-28 2024-05-28 深圳市中智车联科技有限责任公司 一种停车状态检测方法、装置、设备和介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696135A (zh) * 2020-06-05 2020-09-22 深兰人工智能芯片研究院（江苏）有限公司 基于交并比的违禁停车检测方法
CN111784857A (zh) * 2020-06-22 2020-10-16 浙江大华技术股份有限公司 一种停车位管理方法、装置以及计算机存储介质
CN112258668A (zh) * 2020-10-29 2021-01-22 成都恒创新星科技有限公司 基于高位摄像头对路边车辆停车行为的检测方法
CN114446059A (zh) * 2021-12-29 2022-05-06 北京智联云海科技有限公司 一种车载监测路侧停车车辆的系统及方法

Also Published As

Publication number Publication date
CN115116012A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN115116012B (zh) 基于目标检测算法的车辆停车位停车状态检测方法及系统
CN112418069B (zh) 一种高空抛物检测方法、装置、计算机设备及存储介质
CN111476169B (zh) 一种基于视频帧的复杂场景路侧停车行为识别方法
CN111368687A (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN110491168B (zh) 一种基于车轮着地点检测车辆停车状态的方法及装置
EP2383679A1 (en) Detecting and recognizing traffic signs
CN111563469A (zh) 一种不规范停车行为识别方法及装置
CN106203272B (zh) 确定可移动对象的移动的方法和装置
CN103778786A (zh) 一种基于显著车辆部件模型的交通违章检测方法
CN113874927A (zh) 停车检测方法、系统、处理设备和存储介质
CN110852177B (zh) 基于单目相机的障碍物检测方法及系统
CN113537105B (zh) 一种车位检测方法及装置
US20200074754A1 (en) Image processing device, number-of-axles detection system, toll setting device, toll setting system, and non-transitory computer-readable medium storing program
CN101004860A (zh) 实时采集道路车流量信息的视频方法
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
JP2022516183A (ja) 指示灯検出方法、装置、デバイス、及びコンピュータ可読記録媒体
CN111932933B (zh) 一种城市智能停车位检测方法、设备及可读存储介质
WO2024046053A1 (zh) 车辆违规检测方法、装置及系统、存储介质
JP2021128705A (ja) 物体状態識別装置
CN111105619A (zh) 一种路侧逆向停车的判断方法及装置
CN112666573B (zh) 一种矿区卸载区车后方挡土墙及障碍物的检测方法
CN114627409A (zh) 一种车辆异常变道的检测方法及装置
Shafie et al. Smart video surveillance system for vehicle detection and traffic flow control
CN111951601B (zh) 一种识别配送车辆停放位置的方法及装置
CN114934467B (zh) 一种车位道闸控制方法、车位道闸系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant