CN115131892A - 基于巡逻机器人的异常停车检测方法、装置、介质及设备 - Google Patents

基于巡逻机器人的异常停车检测方法、装置、介质及设备 Download PDF

Info

Publication number
CN115131892A
CN115131892A CN202210586002.8A CN202210586002A CN115131892A CN 115131892 A CN115131892 A CN 115131892A CN 202210586002 A CN202210586002 A CN 202210586002A CN 115131892 A CN115131892 A CN 115131892A
Authority
CN
China
Prior art keywords
vehicle
parking
information
lane line
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210586002.8A
Other languages
English (en)
Other versions
CN115131892B (zh
Inventor
刘振轩
柏林
刘彪
舒海燕
沈创芸
祝涛剑
王恒华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Gosuncn Robot Co Ltd
Original Assignee
Guangzhou Gosuncn Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Gosuncn Robot Co Ltd filed Critical Guangzhou Gosuncn Robot Co Ltd
Priority to CN202210586002.8A priority Critical patent/CN115131892B/zh
Priority claimed from CN202210586002.8A external-priority patent/CN115131892B/zh
Publication of CN115131892A publication Critical patent/CN115131892A/zh
Application granted granted Critical
Publication of CN115131892B publication Critical patent/CN115131892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于巡逻机器人的异常停车检测方法，包括：获取停车位图像信息，所述停车位图像信息由巡逻机器人在停车位前巡逻并抓拍得到；采用深度学习的方式对所述停车位图像信息进行车道线检测，得到停车位的车道线信息；采用深度学习的方式对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框；根据所述车道线信息和车辆的检测框进行几何逻辑分析，获取异常停车信息。本发明解决了现有异常停车检测存在的覆盖率低、检测效率低以及无法分辨精细的异常停车行为的问题。

Description

基于巡逻机器人的异常停车检测方法、装置、介质及设备
技术领域
本发明涉及机器人技术领域，尤其涉及一种基于巡逻机器人的异常停车检测方法、装置、介质及设备。
背景技术
在停车场内停车时，通常车辆应当停泊在车位内，但也会出现诸如车辆停歪、一车占用多个停车位或者非停车位停车等不规则停车现象。需要对停车场内的异常停车现象进行检测以及提示。
现有技术主要采用固定摄像头拍摄停车场固定区域内的图像信息或视频流，来检测该固定区域内是否存在异常停车问题。需要对不同区域配置摄像头，设备成本高，异常停车检测的覆盖率有限，对异常停车行为的检测精度较低，容易出现误判；且无法分辨具体的异常停车行为，异常停车检测效率低。
发明内容
本发明实施例提供了一种基于巡逻机器人的异常停车检测方法、装置、介质及设备，以解决现有异常停车检测存在的覆盖率低、检测效率低以及无法分辨异常停车行为的问题。
一种基于巡逻机器人的异常停车检测方法，所述方法包括：
获取停车位图像信息，所述停车位图像信息由巡逻机器人在停车位前巡逻并抓拍得到；
采用深度学习的方式对所述停车位图像信息进行车道线检测，得到停车位的车道线信息；
采用深度学习的方式对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框；
根据所述车道线信息和车辆的检测框进行几何逻辑分析，获取异常停车信息。
可选地，所述采用深度学习的方式对所述停车位图像信息进行车道线检测，得到停车位的车道线信息包括：
采用深度学习模型DeepLabV3对所述停车位图像信息进行车道线分割，得到车道线二值化图像；
采用霍夫变换方法对所述车道线二值化图像进行车道线检测，得到所述停车位图像信息中的所有车道线信息。
可选地，所述采用深度学习的方式对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框包括：
采用训练好的目标检测模型YOLOv5对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框；
其中，所述目标检测模型YOLOv5的骨架为轻量化网络mobilenetv3，且剔除focus结构；所述目标检测模型YOLOv5的输入图像的分辨率比率为视频分辨率比率。
可选地，所述根据所述车道线信息和车辆的检测框进行几何逻辑分析，获取异常停车信息包括：
将所述检测框的中心点向下映射到检测框的下缘线，得到车辆下缘点；
以所述车辆下缘点为基点，从所述车道线信息中获取指定方位上最邻近所述车辆下缘点的若干条目标车道线，所述目标车道线包括左竖直车道线、右竖直车道线以及水平车道线；
若获取到所述目标车道线时，以所述车辆下缘点为基点作所述水平车道线的平行直线；
获取所述平行直线与所述左竖直车道线相交的左车位点、所述平行直线与所述右竖直车道线相交的右车位点；
根据所述车辆下缘点、左车位点和右车位点获取异常停车信息。
可选地，所述根据所述车辆下缘点、左车位点和右车位点获取异常停车信息包括：
根据所述左车位点和右车位点获取中心车位点、左车距和右车距，所述中心车位点为所述左车位点和右车位点连线的中心，所述左车距为所述左车位点到中心车位点的距离，所述右车距为所述右车位点到中心车位点的距离；
获取所述车辆下缘点和所述中心车位点之间的方位信息；
根据所述方位信息、左车距和右车距获取异常停车信息。
可选地，所述根据所述方位信息、左车距和右车距获取异常停车信息包括：
当所述车辆下缘点在所述中心车位点的左侧时，获取车辆下缘点与中心车位点之间的停车距；
当所述停车距和所述左车距的比值大于或等于第一预设阈值时，所述异常停车信息为车辆靠左停且停歪；和/或
当所述车辆下缘点在所述中心车位点的右侧时，获取车辆下缘点与中心车位点之间的停车距；
当所述停车距和所述右车距的比值大于或等于第二预设阈值时，所述异常停车信息为车辆靠右停且停歪。
可选地，所述根据所述车道线信息和车辆的检测框信息进行几何逻辑分析，获取停车异常信息还包括：
若无法获取到目标车道线时，所述异常停车信息为违规停车。
一种基于巡逻机器人的异常停车检测装置，所述装置包括：
获取模块，用于获取停车位图像信息，所述停车位图像信息由巡逻机器人在停车位前巡逻并抓拍得到；
车道线检测模块，用于采用深度学习的方式对所述停车位图像信息进行车道线检测，得到停车位的车道线信息；
车辆检测模块，用于采用深度学习的方式对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框；
分析模块，用于根据所述车道线信息和车辆的检测框进行几何逻辑分析，获取异常停车信息。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于巡逻机器人的异常停车检测方法。
一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于巡逻机器人的异常停车检测方法。
本发明实施例通过获取停车位图像信息，所述停车位图像信息由巡逻机器人在停车位前巡逻并抓拍得到；然后采用深度学习的方式对所述停车位图像信息进行车道线检测，得到停车位的车道线信息；对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框；最后根据所述车道线信息和车辆的检测框进行几何逻辑分析，获取异常停车信息；从而只需一个摄像头即可完成对整个停车场内停车位的巡检，扩展了异常停车检测的覆盖范围，降低了设备成本，并且通过结合车道线和检测框进行几何逻辑分析，有效低提高了对异常停车行为的检测效率，能够分辨出异常停车行为。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的巡逻机器人的停车场巡检示意图；
图2是本发明一实施例提供的基于巡逻机器人的异常停车检测方法；
图3(a)是本发明实施例提供的停车位图像信息，图3(b)是本发明实施例提供的所述停车位图像信息对应的车道线二值化图像；
图4是本发明实施例提供的停车位上的检测框示意图；
图5是本发明实施例提供的车辆分析示意图；
图6是本发明一实施例提供的基于巡逻机器人的异常停车检测装置的示意图；
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例基于巡检机器人不断来回巡检停车场，并通过位于机器人头部的摄像头抓拍图像，从而分析是否出现停车异常的现象。图1为本发明实施例提供的巡逻机器人的停车场巡检示意图。其中，黑色矩形框表示停泊的车辆，灰色线段表示停车场停车位的实线，灰色圆点表示巡逻机器人的位置，灰色圆点上的短箭头表示巡逻机器人上的摄像头朝向，长箭头直线表示巡逻机器人的巡检轨迹。
本发明实施例通过获取停车位图像信息，所述停车位图像信息由巡逻机器人在停车位前巡逻并抓拍得到；然后采用深度学习的方式对所述停车位图像信息进行车道线检测，得到停车位的车道线信息；对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框；最后根据所述车道线信息和车辆的检测框进行几何逻辑分析，获取异常停车信息；从而只需一个摄像头即可完成对整个停车场内停车位的巡检，扩展了异常停车检测的覆盖范围，降低了设备成本，并且通过结合车道线和检测框进行几何逻辑分析，有效低提高了对异常停车行为的检测效率，能够分辨出异常停车行为。
以下对本发明实施例提供的基于巡逻机器人的异常停车检测方法进行详细的描述。图2为本发明实施例提供的基于巡逻机器人的异常停车检测方法。如图2所示，所述基于巡逻机器人的异常停车检测方法包括：
在步骤S101中，获取停车位图像信息，所述停车位图像信息由巡逻机器人在停车位前巡逻并抓拍得到。
如图1所示，巡逻机器人的巡逻路线是固定的，巡逻机器人上的摄像头拍摄角度正对车辆，从而使得所拍摄到的停车位图像信息基本为车头的正面图片，这为后续检测分析提供了很大的便利。其中，抓拍的方式可以采用连续抓拍形成视频流的方式，也可以采用定点抓拍的方式。巡逻机器人巡逻到每一个停车位前，对该停车位抓拍若干张停车位图像信息。
在获取到停车位图像信息之后，本发明实施例使用获取的停车位图像信息，通过深度学习的处理手段获取车道线信息和车辆检测框，然后判断停车是否发生异常。对所述停车位图像信息进行分析的流程主要包括车道线检测、车辆检测、几何逻辑综合分析判断。以下详细说明每一个步骤的原理和过程。
在步骤S102中，采用深度学习的方式对所述停车位图像信息进行车道线检测，得到停车位的车道线信息。
在这里，本发明实施例对停车位图像信息中的车道线进行检测，求取对应的直线或者线段的参数化方程。所述步骤S102还可以包括：
在步骤S1021中，采用深度学习模型DeepLabV3对所述停车位图像信息进行车道线分割，得到车道线二值化图像。
在步骤S1022中，采用霍夫变换方法对所述车道线二值化图像进行车道线检测，得到所述停车位图像信息中的所有车道线信息。
本发明实施预先采集数据，对预设的深度学习模型DeepLabV3进行训练，然后使用训练好的DeepLabV3以车道线为目标进行分割，获取对应的车道线二值化图像，所述车道线二值化图像中包括车道线骨干。为了便于理解，图3(a)为本发明实施例提供的停车位图像信息，图3(b)所述停车位图像信息对应的车道线二值化图像。然后使用霍夫变换方法对车道线二值化图像进行检测，得到对应的多条车道线的直线参数方程，从而得到停车位图像信息中的车道线信息。可选地，在使用霍夫变换方法的过程中，还可以对停车位图像信息中的车道线进行直线合并以及去噪处理，以提高最终获取的车道线信息的准确度。
在步骤S103中，采用深度学习的方式对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框。
可选地，本发明实施例采用训练好的目标检测器YOLOv5对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框。其中，所述目标检测模型YOLOv5的骨架为轻量化网络mobilenetv3，且剔除focus结构；所述目标检测模型YOLOv5的输入图像的分辨率比率为视频分辨率比率。
在这里，通过修改目标检测器YOLOv5的backbone为轻量化网络mobilenetv3，使得推理速度在边缘平台也能达到实时的效果。其中训练所述目标检测器YOLOv5的训练数据集，部分来自网络开源，部分自行采集和进行标注。进一步地，为了提高模型的普适性和检测能力，本发明实施例还剔除了目标检测器YOLOv5中的focus结构，并将模型在训练和推理下的输入图像修改为视频的分辨率，优选为16:9。可选地，为了便于理解，图4为本发明实施例提供的停车位上的检测框示意图。可见，所述检测框反映车辆在停车位上的位置信息。
在步骤S104中，根据所述车道线信息和车辆的检测框进行几何逻辑分析，获取异常停车信息。
在得到车道线信息和车辆的检测框后，本发明实施例根据这些数值参数进行几何逻辑的判断，以获取异常停车信息。可选地，所述步骤S104还包括：
在步骤S1041中，将所述检测框的中心点向下映射到检测框的下缘线，得到车辆下缘点。
在这里，为了提高算法的精度，本发明实施例只对位于停车位图像信息的中心部位的车辆进行分析，即以中心部位的检测框作为目标分析对象。将检测框中心点向下映射到检测框的下缘线上，记为车辆下缘点。
在步骤S1042中，以所述车辆下缘点为基点，从所述车道线信息中获取指定方位上最邻近所述车辆下缘点的若干条目标车道线，所述目标车道线包括左竖直车道线、右竖直车道线以及水平车道线。
然后以所述车辆下缘点为基点，在每一指定方位上寻找最临近所述车辆下缘点的车位线作为目标车位线。如前所述，所述停车位图像信息为车头的正面图片，因此所述指定方位通常为检测框的左边、右边以及下边方位。本发明实施例分别从检测框的左边、右边以及下边方位获取最邻近所述车辆下远点的目标车道线，分别记为左竖直车道线、右竖直车道线以及水平车道线。然后执行步骤S1043。
在一些实施例中，可能无法获取到目标车道线，即左竖直车道线、右竖直车道线或者水平车道线三条线中至少一条没有找到，表示车辆没有停靠在车位内，默认所述停车位上的车辆未规范停车，所述异常停车信息为违规停车。
在步骤S1043中，若获取到所述目标车道线时，以所述车辆下缘点为基点作所述水平车道线的平行直线。
若所述左竖直车道线、右竖直车道线和水平车道线均能获取到，则继续过所述车辆下缘点，作所述水平车道线的平行直线，并使所述平行直线与所述左竖直车道线和右竖直车道线相交。
在步骤S1044中，获取所述平行直线与所述左竖直车道线相交的左车位点、所述平行直线与所述右竖直车道线相交的右车位点。
本发明实施例以所述平行直线与所述左竖直车道线相交的交点作为左车位点，以所述平行直线与所述右竖直车道线相交的交点作为右车位点。
在步骤S1045中，根据所述车辆下缘点、左车位点和右车位点获取异常停车信息。
在得到所述车辆下缘点、左车位点和右车位点，则可以根据这些点之间的偏差来判断及获取异常停车信息。可选地，所述步骤S1045还可以包括：
在步骤S501中，根据所述左车位点和右车位点获取中心车位点、左车距和右车距。
在这里，所述中心车位点为所述左车位点和右车位点连线的中心，所述左车距为所述左车位点到中心车位点的距离，所述右车距为所述右车位点到中心车位点的距离。应当理解，这里所述的距离为点与点之间的图像像素。
在步骤S502中，获取所述车辆下缘点和所述中心车位点之间的方位信息。
在步骤S503中，根据所述方位信息、左车距和右车距获取异常停车信息。
在这里，所述方位信息表示所述车辆下缘点在中心车位点的方向及位置，能够反映出车辆相对于停车位的停靠状态，比如是否停歪。本发明实施例进一步根据所述方位信息、左车距、右车距判断是靠左停歪还是靠右停歪。可选地，所述步骤S503还包括：
在步骤S5031中，当所述车辆下缘点在所述中心车位点的左侧时，获取车辆下缘点与中心车位点之间的停车距。
在步骤S5032中，当所述停车距和所述左车距的比值大于或等于第一预设阈值时，所述异常停车信息为车辆靠左停且停歪。
和/或
在步骤S5033中，当所述车辆下缘点在所述中心车位点的右侧时，获取车辆下缘点与中心车位点之间的停车距；
在步骤S5034中，当所述停车距和所述右车距的比值大于或等于第二预设阈值时，所述异常停车信息为车辆靠右停且停歪。
为了便于理解，图5为本发明实施例提供的车辆分析示意图。在这里，当所述方位信息为所述车辆下缘点在所述中心车位点左边时，表示车辆靠左停，在车辆靠左停的情况下，本发明实施例进一步计算停车距和左车距之间的比值，比较比值与第一预设阈值，当所述比值大于或等于所述第一预设阈值时，则认为车辆停歪了，所述异常停车信息为车辆靠左停且停歪。同理，当所述方位信息为所述车辆下缘点在所述中心车位点右边时，表示车辆靠右停，在车辆靠右停的情况下，本发明实施例进一步计算停车距和右车距之间的比值，比较比值与第二预设阈值，当所述比值大于或等于所述第二预设阈值时，则认为车辆停歪了，所述异常停车信息为车辆靠右停且停歪。
若停车距和左车距之间的比值小于所述第一预设阈值时，或者停车距和右车距之间的比值小于所述第二阈值时，则默认车辆未停歪，是符合规范的停车。
作为本发明的一个优选实例，为了提升停车异常行为的判别精度，还可以结合多帧图像的实际情况，综合判断车辆是否产生了停车异常现象。
本发明实施例通过使用巡逻机器人的方式对车库的所有车位进行检测，不但降低了摄像头的成本，还使得检测的覆盖范围得到极大的提高，为商用化提供更大的支持。且通过采用了深度学习的方案对收集的图像进行自动化的分析，使用精细化几何逻辑判断，极大地提高了停车异常的检测能力，不但能检测出错误停车，还能够检测出车辆停歪、一车占用多位等异常情况。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，本发明还提供一种基于巡逻机器人的异常停车检测装置，该基于巡逻机器人的异常停车检测装置与上述实施例中基于巡逻机器人的异常停车检测方法一一对应。如图6所示，该基于巡逻机器人的异常停车检测装置包括获取模块61、车道线检测模块62、车辆检测模块63、分析模块64。各功能模块详细说明如下：
获取模块61，用于获取停车位图像信息，所述停车位图像信息由巡逻机器人在停车位前巡逻并抓拍得到；
车道线检测模块62，用于采用深度学习的方式对所述停车位图像信息进行车道线检测，得到停车位的车道线信息；
车辆检测模块63，用于采用深度学习的方式对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框；
分析模块64，用于根据所述车道线信息和车辆的检测框进行几何逻辑分析，获取异常停车信息。
可选地，所述车道线检测模块62包括：
分割单元，用于采用深度学习模型DeepLabV3对所述停车位图像信息进行车道线分割，得到车道线二值化图像；
车道线检测单元，用于采用霍夫变换方法对所述车道线二值化图像进行车道线检测，得到所述停车位图像信息中的所有车道线信息。
可选地，所述车辆检测模块63用于：
采用训练好的目标检测模型YOLOv5对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框；
其中，所述目标检测模型YOLOv5的骨架为轻量化网络mobilenetv3，且剔除focus结构；所述目标检测模型YOLOv5的输入图像的分辨率比率为视频分辨率比率。
可选地，所述分析模块64包括：
映射单元，用于将所述检测框的中心点向下映射到检测框的下缘线，得到车辆下缘点；
第一获取单元，用于以所述车辆下缘点为基点，从所述车道线信息中获取指定方位上最邻近所述车辆下缘点的若干条目标车道线，所述目标车道线包括左竖直车道线、右竖直车道线以及水平车道线；
作线单元，用于若获取到所述目标车道线时，以所述车辆下缘点为基点作所述水平车道线的平行直线；
第二获取单元，用于获取所述平行直线与所述左竖直车道线相交的左车位点、所述平行直线与所述右竖直车道线相交的右车位点；
第三获取单元，用于根据所述车辆下缘点、左车位点和右车位点获取异常停车信息。
可选地，所述第三获取单元包括：
点距信息获取单元，用于根据所述左车位点和右车位点获取中心车位点、左车距和右车距，所述中心车位点为所述左车位点和右车位点连线的中心，所述左车距为所述左车位点到中心车位点的距离，所述右车距为所述右车位点到中心车位点的距离；
方位信息获取单元，用于获取所述车辆下缘点和所述中心车位点之间的方位信息；
异常信息获取单元，用于根据所述方位信息、左车距和右车距获取异常停车信息。
可选地，所述异常信息获取单元包括：
当所述车辆下缘点在所述中心车位点的左侧时，获取车辆下缘点与中心车位点之间的停车距；
当所述停车距和所述左车距的比值大于或等于第一预设阈值时，所述异常停车信息为车辆靠左停且停歪；和/或
当所述车辆下缘点在所述中心车位点的右侧时，获取车辆下缘点与中心车位点之间的停车距；
当所述停车距和所述右车距的比值大于或等于第二预设阈值时，所述异常停车信息为车辆靠右停且停歪。
可选地，所述分析模块64还包括：
若无法获取到目标车道线时，所述异常停车信息为违规停车。
关于基于巡逻机器人的异常停车检测装置的具体限定可以参见上文中对于基于巡逻机器人的异常停车检测方法的限定，在此不再赘述。上述基于巡逻机器人的异常停车检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于巡逻机器人的异常停车检测方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取停车位图像信息，所述停车位图像信息由巡逻机器人在停车位前巡逻并抓拍得到；
采用深度学习的方式对所述停车位图像信息进行车道线检测，得到停车位的车道线信息；
采用深度学习的方式对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框；
根据所述车道线信息和车辆的检测框进行几何逻辑分析，获取异常停车信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于巡逻机器人的异常停车检测方法，其特征在于，所述方法包括：
获取停车位图像信息，所述停车位图像信息由巡逻机器人在停车位前巡逻并抓拍得到；
采用深度学习的方式对所述停车位图像信息进行车道线检测，得到停车位的车道线信息；
采用深度学习的方式对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框；
根据所述车道线信息和车辆的检测框进行几何逻辑分析，获取异常停车信息。
2.如权利要求1所述的基于巡逻机器人的异常停车检测方法，其特征在于，所述采用深度学习的方式对所述停车位图像信息进行车道线检测，得到停车位的车道线信息包括：
采用深度学习模型DeepLabV3对所述停车位图像信息进行车道线分割，得到车道线二值化图像；
采用霍夫变换方法对所述车道线二值化图像进行车道线检测，得到所述停车位图像信息中的所有车道线信息。
3.如权利要求2所述的基于巡逻机器人的异常停车检测方法，其特征在于，所述采用深度学习的方式对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框包括：
采用训练好的目标检测模型YOLOv5对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框；
其中，所述目标检测模型YOLOv5的骨架为轻量化网络mobilenetv3，且剔除focus结构；所述目标检测模型YOLOv5的输入图像的分辨率比率为视频分辨率比率。
4.如权利要求1至3任一项所述的基于巡逻机器人的异常停车检测方法，其特征在于，所述根据所述车道线信息和车辆的检测框进行几何逻辑分析，获取异常停车信息包括：
将所述检测框的中心点向下映射到检测框的下缘线，得到车辆下缘点；
以所述车辆下缘点为基点，从所述车道线信息中获取指定方位上最邻近所述车辆下缘点的若干条目标车道线，所述目标车道线包括左竖直车道线、右竖直车道线以及水平车道线；
若获取到所述目标车道线时，以所述车辆下缘点为基点作所述水平车道线的平行直线；
获取所述平行直线与所述左竖直车道线相交的左车位点、所述平行直线与所述右竖直车道线相交的右车位点；
根据所述车辆下缘点、左车位点和右车位点获取异常停车信息。
5.如权利要求4所述的基于巡逻机器人的异常停车检测方法，其特征在于，所述根据所述车辆下缘点、左车位点和右车位点获取异常停车信息包括：
根据所述左车位点和右车位点获取中心车位点、左车距和右车距，所述中心车位点为所述左车位点和右车位点连线的中心，所述左车距为所述左车位点到中心车位点的距离，所述右车距为所述右车位点到中心车位点的距离；
获取所述车辆下缘点和所述中心车位点之间的方位信息；
根据所述方位信息、左车距和右车距获取异常停车信息。
6.如权利要求5所述的基于巡逻机器人的异常停车检测方法，其特征在于，所述根据所述方位信息、左车距和右车距获取异常停车信息包括：
当所述车辆下缘点在所述中心车位点的左侧时，获取车辆下缘点与中心车位点之间的停车距；
当所述停车距和所述左车距的比值大于或等于第一预设阈值时，所述异常停车信息为车辆靠左停且停歪；和/或
当所述车辆下缘点在所述中心车位点的右侧时，获取车辆下缘点与中心车位点之间的停车距；
当所述停车距和所述右车距的比值大于或等于第二预设阈值时，所述异常停车信息为车辆靠右停且停歪。
7.如权利要求4所述的基于巡逻机器人的异常停车检测方法，其特征在于，所述根据所述车道线信息和车辆的检测框信息进行几何逻辑分析，获取停车异常信息还包括：
若无法获取到目标车道线时，所述异常停车信息为违规停车。
8.一种基于巡逻机器人的异常停车检测装置，其特征在于，所述装置包括：
获取模块，用于获取停车位图像信息，所述停车位图像信息由巡逻机器人在停车位前巡逻并抓拍得到；
车道线检测模块，用于采用深度学习的方式对所述停车位图像信息进行车道线检测，得到停车位的车道线信息；
车辆检测模块，用于采用深度学习的方式对所述停车位图像信息进行车辆检测，得到停车位上的车辆及其检测框；
分析模块，用于根据所述车道线信息和车辆的检测框进行几何逻辑分析，获取异常停车信息。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于巡逻机器人的异常停车检测方法。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于巡逻机器人的异常停车检测方法。
CN202210586002.8A 2022-05-27 基于巡逻机器人的异常停车检测方法、装置、介质及设备 Active CN115131892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210586002.8A CN115131892B (zh) 2022-05-27 基于巡逻机器人的异常停车检测方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210586002.8A CN115131892B (zh) 2022-05-27 基于巡逻机器人的异常停车检测方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN115131892A true CN115131892A (zh) 2022-09-30
CN115131892B CN115131892B (zh) 2024-06-04

Family

ID=

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006164145A (ja) * 2004-12-10 2006-06-22 Amano Corp 車両検知方法及びその装置
CN110491168A (zh) * 2019-08-09 2019-11-22 智慧互通科技有限公司 一种基于车轮着地点检测车辆停车状态的方法及装置
CN110533950A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 车位使用状况的检测方法、装置、电子设备及存储介质
CN111540072A (zh) * 2020-04-23 2020-08-14 深圳智优停科技有限公司 一种车位管理服务方法、设备及系统
CN112084900A (zh) * 2020-08-26 2020-12-15 浙江工业大学 一种基于视频分析的地下车库乱停检测方法
CN112330601A (zh) * 2020-10-15 2021-02-05 浙江大华技术股份有限公司 一种基于鱼眼相机的停车检测方法、装置、设备及介质
CN113378690A (zh) * 2021-06-08 2021-09-10 盐城工学院 一种基于视频数据的路内不规范停车识别方法
CN113487759A (zh) * 2021-07-16 2021-10-08 杭州海康汽车软件有限公司 一种停车巡检方法、装置、移动巡逻设备及巡检系统
CN113593249A (zh) * 2021-07-12 2021-11-02 浙江中烟工业有限责任公司 基于移动平台的动态停车位车辆压线识别方法
US20210342606A1 (en) * 2020-04-30 2021-11-04 Boe Technology Group Co., Ltd. Parking Detection Method, System, Processing Device and Storage Medium
CN114255584A (zh) * 2021-12-20 2022-03-29 济南博观智能科技有限公司 一种停放车辆的定位方法、系统、存储介质和电子设备
CN114445788A (zh) * 2022-01-21 2022-05-06 深圳市爱深盈通信息技术有限公司 车辆停放检测方法、装置、终端设备和可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006164145A (ja) * 2004-12-10 2006-06-22 Amano Corp 車両検知方法及びその装置
CN110533950A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 车位使用状况的检测方法、装置、电子设备及存储介质
CN110491168A (zh) * 2019-08-09 2019-11-22 智慧互通科技有限公司 一种基于车轮着地点检测车辆停车状态的方法及装置
CN111540072A (zh) * 2020-04-23 2020-08-14 深圳智优停科技有限公司 一种车位管理服务方法、设备及系统
US20210342606A1 (en) * 2020-04-30 2021-11-04 Boe Technology Group Co., Ltd. Parking Detection Method, System, Processing Device and Storage Medium
CN113874927A (zh) * 2020-04-30 2021-12-31 京东方科技集团股份有限公司 停车检测方法、系统、处理设备和存储介质
CN112084900A (zh) * 2020-08-26 2020-12-15 浙江工业大学 一种基于视频分析的地下车库乱停检测方法
CN112330601A (zh) * 2020-10-15 2021-02-05 浙江大华技术股份有限公司 一种基于鱼眼相机的停车检测方法、装置、设备及介质
CN113378690A (zh) * 2021-06-08 2021-09-10 盐城工学院 一种基于视频数据的路内不规范停车识别方法
CN113593249A (zh) * 2021-07-12 2021-11-02 浙江中烟工业有限责任公司 基于移动平台的动态停车位车辆压线识别方法
CN113487759A (zh) * 2021-07-16 2021-10-08 杭州海康汽车软件有限公司 一种停车巡检方法、装置、移动巡逻设备及巡检系统
CN114255584A (zh) * 2021-12-20 2022-03-29 济南博观智能科技有限公司 一种停放车辆的定位方法、系统、存储介质和电子设备
CN114445788A (zh) * 2022-01-21 2022-05-06 深圳市爱深盈通信息技术有限公司 车辆停放检测方法、装置、终端设备和可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱国安;王金祥;: "基于视频的停车位内车辆的压线检测方法研究", 内江科技, no. 01 *

Similar Documents

Publication Publication Date Title
CN111160302B (zh) 基于自动驾驶环境的障碍物信息识别方法和装置
CN112419299B (zh) 一种螺栓缺失检测方法、装置、设备及存储介质
CN110334569B (zh) 客流量进出识别方法、装置、设备及存储介质
CN113109368B (zh) 玻璃裂纹检测方法、装置、设备及介质
CN104506857A (zh) 一种摄像头位置偏离检测方法及设备
CN112419298B (zh) 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
CN112598922B (zh) 车位检测方法、装置、设备及存储介质
WO2021139197A1 (zh) 一种图像处理方法及装置
CN112597846B (zh) 车道线检测方法、装置、计算机设备和存储介质
CN114529837A (zh) 建筑物轮廓提取方法、系统、计算机设备及存储介质
CN112954315A (zh) 一种安防摄像机图像对焦测量方法及系统
CN108961262B (zh) 一种复杂场景下的条码定位方法
CN110728659A (zh) 缺陷合并的方法、装置、计算机设备及存储介质
WO2021000948A1 (zh) 配重重量的检测方法与系统、获取方法与系统及起重机
CN111597904B (zh) 用于隧道电缆支架倾斜的识别方法
CN111626104B (zh) 一种基于无人机红外热像的电缆隐患点检测方法和装置
CN110322508B (zh) 一种基于计算机视觉的辅助定位方法
CN115131892B (zh) 基于巡逻机器人的异常停车检测方法、装置、介质及设备
CN115131892A (zh) 基于巡逻机器人的异常停车检测方法、装置、介质及设备
EP4375924A1 (en) Cell alignment degree measurement method, controller, detection system, and storage medium
DE102014105567A1 (de) Verfahren zur Verfolgung von Objekten unter Verwendung hyperspektraler Bilder
JP4224328B2 (ja) 車番認識装置
CN110880003A (zh) 一种图像匹配方法、装置、存储介质及汽车
CN108332713B (zh) 一种绝缘子引脚倾斜的检测方法
CN111583341B (zh) 云台像机移位检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant