CN113255486A - 一种基于高位视频监控的车位占用检测方法 - Google Patents

一种基于高位视频监控的车位占用检测方法 Download PDF

Info

Publication number
CN113255486A
CN113255486A CN202110521562.0A CN202110521562A CN113255486A CN 113255486 A CN113255486 A CN 113255486A CN 202110521562 A CN202110521562 A CN 202110521562A CN 113255486 A CN113255486 A CN 113255486A
Authority
CN
China
Prior art keywords
parking space
vehicle
coordinate system
point
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110521562.0A
Other languages
English (en)
Other versions
CN113255486B (zh
Inventor
李世玺
陈鹏
李文军
杨利红
戴骏
葛长俊
杨军志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Design Group Co Ltd
Original Assignee
China Design Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Design Group Co Ltd filed Critical China Design Group Co Ltd
Priority to CN202110521562.0A priority Critical patent/CN113255486B/zh
Publication of CN113255486A publication Critical patent/CN113255486A/zh
Application granted granted Critical
Publication of CN113255486B publication Critical patent/CN113255486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于高位视频监控的车位占用检测方法,首先对摄像机进行标定并修正镜头畸变;随后对车位区域进行图片采样,标记车位角点并记录,建立大地坐标系、相机坐标系和图像坐标系,并确定坐标系之间的映射关系;之后训练车辆目标检测模型,并对训练得到的模型进行测试,使其能够准确识别、定位车辆目标;将实时视频流输入车辆目标检测模型,输出车位检测结果;最后将大地坐标系中车位角点坐标转换到图像坐标系中,利用车位角点和车辆重心点坐标,判断停车位是否被占用。本方法对不完全可见的车辆目标,尤其是倾斜视角下,车位线不可见的情况下,仍能实时准确的判断相应车位是否占用;部署条件简单,更符合停车场集约化的设计要求。

Description

一种基于高位视频监控的车位占用检测方法
技术领域
本发明涉及服务区车位占用检测技术,具体涉及一种基于高位视频监控的车位占用检测方法。
背景技术
随着汽车数量的不断增加,计算机视觉算法的快速发展与应用,视频分析算法广泛应用于车位监控等实际任务,提高了服务区车位管理的效率。
现有的车位监控解决方案大多依赖于良好的监控角度所带来的视觉条件,如架设在服务区建筑物的高处,获得视野良好的正视图或鸟瞰图,捕捉到清晰的车辆特征,从而获得良好的检测结果。
在实际的设计过程中,由于美观,建筑物通常不被允许安装监控,更多的监控摄像机被要求架设在高杆上,例如灯杆或电线杆。此外,由于需要避免额外立杆,满足停车场集约化的设计要求,摄像机通常只能获得倾斜照射视角的车位或车辆透视图,这造成了较差的监测环境,与视频检测算法需要强感受野的部署条件相互矛盾,最终导致目标漏检或误检的现象,影响车位占用检测及其相关功能的落地实现。
发明内容
本发明的目的在于提供一种基于高位视频监控的车位占用检测方法。
实现本发明目的的技术方案为:一种基于高位视频监控的车位占用检测方法,包括摄像机标定与车位线标定,车辆目标检测模型的训练与测试、摄像机视频流的读取、识别定位车辆目标,停车位匹配与占用判断,具体包括以下步骤:
步骤1:通过摄像机标定获取其内参和畸变参数,并修正镜头畸变;
步骤2:对车位区域进行图片采样,标定每个车位的4个角点;建立大地坐标系、相机坐标系和图像坐标系,并确定坐标系之间的映射关系;
步骤3:训练车辆目标检测模型,并对训练得到的模型进行测试,使其能够准确识别、定位车辆目标;
步骤4:将实时视频流输入车辆目标检测模型,输出车位检测结果;
步骤5:将大地坐标系中车位角点坐标转换到图像坐标系中,利用车位角点和车辆重心点坐标,判断停车位是否被占用。
与现有技术相比,本发明的有益效果在于:
(1)对不完全可见的车辆目标,尤其是倾斜视角下,车位线不可见的情况下,仍能实时准确的判断相应车位是否占用;
(2)采用单目摄像头进行车位监测,依托既有车位资料/相机参数和常用目标检测模型进行快速部署,原理简单,对于提升改造现有设备或新设功能都较为方便;
(3)由于能够根据斜向照射的透视图进行车位占用监测,使得摄像机部署条件更加友好,更符合停车场集约化的设计要求。
下面结合附图与具体实施方式对本发明作进一步描述。
附图说明
图1为本发明的一种基于高位视频监控的车位占用检测方法流程图。
图2为本发明中大地坐标系、相机坐标系和图像坐标系示意图。
图3为本发明中大地坐标系到图像坐标系的转换示意图。
图4为本发明中图像坐标系中车位点及车辆重心点到标准车位的转换示意图。
图5-图7为本发明中实施例的检测效果图。
具体实施方式
一种基于高位视频监控的车位占用检测方法,包括以下步骤:
步骤1:通过摄像机标定获取其内参和畸变参数,并修正镜头畸变;
相机内参为:
Figure BDA0003064165680000021
畸变参数为:[k1 k2 p1 p2 k3];
其中fx和fy分别代表横向焦距和纵向焦距、r代表倾斜参数,一般为0,u0、v0表示主点坐标偏移量,k1、k2、k3表示径向畸变参数,p1、p1表示切向畸变参数;
步骤2:对车位区域进行图片采样,标定每个车位的4个角点;建立大地坐标系、相机坐标系和图像坐标系,并确定坐标系之间的映射关系;
所述图片采样具体为:
选择区域无车或少车时对车位区域进行拍摄采样,所采样图片需能完整的显示区域内各车位线的形态,包括每个车位区域的四个顶点;并对每个车位区域的四个顶点进行标注,标注时应逐个车位标注,以某一固定顶点作为车位的第一个标记点,按某一固定方向标注角点,记录坐标信息、对应的摄像头id、监测的车位数量信息,并录入数据库保存。
所述摄像机设置在高杆上,且摄像机进行图片采样时姿态是固定的。
步骤2-1:设置摄像机坐标系原点为Oc,其坐标轴分别为Xc、Yc、Zc;大地坐标系原点为Ow,位于高杆底部,其坐标轴分别为Xw、Yw、Zw
设车位区域的四个点A、B、C、D在相机成像面图像上的对应点为a、b、c、d,其中Oo为成像面图像主点,灭点v1为线段da和线段cb的交点,灭点v2是线段cd和线段ba的交点,灭点坐标分别为:v1(vx1,vy1)、v2(vx2,vy2),β为俯仰角,γ为光轴投影直线与车位线的夹角,且0°≤γ<90°,摄像机布置高度h;
灭点对应的世界坐标为(-tanγ,1,0)、(1,tanγ,0),将其带入下式:
Figure BDA0003064165680000031
可得:
Figure BDA0003064165680000032
Figure BDA0003064165680000033
Figure BDA0003064165680000034
其中,k为比例系数;
则大地坐标与图像坐标(xpi,ypi)间的坐标转换公式关系为:
Figure BDA0003064165680000035
Figure BDA0003064165680000036
β=tan-1(-vy1/f)
γ=tan-1(-vx1cosβ/f)。
步骤3:训练车辆目标检测模型,并对训练得到的模型进行测试,使其能够准确识别、定位车辆目标,具体为:
收集模型训练采用的数据集,包括公共车辆数据集,和自采集的服务区停车场景图片,其中包括不同光照、不同天气、不同车型等条件下的车辆图片;
采用预训练分类模型作为初始训练模型,以便于更快的拟合参数,学习物体的特征;设置验证集,当验证集准确率上升到设定的阈值时,停止训练,此时得到训练车辆目标检测模型。
对训练得到的模型进行测试和调整,使其能够准确识别、定位车辆目标,具体为:
将模型文件、超参数配置文件、相应的车位信息记录,存储于后台服务器;对各摄像头的实际部署位置进行各类参数微调,如置信度阈值调整,摄像机负责监控区域微调;
步骤4:将实时视频流输入车辆目标检测模型,基于RTSP协议实读取视频帧,调整读取到的视频帧尺寸,输入特征提取网络,如此逐帧进行推理,输出车位检测结果,包括停车区域内车辆的角点坐标和中心点坐标。
步骤5:将大地坐标系中车位角点坐标转换到图像坐标系中,利用车位角点和车辆重心点坐标,判断停车位是否被占用,具体为:
步骤5-1:依据物体三维包围框和二维包围框的约束关系,大地坐标系中车辆目标的重心点即为其在图像坐标中的中心点;读取已知的车位角点信息{(Xwi,Ywi,Zwi),i=1,2,3,4},此时默认车位点在大地平面上,即高度为0,角点的高度加上相应车型重心点的平均高度,得到车位4个角点与对应车型车辆重心在同一平面高度下的新大地坐标{(X′wi,Y′wi,Z′wi),i=1,2,3,4};
步骤5-2:将车位4个角点和中心点与对应车型车辆重心在同一平面高度下的新大地坐标{(X′wi,Y′wi,Z′wi),i=1,2,3,4}利用步骤2获得的坐标转换矩阵转换到图像坐标系;
步骤5-3:利用车位4个角点的图像坐标系的坐标gi(xpi,ypi)与标准车位的4个角点坐标(xstdi,ystdi)的对应关系,求得其单应性矩阵H,满足
Figure BDA0003064165680000041
步骤5-4:据物体三维包围框和二维包围框的约束关系,大地坐标系中车辆目标的重心点即为其在图像坐标中的中心点,即步骤4中输出的车辆中心点;利用单应性矩阵H,将车辆重心点坐标(xcar,ycar)映射到标准车位坐标系下,得到标准重心点(xcar_std,ycar_std);
步骤5-5:计算车辆的标准重心点(xcar_std,ycar_std)与车位中心点的的欧氏距离d:
Figure BDA0003064165680000051
其中,x和y表示标准车位的尺寸;
若d的值小于设定的阈值dthr,则说明该车位被占用,反之则说明该车位未被占用。
进一步的,由于车辆检测是在斜向照射的情况下实时进行的,实时监测过程中,视频帧会存在丢失个别目标的现象,因此,当检测到车位状态发生变化时,不会立刻改变车位占用状态,而是记录当前和之后的多个连续帧,形成车位状态时间序列,车位占用状态由多帧中占比较多的状态类型决定,从而对车位状态转变实现“去抖”。
进一步的,所述多个连续帧的帧数n代表需要记录的车位状态时间序列长度,确定公式为:
n=t×fps
其中,t表示设定的车辆的平均停车时长,fps表示摄像机拍摄视频的帧率。
一种基于高位视频监控的车位占用检测,其特征在于,包括以下模块:
车位采样模块:用于对车位区域进行图片采样,标定出每个车位的4个角点;建立大地坐标系、相机坐标系和图像坐标系,并确定坐标系之间的映射关系;
车辆目标检测模块:用于训练车辆目标检测模型,并利用检测模型检测实时视频流,并输出车位检测结果;
车位占用状态输出模块:利用车位检测结果和坐标系之间的映射关系判断并输出车位占用状态。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现以下步骤:
步骤1:通过摄像机标定获取其内参和畸变参数,并修正镜头畸变;
步骤2:对车位区域进行图片采样,标定每个车位的4个角点;建立大地坐标系、相机坐标系和图像坐标系,并确定坐标系之间的映射关系;
步骤3:训练车辆目标检测模型,并对训练得到的模型进行测试,使其能够准确识别、定位车辆目标;
步骤4:将实时视频流输入车辆目标检测模型,输出车位检测结果;
步骤5:将大地坐标系中车位角点坐标转换到图像坐标系中,利用车位角点和车辆重心点坐标,判断停车位是否被占用。
下面结合实施例对本发明作进一步描述。
实施例
本实施例的摄像机设置在智慧灯杆上,所述智慧灯杆安装于服务区室外停车场,每个灯杆依据不同的覆盖范围要求搭载了2-4个摄像机,摄像机的分辨率为1920*1080,为了满足服务区集约化的设计原则,照明范围等条件,摄像机的监控角度几乎都处于斜向照射的视角,航向角范围几乎小于45°。摄像机安装完毕后,不再变动位置,每台摄像机负责某一固定停车区域。
将摄像机固定在智慧灯杆上,高度h约为12米,调整姿态确定其车位监控区域。此外,为了确保车位监测的查全率和精确率,在斜向照射的视野下,每台摄像机负责的车位不宜过多,本实施例中每台摄像机所监测的停车区域范围约为2排10列共20个车位,其中每个车位的长约为5.3米,宽约为2.5米。
如图1所示,一种基于高位视频监控的车位占用检测方法,包括以下步骤:
步骤1:通过摄像机标定获取其内参和畸变参数,并修正镜头畸变;
本实施例首先采用张正友标定法求取相机的内参矩阵和畸变参数,相机内参为:
Figure BDA0003064165680000061
畸变参数为:[k1 k2 p1 p2 k3];
其中fx和fy分别代表横向焦距和纵向焦距、r代表倾斜参数,一般为0,u0、v0表示主点坐标偏移量,k1、k2、k3表示径向畸变参数,p1、p1表示切向畸变参数;
每台相机利用9×6的网格标定板,采样不同角度图片约25张,之后对原始采样视频进行校正,获得无畸变的画面;
步骤2:对车位区域进行图片采样,摄像机进行图片采样时姿态是固定的,标定每个车位的4个角点;建立大地坐标系、相机坐标系和图像坐标系,并确定坐标系之间的映射关系;
所述图片采样具体为:
选择区域无车或少车时对车位区域进行拍摄采样,所采样图片需能完整的显示区域内各车位线的形态,包括每个车位区域的四个顶点;并对每个车位区域的四个顶点进行标注,标注时应逐个车位标注,以某一固定顶点作为车位的第一个标记点,按某一固定方向标注角点,记录坐标信息、对应的摄像机id、监测的车位数量信息,并录入数据库保存。
步骤2-1:设置摄像机坐标系原点为Oc,其坐标轴分别为Xc、Yc、Zc;大地坐标系原点为Ow,位于智慧灯杆底部,其坐标轴分别为Xw、Yw、Zw
设车位区域的四个点A、B、C、D在相机成像面图像上的对应点为a、b、c、d,其中Oo为成像面图像主点,灭点v1为线段da和线段cb的交点,灭点v2是线段cd和线段ba的交点,灭点坐标分别为:v1(vx1,vy1)、v2(vx2,vy2),β为俯仰角,γ为光轴投影直线与车位线的夹角,且0°≤γ<90°,摄像机布置高度h,如图2所示;
灭点对应的世界坐标为(-tanγ,1,0)、(1,tanγ,0),将其带入
Figure BDA0003064165680000071
可得:
Figure BDA0003064165680000072
Figure BDA0003064165680000073
Figure BDA0003064165680000074
其中,k为比例系数
则大地坐标与图像坐标(xpi,ypi)间的转换关系为:
Figure BDA0003064165680000075
Figure BDA0003064165680000076
β=tan-1(-vy1/f)
γ=tan-1(-vx1cosβ/f)。
步骤3:训练车辆目标检测模型,并对训练得到的模型进行测试,使其能够准确识别、定位车辆目标,本实例采用基于YOLO的目标检测模型,具体为:
收集模型训练采用的数据集,包括公共车辆数据集,和自采集的服务区停车场景图片,其中包括不同光照、不同天气、不同车型等条件下的车辆图片,本实施例中训练主要使用了DETRAC数据集和自采集的服务区停车场景图片,其中包含了不同光照、不同天气、不同车型等条件下的车辆图片;
对图片进行了标注与标签格式解析,其格式为[id x y w h],其中id代表物体的类别,x、y分别代表物体标注框左上顶点归一化后的坐标值,w、h分别代表物体标注框宽和高归一化后的坐标值;
针对所用训练集特点,采用K-means方法自适应计算预选框的尺寸,即最符合车辆长宽比特征的尺寸大小;具体的,9种预选框尺寸分别为(12,16)、(19,36)、(40,28)、(36,75)、(76,55)、(72,146)、(142,110)、(192,243)、(459,401)
算法采用的主干网络是Darknet53,并在其预训练网络的基础上进行训练,以便于更快的掌握物体的特征,最终利用输出的卷积特征,即对纹理、颜色特征、高级模式特征权重的综合考量后,实现车辆目标的定位和识别;
采用预训练分类模型作为初始训练模型,以便于更快的拟合参数,学习物体的特征;设置验证集,当验证集准确率上升到设定的阈值时,停止训练,此时得到训练车辆目标检测模型。
对训练得到的模型进行测试和调整,使其能够准确识别、定位车辆目标,具体为:
将模型文件、超参数配置文件、相应的车位信息记录,存储于后台服务器;对各摄像头的实际部署位置进行各类参数微调,如置信度阈值调整,摄像机负责监控区域微调;
本事实例中,为车位检测算法提供专用的算法服务器,模型参数文件、模型文件、先验车位标定信息等数据都存储于算法服务器中,算法服务器具备GPU加速计算功能,能够保证多路视频流并行处理,实时呈现检测结果;
针对各摄像头的实际布设场景进行参数微调:置信度阈值设置为0.5,保证管控范围内所有停车车辆均可被捕获,即高查全率,避免丢失目标
步骤4:将实时视频流输入车辆目标检测模型,本实施例通过Opencv的接口函数VideoCapture(),基于RTSP协议实读取视频帧,所用RTSP读取视频的格式一般为:rtsp://[user]:[password]@[ip]//Streaming/Channels/1,调整读取到的视频帧尺寸,输入特征提取网络,如此逐帧进行推理,输出车位检测结果,包括停车区域内车辆的角点坐标和中心点坐标(xcar,ycar)。
步骤5:将大地坐标系中车位角点坐标转换到图像坐标系中,利用车位角点和车辆重心点坐标,判断停车位是否被占用,具体为:
步骤5-1:依据物体三维包围框和二维包围框的约束关系,大地坐标系中车辆目标的重心点即为其在图像坐标中的中心点;读取已知的车位角点信息{(Xwi,Ywi,Zwi),i=1,2,3,4},此时默认车位点在大地平面上,即高度为0,角点的高度加上相应车型重心点的平均高度,得到车位4个角点与对应车型车辆重心在同一平面高度下的新大地坐标{(X′wi,Y′wi,Z′wi),i=1,2,3,4};
步骤5-2:将车位4个角点和中心点与对应车型车辆重心在同一平面高度下的新大地坐标{(X′wi,Y′wi,Z′wi),i=1,2,3,4}利用步骤2获得的坐标转换矩阵转换到图像坐标系,如图3所示;
步骤5-3:利用车位4个角点的图像坐标系的坐标gi(xpi,ypi)与标准车位的4个角点坐标(xstdi,ystdi)的对应关系,求得其单应性矩阵H,满足
Figure BDA0003064165680000091
步骤5-4:据物体三维包围框和二维包围框的约束关系,大地坐标系中车辆目标的重心点即为其在图像坐标中的中心点,即步骤4中输出的车辆中心点;利用单应性矩阵H,将车辆重心点坐标(xcar,ycar)映射到标准车位坐标系下,得到标准重心点(xcar_std,ycar_std),如图4所示;
步骤5-5:计算车辆的标准重心点(xcar_std,ycar_std)与车位中心点的的欧氏距离d:
Figure BDA0003064165680000092
其中,x和y表示标准车位的尺寸,本实施例中每个车位的长约为5.3米,宽约为2.5米;
若d的值小于设定的阈值dthr,则说明该车位被占用,反之则说明该车位未被占用。
进一步的,由于车辆检测是在斜向照射的情况下实时进行的,实时监测过程中,视频帧会存在丢失个别目标的现象,因此,当检测到车位状态发生变化时,不会立刻改变车位占用状态,而是记录当前和之后的n个连续帧,形成车位状态时间序列,车位占用状态由n帧中占比较多的状态类型决定,从而对车位状态转变实现“去抖”。
其中,n代表需要记录的车位状态时间序列长度,为使所记录序列能够完整并准确的描述车位的停车状态,序列的长度应充分涵盖车辆的停车全过程,本实施例取车辆的平均停车时长为7s,实际监控视频帧率fps为25,因此n=7*25=175帧。
本实施例的效果图如图5-图7所示,效果图展示了真实服务区场景下不同时刻的监控画面,该场景下航向角约为20°,后排车辆遮挡较为严重,监控画面右下角展示了7个完整车位占用情况的统计信息:Total Pklot表示总车位数,Occupied表示已占用车位的数量,被监控的车位已在图中相应位置被划线标记。由图可知,本实施例中处于后排,遮挡较为严重的车辆,也可以准确记录其停车状态,说明了本发明的有效性。

Claims (10)

1.一种基于高位视频监控的车位占用检测方法,其特征在于,包括以下步骤:
步骤1:通过摄像机标定获取其内参和畸变参数,并修正镜头畸变;
步骤2:对车位区域进行图片采样,标定每个车位的4个角点;建立大地坐标系、相机坐标系和图像坐标系,并确定坐标系之间的映射关系;
步骤3:训练车辆目标检测模型,并对训练得到的模型进行测试,使其能够准确识别、定位车辆目标;
步骤4:将实时视频流输入车辆目标检测模型,输出车位检测结果;
步骤5:将大地坐标系中车位角点坐标转换到图像坐标系中,利用车位角点和车辆重心点坐标,判断停车位是否被占用。
2.根据权利要求1所述的基于高位视频监控的车位占用检测方法,其特征在于,所述步骤2中的对车位区域进行图片采样具体为:
选择区域无车或少车时对车位区域进行拍摄采样,所采样图片需能完整的显示区域内各车位线的形态,包括每个车位区域的四个顶点;并对每个车位区域的四个顶点进行标注,标注时应逐个车位标注,以某一固定顶点作为车位的第一个标记点,按某一固定方向标注角点,记录坐标信息、对应的摄像头id、监测的车位数量信息,并录入数据库保存。
3.根据权利要求1所述的基于高位视频监控的车位占用检测方法,其特征在于,所述步骤2中的建立坐标系并确定各坐标系间的映射关系具体为:
步骤2-1:设置摄像机坐标系原点为Oc,其坐标轴分别为Xc、Yc、Zc;大地坐标系原点为Ow,位于智慧灯杆底部,其坐标轴分别为Xw、Yw、Zw
设车位区域的四个点A、B、C、D在相机成像面图像上的对应点为a、b、c、d,其中Oo为成像面图像主点,灭点v1为线段da和线段cb的交点,灭点v2是线段cd和线段ba的交点,灭点坐标分别为:v1(vx1,vy1)、v2(vx2,vy2),β为俯仰角,γ为光轴投影直线与车位线的夹角,且0°≤γ<90°,摄像机布置高度h;
则大地坐标与图像坐标(xpi,ypi)间的转换关系为:
Figure FDA0003064165670000011
其中,k为比例系数;
Figure FDA0003064165670000021
β=tan-1(-vy1/f)
γ=tan-1(-vx1cosβ/f)。
4.根据权利要求1所述的基于高位视频监控的车位占用检测方法,其特征在于,所述步骤3中的训练车辆目标检测模型,具体为:
收集模型训练采用的数据集,包括公共车辆数据集,和自采集的服务区停车场景图片,其中包括不同光照、不同天气、不同车型等条件下的车辆图片;
采用预训练分类模型作为初始训练模型,设置验证集,当验证集准确率上升到设定的阈值时,停止训练,此时得到训练车辆目标检测模型。
5.根据权利要求1所述的基于高位视频监控的车位占用检测方法,其特征在于,所述步骤4中输出的车位检测结果包括停车区域内车辆的角点坐标和中心点坐标。
6.根据权利要求1所述的基于高位视频监控的车位占用检测方法,其特征在于,所述步骤5中的利用车位角点和车辆重心点坐标,判断停车位是否被占用,具体包括以下步骤:
步骤5-1:依据物体三维包围框和二维包围框的约束关系,大地坐标系中车辆目标的重心点即为其在图像坐标中的中心点;读取已知的车位角点信息{(Xwi,Ywi,Zwi),i=1,2,3,4},此时默认车位点在大地平面上,即高度为0,角点的高度加上相应车型重心点的平均高度,得到车位4个角点与对应车型车辆重心在同一平面高度下的新大地坐标{(X′wi,Y′wi,Z′wi),i=1,2,3,4};
步骤5-2:将车位4个角点和中心点与对应车型车辆重心在同一平面高度下的新大地坐标{(X′wi,Y′wi,Z′wi),i=1,2,3,4}利用步骤2获得的坐标转换矩阵转换到图像坐标系;
步骤5-3:利用车位4个角点的图像坐标系的坐标gi(xpi,ypi)与标准车位的4个角点坐标(xstdi,ystdi)的对应关系,求得其单应性矩阵H,满足
Figure FDA0003064165670000022
步骤5-4:据物体三维包围框和二维包围框的约束关系,大地坐标系中车辆目标的重心点即为其在图像坐标中的中心点,即步骤4中输出的车辆中心点;利用单应性矩阵H,将车辆重心点坐标(xcar,ycar)映射到标准车位坐标系下,得到标准重心点(xcar_std,ycar_std);
步骤5-5:计算车辆的标准重心点(xcar_std,ycar_std)与车位中心点的欧氏距离d:
Figure FDA0003064165670000031
其中,x和y表示标准车位的尺寸;
若d的值小于设定的阈值dthr,则说明该车位被占用,反之则说明该车位未被占用。
7.根据权利要求6所述的基于高位视频监控的车位占用检测方法,其特征在于,当检测到车位状态发生变化时,不会立刻改变车位占用状态,而是记录当前和之后的多个连续帧,形成车位状态时间序列,车位占用状态由多帧中占比较多的状态类型决定,从而对车位状态转变实现“去抖”。
8.根据权利要求7所述的基于高位视频监控的车位占用检测方法,其特征在于,所述多个连续帧的帧数n代表需要记录的车位状态时间序列长度,确定公式为:
n=t×fps
其中,t表示设定的车辆的平均停车时长,fps表示摄像机拍摄视频的帧率。
9.一种基于高位视频监控的车位占用检测,其特征在于,包括以下模块:
车位采样模块:用于对车位区域进行图片采样,标定出每个车位的4个角点;建立大地坐标系、相机坐标系和图像坐标系,并确定坐标系之间的映射关系;
车辆目标检测模块:用于训练车辆目标检测模型,并利用检测模型检测实时视频流,并输出车位检测结果;
车位占用状态输出模块:利用车位检测结果和坐标系之间的映射关系判断并输出车位占用状态。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述方法的步骤。
CN202110521562.0A 2021-05-13 2021-05-13 一种基于高位视频监控的车位占用检测方法 Active CN113255486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110521562.0A CN113255486B (zh) 2021-05-13 2021-05-13 一种基于高位视频监控的车位占用检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110521562.0A CN113255486B (zh) 2021-05-13 2021-05-13 一种基于高位视频监控的车位占用检测方法

Publications (2)

Publication Number Publication Date
CN113255486A true CN113255486A (zh) 2021-08-13
CN113255486B CN113255486B (zh) 2024-02-13

Family

ID=77181533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110521562.0A Active CN113255486B (zh) 2021-05-13 2021-05-13 一种基于高位视频监控的车位占用检测方法

Country Status (1)

Country Link
CN (1) CN113255486B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887420A (zh) * 2021-09-30 2022-01-04 浙江浩腾电子科技股份有限公司 一种基于ai的城市公共车位智能化检测识别系统
CN115050005A (zh) * 2022-06-17 2022-09-13 北京精英路通科技有限公司 目标检测方法及用于高位视频智慧停车场景的检测装置
CN115272932A (zh) * 2022-07-29 2022-11-01 浙江通见科技有限公司 一种基于机器视觉的城市非机动车杂乱停放识别方法
CN116310390A (zh) * 2023-05-17 2023-06-23 上海仙工智能科技有限公司 一种空心目标的视觉检测方法及系统、库位管理系统
CN116977435A (zh) * 2023-09-15 2023-10-31 广州志正电气有限公司 靠岸船舶自动识别的岸电系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509368A (zh) * 2018-12-21 2019-03-22 深圳信路通智能技术有限公司 一种基于车顶模型的停车行为算法
CN110097776A (zh) * 2018-01-30 2019-08-06 杭州海康威视数字技术股份有限公司 一种车位检测方法、监控摄像机及监控终端
CN110491168A (zh) * 2019-08-09 2019-11-22 智慧互通科技有限公司 一种基于车轮着地点检测车辆停车状态的方法及装置
US20200090516A1 (en) * 2018-09-13 2020-03-19 Volvo Car Corporation Vehicle parking availability map systems and methods
CN112417926A (zh) * 2019-08-22 2021-02-26 广州汽车集团股份有限公司 车位识别方法、装置、计算机设备及可读存储介质
CN112447058A (zh) * 2019-09-03 2021-03-05 比亚迪股份有限公司 泊车方法、装置、计算机设备及存储介质
CN112669615A (zh) * 2020-12-09 2021-04-16 上汽大众汽车有限公司 一种基于摄像头的停车位检测方法和系统
CN112734124A (zh) * 2021-01-15 2021-04-30 华设设计集团股份有限公司 基于供需平衡和可达性最优的公共停车场布点规划方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097776A (zh) * 2018-01-30 2019-08-06 杭州海康威视数字技术股份有限公司 一种车位检测方法、监控摄像机及监控终端
US20200090516A1 (en) * 2018-09-13 2020-03-19 Volvo Car Corporation Vehicle parking availability map systems and methods
CN109509368A (zh) * 2018-12-21 2019-03-22 深圳信路通智能技术有限公司 一种基于车顶模型的停车行为算法
CN110491168A (zh) * 2019-08-09 2019-11-22 智慧互通科技有限公司 一种基于车轮着地点检测车辆停车状态的方法及装置
CN112417926A (zh) * 2019-08-22 2021-02-26 广州汽车集团股份有限公司 车位识别方法、装置、计算机设备及可读存储介质
CN112447058A (zh) * 2019-09-03 2021-03-05 比亚迪股份有限公司 泊车方法、装置、计算机设备及存储介质
CN112669615A (zh) * 2020-12-09 2021-04-16 上汽大众汽车有限公司 一种基于摄像头的停车位检测方法和系统
CN112734124A (zh) * 2021-01-15 2021-04-30 华设设计集团股份有限公司 基于供需平衡和可达性最优的公共停车场布点规划方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAOXUAN LI等: "An integration system of AI cars detection with enclosed photogrammetry for indoor parking lot", 《CONF-CDS 2021》 *
唐心瑶 等: "单目交通场景下基于自标定的车辆三维信息识别算法", 《计算机辅助设计与图形学学报》, vol. 32, no. 8, pages 1305 - 1314 *
杨科 等: "基于卷积神经网络的环视车位检测研究", 《时代汽车》, no. 4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887420A (zh) * 2021-09-30 2022-01-04 浙江浩腾电子科技股份有限公司 一种基于ai的城市公共车位智能化检测识别系统
CN115050005A (zh) * 2022-06-17 2022-09-13 北京精英路通科技有限公司 目标检测方法及用于高位视频智慧停车场景的检测装置
CN115050005B (zh) * 2022-06-17 2024-04-05 北京精英路通科技有限公司 目标检测方法及用于高位视频智慧停车场景的检测装置
CN115272932A (zh) * 2022-07-29 2022-11-01 浙江通见科技有限公司 一种基于机器视觉的城市非机动车杂乱停放识别方法
CN115272932B (zh) * 2022-07-29 2023-04-28 浙江通见科技有限公司 一种基于机器视觉的城市非机动车杂乱停放识别方法
CN116310390A (zh) * 2023-05-17 2023-06-23 上海仙工智能科技有限公司 一种空心目标的视觉检测方法及系统、库位管理系统
CN116310390B (zh) * 2023-05-17 2023-08-18 上海仙工智能科技有限公司 一种空心目标的视觉检测方法及系统、库位管理系统
CN116977435A (zh) * 2023-09-15 2023-10-31 广州志正电气有限公司 靠岸船舶自动识别的岸电系统

Also Published As

Publication number Publication date
CN113255486B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN113255486B (zh) 一种基于高位视频监控的车位占用检测方法
CN108419014B (zh) 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法
CN104813339B (zh) 用于检测视频中的对象的方法、设备和系统
EP2798611B1 (en) Camera calibration using feature identification
Peng et al. Drone-based vacant parking space detection
CN112348775B (zh) 基于车载环视的路面坑塘检测系统及方法
CN113421289A (zh) 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
CN103353941B (zh) 基于视角分类的自然标志物注册方法
CN112257549B (zh) 一种基于计算机视觉的楼面危险检测预警方法及系统
CN115375779B (zh) 相机ar实景标注的方法及系统
CN113850872A (zh) 一种基于高位视频的服务区停车压线检测方法
CN110736472A (zh) 一种基于车载环视图像与毫米波雷达融合的室内高精地图表征方法
CN114782548B (zh) 基于全局图像的雷视数据标定方法、装置、设备及介质
CN112766046B (zh) 一种目标检测方法及相关装置
CN112488022B (zh) 一种环视全景监控方法、装置及系统
CN113724527A (zh) 一种停车位管理方法
WO2022062153A1 (zh) 一种高尔夫球落地式检测方法、系统及存储介质
CN115984768A (zh) 一种基于固定型单目摄像头的多目标行人实时检测定位方法
CN114972170A (zh) 一种基于鱼眼相机的密集场景下抗遮挡的物体检测方法
CN110909648B (zh) 使用神经网络在边缘计算设备上实现的人流量监控方法
CN115567678A (zh) 一种高空抛物监测方法及其系统
JP7214006B2 (ja) ゴルフボールオンフロア式検出方法、システム及び記憶媒体
CN116934969A (zh) 一种铅球运动场景下的三维视频重建和距离测量方法
CN106780312B (zh) 基于sift匹配的图像空间与地理场景自动映射方法
CN113762135A (zh) 一种基于视频的交通拥堵检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant