CN113850872A - 一种基于高位视频的服务区停车压线检测方法 - Google Patents

一种基于高位视频的服务区停车压线检测方法 Download PDF

Info

Publication number
CN113850872A
CN113850872A CN202111095844.5A CN202111095844A CN113850872A CN 113850872 A CN113850872 A CN 113850872A CN 202111095844 A CN202111095844 A CN 202111095844A CN 113850872 A CN113850872 A CN 113850872A
Authority
CN
China
Prior art keywords
vehicle
parking
target
area
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111095844.5A
Other languages
English (en)
Inventor
李世玺
陈鹏
李文军
杨军志
杨利红
葛长俊
戴骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Design Group Co Ltd
Original Assignee
China Design Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Design Group Co Ltd filed Critical China Design Group Co Ltd
Priority to CN202111095844.5A priority Critical patent/CN113850872A/zh
Publication of CN113850872A publication Critical patent/CN113850872A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于高位监控视频的服务区停车压线检测方法，针对服务区可能存在的停车压线现象，辅助工作人员对车位进行监管，提高工作效率。首先利用目标检测算法，在视频帧中搜索并框定停车车辆目标，然后统计车辆目标的边缘轮廓特征判断车辆朝向；接着根据对摄像机标定得到的坐标转换关系和车辆朝向，对车辆的大地坐标进行推导拟合，从而得到车辆的尺寸信息。最后依据车辆的尺寸信息，对车辆进行定位，结合先验标定的车位信息，计算车辆与车位的吻合程度，给出车辆压线停车的可能性。本方法利用普通监控相机实现，对于新建或改造项目都较为友好，各模块的准确性与实时性都较高，具备较强的工程实用性。

Description

一种基于高位视频的服务区停车压线检测方法
技术领域
本发明涉及服务区停车压线检测技术，具体涉及一种基于高位视频的服务区停车压线检测方法。
背景技术
高速服务区是城市中重要的设施之一，随着用车人数增加，高速服务区及其设置的车位数量逐渐增加，管理方的工作量以及监管难度也随之增加，如压线停车等不规范的停车现象及其解决方案倍受管理方的关注。
人们的停车思维往往是先易后难，车位空闲较多时，停车较为随意，停车难度也较低，但随着停车位的逐渐占用，后来车辆可选择的停车位越来越少，可供他们停车的缓冲地带也与来越少。后来车辆为了与前车保持一定的距离，避免擦碰，就会选择距离前车更大的安全距离驶入车位，依次类推，一旦前车出现压线停车的行为，尤其是左右越线，后车发生压线停车的可能性就大大增加，如此恶性循环，一方面，会导致更多的车压线停靠，增加停车难度，擦碰事件发生的可能性大大增加。另一方面，前车占用后车的停车空间，也会在一定程度上造成车位的浪费。停车压线检测功能在发现压线停车情况，就立刻告知相关监管人员进行现场调度，有助于提高服务区的停车管理水平，保障安全，规避风险。
就露天停车场而言，停车压线检测通常借助两类硬件实现：(1)在车位上安装测距传感器，依据感应距离判断车辆是否压线，然而服务区小到几十个车位，大到上百个车位，大量使用传感器对于施工、后期维护都十分不便；(2)依靠监控相机进行管理是目前广泛使用的手段，它采用目标检测技术实时搜寻目标，分析车与车位的匹配关系，再判断车辆的压线情况。
基于视频的方法又可以细分为两大类：激光相机类和普通监控相机类，前者更易获得目标的场景深度，对于定位，描述物体形状较为有利，缺点是价格昂贵。而普通监控相机，则需要对视频做更多的特征提取工作，从而获得车辆的姿态、世界距离等用于判断停车压线的信息，但其成本远远低于前者，且较多既有项目和新建项目更倾向于使用该种监控相机，因此研究基于普通监控相机的压线检测方法据具有一定的工程意义。
发明内容
本发明的目的在于提供一种基于高位视频的服务区停车压线检测方法。
实现本发明目的的技术方案为：一种基于高位视频的服务区停车压线检测方法，包括以下步骤：
步骤1、对监控摄像机进行标定，获取图像坐标与大地坐标间的转换关系；
步骤2、检测车辆目标，读取监控视频流，实时检测停车目标，输出车型类别，同时给出停车目标的图像坐标信息，以及停车目标的包围框尺寸；
步骤3、判断车辆朝向，依据车辆包围框选取目标车辆区域，对该区域进行高斯滤波、边缘检测、直线检测，提取车辆的轮廓特征，判断车辆的朝向；
步骤4、拟合车辆尺寸，基于图像坐标与大地坐标间的转换关系，由步骤2获取的2D检测框推导车辆3D检测框，对车辆参数进行估算及优化；
步骤5、检测车辆压线情况，确定车辆尺寸后，重新确定车辆的大地坐标，确定车辆底部轮廓矩形和车位轮廓的重叠面积，依据压线概率函数，确定车辆处于停车压线状态的概率。
与现有技术相比，本发明的有益效果在于：
(1)本发明的技术方案仅使用普通监控摄像机实现压线检测功能，落地成本相对较低；
(2)本发明的技术方案提供辅助判断车辆是否压线的功能，降低停车管理人员的工作难度，提高停车管理水平；
(3)本发明的技术方可以及时规范驾乘人员的停车方式，保障停车安全和停车效率；
下面结合附图与具体实施方式对本发明作进一步描述。
附图说明
图1为本发明的基于高位视频的服务区停车压线检测方法步骤流程图。
图2为本发明的车辆朝向判断的步骤流程图。
图3为本发明的车辆尺寸拟合的步骤流程图。
图4为本发明的摄像机标定示意图。
图5为本发明的车辆朝向与大地坐标推导示意图。
图6为本发明的压线概率函数示意图。
图7至图8为本发明的实施例中的压线检测效果图。
具体实施方式
一种基于高位视频的服务区停车压线检测方法，包括以下步骤：
步骤1、对监控摄像机进行标定，获取图像坐标与大地坐标间的转换关系，具体为：
选择监控区域无车或少车时对车位区域进行拍摄采样，所采样图片需能完整的显示区域内各车位线的形态，包括每个车位区域的四个顶点，所述摄像机设置在灯杆上，且摄像机进行图片采样时姿态是固定的；
设置摄像机坐标系原点为Oc，其坐标轴分别为Xc、Yc、Zc；大地坐标系原点为Ow，位于高杆底部，其坐标轴分别为Xw、Yw、Zw；
设车位区域的四个点A、B、C、D在相机成像面图像上的对应点为a、b、c、d，其中Oo为成像面图像主点，灭点v1为线段da和线段cb的交点，灭点v2是线段cd和线段ba的交点，灭点坐标分别为：v1(vx1,vy1)、v2(vx2,vy2)，β为俯仰角，γ为光轴投影直线与车位线的夹角，且0°≤γ＜90°，摄像机布置高度h；
灭点对应的世界坐标为(-tanγ，1，0)、(1，tanγ，0)，将其带入下式：
Figure BDA0003269114060000031
可得：
Figure BDA0003269114060000032
Figure BDA0003269114060000033
Figure BDA0003269114060000034
其中，k为比例系数；
则大地坐标与图像坐标(xpi，ypi)间的坐标转换公式关系为：
Figure BDA0003269114060000041
Figure BDA0003269114060000042
β＝tan-1(-vy1/f)
γ＝tan-1(-vx1cosβ/f)。
步骤2、检测车辆目标，读取监控视频流，实时检测停车目标，输出车型类别，同时给出停车目标的图像坐标信息，以及停车目标的包围框尺寸，具体为：
步骤2-1、将车辆目标检测模型进行分类，包括小汽车、SUV、大小客车、危化品车、超长车；
选用单阶段目标检测方法，保证毫秒级的帧处理速率；模型训练采用的训练集平衡各类车型的目标数量，保证模型对各类车型都有较高的识别率
步骤2-2、输入监控摄像机采集的视频，利用车辆目标检测模型输出视频帧中停车目标的车型类别、车辆中心坐标P(xp,yp)、目标区域的宽wp、高hp。
步骤3、判断车辆朝向，依据车辆包围框选取目标车辆区域，对该区域进行高斯滤波、边缘检测、直线检测，提取车辆的轮廓特征，以图像坐标系为基准，依据车辆朝向的斜率是否大于0划分为两种车辆朝向，具体包括以下步骤：
步骤3-1、对原始监控画面进行降噪处理，避免后处理过程将噪声点误判为伪边缘。降噪过程中，卷积核的尺寸不宜设置过大，以免过滤掉有用的特征；
步骤3-2、对目标区域进行canny边缘检测，提取车辆目标的边缘特征；
步骤3-3、对边缘检测的结果进行筛选，提取直线边缘作为车辆的方向向量，依据车辆区域大小设置阈值，分别用于约束直线边缘的长度、搜索步长，去除细小，孤立的边缘段，最终得到车辆的方向向量集合；
步骤3-4、对车辆的方向向量做直方图统计，其分布规律也呈现出较为显著的正态分布，由于车身侧轮廓的长度相较车头车位侧的轮廓更长，更能代表车辆的朝向，因此将其正态分布均值认为是车身侧所代表的方向，从而确定车辆的朝向。
步骤4、拟合车辆尺寸，基于图像坐标与大地坐标间的转换关系，由步骤2获取的2D检测框推导车辆3D检测框，对车辆参数进行估算及优化，具体为：
步骤4-1、利用步骤1获取的转换矩阵，将2D检测框的坐标P(xp,yp)，将其转换到大地坐标系下W(xw,yw,zw)，依据车辆朝向选择相应的坐标推导方式得到其8个空间坐标点，具体坐标推导公式见表1，其中l、w、h分别代表车辆的长、宽、高；
表1
Figure BDA0003269114060000051
步骤4-2：采用LM算法，根据车型设置尺寸初始值，通过对大量观测值的误差计算和回归拟合，修正车辆目标的长、宽、高，需要选择合适的用于拟合的观测值数量，平衡估计的准确性和参数估计的时间；
拟合过程所使用的误差目标函数如下：
Figure BDA0003269114060000052
其中
Figure BDA0003269114060000053
是二维检测框的对角线距离，‖w0,w6‖是大地坐标系下，车辆的3D对角线距离；
求误差目标函数的极小值，逐渐修正车辆目标的长、宽、高，减小二维检测框和三维检测框的形态差异，直到误差和参数收敛。
步骤5、检测车辆压线情况，确定车辆尺寸后，重新确定车辆的大地坐标，确定车辆底部轮廓矩形和车位轮廓的重叠面积，依据压线概率函数，确定车辆处于停车压线状态的概率，具体为：
步骤5-1：根据步骤3获取的车辆底部四个顶点坐标确定其和车位四个顶点的相交面积s；
步骤5-2：依据车辆与车位相交面积s判断车辆是否压线，相交面积s与压线概率p的变化关系为：
Figure BDA0003269114060000061
其中，s∈[0,S]，S表示对应车型占用面积的上限值，n用于控制函数的内摆幅度，即允许较小误差的范围。
由于神经网络预测的随机性和不可解释性，目标检测2D检测框存在不可避免的回归误差，又由于相机标定缺少较多的环境参照，最终导致3D检测框的误差，该函数能够允许各前处理流程产生一定误差，对车辆压线可能性做出更合理的判断，避免错判。
因此依据车辆与车位相交面积s判断压线时，在s较小的一定范围内，其压线的可能性随着s的增大而缓慢增加，但随着s的增加，超出某一范围后，其压线的可能性会快速增加。
一种基于高位视频的服务区停车压线检测系统，包括以下模块：
车辆目标检测模块：用于实时检测停车目标，输出车型类别，同时给出停车目标的图像坐标信息，以及停车目标的包围框尺寸；
车辆朝向判断模块：用于提取车辆的轮廓特征，判断车辆的朝向；
车辆尺寸拟合模块：用于对车辆参数进行估算及优化；
压线判断模块：用于检测车辆压线情况。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
步骤1、对监控摄像机进行标定，获取图像坐标与大地坐标间的转换关系；
步骤2、检测车辆目标，读取监控视频流，实时检测停车目标，输出车型类别，同时给出停车目标的图像坐标信息，以及停车目标的包围框尺寸；
步骤3、判断车辆朝向，依据车辆包围框选取目标车辆区域，对该区域进行高斯滤波、边缘检测、直线检测，提取车辆的轮廓特征，判断车辆的朝向；
步骤4、拟合车辆尺寸，基于图像坐标与大地坐标间的转换关系，由步骤2获取的2D检测框推导车辆3D检测框，对车辆参数进行估算及优化；
步骤5、检测车辆压线情况，确定车辆尺寸后，重新确定车辆的大地坐标，确定车辆底部轮廓矩形和车位轮廓的重叠面积，依据压线概率函数，确定车辆处于停车压线状态的概率。
一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
步骤1、对监控摄像机进行标定，获取图像坐标与大地坐标间的转换关系；
步骤2、检测车辆目标，读取监控视频流，实时检测停车目标，输出车型类别，同时给出停车目标的图像坐标信息，以及停车目标的包围框尺寸；
步骤3、判断车辆朝向，依据车辆包围框选取目标车辆区域，对该区域进行高斯滤波、边缘检测、直线检测，提取车辆的轮廓特征，判断车辆的朝向；
步骤4、拟合车辆尺寸，基于图像坐标与大地坐标间的转换关系，由步骤2获取的2D检测框推导车辆3D检测框，对车辆参数进行估算及优化；
步骤5、检测车辆压线情况，确定车辆尺寸后，重新确定车辆的大地坐标，确定车辆底部轮廓矩形和车位轮廓的重叠面积，依据压线概率函数，确定车辆处于停车压线状态的概率。
下面结合附图和实施例对本发明做进一步的说明。
实施例
本实施例的摄像机设置于智慧灯杆上，所述智慧灯杆安装于服务区室外停车场，每个灯杆依据布设点位覆盖范围搭载了2-4台摄像机。为了满足服务区集约化以及照明范围等的设计原则，摄像机的监控角度有较多处于斜向照射的视角(航向角范围小于45°)。摄像机安装完毕后，不再变动位置，每台摄像机负责某一固定停车区域。
结合图1，一种基于高位视频的服务区停车压线检测方法，包括以下步骤：
步骤1、结合图4，对监控摄像机进行标定，获取图像坐标与大地坐标间的转换关系，具体为：
选择监控区域无车或少车时对车位区域进行拍摄采样，所采样图片需能完整的显示区域内各车位线的形态，包括每个车位区域的四个顶点，所述摄像机设置在灯杆上，且摄像机进行图片采样时姿态是固定的；
设置摄像机坐标系原点为Oc，其坐标轴分别为Xc、Yc、Zc；大地坐标系原点为Ow，位于高杆底部，其坐标轴分别为Xw、Yw、Zw；
设车位区域的四个点A、B、C、D在相机成像面图像上的对应点为a、b、c、d，其中Oo为成像面图像主点，灭点v1为线段da和线段cb的交点，灭点v2是线段cd和线段ba的交点，灭点坐标分别为：v1(vx1,vy1)、v2(vx2,vy2)，β为俯仰角，γ为光轴投影直线与车位线的夹角，且0°≤γ＜90°，摄像机布置高度h；
灭点对应的世界坐标为(-tanγ，1，0)、(1，tanγ，0)，将其带入下式：
Figure BDA0003269114060000081
可得：
Figure BDA0003269114060000082
Figure BDA0003269114060000083
Figure BDA0003269114060000084
其中，k为比例系数；
则大地坐标与图像坐标(xpi，ypi)间的坐标转换公式关系为：
Figure BDA0003269114060000085
Figure BDA0003269114060000086
β＝tan-1(-vy1/f)
γ＝tan-1(-vx1cosβ/f)。
步骤2、选择YOLOv5算法，检测车辆目标，读取监控视频流，实时检测停车目标，输出车型类别，同时给出停车目标的图像坐标信息，以及停车目标的包围框尺寸，具体为：
步骤2-1、将车辆目标检测模型进行分类，包括小汽车、SUV、大小客车、危化品车、超长车；
选用单阶段目标检测方法，保证毫秒级的帧处理速率；模型训练采用的训练集平衡各类车型的目标数量，保证模型对各类车型都有较高的识别率；
本实施例中数据集除了采用公共数据集UA-DETRAC之外，还采用了自整理的服务区场景下的监控画面图片；
本实施例环境所用显卡为RTX2070-8G，内存16G，视频分辨率为1280*720，此条件下，YOLOv5单帧检测速率约为33ms
步骤2-2、输入监控摄像机采集的视频，利用车辆目标检测模型输出视频帧中停车目标的车型类别、车辆中心坐标P(xp,yp)、目标区域的宽wp、高hp。
步骤3、结合图2，判断车辆朝向，依据车辆包围框选取目标车辆区域，对该区域进行高斯滤波、边缘检测、直线检测，提取车辆的轮廓特征，以图像坐标系为基准，依据车辆朝向的斜率是否大于0划分为两种车辆朝向，具体包括以下步骤：
步骤3-1、对原始监控画面进行降噪处理，避免后处理过程将噪声点误判为伪边缘。降噪过程中，卷积核的尺寸不宜设置过大，以免过滤掉有用的特征；
本实施例采用高斯模糊过滤噪声，经过反复实验，卷积核长宽设置为3较为合适，在滤波前后，测数集1000个目标的朝向判断准确率由91.6％上升至94.4％；
步骤3-2、对目标区域进行canny边缘检测，提取车辆目标的边缘特征，本实施例将canny边缘检测的上下阈值分别设置为30，100；
步骤3-3、对边缘检测的结果进行筛选，提取直线边缘作为车辆的方向向量，依据车辆区域大小设置阈值，分别用于约束直线边缘的长度、搜索步长，去除细小，孤立的边缘段，最终得到车辆的方向向量集合；
本实施例对直线的最小长度、搜索步长进行了参数优化，分别设置为4，7，从而去除细小，孤立的边缘段；
实验证明，依此法得到车辆的方向向量集合，可以将朝向判断准确率提升至97.2％；
步骤3-4、对车辆的方向向量做直方图统计，其分布规律也呈现出较为显著的正态分布，由于车身侧轮廓的长度相较车头车位侧的轮廓更长，更能代表车辆的朝向，因此将其正态分布均值认为是车身侧所代表的方向，从而确定车辆的朝向。
依此法进行车辆朝向判断，其准确率超过97％，单个目标平均处理时长约为3.1ms，朝向判断模块具有较高的准确率和实时性。
步骤4、拟合车辆尺寸，基于图像坐标与大地坐标间的转换关系，由步骤2获取的2D检测框推导车辆3D检测框，对车辆参数进行估算及优化，本实施例中，车位的长宽分别为3m、6m，摄像机高度h约为12米，调整姿态确定其车位监控区域，具体步骤如下：
步骤4-1、利用步骤1获取的转换矩阵，将2D检测框的坐标P(xp,yp)，将其转换到大地坐标系下W(xw,yw,zw)，依据车辆朝向选择相应的坐标推导方式得到其8个空间坐标点，如图5所示，具体坐标推导公式见表1，其中l、w、h分别代表车辆的长、宽、高；
表1
Figure BDA0003269114060000101
步骤4-2：采用LM算法，根据车型设置尺寸初始值，通过对大量观测值的误差计算和回归拟合，修正车辆目标的长、宽、高，需要选择合适的用于拟合的观测值数量，平衡估计的准确性和参数估计的时间；
如本实施例中，将小车尺寸初始值设置为5m、2.5m、2.5m，每观测同一目标50次，即50帧画面，若帧率为25，则每2秒对车辆目标的长、宽、高进行一次修正；
拟合过程所使用的误差目标函数如下：
Figure BDA0003269114060000102
其中
Figure BDA0003269114060000103
是二维检测框的对角线距离，‖w0,w6‖是大地坐标系下，车辆的3D对角线距离；
求误差目标函数的极小值，逐渐修正车辆目标的长、宽、高，减小二维检测框和三维检测框的形态差异，直到误差和参数收敛。
步骤5、检测车辆压线情况，确定车辆尺寸后，重新确定车辆的大地坐标，确定车辆底部轮廓矩形和车位轮廓的重叠面积，依据压线概率函数，确定车辆处于停车压线状态的概率，具体为：
步骤5-1：根据步骤3获取的车辆底部四个顶点坐标确定其和车位四个顶点的相交面积s，本实施例借助Sutherland-Hodgman算法求得其相交面积s
步骤5-2：依据车辆与车位相交面积s判断车辆是否压线，相交面积s与压线概率p的变化关系为：
Figure BDA0003269114060000111
其中，s∈[0,S]，S表示对应车型占用面积的上限值，n用于控制函数的内摆幅度，即允许较小误差的范围，示意图如图6所示；
由于神经网络预测的随机性和不可解释性，目标检测2D检测框存在不可避免的回归误差，又由于相机标定缺少较多的环境参照，最终导致3D检测框的误差，该函数能够允许各前处理流程产生一定误差，对车辆压线可能性做出更合理的判断，避免错判。
因此依据车辆与车位相交面积s判断压线时，在s较小的一定范围内，其压线的可能性随着s的增大而缓慢增加，但随着s的增加，超出某一范围后，其压线的可能性会快速增加。
本实施例设置n为2，W小车为2.5，L小车为5，S设置为12.5，压线概率函数的部分值参照如表2所示。
表2压线概率与重叠面积参照值
面积 0 1 2 3 4 5 6
概率 1 0.85 0.71 0.58 0.46 0.36 0.27
面积 7 8 9 10 11 12 12.5
概率 0.19 0.12 0.08 0.04 0.01 0.001 0
本实施例中，每帧中目标检测、朝向判断、尺寸拟合模块的运行速度分别为31.2ms、3.1ms、7.8ms，共消耗42.1ms，具有较好的实时性。
如图7，图8所示，是本实施例从服务区监控视频截取出的2帧画面，分别展示了在无车压线、有车压线时的算法检测效果。
该监控摄像机对左侧7个完整的停车位进行监测，图中有4辆车正处于稳定的停车状态。右下角红绿点阵列由上至下代表了车位的状态(红色表示占用，绿色表示空闲)，右下角英文则标识出目前空闲、占用、压线的车位数量。
当经过若干帧后，算法对当前场景进行了足够的观测采样，开始对车辆的3D尺寸进行拟合，从而转变为如图8所示的检测效果图，此图中下方3个车位出现了压线报警的辅助提示状态，此时，监管人员可对重点车位进行更严格的检查，确认其是否处于停车压线状态。
从图中不难发现，下方第一辆车的前部有略微压线的可能，第二辆车则由于停靠过于偏向上方，有很大的可能性压上方停车线，第三辆车也可能由于停靠过于偏上，而存在压线状况。
连续的两帧画面可以得出这样的结论：(1)在存在遮挡的情况下，压线判断较为困难，需要结合人们的实际经验与现场实际情况才能得到最后的判断，但压线检测功能给出了目标车辆存在这种状况的可能性，使监管人员减小了排查众多车辆的时间，起到了筛查的辅助作用；(2)图8所示视频帧位于图7所示视频帧之后，两车同处压线状态，且停靠俱偏上，反映了较为普遍的驾乘停车思维，以及压线状态的引发原因，即前车停靠不规范可能会带来后车的不规范，若能及时以压线检测功能辅助现场人员进行更加规范的停车，则有可能避免后来车辆的不规范停车，起到加强管理车位的作用，避免事故发生。

Claims (9)

1.一种基于高位视频的服务区停车压线检测方法，其特征在于，包括以下步骤：
步骤1、对监控摄像机进行标定，获取图像坐标与大地坐标间的转换关系；
步骤2、检测车辆目标，读取监控视频流，实时检测停车目标，输出车型类别，同时给出停车目标的图像坐标信息，以及停车目标的包围框尺寸；
步骤3、判断车辆朝向，依据车辆包围框选取目标车辆区域，对该区域进行高斯滤波、边缘检测、直线检测，提取车辆的轮廓特征，判断车辆的朝向；
步骤4、拟合车辆尺寸，基于图像坐标与大地坐标间的转换关系，由步骤2获取的2D检测框推导车辆3D检测框，对车辆参数进行估算及优化；
步骤5、检测车辆压线情况，确定车辆尺寸后，重新确定车辆的大地坐标，确定车辆底部轮廓矩形和车位轮廓的重叠面积，依据压线概率函数，确定车辆处于停车压线状态的概率。
2.根据权利要求1所述的基于高位视频的服务区停车压线检测方法，其特征在于，所述步骤1中的标定监控摄像机，具体为：
选择监控区域无车或少车时对车位区域进行拍摄采样，所采样图片需能完整的显示区域内各车位线的形态，包括每个车位区域的四个顶点，所述摄像机设置在灯杆上，且摄像机进行图片采样时姿态是固定的；
设置摄像机坐标系原点为Oc，其坐标轴分别为Xc、Yc、Zc；大地坐标系原点为Ow，位于高杆底部，其坐标轴分别为Xw、Yw、Zw；
设车位区域的四个点A、B、C、D在相机成像面图像上的对应点为a、b、c、d，其中Oo为成像面图像主点，灭点v1为线段da和线段cb的交点，灭点v2是线段cd和线段ba的交点，灭点坐标分别为：v1(vx1,vy1)、v2(vx2,vy2)，β为俯仰角，γ为光轴投影直线与车位线的夹角，且0°≤γ＜90°，摄像机布置高度h；
则大地坐标与图像坐标(xpi，ypi)间的坐标转换公式关系为：
Figure FDA0003269114050000011
Figure FDA0003269114050000012
β＝tan-1(-vy1/f)
γ＝tan-1(-vx1cosβ/f)。
3.根据权利要求1所述的基于高位视频的服务区停车压线检测方法，其特征在于，所述步骤2中的检测车辆目标，具体包括以下步骤：
步骤2-1、将车辆目标检测模型进行分类，包括小汽车、SUV、大小客车、危化品车、超长车，选用单阶段目标检测方法；
步骤2-2、输入监控摄像机采集的视频，利用车辆目标检测模型输出视频帧中停车目标的车型类别、车辆中心坐标P(xp,yp)、目标区域的宽wp、高hp。
4.根据权利要求1所述的基于高位视频的服务区停车压线检测方法，其特征在于，所述步骤3中的判断车辆朝向，以图像坐标系为基准，依据车辆朝向的斜率是否大于0划分为两种车辆朝向，具体包括以下步骤：
步骤3-1、对原始监控画面进行降噪处理；
步骤3-2、对目标区域进行canny边缘检测，提取车辆目标的边缘特征；
步骤3-3、对边缘检测的结果进行筛选，提取直线边缘作为车辆的方向向量，依据车辆区域大小设置阈值，分别用于约束直线边缘的长度、搜索步长，去除细小，孤立的边缘段，最终得到车辆的方向向量集合；
步骤3-4、对车辆的方向向量做直方图统计，将其正态分布均值认为是车身侧所代表的方向，从而确定车辆的朝向。
5.根据权利要求1所述的基于高位视频的服务区停车压线检测方法，其特征在于，所述步骤4的车辆尺寸拟合，具体包括以下步骤：
步骤4-1、利用步骤1获取的转换矩阵，将2D检测框的坐标P(xp,yp)，将其转换到大地坐标系下W(xw,yw,zw)，依据车辆朝向选择相应的坐标推导方式得到其8个空间坐标点，具体坐标推导公式见表1，其中l、w、h分别代表车辆的长、宽、高；
表1
Figure FDA0003269114050000021
Figure FDA0003269114050000031
步骤4-2：采用LM算法，根据车型设置尺寸初始值，通过对大量观测值的误差计算和回归拟合，修正车辆目标的长、宽、高，拟合过程所使用的误差目标函数如下：
Figure FDA0003269114050000032
其中
Figure FDA0003269114050000033
是二维检测框的对角线距离，‖w0,w6‖是大地坐标系下，车辆的3D对角线距离；
求误差目标函数的极小值，逐渐修正车辆目标的长、宽、高，减小二维检测框和三维检测框的形态差异，直到误差和参数收敛。
6.根据权利要求1所述的基于高位视频的服务区停车压线检测方法，其特征在于，所述步骤5中的检测车辆压线情况，具体包括以下步骤：
步骤5-1：根据步骤3获取的车辆底部四个顶点坐标确定其和车位四个顶点的相交面积s；
步骤5-2：依据车辆与车位相交面积s判断车辆是否压线，相交面积s与压线概率p的变化关系为：
Figure FDA0003269114050000034
其中，s∈[0,S]，S表示对应车型占用面积的上限值，n用于控制函数的内摆幅度，即允许较小误差的范围。
7.一种基于高位视频的服务区停车压线检测系统，其特征在于，包括以下模块：
车辆目标检测模块：用于实时检测停车目标，输出车型类别，同时给出停车目标的图像坐标信息，以及停车目标的包围框尺寸；
车辆朝向判断模块：用于提取车辆的轮廓特征，判断车辆的朝向；
车辆尺寸拟合模块：用于对车辆参数进行估算及优化；
压线判断模块：用于检测车辆压线情况。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6中任一项所述方法的步骤。
9.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法的步骤。
CN202111095844.5A 2021-09-18 2021-09-18 一种基于高位视频的服务区停车压线检测方法 Pending CN113850872A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111095844.5A CN113850872A (zh) 2021-09-18 2021-09-18 一种基于高位视频的服务区停车压线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111095844.5A CN113850872A (zh) 2021-09-18 2021-09-18 一种基于高位视频的服务区停车压线检测方法

Publications (1)

Publication Number Publication Date
CN113850872A true CN113850872A (zh) 2021-12-28

Family

ID=78974401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111095844.5A Pending CN113850872A (zh) 2021-09-18 2021-09-18 一种基于高位视频的服务区停车压线检测方法

Country Status (1)

Country Link
CN (1) CN113850872A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114530056A (zh) * 2022-02-15 2022-05-24 超级视线科技有限公司 一种基于定位信息和图像信息的停车管理方法及系统
CN114821491A (zh) * 2022-03-09 2022-07-29 盛景智能科技(嘉兴)有限公司 车辆违停识别方法、装置、电子设备和存储介质
CN115359650A (zh) * 2022-07-06 2022-11-18 浙江大华技术股份有限公司 停车泊位检测方法、装置、计算机设备和存储介质
WO2023151175A1 (zh) * 2022-02-08 2023-08-17 同辉电子科技股份有限公司 一种基于智慧灯杆的高速公路智能投影警示系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023151175A1 (zh) * 2022-02-08 2023-08-17 同辉电子科技股份有限公司 一种基于智慧灯杆的高速公路智能投影警示系统
CN114530056A (zh) * 2022-02-15 2022-05-24 超级视线科技有限公司 一种基于定位信息和图像信息的停车管理方法及系统
CN114530056B (zh) * 2022-02-15 2023-05-02 超级视线科技有限公司 一种基于定位信息和图像信息的停车管理方法及系统
CN114821491A (zh) * 2022-03-09 2022-07-29 盛景智能科技(嘉兴)有限公司 车辆违停识别方法、装置、电子设备和存储介质
CN115359650A (zh) * 2022-07-06 2022-11-18 浙江大华技术股份有限公司 停车泊位检测方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN113850872A (zh) 一种基于高位视频的服务区停车压线检测方法
CN109829403B (zh) 一种基于深度学习的车辆防碰撞预警方法及系统
CN104517111B (zh) 车道线检测方法、系统、车道偏离预警方法及系统
CN110287905B (zh) 一种基于深度学习的交通拥堵区域实时检测方法
EP2798611B1 (en) Camera calibration using feature identification
CN104657735B (zh) 车道线检测方法、系统、车道偏离预警方法及系统
CN109886131B (zh) 一种道路弯道识别方法及其装置
CN107133973B (zh) 一种桥梁防撞系统中的船舶检测方法
CN110992693B (zh) 一种基于深度学习的交通拥堵程度多维度分析方法
CN105809184B (zh) 一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
CN112329569B (zh) 一种基于图像深度学习系统的货运车辆状态实时识别方法
CN113706566B (zh) 一种基于边缘检测的加香喷雾性能检测方法
CN112784814B (zh) 车辆倒车入库的姿态识别方法及输送车倒车入库引导系统
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN110991264A (zh) 前方车辆检测方法和装置
CN112766046B (zh) 一种目标检测方法及相关装置
KR101205565B1 (ko) 영상을 이용한 전후방 차량 검출 방법
CN116520351A (zh) 一种列车状态监测方法、系统、存储介质及终端
Kini Real time moving vehicle congestion detection and tracking using OpenCV
CN103258433B (zh) 一种交通视频监控中智能车牌清晰显示方法
CN110688876A (zh) 一种基于视觉的车道线检测方法及装置
CN110414357B (zh) 一种基于车辆类型识别的前方车辆定位方法
CN114821520A (zh) 一种融合时空信息的车道线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination