CN105160322A - 基于航拍图像的室外停车场空置停车位识别方法 - Google Patents

Abstract

本发明公开了一种基于航拍图像的室外停车场空置停车位识别方法，包括基于ROI区域的模板提取；基于模板匹配的停车位识别；基于已识别空置停车位空间布局的停车位结构判断；以及根据航拍高度对停车位模板进行尺寸调节的步骤。无人机航拍图像具有视野广、机动性强的优势，相对于空置停车位检测方法，采用无人机在短时间内飞临多个停车场，可获得多区域空置停车位信息，因此基于无人机低空航拍图像的停车场空置停车位检测方法具有检测范围广、更新速度快的优势。

Description

基于航拍图像的室外停车场空置停车位识别方法

技术领域

本发明属于图像处理技术领域，涉及一种基于无人机低空航拍图像的停车场范围内停车位识别方法，特别是涉及一种基于多模板匹配的室外停车场空置停车位检测方法和停车位类型识别方法，同时涉及一种基于航拍高度的模板尺寸调节方法。

技术背景

随着科技的迅速发展，各大、中城市的交通设施建设水平也得到了进一步的提升。人们是物质生活水平也随之提高，越来越多的汽车进入各家各户。虽然城市道路不断加宽，立交桥的数量也不断增加，停车场的规模也在不断增大，但仍然缓解不了各大中城市交通所承受的巨大压力。尤其对于空间资源和环境资源本来就有限的城市，随着私人轿车数量的不断增加以及停车场内车辆的频繁出入，使得人们停车难的问题越来越突出。为了提高停车场的工作效率，节省人们的停车时间，使停车显得更为方便，就需要合理的管理有限的停车场资源。

目前，多数的停车位检测主要研究停车位占用检测。停车位占用检测主要分为基于视频与非视频两类。基于非视频的车位检测方法包括地感线圈检测法、红外线检测法、微波检测法、超声波检测法，这些方法由于需要大量安装检测设备，主要应用于室内或小型停车场，而对室外大型停车场不适用。基于视频的停车场车位占用情况的检测方法有很多，检测方法是利用摄像头进行图像采集，运用计算机图像处理和模式识别技术对连续的图像进行处理，从而达到检测车位有无泊车的目的，该方法要求检测出车位的同时也要检测出车辆在车位的占用情况，相比于直接检测空置停车位的方法更为复杂。所以，基于航拍视频图像的空置停车位检测方法能够更加简单快速的找出室外停车场的空置停车位，节约人们的停车时间。

发明内容

针对目前室外停车场监控方式的不足，本发明提出了基于模板匹配的室外停车场空置停车位检测方法，采用基于模板匹配的检测方法进行室外停车场停车位检测。本发明为基于低空航拍图像的室外停车场空置停车位检测方法，从多模板车位匹配出发，通过航拍高度与实际情况对匹配模板进行调节识别停车位以及整个室外停车场类型和范围，再通过航拍高度进行模板尺寸调节，构成完整的反馈检测系统。

本发明以全新的研究着入点，针对各种类型停车场尝试提出一种可以普遍适用的检测办法，通过下述步骤实现：

步骤1：基于ROI区域的模板提取；

对航拍图像中停车场区域手动划定ROI区域，并将该区域转化为模板图像储存在指针当中，为下一步空置停车位模板匹配提供基础；

步骤2：基于模板匹配的停车位识别；

通过对已提取模板中空置停车位所在位置的颜色背景特征，平行线排列特征等特征进行特征提取后，结合推测出的停车位对应类型的部分已有的普遍停车位特征，进一步对整体空间平面内非车辆密集位置进行停车位识别，引入一定的误差量调节，从而实现对整体停车场停车位的识别；

步骤3：基于已识别空置停车位空间布局的停车位结构分析判断；

将通过多模板匹配识别出的空置停车位进行标记，通过记录空置停车位中心点所在位置等信息，整理出空置停车位的平面布局结构；由所判断出的空置停车位平面布局结构判断出室外停车场停车位的所属类型，同时根据空置停车位的整体布局位置得到大致的停车场整体范围；

步骤4：根据航拍高度对停车位模板进行尺寸调节；

航拍图像存在水平面内移动和竖直方向上的移动，当无人机航拍高度发生变化时航拍图像中停车位的尺寸也会随之发生变化；此时根据航拍图像高度变化对相应模板做出对应尺寸调整，能够有效提高移动航拍图像空置停车位识别精度。

本发明优点在于：无人机航拍图像具有视野广、机动性强的优势，相对于空置停车位检测方法，采用无人机在短时间内飞临多个停车场，可获得多区域空置停车位信息，因此基于无人机低空航拍图像的停车场空置停车位检测方法具有检测范围广、更新速度快的优势；在提出空置停车位检测方法的基础上提出停车位结构分析判断方法与根据航拍高度的模板尺寸调节方法，拥有多点创新。

附图说明

图1为本发明的航拍图像室外停车场空置停车位模板匹配识别方法的整体流程图；

图2为基于ROI区域的模板提取算法流程图；

图3为基于多模板匹配的停车位检测方法流程图；

图4为现有停车位的三种不同类型图。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。

本发明提供一种基于航拍图像的室外停车场空置停车位识别方法，所述识别方法首先提取空置停车位ROI区域，并将该区域图像转换为指针图像进行保存，作为模板图像；然后根据模板图像对航拍图像进行多模板匹配处理，识别得到每一帧航拍图像中的空置停车位；根据识别得到的空置停车位推算出停车场区域的车辆布局，从而得到该停车场的停车位类型；结合对全景范围内所有位置进行空置停车位识别，确定停车场整体区域；通过航拍高度与航拍图像中停车位尺寸线性变化关系对待匹配模板图像进行尺寸调节，提高航拍图像中空置停车位识别精度。上述基于航拍图像的室外停车场空置停车位识别方法，结合图1，具体处理步骤如下：

步骤1：基于ROI区域的模板图像提取；

ROI(regionofinterest)区域即感兴趣区域，机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域；在OpenCV(OpenSourceComputerVisionLibrary)中我们能够非常方便地获取指定ROI区域的子图像；如果对图像设置了ROI区域，那么，OpenCV的大多数函数只在该ROI区域内运算(只处理该ROI区域)，如果没设ROI区域，则会对整幅图像进行处理。如图2所示，所述的模板图像提取，首先选定航拍图像中空置停车位所属的矩形区域，确定该矩形区域为航拍图像的ROI区域，建立空图像并保存所述的ROI区域，作为模板图像。

步骤2：基于模板匹配的停车位识别；

提取航拍图像中空置停车位的模板图像后，可以使用基于多模板匹配的停车位检测方法来检测对应的空置停车位；基于模板匹配的停车位识别算法工作方式跟直方图的反向投影基本一样，具体过程为：通过在输入的航拍图像上滑动已提取的空置停车位模板图像，将实际的航拍图像中空置停车位图像和输入的模板图像进行匹配；

假设输入航拍图像为100×100的输入图像，所提取的空置停车位图像为10×10的模板图像，多模板匹配检测流程为：

(1)从输入航拍图像的左上角(0,0)点开始，切割一块(0,0)至(10,10)的临时待检测图像；所述临时待检测图像与模板图像大小相同，均为10×10。

(2)用临时待检测图像和已提取的空置停车位模板图像进行匹配，匹配值记为a[0]；

(3)建立一个结果图像，将匹配值a[0]保存为其对应的结果图像(0,0)处的像素值；

(4)切割输入航拍图像从(0,1)至(10,11)的临时待检测图像，与已提取的空置停车位模板图像进行匹配，并记录匹配值到结果图像对应位置；

(5)重复(1)～(4)步骤直到输入航拍图像的右下角，并将匹配值保存到结果图像；

(6)提取结果图像中匹配值达到一定范围内的像素值(即匹配精度达到检测精度90％以上)，其保存位置所对应的原输入航拍图像相应位置为匹配出的空置停车位位置，与已提取的空置停车位模板图像尺寸相同的图像为检测出的空置停车位图像；

步骤(2)中使用的匹配方法分为平方差匹配法、相关匹配法、相关系数匹配法、归一化平方差匹配法、归一化相关匹配法和归一化相关系数匹配法几种；

其中平方差匹配法采用平方差来进行匹配，可以用下式衡量待匹配图像中被搜索区域子图和模板图像的相似性：

$D(i,j)={\mathrm{\Σ}}_{m=1}^M{\mathrm{\Σ}}_{n=1}^N{|S^{ij}(m,n)-T(m,n)|}^2---\left(1\right)$

其中，待匹配图像像素为(i,j)，模板图像的尺寸为(m,n)，最好的匹配值为0，匹配越差，匹配值越大；D(i,j)为计算出的待匹配图像中每个像素点处对应的平方差匹配值，M和N为待匹配图像的长和宽，S^ij(m,n)为待匹配图像中对应像素点处被搜索区域子图，T(m,n)为模板图像。

运用相关系数匹配法进行判断时，将上式(1)展开：

$\begin{array}{c}D(i,j)=\underset{m=1}{\overset{M}{\Σ}}\underset{n=1}{\overset{N}{\Σ}}{|S^{ij}(m,n)-T(m,n)|}^2\\ =\underset{m=1}{\overset{M}{\Σ}}\underset{n=1}{\overset{N}{\Σ}}{\left|S^{ij}(m,n)\right|}^2-2\underset{m=1}{\overset{M}{\Σ}}\underset{n=1}{\overset{N}{\Σ}}{S}^{ij}(m,n)\·T(m,n)+\underset{m=1}{\overset{M}{\Σ}}\underset{n=1}{\overset{N}{\Σ}}{\left|T(m,n)\right|}^2\end{array}---\left(2\right)$

展开式(2)中，第一项为子图的能量，第三项为模板图像的能量，都与模板图像匹配无关；第二项是模板图像和子图的互相关，随(i,j)而改变；当模板图像和子图匹配时，所述第二项有极大值，该方法即为相关系数匹配法，极大值的数值越大表明匹配程度越好；

将式(2)中第二项归一化，得模板图像匹配的相关系数R(i,j)：

$R(i,j)=\frac{{\mathrm{\Σ}}_{m=1}^M{\mathrm{\Σ}}_{n=1}^N{S}^{ij}(m,n)\·T(m,n)}{\sqrt{{\mathrm{\Σ}}_{m=1}^M{\mathrm{\Σ}}_{n=1}^N{\left|S^{ij}(m,n)\right|}^2}\sqrt{{\mathrm{\Σ}}_{m=1}^M{\mathrm{\Σ}}_{n=1}^N{\left|T(m,n)\right|}^2}}---\left(3\right)$

当模板图像和子图完全一样时，相关系数R(i,j)＝1，即1表示完美的匹配，但此方法计算量较大、速度较慢，在实时性要求较高的情况下不适用；

图3给出了基于多模板匹配的停车位检测方法流程图；综合分析几种模板匹配方法精度与实时性等特点，结合本方法实际需求，本方法选择通过归一化平方差匹配法计算出目标航拍室外停车场图像中每一部分的停车位模板匹配值，该方法中停车位模板匹配值越小，匹配精度越高；计算待检测航拍图像中各部分匹配值，依次将计算出的最小匹配值处对应图像保存为匹配结果，并将该处匹配值置为最大匹配值，然后继续选取下一处最小匹配值对应图像；以此类推，筛选出一定范围内的停车位模板匹配值并提取出相应的位置数据，即可得到目标航拍室外停车场图像中符合相应模板匹配检测精度的停车位检测结果。

步骤3：基于已识别空置停车位空间布局的停车位结构判断；

目前较为规范的室外停车场停车位类型大致分为三类，如图4中所示；通过总结不同停车位类型中车位布局与排列数据，并与识别目标图片中空置停车位间相应数据进行对比，便可以初步判断停车位类型；

(1)非字型停车位；

目前最为常见的室外停车场停车位类型即为非字型，也可称为垂直式停车位。非字型停车位的特点为同一列停车位长边相互平行或重合，短边处于同一直线上，且长边与同一列中停车位中心点连线垂直，短边与同一列中停车位中心点连线平行；

非字型停车位中停车位数据的特点为相邻两停车位为同一列停车位时，停车位中心点横坐标相等，纵坐标相差一个停车位宽度；相邻两停车位为同一行停车位时，停车位中心点纵坐标相等，横坐标相差一个停车位长度；

(2)一字型停车位；

一字型停车位多出现在路边以及室外停车场的边缘部分。一字型停车位的特点为同一列停车位短边相互平行或重合，长边处于同一直线上，且短边与同一列中停车位中心点连线垂直，长边与同一列中停车位中心点连线平行；

一字型停车位中停车位数据的特点为相邻两停车位为同一行停车位时，停车位中心点纵坐标相等，横坐标相差一个停车位长度；

(3)斜线停车位；

斜线停车位也称为斜停式停车位，该类型停车位既适用于路边，也适用于室外停车场，但不如以上两种停车位普遍；斜线停车位的特点为同一列停车位长边相互重合，短边相互平行，且长短边均与同一列中停车位中心点连线呈一定交叉角度，既非平行也非垂直；

斜线停车位中停车位数据的特点为相邻两停车位中心点纵坐标差值为一个停车位的宽度，横坐标差值与停车位的斜角有关，为斜角相对的直角边，斜角一般为45度或60度；

步骤4：根据航拍高度对停车位模板进行尺寸调节；

航拍过程中无人机并非固定不动的，无人机在竖直方向上的移动会造成航拍图像中空置停车位尺寸发生变化，当变化较大时，之前提取的模板图像将会变得不适用，造成识别精度下降等情况，此时通过航拍高度与空置停车位模板图像尺寸的线性关系可以总结出不同高度范围内模板图像尺寸的变化情况，从而对模板图像进行调节，达到识别精度的提升；

由多次航拍结果统计显示，航拍高度与停车位尺寸的关系通过高精度拟合后可以用以下公式表达：

$\left\{\begin{array}{c}{h}_p\≈8865.5H^{-1.0134}\\ w_p\≈0.0008H^2-0.4501H+77.706\end{array}\right.---\left(4\right)$

式中，H为航拍高度，单位为米，h_p与w_p分别为停车位的长与宽，当停车位尺寸确定为长宽比2:1时，上式也可表达为：

$\left\{\begin{array}{c}{h}_p\≈8865.5H^{-1.0134}\\ w_p\≈4432.8H^{-1.0134}\end{array}\right.---\left(5\right)$

降低拟合精度后，也可以简单的用线性关系式表达如下：

$\left\{\begin{array}{c}{h}_p\≈-0.3538H+112.942\\ w_p\≈-0.1769H+56.471\end{array}\right.---\left(6\right)$

根据航拍高度，可以对已截取模板图像进行尺寸缩放调节，从而实现对不同航拍高度下识别精度的提高。

经过上述的模板图像尺寸调节校正后，重复步骤1～3对航拍图像中的空置停车位进行识别。

Claims (4)

1.基于航拍图像的室外停车场空置停车位识别方法，其特征在于：

步骤1：基于ROI区域的模板提取；

首先选定航拍图像中空置停车位所属的矩形区域，确定该矩形区域为航拍图像的ROI区域，建立空图像并保存所述的ROI区域，作为模板图像储存；

步骤2：基于模板匹配的停车位识别；

通过在输入的航拍图像上滑动已提取的空置停车位模板图像，将实际的航拍图像中空置停车位图像和输入的模板图像进行匹配；

步骤3：基于已识别空置停车位空间布局判断停车位结构；

步骤4：根据航拍高度对停车位模板进行尺寸调节，重复步骤1～3对航拍图像中的空置停车位进行识别。

2.根据权利要求1所述的基于航拍图像的室外停车场空置停车位识别方法，其特征在于：所述的模板匹配具体过程为：

假设输入航拍图像为100×100的输入图像，所提取的空置停车位图像为10×10的模板图像，多模板匹配检测流程为：

(a)从输入航拍图像的左上角(0,0)点开始，切割一块(0,0)至(10,10)的临时待检测图像；所述临时待检测图像与模板图像大小相同，均为10×10；

(b)用临时待检测图像和已提取的空置停车位模板图像进行匹配，匹配值记为a[0]；

(c)建立一个结果图像，将匹配值a[0]保存为其对应的结果图像(0,0)处的像素值；

(d)切割输入航拍图像从(0,1)至(10,11)的临时待检测图像，与已提取的空置停车位模板图像进行匹配，并记录匹配值到结果图像对应位置；

(e)重复(a)～(d)步骤直到输入航拍图像的右下角，并将匹配值保存到结果图像；

(f)提取结果图像中匹配值达到规定的像素值，其保存位置所对应的原输入航拍图像相应位置为匹配出的空置停车位位置，与已提取的空置停车位模板图像尺寸相同的图像为检测出的空置停车位图像。

3.根据权利要求2所述的基于航拍图像的室外停车场空置停车位识别方法，其特征在于：步骤(b)中使用的匹配方法分为平方差匹配法，用下式衡量待匹配图像中被搜索区域子图和模板图像的相似性：

$D(i,j)={\mathrm{\Σ}}_{m=1}^M{\mathrm{\Σ}}_{n=1}^N{|S^{ij}(m,n)-T(m,n)|}^2---\left(1\right)$

其中，待匹配图像像素为(i,j)，模板图像的尺寸为(m,n)，最好的匹配值为0，匹配越差，匹配值越大；D(i,j)为计算出的待匹配图像中每个像素点处对应的平方差匹配值，M和N为待匹配图像的长和宽，S^ij(m,n)为待匹配图像中对应像素点处被搜索区域子图，T(m,n)为模板图像。

4.根据权利要求1所述的基于航拍图像的室外停车场空置停车位识别方法，其特征在于：步骤3中通过总结不同停车位类型中车位布局与排列数据，并与识别目标图片中空置停车位间相应数据进行对比，便得到停车位类型；

(A)非字型停车位；

同一列停车位长边相互平行或重合，短边处于同一直线上，且长边与同一列中停车位中心点连线垂直，短边与同一列中停车位中心点连线平行；

非字型停车位中停车位数据的特点为相邻两停车位为同一列停车位时，停车位中心点横坐标相等，纵坐标相差一个停车位宽度；相邻两停车位为同一行停车位时，停车位中心点纵坐标相等，横坐标相差一个停车位长度；

(B)一字型停车位；

一字型停车位的特点为同一列停车位短边相互平行或重合，长边处于同一直线上，且短边与同一列中停车位中心点连线垂直，长边与同一列中停车位中心点连线平行；

一字型停车位中停车位数据的特点为相邻两停车位为同一行停车位时，停车位中心点纵坐标相等，横坐标相差一个停车位长度；

(C)斜线停车位；

斜线停车位的特点为同一列停车位长边相互重合，短边相互平行，且长短边均与同一列中停车位中心点连线呈一定交叉角度，既非平行也非垂直；

斜线停车位中停车位数据的特点为相邻两停车位中心点纵坐标差值为一个停车位的宽度，横坐标差值与停车位的斜角有关，为斜角相对的直角边。