CN112669615B - 一种基于摄像头的停车位检测方法和系统 - Google Patents

Abstract

本发明公开了一种基于摄像头的停车位检测方法，其包括步骤：100：获得摄像头采集的图像数据，将所述图像数据转换为俯视图；200：在所述俯视图中提取出若干个检测框；300：采用若干个二维卡尔曼滤波器分别对各检测框进行跟踪，以确定真实的检测框；400：基于真实的检测框的中心点之间的间距判断停车位入口点，并基于停车位入口点确定停车位的位置坐标；500：基于所述停车位的位置坐标判断停车位是否被占用。相应地，本发明还公开了一种基于摄像头的停车位检测系统，其包括：图像处理模块、检测框提取模块、检测框跟踪模块、候选车库入口判选模块和库位是否占用判选模块。

Description

一种基于摄像头的停车位检测方法和系统

技术领域

本发明涉及一种用于自动驾驶的检测方法和系统，尤其涉及一种停车位检测方法和系统。

背景技术

随着社会的发展和科技的进步，汽车行业进入了飞速发展的阶段，各类车辆走进了千家万户。汽车已成为人们在日常生活中最常用的代步工具。

近年来，随着自动驾驶技术的快速发展，自动驾驶系统的逐步完善和改进，自动驾驶车辆运用在日常生活中的可能性也越来越大。在现有的自动驾驶技术中，自动泊车技术是一种非常实用且重要的功能。自动泊车技术可以有效实现自动泊车的功能。

在日常泊车过程中，车辆需要停靠在停车场或地下车库中指定的停车位之中，驾驶员需要在偌大的停车场或地下车库中寻找空闲的停车位，并将车辆倒入停车位中，该泊车过程复杂且不方便。在这种环境下，若采用自动泊车技术，则可以为用户提供更好的驾驶体验，其可以进行合理的路径规划，从而使泊车姿态达到理想效果，实现车辆的自动泊车。

但需要说明的是，若要上述自动泊车技术实现车辆的自动泊车，则必须要在路径规划前，提前准确定位空闲的停车位。基于此，本发明期望获得一种基于摄像头的停车位检测方法和系统，该停车位检测方法可以通过摄像头获取车辆相对于停车位的相对位置，并判断停车位是否被占用，从而完成停车位选择，为自主泊车的路径规划提供高精度定位。

发明内容

本发明的目的之一在于提供一种基于摄像头的停车位检测方法，该停车位检测方法可以通过摄像头获取车辆相对于停车位的相对位置，并判断停车位是否被占用，从而完成停车位选择，为自主泊车的路径规划提供高精度定位。

为了实现上述目的，本发明提出了一种基于摄像头的停车位检测方法，其包括步骤：

100：获得摄像头采集的图像数据，将所述图像数据转换为俯视图；

200：在所述俯视图中提取出若干个检测框；

300：采用若干个二维卡尔曼滤波器分别对各检测框进行跟踪，以确定真实的检测框；

400：基于真实的检测框的中心点之间的间距判断停车位入口点，并基于停车位入口点确定停车位的位置坐标；

500：基于所述停车位的位置坐标判断停车位是否被占用。

进一步地，在本发明所述的停车位检测方法中，步骤100还包括将多个摄像头采集的多个图像数据进行拼接。

进一步地，在本发明所述的停车位检测方法中，在步骤200中，采用深度学习神经网络在所述俯视图中提取出检测框。

进一步地，在本发明所述的停车位检测方法中，在步骤300中，所述二维卡尔曼滤波器采用匈牙利算法对当前帧的检测框与上一帧的检测框进行匹配，以对检测框进行跟踪。

进一步地，在本发明所述的停车位检测方法中，在步骤500中，采用深度学习神经网络判断停车位是否被占用。

相应地，本发明的另一目的在于提供一种基于摄像头的停车位检测系统，该停车位检测系统可以用于实施本发明上述的停车位检测方法。

为了实现上述目的，本发明提出了一种基于摄像头的停车位检测系统，其包括：

图像处理模块，其获得摄像头采集的图像数据，将所述图像数据转换为俯视图；

检测框提取模块，其在所述俯视图中提取出若干个检测框；

检测框跟踪模块，其包括若干个二维卡尔曼滤波器，以分别对各检测框进行跟踪，从而确定真实的检测框；

候选车库入口判选模块，其基于真实的检测框的中心点之间的间距判断停车位入口点，并基于停车位入口点确定停车位的位置坐标；

库位是否占用判选模块，其基于所述停车位的位置坐标判断停车位是否被占用。

进一步地，在本发明所述的停车位检测系统中，所述图像处理模块还将多个摄像头采集的多个图像数据进行拼接，然后转换为所述俯视图。

进一步地，在本发明所述的停车位检测系统中，还包括显示模块，其将停车位是否被占用的判断结果以可视化信号的形式输出并显示。

在本发明上述技术方案中，显示模块可以将停车位是否被占用的判断结果以可视化信号的形式输出并显示，从而提高停车位是否被占用的判断结果的可理解性，使用户对判断结果一目了然。

进一步地，在本发明所述的停车位检测系统中，所述二维卡尔曼滤波器采用匈牙利算法对当前帧的检测框与上一帧的检测框进行匹配，以对检测框进行跟踪。

进一步地，在本发明所述的停车位检测系统中，所述图像处理模块、检测框提取模块、检测框跟踪模块、候选车库入口判选模块和库位是否占用判选模块被设置为并行处理。

在本发明上述技术方案中，如果图像处理模块、检测框提取模块、检测框跟踪模块、候选车库入口判选模块和库位是否占用判选模块这五个模块的处理时间均为40ms，那么如果用串行处理，五个模块总共需要200ms，综合下来每个输出的间隔是200ms，即5fps。而如果使用并行处理，那么综合下来每个输出的间隔是40ms，即25fps。由此可见，将上述五个模块并发处理，可以使系统处理的时间间隔缩短，有别于串行处理。

本发明所述的基于摄像头的停车位检测方法和系统相较于现有技术具有如下所述的优点和有益效果：

本发明所述的基于摄像头的停车位检测方法可以通过摄像头获取车辆相对于停车位的相对位置，并判断停车位是否被占用，从而完成停车位选择，为自主泊车的路径规划提供高精度定位。

本发明所述的基于摄像头的停车位检测方法具有十分广泛的适用性，其具有良好的推广前景和应用价值。

相应地，本发明所述的基于摄像头的停车位检测系统可以用于实施本发明上述的停车位检测方法，其同样具有上述的优点以及有益效果。

附图说明

图1示意性地显示了本发明所述的停车位检测方法在一种实施方式下的步骤流程图。

图2示意性地显示了本发明所述的停车位检测系统在一种实施方式下的目标车位的示意图。

具体实施方式

下面将结合说明书附图和具体的实施例对本发明所述基于摄像头的停车位检测方法和系统做进一步的解释和说明，然而该解释和说明并不对本发明的技术方案构成不当限定。

在本发明中，本发明采用了一种停车位检测方法对停车位进行检测。该停车位检测方法可以通过摄像头获取车辆相对于停车位的相对位置，并判断停车位是否被占用，从而完成停车位选择，为自主泊车的路径规划提供高精度定位。在本实施方式中，本发明所述的停车位检测方法的步骤流程图可以如图1所示。

图1示意性地显示了本发明所述的停车位检测方法在一种实施方式下的步骤流程图。

如图1所示，在本发明所述的停车位检测方法中，其具体可以包括以下步骤：

100：获得摄像头采集的图像数据，将图像数据转换为俯视图。

在上述步骤100中，当由多个摄像头采集多个图像数据时，可以将多个摄像头采集的多个图像数据进行拼接，然后转换为俯视图。

200：在所述俯视图中提取出若干个检测框。

相应地，在本实施方式中，在上述步骤200中，本发明可以采用现有的检测手段或者深度学习神经网络的方法在俯视图中提取出检测框。其中，现有技术已知的检测手段可以是：拐角探测器(corner detector)检测或者线段检测(line segment detection)。

300：采用若干个二维卡尔曼滤波器分别对各检测框进行跟踪，以确定真实的检测框。

在上述步骤300中，本发明可以采用二维卡尔曼滤波器，并利用匈牙利算法对当前帧的检测框与上一帧的检测框进行匹配，从而对检测框进行跟踪。

400：基于真实的检测框的中心点之间的间距判断停车位入口点，并基于停车位入口点确定停车位的位置坐标。

500：基于停车位的位置坐标判断停车位是否被占用。

相应地，在上述步骤500中，本发明可以采用深度学习神经网络的方法判断停车位是否被占用。

图2示意性地显示了本发明所述的停车位检测系统在一种实施方式下的目标车位的示意图。

如图2所示，在本实施方式中，以停车位位置处于车辆的右侧的情况为例，车辆泊车的起始位置位于图2所示的左上位置和右上位置。在对停车位进行检测前，需要先将绝对坐标系下的停车位位置转换到相对车辆后轴的相对位置下的车位坐标系中，该转换过程在现有技术中是已知的，因此本文在此不再赘述。

在本发明中，本发明上述停车位检测方法的步骤可以依赖于一种基于摄像头的停车位检测系统实施，该停车位检测系统可以用于实施本发明上述的停车位检测方法。

在本实施方式中，本发明所述的停车位检测系统可以包括：图像处理模块、检测框提取模块、检测框跟踪模块、候选车库入口判选模块、库位是否占用判选模块和显示模块。

其中，图像处理模块可以获得摄像头采集的图像数据，并将图像数据转换为俯视图；检测框提取模块可以从俯视图中提取出若干个检测框；检测框跟踪模块包括若干个二维卡尔曼滤波器，以分别对各检测框进行跟踪，从而确定真实的检测框；候选车库入口判选模块可以基于真实的检测框的中心点之间的间距判断停车位入口点，并基于停车位入口点确定停车位的位置坐标；库位是否占用判选模块可以基于所述停车位的位置坐标判断停车位是否被占用；显示模块可以将停车位是否被占用的判断结果以可视化信号的形式输出并显示。

需要说明的是，在本实施方式中，本发明所述停车位检测系统中的图像处理模块在获得多个摄像头采集的多个图像数据后，可以将多个图像数据进行拼接，然后转换为俯视图，例如可以是通过摄像头的内外参数，生成一个俯视图与四张图广角图对应关系的查找表(LUT)，而后通过LUT可以在一张600pix乘600pix的俯视图上进行像素填充。

在本发明中，图像处理模块的输入数据可以为摄像头采集的原始鱼眼照片，该模块通过多线程并发的方法对生成的查找表(LUT)进行遍历，以进行俯视图的像素填充，从而可以输出一张俯视图，成功将图像数据转换为俯视图。在这种实施方式下，多线程并发的方法的好处在于节省数据的遍历时间，从而提高系统的时效性。

相应地，在本发明所述的停车位检测系统中，检测框提取模块可以采用深度学习神经网络在俯视图中提取出检测框，检测框提取模块的输入数据为上述图像处理模块转换得到的俯视图，算法可以通过多层卷积网络进行数据特征的提取，将网络获得的高层抽象数据进行相关的回归，得到网络的权重。需要说明的是，在本技术方案中，基于检测框的回归可以采用现有技术中已知的ssd与yolo，但是本技术方案还可以在此基础上根据实际的实施要求，对检测框的回归框进行裁剪优化，以便提高其实时性。此外，作为对检测框的回归的一种替代方案，在某些实施方式下还可以基于关键点回归，其方法与基于检测框的回归类似，只是深度学习神经网络先进行中心点的回归，再进行相关长宽的回归。在某些实施方式中，考虑到算法的实时性，可以只对中心点进行相关回归，然后指定固定的长宽。在本技术方案中，检测框提取模块的输出是关于停车位的检测框。

此外，在本发明中，由于单帧检测精度的不足，所以本技术方案需要多帧数据的关联跟踪进行适当的补充。因此，在本发明所述的检测框跟踪模块中，在检测初期本技术方案需要对每个检测框赋予一个二维卡尔曼滤波器进行跟踪，并采用匈牙利算法对当前帧的检测框与上一帧的检测框进行匹配。由于在检测过程中可以存在误检测，因此在本技术方案中设置了一个计数器(hit_time)，直到计数器超过一定阈值之后，才认为是一个真的检测框，该检测框方可用于后续的处理。

在本技术方案中，可以用颜色来代表一个二维卡尔曼滤波器号码，只要颜色不变，则这个二维卡尔曼滤波器的号码不变，不同检测框颜色则代表不同的二维卡尔曼滤波器。

在本发明所述停车位检测系统中，检测框跟踪模块的输入数据是检测框，在检测框第一次被输入到检测框跟踪模块中的时候，因此在本技术方案中设置了一个计数器(hit_time)，直到计数器超过一定阈值之后，才认为是一个真的检测框，该检测框方可用于后续的处理。因此，在检测框跟踪模块的程序中有两个检测框序列，分别是通过检测得到的检测框列，以及通过二维卡尔曼滤波维护的检测框序列，两个检测序列通过匈牙利算法进行匹配，其匹配的主要是两个检测框中点的距离。在算法中，本技术方案采用检测框的中点位置作为观测值对二维卡尔曼滤波器中的检测框的中点进行更新。该检测框跟踪模块最终输出的是确定真实的检测框数据。

在获取真实的检测框之后，需要对获取到的检测框中点或者框进行排序判选，通过一定的距离以及几何位置的关系条件，将点(框)与点(框)之间进行两两配对，得到需要的停车位入口区域。

在本发明所述停车位检测系统中，候选车库入口判选模块可以基于真实的检测框的中心点之间的间距判断停车位入口点，其将真实的检测框的中心点作为输入，将点与点或者之间进行两两配对，配对原则主要是考虑点与点之间是否满足一个停车位的入口宽度的阈值(th)，当点与点之间的距离(L)满足：0.8*th<L<1.2*th的时候，则认为是一个合理的停车位入口点(x1y1；x2y2)，同时考虑到停车位的深度信息，停车位的深度信息是预先设置好的值Depth。此外，在本技术方案中，同时还考虑到了垂直停车位以及斜停车位的情况，因此还会在数据中提取停车位斜率(例如：90度或60度等)，通过停车位入口点、停车位库深度以及停车位斜率可以推算得到停车位末端的两个点位置(x3y3；x4y4)，由此可以得到候选车库入口判选模块输出的停车位的位置坐标(x1y1；x2y2；x3y3；x4y4)。

在本发明中，候选车库入口判选模块确定停车位的位置坐标后，需要采用库位是否占用判选模块，以基于停车位的位置坐标判断停车位是否被占用。若判断这个停车位是否有车辆、地锁、行人等，如果有则这个停车位不可停车；如果没有，则这个停车位可以停车。

在本实施方式中，不同于现有技术中通常采用的统计或一般分类的方法，本发明采用的是基于深度学习的分类方法来判断停车位是否被占用。在本实施方式中，一共收集了正负样本各三千多个，通过神经网络的训练，可以得到一个优秀的分类网络，并将其用于高噪声、强反光、大逆光的图像上，从而可以得到较好的分类结果，有助于提高停车位占用判选的准确性。

在本发明所述的停车位检测系统中，库位是否占用判选模块的输入数据是停车位的位置坐标(x1y1；x2y2；x3y3；x4y4)，之后将此区域中的图片数据截取出来作为神经网络的输入，其中的神经网络为一个二分类的网络，多层卷积网络进行数据特征的提取，将网络获得的高层抽象数据进行相关的交叉熵损失函数的处理，可以得到网络的权重。最终，该库位是否占用判选模块可以输出为是否占用车库。

需要说明的是，在综合考虑系统响应速度以及系统资源开销等条件下，不是每次都要对所有停车位进行占用判断，只需要每次判断部分停车位，同时在统计相应停车位占用情况即可。在本发明中，为了提高停车位是否被占用的判断结果的可理解性，显示模块可以将停车位是否被占用的判断结果以可视化信号的形式输出并显示。在本实施方式中，可以分别用红黄绿指示灯来表示车位状态，若红色指示灯亮起则可以代表停车位已被占用；若绿色指示灯亮起则可以代表停车位可用；若黄色指示灯亮起则可以代表检测到停车位，但是停车位是否被占用待定。

此外，需要注意的是，在本发明所述的停车位检测系统中，图像处理模块、检测框提取模块、检测框跟踪模块、候选车库入口判选模块和库位是否占用判选模块被设置为并行处理。这是因为：假设每个模块处理时间是40ms，那么如果用串行处理，五个模块总共需要200ms，综合下来每个输出的间隔是200ms，即5fps。如果使用并行处理，那么综合下来每个输出的间隔是40ms，即25fps。上述五个模块并发处理，可以使系统处理的时间间隔缩短，有别于之前的串行处理。

综上所述可以看出，本发明所述的基于摄像头的停车位检测方法可以通过摄像头获取车辆相对于停车位的相对位置，并判断停车位是否被占用，从而完成停车位选择，为自主泊车的路径规划提供高精度定位。

相应地，本发明所述的基于摄像头的停车位检测系统可以用于实施本发明上述的停车位检测方法，其同样具有上述的优点以及有益效果。

需要说明的是，本发明保护范围中现有技术部分并不局限于本申请文件所给出的实施例，所有不与本发明的方案相矛盾的现有技术，包括但不局限于在先专利文献、在先公开出版物，在先公开使用等等，都可纳入本发明的保护范围。

此外，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。

还需要注意的是，以上所列举的实施例仅为本发明具体实施例。显然本发明不局限于以上实施例，随之做出的类似变化或变形是本领域技术人员能从本发明公开的内容直接得出或者很容易便联想到的，均应属于本发明的保护范围。

Claims (10)

1.一种基于摄像头的停车位检测方法，其特征在于，包括步骤：

100：获得摄像头采集的图像数据，将所述图像数据转换为俯视图；

200：在所述俯视图中提取出若干个检测框；

300：采用若干个二维卡尔曼滤波器分别对各检测框进行跟踪，并结合计数器以确定真实的检测框直到计数器超过一定阈值之后，才认为是一个真的检测框；

400：基于真实的检测框的中心点之间的间距判断停车位入口点，并基于停车位入口点确定停车位的位置坐标；

500：基于所述停车位的位置坐标判断停车位是否被占用。

2.如权利要求1所述的停车位检测方法，其特征在于，步骤100还包括将多个摄像头采集的多个图像数据进行拼接。

3.如权利要求1所述的停车位检测方法，其特征在于，在步骤200中，采用深度学习神经网络在所述俯视图中提取出检测框。

4.如权利要求1所述的停车位检测方法，其特征在于，在步骤300中，所述二维卡尔曼滤波器采用匈牙利算法对当前帧的检测框与上一帧的检测框进行匹配，以对检测框进行跟踪。

5.如权利要求1中所述的停车位检测方法，其特征在于，在步骤500中，采用深度学习神经网络判断停车位是否被占用。

6.一种基于摄像头的停车位检测系统，其特征在于，包括：

图像处理模块，其获得摄像头采集的图像数据，将所述图像数据转换为俯视图；

检测框提取模块，其在所述俯视图中提取出若干个检测框；

检测框跟踪模块，其包括若干个二维卡尔曼滤波器和计数器，若干个二维卡尔曼滤波器分别对各检测框进行跟踪，从而确定真实的检测框；直到计数器超过一定阈值之后，才认为是一个真的检测框；

候选车库入口判选模块，其基于真实的检测框的中心点之间的间距判断停车位入口点，并基于停车位入口点确定停车位的位置坐标；

库位是否占用判选模块，其基于所述停车位的位置坐标判断停车位是否被占用。

7.如权利要求6所述的停车位检测系统，其特征在于，所述图像处理模块还将多个摄像头采集的多个图像数据进行拼接，然后转换为所述俯视图。

8.如权利要求6所述的停车位检测系统，其特征在于，还包括显示模块，其将停车位是否被占用的判断结果以可视化信号的形式输出并显示。

9.如权利要求6所述的停车位检测系统，其特征在于，所述二维卡尔曼滤波器采用匈牙利算法对当前帧的检测框与上一帧的检测框进行匹配，以对检测框进行跟踪。

10.如权利要求6中所述的停车位检测系统，其特征在于，所述图像处理模块、检测框提取模块、检测框跟踪模块、候选车库入口判选模块和库位是否占用判选模块被设置为并行处理。

Images