CN110490117B - 一种基于图像深度信息的停车事件确定方法及系统 - Google Patents

Abstract

本发明公开一种基于图像深度信息的停车事件确定方法及系统，涉及智能停车场管理领域，包括如下步骤：采集车位对应的特写图像和全景图像；从所述特写图像和所述全景图像中获取相匹配的特征点，并且获取所述特征点在所述车位对应的全景图像中和特写图像中的视差；根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取所述车位对应的图像深度信息；根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息。通过本发明提供的方法及系统将较大程度提高系统鲁棒性、可靠性，将误判概率大大降低；同时本发明中，一个全景相机可以匹配多个特写相机，以此减少硬件成本。

Description

一种基于图像深度信息的停车事件确定方法及系统

技术领域

本发明涉及智能停车场管理领域，特别涉及一种基于图像深度信息的停车事件确定方法及系统。

背景技术

城市路侧停车一直以来是城市管理的痼疾之一，计费混乱、监管成本高、受场地及天候影响大、不能完成车牌和车辆照片的取证等是目前路侧停车管理的核心痛点。目前城市中大部分停车位仍由人工管理，人工管理模式一方面存在漏收费、乱收费、易出现计费纠纷等问题，另一方面受到监管范围和监管时间等制约，无法做到全天候管理近百米长的停车位。近年来部分城市试行基于地磁传感器的路侧停车管理，依靠埋设于车位的地磁传感器提供触发信号，来提醒管理员进行收费和监管。但此种模式仍需要大量人工参与，地磁传感器只是辅助手段，仍无法实现车辆入场、停放、出场的完整取证。也有部分城市使用视频桩设备进行停车管理，在每个停车位部署一个低矮的视频桩设备，对车辆进行抓拍取证，存在视野范围小、容易被遮挡、光干扰严重、难以应对不规范停车等问题，且需要大面积破坏路面，施工量大、成本较高。

最近一种新型基于高位视频技术的路侧停车管理装置被广泛应用，此装置的设备通常包含数个特写相机、全景相机等，以及本地控制器、后台服务器等。相机负责提取拍摄停车证据，本地控制器负责控制相机拍摄、判断停车行为、处理停车证据、存储相关数据、上传后台服务器等。本地控制器控制相机提取停车证据，并通过图像识别算法判断是否发生停车行为。如若发生停车行为，便处理相关停车证据，并将相关停车数据上传至后台服务器。然而通过单一图像识别算法判断是否发生停车行为，存在系统鲁棒性低、可靠性差、可能出现停车误判等问题。例如，当现场光线不佳，或出现频繁光影变化时，有可能出现一定的停车行为误判。如果能在利用现有硬件设备的情况下，利用图像处理技术，增加另一种停车事件判断算法，辅助判断是否发生停车行为，两种识别判断算法对停车行为判断形成交叉验证，将较大程度提高系统鲁棒性、可靠性，将误判概率大大降低。

发明内容

为解决上述技术问题，本发明提供一种基于图像深度信息的停车事件确定方法及系统，可以解决现有停车事件确定可靠性较低，停车误判概率较大的问题。

为实现上述目的，一方面，本发明提供一种基于图像深度信息的停车事件确定方法，所述方法包括：

采集车位对应的特写图像和全景图像；

从所述特写图像和所述全景图像中获取相匹配的特征点，并且获取所述特征点在所述车位对应的全景图像中和特写图像中的视差；

根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取所述车位对应的图像深度信息；

根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息，所述初始停车事件判定结果是通过预置图像处理算法对全景图像和特写图像进行处理得到的。

进一步地，所从所述特写图像和所述全景图像中获取相匹配的特征点的步骤包括：

从全景图像中获取与所述特写图像对应的区域图像，并将所述区域图像调整为与所述特写图像大小相同的图像；

从所述调整后的图像和所述特写图像中获取两个图像中均包含的特征点。

进一步地，所述从全景图像中获取与所述特写图像对应的区域图像的步骤包括：

通过预置特征点匹配算法从全景图像中获取与所述特写图像对应的区域图像。

进一步地，所述获取所述特征点在所述车位对应的全景图像中和特写图像中的视差的步骤包括：

获取全景相机和特写相机对应的标定参数，并且分别获取所述特征点在所述车位对应的全景图像中和特写图像中对应的坐标参数；

根据所述标定参数和所述坐标参数获取所述特征点在所述车位对应的全景图像中和特写图像中的视差。

进一步地，所述根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取所述车位对应的图像深度信息的步骤包括：

根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取车位区域每一个特征点对应的图像深度信息；

根据车位区域每一个特征点对应的图像深度信息获取车位对应的图像深度信息。

进一步地，所述根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取车位区域每一个特征点对应的图像深度信息的步骤包括:

根据公式

进行计算，其中，z为车位区域特征点对应的图像深度信息，f为两个相机焦距的平均值，D为两相机投影中心的间距，d为所述特征点在所述车位对应的全景图像中和特写图像中的视差。

进一步地，所述根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息的步骤包括：

若预置时间段内所述车位对应的图像深度信息深度值由大变小，且变化值大于预设阈值，同时所述车位对应的初始停车事件判定结果为有车辆停入，则确认所述车位上发生车辆停入的停车事件；

若预置时间段内所述车位对应的图像深度信息深度值由小变大，且变化值大于预设阈值，同时所述车位对应的初始停车事件判定结果为有车辆离开，则确认所述车位上发生车辆离开的停车事件。

进一步地，所述根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息的步骤包括：

若预置时间段内所述车位对应的图像深度信息变化值小于或等于预设阈值，并且所述车位对应的初始停车事件判定结果为有车辆停入或有车辆离开，则确认初始停车事件为可疑停车事件，并输出提示信息。

进一步地，所述特写图像为图像内容包含1至2个泊位及泊位毗邻区域环境，图像能清晰辨别机动车前部或后部全貌的细节特征、号牌号码、地面泊位线、泊位编号的图像；

所述全景图像为图像内容包含数个泊位及泊位周边区域环境、泊位旁道路及人行道等，图片能清晰辨别机动车前部或后部全貌的全景特征、周围环境特征、标志/标线指示特征、号牌号码的图像；

所述特写图像和所述全景图像对应的图像类型包括静态图像、和/或动态图像、和/或视频。

另一方面，本发明提供一种基于图像深度信息的停车事件确定系统，所述系统包括：全景相机、特写相机、图像深度信息处理模块、图像识别模块、主控器；

全景相机，用于采集全景图像；

特写相机，用于采集车位对应的特写图像；

图像深度信息处理模块，用于从所述特写图像和所述全景图像中获取相匹配的特征点，并且获取所述特征点在所述车位对应的全景图像中和特写图像中的视差；根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取所述车位对应的图像深度信息；

图像识别模块，用于通过预置图像处理算法对全景图像和特写图像进行处理，得到初始停车事件判定结果；

主控器，用于根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息。

进一步地，图像深度信息处理模块，具体用于从全景图像中获取与所述特写图像对应的区域图像，并将所述区域图像调整为与所述特写图像大小相同的图像；

从所述调整后的图像和所述特写图像中获取两个图像中均包含的特征点。

进一步地，图像深度信息处理模块，具体用于通过预置特征点匹配算法从全景图像中获取与所述特写图像对应的区域图像。

进一步地，图像深度信息处理模块，具体用于获取全景相机和特写相机对应的标定参数，并且分别获取所述特征点在所述车位对应的全景图像中和特写图像中对应的坐标参数；

根据所述标定参数和所述坐标参数获取所述特征点在所述车位对应的全景图像中和特写图像中的视差。

进一步地，图像深度信息处理模块，具体用于根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取车位区域每一个特征点对应的图像深度信息；

根据车位区域每一个特征点对应的图像深度信息获取车位对应的图像深度信息。

进一步地，图像深度信息处理模块，具体还用于根据公式

进行计算，其中，z为车位区域特征点对应的图像深度信息，f为两个相机焦距的平均值，D为两相机投影中心的间距，d为所述特征点在所述车位对应的全景图像中和特写图像中的视差。

进一步地，所述主控器，

若预置时间段内所述车位对应的图像深度信息深度值由大变小，且变化值大于预设阈值，同时所述车位对应的初始停车事件判定结果为有车辆停入，则确认所述车位上发生车辆停入的停车事件；

若预置时间段内所述车位对应的图像深度信息深度值由小变大，且变化值大于预设阈值，同时所述车位对应的初始停车事件判定结果为有车辆离开，则确认所述车位上发生车辆离开的停车事件。

进一步地，所述主控器，具体用于若预置时间段内所述车位对应的图像深度信息变化值小于或等于预设阈值，并且所述车位对应的初始停车事件判定结果为有车辆停入或有车辆离开，则确认初始停车事件为可疑停车事件，并输出提示信息。

进一步地，所述特写图像为图像内容包含1至2个泊位及泊位毗邻区域环境，图像能清晰辨别机动车前部或后部全貌的细节特征、号牌号码、地面泊位线、泊位编号的图像；

所述全景图像为图像内容包含数个泊位及泊位周边区域环境、泊位旁道路及人行道等，图片能清晰辨别机动车前部或后部全貌的全景特征、周围环境特征、标志/标线指示特征、号牌号码的图像；

所述特写图像和所述全景图像对应的图像类型包括静态图像、和/或动态图像、和/或视频。

本发明提供的一种基于图像深度信息的停车事件确定方法及系统，通过根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息，即在原有初始判断的基础上，增加另一种图像识别算法，综合判断是否发生停车行为，形成了停车事件判断结果的交叉验证，将较大程度提高系统鲁棒性、可靠性，将误判概率大大降低；同时本发明可以直接在原有硬件设备环境下实施，可以保证低廉的硬件成本。

附图说明

图1是本发明提供的一种基于图像深度信息的停车事件确定方法的流程图；

图2是本发明提供的一种基于图像深度信息的停车事件确定系统的结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

如图1所示，本发明实施例提供基于图像深度信息的停车事件确定方法，包括如下步骤：

101、采集车位对应的特写图像和全景图像。

其中，全景图像由全景相机进行采集，全景相机安装于泊位同侧或对侧的监控杆上，镜头视野应能覆盖数个泊位及泊位周边环境，拍摄图片能清晰辨别机动车前部或后部全貌的全景特征、周围环境特征、标志/标线指示特征、号牌号码等。特写图像由特写相机进行采集，特写相机安装于泊位同侧或对侧的监控杆上、一般与全景相机相距5-30cm，光轴主光线方向基本与全景相机相同，镜头视野覆盖1-2个泊位，拍摄图片能清晰辨别机动车前部或后部全貌的细节特征、号牌号码、地面泊位线、泊位编号等。图像采集周期可以为每隔单位时间5s、10s等，本发明实施例不做限定。

所述特写图像为图像内容包含1至2个泊位及泊位毗邻区域环境，图像能清晰辨别机动车前部或后部全貌的细节特征、号牌号码、地面泊位线、泊位编号的图像；所述全景图像为图像内容包含数个泊位及泊位周边区域环境、泊位旁道路及人行道等，图片能清晰辨别机动车前部或后部全貌的全景特征、周围环境特征、标志/标线指示特征、号牌号码的图像；所述特写图像和所述全景图像对应的图像类型包括静态图像、和/或动态图像、和/或视频。

102、从所述特写图像和所述全景图像中获取相匹配的特征点，并且获取所述特征点在所述车位对应的全景图像中和特写图像中的视差。

对于本发明实施例，从所述特写图像和所述全景图像中获取均包含的特征点的步骤包括：首先从全景图像中获取与所述特写图像对应的区域图像，并将所述区域图像调整为与所述特写图像大小相同的图像；然后从所述调整后的图像和所述特写图像中获取两个图像中均包含的特征点。具体地，可以通过预置特征点匹配算法从全景图像中获取与所述特写图像对应的区域图像，特征点匹配算法可以为基于SURF的特征点匹配算法或基于FLANN的特征点匹配算法等，本发明实施例不做限定。优选地，可以预先通过预置特征点匹配算法在全景相机中画出与所述特写图像对应的ROI(Region OfInterest，感兴趣区域)图像框，从而后续可以直接通过该ROI图像框位置获取与所述特写图像对应的区域图像，避免每一次均需要进行特征点匹配，进一步提升图像截取效率。

例如，特写相机和全景相机在同一时刻拍摄图像，全景相机图像1内容包含特写相机图像2的内容，但拍摄角度因两相机间距有细微不同，通过特写相机拍摄的泊位号码，在全景相机图像1中找到此泊位的大概位置，通过特征点匹配，确定全景相机图像1中与特写相机图像2中内容相同的部分，并裁剪出此部分图像3，并在全景相机中画出图像3边缘的ROI图像框α，根据此ROI图像框α，便可从全景相机中截取和特写相机重叠位置图像，将截取的图像调整为与所述特写图像大小相同的图像；然后从所述调整后的图像和所述特写图像中获取两个图像中均包含的匹配的特征点。其中，ROI图像框α可以提前在全景相机图像中配置好，从而无须再次进行特征点匹配和区域查找，从而进一步提升图像截取效率。

进一步地，所述获取所述特征点在所述车位对应的全景图像中和特写图像中的视差的步骤包括：首先获取全景相机和特写相机对应的标定参数，并且分别获取所述特征点在所述车位对应的全景图像中和特写图像中对应的坐标参数；然后根据所述标定参数和所述坐标参数获取所述特征点在所述车位对应的全景图像中和特写图像中的视差。具体地，可以通过预置相机标定法获取全景相机和特写相机对应的标定参数。优选地，可以预先将通过预置相机标定法获取的全景相机和特写相机对应的标定参数进行保存，从而后续可以直接获取保存的标定参数进行相应计算，避免每一次均需要进行相机标定，进一步提升停车事件确定效率。

其中，标定参数包括但不限于内参数矩阵、外参数矩阵、畸变参数。下面对通过预置相机标定法获取全景相机和特写相机对应的标定参数进行举例说明，例如：首先配置一个黑白棋盘板，棋盘板由黑白正方形色块交替组成，棋盘板为长宽不同的矩形，以便在识别棋盘板时，更好的确定棋盘板方向；将棋盘板置于特写相机视野内并面对相机，令全景相机和特向相机同时拍摄棋盘板，将棋盘板在特写相机视野内变换位置和角度，再次令全景相机和特写相机同时拍摄棋盘板，重复此过程10-15次，获得10-15组棋盘板图像组A，每组包含一张全景相机图像和一张特写相机图像；将棋盘板图像中由全景相机拍摄的部分按照ROI图像框α截取，同时调整截取部分图像大小至与特写相机相同；由此得到10-15组不同位置和角度的由全景相机和特写相机拍摄的棋盘板图像组B。通过张氏标定法，向深度信息控制模块导入棋盘板图像组B，计算出全景相机和特写相机的内参数矩阵、外参数矩阵、畸变参数等并保存，由此完成对两相机的标定。也可采用其他相机标定方法，例如：以特写相机中泊位的各个顶点为特征点，计算各个特征点在全景相机中和特写相机中的视差，进而完成对相机的标定，在此不再进行展开说明。

103、根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取所述车位对应的图像深度信息。

对于本发明实施例，步骤103具体可以包括：首先根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取车位区域每一个特征点对应的图像深度信息；然后根据车位区域每一个特征点对应的图像深度信息获取车位对应的图像深度信息。其中，所述根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取车位区域每一个特征点对应的图像深度信息的步骤包括:根据公式

进行计算，其中，z为车位区域特征点对应的图像深度信息，f为两个相机焦距的平均值，D为两相机投影中心的间距，d为所述特征点在所述车位对应的全景图像中和特写图像中的视差。

104、根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息。

其中，所述初始停车事件判定结果是通过预置图像处理算法对全景图像和特写图像进行处理得到的，预置图像处理算法可以为传统图像处理识别算法、深度学习目标识别算法等，本发明实施例不做限定。预置时间段内可以为5s、10s等，本发明实施例不做限定。

对于本发明实施例，步骤104具体可以包括：若预置时间段内所述车位对应的图像深度信息深度值由大变小，且变化值大于预设阈值，同时所述车位对应的初始停车事件判定结果为有车辆停入，则确认所述车位上发生车辆停入的停车事件；若预置时间段内所述车位对应的图像深度信息深度值由小变大，且变化值大于预设阈值，同时所述车位对应的初始停车事件判定结果为有车辆离开，则确认所述车位上发生车辆离开的停车事件。其中，预设阈值可以为0.5m、1m等，本发明实施例不做限定，例如泊位区域深度由小变大时，说明可能有泊位区域的车辆离开，泊位区域深度由远变近时，说明可能有车辆进入泊位区域。对于本发明实施例，当图像深度信息变化值大于预设阈值时，才认定初始判断结果的有效性，形成了停车事件判断结果的交叉验证，将较大程度提高系统鲁棒性、可靠性，将误判概率大大降低。

进一步地，若预置时间段内所述车位对应的图像深度信息变化值小于或等于预设阈值并且所述车位对应的初始停车事件判定结果为有车辆进入或有车辆离开，则确认初始停车事件为可疑停车事件，并输出提示信息。对于本发明实施例，预置时间段内所述车位对应的图像深度信息变化值小于或等于预设阈值时，说明此时车位上并没有发生物体的移动，初始判断结果可能存在误判的可能，此时通过输出提示信息，可以进一步确认初始判断结果的准确性，从而降低甚至避免停车事件误判的发生。

对于本发明实施例的应用场景可以如下所示，但不限于此，例如：某车辆进入泊位后，采集全景相机和特写相机图像，经ROI图像框α裁剪后，将裁剪图像缩放到特写相机大小，计算每一个特征点在处理后的全景相机图像和特写相机间的视差，进而得到泊位区域的深度信息，通过计算，发现车位区域深度值由大变小，认为该泊位可能出现车辆进入泊位的停车行为；与此同时，基于目标识别算法，通过全景相机和特写相机图像识别，初始判定结果为判断泊位发生车辆进入的停车行为；结合两个判断信息，均认为此泊位发生停车行为，综合判断后认定此停车行为。可见，当图像深度信息变化值发生较大变化时，才认定初始判断结果的有效性，形成了停车事件判断结果的交叉验证，将较大程度提高系统鲁棒性、可靠性，将误判概率大大降低。

再例如，晚间泊位地面有大量光影变化，采集全景相机和特写相机图像，经ROI图像框α裁剪后，将裁剪图像缩放到特写相机大小，计算每一个特征点在处理后的全景相机图像和特写相机间的视差，进而得到泊位区域的深度信息，通过计算，发现泊位区域深度没有明显变化，认为该泊位没有出现停车行为；与此同时，基于目标识别算法，由于光影变化干扰，通过全景相机和特写相机图像识别后，误判泊位发生车辆离开泊位的停车行为；通过两模块判断信息，发现对停车行为判断不同，通过输出提示信息进行再次校验后，认定此不是停车行为。可见，当预置时间段内所述车位对应的图像深度信息变化值小于或等于预设阈值时，说明此时车位上并没有发生物体的移动，初始判断结果可能存在误判的可能，此时通过输出提示信息，可以进一步确认初始判断结果的准确性，从而降低甚至避免停车事件误判的发生。

本发明实施例提供的一种基于图像深度信息的停车事件确定方法，通过根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息，即在原有初始判断的基础上，增加另一种图像识别算法，综合判断是否发生停车行为，形成了停车事件判断结果的交叉验证，将较大程度提高系统鲁棒性、可靠性，将误判概率大大降低；同时本发明可以直接在原有硬件设备环境下实施，可以保证低廉的系统及设备升级成本。

为实现本发明实施例提供的方法，本发明实施例提供一种基于图像深度信息的停车事件确定系统，如图2所示，该系统包括：全景相机21、特写相机22、图像深度信息处理模块23、图像识别模块24、主控器25；全景相机21与图像深度信息处理模块23有线或无线网络连接，特写相机22与图像深度信息处理模块23有线或无线网络连接，图像深度信息处理模块23、图像识别模块24、与主控器25有线或无线网络连接，主控器25可以为云平台、后台服务器等。

全景相机21，用于采集车位对应的全景图像；

其中，全景相机21安装于泊位同侧或对侧的监控杆上，镜头视野应能覆盖数个泊位及泊位周边环境，拍摄图片能清晰辨别机动车前部或后部全貌的全景特征、周围环境特征、标志/标线指示特征、号牌号码等。

特写相机22，用于采集车位对应的特写图像；

其中，特写相机22安装于泊位同侧或对侧的监控杆上、一般与全景相机相距5-30cm，光轴主光线方向基本与全景相机相同，镜头视野覆盖1-2个泊位，拍摄图片能清晰辨别机动车前部或后部全貌的细节特征、号牌号码、地面泊位线、泊位编号等。图像采集周期可以为每隔单位时间5s、10s等，本发明实施例不做限定。

图像深度信息处理模块23，用于从所述特写图像和所述全景图像中获取相匹配的特征点，并且获取所述特征点在所述车位对应的全景图像中和特写图像中的视差；根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取所述车位对应的图像深度信息；

图像识别模块24，用于通过预置图像处理算法对全景图像和特写图像进行处理，得到初始停车事件判定结果；

主控器25，用于根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息。

其中，所述初始停车事件判定结果是通过预置图像处理算法对全景图像和特写图像进行处理得到的，预置图像处理算法可以为图像识别算法、深度学习算法等，本发明实施例不做限定。预置时间段内可以为5s、10s等，本发明实施例不做限定。

进一步地，图像深度信息处理模块23，具体用于根据预置特征点匹配算法从全景图像中获取与所述特写图像对应的区域图像，并将所述区域图像调整为与所述特写图像大小相同的图像；从所述调整后的图像和所述特写图像中获取两个图像中均包含的特征点。

进一步地，图像深度信息处理模块23，具体用于通过预置特征点匹配算法从全景图像中获取与所述特写图像对应的区域图像。

例如，特写相机和全景相机在同一时刻拍摄图像，全景相机图像1内容包含特写相机图像2的内容，但拍摄角度因两相机间距有细微不同，通过特写相机图像2中的泊位号码，在全景相机图像1中找到相应位置，通过特征点匹配，确定全景相机图像1中与特写相机图像2中内容相同的部分，并裁剪出此部分图像3，并在全景相机中画出图像3边缘的ROI图像框α，根据此ROI图像框α，便可从全景相机中截取和特写相机重叠位置图像，将截取的图像调整为与所述特写图像大小相同的图像；然后从所述调整后的图像和所述特写图像中获取两个图像中均包含的匹配的特征点。

其中，ROI图像框α可以提前在全景相机图像中配置好，从而无须再次进行特征点匹配和区域查找，从而进一步提升停车事件确定效率。特征点匹配算法可以为基于SURF的特征点匹配算法或基于FLANN的特征点匹配算法等，本发明实施例不做限定。

进一步地，图像深度信息处理模块23，具体用于通过预置相机标定法获取全景相机和特写相机对应的标定参数，并且分别获取所述特征点在所述车位对应的全景图像中和特写图像中对应的坐标参数；根据所述标定参数和所述坐标参数获取所述特征点在所述车位对应的全景图像中和特写图像中的视差。

其中，标定参数包括但不限于内参数矩阵、外参数矩阵、畸变参数。预置相机标定法可以采用张氏标定法，也可采用其他相机标定方法，例如：以特写相机中泊位的各个顶点为特征点，计算各个特征点在全景相机中和特写相机中的视差，进而完成对相机的标定，在此不再进行展开说明。

进一步地，图像深度信息处理模块23，具体用于根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取车位区域每一个特征点对应的图像深度信息；根据车位区域每一个特征点对应的图像深度信息获取车位对应的图像深度信息。

进一步地，图像深度信息处理模块23，具体还用于根据公式

进行计算，其中，z为车位区域特征点对应的图像深度信息，f为两个相机焦距的平均值，D为两相机投影中心的间距，d为所述特征点在所述车位对应的全景图像中和特写图像中的视差。

进一步地，所述主控器25，具体用于若预置时间段内所述车位对应的图像深度信息深度值由大变小，且变化值大于预设阈值，同时所述车位对应的初始停车事件判定结果为有车辆停入，则确认所述车位上发生车辆停入的停车事件；若预置时间段内所述车位对应的图像深度信息深度值由小变大，且变化值大于预设阈值，同时所述车位对应的初始停车事件判定结果为有车辆离开，则确认所述车位上发生车辆离开的停车事件。

其中，预设阈值可以为0.5m、1m等，本发明实施例不做限定，例如车位区域深度值由小变大时，说明可能有泊位区域的车辆离开，车位区域深度值由大变小时，说明可能有车辆进入泊位区域。对于本发明实施例，当图像深度信息变化值大于预设阈值时，才认定初始判断结果的有效性，形成了停车事件判断结果的交叉验证，将较大程度提高系统鲁棒性、可靠性，将误判概率大大降低。

进一步地，所述主控器25，具体用于若预置时间段内所述车位对应的图像深度信息变化值小于或等于预设阈值并且所述车位对应的初始停车事件判定结果为有车辆进入或有车辆离开，则确认初始停车事件为可疑停车事件，并输出提示信息。

对于本发明实施例，预置时间段内所述车位对应的图像深度信息变化值小于或等于预设阈值时，说明此时车位上并没有发生物体的移动，初始判断结果可能存在误判的可能，此时通过输出提示信息，可以进一步确认初始判断结果的准确性，从而降低甚至避免停车事件误判的发生。

本发明实施例提供的一种基于图像深度信息的停车事件确定系统，通过根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息，即在原有初始判断的基础上，增加另一种停车事件判断算法，综合判断是否发生停车行为，形成了停车事件判断结果的交叉验证，将较大程度提高系统鲁棒性、可靠性，将误判概率大大降低；同时本发明可以直接在原有硬件设备环境下实施，可以保证低廉的系统和设备升级成本。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种基于图像深度信息的停车事件确定方法，其特征在于，所述方法包括：

采集车位对应的特写图像和全景图像，所述全景图像由全景相机进行采集，全景相机安装于泊位同侧或对侧的监控杆上，所述特写图像由特写相机进行采集，特写相机安装于泊位同侧或对侧的监控杆上，与全景相机相距5-30cm、光轴主光线方向与全景相机相同；

从所述特写图像和所述全景图像中获取相匹配的特征点，并且获取所述特征点在所述车位对应的全景图像中和特写图像中的视差；

根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取所述车位对应的图像深度信息；

根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息，所述初始停车事件判定结果是通过预置图像处理算法对全景图像和特写图像进行处理得到的。

2.根据权利要求1所述的基于图像深度信息的停车事件确定方法，其特征在于，所述从所述特写图像和所述全景图像中获取相匹配的特征点的步骤包括：

从全景图像中获取与所述特写图像对应的区域图像，并将所述区域图像调整为与所述特写图像大小相同的图像；

从所述调整后的图像和所述特写图像中获取两个图像中均包含的特征点。

3.根据权利要求2所述的基于图像深度信息的停车事件确定方法，其特征在于，所述从全景图像中获取与所述特写图像对应的区域图像的步骤包括：

通过预置特征点匹配算法从全景图像中获取与所述特写图像对应的区域图像。

4.根据权利要求1所述的基于图像深度信息的停车事件确定方法，其特征在于，所述获取所述特征点在所述车位对应的全景图像中和特写图像中的视差的步骤包括：

获取全景相机和特写相机对应的标定参数，并且分别获取所述特征点在所述车位对应的全景图像中和特写图像中对应的坐标参数；

根据所述标定参数和所述坐标参数获取所述特征点在所述车位对应的全景图像中和特写图像中的视差。

5.根据权利要求1所述的基于图像深度信息的停车事件确定方法，其特征在于，所述根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取所述车位对应的图像深度信息的步骤包括：

根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取车位区域每一个特征点对应的图像深度信息；

根据车位区域每一个特征点对应的图像深度信息获取车位对应的图像深度信息。

6.根据权利要求5所述的基于图像深度信息的停车事件确定方法，其特征在于，所述根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取车位区域每一个特征点对应的图像深度信息的步骤包括:

根据公式

进行计算，其中，z为车位区域特征点对应的图像深度信息，f为两个相机焦距的平均值，D为两相机投影中心的间距，d为所述特征点在所述车位对应的全景图像中和特写图像中的视差。

7.根据权利要求1所述的基于图像深度信息的停车事件确定方法，其特征在于，所述根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息的步骤包括：

若预置时间段内所述车位对应的图像深度信息深度值由大变小，且变化值大于预设阈值，同时所述车位对应的初始停车事件判定结果为有车辆停入，则确认所述车位上发生车辆停入的停车事件；

若预置时间段内所述车位对应的图像深度信息深度值由小变大，且变化值大于预设阈值，同时所述车位对应的初始停车事件判定结果为有车辆离开，则确认所述车位上发生车辆离开的停车事件。

8.根据权利要求1所述的基于图像深度信息的停车事件确定方法，其特征在于，所述根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息的步骤包括：

若预置时间段内所述车位对应的图像深度信息变化值小于或等于预设阈值，并且所述车位对应的初始停车事件判定结果为有车辆停入或有车辆离开，则确认初始停车事件为可疑停车事件，并输出提示信息。

9.根据权利要求1-8任一项所述的基于图像深度信息的停车事件确定方法，其特征在于，所述特写图像为图像内容包含1至2个泊位及泊位毗邻区域环境，图像能清晰辨别机动车前部或后部全貌的细节特征、号牌号码、地面泊位线、泊位编号的图像；

所述全景图像为图像内容包含数个泊位及泊位周边区域环境、泊位旁道路及人行道等，图片能清晰辨别机动车前部或后部全貌的全景特征、周围环境特征、标志/标线指示特征、号牌号码的图像；

所述特写图像和所述全景图像对应的图像类型包括静态图像、和/或动态图像、和/或视频。

10.一种基于图像深度信息的停车事件确定系统，其特征在于，所述系统包括：全景相机、特写相机、图像深度信息处理模块、图像识别模块、主控器；

全景相机，用于采集全景图像，全景相机安装于泊位同侧或对侧的监控杆上；

特写相机，用于采集车位对应的特写图像，特写相机安装于泊位同侧或对侧的监控杆上；

图像深度信息处理模块，用于从所述特写图像和所述全景图像中获取相匹配的特征点，并且获取所述特征点在所述车位对应的全景图像中和特写图像中的视差；根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取所述车位对应的图像深度信息；

图像识别模块，用于通过预置图像处理算法对全景图像和特写图像进行处理，得到初始停车事件判定结果；

主控器，用于根据预置时间段内所述车位对应的图像深度信息变化值和所述车位对应的初始停车事件判定结果，确定所述车位对应的停车事件信息。

11.根据权利要求10所述的基于图像深度信息的停车事件确定系统，其特征在于，

图像深度信息处理模块，具体用于从全景图像中获取与所述特写图像对应的区域图像，并将所述区域图像调整为与所述特写图像大小相同的图像；

从所述调整后的图像和所述特写图像中获取两个图像中均包含的特征点。

12.根据权利要求11所述的基于图像深度信息的停车事件确定系统，其特征在于，

图像深度信息处理模块，具体用于通过预置特征点匹配算法从全景图像中获取与所述特写图像对应的区域图像。

13.根据权利要求10所述的基于图像深度信息的停车事件确定系统，其特征在于，

图像深度信息处理模块，具体用于获取全景相机和特写相机对应的标定参数，并且分别获取所述特征点在所述车位对应的全景图像中和特写图像中对应的坐标参数；

根据所述标定参数和所述坐标参数获取所述特征点在所述车位对应的全景图像中和特写图像中的视差。

14.根据权利要求10所述的基于图像深度信息的停车事件确定系统，其特征在于，

图像深度信息处理模块，具体用于根据所述特征点在所述车位对应的全景图像中和特写图像中的视差，获取车位区域每一个特征点对应的图像深度信息；

根据车位区域每一个特征点对应的图像深度信息获取车位对应的图像深度信息。

15.根据权利要求14所述的基于图像深度信息的停车事件确定系统，其特征在于，

图像深度信息处理模块，具体还用于根据公式

进行计算，其中，z为车位区域特征点对应的图像深度信息，f为两个相机焦距的平均值，D为两相机投影中心的间距，d为所述特征点在所述车位对应的全景图像中和特写图像中的视差。

16.根据权利要求10所述的基于图像深度信息的停车事件确定系统，其特征在于，

所述主控器，具体用于

若预置时间段内所述车位对应的图像深度信息深度值由大变小，且变化值大于预设阈值，同时所述车位对应的初始停车事件判定结果为有车辆停入，则确认所述车位上发生车辆停入的停车事件；

若预置时间段内所述车位对应的图像深度信息深度值由小变大，且变化值大于预设阈值，同时所述车位对应的初始停车事件判定结果为有车辆离开，则确认所述车位上发生车辆离开的停车事件。

17.根据权利要求10所述的基于图像深度信息的停车事件确定系统，其特征在于，

若预置时间段内所述车位对应的图像深度信息变化值小于或等于预设阈值，并且所述车位对应的初始停车事件判定结果为有车辆停入或有车辆离开，则确认初始停车事件为可疑停车事件，并输出提示信息。

18.根据权利要求10-17任一项所述的基于图像深度信息的停车事件确定系统，其特征在于，所述特写图像为图像内容包含1至2个泊位及泊位毗邻区域环境，图像能清晰辨别机动车前部或后部全貌的细节特征、号牌号码、地面泊位线、泊位编号的图像；

所述全景图像为图像内容包含数个泊位及泊位周边区域环境、泊位旁道路及人行道等，图片能清晰辨别机动车前部或后部全貌的全景特征、周围环境特征、标志/标线指示特征、号牌号码的图像；

所述特写图像和所述全景图像对应的图像类型包括静态图像、和/或动态图像、和/或视频。

Images