CN104050679A - 一种违法停车的自动取证方法 - Google Patents

Abstract

本发明公开了一种违法停车的自动取证方法，通过将抓拍的场景上的每个点与智能球形网络摄像机的抓拍位置处的最佳球机参数相对应，然后对抓拍场景的图像进行背景图像和运动前景图像的建模及更新，结合提取的运动前景图像和帧差图像实时更新表示刚刚停止运动的运动目标留下的静止掩膜图像，对静止掩膜图像二值化后即可得到刚刚停止运动的目标所在位置的映射图像，然后对映射图像进行连通区域标记，获得刚刚静止的运动目标区域的位置信息，根据这些信息即可进行下一步的车辆鉴别和违法认定，违法认定清楚后即可根据之前求得的场景图像位置与最佳球机参数的对应关系，将球机控制到最佳的抓拍角度对违法车辆进行多次抓拍取证。

Description

一种违法停车的自动取证方法

 

技术领域

本发明涉及一种违法停车的自动取证方法，特别是一种利用智能球形网络摄像机的违法停车的自动取证方法。

背景技术

近年来，城市内的机动车辆呈现出井喷式的快速增长，由此导致违法停车的现象越来越普遍，引发了诸如道路交通拥堵，交通管制困难等一系列的现实难题。有关部门采用人工监管和摄像机监控虽然在一定程度上可以缓解该问题，但仍然效率低下，浪费了大量人力物力。目前市场上仍然普遍缺乏一种智能型抓拍网络摄像机来自动完成违法停车的取证工作。

发明内容                       

本发明的目的在于，提供一种违法停车的自动取证方法。它可以高效稳定地完成违法停车的取证工作。

本发明的技术方案：一种违法停车的自动取证方法，其特点是，包括以下步骤：

步骤A，设置智能球形网络摄像机（既可进行远程控制和数据传输的球形摄像机，下文简述为球机）中轮询抓拍的场景预置点位和指定每个预置点位上图像中的违法停车抓拍区域及各种与抓拍相关算法参数；其中与抓拍相关算法参数包括抓拍区域中机动车辆的最大像素宽度和最小像素宽度和允许车辆临时停靠的最长时间。

步骤B，针对设置的每一个抓拍的场景，对场景图像中的参考点进行标定，根据标定结果获得将场景图像中每一个坐标点映射为系统最佳抓拍位置下的球机参数的透视投影变换关系，该标定过程只需在系统启动时完成一次即可，该标定过程奠定了后续球机精准定位，快速抓拍的基础；

步骤C，更新背景模型，提取运动前景图像；

步骤D，更新静止掩膜图像;

步骤E，静止掩膜图像二值化运算得到二值化图像;

步骤F，对二值化图像进行连通区域标记，若存在明显的连通区域则证明检测到疑似停止的候选机动车区域，进入步骤G；若不存在连通区域则回到步骤C;

步骤G，在候选的机动车停止区域采用AdaBoost算法进一步验证是否存在机动车以及提取机动车的具体位置，检测到机动车辆则进入下一步，没有则返回步骤C；为了能够抓拍到不同视角下的机动车辆，本发明可以利用收集到的各种不同角度下、不同类型的机动车辆样本构建非常鲁棒的车辆检测器。

步骤H，利用步骤B的标定结果将发现的违法停车的机动车辆的图像坐标映射为系统最佳抓拍位置下的球机参数，系统直接控制球机迅速到最佳抓拍位置实施抓拍和车牌识别，并记录相关近景抓拍信息，在超过用户设定的允许临时停车时间阈值时系统会再次驱动球机到最佳抓拍位置实施二次近景抓拍取证，两次近景抓拍之间还采集多个的远景抓拍图片，并生成完整的抓拍录像数据，利用这些信息可生成丰富的违法停车取证结果。

前述的违法停车的自动取证方法中，在所述步骤A中设置多个抓拍场景，控制智能球形网络摄像机以轮询抓拍的方式在不同抓拍场景之间进行切换，有效扩大了违法停车的监控范围。

前述的违法停车的自动取证方法中，所述步骤B中标定的具体方法为：在场景图像中任意选取至少4个参考点，记录这些点在场景图像上的坐标                                               ，其中是每个参考点的索引；然后通过云台控制智能球形网络摄像机的转动分别将场景图像上的参考点移至图像中央，再对智能球形网络摄像机进行变焦拉近操作，直至图像上只能容纳一辆小车时停止拉近，记录下此时球机的状态参数即完成了一个参考点的标定，其中为球机当前的水平倾斜角，为球机当前的垂直倾斜角，为球机当前的变倍值，为每个参考点的索引，这样得到的参数为系统最佳抓拍位置处的球机参数，每标定好一个参考点之后，将智能球形网络摄像机调整回该场景的预置位状态，然后再对下一个参考点进行同样的操作；所有参考点都标定完后，跟参考点位置关系与系统最佳抓拍位置处的球机参数的对应关系，求解出图像位置坐标与系统最佳抓拍位置处的球机参数的透视投影变换关系。

前述的违法停车的自动取证方法中，所述步骤C具体方法为：利用背景建模技术对抓拍的场景进行建模，建模过程中首先对背景模型初始化操作，初始化操作在智能球形网络摄像机启动抓拍时的第一帧时完成，具体过程是对于每一个像素点随机的在其邻域范围内采集若干个像素点（具体采集多少个点可以自行设定，优选值为9-30之间），利用采集的这些像素点的颜色值作为当前像素点的描述模型。背景模型初始化完成之后，接下来的每一帧就需要对背景模型进行更新，并同时提取运动信息前景图像提取，具体过程是：针对输入图像帧的每一个像素点，分别计算该点和与之对应的描述模型中的样本点之间的颜色欧氏距离，若距离小于某一个阈值，则认为该点与其描述模型中的样本点相匹配，假如该点与其描述模型中的所有样本点的匹配个数超过2个，则当前像素点属于背景，否则属于前景，至此便完成了运动前景图像的提取；如果当前像素点被判断为背景，则按照一定的采样概率用该像素点当前的颜色值去随机更新与之对应的描述模型中的某一个样本点，为预设的采样因子（优选值在10-30之间），同时也按照的概率用该点的颜色值去随机的更新其邻域内任意一个其他像素点对应的描述模型中的全部样本点中的某一个；如果一个像素点连续被判断为前景的帧数超过一定的阈值，则也有的概率用该点的当前颜色值去随机更新其对应的描述模型中的某一个样本点。本发明的背景模型更新和运动前景图像的提取运算具有计算复杂度极低的优点。

前述的违法停车的自动取证方法中，所述步骤D具体方法为：结合合提取的运动前景图像和帧差图像实时更新表示刚刚停止运动的运动目标留下的静止掩膜图像；其中帧差图像的获取方法为，计算相邻两帧图像差值的绝对值小于阈值的在帧差图像中置0，大于阈值的置255；（用公式表示如下：）

而的更新方式为，当运动前景图像不等于0且帧差图像等于0时，为1，否则为，其中为一个正整数经验值。用公式表示如下：

与现有技术相比，本发明是通过将抓拍的场景上的每个点与智能球形网络摄像机的抓拍位置处的最佳球机参数相对应，然后对抓拍场景的图像进行背景图像和运动前景图像的建模及更新，结合提取的运动前景图像和帧差图像实时更新表示刚刚停止运动的运动目标留下的静止掩膜图像，对静止掩膜图像二值化后即可得到刚刚停止运动的目标所在位置的映射图像，然后对映射图像进行连通区域标记，获得刚刚静止的运动目标区域的位置信息，根据这些信息即可进行下一步的车辆鉴别和违法认定，违法认定清楚后即可根据之前求得的场景图像位置与最佳球机参数的对应关系，将球机控制到最佳的抓拍角度对违法车辆进行多次抓拍。本发明的取证方法不仅更为精准可靠，而且可以大幅削减球机的转动次数，从而可以提高取证的工作效率，可以很好地替代繁琐的人工取证方式。

采用本发明所述的技术方案结合实际需求可以生成多样化的违停抓拍效果：

效果1：首次发现车辆停止时，生成第一张抓拍图片，达到允许临时停靠的最长时间后生成第二张抓拍图片，然后将球机参数全部调整到最佳抓拍参数下生成第三张抓拍图片，最后根据识别出的车牌位置，再生成一个车牌特写图像，由此组成四张违停抓拍取证结果上传给相应的数据中心。效果参见图1。

效果2：首次发现车辆停止时，生成第一张抓拍图片，达到允许临时停靠的最长时间后将球机的角度参数调整到最佳抓拍位置，此时抓拍车辆位于图像中间，生成第二张抓拍图片，然后将球机的倍率调整到最佳抓拍位置的倍率下生成第三张抓拍图片，最后根据识别出的车牌位置，在生成一个车牌特写图像，由此组成四张违停抓拍取证结果上传给相应的数据中心。效果参见附图2。

效果3：首次发现车辆停止时，生成第一张抓拍图片，然后再将球机参数调整到最佳抓拍位置，生成第二张抓拍图片，之后调整球机回到预置位，等待一定时间后生成第三张抓拍图片，在车辆停止的时间超过允许临时停靠的最长时间后立即将球机参数调整到最佳抓拍参数下，生成第四张抓拍图像，由此组成四张违停抓拍取证结果上传给相应的数据中心。效果参见附图3。

附图说明

图1是表示本发明生成的第一种抓拍效果。

图2是表示本发明生成的第二种抓拍效果。

图3是表示本发明生成的第三种抓拍效果。

下面结合实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。

实施例。一种违法停车的自动取证方法，包括以下步骤：

步骤A，设置智能球形网络摄像机中轮询抓拍的场景预置点位和指定每个预置点位上图像中的违法停车抓拍区域及各种与抓拍相关算法参数；

步骤B，针对设置的每一个抓拍的场景，对场景图像中的参考点进行标定，根据标定结果获得将场景图像中每一个坐标点映射为系统最佳抓拍位置下的球机参数的透视投影变换关系；

步骤C，更新背景模型，提取运动前景图像；

步骤D，更新静止掩膜图像;

步骤E，静止掩膜图像二值化运算得到二值化图像；

步骤F，对二值化图像进行连通区域标记，若存在明显的连通区域则证明检测到疑似停止的候选机动车区域，进入步骤G；若不存在连通区域则回到步骤C;

步骤G，在候选的机动车停止区域采用AdaBoost算法进一步验证是否存在机动车以及提取机动车的具体位置，检测到机动车辆则进入下一步，没有则返回步骤C; 

步骤H，利用步骤B的标定结果将发现的违法停车的机动车辆的图像坐标映射为系统最佳抓拍位置下的球机参数，系统直接控制球机迅速到最佳抓拍位置实施抓拍和车牌识别，并记录相关近景抓拍信息，在超过用户设定的允许临时停车时间阈值时系统会再次驱动球机到最佳抓拍位置实施二次近景抓拍取证，两次近景抓拍之间还采集多个的远景抓拍图片，并生成完整的抓拍录像数据，利用这些信息可生成丰富的违法停车取证结果。

所述步骤A中设置多个抓拍场景，控制智能球形网络摄像机以轮询抓拍的方式在不同抓拍场景之间进行切换，有效扩大了违法停车的监控范围。

所述步骤B中标定的具体方法为：在场景图像中任意选取至少4个参考点，记录这些点在场景图像上的坐标，其中是每个参考点的索引；然后通过云台控制智能球形网络摄像机的转动分别将场景图像上的参考点移至图像中央，再对智能球形网络摄像机进行变焦拉近操作，直至图像上只能容纳一辆小车时停止拉近，记录下此时球机的状态参数即完成了一个参考点的标定，其中为球机当前的水平倾斜角，为球机当前的垂直倾斜角，为球机当前的变倍值，为每个参考点的索引，这样得到的参数为系统最佳抓拍位置处的球机参数，每标定好一个参考点之后，将智能球形网络摄像机调整回该场景的预置位状态，然后再对下一个参考点进行同样的操作；所有参考点都标定完后，跟参考点位置关系与系统最佳抓拍位置处的球机参数的对应关系，求解出图像位置坐标与系统最佳抓拍位置处的球机参数的透视投影变换关系。本发明可以通过迅速的将相应场景中画面上的任意一点坐标映射为最佳抓拍位置处的球机参数，并迅速的调整球机到该状态实施抓拍。该功能和目前球机普遍具备的框选放大功能是有本质区别的，框选放大是把用户选定的某点居中，然后放大到某一个固定的倍率下，而该倍率并不是违法取证抓拍时的最佳倍率。所谓最佳倍率就是指在该倍率下，整个图像中恰好只能容纳一辆机动车，不仅可看到车窗，也可保证车牌在图像内，且车牌的大小是非常有利于车牌识别的。这样既可以保证抓拍取证的权威性，同时也能够避免因识别到附近其他车牌而导致误抓等现象，通过标定获取的正是这个最佳倍率。图像坐标，最佳抓拍位置处的球机参数与二者之间的透视投影变换系数的关系如下（以参考点为4个举例），通过一般的矩阵方程求解即可得到。

所述步骤C具体方法为：利用背景建模技术对抓拍的场景进行建模，然后对对景模型初始化操作，初始化操作在智能球形网络摄像机启动抓拍时的第一帧时完成，初始化操作具体是对于每一个像素点随机的在其邻域范围内采集若干个像素点（具体采集多少个点可以自行设定，优选值通常在9-30之间），利用采集的这些像素点的颜色值作为当前像素点的描述模型。针对图像的每一个像素点，分别计算该点和与之对应的描述模型中的样本点之间的颜色欧氏距离，若距离小于某一个阈值，则认为该点与其描述模型中的样本点相匹配，假如该点与其描述模型中的所有样本点的匹配个数超过2个，则当前像素点属于背景，否则属于前景，至此便完成了运动前景图像的提取；如果当前像素点被判断为背景，则按照一定的采样概率用该像素点当前的颜色值去随机更新与之对应的描述模型中的某一个样本点，为预设的采样因子（优选值通常在10-30之间），同时也按照的概率用该点的颜色值去随机的更新其邻域内任意一个其他像素点对应的描述模型中的全部样本点中的某一个；如果一个像素点连续被判断为前景的帧数超过一定的阈值，则也有的概率用该点的当前颜色值去随机更新其对应的描述模型中的某一个样本点。

所述步骤D具体方法为：结合提取的运动前景图像和帧差图像实时更新表示刚刚停止运动的运动目标留下的静止掩膜图像；其中帧差图像的获取方法为，计算相邻两帧图像差值的绝对值小于阈值（阈值取值根据实际情况可以为40-100之间的整数值）的在帧差图像中置0，大于阈值的置255，用公式表示如下：

而的更新方式为，当运动前景图像不等于0且帧差图像等于0时，为1，否则为，其中为一个正整数经验值（5至20之间的整数都可以）,用公式表示如下： 

对二值化即可得到刚刚停止运动的目标所在位置的映射图像，为二值化阈值，本实施例优选的阈值为200。

在中进行连通区域标记，获得刚刚静止的运动目标区域的位置信息（记录了该区域的上下左右坐标信息），这些位置信息中就包含了刚刚停止的车辆位置信息。接下来再筛选哪些中真正包含了机动车辆。

确认所包含的子图像区域中是否存在机动车辆的方式，本实施例采用方法进行车辆检测以排除非机动车辆区域，同时获取停止的机动车辆的精确位置。

采用车辆检测的基本原理是：

1：离线构建车辆分类器

步骤1：准备正样本集和负样本集。为了确保在室外不同路况和多角度情况下，都能够有效的检测到车辆，收集了不同视角，不同车型的机动车辆样本图像约50000张（包括机动车的车头和车尾），所有车辆样本图像的宽高均归一化为20x20，再对收集的样本做一些人工处理，可将正样本集拓展为100000左右。负样本集的采集手段分为从互联网上抓取和从实际监控录像截取两种方式获得，所有负样本图像均经过人工处理，不包含任何机动车辆。

步骤2：使用全部100000个车辆正样本并结合经典的方法，即可得到判断一个区域图像是否为机动车辆的分类器。

2：在线车辆检测

在确定的每一个候选区域中，遍历所有尺度为20x20的子窗口，分别将每一个子窗口图像输入到7.1中得到的分类器进行判断，得出该子窗口是否为机动车辆的信息，若输出为车辆则记录当前子窗口的精确位置。为了保证系统可以检测到不用大小的机动车辆，需要对子区域图像按照一定的比例进行缩小，然后重复上述遍历的步骤，在缩小后的图像中检测到的机动车辆的位置需还原到在原始图像中的位置。最终对所有判断为机动车辆的图像区域的坐标取平均即可得到机动车辆位置的精确坐标。

确定有机动车辆在违法停车区域内静止后，将机动车辆的位置图像坐标通过标定得到的变换关系立刻得出系统调动球机对该车辆实施抓拍的最佳球机参数，然后通过云台控制球机转到该参数的状态下，待球机聚焦稳定后立即进行车牌识别并记录识别结果和抓拍时间等相关信息，本发明控制球机拉近并进行车辆近景特写图片抓拍的过程可控制在3s左右。为了能够说明机动车在违法停车区域内连续停止时间超过了某一个允许临时停车的时间（该时间为最初用户配置的），超过该时间后，系统会控制球机再次回到初始抓拍该车辆的位置并捕获该时刻的特写图片。另外在连续两次进行抓拍特写的时间间隙内，当球机处于预置位状态时，系统可在此时间捕获数量不等的车辆远景特写图片，从而可全程记录违法停车的车辆状态信息，同时系统可生成整个抓拍过程的全程录像。违法停车的抓拍图片和录像均可通过网络直接从前端上传到后端。本发明另一优势就是抓拍过程中极大的减少了球机的转动次数，从而对于提升球机的使用寿命是非常有利的。需要说明的一点是上述的抓拍图片取证方式只是本优选实施例的特例，但并不唯一，可结合实际情况进行调整。

以上为本发明的优选实施例的详细说明，凡是参考本实施例所做的改进，均属于本发明的覆盖范围之内。

Claims (5)

1.一种违法停车的自动取证方法，其特征在于，包括以下步骤：

步骤A，设置智能球形网络摄像机中轮询抓拍的场景预置点位和指定每个预置点位上图像中的违法停车抓拍区域及与抓拍相关算法参数，其中与抓拍相关算法参数包括抓拍区域中机动车辆的最大像素宽度和最小像素宽度和允许车辆临时停靠的最长时间；

步骤B，针对设置的每一个抓拍的场景，对场景图像中的参考点进行标定，根据标定结果获得将场景图像中每一个坐标点映射为系统最佳抓拍位置下的球机参数的透视投影变换关系;

步骤C，更新背景模型，提取运动前景图像;

步骤D，更新静止掩膜图像;

步骤E，静止掩膜图像二值化运算得到二值化图像;

步骤F，对二值化图像进行连通区域标记，若存在明显的连通区域则证明检测到疑似停止的候选机动车区域，进入步骤G；若不存在连通区域则回到步骤C;

步骤G，在候选的机动车停止区域采用AdaBoost算法进一步验证是否存在机动车以及提取机动车的具体位置，检测到机动车辆则进入下一步，没有则返回步骤C; 

步骤H，利用步骤B的标定结果将发现的违法停车的机动车辆的图像坐标映射为系统最佳抓拍位置下的球机参数，系统直接控制球机迅速到最佳抓拍位置实施抓拍和车牌识别，并记录相关近景抓拍信息，在超过用户设定的允许临时停车时间阈值时系统会再次驱动球机到最佳抓拍位置实施二次近景抓拍取证，两次近景抓拍之间还采集多个的远景抓拍图片，并生成完整的抓拍录像数据，利用这些信息可生成丰富的违法停车取证结果。

2.根据权利要求1所述的违法停车的自动取证方法，其特征在于：在所述步骤A中设置多个抓拍场景，控制智能球形网络摄像机以轮询抓拍的方式在不同抓拍场景之间进行切换，有效扩大了违法停车的监控范围。

3.根据权利要求1所述的违法停车的自动取证方法，其特征在于，所述步骤B中标定的具体方法为：在场景图像中任意选取至少4个参考点，记录这些点在场景图像上的坐标                                                ，其中是每个参考点的索引；然后通过云台控制智能球形网络摄像机的转动分别将场景图像上的参考点移至图像中央，再对智能球形网络摄像机进行变焦拉近操作，直至图像上只能容纳一辆小车时停止拉近，记录下此时球机的状态参数即完成了一个参考点的标定，其中为球机当前的水平倾斜角，为球机当前的垂直倾斜角，为球机当前的变倍值，为每个参考点的索引，这样得到的参数为系统最佳抓拍位置处的球机参数，每标定好一个参考点之后，将智能球形网络摄像机调整回该场景的预置位状态，然后再对下一个参考点进行同样的操作；所有参考点都标定完后，跟参考点位置关系与系统最佳抓拍位置处的球机参数的对应关系，求解出图像位置坐标与系统最佳抓拍位置处的球机参数的透视投影变换关系。

4.根据权利要求1所述的违法停车的自动取证方法，其特征在于，所述步骤C具体方法为：利用背景建模技术对抓拍的场景进行运动信息的前景图像提取；所述背景建模技术的具体过程为：首先需要对背景模型进行初始化操作，初始化操作在智能球形网络摄像机转动到相应抓拍场景后启动抓拍时的第一帧完成，利用第一帧图像信息，每一个像素点随机的在其邻域范围内采集若干个像素点，利用采集的这些像素点的颜色值作为当前像素点的描述模型；完成背景模型的初始化后，后续通过更新背景模型来实现运动信息的前景图像提取，具体过程为：针对图像的每一个像素点，分别计算该点和与之对应的描述模型中的样本点之间的颜色欧氏距离，若距离小于某一个阈值，则认为该点与其描述模型中的样本点相匹配，假如该点与其描述模型中的所有样本点的匹配个数超过2个，则当前像素点属于背景，否则属于前景，至此便完成了运动前景图像的提取；如果当前像素点被判断为背景，则按照一定的采样概率用该像素点当前的颜色值去随机更新与之对应的描述模型中的某一个样本点，为预设的采样因子，同时也按照的概率用该点的颜色值去随机的更新其邻域内任意一个其他像素点对应的描述模型中的全部样本点中的某一个；如果一个像素点连续被判断为前景的帧数超过一定的阈值，则也有的概率用该点的当前颜色值去随机更新其对应的描述模型中的某一个样本点。

5.根据权利要求4所述的违法停车的自动取证方法，其特征在于，所述步骤D具体方法为：结合提取的运动前景图像和帧差图像实时更新表示刚刚停止运动的运动目标留下的静止掩膜图像；其中帧差图像的获取方法为，计算相邻两帧图像差值的绝对值小于阈值的在帧差图像中置0，大于阈值的置255； 

而的更新方式为，当运动前景图像不等于0且帧差图像等于0时，为1，否则为，其中为一个正整数经验值。