CN104504730B - 一种对停放车辆及抛落物的区分方法 - Google Patents

Abstract

本发明公开了一种对停放车辆及抛落物的区分方法，属于交通领域。所述方法包括确定对视频图像中可能出现停放车辆或抛落物的可疑区域，以及对可疑区域内情况的具体判定。本发明通过对获取到的视频图像进行处理，在确定视频图像中存在停放车辆或抛落物的轨迹后，再轨迹对应的目标主体的投影面积与预设车辆的投影面积对比，从而判断视频图像中的目标主体是停放车辆还是抛落物，避免了现有检测技术在降维过程中由于目标高度信息的丢失导致检测精度的问题，提高了检测精度。

Description

一种对停放车辆及抛落物的区分方法

技术领域

本发明涉及交通领域，特别涉及一种对停放车辆及抛落物的区分方法。

背景技术

随着经济的发展，私家车的保有量在迅速增长。在保有量增长的同时，车辆违停和非法抛落物等违法现象也在增加，由此会导致交通事故的发生。

在现有的技术中，对于上述违法现象的检测主要有雷达、红外、超声波、视频等，相对于其他的检测技术，视频检测技术因其覆盖区域广、检测精度高、信息量大、检测灵活等特点在检测领域中的应用越加广泛。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

在检测违法现象时，视频检测技术主要是基于二维图像进行的，由于违法行为的发生是在三维空间中，在处理过程中会存在从三维到二维的降维过程，这个过程会导致检测目标高度信息的丢失，进而降低检测结果的精度。

发明内容

为了解决现有技术的问题，本发明提供了一种对停放车辆及抛落物的区分方法，所述方法用于对获取到的视频图像进行处理，所述方法包括：

步骤一，对所述视频图像的每一帧进行边缘增强处理，将处理后的图像分割为多个区域，并对所述每个区域设置计数器和异常标记；

步骤二，步骤二，选取所述视频图像的第一帧作为样本帧，获取所述处理后的图像中的剩余帧中每一帧与所述样本帧在单个所述区域内的灰度差的绝对值的和，记作第一累加和，将所述第一累加和与第一阈值对比，如果所述第一累加和小于所述第一阈值，则令所述第一累加和对应帧的所述计数器数值加一；

步骤三，如果所述剩余帧中任一帧中第一区域的计数器数值超过预设阈值，则将所述第一区域的灰度值保存为所述第一区域的第一稳定状态，并且令所述第一区域的计数器归零，如果所述剩余帧中任一帧中第一区域的计数器数值再次超过所述预设阈值，则将当前帧中第一区域的灰度值保存为所述第一区域的第二稳定状态；

步骤四，获取所述第一稳定状态与所述第二稳定状态的灰度值差的绝对值的和，记作第二累加和，将所述第二累加和与第二阈值对比，如果所述第二累加和大于所述第二阈值，则激活所述第一区域的所述异常标记，将所述第一区域中的灰度值置为255；

步骤五，在所述第一区域的所在帧内，获取所有带有所述异常标记的区域构成的外接矩形，如果所述外接矩形的面积大于第三阈值，则令所述矩形对应的区域为可疑区域；

步骤六，获取所述可疑区域所在视频图像之前最近的E帧视频图像，将带有所述异常标记的区域内设定窗口，获取所述窗口的能量变化值，如果所述能量变化值大于第四阈值，则将所述窗口的中心像素标记为候选特征点，在所述可疑区域内，选取具有最大能量变化值对应的候选特征点作为角点，如果能根据所述角点确定所述E帧视频图像中存在的运动轨迹，则进行下一步骤；

步骤七，获取所述可疑区域所在视频图像之后最近的F帧视频图像，在所述F帧视频图像中获取运动轨迹，如果没有获取到所述运动轨迹，则确定所述可疑区域内存在停放车辆或抛落物；

步骤八，对所述可疑区域进行背景去除处理，获取目标主体，将所述目标主体与预设的车辆投影样本进行面积匹配，如果所述投影区域的面积与所述预设的车辆投影样本重合区域的面积大于第五阈值，则确定所述区域内为停放车辆，否则为抛落物。

可选的，所述方法还包括：

如果所述第一累加和不小于所述第一阈值，则将所述第一累加和对应区域的计数器数值清零，并更新所述样本帧的所述单个区域的数据。

可选的，所述方法还包括：

如果所述第二累加和不大于所述第二阈值，将所述第一稳定状态中的灰度值替换为所述第二稳定状态中的灰度值。

可选的，所述方法还包括：

如果所述外接矩形的面积不大于第三阈值，则舍弃所述异常标记的区域数据。

可选的，根据所述角点确定所述E帧视频图像中存在的运动轨迹，包括：

在所述E帧图像的每一帧中在预设搜索范围内进行遍历，确定每一帧所述视频图像中与所述角点匹配的点；

将所述匹配的点与所述角点连接构成连线，所述连线为所述视频图像中存在的运动轨迹。

本发明提供的技术方案带来的有益效果是：

通过对获取到的视频图像进行处理，在确定视频图像中存在停放车辆或抛落物的轨迹后，再根据对应的目标主体与预设车辆的投影样本重合区域的面积与预设阈值的关系，从而判断视频图像中的目标主体是停放车辆还是抛落物，避免了现有检测技术在降维过程中由于目标高度信息的丢失导致检测精度的问题，提高了检测精度。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种对停放车辆及抛落物的区分方法的流程示意图；

图2是本发明提供的将第二帧与样本帧进行局部区域对比的示意图；

图3是本发明提供的检测出的异常区域的示意图；

图4是本发明提供的根据多个异常区域确定的可疑区域外接矩形的示意图；

图5是本发明提供的计算移动窗口的变化量的示意图；

图6是本发明提供的块匹配的跟踪方法的示意图；

图7是本发明提供的减背景后获得目标主体的示意图；

图8是本发明提供的异常区域的投影与小轿车模型匹配的结果示意图；

图9是本发明提供的提示停放车辆的所在位置的消息窗口的示意图。

具体实施方式

为使本发明的结构和优点更加清楚，下面将结合附图对本发明的结构作进一步地描述。

实施例一

本发明提供了一种对停放车辆及抛落物的区分方法，所述方法用于对获取到的视频图像进行处理，如图1所示，该方法包括：

步骤一，对所述视频图像的每一帧进行边缘增强处理，将处理后的图像分割为多个区域，并对所述每个区域设置计数器和异常标记。

在实施中，在对视频图像的每一帧进行边缘增强处理前，往往需要视频图像的画面进行基于直方图的线性拉伸处理，处理后的视频图像相对于拉伸处理前，图像的亮度和对比度得到了增强，边缘细节部分更为突出，最终使得图像的清晰度得到明显的改善，便于后续的处理，在拉伸处理结束后，通过使用简化的一阶微分算子提取每一帧视频图像中的图像边缘，之后采用中值滤波的方式对图像边缘进行滤波，便于减少图像边缘的毛刺。

上述中值滤波是一种非线性的滤波处理方法，该方法的中心思想是使用像素点领域灰度值的中值来代替该像素点的灰度值，中值滤波器例如

f(x,y)＝median{Sf(x,y)}，

其中Sf(x,y)是点f(x,y)附近的一个区域，对于本实施例中的滤波对象来说，可以通过对最相邻的五个像素点的灰度值进行排序，进而将排序后的中间值作为滤波对象的像素值，这样就可以去除图像边缘中的噪声分量。这里之所以进行边缘增强，是可以突出处理对象的边缘信息。

在上述边缘增强处理后，还需要将视频图像的每一帧分割为多个区域，具体的，需要将每一帧视频图像分块，具体通过如下公式：

其中W、H、w、h分别为图像的宽度、高度、块的宽度、高度，即图像在水平方向上的像素个数、垂直方向上的像素个数以及任意区域在水平方向上的像素个数和垂直方向上的像素个数，C表示水平方向划分的区域的个数，R表示垂直方向划分的区域的个数，之后并为每一个区域设置一个计数器CN、异常标记D。这里视频图像的分辨率为720×288，分块后的每一区域大小为6×8，单位均为像素pixel。

步骤二，选取所述视频图像的第一帧作为样本帧，获取所述处理后的图像中的剩余帧中每一帧与所述样本帧在单个所述区域内的灰度差的绝对值的和，记作第一累加和，将所述第一累加和与第一阈值对比，如果所述第一累加和小于所述第一阈值，则令所述第一累加和对应帧的所述计数器数值加一。

可选的，所述方法还包括：

如果所述第一累加和不小于所述第一阈值，则将所述第一累加和对应帧的计数器数值清零，并更新样本帧。

在实施中，将视频图像中的第一帧作为样本帧，将与该帧相邻的第二帧与样本帧进行对比，具体的比较对象为每帧视频图像中的每个区域中对应位置像素的灰度值，如图2所示，将第二帧区域一中的全部像素的灰度值与样本帧中相同位置的区域一种的全部像素的灰度值一一对比，例如第二帧中的五个像素的灰度值依次为122、54、18、220、214，样本帧中同一区域的五个像素的灰度值依次为53、85、147、56、244，这样可以得到上述五个像素灰度值的差依次为69、-31、-129、164、-30，进而可以确定上述灰度值的差的绝对值的和为69+31+129+164+30＝423，即第一累加和为423，接下来将第一累加和与第一阈值进行对比，如果第一累加和小于第一阈值，则将该第一累加和对应的区域的计数器数值加一，这里第一阈值的取值范围为500至600。

对应的，如果所述第一累加和不小于所述第一阈值，则将所述第一累加和对应区域的计数器数值清零，并更新所述样本帧的所述单个区域的数据。

在实施中，如果第一累加和不小于第一阈值时，表明该区域的灰度值没有超过预设的标准，直接将该区域的计数器的数值清零，并且将该区域的数据更新。也就是用该区域的灰度值去替换样本帧中同一区域的灰度值。

步骤三，如果所述剩余帧中任一帧中第一区域的计数器数值超过预设阈值，则将所述第一区域的灰度值保存为所述第一区域的第一稳定状态，并且令所述第一区域的计数器归零，如果所述剩余帧中任一帧中第一区域的计数器数值再次超过所述预设阈值，则将当前帧中第一区域的灰度值保存为所述第一区域的第二稳定状态。

在实施中，将第一帧作为样本帧，将第二帧的第一区域内所有像素的灰度值与样本帧的第一区域内所有像素的灰度值计算灰度值的差，并将所有差进行绝对值求和即第三累加和，如果第三累加和大于预设阈值，就使用第二帧的第一区域中的像素的灰度值将样本帧中的第一区域中像素的灰度值进行替代，保证样本帧随着背景的变化进行实时更新；反之，如果第三累加和小于预设阈值，就将第一区域的计数器的数值加一，接着将第三帧的第一区域与样本帧的第一区域进行上述求第一累加和的计算，接着是第四帧的第一区域、第五帧的第一区域，以此类推，如果进行到第三百帧时第一区域的计数器达到了预设阈值，就将第三百帧图像中的第一区域中的各个像素灰度值保存到第一区域的稳定状态一中。这里的预设阈值的取值范围是60至100。

步骤四，获取所述第一稳定状态与所述第二稳定状态的灰度值差的绝对值的和，记作第二累加和，将所述第二累加和与第二阈值对比，如果所述第二累加和大于所述第二阈值，则激活所述第一区域的所述异常标记，将所述第一区域中的灰度值置为255。

可选的，所述方法还包括：

如果所述第二累加和不大于所述第二阈值，将所述第一稳定状态中的灰度值替换为所述第二稳定状态中的灰度值。

在实施中，延续步骤三中的内容，在将第三百帧图像中的第一区域中的各个像素灰度值保存到第一区域的稳定状态一中之后，令计数器从零开始计数，如果进行到八百帧时第一区域的计数器再次一次达到第二阈值时，将第八百帧图像的第一区域中的各个像素的灰度值保存到第一区域的第二稳定状态中，并计算第一区域的第一稳定状态和第二稳定状态中的第一区域即6×8＝48个像素灰度值之差的绝对值的和，即第二累加和，如果第二累加和大于预设阈值，就认为第一区域是异常区域，将第一区域的异常标记置为TRUE。这里第二阈值的取值范围是500至600。

如果第一、第二稳定状态均是一个区域的，那这里在计算累加和并与阈值对比后，将该区域全部灰度置为255，其余置为0，这里的其余指的是整幅图像中除去所有异常区域块以外的部分。如图3所示，其中白色线条所围成区域就是异常区域的外接矩形，白色的块就是检测出来的所有异常区域。黑色的部分不是异常区域。

值得注意的是，不管第二累加和相对于预设阈值是大还是小，都用第二稳定状态中存储的数据去替换第一稳定状态中的数据。对视频图像中的每一区域都进行如以上第一区域的所有操作。

具体以第一区域进行说明，由于第一区域在检测出第一个稳定状态后还要进行计数器的重新累加检测第二个稳定状态，检测完第二个稳定状态后并没有停止对第一区域的处理还要进行第三个、第四个、第五个等等稳定状态的检测，而当前给每个区域只分配了两个存储空间用于存储稳定状态，并且这两个存储空间存储的是距离现在最近的、也就是时间上最新的两个稳定状态。例如当前检测出了三个稳定状态，按时间顺序依次为第一稳定状态、第二稳定状态、第三稳定状态，需要计算的应该的第三个与第二个稳定状态的累加和，而不是第三个和第一个稳定状态的累加和。因此每检测出一个稳定状态就要把存储在稳定状态二中，而之前的稳定状态二是距离当前检测出的稳定状态最近的稳定状态，因此把之前的稳定状态二中的数据存放在稳定状态一中，也就是所谓的“将所述第一稳定状态中的灰度值替换为所述第二稳定状态中的灰度值”，这样仅需要计算第二稳定状态与第一稳定状态的累计和就可以确定时间上最新的当前区域的数据情况。

步骤五，在所述第一区域的所在帧内，获取所有带有所述异常标记的区域构成的外接矩形，如果所述外接矩形的面积大于第三阈值，则令所述矩形对应的区域为可疑区域。

可选的，所述方法还包括：

如果所述外接矩形的面积不大于第三阈值，则舍弃所述异常标记的区域数据。

在实施中，如图4，在该视频图像帧中，存在多个带有异常标记的区域，即填充有黑色斜线的部分，根据这些区域存在的位置边缘，确定外接矩形，并确定该外接矩形的面积，当该面积大于第三阈值时，将该矩形围成的区域即为视为可疑区域。小于阈值的情况，就不作处理。这里第三阈值的取值为5至10。

步骤六，获取所述可疑区域所在视频图像之前最近的E帧视频图像，将带有所述异常标记的区域内设定窗口，获取所述窗口的能量变化值，如果所述能量变化值大于第四阈值，则将所述窗口的中心像素标记为候选特征点，在所述可疑区域内，选取具有最大能量变化值对应的候选特征点作为角点，如果能根据所述角点确定所述E帧视频图像中存在的运动轨迹，则进行下一步骤。

可选的，根据所述角点确定所述E帧视频图像中存在的运动轨迹，包括：

在所述E帧图像中进行遍历，确定每一帧所述视频图像中与所述角点匹配的点；

将所述匹配的点与所述角点连接构成连线，所述连线为所述视频图像中存在的运动轨迹。

在实施中，具体如下所示：

首先，在异常区域内设定一个局部窗口，

窗口的大小是w×w。

其次，将该局部窗口在一定方向发生移动时，在移动方向的对角线上确定最近的五个参考点，将该五个参考点的灰度值两两求差，以及绝对值求和，该和为所述局部窗口的能量变化值，将该变化值与第三阈值对比，如果该变化值大于第三阈值，则将该窗口的中心像素作为候选特征点，

在本实施例中采用的是Moravec角点检测算法，常用的Moravec角点检测算法是计算四个方向(即0°、45°、90°和135°)上相邻像素的灰度差平方和。例如计算图像像素点(x，y)的能量变化，

E＝min(V₁,V₂,V₃,V₄)，

其中，代表取整，V₁、V₂、V₃、V4分别代表沿着90°、0°、45°、135°方向的能量变化值，选取四个方向的能量变化值E中最小的作为像素点(x，y)的能量变化值，如果该能量变化值E大于一定的阈值，就将像素点(x，y)作为候选特征点。

再次，在可疑区域内，选择具有最大能量变化值对应的候选特征点作为角点。

对异常区域内的所有像素点都计算它的能量变化值，选取能量变化值最大的像素点作为所要选取得角点。

当窗口大小为5×5时，如图5所示，除去中心点，单个方向上参与计算的像素点个数为4，当图像有噪声时，Moravec算法易受噪声的影响。因此，在本实施例中对传统Moravec算法稍作改进，增加参与计算的像素点数量，不仅仅利用过待检测点的四个方向上的点，而是利用这四个方向上大小为W×H的小块来进行角点提取。

为减少计算量，将原算法中的求平方运算改为取绝对值运算，则新的角点检测算法可按如下公式计算：

选取四个方向的能量变化值中最小的作为像素点(x，y)的能量变化值，如果该能量变化值大于一定的阈值，这里的第四阈值的取值范围为200至300，就将像素点(x，y)作为候选特征点，对异常区域内的所有像素点都计算它的能量变化值，选取能量变化值最大的像素点作为所要选取得角点。

最后，根据角点，在E帧视频图像中，确定运动轨迹。具体包括：

在所述E帧图像中进行遍历，确定每一帧所述视频图像中与所述角点匹配的点；

将所述匹配的点与所述角点连接构成连线，所述连线为所述视频图像中存在的运动轨迹.

在本实施例中采用的角点选取方法是改进的Moravec算法，具体采用的是基于块匹配的跟踪方法，如图6所示，设视频序列第N帧时，在异常区域内采用Moravec算子得到的角点为P₀(x，y)；以P₀(x，y)为中心，构造一个大小为a×b的子块，那么在第N-1帧给定的搜索窗口(R×Q)内找到该块的匹配块，那么匹配块中心的位置就表示该块在N-1帧时所处的位置，找匹配块是采用的是全搜索法，即对搜索范围内的所有位置依次进行计算，选择与模板最相似的小块作为匹配块。与模板最相似的小块的中心点就是角点在这一帧的位置。假设位置是P₁(x，y)，对E帧图像依次进行跟踪将会得到一系列的匹配点，将这些匹配点连起来就是角点的轨迹。判断是否是最相似小块的准则是，待匹配小块与搜索范围内某小块的各个像素之差的绝对值之和最小。这里E的取值一般为300。

步骤七，获取所述可疑区域所在视频图像之后最近的F帧视频图像，在所述F帧视频图像中获取运动轨迹，如果没有获取到所述运动轨迹，则确定所述可疑区域内存在停放车辆或抛落物。

在实施中，具体的步骤与步骤六相同，只不过步骤七中是前一帧与后一帧进行匹配，而步骤七是后一帧与前一帧进行匹配，即一个是向前匹配一个是向后匹配。具体的匹配过程是一样的，详情可以参考步骤六，这里就不在赘述。这里F的取值一般为50至60。

步骤八，对所述可疑区域进行背景去除处理，获取目标主体，将所述目标主体与预设的车辆投影样本进行面积匹配，如果所述投影区域的面积与所述预设的车辆投影样本重合区域的面积大于第五阈值，则确定所述区域内为停放车辆，否则为抛落物。

在实施中，减背景后获得目标主体，如图7所示，本身已经是二维图像，因此将目标主体与预先算好的几种常用车型的投影一一进行面积匹配，异常区域的投影与小轿车模型匹配的结果如图8所示，灰色的重合的面积区域为456，大于特定的阈值，所以判断是停车。这里的第五阈值的取值范围为400至500。

在判断结束后，可以通过多种方式提示判断结果，如图9所示，即为通过消息窗口，提示停放车辆的所在位置。

本实施例中提出的一种对停放车辆及抛落物的区分方法，通过对获取到的视频图像进行处理，在确定视频图像中存在停放车辆或抛落物的轨迹后，再轨迹对应的目标主体的投影面积与预设车辆的投影面积对比，从而判断视频图像中的目标主体是停放车辆还是抛落物，避免了现有检测技术在降维过程中由于目标高度信息的丢失导致检测精度的问题，提高了检测精度。

需要说明的是：上述实施例提供的一种对停放车辆及抛落物的区分方法对停放车辆和抛落物进行区分的实施例，仅作为该区分方法中在实际应用中的说明，还可以根据实际需要而将上述区分方法在其他应用场景中使用，其具体实现过程类似于上述实施例，这里不再赘述。

上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程中的先后顺序。

以上所述仅为本发明的实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种对停放车辆及抛落物的区分方法，所述方法用于对获取到的视频图像进行处理，其特征在于，所述方法包括：

步骤一，对所述视频图像的每一帧进行边缘增强处理，将处理后的图像分割为多个区域，并对所述多个区域中的每个区域设置计数器和异常标记；

步骤二，选取所述视频图像的第一帧作为样本帧，获取所述处理后的图像中的剩余帧中每一帧与所述样本帧在单个所述区域内的灰度差的绝对值的和，记作第一累加和，将所述第一累加和与第一阈值对比，如果所述第一累加和小于所述第一阈值，则令所述第一累加和对应帧的所述计数器数值加一；

步骤三，如果所述剩余帧中任一帧中第一区域的计数器数值超过预设阈值，则将所述第一区域的灰度值保存为所述第一区域的第一稳定状态，并且令所述第一区域的计数器归零，如果所述剩余帧中任一帧中第一区域的计数器数值再次超过所述预设阈值，则将当前帧中第一区域的灰度值保存为所述第一区域的第二稳定状态；

步骤四，获取所述第一稳定状态与所述第二稳定状态的灰度值差的绝对值的和，记作第二累加和，将所述第二累加和与第二阈值对比，如果所述第二累加和大于所述第二阈值，则激活所述第一区域的所述异常标记，将所述第一区域中的灰度值置为255；

步骤五，在所述第一区域的所在帧内，获取所有带有所述异常标记的区域构成的外接矩形，如果所述外接矩形的面积大于第三阈值，则令所述矩形对应的区域为可疑区域；

步骤六，获取所述可疑区域所在视频图像之前最近的E帧视频图像，将带有所述异常标记的区域内设定窗口，获取所述窗口的能量变化值，如果所述能量变化值大于第四阈值，则将所述窗口的中心像素标记为候选特征点，在所述可疑区域内，选取具有最大能量变化值对应的候选特征点作为角点，如果能根据所述角点确定所述E帧视频图像中存在的运动轨迹，则进行下一步骤；

步骤七，获取所述可疑区域所在视频图像之后最近的F帧视频图像，在所述F帧视频图像中获取运动轨迹，如果没有获取到所述运动轨迹，则确定所述可疑区域内存在停放车辆或抛落物；

步骤八，对所述可疑区域进行背景去除处理，获取目标主体，将所述目标主体与预设的车辆投影样本进行面积匹配，如果所述目标主体的投影面积与所述预设的车辆投影样本重合区域的面积大于第五阈值，则确定所述区域内为停放车辆，否则为抛落物。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述第一累加和不小于所述第一阈值，则将所述第一累加和对应区域的计数器数值清零，并更新所述样本帧的单个所述区域的数据。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述第二累加和不大于所述第二阈值，将所述第一稳定状态中的灰度值替换为所述第二稳定状态中的灰度值。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述外接矩形的面积不大于第三阈值，则舍弃所述异常标记的区域数据。

5.根据权利要求1所述的方法，其特征在于，根据所述角点确定所述E帧视频图像中存在的运动轨迹，包括：

在所述E帧视频图像的每一帧中在预设搜索范围内进行遍历，确定每一帧所述E帧视频图像中与所述角点匹配的点；

将所述匹配的点与所述角点连接构成连线，所述连线为所述E帧视频图像中存在的运动轨迹。