CN111091135B - 一种静止物体误检的剔除方法和系统 - Google Patents

Abstract

本发明公开了一种静止物体误检的剔除方法和系统，该方法包括：按照设定时间间隔获取视频中的图像帧作为当前采集的图像；从当前采集的图像中识别出待检测目标，得到待检测目标在当前采集的图像中的位置；获取历史图像；根据待检测目标在当前采集的图像中的位置，截取第一子图作为待检测目标的图像；在历史图像中与第一子图对应的位置截取第二子图作为待检测目标的对比图像；计算第一子图和第二子图的相似度；根据相似度剔除静止的待检测目标；将当前采集的图像更新到历史图像。本发明无需连续检测，适用于低帧率的场景；同时，本发明先对目标进行截取，仅需要进行局部计算，其运算量更小，效率更高。本发明可以广泛应用于图像处理技术。

Description

一种静止物体误检的剔除方法和系统

技术领域

本发明涉及图像处理技术，尤其是一种静止物体误检的剔除方法和系统。

背景技术

视频中的目标检测技术是人工智能领域非常重要的一个分支，其用用十分广泛。随着对图像技术的深入研究，业界发展出很多算法模型能够实现视频中的目标检测。但是无论何种算法模型，均存在一定的误检概率，需要对误检的结果进行剔除。其中，在活动物体检测中，比较容易出现的误检对象为长得像活动物体的静态物体，例如海报上的人脸。

当前活动物体检测基于连续视频检测全局动态目标，从而判断和剔除静止物体，一般称为动态目标检测。其存在的主要问题是该技术需要对视频画面进行全局处理，计算复杂度高，计算量大。同时，要求对视频进行连续检测，信息处理量巨大，并且无法适应低帧率的应用场景。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种高效且可以应用在低帧率场景的静止物体误检的剔除方法和系统。

本发明所采取的第一种技术方案是：

一种静止物体误检的剔除方法，包括以下步骤：

按照设定时间间隔获取视频中的图像帧作为当前采集的图像；

从当前采集的图像中识别出待检测目标，得到待检测目标在当前采集的图像中的位置；

获取历史图像；

根据待检测目标在当前采集的图像中的位置，截取第一子图作为待检测目标的图像；

在历史图像中与第一子图对应的位置截取第二子图作为待检测目标的对比图像；

计算第一子图和第二子图的相似度；

判断相似度是否大于设定阈值，若是，则剔除待检测目标；反之，则判定待检测目标为活动物体；

将当前采集的图像更新到历史图像。

进一步，所述相似度的计算步骤包括：

将第一子图和第二子图作差，得到差图；

将差图二值化，将前差图的景取值为1，差图的背景取值为0，得到二值化图；

在二值化图中查找最大的前景连通域；

计算在差图中位于所述最大的前景连通域内的所有像素点的像素值之和；

根据所述像素值之和计算第一子图和第二子图的相似度。

进一步，所述差图的各像素点的像素值的计算公式为：

其中，a_ij表示第一子图的第i行第j列的点的像素值，b_ij表示第二子图的第i行第j列的点的像素值，d_ij表示差图的第i行第j列的点的像素值，R表示红色分量，B表示蓝色分量，G表示绿色分量。

进一步，所述二值化的计算公式为：

其中，e_ij表示二值化图的第i行第j列的点的像素值，K为经验常数。

进一步，所述像素值之和的计算公式为：

其中，Φ表示所述最大的前景连通域在差图D中的对应区域，m表示像素值之和。

进一步，所述相似度的计算公式为：

其中，M为经验值，P为相似度。

进一步，所述历史图像包括第一至第N历史图像；N大于等于2；

所述将当前采集的图像更新到历史图像，其具体包括：

第一更新步骤和第二更新步骤；

所述第一更新步骤具体为：

当N大于等于3时；

按照X取值从大到小的次序，依次将第X历史图像覆盖第X+1历史图像，其中X∈[1，N-1]；

当N等于2时：

将第一历史图像覆盖第二历史图像；

所述第二更新步骤具体为：

将当前采集的图像覆盖第一历史图像。

进一步，在所述第一更新步骤之前还包括以下步骤：

获取当前时间和上一次执行第一更新步骤的时间，并计算两个时间点的时间差；

判断所述时间差是否大于设定阈值，若是，则执行第一更新步骤；反之，则直接执行第二更新步骤。

进一步，所述设定时间间隔为1～2秒。

本发明所采取的第二种技术方案是：

一种静止物体误检的剔除系统，包括：

采集部，用于按照设定时间间隔获取视频中的图像帧作为当前采集的图像；

识别部，用于从当前采集的图像中识别出待检测目标，得到待检测目标在当前采集的图像中的位置；

判别部；

计算部，用于计算图像的相似度；

存储部，用于存储历史图像；

所述判别部具体包括：

图像获取单元，用于从存储部获取历史图像；

截取单元，用于根据待检测目标在当前采集的图像中的位置，截取第一子图作为待检测目标的图像；在历史图像中与第一子图对应的位置截取第二子图作为待检测目标的对比图像；

相似度获取单元，用于将第一子图和第二子图送入计算部以获取第一子图和第二子图相似度；

判断单元，用于判断相似度是否大于设定阈值，若是，则剔除待检测目标；反之，则判定待检测目标为活动物体；

更新单元，用于将当前采集的图像更新到历史图像；

所述采集部与识别部连接，所述判别部分别与识别部、存储部和计算部连接。

本发明的有益效果是：本发明通过按照设定时间间隔获取视频中的图像帧，然后从当前采集的图像中识别并截取出待检测目标，然后将截取的待检测目标与历史图片中的相应位置进行对比，以两者的相似度作为依据来判断待检测目标是否为静止物体；本发明无需连续检测，只需要按照一定的时间间隔采集图像即可，适用于低帧率的场景，同时，本发明先对目标进行截取，仅需要进行局部计算，相对于现有技术全局检测的方法，本发明的运算量更小，效率更高。

附图说明

图1为本发明一种具体实施例的静止物体误检的剔除方法的流程图；

图2为本发明一种具体实施例的静止物体误检的剔除系统的模块框图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明进行进一步的说明。

参照图1，本实施例公开了一种静止物体误检的剔除方法，本方法可以通过计算机实现，本方法包括以下步骤：

S1、按照设定时间间隔获取视频中的图像帧作为当前采集的图像。在本实施例中所述设定的时间间隔为人为设定值，该设定值可以是1s或者2s等单个定值，也可以是有规律的数组。例如，可以每1s采集一次，也可以按照1s、2s、1s、2s如此循环的时间间隔进行采集。作为代替实施例，所述设定时间间隔也可以是在一个时间范围内随机的。每经过一个设定时间间隔，我们从视频中获取一个图像帧作为当前采集的图像。通过根据设定时间间隔获取检测图像的方法，我们可以将本发明应用在低帧率的场合。同时，我们可以实现通过一个服务器，同时处理多路摄像头的画面。假设服务器处理图像的速度为20ms每张，那么我们设置设定时间间隔为2s时，服务器能够同时处理100个摄像头的画面。相对于现有技术，大大提升了处理效率。

S2、从当前采集的图像中识别出待检测目标，得到待检测目标在当前采集的图像中的位置。当获取到当前采集的图像后，我们可以通过现有的图像识别算法，来识别出待检测目标。所述待检测目标应当是如人、猫、狗或者车等活动物体。所述图像识别算法可以采用基于深度学习模型实现，如ssd模型、yolo模块或者rcnn模型等，本领域技术人员可以根据性能和效率要求灵活选择现有的图像识别算法实现本步骤。

S3、获取历史图像。所述历史图像实际上是在设定时间间隔之前采集的图像，我们通过存储装置将其存储起来作为参考图像。所述历史图像应当至少有一张。当然，在系统初始化阶段，我们首先需要采集一个新的图像来更新之前存储的历史图像，或者来填补之前不存在的历史图像。否则，历史图像将会失去其对比的意义。

S4、根据待检测目标在当前采集的图像中的位置，截取第一子图作为待检测目标的图像。图像识别的结果一般是一个区域，我们可以将该区域截取出来，以减少后续对比的运算量，提升计算速度。

S5、在历史图像中与第一子图对应的位置截取第二子图作为待检测目标的对比图像。同理，在截取第一子图后，我们只需要用第一子图和历史图像中相同位置的第二子图进行对比即可。

S6、计算第一子图和第二子图的相似度。至于怎么计算两张图像的相似度，我们可以采用不同的算法。例如可以采用欧氏距离、汉明距离或者余弦相似度等方法计算。

S7、根据所述相似度，剔除为静止物体的待检测目标。

具体地，本步骤为：判断相似度是否大于设定阈值，若是，则剔除待检测目标；反之，则判定待检测目标为活动物体；所述设定阈值我们可以根据相似度的计算公式和实验结果来调整。

S8、将当前采集的图像更新到历史图像。每次经过判别后我们可以将当前采集的图像更新到历史图像中。

经过本发明的各个步骤，系统可以获知待检测目标中哪些是静止物体，哪些是活动物体。从而避免安防系统针对静止物体触发报警。

由于考虑到检测的是动态目标，动态目标可能会部分偏移，因此我们可以采用差图的方法来使得相似度的计算更加优化，以减少运算量，提升精准度。

作为优选的实施例，所述相似度的计算步骤包括：

a、将第一子图和第二子图作差，得到差图；

b、将差图二值化，将前差图的景取值为1，差图的背景取值为0，得到二值化图；

c、在二值化图中查找最大的前景连通域；

d、计算在差图中位于所述最大的前景连通域内的所有像素点的像素值之和；

e、根据所述像素值之和计算第一子图和第二子图的相似度。

作为优选的实施例，所述差图的各像素点的像素值的计算公式为：

其中，a_ij表示第一子图的第i行第j列的点的像素值，b_ij表示第二子图的第i行第j列的点的像素值，d_ij表示差图的第i行第j列的点的像素值，R表示红色分量，B表示蓝色分量，G表示绿色分量。

作为优选的实施例，所述二值化的计算公式为：

其中，e_ij表示二值化图的第i行第j列的点的像素值，K为经验常数。

作为优选的实施例，所述像素值之和的计算公式为：

其中，Φ表示所述最大的前景连通域在差图D中的对应区域，m表示像素值之和。

作为优选的实施例，所述相似度的计算公式为：

其中，M为经验值，P为相似度。

以上计算公式的结合为本发明最优算法的具体实现方式，其具有较好的精度。

为了提升对比的精度，我们可以提升历史图像的数量，那么我们可以通过对比多张历史图像来综合评价待检测目标是否为静止物体。当历史图片的数量为多张时，我们可以采用不同的判定逻辑。例如，我们可以要求待检测目标与所有历史图像的相似度均超过设定阈值才可以判定该检测目标为静止物体并将之剔除。同理，我们也可以仅要求待检测目标与部分历史图像的相似度超过设定阈值即可判定待检测目标为静止物体。

作为优选的实施例，本实施例提供了当历史图像为多张时的处理逻辑。

所述历史图像包括第一至第N历史图像；N大于等于2；

所述步骤S8具体包括：

第一更新步骤和第二更新步骤；

所述第一更新步骤具体为：

当N大于等于3时；

按照X取值从大到小的次序，依次将第X历史图像覆盖第X+1历史图像，其中X∈[1，N-1]，X和N均为正整数。以N等于3为例，首先我们将当前的第二历史图像覆盖当前的第三历史图像，作为新的第三历史图像，然后我们将当前的第一历史图像覆盖当前的第二历史图像，作为新的第二历史图像，在第二更新步骤中，将当前采集的图像覆盖到第一历史图像中。

当N等于2时：

将第一历史图像覆盖第二历史图像；

所述第二更新步骤具体为：

将当前采集的图像覆盖第一历史图像。

当历史图片变为多张时，如果每一次需要更新所有的历史图片，会增加服务器的运算量。历史图片的数量越多，运算量越庞大。

作为优选的实施例，在本实施例中，对于第一更新步骤的执行，我们可以设置时间条件，以减少第一更新步骤的执行次数，减少服务器的运算量，在所述第一更新步骤之前还包括以下步骤：

获取当前时间和上一次执行第一更新步骤的时间，并计算两个时间点的时间差；

判断所述时间差是否大于设定阈值，若是，则执行第一更新步骤；反之，则直接执行第二更新步骤。

作为优选的实施例，所述设定时间间隔为1～2秒。采取1～2秒的采集间隔，可以在保证目标不容易丢失的情况下，减少服务器的运算量，以支持数量更大的摄像头。

当然，在处理多路摄像头时，我们可以给每个摄像头进行唯一编号，并针对每一个唯一的编号分配历史图像的存储空间。

参照图2，本实施例公开了一种静止物体误检的剔除系统，包括：

采集部，用于按照设定时间间隔获取视频中的图像帧作为当前采集的图像；

识别部，用于从当前采集的图像中识别出待检测目标，得到待检测目标在当前采集的图像中的位置；

判别部；

计算部，用于计算图像的相似度；

存储部，用于存储历史图像；

所述判别部具体包括：

图像获取单元，用于从存储部获取历史图像；

截取单元，用于根据待检测目标在当前采集的图像中的位置，截取第一子图作为待检测目标的图像；在历史图像中与第一子图对应的位置截取第二子图作为待检测目标的对比图像；

相似度获取单元，用于将第一子图和第二子图送入计算部以获取第一子图和第二子图相似度；

判断单元，用于判断相似度是否大于设定阈值，若是，则剔除待检测目标；反之，则判定待检测目标为活动物体；

更新单元，用于将当前采集的图像更新到历史图像；

所述采集部与识别部连接，所述判别部分别与识别部、存储部和计算部连接。

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (5)

1.一种静止物体误检的剔除方法，其特征在于：包括以下步骤：

按照设定时间间隔获取视频中的图像帧作为当前采集的图像；

从当前采集的图像中识别出待检测目标，得到待检测目标在当前采集的图像中的位置；

获取历史图像；

根据待检测目标在当前采集的图像中的位置，截取第一子图作为待检测目标的图像；

在历史图像中与第一子图对应的位置截取第二子图作为待检测目标的对比图像；

计算第一子图和第二子图的相似度；

判断相似度是否大于设定阈值，若是，则剔除待检测目标；反之，则判定待检测目标为活动物体；

将当前采集的图像更新到历史图像；

其中，所述相似度的计算步骤包括：

将第一子图和第二子图作差，得到差图；

将差图二值化，将前差图的景取值为1，差图的背景取值为0，得到二值化图；

在二值化图中查找最大的前景连通域；

计算在差图中位于所述最大的前景连通域内的所有像素点的像素值之和；

根据所述像素值之和计算第一子图和第二子图的相似度；

其中，所述差图的各像素点的像素值的计算公式为：

其中，a_ij表示第一子图的第i行第j列的点的像素值，b_ij表示第二子图的第i行第j列的点的像素值，d_ij表示差图的第i行第j列的点的像素值，R表示红色分量，B表示蓝色分量，G表示绿色分量；

所述二值化的计算公式为：

其中，e_ij表示二值化图的第i行第j列的点的像素值，K为经验常数；

其中，所述像素值之和的计算公式为：

其中，Φ表示所述最大的前景连通域在差图中的对应区域，m表示像素值之和；

其中，所述相似度的计算公式为：

其中，M为经验值，P为相似度。

2.根据权利要求1所述的一种静止物体误检的剔除方法，其特征在于：所述历史图像包括第一至第N历史图像；N为大于等于2的正整数；

所述将当前采集的图像更新到历史图像，其具体包括第一更新步骤和第二更新步骤；

所述第一更新步骤具体为：

当N大于等于3时；

按照X的取值从大到小的次序，依次将第X历史图像覆盖第X+1历史图像，其中，X∈[1，N-1]，X为正整数；

当N等于2时：

将第一历史图像覆盖第二历史图像；

所述第二更新步骤具体为：

将当前采集的图像覆盖第一历史图像。

3.根据权利要求2所述的一种静止物体误检的剔除方法，其特征在于：在所述第一更新步骤之前还包括以下步骤：

获取当前时间和上一次执行第一更新步骤的时间，并计算两个时间点的时间差；

判断所述时间差是否大于设定阈值，若是，则执行第一更新步骤；反之，则直接执行第二更新步骤。

4.根据权利要求1所述的一种静止物体误检的剔除方法，其特征在于：所述设定时间间隔为1～2秒。

5.一种静止物体误检的剔除系统，其特征在于：包括：

采集部，用于按照设定时间间隔获取视频中的图像帧作为当前采集的图像；

识别部，用于从当前采集的图像中识别出待检测目标，得到待检测目标在当前采集的图像中的位置；

判别部；

计算部，用于计算图像的相似度；

存储部，用于存储历史图像；

所述判别部具体包括：

图像获取单元，用于从存储部获取历史图像；

截取单元，用于根据待检测目标在当前采集的图像中的位置，截取第一子图作为待检测目标的图像；在历史图像中与第一子图对应的位置截取第二子图作为待检测目标的对比图像；

相似度获取单元，用于将第一子图和第二子图送入计算部以获取第一子图和第二子图相似度；

判断单元，用于判断相似度是否大于设定阈值，若是，则剔除待检测目标；反之，则判定待检测目标为活动物体；

更新单元，用于将当前采集的图像更新到历史图像；

所述采集部与识别部连接，所述判别部分别与识别部、存储部和计算部连接；

其中，所述相似度的计算步骤包括：

将第一子图和第二子图作差，得到差图；

将差图二值化，将前差图的景取值为1，差图的背景取值为0，得到二值化图；

在二值化图中查找最大的前景连通域；

计算在差图中位于所述最大的前景连通域内的所有像素点的像素值之和；

根据所述像素值之和计算第一子图和第二子图的相似度；

其中，所述差图的各像素点的像素值的计算公式为：

其中，a_ij表示第一子图的第i行第j列的点的像素值，b_ij表示第二子图的第i行第j列的点的像素值，d_ij表示差图的第i行第j列的点的像素值，R表示红色分量，B表示蓝色分量，G表示绿色分量；

所述二值化的计算公式为：

其中，e_ij表示二值化图的第i行第j列的点的像素值，K为经验常数；

其中，所述像素值之和的计算公式为：

其中，Φ表示所述最大的前景连通域在差图中的对应区域，m表示像素值之和；

其中，所述相似度的计算公式为：

其中，M为经验值，P为相似度。

Images