CN113076894B - 一种连续帧目标检测去重方法及装置 - Google Patents

Abstract

本申请公开了一种连续帧目标检测去重方法及装置，包括：获取连续视频帧；将图像进行分块；在上一帧图像中搜索与当前帧图像块误差值最小的匹配块，并获取匹配块到当前帧图像块的位移向量；将位移向量进行分类，并计算每一类中的平均位移向量；根据平均位移向量搜索当前帧图像块对应的匹配块；将PSNR值大于预设阈值对应的当前帧图像块标记为可重复使用区域；将上一帧图像的目标检测结果作为待搜索图像区域，搜索当前帧中与待搜索图像区域误差值最小的匹配区域；将匹配区域与可重复使用区域作为当前帧在上一帧图像中的重复区域，使得对当前帧进行目标检测时不对重复区域进行计算。本申请解决了现有技术在目标检测时计算区域多，计算量增大的技术问题。

Description

一种连续帧目标检测去重方法及装置

技术领域

本申请涉及目标检测技术领域，尤其涉及一种连续帧目标检测去重方法及装置。

背景技术

随着大量移动设备和可穿戴设备使用广泛流行，道路车辆检测和监控，行人数量统计，认知辅助，生活方式监测，街道导航等等连续视频检测任务主要采用深度学习的目标检测技术。

而在现有的目标检测技术当中，网络模型存在计算量大的问题，无法直接将网络模型放到移动设备上直接计算，现有的方法是借助视频连续图像有大量区域重复的特性，将上一帧的重复结果沿用到下一帧的检测当中，从而减少在下一帧中需要检测计算的区域数量。问题的关键在于如何搜索重复区域。

现有的搜索算法采用图像块匹配算法，搜索整帧图像的平均位移向量，并根据平均位移向量确定重复区域。但存在的问题是搜索得到的平均位移向量只有一个确定方向，在实际应用场景中并不是所有物体都按着同样的位移向量进行移动，对于静止的物体和建筑来说，它们符合整帧图像的平均位移向量，但对于移动的物体，它们的运动位移向量和整帧图像的平均位移向量并不一致，而如果只考虑单方向的平均位移向量，这些运动中的物体都无法在原图像帧中找到匹配的物体位置，导致现有的搜索算法在场景存在变化物体较多的情况下能够搜索得到的重复区域较少，后续用于目标检测计算的区域增多，计算量增大。

发明内容

本申请实施例提供了一种连续帧目标检测去重方法及装置，解决了现有的搜索算法在场景存在变化物体较多的情况下能够搜索得到的重复区域较少，导致后续用于目标检测计算的区域增多，计算量增大的技术问题。

有鉴于此，本申请第一方面提供了一种连续帧目标检测去重方法，所述方法包括：

获取连续的视频帧；

将当前帧图像和上一帧图像进行分块；

在上一帧图像中搜索与当前帧图像中图像块误差值最小的第一匹配块，并获取所述第一匹配块到当前帧图像中对应的图像块的位移向量；

按方向将所述位移向量进行分类，并计算每一类中所述位移向量的平均值作为平均位移向量，根据所述位移向量所在类别获取当前帧图像中图像块对应的所述平均位移向量；

根据所述平均位移向量在上一帧图像中搜索当前帧图像中图像块对应的第二匹配块；

计算所述第二匹配块对应的PSNR，将PSNR值大于第一预设阈值的所述第二匹配块对应的当前帧图像块标记为可重复使用区域；

将上一帧图像的目标检测结果对应的图像区域作为待搜索图像区域，在当前帧图像中搜索与所述待搜索图像区域误差值最小的匹配区域；

将所述匹配区域与所述可重复使用区域作为当前帧图像在上一帧图像中的重复区域，使得后续对当前帧进行目标检测时，不对所述重复区域进行计算。

可选的，在所述根据所述匹配区域与所述可重复使用区域，获取当前帧图像在上一帧图像中的重复区域，使得后续对当前帧进行目标检测时，不对所述重复区域进行计算，之前还包括：

计算所述匹配区域对应的PSNR值，筛选出PSNR值大于第二预设阈值的所述匹配区域。

可选的，所述按方向将所述位移向量进行分类，并计算每一类中所述位移向量的平均值作为平均位移向量，根据所述位移向量所在类别获取当前帧图像中图像块对应的所述平均位移向量，包括：

将所述位移向量按上、下、左、右、左上、左下、右上、右下、原点，共九个方向进行分类；

计算每一类中所述方向对应的位移向量对应的的平均值作为平均位移向量，根据所述位移向量所在类别获取当前帧图像中图像块对应的所述平均位移向量。

可选的，所述将所述位移向量按上、下、左、右、左上、左下、右上、右下、原点，共九个方向进行分类，之后，还包括：

采用欧氏距离的kmeans聚类方法对每一类中的所述位移向量进行聚类得到聚类集合，得到两类聚类集合，第一类集合是主要位移向量集合，该集合中包含在一类方向上所述位移向量之间差值小于位移向量差值阈值的所述位移向量；第二类集合是剩余位移向量集合，该集合中包含一类方向上与主要位移向量集合位移向量差值大于位移向量差值阈值的所述位移向量。

可选的，所述采用欧氏距离的kmeans聚类方法对每一类中的所述位移向量进行聚类得到聚类集合，包括：

对于n个数据点xⁱ和k个聚类簇的中心点c_j，求解以下方程式：

在任意方向上，聚类得到多种不同类别的位移向量集合。

可选的，所述误差值的计算公式为：

式中w、h表示图像块宽高，当前帧图像块和上一帧图像块的w、h值相同,x表示当前帧图像块，x_ij表示当前帧图像块的像素点，y表示上一帧图像块，y_ij表示上一帧图像块的像素点。

可选的，所述计算每一类中所述位移向量的平均值作为平均位移向量，包括：

{(x_i,y_i),(x′_i,y′_i)}为集合S中当前帧图像块和对应的所述第一匹配块对，N为集合S的元素数量。

本申请第二方面提供一种连续帧目标检测去重装置，所述装置包括：

获取单元，用于获取连续的视频帧；

分块单元，用于将当前帧图像和上一帧图像进行分块；

第一匹配单元，用于在上一帧图像中搜索与当前帧图像中图像块误差值最小的第一匹配块，并获取所述第一匹配块到当前帧图像中对应的图像块的位移向量；

第一分类单元，用于按方向将所述位移向量进行分类，并计算每一类中所述位移向量的平均值作为平均位移向量，根据所述位移向量所在类别获取当前帧图像中图像块对应的所述平均位移向量；

第二匹配单元，用于根据所述平均位移向量在上一帧图像中搜索当前帧图像中图像块对应的第二匹配块；

第一计算单元，用于计算所述第二匹配块对应的PSNR，将PSNR值大于第一预设阈值的所述第二匹配块对应的当前帧图像块标记为可重复使用区域；

第三匹配单元，用于将上一帧图像的目标检测结果对应的图像区域作为待搜索图像区域，在当前帧图像中搜索与所述待搜索图像区域误差值最小的匹配区域；

重复区域获取单元，用于将所述匹配区域与所述可重复使用区域作为当前帧图像在上一帧图像中的重复区域，使得后续对当前帧进行目标检测时，不对所述重复区域进行计算。

可选的，还包括：

第二计算单元，用于计算所述匹配区域对应的PSNR值，筛选出PSNR值大于第二预设阈值的所述匹配区域。

可选的，所述第一分类单元具体包括：

第二分类单元，用于将所述位移向量按上、下、左、右、左上、左下、右上、右下、原点，共九个方向进行分类；

第三计算单元，用于计算每一类中所述方向对应的位移向量对应的的平均值作为平均位移向量，根据所述位移向量所在类别获取当前帧图像中图像块对应的所述平均位移向量。

从以上技术方案可以看出，本申请具有以下优点：

本申请中，提供了一种连续帧目标检测去重方法，包括：获取连续的视频帧；将当前帧图像和上一帧图像进行分块；在上一帧图像中搜索与当前帧图像中图像块误差值最小的第一匹配块，并获取第一匹配块到当前帧图像中对应的图像块的位移向量；按方向将位移向量进行分类，并计算每一类中位移向量的平均值作为平均位移向量，根据位移向量所在类别获取当前帧图像中图像块对应的平均位移向量；根据平均位移向量在上一帧图像中搜索当前帧图像中图像块对应的第二匹配块；计算第二匹配块对应的PSNR，将PSNR值大于第一预设阈值的第二匹配块对应的当前帧图像块标记为可重复使用区域；将上一帧图像的目标检测结果对应的图像区域作为待搜索图像区域，在当前帧图像中搜索与待搜索图像区域误差值最小的匹配区域；将匹配区域与可重复使用区域作为当前帧图像在上一帧图像中的重复区域，使得后续对当前帧进行目标检测时，不对重复区域进行计算。

本申请考虑到在图像块匹配的过程中，除了由于摄像头变化产生的图像块移动的主要方向之外，还存在场景中其他移动中的物体，物体的移动方向和摄像头本身的移动方向不一定是一致的，所以对不同方向的图像块进行分类再计算各自的移动向量可以减少对移动物体统计的遗漏；通过对于上一帧检测得到的目标检测结果，在搜索范围内寻找当前帧中是否存在符合的匹配目标，由于检测到的目标检测结果在连续前后帧之间移动范围不会很大，而且搜索框为目标区域大小，即使目标存在部分区域的光照影响或者形变，对于目标整体计算误差值的影响也不会很大，因此，本申请方法可以快速的寻找到对应目标，减少需要重新检测的计算区域。

附图说明

图1为本申请一种连续帧目标检测去重方法的一个实施例的方法流程图；

图2为本申请一种连续帧目标检测去重方法的另一个实施例的方法流程图；

图3为本申请一种连续帧目标检测去重装置的一个实施例结构示意图；

图4为本申请一种连续帧目标检测去重方法的一个实施例的实现系统架构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请一种连续帧目标检测去重方法的一个实施例的方法流程图，如图1所示，图1中包括：

101、获取连续的视频帧；

需要说明的是，本申请可以从图像采集设备获取到连续的视频帧，并对视频帧进行连续性的目标检测，获取目标区域。

102、将当前帧图像和上一帧图像进行分块；

需要说明的是，获取到连续的视频帧后，可以对连续的视频帧进行图像分块，将每一帧图像都分成大小相等的图形块。本申请中可以把当前图像帧和上一帧图像都分成N*N的图像块。

103、在上一帧图像中搜索与当前帧图像中图像块误差值最小的第一匹配块，并获取第一匹配块到当前帧图像中对应的图像块的位移向量；

需要说明的是，本申请可以采用菱形搜索算法，在上一帧图像中搜索当前图像帧中每一块图像块误差值最小的匹配块。菱形搜索算法为常见的图像块的搜索算法，例如H.264视频编码技术中用到的菱形搜索算法。具体为，按照菱形模板在上一帧图像中搜索与当前帧图像中图像块最小平均绝对值误差(MinimumAverage Distortion，MAD)值最小的图像块，即为第一匹配块，MAD的计算公式为：

式中w、h表示图像块宽高，当前帧图像块和上一帧图像块的w、h值相同,x表示当前帧图像块，x_ij表示当前帧图像块的像素点，y表示上一帧图像块，y_ij表示上一帧图像块的像素点。

104、按方向将位移向量进行分类，并计算每一类中位移向量的平均值作为平均位移向量，根据位移向量所在类别获取当前帧图像中图像块对应的平均位移向量；

需要说明的是，本申请可以按照位移向量的方向将位移向量分类成多个类别，再计算每个类别中位移向量的平均值记为平均位移向量，则根据每个当前帧图像中图像块对应的位移向量所在的类别，将所属类别的平均位移向量作为该类别中所有图像块的新的位移向量，以便于图像块可以根据平均位移向量在上一帧图像中找到对应的图像块。

具体的，计算每一类中位移向量的平均值作为平均位移向量，包括：

{(x_i,y_i),(x_i',y_i')}为集合S中当前帧图像块和对应的第一匹配块对，N为集合S的元素数量。

105、根据平均位移向量在上一帧图像中搜索当前帧图像中图像块对应的第二匹配块；

需要说明的是，可以根据所在位移向量类别对应的平均位移向量，从上一帧图像中获取当前帧图像块的平均位移向量对应的第二匹配块。

106、计算第二匹配块对应的PSNR，将PSNR值大于第一预设阈值的第二匹配块对应的当前帧图像块标记为可重复使用区域；

需要说明的是，可以计算出第二匹配块的PSNR值，并将PSNR值与第一预设阈值T做比较，如果第二匹配块的PSNR值大于T，则认为该待匹配块可在上一帧图像中找到相应块进行匹配，而对于PSNR小于T的第二匹配块，则认为在上一帧图像中找不到匹配图像块，最终计算得到当前图像帧的可重复使用区域。

具体的，峰值信噪比PSNR的计算公式为：

上式中的MAX_I表示图像点颜色的最大数值，如果每个像素点采用8位数据表示则MAX_I＝2⁸＝255，对于宽高分别为w、h的图像块I，K，I和K通常是表示估计的图像与原始图像。MSE的计算方式如下：

107、将上一帧图像的目标检测结果对应的图像区域作为待搜索图像区域，在当前帧图像中搜索与待搜索图像区域误差值最小的匹配区域；

需要说明的是，通过对于上一帧图像的检测得到的目标检测结果，在搜索范围内寻找当前帧中是否存在与上一帧的目标检测结果重复的部分，由于检测到的目标检测结果在连续前后帧之间移动范围不会很大，而且搜索框为目标区域大小，即使目标存在部分区域的光照影响或者形变，对于目标整体计算误差值的影响也不会很大。因此，本申请可以将将上一帧图像的目标检测结果对应的图像区域作为待搜索图像区域，采用菱形搜索算法在当前帧图像中搜索与待搜索图像区域误差值最小的匹配区域。

108、将匹配区域与可重复使用区域作为当前帧图像在上一帧图像中的重复区域，使得后续对当前帧进行目标检测时，不对重复区域进行计算。

需要说明的是，本申请第一部分使用平均位移向量得到的PSNR大于第一预设阈值的当前帧图像的可重复使用区域，以及第二部分将上一帧图像的目标检测结果在当前帧图像中搜索得到的匹配区域作为当前帧图像的重复区域，使得在后续对当前帧进行目标检测时，不对重复区域进行计算，从而减少了计算量。图3为一种具体的实施方式中的一种具体的实现系统的架构图。

本申请考虑到在图像块匹配的过程中，除了由于摄像头变化产生的图像块移动的主要方向之外，还存在场景中其他移动中的物体，物体的移动方向和摄像头本身的移动方向不一定是一致的，所以对不同方向的图像块进行分类再计算各自的移动向量可以减少对移动物体统计的遗漏；通过对于上一帧检测得到的目标检测结果，在搜索范围内寻找当前帧中是否存在符合的匹配目标，由于检测到的目标检测结果在连续前后帧之间移动范围不会很大，而且搜索框为目标区域大小，即使目标存在部分区域的光照影响或者形变，对于目标整体计算误差值的影响也不会很大，因此，本申请方法可以快速的寻找到对应目标，减少需要重新检测的计算区域。

本申请还提供了一种连续帧目标检测去重方法的另一个实施例，如图2所示，图2中包括：

201、获取连续的视频帧；

202、将当前帧图像和上一帧图像进行分块；

203、在上一帧图像中搜索与当前帧图像中图像块误差值最小的第一匹配块，并获取第一匹配块到当前帧图像中对应的图像块的位移向量；

204、将位移向量按上、下、左、右、左上、左下、右上、右下、原点，共九个方向进行分类；

需要说明的是，可以将所有第一匹配块对应的的位移向量按上、下、左、右、左上、左下、右上、右上、原点一共九个方向进行分类。例如位移向量由(x,y)表示时，方向上表示x＝0，y>0；方向下x＝0，y<0；方向左表示x>0，y＝0；方向右表示x<0，y＝0；方向左上表示x<0，y>0；方向左下表示x<0，y<0；方向右上表示x>0，y>0；方向右下表示x>0，y<0；方向为原点表示x＝0，y＝0；即该位移向量在前后帧图像中保持不动。

205、采用欧氏距离的kmeans聚类方法对每一类中的位移向量进行聚类得到聚类集合，得到两类聚类集合；

需要说明的是，本申请可以采用对每个方向分类里面的位移向量采用欧氏距离的k-means聚类，可以设置聚类数量k为2，对于每个方向都能得到两个位移向量集合，算法定义如下：

对于n个数据点xⁱ和k个聚类簇的中心点c_j，求解以下方程式：

在任意方向上，聚类得到两种不同类别的位移向量集合，第一类集合是主要位移向量集合，该集合中包含在该方向上大部分图像块的位移向量，它们位移向量的差值很小，第二类集合是剩余位移向量集合，该集合中包含该方向上与主要位移向量集合位移向量差值较大的图像块。

对每个类别中计算平均位移向量之前，对图像块的位移向量进行聚类。对于任意方向的集合，大部分图像块的位移向量是集中在一个范围内，而极少部分图像块的位移向量是比较远离集中范围的，因此可以对任意方向的图像块位移向量聚类成两类，第一类是大部分图像块位移向量所聚集的范围，第二类是集合中剩余的图像块位移向量，而对于第二类图像块位移向量，算法最后没有把它们移除，而是仍计算相应的平均位移向量的原因是有时候第二类图像块位移向量对应于一个运动较大的物体，因此仍需要保留计算，虽然有时候位移向量是由于环境因素产生的干扰项，但在后续算法通过阈值的方法筛选，可以把属于干扰项的位移向量移除，而运动较大物体所在图像块进行保留。

206、计算每一类中方向对应的位移向量对应的的平均值作为平均位移向量，根据位移向量所在类别获取当前帧图像中图像块对应的平均位移向量；

207、根据平均位移向量在上一帧图像中搜索当前帧图像中图像块对应的第二匹配块；

208、计算第二匹配块对应的PSNR，将PSNR值大于第一预设阈值的第二匹配块对应的当前帧图像块标记为可重复使用区域；

209、将上一帧图像的目标检测结果对应的图像区域作为待搜索图像区域，在当前帧图像中搜索与待搜索图像区域误差值最小的匹配区域；

210计算匹配区域对应的PSNR值，筛选出PSNR值大于第二预设阈值的匹配区域；

需要说明的是，可以通过将上一帧图像目标检测结果对应的图像区域作为搜索模板，将在当前帧图像中搜索到的最小误差区域作为匹配区域，计算匹配区域的PSNR值，设定第二预设阈值T，筛选出PSNR值大于T的区域。如果每个待匹配的目标图像块存在最小误差块，则认为上一帧图像出现的目标在当前帧图像中也同样出现，当前帧图像中该目标所在图像区域可认为是重复区域，如果不存在最小误差块，则说明这一帧中没有出现该目标。

211、将匹配区域与可重复使用区域作为当前帧图像在上一帧图像中的重复区域，使得后续对当前帧进行目标检测时，不对重复区域进行计算。

本申请考虑到在图像块匹配的过程中，除了由于摄像头变化产生的图像块移动的主要方向之外，还存在场景中其他移动中的物体，物体的移动方向和摄像头本身的移动方向不一定是一致的，所以对不同方向的图像块进行分类再计算各自的移动向量可以减少对移动物体统计的遗漏；对每个类别中计算平均位移向量之前，对图像块的位移向量进行聚类。通过对任意方向的图像块位移向量聚类成两类，第一类是大部分图像块位移向量所聚集的范围，第二类是集合中剩余的图像块位移向量，而对于第二类图像块位移向量，算法最后没有把它们移除，而是仍计算相应的平均位移向量的原因是有时候第二类图像块位移向量对应于一个运动较大的物体，因此仍需要保留计算，并在后续算法通过阈值的方法筛选，可以把属于干扰项的位移向量移除，而运动较大物体所在图像块进行保留。通过对于上一帧检测得到的目标检测结果，在搜索范围内寻找当前帧中是否存在符合的匹配目标，由于检测到的目标检测结果在连续前后帧之间移动范围不会很大，而且搜索框为目标区域大小，即使目标存在部分区域的光照影响或者形变，对于目标整体计算误差值的影响也不会很大，因此，本申请方法可以快速的寻找到对应目标，减少需要重新检测的计算区域。

以上是本申请的方法的实施例，本申请还提供了一种一种连续帧目标检测去重装置的一个实施例，如图3所示，包括：

获取单元301，用于获取连续的视频帧；

分块单元302，用于将当前帧图像和上一帧图像进行分块；

第一匹配单元303，用于在上一帧图像中搜索与当前帧图像中图像块误差值最小的第一匹配块，并获取第一匹配块到当前帧图像中对应的图像块的位移向量；

第一分类单元304，用于按方向将位移向量进行分类，并计算每一类中位移向量的平均值作为平均位移向量，根据位移向量所在类别获取当前帧图像中图像块对应的平均位移向量；

第二匹配单元305，用于根据平均位移向量在上一帧图像中搜索当前帧图像中图像块对应的第二匹配块；

第一计算单元306，用于计算第二匹配块对应的PSNR，将PSNR值大于第一预设阈值的第二匹配块对应的当前帧图像块标记为可重复使用区域；

第三匹配单元307，用于将上一帧图像的目标检测结果对应的图像区域作为待搜索图像区域，在当前帧图像中搜索与待搜索图像区域误差值最小的匹配区域；

重复区域获取单元308，用于将匹配区域与可重复使用区域作为当前帧图像在上一帧图像中的重复区域，使得后续对当前帧进行目标检测时，不对重复区域进行计算。

在一种具体的实施方式中，还包括：

第二计算单元，用于计算匹配区域对应的PSNR值，筛选出PSNR值大于第二预设阈值的匹配区域。

第一分类单元204具体包括：

第二分类单元，用于将位移向量按上、下、左、右、左上、左下、右上、右下、原点，共九个方向进行分类；

第三计算单元，用于计算每一类中方向对应的位移向量对应的的平均值作为平均位移向量，根据位移向量所在类别获取当前帧图像中图像块对应的平均位移向量。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种连续帧目标检测去重方法，其特征在于，包括：

获取连续的视频帧；

将当前帧图像和上一帧图像进行分块；

在上一帧图像中搜索与当前帧图像中图像块误差值最小的第一匹配块，并获取所述第一匹配块到当前帧图像中对应的图像块的位移向量；

按方向将所述位移向量进行分类，并计算每一类中所述位移向量的平均值作为平均位移向量，根据所述位移向量所在类别获取当前帧图像中图像块对应的所述平均位移向量，包括：

将所述位移向量按上、下、左、右、左上、左下、右上、右下、原点，共九个方向进行分类；

计算每一类中所述方向对应的位移向量对应的平均值作为平均位移向量，根据所述位移向量所在类别获取当前帧图像中图像块对应的所述平均位移向量；

根据所述平均位移向量在上一帧图像中搜索当前帧图像中图像块对应的第二匹配块；

计算所述第二匹配块对应的PSNR，将PSNR值大于第一预设阈值的所述第二匹配块对应的当前帧图像块标记为可重复使用区域；

将上一帧图像的目标检测结果对应的图像区域作为待搜索图像区域，在当前帧图像中搜索与所述待搜索图像区域误差值最小的匹配区域；

将所述匹配区域与所述可重复使用区域作为当前帧图像在上一帧图像中的重复区域，使得后续对当前帧进行目标检测时，不对所述重复区域进行计算。

2.根据权利要求1所述的连续帧目标检测去重方法，其特征在于，在所述根据所述匹配区域与所述可重复使用区域，获取当前帧图像在上一帧图像中的重复区域，使得后续对当前帧进行目标检测时，不对所述重复区域进行计算，之前还包括：

计算所述匹配区域对应的PSNR值，筛选出PSNR值大于第二预设阈值的所述匹配区域。

3.根据权利要求1所述的连续帧目标检测去重方法，其特征在于，在所述将所述位移向量按上、下、左、右、左上、左下、右上、右下、原点，共九个方向进行分类，之后，还包括：

采用欧氏距离的kmeans聚类方法对每一类中的所述位移向量进行聚类得到聚类集合，得到两类聚类集合，第一类集合是主要位移向量集合，该集合中包含在一类方向上所述位移向量之间差值小于位移向量差值阈值的所述位移向量；第二类集合是剩余位移向量集合，该集合中包含一类方向上与主要位移向量集合位移向量差值大于位移向量差值阈值的所述位移向量。

4.根据权利要求3所述的连续帧目标检测去重方法，其特征在于，所述采用欧氏距离的kmeans聚类方法对每一类中的所述位移向量进行聚类得到聚类集合，包括：

对于n个数据点xⁱ和k个聚类簇的中心点c_j，求解以下方程式：

在任意方向上，聚类得到多种不同类别的位移向量集合。

5.根据权利要求1所述的连续帧目标检测去重方法，其特征在于，所述误差值的计算公式为：

式中w、h表示图像块宽高，当前帧图像块和上一帧图像块的w、h值相同,x表示当前帧图像块，x_ij表示当前帧图像块的像素点，y表示上一帧图像块，y_ij表示上一帧图像块的像素点。

6.根据权利要求1所述的连续帧目标检测去重方法，其特征在于，所述计算每一类中所述位移向量的平均值作为平均位移向量，包括：

{(x_i,y_i),(x′_i,y′_i)}为集合S中当前帧图像块和对应的所述第一匹配块对，N为集合S的元素数量。

7.一种连续帧目标检测去重装置，其特征在于，包括：

获取单元，用于获取连续的视频帧；

分块单元，用于将当前帧图像和上一帧图像进行分块；

第一匹配单元，用于在上一帧图像中搜索与当前帧图像中图像块误差值最小的第一匹配块，并获取所述第一匹配块到当前帧图像中对应的图像块的位移向量；

第一分类单元，用于按方向将所述位移向量进行分类，并计算每一类中所述位移向量的平均值作为平均位移向量，根据所述位移向量所在类别获取当前帧图像中图像块对应的所述平均位移向量，具体包括：

第二分类单元，用于将所述位移向量按上、下、左、右、左上、左下、右上、右下、原点，共九个方向进行分类；

第三计算单元，用于计算每一类中所述方向对应的位移向量对应的平均值作为平均位移向量，根据所述位移向量所在类别获取当前帧图像中图像块对应的所述平均位移向量；

第二匹配单元，用于根据所述平均位移向量在上一帧图像中搜索当前帧图像中图像块对应的第二匹配块；

第一计算单元，用于计算所述第二匹配块对应的PSNR，将PSNR值大于第一预设阈值的所述第二匹配块对应的当前帧图像块标记为可重复使用区域；

第三匹配单元，用于将上一帧图像的目标检测结果对应的图像区域作为待搜索图像区域，在当前帧图像中搜索与所述待搜索图像区域误差值最小的匹配区域；

重复区域获取单元，用于将所述匹配区域与所述可重复使用区域作为当前帧图像在上一帧图像中的重复区域，使得后续对当前帧进行目标检测时，不对所述重复区域进行计算。

8.根据权利要求7所述的连续帧目标检测去重装置，其特征在于，还包括：

第二计算单元，用于计算所述匹配区域对应的PSNR值，筛选出PSNR值大于第二预设阈值的所述匹配区域。

Images