CN116074642B - 基于多目标处理单元的监控视频浓缩方法 - Google Patents

Abstract

本发明公开了一种基于多目标处理单元的监控视频浓缩方法，涉及视频浓缩技术领域，主要包含以下步骤：采用背景提取技术获得视频的背景；通过目标检测和跟踪技术获取目标的移动轨迹，转化为目标管；对目标间共同出现的每一帧采用空间距离和目标的帧移动方向综合判断目标间每一帧是否为交互帧；利用目标间的动态阈值与目标间的交互帧数量进行对比，综合判断得出目标间的交互性，具有交互性的目标在后序步骤中作为多目标单元被统一处理；综合考虑浓缩视频的压缩长度，空间拥挤度和目标碰撞等因素，采用双碰撞参数和空间拥挤度参数以多目标为处理单元对目标轨迹进行优化重排；将视频背景照片和优化后的轨迹进行结合得到浓缩视频。本发明的视频浓缩方法能够准确保留目标之间的交互行为，并且得到的浓缩视频具有较好的主观视觉效果。

Description

基于多目标处理单元的监控视频浓缩方法

技术领域

本申请涉及视频浓缩技术领域，具体涉及一种多目标处理单元的监控视频浓缩方法。

背景技术

维护公共安全以及社会稳定是一项具有挑战性的任务。随着监控设备的普及，视频监控系统在此方面起到了不可替代的作用。一方面，监控设备能够记录并保存监视区域内发生的事情，帮助打击违法犯罪；另一方面，监控摄像头数量的增加以及24小时不间断的运转，产生的数据量呈爆炸式增长。如何保存如此庞大的数据量以及从中快速找到想要的信息变的尤为困难。

随着计算机视觉技术的不断发展，以较短时间表达更多视频内容的相关技术受到广泛关注。视频浓缩技术随着运动目标提取技术的逐渐成熟受到更多研究者的青睐，它通过在时间和空间上对目标轨迹进行移动达到缩短视频长度的目的，能够在保证压缩视频长度的前提下保证用户的主观视觉感受。

相较于视频快进、视频描述和视频摘要等视频压缩方法，视频浓缩技术能够动态展示所有的移动目标，不会给用户带来割裂的观感。视频浓缩一般分为背景提取，目标检测跟踪生成目标管，管道重排以及最后的视频合成四个步骤。

视频浓缩的概念在2006首次被Rav-Acha等提出，Pritch等首次提出“管”的概念，用它来表示视频中物体的移动轨迹，后来的大部分相关工作都是基于此进行研究。为了得到效果较好的浓缩视频，Mona Moussa等设计了一种粒子群算法来求解能量函数最小化算法，生成一个碰撞较少，按时间排序的浓缩视频。Li等设计了一种视频摘要方法，检测到目标产生碰撞时就缩小目标的大小，以此来避免产生碰撞。Nie在Li等人研究基础上通过改变目标的移动速度和大小来避免碰撞。而Nie等通过背景扩展的方法，来使得背景空间更大避免碰撞。He等利用矩阵和潜在图的方法来记录可能发生碰撞的目标管，然后作出相应处理来减少碰撞。

对于视频浓缩的工作大多数都致力于缩短视频长度，保留目标活动，减少目标碰撞以及维持目标出现的时序等。而在移动目标管道的过程中，可能会将原本有交互性的目标分隔开，使读者难以理解视频语义。为了保留目标的交互性，Fu等提出了一种在线运动结构保留概要方法，引入运动结构作为一个参数加入能量最小化问题中，尽可能的保留不同对象之间的交互行为，但是求解能量函数的计算量大，运算复杂。Li等将视频分为拥挤场景和稀疏场景，提出了一种群划分方法来保留目标之间的交互性，此方法没有考虑到目标的移动方向以及采用固定阈值判断交互性，会对一些目标的交互性判定错误。Namitha等利用空间距离判断目标之间的交互性，没有考虑目标接触的时长，目标之间有一刻很近很可能就会被判定为具有交互性。Zhang等提出了一种考虑移动方向保留目标交互性的视频浓缩方法，并通过考虑输入视频的不同设置动态阈值，但此方法没有考虑到目标会大幅度改向导致移动方向判定不准确，采用输入视频作为动态阈值的设定也会对一些特殊的目标管对判断产生误差。

基于此，本发明提出一种新的方法判断目标之间的交互性。通过设定的距离判断目标之间某一帧空间距离是否足够接近，并结合目标的瞬时方向综合判定是否属于交互帧。与自适应阈值设定不同，本发明提出一种目标管对之间的自适应阈值，若交互帧数大于目标之间的自适应阈值则判断目标之间具有交互性，在后续处理中作为多目标单元一起处理。本方法能够准确判断目标之间的交互性，对于一些交互时间短，变向运动的特殊情况也能够得到较好的结果。

发明内容

本发明提供一种多目标处理单元的监控视频浓缩方法，能够有效保留视频中目标之间的交互行为并使浓缩视频具有较好的主观视觉效果。

本发明的技术方案如下：

一种多目标处理单元的监控视频浓缩方法，具体包含以下步骤：

S1:获取输入视频的背景图片；

S2:对输入视频进行目标追踪，获取目标的移动轨迹；

S3:结合空间距离和目标的帧移动方向判断目标间的每一帧是否为交互帧；

S4:将目标间的交互帧数和动态阈值进行比较保留目标的交互行为；

S5:采用双碰撞参数和空间拥挤度参数以多目标为处理单元对目标轨迹进行优化重排；

S6:将重排后的轨迹和背景照片结合生成浓缩视频。

可选地，获取输入视频的背景图片，包括：

采用高斯混合背景提取方法获得输入视频的背景图片。

可选地，对输入视频进行目标追踪，获取目标的移动轨迹，包括：

采用Yolov4结合Deep sort的方法对输入视频进行追踪。

可选地，结合空间距离，包括:

将目标检测框的中心点在某一帧的直线距离除以两者之间的平均高度；

将相除的结果与1.17进行比较，小于1.17表明空间距离符合交互条件，大于1.17则表明不符合空间距离的条件。

可选地，结合目标的帧移动方向，包括：

以目标下一帧的检测框中心点和此帧的检测框中心点作为目标此帧的移动方向；

将两个目标的帧移动方向夹角作为判断依据；

夹角在0到90度表明目标间的帧移动方向满足交互的条件。

可选地，判断目标间的每一帧是否为交互帧，包括：

目标间某一帧的空间距离和帧移动方向都满足要求。

可选地，统计目标间的交互帧数量，包括：

从目标间的共同帧开始，对每一帧进行判断，累计的交互帧为目标间的交互帧数量。

可选地，设定目标间的动态阈值，包括：

统计目标间共同出现的帧数量；

将共同帧的数量乘以动态阈值参数

，得到目标间动态阈值；

动态阈值参数

通过实验设定为0.5。

可选地，保留目标的交互行为，包括：

将目标间的交互帧数量和动态阈值进行比较，若交互帧数量大于动态阈值则判断目标间具有交互性，若交互帧数量小于动态阈值则判断目标间不具有交互性。

可选地，设定双碰撞参数，包括：

通过控制浓缩视频的长度来设定双碰撞参数；

双碰撞参数分别设定为0.1和0.3。

可选地，设定空间拥挤度参数，包括：

控制帧内出现的目标数量；

设定拥挤度参数为0.5。

可选地，以多目标为处理单元以多目标为处理单元对目标轨迹进行优化重排，包括：

将具有交互行为的目标作为多目标处理单元统一处理；

在优化重排时考虑产生的碰撞，浓缩视频长度和空间拥挤度等因素。

可选地，将重排后的轨迹和背景照片结合生成浓缩视频，包括：

采用泊松融合的方法进行融合。

附图说明

通过以下图例进一步介绍发明，本发明的优势，特征会更加明显：

图1为本发明的多目标处理单元的监控视频浓缩方法步骤流程图；

图2为发明提供的一个优选实施例的交互帧判断方法步骤流程图；

图3为发明提供的一个优选实施例的交互性判断方法步骤流程图；

图4为发明提供的一个优选实施例的优化重排方法步骤流程图。

具体实施方式

为了使技术人员了解本发明更加清晰，下面结合具体的实例进行相关说明。

如图1所示，为本发明的多目标处理单元的监控视频浓缩方法步骤流程图，包括以下步骤：

S1:获得输入视频的背景图片；

S2:对输入视频进行目标追踪，获得目标的移动轨迹；

S3:判断目标间每一帧是否为交互帧；

S4:保留目标间的交互行为；

S5:对目标轨迹进行优化重排；

S6:生成浓缩视频。

本发明提供了一个优选执行例S3，判断目标间得共同帧是否为交互帧，如图2所示，包含以下步骤：

S31：对目标间出现的共同帧进行判断；

S32：判断空间距离是否满足交互性；

S33：判断目标的帧移动方向是否满足交互性；

S34：得到交互帧的判断结果。

其中，步骤S31是对目标间共同出现的每一帧进行判断，则

表明目标i和j在第f帧没有同时出现，此时直接判断帧f不是目标i和j的交互帧。

其中，步骤S32中判断空间距离是否满足交互性的公式为：

式中，

表明此帧的空间距离满足交互的要求，/>

表明此帧的空间距离不满足交互的要求；/>

表示在第f帧目标i和j的检测框中心点之间的直线距离除以两个检测框的平均高度，公式如下：

式中，

表示第f帧目标i和j的检测框中心点之间的直线距离；/>

表示检测框i和j在第f帧检测框的平均高度；

d表示空间距离阈值，假设某一帧当两个目标空间距离小于2m时可能具有交互性，目标的平均高度设为1.7m，则设定空间阈值d为1.17，当

时表明帧f为目标i和j的交互帧，否则帧f不是目标i和j的交互帧。

其中，步骤S33判断帧移动方向是否满足交互性的公式为：

式中，

表示在第f帧目标i和j之间的帧移动方向是否满足交互的要求，当

时表示在第f帧目标i和j之间的帧移动方向满足交互的要求，/>

表示在第f帧目标i和j之间的帧移动方向不满足交互的要求；

表示在第f帧目标i和j之间的帧移动方向的向量夹角，当/>

时，表明目标i和j在第f帧是同向，此时帧移动方向满足交互的要求，其他情况下帧移动方向不满足交互的要求。

和/>

分别表示目标i和j在帧f的移动方向向量，公式如下：

，

和/>

分别表示在第f帧，目标i检测框的中心点横纵坐标，通过第f+1的中心点坐标减去第f帧的中心点坐标便能够得到第f帧目标i的帧移动方向。

其中，步骤S34交互帧判断的公式如下：

式中，

表示交互帧的判断结果，只有当在帧f时目标i和j之间的空间距离和帧移动方向都满足交互条件才将此帧判断为目标i和j的交互帧。/>

本发明提供了一个优选执行例S4，判断目标间是否具有交互性，如图3所示，包含以下步骤：

S41：统计目标间的交互帧数量；

S42：设定目标间的动态阈值；

S43：将交互帧数量和动态阈值进行对比；

S44：得到最后的交互性判断结果。

其中，步骤S41统计目标间的交互帧数量的公式如下：

式中，

和/>

分别表示目标i和j共同出现的最早帧和最晚帧，对共同出现的每一帧进行交互帧判断得到目标之间的交互帧数量。

其中，步骤S42设定目标间的动态阈值公式如下：

式中，

表示目标i和j的动态阈值，/>

表示目标i和目标j共同出现的帧的数量，/>

为动态阈值参数，通过后序实验的结果将/>

参数设置为0.5。

其中，步骤S43通过将步骤S41得到的目标间交互帧数量

和步骤S42得到的目标间动态阈值/>

进行对比。

其中，步骤S44交互性判断的公式如下：

式中，

表示目标i和j交互性判断的结果，当目标间的交互帧数量和目标间的动态阈值对比结果为/>

，则/>

的值为1，表明目标i和j之间具有交互性；否则，/>

的值为0，表明目标i和j之间不具有交互性。

本发明提供了一个优选执行例S5，对目标轨迹进行优化重排，如图4所示，包含以下步骤：

S51：将具有交互性的目标作为多目标处理单元；

S52：创建一个新的容器

，将最先出现的多目标处理单元放在新容器第一个出现；

S53：移动目标轨迹时考虑目标间的碰撞；

S54：移动目标轨迹时考虑空间拥挤度；

S55：结合浓缩视频的长度设定双碰撞阈值进行优化重排。

其中，步骤S51将具有交互性的目标转换为多目标处理单元，公式如下：

式中，

表示具有交互性的目标，/>

则是第i个多目标处理单元；

多目标处理单元集合的公式如下：

式中，

表示第i个多目标处理单元。/>

其中，步骤S52中为了保持目标在浓缩视频中出现的先后顺序，让原视频中最先出现的多目标处理单元在新容器

中也最先出现，然后依次考虑安排后序多目标处理单元出现的时间。

其中，步骤S53中移动目标轨迹时考虑目标间的碰撞公式如下：

式中，

表示将第i个多目标处理单元插入在容器中产生的碰撞；/>

为多目标处理单元能够插入在容器/>

开始帧的集合，/>

为多目标处理单元最终插入在容器的开始帧；/>

表示多目标处理单元可以插入在帧容器/>

开始帧的数量；/>

表示将多目标处理单元插入在容器/>

中，原容器检测框与多目标处理单元检测框的交集除以原容器检测框与多目标处理单元检测框的并集，公式如下：

式中，

表示在第i帧容器的检测框信息，/>

表示在第i帧多目标处理单元的检测框信息，将两者检测框的交集除以并集得到交并比，/>

的结果越大表明将多目标处理单元插入在帧容器中产生的碰撞便越大，视觉效果便更差。

其中，步骤S53中移动目标轨迹时考虑空间拥挤度如下：

式中，

表示将第i个多目标处理单元插入在容器/>

中的空间拥挤度；/>

表示将多目标处理单元插入容器后检测框的总面积除以视频背景空间的面积。

其中，步骤S55结合浓缩视频的长度设定双碰撞阈值进行优化重排，公式如下：

式中，

表示多目标处理单元在容器/>

最终插入的位置，也就是开始的帧数；/>

表示碰撞参数；/>

表示空间拥挤度参数；/>

用作计数器；/>

用于控制浓缩视频长度以及调整碰撞参数；/>

为多目标处理单元的个数。

通过对

集合里的每一帧进行遍历，若插入位置的碰撞和空间拥挤度都满足条件便找到插入位置，将此多目标处理单元插入在容器/>

中。当遍历完集合/>

仍没有符合条件的插入点，则将多目标处理单元插入在集合/>

末尾的后一帧，即/>

。

将多目标处理单元插入在集合

末尾后一帧，会导致浓缩视频长度变长。每当在末尾插入一个多目标处理单元，将计数器s的值加1，即/>

。

式中，依据实验将碰撞参数

和/>

分别设定为0.1和0.3；空间拥挤度参数/>

设定为0.5；/>

参数设定为0.5。

我们的实验使用了五个公共数据集BEHAVE，MOT15， VISOR， KHT 和CAVIAR。这些都是视频浓缩领域中经常用到的。为了使实验的结果更具有信服力，我们从五个数据集中挑选了16个实验视频用作我们的实验。其中，16个视频包括长视频，短视频，情况复杂的视频以及情况简单的视频等，包含各种情况的视频能够使实验的结果更加精准。

在视频浓缩方法中，OR用于测量碰撞率，FR用于表示压缩比，我们采用这两个评价指标作为我们最终实验的客观表现的评价指标。用F-score作为交互性判断的评价指标。

表1 本发明方法与其它方法的交互性比较结果

为了验证交互算法的有效性，本文提出的行为判断方法进行了比较采用最先进的GP， RG和SI。表1显示了四种方法获得的F-score及其平均值。可以从表1的数据可以看出，在大多数视频中本发明方法所采用的方法均能获得较高的F-score，说明它可以在不同情况下准确地判断两者之间的交互行为。四种方法的平均F-score分别为0.3126、0.3026、0.5584和0.6409。可以看出，本方法的F-score是最高的，这进一步说明我们的方法是更具有通用性，能准确判断各种交互性的情况。综上所述，可以证实该方法是有效的。本发明提出的判断物体之间相互作用的方法是有效和准确的。

表2 本文方法与其它方法的性能比较结果

/>

为了证明我们提出的方法具有良好的性能，我们将其与最先进的交互性保留方法SI进行对比。该方法经过实验证明优于GP方法和RG方法。因此,与SI方法的比较可以反映出本发明方法的有效性。表2显示了FR和OR在不同的视频中，两种方法得到的结果。可以看出OR和FR的平均值分别为0.0653和0.5134，分别为比SI得到的更低。实验结果表明，本发明方法的浓缩视频得到的方法可以保证视频长度足够短的同时有更少的碰撞，这可以给用户提供更好的主观视觉体验。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

Claims (10)

1.一种多目标处理单元的监控视频浓缩方法，其特征在于包括以下步骤：

S1:获取输入视频的背景图片;

S2:对输入视频进行目标追踪，获取目标的移动轨迹；

S3:结合目标间的空间距离和目标的帧移动方向判断目标间的每一帧是否为交互帧；

S4:将目标间的交互帧数和动态阈值进行比较保留目标的交互行为，当目标间的交互帧数交互帧数大于动态阈值则表明目标间具有交互行为并对其进行保留，否则表明目标间不具有交互行为不进行保留；

S5:采用双碰撞参数和空间拥挤度参数以多目标为处理单元对目标轨迹进行优化重排，双碰撞参数指的是利用两个参数来控制并减少视频浓缩产生的碰撞，分别设为0.1和0.3，空间拥挤度参数指的是控制视频中目标数量的参数，设为0.5；

S6:将重排后的轨迹和背景照片结合生成浓缩视频。

2.如权利要求1所述的多目标处理单元的监控视频浓缩方法，其特征在于判断目标间的每一帧是否为交互帧，公式如下：

，

式中

表示目标管i和j在帧f的交互性判断结果，1表示为交互帧，0表示不是交互帧；/>

代表目标管i和j在帧f的空间距离是否满足具有交互性的可能；/>

代表目标管i和j在帧f的移动方向是否满足具有交互性的可能。

3.如权利要求2所述的多目标处理单元的监控视频浓缩方法，其特征在于结合了目标间的帧移动方向，公式如下：

，

式中

表示在视频的第f帧目标i和目标j的帧移动方向夹角，当夹角大于等于

且小于/>

时则判定帧f为目标i和j的交互帧。

4.如权利要求1所述的多目标处理单元的监控视频浓缩方法，其特征在于保留目标之间的交互行为，公式如下：

，

式中

表示目标i和j的交互性判断结果，1表示具有交互性，0表示不具有交互性；/>

表示目标i和j的交互帧数量；/>

表示目标i和j之间的动态阈值。

5.如权利要求4所述的多目标处理单元的监控视频浓缩方法，其特征在于统计目标之间的交互帧数，公式如下：

，

式中

和/>

分别表示目标i和j共同出现的最早帧和最晚帧，对共同出现的每一帧进行交互帧判定得到目标之间的交互帧数量。

6.如权利要求4所述的多目标处理单元的监控视频浓缩方法，其特征在于设定目标之间的动态阈值，公式如下：

，

式中

为目标i和j共同出现的帧数量，/>

为动态阈值参数，通过实验设定为0.5。

7.如权利要求1所述的多目标处理单元的监控视频浓缩方法，其特征在于以多目标为处理单元对目标轨迹进行优化重排。

8.如权利要求7所述的多目标处理单元的监控视频浓缩方法，其特征在于添加了双碰撞参数来减少浓缩视频产生的目标之间的碰撞。

9.如权利要求8所述的多目标处理单元的监控视频浓缩方法，其特征在于以浓缩视频的长度控制第二个碰撞参数的设定。

10.如权利要求7所述的多目标处理单元的监控视频浓缩方法，其特征在于添加了空间拥挤度参数来控制浓缩视频中短时间出现的目标数量。

Images