CN115941997A - 片段-自适应的监控视频浓缩方法 - Google Patents

Abstract

本发明公开了一种片段‑自适应的监控视频浓缩方法，涉及目标检测跟踪和图像视频处理技术领域。发明方法包括以下步骤：检测并跟踪监控视频中的移动目标，获得它们的运动轨迹；采用目标数量和空间占比双参数将视频划分为稀疏和拥挤片段；保留划分片段时被中断的轨迹延展拥挤片段，使得片段划分更加准确；结合方向和空间距离因素判断稀疏片段中目标的交互行为，保留原视频的交互语义信息；为提升视觉效果，综合碰撞、交互、时域和空间占比多种约束对片段进行排列，安排最优时间标签；将视频背景和新时间标签进行融合生成浓缩视频。所述方法能够精准保留目标交互行为并且能够极大缩短浓缩视频长度以及减少产生的碰撞。

Description

片段-自适应的监控视频浓缩方法

技术领域

本申请涉及目标检测跟踪和图像视频处理技术领域，具体涉及一种片段-自适应的监控视频浓缩方法。

背景技术

随着智慧城市的不断发展，监控摄像头的数量越来越多，覆盖的范围越来越广，使公民的安全得到进一步的保障。与此同时，大量的摄像头24小时不间断的运转，产生的视频数据越来越庞大，对于数据的保存以及从海量数据中查询到想要的数据变得尤为困难。基于此，大量科研人员在对保证视频主要内容不丢失的情况下压缩视频长度投入较多了研究，视频快进，视频描述，视频摘要和视频浓缩等方法层出不穷。其中，视频浓缩技术能够动态的对视频中的目标轨迹进行移动，在保证用户观感体验的同时压缩视频长度。

视频浓缩，又称基于目标的视频摘要技术，该技术首先从输入视频中提取背景图像；其次通过目标检测和跟踪技术提取目标轨迹；然后通过优化重组目标轨迹得到新的时间标签；最后按照新的时间标签将目标轨迹与背景进行融合，进而生成浓缩视频。

当前的工作基本是通过构建处理单元和添加约束条件等方法来进行的。处理单元可以分为单目标和多目标两大类。单目标方法不能够保留目标之间的交互性导致丢失原视频交互语义，多目标作为处理单元的方法在保留目标之间的交互行为上能够得到更好的结果，但是现有方法不能准确的提取多目标单元。Li等结合空间距离和固定阈值来判断目标之间的交互行为，由于没有考虑到目标的移动方向以及使用固定阈值，当目标的移动方向有较大的变化时判断结果较差。Namitha等在此基础上采用最小空间距离的方法来判断交互行为，但是此方法没有考虑交互时长，对一些接触时间短的目标可能会判断错误。因此保留交互行为的视频浓缩方法还有较大的发展空间。

为了提升浓缩视频的视觉效果，研究者们会在优化过程中添加各种各样的约束条件。但无论是着重考虑某个约束条件或者综合考虑多个约束条件，多是在场景稀疏下会获得不错的浓缩效果。然而真实场景中，不少监控视频既有拥挤活动，也有稀疏活动，而且拥挤程度是实时变化的。Li等提出了群划分算法和基于群的贪心算法用来解决复杂场景的监控视频浓缩，但是该方法的重点在于交互行为的判定，忽略了对视频拥挤程度的判断。当面对复杂场景的监控视频时，目标遮挡以及现有预处理方法的局限，会出现目标轨迹断裂或者丢失的情况。

发明内容

鉴于此，本发明提供一种片段-自适应的监控视频浓缩方法，能够有效解决浓缩视频在复杂场景下效果不好，目标交互性未保留等问题。

本发明的技术方案如下：

一种片段-自适应的监控视频浓缩方法，包含以下步骤：

S1:逐帧分析输入视频中移动目标个数和空间占比将视频划分为拥挤和稀疏片段；

S2:保留目标之间的交互行为；

S3:控制碰撞约束、空间占比约束、交互约束和时序约束给片段安排新的时间标签；

S4:结合背景和新的标签生成浓缩视频。

可选地，逐帧分析输入视频中目标个数，包括：

统计每一帧移动目标检测框的个数。

可选地，逐帧分析输入视频空间占比，包括：

将视频划分为上、中上、中、中下和下5个部分；

计算所有目标的平均高度，将其划分到5个部分中的一种；

根据目标平均高度设定目标个数阈值以及空间占比阈值；

将每一帧的目标个数和空间占比与阈值进行比较，将帧划分为拥挤帧或者稀疏帧；

连续的拥挤帧或稀疏帧当作片段处理；

保留一些被中断的目标轨迹，延展拥挤片段。

可选地，保留目标之间的交互行为，包括：

设计交互性判断方法，包括：

求目标之间每一帧的空间距离，记做d(T_i，T_j，f)，将其与两目标的平均高度相除与距离参数1.17进行比较；

距离参数小于1.17则距离满足参数g(d(T_i，T_j，f))记做1，反之记为0；

计算目标之间的方向，若目标在移动方向上保持一致，则方向参数FI(T_i，T_j)记为1，反之记为0；

若目标方向参数为0且距离满足参数小于fps，则目标之间无交互性；

若目标方向参数为1且大于交互阈值T_v(T)则目标间有交互性，其中T_v(T)计算公式如下：

式中M表示t_i管的持续时间；每秒传输帧数(fps)表明视频每秒钟提供的信息量；M代表中目标管的数量。

可选地，控制碰撞约束和空间占比约束，包括：

设计由碰撞概率模型和密度概率模型组合而成的标记计算模型，碰撞概率模型能减少目标之间的碰撞，密度碰撞模型能控制目标的空间占比。

可选地，控制交互约束，包括：

使用交互性判断方法保留目标之间的交互性。

可选地，控制时序约束，包括：

将所有片段按照第一个目标出现顺序进行排序。

可选地，结合背景和新的标签生成浓缩视频，包括：

提取视频背景图像。

附图说明

通过阅读以下图例对发明进行详细解释，本发明的特征、优点会更加明显：

图1为本发明的片段-自适应的监控视频浓缩步骤流程图；

图2为本发明提供的一个优选实施例的划分片段步骤流程图；

图3为本发明提供的一个优选实施例的重排片段步骤流程图；

具体实施方式

为了使本领域的技术人员可以更清楚地对本发明进行了解，下面结合具体实施例进行说明。此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图1所示，为本发明的片段-自适应的监控视频浓缩步骤流程图，包括以下步骤：

S1，根据目标个数和空间占比将视频划分为稀疏和拥挤片段；

S2，根据目标间空间距离和移动方向保留目标的交互性；

S3，结合各种约束对片段进行重排，安排新的时间标签；

S4，结合背景和新时间片段生成浓缩视频。

本发明提供了一个优选实施例执行S1，将视频划分为稀疏和拥挤片段，如图2所示，包括以下步骤：

S11，逐帧分析视频背景目标个数以及所占空间比例；

S12，将目标个数和空间比例与阈值进行比较分出稀疏帧和拥挤帧；

S13，连续的拥挤帧被定义为拥挤片段，连续的稀疏帧被定义为稀疏片段；

S14，保留被中断的轨迹延展拥挤片段。

依据步骤S11-S13划分的稀疏和拥挤片段，会将一些目标的轨迹中断，在步骤S14中，将此轨迹进行保留处理并加以延展拥挤片段能够目标的轨迹完整性。

本发明提供了一个优选实施例执行S3，对片段进行重排，如图3所示，包括以下步骤：

S31，估计可能的时间标签；

S32，设计标记计算模型；

S33，寻找可能的时间标签；

S34，计算最优时间标签；

S35，计算优化。

其中，步骤S31公式如下：

l_i＝χ_i(ψ_i(P₁，P₂，…，P_i-1，P_i))

式中：l_i代表第i个片段可能的时间标签取值；已安排好开始时间的片段用ψ_i(P₁，P₂，…，P_i-1，P_i)表示，P₂，…，P_i-1得到P_i初始所有可能时间标签的取值,当i＝1时,ψ₁(P₁)＝1；当i＞1时,对每一个片段：

为片段P₁，P₂，…，P_i-1中结束帧的最大值。

步骤S32的标记计算模型TCM,由碰撞概率模型CPM和密度概率模型DPM组成,其定义如下:

其中，代表S_i-1的所有帧，代表S_i-1中第k帧；

式中：IOU^k是指在第k帧中所有片段的交集与并集的比值，表示第k帧中所有片段所占像素点与背景的比值；

代表是否可以在帧中加入新的片段；

1表示可以加入新的片段，0表示不能加入新的片段，公式如下：

S33，寻找可能的时间标签，步骤如下：

通过TCM，得到每一个片段P_i可以插入的位置，随后采用如下方案寻找l_i；

首先从小到大对k进行排序；

然后计算得到对应的值；

最后从尾向头找,分2种情况:找到第一个其对应的k+1值即为l_i,没有找到即全部为1的情况,则l_i＝l_i-1。

S34，计算最优时间标签，公式如下：

其中，ciou_p(S_i-1，P_i)代表从p帧开始将P_i插入到S_i-1中，所产生的边界框重叠面积和所有边界框面积和的比值，公式如下：

和分别代表将P_i插入S_i-1时，第p帧的片段边界框的交集和并集。

S35，计算优化用来节约计算时间：

考虑P_i+1的时间标签时,将不再计算相应的

本发明提供了一个优选实施例执行S3，对片段进行重排：

采用时间中值法来估计监控视频的背景；

将片段的最优时间标签利用泊松图像编辑技术依次拼接到生成的背景中得到浓缩视频。

为了全面评估本发明的有效性和普适性，进行了大量的实验。实验测试视频来自公开数据集VISOR、BEHAVE和CAVIAR，包括商场、交叉路口、餐厅进出口和道路等不同的场景。

为了验证所提交互行为判断方法的准确性，本文方法TP，SN进行对比，并采用准确率 p，召回率 r和F分数 F作为评价指标。

表1 与其它方法交互性对比结果

实验结果如表1所示，我们的方法有着优秀的性能表现。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

Claims (10)

1.一种片段-自适应的监控视频浓缩方法，其特征在于包括如下步骤：

S1:输入需要处理的视频；

S2:分析视频帧中目标的数量以及占背景空间比例将视频划分为拥挤和稀疏片段，并保留中断的轨迹；

S3:保留稀疏片段中目标之间的交互行为；

S4:综合碰撞、交互、时域和空间占比约束安排片段新的时间标签；

S5:将新时间标签和背景融合生成浓缩视频。

2.如权利要求1所述片段-自适应的监控视频浓缩方法，其特征在于分析输入视频目标数量阈值以及空间占比阈值，公式如下：

式中θ₁，θ₂和分别为目标数量阈值和空间占比阈值；W×H为背景的面积；H_all和S_all分别表示所有目标管边界框的平均高度以及平均面积。

3.如权利要求1所述的片段-自适应的监控视频浓缩方法，其特征在于将视频划分为拥挤片段和稀疏片段，公式如下：

式中，f∈I是视频帧；Cc表示属于拥挤帧；Ss则为稀疏帧；Rr代表当前帧前景占帧像素的比例,Fn表示当前帧的目标个数。

4.如权利要求1所述的片段-自适应的监控视频浓缩方法，其特征在于保留中断的轨迹；

中断的轨迹指由于分段划分被中断的运动路线，将稀疏片段和拥挤片段中断的轨迹进行拼接能够保证轨迹的完整性并延展拥挤片段。

5.如权利要求1所述的片段-自适应的监控视频浓缩方法，其特征在于结合目标之间的空间距离和移动方向来综合判断并保留稀疏片段中目标之间的交互行为。

6.如权利要求5所述保留交互行为的方法，其特征在于当目标相对静止时特殊处理，接触时长大于fps时也会判断为具有交互行为。

7.如权利要求1所述的片段-自适应的监控视频浓缩方法，其特征在于综合碰撞约束、交互约束、时序约束和空间占比约束安排片段新的时间标签；

控制碰撞程度和空间占比来提升视觉效果，保留交互作用维持视频语义信息，时序约束保证目标出现的时间顺序。

8.如权利要求7所述的碰撞约束，其特征在于平衡碰撞与浓缩视频长度，公式如下：

式中，P为选择插入的位置，C(S_i-1，P_i)代表从P帧开始将P_i插入到S_i-1中所产生的边界框重叠面积和所有边界框面积和的比值，L(l_i)为可插入位置的长度，为碰撞阈值。

9.如权利要求7所述的时序约束通过将所有的片段按照片段时间出现顺序进行重排来实现。

10.如权利要求7所述的控制空间占比约束，其特征在于控制目标占视频背景的比例，设定空间占比阈值为0.5。

Images