CN115941997B - 片段-自适应的监控视频浓缩方法 - Google Patents
片段-自适应的监控视频浓缩方法 Download PDFInfo
- Publication number
- CN115941997B CN115941997B CN202211530723.3A CN202211530723A CN115941997B CN 115941997 B CN115941997 B CN 115941997B CN 202211530723 A CN202211530723 A CN 202211530723A CN 115941997 B CN115941997 B CN 115941997B
- Authority
- CN
- China
- Prior art keywords
- video
- targets
- segment
- target
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 title claims abstract description 13
- 239000012634 fragment Substances 0.000 claims abstract description 27
- 230000003993 interaction Effects 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 230000000007 visual effect Effects 0.000 claims abstract description 3
- 230000033001 locomotion Effects 0.000 claims abstract 3
- 230000006399 behavior Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000003780 insertion Methods 0.000 claims 1
- 230000037431 insertion Effects 0.000 claims 1
- 230000011218 segmentation Effects 0.000 claims 1
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- ZPUCINDJVBIVPJ-LJISPDSOSA-N cocaine Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种片段‑自适应的监控视频浓缩方法，涉及目标检测跟踪和图像视频处理技术领域。发明方法包括以下步骤：检测并跟踪监控视频中的移动目标，获得它们的运动轨迹；采用目标数量和空间占比双参数将视频划分为稀疏和拥挤片段；保留划分片段时被中断的轨迹延展拥挤片段，使得片段划分更加准确；结合方向和空间距离因素判断稀疏片段中目标的交互行为，保留原视频的交互语义信息；为提升视觉效果，综合碰撞、交互、时域和空间占比多种约束对片段进行排列，安排最优时间标签；将视频背景和新时间标签进行融合生成浓缩视频。所述方法能够精准保留目标交互行为并且能够极大缩短浓缩视频长度以及减少产生的碰撞。
Description
技术领域
本申请涉及目标检测跟踪和图像视频处理技术领域，具体涉及一种片段-自适应的监控视频浓缩方法。
背景技术
随着智慧城市的不断发展，监控摄像头的数量越来越多，覆盖的范围越来越广，使公民的安全得到进一步的保障。与此同时，大量的摄像头24小时不间断的运转，产生的视频数据越来越庞大，对于数据的保存以及从海量数据中查询到想要的数据变得尤为困难。基于此，大量科研人员在对保证视频主要内容不丢失的情况下压缩视频长度投入较多了研究，视频快进，视频描述，视频摘要和视频浓缩等方法层出不穷。其中，视频浓缩技术能够动态的对视频中的目标轨迹进行移动，在保证用户观感体验的同时压缩视频长度。
视频浓缩，又称基于目标的视频摘要技术，该技术首先从输入视频中提取背景图像；其次通过目标检测和跟踪技术提取目标轨迹；然后通过优化重组目标轨迹得到新的时间标签；最后按照新的时间标签将目标轨迹与背景进行融合，进而生成浓缩视频。
当前的工作基本是通过构建处理单元和添加约束条件等方法来进行的。处理单元可以分为单目标和多目标两大类。单目标方法不能够保留目标之间的交互性导致丢失原视频交互语义，多目标作为处理单元的方法在保留目标之间的交互行为上能够得到更好的结果，但是现有方法不能准确的提取多目标单元。Li等结合空间距离和固定阈值来判断目标之间的交互行为，由于没有考虑到目标的移动方向以及使用固定阈值，当目标的移动方向有较大的变化时判断结果较差。Namitha等在此基础上采用最小空间距离的方法来判断交互行为，但是此方法没有考虑交互时长，对一些接触时间短的目标可能会判断错误。因此保留交互行为的视频浓缩方法还有较大的发展空间。
为了提升浓缩视频的视觉效果，研究者们会在优化过程中添加各种各样的约束条件。但无论是着重考虑某个约束条件或者综合考虑多个约束条件，多是在场景稀疏下会获得不错的浓缩效果。然而真实场景中，不少监控视频既有拥挤活动，也有稀疏活动，而且拥挤程度是实时变化的。Li等提出了群划分算法和基于群的贪心算法用来解决复杂场景的监控视频浓缩，但是该方法的重点在于交互行为的判定，忽略了对视频拥挤程度的判断。当面对复杂场景的监控视频时，目标遮挡以及现有预处理方法的局限，会出现目标轨迹断裂或者丢失的情况。
发明内容
鉴于此，本发明提供一种片段-自适应的监控视频浓缩方法，能够有效解决浓缩视频在复杂场景下效果不好，目标交互性未保留等问题。
本发明的技术方案如下：
一种片段-自适应的监控视频浓缩方法，包含以下步骤：
S1:逐帧分析输入视频中移动目标个数和空间占比将视频划分为拥挤和稀疏片段；
S2:保留目标之间的交互行为；
S3:控制碰撞约束、空间占比约束、交互约束和时序约束给片段安排新的时间标签；
S4:结合背景和新的标签生成浓缩视频。
可选地，逐帧分析输入视频中目标个数，包括：
统计每一帧移动目标检测框的个数。
可选地，逐帧分析输入视频空间占比，包括：
将视频划分为上、中上、中、中下和下5个部分；
计算所有目标的平均高度，将其划分到5个部分中的一种；
根据目标平均高度设定目标个数阈值以及空间占比阈值；
将每一帧的目标个数和空间占比与阈值进行比较，将帧划分为拥挤帧或者稀疏帧；
连续的拥挤帧或稀疏帧当作片段处理；
保留一些被中断的目标轨迹，延展拥挤片段。
可选地，保留目标之间的交互行为，包括：
设计交互性判断方法，包括：
求目标之间每一帧的空间距离，记做d(Ti，Tj，f)，将其与两目标的平均高度相除与距离参数1.17进行比较；
距离参数小于1.17则距离满足参数g(d(Ti，Tj，f))记做1，反之记为0；
计算目标之间的方向，若目标在移动方向上保持一致，则方向参数FI(Ti，Tj)记为1，反之记为0；
若目标方向参数为0且距离满足参数小于fps，则目标之间无交互性；
若目标方向参数为1且
大于交互阈值Tv(T)则目标间有交互性，其中Tv(T)计算公式如下：
式中M表示ti管的持续时间；每秒传输帧数(fps)表明视频每秒钟提供的信息量；M代表
中目标管的数量。
可选地，控制碰撞约束和空间占比约束，包括：
设计由碰撞概率模型和密度概率模型组合而成的标记计算模型，碰撞概率模型能减少目标之间的碰撞，密度碰撞模型能控制目标的空间占比。
可选地，控制交互约束，包括：
使用交互性判断方法保留目标之间的交互性。
可选地，控制时序约束，包括：
将所有片段按照第一个目标出现顺序进行排序。
可选地，结合背景和新的标签生成浓缩视频，包括：
提取视频背景图像。
附图说明
通过阅读以下图例对发明进行详细解释，本发明的特征、优点会更加明显：
图1为本发明的片段-自适应的监控视频浓缩步骤流程图；
图2为本发明提供的一个优选实施例的划分片段步骤流程图；
图3为本发明提供的一个优选实施例的重排片段步骤流程图；
具体实施方式
为了使本领域的技术人员可以更清楚地对本发明进行了解，下面结合具体实施例进行说明。此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
如图1所示，为本发明的片段-自适应的监控视频浓缩步骤流程图，包括以下步骤：
S1，根据目标个数和空间占比将视频划分为稀疏和拥挤片段；
S2，根据目标间空间距离和移动方向保留目标的交互性；
S3，结合各种约束对片段进行重排，安排新的时间标签；
S4，结合背景和新时间片段生成浓缩视频。
本发明提供了一个优选实施例执行S1，将视频划分为稀疏和拥挤片段，如图2所示，包括以下步骤：
S11，逐帧分析视频背景目标个数以及所占空间比例；
S12，将目标个数和空间比例与阈值进行比较分出稀疏帧和拥挤帧；
S13，连续的拥挤帧被定义为拥挤片段，连续的稀疏帧被定义为稀疏片段；
S14，保留被中断的轨迹延展拥挤片段。
依据步骤S11-S13划分的稀疏和拥挤片段，会将一些目标的轨迹中断，在步骤S14中，将此轨迹进行保留处理并加以延展拥挤片段能够目标的轨迹完整性。
本发明提供了一个优选实施例执行S3，对片段进行重排，如图3所示，包括以下步骤：
S31，估计可能的时间标签；
S32，设计标记计算模型；
S33，寻找可能的时间标签；
S34，计算最优时间标签；
S35，计算优化。
其中，步骤S31公式如下：
li＝χi(ψi(P1，P2，…，Pi-1，Pi))
式中：
li代表第i个片段可能的时间标签取值；已安排好开始时间的片段用ψi(P1，P2，…，Pi-1，Pi)表示，P2，…，Pi-1得到Pi初始所有可能时间标签的取值,当i＝1时,ψ1(P1)＝1；当i＞1时,对每一个片段：
步骤S32的标记计算模型TCM,由碰撞概率模型CPM和密度概率模型DPM组成,其定义如下:
其中，
代表Si-1的所有帧，/>
代表Si-1中第k帧；
式中：IOUk是指在第k帧中所有片段的交集与并集的比值，
表示第k帧中所有片段所占像素点与背景的比值；
1表示可以加入新的片段，0表示不能加入新的片段，公式如下：
S33，寻找可能的时间标签，步骤如下：
通过TCM，得到每一个片段Pi可以插入的位置，随后采用如下方案寻找li；
首先从小到大对k进行排序；
然后计算得到对应的
值；
最后从尾向头找,分2种情况:找到第一个
其对应的k+1值即为li,没有找到/>
即全部为1的情况,则li＝li-1。
S34，计算最优时间标签，公式如下：
其中，cioup(Si-1，Pi)代表从p帧开始将Pi插入到Si-1中，所产生的边界框重叠面积和所有边界框面积和的比值，公式如下：
S35，计算优化用来节约计算时间：
考虑Pi+1的时间标签时,将不再计算相应的
本发明提供了一个优选实施例执行S3，对片段进行重排：
采用时间中值法来估计监控视频的背景；
将片段的最优时间标签利用泊松图像编辑技术依次拼接到生成的背景中得到浓缩视频。
为了全面评估本发明的有效性和普适性，进行了大量的实验。实验测试视频来自公开数据集VISOR、BEHAVE和CAVIAR，包括商场、交叉路口、餐厅进出口和道路等不同的场景。
为了验证所提交互行为判断方法的准确性，本文方法TP，SN进行对比，并采用准确率p，召回率r和F分数F作为评价指标。
表1 与其它方法交互性对比结果
实验结果如表1所示，我们的方法有着优秀的性能表现。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。
Claims (10)
1.一种片段-自适应的监控视频浓缩方法，其特征在于包括如下步骤：
S1:输入需要处理的视频；
S2:分析视频帧中目标的数量以及占背景空间比例将视频划分为拥挤和稀疏片段，并保留中断的轨迹，包括：
统计每一帧移动目标检测框的个数；
将视频划分为上、中上、中、中下和下5个部分；
计算所有目标的平均高度，将其划分到5个部分中的一种；
根据目标平均高度设定目标个数阈值以及空间占比阈值；
将每一帧的目标个数和空间占比与阈值进行比较，将帧划分为拥挤帧或者稀疏帧；
连续的拥挤帧或稀疏帧当作片段处理；
保留被中断的目标轨迹，延展拥挤片段；
S3:保留稀疏片段中目标之间的交互行为，包括：
求目标之间每一帧的空间距离，记做
，将其与两目标的平均高度相除与距离参数1.17进行比较；
距离参数小于1.17则距离满足参数
记做1，反之记为0；
计算目标之间的方向，若目标在移动方向上保持一致，则方向参数
记为1，反之记为0；
若目标方向参数为0且距离满足参数小于fps，则目标之间无交互性；
若目标方向参数为1且
大于交互阈值
则目标间有交互性，其中/>
计算公式如下：
式中
表示/>
管的持续时间；每秒传输帧数(fps)表明视频每秒钟提供的信息量；/>
代表/>
中目标管的数量；
S4:综合碰撞、交互、时域和空间占比约束安排片段新的时间标签；
S5:将新时间标签和背景融合生成浓缩视频。
2.如权利要求1所述片段-自适应的监控视频浓缩方法，其特征在于分析输入视频目标数量阈值以及空间占比阈值，计算公式如下：
式中
分别为空间占比阈值和目标数量阈值；/>
为背景的面积；/>
和/>
分别表示所有目标管边界框的平均高度以及平均面积。
3.如权利要求2所述的片段-自适应的监控视频浓缩方法，其特征在于将视频划分为浓缩片段和稀疏片段，公式如下：
式中，
是视频帧;/>
表示属于拥挤帧; />
则为稀疏帧; />
代表当前帧前景占帧像素的比例, />
表示当前帧的目标个数。
4.如权利要求1所述的片段-自适应的监控视频浓缩方法，其特征在于保留中断的轨迹；
中断的轨迹指由于分段划分被中断的运动路线，将稀疏片段和拥挤片段中断的轨迹进行拼接能够保证轨迹的完整性并延展拥挤片段。
5.如权利要求1所述的片段-自适应的监控视频浓缩方法，其特征在于结合目标之间的空间距离和移动方向来综合判断并保留稀疏片段中目标之间的交互行为。
6.如权利要求5所述的片段-自适应的监控视频浓缩方法，其特征在于当目标相对静止的帧数大于视频每秒能够传输的帧数时会判断为具有交互行为。
7.如权利要求1所述的片段-自适应的监控视频浓缩方法，其特征在于综合碰撞约束、交互约束、时序约束和空间占比约束安排片段新的时间标签；
控制碰撞程度和空间占比来提升视觉效果，保留交互作用维持视频语义信息，时序约束保证目标出现的时间顺序。
8.如权利要求7所述的片段-自适应的监控视频浓缩方法，其特征在于平衡碰撞与浓缩视频长度，公式如下：
式中，
为片段/>
新的开始时间， />
代表第/>
个片段可能的时间标签取值，/>
为选择插入的位置，/>
代表从/>
帧开始将/>
插入到/>
中所产生的边界框重叠面积和所有边界框面积和的比值，/>
为可插入位置的长度，/>
为碰撞阈值。
9.如权利要求7所述的片段-自适应的监控视频浓缩方法，时序约束通过将所有的片段按照片段时间出现顺序进行重排来实现。
10.如权利要求7所述的片段-自适应的监控视频浓缩方法，其特征在于控制目标占视频背景的比例，设定空间占比阈值为0.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211530723.3A CN115941997B (zh) | 2022-12-01 | 2022-12-01 | 片段-自适应的监控视频浓缩方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211530723.3A CN115941997B (zh) | 2022-12-01 | 2022-12-01 | 片段-自适应的监控视频浓缩方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115941997A CN115941997A (zh) | 2023-04-07 |
| CN115941997B true CN115941997B (zh) | 2023-06-30 |
Family
ID=86653630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211530723.3A Active CN115941997B (zh) | 2022-12-01 | 2022-12-01 | 片段-自适应的监控视频浓缩方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115941997B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117376638B (zh) * | 2023-09-02 | 2024-05-21 | 石家庄铁道大学 | 片段分割的视频浓缩方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8467610B2 (en) * | 2010-10-20 | 2013-06-18 | Eastman Kodak Company | Video summarization using sparse basis function combination |
| CN102708182B (zh) * | 2012-05-08 | 2014-07-02 | 浙江捷尚视觉科技有限公司 | 一种快速视频浓缩摘要方法 |
| CN103345764B (zh) * | 2013-07-12 | 2016-02-10 | 西安电子科技大学 | 一种基于对象内容的双层监控视频摘要生成方法 |
| CN104717457B (zh) * | 2013-12-13 | 2018-05-18 | 华为技术有限公司 | 一种视频浓缩方法及装置 |
| US10424341B2 (en) * | 2014-11-12 | 2019-09-24 | Massachusetts Institute Of Technology | Dynamic video summarization |
| CN112884808B (zh) * | 2021-01-26 | 2022-04-22 | 石家庄铁道大学 | 保留目标真实交互行为的视频浓缩管集划分方法 |
-
2022
- 2022-12-01 CN CN202211530723.3A patent/CN115941997B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115941997A (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Muhammad et al. | Cost-effective video summarization using deep CNN with hierarchical weighted fusion for IoT surveillance networks | |
| CN101689394B (zh) | 用于视频索引和视频概要的方法和系统 | |
| Pritch et al. | Webcam synopsis: Peeking around the world | |
| CN103929685B (zh) | 一种视频摘要生成及索引方法 | |
| JP5420199B2 (ja) | 映像解析装置、映像解析方法、ダイジェスト自動作成システム及びハイライト自動抽出システム | |
| CN106937114B (zh) | 用于对视频场景切换进行检测的方法和装置 | |
| EP2022055A2 (en) | Key-frame extraction from video | |
| CN115941997B (zh) | 片段-自适应的监控视频浓缩方法 | |
| WO2007020897A1 (ja) | 映像シーン分類装置および映像シーン分類方法 | |
| Ferryman et al. | Performance evaluation of crowd image analysis using the PETS2009 dataset | |
| CN104837031B (zh) | 一种高速自适应提取视频关键帧的方法 | |
| CN102222104A (zh) | 基于时空融合的智能提取视频摘要方法 | |
| CN111640135B (zh) | 一种基于硬件前端的tof摄像头行人计数方法 | |
| Omidyeganeh et al. | Video keyframe analysis using a segment-based statistical metric in a visually sensitive parametric space | |
| JP5360979B2 (ja) | 重要情報抽出方法および装置 | |
| CN110933520B (zh) | 一种基于螺旋摘要的监控视频展示方法及存储介质 | |
| Baber et al. | Video segmentation into scenes using entropy and SURF | |
| Zhu et al. | Automatic scene detection for advanced story retrieval | |
| Prabakaran et al. | Key frame extraction analysis based on optimized convolution neural network (ocnn) using intensity feature selection (ifs) | |
| Sewisy et al. | Speedup video segmentation via dual shot boundary detection (S-DSBD) | |
| Saoudi et al. | Spatio-temporal video slice edges analysis for shot transition detection and classification | |
| JP4930364B2 (ja) | 映像文字検出方法、装置、およびプログラム | |
| Xu et al. | Automatic generated recommendation for movie trailers | |
| Wang et al. | Research on video synopsis optimization method based on Two-stage abnormal behavior recognition | |
| Zhang et al. | Segmentation for efficient browsing of chronical video recorded by a wearable device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |