CN103455625A - 一种用于视频摘要的目标快速重排列方法 - Google Patents
一种用于视频摘要的目标快速重排列方法 Download PDFInfo
- Publication number
- CN103455625A CN103455625A CN2013104262102A CN201310426210A CN103455625A CN 103455625 A CN103455625 A CN 103455625A CN 2013104262102 A CN2013104262102 A CN 2013104262102A CN 201310426210 A CN201310426210 A CN 201310426210A CN 103455625 A CN103455625 A CN 103455625A
- Authority
- CN
- China
- Prior art keywords
- target
- video
- time
- length
- jump
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种用于视频摘要的目标快速重排列方法,涉及计算机视觉、智能视频监控领域。本方法根据输入的目标运动信息,将各个目标按照原始出现时间排列,作为初始的排列,确保生成的摘要视频长度小于等于原始视频;通过去除不存在运动目标的视频帧,初步缩小摘要视频;通过迭代方式来达到目标排列全局最优的目的。本方法包括下列步骤:①输入运动目标信息(201);②初始化(202);③初排列(203);④迭代排列(204);⑤输出目标排列方式(205)。本发明具有目标的排列是全局最优;计算量小,速度快,排列效果稳定;任何情况下,摘要视频长度都要小于原始视频;适用于视频摘要中的目标重排列。
Description
技术领域
本发明涉及计算机视觉、智能视频监控领域,具体涉及一种用于视频摘要的目标快速重排列方法。
背景技术
随着视频监控系统的迅猛发展,已成为维护社会治安与管理的重要组成部分。但是视频录像存在数据量大、时间长等特点,直接通过原始录像查找的做法,存在耗费大量人力、物力及效率低下的问题。因此在视频监控系统中,视频摘要即对原始视频进行浓缩具有重要的指导意义。
目标的重排列是视频摘要的重要组成部分,它主要的目的是提取原始视频中运动目标的信息后,将目标重新排列从而生成短小的视频,从而加快查找速度。
一般的目标重排列思路是:构造能量函数,解这个能量函数使其获得极值,从而获得最佳的目标重排列,解这个能量函数的常用算法有模拟退火算法、遗传算法等,而这些算法存在随着问题规模的增加,运算量以及耗时呈几何增长的问题,不利于按需求快速生成摘要视频。
因此,在视频摘要中,高效进行目标的重排列是亟待解决的问题,这也正是本发明的出发点。
发明内容
本发明的目的就在于克服现有技术存在的问题和不足,提供一种用于视频摘要的目标快速重排列方法,提高目标重排列的速度以及均匀性(目标平均分布到摘要视频中)、同时提高摘要视频的压缩比例。
本发明所采用的技术方案是:
通过去除时间轴上没有运动目标的视频帧,粗略地重排列目标,通过考虑时间轴上不同目标的重叠面积、单位帧上目标的个数以及面积信息,达到精确稳定重排列目标,这种目标重排列方法能够使生成的摘要视频非常短,并且目标分布合理、重叠少。
一、一种视频摘要系统(简称系统)
本系统包括工作环境:视频监控平台、综合接入网关和视频摘要管理服务器;
设置有视频摘要分析服务器;
其连接关系是:视频监控平台、综合接入网关、视频摘要管理服务器和视频摘要服务器依次连接。
工作原理
视频摘要服务器连接到视频摘要管理服务器,视频摘要分析服务器根据视频摘要管理服务器的IP(互联网协议)和端口连接到视频摘要管理服务器;用户请求视频摘要分析任务时,此请求发送到视频摘要管理服务器,视频摘要管理服务器记录下视频摘要服务器状态,并将待检测摄像头列表均衡分配到空闲的视频摘要服务器,视频摘要分析服务器轮巡设备,从摄像头获取实时视频并解码,得到RGB(red,green,blue,红绿兰颜色表示法)数据,然后对RGB数据进行分析,并将检测结果上报到视频摘要管理服务器,视频摘要管理服务器将结果保存下来。
二、一种用于视频摘要的目标快速重排列方法(简称方法)
本方法的工作原理:
根据输入的目标运动信息,将各个目标按照原始出现时间排列,作为初始的排列,确保生成的摘要视频长度小于等于原始视频;通过去除不存在运动目标的视频帧,初步缩小摘要视频;通过迭代方式来达到目标排列全局最优的目的。
本方法包括以下步骤:
①输入目标运动信息;
②初始化;
③初排列;
④迭代排列;
⑤输出目标排列方式。
本发明具有下列优点和积极效果:
①目标的排列是全局最优;
②计算量小,速度快,排列效果稳定;
③任何情况下,摘要视频长度都要小于原始视频;
④适用于视频摘要中的目标重排列。
附图说明
图1是本系统的结构方框图;
图中:
10—视频监控平台,
11—第1视频监控平台,
12—第2视频监控平台……
1N—第N视频监控平台,N是自然数,N<10;
20—综合接入网关;
30—视频摘要管理服务器;
40—视频摘要分析服务器,
41—第1视频摘要分析服务器……
4N—第N视频摘要分析服务器,N是自然数,N<100。
图2是本方法的步骤图;
图3是初始化产生的效果图;
图4是初排列的流程图;
图5是迭代排列的流程图;
图6是初排列产生的效果图;
图7是迭代排列产生的效果图。
具体实施方式
下面结合附图和实施例对本发明详细说明:
一、系统
1、总体
如图1,本统计系统包括工作环境:视频监控平台10、综合接入网关20和视频摘要管理服务器30;
设置有视频摘要分析服务器40;
其连接关系是:视频监控平台10、综合接入网关20、视频摘要管理服务器30和视频摘要分析服务器40依次连接。
2、功能部件
1)视频监控平台10
为用户提供实时音视频和各种报警信号的远程采集、传输、存储和处理等业务。
2)综合接入网关20
实现视频监控平台的统计接入。
3)视频摘要管理服务器30
实现视频摘要资源管理,负责管理视频摘要分析资源。
4)视频摘要分析服务器40
视频摘要分析服务器40是视频摘要分析的功能实体,在物理分布上对应一台服务器。视频摘要分析服务器40由多个VA(视频分析单元)组成,每个VA可独立完成一路视频的摘要分析。
具体地说,视频摘要分析服务器40的VA模块包括通用电脑及植入电脑内的功能软件。
主要功能为:
①实现视频摘要分析算法;
②接入到视频摘要管理服务器30,由视频摘要管理服务器30集中管理;
③接收视频摘要管理服务器30的视频摘要分析请求,从视频监控平台10获取视频并进行分析;
④将结果上报给视频摘要管理服务器30。
二、方法
如图2,本方法实现步骤如下:
①输入运动目标信息-201
利用运动目标检测与跟踪算法检测获得运动目标信息,运动目标信息包括目标出现时间、消失时间、运动轨迹和外接矩形;
②初始化-202
根据运动目标信息中的目标出现时间将目标排列到时间轴上,目标排列所形成的时间总长记为L,如图3所示,其中A、B、C分别标示不同的目标;
③初排列-203
为了去掉没有目标的视频帧,如图4,进行以下操作:
A、令标识i=1,i为整数-401;
B、判断时间i处是否有目标-402,是则跳转到步骤D,否则进入步骤C;
C、移动-403,即将时间点i后面的目标统一向前移动,移动距离记为M1,M1为时间i与后面最近目标的起始时间之间的长度;
D、令i=i+1,令L=L-M1,-404;
E、判断i是否小于L -405,是则跳转到步骤B,否则进入步骤F;
F、输出当前目标排列-406,流程结束。
经过初排列后的结果如图6所示。
④迭代排列-204
为了在目标重叠少的情况,进一步压缩视频摘要长度,即使得L值尽可能小,如图5,进行如下操作:
a、统计所有目标外接面积之和-501;
b、判断L*CR是否小于和等于SN -502,是则跳转到步骤,否则进入步骤c,其中CR为常量,表示期望的压缩比;
压缩比=SN/L0,SN为原始视频长度,L0为期望摘要视频长度;
c、计算当前每个时间点的平均面积avgS-503, avgS=S*CR/SN;
d、令标识j=0,j为整数 -504;
e、统计时间点j处目标的面积之和-505,记为areaCur;
f、判断areaCur是否小于avgS -506,是则进入步骤g,否则跳转到步骤h
g、移动 -507,即将时间点j后面的目标统一向前移动,移动距离记为M2,M2为时间j与后面最近目标的起始时间之间的长度,令L=L-M2;
h、令j=j+1-508;
i、判断j是否小于L -509,是则跳转到步骤e-505,否则进入步骤j-510;
j、判断L值是否减少 -510,是则跳转到步骤b-502,否则进入步骤k-511;
k、输出当前的目标排列-511,流程结束;
迭代排列结果如图7所示;
将步骤④获得的目标排列方式作为最终结果输出。
Claims (1)
1.一种用于视频摘要的目标快速重排列方法,其特征在于:
①输入运动目标信息(201)
利用运动目标检测与跟踪算法检测获得运动目标信息,运动目标信息包括目标出现时间、消失时间、运动轨迹和外接矩形;
②初始化(202)
根据运动目标信息中的目标出现时间将目标排列到时间轴上,目标排列所形成的时间总长记为L;
③初排列(203)
为了去掉没有目标的视频帧,进行以下操作:
A、令标识i=1,i为整数(401);
B、判断时间i处是否有目标(402),是则跳转到步骤D(404),否则进入步骤C(403);
C、移动(403),即将时间点i后面的目标统一向前移动,移动距离记为M1,M1为时间i与后面最近目标的起始时间之间的长度;
D、令i=i+1,令L=L-M1,(404);
E、判断i是否小于L(405),是则跳转到步骤B(402),否则进入步骤F(406);
F、输出当前目标排列(406),流程结束;
④迭代排列(204)
为了在目标重叠少的情况,进一步压缩视频摘要长度,即使得L值尽可能小,进行如下操作:
a、统计所有目标外接面积之和(501);
b、判断L*CR是否小于和等于SN(502),是则跳转到步骤k(511),否则进入步骤c(503),其中CR为常量,表示期望的压缩比;
压缩比=SN/L0,SN为原始视频长度,L0为期望摘要视频长度;
c、计算当前每个时间点的平均面积avgS(503),avgS=S*CR/SN;
d、令标识j=0,j为整数(504);
e、统计时间点j处目标的面积之和(505),记为areaCur;
f、判断areaCur是否小于avgS(506),是则进入步骤g(507),否则跳转到步骤h(508);
g、移动(507),即将时间点j后面的目标统一向前移动,移动距离记为M2,M2为时间j与后面最近目标的起始时间之间的长度,令L=L-M2;
h、令j=j+1(508);
i、判断j是否小于L(509),是则跳转到步骤e(505),否则进入步骤j(510);
j、判断L值是否减少(510),是则跳转到步骤b(502),否则进入步骤k(511);
k、输出当前的目标排列(511),流程结束;
⑤输出目标排列方式(205)
将步骤④获得的目标排列方式作为最终结果输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310426210.2A CN103455625B (zh) | 2013-09-18 | 2013-09-18 | 一种用于视频摘要的目标快速重排列方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310426210.2A CN103455625B (zh) | 2013-09-18 | 2013-09-18 | 一种用于视频摘要的目标快速重排列方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103455625A true CN103455625A (zh) | 2013-12-18 |
CN103455625B CN103455625B (zh) | 2016-07-06 |
Family
ID=49737988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310426210.2A Active CN103455625B (zh) | 2013-09-18 | 2013-09-18 | 一种用于视频摘要的目标快速重排列方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103455625B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105262932A (zh) * | 2015-10-20 | 2016-01-20 | 深圳市华尊科技股份有限公司 | 一种视频处理的方法及终端 |
CN109740530A (zh) * | 2018-12-29 | 2019-05-10 | 深圳Tcl新技术有限公司 | 视频段的提取方法、装置、设备及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060239644A1 (en) * | 2003-08-18 | 2006-10-26 | Koninklijke Philips Electronics N.V. | Video abstracting |
CN102708182A (zh) * | 2012-05-08 | 2012-10-03 | 浙江捷尚视觉科技有限公司 | 一种快速视频浓缩摘要方法 |
CN102855307A (zh) * | 2012-08-22 | 2013-01-02 | 深圳市华尊科技有限公司 | 保留时序性的数据重组方法及视频结构化系统 |
-
2013
- 2013-09-18 CN CN201310426210.2A patent/CN103455625B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060239644A1 (en) * | 2003-08-18 | 2006-10-26 | Koninklijke Philips Electronics N.V. | Video abstracting |
CN102708182A (zh) * | 2012-05-08 | 2012-10-03 | 浙江捷尚视觉科技有限公司 | 一种快速视频浓缩摘要方法 |
CN102855307A (zh) * | 2012-08-22 | 2013-01-02 | 深圳市华尊科技有限公司 | 保留时序性的数据重组方法及视频结构化系统 |
Non-Patent Citations (2)
Title |
---|
KIM C: "An integrated scheme for object based video abstraction", 《PROC. OF ACM MULTIMEDIA 2000》, 31 December 2000 (2000-12-31) * |
王毅 等: "视频摘要技术", 《信息工程大学学报》, vol. 10, no. 4, 31 December 2009 (2009-12-31), pages 493 - 497 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105262932A (zh) * | 2015-10-20 | 2016-01-20 | 深圳市华尊科技股份有限公司 | 一种视频处理的方法及终端 |
CN109740530A (zh) * | 2018-12-29 | 2019-05-10 | 深圳Tcl新技术有限公司 | 视频段的提取方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103455625B (zh) | 2016-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Guo et al. | [DL] A survey of FPGA-based neural network inference accelerators | |
Ma et al. | Hardware implementation and optimization of tiny-YOLO network | |
CN107491518A (zh) | 一种搜索召回方法和装置、服务器、存储介质 | |
US20100185619A1 (en) | Sampling analysis of search queries | |
WO2020007177A1 (zh) | 计算机执行的报价方法、报价装置、电子设备及存储介质 | |
Hussain et al. | Novel dynamic partial reconfiguration implementation of k-means clustering on FPGAs: Comparative results with GPPs and GPUs | |
JP7285977B2 (ja) | ニューラルネットワークトレーニング方法、装置、電子機器、媒体及びプログラム製品 | |
CN113987119A (zh) | 一种数据检索方法、跨模态数据匹配模型处理方法和装置 | |
Li et al. | Dynamic dataflow scheduling and computation mapping techniques for efficient depthwise separable convolution acceleration | |
US20150052126A1 (en) | Method and system for recommending relevant web content to second screen application users | |
Yao et al. | Lightweight network learning with zero-shot neural architecture search for UAV images | |
Wang et al. | A novel systolic array processor with dynamic dataflows | |
CN112200310B (zh) | 智能处理器、数据处理方法及存储介质 | |
CN103455625A (zh) | 一种用于视频摘要的目标快速重排列方法 | |
CN108345620B (zh) | 品牌信息处理方法、装置、存储介质及电子设备 | |
CN110019813A (zh) | 寿险案例检索方法、检索装置、服务器及可读存储介质 | |
Ma et al. | Optimizing hardware design for human action recognition | |
CN105468726B (zh) | 基于本地计算和分布式计算的数据计算方法及系统 | |
CN103412942A (zh) | 一种基于云计算技术的电压暂降数据分析方法 | |
Dai et al. | Cegma: Coordinated elastic graph matching acceleration for graph matching networks | |
CN113609812B (zh) | 基于LightGBM的网表级的线时延预测方法、设备及介质 | |
CN114489574B (zh) | 一种基于svm的流处理框架的自动调优方法 | |
Khodabandeh et al. | Active learning for structured prediction from partially labeled data | |
CN111475721B (zh) | 信息推送方法、装置、设备及存储介质 | |
Song et al. | Hardware-aware neural architecture search for stochastic computing-based neural networks on tiny devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |