CN105025360B - 一种改进的快速视频浓缩的方法 - Google Patents

一种改进的快速视频浓缩的方法 Download PDF

Info

Publication number
CN105025360B
CN105025360B CN201510419604.4A CN201510419604A CN105025360B CN 105025360 B CN105025360 B CN 105025360B CN 201510419604 A CN201510419604 A CN 201510419604A CN 105025360 B CN105025360 B CN 105025360B
Authority
CN
China
Prior art keywords
video
frame
concentration
target
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510419604.4A
Other languages
English (en)
Other versions
CN105025360A (zh
Inventor
王丽峰
贠周会
王旭
叶超
王欣欣
黄江林
吴斌
黄亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Hongdu Aviation Industry Group Co Ltd
Original Assignee
Jiangxi Hongdu Aviation Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Hongdu Aviation Industry Group Co Ltd filed Critical Jiangxi Hongdu Aviation Industry Group Co Ltd
Priority to CN201510419604.4A priority Critical patent/CN105025360B/zh
Publication of CN105025360A publication Critical patent/CN105025360A/zh
Application granted granted Critical
Publication of CN105025360B publication Critical patent/CN105025360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种改进的快速视频浓缩的方法与系统，涉及数字图像处理技术与计算机视觉技术领域，采用了频率相对放缓的背景更新、跳帧方式的目标提取和有碰撞的目标排序方式进行浓缩系统的创新型改进，从而进一步满足了当今社会对该项技术的更高层次的要求。该改进的快速视频浓缩的方法与系统提出的快速视频浓缩系统不仅具备原视频浓缩系统的精确锁定运动目标的能力，而且还能够更加快速地进行浓缩和大幅度地压缩视频时间，从而减小了存储的压力和节约了工作时间。

Description

一种改进的快速视频浓缩的方法
技术领域
本发明涉及数字图像处理技术与计算机视觉技术领域，特别涉及一种改进的快速视频浓缩的方法。
背景技术
随着国民经济和基础科学的迅猛发展，视频分析技术得到了很大的进步。其中，视频浓缩系统作为视频分析技术的重要实现已被广泛地应用在社会的各个领域中。目前市场上的视频浓缩系统普遍存在浓缩效率和浓缩比例都比较低的问题，还没有达到工程上的实际要求。
现有视频浓缩系统的背景更新频率频繁，一般在0.5S至2S更新一次，而且在运动目标提取过程中采取的是逐帧地进行帧间差分方法，这两种方式的计算量十分庞大，进而导致了浓缩耗时的情况。另外，对于运动目标排序大多采取的是无碰撞的方式，这就导致了浓缩比例不高，浓缩后视频的存储体积偏大的情况。
发明内容
本发明所要解决的技术问题是提供一种改进的快速视频浓缩的方法，采用了频率相对放缓的背景更新、跳帧方式的目标提取和有碰撞的目标排序方式进行浓缩系统的创新型改进。从而进一步满足了当今社会对该项技术的更高层次的要求。
为实现上述目的，本发明提供以下的技术方案：一种改进的快速视频浓缩的方法，其特征在于：所述改进的快速视频浓缩的方法包括改进的快速视频浓缩系统，该系统包括应用程序界面、任务管理器、解码模块、目标提取与跟踪、视频浓缩以及编码模块，该改进的快速视频浓缩的方法步骤如下：
(1)生成首背景：令视频帧率为每秒m帧，在视频缓冲区中取出4m张视频帧，取出其中的2m张，对2m张视频帧的各个像素点的RGB三个通道的值分别利用快排算法得出对应的中位值，最终由中位值重新组成的图片为首背景；
(2)背景更新：生成首背景后，从视频缓冲区中取出4m张视频帧，对每一帧进行灰度化，并依次相减，得到的差值与经验阈值比较，大于该阈值的像素点为运动点并设为白，小于等于该阈值的像素点为不动点并设为黑，对于图片上某一指定区域，如果白色变为黑色后就不再发生变化且该区域的像素点个数大于此处运动目标所包含像素点个数的三分之二，就将该区域更新到背景的指定位置上，否则就不更新背景，根据更新次数对背景图片进行编号，同时存入数据库，通过以上计算可知，最快4秒更新一次背景；
(3)目标提取：首先在视频缓冲区中每隔4帧取一帧作为待处理视频帧，在待处理视频帧中将相邻两帧依次相减和当前帧与背景帧相减得到的二值图像进行相加融合，再对得到的图片进行过滤，过滤掉小于固定宽、高和指定面积的孤立单连通区域，进而对运动目标进行边缘检测以提取出目标边缘，最终确定了运动目标的指定区域；
(4)目标跟踪：在目标提取的基础上，如果前一帧和当前帧的相近区域中运动目标所占像素点有重叠，且重叠面积小于该区域面积，就认定该目标是同一个目标，如果前一帧和当前帧的相近区域中运动目标所占像素点有重叠，且重叠面积大于或等于该区域面积，就认定该区域可能存在目标覆盖，利用MeanShift算法做直方图来判别，如果MeanShift算法判别值小于经验阈值，则认定为同一目标，如果大于经验阈值，则认定不是同一目标，将认定为同一目标的视频帧组成视频片段且编号；
(5)生成浓缩视频：将任意目标出现的时间附在该运动目标上首先确定视频片段的背景，根据片段是否在同一背景下对其进行分类，将通过分类得到的视频片段按时间顺序排列形成浓缩后视频，对于不同运动目标的重叠部分采用不同透明度表示以实现视觉上的区分，不考虑无碰撞的目标排序，以实现最大比例的浓缩。
优选的，所述应用程序界面包含该系统的所有功能性按键、菜单栏以及窗口，可以通过任务管理器调用底层的功能函数。
优选的，所述任务管理器负责各个模块之间的调用、程序的逻辑关系以及线程的提起与结束的任务。
采用以上技术方案的有益效果是：该改进的快速视频浓缩的方法提出的快速视频浓缩系统不仅具备原视频浓缩系统的精确锁定运动目标的能力，而且还能够更加快速地进行浓缩和大幅度地压缩视频时间，从而减小了存储的压力和节约人类的工作时间。为刑侦、安防以及交通安全等领域提供更加友好的服务。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的描述。
图1是本发明一种改进的快速视频浓缩的方法的功能模块与工作流程图。
具体实施方式
下面结合附图详细说明本发明一种改进的快速视频浓缩的方法的优选实施方式。
结合图1出示本发明一种改进的快速视频浓缩的方法的具体实施方式：所述改进的快速视频浓缩的方法包括改进的快速视频浓缩系统，该系统包括应用程序界面、任务管理器、解码模块、目标提取与跟踪、视频浓缩以及编码模块，应用程序界面包含该系统的所有功能性按键、菜单栏以及窗口，可以通过任务管理器调用底层的功能函数，任务管理器负责各个模块之间的调用、程序的逻辑关系以及线程的提起与结束的任务。
该改进的快速视频浓缩的方法步骤如下：
(1)生成首背景：令视频帧率为每秒m帧，在视频缓冲区中取出4m张视频帧，取出其中的2m张，对2m张视频帧的各个像素点的RGB三个通道的值分别利用快排算法得出对应的中位值，最终由中位值重新组成的图片为首背景；
(2)背景更新：生成首背景后，从视频缓冲区中取出4m张视频帧，对每一帧进行灰度化，并依次相减，得到的差值与经验阈值比较，大于该阈值的像素点为运动点并设为白，小于等于该阈值的像素点为不动点并设为黑，对于图片上某一指定区域，如果白色变为黑色后就不再发生变化且该区域的像素点个数大于此处运动目标所包含像素点个数的三分之二，就将该区域更新到背景的指定位置上，否则就不更新背景，根据更新次数对背景图片进行编号，同时存入数据库，通过以上计算可知，最快4秒更新一次背景；
(3)目标提取：首先在视频缓冲区中每隔4帧取一帧作为待处理视频帧，在待处理视频帧中将相邻两帧依次相减和当前帧与背景帧相减得到的二值图像进行相加融合，再对得到的图片进行过滤，过滤掉小于固定宽、高和指定面积的孤立单连通区域，进而对运动目标进行边缘检测以提取出目标边缘，最终确定了运动目标的指定区域；
(4)目标跟踪：在目标提取的基础上，如果前一帧和当前帧的相近区域中运动目标所占像素点有重叠，且重叠面积小于该区域面积，就认定该目标是同一个目标，如果前一帧和当前帧的相近区域中运动目标所占像素点有重叠，且重叠面积大于或等于该区域面积，就认定该区域可能存在目标覆盖，利用MeanShift算法做直方图来判别，如果MeanShift算法判别值小于经验阈值，则认定为同一目标，如果大于经验阈值，则认定不是同一目标，将认定为同一目标的视频帧组成视频片段且编号；
(5)生成浓缩视频：将任意目标出现的时间附在该运动目标上首先确定视频片段的背景，根据片段是否在同一背景下对其进行分类，将通过分类得到的视频片段按时间顺序排列形成浓缩后视频，对于不同运动目标的重叠部分采用不同透明度表示以实现视觉上的区分，不考虑无碰撞的目标排序，以实现最大比例的浓缩。
原视频通过解码器形成图片形式的连续视频帧。再将视频帧输入到运动目标提取与跟踪模块中，首先向缓冲区中存入4m张视频帧，用统计的方法确立首背景，对下次存入缓冲区的4m视频帧进行背景更新处理。再从缓冲区中每隔4帧取出一帧视频帧组成新的视频列，对该视频列逐一进行灰度化，并与背景进行RGB三通道的值分别对应相减，所得差值的绝对值之和再与给定阈值相比，大于该阈值的为运动目标设为白色，小于该阈值的为背景设为黑色。再将该灰度化后的视频列的相邻两帧进行这种算法。将背景差分法和帧间差分法得到的运动目标进行融合并做形态学处理以消除噪声，并利用MeanShift算法进行目标融合，最终得到了单一运动目标的视频片段。将视频片段输入到视频浓缩模块中，以不考虑无碰撞的情况对这些视频片段按时间先后顺序进行排序以形成浓缩视频帧序列。最后将帧序列通过编码器进行编码生成浓缩后视频。
以上的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (3)

1.一种改进的快速视频浓缩的方法，其特征在于：所述改进的快速视频浓缩的方法包括改进的快速视频浓缩系统，该系统包括应用程序界面、任务管理器、解码模块、目标提取与跟踪、视频浓缩以及编码模块，该改进的快速视频浓缩的方法步骤如下：
（1）生成首背景：令视频帧率为每秒m帧，在视频缓冲区中取出4m张视频帧，取出其中的2m张，对2m张视频帧的各个像素点的RGB三个通道的值分别利用快排算法得出对应的中位值，最终由中位值重新组成的图片为首背景；
（2）背景更新：生成首背景后，从视频缓冲区中取出4m张视频帧，对每一帧进行灰度化，并依次相减，得到的差值与经验阈值比较，大于该阈值的像素点为运动点并设为白，小于等于该阈值的像素点为不动点并设为黑，对于图片上某一指定区域，如果白色变为黑色后就不再发生变化且该区域的像素点个数大于此处运动目标所包含像素点个数的三分之二，就将该区域更新到背景的指定位置上，否则就不更新背景，根据更新次数对背景图片进行编号，同时存入数据库，通过以上计算可知，最快4秒更新一次背景；
（3）目标提取：首先在视频缓冲区中每隔4帧取一帧作为待处理视频帧，在待处理视频帧中将相邻两帧依次相减和当前帧与背景帧相减得到的二值图像进行相加融合，再对得到的图片进行过滤，过滤掉小于固定宽、高和指定面积的孤立单连通区域，进而对运动目标进行边缘检测以提取出目标边缘，最终确定了运动目标的指定区域；
（4）目标跟踪：在目标提取的基础上，如果前一帧和当前帧的相近区域中运动目标所占像素点有重叠，且重叠面积小于该区域面积，就认定该目标是同一个目标，如果前一帧和当前帧的相近区域中运动目标所占像素点有重叠，且重叠面积大于或等于该区域面积，就认定该区域可能存在目标覆盖，利用MeanShift算法做直方图来判别，如果MeanShift算法判别值小于经验阈值，则认定为同一目标，如果大于经验阈值，则认定不是同一目标，将认定为同一目标的视频帧组成视频片段且编号；
（5）生成浓缩视频：将任意目标出现的时间附在该运动目标上首先确定视频片段的背景，根据片段是否在同一背景下对其进行分类，将通过分类得到的视频片段按时间顺序排列形成浓缩后视频，对于不同运动目标的重叠部分采用不同透明度表示以实现视觉上的区分，不考虑无碰撞的目标排序，以实现最大比例的浓缩。
2.根据权利要求1所述的改进的快速视频浓缩的方法，其特征在于：所述应用程序界面包含该系统的所有功能性按键、菜单栏以及窗口，可以通过任务管理器调用底层的功能函数。
3.根据权利要求1所述的改进的快速视频浓缩的方法，其特征在于：所述任务管理器负责各个模块之间的调用、程序的逻辑关系以及线程的提起与结束的任务。
CN201510419604.4A 2015-07-17 2015-07-17 一种改进的快速视频浓缩的方法 Active CN105025360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510419604.4A CN105025360B (zh) 2015-07-17 2015-07-17 一种改进的快速视频浓缩的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510419604.4A CN105025360B (zh) 2015-07-17 2015-07-17 一种改进的快速视频浓缩的方法

Publications (2)

Publication Number Publication Date
CN105025360A CN105025360A (zh) 2015-11-04
CN105025360B true CN105025360B (zh) 2018-07-17

Family

ID=54415006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510419604.4A Active CN105025360B (zh) 2015-07-17 2015-07-17 一种改进的快速视频浓缩的方法

Country Status (1)

Country Link
CN (1) CN105025360B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227759B (zh) * 2016-07-14 2019-09-13 中用科技有限公司 一种动态生成视频摘要的方法及装置
CN109600544B (zh) * 2017-09-30 2021-11-23 阿里巴巴集团控股有限公司 一种局部动态影像生成方法及装置
CN109462731A (zh) * 2018-11-27 2019-03-12 北京潘达互娱科技有限公司 一种直播中动效视频的播放方法、装置、终端及服务器
WO2020107327A1 (en) 2018-11-29 2020-06-04 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for target identification in video
CN110430443B (zh) * 2019-07-11 2022-01-25 平安科技（深圳）有限公司 视频镜头剪切的方法、装置、计算机设备及存储介质
CN110572665B (zh) * 2019-09-24 2021-07-23 中国人民解放军国防科技大学 一种基于背景减除的静态背景视频自适应压缩方法
CN111028262A (zh) * 2019-12-06 2020-04-17 衢州学院 一种多通道复合的高清高速视频背景建模方法
CN112188167B (zh) * 2020-09-30 2023-04-18 成都智视慧语科技有限公司 基于5g边云计算的视频浓缩萃取精炼升华的方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020991A (zh) * 2012-12-26 2013-04-03 中国科学技术大学 一种视频场景中运动目标感知的方法及系统
CN103092930A (zh) * 2012-12-30 2013-05-08 信帧电子技术（北京）有限公司 视频摘要生成方法和视频摘要生成装置
CN103345492A (zh) * 2013-06-25 2013-10-09 无锡赛思汇智科技有限公司 一种视频浓缩的方法和系统
EP2891990A1 (en) * 2012-08-30 2015-07-08 ZTE Corporation Method and device for monitoring video digest

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2010238543B2 (en) * 2010-10-29 2013-10-31 Canon Kabushiki Kaisha Method for video object detection
US20150104149A1 (en) * 2013-10-15 2015-04-16 Electronics And Telecommunications Research Institute Video summary apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2891990A1 (en) * 2012-08-30 2015-07-08 ZTE Corporation Method and device for monitoring video digest
CN103020991A (zh) * 2012-12-26 2013-04-03 中国科学技术大学 一种视频场景中运动目标感知的方法及系统
CN103092930A (zh) * 2012-12-30 2013-05-08 信帧电子技术（北京）有限公司 视频摘要生成方法和视频摘要生成装置
CN103345492A (zh) * 2013-06-25 2013-10-09 无锡赛思汇智科技有限公司 一种视频浓缩的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于运动检测及跟踪的视频浓缩方法研究;韩建康;《中国优秀硕士学位论文全文数据库》;20120815;第7页至43页 *
基于运动目标的视频浓缩技术研究;叶家林;《中国优秀硕士学位论文全文数据库》;20160515;第5页至第47页 *

Also Published As

Publication number Publication date
CN105025360A (zh) 2015-11-04

Similar Documents

Publication Publication Date Title
CN105025360B (zh) 一种改进的快速视频浓缩的方法
WO2017084204A1 (zh) 一种二维视频流中的人体骨骼点追踪方法及系统
CN103854273B (zh) 一种近正向俯视监控视频行人跟踪计数方法和装置
CN107589850A (zh) 一种手势移动方向的识别方法及系统
US8355079B2 (en) Temporally consistent caption detection on videos using a 3D spatiotemporal method
CN105046719B (zh) 一种视频监控方法及系统
CN105427286B (zh) 一种基于灰度和梯度分割的红外目标检测方法
CN104268899A (zh) 基于帧间差分和背景差分的运动目标检测方法
US20130044964A1 (en) Image processing device, image processing method and program
EP3912338A1 (en) Sharing physical writing surfaces in videoconferencing
CN105976309B (zh) 一种高效且易于并行实现的美颜移动终端
CN107358621A (zh) 对象跟踪方法及装置
CN110705492A (zh) 一种舞台移动机器人障碍目标检测方法
Zhou et al. Denoising method using a moving-average filter for the moving-object recognition of low-illuminance video-image
Zheng et al. An automatic moving object detection algorithm for video surveillance applications
CN106447685B (zh) 一种红外跟踪方法
Subashini et al. Implementation of object tracking system using region filtering algorithm based on simulink blocksets
Sawangsri et al. Face segmentation based on Hue-Cr components and morphological technique
Sehairi et al. A Real-Time Implementation of Moving Object Action Recognition System Based on Motion Analysis
Lin et al. Realtime object extraction and tracking with an active camera using image mosaics
Yam et al. Fast video object detection via multiple background modeling
CN103514431B (zh) 自适应障碍物影像侦测方法
Kaittan et al. Tracking of Video Objects Based on Kalman Filter
Song et al. A real-time algorithm for moving objects detection in video images
Liu et al. Research on Effective Segment Extraction of Ship Surveillance Videos

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant