CN105979406A - 基于代表性特征的视频摘要提取方法及其系统 - Google Patents

基于代表性特征的视频摘要提取方法及其系统 Download PDF

Info

Publication number
CN105979406A
CN105979406A CN201610268490.2A CN201610268490A CN105979406A CN 105979406 A CN105979406 A CN 105979406A CN 201610268490 A CN201610268490 A CN 201610268490A CN 105979406 A CN105979406 A CN 105979406A
Authority
CN
China
Prior art keywords
foreground blocks
sequence
event
foreground
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610268490.2A
Other languages
English (en)
Other versions
CN105979406B (zh
Inventor
林巍峣
琚震
王晓琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201610268490.2A priority Critical patent/CN105979406B/zh
Publication of CN105979406A publication Critical patent/CN105979406A/zh
Application granted granted Critical
Publication of CN105979406B publication Critical patent/CN105979406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于代表性特征的视频摘要提取方法及其系统，包括：事件提取模块、事件聚类模块、代表性事件选取模块和事件快照模块，通过事件提取模块对视频中的每一帧图像进行前景块提取和筛选，得到视频中所有的前景块序列，将每个前景块序列作为视频的一个事件；然后通过事件聚类模块对事件进行聚类，并通过代表性事件选取模块根据代表性特征值对各事件类选取代表性的事件；最后通过事件快照模块对每个代表性事件制作快照得到视频的摘要；本发明设计合理，可以快速有效提取视频中的信息。

Description

基于代表性特征的视频摘要提取方法及其系统
技术领域
本发明涉及的是一种视频图像处理领域的技术，具体是一种基于代表性特征的视频摘要提取方法及其系统。
背景技术
随着视频监控越来越普及，监控视频的长度和数量迅速增长，所以从长的监控视频中高效地提取有效的信息是很重要的工作。通过查看整个监控视频来获得视频中的有效信息费时费力，考虑到视频长度和数量越来越多，这种方式也越来越不可行。所以找到合适的对长视频的基于代表提取的视频分析和摘要方法显得极为重要。
目前有一种方法是对视频的关键帧进行检测和提取，使用关键帧作为视频的摘要的方法。这种方法虽然可以有效获得视频的一些信息，但其只提取视频关键帧，没有表达出视频的时间信息。在视频中关键信息很多且分散在不同帧的情况下，这种方法效率较低，对于对时间信息有要求的监控视频并不适用。
最近几年，一些基于序列的视频摘要方法被提出。这些方法对视频的每一帧提取前景，然后关联前景得到前景序列，并对前景序列进行时域上的压缩。这些方法虽然对提取的事件进行了时域上的压缩，但未对视频中的事件信息进行有效的分析整理。
经过对现有技术的检索发现，中国专利文献号CN103345492A，公布日2013.10.9，公开了一种视频浓缩的方法和系统，包括：对原视频图像中的每帧图像进行建模分析，判定前景与背景的区域位置；建立二值图；对前景中的每个目标物体进行跟踪，得到事件体；将事件体以及事件体的信息存储到前景图像数据库中；将存储在事件体数据库中的事件体按预设的时间间隔切分成事件片并获取事件片的特征信息；对事件片进行聚类分类；进行视频浓缩展现；所述方法还包括对背景图像进行采样。但该技术需要对每帧图像分析前景区域和背景区域，对每个目标进行跟踪，加大了数据处理量和程序繁琐程度，无法对不同类型的大量事件进行有效的浓缩和展示。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于代表性特征的视频摘要提取方法及其系统，通过提取视频中的前景块序列作为事件，对事件进行聚类，提取代表性的事件，并制作快照和视频摘要，快速有效地获取视频中的有效信息，方便用户查看。
本发明是通过以下技术方案实现的：
本发明涉及一种基于代表性特征的视频摘要提取方法，通过对视频中的每一帧图像进行前景块提取和筛选，得到视频中所有的前景块序列，每个前景块序列作为视频的一个事件；然后对前景块序列进行聚类，并根据代表性特征值对聚类得到的每一类前景块序列选取代表性的前景块序列；最后通过对每个代表性前景块序列制作快照得到视频的摘要。
所述的前景块序列是指：若连续两帧提取到的前景像素点重叠面积与该两帧前景像素点面积平均值的比值大于设定值，则将该两帧的前景块按时间顺序连接起来得到的序列。
所述的筛选是指：筛除提取出的大小小于背景图片1/100，大于背景图片1/3的前景块。
所述的背景图片是指没有前景块的帧。
所述的代表性的前景块序列为通过暴力搜索的方法得到每一前景序列类中代表性特征值最大的前景块序列。
所述的代表性特征值包括前景块序列的质量信息、大小信息和与聚类中心的距离信息。
所述的代表性特征值φ(R(u,v))＝λcφc(R(u,v))+λsφs(R(u,v))+λdφd(R(u,v))，其中：R(u,v)是起止帧分别为第u帧和第v帧的前景块序列，λc、λs和λd为权重因子，φc(R(u,v))为前景块序列(R(u,v))的质量，φs(R(u,v))为前景块序列(R(u,v))的大小，φd(R(u,v)为前景块序列(R(u,v))与聚类中心的距离。
所述的前景块序列的质量其中：Bk为前景块序列R(u,v)的第k个前景块，H(Bk)为前景块Bk的质量，NBk为前景块序列R(u,v)中前景块的个数。
所述的前景块的质量H(Bk)为该前景块Bk所有像素点的熵。
所述的前景块的质量其中：h(i)为前景块Bk灰度化之后像素值为i的像素点的个数，|Bk|为前景块Bk中像素点的个数。
所述的前景块序列的大小其中：s(Bk)为前景块Bk的大小，var(s(Bk))为前景块序列R(u,v)中前景块大小的方差。
所述的前景块序列与聚类中心的距离其中：Ga为结果聚类得到的一类前景块序列，R(u,v)与R(u’,v’)为前景块序列类Ga中两个不同的前景块序列，|Ga|为前景块序列类Ga中前景块序列的个数，D(R(u,v),R(u’,v’))为两个前景块序列R(u,v)和R(u’,v’)之间的距离。
所述的制作快照是指：通过在同一张背景图片上标示出前景块序列中的起止帧的前景块的点，通过前景块序列中各帧前景块像素的中心，描绘出物体运动的轨迹。
本发明涉及一种实现上述方法的系统，包括：事件提取模块、事件聚类模块、代表性事件选取模块和事件快照模块，其中：事件提取模块提取视频中的事件信息，并传输至事件聚类模块进行聚类；代表性事件选取模块选取事件聚类模块中各事件类中的代表性事件，并传输至事件快照模块对各代表性事件制作快照，生成视频摘要。
技术效果
与现有技术相比，本发明通过对连续视频图像的每一帧中的前景进行事件的提取，并通过筛选去除噪所，提高了视频中事件检测和提取的准确性和鲁棒性；同时，结合时间和空间信息对事件进行聚类，使得时间信息有序化，用户可以通过查看图片就获得事件信息。
附图说明
图1为本发明示意图；
图2为实施例效果图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
如图1所示，本实施例在PC机上运行，包括以下步骤：
步骤1、对视频中的每一帧图像进行前景块提取和筛选，得到视频中所有的前景块序列。
所述的前景块提取采用B.Olivier等人的”ViBe:A Universal Background SubtractionAlgorithm for Video Sequences”(IEEE Transactions on Image Processing)一文中的ViBe前景提取算法。
所述的筛选是指：筛除提取出的大小小于背景图片1/100，大于背景图片1/3的前景块。
所述的背景图片是指没有前景块的帧。
所述的前景过小，说明可能为噪声，过大可能是由于摄像头抖动。
所述的前景块序列是指：若连续两帧提取到的前景像素点重叠面积与该两帧前景像素点面积平均值的比值大于设定值，将该两帧的前景块按时间顺序连接起来得到的序列。
本实施例的设定值为70％。
步骤2、计算视频中的两个前景块序列之间的距离，采用谱聚类进行聚类，得到特定类数的前景块序列类，并对各类前景块序列根据代表性特征值提取代表性的前景块序列。
所述的前景块序列之间的距离计算采用Meinard Müller等人的《Information Retrievalfor Music and Motion》一书中”Dynamic Time Warping”一章中的算法，其中：前景块的重心作为该前景块的位置，两个前景块位置的欧拉距离作为两个前景块的距离。
所述的谱聚类引自Ulrike von Luxburg等人的”A tutorial spectral clustering”(Statisticsand Computing)一文。
所述的代表性特征值包括前景块序列的质量信息、大小信息和与聚类中心的距离信息。
所述的代表性特征值φ(R(u,v))＝λcφc(R(u,v))+λsφs(R(u,v))+λdφd(R(u,v))，其中：R(u,v)是起止帧分别为第u帧和第v帧的前景块序列，λc、λs和λd为权重因子，φc(R(u,v))为前景块序列(R(u,v))的质量，φs(R(u,v))为前景块序列(R(u,v))的大小，φd(R(u,v)为前景块序列(R(u,v))与聚类中心的距离。
所述的前景块序列的质量其中：Bk为前景块序列R(u,v)的第k个前景块，H(Bk)为前景块Bk的质量，N为前景块序列R(u,v)中前景块的个数。
所述的前景块的质量H(Bk)为该前景块Bk所有像素点的熵。
所述的前景块的质量其中：h(i)为前景块Bk灰度化之后像素值为i的像素点的个数，|Bk|为前景块Bk中像素点的个数。
所述的前景块序列的大小其中：s(Bk)为前景块Bk的大小，var(s(Bk))为前景块序列R(u,v)中前景块大小的方差。
所述的前景块序列与聚类中心的距离其中：Ga为结果聚类得到的一类前景块序列，R(u,v)与R(u’,v’)为前景块序列类Ga中两个不同的前景块序列，|Ga|为前景块序列类Ga中前景块序列的个数，D(R(u,v),R(u’,v’))为两个前景块序列R(u,v)和R(u’,v’)之间的距离。
所述的前景块序列的质量越大，则表明该序列中的前景块越清晰，包含的信息越多，质量越高。
所述的前景块序列的大小越大，则表明该序列中的前景块大小变化均匀。
所述的代表性的前景块序列为通过暴力搜索的方法得到每一前景序列类中代表性特征值最大的前景块序列。
步骤3、对视频中的每个前景块序列制作快照，具体包括以下步骤：
S1：将前景块序列的起止前景块在背景图片上画出，如图2所示，图中a1为前景块序列的起始帧提取出的前景块，a6为结束帧提取出的前景块。
S2：通过在背景图片上标出前景块序列中每一前景块像素的重心，描绘出物体移动的轨迹，图中a2～a5为前景块序列除起止帧以外的帧所提取出的前景块，得到该前景块序列的快照。
通过实验发现，本实施例在处理长度为35min的视频需要6min，提取到89个事件类，快速高效，并且能更有效地更有序地表达出视频中的有效信息。
由于长视频中事件数量会很多，也会分成多个类型，直接观看长视频来获得其中的有效信息是一件费时费力的事情，通过提取每一个视频中的事信息，对提取到的事件信息进行聚类，然后将聚类得到的每一个事件类选取一个代表性的事件；并且对每一类事件分别做一个简短的视频摘要、制作快照，以便更迅速了解整个事件。通过观察这些摘要和快照，我们可以有效快速得到视频中的信息。

Claims (8)

1.一种基于代表性特征的视频摘要提取方法，其特征在于，通过对视频中的每一帧图像进行前景块提取和筛选，得到视频中所有的前景块序列，每个前景块序列作为视频的一个事件；然后对前景块序列进行聚类，并根据代表性特征值对聚类得到的每一类前景块序列选取代表性的前景块序列；最后通过对每个代表性前景块序列制作快照得到视频的摘要。
2.根据权利要求1所述的视频摘要提取方法，其特征是，若连续两帧提取到的前景像素点重叠面积与该两帧前景像素点面积平均值的比值大于设定值，则将该两帧的前景块按时间顺序连接起来得到的序列。
3.根据权利要求1所述的视频摘要提取方法，其特征是，所述的筛选是指：筛除提取出的大小小于背景图片1/100，大于背景图片1/3的前景块；
所述的背景图片是指没有前景块的帧。
4.根据权利要求1所述的视频摘要提取方法，其特征是，所述的代表性的前景块序列为通过暴力搜索的方法得到每一前景序列类中代表性特征值最大的前景块序列，其中：代表性特征值包括前景块序列的质量信息、大小信息和与聚类中心的距离信息。
5.根据权利要求4所述的视频摘要提取方法，其特征是，所述的代表性特征值φ(R(u,v))＝λcφc(R(u,v))+λsφs(R(u,v))+λdφd(R(u,v))，其中：R(u,v)是起止帧分别为第u帧和第v帧的前景块序列，λc、λs和λd为权重因子，φc(R(u,v))为前景块序列(R(u,v))的质量，φs(R(u,v))为前景块序列(R(u,v))的大小，φd(R(u,v)为前景块序列(R(u,v))与聚类中心的距离。
6.根据权利要求5所述的视频摘要提取方法，其特征是，所述的前景块序列的质量其中：Bk为前景块序列R(u,v)的第k个前景块，H(Bk)为前景块Bk的质量，N为前景块序列R(u,v)中前景块的个数；
所述的前景块的质量其中：h(i)为前景块Bk灰度化之后像素值为i的像素点的个数，|Bk|为前景块Bk中像素点的个数；
所述的前景块序列的大小其中：s(Bk)为前景块Bk的大小，var(s(Bk))为前景块序列R(u,v)中前景块大小的方差；
所述的前景块序列与聚类中心的距离其中：Ga为结果聚类得到的一类前景块序列，R(u,v)与R(u，,v，)为前景块序列类Ga中两个不同的前景块序列，|Ga|为前景块序列类Ga中前景块序列的个数，D(R(u,v),R(u，,v，))为两个前景块序列R(u,v)和R(u，,v，)之间的距离。
7.根据权利要求1所述的视频摘要提取方法，其特征是，所述的制作快照是指：通过在同一张背景图片上标示出前景块序列中的起止帧的前景块的点，通过前景块序列中各帧前景块像素的中心，描绘出物体运动的轨迹。
8.一种实现上述任一权利要求所述视频摘要提取方法的系统，其特征在于，包括：事件提取模块、事件聚类模块、代表性事件选取模块和事件快照模块，其中：事件提取模块提取视频中的事件信息，并传输至事件聚类模块进行聚类；代表性事件选取模块选取事件聚类模块中各事件类中的代表性事件，并传输至事件快照模块对各代表性事件制作快照，生成视频摘要。
CN201610268490.2A 2016-04-27 2016-04-27 基于代表性特征的视频摘要提取方法及其系统 Active CN105979406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610268490.2A CN105979406B (zh) 2016-04-27 2016-04-27 基于代表性特征的视频摘要提取方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610268490.2A CN105979406B (zh) 2016-04-27 2016-04-27 基于代表性特征的视频摘要提取方法及其系统

Publications (2)

Publication Number Publication Date
CN105979406A true CN105979406A (zh) 2016-09-28
CN105979406B CN105979406B (zh) 2019-01-18

Family

ID=56994811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610268490.2A Active CN105979406B (zh) 2016-04-27 2016-04-27 基于代表性特征的视频摘要提取方法及其系统

Country Status (1)

Country Link
CN (1) CN105979406B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375816A (zh) * 2010-08-10 2012-03-14 中国科学院自动化研究所 一种在线视频浓缩装置、系统及方法
WO2012068154A1 (en) * 2010-11-15 2012-05-24 Huawei Technologies Co., Ltd. Method and system for video summarization
CN103345492A (zh) * 2013-06-25 2013-10-09 无锡赛思汇智科技有限公司 一种视频浓缩的方法和系统
CN104301699A (zh) * 2013-07-16 2015-01-21 浙江大华技术股份有限公司 一种图像处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375816A (zh) * 2010-08-10 2012-03-14 中国科学院自动化研究所 一种在线视频浓缩装置、系统及方法
WO2012068154A1 (en) * 2010-11-15 2012-05-24 Huawei Technologies Co., Ltd. Method and system for video summarization
CN103345492A (zh) * 2013-06-25 2013-10-09 无锡赛思汇智科技有限公司 一种视频浓缩的方法和系统
CN104301699A (zh) * 2013-07-16 2015-01-21 浙江大华技术股份有限公司 一种图像处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YIHAO ZHANG: "A New Approach for Extracting andSummarizing Abnormal Activities in Surveillance Videos", 《IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO WORKSHOPS》 *

Also Published As

Publication number Publication date
CN105979406B (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
US11657079B2 (en) System and method for identifying social trends
US9600717B1 (en) Real-time single-view action recognition based on key pose analysis for sports videos
Hassner et al. Violent flows: Real-time detection of violent crowd behavior
Avgerinakis et al. Recognition of activities of daily living for smart home environments
CN102930061A (zh) 一种基于运动目标检测的视频摘要方法及系统
Liao et al. Open-set person re-identification
Wang et al. Improving human action recognition by non-action classification
CN110598633B (zh) 一种摔倒行为识别方法、装置及系统
CN108021869A (zh) 一种结合高斯核函数的卷积神经网络跟踪方法
WO2019119515A1 (zh) 人脸分析、过滤方法、装置、嵌入式设备、介质和集成电路
CN108986143A (zh) 一种视频中目标检测跟踪方法
CN103824062B (zh) 基于非负矩阵分解的分部位人体运动识别方法
Du et al. Abnormal event detection in crowded scenes based on structural multi-scale motion interrelated patterns
CN105893952A (zh) 基于pca方法的手写签名识别方法
CN109800756A (zh) 一种用于中文历史文献密集文本的文字检测识别方法
CN109117771B (zh) 一种基于锚节点的图像中暴力事件检测系统及方法
KR20170066227A (ko) 복수의 비디오들을 제시하는 사용자 인터페이스를 생성하기 위한 방법
CN109660762A (zh) 智能抓拍装置中大小图关联方法及装置
CN103177105B (zh) 一种图像检索方法及装置
CN104778447B (zh) 一种基于网格单元特征的人群聚集行为检测方法
CN102663776A (zh) 基于特征点分析的剧烈运动检测的方法及装置
Sun et al. Unsupervised fast anomaly detection in crowds
Yang et al. Pedestrian tracking algorithm for dense crowd based on deep learning
CN105979406A (zh) 基于代表性特征的视频摘要提取方法及其系统
CN107506400B (zh) 一种基于认知特征和流形排序的图像检索方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant