CN102375816A - 一种在线视频浓缩装置、系统及方法 - Google Patents

一种在线视频浓缩装置、系统及方法 Download PDF

Info

Publication number
CN102375816A
CN102375816A CN2010102497468A CN201010249746A CN102375816A CN 102375816 A CN102375816 A CN 102375816A CN 2010102497468 A CN2010102497468 A CN 2010102497468A CN 201010249746 A CN201010249746 A CN 201010249746A CN 102375816 A CN102375816 A CN 102375816A
Authority
CN
China
Prior art keywords
moving object
image
sequence
frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102497468A
Other languages
English (en)
Other versions
CN102375816B (zh
Inventor
李子青
冯仕堃
陈水仙
王睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Keaosen Data Technology Co Ltd
Original Assignee
Institute of Automation of Chinese Academy of Science
AUTHENMETRIC Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science, AUTHENMETRIC Co Ltd filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201010249746.8A priority Critical patent/CN102375816B/zh
Priority to PCT/CN2010/080607 priority patent/WO2012019417A1/zh
Priority to CN201080065438.8A priority patent/CN103189861B/zh
Publication of CN102375816A publication Critical patent/CN102375816A/zh
Application granted granted Critical
Publication of CN102375816B publication Critical patent/CN102375816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种在线视频浓缩装置、系统及方法。该方法针对每一帧当前获取的图像依次实时执行，该方法包括：分割步骤，分割图像的背景图像和前景图像；提取步骤，从该前景图像中提取运动物体；运动物体序列提取步骤，累积从多帧该前景图像中分别提取出的运动物体，形成运动物体序列；主背景序列提取步骤，从多帧该图像的背景图像中，提取特定(n)帧背景图像作为主背景序列；拼接步骤，将该主背景序列与该运动物体序列进行拼接。本发明利用在线视频浓缩方式，缩短了浓缩视频长度，尽量保留视频中的运动物体信息。实现快速便捷的视频浏览查阅，具有较好的视觉效果。降低硬件需求和算法复杂度。

Description

一种在线视频浓缩装置、系统及方法
技术领域
本发明涉及一种针对视频流的分析与处理领域，特别是涉及一种在线视频浓缩装置、系统及方法。
背景技术
近年来，数字媒体的高速发展，公共安全情势受到社会和公众的广泛关注，多媒体和安防视频数据成爆炸式增长。传统耗时的简单原始的浏览方式已远远不能满足人们对视频信息访问和查询的需求。因此，迫切需要快速便捷，且具有良好的视觉效果的视频浏览查阅方法和系统。
目前的视频浏览方法，可以分为视频略览(Video Summary)、视频梗概(Video Skimming)和视频摘要(Video Synopsis)三大类：
1.视频略览是从原始视频中提取一部分图像的集合来概括原始的视频内容，而这些代表原始视频的图像就称为关键帧(Keyframe)。对其浏览的方式包括故事板(Storyboard，参见S Uchihashi，J Foote and A Girgensohn，“Videomanga：Generating semantically meaningful video summaries”，ACMMultimedia，1999.)和场景转移图(STG，参见B Yeo and B Liu，“Rapid sceneanalysis compressed video”，IEEE Trans.On Circuits and Systems forVideo Technology，5(6)：533-544，1995)等。基于关键帧提取的视频略览的优点在于简单易行，且计算复杂度低。不足之处在于关键帧表达机制丢失了视频的动态特性，因而表现力不生动。
2.视频梗概是从原始视频中提取能够表达原始视频的小片段或者镜头内容加以编辑合成，它本身就是一个视频片断，因此保持了原始视频的动态特性。视频梗概分为两类：视频概述(Summary Sequence，参看Naphade and Huang，“Semantic video indexing using a probabilistic framework”，ICPR，2000)和精彩片断(Highlight，参看Zhong and Chang，“Structure analysis ofsports video using domain models”，ICME，2001)。与视频略览相似，视频梗概技术把帧作为组成视频的最小视觉单位，而对于背景相对稳定的监控视频，结果都不可避免的存在大量的冗余信息。
3.视频摘要是从完整的原始视频中提取所有运动物体序列，然后将这些序列重排到摘要视频空间，以达到压缩视频的效果。这种技术允许不同时间段出现的运动物体出现在摘要视频空间的同一帧(参看A.Rav-Acha，Y.Pritch，and S.Peleg，“Making a Long Video Short：Dynamic Video Synopsis”，CVPR，2006)。视频摘要的优点是能够以较大的比例压缩视频，如对于某些特定场景，视频摘要能将24小时的监控视频压缩到一分钟以内。它的缺点是算法复杂度高，对硬件要求高。首先它需要将提取的所有运动物体信息存放到内存里加以运算，往往原始视频可能长达数小时，需要存放的大量运动物体信息对内存将是巨大的挑战。其次，传统的视频摘要方法是通过模拟退火算法求解运动物体序列重排到摘要视频空间里的位置，由于重排问题数据量庞大，且模拟退火算法里的能量函数计算复杂，导致了整个方法复杂度高，难以实时使用。
发明内容
本发明解决的技术问题在于：对实时获取的视频图像进行在线视频浓缩，缩短浓缩视频长度，并尽可能的保留视频中的运动物体信息。
本发明进一步解决的问题在于：实现便捷的视频浏览查阅，具有较好的视觉效果。
本发明进一步解决的问题在于：显示运动物体在时间上的并发，尽量避免相互遮挡。
本发明进一步解决的问题在于：降低硬件需求和算法复杂度。
为解决上述问题，本发明公开了一种在线视频浓缩方法，针对每一帧当前获取的图像依次实时执行该方法，该方法包括：分割步骤，分割图像的背景图像和前景图像；提取步骤，从该前景图像中提取运动物体；运动物体序列提取步骤，累积从多帧该前景图像中分别提取出的运动物体，形成运动物体序列；主背景序列提取步骤，从多帧该图像的背景图像中，提取特定(n)帧背景图像作为主背景序列；拼接步骤，将该主背景序列与该运动物体序列进行拼接。
本发明还公开了一种在线视频浓缩装置，针对获取的每一帧图像依次进行处理，包括：图像分割单元，用于分割图像的背景图像和前景图像；运动物体提取单元，用于从该前景图像中提取运动物体；运动物体序列提取单元，用于累积从多帧该前景图像中分别提取出的运动物体，形成运动物体序列；主背景序列提取单元，用于从多帧该图像的背景图像中，提取特定(n)帧背景图像作为主背景序列；拼接单元，用于将该主背景序列与该运动物体序列进行拼接。
本发明还公开了一种在线视频浓缩系统，包括：一图像获取装置，用于实时的获取图像；所述的在线视频浓缩装置。
本发明的在线视频浓缩方式针对实时提取的运动物体序列进行处理，保证在第一时间即可针对原始视频图像产生浓缩视频。无需在获得全部原始视频图像后再开始进行视频浓缩，节省了存储空间，也避免了现有的获得全部原始视频图像的方式中，内存需同时对全部运动物体序列进行处理所带来的内存消耗，降低了对硬件的需求。同时，每次处理一个运动物体序列的机制能够保证计算速度达到实时要求，提高了处理速度。
本发明还在尽量避免相互遮挡的前提下显示时间上的并发，将不同时间出现的运动物体在一帧中同时显示，以节约浓缩视频的长度。所生成的浓缩视频，可以方便的供用户对视频事件进行快速便捷的浏览查阅，而且针对同一运动目标可以体现出连续的动作变化，具有良好的视觉效果。
本发明的算法具有较高的合理性以及运行效率，降低了复杂度。
附图说明
图1A所示为本发明的在线视频浓缩系统的结构示意图；
图1B所示为本发明的在线视频浓缩方法的流程图；
图2A所示为本发明的在线视频浓缩系统的结构示意图；
图3A所示为本发明的在线主背景序列选择方法的示意图；
图3B所示为本发明的合并操作的示意图；
图3C所示为本发明的合并操作的示意图；
图4A所示为本发明的在线视频浓缩系统的结构示意图；
图4B所示为步骤03与04的详细流程示意图；
图5所示为本发明的视频浓缩的示意图；
图5A所示为本发明的在线视频浓缩系统的结构示意图；
图5B所示为本发明的两级浓缩视频缓存空间的示意图；
图5C所示为本发明的在线视频浓缩方法的流程图；
图6所示为本发明的运动物体相互遮挡示意图；
图7A所示为本发明的在线视频浓缩系统的结构示意图；
图7B所示为本发明的初始化流程图；
图8A、8B所示为时间直方图的示意图。
具体实施方式
以下通过具体实施例详细描述本发明，并不作为对本发明的限制。
在本发明中，针对实时获取的视频图像，不论其原始时长为何，可浓缩为n帧。n为正整数。n值为预先设定，例如可为25，可根据需求决定。本发明将原始视频图像中出现的运动目标体现在浓缩视频中，并体现出其动作的连续性，具有动态效果。
更进一步的，本发明将并未同时出现的运动目标，同时显示在一帧浓缩视频中。
更进一步的，本发明还可尽量避免不同运动目标的相互遮挡。
更进一步的，在本发明中，当原始视频图像中出现的运动目标较少时，同样长度的浓缩视频可对应更长的原始视频图像，即，视频浓缩的效率高，降低了浓缩视频的长度。
更进一步的，本发明可以根据监控现场的实际情况，动态调整一段浓缩视频所对应的原始视频图像的长度。
更进一步的，本发明对硬件的要求低，算法复杂度低。
如图1A所示，为本发明的在线视频浓缩系统的结构示意图。在线视频浓缩系统100包括一在线视频浓缩装置10、图像获取装置20。
图像获取装置20用于实时的获取视频图像，其可例如为一监控摄像头。实时获取的视频图像源源不断的传送至在线视频浓缩装置10。在线视频浓缩装置10实时针对当前获取的每一帧图像进行在线处理。即，获取图像与视频浓缩同步进行，并非在保留全部视频后再启动视频浓缩处理。在线视频浓缩装置10可设置在一板卡、GPU或嵌入式处理盒上。
在线视频浓缩装置10包括图像分割单元101、运动物体提取单元102、运动物体序列提取单元103、主背景序列提取单元104、拼接单元105。
本发明的视频浓缩包括对背景的浓缩和对前景的浓缩，图像分割单元101接收来自图像获取装置20的图像，并对收到的每一帧图像进行前景图像和背景图像的分割。
图像分割单元101可以采用混合高斯模型(C.Stauffer，W.E.L.Grimson，″Adaptive background mixture models for real-time tracking″，CVPR，Vol.2，1999)对输入视频图像进行背景建模，得到每一帧图像的背景图像；然后将每一帧图像与相应的背景图像相减，再利用图割算法(J.Sun，W.Zhang，X.Tang，H.Shum，″Background Cut″，ECCV，2006)得到精确前景图像。此外，利用GPU来实现该在线视频浓缩装置10，可以加快图割算法的计算速度，详细说明参见(V.Vineet，P.J.Narayanan，″CUDA cuts：Fast graph cuts onthe GPU″，CVPR Workshops，2008)。
图像分割单元101将分割后的背景图像传送至主背景序列提取单元104，将前景图像传送至运动物体提取单元102。
主背景序列提取单元104接收多帧背景图像，并从中提取n帧作为主背景序列。
运动物体提取单元102针对接收到的每一帧前景图像，提取其中的运动物体。
运动物体序列提取单元103接收运动物体提取单元102提取出的运动物体，形成运动物体序列。
拼接单元105接收来自主背景序列提取单元104的主背景序列和来自运动物体序列提取单元103的运动物体序列，并将该主背景序列与该运动物体序列拼接起来，形成浓缩视频。
本发明所谓运动物体，是指记录了某个真实的运动目标在连续帧里出现的颜色信息的图像。该运动目标例如为人、宠物、能移动的车体等可移动物。运动目标在图像获取装置20的拍摄区域里走过，通常被图像获取装置20拍摄在连续的多帧图像中，故而，从多帧图像中可提取出针对同一运动目标的运动物体序列，该序列体现了该运动目标在此次经过拍摄区域时的情景，该序列还能够体现出同一运动目标的在不同时刻的动作变化。
如图1B所示为本发明的在线视频浓缩方法的流程图。
步骤01，获取一帧图像；
步骤02，分割该图像的前景图像和背景图像，针对分割出的前景图像执行步骤03，针对分割出的背景图像执行步骤05；
步骤03，从该前景图像中提取出运动物体；
步骤04，通过循环执行M次步骤01-步骤03，累积从多帧该前景图像中分别提取出的运动物体，形成运动物体序列，M为大于等于0的整数；
步骤05，通过循环执行M次步骤01-步骤02，累积多帧该图像的背景图像，从中提取特定(n)帧背景图像作为主背景序列，步骤04、05中的循环次数相同；
步骤06，将该主背景序列与该运动物体序列进行拼接。
即，针对一帧图像，同时对其前景图像和背景图像进行所述处理。
更进一步的，在步骤02中，图像分割单元101分割该图像的前景图像和背景图像后，统计当前帧前景图像的像素个数，将该像素个数也输送至主背景序列提取单元104。
以下详细介绍上述方案的具体实现过程。
视频浓缩的重要组成部分是对背景的浓缩，在步骤05中，主背景序列提取单元104需从所接收到的N幅背景图像中，在线的选择出n幅背景图像作为主背景序列，以出现在最终的浓缩视频中。通常情况下，N远大于n。本发明依据以下原则进行主背景序列的选择：
第一，体现时间的自然推移变迁现象。随着时间推移，同一背景环境中的光线等会发生变化，则视频浓缩需体现出对所有背景的平等选择。
第二，反映运动目标在原始视频图像中出现多寡的真实情况。倾向选择运动物体出现的多的图像的背景图像。
也就是说，主背景序列提取单元104在线的选择出的主背景序列，其中各帧背景图像被选几率均等，并且，所对应的前景图像的像素多。
如图2A所示，该主背景序列提取单元104进一步包括：
第一记录器1041，针对获取的每一帧背景图像记录一恒定数字，表示平等的选择每帧背景图像。即，主背景序列提取单元104每接收到一帧背景图像，第一记录器1041记录一个恒定数字，例如为“1”，也可为其他数字。
第二记录器1042，针对主背景序列提取单元104获取的每一帧背景图像记录其前景图像的像素个数。表示倾向选择运动物体多的图像对应的背景图像。
直方图处理单元1043，用于构建两个时间直方图Ht、Ha，时间直方图Ht的每一个区间的值是该第一记录器记录的值，时间直方图Ha的每一个区间的值为该第二记录器记录的值。如图8A、8B所示为时间直方图Ht、Ha的示意图。图8B体现了一24小时监控视频的活动量直方图，横坐标代表时刻，纵坐标为相应时刻的活动量(其对应了当前时刻前景图像的像素个数)，该图反映了在白天时刻活动量大，而在晚上活动量则少。
直方图处理单元1043还对Ht、Ha进行归一化，分别得到H′t、H′a。
由于可能循环跳转执行步骤01，第一、第二记录器所记录的值将不断增加，直方图处理单元1043也在随时构建当前的Ht、Ha、H′t、H′a。
该归一化处理可采用目前常见的归一化手段，例如，累加直方图每一个区间的值得到一累加值，然后再用直方图每一个区间的值除以这个累加值作为每一区间的新值。其他归一化处理方式也在本发明的公开范围内。
加权平分单元1044，其用于根据Ht、Ha，构建加权时间直方图Hnew。
Hnew＝(1-λ)H′t+λH′a，λ为加权系数。
在主背景序列提取单元104累积收到n帧背景图像后，加权平分单元1044将加权时间直方图Hnew的面积平均分成n份，参见图3A的平分方式，每份面积中，所有x值相同的位置代表一帧图像。选取每一份面积的一特定位置(特定x值)所对应的图像，提取该图像的背景图像，以组成该主背景序列。该特定位置可例如为该区间的第一帧或最后一帧，或其他位置。只要每份面积选择的位置一致即可。以下以第一帧为例进行描述。
这种基于两个记录器的主背景序列选择方法，综合考虑了公平选择背景图像以及对内容密集的图像的倾向，使出现在浓缩视频中的背景更合理。
请参阅图3A所示，为本发明的在线主背景序列选择方法的示意图。
假设图中Si(i＝1，2……n)为加权时间直方图Hnew被均分的n份面积，PBi(i＝1，2……n)为当前时刻选择的用于组成主背景序列的背景图像。随着时间的推进，主背景序列提取单元104将不断接收到新的背景图像。图中的x为加权时间直方图Hnew中针对新的背景图像的缓冲区，即，直方图处理单元1043针对新的背景图像新构成的直方图数据。该缓冲区可随着所接收到的新的背景图像的增加而增长。CPB代表新的待选背景图像。CPB位于x的该特定位置，例如为第一帧。
为了避免x无限增长，同时，为了保证在任一时刻都保证当前所挑选的主背景序列符合上述两个原则。加权平分单元1044需要不断更新主背景序列，判断新的背景图像能否加入主背景序列，现有的主背景序列是否需要剔除部分背景图像，以保证主背景序列的帧数(n)不变。
加权平分单元1044采用将相邻面积合并的方式剔除一帧背景图像，并将CPB加入主背景序列，即，两个相邻面积合并，剔除第二块的背景图像。合并包括两种情况，一种如图3B所示，为本发明的合并操作的示意图，Sj和Sj+1合并成新的Sj，x变成新的Sn。一种如图3C所示，为本发明的合并操作的示意图，x与Sn合并成新的S′n。这两种情况的结果都能生成S′i(i＝1，...，n)。本发明在合并操作之后将x清零。而在触发一次合并操作前，CPB是确定的，x可以增长。
本发明将通过如下方式，选择合适时机触发上述合并。
加权时间直方图Hnew均分n份并接收到一CPB时，加权平分单元1044开始计算当前的Si(i＝1，...，n)的方差vars。
Figure BSA00000223656500081
其中
Figure BSA00000223656500082
Si为Hnew的每份均分面积值。
同时，假设当前触发了合并操作，则计算以上每一种可能的合并操作方式所对应的方差vars’，该合并操作共包括n种方式，故而可计算出n个vars’。从该n个vars’中选取最小值varmin，该最小值varmin对应了使S′i(i＝1，...，n)的方差最小的合并操作的方式。进一步判断该varmin是否符合一预设规则，即是否小于vars，或者varmin是否大于α*vars(1.1＜α＜2.5)，α还可根据实际需要确定为其他值，该预设规则有利于面积的趋近均分。如果是，根据该varmin所对应的合并操作方式，触发此次合并操作。如果是第一种合并情况，在主背景序列中剔除合并的相邻面积的第二块面积的第一帧背景图像并增加该CPB，清零x；如果是第二种情况，保持原有的主背景序列，清零x，将CPB替换为下一新接收到的背景图像。如果上述判断为否，则不触发合并操作。等待接收到新的背景图像，也就是x发生了增长后，再次进行上述合并时机的计算。
这种动态的主背景选择机制，可以保证在任一时刻，Hnew的面积尽可能的被均分为n份，所选择的主背景序列随时都符合上述两个原则。这样可以保证后续无论在哪个时刻触发步骤06的拼接步骤，所得到的浓缩视频的背景图像都在所有背景图像中更具有典型性。且任一时刻都不会存储所有的背景图像。
在进行背景提取的同时，前景图像的浓缩是视频浓缩的另一重要组成部分。在执行步骤05的同时执行步骤03，运动物体提取单元102接收图像分割单元101发送来的一帧前景图像的前景掩码(mask)，对该前景掩码做连通性分析，根据连通性分析的结果构建运动物体。即，从前景图像中提取运动物体。
该连通性分析一般通过广度(深度)优先或形态学算法找出连通区域，在此基础上统计连通区域的个数、位置等等信息，该位置信息为该运动物体在该图像中的位置。具体可参考((美)冈萨雷斯等著，″数字图像处理″，电子工业出版社)。从前景图像中提取出的运动物体记载在一集合中，该集合可例如为通过一跟踪链表1031实现。
运动物体序列提取单元103进一步包括该跟踪链表1031以及一匹配判断单元1032，如图4A所示。跟踪链表1031用于存储从每帧图像中提取出的运动物体，其中，属于同一运动目标的运动物体将依次顺序存储在该跟踪链表1031里以组成一运动物体序列。
在步骤04中，匹配判断单元1032用于利用跟踪算法对当前获取的运动物体与跟踪链表里已有的未最终形成的运动物体序列中的运动物体进行匹配，如果匹配，将该当前获取的运动物体添加在相应的运动物体序列中的末位，即，对该相应的运动物体序列进行更新，增加该运动目标的一个最新的动作，由于当前不能认定该运动物体序列已经形成，后续可能还能获取该运动目标的其他运动物体，因而跳转执行步骤01，如果不匹配，认为该当前获取的运动物体对应一新的运动目标，将该运动物体添加到跟踪链表中作为另一新的运动物体序列的第一帧，同时认为跟踪链表里已有的未得到匹配的运动物体序列已最终形成，执行步骤06。鉴于运动目标的移动速度远远慢于图像获取单元每帧的拍摄速度，该“不匹配”代表图像获取装置10没有连续的拍摄到一运动目标的图像，可见该运动目标已脱离图像获取装置10的拍摄区域，那么当前出现的运动物体不可能对应在先的运动目标，而应对应新出现的另一运动目标。可见，该判断是否匹配的步骤，也可以作为判断运动物体序列是否形成的标准。
例如，当三个运动目标A、B、C同时并排进入该图像获取单元10的拍摄区域时，运动物体提取单元102提取到三个运动物体，并分别插入跟踪链表中，随着拍摄的继续，每个运动目标都累积了多个运动物体以组成一运动物体序列。当三个运动目标几乎同时离开图像获取单元20的拍摄区域时，图像获取单元20拍摄到的有关这三个运动目标的最后一帧图像，可能只包括其中一个运动目标A，则匹配判断单元1032判断出运动目标B、C的运动物体序列不再得到匹配，认定运动目标B、C的运动物体序列已同时形成，运动目标A的运动物体序列未形成，需继续执行步骤01，当运动目标A的运动物体序列也不再得到匹配时，认定运动目标A的运动物体序列已形成。
步骤04中所述“匹配”，即，判断两运动物体间的颜色、大小、面积和/或灰度等因素的一致性是否达到一预定匹配阈值，如果高于该匹配阈值，认定二者匹配。
如图4B所示为步骤03与04的详细流程示意图。
步骤031，对当前获取的前景图像进行连通性分析；
步骤032，根据连通性分析的结果构建运动物体；
步骤041，判断该运动物体是否与跟踪链表里的运动物体序列中的运动物体匹配，如果匹配，执行步骤042，如果不匹配，执行步骤043；
步骤042，更新对应的运动物体序列，执行步骤01；
步骤043，将该运动物体添加至跟踪链表，执行步骤06。
此时，运动物体序列与主背景序列已经分别生成完毕，可以将所生成的运动物体序列的每一帧依照其位置信息，依次插入该主背景序列的n帧中。
通过步骤041的判断，可能同时提取出一个或多个运动物体序列，每个运动物体序列可能包括多帧，即，每个运动物体序列可能包括多于n帧的运动物体也可能等于或少于n帧。对于少于等于n帧的运动物体序列，可直接插入该主背景序列中，对于多于n帧的运动物体序列，可将前n帧插入该主背景序列中，其余可放弃。
当图像获取单元20获取图像达到一预定条件时，将当前拼接的结果作为一最终拼接结果，作为此次视频浓缩的一个输出。同时，重新循环执行步骤01，提取新的主背景序列与新的运动物体序列，以前述方法得到又一个输出。该预定条件例如为达到预定的时长时，或者，已提取出的运动物体序列的数目达到一预定数目，即，每预定时长的原始视频提取一段浓缩视频，或者每监控到预定个运动目标提取一段浓缩视频。该预定条件可根据需要确定。从而在图像获取单元20的一段监控时间内，利用本发明的技术方案可以得到一段或多段浓缩视频，可以呈现在该段监控时间，所监控到的所有运动目标。
然而，上述方案可能存在不同的运动物体相互遮挡的问题，故而，本发明进一步公开了一种可以尽量避免不同运动物体的相互遮挡的视频浓缩方式，以更清楚的显示运动物体在时间上的并发，便于用户快速便捷的查阅浓缩视频。
如图5所示为本发明的图像浓缩的示意图。如图5A所示为本发明的在线视频浓缩系统的结构示意图。在图1A的基础上，在线视频浓缩装置10还包括浓缩视频缓存空间106和开始播放时间确定单元107。该浓缩视频缓存空间106包括一级浓缩视频缓存空间1061和二级浓缩视频缓存空间1062，该两级浓缩视频缓存空间的容量均为n帧，与主背景序列的帧数一致。如图5B所示为两级浓缩视频缓存空间的示意图。在另一实施例中，该浓缩视频缓存空间106也可以只包括一级浓缩视频缓存空间，以下以两级为例进行描述。
如图5C所示为本发明的在线视频浓缩方法的流程图。在步骤06之前还有一步骤07：如果在步骤04中一旦有运动物体序列形成，则当前形成的运动物体序列的每一帧就会被立即依次填充至该浓缩视频缓存空间106中。
特别是，该运动物体序列中的每个运动物体，将根据其在原始视频图像中的位置信息，从一级浓缩视频缓存空间1061的第一帧开始填充。整个运动物体序列可以横跨整个浓缩视频缓存空间106。在浓缩视频缓存空间只包括一级的实施例中，一个运动物体序列在一级浓缩视频缓存空间里放不下的部分可以直接放弃。
设置该浓缩视频缓存空间106是为了确定该当前形成的运动物体序列的开始播放时刻。在本发明中，开始播放时刻只能是一级浓缩视频缓存空间1061中的0到n-1帧中的某一帧。开始播放时刻就是，该运动物体序列从哪一帧开始执行步骤06的拼接步骤。该运动物体序列中该帧之前的各帧中的运动物体可以放弃或者直接删除。
如图6所示为本发明的运动物体相互遮挡示意图。插入一级浓缩视频缓存空间1061中的当前形成的运动物体序列的运动物体可能遮挡其他运动物体，也可能被其他运动物体遮挡，或者同时遮挡与被遮挡。假设插入规则为，针对浓缩视频缓存空间106中的同一帧，先插入的运动物体序列的运动物体显示在上层，遮挡出现在同一位置的后插入的运动物体序列的运动物体。由于当前形成的运动物体序列可能是一个也可能是多个，如果是多个，那么需要依次插入该浓缩视频缓存空间106，故而当前形成的运动物体序列中的一个，可能同时遮挡与被遮挡。当然也可以采用其他插入规则，也会同时出现上述两种遮挡情况。其他插入规则例如为，根据物体深度设置显示的优先顺序，物体深度的定义后述。深度深(浅)的，显示在上层，优先显示。
随后执行步骤08，开始播放时间确定单元107针对一级浓缩视频缓存空间1061中的每一帧，计算该帧中一当前形成的运动物体序列与其他运动物体序列的遮挡率，并选择开始播放时刻，遮挡率的具体计算方法后述。这样，得到了每个可能的开始时刻的遮挡率。
开始播放时间确定单元107从计算得到的所有遮挡率中选择一小于特定阈值的遮挡率，以该遮挡率所对应的一级浓缩视频缓存空间中的位置作为该运动物体序列在该拼接步骤06中拼接的起点(开始播放时刻)，如果不存在小于该特定阈值的遮挡率，将该运动物体序列作为等待数据。
这种选择起点的方式可以使得在最终浓缩视频中，该运动物体序列至少有一帧的相互遮挡在容忍范围内，可以看的清楚，体现了对应运动目标的信息。
该特定阈值对应于浓缩程度，即，阈值越大，浓缩视频内的运动物体越拥挤，相互遮挡越严重，在同样的运动目标出现速率的前提下，浓缩视频所对应的原始视频图像的长度越长，反之亦然。该特定阈值可预先设定。
将该运动物体序列作为等待数据，即，认为太过拥挤，相互遮挡严重，当前的一级浓缩视频缓存空间1061没有足够的空间容纳此运动物体序列。
步骤08还可以以下方式实现，对所有遮挡率进行升序排列，在排序队列的前5％(或其他特定数量、特定百分比)中随机挑选一个遮挡率，若该遮挡率大于等于该特定阈值，将该运动物体序列作为等待数据，否则作为拼接起点。可随机挑选一个遮挡率，也可依照其他规则挑选。
将该运动物体序列作为等待数据，可通过将该运动物体序列放置于一等待链表的方式实现。
步骤09，开始播放时间确定单元107判断浓缩视频缓存空间是否已满。
具体的，开始播放时间确定单元107判断等待数据的数量是否超过一预设值，如果超过，执行步骤06，如果没超过，执行步骤01。
更具体的，判断该等待链表是否超过一预定长度(该预定长度例如为5-10之间任一)，如果超过，执行步骤06，如果没超过，执行步骤01。
该“超过”代表浓缩视频缓存空间106在当前的遮挡容忍度下已满，没有空间继续容纳新的运动物体序列，则在此时触发拼接步骤，完成一次拼接，得到一段浓缩视频。
也就是说，在确认浓缩视频缓存空间106已满的情况下才启动拼接步骤，以使浓缩视频中可以包括尽可能多的运动物体。同时，本申请对于每一帧的遮挡率的计算，仅需要计算当前浓缩视频缓存空间内存储的运动物体序列之间的遮挡率，由于当前浓缩视频缓存空间内存储的运动物体序列的个数相对较小，排列组合的结果少，故而在计算时，内存不用如现有技术般存储所有的运动物体序列，计算海量的排列组合结果对应的遮挡率，大幅降低了硬件需求。
前述遮挡率通过如下方法获得：
首先，根据运动物体边框的坐标粗略地确定此物体的深度，在摄像机俯视拍摄情况下，离摄像机越近的物体其边框的最低点的纵坐标越大，则其深度越深；反之，在摄像机仰视拍摄情况下，则离摄像机越近的物体其边框的最低点的纵坐标越小，则其深度越深；即离摄像机越近深度越深。
其次，根据该深度信息判断出此运动物体与存在缓存空间里的其它运动物体的相互遮挡情况。
如图6所示，运动物体OBJ2遮挡了运动物体OBJ1，同时，运动物体OBJ2被运动物体OBJ3所遮挡。
对于第一种情况，计算OBJ2在第t帧遮挡OBJ1的惩罚面积：
A 2 , t 1 + = C 1,2 t if C 1,2 t < &beta; &CenterDot; A 1 t &kappa; &CenterDot; A 2 t otherwise ,
其中
Figure BSA00000223656500132
表示在第t帧OBJ2遮挡OBJ1的惩罚面积，
Figure BSA00000223656500133
表示在第t帧OBJ1和OBJ2的边框相互遮挡的面积，
Figure BSA00000223656500134
分别表示在第t帧OBJ1和OBJ2的边框面积，β为一阈值，表示被遮挡物体最大容忍的遮挡率，κ表示惩罚冲击系数。
对于第二种情况，OBJ2在第t帧被OBJ3遮挡的惩罚面积计算如下：
A 2 , t 3 - = C 2,3 t if C 2,3 t < &beta; &CenterDot; A 2 t &kappa; &CenterDot; A 2 t otherwise ,
其中
Figure BSA00000223656500141
表示在第t帧OBJ2被OBJ3遮挡的惩罚面积。OBJ2最终的惩罚面积可通过下式计算：
C 2 = &Sigma; t ( &Sigma; i A 2 , t i - + &Sigma; j A 2 , t j + )
其中∑t表示对时间轴进行积分，∑i表示在t帧里对遮挡OBJ2的物体进行枚举，∑j则表示在t帧里对被OBJ2遮挡的物体进行枚举。
故OBJ2的遮挡率可定义如下：
Rate 2 = C 2 / &Sigma; t A 2 t
其中，上式分母为OBJ2沿着时间轴累加自身的边框面积总和。
该遮挡率还可基于相互遮挡面积，通过其他方式计算得到，本领域的技术人员所进行的明显变型，均在本发明的公开范围内。
本发明通过上述浓缩视频缓存空间106，确定了开始播放时刻，降低了浓缩视频中各个运动物体间的相互遮挡。
在步骤06中，拼接单元105将浓缩视频缓存空间中的运动物体序列与主背景序列进行无缝拼接，特别是一级浓缩视频缓存空间中的运动物体序列与主背景序列进行无缝拼接。
所述无缝拼接技术，包括遵循物理视觉效果角度考虑的运动物体遮挡问题的处理方法。所述无缝拼接技术，采用基于像素颜色值相似和梯度相似的准则，拼接合成浓缩视频。像素颜色值相似表示的是拼接的时候，要尽量使源图像的颜色在边缘处与目标图像相等，而梯度相似则要求拼接好的图像的纹理与源图像的纹理一致。
具体的，拼接单元105利用改进的泊松图像编辑技术(Yael Pritch，AlexRav-Acha，and Shmuel Peleg，“Nonchronological Video Synopsis andIndexing”，PAMI，vol 30，no.11，2008)将一级浓缩视频缓存空间里的运动物体序列与主背景序列进行无缝拼接，进而生成浓缩视频。
在播放该浓缩视频时，人眼感受到的仍是表现力生动的动态视频，视觉感知效果好，有利于用户对视频内容的查阅。
如图7A所示，该在线视频浓缩系统100还可进一步包括一存储装置30。该存储装置用于存储该拼接单元105生成的浓缩视频。或者，该在线视频浓缩系统100还可进一步包括一显示装置40或者一检索装置50，该显示装置40可为一显示屏，用于播放该浓缩视频供用户观看。该在线视频浓缩装置10可包括一用户接口，供导出该浓缩视频。检索装置50用于对生成的浓缩视频进行检索。检索装置50可例如为一搜索引擎。
在步骤06执行完毕后，可继续执行一系列初始化操作，随后执行步骤01。也就是说，在得到一段浓缩视频后，还可继续进行视频浓缩。实现对原始视频图像的不间断的浓缩。该在线视频浓缩装置10还可包括一初始化单元。
如图7B所示为本发明的初始化流程图。
步骤71.将一级浓缩视频缓存空间1061清空；
步骤72.交换一级浓缩视频缓存空间1061与二级浓缩视频缓存空间1062的存储内容；
步骤73.将等待数据强制地填充至一级浓缩视频缓存空间1061；
步骤74.清空等待数据和主背景序列，在原始视频图像的视频流尚未结束时，执行步骤01。
通过步骤72，可以使得之前未参加视频浓缩的二级浓缩视频缓存空间1062中的运动物体可以参加下一次的视频浓缩。
对于浓缩视频缓存空间106只包括一级的实施例，则步骤71后直接执行步骤73。
本发明的在线视频浓缩方式针对实时提取的运动物体序列进行处理，保证在第一时间即可针对原始视频图像产生浓缩视频。无需在获得全部原始视频图像后再开始进行视频浓缩，节省了存储空间，也避免了现有的获得全部原始视频图像的方式中，内存需同时对全部运动物体序列进行处理所带来的内存消耗，降低了对硬件的需求。同时，每次处理一个运动物体序列的机制能够保证计算速度达到实时要求，提高了处理速度。
本发明还在尽量避免相互遮挡的前提下显示时间上的并发，将不同时间出现的运动物体在一帧中同时显示，以节约浓缩视频的长度。所生成的浓缩视频，可以方便的供用户对视频事件进行快速便捷的浏览查阅，而且针对同一运动目标可以体现出连续的动作变化，具有良好的视觉效果。
本发明的算法具有较高的合理性以及运行效率，降低了复杂度。

Claims (29)

1.一种在线视频浓缩方法，包括接收图像步骤和浓缩处理步骤，其特征在于，在该接收图像步骤中，每收到一帧图像，针对该帧图像执行该浓缩处理步骤，该浓缩处理步骤进一步包括：
分割步骤，分割图像的背景图像和前景图像；
提取步骤，从该前景图像中提取运动物体；
运动物体序列提取步骤，累积从多帧该前景图像中分别提取出的运动物体，形成运动物体序列；
主背景序列提取步骤，从多帧该图像的背景图像中，提取特定(n)帧背景图像作为主背景序列；
拼接步骤，将该主背景序列与该运动物体序列进行拼接。
2.如权利要求1所述的方法，其特征在于，该分割步骤进一步包括：
利用混合高斯模型进行背景建模，以得到每一帧图像的背景图像。
3.如权利要求2所述的方法，其特征在于，该分割步骤进一步包括：
利用图割算法，将图像与该图像的背景图像相减，以得到该图像的前景图像。
4.如权利要求1所述的方法，其特征在于，该主背景序列提取步骤中，平等选择每一帧背景图像，以及，选择所对应的前景图像的像素多的背景图像。
5.如权利要求1、2、3或4所述的方法，其特征在于，该主背景序列提取步骤进一步包括：
构建两个时间直方图Ht、Ha，时间直方图Ht的每一个区间的值都是1，时间直方图Ha的每一个区间的值为依次所获取的每帧图像的前景图像的像素个数；
对Ht、Ha进行归一化，分别得到H′t、H′a；
得到加权时间直方图Hnew，Hnre＝(1-λ)H′t+λH′a；
将加权时间直方图Hnew的面积平均分成n份，选取每一份面积的一特定位置所对应的图像，提取该图像的背景图像以组成该主背景序列，n为该特定帧的数量。
6.如权利要求5所述的方法，其特征在于，该主背景序列中的背景图像数量始终不变，针对该主背景序列生成之后新获得的背景图像，当保留该新获得的背景图像在主背景序列中能够保持加权时间直方图Hnew的面积被重新趋近平均的分成n份时，保留该新获得的背景图像在该主背景序列中，并在该主背景序列中删除Hnew中被合并的面积所对应的背景图像；或者
当不保留该新获得的背景图像在主背景序列中能够保持加权时间直方图Hnew的面积被重新趋近平均的分成n份时，该加权平分单元保留该主背景序列。
7.如权利要求5所述的方法，其特征在于，在该主背景序列生成之后新获得背景图像时，计算Si的方差vars，Si为加权时间直方图Hnew被均分后的每一份面积，计算所有相邻面积合并方式所得到的面积Si’所对应的方差vars’，从中选择最小值，当该最小值符合预设规则时，依据该最小值对应的相邻面积合并方式，进行面积合并，该主背景序列舍弃该合并的两块相邻面积中的一块的该特定位置所对应的图像的背景图像。
8.如权利要求1所述的方法，其特征在于，该提取步骤进一步包括：针对该前景图像的前景掩码进行连通性分析，根据连通区域构建运动物体。
9.如权利要求1或8所述的方法，其特征在于，该运动物体序列提取步骤包括一匹配判断步骤：
将从当前获取的图像中提取出的运动物体与已有的运动物体的集合中运动物体进行匹配判断，如果匹配，将该从当前获取的图像中提取出的运动物体加入该集合，如果不匹配，认为当前已有的运动物体的集合形成了该运动物体序列。
10.如权利要求1所述的方法，其特征在于，该运动物体序列提取步骤后还包括一开始播放时间确定步骤：
将该运动物体序列的每一帧依次填充至一浓缩视频缓存空间，该浓缩视频缓存空间包括一级浓缩视频缓存空间，或者，一级浓缩视频缓存空间和二级浓缩视频缓存空间，两级浓缩视频缓存空间的容量均为n帧；
计算该运动物体序列的每个运动物体与处于同一帧的每个该一级浓缩视频缓存空间中已存在的运动物体序列的运动物体的遮挡率；
从计算得到的所有遮挡率中选择一小于一阈值的遮挡率，以该遮挡率所对应的一级浓缩视频缓存空间中的位置作为该运动物体序列在该拼接步骤中拼接的起点。
11.如权利要求10所述的方法，其特征在于，从计算得到的所有遮挡率中选择一小于该阈值的遮挡率的步骤进一步包括：将所有遮挡率依大小进行排列，从最小的前特定数量或前特定百分比个遮挡率中选择一个，判断其是否小于该阈值，如果是，将其作为被选择的遮挡率，如果否，将该运动物体序列作为等待数据。
12.如权利要求11所述的方法，其特征在于，该拼接步骤进一步包括：
当该等待数据的数量超过一预设值时，将该主背景序列与该运动物体序列进行无缝拼接。
13.如权利要求11所述的方法，其特征在于，在该拼接步骤后还包括一初始化步骤，该初始化步骤进一步包括：
清空一级浓缩视频缓存空间；
交换一级浓缩视频缓存空间与二级浓缩视频缓存空间中的内容；
将该等待数据填充至该一级浓缩视频缓存空间；
清空该主背景序列。
14.如权利要求10所述的方法，其特征在于，该遮挡率Rate2为
Figure FSA00000223656400031
其中，该遮挡率的分母为运动物体OBJ2沿着时间轴累加自身的边框面积总和，
Figure FSA00000223656400032
∑t表示对时间轴进行积分，∑i表示在t帧里对遮挡OBJ2的运动物体的惩罚面积进行枚举，∑j则表示在t帧里对被OBJ2遮挡的运动物体的惩罚面积进行枚举；
Figure FSA00000223656400033
Figure FSA00000223656400034
表示在第t帧OBJ2遮挡OBJ1的惩罚面积，
Figure FSA00000223656400035
表示在第t帧OBJ1和OBJ2相互遮挡的面积，
Figure FSA00000223656400036
Figure FSA00000223656400037
分别表示在第t帧OBJ1和OBJ2的边框面积，β为一阈值，表示被遮挡物体最大容忍的遮挡率，κ表示惩罚冲击系数；
Figure FSA00000223656400041
Figure FSA00000223656400042
表示在第t帧OBJ2被OBJ3遮挡的惩罚面积，
Figure FSA00000223656400043
表示在第t帧OBJ2和OBJ3相互遮挡的面积。
15.一种在线视频浓缩装置，针对获取的每一帧图像依次进行处理，其特征在于，包括：
图像分割单元，用于分割图像的背景图像和前景图像；
运动物体提取单元，用于从该前景图像中提取运动物体；
运动物体序列提取单元，用于累积从多帧该前景图像中分别提取出的运动物体，形成运动物体序列；
主背景序列提取单元，用于从多帧该图像的背景图像中，提取特定(n)帧背景图像作为主背景序列；
拼接单元，用于将该主背景序列与该运动物体序列进行拼接。
16.如权利要求15所述的装置，其特征在于，该图像分割单元利用混合高斯模型进行背景建模，以得到每一帧图像的背景图像，并利用图割算法，将图像与该图像的背景图像相减，以得到该图像的前景图像。
17.如权利要求15所述的装置，其特征在于，该主背景序列提取单元平等选择每一帧背景图像，以及，选择所对应的前景图像的像素多的背景图像。
18.如权利要求15、16或17所述的装置，其特征在于，该主背景序列提取单元进一步包括：
第一记录器，针对获取的每一帧背景图像记录一恒定数字，表示平等的选择每帧背景图像；
第二记录器，针对获取的每一帧背景图像记录其前景图像的像素个数；
直方图处理单元，构建两个时间直方图Ht、Ha，时间直方图Ht的每一个区间的值是该第一记录器记录的值，时间直方图Ha的每一个区间的值为该第二记录器记录的值，对Ht、Ha进行归一化，分别得到H′t、H′a；
加权平分单元，利用Ht、Ha得到加权时间直方图Hnew，Hnew＝(1-λ)H′t+λH′a，将加权时间直方图Hnew的面积平均分成n份，选取每一份面积的一特定位置所对应的图像，提取该图像的背景图像以组成该主背景序列，n为该特定帧的数量。
19.如权利要求18所述的装置，其特征在于，针对该主背景序列生成之后新获得的背景图像，当保留该新获得的背景图像在主背景序列中能够保持加权时间直方图Hnew的面积被重新趋近平均的分成n份时，该加权平分单元保留该新获得的背景图像在主背景序列中，并在该主背景序列中删除Hnew被合并的面积所对应的背景图像，以使该主背景序列中的背景图像数量始终不变；或者
当不保留该新获得的背景图像在主背景序列中能够保持加权时间直方图Hnew的面积被重新趋近平均的分成n份时，该加权平分单元保留该主背景序列。
20.如权利要求18所述的装置，其特征在于，该加权平分单元在该主背景序列生成之后新获得背景图像时，计算Si的方差vars，Si为加权时间直方图Hnew被均分后的每一份面积，计算所有相邻面积合并方式所得到的面积Si’所对应的方差vars’，从中选择最小值，当该最小值符合预设规则时，依据该最小值对应的相邻面积合并方式，进行面积合并，该主背景序列舍弃该合并的两块相邻面积中的一块的该特定位置所对应的图像的背景图像。
21.如权利要求15所述的装置，其特征在于，该运动物体提取单元针对该前景图像的前景掩码进行连通性分析，根据连通区域构建运动物体。
22.如权利要求15或21所述的装置，其特征在于，该运动物体序列提取单元进一步包括一匹配判断单元，将从当前获取的图像中提取出的运动物体与已有的运动物体的集合中的运动物体进行匹配判断，如果匹配，将该从当前获取的图像中提取出的运动物体加入该集合，如果不匹配，认为当前已有的运动物体的集合形成了该运动物体序列。
23.如权利要求15所述的装置，其特征在于，该装置还包括：
浓缩视频缓存空间，该浓缩视频缓存空间包括一级浓缩视频缓存空间和二级浓缩视频缓存空间，两级浓缩视频缓存空间的容量均为n帧，该运动物体序列的每一帧依次被填充至该浓缩视频缓存空间；
开始播放时间确定单元，计算该运动物体序列的每个运动物体与处于同一帧的每个该一级浓缩视频缓存空间中已存在的运动物体序列的运动物体的遮挡率，从计算得到的所有遮挡率中选择一小于一阈值的遮挡率，以该遮挡率所对应的一级浓缩视频缓存空间中的位置作为该运动物体序列在该拼接步骤中拼接的起点。
24.如权利要求23所述的装置，其特征在于，该开始播放时间确定单元将所有遮挡率依大小进行排列，从最小的前特定数量或前特定百分比个遮挡率中选择一个，判断其是否小于该阈值，如果是，将其作为被选择的遮挡率，如果否，将该运动物体序列作为等待数据。
25.如权利要求24所述的装置，其特征在于，该拼接单元在该等待数据的数量超过一预设值时，将该主背景序列与该运动物体序列进行无缝拼接。
26.如权利要求24所述的装置，其特征在于，该装置还包括一初始化单元，用于在该拼接单元将该主背景序列与该运动物体序列进行拼接后，清空该一级浓缩视频缓存空间，交换该一级浓缩视频缓存空间与该二级浓缩视频缓存空间中的内容，将该等待数据填充至该一级浓缩视频缓存空间，清空该主背景序列。
27.如权利要求23所述的方法，其特征在于，该遮挡率Rate2为
Figure FSA00000223656400061
其中，该遮挡率的分母为运动物体OBJ2沿着时间轴累加自身的边框面积总和，
Figure FSA00000223656400062
∑t表示对时间轴进行积分，∑i表示在t帧里对遮挡OBJ2的运动物体的惩罚面积进行枚举，∑j则表示在t帧里对被OBJ2遮挡的运动物体的惩罚面积进行枚举；
Figure FSA00000223656400064
表示在第t帧OBJ2遮挡OBJ1的惩罚面积，
Figure FSA00000223656400065
表示在第t帧OBJ1和OBJ2相互遮挡的面积，
Figure FSA00000223656400066
Figure FSA00000223656400067
分别表示在第t帧OBJ1和OBJ2的边框面积，β为一阈值，表示被遮挡物体最大容忍的遮挡率，κ表示惩罚冲击系数；
Figure FSA00000223656400068
Figure FSA00000223656400069
表示在第t帧OBJ2被OBJ3遮挡的惩罚面积，表示在第t帧OBJ2和OBJ3相互遮挡的面积。
28.一种在线视频浓缩系统，其特征在于，包括：
一图像获取装置，用于实时的获取图像；
如权利要求15-26中任一所述的在线视频浓缩装置。
29.如权利要求28所述的系统，其特征在于，该系统还包括：
显示装置，用于对拼接后的浓缩视频进行显示；
存储装置，用于对拼接后的浓缩视频进行存储；或者
检索装置，用于对拼接后的浓缩视频进行检索。
CN201010249746.8A 2010-08-10 2010-08-10 一种在线视频浓缩装置、系统及方法 Active CN102375816B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201010249746.8A CN102375816B (zh) 2010-08-10 2010-08-10 一种在线视频浓缩装置、系统及方法
PCT/CN2010/080607 WO2012019417A1 (zh) 2010-08-10 2010-12-31 在线视频浓缩装置、系统及方法
CN201080065438.8A CN103189861B (zh) 2010-08-10 2010-12-31 在线视频浓缩装置、系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010249746.8A CN102375816B (zh) 2010-08-10 2010-08-10 一种在线视频浓缩装置、系统及方法

Publications (2)

Publication Number Publication Date
CN102375816A true CN102375816A (zh) 2012-03-14
CN102375816B CN102375816B (zh) 2016-04-20

Family

ID=45567310

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201010249746.8A Active CN102375816B (zh) 2010-08-10 2010-08-10 一种在线视频浓缩装置、系统及方法
CN201080065438.8A Active CN103189861B (zh) 2010-08-10 2010-12-31 在线视频浓缩装置、系统及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201080065438.8A Active CN103189861B (zh) 2010-08-10 2010-12-31 在线视频浓缩装置、系统及方法

Country Status (2)

Country Link
CN (2) CN102375816B (zh)
WO (1) WO2012019417A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708182A (zh) * 2012-05-08 2012-10-03 浙江捷尚视觉科技有限公司 一种快速视频浓缩摘要方法
CN103226586A (zh) * 2013-04-10 2013-07-31 中国科学院自动化研究所 基于能量分布最优策略的视频摘要方法
WO2013178172A1 (zh) * 2012-08-30 2013-12-05 中兴通讯股份有限公司 一种监控视频摘要的方法及装置
CN103473333A (zh) * 2013-09-18 2013-12-25 北京声迅电子股份有限公司 用于atm场景中提取视频摘要的方法及装置
CN103607543A (zh) * 2013-11-06 2014-02-26 广东威创视讯科技股份有限公司 视频浓缩方法、系统以及视频监控方法和系统
CN104284057A (zh) * 2013-07-05 2015-01-14 浙江大华技术股份有限公司 一种视频处理方法及装置
CN104301699A (zh) * 2013-07-16 2015-01-21 浙江大华技术股份有限公司 一种图像处理方法及装置
CN104539890A (zh) * 2014-12-18 2015-04-22 苏州阔地网络科技有限公司 一种目标跟踪方法及系统
CN104794463A (zh) * 2015-05-11 2015-07-22 华东理工大学 基于Kinect实现室内人体跌倒检测的系统及方法
CN104966301A (zh) * 2015-06-25 2015-10-07 西北工业大学 基于物体尺寸自适应的视频浓缩方法
CN105306945A (zh) * 2014-07-10 2016-02-03 北京创鑫汇智科技发展有限责任公司 一种监控视频的可伸缩浓缩编码方法和装置
CN105357594A (zh) * 2015-11-19 2016-02-24 南京云创大数据科技股份有限公司 基于集群及h264的视频浓缩算法的海量视频摘要生成方法
CN105530554A (zh) * 2014-10-23 2016-04-27 中兴通讯股份有限公司 一种视频摘要生成方法及装置
CN105979406A (zh) * 2016-04-27 2016-09-28 上海交通大学 基于代表性特征的视频摘要提取方法及其系统
CN106250536A (zh) * 2016-08-05 2016-12-21 腾讯科技（深圳）有限公司 一种空间页面背景设置方法、装置及系统
CN108012202A (zh) * 2017-12-15 2018-05-08 浙江大华技术股份有限公司 视频浓缩方法、设备、计算机可读存储介质及计算机装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679745B (zh) * 2012-09-17 2016-08-17 浙江大华技术股份有限公司 一种运动目标检测方法及装置
CN105323501A (zh) * 2014-07-28 2016-02-10 中兴通讯股份有限公司 一种浓缩视频的运动目标标注方法、播放方法及装置
CN105898313A (zh) * 2014-12-15 2016-08-24 江南大学 一种新的基于视频大纲的监控视频可伸缩编码技术
CN104683765B (zh) * 2015-02-04 2019-04-12 上海依图网络科技有限公司 一种基于移动物体侦测的视频浓缩方法
CN109543070A (zh) * 2018-09-11 2019-03-29 北京交通大学 一种基于动态图着色的在线视频浓缩方案
CN111161299B (zh) * 2018-11-08 2023-06-30 深圳富泰宏精密工业有限公司 影像分割方法、存储介质及电子装置
CN111311526B (zh) * 2020-02-25 2023-07-25 深圳市朗驰欣创科技股份有限公司 视频增强方法、视频增强装置及终端设备
CN111709972B (zh) * 2020-06-11 2022-03-11 石家庄铁道大学 基于空间约束的泛域监控视频快速浓缩方法
CN113949823A (zh) * 2021-09-30 2022-01-18 广西中科曙光云计算有限公司 一种视频浓缩方法及装置
CN115988153A (zh) * 2022-11-30 2023-04-18 天翼云科技有限公司 一种用于视频摘要中帧合成的目标排列方法及系统
CN117857808B (zh) * 2024-03-06 2024-06-04 深圳市旭景数字技术有限公司 一种基于数据分类压缩的高效视频传输方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690725B1 (en) * 1999-06-18 2004-02-10 Telefonaktiebolaget Lm Ericsson (Publ) Method and a system for generating summarized video
CN101262568A (zh) * 2008-04-21 2008-09-10 中国科学院计算技术研究所 一种产生视频大纲的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949235B2 (en) * 2005-11-15 2015-02-03 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Methods and systems for producing a video synopsis using clustering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690725B1 (en) * 1999-06-18 2004-02-10 Telefonaktiebolaget Lm Ericsson (Publ) Method and a system for generating summarized video
CN101262568A (zh) * 2008-04-21 2008-09-10 中国科学院计算技术研究所 一种产生视频大纲的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAEL PRITCH ET ALL: "Nonchronological video synopsis and indexing", 《IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102708182B (zh) * 2012-05-08 2014-07-02 浙江捷尚视觉科技有限公司 一种快速视频浓缩摘要方法
CN102708182A (zh) * 2012-05-08 2012-10-03 浙江捷尚视觉科技有限公司 一种快速视频浓缩摘要方法
WO2013178172A1 (zh) * 2012-08-30 2013-12-05 中兴通讯股份有限公司 一种监控视频摘要的方法及装置
CN103226586A (zh) * 2013-04-10 2013-07-31 中国科学院自动化研究所 基于能量分布最优策略的视频摘要方法
CN103226586B (zh) * 2013-04-10 2016-06-22 中国科学院自动化研究所 基于能量分布最优策略的视频摘要方法
CN104284057A (zh) * 2013-07-05 2015-01-14 浙江大华技术股份有限公司 一种视频处理方法及装置
CN104301699A (zh) * 2013-07-16 2015-01-21 浙江大华技术股份有限公司 一种图像处理方法及装置
CN103473333A (zh) * 2013-09-18 2013-12-25 北京声迅电子股份有限公司 用于atm场景中提取视频摘要的方法及装置
CN103607543B (zh) * 2013-11-06 2017-07-18 广东威创视讯科技股份有限公司 视频浓缩方法、系统以及视频监控方法和系统
CN103607543A (zh) * 2013-11-06 2014-02-26 广东威创视讯科技股份有限公司 视频浓缩方法、系统以及视频监控方法和系统
CN105306945B (zh) * 2014-07-10 2019-03-01 北京创鑫汇智科技发展有限责任公司 一种监控视频的可伸缩浓缩编码方法和装置
CN105306945A (zh) * 2014-07-10 2016-02-03 北京创鑫汇智科技发展有限责任公司 一种监控视频的可伸缩浓缩编码方法和装置
CN105530554A (zh) * 2014-10-23 2016-04-27 中兴通讯股份有限公司 一种视频摘要生成方法及装置
CN104539890A (zh) * 2014-12-18 2015-04-22 苏州阔地网络科技有限公司 一种目标跟踪方法及系统
CN104794463B (zh) * 2015-05-11 2018-12-14 华东理工大学 基于Kinect实现室内人体跌倒检测的系统及方法
CN104794463A (zh) * 2015-05-11 2015-07-22 华东理工大学 基于Kinect实现室内人体跌倒检测的系统及方法
CN104966301B (zh) * 2015-06-25 2017-08-08 西北工业大学 基于物体尺寸自适应的视频浓缩方法
CN104966301A (zh) * 2015-06-25 2015-10-07 西北工业大学 基于物体尺寸自适应的视频浓缩方法
CN105357594B (zh) * 2015-11-19 2018-08-31 南京云创大数据科技股份有限公司 基于集群及h264的视频浓缩算法的海量视频摘要生成方法
CN105357594A (zh) * 2015-11-19 2016-02-24 南京云创大数据科技股份有限公司 基于集群及h264的视频浓缩算法的海量视频摘要生成方法
CN105979406A (zh) * 2016-04-27 2016-09-28 上海交通大学 基于代表性特征的视频摘要提取方法及其系统
CN105979406B (zh) * 2016-04-27 2019-01-18 上海交通大学 基于代表性特征的视频摘要提取方法及其系统
CN106250536A (zh) * 2016-08-05 2016-12-21 腾讯科技（深圳）有限公司 一种空间页面背景设置方法、装置及系统
CN108012202A (zh) * 2017-12-15 2018-05-08 浙江大华技术股份有限公司 视频浓缩方法、设备、计算机可读存储介质及计算机装置
WO2019114835A1 (en) * 2017-12-15 2019-06-20 Zhejiang Dahua Technology Co., Ltd. Methods and systems for generating video synopsis
US11076132B2 (en) 2017-12-15 2021-07-27 Zhejiang Dahua Technology Co., Ltd. Methods and systems for generating video synopsis

Also Published As

Publication number Publication date
WO2012019417A1 (zh) 2012-02-16
WO2012019417A8 (zh) 2012-12-06
CN103189861A (zh) 2013-07-03
CN102375816B (zh) 2016-04-20
CN103189861B (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
CN102375816A (zh) 一种在线视频浓缩装置、系统及方法
CN101689394B (zh) 用于视频索引和视频概要的方法和系统
Pritch et al. Webcam synopsis: Peeking around the world
US8102406B2 (en) Method and system for producing a video synopsis
Chen et al. Visual storylines: Semantic visualization of movie sequence
CN102117313A (zh) 一种视频检索方法和系统
WO1997048068A1 (en) Method for indexing image information using a reference model
CN110166851A (zh) 一种视频摘要生成方法、装置和存储介质
Fu et al. Online video synopsis of structured motion
CN105138525A (zh) 交通视频处理装置和方法及检索装置和方法
CN107358622A (zh) 一种基于可视化运动轨迹的视频信息处理方法与系统
Rao et al. Temporal and contextual transformer for multi-camera editing of TV shows
CN104484457A (zh) 一种并行视频运动目标提取和检索的方法及系统
CN104182959A (zh) 目标搜索方法及装置
Choudhary et al. Real time video summarization on mobile platform
Del Fabro et al. Smart video browsing with augmented navigation bars
CN103957472A (zh) 一种基于事件最优重组的保时序摘要视频生成方法与系统
CN105306961B (zh) 一种抽帧的方法及装置
Yeh Selecting interesting image regions to automatically create cinemagraphs
CN107426486A (zh) 预览图像合成方法及系统
KR102223010B1 (ko) 객체 인식 기반의 채널 재조정 편집이 가능한 다중화면 검색기술 지원 시스템 및 방법
Zhang et al. An improved algorithm for video abstract
TWI536838B (zh) 視頻播放方法與裝置
Majumdar et al. Design and implementation of video shot detection on field programmable gate arrays
Cooharojananone et al. Automated real-time video surveillance summarization framework

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160309

Address after: 100190 Zhongguancun East Road, Beijing, No. 95, No.

Applicant after: Institute of Automation, Chinese Academy of Sciences

Address before: 100190 Zhongguancun East Road, Beijing, No. 95, No.

Applicant before: Institute of Automation, Chinese Academy of Sciences

Applicant before: Beijing AuthenMetric Technology Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160908

Address after: 100191, Haidian District, Zhichun Road, Beijing No. 7 to the real building, block D, 17, 1702

Patentee after: Beijing Keaosen Data Technology Co. Ltd.

Address before: 100190 Zhongguancun East Road, Beijing, No. 95, No.

Patentee before: Institute of Automation, Chinese Academy of Sciences