CN104717457B - 一种视频浓缩方法及装置 - Google Patents

一种视频浓缩方法及装置 Download PDF

Info

Publication number
CN104717457B
CN104717457B CN201310689129.3A CN201310689129A CN104717457B CN 104717457 B CN104717457 B CN 104717457B CN 201310689129 A CN201310689129 A CN 201310689129A CN 104717457 B CN104717457 B CN 104717457B
Authority
CN
China
Prior art keywords
movement locus
time
frame
moving target
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310689129.3A
Other languages
English (en)
Other versions
CN104717457A (zh
Inventor
刘扬
杜馨瑜
王栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310689129.3A priority Critical patent/CN104717457B/zh
Priority to EP14192671.7A priority patent/EP2884423A3/en
Priority to KR1020140168760A priority patent/KR101606100B1/ko
Priority to JP2014248048A priority patent/JP5919365B2/ja
Priority to US14/569,681 priority patent/US9454701B2/en
Publication of CN104717457A publication Critical patent/CN104717457A/zh
Application granted granted Critical
Publication of CN104717457B publication Critical patent/CN104717457B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S358/00—Facsimile and static presentation processing
    • Y10S358/907—Track skippers, i.e. "groove skippers"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种视频浓缩方法及装置，涉及视频浓缩领域，所述方法包括：提取原始视频中的运动目标及所述运动目标的运动轨迹；计算所述提取的运动轨迹间的时空域冗余度，根据所述时空域冗余度确定所述运动轨迹的浓缩比；根据所述运动轨迹的浓缩比对所述运动轨迹进行变速。本发明通过分析运动轨迹之间的时空域冗余度，并根据分析得到的时空域冗余度对相应轨迹进行浓缩变速，得到不同轨迹间的差异性表达，提高了用户体验。

Description

一种视频浓缩方法及装置
技术领域
本发明涉及视频领域，尤其涉及一种视频浓缩方法及装置。
背景技术
在社会公共安全领域，视频监控系统成为维护社会治安，加强社会管理的一个重要组成部分。目前监控系统已经广泛应用于银行、商场、车站、地下停车场和交通路口等公共场所，在实际的监控任务仍需较多的人工支撑，监控摄像头一天二十四小时不间断的监控产生大量视频数据使得当需要通过监控视频寻求证据时必然耗费大量人力、物力以及时间，且效率极其低下，甚至因此错过最佳破案时机。因此在视频监控系统中，通过视频浓缩以缩短视频事件的播放时间，通过目标分类筛查可以快速浏览，锁定检索对象，从而大大提高监控效率，对于公安加快破案速度，提高大案、要案的破案效率具有重要指导意义。现有技术提供了一种视频浓缩方法，通过分析输入视频流中的场景信息，提取场景信息中的前景信息，对获取的前景信息进行聚类分析得到场景信息中的目标信息，进而生成相应的浓缩视频，在生成的浓缩视频中单帧图像包含输入视频中不同帧获取的目标信息。现有技术以帧为单位进行浓缩处理，导致浓缩视频的显示方式单一，无法体现不同轨迹间的差异性表达。
发明内容
为了解决浓缩视频的显示方式单一的问题，本发明实施例提供了一种视频浓缩方法及装置。所述技术方案如下：
第一方面，本发明提供了一种视频浓缩方法，包括如下步骤：
提取原始视频中的至少两个运动目标及所述至少两个运动目标的运动轨迹；
计算所述至少两个运动轨迹间的时空域冗余度，根据所述时空域冗余度确定所述运动轨迹的浓缩比；
根据所述运动轨迹的浓缩比对所述运动目标的运动轨迹进行浓缩
结合第一方面，在第一方面的第一种可能的实现方式中，所述原始视频包括至少一个视频段，所述计算提取的所述运动轨迹间的时空域冗余度，根据所述时空域冗余度确定所述运动轨迹的浓缩比之前，所述方法还包括；
获取所述至少一个视频段内的一个或者多个所述运动目标的起始帧和结束帧对应的时间点坐标值，以及所述运动目标的运动轨迹经过的空间坐标值；
所述计算所述提取的运动轨迹间的时空域冗余度，根据所述时空域冗余度确定运动轨迹的浓缩比具体包括：
根据所述运动目标的起始帧和结束帧对应的时间点坐标值计算所述运动目标之间的时域碰撞概率；
根据所述运动目标的运动轨迹经过的空间坐标值计算所述运动轨迹之间的空域交叉概率；
根据所述时域碰撞概率和所述空域交叉概率得到所述运动轨迹的时空域冗余度；
根据所述时空域冗余度确定所述运动轨迹的浓缩比。
结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述方法包括：
所述时域碰撞概率通过如下公式计算得到：
所述空域交叉概率通过如下公式计算得到：
所述时空域交叉碰撞总概率通过如下公式计算得到：
所述时空域冗余度通过如下公式计算得到：
其中f表示对原始视频按时间或按帧数进行分段处理得到的第f视频段，其中ti,n表示在所述的第f视频段内第i条运动轨迹上的第n号运动目标的一段运动时间段，所述ti,n小于或等于所述第n号运动目标的生存期，所述生存期为所述运动目标起始帧时间点与结束帧时间点间的时间段；其中W(f)表示所述时域碰撞概率和所述空域交叉概率的灵敏度调节函数。
结合第一方面及第一方面的第一种可能的实现方式及第一方面的第二种可能的实现方式中的任意一种方式，在第一方面的第三种可能的实现方式中，所述根据所述运动轨迹的浓缩比对所述运动目标的运动轨迹进行浓缩，包括：
根据所述运动轨迹的浓缩比，保持所述运动轨迹的帧数不变，改变所述运动轨迹的原始帧率；或，
根据所述运动轨迹的浓缩比，保持所述运动轨迹的原始帧率不变，减少所述运动轨迹的帧数；或，
根据所述运动轨迹的浓缩比，减少所述运动轨迹的帧数，且改变所述运动轨迹的原始帧率。
结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述根据所述运动轨迹的浓缩比，保持所述运动轨迹的帧数不变，改变所述运动轨迹的原始帧率，包括：
由所述运动轨迹的浓缩比得到所述运动轨迹的帧率变速值，根据所述帧率变速值对所述运动轨迹进行提高帧率的加速处理。
结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述根据所述运动轨迹的浓缩比，保持所述运动轨迹的原始帧率不变，减少所述运动轨迹的帧数，包括：
由所述运动轨迹的浓缩比得到所述运动轨迹的帧数变化值，根据所述帧数变化值对所述运动轨迹进行减帧的加速处理。
结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，所述根据所述运动轨迹的浓缩比，所述运动轨迹的帧数减少，且改变所述运动轨迹的原始帧率，包括：
由所述运动轨迹的浓缩比得到所述运动轨迹的帧率变速值和帧数变化值，根据所述帧率变速值和所述帧数变化值对所述运动轨迹进行改变帧率且减帧的加速处理。
结合第一方面，或第一方面的第一种可能的实现方式至第一方面的第六种可能的实现方式中的任意一种方式，在第一方面的第七种可能的实现方式中，在所述根据所述运动轨迹的浓缩比对所述运动目标的运动轨迹进行浓缩之后，所述方法还包括：
设置感兴趣区域，对所述感兴趣区域内的运动轨迹在所述浓缩比比值范围内进行自定义变速；或，
根据所述浓缩比对所述运动目标的运动轨迹进行变速。
第二方面，本发明实施例提供一种视频浓缩装置，所述装置包括：
提取单元，用于提取原始视频中的至少两个运动目标及所述至少两个运动目标的运动轨迹；
计算单元，用于计算所述提取单元提取的至少两个运动轨迹间的时空域冗余度，根据所述时空域冗余度确定所述运动轨迹的浓缩比；
浓缩单元，根据所述计算单元确定的运动轨迹的浓缩比对所述运动目标的运动轨迹进行浓缩。
结合第二方面，在第二方面的第一种可能的实现方式中，所述原始视频包括至少一个视频段，所述提取单元用于获取所述运动目标的起始帧和结束帧对应的时间点坐标值，以及所述运动目标的运动轨迹经过的空间坐标值；
所述计算单元还包括：
时域碰撞概率计算子单元，用于根据所述运动目标的起始帧和结束帧对应的时间点坐标值计算所述运动目标之间的时域碰撞概率；
空域交叉概率计算子单元，用于根据所述运动目标的运动轨迹经过的空间坐标值计算所述运动轨迹之间的空域交叉概率；
时空域冗余度获子取单元，用于根据所述时域碰撞概率和所述空域交叉概率得到所述运动轨迹的时空域冗余度；
浓缩比获取子单元，用于根据所述时空域冗余度确定所述运动轨迹的浓缩比。
结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述时域碰撞概率计算子单元通过如下公式计算所述运动目标之间的时域碰撞概率：
所述空域交叉概率计算子单元通过如下公式计算所述运动目标之间的空域交叉概率：
所述时空域冗余度获取子单元，包括：
时空域交叉碰撞总概率计算次子单元，通过如下公式计算所述运动轨迹之间的时空域交叉碰撞总概率：
所述时空域冗余度获取次子单元，通过如下公式计算所述运动轨迹之间的时空域冗余度：
其中f表示对原始视频按时间或按帧数进行分段处理得到的第f视频段，其中ti,n表示在所述的第f视频段内第i条运动轨迹上的第n号运动目标的一段运动时间段，所述ti,n小于或等于所述第n号运动目标的生存期，所述生存期为所述运动目标起始帧时间点与结束帧时间点期间的时间段；其中W(f)表示所述时域碰撞概率和所述空域交叉概率的灵敏度调节函数。
结合第二方面及第二方面第一中可能的实现方式及第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述浓缩单元包括：
第一变速子单元，用于根据所述运动轨迹的浓缩比，保持所述运动轨迹的帧数不变，改变所述运动轨迹的原始帧率；或，
第二变速子单元，用于根据所述运动轨迹的浓缩比，保持所述运动轨迹的原始帧率不变，减少所述运动轨迹的帧数；或，
第三变速子单元，用于根据所述运动轨迹的浓缩比，减少所述运动轨迹的帧数，且改变所述运动轨迹的原始帧率。
结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述，具体用于，由所述运动轨迹的浓缩比得到所述运动轨迹的帧率变速值，根据所述帧率变速值对所述运动轨迹进行提高帧率的加速处理。
结合第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式中，所述第二变速子单元，具体用于，由所述运动轨迹的浓缩比得到所述运动轨迹的帧数变化值，根据所述帧数变化值对所述运动轨迹进行减帧的加速处理。
结合第二方面的第五种可能的实现方式，在第二方面的第六种可能的实现方式中，所述第三变速子单元，具体用于，由所述运动轨迹的浓缩比得到所述运动轨迹的帧率变速值和帧数变化值，根据所述帧率变速值和所述帧数变化值对所述运动轨迹进行改变帧率且减帧的加速处理。
结合第二方面的第一至六任意一种种可能的实现方式，在第二方面的第七种可能的实现方式中，所述装置还包括：
自定义变速子单元，用于通过设置感兴趣区域，对所述感兴趣区域内的运动轨迹在所述浓缩比比值范围内进行自定义变速；或，
自动变速子单元，用于根据所述浓缩比对所述运动目标的运动轨迹进行变速。
本发明实施例提供了一种视频浓缩方法及装置，提取原始视频中运动目标及运动轨迹，计算轨迹间的时空域冗余度，即基于运动轨迹之间在时间上和空间上的重叠概率得到运动轨迹间的时空域冗余度，从而可以分别得出不同运动轨迹的浓缩比，并由不同浓缩比对不同运动轨迹进行分别变速，从而体现出不同轨迹间的差异性表达，使浓缩结果显示方式多样化。在此基础上进一步可选的，通过设置用户感兴趣区域，可以对用户感兴趣目标或区域进行减速，使用户可以充分观测，保证了目标轨迹信息的完整性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的视频浓缩方法的流程图；
图2为本发明实施例一提供的视频浓缩方法中将原始视频分段重拍的实施图；
图3为本发明实施例二提供的视频浓缩装置的结构框图；
图4为本发明实施例二提供的视频浓缩装置中计算单元的结构框图；
图5为本发明实施例二提供的视频浓缩装置中浓缩单元的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，本发明实施例提供了一种视频浓缩方法，所述方法包括以下步骤：
S101、提取原始视频中的至少两个运动目标及所述至少两个运动目标的运动轨迹。
在具体的应用场景中，对原始视频进行运动目标及其运动轨迹的提取涉及到运动目标分割技术，即视频的前后背景分割：把一个视频的前景与背景分离，这样就有利于对前景或背景的单独处理，这里的前景即运动目标及其轨迹，背景为非运动目标及其轨迹的物体。前后背景分离后，可以对所得背景进行各种处理，如背景的光线加强，背景的识别等。经过背景处理后，可以再把前景即所述的运动目标及其轨迹加上去，这是对背景的单独处理。同样，前后背景分离后，也可以单独处理前景即运动目标及其轨迹后再把前景加回去，在本实施例提供的技术方案中，就是将分割出来的前景即运动目标及其轨迹进行分别的单独处理，处理之后再将不同的运动目标及其轨迹一层一层叠加回去。
而在实现运动目标分割之前首先要做运动目标的检测与跟踪，才能得到运动目标及其轨迹。在具体的实现过程中，有多种方法可以用来实现运动目标的检测与跟踪，并联合运动目标检测和运动目标跟踪技术获取运动轨迹，从而提取出运动目标及其运动轨迹，例如，运动目标检测可以用帧差法、背景建模法；运动目标跟踪可以用均值漂移(meanshift)、长时间跟踪算法(long term tracking，TLD)等跟踪技术，通过提取原始视频中的运动目标及其运动轨迹，得到运动目标起始帧和结束帧的时间点对应的时间坐标，以及运动轨迹在空间经过的一系列空间坐标。
S102、计算所述至少两个运动轨迹间的时空域冗余度，根据所述时空域冗余度确定所述运动轨迹的浓缩比。
根据步骤S101得到的原始视频中的不同运动目标及所述运动目标的运动轨迹，根据其中一个运动轨迹上的某个运动目标的起始帧时间点和结束帧时间点对应的时间坐标与其它运动目标起始帧时间点和结束帧时间点对应的时间坐标重合的概率得到轨迹时域碰撞概率，所述时域碰撞概率指一个运动轨迹上的某个运动目标的生存期与该运动轨迹上的其他运动目标的生存期相重叠的概率，所述运动目标的生存期由该运动目标的起始帧时间点和结束帧时间点得到。
根据步骤S101得到的原始视频中各个不同运动目标及该运动目标的运动轨迹，根据其中一个运动目标在空间经过的轨迹得到的一系列空间坐标与其他运动目标在空间经过的轨迹得到的一系列空间坐标重合的概率得到轨迹空域交叉概率，所述空域交叉概率指一个运动轨迹上的某个运动目标与其他运动轨迹相交叉的概率。
即分析时域碰撞概率时是以一条运动轨迹而言，针对该条轨迹上出现多个运动目标发生时域碰撞的情况，当这条运动轨迹上只有一个运动轨迹时则其时域碰撞概率为零；而分析空域交叉概率时是以不同运动轨迹而言，针对的是不同运动轨迹之间发生空域交叉的情况，当所有运动目标都共用同一条运动轨迹时其空域交叉概率为零。
针对同一个运动目标求得的空域交叉概率和时域碰撞概率是相互独立的，联合这两个独立的概率可以得到该运动轨迹的时空域碰撞总概率，该时空域碰撞总概率可以用来估算/获取该运动轨迹与其他运动轨迹之间存在的相对时空域冗余度，即可以浓缩的帧数与总帧数的比例，即该运动轨迹的相对浓缩比，所述浓缩比是指浓缩后的视频所包含的数据量相对于原始视频所包含的数据量的比例。
S103、根据所述运动轨迹的浓缩比对所述运动目标的运动轨迹进行浓缩。
根据S102获得的运动轨迹的浓缩比，即可浓缩的帧数与总帧数之间的比例，对所述运动轨迹进行变速，具体地，时空域冗余度越大，该轨迹浓缩比就越大，通过对不同的运动目标的运动轨迹进行独立的分析获取针对不同运动轨迹不同的浓缩比，可以实现根据不同运动轨迹的浓缩比对不同运动轨迹进行分别变速，至少改变一个运动目标与其他运动目标的相对运动速率，得到可变速的运动轨迹的空间位置与变速速度。
本发明实施例基于运动轨迹之间在时间上和空间上的重叠概率得到运动轨迹间的时空域冗余度，从而可以分别得出不同运动轨迹的浓缩比，并由不同浓缩比对不同运动轨迹进行分别变速，从而体现出不同轨迹间的差异性表达，使浓缩结果显示方式多样化。
以下通过具体的实例来说明本发明提供的所述一种基于轨迹时域压缩的视频浓缩方法。
本发明基于轨迹时域压缩的视频浓缩方法中的步骤S101具体实现过程可以包括：
由于在具体的实现过程中，对整个原始视频做运动目标及运动轨迹的提取可能会一次得到非常多的运动目标与轨迹，尤其是人车繁多的闹市区的监控视频这个问题尤其突出，因此，作为一种可选的实施方式，上述提取的原始视频中的运动目标及该运动目标的运动轨迹可包括如下步骤：
a.对原始视频进行分段处理，得到至少两个视频段；
可选地，这个分段可以是基于时间的分段，也可以是基于其他方式的分段，并且针对不同环境的监控视频，选取的分段方式也可能不同，举例来说，如果针对的是运动目标非常多且非常繁杂的闹市区的监控视频，则分段时选取的段长可以相对较短，由此一次性得到的运动目标及其轨迹会在一个相对合理的范围内，在这样一段时间内进行时空域冗余性的分析会更加准确且得到的效果更加清晰，更方便观看者的观看。
b.从所述至少两个视频段中任取一个视频段并从该视频段中提取运动目标及该运动目标的运动轨迹；
本发明基于轨迹时域压缩的视频浓缩方法中的步骤S102的具体实现过程如下：
根据前述步骤中对原始视频的分段以及得到其中一段视频中的不同运动目标及运动轨迹，根据该段视频中的一个运动轨迹上的某个运动目标的起始帧时间点和结束帧时间点对应的时间坐标与该段视频中的其它运动目标起始帧时间点和结束帧时间点对应的时间坐标重合的概率得到轨迹时域碰撞概率，所述时域碰撞概率指一个运动轨迹上的某个运动目标的生存期与该运动轨迹上的其他运动目标的生存期相重叠的概率，所述运动目标的生存期由该运动目标的起始帧时间点和结束帧时间点得到；
根据前述步骤中对原始视频的分段以及得到其中一段视频中的不同运动目标及运动轨迹，根据该段中的一个运动目标在空间经过的轨迹得到的一系列空间坐标与该段中的其他运动目标在空间经过的轨迹得到的一系列空间坐标重合的概率得到轨迹空域交叉概率，所述空域交叉概率指一个运动轨迹上的某个运动目标与其他运动轨迹相交叉的概率。
针对相同视频段中的同一个运动目标求得的空域交叉概率和时域碰撞概率是相互独立的，联合这两个独立的概率可以得到该运动轨迹的时空域碰撞总概率，该时空域碰撞总概率即该运动轨迹与其他运动轨迹之间存在的相对时空域冗余度，即可以浓缩的帧与总帧的比例，即该运动轨迹的相对浓缩比。
具体地，以Track(ti,n,i,n)来表示一段视频(f段)中的一条运动轨迹，即运动轨迹i中的第n号目标在时间ti,n段的轨迹，以Pdi,n(f)表示在时间f内，考察除第i条轨迹外的其它运动轨迹与第i条轨迹上的第n号目标相交叉的概率，即空域交叉概率；用Pti,n(f)表示在时间f内，考察在第i条轨迹所在的原始视频段中除时间段ti,n以外的时间段中出现的运动目标与在时间段ti,n内该条轨迹的第n号目标相碰撞的概率，即时域碰撞概率。
具体地，所述计算所述提取的运动轨迹间的时空域冗余度，根据所述时空域冗余度确定运动轨迹的浓缩比可以包括：
如图2所示，把原始视频中经分段处理后的任意一个视频段(以f段为例)中的各目标轨迹在起始时间对齐，并通过如下公式计算所述提取的运动轨迹间的时空域冗余度：
对于空域交叉概率：空域交叉是基于不同的运动轨迹在空间交叉的情况，具体可以表示为：
对于时域碰撞概率：由于不同的运动轨迹只存在空间交叉的情况而不存在时域碰撞的情况，因此时域碰撞是基于同一条运动轨迹上不同运动目标相碰撞的情况，具体可以表示为：
其中f表示对原始视频按时间或按帧数进行分段处理得到的第f视频段，其中ti,n表示在所述的第f视频段内第i条运动轨迹上的第n号运动目标的一段运动时间段，所述ti,n小于或等于所述第n号运动目标的生存期，其中f段内第i条轨迹上所有目标的生存期为f段内第i条轨迹上所有目标生存期的总和，所述生存期为所述运动目标起始帧时间点与结束帧时间点期间的时间段。
上述公式的中的各项都可以从S101中给出的原始视频中的运动轨迹段生存期内的时间坐标和空间坐标得到，又因为上述两个概率表示相互独立，因此对轨迹Track(ti,n,i,n)而言，总的交叉碰撞概率为：
综上，可以设置如下轨迹优化函数来表示轨迹Track(ti,n,i,n)的时空域冗余度：
其中W(f)表示时域碰撞概率和空域交叉概率的灵敏度调节函数，可以设置为一个是f段轨迹数的非增函数，比如这里W(f)可以取值为0.5，也可以取小于1大于0的其它值，这个取值为经验取值，并且W(f)为可调节的，其调节范围在大于0和小于1之间；显然时空域冗余度Oi,n(f)越大，该轨迹Track(ti,n,i,n)可以浓缩的程度越大，即浓缩比就越大，因为时空域冗余度Oi,n(f)的值即浓缩比的值。
接着，根据所述时空域冗余度确定运动轨迹的浓缩比。
根据前述步骤获得的运动轨迹的浓缩比，即可浓缩的帧与总帧之间的比例之后。具体地，时空域冗余度越大，该轨迹浓缩比就越大，根据不同运动轨迹的浓缩比对不同运动轨迹进行分别变速，至少改变一个运动目标与其他运动目标的相对运动速率，得到可变速的运动轨迹的空间位置与变速速度。在具体的实现过程中，对运动轨迹进行变速至少可以由以下几种途径实现，具体为：1)改变原有显示帧率，即显示帧率与原始视频不一致，这种情况可分为两类：a、提高帧率，即高于原始视频的显示帧率前提下，此时加速可通过保持轨迹帧数不变或可通过降低指定轨迹的帧数进一步提高轨迹显示速度；此时减速可通过增加指定轨迹的帧数实现；b、降低帧率，即低于原始视频的显示帧率前提下，此时加速可通过减少轨迹帧数实现；减速可通过保持轨迹帧数不变或增加指定轨迹的帧数实现；2)保持原有显示帧率，即播放帧率与原始视频保持一致前提下，加速时可通过减少指定轨迹帧数方式，实现指定轨迹的显示加速，减速时可通过增加轨迹帧数方式实现指定轨迹的显示减速。
作为一种可选的实施方式，以上述第1)种对运动轨迹进行变速处理的途径为基础：保持所述运动轨迹的帧数不变，改变所述运动轨迹的原始帧率，根据运动轨迹的浓缩比可以得到运动轨迹的帧率变速值，根据帧率变速值对运动轨迹进行提高帧率的加速处理。具体的，运动轨迹的浓缩比与运动轨迹的帧率变速值的大小成正相关，即在原始的帧率基础上，浓缩比越大的帧率变速越大，浓缩比越小的帧率变速越小；前提是，这里的变速都是在原始帧率的基础上加速，只是加速大和加速小的区别。
作为另一种可选的实施方式，以上述第2)种对运动轨迹进行变速处理的途径为基础：保持所述运动轨迹的原始帧率不变，减少所述运动轨迹的帧数，根据运动轨迹的浓缩比可以得到运动轨迹的帧数变化值，根据帧数变化值对运动轨迹进行减帧的加速处理。具体的，运动轨迹的浓缩比与运动轨迹的帧数变化值的大小成正相关。即在原始的帧数基础上，浓缩比越大的帧数变化越大，浓缩比越小的帧数变化越小；前提是，这里的变速都是在原始帧数的基础上减少，只是减少的多和减少的少的区别。
作为又一种可选的实施方式，以上述第1)种对运动轨迹进行变速处理的途径为基础：所述运动轨迹的帧数减少，且改变所述运动轨迹的原始帧率，根据运动轨迹的浓缩比可以得到运动轨迹的帧率变速值和帧数变化值，根据帧率变速值对运动轨迹进行改变帧率的加速处理并且根据帧数变化值对运动轨迹进行减帧的加速处理。具体的，运动轨迹的浓缩比与运动轨迹的帧率变速值的大小成正相关，运动轨迹的浓缩比与运动轨迹的帧数变化值的大小成正相关。即在原始的帧率基础上，浓缩比越大的帧率变速越大，浓缩比越小的帧率变速越小；前提是，这里的变速都是在原始帧率的基础上加速，只是加速大和加速小的区别；以及在原始的帧数基础上，浓缩比越大的帧数变化越大，浓缩比越小的帧数变化越小；前提是，这里的变速都是在原始帧数的基础上减少，只是减少的多和减少的少的区别。
在上述任意一种实施方式的基础上，可选的，用户可以针对浓缩视频设置感兴趣区域，举例来说，在现实的环境中，公安警察可能在观看浓缩视频的过程中对其中出现的一个或多个目标感兴趣，想让感兴趣目标播放速率慢一点，此时可以针对这一个或多个感兴趣目标的运动轨迹进行自定义变速，即在原始视频显示速率和浓缩后视频显示速率之间进行调节，此时其它的运动轨迹可以仍然按照其浓缩比进行最大限度的浓缩即以相对比较快的速率运动。这种实施方式通过对感兴趣区域进行减速的方式，从而可以使得感兴趣区域获取更好的动态细节表示效果，具体的减速方案如上所述，可以通过降低显示帧率或增加帧数来实现。
可选的，用户也可以不设置感兴趣区域，此时所有运动轨迹都按照其对应的时空域冗余度得到的浓缩比进行浓缩，即都以其相对最快的速率运动，即通过不同浓缩比调整不同轨迹的显示速度，保证时空域显示均匀性效果前提下，实现智能、高效压缩视频浓缩结果的显示时间。
本发明实施例基于运动轨迹之间在时间上和空间上的重叠概率得到运动轨迹间的时空域冗余度，从而可以分别得出不同运动轨迹的浓缩比，并由不同浓缩比对不同运动轨迹进行分别变速，从而体现出不同轨迹间的差异性表达，使浓缩结果显示方式多样化；此外，进一步通过对用户感兴趣目标或区域进行减速，使用户可以充分观测，保证了目标轨迹信息的完整性。
实施例二
如图3所示，本发明实施例提供了一种视频浓缩装置200，该装置包括：
提取单元201，用于提取原始视频中的至少两个运动目标及所述至少两个运动目标的运动轨迹；
计算单元202，用于计算所述提取单元提取的至少两个运动轨迹间的时空域冗余度，根据所述时空域冗余度确定所述运动轨迹的浓缩比；
浓缩单元203，根据所述计算单元202确定的运动轨迹的浓缩比对所述运动目标的运动轨迹进行浓缩。
在具体的应用场景中，提取单元201对原始视频进行运动目标及其运动轨迹的提取涉及到运动目标分割技术，即视频的前后背景分割：把一个视频的前景与背景分离，这样就有利于对前景或背景的单独处理，这里的前景即运动目标及其轨迹，背景为非运动目标及其轨迹的物体。前后背景分离后，可以对所得背景进行各种处理，如背景的光线加强，背景的识别等。经过背景处理后，可以再把前景即所述的运动目标及其轨迹加上去，这是对背景的单独处理。同样，前后背景分离后，也可以单独处理前景即运动目标及其轨迹后再把前景加回去，在本实施例提供的技术方案中，就是将分割出来的前景即运动目标及其轨迹进行分别的单独处理，处理之后再将不同的运动目标及其轨迹一层一层叠加回去。
而在实现运动目标分割之前首先要做运动目标的检测与跟踪，才能得到运动目标及其轨迹。在具体的实现过程中，有多种方法可以用来实现运动目标的检测与跟踪，并联合运动目标检测和运动目标跟踪技术获取运动轨迹，从而提取出运动目标及其运动轨迹，例如，运动目标检测可以用帧差法、背景建模法；运动目标跟踪可以用均值漂移(meanshift)、长时间跟踪算法(long term tracking，TLD)等跟踪技术，通过提取原始视频中的运动目标及其运动轨迹，得到运动目标起始帧和结束帧的时间点对应的时间坐标，以及运动轨迹在空间经过的一系列空间坐标。
由于在具体的实现过程中，对整个原始视频做运动目标及运动轨迹的提取可能会一次得到非常多的运动目标与轨迹，尤其是人车繁多的闹市区的监控视频这个问题尤其突出，因此，作为一种可选的实施方式，所述提取单元201可以用于对所述原始视频按时间或按帧进行分段处理得到至少两个视频段，
提取单元201，用于从所述至少两个视频段中选择一个视频段，从所述一个视频段中提取所述运动目标及所述运动目标的运动轨迹。
具体地，首先可以基于时间对原始视频进行分段，也可以是基于其他方式进行分段，并且针对不同环境的监控视频，选取的分段方式也可能不同，举例来说，如果针对的是运动目标非常多且非常繁杂的闹市区的监控视频，则分段时选取的段长可以相对较短，由此一次性得到的运动目标及其轨迹会在一个相对合理的范围内，在这样一段时间内进行时空域冗余性的分析会更加准确且得到的效果更加清晰，更方便观看者的观看。
可选的，所述提取单元201还用于获取所述提取的所述运动目标的起始帧和结束帧对应的时间点坐标值，以及所述运动目标的运动轨迹经过的空间坐标值。
进一步可选的，如图4所示，所述计算单元202还包括：
时域碰撞概率计算子单元202a用于根据所述运动目标的起始帧和结束帧对应的时间点坐标值计算所述运动目标之间的时域碰撞概率；
空域交叉概率计算子单元202b，用于根据所述运动目标的运动轨迹经过的空间坐标值计算所述运动轨迹之间的空域交叉概率；
时空域冗余度获子取单元202c，用于根据所述时域碰撞概率和所述空域交叉概率得到所述运动轨迹的时空域冗余度；
浓缩比获取子单元202d，用于根据所述时空域冗余度确定所述运动轨迹的浓缩比。
所述时域碰撞概率计算子单元202a通过如下公式计算所述运动目标之间的时域碰撞概率：
所述空域交叉概率计算子单元202b通过如下公式计算所述运动目标之间的空域交叉概率：
所述时空域冗余度获取子单元，包括：
时空域交叉碰撞总概率计算次子单元，通过如下公式计算所述运动轨迹之间的时空域交叉碰撞总概率：
所述时空域冗余度获取次子单元，通过如下公式计算所述运动轨迹之间的时空域冗余度：
其中f表示对原始视频按时间或按帧数进行分段处理得到的第f视频段，其中ti,n表示在所述的第f视频段内第i条运动轨迹上的第n号运动目标的一段运动时间段，所述ti,n小于或等于所述第n号运动目标的生存期，所述生存期为所述运动目标起始帧时间点与结束帧时间点期间的时间段；其中W(f)表示所述时域碰撞概率和所述空域交叉概率的灵敏度调节函数。
提取单元201提取得到的原始视频中的不同运动目标及所述运动目标的运动轨迹，提取单元201提取其中一个运动轨迹上的某个运动目标的起始帧时间点和结束帧时间点对应的时间坐标，计算单元202根据计算提取单元201提取的其中一个运动轨迹上的某个运动目标的起始帧时间点和结束帧时间点对应的时间坐标与其它运动目标起始帧时间点和结束帧时间点对应的时间坐标重合的概率得到轨迹时域碰撞概率，所述时域碰撞概率指一个运动轨迹上的某个运动目标的生存期与该运动轨迹上的其他运动目标的生存期相重叠的概率，所述运动目标的生存期由该运动目标的起始帧时间点和结束帧时间点得到。
提取单元201提取得到的原始视频中各个不同运动目标及该运动目标的运动轨迹，提取单元201提取其中一个运动目标在空间经过的轨迹得到的一系列空间坐标与其他运动目标在空间经过的轨迹得到的一系列空间坐标，计算单元202根据计算提取单元201提取的其中一个运动目标在空间经过的轨迹得到的一系列空间坐标与其他运动目标在空间经过的轨迹得到的一系列空间坐标重合的概率得到轨迹空域交叉概率，所述空域交叉概率指一个运动轨迹上的某个运动目标与其他运动轨迹相交叉的概率。
即分析时域碰撞概率时是以一条运动轨迹而言，针对该条轨迹上出现多个运动目标发生时域碰撞的情况，当这条运动轨迹上只有一个运动轨迹时则其时域碰撞概率为零；而分析空域交叉概率时是以不同运动轨迹而言，针对的是不同运动轨迹之间发生空域交叉的情况，当所有运动目标都共用同一条运动轨迹时其空域交叉概率为零。
针对同一个运动目标求得的空域交叉概率和时域碰撞概率是相互独立的，计算单元202中的时空域冗余度获取子单元联合这两个独立的概率可以得到该运动轨迹的时空域碰撞总概率，并可以用该时空域碰撞总概率估算/获取该运动轨迹与其他运动轨迹之间存在的相对时空域冗余度，即可以浓缩的帧数与总帧数的比例，即该运动轨迹的相对浓缩比。
根据计算单元202计算获得的运动轨迹的浓缩比，对所述运动轨迹进行变速，该浓缩比为可浓缩的帧数与总帧数之间的比例。具体地，时空域冗余度越大，该轨迹浓缩比就越大，通过对不同的运动目标的运动轨迹进行独立的分析获取针对不同运动轨迹不同的浓缩比，可以实现根据不同运动轨迹的浓缩比对不同运动轨迹进行分别变速，至少改变一个运动目标与其他运动目标的相对运动速率，得到可变速的运动轨迹的空间位置与变速速度。
在具体的实现过程中，对运动轨迹进行变速至少可以由以下几种途径实现，具体为：1)改变原有显示帧率，即显示帧率与原始视频不一致，这种情况可分为两类：a、提高帧率，即高于原始视频的显示帧率前提下，此时加速可通过保持轨迹帧数不变或可通过降低指定轨迹的帧数进一步提高轨迹显示速度；此时减速可通过增加指定轨迹的帧数实现；b、降低帧率，即低于原始视频的显示帧率前提下，此时加速可通过减少轨迹帧数实现；减速可通过保持轨迹帧数不变或增加指定轨迹的帧数实现；2)保持原有显示帧率，即播放帧率与原始视频保持一致前提下，加速时可通过减少指定轨迹帧数方式，实现指定轨迹的显示加速，减速时可通过增加轨迹帧数方式实现指定轨迹的显示减速。
具体的，在上述几种变速途径的基础上，如图5所述浓缩单元203可以包括：
第一变速子单元203a，用于根据所述运动轨迹的浓缩比，保持所述运动轨迹的帧数不变，改变所述运动轨迹的原始帧率；或，
第二变速子单元203b，用于根据所述运动轨迹的浓缩比，保持所述运动轨迹的原始帧率不变，减少所述运动轨迹的帧数；或，
第三变速子单元203c，用于根据所述运动轨迹的浓缩比，减少所述运动轨迹的帧数，且改变所述运动轨迹的原始帧率。
进一步可选的，所述第一变速子单元由所述运动轨迹的浓缩比得到所述运动轨迹的帧率变速值，根据所述帧率变速值对所述运动轨迹进行提高帧率的加速处理。具体的，运动轨迹的浓缩比与运动轨迹的帧率变速值的大小成正相关，即在原始的帧率基础上，浓缩比越大的帧率变速越大，浓缩比越小的帧率变速越小；前提是，这里的变速都是在原始帧率的基础上加速，只是加速大和加速小的区别。所述第二变速子单元由所述运动轨迹的浓缩比得到所述运动轨迹的帧数变化值，根据所述帧数变化值对所述运动轨迹进行减帧的加速处理。具体的，运动轨迹的浓缩比与运动轨迹的帧数变化值的大小成正相关。即在原始的帧数基础上，浓缩比越大的帧数变化越大，浓缩比越小的帧数变化越小；前提是，这里的变速都是在原始帧数的基础上减少，只是减少的多和减少的少的区别。所述第三变速子单元由所述运动轨迹的浓缩比得到所述运动轨迹的帧率变速值和帧数变化值，根据所述帧率变速值和所述帧数变化值对所述运动轨迹进行改变帧率且减帧的加速处理。具体的，运动轨迹的浓缩比与运动轨迹的帧率变速值的大小成正相关，运动轨迹的浓缩比与运动轨迹的帧数变化值的大小成正相关。即在原始的帧率基础上，浓缩比越大的帧率变速越大，浓缩比越小的帧率变速越小；前提是，这里的变速都是在原始帧率的基础上加速，只是加速大和加速小的区别；以及在原始的帧数基础上，浓缩比越大的帧数变化越大，浓缩比越小的帧数变化越小；前提是，这里的变速都是在原始帧数的基础上减少，只是减少的多和减少的少的区别。
在上述装置中，可选的，所述浓缩单元203还可以包括：
自定义变速子单元，用于通过设置感兴趣区域，对所述感兴趣区域内的运动轨迹在所述浓缩比得到的范围内进行自定义变速；或，
自动变速子单元，用于根据所述浓缩比对所述运动轨迹进行变速。
用户可以通过自定义变速子单元对浓缩视频设置感兴趣区域，举例来说，在现实的环境中，公安警察可能在观看浓缩视频的过程中对其中出现的一个或多个目标感兴趣，想让感兴趣目标播放速率慢一点，此时可以针对这一个或多个感兴趣目标的运动轨迹进行自定义变速，即在原始视频显示速率和浓缩后视频显示速率之间进行调节，此时其它的运动轨迹可以仍然按照其浓缩比进行最大限度的浓缩即以相对比较快的速率运动。这种实施方式通过对感兴趣区域进行减速的方式，从而可以使得感兴趣区域获取更好的动态细节表示效果，具体的减速方案如上所述，可以通过降低显示帧率或增加帧数来实现。
可选的，当用户不设置感兴趣区域时，通过自动变速子单元对所有运动轨迹按照其对应的时空域冗余度得到的浓缩比进行浓缩，即都以其相对最快的速率运动，即通过不同浓缩比调整不同轨迹的显示速度，保证时空域显示均匀性效果前提下，实现智能、高效压缩视频浓缩结果的显示时间。
本发明实施例基于运动轨迹之间在时间上和空间上的重叠概率得到运动轨迹间的时空域冗余度，从而可以分别得出不同运动轨迹的浓缩比，并由不同浓缩比对不同运动轨迹进行分别变速，从而体现出不同轨迹间的差异性表达，使浓缩结果显示方式多样化；此外，进一步通过对用户感兴趣目标或区域进行减速，使用户可以充分观测，保证了目标轨迹信息的完整性。

Claims (16)

1.一种视频浓缩方法，其特征在于，包括：
提取原始视频中的至少两个运动目标及所述至少两个运动目标的运动轨迹；
根据时域碰撞概率和空域交叉概率计算所述至少两个运动轨迹间的时空域冗余度，根据所述时空域冗余度确定所述运动轨迹的浓缩比，其中，所述时域碰撞概率为一个运动轨迹上的某个运动目标的生存期与所述运动轨迹上的其他运动目标的生存期相重叠的概率，所述空域交叉概率为一个运动目标轨迹上的某个运动目标与其他运动目标轨迹相交叉的概率；
根据所述运动轨迹的浓缩比对所述运动目标的运动轨迹进行浓缩。
2.根据权利要求1所述的方法，其特征在于，所述原始视频包括至少一个视频段，所述计算提取的所述运动轨迹间的时空域冗余度，根据所述时空域冗余度确定所述运动轨迹的浓缩比之前，所述方法还包括；
获取所述至少一个视频段内的一个或者多个所述运动目标的起始帧和结束帧对应的时间点坐标值，以及所述运动目标的运动轨迹经过的空间坐标值；
所述根据时域碰撞概率和空域交叉概率计算所述提取的运动轨迹间的时空域冗余度，根据所述时空域冗余度确定运动轨迹的浓缩比具体包括：
根据所述运动目标的起始帧和结束帧对应的时间点坐标值计算所述运动目标之间的时域碰撞概率；
根据所述运动目标的运动轨迹经过的空间坐标值计算所述运动轨迹之间的空域交叉概率；
根据所述时域碰撞概率和所述空域交叉概率得到所述运动轨迹的时空域冗余度；
根据所述时空域冗余度确定所述运动轨迹的浓缩比。
3.根据权利要求2所述的方法，其特征在于，所述方法包括：
所述时域碰撞概率通过如下公式计算得到：
所述空域交叉概率通过如下公式计算得到：
时空域交叉碰撞总概率通过如下公式计算得到：
所述时空域冗余度通过如下公式计算得到：
其中f表示对原始视频按时间或按帧数进行分段处理得到的第f视频段，其中ti,n表示在所述的第f视频段内第i条运动轨迹上的第n号运动目标的一段运动时间段，所述ti,n小于或等于所述第n号运动目标的生存期，所述生存期为所述运动目标起始帧时间点与结束帧时间点间的时间段；其中W(f)表示所述时域碰撞概率和所述空域交叉概率的灵敏度调节函数。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述运动轨迹的浓缩比对所述运动目标的运动轨迹进行浓缩，包括：
根据所述运动轨迹的浓缩比，保持所述运动轨迹的帧数不变，改变所述运动轨迹的原始帧率；或，
根据所述运动轨迹的浓缩比，保持所述运动轨迹的原始帧率不变，减少所述运动轨迹的帧数；或，
根据所述运动轨迹的浓缩比，减少所述运动轨迹的帧数，且改变所述运动轨迹的原始帧率。
5.根据权利要求4所述的方法，其特征在于，所述根据所述运动轨迹的浓缩比，保持所述运动轨迹的帧数不变，改变所述运动轨迹的原始帧率，包括：
由所述运动轨迹的浓缩比得到所述运动轨迹的帧率变速值，根据所述帧率变速值对所述运动轨迹进行提高帧率的加速处理。
6.根据权利要求5所述的方法，其特征在于，所述根据所述运动轨迹的浓缩比，保持所述运动轨迹的原始帧率不变，减少所述运动轨迹的帧数，包括：
由所述运动轨迹的浓缩比得到所述运动轨迹的帧数变化值，根据所述帧数变化值对所述运动轨迹进行减帧的加速处理。
7.根据权利要求6所述的方法，其特征在于，所述根据所述运动轨迹的浓缩比，所述运动轨迹的帧数减少，且改变所述运动轨迹的原始帧率，包括：
由所述运动轨迹的浓缩比得到所述运动轨迹的帧率变速值和帧数变化值，根据所述帧率变速值和所述帧数变化值对所述运动轨迹进行改变帧率且减帧的加速处理。
8.根据权利要求1至3或5至7中任一所述的方法，其特征在于，在所述根据所述运动轨迹的浓缩比对所述运动目标的运动轨迹进行浓缩之后，所述方法还包括：
设置感兴趣区域，对所述感兴趣区域内的运动轨迹在所述浓缩比比值范围内进行自定义变速；或，
根据所述浓缩比对所述运动目标的运动轨迹进行变速。
9.一种视频浓缩装置，其特征在于，所述装置包括：
提取单元，用于提取原始视频中的至少两个运动目标及所述至少两个运动目标的运动轨迹；
计算单元，用于根据时域碰撞概率和空域交叉概率计算所述提取单元提取的至少两个运动轨迹间的时空域冗余度，根据所述时空域冗余度确定所述运动轨迹的浓缩比，其中，所述时域碰撞概率为一个运动轨迹上的某个运动目标的生存期与所述运动轨迹上的其他运动目标的生存期相重叠的概率，所述空域交叉概率为一个运动目标轨迹上的某个运动目标与其他运动目标轨迹相交叉的概率；
浓缩单元，根据所述计算单元确定的运动轨迹的浓缩比对所述运动目标的运动轨迹进行浓缩。
10.根据权利要求9所述的装置，其特征在于，所述原始视频包括至少一个视频段，所述提取单元用于获取所述运动目标的起始帧和结束帧对应的时间点坐标值，以及所述运动目标的运动轨迹经过的空间坐标值；
所述计算单元还包括：
时域碰撞概率计算子单元，用于根据所述运动目标的起始帧和结束帧对应的时间点坐标值计算所述运动目标之间的时域碰撞概率；
空域交叉概率计算子单元，用于根据所述运动目标的运动轨迹经过的空间坐标值计算所述运动轨迹之间的空域交叉概率；
时空域冗余度获子取单元，用于根据所述时域碰撞概率和所述空域交叉概率得到所述运动轨迹的时空域冗余度；
浓缩比获取子单元，用于根据所述时空域冗余度确定所述运动轨迹的浓缩比。
11.根据权利要求10所述的装置，其特征在于，所述时域碰撞概率计算子单元通过如下公式计算所述运动目标之间的时域碰撞概率：
所述空域交叉概率计算子单元通过如下公式计算所述运动目标之间的空域交叉概率：
时空域冗余度获取子单元，包括：
时空域交叉碰撞总概率计算次子单元，通过如下公式计算所述运动轨迹之间的时空域交叉碰撞总概率：
所述时空域冗余度获取次子单元，通过如下公式计算所述运动轨迹之间的时空域冗余度：
其中f表示对原始视频按时间或按帧数进行分段处理得到的第f视频段，其中ti,n表示在所述的第f视频段内第i条运动轨迹上的第n号运动目标的一段运动时间段，所述ti,n小于或等于所述第n号运动目标的生存期，所述生存期为所述运动目标起始帧时间点与结束帧时间点期间的时间段；其中W(f)表示所述时域碰撞概率和所述空域交叉概率的灵敏度调节函数。
12.根据权利要求9至11中任一所述的装置，其特征在于，所述浓缩单元包括：
第一变速子单元，用于根据所述运动轨迹的浓缩比，保持所述运动轨迹的帧数不变，改变所述运动轨迹的原始帧率；或，
第二变速子单元，用于根据所述运动轨迹的浓缩比，保持所述运动轨迹的原始帧率不变，减少所述运动轨迹的帧数；或，
第三变速子单元，用于根据所述运动轨迹的浓缩比，减少所述运动轨迹的帧数，且改变所述运动轨迹的原始帧率。
13.根据权利要求12所述的装置，其特征在于，所述第一变速子单元，具体用于，由所述运动轨迹的浓缩比得到所述运动轨迹的帧率变速值，根据所述帧率变速值对所述运动轨迹进行提高帧率的加速处理。
14.根据权利要求13所述的装置，其特征在于，所述第二变速子单元，具体用于，由所述运动轨迹的浓缩比得到所述运动轨迹的帧数变化值，根据所述帧数变化值对所述运动轨迹进行减帧的加速处理。
15.根据权利要求14所述的装置，其特征在于，所述第三变速子单元，具体用于，由所述运动轨迹的浓缩比得到所述运动轨迹的帧率变速值和帧数变化值，根据所述帧率变速值和所述帧数变化值对所述运动轨迹进行改变帧率且减帧的加速处理。
16.根据权利要求9至11或13至15中任一所述的装置，其特征在于，所述装置还包括：
自定义变速子单元，用于通过设置感兴趣区域，对所述感兴趣区域内的运动轨迹在所述浓缩比比值范围内进行自定义变速；或，
自动变速子单元，用于根据所述浓缩比对所述运动目标的运动轨迹进行变速。
CN201310689129.3A 2013-12-13 2013-12-13 一种视频浓缩方法及装置 Expired - Fee Related CN104717457B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201310689129.3A CN104717457B (zh) 2013-12-13 2013-12-13 一种视频浓缩方法及装置
EP14192671.7A EP2884423A3 (en) 2013-12-13 2014-11-11 Video synopsis method and apparatus
KR1020140168760A KR101606100B1 (ko) 2013-12-13 2014-11-28 비디오 축약 방법 및 장치
JP2014248048A JP5919365B2 (ja) 2013-12-13 2014-12-08 映像要約方法および装置
US14/569,681 US9454701B2 (en) 2013-12-13 2014-12-13 Video synopsis method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310689129.3A CN104717457B (zh) 2013-12-13 2013-12-13 一种视频浓缩方法及装置

Publications (2)

Publication Number Publication Date
CN104717457A CN104717457A (zh) 2015-06-17
CN104717457B true CN104717457B (zh) 2018-05-18

Family

ID=51951592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310689129.3A Expired - Fee Related CN104717457B (zh) 2013-12-13 2013-12-13 一种视频浓缩方法及装置

Country Status (5)

Country Link
US (1) US9454701B2 (zh)
EP (1) EP2884423A3 (zh)
JP (1) JP5919365B2 (zh)
KR (1) KR101606100B1 (zh)
CN (1) CN104717457B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036943B1 (en) * 2013-03-14 2015-05-19 Amazon Technologies, Inc. Cloud-based image improvement
CN105554516A (zh) * 2015-12-31 2016-05-04 杭州华为数字技术有限公司 播放监控视频的方法和装置
EP3249651B1 (en) * 2016-05-23 2018-08-29 Axis AB Generating a summary video sequence from a source video sequence
EP3535974A4 (en) * 2016-12-08 2019-09-11 Zhejiang Dahua Technology Co., Ltd METHODS AND SYSTEMS FOR VIDEO SYNOPSIS
CN107193905A (zh) * 2017-05-11 2017-09-22 江苏东大金智信息系统有限公司 一种在视频帧内合理组装待展示运动目标的方法
CN108881119B (zh) * 2017-05-12 2021-02-12 华为技术有限公司 一种视频浓缩的方法、装置和系统
CN109511019A (zh) * 2017-09-14 2019-03-22 中兴通讯股份有限公司 一种视频摘要方法、终端及计算机可读存储介质
JP6799523B2 (ja) * 2017-12-04 2020-12-16 株式会社トヨタマップマスター 走行現調支援装置
CN108073361A (zh) * 2017-12-08 2018-05-25 佛山市章扬科技有限公司 一种自动录制音视频的方法及装置
CN108446669B (zh) * 2018-04-10 2023-01-10 腾讯科技（深圳）有限公司 运动识别方法、装置及存储介质
CN108668096B (zh) * 2018-05-18 2021-08-20 京东方科技集团股份有限公司 视频数据的管理方法、装置及录像设备
US10958854B2 (en) * 2018-11-02 2021-03-23 BriefCam Ltd. Computer-implemented method for generating an output video from multiple video sources
CN109712255A (zh) * 2019-02-27 2019-05-03 北京猎户智芯科技有限公司 一种基于动态图片合成的停车收费取证系统和方法
JP7451172B2 (ja) * 2019-12-24 2024-03-18 キヤノン株式会社 情報処理装置、映像の要約方法、およびプログラム
CN113724281A (zh) * 2020-05-25 2021-11-30 艾阳科技股份有限公司 影像压缩及辨识方法及其系统
CN113438538B (zh) * 2021-06-28 2023-02-10 康键信息技术（深圳）有限公司 短视频预览方法、装置、设备及存储介质
CN115941997B (zh) * 2022-12-01 2023-06-30 石家庄铁道大学 片段-自适应的监控视频浓缩方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101420885B1 (ko) 2005-11-15 2014-07-17 이슘 리서치 디벨롭먼트 컴퍼니 오브 더 히브루 유니버시티 오브 예루살렘, 엘티디. 비디오 시놉시스 생성 방법 및 시스템
JP2007237764A (ja) * 2006-03-06 2007-09-20 Denso Corp 車載状況記憶装置
US8311277B2 (en) 2007-02-01 2012-11-13 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for video indexing and video synopsis
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
US8786781B2 (en) * 2009-04-09 2014-07-22 Ati Technologies Ulc Detection and enhancement of in-video text
US8601024B2 (en) 2009-06-16 2013-12-03 Microsoft Corporation Synopsis of a search log that respects user privacy
JP5787485B2 (ja) * 2010-03-08 2015-09-30 Toa株式会社 監視装置、及びプログラム
TW201228376A (en) * 2010-12-28 2012-07-01 Altek Corp Electronic apparatus, image capturing apparatus and method thereof
CN102930061B (zh) 2012-11-28 2016-01-06 安徽水天信息科技有限公司 一种基于运动目标检测的视频摘要方法
CN103226586B (zh) * 2013-04-10 2016-06-22 中国科学院自动化研究所 基于能量分布最优策略的视频摘要方法
US9070023B2 (en) * 2013-09-23 2015-06-30 Toyota Motor Engineering & Manufacturing North America, Inc. System and method of alerting a driver that visual perception of pedestrian may be difficult

Also Published As

Publication number Publication date
EP2884423A2 (en) 2015-06-17
KR101606100B1 (ko) 2016-03-24
JP5919365B2 (ja) 2016-05-18
US9454701B2 (en) 2016-09-27
EP2884423A3 (en) 2015-08-19
JP2015115955A (ja) 2015-06-22
US20150169962A1 (en) 2015-06-18
KR20150069518A (ko) 2015-06-23
CN104717457A (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
CN104717457B (zh) 一种视频浓缩方法及装置
Sheng et al. GreenSea: visual soccer analysis using broad learning system
CN107274433A (zh) 基于深度学习的目标跟踪方法、装置及存储介质
CN104093001B (zh) 一种在线动态视频浓缩方法
US11113887B2 (en) Generating three-dimensional content from two-dimensional images
CN109919981A (zh) 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法
CN107943837A (zh) 一种前景目标关键帧化的视频摘要生成方法
CN106060515A (zh) 全景媒体文件推送方法及装置
CN104219532B (zh) 确定小物体区域的方法、视频帧之间插补帧的方法和装置
Yao et al. Visualization in motion: A research agenda and two evaluations
CN110807410A (zh) 关键点定位方法、装置、电子设备和存储介质
CN112861808B (zh) 动态手势识别方法、装置、计算机设备及可读存储介质
Chen et al. A trajectory-based ball tracking framework with visual enrichment for broadcast baseball videos
CN108256567A (zh) 一种基于深度学习的目标识别方法及系统
Sun et al. A tracking based fast online complete video synopsis approach
Olmschenk et al. Pitch and roll camera orientation from a single 2D image using convolutional neural networks
Zhu et al. Multi-level prediction Siamese network for real-time UAV visual tracking
CN106127801A (zh) 一种运动区域检测的方法和装置
CN103839280B (zh) 一种基于视觉信息的人体姿态跟踪方法
Cheng et al. Simultaneous physical and conceptual ball state estimation in volleyball game analysis
CN110473278A (zh) 场景可视化方法、装置、设备及计算机可读存储介质
CN107770595B (zh) 一种在虚拟场景中嵌入真实场景的方法
Fa et al. Global and local C3D ensemble system for first person interactive action recognition
CN110322471A (zh) 全景视频浓缩的方法、装置、设备及存储介质
WO2020115520A1 (en) Ball tracking in sport events

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180518

CF01 Termination of patent right due to non-payment of annual fee