CN105530554A - 一种视频摘要生成方法及装置 - Google Patents

一种视频摘要生成方法及装置 Download PDF

Info

Publication number
CN105530554A
CN105530554A CN201410570690.4A CN201410570690A CN105530554A CN 105530554 A CN105530554 A CN 105530554A CN 201410570690 A CN201410570690 A CN 201410570690A CN 105530554 A CN105530554 A CN 105530554A
Authority
CN
China
Prior art keywords
ken
object trajectory
important
video
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410570690.4A
Other languages
English (en)
Other versions
CN105530554B (zh
Inventor
董振江
邓硕
田玉敏
唐铭谦
冯艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhongxing Software Co Ltd
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201410570690.4A priority Critical patent/CN105530554B/zh
Priority to PCT/CN2014/094701 priority patent/WO2015184768A1/zh
Publication of CN105530554A publication Critical patent/CN105530554A/zh
Application granted granted Critical
Publication of CN105530554B publication Critical patent/CN105530554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种视频摘要生成方法及装置，该方法包括：将原始视频划分为多个视域；根据对象轨迹与各个视域的接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中；根据视域中对象轨迹的活跃程度，统计视域的活跃度指标，并根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域；对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要。在本发明的视频摘要生成方法中，通过对重要视域和次要视域内的对象轨迹的并行处理，减少了轨迹组合的运算量，加快了运算速度，使用户更加简单明了的关注重要视域内的主要目标。

Description

一种视频摘要生成方法及装置
技术领域
本发明涉及图像识别领域，具体涉及一种视频摘要生成方法及装置。
背景技术
视频摘要又称为视频浓缩，是对视频内容的概括，以自动或半自动方式，通过运动目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合。随着视频技术的发展，视频摘要在视频分析和基于内容的视频检索中的作用愈加重要。
在社会公共安全领域，视频监控系统成为维护社会治安，加强社会管理的一个重要组成部分。然而视频录像存在存储数据量大，存储时间长等特点，通过录像寻找线索，获取证据传统的做法要耗费大量人力、物力以及时间，效率极其低下，以至于错过最佳破案时机。
针对现有技术中无法快速的从大规模视频数据中寻找最优的摘要视频的问题，目前尚未提出有效的解决方案。
发明内容
为了克服现有技术中的不足，本发明实施例提供了一种视频摘要生成方法及装置。
为了解决上述技术问题，本发明实施例采用如下技术方案：
依据本发明实施例的一个方面，提供了一种视频摘要生成方法，包括：将原始视频划分为多个视域；根据对象轨迹与各个视域的接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中；根据视域中对象轨迹的活跃程度，统计视域的活跃度指标，并根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域；对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要。
其中，所述将原始视频划分为多个视域，包括：确定原始视频中场景的方向；根据所述场景的方向，将原始视频划分为多个视域，所述多个视域的方向与所述场景的方向一致。
其中，所述确定原始视频中场景的方向，包括：获取所述原始视频中场景内的多条对象轨迹的初始点与终止点；根据对象轨迹的初始点与终止点进行坐标差值计算，确定对象轨迹的方向；根据所述多条对象轨迹中的大部分对象轨迹的方向，判断所述原始视频中场景的方向，所述场景的方向与多条对象轨迹中的大部分对象轨迹的方向一致。
其中，所述根据对象轨迹与各个视域的接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中，包括：获取每个视域的线段特征，所述线段特征包括：视域的起止点坐标和视域内包含的对象轨迹的个数；获取对象轨迹的起止点坐标，计算对象轨迹与各个视域的接近程度；根据所述接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中；根据该对象轨迹的起止点坐标，更新该最为接近的视域的线段特征。
其中，所述根据视域中对象轨迹的活跃程度，统计视域的活跃度指标，并根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域，包括：所述活跃程度与对象轨迹对应的对象面积及对象轨迹的持续时间呈正相关，所述统计视域的活跃度指标为：将视域内所有对象轨迹的活跃程度进行求和计算，得到视域的活跃度指标；根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域。
可选地，所述对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要，包括：若所述多个视域均为重要视域，则采用第一预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；根据所有视域的最优对象轨迹组合，生成视频摘要。
可选地，所述对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要，包括：若所述多个视域均为次要视域，则采用第二预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；根据所有视域的最优对象轨迹组合，生成视频摘要。
可选地，所述对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要，包括：若所述多个视域中包含重要视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，则采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；采用第二预设函数分别求解各个次要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；根据所有视域的最优对象轨迹组合，生成视频摘要。
可选地，所述对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要，包括：若所述多个视域中包含重要视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，则采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；次要视域中的对象轨迹按照原始视频复制到背景图像中；根据处理结果，将各个视域进行合并，生成视频摘要。
依据本发明实施例的另一个方面，还提供了一种视频摘要生成装置，包括：第一划分模块，用于将原始视频划分为多个视域；归类模块，用于根据对象轨迹与各个视域的接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中；第二划分模块，用于根据视域中对象轨迹的活跃程度，统计视域的活跃度指标，并根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域；合并处理模块，用于对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要。
其中，所述第一划分模块包括：第一计算单元，用于确定原始视频中场景的方向；第一划分单元，用于根据所述场景的方向，将原始视频划分为多个视域，所述多个视域的方向与所述场景的方向一致。
其中，所述第一计算单元包括：第一获取单元，用于获取所述原始视频中场景内的多条对象轨迹的初始点与终止点；差值计算单元，用于根据对象轨迹的初始点与终止点进行坐标差值计算，确定对象轨迹的方向；判断单元，用于根据所述多条对象轨迹中的大部分对象轨迹的方向，判断所述原始视频中场景的方向，所述场景的方向与多条对象轨迹中的大部分对象轨迹的方向一致。
其中，所述归类模块包括：第二获取单元，用于获取每个视域的线段特征，所述线段特征包括：视域的起止点坐标和视域内包含的对象轨迹的个数；距离计算单元，用于获取对象轨迹的起始点与终止点，计算对象轨迹与各个视域的接近程度；第一归类单元，用于根据所述接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中；更新单元，用于根据该对象轨迹的起止点坐标，更新该最为接近的视域的线段特征。
其中，所述第二划分模块包括：活跃度指标计算单元，其中对象轨迹的活跃程度与对象轨迹对应的对象面积及对象轨迹的持续时间呈正相关，所述统计视域的活跃度指标为：将视域内所有对象轨迹的活跃程度进行求和计算，得到视域的活跃度指标；第二划分单元，用于根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域。
可选地，所述合并处理模块包括：第一合并单元，用于若所述多个视域均为重要视域，则采用第一预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；第一处理单元，用于根据所有视域的最优对象轨迹组合，生成视频摘要。
可选地，所述合并处理模块包括：第二合并单元，用于若所述多个视域均为次要视域，则采用第二预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；第二处理单元，用于根据所有视域的最优对象轨迹组合，生成视频摘要。
可选地，所述合并处理模块包括：第三合并单元，用于若所述多个视域中包含重要视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，则采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；采用第二预设函数分别求解各个次要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；第三处理单元，用于根据所有视域的最优对象轨迹组合，生成视频摘要。
可选地，所述合并处理模块包括：第四合并单元，用于若所述多个视域中包含重要视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，则采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；次要视域中的对象轨迹按照原始视频复制到背景图像中；第四处理单元，用于根据处理结果，将各个视域进行合并，生成视频摘要。
本发明实施例的有益效果：在本发明实施例的视频摘要生成方法中，通过对重要视域和次要视域内的对象轨迹的并行处理，减少了轨迹组合的运算量，加快了运算速度，使用户更加简单明了的关注重要视域内的主要目标。
附图说明
图1为本发明实施例的视频摘要生成方法的基本步骤流程图；
图2为本发明实施例的视频摘要生成方法的应用图之一；
图3为本发明实施例的视频摘要生成方法的应用图之二；
图4为本发明实施例的视频摘要生成方法的应用图之三；
图5为本发明实施例的视频摘要生成方法的应用图之四；
图6为本发明实施例的视频摘要生成装置的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
实施例一
如图1和图2所示，为本发明实施例示意图，如图1所示，本发明实施例提供了一种视频摘要生成方法，包括：
步骤101，将原始视频划分为多个视域；
步骤102，根据对象轨迹与各个视域的接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中；
步骤103，根据视域中对象轨迹的活跃程度，统计视域的活跃度指标，并根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域；
步骤104，对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要。
在本发明的视频摘要生成方法中，通过对重要视域和次要视域内的对象轨迹的并行处理，减少了轨迹组合的运算量，加快了运算速度，使用户更加简单明了的关注重要视域内的主要目标。
进一步地，本发明的上述实施例中的步骤101具体包括：
确定原始视频中场景的方向；
根据所述场景的方向，将原始视频划分为多个视域，所述多个视域的方向与所述场景的方向一致。
也就是可根据实际情况需要划分原始视频为k个视域，其中k为正整数。
其中，上述实施例中的计算原始视频中场景的方向可通过如下计算方式实现：
首先，获取原始视频中场景内的多条对象轨迹的初始点与终止点；
其中，该多条轨迹可取原始视频场景中的所有轨迹或原始视频场景中的部分轨迹，比如该原始视频场景包括100条对象轨迹，计算场景的方向时，可取其中的20条轨迹或者可取全部的100条轨迹。
接着，根据对象轨迹的初始点与终止点进行坐标差值计算，确定对象轨迹的方向；
其中，若对象轨迹的初始点与终止点的坐标差值计算结果为：起止点纵坐标差值的绝对值大于横坐标的差值的绝对值，则判断该轨迹的方向为纵向方向；若起止点纵坐标差值的绝对值小于横坐标的差值的绝对值，则判断该轨迹的方向为横向方向。
根据所述多条对象轨迹中的大部分对象轨迹的方向，判断所述原始视频中场景的方向，所述场景的方向与多条对象轨迹中的大部分对象轨迹的方向一致。
也就是，若所述多条对象轨迹中的大部分对象轨迹的方向为横向方向或纵向方向，则相应的所述场景的方向为横向方向或纵向方向。
具体地，本发明上述实施例中的步骤102包括：
获取每个视域的线段特征，所述线段特征包括：视域的起始点、终止点和视域内包含的对象轨迹的个数；
其中，该视域的线段特征包括但不限于视域的起止点坐标和视域内包含的对象轨迹的个数。
获取对象轨迹的起止点坐标，计算对象轨迹与各个视域的接近程度；
其中，可根据距离计算公式对对象轨迹与各个视域的接近程度进行计算。
根据所述接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中。
在本发明的实施例中，优选的，在某一视域中每加入一条对象轨迹后，还可以根据该对象轨迹的起止点坐标，更新该最视域的线段特征。具体地，更新公式包括：nk＝nk+1，这里nk为加入该对象轨迹前该视域包含的轨迹对象的个数，nk+1则为加入该对象轨迹后该视域包含的轨迹对象的个数；
x k s = ( n k * x k s + x s ′ ) / ( n k + 1 ) ; y k s = ( n k * y k s + y s ′ ) / ( n k + 1 ) ;
x k ϵ = ( n k * x k ϵ + x ϵ ′ ) / ( n k + 1 ) ; y k ϵ = ( n k * y k ϵ + y ϵ ′ ) / ( n k + 1 ) ;
其中，x′s、y′s为对象轨迹的起始点的横坐标和纵坐标，x′ε、y′ε为对象轨迹的终止点的横坐标和纵坐标，为视域的起始点的横坐标和纵坐标，为视域的终止点的横坐标和纵坐标。本发明实施例中，视域的初始起始点和终止点的选取，可以是通过加入本视域的第一个对象轨迹的起始点和终止点进行选取。
具体地，本发明上述实施例中的步骤103包括：
对象轨迹的活跃程度与对象轨迹对应的对象面积及对象轨迹的持续时间呈正相关，所述统计视域的活跃度指标为：将视域内所有对象轨迹的活跃程度进行求和计算，得到视域的活跃度指标；
其中，所述对象轨迹的对象面积可由对象本身的高度和宽度计算得到。
根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域。
下面对划分视域为重要视域和次要视域进行解释，实际场景下，比如划分原始视频为3个视域，分别计算得到3个视域的活跃度指标，比较该3个活跃度指标与预设门限的大小关系，若其中有的视域的活跃度指标大于预设门限值，则划分该视域为重要视域；若其中视域的最大的活跃度指标仍然小于预设门限，则该3个视域均为次要视域。
具体地，本发明上述实施例中的步骤104包括：
若所述多个视域均为重要视域，则采用第一预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；
根据所有视域的最优对象轨迹组合，生成视频摘要。
其中，可采用现有技术中的函数求解各个视域的对象轨迹组合的最优解，作为优选的实施方式，本发明实施例还进一步提供以下第一预设函数和第二预设函数进行示例说明。在本发明实施例中的第一预设函数采用复杂的转移映射能量函数求解各个视域的对象轨迹组合的最优解，可通过如下公式进行求解：
E(MAP)＝Ea(BO)+αEtps(BO)+β*Entps(BO)+γ*Etc(BO)+λEtct(BO)
其中，E(MAP)为复杂的转移映射能量函数；BO为重要视域内对象轨迹的集合；Ea(BO)为活动能量代价，表示如果在摘要视频中不出现该目标时的罚函数；Etps(BO)为相关正序代价，表示如果在摘要视频中不正序加入该目标时的罚函数；Entps(BO)为相关逆序代价，表示本应前后相关的两个对象，在摘要视频中逆序加入时带来的代价罚函数；Etc(BO)为伪碰撞代价，表示在原始视频中不发生碰撞的两个对象在摘要结果中发生了轨迹碰撞带来的罚函数；Etct(BO)为真碰撞代价，表示在原始视频中发生碰撞的两个对象在摘要结果中不发生了碰撞带来的罚函数，Etct(BO)为负值，α，β，γ，λ为预设的权重系数，其具体数值可根据实际场景中的情况需要而定。
图2为本发明实施例的视频摘要生成方法的应用图之一，该应用主要用于复杂运动场景下，运动目标比较大也比较多。如图2所示，该应用通过如下步骤实现：
步骤201：视域个数初始化。
也就是将原始视频划分为多个视域，具体划分为几个视域可根据实际需要而定，比如可划分为3个或5个视域等。
步骤202：计算视域方向。
具体地，根据原始视频中场景的方向计算视域的方向，若原始视频中场景的方向为横向或纵向，则相应的视域的方向为横向或纵向。
步骤203：计算每个对象轨迹隶属视域。
具体地，可根据距离计算公式对对象轨迹与各个视域的接近程度进行计算，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中。
步骤204：视域直线模型更新。
具体地，某一视域中每加入一条对象轨迹后，还可以根据该对象轨迹的起止点坐标，更新该最视域的线段特征，以加入下一个对象轨迹。
步骤205：视域活跃度指标计算。
具体地，根据视域中对象轨迹的活跃程度，统计视域的活跃度指标。
步骤206：视域活跃度指标与预设门限比较。
其中，视域活跃度指标大于/预设门限的视域，相应判定为重要视域/次要视域。
步骤207：利用第一预设函数对对象轨迹进行处理。
具体地，由于本应用中场景的特殊性，计算出的视域均为重要视域，则利用第一预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合，生成视频摘要。
实施例二
如图1和图3所示，为本发明实施例示意图，本发明实施例包括实施例一中的步骤101、102、103、104，不同的是本实施例中的步骤104与实施例一中的步骤104的实现方式不同，对本实施例与实施例一相同的部分不再赘述，以下仅以不同部分说明：
具体地，本发明实施例中的步骤104包括：
若所述多个视域均为次要视域，则采用第二预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；
根据所有视域的最优对象轨迹组合，生成视频摘要。
其中，可采用现有技术中的函数求解各个视域的对象轨迹组合的最优解，作为优选的实施方式，在本实施例中的第二预设函数采用简单的转移映射能量函数求解各个视域的对象轨迹组合的最优解，其中简单的转移映射能量函数是相对于实施例一中的复杂的转移映射能量函数而言的，可通过如下公式进行求解：
E ( MAP ) c = Σ m ∈ BO E a ( b m ) + γ * Σ m , b ∈ BO E tc ( b m , b b )
其中，E(MAP)c为简单的转移映射能量函数求解各个视域的对象轨迹组合的最优解，bm和bb为次要视域内的两条运动对象轨迹，γ为预设的权重系数，其具体数值可根据实际场景中的情况需要而定。
图3为本发明实施例的视频摘要生成方法的应用图之二，该应用主要用于简单运动场景下，运动目标比较小也比较小。如图3所示，该应用通过如下步骤实现：
步骤301：视域个数初始化。
也就是将原始视频划分为多个视域，具体划分为几个视域可根据实际需要而定，比如可划分为3个或5个视域等。
步骤302：计算视域方向。
具体地，根据原始视频中场景的方向计算视域的方向，若原始视频中场景的方向为横向或纵向，则相应的视域的方向为横向或纵向。
步骤303：计算每个对象轨迹隶属视域。
具体地，可根据距离计算公式对对象轨迹与各个视域的接近程度进行计算，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中。
步骤304：视域直线模型更新。
具体地，某一视域中每加入一条对象轨迹后，还可以根据该对象轨迹的起止点坐标，更新该最视域的线段特征，以加入下一个对象轨迹。
其中，步骤305：视域活跃度指标计算。
具体地，根据视域中对象轨迹的活跃程度，统计视域的活跃度指标。
步骤306：视域活跃度指标与预设门限比较。
其中，视域活跃度指标大于/预设门限的视域，相应判定为重要视域/次要视域。
步骤307：利用第二预设函数对对象轨迹进行处理。
具体地，由于本应用中场景的特殊性，计算出的视域均为次要视域，则利用第二预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合，生成视频摘要。
实施例三
如图1和图4所示，为本发明实施例示意图，本发明实施例包括实施例一中的步骤101、102、103、104，不同的是本实施例中的步骤104与实施例一中的步骤104的实现方式不同，对本实施例与实施例一相同的部分不再赘述，以下仅以不同部分说明：
具体地，本发明实施例中的步骤104包括：
若所述多个视域中包含重要视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，则采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；采用第二预设函数分别求解各个次要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；
根据所有视域的最优对象轨迹组合，生成视频摘要。
其中，可通过第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合，该实现可采用现有技术中的函数求解重要视域内的对象轨迹组合的最优解，作为优选的实施方式，在本实施例中的第一预设函数采用复杂的转移映射能量函数求解各个视域的对象轨迹组合的最优解，可通过如下公式进行求解：
E(MAP)＝Ea(BO)+αEtps(BO)+β*Entps(BO)+γ*Etc(BO)+λEtct(BO)
其中，E(MAP)为复杂的转移映射能量函数；BO为重要视域内对象轨迹的集合；Ea(BO)为活动能量代价，表示如果在摘要视频中不出现该目标时的罚函数；Etps(BO)为相关正序代价，表示如果在摘要视频中不正序加入该目标时的罚函数；Entps(BO)为相关逆序代价，表示本应前后相关的两个对象，在摘要视频中逆序加入时带来的代价罚函数；Etc(BO)为伪碰撞代价，表示在原始视频中不发生碰撞的两个对象在摘要结果中发生了轨迹碰撞带来的罚函数；Etct(BO)为真碰撞代价，表示在原始视频中发生碰撞的两个对象在摘要结果中不发生了碰撞带来的罚函数，Etct(BO)为负值，α，β，γ，λ为预设的权重系数，其具体数值可根据实际场景中的情况需要而定。
其中，可通过第二预设函数分别求解各个次要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合，该实现可采用现有技术中的函数求解次要视域内的对象轨迹组合的最优解，作为优选的实施方式，在本实施例中的第二预设函数采用简单的转移映射能量函数求解各个视域的对象轨迹组合的最优解，可通过如下公式进行求解：
E ( MAP ) c = Σ m ∈ BO E a ( b m ) + γ * Σ m , b ∈ BO E tc ( b m , b b )
其中，E(MAP)c为简单的转移映射能量函数求解各个视域的对象轨迹组合的最优解，其中简单的转移映射能量函数是相对于实施例一中的复杂的转移映射能量函数而言的，bm和bb为次要视域内的两条运动对象轨迹，γ为预设的权重系数，其具体数值可根据实际场景中的情况需要而定。
图4为本发明实施例的视频摘要生成方法的应用图之三，该应用主要用于结构复杂的运动场景下，运动目标不规律，比如某些区域目标运动简单且个数小，有些区域目标相对运动复杂。如图4所示，该应用通过如下步骤实现：
步骤401：视域个数初始化。
也就是将原始视频划分为多个视域，具体划分为几个视域可根据实际需要而定，比如可划分为3个或5个视域等。
步骤402：计算视域方向。
具体地，根据原始视频中场景的方向计算视域的方向，若原始视频中场景的方向为横向或纵向，则相应的视域的方向为横向或纵向。
步骤403：计算每个对象轨迹隶属视域。
具体地，可根据距离计算公式对对象轨迹与各个视域的接近程度进行计算，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中。
步骤404：视域直线模型更新。
具体地，某一视域中每加入一条对象轨迹后，还可以根据该对象轨迹的起止点坐标，更新该最视域的线段特征，以加入下一个对象轨迹。
步骤405：视域活跃度指标计算。
具体地，根据视域中对象轨迹的活跃程度，统计视域的活跃度指标。
步骤406：视域活跃度指标与预设门限比较。
其中，视域活跃度指标大于/预设门限的视域，相应判定为重要视域/次要视域。
步骤407：两个重要视域是否彼此相邻。
若两个重要视域是否彼此相邻，则继续步骤408。
步骤408：合并。即合并相邻的两个重要视域。
步骤409：利用第一预设函数对重要视域内的对象轨迹进行处理；
步骤410，利用第二预设函数对次要视域内的对象轨迹进行处理；
最后，根据所有视域的最优对象轨迹组合，生成视频摘要。
实施例四
如图1和图5所示，为本发明实施例示意图，本发明实施例包括实施例一中的步骤101、102、103、104，不同的是本实施例中的步骤104与实施例一中的步骤104的实现方式不同，对本实施例与实施例一相同的部分不再赘述，以下仅以不同部分说明：
具体地，本发明实施例中的步骤104包括：
若所述多个视域中包含重要视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，则采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；次要视域中的对象轨迹按照原始视频复制到背景图像中；
根据所有视域的最优对象轨迹组合，生成视频摘要。
其中，可通过第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合，该实现可采用现有技术中的函数求解重要视域内的对象轨迹组合的最优解，作为优选的实施方式，在本实施例中的第一预设函数采用复杂的转移映射能量函数求解各个视域的对象轨迹组合的最优解，可通过如下公式进行求解：
E(MAP)＝Ea(BO)+αEtps(BO)+β*Entps(BO)+γ*Etc(BO)+λEtct(BO)
其中，E(MAP)为复杂的转移映射能量函数；BO为重要视域内对象轨迹的集合；Ea(BO)为活动能量代价，表示如果在摘要视频中不出现该目标时的罚函数；Etps(BO)为相关正序代价，表示如果在摘要视频中不正序加入该目标时的罚函数；Entps(BO)为相关逆序代价，表示本应前后相关的两个对象，在摘要视频中逆序加入时带来的代价罚函数；Etc(BO)为伪碰撞代价，表示在原始视频中不发生碰撞的两个对象在摘要结果中发生了轨迹碰撞带来的罚函数；Etct(BO)为真碰撞代价，表示在原始视频中发生碰撞的两个对象在摘要结果中不发生了碰撞带来的罚函数，Etct(BO)为负值，α，β，γ，λ为预设的权重系数，其具体数值可根据实际场景中的情况需要而定。
对次要视域中的对象轨迹按照原始视频复制到背景图像中，最终生成视频摘要。
图5为本发明实施例的视频摘要生成方法的应用图之四，该应用主要用于结构复杂的运动场景下，运动目标不规律，比如某些区域目标运动简单且个数小，有些区域目标相对运动复杂。如图5所示，该应用通过如下步骤实现：
步骤501：视域个数初始化。
也就是将原始视频划分为多个视域，具体划分为几个视域可根据实际需要而定，比如可划分为3个或5个视域等。
步骤502：计算视域方向。
具体地，根据原始视频中场景的方向计算视域的方向，若原始视频中场景的方向为横向或纵向，则相应的视域的方向为横向或纵向。
步骤503：计算每个对象轨迹隶属视域。
具体地，可根据距离计算公式对对象轨迹与各个视域的接近程度进行计算，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中。
步骤504：视域直线模型更新。
具体地，某一视域中每加入一条对象轨迹后，还可以根据该对象轨迹的起止点坐标，更新该最视域的线段特征，以加入下一个对象轨迹。
步骤505：视域活跃度指标计算。
具体地，根据视域中对象轨迹的活跃程度，统计视域的活跃度指标。
步骤506：视域活跃度指标与预设门限比较。
其中，视域活跃度指标大于/预设门限的视域，相应判定为重要视域/次要视域。
步骤507：两个重要视域是否彼此相邻。
若两个重要视域是否彼此相邻，则继续步骤508。
步骤508：合并。即合并相邻的两个重要视域。
步骤509：利用第一预设函数对重要视域内的对象轨迹进行处理；
步骤510，将对象轨迹按照原始视频复制到背景图像中；
最后，根据所有视域的最优对象轨迹组合，生成视频摘要。
实施例五
如图6所示，本发明实施例还提供了一种视频摘要生成装置，所述装置60包括：
第一划分模块61，用于将原始视频划分为多个视域；
归类模块62，用于根据对象轨迹与各个视域的接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中；
第二划分模块63，用于根据视域中对象轨迹的活跃程度，统计视域的活跃度指标，并根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域；
合并处理模块64，用于对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要。
其中，所述第一划分模块61包括：第一计算单元，用于确定原始视频中场景的方向；第一划分单元，用于根据所述场景的方向，将原始视频划分为多个视域，所述多个视域的方向与所述场景的方向一致。
其中，所述第一计算单元包括：第一获取单元，用于获取所述原始视频中场景内的多条对象轨迹的初始点与终止点；差值计算单元，用于根据对象轨迹的初始点与终止点进行坐标差值计算，确定对象轨迹的方向；判断单元，用于根据所述多条对象轨迹中的大部分对象轨迹的方向，判断所述原始视频中场景的方向，所述场景的方向与多条对象轨迹中的大部分对象轨迹的方向一致。
其中，所述归类模块62包括：第二获取单元，用于获取每个视域的线段特征，所述线段特征包括：视域的起止点坐标和视域内包含的对象轨迹的个数；距离计算单元，用于获取对象轨迹的起止点坐标，计算对象轨迹与各个视域的接近程度；第一归类单元，用于根据所述接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中；
更新单元，用于根据该对象轨迹的起止点坐标，更新该最为接近的视域的线段特征。
其中，所述第二划分模块63，包括：活跃度指标计算单元，其中对象轨迹的活跃程度与对象轨迹对应的对象面积及对象轨迹的持续时间呈正相关，所述统计视域的活跃度指标为：将视域内所有对象轨迹的活跃程度进行求和计算，得到视域的活跃度指标；第二划分单元，用于根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域。
可选地，所述合并处理模块64包括：第一合并单元，用于若所述多个视域均为重要视域，则采用第一预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；第一处理单元，用于根据所有视域的最优对象轨迹组合，生成视频摘要。
可选地，所述合并处理模块64包括：第二合并单元，用于若所述多个视域均为次要视域，则采用第二预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；第二处理单元，用于根据所有视域的最优对象轨迹组合，生成视频摘要。
可选地，所述合并处理模块64包括：第三合并单元，用于若所述多个视域中包含重要视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，则采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；采用第二预设函数分别求解各个次要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；第三处理单元，用于根据所有视域的最优对象轨迹组合，生成视频摘要。
可选地，所述合并处理模块64包括：第四合并单元，用于若所述多个视域中包含重要视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，则采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；次要视域中的对象轨迹按照原始视频复制到背景图像中；第四处理单元，用于根据处理结果，将各个视域进行合并，生成视频摘要。
在本发明实施例的视频摘要生成方法中，通过对重要视域和次要视域内的对象轨迹的并行处理，减少了轨迹组合的运算量，加快了运算速度，使用户更加简单明了的关注重要视域内的主要目标。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (18)

1.一种视频摘要生成方法，其特征在于，包括：
将原始视频划分为多个视域；
根据对象轨迹与各个视域的接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中；
根据视域中对象轨迹的活跃程度，统计视域的活跃度指标，并根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域；
对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要。
2.根据权利要求1所述的方法，其特征在于，所述将原始视频划分为多个视域，包括：
确定原始视频中场景的方向；
根据所述场景的方向，将原始视频划分为多个视域，所述多个视域的方向与所述场景的方向一致。
3.根据权利要求2所述的方法，其特征在于，所述确定原始视频中场景的方向，包括：
获取所述原始视频中场景内的多条对象轨迹的初始点与终止点；
根据对象轨迹的初始点与终止点进行坐标差值计算，确定对象轨迹的方向；
根据所述多条对象轨迹中的大部分对象轨迹的方向，判断所述原始视频中场景的方向，所述场景的方向与多条对象轨迹中的大部分对象轨迹的方向一致。
4.根据权利要求1所述的方法，其特征在于，所述根据对象轨迹与各个视域的接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中，包括：
获取每个视域的线段特征，所述线段特征包括：视域的起止点坐标和视域内包含的对象轨迹的个数；
获取对象轨迹的起止点坐标，计算对象轨迹与各个视域的接近程度；
根据所述接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中；
根据该对象轨迹的起止点坐标，更新该最为接近的视域的线段特征。
5.根据权利要求1所述的方法，其特征在于，所述根据视域中对象轨迹的活跃程度，统计视域的活跃度指标，并根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域，包括：
所述活跃程度与对象轨迹对应的对象面积及对象轨迹的持续时间呈正相关，所述统计视域的活跃度指标为：将视域内所有对象轨迹的活跃程度进行求和计算，得到视域的活跃度指标；
根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域。
6.根据权利要求1所述的方法，其特征在于，所述对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要，包括：
若所述多个视域均为重要视域，则采用第一预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；
根据所有视域的最优对象轨迹组合，生成视频摘要。
7.根据权利要求1所述的方法，其特征在于，所述对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要，包括：
若所述多个视域均为次要视域，则采用第二预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；
根据所有视域的最优对象轨迹组合，生成视频摘要。
8.根据权利要求1所述的方法，其特征在于，所述对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要，包括：
若所述多个视域中包含重要视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；采用第二预设函数分别求解各个次要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；
根据所有视域的最优对象轨迹组合，生成视频摘要。
9.根据权利要求1所述的方法，其特征在于，所述对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要，包括：
若所述多个视域中包含重要视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，则采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；次要视域中的对象轨迹按照原始视频复制到背景图像中；
根据处理结果，将各个视域进行合并，生成视频摘要。
10.一种视频摘要生成装置，其特征在于，包括：
第一划分模块，用于将原始视频划分为多个视域；
归类模块，用于根据对象轨迹与各个视域的接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中；
第二划分模块，用于根据视域中对象轨迹的活跃程度，统计视域的活跃度指标，并根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域；
合并处理模块，用于对各个重要视域和次要视域内的对象轨迹进行并行处理，并将并行处理后得到的各个视域进行合并，生成视频摘要。
11.根据权利要求10所述的装置，其特征在于，所述第一划分模块包括：
第一计算单元，用于确定原始视频中场景的方向；
第一划分单元，用于根据所述场景的方向，将原始视频划分为多个视域，所述多个视域的方向与所述场景的方向一致。
12.根据权利要求11所述的装置，其特征在于，所述第一计算单元包括：
第一获取单元，用于获取所述原始视频中场景内的多条对象轨迹的初始点与终止点；
差值计算单元，用于根据对象轨迹的初始点与终止点进行坐标差值计算，确定对象轨迹的方向；
判断单元，用于根据所述多条对象轨迹中的大部分对象轨迹的方向，判断所述原始视频中场景的方向，所述场景的方向与多条对象轨迹中的大部分对象轨迹的方向一致。
13.根据权利要求10所述的装置，其特征在于，所述归类模块包括：
第二获取单元，用于获取每个视域的线段特征，所述线段特征包括：视域的起止点坐标和视域内包含的对象轨迹的个数；
距离计算单元，用于获取对象轨迹的起止点坐标，计算对象轨迹与各个视域的接近程度；
第一归类单元，用于根据所述接近程度，将原始视频包含的各个对象轨迹，划分到该对象轨迹最为接近的视域中；
更新单元，用于根据该对象轨迹的起止点坐标，更新该最为接近的视域的线段特征。
14.根据权利要求10所述的装置，其特征在于，所述第二划分模块包括：
活跃度指标计算单元，其中对象轨迹的活跃程度与对象轨迹对应的对象面积及对象轨迹的持续时间呈正相关，所述统计视域的活跃度指标为：将视域内所有对象轨迹的活跃程度进行求和计算，得到视域的活跃度指标；
第二划分单元，用于根据所述活跃度指标是否超出预设门限，将各个视域划分为重要视域和次要视域。
15.根据权利要求10所述的装置，其特征在于，所述合并处理模块包括：
第一合并单元，用于若所述多个视域均为重要视域，则采用第一预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；
第一处理单元，用于根据所有视域的最优对象轨迹组合，生成视频摘要。
16.根据权利要求10所述的装置，其特征在于，所述合并处理模块包括：
第二合并单元，用于若所述多个视域均为次要视域，则采用第二预设函数分别求解各个视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；
第二处理单元，用于根据所有视域的最优对象轨迹组合，生成视频摘要。
17.根据权利要求10所述的装置，其特征在于，所述合并处理模块包括：
第三合并单元，用于若所述多个视域中包含重要视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，则采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；采用第二预设函数分别求解各个次要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合；
第三处理单元，用于根据所有视域的最优对象轨迹组合，生成视频摘要。
18.根据权利要求10所述的装置，其特征在于，所述合并处理模块包括：
第四合并单元，用于若所述多个视域中包含重要视域和次要视域，若其中两个重要视域相邻，则合并该两个重要视域为一个重要视域，对合并后的重要视域采用第一预设函数求解对象轨迹组合的最优解；若重要视域彼此不相邻，则采用第一预设函数分别求解各个重要视域的对象轨迹组合的最优解，进而确定该最优解对应的最优对象轨迹组合，次要视域中的对象轨迹按照原始视频复制到背景图像中；
第四处理单元，用于根据处理结果，将各个视域进行合并，生成视频摘要。
CN201410570690.4A 2014-10-23 2014-10-23 一种视频摘要生成方法及装置 Active CN105530554B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410570690.4A CN105530554B (zh) 2014-10-23 2014-10-23 一种视频摘要生成方法及装置
PCT/CN2014/094701 WO2015184768A1 (zh) 2014-10-23 2014-12-23 一种视频摘要生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410570690.4A CN105530554B (zh) 2014-10-23 2014-10-23 一种视频摘要生成方法及装置

Publications (2)

Publication Number Publication Date
CN105530554A true CN105530554A (zh) 2016-04-27
CN105530554B CN105530554B (zh) 2020-08-07

Family

ID=54766027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410570690.4A Active CN105530554B (zh) 2014-10-23 2014-10-23 一种视频摘要生成方法及装置

Country Status (2)

Country Link
CN (1) CN105530554B (zh)
WO (1) WO2015184768A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505534A (zh) * 2019-08-26 2019-11-26 腾讯科技（深圳）有限公司 监控视频处理方法、装置及存储介质
CN111526434A (zh) * 2020-04-24 2020-08-11 西北工业大学 基于转换器的视频摘要方法
CN112884808A (zh) * 2021-01-26 2021-06-01 石家庄铁道大学 保留目标真实交互行为的视频浓缩管集划分方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227759B (zh) * 2016-07-14 2019-09-13 中用科技有限公司 一种动态生成视频摘要的方法及装置
CN108959312B (zh) 2017-05-23 2021-01-29 华为技术有限公司 一种多文档摘要生成的方法、装置和终端
CN107995535B (zh) * 2017-11-28 2019-11-26 百度在线网络技术（北京）有限公司 一种展示视频的方法、装置、设备和计算机存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070245242A1 (en) * 2006-04-12 2007-10-18 Yagnik Jay N Method and apparatus for automatically summarizing video
US20090007202A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Forming a Representation of a Video Item and Use Thereof
CN102256065A (zh) * 2011-07-25 2011-11-23 中国科学院自动化研究所 基于视频监控网络的视频自动浓缩方法
CN102375816A (zh) * 2010-08-10 2012-03-14 中国科学院自动化研究所 一种在线视频浓缩装置、系统及方法
CN102906816A (zh) * 2010-05-25 2013-01-30 伊斯曼柯达公司 视频概要方法
CN103092963A (zh) * 2013-01-21 2013-05-08 信帧电子技术（北京）有限公司 一种视频摘要生成方法和装置
CN103092925A (zh) * 2012-12-30 2013-05-08 信帧电子技术（北京）有限公司 一种视频摘要生成方法和装置
CN103200463A (zh) * 2013-03-27 2013-07-10 天脉聚源(北京)传媒科技有限公司 一种视频摘要生成方法和装置
CN103345764A (zh) * 2013-07-12 2013-10-09 西安电子科技大学 一种基于对象内容的双层监控视频摘要生成方法
CN103686453A (zh) * 2013-12-23 2014-03-26 苏州千视通信科技有限公司 通过划分区域并设置不同粒度来提高视频摘要精度的方法
JP5600040B2 (ja) * 2010-07-07 2014-10-01 日本電信電話株式会社 映像要約装置，映像要約方法および映像要約プログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070245242A1 (en) * 2006-04-12 2007-10-18 Yagnik Jay N Method and apparatus for automatically summarizing video
US20090007202A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Forming a Representation of a Video Item and Use Thereof
CN102906816A (zh) * 2010-05-25 2013-01-30 伊斯曼柯达公司 视频概要方法
JP5600040B2 (ja) * 2010-07-07 2014-10-01 日本電信電話株式会社 映像要約装置，映像要約方法および映像要約プログラム
CN102375816A (zh) * 2010-08-10 2012-03-14 中国科学院自动化研究所 一种在线视频浓缩装置、系统及方法
CN102256065A (zh) * 2011-07-25 2011-11-23 中国科学院自动化研究所 基于视频监控网络的视频自动浓缩方法
CN103092925A (zh) * 2012-12-30 2013-05-08 信帧电子技术（北京）有限公司 一种视频摘要生成方法和装置
CN103092963A (zh) * 2013-01-21 2013-05-08 信帧电子技术（北京）有限公司 一种视频摘要生成方法和装置
CN103200463A (zh) * 2013-03-27 2013-07-10 天脉聚源(北京)传媒科技有限公司 一种视频摘要生成方法和装置
CN103345764A (zh) * 2013-07-12 2013-10-09 西安电子科技大学 一种基于对象内容的双层监控视频摘要生成方法
CN103686453A (zh) * 2013-12-23 2014-03-26 苏州千视通信科技有限公司 通过划分区域并设置不同粒度来提高视频摘要精度的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钱荣荣: "监控视频结构分段与视频摘要技术研究", 《中国优秀硕士论文电子期刊网》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505534A (zh) * 2019-08-26 2019-11-26 腾讯科技（深圳）有限公司 监控视频处理方法、装置及存储介质
CN111526434A (zh) * 2020-04-24 2020-08-11 西北工业大学 基于转换器的视频摘要方法
CN112884808A (zh) * 2021-01-26 2021-06-01 石家庄铁道大学 保留目标真实交互行为的视频浓缩管集划分方法
CN112884808B (zh) * 2021-01-26 2022-04-22 石家庄铁道大学 保留目标真实交互行为的视频浓缩管集划分方法

Also Published As

Publication number Publication date
CN105530554B (zh) 2020-08-07
WO2015184768A1 (zh) 2015-12-10

Similar Documents

Publication Publication Date Title
CN105530554A (zh) 一种视频摘要生成方法及装置
CN104217417B (zh) 一种视频多目标跟踪的方法及装置
CN103116893B (zh) 基于多示例多标记学习的数字图像标注方法
CN114937081B (zh) 基于独立非均匀增量采样的网联车位置估计方法及装置
CN103824284A (zh) 一种基于视觉注意力模型的关键帧提取方法和系统
Hassani et al. Precise anytime clustering of noisy sensor data with logarithmic complexity
CN109154651A (zh) 基于雷达的测距处理方法、装置及无人飞行器
CN102129559B (zh) 基于PrimalSketch算法的SAR图像目标检测方法
CN105578258A (zh) 一种视频预处理和视频回放的方法及装置
CN102971767A (zh) 一种跟踪视频数据中的目标的方法
CN109034100A (zh) 人脸图样检测方法、装置、设备及存储介质
Wang et al. A crowd behavior identification method combining the streakline with the high-accurate variational optical flow model
Zhang et al. A real‐time lane detection network using two‐directional separation attention
CN103985139A (zh) 基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法
CN116523970B (zh) 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN105512606A (zh) 基于ar模型功率谱的动态场景分类方法及装置
Sane et al. Scalable in situ computation of Lagrangian representations via local flow maps
CN104598600A (zh) 一种基于分布式内存的并行数字地形分析优化方法
CN107908915A (zh) 预测隧道挤压变形的建模及分析方法、设备和存储介质
CN104881670A (zh) 一种用于sar方位角估计的快速目标提取方法
CN108154522A (zh) 目标追踪系统
CN110275895A (zh) 一种缺失交通数据的填充设备、装置及方法
CN110570386B (zh) 一种基于贝叶斯理论的图像融合方法
Asad et al. On GPU Connected Components and Properties: a systematic evaluation of connected component labeling algorithms and their extension for property extraction
Xie et al. Driving pattern recognition based on improved LDA model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200715

Address after: Yuhuatai District of Nanjing City, Jiangsu province 210012 Bauhinia Road No. 68

Applicant after: Nanjing Zhongxing New Software Co.,Ltd.

Address before: 518057 Nanshan District Guangdong high tech Industrial Park, South Road, science and technology, ZTE building, Ministry of Justice

Applicant before: ZTE Corp.

GR01 Patent grant
GR01 Patent grant