CN107025433B - 视频事件类人概念学习方法及装置 - Google Patents

视频事件类人概念学习方法及装置 Download PDF

Info

Publication number
CN107025433B
CN107025433B CN201710124474.0A CN201710124474A CN107025433B CN 107025433 B CN107025433 B CN 107025433B CN 201710124474 A CN201710124474 A CN 201710124474A CN 107025433 B CN107025433 B CN 107025433B
Authority
CN
China
Prior art keywords
behavior
sub
video
child
behaviors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710124474.0A
Other languages
English (en)
Other versions
CN107025433A (zh
Inventor
李岩山
徐健杰
谢维信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201710124474.0A priority Critical patent/CN107025433B/zh
Publication of CN107025433A publication Critical patent/CN107025433A/zh
Application granted granted Critical
Publication of CN107025433B publication Critical patent/CN107025433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频事件类人概念学习方法及装置，方法包括：利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合，基于行为的时间停顿点对该行为集合中的各行为进行子行为划分，得到子行为集合，确定该子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率，利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到视频事件的概念。相对于现有技术，上述方法能够学习到视频事件的概念，且通过简单随机的规划来表达概念，以实现趋近于人类进行概念学习的思维，以实现视频事件类人概念学习。

Description

视频事件类人概念学习方法及装置
技术领域
本发明涉及视频图像处理领域，尤其涉及一种视频事件类人概念学习方法及装置。
背景技术
人类对新概念的学习能够从一个简单示例推广，而机器学习算法通常需要大量的样本才能达到同样的精度。例如，目前基于视频的行为分析和概念学习都需要大量的视频作为样本，且经过复杂的机器学习算法才能实现，而人类能够通过单个视频样本就能够学习到相同多甚至更多的概念。
因此，如何像人一样对视频事件概念进行学习是当前研究的重点。
发明内容
本发明的主要目的在于提供一种视频事件类人概念学习方法及装置，旨在解决现有技术中无法像人一样对视频事件概念进行学习的技术问题。
为实现上述目的，本发明第一方面提供一种视频事件类人概念学习方法，该方法包括：
利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合；
基于行为的停顿时间点对所述行为集合中的各行为进行子行为划分，得到子行为集合；
确定所述子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率；
利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到所述视频事件的概念，实现视频事件类人概念学习。
为实现上述目的，本发明第二方面提供一种视频事件类人概念学习装置，该装置包括：
第一划分模块，用于利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合；
第二划分模块，用于基于行为的停顿时间点对所述行为集合中的各行为进行子行为划分，得到子行为集合；
第一确定模块，用于确定所述子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率；
组合学习模块，用于利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到所述视频事件的概念，实现视频事件类人概念学习。
本发明提供一种视频事件类人概念学习方法，该方法包括：利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合，基于行为的时间停顿点对该行为集合中的各行为进行子行为划分，得到子行为集合，确定该子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率，利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到视频事件的概念，实现视频事件概率学习。相对于现有技术，通过对视频样本进行行为划分及子行为划分，利用划分后的各子行为的时空关系、先验概率及预置的变化因子集合进行新的视频事件的组合，使得能够学习到视频事件的概念，通过简单随机的规划来表达概念，以实现趋近于人类进行概念学习的思维，以实现视频事件类人概念学习。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例中视频事件类人概念学习方法的流程示意图；
图2为本发明第一实施例中步骤101的细化步骤的流程示意图；
图3为本发明第一实施例中步骤102的细化步骤的流程示意图；
图4为本发明第一实施例中步骤104的细化步骤的流程示意图；
图5为本发明第二实施例中视频事件类人概念学习装置的功能模块的示意图；
图6为本发明第二实施例中第一划分模块501的细化功能模块的示意图；
图7为本发明第二实施例中第二划分模块502的细化功能模块的示意图；
图8为本发明第二实施例中组合学习模块504的细化功能模块的示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中的技术方案引入贝叶斯规划学习(Bayesian Program Learning，BPL)框架，能够从仅仅一个视频样本中学习到一大类的视频事件概念，概念表示为简单的概率规划，即用抽象语言描述的结构化过程所表达的概率生成模型。本发明即是基于上述的BPL框架，且利用一个视频样本实现对视频事件的概率的学习的，下面将详细进行描述。
请参阅图1，为本发明第一实施例中视频事件类人概念学习方法，其特征在于，所述方法包括：
步骤101、利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合；
步骤102、基于行为的停顿时间点对所述行为集合中的各行为进行子行为划分，得到子行为集合；
步骤103、确定所述子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率；
步骤104、利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到所述视频事件的概念，实现视频事件类人概念学习。
在本发明实施例中，上述的视频事件类人概念学习方法是由视频事件类人概念学习装置(以下简称：学习装置)实现的。且一次学习仅需要使用到一个视频样本，能够实现基于少量的视频样本数据实现概念学习，而不需要像机器学习算法一样使用到大量的数据，适用性更强。
其中，学习装置将利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合。运动对象是指在视频中发生了运动的人及物，且并不限定人及物的数量。
为了更好的理解行为的划分，请参阅图2，为本发明第一实施例中步骤101的细化步骤的流程示意图，该步骤101具体包括：
步骤201、从所述视频样本的第一帧开始，随机游走分割视频帧，以将所述视频样本分割为多个子视频数据；
步骤202、基于Harris算法检测依次检测所述子视频数据中的运动点，得到所述子视频数据中各运动对象的运动轨迹，且确定所述运动轨迹的轨迹特征的权重值；
步骤203、按照所述子视频数据中各运动对象的所述轨迹特征的权重值随机游走，且游走步数达到预设值时，将游走的轨迹作划分为行为，以实现行为划分。
其中，学习装置将从视频样本的第一帧开始，随机游走分割视频帧，由于视频是一个三维的数据结构，因此，学习装置的游走将同时从三个方向进行，该三个方向分别是时间方向、水平空间方向及垂直空间方向，且通过游走，能够将视频样本分割成多个小立方块数据，其中，每一个小立方块数据也都具有三维的数据结构，即为一个子视频数据。
学习装置在将视频样本划分为多个子视频数据之后，将确定每一个子视频数据中包含的行为，以实现行为划分。对于每一个子视频数据，学习装置将基于Harris算法检测子视频数据中的运动点，并将检测到的运动点基于时间方向连接成运动轨迹，以得到该子视频数据中各运动对象的运动轨迹。此外，学习装置还将确定该运动轨迹中包含了哪些轨迹特征，并基于预先设置的轨迹特征与权重值之间的映射关系，确定该运动轨迹的轨迹特征的权重值，即学习装置还将得到运动轨迹的轨迹特征的权重值。进一步的，学习装置将按照子视频数据中各运动对象的轨迹特征的权重值随机游走，且游走步数达到预设值时，将游走的轨迹划分为行为，完成子行为的划分。
在本发明实施例中，通过随机游走算法及Harris算法能够有效的实现行为划分。
在本发明实施例中，学习装置在得到视频样本中的行为集合之后，将基于行为的停顿时间点对行为集合中的各行为进行子行为的划分，其中，停顿时间点可以是指行为的停顿时间大于或等于预设时长的点，该预设时长可以是30ms、1s等等。具体的，请参阅图3，为本发明第一实施例中步骤102的细化步骤的流程示意图，该步骤102包括：
301、对所述行为集合中的每一个行为，基于Harris算法确定所述行为中包含的停顿时间点；
302、基于所述停顿时间点将所述行为划分为子行为，以得到所述子行为集合。
在本发明实施例中，步骤301和步骤302是对步骤102的细化，即详细描述了子行为的划分流程。
其中，对于行为集合中的每一个行为，学习装置都将基于Harris算法确定该行为中包含的停顿时间点，其中，Harris算法是用于确定运动点的，且由于是从子视频数据中提取的运动点，因此，提取的运动点是与时间相关的，若在连续的时间内，不同时间上的运动点的位置相同，则表明该运动点的位置并未发生变化，若未变化的时间大于或等于上述的预设时长，则表明该运动点即为停顿时间点。学习装置在确定行为中包含的停顿时间点之后，将基于确定的停顿时间点将该行为划分为多个子行为，以得到子行为集合。
在本发明实施例中，学习装置在得到子行为集合之后，将确定该子行为集合中各子行为与其他子行为的时空关系，及确定各子行为的时空关系的先验概率。
其中，时空关系包括子行为在其他子行为之前发生、子行为在其他子行为之后发生、子行为与其他子行为互相独立，子行为与其他子行为同时发生，且时空关系对应的先验概率为P(Rm)＝{P1,P2,P3,P4}，其中，P(Rm)表示子行为Sum的时空关系对应的先验概率，Rm表示子行为Sum的时空关系，P1,P2,P3,P4依次表示上述四种时空关系对应的先验概率。
其中，先验概率是指根据以往经验和分析得到的概率，是基于现有的视频样本进行行为分析及统计得到的。
在本发明实施例中，学习装置将利用各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到该新的视频事件的概念，以实现视频事件类人概念学习。
其中，变化因子集合T具体为：T＝{o,p}，其中，o为视频空间画面的尺度因子，p为时空关系因子，其中，视频空间画面的尺度因子是预先设置的参数。
具体的，请参阅图4，图4为本发明第一实施例中步骤104的细化步骤的流程示意图，该步骤104包括：
步骤401、利用所述视频空间画面的尺度因子对所述各子行为的时空关系进行尺度变化，得到新的子行为集合；
步骤402、利用所述时空关系因子对所述新的子行为集合中的子行为进行组合，组合得到视频事件，并学习得到所述视频事件的概念。
其中，学习装置将利用o对子行为集合中各子行为的时空关系进行尺度变化，得到新的子行为集合，该新的子行为集合中子行为的时空关系即为进行尺度变化后的时空关系。且学习装置将利用时空关系因子对该新的子行为集合中的子行为进行组合，组合得到视频事件，并学习得到该视频事件的概念。其中，该时空关系因子是从尺度变化后的时空关系中随机挑选的一个时空关系。例如：若将子行为A，B，C，D组合成一个新的视频事件，则需要从子行为A尺度变化后的时空关系a中随机选择一种时空关系作为该子行为A在组合成的新的视频事件中的时空关系，子行为B、C、D也使用相似的方式确定其在新的视频事件中的时空关系。
其中，所述视频事件的概念为ψ＝{k,S,R}。
其中，k表示组成组成视频事件的子行为的个数，S表示子行为的集合，R表示子行为的时空关系对应的先验概率集合。
其中，k是由经验频率(empirical frequencies)估计的多项式P(k)采样得到的。
其中，视频事件的概念是通过联合概率进行表示的，且概念的联合概率如下：
Figure BDA0001238036690000071
其中，P(ψ)表示联合概率，P(k)表示视频事件由k个子行为构成时的先验概率，P(Sum)表示子行为Sum的先验概率，P(Rm)表示子行为Sum的时空关系对应的先验概率。
在本发明实施例中，利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合，基于行为的时间停顿点对该行为集合中的各行为进行子行为划分，得到子行为集合，确定该子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率，利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到视频事件的概念，实现视频事件概率学习。相对于现有技术，通过对视频样本进行行为划分及子行为划分，利用划分后的各子行为的时空关系、先验概率及预置的变化因子集合进行新的视频事件的组合，使得能够学习到视频事件的概念，通过简单随机的规划来表达概念，以实现趋近于人类进行概念学习的思维，以实现视频事件类人概念学习。
请参阅图5，为本发明第二实施例中视频事件类人概念学习装置的功能模块的示意图，该学习装置包括：
第一划分模块501，用于利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合；
第二划分模块502，用于基于行为的停顿时间点对所述行为集合中的各行为进行子行为划分，得到子行为集合；
第一确定模块503，用于确定所述子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率；
组合学习模块504，用于利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到所述视频事件的概念，实现视频事件类人概念学习。
其中，第一划分模块501利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合。运动对象是指在视频中发生了运动的人及物，且并不限定人及物的数量。具体的，请参阅图6，为本发明第二实施例中第一划分模块501的细化功能模块的示意图，该第一划分模块501包括：
游走分割模块601，用于从所述视频样本的第一帧开始，随机游走分割视频帧，以将所述视频样本分割为多个子视频数据；
检测确定模块602，用于基于Harris算法检测依次检测所述子视频数据中的运动点，得到所述子视频数据中各运动对象的运动轨迹，且确定所述运动轨迹的轨迹特征的权重值；
游走划分模块603，用于按照所述子视频数据中各运动对象的所述轨迹特征的权重值随机游走，且游走步数达到预设值时，将游走的轨迹作划分为行为，以实现行为划分。
其中，游走分割模块601将从视频样本的第一帧开始，随机游走分割视频帧，由于视频是一个三维的数据结构，因此，学习装置的游走将同时从三个方向进行，该三个方向分别是时间方向、水平空间方向及垂直空间方向，且通过游走，能够将视频样本分割成多个小立方块数据，其中，每一个小立方块数据也都具有三维的数据结构，即为一个子视频数据。
在将视频样本划分为多个子视频数据之后，将确定每一个子视频数据中包含的行为，以实现行为划分。对于每一个子视频数据，检测确定模块602将基于Harris算法检测子视频数据中的运动点，并将检测到的运动点基于时间方向连接成运动轨迹，以得到该子视频数据中各运动对象的运动轨迹。此外，学习装置还将确定该运动轨迹中包含了哪些轨迹特征，并基于预先设置的轨迹特征与权重值之间的映射关系，确定该运动轨迹的轨迹特征的权重值，即学习装置还将得到运动轨迹的轨迹特征的权重值。进一步的，游走划分模块603将按照子视频数据中各运动对象的轨迹特征的权重值随机游走，且游走步数达到预设值时，将游走的轨迹划分为行为，完成子行为的划分。
在本发明实施例中，通过随机游走算法及Harris算法能够有效的实现行为划分。
在本发明实施例中，学习装置在得到视频样本中的行为集合之后，将基于行为的停顿时间点对行为集合中的各行为进行子行为的划分，其中，停顿时间点可以是指行为的停顿时间大于或等于预设时长的点，该预设时长可以是30ms、1s等等。具体的，请参阅图7，为本发明第二实施例中第二划分模块502的细化功能模块的示意图，该第二划分模块502包括：
第二确定模块701，用于对所述行为集合中的每一个行为，基于Harris算法确定所述行为中包含的停顿时间点；
第三划分模块702，用于基于所述停顿时间点将所述行为划分为子行为，以得到所述子行为集合。
其中，对于行为集合中的每一个行为，第二确定模块701都将基于Harris算法确定该行为中包含的停顿时间点，其中，Harris算法是用于确定运动点的，且由于是从子视频数据中提取的运动点，因此，提取的运动点是与时间相关的，若在连续的时间内，不同时间上的运动点的位置相同，则表明该运动点的位置并未发生变化，若未变化的时间大于或等于上述的预设时长，则表明该运动点即为停顿时间点。在确定行为中包含的停顿时间点之后，第三划分模块702将基于确定的停顿时间点将该行为划分为多个子行为，以得到子行为集合。
在本发明实施例中，学习装置在得到子行为集合之后，第一确定模块503将确定该子行为集合中各子行为与其他子行为的时空关系，及确定各子行为的时空关系的先验概率。
其中，时空关系包括子行为在其他子行为之前发生、子行为在其他子行为之后发生、子行为与其他子行为互相独立，子行为与其他子行为同时发生，且时空关系对应的先验概率为P(Rm)＝{P1,P2,P3,P4}，其中，P(Rm)表示子行为Sum的时空关系对应的先验概率，Rm表示子行为Sum的时空关系，P1,P2,P3,P4依次表示上述四种时空关系对应的先验概率。
其中，先验概率是指根据以往经验和分析得到的概率，是基于现有的视频样本进行行为分析及统计得到的。
在本发明实施例中，组合学习模块504将利用各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到该新的视频事件的概念，以实现视频事件类人概念学习。
其中，变化因子集合T具体为：T＝{o,p}，其中，o为视频空间画面的尺度因子，p为时空关系因子，其中，视频空间画面的尺度因子是预先设置的参数。
请参阅图8，为本发明第二实施例中组合学习模块504的细化功能模块的示意图，该组合学习模块504包括：
尺度变化模块801，用于利用所述视频空间画面的尺度因子对所述各子行为的时空关系进行尺度变化，得到新的子行为集合；
组合模块802，用于利用所述时空关系因子对所述新的子行为集合中的子行为进行组合，组合得到视频事件，并学习得到所述视频事件的概念。
其中，尺度变化模块801将利用o对子行为集合中各子行为的时空关系进行尺度变化，得到新的子行为集合，该新的子行为集合中子行为的时空关系即为进行尺度变化后的时空关系。且组合模块802将利用时空关系因子对该新的子行为集合中的子行为进行组合，组合得到视频事件，并学习得到该视频事件的概念。其中，该时空关系因子是从尺度变化后的时空关系中随机挑选的一个时空关系。例如：若将子行为A，B，C，D组合成一个新的视频事件，则需要从子行为A尺度变化后的时空关系a中随机选择一种时空关系作为该子行为A在组合成的新的视频事件中的时空关系，子行为B、C、D也使用相似的方式确定其在新的视频事件中的时空关系。
其中，视频事件的概念为ψ＝{k,S,R}。
其中，k表示组成组成视频事件的子行为的个数，S表示子行为的集合，R表示子行为的时空关系对应的先验概率集合。
其中，k是由经验频率(empirical frequencies)估计的多项式P(k)采样得到的。
其中，视频事件的概念是通过联合概率进行表示的，且概念的联合概率如下：
Figure BDA0001238036690000121
其中，P(ψ)表示联合概率，P(k)表示视频事件由k个子行为构成时的先验概率，P(Sum)表示子行为Sum的先验概率，P(Rm)表示子行为Sum的时空关系对应的先验概率。
在本发明实施例中，利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合，基于行为的时间停顿点对该行为集合中的各行为进行子行为划分，得到子行为集合，确定该子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率，利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到视频事件的概念，实现视频事件概率学习。相对于现有技术，通过对视频样本进行行为划分及子行为划分，利用划分后的各子行为的时空关系、先验概率及预置的变化因子集合进行新的视频事件的组合，使得能够学习到视频事件的概念，通过简单随机的规划来表达概念，以实现趋近于人类进行概念学习的思维，以实现视频事件类人概念学习。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种视频事件类人概念学习方法及装置的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种视频事件类人概念学习方法，其特征在于，所述方法包括：
利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合；
基于行为的停顿时间点对所述行为集合中的各行为进行子行为划分，得到子行为集合；
确定所述子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率；
利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到所述视频事件的概念，实现视频事件类人概念学习，所述预置的变化因子集合T具体为：T＝{o,p}，其中，o为视频空间画面的尺度因子，p为时空关系因子，其中，视频空间画面的尺度因子是预先设置的参数，所述利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到所述视频事件的概念的步骤包括：
利用所述视频空间画面的尺度因子对所述各子行为的时空关系进行尺度变化，得到新的子行为集合；
利用所述时空关系因子对所述新的子行为集合中的子行为进行组合，组合得到视频事件，并学习得到所述视频事件的概念；
其中，所述视频事件的概念为ψ＝{k,S,R}，所述视频事件的概念的联合概率为：
Figure FDA0002821074640000011
其中，P(ψ)表示联合概率，P(k)表示视频事件由k个子行为构成时的先验概率，P(Sum)表示子行为Sum的先验概率，P(Rm)表示子行为Sum的时空关系对应的先验概率。
2.根据权利要求1所述的方法，其特征在于，所述利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合的步骤包括：
从所述视频样本的第一帧开始，随机游走分割视频帧，以将所述视频样本分割为多个子视频数据；
基于Harris算法检测依次检测所述子视频数据中的运动点，得到所述子视频数据中各运动对象的运动轨迹，且确定所述运动轨迹的轨迹特征的权重值；
按照所述子视频数据中各运动对象的所述轨迹特征的权重值随机游走，且游走步数达到预设值时，将游走的轨迹作划分为行为，以实现行为划分。
3.根据权利要求1所述的方法，其特征在于，所述基于行为的停顿时间点对所述行为集合中的各行为进行子行为划分，得到子行为集合的步骤包括：
对所述行为集合中的每一个行为，基于Harris算法确定所述行为中包含的停顿时间点；
基于所述停顿时间点将所述行为划分为子行为，以得到所述子行为集合。
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述时空关系包括子行为在其他子行为之前发生、子行为在其他子行为之后发生、子行为与其他子行为互相独立，子行为与其他子行为同时发生，且所述时空关系对应的先验概率为P(Rm)＝{P1,P2,P3,P4}，其中，P(Rm)表示子行为Sum的时空关系对应的先验概率，Rm表示子行为Sum的时空关系，P1,P2,P3,P4依次表示四种时空关系对应的先验概率。
5.一种视频事件类人概念学习装置，其特征在于，所述装置包括：
第一划分模块，用于利用随机行走算法对视频样本中的运动对象进行行为划分，得到行为集合；
第二划分模块，用于基于行为的停顿时间点对所述行为集合中的各行为进行子行为划分，得到子行为集合；
第一确定模块，用于确定所述子行为集合中各子行为与其他子行为的时空关系，及各子行为的时空关系的先验概率；
组合学习模块，用于利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到所述视频事件的概念，实现视频事件类人概念学习，所述预置的变化因子集合T具体为：T＝{o,p}，其中，o为视频空间画面的尺度因子，p为时空关系因子，其中，视频空间画面的尺度因子是预先设置的参数，所述利用所述各子行为的时空关系、先验概率及预置的变化因子集合，组合成新的视频事件，并学习得到所述视频事件的概念的步骤包括：
利用所述视频空间画面的尺度因子对所述各子行为的时空关系进行尺度变化，得到新的子行为集合；
利用所述时空关系因子对所述新的子行为集合中的子行为进行组合，组合得到视频事件，并学习得到所述视频事件的概念；
其中，所述视频事件的概念为ψ＝{k,S,R}，所述视频事件的概念的联合概率为：
Figure FDA0002821074640000031
其中，P(ψ)表示联合概率，P(k)表示视频事件由k个子行为构成时的先验概率，P(Sum)表示子行为Sum的先验概率，P(Rm)表示子行为Sum的时空关系对应的先验概率。
6.根据权利要求5所述的装置，其特征在于，所述第一划分模块包括：
游走分割模块，用于从所述视频样本的第一帧开始，随机游走分割视频帧，以将所述视频样本分割为多个子视频数据；
检测确定模块，用于基于Harris算法检测依次检测所述子视频数据中的运动点，得到所述子视频数据中各运动对象的运动轨迹，且确定所述运动轨迹的轨迹特征的权重值；
游走划分模块，用于按照所述子视频数据中各运动对象的所述轨迹特征的权重值随机游走，且游走步数达到预设值时，将游走的轨迹作划分为行为，以实现行为划分。
7.根据权利要求5所述的装置，其特征在于，所述第二划分模块包括：
第二确定模块，用于对所述行为集合中的每一个行为，基于Harris算法确定所述行为中包含的停顿时间点；
第三划分模块，用于基于所述停顿时间点将所述行为划分为子行为，以得到所述子行为集合。
8.根据权利要求5至7任意一项所述的装置，其特征在于，所述时空关系包括子行为在其他子行为之前发生、子行为在其他子行为之后发生、子行为与其他子行为互相独立及子行为与其他子行为同时发生，且所述时空关系对应的先验概率为P(Rm)＝{P1,P2,P3,P4}，其中，P(Rm)表示子行为Sum的时空关系对应的先验概率，Rm表示子行为Sum的时空关系，P1,P2,P3,P4依次表示四种时空关系对应的先验概率。
CN201710124474.0A 2017-03-03 2017-03-03 视频事件类人概念学习方法及装置 Active CN107025433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710124474.0A CN107025433B (zh) 2017-03-03 2017-03-03 视频事件类人概念学习方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710124474.0A CN107025433B (zh) 2017-03-03 2017-03-03 视频事件类人概念学习方法及装置

Publications (2)

Publication Number Publication Date
CN107025433A CN107025433A (zh) 2017-08-08
CN107025433B true CN107025433B (zh) 2021-03-16

Family

ID=59526127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710124474.0A Active CN107025433B (zh) 2017-03-03 2017-03-03 视频事件类人概念学习方法及装置

Country Status (1)

Country Link
CN (1) CN107025433B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2582676B (en) * 2018-12-27 2022-11-16 Univ Shanghai Jiaotong Early Failure Detection Method for Power Distribution Network Equipment Based On Human-Level Concept Learning
CN109782126B (zh) * 2018-12-27 2021-01-01 上海交通大学 基于类人概念学习的配电网早期故障检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968797A (zh) * 2010-09-10 2011-02-09 北京大学 一种基于镜头间上下文的视频概念标注方法
CN102811343A (zh) * 2011-06-03 2012-12-05 南京理工大学 一种基于行为识别的智能视频监控系统
US8462987B2 (en) * 2009-06-23 2013-06-11 Ut-Battelle, Llc Detecting multiple moving objects in crowded environments with coherent motion regions
CN103198296A (zh) * 2013-03-07 2013-07-10 中国科学技术大学 一种基于贝叶斯惊奇度计算的视频异常行为检测方法及装置
US8949371B1 (en) * 2011-09-29 2015-02-03 Symantec Corporation Time and space efficient method and system for detecting structured data in free text
CN105956543A (zh) * 2016-04-27 2016-09-21 广西科技大学 一种基于尺度自适应局部时空特征的多运动员行为检测方法
CN106156747A (zh) * 2016-07-21 2016-11-23 四川师范大学 基于行为特征的监控视频语义对象提取的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8462987B2 (en) * 2009-06-23 2013-06-11 Ut-Battelle, Llc Detecting multiple moving objects in crowded environments with coherent motion regions
CN101968797A (zh) * 2010-09-10 2011-02-09 北京大学 一种基于镜头间上下文的视频概念标注方法
CN102811343A (zh) * 2011-06-03 2012-12-05 南京理工大学 一种基于行为识别的智能视频监控系统
US8949371B1 (en) * 2011-09-29 2015-02-03 Symantec Corporation Time and space efficient method and system for detecting structured data in free text
CN103198296A (zh) * 2013-03-07 2013-07-10 中国科学技术大学 一种基于贝叶斯惊奇度计算的视频异常行为检测方法及装置
CN105956543A (zh) * 2016-04-27 2016-09-21 广西科技大学 一种基于尺度自适应局部时空特征的多运动员行为检测方法
CN106156747A (zh) * 2016-07-21 2016-11-23 四川师范大学 基于行为特征的监控视频语义对象提取的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Human-level control through deep reinforcement learning》;Volodymyr Mnih，et al;《NATURE》;20150226;第518卷;全文 *
《一种基于属性贝叶斯网络的行为识别模型》;陈文强，等;《西南师范大学学报（自然科学版）》;20140331;第39卷(第3期);全文 *
《人体动作行为识别研究综述》;李瑞峰，等;《模式识别与人工智能》;20140131;第27卷(第1期);全文 *
《多层独立子空间分析时空特征的人体行为识别方法》;瞿涛，等;《武汉大学学报 信息科技辑》;20160430;第41卷(第4期);全文 *

Also Published As

Publication number Publication date
CN107025433A (zh) 2017-08-08

Similar Documents

Publication Publication Date Title
Jaouedi et al. A new hybrid deep learning model for human action recognition
Tezcan et al. BSUV-Net 2.0: Spatio-temporal data augmentations for video-agnostic supervised background subtraction
Cheung et al. Discovering hidden factors of variation in deep networks
US20180114071A1 (en) Method for analysing media content
US20190301861A1 (en) Method and apparatus for binocular ranging
JP6678246B2 (ja) 大域的最適化に基づく意味的セグメント化
KR102036955B1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
EP2790152B1 (en) Method and device for automatic detection and tracking of one or multiple objects of interest in a video
EP2352128B1 (en) Mobile body detection method and mobile body detection apparatus
JPWO2018025831A1 (ja) 人流推定装置、人流推定方法およびプログラム
US10289884B2 (en) Image analyzer, image analysis method, computer program product, and image analysis system
JP2022554068A (ja) ビデオコンテンツ認識方法、装置、プログラム及びコンピュータデバイス
WO2016033279A1 (en) Method and system of temporal segmentation for gesture analysis
US20210248468A1 (en) Classifying Time Series Image Data
US20150278631A1 (en) Filtering methods for visual object detection
Campo et al. Static force field representation of environments based on agents’ nonlinear motions
CN110163052B (zh) 视频动作识别方法、装置和机器设备
Gaba et al. Motion detection, tracking and classification for automated Video Surveillance
Cheng et al. Advanced background subtraction approach using Laplacian distribution model
Henrio et al. Anomaly detection in videos recorded by drones in a surveillance context
CN107025433B (zh) 视频事件类人概念学习方法及装置
Sharjeel et al. Real time drone detection by moving camera using COROLA and CNN algorithm
CN113312966B (zh) 一种基于第一人称视角的动作识别方法及装置
JP4572175B2 (ja) 非定常映像検出装置，非定常映像検出方法及びその方法を実装したプログラム
WO2019130548A1 (en) Information processing apparatus, method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Li Yanshan

Inventor after: Xu Jianjie

Inventor after: Xie Weixin

Inventor before: Li Yanshan

Inventor before: Xu Jianjie

Inventor before: Li Hongyi

Inventor before: Xie Weixin

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant