CN105324793B - 用于检测和跟踪视频中的一个或多个感兴趣对象的方法和设备 - Google Patents

用于检测和跟踪视频中的一个或多个感兴趣对象的方法和设备 Download PDF

Info

Publication number
CN105324793B
CN105324793B CN201480033685.8A CN201480033685A CN105324793B CN 105324793 B CN105324793 B CN 105324793B CN 201480033685 A CN201480033685 A CN 201480033685A CN 105324793 B CN105324793 B CN 105324793B
Authority
CN
China
Prior art keywords
space
time diagram
region adjacent
interest
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480033685.8A
Other languages
English (en)
Other versions
CN105324793A (zh
Inventor
F·迪奥特
E·马里利
E·福罗蒙特
B·哲迪
O·马蒂诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Publication of CN105324793A publication Critical patent/CN105324793A/zh
Application granted granted Critical
Publication of CN105324793B publication Critical patent/CN105324793B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于在视频序列中自动检测和跟踪一个或多个感兴趣对象的方法，该视频序列包括使用移动相机捕获的若干个连续帧，该方法包括以下步骤：依据颜色将该帧分割成区域并产生分割的图像；从该分割的图像中推演出包括节点和边的区域邻近图形，其中每个节点定义区域且每个边连接邻近区域的两个节点；其中从所述若干个连续帧的被分割的图像推演出的区域邻近图形形成区域邻近图形集合；从所述区域邻近图形集合提取频繁时空图案；确定连续帧之间的被提取的频繁时空图案的轨迹之间的不相似度；以及‑根据被确定的该轨迹的不相似度聚集该频繁时空图案以产生对应于所述一个或多个感兴趣对象中的一个感兴趣对象的至少一个群集。

Description

用于检测和跟踪视频中的一个或多个感兴趣对象的方法和 设备
技术领域
本发明涉及应用于视频的图像处理领域。更特别地，本发明关于在使用移动相机获取的视频序列中检测和跟踪一个或多个感兴趣对象。
下面的术语“移动相机”用于指在稳定景象中移动的相机以及获取变化景象的相机，即，其中背景或环境从一个景象或帧移动到另一个景象或帧。
背景技术
视频序列中感兴趣对象的检测和跟踪，像电影中的主要人物或直播足球赛中最重要的动作，考虑了了解视频中这些对象的位置和轨迹。这种了解对视频的自动概要是基本的。视频概要有一些目的，例如在视频监控应用中、视频索引中、或需要视频内容的管理的其他交互多媒体应用中。
当处理使用不移动相机获取的视频时，能够使用背景减去技术来检测感兴趣对象。这样的技术的示例公开在S.Conseil等人的“Suivi Tridimensionnel en Stéréovision”，GRETSI，2005中，其中背景被作为从所有帧中减去的参考图像以检测人手。
但是，背景减去方法不适用于使用移动相机获取的视频序列的情况，因为背景易于在景象或帧之间变化且不可以用作参考。存在一些用于跟踪使用移动相机获取的视频中的对象的可替换方法和设备。下面描述其中的一些示例。
根据第一技术，用户标记感兴趣对象，即用户经由图形用户界面(GUI)手动选择帧中的目标感兴趣对象。然后使用运动和外观模型来跟踪穿过视频序列的被选择的对象以知道其轨迹。
第二种方式能够自动跟踪使用移动相机获取的视频序列中的对象，公开在US5867584中，其需要用户指定包括该对象的窗口。该窗口然后与后续帧中的测试窗口进行比较以找到与包含该对象的指定窗口最相似的最匹配窗口。
在第三种方式中，需要跟踪对象的在先知识，例如以包含与对象相关联的特征的数据库的形式。系统提前知道感兴趣对象的模型，由此使其能够在视频的帧内检测相似的对象。系统的数据库包括多个训练样本，例如不同种类的人脸，以找到视频中的脸。之后执行数据关联步骤以将对跨视频帧的相同对象的检测关联到轨迹或轨道。该第三方式的示例可以在T.Ma,L.J.Latecki,“Maximum Wright Cliques with mutex Constraints forObject Segmentation”,IEEE Conference on Computer Vision and PatternRecognition(CVPR),June 2012中找到。
使用上述技术，需要用户交互和/或感兴趣对象的在先知识，或可以被检测的对象类型被限制了，例如被限制到系统已经被训练的对象类型。
根据以上描述，需要不用输入在先知识并独立于知道模型所需的数据库的情况下的改进的自动检测和跟踪使用移动相机获取的视频中的感兴趣对象。
发明内容
本发明的实施方式提供用于检测使用移动相机获取的视频中的感兴趣对象的赶紧的方法和改进的设备，其解决上述问题。
根据第一方面，提供用于自动检测和跟踪包括使用移动相机获取的若干个连续帧的视频序列中的一个或多个感兴趣对象的方法，该方法包括步骤：
针对该视频序列中的每个帧：
依据颜色将该帧分割成多个区域并产生分割的图像，
从该分割的图像推演出区域邻近图形，包括节点和边界，其中每个节点定义区域且每个边界连接该分割的图形的邻近区域的两个节点，
其中针对所述若干个连续帧的从分割的图形推演出的区域邻近图形形成区域邻近图形集合，
从该区域邻近图形的集合提取频繁时空图案，
确定连续帧之间的该提取的频繁时空图案的轨迹之间的不相似度，以及
根据所确定的该轨迹的不相似度聚集(cluster)该频繁时空图案以产生对应于所述一个或多个感兴趣对象中的一个感兴趣对象的至少一个群集。
在一些实施方式中，该提取步骤可以包括提取在该区域邻近图形集合中的预定数量的区域邻近图形中出现至少一次的时空图案。
在一些实施方式中，该提取步骤可以包括：
针对每个时空图案确定两个不同区域邻近图形中间隔两次连续出现的时空图案的欧几里得距离，以及
提取确定的欧几里得距离低于空间阈值的时空图案。
在一些实施方式中，该提取步骤可以包括：
针对每个时空图案，确定两个不同区域邻近图形中间隔时空图案的两次连续出现的区域邻近图形的数量，以及
提取确定的区域邻近图形的数量低于时间阈值的时空图案。
在一些实施方式中，确定轨迹的不相似度的步骤可以包括：
确定区域邻近图形中每个时空图案的图心(centroid)，
确定对应于每个区域邻近图形中两个不同时空图案的两个不同图形之间的欧几里得距离，以及
计算若干个区域邻近图形上的两个不同图形之间的欧几里得距离的平均。
优选地，确定轨迹的不相似度的步骤还可以包括：
针对在两个不同区域邻近图形中间隔时空图案中的每一个时空图案的两次连续出现的一个或多个区域邻近图形插入图心，以及
计算所有区域邻近图形的两个图心之间的欧几里得距离的平均值。
在一些实施方式中，聚集步骤可以包括聚集计算的两个不同图形之间的欧几里得距离的平均低于不相似阈值的时空图案。
有利地，聚集步骤还可以包括：
聚集频繁时空图案以产生对应于多个感兴趣对象的分等级的群集集合，以及
在该分等级的群集集合中仅选择不相似度低于预定阈值的群集。
上述方面的任意还可以包括使用在视频序列中被检测和跟踪的一个或多个感兴趣对象概括视频序列以得到视频概要。
优选地，该概括步骤包括基于其轨迹的空间重叠来确定交互感兴趣对象。
根据第二方面，提供了用于自动检测和跟踪包括使用移动相机获取的若干个连续帧的视频序列中的一个或多个感兴趣对象的设备，该设备包括：
帧提取器，被配置成依据颜色将视频序列的每一个帧分割成区域，并产生每个帧的分割的图形，
图形引擎，被配置成从该分割的图像推演出包括节点和边界的区域邻近图形，其中每个节点定义区域且每个边界连接该分割的图形的邻近区域的两个节点，
其中针对所述若干个连续帧的从分割的图形推演出的区域邻近图形形成区域邻近图形集合，
数据挖掘引擎，被配置成从区域邻近图形的集合中提取频繁时空图案，以及
聚集引擎，被配置成：
确定连续帧之间的提取的频繁时空图案的轨迹之间的不相似度，以及
根据所确定的该轨迹的不相似度聚集该频繁时空图案以产生对应于所述一个或多个感兴趣对象中的一个感兴趣对象的至少一个群集。
有利地，该设备还可以包括概括引擎，被配置成使用在视频序列中被检测和跟踪的一个或多个感兴趣对象概况视频序列以得到视频概要。
根据第三方面，提供了计算机可读介质，包括用于控制计算机系统执行根据本申请的第一方面的用于在包括使用移动相机获取的若干个连续帧的视频序列中自动检测和跟踪一个或多个感兴趣对象的方法的指令。
根据第四方面，提供了计算机程序产品，包括计算机可执行指令，用于在程序在计算机上被运行时执行根据本申请的第一方面的用于在包括使用移动相机获取的若干个连续帧的视频序列中自动检测和跟踪一个或多个感兴趣对象的方法的指令。
根据这里公开的实施方式的方法和设备的另外方面和优点将在具体实施方式、附图和任意权利要求中部分提出，并部分从具体实施方式中得出。可以理解之前的概述和下面的详细描述仅是示意性而不限制要求保护的发明。
附图说明
参考附图描述方法和设备的示意性实施方式，其中：
图1示意性示出了根据本公开的实施方式的方法的流程图；
图2A示出了分割视频帧的示例；
图2B示意性示出了根据图2A的分割视频帧构建的区域邻近图的示例；
图2C示出了包含图案的区域邻近图集合的示例；
图2D示出了在图2C的区域邻近图集合中出现三次的图案；
图3A示意性示出了包含图2B的图案的多个视频帧；
图3B示出了对应于图3A中示出的图案出现的出现图；
图4A示出了根据本公开的实施方式的用于执行该方法的聚集步骤的不相似测量；
图4B示意性示出了从根据本公开的实施方式的方法的聚集步骤得到的提取的频繁时空图案的群集的集合的示例；以及
图5示意性示出了根据本公开的实施方式的用于自动检测和跟踪视频中一个或多个感兴趣对象的设备。
具体实施方式
附图和以下描述示出了示意性实施方式。在不同附图中，具有相似结构和/或功能的元件可以用相同附图标记来表示。
图1示出了示出用于自动检测和跟踪视频序列中一个或多个感兴趣对象的方法的流程图。在第一个步骤30中接收的视频或视频序列包括在时间上彼此连续的一些帧1或图像。使用移动相机获取帧1。在第二个步骤32中，该视频序列的每个帧1或图像被分割成区域，由此产生多个分割帧1′或图像。每个帧1根据该帧的像素的颜色被分割。因此，分割的帧1′的每个区域对应于一种颜色。为了执行该分割步骤32，可以使用颜色分割算法。一种分割的视频帧1′的示例在图2A中示出。这里，分割的帧1包括四个区域3、5、7、9，其中每个区域代表一种颜色。
参考图1，在第三个步骤34中，针对每个分割的帧1′建立图形11。该图像11也称为区域邻近图像，因为其代表根据邻近区域对的分割的帧1′。图2B示意性示出了从图2A的分割的视频帧1′推演出的区域邻近图形11的示例。该区域邻近图形11包括节点12和边12′，其中每个节点12定义区域3、5、7、9且每个边12′连接分割的图像1′的邻近区域3、5、7、9的两个节点12。每个区域中的节点可以位于该区域的质心中。每个节点12被赋予代表该节点位于的区域的颜色的标签。从一些或所有连续帧1的分段图像1′推演出的区域邻近图形11形成区域邻近图形集合。
图2C示出了三个区域邻近图形11、11′、11″的集合的示例。这三个图形11、11′、11″的每一个对应于视频序列的一个分割的帧。视频的分割的帧或图像以区域邻近图形形式的表示允许图像的拓扑的建模。
仍然参考图1，在第四个步骤36中，从区域邻近图形集合中提取频繁图案13。该提取步骤36也可以称为数据挖掘步骤。此外，提取的图案可以称为频繁时空图案。
例如，频繁时空图案13以及其他时空图案是在区域邻近图形的集合中预定数量的区域邻近图形11中出现至少一次的图案。相同的图案还可以在一个区域邻近图形11中出现多次。这在图2C中被示出，显示了示例区域邻近图形11、11′、11″集合，其中的两个图形包含图案13，由此在该图中，第一图形11包含图案13两次，最后一个图形11″包含图案13一次。在该示例中，图案13可以被认为是频繁的，因为其出现在三个图形中的两个中。图2D示出了在图2C的区域邻近图形集合中出现三次的频繁时空图案13。
在一些实施方式中，为了执行提取步骤36，针对每个时空图案13确定间隔两个不同区域邻近图形11中两次连续出现时空图案13的欧几里得距离。确定的欧几里得距离低于空间阈值的时空图案13然后被提取。示出这种处理方式的示例在图3A中示出。在图3A中，示出了5个连续帧1，其中的一些或全部包括两个时空图案13、13″的一个或两个。图案13、13″被包含在区域邻近图形中，为了容易辨认在图3A中省略了该图形。图案13总共出现6次，图案13″总共出现5次。标记为“A”的图案13的出现可以被认为满足空间阈值的约束，因为它们从一个帧到另一个帧彼此接近，即图案13分别在帧t1和t3、帧t3和t4、以及帧t4和t5之间没有移动太远。这同样适用于标记为“D”的图案13的出现和标记为“C”的图案13″的出现。欧几里得距离低于空间阈值的图案在图3A中用箭头连接。例如，对于图案13，帧t1中的出现“A”没有连接到帧t3中的出现“D”，因为它们彼此太远。
根据这些实施方式中，在提取步骤36中可能丢弃其出现在区域邻近图形集合中空间上离得太远的图案。实际上，空间上接近的图案更可能代表同一感兴趣对象的部分。
在一些实施方式中，为了执行提步骤36，针对每个时空图案13确定在两个不同区域邻近图形11中间隔时空图案13的两个连续出现的区域邻近图形11的数量。该数量可以称为中间图形(或中间帧，因为一个图形对应于一个帧)。确定的区域邻近图形11的数量低于时间阈值的时空图案13然后被提取。再次参考图3A，标记为“C”的图案13″的出现可以被认为满足时间阈值的约束，因为在帧t2的区域邻近图形和t3的区域邻近图形中间隔图案13″的两次连续出现的区域邻近图形11(即帧)的数量为0。这同样适用于帧t3和t4中的出现“C”。类似地，在帧t1的区域邻近图形和t3的区域邻近图形中间隔图案13的两次连续出现的区域邻近图形11(即帧)的数量为1，这可以被认为满足时间约束。确定的中间帧数量(或图形数量)低于时间阈值的图案在图3A中用箭头连接。例如，帧t1中标记为“B”的出现没有连接到帧t5中标记为“E”的出现，因为它们在时间上彼此间隔。
根据这些实施方式，在提取步骤36中可能丢弃其出现在时间上在区域邻近图形集合中离得太远的图案。时间上，时间上接近的图案更可能代表同一感兴趣对象的部分。
此外，可能的是以出现图形代表频繁时空图案，如图3B中所示。在出现图形17中，每个节点(A-E)对应于频繁图案的出现。边由连接频繁图案的箭头表示，如果它们复合上述的时间和空间约束，即如果它们在空间和时间上足够接近。因此，在出现图形17中，频发时空图案由连接的节点示出。频繁时空图案(图3B中的A、D和C)的每个代表感兴趣对象的部分。
再次参考图1，在第五个步骤38中，确定在连续帧1之间的提取的频繁时空图案13的轨迹之间的不相似度。在一些实施方式中，确定轨迹的不相似度的步骤38包括以下步骤。
第一，确定区域邻近图形中的每个时空图案13、13′的图心。图4A示出了两个帧1、1′，对应于两个区域邻近图形(未示出)，每个包括两个频繁时空图案13、13′。图案的图心由黑点15、15′指示。帧(或图形)中的时空图案的图心对应于该帧(或图形)中的该图案的所有出现的质心。在图4A中示出的示例中，为了容易辨认仅示出了图案13、13′的每个的一个出现。
第二，确定对应于每个区域邻近图形中两个不同时空图案13、13′的两个不同图心15、15′之间的欧几里得距离xt(图4A中t＝1,2)。
第三，计算在一些区域邻近图形上的两个不同图形15、15′之间的欧几里得距离xi的平均值。
由此，在上述的实施方式中，使用以下公式计算轨迹的不相似度dis：
其中xt对应于帧t中的两个时空图案的图心之间的欧几里得距离，且n是被考虑的的帧数量。
在一些实施方式中，为了执行步骤38的确定轨迹的不相似度，针对在两个不同区域邻近图形中间隔时空图案的每一个的两次连续出现的一个或一些区域邻近图形插入图心。实际上，一些频繁时空图案在连续帧(或区域邻近图形)的每一个中可以不出现，即它们可以符合上述空间和时间约束，即使在它们的出现之间有一些帧。在该情况中，针对频繁时空图案不出现的帧插入图心以能够计算帧(即区域邻近图形)的每一个中的图心之间的欧几里得距离。然后可以计算所有区域邻近图形的两个不同图心之间的欧几里得距离。
再次参考图1，在第六个步骤39中，频繁时空图案13根据确定的轨迹的不相似度被聚集以产生对应于所述一个或多个感兴趣对象中的一个感兴趣对象的至少一个群集。
在一些实施方式中，聚集步骤39可以有利地包括聚集计算出的两个不同图心之间的欧几里得距离的平均值低于不相似性阈值的时空图案。可以使用等式(1)来计算两个不同图心之间的欧几里得距离的平均值。
在一些实施方式中，聚集步骤39包括以下步骤。
第一，频繁时空图案被聚集以产生对应于多个感兴趣对象的分级的群集集合。图4B示出了提取的频繁时空图案F、G、H、K、L、M、N的这样的群集25、26、27的集合200的示例。坐标21表示该频繁时空图案F、G、H、K、L、M、N的轨迹之间的不相似度。对于给定的不相似度，两个频繁时空图案一起被分组在一个群集中。得到的群集可以然后随着不相似度增加与另一群集或另一频繁时空图案分组在一起。按照这样进行直到所有的频繁时空图案被包含在单个群集中。在图4B的示例中，针对第一不相似度群集图案G和H，然后针对比第一个不相似度大的第二不相似度将群集G、H与图案F进行聚集，以得到群集25。
第二，在分级的群集集合200中仅选择不相似度低于预定阈值的群集。仍然参考图4B，群集25、26、27被选择。群集25包含三个频繁时空图案F、G、H，群集26、27的每个包含两个频繁时空图案，K、L和M、N。在该示例中，虚线23表示预定阈值，在该线23以下的所有群集被选择。
根据这些实施方式，由于有了步骤38的确定频繁时空图案的轨迹的不相似度和聚集步骤39，重组在提取步骤中找到的具有相似轨迹的对象部分是可行的。因此，可以以完全自动的方式找到整个感兴趣对象。
有利地，可以使用称为群集的寿命的量来设定图案轨迹的不相似度的阈值。群集的寿命是形成群集的不相似度与该群集与另一群集或频繁时空图案组合的不相似度之间的差。在图4B中，示意性示出了群集27的寿命29。然后可能的是考虑寿命最长的群集并选择在低于被考虑的群集与另一群集或图案组合的不相似度的不相似度形成的群集。在图4B的示例中，群集26可以被认为是具有最长寿命。
再次参考图1，根据这里公开的实施方式的上述方法的任意还可以包括步骤40：使用在视频序列中检测和跟踪的一个或多个感兴趣对象来概括视频序列以得到视频概要42。优选地，该概括步骤40可以包括基于其轨迹的空间重叠确定交互的感兴趣对象。概要42可以例如包括视频序列集，显示在视频或电影中涉及的主要对象及其交互。概要42还可以包括文本、可扩展标记语言(XML)文件等。
视频概括是根据本公开的实施方式的方法的一种可能的实施示例。另一示例是视频编辑，其中可以使用编辑器来检测和跟踪视频后期制作过程中的主要对象及其关系。
本公开的一些实施方式还提供用于在视频序列中自动检测和跟踪一个或多个感兴趣对象的设备，该视频序列包括使用移动相机获取的若干个连续帧。图5是这种设备的示意性示出。
设备100包括用于执行根据上述实施方式的方法的装置。特别地，设备100包括帧提取器103，被配置成依据颜色将视频序列的每个帧分割成区域并针对每个帧产生分割的图像。设备100还包括图形引擎105，被配置成从每个分割的图像推演出包括节点和边的区域邻近图形。如之前所示，每个节点定义区域且每个边连接分割的图像的邻近区域的两个节点，以及从所述若干个连续帧的分割的图像推演出的区域邻近图形形成区域邻近图形集合。设备的数据挖掘引擎107被配置成从该区域邻近图形集合提取频繁时空图案。
仍然参考图5，设备100还包括聚集引擎109。该聚集引擎109被配置成确定连续帧之间的提取的频繁时空图案的轨迹之间的不相似度。聚集引擎109还被配置成根据确定的轨迹的不相似度聚集频繁时空图案以产生对应于所述一个或多个感兴趣对象中的一个感兴趣对象的至少一个群集。
根据本公开的实施方式，用于自动检测和跟踪感兴趣对象的设备100还可以包括概括引擎111，被配置成使用在视频序列中检测和跟踪的一个或多个感兴趣对象概括该视频序列以得到视频概要。
有利地，根据这里公开的实施方式的设备100还可以包括界面装置113、115、117，被配置成将设备与用户或应用对接。例如，界面装置可以包括视频平台应用编程接口(API)113，使得视频平台(例如YouTube)能够使用设备100的对象检测和跟踪和/或概括功能，即识别可以在没有来自用户的交互的情况下被处理。可替换地，界面装置可以包括GUI，例如被配置成允许用户上传其对其视频概要感兴趣的视频。视频可以例如从用户的本地计算机硬盘119或从在线视频平台118被上传。界面装置还可以包括开放API 117，其可以基于网页服务。开放API 117实现从任意应用(例如RESFTful(表述性状态转移)网页服务允许其他应用使用GET和POST请求方法发送超文本传输协议请求到网页服务)对接设备100。
本领域技术人员可以容易知道上述方法的实施方式的步骤能够由编程计算机来执行。这里，一些实施方式用于包括程序存储设备，例如数字数据存储介质，其是机器可执行的并编码机器可执行或计算机可执行的指令程序，其中所述指令执行这里所述的方法的一些或所有步骤。程序存储设备可以例如是数字存储器、磁存储介质，例如磁盘或磁带、硬盘，或光学可读数字存储介质。实施方式还用于包括被编程以执行这里所述的方法的所述步骤的计算机。本领域技术人员可以理解附图的流程图和示意图表示过程的实施方式可以基本上在计算机可读介质中被表述并因此由计算机或处理器执行，即使没有明确示出这样的计算机或处理器。
虽然本发明的一些实施方式已经在附图中示出和之前的具体实施方式中描述，应当理解本发明不限于公开的实施方式，而是能够在不背离权利要求书提出并定义的本发明的情况下有许多重新排列、修改和替代。

Claims (20)

1.一种用于在视频序列中自动检测和跟踪一个或多个感兴趣对象的方法，该视频序列包括使用移动相机捕获的若干个连续帧(1)，该方法包括以下步骤：
-针对所述视频序列的每个帧(1)：
-依据颜色将所述帧(1)分割(32)成区域(3，5，7，9)并产生分割的图像(1′)；
-从该分割的图像(1′)中推演出(34)包括节点(12)和边(12′)的区域邻近图形(11)，其中每个节点(12)定义区域(3，5，7，9)，并且每个边(12′)连接所述分割的图像(1′)的邻近区域(3，5，7，9)的两个节点(12)；
其中从所述若干个连续帧(1)的被分割的图像(1′)推演出的区域邻近图形(11)形成区域邻近图形集合；
-从所述区域邻近图形集合提取(36)频繁时空图案(13)；
-确定(38)连续帧(1)之间的被提取的频繁时空图案(13)的轨迹之间的不相似度；以及
-根据所确定的轨迹的不相似度聚集(39)所述频繁时空图案(13)以产生对应于所述一个或多个感兴趣对象中的一个感兴趣对象的至少一个群集(25，26，27)。
2.根据权利要求1所述的方法，其中所述提取步骤(36)包括提取在所述区域邻近图形集合中预定数量的区域邻近图形(11)中出现至少一次的时空图案(13)。
3.根据权利要求1或2所述的方法，其中所述提取步骤(36)包括：
-针对每个时空图案(13)确定在两个不同区域邻近图形(11)中间隔时空图案的两次连续出现的欧几里得距离；以及
-提取所确定的欧几里得距离低于空间阈值的时空图案(13)。
4.根据权利要求1或2所述的方法，其中所述提取步骤(36)包括：
-针对每个时空图案(13)确定两个不同区域邻近图形(11)中间隔时空图案(13)的两次连续出现的区域邻近图形(11)的数量；以及
-提取所确定的区域邻近图形(11)的数量低于时间阈值的时空图案(13)。
5.根据权利要求3所述的方法，其中所述提取步骤(36)包括：
-针对每个时空图案(13)确定两个不同区域邻近图形(11)中间隔时空图案(13)的两次连续出现的区域邻近图形(11)的数量；以及
-提取所确定的区域邻近图形(11)的数量低于时间阈值的时空图案(13)。
6.根据权利要求1、2、5中任意一项所述的方法，其中确定(38)所述轨迹的不相似度的步骤包括：
-确定所述区域邻近图形(11)中每个时空图案(13，13′)的图心(15，15′)；
-确定对应于每个区域邻近图形(11)中两个不同时空图案(13，13′)的两个不同图心(15，15′)之间的欧几里得距离(xi)；以及
-计算若干个区域邻近图形(11)上的两个不同图心(15，15′)之间的欧几里得距离(xi)的平均值。
7.根据权利要求3所述的方法，其中确定(38)所述轨迹的不相似度的步骤包括：
-确定所述区域邻近图形(11)中每个时空图案(13，13′)的图心(15，15′)；
-确定对应于每个区域邻近图形(11)中两个不同时空图案(13，13′)的两个不同图心(15，15′)之间的欧几里得距离(xi)；以及
-计算若干个区域邻近图形(11)上的两个不同图心(15，15′)之间的欧几里得距离(xi)的平均值。
8.根据权利要求4所述的方法，其中确定(38)所述轨迹的不相似度的步骤包括：
-确定所述区域邻近图形(11)中每个时空图案(13，13′)的图心(15，15′)；
-确定对应于每个区域邻近图形(11)中两个不同时空图案(13，13′)的两个不同图心(15，15′)之间的欧几里得距离(xi)；以及
-计算若干个区域邻近图形(11)上的两个不同图心(15，15′)之间的欧几里得距离(xi)的平均值。
9.根据权利要求6所述的方法，其中确定(38)所述轨迹的不相似度的步骤还包括：
-针对在两个不同区域邻近图形(11)中间隔所述时空图案(13，13′)中的每一个时空图案的两次连续出现的一个或多个区域邻近图形(11)插入图心(15，15′)；以及
-计算所有区域邻近图形(11)上的两个不同图心(15，15′)之间的欧几里得距离(xi)的平均值。
10.根据权利要求6所述的方法，其中所述聚集步骤(39)包括：
-聚集所计算的两个不同图心(15，15′)之间的欧几里得距离(xi)的平均值低于不相似性阈值的时空图案(13，13′)。
11.根据权利要求9所述的方法，其中所述聚集步骤(39)包括：
-聚集所计算的两个不同图心(15，15′)之间的欧几里得距离(xi)的平均值低于不相似性阈值的时空图案(13，13′)。
12.根据权利要求10所述的方法，其中所述聚集步骤(39)还包括：
-聚集所述频繁时空图案(13，13′)以产生对应于多个感兴趣对象的分级的群集集合(200)；以及
-在所述分级的群集集合(200)中仅选择不相似度低于预定阈值的群集(25，26，27)。
13.根据权利要求1、2、5、7-12中任意一项所述的方法，该方法还包括以下步骤：
-使用在所述视频序列中检测和跟踪的一个或多个感兴趣对象来概括(40)所述视频序列以得到视频概要(42)。
14.根据权利要求3所述的方法，该方法还包括以下步骤：
-使用在所述视频序列中检测和跟踪的一个或多个感兴趣对象来概括(40)所述视频序列以得到视频概要(42)。
15.根据权利要求4所述的方法，该方法还包括以下步骤：
-使用在所述视频序列中检测和跟踪的一个或多个感兴趣对象来概括(40)所述视频序列以得到视频概要(42)。
16.根据权利要求6所述的方法，该方法还包括以下步骤：
-使用在所述视频序列中检测和跟踪的一个或多个感兴趣对象来概括(40)所述视频序列以得到视频概要(42)。
17.根据权利要求13所述的方法，其中所述概括步骤(40)包括：
-基于感兴趣交互对象的轨迹空间重叠来确定所述感兴趣交互对象。
18.一种用于在视频序列中自动检测和跟踪一个或多个感兴趣对象的设备(100)，该视频序列包括使用移动相机捕获的若干个连续帧(1)，该设备(100)包括：
-帧提取器(103)，被配置成依据颜色将所述帧(1)分割(32)成区域(3，5，7，9)并产生每个帧(1)的分割的图像(1′)；
-图形引擎(105)，被配置成从该分割的图像(1′)中推演出包括节点(12)和边(12′)的区域邻近图形(11)，其中每个节点(12)定义区域(3，5，7，9)，并且每个边(12′)连接所述分割的图像(1′)的邻近区域(3，5，7，9)的两个节点(12)；
其中从所述若干个连续帧(1)的被分割的图像(1′)推演出的区域邻近图形(11)形成区域邻近图形集合；
-数据挖掘引擎(107)，被配置成从所述区域邻近图形集合提取(36)频繁时空图案(13)；以及
-聚集引擎(109)，被配置成：
-确定连续帧(1)之间的被提取的频繁时空图案(13)的轨迹之间的不相似度；以及
-根据所确定的轨迹的不相似度聚集(39)所述频繁时空图案(13)以产生对应于所述一个或多个感兴趣对象中的一个感兴趣对象的至少一个群集(25，26，27)。
19.根据权利要求18所述的设备(100)，该设备还包括概括引擎(111)，被配置成使用在所述视频序列中检测和跟踪的一个或多个感兴趣对象来概括(40)所述视频序列以得到视频概要(42)。
20.一种计算机可读介质，该计算机可读介质包括指令，该指令用于控制计算机系统执行根据权利要求1至17中任意一项所述的在包括使用移动相机捕获的若干个连续帧(1)的视频序列中自动检测和跟踪一个或多个感兴趣对象的方法。
CN201480033685.8A 2013-04-12 2014-03-14 用于检测和跟踪视频中的一个或多个感兴趣对象的方法和设备 Expired - Fee Related CN105324793B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13305480.9 2013-04-12
EP13305480.9A EP2790152B1 (en) 2013-04-12 2013-04-12 Method and device for automatic detection and tracking of one or multiple objects of interest in a video
PCT/EP2014/055081 WO2014166695A1 (en) 2013-04-12 2014-03-14 Method and device for automatic detection and tracking of one or multiple objects of interest in a video

Publications (2)

Publication Number Publication Date
CN105324793A CN105324793A (zh) 2016-02-10
CN105324793B true CN105324793B (zh) 2018-01-02

Family

ID=48288972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480033685.8A Expired - Fee Related CN105324793B (zh) 2013-04-12 2014-03-14 用于检测和跟踪视频中的一个或多个感兴趣对象的方法和设备

Country Status (4)

Country Link
US (1) US10068137B2 (zh)
EP (1) EP2790152B1 (zh)
CN (1) CN105324793B (zh)
WO (1) WO2014166695A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2869236A1 (en) * 2013-10-31 2015-05-06 Alcatel Lucent Process for generating a video tag cloud representing objects appearing in a video content
GB201512283D0 (en) * 2015-07-14 2015-08-19 Apical Ltd Track behaviour events
DE102015116572A1 (de) 2015-09-30 2017-03-30 Claas Selbstfahrende Erntemaschinen Gmbh Verfahren zum Erkennen von Störungen einer Erntegutbergungsanordnung
US10277858B2 (en) * 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
US10810744B2 (en) * 2016-05-27 2020-10-20 Rakuten, Inc. Image processing device, image processing method and image processing program
CN110888979A (zh) * 2018-09-10 2020-03-17 中国移动通信集团有限公司 一种兴趣区域提取方法、装置及计算机存储介质
CN109584274B (zh) * 2018-11-22 2022-08-30 广州市地狗灵机环境监测有限公司 一种水下动物的数量及其轨迹的检测方法及设备
CN109697460B (zh) 2018-12-05 2021-06-29 华中科技大学 对象检测模型训练方法、目标对象检测方法
US11532145B2 (en) * 2019-01-07 2022-12-20 Microsoft Technology Licensing, Llc Multi-region image scanning
CN113544698A (zh) * 2019-02-28 2021-10-22 斯塔特斯公司 广播视频中运动员再识别的系统及方法
CN110443319B (zh) * 2019-08-09 2021-10-29 武汉中海庭数据技术有限公司 一种轨迹去重方法、装置及存储介质
CN110909037B (zh) * 2019-10-09 2024-02-13 中国人民解放军战略支援部队信息工程大学 一种频繁轨迹模式的挖掘方法及装置
JP7451172B2 (ja) * 2019-12-24 2024-03-18 キヤノン株式会社 情報処理装置、映像の要約方法、およびプログラム
CN115867938A (zh) * 2020-07-30 2023-03-28 英特尔公司 用于沉浸式视频的经由连续帧中的成对匹配的多相机人物关联

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231755A (zh) * 2007-01-25 2008-07-30 上海遥薇实业有限公司 运动目标跟踪及数量统计方法
EP2357608A1 (en) * 2009-12-28 2011-08-17 Softkinetic Tracking method

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5438357A (en) 1993-11-23 1995-08-01 Mcnelley; Steve H. Image manipulating teleconferencing system
US5867584A (en) 1996-02-22 1999-02-02 Nec Corporation Video object tracking method for interactive multimedia applications
US6901110B1 (en) * 2000-03-10 2005-05-31 Obvious Technology Systems and methods for tracking objects in video sequences
US7375731B2 (en) * 2002-11-01 2008-05-20 Mitsubishi Electric Research Laboratories, Inc. Video mining using unsupervised clustering of video content
GB0406512D0 (en) * 2004-03-23 2004-04-28 British Telecomm Method and system for semantically segmenting scenes of a video sequence
US7426301B2 (en) * 2004-06-28 2008-09-16 Mitsubishi Electric Research Laboratories, Inc. Usual event detection in a video using object and frame features
US7736313B2 (en) * 2004-11-22 2010-06-15 Carestream Health, Inc. Detecting and classifying lesions in ultrasound images
JP4852766B2 (ja) * 2005-11-11 2012-01-11 国立大学法人北陸先端科学技術大学院大学 クラスタリングシステム、及び、それを備える画像処理システム
US20080123900A1 (en) * 2006-06-14 2008-05-29 Honeywell International Inc. Seamless tracking framework using hierarchical tracklet association
US8050454B2 (en) * 2006-12-29 2011-11-01 Intel Corporation Processing digital video using trajectory extraction and spatiotemporal decomposition
AU2007231756B2 (en) * 2007-10-30 2011-04-07 Canon Kabushiki Kaisha A method of segmenting videos into a hierachy of segments
CN101960490B (zh) * 2008-03-14 2013-07-17 松下电器产业株式会社 图像处理方法和图像处理设备
WO2009124151A2 (en) 2008-04-01 2009-10-08 University Of Southern California Video feed target tracking
US8824801B2 (en) * 2008-05-16 2014-09-02 Microsoft Corporation Video processing
EP2548174B1 (en) * 2010-03-15 2015-05-27 Panasonic Corporation Method and apparatus for trajectory estimation, and method for segmentation
US8213680B2 (en) 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
US9256955B2 (en) * 2012-11-06 2016-02-09 Alcatel Lucent System and method for processing visual information for event detection
US9286693B2 (en) * 2013-02-25 2016-03-15 Hanwha Techwin Co., Ltd. Method and apparatus for detecting abnormal movement
US9269012B2 (en) * 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US9600897B2 (en) * 2013-10-31 2017-03-21 Nec Corporation Trajectory features and distance metrics for hierarchical video segmentation
US9818203B2 (en) * 2014-04-08 2017-11-14 Alcatel-Lucent Usa Inc. Methods and apparatuses for monitoring objects of interest in area with activity maps
US10192117B2 (en) * 2015-06-25 2019-01-29 Kodak Alaris Inc. Graph-based framework for video object segmentation and extraction in feature space
US9881380B2 (en) * 2016-02-16 2018-01-30 Disney Enterprises, Inc. Methods and systems of performing video object segmentation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231755A (zh) * 2007-01-25 2008-07-30 上海遥薇实业有限公司 运动目标跟踪及数量统计方法
EP2357608A1 (en) * 2009-12-28 2011-08-17 Softkinetic Tracking method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Video surveillance tracking using colour region adjacency graphs;A. Bakowski等;《Image processing and its Applications,1999 7th international conference on manchester》;19990713;全文 *

Also Published As

Publication number Publication date
EP2790152A1 (en) 2014-10-15
WO2014166695A1 (en) 2014-10-16
CN105324793A (zh) 2016-02-10
US10068137B2 (en) 2018-09-04
US20160086039A1 (en) 2016-03-24
EP2790152B1 (en) 2015-12-02

Similar Documents

Publication Publication Date Title
CN105324793B (zh) 用于检测和跟踪视频中的一个或多个感兴趣对象的方法和设备
Liu et al. Multi-camera multi-object tracking
CN110637323B (zh) 基于部分的跟踪的方法、设备和系统
US9934453B2 (en) Multi-source multi-modal activity recognition in aerial video surveillance
Wang et al. Videosnapping: Interactive synchronization of multiple videos
Yu et al. Trajectory-based ball detection and tracking in broadcast soccer video
Venkatesh et al. Efficient object-based video inpainting
US8929599B2 (en) Articulation region display apparatus, articulation region detecting apparatus, articulation region belongingness calculating apparatus, articulated object region belongingness calculating apparatus, and articulation region display method
US20230267623A1 (en) Determining multiple camera positions from multiple videos
Sun et al. Moving foreground object detection via robust SIFT trajectories
Baskurt et al. Video synopsis: A survey
JP6236154B2 (ja) 動画コンテンツに現れる物体を表す動画タグクラウドを生成する方法
Ferryman et al. Performance evaluation of crowd image analysis using the PETS2009 dataset
Chakraborty et al. A real-time trajectory-based ball detection-and-tracking framework for basketball video
Li et al. Structuring lecture videos by automatic projection screen localization and analysis
Höferlin et al. Uncertainty-aware video visual analytics of tracked moving objects
WO1999005865A1 (en) Content-based video access
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
Chaudhary et al. Learning to segment generic handheld objects using class-agnostic deep comparison and segmentation network
Bazin et al. Actionsnapping: Motion-based video synchronization
Rimboux et al. Smart IoT cameras for crowd analysis based on augmentation for automatic pedestrian detection, simulation and annotation
Chattopadhyay et al. STAR: a content based video retrieval system for moving camera video shots
Buccoli et al. Using multi-dimensional correlation for matching and alignment of mocap and video signals
Dijk et al. Image processing in aerial surveillance and reconnaissance: from pixels to understanding
Höferlin et al. Video visual analytics of tracked moving objects

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180102

Termination date: 20200314

CF01 Termination of patent right due to non-payment of annual fee