CN101449293A - 视频对象的多跟踪 - Google Patents

视频对象的多跟踪 Download PDF

Info

Publication number
CN101449293A
CN101449293A CNA2006800547869A CN200680054786A CN101449293A CN 101449293 A CN101449293 A CN 101449293A CN A2006800547869 A CNA2006800547869 A CN A2006800547869A CN 200680054786 A CN200680054786 A CN 200680054786A CN 101449293 A CN101449293 A CN 101449293A
Authority
CN
China
Prior art keywords
alternative
image tracing
type
handled
object type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006800547869A
Other languages
English (en)
Inventor
伊则特·H·伊则特
麦克·A·德瑞伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101449293A publication Critical patent/CN101449293A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种视频对象跟踪的创造性方法，该方法包括以下步骤：选择对象；选择该对象的对象类型，以及使能响应于所选对象类型的多个对象跟踪处理之一。在优选实施例中，选择对象包括：通过使用区域分割对象、选择在对象边界上的点、聚集区域、或组合所选区域和在对象边界上的所选点中的一项。可以扩展对象跟踪处理以包括适于新创建对象类型的跟踪处理。

Description

视频对象的多跟踪
技术领域
本发明总体上涉及视频对象的分割和跟踪，更具体地，涉及多跟踪视频对象。
背景技术
视频对象的分割和跟踪在计算机视觉、诸如基于对象的编码的视频处理应用、以及视频后期制作方面具有许多应用。当前的视频对象的分割和跟踪涉及在第一视频帧中进行对象分割，随后在后续帧中进行对象跟踪。跟踪取决于用于分割第一帧的分割方法。
当前的分割技术是基于区域、基于边界，或区域和边界的组合的技术。基于区域的分割是基于像素的接近性和一致性将像素组合到一个区域中。在满足特定的标准之前，基于区域的分割通过分离和合并产生分组。基于区域的算法容易过度分割对象，并且处理复杂的纹理对象很困难。基于边界的分割采用例如在对象边界上绘制曲线的方法跟踪对象的边界。基于边界的方法不考虑对象的内容。这些方法需要良好的初始轮廓处理，并且对于完全包含在区域边界内的独立区域还存在问题。区域和边界分割的组合的技术限制对象边界附近的区域增长。通常，区域和边界组合技术会产生良好的效果但是比较费时。当前的跟踪算法高度取决于在第一帧中使用的分割方法。基于区域分割的跟踪包括在后续帧中估计区域的运动。如果使用基于边界或曲线的分割，则跟踪包括在后续帧中找到曲线位置。
当前的视频对象的分割和跟踪没有利用对对象类型的认识。这些分割和跟踪技术的功能性是有限的，并且仅对特定类型的对象起作用。由于许多当前方法需要用户识别感兴趣的对象并手动地校正错误，因此这些方法是半自动。
发明内容
一种视频对象跟踪的创造性方法包括以下步骤：选择对象；使该对象与对象类型关联，并且使能响应于相关联的对象类型的多个对象跟踪处理之一。在优选实施例中，选择对象包括：通过使用区域分割对象、选择在对象的边界上的点、聚集区域、或组合所选区域和在对象边界上所选点中的一项。可以扩展对象跟踪处理以包括适于新创建的对象类型的跟踪处理。
在本发明的备选实施例中，视频对象跟踪方法包括以下步骤：从视频场景中选择对象、定义对象的对象类型、以及选择响应于所定义的对象类型的多个对象跟踪之一。
附图说明
根据结合附图详细描述的示例性实施例，本发明的优点、特性、以及各种附加特征将更加显而易见，其中：
图1示出了根据本发明的被分成多个区域的视频对象；
图2是根据本发明的多个对象分割和跟踪算法的处理图；以及
图3是示出了根据本发明的每一个视频对象如何触发独立的跟踪算法的图。
应该理解的是，附图仅是说明本发明的概念，不是说明本发明的仅有的可能配置。
具体实施方式
视频后期制作和其它应用中的创造性的对象分割和跟踪通过实现大量算法提高了性能。不同的算法用于诸如人脸或车辆的每一种普通的对象类型。每一个算法利用对对象类型的认识，提高了系统的分割和跟踪性能。如果感兴趣的对象没有在列表中，则系统实现默认的通用算法。由于可以随着更多普通的对象被识别而添加新算法，该创造性方法本质上是自适应的。本发明在现有对象分割和跟踪的限制上具有极大的改进，本发明提出了跟踪具有一致特征的分割区域，并非针对完整的视频对象。
参照图1的图100，视频对象101被分割成多个区域：R1(103)、R2(104)和R3(102)。除了识别要跟踪的对象，在处理的开始处需要由用户输入对象类型。
图2示出了创造性处理的流程图200。在图中，在201，通过用户识别或选择要跟踪的对象。在202，用户通过使用区域分割对象、选择对象边界上的点、组合区域和边界、或聚集区域以形成视频对象。例如，点的选择可以用于在要跟踪的对象周围创建轮廓。在203，用户还从例如下拉列表中识别对象的类型。列表可以包括通常在后期制作中跟踪的对象，诸如人类。在204，如果对象类型不在列表上，则在205，所提出的方法使用通用方法跟踪分割对象。否则，在206，使用基于对象类型的跟踪算法。
除了提供要跟踪的对象类型，用户还可以提供附加提示以更好地协助跟踪处理。例如，操作者可以通过选择关于视频和对象类型模型的显著特征提供所选对象的方位。作为其它示例，用户可以提供反射表面的特征和可以改进对象反射跟踪的失真变换。
在许多情况下，通过跟踪场景中的第二对象可以协助对象跟踪。由于要跟踪的对象通常存在于接近的其它对象中，因此跟踪多个对象是有用的。由于对象可以与其它对象接触、遮闭、以及相互作用，并且可以进入或离开图像，跟踪多个对象更难以实现。用户可以选择要跟踪的第二对象。如果可能，用户还可以提供关于遮闭对象特征的信息。这使跟踪更加容易并且产生更好的跟踪效果。
一旦用户从对象跟踪列表306中选择了对象，并且提供适当附加信息，如图3中的图300所示出，将触发新跟踪算法。示出的示例性的球301、人类302、车辆303、衬衫304、以及树305算法是创造性对象分割和跟踪的各种、自适应特性的例证。本发明利用对象类型执行更加精确的对象跟踪。要跟踪的对象类型可以是诸如球的简单类型或诸如车辆的更加复杂的类型。对应复杂对象的子类，三维3D模型可以用于协助跟踪。3D模式可以用于描述对象的几何形状和诸如运动的对象的可能动态属性。
如果需要，系统允许将新对象类型添加至列表，使其更加适应于改变或添加要分割和跟踪的新视频对象类型。例如，由于新技术更加可用于跟踪诸如衬衫的可变形表面，所以可以添加新对象类型和算法。
本发明利用对象类型提高分割精确度。需要附加的用户输入，但是附加的用户输入不是主要的负担。由于对于每一个对象触发一个且仅一个对象跟踪算法，因此本发明的计算需求是简单的。创造性的处理允许动态链接对象跟踪算法以提高效率，并且如果需要允许容易地添加新类型。
尽管主要在视频流的情况下讨论本发明，但是深度信息的考虑可以显著地提高对象跟踪的效果。关于要跟踪的三维3D信息实现3D模型快速发展和更精确的图像处理。使用例如激光或立体图像在采集时间处可以获得深度信息。还可以利用来自2D图像的特定效果而获得深度信息。
本发明提出了基于模型的对象分割和跟踪的方法。本方法在识别对象的过程中需要来自用户的有限的交互。本发明需要用户从可能的对象列表中识别要跟踪的对象类型。从诸如人类、车辆、脸，等最普通的对象中创建该列表。如果需要，可以对更多的对象建模并将其添加至列表。选择特定对象类型将触发利用对对象类型的认识以提供分割和跟踪对象的精确度的算法。
已经描述了在视频流应用中对象分割和跟踪的多模式跟踪方法的优选实施例，值得注意的是，本领域的技术人类员根据上述技术可以进行修改和改进。因此，将理解的是，改进可以在由所附权利要求概括的本发明的范围和精神之内公开的本发明的实施例中进行。因此，已经详细描述了本发明并特别符合专利法的要求，在所附权利要求中提出了专利所要求和期望保护的内容。
权利要求书(按照条约第19条的修改)
国际局接收于2007年5月19日
1、一种用于视频的方法，包括以下步骤：
选择对象；
使所选对象与对象类型相关联；以及
使能响应于相关联的对象类型的多个对象跟踪处理之一。
2、根据权利要求1的方法，其中，选择对象的步骤包括以下之一：通过使用区域分割对象、选择对象边界上的点、聚集区域、以及组合所选区域和在对象边界上的所选点。
3、根据权利要求2的方法，其中，选择边界上的点的步骤包括，选择点以在要跟踪的对象周围创建轮廓。
4、根据权利要求1的方法，其中，选择对象类型的步骤是从与所选对象相关的已知对象类型的列表中选择。
5、根据权利要求4的方法，其中，多个对象跟踪处理之一包括，当不能选择对象类型时的通用对象跟踪处理。
6、根据权利要求1的方法，其中，扩展所述多个对象跟踪处理，以包括针对之前未定义对象类型的对象跟踪处理。
7、根据权利要求1的方法，其中，所述多个对象跟踪处理包括，针对球对象、人类对象、车辆对象、衬衫对象、以及树对象之一的处理。
8、根据权利要求1的方法，其中，选择对象的步骤包括，选择多个对象，并且针对每一个对象使能相应的对象跟踪处理。
9、根据权利要求1的方法，其中，对象类型由几何形状和动态属性描述。
10、一种用于视频的方法，包括以下步骤：
从视频场景选择对象；
为所述对象定义对象类型；以及
响应于所定义的对象类型，选择多个对象跟踪之一。
11、根据权利要求10的方法，其中，对象跟踪是能够被扩展以包括适于新定义的对象类型的附加对象跟踪处理的多个对象跟踪处理之一。
12、根据权利要求10的方法，其中，对象跟踪是多个对象跟踪处理之一，多个对象跟踪处理中的每一个针对不同的对象类型是可选的。
13、根据权利要求10的方法，其中，选择对象的步骤包括，通过选择视频场景中的区域分割对象。
14、根据权利要求10的方法，其中，选择对象的步骤包括，选择视频场景中对象边界上的点。
15、根据权利要求10的方法，其中，选择对象的步骤包括，聚集视频场景中的区域。
16、根据权利要求10的方法，其中，选择对象的步骤包括，组合视频场景中的所选区域和视频场景中对象边界上的所选点。
17、根据权利要求10的方法，其中，定义对象类型的步骤包括，从已知对象类型的列表中选择对象类型。
18、根据权利要求10的方法，其中，对象能够由几何形状和动态属性定义。
19、根据权利要求10的方法，其中，所选对象跟踪适于所定义的对象类型。

Claims (19)

1、一种视频对象跟踪方法，包括以下步骤：
选择对象；
使所选对象与对象类型相关联；以及
使能响应于相关联的对象类型的多个对象跟踪处理之一。
2、根据权利要求1的方法，其中，选择对象的步骤包括以下之一：通过使用区域分割对象、选择对象边界上的点、聚集区域、以及组合所选区域和在对象边界上的所选点。
3、根据权利要求2的方法，其中，选择边界上的点的步骤包括，选择点以在要跟踪的对象周围创建轮廓。
4、根据权利要求1的方法，其中，选择对象类型的步骤是从与所选对象相关的已知对象类型的列表中选择。
5、根据权利要求4的方法，其中，多个对象跟踪处理之一包括，当不能选择对象类型时的通用对象跟踪处理。
6、根据权利要求1的方法，其中，扩展所述多个对象跟踪处理，以包括针对之前未定义对象类型的对象跟踪处理。
7、根据权利要求1的方法，其中，所述多个对象跟踪处理包括，针对球对象、人类对象、车辆对象、衬衫对象、以及树对象之一的处理。
8、根据权利要求1的方法，其中，选择对象的步骤包括，选择多个对象，并且针对每一个对象使能相应的对象跟踪处理。
9、根据权利要求1的方法，其中，对象类型由几何形状和动态属性描述。
10、一种视频对象跟踪方法，包括以下步骤：
从视频场景选择对象；
为所述区域定义对象类型；以及
响应于所定义的对象类型，选择多个对象跟踪之一。
11、根据权利要求10的方法，其中，对象跟踪是能够被扩展以包括适于新定义的对象类型的附加对象跟踪处理的多个对象跟踪处理之一。
12、根据权利要求10的方法，其中，对象跟踪是多个对象跟踪处理之一，多个对象跟踪处理中的每一个针对不同的对象类型是可选的。
13、根据权利要求10的方法，其中，选择对象区域的步骤包括，通过选择视频场景中的区域分割对象。
14、根据权利要求10的方法，其中，选择对象区域的步骤包括，选择视频场景中对象边界上的点。
15、根据权利要求10的方法，其中，选择对象区域的步骤包括，聚集视频场景中的区域。
16、根据权利要求10的方法，其中，选择对象区域的步骤包括，组合视频场景中的所选区域和视频场景中对象边界上的所选点。
17、根据权利要求10的方法，其中，定义对象类型的步骤包括，从已知对象类型的列表中选择对象类型。
18、根据权利要求10的方法，其中，对象能够由几何形状和动态属性定义。
20、根据权利要求10的方法，其中，所选对象跟踪适于所定义的对象类型。
CNA2006800547869A 2006-05-31 2006-05-31 视频对象的多跟踪 Pending CN101449293A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2006/020728 WO2007139544A1 (en) 2006-05-31 2006-05-31 Multi-tracking of video objects

Publications (1)

Publication Number Publication Date
CN101449293A true CN101449293A (zh) 2009-06-03

Family

ID=37744195

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006800547869A Pending CN101449293A (zh) 2006-05-31 2006-05-31 视频对象的多跟踪

Country Status (7)

Country Link
US (1) US8929587B2 (zh)
EP (1) EP2024936A1 (zh)
JP (1) JP2009539175A (zh)
CN (1) CN101449293A (zh)
AU (1) AU2006345533B2 (zh)
CA (1) CA2652522A1 (zh)
WO (1) WO2007139544A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102939609A (zh) * 2009-12-16 2013-02-20 汤姆森特许公司 基于人类交互轨迹的系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7756296B2 (en) * 2007-03-27 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. Method for tracking objects in videos using forward and backward tracking
GB2455313B (en) 2007-12-04 2012-06-13 Sony Corp Apparatus and method for estimating orientation
GB2492246B (en) 2008-03-03 2013-04-10 Videoiq Inc Dynamic object classification
CN102073852B (zh) * 2011-01-14 2013-01-09 华南理工大学 基于最优阈值和随机标号法的多车辆分割方法
CN104360870B (zh) * 2014-12-03 2018-07-17 北京和利时系统工程有限公司 一种实现对象建模的方法和装置
US9888174B2 (en) 2015-10-15 2018-02-06 Microsoft Technology Licensing, Llc Omnidirectional camera with movement detection
US10277858B2 (en) * 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171016B1 (en) * 1993-11-18 2007-01-30 Digimarc Corporation Method for monitoring internet dissemination of image, video and/or audio files
US5602760A (en) 1994-02-02 1997-02-11 Hughes Electronics Image-based detection and tracking system and processing method employing clutter measurements and signal-to-clutter ratios
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
JP3790126B2 (ja) * 2001-05-30 2006-06-28 株式会社東芝 時空間領域情報処理方法及び時空間領域情報処理システム
JP4181313B2 (ja) 2001-07-13 2008-11-12 日本放送協会 シーン内容情報付加装置及びシーン内容情報付加プログラム
GB0125774D0 (en) * 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
JP2004046647A (ja) * 2002-07-12 2004-02-12 Univ Waseda 動画像データに基づく移動物体追跡方法及び装置
US7200266B2 (en) * 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
JP4742870B2 (ja) 2003-09-30 2011-08-10 ソニー株式会社 信号処理システム、記録再生装置、記録方法、記録方法のプログラム並びに記録媒体
CN1906882B (zh) * 2003-11-14 2012-12-12 极速决件有限公司 内容到可写介质的安全传输
JP4479267B2 (ja) * 2004-02-18 2010-06-09 株式会社日立製作所 監視カメラ映像配信システム
DE102004018016A1 (de) * 2004-04-14 2005-11-10 Sick Ag Verfahren zur Überwachung eines Überwachungsbereichs
WO2006000123A1 (fr) 2004-06-23 2006-01-05 The Hong Kong Polytechnic University Systeme et procede pour la reconstruction 3d de surface de corps lamellaire et flexible
JP2006031245A (ja) 2004-07-14 2006-02-02 Japan Science & Technology Agency ディジタル画像の輪郭追跡による画像処理方法並びに画像処理装置
CN101213833A (zh) * 2005-06-08 2008-07-02 汤姆逊许可公司 插入替代图像/视频的方法、装置及系统
JP5028858B2 (ja) * 2006-05-09 2012-09-19 セイコーエプソン株式会社 画像管理装置
US8924269B2 (en) * 2006-05-13 2014-12-30 Sap Ag Consistent set of interfaces derived from a business object model
US20100034425A1 (en) * 2006-10-20 2010-02-11 Thomson Licensing Method, apparatus and system for generating regions of interest in video content
US7957565B1 (en) * 2007-04-05 2011-06-07 Videomining Corporation Method and system for recognizing employees in a physical space based on automatic behavior analysis
JP4766495B2 (ja) * 2007-09-28 2011-09-07 株式会社ソニー・コンピュータエンタテインメント 対象物追跡装置および対象物追跡方法
JP5523167B2 (ja) * 2010-03-30 2014-06-18 日本碍子株式会社 セラミックス及び圧電／電歪素子

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102939609A (zh) * 2009-12-16 2013-02-20 汤姆森特许公司 基于人类交互轨迹的系统
CN102939609B (zh) * 2009-12-16 2016-08-03 汤姆森特许公司 基于人类交互轨迹的系统

Also Published As

Publication number Publication date
AU2006345533B2 (en) 2013-01-24
JP2009539175A (ja) 2009-11-12
US20090103775A1 (en) 2009-04-23
US8929587B2 (en) 2015-01-06
AU2006345533A1 (en) 2007-12-06
EP2024936A1 (en) 2009-02-18
CA2652522A1 (en) 2007-12-06
WO2007139544A1 (en) 2007-12-06

Similar Documents

Publication Publication Date Title
CN101449293A (zh) 视频对象的多跟踪
Budd et al. Global non-rigid alignment of surface sequences
CN105069808A (zh) 基于图像分割的视频图像深度估计方法
CN102263979B (zh) 一种平面视频立体化的深度图生成方法及装置
CN108388882A (zh) 基于全局-局部rgb-d多模态的手势识别方法
CN104134217A (zh) 一种基于超体素图割的视频显著物体分割方法
CN100369064C (zh) 一种基于视频内容的人体姿态变形方法
CN101930614B (zh) 基于视频分层的绘画渲染方法
CN105321177B (zh) 一种基于图像重要度的层次图集自动拼贴方法
CN104732203A (zh) 一种基于视频信息的情绪识别与跟踪方法
CN101287142A (zh) 基于双向跟踪和特征点修正的平面视频转立体视频的方法
WO2007005839A2 (en) Video object cut and paste
CN102324019A (zh) 一种视频序列中自动提取手势候选区域的方法及系统
CN109409274B (zh) 一种基于人脸三维重建和人脸对齐的人脸图像变换方法
CN103413323B (zh) 基于部件级表观模型的物体跟踪方法
CN114037833A (zh) 一种苗族服饰图像语义分割方法
CN103413137B (zh) 基于多规则的交互手势运动轨迹分割方法
CN103002309A (zh) 对于多目同步摄像机拍摄的动态场景视频的时空一致性深度恢复的方法
JP6611255B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN111882581B (zh) 一种深度特征关联的多目标跟踪方法
CN107909602A (zh) 一种基于深度学习的运动边界估计方法
Wang et al. Image-based building regularization using structural linear features
CN106484108A (zh) 基于双视点手势识别的汉字识别方法
CN108122249A (zh) 一种基于gan网络深度学习模型的光流估计方法
CN103714555A (zh) 一种基于运动轨迹的四维运动点云分割与重建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20090603