CN101040528A - 基于图像的运动跟踪 - Google Patents

基于图像的运动跟踪 Download PDF

Info

Publication number
CN101040528A
CN101040528A CNA2005800335697A CN200580033569A CN101040528A CN 101040528 A CN101040528 A CN 101040528A CN A2005800335697 A CNA2005800335697 A CN A2005800335697A CN 200580033569 A CN200580033569 A CN 200580033569A CN 101040528 A CN101040528 A CN 101040528A
Authority
CN
China
Prior art keywords
image
data
picture
zone
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800335697A
Other languages
English (en)
Other versions
CN101040528B (zh
Inventor
福尔克·伊萨克松
约翰·博格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saab AB
Original Assignee
Saab AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saab AB filed Critical Saab AB
Publication of CN101040528A publication Critical patent/CN101040528A/zh
Application granted granted Critical
Publication of CN101040528B publication Critical patent/CN101040528B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及特定区域中数个对象的基于图像的运动跟踪。数个图像寄存装置重复地记录与发生在该区域内的事件的多个同时表示有关的数据。具体地，至少一个摄像机的立体对(101a，101b)重复地记录立体图像数据(D1’和D1”)，基于该数据，数据处理单元(110)重复地确定每个对象的相应位置。根据本发明，立体对中第一摄像机(101a)和第二摄像机(101b)以基本距离分开。此外，摄像机(101a，101b)基本上平行且朝向该区域，使得第一摄像机(101a)的第一图像平面寄存所述区域的一部分，其与由第二摄像机(101b)的第二图像平面寄存的该区域的一部分基本上重叠。

Description

基于图像的运动跟踪
技术领域
本发明总体涉及复杂场景中基于图像的运动跟踪。具体来说，本发明涉及根据权利要求1的前序的设备和根据权利要求13的前序的相应方法。本发明还涉及根据权利要求24的计算机程序和根据权利要求26的计算机可读介质。
背景技术
现代图像处理技术允许从复杂场景中精密实时地提取数据。例如，不同类型的交通工具可以被自动地辨别并且可以基于由视频摄像机记录的图像进行跟踪。国际专利申请WO96/13023描述了一种在诸如道路收费设施的控制站的交通工具识别的设备。这里，在特定照明器件的照亮下，至少一个视频摄像机记录交通工具的轮廓。
个体也可以通过与合适的图像处理设备关联的摄像机来自动跟踪。文献US，6,359,647公开了一种自动的摄像机传递系统，它能够跟踪处于多摄像机监视系统中的不同摄像机的视野间的目标对象。因此，当目标对象离开第一摄像机的视野并且估计进入第二摄像机的视野时，第二摄像机负责生成图像。
在其他应用中，其可以更换为涉及由不止一个摄像机来记录同一个场景的图像。运动事件构成一个这样的示例，因为这里，取决于比赛的事件，不同的视角才是有趣的。因此，尽管第一摄像机记录特定的事件，但还可能希望从第一到第二摄像机进行切换。国际专利申请WO03/056809描述了一种用于实时监视比赛者运动的系统，诸如在足球场上跑动的足球比赛者。该系统自动确定许多摄像机中哪个摄像机位于拍摄运动场上的某一事件的最佳位置。因此，该系统帮助负责电视记录/发射足球比赛或类似比赛的制作者。
然而，在许多运动中，产生与个体运动参与者从事的活动有关的各种类型的统计和系统数量数据(systematic quantitative data)编辑还是有趣的。例如，在如足球、橄榄球、篮球、排球、曲棍球以及网球比赛中，可能希望确定覆盖场地的量、总的跑动距离、跑动的最高速度、跑动的平均速度、控球时间、特定比赛者相对于比赛场和/或相对于其他比赛者的空间分布。文献US，5,363,297公开了一种用于生成这样的数据记录的基于摄像机的自动跟踪系统。这里，最好使用两个摄像机，它们彼此大致正交地安置(例如第一摄像机拍摄运动场的俯视图，而第二摄像机拍摄运动场的侧视图)。因此也就是说，最小化了阴影和遮挡/廓影重叠的情形的风险。
但是，在许多情况下，使用高架摄像机是完全不可能或不实际的，诸如象足球的户外运动。此外，户外比赛场可能相当大和/或这里的照明条件可能存在有问题。结果，两个正交排列的侧景摄像机不能正常地提供以令人满意的精确度跟踪个体比赛者所必需的图像分辨率或质量。如果通过人工操作员交互来给每个比赛者和球分配特定的标识，则该分辨率要求可以大大地放宽。由于长的距离和可能的复杂照明条件，在户外应用时，该类型的系统可能相对较快地丢失对一个或多个比赛者和/或球的跟踪。当然，可以使用装在比赛者身上的各种涉及发射器/接收器的独立遥感勘测系统来辅助摄像机。然而，这种解决方案会与包括给比赛者带来不便的其他问题相关联，因此这并不特别理想。
发明内容
因此，本发明的一个目的是减轻上述问题，并且因此提供一种可靠和有效的基于图像的跟踪给定区域中数个对象中的每一个做出的运动的解决方案。
根据本发明的一个方面，该目的通过如开始所描述的设备来实现，其中图像寄存装置中的至少一个包括摄像机的立体对，该摄像机的立体对中的第一摄像机与第二摄像机分开基本距离。该第一和第二摄像机基本上平行并且朝向所述区域，使得第一摄像机的第一图像平面寄存与第二摄像机的第二图像平面寄存的所述区域的一部分基本上重叠的所述区域的一部分。
通过这种设计策略所获得的重要的有利之处在于通过合理的资源能获得相当高的分辨率。此外，如果使用多个摄像机的立体对，即使对象在短时间段内彼此隐蔽也可以完成可靠的跟踪。
根据本发明的该方面的优选实施例，该数据处理单元包括立体模块，该立体模块适于基于由第一摄像机记录的第一图像的数据和由第二摄像机记录的第二图像的数据来生成立体图像。假定第一和第二图像都是在特定时间点记录的。由此，立体模块将来自两个图像的信息结合成适合于较高水平结果的表示，诸如特定对象的位置。最好，该立体图像表示所述区域的静止表面上的时变高程的估计(estimates of time varyingelevation)。
根据本发明的该方面的另一优选实施例，该数据处理单元包括场景初始化模块，其适于基于图像寄存装置在对象不存在于所述区域中时所记录的数据来产生该区域的初始背景模型。因此，通过该背景模型，运动对象，例如个体和球，可以与基本上静止的对象区分开来，例如，比赛场和各种观众看台和平台。
根据本发明的该方面的另一个优选实施例，该立体模块适于通过涉及变换第一和第二图像中的一个来与第一和第二图像的另一个的表示相匹配的过程而生成所述立体图像。具体地，该变换致使在该立体图像中作为基于第一图像中被估计来表示表面的特定片断的图像点的每个图像点被投射到与被估计来表示特定片断的第二图像中的图像点相同的图像点上。此外，该变换还致使在立体图像中被估计来表示表面上的对象的第一和第二图像中的图像点相对彼此至少被横向平移。这里，平移(translation)的程度取决于相对于表面的对象的高度。该表示是有利的，这是因为它进一步方便了运动对象的辨别，例如比赛者和球。
根据本发明的该方面的另一个优选实施例，数据处理单元包括第一信息提取模块，其适于确定表示表面的图像点的估计。初始背景模型用作该确定的输入数据。
根据本发明的该方面的另一个优选实施例，数据处理单元包括密度模块，其适于基于立体图像来生成密度图。该密度图表示对于所述区域中的对象在候选位置上的相应概率函数。因此，通过研究该概率函数，可以估计每个对象的位置。最好，数据处理单元中的第二信息提取模块执行该操作。第二模块适于基于该概率函数来辨别对象的位置。
根据本发明的该方面的另一个优选实施例，第一信息提取模块适于重复地(例如，在每秒视频帧后)基于先前的背景模型和对象的辨别的位置来确定更新的背景模型。第一信息提取模块还适于重复地(例如，在每秒视频帧后)基于更新的背景模型来确定表示所述表面的图像点的更新估计。这样的更新是期望的，这是因为由此可以维持高的跟踪可靠性。通常，与发生在所述区域的事件基本无关的其他环境参数和照明条件会不时改变。因此，背景模型必须更新，以便能够连续地正确辨别运动对象。
根据本发明的该方面的另一个优选实施例，所述区域是运动场并且对象包括参加在该运动场上执行的运动事件(例如，球类比赛)的比赛者。因此，所述对象还可包括至少一个球。从而，比赛者和球可以在比赛中被跟踪，结果，能够产生各种类型的统计和系统数量数据编辑(statistics andsystematic quantitative data compilation)。例如，后面的参数可以对于每个比赛者来确定：场地覆盖量、总的跑动距离、最高跑动时间、平均跑动时间、控球时间、相对于比赛场和/或相对于其他比赛者的空间分布。
根据本发明的该方面的另一个优选实施例，数据处理单元适于实时地产生至少一个数据信号，该数据信号描述与该数个对象有关的至少一种类型的统计和/或系统数量信息。该至少一个数据信号是基于在当前时间点之前的时间间隔期间确定的对象的位置的。因此，例如，球类比赛中的个体比赛者的成绩的当前统计可以以现场播放的方式，即在比赛进行期间，呈现给TV观众。
根据本发明的另一个方面，该目的通过开始所描述的方法来实现，其中至少一部分数据是通过所述区域的图像的立体对来记录的。这些图像的图像平面基本上是平行的，使得第一图像平面寄存所述区域的一部分，其与由第二图像平面所寄存的所述区域的一部分基本上重叠。此外，第一和第二图像平面彼此分开基本距离。
通过参照所提出的设备的上述讨论，该方法的有利之处以及其优选实施例是显而易见的。
根据本发明的另一个方面，该目的通过可直接加载到数字计算机的内部存储器的计算机程序来实现，包括当所述程序在计算机上运行时用于控制上面描述的方法的软件。
根据本发明的另一个方面，该目的通过计算机可读介质来实现，该介质具有在其上记录的程序，其中，该程序使计算机执行上面描述的方法。
根据后面的描述，该发明进一步的优点、有利特征和应用将是显而易见的。
附图说明
现在，参照附图，通过作为示例公开的优选实施例对本发明进行更严密地解释。
图1示出了根据本发明的一个实施例的数个图像寄存装置对于区域可以如何放置的第一示例，
图2示出了根据本发明的一个实施例的数个图像寄存装置对于区域可以如何放置的第二示例，
图3示意性说明了根据本发明的一个实施例的物理点的图像如何被投射到摄像机的立体对的图像平面上，
图4a-b通过示例说明了根据本发明的一个实施例的由摄像机的立体对记录的第一和第二图像，
图5说明了根据本发明的一个实施例的如何基于图4a和4b的第一和第二图像来产生立体图像，
图6说明了根据本发明的一个实施例的如何基于图5的立体图像来产生密度图像，
图7示出了根据本发明的一个实施例的设备的框图，以及
图8示出了根据本发明的总方法的流程图。
具体实施方式
图1示出了足球场形式的区域100，根据本发明的一个实施例在其周围布置了数个图像寄存装置(最好包括视频摄像机)。具体地，在该情况下使用了八个摄像机，它们分别以四个立体对101、102、103、104来组织。第一立体对101包括第一摄像机101a和第二摄像机101b，并且靠近区域100的第一角落来放置。假设区域100具有标准足球场的大小(即，长约90-120m，而宽约45-90m)，每个摄像机的立体对101、102、103、104最好距该区域约30m且在地面上约25m被放置。此外，根据本发明，特定立体对的摄像机，譬如101a和101b，彼此分开特定距离。该分开的距离通常被称为基本距离，并且最好约为10m。
第一和第二摄像机101a和101b基本上平行而且以一定角度朝向区域100，使得它们寄存区域100的基本重叠的部分。如从图1中所看到的，第一立体对中的第一摄像机101a具有大约覆盖半个区域100的第一视野V11，而第一立体对中的第二摄像机101b具有大约覆盖几乎相同半个区域100的第二视野V12。然而，对于区域100中每个对象pi，pj和B的特定角度来讲，由第二摄像机101b寄存的图像与由第一摄像机101a记录的图像稍有不同。相应地，如在图1中示意性说明的，第二、第三和第四图像寄存装置102、103和104的立体对中的个体摄像机分别具有视野V21、V22；V31、V32和V41、V42。在此处所示的配置中，如果摄像机是传统的TV摄像机，则可以实现期望的视野V11、V12、V21、V22、V31、V32 V41和V42重叠。
图像寄存装置101、102、103和104分别重复和同时地记录发生在区域100中的事件的图像数据D1、D2、D3和D4。因此，数据D1、D2、D3和D4构成这些事件的多个同时表示。数据D1、D2、D3和D4被发送到数据处理单元110，其适于重复地确定对象pi，pj和B中每一个的相应位置。例如，第一组对象pi包括主队的比赛者，第二组对象pj包括客队的比赛者，而第三对象B可以是球。根据本发明，在任何情况下每个对象pi，pj和B都能基于数据D1、D2、D3和D4被自动地跟踪。
为了放宽来自图像寄存装置101、102、103和104的输出数据D1、D2、D3和D4(即，基本上是数据量)的图像分辨率的要求，例如，在比赛开始前，最好对每个对象pi，pj和B手动分配唯一标识。这意味着不需要系统能够辨别比赛者的服装(或外表)的号码(或其他特征)。相反，如果系统能保持连续跟踪每个对象就足够了。理论上，大约每个对象一个像素的图像分辨率足以完成这样的跟踪。但是，在实践中，由于鲁棒性的原因，常常希望较高的分辨率。当然，标识的分配还可能需要在比赛过程中相关于暂停以及当一个或多个比赛者被一个或多个其他比赛者替换时不时被更新，例如，在所谓的累计(pile ups)后。
图2示出了根据本发明的一个实施例的如何将多个图像寄存装置101、102、103和104对于区域100来放置的另外一个示例。这里，第一和第二图像寄存装置(典型地包括视频摄像机)101和102被分别靠近区域100的第一角落来放置，使得摄像机的两个立体对的视野V11、V12和V21、V22以扇状方式重叠。因为这里的每个摄像机必须覆盖比前述的第一示例稍大的部分区域100，所以最好为摄像机安装稍微广角一些的镜头。然而，为了确保充足的区域覆盖并且获得与第一示例中相同的跟踪可靠性，第三和第四图像寄存装置分别靠近区域100的、与第一角落相对的角落来放置。这两个立体对的视野V31、V32和V41、V42也以扇状方式重叠，如图2所示。最好，每组摄像机101、102和103、104中的图像寄存装置分别以交插的立体对安排(如图2中所示)，以使第一对中的摄像机中的一个被放置在第二对中的摄像机中的一个之间。此外，每组中的不同的立体对具有稍微不同的朝向区域100的角度(使得获得扇状视野的模式)。
图3示意性说明了根据本发明的一个实施例的物理点p的图像如何被投射到摄像机的立体对的图像平面310和320。这是一个规范的摄像机配置的示例，其中两个摄像机具有相同的焦距，具有彼此平行的图像平面和光轴，以及图像平面相对于彼此移位了基本距离dB。基本距离dB相对短，使得摄像机和被记录的对象间的角度相当小，因此第一图像平面310寄存区域100的一部分，该区域100的一部分与由第二图像平面320寄存的区域100的一部分基本上重叠。这意味着位于两个摄像机都可以看见的地方的区域100中的物理点p分别被投射到第一和第二图像平面310和320中的不同图像点p’1和p’2。如果假设点p在世界坐标系XW，YW，ZW相对于原点OW具有确定的物理坐标，它可以被投射到具有涉及第一二维坐标系Xf1，Yf1表示的坐标的第一图像平面310中的第一图像点p’1上。类似地，点p被投射到具有涉及第二二维坐标系Xf2，Yf2表示的坐标的第二图像平面320中的第二图像点p’2上。接着，第一图像平面310在坐标系Xc1，Yc1，Zc1中具有第一焦点Oc1。对应地，第二图像平面320在坐标系Xc2，Yc2，Zc2中具有第二焦点Oc2。在所说明的规范配置中，基本距离dB表示只沿着这些坐标系的相应的一个坐标轴Yc1和Yc2的移位。
图4a示出了可由图像的立体对的第一图像平面寄存的第一图像l1的示例，诸如上面描述的图3中的310。第一图像l1包括在诸如足球场或类似场地的表面S上被相互相对靠近放置的五个不同的个体p1、p2、p3、p4和p5。可以注意到第五个体p5在这里几乎完全被第四个体p4遮蔽。
图4b示出了第二图像l2的示例，为了说明的目的，其表示由图像的立体对的第二图像平面寄存的图像的稍作变换的图像，诸如图3中的320。在第二图像l2中示出的相对于在图像平面320中记录的实际图像数据的变换是线性的，并且执行该变换使得所有估计来表示表面S的图像点被投射到两个图像l1和l2中的相同坐标Xf1，Yf1和Xf2，Yf2(即Xf1＝Xf1和Yf1＝Yf1)。但是，因为图像l1和l2是从稍微不同的角度拍摄的，所以由于该变换用来估计表示表面上的对象的图像点在第二图像l2中至少会相对于第一图像l1横向平移。换而言之，个体p1、p2、p3、p4和p5看上去在图像l1和l2中不同地“倾斜”，但是他们的脚被放置在相同的点。假设个体所位于的运动场被选择作变换平面，这就是正确的。但是，根据本发明，还可以例如垂直地穿过每个个体选择其他变换平面。
如在第二图像l2中能够见到的那样，第二图像l2与第一图像l1在同一个时间点被记录，与在第一图像l1中相比，第五个体p5较少地被第四个体p4遮蔽。这证明良好跟踪的可能性。假设摄像机的立体对对于彼此和区域100合适地被安排，这种分离通常出现，即，在第一图像l1中的一个或多个遮挡在第二图像l2中被解决，并且反之亦然。
最好，根据本发明的一个实施例，参照图4b描述的变换实际上是联系立体图像lS的产生来执行的，如下面参照图5b将进行的描述。
立体图像lS是基于由第一摄像机记录的第一图像的数据，例如l1，和由第二摄像机记录记录的第二图像的数据，例如l2，来生成的。该第一和第二图像l1和l2在特定时间点被记录。
立体图像lS表示描述不是部分静止表面S的且在区域100中的位置随时间变化的对象(即，运动对象)的图像元素的估计e1、e2、e3和e4。具体地，立体图像lS的生成可涉及变换第一和第二图像l1和l2中的一个以匹配第一和第二图像l1和l2中的另一个的表示，使得在立体图像lS中，作为基于在第一图像l1中被估计来表示表面S的特定片断(segment)的图像点的每个图像点被投射到与第二图像l2中被估计来表示特定片断的图像点相同的图像点上。作为该变换的进一步结果，在第一和第二图像l1和l2中被估计来表示表面S上的对象的图像点相对彼此至少横向平移。这里，平移的程度取决于相对于表面S的对象的高度。因此，具有基本上纵向延伸的垂直方向的对象(诸如竖直站立的足球比赛者)在立体图像lS中大致表示为倒锥形形状。
为了呈现，能够精确地估计表示表面S的图像点，根据本发明的优选实施例来产生背景模型。区域100的初始的背景模型是基于来自图像寄存装置101、102、103和104的数据D1、D2、D3和D4，其是在区域100中对象pi，pj和B不存在时记录的。因此，表示表面S的图像点的第一估计是基于初始的背景模型的。其后，基于前面的背景模型并结合对象pi，pj和B的被辨别的位置来重复地确定更新的背景模型。接着，基于更新的背景模型来确定表示表面S的图像点的更新估计。
图6说明了根据本发明的一个实施的如何基于图5的立体图像lS产生密度图A。该密度图A表示对于区域100中对象p1、p2、p3、p4和p5在候选位置上的相应概率函数P(p1)、P(p2)、P(p3)、P(p4)和P(p5)。接着，概率函数P(p1)、P(p2)、P(p3)、P(p4)和P(p5)由立体图像lS的高程估计e1、e2、e3、e4和e5推导出。根据本发明的一个优选实施例，对于区域A中每个对象p1、p2、p3、p4和p5基于概率函数P(p1)、P(p2)、P(p3)、P(p4)和P(p5)来辨别位置。
当然，在一般情况，从特定摄像机的立体对中仅可以看到一部分总数量的对象。因此，由两个或多个图像寄存装置得到的信息必须在数据处理单元110(见图1)中被聚集以建立位于区域100中的所有对象的位置。
图7示出了根据本发明的一个实施例的设备的方框图，其适于跟踪特定区域中数个对象中的每一个所做出的运动。所说明的设备包括图像寄存装置101a和101b以及数据处理单元110，该图像寄存装置包括立体对摄像机101a和101b。为了清楚地表示，图7仅示出了单个图像数据处理链。然而，根据本发明，数据处理单元110最好适于处理来自多个立体图像对的图像数据，例如如图1和图2中所表示的。
图像寄存装置中的第一摄像机101a重复地记录与发生在所述区域内的事件表示有关的数据D1’，而图像寄存装置中的第二摄像机101b也与之同时地记录与这些事件有关的数据D1”，但是角度稍微不同(其由到第一摄像机101a的基本距离和到被寄存的任何对象的距离给出)。在任何情况，第一和第二摄像机101a和101b基本上平行并且朝向所述区域，使得第一摄像机101a的第一图像平面寄存与由第二摄像机101b的第二图像平面寄存的一部分区域基本重叠的一部分区域。
数据处理单元110接收分别来自第一和第二摄像机101a和101b的数据D1’和D1”。具体地，根据本发明的优选实施例，数据处理单元110中的场景初始化模块730接收在区域中对象不存在时记录的数据D1’和D1”。基于该数据D1’和D1”，场景初始化模块730产生区域的初始化背景模型M’B，其或者直接或者通过第一信息提取模块740被发送到存储装置745。
在所述设备的稳定状态运行中，来自摄像机101a和101b的数据D1’和D1”还被发送到数据处理单元110中的立体模块710。该立体模块710基于数据D1’和D1”生成立体图像lS。如前面提到的，该立体图像lS表示在区域的静止表面S上的时变高程估计(estimates of time varyingelevation)。
立体模块710通过以下的过程来生成立体图像lS，该过程涉及变换第一和第二图像中的一个以与第一和第二图像中的另一个的表示相匹配，使得在立体图像lS中，作为基于在第一图像中被估计来表示表面S的特定片断的图像点的每个图像点被投射到与在第二图像中被估计来表示特定片断的的图像点相同的图像点上。此外，由于该变换，在第一和第二图像中的被估计来表示表面S上的对象的图像点相对彼此至少横向平移，其中平移的程度取决于相对于表面S的对象的高度。
在所述设备的稳定状态运行中，第一信息提取模块740基于存储在存储装置745中的先前的背景模型重复地确定表示表面S的图像点的估计。因此，第一更新的背景模型M”B是基于初始的背景模型M’B。最好，第一信息提取模块740基于先前的背景模型M’B(存储在存储模块745中)和运动对象的辨别的位置Pi，j(x，y)来重复地确定更新的背景模型M”B。模块740还基于更新的背景模型M”B来重复地确定表示表面S的图像点的更新估计。
数据处理单元110中的密度模块720基于立体图像lS生成密度图A。如前面参照图5所描述的，密度图A表示对于所述区域中的运动对象在候选位置上的概率函数。数据处理单元110中的第二信息提取模块750基于这些概率函数来辨别运动对象的位置pi，j(x，y)。
最好，数据处理单元110还适于随时间累计运动对象的所辨别的位置pi，j(x，y)。即，由此单元110能生成各种数据信号，其描述与运动对象有关的不同类型的统计和/或系统数量信息。进一步优选，数据处理单元110具有使得这些数据信号可以被实时地产生的这样的处理能力。每个数据信号都是基于运动对象的位置的，其在当前时间点之前的时间间隔期间已经被确定。由此，例如，对球类比赛中个体比赛者的成绩的当前(和连续更新的)统计可以以现场播放的方式，即在比赛进行中，呈现给TV观众。
为了总结，根据本发明的跟踪特定区域中的数个对象的运动的总方法现在将参照图8进行描述。
第一步骤810寄存与发生在所述区域中的事件的多个同时表示相关的立体图像数据。最好，根据不止一个定位来寄存该数据，例如图1和2中分别所说明的两个或四个。第二步骤820基于所寄存的立体图像数据来确定每个对象的相应位置。该过程然后循环回到步骤810来寄存更新的立体图像数据。
为了获得对体育事件的可靠跟踪，并且因此获得高质量的数据，立体图像数据应该相对频繁地被更新，比方说每秒大约25-30次。
上面参照图8所描述的处理步骤可以通过编程计算机设备来控制。此外，尽管上面参照附图所描述的本发明的实施例包括计算机设备和在计算机设备中执行的处理，因此，本发明还扩展到用于实现本发明的计算机程序，尤其是载体上或载体中的计算机程序。该程序可以是源代码、目标代码、诸如部分编译形式的源代码和目标代码的中间代码或者适于在实施本发明的过程中使用的任何形式。载体可以是任何能够加载该程序的实体或设备。例如，该载体可包括存储介质，诸如闪存、例如CD(致密盘)或半导体ROM的ROM(只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)或者例如软盘或硬盘的磁记录介质。此外，该载体可以是可传输的载体，诸如可以通过电缆或光缆或无线电或其他设备传送的电或光信号。当程序是体现为可通过线缆或其他装置或设备可传送的信号时，载体可以由这样的线缆或装置或设备构成。或者，载体可以是程序被嵌入其中的集成电路，该集成电路适于相关处理或在用在相关执行中。
在本说明书中使用时的术语“包括(comprises/comprising)”用于指明所述特征、整数、步骤或组件的存在。但是，该术语并不排除其一个或几个另外的特征、整数、步骤或组件的存在或添加。
本发明不限于附图中所描述的实施例，其可以在权利要求的范围内自由改变。

Claims (26)

1.一种用于跟踪由特定区域(100)中数个对象(pi，pj，B)中的每一个所做出的运动的设备，该设备包括：
数个图像寄存装置(101，102，103，104)，其适于重复地记录与发生在所述区域(100)中的事件的多个同时表示有关的数据(D1，D2，D3，D4)；以及
数据处理单元(110)，其适于接收由所述图像寄存装置(101，102，103，104)记录的所述数据(D1，D2，D3，D4)以及基于该数据重复地确定每个对象(pi，pj，B)的相应位置(pi，j(x，y))，
其特征在于：
所述图像寄存装置(101，102，103，104)中的至少一个包括摄像机的立体对，其中第一摄像机(101a)与第二摄像机(101b)分开基本距离(dB)，而第一和第二摄像机基本上平行并且朝向所述区域(100)，使得第一摄像机(101a)的第一图像平面(310)寄存所述区域(100)的一部分，其与第二摄像机(101b)的第二图像平面(320)所寄存的所述区域(100)的一部分基本上重叠。
2.根据权利要求1所述的设备，其特征在于：所述数据处理单元(110)包括立体模块(710)，其适于基于由第一摄像机(101a)记录的第一图像(I1)的数据(D1’)和由第二摄像机(101b)记录的第二图像(I2)的数据(D1”)来生成立体图像(IS)，并且所述第一和第二图像(I1，I2)在特定时间点被记录。
3.根据权利要求2所述的设备，其特征在于：所述立体图像(IS)表示在所述区域(100)的静止表面(S)上的时变高程的估计(e1，e2，e3，e4)。
4.根据权利要求3所述的设备，其特征在于：所述数据处理单元(110)包括场景初始化模块(730)，其适于基于所述图像寄存装置(101，102，103，104)在对象(pi，pj，B)不存在于所述区域(100)中时记录的数据(D1，D2，D3，D4)来产生所述区域(100)的初始背景模型(M’B)。
5.根据权利要求4所述的设备，其特征在于：所述立体模块(710)适于通过涉及变换所述第一和第二图像(I1，I2)中的一个来与所述第一和第二图像(I1，I2)中的另一个的表示相匹配的过程而生成所述立体图像(IS)，使得在所述立体图像(IS)中：
作为基于在所述第一图像(I1)中被估计来表示所述表面(S)的特定片断的图像点的每个图像点被投射到与被估计来表示所述特定片断的所述第二图像(I2)中的图像点相同的图像点上，以及
在被估计来表示所述表面(S)上的对象的所述第一和第二图像(I1，I2)中的图像点相对彼此至少被横向平移，该平移的程度取决于所述对象相对于所述表面(S)的高度。
6.根据权利要求5所述的设备，其特征在于：所述数据处理单元(110)包括第一信息提取模块(740)，其适于基于所述初始背景模型(M’B)来确定表示所述表面(S)的图像点的估计。
7.根据前面的权利要求中任意一个所述的设备，其特征在于：所述数据处理单元(110)包括密度模块(720)，其适于基于所述立体图像(IS)来生成密度图(A)，该密度图(A)表示对于所述区域(100)中所述对象(pi，pj)在候选位置(x，y)上的相应概率函数(P(p1)，P(p2)，P(p3)，P(p4)，P(p5))。
8.根据权利要求7所述的设备，其特征在于：所述数据处理单元(110)包括第二信息提取模块(750)，其适于基于所述概率函数(P(p1)，P(p2)，P(p3)，P(p4)，P(p5))来辨别所述对象(pi，pj)的位置(pi，j(x，y))。
9.根据权利要求8所述的设备，其特征在于：所述第一信息提取模块(740)适于重复地：
基于先前的背景模型(M’B)和所述对象(pi，pj，B)的所述辨别的位置(pi，j(x，y))来确定更新的背景模型(M”B)，以及
基于所述更新的背景模型(M”B)来确定表示所述表面(S)的图像点的更新估计。
10.根据前面的权利要求中任意一个所述的设备，其特征在于：所述区域(100)是运动场，并且所述对象(pi，pj，B)包括参加在该运动场中进行的运动比赛项目的比赛者。
11.根据权利要求10所述的设备，其特征在于：所述运动比赛项目是涉及使用至少一个球(B)的球类比赛，并且所述对象(pi，pj，B)进一步包括所述至少一个球(B)。
12.根据前面的权利要求中任意一个所述的设备，其特征在于：所述数据处理单元(110)适于实时地产生至少一个数据信号，该数据信号描述与所述数个对象(pi，pj，B)有关的至少一种类型的统计和/或系统的数量信息，并且所述至少一个数据信号是基于在当前时间点之前的时间间隔期间所确定的所述数个对象(pi，pj，B)的位置(pi，j(x，y))的。
13.一种用于跟踪由特定区域(100)中的数个对象(pi，pj，B)中的每一个做出的运动的方法，该方法包括：
重复地寄存与在所述区域(100)中产生的事件的多个同时表示有关的数据(D1，D2，D3，D4)，以及
基于所寄存的数据(D1，D2，D3，D4)重复地确定对象(pi，pj，B)中的每一个的相应位置(pi，j(x，y))，其特征在于：
通过所述区域(100)的图像的立体对来寄存所述数据(D1，D2，D3，D4)的至少一部分，其图像平面(310，320)基本平行，使得第一图像平面(310)寄存与第二图像平面(320)寄存的部分所述区域(100)基本上重叠的部分所述区域(100)，而且所述第一和第二图像平面(310，320)彼此分开基本距离(dB)。
14.根据权利要求13所述的方法，其特征在于：基于由第一摄像机(101a)记录的第一图像(I1)中的数据(D1’)和由第二摄像机(101b)记录的第二图像(I2)中的数据(D1”)来生成立体图像(IS)，并且所述第一和第二图像(I1，I2)是在特定时间点上被记录。
15.根据权利要求14所述的方法，其特征在于：所述立体图像(IS)表示在所述区域(100)的静止表面(S)上的时变高程的估计(e1，e2，e3，e4)。
16.根据权利要求15所述的方法，其特征在于：基于所述图像寄存装置(101，102，103，104)在对象(pi，pj，B)不存在于所述区域(100)中时记录的数据(D1，D2，D3，D4)来产生所述区域(100)的初始背景模型(M’B)。
17.根据权利要求16所述的方法，其特征在于：所述立体图像(IS)的产生涉及变换所述第一和第二图像(I1，I2)中的一个来与所述第一和第二图像(I1，I2)中的另一个的表示相匹配，使得在所述立体图像(IS)中：
作为基于在第一图像(I1)中被估计来表示所述表面(S)的特定片断的图像点的每一个图像点被投射到与被估计来表示所述特定片断的第二图像(I2)中图像点相同的图像点上，以及
被估计来表示所述表面(S)上的对象的第一和第二图像(I1，I2)中的图像点相对彼此至少横向平移，该平移的程度取决于所述对象相对于所述表面(S)的高度。
18.根据权利要求17所述的方法，其特征在于：基于所述初始背景模型(M’B)来确定表示所述表面(S)的图像点的估计。
19.根据前面的权利要求13-18中任意一个所述的方法，其特征在于：基于所述立体图像(IS)来生成密度图(A)，该密度图表示对于所述区域(100)中的所述对象(pi，pj)在候选位置(x，y)上的相应概率函数(P(p1)，P(p2)，P(p3)，P(p4)，P(p5))。
20.根据权利要求19所述的方法，其特征在于：基于所述概率函数(P(p1)，P(p2)，P(p3)，P(p4)，P(p5))来辨别所述对象(pi，pj)的位置(pi，j(x，y))。
21.根据权利要求20所述的方法，其特征在于：包括重复地
基于先前的背景模型(M’B)和所述对象(pi，pj，B)的所述辨别的位置(pi，j(x，y))来确定更新的背景模型(M”B)，以及
基于所述更新的背景模型(M”B)来确定表示所述表面(S)的图像点的更新估计。
22.根据前面的权利要求13-21中任意一个所述的方法，其特征在于：所述区域(100)是运动场，并且所述对象(pi，pj，B)包括参加在该运动场上进行的运动比赛项目的比赛者。
23.根据权利要求22所述的方法，其特征在于：所述运动比赛项目是涉及使用至少一个球(B)的球类比赛，以及所述对象(pi，pj，B)包括所述至少一个球(B)。
24.根据前面的权利要求13-23中任意一个所述的方法，其特征在于：实时地产生描述与所述数个对象(pi，pj，B)有关的至少一种类型的统计和/或系统数量信息的至少一个数据信号，并且所述至少一个数据信号是基于在当前时间点之前的时间间隔期间所确定的所述数个对象(pi，pj，B)的位置(pi，j(x，y))的。
25.一种可直接加载到数字计算机的内部存储器中的计算机程序，包括：当所述程序在计算机上运行时用于完成权利要求13-24中任意一个的步骤的软件。
26.一种计算机可读介质(560)，具有其上记录的程序，其中该程序使计算机完成权利要求13-24中任意一个的步骤。
CN2005800335697A 2004-11-12 2005-10-31 基于图像的运动跟踪设备和方法 Expired - Fee Related CN101040528B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04026960A EP1657927A1 (en) 2004-11-12 2004-11-12 Image-based movement tracking
EP04026960.7 2004-11-12
PCT/EP2005/055659 WO2006051049A1 (en) 2004-11-12 2005-10-31 Image-based movement tracking

Publications (2)

Publication Number Publication Date
CN101040528A true CN101040528A (zh) 2007-09-19
CN101040528B CN101040528B (zh) 2010-05-26

Family

ID=34927370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800335697A Expired - Fee Related CN101040528B (zh) 2004-11-12 2005-10-31 基于图像的运动跟踪设备和方法

Country Status (13)

Country Link
US (1) US20070296815A1 (zh)
EP (2) EP2200313A1 (zh)
JP (1) JP2008520016A (zh)
KR (1) KR20070083575A (zh)
CN (1) CN101040528B (zh)
AR (1) AR051424A1 (zh)
BR (1) BRPI0517863A (zh)
CA (1) CA2580875A1 (zh)
IL (1) IL181918A0 (zh)
MX (1) MX2007005695A (zh)
NO (1) NO20072405L (zh)
RU (1) RU2387011C2 (zh)
WO (1) WO2006051049A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807310A (zh) * 2010-04-07 2010-08-18 浙江大学 一种石化企业视角跟踪方法
CN102510464A (zh) * 2008-09-17 2012-06-20 松下电器产业株式会社 记录媒体、再现装置和集成电路
CN107093192A (zh) * 2011-07-05 2017-08-25 欧姆龙株式会社 用于投影体监测的方法和装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008139730A1 (ja) * 2007-05-08 2008-11-20 Panasonic Corporation 表示装置
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
US8390685B2 (en) * 2008-02-06 2013-03-05 International Business Machines Corporation Virtual fence
US20130083201A1 (en) * 2011-10-03 2013-04-04 Raytheon Company Methods and apparatus for determining misalignment of first and second sensors
JP6102930B2 (ja) 2011-10-14 2017-03-29 オムロン株式会社 射影空間監視のための方法および装置
RU2488882C1 (ru) * 2012-01-19 2013-07-27 Общество с ограниченной ответственностью "Вокорд СофтЛаб" Способ идентификации личности человека
US9602806B1 (en) * 2013-06-10 2017-03-21 Amazon Technologies, Inc. Stereo camera calibration using proximity data
DK3010229T3 (en) * 2013-06-14 2019-03-18 Hitachi Ltd Video surveillance system, video surveillance device
JP5506989B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
CN104010168B (zh) * 2014-06-13 2017-06-13 东南大学 一种无重叠视域多摄像机监控网络拓扑自适应学习方法
CN104660998B (zh) * 2015-02-16 2018-08-07 阔地教育科技有限公司 一种接力跟踪方法及系统
RU2599699C1 (ru) * 2015-04-20 2016-10-10 государственное бюджетное образовательное учреждение высшего профессионального образования "Омская государственная медицинская академия" Министерства здравоохранения Российской Федерации (ГБОУ ВПО ОмГМА Минздрава России) Способ регистрации и анализа соревновательных игровых действий спортсменов
JP6206857B1 (ja) * 2016-08-24 2017-10-04 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
JP7027049B2 (ja) * 2017-06-15 2022-03-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2019025833A1 (en) * 2017-08-02 2019-02-07 Playgineering Systems, Sia AUTOMATED TURNING SYSTEM AND METHOD
RU2695708C2 (ru) * 2017-12-15 2019-07-25 Артем Андреевич Яковлев Способ определения скорости по видео
RU2682382C1 (ru) * 2018-04-02 2019-03-19 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет" Способ ориентации систем координат наблюдателей в пассивной системе видения
CN114827478B (zh) * 2022-01-05 2022-09-16 深眸科技(北京)有限公司 一种自动跟踪拍摄体育比赛的智能系统及其控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5363297A (en) 1992-06-05 1994-11-08 Larson Noble G Automated camera-based tracking system for sports contests
SE502679C2 (sv) * 1993-05-28 1995-12-04 Saab Scania Combitech Ab Förfarande och anordning för registrering av ett fordons förflyttning på ett underlag
SE503707C2 (sv) 1994-10-24 1996-08-05 Combitech Traffic Syst Ab Anordning för identifiering av fordon i ett kontrollställe
US5714997A (en) * 1995-01-06 1998-02-03 Anderson; David P. Virtual reality television system
JPH09322053A (ja) * 1996-05-24 1997-12-12 Nippon Hoso Kyokai <Nhk> 自動撮影カメラシステムにおける被写体の撮影方法。
US6166729A (en) * 1997-05-07 2000-12-26 Broadcloud Communications, Inc. Remote digital image viewing system and method
US6359647B1 (en) 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
US6266100B1 (en) * 1998-09-04 2001-07-24 Sportvision, Inc. System for enhancing a video presentation of a live event
WO2000034919A1 (en) * 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
JP2000224457A (ja) * 1999-02-02 2000-08-11 Canon Inc 監視システムおよびその制御方法およびそのプログラムを記憶した記憶媒体
US7130484B2 (en) * 2001-10-15 2006-10-31 Jonas August Biased curve indicator random field filters for enhancement of contours in images
FR2834415B1 (fr) 2001-12-27 2004-05-14 Sport Universal Systeme de suivi de mobiles en temps reel sur un terrain de sport

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102510464A (zh) * 2008-09-17 2012-06-20 松下电器产业株式会社 记录媒体、再现装置和集成电路
US8831400B2 (en) 2008-09-17 2014-09-09 Panasonic Corporation Recording medium, playback device, and integrated circuit
US8849103B2 (en) 2008-09-17 2014-09-30 Panasonic Corporation Recording medium, playback device, and integrated circuit
CN102510464B (zh) * 2008-09-17 2015-04-22 松下电器产业株式会社 记录方法、再现装置和集成电路
CN101807310A (zh) * 2010-04-07 2010-08-18 浙江大学 一种石化企业视角跟踪方法
CN107093192A (zh) * 2011-07-05 2017-08-25 欧姆龙株式会社 用于投影体监测的方法和装置
CN107093192B (zh) * 2011-07-05 2020-06-12 欧姆龙株式会社 用于投影体监测的方法和装置

Also Published As

Publication number Publication date
JP2008520016A (ja) 2008-06-12
RU2007117722A (ru) 2008-11-20
AR051424A1 (es) 2007-01-10
US20070296815A1 (en) 2007-12-27
EP2200313A1 (en) 2010-06-23
IL181918A0 (en) 2007-07-04
WO2006051049A1 (en) 2006-05-18
RU2387011C2 (ru) 2010-04-20
KR20070083575A (ko) 2007-08-24
CN101040528B (zh) 2010-05-26
BRPI0517863A (pt) 2008-10-21
NO20072405L (no) 2007-05-18
EP1657927A1 (en) 2006-05-17
MX2007005695A (es) 2007-10-03
CA2580875A1 (en) 2006-05-18

Similar Documents

Publication Publication Date Title
CN101040528B (zh) 基于图像的运动跟踪设备和方法
CN1241419C (zh) 用于多视图合成的方法
US20130094696A1 (en) Integrated Background And Foreground Tracking
US7428318B1 (en) Method for capturing, measuring and analyzing motion
US20150304531A1 (en) A method for obtaining and inserting in real time a virtual object within a virtual scene from a physical object
KR102189139B1 (ko) 영상 프로덕션을 만들기 위한 방법 및 그 시스템
CN1333700A (zh) 多目标跟踪系统
KR101650702B1 (ko) 이미지들로부터의 깊이 맵들의 생성
US20090129667A1 (en) Device and method for estimatiming depth map, and method for generating intermediate image and method for encoding multi-view video using the same
CN106165393A (zh) 用于自动电视制作的方法和系统
JP2010193458A (ja) 画像処理装置、画像処理システム及び画像処理方法
CN109345568A (zh) 基于计算机视觉算法的运动场智能化实现方法及系统
CN1476725A (zh) 跟踪体育节目中的对象并选出合适摄像机画面的方法及装置
CN103854335B (zh) 一种行车记录仪全景视频生成方法
CA2538294A1 (en) Method and apparatus for computerized image background analysis
CN103033792B (zh) 信息取得装置、信息取得方法、程序以及信息取得系统
Iwase et al. Tracking soccer players based on homography among multiple views
AU2012351392A1 (en) System for filming a video movie
CN109712247A (zh) 基于混合现实技术的实景训练系统
CN108898842A (zh) 一种多源监控视频的高效编码方法及其系统
CN107430818A (zh) 信号机检测装置以及信号机检测方法
CN1582582A (zh) 用于遮断区检测的遮断检测器和遮断区检测方法
CN113988906A (zh) 广告投放方法、装置及计算设备
CN102147931A (zh) 基于渲染的单幅图像单点光源定位方法
JP2004094707A (ja) ステレオ画像による平面推定方法および物体検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100526

Termination date: 20201031