CN109584268A - 移动体跟踪装置、移动体跟踪方法及计算机可读记录介质 - Google Patents

移动体跟踪装置、移动体跟踪方法及计算机可读记录介质 Download PDF

Info

Publication number
CN109584268A
CN109584268A CN201811148680.6A CN201811148680A CN109584268A CN 109584268 A CN109584268 A CN 109584268A CN 201811148680 A CN201811148680 A CN 201811148680A CN 109584268 A CN109584268 A CN 109584268A
Authority
CN
China
Prior art keywords
mentioned
candidate
picture frame
location information
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811148680.6A
Other languages
English (en)
Other versions
CN109584268B (zh
Inventor
林�建
林建一
南部俊辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangsaibuto Stl Co ltd
Original Assignee
Qoncept Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qoncept Inc filed Critical Qoncept Inc
Publication of CN109584268A publication Critical patent/CN109584268A/zh
Application granted granted Critical
Publication of CN109584268B publication Critical patent/CN109584268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck

Abstract

本发明提供一种移动体跟踪装置、移动体跟踪方法以及计算机可读记录介质。在使用图像数据进行的移动体的跟踪中，即使作为目标的移动体在外观上显著特征不明显，此外在帧图像中存在多个与作为目标的移动体相同的图像的情况下，也能够高精度地跟踪移动体。根据图像数据来评价给定环境(例如乒乓球)下的运动模型(例如球的活动遵照运动法则，在很多情况下球位于球台上等)，即使在作为目标的移动体在外观上显著特征不明显，此外在帧图像中存在多个与作为目标的移动体相同的图像的情况下，也能够高精度地跟踪移动体。

Description

移动体跟踪装置、移动体跟踪方法及计算机可读记录介质
技术领域
本发明涉及一种移动体跟踪装置、移动体跟踪方法以及计算机可读记录介质。
背景技术
近年来，随着动态图像拍摄技术的进步，能够在日常的各种场合简单地拍摄图像(尤其是动态图像)。由此需求并发明了一种通过图像解析技术从拍摄到的图像(尤其是动态图像)中跟踪物体的行动的装置。作为以往已知的使用图像来跟踪移动体的发明，例如在专利文献1中记载了一种装置，其通过评价颜色的行动程度来检测并跟踪移动体。
另外，在专利文献2中记载了一种装置，其检测帧图像之间的像素的移动量，并将表示移动量最大的像素位置的图像进行叠加，由此来检测移动体的轨迹从而跟踪移动体。
然而，在专利文献1所记载的装置中，通过评价颜色的行动程度来检测并跟踪移动体，因此，例如关于乒乓球、高尔夫球等色彩、形状、局部配置等外观上显著特征不明显的移动体，难以不依赖于它们的外观特征进行跟踪。
另外，例如即使是排球、足球等色彩、形状、局部配置等在外观上具有特征的移动体，在检测出多个候选的情况下如果无法将目标物确定为一个则难以进行跟踪。
在专利文献2所记载的装置中，根据帧图像之间的像素的移动量来检测移动体的轨迹从而跟踪移动体，但是，例如关于乒乓球等，除了在比赛中正在使用的球以外，还有在练习时使用而在地板上滚动的球、裁判员等所持的备用的球等，很多时候在多个帧图像中存在多个与作为跟踪目标的球相同的图像，另外，也有可能将球以外的具有类似特征的物体误检测为跟踪对象。在这种情况下难以高精度地跟踪移动体。
如专利文献1、专利文献2所示，在通过着眼于色彩、形状、局部配置等外观特征或像素的图像解析来进行移动体跟踪的移动体跟踪技术中，难以跟踪外观特征不明显的移动体。
专利文献1：国际公表第2012/127618号公报
专利文献2：国际公表第2016/021143号公报
发明内容
为了解决该问题，本发明提供一种基于以下的移动体跟踪技术的解决手段，该移动体跟踪技术通过着眼于移动体的运动特征的图像解析来进行移动体跟踪。
本发明的移动体跟踪装置使用图像数据来跟踪在给定环境下的物体的活动，其具备：位置信息生成部，其根据图像帧内的上述图像数据生成成为跟踪目标候选的物体的位置信息；候选位置保持部，其针对每个上述图像帧保持可能为跟踪目标的上述物体的多个候选的上述位置信息；位置预测部，其对于由上述候选位置保持部保持上述位置信息的第一图像帧的上述候选，根据运动模型来计算在第二图像帧中的预测位置信息，上述运动模型是由基于上述给定环境的特有信息即坐标系、上述跟踪目标存在的位置条件、与上述第一图像帧连续的上述第二图像帧中的预测位置计算式、基于上述跟踪目标的存在概率分布的位置得分计算式以及基于上述跟踪目标的速度的运动得分计算式而决定的运动模型；候选提取部，其根据由上述位置信息生成部根据上述第二图像帧内的上述图像数据生成的上述位置信息以及上述位置预测部计算出的上述第二图像帧中的上述预测位置信息，针对各个组合计算表示位置一致度的似然得分，并根据上述似然得分来提取上述第二图像帧中的一个至两个以上的上述候选，将提取出的上述候选的位置信息输出到上述候选位置保持部；目标位置确定部，其基于根据位置得分与运动得分的组合而求出的表示可能为上述跟踪目标的评价得分，从上述候选提取部提取出的上述候选的位置信息中确定上述图像帧中的作为上述跟踪目标的上述物体的位置信息，上述位置得分以及运动得分是根据由上述给定环境决定的上述运动模型而计算出的得分，以及移动体跟踪部，其在连续的上述图像帧中追寻由上述目标位置确定部确定出的上述物体的位置信息，由此来跟踪上述物体的活动。
在此，给定环境是指放置了要跟踪的物体的环境，是在使用图像数据来预测要跟踪的物体的位置时，除了经典力学(牛顿力学)的运动法则以外还具有为了提高预测精度而应该考虑的特有信息的环境。在后文中详细说明。
另外，运动模型是指在使用图像数据来预测要跟踪的物体的位置时所使用的与给定环境下的物体的运动有关的模型。由以下来决定：经典力学(牛顿力学)的运动法则、以及除此以外的给定环境下的特有信息即坐标系、跟踪目标存在的位置条件、与第一图像帧连续的第二图像帧中的预测位置计算式、基于跟踪目标的存在概率分布的位置得分计算式以及基于跟踪目标的速度的运动得分计算式。在后文中详细说明。
在本发明的移动体跟踪装置中，上述候选提取部能够对于作为上述位置预测部计算上述预测位置信息的基础的上述第一图像帧的上述候选相同的在上述第二图像帧中的上述物体的候选数量决定上限。
在本发明的移动体跟踪装置中，上述候选提取部能够提取以上述第一图像帧的所有上述候选中的各个候选为基础的在上述第二图像帧中的至少一个上述候选。
在本发明的移动体跟踪装置中，上述候选提取部能够从上述候选中排除上述似然得分不在阈值以上的上述第二图像帧中的上述候选。
另外，在本发明的移动体跟踪方法中，使用图像数据来跟踪在给定环境下的物体的活动，其具有：位置信息生成步骤，根据图像帧内的上述图像数据生成成为跟踪目标候选的物体的位置信息；候选位置保持步骤，针对每个上述图像帧保持可能为跟踪目标的上述物体的多个候选的上述位置信息；位置预测步骤，对于在上述候选位置保持步骤保持上述位置信息的第一图像帧的上述候选，根据运动模型来计算在第二图像帧中的预测位置信息，上述运动模型是由基于上述给定环境的特有信息即坐标系、上述跟踪目标存在的位置条件、与上述第一图像帧连续的上述第二图像帧中的预测位置计算式、基于上述跟踪目标的存在概率分布的位置得分计算式以及基于上述跟踪目标的速度的运动得分计算式而决定的运动模型；候选提取步骤，其根据在上述位置信息生成步骤中根据上述第二图像帧内的上述图像数据生成的上述位置信息以及在上述位置预测步骤计算出的上述第二图像帧中的上述预测位置信息，针对各个组合计算表示位置一致度的似然得分，并根据上述似然得分来提取上述第二图像帧中的一个至两个以上的上述候选，将提取出的上述候选的位置信息输出到候选位置保持部；目标位置确定步骤，其基于根据位置得分与运动得分的组合而求出的表示可能为上述跟踪目标的评价得分，从在上述候选提取步骤提取出的上述候选的位置信息中确定上述图像帧中的作为上述跟踪目标的上述物体的位置信息，上述位置得分以及运动得分是根据由上述给定环境决定的上述运动模型而计算出的得分，以及移动体跟踪步骤，其在连续的上述图像帧中追寻在上述目标位置确定步骤确定出的上述物体的位置信息，由此来跟踪上述物体的活动。
另外，在本发明的存储了移动体跟踪程序的计算机可读记录介质中，该移动体跟踪程序使计算机发挥使用图像数据来跟踪在给定环境下的物体的活动的功能，上述移动体跟踪程序使计算机作为以下各部发挥功能：位置信息生成部，其根据图像帧内的上述图像数据生成成为跟踪目标候选的物体的位置信息；候选位置保持部，其针对每个上述图像帧保持可能为跟踪目标的上述物体的多个候选的上述位置信息；位置预测部，其对于由上述候选位置保持部保持上述位置信息的第一图像帧的上述候选，根据运动模型来计算在第二图像帧中的预测位置信息，上述运动模型是由基于上述给定环境的特有信息即坐标系、上述跟踪目标存在的位置条件、与上述第一图像帧连续的上述第二图像帧中的预测位置计算式、基于上述跟踪目标的存在概率分布的位置得分计算式以及基于上述跟踪目标的速度的运动得分计算式而决定的运动模型；候选提取部，其根据由上述位置信息生成部根据上述第二图像帧内的上述图像数据生成的上述位置信息以及上述位置预测部计算出的上述第二图像帧中的上述预测位置信息，针对各个组合计算表示位置一致度的似然得分，并根据上述似然得分来提取上述第二图像帧中的一个至两个以上的上述候选，将提取出的上述候选的位置信息输出到上述候选位置保持部；目标位置确定部，其基于根据位置得分与运动得分的组合而求出的表示可能为上述跟踪目标的评价得分，从上述候选提取部提取出的上述候选的位置信息中确定上述图像帧中的作为上述跟踪目标的上述物体的位置信息，上述位置得分以及运动得分是根据由上述给定环境决定的上述运动模型而计算出的得分，以及移动体跟踪部，其在连续的上述图像帧中追寻由上述目标位置确定部确定出的上述物体的位置信息，由此来跟踪上述物体的活动。
基于通过着眼于移动体的运动特征的图像解析来跟踪移动体的移动体跟踪技术，解决了通过着眼于色彩、形状、局部配置等外观特征或像素的现有的图像解析来跟踪移动体的移动体跟踪技术的课题。由此，能够高精度地跟踪在通过以往的图像解析来跟踪移动体的移动体跟踪技术中难以跟踪的球类运动中的球那样的外观特征不明显的移动体。
如上所述，在日常的各种场合能够简单地拍摄图像(尤其是动态图像)，因此要求一种使用图像解析技术从拍摄到的图像(尤其是动态图像)中跟踪物体的行动的装置，从使用照相机等捕捉到的图像(尤其是动态图像)中将某个物体设为跟踪目标，并在给定的环境中掌握相对位置以及行动(速度及其方向)等是重要的。例如，球类运动中的球的位置和行动将决定其胜负，特别是期望弄清楚与边界线那样的环境信息之间的关系。另外，记录球的速度、轨迹对于选手的训练是有效的。
并且，通过着眼于在给定环境下的移动体的运动特征而并非着眼于跟踪目标的外观特征，即使像素数等画质、每单位时间的帧数等为普通照相机等的性能(例如，每单位时间的帧数为60fps左右)，也能够高精度地对跟踪目标进行跟踪。因此，不需要使用高性能、高品质的照相机等特殊的照相机等。
附图说明
图1是具备移动体跟踪装置的装置的框图。
图2是图1所示的装置的硬件结构图。
图3示意性地表示使用照相机拍摄到的乒乓球的图像。
图4是表示移动体跟踪装置的动作的流程图。
图5示意性地表示在说明移动体跟踪装置的动作时使用的标记。
图6是表示移动体跟踪装置的候选提取部的动作的流程图。
图7是表示移动体跟踪装置的目标位置确定部的动作的流程图。
图8是表示第二实施方式的基于似然得分的候选提取处理的流程图。
图9示意性地表示第二实施方式的候选提取部所进行的基于似然得分的候选提取处理。
图10A是表示第三实施方式的基于似然得分的候选提取处理的流程图(前半部分)。
图10B是表示第三实施方式的基于似然得分的候选提取处理的流程图(后半部分)。
图11是示意性地表示第三实施方式的候选提取部所进行的基于似然得分的候选提取处理。
具体实施方式
参照附图说明本发明的实施方式。此外，省略重复的说明，在各附图中对相同或者相当的部分赋予相同的附图标记。
(第一实施方式)
本实施方式的移动体跟踪装置是使用图像来跟踪移动体的装置。本实施方式的移动体跟踪装置适合用于在乒乓球、高尔夫球、棒球、排球等球类运动等中对球的活动高精度地进行跟踪的装置，该装置高精度地跟踪在预定的区域内遵照运动法则进行运动的色彩、形状、局部配置等在外观上显著特征不明显的移动体。这只是例子，并非仅限用于运动运动。
图1是具备移动体跟踪装置1的装置2的框图。图1表示的装置2例如为智能手机、信息便携终端、数字照相机、游戏机终端、电视机等电器产品，具有图2所示的硬件结构。如图2所示，装置2在物理上构成为包含中央运算装置(CPU)201、输入装置202、输出装置203、主存储装置(RAM/ROM)204、辅助存储装置205等的计算机系统。具体地说，输入装置202由照相机、触摸屏、键盘等构成，输出装置203由显示器、打印机等构成。装置2也可以为具备通信模块等与网络连接的结构。另外，移动体跟踪装置1也可以构成为包含中央运算装置(CPU)201、输入装置202、输出装置203、主存储装置(RAM/ROM)204、辅助存储装置205等的计算机系统。
通过在图2所示的中央运算装置(CPU)201、主存储装置(RAM/ROM)204等中读入预定的计算机软件，通过中央运算装置(CPU)201的控制使输入装置202、输出装置203进行动作，并且与主存储装置(RAM/ROM)204、辅助存储装置205进行数据读写，由此来实现移动体跟踪装置1和装置2的各功能。
如图1所示，装置2具备照相机21、检测部22、移动体跟踪装置1以及显示部23。另外，移动体跟踪装置1具备信息输入部10、位置信息生成部11、候选位置保持部12、位置预测部13、候选提取部14、目标位置确定部15以及移动体跟踪部16。
照相机21例如使用摄像元件等，具有拍摄图像或动态图像的功能。照相机21可以是单目也可以是多目。照相机21具有以下功能：将拍摄到的多个图像或动态图像作为图像帧向检测部输出。
检测部22具有以下功能：从由照相机21输入的图像帧内的图像数据中检测与作为跟踪目标的物体的特征一致的候选。例如使用作为图案匹配方法的SSD(Sum of SquaredDifference：方差和)、SAD(Sum of Absolute Difference：绝对误差和)、NCC(NormalizedCross Correlation：归一化互相关)等统计学的学习方法等来检测候选。检测部22具有以下功能：向移动体跟踪装置1的信息输入部10输出与从图像帧内的图像数据中检测出的候选有关的信息。
移动体跟踪装置1具有以下功能：根据从检测部22输入的与从图像帧内的图像数据中检测出的候选有关的信息，确定并追寻成为跟踪目标的物体在图像帧内的位置信息，由此跟踪成为跟踪目标的物体。移动体跟踪装置1具有将确定出的成为跟踪目标的物体在各帧内的位置信息输出到显示部23的功能。
信息输入部10具有以下功能：根据从检测部22输入的与从图像帧内的图像数据中检测出的候选有关的信息，将需要的信息输出到位置信息生成部11。作为需要的信息，至少具有用于确定图像帧的信息(以下称为图像帧编号)、用于确定候选位置的信息(以下称为位置信息)。信息输入部10具有将图像帧编号输出到位置预测部13的功能。另外，信息输入部10可以具有以下功能：按照一定的间隔提取图像帧(以下称为限时释放)将需要的信息输出到位置信息生成部11。
位置信息生成部11具有以下功能：根据从信息输入部10输入的与从图像帧内的图像数据中检测出的候选有关的信息，生成各候选的位置信息。例如在照相机21为单目的情况下设定二维的坐标轴，在照相机21为多目的情况下设定三维的坐标轴来生成各候选的位置信息(坐标)。位置信息生成部11具有以下功能：在候选的位置信息中反映对于移动体的跟踪带来影响的与位置有关的条件。例如为乒乓球的跟踪中的球台的坐标区域等。位置信息生成部11具有将生成的位置信息输出到候选提取部14的功能。
候选位置保持部12具有以下功能：保持从候选提取部14输入的与上位候选有关的信息。稍后说明候选提取部14的功能和上位候选的定义。候选位置保持部12具有以下功能：作为与上位候选有关的信息，至少保持图像帧编号、上位候选的位置信息以及似然得分。稍后说明似然得分。
位置预测部13具有以下功能：询问候选位置保持部12来取得与图像帧(第一图像帧)中的上位候选有关的信息，其中，上述图像帧(第一图像帧)是与通过从信息输入部10输入的图像帧编号指定的图像帧(第二图像帧)连续的图像帧。
在此，连续的图像帧是指在两个图像帧之间不存在其它图像帧的状态，图像帧编号不必一定连续。例如，存在以下等情况：即使两个图像帧连续，但是因为对原本存在于它们之间的图像帧进行了限时释放的处理，因此图像帧编号不连续。另外，连续的图像帧既可以是时刻在前的连续的图像帧，也可以是时刻在后的连续的图像帧。在随着时间的流逝进行移动体跟踪的情况下成为时刻在前的连续的图像帧，在追溯时间的流逝进行移动体跟踪的情况下成为时刻在后连续的图像帧。此外，关于连续的图像帧，在本专利申请所涉及的其它记载中也是相同的。
位置预测部13具有以下功能：根据从候选位置保持部12取得的信息，对于连续的图像帧(第一图像帧)的各个上位候选，计算在该图像帧(第二图像帧)中的预测位置信息。例如根据上位候选的位置和速度计算预测位置信息。另外，例如定义以下的运动模型，即如果是乒乓球则在计算中考虑由于在球台上进行弹跳使得速度发生变化等由于环境引起的特有信息。在本实施例中，根据经典力学(牛顿力学)的运动法则，此外还根据给定环境下的特有信息即坐标系、跟踪目标存在的位置条件、与第一图像帧连续的第二图像帧中的预测位置计算式、基于跟踪目标的存在概率分布的位置得分计算式以及基于跟踪目标的速度的运动得分计算式来决定上述运动模型。位置预测部13具有将计算出的预测位置信息输出到候选提取部14的功能。
候选提取部14具有以下功能：根据从位置信息生成部11输入的与从图像帧(第二图像帧)内的图像数据检测出的候选有关的位置信息以及从位置预测部13输入的在相同的图像帧(第二图像帧)中的预测位置信息，计算似然得分。在此，似然得分是指对于与候选有关的位置信息与预测位置信息的各个组合表示位置一致度的得分，例如，各个距离越小则得分越大。候选提取部14具有以下功能：询问位置预测部13来取得计算似然得分所需的预测位置信息。候选提取部14具有以下功能：将从似然得分的上位开始所决定的数量的候选设为上位候选，并将其位置信息输出到目标位置确定部15。另外，候选提取部14具有将上位候选的位置信息等输出到候选位置保持部12的功能。
目标位置确定部15具有以下功能：根据从候选提取部14输入的上位候选的位置信息来计算评价得分。在此，评价得分是表示可能为跟踪目标的得分。评价得分例如通过位置得分与运动得分的组合来定义。在此，位置得分是指根据成为跟踪目标的物体的存在概率分布来进行评分而得到的得分。例如，在成为跟踪目标的物体为乒乓球的情况下，球台的上部存在球的概率高，因此位置得分高，球台的下部存在球的概率低，因此位置得分低。另外，在此，运动得分是指根据成为跟踪目标的物体的速度进行评分而得到的得分。在给定的环境下除了经典力学(牛顿力学)的运动法则以外，还对于应该考虑的与成为跟踪目标的物体的运动有关的特有信息进行评分。具体地说，决定以如下等方式来计算运动得分的计算式：决定给定环境下的速度上限值，在为上限值以上的速度的物体中使运动得分低；在给定的环境下物体在盘面等进行反射的情况下，如果物体的速度适合于考虑了反射的条件，则使该物体的运动得分高。例如在成为跟踪目标的物体为乒乓球的情况下，在速度大小为30m/s以下的情况下运动得分低，当在球台附近进行了反射运动时运动得分高。作为评价得分的定义，可以简单地将位置得分和运动得分进行相加，也可以在进行加权后进行相加或相乘等来进行定义。目标位置确定部15具有以下功能：确定评价得分最上位的候选位置来作为该图像帧中的成为跟踪目标的物体的位置。目标位置确定部15具有以下功能：将所确定的成为跟踪目标的物体的位置信息输出到移动体跟踪部16。
移动体跟踪部16具有以下功能：追寻从目标位置确定部15输入的各图像帧中的所确定的成为跟踪目标的物体的位置信息来进行跟踪。移动体跟踪部16具有以下功能：将所追寻的成为跟踪目标的物体在各帧中的位置信息输出到显示部23。
显示部23具有以下功能：例如在显示器等中连续地显示从移动体跟踪装置1的移动体跟踪部16输入的成为跟踪目标的物体在各帧中的位置信息，由此来显示成为跟踪目标的物体的轨迹。
接着，说明本实施方式的移动体跟踪装置1的动作。此外，考虑到使说明容易理解，作为本发明的移动体跟踪装置的动作例子，说明跟踪乒乓球的移动体跟踪装置。此外，在此通过将乒乓球设为给定环境的例子来进行说明，但是稍后说明给定的环境为排球、棒球、高尔夫球时的实施例。
说明在将乒乓球设为给定的环境时应该考虑的特征。图3示意性地表示由照相机21拍摄到的乒乓球的图像。乒乓球在色彩、形状、局部配置等外观方面显著特征不明显，因此具有以下特征：在检测图像内的乒乓球时，根据检测部22的检测精度有可能错误地检测观众脸部等乒乓球以外的物体(304)。另外，具有以下特征：除了检测到在比赛中使用的作为跟踪目标物体的乒乓球(301)以外，还检测到备用球(302)、在地板上滚动的球(303)等跟踪目标物体以外的物体。因此，需要将在比赛中使用的球(301)以外误检测到的候选(304)、虽然是乒乓球但不是跟踪目标物体的候选(302、303)排除来跟踪成为跟踪目标的物体。
作为在将乒乓球设为给定的环境时应该考虑的特征，例如具有以下特征：需要应对由于运动员所使用的乒乓球的变更等，成为跟踪目标的物体变更为与到目前为止使用的球不同的球。
作为在将乒乓球设为给定的环境时应该考虑的特征，如图3所示，具有以下特征：作为跟踪目标的乒乓球存在于球台上部的概率高。另外，球的运动具有遵照运动法则的特征，但是具有以下特征：频繁地进行抛物运动以及与球台碰撞时改变朝向(反弹)的运动(301)，另一方面，难以产生停止(302)、低速的直线前进(滚动)运动(303)。在确定成为跟踪目标的物体时，通过考虑这些特征使得精度提高。
图4是表示本实施方式的移动体跟踪装置1的动作的流程图。此外，考虑到使说明容易理解，说明为在执行图4的步骤之前，移动体跟踪装置1的候选位置保持部12保持了与第一图像帧中的上位候选有关的信息。
图5示意性地表示在说明本实施方式的移动体跟踪装置1的动作时使用的标记。t0帧与t帧是连续的图像帧。Pn(t0)是t0帧中的上位候选的第n个。Vn(t0)是Pn(t0)的速度。Qn(t)是t帧中的预测候选的第n个，预测为以Pn(t0)为基础的在t帧中的位置。Am(t)是在t帧中检测出的所有候选的第m个。Dmn(t)是Qn(t)与Am(t)的距离。这些标记的含义在本专利申请的其他记载中也是相同的。
如图4所示，首先，信息输入部10进行以下处理：在输入了与从图像帧(第二图像帧)内的图像数据检测出的候选有关的信息之后，从输入的信息中提取需要的信息(至少为图像帧编号和位置信息)并输出到位置信息生成部11和位置预测部13(S401)。此时，也可以一同进行限时释放的处理(S401)。当S401的处理结束时，转移到位置信息生成处理(S403)和位置预测处理(S407)。
在S403的处理中，位置信息生成部11进行将从信息输入部10输入的与候选有关的位置信息变换为适合于以后处理的坐标系中的位置信息。在本实施方式的跟踪乒乓球的例子中，将照相机21设为多目，通过以下的三维坐标系来进行说明，在该三维坐标系中，将原点设为从球台的中心垂下的垂线与地板的交点，将X轴设为球台的长边方向，将Y轴设为球台的短边方向，将Z轴设为与球台垂直的方向，将朝上设为正，将朝下设为负。另外，关于在比赛中使用的球台的区域，按照坐标系成为-1.370≤X≤1.370、-0.7625≤Y≤0.7625、Z＝0.76。当S403的处理结束时，转移到候选检测处理(S409)。
在S407的处理中，位置预测部13进行取得候选位置信息(D405)的处理，即取得与图像帧(第一图像帧)中的上位候选有关的位置信息，其中，上述图像帧(第一图像帧)与通过从信息输入部10输入的图像帧编号指定的图像帧(第二图像帧)连续。接着，进行以下处理：计算与第一图像帧的各个上位候选有关的在第二图像帧中的预测位置信息。当将第一图像帧设为t0帧，将第二图像帧设为t帧时，在本实施方式的跟踪乒乓球的例子中，通过以下的数学式来求出预测位置Qn(t)。在此，数学式中的单位系统采取MKS单位系统，以下也相同。
Qn(t)＝Pn(t0)+Vn(t0)
其中，满足以下所有条件的情况为球位于球台上方的情况，考虑到弹跳，通过以下数学式来求出预测位置Qn(t)。此外，Qn(t).X表示Qn(t)的X坐标，Qn(t).Y表示Qn(t)的Y坐标，Qn(t).Z表示Qn(t)的Z坐标，以下采用相同的标记方法。
在Pn(t0).Z>0.76，并且
-1.370≤Qn(t).X≤1.370，并且
-0.7625≤Qn(t).Y≤0.7625的情况下
Qn(t)＝(Qn(t).X，Qn(t).Y，|Qn(t).Z-0.76|+0.76)
当S407的处理结束时，转移到候选提取处理(S409)。
在S409的处理中，候选提取部14进行以下处理：根据从位置信息生成部11输入的与从第二图像帧内的图像数据检测出的候选有关的位置信息以及从位置预测部13输入的在相同的第二图像帧中的预测位置信息来计算似然得分，从而提取第二图像帧中的上位候选，并且作为候选位置信息(D405)而输出。在后文中详细说明该处理。当S409的处理结束时，转移到目标位置确定处理(S411)。
在S411的处理中，目标位置确定部15进行以下处理：根据从候选提取部14输入的上位候选的位置信息来计算评价得分，将评价得分最上位的候选位置确定为该图像帧中的成为跟踪目标的物体的位置。在后文中详细说明该处理。当S411的处理结束时转移到移动体跟踪处理(S413)。
在S413的处理中，移动体跟踪部16进行以下处理：追寻从目标位置确定部15输入的各个图像帧中的所确定的成为跟踪目标的物体的位置信息来进行跟踪。当S413的处理结束时，转移到显示处理(S415)。
在S415的处理中，显示部23进行以下处理：连续地显示从移动体跟踪部16输入的成为跟踪目标的物体在各帧的位置信息，由此来显示成为跟踪目标的物体的轨迹。当S415的处理结束时，转移到结束判断处理(S417)。
在S417的处理中，判断是否对从检测部22输入给信息输入部10的所有的图像帧执行了处理。当在S417的处理中判断为并未对所有的图像帧执行处理时，再次转移到S401的处理。在S401的处理中，在输入了与从下一个未处理的图像帧内的图像数据中检测出的候选有关的信息后，执行S401至S417的处理。如此反复执行S401至S417的处理直到对所有的图像帧执行处理。另一方面，当在S417的处理中判断为对所有的图像帧执行了处理时，结束图4表示的控制处理。
接着，详细说明图4所示的子例程的各处理。首先，使用图6详细说明候选提取处理(S409)。图6是表示本实施方式的移动体跟踪装置1的候选提取部14的动作的流程图。
如上所述，在候选提取处理(S409)中，候选提取部14根据从位置信息生成部11输入的与从第二图像帧内的图像数据检测出的候选有关的位置信息以及从位置预测部13输入的相同的第二图像帧中的预测位置信息来计算似然得分，从而提取第二图像帧的上位候选。在本实施例中，将提取的上位候选的数量设为自然数N来进行说明。
如图6所示，首先，候选提取部14设定m＝1、n＝1来作为初始值(S601)。
在S603的处理中，候选提取部14取得在S403的处理中得到的所有候选的第m个Am(t)。
在S605的处理中，候选提取部14从在S407的处理中得到的预测候选中取得第n个Qn(t)。
在S607的处理中，候选提取部14计算Am(t)与Qn(t)的组合的似然得分Lmn(t)(以下，在本专利申请的记载中，将似然得分同样地标记为Lmn(t))，并保持结果(D619)。根据Am(t)与Qn(t)的距离Dmn(t)，通过以下的数学式来求出Lmn(t)。
Lmn(t)＝exp(-Dmn(t)2)
在S609的处理中，候选提取部14判断Qn(t)是否为在S407的处理中得到的预测候选的最后一个。在判断为并非是预测候选的最后一个的情况下，在对n加1的处理(S611)后，再次转移到S605的处理。这样，反复执行S605至S609的处理直到对所有的预测候选执行处理。另一方面，当在S609的处理中判断为是预测候选的最后一个时，转移到S613的处理。
在S613的处理中，候选提取部14判断Am(t)是否为在S409的处理中得到的候选的最后一个。在判断为并非是候选的最后一个的情况下，在对m加1的处理(S615)后，再次转移到S603的处理。这样，反复执行S603至S613的处理直到对所有的候选执行处理。另一方面，当在S613的处理中判断为是预测候选的最后一个的情况下，转移到基于似然得分的候选提取处理(S617)。
在基于似然得分的候选提取处理(S617)中，候选提取部14根据似然得分提取上位N组的Am(t)、Qn(t)、Lmn(t)的组合来作为候选。候选提取部14结束候选提取处理而转移到主例程。
接着，使用图7详细说明目标位置确定处理(S411)。图7是表示本实施方式的移动体跟踪装置1的目标位置确定部15的动作的流程图。
在S701的处理中，目标位置确定部15依次取得在S409的处理中得到的候选。
在S703的处理中，目标位置确定部15计算位置得分(Sp)。在本实施方式的跟踪乒乓球的例子中，在坐标为以下所示的各情况下，通过以下的数学式来求出位置得分(Sp)。
在-1.370≤X≤1.370，并且
-0.7625≤Y≤0.7625，并且
Z≥0.76的情况下
Sp＝1.0
在-1.370≤X≤1.370，并且
-0.7625≤Y≤0.7625，并且
Z≤0.76的情况下
Sp＝0.0
除了上述情况以外，在-0.7625≤Y≤0.7625的情况下
Sp＝exp(-(|X|-1.370)2)
在上述任何情况以外的情况下
Sp＝exp(-(2(|Y|-0.7625)(|X|-1.370))2)
在S705的处理中，目标位置确定部15计算运动得分(Sm)。在本实施方式的跟踪乒乓球的例子中，在坐标为以下表示的各情况下，通过以下的数学式来求出运动得分(Sm)。
在Vz＝0.0的情况下，Sm＝0.001
在上述以外的情况下，Sm＝min{1.0，1-|V/30-1|}
在S707的处理中，目标位置确定部15根据位置得分和运动得分来计算评价得分。在本实施方式的跟踪乒乓球的例子中，通过将位置得分与运动得分相加来计算评价得分。
在S709的处理中，目标位置确定部15判断在S707的处理中计算出的评价得分与到目前为止的评价得分相比是否为最大。在判断为最大的情况下，转移到S711的处理而将目标位置D715替换为判断为评价得分最大的Am(t)。在判断为并非最大的情况下，转移到S713的处理。
在S713的处理中，目标位置确定部15判断候选是否为最后的候选。在判断为并非最后的情况下，再次转移到S701的处理。这样，反复执行S701至S713的处理直到对所有的候选执行处理。另一方面，在判断为最后的情况下，将判断为评价得分最大的Am(t)确定为目标位置D715，结束目标位置确定处理而转移到主例程。
接着，说明用于使计算机系统作为移动体跟踪装置1而发挥功能的移动体跟踪程序。计算机系统的结构如图2所示。
移动体跟踪程序具备主模块、输入模块以及运算处理模块。主模块为综合控制图像处理的部分。输入模块使计算机系统进行动作以取得图像帧内的图像数据。运算处理模块具备位置信息生成模块、候选位置保持模块、位置预测模块、候选提取模块、目标位置确定模块以及移动体跟踪模块。通过执行主模块、输入模块以及运算处理模块而实现的功能分别与移动体跟踪装置1的信息输入部10、位置信息生成部11、候选位置保持部12、位置预测部13、候选提取部14、目标位置确定部15以及移动体跟踪部16的功能相同。
例如通过ROM等存储介质或者半导体存储器来提供移动体跟踪程序。另外，也可以经由网络来提供移动体跟踪程序。
如上所述，在本实施方式的移动体跟踪装置1中，位置信息生成部11根据从信息输入部10输入的与从图像帧(第二图像帧)内的图像数据检测出的候选有关的信息，生成各候选的位置信息，通过位置预测部13计算在该图像帧(第二图像帧)的预测位置，通过候选提取部14根据上述预测位置以及从候选位置保持部12取得的第一图像帧中的上位候选，计算第二图像帧中的预定数量的多个上位候选，并输出到候选位置保持部12来保持。如此，针对各图像帧将预定数量的多个上位候选保持在候选位置保持部12，由此能够在具有以下特征的环境下进行恰当的跟踪目标物体的判别，该特征为除了检测到在比赛中使用的作为跟踪目标物体的球以外，还检测到备用球、在地板上滚动的球等跟踪目标物体以外的物体。
另外，在本实施方式的移动体跟踪装置1中，目标位置确定部15根据评价得分来确定上述图像帧中的作为上述跟踪目标的物体的位置信息，评价得分通过位置得分与运动得分的组合来定义。通过移动体跟踪部16在连续的上述图像帧中追寻所确定的物体的位置信息，由此跟踪上述物体的活动。如此，通过根据给定的环境(例如乒乓球)下的位置得分与运动得分的组合来计算评价得分，即使在由于色彩、形状、局部配置等外观方面显著特征不明显从而检测出多个候选的情况下，也能够高精度地确定成为跟踪目标的物体。
实施例
在说明本实施方式的移动体跟踪装置1的动作时，考虑到使说明容易理解，作为本发明的移动体跟踪装置的动作例子，说明了跟踪乒乓球的移动体跟踪装置，将其作为实施例1，通过与实施例1进行对比的方式，说明跟踪排球的例子(实施例2)、跟踪棒球的投球的例子(实施例3)、跟踪高尔夫球的例子(实施例4)。
实施例1与实施例2至实施例4相比，本实施方式的移动体跟踪装置1的图1所示的结构相同，在作为图2所示的装置2来实现这一点上也相同。基于给定环境的条件不同，因此处理内容不同。具体地说，在以下点不同。
在位置信息生成部11对于从输入信息部10输入的位置信息进行变换的处理中适用的坐标系不同。
位置信息生成部11在位置信息的生成中反映的对于移动体的跟踪带来影响的与位置有关的条件不同。例如，如果给定的环境为乒乓球则将表示球台的各边与高度的坐标设为与位置有关的条件，如果给定的环境为排球则将表示球场各边的坐标设为与位置有关的条件。
位置预测部13计算预测位置的数学式不同。通过基于经典力学(牛顿力学)的运动法则以及除此以外的在给定环境下的特有信息即运动模型而决定的数学式来计算预测位置。
目标位置确定部15计算位置得分的数学式不同。位置得分是根据成为跟踪目标的物体的存在概率分布进行评分而得到的得分。在后文中说明计算位置得分的具体数学式，如下是每个给定环境的考虑方法。在成为跟踪目标的物体为乒乓球的情况下，球台上部球的存在概率高，因此位置得分高，球台下部球的存在概率低，因此位置得分低。在成为跟踪目标的物体为排球的情况下，球场上部球的存在概率高，因此位置得分高。在成为跟踪目标的物体为棒球(投球)的情况下，连结投球区土墩至本垒的区域的上部球的存在概率高，因此位置得分高。在成为跟踪目标的物体为高尔夫球的情况下，在球的击出方向的飞行距离大于球的高度时计算位置得分。
目标位置确定部15计算运动得分的数学式不同。通过以下的方式等来决定计算运动得分的数学式：决定给定环境下的速度的上限值，在为上限值以上的速度的物体中使运动得分低，在给定环境下物体在盘面等上进行反射的情况下，如果物体的速度适合于考虑了反射的条件，则使该物体的运动得分高，在设置在地板的物体中使运动得分极小。
关于运动模型的上述区别点，对于实施例1至实施例4在表中进行了归纳。在表1中表示实施例1，在表2中表示实施例2，在表3中表示实施例3，在表4中表示实施例4。运动模型是指在使用图像数据来对要跟踪的物体的位置进行预测时使用的与给定环境下的物体运动有关的模型，由经典力学(牛顿力学)的运动法则以及除了该法则以外应该考虑的给定环境下的特有信息构成。在实施例1至实施例4的跟踪对象(球)的位置预测中，成为除了运动法则以外还应用了在分别对应的表中所记载的条件的运动模型。
[表1]
[表2]
[表3]
[表4]
(第二实施方式)
在第二实施方式的移动体跟踪装置中，图1表示的结构与第一实施方式的移动体检测装置1相同，在作为图2所示的装置2来实现这一点上也相同。在功能方面，候选提取部14的功能与第一实施方式的移动体检测装置1不同。因此，以候选提取部14为中心进行说明，省略与第一实施方式重复的说明。
第二实施方式的候选提取部14具有以下功能：根据从位置信息生成部11输入的与从图像帧(第二图像帧)内的图像数据检测出的候选有关的位置信息以及从位置预测部13输入的相同的图像帧(第二图像帧)中的预测位置信息来计算似然得分。候选提取部14具有以下功能：询问位置预测部13来取得用于计算似然得分所需的预测位置信息。候选提取部14具有以下功能：从似然得分的上位开始将预定数量的候选设为上位候选，将其位置信息输出到目标位置确定部15。另外，候选提取部14具有以下功能：将上位候选的位置信息等输出到候选位置保持部12。在具有这些功能这一点上，与第一实施方式的候选提取部14相同。
第二实施方式的候选提取部14具有以下功能：在提取上位候选时，对于作为位置预测部13计算预测位置信息的基础的图像帧(第一图像帧)中的候选相同的基于预测位置信息的候选数量设定上限。这一点与第一实施方式的候选提取部14不同。
上述不同点基于图6表示的基于似然得分的候选提取处理(S617)的不同。图8是表示第二实施方式的基于似然得分的候选提取处理(S617)的流程图。
如图8所示，首先，候选提取部14设定n＝1来作为初始值(S801)。
在S803的处理中，候选提取部14取得Am(t)、Qn(t)、Lmn(t)的组合来作为数据。候选提取部14按照似然得分Lmn(t)的降序将数据进行分类，从而按照Lmn(t)的降序来排列以Qn(t)为计算基础的数据。
在S805的处理中，候选提取部14从似然得分的上位开始保留自然数S个以Qn(t)为基础的候选。
在S807的处理中，候选提取部14判断Qn(t)是否为在S407的处理中得到的预测候选的最后一个。在判断为并非是预测候选的最后一个的情况下，在对n加1的处理(S809)之后，再次转移到S803的处理。这样，反复执行S803至S807的处理直到对所有的预测候选执行处理。另一方面，当在S807的处理中判断为预测候选的最后一个的情况下，转移到S811的处理。
在S811的处理中，候选提取部14在从在S805的处理中保留的候选中提取了似然得分的上位N个Am(t)、Qn(t)、Lmn(t)的组合来作为上位候选之后，结束基于似然得分的候选提取处理而转移到主例程。
图9示意性地表示第二实施方式的候选提取部14所进行的基于似然得分的候选提取处理(S617)。在图9中，对于每个预测候选Qn(t)，在各列中从左向右以似然得分Lmn(t)的降序排列了数据。在S805的处理中，候选提取部14从似然得分的上位开始直到自然数S个为止，保留为以Qn(t)为基础的候选，在图9中是S＝4时的例子，表示从候选中排除了阴影部分的数据。在S811的处理中，候选提取部14从在S805的处理中保留的候选中提取似然得分的上位N个上位候选，在图9中相当于从没有阴影的部分的数据候选中提取似然得分的上位N个上位候选。
如图9所示，第二实施方式的候选提取部14从针对各预测候选Qn(t)均等地保留的候选中提取上位候选，因此向特定的预测候选Qn(t)的偏向减小。由此，除了在有力候选附近存在的候选以外还保留上位候选。因此，例如在由于运动员所使用的球的变更等使得成为跟踪目标的物体变更为与到目前为止所使用的球不同的球的情况下、或者对于暂时误检测到的球以外的物体进行跟踪的情况下等，能够返回到正确的跟踪目标物体来继续进行跟踪。
(第三实施方式)
在第三实施方式的移动体跟踪装置中，图1所示的结构与第一实施方式的移动体检测装置1相同，在作为图2所示的装置2来实现这一点上也相同。在功能方面，候选提取部14的功能与第一实施方式的移动体检测装置1不同。因此，以候选提取部14为中心进行说明，省略与第一实施方式重复的说明。
第三实施方式的候选提取部14具有以下功能：根据从位置信息生成部11输入的与从图像帧(第二图像帧)内的图像数据检测出的候选有关的位置信息以及从位置预测部13输入的相同图像帧(第二图像帧)内的预测位置信息，计算似然得分。候选提取部14具有以下功能：询问位置预测部13来取得用于计算似然得分所需的预测位置信息。候选提取部14具有以下功能：从似然得分的上位开始将预定数量的候选设为上位候选，将其位置信息输出到目标位置确定部15。另外，候选提取部14具有以下功能：将上位候选的位置信息等输出到候选位置保持部12。在具有这些功能这一点上，与第一实施方式的候选提取部14相同。
第三实施方式的候选提取部14具有以下功能：在提取上位候选时，关于作为位置预测部13计算预测位置信息的基础的图像帧(第一图像帧)的所有候选，在似然得分为阈值以上这一条件下，提取以上述各个候选作为基础的至少一个第二图像帧内的候选。这一点，与第一实施方式的候选提取部14不同。
上述区别点基于图6表示的基于似然得分的候选提取处理(S617)的不同。图10A和图10B是表示第三实施方式的基于似然得分的候选提取处理(S617)的流程图。
如图10A所示，首先，候选提取部14设定n＝1来作为初始值(S1001)。
在S1003的处理中，候选提取部14取得Am(t)、Qn(t)、Lmn(t)的组合来作为数据。候选提取部14按照似然得分Lmn(t)的降序将数据进行分类，从而按照Lmn(t)的降序排列以Qn(t)为计算基础的数据。
在S1005的处理中，候选提取部14输出在S1003的处理中生成的Am(t)、Qn(t)、Lmn(t)的组合的数据排列(D1007)。
在S1009的处理中，候选提取部14判断Qn(t)是否为在S407的处理中得到的预测候选的最后一个。在判断为不是预测候选的最后一个的情况下，在对n加1的处理(S1011)后，再次转移到S1003的处理。这样，反复执行S1003至S1009的处理直到对所有的预测候选执行处理。另一方面，当在S1009的处理中判断为是预测候选的最后一个的情况下，转移到图10B所示的S1013的处理。
如图10B所示，候选提取部14再次设定n＝1、j＝1来作为初始值(S1013)。
在S1015的处理中，候选提取部14从数据排列(D1007)中，对于预测候选Qn(t)按照似然得分Lmn(t)的降序来取得第j个Am(t)、Qn(t)、Lmn(t)的组合的数据。
在S1017的处理中，候选提取部14针对在S1015的处理中取得的数据，判断Lmn(t)是否为阈值以上。在判断为阈值以上的情况下，作为上位候选来提取在S1015的处理中取得的Am(t)、Qn(t)、Lmn(t)的组合(S1019)，然后转移到s1021的处理。另一方面，在判断为不是阈值以上的情况下，转移到s1021的处理。
在S1021的处理中，候选提取部14判断到目前为止提取的上位候选的数量是否小于N。在判断为上位候选的数量小于N的情况下，转移到s1023的处理。另一方面，在判断为上位候选的数量不小于N的情况下，结束基于似然得分的候选提取处理而转移到主例程。
在S1023的处理中，候选提取部14判断Qn(t)是否为在S407的处理中得到的预测候选的最后一个。在判断为不是预测候选的最后一个的情况下，在对n加1的处理(S1025)后，再次转移到S1017的处理。这样，反复执行S1017至S1023的处理直到对所有的预测候选执行处理。另一方面，当在S1013的处理中判断为是预测候选的最后一个的情况下，转移到S1027的处理。
在S1027的处理中，候选提取部14判断j对于数据排列(D1007)的预测候选Qn(t)是否为最末尾。在判断为j对于预测候选Qn(t)不是最末尾的情况下，在对j加1的处理(S1029)后，再次转移到S1017的处理。这样，反复执行S1017至S1027的处理，直到j对于预测候选Qn(t)成为数据排列的最末尾为止。另一方面，当在S1027的处理中判断为j对于预测候选Qn(t)为最末尾的情况下，结束基于似然得分的候选提取处理而转移到主例程。
图11示意性地表示第三实施方式的候选提取部14所进行的基于似然得分的候选提取处理(S617)。在图11中，对于每个预测候选Qn(t)，在各列中从左向右按照似然得分Lmn(t)的降序排列了数据。在图11中示意性地表示了通过图10A所示的从S1001至S1011的处理生成的数据排列(D1007)。在S1023的处理中对于图11的各列从第一行向下方，且在S1027的处理中对于图11的各行从第一列向左依次移动来在S1017的处理中判断似然得分是否为阈值以上。在图11中，没有阴影的部分相当于似然得分为阈值以上。
如图11的说明那样，第三实施方式的候选提取部14从针对各预测候选Qn(t)均等地保留的候选中提取上位候选，因此向特定的预测候选Qn(t)的偏向减小。另外，不会将似然得分小于阈值的候选设为上位候选，因此在能够排除可能性低的候选(例如图11的Q3(t))这一点上优于第二实施方式。由此，除了在有力候选附近存在的候选以外还保留上位候选。因此，例如在由于运动员所使用的球的变更等使得成为跟踪目标的物体变更为与到目前为止所使用的球不同的球的情况下、或者对于暂时误检测到的球以外的物体进行跟踪的情况下等，能够返回到正确的跟踪目标物体来继续进行跟踪。
附图标记说明
1：移动体跟踪装置；10：信息输入部；11：位置信息生成部；12：候选位置保持部；13：位置预测部；14：候选提取部；15：目标位置确定部；16：移动体跟踪部；2：具备移动体跟踪装置的装置；21：照相机；22：检测部；23：显示部；201：中央运算装置(CPU)；202：输入装置；203：输出装置；204：主存储装置(RAM/ROM)；205：辅助存储装置；301：成为跟踪目标的物体(在比赛中使用的球)；302：不是目标的物体(备用球)；303：不是目标的物体(地板上滚动的球)；304：不是目标的物体(观众的面部)。

Claims (7)

1.一种移动体跟踪装置，其使用图像数据来跟踪在给定环境下的物体的活动，其特征在于，具备：
位置信息生成部，其根据图像帧内的上述图像数据生成成为跟踪目标候选的物体的位置信息；
候选位置保持部，其针对每个上述图像帧保持可能为跟踪目标的上述物体的多个候选的上述位置信息；
位置预测部，其对于由上述候选位置保持部保持上述位置信息的第一图像帧的上述候选，根据运动模型来计算在第二图像帧中的预测位置信息，上述运动模型是由基于上述给定环境的特有信息即坐标系、上述跟踪目标存在的位置条件、与上述第一图像帧连续的上述第二图像帧中的预测位置计算式、基于上述跟踪目标的存在概率分布的位置得分计算式以及基于上述跟踪目标的速度的运动得分计算式而决定的运动模型；
候选提取部，其根据由上述位置信息生成部根据上述第二图像帧内的上述图像数据生成的上述位置信息以及上述位置预测部计算出的上述第二图像帧中的上述预测位置信息，针对各个组合计算表示位置一致度的似然得分，并根据上述似然得分来提取上述第二图像帧中的一个至两个以上的上述候选，将提取出的上述候选的位置信息输出到上述候选位置保持部；
目标位置确定部，其基于根据位置得分与运动得分的组合而求出的表示可能为上述跟踪目标的评价得分，从上述候选提取部提取出的上述候选的位置信息中确定上述图像帧中的作为上述跟踪目标的上述物体的位置信息，上述位置得分以及运动得分是根据由上述给定环境决定的上述运动模型而计算出的得分，以及
移动体跟踪部，其在连续的上述图像帧中追寻由上述目标位置确定部确定出的上述物体的位置信息，由此来跟踪上述物体的活动。
2.根据权利要求1所述的移动体跟踪装置，其特征在于，
上述候选提取部对于上述第一图像帧的上述候选相同的在上述第二图像帧中的上述物体的候选数量决定上限，上述第一图像帧的上述候选是作为上述位置预测部计算上述预测位置信息的基础。
3.根据权利要求1所述的移动体跟踪装置，其特征在于，
上述候选提取部提取以上述第一图像帧的所有上述候选中的各个候选为基础的在上述第二图像帧中的至少一个上述候选。
4.根据权利要求3所述的移动体跟踪装置，其特征在于，
上述候选提取部从上述候选中排除上述似然得分不在阈值以上的上述第二图像帧中的上述候选。
5.根据权利要求1～4中的任意一项所述的移动体跟踪装置，其特征在于，
作为跟踪目标的上述物体为球类运动中的球。
6.一种移动体跟踪方法，其使用图像数据来跟踪在给定环境下的物体的活动，其特征在于，具有：
位置信息生成步骤，根据图像帧内的上述图像数据生成成为跟踪目标候选的物体的位置信息；
候选位置保持步骤，针对每个上述图像帧保持可能为跟踪目标的上述物体的多个候选的上述位置信息；
位置预测步骤，对于在上述候选位置保持步骤保持上述位置信息的第一图像帧的上述候选，根据运动模型来计算在第二图像帧中的预测位置信息，上述运动模型是由基于上述给定环境的特有信息即坐标系、上述跟踪目标存在的位置条件、与上述第一图像帧连续的上述第二图像帧中的预测位置计算式、基于上述跟踪目标的存在概率分布的位置得分计算式以及基于上述跟踪目标的速度的运动得分计算式而决定的运动模型；
候选提取步骤，其根据在上述位置信息生成步骤中根据上述第二图像帧内的上述图像数据生成的上述位置信息以及在上述位置预测步骤计算出的上述第二图像帧中的上述预测位置信息，针对各个组合计算表示位置一致度的似然得分，并根据上述似然得分来提取上述第二图像帧中的一个至两个以上的上述候选，将提取出的上述候选的位置信息输出到候选位置保持部；
目标位置确定步骤，其基于根据位置得分与运动得分的组合而求出的表示可能为上述跟踪目标的评价得分，从在上述候选提取步骤提取出的上述候选的位置信息中确定上述图像帧中的作为上述跟踪目标的上述物体的位置信息，上述位置得分以及运动得分是根据由上述给定环境决定的上述运动模型而计算出的得分，以及
移动体跟踪步骤，其在连续的上述图像帧中追寻在上述目标位置确定步骤确定出的上述物体的位置信息，由此来跟踪上述物体的活动。
7.一种存储了移动体跟踪程序的计算机可读记录介质，该移动体跟踪程序使计算机发挥使用图像数据来跟踪在给定环境下的物体的活动的功能，
其特征在于，
上述移动体跟踪程序使计算机作为以下各部发挥功能：
位置信息生成部，其根据图像帧内的上述图像数据生成成为跟踪目标候选的物体的位置信息；
候选位置保持部，其针对每个上述图像帧保持可能为跟踪目标的上述物体的多个候选的上述位置信息；
位置预测部，其对于由上述候选位置保持部保持上述位置信息的第一图像帧的上述候选，根据运动模型来计算在第二图像帧中的预测位置信息，上述运动模型是由基于上述给定环境的特有信息即坐标系、上述跟踪目标存在的位置条件、与上述第一图像帧连续的上述第二图像帧中的预测位置计算式、基于上述跟踪目标的存在概率分布的位置得分计算式以及基于上述跟踪目标的速度的运动得分计算式而决定的运动模型；
候选提取部，其根据由上述位置信息生成部根据上述第二图像帧内的上述图像数据生成的上述位置信息以及上述位置预测部计算出的上述第二图像帧中的上述预测位置信息，针对各个组合计算表示位置一致度的似然得分，并根据上述似然得分来提取上述第二图像帧中的一个至两个以上的上述候选，将提取出的上述候选的位置信息输出到上述候选位置保持部；
目标位置确定部，其基于根据位置得分与运动得分的组合而求出的表示可能为上述跟踪目标的评价得分，从上述候选提取部提取出的上述候选的位置信息中确定上述图像帧中的作为上述跟踪目标的上述物体的位置信息，上述位置得分以及运动得分是根据由上述给定环境决定的上述运动模型而计算出的得分，以及
移动体跟踪部，其在连续的上述图像帧中追寻由上述目标位置确定部确定出的上述物体的位置信息，由此来跟踪上述物体的活动。
CN201811148680.6A 2017-09-29 2018-09-29 移动体跟踪装置、移动体跟踪方法及计算机可读记录介质 Active CN109584268B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-189397 2017-09-29
JP2017189397A JP6412998B1 (ja) 2017-09-29 2017-09-29 動体追跡装置、動体追跡方法、動体追跡プログラム

Publications (2)

Publication Number Publication Date
CN109584268A true CN109584268A (zh) 2019-04-05
CN109584268B CN109584268B (zh) 2023-05-23

Family

ID=63920550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811148680.6A Active CN109584268B (zh) 2017-09-29 2018-09-29 移动体跟踪装置、移动体跟踪方法及计算机可读记录介质

Country Status (4)

Country Link
US (1) US10909688B2 (zh)
JP (1) JP6412998B1 (zh)
KR (1) KR102078473B1 (zh)
CN (1) CN109584268B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6659524B2 (ja) * 2016-11-18 2020-03-04 株式会社東芝 移動体追跡装置、表示装置および移動体追跡方法
JP6894707B2 (ja) * 2017-01-06 2021-06-30 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
US10957068B2 (en) * 2017-01-06 2021-03-23 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
JP6579727B1 (ja) * 2019-02-04 2019-09-25 株式会社Ｑｏｎｃｅｐｔ 動体検出装置、動体検出方法、動体検出プログラム
CN112955712A (zh) * 2020-04-28 2021-06-11 深圳市大疆创新科技有限公司 目标跟踪方法、设备及存储介质
US20220203166A1 (en) 2020-12-31 2022-06-30 Vrotein Inc. Putting guide system
CN114612522B (zh) * 2022-05-09 2023-01-17 广东金融学院 乒乓球运动参数检测方法、装置及乒乓球训练辅助系统
GB2623766A (en) 2022-10-25 2024-05-01 State Of Play Hospitality Ltd Tracking system

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795461A (ja) * 1993-09-25 1995-04-07 Sony Corp 目標追尾装置
US20030161500A1 (en) * 2002-02-22 2003-08-28 Andrew Blake System and method for probabilistic exemplar-based pattern tracking
JP2008535038A (ja) * 2005-04-01 2008-08-28 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド カメラによりシーンに関して取得された映像中の移動物体を追跡する方法
JP2008250999A (ja) * 2007-03-08 2008-10-16 Omron Corp 対象物追跡方法、対象物追跡装置および対象物追跡プログラム
JP2010257441A (ja) * 2009-04-21 2010-11-11 Nec Soft Ltd 人物追跡装置及び人物追跡方法並びに人物追跡処理プログラム
US20110058708A1 (en) * 2008-03-14 2011-03-10 Sony Computer Entertainment Inc. Object tracking apparatus and object tracking method
US20120039507A1 (en) * 2009-02-19 2012-02-16 Sony Computer Entertainment Inc. Information Processing Device And Information Processing Method
US20120243733A1 (en) * 2011-03-22 2012-09-27 Morpho, Inc. Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
US20130050502A1 (en) * 2010-02-19 2013-02-28 Kabushiki Kaisha Toshiba Moving object tracking system and moving object tracking method
JP2013077202A (ja) * 2011-09-30 2013-04-25 Secom Co Ltd 移動物体追跡装置
KR20130094862A (ko) * 2011-03-10 2013-08-26 오므론 가부시키가이샤 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램
US20150206004A1 (en) * 2014-01-20 2015-07-23 Ricoh Company, Ltd. Object tracking method and device
US20160042544A1 (en) * 2013-03-20 2016-02-11 Robert Bosch Gmbh Method and device for creating a recording of an object which lights up in a pulsed manner
US20160063731A1 (en) * 2013-03-27 2016-03-03 Panasonic Intellectual Property Management Co., Ltd. Tracking processing device and tracking processing system provided with same, and tracking processing method
JP2016206795A (ja) * 2015-04-17 2016-12-08 Kddi株式会社 実空間情報によって学習する識別器を用いて物体を追跡する装置、プログラム及び方法
JP2016207140A (ja) * 2015-04-28 2016-12-08 Kddi株式会社 映像解析装置、映像解析方法、およびプログラム
CN106920248A (zh) * 2017-01-19 2017-07-04 博康智能信息技术有限公司上海分公司 一种目标跟踪方法及装置
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120281197A1 (en) 2010-01-27 2012-11-08 Asml Netherlands B.V. Holographic Mask Inspection System with Spatial Filter
WO2014201639A1 (zh) 2013-06-19 2014-12-24 成都优阳机电产品设计有限公司 具有弹性保护套的转动机构
WO2016021143A1 (ja) 2014-08-04 2016-02-11 パナソニック株式会社 移動体追跡方法および移動体追跡装置

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795461A (ja) * 1993-09-25 1995-04-07 Sony Corp 目標追尾装置
US20030161500A1 (en) * 2002-02-22 2003-08-28 Andrew Blake System and method for probabilistic exemplar-based pattern tracking
JP2008535038A (ja) * 2005-04-01 2008-08-28 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド カメラによりシーンに関して取得された映像中の移動物体を追跡する方法
JP2008250999A (ja) * 2007-03-08 2008-10-16 Omron Corp 対象物追跡方法、対象物追跡装置および対象物追跡プログラム
US20110058708A1 (en) * 2008-03-14 2011-03-10 Sony Computer Entertainment Inc. Object tracking apparatus and object tracking method
US20120039507A1 (en) * 2009-02-19 2012-02-16 Sony Computer Entertainment Inc. Information Processing Device And Information Processing Method
JP2010257441A (ja) * 2009-04-21 2010-11-11 Nec Soft Ltd 人物追跡装置及び人物追跡方法並びに人物追跡処理プログラム
US20130050502A1 (en) * 2010-02-19 2013-02-28 Kabushiki Kaisha Toshiba Moving object tracking system and moving object tracking method
KR20130094862A (ko) * 2011-03-10 2013-08-26 오므론 가부시키가이샤 대상물 추적 장치, 대상물 추적 방법 및 제어 프로그램
US20120243733A1 (en) * 2011-03-22 2012-09-27 Morpho, Inc. Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
JP2013077202A (ja) * 2011-09-30 2013-04-25 Secom Co Ltd 移動物体追跡装置
US20160042544A1 (en) * 2013-03-20 2016-02-11 Robert Bosch Gmbh Method and device for creating a recording of an object which lights up in a pulsed manner
US20160063731A1 (en) * 2013-03-27 2016-03-03 Panasonic Intellectual Property Management Co., Ltd. Tracking processing device and tracking processing system provided with same, and tracking processing method
US20150206004A1 (en) * 2014-01-20 2015-07-23 Ricoh Company, Ltd. Object tracking method and device
JP2016206795A (ja) * 2015-04-17 2016-12-08 Kddi株式会社 実空間情報によって学習する識別器を用いて物体を追跡する装置、プログラム及び方法
JP2016207140A (ja) * 2015-04-28 2016-12-08 Kddi株式会社 映像解析装置、映像解析方法、およびプログラム
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的系统和方法
CN106920248A (zh) * 2017-01-19 2017-07-04 博康智能信息技术有限公司上海分公司 一种目标跟踪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张根耀等: "遮挡情况下运动目标的跟踪", 《安徽大学学报(自然科学版)》 *

Also Published As

Publication number Publication date
KR20190038409A (ko) 2019-04-08
JP2019066974A (ja) 2019-04-25
CN109584268B (zh) 2023-05-23
KR102078473B1 (ko) 2020-02-17
JP6412998B1 (ja) 2018-10-24
US20190122370A1 (en) 2019-04-25
US10909688B2 (en) 2021-02-02

Similar Documents

Publication Publication Date Title
CN109584268A (zh) 移动体跟踪装置、移动体跟踪方法及计算机可读记录介质
CN102527017B (zh) 高尔夫挥杆动作的分类方法、分类系统以及分析装置
Yun et al. Two-person interaction detection using body-pose features and multiple instance learning
Kang et al. Recognition-based gesture spotting in video games
Kitsikidis et al. Dance analysis using multiple kinect sensors
Qiao et al. Learning discriminative trajectorylet detector sets for accurate skeleton-based action recognition
JP6025845B2 (ja) オブジェクト姿勢検索装置及び方法
Tora et al. Classification of puck possession events in ice hockey
Balazia et al. Human gait recognition from motion capture data in signature poses
US20160042227A1 (en) System and method for determining view invariant spatial-temporal descriptors for motion detection and analysis
Hu et al. Recognising human-object interaction via exemplar based modelling
Yao et al. Real-time hand pose estimation from RGB-D sensor
Fu et al. Camera-based basketball scoring detection using convolutional neural network
JP6116044B2 (ja) 細胞挙動解析装置、細胞挙動解析方法、及びプログラム
CN105893942B (zh) 一种基于eSC和HOG的自适应HMM的手语识别方法
Qiao Application of deep learning in automatic detection of technical and tactical indicators of table tennis
CN101826155A (zh) 一种基于哈尔特征和动态时序匹配的投篮动作识别方法
Wolf et al. Double head predictor based few-shot object detection for aerial imagery
Baumann et al. Action graph a versatile data structure for action recognition
CN108734735A (zh) 对象形状跟踪装置和方法以及图像处理系统
CN113808167A (zh) 一种基于视频数据的排球运动轨迹提取方法
CN107507218B (zh) 基于静态帧的部件运动性预测方法
Jiang et al. Robust action recognition based on a hierarchical model
Pongratz et al. Transport by Throwing-a bio-inspired Approach
Liu et al. Research on action recognition of player in broadcast sports video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 301 miyazaka building, No. 15, No. 19, Shibuya erdingmu, Shibuya District, Tokyo, 150-0002, Japan

Applicant after: Qoncept, Inc.

Address before: Tokyo, Japan

Applicant before: Qoncept, Inc.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Qoncept, Inc.

Address before: Tokyo, Japan

Applicant before: Guangsaibuto STL Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230223

Address after: Tokyo, Japan

Applicant after: Guangsaibuto STL Co.,Ltd.

Address before: 301 Miyazaka Building, No.19, Shibuya Erdingmu, Shibuya District, Tokyo 150-0002, Japan

Applicant before: Qoncept, Inc.

GR01 Patent grant
GR01 Patent grant