CN102369729A - 跟踪对象确定设备、跟踪对象确定方法和跟踪对象确定程序 - Google Patents

跟踪对象确定设备、跟踪对象确定方法和跟踪对象确定程序 Download PDF

Info

Publication number
CN102369729A
CN102369729A CN2010800143876A CN201080014387A CN102369729A CN 102369729 A CN102369729 A CN 102369729A CN 2010800143876 A CN2010800143876 A CN 2010800143876A CN 201080014387 A CN201080014387 A CN 201080014387A CN 102369729 A CN102369729 A CN 102369729A
Authority
CN
China
Prior art keywords
motion
point
state
time
changes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800143876A
Other languages
English (en)
Other versions
CN102369729B (zh
Inventor
石川真澄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN102369729A publication Critical patent/CN102369729A/zh
Application granted granted Critical
Publication of CN102369729B publication Critical patent/CN102369729B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Abstract

实现了对出现在输入视频中的运动对象是否是摄像者所跟踪和捕获的对象的确定。基于由运动对象的运动矢量所确定的运动状态发生改变的时间与由摄像机运动的运动矢量所确定的拍摄状态发生改变的时间之间的时间差，来确定运动对象是否是摄像者所关注的主题图像。

Description

跟踪对象确定设备、跟踪对象确定方法和跟踪对象确定程序
技术领域
本发明涉及跟踪对象确定设备、跟踪对象确定方法和跟踪对象确定程序，更具体地，涉及用于确定出现在视频中的对象是否是摄像者所跟踪的对象的跟踪对象确定设备、跟踪对象确定方法和跟踪对象确定程序。
背景技术
跟踪对象是被捕获的连续出现在屏幕上并且认为是摄像者所关注的运动对象。因此，对跟踪对象的检测需要产生概要视频或提取关键帧，以用于识别视频中的重要对象。
在专利文献1(日本专利公开No.08-191411)中记载了跟踪对象确定设备的一个示例。
专利文献1中记载的方法是：基于运动区域的分布，计算视频区间中跟踪对象的存在可能性，在该视频区间中沿固定方向运动的摄像机执行拍摄，运动区域是具有与摄像机的运动所产生的运动矢量不同的矢量的图像区域。在该方法中，通过使用运动区域中多个像素所获得的运动区域的集中程度、聚集程度、重心位置和分散程度或者视频区间中包括运动区域在内的多个帧的速率所获得的静止程度，来确定“总是持续存在的运动区域集合”是跟踪对象。
如图23所示，用于确定跟踪对象的结构包括：运动矢量检测单元300，检测关于视频的每一帧的运动矢量；摇摄区间检测单元301，基于视频的每一帧的运动矢量，检测摇摄区间的起点和终点；运动区域信息检测单元302，检测作为预测图像的运动补偿预测图像与当前帧之间相关程度较低的区域，作为运动区域，以提取区域的分布信息，预测图像是从过去的视频帧平行移动了预定量的运动矢量的图像；以及场景确定单元303，基于在每个摇摄区间检测到的运动区域的分布信息，来确定该区间与跟踪对象的场景相对应。
专利文献1：日本专利公开No.H08-191411
非专利文献1：Yousuke Torii，Seiichi Konya和MasashiMorimoto，“Extracting follow and close-up shots from moving images”，MIRU2005，pp.24-31
非专利文献2：Yoshio Iwai，Shihong Lao，Osamu Yamaguchi，Takatsugu Hirayama，“A Survey on Face Detection and Face Reconition”，IPSJ SIG Technical Reports(CVIM-149)，2005，pp.343-368
现有技术方法的第一个问题是在摄像机无法以与运动对象几乎相同的速度运动时，无法确定运动对象是跟踪对象。
在例如由于拍摄镜头较短从而拍摄在摄像机的移动速率将要等于运动对象的移动速率之前结束的情况下，在由于运动对象随机运动而使得摄像者无法预测运动对象的移动目的地的情况下，或者在摄像机移动速率随着运动对象运动而改变的情况下(例如在长焦摄像机进行拍摄的情况下)，无法确定运动对象是跟踪对象。
其原因在于，根据运动区域的分布状态来确定运动对象是否是要跟踪的对象，该运动区域是具有与摄像机的运动所产生的运动矢量不同的运动矢量的图像区域。因此，当由于摄像机的运动与运动对象的移动速率不同，运动区域的分布无法满足“总是持续出现”的属性时，无法确定作为运动区域集合的运动对象是跟踪对象。
现有技术方法的第二个问题是在以固定方向捕获的视频区间的终点之前无法判断运动对象是跟踪对象。
其原因在于，由于根据可以在视频区间中稳定地跟踪运动对象的多个帧的速率来确定运动对象是否是要跟踪的对象，所以除非获得了视频区间的长度，否则无法确定运动对象是跟踪对象。
发明内容
本发明的目的是确定出现在视频中的运动对象是摄像者要跟踪和捕获的对象。
根据本发明的第一示例性方面，跟踪对象确定设备包括：单元，基于由运动对象的运动矢量所确定的运动状态发生改变的时间与由摄像机运动的运动矢量所确定的拍摄状态发生改变的时间之间的时间差，确定所述运动对象是否为摄像者所跟踪。
根据本发明的第二示例性方面，跟踪对象确定方法包括：基于由运动对象的运动矢量所确定的运动状态发生改变的时间与由摄像机运动的运动矢量所确定的拍摄状态发生改变的时间之间的时间差，确定所述运动对象是否为摄像者所跟踪。
根据本发明的第三示例性方面，跟踪对象确定程序使计算机执行以下处理：基于由运动对象的运动矢量所确定的运动状态发生改变的时间与由摄像机运动的运动矢量所确定的拍摄状态发生改变的时间之间的时间差，确定所述运动对象是否为摄像者所跟踪。
本发明的第一效果在于，即使摄像机无法以与运动对象几乎相同的速度运动，也可以确定运动对象是跟踪对象。因此，即使屏幕上对象的位置逐渐变化，例如，在视频拍摄镜头对于摄像者而言太短而无法跟上运动对象时，或者在由于对象随机运动因此摄像者无法预测对象的运动时，或者在由于使用长焦摄像机因此摄像机运动不稳定时，也可以根据运动对象的运动状态的改变点与摄像机的拍摄状态的改变点之间的时间差来确定运动对象是跟踪对象。
本发明的第二效果在于，即使没有获得视频区间的长度，也可以确定运动对象是跟踪对象。因此，可以在以固定方向捕获的视频区间的终点之前，确定是否跟踪运动对象。
附图说明
图1是示出了根据本发明第一示例性实施例的跟踪对象确定设备的结构的框图；
图2是示出了根据第一示例性实施例的运动状态改变点的时间和运动对象信息的一个示例的图；
图3是示出了根据第一示例性实施例的拍摄状态改变点的时间和拍摄状态的一个示例的图；
图4是示出了根据第一示例性实施例的时间差的一个示例的图；
图5是示出了根据本发明的第一示例性实施例的跟踪对象确定设备的操作的流程图；
图6是根据第一示例性实施例的在解释摄像机坐标系上的点P与作为摄像机转动角的摇摄角和倾斜角之间的关系时使用的图；
图7是根据第一示例性实施例的、基于统计来表示ρ(Di|i是跟踪对象)与时间差之间的关系的函数的一个示例的图；
图8是根据第一示例性实施例的在解释屏幕上的运动对象的表观运动状态时使用的图；
图9是示出了根据第一示例性实施例，表示在运动对象i是跟踪对象时的时间差为Di的概率与基于屏幕上的运动对象的位置和速率的时间差之间的关系的函数的一个示例的图；
图10是示出了根据第一示例性实施例，表示在运动对象i是跟踪对象时的时间差为Di的概率与基于屏幕上的运动对象的位置和速率的时间差之间的关系的函数的一个示例的图；
图11是示出了根据第一示例性实施例，表示在运动对象i是跟踪对象时的时间差为Di的概率与基于屏幕上的运动对象的大小的时间差之间的关系的函数的一个示例的图；
图12是示出了根据第一示例性实施例，表示在运动对象i是跟踪对象时的时间差为Di的概率与基于屏幕上的运动对象的大小的时间差之间的关系的函数的一个示例的图；
图13是根据第一示例性实施例，在解释在运动对象i是跟踪对象时的时间差为Di的概率的计算方法时使用的图；
图14是示出了根据第一示例性实施例的跟踪确定结果的输出的一个示例的图；
图15是示出了根据第一示例性实施例的跟确定结果的输出的一个示例的图；
图16是示出了根据本发明的第二示例性实施例的跟踪对象确定设备的结构的框图；
图17是示出了第一示例中输入视频的概要的图；
图18是示出了第一示例的结构的框图；
图19是根据第一示例，在解释计算时间差的拍摄状态改变点与移动状态改变点之间的组合时使用的图；
图20是示出了根据第一示例的用于计算在运动对象i是跟踪对象时的时间差为Di的概率的函数的图；
图21是示出了根据第一示例的用于计算在运动对象i是跟踪对象时的时间差为Di的概率的函数的图；
图22是示出了根据第一示例的跟踪确定结果的输出的一个示例的图；以及
图23是示出了根据现有技术的跟踪对象确定设备的示例的框图。
具体实施方式
接下来，将参考附图详细地描述本发明的示例性实施例。
[第一示例性实施例]
参考图1，根据本发明第一示例性实施例的跟踪对象确定设备包括：视频输入单元100，输入视频；数据处理设备110，可在程序的控制之下进行操作；以及确定结果输出单元120，输出每个运动对象的跟踪确定结果。
视频输入单元100向数据处理设备110输入形成视频的每个帧的图像信息。
数据处理设备110包括运动状态改变点检测单元111、拍摄状态改变点检测单元112、跟踪分数计算单元113以及跟踪确定单元114。
运动状态改变点检测单元111具有检测运动状态改变点作为由在运动对象的运动矢量所确定的运动状态发生改变的时间的功能。
运动状态改变点检测单元111从接收自视频输入单元110的帧图像中检测运动对象，并获得运动对象ID、运动对象的图像数据、运动对象的表观位置坐标、运动对象的运动矢量以及运动对象的运动状态，作为运动对象信息。
运动状态改变点检测单元111检测运动状态改变点，作为运动对象的运动状态发生改变的时间，获得运动状态改变点的时间和与运动状态改变点有关的运动对象信息，并将其输入跟踪分数计算单元113。
运动对象表示四周运动的物体，例如汽车、球、动物或人，不包括诸如水的液体。
这里，运动对象的表观位置坐标表示摄像机坐标系上的位置，是摄像机与运动对象之间的相对位置关系。假设运动对象的运动矢量不是表示摄像机操作与运动对象的运动之间的相对运动的摄像机坐标系中的运动矢量(表观运动矢量)，而是在真实空间投影位置的二维坐标系中的运动矢量(绝对运动矢量)。
运动对象的运动状态表示由运动对象的运动矢量所确定的状态，并且可以通过预先关于运动矢量的方向或大小确定阈值来定义每个状态，或由某种运动矢量(例如关于摄像机图像拾取平面的平行/垂直运动)来定义每个状态。
假设运动状态改变点是运动对象的运动状态发生改变的时间。图2是示出了运动状态改变点的时间和运动状态改变点处的运动对象信息的一个示例的图。
拍摄状态改变点检测单元112具有检测拍摄状态改变点，以作为由视频的摄像机运动的运动矢量所定义的拍摄状态发生改变的时间的功能。
拍摄状态改变点检测单元112从接收自视频输入单元100的视频的每一帧获得摄像机运动的运动矢量和拍摄状态，作为拍摄信息。
拍摄状态改变点检测单元112还检测拍摄状态改变点(时间)，作为拍摄状态改变的时间，获得拍摄状态改变点和拍摄状态改变点处的拍摄信息，并将其输入至跟踪分数计算单元113。
假设摄像机运动的运动矢量是在真实空间投影摄像机的帧图像的中心点的位置的二维坐标系上的运动矢量。
拍摄状态是由摄像机运动的运动矢量所确定的状态，并且可以通过预先基于摄像机运动的运动矢量的方向或大小确定阈值来定义每个状态，或者由某种摄像机运动(例如摇摄、倾斜、缩放和固定)来定义每个状态。
假设拍摄状态的改变点是拍摄状态发生改变的时间。图3示出了拍摄状态改变点的时间和与拍摄状态改变点有关的拍摄信息的一个示例。
拍摄分数计算单元113具有利用拍摄状态改变点的时间与运动状态改变点的时间之间的差作为运动对象的时间差，基于运动对象的时间差来计算运动对象的跟踪分数的功能。
当从运动状态改变点检测单元111接收到运动状态改变点的时间和与运动状态改变点有关的运动对象信息，并从拍摄状态改变点检测单元112接收到拍摄状态改变点的时间和与拍摄状态改变点有关的拍摄信息时，跟踪分数计算单元113基于运动状态改变点的时间与拍摄状态改变点的时间之间的时间差来计算运动对象的跟踪分数。
跟踪分数计算单元113向跟踪确定单元114输出运动对象的跟踪分数和运动对象信息。
下面结合图2、图3和概述了图2和图3的图4来描述跟踪分数。
例如，考虑跟踪和拍摄老鼠静止。开始向右转、突然保持静止、然后开始向左转的示例。在这种情形下，老鼠的运动的状态可以表示为图2所示的运动对象A的运动状态。
另一方面，摄像者开始跟着老鼠的运动操作摄像机，在以固定速率使摄像机向右运动之后，由于无法预测老鼠将在下一时刻停止，他/她以从老鼠保持静止的时间之后的瞬时延迟使摄像机保持静止。当老鼠随后开始向左跑时，他/她以从开始跑之后的瞬时延迟来开始使摄像机向左运动。在这种情形下的拍摄状态如图3所示。
假设向右滚动的球进入视频而出现。将球表示为运动对象B，其运动状态如图2所示。由于在此球不是跟踪对象，因此摄像机的摄像者的操作不受球的运动的影响。
以摄像机响应于运动对象的运动改变而改变拍摄状态所需的瞬时延迟作为时间差，在运动对象A的运动状态发生改变的点的时间sA1与拍摄状态发生改变的点的时间t1之间、在时间sA2与时间t2之间、在时间sA3与时间t3之间、在时间sA4与时间t4之间以及在时间sA5与时间t5之间，计算关于运动对象A的时间差。
在运动对象B的运动状态发生改变的点的时间sB0与拍摄状态发生改变的点的时间t2之间，计算关于运动对象B的时间差。与运动体A和B有关的时间差的示例示出在图4中。
由于摄像者跟着作为跟踪对象的运动对象A的运动来改变拍摄状态，以便总是通过摄像机来捕捉运动对象A，所以预测关于运动对象A所计算的每个时间差是固定范围内的值。
此外，由于摄像者无法跟踪运动对象B，因此预测关于运动对象B所计算的时间差是固定范围外的值。
因此，在本示例性实施例中，根据上述趋势，设置一函数，该函数在时间差在固定范围内时呈现较高的值，而在时间差在固定范围外时呈现较低的值，并且基于该函数和时间差来计算跟踪分数。
跟踪确定单元114具有基于运动对象的跟踪分数来确定运动对象是跟踪对象的功能。
跟踪确定单元114基于跟踪分数计算单元113输入的运动对象的跟踪分数来确定运动对象是否是跟踪对象，并向确定结果输出单元120输入跟踪确定结果和运动对象的运动对象信息。
确定结果输出单元120输出跟踪确定单元114应用的跟踪确定结果和运动对象的运动对象信息。
[第一示例性实施例的操作的说明]
接下来，参考图1和图5的流程图来详细说明本示例性实施例的整体操作。
首先，视频输入单元100向运动状态改变点检测单元111和拍摄状态改变点检测单元112输入形成输入视频的每个帧(步骤A01)。
在从视频输入单元100接收到帧图像时，运动状态改变点检测单元111检测运动对象以提取运动对象ID、运动对象的图像数据、运动对象的表观位置、运动对象的运动矢量和运动对象的运动状态，作为运动对象信息(步骤A02)。
在运动对象已知时检测运动对象的可能的一种方法是基于模板的方法。在基于模板的方法中，计算预先存储的运动对象的模板图像与输入帧之间的像素值的差，并且在该差不大于阈值时，确定在输入图像中存在运动对象。
备选地，可以预先准备各种尺寸的模板图像，以通过使用像素值的差最小的模板来检测运动对象的区域。
还可以从帧图像中提取预先准备的模板图像的差最小的区域，并将其用作新的模板图像。
即使在运动对象的配置或大小在移动的同时发生改变时，使用多个模板或从帧图像中提取的区域的模板注册提供了稳定地检测到运动对象的效果。
在运动图像未知的情况下检测运动对象的可能的一种方法是基于块匹配的方法。在基于块匹配的方法中，将输入帧分区为单位块，并且关于每个单位块，获得与在过去的帧中计算出最高相似度的区域的距离，作为每个单位块的运动矢量。
此外，还将运动矢量的方向和大小类似的块组成组，并检测属于具有摄像机的运动所产生的运动矢量的组之外的最大组的块组，作为运动区域。
可用于检测运动对象的方法是基于模板的方法、基于块匹配的方法或其他方法。
可以按照检测的顺序依次对运动对象ID进行编号，或者以预先应用于模板的ID对运动对象ID进行编号，可以将在检测到运动对象时使用的模板的ID可以应用于运动对象。
作为运动对象的图像数据，可以剪切并使用从图像帧检测到的运动对象区域，可以剪切并使用包括运动对象区域的矩形区域，可以将剪切的图像区域转换为预先确定和使用的配置和大小，或者可以使用在检测时使用的模板图像。
可以将以下内容用作运动对象的表观位置：帧图像中运动对象区域的重心的位置，包括运动对象区域在内的矩形区域的重心，或者包括运动对象区域在内的矩形区域的四个顶点。
按照下述方式获得运动对象的运动矢量。
可以使用由作为摄像机转动角的摇摄角和倾斜角所表示的二维绝对坐标系来表示帧图像中的任意点。如图6所示，在例如通过使用摇摄角P0和倾斜角T0作为摄像机转动角来将帧图像的中心点(摄像机坐标系中的原点)Oc表示为(P0，T0)的情况下，帧图像上绝对坐标系上点P的位置由表达式1表示。
(数值表达式1)
P ( X , Y ) = ( tan - 1 x f + P 0 , tan - 1 ( y x 2 + f 2 ) + T 0 ) (表达式1)
以f作为透镜系统的焦距且以x和y作为表观位置，根据摄像机图像拾取元件CCD的像素的大小和数目来计算成像面上的位置。当x，y＜＜f时，表达式1可以近似为如下所示。
P(X，Y)＝(αx+P0，βy+T0)    (表达式2)
当在摄像机的摇摄角从P0转动ΔP，并且倾斜角从T0转动ΔT的情况下，摄像机坐标系上的任意点(x，y)移动到(x+Δx，y+Δy)时，按照α＝ΔP/Δx和β＝ΔT/Δy来计算α和β。α和β是关于每个f预先计算出的。
通过根据表达式2将运动对象的图像区域中的代表点P的表观位置(x，y)和单位时间之前的时间处的代表点P’的表观位置分别转换为绝对坐标系上的点P(X，Y)和P’(X’，Y’)，并计算两者之间的差，获得运动对象的运动矢量。
备选地，还可以计算运动对象的图像区域中绝对坐标上的代表点P1至Pn中的每个点与单位时间之前的时间处的绝对坐标上的代表点P1’至Pn”中的每个点之间的差，并使用在各个点计算出的n个运动矢量的平均。
在摄像机的初始状态下，将摇摄角P0和倾斜角T0均设置为0度，并且获得摇摄角P0和倾斜角T0，作为从拍摄开始时间到当前帧的摄像机转动角度。P0和T0是通过使用安装在摄像机上的角速度传感器获得的。
备选地，可以提取从运动对象之外的其他区域获得的运动矢量，作为反映摄像机运动的运动矢量，累积从拍摄开始直至当前的各个帧提取的反映摄像机运动的运动矢量，并根据预先获得的累积值与摇摄角和倾斜角之间的关系来计算P0和T0。
如下通过使用运动对象的运动矢量来确定运动对象的运动状态。
例如，使用在过去数个帧中计算的运动矢量的平均值。
还可以按照运动矢量的大小的阈值处理，设置诸如“高速率”、“中等速率”和“低速率”的类别。
此外，还可以按照运动矢量的方向的阈值处理，设置诸如“0至90度”、“90至180度”、“180至225度”和“225至360度”的类别。
此外，还可以设置诸如“静止”、“向右平行移动(相对于摄像机图像拾取平面)”、“向左平行移动”、“向上平行移动”和“向下平行移动”。
备选地，可以基于数个过去的帧中的运动矢量来计算当前帧中的加速度，并使用在数个过去的帧中计算的加速度的平均值。
在以运动矢量u’运动的运动对象在前面Δt帧中以运动矢量u运动时，可按照表达式3来获得加速度α。
(数值表达式2)
α = u ′ - u Δt (表达式3)
可以由预先安装在运动对象上的GPS传感器和角速度传感器或者通过其他方法来获得运动对象的运动矢量和运动状态。
运动状态改变点检测单元111检测运动对象的运动状态发生改变的运动状态改变点，并向跟踪分数计算单元113输入运动状态改变点的时间和与运动状态改变点有关的运动对象信息(步骤A03)。
作为运动对象的运动状态改变点，检测运动矢量的平均值和运动矢量的加速度的平均值超过阈值时的时间，作为改变点。备选地，在运动矢量的阈值处理确定了类别，当前帧所属的类别与前一帧所属的类别不同的情况下，可以检测当前帧的时间，作为改变点。
将运动对象保持匀速运动和匀加速度运动的状态作为静止状态，假设运动对象的运动状态的改变点是特定静止状态开始转变为后续静止状态的点。假设从静止状态到后续静止状态的转变状态包括在后续静止状态中。
拍摄状态改变点检测单元112从接收自视频输入单元100的每个帧获得摄像机运动的运动矢量和由摄像机运动的运动矢量所确定的拍摄状态，作为拍摄信息(步骤A04)。非专利文献1中记载了通过图像处理获得摄像机运动的运动矢量的方法的一个示例。
非专利文献1中记载的方法是：关于相同拍摄中的一组连续帧，从拍摄的第一帧开始检测拐点，并跟踪拐点。可以通过Lucas-Kanade-Tomasi方法来实现拐点的提取和跟踪。
接下来，假设摄像机运动可以由平行移动x和y方向、扩大/缩小和旋转来表示，基于表达式4所示的摄像技巧模型来计算摄像机运动。
(数值表达式3)
x y = 1 z { 1 - θ θ 1 x ′ y ′ + dx dy } (表达式4)
假设(x，y)是当前帧Fi中拐点处的表观坐标，并假设(x’，y’)是帧Fi的一个单位时间之前的帧Fi’中与拐点跟踪所检测的(x，y)相对应的拐点处的表观坐标。
参数集{z，dx，dy，θ}表示帧Fi与帧Fi’之间的摄像机运动，z表示扩大/缩小参数，dx和dy分别表示x和y方向的平移运动，θ表示旋转参数。
上述模型的前提是旋转角θ较小，可以在摄像机在旋转方向中的运动可忽略的情况下使用。扩大/缩小操作表示缩/放或推移，平行移动表示跟拍、吊拍、摇摄和斜拍中的任何一种。
可以通过将与拐点相对应的两个对应对{(x，y)，(x’，y’)}代入表达式4来计算参数集{z，dx，dy，θ}。
可能作为参数集计算方法是通过使用由于可靠性较高而被选择作为拐点的两个拐点来计算参数集的方法。
为了抑制运动对象的局部运动所产生的影响，存在选择在与拐点相对应的所有组合对中计算的参数集组中最经常使用的参数集的方法，以及选择在与拐点相对应的所有组合对中计算的参数集组的中间值的方法。
作为计算参数集的方法，可以使用上述方法中的任何一种或其他方法。
可以通过转换为绝对坐标(X，Y)和(X’，Y’)的当前帧Fi的中心点Oi的表观位置(x，y)与Oi单位时间之前的中心点Oi’的表观位置(x’，y’)之间的差，来计算摄像机运动的运动矢量之中的与摄像机的图像拾取平面平行方向的运动分量。扩大和缩小方向的分量与参数z相对应。
使用摄像机运动的运动矢量，按照下面所述的方式来确定拍摄状态。
例如，使用从数个过去的帧中计算的摄像机运动的运动矢量的平均值。
备选地，可以通过运动矢量的大小的阈值处理来定义诸如“高速率”、“中等速率”和“低速度”的类别。
可以通过运动矢量的方向的阈值处理来定义诸如“镜头右转(向右跟拍)”、“镜头左转(向左跟拍)”、“仰摄(推摄)”、“俯摄(向下拍摄low boom)”、“静止”、“缩放(扩大)”、“缩放(缩小)”的类别。
备选地，可以基于数个过去的帧中摄像机运动的运动矢量来计算当前帧中的加速度，并使用在数个过去的帧中计算的加速度的平均值。
在当前帧中以摄像机运动的运动矢量u’来进行拍摄和在Δt前的帧中以运动矢量u进行拍摄的情况下，通过表达式3，获得加速度α。
摄像机运动的运动矢量和拍摄状态可以根据各种传感器的操作历史和预先安装在摄像机上的缩放功能来获得，或者使用其他方法来获得。
拍摄状态改变点检测单元112检测拍摄状态发生改变的拍摄状态改变点。当检测到拍摄状态改变点时，向跟踪分数计算单元113输入拍摄状态改变点的时间和与拍摄状态改变点有关的拍摄信息。在未检测到拍摄状态改变点时，执行步骤A01(步骤A05)。
检测摄像机运动的运动矢量的平均值或者运动矢量的加速度的平均值超过阈值的时间，作为拍摄状态改变点。
备选地，在运动矢量的阈值处理定义了类别，当前帧所属的类别与前一帧所属的类别不同的情况下，可以检测当前帧的时间，作为改变点。
将摄像机运动保持匀速或匀加速度的状态作为静止状态，假设摄像机状态改变点是特定静止状态开始转变为后续静止状态的点。假设从静止状态到后续静止状态的转变状态包括在后续静止状态中。
当从拍摄状态改变点检测单元112输入拍摄状态改变点的时间时，跟踪分数计算单元113计算输入时间与已经从运动状态改变点检测单元111输入的运动状态改变点的时间之间的与每个运动对象有关的时间差(步骤A06)。
关于每个运动对象，根据在拍摄状态改变点的时间之前的最接近时间所检测到的运动状态改变点来计算时间差。
备选地，还可以根据在拍摄状态改变点的时间之前所检测到的运动状态改变点中运动状态与拍摄状态类似的运动状态改变点，来计算时间差。
还可以根据在拍摄状态改变点的时间之前所检测到的运动状态改变点之中，从拍摄状态改变点的时间起的一小段时间Δt之后所预测的运动对象的绝对坐标系中的位置在Δt后变为帧图像上的点的运动状态的运动状态改变点，来计算时间差。
跟踪分数计算单元113基于时间差来计算跟踪分数，以将跟踪分数和运动对象信息输入跟踪确定单元114(步骤A07)。
运动对象i的跟踪分数Ri被定义为：在运动对象i为跟踪对象的概率较高，且运动对象i为非跟踪对象的概率较低时，呈现较高的值。
例如，如表达式5所示，可以将该值计算为运动对象i为跟踪对象的概率与运动对象i为非跟踪对象的概率之比。ρ(i是跟踪对象|Di)表示在时间差为Di时运动对象i为跟踪对象的概率。
(数值表达式4)
(表达式5)
表达式5可以按照贝叶斯定理展开。ρ(Di|i是跟踪对象)表示在运动对象i为跟踪对象时时间差为Di的概率。
(数值表达式5)
Figure BPA00001444854500151
(表达式6)
在相同帧中包括N个运动体时，Ri将计算如下。
(数值表达式6)
Figure BPA00001444854500152
(表达式7)
假定j是从1≤i≤N(j≠i)的N-1个值，表示每个运动对象的ID。
ρ(Di|i是非跟踪对象)表示在运动对象为非跟踪对象时时间差为Di的概率。假定关于非跟踪对象i，每个时间差Di均匀出现(均匀分布)，则ρ(Di|i是非跟踪对象)是常数。
假设Di的可能范围(通常约为几秒)，ρ(Di|i是非跟踪对象)是有限值。
ρ(j是跟踪对象)表示j是跟踪对象的提前概率。假设每个运动对象(j＝i至N)为跟踪对象的概率是相等的，则ρ(i是跟踪对象)和所有j的ρ(j是跟踪对象)是(1-C)/N。
C表示拍摄状态变为不再跟踪的概率的常数，是基于统计法设置的。
wi表示加权系数：在运动对象i的运动方向和摄像机的拍摄方向类似的情况下为1，否则为0。
根据上述内容，假设表达式7的分母为常数C’。
可以按照下述函数来计算ρ(Di|i是跟踪对象)。
(1)使用基于统计法的函数的方法
时间差对应于摄像者从识别了运动对象的运动状态发生改变到摄像机的拍摄状态发生改变的反应速度。因此，基于普通人类反应速度来设置函数。
例如，ρ(Di|i是跟踪对象)可以由图7所示的函数表示。以普通人类反应速度的模式为T1，在时间差为T1时图7的函数G1(t)为100％，在时间差为0时图7的函数G1(t)为0％。结果，响应于运动对象的运动改变而改变拍摄状态之前的时间越接近普通人类反应速度，可以计算的值越高。
还可以基于关于摄像者固有的反应速度的统计法来设置函数。结果，可以计算根据摄像者的习惯的值。
(2)使用基于屏幕上运动对象的位置和速率的函数的方法
时间差根据屏幕上运动对象的位置和速率而改变。例如，在位于屏幕的右侧的运动对象向右改变其运动时，摄像者以短时间差来改变拍摄状态，以便捕捉屏幕上的运动对象。
相反，当位于屏幕中心的运动对象改变其运动时，运动对象运动到屏幕之外的时间比位于右侧的运动对象向右改变其运动的情况下的时间更长，因此时间差将较大。
假设基于上述属性，时间差根据屏幕上运动对象的位置和速率而改变，则在表观位置(x，y)运动以具有表观运动矢量u的运动对象i是跟踪对象时，可以通过使用时间差是Di的概率ρ(Di|i是跟踪对象，(x，y)，u)，如下来计算ρ(Di|i是跟踪对象)。
(数值表达式7)
Figure BPA00001444854500161
(表达式8)
ρ((x，y)，u)表示运动对象在视频中的表观位置(x，y)以表观运动矢量u出现的概率，在假设运动对象以每个速率出现在每个位置的概率都相等的情况下，可以将ρ((x，y)，u)当作常数值处理。
ρ(Di|i是跟踪对象，(x，y)，u)还可以按照以下方式获得。例如，假设在运动对象的运动状态发生改变时运动对象的重心的表观位置坐标是(x1，y1)，则如图8所示，帧的宽度是W，高度是H。在这种情况下，表观运动矢量u可以表示为(x1，y1)与预定单位时间之前(x1，y1)所存在的表观位置坐标(x1’，y1’)之间的差。
假设运动对象以运动矢量u进行匀速线性运动，则在运动对象的重心的坐标设置为起始点且与运动矢量u平行绘制的直线和帧之间的交点表示为(x2，y2)时，运动对象运动到屏幕之外所需的时间T2表示如下。
(数值表达式8)
Figure BPA00001444854500171
(表达式9)
在这种情况下，可以使用图9和图10所示的函数G2来表示ρ(Di|i是跟踪对象，(x，y)，u)。
在T2＞T1时，摄像者检测到在运动对象在屏幕上变为不可捕获之前有时间，因此很可能他/她以长于T1但短于T2的时间差来改变拍摄状态。在运动对象在屏幕上变为不可捕获的时间T2之后拍摄状态才改变的概率较低。结果，可以如图9所示来表示函数G2。
另一方面，在T2＜T1时，由于摄像者难以在运动对象在屏幕上变为不可捕获之前改变拍摄状态，因此很可能拍摄状态以人类反应速度T1进行改变。由于在运动对象改变其运动的时间T1之后，运动对象已经在屏幕之外，所以拍摄状态在T1之后才改变的概率较低。因此，可以如图10所示来表示函数G2。
(3)使用基于屏幕上运动对象的大小的函数的方法
时间差根据屏幕上运动对象的大小而改变。例如，当大运动对象的运动状态发生改变时，由于摄像者可迅速注意到运动，因此他/她以短的时间差来改变拍摄状态。
另一方面，当小运动对象的运动状态发生改变时，注意到改变的时间比大运动对象的情况的时间长，因此，时间差较大。
假设基于上述属性，时间差根据屏幕上运动对象的大小而改变，则可以通过使用在表观大小为s的运动对象i为跟踪对象时、时间差为Di的概率ρ(Di|i是跟踪对象，s)，如下来计算ρ(Di|i是跟踪对象)。
(数值表达式9)
(表达式10)
ρ(s)表示运动对象在视频中以表观大小s出现的概率，在假设运动对象以每个大小出现的概率都相等的情况下，可以将ρ(s)当作常数值处理。
ρ(Di|i是跟踪对象，s)可以使用图11和图12所示的函数G3来表示。运动对象的表观大小表示为s，出现在视频中的运动对象的平均大小表示为S。
在s＜S的情况下，摄像者未注意到运动对象的运动状态的改变，因此很可能他或她以大于反应速度T1的时间差来改变拍摄状态。因此，可以如图11所示来表示函数G3。
另一方面，在s＞S的情况下，尽管摄像者迅速注意到运动对象的运动状态的改变，但是由于难以以比人类反应速度T1还短的时间差来改变拍摄状态，所以很可能他或她以人类的反应速度T1来改变拍摄状态。因此，可以如图12所示来表示函数G3。
在运动对象i是跟踪对象时，时间差为Di的概率ρ(Di|i是跟踪对象)可以使用(1)、(2)和(3)的函数来表示，或者使用除(1)、(2)和(3)之外的其他函数来表示。
将描述跟踪分数计算单元113的操作的一个示例。
将在以下情况下结合图4和图13进行说明：在步骤A06处，关于每个运动对象，根据在拍摄状态改变点的时间之前所检测到的最接近时间处的运动状态改变点来计算时间差，以使用函数G1。
在时间t1检测到拍摄状态改变点时，根据图4，计算与运动对象A相关的物体A的运动状态改变点sA1与时间t1之间的时间差DA1(＝t1-sA1)。相应地，时间t1处运动对象A的跟踪分数是RA1(＝ρA1/C’)。跟踪分数计算单元113向跟踪确定单元114输入{RA1，时间sA1处运动对象A的运动对象信息}。
当在时间t2处检测到拍摄状态时，基于与运动对象A相关的时间差DA2(＝t2-sA2)，计算运动对象A的跟踪分数RA2(＝ρA2/(C’+ρB0))。基于与运动对象B相关的时间差DB0(＝t2-sB0)，计算时间t2处运动对象B的跟踪分数RB0(＝ρB0/(C’+ρA2))。
跟踪分数计算单元113向跟踪确定单元114输入{RA2，时间sA2处运动对象A的运动对象信息}和{RB0，时间sB0处运动对象B的运动对象信息}。
接下来，按照相同的方式，在检测到拍摄状态改变点时，计算时间t3、t4和t5处的每个运动对象的跟踪分数，并将跟踪分数和运动对象信息作为计算结果输入至跟踪确定单元114。
当从跟踪分数计算单元113获得了跟踪分数和运动对象信息时，跟踪确定单元114基于跟踪分数来计算每个运动对象是否是跟踪对象，并将确定结果和运动对象信息输入至确定结果输出单元120(步骤A07)。
确定是否是跟踪对象是通过确定跟踪分数大于预定阈值的运动对象作为跟踪对象来进行的。
例如，当RA0至RA5不小于阈值且RB0不大于阈值时，确定运动对象A在拍摄状态改变点t1、t2、t3、t4和t5处是跟踪对象，运动对象B在拍摄状态改变点t2处是非跟踪对象。
确定结果输出单元120输出跟踪确定单元114所应用的确定结果和运动对象信息。作为输出格式，运动对象ID、运动对象的图像数据、运动对象的运动状态改变点的时间以及确定结果以图14所示的表格式呈现在屏幕上。
备选地，在关于视频的所有帧执行了运动对象的跟踪确定之后总地显示所有确定结果的方法也是可以的。如图15所示，总地在屏幕上呈现相同的运动对象ID。
备选地，还可以比较具有不同ID的运动物体的图像数据，之后向相似度在阈值内的图像数据新应用相同ID，总地在屏幕上呈现相同ID的确定结果。
确定运动物体的图像数据之间的相似度可以通过以下方法实现：当图像数据之间的色差不大于阈值时，确定图像数据是类似的；或者，计算诸如颜色柱状图、边缘特征量和颜色分散性的图像数据的图像特征量，并在图像特征量不大于阈值时确定图像数据是类似的。作为图像数据，可以选择运动对象的图像数据之中的最平均的图像数据。
备选地，以被确定为跟踪对象的每个运动对象的图像数据作为模板，从输入视频中检测运动对象出现区间，并进行再现。结果，用户可以观看和聆听在视频中至少跟踪和捕获一次的运动对象出现的所有视频区间。
备选地，还可以在相同运动对象出现的区间中选择运动对象的图像数据最大的区间、运动对象的速度最小的区间、某种摄像技巧固定的区间、或者摄像技巧的速率最低的区间，以再现所选区间，或者将所选区间的中心帧呈现为代表性图像。结果，用户可以观看和聆听很容易捕获每个跟踪对象或检查代表性图像的视频。
[第一示例性实施例的效果]
接下来，描述本示例性实施例的效果。
在根据现有技术的方法中，基于作为具有与摄像机的运动所产生的运动矢量不同的运动矢量的图像区域的运动区域的分布状态来确定运动对象是否是跟踪对象。因此，当由于运动对象的速度和摄像机的速度不同因而运动区域的分布不满足“总是持续存在”的属性时，不可能确定作为运动区域集合的运动对象是目标对象。
另一方面，在本示例性实施例中，基于运动对象的运动状态的改变的时间和拍摄状态的改变的时间之间的差来确定运动对象是否是跟踪对象。
因此，可以获得如下效果：由于拍摄镜头较短从而拍摄在摄像机速度变得与运动对象的速度相等之前结束，由于运动对象持续进行不可预测运动而使得摄像者无法预测运动对象的移动目的地，或者由于在跟踪拍摄期间摄像机速度改变(例如在使用长焦摄像机进行拍摄)，在运动对象未持续出现在屏幕上的固定位置的情况下，根据运动对象的运动的改变时间与拍摄状态的改变时间之间的时间差，确定运动对象是跟踪对象。
此外，由于在根据现有技术的方法中，基于视频区间中可以稳定地跟踪运动对象的部分区间的速率来确定运动对象是否是跟踪对象，所以不可能在摄像机沿固定方向运动的同时执行拍摄的情况下在视频区间结束之前确定运动对象是跟踪对象。
另一方面，根据本示例性实施例，由于基于运动对象的运动状态的改变时间与拍摄状态的改变时间之间的差来确定运动对象是否是跟踪对象，所以可以在摄像机沿固定方向运动的同时执行拍摄的情况下在视频区间结束之前确定运动对象是跟踪对象。
[第二示例性实施例]
接下来，将参考附图来详细说明本发明的第二示例性实施例。
参考图16，本发明的第二示例性实施例除了本发明的第一示例性实施例中的组件之外，还包括跟踪确定程序。
跟踪确定程序230被读入数据处理设备210，以控制数据处理设备210的操作，并向确定结果输出单元220输出数据处理设备210中的单元所获得的确定结果。
数据处理设备210在跟踪确定程序230的控制之下执行与第一示例性实施例中的数据处理设备110相同的处理。
[第二示例性实施例的效果]
本示例性实施例通过外部程序产生执行跟踪对象确定的效果。
[第一示例]
接下来，将参考特定示例来说明本发明的跟踪对象确定设备的操作。
本示例对应于本发明的第一示例性实施例。在本示例中，示出了本发明的跟踪对象确定设备应用于通过跟踪和拍摄向右走的人A突然停止并开始向右跑所获得的视频的示例。
[结构的说明]
图17示出了输入视频的概要。在屏幕中心的人A在时间t0开始走动。在时间t3停止并保持静止之后，人A在t6开始向右跑。
摄像者注意到人A开始运动，并且在时间t1以与人A的走动速率相等的速率操作摄像机。响应于人A在时间t4静止，在t5使摄像机逆时针运动，并且在t6在帧的中心处捕获了人A之后，使摄像机静止。响应于人A在时间t7开始跑步，以加速度开始操作摄像机，在时间t8在屏幕上捕获人A，并且在时间t8之后以与人的跑步速率相等的速率来操作摄像机。
如图18所示，根据本示例，提供了视频输入终端作为视频输入单元，个人计算机作为数据处理设备，以及显示器作为视频输出设备。
个人计算机具有中央处理单元，用作移动状态改变点检测单元、人拍摄状态改变点检测单元、人跟踪分数计算单元和人跟踪确定单元。
[操作的说明]
现在假设从视频输入终端应用形成视频的每个帧。
中央处理单元的移动状态改变点检测单元从输入帧中检测人区域，并提取人的ID、人区域的图像数据、人的表观位置、人的运动矢量和人的移动状态，作为人的信息。人的移动状态表示由人的运动矢量所确定的状态，假设每个状态由运动矢量的方向和速率来确定。
当人的移动状态在输入帧中发生改变时，移动状态改变点检测单元向人跟踪分数计算单元输入时间和人的信息。
用于检测人区域的手段包括使用从整个人区域获得的信息的方法。可以是例如如下方法：将各个人出现的图像存储为模板，并在输入图像与模板之间的差不大于阈值时确定人在输入图像中存在。
另一种可能的方法是：预先存储组合了颜色信息(例如皮肤颜色)和边缘方向或密度的模型，并在从输入帧中检测到与模型类似的区域时，确定人存在。
在统计学习从对大量的人区域图像和非人区域图像的采样的学习中获得的特征量分布，并确定从输入图像所获得的特征量所属的人区域图像或非人区域图像的分布的方法中，包括使用神经网络、支持向量机和Adaboost的方法。
另外可能的方法是使用人的脸部信息的方法。这些方法包括例如：在非专利文献2中公开的方法，通过使用利用脸部(头部)的轮廓是椭圆形且眼睛和鼻子具有细长的形状的事实而产生的模板，来检测脸部；利用辉度分布的特征(脸颊或额头部分具有高辉度而眼睛或鼻子部分具有低辉度)的脸部检测方法；以及使用脸部或肤色区域和位置的对称性来检测脸部的方法。
还可以在通过上述示例或其他方法检测到人的脸部时，确定脸部和脸部的下部中的固定区域作为人区域。作为检测人的方法，可以使用上述示例，或者可以应用其他方法。
非专利文献2中公开了人区域检测手段的现有技术。
在基于模板的方法用于人区域检测手段时，通过下面的过程来应用人ID。
首先，以预先注册的各个人出现的图像作为模板，将“人A”应用于在时间t0从图像帧检测到的人区域。新注册被检测作为模板的人A的图像，并且在随后检测到的或接下来的帧中的人区域与人A的图像类似时，应用相同ID“人A”。当该区域与人A的图像不类似时，应用新的ID。
假设人区域的图像数据是包括人区域检测单元所检测的人区域在内的矩形区域。
假设人的表观位置是帧图像中人区域的重心坐标。
可以通过使用下面给出的模板的方法来提取人区域的运动矢量。
从输入帧Fi中检测人区域，以获得包括人区域的矩形区域，作为模板。关于帧Fj(j＞i)，在帧Fi上扫描以人区域的重心坐标为中心的固定范围，并检测与模板类似的区域，以获得所检测区域的重心坐标。
获得帧Fi和Fj中从摄像机初始状态到摇摄方向和倾斜方向的转动的角度，并通过将所获得的角度代入表达式2来获得帧Fi和Fj中人区域的重心的位置的绝对坐标，以基于所获得的位置之间的差来计算人A的运动矢量。
从摄像机初始状态到摇摄方向和倾斜方向的转动的角度可以通过安装在摄像机上的GPS或角速度传感器来获得。
假设人区域的运动状态是每一个都是在数个过去的帧中检测到的运动矢量的平均值，并且检测平均值改变大于预先设置的阈值的时间，作为运动状态改变点。图17示出了人区域的移动状态的示例。
在输入视频的情况下，移动状态改变点检测单元获得时间t0处的人的运动矢量uA0、时间t3处的人的运动矢量uA1以及时间t6处的人的运动矢量uA2。在时间t0、t3和t6检测人A的移动状态改变点，并每次都将时间和人信息输入至人跟踪分数计算单元。
人拍摄状态改变点检测单元从输入帧中获得摄像机运动的运动矢量和拍摄状态，作为拍摄信息。
从安装在摄像机上的角速度传感器获得拍摄信息。检测摄像机运动的运动矢量改变大于阈值的时间点，以作为拍摄状态改变点。当输入帧对应于拍摄状态改变点时，向人跟踪分数计算单元输入拍摄状态改变点的时间和与拍摄状态改变点有关的拍摄信息，并在输入帧不是拍摄状态改变点时，从视频输入终端输入后续帧。
人拍摄状态改变点检测单元在时间t0获得v0，在时间t1获得v1，在时间t2获得v2，在时间t4获得v3，在时间t5获得v4，在时间t7获得v5，在时间t8获得v6，作为摄像技巧的速率。图17示出了拍摄状态的一个示例。
当从人拍摄状态改变点单元检测到输入了拍摄状态改变点的时间时，人跟踪分数计算单元计算与每个人有关的输入时间与已经从移动状态改变点检测单元输入的移动状态改变点的时间之间的时间差。基于时间差来计算人的跟踪分数，以向人跟踪确定单元输入跟踪分数和人的信息。
计算拍摄状态改变点的时间与移动状态改变点的时间之间的时间差，该移动状态改变点是：在人拍摄状态改变点的时间之前所检测到的移动状态改变点之中，从拍摄状态改变点的时间起的一小段时间Δt之后所预测的人的绝对坐标系中的位置在Δt后变为帧图像上的点的移动状态的移动状态改变点。
将结合图19来描述用于计算时间差的拍摄状态改变点与移动状态改变点之间的组合。
在时间t1处检测到拍摄状态改变点时，确定是否计算与在t1之前检测到的移动状态改变点t0的时间差。以时间0处人的绝对坐标系中的位置作为Q0，将时间t1+Δt处人的绝对坐标系中的位置Q1表示为Q0+(t1+Δt)*uA0。
另一方面，以时间t0的帧的中心作为O0，时间t1+Δt的帧图像的中心位置可以移动到O0+v1*Δt。在这种情况下，存在Δt(＜TH2)，其中{Q0+(t1+Δt)*uA0}＝{O0+v1*Δt+TH1}，计算拍摄状态改变点t1与移动状态改变点t0之间的时间差D0(＝t1-t0)。
TH1表示与在Δt之后存在运动对象的屏幕的中心的距离，用户预先在位于中心时设置TH1为0，并且在位于屏幕左侧或右侧时设置TH1为W。TH2表示在运动对象是跟踪对象时在Δt之后在位置TH1处捕获跟踪对象的时间差。对于TH1，一般可以设置2秒或3秒。
以输入视频中TH1＝0，由于Q0＝O0，因此Δt＝uA0/(v1-uA0)成立。当Δt是几秒时，计算拍摄状态改变点t1与移动状态改变点t0之间的时间差。
当在时间t2检测到拍摄状态改变点时，确定是否计算与在t2之前检测到的移动状态改变点t0的时间差。在Δt之后人A的绝对坐标系中的位置是Q0+(t2+Δt)*uA0。
另一方面，时间t2+Δt处帧图像的中心位置是O0+(t2-t1)*v1+v2*Δt。此时，由于uA0＝v2，{Q0+(t2+Δt)*uA0}＝{O0+(t2-t1)*v1+v2*Δt}在任意Δt均成立，因此计算拍摄状态改变点t2与移动状态改变点t0之间的时间差D1(＝t2-t0)。
类似地，计算时间t4处的时间差D2、时间t5处的时间差D3、时间t6处的时间差D4、时间t8处的时间差D5。
使用函数G2，基于屏幕上运动对象的位置和速率，按照下面描述的方式，计算跟踪分数。
基于在拍摄状态改变点t1与移动状态改变点t2之间计算的时间差，以如下方式计算跟踪分数R0。由于在时间t0，人A的表观位置是屏幕的中心，人的表观速度是uA0，根据表达式9，人A变为在屏幕上不可捕获之前的时间T表示为W/(2*|uA0|)。
因此，使用图9所示的函数。图20示出了该函数。由于在时间t1，时间差是D0，人的跟踪分数将为R0(＝ρ0/C’)。向人跟踪确定单元输入{R0，时间t0的人A的移动信息}。
在时间t2，基于在拍摄状态改变点t2与移动状态改变点t1之间计算的时间差，按照下述方式来计算跟踪分数R1。由于在时间t0，人A的表观位置是屏幕的中心，并且人A的表观速度是uA0，因此使用图20所示的函数。由于在时间t2，时间差是D1，人的跟踪分数将为R1(＝ρ1/C’)。向人跟踪确定单元输入{R1，时间t0的人A的移动信息}。
在时间t4，基于在拍摄状态改变点t3与移动状态改变点t2之间计算的时间差，按照下述方式来计算跟踪分数R2。由于在时间t3，人A的表观位置是屏幕的中心，并且人A的表观速度是-v2(＝-uA0)，因此使用图20所示的函数。
由于在时间t4，时间差是D2，跟踪分数将为R2(＝ρ2/C’)。向人跟踪确定单元输入{R2，时间t3的人A的移动信息}。
类似地，基于时间差D3来计算跟踪分数R3(＝ρ3/C’)，并向人跟踪确定单元输入{R3，时间t3的人A的移动信息}。
在时间t7，基于在拍摄状态改变点7与移动状态改变点t6之间计算的时间差，按照下述方式来计算跟踪分数R4。由于在时间t6，人A的表观位置是屏幕的中心，并且人A的表观速度是uA2，根据表达式9，人变为在屏幕上不可捕获之前的时间T’表示为W/(2*|uA2|)。
因此，使用图21所示的函数。由于|uA2|＞|uA0|，因此T’＜T成立。由于时间t7处的时间差为D4，人的跟踪分数将为R4(＝ρ4/C’)。向人跟踪确定单元输入{R4，时间t6的人A的移动信息}。
类似地，在时间t8，基于时间差D5，计算跟踪分数R5(＝ρ5/C’)，以向人跟踪确定单元输入{R5，时间t6的人A的移动信息}。
在输入跟踪分数和人的信息时，在跟踪分数大于预先确定的阈值Rth时，人跟踪确定单元确定人A是跟踪对象。人跟踪确定单元向显示器输入跟踪确定结果和人的信息。
在显示器上，总地显示与人ID、图像、出现时间和确定结果有关的整个视频的确定结果。图22示出了显示确定结果的一个示例。
在图像中显示基于与所有移动状态改变点有关的人A的人信息，移动状态以人A的最小速度改变的图像数据。结果，可以显示没有由于人A的运动而导致的运动模糊的图像。
作为出现时间，总地显示人A的所有移动状态改变点的时间。作为确定结果，显示“跟踪”。
尽管上面参考优选示例性实施例和示例描述了本发明，但是本发明并不一定局限于上述示例性实施例和示例，而可以在不背离其技术思想的范围内进行修改。
工业适用性
本发明适用于跟踪对象确定设备，以及用于在计算机上实现跟踪对象确定设备的程序，跟踪对象确定设备确定出现在视频中的运动对象是否是跟踪对象，产生出现在视频中的跟踪对象列表，以便产生概述视频，利用概述视频，通过指定跟踪对象出现在其中的区间，可以捕获跟踪对象，或者以便提取代表性图像组，在代表性图像组中，通过从跟踪对象出现的区间中选择清楚地呈现跟踪对象的帧，可以捕获跟踪对象。本发明还可用作跟踪对象确定设备，以用于选择视频区间，以基于家庭录像或素材视频中的跟踪对象，来组织、分类和编辑视频。
通过引用并入的文献
本申请基于并要求2009年3月31日提交的日本专利申请No.2009-085963的优先权，通过引用将其公开全部并入在此。

Claims (39)

1.一种跟踪对象确定设备，包括：
单元，基于由运动对象的运动矢量所确定的运动状态发生改变的时间与由摄像机运动的运动矢量所确定的拍摄状态发生改变的时间之间的时间差，确定所述运动对象是否为摄像者所跟踪。
2.根据权利要求1所述的跟踪对象确定设备，包括：
运动状态改变点检测单元，检测运动状态改变点，作为由运动对象的运动矢量所确定的运动状态发生改变的时间；
拍摄状态改变点检测单元，检测拍摄状态改变点，作为由所述视频的摄像机运动的运动矢量所确定的拍摄状态发生改变的时间；
跟踪分数计算单元，利用所述拍摄状态改变点的时间与所述运动状态改变点的时间之间的差作为所述运动对象的时间差，基于所述运动对象的时间差来计算所述运动对象的跟踪分数；以及
跟踪对象确定单元，基于所述运动对象的跟踪分数来确定所述运动对象是否是跟踪对象。
3.根据权利要求2所述的跟踪对象确定设备，其中，所述运动状态改变点检测单元从输入帧中检测摄像机的操作所产生的运动矢量，作为摄像机运动的运动矢量，并基于运动对象的真实空间中的速度改变量来检测运动状态改变点，运动对象的真实空间是以与摄像机运动的所述运动矢量不同的运动矢量运动的区域。
4.根据权利要求2或3所述的跟踪对象确定设备，其中，所述拍摄状态改变点检测单元从输入帧中检测摄像机的操作所产生的运动矢量，作为摄像机运动的运动矢量，并基于所述摄像机运动的运动矢量的改变量来检测拍摄状态改变点。
5.根据权利要求3或4所述的跟踪对象确定设备，其中，所述运动状态改变点检测单元基于安装在摄像机上的GPS或角速度传感器所获得的摄像机的位置移动量来计算所述摄像机运动的运动矢量。
6.根据权利要求3或4所述的跟踪对象确定设备，其中，从输入帧的每个部分区域来检测运动矢量，并根据方向和大小的相似度来将所述运动矢量组成组，以将属于最大组的运动矢量的代表性矢量当作所述运动矢量或摄像机运动。
7.根据权利要求2至6之一所述的跟踪对象确定设备，其中，所述跟踪分数计算单元计算拍摄状态改变点的时间与在所述拍摄状态改变点的时间之前检测到的运动状态改变点之间的时间差。
8.根据权利要求2至6之一所述的跟踪对象确定设备，其中，所述跟踪分数计算单元计算拍摄状态改变点的时间与在所述拍摄状态改变点的时间之前检测到的运动状态改变点之中的最接近的运动状态改变点的时间之间的时间差。
9.根据权利要求2至6之一所述的跟踪对象确定设备，其中，所述跟踪分数计算单元计算拍摄状态改变点的时间与在所述拍摄状态改变点的时间之前检测到的运动状态改变点之中的运动对象的运动状态与所述拍摄状态改变点处的拍摄状态最相似的运动状态改变点的时间之间的时间差。
10.根据权利要求2至6之一所述的跟踪对象确定设备，其中，所述跟踪分数计算单元计算拍摄状态改变点的时间与运动状态改变点的时间之间的时间差，其中运动状态改变点是：在所述拍摄状态改变点的时间之前所检测到的运动状态改变点之中，从拍摄状态改变点的时间起的一小段时间Δt之后所预测的绝对坐标系中运动对象的位置在Δt后变为帧图像上的点的运动状态的运动状态改变点。
11.根据权利要求2至10之一所述的跟踪对象确定设备，其中，所述跟踪分数计算单元基于所述运动对象的时间差和在特定运动状态下跟踪和拍摄跟踪对象所需的时间的已知知识，来计算跟踪分数。
12.根据权利要求2至10之一所述的跟踪对象确定设备，其中，所述跟踪分数计算单元基于所述运动对象的时间差和在特定运动状态下跟踪和拍摄跟踪对象所需的时间的已知知识，来计算跟踪分数，所述特定运动状态包括特定大小、特定位置和特定速率中的任何一个。
13.根据权利要求2至12之一所述的跟踪对象确定设备，其中，在跟踪分数不小于预定阈值时，所述跟踪对象确定单元确定运动对象是跟踪对象。
14.一种跟踪对象确定方法，包括：
基于由运动对象的运动矢量所确定的运动状态发生改变的时间与由摄像机运动的运动矢量所确定的拍摄状态发生改变的时间之间的时间差，确定所述运动对象是否为摄像者所跟踪。
15.根据权利要求14所述的跟踪对象确定方法，包括：
运动状态改变点检测步骤，检测运动状态改变点，作为由运动对象的运动矢量所确定的运动状态发生改变的时间；
拍摄状态改变点检测步骤，检测拍摄状态改变点，作为由所述视频的摄像机运动的运动矢量所确定的拍摄状态发生改变的时间；
跟踪分数计算步骤，利用所述拍摄状态改变点的时间与所述运动状态改变点的时间之间的差作为所述运动对象的时间差，基于所述运动对象的时间差来计算所述运动对象的跟踪分数；以及
跟踪对象确定步骤，基于所述运动对象的跟踪分数来确定所述运动对象是否是跟踪对象。
16.根据权利要求15所述的跟踪对象确定方法，其中，在所述运动状态改变点检测步骤中，从输入帧中检测摄像机的操作所产生的运动矢量，作为摄像机运动的运动矢量，并基于运动对象的真实空间中速度改变量来检测运动状态改变点，运动对象的真实空间是以与摄像机运动的所述运动矢量不同的运动矢量运动的区域。
17.根据权利要求15或16所述的跟踪对象确定方法，其中，在所述拍摄状态改变点检测步骤中，从输入帧中检测摄像机的操作所产生的运动矢量，作为摄像机运动的运动矢量，并基于所述摄像机运动的运动矢量的改变量来检测拍摄状态改变点。
18.根据权利要求16或17所述的跟踪对象确定方法，其中，在所述运动状态改变点检测步骤中，基于安装在摄像机上的GPS或角速度传感器所获得的摄像机的位置移动量来计算所述摄像机运动的运动矢量。
19.根据权利要求16或17所述的跟踪对象确定方法，其中，从输入帧的每个部分区域来检测运动矢量，并根据方向和大小的相似度来将所述运动矢量组成组，以将属于最大组的运动矢量的代表性矢量当作所述运动矢量或摄像机运动。
20.根据权利要求15至19之一所述的跟踪对象确定方法，其中，在所述跟踪分数计算步骤中，计算拍摄状态改变点的时间与在所述拍摄状态改变点的时间之前检测到的运动状态改变点之间的时间差。
21.根据权利要求15至19之一所述的跟踪对象确定方法，其中，在所述跟踪分数计算步骤中，计算拍摄状态改变点的时间与在所述拍摄状态改变点的时间之前检测到的运动状态改变点之中的最接近的运动状态改变点的时间之间的时间差。
22.根据权利要求15至19之一所述的跟踪对象确定方法，其中，在所述跟踪分数计算步骤中，计算拍摄状态改变点的时间与在所述拍摄状态改变点的时间之前检测到的运动状态改变点之中的运动对象的运动状态与所述拍摄状态改变点处的拍摄状态最相似的运动状态改变点的时间之间的时间差。
23.根据权利要求15至19之一所述的跟踪对象确定方法，其中，在所述跟踪分数计算步骤中，计算拍摄状态改变点的时间与运动状态改变点的时间之间的时间差，其中运动状态改变点是：在所述拍摄状态改变点的时间之前所检测到的运动状态改变点之中，从拍摄状态改变点的时间起的一小段时间Δt之后所预测的绝对坐标系中运动对象的位置在Δt后变为帧图像上的点的运动状态的运动状态改变点。
24.根据权利要求15至23之一所述的跟踪对象确定方法，其中，在所述跟踪分数计算步骤中，基于所述运动对象的时间差和在特定运动状态下跟踪和拍摄跟踪对象所需的时间的已知知识，来计算跟踪分数。
25.根据权利要求15至23之一所述的跟踪对象确定方法，其中，在所述跟踪分数计算步骤中，基于所述运动对象的时间差和在特定运动状态下跟踪和拍摄跟踪对象所需的时间的已知知识，来计算跟踪分数，所述特定运动状态包括特定大小、特定位置和特定速率中的任何一个。
26.根据权利要求15至25之一所述的跟踪对象确定方法，其中，在所述跟踪对象确定步骤中，在跟踪分数不小于预定阈值时，确定运动对象是跟踪对象。
27.一种跟踪对象确定程序，使计算机执行以下处理：
基于由运动对象的运动矢量所确定的运动状态发生改变的时间与由摄像机运动的运动矢量所确定的拍摄状态发生改变的时间之间的时间差，确定摄像者是否跟踪运动对象。
28.根据权利要求27所述的跟踪对象确定程序，使计算机执行：
运动状态改变点检测处理，检测运动状态改变点，作为由运动对象的运动矢量所确定的运动状态发生改变的时间；
拍摄状态改变点检测处理，检测拍摄状态改变点，作为由所述视频的摄像机运动的运动矢量所确定的拍摄状态发生改变的时间；
跟踪分数计算处理，利用所述拍摄状态改变点的时间与所述运动状态改变点的时间之间的差作为所述运动对象的时间差，基于所述运动对象的时间差来计算所述运动对象的跟踪分数；以及
跟踪对象确定处理，基于所述运动对象的跟踪分数来确定所述运动对象是否是跟踪对象。
29.根据权利要求28所述的跟踪对象确定程序，其中，在所述运动状态改变点检测处理中，从输入帧中检测摄像机的操作所产生的运动矢量，作为摄像机运动的运动矢量，并基于运动对象的真实空间中的速度改变量来检测运动状态改变点，运动对象的真实空间是以与摄像机运动的所述运动矢量不同的运动矢量运动的区域。
30.根据权利要求28或29所述的跟踪对象确定程序，其中，在所述拍摄状态改变点检测处理中，从输入帧中检测摄像机的操作所产生的运动矢量，作为摄像机运动的运动矢量，并基于所述摄像机运动的运动矢量的改变量来检测拍摄状态改变点。
31.根据权利要求29或30所述的跟踪对象确定程序，其中，基于安装在摄像机上的GPS或角速度传感器所获得的摄像机的位置移动量，来计算所述摄像机运动的运动矢量。
32.根据权利要求29或30所述的跟踪对象确定程序，其中，从输入帧的每个部分区域来检测运动矢量，并根据方向和大小的相似度来将所述运动矢量组成组，以将属于最大组的运动矢量的代表性矢量当作所述运动矢量或摄像机运动。
33.根据权利要求28至32之一所述的跟踪对象确定程序，其中，在所述跟踪分数计算处理中，计算拍摄状态改变点的时间与在所述拍摄状态改变点的时间之前检测到的运动状态改变点之间的时间差。
34.根据权利要求28至32之一所述的跟踪对象确定程序，其中，在所述跟踪分数计算处理中，计算拍摄状态改变点的时间与在所述拍摄状态改变点的时间之前检测到的运动状态改变点之中的最接近的运动状态改变点的时间之间的时间差。
35.根据权利要求28至32之一所述的跟踪对象确定程序，其中，在所述跟踪分数计算处理中，计算拍摄状态改变点的时间与在所述拍摄状态改变点的时间之前检测到的运动状态改变点之中的运动对象的运动状态与所述拍摄状态改变点处的拍摄状态最相似的运动状态改变点的时间之间的时间差。
36.根据权利要求28至32之一所述的跟踪对象确定设备，其中，在所述跟踪分数计算处理中，计算拍摄状态改变点的时间与运动状态改变点的时间之间的时间差，其中运动状态改变点是：在所述拍摄状态改变点的时间之前所检测到的运动状态改变点中，从拍摄状态改变点的时间起的一小段时间Δt之后所预测的绝对坐标系中运动对象的位置在Δt后变为帧图像上的点的运动状态的运动状态改变点。
37.根据权利要求28至36之一所述的跟踪对象确定程序，其中，在所述跟踪分数计算处理中，基于所述运动对象的时间差和在特定运动状态下跟踪和拍摄跟踪对象所需的时间的已知知识，来计算跟踪分数。
38.根据权利要求28至36之一所述的跟踪对象确定程序，其中，在所述跟踪分数计算处理中，基于所述运动对象的时间差和在特定运动状态下跟踪和拍摄跟踪对象所需的时间的已知知识，来计算跟踪分数，所述特定运动状态包括特定大小、特定位置和特定速率中的任何一个。
39.根据权利要求28至38之一所述的跟踪对象确定程序，其中，在所述跟踪对象确定处理中，在跟踪分数不小于预定阈值时，确定运动对象是跟踪对象。
CN201080014387.6A 2009-03-31 2010-03-30 跟踪对象确定设备、跟踪对象确定方法和跟踪对象确定程序 Expired - Fee Related CN102369729B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-085963 2009-03-31
JP2009085963 2009-03-31
PCT/JP2010/055655 WO2010113929A1 (ja) 2009-03-31 2010-03-30 追尾対象判定装置、追尾対象判定方法、および追尾対象判定プログラム

Publications (2)

Publication Number Publication Date
CN102369729A true CN102369729A (zh) 2012-03-07
CN102369729B CN102369729B (zh) 2014-11-05

Family

ID=42828219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080014387.6A Expired - Fee Related CN102369729B (zh) 2009-03-31 2010-03-30 跟踪对象确定设备、跟踪对象确定方法和跟踪对象确定程序

Country Status (4)

Country Link
US (1) US8848979B2 (zh)
JP (1) JP5454570B2 (zh)
CN (1) CN102369729B (zh)
WO (1) WO2010113929A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107665495A (zh) * 2016-07-26 2018-02-06 佳能株式会社 对象跟踪方法及对象跟踪装置
CN107852461A (zh) * 2015-08-12 2018-03-27 高通股份有限公司 用以控制成像过程的系统和方法
CN109257536A (zh) * 2017-07-13 2019-01-22 佳能株式会社 控制设备、摄像设备和存储介质
CN111767782A (zh) * 2020-04-15 2020-10-13 上海摩象网络科技有限公司 一种跟踪目标确定方法、装置和手持相机

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007136745A2 (en) 2006-05-19 2007-11-29 University Of Hawaii Motion tracking system for real time adaptive imaging and spectroscopy
WO2009090804A1 (ja) * 2008-01-18 2009-07-23 Nikon Corporation 画像群の標題付与装置、画像のグループ化装置、画像群の代表画像決定装置、画像表示装置、カメラおよび画像表示プログラム
US9141860B2 (en) 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
JP2012151796A (ja) * 2011-01-21 2012-08-09 Sony Corp 画像処理装置と画像処理方法およびプログラム
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US8259161B1 (en) * 2012-02-06 2012-09-04 Google Inc. Method and system for automatic 3-D image creation
US20130283143A1 (en) 2012-04-24 2013-10-24 Eric David Petajan System for Annotating Media Content for Automatic Content Understanding
US9367745B2 (en) * 2012-04-24 2016-06-14 Liveclips Llc System for annotating media content for automatic content understanding
KR101964861B1 (ko) * 2012-06-29 2019-04-02 삼성전자주식회사 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법
JP6242072B2 (ja) * 2012-09-27 2017-12-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
JP5948200B2 (ja) 2012-09-27 2016-07-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
US8761448B1 (en) * 2012-12-13 2014-06-24 Intel Corporation Gesture pre-processing of video stream using a markered region
JP2014123815A (ja) * 2012-12-20 2014-07-03 Sony Corp 画像処理装置、画像処理方法及び記録媒体
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
EP2950714A4 (en) 2013-02-01 2017-08-16 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
EP3157422A4 (en) 2014-03-24 2018-01-24 The University of Hawaii Systems, methods, and devices for removing prospective motion correction from medical imaging scans
KR102152725B1 (ko) * 2014-05-29 2020-09-07 한화테크윈 주식회사 카메라 제어장치
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
JP6525545B2 (ja) * 2014-10-22 2019-06-05 キヤノン株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US9811732B2 (en) * 2015-03-12 2017-11-07 Qualcomm Incorporated Systems and methods for object tracking
JP6640460B2 (ja) * 2015-03-30 2020-02-05 富士フイルム株式会社 画像撮影装置、画像撮影方法、プログラムおよび記録媒体
JP6539091B2 (ja) * 2015-04-09 2019-07-03 キヤノン株式会社 撮像装置およびその制御方法
US9870620B2 (en) 2015-06-18 2018-01-16 The Johns Hopkins University Non-linear associator and motion discriminator
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
CA3001063C (en) * 2015-10-14 2023-09-19 President And Fellows Of Harvard College A method for analyzing motion of a subject representative of behaviour, and classifying animal behaviour
CN105282521B (zh) * 2015-11-21 2018-09-14 浙江宇视科技有限公司 一种网络摄像机巡航中的运动检测方法及装置
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
WO2017088050A1 (en) * 2015-11-26 2017-06-01 Sportlogiq Inc. Systems and methods for object tracking and localization in videos with adaptive image representation
US10659676B2 (en) * 2015-12-08 2020-05-19 Canon Kabushiki Kaisha Method and apparatus for tracking a moving subject image based on reliability of the tracking state
JP6531689B2 (ja) * 2016-03-22 2019-06-19 株式会社デンソー 移動軌跡検出装置、移動物体検出装置、移動軌跡検出方法
JP6776719B2 (ja) * 2016-08-17 2020-10-28 富士通株式会社 移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法
JP6659524B2 (ja) * 2016-11-18 2020-03-04 株式会社東芝 移動体追跡装置、表示装置および移動体追跡方法
AU2017245322A1 (en) * 2017-10-10 2019-05-02 Canon Kabushiki Kaisha Method, system and apparatus for selecting frames of a video sequence
WO2019127332A1 (zh) * 2017-12-29 2019-07-04 深圳市大疆创新科技有限公司 视频数据处理方法、设备、系统及存储介质
US10594940B1 (en) * 2018-01-12 2020-03-17 Vulcan Inc. Reduction of temporal and spatial jitter in high-precision motion quantification systems
US11295139B2 (en) * 2018-02-19 2022-04-05 Intellivision Technologies Corp. Human presence detection in edge devices
US11615623B2 (en) * 2018-02-19 2023-03-28 Nortek Security & Control Llc Object detection in edge devices for barrier operation and parcel delivery
JP7198043B2 (ja) * 2018-10-30 2022-12-28 キヤノン株式会社 画像処理装置、画像処理方法
US11044404B1 (en) 2018-11-28 2021-06-22 Vulcan Inc. High-precision detection of homogeneous object activity in a sequence of images
US10872400B1 (en) 2018-11-28 2020-12-22 Vulcan Inc. Spectral selection and transformation of image frames

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020159637A1 (en) * 2001-03-16 2002-10-31 Tomio Echigo Content generation, extraction and distribution of image region segments from video images
JP2004078432A (ja) * 2002-08-13 2004-03-11 Sony Corp オブジェクト抽出装置、オブジェクト抽出方法および画像表示装置
US20040125984A1 (en) * 2002-12-19 2004-07-01 Wataru Ito Object tracking method and object tracking apparatus
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
JP2006012012A (ja) * 2004-06-29 2006-01-12 Matsushita Electric Ind Co Ltd イベント抽出装置及びその方法及びそのプログラム
CN1897694A (zh) * 2005-07-15 2007-01-17 索尼株式会社 活动对象跟踪系统、活动对象跟踪控制设备、方法和程序
CN1964450A (zh) * 2005-11-11 2007-05-16 索尼株式会社 图像拍摄和再现设备
CN101299276A (zh) * 2007-04-20 2008-11-05 通用电气公司 分布式多目标跟踪的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191411A (ja) 1994-11-08 1996-07-23 Matsushita Electric Ind Co Ltd シーン判別方法および代表画像記録・表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020159637A1 (en) * 2001-03-16 2002-10-31 Tomio Echigo Content generation, extraction and distribution of image region segments from video images
JP2004078432A (ja) * 2002-08-13 2004-03-11 Sony Corp オブジェクト抽出装置、オブジェクト抽出方法および画像表示装置
CN1711516A (zh) * 2002-11-07 2005-12-21 奥林巴斯株式会社 运动检测装置
US20040125984A1 (en) * 2002-12-19 2004-07-01 Wataru Ito Object tracking method and object tracking apparatus
JP2006012012A (ja) * 2004-06-29 2006-01-12 Matsushita Electric Ind Co Ltd イベント抽出装置及びその方法及びそのプログラム
CN1897694A (zh) * 2005-07-15 2007-01-17 索尼株式会社 活动对象跟踪系统、活动对象跟踪控制设备、方法和程序
CN1964450A (zh) * 2005-11-11 2007-05-16 索尼株式会社 图像拍摄和再现设备
CN101299276A (zh) * 2007-04-20 2008-11-05 通用电气公司 分布式多目标跟踪的方法和系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107852461A (zh) * 2015-08-12 2018-03-27 高通股份有限公司 用以控制成像过程的系统和方法
CN107852461B (zh) * 2015-08-12 2020-07-17 高通股份有限公司 用于执行图像捕获的方法和设备
CN107665495A (zh) * 2016-07-26 2018-02-06 佳能株式会社 对象跟踪方法及对象跟踪装置
CN107665495B (zh) * 2016-07-26 2021-03-16 佳能株式会社 对象跟踪方法及对象跟踪装置
CN109257536A (zh) * 2017-07-13 2019-01-22 佳能株式会社 控制设备、摄像设备和存储介质
US10863079B2 (en) 2017-07-13 2020-12-08 Canon Kabushiki Kaisha Control apparatus, image capturing apparatus, and non-transitory computer-readable storage medium
CN109257536B (zh) * 2017-07-13 2021-09-07 佳能株式会社 控制设备、摄像设备和存储介质
CN111767782A (zh) * 2020-04-15 2020-10-13 上海摩象网络科技有限公司 一种跟踪目标确定方法、装置和手持相机
CN111767782B (zh) * 2020-04-15 2022-01-11 上海摩象网络科技有限公司 一种跟踪目标确定方法、装置和手持相机

Also Published As

Publication number Publication date
JPWO2010113929A1 (ja) 2012-10-11
WO2010113929A1 (ja) 2010-10-07
US8848979B2 (en) 2014-09-30
CN102369729B (zh) 2014-11-05
JP5454570B2 (ja) 2014-03-26
US20120020524A1 (en) 2012-01-26

Similar Documents

Publication Publication Date Title
CN102369729B (zh) 跟踪对象确定设备、跟踪对象确定方法和跟踪对象确定程序
Fang et al. Falls from heights: A computer vision-based approach for safety harness detection
JP6968645B2 (ja) 画像処理装置、画像処理方法及びプログラム
US7110569B2 (en) Video based detection of fall-down and other events
Niu et al. View-invariant human activity recognition based on shape and motion features
US8009863B1 (en) Method and system for analyzing shopping behavior using multiple sensor tracking
CN102592146B (zh) 适用于视频监控的人脸检测及摄像机云台控制方法
WO2012127815A1 (ja) 移動体検出装置および移動体検出方法
JP4316541B2 (ja) 監視記録装置及び監視記録方法
CN101406390A (zh) 检测人体部位和人的方法和设备以及对象检测方法和设备
Khurana et al. Detecting invisible people
CN114140745A (zh) 施工现场人员属性检测方法、系统、装置及介质
CN105426841A (zh) 基于人脸检测的监控相机自定位方法及装置
Hsu et al. Industrial smoke detection and visualization
Chen et al. Traffic extreme situations detection in video sequences based on integral optical flow
Xie et al. Recognizing violent activity without decoding video streams
Lu et al. Event camera point cloud feature analysis and shadow removal for road traffic sensing
Shahid et al. Eye-gaze and augmented reality framework for driver assistance
Gagvani Challenges in video analytics
Kuehne et al. On-line action recognition from sparse feature flow
Wiangtong et al. Computer vision framework for object monitoring
Jiménez et al. Temporal templates for detecting the trajectories of moving vehicles
Huang et al. Distributed video arrays for tracking, human identification, and activity analysis
Ekpar A framework for intelligent video surveillance
Saito et al. Pedestrian detection using a LRF and a small omni-view camera for outdoor personal mobility robot

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141105

Termination date: 20210330

CF01 Termination of patent right due to non-payment of annual fee