CN105160287B - 一种摄像机运动不变的时空兴趣点特征检测方法 - Google Patents

一种摄像机运动不变的时空兴趣点特征检测方法 Download PDF

Info

Publication number
CN105160287B
CN105160287B CN201510379304.8A CN201510379304A CN105160287B CN 105160287 B CN105160287 B CN 105160287B CN 201510379304 A CN201510379304 A CN 201510379304A CN 105160287 B CN105160287 B CN 105160287B
Authority
CN
China
Prior art keywords
local feature
video
track
feature
interest points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510379304.8A
Other languages
English (en)
Other versions
CN105160287A (zh
Inventor
张政
王斌
赖世铭
熊志辉
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201510379304.8A priority Critical patent/CN105160287B/zh
Publication of CN105160287A publication Critical patent/CN105160287A/zh
Application granted granted Critical
Publication of CN105160287B publication Critical patent/CN105160287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种摄像机运动不变的时空兴趣点特征检测方法。在视频内容理解与分析，尤其是视频人体动作识别任务中，时空兴趣点特征发挥着重要作用。当摄像机运动时，现有时空兴趣点特征检测方法，容易将背景运动误检测为时空兴趣点特征。为解决该问题，本发明提出：在视频中检测图像局部特征，并跟踪生成图像局部特征运动轨迹，然后，利用局部特征运动轨迹提取背景运动模式，接着，筛选出与背景运动模式不一致的局部特征运动轨迹，用于定位时空兴趣点特征，最后，利用背景运动模式进行摄像机运动补偿，提取摄像机运动不变时空兴趣点特征。与现有方法相比，本发明能够有效抑制摄像机运动干扰，降低摄像机运动情况下时空兴趣点特征的误检测率。

Description

一种摄像机运动不变的时空兴趣点特征检测方法
技术领域
本发明主要涉及数字视频内容理解与分析领域，尤其是视频中人体动作识别应用领域，特指一种摄像机运动不变的时空兴趣点特征检测方法。
背景技术
近年来，具有提取简单、抗干扰能力强、鲁棒性好等优点的时空兴趣点特征，在视频内容理解与分析领域，尤其是视频人体动作识别任务中，发挥着重要的作用。现有的时空兴趣点特征提取算法，如图1所示，通常检测视频时空域内显著性变化区域作为时空兴趣点特征。在图1中，1为时空兴趣点特征，2为视频时空域，3为图像，图1(a)是3D Harris算法检测视频时空域显著性变化区域作为时空兴趣点特征的示意图，图1(b)是在人行走视频中的检测结果。在摄像机静止、或摄像机运动但背景平坦时，视频中的显著性变化区域常由人体运动产生。此时，通过检测时空域显著性变化区域能够有效捕获人体运动相关信息，用于人体动作识别等视频内容理解与分析任务中。但是，当摄像机运动、且背景非平坦时，不仅人体运动区域内会形成显著性变化区域，在非平坦的背景区域也会因摄像机运动而产生显著性变化，这些显著性变化区域也会被检测为时空兴趣点特征。显然，位于非平坦背景区域内的时空兴趣点特征是无用的，因为它们并不包含在视频内容理解与分析中我们所感兴趣的运动信息。另一方面，这也是有害的。因为，这些特征会严重影响视频内容理解与分析的性能。因此，在检测时空兴趣点特征时，尤其在人体动作识别任务中，需要剔除这些位于运动背景区域内的时空兴趣点。
发明内容
本发明要解决的技术问题在于：在视频内容理解与分析领域，尤其是人体动作识别任务中，现有时空兴趣点特征提取算法，在摄像机运动且存在非平坦背景时，容易受非平坦背景运动干扰产生大量误检测时空兴趣点特征，从而影响视频内容理解与分析的精度。
为了解决这个问题，本发明提出一种摄像机运动不变的时空兴趣点特征检测方法。以人体动作识别为例，通常情况下，在人体动作视频中，位于前景(相对于背景而言，通常指运动目标，这里指运动人体)中的图像局部特征(本发明中称之为前景局部特征)，和位于背景中的图像局部特征(本发明中称之为背景局部特征)，存在着明显的差异。前景局部特征的运动轨迹不同于背景局部特征的运动轨迹。利用它们之间的这种差异，可以将与人体运动相关的前景局部特征挑选出来作为时空兴趣点特征。通过这种方式提取时空兴趣点特征，可以有效剔除位于运动背景区域内的错误的时空兴趣点特征，提高时空兴趣点特征检测精度。
本发明提出的技术方案是：在视频中检测图像局部特征，并跟踪生成图像局部特征运动轨迹，然后，利用图像局部特征运动轨迹提取背景运动模式，接着，筛选出与背景运动模式不一致的图像局部特征轨迹，用于定位时空兴趣点特征，最后，利用背景运动模式进行摄像机运动补偿，提取摄像机运动不变时空兴趣点特征。
首先，参照图3，介绍本发明的基本原理。当摄像机运动时，在所获视频中，背景局部特征14和前景局部特征13呈现出不同的运动规律。背景局部特征14的运动轨迹(本发明中称之为背景局部特征轨迹11)由摄像机运动所决定，前景局部特征13的运动轨迹(本发明中称之为前景局部特征轨迹12)由人体和摄像机两者的运动共同决定。在同一视频中，所有背景局部特征的运动轨迹必然表现出某种共同属性，该属性与摄像机运动紧密相关。相反，前景局部特征的运动轨迹则表现出某种与背景局部特征运动轨迹所不同的属性，该属性则与人体自身运动紧密相关。利用它们的不同属性，可以将图像局部特征划分为与人体动作相关的前景局部特征，和与人体动作无关的背景局部特征。这些与人体动作相关的前景局部特征就是在人体动作识别任务中需要的时空兴趣点特征。
给定图像中的N个局部特征，通过跟踪得到其运动轨迹W＝[w1,...,wN]。其中，第i个局部特征的运动轨迹可以表示为：(该表达式表示wi这一个向量属于1x2F的实数空间，R表示实数，1x2F是该空间的维数),其中qfi＝[ufi,vfi]T(这个表达式中下标f表示第f帧，下标i表示第i个点，T表示转置)是该局部特征在第f帧中的图像坐标，其中F是总的帧数，u,v是图像坐标,图像坐标系统如图2所示,其中4是图像中心，5是图像坐标系u轴，6是图像坐标系v轴。它们的轨迹可以组合成一个2F×N的矩阵：
根据计算机视觉理论和透视成像原理，当N个图像局部特征全部位于背景中时，在透视投影下，W2F×N是一个秩为3的矩阵：rank(W2F×N)＝3(rank表示秩)。也就是说，背景局部特征轨迹张成一个维数为3的低维子空间，这里称之为背景运动子空间M∈R2F×3。任意一条背景局部特征轨迹wi可以通过背景运动子空间M进行线性表示：
其中，mj是背景运动子空间M中第j列向量，aj是与mj相对应的线性表示系数。
当W2F×N中存在前景局部特征轨迹时，根据计算机视觉理论和透视成像原理，W2F×N的秩必大于3。那么，背景运动子空间M不能准确地对前景局部特征轨迹进行线性表示，因此式(2)不成立：
令是wi在M上的重构，通过投影变换得到，其中P是投影变换矩阵，它由M经线性变换后得到：
P＝M(MTM)-1MT (4)
那么，wi在M上的重构误差为：
如果wi是背景局部特征轨迹，那么它可以由背景运动子空间Μ良好重构，得到较小的重构误差ei；反之，如果wi是前景局部特征轨迹，则会产生较大重构误差ei。通过阈值th，即可将背景、前景局部特征轨迹区分开：
其中，L(wi)是轨迹wi的标号，0表示背景局部特征轨迹，1表示前景局部特征轨迹。
因此，本发明利用摄像机运动时背景局部特征轨迹所张成的低维子空间Μ，对背景、前景局部特征轨迹进行区分，可以检测出与人体运动相关的前景局部特征，并剔除无关的、由摄像机运动引起的背景局部特征。从而实现，摄像机运动不变时空兴趣点特征检测。
本发明一种摄像机运动不变时空兴趣点特征检测方法，其具体的方法步骤是：
(1)将待检测视频划分为若干视频段；
(2)在视频段的第一帧图像中检测出图像局部特征；所检测的图像局部特征包括两部分信息：图像局部特征的空间极值尺度c、图像位置(u,v)。
(3)在视频段中，对图像局部特征进行跟踪，获取图像局部特征轨迹；
获取初始帧图像中的图像局部特征后，通过跟踪可以提取局部特征轨迹。在本发明中，利用步骤(2)中图像局部特征的图像位置(u,v)作为输入，选用KLT(Kanade-Lucas-Tomasi)特征跟踪算法，获取局部特动轨迹W＝[w1,...,wn]。
(4)利用视频段中图像局部特征轨迹估计出该视频段的背景运动模式；
背景运动模式体现为背景区域内的局部特征轨迹所构成的背景运动低维子空间M。该子空间通过随机搜索算法得到，具体实施步骤是：从局部特征轨迹W＝[w1,...,wN]中，随机地选择3条运动轨迹{wi1,wi2,wi3}构建子空间然后，以此子空间si计算投影矩阵Pi，并重构所有运动轨迹计算重构误差通过T次循环，T一般大于n/2，从S＝[s1,...,sT]中，选择具有最小重构误差et的子空间st作为背景运动低维子空间其中
(5)利用步骤4中的背景运动模式，找出与之不一致的图像局部特征轨迹，用于确定前景局部特征；
筛选与背景运动模式不一致的图像局部特征轨迹，其方法是：利用公式(6)，逐一检测图像局部特征轨迹W中的每一条轨迹wj，判断重构误差ej是否满足ej＞th。满足该条件的轨迹W，即为前景局部特征轨迹。
其中，L(wj)是轨迹wj的标号，0表示背景局部特征轨迹，1表示前景局部特征轨迹；
其中，ej是轨迹wj在背景运动低维子空间M上的重构误差，th是判断阈值。ej通过下式计算：
ej＝||Pwj-wj||2 (7)
阈值t的确定方法是：统计所有运动轨迹W＝[w1,...,wn]在背景运动低维子空间M上的重构误差E＝[e1,...,en]，以E的均值me加k倍标准方差σe作为阈值，即设th＝me+kσe，k的大小根据实际情况确定，一般取1-3。
(6)利用步骤4中的背景运动模式，对视频段内图像进行运动补偿后，对步骤5中提取的前景局部特征进行特征描述，提取摄像机运动不变时空兴趣点特征。
根据步骤(5)中得到的背景运动轨迹，采用摄像机运动六参数模型估计相邻帧图像的摄像机运动矩阵H,进行背景运动补偿：
Q＝Hq (8)
其中，q是运动补偿前像素坐标，Q是运动补偿后像素坐标。
摄像机运动补偿后，以前景局部特征的图像位置(u,v)定位时空兴趣点特征，以该轨迹中图像局部特征的空间极值尺度c定义特征描述空域区域大小，采用HOG/HOF特征描述子(Laptev,I.,M.Marszalek,et al.Learning realistic human actions frommovies.IEEE Conference Computer Vision and Pattern Recognition,2008.1-8)得到摄像机运动不变时空兴趣点特征。
在步骤(1)中，将视频划分为若干视频段的目的是：以在每个视频段中提取局部特征轨迹。最简单的视频分段方法是：直接将视频分成互不重叠的、长度为L的若干视频段。但是，这种方式采样量较低，容易造成信息丢失。为了增加采样量，本发明采用滑窗操作提取视频段。方法是：设定滑窗窗口长度为L，一般取L＝25帧。从第一帧图像开始，提取滑窗窗口内所有图像作为第一个视频段，然后将滑窗向后滑动1帧，提取下一个视频段。按此步骤进行，直到滑窗窗口右侧与最后一帧平齐时，提取最后一个视频段。通过上述方法，所提取的视频段长度均为L帧。
在步骤(2)中，在视频段的第一帧图像中检测图像局部特征，以用于步骤(3)中获取局部特征轨迹。常用的图像局部特征检测算法包括Harris角点、SIFT、SURF、FAST等兴趣点特征检测算法。这些算法都可以作为候选方法应用于图像局部特征提取。在面向摄像机运动情况下的人体动作识别任务中，图像局部特征提取方法应该满足以下要求：第一，所检测出的图像局部特征应能够有效捕获人体出现信息。时空兴趣点特征的目的是提取与人体动作相关的运动信息，比如手、脚、头、躯干等部位的运动。因此，要求所检测出的图像局部特征，应能够有效捕获人体出现信息，包括手、脚、头、四肢、躯干等。简言之，就是所提取的图像局部特征应位于人体区域内。第二，所检测出的图像局部特征应便于跟踪，以获取局部特征轨迹。为了剔除大量的与人体动作无关的图像局部特征，需要通过跟踪捕获它们的运动信息，得到局部特征轨迹。因此，所检测的图像局部特征应利于跟踪。
在人体图像中，总会存在着一定数量的角点、斑点等局部显著性区域。比如，在人体头部等区域容易形成斑点，而在人体关节、人体轮廓边缘变化处等部位容易形成角点。因此，上述图像局部特征检测算法都可以通过角点、斑点特征的检测，在人体区域内找到了一定数量的图像局部特征。由于SIFT、SURF等算法趋向于检测斑点特征，容易导致所检测出的图像局部特征部分位于平坦区域(天空、地面等)，位于平坦区域内的图像局部特征非常不利于特征跟踪。Harris角点特征，则较少位于平坦区域内，并且角点特征非常有利于跟踪。因此，本发明选择陈白帆等发表在《中南大学学报(自然科学版)》第36卷第5期上的“基于尺度空间理论的Harris角点检测”方法提取图像局部特征，所检测的图像局部特征包括两部分信息：图像局部特征的空间极值尺度c、空间位置(u,v)。
通过上述步骤，即可实现摄像机运动情况下，检测出与人体运动相关的时空兴趣点特征，而剔除与人体运动无关、位于运动背景上的时空兴趣点特征。
附图说明
图1 3D Harris时空兴趣点特征检测算法
其中：图1(a)为3D Harris算法在视频时空域检测显著性变化区域作为时空兴趣点特征，
图1(b)为3D Harris时空兴趣点特征检测算法在行走视频中的检测结果
图2图像坐标系统
图3摄像机运动不变时空兴趣点特征检测原理
图4基于前景局部特征提取时空兴趣点特征原理图
在上述附图中：
1-时空兴趣点特征2-视频时空域3-图像4-图像中心5-图像坐标系u轴6-图像坐标系v轴7-图像局部特征8-视频9-局部特征轨迹10-视频段11-背景局部特征轨迹12-前景局部特征轨迹13-前景局部特征14-背景局部特征
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，下面结合附图及实施例，对本发明进行进一步详细说明。应当注意，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提出的摄像机运动不变的时空兴趣点特征检测算法总体框架如图3所示，其流程如下：以滑窗形式从视频8中抽取连续的L帧图像作为一个视频段10，在该视频段10第一帧图像中检测图像局部特征7；通过特征跟踪，得到所有局部特征运动轨迹W；以W提取背景运动子空间Μ，并以此检测出前景局部特征轨迹，进而判定在第一帧图像中获取的局部特征中，哪些是与人体动作相关的前景局部特征；以前景局部特征位置为基准，为其选择特征描述区域，利用背景运动子空间Μ，进行摄像机运动补偿后，提取摄像机运动不变时空局部特征描述子。
下面，详见介绍本发明的具体实施步骤。
第一步，将待检测视频划分为若干视频段
将视频划分为若干视频段的目的是：以在每个视频段中提取局部特征轨迹。最简单的视频分段方法是：直接将视频分成互不重叠的、长度为L的若干视频段。但是，这种方式采样量较低，容易造成信息丢失。为了增加采样量，本发明采用滑窗操作提取视频段。基本方式是：设定滑窗窗口长度为L，一般取L＝25帧。从第一帧图像开始，提取滑窗窗口内所有图像作为第一个视频段，然后将滑窗向后滑动1帧，提取下一个视频段。按此步骤进行，直到滑窗窗口右侧与最后一帧平齐时，提取最后一个视频段。通过上述方法，所提取的视频段长度均为L帧。
第二步，在视频段的第一帧图像中检测图像局部特征
在视频段的第一帧图像中检测图像局部特征，以用于步骤3中获取局部特征轨迹。常用的图像局部特征检测算法包括Harris角点、SIFT、SURF、FAST等兴趣点特征检测算法。这些算法都可以作为候选方法应用于图像局部特征提取。在面向摄像机运动情况下的人体动作识别任务中，图像局部特征提取方法应该满足以下要求：第一，所检测出的图像局部特征应能够有效捕获人体出现信息。时空兴趣点特征的目的是提取与人体动作相关的运动信息，比如手、脚、头、躯干等部位的运动。因此，要求所检测出的图像局部特征，应能够有效捕获人体出现信息，包括手、脚、头、四肢、躯干等。简言之，就是所提取的图像局部特征应位于人体区域内。第二，所检测出的图像局部特征应便于跟踪，以获取局部特征轨迹。为了剔除大量的与人体动作无关的图像局部特征，需要通过跟踪捕获它们的运动信息，得到局部特征轨迹。因此，所检测的图像局部特征应利于跟踪。
在人体图像中，总会存在着定数量的角点、斑点等局部显著性区域。比如，在人体头部等区域容易形成斑点，而在人体关节、人体轮廓边缘变化处等部位容易形成角点。因此，上述图像局部特征检测算法都可以通过角点、斑点特征的检测，在人体区域内找到了一定数量的图像局部特征。由于SIFT、SURF等算法趋向于检测斑点特征，容易导致所检测出的图像局部特征部分位于平坦区域(天空、地面等)，位于平坦区域内的图像局部特征非常不利于特征跟踪。Harris角点特征，则较少位于平坦区域内，并且角点特征非常有利于跟踪。因此，本发明选择陈白帆等发表在《中南大学学报(自然科学版)》第36卷第5期上的“基于尺度空间理论的Harris角点检测”方法提取图像局部特征(1)。所检测的图像局部特征包括两部分信息：图像局部特征的空间极值尺度c、图像位置(u,v)。
第三步，在视频段中，对图像局部特征进行跟踪，获取图像局部特征轨迹
获取初始帧图像中的图像局部特征(1)后，通过跟踪可以提取局部特征轨迹(2)。在本发明中，利用步骤2中图像局部特征的图像位置(u,v)作为输入，选用KLT(Kanade-Lucas-Tomasi)特征跟踪算法，获取局部特动轨迹W＝[w1,...,wN]。
第四步，利用视频段中图像局部特征轨迹估计出该视频段中背景运动子空间
背景运动模式体现为背景区域内的局部特征轨迹所构成的背景运动低维子空间M。该子空间通过随机搜索算法得到。具体实施步骤是：从局部特征轨迹W＝[w1,...,wN]中，随机地选择3条运动轨迹{wi1,wi2,wi3}构建子空间然后，以此子空间si计算投影矩阵Pi，并重构所有运动轨迹计算重构误差通过T次循环，T一般大于n/2，从S＝[s1,...,sT]中，选择具有最小重构误差et的子空间st作为背景运动低维子空间其中
第五步，利用步骤4中的背景运动子空间M，找出不属于该子空间中的局部特征轨迹，即为与人体运动相关的前景局部特征轨迹。
筛选与背景运动模式不一致的图像局部特征轨迹，其方法是：利用公式(6)，逐一检测图像局部特征轨迹W中的每一条轨迹wj，判断重构误差ej是否满足ej＞th。满足该条件的轨迹W，即为前景局部特征轨迹。其中，ej是轨迹wj在背景运动低维子空间M上的重构误差，t是判断阈值。ej通过下式计算：
ej＝||Pwj-wj||2 (7)
阈值t的确定方法是：统计所有运动轨迹W＝[w1,...,wn]在背景运动低维子空间M上的重构误差E＝[e1,...,en]，以E的均值me加k倍标准方差σe作为阈值，即设th＝me+kσe，k的大小根据实际情况确定，一般取1-3。
第六步，利用步骤4中的背景运动子空间M，对视频段内图像进行运动补偿后，提取时空兴趣点特征描述子。
根据第五步得到的背景运动轨迹，采用摄像机运动六参数模型估计相邻帧图像的摄像机运动矩阵H,进行背景运动补偿：
Q＝Hq (8)
其中，q是运动补偿前像素坐标，Q是运动补偿后像素坐标。
摄像机运动补偿后，如图4所示，以前景局部特征(13)的位置信息(u,v)定位时空兴趣点特征(1)，以该轨迹中图像局部特征的空间极值尺度c定义特征描述空域区域大小，采用HOG/HOF特征描述子(Laptev,I.,M.Marszalek,et al.Learning realistic humanactions from movies.IEEE Conference Computer Vision and Pattern Recognition,2008.1-8)得到摄像机运动不变时空兴趣点特征。
与现有方法直接在视频时空域中检测显著性变化区域作为时空兴趣点特征而容易受摄像机运动干扰相比，本发明所提出时空兴趣点特征检测方法，通过局部特征轨迹来区分摄像机运动和人体运动，能够有效抑制摄像机运动对时空兴趣点特征检测的干扰，降低摄像机运动情况下时空兴趣点特征的误检测率，提高视频内容理解与分析(尤其是视频人体动作识别)的性能。

Claims (3)

1.一种摄像机运动不变的时空兴趣点特征检测方法，其特征在于：包括以下步骤：
(1)将待检测视频划分为若干视频段；
(2)在视频段的第一帧图像中检测出图像局部特征；所检测的图像局部特征包括两部分信息：图像局部特征的空间极值尺度c、图像位置(u,v)；
(3)在视频段中，对图像局部特征进行跟踪，获取图像局部特征轨迹；
获取初始帧图像中的图像局部特征后，通过跟踪可以提取局部特征轨迹，这里利用步骤2中图像局部特征的图像位置(u,v)作为输入，选用KLT特征跟踪算法，获取局部特动轨迹W＝[w1,...,wn]；
(4)利用视频段中图像局部特征轨迹估计出该视频段的背景运动模式；
背景运动模式体现为背景区域内的局部特征轨迹所构成的背景运动低维子空间M；该子空间通过随机搜索算法得到；具体实施步骤是：从局部特征轨迹W＝[w1,...,wn]中，随机地选择3条运动轨迹{wi1,wi2,wi3}构建子空间然后，以此子空间si计算投影矩阵Pi，并重构所有运动轨迹计算重构误差通过T次循环，从S＝[s1,...,sT]中，选择具有最小重构误差et的子空间st作为背景运动低维子空间其中
(5)利用步骤(4)中的背景运动模式，找出与之不一致的图像局部特征轨迹，用于确定前景局部特征；
筛选与背景运动模式不一致的图像局部特征轨迹，其方法是：利用公式(6)，逐一检测图像局部特征轨迹W中的每一条轨迹wj，判断重构误差ej是否满足ej＞th；满足该条件的轨迹即为前景局部特征轨迹；
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;Element;</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <msub> <mi>e</mi> <mi>j</mi> </msub> <mo>&lt;</mo> <mi>t</mi> <mi>h</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mi>e</mi> <mi>l</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
其中，L(wj)是轨迹wj的标号，0表示背景局部特征轨迹，1表示前景局部特征轨迹；
其中，ej是轨迹wj在背景运动低维子空间M上的重构误差，th是判断阈值；ej通过下式计算：
ej＝||Pwj-wj||2 (7)
阈值t的确定方法是：统计所有运动轨迹W＝[w1,...,wn]在背景运动低维子空间M上的重构误差E＝[e1,...,en]，以E的均值me加k倍标准方差σe作为阈值，即设th＝me+kσe，k的取值范围为1-3；
(6)利用步骤(4)中的背景运动模式，对视频段内图像进行运动补偿后，对步骤(5)中提取的前景局部特征进行特征描述，提取摄像机运动不变时空兴趣点特征；
根据步骤(5)得到的背景运动轨迹，采用摄像机运动六参数模型估计相邻帧图像的摄像机运动矩阵H,进行背景运动补偿：
Q＝Hq (8)
其中，q是运动补偿前像素坐标，Q是运动补偿后像素坐标；
摄像机运动补偿后，以前景局部特征的图像位置(u,v)定位时空兴趣点特征，以该轨迹中图像局部特征的空间极值尺度c定义特征描述空域区域大小，采用HOG/HOF特征描述子得到摄像机运动不变时空兴趣点特征。
2.根据权利要求1所述的摄像机运动不变的时空兴趣点特征检测方法，其特征在于：步骤(1)中，采用滑窗操作提取视频段，方法是：设定滑窗窗口长度为L，取L＝25帧；从第一帧图像开始，提取滑窗窗口内所有图像作为第一个视频段，然后将滑窗向后滑动1帧，提取下一个视频段；按此步骤进行，直到滑窗窗口右侧与最后一帧平齐时，提取最后一个视频段；通过上述方法，所提取的视频段长度均为L帧。
3.根据权利要求1所述的摄像机运动不变的时空兴趣点特征检测方法，其特征在于：在步骤(2)中，图像局部特征提取方法应该满足以下要求：第一，所检测出的图像局部特征应能够有效捕获人体出现信息，即所提取的图像局部特征应位于人体区域内；第二，所检测出的图像局部特征应便于跟踪，以获取局部特征轨迹。
CN201510379304.8A 2015-07-02 2015-07-02 一种摄像机运动不变的时空兴趣点特征检测方法 Active CN105160287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510379304.8A CN105160287B (zh) 2015-07-02 2015-07-02 一种摄像机运动不变的时空兴趣点特征检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510379304.8A CN105160287B (zh) 2015-07-02 2015-07-02 一种摄像机运动不变的时空兴趣点特征检测方法

Publications (2)

Publication Number Publication Date
CN105160287A CN105160287A (zh) 2015-12-16
CN105160287B true CN105160287B (zh) 2018-05-25

Family

ID=54801139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510379304.8A Active CN105160287B (zh) 2015-07-02 2015-07-02 一种摄像机运动不变的时空兴趣点特征检测方法

Country Status (1)

Country Link
CN (1) CN105160287B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956543A (zh) * 2016-04-27 2016-09-21 广西科技大学 一种基于尺度自适应局部时空特征的多运动员行为检测方法
CN107590427B (zh) * 2017-05-25 2020-11-24 杭州电子科技大学 基于时空兴趣点降噪的监控视频异常事件检测方法
CN111787489B (zh) * 2020-07-17 2023-02-17 北京百度网讯科技有限公司 实采兴趣点的位置确定方法、装置、设备和可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894276A (zh) * 2010-06-01 2010-11-24 中国科学院计算技术研究所 人体动作识别的训练方法和识别方法
US7894689B2 (en) * 2007-05-31 2011-02-22 Seiko Epson Corporation Image stitching
CN102930302A (zh) * 2012-10-18 2013-02-13 山东大学 基于在线序贯极限学习机的递增式人体行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7894689B2 (en) * 2007-05-31 2011-02-22 Seiko Epson Corporation Image stitching
CN101894276A (zh) * 2010-06-01 2010-11-24 中国科学院计算技术研究所 人体动作识别的训练方法和识别方法
CN102930302A (zh) * 2012-10-18 2013-02-13 山东大学 基于在线序贯极限学习机的递增式人体行为识别方法

Also Published As

Publication number Publication date
CN105160287A (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
US10769480B2 (en) Object detection method and system
Chen et al. A deep learning approach to drone monitoring
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
US9098740B2 (en) Apparatus, method, and medium detecting object pose
Xing et al. Robust object tracking with online multi-lifespan dictionary learning
CN105022982B (zh) 手部运动识别方法和装置
CN104050488B (zh) 一种基于切换的卡尔曼滤波模型的手势识别方法
CN109522854A (zh) 一种基于深度学习和多目标跟踪的行人流量统计方法
CN103514432A (zh) 人脸特征提取方法、设备和计算机程序产品
Puwein et al. Joint camera pose estimation and 3d human pose estimation in a multi-camera setup
Siva et al. Action detection in crowd.
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
KR20170036747A (ko) 장면 내 키포인트를 추적하기 위한 방법
Zhu et al. Action recognition in broadcast tennis video
CN105160287B (zh) 一种摄像机运动不变的时空兴趣点特征检测方法
Wang et al. Detecting human action as the spatio-temporal tube of maximum mutual information
Hao et al. Recognition of basketball players’ action detection based on visual image and Harris corner extraction algorithm
CN112164093A (zh) 一种基于边缘特征和相关滤波的人物自动跟踪方法
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
Sokolova et al. Human identification by gait from event-based camera
Tian et al. High-speed tiny tennis ball detection based on deep convolutional neural networks
Ribnick et al. 3D reconstruction of periodic motion from a single view
Fayad et al. AI & multi-resolution temporal processing for accurate counting of exercises repetitions
Qin et al. Gesture recognition from depth images using motion and shape features
CN104537690B (zh) 一种基于最大值‑时间索引联合的运动点目标检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant