CN102281385B - 基于运动视频的周期运动检测方法 - Google Patents

Abstract

本发明公开一种基于运动视频的周期运动检测方法，通过对周期运动视频的运动物体进行分析，得到运动部分的运动矢量表；通过对视频中提取出来的运动模式区域进行匹配而实现最佳匹配，从而确定每一帧中的运动模式；运动模式匹配后，通过对运动场景进行分类分别采用基于轨迹和基于区域的方法滤除非周期运动而保留周期运动。最后通过对周期运动进行合格性判断而达到对运动进行计数的目的。本发明具有实时特性，针对不同的运动情形，有效识别率达到了95%，具有良好的应用表现。

Description

基于运动视频的周期运动检测方法

技术领域

本发明涉及的是一种运动视频处理的方法，具体是一种基于运动视频的周期运动检测方法。

背景技术

运动视频分析在视频检索、运动训练、视频编辑等领域具有重要的应用。基于视频的运动捕捉在视频监控过程中不需要与被监控者有直接接触，很容易让被监控者所接受，具有广泛的应用。

经过对现有技术的文献检索发现，已有很多不同的运动视频分析算法被提出。A.Ekin,A.Tekalp,and R.Mehrotra在《IEEE Trans.Circuits and Systems forVideo Technology，vol.12,no.7,2003.》（电气电子工程师协会电路与系统期刊视频技术学报2003年11月12日7号刊）第796页到807页上发表的“AutomaticSoccer Video Analysis and Summarization”（自动足球比赛视频分析和汇总）论文中提出一种基于目标特征的足球视频自动分析和汇总的框架。该框架包括一些低级的视频处理方法，包括主色区域检测、镜头边界检测以及镜头分类等，也包括一些高级的目标检测方法，包括裁判检测、禁区检测等。目前各方法主要是针对球类运动应用，很少有研究对体育运动中的周期性特性进行检测分析，而周期运动的检测和分析在实际的应用中有广阔的应用前景。

发明内容

本发明针对以上不足，结合实际体育运动训练中的需求，提出一种基于运动视频的周期运动检测方法，有效对周期运动视频进行检测，本发明首先确定运动视频每帧中的运动模式，然后确定运动模式，在此基础上针对不同情形对周期运动进行检测，不仅可以实时对周期运动视频进行检测并计数，而且可以有效地对周期运动动作的合格性进行判断。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步：确定运动模式

对由静止摄像机拍摄的运动视频的帧图像序列进行帧差处理，将得到的帧差图像作阈值化处理，得到物体的运动边缘；采用运动历史图像（MHI）算法提取出运动视频中的运动前景；计算该运动前景中各个运动部件相对于图像帧的运动矢量，得到各个运动部分的运动矢量表。

第二步：运动模式匹配与运动模式滤波

通过颜色空间和相对位置等特征向量对本帧中的运动物体与上帧中的运动物体进行相似性度量，达到最佳匹配，从而确定当前帧的运动模式。运动模式匹配后，分两种情形提取周期运动模式、滤除非周期运动模式。对于较容易获取运动模式的周期运动场景，采用基于轨迹分析的策略，即将各条轨迹与预定的标准周期运动模式轨迹进行相似性比较，从而滤除非周期运动而保留周期运动轨迹；对于不易提取运动模式的复杂周期运动场景，采取基于区域的滤波策略，即在每一帧中选取具有区分意义的运动区域，并对该区域的特征矢量进行分析，通过与预定的周期运动规则比较而达到滤除非周期运动、保留周期运动模式的目的。

第三步：周期运动检测和计数

通过对周期运动的合格性进行判断，并对周期运动进行计数，将周期运动每一帧的特征向量与合格的周期运动判决条件进行比较，当该周期运动对各个判决条件的符合度超过了某个阈值，就判断该周期运动是合格的运动，否则即为不合格，不予计数；其中对于时间满足性的判断，通过采用循环移位的优化算法每次只更新一位数值来降低复杂度。

对于具有空间要求的周期运动（例如举哑铃运动），对得到的各条周期运动轨迹进行合格性判断。分析各个判决条件，如果该周期运动对各个判决条件的符合度之和超过某个阈值，就判定该运动具有空间满足性，是合格的周期运动，否则即为不合格周期运动；对于具有时间要求的周期运动（例如举重规则要求杠铃在最高处保持至少3秒钟），基于运动特征向量采取循环移位的方法判断时间满足性。在成功判别周期运动的状态后对该运动进行相应的计数工作。

本发明的原理是，由静止摄像机拍摄的运动视频，在运动的过程中背景保持基本不变，因此采用帧差法可以得到相邻两帧的变化部分，即运动物体的边缘。由于运动背景受光照、摄像机采样干扰等环境因素影响，相邻两帧的背景存在少许差异，故采用阈值化处理排除较小的运动部件；得到各个运动部件的轮廓之后，采用运动历史图像（MHI）的方法提取出每一帧中的运动物体，即运动前景。将得到的每一帧中的运动部分分别与前面一帧进行相似性匹配，通过最佳匹配而获得物体的运动模式。对于较为简单的运动场景（如举哑铃运动），结合运动物体相对于视频帧的运动坐标，获得运动物体的轨迹。为排除由于干扰影响而存在的非周期运动，需要判断视频帧中的运动是否是所需要的周期运动，将各条运动轨迹与标准的周期运动模式轨迹进行匹配，以判断运动物体的运动状态，从而得到符合周期运动条件的运动轨迹（基于轨迹的周期运动轨迹识别）；对类似于举重等较为复杂的周期运动，在运动过程中，难以对特定的部分（如杠铃）进行跟踪，选取具有区分意义的区域，并将该区域中的运动特征矢量作为跟踪矢量来判断运动的周期性（基于区域的周期运动识别）。通过基于轨迹和基于区域的周期运动滤波策略滤除非周期运动，得到周期性运动部分。在此基础上分析周期运动的有效性，判断该周期运动是否达到了合格标准。将周期运动分为基于空间和基于时间两种类型，分别对周期运动在空间和时间的满足性进行判断。在上述步骤基础上即可以对周期运动进行相应的计数。

本发明根据周期运动本身的特点和周期运动合格性的判定准则，实现了对周期运动视频实时检测、作出合格性判断并进行计数的目的。在各种实验条件下，该方法的平均成功率达到了95%，具有良好的应用性。

附图说明

图1是周期运动例图。

图2是本发明方法对周期运动检测以及计数的实施流程图。

图3是本发明中基于运动历史图像的运动模式提取结果。

图4是本发明中不同质量周期运动的示意图（以举哑铃为例）。

图5是本发明中对具有时间要求的周期运动的示例（以举重为例）。

图6是对具有空间要求的周期运动的一个周期的分解图（以举哑铃为例）。

图7是本发明中对具有空间要求的运动的合格性判断。

图8是对具有时间要求的周期运动的一个周期的分解图（以举重为例）。

图9是本发明中对具有时间要求运动进行时间判断的轨迹图。

图10是循环移位方式对有时间要求的周期运动进行时间判断的示意图。

图11分别是未满足空间和时间要求的周期运动动作（以举重为例）。

图12是本发明中未达到空间和时间要求的运动的轨迹图。

图13是举哑铃运动的运行结果。

图14是举重运动的运行结果。

具体实施方式

下面是对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1和图2所示，本实施例包括以下步骤：

第一步、采用帧差法对从静止摄像机拍摄得到的周期运动视频进行处理，对得到的差分图像I_diff作阈值化处理，得到物体的运动边缘I_silh。

I_diff＝I_cur-I_pre

$I_{\mathrm{silh}}=\left\{\begin{array}{cc}{I}_{\mathrm{diff}}& I_{\mathrm{diff}}\&GreaterEqual;\mathrm{th}\\ 0& I_{\mathrm{diff}}<\mathrm{th}\end{array}\right.$

其中I_cur是视频的当前帧，I_pre是当前帧的前一帧，th是判断运动是否是由光照变化、摄像机采样等环境因素变化而引起的微小扰动的一个阈值。

使用物体的运动边缘I_silh得到视频的运动历史图像(MHI)。

其中mhi(x，y)运动历史图像，timestamp是当前时间戳，duration是当前跟踪的最大持续时间，silh(x，y)是影像掩码，运动发生的地方具有非零像素。

采用运动模板方法得到运动前景后，如图3所示，对提取出的运动前景计算各个运动部分相对于图像帧的运动矢量，得到各个运动部件的运动矢量表。

第二步、为了在当前帧中寻找本帧中的运动物体在前一帧中的位置，需要进行运动模式匹配，这里采取如下的运动模式匹配策略：

${\mathrm{MP}}_{\mathrm{cur}}^{t-1}=\underset{{\mathrm{MP}}_i^{t-1}}{\arg \min }\left(\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_j{\mathrm{SIM}}_j({\mathrm{MP}}_{\mathrm{cur}}^t,{\mathrm{MP}}_i^{t-1})\right)$

这里

是当前帧t时刻的运动模式区域，

是

在前一帧t-1时刻的运动模式匹配区域，SIM_j(a，b)是a，b两帧在第j个特征通道上的相似性度量因子，ω_j是第j个特征通道在相似性匹配中所占有的加权系数，在本发明中采用颜色和位置信息作为特征通道。

运动模式匹配后，分两种情况提取周期运动并滤除非周期运动：

1.对于较容易获取运动模式的周期运动场景，采用基于轨迹的策略滤除非周期运动而保留周期运动。

${\mathrm{MP}}_{\mathrm{cur}}^t\mathrm{is}\left\{\begin{array}{c}\mathrm{wanted},\mathrm{if}\underset{k}{\mathrm{\&Sigma;}}\mathrm{dist}(L,P_{{\mathrm{MP}}_{\mathrm{cur}}^t}^k)<{\mathrm{Th}}_1\\ \mathrm{unwanted},\mathrm{if}\underset{k}{\mathrm{\&Sigma;}}\mathrm{dist}(L,P_{{\mathrm{MP}}_{\mathrm{cur}}^t}^k)\&GreaterEqual;{\mathrm{Th}}_1\end{array}\right.$

这里

是

的第K个轨迹点，L是周期运动的预定轨迹，dist(L，P)是点P和轨迹L之间的距离，Th₁是阈值，在此阈值之内将认为该点是周期运动的轨迹点，否则即为非周期运动轨迹点。

2.对于不易提取运动模式的复杂周期运动场景（例如举重运动），采取基于区域的滤波策略，即在每一帧中对具有区分意义的运动区域进行跟踪，可用下式表示：

${\mathrm{MP}}_{\mathrm{cur}}^t\mathrm{is}\left\{\begin{array}{c}\mathrm{wanted},\mathrm{if\; R}\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)<{\mathrm{Th}}_2\\ \mathrm{unwanted},\mathrm{if\; R}\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\&GreaterEqual;{\mathrm{Th}}_2\end{array}\right.$

这里R(M)是预定的对区域中运动模式具有区分意义的特征矢量，会随着不同的运动场景而自适应选取，Th₂是一个阈值，如果该特征矢量达到该阈值标准，就认为该运动模式

是所需要检测的周期运动。例如在举重运动中，整个举重动作较为复杂的，但当运动员将杠铃举过一定高度后，整个运动视频中只有杠铃是具有最高运动的部分，此时最高运动点将成为最为关注的部分，此时将检测到的最高点的运动模式区域作为有区分意义的运动区域，将最高点的处的运动坐标作为特征矢量。

第三步、为了判断周期运动动作的合格性，采用下式：

$A_{{\mathrm{MP}}_{\mathrm{cur}}^t}\mathrm{is}\left\{\begin{array}{c}\mathrm{qualified},\mathrm{if}|\underset{j}{\mathrm{\&Sigma;}}{R}_j\left(I\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\right)-D_t|\&GreaterEqual;{\mathrm{Th}}_3\\ \mathrm{unqualified},\mathrm{if}|\underset{j}{\mathrm{\&Sigma;}}{R}_j\left(I\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\right)-D_t|<{\mathrm{Th}}_3\end{array}\right.$

这里

是判断运动动作是否合格的标志，

是

的描述信息，如果采取基于轨迹的滤波策略，

就是

的轨迹；如果采取基于区域的滤波策略，

就是具有区分意义的运动模式区域的特征向量。R_j(I)是第j个判定动作是否合格的准则，如果合格，R_j(I)就为1，反之为0；th₃是一个阈值，当条件超过了这个阈值，就判定动作合格；D_t是用来计数的判定参数，针对不同场景应用数值不同。

对于举哑铃运动而言，采用基于轨迹的滤波方法，采用下面的式子作为判决条件：

$R_1\left(I\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& S_{\mathrm{cur}}=\mathrm{rise\; and\; V}\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\&GreaterEqual;{\mathrm{Th}}_u\\ 0& & \mathrm{otherwise}\end{array}\right.$

$R_2\left(I\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& S_{\mathrm{cur}}=\mathrm{drop\; and\; V}\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\&GreaterEqual;{\mathrm{Th}}_l\\ 0& & \mathrm{otherwise}\end{array}\right.$

这里S_cur是当前的运动状态，是处于上升还是下降状态的标志；是

的竖直位置，Th_u和Th_l是两个界限阈值，分别代表上限和下限，在本例中D_t＝0。如图4，图5，图6当哑铃动作先后满足上面两个式子后，即可以判断为一个合格动作已经完成。

对于举重动作，除了与哑铃运动一样具有空间要求外，还必须保证杠铃在最高处停留超过一定的时间（3秒钟），如图5、图8、图9、图11、图12所示，采用下面的式子作为时间要求的判决条件：

$R_j\left(I\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\right)=\left\{\begin{array}{ccc}1& \mathrm{if}& V\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\&GreaterEqual;{\mathrm{Th}}_u\mathrm{and\; j}=t\%J\\ 0& & \mathrm{otherwise}\end{array}\right.$

$D^t=\max \underset{j}{\mathrm{\&Sigma;}}{R}_j\left(I\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\right)$

这里t是当前帧的序号，J是考察范围内的总帧数，在本例中J＝75（25帧/秒3秒），%是取余操作，此操作采取循环移位更新的方法每次只更新一个数值，因而可以减少复杂度，如图10所示。D^t是前面帧状态及其前面J-1帧状态的累计和的最大值，当D^t与当前帧及其前面帧累计和之差超过了某一阈值th₃，就表示杠铃已经被放下，这样可以防止由于杠铃在最高处保持时间过长而引起的重复计数。当一个计数完成后，将所有的计数器恢复到初始默认状态，开始新一个计数周期。

实施结果

依据上述步骤，分别对两个测试视频集进行检测，一个来自哑铃训练视频（Set A1,Set A2 Set A3），为保证方法的可靠性，每一段视频均采用了不同的测试者、不同的运动物体作为试验对象；另一段来自于一段实际的举重比赛视频（set B），该视频中拍摄了在同一个比赛场地中由不同的运动员使用不同的杠铃进行举重比赛的整个过程。

所有试验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器Intel(R)Core(TM)2Duo CPU E75002.93GHz，内存2GB。

在举哑铃运动试验中，如图13，当测试集SetA1时，正确识别率为100%，当测试集SetA2时，正确识别率为100%，当测试集为SetA3时，正确识别率为97.67%。对于三个测试视频集，平均检测时间是0.001秒，最长检测时间是0.001秒，具有良好的实时工作表现及高的识别率。

在举重试验中，如图14，选取了一共有31个举重动作的片段，这些动作具有不同的属性（未成功举起、成功举起但保持时间不够、成功等状态），其中正确识别率为93.55%，平均检测时间为0.8秒，最长检测时间为1.2秒，具有良好的实时工作表现及很高的识别率。

Claims (8)

1.一种基于运动视频的周期运动检测方法，其特征在于，包括以下步骤：

第一步、采用帧差法得到由静止摄像机拍摄到的帧图像序列的运动边缘，采用运动历史图像方法提取出运动物体的前景，基于运动前景计算出各个运动部分相对于图像帧的运动矢量，得到各个运动部分的运动矢量表；

第二步、根据第一步中的运动矢量表，通过运动模式匹配得到本图像帧的运动物体在上一帧中的位置，运动模式匹配采取对不同特征通道加不同权重的策略，找到具有最优匹配特性的运动部分；运动模式匹配后，分别对容易提取运动模式的简单周期运动场景和不容易提取运动模式的复杂周期运动场景采取基于轨迹分析和基于区域分析的策略来滤除非周期运动而保留周期运动；

对于简单周期运动场景所采用基于轨迹分析的滤波策略是将以提取出来的运动部分的轨迹作为判断该运动是否是周期运动的依据,从而保留周期运动而滤除非周期运动,即

${\mathrm{MP}}_{\mathrm{cur}}^t\mathrm{is}\left\{\begin{array}{cc}\mathrm{wanted},& \mathrm{if}\underset{k}{\mathrm{\&Sigma;}}\mathrm{dist}(L,P_{{\mathrm{MP}}_{\mathrm{cur}}^t}^k)<{\mathrm{Th}}_1\\ \mathrm{unwanted},& \mathrm{if}\underset{k}{\mathrm{\&Sigma;}}\mathrm{dist}(L,P_{{\mathrm{MP}}_{\mathrm{cur}}^t}^k)\&GreaterEqual;{\mathrm{Th}}_1\end{array}\right.$

这里

是当前帧t时刻的运动模式区域，

是

的第K个轨迹点，L是周期运动的预定轨迹，dist(L，P)是点P和轨迹L之间的距离，Th₁是阈值，在此阈值之内将认为该点是周期运动的轨迹点，否则即为非周期运动轨迹点;

对于复杂周期运动场景所采用基于区域的滤波策略是对于复杂场景的周期运动,将对每一帧中对具有区分意义的运动区域进行跟踪，并在该区域中寻找符合判别标准的运动模式,即：

${\mathrm{MP}}_{\mathrm{cur}}^t\mathrm{is}\left\{\begin{array}{cc}\mathrm{wanted},& \mathrm{ifR}\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)<{\mathrm{Th}}_2\\ \mathrm{unwanted},& \mathrm{ifR}\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\&GreaterEqual;{\mathrm{Th}}_2\end{array}\right.$

这里R(M)是预定的对区域中运动模式具有区分意义的特征矢量，会随着不同的运动场景而自适应选取，Th₂是一个阈值，如果该特征矢量达到该阈值标准，就认为该运动模式

是所需要检测的周期运动；

第三步、通过对周期运动的合格性进行判断，并对周期运动进行计数，将周期运动每一帧的特征向量与合格的周期运动判决条件进行比较，当该周期运动对各个判决条件的符合度超过了某个阈值，就判断该周期运动是合格的运动，否则即为不合格，不予计数。

2.根据权利要求1所述的基于运动视频的周期运动检测方法，其特征是，第一步中：所述的基于运动前景计算出各个运动部分相对于图像帧的运动矢量，具体为：

其中I_cur是视频的当前帧，I_pre是当前帧的前一帧，th是判断运动是否是环境因素变化而引起的微小扰动的一个阈值，mhi(x，y)运动历史图像，timestamp是当前时间戳，duration是当前跟踪的最大持续时间，silh(x,y)是影像掩码。

3.根据权利要求1所述的基于运动视频的周期运动检测方法，其特征是，第一步中：所述的运动矢量表是指采用运动历史图像方法提取出的运动部分的特征矢量，包括位置坐标、速度、颜色信息组成的矢量表。

4.根据权利要求1所述的基于运动视频的周期运动检测方法，其特征是，第二步中：所述运动模式匹配为了确定当前视频帧中的运动物体在上一帧的位置而对运动物体进行相似性匹配的方法，采取如下的运动模式匹配策略：

${\mathrm{MP}}_{\mathrm{cur}}^{t-1}=\underset{{\mathrm{MP}}_i^{t-1}}{\arg \min }\left(\underset{j}{\mathrm{\&Sigma;}}{\mathrm{\&omega;}}_j{\mathrm{SIM}}_j({\mathrm{MP}}_{\mathrm{cur}}^t,{\mathrm{MP}}_i^{t-1})\right)$

这里是当前帧t时刻的运动模式区域，

是

在前一帧t-1时刻的运动模式匹配区域，SIM_j(a，b)是a，b两帧在第j个特征通道上的相似性度量因子，ω_j是第j个特征通道在相似性匹配中所占有的加权系数，采用颜色和位置信息作为特征通道。

5.根据权利要求1所述的基于运动视频的周期运动检测方法，其特征是，第二步中：简单场景周期运动和复杂场景周期运动分别是指容易提取运动模式的简单运动和不容易提取周期运动模式的复杂运动。

6.根据权利要求1所述的基于运动视频的周期运动检测方法，其特征是，第三步中：周期运动的合格性是指对视频序列中的每个动作进行逐个分析，以判断该周期运动是否符合预定标准，这里采用

$A_{{\mathrm{MP}}_{\mathrm{cur}}^t}\mathrm{is}\left\{\begin{array}{cc}\mathrm{qualified},& \mathrm{if}|\underset{j}{\mathrm{\&Sigma;}}{R}_j\left(I\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\right)-D_t|\&GreaterEqual;{\mathrm{Th}}_3\\ \mathrm{unqualified},& \mathrm{if}|\underset{j}{\mathrm{\&Sigma;}}{R}_j\left(I\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\right)-D_t|<{\mathrm{Th}}_3\end{array}\right.$

这里

是判断运动动作是否合格的标志，

是的描述信息，如果采取基于轨迹的滤波策略，

就是的轨迹；如果采取基于区域的滤波策略，

就是具有区分意义的运动模式区域的特征向量；R_j(I)是第j个判定动作是否合格的准则，如果合格，R_j(I)就为1，反之为0；th₃是一个阈值，当条件超过了这个阈值，就判定动作合格；D_t是用来计数的判定参数，针对不同场景应用数值不同。

7.根据权利要求6所述的基于运动视频的周期运动检测方法，其特征是，对于具有空间要求的动作，采用以下公式判断该周期运动是否符合预定标准：

$R_1\left(I\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\right)=\left\{\begin{array}{cc}1& \mathrm{if}{S}_{\mathrm{cur}}=\mathrm{riseandV}\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\&GreaterEqual;{\mathrm{Th}}_u\\ 0& \mathrm{otherwise}\end{array}\right.$

$R_2\left(I\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\right)=\left\{\begin{array}{cc}1& \mathrm{if}{S}_{\mathrm{cur}}=\mathrm{dropandV}\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\&le;{\mathrm{Th}}_l\\ 0& \mathrm{otherwise}\end{array}\right.$

这里S_cur是当前的运动状态，是处于上升还是下降状态的标志；

是

的竖直位置，Th_u和Th_l是两个界限阈值，分别代表上限和下限。

8.根据权利要求6所述的基于运动视频的周期运动检测方法，其特征是，对于具有时间要求的周期运动，采用以下公式判断该周期运动是否符合预定标准：

$R_j\left(I\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\right)=\left\{\begin{array}{cc}1& \mathrm{if}V\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\&GreaterEqual;{\mathrm{Th}}_u\mathrm{andj}=t\%J\\ 0& \mathrm{otherwise}\end{array}\right.$

$D^t=\max \underset{j}{\mathrm{\&Sigma;}}{R}_j\left(I\left({\mathrm{MP}}_{\mathrm{cur}}^t\right)\right)$

这里t是当前帧的序号，J是考察范围内的总帧数，%是取余操作，此操作采取循环移位更新的方法每次只更新一个数值，D^t是前面帧状态及其前面J-1帧状态的累计和的最大值。

Images