CN101304479B - 在视频序列中检测运动的方法及装置 - Google Patents

Abstract

本发明公开了在视频序列中检测运动的方法及装置。方法包括：将采集到的视频序列以T为间隔进行区间划分；对于每个T区间，计算该T区间的第n帧与前一T区间的第n帧的帧差，若帧差大于预设阈值，则确定该T区间发生了运动；否则，确定该T区间未发生运动，其中，T与采样频率的乘积不小于2，n为预先设定的正整数。本发明通过在视频序列中抽取帧，对抽取的帧进行运动检测，提高了运动检测的实时性。进一步地，通过对视频序列的逐级细化检测，保证了运动检测的准确度。

Description

在视频序列中检测运动的方法及装置

技术领域

本发明涉及视频处理技术领域，具体涉及在视频序列中检测运动的方法及装置。

背景技术

视频监控中经常需要在已采集的视频序列中找到感兴趣的部分。视频监控最常见的是对某个固定场景的监控，此时感兴趣部分一般是发生了运动的部分。

目前通常都是对采集到的视频序列逐帧进行检测，这样虽然保证了准确度，但是却很耗时，无法满足对实时性要求较高的场合。

发明内容

本发明提供在视频序列中检测运动的方法及装置，以提高对视频序列进行运动检测的实时性。

本发明的技术方案是这样实现的：

一种在视频序列中检测运动的方法，该方法包括：

将采集到的视频序列以T为间隔进行区间划分；

对于每个T区间，计算该T区间的第n帧与前一T区间的第n帧的帧差，若帧差大于预设阈值，则确定该T区间发生了运动；否则，确定该T区间未发生运动，

其中，T与采样频率的乘积不小于2，n为预先设定的正整数。

所述n为1。

当所述帧差大于预设阈值时，该方法进一步包括：从该T区间的第n帧开始向前、向后逐帧搜索运动起始时刻和终止时刻，记录该T区间的运动起始时刻和终止时刻。

当T区间未发生运动，或者发生了运动且运动起始时刻、终止时刻之一或全部位于该T区间内时，所述方法进一步包括：根据T区间内的帧建立该T区间的背景模型；

且，将每个未发生运动，或者发生了运动且运动起始时刻、终止时刻之一或全部位于该T区间内的每个T区间以t为间隔进行划分，分别计算每个完全位于运动区域外的t区间的第m帧与该t区间所在T区间的背景模型的帧差，若帧差大于预设阈值，则确定该t区间发生了运动；否则，确定该t区间未发生运动，

其中，t与采样频率的乘积不小于2，m为预先设定的正整数。

所述m为1。

所述根据T区间内的帧建立该T区间的背景模型包括：

若T区间未发生运动，或者发生了运动且运动起始时刻位于该T区间内、运动终止时刻位于T区间外，则以T区间的第m帧作为该T区间的背景模型；

若T区间发生了运动且运动终止时刻位于T区间内，则以运动终止时刻后的第一帧作为该T区间的背景模型。

当所述t区间的第m帧与该t区间所在T区间的背景模型的帧差大于预设阈值时，所述方法进一步包括：从该t区间的第m帧开始向前、向后逐帧搜索运动起始时刻和终止时刻，记录该t区间的运动起始时刻和终止时刻。

当所述t区间未发生运动，或者发生了运动且运动起始时刻、运动终止时刻之一或全部位于t区间内时，所述方法进一步包括：根据t区间内的帧建立该t区间的背景模型；

且，对于每个未发生运动，或者发生了运动且运动起始时刻、运动终止时刻之一或全部位于t区间内的每个t区间，计算该t区间内每一完全位于运动区域外的帧与该t区间的背景模型的帧差，若帧差大于预设阈值，则确定该帧发生了运动；否则，确定该帧未发生运动。

所述根据t区间内的帧建立该t区间的背景模型包括：

若t区间未发生运动，或者发生了运动且运动起始时刻位于t区间内、运动终止时刻位于t区间外，则以该t区间的第m帧更新该t区间所在T区间的背景模型，得到该t区间的背景模型；

若t区间发生了运动，且运动起始时刻位于t区间外、运动终止时刻位于t区间内，则以运动终止时刻后的第一帧作为该t区间的背景模型；

若t区间发生了运动，且运动起始时刻、运动终止时刻都位于t区间内，则以t区间内的第m帧更新t区间所在T区间的背景模型，得到t区间位于运动起始时刻之前的背景模型；以运动终止时刻后的第一帧作为t区间运动终止时刻之后的背景模型；

所述计算该t区间内每一完全位于运动区域外的帧与该t区间的背景模型的帧差包括：

判断t区间是否只有一个背景模型，若是，计算所述完全位于运动区域外的帧与该t区间的背景模型的帧差；否则，判断所述完全位于运动区域外的帧是否位于t区间的运动起始时刻之前，若位于，则计算该帧与该t区间位于运动起始时刻之前的背景模型的帧差，若不位于，则计算该帧与该t区间位于运动终止时刻之后的背景模型的帧差。

当所述t区间内的完全位于运动区域外的帧与该t区间的背景模型的帧差不大于预设阈值时，所述方法进一步包括：以所述完全位于运动区域外的帧更新t区间的背景模型。

一种在视频序列中检测运动的装置，该装置包括：

第一视频序列划分模块，将采集到的视频序列以T为间隔进行第一级区间划分，将第一级划分结果输出，其中，T与采样频率的乘积不小于2；

第一运动检测模块，接收第一视频序列划分模块输出的第一级划分结果，对于视频序列的每个T区间，计算该T区间的第n帧与前一T区间的第n帧的帧差，若帧差大于预设阈值，则确定该T区间发生了运动；否则，确定该T区间未发生运动，其中，所述n为预先设定的正整数。

所述装置进一步包括：第一运动区域搜索模块，接收第一运动检测模块发来的发生了运动的T区间标志，从该T区间的第n帧开始向前、向后逐帧搜索运动起始时刻和终止时刻，记录该T区间的运动起始时刻和终止时刻，

且，所述第一运动检测模块在检测到T区间发生运动后，将T区间标志发送给第一运动区域搜索模块。

所述装置进一步包括：第一背景模型建立模块，根据第一运动检测模块发来的未发生运动的T区间标志、第一运动区域搜索模块发来的发生了运动的T区间的运动起始时刻和运动终止时刻，建立T区间的背景模型；

且，所述装置进一步包括：第二视频序列划分模块，接收并根据第一视频序列划分模块发来的第一级划分结果，将每个T区间以t为间隔进行第二级划分，将第二级划分结果输出，其中，t与采样频率的乘积不小于2；

且，所述装置进一步包括：第二运动检测模块，接收第二视频序列划分模块发来的第二级划分结果，接收第一运动检测模块发来的未发生运动的T区间标志，接收第一运动区域搜索模块发来的发生了运动的T区间的运动起始时刻和运动终止时刻，从第一背景模型建立模块获取各T区间的背景模型，分别计算每个完全位于运动区域外的t区间的第m帧与该t区间所在T区间的背景模型的帧差，若帧差大于预设阈值，则确定该t区间发生了运动；否则，确定该t区间未发生运动，其中，m为预先设定的正整数。

所述第一背景模型建立模块包括：

第一背景模型确定模块，接收第一运动检测模块发来的未发生运动的T区间标志，以该T区间的第n帧作为该T区间的背景模型并保存到第一背景模型保存模块；接收第一运动区域搜索模块发来的发生了运动的T区间标志以及运动起始时刻、运动终止时刻，若该运动起始时刻位于T区间内、运动终止时刻位于T区间外，则以该T区间的第n帧作为该T区间的背景模型并保存到第一背景模型保存模块；若该运动终止时刻位于T区间内，则以运动终止时刻后的第一帧作为该T区间的背景模型并保存到第一背景模型保存模块；

第一背景模型保存模块，保存各T区间的背景模型。

所述装置进一步包括：

第二运动区域搜索模块，接收第二运动检测模块发来的发生了运动的t区间标志，从该t区间的第m帧开始向前、向后逐帧搜索运动起始时刻和终止时刻，记录该t区间的运动起始时刻和终止时刻，

且，所述第二运动检测模块在检测到t区间发生运动后，将t区间标志发送给第二运动区域搜索模块。

所述装置进一步包括：

第二背景模型建立模块，根据第二运动检测模块发来的未发生运动的t区间标志、第二运动区域搜索模块发来的发生了运动的t区间的运动起始时刻和运动终止时刻，建立t区间的背景模型；

且，所述装置进一步包括：第三运动检测模块，接收第二运动检测模块发来的未发生运动的t区间标志，接收第二运动区域搜索模块发来的发生了运动的t区间标志以及运动起始时刻、运动终止时刻，从第二背景模型建立模块获取各t区间的背景模型，分别计算每个t区间内完全位于运动区域外的帧与该t区间的背景模型的帧差，若帧差大于预设阈值，则确定该帧发生了运动；否则，确定该帧未发生运动。

所述第二背景模型建立模块包括：

第二背景模型更新判断模块，接收第二运动检测模块发来的未发生运动的t区间标志，将该T区间标志发送给第二背景模型更新模块；接收第二运动区域搜索模块发来的发生了运动的t区间的运动起始时刻和运动终止时刻，若该运动起始时刻位于t区间内、运动终止时刻位于t区间外，则将t区间标志发送给第二背景模型更新模块，若运动起始时刻位于t区间外、运动终止时刻位于t区间内，则以运动终止时刻后的第一帧作为该t区间的背景模型，将该t区间的背景模型保存到第二背景模型保存模块；若运动起始时刻、运动终止时刻都位于t区间内，则将t区间标志发送给第二背景模型更新模块，并以运动终止时刻后的第一帧作为t区间运动终止时刻之后的背景模型保存到第二背景模型保存模块；

第二背景模型更新模块，接收第二背景模型更新判断模块发来的t区间标志，以该t区间的第m帧更新该t区间所在T区间的背景模型，得到该t区间的背景模型，将该t区间的背景模型保存到第二背景模型保存模块；

第二背景模型保存模块，保存各t区间的背景模型。

与现有技术相比，本发明通过将采集到的视频序列以T为间隔进行区间划分；对于每个T区间，计算该T区间的第n帧与前一T区间的第n帧的帧差，若帧差大于预设阈值，则确定该T区间发生了运动；否则，确定该T区间未发生运动，其中，T与采样频率的乘积不小于2，n为预先设定的正整数。本发明通过在视频序列中抽取帧，对抽取的帧进行运动检测，提高了运动检测的实时性。

进一步地，本发明实施例中通过对视频序列进行第二级、第三级细分，最终对所有的视频帧都进行了无遗漏检测，保证了运动检测的准确度。

本发明最优实施例能够快速检测出运动区域，并最终在算法复杂度不变的情况下，保证运动检测的准确度，且提高了用户体验。

附图说明

图1为本发明实施例提供的对视频序列进行第一级运动检测的流程图；

图2为本发明实施例提供的对视频序列进行第二级运动检测的流程图；

图3为本发明实施例提供的对视频序列进行第三级运动检测的流程图；

图4-1为应用本发明实施例对视频序列进行第一级运动检测的示意图；

图4-2为应用本发明实施例对视频序列进行第二级运动检测的示意图；

图4-3为应用本发明实施例对视频序列进行第三级运动检测的示意图；

图5为本发明实施例提供的对视频序列进行第一级运动检测的装置的组成图；

图6为本发明实施例提供的对视频序列进行第一、二级运动检测的装置的组成图；

图7为本发明实施例提供的第一背景模型建立模块的组成图；

图8为本发明实施例提供的对视频序列进行第一、二、三级运动检测的装置的组成图；

图9为本发明实施例提供的第二背景模型建立模块的组成图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1为本发明实施例提供的对视频序列进行第一级运动检测的流程图，如图1所示，其具体步骤如下：

步骤101：将采集到的视频序列，以T时长为间隔划分成多个区间。

T可根据需要确定，T*f≥2，T越大，实时性越高，准确度越低；T越小，实时性越低，准确度越高。其中，f为采样频率。

对于每个T区间执行如下步骤：

步骤102：计算该T区间的第一帧与前一T区间的第一帧的帧差。

在实际应用中，也可计算该T区间的第n帧与前一T区间的第n帧的帧差，这里，n为预先设定的正整数，且，1＜n≤N，其中，N为步骤101划分的每个区间的总帧数。

步骤103：判断帧差是否大于预设阈值，若是，执行步骤105；否则，执行步骤104。

步骤104：确定当前T区间的第一帧未发生运动，转至下一T区间，返回步骤102。

若步骤102中计算的是该T区间的第n帧与前一T区间的第n帧的帧差，则本步骤104中，确定的是当前T区间的第n帧未发生运动。

步骤105：确定当前T区间的第一帧发生了运动，从当前T区间的第一帧开始向前、向后逐帧搜索运动的起始时刻和终止时刻，保存该T区间的运动起始时刻和终止时刻，转至下一T区间，返回步骤102。

具体地，从当前T区间的第一帧向前，计算相邻两帧的帧差，若帧差大于预设阈值，则认为发生了运动，继续向前搜索；若帧差小于预设阈值，则认为运动从此开始，记录该运动起始时刻。同时，从当前T区间的第一帧向后，计算相邻两帧的帧差，若帧差大于预设阈值，则认为发生了运动，继续向后搜索，若帧差小于预设阈值，则认为运动终止，记录该运动终止时刻。

同样，若步骤102中计算的是该T区间的第n帧与前一T区间的第n帧的帧差，则本步骤105中，是从当前T区间的第n帧向前、向后，计算相邻两帧的帧差。

从图1所示实施例可以看出：通过将视频序列划分成多个T区间，可以检测到所有运动时长大于T的运动，与现有的逐帧进行运动检测的方案相比，以降低准确度为代价，保证了实时性。

在实际应用中，若要提高运动检测的准确度，可对经图1所示实施例后未检测出运动的区域进行进一步检测。图2为本发明实施例提供的对视频序列进行第二级运动检测的流程图，如图2所示，其具体步骤如下：

步骤201：对图1中的每个未发生运动或部分发生运动的T区间建立背景模型BGi。

部分发生运动的T区间，即确定该T区间的第一帧发生了运动，且运动的起始时刻、终止时刻之一或全部位于该T区间内。

其中，i表示T区间在整个视频序列中的序号，i＝1、2、...、Tseq/T，Tseq为整个视频序列的总长度。

具体地，BGi的建立分四种情况：

一、T区间内未发生运动，则以该T区间内第一帧作为该T区间的背景模型BGi。

若步骤102中计算的是该T区间的第n帧与前一T区间的第n帧的帧差，则这里，以该T区间内第n帧作为该T区间的背景模型BGi。

二、T区间内发生了运动，且运动起始时刻位于T区间内、运动终止时刻不位于T区间内，则以该T区间内第一帧作为该T区间的背景模型BGi。

若步骤102中计算的是该T区间的第n帧与前一T区间的第n帧的帧差，则这里，以该T区间内第n帧作为该T区间的背景模型BGi。

三、T区间内发生了运动，且运动终止时刻位于T区间内，则以运动终止后的第一帧作为该T区间的背景模型BGi。

这里，不考虑运动起始时刻是否位于T区间内。

四、T区间内发生了运动，且运动起始时刻、运动终止时刻都位于T区间外，则可确定该T区间为全运动区域，无需为该T区间建立背景模型。

步骤202：将每个未发生运动或部分发生运动的T区间划分成多个t区间，其中，1＜t＜T。

t可根据需要确定，t越大，实时性越高，准确度越低；t越小，实时性越低，准确度越高。t*f≥2，f为采样频率。

对于每个t区间，分别执行如下步骤：

步骤203：根据步骤105保存的运动起始时刻和终止时刻，判断该t区间是否完全位于运动区域之外，若是，执行步骤205；否则，执行步骤204。

步骤204：转至下一个t区间，返回步骤203。

步骤205：将该t区间内的第一帧与该t区间所在T区间的背景模型BGi作帧差。

在实际应用中，也可将该t区间的第m帧与该t区间所在T区间的背景模型BGi作帧差，这里，m为预先设定的正整数，且，1＜m≤M，其中，M为步骤202划分的每个t区间的总帧数。

步骤206：判断帧差是否大于预设阈值，若是，执行步骤208；否则，执行步骤207。

步骤207：确定该t区间未发生运动，转至下一个t区间，返回步骤203。

步骤208：确定该t区间发生了运动，从当前t区间的第一帧开始向前、向后逐帧搜索运动的起始时刻和终止时刻，保存该t区间的运动起始时刻和终止时刻，转至下一个t区间，返回步骤203。

若步骤205中是将该t区间的第m帧与该t区间所在T区间的背景模型BGi作帧差，则本步骤208中，是从当前t区间的第m帧开始向前、向后逐帧搜索运动的起始时刻和终止时刻。

从图2所示实施例可以看出，通过将每个T区间进一步划分成多个t区间，可以检测到所有运动时长大于t的运动，进一步提高了准确度。

为了更进一步提高准确度，可以对经过图2所示实施例后未检测出运动的区域进行进一步检测。图3为本发明实施例提供的对视频序列进行第三级运动检测的流程图，如图3所示，其具体步骤如下：

步骤301：对图2中的每个未发生运动或部分发生运动的t区间建立背景模型。

部分发生运动的t区间，即确定该t区间发生了运动，且运动的起始时刻、终止时刻之一或全部位于该t区间内。

其中，i表示当前t区间所在的T区间在整个视频序列中的序号，j表示当前t区间在第i个T区间中的序号，j＝1、2、...、T/t。

具体地，BGij的建立分五种情况：

一、t区间未发生运动，则以该t区间内第一帧更新T区间内的背景模型BGi，得到该t区间的背景模型BGij。

若步骤205中是将该t区间的第m帧与该t区间所在T区间的背景模型BGi作帧差，则这里，以该t区间内第m帧更新T区间内的背景模型BGi。

二、t区间发生运动，且运动起始时刻位于t区间内、运动终止时刻不位于T区间内，则以该t区间内第一帧更新T区间内的背景模型BGi，得到该t区间的背景模型BGij。

若步骤205中是将该t区间的第m帧与该t区间所在T区间的背景模型BGi作帧差，则这里，以该t区间内第m帧更新T区间内的背景模型BGi。

三、t区间发生运动，且运动起始时刻、运动终止时刻都位于t区间内，则要建立两个背景模型，一个是以t区间内的第一帧更新T区间内的背景模型BGi，得到该t区间内位于运动起始时刻前的背景模型BGij，另一个是以运动终止后的第一帧作为该t区间内位于运动终止时刻后的背景模型BGij_2。

若步骤205中是将该t区间的第m帧与该t区间所在T区间的背景模型BGi作帧差，则这里，以该t区间内的第m帧更新T区间内的背景模型BGi。

四、t区间发生运动，且运动起始时刻不位于t区间内、而运动终止时刻位于t区间内，则以运动终止后的第一帧作为该t区间内的背景模型BGij。

五、t区间发生运动，且运动起始时刻、运动终止时刻都位于t区间外，则可确定该t区间为全运动区域，无需为该t区间建立背景模型。

对于每个t区间内的每一帧，分别执行如下步骤：

步骤302：根据步骤105和208保存的运动起始时刻和终止时刻，判断该帧是否位于运动区域之外，若是，执行步骤304；否则，执行步骤303。

步骤303：转至下一帧，返回步骤302。

步骤304：判断该帧所在t区间是否只有一个背景模型BGij，若是，执行步骤306；否则，执行步骤305。

步骤305：判断该帧是否位于t区间的运动起始时刻之前，若是，执行步骤306；否则，执行步骤307。

步骤306：将该帧与BGij作帧差，转至步骤308。

步骤307：将该帧与BGij_2作帧差，执行步骤308。

步骤308：判断帧差是否大于预设阈值，若是，执行步骤309；否则，执行步骤310。

步骤309：确定该帧发生运动，将该帧对应时刻作为运动时刻保存，转至下一帧，返回步骤302。

步骤310：确定该帧未发生运动，以该帧更新当前背景模型BGij或BGij_2，转至下一帧，返回步骤302。

对于步骤301的情况二、三中提到的“以t区间内的第一帧更新T区间内的背景模型BGi，得到该t区间的背景模型BGij，或得到该t区间内位于运动起始时刻前的背景模型BGij”，可通过以下公式实现：

B_t，ij＝B_t，i+[α₁(1-M_t，ij)+α₂M_t，ij]D_t，ij    (1)

其中，B_t，ij是BGij上的第t个像素值，B_t，i是BGi上的第t个像素值，D_t，ij是t区间内的第一帧的第t个像素值与BGi上的第t个像素值之差，而M_t表示t区间内的第一帧的第t个像素点为前景还是背景，若为前景即：D_t，ij大于预设阈值，则M_t＝1，若为背景，即：D_t，ij不大于预设阈值，则M_t＝0，α₁和α₂是小于1的常数，且α₂远小于α₁。α₁的存在使得背景可以根据场景中的光照等变化不断调整，当场景中出现长期静止物体或者大面积像素变化时，α₂可以使背景像素值逐渐更新，最终不再将静止物体或变化后的像素点检测为前景。

同样，步骤310中提到的以该帧更新BGij或BG ij_2，也可通过公式(1)实现。

图4-1、4-2、4-3分别给出了应用本发明实施例对视频序列逐级运动检测的示意图，具体如下：

图4-1为应用本发明实施例对视频序列进行第一级运动检测的示意图，如图4-1所示，将整个视频序列划分为多个T区间，通过对每相邻两个T区间的第一帧作帧差，检测到运动时长大于T的运动，并对未检测到运动或部分检测到运动的T区间建立背景模型BGi。

图4-2为应用本发明实施例对视频序列进行第二级运动检测的示意图，如图4-2所示，将每个未检测到运动或部分检测到运动的T区间划分成多个t区间，通过对每个t区间的第一帧与BGi作帧差，检测运动时长大于t的运动，并对未检测到运动或部分检测到运动的t区间建立背景模型BGij，或BGij+BGij_2。

图4-3为应用本发明实施例对视频序列进行第三级运动检测的示意图，如图4-3所示，对每个未检测到运动或部分检测到运动的t区间，通过将其中每一未检测到运动的帧与BGij或BGij_2作帧差，可以最终检测到每一帧的运动情况。

图5为本发明实施例提供的对视频序列进行第一级运动检测的装置的组成图，如图5所示，其主要包括：第一视频序列划分模块51、第一运动检测模块52和第一运动区域搜索模块53，其中：

第一视频序列划分模块51：将采集到的视频序列以T为间隔进行第一级区间划分，将第一级划分结果输出到第一运动检测模块52，其中，T*f≥2，f为采样频率。

第一运动检测模块52：接收第一视频序列划分模块51输出的第一级划分结果，对于视频序列的每个T区间，计算该T区间的第p帧与前一T区间的第p帧的帧差，若帧差大于预设阈值，则确定该T区间发生了运动，将T区间标志发送给第一运动区域搜索模块53；否则，确定该T区间未发生运动，其中，p为预先设定的正整数。

第一运动区域搜索模块53：接收第一运动检测模块52发来的发生了运动的T区间标志，从该T区间的第p帧开始向前、向后逐帧搜索运动起始时刻和终止时刻，记录该T区间的运动起始时刻和终止时刻。

图6为本发明实施例提供的对视频序列进行第一、二级运动检测的装置的组成图，如图6所示，该图与图5相比，进一步包括：第一背景模型建立模块54、第二视频序列划分模块55、第二运动检测模块56和第二运动区域搜索模块57，其中：

第一背景模型建立模块54：根据第一运动检测模块52发来的未发生运动的T区间标志、第一运动区域搜索模块53发来的发生了运动的T区间的运动起始时刻和运动终止时刻，建立T区间的背景模型。

第二视频序列划分模块55：接收并根据第一视频序列划分模块51发来的第一级划分结果，将每个T区间以t为间隔进行第二级划分，将第二级划分结果输出到第二运动检测模块56，其中，t*f≥2，f为采样频率。

第二运动检测模块56：接收第二视频序列划分模块55发来的第二级划分结果，接收第一运动检测模块52发来的未发生运动的T区间标志，接收第一运动区域搜索模块53发来的发生了运动的T区间的运动起始时刻和运动终止时刻，从第一背景模型建立模块54获取各T区间的背景模型，分别计算每个完全位于运动区域外的t区间的第q帧与该t区间所在T区间的背景模型的帧差，若帧差大于预设阈值，则确定该t区间发生了运动，将t区间标志发送给第二运动区域搜索模块57；否则，确定该t区间未发生运动，其中，q为预先设定的正整数。

第二运动区域搜索模块57：接收第二运动检测模块56发来的发生了运动的t区间标志，从该t区间的第q帧开始向前、向后逐帧搜索运动起始时刻和终止时刻，记录该t区间的运动起始时刻和终止时刻。

如图7所示，第一背景模型建立模块54可包括：第一背景模型确定模块541和第一背景模型保存模块542，其中：

第一背景模型确定模块541：接收第一运动检测模块52发来的未发生运动的T区间标志，以该T区间的第p帧作为该T区间的背景模型并保存到第一背景模型保存模块542；接收第一运动区域搜索模块53发来的发生了运动的T区间标志以及运动起始时刻、运动终止时刻，若该运动起始时刻位于T区间内、运动终止时刻位于T区间外，则以该T区间的第p帧作为该T区间的背景模型并保存到第一背景模型保存模块542；若该运动终止时刻位于T区间内，则以运动终止时刻后的第一帧作为该T区间的背景模型并保存到第一背景模型保存模块542；

第一背景模型保存模块542：保存各T区间的背景模型。

图8为本发明实施例提供的对视频序列进行第一、二、三级运动检测的装置的组成图，如图8所示，该图与图7相比，进一步包括：第二背景模型建立模块58和第三运动检测模块59，其中：

第二背景模型建立模块58：根据第二运动检测模块56发来的未发生运动的t区间标志、第二运动区域搜索模块57发来的发生了运动的t区间的运动起始时刻和运动终止时刻，建立t区间的背景模型。

第三运动检测模块59：接收第二运动检测模块56发来的未发生运动的t区间标志，接收第二运动区域搜索模块57发来的发生了运动的t区间标志以及运动起始时刻、运动终止时刻，从第二背景模型建立模块58获取各t区间的背景模型，分别计算每个t区间内完全位于运动区域外的帧与该t区间的背景模型的帧差，若帧差大于预设阈值，则确定该帧发生了运动；否则，确定该帧未发生运动。

如图9所示，第二背景模型建立模块58可包括：第二背景模型更新判断模块581、第二背景模型更新模块582和第二背景模型保存模块583，其中：

第二背景模型更新判断模块581：接收第二运动检测模块56发来的未发生运动的t区间标志，将该T区间标志发送给第二背景模型更新模块582；接收第二运动区域搜索模块57发来的发生了运动的t区间的运动起始时刻和运动终止时刻，若该运动起始时刻位于t区间内、运动终止时刻位于t区间外，则将t区间标志发送给第二背景模型更新模块582，若运动起始时刻位于t区间外、运动终止时刻位于t区间内，则以运动终止时刻后的第一帧作为该t区间的背景模型，将该t区间的背景模型保存到第二背景模型保存模块583；若运动起始时刻、运动终止时刻都位于t区间内，则将t区间标志发送给第二背景模型更新模块582，并以运动终止时刻后的第一帧作为t区间运动终止时刻之后的背景模型保存到第二背景模型保存模块583。

第二背景模型更新模块582：接收第二背景模型更新判断模块581发来的t区间标志，以该t区间的第q帧更新该t区间所在T区间的背景模型，得到该t区间的背景模型，将该t区间的背景模型保存到第二背景模型保存模块583。

第二背景模型保存模块583：保存各t区间的背景模型。

可见，本发明通过对视频序列的三级分析，最终实现了以帧为单位的运动检测。在实际应用中，若对实时性要求较高，则可在采集到视频序列后，先进行第一级分析，得到运动时长大于T的运动检测结果；之后，根据需要，可在第一级分析结果的基础上，再进行第二级，或第二级+第三级分析，已得到更准确的分析结果。

本发明可针对背景相对固定，运动事件发生不频繁的监控场景。

以上所述仅为本发明的过程及方法实施例，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种在视频序列中检测运动的方法，其特征在于，该方法包括：

将采集到的视频序列以T为间隔进行区间划分；

对于每个T区间，计算该T区间的第n帧与前一T区间的第n帧的帧差，若帧差大于预设阈值，则确定该T区间发生了运动；否则，确定该T区间未发生运动，

且，当T区间未发生运动，或者发生了运动且运动起始时刻、终止时刻之一或全部位于该T区间内时，根据T区间内的帧建立该T区间的背景模型；且，

将每个未发生运动，或者发生了运动且运动起始时刻、终止时刻之一或全部位于该T区间内的每个T区间以t为间隔进行划分，分别计算每个完全位于运动区域外的t区间的第m帧与该t区间所在T区间的背景模型的帧差，若帧差大于预设阈值，则确定该t区间发生了运动；否则，确定该t区间未发生运动，

其中，T与采样频率的乘积不小于2，n为预先设定的正整数，t与采样频率的乘积不小于2，m为预先设定的正整数。

2.如权利要求1所述的方法，其特征在于，所述n为1。

3.如权利要求1或2所述的方法，其特征在于，当所述帧差大于预设阈值时，该方法进一步包括：从该T区间的第n帧开始向前、向后逐帧搜索运动起始时刻和终止时刻，记录该T区间的运动起始时刻和终止时刻。

4.如权利要求1所述的方法，其特征在于，所述m为1。

5.如权利要求1或4所述的方法，其特征在于，所述根据T区间内的帧建立该T区间的背景模型包括：

若T区间未发生运动，或者发生了运动且运动起始时刻位于该T区间内、运动终止时刻位于T区间外，则以T区间的第m帧作为该T区间的背景模型；

若T区间发生了运动且运动终止时刻位于T区间内，则以运动终止时刻后的第一帧作为该T区间的背景模型。

6.如权利要求1或4所述的方法，其特征在于，当所述t区间的第m帧与该t区间所在T区间的背景模型的帧差大于预设阈值时，所述方法进一步包括：从该t区间的第m帧开始向前、向后逐帧搜索运动起始时刻和终止时刻，记录该t区间的运动起始时刻和终止时刻。

7.如权利要求6所述的方法，其特征在于，当所述t区间未发生运动，或者发生了运动且运动起始时刻、运动终止时刻之一或全部位于t区间内时，所述方法进一步包括：根据t区间内的帧建立该t区间的背景模型；

且，

对于每个未发生运动，或者发生了运动且运动起始时刻、运动终止时刻之一或全部位于t区间内的每个t区间，计算该t区间内每一完全位于运动区域外的帧与该t区间的背景模型的帧差，若帧差大于预设阈值，则确定该帧发生了运动；否则，确定该帧未发生运动。

8.如权利要求7所述的方法，其特征在于，所述根据t区间内的帧建立该t区间的背景模型包括：

若t区间未发生运动，或者发生了运动且运动起始时刻位于t区间内、运动终止时刻位于t区间外，则以该t区间的第m帧更新该t区间所在T区间的背景模型，得到该t区间的背景模型；

若t区间发生了运动，且运动起始时刻位于t区间外、运动终止时刻位于t区间内，则以运动终止时刻后的第一帧作为该t区间的背景模型；

若t区间发生了运动，且运动起始时刻、运动终止时刻都位于t区间内，则以t区间内的第m帧更新t区间所在T区间的背景模型，得到t区间位于运动起始时刻之前的背景模型；以运动终止时刻后的第一帧作为t区间运动终止时刻之后的背景模型；

所述计算该t区间内每一完全位于运动区域外的帧与该t区间的背景模型的帧差包括：

判断t区间是否只有一个背景模型，若是，计算所述完全位于运动区域外的帧与该t区间的背景模型的帧差；否则，判断所述完全位于运动区域外的帧是否位于t区间的运动起始时刻之前，若位于，则计算该帧与该t区间位于运动起始时刻之前的背景模型的帧差，若不位于，则计算该帧与该t区间位于运动终止时刻之后的背景模型的帧差。

9.如权利要求7或8所述的方法，其特征在于，当所述t区间内的完全位于运动区域外的帧与该t区间的背景模型的帧差不大于预设阈值时，所述方法进一步包括：以所述完全位于运动区域外的帧更新t区间的背景模型。

10.一种在视频序列中检测运动的装置，其特征在于，该装置包括：

第一视频序列划分模块，将采集到的视频序列以T为间隔进行第一级区间划分，将第一级划分结果输出，其中，T与采样频率的乘积不小于2；

第一运动检测模块，接收第一视频序列划分模块输出的第一级划分结果，对于视频序列的每个T区间，计算该T区间的第n帧与前一T区间的第n帧的帧差，若帧差大于预设阈值，则确定该T区间发生了运动，将T区间标志发送给第一运动区域搜索模块；否则，确定该T区间未发生运动，其中，所述n为预先设定的正整数；

第一运动区域搜索模块，接收第一运动检测模块发来的发生了运动的T区间标志，从该T区间的第n帧开始向前、向后逐帧搜索运动起始时刻和终止时刻，记录该T区间的运动起始时刻和终止时刻；

第一背景模型建立模块，根据第一运动检测模块发来的未发生运动的T区间标志、第一运动区域搜索模块发来的发生了运动的T区间的运动起始时刻和运动终止时刻，建立T区间的背景模型；

第二视频序列划分模块，接收并根据第一视频序列划分模块发来的第一级划分结果，将每个T区间以t为间隔进行第二级划分，将第二级划分结果输出，其中，t与采样频率的乘积不小于2；

第二运动检测模块，接收第二视频序列划分模块发来的第二级划分结果，接收第一运动检测模块发来的未发生运动的T区间标志，接收第一运动区域搜索模块发来的发生了运动的T区间的运动起始时刻和运动终止时刻，从第一背景模型建立模块获取各T区间的背景模型，分别计算每个完全位于运动区域外的t区间的第m帧与该t区间所在T区间的背景模型的帧差，若帧差大于预设阈值，则确定该t区间发生了运动；否则，确定该t区间未发生运动，其中，m为预先设定的正整数。

11.如权利要求10所述的装置，其特征在于，所述第一背景模型建立模块包括：

第一背景模型确定模块，接收第一运动检测模块发来的未发生运动的T区间标志，以该T区间的第n帧作为该T区间的背景模型并保存到第一背景模型保存模块；接收第一运动区域搜索模块发来的发生了运动的T区间标志以及运动起始时刻、运动终止时刻，若该运动起始时刻位于T区间内、运动终止时刻位于T区间外，则以该T区间的第n帧作为该T区间的背景模型并保存到第一背景模型保存模块；若该运动终止时刻位于T区间内，则以运动终止时刻后的第一帧作为该T区间的背景模型并保存到第一背景模型保存模块；

第一背景模型保存模块，保存各T区间的背景模型。

12.如权利要求10或11所述的装置，其特征在于，所述装置进一步包括：

第二运动区域搜索模块，接收第二运动检测模块发来的发生了运动的t区间标志，从该t区间的第m帧开始向前、向后逐帧搜索运动起始时刻和终止时刻，记录该t区间的运动起始时刻和终止时刻，

且，所述第二运动检测模块在检测到t区间发生运动后，将t区间标志发送给第二运动区域搜索模块。

13.如权利要求12所述的装置，其特征在于，所述装置进一步包括：

第二背景模型建立模块，根据第二运动检测模块发来的未发生运动的t区间标志、第二运动区域搜索模块发来的发生了运动的t区间的运动起始时刻和运动终止时刻，建立t区间的背景模型；

且，所述装置进一步包括：第三运动检测模块，接收第二运动检测模块发来的未发生运动的t区间标志，接收第二运动区域搜索模块发来的发生了运动的t区间标志以及运动起始时刻、运动终止时刻，从第二背景模型建立模块获取各t区间的背景模型，分别计算每个t区间内完全位于运动区域外的帧与该t区间的背景模型的帧差，若帧差大于预设阈值，则确定该帧发生了运动；否则，确定该帧未发生运动。

14.如权利要求13所述的装置，其特征在于，所述第二背景模型建立模块包括：

第二背景模型更新判断模块，接收第二运动检测模块发来的未发生运动的t区间标志，将该T区间标志发送给第二背景模型更新模块；接收第二运动区域搜索模块发来的发生了运动的t区间的运动起始时刻和运动终止时刻，若该运动起始时刻位于t区间内、运动终止时刻位于t区间外，则将t区间标志发送给第二背景模型更新模块，若运动起始时刻位于t区间外、运动终止时刻位于t区间内，则以运动终止时刻后的第一帧作为该t区间的背景模型，将该t区间的背景模型保存到第二背景模型保存模块；若运动起始时刻、运动终止时刻都位于t区间内，则将t区间标志发送给第二背景模型更新模块，并以运动终止时刻后的第一帧作为t区间运动终止时刻之后的背景模型保存到第二背景模型保存模块；

第二背景模型更新模块，接收第二背景模型更新判断模块发来的t区间标志，以该t区间的第m帧更新该t区间所在T区间的背景模型，得到该t区间的背景模型，将该t区间的背景模型保存到第二背景模型保存模块；

第二背景模型保存模块，保存各t区间的背景模型。

Images