CN110837770B - 一种基于多高斯模型的视频行为自适应分割方法及装置 - Google Patents

Abstract

本发明提供一种基于多高斯模型的视频行为自适应分割方法及装置，所述方法包括：利用时空兴趣点检测算法(UMAMA‑SIFT)检测视频的时空兴趣点(STIP)，所述时空兴趣点既是空间上的兴趣点，也是运动变化大的点；对所述时空兴趣点进行高斯建模得到高斯模型，计算所述视频内各帧的所述时空兴趣点的时空分布特性，所述时空分布特性包括总体均值、总体方差及所述时空兴趣点的中心；从所述视频选取当前帧，利用所述时空分布特性对当前帧进行行为检测，若当前帧是行为帧，对所述高斯模型进行参数更新。根据本发明的方案，能够快速、准确地对视频行为进行分割。

Description

一种基于多高斯模型的视频行为自适应分割方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于多高斯模型的视频行 为自适应分割方法及装置。

背景技术

近年来，视频图像中的人体行为分割已经广泛应用于视频理解、视频检索、 智能监控等领域。由于近些年深度学习的看视频，视频图像的行为识别取得了 实质性进展，视频图像的行为识别能够解决视频图像是什么行为，但无法确定 该行为的发生区间，即从何时开始，又至何时结束。行为序列分割，是将连续 的视频中人体运动序列分割为单个的有意义的行为模式，识别视频中实际仅持 续一小部分时间的行为发生区间。上述问题的处理结果对于后续的行为识别与 视频理解的准确程度具有较大关系。

现有技术中使用监督方法和无监督方法实现人体运动序列分割。无监督方 法即用手动方法分割视频序列，但该方法耗时、繁琐，而且受主观影响，分割 结果不准确，鲁棒性不够；监督方法不需要手工分割和标注，它能够自动或半 自动地分割行为序列，但该方法依然耗时、分割准确性不高。

发明内容

为解决上述技术问题，本发明提出了一种基于多高斯模型的视频行为自适 应分割方法及装置，用以解决现有技术中人体运动序列分割耗时、繁琐、分割 准确性不高的技术问题。

根据本发明的第一方面，提供一种基于多高斯模型的视频行为自适应分割 装置，包括：

步骤S101：利用时空兴趣点检测算法(UMAMA-SIFT)检测视频的时空兴趣 点(STIP)，所述时空兴趣点既是空间上的兴趣点，也是运动变化大的点；

步骤S102：对所述时空兴趣点进行高斯建模得到高斯模型，计算所述视频 内各帧的所述时空兴趣点的时空分布特性，所述时空分布特性包括总体均值、 总体方差及所述时空兴趣点的中心；

步骤S103：从所述视频选取当前帧，利用所述时空分布特性对当前帧进行 行为检测，若当前帧是行为帧，进入S104；否则，分割所述视频，得到一行为 段视频，进入S105；

步骤S104：对所述高斯模型进行参数更新，将当前帧置为下一视频帧；进 入S103。

步骤S105：判断所述视频是否处理完毕，若是，方法结束；若否，进入 S101。

进一步地，所述步骤S101：利用时空兴趣点检测算法(UMAMA-SIFT)检测 视频的时空兴趣点(STIP)，所述时空兴趣点既是空间上的兴趣点，也是运动 变化大的点，包括：

用几何代数作为分析工具分析视频，在SIFT框架下构建包括所述视频的 外观信息、包括能反映视频中目标的局部运动信息的运动方向和速度的统一模 型；

所述在SIFT框架下构建所述统一模型，包括：构建视频图像时空高斯金 字塔，将所述视频图像时空高斯金字塔分为O组(Octave)，每组有S层(Level)， 下一组的图像由上一组图像按照隔点采样得到；利用所述视频图像时空高斯金 字塔，并基于所述视频图像的灰度运动变化矩阵的尺度空间，构建所述几何代 数框架下的视频图像的时空域高斯差分(DoG)；

进而，通过对使用高斯差分(DoG)滤波器获得的响应值图像进行非极大抑 制获得检测时空兴趣点；所述检测时空兴趣点的搜索是通过同一组内各高斯差 分(DoG)相邻层之间的比较完成的；每个像素点都要和它所有的相邻像素点进 行比较，通过设定极值点判定条件检测到所述时空兴趣点。

进一步地，所述步骤S102对所述时空兴趣点进行高斯建模得到高斯模型， 计算所述视频内各帧的所述时空兴趣点的时空分布特性，所述时空分布特性包 括总体均值、总体方差及所述时空兴趣点的中心，包括：

在所述视频中检测到第一个出现时空兴趣点的帧A到所述时空兴趣点消失 的帧B为一个高斯区段[A,B]，所述高斯区段帧数为T，T帧的视频中每帧的兴 趣点的个数的集合为：N＝{n₁,n₂,n₃,L,n_T}；

第i帧的时空兴趣点的集合为

针对第i帧的所述时空兴趣点集合P_i，建立单高斯模型如下：

其中P(P_i)＝η(P_i,U_{i,-1,i-2,L,A,}σ_i-1,i-2,L,A)表示单高斯模型，U_i-1,i-2,L,A(U^X,U^Y)和σ_i-1,i-2,L,A(σ^X,σ^Y)表示 第i帧之前的所有帧的时空兴趣点的分布坐标的均值和方差，u_i(u^X,u^Y)表示当前i 帧的时空兴趣点的中心。

进一步地，所述步骤S103：从所述视频选取当前帧，利用所述时空分布特 性对当前帧进行行为检测，若当前帧是行为帧，进入S104；否则，分割所述视 频，得到一行为段视频，进入S105，包括：

根据所述时空兴趣点在视频中每帧图像上的分布，用方差的大小来反映所 述时空兴趣点之间的聚合程度，将所述时空兴趣点之间聚合的紧密程度作为视 频行为分割的约束条件，首先从所述视频选取当前帧，利用所述时空分布特性 对当前帧进行行为检测，检测条件如下式所示：

λ为用户自定义的参数，λ取值为3；U_i-1,i-2,L,A(U^X,U^Y)为区段[A,i-1]的高斯模型的均值，σ_i-1,i-2,L,A(σ^X,σ^Y)为区段[A,i-1]的高斯模型的方差，为该高斯模型在时刻t-1 的标准差；若新获取的包含时空兴趣点的帧满足公式(14)，则认为该帧与高 斯模型匹配，表示当前帧是行为帧，将行为区段内的帧的标记置1；当一帧中 的时空兴趣点的方差判断大于等于阈值时，表示当前帧不是行为帧，将该帧的 标记置为0。

进一步地，所述步骤S104：对所述高斯模型进行参数更新，将当前帧置为 下一视频帧；进入S103，包括：

目标在运动过程中，其在视频中坐标、方位均发生变化，所述时空兴趣点 分布的坐标也随之发生变化，进而带来所述时空兴趣点的分布坐标的均值、方 差都发生了变化；随着每一帧的变化，若当前帧中行为帧，则根据当前帧的数 据对所述高斯模型的参数按如下公式进行更新：

其中n_i表示第i帧时空兴趣点的个数，U_i,i-1,L,A(U^X,U^Y)和

表示包括第i帧在内以及之前的所有帧的时空兴趣点的分布坐标的均值和方差，u_i(u^X,u^Y) 表示当前i帧的时空兴趣点的中心；

对所述高斯模型参数更新后，再将当前帧置为下一视频帧。

根据本发明第二方面，提供一种基于多高斯模型的视频行为自适应分割装 置，包括：

时空兴趣点计算模块：用于利用时空兴趣点检测算法(UMAMA-SIFT)检测 视频的时空兴趣点(STIP)，所述时空兴趣点既是空间上的兴趣点，也是运动 变化大的点；

建模模块：用于对所述时空兴趣点进行高斯建模得到高斯模型，计算所述 视频内各帧的所述时空兴趣点的时空分布特性，所述时空分布特性包括总体均 值、总体方差及所述时空兴趣点的中心；

第一判断模块：用于从所述视频选取当前帧，利用所述时空分布特性对当 前帧进行行为检测；

参数更新模块：用于对所述高斯模型进行参数更新，将当前帧置为下一视 频帧；

第二判断模块：用于判断所述视频是否处理完毕。

根据本发明第三方面，提供一种基于多高斯模型的视频行为自适应分割系 统，包括：

处理器，用于执行多条指令；

存储器，用于存储多条指令；

其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执 行如前所述的基于多高斯模型的视频行为自适应分割方法。

根据本发明第四方面，提供一种计算机可读存储介质，所述存储介质中存 储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于多高 斯模型的视频行为自适应分割方法。

根据本发明的上述方案，能够快速、准确地对视频行为进行分割。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术 手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附 图详细说明如后。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明提供 如下附图进行说明。在附图中：

图1为本发明提出的基于多高斯模型的视频行为自适应分割方法流程图；

图2A-E为本发明一个实施方式的图像帧的STIP检测示意图；

图3为本发明一个实施方式的本发明的行为检测结果示意图；

图4为本发明一个实施方式的KTH1数据集中jogging类别的分割结果；

图5为本发明一个实施方式的出了为水平与垂直方向分割效果对比示意 图；

图6为本发明一个实施方式的基于多高斯模型的视频行为自适应分割装置 的组成框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实 施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的 实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施 例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例，都属于本发明保护的范围。

定义：

行为段视频：行为段视频是指将长视频序列分割成一个个仅包含一种完整 行为模式的行为段。

以下结合图1说明本发明的基于多高斯模型的视频行为自适应分割方法。 图1示出了根据本发明的基于多高斯模型的视频行为自适应分割方法流程图。 如图1所示，所述方法包括以下步骤：

步骤S101：利用时空兴趣点检测算法(UMAMA-SIFT)检测视频的时空兴趣 点(STIP)，所述时空兴趣点既是空间上的兴趣点，也是运动变化大的点；

步骤S102：对所述时空兴趣点进行高斯建模得到高斯模型，计算所述视频 内各帧的所述时空兴趣点的时空分布特性，所述时空分布特性包括总体均值、 总体方差及所述时空兴趣点的中心；

步骤S103：从所述视频选取当前帧，利用所述时空分布特性对当前帧进行 行为检测，若当前帧是行为帧，进入S104；否则，分割所述视频，得到一行为 段视频，进入S105；

步骤S104：对所述高斯模型进行参数更新，将当前帧置为下一视频帧；进 入S103。

步骤S105：判断所述视频是否处理完毕，若是，方法结束；若否，进入 S101。

所述步骤S101：利用时空兴趣点检测算法(UMAMA-SIFT)算法检测视频的 时空兴趣点(STIP)，所述时空兴趣点既是空间上的兴趣点，也是运动变化大 的点，包括：

用几何代数作为分析工具分析视频，在SIFT框架下构建包括所述视频的 外观信息、包括能反映视频中目标的局部运动信息的运动方向和速度的统一模 型；所述视频序列是一段完整的视频；

所述在SIFT框架下构建所述统一模型，包括：构建视频图像时空高斯金 字塔，将所述视频图像时空高斯金字塔分为O组(Octave)，每组有S层(Level)， 下一组的图像由上一组图像按照隔点采样得到；利用所述视频图像时空高斯金 字塔，并基于所述视频图像的灰度运动变化矩阵的尺度空间，构建所述几何代 数框架下的视频图像的时空域高斯差分(DoG)；

进而，通过对使用高斯差分(DoG)滤波器获得的响应值图像进行非极大抑 制获得检测时空兴趣点；所述检测时空兴趣点的搜索是通过同一组内各高斯差 分(DoG)相邻层之间的比较完成的；每个像素点都要和它所有的相邻像素点进 行比较，通过设定极值点判定条件检测到所述时空兴趣点。

图2A-E示出了部分图像帧的STIP检测。在一段时间内发生同一行为，无 论是固定镜头拍摄还是镜头跟随拍摄，时空兴趣点的分布都较为集中和固定， 且帧与帧之间变化不大。如果视频行为结束，则镜头内容发生变化，所述时空 兴趣点的分布开始变得杂乱无章，毫无规律。因此，可以依据所述时空兴趣点 的分布集中程度，计算帧与帧之间的时空兴趣点的分布变化程度来确定视频行 为发生区间，即将视频划分为多个行为段视频。

所述S102：对所述时空兴趣点进行高斯建模得到高斯模型，计算所述视频 内各帧的所述时空兴趣点的时空分布特性，所述时空分布特性包括总体均值、 总体方差及所述时空兴趣点的中心，包括：

在所述视频中检测到第一个出现时空兴趣点的帧A到所述时空兴趣点消失 的帧B为一个高斯区段[A,B]，所述高斯区段帧数为T，T帧的视频中每帧的兴 趣点的个数的集合为：N＝{n₁,n₂,n₃,L,n_T}；

第i帧的时空兴趣点的集合为

针对第i帧的所述时空兴趣点集合P_i，建立单高斯模型如下：

其中P(P_i)＝η(P_i,U_{i,-1,i-2,L,A,}σ_i-1,i-2,L,A)表示单高斯模型，U_i-1,i-2,L,A(U^X,U^Y)和σ_i-1,i-2,L,A(σ^X,σ^Y)表示 第i帧之前的所有帧的时空兴趣点的分布坐标的均值和方差，u_i(u^X,u^Y)表示当前i 帧的时空兴趣点的中心。

详细推导过程如下：

假设在所述高斯区段[A,B]中共有T帧的视频中每帧时空兴趣点的个数的集 合为N＝{n₁,n₂,n₃,L,n_T}，所有时空兴趣点的集合为P＝{P₁,P₂,L,P_i,L,P_T}；针对第i帧有

公式(6)与公式(1)相同，均表示第i帧的时空兴趣点的点集，兴趣点 集合P_i中第n_i个时空兴趣点的坐标为

可得当前帧的水平方向均值为 式(7)，同理垂直方向的均值为式(8)。

即当前第i帧的时空兴趣点的中心为

简写为u_i(u^X,u^Y)。

在所述视频的每一帧中，目标是不断运动的，从一视频行为开始至结束， 所述目标的行为可能不是固定在视频图像的某一个地方，所述目标对应的时空 兴趣点的中心也在不断发生偏移，将当前帧以前的所有所述时空兴趣点合并在 统一的求解中心能有效的检测到所述时空兴趣点的中心偏移量。

本实施例介绍U_i-1,i-2,L,A(U^X,U^Y)和σ_i-1,i-2L,A(σ^X,σ^Y)的推导过程。假设所述视频第A帧共有n_A个时空兴趣点，n_A个时空兴趣点的集合表示为

其中P_A表示第A帧的时空兴趣点的集 合，

表示在第A帧中第1个时空兴趣点，第1个兴趣点的坐标为

依次类推第n_A个时空兴趣点的坐标为

有

计算[A,i]区段中所有时空兴趣点的分布中心，用均值U_i-1,i-2L,A(U^X,U^Y)表示；以及离散程度，用方差σ_i-1,i-2L,A(σ^X,σ^Y)表示。首先求 解均值U_i-1,i-2L,A(U^X,U^Y)的水平方向均值：

同理可得，垂直方向的中心均值为公式(12)，时间段[A,i]内包含时空兴趣 点的总体均值为公式(13)，

简写为U_i-1,i-2,L,A(U^X,U^Y)。同理可求得区段[A,i]内包含时空兴趣点的总体方差为σ_i-1,i-2,L,A(σ^X,σ^Y)。

所述步骤S103：从所述视频选取当前帧，利用所述时空分布特性对当前帧 进行行为检测，若当前帧是行为帧，进入S104；否则，分割所述视频，得到一 行为段视频，进入S105，包括：

根据所述时空兴趣点在视频中每帧图像上的分布，用方差的大小来反映所 述时空兴趣点之间的聚合程度，将所述时空兴趣点之间聚合的紧密程度作为视 频行为分割的约束条件，首先从所述视频选取当前帧，利用所述时空分布特性 对当前帧进行行为检测，检测条件如下式所示：

λ为用户自定义的参数，在实际应用系统中一般取值为2.5，其值可根据 实验中的先验知识确定，在本实施例中λ取3。U_i-1,i-2,L,A(U^X,U^Y)为区段[A,i-1]的高斯 模型的均值，σ_i-1,i-2,L,A(σ^X,σ^Y)为区段[A,i-1]的高斯模型的方差，为该高斯模型在时 刻t-1的标准差。若新获取的包含时空兴趣点帧满足公式(14)，则认为该帧 与这个高斯模型匹配，表示当前帧是行为帧，将行为区段内的帧的标记置1。 当一帧中的时空兴趣点的方差过大，即过于离散，判断大于等于阈值时，表示 当前帧不是行为帧，将非行为区段的帧的标记置为0。在该不是行为帧处对视 频进行分割，将之前的所有连续的行为帧作为一个完整的视频行为，得到一行 为段视频。

本实施例检测结果如图3所示，图3示出了根据本发明的行为检测结果示 意图。自顶向下依次为手动分割结果、本实施例分割结果、行为检测与分割标 准结果。

所述步骤S104：对所述高斯模型进行参数更新，将当前帧置为下一视频帧； 进入S103，包括：

目标在运动过程中，其在视频中坐标、方位均发生变化，所述时空兴趣点 分布的坐标也随之发生变化，进而带来所述时空兴趣点的分布坐标的均值、方 差都发生了变化。随着每一帧的变化，若当前帧中行为帧，则根据当前帧的数 据对所述高斯模型的参数按如下公式进行更新：

其中n_i表示第i帧时空兴趣点的个数，U_i,i-1,L,A(U^X,U^Y)和

表示包括第i帧在内以及之前的所有帧的时空兴趣点的分布坐标的均值和方差，u_i(u^X,u^Y) 表示当前i帧的时空兴趣点的中心。

对所述高斯模型参数更新后，再将当前帧置为下一视频帧。

所述步骤S105：判断所述视频是否处理完毕，若是，方法结束；若否，进 入S101，包括：

若当前视频全部处理完毕，则方法结束，否则，继续处理该视频的其余部 分。

以下结合图4-5说明本实施例分割效果，具体的：

使用KTH数据集进行评估。KTH数据集包含6种类型的交互行为：的人类 活动:散步、慢跑、跑步、拳击、挥手和拍手。在KTH数据集中，每个人的行 为都由25个参与者执行数次。数据集的类别中一种是一个人只做一次动作， 另一种有人执行同样的动作三次或三次以上在同一个视频中。由于数据集的特 点，将需要的那一部分重新命名为KTH1数据集。选取此数据集的原因是数据 集具有干净的背景和一个参与者的特点，很适合STIP检测，检测效果也非常 准确。行为分割准确性非常依赖于STIP检测结果，如果STIP检测能很好的捕捉到运动变化，行为分割的结果将越接近于手动分割，越接近人眼捕捉的行为 分割。

采取人眼捕捉的手动行为分割与本实施例所述方法的分割结果进行对比。 图4示出了本申请实施例的KTH1数据集中jogging类别的分割结果，图4的 横坐标表示人数，纵坐标表示视频帧数。每个视频的左侧为手动分割结果，右 侧为本算法分割效果。jogging类别中有20个人，每个人有4段视频，从20 个人中各随机抽取了一个视频，验证本实施例的分割效果。从图4中可以看出， 每段视频中的发生行为的区段能被有效的检测出来，整体分割效果较好。

图5示出了为水平与垂直方向分割效果对比示意图。分别选取了KTH1数 据集中run类别person01_d3与jogging类别中的person01_d1进行水平和垂直 方向的数据对比，自上而下分别是手动分割结果、水平方向分割结果、垂直方 向分割结果。从图5中可以看出水平方向分割更为准确，在开始阶段，方向过 早的检测到运动变化，不太贴合实际结果。这可能是和摄像机拍摄的原因有关， 固定的摄像头一般横向拍摄，行人横向进出发生行为，这是人们的拍摄习惯问 题，非固定的摄像机几乎为有目标拍摄，即锁定一个目标，进行跟拍，拍摄的 行为也一般是水平发生。这种构图方式比较符合人们的视觉习惯，使主体自然成为视觉中心，突出主体，使画面趋向平衡。

请参考图6，其为本发明提出的基于多高斯模型的视频行为自适应分割装 置组成框图。如图所示，该装置包括：

时空兴趣点计算模块：用于利用时空兴趣点检测算法(UMAMA-SIFT)检测 视频的时空兴趣点(STIP)，所述时空兴趣点既是空间上的兴趣点，也是运动 变化大的点；

建模模块：用于对所述时空兴趣点进行高斯建模得到高斯模型，计算所述 视频内各帧的所述时空兴趣点的时空分布特性，所述时空分布特性包括总体均 值、总体方差及所述时空兴趣点的中心；

第一判断模块：用于从所述视频选取当前帧，利用所述时空分布特性对当 前帧进行行为检测；

参数更新模块：用于对所述高斯模型进行参数更新，将当前帧置为下一视 频帧；

第二判断模块：用于判断所述视频是否处理完毕。

本发明实施例进一步给出一种基于多高斯模型的视频行为自适应分割系 统，包括：

处理器，用于执行多条指令；

存储器，用于存储多条指令；

其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执 行如上所述的基于多高斯模型的视频行为自适应分割方法。

本发明实施例进一步给出一种计算机可读存储介质，所述存储介质中存储 有多条指令；所述多条指令，用于由处理器加载并执行如上所述的基于多高斯 模型的视频行为自适应分割方法。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征 可以相互组合。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方 法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性 的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另 外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统， 或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或 直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连 接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为 单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元 中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能 单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可 读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用 以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务 器等，需安装Windows或者Windows Server操作系统)执行本发明各个实施例 所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器 (Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、 磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的 限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与 修饰，均仍属于本发明技术方案的范围内。

Claims (5)

1.一种基于多高斯模型的视频行为自适应分割方法，其特征在于，所述方法包括：

步骤S101：利用时空兴趣点检测算法检测视频的时空兴趣点，所述时空兴趣点既是空间上的兴趣点，也是运动变化大的点；

步骤S102：对所述时空兴趣点进行高斯建模得到高斯模型，计算所述视频内各帧的所述时空兴趣点的时空分布特性，所述时空分布特性包括总体均值、总体方差及所述时空兴趣点的中心；

步骤S103：从所述视频选取当前帧，利用所述时空分布特性对当前帧进行行为检测，若当前帧是行为帧，进入S104；否则，分割所述视频，得到一行为段视频，进入S105；

步骤S104：对所述高斯模型进行参数更新，将当前帧置为下一视频帧；进入S103；

步骤S105：判断所述视频是否处理完毕，若是，方法结束；若否，进入S101；

所述步骤S103从所述视频选取当前帧，利用所述时空分布特性对当前帧进行行为检测，若当前帧是行为帧，进入S104；否则，分割所述视频，得到一行为段视频，进入S105，包括：

根据所述时空兴趣点在视频中每帧图像上的分布，用方差的大小来反映所述时空兴趣点之间的聚合程度，将所述时空兴趣点之间聚合的紧密程度作为视频行为分割的约束条件，首先从所述视频选取当前帧，利用所述时空分布特性对当前帧进行行为检测，检测条件如下式所示：

λ为用户自定义的参数，λ取值为3；U_{i-1,i-2,…,A}(U^X,U^Y)为区段[A,i-1]的高斯模型的均值，σ_{i-1,i-2,...,A}(σ^X,σ^Y)为区段[A,i-1]的高斯模型的方差，为该高斯模型在时刻t-1的标准差；若新获取的包含时空兴趣点的帧满足公式(14)，则认为该帧与高斯模型匹配，表示当前帧是行为帧，将行为区段内的帧的标记置1；当一帧中的时空兴趣点的方差判断大于等于阈值时，表示当前帧不是行为帧，将该帧的标记置为0。

2.如权利要求1所述的基于多高斯模型的视频行为自适应分割方法，其特征在于，所述步骤S101：利用时空兴趣点检测算法检测视频的时空兴趣点，所述时空兴趣点既是空间上的兴趣点，也是运动变化大的点，包括：

用几何代数作为分析工具分析视频，在SIFT框架下构建包括所述视频的外观信息、包括能反映视频中目标的局部运动信息的运动方向和速度的统一模型；

所述在SIFT框架下构建所述统一模型，包括：构建视频图像时空高斯金字塔，将所述视频图像时空高斯金字塔分为O组，每组有S层，下一组的图像由上一组图像按照隔点采样得到；利用所述视频图像时空高斯金字塔，并基于所述视频图像的灰度运动变化矩阵的尺度空间，构建所述几何代数框架下的视频图像的时空域高斯差分；

进而，通过对使用高斯差分滤波器获得的响应值图像进行非极大抑制获得检测时空兴趣点；所述检测时空兴趣点的搜索是通过同一组内各高斯差分相邻层之间的比较完成的；每个像素点都要和它所有的相邻像素点进行比较，通过设定极值点判定条件检测到所述时空兴趣点。

3.如权利要求1所述的基于多高斯模型的视频行为自适应分割方法，其特征在于，所述步骤S102对所述时空兴趣点进行高斯建模得到高斯模型，计算所述视频内各帧的所述时空兴趣点的时空分布特性，所述时空分布特性包括总体均值、总体方差及所述时空兴趣点的中心，包括：

在所述视频中检测到第一个出现时空兴趣点的帧A到所述时空兴趣点消失的帧B为一个高斯区段[A,B]，所述高斯区段帧数为T，T帧的视频中每帧的兴趣点的个数的集合为：N＝{n₁,n₂,n₃,…,n_T}；

第i帧的时空兴趣点的集合为

针对第i帧的所述时空兴趣点的 集合P_i，建立单高斯模型如下：

其中P(P_i)＝η(P_i,U_{i,-1,i-2,…,A},σ_{i-1,i-2,...,A})表示单高斯模型，U_{i-1,i-2,…,A}(U^X,U^Y)和σ_{i-1,i-2,…,A}(σ^X,σ^Y)表示第i帧之前的所有帧的时空兴趣点的分布坐标的均值和方差，u_i(u^X,u^Y)表示当前i帧的时空兴趣点的中心。

4.一种基于多高斯模型的视频行为自适应分割系统，其特征在于，包括：

处理器，用于执行多条指令；

存储器，用于存储多条指令；

其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如权利要求1-3任一所述的基于多高斯模型的视频行为自适应分割方法。

5.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-3任一所述的基于多高斯模型的视频行为自适应分割方法。

Images