CN110751017B - 一种基于强化学习的在线非监督的人群组分割方法及终端 - Google Patents

Abstract

本发明公开了一种基于强化学习的在线非监督的人群组分割方法及终端，包括：通过视频序列追踪运动特征点轨迹并提取运动人群语义；使用速度约束的自然最近邻法确定每个特征点最近邻的数量；计算每个特征点与其最近邻K个点的路径相似度，构造路径相似度矩阵；计算不同特征点轨迹在该时刻的运动相似度邻接矩阵；构建强化学习模块；构建价值矩阵进行强化学习训练，获得最佳分割阈值；根据最佳分割阈值对相似度邻接矩阵进行阈值分割，剩余的连通区域为最终特征点分割结果；基于最终特征点分割结果，利用K最近邻法对运动人群语义进行分割聚类，实现像素级别的人群组分割。通过本发明，提高了计算准确性以及分割准确性。

Description

一种基于强化学习的在线非监督的人群组分割方法及终端

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于强化学习的在线非监督的人群组分割方法及终端。

背景技术

集群运动是自然界最常见的现象之一。在城市公共安全这一领域中，同人民群众生命财产安全和日常出行紧密挂钩的集群运动越发值得关注，城市公共安全的形式也日趋复杂严峻。近年来，计算机视觉技术业已在群体管理中发挥了越来越重要的作用，比如群体的流量控制、群体目标的跟踪和群体异常事件检测等，人群组分割是以上研究领域的基础和前提，是首先要解决的重要问题。

当前人群的组分割方法主要基于三类物理模型：光流场模型、概率模型和粒子运动相似性模型。其中，光流场(参见：S.Ali and M.Shah,“A lagrangian particledynamics approach for crowd flow segmentation and stability analysis,”in2007IEEE Conference on Computer Vision and Pattern Recognition,June 2007,pp.1–6.)具有有效应对高密度人群场景的能力。然而该模型在低密度场景下，分割结果往往过于分散。概率模型(参见：Lei Song,F.Jiang,Zhongke Shi,and A.K.Katsaggelos,“Understanding dynamic scenes by hierarchical motion pattern mining,”in2011IEEE International Conference on Multimedia and Expo,July 2011,pp.1–6.)长于分析行人的长期行为，但是对人群剧烈和突然变化的反应不佳。粒子运动相似性模型(参见：Bolei Zhou,Xiaoou Tang,and Xiaogang Wang,“Coherent filtering:Detectingcoherent motions from crowd clutters,”in Computer Vision–ECCV 2012,AndrewFitzgibbon,Svetlana Lazebnik,Pietro Perona,Yoichi Sato,and Cordelia Schmid,Eds.,Berlin,Heidelberg,2012,pp.857–871,Springer Berlin Heidelberg.)中计算并利用粒子的轨迹来获得运动人群的时间和空间关系，是最常用的模型之一，在不同场景中都具有广泛应用。在不同场景的运动聚类和组分割中，当前大多数模型方法都依赖于的固定参数。模型的固定参数通常对各种场景的适应性较差。当传统的固定参数的分割方法遇到不同的场景尺度和颗粒度时，参数总是不能很好地适应而影响结果准确性，需要进行人工调试，增加了成本。

发明内容

本发明针对上述现有技术中存在的问题，提出一种基于强化学习的在线非监督的人群组分割方法及终端，使用在线非监督的强化学习的方法，对人群组分割的关键参数进行自动学习，不依赖于训练样本，免去前期数据标注的准备工作；面对不同的监控应用场景可以自适应地调整参数，提高人群组分割算法在不同监控尺度与人群颗粒度下的适应能力，从而方法的准确率得到提升。

为解决上述技术问题，本发明是通过如下技术方案实现的：

根据本发明的第一方面，提供一种基于强化学习的在线非监督的人群组分割方法，其包括以下步骤：

S101：通过视频序列追踪运动特征点轨迹并提取运动人群语义；

S102：使用速度约束的自然最近邻法确定每个特征点最近邻的数量K；

S103：计算每个特征点与其最近邻K个点的路径相似度，构造路径相似度矩阵W，W中i行j列元素为v_l(i,j)，v_l(i,j)为i和j两点间的路径相似程度；

S104：通过W计算不同特征点轨迹在该时刻的运动相似度邻接矩阵Z；

S105：设置强化学习模块中的参数，所述参数包括状态值T_c、用于调整状态值T_c大小的动作集合A＝{ΔT_c}以及奖励值R；所述奖励值R的设置基于S101中的运动人群语义；

S106：基于S105设置的参数，构建价值矩阵Q-Table进行强化学习训练，获得最佳分割阈值；

S107：根据S106得到的最佳分割阈值对相似度邻接矩阵Z进行阈值分割，剩余的连通区域为最终特征点分割结果；

S108：基于S107得到的最终特征点分割结果，利用K最近邻法对运动人群语义进行分割聚类，实现像素级别的人群组分割。

较佳地，所述S101具体包括：

S1011：对视频序列使用稀疏光流跟踪获得运动人群的特征点的运动轨迹集合，在某一时刻，点p₀至点p_l的所有连接路径长度为l的集合为P_l＝{γ_l}，其中每条子路径可表示为γ_l＝{p₀→p₁→…→p_l}，p₁,p₂,…,p_l为追踪到的特征点；

S1012：使用海森矩阵对视频序列进行滤波，获得各帧画面的运动人群粗语义；

S1013：使用形态学操作对所述S1012得到的运动人群粗语义进行处理，获得各帧画面的运动人群精细语义P_semantic＝{I_semantic}。

较佳地，所述S1012中的海森矩阵具体是：

其中I(x,y,t)视频序列的图像矩阵；

为I对图像横坐标变量x的二阶偏导，

为I对图像横坐标变量x与时间变量t的二阶混合偏导，以此类推；

所述S1013具体包括：先后使用膨胀、去空洞以及平滑的形态学操作对所述S1012得到的运动人群粗语义进行处理，获得各帧画面的运动人群精细语义P_semantic＝{I_semantic}。

较佳地，所述S102具体包括：通过运动特征点的空间位置关系与运动速度关系，计算每个特征点的自然近邻点数目K；进一步地，

所述计算每个特征点的自然近邻点数目K具体包括：搜索每个特征点P的前r个欧式距离最近邻点，对前r个近邻点中的每一个点P_s，若点P_s和P的速度夹角小于预设大小θ，则点P_s对应的自然近邻点数目K加一。在判断近邻特征点数量时不仅考虑了空间距离远近，也将速度方向夹角作为判定一个点是否是另一个点的近邻的标准，使的最近邻数目的计算更加准确。

较佳地，所述S103中两点间的路径相似程度的构造方法为：通过计算连接两特征点长度为l的所有路径上每个相邻特征点的速度关系而获得，具体为：

其中，

C_t(P_k,P_k+1)为特征点P_k和P_k+1的速度夹角的余弦值。

较佳地，所述S104中的运动相似度邻接矩阵Z具体为：

Z＝(I-zW)^-1-I，

其中z为常数，

ρ(W)为W的谱半径；I为单位矩阵；(·)^-1为矩阵求逆运算。

较佳地，所述S105中的状态值T_c用来表示运动相似度矩阵Z的分割阈值T，具体为：

其中z为常数，K为每个特征点最近邻的数量。

较佳地，所述S105中的动作集合具体为：

A＝{ΔT_c1,ΔT_c2,…,ΔT_cn}，

其中，ΔT_c1,ΔT_c2,…,ΔT_cn指T_c的调整幅度大小，可以为负数和0。

较佳地，所述S105中的奖励值包括：正奖励以及惩罚，具体为：

R＝Q_r-R_n

其中，

k为阈值分割后获得的聚类总数，A(V_c,V_c)为聚类c的所有聚类内部边的权重的和，A(V_c,V)为连接聚类c中所有特征点的边权重之和，A(V,V)原邻接矩阵所有边的和；

其中σ和τ为常数系数，N_e1为最后在落在人群语义中却不属于任何组分割结果的特征点数目，N_e2为属于组分割结果却不落在人群语义中的特征点数目，N为特征点总数目。

较佳地，所述S106具体包括：使用Q学习的方式对每个状态对应的各个动作的价值进行训练，Q值的具体学习公式为：

Q^new(s,a)＝Q(s,a)+α[R(s,a)+γQ'(s',a')-Q(s,a)]

其中，s表示状态，a表示动作；Q^new(s,a)为更新之后的Q值，Q(s,a)为原Q值，Q'(s',a')为下一状态估计的最大Q值；R(s,a)为奖励值；α为学习率，γ为衰减系数。

根据本发明的第二方面，提供一种人群组分割终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的任一项基于强化学习的在线非监督的人群组分割方法。

相较于现有技术，本发明具有以下优点：

(1)本发明提供的基于强化学习的在线非监督的人群组分割方法，通过追踪提取的特征点的空间关系和速度关系，使用速度约束的自然最近邻法计算每个特征点的最佳近邻点数量，使运动一致性的计算准确性提升；

(2)本发明提供的基于强化学习的在线非监督的人群组分割方法，通过强化学习模块，结合环境信息，自适应地决定阈值分割中的关键参数，使本方法应对不同场景和人群颗粒度的适应能力得到增强，分割准确性得到提升；

(3)本发明提供的基于强化学习的在线非监督的人群组分割方法，强化学习模块使用在线非监督的学习方式，从而不依赖于数据的标注和前期的离线训练；克服了传统粒子模型方法的缺点，使用人群语义辅助强化学习模块奖励值的设计，并在最终结果实现了像素级别的人群组分割。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

下面结合附图对本发明的实施方式作进一步说明：

图1为本发明一实施例的基于强化学习的在线非监督的人群组分割方法的流程图；

图2为本发明一实施例的强化学习模块的参数训练变化图；

图3为本发明一实施例与采用现有方法的人群组分割结果对比图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，为本发明一实施例的基于强化学习的在线非监督的人群组分割方法的流程图。

请参考图1，本实施例的人群组分割方法可以包括以下步骤：

S101：通过视频序列追踪运动特征点轨迹并提取运动人群语义；

S102：使用速度约束的自然最近邻法确定每个特征点最近邻的数量K；

S103：计算每个特征点与其最近邻K个点的路径相似度，构造路径相似度矩阵W，W中i行j列元素为v_l(i,j)，v_l(i,j)为i和j两点间的路径相似程度；

S104：通过W计算不同特征点轨迹在该时刻的运动相似度邻接矩阵Z；

S105：设置强化学习模块中的状态值为T_c、用于调整状态值T_c大小的动作集合A＝{ΔT_c}以及奖励值R；其中，奖励值R的设置基于S101中的运动人群语义；

S106：基于S105设置的参数，构建价值矩阵Q-Table进行强化学习训练，获得最佳分割阈值；

S107：根据S106得到的最佳分割阈值对相似度邻接矩阵Z进行阈值分割，剩余的连通区域为最终特征点分割结果；

S108：基于S107得到的最终特征点分割结果，利用K最近邻法对运动人群语义进行分割聚类，实现像素级别的人群组分割。

较佳实施例中，上述S101包括：

S1011：对视频序列使用稀疏光流跟踪获得运动人群的特征点的运动轨迹集合，在某一时刻，点p₀至点p_l的所有连接路径长度为l的集合为P_l＝{γ_l}，其中每条子路径可表示为γ_l＝{p₀→p₁→…→p_l}，p₁,p₂,…,p_l为追踪到的特征点；在本实施例中，特征点追踪来自数据集；

S1012：使用海森矩阵对视频序列进行滤波，获得各帧画面的运动人群粗语义；具体地，用于滤波的海森矩阵为：

一实施例中，海森滤波的阈值可以为100。当然，在其他实施例中，也可以是其他阈值取值，可以根据实际应用来设置。

S1013：使用形态学操作对S1012得到的运动人群粗语义进行处理，获得各帧画面的运动人群精细语义P_semantic＝{I_semantic}。具体地，先后使用膨胀、去空洞以及平滑的形态学操作对所述S1012得到的运动人群粗语义进行处理。一实施例中，膨胀操作结构元素为半径5像素的圆形，填充空洞的最小面积为500像素。

较佳实施例中，S102具体包括：通过运动特征点的空间位置关系与运动速度关系，计算每个特征点的自然近邻点数目K。进一步地，计算每个特征点的自然近邻点数目K具体包括：搜索每个特征点P的前r个欧式距离最近邻点，对前r个近邻点中的每一个点P_s，若点P_s和P的速度夹角小于预设大小θ，则点P_s对应的自然近邻点数目K加一。一实施例中，预设大小

本实施例在判断近邻特征点数量时不仅考虑了空间距离远近，也将速度方向夹角作为判定一个点是否是另一个点的近邻的标准，使的最近邻数目的计算更加准确。

较佳实施例中，速度约束的自然最近邻法的伪代码如下：

输入：n个运动特征点P₁，P₂，…，P_n的对应的速度v₁，v₂，…，v_n

输出：每个特征点K的大小K₁，K₂，…，K_n

上述实施例中的速度约束的自然最近邻法伪代码在判断近邻特征点数量时不仅考虑了空间距离远近，也将速度方向夹角作为判定一个点是否是另一个点的近邻的标准，使的最近邻数目的计算更加准确。

较佳实施例中，S103具体包括：

S1031：计算连接两特征点长度为l的路径上的路径运动相似度，具体为：计算一条路径上所有相邻特征点的速度夹角余弦值的乘积，如余弦值为负数则记为0,即：

其中，C_t(P_k,P_k+1)为特征点P_k和P_k+1的速度夹角的余弦值。一实施例中，l＝20。

S1032：计算连接两特征点长度为l的所有路径的路径运动相似度的和，即：

S1033：构造相似度矩阵W，W中i行j列元素为v_l(i,j)。

较佳实施例中，S104中的运动相似度邻接矩阵Z具体为：

Z＝(I-zW)^-1-I，

其中z为常数，

ρ(W)为W的谱半径；I为单位矩阵；(·)^-1为矩阵求逆运算。

较佳实施例中，S105中的状态值T_c用来表示运动相似度矩阵Z的分割阈值T，具体为：

其中z为常数，K为每个特征点最近邻的数量。一实施例中，z＝0.05，K来自第二步结果，T_c＝0.01,0.02,0.03,…,1。

较佳实施例中，S105中的动作集合具体为：

A＝{ΔT_c1,ΔT_c2,…,ΔT_cn}，

其中，ΔT_c1,ΔT_c2,…,ΔT_cn指T_c的调整幅度大小，可以为负数和0。一实施例中，A＝{±0.1,±0.05,±0.03,±0.01,0}。

较佳实施例中，S105中的奖励值为分割结果的定量质量评价，是动作价值的更新凭据，包括：正奖励以及惩罚，具体为：

R＝Q_r-R_n

其中，

k为阈值分割后获得的聚类总数，A(V_c,V_c)为聚类c的所有聚类内部边的权重的和，A(V_c,V)为连接聚类c中所有特征点的边权重之和，A(V,V)原邻接矩阵所有边的和；

其中σ和τ为常数系数，N_e1为最后在落在人群语义中却不属于任何组分割结果的特征点数目，N_e2为属于组分割结果却不落在人群语义中的特征点数目，N为特征点总数目。一实施例中，σ＝τ＝1。

较佳实施例中，S106具体包括：使用Q学习的方式对每个状态对应的各个动作的价值进行训练，Q值的具体学习公式为：

Q^new(s,a)＝Q(s,a)+α[R(s,a)+γQ'(s',a')-Q(s,a)]

其中，s表示状态，a表示动作；Q^new(s,a)为更新之后的Q值，Q(s,a)为原Q值，Q'(s',a')为下一状态估计的最大Q值；R(s,a)为奖励值；α为学习率，γ为衰减系数。一实施例中，α＝0.1，γ＝0.9，试错概率ε＝0.1。

如图2所示为本发明的实施例的强化学习模块的参数训练过程，T_c初始变化毫无规律，但随着训练进行可以很快达到稳定状态。对T_c添加大的干扰，T_c的状态也可以快速恢复到稳定状态。

在本发明另一实施例中，还提供一种人群组分割终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述的任一项基于强化学习的在线非监督的人群组分割方法。

如图3所示为采用本发明一实施例与采用现有方法的人群组分割结果对比图，其中场景1是原图像帧(具体为原序列中的第61帧)，场景二是相应的时空力场结果，场景三是时空力场的俯视图。其中(a)是相干性滤波方法(参考：Bolei Zhou,Xiaoou Tang,andXiaogang Wang,“Coherent filtering:Detecting coherent motions from crowdclutters,”in Computer Vision–ECCV 2012,Andrew Fitzgibbon,Svetlana Lazebnik,Pietro Perona,Yoichi Sato,and Cordelia Schmid,Eds.,Berlin,Heidelberg,2012,pp.857–871,Springer Berlin Heidelberg.)结果，(b)是集群过度的方法(参考：J.Shao,C.C.Loy,and X.Wang,“Scene-independent group profiling in crowd,”in 2014IEEEConference on Computer Vision and Pattern Recognition,June 2014,pp.2227–2234.)，(c)是集群运动一致性的方法(参考：B.Zhou,X.Tang,H.Zhang,and X.Wang,“Measuring crowd collectiveness,”IEEE Transactions on Pattern Analysis andMachine Intelligence,vol.36,no.8,pp.1586–1599,Aug 2014.)，(d)为本发明实施例结果，(e)是运动特征点组分割的真实结果，(f)是像素级分割的真实结果。从对比图中可以看出，本发明实施例可以有效提高准确性，并实现了像素界别的分割结果。

应当理解的是，上述仅仅是部分实施例，上述实施例中的具体参数取值是为了更好地说明本发明的方法，并不局限于上述参数取值，对于本领域技术人员来说，在其他实施例中，可以根据实际应用来选择其他取值。上述各较佳特征，可以在任一实施例中单独使用，在互不冲突的前提下，也可以任一组合使用。

此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

Claims (10)

1.一种基于强化学习的在线非监督的人群组分割方法，其特征在于，包括：

S101：通过视频序列追踪运动特征点轨迹并提取运动人群语义；

S102：使用速度约束的自然最近邻法确定每个特征点最近邻的点的数量K；

S103：计算每个特征点与其最近邻K个点的路径相似度，构造路径相似度矩阵W；

S104：通过W计算不同特征点轨迹在该时刻的运动相似度邻接矩阵Z；

S105：设置强化学习模块中的参数，所述参数包括状态值T_c、用于调整状态值T_c大小的动作集合A＝{ΔT_c}以及奖励值R；所述奖励值R的设置基于S101中的运动人群语义；c为一聚类；

S106：基于S105中设置的参数，构建价值矩阵Q-Table进行强化学习训练，获得最佳分割阈值；

S107：根据S106得到的最佳分割阈值对相似度邻接矩阵Z进行阈值分割，剩余的连通区域为最终特征点分割结果；

S108：基于S107得到的最终特征点分割结果，利用K最近邻法对运动人群语义进行分割聚类，实现像素级别的人群组分割。

2.根据权利要求1所述的基于强化学习的在线非监督的人群组分割方法，其特征在于，所述S101具体包括：

S1011：对视频序列使用稀疏光流跟踪获得运动人群的特征点的运动轨迹集合，在某一时刻，点p₀至点p_l的所有连接路径长度为l的集合为P_l＝{γ_l}，其中每条子路径表示为γ_l＝{p₀→p₁→…→p_l}，p₁,p₂,…,p_l为追踪到的特征点；

S1012：使用海森矩阵对视频序列进行滤波，获得各帧画面的运动人群粗语义；

S1013：使用形态学操作对所述S1012得到的运动人群粗语义进行处理，获得各帧画面的运动人群精细语义P_semantic＝{I_semantic}。

3.根据权利要求2所述的基于强化学习的在线非监督的人群组分割方法，其特征在于，所述S1012中的海森矩阵具体是：

其中I(x,y,t)视频序列的图像矩阵；

为I对图像横坐标变量x的二阶偏导，

为I对图像横坐标变量x与时间变量t的二阶混合偏导，以此类推；

所述S1013具体包括：先后使用膨胀、去空洞以及平滑的形态学操作对所述S1012得到的运动人群粗语义进行处理，获得各帧画面的运动人群精细语义P_semantic＝{I_semantic}。

4.根据权利要求1所述的基于强化学习的在线非监督的人群组分割方法，其特征在于，所述S102具体包括：通过运动特征点的空间位置关系与运动速度关系，计算每个特征点的自然近邻点数目K；进一步地，

所述计算每个特征点的自然近邻点数目K具体包括：搜索每个特征点P的前r个欧式距离最近邻点，对前r个近邻点中的每一个点P_s，若点P_s和P的速度夹角小于预设大小θ，则点P_s对应的自然近邻点数目K加一。

5.根据权利要求1所述的基于强化学习的在线非监督的人群组分割方法，其特征在于，所述S103中两点间的路径相似程度的构造方法为：通过计算连接两特征点长度为l的所有路径上每个相邻特征点的速度关系而获得，具体为：

其中，

C_t(P_k,P_k+1)为特征点P_k和P_k+1的速度夹角的余弦值，W中i行j列元素为v_l(i,j)，v_l(i,j)为i和j两点间的路径相似程度；点p₀至点p_l的所有连接路径长度为l的集合为P_l＝{γ_l}，其中每条子路径表示为γ_l＝{p₀→p₁→…→p_l}，p₁,p₂,…,p_l为追踪到的特征点。

6.根据权利要求1所述的基于强化学习的在线非监督的人群组分割方法，其特征在于，所述S104中的运动相似度邻接矩阵Z具体为：

Z＝(I-zW)^-1-I，

其中z为常数，

ρ(W)为W的谱半径；I为单位矩阵；(·)^-1为矩阵求逆运算。

7.根据权利要求1所述的基于强化学习的在线非监督的人群组分割方法，其特征在于，所述S105中的状态值T_c用来表示运动相似度邻接矩阵Z的分割阈值T，具体为：

其中z为常数，K为每个特征点最近邻的点的数量。

8.根据权利要求1所述的基于强化学习的在线非监督的人群组分割方法，其特征在于，所述S105中的动作集合具体为：

A＝{ΔT_c1,ΔT_c2,…,ΔT_cn}

其中，ΔT_c1,ΔT_c2,…,ΔT_cn指T_c的调整幅度大小，为负数和0；

所述S105中的奖励值包括：正奖励以及惩罚，具体为：

R＝Q_r-R_n

其中，

k为阈值分割后获得的聚类总数，A(V_c,V_c)为聚类c的所有聚类内部边的权重的和，A(V_c,V)为连接聚类c中所有特征点的边权重之和，A(V,V)原邻接矩阵所有边的和；

其中σ和τ为常数系数，N_e1为最后落在人群语义中却不属于任何组分割结果的特征点数目，N_e2为属于组分割结果却不落在人群语义中的特征点数目，N为特征点总数目。

9.根据权利要求1-8任一项所述的基于强化学习的在线非监督的人群组分割方法，其特征在于，所述S106具体包括：使用Q学习的方式对每个状态对应的各个动作的价值进行训练，Q值的具体学习公式为：

Q^new(s,a)＝Q(s,a)+α[R(s,a)+γQ'(s',a')-Q(s,a)]

其中，s表示状态，a表示动作；Q^new(s,a)为更新之后的Q值，Q(s,a)为原Q值，Q'(s',a')为下一状态估计的最大Q值；R(s,a)为奖励值；α为学习率，γ为衰减系数。

10.一种人群组分割终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-9任一所述的基于强化学习的在线非监督的人群组分割方法。

Images