CN110751017B - 一种基于强化学习的在线非监督的人群组分割方法及终端 - Google Patents
一种基于强化学习的在线非监督的人群组分割方法及终端 Download PDFInfo
- Publication number
- CN110751017B CN110751017B CN201910827133.9A CN201910827133A CN110751017B CN 110751017 B CN110751017 B CN 110751017B CN 201910827133 A CN201910827133 A CN 201910827133A CN 110751017 B CN110751017 B CN 110751017B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- crowd
- reinforcement learning
- motion
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000002787 reinforcement Effects 0.000 title claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 12
- 230000009471 action Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000001228 spectrum Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000001427 coherent effect Effects 0.000 description 4
- 239000002245 particle Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 239000003085 diluting agent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于强化学习的在线非监督的人群组分割方法及终端,包括:通过视频序列追踪运动特征点轨迹并提取运动人群语义;使用速度约束的自然最近邻法确定每个特征点最近邻的数量;计算每个特征点与其最近邻K个点的路径相似度,构造路径相似度矩阵;计算不同特征点轨迹在该时刻的运动相似度邻接矩阵;构建强化学习模块;构建价值矩阵进行强化学习训练,获得最佳分割阈值;根据最佳分割阈值对相似度邻接矩阵进行阈值分割,剩余的连通区域为最终特征点分割结果;基于最终特征点分割结果,利用K最近邻法对运动人群语义进行分割聚类,实现像素级别的人群组分割。通过本发明,提高了计算准确性以及分割准确性。
Description
技术领域
本发明涉及计算机视觉技术领域,特别涉及一种基于强化学习的在线非监督的人群组分割方法及终端。
背景技术
集群运动是自然界最常见的现象之一。在城市公共安全这一领域中,同人民群众生命财产安全和日常出行紧密挂钩的集群运动越发值得关注,城市公共安全的形式也日趋复杂严峻。近年来,计算机视觉技术业已在群体管理中发挥了越来越重要的作用,比如群体的流量控制、群体目标的跟踪和群体异常事件检测等,人群组分割是以上研究领域的基础和前提,是首先要解决的重要问题。
当前人群的组分割方法主要基于三类物理模型:光流场模型、概率模型和粒子运动相似性模型。其中,光流场(参见:S.Ali and M.Shah,“A lagrangian particledynamics approach for crowd flow segmentation and stability analysis,”in2007IEEE Conference on Computer Vision and Pattern Recognition,June 2007,pp.1–6.)具有有效应对高密度人群场景的能力。然而该模型在低密度场景下,分割结果往往过于分散。概率模型(参见:Lei Song,F.Jiang,Zhongke Shi,and A.K.Katsaggelos,“Understanding dynamic scenes by hierarchical motion pattern mining,”in2011IEEE International Conference on Multimedia and Expo,July 2011,pp.1–6.)长于分析行人的长期行为,但是对人群剧烈和突然变化的反应不佳。粒子运动相似性模型(参见:Bolei Zhou,Xiaoou Tang,and Xiaogang Wang,“Coherent filtering:Detectingcoherent motions from crowd clutters,”in Computer Vision–ECCV 2012,AndrewFitzgibbon,Svetlana Lazebnik,Pietro Perona,Yoichi Sato,and Cordelia Schmid,Eds.,Berlin,Heidelberg,2012,pp.857–871,Springer Berlin Heidelberg.)中计算并利用粒子的轨迹来获得运动人群的时间和空间关系,是最常用的模型之一,在不同场景中都具有广泛应用。在不同场景的运动聚类和组分割中,当前大多数模型方法都依赖于的固定参数。模型的固定参数通常对各种场景的适应性较差。当传统的固定参数的分割方法遇到不同的场景尺度和颗粒度时,参数总是不能很好地适应而影响结果准确性,需要进行人工调试,增加了成本。
发明内容
本发明针对上述现有技术中存在的问题,提出一种基于强化学习的在线非监督的人群组分割方法及终端,使用在线非监督的强化学习的方法,对人群组分割的关键参数进行自动学习,不依赖于训练样本,免去前期数据标注的准备工作;面对不同的监控应用场景可以自适应地调整参数,提高人群组分割算法在不同监控尺度与人群颗粒度下的适应能力,从而方法的准确率得到提升。
为解决上述技术问题,本发明是通过如下技术方案实现的:
根据本发明的第一方面,提供一种基于强化学习的在线非监督的人群组分割方法,其包括以下步骤:
S101:通过视频序列追踪运动特征点轨迹并提取运动人群语义;
S102:使用速度约束的自然最近邻法确定每个特征点最近邻的数量K;
S103:计算每个特征点与其最近邻K个点的路径相似度,构造路径相似度矩阵W,W中i行j列元素为vl(i,j),vl(i,j)为i和j两点间的路径相似程度;
S104:通过W计算不同特征点轨迹在该时刻的运动相似度邻接矩阵Z;
S105:设置强化学习模块中的参数,所述参数包括状态值Tc、用于调整状态值Tc大小的动作集合A={ΔTc}以及奖励值R;所述奖励值R的设置基于S101中的运动人群语义;
S106:基于S105设置的参数,构建价值矩阵Q-Table进行强化学习训练,获得最佳分割阈值;
S107:根据S106得到的最佳分割阈值对相似度邻接矩阵Z进行阈值分割,剩余的连通区域为最终特征点分割结果;
S108:基于S107得到的最终特征点分割结果,利用K最近邻法对运动人群语义进行分割聚类,实现像素级别的人群组分割。
较佳地,所述S101具体包括:
S1011:对视频序列使用稀疏光流跟踪获得运动人群的特征点的运动轨迹集合,在某一时刻,点p0至点pl的所有连接路径长度为l的集合为Pl={γl},其中每条子路径可表示为γl={p0→p1→…→pl},p1,p2,…,pl为追踪到的特征点;
S1012:使用海森矩阵对视频序列进行滤波,获得各帧画面的运动人群粗语义;
S1013:使用形态学操作对所述S1012得到的运动人群粗语义进行处理,获得各帧画面的运动人群精细语义Psemantic={Isemantic}。
较佳地,所述S1012中的海森矩阵具体是:
所述S1013具体包括:先后使用膨胀、去空洞以及平滑的形态学操作对所述S1012得到的运动人群粗语义进行处理,获得各帧画面的运动人群精细语义Psemantic={Isemantic}。
较佳地,所述S102具体包括:通过运动特征点的空间位置关系与运动速度关系,计算每个特征点的自然近邻点数目K;进一步地,
所述计算每个特征点的自然近邻点数目K具体包括:搜索每个特征点P的前r个欧式距离最近邻点,对前r个近邻点中的每一个点Ps,若点Ps和P的速度夹角小于预设大小θ,则点Ps对应的自然近邻点数目K加一。在判断近邻特征点数量时不仅考虑了空间距离远近,也将速度方向夹角作为判定一个点是否是另一个点的近邻的标准,使的最近邻数目的计算更加准确。
较佳地,所述S103中两点间的路径相似程度的构造方法为:通过计算连接两特征点长度为l的所有路径上每个相邻特征点的速度关系而获得,具体为:
较佳地,所述S104中的运动相似度邻接矩阵Z具体为:
Z=(I-zW)-1-I,
较佳地,所述S105中的状态值Tc用来表示运动相似度矩阵Z的分割阈值T,具体为:
其中z为常数,K为每个特征点最近邻的数量。
较佳地,所述S105中的动作集合具体为:
A={ΔTc1,ΔTc2,…,ΔTcn},
其中,ΔTc1,ΔTc2,…,ΔTcn指Tc的调整幅度大小,可以为负数和0。
较佳地,所述S105中的奖励值包括:正奖励以及惩罚,具体为:
R=Qr-Rn
其中,k为阈值分割后获得的聚类总数,A(Vc,Vc)为聚类c的所有聚类内部边的权重的和,A(Vc,V)为连接聚类c中所有特征点的边权重之和,A(V,V)原邻接矩阵所有边的和;其中σ和τ为常数系数,Ne1为最后在落在人群语义中却不属于任何组分割结果的特征点数目,Ne2为属于组分割结果却不落在人群语义中的特征点数目,N为特征点总数目。
较佳地,所述S106具体包括:使用Q学习的方式对每个状态对应的各个动作的价值进行训练,Q值的具体学习公式为:
Qnew(s,a)=Q(s,a)+α[R(s,a)+γQ'(s',a')-Q(s,a)]
其中,s表示状态,a表示动作;Qnew(s,a)为更新之后的Q值,Q(s,a)为原Q值,Q'(s',a')为下一状态估计的最大Q值;R(s,a)为奖励值;α为学习率,γ为衰减系数。
根据本发明的第二方面,提供一种人群组分割终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时可用于执行上述的任一项基于强化学习的在线非监督的人群组分割方法。
相较于现有技术,本发明具有以下优点:
(1)本发明提供的基于强化学习的在线非监督的人群组分割方法,通过追踪提取的特征点的空间关系和速度关系,使用速度约束的自然最近邻法计算每个特征点的最佳近邻点数量,使运动一致性的计算准确性提升;
(2)本发明提供的基于强化学习的在线非监督的人群组分割方法,通过强化学习模块,结合环境信息,自适应地决定阈值分割中的关键参数,使本方法应对不同场景和人群颗粒度的适应能力得到增强,分割准确性得到提升;
(3)本发明提供的基于强化学习的在线非监督的人群组分割方法,强化学习模块使用在线非监督的学习方式,从而不依赖于数据的标注和前期的离线训练;克服了传统粒子模型方法的缺点,使用人群语义辅助强化学习模块奖励值的设计,并在最终结果实现了像素级别的人群组分割。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
下面结合附图对本发明的实施方式作进一步说明:
图1为本发明一实施例的基于强化学习的在线非监督的人群组分割方法的流程图;
图2为本发明一实施例的强化学习模块的参数训练变化图;
图3为本发明一实施例与采用现有方法的人群组分割结果对比图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,为本发明一实施例的基于强化学习的在线非监督的人群组分割方法的流程图。
请参考图1,本实施例的人群组分割方法可以包括以下步骤:
S101:通过视频序列追踪运动特征点轨迹并提取运动人群语义;
S102:使用速度约束的自然最近邻法确定每个特征点最近邻的数量K;
S103:计算每个特征点与其最近邻K个点的路径相似度,构造路径相似度矩阵W,W中i行j列元素为vl(i,j),vl(i,j)为i和j两点间的路径相似程度;
S104:通过W计算不同特征点轨迹在该时刻的运动相似度邻接矩阵Z;
S105:设置强化学习模块中的状态值为Tc、用于调整状态值Tc大小的动作集合A={ΔTc}以及奖励值R;其中,奖励值R的设置基于S101中的运动人群语义;
S106:基于S105设置的参数,构建价值矩阵Q-Table进行强化学习训练,获得最佳分割阈值;
S107:根据S106得到的最佳分割阈值对相似度邻接矩阵Z进行阈值分割,剩余的连通区域为最终特征点分割结果;
S108:基于S107得到的最终特征点分割结果,利用K最近邻法对运动人群语义进行分割聚类,实现像素级别的人群组分割。
较佳实施例中,上述S101包括:
S1011:对视频序列使用稀疏光流跟踪获得运动人群的特征点的运动轨迹集合,在某一时刻,点p0至点pl的所有连接路径长度为l的集合为Pl={γl},其中每条子路径可表示为γl={p0→p1→…→pl},p1,p2,…,pl为追踪到的特征点;在本实施例中,特征点追踪来自数据集;
S1012:使用海森矩阵对视频序列进行滤波,获得各帧画面的运动人群粗语义;具体地,用于滤波的海森矩阵为:
一实施例中,海森滤波的阈值可以为100。当然,在其他实施例中,也可以是其他阈值取值,可以根据实际应用来设置。
S1013:使用形态学操作对S1012得到的运动人群粗语义进行处理,获得各帧画面的运动人群精细语义Psemantic={Isemantic}。具体地,先后使用膨胀、去空洞以及平滑的形态学操作对所述S1012得到的运动人群粗语义进行处理。一实施例中,膨胀操作结构元素为半径5像素的圆形,填充空洞的最小面积为500像素。
较佳实施例中,S102具体包括:通过运动特征点的空间位置关系与运动速度关系,计算每个特征点的自然近邻点数目K。进一步地,计算每个特征点的自然近邻点数目K具体包括:搜索每个特征点P的前r个欧式距离最近邻点,对前r个近邻点中的每一个点Ps,若点Ps和P的速度夹角小于预设大小θ,则点Ps对应的自然近邻点数目K加一。一实施例中,预设大小本实施例在判断近邻特征点数量时不仅考虑了空间距离远近,也将速度方向夹角作为判定一个点是否是另一个点的近邻的标准,使的最近邻数目的计算更加准确。
较佳实施例中,速度约束的自然最近邻法的伪代码如下:
输入:n个运动特征点P1,P2,…,Pn的对应的速度v1,v2,…,vn
输出:每个特征点K的大小K1,K2,…,Kn
上述实施例中的速度约束的自然最近邻法伪代码在判断近邻特征点数量时不仅考虑了空间距离远近,也将速度方向夹角作为判定一个点是否是另一个点的近邻的标准,使的最近邻数目的计算更加准确。
较佳实施例中,S103具体包括:
S1031:计算连接两特征点长度为l的路径上的路径运动相似度,具体为:计算一条路径上所有相邻特征点的速度夹角余弦值的乘积,如余弦值为负数则记为0,即:
其中,Ct(Pk,Pk+1)为特征点Pk和Pk+1的速度夹角的余弦值。一实施例中,l=20。
S1032:计算连接两特征点长度为l的所有路径的路径运动相似度的和,即:
S1033:构造相似度矩阵W,W中i行j列元素为vl(i,j)。
较佳实施例中,S104中的运动相似度邻接矩阵Z具体为:
Z=(I-zW)-1-I,
较佳实施例中,S105中的状态值Tc用来表示运动相似度矩阵Z的分割阈值T,具体为:
其中z为常数,K为每个特征点最近邻的数量。一实施例中,z=0.05,K来自第二步结果,Tc=0.01,0.02,0.03,…,1。
较佳实施例中,S105中的动作集合具体为:
A={ΔTc1,ΔTc2,…,ΔTcn},
其中,ΔTc1,ΔTc2,…,ΔTcn指Tc的调整幅度大小,可以为负数和0。一实施例中,A={±0.1,±0.05,±0.03,±0.01,0}。
较佳实施例中,S105中的奖励值为分割结果的定量质量评价,是动作价值的更新凭据,包括:正奖励以及惩罚,具体为:
R=Qr-Rn
其中,k为阈值分割后获得的聚类总数,A(Vc,Vc)为聚类c的所有聚类内部边的权重的和,A(Vc,V)为连接聚类c中所有特征点的边权重之和,A(V,V)原邻接矩阵所有边的和;其中σ和τ为常数系数,Ne1为最后在落在人群语义中却不属于任何组分割结果的特征点数目,Ne2为属于组分割结果却不落在人群语义中的特征点数目,N为特征点总数目。一实施例中,σ=τ=1。
较佳实施例中,S106具体包括:使用Q学习的方式对每个状态对应的各个动作的价值进行训练,Q值的具体学习公式为:
Qnew(s,a)=Q(s,a)+α[R(s,a)+γQ'(s',a')-Q(s,a)]
其中,s表示状态,a表示动作;Qnew(s,a)为更新之后的Q值,Q(s,a)为原Q值,Q'(s',a')为下一状态估计的最大Q值;R(s,a)为奖励值;α为学习率,γ为衰减系数。一实施例中,α=0.1,γ=0.9,试错概率ε=0.1。
如图2所示为本发明的实施例的强化学习模块的参数训练过程,Tc初始变化毫无规律,但随着训练进行可以很快达到稳定状态。对Tc添加大的干扰,Tc的状态也可以快速恢复到稳定状态。
在本发明另一实施例中,还提供一种人群组分割终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时可用于执行上述的任一项基于强化学习的在线非监督的人群组分割方法。
如图3所示为采用本发明一实施例与采用现有方法的人群组分割结果对比图,其中场景1是原图像帧(具体为原序列中的第61帧),场景二是相应的时空力场结果,场景三是时空力场的俯视图。其中(a)是相干性滤波方法(参考:Bolei Zhou,Xiaoou Tang,andXiaogang Wang,“Coherent filtering:Detecting coherent motions from crowdclutters,”in Computer Vision–ECCV 2012,Andrew Fitzgibbon,Svetlana Lazebnik,Pietro Perona,Yoichi Sato,and Cordelia Schmid,Eds.,Berlin,Heidelberg,2012,pp.857–871,Springer Berlin Heidelberg.)结果,(b)是集群过度的方法(参考:J.Shao,C.C.Loy,and X.Wang,“Scene-independent group profiling in crowd,”in 2014IEEEConference on Computer Vision and Pattern Recognition,June 2014,pp.2227–2234.),(c)是集群运动一致性的方法(参考:B.Zhou,X.Tang,H.Zhang,and X.Wang,“Measuring crowd collectiveness,”IEEE Transactions on Pattern Analysis andMachine Intelligence,vol.36,no.8,pp.1586–1599,Aug 2014.),(d)为本发明实施例结果,(e)是运动特征点组分割的真实结果,(f)是像素级分割的真实结果。从对比图中可以看出,本发明实施例可以有效提高准确性,并实现了像素界别的分割结果。
应当理解的是,上述仅仅是部分实施例,上述实施例中的具体参数取值是为了更好地说明本发明的方法,并不局限于上述参数取值,对于本领域技术人员来说,在其他实施例中,可以根据实际应用来选择其他取值。上述各较佳特征,可以在任一实施例中单独使用,在互不冲突的前提下,也可以任一组合使用。
此处公开的仅为本发明的优选实施例,本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化,均应落在本发明所保护的范围内。
Claims (10)
1.一种基于强化学习的在线非监督的人群组分割方法,其特征在于,包括:
S101:通过视频序列追踪运动特征点轨迹并提取运动人群语义;
S102:使用速度约束的自然最近邻法确定每个特征点最近邻的点的数量K;
S103:计算每个特征点与其最近邻K个点的路径相似度,构造路径相似度矩阵W;
S104:通过W计算不同特征点轨迹在该时刻的运动相似度邻接矩阵Z;
S105:设置强化学习模块中的参数,所述参数包括状态值Tc、用于调整状态值Tc大小的动作集合A={ΔTc}以及奖励值R;所述奖励值R的设置基于S101中的运动人群语义;c为一聚类;
S106:基于S105中设置的参数,构建价值矩阵Q-Table进行强化学习训练,获得最佳分割阈值;
S107:根据S106得到的最佳分割阈值对相似度邻接矩阵Z进行阈值分割,剩余的连通区域为最终特征点分割结果;
S108:基于S107得到的最终特征点分割结果,利用K最近邻法对运动人群语义进行分割聚类,实现像素级别的人群组分割。
2.根据权利要求1所述的基于强化学习的在线非监督的人群组分割方法,其特征在于,所述S101具体包括:
S1011:对视频序列使用稀疏光流跟踪获得运动人群的特征点的运动轨迹集合,在某一时刻,点p0至点pl的所有连接路径长度为l的集合为Pl={γl},其中每条子路径表示为γl={p0→p1→…→pl},p1,p2,…,pl为追踪到的特征点;
S1012:使用海森矩阵对视频序列进行滤波,获得各帧画面的运动人群粗语义;
S1013:使用形态学操作对所述S1012得到的运动人群粗语义进行处理,获得各帧画面的运动人群精细语义Psemantic={Isemantic}。
4.根据权利要求1所述的基于强化学习的在线非监督的人群组分割方法,其特征在于,所述S102具体包括:通过运动特征点的空间位置关系与运动速度关系,计算每个特征点的自然近邻点数目K;进一步地,
所述计算每个特征点的自然近邻点数目K具体包括:搜索每个特征点P的前r个欧式距离最近邻点,对前r个近邻点中的每一个点Ps,若点Ps和P的速度夹角小于预设大小θ,则点Ps对应的自然近邻点数目K加一。
8.根据权利要求1所述的基于强化学习的在线非监督的人群组分割方法,其特征在于,所述S105中的动作集合具体为:
A={ΔTc1,ΔTc2,…,ΔTcn}
其中,ΔTc1,ΔTc2,…,ΔTcn指Tc的调整幅度大小,为负数和0;
所述S105中的奖励值包括:正奖励以及惩罚,具体为:
R=Qr-Rn
9.根据权利要求1-8任一项所述的基于强化学习的在线非监督的人群组分割方法,其特征在于,所述S106具体包括:使用Q学习的方式对每个状态对应的各个动作的价值进行训练,Q值的具体学习公式为:
Qnew(s,a)=Q(s,a)+α[R(s,a)+γQ'(s',a')-Q(s,a)]
其中,s表示状态,a表示动作;Qnew(s,a)为更新之后的Q值,Q(s,a)为原Q值,Q'(s',a')为下一状态估计的最大Q值;R(s,a)为奖励值;α为学习率,γ为衰减系数。
10.一种人群组分割终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时可用于执行权利要求1-9任一所述的基于强化学习的在线非监督的人群组分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910827133.9A CN110751017B (zh) | 2019-09-03 | 2019-09-03 | 一种基于强化学习的在线非监督的人群组分割方法及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910827133.9A CN110751017B (zh) | 2019-09-03 | 2019-09-03 | 一种基于强化学习的在线非监督的人群组分割方法及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110751017A CN110751017A (zh) | 2020-02-04 |
CN110751017B true CN110751017B (zh) | 2021-03-02 |
Family
ID=69276007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910827133.9A Active CN110751017B (zh) | 2019-09-03 | 2019-09-03 | 一种基于强化学习的在线非监督的人群组分割方法及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110751017B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114943278B (zh) * | 2022-04-27 | 2023-09-12 | 浙江大学 | 基于强化学习的持续在线群体激励方法、装置及存储介质 |
CN115953434B (zh) * | 2023-01-31 | 2023-12-19 | 北京百度网讯科技有限公司 | 轨迹匹配方法、装置、电子设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104933412A (zh) * | 2015-06-16 | 2015-09-23 | 电子科技大学 | 中高密度人群的异常状态检测方法 |
WO2017181899A1 (zh) * | 2016-04-21 | 2017-10-26 | 腾讯科技(深圳)有限公司 | 一种人脸活体验证方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107464021B (zh) * | 2017-08-07 | 2019-07-23 | 山东师范大学 | 一种基于强化学习的人群疏散仿真方法、装置 |
-
2019
- 2019-09-03 CN CN201910827133.9A patent/CN110751017B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104933412A (zh) * | 2015-06-16 | 2015-09-23 | 电子科技大学 | 中高密度人群的异常状态检测方法 |
WO2017181899A1 (zh) * | 2016-04-21 | 2017-10-26 | 腾讯科技(深圳)有限公司 | 一种人脸活体验证方法及装置 |
Non-Patent Citations (3)
Title |
---|
《A Diffusion and Clustering-Based Approach for Finding Coherent Motions and Understanding Crowd Scenes》;Weiyao Lin 等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20160430;第25卷(第4期);全文 * |
《A Reinforcement Learning Framework for Medical Image Segmentation》;Farhang Sahba 等;《2006 International Joint Conference on Neural Networks Sheraton Vancouver Wall Centre Hotel, Vancouver, BC, Canada》;20060721;全文 * |
《Local Anomaly Detection in Crowded Scenes Using Finite-Time Lyapunov Exponent Based Clustering》;Cihan Ongun 等;《2014 11th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS)》;20141231;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110751017A (zh) | 2020-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108470354B (zh) | 视频目标跟踪方法、装置和实现装置 | |
CN110070074B (zh) | 一种构建行人检测模型的方法 | |
CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
US9767570B2 (en) | Systems and methods for computer vision background estimation using foreground-aware statistical models | |
CN110781836A (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
JP5604256B2 (ja) | 人物動作検出装置およびそのプログラム | |
CN101354254B (zh) | 一种飞行器航向跟踪方法 | |
Liang et al. | Horizon detection from electro-optical sensors under maritime environment | |
CN105160355B (zh) | 一种基于区域相关和视觉单词的遥感图像变化检测方法 | |
CN110751017B (zh) | 一种基于强化学习的在线非监督的人群组分割方法及终端 | |
CN107315994B (zh) | 基于Spectral Clustering空间轨迹的聚类方法 | |
CN113168520A (zh) | 跟踪场景中的对象的方法 | |
CN116030396B (zh) | 一种用于视频结构化提取的精确分割方法 | |
CN102314591B (zh) | 静止前景物体的检测方法和设备 | |
CN111260696A (zh) | 一种面向边缘端行人跟踪和人数精确统计的方法 | |
CN102800105B (zh) | 基于运动矢量的目标检测方法 | |
CN113688785A (zh) | 基于多监督的人脸识别方法、装置、计算机设备及存储介质 | |
CN110751020A (zh) | 一种基于强化学习的在线非监督的人群组分割系统 | |
CN109600627B (zh) | 一种视频识别方法和装置 | |
CN117011346A (zh) | 鼓风机图像配准算法 | |
CN101567088B (zh) | 一种运动物体检测的方法和装置 | |
CN107067411B (zh) | 一种结合密集特征的Mean-shift跟踪方法 | |
Chen | Vehicle feature recognition via a convolutional neural network with an improved bird swarm algorithm | |
Du | CAMShift-Based Moving Object Tracking System | |
CN111563489A (zh) | 一种目标跟踪方法、装置以及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |