CN105095908B - 视频图像中群体行为特征处理方法和装置 - Google Patents
视频图像中群体行为特征处理方法和装置 Download PDFInfo
- Publication number
- CN105095908B CN105095908B CN201410209727.0A CN201410209727A CN105095908B CN 105095908 B CN105095908 B CN 105095908B CN 201410209727 A CN201410209727 A CN 201410209727A CN 105095908 B CN105095908 B CN 105095908B
- Authority
- CN
- China
- Prior art keywords
- group
- characteristic point
- member characteristic
- initialization
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种视频图像中群体行为特征处理方法和装置，其中，所述方法包括:根据群体中不同成员特征点的运动轨迹，将群体分为m个群组m大于1；分别确定每个群组的行为特征的描述子；根据所述每个群组的行为特征的描述子进行群体行为分析。解决现有的群体行为的检测和分析方法中存在分析结果准确率低的问题。
Description
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种视频图像中群体行为特征处理方法和装置。
背景技术
群体行为分析是指判断群体处于何种行为状态之下，也就是将群体的行为进行分类，如“有组织地向同一个方向移动”、“相向移动”、“聚拢”、“分散”等。
在视频监控中，群体行为的检测和分析对于异常行为检测、大型场所规划都起到重要作用。例如，在公共场合发生暴恐事件时，如果能及早检测出人群四散奔逃的群体行为，将会加快启动应急措施，挽救更多生命。本文所述的群体不仅指人群，也可指其它事物群体，如细菌群落、鱼群、车流等。因此，群体行为分析也包括动物、微生物、车辆路况的群体行为分析等，对生物学研究、交通控制等都有很重要的应用价值。
在现有技术中，对群体行为的检测和分析通常采用单个成员分析的方法或者整体分析法；其中，单个成员分析的方法是对场景中的多个成员进行目标跟踪并对成员进行细致分割，对分割出的成员进行行为分析，将成员行为分析结果综合得到整个群体的行为分析结果；然而，将成员作为基本分析单位，需要对成员进行定位和分割，在人群密度很高的情况下，遮挡很严重，做不到成员的细致分割，基于成员分割的行为分析就会失效，因此，单个成员分析的方法不适合大规模群体分析；整体分析法是对整幅场景图像进行整体特征提取，根据提取的整体特征进行行为分析，其缺点是不能体现出场景中成员与成员、群组与群组的关系，因此分析结果较为粗略不够准确。
因此，现有的群体行为的检测和分析方法中存在分析结果准确率低的问题。
发明内容
本发明实施例提供一种视频图像中群体行为特征处理方法和装置，用以解决现有的群体行为的检测和分析方法中存在分析结果准确率低的问题。
第一方面，提供一种视频图像中群体行为特征处理方法，包括：
根据视频图像中群体中不同成员特征点的运动轨迹，将群体分为m个群组m大于1；
分别确定每个群组的行为特征的描述子；
根据所述每个群组的行为特征的描述子进行相应的群体行为特征处理；
所述成员特征点是利用目标跟踪算法，锁定视频图像中的成员进行运动跟踪得到的特征点，包括角点、边缘点或具有特定纹理特征的点。
基于第一方面，在第一种实现方式中，所述根据群体中不同成员特征点的运动轨迹，将群体分为m个群组，包括：
A、根据群体中不同成员特征点的运动轨迹，将群体初始化为多个初始化群组；
B、在多个初始化群组中任选一个初始化群组Ci，根据初始化群组Ci中每个成员特征点的运动轨迹和方向变化，将具有最长的运动轨迹和最小的方向变化的成员特征点设为对应初始化群组Ci的成员特征点代表
C、根据初始化群组Ci中其他成员特征点的运动轨迹和成员特征点代表的运动轨迹，计算初始化群组Ci中其他成员特征点的运动速度和成员特征点代表的运动速度的相似度，若相似度大于预设阈值η，则将所述其他成员特征点作为初始化群组Ci的种子成员特征点，加入到初始化群组Ci的种子成员特征点集合Si中；
D、在初始化群组Ci的种子成员特征点集合Si中，根据公式计算得到仿射变换矩阵A，所述仿射变换矩阵A表示一个群组内的所有成员特征点都是按照A所限定的方式运动；其中，Vt是高斯噪声，Zk是锁定种子成员特征点集合Si中任一个特征点进行运动跟踪得到的T个位置的序列即表示种子成员特征点集合Si中第k个特征点在第t帧上的空间位置坐标值，表示种子成员特征点集合Si中第k个特征点在第t-1帧上的空间位置坐标值；
E、根据所述仿射变换矩阵A，计算初始化群组Ci中的每个成员特征点的运动轨迹用A拟合后的拟合误差∈；
F、将初始化群组Ci中拟合误差∈小于预设的阈值δ的成员特征点加入到群组Gi中；将初始化群组Ci中拟合误差∈大于等于预设的阈值δ的成员特征点作为新的群组加入到初始化群组中；
对每个初始化群组重复上述步骤B-F后，得到m个群组m大于1。
基于第一方面或第一方面的第一种实现方式，在第二种实现方式中，若所述行为特征包括集体性；
则分别确定每个群组的行为特征的描述子，包括：
根据所述仿射变换矩阵A，将群组Gi中的所有成员特征点的运动轨迹用A拟合后的拟合误差的平均值作为群组Gi的集体性的描述子
基于第一方面或第一方面的第一种实现方式，在第三种实现方式中，若所述行为特征包括稳定性；
则分别确定每个群组的行为特征的描述子，包括：
对群组Gi中的每个成员特征点z，计算在第一帧属于z的K个近邻成员特征点集合且在最后一帧也属于z的K个近邻成员特征点集合的成员特征点的个数k；
将群组Gi中的所有成员特征点的所述计算的个数k平均取值作为群组Gi的稳定性的描述子
基于第一方面或第一方面的第一种实现方式，在第四种实现方式中，若所述行为特征包括稳定性；
则分别确定每个群组的行为特征的描述子，还包括：
将群组Gi中的每个成员特征点z在每一帧上的K个近邻成员特征点按与z的距离由大到小排序，计算每相邻两帧之间的排序距离，统计出所有相邻帧的排序距离的直方图；
将群组Gi中的所有成员特征点的所述计算的直方图的平均直方图作为群组Gi的稳定性的描述子
基于第一方面或第一方面的第一种实现方式，在第五种实现方式中，若所述行为特征包括稳定性；
则分别确定每个群组的行为特征的描述子，还包括：
令群组Gi的转移概率矩阵P∈Rn×n为P＝D-1W，其中，D是一个对角矩阵，每一个对角元素 是两个成员特征点之间的距离的平方，σ2是预设的常数，矩阵W第i行第j列的元素为Wij；
令群组Gi中的第i个成员特征点的转移概率分布为qi＝Ei[(I-αP)-1-I]，其中，I是单位矩阵，Ei＝(e1,...en)是一个指示向量，其中，第i个分量ei＝1，其它分量都为0，α＝0.9/K；
计算群组Gi中的每个成员特征点在第一帧和最后一帧的转移概率分布qi之间的概率分布差异，将群组中的所有成员特征点的所述计算的概率分布差异的平均值作为群组Gi的稳定性的描述子
基于第一方面的第三至第五种任一实现方式，在第六种实现方式中，若所述行为特征包括稳定性；
则分别确定每个群组的行为特征的描述子，还包括：
根据公式得到群组的稳定性的描述子。
基于第一方面或第一方面的第一种实现方式，在第七种实现方式中，若所述行为特征包括均匀性；
则分别确定每个群组的行为特征的描述子，包括：
根据群组的聚集程度，将群组Gi在每一帧上分为最优个数c*的子群组；
根据计算得到群组的均匀性的描述子，其中，和是c*在所有帧上的平均值和方差。
基于第一方面或第一方面的第一种实现方式，在第八种实现方式中，若所述行为特征包括摩擦性；
则分别确定每个群组的行为特征的描述子，包括：
确定每个群组的摩擦成员特征点，即若所述群组中的一个成员特征点的K个近邻成员特征点中包含其它群组的成员特征点，则将这个成员特征点作为所述群组的摩擦成员特征点；
将群组中的每个摩擦成员特征点在群组中的相对位置进行编码，得到位置编码向量L；
根据计算得到群组的摩擦性的描述子，其中，表示根据所述仿射变换矩阵A，将群组中第i个摩擦成员特征点的所有近邻成员特征点的运动轨迹用A拟合后的拟合误差的平均值。
第二方面，提供一种视频图像中群体行为特征处理装置，包括：
划分模块，用于根据视频图像中群体中不同成员特征点的运动轨迹，将群体分为m个群组m大于1；
确定模块，用于在所述划分模块划分的m个群组的基础上，分别确定每个群组的行为特征的描述子；
分析模块，用于根据所述确定模块确定的每个群组的行为特征的描述子进行相应的群体行为特征处理；
所述成员特征点是利用目标跟踪算法，锁定视频图像中的成员进行运动跟踪得到的特征点，包括角点、边缘点或具有特定纹理特征的点。
基于第二方面，在第一种实现方式中，所述划分模块具体包括：
初始化单元，用于根据群体中不同成员特征点的运动轨迹，将群体初始化为多个初始化群组；
第一选择单元，用于在多个初始化群组中任选一个初始化群组Ci，根据初始化群组Ci中每个成员特征点的运动轨迹和方向变化，将具有最长的运动轨迹和最小的方向变化的成员特征点设为对应初始化群组Ci的成员特征点代表
第二选择单元，用于根据初始化群组Ci中其他成员特征点的运动轨迹和成员特征点代表的运动轨迹，计算初始化群组Ci中其他成员特征点的运动速度和成员特征点代表的运动速度的相似度，若相似度大于预设阈值η，则将所述其他成员特征点作为初始化群组Ci的种子成员特征点，加入到初始化群组Ci的种子成员特征点集合Si中；
第一计算单元，用于在初始化群组Ci的种子成员特征点集合Si中，根据公式计算得到仿射变换矩阵A，所述仿射变换矩阵A表示一个群组内的所有成员特征点都是按照A所限定的方式运动；其中，Vt是高斯噪声，Zk是锁定种子成员特征点集合Si中任一个特征点进行运动跟踪得到的T个位置的序列即表示种子成员特征点集合Si中第k个特征点在第t帧上的空间位置坐标值，表示种子成员特征点集合Si中第k个特征点在第t-1帧上的空间位置坐标值；
第二计算单元，用于根据所述仿射变换矩阵A，计算初始化群组Ci中的每个成员特征点的运动轨迹用A拟合后的拟合误差∈；
分组单元，用于将初始化群组Ci中拟合误差∈小于预设的阈值δ的成员特征点加入到群组Gi中，将初始化群组Ci中拟合误差∈大于等于预设的阈值δ的成员特征点作为新的群组加入到初始化群组中；
对每个初始化群组重复上述第一选择单元、第二选择单元、第一计算单元、第二计算单元和分组单元执行的步骤，得到m个群组m大于1。
基于第二方面或第二方面的第一种实现方式，在第二种实现方式中，若所述行为特征包括集体性；
所述确定模块具体用于：
根据所述仿射变换矩阵A，将群组Gi中的所有成员特征点的运动轨迹用A拟合后的拟合误差的平均值作为群组Gi的集体性的描述子
基于第二方面或第二方面的第一种实现方式，在第三种实现方式中，若所述行为特征包括稳定性；
所述确定模块具体用于：
对群组Gi中的每个成员特征点z，计算在第一帧属于z的K个近邻成员特征点集合且在最后一帧也属于z的K个近邻成员特征点集合的成员特征点的个数k；
将群组Gi中的所有成员特征点的所述计算的个数k平均取值作为群组Gi的稳定性的描述子
基于第二方面或第二方面的第一种实现方式，在第四种实现方式中，若所述行为特征包括稳定性；
所述确定模块具体用于：
将群组Gi中的每个成员特征点z在每一帧上的K个近邻成员特征点按与z的距离由大到小排序，计算每相邻两帧之间的排序距离，统计出所有相邻帧的排序距离的直方图；
将群组Gi中的所有成员特征点的所述计算的直方图的平均直方图作为群组Gi的稳定性的描述子
基于第二方面或第二方面的第一种实现方式，在第五种实现方式中，若所述行为特征包括稳定性；
所述确定模块具体用于：
令群组Gi的转移概率矩阵P∈Rn×n为P＝D-1W，其中，D是一个对角矩阵，每一个对角元素 是两个成员特征点之间的距离的平方，σ2是预设的常数，矩阵W第i行第j列的元素为Wij；
令群组Gi中的第i个成员特征点的转移概率分布为qi＝Ei[(I-αP)-1-I]，其中，I是单位矩阵，Ei＝(e1,...en)是一个指示向量，其中，第i个分量ei＝1，其它分量都为0，α＝0.9/K；
计算群组Gi中的每个成员特征点在第一帧和最后一帧的转移概率分布qi之间的概率分布差异，将群组中的所有成员特征点的所述计算的概率分布差异的平均值作为群组Gi的稳定性的描述子
基于第二方面的第三至第五种任一实现方式，在第六种实现方式中，若所述行为特征包括稳定性；
所述确定模块具体用于：
根据公式得到群组的稳定性的描述子。
基于第二方面或第二方面的第一种实现方式，在第七种实现方式中，若所述行为特征包括均匀性；
所述确定模块具体用于：
根据群组的聚集程度，将群组Gi在每一帧上分为最优个数c*的子群组；
根据计算得到群组的均匀性的描述子，其中，和是c*在所有帧上的平均值和方差。
基于第二方面或第二方面的第一种实现方式，在第八种实现方式中，若所述行为特征包括摩擦性；
所述确定模块具体用于：
确定每个群组的摩擦成员特征点，如果所述群组中的一个成员特征点的K个近邻成员特征点中包含其它群组的成员特征点，则将这个成员特征点作为所述群组的摩擦成员特征点；
将群组中的每个摩擦成员特征点在群组中的相对位置进行编码，得到位置编码向量L；
根据计算得到群组的摩擦性的描述子，其中，表示根据所述仿射变换矩阵A，将群组中第i个摩擦成员特征点的所有近邻成员特征点的运动轨迹用A拟合后的拟合误差的平均值。
本发明实施例根据群体中不同成员特征点的运动轨迹，将群体分为m个群组；分别确定每个群组的行为特征的描述子；根据所述每个群组的行为特征的描述子进行群体行为分析。因此，本发明从群组的角度分析并理解群体场景，既考虑了成员对整体的作用，又分析了整体中成员和成员间的关系，先将整个群体分解成不同的群组，再从计算机视觉的角度将群组的行为特征进行数字量化(群组的行为特征的描述子)，最后用量化后的群组的行为特征作用于群体行为的分析，能够比较准确地反映了群体行为特征，解决了现有的群体行为的检测和分析方法中存在分析结果准确率低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的视频图像中群体行为特征处理方法的流程示意图；
图2为对图1所示实施例中步骤101具体实现的流程示意图；
图3为本发明一实施例提供的视频图像中群体行为特征处理装置的结构示意图；
图4为本发明另一实施例提供的视频图像中群体行为特征处理装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有的群体行为的检测和分析方法中存在分析结果准确率低的问题，本发明实施例将群体行为分成不同的群组，如“有组织地向同一个方向移动”、“相向移动”、“聚拢”、“分散”等不同运动状态的群组。因此，群体行为分析问题是一个群组分类问题。本发明从群组的角度分析并理解群体场景，既考虑了成员对整体的作用，又分析了整体中成员和成员间的关系。先将整个群体分解成不同的群组，再从计算机视觉的角度将群组的行为特征进行数字量化，最后用量化后的群组的行为特征用于群体行为的分析。
上述群组是群体的组成部分，群组是指根据成员所处的空间位置及运动的差异，将群体划分成的更小的小组。例如，人群中大部分人都与朋友或家人成组行走，形成不同的群组。直观上来说，越密集的人群，越容易形成更一致的群组，因为人们往往都会身不由己地随着人潮而移动。
群组的行为特征能够更好地帮助群体行为分析。通常，可将群组的行为特征区分为组内和组间行为特征。组内行为特征是指在同一个群组中的不同成员之间的协调性，如行为的一致性、空间分布的均匀性等。组间行为特征是指不同群组的成员之间的交互影响，如向不同方向移动造成的摩擦冲突等。具体来说，可以将群组的行为特征归纳为四种：集体性、稳定性、均匀性和摩擦性。例如：当一组行人都向一个共同的方向前进时，就表现出一种集体性；当发生灾难时，人群四散奔逃，不同时刻群组内部拓扑结构变化大，就表现出比较差的稳定性；当群组中的成员可以在一定范围移动造成站位不整齐时，就表现出比较差的均匀性；当两个群组向两个不同的方向前进，如十字路口南北相向时，这两个群组就会产生较大的摩擦性。前三种属于组内性质，后一种属于组间性质。
图1为本发明一实施例提供的视频图像中群体行为特征处理方法的流程示意图，如图1所示，包括：
101、根据视频图像中群体中不同成员特征点的运动轨迹，将群体分为m个群组m大于1；
其中，所述成员特征点是利用目标跟踪算法，锁定视频图像中的成员进行运动跟踪得到的特征点，包括角点、边缘点或具有特定纹理特征的点。
在本发明一种可选的实施方式中，步骤101具体实现时包括：
A、根据群体中不同成员特征点的运动轨迹，将群体初始化为多个初始化群组；
B、在多个初始化群组中任选一个初始化群组Ci，根据初始化群组Ci中每个成员特征点的运动轨迹和方向变化，将具有最长的运动轨迹和最小的方向变化的成员特征点设为对应初始化群组Ci的成员特征点代表
C、根据初始化群组Ci中其他成员特征点的运动轨迹和成员特征点代表的运动轨迹，计算初始化群组Ci中其他成员特征点的运动速度和成员特征点代表的运动速度的相似度，若相似度大于预设阈值η，则将所述其他成员特征点作为初始化群组Ci的种子成员特征点，加入到初始化群组Ci的种子成员特征点集合Si中；
D、在初始化群组Ci的种子成员特征点集合Si中，根据公式计算得到仿射变换矩阵A，所述仿射变换矩阵A表示一个群组内的所有成员特征点都是按照A所限定的方式运动；其中，Vt是高斯噪声，Zk是锁定种子成员特征点集合Si中任一个特征点进行运动跟踪得到的T个位置的序列即表示种子成员特征点集合Si中第k个特征点在第t帧上的空间位置坐标值，表示种子成员特征点集合Si中第k个特征点在第t-1帧上的空间位置坐标值；
E、根据所述仿射变换矩阵A，计算初始化群组Ci中的每个成员特征点的运动轨迹用A拟合后的拟合误差∈；
F、将初始化群组Ci中拟合误差∈小于预设的阈值δ的成员特征点加入到修正后的群组Gi中；将初始化群组Ci中拟合误差∈大于等于预设的阈值δ的成员特征点作为新的群组加入到初始化群组中；
对每个初始化群组重复上述步骤B-F后，得到m个修正后的群组m大于1。
102、分别确定每个群组的行为特征的描述子；
需要说明的是，步骤102中需要分别确定每个修正后的群组的行为特征的描述子。
举例来说，本发明实施例所述的行为特征包括集体性、稳定性、均匀性和/或摩擦性；
在本发明一种可选的实施方式中，若所述行为特征包括集体性，步骤102具体实现时包括：
根据所述仿射变换矩阵A，将群组Gi中的所有成员特征点的运动轨迹用A拟合后的拟合误差的平均值作为群组Gi的集体性的描述子
在本发明一种可选的实施方式中，若所述行为特征包括稳定性，步骤102具体实现时包括：
对群组Gi中的每个成员特征点z，计算在第一帧属于z的K个近邻成员特征点集合且在最后一帧也属于z的K个近邻成员特征点集合的成员特征点的个数k；将群组Gi中的所有成员特征点的所述计算的个数k平均取值作为群组Gi的稳定性的描述子或者
将群组Gi中的每个成员特征点z在每一帧上的K个近邻成员特征点按与z的距离由大到小排序，计算每相邻两帧之间的排序距离，统计出所有相邻帧的排序距离的直方图；将群组Gi中的所有成员特征点的所述计算的直方图的平均直方图作为群组Gi的稳定性的描述子或者
令群组Gi的转移概率矩阵P∈Rn×n为P＝D-1W，其中，D是一个对角矩阵，每一个对角元素 是两个成员特征点之间的距离的平方，σ2是预设的常数，矩阵W第i行第j列的元素为Wij；令群组Gi中的第i个成员特征点的转移概率分布为qi＝Ei[(I-αP)-1-I]，其中，I是单位矩阵，Ei＝(e1,...en)是一个指示向量，其中，第i个分量ei＝1，其它分量都为0，α＝0.9/K；计算群组Gi中的每个成员特征点在第一帧和最后一帧的转移概率分布qi之间的概率分布差异，将群组中的所有成员特征点的所述计算的概率分布差异的平均值作为群组Gi的稳定性的描述子
基于上述得到的稳定性的描述子和可选地，步骤102具体实现时包括：
根据公式得到计算得到群组的稳定性的描述子。
在本发明一种可选的实施方式中，若所述行为特征包括均匀性，步骤102具体实现时包括：
根据群组的聚集程度，将群组Gi在每一帧上分为最优个数c*的子群组；
根据计算得到群组的均匀性的描述子，其中，和是c*在所有帧上的平均值和方差。
在本发明一种可选的实施方式中，若所述行为特征包括摩擦性，步骤102具体实现时包括：
确定每个群组的摩擦成员特征点，如果群组中的一个成员特征点的K个近邻成员特征点中包含其它群组的成员特征点，则将这个成员特征点作为群组的摩擦成员特征点；
将群组Gi中的每个摩擦成员特征点在群组中的相对位置进行编码，得到位置编码向量L；
根据计算得到群组的摩擦性的描述子，其中，max(·)表示按向量不同位置上的分量取最大值，s表示群组的摩擦成员特征点的个数，表示根据所述仿射变换矩阵A，将群组中第i个摩擦成员特征点的所有近邻成员特征点的运动轨迹用A拟合后的拟合误差的平均值。
103、根据所述每个群组的行为特征的描述子进行相应的群体行为特征处理。
举例来说，本发明实施例中，可以根据上述计算得到的每个群组的集体性的描述子进行群体集体性的行为特征分析；根据上述计算得到的每个群组的稳定性的描述子进行群体稳定性的行为特征分析；根据上述计算得到的每个群组的均匀性的描述子进行群体均匀性的行为特征分析；根据上述计算得到的每个群组的摩擦性的描述子进行群体摩擦性的行为特征分析；
举例来说，本发明实施例中，还可以根据上述计算得到的每个群组的集体性、稳定性、均匀性和摩擦性的描述子中任意组合进行群体行为特征的分析。
本发明实施例根据群体中不同成员特征点的运动轨迹，将群体分为m个群组；分别确定每个群组的行为特征的描述子；根据所述每个群组的行为特征的描述子进行群体行为分析。因此，本发明从群组的角度分析并理解群体场景，既考虑了成员对整体的作用，又分析了整体中成员和成员间的关系，先将整个群体分解成不同的群组，再从计算机视觉的角度将群组的行为特征进行数字量化(群组的行为特征的描述子)，最后用量化后的群组的行为特征作用于群体行为的分析，能够比较准确地反映了群体行为特征，解决了现有的群体行为的检测和分析方法中存在分析结果准确率低的问题。
以下对图1所示实施例所述方法的具体实现进行详细的说明：
图2为对图1所示实施例中步骤101具体实现的流程示意图，如图2所示，包括：
201、通过一致性滤波对T帧视频中的群体进行群组检测，得到初始化群组。
假设一段T帧视频的群体中包含多个群组，其中，每个群组是由ni个成员特征点组成的，对应ni个成员特征点有ni个运动轨迹每个运动轨迹Zk是利用现有的目标跟踪算法，锁定视频中成员身上的一个特征点zk进行运动跟踪得到的T个位置的序列也就是说，表示第k个特征点在第t帧上的空间位置坐标值，可以令其中，成员特征点没有严格限定，利用不同的目标跟踪算法会得到不同的成员特征点，一般是角点、边缘点或具有特定纹理特征的点。
其中，一致性滤波是一种通过衡量成员特征点之间一致性运动进行群组检测的方法。它首先在每两帧之间检测不同运动轨迹之间的相似性，在处理完所有帧之后，再对整个视频做一次关联整合，将运动比较一致的成员特征点组合成一个群组。本发明实施例中的一致性滤波可以换成其他方法，现有的其他群组检测算法，都可以用来这里作为初始化群组估计算法。
本实施例中的初始化群组可以描述为r大于1。
202、随机选择一个初始化群组Ci，根据其成员特征点的运动轨迹长短和变化找出一个成员特征点代表
其中，成员特征点代表具有最长的运动轨迹和最小的方向变化。
203、根据成员特征点代表选择初始化群组Ci的种子成员特征点集合Si。
其中，初始化群组Ci的种子成员特征点按以下标准来选择：
首先，种子成员特征点也是初始化群组Ci中的成员特征点；
其次，根据初始化群组Ci中其他成员特征点的运动轨迹和成员特征点代表的运动轨迹，利用公式：计算初始化群组Ci中其他成员特征点的运动速度和成员特征点代表的运动速度的相似度，若相似度大于预设阈值η，则将所述其他成员特征点作为初始化群组Ci的种子成员特征点，加入到初始化群组Ci的种子成员特征点集合Si中。
也就是说，种子成员特征点和成员特征点代表的速度相似度较大，即满足下面公式：其中，一个成员特征点的运动速度根据运动轨迹表示为：VZ＝[Z1-Z2,Z2-Z3,...ZT-1-ZT]，即相邻两帧位置相减得到的差分向量。其中，表示向量内积，表示向量的范数相乘，η是预设的阈值。
204、根据种子成员特征点集合Si学习获得仿射变换矩阵A。
其中，仿射变换矩阵A是一个最优的参数，表示一个群组内的所有成员特征点都是按照A所限定的方式运动，可以使得每个群组的马尔科夫链公式拟合所有种子成员特征点的运动轨迹的误差最小。其中，满足高斯概率模型，Vt是高斯噪声，A作为高斯概率模型的参数，可以通过现有的参数估计方法得到，如最大似然估计方法，本发明并不对此进行限制。其中，马尔科夫链可以用于描述群组每个成员特征点的运动。
205、对初始化群组Ci进行修正。
计算初始化群组Ci中的每个成员特征点的运动轨迹用A拟合后的拟合误差∈，也就是说，用马尔科夫链拟合初始化群组Ci中的每个成员特征点z的运动轨迹，拟合的误差表示为：
可选地，步骤205之后包括：
206、将初始化群组Ci中拟合误差∈大于等于预设的阈值δ的成员作为新的群组加入到初始化群组中。
207、将初始化群组Ci中拟合误差∈小于预设的阈值δ的成员加入到修正后的群组Gi中。
上述步骤206之后，还包括：
重复步骤202-205，直到所有初始估计群组都得到修正，得到m个修正后的群组
基于图2得到m个修正后的群组分别计算每个修正后的群组Gi的行为特征的描述子，其中，本实施中，群组的行为特征包括集体性、稳定性、均匀性和摩擦性。
可选地，本发明实施例中计算每个修正后的群组的集体性的描述子包括：
根据上述图2得到的仿射变换矩阵A，将群组Gi中的所有成员特征点的运动轨迹用A拟合后的拟合误差的平均值作为群组Gi的集体性的描述子具体地：
根据公式计算得到群组的集体性的描述子，其中，|Gi|表示群组Gi中的成员特征点个数，拟合误差
本发明实施例中，根据群组Gi的每个成员特征点的近邻成员特征点位置变化情况，提出三种群组稳定性描述子。
可选地，计算每个修正后的群组的稳定性的描述子1具体包括：
根据公式计算得到群组的稳定性的描述子，其中，是群组中成员特征点z在第t帧的K个近邻成员特征点的集合，K是群组中成员特征点z的近邻成员特征点的个数，表示在群组Gi中第一帧属于z的K近邻成员特征点的集合且在最后一帧不属于z的K近邻成员特征点的集合中的成员的个数。
可选地，计算每个修正后的群组的稳定性的描述子2具体包括：
根据公式计算得到群组的稳定性的描述子2；即将群组Gi中的所有成员特征点的所述计算的直方图的平均直方图作为群组Gi的稳定性的描述子
其中，h(z)由以下过程得到：
1、将群组中的每个成员特征点z在每一帧上的K个近邻成员特征点按与z的距离由大到小排序；
2、采用Levenshtein距离比较第t帧和第t-1帧的排序结果,两帧排序完全相同则两帧所有近邻成员特征点的排序都不同则
其中，Levenshtein距离是用来计算字符串之间相似性的一种算法。它包含三种基本编辑操作，分别是插入、删除，和交换，将一个字符串通过这三种操作转换为另一个字符串，以最少操作个数作为两个字符串之间的Levenshtein距离。两串排序可以看作两个字符串，所以只要能够计算字符串距离的算法都可以用来计算排序结果的相似性，例如Needleman算法等。
3、计算所有T帧的结果并统计出0到K值的直方图h(z)。
可选地，计算每个修正后的群组的稳定性的描述子3具体包括：
根据公式计算得到群组的稳定性的描述子3，即将群组中的所有成员特征点的所述计算的概率分布差异的平均值作为群组Gi的稳定性的描述子
其中SKL(z)由以下过程得到：
1.假设群组Gi中每个成员特征点z都可以随机游走，即允许每个成员特征点可以离开它当前的近邻成员特征点，并转移到其它成员特征点附近形成新的近邻成员特征点。令转移概率矩阵P∈Rn×n为P＝D-1W；
其中D是一个对角矩阵，每一个对角元素 是两个成员特征点之间的距离的平方，σ2是预设的常数，矩阵W第i行第j列的元素为Wij。
2.令群组Gi中第i个成员特征点的转移概率分布为qi＝Ei[(I-αP)-1-I]；其中I是单位矩阵，Ei＝(e1,...en)是一个指示向量，其中，第i个分量ei＝1，其它分量都为0，α＝0.9/K；
3.计算群组Gi中的每个成员特征点在第一帧和最后一帧的转移概率分布qi之间的概率分布差异，得到SKL(z)。
上述概率分布差异是两个概率分布差别的度量，可以有其他替换算法，只要是度量两种概率分布相似性的算法都可以，例如相对熵、地球移动距离(Earth Mover’sDistance,EMD)等。
本发明实施例中，还可以结合上述三种稳定性的描述子，得到群组Gi最终的稳定性描述子：
可选地，本发明实施例中计算每个修正后的群组的均匀性的描述子具体包括：
根据群组的聚集程度，将群组Gi在每一帧上分为最优个数c*的子群组；
根据计算得到群组的均匀性的描述子，其中，和是c*在所有帧上的平均值和方差。
具体地，令每个群组Gi可以继续分割成更小的子群组，指定子群组的数目c，通过聚类方法，可得到c个子群组{V1,...,Vc}，定义一个反映群组聚集程度的量：
其中则Qc越大，表明分割出的每个子群组越聚拢，分割效果也越优。给定不同的子群组数目{1,...,C}，计算最优子群组分割数目：c*＝argmaxc∈{1,...,C}Qc；越不均匀的群组，最优子群组分割数目越大。
均匀性的描述子由c*在不同帧上的平均值和来衡量，即
可选地，本发明实施例中计算每个修正后的群组的摩擦性的描述子具体包括：
将群组中的每个摩擦成员特征点在群组中的相对位置进行编码，得到位置编码向量L；根据计算得到群组的摩擦性的描述子，其中，表示根据所述仿射变换矩阵A，将群组中第i个摩擦成员特征点的所有近邻成员特征点的运动轨迹用A拟合后的拟合误差的平均值。
具体地，寻找摩擦成员特征点,考虑一个群组Gi中的成员特征点在整个群体中的近邻。如果一个成员特征点的K个近邻成员特征点中包含其它群组的成员特征点，则将这个成员特征点作为摩擦成员特征点。考虑一个群组中第i个摩擦成员特征点，用上述计算得到的拟合误差拟合每个近邻成员特征点，以其拟合误差平均值作为摩擦量度：其中，Ni表示第i个摩擦成员特征点的近邻成员特征点集合，|Ni|表示集合Ni中元素的个数；
将群组中的每个摩擦成员特征点在群组中的相对位置进行编码，得到位置编码向量L，编码过程如下：
给定一些群组作为训练样本，对群组训练样本进行标准化，即通过仿射变换，使所有群组训练样本的运动方向、群组的大小，以及群组轮廓与群组中心位置的最大距离都比较相近；
对每个群组训练样本，找到它的摩擦成员特征点，对每个摩擦成员特征点建立极坐标系，在极坐标系下统计这个群组不同位置上的成员特征点数量，得到相对位置直方图；
将所有群组训练样本上的所有摩擦成员特征点的相对位置直方图进行聚类，得到W个类；
将当前群组按照与群组训练样本一致的方式进行标准化和得到摩擦成员特征点的相对位置直方图；
考虑当前群组中第i个摩擦成员特征点，计算它的相对位置直方图属于每个类的概率lj，则Li＝[l1,…,lw]就作为这个摩擦成员特征点在群组中的相对位置编码向量。
群组的摩擦性的描述子由群组中所有的S个摩擦成员特征点的摩擦量度和相对位置编码向量按以下方式得到：
其中，max(·)表示按向量不同位置上的分量取最大值。
以下对上述步骤103中，利用获得的每个群组的行为特征的描述子进行群体行为分析进行具体说明：
例如，将群组的状态分成不同的类别，可粗略分成四类“成员往不同方向移动”，“成员往同一个方向移动并且排列整齐”、“成员往同一个方向移动但成员之间相对位置经常改变”、“成员往同一个方向移动但受到其它群组的侵入”。将所述群组的行为特征的描述子组合在一起作为群组特征，根据群组特征并用支持向量机(Support Vector Machine，SVM)分类器进行分类。注意本发明不只局限于此实施例，可以根据实际需要设定不同的类别和利用不同的分类器。四种群组的行为特征的描述子也不一定要全部组合在一起用，如只选取其中的一个、两个或三个。
又例如，将人群视频分成不同的类别，如可分成八类：“行人随意行走”、“行人沿同一方向行走并且排列整齐”、“行人沿同一方向行走但排列不整齐”、“人群交汇融合”、“人群分散”、“人群相向而行”、“行人乘扶梯队列流畅”、“行人乘扶梯队列收阻”。如果人群包含多个群组，则利用多个群组特征的平均值作为整个人群的特征，用SVM分类器进行分类。注意本发明不只局限于此实施例，可根据需要设定不同的类别和利用不同的分类器。
图3为本发明一实施例提供的视频图像中群体行为特征处理装置的结构示意图；如图3所示，包括：
划分模块31，用于根据视频图像中群体中不同成员特征点的运动轨迹，将群体分为m个群组m大于1；
确定模块32，用于在所述划分模块划分的m个群组的基础上，分别确定每个群组的行为特征的描述子；
分析模块33，用于根据所述确定模块确定的每个群组的行为特征的描述子进行相应的群体行为特征处理；
所述成员特征点是利用目标跟踪算法，锁定视频图像中的成员进行运动跟踪得到的特征点，包括角点、边缘点或具有特定纹理特征的点。
可选地，所述划分模块31具体包括：
初始化单元311，用于根据群体中不同成员特征点的运动轨迹，将群体初始化为多个初始化群组；
第一选择单元312，用于在多个初始化群组中任选一个初始化群组Ci，根据初始化群组Ci中每个成员特征点的运动轨迹和方向变化，将具有最长的运动轨迹和最小的方向变化的成员特征点设为对应初始化群组Ci的成员特征点代表
第二选择单元313，用于根据初始化群组Ci中其他成员特征点的运动轨迹和成员特征点代表的运动轨迹，计算初始化群组Ci中其他成员特征点的运动速度和成员特征点代表的运动速度的相似度，若相似度大于预设阈值η，则将所述其他成员特征点作为初始化群组Ci的种子成员特征点，加入到初始化群组Ci的种子成员特征点集合Si中；
第一计算单元314，用于在初始化群组Ci的种子成员特征点集合Si中，根据公式计算得到仿射变换矩阵A，所述仿射变换矩阵A表示一个群组内的所有成员特征点都是按照A所限定的方式运动；其中，Vt是高斯噪声，Zk是锁定种子成员特征点集合Si中任一个特征点进行运动跟踪得到的T个位置的序列即表示种子成员特征点集合Si中第k个特征点在第t帧上的空间位置坐标值，表示种子成员特征点集合Si中第k个特征点在第t-1帧上的空间位置坐标值；
第二计算单元315，用于根据所述仿射变换矩阵A，计算初始化群组Ci中的每个成员特征点的运动轨迹用A拟合后的拟合误差∈；
分组单元316，用于将初始化群组Ci中拟合误差∈小于预设的阈值δ的成员特征点加入到群组Gi中，将初始化群组Ci中拟合误差∈大于等于预设的阈值δ的成员特征点作为新的群组加入到初始化群组中；
对每个初始化群组重复上述第一选择单元312、第二选择单元313、第一计算单元314、第二计算单元315和分组单元316执行的步骤，得到m个群组m大于1。
可选地，若所述行为特征包括集体性；
所述确定模块32具体用于：
根据所述仿射变换矩阵A，将群组Gi中的所有成员特征点的运动轨迹用A拟合后的拟合误差的平均值作为群组Gi的集体性的描述子
可选地，若所述行为特征包括稳定性；
所述确定模块32具体用于：
对群组Gi中的每个成员特征点z，计算在第一帧属于z的K个近邻成员特征点集合且在最后一帧也属于z的K个近邻成员特征点集合的成员特征点的个数k；
将群组Gi中的所有成员特征点的所述计算的个数k平均取值作为群组Gi的稳定性的描述子或者
所述确定模块32具体用于：
将群组Gi中的每个成员特征点z在每一帧上的K个近邻成员特征点按与z的距离由大到小排序，计算每相邻两帧之间的排序距离，统计出所有相邻帧的排序距离的直方图；
将群组Gi中的所有成员特征点的所述计算的直方图的平均直方图作为群组Gi的稳定性的描述子或者
所述确定模块32具体用于：
令群组Gi的转移概率矩阵P∈Rn×n为P＝D-1W，其中，D是一个对角矩阵，每一个对角元素 是两个成员特征点之间的距离的平方，σ2是预设的常数，矩阵W第i行第j列的元素为Wij；
令群组Gi中的第i个成员特征点的转移概率分布为qi＝Ei[(I-αP)-1-I]，其中，I是单位矩阵，Ei＝(e1,...en)是一个指示向量，其中，第i个分量ei＝1，其它分量都为0，α＝0.9/K；
计算群组Gi中的每个成员特征点在第一帧和最后一帧的转移概率分布qi之间的概率分布差异，将群组中的所有成员特征点的所述计算的概率分布差异的平均值作为群组Gi的稳定性的描述子
基于上述计算得到的描述子
所述确定模块32具体用于：
根据公式得到群组的稳定性的描述子。
可选地，若所述行为特征包括均匀性；
所述确定模块32具体用于：
根据群组的聚集程度，将群组Gi在每一帧上分为最优个数c*的子群组；
根据计算得到群组的均匀性的描述子，其中，和是c*在所有帧上的平均值和方差。
可选地，若所述行为特征包括摩擦性；
所述确定模块32具体用于：
确定每个群组的摩擦成员特征点，如果所述群组中的一个成员特征点的K个近邻成员特征点中包含其它群组的成员特征点，则将这个成员特征点作为所述群组的摩擦成员特征点；
将群组中的每个摩擦成员特征点在群组中的相对位置进行编码，得到位置编码向量L；
根据计算得到群组的摩擦性的描述子，其中，表示根据所述仿射变换矩阵A，将群组中第i个摩擦成员特征点的所有近邻成员特征点的运动轨迹用A拟合后的拟合误差的平均值。
本发明实施例所述装置可以执行图1所示实施例所述的方法，其技术原理和技术效果相同，不再赘述。
图4为本发明另一实施例提供的视频图像中群体行为特征处理装置的结构示意图，如图4包括：处理器、存储器和通信总线，其中，处理器和存储器通过通信总线连接；存储器中保存有实现图1所示实施例所述的视频图像中群体行为特征处理方法的指令，处理器可以调取存储器中的指令，可以实现图1所示实施例所述的视频图像中群体行为特征处理方法，其技术原理和技术效果相同，不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以以代码的形式存储在一个计算机可读取存储介质中。上述代码存储在一个计算机可读存储介质中，包括若干指令用以使处理器或硬件电路执行本发明各个实施例所述方法的部分或全部步骤。而前述的存储介质包括：通用串行总线接口的无需物理驱动器的微型高容量移动存储盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称ROM)、随机存取存储器(英文：Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。
Claims (6)
1.一种视频图像中群体行为特征处理方法，其特征在于，包括：
根据视频图像中群体中不同成员特征点的运动轨迹，将群体分为m个群组m大于1；
分别确定每个群组的行为特征的描述子；
根据所述每个群组的行为特征的描述子进行相应的群体行为特征处理；
所述成员特征点是利用目标跟踪算法，锁定视频图像中的成员进行运动跟踪得到的特征点，包括角点、边缘点或具有特定纹理特征的点；
若所述行为特征包括集体性；则分别确定每个群组的行为特征的描述子，包括：
根据仿射变换矩阵A，将群组Gi中的所有成员特征点的运动轨迹用A拟合后的拟合误差的平均值作为群组Gi的集体性的描述子
若所述行为特征包括稳定性；则分别确定每个群组的行为特征的描述子，包括：
对群组Gi中的每个成员特征点z，计算在第一帧属于z的K个近邻成员特征点集合且在最后一帧也属于z的K个近邻成员特征点集合的成员特征点的个数k；
将群组Gi中的所有成员特征点的所述计算的个数k平均取值作为群组Gi的稳定性的描述子
或者，若所述行为特征包括稳定性；则分别确定每个群组的行为特征的描述子，包括：
将群组Gi中的每个成员特征点z在每一帧上的K个近邻成员特征点按与z的距离由大到小排序，计算每相邻两帧之间的排序距离，统计出所有相邻帧的排序距离的直方图；
将群组Gi中的所有成员特征点的所述计算的直方图的平均直方图作为群组Gi的稳定性的描述子
或者，若所述行为特征包括稳定性；则分别确定每个群组的行为特征的描述子，包括：
令群组Gi的转移概率矩阵P∈Rn×n为P＝D-1W，其中，D是一个对角矩阵，每一个对角元素 是两个成员特征点之间的距离的平方，σ2是预设的常数，矩阵W第i行第j列的元素为Wij；
令群组Gi中的第i个成员特征点的转移概率分布为qi＝Ei[(I-αP)-1-I]，其中，I是单位矩阵，Ei＝(e1,...en)是一个指示向量，其中，第i个分量ei＝1，其它分量都为0，α＝0.9/K；所述K是群组中成员特征点z的近邻成员特征点的个数；
计算群组Gi中的每个成员特征点在第一帧和最后一帧的转移概率分布qi之间的概率分布差异，将群组中的所有成员特征点的所述计算的概率分布差异的平均值作为群组Gi的稳定性的描述子
若所述行为特征包括均匀性；则分别确定每个群组的行为特征的描述子，包括：
根据群组的聚集程度，将群组Gi在每一帧上分为最优个数c*的子群组；
根据计算得到群组的均匀性的描述子，其中，和是c*在所有帧上的平均值和方差；
若所述行为特征包括摩擦性；则分别确定每个群组的行为特征的描述子，包括：
确定每个群组的摩擦成员特征点，即若所述群组中的一个成员特征点的K个近邻成员特征点中包含其它群组的成员特征点，则将这个成员特征点作为所述群组的摩擦成员特征点；
将群组中的每个摩擦成员特征点在群组中的相对位置进行编码，得到位置编码向量L；
根据计算得到群组的摩擦性的描述子，其中，表示根据仿射变换矩阵A，将群组中第i个摩擦成员特征点的所有近邻成员特征点的运动轨迹用A拟合后的拟合误差的平均值；
其中，所述仿射变换矩阵A表示一个群组内的所有成员特征点都是按照A所限定的方式运动。
2.根据权利要求1所述的方法，其特征在于，所述根据群体中不同成员特征点的运动轨迹，将群体分为m个群组，包括：
A、根据群体中不同成员特征点的运动轨迹，将群体初始化为多个初始化群组；
B、在多个初始化群组中任选一个初始化群组Ci，根据初始化群组Ci中每个成员特征点的运动轨迹和方向变化，将具有最长的运动轨迹和最小的方向变化的成员特征点设为对应初始化群组Ci的成员特征点代表
C、根据初始化群组Ci中其他成员特征点的运动轨迹和成员特征点代表的运动轨迹，计算初始化群组Ci中其他成员特征点的运动速度和成员特征点代表的运动速度的相似度，若相似度大于预设阈值η，则将所述其他成员特征点作为初始化群组Ci的种子成员特征点，加入到初始化群组Ci的种子成员特征点集合Si中；
D、在初始化群组Ci的种子成员特征点集合Si中，根据公式计算得到所述仿射变换矩阵A；其中，Vt是高斯噪声，Zk是锁定种子成员特征点集合Si中任一个特征点进行运动跟踪得到的T个位置的序列即表示种子成员特征点集合Si中第k个特征点在第t帧上的空间位置坐标值，表示种子成员特征点集合Si中第k个特征点在第t-1帧上的空间位置坐标值；
E、根据所述仿射变换矩阵A，计算初始化群组Ci中的每个成员特征点的运动轨迹用A拟合后的拟合误差∈；
F、将初始化群组Ci中拟合误差∈小于预设的阈值δ的成员特征点加入到群组Gi中；将初始化群组Ci中拟合误差∈大于等于预设的阈值δ的成员特征点作为新的群组加入到初始化群组中；
对每个初始化群组重复上述步骤B-F后，得到m个群组m大于1。
3.根据权利要求1或2所述的方法，其特征在于，若所述行为特征包括稳定性；
则分别确定每个群组的行为特征的描述子，还包括：
根据公式得到群组的稳定性的描述子。
4.一种视频图像中群体行为特征处理装置，其特征在于，包括：
划分模块，用于根据视频图像中群体中不同成员特征点的运动轨迹，将群体分为m个群组m大于1；
确定模块，用于在所述划分模块划分的m个群组的基础上，分别确定每个群组的行为特征的描述子；
分析模块，用于根据所述确定模块确定的每个群组的行为特征的描述子进行相应的群体行为特征处理；
所述成员特征点是利用目标跟踪算法，锁定视频图像中的成员进行运动跟踪得到的特征点，包括角点、边缘点或具有特定纹理特征的点；
若所述行为特征包括集体性；所述确定模块具体用于：
根据仿射变换矩阵A，将群组Gi中的所有成员特征点的运动轨迹用A拟合后的拟合误差的平均值作为群组Gi的集体性的描述子
若所述行为特征包括稳定性；所述确定模块具体用于：
对群组Gi中的每个成员特征点z，计算在第一帧属于z的K个近邻成员特征点集合且在最后一帧也属于z的K个近邻成员特征点集合的成员特征点的个数k；
将群组Gi中的所有成员特征点的所述计算的个数k平均取值作为群组Gi的稳定性的描述子
或者，若所述行为特征包括稳定性；所述确定模块具体用于：
将群组Gi中的每个成员特征点z在每一帧上的K个近邻成员特征点按与z的距离由大到小排序，计算每相邻两帧之间的排序距离，统计出所有相邻帧的排序距离的直方图；
将群组Gi中的所有成员特征点的所述计算的直方图的平均直方图作为群组Gi的稳定性的描述子
或者，若所述行为特征包括稳定性；所述确定模块具体用于：
令群组Gi的转移概率矩阵P∈Rn×n为P＝D-1W，其中，D是一个对角矩阵，每一个对角元素 是两个成员特征点之间的距离的平方，σ2是预设的常数，矩阵W第i行第j列的元素为Wij；
令群组Gi中的第i个成员特征点的转移概率分布为qi＝Ei[(I-αP)-1-I]，其中，I是单位矩阵，Ei＝(e1,...en)是一个指示向量，其中，第i个分量ei＝1，其它分量都为0，α＝0.9/K；所述K是群组中成员特征点z的近邻成员特征点的个数；
计算群组Gi中的每个成员特征点在第一帧和最后一帧的转移概率分布qi之间的概率分布差异，将群组中的所有成员特征点的所述计算的概率分布差异的平均值作为群组Gi的稳定性的描述子
若所述行为特征包括均匀性；所述确定模块具体用于：
根据群组的聚集程度，将群组Gi在每一帧上分为最优个数c*的子群组；
根据计算得到群组的均匀性的描述子，其中，和是c*在所有帧上的平均值和方差；
若所述行为特征包括摩擦性；所述确定模块具体用于：
确定每个群组的摩擦成员特征点，如果所述群组中的一个成员特征点的K个近邻成员特征点中包含其它群组的成员特征点，则将这个成员特征点作为所述群组的摩擦成员特征点；
将群组中的每个摩擦成员特征点在群组中的相对位置进行编码，得到位置编码向量L；
根据计算得到群组的摩擦性的描述子，其中，表示根据仿射变换矩阵A，将群组中第i个摩擦成员特征点的所有近邻成员特征点的运动轨迹用A拟合后的拟合误差的平均值；
其中，所述仿射变换矩阵A表示一个群组内的所有成员特征点都是按照A所限定的方式运动。
5.根据权利要求4所述的装置，其特征在于，所述划分模块具体包括：
初始化单元，用于根据群体中不同成员特征点的运动轨迹，将群体初始化为多个初始化群组；
第一选择单元，用于在多个初始化群组中任选一个初始化群组Ci，根据初始化群组Ci中每个成员特征点的运动轨迹和方向变化，将具有最长的运动轨迹和最小的方向变化的成员特征点设为对应初始化群组Ci的成员特征点代表
第二选择单元，用于根据初始化群组Ci中其他成员特征点的运动轨迹和成员特征点代表的运动轨迹，计算初始化群组Ci中其他成员特征点的运动速度和成员特征点代表的运动速度的相似度，若相似度大于预设阈值η，则将所述其他成员特征点作为初始化群组Ci的种子成员特征点，加入到初始化群组Ci的种子成员特征点集合Si中；
第一计算单元，用于在初始化群组Ci的种子成员特征点集合Si中，根据公式计算得到所述仿射变换矩阵A；其中，Vt是高斯噪声，Zk是锁定种子成员特征点集合Si中任一个特征点进行运动跟踪得到的T个位置的序列即表示种子成员特征点集合Si中第k个特征点在第t帧上的空间位置坐标值，表示种子成员特征点集合Si中第k个特征点在第t-1帧上的空间位置坐标值；
第二计算单元，用于根据所述仿射变换矩阵A，计算初始化群组Ci中的每个成员特征点的运动轨迹用A拟合后的拟合误差∈；
分组单元，用于将初始化群组Ci中拟合误差∈小于预设的阈值δ的成员特征点加入到群组Gi中，将初始化群组Ci中拟合误差∈大于等于预设的阈值δ的成员特征点作为新的群组加入到初始化群组中；
对每个初始化群组重复上述第一选择单元、第二选择单元、第一计算单元、第二计算单元和分组单元执行的步骤，得到m个群组m大于1。
6.根据权利要求4或5所述的装置，其特征在于，若所述行为特征包括稳定性；
所述确定模块具体用于：
根据公式得到群组的稳定性的描述子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410209727.0A CN105095908B (zh) | 2014-05-16 | 2014-05-16 | 视频图像中群体行为特征处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410209727.0A CN105095908B (zh) | 2014-05-16 | 2014-05-16 | 视频图像中群体行为特征处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105095908A CN105095908A (zh) | 2015-11-25 |
| CN105095908B true CN105095908B (zh) | 2018-12-14 |
Family
ID=54576293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410209727.0A Active CN105095908B (zh) | 2014-05-16 | 2014-05-16 | 视频图像中群体行为特征处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105095908B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107615272B (zh) * | 2015-05-18 | 2021-09-03 | 北京市商汤科技开发有限公司 | 用于预测人群属性的系统和方法 |
| CN106250837B (zh) * | 2016-07-27 | 2019-06-18 | 腾讯科技（深圳）有限公司 | 一种视频的识别方法、装置和系统 |
| CN107967693B (zh) * | 2017-12-01 | 2021-07-09 | 北京奇虎科技有限公司 | 视频关键点处理方法、装置、计算设备及计算机存储介质 |
| CN108932587B (zh) * | 2018-06-29 | 2021-09-21 | 大连民族大学 | 二维世界坐标系的俯视行人风险量化系统 |
| WO2020001395A1 (zh) * | 2018-06-29 | 2020-01-02 | 大连民族大学 | 道路行人分类方法及二维世界坐标系的俯视行人风险量化方法 |
| CN108803626B (zh) * | 2018-08-16 | 2021-01-26 | 大连民族大学 | 自主汽车或者辅助驾驶系统规划路线的系统 |
| CN111488835B (zh) * | 2020-04-13 | 2023-10-10 | 北京爱笔科技有限公司 | 一种同行人员的识别方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007110555A1 (en) * | 2006-03-28 | 2007-10-04 | The University Court Of The University Of Edinburgh | A method for automatically characterizing the behavior of one or more objects |
| CN102201065A (zh) * | 2011-05-16 | 2011-09-28 | 天津大学 | 基于轨迹分析的监控视频异常事件检测方法 |
| CN102385705A (zh) * | 2010-09-02 | 2012-03-21 | 大猩猩科技股份有限公司 | 利用多特征自动集群法的异常行为侦测系统与方法 |
| CN103258193A (zh) * | 2013-05-21 | 2013-08-21 | 西南科技大学 | 一种基于kod能量特征的群体异常行为识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8855361B2 (en) * | 2010-12-30 | 2014-10-07 | Pelco, Inc. | Scene activity analysis using statistical and semantic features learnt from object trajectory data |
-
2014
- 2014-05-16 CN CN201410209727.0A patent/CN105095908B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007110555A1 (en) * | 2006-03-28 | 2007-10-04 | The University Court Of The University Of Edinburgh | A method for automatically characterizing the behavior of one or more objects |
| CN102385705A (zh) * | 2010-09-02 | 2012-03-21 | 大猩猩科技股份有限公司 | 利用多特征自动集群法的异常行为侦测系统与方法 |
| CN102201065A (zh) * | 2011-05-16 | 2011-09-28 | 天津大学 | 基于轨迹分析的监控视频异常事件检测方法 |
| CN103258193A (zh) * | 2013-05-21 | 2013-08-21 | 西南科技大学 | 一种基于kod能量特征的群体异常行为识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 智能视频监控中小群体运动分析研究;陈非予;《中国优秀硕士学位论文全文数据库》;20140215(第2期);第13页、第33-34页以及第35-38页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105095908A (zh) | 2015-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105095908B (zh) | 视频图像中群体行为特征处理方法和装置 | |
| Wu et al. | Vision-based real-time aerial object localization and tracking for UAV sensing system | |
| Zhang et al. | Data-driven crowd understanding: A baseline for a large-scale crowd dataset | |
| Zhang et al. | Cross-scene crowd counting via deep convolutional neural networks | |
| Zhao et al. | Crossing-line crowd counting with two-phase deep neural networks | |
| US9224046B2 (en) | Multi-view object detection using appearance model transfer from similar scenes | |
| Kim et al. | Spatiotemporal saliency detection for video sequences based on random walk with restart | |
| Ryan et al. | Textures of optical flow for real-time anomaly detection in crowds | |
| US10796142B2 (en) | Systems for tracking individual animals in a group-housed environment | |
| CN101120382B (zh) | 跟踪用相机获得的场景视频中的移动物体的方法 | |
| Ma et al. | Small instance detection by integer programming on object density maps | |
| Rabiee et al. | Detection and localization of crowd behavior using a novel tracklet-based model | |
| US10986400B2 (en) | Compact video representation for video event retrieval and recognition | |
| Schröder et al. | Optical flow dataset and benchmark for visual crowd analysis | |
| CN106845389B (zh) | 一种基于方向-集群性模型的人群逃散事件检测方法及系统 | |
| Cancela et al. | Unsupervised trajectory modelling using temporal information via minimal paths | |
| Chandran et al. | Real-time identification of pedestrian meeting and split events from surveillance videos using motion similarity and its applications | |
| Rao et al. | Detection of anomalous crowd behaviour using hyperspherical clustering | |
| Lu et al. | Multi-target tracking by non-linear motion patterns based on hierarchical network flows | |
| Rahul et al. | Siamese network for underwater multiple object tracking | |
| Farooq et al. | Motion estimation of high density crowd using fluid dynamics | |
| Chaudhry et al. | Automatic annotation of traditional dance data using motion features | |
| Farhood et al. | Counting people based on linear, weighted, and local random forests | |
| CN116071569A (zh) | 图像选择方法、计算机设备及存储装置 | |
| Nallaivarothayan et al. | Anomalous event detection using a semi-two dimensional hidden markov model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210422 Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Patentee after: Honor Device Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd. |