CN110852203B - 一种基于视频特征学习的多要素可疑人员识别方法 - Google Patents

Abstract

本发明公开一种基于视频特征学习的多要素可疑人员识别方法，包括：对监控视频进行基于感知哈希映射关键帧筛选，分离包含行为主体的前景信息，并定位关键部位所在区域；然后对预处理结果进行动静结合的特征提取：对于静态监控视频,提取头部姿势、手部姿势等局部特征与行走异常、衣着异常等整体特征；对于动态监控特征，主要提取路径重复度、可疑人员出现在人群密集点的概率以及监控环境中标志点平均停留时间；根据评判标准结合可信计算思想，计算可疑人员身份可信指数；最后，根据相应的阈值，动态筛选可疑人员并输出判别信息。本发明可以在受控与非受控环境下，较准确高效的识别出可疑人员，具有良好的科学性与更高的实际应用价值。

Description

一种基于视频特征学习的多要素可疑人员识别方法

技术领域

本发明属于信息技术领域，特别涉及一种基于视频特征学习的多要素可疑人员识别方法。

背景技术

随着监控技术的提高，监控视频愈加清晰，为通过视频监控在短时间内准确的识别出具有犯罪动机的可疑人员提供了良好的硬件基础。与此同时，也使得可疑身份识别从受控环境向非受控环境转变，识别效果也是不可控的。一般而言，导致识别效果不理想的原因大致可疑分为以下两个方面：

首先，身份识别所使用的环境不再是受控的，在采集被测者信息时存在遮挡和姿态等动态变换问题，加之身份库中并不一定存在被测者的身份信息，可能会导致提取的特征信息不能满足可疑人员识别的任务需求；

其次，监控视频信息量巨大，处理时间较长，严重影响了系统的实时性。

为了解决面向视频学习的可疑人员识别问题，需要设计合理的识别方案，使得视频处理过程中结合现有监控设备的特点，提取具有代表性和标识性的特征信息，在保证准确性的同时，尽量缩短视频信息的处理时间，以实时场景为驱动的动态识别判定。

发明内容

本发明的目的在于提供一种基于视频特征学习的多要素可疑人员识别方法，以解决上述技术问题。本发明提高了动态、静态监控视频的利用率，尽可能的充分提取待测人员的行为特征、身份特征与轨迹特征等信息，提高了非受控环境下可疑人员识别的准确度，并在数据预处理阶段提供了一种以感知哈希为依托的关键帧筛选算法，提高了系统的处理效率，同时在判定阶段中以信任指数为参考对待测者进行评判。

为了实现上述目的，本发明采用以下技术方案：

一种基于视频特征学习的多要素可疑人员识别方法，包括以下步骤：

S1、通过动静态监控设备分别采集静态监控视频S，与动态监控视频Q，形成监控视频集合T；对监控视频集合T进行数据处理，获得关键帧集合S_key；

S2、根据筛选所得的关键帧集合S_key提取包含行为主体的前景数据T_pre；

S3、使用慢特征分析法分析前景数据T_pre中静态监控视频部分，得到局部特征中头部姿势变换特征数据D_head与手部姿势变换特征数据D_hand；并提取数据T_pre中静态监控视频部分中全局特征中行走异常特征数据D_walk与衣着异常特征数据D_clothes；

S4、根据特征数据D_head、D_hand、D_walk、D_clothes，从监控视频集合T中获取可疑目标集合A；

S5、计算包含行为主体的前景数据T_pre中静态监控视频部分中可疑目标A的路径重复度D_re、人群密集点出现的概率D_p以及监控环境中标志点平均停留时间D_τ；

S6、根据路径重复度D_re、人群密集点出现的概率D_p以及监控环境中标志点平均停留时间D_τ对可疑目标集合A中人员进行异常评判，确定其身份可信指数Auth，最后根据可信因子Ω确定可疑人员，完成可疑人员判定并输出。

进一步的，步骤S1中对监控视频集合T进行数据处理，具体包括：

S1.1、监控视频T分帧为T＝{T₁，T₂，…，T_n}，灰度化处理后得帧集合B＝{B₁，B₂，…，B_n}；

S1.2、根据P-Hash最佳变换像素32×32块，对帧集合B的每帧图像进行分块，并横向编号，不足以0填充，即帧B_i＝{B_i1，B_i2，…，B_ij}，得到相应的块数据B_ij；

S1.3、根据分块后的块数据B_ij进行DCT变换，并只保留块数据B_ij变换后矩阵B′_ij左上角8×8的数据矩阵D_ij，其中i表示视频序列第i帧，j表示视频帧内第j块；

S1.4、计算矩阵D_ij的平均值

当D_ij的值大于

用1替换D_ij的值，当D_ij的值小于

则用0替换，从而获得块哈希值；

S1.5、以监控视频T的第一帧数据为基准，并根据需求选择τ时间段，分别计算τ时间段内，与第一帧数据对应块哈希值之间的汉明相似度，直到计算完所有对应块之间的相似度得相似度集合S_a，k＝{S_a，1，S_a，2，…，S_a，k}，其中a表示τ时间段中的第a帧，k表示第a帧的第k块；

S1.6、根据步骤S5的相似度集合S_a，k，计算帧间相似度S_q，动态确定关键帧筛选阈值ρ；

S1.7、综合步骤S1.6中相似度S_q与关键帧筛选阈值ρ，对监控视频集合T进行筛选，采用模糊聚类方法聚合得到高相似度块，从高相似度块任意一帧作为关键帧，聚合所有高相似度块的关键帧集合，得到关键帧集合S_key。

进一步的，步骤S3具体包括：

在动态特征提取过程中可疑人员行走异常特征数据D_walk，计算如下：

D_w＝D_w1∪D_w2∪…∪D_wn

其中，D_w1，D_w2，…，D_wn为以可疑人员为中心，以R_walk为半径的圆内所有人的行走特征数据，D_walk为可疑人员的行走数据；

在特征提取过程中可疑人员衣着特征数据D_clothes，用T_eye表示通过监控视频对人员眼睛的检测，用T_nose表示通过监控视频对人员鼻子的检测，T_mouth表示通过监控视频对人员嘴巴的检测，计算如下：

T_eye＝1为可以检测到目标人物的眼睛，T_eye＝0表示检测不到目标人物眼睛；T_nose＝1表示可以检测到目标的鼻子，T_nose＝0表示检测不到目标的鼻子；T_mouth＝1表示可以检测到目标的嘴巴，T_mouth＝0表示检测不到目标的嘴巴。

进一步的，步骤S5具体包括：

对可疑目标集合A进行动态特征提取，路径重复度D_re计算如下：

其中，C_f，i表示路径经过第i个标志点的频数，C_S表示所有标志点的集合，n表示C_S的总数目，N_walk表示可疑人员经过标志点的总数，0表示错误，需要重新计算；

对可疑目标集合A进行动态特征提取，人群密集点出现的概率D_p，计算如下：

其中，Z为监控区域内标志点集合，C_walk，i为可疑人员经过的标志点，M为人群密集点集合，sum(M)为求人群密集点集合总和运算；

根据可疑人员的监控视频数据信息得知的最初达第i个标志点的时间B_walk，i，以及最晚离开第i个标志点的时间D_walk，i进行计算，得到监控环境中标志点平均停留时间D_τ的计算如下：

其中，C_f，i表示路径经过第i个标志点的频数，n表示监控环境中所有标志点的数量，N_walk表示可疑人员经过标志点的数量，MAX为取集合中最大值运算，MIN为取集合中最小值运算。

进一步的，步骤S6具体包括：

用D_P，walk为可疑人员出现在密集点概率，在基于可信计算的可疑人员身份判定中身份可信指数Auth计算方法如下：

根据可信指数Auth确定可信因子Ω的值，其计算方法如下：

其中N_key为步骤S1中关键帧筛选所得的集合S_key的帧数目，N_T为监控视频T中帧总数；令{Z}的初始为

对于集合{A}中每一个元素A_i计算可信指数Auth，若Auth≥Ω，则有：

{Z}＝{Z}∪A_i

其中，集合{A}为输出的二次筛选所得的可疑人员集合，D_{Z,τ，average}表示出入监控环境的平均时间，D_{Z,re，average}为平均重复路径，D_{Z，p,average}为出现在人群密集点的平均概率，D_τ，walk为可疑人员在监控环境中停留时间，D_re，walk为可疑人员路径重复度。

进一步的，步骤S3中，设置初始半径R_walk为2.5m，用N_w表示半径R_walk＝2.5m时，圆内的人数计算如下：

进一步的，步骤S1中，帧间相似度S_q与其关键帧筛选的动态阈值ρ的计算如下：

ρ＝θ·MEAN(S_q)

其中MIN为取集合S_a，k最小值运算，MAX为取集合S_a，k最大值运算，1≤i≤k，k为参与相似度计算的块数目，MEAN为取S_q均值运算，θ为伸缩因子。

本发明一种基于视频特征学习的多要素可疑人员识别方法，学习视频特征，并根据多要素判定可疑人员，该过程主要对监控视频进行基于感知哈希映射关键帧筛选，分离包含行为主体的前景信息，并定位关键部位所在区域；然后对预处理结果进行动静结合的特征提取：对于静态监控视频，提取头部姿势、手部姿势等局部特征与行走异常、衣着异常等整体特征；对于动态监控特征，主要提取路径重复度、可疑人员出现在人群密集点的概率以及监控环境中标志点平均停留时间等；根据评判标准结合可信计算思想，计算可疑人员身份可信指数；最后，根据相应的阈值，动态筛选可疑人员并输出判别信息。

与现有技术相比，本发明至少具有以下有益效果：

本发明提出了一种基于视频特征学习的多要素可疑人员识别方案，可以根据监控视频特征与处理目的进行视频关键帧筛选，从根源上降低了后续待处理数据的数量级，提高了方案的整体效率；发明中对监控处理部分，可以充分提取非受控环境下动态、静态监控视频中可疑人员特征要素信息，给出了合理的特征融合机制，有效的保证了判断结果的可靠性；同时能够更合理的评判可疑人员的异常行为信息，更准确的锁定可疑目标，进一步提高了判定结果的准确性的同时为下一步人员追踪提供充分依据。

进一步的，步骤S1通过对动态和静态监控视频进行关键帧提取操作，得出具有代表性的，重复度低的监控视频帧，以此来降低后续处理的数据量，提高效率。

进一步的，考虑到可疑人员通常会具有异于常人的头部姿势与手部姿势，通过分析静态监控视频中待检测人员的头部姿势变换和手部姿势变换，对其进行局部特征分析，使得提取出特征更有利于可疑人员判定。

进一步的，步骤S3根据可疑人员往往会有异于周围人群的行走特征，以待检测人员为圆心，以一定距离为半径，判定出行为异常性，提高了行为异常特征评判的准确性。

进一步的，步骤S4中初步确定了可疑目标集合，依据各个特征判断所得的可疑人员是不完全相同的，通过对所有特征因素的综合分析得最初目标集合，便于后续动态监控视频分析判断可疑人员。

进一步的，步骤S5中计算了路径重复度，重复度越高待检测人员为可疑人员的可能性就越大；在计算待检测人员的可疑性的同时，将人群密集点出现概率以及监控环境中标志点平均停留时间纳入考量中，使得更加全面的衡量待检测人员的可疑程度。

进一步的，步骤S6中综合步骤S5中所得动态特征，对S初步可疑人员集合进行再次考量分析，对其身份可信指数进行计算，对可疑程度给出了一个直观的数字上的衡量，以便于判定可疑身份时进行合理的决定。

综上所述，本发明的识别方法充分考虑到了非受控环境下动态监控视频与静态监控视频的特性，通过设计关键帧提取算法提高了方案的效率，通过提取动静态结合的特性值与结合可信计算的思想，提高了可疑人员判定的准确度。

下面通过附图，对本发明的技术方案做进一步详细描述。

附图说明

图1为本发明一种基于视频特征学习的多要素可疑人员识别方法的框架图；

图2为基于感知哈希的关键帧提取的过程解析示意图；

图3为动静结合特征提取流程图；

图4(a)为采用本发明改进后的感知哈希映射方法处理动静态视频的帧数与原始帧数、感知哈希算法和均值哈希算法处理的结果对比图；

图4(b)为在镜头分割过程中，采用本发明的方法、原始感知哈希算法以及均值哈希算法准确率的对比图；

图5(a)为原始视频图像中的一帧；

图5(b)为本方法运行的结果；

图6为本发明方法、人脸识别方案、目标追踪与异常检测的识别率对比分析图。

具体实施方式

本发明提供一种基于视频特征学习的多要素可疑人员识别方法，学习视频特征，并根据多要素判定可疑人员，该过程主要对监控视频进行基于感知哈希映射关键帧筛选，分离包含行为主体的前景信息，并定位关键部位所在区域；然后对预处理结果进行动静结合的特征提取：对于静态监控视频，提取头部姿势、手部姿势等局部特征与行走异常、衣着异常等整体特征；对于动态监控特征，主要提取路径重复度、可疑人员出现在人群密集点的概率以及监控环境中标志点平均停留时间等；根据评判标准结合可信计算思想，计算可疑人员身份可信指数；最后，根据相应的阈值，动态筛选可疑人员并输出判别信息。

请参阅图1所示，本发明一种基于视频特征学习的多要素可疑人员识别方法，主要处理对象为监控视频，包括基于感知哈希的关键帧提取，从根源上降低处理的时间复杂度；动静结合的特征提取与结合可信计算思想得可疑人员判定，具体步骤如下：

S1、通过动静态监控设备分别采集静态监控视频S，与动态监控视频Q，形成监控视频集合T，对监控视频集合T进行如下操作：

S1.1、监控视频T分帧为T＝{T₁，T₂，…，T_n}，灰度化处理后得帧集合B＝{B₁，B₂，…，B_n}；

S1.2、根据P-Hash最佳变换像素32×32块，对帧集合B的每帧图像进行分块，并横向编号，不足以0填充，即帧B_i＝{B_i1，B_i2，…，B_ij}，得到相应的块数据B_ij；

S1.3、根据分块后的块数据B_ij进行DCT变换，并只保留块数据B_ij变换后矩阵B′_ij左上角8×8的数据矩阵D_ij，其中i表示视频序列第i帧，j表示视频帧内第j块；

S1.4、计算矩阵D_ij的平均值

当D_ij的值大于

用1替换D_ij的值，当D_ij的值小于

则用0替换，从而确定块哈希值；

S1.5、以监控视频T的第一帧数据为基准，并根据需求选择τ时间段，分别计算τ时间段内，与第一帧数据对应块哈希值之间的汉明相似度，直到计算完所有对应块之间的相似度得相似度集合S_a，k＝{S_a，1，S_a，2，…，S_a，k}，其中a表示τ时间段中的第a帧，k表示第a帧的第k块；

S1.6、根据步骤S5的相似度集合S_a，k，计算帧间相似度S_q，动态确定关键帧筛选阈值ρ；

S1.7、综合步骤S1.6中相似度S_q与关键帧筛选阈值ρ，对监控视频集合T进行筛选，采用模糊聚类方法聚合得到高相似度块，从高相似度块任意一帧作为关键帧，聚合所有高相似度块的关键帧集合，得到关键帧集合S_key；提高本发明的整体判断效率与准确度。

其中帧间相似度S_q与其关键帧筛选的动态阈值ρ的计算如下：

ρ＝θ·MEAN(S_q)

其中MIN为取集合S_a，k最小值运算，MAX为取集合S_a，k最大值运算，1≤i≤k，k为参与相似度计算的块数目，MEAN为取S_q均值运算，θ为伸缩因子，该因子随着不同视频而选择不同，默认取值为

S2、根据筛选所得的关键帧集合S_key提取包含行为主体的前景数据T_pre；

S3、使用慢特征分析法分析前景数据T_pre中静态监控视频部分，得到局部特征中头部姿势变换特征数据D_head与手部姿势变换特征数据D_hand；

提取数据T_pre中静态监控视频部分中全局特征中行走异常特征数据D_walk与衣着异常特征数据D_clothes；

在动态特征提取过程中可疑人员行走异常特征数据D_walk，计算如下：

D_w＝D_w1∪D_w2∪…∪D_wn

其中，D_w1，D_w2，…，D_wn为以可疑人员为中心，以R_walk为半径的圆内所有人的行走特征数据，D_walk为可疑人员的行走数据，由于相关文献显示中国男性成年人的标准身高在1.70-1.75m之间，因此设置初始半径R_walk为2.5m，用N_w表示半径R_walk＝2.5m时，圆内的人数，其计算如下：

在特征提取过程中可疑人员衣着特征数据D_clothes，用T_eye表示通过监控视频对人员眼睛的检测，用T_nose表示通过监控视频对人员鼻子的检测，T_mouth表示通过监控视频对人员嘴巴的检测，计算如下：

T_eye＝1为可以检测到目标人物的眼睛，T_eye＝0表示检测不到目标人物眼睛；T_nose＝1表示可以检测到目标的鼻子，T_nose＝0表示检测不到目标的鼻子；T_mouth＝1表示可以检测到目标的嘴巴，T_mouth＝0表示检测不到目标的嘴巴。

S4、根据特征数据D_head、D_hand、D_walk、D_clothes，从监控视频集合T中获取可疑目标集合A；

S5、计算包含行为主体的前景数据T_pre中静态监控视频部分中可疑目标A的路径重复度D_re、人群密集点出现的概率D_p以及监控环境中标志点平均停留时间D_τ；

对可疑目标集合A进行动态特征提取，路径重复度D_re计算如下：

其中，C_f，i表示路径经过第i个标志点的频数，C_S表示所有标志点的集合，n表示C_S的总数目，N_walk表示可疑人员经过标志点的总数，0表示错误，需要重新计算。

对可疑目标集合A进行动态特征提取，人群密集点出现的概率D_p，计算如下：

其中，Z为监控区域内标志点集合，C_walk，i为可疑人员经过的标志点，M为人群密集点集合，sum(M)为求人群密集点集合总和运算。

根据可疑人员的监控视频数据信息得知的最初达第i个标志点的时间B_walk，i，以及最晚离开第i个标志点的时间D_walk，i进行计算，得到监控环境中标志点平均停留时间D_τ的计算如下：

其中，C_f，i表示路径经过第i个标志点的频数，n表示监控环境中所有标志点的数量，N_walk表示可疑人员经过标志点的数量，MAX为取集合中最大值运算，MIN为取集合中最小值运算。

S6、根据路径重复度D_re、人群密集点出现的概率D_p以及监控环境中标志点平均停留时间D_τ对可疑目标集合A中人员进行异常评判，确定其身份可信指数Auth，最后根据可信因子Ω确定可疑人员，完成可疑人员判定并输出；

用D_P，walk为可疑人员出现在密集点概率，在基于可信计算的可疑人员身份判定中身份可信指数Auth计算方法如下：

根据可信指数Auth确定可信因子Ω的值，其本质上为一个阈值函数，其计算方法如下：

其中N_key为步骤S1中关键帧筛选所得的集合S_key的帧数目，N_T为监控视频T中帧总数。令{Z}的初始为

对于集合{A}中每一个元素A_i计算可信指数Auth，若Auth≥Ω，则有：

{Z}＝{Z}∪A_i

其中，集合{A}为输出的二次筛选所得的可疑人员集合，D_{Z，τ，average}表示出入监控环境的平均时间，D_{Z,re，average}为平均重复路径，D_Z,p,average为出现在人群密集点的平均概率，D_τ，walk为可疑人员在监控环境中停留时间，D_re，walk为可疑人员路径重复度。

使用公开数据集Visual Tracker Benchmark与ICPR2010对实验进行仿真，对发明的可行性与效果评估如下：

在实验过程中，按照shaking hands，pointing，hugging,pushing，kicking andpunching将ICPR数据库分为6组分别进行处理，每组按照均值进行分析比较，VisualTracker Benchmark数据集主要用于分析可疑人员识别过程中。

实验结果表明：

(1)在预处理阶段，本发明采用改进后的感知哈希映射方法处理动静态视频，在数据集ICPR实验结果如图4(a)和图4(b)所示。从4(a)中可以看出，本发明的关键帧提取方法能在保持原有视频信息完整性的前提下，一定程度上降低处理的帧数，从根源上降低了后续待处理数据的数量级，从而提高了方案的整体效率；

(2)如图4(b)所示，在镜头分割过程中，将本发明的方法与原始感知哈希算法以及均值哈希算法进行比较，从图中可以看出，三种方案的准确率都随着数据的不同而变化，本发明方法的准确率与另外两种算法几乎持平，但是稳定性强于另外两种算法。由此可见本方法能够保证镜头分割结果的准确性的同时保持稳定性；

(3)为了验证方法中行走异常的有效性，采用数据集Visual Tracker Benchmark进行验证，如图5(a)和图5(b)所示，5(a)为原始视频图像中的一帧，而5(b)为本方法运行的结果，从图中可以看出，以当前可疑人员为圆心画圆后，得到圆中的行人与可疑人员的不同，将其圈出并将其行走异常系数置为1。由此可见，本发明的方法能够有效的检测出行走异常，保证了方案的准确性；

(4)图6为本发明中可以人员检测与人脸识别方案、目标追踪与异常检测两种方案的对比分析，从图中可以看出随着镜头中人数的增多，三种方案的识别率都在下降，由于在非受控环境下，人脸识别方案已经不具备优势，因此下降最快。而本发明的方法采用多要素识别算法，从图中可以看出，相比目标追踪与异常检测更稳定、更准确。

综上所述，本发明在系统开销、稳定性以及准确性方面都具有较强的有效性，并且在多种场景下的适应性较好。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (5)

1.一种基于视频特征学习的多要素可疑人员识别方法，其特征在于，包括以下步骤：

S1、通过动静态监控设备分别采集静态监控视频S与动态监控视频Q，形成监控视频集合T；对监控视频集合T进行数据处理，获得关键帧集合S_key；

S2、根据筛选所得的关键帧集合S_key提取包含行为主体的前景数据T_pre；

S3、使用慢特征分析法分析前景数据T_pre中静态监控视频部分，得到局部特征中头部姿势变换特征数据D_head与手部姿势变换特征数据D_hand；并提取前景数据T_pre中静态监控视频部分中全局特征中行走异常特征数据D_walk与衣着异常特征数据D_clothes；

S4、根据特征数据：头部姿势变换特征数据D_head、手部姿势变换特征数据D_hand、行走异常特征数据D_walk、衣着异常特征数据D_clothes，从监控视频集合T中获取可疑目标集合A；

S5、计算包含行为主体的前景数据T_pre中静态监控视频部分中可疑目标集合A的路径重复度D_re、人群密集点出现的概率D_p以及监控环境中标志点平均停留时间D_τ；

S6、根据路径重复度D_re、人群密集点出现的概率D_p以及监控环境中标志点平均停留时间D_τ对可疑目标集合A中人员进行异常评判，确定其身份可信指数Auth，最后根据可信因子Ω确定可疑人员，完成可疑人员判定并输出；

步骤S1中对监控视频集合T进行数据处理，具体包括：

S1.1、监控视频T分帧为T＝{T₁，T₂，…，T_n}，灰度化处理后得帧集合B＝{B₁，B₂，…，B_n}；

S1.2、根据P-Hash最佳变换像素32×32块，对帧集合B的每帧图像进行分块，并横向编号，不足以0填充，即帧B_i＝{B_i1，B_i2，…，B_ij}，得到相应的块数据B_ij；

S1.3、根据分块后的块数据B_ij进行DCT变换，并只保留块数据B_ij变换后矩阵B′_ij左上角8×8的数据矩阵D_ij，其中i表示视频序列第i帧，j表示视频帧内第j块；

S1.4、计算矩阵D_ij的平均值

当D_ij的值大于

用1替换D_ij的值，当D_ij的值小于

则用0替换，从而获得块哈希值；

S1.5、以监控视频T的第一帧数据为基准，并根据需求选择τ时间段，分别计算τ时间段内，与第一帧数据对应块哈希值之间的汉明相似度，直到计算完所有对应块之间的相似度得到相似度集合S_a，k＝{S_a，1，S_a，2，…，S_a，k}，其中a表示τ时间段中的第a帧，k表示第a帧的第k块；

S1.6、根据步骤S5的相似度集合S_a，k，计算帧间相似度S_q，动态确定关键帧筛选阈值ρ；

S1.7、综合步骤S1.6中相似度S_q与关键帧筛选阈值ρ，对监控视频集合T进行筛选，采用模糊聚类方法聚合得到高相似度块，从高相似度块任意一帧作为关键帧，聚合所有高相似度块的关键帧集合，得到关键帧集合S_key；

步骤S6具体包括：

用D_P，walk表示可疑人员出现在密集点概率，在基于可信计算的可疑人员身份判定中身份可信指数Auth计算方法如下：

根据可信指数Auth确定可信因子Ω的值，其计算方法如下：

其中N_key为步骤S1中关键帧筛选所得的集合S_key的帧数目，N_T为监控视频T中帧总数；令{Z}的初始为

对于集合{A}中每一个元素A_i计算可信指数Auth，若Auth≥Ω，则有：

{z}＝{Z}∪A_i

其中，Z为监控区域内标志点集合；集合{A}为输出的二次筛选所得的可疑人员集合，D_{Z，τ，average}表示出入监控环境的平均时间，D_{Z，re，average}为平均重复路径，D_{Z，p，average}为出现在人群密集点的平均概率，D_τ，walk为可疑人员在监控环境中停留时间，D_re，walk为可疑人员路径重复度。

2.根据权利要求1所述的一种基于视频特征学习的多要素可疑人员识别方法，其特征在于，步骤S3具体包括：

在动态特征提取过程中可疑人员行走异常特征数据D_walk，计算如下：

D_w＝D_w1∪D_w2∪…∪D_wn

其中，D_w1，D_w2，…，D_wn为以可疑人员为中心，以R_walk为半径的圆内所有人的行走特征数据，D_walk为可疑人员的行走数据；

在特征提取过程中可疑人员衣着特征数据D_clothes，用T_eye表示通过监控视频对人员眼睛的检测，用T_nose表示通过监控视频对人员鼻子的检测，T_mouth表示通过监控视频对人员嘴巴的检测，计算如下：

T_eye＝1为可以检测到目标人物的眼睛，T_eye＝0表示检测不到目标人物眼睛；T_nose＝1表示可以检测到目标的鼻子，T_nose＝0表示检测不到目标的鼻子；T_mouth＝1表示可以检测到目标的嘴巴，T_mouth＝0表示检测不到目标的嘴巴。

3.根据权利要求1所述的一种基于视频特征学习的多要素可疑人员识别方法，其特征在于，步骤S5具体包括：

对可疑目标集合A进行动态特征提取，路径重复度D_re计算如下：

其中，C_f，i表示路径经过第i个标志点的频数，C_S表示所有标志点的集合，n表示C_S的总数目，N_walk表示可疑人员经过标志点的总数，0表示错误，需要重新计算；

对可疑目标集合A进行动态特征提取，人群密集点出现的概率D_p，计算如下：

其中，Z为监控区域内标志点集合，C_walk，i为可疑人员经过的标志点，M为人群密集点集合，sum(M)为求人群密集点集合总和运算；

根据可疑人员的监控视频数据信息得知的最初达第i个标志点的时间B_walk，i，以及最晚离开第i个标志点的时间D_walk，i进行计算，得到监控环境中标志点平均停留时间D_τ的计算如下：

其中，C_f，i表示路径经过第i个标志点的频数，n表示监控环境中所有标志点的数量，N_walk表示可疑人员经过标志点的数量，MAX为取集合中最大值运算，MIN为取集合中最小值运算。

4.根据权利要求2所述的一种基于视频特征学习的多要素可疑人员识别方法，其特征在于，步骤S3中，设置初始半径R_walk为2.5m，用N_w表示半径R_walk＝2.5m时圆内的人数；根据N_w选择半径R_walk如下：

5.根据权利要求1所述的一种基于视频特征学习的多要素可疑人员识别方法，其特征在于，步骤S1中，帧间相似度S_q与其关键帧筛选的动态阈值ρ的计算如下：

ρ＝θ·MEAN(S_q)

其中MIN为取集合S_a，k最小值运算，MAX为取集合S_a，k最大值运算，1≤i≤k，k为参与相似度计算的块数目，MEAN为取S_q均值运算，θ为伸缩因子。

Images