CN111461041A

CN111461041A - 一种基于生成对抗网络的多因素联合判别异常行人方法

Info

Publication number: CN111461041A
Application number: CN202010265942.8A
Authority: CN
Inventors: 安健; 程宇森; 桂小林; 彭振龙; 程锦东; 汪振星
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2020-04-07
Filing date: 2020-04-07
Publication date: 2020-07-28
Anticipated expiration: 2040-04-07
Also published as: CN111461041B

Abstract

本发明公开了一种基于生成对抗网络的多因素联合判别异常行人方法，采用改进的Pedestrian‑Synthesis‑GAN网络对行人进行检测跟踪，为判别运动轨迹、记录通过时间以及行人的头部曝光时长提供了基础。使用Social‑GAN网络预测行人轨迹，计算实际轨迹与预测轨迹的相似度，得到异常分数。设计使用SVM来对行人通过时间进行判别，得到相应的异常分数。由于异常行人会产生冻结效应，在行人检测的基础上使用GAN网络对人脸进行识别检测，计算面部曝光时长和曝光次数的异常分数。最后，设置动态权重，对行人的运动轨迹、逗留时间、脸部曝光时长、曝光次数以及行为姿态五个方面进行多因素融合判别，有效提高了检测异常行人的准确率。

Description

一种基于生成对抗网络的多因素联合判别异常行人方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于生成对抗网络的多因素联合判别异常行人方法。

背景技术

随着监控摄像头在公共区域的覆盖范围逐步变大，人们对利用监控视频进行对监控中的异常人员进行预识别的需求也与日俱增。异常人员智能检测技术将更加高效的监控行人，提前找出异常情况，从而更好地应对各种突发情况。由此可见，智能监控将在社会公共安防方面发挥重要作用。

在异常行人检测中，存在一些突出问题，具体为：首先是异常样本少，异常情况种类多，难以完全枚举；其次是由于摄像头大多数安装在人员密集型区域，行人之间的遮挡较为严重。现有方法不能很好的解决行人的遮挡问题。且目前大部分监控摄像头的像素低，对一些细小的动作不能很好的识别，导致了漏检。

智能监控有诸多研究方向，目前的研究都是对其中某一方向进行深入研究，提高检测准确率。但是由于异常行人的心态、目的以及关注点与正常行人都存在极大的差别，其表现出的差别也是多方面的，而且一些异常人员具有一定的反侦察能力，会刻意掩盖其部分行为特征，从而导致无法识别成功，由此可见，凭借单个因素来确定异常行人是不可靠的。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于生成对抗网络的多因素联合判别异常行人方法，借鉴人脑处理问题时综合分析的特性，综合考虑各方面因素，结合多种成熟技术来对异常行人进行多因素判别，并对其中部分网络进行调整改进，以适应整体结构的设计，提高对异常行人检测的准确率并且减少遗漏。

本发明采用以下技术方案：

一种基于生成对抗网络的多因素联合判别异常行人方法，包括以下步骤：

S1、获取USC行人数据集，提取图片数据；

S2、使用USC行人数据集中的行人图片训练改进的Pedestrian-Synthesis-GAN网络，使 Pedestrian-Synthesis-GAN网络能够执行多行人的检测及追踪任务，记录视频中每个行人的行走轨迹点集合Tra_i和监控中的通过时间Time_i；

S3、使用Social-GAN网络预测行人的运动轨迹，计算预测轨迹

与实际运动轨迹Tra_i之间的相似度，计算运动轨迹的异常分值Score_Tra；

S4、提取正常行人通过监控区域所需的时间Time_i作为训练数据；使用SVM作为二分类器，输出行人通过时间的异常分值Score_Time，并计算行人通过的平均时间Time_avg；

S5、在被检测到行人的基础上，使用GAN网络检测行人面部的曝光时间

以及曝光次数

并记录；计算出正常行人通过视频监控区域面部曝光的平均时间

以及平均曝光次数

根据时间调整异常分值Score_T、Score_N；

S6、使用已有GAN-RepNet网络构建行人的骨骼节点，得出异常分值Score_posture；

S7、确定运动轨迹、通过时间、面部曝光时间以及行为姿态异常的动态权重Weight和动态阈值Threshold_total，对通过视频区域的行人进行多因素联合判别，计算最终异常分值Score_total与阈值比较，实现异常行人判别。

具体的，步骤S1具体为：

S101、从USC行人数据集中获取多角度、有遮挡以及无遮挡的行人图片，只提取USC数据集中的图片作为训练数据；

S102、把数据集中的行人图片分为无遮挡和有遮挡两类，有遮挡的行人图片根据其显露部位分为：头部、躯干、左胳膊、右胳膊以及腿部五类；若显露k个部位，分别将图片归类到相应类别，同时存在于k个分类中，k属于正整数，取值为[1,5]。

具体的，步骤S2具体为：

S201、设计Part-Pedestrian-Synthesis-GAN网络模型；

S202、训练生成器；

S203、步骤S202训练完毕后得到能够对监控视频中的行人进行检测和跟踪的网络；

S204、把视频界面进行网格划分，以左下角为坐标原点，构建二维坐标系，坐标系中横坐标最大值为8，纵坐标最大值为6；把检测的行人框的中心位置作为行人所在坐标，每隔0.5s 记录行人所在位置，使用二维坐标的形式记录行人运动轨迹Tra_i，行人i实际运动轨迹集合表示为

预测运动轨迹集合表示为

把集合中的一个元素

作为Social-GAN网络的输入数据；

S205、记录监控视频中每个行人从出现到离开监控区域所耗费的时间Time_i。

具体的，步骤S3具体为：

S301、提取该情景下部分正常行人i的行走轨迹

作为输入数据，并使用该数据训练Social-GAN网络；

S302、实时把行人i的运动轨迹

作为数据依次输入到Social-GAN网络中， Social-GAN网络实时预测出行人i下一时刻的运动轨迹点

S303、行人的第一个轨迹总是相同的：

计算预测轨迹

与实际轨迹

之间的相似度；

S304、使用下式计算行人运动轨迹的相似度，把该相似度作为异常分值，并投影到[0,1]区间。

进一步的，步骤S303中，预测轨迹和实际轨迹中对应点的距离Distance_pre,real计算如下：

计算相对于原点的偏移角度Angle_j,0以及与前一点的偏移角度Angle_j,j-1分别为：

进一步的，步骤S304中，行人运动轨迹的相似度具体为：

其中，Distance_pre,real为预测轨迹和实际轨迹中对应点的距离，Angle_j,0为相对于原点的偏移角度，Angle_j,j-1为相对于前一点的偏移角度。

具体的，步骤S4具体为：

S401、提取一部分正常行人通过监控区域的时间Time_i作为训练数据，训练SVM二分类器。计算出正常行人通过的平均时间Time_avg；

S402、把所有行人的通过时间Time_i作为输入数据，SVM输出通行时间是否异常的概率

转换为小数，作为异常分数Score_time。

具体的，步骤S5具体为：

S501、在行人框内使用GAN网络检测行人面部,记录行人i曝光时间

和曝光次数

S502、提取一部分正样本，计算该情景下正常行人在监控视频中面部的平均曝光时间

和平均曝光次数

S503、计算面部曝光时间和曝光次数的异常情况；

S504、分别计算行人面部曝光时间和曝光次数的异常分数。

具体的，步骤S7具体为：

S701、依据下式分别给行人的运动轨迹、运动速度、面部曝光时长、次数以及行为姿态设置动态权重；

S702、计算行人面部曝光时间的异常分值；

S703、使用各因素权重计算最终的异常分数；

S704、动态设置确定的异常阈值，判断该行人是否异常，若大于阈值，则判定其异常；若小于阈值，则判定为正常。

进一步的，步骤S701中，当Time_i＜Time_arg时，权重放在左顾右看、行为姿态和运动轨迹上，具体为：

Weight_Time＝0

当Time_i≥Time_arg时，考虑行人是否在徘徊或寻找目标，已经超过正常通过时间，判断面部暴露时间是否增加，具体为：

Weight_{exposure_N}＝0.15

Weight_Tra＝0.4

Weight_posture＝0.3

Weight_{exposure_T}＝0.10

Weight_Time＝0.05

其中，Weight_{exposure_N}为行人面部曝光次数所占权重，Weight_Tra为行人运动轨迹在判别中所占权重，Weight_posture为行人的行为姿态所占权重，Weight_{exposure_T}为行人面部曝光时间所占权重，Weight_Time为行人通过监控区域时间所占权重。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于生成对抗网络的多因素联合判别异常行人方法，基于GAN网络，设置五个判别因素来对异常行人进行判别。基于GAN网络可以进行无监督的训练，并且能够解决训练数据不足的缺陷，使本发明在应用时只需提取该场景下的一部分视频数据，即可训练成功，节省了给数据打标签的工作，从而使得应用场景更为丰富。依据心理学等学科分析异常行人的特征，设置了五个判别因素。为提高识别速度，采用逐步计算判别的方式。依据获取数据随着时间而增多的特性，动态调整五个判别因素之间的权重关系，最终进行融合判断。能够准确、实时的判断出异常行人，具有很高的可信度。

进一步的，USC行人数据库最大程度的贴近监控视频中的行人图像，该数据库包含USC-A、USC-B、USC-C三组数据集，USC-A图片包含拍摄角度为正面和背面的无遮挡行人图片，而USC-C图片中包含不同角度的无遮挡行人。USC-B图片包含不同视角下的行人图片，并且行人之间存在遮挡。该数据集中有不同角度下的行人图片，很好的解决了监控摄像头将从不同角度拍摄行人的问题；同时，数据集中包含遮挡的行人，为训练Part-PS-GAN网络中的各部分生成器提供了条件。

进一步的，Pedestrians-Synthesis-GAN可以很好的对无遮挡的行人进行检测和追踪，但是对于有遮挡的行人检测效果很差。因此，改进该网络，通过对身体的每部分都建立一个生成器 G和判别器D来提高对有遮挡行人的检测和追踪。更准确的检测行人，为多因素联合判别创造数据基础。

进一步的，Socail-GAN网络能够较为准确的预测出行人的运动轨迹，把该预测轨迹作为正常的运动轨迹，实时计算预测轨迹与实际运动轨迹之间的相似度能够实时判断出实际运动轨迹相对于预测轨迹的偏差，从而实现对运动轨迹异常的判定。

进一步的，由于使用的是以坐标点来计算相似度的方法，而且实际运动情况多变，因此，实时对预测点坐标值进行修正，使其能够与真实轨迹的坐标点相匹配，使得计算得到的距离和角度具有可比较性，为了方便运动轨迹异常分数的计算，要把偏移角度值归并为[0,10]，所以把偏移角度值除以9。

进一步的，实际运动轨迹与预测运动轨迹之间的相似度与两者同步取样点之间的距离、取样点与相邻点之间的角度以及取样点与原点之间的偏移角度都有一定关系，因此，设置不同的权重联合计算运动轨迹的异常分值，并把异常分值的值域限制为[0,1]，以方便最终异常分值的计算。

进一步的，由于随着行人在监控视频中存在时间越长，得到的相关数据越多越可信，则计算行人的平均通过时间，作为确定各因素动态权重的条件。

进一步的，异常行人会左顾右盼巡查周边的情况，并且会不自觉地隐藏自己的面部。因此，计算行人面部平均曝光时间和平均曝光次数作为衡量基准，依据时间计算行人面部曝光时间和曝光次数的异常值，能够得到较为客观的结果，具有较高可信度。

进一步的，受限于数据的获取计算等准确度以及重要程度不同，所以要设置不同的权重来得到更为可信的结果，设置动态阈值来修订由于特殊监控场景造成的误检。

进一步的，行人在监控视频中生成的数据越多，则相应数据所占权重应进行调整，充分利用所获得的数据，以提高异常分数计算的准确度和可信度；由于不同情景下行人有不同的表征，因此，分数的判定会出现误差，则使用动态阈值来进行修正；实时调整阈值，使异常行人的人数控制在某一范围内，则标记的异常行人的准确率越高，鲁棒性越好。

综上所述，本发明综合分析行人的多项特征来预判别异常行人，从源头上减少危害社会公共安全事件的发生，提高安防智能化水平，能够避免因异常人员所做出的刻意掩盖动作而漏检的结果，并且有效解决了因摄像头像素低导致的拍摄动作不清晰的问题。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的整体网络结构；

图2为本发明的Past-PS-GAN的网络结构。

具体实施方式

本发明定义异常行人为：在监控视频中某一个体或是某几个体与视频中大部分人群的行为存在差异的行人。此处的行为包含运动轨迹、逗留时间、面部曝光率以及动作姿态等因素。

本发明一种基于生成对抗网络的多因素联合判别异常行人方法，采用改进的Pedestrian-Synthesis-GAN网络对行人进行检测跟踪，为判别运动轨迹、记录通过时间以及行人的头部曝光时长提供了基础。使用Social-GAN网络预测行人轨迹，计算实际轨迹与预测轨迹的相似度，得到异常分数。设计使用SVM来对行人通过时间进行判别，得到相应的异常分数。由于异常行人会产生冻结效应，在行人检测的基础上使用GAN网络对人脸进行识别检测，计算面部曝光时长和曝光次数的异常分数。最后，设置动态权重，对行人的运动轨迹、逗留时间、脸部曝光时长、曝光次数以及行为姿态五个方面进行多因素融合判别，有效提高了检测异常行人的准确率；具体步骤如下：

S1、获取USC行人数据集，只提取图片数据；

S101、从USC行人数据集中获取多角度、有遮挡以及无遮挡的行人图片。由于生成对抗网络可以进行弱监督或是无监督的学习，则只提取USC数据集中的图片作为训练数据；

S102、把数据集中的行人图片分为无遮挡和有遮挡两类，有遮挡的行人图片根据其显露部位又分为：头部、躯干、左胳膊、右胳膊以及腿部五类。若显露多个部分，允许一张图片存在多个分类中。

若显露k个部位，分别将图片归类到相应类别，同时存在于k个分类中，k属于正整数，取值为[1,5]。

S2、使用USC行人数据集中的行人图片训练改进的Pedestrian-Synthesis-GAN网络，使其能够执行多行人的检测及追踪任务。记录视频中每个行人的行走轨迹点集合Tra_i和在监控中的通过时间Time_i；

S201、设计Part-Pedestrian-Synthesis-GAN网络模型

在Pedestrian-Synthesis-GAN网络模型的基础上，考虑到摄像头的安装位置必然会造成视频中人员的遮挡，从而把行人的矩形框分割成5个部分，分别是头部、躯干、左胳膊、右胳膊以及腿部；对于每一个部分，都单独训练一个生成器G和一个判别器D，一共有6个生成器 G1、G2、G3、G4、G5、G6和7个判别器D1、D2、D3、D4、D5、D6、Dp。

S202、训练生成器

训练生成器G1、D1：把一张真实场景图中的某一个行人框用噪声替换，从而让生成器 G1在该位置生成一个行人，最后输出生成的场景图，交由D1判别；最终G1可以生成接近真实的行人，而D1能够判别行人的真假。

训练G2、D2：对真实图片中的某一个行人框的头部区域附近的空白区域用与同样大小的噪声替换；从而让生成器G2在该位置生成行人相应位置，最后输出生成好的场景图，再训练 D2。

按照上述方法依次训练G3、G4、G5、G6、D3、D4、D5、D6。

S203、判别器D1、D2、D3、D4、D5、D6都是用来判别生成的行人是否为真，判别器 Dp用来捕捉整个场景信息，从而判断整个生成的场景图的真假。训练完毕之后得到能够对监控视频中的行人进行检测和跟踪的网络；

S204、把视频界面进行网格划分，以左下角为坐标原点，构建二维坐标系，坐标系中横坐标最大值为8，纵坐标最大值为6；把检测到的行人框的中心位置作为行人所在坐标，每隔0.5s 记录行人所在位置，使用二维坐标的形式记录行人运动轨迹Tra_i，行人i实际运动轨迹集合表示为

预测运动轨迹集合表示为

把集合中的一个元素

作为Social-GAN网络的输入数据。

S3、使用Social-GAN网络预测行人的运动轨迹，计算预测轨迹

S301、提取该情景下部分正常行人i的行走轨迹

作为输入数据，并使用该数据训练Social-GAN网络；

S302、实时把行人i的运动轨迹

作为数据依次输入到Social-GAN网络中，Social-GAN网络实时预测出行人i下一时刻的运动轨迹点

S303、行人的第一个轨迹总是相同的：

计算预测轨迹

与实际轨迹

之间的相似度；

计算预测轨迹点和实际轨迹点的角度差：

如果Angle_pre,real的值超过设定的角度偏移阈值30°，则按照下式调整预测轨迹取样点。

其中，b为偏移值，代入实际轨迹最新取样点

求出b值。

联立两式：

所得交点更新预测轨迹取样点

使用下式计算预测轨迹和实际轨迹中对应点的距离，具体为：

计算相对于原点的偏移角度以及与前一点的偏移角度，具体为：

S304、使用下式计算行人运动轨迹的相似度，把该相似度作为异常分值，并投影到[0,1]区间，具体为：

S4、提取出正常行人通过监控区域所需的时间Time_i作为训练数据。使用SVM作为二分类器，输出行人通过时间的异常分值Score_Time，并计算行人通过的平均时间Time_avg；

转换为小数，作为异常分数Score_time。

S5、在被检测到行人的基础上，使用GAN网络来检测行人面部的曝光时间

以及曝光次数

并记录；计算出正常行人通过该视频监控区域面部曝光的平均时间

以及平均曝光次数

随着时间的改变而调整异常分值Score_T、Score_N；

和曝光次数

和平均曝光次数

S503、使用下式计算面部曝光时间和曝光次数的异常情况；

S504、使用下式分别计算行人面部曝光时间和曝光次数的异常分数，具体为：

S6、使用已有的GAN-RepNet网络来构建行人的骨骼节点，得出异常分值Score_posture；

使用已有的GAN-RepNet网络对行为姿态进行判别，输入监控视频帧，输出一个异常百分比P_posture，转换为小数形式，作为异常分值Score_posture。

S7、确定运动轨迹、通过时间、面部曝光时间以及行为姿态异常的动态权重Weight和动态阈值Threshold_total，对通过视频区域的行人进行多因素联合判别，计算最终异常分值Score_total与阈值比较，判别异常行人。

当Time_i＜Time_arg时，此时由于时间短，所以权重放在左顾右看、行为姿态、运动轨迹上，具体为：

Weight_Time＝0

当Time_i≥Time_arg时，此时主要考虑行人是否在徘徊、寻找目标，已经超过正常通过时间，考虑其面部暴露时间是否随之增加等，具体为：

Weight_{exposure_N}＝0.15

Weight_Tra＝0.4

Weight_posture＝0.3

Weight_{exposure_T}＝0.10

Weight_Time＝0.05

S702、计算行人面部曝光时间的异常分值；

Score_Exposure＝T_i*Weight_{exposure_T}+N_i*Weight_{exposure_N}

S703、使用各因素权重计算最终的异常分数；

S704、动态设置确定的异常阈值，判断该行人是否异常。若大于阈值，则判定其异常；若小于阈值，则判定其正常；

由于异常人员属于少数，则设置阈值初始值Threshold_total＝0.7，具体为：

其中，People_ab为当前监控中的异常人数，People_all为在当前监控中的总人数。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明一种基于生成对抗网络的多因素联合判别异常行人方法所用的整体网络结构具体为：

网络训练阶段：使用正常行人行走的样本作为数据训练Part-Pedestrian-Synthesis-GAN网络；使用监控情景下正常行人行走的运动轨迹作为数据训练Social-GAN网络；使用监控情景下行人的通过时间作为数据训练SVM二分类器；使用视频帧作为数据训练GAN-RepNet网络。

在步骤S2中，把监控视频数据输入到Part-PS-GAN网络中，识别检测出行人，并跟踪。以行人个体为单位，记录其运动轨迹的坐标值和通过时间。

在步骤S3中，把步骤S2中记录的运动轨迹坐标值实时输入到Social-GAN网络中，计算出实际运动轨迹与预测运动轨迹的相似度，以此相似度作为异常分值。

在步骤S4中，把步骤S2中记录的通过时间输入到SVM二分类器中，SVM输出异常概率，将其转化为小数，作为异常分值。

在步骤S5中，在每个行人框中检测行人的脸部，记录行人脸部的曝光时长和曝光次数，依据时间变化，计算其异常分值。

在步骤S6中，使用GAN-RepNet网络对每个行人的行为姿态进行检测，最终输出异常百分比，转换为小数，作为异常分值。

在步骤S7中，依据现实情景设置阈值以及不同影响因素的权重，得出最终异常分值，与阈值进行比较。

请参阅图2，在PS-GAN网络模型的基础上，考虑到摄像头的安装位置会造成视频中人员的遮挡，从而把行人的矩形框分割成5个部分，分别是头部、躯干、左胳膊、右胳膊以及腿部。对于每一个部分，都单独训练一个生成器G和一个判别器D，附加完整行人的生成器和判别器，以及对环境进行判定的判别器Dp。一共6个生成器G1、G2、G3、G4、G5、G6和7个判别器D1、D2、D3、D4、D5、D6、Dp。

本发明能够实时处理监控视频的数据，在复杂环境中也可通过少量视频的训练，从而达到实时识别异常行人的效果，节省了大量的人力资源，并且在异常人员检测中具有优秀的性能，有效预防了犯罪行为的发生。本发明可以应用于无人机监控、公共安防等场景中。

综上所述，本发明一种基于生成对抗网络的多因素联合判别异常行人方法，基于深度学习方法，使用多种GAN网络级联的方式，分别对行人的运动轨迹、逗留时间、面部曝光时长、曝光次数以及行为姿态五个方面进行识别、统计，有效解决了训练样本少的问题。以时间线为参考要素对各因素在最终异常分值的计算中所占权重进行计算，充分利用了所获得的行人数据，考虑到了不同因素在异常行人判定中起到的作用，在保证准确率的情况下，尽可能的加快识别速度。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。