CN114038056A - 一种跳跃式及下蹲式逃票行为识别方法 - Google Patents

一种跳跃式及下蹲式逃票行为识别方法 Download PDF

Info

Publication number
CN114038056A
CN114038056A CN202111276839.4A CN202111276839A CN114038056A CN 114038056 A CN114038056 A CN 114038056A CN 202111276839 A CN202111276839 A CN 202111276839A CN 114038056 A CN114038056 A CN 114038056A
Authority
CN
China
Prior art keywords
pedestrian
joint point
time
state
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111276839.4A
Other languages
English (en)
Inventor
黄世泽
刘晓雯
张肇鑫
宋冠群
秦晋哲
张兵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202111276839.4A priority Critical patent/CN114038056A/zh
Publication of CN114038056A publication Critical patent/CN114038056A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种跳跃式及下蹲式逃票行为识别方法，包括获取地铁闸机入口所在位置的监控视频，转化成图像帧；利用人体关键点检测算法对每一帧图像进行检测，获得每一帧图像的人体骨架数据；利用多目标跟踪算法对连续多帧图像中的行人进行多目标跟踪，得到每一个行人的人体骨架序列；对人体骨架序列的某一时刻的骨架数据，进行特征提取；搭建单帧行为的检测模型，将获得的人体骨架特征输入检测模型，得到行人的动作类别；重复步骤得到每一个时刻的动作类别与时间的序列曲线，依据该曲线检测逃票行为是否发生。通过此发明可以对地铁站内的跳跃式及下蹲式逃票行为进行识别，及时捕捉到乘客的逃票行为并进行制止，保证地铁秩序和安全运营。

Description

一种跳跃式及下蹲式逃票行为识别方法
技术领域
本发明涉及轨道交通领域，具体涉及一种跳跃式及下蹲式逃票行为识别方法。
背景技术
地铁在人们的日常生活和工作中所起的作用越来越重要，每天承载着大量的人流量，其安全问题更是重中之重。地铁站的任何隐患和危险都会引发群体性恐慌，且容易扩散，造成人民人身和财产损失，对整个地铁线的运行造成不良影响。目前，随着计算机、网络传输技术以及图像处理的飞速发展，视频监控设备成为公共区域安全基础设施，大量的前端摄像头分布在交通要道，人流量较多的公共区域。为保障地铁车站的安全，地铁车站内部自然也安装了大量的前端摄像头。利用视频监控，我们能够更方便地对车站内部情况进行监视，并留下影像记录。
由于缺乏足够智能的异常行为实时监控系统，这些工作大都是由人工完成的，而更多的监控系统则只能提供事发后的视频回放。由于人无法长时间完全专注对视频进行监控，因此在实时监控时通常会因人为的原因产生疏忽，对于事后证据的调用，这项工作更需要投入大量的人为对所有的监控视频数据进行排查，这样的工作不仅会消耗大量的人力成本，而且人为监控的结果中也会存在大量的错判和漏判，用人工的方式来分析视频数据无法满足人们对视频监控的需求。
一方面，逃票作为地铁站中的常见异常行为，利用计算机视觉技术对其进行智能识别，将会强力地打击逃票行为，增强整个社会的法治建设和道德自觉，具有较高的实际应用价值和社会意义。逃票这一地铁站常见异常行为不仅损害了公众利益，而且给整个地铁秩序和社会文明带来混乱。而逃票行为的出现不仅是由于乘客自身文明素质不高，也是由于地铁监管不严、惩处不够。但是，在上班高峰期、人流量比较大的地铁站，地铁工作人员难以监管整个地铁站。如果能够利用图像处理、机器学习等计算机技术对地铁站监控视频中的行人进行实时识别，准确地捕获到视频中出现的逃票行为，则能够及时地引导工作人员对其进行制止；即使没有能够及时地制止，后期也能够结合人脸识别技术核实逃票人员的身份，纳入公民个人诚信记录。
另一方面，在众多地铁站异常行为中，逃票行为的多样性和复杂性都使得其识别难度较高。根据地铁站出站闸机的不同，又可以分成跳跃式、下蹲式以及尾随式三种。其中，跳跃式和下蹲式逃票行为涉及行人的肢体动作，仅通过对行人的目标检测是无法进行识别的，需要对行人的肢体动作进行深入的分析；尾随式逃票行为更是涉及两个行人之间的交互，仅分析单个行人的状态也是不行的。因此，逃票行为的识别既包含个体异常行为识别，又包含交互式异常行为识别，极具有挑战性。同时，地铁出站口附近往往聚集大量的人群，使得行人间的遮挡更为严重，这些问题都大大增加了基于视频的逃票行为识别的难度。因此，本专利以逃票行为为例，探索地铁站内异常行为识别方法，为非法入侵禁区、恐慌奔跑等异常行为的识别提供参考。
发明内容
本发明提供了一种跳跃式及下蹲式逃票行为识别方法，基于地铁站逃票行为的视频数据，采用人体关键点提取方法、多目标跟踪方法、机器学习和时间序列结合的算法对地铁站自主逃票行为进行检测和识别，通过监控视频及时捕捉到乘客的逃票行为并进行制止，保证地铁秩序和安全运营。
一种跳跃式及下蹲式逃票行为识别方法，其特征在于，包括以下步骤：
(1)获取地铁闸机入口所在位置的监控视频，转化成图像帧；(为已有算法)
(2)利用人体关键点检测算法对每一帧图像进行检测，获得每一帧图像的人体骨架数据；(为已有算法)
(3)利用多目标跟踪算法对连续多帧图像中的行人进行多目标跟踪，得到每一个行人的人体骨架序列；(为已有算法)
(4)对步骤(3)中人体骨架序列的某一时刻的骨架数据，进行特征提取；(创新步骤)
(5)搭建单帧行为的检测模型，将步骤(4)获得的人体骨架特征输入检测模型，得到行人的动作类别；(为已有算法)
(6)将步骤(3)中的骨架序列的每一时刻的骨架数据以此重复步骤(4)到(5)，得到每一个时刻的动作类别与时间的序列曲线，依据该曲线检测逃票行为是否发生。(创新步骤)
进一步的，根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(2)中所述的人体关键点检测算法为OpenPose算法，(为已有算法)具体步骤为；
(2a)：第一阶段网络产生一组检测置信度图S1＝ρ1(F)和一组关节仿射场图
Figure BDA0003329718020000031
其中ρ1和
Figure BDA0003329718020000032
分别为第一阶段的CNN结构，之后的每一个阶段的输入都来自前一个阶段的预测结果和原始图像特征F，产生更精确的预测结果；
(2b)：根据预测置信图得到离散的候选关节点集，其公式如下：
Figure BDA0003329718020000033
其中，
Figure BDA0003329718020000034
表示第j类关节点的第m个关节点的位置，j表示关节点类别；
(2c)：定义所有候选关节点的连线集合，其公式如下：
Figure BDA0003329718020000035
其中，
候选关节点
Figure BDA0003329718020000036
表示第j1类关节点的第m个关节点的位置；
候选关节点
Figure BDA0003329718020000037
表示第j2类关节点的第n个关节点的位置；
Figure BDA0003329718020000038
表示候选关节点
Figure BDA0003329718020000039
和候选关节点
Figure BDA00033297180200000310
之间是否有线连接，
Figure BDA00033297180200000311
表示两者有线连接，
Figure BDA00033297180200000312
表示两者之间没有连接；
(2d)：单独考虑肢体c所有对应的两个候选关节点j1和j2，通过匈牙利算法对总亲和值最高的图匹配方式最优问题进行求解，获得最优匹配，总亲和度最大的优化问题如下：
Figure BDA00033297180200000313
Figure BDA00033297180200000314
Figure BDA00033297180200000315
其中，
Ec表示亲和值，c表示人类各肢体；
Emn表示候选关节点
Figure BDA00033297180200000316
和候选关节点
Figure BDA00033297180200000317
之间的亲和度；
(2e)：对多人进行全身姿态估计时，对K分图分配问题进行求解，将享有相同身体部分的链接组装成人体的全身姿态，其公式如下：
Figure BDA0003329718020000041
其中，E表示亲和值，c表示人类各肢体，C表示人类个数；
(2f)：设置规则对得到的人体骨架数据进行清洗，其公式如下：
Figure BDA0003329718020000042
其中，
Figure BDA0003329718020000043
表示对应人体骨架数据的有效性；
Figure BDA0003329718020000044
表示第t帧图像中第i个行人的人体姿态估计结果中关节点置信度大于0.2的关节点个数；
numJ为关节点个数阈值。
进一步的，根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(2)所述的OpenPose算法使用BODY_25人体骨架模型对人体关键点进行检测并对肢体进行连接和分组，获得人体骨架数据。
进一步的，根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(3)所述的多目标跟踪算法为Pose Flow算法，具体步骤为：
(3a)建立行人候选集，每个行人在候选集中包括以下属性：行人检测框位置信息、行人检检测框置信度、关节点位置信息、关节点置信度、行人编号以及最后出现时刻；
(3b)基于人体姿态数据的特征提取；
(3b1)定义行人之间的检测框交并比IOUbox，公式如下：
Figure BDA0003329718020000045
其中，
A和B分别为两个行人检测框所在区域；
(3b2)定义行人之间关节点检测框交并比IOUpose_box，具体计算流程如下：以关节点为中心，构建边长为l的正方形作为该关节点的检测框；计算两行人对应关节点的关节点检测框交并比
Figure BDA0003329718020000046
其中i＝0,1,…,24；对得到的25个关节点检测框交并比计算结果，按照关节点检测结果的置信度进行由大到小的排序，置信度为0的对应的元素直接剔除；将排序后的前num个关节点检测框交并比的平均值作为行人C1和行人P1之间关节点检测框交并比IOUpose_box；
(3b3)定义行人之间的检测框特征点交并比ORBbox，公式如下：
Figure BDA0003329718020000051
其中，
KpA表示检测框A中的ORB特征点集合，KpB表示检测框B中的ORB特征点集合，KpA∩KpB表示检测框A与检测框B中成功匹配的ORB特征点集合，num(KpA∩KpB)表示集合KpA∩KpB中的特征点个数；
(3b4)定义行人之间关节点检测框特征点交并比ORBpose_box，计算流程如下：以关节点为中心，构建边长为l的正方形作为该关节点的检测框；计算两行人对应关节点的关节点检测框特征点交并比
Figure BDA0003329718020000052
其中i＝0,1,…,24；对得到的25个关节点检测框的特征点交并比计算结果，按照关节点检测结果的置信度进行由大到小的排序，置信度为0的对应的元素直接剔除；将排序后的前num个关节点检测框的特征点交并比的平均值作为行人之间关节点检测框的特征点交并比ORBpose_box；
(3c)设置行人匹配评价指标S，其公式如下：
Figure BDA0003329718020000053
其中，
w1、w2、w3、w4依次为特征IOUbox、IOUpose_box、ORBbox、ORBpose_box的权重；
(3d)行人匹配，采用匈牙利算法依据代价矩阵对当前帧检测到的行人与行人候选集中的行人进行匹配，基于所有行人匹配指标S最大的匹配原则对当前帧中的行人和行人候选集中的行人进行匹配；
假设当前帧中有M个行人，行人候选集中有N个行人，当前帧中的行人Ci与行人候选集中的行人Pj的匹配指标为sij，则可以得到行人匹配指标矩阵S：
Figure BDA0003329718020000054
用kij表示当前帧中的行人Ci与行人候选集中的行人Pj的匹配状态，进而可以得到行人匹配状态矩阵K，矩阵K同样也包含M行N列。其中，kij的赋值规则如下：
Figure BDA0003329718020000061
行人匹配问题转化为以下优化问题：
Figure BDA0003329718020000062
Figure BDA0003329718020000063
通过匈牙利算法对以上模型进行求解可以得到行人匹配状态矩阵K，即可得到当前帧中的行人与行人候选集中的行人匹配结果；
(3e)行人候选集更新，内容主要分为以下三部分：
(3e1)若行人候选集中的行人与当前帧中的行人匹配成功，则用当前帧中的行人信息替换行人候选集中对应的行人信息。例如，在上面的例子中，当前帧中的行人C1与行人候选集中的行人P1匹配成功，则用行人C1的行人检测框位置信息、行人检检测框置信度、关节点位置信息等属性替换行人P1相应的属性；
(3e2)若行人候选集中存在一个行人Px没有与当前帧中的行人匹配成功，此时，又可以分成两种情况：①行人Px长时间没有匹配成功，比如说行人Px已经连续100帧或5s没有更新状态，这时，该行人可能已经离开相机的监控区域，所以应该将该行人从行人候选集中移除；②行人Px只是短时间内没有匹配成功，可能是由于目标检测算法的原因，只是当前帧没有检测到该行人，这时，应维持行人Px的属性保持不变；
(3e3)若当前帧存在一个行人Cx没有与行人候选集中的行人匹配成功，此时，可能是由于该行人第一次进入相机的监控区域，行人候选集中没有该人的信息。因此，需要将该行人加入到行人候选集中，且其行人编号为未加入前行人候选集中的最大行人编号+1。
进一步的，根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(4)的特征主要为相对距离关系、角度关系和相对速度关系三种特征，具体为：
(4a)相对距离关系：距离关系是用来描述人体骨架中任意一对关节点在空间上的远近，它具体通过欧几里得距离来量化。相对位置关系RD(i,j)定义为：
Figure BDA0003329718020000071
其中，i表示关节点Ji，j表示关节点Jj；
(xi,yi)和(xj,yj)分别表示关节点Ji和关节点Jj在同一时刻的位置坐标，满足i,j＝0,1,…,14和i≠j的条件；dis_shoulder表示同一时刻下该行人左肩关节点J5与右肩关节点J2之间的距离的一半，即半肩宽；
(4b)角度关系：肢体
Figure BDA0003329718020000072
与肢体
Figure BDA0003329718020000073
之间的夹角
Figure BDA0003329718020000074
定义为：
Figure BDA0003329718020000075
其中，(xi,yi)、(xj,yj)、(xe,ye)、(xf,yf)分别表示关节点Ji、Jj、Je、Jf在同一时刻的位置坐标；
(4c)相对速度关系：速度作为运动的一项重要指标，它能够为行人的动作识别提供关键的动态信息，通常采用关节点在
Figure BDA0003329718020000076
时间内的平均速度来作为关节点在t时刻的瞬时速度。行人关节点Ji的运动轨迹Li为：
Li＝{(xi,0,yi,0),…,(xi,t-1,yi,t-1),(xi,t,yi,t)}
其中，(xi,t,yi,t)为关节点Ji在t时刻的位置坐标；
关节点Ji在t时刻的瞬时速度
Figure BDA0003329718020000077
为：
Figure BDA0003329718020000078
采用计算相对距离关系时所使用的方法，将得到瞬时速度
Figure BDA0003329718020000079
除以该行人在t时刻的半肩宽dis_shouldert，将其转为相对值，记为vi,t：
Figure BDA00033297180200000710
关节点Ji在t时刻沿着脊椎方向
Figure BDA00033297180200000711
的相对速度Vi,t为：
Figure BDA00033297180200000712
进一步的，根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(5)中的行人的类别分为四类，分别是正常状态、跳跃状态、下蹲状态和过渡态。正常状态下的行人四肢处于相对放松、自然的状态，标记为“0”；跳跃状态下的行人具有双臂伸开、下肢的关节点快速上移等特点，标记为“1”；下蹲状态的行人整体处于一个蜷缩状态，标记为“2”；过渡态行人既具有正常状态的部分特点，又具有非正常状态(跳跃或下蹲)的部分特点，即使是人眼，有时都无法对其状态进行准确地判定，标记为“3”。
进一步的，根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(5)所述的单帧的行为检测模型为随机森林模型。
进一步的，根据权利要求7所述的随机森林模型，是建立在决策树基础上的并行集成学习方法，其通过对多个独立决策树分类结果的投票来进行最终的决策，随机森林的随机主要两个方面，一是随机样本组合，二是随机特征集合；随机森林算法通过从训练样本中随机选择一定数目的特征集合和一定数目的样本组合作为训练子集，保证各个决策树所使用的训练数据有所差异，但相互也有交叠。这种随机性也使得随机森林具有了更强的泛化能力。
进一步的，根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(6)所述的时间序列曲线，是利用人体姿态估计和行人跟踪获取行人的骨架序列，将人体骨架序列中的每一个人体骨架作为逃票行为检测模型的输入，可以得到该行人状态随时间变化情况，即关于行人状态的时间序列曲线。
进一步的，根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(6)中根据该曲线检测逃票行为是否发生，其步骤如下：
(6a)对时间序列进行独热码编码。独热码，是用n位的二进制码来表示n种状态，并且在任意时刻只有一位有效，即只有一位的值为1，其余位为0；
假设行人状态的识别结果，即关于行人状态的时间序列为
Figure BDA0003329718020000081
Figure BDA0003329718020000082
其中T表示该行人的时间序列长度，
Figure BDA0003329718020000083
表示t时刻模型的预测结果；行人状态有3种，则
Figure BDA0003329718020000084
的取值为：
Figure BDA0003329718020000085
由于行人状态有3种，最少可以使用2位的独热码来表示行人的状态。则t时刻模型的预测结果
Figure BDA0003329718020000086
用独热码表示为
Figure BDA0003329718020000087
其中
Figure BDA0003329718020000088
和
Figure BDA0003329718020000089
的定义如下：
Figure BDA0003329718020000091
Figure BDA0003329718020000092
通过以上独热码编码方法，关于行人状态的时间序列Y(pred)变成了两条时间序列O1和O2；
Figure BDA0003329718020000093
(6b)对编码后的时间序列进行卡尔曼滤波。卡尔曼滤波器包含预测和更新两部分工作，其中预测部分的定义如下：
Figure BDA0003329718020000094
其中，A表示状态转移矩阵，设为1，
Figure BDA0003329718020000095
表示t-1时刻的最优估计值，B表示表示可选的控制输入u的增益，ut-1表示t-1时刻的控制增益，
Figure BDA0003329718020000096
表示t时刻的预测值；Pt-1表示t-1时刻的后验估计协方差，Q为预测噪声的协方差矩阵，Pt′表示t时刻的先验估计协方；
卡尔曼滤波器更新部分的定义如下：
Figure BDA0003329718020000097
其中，H为测量矩阵，Kt为卡尔曼增益，R为观测噪声的协方差矩阵；yt为t时刻的观测值，
Figure BDA0003329718020000098
为t时刻的最优估计值；I为单位矩阵，Pt表示t时刻的后验估计协方差；；
利用卡尔曼滤波算法对时间序列O1和O2进行处理，得到时间序列O_kf1和O_kf2；
Figure BDA0003329718020000099
(6c)对滤波后的时间序列进行阈值分割；通过设置阈值的方法将O_kf1和O_kf2进行离散化处理，具体方法如下：
Figure BDA00033297180200000910
其中，o_kft为t时刻经过卡尔曼滤波器得到的最优估计值，o_tht为t时刻最优估计值经过阈值分割后得到的结果，o_threshold为阈值；
通过以上阈值分割方法得到离散变量类型的时间序列O_th1和O_th2，记为：
Figure BDA0003329718020000101
(6d)对分割后的时间序列进行独热码逆变换；按照定义的独热码编码规则对O_th1和O_th2进行逆变换，即可得到行人状态时间序列为Y(pred)经过卡尔曼滤波其处理后的结果
Figure BDA0003329718020000102
其具体转换规则如下：
Figure BDA0003329718020000103
其中，
Figure BDA0003329718020000104
表示经过卡尔曼滤波器处理后的t时刻行人状态。
本发明的有益效果在于：
(1)提出一种跳跃式和自主式逃票行为识别方法，解决人工识别逃票行为的不足；
(2)克服着装和复杂背景的干扰；
(3)充分利用时空特征，规避了基于单帧骨架信息的逃票行为检测模型造成的误判。
附图说明
为了更清楚的说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明技术方案跳跃式及下蹲式逃票行为识别方法的流程图；
图2是根据本发明实施例的OpenPose BODY_25人体骨架模型的示意图；
图3是根据本发明实施例的基于PoseFlow算法的行人跟踪流程图；
图4是根据本发明实施例的正常状态、下蹲状态、跳跃状态和过渡态的数据标定结果示意图；
图5是根据本发明实施例的行人姿态特征重要度排序结果(前30)；
图6是基于时间序列的行人状态识别流程图；
图7是时间序列经过卡尔曼滤波等处理后的结果。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚。完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下，所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”“第二”“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明提供了一种跳跃式及下蹲式逃票行为识别方法，如图1所示，该流程包括以下步骤：
(1)获取地铁闸机入口所在位置的监控视频，转化成图像帧；
(2)利用人体关键点检测算法对每一帧图像进行检测，获得每一帧图像的人体骨架数据；
(3)利用多目标跟踪算法对连续多帧图像中的行人进行多目标跟踪，得到每一个行人的人体骨架序列；
(4)对步骤(3)中人体骨架序列的某一时刻的骨架数据，进行特征提取；
(5)搭建单帧行为的检测模型，将步骤(4)获得的人体骨架特征输入检测模型，得到行人的动作类别；
(6)将步骤(3)中的骨架序列的每一时刻的骨架数据以此重复步骤(4)到(5)，得到每一个时刻的动作类别与时间的序列曲线，依据该曲线检测逃票行为是否发生。
通过以上步骤，基于所采集的地铁闸机逃票行为视频数据，上述步骤能够实现复杂环境、多人交互、样本稀缺的情况下，准确识别行人状态，保证地铁站的稳定秩序和乘客的人身安全。
下面结合图2至图7对本发明的步骤(1)至步骤(6)的可选实施例进行详细说明。
步骤(2)中所述的利用OpenPose算法的BODY_25人体骨架模型对人体关键点进行检测并对肢体进行连接和分组，获得人体骨架数据，具体步骤为；
(2a)：第一阶段网络产生一组检测置信度图S1＝ρ1(F)和一组关节仿射场图
Figure BDA0003329718020000121
其中ρ1和
Figure BDA0003329718020000122
分别为第一阶段的CNN结构，之后的每一个阶段的输入都来自前一个阶段的预测结果和原始图像特征F，产生更精确的预测结果；
(2b)：根据预测置信图得到离散的候选关节点集，其公式如下：
Figure BDA0003329718020000123
其中，
Figure BDA0003329718020000124
表示第j类关节点的第m个关节点的位置，j表示关节点类别；
(2c)：定义所有候选关节点的连线集合，其公式如下：
Figure BDA0003329718020000125
其中，
候选关节点
Figure BDA0003329718020000126
表示第j1类关节点的第m个关节点的位置；
候选关节点
Figure BDA0003329718020000127
表示第j2类关节点的第n个关节点的位置；
Figure BDA0003329718020000128
表示候选关节点
Figure BDA0003329718020000129
和候选关节点
Figure BDA00033297180200001210
之间是否有线连接，
Figure BDA00033297180200001211
表示两者有线连接，
Figure BDA00033297180200001212
表示两者之间没有连接；
(2d)：单独考虑肢体c所有对应的两个候选关节点j1和j2，通过匈牙利算法对总亲和值最高的图匹配方式最优问题进行求解，获得最优匹配，总亲和度最大的优化问题如下：
Figure BDA00033297180200001213
Figure BDA00033297180200001214
Figure BDA00033297180200001215
其中，
Ec表示亲和值，c表示人类各肢体；
Emn表示候选关节点
Figure BDA00033297180200001216
和候选关节点
Figure BDA00033297180200001217
之间的亲和度；
(2e)：对多人进行全身姿态估计时，对K分图分配问题进行求解，将享有相同身体部分的链接组装成人体的全身姿态，其公式如下：
Figure BDA0003329718020000131
其中，E表示亲和值，c表示人类各肢体，C表示人类个数；
(2f)：设置规则对得到的人体骨架数据进行清洗，其公式如下：
Figure BDA0003329718020000132
其中，
Figure BDA0003329718020000133
表示对应人体骨架数据的有效性；
Figure BDA0003329718020000134
表示第t帧图像中第i个行人的人体姿态估计结果中关节点置信度大于0.2的关节点个数；
numJ为关节点个数阈值。
图2是OpenPose BODY_25人体骨架模型的示意图。
步骤(3)所述的利用Pose Flow算法对行人进行多目标跟踪，获取人体骨架序列，具体步骤为：
(3a)建立行人候选集，每个行人在候选集中包括以下属性：行人检测框位置信息、行人检检测框置信度、关节点位置信息、关节点置信度、行人编号以及最后出现时刻；
(3b)基于人体骨架姿态数据的特征提取。
(3b1)定义行人之间的检测框交并比IOUbox，公式如下：
Figure BDA0003329718020000135
其中，
A和B分别为两个行人检测框所在区域；
(3b2)定义行人之间关节点检测框交并比IOUpose_box，具体计算流程如下：以关节点为中心，构建边长为l的正方形作为该关节点的检测框；计算两行人对应关节点的关节点检测框交并比
Figure BDA0003329718020000136
其中i＝0,1,…,24；对得到的25个关节点检测框交并比计算结果，按照关节点检测结果的置信度进行由大到小的排序，置信度为0的对应的元素直接剔除；将排序后的前num个关节点检测框交并比的平均值作为行人C1和行人P1之间关节点检测框交并比IOUpose_box。
(3b3)定义行人之间的检测框特征点交并比ORBbox，公式如下：
Figure BDA0003329718020000141
其中，
KpA表示检测框A中的ORB特征点集合，KpB表示检测框B中的ORB特征点集合，KpA∩KpB表示检测框A与检测框B中成功匹配的ORB特征点集合，num(KpA∩KpB)表示集合KpA∩KpB中的特征点个数；
(3b4)定义行人之间关节点检测框特征点交并比ORBpose_box，计算流程如下：以关节点为中心，构建边长为l的正方形作为该关节点的检测框；计算两行人对应关节点的关节点检测框特征点交并比
Figure BDA0003329718020000142
其中i＝0,1,…,24；对得到的25个关节点检测框的特征点交并比计算结果，按照关节点检测结果的置信度进行由大到小的排序，置信度为0的对应的元素直接剔除；将排序后的前num个关节点检测框的特征点交并比的平均值作为行人之间关节点检测框的特征点交并比ORBpose_box。
(3c)设置行人匹配评价指标S，其公式如下：
Figure BDA0003329718020000143
其中，
w1、w2、w3、w4依次为特征IOUbox、IOUpose_box、ORBbox、ORBpose_box的权重；
(3d)行人匹配，采用匈牙利算法依据代价矩阵对当前帧检测到的行人与行人候选集中的行人进行匹配，基于所有行人匹配指标S最大的匹配原则对当前帧中的行人和行人候选集中的行人进行匹配。
假设当前帧中有M个行人，行人候选集中有N个行人，当前帧中的行人Ci与行人候选集中的行人Pj的匹配指标为sij，则可以得到行人匹配指标矩阵S：
Figure BDA0003329718020000144
用kij表示当前帧中的行人Ci与行人候选集中的行人Pj的匹配状态，进而可以得到行人匹配状态矩阵K，矩阵K同样也包含M行N列。其中，kij的赋值规则如下：
Figure BDA0003329718020000151
行人匹配问题转化为以下优化问题：
Figure BDA0003329718020000152
Figure BDA0003329718020000153
通过匈牙利算法对以上模型进行求解可以得到行人匹配状态矩阵K，即可得到当前帧中的行人与行人候选集中的行人匹配结果。
(3e)行人候选集更新，内容主要分为以下三部分：
(3e1)若行人候选集中的行人与当前帧中的行人匹配成功，则用当前帧中的行人信息替换行人候选集中对应的行人信息。例如，在上面的例子中，当前帧中的行人C1与行人候选集中的行人P1匹配成功，则用行人C1的行人检测框位置信息、行人检检测框置信度、关节点位置信息等属性替换行人P1相应的属性；
(3e2)若行人候选集中存在一个行人Px没有与当前帧中的行人匹配成功，此时，又可以分成两种情况：①行人Px长时间没有匹配成功，比如说行人Px已经连续100帧或5s没有更新状态，这时，该行人可能已经离开相机的监控区域，所以应该将该行人从行人候选集中移除；②行人Px只是短时间内没有匹配成功，可能是由于目标检测算法的原因，只是当前帧没有检测到该行人，这时，应维持行人Px的属性保持不变；
(3e3)若当前帧存在一个行人Cx没有与行人候选集中的行人匹配成功，此时，可能是由于该行人第一次进入相机的监控区域，行人候选集中没有该人的信息。因此，需要将该行人加入到行人候选集中，且其行人编号为未加入前行人候选集中的最大行人编号+1。
图3是基于PoseFlow算法的行人跟踪流程图。
本发明中，步骤(4)所定义的相对距离关系、角度关系和相对速度关系三种姿势特征，具体为：
(4a)相对距离关系。距离关系是用来描述人体骨架中任意一对关节点在空间上的远近，它具体通过欧几里得距离来量化。相对位置关系RD(i,j)定义为：
Figure BDA0003329718020000161
其中，i表示关节点Ji，j表示关节点Jj；
(xi,yi)和(xj,yj)分别表示关节点Ji和关节点Jj在同一时刻的位置坐标，满足i,j＝0,1,…,14和i≠j的条件；dis_shoulder表示同一时刻下该行人左肩关节点J5与右肩关节点J2之间的距离的一半，即半肩宽。
(4b)夹角关系。肢体
Figure BDA0003329718020000162
与肢体
Figure BDA0003329718020000163
之间的夹角
Figure BDA0003329718020000164
定义为：
Figure BDA0003329718020000165
其中，(xi,yi)、(xj,yj)、(xe,ye)、(xf,yf)分别表示关节点Ji、Jj、Je、Jf在同一时刻的位置坐标。
(4c)相对速度。速度作为运动的一项重要指标，它能够为行人的动作识别提供关键的动态信息，通常采用关节点在
Figure BDA0003329718020000166
时间内的平均速度来作为关节点在t时刻的瞬时速度。行人关节点Ji的运动轨迹Li为：
Li＝{(xi,0,yi,0),…,(xi,t-1,yi,t-1),(xi,t,yi,t)}
其中，(xi,t,yi,t)为关节点Ji在t时刻的位置坐标。
关节点Ji在t时刻的瞬时速度
Figure BDA0003329718020000167
为：
Figure BDA0003329718020000168
采用计算相对距离关系时所使用的方法，将得到瞬时速度
Figure BDA0003329718020000169
除以该行人在t时刻的半肩宽dis_shouldert，将其转为相对值，记为vi，t：
Figure BDA00033297180200001610
在地铁站逃票行为检测中，这里主要区分跳跃式逃票和下蹲式逃票。在跳跃式逃票行为中，行人会有一段沿着脊椎向上的加速运动；而在下蹲式逃票行为中，行人会有一段沿着脊椎向下的加速运动。在这个场景下，计算行人沿着脊椎方向的速度会更有实际意义。则关节点Ji在t时刻沿着脊椎方向
Figure BDA00033297180200001611
的相对速度Vi,t为：
Figure BDA00033297180200001612
本发明中，将行人的状态分为四类，分别是正常状态、跳跃状态、下蹲状态和过渡态。正常状态下的行人四肢处于相对放松、自然的状态，标记为“0”；跳跃状态下的行人具有双臂伸开、下肢的关节点快速上移等特点，标记为“1”；下蹲状态的行人整体处于一个蜷缩状态，标记为“2”；过渡态行人既具有正常状态的部分特点，又具有非正常状态(跳跃或下蹲)的部分特点，即使是人眼，有时都无法对其状态进行准确地判定，标记为“3”，标定为过渡态的数据不会参与后续的模型训练。
图4是正常状态、下蹲状态、跳跃状态和过渡态的数据标定结果示意图。
本发明中，步骤(5)所述的基于机器学习的跳跃式及下蹲式逃票行为检测模型为随机森林模型。
本发明中，对行人姿态特征重要度排序，采用“基尼指数”(Gini index)来作为决策树选择划分属性的标准，则数据集D的纯度用基尼指数表示如下：
Figure BDA0003329718020000171
其中，pk表示数据集D中第k类样本所占的比例(k＝1,2,…,|y|)。
一般来说，Gini(D)反映了从数据集D中随机抽取两个样本，其类别不一致的概率。所以，Gini(D)越小，数据集的D的纯度越高。
假设有m个特征，记为{x1,x2,…,xm}。用特征xj在决策树节点t分枝前后基尼指数变化量来表示其在决策树的节点t上的重要度，记为
Figure BDA0003329718020000172
Figure BDA0003329718020000173
其中，Ginit表示节点t的基尼指数，Ginil和Ginir分别表示节点t分枝后两个新节点的基尼指数。
特征xj在决策树i中出现的节点构成集合T，那么xj在第i颗树的重要性为：
Figure BDA0003329718020000174
若随机森林模型中有n颗决策树，则特征xj在该随机森林中的重要度为：
Figure BDA0003329718020000175
对该结果进行归一化处理后，特征xj在该随机森林中的重要度为：
Figure BDA0003329718020000181
图5是行人姿态特征重要度的前30排序结果。
本发明中，基于时间序列的行人状态识别，其步骤如下：
(6a)对时间序列进行独热码编码。独热码，是用n位的二进制码来表示n种状态，并且在任意时刻只有一位有效，即只有一位的值为1，其余位为0。
假设行人状态的识别结果，即关于行人状态的时间序列为
Figure BDA0003329718020000182
Figure BDA0003329718020000183
其中T表示该行人的时间序列长度，
Figure BDA0003329718020000184
表示t时刻模型的预测结果。本文中，行人状态有3种，则
Figure BDA0003329718020000185
的取值为：
Figure BDA0003329718020000186
由于行人状态有3种，最少可以使用2位的独热码来表示行人的状态。则t时刻模型的预测结果
Figure BDA0003329718020000187
用独热码表示为
Figure BDA0003329718020000188
其中
Figure BDA0003329718020000189
和
Figure BDA00033297180200001810
的定义如下：
Figure BDA00033297180200001811
Figure BDA00033297180200001812
通过以上独热码编码方法，关于行人状态的时间序列Y(pred)变成了两条时间序列O1和O2。
Figure BDA00033297180200001813
(6b)对编码后的时间序列进行卡尔曼滤波。卡尔曼滤波器包含预测和更新两部分工作，其中预测部分的定义如下：
Figure BDA00033297180200001814
其中，A表示状态转移矩阵，设为1，
Figure BDA00033297180200001815
表示t-1时刻的最优估计值，B表示表示可选的控制输入u的增益，ut-1表示t-1时刻的控制增益，
Figure BDA00033297180200001816
表示t时刻的预测值；Pt-1表示t-1时刻的后验估计协方差，Q为预测噪声的协方差矩阵，Pt′表示t时刻的先验估计协方差。
卡尔曼滤波器更新部分的定义如下：
Figure BDA0003329718020000191
其中，H为测量矩阵，Kt为卡尔曼增益，R为观测噪声的协方差矩阵；yt为t时刻的观测值，
Figure BDA0003329718020000192
为t时刻的最优估计值；I为单位矩阵，Pt表示t时刻的后验估计协方差。
利用卡尔曼滤波算法对4.4.1中得到时间序列O1和O2进行处理，得到时间序列O_kf1和O_kf2。
Figure BDA0003329718020000193
(6c)对滤波后的时间序列进行阈值分割。通过设置阈值的方法将O_kf1和O_kf2进行离散化处理，具体方法如下：
Figure BDA0003329718020000194
其中，o_kft为t时刻经过卡尔曼滤波器得到的最优估计值，o_tht为t时刻最优估计值经过阈值分割后得到的结果，o_threshold为阈值，本文在这里设置为0.5。
通过以上阈值分割方法得到离散变量类型的时间序列O_th1和O_th2，记为：
Figure BDA0003329718020000195
(6d)对分割后的时间序列进行独热码逆变换。按照定义的独热码编码规则对O_th1和O_th2进行逆变换，即可得到行人状态时间序列为Y(pred)经过卡尔曼滤波其处理后的结果
Figure BDA0003329718020000196
其具体转换规则如下：
Figure BDA0003329718020000197
其中，
Figure BDA0003329718020000198
表示经过卡尔曼滤波器处理后的t时刻行人状态。
图6是基于时间序列的行人状态识别流程图。
图7是时间序列经过卡尔曼滤波等处理后的结果。
经过所述步骤的处理，即可成功对地铁站的跳跃式及下蹲式逃票行为进行准确的识别和检测。
在本领域可知，地铁站逃票等异常行为时有发生，威胁乘客的安全和地铁站的运营秩序。而地铁站装有大量监控摄像头，能实现对地铁站全方位、无死角、全时段的监控。利用人力对监控视频中的异常行为进行识别常常存在误判和漏判的情况。按照本发明方法所述的跳跃式及下蹲式逃票识别方法，能够利用人工智能对下蹲式逃票行为和跳跃式逃票行为进行自动识别和检测，保证地铁站的运营秩序和乘客自身的安全。
本领域内的技术人员应该明白，本发明的实施例可提供为方法。系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种跳跃式及下蹲式逃票行为识别方法，其特征在于，包括以下步骤：
(1)获取地铁闸机入口所在位置的监控视频，转化成图像帧；
(2)利用人体关键点检测算法对每一帧图像进行检测，获得每一帧图像的人体骨架数据；
(3)利用多目标跟踪算法对连续多帧图像中的行人进行多目标跟踪，得到每一个行人的人体骨架序列；
(4)对步骤(3)中人体骨架序列的某一时刻的骨架数据，进行特征提取；
(5)搭建单帧行为的检测模型，将步骤(4)获得的人体骨架特征输入检测模型，得到行人的动作类别；
(6)将步骤(3)中的骨架序列的每一时刻的骨架数据以此重复步骤(4)到(5)，得到每一个时刻的动作类别与时间的序列曲线，依据该曲线检测逃票行为是否发生。
2.根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(2)中所述的人体关键点检测算法为OpenPose算法，(为已有算法)具体步骤为；
(2a)：第一阶段网络产生一组检测置信度图S1＝ρ1(F)和一组关节仿射场图
Figure FDA0003329718010000011
其中ρ1和
Figure FDA0003329718010000012
分别为第一阶段的CNN结构，之后的每一个阶段的输入都来自前一个阶段的预测结果和原始图像特征F，产生更精确的预测结果；
(2b)：根据预测置信图得到离散的候选关节点集，其公式如下：
Figure FDA0003329718010000013
其中，
Figure FDA0003329718010000014
表示第j类关节点的第m个关节点的位置，j表示关节点类别；
(2c)：定义所有候选关节点的连线集合，其公式如下：
Figure FDA0003329718010000015
其中，
候选关节点
Figure FDA0003329718010000016
表示第j1类关节点的第m个关节点的位置；
候选关节点
Figure FDA0003329718010000017
表示第j2类关节点的第n个关节点的位置；
Figure FDA0003329718010000018
表示候选关节点
Figure FDA0003329718010000019
和候选关节点
Figure FDA00033297180100000110
之间是否有线连接，
Figure FDA00033297180100000111
表示两者有线连接，
Figure FDA0003329718010000021
表示两者之间没有连接；
(2d)：单独考虑肢体c所有对应的两个候选关节点j1和j2，通过匈牙利算法对总亲和值最高的图匹配方式最优问题进行求解，获得最优匹配，总亲和度最大的优化问题如下：
Figure FDA0003329718010000022
Figure FDA0003329718010000023
Figure FDA0003329718010000024
其中，
Ec表示亲和值，c表示人类各肢体；
Emn表示候选关节点
Figure FDA0003329718010000025
和候选关节点
Figure FDA0003329718010000026
之间的亲和度；
(2e)：对多人进行全身姿态估计时，对K分图分配问题进行求解，将享有相同身体部分的链接组装成人体的全身姿态，其公式如下：
Figure FDA0003329718010000027
其中，E表示亲和值，c表示人类各肢体，C表示人类个数；
(2f)：设置规则对得到的人体骨架数据进行清洗，其公式如下：
Figure FDA0003329718010000028
其中，
Figure FDA0003329718010000029
表示对应人体骨架数据的有效性；
Figure FDA00033297180100000210
表示第t帧图像中第i个行人的人体姿态估计结果中关节点置信度大于0.2的关节点个数；
numJ为关节点个数阈值。
3.根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(2)所述的OpenPose算法使用BODY_25人体骨架模型对人体关键点进行检测并对肢体进行连接和分组，获得人体骨架数据。
4.根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(3)所述的多目标跟踪算法为Pose Flow算法，具体步骤为：
(3a)建立行人候选集，每个行人在候选集中包括以下属性：行人检测框位置信息、行人检检测框置信度、关节点位置信息、关节点置信度、行人编号以及最后出现时刻；
(3b)基于人体姿态数据的特征提取；
(3b1)定义行人之间的检测框交并比IOUbox，公式如下：
Figure FDA0003329718010000031
其中，
A和B分别为两个行人检测框所在区域；
(3b2)定义行人之间关节点检测框交并比IOUpose_box，具体计算流程如下：以关节点为中心，构建边长为l的正方形作为该关节点的检测框；计算两行人对应关节点的关节点检测框交并比
Figure FDA0003329718010000032
其中i＝0，1，…，24；对得到的25个关节点检测框交并比计算结果，按照关节点检测结果的置信度进行由大到小的排序，置信度为0的对应的元素直接剔除；将排序后的前num个关节点检测框交并比的平均值作为行人C1和行人P1之间关节点检测框交并比IOUpose_box；
(3b3)定义行人之间的检测框特征点交并比ORBbox，公式如下：
Figure FDA0003329718010000033
其中，
KpA表示检测框A中的ORB特征点集合，KpB表示检测框B中的ORB特征点集合，KpA∩KpB表示检测框A与检测框B中成功匹配的ORB特征点集合，num(KpA∩KpB)表示集合KpA∩KpB中的特征点个数；
(3b4)定义行人之间关节点检测框特征点交并比ORBpose_box，计算流程如下：以关节点为中心，构建边长为l的正方形作为该关节点的检测框；计算两行人对应关节点的关节点检测框特征点交并比
Figure FDA0003329718010000034
其中i＝0，1，…，24；对得到的25个关节点检测框的特征点交并比计算结果，按照关节点检测结果的置信度进行由大到小的排序，置信度为0的对应的元素直接剔除；将排序后的前num个关节点检测框的特征点交并比的平均值作为行人之间关节点检测框的特征点交并比ORBpose_box；
(3c)设置行人匹配评价指标S，其公式如下：
Figure FDA0003329718010000041
其中，
w1、w2、w3、w4依次为特征IOUbox、IOUpose_box、ORBbox、ORBpose_box的权重；
(3d)行人匹配，采用匈牙利算法依据代价矩阵对当前帧检测到的行人与行人候选集中的行人进行匹配，基于所有行人匹配指标S最大的匹配原则对当前帧中的行人和行人候选集中的行人进行匹配；
假设当前帧中有M个行人，行人候选集中有N个行人，当前帧中的行人Ci与行人候选集中的行人Pj的匹配指标为sij，则得到行人匹配指标矩阵S：
Figure FDA0003329718010000042
用kij表示当前帧中的行人Ci与行人候选集中的行人Pj的匹配状态，进而得到行人匹配状态矩阵K，矩阵K同样也包含M行N列；其中，kij的赋值规则如下：
Figure FDA0003329718010000043
行人匹配问题转化为以下优化问题：
Figure FDA0003329718010000044
Figure FDA0003329718010000045
i＝1，…，M j＝1，…，N
通过匈牙利算法对以上模型进行求解得到行人匹配状态矩阵K，即得到当前帧中的行人与行人候选集中的行人匹配结果；
(3e)行人候选集更新，内容分为以下三部分：
(3e1)若行人候选集中的行人与当前帧中的行人匹配成功，则用当前帧中的行人信息替换行人候选集中对应的行人信息；
(3e2)若行人候选集中存在一个行人Px没有与当前帧中的行人匹配成功，此时，又分成两种情况：①行人Px长时间没有匹配成功，将该行人从行人候选集中移除；②行人Px短时间内没有匹配成功，维持行人Px的属性保持不变；
(3e3)若当前帧存在一个行人Cx没有与行人候选集中的行人匹配成功，将该行人加入到行人候选集中，且其行人编号为未加入前行人候选集中的最大行人编号+1。
5.根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(4)的特征为相对距离关系、角度关系和相对速度关系三种特征，具体为：(4a)相对距离关系：距离关系是用来描述人体骨架中任意一对关节点在空间上的远近，它具体通过欧几里得距离来量化；相对位置关系RD(i，j)定义为：
Figure FDA0003329718010000051
其中，i表示关节点Ji，j表示关节点Jj；
(xi，yi)和(xj，yj)分别表示关节点Ji和关节点Jj在同一时刻的位置坐标，满足i，j＝0，1，…，14和i≠j的条件；dis_shoulder表示同一时刻下该行人左肩关节点J5与右肩关节点J2之间的距离的一半，即半肩宽；
(4b)角度关系：肢体
Figure FDA0003329718010000052
与肢体
Figure FDA0003329718010000053
之间的夹角
Figure FDA0003329718010000054
定义为：
Figure FDA0003329718010000055
其中，(xi，yi)、(xj，yj)、(xe，ye)、(xf，yf)分别表示关节点Ji、Jj、Je、Jf在同一时刻的位置坐标；
(4c)相对速度关系：速度作为运动的一项重要指标，它能够为行人的动作识别提供关键的动态信息，采用关节点在
Figure FDA0003329718010000056
时间内的平均速度来作为关节点在t时刻的瞬时速度；行人关节点Ji的运动轨迹Li为：
Li＝{(xi，0，yi，0)，…，(xi，t-1，yi，t-1)，(xi，t，yi，t)}
其中，(xi，t，yi，t)为关节点Ji在t时刻的位置坐标；
关节点Ji在t时刻的瞬时速度
Figure FDA0003329718010000057
为：
Figure FDA0003329718010000058
采用计算相对距离关系时所使用的方法，将得到瞬时速度
Figure FDA0003329718010000059
除以该行人在t时刻的半肩宽dis_shouldert，将其转为相对值，记为vi，t：
Figure FDA00033297180100000510
关节点Ji在t时刻沿着脊椎方向
Figure FDA0003329718010000061
的相对速度Vi，t为：
Figure FDA0003329718010000062
6.根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(5)中 的行人的类别分为四类，分别是正常状态、跳跃状态、下蹲状态和过渡态；正常状态下的行人四肢处于相对放松、自然的状态，标记为“0”；跳跃状态下的行人具有双臂伸开、下肢的关节点快速上移等特点，标记为“1”；下蹲状态的行人整体处于一个蜷缩状态，标记为“2”；过渡态行人既具有正常状态的部分特点，又具有非正常状态(跳跃或下蹲)的部分特点，即使是人眼，有时都无法对其状态进行准确地判定，标记为“3”。
7.根据权利要求1或者6所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(5)所述的单帧的行为检测模型为随机森林模型。
8.根据权利要求7所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，所述的随机森林模型，是建立在决策树基础上的并行集成学习方法，其通过对多个独立决策树分类结果的投票来进行最终的决策，随机森林的随机两个方面，一是随机样本组合，二是随机特征集合；随机森林算法通过从训练样本中随机选择一定数目的特征集合和一定数目的样本组合作为训练子集，保证各个决策树所使用的训练数据有所差异，相互有交叠。
9.根据权利要求1所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(6)所述的时间序列曲线，是利用人体姿态估计和行人跟踪获取行人的骨架序列，将人体骨架序列中的每一个人体骨架作为逃票行为检测模型的输入，得到该行人状态随时间变化情况，即关于行人状态的时间序列曲线。
10.根据权利要求1或者9所述的跳跃式及下蹲式逃票行为识别方法，其特征在于，步骤(6)中根据该曲线检测逃票行为是否发生，其步骤如下：
(6a)对时间序列进行独热码编码；独热码，是用n位的二进制码来表示n种状态，并且在任意时刻只有一位有效，即只有一位的值为1，其余位为0；
假设行人状态的识别结果，即关于行人状态的时间序列为
Figure FDA0003329718010000063
Figure FDA0003329718010000064
其中T表示该行人的时间序列长度，
Figure FDA0003329718010000065
表示t时刻模型的预测结果；行人状态有3种，则
Figure FDA0003329718010000066
的取值为：
Figure FDA0003329718010000071
由于行人状态有3种，最少使用2位的独热码来表示行人的状态；则t时刻模型的预测结果
Figure FDA0003329718010000072
用独热码表示为
Figure FDA0003329718010000073
其中
Figure FDA0003329718010000074
和
Figure FDA0003329718010000075
的定义如下：
Figure FDA0003329718010000076
Figure FDA0003329718010000077
通过以上独热码编码方法，关于行人状态的时间序列Y(pred)变成了两条时间序列O1和O2；
Figure FDA0003329718010000078
(6b)对编码后的时间序列进行卡尔曼滤波；卡尔曼滤波器包含预测和更新两部分工作，其中预测部分的定义如下：
Figure FDA0003329718010000079
其中，A表示状态转移矩阵，设为1，
Figure FDA00033297180100000710
表示t-1时刻的最优估计值，B表示表示可选的控制输入u的增益，ut-1表示t-1时刻的控制增益，
Figure FDA00033297180100000711
表示t时刻的预测值；Pt-1表示t-1时刻的后验估计协方差，Q为预测噪声的协方差矩阵，P′t表示t时刻的先验估计协方；
卡尔曼滤波器更新部分的定义如下：
Figure FDA00033297180100000712
其中，H为测量矩阵，Kt为卡尔曼增益，R为观测噪声的协方差矩阵；yt为t时刻的观测值，
Figure FDA00033297180100000713
为t时刻的最优估计值；I为单位矩阵，Pt表示t时刻的后验估计协方差；
利用卡尔曼滤波算法对时间序列O1和O2进行处理，得到时间序列O_kf1和O_kf2；
Figure FDA00033297180100000714
(6c)对滤波后的时间序列进行阈值分割；通过设置阈值的方法将O_kf1和O_kf2进行离散化处理，具体方法如下：
Figure FDA0003329718010000081
其中，o_kft为t时刻经过卡尔曼滤波器得到的最优估计值，o_tht为t时刻最优估计值经过阈值分割后得到的结果，o_threshold为阈值；
通过以上阈值分割方法得到离散变量类型的时间序列O_th1和O_th2，记为：
Figure FDA0003329718010000082
(6d)对分割后的时间序列进行独热码逆变换；按照定义的独热码编码规则对O_th1和O_th2进行逆变换，即得到行人状态时间序列为Y(pred)经过卡尔曼滤波其处理后的结果
Figure FDA0003329718010000083
其具体转换规则如下：
Figure FDA0003329718010000084
其中，
Figure FDA0003329718010000085
表示经过卡尔曼滤波器处理后的t时刻行人状态。
CN202111276839.4A 2021-10-29 2021-10-29 一种跳跃式及下蹲式逃票行为识别方法 Pending CN114038056A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111276839.4A CN114038056A (zh) 2021-10-29 2021-10-29 一种跳跃式及下蹲式逃票行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111276839.4A CN114038056A (zh) 2021-10-29 2021-10-29 一种跳跃式及下蹲式逃票行为识别方法

Publications (1)

Publication Number Publication Date
CN114038056A true CN114038056A (zh) 2022-02-11

Family

ID=80142599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111276839.4A Pending CN114038056A (zh) 2021-10-29 2021-10-29 一种跳跃式及下蹲式逃票行为识别方法

Country Status (1)

Country Link
CN (1) CN114038056A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115050055A (zh) * 2022-07-06 2022-09-13 电子科技大学 一种基于卡尔曼滤波的人体骨架序列构建方法
CN117036407A (zh) * 2023-08-11 2023-11-10 浙江深象智能科技有限公司 多目标跟踪方法、装置及设备
CN117830306A (zh) * 2024-03-04 2024-04-05 苏州宣雄智能科技有限公司 基于全息图的产品标签图像检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115050055A (zh) * 2022-07-06 2022-09-13 电子科技大学 一种基于卡尔曼滤波的人体骨架序列构建方法
CN115050055B (zh) * 2022-07-06 2024-04-30 电子科技大学 一种基于卡尔曼滤波的人体骨架序列构建方法
CN117036407A (zh) * 2023-08-11 2023-11-10 浙江深象智能科技有限公司 多目标跟踪方法、装置及设备
CN117036407B (zh) * 2023-08-11 2024-04-02 浙江深象智能科技有限公司 多目标跟踪方法、装置及设备
CN117830306A (zh) * 2024-03-04 2024-04-05 苏州宣雄智能科技有限公司 基于全息图的产品标签图像检测方法
CN117830306B (zh) * 2024-03-04 2024-05-03 苏州宣雄智能科技有限公司 基于全息图的产品标签图像检测方法

Similar Documents

Publication Publication Date Title
US11188783B2 (en) Reverse neural network for object re-identification
Colque et al. Histograms of optical flow orientation and magnitude and entropy to detect anomalous events in videos
CN114038056A (zh) 一种跳跃式及下蹲式逃票行为识别方法
CN110084151B (zh) 基于非局部网络深度学习的视频异常行为判别方法
Nia et al. Building damage assessment using deep learning and ground-level image data
CN109154976A (zh) 通过机器学习训练对象分类器的系统和方法
US9569531B2 (en) System and method for multi-agent event detection and recognition
CN109583315B (zh) 一种面向智能视频监控的多通道快速人体姿态识别方法
CN104915655A (zh) 一种多路监控视频的管理方法与设备
CN109829382B (zh) 基于行为特征智能分析的异常目标预警追踪系统及方法
Piciarelli et al. Surveillance-oriented event detection in video streams
CN109325546A (zh) 一种结合步法特征的成趟足迹识别方法
CN111738218A (zh) 人体异常行为识别系统及方法
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN112733819B (zh) 一种基于深度学习图像处理的多模式安保监测方法
de Oliveira Silva et al. Human action recognition based on a two-stream convolutional network classifier
CN115546260A (zh) 目标识别跟踪方法、装置、电子设备及存储介质
Bordoloi et al. Suspicious activity detection from videos using yolov3
Ali et al. Deep Learning Algorithms for Human Fighting Action Recognition.
Rezaee et al. Deep-Transfer-learning-based abnormal behavior recognition using internet of drones for crowded scenes
Ovhal et al. Analysis of anomaly detection techniques in video surveillance
CN111950507B (zh) 数据处理和模型训练方法、装置、设备及介质
CN109711232A (zh) 基于多目标函数的深度学习行人重识别方法
CN114943873B (zh) 一种工地人员异常行为分类方法及装置
CN115294519A (zh) 一种基于轻量化网络的异常事件检测及预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination