CN113111733B - 一种基于姿态流的打架行为识别方法 - Google Patents

一种基于姿态流的打架行为识别方法 Download PDF

Info

Publication number
CN113111733B
CN113111733B CN202110313404.6A CN202110313404A CN113111733B CN 113111733 B CN113111733 B CN 113111733B CN 202110313404 A CN202110313404 A CN 202110313404A CN 113111733 B CN113111733 B CN 113111733B
Authority
CN
China
Prior art keywords
human
image
frame
key point
shaped
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110313404.6A
Other languages
English (en)
Other versions
CN113111733A (zh
Inventor
李静
尚伟艺
王荣秋
李朝辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huawei Mingtian Software Technology Co ltd
Original Assignee
Guangzhou Huawei Mingtian Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huawei Mingtian Software Technology Co ltd filed Critical Guangzhou Huawei Mingtian Software Technology Co ltd
Priority to CN202110313404.6A priority Critical patent/CN113111733B/zh
Publication of CN113111733A publication Critical patent/CN113111733A/zh
Application granted granted Critical
Publication of CN113111733B publication Critical patent/CN113111733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

一种基于姿态流的打架行为识别方法,通过7个步骤对打架行为进行智能识别。该基于姿态流的打架行为识别方法首先采用基于深度学习的人体关键点检测算法得到人体关键点序列，结合传统图像算法对人体进行跟踪，通过对视频流连续帧中的人体姿态队列进行逻辑分析，判断是否存在打架行为。该基于姿态流的打架行为识别方法能够避免因单帧图像误检导致的误报或者漏报，而且本发明的识别方法无需再收集样本训练打架模型，从而能更高效地识别打架行为。

Description

一种基于姿态流的打架行为识别方法
技术领域
本发明涉及公共安全管理技术领域，特别涉及一种基于姿态流的打架行为识别方法。
背景技术
为了高效应对公共安全事故，及时处理突发事件，降低犯罪率，各个城市的管理者都加大平安城市建设力度。打架是属于扰乱公共秩序的一种行为，打架斗殴有可能涉嫌犯聚众斗殴罪或寻衅滋事罪。
目前对一些公共场所的安全监控，例如工地、小区、学校、监狱，一般通过设置多个监控系统，人工长时间对监视画面进行监控，当画面出现异常，出现打架行为时通过报警装置进行报警来对此进行制止。这种方法，不仅带来了较大人工成本，而且当人员短暂离岗，或人员睡岗时，也会导致打架行为的漏报，带来极大的安全隐患。
因此，针对现有技术不足，提供一种基于姿态流的打架行为识别方法以解决现有技术不足甚为必要。
发明内容
本发明其中一个的目的在于避免现有技术的不足之处而提供一种基于姿态流的打架行为识别方法。该基于姿态流的打架行为识别方法通过降低人工视频监控的依赖，还能减少因人员离岗睡岗导致的安全隐患。
本发明的上述目的通过以下技术措施实现：
提供一种基于姿态流的打架行为识别方法,包括有如下步骤：
步骤一、实时采集区域内的视频流数据，并对视频流数据进行实时解析得到图像；
步骤二、根据关键点检测算法模型对步骤一通过实时解析得到的图像判断当前帧图像是否存在人员，存在人员的图像对应得到人体关键点信息，根据人体关键点信息及根据角点检测算法模型对图像进行跟踪，得到图像中人员对应的人形ID；
步骤三、计算当前帧与相邻前一帧的图像中同一人形ID的上肢关键点的变化，得到角度变化和；然后保存各人形ID的角度变化和，得到多帧图像的角度变化和队列；最后累计同一人形ID的角度变化和队列中的角度变化和，将该累计值定义为运动剧烈程度指标；
步骤四、判断在当前帧图像中是否存在两个以上人形ID，如是则进入步骤五，如否则返回步骤一；
步骤五、对当前帧图像中每两个人形ID进行交叠判断，当大于交叠阈值时进入步骤六，否则返回步骤一；
步骤六、判断两个人形ID在步骤三得到的运动剧烈程度指标的大小，当两个人形ID运动剧烈程度指标大于运动剧烈阈值时进入步骤七，否则返回步骤一；
步骤七、输出打架告警，并返回步骤一。
优选的，上述步骤二包括有：
步骤2.1、将步骤一通过实时解析得到的图像按时间先后依次排序，选择自起点方向起始图像，并将起始图像定义为图像t0；
步骤2.2、将图像t0输入关键点检测算法模型，判断是否存在人员，当没有存在人员时则进入步骤2.7，当图像中存在人员时对应得到人体关键点信息，将该图像定义为图像进入步骤2.3；
步骤2.3、计算图像t0中的每个人的人体关键点，并得到对应的关键点最大外接矩形及对应的关键点框，将关键点最大外接矩形定义为人形框；
步骤2.4、将图像t0输入角点检测算法模型得到角点位置信息，根据步骤2.3得到的人形框、关键点框得到人形框角点个数、关键点框角点个数，将图像t0中对应人员的人形框、关键点框、人形框角点个数和关键点框角点个数定义为该人员的人形信息；
步骤2.5、判断在缓存模块中是否有人形ID缓存，当没有缓存则将步骤2.4得到的人形信息，赋予人形ID并缓存至缓存模块，然后进入步骤2.7；如否则进入步骤2.6；
步骤2.6、将步骤2.4得到的人形信息分别与缓存模块中的各个历史人形ID进行人形信息对比，判断步骤2.4得到的人形信息是否与任一历史人形ID的人形信息对应，如是则将该对应历史人形ID的人形信息更新为步骤2.4得到的人形信息，并缓存至缓存模块然后进入步骤2.7；如否则将步骤2.4得到的人形信息更新为新的人形ID，并缓存至缓存模块然后进入步骤2.7；
步骤2.7、判断图像t0是否存在相邻的下一帧图像，当存在时，进入步骤2.8；当不存在时，返回步骤一；
步骤2.8、将与图像t0相邻的下一帧图像定义为图像t1,进入步骤2.9；
步骤2.9、令图像t1为图像t0，返回步骤2.2。
优选的，上述步骤2.3具体为计算图像t0得到图像中的每个人的人体关键点，得到对应的关键点最大外接矩形并将该关键点最大外接矩形定义为人形框，同时以人体关键点为中心进行扩展，得到m*m像素矩形框的关键点框，m为正数。
优选的，上述步骤2.6包括：
2.4得到的人形信息的人形框计算交叠率，得到人形框交叠率；
步骤2.6.2、分别将缓存模块中的各个历史人形ID中人形信息的关键点框与步骤2.4得到的人形信息的关键点框计算交叠平均值，得到关键点框交叠平均值；
步骤2.6.3、分别将缓存模块中的各个历史人形ID中人形信息的人形框角点个数与步骤2.4得到的人形信息中的人形框角点个数计算比值，得到人形框角点个数比值；
步骤2.6.4、分别将缓存模块中的各个历史人形ID中人形信息的关键点框角点个数比值与步骤2.4得到的人形信息中的关键点框角点个数的比值计算平均值，得到关键点框角点个数比值平均值；
步骤2.6.5、根据步骤2.6.1得到的人形框交叠率，步骤2.6.2得到的关键点框交叠平均值，根据步骤2.6.3得到的人形框角点个数比值以及步骤2.6.4得到的关键点框角点个数比值平均值，通过式(Ⅰ)得到匹配分数G，
G＝α(T1+T2)+β(T3+T4)
……式(Ⅰ),
其中T1为人形框交叠率，T2为关键点框交叠平均值，T3为人形框角点个数比值，T4为关键点框角点个数比值平均值，α为人形框权重，β为角点权重；
步骤2.6.6、根据步骤2.6.5得到的匹配分数和最大匹配算法运对人形进行跟踪，如步骤2.4得到的人形信息与任一历史人形ID的人形信息对应，则将该对应历史人形ID的人形信息更新为步骤2.4得到的人形信息，并缓存至缓存模块然后进入步骤2.7；如步骤2.4得到的人形信息不与任一历史人形ID的人形信息对应，否则将步骤2.4得到的人形信息更新为新的人形ID，并缓存至缓存模块然后进入步骤2.7。
优选的，上述步骤三包括：
步骤3.1、分别计算当前的图像中同一人形ID的多个上肢人体关键点的连线向量
Figure BDA0002990188180000051
步骤3.2、分别计算与当前的图像相邻下一帧图像同一人形ID的多个上肢关键点连线向量
Figure BDA0002990188180000052
步骤3.3、分别根据步骤3.1得到的连线向量和步骤3.2得到的连线向量得到多个夹角变化值；
步骤3.4、将步骤3.3得到的多个夹角变化值相加得到相邻两帧角度变化和Δangle，并保存各人形ID的Δangle，得到多帧图像的角度变化和队列；
步骤3.5、累计同一人形ID的角度变化和队列中的角度变化和，将该累计值定义为运动剧烈程度指标。
优选的，上述上肢关键点连线为左肘与左肩连线、右肘与右肩连线、左腕与左肘连线和右腕与右肘连线。
优选的，上述夹角变化值angle通过式(Ⅱ)得到，
Figure BDA0002990188180000061
其中
Figure BDA0002990188180000062
为相邻两帧图像中相同关键点的平均置信度。
优选的，上述
Figure BDA0002990188180000063
通过式(Ⅲ)得到，
Figure BDA0002990188180000064
其中confa和confb分别为当前图像中上肢关键点两个关键点的置信度，confa′和confb′相邻下一帧图像中与当前图像相同上肢关键点的置信度。
优选的，上述步骤五包括有：
步骤5.1、判断在同一帧图像中是否存在两个以上人形ID，如是则进行步骤5.2，如否则返回步骤一；
步骤5.2、判断在同一图像中任意两个人形ID的人形框是否交叠，如是则进入步骤5.3，如否返回步骤一；
步骤5.3、判断两个人形ID的人形框的交叠率大小，当交叠率大于交叠阈值时进入步骤六，当交叠率小于等于交叠阈值时返回步骤一。
优选的，上述步骤一具体为实时将采集区域内的视频流数据，进行解析并每隔a秒选取一帧图像，且a为正数。
优选的，上述人体关键点位置为经进行索引编号后的人体骨骼点，且不同位置的人体骨骼点对应编号并不相同。
优选的，上述人体关键点检测模型的数据集为coco、MPII、crowdpose或者AIChallenger。
优选的，上述人体关键点检测模型为OpenPose模型、AlphaPose模型、或者卷积神经网络，其中卷积神经网络为hrnet卷积神经网络、resnet卷积神经网络或者vgg卷积神经网络。
优选的，上述人体关键点为人体骨骼关键14点、人体骨骼关键18点或者人体骨骼关键25点。
优选的，上述角点检测算法模型为surf模型、sift模型或者orb模型。
优选的，上述缓存模块对在t时间段内没有进行更新的历史人形ID进行删除，其中t大于0。
优选的，上述m为25。
优选的，上述运动剧烈阈值为30*π/180。
优选的，上述交叠阈值为0.2。
优选的，上述角度变化和队列的长度为20。
优选的，上述t为5秒。
本发明的一种基于姿态流的打架行为识别方法,通过7个步骤对打架行为进行智能识别。该基于姿态流的打架行为识别方法首先采用基于深度学习的人体关键点检测算法得到人体关键点序列，结合传统图像算法对人体进行跟踪，通过对视频流连续帧中的人体姿态队列进行逻辑分析，判断是否存在打架行为。该基于姿态流的打架行为识别方法能够避免因单帧图像误检导致的误报或者漏报，而且本发明的识别方法无需再收集样本训练打架模型，从而能更高效地识别打架行为。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
图1为一种基于姿态流的打架行为识别方法的流程图。
具体实施方式
结合以下实施例对本发明的技术方案作进一步说明。
实施例1。
一种基于姿态流的打架行为识别方法,如图1所示，步骤包括有：
步骤一、实时采集区域内的视频流数据，并对视频流数据进行实时解析得到图像；
步骤二、根据关键点检测算法模型对步骤一通过实时解析得到的图像判断当前帧图像是否存在人员，存在人员的图像对应得到人体关键点信息，根据人体关键点信息及根据角点检测算法模型对图像进行跟踪，得到图像中人员对应的人形ID；
步骤三、计算当前帧与相邻前一帧的图像中同一人形ID的上肢关键点的变化，得到角度变化和；然后保存各人形ID的角度变化和，得到多帧图像的角度变化和队列；最后累计同一人形ID的角度变化和队列中的角度变化和，将该累计值定义为运动剧烈程度指标；
步骤四、判断在当前帧图像中是否存在两个以上人形ID，如是则进入步骤五，如否则返回步骤一；
步骤五、对当前帧图像中每两个人形ID进行交叠判断，当大于交叠阈值时进入步骤六，否则返回步骤一；
步骤六、判断两个人形ID在步骤三得到的运动剧烈程度指标的大小，当两个人形ID运动剧烈程度指标大于运动剧烈阈值时进入步骤七，否则返回步骤一；
步骤七、输出打架告警，并返回步骤一。
本发明的步骤二包括有：
步骤2.1、将步骤一通过实时解析得到的图像按时间先后依次排序，选择自起点方向起始图像，并将起始图像定义为图像t0；
步骤2.2、将图像t0输入关键点检测算法模型，判断是否存在人员，当没有存在人员时则进入步骤2.7，当图像中存在人员时对应得到人体关键点信息，将该图像定义为图像进入步骤2.3；
步骤2.3、计算图像t0中的每个人的人体关键点，并得到对应的关键点最大外接矩形及对应的关键点框，将关键点最大外接矩形定义为人形框；
步骤2.4、将图像t0输入角点检测算法模型得到角点位置信息，根据步骤2.3得到的人形框、关键点框得到人形框角点个数、关键点框角点个数，将图像t0中对应人员的人形框、关键点框、人形框角点个数和关键点框角点个数定义为该人员的人形信息；
步骤2.5、判断在缓存模块中是否有人形ID缓存，当没有缓存则将步骤2.4得到的人形信息，赋予人形ID并缓存至缓存模块，然后进入步骤2.7；如否则进入步骤2.6；
步骤2.6、将步骤2.4得到的人形信息分别与缓存模块中的各个历史人形ID进行人形信息对比，判断步骤2.4得到的人形信息是否与任一历史人形ID的人形信息对应，如是则将该对应历史人形ID的人形信息更新为步骤2.4得到的人形信息，并缓存至缓存模块然后进入步骤2.7；如否则将步骤2.4得到的人形信息更新为新的人形ID，并缓存至缓存模块然后进入步骤2.7；
步骤2.7、判断图像t0是否存在相邻的下一帧图像，当存在时，进入步骤2.8；当不存在时，返回步骤一；
步骤2.8、将与图像t0相邻的下一帧图像定义为图像t1,进入步骤2.9；
步骤2.9、令图像t1为图像t0，返回步骤2.2。
本发明的步骤一具体为实时将采集区域内的视频流数据，进行解析并每隔a秒选取一帧图像，且a为正数，本实施例的a为5。
需要说明的是每隔a秒选取一帧图像，能有效地减少机器计算，从而节省运算消耗和时间。
本发明的步骤2.3具体为计算图像t0得到图像中的每个人的人体关键点，得到对应的关键点最大外接矩形并将该关键点最大外接矩形定义为人形框，同时以人体关键点为中心进行扩展，得到m*m像素矩形框的关键点框，m为正数且m为25。
本发明的步骤2.6包括：
步骤2.6.1、分别将缓存模块中各个历史人形ID的人形框与步骤2.4得到的人形信息的人形框计算交叠率，得到人形框交叠率；
步骤2.6.2、分别将缓存模块中的各个历史人形ID中人形信息的关键点框与步骤2.4得到的人形信息的关键点框计算交叠平均值，得到关键点框交叠平均值；
步骤2.6.3、分别将缓存模块中的各个历史人形ID中人形信息的人形框角点个数与步骤2.4得到的人形信息中的人形框角点个数计算比值，得到人形框角点个数比值；
步骤2.6.4、分别将缓存模块中的各个历史人形ID中人形信息的关键点框角点个数比值与步骤2.4得到的人形信息中的关键点框角点个数的比值计算平均值，得到关键点框角点个数比值平均值；
步骤2.6.5、根据步骤2.6.1得到的人形框交叠率，步骤2.6.2得到的关键点框交叠平均值，根据步骤2.6.3得到的人形框角点个数比值以及步骤2.6.4得到的关键点框角点个数比值平均值，通过式(Ⅰ)得到匹配分数G，
G＝α(T1+T2)+β(T3+T4)
……式(Ⅰ),
其中T1为人形框交叠率，T2为关键点框交叠平均值，T3为人形框角点个数比值，T4为关键点框角点个数比值平均值，α为人形框权重，β为角点权重；
步骤2.6.6、根据步骤2.6.5得到的匹配分数和最大匹配算法运对人形进行跟踪，如步骤2.4得到的人形信息与任一历史人形ID的人形信息对应，则将该对应历史人形ID的人形信息更新为步骤2.4得到的人形信息，并缓存至缓存模块然后进入步骤2.7；如步骤2.4得到的人形信息不与任一历史人形ID的人形信息对应，否则将步骤2.4得到的人形信息更新为新的人形ID，并缓存至缓存模块然后进入步骤2.7。
本发明的步骤三包括：
步骤3.1、分别计算当前的图像中同一人形ID的多个上肢人体关键点的连线向量
Figure BDA0002990188180000121
具体的上肢关键点连线为左肘与左肩连线、右肘与右肩连线、左腕与左肘连线和右腕与右肘连线。
将左肘的关键点坐标定义为(x1，y1)，置信度为conf1；
将右肘的关键点坐标定义为(x2，y2)，置信度为conf2；
将左肩的关键点坐标定义为(x3，y3)，置信度为conf3；
将右肩的关键点坐标定义为(x4，y4)，置信度为conf4；
将左腕的关键点坐标定义为(x5，y5)，置信度为conf5；
将右腕的关键点坐标定义为(x6，y6)，置信度为conf6；
那么左肘与左肩连线向量
Figure BDA0002990188180000131
Figure BDA0002990188180000132
右肘与右肩连线向量
Figure BDA0002990188180000133
Figure BDA0002990188180000134
左腕与左肘连线向量
Figure BDA0002990188180000135
Figure BDA0002990188180000136
右腕与右肘连线向量
Figure BDA0002990188180000137
Figure BDA0002990188180000138
步骤3.2、分别计算与当前的图像相邻下一帧图像同一人形ID的多个上肢关键点连线向量
Figure BDA0002990188180000139
将左肘的关键点坐标定义为(x1’，y1’)，置信度为conf1′；
将右肘的关键点坐标定义为(x2’，y2’)，置信度为conf2′；
将左肩的关键点坐标定义为(x3’，y3’)，置信度为conf3′；
将右肩的关键点坐标定义为(x4’，y4’)，置信度为conf4′；
将左腕的关键点坐标定义为(x5’，y5’)，置信度为conf5′；
将右腕的关键点坐标定义为(x6’，y6’)，置信度为conf6′；
那么左肘与左肩连线向量
Figure BDA00029901881800001310
Figure BDA00029901881800001311
右肘与右肩连线向量
Figure BDA00029901881800001312
Figure BDA00029901881800001313
左腕与左肘连线向量
Figure BDA00029901881800001314
Figure BDA00029901881800001315
右腕与右肘连线向量
Figure BDA00029901881800001316
Figure BDA00029901881800001317
步骤3.3、分别根据步骤3.1得到的连线向量和步骤3.2得到的连线向量得到多个夹角变化值。
其中夹角变化值angle通过式(Ⅱ)得到，
Figure BDA0002990188180000141
其中
Figure BDA0002990188180000142
为相邻两帧图像中相同关键点的平均置信度。
Figure BDA0002990188180000143
通过式(Ⅲ)得到，
Figure BDA0002990188180000144
其中confa和confb分别为当前图像中上肢关键点两个关键点的置信度，confa′和confb′相邻下一帧图像中与当前图像相同上肢关键点的置信度。
具体地，对于左肘与左肩连线来说，相邻两帧图像中相同关键点的平均置信度
Figure BDA0002990188180000145
对于右肘与右肩连线来说，相邻两帧图像中相同关键点的平均置信度
Figure BDA0002990188180000146
对于左腕与左肘连线，相邻两帧图像中相同关键点的平均置信度
Figure BDA0002990188180000147
对于右腕与右肘连线，相邻两帧图像`中相同关键点的平均置信度
Figure BDA0002990188180000148
在相邻两帧图像中左肘与左肩连线夹角变化值
Figure BDA0002990188180000149
Figure BDA00029901881800001410
在相邻两帧图像中右肘与右肩连线夹角变化值
Figure BDA00029901881800001411
Figure BDA00029901881800001412
在相邻两帧图像中左腕与左肘连线夹角变化值
Figure BDA00029901881800001413
Figure BDA00029901881800001414
在相邻两帧图像中右腕与右肘连线夹角变化值
Figure BDA00029901881800001415
Figure BDA0002990188180000151
步骤3.4、将步骤3.3得到的多个夹角变化值相加得到相邻两帧角度变化和Δangle，并保存各人形ID的Δangle，得到多帧图像的角度变化和队列；
步骤3.5、累计同一人形ID的角度变化和队列中的角度变化和，将该累计值定义为运动剧烈程度指标，例如存在连续三帧图像，顺序依次为图像1、图像2和图像3，图像1和图像2的角度变化和Δangle1，图像2和图像3的角度变化和Δangle2，那么运动剧烈程度指标为Δangle1与Δangle2之和。
需要说明的是，本发明的角度变化和队列的长度为20。
本发明的步骤五包括有：
步骤5.1、判断在同一帧图像中是否存在两个以上人形ID，如是则进行步骤5.2，如否则返回步骤一；
步骤5.2、判断在同一图像中任意两个人形ID的人形框是否交叠，如是则进入步骤5.3，如否返回步骤一；
步骤5.3、判断两个人形ID的人形框的交叠率大小，当交叠率大于交叠阈值时进入步骤六，当交叠率小于等于交叠阈值时返回步骤一，其中交叠阈值为0.2。
本发明的人体关键点位置为经进行索引编号后的人体骨骼点，且不同位置的人体骨骼点对应编号并不相同。本发明的人体关键点为人体骨骼关键14点、人体骨骼关键18点或者人体骨骼关键25点。
本实施例人体关键点为人体骨骼关键18点，具体为为鼻子、脖子、右肩、右肘、右腕、左肩、左肘、左腕、右胯、右膝盖、右脚踝、左胯、左膝盖、左脚踝、右眼、左眼、右耳和左耳。且本实施例的人体骨骼关键18点与编号的索引如下表：
编号 人体骨骼点 编号 人体骨骼点 编号 人体骨骼点
0 鼻子 6 左肘 12 左膝盖
1 脖子 7 左腕 13 左脚踝
2 右肩 8 右胯 14 右眼
3 脖子 9 右膝盖 15 左眼
4 右腕 10 右脚踝 16 右耳
5 左肩 11 左胯 17 左耳
本发明的人体关键点检测模型的数据集为coco、MPII、crowdpose或者AIChallenger，本实施例具体使用的人体关键点检测模型数据集为coco。
本发明的人体关键点检测模型为OpenPose模型、AlphaPose模型、或者卷积神经网络，其中卷积神经网络为hrnet卷积神经网络、resnet卷积神经网络或者vgg卷积神经网络；其中OpenPose模型为自下而上的算法模型，AlphaPose模型为自上而下的算法模型。本实施例具体使用的人体关键点检测模型为OpenPose模型。
本发明通过人体关键点检测模型检测人体关键点信息具体操作如下：首先对图像进行特征提取，输出第一支路和第二支路；然后根据第一支路和第二支路并基于匈牙利算法将同一人的人体关键点连接，得到同一人员的人体关键点位置信息的骨架图。其中第一支路为不同部位的关键点热图，且关键点热图为不同骨骼关节区域出现人体关键点的置信度。第二支路为不同连接关节点的向量附近区域置信度。
本发明的缓存模块对在t时间段内没有进行更新的历史人形ID进行删除，其中t大于0，其中t为5秒。且缓存模块对长时间未进行更新历史人形ID进行删除能降低缓存模块的数据量。
本发明的角点检测算法模型为surf模型、sift模型或者orb模型。本实施例具体使用的角点检测算法模型为surf模型。
需要说明的是，本发明的OpenPose模型、AlphaPose模型、hrnet卷积神经网络、resnet卷积神经网络、vgg卷积神经网络、surf模型、sift模型或者orb模型都为本领域技术公知常识，只要将对应数据或者图像输入上述的模型或者卷积神经网络就能得到对应的数据信息，因此在此不再一一累述具体设置与操作过程。
需要说明的是，本发明的缓存模块存储有历史人形ID，且历史人形ID代表为不同人员的人形信息，每个人形ID具有人形框、关键点框、人形框角点个数和关键点框角点个数。
该基于姿态流的打架行为识别方法首先采用基于深度学习的人体关键点检测算法得到人体关键点序列，结合传统图像算法对人体进行跟踪，通过对视频流连续帧中的人体姿态队列进行逻辑分析，判断是否存在打架行为。该基于姿态流的打架行为识别方法能够避免因单帧图像误检导致的误报或者漏报，而且本发明的识别方法无需再收集样本训练打架模型，从而能更高效地识别打架行为。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (9)

1.一种基于姿态流的打架行为识别方法,其特征在于，包括有如下步骤：
步骤一、实时采集区域内的视频流数据，并对视频流数据进行实时解析得到图像；
步骤二、根据关键点检测算法模型对步骤一通过实时解析得到的图像判断当前帧图像是否存在人员，存在人员的图像对应得到人体关键点信息，根据人体关键点信息及根据角点检测算法模型对图像进行跟踪，得到图像中人员对应的人形ID；
步骤三、计算当前帧与相邻前一帧的图像中同一人形ID的上肢关键点的变化，得到角度变化和；然后保存各人形ID的角度变化和，得到多帧图像的角度变化和队列；最后累计同一人形ID的角度变化和队列中的角度变化和，将该累计值定义为运动剧烈程度指标；
步骤四、判断在当前帧图像中是否存在两个以上人形ID，如是则进入步骤五，如否则返回步骤一；
步骤五、对当前帧图像中每两个人形ID进行交叠判断，当大于交叠阈值时进入步骤六，否则返回步骤一；
步骤六、判断两个人形ID在步骤三得到的运动剧烈程度指标的大小，当两个人形ID运动剧烈程度指标大于运动剧烈阈值时进入步骤七，否则返回步骤一；
步骤七、输出打架告警，并返回步骤一；
所述步骤二包括有：
步骤2.1、将步骤一通过实时解析得到的图像按时间先后依次排序，选择自起点方向起始图像，并将起始图像定义为图像t0；
步骤2.2、将图像t0输入关键点检测算法模型，判断是否存在人员，当没有存在人员时则进入步骤2.7，当图像中存在人员时对应得到人体关键点信息，将该图像定义为图像进入步骤2.3；
步骤2.3、计算图像t0中的每个人的人体关键点，并得到对应的关键点最大外接矩形及对应的关键点框，将关键点最大外接矩形定义为人形框；
步骤2.4、将图像t0输入角点检测算法模型得到角点位置信息，根据步骤2.3得到的人形框、关键点框得到人形框角点个数、关键点框角点个数，将图像t0中对应人员的人形框、关键点框、人形框角点个数和关键点框角点个数定义为该人员的人形信息；
步骤2.5、判断在缓存模块中是否有人形ID缓存，当没有缓存则将步骤2.4得到的人形信息，赋予人形ID并缓存至缓存模块，然后进入步骤2.7；如否则进入步骤2.6；
步骤2.6、将步骤2.4得到的人形信息分别与缓存模块中的各个历史人形ID进行人形信息对比，判断步骤2.4得到的人形信息是否与任一历史人形ID的人形信息对应，如是则将该对应历史人形ID的人形信息更新为步骤2.4得到的人形信息，并缓存至缓存模块然后进入步骤2.7；如否则将步骤2.4得到的人形信息更新为新的人形ID，并缓存至缓存模块然后进入步骤2.7；
步骤2.7、判断图像t0是否存在相邻的下一帧图像，当存在时，进入步骤2.8；当不存在时，返回步骤一；
步骤2.8、将与图像t0相邻的下一帧图像定义为图像t1,进入步骤2.9；
步骤2.9、令图像t1为图像t0，返回步骤2.2。
2.根据权利要求1所述的基于姿态流的打架行为识别方法,其特征在于：所述步骤2.3具体为计算图像t0得到图像中的每个人的人体关键点，得到对应的关键点最大外接矩形并将该关键点最大外接矩形定义为人形框，同时以人体关键点为中心进行扩展，得到m*m像素矩形框的关键点框，m为正数。
3.根据权利要求2所述的基于姿态流的打架行为识别方法,其特征在于，所述步骤2.6包括：
步骤2.6.1、分别将缓存模块中各个历史人形ID的人形框与步骤2.4得到的人形信息的人形框计算交叠率，得到人形框交叠率；
步骤2.6.2、分别将缓存模块中的各个历史人形ID中人形信息的关键点框与步骤2.4得到的人形信息的关键点框计算交叠平均值，得到关键点框交叠平均值；
步骤2.6.3、分别将缓存模块中的各个历史人形ID中人形信息的人形框角点个数与步骤2.4得到的人形信息中的人形框角点个数计算比值，得到人形框角点个数比值；
步骤2.6.4、分别将缓存模块中的各个历史人形ID中人形信息的关键点框角点个数比值与步骤2.4得到的人形信息中的关键点框角点个数的比值计算平均值，得到关键点框角点个数比值平均值；
步骤2.6.5、根据步骤2.6.1得到的人形框交叠率，步骤2.6.2得到的关键点框交叠平均值，根据步骤2.6.3得到的人形框角点个数比值以及步骤2.6.4得到的关键点框角点个数比值平均值，通过式(Ⅰ)得到匹配分数G，
G＝α(T1+T2)+β(T3+T4)
……式(Ⅰ),
其中T1为人形框交叠率，T2为关键点框交叠平均值，T3为人形框角点个数比值，T4为关键点框角点个数比值平均值，α为人形框权重，β为角点权重；
步骤2.6.6、根据步骤2.6.5得到的匹配分数和最大匹配算法运对人形进行跟踪，如步骤2.4得到的人形信息与任一历史人形ID的人形信息对应，则将该对应历史人形ID的人形信息更新为步骤2.4得到的人形信息，并缓存至缓存模块然后进入步骤2.7；如步骤2.4得到的人形信息不与任一历史人形ID的人形信息对应，否则将步骤2.4得到的人形信息更新为新的人形ID，并缓存至缓存模块然后进入步骤2.7。
4.根据权利要求3所述的基于姿态流的打架行为识别方法,其特征在于，所述步骤三包括：
步骤3.1、分别计算当前的图像中同一人形ID的多个上肢人体关键点的连线向量
Figure FDA0003802202710000041
步骤3.2、分别计算与当前的图像相邻下一帧图像同一人形ID的多个上肢关键点连线向量
Figure FDA0003802202710000051
步骤3.3、分别根据步骤3.1得到的连线向量和步骤3.2得到的连线向量得到多个夹角变化值；
步骤3.4、将步骤3.3得到的多个夹角变化值相加得到相邻两帧角度变化和Δangle，并保存各人形ID的Δangle，得到多帧图像的角度变化和队列；
步骤3.5、累计同一人形ID的角度变化和队列中的角度变化和，将该累计值定义为运动剧烈程度指标。
5.根据权利要求4所述的基于姿态流的打架行为识别方法,其特征在于：所述上肢关键点连线为左肘与左肩连线、右肘与右肩连线、左腕与左肘连线和右腕与右肘连线；
所述夹角变化值angle通过式(Ⅱ)得到，
Figure FDA0003802202710000052
其中
Figure FDA0003802202710000053
为相邻两帧图像中相同关键点的平均置信度；
所述
Figure FDA0003802202710000054
通过式(Ⅲ)得到，
Figure FDA0003802202710000055
其中confa和confb分别为当前图像中上肢关键点两个关键点的置信度，confa′和confb′相邻下一帧图像中与当前图像相同上肢关键点的置信度。
6.根据权利要求5所述的基于姿态流的打架行为识别方法,其特征在于：所述步骤五包括有：
步骤5.1、判断在同一帧图像中是否存在两个以上人形ID，如是则进行步骤5.2，如否则返回步骤一；
步骤5.2、判断在同一图像中任意两个人形ID的人形框是否交叠，如是则进入步骤5.3，如否返回步骤一；
步骤5.3、判断两个人形ID的人形框的交叠率大小，当交叠率大于交叠阈值时进入步骤六，当交叠率小于等于交叠阈值时返回步骤一。
7.根据权利要求6所述的基于姿态流的打架行为识别方法,其特征在于：所述步骤一具体为实时将采集区域内的视频流数据，进行解析并每隔a秒选取一帧图像，且a为正数。
8.根据权利要求7所述的基于姿态流的打架行为识别方法,其特征在于：所述人体关键点位置为经进行索引编号后的人体骨骼点，且不同位置的人体骨骼点对应编号并不相同；
所述人体关键点检测模型的数据集为coco、MPII、crowdpose或者AIChallenger；
所述人体关键点检测模型为OpenPose模型、AlphaPose模型、或者卷积神经网络，其中卷积神经网络为hrnet卷积神经网络、resnet卷积神经网络或者vgg卷积神经网络；
所述人体关键点为人体骨骼关键14点、人体骨骼关键18点或者人体骨骼关键25点；
所述角点检测算法模型为surf模型、sift模型或者orb模型；
所述缓存模块对在t时间段内没有进行更新的历史人形ID进行删除，其中t大于0。
9.根据权利要求8所述的基于姿态流的打架行为识别方法,其特征在于：所述m为25；
所述运动剧烈阈值为30*π/180；
所述交叠阈值为0.2；
所述角度变化和队列的长度为20；
所述t为5秒。
CN202110313404.6A 2021-03-24 2021-03-24 一种基于姿态流的打架行为识别方法 Active CN113111733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110313404.6A CN113111733B (zh) 2021-03-24 2021-03-24 一种基于姿态流的打架行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110313404.6A CN113111733B (zh) 2021-03-24 2021-03-24 一种基于姿态流的打架行为识别方法

Publications (2)

Publication Number Publication Date
CN113111733A CN113111733A (zh) 2021-07-13
CN113111733B true CN113111733B (zh) 2022-09-30

Family

ID=76710663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110313404.6A Active CN113111733B (zh) 2021-03-24 2021-03-24 一种基于姿态流的打架行为识别方法

Country Status (1)

Country Link
CN (1) CN113111733B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627403B (zh) * 2021-10-12 2022-03-08 深圳市安软慧视科技有限公司 一种选图推图方法、系统及相关设备
CN114783059B (zh) * 2022-04-20 2022-10-25 浙江东昊信息工程有限公司 一种基于深度相机的寺庙香客参拜管理方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339389B2 (en) * 2014-09-03 2019-07-02 Sharp Laboratories Of America, Inc. Methods and systems for vision-based motion estimation
CN109614882A (zh) * 2018-11-19 2019-04-12 浙江大学 一种基于人体姿态估计的暴力行为检测系统及方法
CN110427811A (zh) * 2019-06-21 2019-11-08 武汉倍特威视系统有限公司 基于视频流数据的人体骨骼化打架识别方法
CN110490148A (zh) * 2019-08-22 2019-11-22 四川自由健信息科技有限公司 一种打架斗殴行为的识别方法

Also Published As

Publication number Publication date
CN113111733A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110110613B (zh) 一种基于动作识别的轨道交通异常人员检测方法
WO2020177498A1 (zh) 一种基于姿态估计的非侵入式人体热舒适检测方法及系统
CN111144263A (zh) 一种建筑工人高坠事故预警方法及装置
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN107451568A (zh) 使用深度卷积神经网络的姿态检测方法及设备
CN113111733B (zh) 一种基于姿态流的打架行为识别方法
CN109298785A (zh) 一种监测设备的人机联控系统及方法
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
CN107463887A (zh) 列车驾驶员手势智能检查系统及智能检查方法
CN107358163A (zh) 基于人脸识别的游客线路跟踪统计方法、电子设备及存储介质
CN111783702A (zh) 一种基于图像增强算法和人体关键点定位的高效行人摔倒检测方法
CN110533011B (zh) 发放传单行为的检测方法及检测系统
CN113569766B (zh) 一种面向无人机巡逻的行人异常行为检测方法
CN114937293A (zh) 基于gis的农业服务管理方法及系统
CN114581990A (zh) 一种跑步智能测试方法以及装置
CN104392201B (zh) 一种基于全向视觉的人体跌倒识别方法
CN113537019A (zh) 基于关键点识别变电站人员安全帽佩戴的检测方法
CN116229507A (zh) 人体姿态检测方法及系统
CN113408435B (zh) 一种安全监控方法、装置、设备和存储介质
CN114758286B (zh) 基于工作票事件的边缘智能安全监测方法和装置
CN116453058A (zh) 基于深度学习和数字分身的居家老人行为监测方法及系统
CN115731563A (zh) 一种远距离监控人员倒地识别方法
CN113743380B (zh) 一种基于视频图像动态监测的主动跟踪方法
CN116246299A (zh) 一种结合目标检测和姿态识别技术的“低头族”智能识别系统
CN115169673A (zh) 一种智慧校园疫情风险监测与预警系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant