CN111062356B - 一种从监控视频自动识别人体动作异常的方法 - Google Patents
一种从监控视频自动识别人体动作异常的方法 Download PDFInfo
- Publication number
- CN111062356B CN111062356B CN201911364679.1A CN201911364679A CN111062356B CN 111062356 B CN111062356 B CN 111062356B CN 201911364679 A CN201911364679 A CN 201911364679A CN 111062356 B CN111062356 B CN 111062356B
- Authority
- CN
- China
- Prior art keywords
- vector
- identified
- list
- key point
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 11
- 239000013598 vector Substances 0.000 claims abstract description 133
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000003064 k means clustering Methods 0.000 claims abstract description 4
- 210000003414 extremity Anatomy 0.000 claims description 39
- 210000004394 hip joint Anatomy 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 18
- 210000000689 upper leg Anatomy 0.000 claims description 17
- 210000000707 wrist Anatomy 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 14
- 230000006399 behavior Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 12
- 210000002310 elbow joint Anatomy 0.000 claims description 10
- 210000000629 knee joint Anatomy 0.000 claims description 10
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 9
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 8
- 210000000245 forearm Anatomy 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims description 6
- 244000309466 calf Species 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 210000003857 wrist joint Anatomy 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract 1
- 238000009954 braiding Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 208000013403 hyperactivity Diseases 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 208000015802 attention deficit-hyperactivity disease Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011985 exploratory data analysis Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000013016 learning Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Probability & Statistics with Applications (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种从监控视频自动识别人体动作异常的方法。首先通过环形搭建的摄像头网络采集监控视频，然后通过单人姿态估计模块提取人体骨骼关键点坐标序列，并通过软件如Python封装的计算向量的类得到关键点向量实例列表，再计算四肢向量的投影和方向角，最后将构造的特征融合向量通过K均值聚类方法识别异常人体动作。本发明具有识别人体姿态，动作行为异常的功能。
Description
技术领域
本发明涉及生物特征识别技术领域，尤其涉及一种从监控视频自动识别人体动作异常的方法。
背景技术
随着硬件技术的发展，监控摄像头已经无处不在，大到广场、银行、学校等公共场所，小到家庭居所的客厅、卧室等等，摄像头可以记录着人类生活的每个环节，面对监控行业前所未有的大数据，如何有效地管理和挖掘这些数据资源，使这些资源变成信息、知识，智能地帮助人们解决生活中遇到的问题，尽早发现异常征兆，以便提前预警和干预，通过分析、统计、判别人体的姿态行为影像，较早的发现异常行为特征，区分群体中单个人的异常行为。
注意力缺陷多动症(ADHD)是一种常见的儿童行为异常疾病，主要表现为注意力缺失(Primarily Inattentive)和多动/冲动(Primarily Hyperactive-Impulsive)等，采用范式的检测方式，常用的诊断依据是，如果在9个症状中出现6个以上就有ADHD嫌疑。这类患儿的智力正常或基本正常，但学习、行为及情绪方面有缺陷，主要表现为注意力不集中，注意短暂，活动过多，情绪易冲动，学习成绩普遍较差，在家庭及学校均难与人相处，日常生活中常常使家长和教师感到没有办法。多动症的患病率，国外报道在5％～10％之间，国内调查在10％以上，男孩多于女孩。
目前，视频中人体姿态、行为识别的深度学习方法相关研究，通常可分为单人人体骨骼关键点检测和多人人体骨骼关键点检测两类，多人检测又可分为自顶向下和自底向上两类。其中自顶向下的人体骨骼关节点定位算法主要包含两个步骤：人体检测及其关节点检测，即首先通过目标检测算法将每一个人从图像背景中识别出来，然后针对单个人做骨骼关节点检测；自底向上的方法逻辑上相反，由关节点检测和关节点聚类两个过程组成，即首先检测出图片中所有的人体骨骼关节点，然后将所有的关节点聚类成相应所属的个体。无论是单人人体骨骼关键点检测还是多人人体骨骼关键点检测，其输出结果都是关键点的空间位置信息，没有继续再对这些信息处理和分析。
发明内容
针对现有技术的不足，本发明以一种更接近人文方式，从非范式检测的手段出发，利用监控视频中人的行为统计信息进行判别，采用聚类分析法识别基于人体关键点检测的姿态异常，是一种探索性分析方法。
为实现上述技术效果，本发明提出了一种从监控视频自动识别人体动作异常的方法，包括区域多人姿态识别模型和人体肢体特征表示及其聚类算法两个部分，具体包括以下步骤：
步骤1：在待识别目标的监控范围内，以环形等角度θ间隔布置n个监控摄像头，用于多角度同时采集待识别目标的监控视频，其中定义监控范围内的待识别目标的个数为m；
步骤2：分别提取n个监控摄像头在同一时间段内的监控视频，并将提取到的n个监控视频依次通过目标检测算法得到n*m个单人区域框，定义通过n个监控摄像头分别得到的同一待识别目标的n个单人区域框为一组单人区域框组合，则m个待识别目标组成m个单人区域框组合；
步骤3：从每组单人区域框组合中选择宽高比值最大的单人区域框作为预处理区域框，将预处理区域框中对应的像素数据先输入到空间变换网络中进行变换，然后将变换后的像素数据输入到单人姿态估计模块中得到单人姿态数据，再将单人姿态数据输入到空间反变换网络中进行反变换，最后通过空间反变换网络输出所述预处理区域框中的人体关键点坐标序列，所述人体关键点坐标序列包括预处理区域框中的待识别目标的17个关键点信息，每个关键点信息是指每个关键点的横坐标值、纵坐标值和置信度，所述17个关键点包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘关节、右肘关节、左腕、右腕、左髋关节、右髋关节、左膝关节、右膝关节、左踝关节、右踝关节；
步骤4：定义一个列表作为每个待识别目标的坐标列表，将每个关键点的横坐标和纵坐标以坐标的形式进行组合得到每个关键点的坐标，然后将每个关键点的坐标按照预设关键点存储顺序存储在定义的坐标列表中；
步骤5：将计算向量投影的函数和计算向量夹角的函数封装为计算向量的类，将每个待识别目标的坐标列表通过封装的计算向量的类进行实例化，得到每个待识别目标的关键点向量实例列表；
步骤6：定义右肩指向左肩的向量为x轴方向，定义右肩与左肩线段的中点为A1，定义右髋关节与左髋关节线段的中点为A2，则人体躯干中轴线向量表示为由A1指向A2的向量并定义向量/>为y轴方向，以A1为坐标原点，将x轴、y轴做仿射变换后构成局部直角坐标系；
步骤7：重新定义一个列表作为每个待识别目标的四肢向量列表，通过每个待识别目标的关键点向量实例列表计算每个待识别目标的四肢向量，所述四肢向量包括左小臂向量、左大臂向量、左手腕与左髋关节连线的向量、左大腿向量、左小腿向量、右小臂向量、右大臂向量、右手腕与右髋关节连线的向量、右大腿向量、右小腿向量十个向量，将计算得到的四肢向量按照预设四肢向量存储顺序存储在定义的四肢向量列表中；
步骤8：重新定义一个列表作为每个待识别目标的投影列表，计算每个待识别目标的四肢向量列表中的每个向量相对于向量的投影数值，然后按照预设四肢向量存储顺序存储在定义的投影列表中；
步骤9：重新定义一个列表作为每个待识别目标的方向角列表，计算每个待识别目标的四肢向量列表中的每个向量相对于向量的方向角，然后按照预设四肢向量存储顺序存储在定义的方向角列表中；
步骤10：将局部直角坐标系以y轴负方向为起点，沿逆时针方向或者顺时针方向将局部直角坐标系等分为s个分区，对每个分区进行编码；
步骤11：重新定义一个列表作为每个待识别目标的方向角编码列表，将四肢向量列表中的每个向量相对于局部直角坐标系y轴的方位角按照所在分区的编码进行编码，然后按照预设四肢向量存储顺序存储在定义的方向角编码列表中；
步骤12：将每个待识别目标的投影列表和方向角编码列表进行合并，构造为每个待识别目标的特征融合向量；
步骤13：将m个待识别目标的特征融合向量组合在一起，并做标准化处理，然后采用K＝2的K均值聚类进行分类，得到包含0和1两类的聚类结果，用于区分正常行为和异常行为，所述正常行为用聚类结果中个数相对较多的一类表示，所述异常行为用聚类结果中个数相对较少的一类表示。
其中，区域多人姿态识别模型部分包括上述步骤中的步骤1和步骤3；人体肢体特征表示及其聚类算法部分包括上述步骤中的步骤4～步骤13。
所述的步骤10中的每个分区的区间范围可以按照前开后闭的区间定义，也可以按照前闭后开的区间定义。
本发明的有益效果是：
本发明利用计算机视觉技术将采集到的视频信息进行处理，通过提取不同特征并组合为新的特征来达到自动检测区分人的行为异常特征的目的，操作简单、易于实现，且为医疗诊断提供了有力实验数据支持，降低人工诊疗成本的同时也保证了检测的客观性，尤其是通过采集幼儿园监控视频进行群体行为分析、个体特征差异判别，能及时对幼儿群体的特殊行为进行判断和预防。
附图说明
图1为本发明中的一种从监控视频自动识别人体动作异常的方法流程图。
图2为本发明中的3个摄像头的布置示意图。
图3为本发明中的区域多人姿态识别模型结构示意图。
图4为本发明中的人体肢体特征表示示意图，其中图(a)表示方向角示意图，图(b)表示投影示意图。
图5为本发明中的方向角编码示意图。
具体实施方式
下面结合附图和具体实施实例对发明做进一步说明。
如图1所示，一种从监控视频自动识别人体动作异常的方法，采用Python软件进行编程实现，包括区域多人姿态识别模型和人体肢体特征表示及其聚类算法两个部分，具体包括以下步骤：
步骤1：在待识别目标的监控范围内，如图2所示环形120°等间隔布置3个监控摄像头，用于多角度同时采集待识别目标的监控视频，本实施例在幼儿园监控范围内的待识别目标个数为5个；
步骤2：分别提取3个监控摄像头在同一时间段内的监控视频，并将提取到监控视频依次通过faster-rcnn目标检测算法得到个3*5单人区域框，定义通过3个监控摄像头分别得到的同一待识别目标的3个单人区域框为一组单人区域框组合，则5个待识别目标组成5个单人区域框组合；
步骤3：从每组单人区域框组合中选择宽高比值最大的单人区域框作为预处理区域框，并将预处理区域框中对应的像素数据先输入到空间变换网络中进行变换，然后将变换后的像素数据输入到单人姿态估计模块中的得到单人姿态数据，再将单人姿态数据输入到空间反变换网络中进行反变换，最后通过空间反变换网络输出所述预处理区域框中的人体关键点坐标序列，所述人体关键点坐标序列包括预处理区域框中的待识别目标的17个关键点的横坐标、17个关键点的纵坐标和17个关键点的置信度，所述17个关键点包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘关节、右肘关节、左腕、右腕、左髋关节、右髋关节、左膝关节、右膝关节、左踝关节、右踝关节，本实施例中用0-16这17个数字依次对鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘关节、右肘关节、左腕、右腕、左髋关节、右髋关节、左膝关节、右膝关节、左踝关节、右踝关节这17个关键点进行了标号；
利用python编程实现上述步骤1～步骤3，得到区域多人姿态识别模型如图3所示；
步骤4：定义一个列表作为每个待识别目标的坐标列表，将每个关键点的横坐标和纵坐标以坐标的形式进行组合得到每个关键点的坐标，然后将每个关键点的坐标按照从上到下、从左到右的顺序依次为鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘关节、右肘关节、左腕、右腕、左髋关节、右髋关节、左膝关节、右膝关节、左踝关节、右踝关节的顺序存储在定义的坐标列表中；
步骤5：利用Python软件将计算向量投影的函数和计算向量夹角的函数封装为计算向量的类，将每个待识别目标的坐标列表通过封装的计算向量的类进行实例化，得到每个待识别目标的关键点向量实例列表；
由于每个待识别目标的身高不同，距离摄像头的远近不同等原因，使不同个体的坐标、姿态、动作等数据不能直接用于对比、分类，因此，将每个待识别目标的各个关键点数据转换到局部坐标系下分析，由于人体在监控画面里往往并不是正面朝向摄像头的，所以需要将相对于摄像头侧身拍摄的视频帧所建立的局部非直角坐标系，转换为局部直角坐标系，具体转换如步骤6所述；
步骤6：定义右肩指向左肩的向量为x轴方向，定义5号关键点右肩与6号关键点左肩线段的中点为A1，定义11号关键点右髋关节与12号关键点左髋关节线段的中点为A2，则人体躯干中轴线向量表示为由A1指向A2的向量并定义向量/>为y轴方向，以A1为坐标原点，将x轴、y轴做仿射变换后构成局部直角坐标系；
步骤7：重新定义一个列表作为每个待识别目标的四肢向量列表，通过每个待识别目标的关键点向量实例列表计算每个待识别目标的四肢向量，所述四肢向量包括左小臂向量、左大臂向量、左手腕与左髋关节连线的向量、左大腿向量、左小腿向量、右小臂向量、右大臂向量、右手腕与右髋关节连线的向量、右大腿向量、右小腿向量十个向量，将计算得到的四肢向量按照从左到右的顺序依次为左小臂向量、左大臂向量、左手腕与左髋关节连线的向量、左大腿向量、左小腿向量、右小臂向量、右大臂向量、右手腕与右髋关节连线的向量、右大腿向量、右小腿向量的顺序存储在定义的四肢向量列表中；
步骤8：重新定义一个列表作为每个待识别目标的投影列表，计算每个待识别目标的四肢向量列表中的每个向量相对于人体躯干中轴线向量的投影数值，然后按照步骤7中的四肢向量存储顺序存储在定义的投影列表中；
步骤9：重新定义一个列表作为每个待识别目标的方向角列表，计算每个待识别目标的四肢向量列表中的每个向量相对于人体躯干中轴线向量的方向角，然后按照步骤7中的四肢向量存储顺序存储在定义的方向角列表中；
图4所示给出了在步骤6所建立的局部直角坐标系下的人体肢体特征表示示意图，并且以四肢向量中的右大臂向量为例给出了方向角表示和投影点表示的示意图。
步骤10：将局部直角坐标系以y轴负方向为起点，即图4(a)中标注的0度方向为起点，沿逆时针方向将局部直角坐标系等分为8个分区，其中每个区间的表示方式为前闭后开的区间方式，并用1-8这8个阿拉伯数字对每个分区进行编码；
步骤11：重新定义一个列表作为每个待识别目标的方向角编码列表，将四肢向量列表中的每个向量相对于局部直角坐标系y轴的方向角按照所在分区的编码进行编码，然后按照步骤7中的四肢向量存储顺序存储在定义的方向角编码列表中；
如图5所示，本实施例中的8个分区所对应的编码具体表示为：[0°,22.5°)∪[337.5°,359°)构成的45°区域编为1，将[22.5°,67.5°)构成的45°区域编为2，将[67.5°,112.5°)构成的45°区域编为3，将[112.5°,157.5°)构成的45°区域编为4，将[157.5°,202.5°)构成的45°区域编为5，将[202.5°,247.5°)构成的45°区域编为6，将[247.5°,292.5°)构成的45°区域编为7，将[292.5°,337.5°)构成的45°区域编为8；
步骤12：将每个待识别目标的投影列表和方向角编码列表合并构造为每个待识别目标的特征融合向量；
步骤13：将5个待识别目标的特征融合向量组合在一起，并做标准化处理，然后采用K＝2的K均值聚类进行分类，得到包含0和1两类的聚类结果，用于区分正常行为和异常行为，所述正常行为用聚类结果中个数相对较多的一类表示，所述异常行为用聚类结果中个数相对较少的一类表示。
用Python编程实现上述步骤4～步骤13，得到人体肢体特征表示及其聚类算法部分。
Claims (2)
1.一种从监控视频自动识别人体动作异常的方法，其特征在于，包括以下步骤：
步骤1：在待识别目标的监控范围内，以环形等角度θ间隔布置n个监控摄像头，用于多角度同时采集待识别目标的监控视频，其中定义监控范围内的待识别目标的个数为m；
步骤2：分别提取n个监控摄像头在同一时间段内的监控视频，并将提取到的n个监控视频依次通过目标检测算法得到n*m个单人区域框，定义通过n个监控摄像头分别得到的同一待识别目标的n个单人区域框为一组单人区域框组合，则m个待识别目标组成m个单人区域框组合；
步骤3：从每组单人区域框组合中选择宽高比值最大的单人区域框作为预处理区域框，将预处理区域框中对应的像素数据先输入到空间变换网络中进行变换，然后将变换后的像素数据输入到单人姿态估计模块中得到单人姿态数据，再将单人姿态数据输入到空间反变换网络中进行反变换，最后通过空间反变换网络输出所述预处理区域框中的人体关键点坐标序列，所述人体关键点坐标序列包括预处理区域框中的待识别目标的17个关键点信息，每个关键点信息是指每个关键点的横坐标值、纵坐标值和置信度，所述17个关键点包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘关节、右肘关节、左腕、右腕、左髋关节、右髋关节、左膝关节、右膝关节、左踝关节、右踝关节；
步骤4：定义一个列表作为每个待识别目标的坐标列表，将每个关键点的横坐标和纵坐标以坐标的形式进行组合得到每个关键点的坐标，然后将每个关键点的坐标按照预设关键点存储顺序存储在定义的坐标列表中；
步骤5：将计算向量投影的函数和计算向量夹角的函数封装为计算向量的类，将每个待识别目标的坐标列表通过封装的计算向量的类进行实例化，得到每个待识别目标的关键点向量实例列表；
步骤6：定义右肩指向左肩的向量为x轴方向，定义右肩与左肩线段的中点为A1，定义右髋关节与左髋关节线段的中点为A2，则人体躯干中轴线向量表示为由A1指向A2的向量并定义向量/>为y轴方向，以A1为坐标原点，将x轴、y轴做仿射变换后构成局部直角坐标系；
步骤7：重新定义一个列表作为每个待识别目标的四肢向量列表，通过每个待识别目标的关键点向量实例列表计算每个待识别目标的四肢向量，所述四肢向量包括左小臂向量、左大臂向量、左手腕与左髋关节连线的向量、左大腿向量、左小腿向量、右小臂向量、右大臂向量、右手腕与右髋关节连线的向量、右大腿向量、右小腿向量十个向量，将计算得到的四肢向量按照预设四肢向量存储顺序存储在定义的四肢向量列表中；
步骤8：重新定义一个列表作为每个待识别目标的投影列表，计算每个待识别目标的四肢向量列表中的每个向量相对于向量的投影数值，然后按照预设四肢向量存储顺序存储在定义的投影列表中；
步骤9：重新定义一个列表作为每个待识别目标的方向角列表，计算每个待识别目标的四肢向量列表中的每个向量相对于向量的方向角，然后按照预设四肢向量存储顺序存储在定义的方向角列表中；
步骤10：将局部直角坐标系以y轴负方向为起点，沿逆时针方向或者顺时针方向将局部直角坐标系等分为s个分区，对每个分区进行编码；
步骤11：重新定义一个列表作为每个待识别目标的方向角编码列表，将四肢向量列表中的每个向量相对于局部直角坐标系y轴的方位角按照所在分区的编码进行编码，然后按照预设四肢向量存储顺序存储在定义的方向角编码列表中；
步骤12：将每个待识别目标的投影列表和方向角编码列表进行合并，构造为每个待识别目标的特征融合向量；
步骤13：将m个待识别目标的特征融合向量组合在一起，并做标准化处理，然后采用K＝2的K均值聚类进行分类，得到包含0和1两类的聚类结果，用于区分正常行为和异常行为，所述正常行为用聚类结果中个数相对较多的一类表示，所述异常行为用聚类结果中个数相对较少的一类表示。
2.根据权利要求1所述的一种从监控视频自动识别人体动作异常的方法，其特征在于，所述的步骤10中的每个分区的区间范围可以按照前开后闭的区间定义，也可以按照前闭后开的区间定义。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911364679.1A CN111062356B (zh) | 2019-12-26 | 2019-12-26 | 一种从监控视频自动识别人体动作异常的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911364679.1A CN111062356B (zh) | 2019-12-26 | 2019-12-26 | 一种从监控视频自动识别人体动作异常的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062356A CN111062356A (zh) | 2020-04-24 |
| CN111062356B true CN111062356B (zh) | 2024-03-26 |
Family
ID=70303837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911364679.1A Active CN111062356B (zh) | 2019-12-26 | 2019-12-26 | 一种从监控视频自动识别人体动作异常的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062356B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931701B (zh) * | 2020-09-11 | 2021-01-15 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的姿态识别方法、装置、终端和存储介质 |
| CN112364785B (zh) * | 2020-11-13 | 2023-07-25 | 中移雄安信息通信科技有限公司 | 一种运动训练指导方法、装置、设备及计算机存储介质 |
| CN113469142B (zh) * | 2021-03-12 | 2022-01-14 | 山西长河科技股份有限公司 | 一种监控视频时空信息融合的分类方法、装置及终端 |
| CN113688804B (zh) * | 2021-10-25 | 2022-02-11 | 腾讯科技（深圳）有限公司 | 基于多角度视频的动作识别方法及相关设备 |
| CN114565784A (zh) * | 2022-03-15 | 2022-05-31 | 平安科技（深圳）有限公司 | 基于聚类算法的行人异常行为检测方法及装置、存储介质 |
| CN115644953A (zh) * | 2022-11-09 | 2023-01-31 | 吉林大学 | 基于人体解剖学的躯干及四肢节段骨骼系统标定方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101271527A (zh) * | 2008-02-25 | 2008-09-24 | 北京理工大学 | 一种基于运动场局部统计特征分析的异常行为检测方法 |
| CN105320944A (zh) * | 2015-10-24 | 2016-02-10 | 西安电子科技大学 | 一种基于人体骨架运动信息的人体行为预测方法 |
| CN105718857A (zh) * | 2016-01-13 | 2016-06-29 | 兴唐通信科技有限公司 | 一种人体异常行为检测方法及系统 |
| CN106056053A (zh) * | 2016-05-23 | 2016-10-26 | 西安电子科技大学 | 基于骨骼特征点提取的人体姿势识别方法 |
| CN106571014A (zh) * | 2016-10-24 | 2017-04-19 | 上海伟赛智能科技有限公司 | 一种在视频中识别异常动作的方法和系统 |
| CN107908288A (zh) * | 2017-11-30 | 2018-04-13 | 沈阳工业大学 | 一种面向人机交互的快速人体动作识别方法 |
| CN108132927A (zh) * | 2017-12-07 | 2018-06-08 | 西北师范大学 | 一种融合图结构与节点关联的关键词提取方法 |
| CN109002783A (zh) * | 2018-07-02 | 2018-12-14 | 北京工业大学 | 救援环境中的人体检测以及姿态识别方法 |
| CN109271886A (zh) * | 2018-08-29 | 2019-01-25 | 武汉大学 | 一种教育考试监控视频的人体行为分析方法及系统 |
| CN109815816A (zh) * | 2018-12-24 | 2019-05-28 | 山东山大鸥玛软件股份有限公司 | 一种基于深度学习的考生考场异常行为分析方法 |
| CN109902562A (zh) * | 2019-01-16 | 2019-06-18 | 重庆邮电大学 | 一种基于强化学习的驾驶员异常姿态监测方法 |
| CN110222665A (zh) * | 2019-06-14 | 2019-09-10 | 电子科技大学 | 一种基于深度学习和姿态估计的监控中人体动作识别方法 |
-
2019
- 2019-12-26 CN CN201911364679.1A patent/CN111062356B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101271527A (zh) * | 2008-02-25 | 2008-09-24 | 北京理工大学 | 一种基于运动场局部统计特征分析的异常行为检测方法 |
| CN105320944A (zh) * | 2015-10-24 | 2016-02-10 | 西安电子科技大学 | 一种基于人体骨架运动信息的人体行为预测方法 |
| CN105718857A (zh) * | 2016-01-13 | 2016-06-29 | 兴唐通信科技有限公司 | 一种人体异常行为检测方法及系统 |
| CN106056053A (zh) * | 2016-05-23 | 2016-10-26 | 西安电子科技大学 | 基于骨骼特征点提取的人体姿势识别方法 |
| CN106571014A (zh) * | 2016-10-24 | 2017-04-19 | 上海伟赛智能科技有限公司 | 一种在视频中识别异常动作的方法和系统 |
| CN107908288A (zh) * | 2017-11-30 | 2018-04-13 | 沈阳工业大学 | 一种面向人机交互的快速人体动作识别方法 |
| CN108132927A (zh) * | 2017-12-07 | 2018-06-08 | 西北师范大学 | 一种融合图结构与节点关联的关键词提取方法 |
| CN109002783A (zh) * | 2018-07-02 | 2018-12-14 | 北京工业大学 | 救援环境中的人体检测以及姿态识别方法 |
| CN109271886A (zh) * | 2018-08-29 | 2019-01-25 | 武汉大学 | 一种教育考试监控视频的人体行为分析方法及系统 |
| CN109815816A (zh) * | 2018-12-24 | 2019-05-28 | 山东山大鸥玛软件股份有限公司 | 一种基于深度学习的考生考场异常行为分析方法 |
| CN109902562A (zh) * | 2019-01-16 | 2019-06-18 | 重庆邮电大学 | 一种基于强化学习的驾驶员异常姿态监测方法 |
| CN110222665A (zh) * | 2019-06-14 | 2019-09-10 | 电子科技大学 | 一种基于深度学习和姿态估计的监控中人体动作识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062356A (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062356B (zh) | 一种从监控视频自动识别人体动作异常的方法 | |
| Deep et al. | A survey on anomalous behavior detection for elderly care using dense-sensing networks | |
| Zerrouki et al. | Vision-based human action classification using adaptive boosting algorithm | |
| Tan et al. | Multi-resident activity recognition in a smart home using RGB activity image and DCNN | |
| Shojaei-Hashemi et al. | Video-based human fall detection in smart homes using deep learning | |
| CN108447078B (zh) | 基于视觉显著性的干扰感知跟踪算法 | |
| Atallah et al. | The use of pervasive sensing for behaviour profiling—a survey | |
| US9355306B2 (en) | Method and system for recognition of abnormal behavior | |
| Gowsikhaa et al. | Suspicious Human Activity Detection from Surveillance Videos. | |
| Sun et al. | Real-time elderly monitoring for senior safety by lightweight human action recognition | |
| Manaf et al. | Computer vision-based survey on human activity recognition system, challenges and applications | |
| Tao et al. | 3D convolutional neural network for home monitoring using low resolution thermal-sensor array | |
| Pinitkan et al. | Abnormal activity detection and notification platform for real-time ad hoc network | |
| Mishra et al. | Skeletal Video Anomaly Detection Using Deep Learning: Survey, Challenges, and Future Directions | |
| Anderson et al. | Segmentation and linguistic summarization of voxel environments using stereo vision and genetic algorithms | |
| Akhter et al. | Abnormal action recognition in crowd scenes via deep data mining and random forest | |
| Kareem et al. | Using skeleton based optimized residual neural network architecture of deep learning for human fall detection | |
| Turaev et al. | Review and analysis of patients’ body language from an artificial intelligence perspective | |
| Meratwal et al. | Multi-camera and multi-person indoor activity recognition for continuous health monitoring using long short term memory | |
| Batool et al. | Fundamental recognition of ADL assessments using machine learning engineering | |
| Ray et al. | Transfer learning and its extensive appositeness in human activity recognition: A survey | |
| Fernando et al. | Computer vision based privacy protected fall detection and behavior monitoring system for the care of the elderly | |
| Lewandowski et al. | I see you lying on the ground—Can I help you? Fast fallen person detection in 3D with a mobile robot | |
| Ariyani et al. | Heuristic Application System on Pose Detection of Elderly Activity Using Machine Learning in Real-Time | |
| Ma et al. | Sports competition assistant system based on fuzzy big data and health exercise recognition algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |