CN113177442B - 一种基于边缘计算的人体行为检测方法及装置 - Google Patents

一种基于边缘计算的人体行为检测方法及装置 Download PDF

Info

Publication number
CN113177442B
CN113177442B CN202110389062.6A CN202110389062A CN113177442B CN 113177442 B CN113177442 B CN 113177442B CN 202110389062 A CN202110389062 A CN 202110389062A CN 113177442 B CN113177442 B CN 113177442B
Authority
CN
China
Prior art keywords
joint point
human body
representing
circular
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110389062.6A
Other languages
English (en)
Other versions
CN113177442A (zh
Inventor
马敬奇
焦泽昱
李辰潼
张勃兴
雷欢
陈再励
钟震宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Original Assignee
Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Intelligent Manufacturing of Guangdong Academy of Sciences filed Critical Institute of Intelligent Manufacturing of Guangdong Academy of Sciences
Priority to CN202110389062.6A priority Critical patent/CN113177442B/zh
Publication of CN113177442A publication Critical patent/CN113177442A/zh
Application granted granted Critical
Publication of CN113177442B publication Critical patent/CN113177442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Abstract

本发明公开了一种基于边缘计算的人体行为检测方法及装置，其中，所述方法包括：对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点对应的坐标数据；基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域；对所述六个圆形近似区域分别进行区域特征提取处理，并基于获得的区域特征构建姿态特征矩阵；将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测，输出人体行为检测结果。在本发明实施例中，实现了判断人体行为时，简化了行为分析处理数据的复杂度，同时提高了人体行为分类识别的准确率。

Description

一种基于边缘计算的人体行为检测方法及装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于边缘计算的人体行为检测方法及装置。
背景技术
目前人体行为分析技术和方法主要可归纳为以下几类：(1)利用深度学习技术和卷积神经网络，提取连续的动作视频分析，这种方法需要连续提取每一帧的视频行为特征，结合帧间数据进行人体行为识别，这往往需要占用大量的计算内存，模型推理时间较长，行为的识别滞后。(2)提取人体姿态关节点，建立数学模型对人体姿态关节数据进行训练分类，处理的数据维度和数据量较多，并且将人体分为离散的关节点数据进行处理，未能考虑人体局部的整体动作特征，而人的身体是局部联动的。(3)利用人体区域宽高比、人体与地面夹角等数学特点判断人体的异常行为，也未能考虑人体的局部姿态特征。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于边缘计算的人体行为检测方法及装置，实现了判断人体行为时，简化了行为分析处理数据的复杂度，同时提高了人体行为分类识别的准确率。
为了解决上述技术问题，本发明实施例提供了一种基于边缘计算的人体行为检测方法，所述方法包括：
对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点对应的坐标数据；
基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域，所述六个圆形近似区域分别为头部圆形近似区域、左臂圆形近似区域、右臂圆形近似区域、胸部圆形近似区域、左腿圆形近似区域、右腿圆形近似区域；
对所述六个圆形近似区域分别进行区域特征提取处理，并基于获得的区域特征构建姿态特征矩阵；
将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测，输出人体行为检测结果。
可选的，所述对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点对应的坐标数据，包括：
利用卷积神经网络模型对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点在图像信息中对应的坐标数据；
所述人体姿态关节点为按照预设标号顺序进行排序标号的人体姿态关节点，其中，所述人体姿态关节点包括颈部关节点、右肩关节点、右肘关节点、右腕关节点、左肩关节点、左肘关节点、左腕关节点、左臀关节点、左膝关节点、左脚踝关节点、右臀关节点、右膝关节点、右脚踝关节点、右耳关节点、左耳关节点。
可选的，所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域，包括：
根据颈部关节点的坐标、右耳关节点的坐标和左耳关节点的坐标计算划分，获得头部圆形近似区域；
根据右肩关节点的坐标、右肘关节点的坐标和右腕关节点的坐标计算划分，获得右臂圆形近似区域；
根据颈部关节点的坐标、左臀关节点的坐标和右臀关节点的坐标计算划分，获得胸部圆形近似区域；
根据左肩关节点的坐标、左肘关节点的坐标和左腕关节点的坐标计算划分，获得左臂圆形近似区域；
根据右臀关节点的坐标、右膝关节点的坐标和右脚踝关节点的坐标计算划分，获得右腿圆形近似区域；
根据左臀关节点的坐标、左膝关节点的坐标和左脚踝关节点的坐标计算划分，获得左腿圆形近似区域。
可选的，所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域的具体计算划分公式如下：
其中，C1表示头部圆形近似区域；O1表示头部圆形近似区域的圆心；R1表示头部圆形近似区域的半径；(x1,y1)表示颈部关节点的坐标；(x14,y14)表示右耳关节点的坐标；(x15,y15)表示左耳关节点的坐标；s(O1,1)表示头部圆形近似区域的圆心到颈部关节点的距离；s(O1,14)表示头部圆形近似区域的圆心到右耳关节点的距离；s(O1,15)表示头部圆形近似区域的圆心到左耳关节点的距离；C2表示头右臂圆形近似区域；O2表示右臂圆形近似区域的圆心；R2表示右臂圆形近似区域的半径；(x2,y2)表示右肩关节点的坐标；(x3,y3)表示右肘关节点的坐标；(x4,y4)表示右腕关节点的坐标；s(O2,2)表示右臂圆形近似区域的圆心到右肩关节点的距离；s(O2,3)表示右臂圆形近似区域的圆心到右肘关节点的距离；s(O2,4)表示右臂圆形近似区域的圆心到右腕关节点的距离；C3表示胸部圆形近似区域；O3表示胸部圆形近似区域的圆心；R3表示胸部圆形近似区域的半径；(x1,y1)表示颈部关节点的坐标；(x8,y8)表示右臀关节点的坐标；(x11,y11)表示左臀关节点的坐标；s(O3,1)表示胸部圆形近似区域的圆心到颈部关节点的距离；s(O3,8)表示胸部圆形近似区域的圆心到右臀关节点的距离；s(O3,11)表示胸部圆形近似区域的圆心到左臀关节点的距离；C4表示左臂圆形近似区域；O4表示左臂圆形近似区域的圆心；R4表示左臂圆形近似区域的半径；(x5,y5)表示左肩关节点的坐标；(x6,y6)表示左肘关节点的坐标；(x7,y7)表示左腕关节点的坐标；s(O4,5)表示左臂圆形近似区域的圆心到左肩关节点的距离；s(O4,6)表示左臂圆形近似区域的圆心到左肘关节点的距离；s(O4,7)表示左臂圆形近似区域的圆心到左腕关节点的距离；C5表示右腿圆形近似区域；O5表示右腿圆形近似区域的圆心；R5表示右腿圆形近似区域的半径；(x8,y8)表示右臀关节点的坐标；(x9,y9)表示右膝关节点的坐标；(x10,y10)表示右脚踝关节点的坐标；s(O5,8)表示右腿圆形近似区域的圆心到右臀关节点的距离；s(O5,9)表示右腿圆形近似区域的圆心到右膝关节点的距离；s(O5,10)表示右腿圆形近似区域的圆心到右脚踝关节点的距离；C6表示左腿圆形近似区域；O6表示左腿圆形近似区域的圆心；R6表示左腿圆形近似区域的半径；(x11,y11)表示左臀关节点的坐标；(x12,y12)表示左膝关节点的坐标；(x13,y13)表示左脚踝关节点的坐标；s(O6,11)表示左腿圆形近似区域的圆心到左臀关节点的距离；s(O6,12)表示左腿圆形近似区域的圆心到左膝关节点的距离；s(O6,13)表示左腿圆形近似区域的圆心到左脚踝关节点的距离。
可选的，所述对所述六个圆形近似区域分别进行区域特征提取处理，并基于获得的区域特征构建姿态特征矩阵，包括：
提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心连线与图像信息的水平方向的夹角；
提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心之间的归一化距离；
提取所述六个圆形近似区域的每两个圆形近似区域之间的相交情况；
基于所述夹角、所述归一化距离和所述相交情况组成姿态特征矩阵。
可选的，所述人体行为检测模型的训练过程包括：
获得训练图像数据集，所述训练图像数据集包含有行走图像信息、跌倒图像信息、站立图像信息、下蹲图像信息、跑步图像信息、弯腰图像信息、捡东西图像信息、坐着图像信息；
对所述训练图像数据集内的训练图像数据的人体姿态关节点进行检测，获得训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据；
根据训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据将人体划分为训练图像数据对应的六个圆形近似区域；
基于训练图像数据对应的六个圆形近似区域进行区域特征提取处理，并基于获得的训练图像数据对应的区域特征构建训练姿态特征矩阵；
基于所述训练姿态特征矩阵形成训练人体行为特征数据集；
将所述训练人体行为特征数据集输入人体行为检测模型中进行训练，直至所述人体行为检测模型收敛为止。
可选的，所述将所述训练人体行为特征数据集输入人体行为检测模型中进行训练，包括：
将所述训练人体行为特征数据集输入人体行为检测模型中之后，通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果；
基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果。
可选的，所述通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果，包括：
在所述人体行为检测模型中利用第一特征距离模型对所述训练人体行为特征数据集任意两个训练姿态特征矩阵进行距离计算，获得第一特征距离；
基于第一特征距离进行粗略行为分类处理，获得粗略行为分类结果；
其中，第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果的公式处理过程如下：
fm,fy表示训练人体行为特征数据集中任意两个训练姿态特征矩阵；j表示训练人体行为特征数据集中非零元素序号，序号从第一行自左向右，自上向下依次排序，共有21个非零元素；i为第j个元素里的夹角、归一化距离和相交情况，i＝1表示夹角，i＝2表示归一化距离，i＝3表示相交情况；l1(fm,fy)表示fm,fy之间的第一特征距离；β为预设第一距离阈值，在l1(fm,fy)小于β时，将fy加入第一领近特征集合中，得到粗略行为分类结果。
可选的，所述基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果，包括：
利用所述第二特征距离模型对所述粗略行为分类结果中任意两个特征矩阵进行特征距离计算，获得第二特征距离；
基于第二特征距离进行精细行为分类处理，获得精细行为分类结果；
其中，基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果的公式处理过程如下：
gm,gd表示粗略行为分类结果中任意两个训练姿态特征矩阵；F(gd；σ)表示gd的旋转变换；σ表示旋转角度；T表示gd的切空间向量；χ表示预设第二距离阈值；l2(gm,gd)表示gm,gd之间的第二特征距离；当满足l2(gm,gd)小于χ时，将gd加入第二领近特征集合中，得到精细行为分类结果。
另外，本发明实施例还提供了一种基于边缘计算的人体行为检测装置，所述装置包括：
关节点检测模块：用于对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点对应的坐标数据；
划分模块：用于基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域，所述六个圆形近似区域分别为头部圆形近似区域、左臂圆形近似区域、右臂圆形近似区域、胸部圆形近似区域、左腿圆形近似区域、右腿圆形近似区域；
矩阵构建模块：用于对所述六个圆形近似区域分别进行区域特征提取处理，并基于获得的区域特征构建姿态特征矩阵；
人体行为检测模块：用于将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测，输出人体行为检测结果。
在本发明实施例中，通过人体姿态关节点数据，对人体姿态进行了局部区域圆形近似，将人体划分为六个局部区域，通过分析六个局部圆的位置关系，判断人体行为，简化了行为分析处理数据的复杂度；在人体行为检测模型中建立了第一特征距离模型与第二特征距离模型结合的方式，首先通过第一特征距离模型对人体行为特征进行粗略分类，消除部分差异度大、类间区分特征明显的行为，然后再通过第二特征距离模型对人体行为进行精细分类，提高了人体行为分类识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于边缘计算的人体行为检测方法的流程示意图；
图2是本发明实施例中的基于边缘计算的人体行为检测装置的结构组成示意图；
图3是本发明实施例中的人体姿态关节点的标号图；
图4是本发明实施例中的人体划分为六个圆形近似区域的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
请参阅图1，图1是本发明实施例中的基于边缘计算的人体行为检测方法的流程示意图。
如图1所示，一种基于边缘计算的人体行为检测方法，所述方法包括：
S11：对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点对应的坐标数据；
在本发明具体实施过程中，所述对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点对应的坐标数据，包括：利用卷积神经网络模型对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点在图像信息中对应的坐标数据；所述人体姿态关节点为按照预设标号顺序进行排序标号的人体姿态关节点，其中，所述人体姿态关节点包括颈部关节点、右肩关节点、右肘关节点、右腕关节点、左肩关节点、左肘关节点、左腕关节点、左臀关节点、左膝关节点、左脚踝关节点、右臀关节点、右膝关节点、右脚踝关节点、右耳关节点、左耳关节点。
具体的，通过卷积神经网络模型来对图像信息中的人体姿态关节点进行检测，并且得到人体姿态关节点及该人体姿态关节点在图像信息中对应的坐标数据；该人体姿态关节点在图像信息中对应的坐标数据如[(x1,y1),(x2,y2),...,(xn,yn),...(xN,yN)]，其中N表示检测到的人体关节点数，n为人体的第n个关节点索引，具体参见图3，将人体姿态关节点为按照预设标号顺序进行排序标号的人体姿态关节点，其中，体姿态关节点包括颈部关节点1、右肩关节点2、右肘关节点3、右腕关节点4、左肩关节点5、左肘关节点6、左腕关节点7、左臀关节点11、左膝关节点12、左脚踝关节点13、右臀关节点8、右膝关节点9、右脚踝关节点10、右耳关节点14、左耳关节点15。
S12：基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域；
在本发明具体实施过程中，所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域，包括：根据颈部关节点的坐标、右耳关节点的坐标和左耳关节点的坐标计算划分，获得头部圆形近似区域；根据右肩关节点的坐标、右肘关节点的坐标和右腕关节点的坐标计算划分，获得右臂圆形近似区域；根据颈部关节点的坐标、左臀关节点的坐标和右臀关节点的坐标计算划分，获得胸部圆形近似区域；根据左肩关节点的坐标、左肘关节点的坐标和左腕关节点的坐标计算划分，获得左臂圆形近似区域；根据右臀关节点的坐标、右膝关节点的坐标和右脚踝关节点的坐标计算划分，获得右腿圆形近似区域；根据左臀关节点的坐标、左膝关节点的坐标和左脚踝关节点的坐标计算划分，获得左腿圆形近似区域。
进一步的，所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域的具体计算划分公式如下：
其中，C1表示头部圆形近似区域；O1表示头部圆形近似区域的圆心；R1表示头部圆形近似区域的半径；(x1,y1)表示颈部关节点的坐标；(x14,y14)表示右耳关节点的坐标；(x15,y15)表示左耳关节点的坐标；s(O1,1)表示头部圆形近似区域的圆心到颈部关节点的距离；s(O1,14)表示头部圆形近似区域的圆心到右耳关节点的距离；s(O1,15)表示头部圆形近似区域的圆心到左耳关节点的距离；C2表示头右臂圆形近似区域；O2表示右臂圆形近似区域的圆心；R2表示右臂圆形近似区域的半径；(x2,y2)表示右肩关节点的坐标；(x3,y3)表示右肘关节点的坐标；(x4,y4)表示右腕关节点的坐标；s(O2,2)表示右臂圆形近似区域的圆心到右肩关节点的距离；s(O2,3)表示右臂圆形近似区域的圆心到右肘关节点的距离；s(O2,4)表示右臂圆形近似区域的圆心到右腕关节点的距离；C3表示胸部圆形近似区域；O3表示胸部圆形近似区域的圆心；R3表示胸部圆形近似区域的半径；(x1,y1)表示颈部关节点的坐标；(x8,y8)表示右臀关节点的坐标；(x11,y11)表示左臀关节点的坐标；s(O3,1)表示胸部圆形近似区域的圆心到颈部关节点的距离；s(O3,8)表示胸部圆形近似区域的圆心到右臀关节点的距离；s(O3,11)表示胸部圆形近似区域的圆心到左臀关节点的距离；C4表示左臂圆形近似区域；O4表示左臂圆形近似区域的圆心；R4表示左臂圆形近似区域的半径；(x5,y5)表示左肩关节点的坐标；(x6,y6)表示左肘关节点的坐标；(x7,y7)表示左腕关节点的坐标；s(O4,5)表示左臂圆形近似区域的圆心到左肩关节点的距离；s(O4,6)表示左臂圆形近似区域的圆心到左肘关节点的距离；s(O4,7)表示左臂圆形近似区域的圆心到左腕关节点的距离；C5表示右腿圆形近似区域；O5表示右腿圆形近似区域的圆心；R5表示右腿圆形近似区域的半径；(x8,y8)表示右臀关节点的坐标；(x9,y9)表示右膝关节点的坐标；(x10,y10)表示右脚踝关节点的坐标；s(O5,8)表示右腿圆形近似区域的圆心到右臀关节点的距离；s(O5,9)表示右腿圆形近似区域的圆心到右膝关节点的距离；s(O5,10)表示右腿圆形近似区域的圆心到右脚踝关节点的距离；C6表示左腿圆形近似区域；O6表示左腿圆形近似区域的圆心；R6表示左腿圆形近似区域的半径；(x11,y11)表示左臀关节点的坐标；(x12,y12)表示左膝关节点的坐标；(x13,y13)表示左脚踝关节点的坐标；s(O6,11)表示左腿圆形近似区域的圆心到左臀关节点的距离；s(O6,12)表示左腿圆形近似区域的圆心到左膝关节点的距离；s(O6,13)表示左腿圆形近似区域的圆心到左脚踝关节点的距离。
具体的，如图4所示，根据人体姿态关节点及人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域，具体包括头部圆形近似区域C1、左臂圆形近似区域C4、右臂圆形近似区域C2、胸部圆形近似区域C3、左腿圆形近似区域C6、右腿圆形近似区域C5；其中头部圆形近似区域C1由关节点1、14、15坐标计算得到(当14或15空缺时，由0代替)，右臂圆形近似区域C2由关节点2、3、4坐标计算得到，胸部圆形近似区域C3由关节点1、8、11坐标计算得到，左臂圆形近似区域C4由关节点5、6、7坐标计算得到，右腿圆形近似区域C5由关节点8、9、10坐标计算得到，左腿圆形近似区域C6由关节点11、12、13坐标计算得到，具体计算方法如下：
其中，C1表示头部圆形近似区域；O1表示头部圆形近似区域的圆心；R1表示头部圆形近似区域的半径；(x1,y1)表示颈部关节点的坐标；(x14,y14)表示右耳关节点的坐标；(x15,y15)表示左耳关节点的坐标；s(O1,1)表示头部圆形近似区域的圆心到颈部关节点的距离；s(O1,14)表示头部圆形近似区域的圆心到右耳关节点的距离；s(O1,15)表示头部圆形近似区域的圆心到左耳关节点的距离；C2表示头右臂圆形近似区域；O2表示右臂圆形近似区域的圆心；R2表示右臂圆形近似区域的半径；(x2,y2)表示右肩关节点的坐标；(x3,y3)表示右肘关节点的坐标；(x4,y4)表示右腕关节点的坐标；s(O2,2)表示右臂圆形近似区域的圆心到右肩关节点的距离；s(O2,3)表示右臂圆形近似区域的圆心到右肘关节点的距离；s(O2,4)表示右臂圆形近似区域的圆心到右腕关节点的距离；C3表示胸部圆形近似区域；O3表示胸部圆形近似区域的圆心；R3表示胸部圆形近似区域的半径；(x1,y1)表示颈部关节点的坐标；(x8,y8)表示右臀关节点的坐标；(x11,y11)表示左臀关节点的坐标；s(O3,1)表示胸部圆形近似区域的圆心到颈部关节点的距离；s(O3,8)表示胸部圆形近似区域的圆心到右臀关节点的距离；s(O3,11)表示胸部圆形近似区域的圆心到左臀关节点的距离；C4表示左臂圆形近似区域；O4表示左臂圆形近似区域的圆心；R4表示左臂圆形近似区域的半径；(x5,y5)表示左肩关节点的坐标；(x6,y6)表示左肘关节点的坐标；(x7,y7)表示左腕关节点的坐标；s(O4,5)表示左臂圆形近似区域的圆心到左肩关节点的距离；s(O4,6)表示左臂圆形近似区域的圆心到左肘关节点的距离；s(O4,7)表示左臂圆形近似区域的圆心到左腕关节点的距离；C5表示右腿圆形近似区域；O5表示右腿圆形近似区域的圆心；R5表示右腿圆形近似区域的半径；(x8,y8)表示右臀关节点的坐标；(x9,y9)表示右膝关节点的坐标；(x10,y10)表示右脚踝关节点的坐标；s(O5,8)表示右腿圆形近似区域的圆心到右臀关节点的距离；s(O5,9)表示右腿圆形近似区域的圆心到右膝关节点的距离；s(O5,10)表示右腿圆形近似区域的圆心到右脚踝关节点的距离；C6表示左腿圆形近似区域；O6表示左腿圆形近似区域的圆心；R6表示左腿圆形近似区域的半径；(x11,y11)表示左臀关节点的坐标；(x12,y12)表示左膝关节点的坐标；(x13,y13)表示左脚踝关节点的坐标；s(O6,11)表示左腿圆形近似区域的圆心到左臀关节点的距离；s(O6,12)表示左腿圆形近似区域的圆心到左膝关节点的距离；s(O6,13)表示左腿圆形近似区域的圆心到左脚踝关节点的距离。
S13：对所述六个圆形近似区域分别进行区域特征提取处理，并基于获得的区域特征构建姿态特征矩阵；
在本发明具体实施过程中，所述对所述六个圆形近似区域分别进行区域特征提取处理，并基于获得的区域特征构建姿态特征矩阵，包括：提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心连线与图像信息的水平方向的夹角；提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心之间的归一化距离；提取所述六个圆形近似区域的每两个圆形近似区域之间的相交情况；基于所述夹角、所述归一化距离和所述相交情况组成姿态特征矩阵。
具体的，对六个圆形近似区域进行特征提取，即提取每两个圆心连接线与图像水平方向的夹角θ，提取每两个圆心之间的归一化距离L，提取每两个圆之间的相交情况(相交记为1，不相交记为0)I，组成人体行为特征矩阵q，将人体行为特征的表示简化为人体区域圆之间的关系变化。
S14：将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测，输出人体行为检测结果。
在本发明具体实施过程中，所述人体行为检测模型的训练过程包括：获得训练图像数据集，所述训练图像数据集包含有行走图像信息、跌倒图像信息、站立图像信息、下蹲图像信息、跑步图像信息、弯腰图像信息、捡东西图像信息、坐着图像信息；对所述训练图像数据集内的训练图像数据的人体姿态关节点进行检测，获得训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据；根据训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据将人体划分为训练图像数据对应的六个圆形近似区域；基于训练图像数据对应的六个圆形近似区域进行区域特征提取处理，并基于获得的训练图像数据对应的区域特征构建训练姿态特征矩阵；基于所述训练姿态特征矩阵形成训练人体行为特征数据集；将所述训练人体行为特征数据集输入人体行为检测模型中进行训练，直至所述人体行为检测模型收敛为止。
进一步的，所述将所述训练人体行为特征数据集输入人体行为检测模型中进行训练，包括：将所述训练人体行为特征数据集输入人体行为检测模型中之后，通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果；基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果。
进一步的，所述通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果，包括：在所述人体行为检测模型中利用第一特征距离模型对所述训练人体行为特征数据集任意两个训练姿态特征矩阵进行距离计算，获得第一特征距离；基于第一特征距离进行粗略行为分类处理，获得粗略行为分类结果；其中，第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果的公式处理过程如下：
fm,fy表示训练人体行为特征数据集中任意两个训练姿态特征矩阵；j表示训练人体行为特征数据集中非零元素序号，序号从第一行自左向右，自上向下依次排序，共有21个非零元素；i为第j个元素里的夹角、归一化距离和相交情况，i＝1表示夹角，i＝2表示归一化距离，i＝3表示相交情况；l1(fm,fy)表示fm,fy之间的第一特征距离；β为预设第一距离阈值，在l1(fm,fy)小于β时，将fy加入第一领近特征集合中，得到粗略行为分类结果。
进一步的，所述基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果，包括：利用所述第二特征距离模型对所述粗略行为分类结果中任意两个特征矩阵进行特征距离计算，获得第二特征距离；基于第二特征距离进行精细行为分类处理，获得精细行为分类结果；其中，基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果的公式处理过程如下：
gm,gd表示粗略行为分类结果中任意两个训练姿态特征矩阵；F(gd；σ)表示gd的旋转变换；σ表示旋转角度；T表示gd的切空间向量；χ表示预设第二距离阈值；l2(gm,gd)表示gm,gd之间的第二特征距离；当满足l2(gm,gd)小于χ时，将gd加入第二领近特征集合中，得到精细行为分类结果。
具体的，得到训练数据，提取训练数据中的不同人体行为的特征矩阵，包括行走、跌倒、站立、下蹲、跑步、弯腰、捡东西、坐着等日常行为，形成人体行为特征数据集f＝[f1,f2,...fm,...fM]，fm表示第m个人体行为特征数据，共有M个人体行为；在人体行为检测模型中包含有第一特征距离模型和第二特征距离模型，在训练的时候，首先，利用第一特征距离模型得到M种人体行为的邻近特征集合A1＝[a1,a2,...am,...aM]，得到预选的粗略行为分类结果，A1与f一一对应，am存储fm的领近特征集合；如下：
fm,fy表示训练人体行为特征数据集中任意两个训练姿态特征矩阵；j表示训练人体行为特征数据集中非零元素序号，序号从第一行自左向右，自上向下依次排序，共有21个非零元素；i为第j个元素里的夹角、归一化距离和相交情况，i＝1表示夹角，i＝2表示归一化距离，i＝3表示相交情况；l1(fm,fy)表示fm,fy之间的第一特征距离；β为预设第一距离阈值，在l1(fm,fy)小于β时，将fy加入第一领近特征集合中，得到粗略行为分类结果。
然后利用第二特征距离模型对粗略行为分类结果中任意两个特征矩阵进行特征距离计算，得到第二特征距离，根据第二特征距离进行精细行为分类处理，获得精细行为分类结果A2＝[b1,b2,...bm,...bM]；A2与A1一一对应，bm存储am的邻近特征集合，具体如下：
gm,gd表示粗略行为分类结果中任意两个训练姿态特征矩阵；F(gd；σ)表示gd的旋转变换；σ表示旋转角度；T表示gd的切空间向量；χ表示预设第二距离阈值；l2(gm,gd)表示gm,gd之间的第二特征距离；当满足l2(gm,gd)小于χ时，将gd加入第二领近特征集合中，得到精细行为分类结果。
在训练收敛后，将姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测，即可输出人体行为检测结果。
在本发明实施例中，通过人体姿态关节点数据，对人体姿态进行了局部区域圆形近似，将人体划分为六个局部区域，通过分析六个局部圆的位置关系，判断人体行为，简化了行为分析处理数据的复杂度；在人体行为检测模型中建立了第一特征距离模型与第二特征距离模型结合的方式，首先通过第一特征距离模型对人体行为特征进行粗略分类，消除部分差异度大、类间区分特征明显的行为，然后再通过第二特征距离模型对人体行为进行精细分类，提高了人体行为分类识别的准确率。
实施例二
请参阅图2，图2是本发明实施例中的基于边缘计算的人体行为检测装置的结构组成示意图。
如图2所示，一种基于边缘计算的人体行为检测装置，所述装置包括：
关节点检测模块21：用于对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点对应的坐标数据；
在本发明具体实施过程中，所述对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点对应的坐标数据，包括：利用卷积神经网络模型对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点在图像信息中对应的坐标数据；所述人体姿态关节点为按照预设标号顺序进行排序标号的人体姿态关节点，其中，所述人体姿态关节点包括颈部关节点、右肩关节点、右肘关节点、右腕关节点、左肩关节点、左肘关节点、左腕关节点、左臀关节点、左膝关节点、左脚踝关节点、右臀关节点、右膝关节点、右脚踝关节点、右耳关节点、左耳关节点。
具体的，通过卷积神经网络模型来对图像信息中的人体姿态关节点进行检测，并且得到人体姿态关节点及该人体姿态关节点在图像信息中对应的坐标数据；该人体姿态关节点在图像信息中对应的坐标数据如[(x1,y1),(x2,y2),...,(xn,yn),...(xN,yN)]，其中N表示检测到的人体关节点数，n为人体的第n个关节点索引，具体参见图3，将人体姿态关节点为按照预设标号顺序进行排序标号的人体姿态关节点，其中，体姿态关节点包括颈部关节点1、右肩关节点2、右肘关节点3、右腕关节点4、左肩关节点5、左肘关节点6、左腕关节点7、左臀关节点11、左膝关节点12、左脚踝关节点13、右臀关节点8、右膝关节点9、右脚踝关节点10、右耳关节点14、左耳关节点15。
划分模块22：用于基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域；
在本发明具体实施过程中，所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域，包括：根据颈部关节点的坐标、右耳关节点的坐标和左耳关节点的坐标计算划分，获得头部圆形近似区域；根据右肩关节点的坐标、右肘关节点的坐标和右腕关节点的坐标计算划分，获得右臂圆形近似区域；根据颈部关节点的坐标、左臀关节点的坐标和右臀关节点的坐标计算划分，获得胸部圆形近似区域；根据左肩关节点的坐标、左肘关节点的坐标和左腕关节点的坐标计算划分，获得左臂圆形近似区域；根据右臀关节点的坐标、右膝关节点的坐标和右脚踝关节点的坐标计算划分，获得右腿圆形近似区域；根据左臀关节点的坐标、左膝关节点的坐标和左脚踝关节点的坐标计算划分，获得左腿圆形近似区域。
进一步的，所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域的具体计算划分公式如下：
/>
其中，C1表示头部圆形近似区域；O1表示头部圆形近似区域的圆心；R1表示头部圆形近似区域的半径；(x1,y1)表示颈部关节点的坐标；(x14,y14)表示右耳关节点的坐标；(x15,y15)表示左耳关节点的坐标；s(O1,1)表示头部圆形近似区域的圆心到颈部关节点的距离；s(O1,14)表示头部圆形近似区域的圆心到右耳关节点的距离；s(O1,15)表示头部圆形近似区域的圆心到左耳关节点的距离；C2表示头右臂圆形近似区域；O2表示右臂圆形近似区域的圆心；R2表示右臂圆形近似区域的半径；(x2,y2)表示右肩关节点的坐标；(x3,y3)表示右肘关节点的坐标；(x4,y4)表示右腕关节点的坐标；s(O2,2)表示右臂圆形近似区域的圆心到右肩关节点的距离；s(O2,3)表示右臂圆形近似区域的圆心到右肘关节点的距离；s(O2,4)表示右臂圆形近似区域的圆心到右腕关节点的距离；C3表示胸部圆形近似区域；O3表示胸部圆形近似区域的圆心；R3表示胸部圆形近似区域的半径；(x1,y1)表示颈部关节点的坐标；(x8,y8)表示右臀关节点的坐标；(x11,y11)表示左臀关节点的坐标；s(O3,1)表示胸部圆形近似区域的圆心到颈部关节点的距离；s(O3,8)表示胸部圆形近似区域的圆心到右臀关节点的距离；s(O3,11)表示胸部圆形近似区域的圆心到左臀关节点的距离；C4表示左臂圆形近似区域；O4表示左臂圆形近似区域的圆心；R4表示左臂圆形近似区域的半径；(x5,y5)表示左肩关节点的坐标；(x6,y6)表示左肘关节点的坐标；(x7,y7)表示左腕关节点的坐标；s(O4,5)表示左臂圆形近似区域的圆心到左肩关节点的距离；s(O4,6)表示左臂圆形近似区域的圆心到左肘关节点的距离；s(O4,7)表示左臂圆形近似区域的圆心到左腕关节点的距离；C5表示右腿圆形近似区域；O5表示右腿圆形近似区域的圆心；R5表示右腿圆形近似区域的半径；(x8,y8)表示右臀关节点的坐标；(x9,y9)表示右膝关节点的坐标；(x10,y10)表示右脚踝关节点的坐标；s(O5,8)表示右腿圆形近似区域的圆心到右臀关节点的距离；s(O5,9)表示右腿圆形近似区域的圆心到右膝关节点的距离；s(O5,10)表示右腿圆形近似区域的圆心到右脚踝关节点的距离；C6表示左腿圆形近似区域；O6表示左腿圆形近似区域的圆心；R6表示左腿圆形近似区域的半径；(x11,y11)表示左臀关节点的坐标；(x12,y12)表示左膝关节点的坐标；(x13,y13)表示左脚踝关节点的坐标；s(O6,11)表示左腿圆形近似区域的圆心到左臀关节点的距离；s(O6,12)表示左腿圆形近似区域的圆心到左膝关节点的距离；s(O6,13)表示左腿圆形近似区域的圆心到左脚踝关节点的距离。
具体的，如图4所示，根据人体姿态关节点及人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域，具体包括头部圆形近似区域C1、左臂圆形近似区域C4、右臂圆形近似区域C2、胸部圆形近似区域C3、左腿圆形近似区域C6、右腿圆形近似区域C5；其中头部圆形近似区域C1由关节点1、14、15坐标计算得到(当14或15空缺时，由0代替)，右臂圆形近似区域C2由关节点2、3、4坐标计算得到，胸部圆形近似区域C3由关节点1、8、11坐标计算得到，左臂圆形近似区域C4由关节点5、6、7坐标计算得到，右腿圆形近似区域C5由关节点8、9、10坐标计算得到，左腿圆形近似区域C6由关节点11、12、13坐标计算得到，具体计算方法如下：
/>
其中，C1表示头部圆形近似区域；O1表示头部圆形近似区域的圆心；R1表示头部圆形近似区域的半径；(x1,y1)表示颈部关节点的坐标；(x14,y14)表示右耳关节点的坐标；(x15,y15)表示左耳关节点的坐标；s(O1,1)表示头部圆形近似区域的圆心到颈部关节点的距离；s(O1,14)表示头部圆形近似区域的圆心到右耳关节点的距离；s(O1,15)表示头部圆形近似区域的圆心到左耳关节点的距离；C2表示头右臂圆形近似区域；O2表示右臂圆形近似区域的圆心；R2表示右臂圆形近似区域的半径；(x2,y2)表示右肩关节点的坐标；(x3,y3)表示右肘关节点的坐标；(x4,y4)表示右腕关节点的坐标；s(O2,2)表示右臂圆形近似区域的圆心到右肩关节点的距离；s(O2,3)表示右臂圆形近似区域的圆心到右肘关节点的距离；s(O2,4)表示右臂圆形近似区域的圆心到右腕关节点的距离；C3表示胸部圆形近似区域；O3表示胸部圆形近似区域的圆心；R3表示胸部圆形近似区域的半径；(x1,y1)表示颈部关节点的坐标；(x8,y8)表示右臀关节点的坐标；(x11,y11)表示左臀关节点的坐标；s(O3,1)表示胸部圆形近似区域的圆心到颈部关节点的距离；s(O3,8)表示胸部圆形近似区域的圆心到右臀关节点的距离；s(O3,11)表示胸部圆形近似区域的圆心到左臀关节点的距离；C4表示左臂圆形近似区域；O4表示左臂圆形近似区域的圆心；R4表示左臂圆形近似区域的半径；(x5,y5)表示左肩关节点的坐标；(x6,y6)表示左肘关节点的坐标；(x7,y7)表示左腕关节点的坐标；s(O4,5)表示左臂圆形近似区域的圆心到左肩关节点的距离；s(O4,6)表示左臂圆形近似区域的圆心到左肘关节点的距离；s(O4,7)表示左臂圆形近似区域的圆心到左腕关节点的距离；C5表示右腿圆形近似区域；O5表示右腿圆形近似区域的圆心；R5表示右腿圆形近似区域的半径；(x8,y8)表示右臀关节点的坐标；(x9,y9)表示右膝关节点的坐标；(x10,y10)表示右脚踝关节点的坐标；s(O5,8)表示右腿圆形近似区域的圆心到右臀关节点的距离；s(O5,9)表示右腿圆形近似区域的圆心到右膝关节点的距离；s(O5,10)表示右腿圆形近似区域的圆心到右脚踝关节点的距离；C6表示左腿圆形近似区域；O6表示左腿圆形近似区域的圆心；R6表示左腿圆形近似区域的半径；(x11,y11)表示左臀关节点的坐标；(x12,y12)表示左膝关节点的坐标；(x13,y13)表示左脚踝关节点的坐标；s(O6,11)表示左腿圆形近似区域的圆心到左臀关节点的距离；s(O6,12)表示左腿圆形近似区域的圆心到左膝关节点的距离；s(O6,13)表示左腿圆形近似区域的圆心到左脚踝关节点的距离。
矩阵构建模块23：用于对所述六个圆形近似区域分别进行区域特征提取处理，并基于获得的区域特征构建姿态特征矩阵；
在本发明具体实施过程中，所述对所述六个圆形近似区域分别进行区域特征提取处理，并基于获得的区域特征构建姿态特征矩阵，包括：提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心连线与图像信息的水平方向的夹角；提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心之间的归一化距离；提取所述六个圆形近似区域的每两个圆形近似区域之间的相交情况；基于所述夹角、所述归一化距离和所述相交情况组成姿态特征矩阵。
具体的，对六个圆形近似区域进行特征提取，即提取每两个圆心连接线与图像水平方向的夹角θ，提取每两个圆心之间的归一化距离L，提取每两个圆之间的相交情况(相交记为1，不相交记为0)I，组成人体行为特征矩阵q，将人体行为特征的表示简化为人体区域圆之间的关系变化。
人体行为检测模块24：用于将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测，输出人体行为检测结果。
在本发明具体实施过程中，所述人体行为检测模型的训练过程包括：获得训练图像数据集，所述训练图像数据集包含有行走图像信息、跌倒图像信息、站立图像信息、下蹲图像信息、跑步图像信息、弯腰图像信息、捡东西图像信息、坐着图像信息；对所述训练图像数据集内的训练图像数据的人体姿态关节点进行检测，获得训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据；根据训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据将人体划分为训练图像数据对应的六个圆形近似区域；基于训练图像数据对应的六个圆形近似区域进行区域特征提取处理，并基于获得的训练图像数据对应的区域特征构建训练姿态特征矩阵；基于所述训练姿态特征矩阵形成训练人体行为特征数据集；将所述训练人体行为特征数据集输入人体行为检测模型中进行训练，直至所述人体行为检测模型收敛为止。
进一步的，所述将所述训练人体行为特征数据集输入人体行为检测模型中进行训练，包括：将所述训练人体行为特征数据集输入人体行为检测模型中之后，通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果；基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果。
进一步的，所述通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果，包括：在所述人体行为检测模型中利用第一特征距离模型对所述训练人体行为特征数据集任意两个训练姿态特征矩阵进行距离计算，获得第一特征距离；基于第一特征距离进行粗略行为分类处理，获得粗略行为分类结果；其中，第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果的公式处理过程如下：
fm,fy表示训练人体行为特征数据集中任意两个训练姿态特征矩阵；j表示训练人体行为特征数据集中非零元素序号，序号从第一行自左向右，自上向下依次排序，共有21个非零元素；i为第j个元素里的夹角、归一化距离和相交情况，i＝1表示夹角，i＝2表示归一化距离，i＝3表示相交情况；l1(fm,fy)表示fm,fy之间的第一特征距离；β为预设第一距离阈值，在l1(fm,fy)小于β时，将fy加入第一领近特征集合中，得到粗略行为分类结果。
进一步的，所述基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果，包括：利用所述第二特征距离模型对所述粗略行为分类结果中任意两个特征矩阵进行特征距离计算，获得第二特征距离；基于第二特征距离进行精细行为分类处理，获得精细行为分类结果；其中，基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果的公式处理过程如下：
gm,gd表示粗略行为分类结果中任意两个训练姿态特征矩阵；F(gd；σ)表示gd的旋转变换；σ表示旋转角度；T表示gd的切空间向量；χ表示预设第二距离阈值；l2(gm,gd)表示gm,gd之间的第二特征距离；当满足l2(gm,gd)小于χ时，将gd加入第二领近特征集合中，得到精细行为分类结果。
具体的，得到训练数据，提取训练数据中的不同人体行为的特征矩阵，包括行走、跌倒、站立、下蹲、跑步、弯腰、捡东西、坐着等日常行为，形成人体行为特征数据集f＝[f1,f2,...fm,...fM]，fm表示第m个人体行为特征数据，共有M个人体行为；在人体行为检测模型中包含有第一特征距离模型和第二特征距离模型，在训练的时候，首先，利用第一特征距离模型得到M种人体行为的邻近特征集合A1＝[a1,a2,...am,...aM]，得到预选的粗略行为分类结果，A1与f一一对应，am存储fm的领近特征集合；如下：
fm,fy表示训练人体行为特征数据集中任意两个训练姿态特征矩阵；j表示训练人体行为特征数据集中非零元素序号，序号从第一行自左向右，自上向下依次排序，共有21个非零元素；i为第j个元素里的夹角、归一化距离和相交情况，i＝1表示夹角，i＝2表示归一化距离，i＝3表示相交情况；l1(fm,fy)表示fm,fy之间的第一特征距离；β为预设第一距离阈值，在l1(fm,fy)小于β时，将fy加入第一领近特征集合中，得到粗略行为分类结果。
然后利用第二特征距离模型对粗略行为分类结果中任意两个特征矩阵进行特征距离计算，得到第二特征距离，根据第二特征距离进行精细行为分类处理，获得精细行为分类结果A2＝[b1,b2,...bm,...bM]；A2与A1一一对应，bm存储am的邻近特征集合，具体如下：
gm,gd表示粗略行为分类结果中任意两个训练姿态特征矩阵；F(gd；σ)表示gd的旋转变换；σ表示旋转角度；T表示gd的切空间向量；χ表示预设第二距离阈值；l2(gm,gd)表示gm,gd之间的第二特征距离；当满足l2(gm,gd)小于χ时，将gd加入第二领近特征集合中，得到精细行为分类结果。
在训练收敛后，将姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测，即可输出人体行为检测结果。
在本发明实施例中，通过人体姿态关节点数据，对人体姿态进行了局部区域圆形近似，将人体划分为六个局部区域，通过分析六个局部圆的位置关系，判断人体行为，简化了行为分析处理数据的复杂度；在人体行为检测模型中建立了第一特征距离模型与第二特征距离模型结合的方式，首先通过第一特征距离模型对人体行为特征进行粗略分类，消除部分差异度大、类间区分特征明显的行为，然后再通过第二特征距离模型对人体行为进行精细分类，提高了人体行为分类识别的准确率。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种基于边缘计算的人体行为检测方法及装置进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于边缘计算的人体行为检测方法，其特征在于，所述方法包括：
对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点对应的坐标数据；
基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域，所述六个圆形近似区域分别为头部圆形近似区域、左臂圆形近似区域、右臂圆形近似区域、胸部圆形近似区域、左腿圆形近似区域、右腿圆形近似区域；
对所述六个圆形近似区域分别进行区域特征提取处理，并基于获得的区域特征构建姿态特征矩阵；
将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测，输出人体行为检测结果；
所述人体行为检测模型的训练过程包括：
获得训练图像数据集，所述训练图像数据集包含有行走图像信息、跌倒图像信息、站立图像信息、下蹲图像信息、跑步图像信息、弯腰图像信息、捡东西图像信息、坐着图像信息；
对所述训练图像数据集内的训练图像数据的人体姿态关节点进行检测，获得训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据；
根据训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据将人体划分为训练图像数据对应的六个圆形近似区域；
基于训练图像数据对应的六个圆形近似区域进行区域特征提取处理，并基于获得的训练图像数据对应的区域特征构建训练姿态特征矩阵；
基于所述训练姿态特征矩阵形成训练人体行为特征数据集；
将所述训练人体行为特征数据集输入人体行为检测模型中进行训练，直至所述人体行为检测模型收敛为止；
所述将所述训练人体行为特征数据集输入人体行为检测模型中进行训练，包括：
将所述训练人体行为特征数据集输入人体行为检测模型中之后，通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果；
基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果；
所述通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果，包括：
在所述人体行为检测模型中利用第一特征距离模型对所述训练人体行为特征数据集任意两个训练姿态特征矩阵进行距离计算，获得第一特征距离；
基于第一特征距离进行粗略行为分类处理，获得粗略行为分类结果；
其中，第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果的公式处理过程如下：
；
表示训练人体行为特征数据集中任意两个训练姿态特征矩阵；/>表示训练人体行为特征数据集中非零元素序号，序号从第一行自左向右，自上向下依次排序，共有21个非零元素；/>为第/>个元素里的夹角、归一化距离和相交情况，i=1表示夹角，i=2表示归一化距离，i=3表示相交情况；/>表示/>之间的第一特征距离；/>为预设第一距离阈值，在小于/>时，将/>加入第一领近特征集合中，得到粗略行为分类结果；
所述基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果，包括：
利用所述第二特征距离模型对所述粗略行为分类结果中任意两个特征矩阵进行特征距离计算，获得第二特征距离；
基于第二特征距离进行精细行为分类处理，获得精细行为分类结果；
其中，基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果的公式处理过程如下：
；
表示粗略行为分类结果中任意两个训练姿态特征矩阵；/>表示/>的旋转变换；/>表示旋转角度；/>表示/>的切空间向量；/>表示预设第二距离阈值；/>表示之间的第二特征距离；当满足/>小于/>时，将/>加入第二领近特征集合中，得到精细行为分类结果。
2.根据权利要求1所述的人体行为检测方法，其特征在于，所述对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点对应的坐标数据，包括：
利用卷积神经网络模型对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点在图像信息中对应的坐标数据；
所述人体姿态关节点为按照预设标号顺序进行排序标号的人体姿态关节点，其中，所述人体姿态关节点包括颈部关节点、右肩关节点、右肘关节点、右腕关节点、左肩关节点、左肘关节点、左腕关节点、左臀关节点、左膝关节点、左脚踝关节点、右臀关节点、右膝关节点、右脚踝关节点、右耳关节点、左耳关节点。
3.根据权利要求1所述的人体行为检测方法，其特征在于，所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域，包括：
根据颈部关节点的坐标、右耳关节点的坐标和左耳关节点的坐标计算划分，获得头部圆形近似区域；
根据右肩关节点的坐标、右肘关节点的坐标和右腕关节点的坐标计算划分，获得右臂圆形近似区域；
根据颈部关节点的坐标、左臀关节点的坐标和右臀关节点的坐标计算划分，获得胸部圆形近似区域；
根据左肩关节点的坐标、左肘关节点的坐标和左腕关节点的坐标计算划分，获得左臂圆形近似区域；
根据右臀关节点的坐标、右膝关节点的坐标和右脚踝关节点的坐标计算划分，获得右腿圆形近似区域；
根据左臀关节点的坐标、左膝关节点的坐标和左脚踝关节点的坐标计算划分，获得左腿圆形近似区域。
4.根据权利要求3所述的人体行为检测方法，其特征在于，所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域的具体计算划分公式如下：
；
；
；
；
；
；
其中，表示头部圆形近似区域；/>表示头部圆形近似区域的圆心；/>表示头部圆形近似区域的半径；/>表示颈部关节点的坐标；/>表示右耳关节点的坐标；表示左耳关节点的坐标；/>表示头部圆形近似区域的圆心到颈部关节点的距离；/>表示头部圆形近似区域的圆心到右耳关节点的距离；/>表示头部圆形近似区域的圆心到左耳关节点的距离；/>表示头右臂圆形近似区域；/>表示右臂圆形近似区域的圆心；/>表示右臂圆形近似区域的半径；/>表示右肩关节点的坐标；表示右肘关节点的坐标；/>表示右腕关节点的坐标；/>表示右臂圆形近似区域的圆心到右肩关节点的距离；/>表示右臂圆形近似区域的圆心到右肘关节点的距离；/>表示右臂圆形近似区域的圆心到右腕关节点的距离；/>表示胸部圆形近似区域；/>表示胸部圆形近似区域的圆心；/>表示胸部圆形近似区域的半径；/>表示颈部关节点的坐标；/>表示右臀关节点的坐标；/>表示左臀关节点的坐标；/>表示胸部圆形近似区域的圆心到颈部关节点的距离；/>表示胸部圆形近似区域的圆心到右臀关节点的距离；/>表示胸部圆形近似区域的圆心到左臀关节点的距离；/>表示左臂圆形近似区域；/>表示左臂圆形近似区域的圆心；/>表示左臂圆形近似区域的半径；/>表示左肩关节点的坐标；/>表示左肘关节点的坐标；表示左腕关节点的坐标；/>表示左臂圆形近似区域的圆心到左肩关节点的距离；/>表示左臂圆形近似区域的圆心到左肘关节点的距离；/>表示左臂圆形近似区域的圆心到左腕关节点的距离；/>表示右腿圆形近似区域；/>表示右腿圆形近似区域的圆心；/>表示右腿圆形近似区域的半径；/>表示右臀关节点的坐标；/>表示右膝关节点的坐标；/>表示右脚踝关节点的坐标；/>表示右腿圆形近似区域的圆心到右臀关节点的距离；/>表示右腿圆形近似区域的圆心到右膝关节点的距离；/>表示右腿圆形近似区域的圆心到右脚踝关节点的距离；/>表示左腿圆形近似区域；/>表示左腿圆形近似区域的圆心；/>表示左腿圆形近似区域的半径；/>表示左臀关节点的坐标；/>表示左膝关节点的坐标；/>表示左脚踝关节点的坐标；/>表示左腿圆形近似区域的圆心到左臀关节点的距离；/>表示左腿圆形近似区域的圆心到左膝关节点的距离；/>表示左腿圆形近似区域的圆心到左脚踝关节点的距离。
5.根据权利要求1所述的人体行为检测方法，其特征在于，所述对所述六个圆形近似区域分别进行区域特征提取处理，并基于获得的区域特征构建姿态特征矩阵，包括：
提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心连线与图像信息的水平方向的夹角；
提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心之间的归一化距离；
提取所述六个圆形近似区域的每两个圆形近似区域之间的相交情况；
基于所述夹角、所述归一化距离和所述相交情况组成姿态特征矩阵。
6.一种基于边缘计算的人体行为检测装置，其特征在于，所述装置包括：
关节点检测模块：用于对图像信息中的人体姿态关节点进行检测，获得人体姿态关节点及所述人体姿态关节点对应的坐标数据；
划分模块：用于基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域，所述六个圆形近似区域分别为头部圆形近似区域、左臂圆形近似区域、右臂圆形近似区域、胸部圆形近似区域、左腿圆形近似区域、右腿圆形近似区域；
矩阵构建模块：用于对所述六个圆形近似区域分别进行区域特征提取处理，并基于获得的区域特征构建姿态特征矩阵；
人体行为检测模块：用于将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测，输出人体行为检测结果；
所述人体行为检测模型的训练过程包括：
获得训练图像数据集，所述训练图像数据集包含有行走图像信息、跌倒图像信息、站立图像信息、下蹲图像信息、跑步图像信息、弯腰图像信息、捡东西图像信息、坐着图像信息；
对所述训练图像数据集内的训练图像数据的人体姿态关节点进行检测，获得训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据；
根据训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据将人体划分为训练图像数据对应的六个圆形近似区域；
基于训练图像数据对应的六个圆形近似区域进行区域特征提取处理，并基于获得的训练图像数据对应的区域特征构建训练姿态特征矩阵；
基于所述训练姿态特征矩阵形成训练人体行为特征数据集；
将所述训练人体行为特征数据集输入人体行为检测模型中进行训练，直至所述人体行为检测模型收敛为止；
所述将所述训练人体行为特征数据集输入人体行为检测模型中进行训练，包括：
将所述训练人体行为特征数据集输入人体行为检测模型中之后，通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果；
基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果；
所述通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果，包括：
在所述人体行为检测模型中利用第一特征距离模型对所述训练人体行为特征数据集任意两个训练姿态特征矩阵进行距离计算，获得第一特征距离；
基于第一特征距离进行粗略行为分类处理，获得粗略行为分类结果；
其中，第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理，获得粗略行为分类结果的公式处理过程如下：
；
表示训练人体行为特征数据集中任意两个训练姿态特征矩阵；/>表示训练人体行为特征数据集中非零元素序号，序号从第一行自左向右，自上向下依次排序，共有21个非零元素；/>为第/>个元素里的夹角、归一化距离和相交情况，i=1表示夹角，i=2表示归一化距离，i=3表示相交情况；/>表示/>之间的第一特征距离；/>为预设第一距离阈值，在小于/>时，将/>加入第一领近特征集合中，得到粗略行为分类结果；
所述基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果，包括：
利用所述第二特征距离模型对所述粗略行为分类结果中任意两个特征矩阵进行特征距离计算，获得第二特征距离；
基于第二特征距离进行精细行为分类处理，获得精细行为分类结果；
其中，基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理，获得精细行为分类结果的公式处理过程如下：
；
表示粗略行为分类结果中任意两个训练姿态特征矩阵；/>表示/>的旋转变换；/>表示旋转角度；/>表示/>的切空间向量；/>表示预设第二距离阈值；/>表示之间的第二特征距离；当满足/>小于/>时，将/>加入第二领近特征集合中，得到精细行为分类结果。
CN202110389062.6A 2021-04-12 2021-04-12 一种基于边缘计算的人体行为检测方法及装置 Active CN113177442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110389062.6A CN113177442B (zh) 2021-04-12 2021-04-12 一种基于边缘计算的人体行为检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110389062.6A CN113177442B (zh) 2021-04-12 2021-04-12 一种基于边缘计算的人体行为检测方法及装置

Publications (2)

Publication Number Publication Date
CN113177442A CN113177442A (zh) 2021-07-27
CN113177442B true CN113177442B (zh) 2024-01-30

Family

ID=76925022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110389062.6A Active CN113177442B (zh) 2021-04-12 2021-04-12 一种基于边缘计算的人体行为检测方法及装置

Country Status (1)

Country Link
CN (1) CN113177442B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899575A (zh) * 2015-06-19 2015-09-09 南京大学 一种基于人脸检测和关键点定位的人体组件划分方法
CN104899600A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种基于深度图的手部特征点检测方法
CN105095827A (zh) * 2014-04-18 2015-11-25 汉王科技股份有限公司 人脸表情识别装置和方法
CN108764249A (zh) * 2018-04-23 2018-11-06 云南民族大学 一种旋转不变多源影像局部特征描述方法、系统和装置
CN109697434A (zh) * 2019-01-07 2019-04-30 腾讯科技（深圳）有限公司 一种行为识别方法、装置和存储介质
WO2019088333A1 (ko) * 2017-11-03 2019-05-09 전자부품연구원 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
CN109919141A (zh) * 2019-04-09 2019-06-21 广东省智能制造研究所 一种基于骨架姿态的行人再识别方法
CN110751115A (zh) * 2019-10-24 2020-02-04 北京金茂绿建科技有限公司 一种无接触式人体行为识别方法和系统
CN110807444A (zh) * 2019-12-06 2020-02-18 太原师范学院 一种基于dsp边缘计算的行人异常行为检测系统和方法
WO2020077822A1 (zh) * 2018-10-17 2020-04-23 深圳壹账通智能科技有限公司 图像特征配置及校验方法、装置、计算机设备及介质
CN111222379A (zh) * 2018-11-27 2020-06-02 株式会社日立制作所 一种手部检测方法及装置
CN111931701A (zh) * 2020-09-11 2020-11-13 平安国际智慧城市科技股份有限公司 基于人工智能的姿态识别方法、装置、终端和存储介质
CN112084984A (zh) * 2020-09-15 2020-12-15 山东鲁能软件技术有限公司 一种基于改进的Mask RCNN的扶梯动作检测方法
CN112163564A (zh) * 2020-10-26 2021-01-01 燕山大学 基于人体关键点行为识别与lstm的跌倒预判方法
CN112632532A (zh) * 2020-12-28 2021-04-09 重庆邮电大学 边缘计算中基于深度森林的用户异常行为检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI704499B (zh) * 2019-07-25 2020-09-11 和碩聯合科技股份有限公司 關節點偵測方法及裝置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095827A (zh) * 2014-04-18 2015-11-25 汉王科技股份有限公司 人脸表情识别装置和方法
CN104899600A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种基于深度图的手部特征点检测方法
CN104899575A (zh) * 2015-06-19 2015-09-09 南京大学 一种基于人脸检测和关键点定位的人体组件划分方法
WO2019088333A1 (ko) * 2017-11-03 2019-05-09 전자부품연구원 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
CN108764249A (zh) * 2018-04-23 2018-11-06 云南民族大学 一种旋转不变多源影像局部特征描述方法、系统和装置
WO2020077822A1 (zh) * 2018-10-17 2020-04-23 深圳壹账通智能科技有限公司 图像特征配置及校验方法、装置、计算机设备及介质
CN111222379A (zh) * 2018-11-27 2020-06-02 株式会社日立制作所 一种手部检测方法及装置
CN109697434A (zh) * 2019-01-07 2019-04-30 腾讯科技（深圳）有限公司 一种行为识别方法、装置和存储介质
CN109919141A (zh) * 2019-04-09 2019-06-21 广东省智能制造研究所 一种基于骨架姿态的行人再识别方法
CN110751115A (zh) * 2019-10-24 2020-02-04 北京金茂绿建科技有限公司 一种无接触式人体行为识别方法和系统
CN110807444A (zh) * 2019-12-06 2020-02-18 太原师范学院 一种基于dsp边缘计算的行人异常行为检测系统和方法
CN111931701A (zh) * 2020-09-11 2020-11-13 平安国际智慧城市科技股份有限公司 基于人工智能的姿态识别方法、装置、终端和存储介质
CN112084984A (zh) * 2020-09-15 2020-12-15 山东鲁能软件技术有限公司 一种基于改进的Mask RCNN的扶梯动作检测方法
CN112163564A (zh) * 2020-10-26 2021-01-01 燕山大学 基于人体关键点行为识别与lstm的跌倒预判方法
CN112632532A (zh) * 2020-12-28 2021-04-09 重庆邮电大学 边缘计算中基于深度森林的用户异常行为检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于耦合多隐马尔可夫模型和深度图像数据的人体动作识别;张全贵;蔡丰;李志强;;计算机应用(第02期);全文 *
融合交互信息和能量特征的三维复杂人体行为识别;王永雄;曾艳;李璇;尹钟;张孙杰;刘丽;;小型微型计算机系统(第08期);全文 *

Also Published As

Publication number Publication date
CN113177442A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN106570477B (zh) 基于深度学习的车型识别模型构建方法及车型识别方法
CN106023220B (zh) 一种基于深度学习的车辆外观部件图像分割方法
CN106384093B (zh) 一种基于降噪自动编码器和粒子滤波的人体动作识别方法
WO2022001123A1 (zh) 关键点检测方法、装置、电子设备及存储介质
CN107832672A (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
CN107609541A (zh) 一种基于可变形卷积神经网络的人体姿态估计方法
CN103279768B (zh) 一种基于增量学习人脸分块视觉表征的视频人脸识别方法
CN108268838A (zh) 人脸表情识别方法及人脸表情识别系统
CN112784736B (zh) 一种多模态特征融合的人物交互行为识别方法
CN105894047A (zh) 一种基于三维数据的人脸分类系统
CN103927511A (zh) 基于差异特征描述的图像识别方法
CN111563452A (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
US8953852B2 (en) Method for face recognition
CN107808376A (zh) 一种基于深度学习的举手检测方法
CN112395977A (zh) 基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法
CN107392151A (zh) 基于神经网络的人脸影像多维度情感判别系统及方法
CN113065431B (zh) 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法
CN108846831A (zh) 基于统计特征和图像特征相结合的带钢表面缺陷分类方法
CN107818299A (zh) 基于融合hog特征和深度信念网络的人脸识别算法
CN108762503A (zh) 一种基于多模态数据采集的人机交互系统
CN111985402B (zh) 一种变电站安全围栏翻越行为识别方法、系统及设备
CN111612747A (zh) 产品表面裂缝快速检测方法及检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant