CN116108391A - 一种基于无监督学习的人体姿态分类识别系统 - Google Patents
一种基于无监督学习的人体姿态分类识别系统 Download PDFInfo
- Publication number
- CN116108391A CN116108391A CN202310383064.3A CN202310383064A CN116108391A CN 116108391 A CN116108391 A CN 116108391A CN 202310383064 A CN202310383064 A CN 202310383064A CN 116108391 A CN116108391 A CN 116108391A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- module
- classification
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于无监督学习的人体姿态分类识别系统,涉及了机器学习技术领域,包括识别终端,所述识别终端通信连接有数据采集模块,数据处理模块,模型构建模块以及分类识别模块;在数据采集模块设置两种采集方法采集姿态数据,在数据处理模块分别采用两种数据加工方法对采集的姿态数据进行数据加工生成建模数据,在模型构建模块根据建模数据构建出人体姿态模型并输入至分类识别模块,通过分类识别模块设置的状态识别模型对人体姿态模型进行分类识别。
Description
技术领域
本发明涉及人体姿态分类识别技术领域,具体是一种基于无监督学习的人体姿态分类识别系统。
背景技术
现实生活中常常会有这样的问题:缺乏足够的先验知识,因此难以人工标注类别或进行人工类别标注的成本太高,很自然地,我们希望计算机能代替我们完成这些工作,或至少提供一些帮助,根据类别未知或者未被标记的训练样本解决姿态识别中的各种问题,称之为无监督学习;
由于人的肢体灵活度异常复杂,且人与人之间存在体型差异,现有的人体姿态分类识别方法对一连串的多个动作难以识别,此外,进行识别时周围的环境因素对识别也会造成很大的影响,对采集到的人体姿态数据进行合理的建模也会提升后续识别的精准度,如何利用无监督学习技术,有目的性的去采集不同人群的人体姿态数据,依据人体姿态数据建立合理的模型,由构建的模型对人体姿态进行分类识别,是我们需要考虑的问题,为此,现提供一种基于无监督学习的人体姿态分类识别系统。
发明内容
为了解决上述问题,本发明的目的在于提供一种基于无监督学习的人体姿态分类识别系统。
本发明的目的可以通过以下技术方案实现:一种基于无监督学习的人体姿态分类识别系统,包括识别终端,所述识别终端通信连接有数据采集模块,数据处理模块,模型构建模块以及分类识别模块;
所述数据采集模块用于对姿态数据进行采集;
所述数据处理模块用于对采集的姿态数据进行转化并生成建模数据;
所述模型构建模块用于根据建模数据构建人体姿态模型;
所述分类识别模块用于对模型构建模块所生成的人体姿态模型进行分类识别。
进一步的,所述数据采集模块设置有直接接触采集和间接摄录采集;
所述直接接触采集通过移动设备终端和传感交互套装采集姿态数据,并设置采集类型标记direct;
所述间接摄录采集通过摄像采集仪和热成像记录仪采集姿态数据,并设置采集类型标记indirect。
进一步的,直接接触采集的过程包括:
被采集人正确穿戴传感交互套装,并在移动设备终端中输入用户信息后建立临时交互空间;
临时交互空间与识别终端之间设置有双向数据信息通道,通过双向数据信息通道将用户信息和传感交互套装采集的压力信号上传至识别终端;
将用户信息存储于识别终端,根据压力信号和用户信息生成反馈信号发送给传感交互套装,被采集人依据反馈信号对传感交互套装进行智能调整,并生成特定化佩戴方案;
特定化佩戴方案生成后,销毁临时交互空间并建立持久交互空间,持久交互空间与数据处理模块之间设置有单向数据信息通道;
将传感交互套装采集的各区域数据合并采集类型标记生成姿态数据并上传至数据处理模块。
进一步的,间接摄录采集的过程包括:
通过摄像采集仪记录被采集人各方位视频合并为全景视频上传至识别终端并存储;
通过热成像记录仪记录被采集人发出的红外辐射,红外辐射由不同数值的热源信息组成,热源信息设置有热源阈值;
将采集的红外辐射合并采集类型标记生成姿态数据并上传至数据处理模块。
进一步的,所述数据处理模块设置有分析单元和加工单元;
所述分析单元对姿态数据分析后获取其采集类型标记,根据采集类型标记配置相应的数据加工方法;
所述加工单元根据数据加工方法对姿态数据进行加工并生成建模数据。
进一步的,所述分析单元根据采集类型标记配置数据加工方法的过程包括:
若采集类型标记为direct,则对姿态数据进行“坐标化”的数据加工方法配置;
若采集类型标记为indirect,则对姿态数据进行“灰度化”的数据加工方法配置。
进一步的,所述加工单元根据数据加工方法对姿态数据进行加工并生成建模数据的过程包括:
通过“坐标化”将姿态数据解构为区域数据并对各区域数据建立笛卡尔坐标系;
将各区域数据二次解构为区域信号并映射在笛卡尔坐标系的坐标轴上,获取坐标轴上映射的区域信号生成区域坐标集合,汇总区域坐标集合生成建模数据α;
将姿态数据包括的红外辐射提取,根据红外辐射中的不同数值的热源信息生成红外姿态图;
将红外姿态图缩小至标准尺度,剔除数值低于热源阈值的热源信息生成待处理图;
将待处理图进行“灰度化”处理生成灰度图,将灰度图作为建模数据β;
将建模数据α和建模数据β封装于设置好的数据文件夹中并上传至模型构建模块。
进一步的,所述模型构建模块根据建模数据构建人体姿态模型的过程包括:
获取数据文件夹中的建模数据α和建模数据β;
获取建模数据α中的区域坐标集合分别构建上部姿态模型,身部姿态模型和下部姿态模型;
将上部姿态模型,身部姿态模型和下部姿态模型合并为人体姿态模型;
获取建模数据β所包括的灰度图,根据灰度图生成人体骨架图和人体肌肉图,合并人体骨架图和人体肌肉图生成人体姿态模型;
将建模数据α和建模数据β所生成的人体姿态模型合并输入至分类识别模块。
进一步的,所述分类识别模块对人体姿态模型进行分类识别的过程包括:
所述分类识别模块设置有状态识别模型,所述状态识别模型设置有状态集合和概率矩阵;
所述状态集合分为隐含状态和可观测状态,将固定个数的人体姿态模型作为隐含状态输入至状态识别模型中;
获取识别终端中的全景视频并分为若干单元的图片帧,对图片帧赋值相应的分类标识,将固定个数图片帧作为可观测状态输入至状态识别模型中;
所述概率矩阵包括初始状态概率矩阵π, 隐含状态转移概率矩阵λ和观测状态转移概率矩阵μ;
将初始状态概率矩阵π设置为空;
设置概率函数和时间区间,将同一时间区间的人体姿态模型和图片帧分别编号并根据概率函数获得其概率,得到隐含状态转移概率矩阵λ和观测状态转移概率矩阵μ;
将隐含状态转移概率矩阵λ和观测状态转移概率矩阵μ进行比较,为人体姿态模型关联相应分类标识。
进一步的,隐含状态转移概率矩阵和观测状态转移概率矩阵进行比较的过程包括:
当初始状态概率矩阵不为空时,比较隐含状态转移概率矩阵λ和观测状态转移概率矩阵μ;
若λ≡μ,则获取观测状态转移概率矩阵μ的每一列,读取每列所代表图片帧的分类标识,将隐含状态转移概率矩阵λ的每一列所代表的人体姿态模型与μ的相应列的分类标识相关联;
若λ=μ,将λ和μ每一列进行比较,将概率数值相等的列上的λ的人体姿态模型与μ的分类标识相关联,将概率数值不相等的列的个数记为Ω;
若λ≠μ,设置Ω=3,Ω∈[1,3],当Ω≥2时,则获取下一时间区间,重新输入固定个数的人体姿态模型和图片帧至状态识别模型中,生成新的概率矩阵λ和μ。
与现有技术相比,本发明的有益效果是:通过传感交互套装生成的压力信号和被采集人在移动设备终端中输入的用户信息,生成特定化的佩戴方案,减少了数据采集阶段因为人的体型差异而造成的影响;采用两种数据加工方法对采集的数据进行加工生成建模数据,提高了建模数据的精确度,其中,利用“灰度化”的数据加工方法剔除环境和衣物对建模数据的影响;在模型构建阶段,分别对两种数据加工方法生成的建模数据进行模型的构建,再合并为一个模型,使得构建的模型更为合理;在分类识别阶段设置状态识别模型,状态识别模型的设置使得一连串的人体姿态识别得到有效解决,从而实现了无监督学习的人体姿态分类识别。
附图说明
图1为本发明的原理图。
具体实施方式
如图1所示,一种基于无监督学习的人体姿态分类识别系统,包括识别终端,所述识别终端通信连接有数据采集模块,数据处理模块,模型构建模块以及分类识别模块;
所述数据采集模块用于录入用户信息并根据用户信息进行特定化的姿态数据采集,具体过程包括:
所述数据采集模块设置有移动设备终端,摄像采集仪,热成像记录仪以及传感交互套装;
姿态数据的采集可以通过两种采集方式去实现,分别为直接接触采集和间接摄录采集,两种采集方式设置有对应的采集类型标记,采集类型标记包括直接标记和间接标记,直接标记,记为direct,间接标记,记为indirect;
具体的,直接接触采集的具体过程为:
被采集人进行传感交互套装的正确穿戴,所述传感交互套装上设置有压力传感器,加速度传感器和角动量传感器;
所述传感交互套装由智能交互上装,智能交互下装和智能交互运动鞋组成;
被采集人分别进行智能交互上装,智能交互下装和智能交互运动鞋的正确穿戴,并在移动设备终端中输入用户信息后建立起临时交互空间;
临时交互空间与识别终端建立有双向数据信息通道,通过双向数据信息通道可以将压力传感器生成的压力信号和移动设备终端中输入的用户信息上传至识别终端;
识别终端接收压力信号和用户信息,将用户信息存储于识别终端中,根据压力信号和用户信息生成相应的反馈信号发送给传感交互套装,被采集人依据反馈信号对传感交互套装进行智能调整,并生成特定化佩戴方案;
所述反馈信号包括“正反馈信号”和“负反馈信号”,反馈信号对应有相应的智能调整,所述智能调整包括“正向调整”和“反向调整”;
获取压力信号,每次截取两个单位的压力信号,记录第一个单位的压力信号为PRE,设置有数值A,第二个单位的压力信号为REAR,设置有数值B,获取反馈信号值,记为C,C=A-B;
若C>0,则表示反馈信号为“负反馈信号”,对应“反向调整”的智能操作,即进行传感交互套装的缩紧调整;
若C<0,则表示反馈信号为“正反馈信号”,对应“正向调整”的智能操作,即进行传感交互套装的宽松调整;
若C=0,截取第三个单位的压力信号,剔除第一个单位的压力信号,将第二个单位的压力信号设置为PRE,第三个单位的压力信号设置为REAR,继续进行反馈信号值C的判断。
需要进一步说明的是,特定化佩戴方案是依据被采集人输入的用户信息间接产生的,其与每个人有唯一的特定化对应关系,充分考虑了被采集人个体之间的差异,达到了精确采集姿态数据的目的,所述用户信息包括用户身高,用户体重,用户三围,用户年龄,用户性别以及用户鞋码,正确穿戴即为生成特定化佩戴方案的穿戴,除此之外的传感交互设备穿戴皆为非正确穿戴,非正确穿戴会发出告警提示音“还未达到最佳佩戴状态,请您稍等”,直到为正确穿戴后,告警提示音消失;
当特定化佩戴方案生成后,销毁临时交互空间并建立持久交互空间,持久交互空间与数据处理模块之间设置有单向数据信息通道;
智能交互上装布置的压力传感器,加速度传感器以及角动量传感器分别采集压力信号,加速度信号以及角动量信号并生成第一区域压力信号,第一区域加速度信号以及第一区域角动量信号,汇总上述信号为第一区域数据;
智能交互下装布置的压力传感器,加速度传感器以及角动量传感器分别采集压力信号,加速度信号以及角动量信号并生成第二区域压力信号,第二区域加速度信号以及第二区域角动量信号,汇总上述信号为第二区域数据;
智能交互运动鞋布置的压力传感器,加速度传感器以及角动量传感器分别采集压力信号,加速度信号以及角动量信号并生成第三区域压力信号,第三区域加速度信号以及第三区域角动量信号,汇总上述信号为第三区域数据;
汇总第一区域数据,第二区域数据,第三区域数据以及直接标记direct生成姿态数据,通过单向数据信息通道将姿态数据上传至数据处理模块进行处理。
具体的,间接摄录采集的过程为:
所述摄像采集仪分别布置在被采集人的前方,后方以及上方,每个摄像采集仪的采集角度为120°;
前方,后方以及上方摄像采集仪分别采集生成第一方位视频,第二方位视频和第三方位视频;
将第一方位视频,第二方位视频和第三方位视频合并生成2K全景视频上传至识别终端;
所述热成像记录仪对被采集人发出的红外辐射进行记录,不同的人体姿态对应有相应的红外辐射;
所述红外辐射由数值不一的热源信息组成,热源信息设置有热源阈值;
获取各种人体姿态下的红外辐射,合并间接标记indirect生成姿态数据,将姿态数据上传至数据处理模块;
需要进一步说明的是,上传至识别终端的2K全景视频用于作为后续分类识别模块的辅助处理手段,借助2K全景视频可以对模型进行更加精确的构建,使分类识别的准确率更高。
所述数据处理模块用于将获取到的姿态数据转化为建模数据,具体过程包括:
所述数据处理模块设置有分析单元和加工单元;
所述分析单元对姿态数据进行分析后获取其对应的采集类型标记,依据采集类型标记配置相应的数据加工方法;
具体的,根据采集类型标记配置数据加工方法的过程为:
若采集类型标记为direct,则对姿态数据进行“坐标化”的数据加工方法配置;
若采集类型标记为indirect,则对姿态数据进行“灰度化”的数据加工方法配置;
所述加工单元根据不同的数据加工方法对姿态数据进行加工处理并生成建模数据;
具体的,采用“坐标化”数据加工方法生成建模数据的过程为:
将姿态数据解构成第一区域数据,第二区域数据和第三区域数据,对三个区域的数据分别建立笛卡尔坐标系;
将第一区域数据二次解构,获取第一区域压力信号,第一区域角动量信号和第一区域加速度信号,将第一区域压力信号截取为若干单元的压力节点,记为Ai,第一区域角动量信号截取为若干单元的角动量断点,记为Bi,第一区域加速度信号划分为若干单元的加速度分量,记为Ci,其中i取值为1,2,3...n,n为整数,Ai映射在X轴上,Bi映射在Y轴上,Ci映射在Z轴上,Ai,Bi以及Ci构成第一区域坐标集合,记为S1,S1=<Ai,Bi,Ci>;
将第二区域数据二次解构,获取第二区域压力信号,第二区域角动量信号和第二区域加速度信号,将第二区域压力信号截取为若干单元的压力节点,记为Di,第二区域角动量信号截取为若干单元的角动量断点,记为Ei,第二区域加速度信号划分为若干单元的加速度分量,记为Fi,其中i取值为1,2,3...n,n为整数,Di映射在Y轴上,Ei映射在X轴上,Fi映射在Z轴上,Di,Ei以及Fi构成第二区域坐标集合,记为S2,S2=<Di,Ei,Fi>;
将第三区域数据二次解构,获取第三区域压力信号,第三区域角动量信号和第三区域加速度信号,将第三区域压力信号截取为若干单元的压力节点,记为Ji,第二区域角动量信号截取为若干单元的角动量断点,记为Qi,第二区域加速度信号划分为若干单元的加速度分量,记为Ki,其中i取值为1,2,3...n,n为整数,Ji映射在Z轴上,Qi映射在X轴上,Ki映射在Y轴上,Ji,Qi以及Ki构成第三区域坐标集合,记为S3,S3=<Ji,Qi,Ki>;
汇总第一区域坐标集合,第二区域坐标集合以及第三区域坐标集合生成建模数据,记为α;
具体的,采用“灰度化”数据加工方法生成建模数据的过程为:
获取姿态数据,提取姿态数据包括的所有红外辐射,依据红外辐射的热源信息生成红外姿态图;
将红外姿态图缩小至标准尺度,剔除数值低于热源阈值的热源信息,并标记为待处理图;
将待处理图分割为若干个像素格,每一个像素格设置有不同的灰阶度,记为Gary,获取每个像素格的RGB值,记为RGB(R,G,B),Gary=R×0.3+G×0.59+B×0.11,获取热源阈值,记为Hot;
若Gary>Hot,则将该像素格设置为高频点位;
若Gary≤Hot,则将该像素格设置为低频点位;
根据每个像素格的灰阶度,将待处理图转换为灰度图,将灰度图作为建模数据,记为β;
将建模数据α和β封装于设置好的数据文件夹中并上传至模型构建模块;
需要进一步说明的是,高频点位代表人体姿态中的关节部位,低频点位代表人体姿态中的非关节部位,标准尺度设置为10×10像素格,剔除了低于热源阈值的热源信息即去除了被采集人衣服以及周围环境对成像的影响。
所述模型构建模块用于根据建模数据构建人体姿态模型,具体过程包括:
获取数据文件夹中的建模数据α和建模数据β,并进行建模处理;
获取建模数据α的第一区域坐标集合S1,第二区域坐标集合S2,第三区域坐标集合S3;
将S1中X,Y和Z轴的交点作为转动轴,XYZ之间所形成的角称之为转动角,绕Z轴顺向转动记为z顺轨,绕Y轴顺向转动记为y顺轨,绕X轴顺向转动记为x顺轨,将S1=<Ai,Bi,Ci>中的各分量Ai,Bi和Ci分别映射到x顺轨,y顺轨和z顺轴上,形成上部姿态模型;
将S2中的X和Z轴之间的夹角记为旋转角a,Y和Z轴之间的夹角记为旋转角b,X轴和Y轴形成复平面XY,S2=<Di,Ei,Fi>;将Di投影到复平面XY上,将Ei与旋转角a的角点相连,将Fi与旋转角b的角点相连,形成身部姿态模型;
将S3中X,Z轴所构成的复平面称为XZ复平面,Y,Z轴之间的平面称为YZ复平面,X,Y轴之间的平面称为XY复平面,三个平面交叉构成三维空间,将S3=<Ji,Qi,Ki>中的Ji,Qi和Ki分别线性排列在XY复平面,XZ复平面和YZ复平面上,形成下部姿态模型;
将上部姿态模型,身部姿态模型和下部姿态模型合并拼接成人体姿态模型1;
获取建模数据β所表示的灰度图,获取灰度图中所有高频点位和低频点位所在像素格;
将高频点位所在像素格的位置设置为连动轴区域,将低频点位所在像素格的位置设置为空间向量区域;
所述连动轴区域包括若干个关节点位,所述空间向量区域包括若干个非关节区位,每两个相邻关节点位之间的连线构成人体骨架,记为r,r∈N,N为自然数,r的集合构成人体骨架图;非关节区位用于存储人体肌肉组织,记为w,w∈N,N为自然数,w的集合构成人体肌肉图,将人体骨架图和人体肌肉图合并生成人体姿态模型2;
将人体姿态模型1和人体姿态模型2合并为人体姿态模型输入至分类识别模块进行处理。
所述分类识别模块用于对模型构建模块所生成的人体姿态模型进行分类识别,具体过程包括:
分类识别模块内设置有状态识别模型,所述状态识别模型包括2个状态集合和3个概率矩阵;
所述状态集合分为隐含状态和可观测状态,将人体姿态模型作为隐含状态输入至状态识别模型中,获取识别终端中的2K全景视频,并将其分为若干单元的图片帧,对图片帧赋值相应的分类标识,将图片帧作为可观测状态输入状态识别模型中;
所述概率矩阵包括初始状态概率矩阵π, 隐含状态转移概率矩阵λ和观测状态转移概率矩阵μ;
设置概率函数P=P(τ/υ),其中τ表示每一个编号对应的人体姿态模型的值,υ表示所有人体姿态模型的值总和,将同一时间区间[T1,T2]内输入的固定个数的人体姿态模型进行编号λ1,λ2和λ3,分别获取其概率P1=P(λ1),P2=P(λ2)和P3=P(λ3),得到隐含状态转移概率矩阵λ=[P1,P2,P3],对固定个数的图片帧进行编号μ1,μ2,和μ3,分别获取其概率P4=P(μ1),P5=P(μ2)和P6=P(μ3),得到观测状态转移概率矩阵μ=[P4,P5,P6],初始状态概率矩阵设置为空,即π=[0,0,0]。
当π≠[0,0,0]时,比较λ和μ的值;
若λ≡μ,则获取观测状态转移概率矩阵μ的每一列,读取每列所代表图片帧的分类标识,将隐含状态转移概率矩阵λ的每一列所代表的人体姿态模型与μ的相应列的分类标识相关联;
若λ=μ,将λ和μ每一列依次进行比较,将概率数值相等的列上λ的人体姿态模型与μ的分类标识相关联,将概率数值不相等的列的个数记录,记为Ω;
若λ≠μ,设置Ω=3,Ω∈[1,3],当Ω≥2时,则获取下一时间区间[T2,T3],重新输入固定个数的人体姿态模型和图片帧到状态识别模型中,生成新的概率矩阵λ和μ;
需要进一步说明的是,图片帧所设置的分类标识包括“运动姿”和“非运动姿”两大类,所述“运动姿”包括“跑姿”,“跳姿”和“走姿”,所述“非运动姿”包括“站姿”,“坐姿”和“卧姿”;所述固定个数通过人为输入,一般输入数值为3,通过人体姿态模型关联相应的分类标识即可实现人体姿态分类的目的,通过概率矩阵的设置可以达到对一连串的人体姿态进行分类识别;
以上实施例仅用以说明本发明的技术方法而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方法进行修改或等同替换,而不脱离本发明技术方法精神和范围。
Claims (10)
1.一种基于无监督学习的人体姿态分类识别系统,包括识别终端,其特征在于,所述识别终端通信连接有数据采集模块,数据处理模块,模型构建模块以及分类识别模块;
所述数据采集模块用于对姿态数据进行采集;
所述数据处理模块用于对采集的姿态数据进行转化并生成建模数据;
所述模型构建模块用于根据建模数据构建人体姿态模型;
所述分类识别模块用于对模型构建模块所生成的人体姿态模型进行分类识别。
2.根据权利要求1所述的一种基于无监督学习的人体姿态分类识别系统,其特征在于,所述数据采集模块设置有直接接触采集和间接摄录采集:
所述直接接触采集通过移动设备终端和传感交互套装采集姿态数据,并设置采集类型标记direct;
所述间接摄录采集通过摄像采集仪和热成像记录仪采集姿态数据,并设置采集类型标记indirect。
3.根据权利要求2所述的一种基于无监督学习的人体姿态分类识别系统,其特征在于,直接接触采集的过程包括:
被采集人穿戴传感交互套装,并在移动设备终端中输入用户信息后建立临时交互空间;
临时交互空间与识别终端之间设置有双向数据信息通道,通过双向数据信息通道将用户信息和传感交互套装采集的压力信号上传至识别终端;
将用户信息存储于识别终端,根据压力信号和用户信息生成反馈信号发送给传感交互套装,被采集人根据反馈信号对传感交互套装进行调整,并生成特定化佩戴方案;
特定化佩戴方案生成后,销毁临时交互空间并建立持久交互空间,持久交互空间与数据处理模块之间设置有单向数据信息通道;
将传感交互套装采集的各区域数据合并采集类型标记生成姿态数据并上传至数据处理模块。
4.根据权利要求2所述的一种基于无监督学习的人体姿态分类识别系统,其特征在于,间接摄录采集的过程包括:
通过摄像采集仪记录被采集人各方位视频合并为全景视频上传至识别终端并存储;
通过热成像记录仪记录被采集人发出的红外辐射,红外辐射由不同数值的热源信息组成,热源信息设置有热源阈值;
将采集的红外辐射合并采集类型标记生成姿态数据并上传至数据处理模块。
5.根据权利要求3或4所述的一种基于无监督学习的人体姿态分类识别系统,其特征在于,所述数据处理模块设置有分析单元和加工单元;
所述分析单元对姿态数据分析后获取其采集类型标记,根据采集类型标记配置相应的数据加工方法;
所述加工单元根据数据加工方法对姿态数据进行加工并生成建模数据。
6.根据权利要求5所述的一种基于无监督学习的人体姿态分类识别系统,其特征在于,分析单元根据采集类型标记配置数据加工方法的过程包括:
若采集类型标记为direct,则对姿态数据进行“坐标化”的数据加工方法配置;
若采集类型标记为indirect,则对姿态数据进行“灰度化”的数据加工方法配置。
7.根据权利要求6所述的一种基于无监督学习的人体姿态分类识别系统,其特征在于,加工单元根据数据加工方法对姿态数据进行加工并生成建模数据的过程包括:
通过“坐标化”将姿态数据解构为区域数据并对各区域数据建立笛卡尔坐标系;
将各区域数据二次解构为区域信号并映射在笛卡尔坐标系的坐标轴上,获取坐标轴上映射的区域信号生成区域坐标集合,汇总区域坐标集合生成建模数据α;
将姿态数据包括的红外辐射获取,根据红外辐射中的不同数值的热源信息生成红外姿态图;
将红外姿态图缩小至标准尺度,剔除数值低于热源阈值的热源信息生成待处理图;
将待处理图进行“灰度化”处理生成灰度图,将灰度图作为建模数据β;
将建模数据α和建模数据β封装于设置好的数据文件夹中并上传至模型构建模块。
8.根据权利要求7所述的一种基于无监督学习的人体姿态分类识别系统,其特征在于,所述模型构建模块根据建模数据构建人体姿态模型的过程包括:
获取数据文件夹中的建模数据α和建模数据β;
获取建模数据α中的区域坐标集合分别构建上部姿态模型,身部姿态模型和下部姿态模型;
将上部姿态模型,身部姿态模型和下部姿态模型合并为人体姿态模型;
获取建模数据β所包括的灰度图,根据灰度图生成人体骨架图和人体肌肉图,合并人体骨架图和人体肌肉图生成人体姿态模型;
将建模数据α和建模数据β所生成的人体姿态模型合并输入至分类识别模块。
9.根据权利要求8所述的一种基于无监督学习的人体姿态分类识别系统,其特征在于,所述分类识别模块对人体姿态模型进行分类识别的过程包括:
所述分类识别模块设置有状态识别模型,所述状态识别模型设置有状态集合和概率矩阵;
所述状态集合分为隐含状态和可观测状态,将固定个数的人体姿态模型作为隐含状态输入至状态识别模型中;
获取识别终端中的全景视频并分为若干单元的图片帧,对图片帧赋值相应的分类标识,将固定个数图片帧作为可观测状态输入至状态识别模型中;
所述概率矩阵包括初始状态概率矩阵π, 隐含状态转移概率矩阵λ和观测状态转移概率矩阵μ;
将初始状态概率矩阵π设置为空;
设置概率函数和时间区间,将同一时间区间的人体姿态模型和图片帧分别编号并根据概率函数获得其概率,得到隐含状态转移概率矩阵λ和观测状态转移概率矩阵μ;
将隐含状态转移概率矩阵λ和观测状态转移概率矩阵μ进行比较,为人体姿态模型关联相应分类标识。
10.根据权利要求9所述的一种基于无监督学习的人体姿态分类识别系统,其特征在于,隐含状态转移概率矩阵和观测状态转移概率矩阵进行比较的过程包括:
当初始状态概率矩阵不为空时,比较隐含状态转移概率矩阵λ和观测状态转移概率矩阵μ;
若λ≡μ,则获取观测状态转移概率矩阵μ的每一列,读取每列所代表图片帧的分类标识,将隐含状态转移概率矩阵λ的每一列所代表的人体姿态模型与μ的相应列的分类标识相关联;
若λ=μ,将λ和μ每一列进行比较,将概率数值相等的列上的λ的人体姿态模型与μ的分类标识相关联,将概率数值不相等的列的个数记为Ω;
若λ≠μ,设置Ω=3,Ω∈[1,3],当Ω≥2时,则获取下一时间区间,重新输入固定个数的人体姿态模型和图片帧至状态识别模型中,生成新的概率矩阵λ和μ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310383064.3A CN116108391B (zh) | 2023-04-12 | 2023-04-12 | 一种基于无监督学习的人体姿态分类识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310383064.3A CN116108391B (zh) | 2023-04-12 | 2023-04-12 | 一种基于无监督学习的人体姿态分类识别系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116108391A true CN116108391A (zh) | 2023-05-12 |
CN116108391B CN116108391B (zh) | 2023-06-30 |
Family
ID=86256525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310383064.3A Active CN116108391B (zh) | 2023-04-12 | 2023-04-12 | 一种基于无监督学习的人体姿态分类识别系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116108391B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117351405A (zh) * | 2023-12-06 | 2024-01-05 | 江西珉轩智能科技有限公司 | 一种人群行为分析系统及方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69719236D1 (de) * | 1996-05-01 | 2003-04-03 | Microsoft Corp | Verfahren und System zur Spracherkennung mittels verborgener Markoff-Modelle mit kontinuierlichen Ausgangswahrscheinlichkeiten |
CN104021573A (zh) * | 2014-06-13 | 2014-09-03 | 哈尔滨工程大学 | 一种基于关节姿态角的人体动作分类识别方法 |
CN104636756A (zh) * | 2015-02-06 | 2015-05-20 | 哈尔滨工业大学深圳研究生院 | 一种用于家庭老人监护的姿态识别方法 |
CN109145739A (zh) * | 2018-07-18 | 2019-01-04 | 郭渐凌 | 一种人体姿态预测方法、装置及系统 |
CN109993118A (zh) * | 2019-03-30 | 2019-07-09 | 骞一凡 | 一种动作的识别方法及其识别系统 |
CN110188599A (zh) * | 2019-04-12 | 2019-08-30 | 哈工大机器人义乌人工智能研究院 | 一种人体姿态行为智能分析识别方法 |
AU2020103811A4 (en) * | 2020-11-18 | 2021-02-11 | Shandong Kuaimai Electronic Technology Co., Ltd. | Method for recognizing human knee motion postures based on extreme learning machine |
CN114897025A (zh) * | 2022-05-23 | 2022-08-12 | 武汉纺织大学 | 一种人体姿态识别模型建立方法和人体姿态识别方法 |
CN115410267A (zh) * | 2022-07-18 | 2022-11-29 | 山东猎户座科技发展有限公司 | 一种基于人体骨骼与肌肉相互配合动作分析数据统计算法 |
-
2023
- 2023-04-12 CN CN202310383064.3A patent/CN116108391B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69719236D1 (de) * | 1996-05-01 | 2003-04-03 | Microsoft Corp | Verfahren und System zur Spracherkennung mittels verborgener Markoff-Modelle mit kontinuierlichen Ausgangswahrscheinlichkeiten |
CN104021573A (zh) * | 2014-06-13 | 2014-09-03 | 哈尔滨工程大学 | 一种基于关节姿态角的人体动作分类识别方法 |
CN104636756A (zh) * | 2015-02-06 | 2015-05-20 | 哈尔滨工业大学深圳研究生院 | 一种用于家庭老人监护的姿态识别方法 |
CN109145739A (zh) * | 2018-07-18 | 2019-01-04 | 郭渐凌 | 一种人体姿态预测方法、装置及系统 |
CN109993118A (zh) * | 2019-03-30 | 2019-07-09 | 骞一凡 | 一种动作的识别方法及其识别系统 |
CN110188599A (zh) * | 2019-04-12 | 2019-08-30 | 哈工大机器人义乌人工智能研究院 | 一种人体姿态行为智能分析识别方法 |
AU2020103811A4 (en) * | 2020-11-18 | 2021-02-11 | Shandong Kuaimai Electronic Technology Co., Ltd. | Method for recognizing human knee motion postures based on extreme learning machine |
CN114897025A (zh) * | 2022-05-23 | 2022-08-12 | 武汉纺织大学 | 一种人体姿态识别模型建立方法和人体姿态识别方法 |
CN115410267A (zh) * | 2022-07-18 | 2022-11-29 | 山东猎户座科技发展有限公司 | 一种基于人体骨骼与肌肉相互配合动作分析数据统计算法 |
Non-Patent Citations (2)
Title |
---|
XIA L,CHEN C C,AGGARWAL J K: "View invariant human action recognition using histograms of 3D joints", 《COMPUTER VISION AND PATTERNRECOGNITION WORKSHOPS》, pages 20 - 27 * |
张毅;任同辉;罗元;: "基于多传感器数据融合的人体运动模式识别研究", 计算机测量与控制, vol. 2016, no. 01, pages 303 - 307 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117351405A (zh) * | 2023-12-06 | 2024-01-05 | 江西珉轩智能科技有限公司 | 一种人群行为分析系统及方法 |
CN117351405B (zh) * | 2023-12-06 | 2024-02-13 | 江西珉轩智能科技有限公司 | 一种人群行为分析系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116108391B (zh) | 2023-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sun et al. | View-invariant gait recognition based on kinect skeleton feature | |
CN111144217B (zh) | 一种基于人体三维关节点检测的动作评价方法 | |
Jiang et al. | Seeing invisible poses: Estimating 3d body pose from egocentric video | |
CN113496216B (zh) | 一种基于骨骼关键点的多角度跌倒高危识别方法及系统 | |
CN109086706B (zh) | 应用于人机协作中的基于分割人体模型的动作识别方法 | |
Elforaici et al. | Posture recognition using an RGB-D camera: exploring 3D body modeling and deep learning approaches | |
CN109919141A (zh) | 一种基于骨架姿态的行人再识别方法 | |
US10445930B1 (en) | Markerless motion capture using machine learning and training with biomechanical data | |
CN109079794B (zh) | 一种基于人体姿态跟随的机器人控制与示教方法 | |
Sincan et al. | Using motion history images with 3d convolutional networks in isolated sign language recognition | |
Gritai et al. | On the use of anthropometry in the invariant analysis of human actions | |
CN110738154A (zh) | 一种基于人体姿态估计的行人摔倒检测方法 | |
Shen et al. | View-invariant action recognition from point triplets | |
CN116108391B (zh) | 一种基于无监督学习的人体姿态分类识别系统 | |
CN110555408A (zh) | 一种基于自适应映射关系的单摄像头实时三维人体姿态检测方法 | |
CN109325408A (zh) | 一种手势判断方法及存储介质 | |
CN117671738B (zh) | 基于人工智能的人体姿态识别系统 | |
CN113658211A (zh) | 一种用户姿态的评估方法、装置以及处理设备 | |
CN115410233A (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
CN109993116B (zh) | 一种基于人体骨骼相互学习的行人再识别方法 | |
CN110991292A (zh) | 动作识别比对方法、系统、计算机存储介质和电子装置 | |
Kareem et al. | Using skeleton based optimized residual neural network architecture of deep learning for human fall detection | |
CN111539364A (zh) | 基于特征融合和多分类器投票的多体感人体行为识别算法 | |
CN111104921A (zh) | 一种基于Faster rcnn的多模态行人检测模型及方法 | |
CN115761901A (zh) | 一种骑马姿势检测评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |