CN104898831A - 人体动作采集和动作识别系统及其控制方法 - Google Patents

人体动作采集和动作识别系统及其控制方法 Download PDF

Info

Publication number
CN104898831A
CN104898831A CN201510233029.9A CN201510233029A CN104898831A CN 104898831 A CN104898831 A CN 104898831A CN 201510233029 A CN201510233029 A CN 201510233029A CN 104898831 A CN104898831 A CN 104898831A
Authority
CN
China
Prior art keywords
processor
action
human action
vector signal
wireless transceiver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510233029.9A
Other languages
English (en)
Inventor
杨超
白植湖
倪旭辉
周汛
吴鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEILUN SCIENCE AND ARTS EXPERIMENT CENTER INSTITUTE OF AUTOMATION CHINESE ACADEMY OF SCIENCES
Original Assignee
BEILUN SCIENCE AND ARTS EXPERIMENT CENTER INSTITUTE OF AUTOMATION CHINESE ACADEMY OF SCIENCES
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEILUN SCIENCE AND ARTS EXPERIMENT CENTER INSTITUTE OF AUTOMATION CHINESE ACADEMY OF SCIENCES filed Critical BEILUN SCIENCE AND ARTS EXPERIMENT CENTER INSTITUTE OF AUTOMATION CHINESE ACADEMY OF SCIENCES
Priority to CN201510233029.9A priority Critical patent/CN104898831A/zh
Publication of CN104898831A publication Critical patent/CN104898831A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了一种人体动作采集和动作识别系统及其控制方法,包括用于采集人体动作的数据采集端和识别端;所述数据采集端包括外壳,与外壳连接的固定结构,设于外壳内的第一处理器、第一无线收发器、3轴加速度传感器电路和第一存储器;所述识别端包括壳体,设于壳体内的第二处理器、第二无线收发器和第二存储器,设于壳体上的显示屏和数据输出接口;本发明具有识别精度高、识别速度快,体积小、功耗低,受环境影响小、抗干扰性强,提高了舞台表演及演讲的效果的特点。

Description

人体动作采集和动作识别系统及其控制方法
技术领域
本发明涉及智能控制技术领域,尤其是涉及一种识别精度高、速度快的人体动作采集和动作识别系统及其控制方法。
背景技术
在进行PPT演讲、舞台演出、影像播放等活动时,往往需要多人合作或使用其它工具才可保证活动的正常进行。
例如:若要实现PPT演讲,需多次预先排练才能保证演讲的正常进行,若演讲时出现失误,将会导致整场演讲的失败,若使用指挥棒等道具,又会影响演讲的观感。
目前常用的智能控制技术主要为基于图像视频的监测方法,由于生活环境中获得的图像受到光照变化、运动目标的影子等因素的干扰,给运动特征提取带来很大的困难,且整个系统存在成本高、操作复杂等缺点。
中国专利授权公开号:CN103902989A,授权公开日2014年7月2日,公开了一种基于非负矩阵分解的人体动作视频识别方法,包括如下步骤:(1)预处理视频图像:(1a)输入90个人体动作视频图像;(1b)在输入的人体动作视频图像中,任选80个人体动作视频图像作为一个人体动作视频训练样本集,其余的10个人体动作视频图像各自作为一个人体动作视频训练样本集;(1c)利用矩阵实验室matlab的横向连接字符串strcat函数,将人体动作视频训练样本集和人体动作视频测试样本集中的人体动作视频图像,转换为时间连续的单幅图片序列;(1d)对单幅图片序列进行隔行采样,获得预处理的降采样图片序列。该发明的不足之处是,检测误差大,容易导致人体动作误识别。
发明内容
本发明的发明目的是为了克服现有技术中的方法的检测误差大,容易导致人体动作误识别的不足,提供了一种识别精度高、速度快的人体动作采集和动作识别系统及其控制方法。
为了实现上述目的,本发明采用以下技术方案:
一种人体动作采集和动作识别系统,包括用于采集人体动作的数据采集端和识别端;所述数据采集端包括外壳,与外壳连接的固定结构,设于外壳内的第一处理器、第一无线收发器、3轴加速度传感器电路和第一存储器;所述识别端包括壳体,设于壳体内的第二处理器、第二无线收发器和第二存储器,设于壳体上的显示屏和数据输出接口;第一处理器分别与第一无线收发器、3轴加速度传感器电路和第一存储器电连接;第二处理器分别与第二无线收发器、显示屏、第二存储器和数据输出接口电连接;第一无线收发器和第二无线收发器无线连接。
3轴加速度传感器用于采集人体动作数据,第一处理器用于对采集到的人体动作数据进行模数转换,并且控制第一无线收发器发送转换后的人体动作数据,第一存储器用于存储人体动作数据;第二处理器用于对人体动作数据进行数据处理,并识别人体动作;显示屏用于显示识别出来的人体动作的名称,第二存储器用于存储人体动作数据。
本发明可与灯光系统、动画系统、投影系统等多种系统配合使用,使用者不需要额外的手持设备,仅通过佩戴一个简单的数据采集端便能实现遥控操作的功能:例如,用户仅需挥动手臂,便能控制投影内容的变换、灯光的角度调整与明亮变换、影片内容的调整等功能。通过本系统,用户可以脱离器材的束缚,集中注意力于演出、交互的内容上,提升使用者与观看者的沉浸感,加强演出效果。
例如,可将识别后的动作作为命令,控制电脑中的PPT演讲内容自动播放,从而使用户脱离器材的束缚,方便独自进行演讲,避免其它因素对演讲造成的影响,提高演出效果。
因此,本发明具有识别精度高、识别速度快,体积小、功耗低,受环境影响小、抗干扰性强,提高了舞台表演及演讲的效果,节省了大量排练时间,提高了演出效率,减少了演出成本的特点。
作为优选,所述第一处理器为PIC18F87J50-I/PT单片机,所述3轴加速度传感器电路包括型号为MPU6050的3轴加速度传感器、若干个电阻和若干个电容;3轴加速度传感器的第11管脚与第一处理器的第63管脚电连接,3轴加速度传感器的第12管脚与第一处理器的第58管脚电连接。
作为优选,所述电阻为两个,分别为R14和R15;所述电容为4个,分别为C21、C22、C23和C24;R14和R15一端分别与3轴加速度传感器的第23、第24引脚电连接,R14和R15另一端均接VCC;C21一端与3轴加速度传感器的第20引脚电连接,C21另一端接地;C22一端和3轴加速度传感器的第13引脚及VCC电连接,C22另一端接地;C24一端与3轴加速度传感器的第8引脚及VCC电连接,C23一端与3轴加速度传感器的第9引脚电连接,C23和C24另一端均接地。
作为优选,所述固定结构为用于固定在人体上的连接绑带。
作为优选,第一无线收发器和第二无线收发器均采用WIFI模块、蓝牙模块或ZigBee模块。
一种人体动作采集和动作识别系统的控制方法,包括如下步骤:
(6-1)当人体做出某个动作时,第一处理器获得3轴加速度传感器检测的净加速度矢量信号A(t),A(t)=(x(t),y(t),z(t)),其中,x(t)为三轴加速度传感器检测的X轴矢量信号,y(t)为三轴加速度传感器检测的Y轴矢量信号,z(t)为三轴加速度传感器检测的Y轴矢量信号;
第一处理器利用其内部的模数转换器将模拟净加速度矢量信号转换为数字净加速度矢量信号A′(t),并控制第一无线收发器发送数字净加速度矢量信号;
(6-2)第二收发器接收数字净加速度矢量信号A′(t),A′(t)=(x′(t),y′(t),z′(t)),数字净加速度矢量信号包括若干个经过量化的抽样值;对于数字净加速度矢量信号中的每个时刻i,第二处理器选取时刻i及其后的N-1个抽样值,利用公式对包括i时刻在内的N个抽样值进行处理,得到每个时刻i的加速度矢量理想值A′i(t);其中,MAX为N个抽样值中的最大值;
并得到由各个时刻的A′i(t)组成的与数字净加速度矢量信号相对应的加速度矢量理想值信号A″(t);
其中,x′(t)为A′(t)的X轴矢量信号,y′(t)为A′(t)的Y轴矢量信号,z′(t)为A′(t)的Y轴矢量信号;
(6-3)信号截取:
第二存储器中设有开始阈值结束阈值δ、放大倍数K,m个人体动作的名称,与m个人体动作分别对应的m个隐马尔可夫模型HMM,HMM由五元数组λ=(X,O,A,B,π)表征;其中,X为状态的有限集合,O为λ的有限集合,A为转移概率,B为输出概率,π为初始状态分布;
第二处理器利用公式
ΔAt=|x′(t+1)-x′(t)|+|y′(t+1)-y′(t)|+|z′(t+1)-z′(t)|计算并得到滤除了多余动作的加速度矢量ΔAt
为实现动作信号的准确监测,需要能及时判断动作信号的起止,从而在一大段数据中“截取”有效动作的数据段。
而且,在特定动作之外,不可避免的会有一些“其它”的动作,在进行特征提取前,必须将这些“多余的”动作过滤掉。
则第二处理器做出当前时刻动作开始的判断;
则第二处理器做出当前时刻动作结束的判断;
(6-4)信号放大:
将位于动作开始时刻和动作结束时刻之间的加速度矢量理想值信号A″(t)放大K倍;
为了提高动作数据识别处理能力,需要对接收到的数据进行放大处理。
(6-5)特征提取:
将A″(t)的各个抽样值按照时间顺序分割成P段,每段取L个抽样值,通过下式提取每一段数据抽样值的均值feature:
feature = Σ j = 0 L s ( j ) / L
其中,s(j)表示每个分割段中的第j时刻抽样值;
考虑到系统实时性、适应性、低复杂度的要求,故通过提取均值的方法来提取特征值。
(6-6)动作识别:
第二处理器使O=feature,利用Forward-Backward算法的公式
Gesture ( O ) = arg max q = 1 , . . . , m [ P ( O | λ q ) ]
计算m个隐马尔可夫模型HMM中产生feature的最大概率Gesture(O),得到Gesture(O)后,第二处理器查询与Gesture(O)对应的HMMmax,并识别出与HMMmax相对应的人体动作,显示屏显示识别出的人体动作的名称。
作为优选,所述P的取值大小与一个动作的持续时间及一个动作复杂程度成正比。
作为优选,K为100至250。
作为优选,为(1.65g,0,0)至(1.78g,0,0);δ为(1.25g,0,0)至(1.35g,0,0);其中,g为重力加速度。
作为优选,m为8至15。
因此,本发明具有如下有益效果:
1.设备简单、成本低,只需在用户身上佩带数据采集端,而不需要安装其他昂贵的设备,易于产品推广;
2.由于体积小、功耗低,容易集成至一个小型设备中,不受人运动范围的影响,可长时间对人运动和行为进行监控,可靠性强,稳定性好;
3.数据采集较其它产品受环境影响小,抗干扰性强;
4.能为舞台表演、演讲等演出提供更好的演出效果,同时能节省大量排练时间与配合练习时间,节省了大量人力物力成本,提高了演出效率,减少了演出成本。
附图说明
图1是本发明的一种原理框图;
图2是本发明的3轴加速度传感器的一种电路图;
图3是本发明的实施例的一种流程图;
图4是本发明的灯光系统的一种原理框图;
图5是本发明的投影系统的一种原理框图;
图6是本发明的动画系统的一种原理框图。
图中:数据采集端1、识别端2、第一处理器11、第一无线收发器12、3轴加速度传感器电路13、第一存储器14、第二处理器21、第二无线收发器22、显示屏23、第二存储器24、数据输出接口25、数据接收处理端31、数字信号处理器32、数字触发电33、数字锁相环34、灯光器材35、数据接收处理端41、数字信号处理器42、第一无线通讯端43、播放控制端44、第二无线通讯端45、数据接收处理端51、数字信号处理器52、数据库53、数字引擎54、基础工具集55、播放引擎56、播放端57。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所示的实施例是一种人体动作采集和动作识别系统,包括用于采集人体动作的数据采集端1和识别端2;数据采集端包括外壳,与外壳连接的固定结构,设于外壳内的第一处理器11、第一无线收发器12、3轴加速度传感器电路13和第一存储器14;识别端包括壳体,设于壳体内的第二处理器21、第二无线收发器22和第二存储器24,设于壳体上的显示屏23和数据输出接口25;第一处理器分别与第一无线收发器、3轴加速度传感器电路和第一存储器电连接;第二处理器分别与第二无线收发器、显示屏、第二存储器和数据输出接口电连接;第一无线收发器和第二无线收发器无线连接。第一处理器为PIC18F87J50-I/PT单片机。
如图2所示,3轴加速度传感器电路包括型号为MPU6050的3轴加速度传感器、2个电阻和4个电容;3轴加速度传感器的第11管脚与第一处理器的第63管脚电连接,3轴加速度传感器的第12管脚与第一处理器的第58管脚电连接。
电阻为两个,分别为R14和R15;电容为4个,分别为C21、C22、C23和C24;R14和R15一端分别与3轴加速度传感器的第23、第24引脚电连接,R14和R15另一端均接VCC;C21一端与3轴加速度传感器的第20引脚电连接,C21另一端接地;C22一端和3轴加速度传感器的第13引脚及VCC电连接,C22另一端接地;C24一端与3轴加速度传感器的第8引脚及VCC电连接,C23一端与3轴加速度传感器的第9引脚电连接,C23和C24另一端均接地。固定结构为用于固定在人体上的连接绑带。第一无线收发器和第二无线收发器均采用WIFI模块。
隐马尔可夫模型HMM(Hidden Markov Model)是一个通过概率模型来分析和生成时间序列的双重随机过程,一个是马尔科夫链,它描述状态之间的转移。另一个随机过程描述了状态和观察值之间的统计对应关系。一个HMM可以用一个五元数组表示:λ=(X,O,A,B,π),五个参数的含义分别为,X:状态的有限集合,O:λ的有限集合,A:转移概率,B:输出概率,π:初始状态分布。
HMM包含了时间与动作的变化值,同时对应着动作与时间的变化关系。
简言之,HMM分为两部分,一个是马尔科夫链,用π,A描述,输出状态序列;另一个是一个随机过程,由B描述,产生观察值序列,从而HMM可简写为:λ=(π,A,B)。
算法包基于剑桥大学开发的HTK(HMM Tools Kit)。用Baum-Welch算法将m个人体动作集到的数据,进行训练得到与m个人体动作分别对应的m个隐马尔可夫模型。
Forward-Backward算法详见《非齐次HMM语音段长模型的Forward-Backward算法》,作者:肖熙,王侠,王作英;
简介:在HMM语音识别模型中使用状态的段长分布信息可以提高语音识别系统的性能,非齐次HMM模型可以很好地描述语音的段长分布,但是在计算模型的似然值时却有很大计算复杂性,因此很难在实际系统中得到应用。本专利针对非齐次的DDBHMM语音识别模型特点,提出了新的Forward-Backward算法,从而极大地加速了模型似然值的计算速度。
备注:语音识别模型与动作识别模型问题有着极大的相似度,通过对经典隐马尔可夫模型的经验性改进,可以对动作识别模型问题做出解答。
如图3所示,一种人体动作采集和动作识别系统的控制方法,包括如下步骤:
步骤100,动作数据采集:
当人体做出某个动作时,第一处理器获得3轴加速度传感器检测的净加速度矢量信号A(t),A(t)=(x(t),y(t),z(t)),其中,x(t)为三轴加速度传感器检测的X轴矢量信号,y(t)为三轴加速度传感器检测的Y轴矢量信号,z(t)为三轴加速度传感器检测的Y轴矢量信号;
第一处理器利用其内部的模数转换器将模拟净加速度矢量信号转换为数字净加速度矢量信号A′(t),将数字净加速度矢量信号A′(t)存储到第一存储其中并控制第一无线收发器发送数字净加速度矢量信号;
步骤200,数据处理:
第二收发器接收数字净加速度矢量信号A′(t),并将数字净加速度矢量信号A′(t)存储到第二存储器中,数字净加速度矢量信号包括若干个经过量化的抽样值;对于数字净加速度矢量信号中的每个时刻i,第二处理器选取时刻i及其后的N-1个抽样值,利用公式对包括i时刻在内的N个抽样值进行处理,得到每个时刻i的加速度矢量理想值A′i(t);其中,MAX为N个抽样值中的最大值;
并得到由各个时刻的A′i(t)组成的与数字净加速度矢量信号相对应的加速度矢量理想值信号A″(t),并将A″(t)存储到存储器中;
步骤300,动作开始及结束时刻截取:
第二存储器中设有开始阈值结束阈值δ、放大倍数K,10个人体动作的名称,与10个人体动作分别对应的10个隐马尔可夫模型HMM,HMM由五元数组λ=(X,O,A,B,π)表征;其中,X为状态的有限集合,O为λ的有限集合,A为转移概率,B为输出概率,π为初始状态分布;
第二处理器利用公式
ΔAt=|x′(t+1)-x′(t)|+|y′(t+1)-y′(t)|+|z′(t+1)-z′(t)|计算并得到滤除了多余动作的加速度矢量ΔAt
则第二处理器做出当前时刻动作开始的判断;
则第二处理器做出当前时刻动作结束的判断;
步骤400,信号放大:
将位于动作开始时刻和动作结束时刻之间的加速度矢量理想值信号A″(t)放大K倍;
步骤500,特征提取:
将A″(t)的各个抽样值按照时间顺序分割成P段,每段取L个抽样值,通过下式提取每一段数据抽样值的均值feature:
feature = Σ j = 0 L s ( j ) / L
其中,s(j)表示每个分割段中的第j时刻抽样值;
步骤600,动作识别:
第二处理器使O=feature,利用Forward-Backward算法的公式
Gesture ( O ) = arg max q = 1 , . . . , m [ P ( O | λ q ) ]
计算10个隐马尔可夫模型HMM中产生feature的最大概率Gesture(O),得到Gesture(O)后,第二处理器查询与Gesture(O)对应的HMMmax,并识别出与HMMmax相对应的人体动作,显示屏显示识别出的人体动作的名称。
本实施例中,P的取值大小与一个动作的持续时间及一个动作复杂程度成正比;K为100;为(1.7g,0,0);δ为(1.3g,0,0);其中,g为重力加速度。
本实施例中,识别出来的人体动作为“向下挥动手臂”,第二处理器控制数据输出接口向灯光系统输出“向下挥动手臂”的控制命令,“向下挥动手臂”在灯光系统中的“动作含义”是:灯光器材中的“顶光器材向下转45°,顶光开启”。
如图4所示,灯光系统包括数据接收处理端31、数字信号处理器32、数字触发电33、数字锁相环34、灯光器材35;
数据接收处理端将对应的“实现指令”发送至灯光实现端。
灯光实现端由数字信号处理器、数字触发电路、数字锁相环及灯光器材(灯光器材包括控制灯光装置运动的控杆、灯具等设备)组成。
灯光实现端的数字信号处理器接收到“实现指令”,将“实现指令”信号解调成“灯光控制信号”,来控制灯光实现端的其它器材。
“灯光控制信号”是灯光设备之间的一种通讯电信号,保证灯光实现端的各个设备可以“理解”信号的含义,同时,使得各个灯光设备之间的传输信号的一致性。
数字信号处理器发出的“灯光控制信号”在(数字信号处理器的)时钟脉冲的控制下,通过输出接口分别输出到数字触发电路相应的触发信号接口上,通过触发电路输出触发脉冲控制灯光系统的控制杆进行推杆,调整顶光器材的角度;通过触发电路输出触发脉冲控制灯光系统顶光晶闸管的开启。
“动作含义”里有详细的“实现指令”:一些实现端的控制、调整指令。在灯光系统中,指令数据包含灯光系统的推杆信息(如分控杆、集控杆、总控杆等)、记录场、集控、效果等信息。
上述实施例中,第二处理器还可以控制数据输出接口将识别出来的人体动作“向下挥动手臂”输出至投影系统中;
如图5所示,投影系统包括数据接收处理端41、数字信号处理器42、第一无线通讯端43、播放控制端44、第二无线通讯端45;“向下挥动手臂”在投影系统中的“动作含义”是:“进入下一播放内容”。
“向下挥动手臂”动作包含的指令数据有:投影内容变更为下一个内容、音频内容变更为下一个内容。
例如,在投影系统控制情境中,用户做出“向下挥动手臂”这一动作后,系统判断出“向下挥动手臂”动作后,读取存储在数据接收处理端中的“动作含义”:“进入下一播放内容”。
“进入下一播放内容”的“实现指令”有:投影内容变更为下一个内容、音频内容变更为下一个内容。
数据接收处理端将对应的“实现指令”发送至投影系统实现端。
投影系统实现端由数字信号处理器、第一无线通讯端、第二无线通讯端播放控制端、播放端组成。
投影系统实现端的数字信号处理器接收到“实现指令”,将“实现指令”信号解调成“投影控制信号”。
“投影控制信号”是方便无线通讯端进行无线传输与播放控制端理解的一种通讯信号,保证无线通讯端可以准确传输控制信号,同时,方便播放控制端理解信号的含义。
“投影控制信号”发送到无线通讯端,通过无线通讯端进行传输。
播放控制端的无线通讯端接收到“投影控制信号”后,播放控制端读取“投影控制信号”。
播放控制端依据“投影控制信号”指示,读取投影内容的下一个内容、音频内容的下一个内容,并通过播放端进行播放。
上述实施例中,第二处理器还可以控制数据输出接口将识别出来的人体动作“向下挥动手臂”输出至动画系统中;
如图6所示,动画系统包括数据接收处理端51、数字信号处理器52、数据库53、数字引擎54、基础工具集55、播放引擎56、播放端57;
“向下挥动手臂”在动画系统中控制着“影像中内容的变化”。
在动画系统中,依据不同的影像内容,数字引擎对同一动作的“动作含义”有不同的解释。
在“人体互动影像”中,数字引擎对“向下挥动手臂”的解释是:影像中的虚拟人物手臂同样执行“向下挥”这一动作。
“向下挥动手臂”动作包含的指令数据有:虚拟人物手臂下挥。
例如,在动画系统控制情境中,用户做出“向下挥动手臂”这一动作后,系统判断出这是一个“向下挥动”动作。
系统判断出“向下挥动手臂”动作后,读取“向下挥动手臂”动作在存储在数据接收处理端中对应的“动作代码”。
数据接收处理端将对应的“动作代码”发送至动画系统实现端。
动画系统实现端由数字引擎、数据库、基础工具集、播放引擎、播放端组成。
数字信号处理器接收到“动作代码”后,将“动作代码”信号解调成数字引擎可以直接使用的数据。
数字引擎接收到处理过的“动作代码”后,依据不同的影像内容,对“动作代码”做出解释。
在“人体互动影像”中,数字引擎对“向下挥动手臂”的解释是:影像中的虚拟人物手臂同样执行“向下挥”这一动作。
数字引擎对“动作代码”做出解释后,依据解释,调用影片的数据库与影片基础工具集内的资源,让数据库与基础工具集进行数据运算,并将运算后的数据传输至播放引擎。
播放引擎将影片资源进行融合、调整等处理,完成影片的数据流,通过播放端进行播放。
应理解,本实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (10)

1.一种人体动作采集和动作识别系统,其特征是,包括用于采集人体动作的数据采集端(1)和识别端(2);所述数据采集端包括外壳,与外壳连接的固定结构,设于外壳内的第一处理器(11)、第一无线收发器(12)、3轴加速度传感器电路(13)和第一存储器(14);所述识别端包括壳体,设于壳体内的第二处理器(21)、第二无线收发器(22)和第二存储器(24),设于壳体上的显示屏(23)和数据输出接口(25);第一处理器分别与第一无线收发器、3轴加速度传感器电路和第一存储器电连接;第二处理器分别与第二无线收发器、显示屏、第二存储器和数据输出接口电连接;第一无线收发器和第二无线收发器无线连接。
2.根据权利要求1所述的人体动作采集和动作识别系统,其特征是,所述第一处理器为PIC18F87J50-I/PT单片机,所述3轴加速度传感器电路包括型号为MPU6050的3轴加速度传感器、若干个电阻和若干个电容;3轴加速度传感器的第11管脚与第一处理器的第63管脚电连接,3轴加速度传感器的第12管脚与第一处理器的第58管脚电连接。
3.根据权利要求2所述的人体动作采集和动作识别系统,其特征是,所述电阻为两个,分别为R14和R15;所述电容为4个,分别为C21、C22、C23和C24;R14和R15一端分别与3轴加速度传感器的第23、第24引脚电连接,R14和R15另一端均接VCC;C21一端与3轴加速度传感器的第20引脚电连接,C21另一端接地;C22一端和3轴加速度传感器的第13引脚及VCC电连接,C22另一端接地;C24一端与3轴加速度传感器的第8引脚及VCC电连接,C23一端与3轴加速度传感器的第9引脚电连接,C23和C24另一端均接地。
4.根据权利要求1所述的人体动作采集和动作识别系统,其特征是,所述固定结构为用于固定在人体上的连接绑带。
5.根据权利要求1所述的人体动作采集和动作识别系统,其特征是,第一无线收发器和第二无线收发器均采用WIFI模块、蓝牙模块或ZigBee模块。
6.一种适用于权利要求1所述的人体动作采集和动作识别系统的控制方法,其特征是,包括如下步骤:
(6-1)当人体做出某个动作时,第一处理器获得3轴加速度传感器检测的净加速度矢量信号A(t),A(t)=(x(t),y(t),z(t)),其中,x(t)为三轴加速度传感器检测的X轴矢量信号,y(t)为三轴加速度传感器检测的Y轴矢量信号,z(t)为三轴加速度传感器检测的Y轴矢量信号;
第一处理器利用其内部的模数转换器将模拟净加速度矢量信号转换为数字净加速度矢量信号A′(t),将数字净加速度矢量信号A′(t)存储到第一存储其中并控制第一无线收发器发送数字净加速度矢量信号;
(6-2)第二收发器接收数字净加速度矢量信号A′(t),A′(t)=(x′(t),y′(t),z′(t)),并将数字净加速度矢量信号A′(t)存储到第二存储器中,数字净加速度矢量信号包括若干个经过量化的抽样值;对于数字净加速度矢量信号中的每个时刻i,第二处理器选取时刻i及其后的N-1个抽样值,利用公式 A i ′ ( t ) = A ′ ( t ) Σ t = 0 N - 1 A ′ 2 / MAX 对包括i时刻在内的N个抽样值进行处理,得到每个时刻i的加速度矢量理想值A′i(t);其中,MAX为N个抽样值中的最大值;
并得到由各个时刻的A′i(t)组成的与数字净加速度矢量信号相对应的加速度矢量理想值信号A″(t),并将A″(t)存储到存储器中;
(6-3)信号截取:
第二存储器中设有开始阈值结束阈值δ、放大倍数K,m个人体动作的名称,与m个人体动作分别对应的m个隐马尔可夫模型HMM,HMM由五元数组λ=(X,O,A,B,π)表征;其中,X为状态的有限集合,O为λ的有限集合,A为转移概率,B为输出概率,π为初始状态分布;
第二处理器利用公式
ΔAt=|x′(t+1)-x′(t)|+|y′(t+1)-y′(t)|+|z′(t+1)-z′(t)|计算并得到滤除了多余动作的加速度矢量ΔAi
则第二处理器做出当前时刻动作开始的判断;
A i &prime; ( t ) = 1 N &Sigma; t = i i + N - 1 &Delta;A t < &delta; , 则第二处理器做出当前时刻动作结束的判断;
(6-4)信号放大:
将位于动作开始时刻和动作结束时刻之间的加速度矢量理想值信号A″(t)放大K倍;
(6-5)特征提取:
将A″(t)的各个抽样值按照时间顺序分割成P段,每段取L个抽样值,通过下式提取每一段数据抽样值的均值feature:
feature = &Sigma; j = 0 L s ( j ) / L
其中,s(j)表示每个分割段中的第j时刻抽样值;
(6-6)动作识别:
第二处理器使O=feature,利用Forward-Backward算法的公式
Gesture ( O ) = arg max q = 1 , . . . , m [ P ( O | &lambda; q ) ]
计算m个隐马尔可夫模型HMM中产生feature的最大概率Gesture(O),得到Gesture(O)后,第二处理器查询与Gesture(O)对应的HMMmax,并识别出与HMMmax相对应的人体动作,显示屏显示识别出的人体动作的名称。
7.根据权利要求6所述的人体动作采集和动作识别系统的控制方法,其特征是,所述P的取值大小与一个动作的持续时间及一个动作复杂程度成正比。
8.根据权利要求6所述的人体动作采集和动作识别系统的控制方法,其特征是,K为100至250。
9.根据权利要求6或7或8所述的人体动作采集和动作识别系统的控制方法,其特征是,为(1.65g,0,0)至(1.78g,0,0);δ为(1.25g,0,0)至(1.35g,0,0);其中,g为重力加速度。
10.根据权利要求6或7或8所述的人体动作采集和动作识别系统的控制方法,其特征是,m为8至15。
CN201510233029.9A 2015-05-08 2015-05-08 人体动作采集和动作识别系统及其控制方法 Pending CN104898831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510233029.9A CN104898831A (zh) 2015-05-08 2015-05-08 人体动作采集和动作识别系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510233029.9A CN104898831A (zh) 2015-05-08 2015-05-08 人体动作采集和动作识别系统及其控制方法

Publications (1)

Publication Number Publication Date
CN104898831A true CN104898831A (zh) 2015-09-09

Family

ID=54031535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510233029.9A Pending CN104898831A (zh) 2015-05-08 2015-05-08 人体动作采集和动作识别系统及其控制方法

Country Status (1)

Country Link
CN (1) CN104898831A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527016A (zh) * 2017-07-25 2017-12-29 西北工业大学 室内WiFi环境下基于动作序列检测的用户身份识别方法
CN107643489A (zh) * 2016-07-22 2018-01-30 苏州宝时得电动工具有限公司 电能存储装置、电动工具及其控制方法
CN108549856A (zh) * 2018-04-02 2018-09-18 上海理工大学 一种人体动作和路况识别方法
CN109815779A (zh) * 2018-08-03 2019-05-28 中国农业大学 一种舞台特效触发方法及系统
CN109993118A (zh) * 2019-03-30 2019-07-09 骞一凡 一种动作的识别方法及其识别系统
CN112131972A (zh) * 2020-09-07 2020-12-25 重庆邮电大学 一种基于注意力机制使用WiFi数据进行人体行为识别的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211230A (zh) * 2006-12-25 2008-07-02 财团法人工业技术研究院 3d微惯性感测方法与系统
CN201210349Y (zh) * 2008-02-27 2009-03-18 刘烽 基于动作感应的互动电视用户界面遥控系统
CN101593023A (zh) * 2009-05-26 2009-12-02 英华达(上海)科技有限公司 指套式操作设备
CN101873371A (zh) * 2009-04-24 2010-10-27 华旗移动通讯科技(北京)有限公司 可控制电脑游戏的手机、系统及方法
WO2011003218A1 (zh) * 2009-07-07 2011-01-13 Han Zheng 一种加速度动作识别系统及其方法
CN102457687A (zh) * 2011-12-12 2012-05-16 康佳集团股份有限公司 全键盘3d空中鼠标遥控器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101211230A (zh) * 2006-12-25 2008-07-02 财团法人工业技术研究院 3d微惯性感测方法与系统
CN201210349Y (zh) * 2008-02-27 2009-03-18 刘烽 基于动作感应的互动电视用户界面遥控系统
CN101873371A (zh) * 2009-04-24 2010-10-27 华旗移动通讯科技(北京)有限公司 可控制电脑游戏的手机、系统及方法
CN101593023A (zh) * 2009-05-26 2009-12-02 英华达(上海)科技有限公司 指套式操作设备
WO2011003218A1 (zh) * 2009-07-07 2011-01-13 Han Zheng 一种加速度动作识别系统及其方法
CN102667672A (zh) * 2009-07-07 2012-09-12 韩铮 一种加速度动作识别系统及其方法
CN102457687A (zh) * 2011-12-12 2012-05-16 康佳集团股份有限公司 全键盘3d空中鼠标遥控器

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107643489A (zh) * 2016-07-22 2018-01-30 苏州宝时得电动工具有限公司 电能存储装置、电动工具及其控制方法
CN107643489B (zh) * 2016-07-22 2024-01-09 苏州宝时得电动工具有限公司 电能存储装置、电动工具及其控制方法
CN107527016A (zh) * 2017-07-25 2017-12-29 西北工业大学 室内WiFi环境下基于动作序列检测的用户身份识别方法
CN107527016B (zh) * 2017-07-25 2020-02-14 西北工业大学 室内WiFi环境下基于动作序列检测的用户身份识别方法
CN108549856A (zh) * 2018-04-02 2018-09-18 上海理工大学 一种人体动作和路况识别方法
CN108549856B (zh) * 2018-04-02 2021-04-30 上海理工大学 一种人体动作和路况识别方法
CN109815779A (zh) * 2018-08-03 2019-05-28 中国农业大学 一种舞台特效触发方法及系统
CN109993118A (zh) * 2019-03-30 2019-07-09 骞一凡 一种动作的识别方法及其识别系统
CN109993118B (zh) * 2019-03-30 2021-08-20 上海识装信息科技有限公司 一种动作的识别方法及其识别系统
CN112131972A (zh) * 2020-09-07 2020-12-25 重庆邮电大学 一种基于注意力机制使用WiFi数据进行人体行为识别的方法

Similar Documents

Publication Publication Date Title
CN104898831A (zh) 人体动作采集和动作识别系统及其控制方法
CN110838286B (zh) 一种模型训练的方法、语种识别的方法、装置及设备
CN104035556B (zh) 触觉效果的自动适配
CN108735209B (zh) 唤醒词绑定方法、智能设备及存储介质
CN105810194B (zh) 待机状态下语音控制信息获取方法和智能终端
CN107257996A (zh) 环境敏感自动语音识别的方法和系统
CN109091869A (zh) 虚拟对象的动作控制方法、装置、计算机设备及存储介质
CN104731307B (zh) 一种体感动作识别方法及人机交互装置
CN106446801A (zh) 基于超声主动探测的微手势识别方法及系统
CN110570840B (zh) 一种基于人工智能的智能设备唤醒方法和装置
CN102985897A (zh) 高效姿势处理
CN105791537B (zh) 一种启动或关闭应用程序的系统和方法
CN105869233A (zh) 实现智能交互的行车记录仪及其控制方法
CN108711430A (zh) 语音识别方法、智能设备及存储介质
CN102192173A (zh) 一种智能手势控制电风扇
CN110209446A (zh) 一种人机对话系统中组合槽位的配置方法及装置
CN110634474A (zh) 一种基于人工智能的语音识别方法和装置
CN111225237A (zh) 一种视频的音画匹配方法、相关装置以及存储介质
JP2023508062A (ja) 対話モデルの訓練方法、装置、コンピュータ機器及びプログラム
CN102114343B (zh) 基于多游戏控制设备的动感游戏控制方法
CN206100279U (zh) 一种智能语音微型投影仪
CN107452381B (zh) 一种多媒体语音识别装置及方法
CN109542220B (zh) 一种带有校准和学习功能的手语手套、系统及实现方法
US6676477B2 (en) Toy having detachable central processing unit
CN116543076B (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20180504