CN115935238A - 基于轻量级卷积网络的手势识别分类方法及装置 - Google Patents

基于轻量级卷积网络的手势识别分类方法及装置 Download PDF

Info

Publication number
CN115935238A
CN115935238A CN202211641001.5A CN202211641001A CN115935238A CN 115935238 A CN115935238 A CN 115935238A CN 202211641001 A CN202211641001 A CN 202211641001A CN 115935238 A CN115935238 A CN 115935238A
Authority
CN
China
Prior art keywords
gesture
model
lcnn
data
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211641001.5A
Other languages
English (en)
Inventor
王仕婧
刘冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Rouling Technology Co ltd
Original Assignee
Zhejiang Rouling Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Rouling Technology Co ltd filed Critical Zhejiang Rouling Technology Co ltd
Priority to CN202211641001.5A priority Critical patent/CN115935238A/zh
Publication of CN115935238A publication Critical patent/CN115935238A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Analysis (AREA)

Abstract

基于轻量级卷积网络的手势识别分类方法及装置,该方法对采集到的肌电数据信号进行时域高通滤波处理,时域高通滤波处理后进行有效手势判别,有效手势判别过程,计算指定时间内肌电数据信号的平方和与接地通道取得阈值进行比较,大于阈值且持续时间长度满足预设时间标准作为有效手势,保存有效手势数据,同时标记对应的手势标签;构建带有特征过滤的LCNN模型;对LCNN模型随机初始化后,将训练集数据和对应的标签送入LCNN模型中迭代训练,保存效果最优的模型参数;采用训练完毕的LCNN模型对测试集数据进行手势分类得到预测效果。本发明具有更好的泛化能力,适用于不同的数据分布,提高了性能。

Description

基于轻量级卷积网络的手势识别分类方法及装置
技术领域
本发明属于手势识别技术领域,具体涉及一种基于轻量级卷积网络的手势识别分类。
背景技术
手势识别作为现代人机交互的一种重要方法,在元宇宙、智能驾驶、智能家居等多个领域存在广阔的应用场景,也受到了广泛的关注。
目前常见的手势识别任务主要技术有两种:一种是基于摄像头、计算机视觉的辅助,在光线昏暗或者被遮挡的情况下算法的效果会变差,对环境的要求比较高。另一种是依靠手套、多指环等外设设备来达到识别手势控制操作的目的,使用过程繁琐体验效果不好。而基于手腕表面肌电信号进行手势识别的方法,可以规避上述两种方法的缺点,对应用环境无限制且准确率非常高,适合未来为虚拟交互提供方便可靠的技术支持。
但是,基于手腕表面肌电信号进行手势识别通常将神经网络作为鲁棒的特征提取器,为了更好地拟合大量的训练数据,针对手势识别提出的卷积神经网络模型的体积一直在不断增大,对于计算成本和存储空间要求较高。
发明内容
为此,本发明提供一种基于轻量级卷积网络的手势识别分类方法及装置,以解决手势识别中卷积神经网络模型的体积一直在不断增大,对于计算成本和存储空间要求较高的问题。
为了实现上述目的,本发明提供如下技术方案:基于轻量级卷积网络的手势识别分类方法,包括:
在受试人手腕位置放置八通道肌电手环,展示预设手势动态图像,按照预设手势动态图像连续重复若干次相同手势后切换下一手势,得到若干手势的八通道肌电数据;
对采集到的肌电数据信号进行时域高通滤波处理,时域高通滤波处理后进行有效手势判别,有效手势判别过程,计算指定时间内肌电数据信号的平方和与接地通道取得阈值进行比较,大于阈值且持续时间长度满足预设时间标准作为有效手势,保存有效手势数据,同时标记对应的手势标签;
构建带有特征过滤的LCNN模型,LCNN模型包括MFM卷积单元、最大池化单元和全连接单元;
将有效手势数据乱序后,取第一数量的数据作为训练集,第二数量的数据作为测试集;
对LCNN模型随机初始化后,将训练集数据和对应的标签送入LCNN模型中迭代训练,保存效果最优的模型参数;
采用训练完毕的LCNN模型对测试集数据进行手势分类得到预测效果。
作为基于轻量级卷积网络的手势识别分类方法优选方案,所述时域高通滤波处理的公式为:
f(n)=1/M*x(n)+(1-1/M)*f(n-1)
式中,f(n)为时域低频第n次迭代得到的固定噪声特征金字塔网络,M为时间常数。
作为基于轻量级卷积网络的手势识别分类方法优选方案,所述MFM卷积单元包括多尺度卷积层、批量标准化BN层和MFM激活函数;
所述最大池化单元包括第一DROPOUT层和最大池化层;
所述全连接单元包括第二DROPOUT层和全连接层。
作为基于轻量级卷积网络的手势识别分类方法优选方案,MFM激活函数输入的卷积层为2n层,特征图长为W、高为H,MFM激活函数取第k层和第k+n层中较大的值作为输出:
Figure BDA0004008980490000021
MFM激活函数的梯度取经过前向传播特征图像素大的梯度,且梯度为1:
Figure BDA0004008980490000031
式中,
Figure BDA0004008980490000032
表示第k层像素点输出值,
Figure BDA0004008980490000033
表示第k+n层像素点输出值。
作为基于轻量级卷积网络的手势识别分类方法优选方案,LCNN模型中迭代训练采用自适应矩估计优化器和随机权值平均优化器;
采用回调函数保存效果最优的模型参数;损失函数采用Focal Loss函数。
本发明还提供一种基于轻量级卷积网络的手势识别分类装置,包括:
肌电数据采集模块,用于在受试人手腕位置放置八通道肌电手环,展示预设手势动态图像,按照预设手势动态图像连续重复若干次相同手势后切换下一手势,得到若干手势的八通道肌电数据;
高通滤波处理模块,用于对采集到的肌电数据信号进行时域高通滤波处理;
有效手势判别模块,用于时域高通滤波处理后进行有效手势判别,有效手势判别过程,计算指定时间内肌电数据信号的平方和与接地通道取得阈值进行比较,大于阈值且持续时间长度满足预设时间标准作为有效手势,保存有效手势数据,同时标记对应的手势标签;
LCNN模型构建模块,用于构建带有特征过滤的LCNN模型,LCNN模型包括MFM卷积单元、最大池化单元和全连接单元;
数据划分模块,用于将有效手势数据乱序后,取第一数量的数据作为训练集,第二数量的数据作为测试集;
模型迭代模块,用于对LCNN模型随机初始化后,将训练集数据和对应的标签送入LCNN模型中迭代训练,保存效果最优的模型参数;
模型识别分类模块,用于采用训练完毕的LCNN模型对测试集数据进行手势分类得到预测效果。
作为基于轻量级卷积网络的手势识别分类装置优选方案,所述高通滤波处理模块中,所述时域高通滤波处理的公式为:
f(n)=1/M*x(n)+(1-1/M)*f(n-1)
式中,f(n)为时域低频第n次迭代得到的固定噪声特征金字塔网络,M为时间常数。
作为基于轻量级卷积网络的手势识别分类装置优选方案,所述LCNN模型构建模块中,所述MFM卷积单元包括多尺度卷积层、批量标准化BN层和MFM激活函数;
所述最大池化单元包括第一DROPOUT层和最大池化层;
所述全连接单元包括第二DROPOUT层和全连接层。
作为基于轻量级卷积网络的手势识别分类装置优选方案,所述LCNN模型构建模块中,MFM激活函数输入的卷积层为2n层,特征图长为W、高为H,MFM激活函数取第k层和第k+n层中较大的值作为输出:
Figure BDA0004008980490000041
MFM激活函数的梯度取经过前向传播特征图像素大的梯度,且梯度为1:
Figure BDA0004008980490000042
式中,
Figure BDA0004008980490000043
表示第k层像素点输出值,
Figure BDA0004008980490000044
表示第k+n层像素点输出值。
作为基于轻量级卷积网络的手势识别分类装置优选方案,所述模型迭代模块中,LCNN模型中迭代训练采用自适应矩估计优化器和随机权值平均优化器;采用回调函数保存效果最优的模型参数;损失函数采用Focal Loss函数。
本发明在受试人手腕位置放置八通道肌电手环,展示预设手势动态图像,按照预设手势动态图像连续重复若干次相同手势后切换下一手势,得到若干手势的八通道肌电数据;对采集到的肌电数据信号进行时域高通滤波处理,时域高通滤波处理后进行有效手势判别,有效手势判别过程,计算指定时间内肌电数据信号的平方和与接地通道取得阈值进行比较,大于阈值且持续时间长度满足预设时间标准作为有效手势,保存有效手势数据,同时标记对应的手势标签;构建带有特征过滤的LCNN模型,LCNN模型包括MFM卷积单元、最大池化单元和全连接单元;将有效手势数据乱序后,取第一数量的数据作为训练集,第二数量的数据作为测试集;对LCNN模型随机初始化后,将训练集数据和对应的标签送入LCNN模型中迭代训练,保存效果最优的模型参数;采用训练完毕的LCNN模型对测试集数据进行手势分类得到预测效果。本发明LCNN模型采用竞争关系,具有更好的泛化能力,适用于不同的数据分布,采用小核的卷积层和残差块减少了参数空间,提高了性能,比传统CNN方法更快、更小。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是示例性的,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图引申获得其他的实施附图。
本说明书所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本发明实施例1提供的基于轻量级卷积网络的手势识别分类方法示意图;
图2为本发明实施例1提供的基于轻量级卷积网络的手势识别分类方法采用的LCNN模型示意图;
图3为本发明实施例1提供的基于轻量级卷积网络的手势识别分类方法采用MFM激活函数架构;
图4为本发明实施例2提供的基于轻量级卷积网络的手势识别分类装置示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
参见图1,本发明实施例1提供一种基于轻量级卷积网络的手势识别分类方法,包括以下步骤:
S1、在受试人手腕位置放置八通道肌电手环,展示预设手势动态图像,按照预设手势动态图像连续重复若干次相同手势后切换下一手势,得到若干手势的八通道肌电数据;
S2、对采集到的肌电数据信号进行时域高通滤波处理,时域高通滤波处理后进行有效手势判别,有效手势判别过程,计算指定时间内肌电数据信号的平方和与接地通道取得阈值进行比较,大于阈值且持续时间长度满足预设时间标准作为有效手势,保存有效手势数据,同时标记对应的手势标签;
S3、构建带有特征过滤的LCNN模型,LCNN模型包括MFM卷积单元、最大池化单元和全连接单元;
S4、将有效手势数据乱序后,取第一数量的数据作为训练集,第二数量的数据作为测试集;
S5、对LCNN模型随机初始化后,将训练集数据和对应的标签送入LCNN模型中迭代训练,保存效果最优的模型参数;
S6、采用训练完毕的LCNN模型对测试集数据进行手势分类得到预测效果。
本实施例中,步骤S1,按照预设手势动态图像连续重复15次相同手势后切换下一手势,得到7手势的八通道肌电数据。其中,7手势包括竖大拇指、竖食指、三指捏合、五指张开、握拳、拇指左滑和拇指右滑。
本实施例中,步骤S2对采集到的肌电数据信号进行时域高通滤波处理公式为:
f(n)=1/M*x(n)+(1-1/M)*f(n-1)
式中,f(n)为时域低频第n次迭代得到的固定噪声特征金字塔网络,M为时间常数。
其中,对滤波后的肌电数据进行有效手势判别,计算200ms内肌电数据信号的平方和与接地通道取得阈值进行比较,大于阈值且持续时间长度大于400ms视为有效手势,保存有效手势数据并同时标记对应的手势标签。
本实施例中,所述MFM卷积单元包括多尺度卷积层、批量标准化BN层和MFM激活函数;所述最大池化单元包括第一DROPOUT层和最大池化层;所述全连接单元包括第二DROPOUT层和全连接层。
具体的,辅助图2,LCNN模型架构包括3个MFM卷积单元、3个最大池化单元和1个全连接单元。其中MFM卷积单元由多尺度卷积层(5*5、3*3、1*1)、批量标准化BN层和MFM(Max-Feature-Map)激活函数组成。最大池化单元由第一DROPOUT层和最大池化层组成。全连接单元由第二DROPOUT层和全连接层组成,总共包含大约3M参数和1G FLOPS(每秒浮点运算次数)。
辅助图3,本实施例中,MFM激活函数输入的卷积层为2n层,特征图长为W、高为H,MFM激活函数取第k层和第k+n层中较大的值作为输出:
Figure BDA0004008980490000071
MFM激活函数的梯度取经过前向传播特征图像素大的梯度,且梯度为1:
Figure BDA0004008980490000072
式中,
Figure BDA0004008980490000073
表示第k层像素点输出值,
Figure BDA0004008980490000074
表示第k+n层像素点输出值。
其中,两个特征图经过MFM激活函数操作后变为一个特征图,长高不变,通道减半变成了n层。MFM激活函数的梯度是两幅特征图经过前向传播,特征图像素大的具有梯度,并且梯度为1。
本实施例中,LCNN模型中迭代训练采用自适应矩估计优化器和随机权值平均优化器;采用回调函数保存效果最优的模型参数;损失函数采用Focal Loss函数。
具体的,将有效手势数据乱序后,取90%数据作为训练集,10%数据作为测试集。LCNN模型随机初始化后,将训练集数据和对应的标签送入LCNN模型中训练迭代10次,前7次优化器采用自适应矩估计优化器,后3次优化器采用随机权值平均优化器。采用回调函数(callback)保存效果最优的LCNN模型参数。
其中,损失函数采用Focal Loss函数,为困难样本分配更多权重。FL(p)=-α(1-p)rlog(p),概率p的取值范围0<<p<<1,调制系数α取0.85,r取2。
综上所述,本发明实施例在受试人手腕位置放置八通道肌电手环,展示预设手势动态图像,按照预设手势动态图像连续重复15次相同手势后切换下一手势,得到7手势的八通道肌电数据。其中,7手势包括竖大拇指、竖食指、三指捏合、五指张开、握拳、拇指左滑和拇指右滑。对采集到的肌电数据信号进行时域高通滤波,对滤波后的肌电数据进行有效手势判别,计算200ms内肌电数据信号的平方和与接地通道取得阈值进行比较,大于阈值且持续时间长度大于400ms视为有效手势,保存有效手势数据并同时标记对应的手势标签。LCNN模型架构包括3个MFM卷积单元、3个最大池化单元和1个全连接单元。其中MFM卷积单元由多尺度卷积层(5*5、3*3、1*1)、批量标准化BN层和MFM(Max-Feature-Map)激活函数组成。最大池化单元由第一DROPOUT层和最大池化层组成。全连接单元由第二DROPOUT层和全连接层组成,总共包含大约3M参数和1G FLOPS(每秒浮点运算次数)。MFM激活函数输入的卷积层为2n层,特征图长为W、高为H,MFM激活函数取第k层和第k+n层中较大的值作为输出,MFM激活函数的梯度取经过前向传播特征图像素大的梯度,且梯度为1,两个特征图经过MFM激活函数操作后变为一个特征图,长高不变,通道减半变成了n层。将有效手势数据乱序后,取90%数据作为训练集,10%数据作为测试集。LCNN模型随机初始化后,将训练集数据和对应的标签送入LCNN模型中训练迭代10次,前7次优化器采用自适应矩估计优化器,后3次优化器采用随机权值平均优化器。采用回调函数(callback)保存效果最优的LCNN模型参数。本发明采用MFM操作,以获得一个紧凑的表示,并执行特征过滤器选择;设计LCNN轻量级卷积网络,仅使用较少的数据就能达到理想的识别结果;与现有技术相比,MFM采用竞争关系,具有更好的泛化能力,适用于不同的数据分布;LCNN模型框架所采用小核的卷积层和残差块,减少了参数空间提高了性能,仅有3M参数,可实现1G FLOPS,比其他发布的CNN方法更快、更小。
需要说明的是,本公开实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
实施例2
参见图4,本发明实施例2提供一种基于轻量级卷积网络的手势识别分类装置,包括:
肌电数据采集模块1,用于在受试人手腕位置放置八通道肌电手环,展示预设手势动态图像,按照预设手势动态图像连续重复若干次相同手势后切换下一手势,得到若干手势的八通道肌电数据;
高通滤波处理模块2,用于对采集到的肌电数据信号进行时域高通滤波处理;
有效手势判别模块3,用于时域高通滤波处理后进行有效手势判别,有效手势判别过程,计算指定时间内肌电数据信号的平方和与接地通道取得阈值进行比较,大于阈值且持续时间长度满足预设时间标准作为有效手势,保存有效手势数据,同时标记对应的手势标签;
LCNN模型构建模块4,用于构建带有特征过滤的LCNN模型,LCNN模型包括MFM卷积单元、最大池化单元和全连接单元;
数据划分模块5,用于将有效手势数据乱序后,取第一数量的数据作为训练集,第二数量的数据作为测试集;
模型迭代模块6,用于对LCNN模型随机初始化后,将训练集数据和对应的标签送入LCNN模型中迭代训练,保存效果最优的模型参数;
模型识别分类模块7,用于采用训练完毕的LCNN模型对测试集数据进行手势分类得到预测效果。
本实施例中,所述高通滤波处理模块2中,所述时域高通滤波处理的公式为:
f(n)=1/M*x(n)+(1-1/M)*f(n-1)
式中,f(n)为时域低频第n次迭代得到的固定噪声特征金字塔网络,M为时间常数。
本实施例中,所述LCNN模型构建模块4中,所述MFM卷积单元包括多尺度卷积层、批量标准化BN层和MFM激活函数;
所述最大池化单元包括第一DROPOUT层和最大池化层;
所述全连接单元包括第二DROPOUT层和全连接层。
本实施例中,所述LCNN模型构建模块4中,MFM激活函数输入的卷积层为2n层,特征图长为W、高为H,MFM激活函数取第k层和第k+n层中较大的值作为输出:
Figure BDA0004008980490000101
MFM激活函数的梯度取经过前向传播特征图像素大的梯度,且梯度为1:
Figure BDA0004008980490000102
式中,
Figure BDA0004008980490000103
表示第k层像素点输出值,
Figure BDA0004008980490000104
表示第k+n层像素点输出值。
本实施例中,所述模型迭代模块6中,LCNN模型中迭代训练采用自适应矩估计优化器和随机权值平均优化器;采用回调函数保存效果最优的模型参数;损失函数采用FocalLoss函数。
需要说明的是,上述装置各模块之间的信息交互、执行过程等内容,由于与本申请实施例1中的方法实施例基于同一构思,其带来的技术效果与本申请方法实施例相同,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
实施例3
本发明实施例3提供一种非暂态计算机可读存储介质,所述计算机可读存储介质中存储有基于轻量级卷积网络的手势识别分类方法的程序代码,所述程序代码包括用于执行实施例1或其任意可能实现方式的基于轻量级卷积网络的手势识别分类方法的指令。
计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(SolidState Disk、SSD))等。
实施例4
本发明实施例4提供一种电子设备,包括:存储器和处理器;
所述处理器和所述存储器通过总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行实施例1或其任意可能实现方式的基于轻量级卷积网络的手势识别分类方法。
具体的,处理器可以通过硬件来实现也可以通过软件来实现,当通过硬件实现时,该处理器可以是逻辑电路、集成电路等;当通过软件来实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现,该存储器可以集成在处理器中,可以位于所述处理器之外,独立存在。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (10)

1.基于轻量级卷积网络的手势识别分类方法,其特征在于,包括:
在受试人手腕位置放置八通道肌电手环,展示预设手势动态图像,按照预设手势动态图像连续重复若干次相同手势后切换下一手势,得到若干手势的八通道肌电数据;
对采集到的肌电数据信号进行时域高通滤波处理,时域高通滤波处理后进行有效手势判别,有效手势判别过程,计算指定时间内肌电数据信号的平方和与接地通道取得阈值进行比较,大于阈值且持续时间长度满足预设时间标准作为有效手势,保存有效手势数据,同时标记对应的手势标签;
构建带有特征过滤的LCNN模型,LCNN模型包括MFM卷积单元、最大池化单元和全连接单元;
将有效手势数据乱序后,取第一数量的数据作为训练集,第二数量的数据作为测试集;
对LCNN模型随机初始化后,将训练集数据和对应的标签送入LCNN模型中迭代训练,保存效果最优的模型参数;
采用训练完毕的LCNN模型对测试集数据进行手势分类得到预测效果。
2.根据权利要求1所述的基于轻量级卷积网络的手势识别分类方法,其特征在于,所述时域高通滤波处理的公式为:
f(n)=1/M*x(n)+(1-1/M)*f(n-1)
式中,f(n)为时域低频第n次迭代得到的固定噪声特征金字塔网络,M为时间常数。
3.根据权利要求2所述的基于轻量级卷积网络的手势识别分类方法,其特征在于,所述MFM卷积单元包括多尺度卷积层、批量标准化BN层和MFM激活函数;
所述最大池化单元包括第一DROPOUT层和最大池化层;
所述全连接单元包括第二DROPOUT层和全连接层。
4.根据权利要求3所述的基于轻量级卷积网络的手势识别分类方法,其特征在于,MFM激活函数输入的卷积层为2n层,特征图长为W、高为H,MFM激活函数取第k层和第k+n层中较大的值作为输出:
Figure FDA0004008980480000021
MFM激活函数的梯度取经过前向传播特征图像素大的梯度,且梯度为1:
Figure FDA0004008980480000022
式中,
Figure FDA0004008980480000023
表示第k层像素点输出值,
Figure FDA0004008980480000024
表示第k+n层像素点输出值。
5.根据权利要求4所述的基于轻量级卷积网络的手势识别分类方法,其特征在于,LCNN模型中迭代训练采用自适应矩估计优化器和随机权值平均优化器;
采用回调函数保存效果最优的模型参数;损失函数采用FocalLoss函数。
6.基于轻量级卷积网络的手势识别分类装置,其特征在于,包括:
肌电数据采集模块,用于在受试人手腕位置放置八通道肌电手环,展示预设手势动态图像,按照预设手势动态图像连续重复若干次相同手势后切换下一手势,得到若干手势的八通道肌电数据;
高通滤波处理模块,用于对采集到的肌电数据信号进行时域高通滤波处理;
有效手势判别模块,用于时域高通滤波处理后进行有效手势判别,有效手势判别过程,计算指定时间内肌电数据信号的平方和与接地通道取得阈值进行比较,大于阈值且持续时间长度满足预设时间标准作为有效手势,保存有效手势数据,同时标记对应的手势标签;
LCNN模型构建模块,用于构建带有特征过滤的LCNN模型,LCNN模型包括MFM卷积单元、最大池化单元和全连接单元;
数据划分模块,用于将有效手势数据乱序后,取第一数量的数据作为训练集,第二数量的数据作为测试集;
模型迭代模块,用于对LCNN模型随机初始化后,将训练集数据和对应的标签送入LCNN模型中迭代训练,保存效果最优的模型参数;
模型识别分类模块,用于采用训练完毕的LCNN模型对测试集数据进行手势分类得到预测效果。
7.根据权利要求6所述的基于轻量级卷积网络的手势识别分类装置,其特征在于,所述高通滤波处理模块中,所述时域高通滤波处理的公式为:
f(n)=1/M*x(n)+(1-1/M)*f(n-1)
式中,f(n)为时域低频第n次迭代得到的固定噪声特征金字塔网络,M为时间常数。
8.根据权利要求7所述的基于轻量级卷积网络的手势识别分类装置,其特征在于,所述LCNN模型构建模块中,所述MFM卷积单元包括多尺度卷积层、批量标准化BN层和MFM激活函数;
所述最大池化单元包括第一DROPOUT层和最大池化层;
所述全连接单元包括第二DROPOUT层和全连接层。
9.根据权利要求8所述的基于轻量级卷积网络的手势识别分类装置,其特征在于,所述LCNN模型构建模块中,MFM激活函数输入的卷积层为2n层,特征图长为W、高为H,MFM激活函数取第k层和第k+n层中较大的值作为输出:
Figure FDA0004008980480000031
MFM激活函数的梯度取经过前向传播特征图像素大的梯度,且梯度为1:
Figure FDA0004008980480000032
式中,
Figure FDA0004008980480000033
表示第k层像素点输出值,
Figure FDA0004008980480000034
表示第k+n层像素点输出值。
10.根据权利要求9所述的基于轻量级卷积网络的手势识别分类装置,其特征在于,所述模型迭代模块中,LCNN模型中迭代训练采用自适应矩估计优化器和随机权值平均优化器;采用回调函数保存效果最优的模型参数;损失函数采用Focal Loss函数。
CN202211641001.5A 2022-12-20 2022-12-20 基于轻量级卷积网络的手势识别分类方法及装置 Pending CN115935238A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211641001.5A CN115935238A (zh) 2022-12-20 2022-12-20 基于轻量级卷积网络的手势识别分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211641001.5A CN115935238A (zh) 2022-12-20 2022-12-20 基于轻量级卷积网络的手势识别分类方法及装置

Publications (1)

Publication Number Publication Date
CN115935238A true CN115935238A (zh) 2023-04-07

Family

ID=86553989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211641001.5A Pending CN115935238A (zh) 2022-12-20 2022-12-20 基于轻量级卷积网络的手势识别分类方法及装置

Country Status (1)

Country Link
CN (1) CN115935238A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116449966A (zh) * 2023-06-20 2023-07-18 浙江强脑科技有限公司 仿生手教具及其控制方法、主控设备
CN116449967A (zh) * 2023-06-20 2023-07-18 浙江强脑科技有限公司 仿生手教具及其控制方法、主控设备
CN116520990A (zh) * 2023-04-28 2023-08-01 暨南大学 一种基于轻量级神经网络的手语识别方法、系统及手套

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116520990A (zh) * 2023-04-28 2023-08-01 暨南大学 一种基于轻量级神经网络的手语识别方法、系统及手套
CN116520990B (zh) * 2023-04-28 2023-11-24 暨南大学 一种基于轻量级神经网络的手语识别方法、系统及手套
CN116449966A (zh) * 2023-06-20 2023-07-18 浙江强脑科技有限公司 仿生手教具及其控制方法、主控设备
CN116449967A (zh) * 2023-06-20 2023-07-18 浙江强脑科技有限公司 仿生手教具及其控制方法、主控设备

Similar Documents

Publication Publication Date Title
CN115935238A (zh) 基于轻量级卷积网络的手势识别分类方法及装置
CN110458107B (zh) 用于图像识别的方法和装置
CN112613581B (zh) 一种图像识别方法、系统、计算机设备和存储介质
CN110321910B (zh) 面向点云的特征提取方法、装置及设备
CN109816009A (zh) 基于图卷积的多标签图像分类方法、装置及设备
CN111401406B (zh) 一种神经网络训练方法、视频帧处理方法以及相关设备
CN109359539B (zh) 注意力评估方法、装置、终端设备及计算机可读存储介质
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
WO2022068623A1 (zh) 一种模型训练方法及相关设备
CN111126481A (zh) 一种神经网络模型的训练方法及装置
CN111882031A (zh) 一种神经网络蒸馏方法及装置
CN111553215A (zh) 人员关联方法及其装置、图卷积网络训练方法及其装置
JP2022502762A (ja) ニューラルネットワーク捜索方法、装置、プロセッサ、電子機器、記憶媒体及びコンピュータプログラム
CN109242106B (zh) 样本处理方法、装置、设备和存储介质
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
CN109740681A (zh) 一种水果分拣方法、装置、系统、终端及存储介质
CN112288087A (zh) 一种神经网络剪枝方法、装置、电子设备及存储介质
WO2019018564A1 (en) NEUROMORPHIC SYNTHESIZER
CN113143295A (zh) 基于运动想象脑电信号的设备控制方法及终端
CN113988357A (zh) 基于深度学习的高层建筑风致响应预测方法及装置
CN112115801A (zh) 动态手势识别方法、装置、存储介质及终端设备
CN115457364A (zh) 一种目标检测知识蒸馏方法、装置、终端设备和存储介质
CN115223239A (zh) 一种手势识别方法、系统、计算机设备以及可读存储介质
CN114511733A (zh) 基于弱监督学习的细粒度图像识别方法、装置及可读介质
CN112101109B (zh) 人脸关键点检测模型训练方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination