CN108334814B - 一种ar系统手势识别方法 - Google Patents
一种ar系统手势识别方法 Download PDFInfo
- Publication number
- CN108334814B CN108334814B CN201810025105.0A CN201810025105A CN108334814B CN 108334814 B CN108334814 B CN 108334814B CN 201810025105 A CN201810025105 A CN 201810025105A CN 108334814 B CN108334814 B CN 108334814B
- Authority
- CN
- China
- Prior art keywords
- gesture
- neural network
- convolutional neural
- output
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000002650 habitual effect Effects 0.000 claims abstract description 25
- 238000010586 diagram Methods 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 54
- 238000011176 pooling Methods 0.000 claims description 22
- 230000006399 behavior Effects 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 9
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000010355 oscillation Effects 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000002945 steepest descent method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 2
- 239000000523 sample Substances 0.000 description 12
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
一种基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法，包括以下步骤：步骤1：用户习惯性手势图像采集：由用户随机提供一组手势，将这组手势作为标准手势，采集该组手势图像，记为标准组；根据标准组手势模型图，构建其对应的实际标签类别；设置不同的标签类别触发相应AR系统指定功能；步骤2：手势区域图像检测：分别对标准组、训练样本组及测试样本组的手势图像进行手势区域图像检测，以实现图像中肤色与非肤色区域的分割；步骤3：卷积神经网络实现手势特征识别：设计卷积神经网络初步结构模型，用样本数据训练并测试调整卷积神经网络模型，将二值化图像直接输入卷积神经网络。本发明手势识别准确率较高、附加设备成本较低。
Description
技术领域
本发明涉及一种增强现实(AR)系统手势识别方法，尤其涉及一种基于卷积神经网络结合用户习惯性行为分析的手势识别方法。
背景技术
近年来，随着人工智能不断进入人们视野当中，增强现实技术(AR技术)逐渐成为炙手可热的话题。增强现实技术通过电脑技术将虚拟信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或同一个空间同时存在。其中，人机交互技术显得尤为重要。手势作为一种表达方式，通常被作为重要的人机交互手段之一，手势识别也吸引了众多学者的研究。
陈志华等人在《一种基于手指分割的实时手势识别方法》中提出一种基于手指区域分割结合Labeling算法的识别方法；王子川等人在《一种增强现实眼镜的手势识别方法及增强现实眼镜系统》提出基于手势深度图像的指尖定位方法实现手势识别；张勇等人在《一种用于增强现实辅助维修的动态手势识别方法及系统》中提出根据动态手势的指尖运动轨迹结合支持向量机中的分类器进行手势识别的方法；莫冰等人在《一种基于多摄像头的可穿戴式头盔的手势交互系统及识别方法》通过信号采集发送模块、处理器和交互模块用于原始照片的采集、图像处理与手势信息形成、手势的交互；罗阳星等人在《一种基于组合神经网络的动态手势识别方法》中提出基于Haar特征的快速手掌检测器和Camshift手掌跟踪器对图像序列中的手掌进行跟踪定位，输入卷积神经网络串接时间递归神经网络，最后经由softmax分类器输出；冯蔚腾等人在《一种手势识别方法,装置和头戴式可视设备》中根据所测目标物体角度和预设的手势识别算法得到手势信息；李红波等人在《一种采用动作切分的手势识别系统和方法》采用信息切分捕捉手势视频帧图像,对手势帧图像进行预处理和特征提取；焦泽栋等人在《一种基于图像识别配合图形手套的手势识别方法》中利用图案手套结合前端程序预置图像识别软件识别手势，使用三个红外探头确定手部运动的三维位置。
经文献调研分析，目前现有的增强现实系统的手势识别存在准确率低，误差大的缺点，降低了用户在人机交互过程的体验感。外加可佩带设备的识别方法则更需要关注设备在人机交互时给用户带来的不便，以及设备的制造维护成本。
发明内容
为了克服现有AR系统的手势识别准确率较低、附加设备成本较高等不足，本发明提出一种手势识别准确率较高、附加设备成本较低的基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法。
本发明采用的技术方案为：
一种基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法，所述手势识别方法包括以下步骤：
步骤1：用户习惯性手势图像采集
由用户随机提供一组手势，将这组手势作为标准手势，采集该组手势图像，记为标准组；根据标准组手势模型图，构建其对应的实际标签类别；设置不同的标签类别触发相应AR系统指定功能；由用户重复n次上述手势，并采集所得n组手势图像，记为训练样本组；记录用户在AR终端实现人机交互时的N组手势图像，记为测试样本组；
步骤2：手势区域图像检测
分别对步骤1获取的标准组、训练样本组及测试样本组的手势图像进行手势区域图像检测，以实现图像中肤色与非肤色区域的分割；
步骤3：卷积神经网络实现手势特征识别
设计卷积神经网络初步结构模型，用步骤1所得的样本数据训练并测试调整卷积神经网络模型，将步骤2所得二值化图像直接输入所述卷积神经网络。
进一步，所述步骤2中，手势区域图像检测步骤包括：
2.1图像RGB模型到HSV模型转换
利用公式(1)实现图像的红R、绿G、蓝B分量到色度H、饱和度S、亮度V分量转换。
2.2计算图像的色度H分量分布
利用公式(2)计算图像的H分量分布：
2.3实现图像二值化分割
利用公式(3)实现图像二值化分割，其中，Hh和Hd分别表示肤色的上、下界阈值；R表示分割后的二值化图像；
再进一步，所述卷积神经网络由至少一个卷积层、至少一个池化层及一个输出层构成，其中，所述卷积层完成输入特征图与卷积核的卷积操作，卷积核即为权值参数的矩阵，在前一层的特征图滑动卷积核，与原图像重叠的区域进行加权求和，加入偏置值，经激励函数处理得到输出特征图的矩阵；不同输入特征图对应不同的卷积核；输出神经元产生的输出特征图将会形成下一个卷积层的输入特征图；整个过程可由公式(4)表达：
l表示网络的第几层，K为卷积核，Mj为输入特征图的一个选择，每一层有唯一的偏置B，f(x)为激活函数。
更进一步，采用ReLU函数作为激活函数，其线性不饱和形式可以加快网络收敛速度，函数表达式为：f(x)＝max(0,x)。
所述池化层位于所述卷积层之后，起到二次特征提取的作用，所述池化层操作仅在同一特征图内部进行，不同特征图之间互不影响，不改变原特征图数量；对于采样窗口大小为n×n的操作过程，则输出的特征图相比输入特征图在两个维度上都缩小了n倍。
所述池化层采用平均值采样方式，平均值与偏置相加，经激活函数做非线性变换，表达式为公式(5)：
所述卷积神经网络输出层输出内容为输入的特征图的预测类别标签；所述卷积神经网络包括前向传播计算神经元输出值和误差反向传播调整权值，信号向前传递，而误差向后传播，以此来不断调节网络权重值，使得网络的最终输出与期望输出尽可能接近，以达到训练的目的。
对于输入的所述二值化特征图，在每次前向传播之后，经所述初步卷积神经网络模型所得实际输出与期望输出存在一定的误差；定义实际输出与期望输出的均方误差和为误差函数；设K个输出层的期望输出分别为dk(n)，则单路输出的均方误差为
整个神经网络输出层的均方误差为
根据误差函数采用最速下降法调整网络间的连接权值，每次权值调整量为
其中，0＜μ＜1为学习速率；
对于输出层，其权值调整量为
输出层权值调整公式为
其中，μ1为输出层学习速率。
对于卷积层及池化层，其权值调整量为
卷积层及池化层权值调整公式为
其中，μ2为卷积层、池化层的学习速率。
在训练初始阶段选择较大的学习速率，加快收敛速度；在接近收敛时，减小学习速率；避免了因为权值调整幅度过大而产生不收敛或者振荡现象；
其学习速率的变化方式为
其中，α为加入的动量项，μ(n)为可变学习速率，误差的变化量为
ΔE(n)＝E(n+1)-E(n) (14)
ΔE(n)＜0时，α＝α，μ(n)＝μ(n-1)m，m＞1为正向学习因子；
ΔE(n)＞0时，α＝0，μ(n)＝μ(n-1)n，n＜1为负向学习因子；
由此，学习速率可根据实际情况确定，当当前误差梯度修正方向正确，即ΔE(n)＜0，则增大学习速率，即m＞1同时加入动量项α；反之，则减小学习速率，即n＜1，同时α＝0；
损失函数的大小决定了所述卷积神经网络模型的好坏，定义损失函数的期望值为风险函数，以度量平均状态下网络预测错误的程度；记输入为X，预测值为f(X)，实际值为Y，损失函数为f(X)和Y的非负实值函数，记作L(Y,f(X))。由于(X,Y)是随机变量，遵循联合分布P(X,Y)，所以损失函数L(Y,f(X))的期望即风险函数为：
Rexp(f)＝Ep[L(Y,f(X))]＝∫L(y,f(x))P(x,y)dxdy (15)
经过所述初步的卷积神经网络结构模型，得到一系列训练数据集T＝{(x1,y1),(x2,y2),(x3,y3),...,(xn,yn)}，关于该训练数据集得到的训练误差的经验风险为：
当经验风险达到最小，所述卷积神经网络模型达到最优状态；
最后，输入训练数据进行仿真验证，确定网络训练完成；
当用户进行AR终端人机交互时，拍摄手势图像，经由步骤2所述方法处理图片，将图片传入训练好的卷积神经网络，得到该图片对应标准手势类别，触发该手势对应指定功能；
用户在不断使用手势进行人机交互同时，记录并保存手势图像，以作为网络训练的样本。
所述步骤1中，所述用户习惯性行为分析包括：1)采用用户习惯性手势作为触发指令；2)不同个体进行同一个手势会存在差异性，具有不同特征；3)采用用户个人手势图像进行网络训练作为识别标准。
本发明的有益效果表现在：本发明提出的一种基于卷积神经网络的手势识别方法，尤其是与用户习惯性行为分析模型结合的手势识别方法体现了对不同用户个体的人性化考虑。不同个体之间即使是进行同一个手势操作也会存在差异性，具有各自不同特征。本方案提出以用户习惯性手势作为触发指令，并且通过采集用户个人手势图像进行卷积神经网络网络训练作为识别标准，大大减少由于不同个体之间存在的习惯性行为对卷积神经网络提取图像特征时产生的误差，提高识别准确率。在网络训练方面，权值调整算法结合可变学习率，加快了收敛速度，以风险函数作为卷积神经网络的评价指标，当经验风险达到最小时，网络达到最优化。采用本技术方案的AR系统不再是单纯的人适应机器的模式，而是机器适应人，进一步体现人工智能的思想。
附图说明
图1是用户习惯性行为数据采集示意图。
图2是图像预处理流程图。
图3是确定卷积神经网络模型流程图。
具体实施方式
下面参照图一至图三对本发明作进一步描述。
参照图1～图3，一种基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法，包括以下步骤：
步骤1：用户习惯性手势图像采集
由用户随机提供一组手势，该组手势往往是用户潜意识里存在的最熟悉且相对简单的手势；将这组手势作为标准手势，采集该组手势图像，记为标准组。根据标准组手势模型图，构建其对应的实际标签类别。设置不同的标签类别触发相应AR系统指定功能。
进一步，由用户重复n次上述手势，并采集所得n组手势图像，记为训练样本组。
更进一步，记录用户在AR终端实现人机交互时的N组手势图像，记为测试样本组。
进一步，所述用户习惯性行为分析包括：1)采用用户习惯性手势作为触发指令；2)不同个体进行同一个手势会存在差异性，具有不同特征。3)采用用户个人手势图像进行网络训练作为识别标准。
参照图二，进行步骤2：手势区域图像检测
分别对步骤1获取的标准组、训练样本组及测试样本组的手势图像进行手势区域图像检测，以实现图像中肤色与非肤色区域的分割。所述手势区域图像检测步骤包括：
2.1图像RGB模型到HSV模型转换
利用公式(1)实现图像的红(R)、G(绿)、蓝(B)分量到H(色度)、饱和度(S)、亮度(V)分量转换。
2.2计算图像的H(色度)分量分布
利用公式(2)计算图像的H分量分布。
2.3实现图像二值化分割
利用公式(3)实现图像二值化分割。其中，Hh和Hd分别表示肤色的上、下界阈值；R表示分割后的二值化图像。
参照图三，进行步骤3：卷积神经网络实现手势特征识别
设计卷积神经网络初步结构模型，用步骤1所得的样本数据训练并测试调整卷积神经网络模型。卷积神经网络不需人工定义和选择特征，而是直接输入图像，具有良好的自学习能力、容错能力、并行处理能力及自动提取目标的特征。
进一步，将步骤2所得二值化图像直接输入所述卷积神经网络。所述卷积神经网络由至少一个卷积层、至少一个池化层及一个输出层构成。其中，所述卷积层完成输入特征图与卷积核的卷积操作，卷积核即为权值参数的矩阵，在前一层的特征图滑动卷积核，与原图像重叠的区域进行加权求和，加入偏置值，经激励函数处理得到输出特征图的矩阵。不同输入特征图对应不同的卷积核。输出神经元产生的输出特征图将会形成下一个卷积层的输入特征图。整个过程可由公式(4)表达：
l表示网络的第几层，K为卷积核，Mj为输入特征图的一个选择，每一层有唯一的偏置B，f(x)为激活函数。
更进一步，本发明采用ReLU(Rectified Linear Units)函数作为激活函数，其线性不饱和形式可以加快网络收敛速度，计算量小，有效防止梯度消失问题。函数表达式为：f(x)＝max(0,x)
进一步，所述池化层位于所述卷积层之后，起到二次特征提取的作用。池化层用于降低特征维度，减少参数数量，同时也避免了网络出现过拟合的问题。所述池化层操作仅在同一特征图内部进行，不同特征图之间互不影响，不改变原特征图数量。对于采样窗口大小为n×n的操作过程，则输出的特征图相比输入特征图在两个维度上都缩小了n倍。
更进一步，所述池化层采用平均值采样方式，平均值与偏置相加，经激活函数做非线性变换，表达式为公式(5)：
进一步，所述卷积神经网络输出层输出内容为输入的特征图的预测类别标签。
所述卷积神经网络包括前向传播计算神经元输出值和误差反向传播调整权值。主要原理为信号向前传递，而误差向后传播，以此来不断调节网络权重值，使得网络的最终输出与期望输出尽可能接近，以达到训练的目的。
进一步，对于输入的所述二值化特征图，在每次前向传播之后，经所述初步卷积神经网络模型所得实际输出与期望输出存在一定的误差。定义实际输出与期望输出的均方误差和为误差函数。设K个输出层的期望输出分别为dk(n)，则单路输出的均方误差为
整个神经网络输出层的均方误差为
根据误差函数采用最速下降法调整网络间的连接权值，每次权值调整量为
其中，0＜μ＜1为学习速率。
对于输出层，其权值调整量为
输出层权值调整公式为
其中，μ1为输出层学习速率。
对于卷积层及池化层，其权值调整量为
卷积层及池化层权值调整公式为
其中，μ2为卷积层、池化层的学习速率。
进一步，为了解决上述算法存在的收敛速度慢的缺点，本方案结合另外一种快速学习算法，以达到在误差梯度变化缓慢时加大学习速率，在变化剧烈时减小学习速率的效果，即在训练初始阶段选择较大的学习速率，加快收敛速度；在接近收敛时，减小学习速率。避免了因为权值调整幅度过大而产生不收敛或者振荡现象。
其学习速率的变化方式为
其中，α为加入的动量项，μ(n)为可变学习速率，误差的变化量为
ΔE(n)＝E(n+1)-E(n) (14)
ΔE(n)＜0时，α＝α，μ(n)＝μ(n-1)m。m＞1为正向学习因子；
ΔE(n)＞0时，α＝0，μ(n)＝μ(n-1)n。n＜1为负向学习因子。
由此，学习速率可根据实际情况确定，当当前误差梯度修正方向正确，即ΔE(n)＜0，则增大学习速率(m＞1)同时加入动量项α；反之，则减小学习速率(n＜1)，同时α＝0。
更进一步，损失函数的大小决定了所述卷积神经网络模型的好坏，定义损失函数的期望值为风险函数，以度量平均状态下网络预测错误的程度。记输入为X，预测值为f(X)，实际值为Y，损失函数为f(X)和Y的非负实值函数，记作L(Y,f(X))。由于(X,Y)是随机变量，遵循联合分布P(X,Y)，所以损失函数L(Y,f(X))的期望即风险函数为：
Rexp(f)＝Ep[L(Y,f(X))]＝∫L(y,f(x))P(x,y)dxdy (15)
进一步，经过所述初步的卷积神经网络结构模型，可以得到一系列训练数据集T＝{(x1,y1),(x2,y2),(x3,y3),...,(xn,yn)}，关于该训练数据集得到的训练误差的经验风险为：
当经验风险达到最小，所述卷积神经网络模型达到最优状态。
最后，输入训练数据进行仿真验证，确定网络训练完成。
当用户进行AR终端人机交互时，拍摄手势图像，经由步骤2所述方法处理图片，将图片传入训练好的卷积神经网络，得到该图片对应标准手势类别，触发该手势对应指定功能。
Claims (6)
1.一种基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法，其特征在于：所述手势识别方法包括以下步骤：
步骤1：用户习惯性手势图像采集
由用户随机提供一组手势，将这组手势作为标准手势，采集该组手势图像，记为标准组；根据标准组手势模型图，构建其对应的实际标签类别；设置不同的标签类别触发相应AR系统指定功能；由用户重复n次上述手势，并采集所得n组手势图像，记为训练样本组；记录用户在AR终端实现人机交互时的N组手势图像，记为测试样本组；
步骤2：手势区域图像检测
分别对步骤1获取的标准组、训练样本组及测试样本组的手势图像进行手势区域图像检测，以实现图像中肤色与非肤色区域的分割；
步骤3：卷积神经网络实现手势特征识别
设计卷积神经网络初步结构模型，用步骤1所得的样本数据训练并测试调整卷积神经网络模型，将步骤2所得二值化图像直接输入所述卷积神经网络；
所述步骤2中，手势区域图像检测步骤包括：
2.1图像RGB模型到HSV模型转换
利用公式(1)实现图像的红R、绿G、蓝B分量到色度H、饱和度S、亮度V分量转换；
max＝max(R,G,B)；
min＝min(R,G,B)； (1)
V＝max(R,G,B)；
S＝(max-min)/max；
2.2计算图像的色度H分量分布
利用公式(2)计算图像的H分量分布：
2.3实现图像二值化分割
利用公式(3)实现图像二值化分割，其中，Hh和Hd分别表示肤色的上、下界阈值；R表示分割后的二值化图像；
所述卷积神经网络由至少一个卷积层、至少一个池化层及一个输出层构成，其中，所述卷积层完成输入特征图与卷积核的卷积操作，卷积核即为权值参数的矩阵，在前一层的特征图滑动卷积核，与原图像重叠的区域进行加权求和，加入偏置值，经激励函数处理得到输出特征图的矩阵；不同输入特征图对应不同的卷积核；输出神经元产生的输出特征图将会形成下一个卷积层的输入特征图；整个过程可由公式(4)表达：
l表示网络的第几层，K为卷积核，Mj为输入特征图的一个选择，每一层有唯一的偏置B，f(x)为激活函数；
对于输入的所述二值化特征图，在每次前向传播之后，经所述初步卷积神经网络模型所得实际输出与期望输出存在一定的误差；定义实际输出与期望输出的均方误差和为误差函数；设K个输出层的期望输出分别为dk(n)，则单路输出的均方误差为
整个神经网络输出层的均方误差为
根据误差函数采用最速下降法调整网络间的连接权值，每次权值调整量为
其中，0＜μ＜1为学习速率；
对于输出层，其权值调整量为
输出层权值调整公式为
其中，μ1为输出层学习速率；
对于卷积层及池化层，其权值调整量为
卷积层及池化层权值调整公式为
其中，μ2为卷积层、池化层的学习速率；
在训练初始阶段选择较大的学习速率，加快收敛速度；在接近收敛时，减小学习速率；避免了因为权值调整幅度过大而产生不收敛或者振荡现象；
其学习速率的变化方式为
其中，α为加入的动量项，μ(n)为可变学习速率，误差的变化量为
ΔE(n)＝E(n+1)-E(n) (14)
ΔE(n)＜0时，α＝α，μ(n)＝μ(n-1)m，m＞1为正向学习因子；
ΔE(n)＞0时，α＝0，μ(n)＝μ(n-1)n，n＜1为负向学习因子；
由此，学习速率可根据实际情况确定，当当前误差梯度修正方向正确，即ΔE(n)＜0，则增大学习速率，即m＞1同时加入动量项α；反之，则减小学习速率，即n＜1，同时α＝0；
损失函数的大小决定了所述卷积神经网络模型的好坏，定义损失函数的期望值为风险函数，以度量平均状态下网络预测错误的程度；记输入为X，预测值为f(X)，实际值为Y，损失函数为f(X)和Y的非负实值函数，记作L(Y,f(X))，由于(X,Y)是随机变量，遵循联合分布P(X,Y)，所以损失函数L(Y,f(X))的期望即风险函数为：
Rexp(f)＝Ep[L(Y,f(X))]＝∫L(y,f(x))P(x,y)dxdy (15)
经过所述初步的卷积神经网络结构模型，得到一系列训练数据集T＝{(x1,y1),(x2,y2),(x3,y3),...,(xn,yn)}，关于该训练数据集得到的训练误差的经验风险为：
当经验风险达到最小，所述卷积神经网络模型达到最优状态；
最后，输入训练数据进行仿真验证，确定网络训练完成；
当用户进行AR终端人机交互时，拍摄手势图像，经由步骤2所述方法处理图片，将图片传入训练好的卷积神经网络，得到该图片对应标准手势类别，触发该手势对应指定功能；
用户在不断使用手势进行人机交互同时，记录并保存手势图像，以作为网络训练的样本。
2.如权利要求1所述的基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法，其特征在于：采用ReLU函数作为激活函数，其线性不饱和形式可以加快网络收敛速度，函数表达式为：f(x)＝max(0,x)。
3.如权利要求1所述的基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法，其特征在于：所述池化层位于所述卷积层之后，起到二次特征提取的作用，所述池化层操作仅在同一特征图内部进行，不同特征图之间互不影响，不改变原特征图数量；对于采样窗口大小为n×n的操作过程，则输出的特征图相比输入特征图在两个维度上都缩小了n倍。
4.如权利要求1所述的基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法，其特征在于：所述池化层采用平均值采样方式，平均值与偏置相加，经激活函数做非线性变换，表达式为公式(5)：
5.如权利要求1所述的基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法，其特征在于：所述卷积神经网络输出层输出内容为输入的特征图的预测类别标签；所述卷积神经网络包括前向传播计算神经元输出值和误差反向传播调整权值，信号向前传递，而误差向后传播，以此来不断调节网络权重值，使得网络的最终输出与期望输出尽可能接近，以达到训练的目的。
6.如权利要求1所述的基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法，其特征在于：所述步骤1中，所述用户习惯性行为分析包括：1)采用用户习惯性手势作为触发指令；2)不同个体进行同一个手势会存在差异性，具有不同特征；3)采用用户个人手势图像进行网络训练作为识别标准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810025105.0A CN108334814B (zh) | 2018-01-11 | 2018-01-11 | 一种ar系统手势识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810025105.0A CN108334814B (zh) | 2018-01-11 | 2018-01-11 | 一种ar系统手势识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108334814A CN108334814A (zh) | 2018-07-27 |
| CN108334814B true CN108334814B (zh) | 2020-10-30 |
Family
ID=62924958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810025105.0A Active CN108334814B (zh) | 2018-01-11 | 2018-01-11 | 一种ar系统手势识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108334814B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308670B (zh) * | 2018-09-21 | 2021-06-01 | 国家电网有限公司 | 基于行为预测的变电站安全管控方法 |
| CN109508670B (zh) * | 2018-11-12 | 2021-10-12 | 东南大学 | 一种基于红外摄像头的静态手势识别方法 |
| CN109815920A (zh) * | 2019-01-29 | 2019-05-28 | 南京信息工程大学 | 基于卷积神经网络和对抗卷积神经网络的手势识别方法 |
| US11543888B2 (en) | 2019-06-27 | 2023-01-03 | Google Llc | Intent detection with a computing device |
| CN110347703B (zh) * | 2019-07-01 | 2023-08-22 | 华南理工大学 | 一种基于ARCore的用户行为分析方法及系统 |
| CN111124108B (zh) * | 2019-11-22 | 2022-11-15 | Oppo广东移动通信有限公司 | 模型训练方法、手势控制方法、装置、介质及电子设备 |
| CN110968199A (zh) * | 2019-12-10 | 2020-04-07 | 安徽师范大学 | 一种基于手势识别的交通灯的控制方法、系统及电子设备 |
| CN111160114B (zh) * | 2019-12-10 | 2024-03-19 | 深圳数联天下智能科技有限公司 | 手势识别方法、装置、设备及计算机可读存储介质 |
| CN111338470B (zh) * | 2020-02-10 | 2022-10-21 | 烟台持久钟表有限公司 | 一种手势控制大钟的方法 |
| CN111401261B (zh) * | 2020-03-18 | 2022-06-10 | 金陵科技学院 | 基于gan-cnn框架的机器人手势识别方法 |
| CN111797759B (zh) * | 2020-07-03 | 2023-11-07 | 重庆市特种设备检测研究院 | 一种自动扶梯危险乘梯行为主动干预监测方法 |
| CN112036261A (zh) * | 2020-08-11 | 2020-12-04 | 海尔优家智能科技（北京）有限公司 | 手势识别方法、装置、存储介质、电子装置 |
| CN112215336B (zh) * | 2020-09-30 | 2024-02-09 | 招商局金融科技有限公司 | 基于用户行为的数据标注方法、装置、设备及存储介质 |
| CN113066060B (zh) * | 2021-03-23 | 2023-12-19 | 湖南珞佳智能科技有限公司 | 一种空洞卷积神经网络的激光定向能量沉淀图像识别方法 |
| CN113052112B (zh) * | 2021-04-02 | 2023-06-02 | 北方工业大学 | 基于混合神经网络的手势动作识别互动系统及方法 |
| CN113204750B (zh) * | 2021-05-28 | 2023-11-17 | 南京大学 | 基于用户意图的安卓资源权限动态管理系统及其实现方法 |
| CN113780140B (zh) * | 2021-08-31 | 2023-08-04 | 河北大学 | 基于深度学习的手势图像分割与识别方法以及装置 |
| CN113535064B (zh) * | 2021-09-16 | 2022-02-01 | 北京亮亮视野科技有限公司 | 虚拟标签标记方法、装置、电子设备及存储介质 |
| CN114356073A (zh) * | 2021-11-16 | 2022-04-15 | 北京交通大学 | 一种基于uwb通信技术的手势识别方法 |
| CN114454951B (zh) * | 2021-12-30 | 2022-12-06 | 南京航空航天大学 | 一种双电机线控转向系统及其卷积神经网络容错控制方法 |
| CN117612656B (zh) * | 2024-01-22 | 2024-04-02 | 江苏瑞斯达安全防护用品有限公司 | 一种基于手套储能的相变材料剩余蓄热量测量方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101620060A (zh) * | 2009-08-13 | 2010-01-06 | 上海交通大学 | 颗粒大小分布自动检测方法 |
| CN102609136A (zh) * | 2012-01-19 | 2012-07-25 | 华为技术有限公司 | 基准值数据的动态修正方法及装置、触摸手势识别方法 |
| CN106156734A (zh) * | 2016-06-28 | 2016-11-23 | 浙江工业大学 | 一种基于卷积神经网络图像识别的水流测速方法 |
| CN107300976A (zh) * | 2017-08-11 | 2017-10-27 | 五邑大学 | 一种手势识别家庭影院系统及其运作方法 |
| CN107330405A (zh) * | 2017-06-30 | 2017-11-07 | 上海海事大学 | 基于卷积神经网络的遥感图像飞机目标识别方法 |
| CN107480600A (zh) * | 2017-07-20 | 2017-12-15 | 中国计量大学 | 一种基于深度卷积神经网络的手势识别方法 |
-
2018
- 2018-01-11 CN CN201810025105.0A patent/CN108334814B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101620060A (zh) * | 2009-08-13 | 2010-01-06 | 上海交通大学 | 颗粒大小分布自动检测方法 |
| CN102609136A (zh) * | 2012-01-19 | 2012-07-25 | 华为技术有限公司 | 基准值数据的动态修正方法及装置、触摸手势识别方法 |
| CN106156734A (zh) * | 2016-06-28 | 2016-11-23 | 浙江工业大学 | 一种基于卷积神经网络图像识别的水流测速方法 |
| CN107330405A (zh) * | 2017-06-30 | 2017-11-07 | 上海海事大学 | 基于卷积神经网络的遥感图像飞机目标识别方法 |
| CN107480600A (zh) * | 2017-07-20 | 2017-12-15 | 中国计量大学 | 一种基于深度卷积神经网络的手势识别方法 |
| CN107300976A (zh) * | 2017-08-11 | 2017-10-27 | 五邑大学 | 一种手势识别家庭影院系统及其运作方法 |
Non-Patent Citations (1)
| Title |
|---|
| "基于深度卷积神经网络的手势识别研究";陈祖雪;《中国优秀硕士学位论文全文数据库信息科技辑》;20170415;正文2.1.4、2.3.1、3.2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108334814A (zh) | 2018-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108334814B (zh) | 一种ar系统手势识别方法 | |
| CN107808143B (zh) | 基于计算机视觉的动态手势识别方法 | |
| CN102332095B (zh) | 一种人脸运动跟踪方法和系统以及一种增强现实方法 | |
| CN110796018B (zh) | 一种基于深度图像和彩色图像的手部运动识别方法 | |
| CN106909220A (zh) | 一种适用于触控的视线交互方法 | |
| CN110084192B (zh) | 基于目标检测的快速动态手势识别系统及方法 | |
| CN114241548A (zh) | 一种基于改进YOLOv5的小目标检测算法 | |
| CN105975934A (zh) | 一种用于增强现实辅助维修的动态手势识别方法及系统 | |
| CN103345644A (zh) | 在线训练的目标检测方法及装置 | |
| CN109325408A (zh) | 一种手势判断方法及存储介质 | |
| Thongtawee et al. | A novel feature extraction for American sign language recognition using webcam | |
| CN110956099B (zh) | 一种动态手势指令识别方法 | |
| Vishwakarma et al. | Simple and intelligent system to recognize the expression of speech-disabled person | |
| CN110046544A (zh) | 基于卷积神经网络的数字手势识别方法 | |
| CN112307984B (zh) | 基于神经网络的安全帽检测方法和装置 | |
| CN106503619B (zh) | 基于bp神经网络的手势识别方法 | |
| CN114170672A (zh) | 一种基于计算机视觉的课堂学生行为识别的方法 | |
| CN114299604A (zh) | 一种基于二维图像的手骨骼捕捉、手势判别方法 | |
| CN112114675A (zh) | 基于手势控制的非接触电梯键盘的使用方法 | |
| CN112163508A (zh) | 一种基于真实场景的文字识别方法、系统及ocr终端 | |
| CN111860451A (zh) | 一种基于人脸表情识别的游戏交互方法 | |
| Salunke et al. | Power point control using hand gesture recognition based on hog feature extraction and K-NN classification | |
| Yang et al. | A Face Detection Method Based on Skin Color Model and Improved AdaBoost Algorithm. | |
| CN114821753A (zh) | 一种基于视觉图像信息的眼动交互系统 | |
| CN106445146A (zh) | 用于头盔显示器的手势交互方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180727 Assignee: Songyang Yongxin Machinery Manufacturing Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2023980037296 Denomination of invention: A Gesture recognition Method for AR System Granted publication date: 20201030 License type: Common License Record date: 20230703 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180727 Assignee: Foshan chopsticks Technology Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2024980000084 Denomination of invention: A gesture recognition method for AR systems Granted publication date: 20201030 License type: Common License Record date: 20240104 |
|
| EE01 | Entry into force of recordation of patent licensing contract |