CN107316067B - 一种基于惯性传感器的空中手写字符识别方法 - Google Patents

一种基于惯性传感器的空中手写字符识别方法 Download PDF

Info

Publication number
CN107316067B
CN107316067B CN201710388095.2A CN201710388095A CN107316067B CN 107316067 B CN107316067 B CN 107316067B CN 201710388095 A CN201710388095 A CN 201710388095A CN 107316067 B CN107316067 B CN 107316067B
Authority
CN
China
Prior art keywords
lstm
inertial sensor
rnn
iteration
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710388095.2A
Other languages
English (en)
Other versions
CN107316067A (zh
Inventor
薛洋
徐松斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710388095.2A priority Critical patent/CN107316067B/zh
Publication of CN107316067A publication Critical patent/CN107316067A/zh
Application granted granted Critical
Publication of CN107316067B publication Critical patent/CN107316067B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/2455—Discrimination between machine-print, hand-print and cursive writing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种基于惯性传感器的空中手写字符识别方法，该方法针对惯性传感器获取到的空中手写字符动作传感信号进行数据预处理后分别获取到训练样本集、验证样本集和测试样本，同时对LSTM‑RNN模型进行参数初始化，通过各训练样本对参数初始化后的LSTM‑RNN模型进行训练，并且在训练过程中，将验证样本集中的验证样本输入至迭代过程中训练得到的LSTM‑RNN模型，根据验证样本集识别的错误率对迭代次数进行控制，得到最终的LSTM‑RNN分类器；最后将测试样本输入至最终的LSTM‑RNN分类器，通过最终的LSTM‑RNN分类器识别出测试样本对应字符。具有空中手写字符识别精度和准确率更高的优点。

Description

一种基于惯性传感器的空中手写字符识别方法
技术领域
本发明涉及一种模式识别与人工智能技术领域，特别涉及一种基于惯性传感器的空中手写字符识别方法。
背景技术
基于惯性传感器(加速度计和陀螺仪)的空中手写识别是近年来计算机领域中新兴起的研究前沿方向之一，利用用户身上可穿戴设备或智能手持设备内置的惯性传感器采集用户空中书写过程中的加速度信号和角速度信号，通过机器学习和深度学习方法来识别用户的书写内容，它属于穿戴式计算(Wearable Computing)和普适计算(UbiquitousComputing)的重要研究内容之一。
目前，基于惯性传感器的空中手写识别主要包括书写内容识别和书写人识别。书写内容识别主要是识别书写的字符、单词、短语、句子等具体的内容；书写人识别则主要是实现书写者的身份鉴权，可用于手写签名鉴定等领域；由于惯性传感器信号波形很不直观，很难单纯通过肉眼观察波形对书写内容加以区分，而且由于不同人书写习惯的差异，同一个字符的信号波形也有较大差异，因此手势识别时无法仅根据信号数值变化做出判别，而是需要挖掘信号潜在的变化规律。
基于惯性传感器的空中手写不同于传统的二维平面书写，书写过程中没有任何的触觉和视觉反馈。但它既不受某个特定的书写平面的限制(如手写板、触摸屏)，也不需要其他外挂设备(如摄像头)。而且，对环境变化、光照、肤色等因素不敏感，使用者只需要手持嵌入惯性传感器的书写设备在空中自由写。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种识别精度高的基于惯性传感器的空中手写字符识别方法。
本发明的目的通过下述技术方案实现：一种基于惯性传感器的空中手写字符识别方法，步骤如下：
S1、对LSTM-RNN模型(RNN(递归神经网络，Recurrent Neural Networks)隐藏层的非线性单元用LSTM(Long Short-Term Memory，长短时间记忆)记忆块代替而得到的模型)进行参数初始化；同时通过佩带在手上的惯性传感器采集多个空中手写字符动作传感信号，并且对这些空中手写字符动作传感信号分别标注出其所属字符，然后将它们分别作为惯性传感器输出信号进行数据预处理，得到训练样本集和验证样本集；
S2、将训练样本集中的各训练样本作为参数初始化后的LSTM-RNN模型的输入对LSTM-RNN模型进行训练，并且在LSTM-RNN模型训练过程中，将验证样本集中的验证样本输入至迭代过程中训练得到的LSTM-RNN模型，根据验证样本集识别的错误率对迭代次数进行控制，得到最终的LSTM-RNN分类器；
S3、通过佩带在手上的惯性传感器实时采集空中手写字符动作传感信号，然后将其作为惯性传感器输出信号进行数据预处理，得到测试样本，将测试样本输入至步骤S2中获取到的LSTM-RNN分类器，通过LSTM-RNN分类器识别出测试样本对应字符。
优选的，惯性传感器采集的空中手写字符动作传感信号即惯性传感器输出信号包括三维加速度信号和三维角速度信号；各训练样本、验证样本和测试样本均为6维信号，包括三维数据预处理后的加速度信号和三维数据预处理后的角速度信号。
更进一步的，所述步骤S1和步骤S3中惯性传感器输出信号进行数据预处理的过程如下：首先针对惯性传感器输出信号中的三维加速度信号的每一维加速度信号以及三维角速度信号的每一维角速度信号进行滑动平均滤波器处理，然后采用Z-score标准化针对上述通过滑动平均滤波器处理的每一维加速度信号和每一维角速度信号分别进行处理，使得每一维加速度信号和每一维角速度信号的均值为0且标准差为1。
优选的，步骤S1中对LSTM-RNN模型进行参数初始化设定包括：
设定LSTM-RNN模型的输入层神经元个数和各样本的信号维数相同；
设定LSTM-RNN模型的输出层神经元的个数和字符类别数相同；
设定输入层连接到隐藏层的权值Win的初值以及平均池化层到输出层的权值Wout的初值服从均匀分布U[-a,a]，其中a为边界值；
设定隐藏层中每个神经元的细胞结构、遗忘门、输入门和输出门各自的输入权值矩阵Whidden_x和状态权值Whidden_h中各个元素的初值服从均值为0，方差为1的高斯分布N(0,1)；
设定隐藏层的初始状态h、隐藏层的初始输出C、输入层连接到隐藏层的偏置bin、平均池化层到输出层的偏置bout的初值均为0；
以及设定隐藏层中每个神经元的细胞结构、遗忘门、输入门和输出门各自的偏置bhidden的初值均为0。
优选的，步骤S2通过梯度下降算法对LSTM-RNN模型进行训练，表现为随着迭代次数对网络参数进行更新，具体过程如下：
S21、分别初始化加权因子ρ、初始化均方梯度E[g2]0以及初始化均方参数增量E[Δx2]0；设定第k次迭代时的网络参数为xk；然后进入步骤S22；
S22、计算第k次迭代时的参数梯度gk；
S23、根据第k次迭代时的参数梯度gk更新均方梯度，得到第k次迭代时的均方梯度E[g2]k为：
E[g2]k＝ρE[g2]k-1+(1-ρ)gk 2；
其中E[g2]k-1为第k-1次迭代的均方梯度；
S24、分别计算第k次迭代时的学习率η和网络参数增量Δxk：
Δxk＝-η·gk；
其中E[Δx2]k-1为第k-1次迭代的均方参数增量；ε为常数，ε＝1×10-6；
S25、根据第k次迭代时的网络参数增量Δxk和第k-1次迭代的均方参数增量E[Δx2]k-1更新均方参数增量，得到第k次迭代时的均方参数增量E[Δx2]k：
E[Δx2]k＝ρE[Δx2]k-1+(1-ρ)Δxk 2；
S26、根据第k次迭代时的网络参数为xk以及第k次迭代时的网络参数增量Δxk更新得到第k+1次迭代时的网络参数为xk+1：
xk+1＝xk+Δxk。
更进一步的，初始化加权因子ρ＝0.95，初始化均方梯度E[g2]0＝0以及初始化均方参数增量E[Δx2]0＝0。
优选的，步骤S2中根据验证样本集识别的错误率对迭代次数进行控制，得到最终的LSTM-RNN分类器的具体过程如下：
S2a、预设耐性值p、一个置零的计数器和一错误率记录库；
S2b、每隔定值Q次的迭代次数，用当前迭代过程中得到的LSTM-RNN模型测试验证样本集，计算出当前验证样本集识别的错误率，然后进入步骤S2c；
S2c、判断当前验证样本集识别的错误率是否大于错误率记录库中记录的错误率最小值；
若是，则进入步骤S2d；
若否，则将当前迭代过程中得到的LSTM-RNN模型作为最终的LSTM-RNN分类器；
S2d、判断当前验证样本集识别的错误率是否均大于错误率记录库最迟记录的p个错误率中的最小值；
若否，则将当前迭代过程中得到的LSTM-RNN模型作为最终的LSTM-RNN分类器；
若是，则计数器加一，错误率记录库记录当前验证样本集识别的错误率，并且判断计数器的计算值是否超过p；若否，则返回步骤S2b，若是，则迭代停止，将迭代停止时得到的LSTM-RNN模型作为最终的LSTM-RNN分类器。
更进一步的，所述预设耐性值p取8～15中的其中一个整数值。
更进一步的，所述定值Q取200～500中的其中一个整数值。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明基于惯性传感器的空中手写字符识别方法针对惯性传感器获取到的空中手写字符动作传感信号进行数据预处理后分别获取到训练样本集、验证样本集和测试样本，同时对LSTM-RNN模型进行参数初始化，然后通过训练样本集中的各训练样本作为参数初始化后的LSTM-RNN模型的输入对LSTM-RNN模型进行训练，并且在LSTM-RNN模型训练过程中，将验证样本集中的验证样本输入至迭代过程中训练得到的LSTM-RNN模型，根据验证样本集识别的错误率对迭代次数进行控制，得到最终的LSTM-RNN分类器；最后将测试样本输入至最终的LSTM-RNN分类器，通过最终的LSTM-RNN分类器识别出测试样本对应字符。LSTM-RNN模型为RNN隐藏层的非线性单元用LSTM记忆块代替后得到的模型，本发明方法通过LSTM-RNN模型对惯性传感器输出的信号进行分类，由于LSTM-RNN模型对时序序列具有良好的建模能力，并且能够挖掘出输入信号潜在的变化规律，因此具有空中手写字符识别精度和准确率更高的优点。
(2)本发明基于惯性传感器的空中手写字符识别方法在针对LSTM-RNN模型进行训练时，根据验证样本集识别的错误率对迭代次数进行控制，能够提前结束训练过程中的迭代，减少迭代次数，有效防止因训练迭代次数过多而造成模型过拟合的问题，从而得到最佳的LSTM-RNN分类器。
(3)本发明方法针对于惯性传感器输出的信号进行数据预处理时，采用滑动平均滤波器针对每一维加速度信号和每一维角速度信号进行处理，因此能够有效去除人为无意识抖动和硬件因素带来的高频噪声，同时采用Z-score标准化针对上述通过滑动平均滤波器处理的每一维加速度信号和每一维角速度信号分别进行标准化处理，使得每一维加速度信号和每一维角速度信号的均值为0且标准差为1，以减少采集者书写力度和重力的影响。
附图说明
图1是本发明方法流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本实施例公开了一种基于惯性传感器的空中手写字符识别方法，如图1所示，步骤如下：
S1、对LSTM-RNN模型进行参数初始化设定；同时通过佩带在手上的惯性传感器采集多个空中手写字符动作传感信号，并且对这些空中手写字符动作传感信号分别标注出其所属字符，然后将它们分别作为惯性传感器输出信号进行数据预处理，得到训练样本集和验证样本集，
本步骤中对LSTM-RNN模型进行参数初始化设定包括：
设定LSTM-RNN模型的输入层神经元个数与各样本的信号维数相同；
设定LSTM-RNN模型的输出层神经元的个数和字符类别数相同；
设定输入层连接到隐藏层的权值Win的初值以及平均池化层到输出层的权值Wout的初值服从均匀分布U[-a,a]，其中a为边界值：
其中n1与n2分别为需要初始化的参数矩阵的长和宽；
设定隐藏层中每个神经元的细胞结构、遗忘门、输入门和输出门各自的输入权值矩阵Whidden_x和状态权值Whidden_h中各个元素的初值服从均值为0，方差为1的高斯分布N(0,1)；
设定隐藏层的初始状态h、隐藏层的初始输出C、输入层连接到隐藏层的偏置bin、平均池化层到输出层的偏置bout的初值均为0；
设定隐藏层中每个神经元的细胞结构、遗忘门、输入门和输出门各自的偏置bhidden的初值均为0。
S2、将训练样本集中的各训练样本作为参数初始化后的LSTM-RNN模型的输入对LSTM-RNN模型进行训练，并且在LSTM-RNN模型训练过程中，将验证样本集中的验证样本输入至迭代过程中训练得到的LSTM-RNN模型，根据验证样本集识别的错误率对迭代次数进行控制，得到最终的LSTM-RNN分类器；
本步骤中通过梯度下降算法对LSTM-RNN模型进行训练，表现为随着迭代次数对网络参数进行更新，具体过程如下：
S21、分别初始化加权因子ρ＝0.95、初始化均方梯度E[g2]0＝0以及初始化均方参数增量E[Δx2]0＝0；设定第k次迭代时的网络参数为xk，其目标函数f(xk)为交叉熵代价函数；然后进入步骤S22；其中g表示参数梯度；
S22、计算第k次迭代时的参数梯度gk；
S23、根据第k次迭代时的参数梯度gk更新均方梯度，得到第k次迭代时的均方梯度E[g2]k为：
E[g2]k＝ρE[g2]k-1+(1-ρ)gk 2；
其中E[g2]k-1为第k-1次迭代的均方梯度；
S24、分别计算第k次迭代时的学习率η和网络参数增量Δxk：
Δxk＝-η·gk；
其中E[Δx2]k-1为第k-1次迭代的均方参数增量；ε为常数，ε＝1×10-6；
S25、根据第k次迭代时的网络参数增量Δxk和第k-1次迭代的均方参数增量E[Δx2]k-1更新均方参数增量，得到第k次迭代时的均方参数增量E[Δx2]k：
E[Δx2]k＝ρE[Δx2]k-1+(1-ρ)Δxk 2；
S26、根据第k次迭代时的网络参数为xk以及第k次迭代时的网络参数增量Δxk更新得到第k+1次迭代时的网络参数为xk+1：
xk+1＝xk+Δxk。
另外本步骤中根据验证样本集识别的错误率对迭代次数进行控制，得到最终的LSTM-RNN分类器的具体过程如下：
S2a、预设耐性值p、一个置零的计数器和一错误率记录库；其中耐性值p可取8～15中的其中一个整数值，在本实施例中耐性值p取15。
S2b、每隔定值Q次的迭代次数，用当前迭代过程中得到的LSTM-RNN模型测试验证样本集，计算出当前验证样本集识别的错误率，然后进入步骤S2c；其中定值Q取200～500中的其中一个整数值，在本实施例中Q取350，即本步骤中每隔350次的迭代次数，用当前迭代过程中得到的LSTM-RNN模型测试验证样本集，计算出当前验证样本集识别的错误率；
S2c、判断当前验证样本集识别的错误率是否大于错误率记录库中记录的错误率最小值；
若是，则进入步骤S2d；
若否，则将当前迭代过程中得到的LSTM-RNN模型作为最终的LSTM-RNN分类器，并且计数器清零；
S2d、判断当前验证样本集识别的错误率是否均大于错误率记录库最迟记录的p个错误率中的最小值；
若否，则将当前迭代过程中得到的LSTM-RNN模型作为最终的LSTM-RNN分类器，并且计数器清零；
若是，则计数器加一，错误率记录库记录当前验证样本集识别的错误率，并且判断计数器的计算值是否超过p；若否，则返回步骤S2b，若是，则迭代停止，将迭代停止时得到的LSTM-RNN模型作为最终的LSTM-RNN分类器。
S3、通过佩带在手上的惯性传感器实时采集空中手写字符动作传感信号，然后将其作为惯性传感器输出信号进行数据预处理，得到测试样本，将测试样本输入至步骤S2中获取到的LSTM-RNN分类器，LSTM-RNN分类器执行网络前向运算，输出该测试样本属于每一类字符的概率大小，选取概率最大的一类作为该测试样本的字符识别结果。其中字符类别包括10个阿拉伯数字0～9，26个大写英文字母A～Z，26个小写英文字母a～z。
本实施例上述空中手写字符动作传感信号即惯性传感器输出信号包括三维加速度信号和三维角速度信号；步骤S1中数据预处理后得到的各样本为6维信号，包括三维数据预处理后的加速度信号和三维数据预处理后的角速度信号。
本实施例上述步骤S1中对惯性传感器输出信号进行数据预处理得到数据预处理后的样本的过程如下：首先针对惯性传感器输出信号中的三维加速度信号的每一维加速度信号以及三维角速度信号的每一维角速度信号进行滑动平均滤波器处理，然后采用Z-score针对上述通过滑动平均滤波器处理的每一维加速度信号和每一维角速度信号分别进行处理，使得每一维加速度信号和每一维角速度信号的均值为0且标准差为1，得到三维数据预处理后的加速度信号和三维数据预处理后的角速度信号。
本实施例中惯性传感器可以至于智能手表或手机内，此时佩带智能手表或手机在手上即可。
在本实施例中，通过构造的脱机空中手写数据库对本实施例方法进行测试。首先通过22名采集者参与数据采集，其中包括17名男性和5名女性，每人佩带具有惯性传感器的设备在空中书写每个字符10次，从而采集到包括8571个样本的脱机空中手写数据库。该数据库包含10个阿拉伯数字0～9、26个大写字母A～Z和26个小写字母a～z共62种字符。针对于上述获取到的脱机空中手写数据库，当利用本实施例上述空中手写字符识别方法进行字符识别时，采用5折交叉验证方法得到平均识别准确率如下表1所示；
表1
测试内容 平均识别准确率
数字10类 97.33％
英文小写字母26类 96.80％
英文大写字母26类 98.34％
全部62类 94.75％
从表1中可以看出，本发明基于惯性传感器的空中手写字符识别方法具有较高的识别准确率。
当采用不同采样率的惯性传感器采集空中手写字符动作传感信号时，本实施例方法平均识别时间如下表2所示；
表2
惯性传感器采样率 100Hz 60Hz 15Hz
平均识别时间 52.37ms 33.83ms 6.97ms
从表2可以看出，本发明基于惯性传感器的空中手写字符识别方法对每种采样率下的输入信号消耗的平均时间都很短，说明本发明方法中的LSTM-RNN分类器能高效准确地工作，具有较好的实时性。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于惯性传感器的空中手写字符识别方法，其特征在于，步骤如下：
S1、对LSTM-RNN模型进行参数初始化；同时通过佩带在手上的惯性传感器采集多个空中手写字符动作传感信号，并且对这些空中手写字符动作传感信号分别标注出其所属字符，然后将它们分别作为惯性传感器输出信号进行数据预处理，得到训练样本集和验证样本集；
S2、将训练样本集中的各训练样本作为参数初始化后的LSTM-RNN模型的输入对LSTM-RNN模型进行训练，并且在LSTM-RNN模型训练过程中，将验证样本集中的验证样本输入至迭代过程中训练得到的LSTM-RNN模型，根据验证样本集识别的错误率对迭代次数进行控制，得到最终的LSTM-RNN分类器；
S3、通过佩带在手上的惯性传感器实时采集空中手写字符动作传感信号，然后将其作为惯性传感器输出信号进行数据预处理，得到测试样本，将测试样本输入至步骤S2中获取到的LSTM-RNN分类器，通过LSTM-RNN分类器识别出测试样本对应字符；
其中，步骤S2通过梯度下降算法对LSTM-RNN模型进行训练，表现为随着迭代次数对网络参数进行更新，具体过程如下：
S21、分别初始化加权因子ρ、初始化均方梯度E[g2]0以及初始化均方参数增量E[Δx2]0；设定第k次迭代时的网络参数为xk；然后进入步骤S22；
S22、计算第k次迭代时的参数梯度gk；
S23、根据第k次迭代时的参数梯度gk更新均方梯度，得到第k次迭代时的均方梯度E[g2]k为：
E[g2]k＝ρE[g2]k-1+(1-ρ)gk 2；
其中E[g2]k-1为第k-1次迭代的均方梯度；
S24、分别计算第k次迭代时的学习率η和网络参数增量Δxk：
Δxk＝-η·gk；
其中E[Δx2]k-1为第k-1次迭代的均方参数增量；ε为常数，ε＝1×10-6；
S25、根据第k次迭代时的网络参数增量Δxk和第k-1次迭代的均方参数增量E[Δx2]k-1更新均方参数增量，得到第k次迭代时的均方参数增量E[Δx2]k：
E[Δx2]k＝ρE[Δx2]k-1+(1-ρ)Δxk 2；
S26、根据第k次迭代时的网络参数为xk以及第k次迭代时的网络参数增量Δxk更新得到第k+1次迭代时的网络参数为xk+1：
xk+1＝xk+Δxk。
2.根据权利要求1所述的基于惯性传感器的空中手写字符识别方法，其特征在于，惯性传感器采集的空中手写字符动作传感信号即惯性传感器输出信号包括三维加速度信号和三维角速度信号；各训练样本、验证样本和测试样本均为6维信号，包括三维数据预处理后的加速度信号和三维数据预处理后的角速度信号。
3.根据权利要求2所述的基于惯性传感器的空中手写字符识别方法，其特征在于，所述步骤S1和步骤S3中惯性传感器输出信号进行数据预处理的过程如下：首先针对惯性传感器输出信号中的三维加速度信号的每一维加速度信号以及三维角速度信号的每一维角速度信号进行滑动平均滤波器处理，然后采用Z-score标准化针对上述通过滑动平均滤波器处理的每一维加速度信号和每一维角速度信号分别进行处理，使得每一维加速度信号和每一维角速度信号的均值为0且标准差为1。
4.根据权利要求1所述的基于惯性传感器的空中手写字符识别方法，其特征在于，步骤S1中对LSTM-RNN模型进行参数初始化设定包括：
设定LSTM-RNN模型的输入层神经元个数和各样本的信号维数相同；
设定LSTM-RNN模型的输出层神经元的个数和字符类别数相同；
设定输入层连接到隐藏层的权值Win的初值以及平均池化层到输出层的权值Wout的初值服从均匀分布U[-a,a]，其中a为边界值；
设定隐藏层中每个神经元的细胞结构、遗忘门、输入门和输出门各自的输入权值矩阵Whidden_x和状态权值Whidden_h中各个元素的初值服从均值为0，方差为1的高斯分布N(0,1)；
设定隐藏层的初始状态h、隐藏层的初始输出C、输入层连接到隐藏层的偏置bin、平均池化层到输出层的偏置bout的初值均为0；
以及设定隐藏层中每个神经元的细胞结构、遗忘门、输入门和输出门各自的偏置bhidden的初值均为0。
5.根据权利要求1所述的基于惯性传感器的空中手写字符识别方法，其特征在于，初始化加权因子ρ＝0.95，初始化均方梯度E[g2]0＝0以及初始化均方参数增量E[Δx2]0＝0。
6.根据权利要求1所述的基于惯性传感器的空中手写字符识别方法，其特征在于，步骤S2中根据验证样本集识别的错误率对迭代次数进行控制，得到最终的LSTM-RNN分类器的具体过程如下：
S2a、预设耐性值p、一个置零的计数器和一错误率记录库；
S2b、每隔定值Q次的迭代次数，用当前迭代过程中得到的LSTM-RNN模型测试验证样本集，计算出当前验证样本集识别的错误率，然后进入步骤S2c；
S2c、判断当前验证样本集识别的错误率是否大于错误率记录库中记录的错误率最小值；
若是，则进入步骤S2d；
若否，则将当前迭代过程中得到的LSTM-RNN模型作为最终的LSTM-RNN分类器；
S2d、判断当前验证样本集识别的错误率是否均大于错误率记录库最迟记录的p个错误率中的最小值；
若否，则将当前迭代过程中得到的LSTM-RNN模型作为最终的LSTM-RNN分类器；
若是，则计数器加一，错误率记录库记录当前验证样本集识别的错误率，并且判断计数器的计算值是否超过p；若否，则返回步骤S2b，若是，则迭代停止，将迭代停止时得到的LSTM-RNN模型作为最终的LSTM-RNN分类器。
7.根据权利要求6所述的基于惯性传感器的空中手写字符识别方法，其特征在于，所述预设耐性值p取8～15中的其中一个整数值。
8.根据权利要求6所述的基于惯性传感器的空中手写字符识别方法，其特征在于，所述定值Q取200～500中的其中一个整数值。
CN201710388095.2A 2017-05-27 2017-05-27 一种基于惯性传感器的空中手写字符识别方法 Expired - Fee Related CN107316067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710388095.2A CN107316067B (zh) 2017-05-27 2017-05-27 一种基于惯性传感器的空中手写字符识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710388095.2A CN107316067B (zh) 2017-05-27 2017-05-27 一种基于惯性传感器的空中手写字符识别方法

Publications (2)

Publication Number Publication Date
CN107316067A CN107316067A (zh) 2017-11-03
CN107316067B true CN107316067B (zh) 2019-11-15

Family

ID=60182129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710388095.2A Expired - Fee Related CN107316067B (zh) 2017-05-27 2017-05-27 一种基于惯性传感器的空中手写字符识别方法

Country Status (1)

Country Link
CN (1) CN107316067B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033088B (zh) * 2018-01-11 2024-04-09 北京京东乾石科技有限公司 估计gps数据的方法和装置
CN108520298A (zh) * 2018-04-09 2018-09-11 中国民航大学 一种基于改进lstm-rnn的陆空通话语义一致性校验方法
CN109034279B (zh) * 2018-06-04 2023-04-25 平安科技（深圳）有限公司 手写模型训练方法、手写字识别方法、装置、设备及介质
CN108985324A (zh) * 2018-06-04 2018-12-11 平安科技（深圳）有限公司 手写字训练样本获取方法、装置、设备及介质
CN110210371B (zh) * 2019-05-29 2021-01-19 华南理工大学 一种基于深度对抗学习的空中手写惯性传感信号生成方法
CN110188669B (zh) * 2019-05-29 2021-01-19 华南理工大学 一种基于注意力机制的空中手写字符轨迹恢复方法
CN110197224B (zh) * 2019-05-29 2021-05-14 华南理工大学 基于特征空间深度对抗学习的空中手写字符轨迹恢复方法
CN112257820B (zh) * 2019-07-22 2024-09-03 珠海金山办公软件有限公司 一种信息修正方法及装置
CN110866499B (zh) * 2019-11-15 2022-12-13 爱驰汽车有限公司 手写文本识别方法、系统、设备及介质
CN112069483A (zh) * 2020-09-14 2020-12-11 中国科学技术大学 一种智能可穿戴设备的用户识别认证方法
WO2022099588A1 (zh) * 2020-11-13 2022-05-19 深圳振科智能科技有限公司 字符输入方法、装置、电子设备及存储介质
WO2022099589A1 (zh) * 2020-11-13 2022-05-19 深圳振科智能科技有限公司 凌空书写的识别方法、装置、设备和介质
CN112363622A (zh) * 2020-11-13 2021-02-12 深圳振科智能科技有限公司 字符输入方法、装置、电子设备及存储介质
CN112364782A (zh) * 2020-11-13 2021-02-12 深圳振科智能科技有限公司 凌空书写的识别方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103257711A (zh) * 2013-05-24 2013-08-21 河南科技大学 空间手势输入方法
CN104951809A (zh) * 2015-07-14 2015-09-30 西安电子科技大学 基于不平衡分类指标与集成学习的不平衡数据分类方法
CN105956529A (zh) * 2016-04-25 2016-09-21 福州大学 一种基于lstm型rnn的中国手语识别方法
CN106648149A (zh) * 2016-09-22 2017-05-10 华南理工大学 一种基于加速度计和陀螺仪的空中手写字符识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10459615B2 (en) * 2014-12-11 2019-10-29 Rdi Technologies, Inc. Apparatus and method for analyzing periodic motions in machinery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103257711A (zh) * 2013-05-24 2013-08-21 河南科技大学 空间手势输入方法
CN104951809A (zh) * 2015-07-14 2015-09-30 西安电子科技大学 基于不平衡分类指标与集成学习的不平衡数据分类方法
CN105956529A (zh) * 2016-04-25 2016-09-21 福州大学 一种基于lstm型rnn的中国手语识别方法
CN106648149A (zh) * 2016-09-22 2017-05-10 华南理工大学 一种基于加速度计和陀螺仪的空中手写字符识别方法

Also Published As

Publication number Publication date
CN107316067A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
CN107316067B (zh) 一种基于惯性传感器的空中手写字符识别方法
CN107219924B (zh) 一种基于惯性传感器的空中手势识别方法
Cheng et al. Jointly network: a network based on CNN and RBM for gesture recognition
CN105512692B (zh) 基于blstm的联机手写数学公式符号识别方法
CN103971102B (zh) 基于手指轮廓和决策树的静态手势识别方法
CN110232308B (zh) 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法
CN101882000B (zh) 一种基于加速度传感器的手势识别方法
CN110197224B (zh) 基于特征空间深度对抗学习的空中手写字符轨迹恢复方法
CN108227912A (zh) 设备控制方法和装置、电子设备、计算机存储介质
CN105718879A (zh) 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
CN110084221A (zh) 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
CN105740823A (zh) 基于深度卷积神经网络的动态手势轨迹识别方法
Sepahvand et al. Evolutionary metric-learning-based recognition algorithm for online isolated Persian/Arabic characters, reconstructed using inertial pen signals
Nair et al. Supervised techniques and approaches for satellite image classification
CN104517097A (zh) 一种基于kinect的运动人体姿态识别方法
CN108805222A (zh) 一种基于arm平台的深度学习数字手写体识别方法
Su et al. HDL: Hierarchical deep learning model based human activity recognition using smartphone sensors
CN104573621A (zh) 基于Chebyshev神经网络的动态手势学习和识别方法
CN105117740A (zh) 字体识别方法及装置
CN109325513A (zh) 一种基于海量单类单幅图像的图像分类网络训练方法
CN108256238A (zh) 一种基于深度学习的光纤光栅波长解调方法及装置
CN110019805A (zh) 文章主题挖掘方法和装置及计算机可读存储介质
Wang et al. A2dio: Attention-driven deep inertial odometry for pedestrian localization based on 6d imu
CN103927555A (zh) 基于Kinect传感器的静态手语字母识别系统及方法
CN107346207B (zh) 一种基于隐马尔科夫模型的动态手势切分识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191115

CF01 Termination of patent right due to non-payment of annual fee