CN109657739B - 一种基于高频声波短时傅里叶变换的手写字母识别方法 - Google Patents

一种基于高频声波短时傅里叶变换的手写字母识别方法 Download PDF

Info

Publication number
CN109657739B
CN109657739B CN201910018087.8A CN201910018087A CN109657739B CN 109657739 B CN109657739 B CN 109657739B CN 201910018087 A CN201910018087 A CN 201910018087A CN 109657739 B CN109657739 B CN 109657739B
Authority
CN
China
Prior art keywords
layer
data
frequency sound
user
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910018087.8A
Other languages
English (en)
Other versions
CN109657739A (zh
Inventor
汤战勇
李青佩
翟双姣
范天赐
王焕廷
房鼎益
龚晓庆
陈�峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN201910018087.8A priority Critical patent/CN109657739B/zh
Publication of CN109657739A publication Critical patent/CN109657739A/zh
Application granted granted Critical
Publication of CN109657739B publication Critical patent/CN109657739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/2455—Discrimination between machine-print, hand-print and cursive writing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Character Discrimination (AREA)

Abstract

本发明涉及一种基于高频声波短时傅里叶变换的手写字母识别方法，将高频声波信号的短时傅里叶变换得到的频谱图作为特征，通过裁剪、灰度处理以及归一化处理之后训练卷积神经网络训练模型，并使用该模型提取特征，最后使用SVM分类器识别用户所写的英文字母。本发明的识别方法，无需用户佩戴额外的可穿戴设备或部署其他收发设备，同时不受环境中说话等其他噪音的影响，同时使用了深度学习与机器学习的方法建立用户模型，而非定位的方法还原用户手的移动轨迹，避免了其他方法要求用户一笔完成手写字母的缺陷。

Description

一种基于高频声波短时傅里叶变换的手写字母识别方法
技术领域
本发明涉及一种手写英文字母识别方法，具体涉及一种基于高频声波短时傅里叶变换的手写字母识别方法。
背景技术
随着互联网的发展以及电子硬件的发展，越来越多的人拥有手机以及手环，方便了人们的沟通、工作、学习以及日常生活。现在的输入方式基本是在触摸屏幕上输入，屏幕太大不便于携带，屏幕太小不便于操作，比如很多年龄较大的老年人不习惯虚拟键盘输入法，更倾向于使用手写输入，使用手写输入时，手机屏幕尺寸限制了书写区域，必须在手机屏幕区域内写字。由于人的手指比较粗，在较小的屏幕中输入时会造成极大的不便，比如屏幕比较小的手机或者手环。
近年来，随着AR(增强现实)和VR(虚拟现实)的发展，越来越多研究者开始关注在手机屏幕外实现人机交互。同时，有许多关于汉字识别以及英文字母识别的工作：
基于传感器的字母识别：GyroPen提出一种基于手机内置传感器的手写字识别方法，用户需要手持手机，将手机当作一个笔在桌子上写字，获取写字过程中手机内置的加速度传感器和陀螺仪数据识别用户用手机在桌子上划的字，对英文字母的识别错误率为18％。
基于无线信号的手写字识别：利用WiFi、RF信号等识别用户写的字，用户写字区域的两侧部署一个无线信号的发射端和一个无线信号的接收端，用户在发射端与接收端中间写字，写字过程中由于不同字的笔画不同，在写的过程中会对无线信号的反射产生影响，通过提取接收端信号的特征使用机器学习或者模式匹配的方法建立识别模型，在用户使用过程中用训练好的模型识别用户所写的字。虽然无需用户携带任何设备，但是需要部署收发设备，而且用户需要在规定的位置内写字，并且周围环境不能有太大的变换，否则会对信号的反射产生较大的影响，从而降低识别率。
基于声音信号的英文字母识别：WritingHacker根据不同字母笔画不同将26 个字母使用SVM分成笔画相同的几个大类，然后根据字典中的单词推测每一个字母是什么，识别率可以达到50％-60％。同时使用加速度传感器矫正。但是如果周围不断有突发噪声，则无法正常使用，比如用户不断说话时该系统不能正常使用。WordRecorder是一种最新的英文手写识别方法，用户左手戴一个手环，右手在桌面上写字，通过手环内置的麦克风录写字时笔尖与纸的摩擦产生的声音，然后使用卷积神经网络(CNN)训练模型识别用户所写的英文字母，平均正确率为81％，当环境中的噪音达到60dB时，正确率降至50％左右。这两种方法都不能在环境中噪声较大的时候使用，尤其是说话时产生的爆破声音。
基于声音信号的手势识别及定位：LLAP提出一种通过解调收到的信号来提取信号的相位的方法计算手移动的相对距离，这种方法只能识别一笔写成的字母，而26个字母里很多字母都不是一笔可以写成的，因此无法使用这种方法识别用户所写的英文字母。
发明内容
针对上述现有技术中存在的问题，本发明的目的在于提供一种基于高频声波短时傅里叶变换的手写字母识别方法，在无需部署额外设备的前提下，降低环境噪声对识别率的影响，同时有效提高识别正确率。
为了实现上述任务，本发明采用以下技术方案：
一种基于高频声波短时傅里叶变换的手写字母识别方法，包括以下步骤：
步骤1，收集训练数据
在手机上设置有训练数据收集模块，用于发射调制好的高频声音信号，同时收录用户书写英文字母时所述高频声音信号的反射信号；高频声音信号的调制方法为：
步骤1.1，选择13位Barker码作为基带信号，13位Barker码表示为：
s＝[-1,-1,-1,-1,-1,1,1,-1,-1,1,-1,1,-1]
步骤1.2，将两个所述的13位Barker码连接后，再补14个0，使其长度为 40，记为S1；
步骤1.3，对S1进行12次上采样，得到长度为480的S2，将S2调制到频率为19kHz的正弦波上，表示为：
signal＝S2·cos(2πfct)
其中，t表示时间，
Figure BDA0001939790390000031
fc表示载波频率，fs表示采样率；
步骤1.4，使用带通滤波器去除signal信号其他频率上的噪声，只留下 17kHz-21kHz的高频声波信号；
步骤1.5，将滤波后的signal信号保存成wav格式，训练数据收集模块通过播放wav格式的signal信号发射高频声音信号；
将训练数据收集模块编写为APP文件，用户在手写英文字母时打开该APP 文件时，手机扬声器发射高频声音信号，与此同时手机麦克风收录所述高频声音信号在用户手写英文字母时的反射信号，并将收录到的信号进行存储，存储时声音信号的编码格式为PCM编码，并将PCM存储为wav格式的音频文件。
步骤2，训练网络模型
步骤2.1，读取步骤1中得到的wav文件，对其进行短时傅里叶变换；
提取wav文件中信号的频谱矩阵S和功率谱矩阵P，以及时间分割向量T和频率分割向量F，绘制(T,F,(P./abs(S)))三者之间关系的STFT图；
步骤2.2，将步骤2.1中得到的STFT图进行裁剪，只留下17kHz-21kHz的频率段的频谱图；
步骤2.3，对步骤2.2中裁剪后的频谱图进行灰度处理，使得3通道的彩色图像转换为单通道的灰度图像；
步骤2.4，对步骤2.3处理后的频谱图进行归一化处理，处理过程为： img＝(im-mean(im))/255，其中im为步骤2.3灰度处理后的频谱图数据，img为归一化处理后的数据；
步骤2.5，建立CNN模型
第1层为2D卷积层，第2层为MaxPooling2D池化层，第3层是2D卷积层，第4层是MaxPooling2D池化层，第5层是Dropout，第6-8层是2D卷积层，第9层是MaxPooling2D池化层，第10层是Dropout，第11层为Flatten层，将数据拉成1维；第12层是全连接层，第13层是Dropout，第14层是全连接层，第15层是Dropout，最后一层是使用softmax作为激活函数的全连接层，其余层的激活函数均为tanh；
步骤2.6，将步骤2.4处理得到的数据作为步骤2.5建立的CNN模型的输入，同时输入数据对应的标签，训练该CNN模型，并将训练好的CNN模型保存；
步骤2.7，使用步骤2.6得到的CNN模型提取Flatten层的数据作为SVM分类器的输入，训练SVM分类器模型，存储训练好的分类器模型；
步骤3，识别阶段
步骤3.1，使用步骤1的方法获取用户写字母时候的数据，然后使用步骤 2.1-2.4的方法对数据进行处理；
步骤3.2，将步骤3.1得到的数据作为步骤2.6的输入，使用步骤2.6得到的 CNN模型提取新数据的Flatten特征，通过步骤2.7保存的分类器模型来识别所写的英文字母。
本发明与现有技术相比具有以下技术特点：
1.用户不需要佩戴额外的可穿戴设备。
随着智能手机的普及，手机成了日常生活工作中不可缺少的一部分，大多数人都会随身携带手机，本方案提出的这种方法是使用手机内置扬声器麦克风，无需部署与佩戴额外设备，因此可以提高用户使用体验，避免了笨重的可穿戴设备。
2.不需要部署额外设备
该方法的收发端均为用户的手机。虽然这种方法也是需要发射信号以及接收信号，但是所发射的高频声波信号可以通过手机发射，而不需要部署额外的设备，如WiFi、RFID等信号需要部署收发端。
3.不受环境中说话等其他噪声的影响。
因为本方案发射的是高频的声波信号，提取的特征也是高频部分的特征，而环境中的噪音一般是低频的，因此环境中的噪声不会对这种方法产生较大的影响，用户无需找一个安静的环境中进行手写识别。
4.不限制用户需要一笔完成字母，用户按自己的习惯写英文字母。
本方案使用了深度学习与机器学习的方法建立用户模型，而非定位的方法还原用户手的移动轨迹，而大部分定位方法只能识别移动距离的相对变化，可以还原出一笔完成的图形，但是如果中间移动位置则无法还原出下一个起点在哪里。因此，本方案不使用这种估算相对位置变化的方法，而使用深度学习以及机器学习的方法来建立用户模型，避免了其他方法要求用户一笔完成手写字母的缺陷。
5.识别正确率高
本方案收集了7个实验者的实验数据，其中两个用户的正确率在85％以上，其余5名实验者的正确率均在90％以上，有效地提高了用户使用体验。
附图说明
图1为本发明方法的整体流程框图；
图2为CNN模型结构图；
图3为不同字母提取的特征图，分别给出了A、B、C三个字母的STFT图及其裁剪和灰度处理后的特征图；
图4为实验装置图，显示了手机扬声器麦克风的位置；
图5为实验者做实验时候的实验图；
图6为所录的声音信号的原始波形图；
图7为训练CNN模型迭代次数对应的损失函数值和验证集正确率曲线；
图8为不同用户直接使用CNN模型得到最后的识别结果的正确率；
图9为使用CNN模型和先使用CNN模型提取特征再使用SVM分类器识别得到的不同用户的正确率；
图10为不使用CNN提取特征直接使用分类器识别和使用CNN提取特征并识别的正确率对比图；
图11为识别26个字母的混淆矩阵图；
图12为该方法同UltraGesture方法识别UltraGesture中的12种手势的正确率对比。
具体实施方式
本方案提出使用手机自带扬声器播放调制好的具有一定带宽的高频声波信号，同时手机内置麦克风录该高频声波信号的反射信号，发射信号限制在 17kHz-21kHz以内，因为人耳的正常听觉范围为20Hz-20kHz，但是随着年龄的增长以及环境中噪音和长期听音乐等会对听力造成一定的影响，大部分成年人对 17kHz以上的声音几乎听不见，尤其是老年人几乎感觉不到手机发射的高频声波。由于本方案只分析所发射的高频声波信号的高频部分，而环境中的噪音一般是低频的，因此环境中的噪音不会对该方法进行手写英文字母识别的结果造成影响。
现在的手机基本支持44100Hz及以上的采样率，根据奈奎斯特采样定律知，可以录到的最高频率为22050Hz，因此本方案中采用17kHz-21kHz的声波信号，以保证人耳基本听不见的同时手机可以录到所发射的高频声波信号的发射信号。
由于本方案使用的是手机内置的扬声器与麦克风，因此无需部署任何额外设备作为信号的收发端。该方法是基于声波信号不同频率选择性衰减特性的原理，用户在写不同字母时手移动路径不同，因此会对频率产生不同的衰减以及反射。
本发明提出一种基于高频声波短时傅里叶变换的手写字母识别方法，用高频声波信号的短时傅里叶变换得到的频谱图作为特征，通过裁剪、灰度处理以及归一化处理之后训练卷积神经网络模型，并使用该模型提取特征，最后使用SVM 分类器识别用户所写的英文字母，具体步骤如下：
步骤1，收集训练数据
在手机上设置有训练数据收集模块，用于发射调制好的高频声音信号，同时收录用户书写英文字母时所述高频声音信号的反射信号；高频声音信号的调制方法为：
步骤1.1，选择13位Barker码作为基带信号，13位Barker码表示为：
s＝[-1,-1,-1,-1,-1,1,1,-1,-1,1,-1,1,-1]
步骤1.2，将两个所述的13位Barker码连接后，再补14个0，使其长度为 40，记为S1，即：
S1＝[S,S,0,0,0,0,0,0,0,0,0,0,0,0,0,0]
步骤1.3，对S1进行12次上采样，得到长度为480的S2，将S2调制到频率为19kHz的正弦波上，表示为：
signal＝S2·cos(2πfct)
其中，t表示时间，
Figure BDA0001939790390000061
fc表示载波频率，fc＝19kHz；fs表示采样率，fs＝48kHz。
步骤1.4，使用巴特沃斯带通滤波器去除signal信号其他频率上的噪声，只留下17kHz-21kHz的高频声波信号，确保不会产生较大的噪声；
步骤1.5，将滤波后的signal信号保存成wav格式，训练数据收集模块通过播放wav格式的signal信号发射高频声音信号。
将训练数据收集模块编写为APP文件，用户在手写英文字母时通过手机打开该APP文件时，手机扬声器发射高频声音信号，与此同时手机麦克风收录所述高频声音信号在用户手写英文字母时的反射信号，并将收录到的信号进行存储，存储时声音信号的编码格式为16位PCM编码，再将PCM编码存储为wav格式保存到手机上，以便于后续的数据读取与处理。
通过收录大量用户在书写不同英文字母时的反射信号，从而获取对应的wav 文件数据作为训练数据。
步骤2，训练网络模型
步骤2.1，读取步骤1中得到的wav文件，对其进行短时傅里叶变换(STFT)，其中窗大小为1024，重叠大小为512，NFFT＝1024；
使用函数spectrogram()最终得到wav文件中信号的频谱矩阵S和功率谱矩阵P，以及时间分割向量T和频率分割向量F，可以画出(T,F,(P./abs(S)))三者之间关系的STFT图；其中，abs(S)表示求矩阵S的模，./表示矩阵除法。
步骤2.2，将步骤2.1中得到的STFT图进行裁剪，只留下17kHz-21kHz的频率段的频谱图；
步骤2.3，对步骤2.2中裁剪后的频谱图进行灰度处理，使得3通道的彩色图像转换为单通道的灰度图像，以达到降低数据维度的目的；
步骤2.4，对步骤2.3处理后的频谱图进行归一化处理，处理过程为： img＝(im-mean(im))/255，其中im为步骤2.3灰度处理后的频谱图数据，img为归一化处理后的数据；其中mean(im)表示对im求均值。
步骤2.5，建立CNN模型，CNN模型结构如图2所示。
第1层为2D卷积层，第2层为MaxPooling2D池化层，第3层是2D卷积层，第4层是MaxPooling2D池化层，第5层是Dropout，第6-8层是2D卷积层，第9层是MaxPooling2D池化层，第10层是Dropout，第11层为Flatten层，将数据拉成1维；第12层是全连接层，第13层是Dropout，第14层是全连接层，第15层是Dropout，最后一层是使用softmax作为激活函数输出26个标签的全连接层，其余层的激活函数均为tanh。
该CNN模型不作为最终识别用户手写字母的分类器使用，本方案使用该 CNN模型提取特征，使得特征维度降低，同时提取到具有代表性的特征，使得后面使用SVM分类器时可以达到一个较高的正确率，由于数据维度已经降低，因此可以提高SVM分类器的识别速度。
具体层结构如下表所示：
层数 结构
1 Conv2D(input)
2 Maxpooling2D
3 Conv2D
4 Maxpooling2D
5 Dropout
6 Conv2D
7 Conv2D
8 Conv2D
9 Maxpooling2D
10 Dropout
11 Flatten
12 Dense
13 Dropout
14 Dense
15 Dropout
16 Dense(26,activation＝’softmax’)
步骤2.6，将步骤2.4处理得到的数据作为步骤2.5建立的CNN模型的输入，同时输入步骤2.4得到的数据对应的标签，训练该CNN模型，得到可以识别英文字母的模型，并将训练好的CNN模型保存；
所述的标签是指数据对应的真实字母，即在步骤1.5收录用户书写英文字母的反射信号时，同时标记反射信号对应的字母的标签。
步骤2.7，使用步骤2.6得到的CNN模型提取Flatten层的数据作为SVM分类器的输入，训练SVM分类器模型，存储训练好的分类器模型，该SVM分类器模型即为最终可以识别用户所写英文字母的模型。
步骤3，识别阶段
步骤3.1，识别阶段的数据是没有标签的，首先使用步骤1的方法获取用户写字母时候的数据，然后使用步骤2.1-2.4的方法对数据进行处理；
步骤3.2，将步骤3.1得到的数据作为步骤2.6的输入，使用步骤2.6得到的 CNN模型提取新数据的Flatten特征，通过步骤2.7保存的分类器模型来识别所写的英文字母。
实验部分
1.实验背景
实验地点为办公室，每个实验者在自己的工位上收集数据，每个工位上的布置(如书本、电脑等学习工具)不同，环境中的噪音基本在60dB左右。该实验中我们一共收集了7名实验者的数据，包含两名男生五名女生，每个实验者将每个大写英文字母写30遍，每个用户收集780组数据，7名用户共收集5460组数据。
2.实验场景
实验者使用已经安装好该数据收集的APP的手机在自己工位上写26个大写英文字母，实验者收集数据时如图5所示。实验者在手机下方5cm-20cm范围内写英文大写字母。
3.实验设备
实验所用的设备是vivoY67A，我们只能获取到一对扬声器麦克风的数据，扬声器在手机底部，麦克风在手机底部扬声器附近。具体结构如图4所示。我们将采样率设置为48kHz，播放的声音信号是按照具体实施方式中的步骤一调制的。
4.实验过程
步骤1，实验者启动数据收集APP，在桌面上写英文字母，每个字母写30 遍，共26个字母。
步骤2，将实验者收集的数据提取STFT特征，其中帧大小为1024，帧与帧之间的重叠为512，每1024个点做一次FFT(快速傅里叶变换)，采样率为48kHz。
步骤3，将步骤二得到的STFT进行灰度处理和裁剪，只留下17kHz-21kHz 部分的STFT特征。
步骤4，将用户收集的数据随机划分为测试集和训练集，其中训练集占60％，也就是每个字母18个左右作为训练集，其余12个左右作为测试集。
步骤5，使用训练集训练CNN模型作为特征提取器，保存该CNN模型。
步骤6，使用步骤五训练好的CNN模型提取训练集的特征，作为其他分类器的输入，我们做了8种分类器的实验：LR、SVM、KNN、DecisionTree、 GaussionNB、RandomForest、GradientBoosting、以及直接使用CNN识别。
步骤7，使用步骤五得到的CNN模型提取测试集的特征。
步骤8，使用步骤七得到的测试集的特征作为步骤六训练的分类器的输入，对测试集(未经训练的数据集)识别最终结果。
5.实验结果
结果1：七名实验者中两名实验者的正确率在85％以上，其余5名实验者的正确率均在90％以上，可以证明该方法可以有效的识别用户手写的26个大写英文字母。具体结果如图9所示。
结果2：同时我们还对比了不使用CNN提取特征，直接使用这些分类器时正确率基本不超过60％。具体结果如图10所示。
结果3：同时我们还收集了UltraGesture中的12种手势用该方法进行识别，UltraGesture中使用1对扬声器麦克风识别12种手势时正确率为92.75％。使用本方案中提出的方法正确率可以达到97.22％。具体结果如图12所示。

Claims (1)

1.一种基于高频声波短时傅里叶变换的手写字母识别方法，其特征在于，包括以下步骤：
步骤1，收集训练数据
在手机上设置有训练数据收集模块，用于发射调制好的高频声音信号，同时收录用户书写英文字母时所述高频声音信号的反射信号；高频声音信号的调制方法为：
步骤1.1，选择13位Barker码作为基带信号，13位Barker码表示为：
s＝[-1,-1,-1,-1,-1,1,1,-1,-1,1,-1,1,-1]
步骤1.2，将两个所述的13位Barker码连接后，再补14个0，使其长度为40，记为S1；
步骤1.3，对S1进行12次上采样，得到长度为480的S2，将S2调制到频率为19kHz的正弦波上，表示为：
signal＝S2·cos(2πfct)
其中，t表示时间，
Figure FDA0001939790380000011
fc表示载波频率，fs表示采样率；
步骤1.4，使用带通滤波器去除signal信号其他频率上的噪声，只留下17kHz-21kHz的高频声波信号；
步骤1.5，将滤波后的signal信号保存成wav格式，训练数据收集模块通过播放wav格式的signal信号发射高频声音信号；
步骤2，训练网络模型
步骤2.1，读取步骤1中得到的wav文件，对其进行短时傅里叶变换；
提取wav文件中信号的频谱矩阵S和功率谱矩阵P，以及时间分割向量T和频率分割向量F，绘制(T,F,(P./abs(S)))三者之间关系的STFI图；
步骤2.2，将步骤2.1中得到的STFI图进行裁剪，只留下17kHz-21kHz的频率段的频谱图；
步骤2.3，对步骤2.2中裁剪后的频谱图进行灰度处理，使得3通道的彩色图像转换为单通道的灰度图像；
步骤2.4，对步骤2.3处理后的频谱图进行归一化处理，处理过程为：img＝(im-mean(im))/255，其中im为步骤2.3灰度处理后的频谱图数据，img为归一化处理后的数据；
步骤2.5，建立CNN模型
第1层为2D卷积层，第2层为MaxPooling2D池化层，第3层是2D卷积层，第4层是MaxPooling2D池化层，第5层是Dropout，第6-8层是2D卷积层，第9层是MaxPooling2D池化层，第10层是Dropout，第11层为Flatten层，将数据拉成1维；第12层是全连接层，第13层是Dropout，第14层是全连接层，第15层是Dropout，最后一层是使用softmax作为激活函数的全连接层；
步骤2.6，将步骤2.4处理得到的数据作为步骤2.5建立的CNN模型的输入，同时输入数据对应的标签，训练该CNN模型，并将训练好的CNN模型保存；
步骤2.7，使用步骤2.6得到的CNN模型提取Flatten层的数据作为SVM分类器的输入，训练SVM分类器模型，存储训练好的分类器模型；
步骤3，识别阶段
步骤3.1，使用步骤1的方法获取用户写字母时候的数据，然后使用步骤2.1-2.4的方法对数据进行处理；
步骤3.2，将步骤3.1得到的数据作为步骤2.6的输入，使用步骤2.6得到的CNN模型提取新数据的Flatten特征，通过步骤2.7保存的分类器模型来识别所写的英文字母。
CN201910018087.8A 2019-01-09 2019-01-09 一种基于高频声波短时傅里叶变换的手写字母识别方法 Active CN109657739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910018087.8A CN109657739B (zh) 2019-01-09 2019-01-09 一种基于高频声波短时傅里叶变换的手写字母识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910018087.8A CN109657739B (zh) 2019-01-09 2019-01-09 一种基于高频声波短时傅里叶变换的手写字母识别方法

Publications (2)

Publication Number Publication Date
CN109657739A CN109657739A (zh) 2019-04-19
CN109657739B true CN109657739B (zh) 2023-03-24

Family

ID=66119108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910018087.8A Active CN109657739B (zh) 2019-01-09 2019-01-09 一种基于高频声波短时傅里叶变换的手写字母识别方法

Country Status (1)

Country Link
CN (1) CN109657739B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110346692A (zh) * 2019-08-20 2019-10-18 国网河南省电力公司电力科学研究院 一种基于时频图像信息的配电网单相接地故障选线方法
CN110738188A (zh) * 2019-10-24 2020-01-31 程少轩 基于预分类的古文字识别系统
CN110850386B (zh) * 2019-11-20 2023-04-18 中北大学 一种基于分数阶域特征的旋翼类无人机深度学习识别方法
CN110850419B (zh) * 2019-11-28 2022-07-01 深圳大学 一种基于声学的手写签名识别方法
CN116027911B (zh) * 2023-03-29 2023-05-30 北京理工大学 一种基于音频信号的无接触手写输入识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1409839A (zh) * 1999-12-08 2003-04-09 艾利森电话股份有限公司 便携式通信设备和方法
CN106529525A (zh) * 2016-10-14 2017-03-22 上海新同惠自动化系统有限公司 一种中日文手写字符的识别方法
CN106527828A (zh) * 2016-12-16 2017-03-22 上海交通大学 笔记本手写识别方法及其手写输入系统
CN106952649A (zh) * 2017-05-14 2017-07-14 北京工业大学 基于卷积神经网络和频谱图的说话人识别方法
CN108022589A (zh) * 2017-10-31 2018-05-11 努比亚技术有限公司 目标域分类器训练方法、样本识别方法、终端及存储介质
CN108805194A (zh) * 2018-06-04 2018-11-13 上海交通大学 一种基于wifi信道状态信息的手写识别方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260550A1 (en) * 2003-06-20 2004-12-23 Burges Chris J.C. Audio processing system and method for classifying speakers in audio data
US8566349B2 (en) * 2009-09-28 2013-10-22 Xerox Corporation Handwritten document categorizer and method of training
US8509537B2 (en) * 2010-08-05 2013-08-13 Xerox Corporation Learning weights of fonts for typed samples in handwritten keyword spotting
CN108932480B (zh) * 2018-06-08 2022-03-15 电子科技大学 基于1d-cnn的分布式光纤传感信号特征学习与分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1409839A (zh) * 1999-12-08 2003-04-09 艾利森电话股份有限公司 便携式通信设备和方法
CN106529525A (zh) * 2016-10-14 2017-03-22 上海新同惠自动化系统有限公司 一种中日文手写字符的识别方法
CN106527828A (zh) * 2016-12-16 2017-03-22 上海交通大学 笔记本手写识别方法及其手写输入系统
CN106952649A (zh) * 2017-05-14 2017-07-14 北京工业大学 基于卷积神经网络和频谱图的说话人识别方法
CN108022589A (zh) * 2017-10-31 2018-05-11 努比亚技术有限公司 目标域分类器训练方法、样本识别方法、终端及存储介质
CN108805194A (zh) * 2018-06-04 2018-11-13 上海交通大学 一种基于wifi信道状态信息的手写识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的随机手写数字识别;高磊等;《软件》;20180915(第09期);全文 *
基于深度卷积神经网络的手写哈萨克文字母识别方法;张晶等;《大连民族大学学报》;20170915(第05期);全文 *

Also Published As

Publication number Publication date
CN109657739A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN109657739B (zh) 一种基于高频声波短时傅里叶变换的手写字母识别方法
Du et al. Wordrecorder: Accurate acoustic-based handwriting recognition using deep learning
Wang et al. Robust environmental sound recognition for home automation
CN105938399B (zh) 基于声学的智能设备的文本输入识别方法
CN106486130A (zh) 噪声消除、语音识别方法及装置
US20030171921A1 (en) Speech recognition system, speech recognition method, speech synthesis system, speech synthesis method, and program product
CN106920544A (zh) 一种基于深度神经网络特征训练的语音识别方法
US20240038238A1 (en) Electronic device, speech recognition method therefor, and medium
CN110946554A (zh) 咳嗽类型识别方法、装置及系统
WO2017108142A1 (en) Linguistic model selection for adaptive automatic speech recognition
CN111179909B (zh) 一种多麦远场语音唤醒方法及系统
CN105701686A (zh) 一种声纹广告实现方法和装置
CN112735382B (zh) 音频数据处理方法、装置、电子设备及可读存储介质
CN101813973A (zh) 情绪共鸣系统
Mporas et al. Context-adaptive pre-processing scheme for robust speech recognition in fast-varying noise environment
CN106161795A (zh) 基于手机麦克风的键盘输入感知方法
CN114464188A (zh) 一种基于分布式边缘计算的声纹唤醒算法
Wang et al. HearASL: Your Smartphone Can Hear American Sign Language
Leontiev et al. The use of discrete meyer wavelet for speech segmentation
CN116027911B (zh) 一种基于音频信号的无接触手写输入识别方法
CN106101893A (zh) 一种左右声道自动匹配的耳机以及识别方法
Dennis et al. Generalized Hough transform for speech pattern classification
CN106790963A (zh) 音频信号的控制方法及装置
JP7200779B2 (ja) 無線機
Livescu et al. On the phonetic information in ultrasonic microphone signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant