CN112162635A - 空中手写单词序列合成模型生成方法及合成方法 - Google Patents

空中手写单词序列合成模型生成方法及合成方法 Download PDF

Info

Publication number
CN112162635A
CN112162635A CN202011031569.6A CN202011031569A CN112162635A CN 112162635 A CN112162635 A CN 112162635A CN 202011031569 A CN202011031569 A CN 202011031569A CN 112162635 A CN112162635 A CN 112162635A
Authority
CN
China
Prior art keywords
word
samples
sample
handwritten
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011031569.6A
Other languages
English (en)
Other versions
CN112162635B (zh
Inventor
薛洋
张鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011031569.6A priority Critical patent/CN112162635B/zh
Publication of CN112162635A publication Critical patent/CN112162635A/zh
Application granted granted Critical
Publication of CN112162635B publication Critical patent/CN112162635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Character Discrimination (AREA)

Abstract

本发明一种空中手写单词序列合成模型生成方法及合成方法，首先从语料库中获取英文单词，作为合成目标，然后从空中手写字符数据集中获取英文字符样本；按照合成目标，将上述获取的英文字符样本进行拼接，得到拼接单词样本；从空中手写单词数据集中获取英文单词样本，作为真实单词样本，将拼接单词样本和真实样本分别对应作为生成对抗网络中生成器和判别器的输入，对生成对抗网络进行对抗训练，将生成对抗网络中训练后的生成器作为合成模型。基于本发明方法，能够在空中手写单词样本以及空中手写字母样本数量有限的条件下，大量地合成逼真的空中手写单词序列，从而扩充了空中手写单词训练集，极大的提升了空中手写单词识别模型识别的精度。

Description

空中手写单词序列合成模型生成方法及合成方法
技术领域
本发明涉及空中手写单词识别技术领域，特别涉及一种空中手写单词序列合成模型生成方法及合成方法。
背景技术
随着智能可穿戴设备以及智能手机的大规模应用，基于惯性传感器的可穿戴设备的人体动作识别等在日常生活中发挥着越来越重要的作用。但是现有的技术研究极度依赖数据集的量级大小，尤其是类似空中手写单词识别任务。空中手写单词识别任务通常需要百万级的数据量才可以让机器学习模型充分学习到数据集的语料信息。而在实际应用中，由于资金以及采集时间过长等条件限制，使得大规模空中手写单词序列的采集异常困难。
发明内容
本发明的第一目的在于克服现有技术的缺点与不足，提供一种空中手写单词序列合成模型生成方法，该方法通过训练生成对抗网络获取到用于合成单词样本的合成模型，使得合成模型能够合成非常逼近真实单词样本的合成单词样本，获取到的合成单词样本即空中手写单词序列更加逼真有效。
本发明的第二目的在于提供一种空中手写单词序列合成方法，该方法能够在空中手写单词样本以及空中手写字母样本数量有限的条件下，大量地合成逼真的空中手写单词序列，从而扩充了空中手写单词训练集，极大的提升了空中手写单词识别模型识别的精度。
本发明的第三目的在于提供一种空中手写单词序列合成模型生成装置。
本发明的第四目的在于提供一种空中手写单词序列合成装置。
本发明的第五目的在于提供一种存储介质。
本发明的第六目的在于提供一种计算设备。
本发明的第一目的通过下述技术方案实现：一种空中手写单词序列合成模型生成方法，所述方法包括：
从语料库中获取英文单词，作为合成目标；
根据合成目标，从空中手写字符数据集中获取对应英文字符样本，各英文字符样本包括惯性传感信号；
按照合成目标，将上述获取的各英文字符样本进行拼接，得到拼接单词样本；
从空中手写单词数据集中获取英文单词样本，作为真实单词样本，真实单词样本包括惯性传感信号；
将拼接单词样本作为生成对抗网络中生成器的输入，生成器的输出和真实单词样本作为生成对抗网络中判别器的输入，对生成对抗网络进行对抗训练，将生成对抗网络中训练后的生成器作为合成模型。
优选的，按照合成目标，各英文字符样本进行拼接的具体过程如下：
根据合成目标单词中各字符的顺序，对获取到的英文字符样本进行排列，其中每两个字符样本之间留空N个采样点，N为常量；
根据每一处留空两端的数值进行线性插值，使得每一处留空两端的字符样本通过线性线段进行连接；
在每一留空处两端分别对应向左和向右延伸n个采样点的范围内，用窗长为n的滤波器进行平滑滤波，得到最终拼接单词样本。
优选的，对生成对抗网络进行对抗训练的过程具体如下：
将拼接单词样本输入到生成对抗网络中的生成器，通过生成器输出合成单词样本；
将生成器输出的合成单词样本与真实单词样本分别输入到生成对抗网络中的判别器中，进行对抗训练，使得合成单词样本不断趋近真实单词样本，得到收敛的生成器。
优选的，生成对抗网络训练过程中，生成器训练的损失函数Lgenerator为：
Lgenerator＝Ladv+Ldist；
Figure BDA0002703834960000021
Figure BDA0002703834960000022
其中，Ladv表示生成器的对抗损失，Ldist表示距离损失函数；
在Ladv中，pA表示所有拼接单词样本组成的数据集合，x～pA表示x属于拼接单词样本集合，即x表示拼接单词样本，x是生成器的输入，G表示生成对抗网络中的生成器，D表示生成对抗网络中的判别器，G(x)表示生成器的输出样本，即合成单词样本；D(G(x))表示判别器对合成单词样本的判别结果，E表示取均值操作；
在Ldist中，pA表示所有拼接单词样本组成的数据集合，xi,xj～pA表示xi,xj属于拼接单词样本集合，即xi，xj表示任意的两个拼接单词样本，xi，xj均为生成器的输入，μA,σA表示拼接单词样本集合的均值与方差；G表示生成对抗网络中的生成器，G(xi)、G(xj)表示生成器的输出样本，即合成单词样本；E表示取均值操作；
生成对抗网络训练过程中，判别器训练的损失函数如下：
Figure BDA0002703834960000031
其中，Ldisc表示判别器的对抗损失，pA表示所有拼接单词样本组成的数据集合，xa～pA表示xa属于拼接单词样本集合，即xa表示拼接单词样本，xa是生成器的输入，G表示生成对抗网络中的生成器，D表示生成对抗网络中的判别器，G(xa)表示生成器的输出样本，即合成单词样本；D(G(xa))表示判别器对合成单词样本的判别结果，pr表示所有真实单词样本组成的数据集合，xr～pr表示xr属于真实单词样本集合，即xr表示真实单词样本，D(xr)表示判别器对真实单词样本的判别结果，E表示取均值操作。
优选的，所述惯性传感信号包括三维线性加速度信号和三维角速度信号。
本发明的第二目的通过下述技术方案实现：一种空中手写单词序列合成模型生成装置，其特征在于，所述装置包括：
第一获取模块，用于从语料库中获取英文单词，作为合成目标；
第二获取模块，用于根据合成目标，从空中手写字符数据集中获取对应的英文字符样本，各英文字符样本包括惯性传感信号；
第一拼接模块，用于按照合成目标，将上述获取的英文字符样本进行拼接，得到拼接单词样本；
第三获取模块，用于从空中手写单词数据集中获取英文单词样本，作为真实单词样本，真实单词样本包括惯性传感信号；
合成模型生成模块，将拼接单词样本作为生成对抗网络中生成器的输入，生成器的输出和真实单词样本作为生成对抗网络中判别器的输入，对生成对抗网络进行对抗训练，将生成对抗网络中训练后的生成器作为合成模型。
本发明的第三目的通过下述技术方案实现：一种空中手写单词序列合成方法，所述方法包括：
从语料库中获取英文单词，作为合成目标；
根据合成目标，从空中手写字符数据集中获取对应的英文字符样本，各英文字符样本包括惯性传感信号；
按照合成目标，将上述获取的各英文字符样本进行拼接，得到拼接单词样本；
将拼接单词样本输入到合成模型中，得到合成单词样本；
所述合成模型为本发明第一目的所述的空中手写单词序列合成模型生成方法中所生成的合成模型。
本发明的第四目的通过下述技术方案实现：一种空中手写单词序列合成装置，该装置包括：
第四获取模块，用于从语料库中获取英文单词，作为合成目标；
第五获取模块，用于根据合成目标，从空中手写字符数据集中获取对应的英文字符样本，每个英文字符样本包括惯性传感信号；
第二拼接模块，用于按照合成目标，将上述获取的各英文字符样本进行拼接，得到拼接单词样本；
合成单词样本生成模块，用于将拼接单词样本输入到合成模型中，得到合成单词样本；所述合成模型为本发明第一目的所述的空中手写单词序列合成模型生成方法中所生成的合成模型。
本发明的第五目的通过下述技术方案实现：一种存储介质，存储有程序，所述程序被处理器执行时，实现本发明第一目的所述的空中手写单词序列合成模型生成方法，和/或实现本发明第三目的所述的空中手写单词序列合成方法。
本发明的第六目的通过下述技术方案实现：一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现本发明第一目的所述的空中手写单词序列合成模型生成方法，和/或实现本发明第三目的所述的空中手写单词序列合成方法。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明空中手写单词序列合成模型生成方法中，首先从语料库中获取英文单词，作为合成目标，然后从空中手写字符数据集中获取英文字符样本；按照合成目标，将上述获取的英文字符样本进行拼接，得到拼接单词样本；从空中手写单词数据集中获取英文单词样本，作为真实单词样本，使用拼接单词样本与真实样本训练生成对抗网络，将训练收敛后的生成器作为合成模型。此合成模型以拼接单词样本作为输入，并输出逼真的合成单词样本。本发明方法中，通过训练生成对抗网络获取到用于合成单词序列的合成模型，使得合成模型能够合成非常逼近真实单词样本的合成单词样本，获取到的合成单词样本即空中手写单词序列更加逼真有效。
(2)本发明空中手写单词序列合成模型生成方法中，在对英文字符样本进行拼接的过程中，在每两个字符样本之间留空一定个数的采样点，在留空处进行线性插值，即将相邻两个英文字符样本通过线性线段连接在一起，通过线性线段使得相邻两个字符能够对齐。另外为了避免字符和线性线段相连接接口处太锐利的问题，本发明方法针对于每一留空处两端分别对应向左和向右延伸n个采样点的范围内，用窗长为n的滤波器进行平滑滤波处理，使得字符和线性线段相连接的接口处能够更加平滑。
(3)本发明空中手写单词序列合成方法，首先从语料库中获取英文单词，作为合成目标；从空中手写字符数据集中获取英文字符样本；将获取的字符样本按照合成目标中单词顺序进行拼接，得到拼接单词样本；将拼接单词样本输入到合成模型中，得到合成单词样本；其中合成模型为本发明第一目的所述的空中手写单词序列合成模型生成方法中所生成的合成模型。基于本发明方法，能够在空中手写单词样本以及空中手写字母样本数量有限的条件下，大量地合成逼真的空中手写单词序列，从而扩充了空中手写单词训练集，极大的提升了空中手写单词识别模型识别的精度。
附图说明
图1是本发明空中手写单词序列合成模型生成方法的流程图。
图2是本发明空中手写单词序列合成方法的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
本发明一种空中手写单词序列合成模型生成方法，通过该方法能够生成空中手写单词序列合成模型，如图1中所示，该方法包括：
S1、从语料库中获取英文单词，作为合成目标。其中，语料库中包括多个英文单词。
S2、根据合成目标，从空中手写字符数据集中获取对应的英文字符样本，各英文字符样本包括惯性传感信号，具体的，惯性传感信号为六轴惯性传感信号，包括三维线性加速度信号和三维角速度信号，对应为X、Y和Z轴的线性加速度信号以及X、Y和Z轴的角速度信号。
在本实施例中，每个英文字符样本由多个采样点的惯性传感信号构成，其中获取英文字符样本，指的是获取该英文字符样本每个采样点的惯性传感信号值。例如字母A的某样本由m个采样点信号构成，本步骤从空中手写字符数据集获取字母A样本指的是获取到字母A的某样本的包含m个采样点的惯性传感信号，若惯性传感信号包括三维线性加速度信号和三维角速度信号，总共6个维度，则获取到该字母A样本的信号为m×6的大小。具体的，各英文字符样本为如下：
Figure BDA0002703834960000051
其中
Figure BDA0002703834960000052
分别为英文字符样本第m个采样点的三维线性加速度信号，
Figure BDA0002703834960000053
Figure BDA0002703834960000061
分别为英文字符样本第m个采样点的三维角速度信号。
本实施例中，空中手写字符数据集包括26个大写字母类别，其中每个类别中包括多个样本，同一个类别的不同字符样本指的是采样点个数不同的样本或者采样点对应各维度中的信号值有所不同的字符样本。
S3、按照合成目标，将上述获取的英文字符样本进行拼接，得到拼接单词样本；具体拼接的过程如下：
S31、根据合成目标单词中各字符的顺序，对获取到的英文字符样本进行排列，其中每两个字符样本之间留空N个采样点，N为常量，在本实施例中N可以为20，即每两个相邻字符样本之间留空为20个采样点。
在本实施例中，当惯性传感信号包括三维线性加速度信号和三维角速度信号时，即总共包括6轴信号，其中两个字符样本依次进行排列时，指的就是将两个字符样本的6轴信号分别对应进行排列，例如将后一个字符样本各采样点的X轴加速度信号排列在前一个字符样本各采样点的X轴加速度信号之后，依次类推，完成两个字符样本6轴信号的分别排列。
S32、根据每一处留空两端的数值进行线性插值，使得每一处留空两端的字符样本通过线性线段进行连接。
在本实施例中，基于步骤S31中提到的字符样本依次排列，相邻两个字符样本之间通过线性线段进行连接。其中，通过线性线段进行连接指的是，在字符A样本的X轴加速度信号的最后一个采样点的信号值和字符B样本的X轴加速度信号的第一个采样点的信号值之间线性插值N个点，在本实施例中N可以为20，并将字符样本A的X轴加速度信号，线段，字符样本B的X轴加速度信号进行拼接。依次类推，将相邻两样本的6轴信号分别拼接。
在本实施例中，若字符A样本的最后一个采样点的信号值为11，字符B的第一个采样点的信号值为-10，则线性插值的线段为[10,9,8,7,…,0,-1,-2,-3,…,-9]。
S33、在每一留空处两端分别对应向左和向右延伸n个采样点的范围内，用窗长为n的滤波器进行平滑滤波，得到最终拼接单词样本。
在本实施例中，n可以选择为5。即针对于每一留空处，在留空处前端5个采样点处到留空处后端5个采样点处的范围内，采用窗长为5的滤波器进行平滑滤波，以使得字符和线性线段连接的结构变的平滑。
在本实施例中，基于步骤S31中提到的字符样本的排列，两个字符样本进行拼接，指的是将两个字符样本6轴信号分别对应进行拼接。例如字符A样本和字符B样本进行拼接时，则将：字符A样本各采样点的X轴加速度信号和字符B样本各采样点的X轴加速度信号进行拼接，其中拼接位置处留空20个采样点；字符A样本各采样点的Y轴加速度信号和字符B样本各采样点的Y轴加速度信号进行拼接，其中拼接位置处留空20个采样点；字符A样本各采样点的Z轴加速度信号和字符B样本各采样点的Z轴加速度信号进行拼接，其中拼接位置处留空20个采样点；字符A样本各采样点的X轴角速度信号和字符B样本各采样点的X轴角速度信号进行拼接，其中拼接位置处留空20个采样点；字符A样本各采样点的Y轴角速度信号和字符B样本各采样点的Y轴角速度信号进行拼接，其中拼接位置处留空20个采样点；字符A样本各采样点的Z轴角速度信号和字符B样本各采样点的Z轴角速度信号进行拼接，其中拼接位置处留空20个采样点。
S4、从空中手写单词数据集中获取英文单词样本，作为真实单词样本，每个真实单词样本包括惯性传感信号，惯性传感信号包括三维线性加速度信号和三维角速度信号。
在本实施例中，每个单词样本由多个采样点的惯性传感信号构成，其中获取单词样本，指的是获取该单词样本每个采样点的惯性传感信号。例如单词ARE的某样本由e个采样点信号构成，本步骤从空中手写单词数据集获取单词ARE样本指的是获取到单词ARE某样本的e个采样点的惯性传感信号，若惯性传感信号包括三维线性加速度信号和三维角速度信号，则每个采样点包括6个维度信号，即分别是X、Y和Z轴的线性加速度信号以及X、Y和Z轴的角速度信号。
在本实施例中，空中手写单词数据集包括多个类别的单词，每个类别单词包括多个单词样本，不同类别单词指的就是不同的单词，例如单词YOU和单词ME即为不同类别的单词。单词YOU包括多个单词样本，同一类别不同的单词样本指的是采样点个数不同的样本或者各维度信息有所不同的单词样本。
S5、将拼接单词样本作为生成对抗网络中生成器的输入，生成器的输出和真实单词样本作为生成对抗网络中判别器的输入，对生成对抗网络进行对抗训练，将生成对抗网络中训练后的生成器作为合成模型。本实施例拼接单词样本作为生成对抗网络生成器的输入，指的是将字符样本拼接后得到惯性传感信号作为生成对抗网络生成器的输入；真实单词样本作为生成对抗网络中判别器的输入，指的是即将真实单词样本中所包括的惯性传感信号作为生成对抗网络中判别器的输入。
本实施例中，生成对抗网络的具体训练过程如下：
S51、将拼接单词样本输入到生成对抗网络中的生成器，通过生成器输出合成单词样本。在本实施例中，生成对抗网络训练过程中，生成器训练的损失函数Lgenerator为：
Lgenerator＝Ladc+Ldist；
Figure BDA0002703834960000071
Figure BDA0002703834960000072
其中，Ladv表示生成器的对抗损失，Ldist表示距离损失函数。
在Ladv中，pA表示所有拼接单词样本组成的数据集合，x～pA表示x属于拼接单词样本集合，即x表示拼接单词样本，x是生成器的输入，G表示生成对抗网络中的生成器，D表示生成对抗网络中的判别器，G(x)表示生成器的输出样本，即合成单词样本；D(G(x))表示判别器对合成单词样本的判别结果，E表示取均值操作；
在Ldist中，pA表示所有拼接单词样本组成的数据集合，xi,xj～pA表示xi,xj属于拼接单词样本集合，即xi，xj表示任意的两个拼接单词样本，xi，xj均为生成器的输入，μA,σA表示拼接单词样本集合的均值与方差；G表示生成对抗网络中的生成器，G(xi)、G(xj)表示生成器的输出样本，即合成单词样本；E表示取均值操作。
S52、将生成器输出的合成单词样本与真实单词样本分别输入到生成对抗网络中的判别器中，进行对抗训练，使得合成单词样本不断趋近真实单词样本，得到收敛的生成器。在本实施例中，生成对抗网络训练过程中，判别器训练的损失函数如下：
Figure BDA0002703834960000081
其中，Ldisc表示判别器的对抗损失，pA表示所有拼接单词样本组成的数据集合，xa～pA表示xa属于拼接单词样本集合，即xa表示拼接单词样本，xa是生成器的输入，G表示生成对抗网络中的生成器，D表示生成对抗网络中的判别器，G(xa)表示生成器的输出样本，即合成单词样本。D(G(xa))表示判别器对合成单词样本的判别结果，pr表示所有真实单词样本组成的数据集合，xr～pr表示xr属于真实单词样本集合，即xr表示真实单词样本，D(xr)表示判别器对真实单词样本的判别结果，E表示取均值操作。
在本实施例中，生成对抗网络中的判别器采用马尔科夫判别器，这种判别器就更关注细节，就是在判别过程中判别一个单词或字符的一小段笔画是不是真假。基于本实施例生成对抗网络，使得生成器生成的合成单词样本不断趋近于真实单词样本，能够将原先拼接单词样本中字符样本之间插入的生硬的线性线段改成一些圆滑的曲线等，从而模拟出人为书写时顺滑的连笔动作。
在本实施例中，所使用的空中手写单词数据集可以为：包含1230个样本，一共40个单词类别，即其中有40个不同的单词，每个类别即对应的每个单词约30个单词样本左右，单词样本各采样点的信号为6维度，包含三维加速度和三维角速度。不同的单词样本指的是采样点个数不同或者有维度中信息不同的单词样本。由上述方法可见，本实施例基于空中手写单词数据集中的单词样本实现生成对抗神经网络的训练。
在本实施例中，所使用的空中手写字符数据集可以为：包含6500个左右英文字符样本，共26个大写字母类别，每一类别字母包括250个左右字符样本，字符样本各采样点的信号为6维度，包含三维加速度和三维角速度。不同的字符样本指的是采样点个数不同或者有维度中信息不同的字符样本。由上述方法可见，本实施例基于空中手写字符数据集中的英文字符样本生成拼接单词样本。
本实施例中，所使用的语料库可以为：包含2000个英文单词，其中语料库中不包含空中单词数据集中的40个单词类别。由上述方法可见，本实施例可以通过语料库中的单词指导字符样本拼接的顺序。
本领域技术人员可以理解，实现本实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。应当注意，尽管在附图中以特定顺序描述了本实施例1的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序，有些步骤也可以同时执行。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2
本实施例公开了一种空中手写单词序列合成模型生成装置，所述装置包括第一获取模块、第二获取模块、第一拼接模块、第三获取模块和合成模型生成模块，各个模块的功能为：
第一获取模块，用于从语料库中获取英文单词，作为合成目标；
第二获取模块，用于根据合成目标，从空中手写字符数据集中获取对应的英文字符样本，各英文字符样本包括惯性传感信号，具体是包括三维线性加速度信号和三维角速度信号。
第一拼接模块，用于按照合成目标，将上述获取的英文字符样本进行拼接，得到拼接单词样本；
第三获取模块，用于从空中手写单词数据集中获取英文单词样本，作为真实单词样本，真实单词样本包括惯性传感信号；
合成模型生成模块，将拼接单词样本作为生成对抗网络中生成器的输入，生成器的输出和真实单词样本作为生成对抗网络中判别器的输入，对生成对抗网络进行对抗训练，将生成对抗网络中训练后的生成器作为合成模型。
本实施例上述各个模块的具体实现可以参见上述实施例1，在此不再一一赘述。需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3
本实施例公开了一种空中手写单词序列合成方法，基于该方法能够实现对空中手写单词序列进行合成，如图2中所示，该方法包括：
S101、从语料库中获取英文单词，作为合成目标。
S102、根据合成目标，从空中手写字符数据集中获取对应的英文字符样本，各英文字符样本包括惯性传感信号，具体是包括三维线性加速度信号和三维角速度信号。
S103、按照合成目标，将上述获取的各英文字符样本进行拼接，得到拼接单词样本。本步骤中各英文字符样本进行拼接的具体过程可以如实施例1中步骤S31至S33所示。
S104、将拼接单词样本输入到合成模型中，得到合成单词样本；本实施例中合成模型为实施例1所述的空中手写单词序列合成模型生成方法中所生成的合成模型。
基于本实施例的上述合成方法，能够在空中手写单词样本以及空中手写字母样本数量有限的条件下，大量地合成逼真的空中手写单词序列，从而扩充了空中手写单词训练集，将本实施例方法合成的空中手写单词数据集用于训练，可极大地提升空中手写单词识别模型的泛化性能。
在本实施例中，基于实施例1中所使用的空中手写单词数据集、空中手写字符数据集和语料库，通本发明合成方法能够合成得到400万个合成个样本，其中包括2000个单词类别，每个类别包括2000个合成单词样本。
在本实施例中，获取一个用于进行空中手写单词识别的识别模型，该识别模型可以是：5层卷积层+2层双向LSTM层+CTC损失函数。针对于实施例1中获取到的空中手写单词数据集，将其中60％的单词样本用作训练，剩余40％的单词样本用作测试，并且训练集中的单词样本与测试集中的单词样本的标签没有交叉，当采用本实施例所使用的空中手写单词数据集直接训练上述识别模型时，然后通过测试集测试得到的识别准确率只有0.2％。而当采用本实施例合成方法获取到的合成单词样本结合空中手写单词数据集中60％的训练集对上述识别模型进行训练时，通过上述相同的测试集测试得到的识别准确率能够达到62.8％。比较两种识别准确率，可见后者训练得到的识别模型的识别准确率有了非常大幅度的提高。因此基于本实施例合成方法得到的合成单词样本，大大的扩充了空中手写单词训练集，使得识别模型的识别准确度有了极大的提升。
实施例4
本实施例公开了一种空中手写单词序列合成装置，该装置包括第四获取模块、第五获取模块、第二拼接模块和合成单词样本生成模块，各模块的功能如下：
第四获取模块，用于从语料库中获取英文单词，作为合成目标；
第五获取模块，用于根据合成目标，从空中手写字符数据集中获取对应的英文字符样本，每个英文字符样本包括惯性传感信号；
第二拼接模块，用于将获取的字符样本按照合成目标中单词顺序进行拼接，得到拼接单词样本；
合成单词样本生成模块，用于将拼接单词样本输入到合成模型中，得到合成单词样本；所述合成模型为实施例1所述的空中手写单词序列合成模型生成方法中所生成的合成模型。
本实施例上述各个模块的具体实现可以参见上述实施例3，在此不再一一赘述。需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例5
本实施例公共了一种存储介质，存储有程序，所述程序被处理器执行时，实现实施例1所述的空中手写单词序列合成模型生成方法，如下：
从语料库中获取英文单词，作为合成目标；
根据合成目标，从空中手写字符数据集中获取对应英文字符样本，各英文字符样本包括惯性传感信号；
按照合成目标，将上述获取的各英文字符样本进行拼接，得到拼接单词样本；
从空中手写单词数据集中获取英文单词样本，作为真实单词样本，真实单词样本包括惯性传感信号；
将拼接单词样本作为生成对抗网络中生成器的输入，生成器的输出和真实单词样本作为生成对抗网络中判别器的输入，对生成对抗网络进行对抗训练，将生成对抗网络中训练后的生成器作为合成模型。
实施例6
本实施例公共了一种存储介质，存储有程序，所述程序被处理器执行时，实现实施例3所述的空中手写单词序列合成方法，如下：
从语料库中获取英文单词，作为合成目标；
根据合成目标，从空中手写字符数据集中获取对应的英文字符样本，各英文字符样本包括惯性传感信号；
按照合成目标，将上述获取的各英文字符样本进行拼接，得到拼接单词样本；
将拼接单词样本输入到合成模型中，得到合成单词样本；
所述合成模型为实施例3所述的空中手写单词序列合成模型生成方法中所生成的合成模型。
在上述实施例5和实施例6中，存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
实施例7
一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现实施例1所述的空中手写单词序列合成模型生成方法，如下：
从语料库中获取英文单词，作为合成目标；
根据合成目标，从空中手写字符数据集中获取对应英文字符样本，各英文字符样本包括惯性传感信号；
按照合成目标，将上述获取的各英文字符样本进行拼接，得到拼接单词样本；
从空中手写单词数据集中获取英文单词样本，作为真实单词样本，真实单词样本包括惯性传感信号；
将拼接单词样本作为生成对抗网络中生成器的输入，生成器的输出和真实单词样本作为生成对抗网络中判别器的输入，对生成对抗网络进行对抗训练，将生成对抗网络中训练后的生成器作为合成模型。
实施例8
一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现实施例3所述的空中手写单词序列合成方法，如下：
从语料库中获取英文单词，作为合成目标；
根据合成目标，从空中手写字符数据集中获取对应的英文字符样本，各英文字符样本包括惯性传感信号；
按照合成目标，将上述获取的各英文字符样本进行拼接，得到拼接单词样本；
将拼接单词样本输入到合成模型中，得到合成单词样本；
所述合成模型为实施例3所述的空中手写单词序列合成模型生成方法中所生成的合成模型。
在上述实施例7和实施例8中，计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑等终端设备。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种空中手写单词序列合成模型生成方法，其特征在于，所述方法包括：
从语料库中获取英文单词，作为合成目标；
根据合成目标，从空中手写字符数据集中获取对应英文字符样本，各英文字符样本包括惯性传感信号；
按照合成目标，将上述获取的各英文字符样本进行拼接，得到拼接单词样本；
从空中手写单词数据集中获取英文单词样本，作为真实单词样本，真实单词样本包括惯性传感信号；
将拼接单词样本作为生成对抗网络中生成器的输入，生成器的输出和真实单词样本作为生成对抗网络中判别器的输入，对生成对抗网络进行对抗训练，将生成对抗网络中训练后的生成器作为合成模型。
2.根据权利要求1所述的空中手写单词序列合成模型生成方法，其特征在于，按照合成目标，各英文字符样本进行拼接的具体过程如下：
根据合成目标单词中各字符的顺序，对获取到的英文字符样本进行排列，其中每两个字符样本之间留空N个采样点，N为常量；
根据每一处留空两端的数值进行线性插值，使得每一处留空两端的字符样本通过线性线段进行连接；
在每一留空处两端分别对应向左和向右延伸n个采样点的范围内，用窗长为n的滤波器进行平滑滤波，得到最终拼接单词样本。
3.根据权利要求1所述的空中手写单词序列合成模型生成方法，其特征在于，对生成对抗网络进行对抗训练的过程具体如下：
将拼接单词样本输入到生成对抗网络中的生成器，通过生成器输出合成单词样本；
将生成器输出的合成单词样本与真实单词样本分别输入到生成对抗网络中的判别器中，进行对抗训练，使得合成单词样本不断趋近真实单词样本，得到收敛的生成器。
4.根据权利要求1所述的空中手写单词序列合成模型生成方法，其特征在于，生成对抗网络训练过程中，生成器训练的损失函数Lgenerator为：
Lgenerator＝Ladv+Ldist；
Figure FDA0002703834950000012
Figure FDA0002703834950000011
其中，Ladv表示生成器的对抗损失，Ldist表示距离损失函数；
在Ladv中，pA表示所有拼接单词样本组成的数据集合，x～pA表示x属于拼接单词样本集合，即x表示拼接单词样本，x是生成器的输入，G表示生成对抗网络中的生成器，D表示生成对抗网络中的判别器，G(x)表示生成器的输出样本，即合成单词样本；D(G(x))表示判别器对合成单词样本的判别结果，E表示取均值操作；
在Ldist中，pA表示所有拼接单词样本组成的数据集合，xi,xj～pA表示xi,xj属于拼接单词样本集合，即xi，xj表示任意的两个拼接单词样本，xi，xj均为生成器的输入，μA,σA表示拼接单词样本集合的均值与方差；G表示生成对抗网络中的生成器，G(xi)、G(xj)表示生成器的输出样本，即合成单词样本；E表示取均值操作；
生成对抗网络训练过程中，判别器训练的损失函数如下：
Figure FDA0002703834950000021
其中，Ldisc表示判别器的对抗损失，pA表示所有拼接单词样本组成的数据集合，xa～pA表示xa属于拼接单词样本集合，即xa表示拼接单词样本，xa是生成器的输入，G表示生成对抗网络中的生成器，D表示生成对抗网络中的判别器，G(xa)表示生成器的输出样本，即合成单词样本；D(G(xa))表示判别器对合成单词样本的判别结果，pr表示所有真实单词样本组成的数据集合，xr～pr表示xr属于真实单词样本集合，即xr表示真实单词样本，D(xr)表示判别器对真实单词样本的判别结果，E表示取均值操作。
5.根据权利要求1所述的空中手写单词序列合成模型生成方法，其特征在于，所述惯性传感信号包括三维线性加速度信号和三维角速度信号。
6.一种空中手写单词序列合成模型生成装置，其特征在于，所述装置包括：
第一获取模块，用于从语料库中获取英文单词，作为合成目标；
第二获取模块，用于根据合成目标，从空中手写字符数据集中获取对应的英文字符样本，各英文字符样本包括惯性传感信号；
第一拼接模块，用于按照合成目标，将上述获取的英文字符样本进行拼接，得到拼接单词样本；
第三获取模块，用于从空中手写单词数据集中获取英文单词样本，作为真实单词样本，真实单词样本包括惯性传感信号；
合成模型生成模块，将拼接单词样本作为生成对抗网络中生成器的输入，生成器的输出和真实单词样本作为生成对抗网络中判别器的输入，对生成对抗网络进行对抗训练，将生成对抗网络中训练后的生成器作为合成模型。
7.一种空中手写单词序列合成方法，其特征在于，所述方法包括：
从语料库中获取英文单词，作为合成目标；
根据合成目标，从空中手写字符数据集中获取对应的英文字符样本，各英文字符样本包括惯性传感信号；
按照合成目标，将上述获取的各英文字符样本进行拼接，得到拼接单词样本；
将拼接单词样本输入到合成模型中，得到合成单词样本；
所述合成模型为权利要求1～5中任一项所述的空中手写单词序列合成模型生成方法中所生成的合成模型。
8.一种空中手写单词序列合成装置，其特征在于，该装置包括：
第四获取模块，用于从语料库中获取英文单词，作为合成目标；
第五获取模块，用于根据合成目标，从空中手写字符数据集中获取对应的英文字符样本，每个英文字符样本包括惯性传感信号；
第二拼接模块，用于按照合成目标，将上述获取的各英文字符样本进行拼接，得到拼接单词样本；
合成单词样本生成模块，用于将拼接单词样本输入到合成模型中，得到合成单词样本；所述合成模型为权利要求1～5中任一项所述的空中手写单词序列合成模型生成方法中所生成的合成模型。
9.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1～5中任一项所述的空中手写单词序列合成模型生成方法，和/或实现权利要求6中所述的空中手写单词序列合成方法。
10.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1～5中任一项所述的空中手写单词序列合成模型生成方法，和/或实现权利要求6中所述的空中手写单词序列合成方法。
CN202011031569.6A 2020-09-27 2020-09-27 空中手写单词序列合成模型生成方法及合成方法 Active CN112162635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011031569.6A CN112162635B (zh) 2020-09-27 2020-09-27 空中手写单词序列合成模型生成方法及合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011031569.6A CN112162635B (zh) 2020-09-27 2020-09-27 空中手写单词序列合成模型生成方法及合成方法

Publications (2)

Publication Number Publication Date
CN112162635A true CN112162635A (zh) 2021-01-01
CN112162635B CN112162635B (zh) 2022-03-25

Family

ID=73863048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011031569.6A Active CN112162635B (zh) 2020-09-27 2020-09-27 空中手写单词序列合成模型生成方法及合成方法

Country Status (1)

Country Link
CN (1) CN112162635B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104793724A (zh) * 2014-01-16 2015-07-22 北京三星通信技术研究有限公司 空中书写处理方法及装置
CN107392147A (zh) * 2017-07-20 2017-11-24 北京工商大学 一种基于改进的生成式对抗网络的图像语句转换方法
CN107992792A (zh) * 2017-10-16 2018-05-04 华南理工大学 一种基于加速度传感器的空中手写汉字识别系统及方法
CN108229582A (zh) * 2018-02-01 2018-06-29 浙江大学 一种面向医学领域的多任务命名实体识别对抗训练方法
AU2019100365A4 (en) * 2019-04-05 2019-05-09 He, Zhishu Mr Dressing replacement system in 2D games based on machine learning
CN110097085A (zh) * 2019-04-03 2019-08-06 阿里巴巴集团控股有限公司 歌词文本生成方法、训练方法、装置、服务器及存储介质
CN110210371A (zh) * 2019-05-29 2019-09-06 华南理工大学 一种基于深度对抗学习的空中手写惯性传感信号生成方法
CN111460824A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于对抗迁移学习的无标注命名实体识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104793724A (zh) * 2014-01-16 2015-07-22 北京三星通信技术研究有限公司 空中书写处理方法及装置
CN107392147A (zh) * 2017-07-20 2017-11-24 北京工商大学 一种基于改进的生成式对抗网络的图像语句转换方法
CN107992792A (zh) * 2017-10-16 2018-05-04 华南理工大学 一种基于加速度传感器的空中手写汉字识别系统及方法
CN108229582A (zh) * 2018-02-01 2018-06-29 浙江大学 一种面向医学领域的多任务命名实体识别对抗训练方法
CN110097085A (zh) * 2019-04-03 2019-08-06 阿里巴巴集团控股有限公司 歌词文本生成方法、训练方法、装置、服务器及存储介质
AU2019100365A4 (en) * 2019-04-05 2019-05-09 He, Zhishu Mr Dressing replacement system in 2D games based on machine learning
CN110210371A (zh) * 2019-05-29 2019-09-06 华南理工大学 一种基于深度对抗学习的空中手写惯性传感信号生成方法
CN111460824A (zh) * 2020-03-30 2020-07-28 华南理工大学 一种基于对抗迁移学习的无标注命名实体识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐松斌: "基于深度对抗学习和域迁移的空中手写识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN112162635B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN106095109B (zh) 基于手势和语音进行机器人在线示教的方法
CN107368820B (zh) 一种精细化手势识别方法、装置及设备
CN107972070A (zh) 机器人性能的测试方法、测试系统及计算机可读存储介质
CN109815955A (zh) 题目辅助方法及系统
CN109732593B (zh) 一种机器人的远端控制方法、装置及终端设备
CN110399488A (zh) 文本分类方法及装置
JP2021521559A (ja) 画像合成方法及び装置
TW200907715A (en) Method, apparatus, and system for simulating an object performing an action
CN111310590B (zh) 一种动作识别方法及电子设备
CN110059569B (zh) 活体检测方法和装置、模型评估方法和装置
CN111126358A (zh) 人脸检测方法、装置、存储介质及设备
CN107292295A (zh) 手势分割方法及装置
CN112162635B (zh) 空中手写单词序列合成模型生成方法及合成方法
CN108089710A (zh) 一种电子设备控制方法、装置及电子设备
Wang et al. Accelerometer-based gesture recognition using dynamic time warping and sparse representation
CN110347807A (zh) 问题信息处理方法及装置
US9870063B2 (en) Multimodal interaction using a state machine and hand gestures discrete values
Pavlovic et al. Integration of audio/visual information for use in human-computer intelligent interaction
CN109871857A (zh) 用于识别手势的方法和装置
CN110232116B (zh) 回复语句中的表情添加的方法及装置
Hamouda et al. Arabic sign language recognition: Towards a dual way communication system between deaf and non-deaf people
CN112306242A (zh) 一种基于书空手势的交互方法和系统
CN112052724A (zh) 基于深度卷积神经网络的手指指尖定位方法及装置
JP2020135424A (ja) 情報処理装置、情報処理方法、及びプログラム
Ralev et al. Components and model of implementation of a hand gesture recognition system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant