CN107067031A - 一种基于Wi‑Fi信号的书法姿态自动识别方法 - Google Patents

Abstract

本发明公开了一种基于Wi‑Fi信号的书法姿态自动识别方法，该方法采用Wi‑Fi信号获取书法字姿态数据，依次对数据进行特征提取、笔画分割，并采用学习算法进行数据重建，利用和标准数据库比对的方法，以识别确定书写的字体。本发明的方法实施利用现有的商业设备，不需要修改硬件，对于用户则不需要额外部署设，无线信号易于获得，使用普通的智能移动设备可以开启热点来发射无线信号；利用现有的无线局域网，以非入侵式且设备无关的方式分析物理层的CSI值，不需要改变无线信号通信协议，具有广泛的应用前景。

Description

一种基于Wi-Fi信号的书法姿态自动识别方法

技术领域

本发明涉及无线信号追踪感知和人机交互技术领域，具体涉及一种基于Wi-Fi信号的书法运笔姿态自动识别的方法。

背景技术

中国书法是用中国特制的圆锥形的毛笔书写汉字的艺术，是中国文化的重要载体。2015年教育部在发布的《完善中华优秀传统文化教育指导纲要》中，进一步明确要求学生能规范书写汉字，要临摹名家书法，体会书法的美感与意境。长期以来，传统的现场观摩式书法教学形式要求教师指导学生临帖，逐一示范并纠正书法运笔动作。在实践过程中课时受限、中小学生人数众多、专业师资队伍严重紧缺，制约了中小学书法教育的发展，使得政策落地极为困难。人机交互(HCI)由于其性质和目标，涉及到计算机科学和人文学科的多个方向，自然互动模式包括手势、姿态、虹膜、语言等，正在快速发展中。其中姿态和手势是一种动态特征，通过采集目标的姿态或行为特征便可完成对目标的辨识。

目前，关于姿态行为感知、追踪技术和方法发展迅速。姿态行为识别分为静态和动态识别2种。其中，关于动态识别的方法，现有技术中有基于视觉的姿态识别和追踪、基于声波信号姿态识别、基于专用传感器的姿态识别、基于无线信号的姿态识别、追踪、定位等。

现有的技术中，红外技术只能识别特定区域内的活动，对基础设施的要求很高，并且设备昂贵；基于视觉方法需要对用户进行摄像拍摄视频，会泄露一些用户隐私，计算量大，适合视距范围的识别，容易存在死角且受到光照、障碍物等的影响，使用LED和光传感器虽然可以达到毫米级的定位精度，但是视觉的角度受限，光照条件也有很大的影响。基于声音信号的姿态识别使用多普勒频移的方法没有追踪能力，只能识别预定义的姿态；其中60GHz的射频信号可以达到毫米级的追踪精度，但是需要昂贵的专业设备，并不具有通用性；超声波在传播过程中容易衰减，识别的范围有限，速度得大于某个值才能检测到多普勒频移，还需要额外硬件；利用语音识别技术和设备交互，虽然在智能家居等方面得到一些应用，但是目前还没有得到广泛的推广。基于专用传感器的行为识别可识别细粒度的行为，但安装与携带很不方便，且价格不菲，并且对于Device Free场景不适用。传统的Wi-Fi信号被用来定位和姿态识别主要使用的是Wi-Fi信号的RSSI值，但是利用RSSI值只能识别大幅度手势，因为细粒度的手势变化对RSSI值的影响很微小，几乎观察不到，所以利用RSSI值对细粒度手势识别失效。

发明内容

针对上述现有技术中存在的问题，本发明的目的在于，提供一种基于Wi-Fi信号的书法姿态自动识别方法，通过WiFi信号获取手部和笔尖的姿态变化，可以在电脑上实时的记录和追踪书写过程，并通过识别和追踪系统给出书写的结果。

为了完成上述任务，本发明采用以下技术方案：

一种基于Wi-Fi信号的书法姿态自动识别方法，包括以下步骤：

步骤一，设置无线信号发射器、无线信号接收器，利用无线信号发射器发射Wi-Fi信号，用户在无线信号发射器和无线信号接收器之间书写字体，通过无线信号接收器接收无线信号数据，即CSI数据包，并进行去噪处理；

步骤二，特征提取

步骤2.1，对CSI数据包中的载波利用PCA主成分分析法选择幅值特征变化最大的前5列，利用滑动窗口累加幅值的差值，找出幅值变化累积差值为正并且较大的点对应的横轴坐标记为X1，并找出幅值累积差值为负并且较小的点对应的横轴坐标记为X2；

步骤2.2，对步骤2.1中选取的5列载波的幅值进行一阶求导，利用滑动窗口累加导数的差值，找出导数变化累积差值为正并且较大的点对应的横轴坐标记为X11，并找出导数累积差值为负并且较小的点对应的横轴坐标记为X12；

步骤2.3，选择star1＝(X1+X11)/2、end1＝(X2+X12)/2作为用户开始书写的位置和结束位置，并将所述的5列载波幅值数据段保存在特征矩阵M中；

步骤三，笔画分割

找出(start1，end1)中幅值变化较大的数据段，根据提笔和落笔两个动作的特征，对幅值波形变化部分的位置进行划分，一对落笔和提笔之间的数据被看作是一个笔画数据，将(start1，end1)中每一对提笔和落笔处的横轴坐标共同保存在一个二维数组Feature中；

步骤四，对特征矩阵M进行数据重建，以减小数据量，得到重建后的特征矩阵H；

步骤五，建立字体数据库

试验人员在步骤一设置的场景中进行字体的书写，在每书写一个字体后，均按照步骤二至步骤四的方法进行处理，得到每一个字体对应的特征矩阵H；

所述的字体包括汉字、笔画和偏旁部首，分别建立汉字库、笔画库和偏旁部首库，每个库中存储字体、字体对应的特征矩阵H，并在每个库中建立索引；

步骤六，用户在步骤一设置的场景中进行字体的书写，书写字体后，按照步骤二至步骤四的方法进行处理，根据处理过程中得到的二维数组Feature和字体的特征矩阵H，与步骤五中的汉字库、笔画库和偏旁部首库进行对比，得到识别结果。

进一步地，所述的步骤五中，采用改进的CRBM算法对特征矩阵M进行数据重建，所述的改进的CRBM算法是在现有的CRBM算法的基础上，将CRBM算法的卷积运算替换成卷积分离运算，舍弃了吉比斯采样过程，并且只用到CRBM算法的可视层和隐藏层；

利用改进的CRBM算法对特征矩阵M进行处理时，在可视层输入矩阵M，最终在隐藏层输出重建后的矩阵H。

进一步地，所述的步骤六的具体过程包括：

步骤6.1，通过二维数组Feature的行数得到笔画数目，再对Feature中的值除以100，得到重建后特征矩阵H中笔画分割横坐标新数组，记为HFeature，根据HFeature中的每一行数据找出对应的笔画位置，相邻的落笔和提笔代表一个笔画，对这些笔画数据与步骤五中所述的笔画库中的数据进行KNN聚簇分类，找出最接近的笔画，即为识别结果；

步骤6.2，当笔画数目大于1小于4时，则对HFeature中的笔画数据与偏旁部首库中的数据进行KNN聚簇分类，找出最接近的偏旁部首，即为识别结果；

步骤6.3，当笔画数目大于4时，则对HFeature中的笔画数据与汉字库中的数据进行KNN聚簇分类，找出最接近的汉字，即为识别结果。

本发明与现有技术相比，具有以下技术特点：

1.本发明方法解决了对书法运笔姿态的自动识别和纠错，32种笔画的平均识别精度80.3％，10个偏旁部首的平均识别精度75％，10个简单汉字的平均识别精度82.5％，在行业中首次提出了解决书法姿态识别中的连笔问题的算法，将落笔和提笔两个关键点分离开。

2.本发明的方法实施利用现有的商业设备，不需要修改硬件，完成了书写过程的可视化展示；该方法容易实施，且成本低廉，而且用户不需要携带和部署任何额外的设备，可以识别在一公尺外的目标用户细粒度姿态，并且不侵犯用户隐私，具有很强的普适性。

3.本发明方法所利用的无线信号易于获得，使用普通的智能移动设备可以开启热点来即可发射无线信号；利用现有的无线局域网，以非入侵式且设备无关的方式分析物理层的CSI值，不需要改变无线信号通信协议，目前的无线通信协议802.11nc协议即可以满足通信需求。

附图说明

图1为试验场景中直线拓扑结构示意图；

图2为试验场景中三角拓扑结构示意图；

图3为基于Wi-Fi信号的书法运笔姿态识别系统框架原理示意图；

图4为试验书写效果图；

图5为试验书法临摹图；

图6是图15中笔画“横”和图17中汉字“大”的CSI数据处理示意图，其中(a)是笔画“横”幅值变化的原始波形，以及低通去噪后波形示意图；(b)是笔画“横”相位变化的原始波形示意图，以及低通去噪后波形示意图；(c)为汉字“大”的幅值变化的原始波形示意图，以及低通滤波处理后的示意图；(d)为汉字“大”的相位变化的原始波形示意图，以及低通滤波处理后的示意图；

图7中(a)是汉字“与”的多个样本幅值波形示意图，每一个虚线矩形框中为汉字“与”幅值样本，(b)是汉字“与”的5列载波幅值一阶求导后的样本分割示意图，每一个虚线矩形框中为汉字“与”的一阶导数样本；

图8中的上图是汉字“与”的1列载波幅值波形图示意图，下图是与上图相同载波幅值一阶求导波形图示意图；

图9中(a)是单独对“提笔”和“落笔”两个动作在不同位置的实验数据处理，包含了“提笔”和“落笔”动作幅值去除噪声后的波形示意图、相位去除噪声后的波形示意图；(b)是对“提笔”和“落笔”动作的特征分割的示意图；(c)是对汉字“与”的笔画分割幅值波形示意图，虚线矩形框表示对笔画分割；(d)是对“与”的另一个样本的笔画分割幅值波形示意图；

图10是对完整汉字“与”书写过程的幅值和相位滤波后的波形示意图；

图11是偏旁“两点水”的书写过程幅值波形示意图，记录了12对“落笔”“提笔”动作的划分，即书写了12个笔画，方便后续笔画分割校准；

图12中是对笔画分割的两种判断方法，(a)是对图12中偏旁“两点水”幅值直接求一阶导数设阈值的波形示意图，(b)是对对图12中偏旁“两点水”幅值间隔50个点的位置求一阶导数，再对其利用5层小波分解得到求导和小波分解后的波形求波峰和波谷示意图；

图13中(a)是RBM的结构框架层的示意图，(b)是矩阵通过一系列的线性组合映射得到一个新的矩阵示意图；

图14中(a)是5列载波幅值波形示意图，图b是5列载波幅值经过反卷积运算后的示意图；

图15是中国汉字书写规则和实例；

图16是试验中识别的32种基本笔画；

图17是试验中识别的10种基本偏旁部首；

图18是试验中识别的10个简单汉字。

具体实施方式

发明人团队在研究基于WiFi信号的书法姿态识别过程中，面临的主要问题有：第一，书法运笔过程中包含的运笔姿态、书写字体的间架结构、笔墨浓淡、笔锋力度这些很难预测、定义和量化。第二，解决连笔的自动分离问题。对于姿态的追踪过程，采集到的数据是一个连续的姿态变化，但是中国汉字是由多种笔画组成并非连笔结构，提笔和落笔这两个动作点的区分非常重要。如果不能区分提笔后与落笔各自的姿态，结果输出一团涂鸦似的姿态，那么识别也将没有意义。第三，书写规模不同问题，即字体大小不同问题。无论是大，中、小字体都要能够识别出来，对于识别过程中的分辨率的要求较高，以及书写顺序的判定，这些都是对于基于Wi-Fi信号的运笔姿态识别的挑战。第四，提取有用的特征信息。输入是一段连续的信号，其中包括了书写过程和静止两种状态，所以需要确定哪个部分是真正的书写过程的信息，何时开始书写？何时书写结束？确保存储的信息是有用的部分，节省存储开销。第五，外界因素的干扰和环境噪声的分离。排除书写过程中外界因素的干扰和环境噪声对识别精度有很大的影响。第六，用较低的时空开销快速识别。提高应用的实时性和信号处理效率，普通的方法匹配时需要将数据库中所有的标准模板信号遍历一遍，需要耗费大量的时间开销。

基于Wi-Fi信号的CSI(Channel State Information)值包含幅值和相位特征，对于微小的手指运动引起的变化反映强烈，所以可以利用信号CSI值来识别这种细粒度的手和手腕运动姿态。并且针对现有技术的不足，本发明在人机交互领域中，基于Wi-Fi信号获取手部和笔尖的姿态变化。

一种基于Wi-Fi信号的书法姿态自动识别方法，包括以下步骤：

步骤一，设置无线信号发射器、无线信号接收器，利用无线信号发射器发射Wi-Fi信号，用户在无线信号发射器和无线信号接收器之间书写字体，通过无线信号接收器接收无线信号数据，即CSI数据包，并进行去噪处理；

本发方案中，发射器、接收器的设置间距为1米，采用无线路由器(TP-Link)作为发射器发射Wi-Fi信号，每秒ping约500个信号数据包，接收器采用5300无线网卡作为接收器，带有3个全向接收天线接收发射器发出的变化的多个无线信号CSI数据包，每一个CSI数据包中均包含有30个子载波，每个子载波都包含了无线信号的幅值和相位。信号采集的时间段包括了书写前、书写中和书写后的三个阶段，可持续1到5分钟。

收集到的CSI信号的原始数据利用MATLAB软件编写程序进行解析后，得到幅值和相位的数据矩阵，利用30HZ低通巴特沃斯滤波去除噪声算法进行适应性调整将噪声从信号中消除，参数设置，如频率按照采样率设置为500，通带边界频率上届设置为1/250，阻带截止频率下界为1/50，通带最大衰减因子1，阻带最小衰减因子为30。

通过步骤一、二取得CSI的子载波的子载波幅值信息，经过去除噪声，获取到相对纯净的CSI数据包。如图6中，(a)和(c)是样本的幅值的原始时域波形和幅值去除噪声后的波形对比图；(b)和(d)是样本的相位的原始时域波形和幅值去除噪声后的波形对比图；可以看出去除噪声后的幅值和相位的波形特征表现更为明显和简洁。

步骤二，特征提取

步骤2.1，对CSI数据包中的载波利用PCA主成分分析法选择幅值特征变化最大的前5列，利用滑动窗口累加幅值的差值(DCASW)，窗口大小设置为100，滑动向前(靠近原点的方向)找出幅值变化累积差值为正并且较大的点对应的横轴坐标记为X1，并找出幅值累积差值为负并且较小的点对应的横轴坐标记为X2；所述的“较大”是指超过当前载波幅值均值和最大值差值2/3的点；所述的“较小”是指小于当前载波幅值均值和最小值差值2/3的点。

如图8中，上面的图像是一个实例中，通过PCA法选取的5列中的一列载波幅值分割的波形图，图中的X1和X2代表了一个样本的开始和结束位置的横坐标，X3和X4代表另一个样本的开始和结束位置的横坐标。

步骤2.2，对步骤3.1中选取的5列载波的幅值进行一阶求导，利用滑动窗口累加导数的差值(Fi)(DCASW)，窗口大小设置为100，滑动向前找出导数变化累积差值为正并且较大的点对应的横轴坐标记为X11，并找出导数累积差值为负并且较小的点对应的横轴坐标记为X12；所述的“较大”是指超过当前载波导数均值和最大值差值2/3的点；所述的“较小”是指小于当前载波导数均值和最小值差值2/3的点。

如图8中，下面的图像是一列载波幅值一阶导数的样本分割波形图，图中X11和X12代表了一个样本开始和结束位置的横坐标，X13与X14代表了另一个样本的开始和结束位置的横坐标。

步骤2.3，选择star1＝(X1+X11)/2、end1＝(X2+X12)/2作为用户开始书写的位置和结束位置，记为(star1,end1)进行保存，最终横轴坐标star1和end1是样本开始和结束的坐标，同理可求下一个样本的分割。并将所述的5列载波幅值数据段保存在特征矩阵M中，这样对样本进行了划分，又减少了数据量。

步骤三，笔画分割

找出(start1，end1)中幅值变化较大的数据段(较大即超过幅值的均值和最大值差值的2/3)，根据提笔和落笔两个动作的特征(“提笔”时会出现较大幅度值变化的上升沿，“落笔”时会出现较大幅度值变化的下降沿)，对幅值波形变化部分的位置进行划分，一对落笔和提笔之间的数据被看作是一个笔画数据，将(start1，end1)中每一对提笔和落笔处的横轴坐标共同保存在一个二维数组Feature中；例如，一对提笔和落笔的横坐标轴组合记为(L1，T1)，另一对记为(L2，T2)，共同保存在2维的笔画数组Feature中。有多少对相邻的落笔和提笔就对应有多个笔画，一个样本对应一个笔画数组Feature。如Feature1，Feature2，Feature3分别代表三个样本的笔画数组。

具体的笔画分割方法示例：

如附图12所示是对图11中偏旁“两点水”的笔画划分。

方法1：样本的幅值直接求一阶导数，设置了2个阈值，0.01和-0.01来确定提笔和落笔动作，“提笔”部分幅值呈上升趋势，所以导数为正，“落笔”部分幅值呈下降趋势，所以导数为负，导数大于0.01的位置为“提笔”，导数小于-0.01的位置为“落笔”，为了防止返回多个相近的位置，横坐标以100为间隔，横坐标间隔100以内的返回点看作相同动作位置点，并取这些返回点，如返回多个相近的“落笔”动作的横坐标，取中间值代表这个动作横坐标，并且规定“落笔”“提笔”交替出现，出现了多少对相邻的“落笔”和“提笔”动作就划分多少个笔画；

方法2：是对样本幅值间隔50个点的位置求一阶导数，再对其利用5层小波分解得到求导和小波分解后的波形求波峰和波谷示意图，同样也设定了2个阈值0.07和-0.07，对应的大于0.07的波峰位置为提笔，小于-0.07的波谷为落笔，并且规定“落笔”“提笔”交替出现，得到的多对波峰、波谷对应的横坐标，给横坐标值乘以50后就得到样本幅值对应的“提笔”和“落笔”位置的真实横坐标，同样出现了多少对相邻“落笔”和“提笔”动作就划分多少个笔画。以上两种方法可以交替使用，来增加笔画分割的准确性。并且，其中阈值设定需要按照幅值和导数的均值，最大值，最小值进行适应性的调整。

对去除噪声后的CSI信号提取书法运笔姿态的特征信息，手腕、毛笔、胳膊运动形象的特征提取既能够确保书写过程的完整信息的获取，又能过滤掉空闲时间段的无用信息。首先需要确认书写的开始时刻和结束时刻，其次书法运笔姿态过程中提笔和落笔的两大时间点的分割也是非常重要的部分，对于汉字的书写顺序识别，不同人的书写区分、识别精度都有很大的影响。特征段的信息它定义跟踪信号的变化特性，反映书写过程的各种特征信息。如果特征提取过少，不会充分反映书法运笔姿态；如果提取的特征过多，冗余信息的信号将被恢复，这将导致浪费存储空间和大量的计算开销。并且这个CSI幅值特征矩阵将书写的汉字、偏旁、笔画这个过程信息进行量化，方便后续的评估。

之所以使用累积滑动窗口的原因如下：

计算振幅的累积滑动窗口,如公式1所示：

Fi＝|Sumi-Sumi-τ| (1)

τ是滑动窗口的大小，取值一般设置为100，Sumi是振幅的滑动窗口的累积值，Ai是第i个帧的幅值，具体计算如公式2所示：

Sumi＝Sumi-1+Ai；Sum0＝0,Sum1＝A1 (2)

利用计算振幅的累积滑动窗口的差值来提取书法运笔姿态的特征,具体计算如公式3所示:

Di＝Fi-Fi-1 (3)

计算累加幅值的滑动窗口取差值是为了求出倒数和幅值累积差值(Di)的最大值和最小值以确定书写的开始和结束时刻，从而找出信号的特征段，单独拿出其中一个特征会导致特征分割的误判，所以通过数据分析，结合幅值和倒数的累积差值来判定更为合理。本发明的累积滑动窗口差值法从幅值里提取书法书写过程的特征，出现累积滑动窗口的差值最大值是书法书写开始时刻，然后出现最小值为书写结束时刻。因为没有开始划动时，信号保持稳定。但是当书写开始时,信号开始由稳定变为明显波动，此时滑动窗口的累积差值最大。而且当信号由明显波动回到相对稳定时，此时划动窗口的累积差值最小，则表示书写结束。所以，选取这个累加幅值的滑动窗口的差值，是因为一般的滑动窗口需要设置一个阈值提取特征，并且阈值是经过真实的实验多次尝试获得。除此之外，用户不同，其书法书写影响信号的振幅也不同，因此对于不同的用户，我们需要设置不同的阈值来提取特征。

步骤四，对特征矩阵M进行数据重建，以减小数据量，得到重建后的特征矩阵H；

借鉴深度学习算法CRBM提取抽象表达的思想，原理示意图如附图13中图a所示，本发明方法舍弃了CRBM中“卷积运算”和“吉比斯采样”过程，而是利用2层结构的“卷积分离”运算(核心部分，卷积分离是卷积运算的逆过程，这两种运算互相可逆)对书法笔画和汉字的特征矩阵M进行重建得到新的矩阵H。矩阵主要的处理过程如下

Step1：在可视层输入一个样本的载波矩阵，如m×n的矩阵M；

Step2：针对CRBM算法，我们对其进行了改进，改进的地方有：将卷积运算换成了卷积分离运算，舍弃了吉比斯采样过程，并且只使用了其中两层结构，分别为可视层和隐藏层。然后采用改进的算法对载波矩阵进行处理，算法的初始化参数是卷积分离核W，算法在可视层输入：输入矩阵M，最终在隐藏层输出：输出重建后的矩阵H。

(1)输入：可视层输入m×n的矩阵M。

(2)初始化：k×p的卷积分离核矩阵W，k和p值大小取决于矩阵M的大小m和n，k小于m，p小于n，W中取值通过随机的U[0,1]正态分布获得。

(3)运算：设置外循环Lp小于m/k整数，设置内循环N小于n/p整数，矩阵M的k行上的运算，矩阵M中k×p个数据单元与卷积分离核矩阵W进行卷积分离运算后的到一个数据单元，在同维度上滑动前进，滑动前进的大小为p，再进行矩阵M中下一个k×p数据单元与卷积分离核矩阵W进行卷积分离运算后的到一个数据单元，至一次内循环结束，矩阵M的前k行卷积分离后得到n/p整数个数据单元，组成一个向量h1，同理下一次内循环对整个矩阵下一个k行处理得到一个行向量h2，至外循环结束得到一个新的重建的矩阵H，H是由内循环中的若干个向量(h1，h2,…)组成。

(4)输出：在隐藏层输出卷积分离后的矩阵H，并保存在数据库中。

运算过程例如图13中图b所示，可视层3×9个数据单元的矩阵，经过与卷积核3×3的矩阵W卷积分离后映射到隐藏层，得到新的矩阵H可以作为样本的特征矩阵。

卷积运算的思想，RBM的2层结构如图13中图a所示。

不能直接用的原因是：CRBM算法主要是针对图像处理的算法，其中涉及到很多对图像处理的参数设置和四维图像数据处理，本发明方法只是2维的数据矩阵，不涉及颜色通道等方面的处理，所以不能直接拿过来使用，只是利用其中卷积运算的思想来对Wi-Fi信号CSI值中的数据矩阵进行应的处理，只使用了卷积分离运算对整个数据矩阵做了处理。

使用CRBM思想的原因是：原矩阵中的数据和卷积核运算实际则是通过一系列的线性组合运算，并且得出了高度保存数据原有特征的新的数据，而且卷积分离之后使得数据量比原有数据大大的减少，提高了后续运算的效率，减少了内存负担，并且可以通过卷积运算可还原为初始输入的数据矩阵。如原矩阵M大小是10000×180，卷积核W大小是100×1，则重建后的矩阵H大小为100×180，数据量减少了100倍。

步骤五，建立字体数据库

试验人员在步骤一设置的场景中进行字体的书写，在每书写一个字体后，均按照步骤二至步骤四的方法进行处理，得到每一个字体对应的特征矩阵H；

本方案中，识别过程主要采用比对过程，即通过后续用户写出的字体的特征，与标准的字体特征进行比对，以确定用户写出的是什么字体。这里的标准字体，是试验人员给出的，即找一个字体书写相对标准的试验人员，在步骤一搭建的场景中进行字体的书写，每写一个字体，经过步骤二至步骤四处理后，得到该字体对应的特征矩阵H，即该字体的样本特征，将字体、样本特征存储在数据库中，进行保存。

为了增加识别量，数据库可以不断通过上述方法进行字体的补充。

所述的字体包括汉字、笔画和偏旁部首，分别建立汉字库、笔画库和偏旁部首库，每个库中存储字体、字体对应的特征矩阵H，并在每个库中建立索引；这里的索引就是对每个字体进行编号，以便于后续的查找过程。汉字库、笔画库和偏旁部首库的建立方法相同，以汉字一为例，试验人员书写一以后，得到特征矩阵，对字体一编号为1，则在汉字库中，编号1、字体一和特征矩阵H就为一组数据。

本方案中的笔画库中，存储了汉字32种基本笔画的特征数据。我国汉字有32种基本笔画，这些笔画可以组成大部分的偏旁和部首，以及数千个中国汉字。偏旁部首库中存储的是汉字的所有偏旁部首的特征数据、序号和对应的偏旁部首。建立索引的目的是，能方便快速地通过查询到对应的字体，索引、字体(汉字、偏旁部首和笔画)和特征矩阵一一对应，后期的比对过程中，通过特征数据对应到索引，即可知道是哪一个字体。

步骤六，在实际识别使用时，用户在步骤一设置的场景中进行字体的书写，书写字体后，按照步骤二至步骤四的方法进行处理，根据处理过程中得到的二维数组Feature和字体的特征矩阵H，与步骤五中的汉字库、笔画库和偏旁部首库进行对比，得到识别结果。

步骤6.1，通过二维数组Feature的行数得到笔画数目，再对Feature中的值除以100，得到重建后特征矩阵H中笔画分割横坐标新数组，记为HFeature，根据HFeature中的每一行数据找出对应的笔画位置，相邻的落笔和提笔代表一个笔画，对这些笔画数据与步骤一中所述的笔画库中的特征矩阵进行KNN聚簇分类，找出最接近特征矩阵对应的笔画，即为识别结果；

步骤6.2，当笔画数目大于1小于4时，则对HFeature中的笔画数据与偏旁部首库中的数据进行KNN聚簇分类，找出最接近的偏旁部首，即为识别结果；

步骤6.3，当笔画数目大于4时，则对HFeature中的笔画数据与汉字库中的数据进行KNN聚簇分类，找出最接近的汉字，即为识别结果。

在执行该步骤时，可以采用的一个策略是，当步骤6.1得出笔画的识别结果后，根据步骤四得到的二维数组Feature，即笔画顺序号和对应笔画、偏旁在与图16中对比得出书写笔画是否符合汉字的书写规则，实现纠错功能；若步骤6.1识别准确率低于50％，再执行步骤6.2和步骤6.3。

本方案的效果测试实验——识别中国汉字中颜体正楷书法运笔姿态。

实验场景：在室内5*4平方米的实验室(西北大学信息科学与技术学院629实验室)，在80cm*90cm的书法临摹贴上书写颜体正楷的笔画和汉字，利用Wi-Fi信号识别32种基本的笔画、10个偏旁部首、10个简单的汉字，实验结果验证能否正确识别书法书写中的运笔姿态和书写的汉字；室内需要考虑多径效应对Wi-Fi信号影响的问题，实验场景设置如图1和图2所示，分别为直线拓扑结构，三角拓扑结构下识别笔画、部首、汉字；

实验设备：发射器——一台智能移动设备或者普通的TP-LINK家用路由器用来发射无线信号，接收器——Intel 5300网卡来接收数据，Laptop作为接收数据的显示终端一台，接收到的数据是CSI数据包，每一个CSI数据包里面包含30个子载波，每个子载波的数据都包含信号的幅值和相位；

实验过程：一次实验中用时1分钟采集信号，发射端——智能设备开启热点发射无线信号或者无线AP开启发射无线信号，每分钟发射ping约500个信号数据包；接收端——打开Laptop接收无线信号；用户在发射端和接收端中间的位置站立保持身体姿态不变，并且在30秒时开始书写一个笔画(或偏旁部首、简单的汉字)，书写过程持续为6至15秒，接收端Laptop利用识别系统给出识别结果和评估。实验用时8个多月，一组实验进行25次，总体实验次数超过6000次。

实验结果：

(1)识别32种基本笔画的平均精度为80.6％。

(2)识别10种偏旁部首的平均精度为75％。

(3)识别10种简单的汉字的平均精度为82.5％。

评估笔画和样本分割方法的准确率。计算这种分割特征和笔画的准确率，根据实验结果得出，平均准确率为70％，在可接受范围内。

实验结果证明本发明方法是可行的，可以通过无线信号的CSI值识别多粒度的书法运笔姿态和动作，识别精度在可接受的范围内，并且对不同笔画的分割更能帮助我们对书写的笔画顺序进行纠错处理。

Claims (3)

1.一种基于Wi-Fi信号的书法姿态自动识别方法，其特征在于，包括以下步骤：

步骤一，设置无线信号发射器、无线信号接收器，利用无线信号发射器发射Wi-Fi信号，用户在无线信号发射器和无线信号接收器之间书写字体，通过无线信号接收器接收无线信号数据，即CSI数据包，并进行去噪处理；

步骤二，特征提取

步骤2.1，对CSI数据包中的载波利用PCA主成分分析法选择幅值特征变化最大的前5列，利用滑动窗口累加幅值的差值，找出幅值变化累积差值为正并且较大的点对应的横轴坐标记为X1，并找出幅值累积差值为负并且较小的点对应的横轴坐标记为X2；

步骤2.2，对步骤2.1中选取的5列载波的幅值进行一阶求导，利用滑动窗口累加导数的差值，找出导数变化累积差值为正并且较大的点对应的横轴坐标记为X11，并找出导数累积差值为负并且较小的点对应的横轴坐标记为X12；

步骤2.3，选择star1＝(X1+X11)/2、end1＝(X2+X12)/2作为用户开始书写的位置和结束位置，并将所述的5列载波幅值数据段保存在特征矩阵M中；

步骤三，笔画分割

找出(start1，end1)中幅值变化较大的数据段，根据提笔和落笔两个动作的特征，对幅值波形变化部分的位置进行划分，一对落笔和提笔之间的数据被看作是一个笔画数据，将(start1，end1)中每一对提笔和落笔处的横轴坐标共同保存在一个二维数组Feature中；

步骤四，对特征矩阵M进行数据重建，以减小数据量，得到重建后的特征矩阵H；

步骤五，建立字体数据库

试验人员在步骤一设置的场景中进行字体的书写，在每书写一个字体后，均按照步骤二至步骤四的方法进行处理，得到每一个字体对应的特征矩阵H；

所述的字体包括汉字、笔画和偏旁部首，分别建立汉字库、笔画库和偏旁部首库，每个库中存储字体、字体对应的特征矩阵H，并在每个库中建立索引；

步骤六，用户在步骤一设置的场景中进行字体的书写，书写字体后，按照步骤二至步骤四的方法进行处理，根据处理过程中得到的二维数组Feature和字体的特征矩阵H，与步骤五中的汉字库、笔画库和偏旁部首库进行对比，得到识别结果。

2.如权利要求1所述的所述的基于Wi-Fi信号的书法姿态自动识别方法，其特征在于，所述的步骤五中，采用改进的CRBM算法对特征矩阵M进行数据重建，所述的改进的CRBM算法是在现有的CRBM算法的基础上，将CRBM算法的卷积运算替换成卷积分离运算，舍弃了吉比斯采样过程，并且只用到CRBM算法的可视层和隐藏层；

利用改进的CRBM算法对特征矩阵M进行处理时，在可视层输入矩阵M，最终在隐藏层输出重建后的矩阵H。

3.如权利要求1所述的基于Wi-Fi信号的书法姿态自动识别方法，其特征在于所述的步骤六的具体过程包括：

步骤6.1，通过二维数组Feature的行数得到笔画数目，再对Feature中的值除以100，得到重建后特征矩阵H中笔画分割横坐标新数组，记为HFeature，根据HFeature中的每一行数据找出对应的笔画位置，相邻的落笔和提笔代表一个笔画，对这些笔画数据与步骤五中所述的笔画库中的数据进行KNN聚簇分类，找出最接近的笔画，即为识别结果；

步骤6.2，当笔画数目大于1小于4时，则对HFeature中的笔画数据与偏旁部首库中的数据进行KNN聚簇分类，找出最接近的偏旁部首，即为识别结果；

步骤6.3，当笔画数目大于4时，则对HFeature中的笔画数据与汉字库中的数据进行KNN聚簇分类，找出最接近的汉字，即为识别结果。