CN114882148A - 笔迹恢复方法、装置以及电子笔、显示设备 - Google Patents

笔迹恢复方法、装置以及电子笔、显示设备 Download PDF

Info

Publication number
CN114882148A
CN114882148A CN202210304743.2A CN202210304743A CN114882148A CN 114882148 A CN114882148 A CN 114882148A CN 202210304743 A CN202210304743 A CN 202210304743A CN 114882148 A CN114882148 A CN 114882148A
Authority
CN
China
Prior art keywords
pen
handwriting
coordinate set
writing
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210304743.2A
Other languages
English (en)
Inventor
李蕊秀
朱理森
孙红伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Honghe Innovation Information Technology Co Ltd
Original Assignee
Shenzhen Honghe Innovation Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Honghe Innovation Information Technology Co Ltd filed Critical Shenzhen Honghe Innovation Information Technology Co Ltd
Priority to CN202210304743.2A priority Critical patent/CN114882148A/zh
Publication of CN114882148A publication Critical patent/CN114882148A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G06T5/70—

Abstract

本公开提供一种笔迹恢复方法、装置以及电子笔、显示设备。所述方法包括：获取移动数据、工作模式信息以及信息采集时间间隔；根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集；根据所述笔尖坐标集，确定局部书写平面集；根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。本公开提供的笔迹恢复方法能够脱离特定的书写平面，可以在任意依托面下进行流畅的书写。还可以在物体表面勾勒物体的线条或棱角，还原3D的书写笔迹。除此之外，还可以脱离摄像头的识别拍摄，扩展了有效书写范围，在教学课堂或者商务会议等场景有非常重要的理论价值和广泛的应用空间。

Description

笔迹恢复方法、装置以及电子笔、显示设备
技术领域
本公开涉及笔迹恢复技术领域，尤其涉及一种笔迹恢复方法、装置以及电子笔、显示设备。
背景技术
随着互联网时代的发展，越来越多的手写设备和显示设备被逐渐开发出来。为了使书写更加自由和便捷，人们研发了可以配合显示设备应用的书写笔，或者可以在带有点阵的纸张上书写并投影到显示设备的书写笔。但是，前者的书写平面必须在显示设备的屏幕上，这大大限制了用户与显示设备的距离，后者则需要依托特殊的纸张来规范笔迹，并且需要在摄像头有效拍摄识别范围内进行，既限制了用户与显示设备的距离，又将书写轨迹局限于二维平面。
发明内容
有鉴于此，本公开的目的在于提出一种笔迹恢复方法、装置以及电子笔、显示设备，以解决用户在非特定书写面下进行书写时，笔迹恢复的问题。
基于上述目的，本公开提供了一种笔迹恢复方法，该方法应用于电子笔，包括：
获取移动数据、工作模式信息以及信息采集时间间隔；
根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集；
根据所述笔尖坐标集，确定局部书写平面集；
根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。
在一种可能的实现方式中，所述根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集，包括：
对所述移动数据进行误差消除操作，得到消除误差后的移动数据；
根据所述消除误差后的移动数据和所述信息采集时间间隔，计算所述电子笔的姿态角；
对所述姿态角进行校准，得到校准后的姿态角；
根据所述校准后的姿态角、所述消除误差后的移动数据和所述信息采集时间间隔，得到笔尖坐标集。
在一种可能的实现方式中，所述误差消除操作，包括：加速计高斯白噪声误差消除操作和陀螺仪高斯白噪声误差消除操作；
则，所述对所述移动数据进行误差消除操作，包括：计算所述移动数据中的原加速度的第一平均值和原角速度的第二平均值；
以所述第一平均值替换所述原加速度的值，以所述第二平均值替换所述原角速度的值，以执行加速计高斯白噪声误差消除操作和陀螺仪高斯白噪声误差消除操作。
在一种可能的实现方式中，所述误差消除操作，还包括：加速计交轴误差消除操作、加速计刻度误差消除操作和加速计零点漂移误差消除操作；
则，所述对所述移动数据进行误差消除操作，还包括：
获取预设误差消除模型；
将所述第一平均值代入所述预设误差消除模型，以执行加速计交轴误差消除操作、加速计和刻度误差消除操作和加速计零点漂移误差消除操作。
在一种可能的实现方式中，所述误差消除操作，还包括：陀螺仪零点漂移误差消除操作；
则，所述对所述移动数据进行误差消除操作，还包括：
计算所述第二平均值在静止情况下的第三平均值；
以所述第三平均值替换所述第二平均值，以执行陀螺仪零点漂移误差消除操作。
基于同样的目的，本公开提供了一种笔迹恢复方法，该方法应用于显示设备，包括：
获取电子笔的移动数据、工作模式信息以及信息采集时间间隔；
根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集；
根据所述笔尖坐标集，确定局部书写平面集；
根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。
基于同样的目的，本公开还提供了一种笔迹恢复装置，应用于电子笔，包括：
第一数据获取模块，被配置为获取移动数据、工作模式信息以及信息采集时间间隔；
第一计算模块，被配置为根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集；
第一平面确定模块，被配置为根据所述笔尖坐标集，确定局部书写平面集；
第一恢复模块，被配置为根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。
基于同样的目的，本公开还提供了一种笔迹恢复装置，应用于显示设备，包括：
第二数据获取模块，被配置为获取电子笔的移动数据、工作模式信息以及信息采集时间间隔；
第二计算模块，被配置为根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集；
第二平面确定模块，被配置为根据所述笔尖坐标集，确定局部书写平面集；
第二恢复模块，被配置为根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。
基于同样的目的，本公开还提供了一种电子笔，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的应用于电子笔的笔迹恢复方法。
基于同样的目的，本公开还提供了一种显示设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的应用于显示设备的笔迹恢复方法。
从上面所述可以看出，本公开提供的笔迹恢复方法、装置以及电子笔、显示设备，在实现过程中，首先通过获取电子笔的移动数据、工作模式信息以及信息采集时间间隔，然后根据电子笔的移动数据以及信息采集时间间隔，计算电子笔的笔尖坐标集，其次根据电子笔的笔尖坐标集，确定局部书写平面集，最后根据电子笔的笔尖坐标集、局部书写平面集以及工作模式信息，恢复电子笔的书写笔迹。在本公开提供的笔迹恢复方法中，仅需要用户在使用电子笔的过程中生成的移动数据、工作模式信息以及信息采集时间间隔，并对以上信息进行处理，即可恢复出电子笔的笔迹。故本公开提供的方法能够脱离特定的书写平面，在任意依托面下进行流畅的书写。还可以在物体表面勾勒物体的线条或棱角，还原3D的书写笔迹。除此之外，还可以脱离摄像头的识别拍摄，扩展了有效书写范围，在教学课堂或者商务会议等场景有非常重要的理论价值和广泛的应用空间。
附图说明
为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开实施例所提供的笔迹恢复方法应用于电子笔的流程示意图。
图2示出了根据本公开实施例所提供的笔迹恢复方法的笔尖坐标投影示意图。
图3示出了本公开实施例所提供的笔迹恢复方法的应用场景示意图。
图4示出了本公开实施例所提供的笔迹恢复方法应用于显示设备的流程示意图。
图5示出了根据本公开实施例提供的应用于电子笔的笔迹恢复装置示意图。
图6示出了根据本公开实施例提供的应用于显示设备的笔迹恢复装置示意图。
图7示出了本公开实施例所提供的电子笔的示例性结构示意图。
图8示出了本公开实施例所提供的显示设备的示例性结构示意图。
具体实施方式
为使本公开目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
如背景技术部分所述，在需要信息沟通的场合，对于书写投屏的需求很大，目前，虽然存在着可以配合显示设备应用的书写笔，或者可以在带有点阵的纸张上书写并投影到显示设备的书写笔。但是，两者都需要借助实体的书写平面，或者在小范围内进行操作。这限制了用户的使用范围和书写体验。
针对于此，本公开提供的一种笔迹恢复方法，在实现过程中，不需依托特定书写平面，可以在各种书写材料(例如纸张、桌面或者弧面上)上进行书写。首先通过获取电子笔的移动数据、工作模式信息以及信息采集时间间隔，然后根据电子笔的移动数据以及信息采集时间间隔，计算电子笔的笔尖坐标集，其次根据电子笔的笔尖坐标集，确定局部书写平面集，最后根据电子笔的笔尖坐标集、局部书写平面集以及工作模式信息，恢复电子笔的书写笔迹。在本公开提供的笔迹恢复方法中，仅需要用户在使用电子笔的过程中生成的移动数据、工作模式信息以及信息采集时间间隔，并对以上数据进行处理，即可恢复出电子笔的笔迹。故本公开提供的方法能够脱离特定的书写平面，在任意依托面下进行流畅的书写。当工作模式设置为3D绘画模式时，还可以在物体表面勾勒物体的线条或棱角，还原3D的书写笔迹。除此之外，还可以脱离摄像头的识别拍摄，扩展了有效书写范围，在教学课堂或者商务会议等场景有非常重要的理论价值和广泛的应用空间。
以下，通过具体的实施例进一步详细说明本公开的技术方案。
参考图1，为本公开实施例提供的应用于电子笔的笔迹恢复方法的流程示意图。
步骤S101，获取移动数据、工作模式信息以及信息采集时间间隔。
在具体实施中，电子笔可以设置有加速计传感器、陀螺仪传感器、工作模式按钮、压力传感器和控制模块，利用加速计传感器和陀螺仪传感器读取电子笔的移动数据并上传到控制模块，利用压力传感器读取用户使用电子笔时电子笔的笔尖产生的压力数据，移动数据可以包括电子笔的加速度和角速度。用户可以根据实际需求通过工作模式按钮切换电子笔的工作模式，其中，工作模式可以有很多种，例如，在光标模式下，可以得到一个动态或静态的光标，实现单击或双击的动作；在书写模式下，在一个实体书写面使用电子笔时，电子笔会产生压感数据，当压感数据大于设定的阈值时，说明用户在进行有效的书写，此时可以产生笔尖坐标的变化；在3D绘画模式下，可以在物体表面勾勒物体的线条或棱角，此时产生的笔尖坐标可以用于恢复物体的3D形状笔迹。电子笔的控制模块可以接收或读取电子笔的移动数据、工作模式信息以及压力传感器的压感数据等各项信息，并记录关于电子笔的移动数据、工作模式信息以及压力传感器的压感数据等各项信息的采集时间间隔。
需要说明的是，电子笔的加速计传感器、陀螺仪传感器和压力传感器与控制模块之间的通信方式可以选择SPI、IIC等协议连接。电子笔的工作模式按钮与控制模块之间的连接方式可以选择通过GPIO引脚进行连接。
需要说明的是，电子笔还设置有可充电电池和充电口，可以为电子笔供电，电子笔的笔体为中空设计，本公开实施例中不限定电子笔的加速计传感器、陀螺仪传感器、工作模式按钮、压力传感器、控制模块、可充电电源和充电口的安装位置。
需要说明的是，本公开提供了一种笔迹恢复方法可以但不限于应用于电子笔，还可以是任意可以进行书写、绘画等操作的物体。
步骤S102，根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集。
在具体实施中，本公开的发明人发现，加速计传感器和陀螺仪传感器在使用过程中，由于书写环境的影响，使移动数据数据不稳定，产生高斯白噪声，对采集移动数据等信息有一定影响，数据采集过程中，加速计传感器还会产生包括但不限于零点漂移误差、刻度误差、交轴误差等一系列误差，因此，为了提高数据的有效性及准确性，在计算笔尖坐标的过程中，要对以上误差进行消除。
在一些实施例中，误差消除操作，包括：加速计高斯白噪声误差消除操作和陀螺仪高斯白噪声误差消除操作；
通过计算移动数据中的原加速度的第一平均值和原角速度的第二平均值，以第一平均值替换原加速度的值，以第二平均值替换原角速度的值，以执行加速计高斯白噪声误差消除操作和陀螺仪高斯白噪声误差消除操作，消除加速计和陀螺仪的高斯白噪声误差。
在本公开实施例中，例如，可以通过以下方法消除高斯白噪声误差：
以8KHZ或者其它合理数值的频率为准，通过加速计传感器和陀螺仪传感器连续采集10组或其它合理数值的电子笔的加速度和角速度，把10组或其它合理数值的各自组平均值作为本次采集的标准测量加速度和角速度，以消除高斯白噪声的干扰。
在一些实施例中，误差消除操作，包括：加速计交轴误差消除操作、加速计刻度误差消除操作和加速计零点漂移误差消除操作；
其中，交轴误差是指加速计传感器的三轴坐标系不正交产生的误差。在计算移动数据中的原加速度的第一平均值和原角速度的第二平均值之后，获取预设误差消除模型，将第一平均值代入所述预设误差消除模型，以执行加速计交轴误差消除操作、加速计和刻度误差消除操作和加速计零点漂移误差消除操作。
在本公开实施例中，例如，可以通过以下方法消除加速计的交轴误差、刻度误差和零点漂移误差：
获取预设误差模型，其中，预设误差模型如下：
A＝Ma*Sa*(Ua-Ba)
Figure BDA0003559404880000071
Figure BDA0003559404880000072
Figure BDA0003559404880000073
Figure BDA0003559404880000081
Figure BDA0003559404880000082
其中，A电子笔的加速度真实值，Ma为交轴误差，Sa为刻度误差，Ua为电子笔的加速度测量值，Ba为零点漂移误差。
根据以上公式，可以得到：
Ua＝(Ma*Sa)-1*A+Ba
令K＝(Ma*Sa)-1，K的逆矩阵为K-1，则：
Ua＝K*A+Ba
A＝K-1*(Ua-Ba)
分别把加速计传感器的x轴反方向、x轴正方向、y轴反方向、y轴正方向、z轴反方向、z轴正方向指向重力方向并静止放置，则加速计传感器采集的电子笔的加速度真实值A应该分别为(g,0,0)、(-g,0,0)、(0,g,0)、(0,-g,0)、(0,0,g)和(0,0,-g)。同时测量6个方向的加速度，可以得到6组相应的加速度值(Uax、Uay、Uaz)，将6组相应的加速度值(Uax、Uay、Uaz)代入Ua＝K*A+Ba，即可求得加速度真值和测量值的关系，消除了加速计的交轴误差、刻度误差和零点漂移误差。
在一些实施例中，误差消除操作，包括：陀螺仪零点漂移误差消除操作；
在一些实施例中，误差消除操作，包括：计算第二平均值在静止情况下的第三平均值；
以第三平均值替换所述第二平均值，以执行陀螺仪零点漂移误差消除操作。
在本公开实施例中，例如，可以通过在静止情况下连续采集若干组移动数据，对若干组移动数据的x、y、z轴方向的分量分别计算平均值，以此消除陀螺仪传感器的零点漂移误差。
在具体实施中，需要根据消除误差后的移动数据和信息采集时间间隔，计算电子笔的姿态角。
在本公开实施例中，给出卡尔曼滤波求姿态角的方法：
定义俯仰角pitch用p表示，航向角yaw用y表示，滚转角roll用r表示，大地坐标系转到自身坐标系的转化公式如下：
Figure BDA0003559404880000091
其中，Xb、Yb和Zb为电子笔的自身坐标，Xw、Yw和Zw为电子笔的大地坐标，其中，Mx*My*Mz可以表示为：
Figure BDA0003559404880000092
电子笔在大地坐标系中的加速度为(0,0,g)，根据大地坐标系转到自身坐标系的转化公式，由测得并校准后的加速度的测量值Xb、Yb和Zb以及大地坐标系中加速度值，求得测量姿态角：
r＝arctan(Yb/Zb)
p＝arctan(-Xb/(Yb*Yb+Zb*Zb)1/2)
y＝yt-1+ωy*dt
其中，y初始状态为0，dt为测量间隔，yt-1表示上一时刻的航向角，测量数组为：
measurement＝(r，ωr，p，ωp，y，ωy)T
其中，r为滚转角，ωr为滚转角速度，p为俯仰角，ωp为俯仰角速度，y为航向角，ωy为航向角速度。其中，滚转角、俯仰角和航向角为姿态角，滚转角速度、俯仰角速度和航向角速度均为大地坐标系下的角速度。
在具体实施中，随着用户的使用，需要对电子笔的姿态角状态进行更新，具体来说，在用户移动电子笔时，会不断计算姿态角的数值，在电子笔处于静止状态时，根据当前时刻电子笔自身加速度在当前时刻姿态下转换到大地坐标系中理论值应为(0，0，g)的标准，校准当前姿态角。
姿态角状态预测估计值为:state_estimate＝M*state_estimate(t-1)
其中，
Figure BDA0003559404880000101
state_estimate为姿态角状态预测估计值，state_estimate(t-1)为上一时刻姿态角状态预测估计值。
协方差矩阵为：P＝M*P(t-1)*MT+Q
其中，P初始状态为单位矩阵，P(t-1)为上一时刻的初始状态，Q为系统噪声协方差，需要根据系统调节。
卡尔曼增益为：G＝P*HT*(R+H*P*HT)-1
其中，H为状态和测量的转换关系，本公开实施例中为单位矩阵，R为测量噪声协方差，可对数据测量求方差得到。
状态预测估计值状态更新可以表示为：
state_estimate+K*(measurement-H*)state_estimate
协方差矩阵状态更新可以表示为：
P＝(E-K*H)*P
其中，等式左端P为协方差矩阵的更新值，右端P为先验估计协方差。
由于陀螺仪传感器在长时间使用时存在累计误差，可以在一定状态下进行校准。例如，若笔处于静止状态，可通过将当前自身坐标系下电子笔的加速度转换到大地坐标系加速度，判断其是否等于重力，若等于重力，则表示当前陀螺仪传感器的误差可以忽略不计，若不等于重力，则通过当前时刻电子笔在自身坐标系下和在大地坐标系下的加速度反推出姿态角的值。在具体实施中，因为加速计传感器和陀螺仪传感器与笔尖有一定距离，所以根据加速计传感器和陀螺仪传感器在电子笔中的安装位置以及到笔尖之间的距离，计算笔尖坐标，以使获取的移动数据更准确。
假设电子笔顶端到电子笔笔尖的方向与加速计传感器和陀螺仪传感器Z轴的正方向一致，加速计传感器和陀螺仪传感器的大地坐标为(x1,y1,z1)，加速计传感器和陀螺仪传感器到笔尖的距离为m，则在加速计传感器和陀螺仪传感器的自身坐标系中，笔尖坐标恒为(0,0,m)，根据自身坐标系与惯性坐标系的转换关系(Mx*My*Mz)T，得到笔尖坐标在惯性坐标系的点(x2,y2,z2),,其中：
(x2,y2,z2)T＝(Mx*My*Mz)T*(0,0,m)T
最后，笔尖在惯性坐标系下的坐标为(x3,y3,z3)＝(x1,y1,z1)+(x2,y2,z2)。
步骤S103，根据所述笔尖坐标集，确定局部书写平面。
在具体实施中，用户在进行书写时，其书写轨迹可能在一个曲面上，因此，为使得笔迹所处的曲面上的曲线有更直观的位置和方向，需要将笔迹所处的曲面上的各个曲线在不改变形状和彼此相对位置的条件下，映射到平面上。
例如，将地球仪映射到平面地图。传统的映射方法是在地球仪球心装一个灯，将矩形平面纸围成圆柱状圈在地球仪外围一圈，此刻灯照射到地球仪上在平面纸上的投影展开即为地球仪在平面的展开图。此方法在一个规则的曲面上映射容易实施，但如果曲面是凹凸不平的，则此方法显然不合理。现有的方案还包括在曲面的邻近位置找一个平面，曲面上的点在平面的垂点作为在平面的投影点，此方法适用于一个确定的曲面，若曲面是随时间持续变化的，那投影的曲线会发生畸变，且投影面的确定将会是一个问题。
因此，在本步骤中，提供一种可以将持续变化的曲面上的曲线实时映射到平面的方法。
在具体实施中，可以根据当前时刻的笔尖坐标，以及历史时刻的N(N＞2)个笔尖坐标，当前时刻的笔尖坐标以及历史时刻的坐标组成的N+1个笔尖坐标点可能处于一个小曲面上，可以根据N+1个笔尖坐标点确定一个局部书写平面，若干个笔尖坐标点可以确定若干个局部书写平面，将若干个局部书写平面进行拼接，求得所有笔尖坐标点最适合投影的书写平面。
在一些实施方式中，可以通过以下操作确定局部书写平面集：
根据所述笔尖坐标集，获取目标笔尖坐标集；其中，所述目标笔尖坐标集包括N个目标笔尖坐标，详细地说，所述目标笔尖坐标集可以是全部笔尖坐标集的一部分，用来确定局部书写平面的。
根据所述目标笔尖坐标集执行局部书写平面确定操作，以确定与全部目标笔尖坐标对应的局部书写平面；
将所述目标笔尖坐标集中依次选取的N个目标笔尖坐标的第一个目标笔尖坐标剔除，并将所述笔尖坐标集中的第N+1个笔尖坐标添加至所述目标笔尖坐标集中的最后一个目标笔尖坐标之后；
重复执行所述局部书写平面确定操作的步骤，以确定全部所述笔尖坐标对应的局部书写平面，以确定局部书写平面集。
在本公开实施例中，局部书写平面集中的每一个局部书写平面的确定方式，可以采用最小二乘法，具体实现过程如下：
已知平面方程：Z＝Axi+Byi+C。
有N+1个点投影到此平面，这些点的坐标为(xi,yi,zi)，(i＝0，1,2……N)，将平面方程的系数和自变量用向量形式表示：
Figure BDA0003559404880000121
Figure BDA0003559404880000122
其中，W为平面方程系数向量，X为自变量向量，则平面方程Z＝WTX。
在拟合过程中，需要使得函数值最小，其中，损失函数为：
Figure BDA0003559404880000123
将N+1个笔尖坐标点代入以上公式，求得使损失函数最小的平面方程系数A、B、C。
根据平面拟合公式：,W＝(XTX)-1XTZ。
将N+1个笔尖坐标点代入所述平面拟合公式，求得W，W即为N+1个点适合投影的书写平面的系数，将所述适合投影的书写平面的系数代入已知平面方程，即可确定当前所选取的笔尖坐标集对应的局部书写平面。
步骤S104，根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。
在具体实施中，可以根据工作模式信息确定当前时刻电子笔的工作模式，当电子笔处于书写状态，根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹，可以通过以下方法实现：
如图2所示，为本公开实施例提供的笔迹恢复方法的笔尖坐标投影示意图，将当前时刻的笔尖坐标Kt和前N个历史时刻的笔尖坐标Kt-1、Kt-2……Kt-N投影到上述书写平面上，得出投影点的坐标。
已知平面方程Ax+By+Cz+D＝0，以及任一笔尖坐标Vi＝(xi,yi,zi)，过点Vi到书写平面的垂足，记作Vi'＝(x,y,z)，即笔尖投影坐标，则直线ViVi'的参数方程为：
Figure BDA0003559404880000131
将点Vi'＝(x,y,z)代入平面方程，求出t：
Figure BDA0003559404880000132
将t代入直线ViVi'的参数方程，即可求出笔尖投影坐标Vi'＝(x,y,z)。
经过以上步骤，得出了当前时刻的书写平面以及当前时刻和前N个时刻的笔尖投影坐标，假设N为4，如图3所述，为本公开实施例提供的笔迹恢复方法的应用场景示意图，假设上一时刻书写平面的点包括1、2、3、4、5，这5个点作为参考点，此书写平面是完成对笔尖坐标进行投影的平面。当前时刻书写平面的点包括2、3、4、5、6，由于第6点为此刻新采集新加入的笔尖坐标点，对于当前的书写平面还未完成投影，接下来就将第6点也投影到上一时刻的书写平面上，以延续书写平面上的电子笔笔迹。
旋转移动当前时刻的书写平面，使得当前时刻的书写平面与上一时刻的书写平面在同一个平面上。当前时刻书写平面的第5点指向第4点向量记为
Figure BDA0003559404880000133
第5点指向第6点向量记为
Figure BDA0003559404880000134
上一时刻书写平面第5点指向第4点记为
Figure BDA0003559404880000135
由于加入了新的第6点，所以需要确定第6点在投影平面的位置。
在同一平面上旋转平移当前时刻的书写平面，使得当前时刻的书写平面第5点和上一时刻的书写平面的第5点重合，此时，两个时刻的书写平面在同一平面，且第5点位置重合，将第5点作为固定点，在同一平面上绕第5点继续旋转当前时刻的书写平面，使得
Figure BDA0003559404880000141
与
Figure BDA0003559404880000142
的夹角等于
Figure BDA0003559404880000143
与
Figure BDA0003559404880000144
的夹角，即可确定第6点的位置。
经过以上步骤，通过重复利用历史时刻笔尖坐标和新采集的笔尖坐标，便可以把新采集的笔尖坐标点添加到历史笔尖坐标产生的书写平面中，同时，投影面的2、3、4、5、6这5个点也作为下一时刻的参考点，下一时刻产生的第7点，也按照上述步骤映射到书写平面中，这样，在用户结束使用时，此刻的书写平面即包含用户使用过程中产生的所有笔尖坐标。
对于本公开实施例中第6点坐标，具体计算过程如下：
空间中直线方程为：
Figure BDA0003559404880000145
假设上一个平面的第5点坐标为(x1,y1,z1)，第4点坐标(x0,y0,z0)绕第5点在上一个书写平面中顺时针旋转a度，此时位置记为P(x2,y2,z2)，第5点到P点向量记为
Figure BDA0003559404880000146
联立以下方程，求出点P:
Figure BDA0003559404880000147
(x2-x1)A+(y2-y1)B+(z2-z1)C＝0
Figure BDA0003559404880000148
经过以上步骤，求出了上一时刻书写平面中的向量
Figure BDA0003559404880000149
以及其上的终点4在此书写平面中绕点5顺时针旋转a度的坐标P，由P及第5点坐标确定了直线方程，第6点坐标为直线上距离第5点长度为
Figure BDA00035594048800001410
的坐标。
将所有点的坐标相连，即可恢复出电子笔的书写笔迹。
需要说明的是，在3D绘画模式下，电子笔可以将笔尖坐标上传到显示设备，显示设备接收到电子笔上传的笔尖坐标，直接恢复出3D绘画的轨迹。
参考图4，为本公开实施例提供的应用于显示设备的笔迹恢复方法的流程示意图。
步骤S401，获取电子笔的移动数据、工作模式信息以及信息采集时间间隔。
在具体实施中，显示设备可以实时获取电子笔的移动数据、工作模式信息以及信息采集时间间隔。电子笔与显示设备的通信方式可以但不限于通过蓝牙、WIFI或者GMS模块进行通信。
步骤S402，根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集；
步骤S403，根据所述笔尖坐标集，确定局部书写平面集；
步骤S404，根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。
需要说明的是，步骤S402至步骤S404的实施方式可以与电子笔的步骤S102至步骤S104的实施方式相同。
进一步地，为了可以将书写平面准确投影到显示设备的屏幕上，可以将书写平面进行旋转或平移，使得书写平面与大地平面平行或垂直，也可根据不同需要矫正到不同平面上，同时，书写平面的笔尖坐标也跟着书写平面变化。
在一个可选的实施例中，显示端也可以接收当前电子笔的工作模式信息来确定不同的书写模式，以供其对接收到的笔尖坐标进行相对应的处理。
从上面所述可以看出，本公开提供的笔迹恢复方法、装置以及电子笔、显示设备。在实现过程中，通过获取移动数据、工作模式信息以及信息采集时间间隔；根据移动数据以及信息采集时间间隔，计算笔尖坐标集；根据笔尖坐标集，确定局部书写平面集；根据笔尖坐标集、局部书写平面集以及工作模式信息，恢复电子笔的书写笔迹。在本公开提供的笔迹恢复方法中，仅需要用户在使用电子笔的过程中生成的移动数据、工作模式信息以及信息采集时间间隔，并对以上信息进行处理，即可恢复出电子笔的笔迹。故本公开提供的方法能够脱离特定的书写平面，在任意依托面下进行流畅的书写，还可以在物体表面勾勒物体的线条或棱角，还原3D的书写笔迹。除此之外，还可以脱离摄像头的识别拍摄，扩展了有效书写范围，在教学课堂或者商务会议等场景有非常重要的理论价值和广泛的应用空间。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种笔迹恢复装置，该装置应用于电子笔。
参考图5，为本公开实施例提供的应用于电子笔的笔迹恢复装置示意图。
该笔迹恢复装置，包括：
第一数据获取模块501，被配置为获取移动数据、工作模式信息以及信息采集时间间隔。
第一计算模块502，被配置为根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集。
第一平面确定模块503，被配置为根据所述笔尖坐标集，确定局部书写平面集。
第一恢复模块504，被配置为根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。
在一种可能的实现方式中，所述根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集，包括：
对所述移动数据进行误差消除操作，得到消除误差后的移动数据；
根据所述消除误差后的移动数据和所述信息采集时间间隔，计算所述电子笔的姿态角；
对所述姿态角进行校准，得到校准后的姿态角；
根据所述校准后的姿态角、所述消除误差后的移动数据和所述信息采集时间间隔，得到笔尖坐标集。
在一种可能的实现方式中，所述误差消除操作，包括：加速计高斯白噪声误差消除操作和陀螺仪高斯白噪声误差消除操作；
则，所述对所述移动数据进行误差消除操作，包括：计算所述移动数据中的原加速度的第一平均值和原角速度的第二平均值；
以所述第一平均值替换所述原加速度的值，以所述第二平均值替换所述原角速度的值，以执行加速计高斯白噪声误差消除操作和陀螺仪高斯白噪声误差消除操作。
在一种可能的实现方式中，所述误差消除操作，还包括：加速计交轴误差消除操作、加速计刻度误差消除操作和加速计零点漂移误差消除操作；
则，所述对所述移动数据进行误差消除操作，还包括：
获取预设误差消除模型；
将所述第一平均值代入所述预设误差消除模型，以执行加速计交轴误差消除操作、加速计和刻度误差消除操作和加速计零点漂移误差消除操作。
在一种可能的实现方式中，所述误差消除操作，还包括：零点漂移误差消除操作；
则，所述对所述移动数据进行误差消除操作，还包括：
计算所述第二平均值在静止情况下的第三平均值；
以所述第三平均值替换所述第二平均值，以执行陀螺仪零点漂移误差消除操作。
在一些可能的实现方式中，所述笔尖坐标集，包括：多个笔尖坐标；
根据所述笔尖坐标集，确定局部书写平面集，包括：
根据所述笔尖坐标集，获取目标笔尖坐标集；其中，所述目标笔尖坐标集包括依次选取的N个目标笔尖坐标；
根据所述目标笔尖坐标集执行局部书写平面确定操作，以确定与全部目标笔尖坐标对应的局部书写平面；
将所述目标笔尖坐标集中依次选取的N个目标笔尖坐标的第一个目标笔尖坐标剔除，并将所述笔尖坐标集中的第N+1个笔尖坐标添加至所述目标笔尖坐标集中的最后一个目标笔尖坐标之后；
重复执行所述局部书写平面确定操作的步骤，以确定全部所述笔尖坐标对应的局部书写平面，以确定局部书写平面集。
在一些可能的实现方式中，所述执行局部书写平面确定操作，包括：,
根据所述目标笔尖坐标集，确定局部平面方程；
根据所述局部书写平面方程，确定局部书写平面。
在一些可能的实现方式中，所述根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹，包括：
将所述笔尖坐标集投影到所述局部书写平面集，得到笔尖投影坐标集；
根据所述笔尖投影坐标集，将所述局部书写平面集中的全部局部书写平面进行拼接，得到书写平面；
根据所述书写模式、所述笔尖投影坐标集和所述书写平面，恢复得到书写笔迹。
在一些可能的实现方式中，所述根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹，包括：
接收压感数据，响应于所述压感数据大于预先设定的阈值，根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。
为了描述的方便，描述以上电子笔时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的笔迹恢复装置用于实现前述任一应用于电子笔的实施例中相应的笔迹恢复方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种笔迹恢复装置，该装置应用于显示设备。
参考图6，为本公开实施例提供的应用于显示设备的笔迹恢复装置示意图。
该笔迹恢复装置，包括：
第二数据获取模块601，被配置为获取电子笔的移动数据、工作模式信息以及信息采集时间间隔。
第二计算模块602，被配置为根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集。
第二平面确定模块603，被配置为根据所述笔尖坐标集，确定局部书写平面集。
第二恢复模块604，被配置为根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。
在一些可能的实现方式中，所述根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集，包括：
对所述移动数据进行误差消除操作，得到消除误差后的移动数据；
根据所述消除误差后的移动数据和所述信息采集时间间隔，计算所述电子笔的姿态角；
对所述姿态角进行校准，得到校准后的姿态角；
根据所述校准后的姿态角、所述消除误差后的移动数据和所述信息采集时间间隔，得到笔尖坐标集。
在一些可能的实现方式中，所述误差消除操作，包括：加速计高斯白噪声误差消除操作和陀螺仪高斯白噪声误差消除操作；
则，所述对所述移动数据进行误差消除操作，包括：
计算所述移动数据中的原加速度的第一平均值和原角速度的第二平均值；
以所述第一平均值替换所述原加速度的值，以所述第二平均值替换所述原角速度的值，以执行加速计高斯白噪声误差消除操作和陀螺仪高斯白噪声误差消除操作。
在一些可能的实现方式中，所述误差消除操作，还包括：加速计交轴误差消除操作、加速计刻度误差消除操作和加速计零点漂移误差消除操作；
则，所述对所述移动数据进行误差消除操作，还包括：
获取预设误差消除模型；
将所述第一平均值代入所述预设误差消除模型，以执行加速计交轴误差消除操作、加速计和刻度误差消除操作和加速计零点漂移误差消除操作。
在一些可能的实现方式中，所述误差消除操作，还包括：陀螺仪零点漂移误差消除操作；
则，所述对所述移动数据进行误差消除操作，还包括：
计算所述第二平均值在静止情况下的第三平均值；
以所述第三平均值替换所述第二平均值，以执行陀螺仪零点漂移误差消除操作。
在一些可能的实现方式中，所述笔尖坐标集，包括：多个笔尖坐标；
根据所述笔尖坐标集，确定局部书写平面集，包括：
根据所述笔尖坐标集，获取目标笔尖坐标集；其中，所述目标笔尖坐标集包括依次选取的N个目标笔尖坐标；
根据所述目标笔尖坐标集，执行局部书写平面确定操作，以确定与全部目标笔尖坐标对应的局部书写平面；
将所述目标笔尖坐标集中依次选取的N个目标笔尖坐标的第一个目标笔尖坐标剔除，并将所述笔尖坐标集中的第N+1个笔尖坐标添加至所述目标笔尖坐标集中的最后一个目标笔尖坐标之后；
重复执行所述局部书写平面确定操作的步骤，以确定全部所述笔尖坐标对应的局部书写平面，以确定局部书写平面集。
在一些可能的实现方式中，所述执行局部书写平面确定操作，包括：,
根据所述目标笔尖坐标集，确定局部平面方程；
根据所述局部书写平面方程，确定局部书写平面。
在一些可能的实现方式中，所述根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹，包括：
将所述笔尖坐标集投影到所述局部书写平面集，得到笔尖投影坐标集；
根据所述笔尖投影坐标集，将所述局部书写平面集中的全部局部书写平面进行拼接，得到书写平面；
根据所述书写模式、所述笔尖投影坐标集和所述书写平面，恢复得到书写笔迹。
在一些可能的实现方式中，所述根据所述笔尖坐标、所述书写平面以及所述工作模式信息，恢复书写笔迹，包括：
接收电子笔上传的压感数据，响应于所述压感数据大于预先设定的阈值，根据所述笔尖坐标、所述书写平面以及所述工作模式信息，恢复得到书写笔迹。
为了描述的方便，描述以上显示设备时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的笔迹恢复装置用于实现前述任一应用于显示设备的实施例中相应的笔迹恢复方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意应用于电子笔的实施例方法相对应的，本公开还提供了一种与上述笔迹恢复方法相应的电子笔，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的应用于电子笔的笔迹恢复方法。
图7示出了本实施例所提供的一种更为具体的电子笔硬件结构示意图，该设备可以包括：处理器710、存储器720、输入/输出接口730、通信接口740和总线750。其中处理器710、存储器720、输入/输出接口730和通信接口740通过总线750实现彼此之间在设备内部的通信连接。
处理器710可以采用通用的CPU(Central ,Processing ,Unit，中央处理器)、微处理器、应用专用集成电路(Application ,Specific ,Integrated ,Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器720可以采用ROM(Read ,Only ,Memory，只读存储器)、RAM(Random ,Access ,Memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器720可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器720中，并由处理器710来调用执行。
输入/输出接口730用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口740用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线750包括一通路，在设备的各个组件(例如处理器710、存储器720、输入/输出接口730和通信接口740)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器710、存储器720、输入/输出接口730、通信接口740以及总线750，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子笔用于实现前述任一应用于电子笔的实施例中相应的笔迹恢复方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意应用于显示设备的实施例方法相对应的，本公开还提供了一种与上述笔迹恢复方法相应的显示设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的应用于显示设备的笔迹恢复方法。
图8示出了本实施例所提供的一种更为具体的显示设备硬件结构示意图，该设备可以包括：处理器810、存储器820、输入/输出接口830、通信接口840和总线850。其中处理器810、存储器820、输入/输出接口830和通信接口840通过总线850实现彼此之间在设备内部的通信连接。
处理器810可以采用通用的CPU(Central ,Processing ,Unit，中央处理器)、微处理器、应用专用集成电路(Application ,Specific ,Integrated ,Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器820可以采用ROM(Read ,Only ,Memory，只读存储器)、RAM(Random ,Access ,Memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器820可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器820中，并由处理器810来调用执行。
输入/输出接口830用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口840用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线850包括一通路，在设备的各个组件(例如处理器810、存储器820、输入/输出接口830和通信接口840)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器810、存储器820、输入/输出接口830、通信接口840以及总线850，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一应用于显示设备的实施例中相应的笔迹恢复方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种笔迹恢复方法，应用于电子笔，所述方法包括：
获取移动数据、工作模式信息以及信息采集时间间隔；
根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集；
根据所述笔尖坐标集，确定局部书写平面集；
根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。
2.根据权利要求1所述的方法，其特征在于，所述根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集，包括：
对所述移动数据进行误差消除操作，得到消除误差后的移动数据；
根据所述消除误差后的移动数据和所述信息采集时间间隔，计算所述电子笔的姿态角；
对所述姿态角进行校准，得到校准后的姿态角；
根据所述校准后的姿态角、所述消除误差后的移动数据和所述信息采集时间间隔，得到笔尖坐标集。
3.根据权利要求2所述的方法，其特征在于，所述误差消除操作，包括：加速计高斯白噪声误差消除操作和陀螺仪高斯白噪声误差消除操作；
则，所述对所述移动数据进行误差消除操作，包括：
计算所述移动数据中的原加速度的第一平均值和原角速度的第二平均值；
以所述第一平均值替换所述原加速度的值，以所述第二平均值替换所述原角速度的值，以执行加速计高斯白噪声误差消除操作和陀螺仪高斯白噪声误差消除操作。
4.根据权利要求3所述的方法，其特征在于，所述误差消除操作，还包括：加速计交轴误差消除操作、加速计刻度误差消除操作和加速计零点漂移误差消除操作；
则，所述对所述移动数据进行误差消除操作，还包括：
获取预设误差消除模型；
将所述第一平均值代入所述预设误差消除模型，以执行加速计交轴误差消除操作、加速计和刻度误差消除操作和加速计零点漂移误差消除操作。
5.根据权利要求4所述的方法，其特征在于，所述误差消除操作，还包括：陀螺仪零点漂移误差消除操作；
则，所述对所述移动数据进行误差消除操作，还包括：
计算所述第二平均值在静止情况下的第三平均值；
以所述第三平均值替换所述第二平均值，以执行陀螺仪零点漂移误差消除操作。
6.一种笔迹恢复方法，应用于显示设备，所述方法包括：
获取电子笔的移动数据、工作模式信息以及信息采集时间间隔；
根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集；
根据所述笔尖坐标集，确定局部书写平面集；
根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。
7.一种笔迹恢复装置，应用于电子笔，其特征在于，包括：
第一数据获取模块，被配置为获取移动数据、工作模式信息以及信息采集时间间隔；
第一计算模块，被配置为根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集；
第一平面确定模块，被配置为根据所述笔尖坐标集，确定局部书写平面集；
第一恢复模块，被配置为根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。
8.一种笔迹恢复装置，应用于显示设备其特征在于，包括：
第二数据获取模块，被配置为获取电子笔的移动数据、工作模式信息以及信息采集时间间隔；
第二计算模块，被配置为根据所述移动数据以及所述信息采集时间间隔，计算笔尖坐标集；
第二平面确定模块，被配置为根据所述笔尖坐标集，确定局部书写平面集；
第二恢复模块，被配置为根据所述笔尖坐标集、所述局部书写平面集以及所述工作模式信息，恢复书写笔迹。
9.一种电子笔，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任意一项所述的方法。
10.一种显示设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求6所述的方法。
CN202210304743.2A 2022-03-22 2022-03-22 笔迹恢复方法、装置以及电子笔、显示设备 Pending CN114882148A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210304743.2A CN114882148A (zh) 2022-03-22 2022-03-22 笔迹恢复方法、装置以及电子笔、显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210304743.2A CN114882148A (zh) 2022-03-22 2022-03-22 笔迹恢复方法、装置以及电子笔、显示设备

Publications (1)

Publication Number Publication Date
CN114882148A true CN114882148A (zh) 2022-08-09

Family

ID=82668426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210304743.2A Pending CN114882148A (zh) 2022-03-22 2022-03-22 笔迹恢复方法、装置以及电子笔、显示设备

Country Status (1)

Country Link
CN (1) CN114882148A (zh)

Similar Documents

Publication Publication Date Title
KR100543701B1 (ko) 공간형 입력 장치 및 방법
CN110095752B (zh) 定位方法、装置、设备和介质
TWI584157B (zh) 移動設備及求取移動設備姿態之方法
KR100465241B1 (ko) 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법
US7952561B2 (en) Method and apparatus for controlling application using motion of image pickup unit
CN114018274B (zh) 车辆定位方法、装置及电子设备
US20060159344A1 (en) Method and system for three-dimensional handwriting recognition
JP2004227563A (ja) 慣性センサの積分
CN102289306A (zh) 姿态感知设备及其定位、鼠标指针的控制方法和装置
WO2020140431A1 (zh) 相机位姿确定方法、装置、电子设备及存储介质
CN110785729B (zh) 用于产生模拟笔画且用于模拟笔画的数字存储的电子装置和用于使模拟记录数字化的输入系统及方法
KR100501721B1 (ko) 자계센서를 이용한 펜형 입력시스템 및 그 궤적 복원 방법
US20220319050A1 (en) Calibration method and apparatus, processor, electronic device, and storage medium
CN113188505B (zh) 姿态角度的测量方法、装置、车辆及智能臂架
US11474621B2 (en) Low-power tilt-compensated pointing method and corresponding pointing electronic device
US20150116285A1 (en) Method and apparatus for electronic capture of handwriting and drawing
CN111121755B (zh) 一种多传感器的融合定位方法、装置、设备及存储介质
CN109506617B (zh) 传感器数据处理方法、存储介质、电子设备
Zhang et al. Towards an ubiquitous wireless digital writing instrument using MEMS motion sensing technology
CN105303201A (zh) 一种基于动作感应进行手写识别的方法和系统
Löchtefeld et al. PINwI: pedestrian indoor navigation without infrastructure
CN114882148A (zh) 笔迹恢复方法、装置以及电子笔、显示设备
US20130085712A1 (en) Inertial sensing input apparatus and method thereof
CN109990763B (zh) 一种机器人倾斜角度的获取方法，机器人及存储介质
CN115790591B (zh) 惯性测量与电子地图数据匹配方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication