CN117315790B - 手部书写动作的分析方法和智能笔 - Google Patents
手部书写动作的分析方法和智能笔 Download PDFInfo
- Publication number
- CN117315790B CN117315790B CN202311594967.2A CN202311594967A CN117315790B CN 117315790 B CN117315790 B CN 117315790B CN 202311594967 A CN202311594967 A CN 202311594967A CN 117315790 B CN117315790 B CN 117315790B
- Authority
- CN
- China
- Prior art keywords
- sample
- data
- module
- acceleration
- strokes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims abstract description 27
- 238000004458 analytical method Methods 0.000 title claims abstract description 17
- 230000001133 acceleration Effects 0.000 claims abstract description 60
- 238000001914 filtration Methods 0.000 claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012790 confirmation Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 230000000295 complement effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000004080 punching Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
- G06V30/19093—Proximity measures, i.e. similarity or distance measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Character Discrimination (AREA)
Abstract
本发明提供一种手部书写动作的分析方法和智能笔,包括采集当前用户书写的每一类型的样本笔画的样本特征数据,其中,样本特征数据包括样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T;采集并确认每个待识别笔画的待识别特征数据,其中,所述待识别特征数据包括角姿态数据A’、加速度姿态数据B’、目标滤波融合数据C’、目标坐标D’、目标轨迹E’和目标持续时间T’;根据待识别笔画的待识别特征数据与样本笔画的样本特征数据之间的相似度,确定用户的书写内容以及书写字数;将用户的书写内容和书写字数上传至目标位置。本申请的技术可以自动实现手部书写动作分析、字数统计、自动分享和记录学习过程等功能。
Description
技术领域
本发明涉及人机交互技术领域,尤其是涉及一种手部书写动作的分析方法和智能笔。
背景技术
在社交平台分享个人学习过程、成果已成为在校学生的一种日常行为,学生通常采取手机拍照、打卡方式开始或结束一个周期的学习任务。此外,很多学生也喜欢制定备考计划,每天在社交网站打卡分享学习内容。
然而,现有技术没有实现手部书写动作分析、字数统计、自动分享和记录学习过程的功能。
发明内容
基于此,本申请提供一种手部书写动作的分析方法和智能笔,该智能笔通过模式识别可以对用户的手部书写动作进行姿态分析以记录学习过程、记录学习内容,同时还可以进行字数统计、上传数据、自动打卡等。
第一方面,本发明实施例提供一种手部书写动作的分析方法,所述分析方法应用于智能笔,所述分析方法包括:S1:采集当前用户书写的每一类型的样本笔画的样本特征数据,其中,样本特征数据包括样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T,样本笔画的类型包括:29种汉字笔画、0-9、a-z、A-Z、字符切换笔画;S2:采集并确认每个待识别笔画的待识别特征数据,其中,所述待识别特征数据包括角姿态数据A’、加速度姿态数据B’、目标滤波融合数据C’、目标坐标D’、目标轨迹E’和目标持续时间T’;S3:根据待识别笔画的待识别特征数据与样本笔画的样本特征数据之间的相似度,确定用户的书写内容以及书写字数;S4:将用户的书写内容和书写字数上传至目标位置。
进一步地,S1包括:S11:陀螺仪基于预设的采样频率f采集用户书写每一类型的样本笔画过程中智能笔在X,Y,Z轴的角速度ωx、ωy、ωz;S12:加速度计采集用户书写每一类型的样本笔画过程中智能笔的加速度在X,Y,Z轴的分量ax、ay、az;S13:角速度计算模块对角速度进行姿态解算,得到样本角度数据A(Ax,Ay,Az);S14:加速度计算模块对加速度进行姿态解算,得到样本加速度数据B(Bx,By,Bz);S15:滤波融合模块对样本角度数据A和样本加速度数据B进行互补滤波处理以及融合处理,得到滤波融合数据C(Cx,Cy,Cz);S16:坐标确认模块根据滤波融合数据C、加速度ax、ay、az确认智能笔的样本坐标D(x,y,z);S17:轨迹计算模块将每一类型的样本笔画的样本坐标D进行集合,得到样本轨迹E;S18:持续时间确认模块根据样本轨迹E确认每一类型的样本笔画的持续时间T;S19:将每一类型样本笔画的角速度、加速度、样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T存储在笔画数据库中。
进一步地,S15包括:C=(上一时刻的C+A)×(1-a)+B×a(8);其中,a为陀螺仪或加速度计的置信度,取值范围为0-1,在初次打开智能笔时,初始滤波融合数据C0默认为0。
进一步地,S13包括:计算样本角度数据A的公式为:[Ax,Ay,Az]=trans×gyro(1);其中,trans 表示由陀螺仪输出到姿态角速度的转换矩阵,为固定常量;gyro表示陀螺仪输出数据的矩阵形式,计为gyro=[ωx,ωy,ωz]。
进一步地,S13中计算样本角度数据A的方法替换为:Ax=ωx×Dt(2);Ay=ωy×Dt(3);Az=ωz×Dt(4)。
进一步地,S14包括:Bx=q(y-z)=arctan(ax/sqrt(ay^2+az^2))(5);By=q(x-z)=arctan(ay/sqrt(ax^2+az^2))(6);Bz=q(x-y)=arctan(az/sqrt(ax^2+ay^2))(7);其中,q(x-z)表示为加速度方向与X-Z平面的夹角,q(x-y)表示为加速度方向与X-Y平面的夹角,q(y-z)表示为加速度方向与Y-Z平面的夹角。
进一步地,S16包括:S161:在单位采样周期Dt内对X、Y、Z轴的加速度ax、ay、az分别进行积分,得到位移数据DSx、DSy、DSz;S162:根据滤波融合数据C与所述位移数据,确认单位采样周期智能笔的样本坐标D(x,y,z)。
进一步地,S3包括:S31:笔画类型确认模块基于预设的权重,根据笔画数据库中的样本特征数据,确认待识别笔画的类型;S32:笔画组合模块将所有单一的待识别笔画按照撰写顺序进行组合、并基于字符切换笔画进行拆分,得到用户的书写内容和书写字数。
进一步地,不同的笔画类型预先设置有不同的权重;字符切换笔画的权重中,样本加速度数据B、样本轨迹E和持续时间T的权重大于滤波融合数据C、样本坐标D的权重。
第二方面,本发明实施例提供一种智能笔,所述智能笔用于执行上述的手部书写动作的分析方法,所述智能笔包括依次连接的微处理器、处理模块、对比识别模块和交互模块;微处理中设置有陀螺仪、角速度计算模块、加速度计、加速度计算模块和计时模块;处理模块中设置有滤波融合模块、坐标确认模块、轨迹计算模块和持续时间确认模块;对比识别模块中设置有笔画数据库、笔画类型确认模块和笔画组合模块。
本发明实施例的有益效果如下:
本发明提供一种手部书写动作的分析方法和智能笔,包括采集当前用户书写的每一类型的样本笔画的样本特征数据,其中,样本特征数据包括样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T;采集并确认每个待识别笔画的待识别特征数据,其中,所述待识别特征数据包括角姿态数据A’、加速度姿态数据B’、目标滤波融合数据C’、目标坐标D’、目标轨迹E’和目标持续时间T’;根据待识别笔画的待识别特征数据与样本笔画的样本特征数据之间的相似度,确定用户的书写内容以及书写字数;将用户的书写内容和书写字数上传至目标位置。本申请的技术可以自动实现手部书写动作分析、字数统计、自动分享和记录学习过程等功能
本发明的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施方式,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种手部书写动作的分析方法的流程图;
图2为本发明实施例提供的一种智能笔的示意图;
图3为本发明实施例提供的一种计算特征数据的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
本实施例提供一种手部书写动作的分析方法,该方法设置于智能笔中,如图1所示,该方法包括:
S1:采集当前用户书写的每一类型的样本笔画的样本特征数据,其中,样本特征数据包括样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T,样本笔画的类型包括:29种汉字笔画、0-9、a-z、A-Z、字符切换笔画。
具体地,29种汉字笔画包括:横,竖,撇,捺,点,提,撇点,竖提,横折提,弯钩,竖钩,竖弯钩,斜钩,卧钩,横钩,横折钩,横折弯钩,横撇弯钩,横折折折钩,竖折折钩,竖弯,横折弯,横折,竖折,撇折,横撇,横折折撇,竖折撇,横折折。
本实施例涉及的笔画类型共92种,在实际操作中,用户也可以增加新的笔画类型。通过S1可以得到专属于特定用户的、具有用户画像样本特征数据。
需要说明的是,智能笔中预存有拟标准数据,拟标准数据就是根据大数据得到的用户书写样本笔画的平均姿态角度、平均持续时间、平均位移,通俗来说,拟标准数据是平均值,虽然或许不能准确适用于每个用户的书写习惯,但也可以作为样本特征数据进行后续的操作。
S1中,对于任意一类型的样本笔画,具体的分析过程见S11到S19,如图3所示:
S11:陀螺仪基于预设的采样频率f采集用户书写每一类型的样本笔画过程中智能笔在X,Y,Z轴的角速度ωx、ωy、ωz。
具体地,采样频率f可以设置为200Hz,即每秒采集200次信息,则单位采样周期Dt=1/f=1/200(s)。
S12:加速度计采集用户书写每一类型的样本笔画过程中智能笔的加速度在X,Y,Z轴的分量ax、ay、az。
S13:角速度计算模块对角速度进行姿态解算,得到样本角度数据A(Ax,Ay,Az)。
S13具体包括2种方法:
方法1:
计算样本角度数据A的公式为:
[Ax,Ay,Az]=trans×gyro(1);
其中,trans 表示由陀螺仪输出到姿态角速度的转换矩阵,为固定常量;gyro表示陀螺仪输出数据的矩阵形式,计为gyro=[ωx,ωy,ωz]。
方法2:
单位采样周期内智能笔在X、Y、Z三方向转过的角度即样本角度数据A,具体公式为:
Ax=ωx×Dt(2);
Ay=ωy×Dt(3);
Az=ωz×Dt(4)。
S14:加速度计算模块对加速度进行姿态解算,得到样本加速度数据B(Bx,By,Bz)。
S14包括:
通过加速度分别在X、Y、Z轴的分量,以及勾股定理,可得出样本加速度数据B。具体的,计算公式为:
Bx=q(y-z)=arctan(ax/sqrt(ay^2+az^2))(5);
By=q(x-z)=arctan(ay/sqrt(ax^2+az^2))(6);
Bz=q(x-y)=arctan(az/sqrt(ax^2+ay^2))(7);
其中,q(x-z)表示为加速度方向与X-Z平面的夹角,q(x-y)表示为加速度方向与X-Y平面的夹角,q(y-z)表示为加速度方向与Y-Z平面的夹角。
S15:滤波融合模块对样本角度数据A和样本加速度数据B进行互补滤波处理以及融合处理,得到滤波融合数据C(Cx,Cy,Cz)。
S15包括:
由于陀螺仪对高频噪声无感,对低频噪声有感,而加速度计与之相反,对低频噪声无感,对高频噪声有感,基于此,可知陀螺仪与加速度计为互补关系,故采用互补滤波算法进行数据融合,最终计算出稳定可靠的姿态数据(即滤波融合数据C)。
具体公式为:C=(上一时刻的C+A)×(1-a)+B×a(8);
其中,a为置信度,取值范围为0-1。
需要说明的是:在初次打开智能笔时(即初始化校准时),初始滤波融合数据C0默认为0。
若a取值为0,则表示不采用加速度计采集的样本加速度数据B,互补滤波融合处理得到的滤波融合数据C只受陀螺仪影响;如果a取值为1,则表示不采用A,将B作为滤波融合数据C。
如果a取值为0则上述公式(8)变为:
C=上一时刻的C+A(9);
此步骤对陀螺仪采集的数据与加速度计采集的数据进行融合过滤,得到了准确、抗噪、不飘移的姿态数据(即滤波融合数据C)。
上述公式(8)-(9)为通用公式,即每一维度的计算方法都遵循此公式,为使逻辑更清晰,故用ABC单个字符表示,未进行维度的拆分。
S16:坐标确认模块根据滤波融合数据C、加速度ax、ay、az确认智能笔的样本坐标D(x,y,z)。
S16具体包括:
S161:在单位采样周期Dt内对X、Y、Z轴的加速度ax、ay、az分别进行积分,得到位移数据DSx、DSy、DSz。
位移计算公式为:
,DSy、DSz同理,不再赘述。
S162:根据滤波融合数据C与上述位移数据,确认单位采样周期智能笔的样本坐标D(x,y,z)。
注:每个单位采样周期均可计算得到一个样本坐标D。
。
S17:轨迹计算模块将每一类型的样本笔画的样本坐标D进行集合,得到样本轨迹E。
S18:持续时间确认模块根据样本轨迹E确认每一类型的样本笔画的持续时间T。
S19:将每一类型样本笔画的角速度、加速度、样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T存储在笔画数据库中。
具体地,每一类型的样本笔画存在一个文件夹里,以供后续调用。
具体地,一般来说,对于同一只智能笔、同一个用户,S1只需执行1次。或者,用户也可以登录后,将校准后的样本特征数据上传至云端,则即使更换智能笔,也可以登录账户从云端更新标准特征数据,无需重复执行S1。
在S1之前,也就是刚开启智能笔时一般还需要初始化校准,以保证智能笔识别的动作与用户的实际动作基本一致。
S2:采集并确认每个待识别笔画的待识别特征数据,其中,所述待识别特征数据包括角姿态数据A’、加速度姿态数据B’、目标滤波融合数据C’、目标坐标D’、目标轨迹E’和目标持续时间T’。
具体地,S2的执行过程同S11到S19。
S3:根据待识别笔画的待识别特征数据与样本笔画的样本特征数据之间的相似度,确定用户的书写内容以及书写字数。
S3包括:
S31:笔画类型确认模块基于预设的权重,根据笔画数据库中的样本特征数据,确认待识别笔画的类型。
与样本笔画的类型相同,待识别笔画也包括29种汉字笔画、0-9、a-z、A-Z、字符切换笔画共92种类型。
通俗来说,S31即将待识别笔画的A’、B’、C’、D’、E’、T’与样本笔画的A、B、C、D、E、T进行加权计算,得到相似度,基于相似度即可确认待识别笔画的类型。
S31是现有技术,即利用动态时间弯曲匹配算法,识别当前笔画特征值与目标笔画特征值,同时设置匹配置信度,置信度取值范围为0-1,0为最低置信度,即任何当前笔画都可以识别为目标笔画,1为最高置信度,表示当前笔画应与目标笔画特征值完全相同,经多次实验,计算出性能最佳置信度为0.85,当置信度设置为0.85及以上时,识别准确率达到96%以上,满足笔画识别要求。
S32:笔画组合模块将所有单一的待识别笔画按照撰写顺序进行组合、并基于字符切换笔画进行拆分,得到用户的书写内容和书写字数。
确认书写字数的具体逻辑是:
当字符切换时,切换动作呈现为一个类弧形轨迹,具体来说,当前一字符书写完成后,笔尖会抬起,同时会横向运动,随后笔尖下落,到达下一字符书写的起始位置(即,字符切换过程加速度ay、az会出现较大变化)。
基于此,本申请在S1的样本特征数据的采集过程中,需要多次采集用户书写过程中文字切换时智能笔的加速度,以确认得到样本加速度数据B;多次采集用户从前一字符提笔到后一字符落笔之间的智能笔的轨迹,得到字符切换笔画的样本轨迹E;还会多次采集用户在切换过程中所用的时间,得到持续时间T。然后,在S3将待识别笔画的加速度姿态数据B’、目标轨迹E’、目标持续时间T’与S1采集到的相应的样本特征数据进行相似度对比,即可确认当前是字符切换笔画,即用户正在切换字符,从而可以确认用户书写的字数。通过上述描述,会发现,在字符切换笔画的确认过程中,比较关注加速度数据、轨迹、持续时间,说明在相似度计算过程中,这3项信息权重较大。
对于其他91种类型的笔画,其识别思路是一样的,只是权重设置有所不同。即,在识别其他91种类型的笔画过程中,权重会有所变化,要具体类型具体设置以识别得到最准确的笔画类型。
一般来说,所有的正常用户的字符切换笔画的持续时间T(也称为切换时间)非常相近,如果用户实际的切换时间与大数据的平均时间差距过大,则需要多次采集(必要时与用户确认)以避免出现误差。
S4:将用户的书写内容和书写字数上传至目标位置。
比如,交互模块将书写内容、书写字数上传到任意一个APP、云端、手机、平板、电脑等都是可以的,同时还可以触动打卡机制进行自动打卡、自动分享。
本实施例至少包括以下有益效果:
1、S1引导用户进行了具有用户画像的笔画特征数据录入,从而提高了姿态识别的准确率,同时内置标准的大数据确认的笔画特征数据,即使未录入也可正常识别,降低学习成本,提升用户体验。
2、S16将陀螺仪采集到的姿态数据与加速度计采集到的姿态数据,根据传感器的特性进行了互补融合过滤,得到了准确、稳定的姿态数据(即滤波融合数据C)。
3、S3对采集到的多方位数据信息进行融合加权,得到较为全面的笔画特征数据,能够准确识别出用户的书写内容与书写字数。
实施例
本发明实施例提供一种智能笔,所述智能笔用于上述的手部书写动作的分析方法,智能笔包括依次连接的微处理器、处理模块、对比识别模块和交互模块;微处理中设置有陀螺仪、角速度计算模块、加速度计、加速度计算模块和计时模块;处理模块中设置有滤波融合模块、坐标确认模块、轨迹计算模块和持续时间确认模块;对比识别模块中设置有笔画数据库、笔画类型确认模块和笔画组合模块,模块的连接关系如图2所示。
本发明实施例所提供的智能笔,其实现原理及产生的技术效果和前述的手部书写动作的分析方法实施例相同,为简要描述,本实施例部分未提及之处,可参考前述方法实施例中相应内容。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.一种手部书写动作的分析方法,其特征在于,所述分析方法应用于智能笔,所述分析方法包括:
S1:采集当前用户书写的每一类型的样本笔画的样本特征数据,其中,样本特征数据包括样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T,样本笔画的类型包括:29种汉字笔画、0-9、a-z、A-Z、字符切换笔画;
S2:采集并确认每个待识别笔画的待识别特征数据,其中,所述待识别特征数据包括角姿态数据A’、加速度姿态数据B’、目标滤波融合数据C’、目标坐标D’、目标轨迹E’和目标持续时间T’;
S3:根据待识别笔画的待识别特征数据与样本笔画的样本特征数据之间的相似度,确定用户的书写内容以及书写字数;
S4:将用户的书写内容和书写字数上传至目标位置;
S3包括:
S31:笔画类型确认模块基于预设的权重,根据样本特征数据和待识别特征数据之间的相似度,确认待识别笔画的类型,其中,不同的特征数据预设有不同的权重,样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T分别预设有不同的权重;
S32:笔画组合模块将所有单一的待识别笔画按照撰写顺序进行组合、并基于字符切换笔画进行拆分,得到用户的书写内容和书写字数。
2.根据权利要求1所述的手部书写动作的分析方法,其特征在于,S1包括:
S11:陀螺仪基于预设的采样频率f采集用户书写每一类型的样本笔画过程中智能笔在X,Y,Z轴的角速度ωx、ωy、ωz;
S12:加速度计采集用户书写每一类型的样本笔画过程中智能笔的加速度在X,Y,Z轴的分量ax、ay、az;
S13:角速度计算模块对角速度进行姿态解算,得到样本角度数据A(Ax,Ay,Az);
S14:加速度计算模块对加速度进行姿态解算,得到样本加速度数据B(Bx,By,Bz);
S15:滤波融合模块对样本角度数据A和样本加速度数据B进行互补滤波处理以及融合处理,得到滤波融合数据C(Cx,Cy,Cz);
S16:坐标确认模块根据滤波融合数据C、加速度ax、ay、az确认智能笔的样本坐标D(x,y,z);
S17:轨迹计算模块将每一类型的样本笔画的样本坐标D进行集合,得到样本轨迹E;
S18:持续时间确认模块根据样本轨迹E确认每一类型的样本笔画的持续时间T;
S19:将每一类型样本笔画的角速度、加速度、样本角度数据A、样本加速度数据B、滤波融合数据C、样本坐标D、样本轨迹E和持续时间T存储在笔画数据库中。
3.根据权利要求2所述的手部书写动作的分析方法,其特征在于,S15包括:
C=(上一时刻的C+A)×(1-a)+B×a(8);
其中,a为陀螺仪或加速度计的置信度,取值范围为0-1,在初次打开智能笔时,初始滤波融合数据C0默认为0。
4.根据权利要求3所述的手部书写动作的分析方法,其特征在于,S13包括:
计算样本角度数据A的公式为:
[Ax,Ay,Az]=trans×gyro···(1);
其中,trans 表示由陀螺仪输出到姿态角速度的转换矩阵,为固定常量;gyro表示陀螺仪输出数据的矩阵形式,计为gyro=[ωx,ωy,ωz]。
5.根据权利要求4所述的手部书写动作的分析方法,其特征在于,S13中计算样本角度数据A的方法替换为:
Ax=ωx×Dt···(2);
Ay=ωy×Dt···(3);
Az=ωz×Dt···(4)。
6.根据权利要求5所述的手部书写动作的分析方法,其特征在于,S14包括:
Bx=q(y-z)=arctan(ax/sqrt(ay^2+az^2))···(5);
By=q(x-z)=arctan(ay/sqrt(ax^2+az^2))···(6);
Bz=q(x-y)=arctan(az/sqrt(ax^2+ay^2))···(7);
其中,q(x-z)表示为加速度方向与X-Z平面的夹角,q(x-y)表示为加速度方向与X-Y平面的夹角,q(y-z)表示为加速度方向与Y-Z平面的夹角。
7.根据权利要求6所述的手部书写动作的分析方法,其特征在于,S16包括:
S161:在单位采样周期Dt内对X、Y、Z轴的加速度ax、ay、az分别进行积分,得到位移数据DSx、DSy、DSz;
S162:根据滤波融合数据C与所述位移数据,确认单位采样周期智能笔的样本坐标D(x,y,z)。
8.根据权利要求1所述的手部书写动作的分析方法,其特征在于,不同的笔画类型中的特征数据预先设置有不同的权重;
字符切换笔画的权重中,样本加速度数据B、样本轨迹E和持续时间T的权重大于滤波融合数据C、样本坐标D的权重。
9.一种智能笔,其特征在于,所述智能笔用于执行权利要求1-8任一项所述的手部书写动作的分析方法,所述智能笔包括依次连接的微处理器、处理模块、对比识别模块和交互模块;
微处理中设置有陀螺仪、角速度计算模块、加速度计、加速度计算模块和计时模块;
处理模块中设置有滤波融合模块、坐标确认模块、轨迹计算模块和持续时间确认模块;
对比识别模块中设置有笔画数据库、笔画类型确认模块和笔画组合模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311594967.2A CN117315790B (zh) | 2023-11-28 | 2023-11-28 | 手部书写动作的分析方法和智能笔 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311594967.2A CN117315790B (zh) | 2023-11-28 | 2023-11-28 | 手部书写动作的分析方法和智能笔 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117315790A CN117315790A (zh) | 2023-12-29 |
CN117315790B true CN117315790B (zh) | 2024-03-19 |
Family
ID=89250246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311594967.2A Active CN117315790B (zh) | 2023-11-28 | 2023-11-28 | 手部书写动作的分析方法和智能笔 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117315790B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521573A (zh) * | 2011-12-09 | 2012-06-27 | 陕西理工学院 | 书写笔画的笔画识别方法 |
JP2013125487A (ja) * | 2011-12-16 | 2013-06-24 | Konica Minolta Business Technologies Inc | 空間手書きシステム及び電子ペン |
CN105607764A (zh) * | 2015-12-22 | 2016-05-25 | 汉王科技股份有限公司 | 轨迹输入装置及轨迹输入方法 |
CN109189258A (zh) * | 2018-07-17 | 2019-01-11 | 奇酷互联网络科技(深圳)有限公司 | 记录笔记的方法及装置 |
CN111680555A (zh) * | 2020-04-29 | 2020-09-18 | 上海奇初教育科技有限公司 | 一种智能手写笔迹识别系统 |
CN112132050A (zh) * | 2020-09-24 | 2020-12-25 | 北京计算机技术及应用研究所 | 联机手写汉字识别算法及可视化关键笔画评估方法 |
CN113052078A (zh) * | 2021-03-25 | 2021-06-29 | Oppo广东移动通信有限公司 | 空中书写轨迹识别方法、装置、存储介质及电子设备 |
WO2022099868A1 (zh) * | 2020-11-16 | 2022-05-19 | 深圳市鹰硕教育服务有限公司 | 智能笔书写行为特征分析方法、装置及电子设备 |
WO2022105005A1 (zh) * | 2020-11-19 | 2022-05-27 | 深圳市鹰硕教育服务有限公司 | 智慧课堂信息交互方法、装置及电子设备 |
CN116561601A (zh) * | 2023-07-07 | 2023-08-08 | 深圳棒棒帮科技有限公司 | 一种书写评分方法、装置及存储介质 |
CN117095414A (zh) * | 2023-08-22 | 2023-11-21 | 广州青鹿教育科技有限公司 | 一种基于点阵纸笔的手写识别系统及识别方法 |
-
2023
- 2023-11-28 CN CN202311594967.2A patent/CN117315790B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521573A (zh) * | 2011-12-09 | 2012-06-27 | 陕西理工学院 | 书写笔画的笔画识别方法 |
JP2013125487A (ja) * | 2011-12-16 | 2013-06-24 | Konica Minolta Business Technologies Inc | 空間手書きシステム及び電子ペン |
CN105607764A (zh) * | 2015-12-22 | 2016-05-25 | 汉王科技股份有限公司 | 轨迹输入装置及轨迹输入方法 |
CN109189258A (zh) * | 2018-07-17 | 2019-01-11 | 奇酷互联网络科技(深圳)有限公司 | 记录笔记的方法及装置 |
CN111680555A (zh) * | 2020-04-29 | 2020-09-18 | 上海奇初教育科技有限公司 | 一种智能手写笔迹识别系统 |
CN112132050A (zh) * | 2020-09-24 | 2020-12-25 | 北京计算机技术及应用研究所 | 联机手写汉字识别算法及可视化关键笔画评估方法 |
WO2022099868A1 (zh) * | 2020-11-16 | 2022-05-19 | 深圳市鹰硕教育服务有限公司 | 智能笔书写行为特征分析方法、装置及电子设备 |
WO2022105005A1 (zh) * | 2020-11-19 | 2022-05-27 | 深圳市鹰硕教育服务有限公司 | 智慧课堂信息交互方法、装置及电子设备 |
CN113052078A (zh) * | 2021-03-25 | 2021-06-29 | Oppo广东移动通信有限公司 | 空中书写轨迹识别方法、装置、存储介质及电子设备 |
CN116561601A (zh) * | 2023-07-07 | 2023-08-08 | 深圳棒棒帮科技有限公司 | 一种书写评分方法、装置及存储介质 |
CN117095414A (zh) * | 2023-08-22 | 2023-11-21 | 广州青鹿教育科技有限公司 | 一种基于点阵纸笔的手写识别系统及识别方法 |
Non-Patent Citations (4)
Title |
---|
基于惯性传感器的可穿戴设备智能控制技术的研究与实现;潘家瑶;《信息技术与信息化》;摘要、第2节 * |
基于手写体汉字笔画提取重构的识别方法;王建平;蔺菲;陈军;;计算机工程(第10期);全文 * |
王永庆.《人工智能原理与方法》.西安交通大学出版社,1998,第377. * |
空中手写轨迹检测系统的研究与设计;刘锦荣;《中国优秀硕士学位论文全文数据库信息科技辑》;摘要、第1-3章 * |
Also Published As
Publication number | Publication date |
---|---|
CN117315790A (zh) | 2023-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9390340B2 (en) | Image-based character recognition | |
US10126825B2 (en) | Method for recognizing handwriting on a physical surface | |
CN107609489B (zh) | 书法书写路径评价装置、方法及电子设备 | |
CN104685462B (zh) | 用于图像辨识的自适应阈值处理 | |
CN107219924B (zh) | 一种基于惯性传感器的空中手势识别方法 | |
CN104850773A (zh) | 用于智能移动终端的用户身份认证方法 | |
CN111797861A (zh) | 信息处理方法、装置、存储介质及电子设备 | |
CN111552383A (zh) | 虚拟增强现实交互设备的手指识别方法、系统及交互设备 | |
CN117315790B (zh) | 手部书写动作的分析方法和智能笔 | |
Behera et al. | Air signature recognition using deep convolutional neural network-based sequential model | |
US10578640B2 (en) | Determination of a mobility context for a user carrying a device fitted with inertial sensors | |
Xie et al. | Gesture recognition benchmark based on mobile phone | |
Koellner et al. | What did you mean? An evaluation of online character recognition approaches | |
EP2765477A2 (en) | Method and apparatus for performing motion recognition using motion sensor fusion, and associated computer program product | |
EP2494819A1 (en) | Method and apparatus for selecting a receiver | |
Ding et al. | A deep learning approach to writer identification using inertial sensor data of air-handwriting | |
CN113029153B (zh) | 基于智能手机多传感器融合和svm分类的多场景pdr定位方法 | |
CN105894273A (zh) | 一种根据动作判断支付行为的方法 | |
CN108469912A (zh) | 一种文字输入方法及系统 | |
CN111797656B (zh) | 人脸关键点检测方法、装置、存储介质及电子设备 | |
CN111797878B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CN109542229B (zh) | 手势识别方法、用户设备、存储介质及装置 | |
Tuncer et al. | Handwriting recognition by derivative dynamic time warping methodology via sensor-based gesture recognition. | |
CN110503065B (zh) | 一种基于距离度量的移动设备用户动作姿态识别方法 | |
CN111797075A (zh) | 数据回收方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |