CN112507806B - 智慧课堂信息交互方法、装置及电子设备 - Google Patents

智慧课堂信息交互方法、装置及电子设备 Download PDF

Info

Publication number
CN112507806B
CN112507806B CN202011298632.2A CN202011298632A CN112507806B CN 112507806 B CN112507806 B CN 112507806B CN 202011298632 A CN202011298632 A CN 202011298632A CN 112507806 B CN112507806 B CN 112507806B
Authority
CN
China
Prior art keywords
handwriting
content
data
graphical
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011298632.2A
Other languages
English (en)
Other versions
CN112507806A (zh
Inventor
卢启伟
张淮清
陈方圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yingshuo Intelligent Technology Co ltd
Original Assignee
Shenzhen Eaglesoul Education Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Eaglesoul Education Service Co Ltd filed Critical Shenzhen Eaglesoul Education Service Co Ltd
Priority to CN202011298632.2A priority Critical patent/CN112507806B/zh
Priority to PCT/CN2020/138431 priority patent/WO2022105005A1/zh
Publication of CN112507806A publication Critical patent/CN112507806A/zh
Application granted granted Critical
Publication of CN112507806B publication Critical patent/CN112507806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction

Abstract

本公开实施例中提供了一种智慧课堂信息交互方法、装置及电子设备,属于数据处理技术领域,该方法包括:获取智能笔在预设书写区域形成的笔迹数据,所述书写区域具有生成所述笔迹数据的感应装置;在云端服务平台对从所述感应装置接收到的所述笔迹进行数据处理,形成与所述笔迹数据对应的图形化文件、字符集合及解析内容;在云端服务平台中接收用户在显示装置上交互操作过程中形成的交互指令,以便于对所述交互指令进行解析,形成解析结果;基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示。通过本公开的处理方案,能够提高智慧课堂信息交互的效率。

Description

智慧课堂信息交互方法、装置及电子设备
技术领域
本公开涉及数据处理技术领域,尤其涉及一种智慧课堂信息交互方法、装置及电子设备。
背景技术
点阵数码智能笔是一种通过在普通纸张上印刷一层不可见的点阵图案,数码笔前端的高速摄像头随时捕捉笔尖的运动轨迹,同时压力传感器将压力数据传回数据处理器,最终将信息通过蓝牙或者USB线向外传输的新型书写工具。
与普通的纸张和笔不同,这些信息包括纸张类型、来源、页码、位置、笔迹坐标、运动轨迹、笔尖压力、笔画顺序、运笔时间、运笔速度等信息,笔迹记录过程与书写过程同步。当书写时,点阵数码笔将纸张上书写的文字或者图片以位图的形式存储在电脑中,形成文档,如需要还可以同步通过投影显示。
如何基于云平台对智能笔的笔迹内容在智慧课堂中进行有效的交互,提高智慧课堂信息交互的处理效率,成为需要解决的问题。
发明内容
有鉴于此,本公开实施例提供一种智慧课堂信息交互方法、装置及电子设备,以至少部分解决现有技术中存在的问题。
第一方面,本公开实施例提供了一种智慧课堂信息交互方法,包括:
获取智能笔在预设书写区域形成的笔迹数据,所述书写区域具有生成所述笔迹数据的感应装置,所述感应装置通过通信方式与显示装置连接;
在云端服务平台对从所述感应装置接收到的所述笔迹进行数据处理,形成与所述笔迹数据对应的图形化文件、字符集合及解析内容;
在云端服务平台中接收用户在显示装置上交互操作过程中形成的交互指令,以便于对所述交互指令进行解析,形成解析结果;
基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示。
根据本公开实施例的一种具体实现方式,所述获取智能笔在预设书写区域形成的笔迹数据,包括:
判断所述智能笔的压力传感器产生的压力值是否大于预设值;
若是,则在所述书写区域采集所述智能笔生成的笔迹数据,所述笔迹数据包括智能笔生成的压力值、位置坐标、时间值以及加速度值。
根据本公开实施例的一种具体实现方式,所述在云端服务平台对从所述感应装置接收到的所述笔迹进行数据处理,包括:
基于所述笔迹数据中包含的压力值、位置坐标、时间值以及加速度值,对所述智能笔的轨迹进行还原,形成图形化文件;
对所述图形化文件进行字符识别,得到所述笔数据对应的字符集合;
对所述字符集合中的内容进行语义解析,得到所述笔迹数据的解析内容。
根据本公开实施例的一种具体实现方式,所述在云端服务平台中接收用户在显示装置上交互操作过程中形成的交互指令,包括:
获取用户在所述显示装置上的交互手势;
对所述交互手势进行解析,确定所述交互手势所对应的交互指令。
根据本公开实施例的一种具体实现方式,所述基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示,包括:
当所述解析结果中的交互指令为书写指令时,将所述图形化文件发送到所述显示装置上,以便于实时显示用户的手写轨迹。
根据本公开实施例的一种具体实现方式,所述基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示,还包括:
当所述解析结果中的交互指令为输入指令时,将所述图形化文件及所述字符集合一起发送到所述显示装置上,以便于显示用户手写轨迹的同时,显示手写轨迹对应的字符;
当所述解析结果中的交互指令为内容输入指令时,将所述解析内容发送至所述显示装置上。
根据本公开实施例的一种具体实现方式,所述基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示之后,所述方法还包括:
通过所述图形化文件所包含的文件标识,查找与所述笔迹数据对应的目标内容;
通过将所述解析内容与所述目标内容之间进行相似性判断,确定所述图形化文件的评价内容。
第二方面,本公开实施例提供了一种智慧课堂信息交互装置,包括:
获取模块,用于获取智能笔在预设书写区域形成的笔迹数据,所述书写区域具有生成所述笔迹数据的感应装置,所述感应装置通过通信方式与显示装置连接;
形成模块,用于在云端服务平台对从所述感应装置接收到的所述笔迹进行数据处理,形成与所述笔迹数据对应的图形化文件、字符集合及解析内容;
接收模块,用于在云端服务平台中接收用户在显示装置上交互操作过程中形成的交互指令,以便于对所述交互指令进行解析,形成解析结果;
发送模块,用于基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示。
第三方面,本公开实施例还提供了一种电子设备,该电子设备包括:
至少一个处理器;以及,
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行前述第一方面或第一方面的任一实现方式中的智慧课堂信息交互方法。
第四方面,本公开实施例还提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的智慧课堂信息交互方法。
第五方面,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行前述第一方面或第一方面的任一实现方式中的智慧课堂信息交互方法。
本公开实施例中的智慧课堂信息交互方案,包括获取智能笔在预设书写区域形成的笔迹数据,所述书写区域具有生成所述笔迹数据的感应装置,所述感应装置通过通信方式与显示装置连接;在云端服务平台对从所述感应装置接收到的所述笔迹进行数据处理,形成与所述笔迹数据对应的图形化文件、字符集合及解析内容;在云端服务平台中接收用户在显示装置上交互操作过程中形成的交互指令,以便于对所述交互指令进行解析,形成解析结果;基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示。通过本公开的处理方案,提高了智慧课堂信息交互的效率。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本公开实施例提供的一种智慧课堂信息交互方法的流程图;
图2为本公开实施例提供的另一种智慧课堂信息交互方法的流程图;
图3为本公开实施例提供的另一种智慧课堂信息交互方法的流程图;
图4为本公开实施例提供的另一种智慧课堂信息交互方法的流程图;
图5为本公开实施例提供的一种智慧课堂信息交互装置的结构示意图;
图6为本公开实施例提供的电子设备示意图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。
本公开实施例提供一种智慧课堂信息交互方法。本实施例提供的智慧课堂信息交互方法可以由一计算装置来执行,该计算装置可以实现为软件,或者实现为软件和硬件的组合,该计算装置可以集成设置在服务器、客户端等中。
参见图1,本公开实施例中的智慧课堂信息交互方法,可以包括如下步骤:
S101,获取智能笔在预设书写区域形成的笔迹数据,所述书写区域具有生成所述笔迹数据的感应装置,所述感应装置通过通信方式与显示装置连接。
智能笔通过在感应装置的书写区域进行书写操作,可以生成笔迹数据,通过这些笔迹数据,能够描述用户在书写区域书写的内容。
在获取用户书写内容的过程中,可以进一步的监控智能笔上的压力传感器是否产生压力信号,当压力信号的压力值大于预设值之后,便可以采集智能笔在书写区域上形成的笔迹数据。
S102,在云端服务平台对从所述感应装置接收到的所述笔迹进行数据处理,形成与所述笔迹数据对应的图形化文件、字符集合及解析内容。
云端服务平台通过通信的方式与感应装置进行通信连接,进而可以得到智能笔书写的笔迹数据,从而基于这些笔迹数据进行数据处理。
具体的,在云端服务平台中可以基于所述笔迹数据中包含的压力值、位置坐标、时间值以及加速度值,对所述智能笔的轨迹进行还原,形成图形化文件;对所述图形化文件进行字符识别,得到所述笔数据对应的字符集合;对所述字符集合中的内容进行语义解析,得到所述笔迹数据的解析内容,解析内容为符合语义语法规定的内容。
S103,在云端服务平台中接收用户在显示装置上交互操作过程中形成的交互指令,以便于对所述交互指令进行解析,形成解析结果。
用户在显示装置上会通过手势等方式形成交互指令,从而能够基于这些交互指令确定在显示装置上显示的内容。
可以预先对显示装置上定义的手势进行命令定义,从而在获取到这些手势之后,能够对这些交互手势进行解析,得到交互指令。
S104,基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示。
作为一个方式,当所述解析结果中的交互指令为书写指令时,将所述图形化文件发送到所述显示装置上,以便于实时显示用户的手写轨迹。当所述解析结果中的交互指令为输入指令时,将所述图形化文件及所述字符集合一起发送到所述显示装置上,以便于显示用户手写轨迹的同时,显示手写轨迹对应的字符;当所述解析结果中的交互指令为内容输入指令时,将所述解析内容发送至所述显示装置上。
除此之外,用户还可以根据实际的需要定义更多的交互方式,在此不做限制。
参见图2,根据本公开实施例的一种具体实现方式,所述获取智能笔在预设书写区域形成的笔迹数据,包括:
S201,判断所述智能笔的压力传感器产生的压力值是否大于预设值;
S202,若是,则在所述书写区域采集所述智能笔生成的笔迹数据,所述笔迹数据包括智能笔生成的压力值、位置坐标、时间值以及加速度值。
参见图3,根据本公开实施例的一种具体实现方式,所述在云端服务平台对从所述感应装置接收到的所述笔迹进行数据处理,包括:
S301,基于所述笔迹数据中包含的压力值、位置坐标、时间值以及加速度值,对所述智能笔的轨迹进行还原,形成图形化文件;
S302,对所述图形化文件进行字符识别,得到所述笔数据对应的字符集合;
S303,对所述字符集合中的内容进行语义解析,得到所述笔迹数据的解析内容。
参见图4,根据本公开实施例的一种具体实现方式,所述在云端服务平台中接收用户在显示装置上交互操作过程中形成的交互指令,包括:
S401,获取用户在所述显示装置上的交互手势;
S402,对所述交互手势进行解析,确定所述交互手势所对应的交互指令。
根据本公开实施例的一种具体实现方式,所述基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示,包括:当所述解析结果中的交互指令为书写指令时,将所述图形化文件发送到所述显示装置上,以便于实时显示用户的手写轨迹。
根据本公开实施例的一种具体实现方式,所述基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示,还包括:当所述解析结果中的交互指令为输入指令时,将所述图形化文件及所述字符集合一起发送到所述显示装置上,以便于显示用户手写轨迹的同时,显示手写轨迹对应的字符;当所述解析结果中的交互指令为内容输入指令时,将所述解析内容发送至所述显示装置上。
根据本公开实施例的一种具体实现方式,所述基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示之后,所述方法还包括:通过所述图形化文件所包含的文件标识,查找与所述笔迹数据对应的目标内容;通过将所述解析内容与所述目标内容之间进行相似性判断,确定所述图形化文件的评价内容。
作为一种可选方式,可以获取智能笔笔迹数据所对应的图形化文件,所述图形化文件由所述笔迹数据通过图形化的方式生成。
智能笔书写完成之后,其书写的笔迹数据上传到云端服务平台中,在云端服务平台中将用户的书写笔迹进行图形化还原,从而形成所述图形化文件。
作为一种可选方式,可以对所述图形化文件中的图像字符进行内容识别,得到与所述图形化文件所对应的解析内容。
图形化文件中包含用户书写的内容,通过对图形化文件进行文字识别和内容识别,可以得到图形化文件所对应的解析内容,通过该解析内容,可以获知图形化文件所包含的内容,作为一种方式,图形化文件可以是用户手写的考试答案,解析内容则是将用户手写的考试答案解析成标准的计算机能够识别的文字内容。
作为一种可选方式,可以通过所述图形化文件所包含的文件标识,查找与所述笔迹数据对应的目标内容。
图形化文件中可以包含文件标识,该文件标识用以表明图形化文件中的内容标识,例如,该文件标识可以是试题编号。通过识别该文件标识,可以在云端服务平台中预设的数据库中查找该文件标识对应的目标内容(例如,试题的答案)。
作为一种可选方式,可以通过将所述解析内容与所述目标内容之间进行相似性判断,确定所述图形化文件的评价内容。
通过将解析内容和目标内容之间进行相似度判断的方法,可以通过目标内容来判断用户通过智能笔手写的解析内容是否正确,进而给出相应的评价。
根据本公开实施例的一种具体实现方式,所述获取智能笔笔迹数据所对应的图形化文件,包括:在智能笔完成笔迹书写之后,在云端服务平台中执行对智能笔笔迹的图形化操作;在所述图形化完成之后,获取智能笔笔迹数据所对应的图形化文件。
根据本公开实施例的一种具体实现方式,所述对所述图形化文件中的图像字符进行内容识别,包括:对所述图形化文件中的笔迹执行字符检测,得到字符集合;对所述字符集合中的内容进行语义分析,并基于语义分析的结果确定与所述图形化文件所对应的解析内容。
根据本公开实施例的一种具体实现方式,所述通过所述图形化文件所包含的文件标识,查找与所述笔迹数据对应的目标内容,包括:在所述云端服务平台中输入所述图形化文件所包含的文件标识;基于所述文件标识,在云端服务平台预先设置的数据库中查找所述笔迹数据对应的目标内容。
根据本公开实施例的一种具体实现方式,所述通过将所述解析内容与所述目标内容之间进行相似性判断,确定所述图形化文件的评价内容,包括:分别对所述解析内容和所述目标内容进行矢量化计算,得到解析内容向量和目标内容向量;对所述解析内容向量和所述目标内容向量进行相似性计算,得到相似性计算结果;基于所述相似性计算结果,确定所述图形化文件所对应的评价内容。
根据本公开实施例的一种具体实现方式,所述获取智能笔笔迹数据所对应的图形化文件之后,所述方法还包括:对所述图形化文件中的图像字符进行目标识别,得到一个或多个图形化字符。
根据本公开实施例的一种具体实现方式,所述方法还包括:基于所述图形化字符对应的标准字符编码,查找与所述图形化字符所对应的目标图形;通过将所述图形化字符与所述目标图形之间进行相似性判断,确定所述图形化字符的评价信息。
作为一种可选方式,可以获取智能笔笔迹数据所对应的图形化文件,所述图形化文件由所述笔迹数据通过图形化的方式生成。
智能笔书写完成之后,其书写的笔迹数据上传到云端服务平台中,在云端服务平台中将用户的书写笔迹进行图形化还原,从而形成所述图形化文件。
对所述图形化文件中的图像字符进行目标识别,得到一个或多个图形化字符。
图形化文件中包含了用户通过智能笔书写的一个或多个字符,这些字符可以是中、英文符号、数字或图形等,通过对这些图像字符进行目标识别,可以得到一个或多个图形化字符,这些图形化字符用图像的形式来描述用户的书写轨迹。例如,该图形化字符可以是用户使用智能笔书写的书法字体。
作为一种可选方式,可以基于所述图形化字符对应的标准字符编码,查找与所述图形化字符所对应的目标图形。
可以通过对图形化字符进行OCR识别的方式来对图形化字符进行字符识别,从而得到该图形化字符所对应的标准字符编码。同时云端服务平台中存储有目标图形,目标图像为标准字符编码所对应的标准样式,通过标准字符编码,可以在云端服务平台中查找与所述图形化字符所对应的目标图形。
作为一个例子,图形化字符可以是用户书写的楷体字,目标图像是对应的标准的楷体字形,通过识别用户书写的楷体字,可以查找到标准的楷体字形。
作为一种可选方式,可以通过将所述图形化字符与所述目标图形之间进行相似性判断,确定所述图形化字符的评价信息。
可以通过计算图形化字符与所述目标图形之间的相似度,通过相似度来判断用户书写的图形化字符是否标准,例如,当图形化字符与所述目标图形之间的相似度达到90%以上时,可以认定为用户的书写笔迹达到优秀的级别,此时评价信息中可以给出优秀的评价。
根据本公开实施例的一种具体实现方式,所述获取智能笔笔迹数据所对应的图形化文件,包括:
在智能笔完成笔迹书写之后,在云端服务平台中执行对智能笔笔迹的图形化操作;
在所述图形化完成之后,获取智能笔笔迹数据所对应的图形化文件。
根据本公开实施例的一种具体实现方式,所述对所述图形化文件中的图像字符进行目标识别,得到一个或多个图形化字符,包括:
对所述图形化文件中的图形字符执行边缘检测;
基于边缘检测的结果,确定所述一个或多个图形化字符。
根据本公开实施例的一种具体实现方式,所述基于所述图形化字符对应的标准字符编码,查找与所述图形化字符所对应的目标图形,包括:
对所述图形化字符进行图形识别,得到所述图形化字符所对应的标准字符编码;
基于所述标准字符编码,在预设的目标图形数据库中查找与所述标准字符编码所对应的目标图形。
根据本公开实施例的一种具体实现方式,所述通过将所述图形化字符与所述目标图形之间进行相似性判断,确定所述图形化字符的评价信息,包括:
对所述图形化字符与所述目标图形进行相似度计算,得到计算结果;
基于所述计算结果,生成针对所述图形化字符的评价信息。
根据本公开实施例的一种具体实现方式,所述通过将所述图形化字符与所述目标图形之间进行相似性判断,确定所述图形化字符的评价信息之后,所述方法还包括:
基于智能笔笔迹数据对应的笔迹矩阵和存储值,计算所述笔迹数据的第一特征;
获取所述笔迹数据对应的图形化文件中所包含的字符集合,以便于基于所述字符集合确定所述笔迹数据的第二特征。
根据本公开实施例的一种具体实现方式,所述方法还包括:
对所述字符集合对应的语义识别内容进行特征提取,得到所述笔迹数据的第三特征;
基于第一特征、第二特征和第三特征,确定所述智能笔笔迹数据所对应的书写行为特征。
作为一种可选方式,可以基于智能笔笔迹数据对应的笔迹矩阵和存储值,计算所述笔迹数据的第一特征。
笔迹矩阵是用户在书写完笔迹之后,对笔迹中包含的位置坐标、加速度值、压力值等表征笔迹特征的元素提炼出来的特征矩阵,用来标识用户笔迹的具体的信息及特征,通过笔迹矩阵能够还原用户的笔迹。
存储值是云端服务平台中已经存储的用户的历史笔迹矩阵的特征值,图形化文件中包含的字符与笔迹矩阵或存储值具有一一对应的关系,为此,可以直接基于该对应关系来查找生成所述图形化文件的笔迹矩阵及存储值。
当笔迹矩阵在云端服务平台中存在对应的存储值时,可以直接采用存储值来代替该笔迹矩阵。当笔迹矩阵在云端服务平台中不存在对应的存储值时,则计算笔迹矩阵的特征值;将所述特征值与所述存储值一起形成第一特征的特征向量。
作为一种可选方式,可以获取所述笔迹数据对应的图形化文件中所包含的字符集合,以便于基于所述字符集合确定所述笔迹数据的第二特征。
字符集合是对智能笔的书写笔迹图形化之后,通过对图形化文件进行字符识别的结果,通过对字符集合进行特征向量计算,可以得到字符集合对应的第二向量,将第二向量作为所述笔迹数据的第二特征。
作为一种可选方式,可以对所述字符集合对应的语义识别内容进行特征提取,得到所述笔迹数据的第三特征。
云端服务平台在得到字符集合之后,还需要通过语义分析的方式对字符集合中的内容进行语义分析,得到语义识别内容,通过对语义识别内容进行特征分析,可以进一步的得到笔迹数据的特征向量,作为第三特征。
作为一种可选方式,可以基于第一特征、第二特征和第三特征,确定所述智能笔笔迹数据所对应的书写行为特征。
作为一种方式,可以将第一特征、第二特征及第三特征作为特征向量,组成书写行为矩阵;通过计算书写行为举证的特征值的方式,可以将所述书写行为矩阵的特征值确定为所述智能笔笔迹数据所对应的书写行为特征,从而得到智能笔笔迹数据所对应的行为特征。
获得行为特征之后,可以将该行为特征作为笔迹数据的签名值,用来实现用户笔迹鉴定,用户使用智能笔书写的每一个字符都可识别书写人,可应用文件签名真伪认定、考试仿作弊等场景。
根据本公开实施例的一种具体实现方式,所述基于智能笔笔迹数据对应的笔迹矩阵和存储值,计算所述笔迹数据的第一特征,包括:计算笔迹矩阵的特征值;将所述特征值与所述存储值一起形成第一特征的特征向量。
根据本公开实施例的一种具体实现方式,所述获取所述笔迹数据对应的图形化文件中所包含的字符集合,以便于基于所述字符集合确定所述笔迹数据的第二特征,包括:对所述字符集合中的字符进行向量计算,得到第二向量;将所述第二向量作为所述第二特征的特征向量。
根据本公开实施例的一种具体实现方式,所述对所述字符集合对应的语义识别内容进行特征提取,得到所述笔迹数据的第三特征,包括:对所述语义识别内容进行向量计算,得到第三向量;将所述第三向量作为所述第三特征的特征向量。
根据本公开实施例的一种具体实现方式,所述基于第一特征、第二特征和第三特征,确定所述智能笔笔迹数据所对应的书写行为特征,包括:
基于所述第一特征、第二特征和第三特征构建书写行为矩阵;
将所述书写行为矩阵的特征值确定为所述智能笔笔迹数据所对应的书写行为特征。
根据本公开实施例的一种具体实现方式,所述基于智能笔笔迹数据对应的笔迹矩阵和存储值,计算所述笔迹数据的第一特征之前,所述方法还包括:
获取基于图形化文件形成的字符集合,所述图形化文件基于智能笔笔迹形成;
基于所述图形化文件对应的笔迹矩阵和存储值,在云端服务平台中预设的数据库中,判断是否存在与所述图形化文件对应的个性化语义数据库。
根据本公开实施例的一种具体实现方式,所述方法还包括:
当存在与所述图形化文件对应的个性化语义数据库时,调用所述个性化语义数据库对所述字符集合中的内容进行解析,得到解析结果;
基于所述解析结果,重新确定所述字符集合中的内容。
作为一种可选方式,可以获取基于图形化文件形成的字符集合,所述图形化文件基于智能笔笔迹形成。
图形化文件通过图形化的方式来展示智能笔的书写笔迹,为了进一步获取图形化文件中用户书写的内容,可以对图形化文件中的用户书写笔迹进行字符识别,从而得到图形化文件所对应的字符集合,通过字符集合,能够确定图形化文件中智能笔的书写内容。
然而,在对图形化文件进行字符化的过程中,存在识别错误的情况,为此需要基于识别后的字符集合在此进行内容解析和识别。
作为一种可选方式,可以基于所述图形化文件对应的笔迹矩阵和存储值,在云端服务平台中预设的数据库中,判断是否存在与所述图形化文件对应的个性化语义数据库。
笔迹矩阵是用户在书写完笔迹之后,对笔迹中包含的位置坐标、加速度值、压力值等表征笔迹特征的元素提炼出来的特征矩阵,用来标识用户笔迹的具体的信息及特征,通过笔迹矩阵能够还原用户的笔迹。
存储值是云端服务平台中已经存储的用户的历史笔迹矩阵的特征值,图形化文件中包含的字符与笔迹矩阵或存储值具有一一对应的关系,为此,可以直接基于该对应关系来查找生成所述图形化文件的笔迹矩阵及存储值。
除此之外,云端服务平台中还设置有个性化语义数据库,该个性化语义数据库基于针对图形化文件字符识别的历史记录生成,能够记录笔迹矩阵及存储值对应的个性化语义内容。
作为一种可选方式,可以当存在与所述图形化文件对应的个性化语义数据库时,调用所述个性化语义数据库对所述字符集合中的内容进行解析,得到解析结果。
具体的,可以将所述字符集合中的字符进行分词处理,得到一个或多个分词向量;将所述分词向量与所述个性化语义数据库中的语义向量进行向量比对;基于向量比对的结果,确定所述字符集合中的分词向量是否正确。
作为一种可选方式,可以基于所述解析结果,重新确定所述字符集合中的内容。
当分词向量与个性化语义数据库中的语义向量不一致时,使用个性化语义数据库中的语义向量对字符集合中的字符向量进行修正,进而重新确定字符集合中的内容。
根据本公开实施例的一种具体实现方式,所述获取基于图形化文件形成的字符集合,包括:判断所述云端服务平台中是否产生新的图形化文件;若是,则在所述云端服务平台对所述图形化文件完成字符识别之后,获得图形化文件识别得到的字符集合。
根据本公开实施例的一种具体实现方式,所述基于所述图形化文件对应的笔迹矩阵和存储值,在云端服务平台中预设的数据库中,判断是否存在与所述图形化文件对应的个性化语义数据库,包括:将所述笔迹矩阵和所述存储值输入到所述云端平台中的数据库中;查询是否存着与笔迹矩阵和所述存储值对应的个性化语义数据库。
根据本公开实施例的一种具体实现方式,所述调用所述个性化语义数据库对所述字符集合中的内容进行解析,包括:将所述字符集合中的字符进行分词处理,得到一个或多个分词向量;将所述分词向量与所述个性化语义数据库中的语义向量进行向量比对;基于向量比对的结果,确定所述字符集合中的分词向量是否正确。
根据本公开实施例的一种具体实现方式,所述基于所述解析结果,重新确定所述字符集合中的内容,包括:当所述解析结果中显示字符集合中的分词向量与所述个性化语义数据库中的语义向量不一致时,基于所述个性化语义数据库中的语义向量对所述分词向量中的内容进行修正。
根据本公开实施例的一种具体实现方式,所述获取基于图形化文件形成的字符集合之前,所述方法还包括:获取需要进行字符识别的图形化文件,所述图形化文件由智能笔的笔迹生成;在云端服务平台中查找生成所述图形化文件的笔迹矩阵及存储值。
根据本公开实施例的一种具体实现方式,所述方法还包括:在预设的字符识别数据库中,判断是否存在与所述笔迹矩阵及存储值对应的历史字符;若是,则直接使用所述历史字符作为图形化文件中待识别图形的字符。
作为一种可选方式,可以获取需要进行字符识别的图形化文件,所述图形化文件由智能笔的笔迹生成。
图形化文件通过智能笔书写的轨迹转化而成,用以通过图形的方式来展示智能笔的书写轨迹,该图形化文件可以是各种类型的图形文件。
在进行字符识别之前,可以在云端服务平台中直接查找新生成的图形化文件,通过获取需要实时进行字符识别的图形化文件。
作为一种可选方式,可以在云端服务平台中查找生成所述图形化文件的笔迹矩阵及存储值。
笔迹矩阵是用户在书写完笔迹之后,对笔迹中包含的位置坐标、加速度值、压力值等表征笔迹特征的元素提炼出来的特征矩阵,用来标识用户笔迹的具体的信息及特征,通过笔迹矩阵能够还原用户的笔迹。
存储值是云端服务平台中已经存储的用户的历史笔迹矩阵的特征值,图形化文件中包含的字符与笔迹矩阵或存储值具有一一对应的关系,为此,可以直接基于该对应关系来查找生成所述图形化文件的笔迹矩阵及存储值。
作为一种可选方式,可以在预设的字符识别数据库中,判断是否存在与所述笔迹矩阵及存储值对应的历史字符。
字符识别数据库中保存有之前已经识别过的字符,同时保存已经识别的字符与笔迹矩阵或存储值之间的一一对应关系,为此,可以直接在字符识别数据库中,直接查询是否存在与所述笔迹矩阵及存储值对应的历史字符。
作为一种可选方式,若是,则直接使用所述历史字符作为图形化文件中待识别图形的字符。
通过这种方式,能够基于历史识别记录来直接对待识别图形的字符进行识别,不用对每个图形化文件中的每个图形都进行字符识别,从而极大的提高了字符识别的效率。
根据本公开实施例的一种具体实现方式,所述在预设的字符识别数据库中,判断是否存在与所述笔迹矩阵及存储值对应的历史字符之后,所述方法还包括:
当预设的字符识别数据库中不存在与所述笔迹矩阵及存储值对应的历史字符时,直接对所述图形化文件上的字符进行识别;
将识别到的字符及其对应的笔迹矩阵或存储值保存到所述字符识别数据库中。
根据本公开实施例的一种具体实现方式,所述获取需要进行字符识别的图形化文件,包括:在所述云端服务平台中查找新生成的图形化文件;
将所述新生成的图形化文件作为需要进行字符识别的图形化文件。
根据本公开实施例的一种具体实现方式,所述在云端服务平台中查找生成所述图形化文件的笔迹矩阵及存储值,包括:在所述云端服务平台的数据采集模块中,查询所述图形化文件的笔迹矩阵及存储值。
根据本公开实施例的一种具体实现方式,所述在预设的字符识别数据库中,判断是否存在与所述笔迹矩阵及存储值对应的历史字符,包括:
将所述笔迹矩阵和所述存储值输入到所述字符识别数据库中执行查询操作;
基于查询操作的结果,判断是否存在与所述笔迹矩阵及存储值对应的历史字符。
根据本公开实施例的一种具体实现方式,所述直接使用所述历史字符作为图形化文件中待识别图形的字符,包括:
获取所述待识别图形在图形化文件中的位置坐标;
将所述历史字符设置在待识别图形在图形化文件中的位置坐标处,以得到字符识别结果。
根据本公开实施例的一种具体实现方式,所述获取需要进行字符识别的图形化文件之前,所述方法还包括:
获取需要图形化的笔迹数据,所述笔迹数据包括智能笔书写时的纸面信息、笔迹矩阵以及存储值,所述笔迹矩阵由智能笔客户端基于智能笔笔迹产生,所述存储值由云端服务平台基于用户的历史笔迹数据生成;
在云端服务平台的图形化模块中,查找与当前纸面信息所对应的笔迹矩阵及存储值;
基于所述笔迹矩阵与所述存储值所对应的生成时间,对所述笔迹矩阵及所述存储值进行排序,形成图形化排序结果;
基于所述图形化排序结果,在当前页面上依序按照所述笔迹矩阵与所述存储值所对应的图形样式,形成所述笔迹数据在当前页面的图形化文件。
作为一种可选方式,可以获取需要图形化的笔迹数据,所述笔迹数据包括智能笔书写时的纸面信息、笔迹矩阵以及存储值,所述笔迹矩阵由智能笔客户端基于智能笔笔迹产生,所述存储值由云端服务平台基于用户的历史笔迹数据生成。
笔迹数据在智能笔端生成之后,为了提高智能笔笔迹的识别效率,可以将智能笔的笔迹数据上传到云端服务平台,通过云端服务平台对笔迹数据进行处理,作为笔迹数据的一种方式,便是将笔迹数据转换为图形文件,通过图形文件来展示笔迹的真实的形状。
为此可以在笔迹数据中获取智能笔在书写时形成的纸面信息、笔迹矩阵以及存储值。
纸面信息用于描述智能笔在哪个纸面上进行了笔迹书写,例如,用户通过智能笔书写了10页的内容,此时可以通过1-10每个页面来查找用户书写的内容。
笔迹矩阵是用户在书写完笔迹之后,对笔迹中包含的位置坐标、加速度值、压力值等表征笔迹特征的元素提炼出来的特征矩阵,用来标识用户笔迹的具体的信息及特征,通过笔迹矩阵能够还原用户的笔迹。
存储值是云端服务平台中已经存储的用户的历史笔迹矩阵的特征值,当智能笔书写时生成的笔迹矩阵已经存在云端服务平台中存储的历史笔迹矩阵中时,此时便将历史笔迹矩阵的存储值来替代新生成的笔迹矩阵,从而节省数据的处理过程,降低系统资源。
作为一种可选方式,可以在云端服务平台的图形化模块中,查找与当前纸面信息所对应的笔迹矩阵及存储值。
云端服务平台中可以包括图形化模块,通过该图形化模块,能够查询数据库中存储的当前纸面信息所对应的笔迹矩阵及存储值,从而能够基于查询到的笔迹矩阵和存储值来还原用户之前的笔迹。
作为一种可选方式,可以基于所述笔迹矩阵与所述存储值所对应的生成时间,对所述笔迹矩阵及所述存储值进行排序,形成图形化排序结果。
具体的,可以采用升序或降序的方式,对所述笔迹矩阵及所述存储值所对应的笔迹进行排序,从而能够按照笔迹实际的生成顺序或倒序的方式,对当前页面的笔迹进行排序。
作为一种可选方式,可以基于所述图形化排序结果,在当前页面上依序按照所述笔迹矩阵与所述存储值所对应的图形样式,形成所述笔迹数据在当前页面的图形化文件。
在当前页面上依序按照所述笔迹矩阵与所述存储值所对应的图形样式进行排序之后,可以进一步获取每个笔迹矩阵或所述存储值所对应的压力值或位置坐标,通过压力值确定笔迹的粗细特征,通过位置坐标确定笔迹在当前页面的位置坐标,最终形成图形化的笔迹文件。
通过上述实施例的内容,能够快速的对笔迹执行图形化操作,提高了智慧课堂信息交互的效率。
根据本公开实施例的一种具体实现方式,所述获取需要图形化的笔迹数据,包括:在所述云端服务平台中查询新生成的笔迹数据;将所述新生成的笔迹数据认定为所述需要进行图形化的笔迹数据。
根据本公开实施例的一种具体实现方式,所述在云端服务平台的图形化模块中,查找与当前纸面信息所对应的笔迹矩阵及存储值,包括:基于获取到的智能笔的标识,在所述云端服务平台的数据库中执行查询操作;基于查询的结果,得到与当前纸面信息所对应的笔迹矩阵及存储值。
根据本公开实施例的一种具体实现方式,所述基于所述笔迹矩阵与所述存储值所对应的生成时间,对所述笔迹矩阵及所述存储值进行排序,包括:对所述笔迹矩阵与所述存储值的生成时间进行升序排列;基于升序排列的结果,确定所述笔迹矩阵及所述存储值的排列顺序。
根据本公开实施例的一种具体实现方式,所述基于所述图形化排序结果,在当前页面上依序按照所述笔迹矩阵与所述存储值所对应的图形样式,形成所述笔迹数据在当前页面的图形化文件,包括:按照时间顺序查找所述笔迹矩阵或所述存储值对应的笔迹位置坐标及压力值;基于所述笔迹位置坐标和所述压力值,生成所述笔迹矩阵或所述存储值对应的图形化笔迹。
根据本公开实施例的一种具体实现方式,所述获取需要图形化的笔迹数据之前,所述方法还包括:基于压力值和加速度值,对获取到的笔迹数据进行划分,形成多个笔迹数据段。
根据本公开实施例的一种具体实现方式,所述基于压力值和加速度值,对获取到的笔迹数据进行划分,形成多个笔迹数据段之后,所述方法还包括:将所述笔迹数据段所对应的时间序列、压力值序列、位置坐标序列及加速度值序列进行封装,形成与所述笔迹数据段对应的笔迹矩阵;将所述笔迹矩阵所对应的特征值发送给云服务平台中的数据采集模块,以便于所述数据采集模块查询云服务平台中已经存储的笔迹数据中是否存在与所述特征值相似的存储值;当所述云服务平台中已经存在与所述特征值相似的存储值时,直接调用所述存储值对应的存储矩阵作为所述特征值对应的特征矩阵。
智能笔在书写的过程中,通过点阵的方式能够生成智能笔的书写轨迹,书写轨迹可以包括智能笔的多种数据,比如,笔迹的生成时间,书写时笔尖的压力值、书写笔在书写纸上的位置坐标、书写时的加速度值等。通过将这些数据按照时间的训练进行采样排列,便可以形成时间序列、压力值序列、位置坐标序列及加速度值序列,时间序列、压力值序列、位置坐标序列及加速度值序列可以用来描述和还原用户的书写笔迹。
作为一种可选方式,可以基于压力值和加速度值,对所述笔迹数据进行划分,形成多个笔迹数据段。
智能笔的书写笔迹如果直接上传到服务器端进行数据处理,会由于数据量过大,导致数据的处理速度较慢,为此,需要对智能笔的笔迹数据进行处理。
作为一种方式,可以首先设置第一压力值阈值和第二加速度阈值。基于第一压力值阈值,对所述压力值序列进行划分,形成多个压力值序列,例如,可以将大于第一压力值阈值的压力值序列部分划分出来,形成一个或多个压力值序列,用以表示用户真实书写的一个或多个笔迹笔画。
在确定完压力值序列之后,还可以进一步的查找每个压力值序列所对应的加速度值序列,基于第二加速度值阈值,对所述加速度值序列进行裁剪操作,形成多个加速度值序列。通过第二加速度阈值,可以过滤到用户处于停顿状态的笔迹数据,从而进一步的简化分段后的笔迹数据。最后,基于所述加速度值序列对应的时间序列,对所述笔迹数据进行划分。
作为一种可选方式,可以将所述笔迹数据段所对应的时间序列、压力值序列、位置坐标序列及加速度值序列进行封装,形成与所述笔迹数据段对应的笔迹矩阵。
可以将时间序列、压力值序列、位置坐标序列及加速度值序分别作为行向量或者列向量,进而形成一个或多个与笔迹数据段对应的笔迹矩阵。
作为一种可选方式,可以将所述笔迹矩阵所对应的特征值发送给云服务平台中的数据采集模块,以便于所述数据采集模块查询云服务平台中已经存储的笔迹数据中是否存在与所述特征值相似的存储值;当所述云服务平台中已经存在与所述特征值相似的存储值时,直接调用所述存储值对应的存储矩阵作为所述特征值对应的特征矩阵,当所述云服务平台中不存在与所述特征值相似的存储值时,则通知生成所述特征数据的智能笔客户端上传所述笔迹矩阵至所述数据采集模块。
存储值是基于用户之前的书写笔迹形成的书写特征值,通过比较特征值与存储值之间是否存在相似,可以决定是否调用云服务平台中已经存储的存储矩阵,用存储矩阵中的数值来直接代替笔迹矩阵中的数据,从而进一步的减少了数据的传输和计算量,提高了笔迹处理的效率。
通过上传特征值的方式,可以进一步的减少数据的计算量,简化数据的计算过程。
根据本公开实施例的一种具体实现方式,所述获取智能笔的笔迹数据,包括:监控所述智能笔的是否存在压力数据产生;若存在,则对所述智能笔产生的笔迹数据进行采集操作。
根据本公开实施例的一种具体实现方式,所述于压力值和加速度值,对所述笔迹数据进行划分,包括:基于第一压力值阈值,对所述压力值序列进行划分,形成多个压力值序列。基于第一压力值阈值,对所述压力值序列进行划分,形成多个压力值序列,例如,可以将大于第一压力值阈值的压力值序列部分划分出来,形成一个或多个压力值序列,用以表示用户真实书写的一个或多个笔迹笔画。
查找每个压力值序列所对应的加速度值序列;基于第二加速度值阈值,对所述加速度值序列进行裁剪操作,形成多个加速度值序列。基于第二加速度值阈值,对所述加速度值序列进行裁剪操作,形成多个加速度值序列。通过第二加速度阈值,可以过滤到用户处于停顿状态的笔迹数据,从而进一步的简化分段后的笔迹数据。基于所述加速度值序列对应的时间序列,对所述笔迹数据进行划分。通过上述实施方式,能够通过设置阈值的方式,进一步的减少数据的计算量。
根据本公开实施例的一种具体实现方式,所述将所述笔迹数据段所对应的时间序列、压力值序列、位置坐标序列及加速度值序列进行封装,包括:
将时间序列、压力值序列、位置坐标序列及加速度值序列作为矩阵的行向量,以时间顺序对形成所述笔迹数据段对应的笔迹矩阵。
根据本公开实施例的一种具体实现方式,所述将所述笔迹矩阵所对应的特征值发送给云服务平台中的数据采集模块之前,所述方法还包括:
分别计算划分后的笔迹数据的特征值,形成所述笔迹数据的特征值序列。
根据本公开实施例的一种具体实现方式,所述方法还包括:
利用所述云服务平台中的图形化模块,对所述数据采集模块获得的笔迹数据进行图形化处理,得到智能笔的笔迹图像数据。
根据本公开实施例的一种具体实现方式,所述方法还包括:针对所述笔迹图像数据,利用云服务平台中的字符识别模块进行字符识别,得到与所述笔迹图像数据对应的字符数据;通过云服务平台中的内容解析模块,对所述字符数据进行内容解析服务,形成与所述笔迹数据对应的书写内容数据。
智能笔作为一个电子设备终端,可以在用户的使用下以压力、加速度值等方式采集用户的书写数据,从而形成书写数据,这些书写数据作为用户的笔迹数据,通过无线或有线的方式传递给云服务平台。
云服务平台是通过有线或无线方式与智能笔终端通信连接的平台,在云服务平台中可以设置多个数据处理模块,通过这些处理模块对智能笔产生的书写数据进行处理和分析,从而使得用户书写笔迹的识别和鉴定变得更加的准确和高效。
作为一种方式,在云服务平台中设置有数据采集模块,通过该数据采集模块,能够对用户书写的笔迹数据进行采集和存储。
数据采集模块可以设置为具有极高的灵活性和可扩展性,可依据数据采集需要及时调整资源配置,保证系统快速响应,避免因业务量快速扩张引起的数据阻塞。
数据采集模块设置有数据存储服务单元,用于采用大数据架构中的分布式数据存储服务,支持高并发的数据存储服务,且对分布式计算提供支持。
数据采集模块采集到的用户的书写笔迹通常以时间、位置坐标、压力值、加速度值等方式进行存储,为此,需要对采集到的笔迹数据进行图像化处理,还原成用户真实的书写笔迹。
为此,可以将采集到原笔迹数据的时间、配置、移动以及压力等各种数据进行结构化处理,通过图形化计算模块,可将原笔迹数据计算为图像和视频数据,最后以位图、矢量图和动态视频等多种输出格式进行输出,以图像的形式来固话用户的书写笔迹。
得到书写对应的笔迹图像数据之后,可以利用云服务平台中设置的字符识别模块对图形化的字符进行识别,从而得到笔迹图像对应的字符数据。
可以在字符识别模块中设置手写笔迹的字符识别功能,将用户书写的数据快速转化为电脑能识别的标准字符,例如,可以设置汉字、字母、符号和公式等内容的识别字符。
作为一种可选方式,可以在笔迹识别的过程中采用基于字符识别模块中加入了基于自然语言处理技术的语义理解功能,可根据上下文的文本内容计算字符内容的概率,提高字符识别的准确度。
对用户书写笔迹识别为标准字符后,可以利用云服务平台设置的内容解析模块执行自然语言处理、机器学习、深度学习等人工智能技术对内容进行解析,包括字符内容的实体识别、关系抽取、语义理解、摘要提取、关键词提取以及知识图谱构建等服务。
通过对内容进行解析,可以综合用户书写笔迹的全部上下文内容对用户的书写内容进行总体判断和分析,进一步提高了书写内容数据的准确性。
通过上述实施例的内容和方案,能够在云端对用户的书写笔迹进行处理,从而提高了智能笔书写笔迹的处理效率和准确度。
根据本公开实施例的一种具体实现方式,所述形成与所述笔迹数据对应的书写内容数据之后,所述方法还包括:基于所述内容数据,对用户的书写行为进行特征分析,形成与用户对应的书写特征字体库。例如,可以对用户的书写行为包括单个字符的书写特性、特定等画书写特征、整体书写习惯、书写速度等书写特征进行提取和分析,可生成特定用户的独有字符特征库,实现用户笔迹鉴定,用户使用智能笔书写的每一个字符都可识别书写人,可应用文件签名真伪认定、考试仿作弊等场景。
根据本公开实施例的一种具体实现方式,所述形成与所述笔迹数据对应的书写内容数据之后,所述方法还包括:将所述笔迹图像数据与预设的目标笔迹数据进行目标特征对比和分析,并基于对比和分析的结果确定所述笔迹图像数据的分析结果。例如,可以系统接收预置书写/绘画的目标字符/图形,采集用户书写的内容,利用图形哈希值对比、余弦相似度对比、互信息对比等方法计算目标与书写结果的相似性,用于判断用户书写内容与目标的相似性,可应用于书法学习、绘画学习等场景。
根据本公开实施例的一种具体实现方式,所述形成与所述笔迹数据对应的书写内容数据之后,所述方法还包括:
首先,将所述内容数据与预设的目标数据进行比对,形成内容比对结果。
作为一种应用场景,内容数据可以是用户进行考试等过程中书写的解答数据,而目标数据则是考试内容对应的答案数据,通过将内容数据和目标数据进行比对,可以形成比对结果。
其次,基于所述内容比对结果,确定所述内容数据与目标数据之间的相似度值。
通过上述步骤形成的比对结果,能够确定内容数据与目标数据之间的相似度值,从而进一步的确定用户解答的笔迹数据的正确率。通过该实施例的内容,能够进一步的基于用户的书写数据判断用户书写的内容是否正确。
根据本公开实施例的一种具体实现方式,所述形成与所述笔迹数据对应的书写内容数据之后,所述方法还包括:将所述笔迹图像数据和所述内容数据同时发送给客户端,以便于所述客户端显示所述笔迹图像数据或所述内容数据。
根据本公开实施例的一种具体实现方式,所述形成与所述笔迹数据对应的书写内容数据之后,所述方法还包括:对所述内容数据进行识别,判断所述内容数据中是否存在表格内容数据;若是,则以表格形式显示所述表格内容数据。
通过这种方式,能够将需要通过表格方式显示的数据识别出来,并通过表格的方式对该部分内容进行显示,从而提高了智能笔数据的处理功能。
根据本公开实施例的一种具体实现方式,所述形成与所述笔迹数据对应的书写内容数据之后,所述方法还包括:对所述内容数据进行语义分析,判断是否存在与所述内容数据响应的推荐数据。推荐数据可以是与内容数据对应的数据,作为一个例子,内容数据是医生通过手写等方式书写的用户的病例数据,则通过分析该病例数据,可以推荐与该病例数据对应的处方数据(推荐数据),从而方便医生根据实际的需要选择部分推荐数据。若存在,则生成与所述内容数据所对应的推荐数据。通过该实施方式,能够进一步的提高书写内容数据的书写效率。
与上面的实施例相对应,参见图5,本申请实施例还公开了一种智慧课堂信息交互装置50,包括:
获取模块501,用于获取智能笔在预设书写区域形成的笔迹数据,所述书写区域具有生成所述笔迹数据的感应装置,所述感应装置通过通信方式与显示装置连接;
形成模块502,用于在云端服务平台对从所述感应装置接收到的所述笔迹进行数据处理,形成与所述笔迹数据对应的图形化文件、字符集合及解析内容;
接收模块503,用于在云端服务平台中接收用户在显示装置上交互操作过程中形成的交互指令,以便于对所述交互指令进行解析,形成解析结果;
发送模块504,用于基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示。
本实施例未详细描述的部分,参照上述方法实施例中记载的内容,在此不再赘述。
参见图6,本公开实施例还提供了一种电子设备60,该电子设备包括:
至少一个处理器;以及,
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行前述方法实施例中的智慧课堂信息交互方法。
本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行前述方法实施例中的的智慧课堂信息交互方法。
下面参考图6,其示出了适于用来实现本公开实施例的电子设备60的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备60可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备60操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备60与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备60,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM602被安装。在该计算机程序被处理装置601执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取至少两个网际协议地址;向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求,其中,所述节点评价设备从所述至少两个网际协议地址中,选取网际协议地址并返回;接收所述节点评价设备返回的网际协议地址;其中,所获取的网际协议地址指示内容分发网络中的边缘节点。
或者,上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:接收包括至少两个网际协议地址的节点评价请求;从所述至少两个网际协议地址中,选取网际协议地址;返回选取出的网际协议地址;其中,接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种智慧课堂信息交互方法,其特征在于,包括:
获取智能笔在预设书写区域形成的笔迹数据,所述书写区域具有生成所述笔迹数据的感应装置,所述感应装置通过通信方式与显示装置连接;
在云端服务平台对从所述感应装置接收到的所述笔迹进行数据处理,形成与所述笔迹数据对应的图形化文件、字符集合及解析内容;
在云端服务平台中接收用户在显示装置上交互操作过程中形成的交互指令,以便于对所述交互指令进行解析,形成解析结果;
基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示;
通过所述图形化文件所包含的文件标识,查找与所述笔迹数据对应的目标内容;
通过将所述解析内容与所述目标内容之间进行相似性判断,确定所述图形化文件的评价内容;
所述通过将所述解析内容与所述目标内容之间进行相似性判断,确定所述图形化文件的评价内容,包括:分别对所述解析内容和所述目标内容进行矢量化计算,得到解析内容向量和目标内容向量;对所述解析内容向量和所述目标内容向量进行相似性计算,得到相似性计算结果;基于所述相似性计算结果,确定所述图形化文件所对应的评价内容。
2.根据权利要求1所述的方法,其特征在于,所述获取智能笔在预设书写区域形成的笔迹数据,包括:
判断所述智能笔的压力传感器产生的压力值是否大于预设值;
若是,则在所述书写区域采集所述智能笔生成的笔迹数据,所述笔迹数据包括智能笔生成的压力值、位置坐标、时间值以及加速度值。
3.根据权利要求2所述的方法,其特征在于,所述在云端服务平台对从所述感应装置接收到的所述笔迹进行数据处理,包括:
基于所述笔迹数据中包含的压力值、位置坐标、时间值以及加速度值,对所述智能笔的轨迹进行还原,形成图形化文件;
对所述图形化文件进行字符识别,得到所述笔数据对应的字符集合;
对所述字符集合中的内容进行语义解析,得到所述笔迹数据的解析内容。
4.根据权利要求1所述的方法,其特征在于,所述在云端服务平台中接收用户在显示装置上交互操作过程中形成的交互指令,包括:
获取用户在所述显示装置上的交互手势;
对所述交互手势进行解析,确定所述交互手势所对应的交互指令。
5.根据权利要求1所述的方法,其特征在于,所述基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示,包括:
当所述解析结果中的交互指令为书写指令时,将所述图形化文件发送到所述显示装置上,以便于实时显示用户的手写轨迹。
6.根据权利要求5所述的方法,其特征在于,所述基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示,还包括:
当所述解析结果中的交互指令为输入指令时,将所述图形化文件及所述字符集合一起发送到所述显示装置上,以便于显示用户手写轨迹的同时,显示手写轨迹对应的字符;
当所述解析结果中的交互指令为内容输入指令时,将所述解析内容发送至所述显示装置上。
7.根据权利要求1所述的方法,其特征在于,所述文件标识为试题编号,所述目标内容为试题的答案。
8.一种智慧课堂信息交互装置,其特征在于,包括:
获取模块,用于获取智能笔在预设书写区域形成的笔迹数据,所述书写区域具有生成所述笔迹数据的感应装置,所述感应装置通过通信方式与显示装置连接;
形成模块,用于在云端服务平台对从所述感应装置接收到的所述笔迹进行数据处理,形成与所述笔迹数据对应的图形化文件、字符集合及解析内容;
接收模块,用于在云端服务平台中接收用户在显示装置上交互操作过程中形成的交互指令,以便于对所述交互指令进行解析,形成解析结果;
发送模块,用于基于所述解析结果,将所述图形化文件、字符集合及解析内容中的一个或多个发送至所述显示装置上进行交互显示。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述权 利要求1-7中任一项所述的智慧课堂信息交互方法。
10.一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述权利要求1-7中任一项所述的方法。
CN202011298632.2A 2020-11-19 2020-11-19 智慧课堂信息交互方法、装置及电子设备 Active CN112507806B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011298632.2A CN112507806B (zh) 2020-11-19 2020-11-19 智慧课堂信息交互方法、装置及电子设备
PCT/CN2020/138431 WO2022105005A1 (zh) 2020-11-19 2020-12-22 智慧课堂信息交互方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011298632.2A CN112507806B (zh) 2020-11-19 2020-11-19 智慧课堂信息交互方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112507806A CN112507806A (zh) 2021-03-16
CN112507806B true CN112507806B (zh) 2022-05-27

Family

ID=74957065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011298632.2A Active CN112507806B (zh) 2020-11-19 2020-11-19 智慧课堂信息交互方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN112507806B (zh)
WO (1) WO2022105005A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113301393B (zh) * 2021-04-22 2023-06-30 深圳市鹰硕智能科技有限公司 流媒体数据的播放与互动方法、装置、系统及存储介质
CN114580429A (zh) * 2022-01-26 2022-06-03 云捷计算机软件(江苏)有限责任公司 一种基于人工智能的语言和图像理解集成服务系统
CN116258421B (zh) * 2023-05-15 2023-07-21 北京一起教育科技发展有限公司 课堂激励的方法、装置、设备及存储介质
CN116577451B (zh) * 2023-05-31 2023-10-17 华谱科仪(北京)科技有限公司 一种大型色谱仪数据管理系统及方法
CN117315790B (zh) * 2023-11-28 2024-03-19 恒银金融科技股份有限公司 手部书写动作的分析方法和智能笔

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604121A (zh) * 2003-09-29 2005-04-06 阿尔卡特公司 分布式手写识别方法、系统、客户端和服务器端
CN101388068A (zh) * 2007-09-12 2009-03-18 汉王科技股份有限公司 数学公式识别编码方法
CN104615367A (zh) * 2015-01-14 2015-05-13 中国船舶重工集团公司第七0九研究所 基于手写输入状态自适应判断处理的笔式交互方法及系统
CN109885248A (zh) * 2019-02-28 2019-06-14 深圳市泰衡诺科技有限公司 一种基于智能终端的书写内容处理方法及一种智能终端
CN110598739A (zh) * 2019-08-07 2019-12-20 广州视源电子科技股份有限公司 图文转换方法、设备、智能交互方法、设备及系统、客户端、服务器、机器、介质
CN111079641A (zh) * 2019-12-13 2020-04-28 科大讯飞股份有限公司 作答内容识别方法、相关设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1604121A (zh) * 2003-09-29 2005-04-06 阿尔卡特公司 分布式手写识别方法、系统、客户端和服务器端
CN101388068A (zh) * 2007-09-12 2009-03-18 汉王科技股份有限公司 数学公式识别编码方法
CN104615367A (zh) * 2015-01-14 2015-05-13 中国船舶重工集团公司第七0九研究所 基于手写输入状态自适应判断处理的笔式交互方法及系统
CN109885248A (zh) * 2019-02-28 2019-06-14 深圳市泰衡诺科技有限公司 一种基于智能终端的书写内容处理方法及一种智能终端
CN110598739A (zh) * 2019-08-07 2019-12-20 广州视源电子科技股份有限公司 图文转换方法、设备、智能交互方法、设备及系统、客户端、服务器、机器、介质
CN111079641A (zh) * 2019-12-13 2020-04-28 科大讯飞股份有限公司 作答内容识别方法、相关设备及可读存储介质

Also Published As

Publication number Publication date
WO2022105005A1 (zh) 2022-05-27
CN112507806A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112507806B (zh) 智慧课堂信息交互方法、装置及电子设备
CN112486338A (zh) 医疗信息处理方法、装置及电子设备
CN110674349B (zh) 视频poi识别方法、装置及电子设备
CN112131926A (zh) 点阵书写内容的记录方法、装置及电子设备
CN112486337B (zh) 笔迹图形分析方法、装置及电子设备
CN115393872B (zh) 一种训练文本分类模型的方法、装置、设备及存储介质
CN112487871B (zh) 笔迹数据处理方法、装置及电子设备
CN112487883A (zh) 智能笔书写行为特征分析方法、装置及电子设备
CN112487876A (zh) 智能笔字符识别方法、装置及电子设备
CN110826619A (zh) 电子卷宗的文件分类方法、装置及电子设备
CN112487897B (zh) 笔迹内容评价方法、装置及电子设备
CN112487774A (zh) 书写表单电子化方法、装置及电子设备
CN111914713A (zh) 点阵书写内容的记录方法、装置及电子设备
CN111949145A (zh) 智能笔图像处理方法、装置及电子设备
CN111741329A (zh) 一种视频处理方法、装置、设备及存储介质
CN113486171B (zh) 一种图像处理方法及装置、电子设备
CN113837157B (zh) 题目类型识别方法、系统和存储介质
CN112487881B (zh) 笔迹内容解析方法、装置及电子设备
CN114708443A (zh) 截图处理方法及装置、电子设备和计算机可读介质
CN112487875A (zh) 笔迹图形化方法、装置及电子设备
CN114443022A (zh) 生成页面搭建区块的方法及电子设备
CN112308745A (zh) 用于生成信息的方法和装置
CN110852042A (zh) 字符类型转换方法和装置
CN112486336A (zh) 基于云服务平台的智能笔数据处理方法、装置及电子设备
KR101667910B1 (ko) 디지털 인공 필기 데이터를 생성하는 방법, 장치 및 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 301, building D, Hongwei Industrial Zone, No.6 Liuxian 3rd road, Xingdong community, Xin'an street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Yingshuo Intelligent Technology Co.,Ltd.

Address before: 518000 202b, 2nd floor, building 1, Jianda Industrial Park, Xin'an street, Bao'an District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen YINGSHUO Education Service Co.,Ltd.

CP03 Change of name, title or address