CN110263041A - 一种运动轨迹信息的单界面显示方法及系统 - Google Patents

一种运动轨迹信息的单界面显示方法及系统 Download PDF

Info

Publication number
CN110263041A
CN110263041A CN201910531122.6A CN201910531122A CN110263041A CN 110263041 A CN110263041 A CN 110263041A CN 201910531122 A CN201910531122 A CN 201910531122A CN 110263041 A CN110263041 A CN 110263041A
Authority
CN
China
Prior art keywords
acquisition device
data acquisition
data
list
stroke
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910531122.6A
Other languages
English (en)
Other versions
CN110263041B (zh
Inventor
俞雷
赵琳娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zibohui Information Technology Co Ltd
Original Assignee
Nanjing Zibohui Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zibohui Information Technology Co Ltd filed Critical Nanjing Zibohui Information Technology Co Ltd
Priority to CN201910531122.6A priority Critical patent/CN110263041B/zh
Publication of CN110263041A publication Critical patent/CN110263041A/zh
Application granted granted Critical
Publication of CN110263041B publication Critical patent/CN110263041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Abstract

本发明涉及一种运动轨迹信息的单界面显示方法，包括：各第一数据采集装置采集第一点阵数据以及音视频数据并发送给服务器；服务器获取每个第一数据采集装置对应的第一数据采集装置列表；第一数据采集装置列表包括第一数据采集装置的MAC地址；服务器对每个第一数据采集装置列表和第一音视频数据进行结构化存储；终端接收服务器发送的第一数据采集装置列表、笔画列表和笔画点列表、第一音视频数据并将第一音视频数据与第一数据采集装置列表进行第一关联后，在同一书写界面上、页码ID下，显示每个的运动轨迹信息；并在第一关联图标被触发时，播放第一音视频数据。由此，可根据页码ID同屏显示多个运动轨迹，为在线远程辅导提供了一种新形式。

Description

一种运动轨迹信息的单界面显示方法及系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种运动轨迹信息的单界面显示方法及系统。
背景技术
在现有的互动教学中，在在线辅导和远程会议等多人教学场景下，多屏显示每个参与者的视频是常见的一种互动方式，同时在现在的互动教学中，基于平板的多人教学场景下，每个平板上相关内容多屏显示也是一种非常常见的教学互动模式。然而在工作和学习场景下，不仅需要和教师互动，还需要学生之间、或者多个学生、老师之间同时进行互动，那么此种场景下，实现书写的轨迹信息的显示往往需要借助于外加摄像设备。
发明内容
本发明的目的是针对现有技术中存在的缺陷，提供一种运动轨迹信息的单界面显示方法及系统，以解决现有技术中的需要借助于摄像设备来捕捉书写的动作，且不能进行多参与者同时互动的问题。
为实现上述目的，本发明提供了一种运动轨迹信息的单界面显示方法，所述方法包括：
多个第一数据采集装置中的各第一数据采集装置采集所经过的点阵区域的第一点阵数据以及第一音视频数据；
第一数据采集装置对所述第一点阵数据、所述第一音视频数据编码后，生成第一数据包；
第一数据采集装置将所述第一数据包发送给服务器；
服务器对所述第一数据包进行解析，得到第一点阵数据和第一音视频数据；
服务器根据所述第一点阵数据，获取每个第一数据采集装置对应的第一数据采集装置列表；所述第一数据采集装置列表包括第一数据采集装置的MAC地址；
服务器对每个所述第一数据采集装置列表和所述第一音视频数据进行结构化存储；所述结构化存储具体为每个第一数据采集装置列表下包括笔画列表；所述笔画列表下包括笔画点列表；所述笔画点列表包括每个笔画所在的纸张的页码ID、笔画从起点到终点所经历的每个笔画点的位置坐标、每个所述笔画点的时间戳和每个笔画点的压感数据；
服务器将所述第一数据采集装置列表、所述笔画列表和所述笔画点列表、所述第一音视频数据发送给终端；
终端接收所述服务器发送的第一数据采集装置列表、所述笔画列表和所述笔画点列表、所述第一音视频数据；
终端将每个第一数据采集装置的所述第一音视频数据与第一数据采集装置列表进行第一关联，并生成关联图标；
终端根据所述服务器发送的第一数据采集装置列表的数量，通过预设的规则，以一个第一数据采集装置的页码ID对应的背景图片为背景，在同一书写界面上，同一页码ID下，根据每个第一数据采集装置对应的笔画点的时间戳、压感数据和位置坐标，显示每个第一数据采集装置的运动轨迹信息；
当关联图标中的第一关联图标被触发时，所述终端播放对应的第一数据采集装置的第一音视频数据。
在一种可能的实现方式中，所述端根据所述服务器发送的第一数据采集装置列表的数量，通过预设的规则，以一个第一数据采集装置的页码ID对应的背景图片为背景，具体包括：
所述终端根据所述第一数据采集装置列表的数量，取中间的第一数据采集装置的页码ID对应的背景图片为背景。
在一种可能的实现方式中，所述在同一书写界面上，同一页码ID下，根据每个数据采集装置对应的笔画点的时间戳、压感数据和位置坐标，显示每个数据采集装置的运动轨迹信息，具体包括：
在同一书写界面上，当页码ID相同时，在书写界面的第一区域，终端根据每个笔画点的时间戳和位置坐标，在每个第一数据采集装置对应的第一子区域内，按照时间顺序呈现运动轨迹信息的动态过程；
在呈现运动轨迹信息的动态过程中，终端根据每个笔画点的压感数据，呈现运动轨迹信息的粗细。
在一种可能的实现方式中，所述第一区域包括多个第一子区域，多个所述第一子区域按列排布在所述第一区域内。
在一种可能的实现方式中，所述方法还包括：
在书写界面上的第二区域，显示多个第一数据采集装置的列表。
在一种可能的实现方式中，在进行第一关联时，所述关联图标与第二列表中的MAC地址相关联，当第二区域内的MAC地址被触发时，播放该MAC地址对应的第一音视频数据。
在一种可能的实现方式中，所述第一数据采集装置和所述服务器通过有线连接或无线连接；
当为有线连接时，所述第一数据采集装置上的接口具体为USB接口，MiniUSB接口、MicroUSB接口、并口、串口；
当为无线连接时，所述第一数据采集装置上的接口具体为蓝牙接口、红外接口、Wifi接口、2.4-5.0GHz波段接口或者无线通信接口。
在一种可能的实现方式中，所述方法还包括：
交换机接收所述第一数据采集装置发送的第一点阵数据和第一音视频数据，并将所述第一点阵数据和所述第一音视频数据转发给所述服务器。
在一种可能的实现方式中，所述方法之后还包括：
第二数据采集装置采集所经过的点阵区域的第二点阵数据以及第二音视频数据；
第二数据采集装置对所述第二点阵数据、所述第二音视频数据编码后，生成第二数据包；
第二数据采集装置将所述第二数据包发送给服务器；
服务器对所述第二数据包进行解析，得到第二点阵数据和第二音视频数据；
服务器根据所述第二点阵数据，获取第二数据采集装置对应的第二数据采集装置列表；所述第二数据采集装置列表包括第二数据采集装置的MAC地址；
服务器对所述第二数据采集装置列表和所述第二音视频数据进行结构化存储；所述结构化存储具体为第二数据采集装置列表下包括笔画列表；所述笔画列表下包括笔画点列表；所述笔画点列表包括每个笔画所在的纸张的页码ID、笔画从起点到终点所经历的每个笔画点的位置坐标、每个所述笔画点的时间戳和每个笔画点的压感数据；
服务器将所述第二数据采集装置列表、所述笔画列表和所述笔画点列表、所述第二音视频数据发送给终端；
终端接收所述服务器发送的第二数据采集装置列表、所述笔画列表和所述笔画点列表、所述第二音视频数据；
终端将第二数据采集装置的所述第二音视频数据与第二数据采集装置列表进行第二关联，并生成关联图标；
终端根据第二数据采集装置对应的笔画点的时间戳、压感数据和位置坐标，在书写界面的第三区域显示第二数据采集装置的运动轨迹信息；
当第二关联中的关联图标被触发时，所述终端播放所述第二数据采集装置的第二音视频数据。
第二方面，本发明提供了一种运动轨迹信息的单界面显示系统，所述运动轨迹信息的单界面显示系统包括第一方面以及第一方面任意一种可能的实现方式中的多个第一数据采集装置、服务器、终端和第二数据采集装置。
由此，通过本发明实施例提供的运动轨迹信息的单界面显示方法及系统，可捕获多个用户的书写的运动轨迹信息和音视频数据，并根据页码ID，同屏显示，为在线远程辅导提供了一种新形式。
附图说明
图1为本发明实施例一提供的运动轨迹信息的单界面显示方法流程示意图；
图2为本发明实施例一提供的点阵区域示意图；
图3为本发明实施例一提供的结构化存储示意图；
图4为本发明实施例一提供的pdf文件与点阵的示意图；
图5为本发明实施例一提供的页码ID示意图；
图6为本发明实施例二提供的运动轨迹信息的单界面显示系统结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明技术方案中的终端，包括但不限于台式电脑、笔记本电脑、平板电脑、智能手机等。
图1为本发明实施例一提供的运动轨迹信息的单界面显示方法流程示意图。如图1所示，该方法包括以下步骤：
步骤101,多个第一数据采集装置中的各第一数据采集装置采集所经过的点阵区域的第一点阵数据以及第一音视频数据。
步骤102，第一数据采集装置对所述第一点阵数据、所述第一音视频数据编码后，生成第一数据包。
步骤103，第一数据采集装置将所述第一数据包发送给服务器。
其中，第一数据采集装置可以为在线辅导的学生所持有的装置，由于在线辅导的人数的不同，第一数据采集装置的数量为多个。
具体的，第一数据采集装置为具有点阵识别功能的点阵数码笔，内置有压力传感器、处理器、摄像头、存储器、音视频采集模块和通讯模块等。
在一种可能的实现方式中，第一数据采集装置上还可以集成有另一个摄像头和语音采采集装置，该另一个摄像头的位置和上一个摄像头的位置不同，从而通过该摄像头可以采集用户的面部图像。通过语音采集装置可以采集用户的语音信息。
在另一种可能的实现方式中，另一个摄像头和语音采集装置可以以其他方式，进行第一音视频数据的采集。其他方式为与上一种可能的实现方式不同的方式，比如，两者并不集成在第一数据采集装置上，而是单独集成，或者不集成，以采集第一音视频数据。
当两者并不集成在第一数据采集装置上时，第一点阵数据和第一音视频数据具有各自的时间戳，对各自的时间戳进行同步处理后，编码为第一数据包。
当压力传感器接收到压力信号后，启动摄像头，摄像头为高速摄像头，可以以每秒100张的速度对笔尖所经过的点阵进行拍照，记录笔尖在书写过程中的X,Y坐标值，得到每一个笔画点的位置坐标从而实现笔迹的精确采集。处理器会记录笔尖运动的时间戳，记录每个笔画点的书写顺序和书写速度。同时点阵数码笔内置的压力传感器，会记录笔尖下压的力度，得到压感数据，并在后续过程中会将压感数据转化为书写笔画的轻重和粗细呈现。即：基于微米级的X，Y坐标采录汉字书写结构和笔画精确位置；基于时间戳的坐标点采录汉字书写的笔画顺序和速度；基于笔尖压力传感器采录汉字笔画书写的轻重粗细，得到压感数据。这些位置坐标、压感数据、速度信息等，统称为第一点阵数据。
以写一个汉字“山”为例。
汉字“山”的第一笔：中竖的落笔Pendown和抬笔Penup，以及坐标点coordinate信息：包括笔的序列号(即笔的MAC地址)，类型，每个笔画点的时间戳，每个笔画点的序号，每个笔画点的坐标信息，即坐标X，坐标Y，纸张的页码ID，压感数据等。
通过数据接口向终端设备发送数据有两种方式，一种是实时发送，第一数据采集装置内置的处理器实时将点阵数据编码成标准传输数据包，将数据包的包头添加第一数据采集装置的MAC地址，然后数据接口实时将传输数据包通过有线或无线方式传输到终端设备。
另外一种是非实时发送，处理器实时将点阵数据编码成标准传输数据包，将数据包的包头添加第一数据采集装置的MAC地址，然后存储在存储器中，在设定时间或者其他非实时方式由数据接口将存储器中存储的传输数据包向终端设备传输。其中，数据接口为有线数据接口或无线数据接口；有线数据接口具体为USB接口，MiniUSB接口、MicroUSB接口、并口、串口；无线数据接口具体为蓝牙接口、红外接口、Wifi接口、2.4-5.0GHz波段接口或者无线通信接口。
点阵区域具体包括：具有点阵图案的书写纸、具有点阵图案的白板、显示点阵图案的电子显示屏。
点阵区域由若干个点组成，按照特殊算法规则排列组成，如图2所示。例如，每36个点，排列组合成一个点阵。两点之间的平均距离为0.3mm。每个点阵的大小为1.8mm×1.8mm。点阵通过特殊的编码方式，代表着特殊的坐标位置信息。
其中，普通的pdf电子文件(可能印有文字、图片、表格等内容信息)，在ZBform表单数据采集平台上，经过专用的点阵铺设接口，为电子档文件追加铺上一层点阵背景图案，然后打印或印刷出来。这样数码笔书写在这样的纸张上，就能够捕捉点阵的相关信息，从而获得精准的位置信息，而且每页纸铺设的点阵信息是不同的，其纸张的编号不同，从而可以实现页码甚至不同读物间的切换和定位。
在发送点阵数据时，还可以给该点阵数据添加一个发送时间的时间戳，从而便于后续通过各个点阵数据的发送时间戳、对各个第一数据采集装置进行同步处理。
步骤104，服务器对所述第一数据包进行解析，得到第一点阵数据和第一音视频数据。
步骤105，服务器根据所述第一点阵数据，获取每个第一数据采集装置对应的第一数据采集装置列表；所述第一数据采集装置列表包括第一数据采集装置的MAC地址。
步骤106，服务器对每个所述第一数据采集装置列表和所述第一音视频数据进行结构化存储；所述结构化存储具体为每个第一数据采集装置列表下包括笔画列表；所述笔画列表下包括笔画点列表；所述笔画点列表包括每个笔画所在的纸张的页码ID、笔画从起点到终点所经历的每个笔画点的位置坐标、每个所述笔画点的时间戳和每个笔画点的压感数据。
图3为本发明实施例一提供的结构化存储示意图。参见图3，以第一数据采集装置是数码笔为例进行说明。服务器中，会存储每个数码笔对应的数码笔列表，在数码笔列表中包括数码笔的MAC地址，在该数码笔列表下，会对应多个笔画列表，即每个笔画都对应一个笔画列表，在一个笔画列表下，会对应笔画点列表，即构成该笔画的所有的笔画点。在笔画点列表中，包括每个笔画点的位置坐标、时间戳、压感数据等信息。从而通过结构化存储，可以对数码笔下的信息进行了归类。便于通过一个数码笔列表，快速的查询到该数码笔列表下的笔画列表和笔画点列表。
其中，MAC表示MAC地址，stroke为笔画，Page ID为页码ID，Dot为原点，X为位置坐标中，笔画点的X轴坐标，Y为位置坐标中，笔画点的Y轴坐标，Timestamp为时间戳，Press为压感数据。
步骤107，服务器将所述第一数据采集装置列表、所述笔画列表和所述笔画点列表、所述第一音视频数据发送给终端。
步骤108，终端接收所述服务器发送的第一数据采集装置列表、所述笔画列表和所述笔画点列表、所述第一音视频数据。
步骤109，终端将每个第一数据采集装置的所述第一音视频数据与第一数据采集装置列表进行第一关联，并生成关联图标。
具体的，由于笔画点的位置坐标具有时间戳，而第一音视频数据也具有时间戳，因此，可以根据两者的时间戳，将两者进行第一关联，并可以设置一个关联图标。并在该关联图标被触发时，播放第一音视频数据。
步骤110，终端根据所述服务器发送的第一数据采集装置列表的数量，通过预设的规则，以一个第一数据采集装置的页码ID对应的背景图片为背景，在同一书写界面上，同一页码ID下，根据每个第一数据采集装置对应的笔画点的时间戳、压感数据和位置坐标，显示每个第一数据采集装置的运动轨迹信息。
具体的，步骤110包括：
在同一书写界面上，当页码ID相同时，在书写界面的第一区域，终端根据每个笔画点的时间戳和位置坐标，在每个第一数据采集装置对应的第一子区域内，按照时间顺序呈现运动轨迹信息的动态过程；
在呈现运动轨迹信息的动态过程中，终端根据每个笔画点的压感数据，呈现运动轨迹信息的粗细。
其中，所述第一区域包括多个第一子区域，多个所述第一子区域按列排布在所述第一区域内。
在书写界面上的第二区域，显示多个第一数据采集装置的列表。
其中，第二区域可以位于书写界面的左侧，第一区域位于右侧，第二区域内对MAC地址进行陈列。
图4为本发明实施例一提供的pdf文件与点阵的示意图。图5为本发明实施例一提供的页码ID示意图。
在ZBform平台上，通过上传一个pdf文件，平台会对该文件进行智能化处理，即为该文件铺设一层带有点阵的背景图案。其中，示例而非限定，该pdf文件是有背景的，背景图片可以是带各种颜色的图片，也可以是带有标识的图片，比如“xx考试题”的水印标识等，本申请对背景图片的形状、颜色、格式并不限定，本领域技术人员可以根据需要，自行进行设定。
由于每页的点阵背景图案均是唯一的，即有了页码ID，即PageID，例如：1536.667.65.81。
在ZBform平台上，会将pdf文件与PageID一一对应建立关系。
因此，在终端，通过调取PageID，就能够获得pdf文件对应的某页的背景图片作为背景进行显示。从而，实现了终端在书写界面下，对同一页码ID下的笔画点按照时间戳进行显示时，该些第一数据采集装置对应的运动轨迹信息共用一个背景，进行显示。
其中，预设的规则可以是，所述终端根据所述第一数据采集装置列表的数量，取中间的第一数据采集装置的页码ID对应的背景图片为背景。比如，有3个第一数据采集装置，MAC地址分别为1、2和3，该1、2和3与第一子区域对应，即在第一区域的多个第一子区域中的第一个中，显示1的运动轨迹信息。
则可以将MAC地址为2的第一数据采集装置在当前页码ID的背景图片，作为当前书写界面的背景，从而实现了同页码ID的同步、同背景显示。
步骤111，当关联图标中的第一关联图标被触发时，所述终端播放对应的第一数据采集装置的第一音视频数据。
具体的，当在第一区域根据页码ID，对多个第一数据采集装置的运动轨迹信息进行同屏同背景显示时，当关联图标中的第一关联图标被触发时，可以播放该第一关联图标对应的第一数据采集装置的第一音视频数据。从而，多个参与者，比如多个参与在线辅导的某个学生，可以通过触发关联图标，得到其他参与在线辅导学生针对某个问题的音视频数据，实现了学生之间的交流。
进一步的，在步骤111之后还包括：
第二数据采集装置采集所经过的点阵区域的第二点阵数据以及第二音视频数据；
第二数据采集装置对所述第二点阵数据、所述第二音视频数据编码后，生成第二数据包；
第二数据采集装置将所述第二数据包发送给服务器；
服务器对所述第二数据包进行解析，得到第二点阵数据和第二音视频数据；
服务器根据所述第二点阵数据，获取第二数据采集装置对应的第二数据采集装置列表；所述第二数据采集装置列表包括第二数据采集装置的MAC地址；
服务器对所述第二数据采集装置列表和所述第二音视频数据进行结构化存储；所述结构化存储具体为第二数据采集装置列表下包括笔画列表；所述笔画列表下包括笔画点列表；所述笔画点列表包括每个笔画所在的纸张的页码ID、笔画从起点到终点所经历的每个笔画点的位置坐标、每个所述笔画点的时间戳和每个笔画点的压感数据；
服务器将所述第二数据采集装置列表、所述笔画列表和所述笔画点列表、所述第二音视频数据发送给终端；
终端接收所述服务器发送的第二数据采集装置列表、所述笔画列表和所述笔画点列表、所述第二音视频数据；
终端将第二数据采集装置的所述第二音视频数据与第二数据采集装置列表进行第二关联，并生成关联图标；
终端根据第二数据采集装置对应的笔画点的时间戳、压感数据和位置坐标，在书写界面的第三区域显示第二数据采集装置的运动轨迹信息；
当第二关联中的关联图标被触发时，所述终端播放所述第二数据采集装置的第二音视频数据。
其中，第二数据采集装置为与第一数据采集装置不同级别的参与者所持有的，比如，当应用在在线辅导中时，第二数据采集装置为老师所持有。第三区域为书写界面上的区域，可以与第二区域相邻。
老师在终端上获得多个参与在线辅导的学生书写的运动轨迹信息和第一音视频数据后，可以进行解答。
具体的，针对需要进行书写的问题，第二数据采集装置采集老师的第二点阵数据，针对需要进行音视频讲解的问题，第二数据采集装置采集老师的第二音视频数据。针对同时需要进行书写和音视频讲解的问题，第二数据采集装置采集第二点阵数据和第二音视频数据。
其中，需要说明的是，第二采集装置的优先级别高于第一数据采集装置。可以通过在第一数据包和第二数据包中分别添加不同的标志，以区分其优先级。因此，当接收到第二采集装置的第二数据包后，直接在终端的书写界面的第三部分进行运动轨迹信息的显示。而且，还可以将第二数据采集装置列表，添加进第二区域中进行陈列。由此，实现了当第二数据采集装置有输入时，其输入的内容会被优先显示。
在一个示例中，当将该方法应用在在线辅导时，老师和学生同时获得点阵后的某个点阵文件，打印或生成纸质的课件。学生和老师分别在自己的纸张上书写的同时，书写笔迹被叠加在网页或各自智能终端的显示屏上。再配以音频信息，实现了远程书写教学的同屏展示和讲解。同时，当老师的笔在纸质课件的其他页点击或书写的时候，显示屏上的界面会随之老师笔所在的页面切换展示。即，老师和学生看到的是切换后的页面。
其中，在在线辅导中，每个学生在纸面上特定位置勾选或答题时，每个学生的书写显示界面捕获各自的书写笔迹并经过ZBform表单数据采集平台的笔迹识别，以及数据模型转换后，及时在应用显示端呈现反馈结果或测验结果。
在另一个示例中，当将该方法应用在远程会议或会诊时，参会者同时获得点阵后的某个点阵文件，打印或生成纸质的课件。所有书写者分别在自己的纸张上书写的同时，书写笔迹被叠加在网页或各自智能终端的显示屏上。再配以音频信息，实现了远程书写会议/会诊的同屏展示和讲解。同时，会议主持方的笔在纸张的其他页点击或书写的时候，显示屏上的界面会随之页面切换展示。即，所有与会者看到的是切换后的页面。
进一步的，服务器根据第一数据采集装置的MAC地址，对各第一数据采集装置的运动轨迹信息和页码ID进行存储。
由此，对多个第一数据采集装置的运动轨迹信息进行存储，后续，便于离线显示时使用。
进一步的，还可以根据时间戳，对第二数据采集装置的运动轨迹信息进行存储，便于离线显示第二数据采集装置的运动轨迹信息，实现离线学习。
进一步的，还可以对第一数据采集装置对应的第一音视频数据、第二数据采集装置对应的第二音视频数据进行存储。并在后续调用时，进行选择性的调用。比如，仅仅需要第一数据采集装置的运动轨迹信息和页码，即只调用第一数据采集装置的运动轨迹信息和页码对应的文件。
进一步的，在步骤111之后还包括：终端与投影设备相连接，投影设备显示运动轨迹信息。
其中，终端也可以与其他终端相连接，比如，教育监管者的电脑，从而便于对课堂互动进行评价。
具体的，其他终端根据书写轨迹信息的流畅度、速度，对课堂进行评价。
由此，通过本发明实施例提供的运动轨迹信息的单界面显示方法，即可捕获书写的运动轨迹信息和音视频数据，为在线远程辅导提供了一种新形式。
可以理解的是，该方法还可以应用在其他领域，比如医院、民政局、交管局等，比如，医院用于门诊登记信息的门诊单的表单中包括多个表项，比如表项内容包括：患者姓名、性别、年龄、职业、联系方式等。当将该表单打印成点阵纸张时，点阵纸张上填写的上述表项内容，最终都会在医护人员的终端上进行显示，后续，可以直接将该表单的内容进行保存，而不需要再次在终端上输入，从而提高了录入效率。
当将该方法应用在慢病管理时，可以在终端上同屏、同页码ID的显示多个慢病管理对象的慢病信息，以便对多个用户的慢病信息进行对比。
图6为本发明实施例二提供的运动轨迹信息的单界面显示系统结构示意图。该系统应用在运动轨迹信息的单界面显示方法中，如图6所示，运动轨迹信息的单界面显示系统600包括：多个第一数据采集装置1、服务器2和终端3和第二数据采集装置4。
该多个第一数据采集装置1、服务器2和终端3和第二数据采集装置4的功能和上述实施例一中描述的相同，此处不再赘述。
由此，通过本发明实施例提供的运动轨迹信息的单界面显示系统，可捕获多个用户的书写的运动轨迹信息和音视频数据，并根据页码ID，同屏显示，为在线远程辅导提供了一种新形式。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种运动轨迹信息的单界面显示方法，其特征在于，所述方法包括：
多个第一数据采集装置中的各第一数据采集装置采集所经过的点阵区域的第一点阵数据以及第一音视频数据；
第一数据采集装置对所述第一点阵数据、所述第一音视频数据编码后，生成第一数据包；
第一数据采集装置将所述第一数据包发送给服务器；
服务器对所述第一数据包进行解析，得到第一点阵数据和第一音视频数据；
服务器根据所述第一点阵数据，获取每个第一数据采集装置对应的第一数据采集装置列表；所述第一数据采集装置列表包括第一数据采集装置的MAC地址；
服务器对每个所述第一数据采集装置列表和所述第一音视频数据进行结构化存储；所述结构化存储具体为每个第一数据采集装置列表下包括笔画列表；所述笔画列表下包括笔画点列表；所述笔画点列表包括每个笔画所在的纸张的页码ID、笔画从起点到终点所经历的每个笔画点的位置坐标、每个所述笔画点的时间戳和每个笔画点的压感数据；
服务器将所述第一数据采集装置列表、所述笔画列表和所述笔画点列表、所述第一音视频数据发送给终端；
终端接收所述服务器发送的第一数据采集装置列表、所述笔画列表和所述笔画点列表、所述第一音视频数据；
终端将每个第一数据采集装置的所述第一音视频数据与第一数据采集装置列表进行第一关联，并生成关联图标；
终端根据所述服务器发送的第一数据采集装置列表的数量，通过预设的规则，以一个第一数据采集装置的页码ID对应的背景图片为背景，在同一书写界面上，同一页码ID下，根据每个第一数据采集装置对应的笔画点的时间戳、压感数据和位置坐标，显示每个第一数据采集装置的运动轨迹信息；
当关联图标中的第一关联图标被触发时，所述终端播放对应的第一数据采集装置的第一音视频数据。
2.根据权利要求1所述的方法，其特征在于，所述端根据所述服务器发送的第一数据采集装置列表的数量，通过预设的规则，以一个第一数据采集装置的页码ID对应的背景图片为背景，具体包括：
所述终端根据所述第一数据采集装置列表的数量，取中间的第一数据采集装置的页码ID对应的背景图片为背景。
3.根据权利要求1所述的方法，其特征在于，所述在同一书写界面上，同一页码ID下，根据每个数据采集装置对应的笔画点的时间戳、压感数据和位置坐标，显示每个数据采集装置的运动轨迹信息，具体包括：
在同一书写界面上，当页码ID相同时，在书写界面的第一区域，终端根据每个笔画点的时间戳和位置坐标，在每个第一数据采集装置对应的第一子区域内，按照时间顺序呈现运动轨迹信息的动态过程；
在呈现运动轨迹信息的动态过程中，终端根据每个笔画点的压感数据，呈现运动轨迹信息的粗细。
4.根据权利要求3所述的方法，其特征在于，所述第一区域包括多个第一子区域，多个所述第一子区域按列排布在所述第一区域内。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在书写界面上的第二区域，显示多个第一数据采集装置的列表。
6.根据权利要求1所述的方法，其特征在于，在进行第一关联时，所述关联图标与第二列表中的MAC地址相关联，当第二区域内的MAC地址被触发时，播放该MAC地址对应的第一音视频数据。
7.根据权利要求1所述的方法，其特征在于，所述第一数据采集装置和所述服务器通过有线连接或无线连接；
当为有线连接时，所述第一数据采集装置上的接口具体为USB接口，MiniUSB接口、MicroUSB接口、并口、串口；
当为无线连接时，所述第一数据采集装置上的接口具体为蓝牙接口、红外接口、Wifi接口、2.4-5.0GHz波段接口或者无线通信接口。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
交换机接收所述第一数据采集装置发送的第一点阵数据和第一音视频数据，并将所述第一点阵数据和所述第一音视频数据转发给所述服务器。
9.根据权利要求1所述的方法，其特征在于，所述方法之后还包括：
第二数据采集装置采集所经过的点阵区域的第二点阵数据以及第二音视频数据；
第二数据采集装置对所述第二点阵数据、所述第二音视频数据编码后，生成第二数据包；
第二数据采集装置将所述第二数据包发送给服务器；
服务器对所述第二数据包进行解析，得到第二点阵数据和第二音视频数据；
服务器根据所述第二点阵数据，获取第二数据采集装置对应的第二数据采集装置列表；所述第二数据采集装置列表包括第二数据采集装置的MAC地址；
服务器对所述第二数据采集装置列表和所述第二音视频数据进行结构化存储；所述结构化存储具体为第二数据采集装置列表下包括笔画列表；所述笔画列表下包括笔画点列表；所述笔画点列表包括每个笔画所在的纸张的页码ID、笔画从起点到终点所经历的每个笔画点的位置坐标、每个所述笔画点的时间戳和每个笔画点的压感数据；
服务器将所述第二数据采集装置列表、所述笔画列表和所述笔画点列表、所述第二音视频数据发送给终端；
终端接收所述服务器发送的第二数据采集装置列表、所述笔画列表和所述笔画点列表、所述第二音视频数据；
终端将第二数据采集装置的所述第二音视频数据与第二数据采集装置列表进行第二关联，并生成关联图标；
终端根据第二数据采集装置对应的笔画点的时间戳、压感数据和位置坐标，在书写界面的第三区域显示第二数据采集装置的运动轨迹信息；
当第二关联中的关联图标被触发时，所述终端播放所述第二数据采集装置的第二音视频数据。
10.一种运动轨迹信息的单界面显示系统，其特征在于，所述运动轨迹信息的单界面显示系统包括如权利要求1-9中的多个第一数据采集装置、服务器、终端和第二数据采集装置。
CN201910531122.6A 2019-06-19 2019-06-19 一种运动轨迹信息的单界面显示方法及系统 Active CN110263041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910531122.6A CN110263041B (zh) 2019-06-19 2019-06-19 一种运动轨迹信息的单界面显示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910531122.6A CN110263041B (zh) 2019-06-19 2019-06-19 一种运动轨迹信息的单界面显示方法及系统

Publications (2)

Publication Number Publication Date
CN110263041A true CN110263041A (zh) 2019-09-20
CN110263041B CN110263041B (zh) 2023-04-18

Family

ID=67919333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910531122.6A Active CN110263041B (zh) 2019-06-19 2019-06-19 一种运动轨迹信息的单界面显示方法及系统

Country Status (1)

Country Link
CN (1) CN110263041B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910290A (zh) * 2019-12-04 2020-03-24 广州云蝶科技有限公司 基于点阵笔技术进行错题管理的方法
CN110910291A (zh) * 2019-12-04 2020-03-24 广州云蝶科技有限公司 结合康奈尔或东大笔记法的点阵纸笔技术应用方法
CN110930129A (zh) * 2019-12-04 2020-03-27 广州云蝶科技有限公司 结合周工作计划的点阵纸笔技术应用方法
CN111611509A (zh) * 2020-05-25 2020-09-01 郭玢傲 答题结果的显示方法、装置及存储介质
CN111902853A (zh) * 2020-06-10 2020-11-06 深圳市鹰硕教育服务股份有限公司 一种基于点阵笔的教学方法、装置、终端和系统
CN111914714A (zh) * 2020-07-24 2020-11-10 深圳市鹰硕教育服务股份有限公司 点阵本交互方法
CN111914713A (zh) * 2020-07-24 2020-11-10 深圳市鹰硕教育服务股份有限公司 点阵书写内容的记录方法、装置及电子设备
CN112131926A (zh) * 2020-07-24 2020-12-25 深圳市鹰硕教育服务有限公司 点阵书写内容的记录方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006039863A1 (fr) * 2004-10-11 2006-04-20 Enxin Liu Systeme de tableau blanc sur reseau a base de papier et procede de fabrication correspondant
CN105635783A (zh) * 2015-12-31 2016-06-01 田雪松 多媒体文件制作方法
CN105677273A (zh) * 2015-12-31 2016-06-15 田雪松 一种基于点阵的显示方法及系统
JP2017199318A (ja) * 2016-04-28 2017-11-02 パナソニックＩｐマネジメント株式会社 オンライントレーニングのサーバ装置、オンライントレーニング方法及びオンライントレーニングのプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006039863A1 (fr) * 2004-10-11 2006-04-20 Enxin Liu Systeme de tableau blanc sur reseau a base de papier et procede de fabrication correspondant
CN105635783A (zh) * 2015-12-31 2016-06-01 田雪松 多媒体文件制作方法
CN105677273A (zh) * 2015-12-31 2016-06-15 田雪松 一种基于点阵的显示方法及系统
JP2017199318A (ja) * 2016-04-28 2017-11-02 パナソニックＩｐマネジメント株式会社 オンライントレーニングのサーバ装置、オンライントレーニング方法及びオンライントレーニングのプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910290A (zh) * 2019-12-04 2020-03-24 广州云蝶科技有限公司 基于点阵笔技术进行错题管理的方法
CN110910291A (zh) * 2019-12-04 2020-03-24 广州云蝶科技有限公司 结合康奈尔或东大笔记法的点阵纸笔技术应用方法
CN110930129A (zh) * 2019-12-04 2020-03-27 广州云蝶科技有限公司 结合周工作计划的点阵纸笔技术应用方法
CN110930129B (zh) * 2019-12-04 2023-03-24 广州云蝶科技有限公司 结合周工作计划的点阵纸笔技术应用方法
CN111611509A (zh) * 2020-05-25 2020-09-01 郭玢傲 答题结果的显示方法、装置及存储介质
CN111611509B (zh) * 2020-05-25 2023-07-21 郭玢傲 答题结果的显示方法、装置及存储介质
CN111902853A (zh) * 2020-06-10 2020-11-06 深圳市鹰硕教育服务股份有限公司 一种基于点阵笔的教学方法、装置、终端和系统
CN111914714A (zh) * 2020-07-24 2020-11-10 深圳市鹰硕教育服务股份有限公司 点阵本交互方法
CN111914713A (zh) * 2020-07-24 2020-11-10 深圳市鹰硕教育服务股份有限公司 点阵书写内容的记录方法、装置及电子设备
CN112131926A (zh) * 2020-07-24 2020-12-25 深圳市鹰硕教育服务有限公司 点阵书写内容的记录方法、装置及电子设备
WO2022016654A1 (zh) * 2020-07-24 2022-01-27 深圳市鹰硕教育服务有限公司 点阵书写内容的记录方法、装置及电子设备
WO2022016653A1 (zh) * 2020-07-24 2022-01-27 深圳市鹰硕教育服务有限公司 点阵书写内容的记录方法、装置及电子设备

Also Published As

Publication number Publication date
CN110263041B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110263041A (zh) 一种运动轨迹信息的单界面显示方法及系统
CN110221715A (zh) 一种运动轨迹信息的多界面显示方法及系统
US6801663B2 (en) Method and apparatus for producing communication data, method and apparatus for reproducing communication data, and program storage medium
JP5136769B2 (ja) 電子ペンによる記入進捗を管理する端末装置及びプログラム
CN202584466U (zh) 信息交互系统的终端
CN105677273B (zh) 一种基于点阵的显示方法及系统
CN101815065A (zh) 基于IPv6网SIP协议的远程医疗实时信息交互方法
CN102810265A (zh) 信息交互系统及信息交互方法
EP1337932A1 (en) Collaborative input system
CN106971638B (zh) 交互式无线教学方法
CN110728191A (zh) 手语翻译方法、基于mr的手语-语音交互方法及系统
JP2011107329A (ja) サーバ装置、双方向教育方法、およびプログラム
US20130215214A1 (en) System and method for managing avatarsaddressing a remote participant in a video conference
JP2022020703A (ja) 手書き装置および音声・手書き通信システム
CN107040749A (zh) 在视频会议中分享屏幕手写图像的方法和用于进行视频会议的终端
CN110659612A (zh) 基于纸笔改良的数字化阅卷方法及系统
JP4353709B2 (ja) 情報処理装置およびそのプログラム
WO2006039863A1 (fr) Systeme de tableau blanc sur reseau a base de papier et procede de fabrication correspondant
JP2004333525A (ja) 双方向通信システム、サーバ、電子講義方法、ならびに、プログラム
JP4348831B2 (ja) 手書き入力データ表示システム，座標データ入力装置，表示装置及び手書き入力データ表示装置
JP5366035B2 (ja) コンピュータ装置及びプログラム
CN209748700U (zh) 一种异地视频会议系统
CN114092944A (zh) 教辅材料的处理方法及系统
JP2012108544A (ja) 電子ペンによる記入進捗を管理する端末装置及びプログラム
JP5472505B2 (ja) コンピュータ装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant