CN104581339A - 一种与音频同步显示笔迹的装置及其方法 - Google Patents

Abstract

本发明提供一种与音频同步显示笔迹的装置及其方法，其中所述方法包括：在显示界面建立坐标系，获取显示界面中显示所述笔迹所必需的像素点的坐标信息；根据所述音频的播放时间信息获取显示所述笔迹所必需的像素点所对应的音频数据的播放时间点；将所述播放时间点作为时间标签插入到显示所述笔迹所必需的像素点的坐标信息中，令播放所述音频数据时所述像素点在显示界面中进行显示。相对与现有技术，本发明可以在播放音频数据的同时，将音频内容对应的笔迹同步显示在显示界面中，从而增强了多媒体文件的可观性，提升了教学效果。

Description

一种与音频同步显示笔迹的装置及其方法

技术领域

本发明涉及多媒体技术领域，尤其涉及一种与音频同步显示笔迹的装置及其方法。

背景技术

随着互联网的普及和多媒体技术的发展，数字化校园逐渐建立。数字化校园是指以数字化信息和网络为基础建立起来的对教学、科研、管理、技术服务、生活服务等校园信息的收集、处理、整合、存储、传输和应用，使数字资源得到充分优化及利用的一种虚拟教育环境。它可以拓展现实校园的时间和空间维度，提升传统校园的运行效率，扩展传统校园的业务功能，最终实现教育过程的全面信息化，从而达到提高教学管理水平和教学效率的目的。然而在数字化校园中，往往希望可以利用多媒体技术来模拟现场教学，给学生营造一种面对面的教学环境，使教学内容更加生动，令学生更容易理解，从而实现教学目的。

现有技术中，使用文字和音频结合的多媒体文件来模拟现场教学，但由于多媒体文件中的文字和语音讲解一般是分通道播放的(分别按照各自的时间轴播放)，因此很难令语音和文字同步显示。即使将语音和文字的播放时间轴同步，但也只能实现语音播放的时候显示出对应的文字，而无法使笔迹和语音同步。例如，老师讲解文字的笔顺时，说“写‘工’字时，笔顺依次为‘横’、‘竖’、‘横’”，现有技术只会在播放所述音频时，在显示界面显示出整个‘工’字，而无法将老师说的‘横’‘竖’‘横’对应的笔迹同步显示出来。这往往造成较差的观看体验，使学生不能正确理解老师的讲解，进而影响学习效率。

发明内容

有鉴于此，本发明提供一种与音频同步显示笔迹的装置及其方法令电子终端播放音频时同步显示笔迹，实现更好的教学效果。

为实现上述目的，本发明提供技术方案如下：

一种与音频同步显示笔迹的装置，所述装置包括:

坐标建立模块，用于在显示界面建立坐标系，获取显示界面中显示所述笔迹所必需的像素点的坐标信息；

时间获取模块，用于根据所述音频的播放时间信息获取显示所述笔迹所必需的像素点所对应的音频数据的播放时间点；

标签插入模块，用于将所述播放时间点作为时间标签插入到显示所述笔迹所必需的像素点的坐标信息中，令播放所述音频数据时所述像素点在显示界面中进行显示。

进一步的，所述装置还包括笔划类型模块，用于将所述笔迹中每个笔划对应的笔划类型插入到显示所述笔迹所必需的像素点的坐标信息中；

所述笔迹所必需的像素点包括：所述笔迹中每个笔划对应的起始像素点和结束像素点。

进一步的，所述显示所述笔迹所必需的像素点包括：所述笔迹中的全部像素点。

进一步的，所述坐标建立模块在显示界面建立一个或多个坐标系。

进一步的，所述坐标信息为：

所述像素点对应的坐标值，或者所述笔迹中每个笔划的起始像素点的坐标值和其他像素点的坐标偏移量。

基于相同的构思，本发明还提供一种与音频同步显示笔迹的方法，所述方法包括:

在显示界面建立坐标系，获取显示界面中显示所述笔迹所必需的像素点的坐标信息；

根据所述音频的播放时间信息获取显示所述笔迹所必需的像素点所对应的音频数据的播放时间点；

将所述播放时间点作为时间标签插入到显示所述笔迹所必需的像素点的坐标信息中，令播放所述音频数据时所述像素点在显示界面中进行显示。

进一步的，所述方法还包括：

将所述笔迹中每个笔划对应的笔划类型插入到显示所述笔迹所必需的像素点的坐标信息中；

所述笔迹所必需的像素点包括：所述笔迹中每个笔划对应的起始像素点和结束像素点。

进一步的，所述显示所述笔迹所必需的像素点包括：所述笔迹中的全部像素点。

进一步的，所述在显示界面建立坐标系具体为：在显示界面建立一个或多个坐标系。

进一步的，所述坐标信息为：

所述像素点对应的坐标值，或者所述笔迹中每个笔划的起始像素点的坐标值和其他像素点的坐标偏移量。

相对与现有技术，本发明可以通过将显示笔迹所必需的像素点所对应的音频数据的播放时间点作为时间标签插入到所述像素点的坐标信息中，令电子终端播放所述音频数据的同时，将音频内容对应的笔迹同步显示在显示界面中，从而增强了多媒体文件的可观性，提升了教学效果。

附图说明

图1是本发明提供的一种与音频同步显示笔迹装置的结构示意图；

图2是本发明实施例中一种获取像素点的示意图；

图3是本发明实施例中另一种获取像素点的示意图；

图4-1是本发明实施例中一种坐标系的示意图；

图4-2是本发明实施例中另一种坐标系的示意图；

图5-1是本发明实施例中与音频同步显示第一笔划的示意图；

图5-2是本发明实施例中与音频同步显示第二笔划的示意图；

图5-3是本发明实施例中与音频同步显示第三笔划的示意图；

图5-4是本发明实施例中与音频同步显示第四笔划的示意图；

图5-5是本发明实施例中与音频同步显示完整笔迹的示意图。

具体实施方式

为解决上述问题，本发明提供一种与音频同步显示笔迹的装置及其方法令电子终端在播放音频时同步显示笔迹，实现更好的教学效果。

请参见图1，是本发明提供的一种与音频同步显示笔迹装置的结构示意图，所述装置基本运行环境包括CPU、非易失性存储器、内存及其他硬件，从逻辑层面看，所述装置包括坐标建立模块、时间获取模块和标签插入模块，其中:

坐标建立模块，用于在电子终端的显示界面上建立坐标系，通过所述坐标系获取所述显示界面中显示笔迹所必需的像素点的坐标信息；需要说明的是，笔迹可以看做很多个像素点叠加后的图形，但是在显示笔迹的时候可以只根据所述笔迹中的必要像素点就可以显示出完整的笔迹(例如显示‘工’字只需要根据其中的四个端点和两个交点的坐标信息将像素点按照书写顺序就可以显示出来整个笔迹)，而不需要根据所述笔迹的所有像素点来显示笔迹。

时间获取模块，用于根据所述音频的播放时间信息获取显示所述笔迹所必需的像素点所对应的音频数据的播放时间点；例如，录制“我现在写‘一’”这段音频数据时，会形成该音频数据的对应时间轴，那么获取所述‘一’字的必要像素点时，在所述时间轴上对应的时刻就是本发明要获取的所述像素点的播放时间点。

标签插入模块，用于将所述播放时间点作为时间标签插入到显示所述笔迹所必需的像素点的坐标信息中，令电子终端在播放所述音频数据时，可以根据必要像素点的坐标信息和播放时间点将所述像素点在显示界面中进行同步显示。

因此，本发明可以通过将显示笔迹所必需的像素点所对应的音频数据的播放时间点作为时间标签插入到所述像素点的坐标信息中，令电子终端播放所述音频数据的同时，将音频内容对应的笔迹同步显示在显示界面中，从而增强了多媒体文件的可观性，提升了教学效果。

获取笔迹中像素点的坐标信息与在画图软件上获取画笔轨迹的过程类似，需要要实时监测显示区域中鼠标(或其他输入设备)的动态，当鼠标点击到显示区域会产生触发事件，持续触发时会产生移动事件，坐标建立模块根据建立的坐标系获取所述移动事件中的每个像素点的坐标信息，显然以这种方式获取所有像素点的坐标信息的计算量相对会很大，鉴于所述笔迹信息中多数为常用的字符，如汉字、英文字母、数字等，本发明可以根据笔迹中的笔划特征来减少获取像素点的数量。

因此，在优选的实施例中，所述与音频同步显示笔迹的装置还包括笔划类型模块，他用于将所述笔迹中每个笔划对应的笔划类型插入到显示所述笔迹所必需的像素点的坐标信息中；使所述笔迹所必需的像素点只需包括所述笔迹中每个笔划对应的起始像素点和结束像素点就可以显示对应的笔划。

如图2所示，假设要在显示界面显示‘木’字，根据一般的笔顺，可拆分为‘横’、‘竖’、‘撇’、‘捺’四个笔划，可以分别为这几个笔划添加笔划类型标签，如笔划‘横’→01、笔划‘竖’→02、笔划‘撇’→03、笔划‘捺’→04，由于笔划‘横’对应图中的线段AB、笔划‘竖’对应图中的线段CD、笔划‘撇’对应图中的线段EF、笔划‘捺’对应图中的线段GH，那么只需获取所述四笔划中每个笔划的起始像素点和结束像素点的坐标信息(也就是A、B、C、D、E、F、G、H点的坐标信息)就可以显示出每个笔划的形状，按照笔划书写是时间顺序显示出每个笔划，从而可以使‘木’字在显示界面中显示。

这样一来，显示笔迹时需要获取的坐标信息会大大减少，从而减轻了系统的运算负荷，而且坐标信息的数据量减小更加有利于在线传输。

然而，由于用户的书写笔迹不同于标准字帖，会出现字符不标准或是一些特殊字符的现象，为了更好的还原书写笔迹，在对显示清晰度有更高要求的情况下，本发明的坐标建立模块还可以在显示界面获取笔迹中的全部像素点，以实现更真实更清晰的笔迹显示效果。如图3所示，其中为隶书‘一’的笔迹，可示例性的看做为由像素点a、b、c、d、e、f、g、h、i这九个点组成的图形，若只获取端点的像素点，则只是显示出来的笔迹会是一个斜线，无法显示原笔迹中的曲线部分，并非用户输入的隶书‘一’的笔迹。

因此通过获取笔迹的全部像素点的坐标信息就可以显示与原笔迹完全相同的笔迹，而不是近似的笔迹，更可以显示一些特殊符号或图形，从而使显示的笔迹可观性更好，并且提高显示笔迹的准确度和清晰度。

本发明的实施例中，可以根据实际情况使所述坐标建立模块在显示界面建立一个或多个坐标系，坐标系的建立可以如图2所示，以显示界面的左下角为原点，以下边界为X轴，以左边界为Y轴。

除此之外，建立坐标系还可以如图4-1所示，以显示界面的两条对称轴为X轴和Y轴，其对称轴的交点为原点，那么坐标信息也会根据坐标系的不同产生变化，如图4-1中，根据坐标系获得笔迹端点的坐标信息分别为M1(-5，7)，N1(5，7)。

或是建立多个坐标系如图4-2所示，坐标系X1Y1O1与坐标系X2Y2O2在显示界面并列且不重叠，由于坐标系不同，则与图4-1中同样的笔迹在图4-2中，对应的像素点的坐标信息则变为M2[(14，13)，01]，N2[(2，13)，02]，其中‘01’和‘02’分别代表坐标系X1Y1O1与坐标系X2Y2O2；或者可以通过建立更多的坐标系来划分多个显示区域，从而提高获取的像素点坐标信息的精度，以实现更准确的笔迹显示。

需要说明的是，所述坐标建立模块获取的像素点的坐标信息可以是所述像素点对应的坐标值，如图2中，A点的坐标值(8，15)，B点的坐标值(15，17)，然后根据笔划类型标签显示该笔划；或者获取所述笔迹中每个笔划的起始像素点的坐标值和其他像素点的坐标偏移量，如笔划‘横’的起始像素点A的坐标值(8，15)，还有由A到B的偏移量△B(7，0)，其中‘7’表示向坐标轴X轴的正方向偏移长度为7，‘0’表示向坐标轴Y轴的正方向偏移长度为0，也就是不偏移，由此根据A的坐标值和A的偏移量△B得到笔划‘横’。上述表示方法可以使像素点的坐标信息更加精确，利于坐标计算。

下面结合说明书附图对本发明的实施方案进行详细说明。

假设学生通过电子终端在线跟老师学习写‘木’字，首先老师会根据学生的需求为该学生讲解木字的笔划构成，教师端会录制老师的语音，如“木字一共四划，依次为横、竖、撇、捺”并在说“横、竖、撇、捺”时在显示界面输入对应的笔划。

假设语音总时长为8秒，第4至5秒写笔划‘横’，第5至6秒写笔划‘竖’，第6至7秒写笔划‘撇’，第7至8秒写笔划‘捺’。电子终端会记录老师书写笔迹中的每个笔划的起始像素点和结束像素点的坐标值，并记录笔划的类型，并根据预设的笔划类型对照表添加笔划类型标签，如表1所示：

根据上表可以查找到“横、竖、撇、捺”分别对应的笔划类型标签，如笔划‘横’→标签‘01’、笔划‘竖’→标签‘02’、笔划‘撇’→标签‘03’、笔划‘捺’→标签‘04’，并根据图2中建立的坐标系，获取四笔划中每个笔划的起始像素点和结束像素点的坐标信息(也就是A、B、C、D、E、F、G、H点的坐标信息)，假设为A(8，15)、B(15，15)、C(12，17)、D(12，8)、E(11，14)、F(8，10)、G(13，14)、H(15，10)，然后将每个像素点在时间轴中对应的时间作为时间标签和笔划类型标签一起插入上述坐标信息中，如表2所示：

像素点	坐标值	笔划类型标签	时间标签
				A	(8，15)	01	00：04
B	(15，15)	01	00：05
				C	(12，17)	02	00：05
D	(12，8)	02	00：06
				E	(11，14)	03	00：06
F	(8，10)	03	00：07
				G	(13，14)	04	00：07
H	(15，10)	04	00：08

上述的坐标信息和音频数据经过OPUS编码器编码后通过网络即时传输到学生的电子终端上。学生端收到笔迹信息和音频信息后，使用音频播放器按照音频的时间轴播放音频，即播放老师的语音“木字一共四划，依次为横、竖、撇、捺”，当音频的播放进度条播放到第4秒(语音中说‘横’字)时，显示界面会根据坐标信息开始以从左到右出现的过渡方式(其他显示方式也可以，此处不做限定)开始显示笔划‘横’，并在第5秒的时候完成笔划‘横’的显示，如图5-1所示；同样的方式依次在第6秒(语音中说‘竖’字)时完成笔划‘竖’的显示，并与前一笔划叠加，如图5-2所示；在第7秒(语音中说‘撇’字)时完成笔划‘撇’的显示，并与前两笔划叠加，如图5-3所示；在第8秒(语音中说‘捺’字)时完成笔划‘捺’的显示，并与前三笔划叠加，最终显示出‘木’字，如图5-4所示。需要说明的是，若用户不设置笔迹的字体、线条粗细和颜色等文本格式时，本发明提供的装置会使用默认的文本格式；本装置通常还可以为用户提供设置文本格式的选项，以便满足用户对文本格式的要求以及用户个性化体验。若用户将文本格式设置为‘黑体’、‘加粗’、‘黑色’，那么上述的‘木’字就可以根据设置的格式进行显示，如图5-5所示。

用户可以将上述的音频数据和坐标信息下载到本地播放，或是直接在线播放，在线播放时所述装置还可以进行缓存，使用户可以进行回看操作。

由此可见，本发明可以通过将显示笔迹所必需的像素点所对应的音频数据的播放时间点作为时间标签插入到所述像素点的坐标信息中，令电子终端播放所述音频数据的同时，将音频内容对应的笔迹同步显示在显示界面中，相对于现有技术，本发明增强了多媒体文件的可观性，满足用户的个性化需求，并提升了教学效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种与音频同步显示笔迹的装置，其特征在于，所述装置包括:

坐标建立模块，用于在显示界面建立坐标系，获取显示界面中显示所述笔迹所必需的像素点的坐标信息；

时间获取模块，用于根据所述音频的播放时间信息获取显示所述笔迹所必需的像素点所对应的音频数据的播放时间点；

标签插入模块，用于将所述播放时间点作为时间标签插入到显示所述笔迹所必需的像素点的坐标信息中，令播放所述音频数据时所述像素点在显示界面中进行显示。

2.如权利要求1所述的装置，其特征在于，所述装置还包括笔划类型模块，用于将所述笔迹中每个笔划对应的笔划类型插入到显示所述笔迹所必需的像素点的坐标信息中；

所述笔迹所必需的像素点包括：所述笔迹中每个笔划对应的起始像素点和结束像素点。

3.如权利要求1所述的装置，其特征在于，所述显示所述笔迹所必需的像素点包括：所述笔迹中的全部像素点。

4.如权利要求1所述的装置，其特征在于，所述坐标建立模块在显示界面建立一个或多个坐标系。

5.如权利要求1所述的装置，其特征在于，所述坐标信息为：

所述像素点对应的坐标值，或者所述笔迹中每个笔划的起始像素点的坐标值和其他像素点的坐标偏移量。

6.一种与音频同步显示笔迹的方法，其特征在于，所述方法包括:

在显示界面建立坐标系，获取显示界面中显示所述笔迹所必需的像素点的坐标信息；

根据所述音频的播放时间信息获取显示所述笔迹所必需的像素点所对应的音频数据的播放时间点；

将所述播放时间点作为时间标签插入到显示所述笔迹所必需的像素点的坐标信息中，令播放所述音频数据时所述像素点在显示界面中进行显示。

7.如权利要求6所述的方法，其特征在于，所述方法还包括：

将所述笔迹中每个笔划对应的笔划类型插入到显示所述笔迹所必需的像素点的坐标信息中；

所述笔迹所必需的像素点包括：所述笔迹中每个笔划对应的起始像素点和结束像素点。

8.如权利要求6所述的方法，其特征在于，所述显示所述笔迹所必需的像素点包括：所述笔迹中的全部像素点。

9.如权利要求6所述的方法，其特征在于，所述在显示界面建立坐标系具体为：在显示界面建立一个或多个坐标系。

10.如权利要求6所述的方法，其特征在于，所述坐标信息为：

所述像素点对应的坐标值，或者所述笔迹中每个笔划的起始像素点的坐标值和其他像素点的坐标偏移量。