CN112037592A - 一种基于增强现实的学习交互方法和系统 - Google Patents

Abstract

本发明提供了一种基于增强现实的学习交互方法和系统，其方法包括：可穿戴AR设备获取学生的学习需求，根据学习需求从辅导终端处获取对应的辅导操作视频；可穿戴AR设备增强显示辅导操作视频；当学生观看辅导操作视频后在书写区域上进行书写时，学习终端拍摄获取学生的书写过程得到学习模仿视频；学习终端从可穿戴AR设备处获取辅导操作视频；学习终端比较辅导操作视频与学习模仿视频得到对应的学习成绩。本发明提升学习互动性，降低学习成本，提升学习效率以及节省教学资源。

Description

一种基于增强现实的学习交互方法和系统

技术领域

本发明涉及增强现实教学技术领域，尤指一种基于增强现实的学习交互方法和系统。

背景技术

随着计算机网络的发展，教育领域也受其影响越发地向着线上、远程教学发展，教学从线下课堂移到了线上。

随着智能手机、学习机以及平板电脑等多功能学习终端的普及，学生可以直接通过学习终端查看绘画、书法等书画学习内容进行学习，但是这种学习方式，从而不能为学生提供良好的学习氛围。由老师一对一辅导教学，不仅仅学习成本高，而且由于老师的精力有限无法保证辅导效率，从而降低学生的学习效率。此外，由于老师无法准确针对每个学生的不同学习需求计算辅导，而且大部分学生的学习需求是相同的，重复性的辅导也会大大地浪费教学资源。

因此，如何提升学习互动性，降低学习成本，提升学习效率以及节省教学资源是亟需解决的问题。

发明内容

本发明的目的是提供一种基于增强现实的学习交互方法和系统，实现提升学习互动性，降低学习成本，提升学习效率以及节省教学资源。

本发明提供的技术方案如下：

本发明提供一种基于增强现实的学习交互方法，包括：可穿戴AR设备、辅导终端和学习终端，包括步骤：

所述可穿戴AR设备获取学生的学习需求，根据所述学习需求从所述辅导终端处获取对应的辅导操作视频；

所述可穿戴AR设备增强显示所述辅导操作视频；

当学生观看所述辅导操作视频后在书写区域上进行书写时，学习终端拍摄获取学生的书写过程得到学习模仿视频；

所述学习终端从所述可穿戴AR设备处获取所述辅导操作视频；

所述学习终端比较所述辅导操作视频与所述学习模仿视频得到对应的学习成绩。

进一步的，所述可穿戴AR设备获取学生的学习需求，根据所述学习需求从所述辅导终端处获取对应的辅导操作视频之前包括步骤：

所述辅导终端拍摄获取辅导者在书写区域上进行书画的过程，得到所述辅导操作视频；

所述辅导终端根据所述辅导操作视频的辅导学习类型，将所述辅导操作视频进行命名，并将命名后的辅导操作视频储存至数据库。

进一步的，所述可穿戴AR设备增强显示所述辅导操作视频具体包括步骤：

所述可穿戴AR设备获取学生输入的操作信息，解析所述操作信息得到对应的控制指令，根据所述控制指令控制显示所述辅导操作视频。

进一步的，所述学习终端比较所述辅导操作视频与所述学习模仿视频得到对应的学习成绩具体包括步骤：

所述学习终端对所述辅导操作视频进行图像识别得到书画轨迹；

所述学习终端对所述学习模仿视频进行图像识别得到书写轨迹；

所述学习终端将所述书画轨迹与所述书写轨迹进行比较分析得到对应的学习成绩。

进一步的，所述学习终端比较所述辅导操作视频与所述学习模仿视频得到对应的学习成绩之后具体包括步骤：

所述学习终端将学习成绩发送至所述辅导终端，使得辅导者通过所述辅导终端查看所述学习成绩；和/或，

所述学习终端将学习成绩发送至所述可穿戴AR设备，使得学生通过所述可穿戴AR设备查看学习成绩。

本发明还提供一种基于增强现实的学习交互系统，包括：可穿戴AR设备、辅导终端和学习终端；所述可穿戴AR设备包括：获取模块，显示模块和第一通信模块；所述辅导终端包括：第二通信模块；所述学习终端包括：第三通信模块，第一拍摄模块和第一处理模块；

所述获取模块，用于获取学生的学习需求；

所述第一通信模块，与所述获取模块和所述第二通信模块连接，用于根据所述学习需求从所述第二通信模块处获取对应的辅导操作视频；

所述显示模块，与所述第一通信模块连接，用于增强显示所述辅导操作视频；

所述第一拍摄模块，用于当学生观看所述辅导操作视频后在书写区域上进行书写时，拍摄获取学生的书写过程得到学习模仿视频；

所述第三通信模块，与所述第二通信模块连接，用于从所述第二通信模块处获取所述辅导操作视频；

所述第一处理模块，与所述第一拍摄模块和所述第三通信模块连接，用于比较所述辅导操作视频与所述学习模仿视频得到对应的学习成绩。

进一步的，所述辅导终端还包括：第二拍摄模块和第二处理模块；

所述第二拍摄模块，用于拍摄获取辅导者在书写区域上进行书画的过程，得到所述辅导操作视频；

所述第二处理模块，与所述第二拍摄模块和所述第二通信模块连接，用于根据所述辅导操作视频的辅导学习类型，将所述辅导操作视频进行命名，并将命名后的辅导操作视频储存至数据库。

进一步的，所述获取模块，还用于获取学生输入的操作信息；

所述第二处理模块，与所述获取模块和所述显示模块连接，还用于解析所述操作信息得到对应的控制指令，发送所述控制指令至所述显示模块；

所述显示模块，还用于根据所述控制指令控制显示所述辅导操作视频。

进一步的，所述第一处理模块包括：图像识别单元和处理单元；

图像识别单元，用于对所述辅导操作视频进行图像识别得到书画轨迹，并对所述学习模仿视频进行图像识别得到书写轨迹；

所述处理单元，与所述图像识别单元连接，用于将所述书画轨迹与所述书写轨迹进行比较分析得到对应的学习成绩。

进一步的，所述第三通信模块，还用于将学习成绩发送至所述第二通信模块，使得辅导者通过所述辅导终端查看所述学习成绩；和/或，

所述第三通信模块，还用于将学习成绩发送至所述第一通信模块，使得学生通过所述可穿戴AR设备查看学习成绩。

通过本发明提供的一种基于增强现实的学习交互方法和系统，能够提升学习互动性，降低学习成本，提升学习效率以及节省教学资源。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种基于增强现实的学习交互方法和系统的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种基于增强现实的学习交互方法的一个实施例的流程图；

图2是本发明一种基于增强现实的学习交互方法的另一个实施例的流程图；

图3是本发明一种基于增强现实的学习交互方法的另一个实施例的流程图；

图4是本发明一种基于增强现实的学习交互方法的另一个实施例的流程图；

图5是本发明一种基于增强现实的学习交互方法的另一个实施例的流程图；

图6是本发明一种基于增强现实的学习交互系统的一个实施例的结构示意图；

图7是本发明一种基于增强现实的学习交互系统的另一个实施例的结构示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

本发明的一个实施例，如图1所示，一种基于增强现实的学习交互方法，包括可穿戴AR设备、辅导终端和学习终端，包括步骤：

S100可穿戴AR设备获取学生的学习需求，根据学习需求从辅导终端处获取对应的辅导操作视频；

S200可穿戴AR设备增强显示辅导操作视频；

S300当学生观看辅导操作视频后在书写区域上进行书写时，学习终端拍摄获取学生的书写过程得到学习模仿视频；

S400学习终端从可穿戴AR设备处获取辅导操作视频；

S500学习终端比较辅导操作视频与学习模仿视频得到对应的学习成绩。

具体的，本实施例中，可穿戴AR设备包括AR眼镜、AR头盔、AR头显、AR一体机等可穿戴式的AR设备。辅导终端为老师、家长、学习成绩优异的同学等辅导者所使用的智能终端，学习终端为学生所使用的智能终端。智能终端包括智能手机、平板、电脑、笔记本、智能台灯等设备。辅导操作视频为辅导者在进行绘制书画学习内容(包括绘画、书法等等)时，通过摄像头和麦克风结合进行录制辅导者在绘制过程中的音频数据。

可穿戴AR设备获取学生的学习需求的方式为多种，且学习需求包括学生所想要学习的内容名称，例如内容名称为“蓑的行书书写”。假设可穿戴AR设备设有麦克风，则通过麦克风采集学生输入的语音信息，对语音信息进行解析识别得到学生的学习需求。假设可穿戴AR设备设有触摸屏，则通过触摸屏采集学生输入的手势信息，对手势信息进行解析识别得到学生的学习需求。学习需求包括绘画类学习需求、书法类学习需求、书写类学习需求等大类学习需求，还可以包括属于大类学习需求中的小类学习需求，例如绘画类学习需求的小类书写需求包括油画书写需求，素描书写需求等等。还例如书写学习需求的小类书写需求包括某一汉字的笔顺书写学习需求，某一字母的笔顺书写学习需求等等。

可穿戴AR设备获取学生的学习需求后，将学习需求发送至辅导终端。可穿戴AR设备中预先储存有联系表，联系表包括若干个辅导者的联系地址(辅导终端的MAC地址或者IP地址)。可穿戴AR设备可以根据学生的选择针对性的向联系表中部分辅导者的辅导终端发送学习需求，进而从部分辅导者的辅导终端处获取对应于学习需求的辅导操作视频。

可穿戴AR设备还可以向联系表中所有辅导者的辅导终端发送学习需求，进而从所有辅导者的辅导终端处获取对应于学习需求的辅导操作视频。辅导终端接收到可穿戴AR设备发送的学习需求后，根据进行查找获取对应的辅导操作视频。辅导终端将查找到的辅导操作视频发送至与自身建立通信连接的可穿戴AR设备，可穿戴AR设备增强显示辅导操作视频，使得学生通过佩戴的可穿戴AR设备观看其显示的辅导操作视频进行学习。

学习终端包括摄像头时，学生观看辅导操作视频后，学生可以模仿辅导操作视频中辅导者的动作，从而在书写纸(即书写区域中的一种)上进行书写，摄像头拍摄获取学生在书写纸上进行模仿书写时的书写过程，从而得到学习模仿视频。

学习终端包括摄像头和触摸屏时，学生观看辅导操作视频后，学生可以模仿辅导操作视频中辅导者的动作，从而在触摸屏(即书写区域中的一种)上进行书写，摄像头拍摄获取学生在触摸屏上进行模仿书写时的书写过程，从而得到学习模仿视频。

学生使用学习终端进行模仿学习获取学习模仿视频的同时，从可穿戴AR设备处获取其显示的辅导操作视频。当然获取可穿戴AR设备显示的辅导操作视频可以在学习终端获取学习模仿视频之前，获取可穿戴AR设备显示的辅导操作视频可以在学习终端获取学习模仿视频之后。学习终端获取到辅导操作视频以及学习模仿视频之后，根据辅导操作视频与学习模仿视频进行比较得到比较结果。

通过本实施例，由于针对学生的个性化学习需求获取对应的辅导操作视频，这样，每个学生能够根据相同的或者不同的辅导操作视频进行学习，而由于大部分学生的学习需求相同，通过可穿戴AR设备增强显示对应于学习需求的辅导操作视频，能够降低辅导者的辅导工作量，减少重复性的辅导，进而节省辅导学习的教学资源，降低学习成本。

本发明的一个实施例，如图2所示，一种基于增强现实的学习交互方法，包括可穿戴AR设备、辅导终端和学习终端，包括步骤：

S010辅导终端拍摄获取辅导者在书写区域上进行书画的过程，得到所述辅导操作视频；

S020辅导终端根据辅导操作视频的辅导学习类型，将辅导操作视频进行命名，并将命名后的辅导操作视频储存至数据库；

S100可穿戴AR设备获取学生的学习需求，根据学习需求从辅导终端处获取对应的辅导操作视频；

S200可穿戴AR设备增强显示辅导操作视频；

S300当学生观看辅导操作视频后在书写区域上进行书写时，学习终端拍摄获取学生的书写过程得到学习模仿视频；

S400学习终端从可穿戴AR设备处获取辅导操作视频；

S500学习终端比较辅导操作视频与学习模仿视频得到对应的学习成绩。

具体的，本实施例中与上述实施例相同的部分在此不再一一赘述。

假设辅导终端设有摄像头，书写区域为书写纸(即书写区域中的一种)时，摄像头拍摄获取辅导者在书写纸上进行书写时的书画轨迹，得到辅导操作视频。

假设辅导终端设有触摸屏和摄像头，书写区域为触摸屏(即书写区域中的一种)时，摄像头拍摄获取辅导者在触摸屏上进行书写时的书画轨迹，得到辅导操作视频。

辅导终端获取到辅导操作视频之前，先获取辅导者输入的辅导学习类型，然后根据辅导学习类型对辅导操作视频进行命名，这样就能够将命名后的辅导操作视频储存至数据库中。辅导学习类型包括大类和/或小类，并结合具体名称，大类、小类和具体名称的排列顺序在此不作限定。示例性的，辅导者在书写纸上书写的汉字为“繁”，那么辅导终端所获取辅导操作视频对应辅导学习类型为“书写类-汉字书写-繁”。示例性的，辅导者在书写纸上书写的书法为行书“蓑”，那么辅导终端所获取辅导操作视频对应辅导学习类型为“书法类-行书书写-蓑”。

通过本实施例，辅导终端能够帮助辅导者实现录制获取大量的辅导操作视频，这样，能够便于后续辅导终端根据从可穿戴AR设备处获取的学习需求，进行索引查找到对应于学习需求的辅导操作视频。而无需辅导者获取到可穿戴AR设备上传的学习需求后，现场实时进行书写学习需求所对应的内容再生成辅导操作视频，进而减少学生获取辅导操作视频进行查看学习的时间，以增加学生的学习时间，提升学生的学习成绩。

本发明的一个实施例，如图3所示，一种基于增强现实的学习交互方法，包括可穿戴AR设备、辅导终端和学习终端，包括步骤：

S100可穿戴AR设备获取学生的学习需求，根据学习需求从辅导终端处获取对应的辅导操作视频；

S210可穿戴AR设备获取学生输入的操作信息，解析操作信息得到对应的控制指令，根据控制指令控制显示辅导操作视频；

S300当学生观看辅导操作视频后在书写区域上进行书写时，学习终端拍摄获取学生的书写过程得到学习模仿视频；

S400学习终端从可穿戴AR设备处获取辅导操作视频；

S500学习终端比较辅导操作视频与学习模仿视频得到对应的学习成绩。

具体的，本实施例中与上述实施例相同的部分在此不再一一赘述。本实施例中，可穿戴AR设备通过多种方式获取学生输入的操作信息。假设可穿戴AR设备设有麦克风，则通过麦克风采集学生输入的语音操作信息，对语音操作信息进行解析得到对应的语义特征信息，将语义特征信息与预设的语音控制指令关系表进行查找得到对应的控制指令。假设可穿戴AR设备设有触摸屏，则通过触摸屏采集学生输入的手势操作信息，对手势操作信息进行分析得到对应的手势特征信息，将手势特征信息与预设的手势控制指令关系表进行查找得到对应的控制指令。假设可穿戴AR设备设有摄像头，则通过摄像头采集学生在摄像头采集范围内的手势操作信息，对手势操作信息进行分析得到对应的手势特征信息，将手势特征信息与预设的手势控制指令关系表进行查找得到对应的控制指令。

当可穿戴AR设备从所有辅导终端处获取到的辅导操作视频为一个时，可穿戴AR设备获取学生输入的操作信息(包括语音操作信息或者手势操作信息)后，将操作信息进行解析得到对应的特征信息(包括语义特征信息或者手势特征信息)，根据特征信息查找控制指令关系表(包括语音控制指令关系表或手势控制指令关系表)得到开始显示控制指令时，可穿戴AR设备则增强显示从辅导终端处获取到的这个辅导操作视频。

当可穿戴AR设备从所有辅导终端处获取到的辅导操作视频为至少两个时，可穿戴AR设备获取学生输入的操作信息(包括语音操作信息或者手势操作信息)后，将操作信息进行解析得到对应的特征信息(包括语义特征信息或者手势特征信息)，根据特征信息查找控制指令关系表(包括语音控制指令关系表或手势控制指令关系表)得到选择控制指令时，选中学生所选择的某一个辅导操作视频，然后根据特征信息查找控制指令关系表得到开始显示控制指令时，可穿戴AR设备则增强显示从辅导终端处获取的，且学生所选择这个辅导操作视频。

通过本实施例，可穿戴AR设备可根据操作信息进行分析，从而根据分析得到的控制指令控制播放辅导操作视频，实现了对可穿戴AR设备显示播放的自动控制。相对于现有技术中学生通过瞳孔聚焦控制图像播放的方式，本实施例中可穿戴AR设备可以直接通过学生输入的操作信息，控制辅导操作视频的播放过程，无需学生使用眼睛控制播放辅导操作视频，解放了学生的眼睛，降低学生用眼量，减少学生视力下降的概率的同时，提升了学生的体验度。

本发明的一个实施例，如图4所示，一种基于增强现实的学习交互方法，包括可穿戴AR设备、辅导终端和学习终端，包括步骤：

S100可穿戴AR设备获取学生的学习需求，根据学习需求从辅导终端处获取对应的辅导操作视频；

S200可穿戴AR设备增强显示辅导操作视频；

S300当学生观看辅导操作视频后在书写区域上进行书写时，学习终端拍摄获取学生的书写过程得到学习模仿视频；

S400学习终端从可穿戴AR设备处获取辅导操作视频；

S510学习终端对辅导操作视频进行图像识别得到书画轨迹；

S520学习终端对学习模仿视频进行图像识别得到书写轨迹；

S530学习终端将书画轨迹与书写轨迹进行比较分析得到对应的学习成绩。

具体的，本实施例中与上述实施例相同的部分在此不再一一赘述。学习终端从可穿戴AR设备处获取辅导操作视频后，对辅导操作视频进行图像分帧操作，将辅导操作视频分割成若干个辅导操作视频帧，对辅导操作视频帧进行图像识别得到对应的书画特征，由于分割成的辅导操作视频帧是有对应的时间戳，因此，根据时间先后顺序及其对应的书画特征，得到书画轨迹。

将学习模仿视频参照上述对辅导操作视频进行处理的方式，可以获取学生的书写轨迹。书写轨迹和书画轨迹分别为学生和辅导者整个书写过程中的分散式书写的轨迹。将书画轨迹与书写轨迹的分段式轨迹一一对应进行比较，每个分段式轨迹均根据预设评分标准进行评分得到对应的分值，然后统计得到所有分值得到总分值即学习成绩。

示例性的，辅导者在书写区域书写“口”字时，书画轨迹分散为“竖1”、“横折1”、“横1”，且笔顺顺序为“竖1→横折1→横1”。学生在书写区域书写“口”字时，书写轨迹分散为“竖2”、“横2”、“竖3”、“横3”，且笔顺顺序为“竖2→横2→竖3→横3”，比较“竖1”和“竖2”并根据预设评分标准得到第一分值，“横折1”和“横2+竖3”并根据预设评分标准得到第二分值，“横1”和“横3”并根据预设评分标准得到第三分值，然后统计得到所有分值得到学习成绩。预设评分标准为比较书画轨迹与书写轨迹之间的相似度，相似度越高则分值越高。

通过本实施例，学习终端通过比较得到学生的学习模仿视频和辅导者的辅导操作视频，这样，学习终端能够自动识别比较出学生参照辅导操作视频进行学习的差别之处，从而自动得到学生的学习成绩，无需学生或者辅导者自动评估得到其学习成绩，大大降低人工评估的工作量，省时省力，具有很强的实用性。而且，学习终端能够自动识别比较出学生参照辅导操作视频进行学习的差别之处，从而自动得到学生的学习成绩，不根据学生或者辅导者对学生的书写轨迹根据主观感觉进行评估，更加客观可靠。

本发明的一个实施例，如图5所示，一种基于增强现实的学习交互方法，包括可穿戴AR设备、辅导终端和学习终端，包括步骤：

S100可穿戴AR设备获取学生的学习需求，根据学习需求从辅导终端处获取对应的辅导操作视频；

S200可穿戴AR设备增强显示辅导操作视频；

S300当学生观看辅导操作视频后在书写区域上进行书写时，学习终端拍摄获取学生的书写过程得到学习模仿视频；

S400学习终端从可穿戴AR设备处获取辅导操作视频；

S500学习终端比较辅导操作视频与学习模仿视频得到对应的学习成绩；

S600学习终端将学习成绩发送至辅导终端，使得辅导者通过辅导终端查看学习成绩；和/或，

S700学习终端将学习成绩发送至可穿戴AR设备，使得学生通过可穿戴AR设备查看学习成绩。

具体的，本实施例中与上述实施例相同的部分在此不再一一赘述。学习终端将学习成绩发送给辅导终端，使得辅导者通过辅导终端查看学习成绩。学习终端还可以将学习成绩发送给学生终端，使得学生通过学生终端查看学习成绩。

通过可穿戴AR设备、辅导终端和学习终端相互之间的信息交互，构成完整学习生态圈，从而能够提升学生与辅导者之间的互动性，由于学习终端获取到学习成绩后，将学习成绩发送给辅导者所使用的的辅导终端和/或学习终端，然后通过辅导终端或者学习终端显示学习成绩，这样，辅导者和学生就能够根据学习成绩全面掌握学生的学习情况，从而决定是否针对性强化训练学生的待加强知识点，提升学生的学习效果和学习成绩。

本发明的一个实施例，如图6所示，一种基于增强现实的学习交互系统，包括可穿戴AR设备10、辅导终端20和学习终端30；可穿戴AR设备10包括：获取模块11，显示模块12和第一通信模块13；辅导终端20包括：第二通信模块21；学习终端30包括：第三通信模块31，第一拍摄模块32和第一处理模块32；

获取模块11，用于获取学生的学习需求；

第一通信模块13，与获取模块11和第二通信模块21连接，用于根据学习需求从第二通信模块21处获取对应的辅导操作视频；

显示模块12，与第一通信模块13连接，用于增强显示辅导操作视频；

第一拍摄模块32，用于当学生观看辅导操作视频后在书写区域上进行书写时，拍摄获取学生的书写过程得到学习模仿视频；

第三通信模块31，与第二通信模块21连接，用于从第二通信模块21处获取辅导操作视频；

第一处理模块32，与第一拍摄模块32和第三通信模块31连接，用于比较辅导操作视频与学习模仿视频得到对应的学习成绩。

具体的，本实施例中，可穿戴AR设备10包括AR眼镜、AR头盔、AR头显、AR一体机等可穿戴式的AR设备。辅导终端20为老师、家长、学习成绩优异的同学等辅导者所使用的智能终端，学习终端30为学生所使用的智能终端。智能终端包括智能手机、平板、电脑、笔记本、智能台灯等设备。辅导操作视频为辅导者在进行绘制书画学习内容(包括绘画、书法等等)时，通过摄像头和麦克风结合进行录制辅导者在绘制过程中的音频数据。

可穿戴AR设备10获取学生的学习需求的方式为多种，且学习需求包括学生所想要学习的内容名称，例如内容名称为“蓑的行书书写”。假设可穿戴AR设备10设有麦克风，则通过麦克风采集学生输入的语音信息，对语音信息进行解析识别得到学生的学习需求。假设可穿戴AR设备10设有触摸屏，则通过触摸屏采集学生输入的手势信息，对手势信息进行解析识别得到学生的学习需求。学习需求包括绘画类学习需求、书法类学习需求、书写类学习需求等大类学习需求，还可以包括属于大类学习需求中的小类学习需求，例如绘画类学习需求的小类书写需求包括油画书写需求，素描书写需求等等。还例如书写学习需求的小类书写需求包括某一汉字的笔顺书写学习需求，某一字母的笔顺书写学习需求等等。

可穿戴AR设备10获取学生的学习需求后，将学习需求发送至辅导终端20。可穿戴AR设备10中预先储存有联系表，联系表包括若干个辅导者的联系地址(辅导终端20的MAC地址或者IP地址)。可穿戴AR设备10可以根据学生的选择针对性的向联系表中部分辅导者的辅导终端20发送学习需求，进而从部分辅导者的辅导终端20处获取对应于学习需求的辅导操作视频。

可穿戴AR设备10还可以向联系表中所有辅导者的辅导终端20发送学习需求，进而从所有辅导者的辅导终端20处获取对应于学习需求的辅导操作视频。辅导终端20接收到可穿戴AR设备10发送的学习需求后，根据进行查找获取对应的辅导操作视频。辅导终端20将查找到的辅导操作视频发送至与自身建立通信连接的可穿戴AR设备10，可穿戴AR设备10增强显示辅导操作视频，使得学生通过佩戴的可穿戴AR设备10观看其显示的辅导操作视频进行学习。

学习终端30包括摄像头时，学生观看辅导操作视频后，学生可以模仿辅导操作视频中辅导者的动作，从而在书写纸(即书写区域中的一种)上进行书写，摄像头拍摄获取学生在书写纸上进行模仿书写时的书写过程，从而得到学习模仿视频。

学习终端30包括摄像头和触摸屏时，学生观看辅导操作视频后，学生可以模仿辅导操作视频中辅导者的动作，从而在触摸屏(即书写区域中的一种)上进行书写，摄像头拍摄获取学生在触摸屏上进行模仿书写时的书写过程，从而得到学习模仿视频。

学生使用学习终端30进行模仿学习获取学习模仿视频的同时，从可穿戴AR设备10处获取其显示的辅导操作视频。当然获取可穿戴AR设备10显示的辅导操作视频可以在学习终端30获取学习模仿视频之前，获取可穿戴AR设备10显示的辅导操作视频可以在学习终端30获取学习模仿视频之后。学习终端30获取到辅导操作视频以及学习模仿视频之后，根据辅导操作视频与学习模仿视频进行比较得到比较结果。

通过本实施例，由于针对学生的个性化学习需求获取对应的辅导操作视频，这样，每个学生能够根据相同的或者不同的辅导操作视频进行学习，而由于大部分学生的学习需求相同，通过可穿戴AR设备10增强显示对应于学习需求的辅导操作视频，能够降低辅导者的辅导工作量，减少重复性的辅导，进而节省辅导学习的教学资源，降低学习成本。

基于前述实施例，如图7所示，辅导终端20还包括：第二拍摄模块23和第二处理模块22；第二拍摄模块23，用于拍摄获取辅导者在书写区域上进行书画的过程，得到辅导操作视频；第二处理模块22，与第二拍摄模块23和第二通信模块连接，用于根据辅导操作视频的辅导学习类型，将辅导操作视频进行命名，并将命名后的辅导操作视频储存至数据库。

具体的，本实施例中与上述实施例相同的部分在此不再一一赘述。

假设辅导终端20设有摄像头，书写区域为书写纸(即书写区域中的一种)时，摄像头拍摄获取辅导者在书写纸上进行书写时的书画轨迹，得到辅导操作视频。

假设辅导终端20设有触摸屏和摄像头，书写区域为触摸屏(即书写区域中的一种)时，摄像头拍摄获取辅导者在触摸屏上进行书写时的书画轨迹，得到辅导操作视频。

辅导终端20获取到辅导操作视频之前，先获取辅导者输入的辅导学习类型，然后根据辅导学习类型对辅导操作视频进行命名，这样就能够将命名后的辅导操作视频储存至数据库中。辅导学习类型包括大类和/或小类，并结合具体名称，大类、小类和具体名称的排列顺序在此不作限定。示例性的，辅导者在书写纸上书写的汉字为“繁”，那么辅导终端20所获取辅导操作视频对应辅导学习类型为“书写类-汉字书写-繁”。示例性的，辅导者在书写纸上书写的书法为行书“蓑”，那么辅导终端20所获取辅导操作视频对应辅导学习类型为“书法类-行书书写-蓑”。

通过本实施例，辅导终端20能够帮助辅导者实现录制获取大量的辅导操作视频，这样，能够便于后续辅导终端20根据从可穿戴AR设备10处获取的学习需求，进行索引查找到对应于学习需求的辅导操作视频。而无需辅导者获取到可穿戴AR设备10上传的学习需求后，现场实时进行书写学习需求所对应的内容再生成辅导操作视频，进而减少学生获取辅导操作视频进行查看学习的时间，以增加学生的学习时间，提升学生的学习成绩。

基于前述实施例，还包括：获取模块11，还用于获取学生输入的操作信息；第二处理模块22，与获取模块11和显示模块12连接，还用于解析操作信息得到对应的控制指令，发送控制指令至显示模块12；显示模块12，还用于根据控制指令控制显示辅导操作视频。

具体的，本实施例中与上述实施例相同的部分在此不再一一赘述。本实施例中，可穿戴AR设备10通过多种方式获取学生输入的操作信息。假设可穿戴AR设备10设有麦克风，则通过麦克风采集学生输入的语音操作信息，对语音操作信息进行解析得到对应的语义特征信息，将语义特征信息与预设的语音控制指令关系表进行查找得到对应的控制指令。假设可穿戴AR设备10设有触摸屏，则通过触摸屏采集学生输入的手势操作信息，对手势操作信息进行分析得到对应的手势特征信息，将手势特征信息与预设的手势控制指令关系表进行查找得到对应的控制指令。假设可穿戴AR设备10设有摄像头，则通过摄像头采集学生在摄像头采集范围内的手势操作信息，对手势操作信息进行分析得到对应的手势特征信息，将手势特征信息与预设的手势控制指令关系表进行查找得到对应的控制指令。

当可穿戴AR设备10从所有辅导终端20处获取到的辅导操作视频为一个时，可穿戴AR设备10获取学生输入的操作信息(包括语音操作信息或者手势操作信息)后，将操作信息进行解析得到对应的特征信息(包括语义特征信息或者手势特征信息)，根据特征信息查找控制指令关系表(包括语音控制指令关系表或手势控制指令关系表)得到开始显示控制指令时，可穿戴AR设备10则增强显示从辅导终端20处获取到的这个辅导操作视频。

当可穿戴AR设备10从所有辅导终端20处获取到的辅导操作视频为至少两个时，可穿戴AR设备10获取学生输入的操作信息(包括语音操作信息或者手势操作信息)后，将操作信息进行解析得到对应的特征信息(包括语义特征信息或者手势特征信息)，根据特征信息查找控制指令关系表(包括语音控制指令关系表或手势控制指令关系表)得到选择控制指令时，选中学生所选择的某一个辅导操作视频，然后根据特征信息查找控制指令关系表得到开始显示控制指令时，可穿戴AR设备10则增强显示从辅导终端20处获取的，且学生所选择这个辅导操作视频。

通过本实施例，可穿戴AR设备10可根据操作信息进行分析，从而根据分析得到的控制指令控制播放辅导操作视频，实现了对可穿戴AR设备10显示播放的自动控制。相对于现有技术中学生通过瞳孔聚焦控制图像播放的方式，本实施例中可穿戴AR设备10可以直接通过学生输入的操作信息，控制辅导操作视频的播放过程，无需学生使用眼睛控制播放辅导操作视频，解放了学生的眼睛，降低学生用眼量，减少学生视力下降的概率的同时，提升了学生的体验度。

基于前述实施例，第一处理模块32包括：图像识别单元和处理单元；图像识别单元，用于对辅导操作视频进行图像识别得到书画轨迹，并对学习模仿视频进行图像识别得到书写轨迹；处理单元，与图像识别单元连接，用于将书画轨迹与书写轨迹进行比较分析得到对应的学习成绩。

具体的，本实施例中与上述实施例相同的部分在此不再一一赘述。学习终端30从可穿戴AR设备10处获取辅导操作视频后，对辅导操作视频进行图像分帧操作，将辅导操作视频分割成若干个辅导操作视频帧，对辅导操作视频帧进行图像识别得到对应的书画特征，由于分割成的辅导操作视频帧是有对应的时间戳，因此，根据时间先后顺序及其对应的书画特征，得到书画轨迹。

将学习模仿视频参照上述对辅导操作视频进行处理的方式，可以获取学生的书写轨迹。书写轨迹和书画轨迹分别为学生和辅导者整个书写过程中的分散式书写的轨迹。将书画轨迹与书写轨迹的分段式轨迹一一对应进行比较，每个分段式轨迹均根据预设评分标准进行评分得到对应的分值，然后统计得到所有分值得到总分值即学习成绩。

示例性的，辅导者在书写区域书写“口”字时，书画轨迹分散为“竖1”、“横折1”、“横1”，且笔顺顺序为“竖1→横折1→横1”。学生在书写区域书写“口”字时，书写轨迹分散为“竖2”、“横2”、“竖3”、“横3”，且笔顺顺序为“竖2→横2→竖3→横3”，比较“竖1”和“竖2”并根据预设评分标准得到第一分值，“横折1”和“横2+竖3”并根据预设评分标准得到第二分值，“横1”和“横3”并根据预设评分标准得到第三分值，然后统计得到所有分值得到学习成绩。预设评分标准为比较书画轨迹与书写轨迹之间的相似度，相似度越高则分值越高。

通过本实施例，学习终端30通过比较得到学生的学习模仿视频和辅导者的辅导操作视频，这样，学习终端30能够自动识别比较出学生参照辅导操作视频进行学习的差别之处，从而自动得到学生的学习成绩，无需学生或者辅导者自动评估得到其学习成绩，大大降低人工评估的工作量，省时省力，具有很强的实用性。而且，学习终端30能够自动识别比较出学生参照辅导操作视频进行学习的差别之处，从而自动得到学生的学习成绩，不根据学生或者辅导者对学生的书写轨迹根据主观感觉进行评估，更加客观可靠。

基于前述实施例，还包括：第三通信模块31，还用于将学习成绩发送至第二通信模块21，使得辅导者通过辅导终端20查看学习成绩；和/或，第三通信模块31，还用于将学习成绩发送至第一通信模块13，使得学生通过可穿戴AR设备10查看学习成绩。

具体的，本实施例中与上述实施例相同的部分在此不再一一赘述。学习终端30将学习成绩发送给辅导终端20，使得辅导者通过辅导终端20查看学习成绩。学习终端30还可以将学习成绩发送给学生终端，使得学生通过学生终端查看学习成绩。

通过可穿戴AR设备10、辅导终端20和学习终端30相互之间的信息交互，构成完整学习生态圈，从而能够提升学生与辅导者之间的互动性，由于学习终端30获取到学习成绩后，将学习成绩发送给辅导者所使用的的辅导终端20和/或学习终端30，然后通过辅导终端20或者学习终端30显示学习成绩，这样，辅导者和学生就能够根据学习成绩全面掌握学生的学习情况，从而决定是否针对性强化训练学生的待加强知识点，提升学生的学习效果和学习成绩。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于增强现实的学习交互方法，其特征在于，包括：可穿戴AR设备、辅导终端和学习终端，包括步骤：

所述可穿戴AR设备获取学生的学习需求，根据所述学习需求从所述辅导终端处获取对应的辅导操作视频；

所述可穿戴AR设备增强显示所述辅导操作视频；

当学生观看所述辅导操作视频后在书写区域上进行书写时，学习终端拍摄获取学生的书写过程得到学习模仿视频；

所述学习终端从所述可穿戴AR设备处获取所述辅导操作视频；

所述学习终端比较所述辅导操作视频与所述学习模仿视频得到对应的学习成绩。

2.根据权利要求1所述的基于增强现实的学习交互方法，其特征在于，所述可穿戴AR设备获取学生的学习需求，根据所述学习需求从所述辅导终端处获取对应的辅导操作视频之前包括步骤：

所述辅导终端拍摄获取辅导者在书写区域上进行书画的过程，得到所述辅导操作视频；

所述辅导终端根据所述辅导操作视频的辅导学习类型，将所述辅导操作视频进行命名，并将命名后的辅导操作视频储存至数据库。

3.根据权利要求1所述的基于增强现实的学习交互方法，其特征在于，所述可穿戴AR设备增强显示所述辅导操作视频具体包括步骤：

所述可穿戴AR设备获取学生输入的操作信息，解析所述操作信息得到对应的控制指令，根据所述控制指令控制显示所述辅导操作视频。

4.根据权利要求1所述的基于增强现实的学习交互方法，其特征在于，所述学习终端比较所述辅导操作视频与所述学习模仿视频得到对应的学习成绩具体包括步骤：

所述学习终端对所述辅导操作视频进行图像识别得到书画轨迹；

所述学习终端对所述学习模仿视频进行图像识别得到书写轨迹；

所述学习终端将所述书画轨迹与所述书写轨迹进行比较分析得到对应的学习成绩。

5.根据权利要求1-4任一项所述的基于增强现实的学习交互方法，其特征在于，所述学习终端比较所述辅导操作视频与所述学习模仿视频得到对应的学习成绩之后具体包括步骤：

所述学习终端将学习成绩发送至所述辅导终端，使得辅导者通过所述辅导终端查看所述学习成绩；和/或，

所述学习终端将学习成绩发送至所述可穿戴AR设备，使得学生通过所述可穿戴AR设备查看学习成绩。

6.一种基于增强现实的学习交互系统，其特征在于，包括：可穿戴AR设备、辅导终端和学习终端；所述可穿戴AR设备包括：获取模块，显示模块和第一通信模块；所述辅导终端包括：第二通信模块；所述学习终端包括：第三通信模块，第一拍摄模块和第一处理模块；

所述获取模块，用于获取学生的学习需求；

所述第一通信模块，与所述获取模块和所述第二通信模块连接，用于根据所述学习需求从所述第二通信模块处获取对应的辅导操作视频；

所述显示模块，与所述第一通信模块连接，用于增强显示所述辅导操作视频；

所述第一拍摄模块，用于当学生观看所述辅导操作视频后在书写区域上进行书写时，拍摄获取学生的书写过程得到学习模仿视频；

所述第三通信模块，与所述第二通信模块连接，用于从所述第二通信模块处获取所述辅导操作视频；

所述第一处理模块，与所述第一拍摄模块和所述第三通信模块连接，用于比较所述辅导操作视频与所述学习模仿视频得到对应的学习成绩。

7.根据权利要求6所述的基于增强现实的学习交互系统，其特征在于，所述辅导终端还包括：第二拍摄模块和第二处理模块；

所述第二拍摄模块，用于拍摄获取辅导者在书写区域上进行书画的过程，得到所述辅导操作视频；

所述第二处理模块，与所述第二拍摄模块和所述第二通信模块连接，用于根据所述辅导操作视频的辅导学习类型，将所述辅导操作视频进行命名，并将命名后的辅导操作视频储存至数据库。

8.根据权利要求6所述的基于增强现实的学习交互系统，其特征在于：

所述获取模块，还用于获取学生输入的操作信息；

所述第二处理模块，与所述获取模块和所述显示模块连接，还用于解析所述操作信息得到对应的控制指令，发送所述控制指令至所述显示模块；

所述显示模块，还用于根据所述控制指令控制显示所述辅导操作视频。

9.根据权利要求6所述的基于增强现实的学习交互系统，其特征在于，所述第一处理模块包括：图像识别单元和处理单元；

图像识别单元，用于对所述辅导操作视频进行图像识别得到书画轨迹，并对所述学习模仿视频进行图像识别得到书写轨迹；

所述处理单元，与所述图像识别单元连接，用于将所述书画轨迹与所述书写轨迹进行比较分析得到对应的学习成绩。

10.根据权利要求6-9任一项所述的基于增强现实的学习交互系统，其特征在于：

所述第三通信模块，还用于将学习成绩发送至所述第二通信模块，使得辅导者通过所述辅导终端查看所述学习成绩；和/或，

所述第三通信模块，还用于将学习成绩发送至所述第一通信模块，使得学生通过所述可穿戴AR设备查看学习成绩。

Images