CN108538112A - 利用虚拟现实和增强现实的在线学习系统及方法 - Google Patents

Abstract

本发明涉及一种利用利用虚拟现实和增强现实的在线学习系统及方法。其通过在虚拟现实中反映教师的动作的角色，对教育对象者提供教育，从而支持教育对象者能够有效地学习。本发明能将从学生终端拍摄真实学生的摄影影像合成到上述基于虚拟现实的影像信息中，并能将在相应虚拟现实中使用的物品适用到上述摄影影像中，从而支持能够同时体验虚拟现实和增强现实。根据教师的移动，使与其交互的角色执行将相关物品传递给学生的事件时，根据该事件，物品从基于虚拟现实的影像传递到摄影影像中，或者与此相反的回收过程以能够可视化的方式显示，从而支持虚拟现实和增强现实之间的相互联动，从而能够实现基于教师和学生之间的物品的体验型教育。

Description

利用虚拟现实和增强现实的在线学习系统及方法

技术领域

本发明涉及一种利用虚拟现实(Virtual reality)和增强现实(Augmentedreality)的在线学习系统及方法。更具体地，提供一种利用虚拟现实和增强现实的在线学习系统及方法，其通过在虚拟现实中反映教师的动作的角色，对如幼儿或低年级学生的教育对象者提供教育，从而支持教育对象者能够有效地学习，并且以基于拍摄学生的摄影影像和基于包含上述角色的虚拟现实的教育影像来使虚拟现实和增强现实实现联动的方式提供教育。

背景技术

目前，随着网络以及支持其的各种通讯仪器的发展，提供有以低年级学生或幼儿作为对象者的各种在线学习系统，并且通过这种方式教师可以远程地向教育对象者提供各种学习程序。

然而，由于现有的以低年级或幼儿作为对象的在线学习系统大部分是简单程序的单方面传递，或者局限在基于应用程序或网络的对话型学习服务的程度，以致于很难获得注意力散漫的教育对象者的持续性的专注，存在学习效果低的局限性。

并且，虽然还存在一种真实的教师登场并以在线实时观看学生的方式教授课程的在线视频学习服务技术，但是由于其只是单纯的将线下学习转换成在线学习的程度，且附加服务也仅是以电子黑板或数字内容物(digital contents)作为辅助学习道具而活用的程度。因此，此技术亦是存在很难得到幼儿或低年级学生以及注意力散漫的学生的持续性的专注的局限性。

即，现有的在线学习系统局限在教师对学生的单方面的信息传递，由此存在学生容易感到疲劳，从而失去学习兴趣的问题。

现有技术文献

专利文献

韩国公开专利第10-2008-0006063号

发明内容

本发明要解决的技术问题

本发明的目的在于，通过采用利用角色进行实时学习的方式，能够使幼儿或低年级学生集中注意力，从而通过在线下无法提供的新型的虚拟世界中的私人化授课，能够提高学习对象者的专注度和集中度。

并且，本发明的目的在于，通过将拍摄上述学生的摄影影像合成在基于包含虚拟现实中随教师的移动而反应的角色的虚拟现实的教育影像，并使得用于上述虚拟现实中的物品能够移动到上述摄影影像中，彼此实现交互，从而根据虚拟现实和增强现实间的相互联动，在线实现基于教师与学生之间的互动的体验型教育，从而可引发学生的兴趣，提高教育效果。

技术方案

根据本发明实施例，利用虚拟现实和增强现实的在线学习系统，该在线学习系统包括通过通信网络与教师终端以及至少一个学生终端进行通信的教育服务器，其特征在于，包括：教师终端，其生成教师的语音信息以及根据教师移动的运动信息，并进行传输；学生终端，其将拍摄学生的摄影影像传输到教育服务器，并且从上述教育服务器接收教育影像；以及教育服务器，其基于在预设的背景影像中合成角色而生成的影像和上述语音信息来生成基于虚拟现实的影像，且在上述基于虚拟现实的影像中的预设的区域合成从上述学生终端接收的上述摄影影像而生成教育影像，并进行传输，其中，上述角色能够根据从上述教师终端接收的上述运动信息改变动作。其中，上述教育服务器包括：影像处理部，其根据上述运动信息使显示于上述教育影像中的物品移动到对应于上述摄影影像的区域，并且，当到达该区域时向学生终端传输位置信息和物品信息。上述学生终端包括：应用程序部，其从上述教育服务器接收上述物品信息和位置信息时，以使上述物品在上述摄影影像中配合于摄影对象的动作而交互的方式进行显示。

作为本发明的一例，其特征在于，上述影像处理部从上述教师终端接收用于使用上述物品的使用信息时，将上述物品显示在教育影像中，并且，当基于上述运动信息而发生与上述物品相关的预设的事件时，在上述教育影像中，将上述物品移动到对应于上述事件的上述摄影影像的区域。

作为本发明的一例，其特征在于，上述应用程序部在上述摄影影像中识别根据上述物品信息的、作为物品适用对象的客体，且基于上述物品信息和位置信息，在上述摄影影像中的根据上述位置信息的最初位置显示上述物品，并且，在上述摄影影像中被识别的上述客体中，根据上述物品信息识别上述物品的适用位置，由此以使物品从上述最初位置移动到该适用位置的方式进行显示，并且，将上述物品以与上述客体的动作实现交互的方式进行动态改变，并且将显示上述物品的摄影影像传输到上述教育服务器。

作为本发明的一例，其特征在于，上述物品信息包括：作为上述物品适用对象的客体信息；以及对于在上述客体中适用上述物品的区域或位置的适用位置信息。

作为本发明的一例，其特征在于，上述应用程序部在上述摄影影像中根据上述客体的移动来改变上述物品的状态、大小、方向、姿态以及位置中的至少一个。

作为本发明的一例，其特征在于，上述教育服务器与多个相互不同的学生终端进行通信时，将从各个上述多个学生终端接收的多个摄影影像分别显示在上述教育影像中预设的相互不同的多个区域中的某一区域。

作为本发明的一例，其特征在于，上述教育服务器从上述教师终端接收用于回收上述物品的回收信息时，将上述回收信息传输到上述学生终端；上述应用程序部在接收到上述回收信息时，移动适用于上述客体的物品，从而使物品脱离上述摄影影像，并且当物品从上述摄影影像脱离时，将对于从上述摄影影像脱离之前的最终位置的最终位置信息传输到上述教育服务器；上述影像处理部在接收到上述最终位置信息时，使对应于上述回收信息的物品以从包含在上述教育影像中的根据上述最终位置信息的摄影影像中的最终位置显示到上述教育影像中的上述角色相关区域中预设的区域的方式实现移动。

作为本发明的一例，其特征在于，上述影像处理部演算根据上述事件的上述物品的移动方向以及路径，并根据演算结果使物品从包含在上述教育影像中的角色移动到对应于上述事件的摄影影像区域。

作为本发明的一例，其特征在于，上述应用程序部根据上述摄影影像的颜色以及亮度中的至少一个来改变上述物品的状态。

根据本发明实施例，利用虚拟现实和增强现实的在线学习方法，包括：教师终端生成教师的语音信息以及根据教师移动的运动信息，并将其传输到预设的教育服务器的步骤；学生终端将拍摄学生的摄影影像传输到上述教育服务器的步骤；上述教育服务器基于预设的背景影像中合成角色而生成的影像和上述语音信息来生成基于虚拟现实的影像，并将从上述学生终端接收的上述摄影影像合成于上述基于虚拟现实的影像中的预设的区域而生成教育影像，传输至上述学生终端以及教师终端，其中上述角色能够根据从上述教师终端接收的上述运动信息改变动作的步骤；当基于上述运动信息而发生预设的事件时，上述教育服务器可将显示在上述教育影像中的物品根据上述运动信息移动至对应于上述摄影影像的区域，且到达该区域时，可以将位置信息和物品信息传输到上述学生终端的步骤；以及上述学生终端从上述教育服务器接收到上述物品信息和位置信息时，以使上述物品在上述摄影影像中配合于摄影对象的动作而实现交互的方式进行显示，并使显示上述物品的摄影影像传输到上述教育服务器的步骤。

有益效果

本发明具有如下效果：

将从学生终端拍摄真实学生的摄影影像合成到上述基于虚拟现实的影像信息中，并能将在相应虚拟现实中使用的物品适用到上述摄影影像中，从而支持能够同时体验虚拟现实和增强现实。根据教师的移动，使与其交互的角色执行将相关物品传递给学生的事件时，根据该事件，物品从基于虚拟现实的影像传递到摄影影像中，或者与此相反的回收过程以能够可视化的方式显示，从而支持虚拟现实和增强现实之间的相互联动，从而能够实现基于教师和学生之间的物品的体验型教育，由此能够持续保持学生的教育集中度以及专注度，能够提高教育效果。

并且，本发明以适用于上述基于虚拟现实的影像中的物品随教师的物品传递动作而连续不断地移动到合成于上述基于虚拟现实的影像的、拍摄真实学生的上述摄影影像中的方式显示，与此同时，使移动到摄影影像区域的物品在拍摄真实学生的摄影影像中基于增强现实而适用于出现在上述摄影影像中的学生，从而通过虚拟现实以及增强现实的相互联动，能够利用新型教具而在线实现教师与学生间的沟通(其利用现有的在线教育中的教具是很难实现的)，同时能够在线实现利用代替物理教具的物品的体验教育，由此鼓舞学生的兴趣，且实现现有的在线教育中无法实现的体验教育，从而能够大幅提高教育效果。

附图说明

图1及图2是根据本发明实施例的利用虚拟现实和增强现实的在线学习系统结构图。

图3及图4是根据本发明实施例的利用虚拟现实和增强现实的在线学习系统的物品(Item)传递过程的动作示例图。

图5是示出根据本发明实施例的利用虚拟现实和增强现实的在线学习系统的、在虚拟现实和增强现实之间连续性地传递物品的过程的示例图。

图6是根据本发明实施例的利用虚拟现实和增强现实的在线学习系统的、以根据学生的动作进行交互的方式表示物品的动作示例图。

图7是根据本发明实施例的利用虚拟现实和增强现实的在线学习方法流程图。

附图标记

10：教师终端学生终端

20：学生终端

100：教育服务器

具体实施方式

下面，参照附图说明本发明的具体实施例。

图1是根据本发明实施例的利用虚拟现实和增强现实的在线学习系统结构图，如图所示，可以包括：至少一个学生终端20，其对应于如幼儿或低年级儿童的学生；教师终端10，其对应于指导上述学生的教师；以及教育服务器100，其通过通信网络与上述学生终端20及教师终端10进行通信。

此时，上述教师终端10及学生终端20可以由具备通信功能的智能手机(SmartPhone)、便携式终端(Portable Terminal)、移动终端(Mobile Terminal)、掌上电脑(Personal Digital Assistant：PDA)、便携式媒体播放器(Portable Multimedia Player：PMP)终端、个人电脑(Personal Computer)、笔记本电脑、触屏平板电脑(Slate PC)、平板电脑(Tablet PC)、超极本(ultrabook)等各种终端构成，且上述通信网络可以适用众所周知的各种有线或无线通信方式。

上述教育服务器100根据上述教师终端10的要求开设用于上述教师终端10以及至少一个学生终端20所参与课堂(Lesson)的虚拟教室，并传输登录信息连接到上述教育服务器100，且可以将参与到对应于上述教师终端10的教师的虚拟教室的至少一个学生终端20与上述教师终端10匹配存储。

此时，如图2所示，上述教育服务器100可以包括：存储有对应于上述教师终端10的教师的会员信息和上述学生的会员信息的会员数据库(会员DB)102、以及存储有教育相关内容物(contents)的内容物数据库(内容物DB)101。

由此，上述教育服务器100可以对参与上述虚拟教室的教师终端10以及至少一个学生终端20进行匹配，并根据从上述教师终端10以及学生终端20接收的信息生成的教育影像提供给对应于上述虚拟教室的教师终端10以及学生终端20。

另一方面，上述教育服务器100从上述内容物DB101提取被教师终端10选择的背景影像，可以在预设的上述背景影像生成与根据从上述教师终端10接收的教师的动作(移动)相关运动(motion)信息的移动实现交互的角色(character)，以生成基于虚拟现实的影像信息，并且可以将该基于虚拟现实的影像信息传输到参与上述教师担任的虚拟教室中的每个学生的学生终端20。

由此，上述教育服务器100支持通过在虚拟现实中随着教师的移动而反应的角色来代替教师从而实现对学生的授课。因此，可以使因年龄小而注意力散漫的学生的注意力得到集中，由此可以提高学习效果。

然而，学生可能会对虚拟现实中随着教师的控制而动作的角色产生一时的兴趣，但在熟悉该角色之后，很难持续维持这种学习效果。

因此，本发明将拍摄真实学生的摄影影像合成到上述基于虚拟现实的影像信息中，并支持将在相关虚拟现实中使用的物品(item)应用到上述摄影影像中，从而支持能够同时体验虚拟现实和增强现实。当随教师的移动进行交互的角色执行将相关物品传递给学生的事件(Event)时，根据该事件，使得物品从基于虚拟现实的影像传递到摄影影像中或者与此相反的收回的过程，以可视性的方式被表示，从而支持虚拟现实和增强现实之间的相互联动，由此能够实现基于教师和学生之间的物品的体验型教育，并持续保持学生的学习集中度以及专注度，能够提高教育效果。

下面，基于上述结构，并通过以下附图详细说明本发明的具体实施例。

首先，图2是构成根据本发明实施例的利用虚拟现实和增强现实的在线学习系统的每个结构的结构图，如图所示，上述教师终端10可以包括：第一摄像部11、第一显示部12、第一输入部13、第一通信部15以及第一控制部14，但不限于此，还可以包括各种结构部。

上述第一摄像部11将拍摄上述教师的影像提供给上述第一控制部14，且上述第一控制部14可以根据从上述第一摄像部11接收的影像识别教师的动作并生成运动(motion)信息后，可以通过上述第一通信部15传输到上述教育服务器100。

为此，上述第一控制部14包括用于识别运动的影像分析模块，上述第一摄像部11为识别教师的动作可以由提供深度信息(depth information)的三维摄像机构成，上述第一控制部14可以根据上述深度信息来识别教师的动作并生成上述运动信息。

并且，上述第一输入部13包括上述麦克风(mic)，可以根据上述教师的语音输入生成语音信号并提供至上述第一控制部14，上述第一控制部14根据上述语音信号生成语音信息，并且可以将上述语音信息同上述运动信息一起传输到上述教育服务器100。

此时，上述第一控制部14可以执行上述运动信息和上述语音信息的同步化(synchronization)，并且可以将同步化的运动信息和语音信息传输到上述教育服务器100。

另一方面，如图所示，上述学生终端20可以包括：第二摄像部21、第二显示部22、第二输入部23、第二通信部25、以及应用程序部24，但不限于此，还可以包括各种结构部。

此时，配置在上述学生终端20的应用程序部24可以由控制配置在上述学生终端20的第二摄像部21、第二显示部22、第二输入部23、以及第二通信部25的控制部而构成，或者由通过上述控制部执行且存储于配置在上述学生终端的存储部中的应用程序(application)相关数据构成，并且上述应用程序部24可以根据上述存储部中存储的数据执行本发明中说明的各种动作。

由此，上述第二摄像部21拍摄真实的学生并将生成的摄影影像提供至上述应用程序部24，上述应用程序部24可以通过上述第二通信部25将上述摄影影像传输到上的教育服务器100。

并且，上述第二输入部23包括麦克风(mic)，并且根据上述学生的语音输入生成的语音信号提供给上述应用程序部24，而上述应用程序部24可以将根据上述摄影影像和上述语音信号生成的语音信息传输到上述教育服务器100。

此时，上述应用程序部24当然可以对上述摄影影像和语音信息进行同步化之后，传输到教育服务器100。

另一方面，如图所示，上述教育服务器100可以包括：第三通信部110以及第二控制部120，且如图所示，上述第二控制部120可以包括：影像合成部121以及影像处理部122。

此时，影像处理部122以及影像合成部121也可以构成为一个结构部。

并且，上述第二控制部120当然还可以配置上述影像合成部121以及影像处理部122以外的结构部，作为一例，可以配置用于控制上述影像合成部121以及影像处理部122的演算部，且该演算部可以配置在上述影像合成部121以及影像处理部122中的某一个结构中。

首先，上述第三通信部110可以从上述教师终端10接收运动信息以及语音信息，并且可以从上述学生终端20接收上述摄影影像以及语音信息并提供至上述第二控制部120。

并且，上述教育服务器100可以包括存储有各种内容物的内容物DB101，该内容物可以包括：相互不同的多个背景影像(或背景图像)、与上述教师的移动交互的角色相关图形(graphic)、以及能够在虚拟现实中使用的物品的物品信息。此时，上述物品也可以由图形信息构成。

并且，上述第二控制部120可以将存储在上述内容物DB101中的内容物相关目录信息传输到上述教师终端10，且配置在上述教师终端10的第一控制部14可通过上述第一显示部12表示上述目录信息，并且可以将根据通过上述第一输入部13的教师的输入而被选择的内容物的选择信息通过上述第一通信部15传输到上述教育服务器100。

由此，上述教育服务器100的上述第二控制部120根据从上述教师终端10接收的选择信息，从上述内容物DB101提取对应于所选择内容物的预设背景影像和随着教师的移动交互的角色相关图形信息，并将上述角色相关图形信息以及上述运动信息提供给上述影像处理部122。

由此，上述影像处理部122根据上述角色相关图形信息以及上述运动信息来识别根据上述运动信息的移动以及姿态，并且可以使上述角色的移动同步于上述运动信息，可以将同步于运动信息的角色相关图形信息提供至上述影像合成部121。

并且，上述教育服务器100的第二控制部120可以从上述学生终端20接收摄影影像，并且可以将该摄影影像提供至上述影像合成部121。

上述影像合成部121可基于在从上述内容物DB101提取的背景影像以及通过上述影像处理部122同步于上述运动信息的角色相关图形信息而将上述角色合成到背景影像中，并生成基于虚拟现实的影像信息，此时，上述影像合成部121可以以覆盖(overlay)方式将上述角色添加到上述背景影像中而进行合成。

并且，上述影像合成部121可以将从上述学生终端20接收的摄影影像在上述基于虚拟现实的影像信息中的预设的区域进行合成，从而在上述基于虚拟现实的影像信息中生成教育影像，上述第二控制部120可以通过上述第三通信部110，将由上述影像合成部121生成的教育影像传输到上述教师终端10以及学生终端20。

此时，上述教育服务器100可以与多个相互不同的学生终端20进行通信并从多个学生终端20的每一个终端接收摄影影像，上述影像合成部121可以通过上述第二控制部120，将从多个学生终端20接收的多个相互不同的摄影影像分别在基于虚拟现实的影像信息中的预设的多个相互不同的区域中的任一区域进行合成，从而生成教育影像。

并且，上述教师终端10的第一控制部14以及上述学生终端20的应用程序部24可以通过上述教师终端10的第一显示部12或学生终端20的第二显示部22显示从上述教育服务器100接收的教育影像。

由此，上述教育服务器100可以实时接收关于教师移动的运动信息，并根据该运动信息实时处理在虚拟现实中移动的角色的移动，由此生成基于包含该角色的虚拟现实的影像信息后，将从学生终端20接收的摄影影像和上述基于虚拟现实的影像信息进行合成而生成的教育影像通过实时流(streaming)传输至上述教育终端10以及学生终端20。

此时，上述第二控制部120配合与上述运动信息同步的角色相关图形信息，将从上述教师终端10接收的语音信息与上述角色相关图形信息进行同步，使其包含在上述基于虚拟现实的影像信息中，并且，将根据包含上述语音信息的基于虚拟现实的影像信息而生成的教育影像传输到上述教师终端10以及学生终端20，使得语音信息可以同上述基于虚拟现实的影像信息的影像以及摄影影像一起从上述教师终端10以及学生终端20输出。

并且，上述第二控制部120可以从上述学生终端20接收语音信息，并且可以使该语音信息包含在上述教育影像，并传输到上述教师终端10以及上述学生终端20，由此可以使对应于学生的语音信息从教师终端10以及学生终端20输出。

为此，上述教师终端10以及学生终端20可以分别配置有用于输出上述语音信息的语音输出部。

通过上述结构，上述教育服务器100能够将指导学生的教师的动作和语音通过角色来表现给学生，可以引导学生对角色发生兴趣，并由此更专注于教师的教育，从而可以大幅提高教育效率。

并且，上述教育服务器100的第二控制部120可以将存储在上述内容物DB101中的用于学生教育的各种教材相关内容中的、对应于从上述教师终端10接收的选择信息的教材相关内容物合成适用在基于上述虚拟现实的影像信息，从而支持实现更加有效的学生教育。

此时，上述教材相关内容物可以包括文本、图像、影像、图形等。

另一方面，上述教育服务器100在上述基于虚拟现实的影像信息中显示利用于上述虚拟现实中的物品相关内容物，并且对根据教师移动发生的特定事件做出反应，使上述物品从上述基于虚拟现实的影像信息移动到上述摄影影像中，以便适用于上述摄影影像中，从而支持实现虚拟现实和增强现实之间的相互联动，并由此支持在虚拟现实中实现教师与学生之间的体验交流，从而可以大幅提高学生的专注度和集中度。对此，将基于上述结构、并通过以下附图作出更加具体说明。

首先，如图3及图4所示，上述教育服务器100在基于上述虚拟现实的影像信息中合成至少一个摄影影像，从而可以生成包含根据上述基于虚拟现实的影像信息的基于虚拟现实的影像和至少一个摄影影像的教育影像。

此时，上述第二控制部120可以将能够在根据上述基于虚拟现实的影像信息的虚拟现实中使用的物品目录的物品目录信息传输到上述教师终端10，且可以从上述教师终端10接收在物品目录信息中所被选择的物品的使用信息，并且从上述内容物DB101提取对应于上述使用信息的物品相关内容物。

并且，上述第二控制部120的影像合成部121根据上述使用信息来生成对应于被提取的物品相关内容物的物品A，并且对应于基于上述虚拟现实的影像中显示的角色B，可以将上述物品A在上述基于虚拟现实的影像中进行合成并进行显示。

并且，上述影像处理部122与上述影像合成部121联动，根据上述运动信息来判断教师的移动，根据判断结果，当发生与上述物品A相关的、预设的事件时，对应于该事件，能够使上述物品A在根据基于虚拟现实的影像信息的基于虚拟现实的影像上发生移动。

作为一例，根据上述运动信息选择包含在上述教育影像中的一个以上的摄影影像中的某一个影像时，上述影像处理部122可以在上述教育影像中移动上述物品A，具体为将在对应于角色B(包含在上述教育影像的基于虚拟现实的影像)的区域显示的上述物品A移动至根据上述运动信息从包含在上述教育影像中的一个以上摄影影像中选择的上述摄影影像(摄影影像3)。

此时，上述影像处理部122与上述影像合成部121联动并生成有关上述物品A移动的动画数据，并在上述基于虚拟现实的影像实时进行合成(或以适用的方式显示)，并且可以在合成上述动画数据的基于虚拟现实的影像中实时合成从上述学生终端20接收的摄影影像以实时生成教育影像，并且可以将其以流(streaming)的方式传输到上述学生终端20以及教师终端10。

作为其他一例，根据上述运动信息，当发生包含在上述教育影像中的基于虚拟现实的影像中显示的角色B将物品A向包含在上述教育影像的特定摄影影像(摄影影像3)的方向抛出的事件时，上述影像处理部122可以对应上述事件演算抛出物品A的方向以及移动路径，并且根据演算结果选择对应于上述运动信息的摄影影像(摄影影像3)，并使上述物品A移动至所选择的摄影影像(摄影影像3)。

此时，上述影像处理部122与上述影像合成部121联动，生成包含有关上述物品A移动的动画(animation)的教育影像，并传输到上述教师终端10以及学生终端20。

并且，在上述结构中，上述影像合成部121可以根据存储在上述内容物DB101的上述物品A的相关物品信息，将上述物品A显示在对应于上述角色B的区域中的预设区域中，作为一例，可以使上述物品A显示在对应于上述角色B的手的区域，以便上述角色B能够将物品A抛出。

由此，如图4及图5a所示，当上述物品A从包含在上述教育影像中的基于虚拟现实的影像移动到根据上述运动信息从合成于上述基于虚拟现实的影像的至少一个摄影影像中选择的摄影影像(摄影影像3)的对应区域时，上述影像处理部122从上述内容物DB提取上述物品A的相关信息，并生成在上述所选择的摄影影像(摄影影像3)的对应区域中、上述物品A所到达的坐标的位置信息(或坐标信息)。

并且，上述第二控制部120识别传输对应于上述运动信息而被选择的摄影影像(摄影影像3)的特定学生终端20，并且可以将通过上述物品信息以及上述影像处理部122生成的位置信息传输到上述特定学生终端20。

此时，上述第二控制部120可以通过上述第三通信部110接收上述摄影影像的同时，还一同接收学生终端20的识别信息，并可以根据该识别信息来识别传输摄影影像的学生终端20。

另一方面，配置在上述特定学生终端20的应用程序部24接收上述物品信息和位置信息，在通过上述第二摄像部21拍摄的摄影影像(摄影影像3)中，根据上述物品信息来识别对应于摄影对象的、作为物品信息的适用对象的客体。

此时，上述物品信息可以包括：作为物品信息的适用对象的、对应于上述摄影对象的客体信息；以及对于物品A适用于该客体的区域或位置的适用位置信息。

作为一例，如图5b所示，上述应用程序部24可以在上述摄影影像(摄影影像3)中识别作为根据物品信息的物品适用对象以及对应于摄影对象的客体的学生的面部，并且根据包含在上述物品信息的适用位置信息可以在对应上述面部的客体中，识别应用上述物品A的、对应于眼睛的区域或位置。

并且，上述应用程序部24根据从上述教育服务器100接收的位置信息(或最初位置信息)在上述摄影影像中(摄影影像3)确定上述物品A的最初位置，并且可以在上述摄影影像的上述最初位置显示根据上述物品信息的物品A，根据上述物品信息确认上述物品的适用位置后，可以使上述物品A从上述最初位置移动到作为上述物品A的适用位置(或适用区域、佩戴区域)的上述客体的眼部区域。

并且，如图6所示，上述应用程序部24在摄影影像中识别与摄影影像对应的上述客体的移动，并根据上述客体的移动来改变上述物品A的状态、大小、姿态、方向以及位置中的至少一个，从而以使得上述物品A对客体的移动作出反应而实现交互的方式在摄影影像中显示上述物品。

也就是说，上述应用程序部24在摄影影像中识别对应于摄影对象的客体，并且根据上述客体的移动改变物品A的状态、大小、姿态、方向以及位置中的至少一个，使得物品A以追随客体的方式显示在摄影影像中，从而能够显示为犹如学生真实佩戴物品A一样。

此时，上述物品A可以适用眼镜、麦克风、帽子等各种物品。

作为一例，随着上述客体的移动，在上述摄影影像中根据对应该客体的面部的转动而使得眼睛的位置发生改变时，上述应用程序部24可以根据改变的眼睛的位置改变物品A的姿态以及位置中的至少一个。

作为其他一例，上述教育服务器100的上述第二控制部120可以向上述教师终端10提供界面相关信息，该界面相关信息包括用于物品A的控制(例如与上述物品A相关的动态效果的应用)的多个相互不同的功能信息，上述教师终端10的第一控制部14可以将根据在上述界面相关信息中被教师选择的功能信息的功能相关控制信息传输到上述教育服务器100。

由此，上述教育服务器100的上述第二控制部120将上述功能相关控制信息传输到上述学生终端20，且上述学生终端20的应用程序部24可以根据上述控制信息改变适用于摄影影像中的物品A的状态，作为一例，可以执行打破上述物品A、摇晃上述物品A，或者使上述物品A闪烁等动画。

另外，上述应用程序部24也可以执行根据上述摄影影像的亮度以及颜色中的至少一个来改变显示在上述摄影影像中的物品颜色的动画(Animation)。

并且，上述应用程序部24可以生成显示发生交互的物品A的摄影影像(摄影影像3)，并传输到上述教育服务器100，其中发生交互的上述物品A根据上述物品A的实时移动和上述客体的移动而实现交互。

此时，上述应用程序部24可以生成根据与上述物品相关的动画的执行的上述摄影影像(摄影影像3)，并传输到上述教育服务器100。

另一方面，上述教育服务器100的第二控制部120通过上述影像合成部121将显示上述物品的摄影影像合成于上述基于虚拟现实的影像信息中，从而生成教育影像，并且将该教育影像传输到与上述教师终端10匹配并参与教育的至少一个学生终端20中的每一个终端，从而以能够确认对于物品的连续性移动的连续性的动画的方式提供上述教育影像，上述物品的连续移动是指上述物品从基于虚拟现实的影像中显示的角色B的位置移动至上述基于虚拟现实的影像中合成的特定学生终端20的摄影影像中并被适用。

通过上述结构，上述教育服务器100的影像处理部122追踪随教师的移动而反应的角色的动作，使得当发生如教师向学生传递物品的动作等事件时，对应于上述事件，使物品从包含在上述教育影像中的基于虚拟现实的影像中移动，并且到达对应于上述事件的摄影影像相关区域时，通过将上述物品信息以及位置信息传输至上述学生终端20的过程，使得对上述物品的控制权限传递至上述学生终端20的应用程序部24，而上述学生终端20的应用程序部24根据上述物品信息以及位置信息接受上述控制权限，并将上述物品适用到作为根据物品信息的物品适用对象的客体，从而可以在线实现如同教师向学生传递物品的真实地体验。

作为一例，当上述物品为眼镜物品时，在上述教育影像中的角色向特定摄影影像侧抛出眼镜物品时，上述教育服务器100的影像处理部122使该眼镜物品移动到摄影影像侧，并将眼镜相关物品信息和最终到达位置传输到学生终端20。而学生终端20的应用程序部24对应于上述眼镜物品，在摄影影像中识别学生面部的对应的部分，并可使上述眼镜物品位于适用眼镜物品的面部的眼部区域，使学生佩戴虚拟眼镜物品。

并且，上述学生终端20的应用程序部24将包含上述物品移动到显示于摄影影像中的学生的面部并佩戴在面部的眼睛的动画的摄影影像传输到教育服务器100，而上述教育服务器100根据包含上述动画的摄影影像以及基于虚拟现实的影像信息生成上述教育影像后，传输到上述教师终端10以及参加教育的多个相互不同的学生终端，使得参加教育的教师以及多个学生能够确认该物品的传递过程。

此外，上述教育服务器100的影像处理部122可以以上述方式向上述学生终端20传输如肥皂泡等物品，当上述学生终端20的应用程序部24通过配置在上述学生终端20的触摸屏(touch display)接收上述触摸输入时，执行如弄破上述肥皂泡相关物品等物品的状态发生变化的动画，并将包含上述动画相关信息的摄影影像传输到上述教育服务器100，使得上述教育服务器100根据从上述学生终端20接收的摄影影像以及基于虚拟现实的影像生成教育影像并传输到上述教师终端10以及多个学生终端20，从而可以提供能够实现教师与学生之间双方向的虚拟体验的教育影像。此时，上述学生终端20的第二显示部22以及第二输入部23可以由上述触摸显示器构成。

另一方面，在上述结构中，上述教师终端10的第一控制部14可以根据从上述教育服务器100接收的上述界面相关信息，通过显示在上述教师终端10的界面生成用于回收上述物品的回收信息并传输到上述教育服务器100，而当上述教育服务器100的第二控制部120接收到上述回收信息时，可以将上述回收信息传输到上述物品被传递的上述学生终端20。

由此，上述学生终端20的应用程序部24在接收到上述回收信息时，移动应用于上述客体的物品，使物品脱离上述摄影影像，并且物品从上述摄影影像脱离时，可以使脱离上述摄影影像之前的最终位置(最终坐标)的最终位置信息传输到上述教育服务器100。

此时，上述学生终端20的应用程序部24将包含上述物品的脱离过程的动画的摄影影像传输到上述教育服务器100，使得与上述物品的脱离相关的摄影影像合成在上述基于虚拟现实的影像中，从而生成教育影像。

并且，上述教育服务器100的上述影像处理部122在接收最终位置信息时，可以根据上述最终位置信息在上述教育影像中识别包含在上述教育影像中的最终位置，且可以在上述摄影影像中识别的上述最终位置上显示对应于上述回收信息的物品，使对应于上述回收信息的物品从教育影像中的上述最终位置移动到包含在上述教育影像中的有关上述角色的区域中的预设位置并进行显示，并且将根据上述回收信息从上述摄影影像移动到上述基于虚拟现实的影像中的物品相关教育影像向上述教师终端10以及学生终端20进行传输，使得物品回收过程能够显示在教师终端10以及学生终端20。

由此，上述教育服务器100不仅可以提供从虚拟现实连续地向增强现实移动的、对于物品传递的教育影像，还可以提供从增强现实连续地向虚拟现实移动的、对于物品回收的教育影像。

通过上述结构，本发明以适用于上述基于虚拟现实的影像中的物品随教师的物品传递动作而连续不断地移动到合成于上述基于虚拟现实的影像的、拍摄真实学生的上述摄影影像中的方式显示，与此同时，使移动到摄影影像区域的物品在拍摄真实学生的摄影影像中基于增强现实而适用于出现在上述摄影影像中的学生，从而通过虚拟现实以及增强现实的相互联动，能够利用新型教具而在线实现教师与学生间的沟通(其利用现有的在线教育中的教具是很难实现的)，同时能够在线实现利用代替物理教具的物品的体验教育，由此鼓舞学生的兴趣，且实现现有的在线教育中无法实现的体验教育，从而能够大幅提高教育效果。

即，本发明能够支持物品的传递在虚拟现实与增强现实之间连接，由此可以支持教师与学生之间的在线体验教育。

图7是根据本发明实施例的利用虚拟现实和增强现实的在线学习方法流程图。

如图所示，教师终端10可以生成教师的语音信息以及根据教师移动的运动信息，并传输到预设的上述教育服务器100(S1)。

并且，学生终端20可以将拍摄学生的摄影影像传输到上述教育服务器100(S2)。

然后，上述教育服务器100基于在预设的背景影像中合成角色(根据从上述教师终端10接收的上述运动信息改变动作)而生成的影像和上述语音信息来生成基于虚拟现实的影像，在基于虚拟现实的影像的预设区域中合成从上述学生终端20接收的上述摄影影像而生成教育影像，并且可以将上述教育影像传输到上述学生终端20以及教师终端(S3)。

并且，当基于上述运动信息而发生预设的事件时(S4)，上述教育服务器100可将显示于上述教育影像的物品根据上述运动信息移动至对应于上述摄影影像的区域，到达该区域时，可以将位置信息和物品信息传输到上述学生终端20(S5)。

然后，当从上述教育服务器100接收上述物品信息和位置信息时，上述学生终端20以使上述物品在上述摄影影像中配合于摄影对象的动作而交互的方式显示，并且将显示上述物品的摄影影像传输到上述教育服务器100(S6)。

由此，上述教育服务器100可以基于显示物品的摄影影像和上述基于虚拟现实的影像，生成摄影影像的摄影对象中显示上述物品的教育影像后，传输到上述教师终端10以及学生终端20。

本说明书中记载的各种装置以及结构部可以通过硬件回路(例如，互补型金属氧化物半导体(COMS)逻辑电路)、固件、软件以及它们的组合实现。例如，可以以各种电性结构的形态活用晶体管、逻辑门以及电路而实现。

在不脱离本发明的本质性特征的范围内，本领域的技术人员可以对上述内容进行修改以及变更。因此，本发明公开的实施例并不是用于限定本发明的技术思想，而是为了进行说明，并且本发明的技术思想的范围并不会被这样的实施例所限定。本发明的保护范围由权利要求书来确定，并且，与之等同的范围内的所有技术思想均包括在本发明的权利要求范围内。

Claims (10)

1.一种利用虚拟现实和增强现实的在线学习系统，该在线学习系统包括通过通信网络与教师终端以及至少一个学生终端进行通信的教育服务器，其特征在于，包括：

教师终端，其生成教师的语音信息以及根据教师移动的运动信息，并进行传输；

学生终端，其将拍摄学生的摄影影像传输到教育服务器，并且从所述教育服务器接收教育影像；以及

教育服务器，其基于在预设的背景影像中合成角色而生成的影像和所述语音信息来生成基于虚拟现实的影像，且在所述基于虚拟现实的影像中的预设的区域合成从所述学生终端接收的所述摄影影像而生成教育影像，并进行传输，其中，所述角色能够根据从所述教师终端接收的所述运动信息改变动作，

其中，所述教育服务器包括：

影像处理部，其根据所述运动信息使显示于所述教育影像中的物品移动到对应于所述摄影影像的区域，并且，当到达该区域时向学生终端传输位置信息和物品信息，

所述学生终端包括：

应用程序部，其从所述教育服务器接收所述物品信息和位置信息时，以使所述物品在所述摄影影像中配合于摄影对象的动作而交互的方式进行显示。

2.根据权利要求1所述的利用虚拟现实和增强现实的在线学习系统，其特征在于，

所述影像处理部从所述教师终端接收用于使用所述物品的使用信息时，将所述物品显示在教育影像中，并且，当基于所述运动信息而发生与所述物品相关的预设的事件时，在所述教育影像中，将所述物品移动到对应于所述事件的所述摄影影像的区域。

3.根据权利要求1所述的利用虚拟现实和增强现实的在线学习系统，其特征在于，

所述应用程序部在所述摄影影像中识别根据所述物品信息的、作为物品适用对象的客体，且基于所述物品信息和位置信息，在所述摄影影像中的根据所述位置信息的最初位置显示所述物品，并且，在所述摄影影像中被识别的所述客体中，根据所述物品信息识别所述物品的适用位置，由此以使物品从所述最初位置移动到该适用位置的方式进行显示，并且，将所述物品以与所述客体的动作实现交互的方式进行动态改变，并且将显示所述物品的摄影影像传输到所述教育服务器。

4.根据权利要求3所述的利用虚拟现实和增强现实的在线学习系统，其特征在于，

所述物品信息包括：作为所述物品适用对象的客体信息；以及对于在所述客体中适用所述物品的区域或位置的适用位置信息。

5.根据权利要求3所述的利用虚拟现实和增强现实的在线学习系统，其特征在于，

所述应用程序部在所述摄影影像中根据所述客体的移动来改变所述物品的状态、大小、方向、姿态以及位置中的至少一个。

6.根据权利要求1所述的利用虚拟现实和增强现实的在线学习系统，其特征在于，

所述教育服务器与多个相互不同的学生终端进行通信时，将从各个所述多个学生终端接收的多个摄影影像分别显示在所述教育影像中预设的相互不同的多个区域中的某一区域。

7.根据权利要求1所述的利用虚拟现实和增强现实的在线学习系统，其特征在于，

所述教育服务器从所述教师终端接收用于回收所述物品的回收信息时，将所述回收信息传输到所述学生终端，

所述应用程序部在接收到所述回收信息时，移动适用于所述客体的物品，从而使物品脱离所述摄影影像，并且当物品从所述摄影影像脱离时，将对于从所述摄影影像脱离之前的最终位置的最终位置信息传输到所述教育服务器，

所述影像处理部在接收到所述最终位置信息时，使对应于所述回收信息的物品以从包含在所述教育影像中的根据所述最终位置信息的摄影影像中的最终位置显示到所述教育影像中的所述角色相关区域中预设的区域的方式实现移动。

8.根据权利要求1所述的利用虚拟现实和增强现实的在线学习系统，其特征在于，

所述影像处理部演算根据所述事件的所述物品的移动方向以及路径，并根据演算结果使物品从包含在所述教育影像中的角色移动到对应于所述事件的摄影影像区域。

9.根据权利要求1所述的利用虚拟现实和增强现实的在线学习系统，其特征在于，

所述应用程序部根据所述摄影影像的颜色以及亮度中的至少一个来改变所述物品的状态。

10.一种利用虚拟现实和增强现实的在线学习方法，包括：

教师终端生成教师的语音信息以及根据教师移动的运动信息，并将其传输到预设的教育服务器的步骤；

学生终端将拍摄学生的摄影影像传输到所述教育服务器的步骤；

所述教育服务器基于预设的背景影像中合成角色而生成的影像和所述语音信息来生成基于虚拟现实的影像，并将从所述学生终端接收的所述摄影影像合成于所述基于虚拟现实的影像中的预设的区域而生成教育影像，传输至所述学生终端以及教师终端，其中所述角色能够根据从所述教师终端接收的所述运动信息改变动作的步骤；

当基于所述运动信息而发生预设的事件时，所述教育服务器可将显示在所述教育影像中的物品根据上述运动信息移动至对应于上述摄影影像的区域，且到达该区域时，可以将位置信息和物品信息传输到所述学生终端的步骤；以及

所述学生终端从所述教育服务器接收到所述物品信息和位置信息时，以使所述物品在所述摄影影像中配合于摄影对象的动作而实现交互的方式进行显示，并使显示所述物品的摄影影像传输到所述教育服务器的步骤。