CN108665755B - 互动式培训方法及互动式培训系统 - Google Patents

Abstract

本发明公开了一种互动式培训方法及互动式培训系统，所述互动式培训方法，包括：获取多个用户的眼动数据和运动数据；响应于用户的选择指令生成培训场景，并获取所述培训场景中的多个角色；根据用户的眼动数据从所述培训场景中匹配对应的角色；根据用户的运动数据在所述培训场景中生成所述角色对应的动作；将所述多个用户的角色和动作进行整合，并以全景模式进行输出。本发明具有多个培训场景且场景中的角色丰富，每个用户的角色是由其所见而决定的，提高临场感，将多角色的动作以全景输出，便于用户了解在互动中其他用户的应对，提高培训的互动性。

Description

互动式培训方法及互动式培训系统

技术领域

本发明属于数据处理领域，尤其涉及一种互动式培训方法及互动式培训系统。

背景技术

仿真培训，目前主要应用在汽车驾驶等领域。它借助于虚拟现实(VirtualReality，VR)的计算机仿真技术，营造出一个虚拟的驾驶训练环境，通过模拟装置配套的显示部件(头盔)和操控部件(方向盘、油门、刹车等)实现受训者与虚拟环境的实时交互，从而进行驾驶训练。此外，此类虚拟现实的技术，还用于模拟太空飞船等等网络或单机游戏中。

然而，现有技术中，无论是汽车的驾驶、还是太空飞船的驾驶，通常都具有如下弊端：

角色单一且无法选择，比如，角色仅有驾驶员；

操控部件单一，如方向盘、油门和刹车等，仅能操控方向和起止；以及

角色之间的互动操作少，一般仅能在各驾驶员之间对比速度。

发明内容

本发明的目的在于提供一种互动式培训方法及互动式培训系统，旨在提供一种多角色、操控灵活、且用户之间互动频繁的培训方式。

为解决上述技术问题，本发明实施例提供以下技术方案：

一种互动式培训方法，包括：

获取多个用户的眼动数据和运动数据；

响应于用户的选择指令生成培训场景，并获取所述培训场景中的多个角色；

根据用户的眼动数据从所述培训场景中匹配对应的角色；

根据用户的运动数据在所述培训场景中生成所述角色对应的动作；以及

将所述多个用户的角色和动作进行整合，并以全景模式进行输出。

为解决上述技术问题，本发明实施例还提供以下技术方案：

一种互动式培训系统，包括：

数据获取模块，用于获取多个用户的眼动数据和运动数据；

场景生成模块，用于响应于用户的选择指令生成培训场景，并获取所述培训场景中的多个角色；

角色匹配模块，用于根据用户的眼动数据从所述培训场景中匹配对应的角色；

动作生成模块，用于根据用户的运动数据在所述培训场景中生成所述角色对应的动作；以及

全景整合模块，用于将所述多个用户的角色和动作进行整合，并以全景模式进行输出。

本发明实施例提供的互动式培训方法及互动式培训系统，具有多个培训场景且场景中的角色丰富，每个用户的角色是由其所见而决定的，提高临场感，将多角色的动作以全景输出，便于用户了解在互动中其他用户的应对，提高培训的互动性。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。

图1是本发明实施例提供的互动式培训方法及互动式培训系统的应用场景示意图；

图2是本发明实施例提供的互动式培训方法的流程示意图；

图3A-图3B是本发明实施例提供的互动式培训的显示界面示意图；

图4是本发明实施例提供的互动式培训方法的流程示意图；

图5是本发明实施例提供的互动式培训系统的模块示意图；

图6是本发明实施例提供的互动式培训系统的模块示意图；

图7是本发明实施例提供的服务器的硬件结构示意图；

图8是本发明实施例提供的显示终端的应用示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本文所使用的术语「模块」、「单元」可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法优选的以软件的方式进行实施，当然也可在硬件上进行实施，均在本发明保护范围之内。

参见图1，图1为本发明实施例所提供的互动式培训方法及互动式培训系统的应用场景示意图。

所述应用场景中包括：用户11、移动终端12、场景服务器13、和显示设备14。

用户11，是指佩戴了移动终端12的人员。

在本场景中，用户11的个数通常大于1个。当用户11的个数为1个、或少于系统设置的最少人数时，由互动式培训系统生成至少一个虚拟用户，以补齐系统所需的最少人数。

移动终端12，用于获取用户11的眼动数据和运动数据。

可以理解的是，每一移动终端12拥有唯一的用户标识号ID，用于对应同一用户11。所述用户标识号对应一组匹配的眼动获取装置121和运动获取装置122。其中，所述眼动获取装置121为图像采集装置，如摄像头，并与眼镜或头盔等移动终端结合，以便实时获取用户的眼动数据。所述运动获取装置122，可以为贴片式感应装置、或穿戴式感应装置，用于获取用户11的运动数据，尤其是手部、脚部、和头部的运动数据。

场景服务器13，用于提供培训场景，每一培训场景中包括多个角色，所述每个角色包括对应的参考动作。

以交通场景的培训为例，其中的角色包括：驾驶员、教练、和交通警察等。其中，驾驶员的眼动数据包括：驾驶员所视的车内数据、路况数据等；教练的眼动数据包括：教练所视的车内视角、路况数据、驾驶员的操作数据等；交通警察的数据包括：路况数据、和各驾驶员的行驶数据等。

以战场场景的培训为例，其中的角色包括：A队战士、A队指挥、B队战士、B队指挥等。各战士的参考动作主要为执行命令，各指挥的参考动作，主要为制定命令，并根据各队员的表现及时修改命令等。

此外，所述场景服务器13，还用于：通过移动终端12获取多个用户11的眼动数据和运动数据；接收用户11的选择指令生成培训场景，并获取所述培训场景中的多个角色；根据用户的眼动数据从所述培训场景中匹配对应的角色；根据用户的运动数据在所述培训场景中生成所述角色对应的动作；将所述多个用户的角色和动作进行整合，并以全景模式15进行输出。

显示设备14，连接于所述场景服务器13，并接收并显示全景模式15的视频输出。

可以理解的是，所述显示设备14可以是一个大屏幕，放置于第三方平台，供非佩戴移动终端12的其他参与者观看；也可以是手机、智能眼镜、或智能头盔等可移动的电子设备，供佩戴移动终端12的用户11进行实时参考，以便所述用户11实时调整运动策略等。

本发明实施例提供的互动式培训方法及互动式培训系统，具有多个培训场景且场景中的角色丰富，每个用户的角色是由其所见而决定的，提高临场感，将多角色的动作以全景输出，便于用户了解在互动中其他用户的应对，提高培训的互动性。

可以理解的是，以下主要从场景服务器13的角度进行描述，来展示其与移动终端12、以及显示终端14之间的互动关系。

请参阅图2，所示为本发明实施例提供的互动式培训方法的流程示意图。所述互动式培训方法包括如下步骤：

在步骤S201中，获取多个用户的眼动数据和运动数据。

其中，所述眼动数据，由眼动获取装置采集，为从用户的视角所观看到的视频数据。所述眼动获取装置，一般为摄像头，可与智能眼镜、或虚拟现实的头盔等移动终端结合，以便实时并便捷的获取用户的眼动数据。

所述运动数据，由运动获取装置采集，为用户运动所产生的矢量数据。所述运动获取装置，为可穿戴式感应装置，如智能手套、智能手环、或智能鞋等；也可以为贴片式感应装置，贴于用户的四肢等处，用于获取手部、脚部、和头部的运动数据。

在步骤S202中，响应于用户的选择指令生成培训场景，并获取所述培训场景中的多个角色。

在本步骤中，首先提供多个培训场景。所述培训场景比如：交通场景、战场场景、学校场景、矿难场景、火灾场景、地震场景、或太空场景中等。

然后在每一场景中，获取对应的多个角色。以交通场景为例，其中的多个角色包括：驾驶员、教练、和交通警察；所述交通场景中的多个角色也可以包括：多个赛车手、和裁判。以地震场景为例，其中的多个角色包括：在各种场所中的人员、和救援人员等。

在步骤S203中，根据用户的眼动数据从所述培训场景中匹配对应的角色。

可以理解的是，本步骤根据用户的眼动数据来决定角色，即，用户可以根据其所视内容来决定角色，也可以通过所视内容来改变角色。

比如，以交通场景为例，若用户正面看到的是方向盘，则其角色为驾驶员；若用户左前方看到的是方向盘，则其角色为教练或乘客。此外，上述两个用户可以通过变换位置，来变换用户的眼动数据，即可实现角色的转换。

又如，以医疗场景为例，若其中一用户跌倒，则其角色匹配为病人；其他用户的所视内容若能包括跌倒的用户，则角色匹配为救助人员，其他用户的视角若不能包括所述跌倒的用户，则角色匹配为路人。

在步骤S204中，根据用户的运动数据在所述培训场景中生成所述角色对应的动作。

比如，用户A根据眼动数据匹配为病人，之后进行一系列动作，比如：昏厥、腿不能动、或抽筋等，并将所述一系列动作生成为培训场景中虚拟病人的对应动作；

又如，用户B根据眼动数据匹配为救助人员，之后进行一系列动作，比如：人工呼吸、手术、或包扎等，并将所述一系列动作生成为培训场景中虚拟救助人员的对应动作。

在步骤S205中，将所述多个用户的角色和动作进行整合，并以全景模式进行输出。

请同时参阅图3A和图3B，所示为互动式培训的显示界面示意图。

在图3A中，在进行全景整合时，根据用户的分散程度，来决定全景模式的长宽比。比如，用户之间分散度大，距离远，则全景模式显示时长宽比的比值较大；用户之间的分散度小，距离近，则全景模式显示时长宽比的比值较小。

在图3B中，在进行全景整合时，从场景中提取包含用户的视频，并将所述包含用户的视频进行拼接。比如：每个用户占用一个窗口，并将各窗口按某一顺序进行拼接。以战场场景为例，所述顺序可以是指挥官和战士的战绩等。

本发明实施例提供的互动式培训方法，具有多个培训场景且场景中的角色丰富，每个用户的角色是由其所见而决定的，提高临场感，将多角色的动作以全景输出，便于用户了解在互动中其他用户的应对，提高培训的互动性。

请参阅图4，所示为本发明实施例提供的互动式培训方法的流程示意图。所述互动式培训方法可以包括：

在步骤S401中，获取多个用户的眼动数据、运动数据和音频数据。

具体而言，本步骤包括：

(1)为每一用户生成对应的用户标识号。

所述用户标识号，比如，ID 001，ID002。

(2)为所述用户标识号匹配为对应的眼动获取装置、运动获取装置、和音频获取装置。

表1获取装置之间的对应关系

用户标识号	眼动获取装置	运动获取装置	音频获取装置
				ID001	101	201-205	301
ID002	102	206-210	302

如表1所示，其中ID001对应于眼动获取装置101、运动获取装置201-205、音频获取装置301；ID002对应于眼动获取装置102、运动获取装置206-210、音频获取装置302。

(3)通过所述眼动获取装置、所述运动获取装置、所述音频获取装置生成每一用户的眼动数据、运动数据、和音频数据。

其中，所述眼动数据，由眼动获取装置采集，为从用户的视角所观看到的视频数据。所述眼动获取装置，一般为摄像头，可与智能眼镜、或虚拟现实的头盔等移动终端结合，以便实时并便捷的获取用户的眼动数据。

所述运动数据，由运动获取装置采集，为用户运动所产生的矢量数据。所述运动获取装置，为可穿戴式感应装置，如智能手套、智能手环、或智能鞋等；也可以为贴片式感应装置，贴于用户的四肢等处，用于获取手部、脚部、和头部的运动数据。

所述音频数据，由音频获取装置采集。所述音频获取装置包括但不限于麦克风。可以与眼动获取装置一同，与智能眼镜、或虚拟现实的头盔等移动终端结合。

在步骤S402中，响应于用户的选择指令生成培训场景，并获取所述培训场景中的多个角色，以及获取每一角色的参考动作。

在本步骤中，首先提供多个培训场景。所述培训场景比如：交通场景、战场场景、学校场景、矿难场景、火灾场景、地震场景、或太空场景中等。

然后在每一场景中，获取对应的多个角色。以交通场景为例，其中的多个角色包括：驾驶员、教练、和交通警察；所述交通场景中的多个角色也可以包括：多个赛车手、和裁判。以地震场景为例，其中的多个角色包括：在各种场所中的人员、和救援人员等。

每一角色有多个对应的参考动作，比如：模拟地震发生时，所有人员的参考动作为：就近躲避、或往空旷地区奔跑等；看到有人受伤，其参考动作是及时的救助或拨打电话请求专业人员救助等。

在步骤S403中，根据用户的眼动数据从所述培训场景中匹配对应的角色和参考动作。

可以理解的是，本步骤根据用户的眼动数据来决定角色，即，用户可以根据其所视内容来决定角色，也可以通过所视内容来改变角色。

比如，以交通场景为例，若用户正面看到的是方向盘，则其角色为驾驶员；若用户左前方看到的是方向盘，则其角色为教练或乘客。此外，上述两个用户可以通过变换位置，来变换用户的眼动数据，即可实现角色的转换。

又如，以医疗场景为例，若其中一用户跌倒，则其角色匹配为病人；其他用户的所视内容若能包括跌倒的用户，则角色匹配为救助人员，其他用户的视角若不能包括所述跌倒的用户，则角色匹配为路人。

在步骤S404中，根据用户的运动数据在所述培训场景中生成所述角色对应的动作。

比如，用户A根据眼动数据匹配为病人，之后进行一系列动作，比如：昏厥、腿不能动、或抽筋等，并将所述一系列动作生成为培训场景中虚拟病人的对应动作；

又如，用户B根据眼动数据匹配为救助人员，之后进行一系列动作，比如：人工呼吸、手术、或包扎等，并将所述一系列动作生成为培训场景中虚拟救助人员的对应动作。

在步骤S405中，将所述多个用户的角色、动作和音频数据进行整合，并以全景模式进行输出。

请同时参阅图3A和图3B，所示为互动式培训的显示界面示意图。

在图3A中，在进行全景整合时，根据用户的分散程度，来决定全景模式的长宽比。比如，用户之间分散度大，距离远，则全景模式显示时长宽比的比值较大；用户之间的分散度小，距离近，则全景模式显示时长宽比的比值较小。

在图3B中，在进行全景整合时，从场景中提取包含用户的视频，并将所述包含用户的视频进行拼接。比如：每个用户占用一个窗口，并将各窗口按某一顺序进行拼接。以战场场景为例，所述顺序可以是指挥官和战士的战绩等。

其中，所述音频数据的输出模块，包括但不限于如下方式：

(1)将所述音频数据与所述用户对应的角色进行整合；接收对所述角色或所述用户的选择指令，并播放对应的音频数据。

(2)将所述音频数据与所述用户对应的角色进行整合；接收对所述角色或所述用户的选择指令，将对应的音频数据转换为字幕进行显示。

(3)播放全部音频，但根据在全景模式中角色的远近进行声音大小的调节。

在步骤S406中，判断所述动作与参考动作之间的差异是否在预设范围内。

可以理解的是，本步骤是用于判断用户是否执行了正确的动作，以及动作是否标准。其中，若差异在预设范围内，即动作正确且标准，则执行步骤S407；若差异不在预设范围内，说明动作不正确或不标准，则执行步骤S408。

在步骤S407中，生成提示信息。

所述提示信息，可通过音频、或视频等方式，提示用户当前的操作正确、得分、升级、通关、胜利等。

在步骤S408中，生成反馈信息。

所述反馈信息，可通过音频、视频、振动等方式，提示用户当前的操作不当。比如，地震场景中，用户的参考动作是奔跑，但用户的实际动作是躲避，则脚部的贴片进行振动，提醒用户脚部的运动方式不当。

本发明实施例提供的互动式培训方法，具有多个培训场景且场景中的角色丰富，每个用户的角色是由其所见而决定的，提高临场感，将多角色的动作以全景输出，便于用户了解在互动中其他用户的应对，提高培训的互动性，且当用户应对不当时，给予反馈提示。

请参阅图5，所示为本发明实施例提供的互动式培训系统的模块示意图。所述互动式培训系统500包括：数据获取模块51、场景生成模块52、角色匹配模块53、动作生成模块54、和全景整合模块55。

数据获取模块51，用于获取多个用户的眼动数据和运动数据。

其中，所述眼动数据，由眼动获取装置采集，为从用户的视角所观看到的视频数据。所述眼动获取装置，一般为摄像头，可与智能眼镜、或虚拟现实的头盔等移动终端结合，以便实时并便捷的获取用户的眼动数据。

所述运动数据，由运动获取装置采集，为用户运动所产生的矢量数据。所述运动获取装置，为可穿戴式感应装置，如智能手套、智能手环、或智能鞋等；也可以为贴片式感应装置，贴于用户的四肢等处，用于获取手部、脚部、和头部的运动数据。

场景生成模块52，用于响应于用户的选择指令生成培训场景，并获取所述培训场景中的多个角色。

具体而言，所述场景生成模块52，首先提供多个培训场景。所述培训场景比如：交通场景、战场场景、学校场景、矿难场景、火灾场景、地震场景、或太空场景中等。

然后在每一场景中，获取对应的多个角色。以交通场景为例，其中的多个角色包括：驾驶员、教练、和交通警察；所述交通场景中的多个角色也可以包括：多个赛车手、和裁判。以地震场景为例，其中的多个角色包括：在各种场所中的人员、和救援人员等。

角色匹配模块53，用于根据用户的眼动数据从所述培训场景中匹配对应的角色。

可以理解的是，所述角色匹配模块53根据用户的眼动数据来决定角色，即，用户可以根据其所视内容来决定角色，也可以通过所视内容来改变角色。

比如，以交通场景为例，若用户正面看到的是方向盘，则其角色为驾驶员；若用户左前方看到的是方向盘，则其角色为教练或乘客。此外，上述两个用户可以通过变换位置，来变换用户的眼动数据，即可实现角色的转换。

又如，以医疗场景为例，若其中一用户跌倒，则其角色匹配为病人；其他用户的所视内容若能包括跌倒的用户，则角色匹配为救助人员，其他用户的视角若不能包括所述跌倒的用户，则角色匹配为路人。

动作生成模块54，用于根据用户的运动数据在所述培训场景中生成所述角色对应的动作。

比如，用户A根据眼动数据匹配为病人，之后进行一系列动作，比如：昏厥、腿不能动、或抽筋等，并将所述一系列动作生成为培训场景中虚拟病人的对应动作；

又如，用户B根据眼动数据匹配为救助人员，之后进行一系列动作，比如：人工呼吸、手术、或包扎等，并将所述一系列动作生成为培训场景中虚拟救助人员的对应动作。

全景整合模块55，用于将所述多个用户的角色和动作进行整合，并以全景模式进行输出。

请同时参阅图3A和图3B，所示为互动式培训的显示界面示意图。

在图3A中，在进行全景整合时，根据用户的分散程度，来决定全景模式的长宽比。比如，用户之间分散度大，距离远，则全景模式显示时长宽比的比值较大；用户之间的分散度小，距离近，则全景模式显示时长宽比的比值较小。

在图3B中，在进行全景整合时，从场景中提取包含用户的视频，并将所述包含用户的视频进行拼接。比如：每个用户占用一个窗口，并将各窗口按某一顺序进行拼接。以战场场景为例，所述顺序可以是指挥官和战士的战绩等。

本发明实施例提供的互动式培训系统，具有多个培训场景且场景中的角色丰富，每个用户的角色是由其所见而决定的，提高临场感，将多角色的动作以全景输出，便于用户了解在互动中其他用户的应对，提高培训的互动性。

请参阅图6，所示为本发明实施例提供的互动式培训系统的模块示意图。所述互动式培训系统600包括：数据获取模块61、场景生成模块62、角色匹配模块63、动作生成模块64、全景整合模块65、音频输出模块66、和反馈模块67。

数据获取模块61，用于获取多个用户的眼动数据、运动数据和音频数据。

其中，所述数据获取模块61包括：标识单元611、匹配单元612、和获取单元613。

具体而言，所述标识单元611，用于为每一用户生成对应的用户标识号。所述用户标识号，比如，ID 001，ID002。

匹配单元612，用于为所述用户标识号匹配为对应的眼动获取装置和运动获取装置。比如，ID001对应于眼动获取装置101、运动获取装置201-205、音频获取装置301；ID002对应于眼动获取装置102、运动获取装置206-210、音频获取装置302。

获取单元613，用于通过所述眼动获取装置、所述运动获取装置、和视频获取装置生成每一用户的眼动数据和运动数据。

其中，所述眼动数据，由眼动获取装置采集，为从用户的视角所观看到的视频数据。所述眼动获取装置，一般为摄像头，可与智能眼镜、或虚拟现实的头盔等移动终端结合，以便实时并便捷的获取用户的眼动数据。

所述运动数据，由运动获取装置采集，为用户运动所产生的矢量数据。所述运动获取装置，为可穿戴式感应装置，如智能手套、智能手环、或智能鞋等；也可以为贴片式感应装置，贴于用户的四肢等处，用于获取手部、脚部、和头部的运动数据。

所述音频数据，由音频获取装置采集。所述音频获取装置包括但不限于麦克风。可以与眼动获取装置一同，与智能眼镜、或虚拟现实的头盔等移动终端结合。

场景生成模块62，用于响应于用户的选择指令生成培训场景，并获取所述培训场景中的多个角色，以及获取每一角色的参考动作。

所述场景生成模块62首先提供多个培训场景。所述培训场景比如：交通场景、战场场景、学校场景、矿难场景、火灾场景、地震场景、或太空场景中等。

然后在每一场景中，获取对应的多个角色。以交通场景为例，其中的多个角色包括：驾驶员、教练、和交通警察；所述交通场景中的多个角色也可以包括：多个赛车手、和裁判。以地震场景为例，其中的多个角色包括：在各种场所中的人员、和救援人员等。

每一角色有多个对应的参考动作，比如：模拟地震发生时，所有人员的参考动作为：就近躲避、或往空旷地区奔跑等；看到有人受伤，其参考动作是及时的救助或拨打电话请求专业人员救助等。

角色匹配模块63，连接于数据获取模块61和场景生成模块62，用于根据用户的眼动数据从所述培训场景中匹配对应的角色和参考动作。

可以理解的是，本步骤根据用户的眼动数据来决定角色，即，用户可以根据其所视内容来决定角色，也可以通过所视内容来改变角色。

比如，以交通场景为例，若用户正面看到的是方向盘，则其角色为驾驶员；若用户左前方看到的是方向盘，则其角色为教练或乘客。此外，上述两个用户可以通过变换位置，来变换用户的眼动数据，即可实现角色的转换。

又如，以医疗场景为例，若其中一用户跌倒，则其角色匹配为病人；其他用户的所视内容若能包括跌倒的用户，则角色匹配为救助人员，其他用户的视角若不能包括所述跌倒的用户，则角色匹配为路人。

动作生成模块64，连接于角色匹配模块63，用于根据用户的运动数据在所述培训场景中生成所述角色对应的动作。

比如，用户A根据眼动数据匹配为病人，之后进行一系列动作，比如：昏厥、腿不能动、或抽筋等，并将所述一系列动作生成为培训场景中虚拟病人的对应动作；

又如，用户B根据眼动数据匹配为救助人员，之后进行一系列动作，比如：人工呼吸、手术、或包扎等，并将所述一系列动作生成为培训场景中虚拟救助人员的对应动作。

全景整合模块65，连接于动作生成模块64，用于将所述多个用户的角色、和动作进行整合，并以全景模式进行输出。

请同时参阅图3A和图3B，所示为互动式培训的显示界面示意图。

在图3A中，在进行全景整合时，根据用户的分散程度，来决定全景模式的长宽比。比如，用户之间分散度大，距离远，则全景模式显示时长宽比的比值较大；用户之间的分散度小，距离近，则全景模式显示时长宽比的比值较小。

在图3B中，在进行全景整合时，从场景中提取包含用户的视频，并将所述包含用户的视频进行拼接。比如：每个用户占用一个窗口，并将各窗口按某一顺序进行拼接。以战场场景为例，所述顺序可以是指挥官和战士的战绩等。

音频输出模块66，包括但不限于如下三种之一：

音频播放模块661，用于接收对所述角色或所述用户的选择指令，并播放对应的音频数据；

音频调节模块662，用于播放全部音频，并根据在全景模式中角色的远近进行声音大小的调节；以及

音频字幕模块663，用于将所述音频数据与所述用户对应的角色进行整合；接收对所述角色或所述用户的选择指令，将对应的音频数据转换为字幕进行显示。

反馈模块67，连接于全景整合模块65，用于判断所述动作与参考动作之间的差异是否在预设范围内，并当不在预设范围内时，生成反馈信息。

其中，所述反馈模块67包括：判断单元671、提示单元672、和反馈单元673。

具体而言，判断单元671，用于判断用户是否执行了正确的动作，以及动作是否标准；

提示单元672，用于当差异在预设范围内时，即动作正确且标准，则生成提示信息；其中，所述提示信息，可通过音频、或视频等方式，提示用户当前的操作正确、得分、升级、通关、胜利等。

反馈单元673，用于当差异不在预设范围内时，说明动作不正确或不标准，生成反馈信息。

所述反馈信息，可通过音频、视频、振动等方式，提示用户当前的操作不当。比如，地震场景中，用户的参考动作是奔跑，但用户的实际动作是躲避，则脚部的贴片进行振动，提醒用户脚部的运动方式不当。

本发明实施例提供的互动式培训系统，具有多个培训场景且场景中的角色丰富，每个用户的角色是由其所见而决定的，提高临场感，将多角色的动作以全景输出，便于用户了解在互动中其他用户的应对，提高培训的互动性，且当用户应对不当时，给予反馈提示。

相应的，本发明实施例还提供一种服务器，如图7所示，所述互动式培训方法及互动式培训装置，应用于服务器700中。所述服务器700包括：一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702、射频(Radio Frequency，RF)电路703、短距离无线传输(WiFi)模块704、电源705、输入单元706、以及显示单元707等部件。

本领域技术人员可以理解，上述结构并不构成对服务器700的限定，可以包括比上述更多或更少的部件、组合某些部件、或不同的部件布置。其中：

具体在本实施例中，在服务器700中，处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能，如下：

获取多个用户的眼动数据和运动数据；响应于用户的选择指令生成培训场景，并获取所述培训场景中的多个角色；根据用户的眼动数据从所述培训场景中匹配对应的角色；根据用户的运动数据在所述培训场景中生成所述角色对应的动作；将所述多个用户的角色和动作进行整合，并以全景模式进行输出。

优选的，所述处理器701还可以用于：为每一用户生成对应的用户标识号；为所述用户标识号匹配为对应的眼动获取装置和运动获取装置；通过所述眼动获取装置和所述运动获取装置生成每一用户的眼动数据和运动数据。

优选的，所述处理器701还可以用于：获取多个用户的音频数据；将所述音频数据与所述用户对应的角色进行整合；接收对所述角色或所述用户的选择指令，并播放对应的音频数据。

优选的，所述处理器701还可以用于：获取多个用户的音频数据；将所述多个用户的角色、动作、和音频数据进行整合，并根据在全景模式中角色的远近进行声音大小的调节。

优选的，所述处理器701还可以用于：获取所述培训场景中每一角色的参考动作；判断所述动作与参考动作之间的差异是否在预设范围内；当不在预设范围内时，生成反馈信息。

本发明实施例提供的所述服务器，与上文实施例中的互动式培训方法、互动式培训系统属于同一构思。

相应的，本发明实施例还提供一种显示终端，以智能眼镜的为例。如图7所示为智能眼镜的镜片示例图，其培训场景为战场场景。

所述智能眼镜的镜片800上，设置有眼动获取装置81，和显示界面82。

眼动获取装置81，为内置摄像头，用于获取用户的眼动数据，即用户所看到的真实场景或虚拟场景。

显示界面82，以全景模式进行显示多个用户的角色、动作。并当用于执行错误动作时，生成反馈信息，比如：弹幕提示注意左前方的敌方。当操作正确时，生成提示信息，以告知用户前的操作正确、得分、升级、通关、胜利等。

本发明实施例提供的互动式培训方法，具有多个培训场景且场景中的角色丰富，每个用户的角色是由其所见而决定的，提高临场感，将多角色的动作以全景输出，便于用户了解在互动中其他用户的应对，提高培训的互动性，且当用户应对不当时，给予反馈提示。

此外，所述培训场景包括但不限于：交通场景、学校场景、矿难场景、火灾场景、地震场景、或太空场景中等。

需要说明的是，对本发明所述互动式培训方法而言，本领域普通技术人员可以理解实现本发明实施例中的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在服务器的存储器中，并被该服务器内的至少一个处理器执行，在执行过程中可包括如所述信息分享方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。

对本发明实施例的所述互动式培训系统而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本发明实施例所提供的一种互动式培训方法、互动式培训装置及服务器进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种互动式培训方法，其特征在于，包括：

获取多个用户的眼动数据和运动数据；所述眼动数据由眼动获取装置采集，包括从用户的视角所观看到的视频数据；所述运动数据由运动获取装置采集，包括用户运动所产生的矢量数据；

响应于用户的选择指令从多个预设培训场景中选择并生成培训场景，并获取所述培训场景中的多个不同角色以及每一角色的参考动作，不同角色具备不同的参考动作；

根据用户的眼动数据确定用户在所述培训场景中针对场景内容的所视内容，根据所述所视内容从所述培训场景中匹配用户对应的角色；

根据用户的运动数据在所述培训场景中生成所述角色对应的动作；

将所述多个用户的角色和动作进行整合，并以全景模式进行输出；所述以全景模式进行输出包括：进行全景整合时，根据用户的分散程度，来决定全景模式的长宽比；或者在进行全景整合时，从场景中提取包含用户的视频，并将所述包含用户的视频进行拼接；

判断所述动作与参考动作之间的差异是否在预设范围内；以及

当不在预设范围内时，生成反馈信息；所述反馈信息包括通过振动方式提醒用户当前的操作不当，具体为：使用不在预设范围内的动作对应部位的贴片提醒运动不当。

2.如权利要求1所述的互动式培训方法，其特征在于，获取多个用户的眼动数据和运动数据，包括：

为每一用户生成对应的用户标识号；

为所述用户标识号匹配为对应的眼动获取装置和运动获取装置；

通过所述眼动获取装置和所述运动获取装置生成每一用户的眼动数据和运动数据。

3.如权利要求1或2所述的互动式培训方法，其特征在于，还包括：

获取多个用户的音频数据；

将所述音频数据与所述用户对应的角色进行整合；

接收对所述角色或所述用户的选择指令，并播放对应的音频数据。

4.如权利要求1或2所述的互动式培训方法，其特征在于，还包括：

获取多个用户的音频数据；

将所述多个用户的角色、动作、和音频数据进行整合，并根据在全景模式中角色的远近进行声音大小的调节。

5.一种互动式培训系统，其特征在于，包括：

数据获取模块，用于获取多个用户的眼动数据和运动数据；所述眼动数据由眼动获取装置采集，包括从用户的视角所观看到的视频数据；所述运动数据由运动获取装置采集，包括用户运动所产生的矢量数据；

场景生成模块，用于响应于用户的选择指令从多个预设培训场景中选择并生成培训场景，并获取所述培训场景中的多个不同角色以及每一角色的参考动作，不同角色具备不同的参考动作；

角色匹配模块，用于根据用户的眼动数据确定用户在所述培训场景中针对场景内容的所视内容，根据所述所视内容从所述培训场景中匹配用户对应的角色；

动作生成模块，用于根据用户的运动数据在所述培训场景中生成所述角色对应的动作；

全景整合模块，用于将所述多个用户的角色和动作进行整合，并以全景模式进行输出；所述以全景模式进行输出包括：进行全景整合时，根据用户的分散程度，来决定全景模式的长宽比；或者在进行全景整合时，从场景中提取包含用户的视频，并将所述包含用户的视频进行拼接；

反馈模块，用于判断所述动作与参考动作之间的差异是否在预设范围内，并当不在预设范围内时，生成反馈信息；所述反馈信息包括通过振动方式提醒用户当前的操作不当，具体为：使用不在预设范围内的动作对应部位的贴片提醒运动不当。

6.如权利要求5所述的互动式培训系统，其特征在于，所述数据获取模块包括：

标识单元，用于为每一用户生成对应的用户标识号；

匹配单元，用于为所述用户标识号匹配为对应的眼动获取装置和运动获取装置；

获取单元，用于通过所述眼动获取装置和所述运动获取装置生成每一用户的眼动数据和运动数据。

7.如权利要求5或6所述的互动式培训系统，其特征在于：

所述数据获取模块，还用于获取多个用户的音频数据；

所述全景整合模块，还用于将所述音频数据与所述用户对应的角色进行整合；

所述互动式培训系统，还包括：

音频播放模块，用于接收对所述角色或所述用户的选择指令，并播放对应的音频数据。

8.如权利要求5或6所述的互动式培训系统，其特征在于，还包括：

所述数据获取模块，还用于获取多个用户的音频数据；

音频调节模块，用于将所述多个用户的角色、动作、和音频数据进行整合，并根据在全景模式中角色的远近进行声音大小的调节。

Images