CN112652200A - 人机交互系统、方法、服务器、交互控制设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种人机交互系统、方法、服务器、交互控制设备及存储介质。在本申请实施例中，依托于教学播放终端、交互控制设备、服务器组成的人机交互系统，首先，在学习者使用交互控制设备控制教学播放终端播放教学内容期间，利用所述交互控制设备采集包含所述学习者在内的视频数据；接着，服务器基于交互控制设备所采集的包括学习者在内的视频数据确定学习者的学习状态信息，以及将学习者的学习状态信息发送给教学播放终端；最后，教学播放终端在其屏幕上不仅仅是显示教学内容，还能同步显示学习者的学习状态信息，所展示的信息更为丰富，提升了系统资源利用率。此外，该系统还能够满足在线教育对学习者的学习状态监测的需求。

Description

人机交互系统、方法、服务器、交互控制设备及存储介质

技术领域

本申请涉及人机交互技术领域，尤其涉及一种人机交互系统、方法、服务器、交互控制设备及存储介质。

背景技术

目前，越来越多的学习者通过在线课堂学习知识，在线课堂可以支持老师和学生进行实时视音频互动、在线直播教学、课件录制、课件回看、屏幕共享、文档共享、答题互动等教学活动。然而，线上教学场景中主要展示的是教学内容，展示信息不够丰富，系统资源利用率不高。

发明内容

本申请的多个方面提供一种人机交互系统、方法、服务器、交互控制设备及存储介质，用以丰富线上教学场景中展示信息的丰富度，提升系统资源利用率。

本申请实施例提供一种人机交互系统，包括：教学播放终端、交互控制设备以及服务器；

所述教学播放终端，用于根据所述交互控制设备的教学播放指令，从所述服务器获取对应教学内容并在其屏幕上播放所述教学内容；

所述交互控制设备，用于在所述教育播放终端播放所述教学内容期间，利用其摄像头采集包含学习者在内的视频数据，并上传至所述服务器；

所述服务器，用于从所述视频数据中识别所述学习者的姿态数据和/或表情数据；根据所述姿态数据和/或表情数据，生成所述学习者的学习状态信息；将所述学习状态信息发送给所述教学播放终端；

所述教育播放终端还用于：在播放所述教学内容期间，在其屏幕上同步显示所述学习者的学习状态信息。

本申请实施例还提供一种人机交互方法，包括：

获取在学习者使用交互控制设备控制教学播放终端播放教学内容期间，利用所述交互控制设备采集包含所述学习者在内的视频数据；

从所述视频数据中识别所述学习者的姿态数据和/或表情数据；

根据所述姿态数据和/或表情数据，生成所述学习者的学习状态信息；

将所述学习者的学习状态信息发送给所述教学播放终端，以供所述教学播放终端在播放所述教学内容期间同步显示所述学习者的学习状态信息。

本申请实施例还提供一种服务器，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：

获取在学习者使用交互控制设备控制教学播放终端播放教学内容期间，利用所述交互控制设备采集包含所述学习者在内的视频数据；

从所述视频数据中识别所述学习者的姿态数据和/或表情数据；

根据所述姿态数据和/或表情数据，生成所述学习者的学习状态信息；

将所述学习者的学习状态信息发送给所述教学播放终端，以供所述教学播放终端在播放所述教学内容期间同步显示所述学习者的学习状态信息。

本申请实施例还提供一种交互控制设备，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：

响应于学习者输入的交互指令，向教学播放终端发送播放指令，以控制教学播放终端播放教学内容；

在所述教学内容的播放期间，采集包含所述学习者在内的视频数据并上传至服务器，以供服务器从所述视频数据中识别所述学习者的姿态数据和/或表情数据；根据所述姿态数据和/或表情数据，生成所述学习者的学习状态信息；将所述学习状态信息发送给所述教学播放终端进行同步显示。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处理器执行时，致使所述处理器实现上述人机交互方法中的步骤。

本申请实施例提供的人机交互系统、方法、服务器、交互控制设备及存储介质，依托于教学播放终端、交互控制设备、服务器组成的人机交互系统，首先，在学习者使用交互控制设备控制教学播放终端播放教学内容期间，利用所述交互控制设备采集包含所述学习者在内的视频数据；接着，服务器基于交互控制设备所采集的包括学习者在内的视频数据确定学习者的学习状态信息，以及将学习者的学习状态信息发送给教学播放终端；最后，教学播放终端在其屏幕上不仅仅是显示教学内容，还能同步显示学习者的学习状态信息，所展示的信息更为丰富，提升了系统资源利用率。此外，还能够满足在线教育对学习者的学习状态监测的需求，同步显示学习者的学习状态信息也会促进提升学习者的学习效果，更好地凸显了人机交互系统的市场价值。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请示例性实施例提供的一种人机交互系统的结构示意图；

图2为本申请示例性实施例提供的一种人机交互方法的流程示意图；

图3为本申请示例性实施例提供的一种服务器的结构示意图；

图4为本申请示例性实施例提供的一种交互控制设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请示例性实施例提供的一种人机交互系统的结构示意图。在图1所示的系统中，包括交互控制设备2、服务器3、教学播放终端1。其中，交互控制设备2可与服务器3、教学播放终端1通信连接，教学播放终端1也可与服务器3通信连接。

在本实施例中，交互控制设备2支持多种交互方式。多种交互方式包括但不限于：语音交互、手写交互、手势交互等。例如，用户对着交互控制设备2的语音采集区域说出交互指令“请播放黄老师的教学视频”。又例如，在交互控制设备2的手写屏幕上采用手写笔写出交互指令“请播放黄老师的教学视频”。又例如，用户在交互控制设备2的摄像头前面比划用于指示打开和/或智能电视的交互手势。交互控制设备2可以是任意设备形态的设备，例如，手写屏设备、数位板、可穿戴设备、车载设备、手机、平板等。

交互控制设备2可以包括但并不限于以下模块：用于采集声音信号的语音采集模块、用于采集图像信号的摄像头、支持用户采用手写笔进行手写输入的手写屏模块、手写笔、有线和/或无线传输模块、处理器、功能按键、状态指示模块、开关机的电源按键等。

其中，语音采集模块可以为远场语音采集模块。

其中，有线和/或无线传输模块可以支持交互控制设备2与服务器3、教学播放终端1通信连接。优选的，无线传输模块支持2.4G WIIF协议，可以保证交互过程的稳定可靠和多媒体音视频数据传输。

其中，功能按键例如包括音量调节按键、返回按键、用于丰富师生间交互的抢答和/或举手按键。

在本实施例中，服务器3可以对交互控制设备2上传的数据信息进行识别处理，根据识别处理结果对教学播放终端1进行控制。服务器3可以是任意设备形态的设备，例如，常规服务器3、云服务器3或服务器3阵列等服务端设备。

作为一种示例，服务器3所具有的功能包括但不限于：语音识别功能、图像识别功能、OCR识别功能、笔迹识别功能。

其中，语音识别功能用于对交互控制设备2所采集的语音数据进行语音识别，并根据语音识别结果对交互控制设备2和/或教学播放终端1进行智能控制，或者将语音识别结果发送给交互控制设备2和/或教学播放终端1。例如，针对在线教育场景中，语音识别功能可以实现学习者和老师的语音交互。

其中，图像识别功能例如可以包括人脸识别功能、面部表情识别功能、姿态识别功能等。

其中，人脸识别功能可以检测使用交互控制设备2的用户是不是学习者本人，用来对学习者进行学习监督。

进一步的，面部表情识别功能可以对基于人脸识别功能从视频数据中检测出的人脸图像进行面部表情识别。可以理解的是，上课专心的学习者的面部表情是比较丰富的，上课不够专心的学习者的面部表情一般变化不大，且较为冷漠。因此，可以通过学习者的面部表情对学习者的学习状态进行评估。

其中，姿态识别功能例如可以包括头部姿态功能、坐姿姿态、写字姿势、握笔姿势、形体姿态。

针对头部姿态功能，可以对基于人脸识别功能从视频数据中检测出的人脸图像进行头部姿态估计。头部姿态例如为点头、摇头、抬头、低头、转头等。可以理解的是，上课专心的学习者出现较多的头部姿态是点头、摇头、抬头，上课专心的学习者出现较多的头部姿态是低头、转头。因此，可以通过学习者的头部姿态对学习者的学习状态进行评估。

针对坐姿姿态，可以从视频中检测出的包括用户上半身的图像进行坐姿估计。可以理解的是，上课专心的学习者出现较多的坐姿姿态是保持上半身挺直的姿势，上课不专心的学习者出现较多的坐姿姿态是上半身不够挺直的姿势。

针对写字姿势，可以对从视频中检测出的包括用户写字时的图像进行写字姿势。写字姿势是指写字时身体应当保持的姿势，包括坐写的姿势和站写的姿势。正确的写字姿势和错误的写字姿势可以参考相关技术的定义进行区分。

针对握笔姿势，可以对从视频中检测出的包括用户握笔的图像进行握笔姿势检测。握笔姿势分为正确的握笔姿势和错误握笔姿势。正确的握笔姿势和错误握笔姿势可以参考相关技术的定义进行区分。

针对形体姿态，可以理解为从视频中检测出的包括用户整个身体的图像进行形体识别。可以理解的是，在形体教学当中，识别学习者的形体姿态，并与老师的形体姿态进行比较，可以帮助学习者掌握正确的形体动作。

其中，OCR识别功能用来对用户在手写屏幕上书写的文字内容进行识别。例如，在教学场景中，学习者在手写屏幕手写布置的作业，通过OCR识别功能识别学习者的作业内容并自动提交给老师的终端设备，以使老师查看学习者的作业内容。

其中，笔迹识别功能，可以对用户在手写屏幕上所绘制的图画进行识别。

在本实施例中，教学播放终端1承担内容播放及显示功能。教学播放终端1可以是任意设备形态的设备，例如，智能电视、手机、平板、电脑等。

交互控制设备3可以响应于学习者输入的交互指令，向教学播放终端1发送播放指令，以控制教学播放终端1播放教学内容。例如，用户对着交互控制设备2的语音采集区域说出交互指令“请播放黄老师的教学视频”，这时，教学播放终端1播放黄老师的教学视频。又例如，在交互控制设备2的手写屏幕上采用手写笔写出交互指令“请播放黄老师的教学视频”，这时，教学播放终端1播放黄老师的教学视频。

作为一种优选的人机交互系统，交互控制设备2是一种至少包括语音采集模块、摄像头、手写屏模块、手写笔、无线传输模块的手写板设备，服务器3至少具有音视频识别、识别手写内容的功能，教学播放终端1为智能电视。该人机交互系统通过手写板设备为用户提供智能的手写操控、语音与视频互动的一体化解决方案，满足用户与智能电视的多媒体交互需求。

其中，通过手写屏模块和手写笔，实现用户通过手写板设备与智能电视进行手写、拖拽、画圈、点击、选择等操控交互操作。

其中，通过语音采集模块可以采集外部的声音信号并对声音信号进行预处理(预处理例如包括将声音信号数字化和降噪处理)，语音采集模块输出的声音信号可以上传给服务器3进行语音识别，基于语音识别结果对智能电视进行控制，进而实现用户通过手写板设备与智能电视进行智能语音交互。当然，还可以将语音采集模块输出的声音信号发送给智能电视进行存储和/或识别处理。

其中，通过摄像头采集图像数据，并上传给服务器3进行识别，基于图像识别结果对智能电视进行控制，进而实现用户通过手写板设备与智能电视进行智能视频交互。当然，还可以将采集的图像数据发送到智能电视上进行播放。

可以理解的是，当人机交互系统应用到在线教育当中时，系统所提供的手写操控交互、语音交互、视频交互等交互功能，能够丰富师生间交互，促进提升学习者的学习效果。

需要指的是，由于智能电视的屏幕尺寸一般较大，将智能电视作为教学播放终端1，能够保护学习者的视力。优先的，智能电视的屏幕为大屏4K超高清屏幕，以更好地保护学习者的视力。

此外，智能电视能在多人交互场景中应用比较有优势，提供了沉浸式的用户体验，作为家庭交互终端的入口，是作为家庭互动的枢纽，已成为家庭IOT(Internet of Things，物联网)场景的中心。

本申请提供的人机交互系统，对教学播放终端1、交互控制设备2、服务器3各自的功能进行了拓展，使得服务器3基于交互控制设备2所采集的包括学习者在内的视频数据确定学习者的学习状态信息，以及将学习者的学习状态信息发送给教学播放终端1，这样，教学播放终端1在其屏幕上不仅仅是显示教学内容，还能同步显示学习者的学习状态信息，所展示的信息更为丰富，提升了系统资源利用率。当然，该系统还能够满足在线教育对学习者的学习状态监测的需求，同步显示学习者的学习状态信息也会促进提升学习者的学习效果，更好地凸显了人机交互系统的市场价值。

其中，关于该系统的工作原理，可参见下述方法实施例中的详细描述。

图2为本申请示例性实施例提供的一种人机交互方法的流程示意图。该方法的执行主体为服务器，如图2所示，该人机交互方法包括以下步骤：

步骤201、获取在学习者使用交互控制设备控制教学播放终端播放教学内容期间，利用交互控制设备采集包含学习者在内的视频数据。

步骤202、从视频数据中识别学习者的姿态数据和/或表情数据。

步骤203、根据姿态数据和/或表情数据，生成学习者的学习状态信息。

步骤204、将学习者的学习状态信息发送给教学播放终端，以供教学播放终端在播放教学内容期间同步显示学习者的学习状态信息。

在步骤201中，交互控制设备可以响应于学习者输入的交互指令，向教学播放终端发送播放指令，以控制教学播放终端播放教学内容。同时，交互控制设备在控制教学播放终端播放教学内容期间，采集学习者在内的视频数据并发送给服务器。视频数据可以包括摄像头采集的包括学习者的图像数据和/或语音采集模块采集的包括学习者的语音数据。

例如，在播放教学内容期间，学习者可能会回答老师问题或向老师提问，这时，视频数据可以包括摄像头采集的包括学习者的图像数据和包括学习者的语音数据。在播放教学内容期间，学习者可能只是安静的听课，这时，视频数据可以只包括摄像头采集的包括学习者的图像数据。

在步骤202中，服务器在接收到交互控制设备采集的视频数据后，可以从视频数据中识别出能够反映学习者的学习状态信息的姿态数据和/或表情数据。其中，姿态数据包括学习者的头部姿态、坐姿姿态、写字姿势和握笔姿势中的至少一种。

在步骤203中，根据识别出的学习者的姿态数据和/或表情数据，生成学习者的学习状态信息。可以根据实际情形设置正确的姿态数据、正确的表情数据的标准。正确的姿态数据例如为点头、摇头、抬头、保持上半身挺直的坐姿、正确的写字姿势、正确的握笔姿势。正确的表情数据例如为笑脸。

具体而言，若学习者的姿态数据不符合正确的姿态数据的标准，则评估出学习者的姿态不够端正，学习不够专心，学习状态较差；若学习者的姿态数据符合正确的姿态数据的标准，则评估出学习者的姿态较为端正，学习较专心，学习状态较好。同理，若学习者的表情数据不符合正确的表情数据的标准，则评估出学习者的面部表情未到位，学习不够专心，学习状态较差；若学习者的表情数据符合正确的表情数据的标准，则评估出学习者的面部表情到位，学习较专心，学习状态较好。

在本实施例中，学习者的学习状态信息可以包括但并不限于学习者的姿态数据和/或表情数据，以及基于学习者的姿态数据和/或表情数据评估出来的学习评估结果。

在步骤204中，服务器将生成的学习者的学习状态信息发送给教学播放终端，由教学播放终端在播放教学内容期间同步显示学习者的学习状态信息。这样，无需家长或老师实时陪伴，学习者与交互控制设备的交互，便可及时掌握自己的学习状态信息并调整自身的学习状态，提升学习者学习的自主性和学习效果。

作为一种可选的方式，服务器还可以将学习者的学习状态信息和/或学习状态变化趋势同步给家长和/或老师预先绑定的终端设备，以使家长和/或老师通过其终端设备查看学习者的学习状态信息和/或学习状态变化。

本实施例提供的人机交互方法，依托于教学播放终端、交互控制设备、服务器组成的人机交互系统，首先，在学习者使用交互控制设备控制教学播放终端播放教学内容期间，利用交互控制设备采集包含学习者在内的视频数据；接着，服务器基于交互控制设备所采集的包括学习者在内的视频数据确定学习者的学习状态信息，以及将学习者的学习状态信息发送给教学播放终端；最后，教学播放终端在其屏幕上不仅仅是显示教学内容，还能同步显示学习者的学习状态信息，所展示的信息更为丰富，提升了系统资源利用率。此外，还能够满足在线教育对学习者的学习状态监测的需求，同步显示学习者的学习状态信息也会促进提升学习者的学习效果，更好地凸显了人机交互系统的市场价值。

在上述实施例的基础上，可选的，交互控制设备所采集的视频数据还包含学习者的语音数据，服务器还会对学习者的语音数据进行语音流畅度识别，得到学习者的语音流畅度，以及服务器在生成学习者的学习状态信息时，会根据学习者的姿态数据和/或表情数据，结合学习者的语音流畅度来共同生成。

在实际情形中，学习者提问或回答老师时语音越流畅，说明学习者上课越专心，学习状态越好。反之，学习者提问或回答老师时语音越不流畅，说明学习者上课越不专心，学习状态越不好。因此，学习者的语音流畅度可以作为评估学习者是否专心听课的一个参考。

在本实施例中，学习者的学习状态信息可以包括但并不限于学习者的姿态数据和/或表情数据、基于学习者的姿态数据和/或表情数据评估出来的学习评估结果、学习者的语音流畅度、以及基于学习者的语音流畅度评估出来的学习评估结果。

在上述实施例的基础上，可选的，服务器还可以根据学习者学习状态信息，跟踪学习者在教学内容播放期间的学习状态变化趋势；将学习状态变化趋势发送给教学播放终端，以使教学内容播放终端同步显示学习状态变化趋势。

其中，学习状态变化趋势可以表征学习者在不同时期的学习状态信息及其变化趋势。

例如，学习状态信息包括学习者的姿态数据时，跟踪学习者在教学内容播放期间的姿态数据的变化趋势，和/或跟踪学习者在教学内容播放期间的基于姿态数据评估出来的学习评估结果的变化趋势。

又例如，学习状态信息包括学习者的表情数据时，跟踪学习者在教学内容播放期间的表情数据的变化趋势，和/或跟踪学习者在教学内容播放期间的基于表情数据评估出来的学习评估结果的变化趋势。

又例如，学习状态信息包括学习者的语音流畅度时，跟踪学习者在教学内容播放期间的语音流畅度的变化趋势，和/或跟踪学习者在教学内容播放期间的基于语音流畅度评估出来的学习评估结果的变化趋势。

在上述实施例的基础上，可选的，服务器在识别学习者的姿态数据和/或表情数据，可以采用姿态识别模型从视频数据中识别学习者的姿态数据和/或采用或面部表情识别模型从视频数据中识别学习者的表情数据。

其中，姿态识别模型是采用大量的不同姿态的图像对神经网络训练得到的。姿态识别模型例如包括头部姿态识别模型、坐姿姿态识别模型、写字姿势识别模型、握笔姿势识别模型中的至少一种。

其中，面部表情识别模型是采用大量的不同面部的图像对神经网络训练得到的。

其中，神经网络例如为CNN(Convolutional Neural Networks，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)、LSTM(Long Short-Term Memory，长短期记忆人工神经网络)，但并不限于举例说明。神经网络的训练可以参见相关技术。

需要指出的是，在姿态识别模型为神经网络模型时，可以提高姿态识别的准确度。在面部表情识别模型为神经网络模型时，可以提高面部表情的准确度。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤201至步骤204的执行主体可以为设备A；又比如，步骤201和202的执行主体可以为设备A，步骤203、204的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如201、202等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

为了更好地理解人机交互系统，以一具体的人机交互系统为例进行说明。

作为一种示例，人机交互系统包括智能电视、带有手写屏幕的学习板、服务器。该人机交互系统能够提供大屏远程互动课堂解决方案，具备语音采集与识别、人脸采集与识别、头部姿态识别、头部姿态识别、坐姿姿态识别、写字姿势识别、握笔姿势识别、面部表情识别、智能手写输入、OCR识别等功能，与智能电视实现无线远场通信，数据传输延迟低；家长使用终端设备可以对孩子学习情况进行监督，可以查看教学测评结果，反馈学习效果。

具体的应用场景为：使用学习板的学习者为小孩，学习地点在家庭内部，老师所讲的直播课程在智能电视中进行播放。

针对带有手写屏幕的学习板，其是一种带有手写屏幕的手写屏设备，该手写屏设备至少集成了支持2.4G无线WIFI通信的无线通信模块、大尺寸(例如30cm*20cm尺寸)的手写屏幕和手写笔、远场语音采集模块、200万高清摄像头、音量调节按键、返回按键、用于丰富师生间交互的抢答和/或举手按键等功能按键、处理器等。其中，当学习者想要回答或提问时，可以按抢答和/或举手按键，待老师同意其抢答和/或举手后，便可进行回答或提问。

该人机交互系统具有的优势为：

1.大尺寸学习板，与智能笔结合进行手写输入；

2.通过2.4G无线WIFI通信，数据低延迟；

3.实时音视频交互，与外教和老师一对一交互；

4.支持远场语音交互与识别；

5.形体教学，在家沉浸式学习体验；

6.AI人脸识别与姿势检测，监督孩子学习效果；

7.支持OCR识别，自动提交作业；

8.笔迹实时书写，公式识别，自动判卷；

9.支持拍照搜题，老师视频讲给你听；

10.大屏4K超高清显示，保护孩子视力。

在实际应用中，小孩可以通过学习板语音输入或手写输入要学习的老师的课程，学习板将采集到的小孩的交互数据发送给服务器，服务器识别出要学习的老师的课程获取该课程发送给智能电视进行播放；或者学习板将采集到的小孩的交互数据发送给智能电视，智能电视识别出要学习的老师的课程并获取该课程进行播放。

在智能电视播放课程的过程中，学习板通过远场语音采集模块和200万高清摄像头可以采集到小孩的视频数据并发送给服务器进行识别，服务器可以识别出小孩的头部姿态、坐姿姿态、写字姿势、握笔姿势、面部表情、语音流程度，并根据这些识别数据生成小孩的学习状态信息，学习状态信息可以发送给智能电视供小孩查看以及发送家长端供家长查看。当然，还可以将采集到的视频数据发送给智能电视或家长端，以供小孩直观地认识自己的上课表现或家长直观地认识小孩的上课表现。智能电视可以以浮窗的形式展示采集到的视频数据以降低对智能电视正常播放教学内容的影响。

图3为本申请示例性实施例提供的一种服务器的结构示意图。如图3所示，该装置包括：包括：存储器11和处理器12。

存储器11，用于存储计算机程序，并可被配置为存储其它各种数据以支持在处理器上的操作。这些数据的示例包括用于在处理器上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器11可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器12，与存储器11耦合，用于执行存储器11中的计算机程序，以用于：

获取在学习者使用交互控制设备控制教学播放终端播放教学内容期间，利用交互控制设备采集包含学习者在内的视频数据；

从视频数据中识别学习者的姿态数据和/或表情数据；

根据姿态数据和/或表情数据，生成学习者的学习状态信息；

将学习者的学习状态信息发送给教学播放终端，以供教学播放终端在播放教学内容期间同步显示学习者的学习状态信息。

进一步的，视频数据还包含学习者的语音数据，则处理器12还用于：

对语音数据进行语音流畅度识别，得到学习者的语音流畅度；

根据姿态数据和/或表情数据，生成学习者的学习状态信息，包括：

根据姿态数据和/或表情数据，结合学习者的语音流畅度，生成学习者的学习状态信息。

进一步的，处理器12在识别学习者的姿态数据时，具体用于：

从视频数据中，识别学习者的头部姿态、坐姿姿态、写字姿势和握笔姿势中的至少一种。

进一步的，处理器12，还用于：

根据学习者学习状态信息，跟踪学习者在教学内容播放期间的学习状态变化趋势；

将学习状态变化趋势发送给教学播放终端，以使教学内容播放终端同步显示学习状态变化趋势。

进一步的，处理器12，还用于：

将学习者的学习状态信息和/或学习状态变化趋势同步给家长和/或老师预先绑定的终端设备，以使家长和/或老师通过其终端设备查看学习者的学习状态信息和/或学习状态变化。

进一步的，处理器12在识别学习者的姿态数据和/或表情数据时，具体用于：

采用姿态识别模型从视频数据中识别学习者的姿态数据和/或采用或面部表情识别模型从视频数据中识别学习者的表情数据。

进一步的，教学播放终端为智能电视，交互控制设备为带有手写屏幕的学习板。

图3所示服务器可以执行上述实施例的方法，本实施例未详细描述的部分，可参考对上述实施例的相关说明。该技术方案的执行过程和技术效果参见上述实施例中的描述，在此不再赘述。

进一步，如图3所示，该服务器还包括：通信组件13、电源组件14等其它组件。图3中仅示意性给出部分组件，并不意味着处理器只包括图3所示组件。

上述图3中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。

在一个示例性实施例中，通信组件还包括近场通信(NFC模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

上述图3中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由处理器11执行的各步骤。

图4为本申请示例性实施例提供的一种交互控制设备的结构示意图。如图4所示，该装置包括：包括：摄像头27、存储器21和处理器22。

存储器21，用于存储计算机程序，并可被配置为存储其它各种数据以支持在处理器上的操作。这些数据的示例包括用于在处理器上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器21可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器22，与存储器21耦合，用于执行存储器21中的计算机程序，以用于：

响应于学习者输入的交互指令，向教学播放终端发送播放指令，以控制教学播放终端播放教学内容；

在教学内容的播放期间，通过摄像头27采集包含学习者在内的视频数据并上传至服务器，以供服务器从视频数据中识别学习者的姿态数据和/或表情数据；根据姿态数据和/或表情数据，生成学习者的学习状态信息；将学习状态信息发送给教学播放终端进行同步显示。

进一步，如图4所示，该交互控制设备还包括：通信组件23、显示器24、电源组件25、音频组件26等其它组件。图4中仅示意性给出部分组件，并不意味着处理器只包括图4所示组件。

上述图4中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

上述图4中的显示器包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

另外，屏幕还可以是支持手写功能的手写屏幕。以及交互控制设备还包括以手写屏幕配套的手写笔。

上述图4中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

上述图4中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种人机交互系统，其特征在于，包括：教学播放终端、交互控制设备以及服务器；

所述教学播放终端，用于根据所述交互控制设备的教学播放指令，从所述服务器获取对应教学内容并在其屏幕上播放所述教学内容；

所述交互控制设备，用于在所述教育播放终端播放所述教学内容期间，利用其摄像头采集包含学习者在内的视频数据，并上传至所述服务器；

所述服务器，用于从所述视频数据中识别所述学习者的姿态数据和/或表情数据；根据所述姿态数据和/或表情数据，生成所述学习者的学习状态信息；将所述学习状态信息发送给所述教学播放终端；

所述教育播放终端还用于：在播放所述教学内容期间，在其屏幕上同步显示所述学习者的学习状态信息。

2.根据权利要求1所述的系统，其特征在于，所述教学播放终端为智能电视，所述交互控制设备为带有手写屏幕的学习板。

3.一种人机交互方法，其特征在于，包括：

获取在学习者使用交互控制设备控制教学播放终端播放教学内容期间，利用所述交互控制设备采集包含所述学习者在内的视频数据；

从所述视频数据中识别所述学习者的姿态数据和/或表情数据；

根据所述姿态数据和/或表情数据，生成所述学习者的学习状态信息；

将所述学习者的学习状态信息发送给所述教学播放终端，以供所述教学播放终端在播放所述教学内容期间同步显示所述学习者的学习状态信息。

4.根据权利要求3所述的方法，其特征在于，所述视频数据还包含学习者的语音数据，则所述方法还包括：

对所述语音数据进行语音流畅度识别，得到所述学习者的语音流畅度；

根据所述姿态数据和/或表情数据，生成所述学习者的学习状态信息，包括：

根据所述姿态数据和/或表情数据，结合所述学习者的语音流畅度，生成所述学习者的学习状态信息。

5.根据权利要求3所述的方法，其特征在于，从所述视频数据中识别所述学习者的姿态数据，包括：

从所述视频数据中，识别所述学习者的头部姿态、坐姿姿态、写字姿势和握笔姿势中的至少一种。

6.根据权利要求3所述的方法，其特征在于，还包括：

根据所述学习者学习状态信息，跟踪所述学习者在教学内容播放期间的学习状态变化趋势；

将所述学习状态变化趋势发送给所述教学播放终端，以使所述教学内容播放终端同步显示所述学习状态变化趋势。

7.根据权利要求6所述的方法，其特征在于，还包括：

将所述学习者的学习状态信息和/或学习状态变化趋势同步给家长和/或老师预先绑定的终端设备，以使所述家长和/或老师通过其终端设备查看所述学习者的学习状态信息和/或学习状态变化。

8.根据权利要求3至6任一项所述的方法，其特征在于，从所述视频数据中识别所述学习者的姿态数据和/或表情数据包括：

采用姿态识别模型从所述视频数据中识别所述学习者的姿态数据和/或采用或面部表情识别模型从所述视频数据中识别所述学习者的表情数据。

9.根据权利要求3至6任一项所述的方法，其特征在于，所述教学播放终端为智能电视，所述交互控制设备为带有手写屏幕的学习板。

10.一种服务器，其特征在于，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：

获取在学习者使用交互控制设备控制教学播放终端播放教学内容期间，利用所述交互控制设备采集包含所述学习者在内的视频数据；

从所述视频数据中识别所述学习者的姿态数据和/或表情数据；

根据所述姿态数据和/或表情数据，生成所述学习者的学习状态信息；

将所述学习者的学习状态信息发送给所述教学播放终端，以供所述教学播放终端在播放所述教学内容期间同步显示所述学习者的学习状态信息。

11.一种交互控制设备，其特征在于，包括：摄像头、存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：

响应于学习者输入的交互指令，向教学播放终端发送播放指令，以控制教学播放终端播放教学内容；

在所述教学内容的播放期间，通过所述摄像头采集包含所述学习者在内的视频数据并上传至服务器，以供服务器从所述视频数据中识别所述学习者的姿态数据和/或表情数据；根据所述姿态数据和/或表情数据，生成所述学习者的学习状态信息；将所述学习状态信息发送给所述教学播放终端进行同步显示。

12.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器实现权利要求3-9任一项所述方法中的步骤。

Images