CN110148318A - 一种数字助教系统、信息交互方法和信息处理方法 - Google Patents

Abstract

本发明公开一种数字助教系统、信息交互方法和信息处理方法。系统包括：数字助教学生端、智能导读子系统、互动答疑子系统、状态检测子系统和数字助教数据库；数字助教学生端分别与所述智能导读子系统、互动答疑子系统和所述状态检测子系统连接；数字助教数据库分别与智能导读子系统、互动答疑子系统和状态检测子系统连接。本发明适用于在线教育以及无人值守的实验室、教室等环境，能够针对特定教学对象、内容与场景，实现传统现场教学中由专业助教完成的工作。

Description

一种数字助教系统、信息交互方法和信息处理方法

技术领域

本发明涉及信息交互与信息处理领域，特别是涉及一种数字助教系统、信息交互方法和信息处理方法。

背景技术

作为一种日渐普及的自主学习模式，在线教育实现了以学习者为中心的个性化教育。目前，用于远程授课的视频教学系统例如慕课网，已经非常普及、用户量巨大，用于在线师生兴趣与偏好分析的技术也层出不穷。

助教是教学场景中不可或缺的角色，然而调查表明，针对互联网以及无人值守学习环境下的资料导读、互动答疑、学习状态直观把控等问题，也就是现场教学由助教完成的工作，还缺少针对性的数字化解决方案与工具。因此，本数字助教系统存在迫切的应用需求以及巨大的市场空间，理论上所有的在线教育平台以及无人值守的实验室、教室，都存在对数字助教的应用需求。

发明内容

本发明的目的是提供一种数字助教系统、信息交互方法和信息处理方法，用于实现数字化形式的智能导读、互动答疑与学习状态检测，适用于在线教育以及无人值守的实验室、教室等环境，针对特定教学对象、内容与场景，实现传统现场教学中由专业助教完成的工作。

为实现上述目的，本发明提供了如下方案：

一种数字助教系统，包括：数字助教学生端、智能导读子系统、互动答疑子系统、状态检测子系统和数字助教数据库；所述数字助教学生端分别与所述智能导读子系统、所述互动答疑子系统和所述状态检测子系统连接；所述数字助教数据库分别与所述智能导读子系统、所述互动答疑子系统和所述状态检测子系统连接；

所述数字助教学生端，用于采集学习者学习数据，与学习者进行交互，提供知识学习、问题答疑与学习状态警示；所述智能导读子系统，用于主动定位匹配学习者的资料；所述互动答疑子系统，用于与学习者对话，解答学习者提问；所述状态检测子系统，用于提供学习者的学习状态数据；所述数字助教数据库，用于保存所学科目的专业知识数据、学生情况数据与学习环境数据，为智能导读、互动答疑与状态检测提供数据支持。

可选的，还包括：数字助教教师端和学生分析子系统，所述数字助教教师端和所述学生分析子系统连接，所述数字助教教师端与所述数字助教学生端连接；所述数字助教教师端用于与所述数字助教学生端交互，获取学生学习情况，与教师或管理机构交互；所述学生分析子系统，用于提供学生知识掌握情况与学习状态。

一种信息交互方法，包括：

所述数字助教学生端采集学习者学习数据，与学习者进行交互，提供知识学习、问题答疑与学习状态警示；

所述智能导读子系统从所述数字助教学生端获取用户输入，调用所述数字助教数据库中的数据，输出与用户匹配的知识点位置；

所述互动答疑子系统从所述数字助教学生端获取用户输入，调用所述数字助教数据库中的数据，输出与用户问题匹配度最高的解答；

所述状态检测子系统从所述数字助教学生端获取用户输入，调用所述数字助教数据库中的数据，输出用户学习状态数据。

可选的，还包括：

所述数字助教教师端调用所述数字助教学生端数据，与教师或管理机构交互，提供学生学习情况大数据。

可选的，还包括：

所述学生分析子系统从所述数字助教学生端获取用户输入，调用所述数字助教数据库中的数据，输出用户学习大数据。

一种信息处理方法，包括：

获取用户输入数据和数字助教数据库中的数据；

对所述数据进行自然语言处理与机器学习，形成结构化的标记语料；

根据所述结构化的标记语料输出适合学习者参考的专业知识文件以及知识点位置和匹配用户提问的解答；

根据所述数据采用情感识别方法及学习态度、认知能力和违纪情况规则判断法，输出学习状态数据。

可选的，所述根据所述结构化的标记语料输出适合学习者参考的专业知识文件以及知识点位置和匹配用户提问的解答，具体包括：

根据所述结构化的标记语料采用基于标记语料、由内容推荐、协同过滤、数据挖掘组合成的推荐算法，输出适合学习者参考的专业知识文件以及知识点位置；

根据所述结构化的标记语料采用基于标记语料、由内容推荐、协同过滤、数据挖掘组合成的对话算法，输出匹配用户提问的解答。

可选的，所述根据所述数据采用情感识别方法及学习态度、认知能力和违纪情况规则判断法，输出学习状态数据，具体包括：

根据所述数据，进行情感识别，结合学生情况、学习环境数据以及学习态度、认知能力和违纪情况规则，输出学习状态数据。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供一种数字助教系统，是一种全新的助教模式；其他相关产品以教师为中心、定位于教师的助手，采集学习信息、状态信息作为教师教学参考，而本发明所述的数字助教系统，以学生为中心，以支持学生自主学习、师生互动为目标，为学生提供答疑、导读和警示；其他相关产品主要用于存在教师的学习环境，而本发明所述的数字助教系统，能够实现互联网以及无人值守学习环境下对学生进行资料导读、互动答疑以及学习状态直观把控；本发明所述助教系统，适用于在线教育以及无人值守的实验室、教室等环境，能够针对特定教学对象、内容与场景，实现传统现场教学中由专业助教完成的工作。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明数字助教系统组成结构图；

图2为本发明信息交互方法流程图；

图3为本发明信息处理方法流程图；

图4为本发明所提供智能导读子系统的信息处理流程；

图5为本发明所提供互动答疑子系统的信息处理流程；

图6为本发明所提供状态检测子系统的信息处理流程；

图7为本发明所提供学生分析子系统的信息处理流程。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种数字助教系统、信息交互方法和信息处理方法，适用于在线教育以及无人值守的实验室、教室等环境，能够针对特定教学对象、内容与场景，实现传统现场教学中由专业助教完成的工作。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明数字助教系统组成结构图。如图1所示，一种数字助教系统，包括：数字助教学生端1、智能导读子系统2、互动答疑子系统3、状态检测子系统4和数字助教数据库5；所述数字助教学生端1分别与所述智能导读子系统2、所述互动答疑子系统3和所述状态检测子系统4连接；所述数字助教数据库5分别与所述智能导读子系统2、所述互动答疑子系统3和所述状态检测子系统4连接；

所述数字助教学生端1，用于采集学习者学习数据，与学习者进行交互，提供知识学习、问题答疑与学习状态警示；所述智能导读子系统2，用于主动定位匹配学习者的资料；所述互动答疑子系统3，用于与学习者对话，解答学习者提问；所述状态检测子系统4，用于提供学习者的学习状态数据；所述数字助教数据库5，用于保存所学科目的专业知识数据、学生情况数据与学习环境数据，为智能导读、互动答疑与状态检测提供数据支持。

所述数字助教系统还包括：数字助教教师端6和学生分析子系统7，所述数字助教教师端6和所述学生分析子系统7连接，所述数字助教教师端6与所述数字助教学生端1连接；所述数字助教教师端6用于与所述数字助教学生端 1交互，获取学生学习情况，与教师或管理机构交互；所述学生分析子系统7，用于提供学生知识掌握情况与学习状态。

在实际应用中，所述智能导读子系统具体包括：

用户交互单元，用于获取用户输入，调用数字助教数据，调用智能导读子系统信息处理单元，输出与用户匹配的知识点位置；用户输入包括鼠标事件、文字、语音、视频；调用的助教数据包括专业知识如用户指南、教材、参考资料与网络资源，学生情况如知识结构、个人兴趣、掌握程度，以及学习环境如学习平台、学习目标与学习角色；知识点位置包括专业知识文件以及在其中的位置；

信息处理单元，用于根据所获取的用户输入、数字助教数据，对其进行自然语言处理与机器学习，形成结构化的标记语料数据，采用基于标记语料、由内容推荐、协同过滤、数据挖掘组合成的推荐算法，输出适合学习者参考的专业知识文件以及知识点位置；

在实际应用中，所述互动答疑子系统具体包括：

用户交互单元，用于获取用户输入，调用数字助教数据，调用互动答疑子系统信息处理单元，输出与用户问题匹配度最高的解答；用户输入包括鼠标事件、文字、语音、视频；调用的助教数据包括专业知识如用户指南、教材、参考资料与网络资源，学生情况如知识结构、个人兴趣、掌握程度，以及学习环境如学习平台、学习目标与学习角色；解答包括问题的直接答案，需要用户确认的答案、建议与提问；

信息处理单元，用于根据所获取的用户输入、数字助教数据，对其进行自然语言处理与机器学习，形成结构化的标记语料，采用基于标记语料、由内容推荐、协同过滤、数据挖掘组合成的对话算法，输出匹配用户提问的解答；

在实际应用中，所述状态检测子系统具体包括：

用户交互单元，用于获取用户输入，调用数字助教数据，调用状态检测子系统信息处理单元，输出用户学习状态数据；用户输入包括用户操作数据、视频检测数据、可穿戴设备数据、举报数据；调用的助教数据包括学生情况如知识结构、个人兴趣、掌握程度，以及学习环境如学习平台、学习目标与学习角色；学习状态数据包括学习态度、认知能力与违纪警示；

信息处理单元，用于根据所获取的用户输入、数字助教数据，基于检测视频采集用户的人脸、活动、音频与周边情况，基于可穿戴设备数据采集生理信号，进行情感识别，结合学生情况、学习环境数据，基于学习态度、认知能力和违纪情况规则，计算并输出学习状态数据。

在实际应用中，所述学生分析子系统具体包括：

用户交互单元，用于获取教师端用户输入，调用数字助教学生端数据，调用学生分析子系统信息处理单元，输出用户学习大数据；用户输入包括用户操作数据；调用的数字助教学生端数据包括所述智能导读子系统的操作记录、互动答疑子系统的操作记录以及状态检测子系统输出的学生状态数据，以及学生情况；用户学习大数据包括学生信息、知识基础、学习兴趣、学习态度、认知能力与违纪情况；

信息处理单元，用于根据所获取的用户输入、数字助教学生端数据，进行统计分析与数据挖掘，计算并输出用户学习大数据。

本发明的目的是提供一种支持在线教育以及无人值守学习环境下的数字助教系统，以解决现有应用和技术以教学机构与教师为中心，仅提供视频检测与学生兴趣分析功能的局限性，以上便是数字助教系统原理。

图2为本发明信息交互方法流程图。如图2所示，一种信息交互方法，包括：

步骤201：所述数字助教学生端采集学习者学习数据，与学习者进行交互，提供知识学习、问题答疑与学习状态警示；

步骤202：所述智能导读子系统从所述数字助教学生端获取用户输入，调用所述数字助教数据库中的数据，输出与用户匹配的知识点位置；

步骤203：所述互动答疑子系统从所述数字助教学生端获取用户输入，调用所述数字助教数据库中的数据，输出与用户问题匹配度最高的解答；

步骤204：所述状态检测子系统从所述数字助教学生端获取用户输入，调用所述数字助教数据库中的数据，输出用户学习状态数据；

步骤205：所述数字助教教师端调用所述数字助教学生端数据，与教师或管理机构交互，提供学生学习情况大数据；

步骤206：所述学生分析子系统从所述数字助教学生端获取用户输入，调用所述数字助教数据库中的数据，输出用户学习大数据。

图3为本发明信息处理方法流程图。如图3所示，一种信息处理方法，包括：

步骤301：获取用户输入数据和数字助教数据库中的数据；

步骤302：对所述数据进行自然语言处理与机器学习，形成结构化的标记语料；

步骤303：根据所述结构化的标记语料输出适合学习者参考的专业知识文件以及知识点位置和匹配用户提问的解答；

步骤304：根据所述数据采用情感识别方法及学习态度、认知能力和违纪情况规则判断法，输出学习状态数据。

步骤303，具体包括：

根据所述结构化的标记语料采用基于标记语料、由内容推荐、协同过滤、数据挖掘组合成的推荐算法，输出适合学习者参考的专业知识文件以及知识点位置；

根据所述结构化的标记语料采用基于标记语料、由内容推荐、协同过滤、数据挖掘组合成的对话算法，输出匹配用户提问的解答。

步骤304，具体包括：

根据所述数据，进行情感识别，结合学生情况、学习环境数据以及学习态度、认知能力和违纪情况规则，输出学习状态数据。

本发明的信息处理方法包括智能导读子系统的信息处理方法、互动答疑子系统的信息处理方法、状态检测子系统的信息处理方法以及学生分析子系统的信息处理方法。图4为本发明所提供智能导读子系统的信息处理流程；图5 为本发明所提供互动答疑子系统的信息处理流程；图6为本发明所提供状态检测子系统的信息处理流程；图7为本发明所提供学生分析子系统的信息处理流程。

智能导读子系统的信息处理方法：根据所获取的用户输入、数字助教数据，对其进行自然语言处理与机器学习，形成结构化的标记语料数据，采用基于标记语料、由内容推荐、协同过滤、数据挖掘组合成的推荐算法，输出适合学习者参考的专业知识文件以及知识点位置。在实施例中，包括自动对教学资料进行与学生基础与兴趣相关的自动语义标注技术；从可访问资源采集学生数据的信息采集技术，以及相关信息向针对特定教学内容与场景的学习基础与兴趣用户模型转换规则；从客观意图、主观意图和群体性意图出发推理学生对特定教学资料的意图倾向；基于用户模型、利用矩阵分解技术预测学生的知识掌握水平，同时结合预期教育活动信息进行主观意图推理；基于学生对于教学各项评价指标达标条件和重要性的认识，推理学生的客观意图倾向；为了提高推荐效果并且避免数据缺乏造成的干扰，利用学生所在群体对资料内容的评价推理学生的群体性意图。综合三类意图推断学生与单项内容的匹配度，并使用学习风格调整，改善推荐算法效果。

所述智能导读子系统采用的参考资料语义处理与标注方法：通过深度神经网络将参考资料与学生个性化建模进行语义相似度匹配。语义处理模型由一个自编码器构成，自动编码器是一种数据的压缩算法，其中数据的压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。其中编解码器由词嵌入层以及LSTM和Attention机制构成，其中，LSTM(Long Short-Term Memory) 是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。Attention机制是通过保留LSTM编码器对输入序列的中间输出结果，然后训练一个模型来对这些输入进行选择性的学习并且在模型输出时将输出序列与之进行关联。语义相似度计算建立了从教材到用户的映射，并引入LSTM以及Attention机制提高准确度。所述语义处理编码器首层是将文本序列词向量化，其次是全连接层，然后为一个LSTM网络以及Attention机制，然后是归一化，再之后是一个隐层，隐层单元数为10，解码器与编码器相同。通过编码器将参考资料进行编码再解码，将解码过后的向量与原向量计算交叉熵，并通过L2范数进行正则化从而大大降低过拟合风险。将学生个性化建模与参考资料输入语义处理自编码器，得到隐层表示向量，即为特征抽取的向量。

标注模型是由上述隐层表示向量通过Attention重赋权重，再将学生个性化建模表示与参考资料表示计算其余弦相似度，再通过全连接层和一个归一化指数函数Softmax层得到候选序列。

所述语义处理模型通过LSTM对参考资料与学生建模进行语义建模，并通过注意力机制对重要特征进行筛选，提高了语义建模的准确性。

实施例使用交叉熵来训练语义处理模型，其步骤包括：首先将参考资料以及学生建模的文本信息进行预处理后替换为对应快速的文本分类器fastText词嵌入处理为待编码序列；通过交叉熵作为损失函数反向传播指导LSTM网络进行参数修正；重复直至收敛；对隐层向量计算其余弦相似度；将相似度进行排序找到其配对即为标注。

实施例语义处理步骤：给定一个参考资料向量x_i＝x_i1+x_i2+…+x_ij∈X，给定一个学生建模向量y_i＝y_i1+y_i2+…+y_ik∈Y；编码器E(x)，解码器D(x)；激活函数为sigmoid函数。

参考目前常见的处理方法，实施例提及的编码器输入门定义为：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

LSTM遗忘门定义为：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

状态单元定义为：

t时刻的表示向量为t-1与t的状态表示为：

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

最终编码即隐层单元是由两个事件t和时间t+1一同决定：

解码过程同编码过程，计算交叉熵并优化：

通过自编码器以及语义相似度计算建立了从教材到用户的映射，并引入 LSTM以及注意力机制提高了准确度。

所述智能导读子系统判断学生知识掌握水平所采用的矩阵分解技术：通过学生建模矩阵进行矩阵分解对其特征进行降维，本实施例中通过学生建模与评分作为训练集对目标函数进行优化。

参考目前常见的处理方法，本实施例对学生知识掌握水平评分m_ij，且对应分解表示为采用均方差作为损失函数则优化期望：学生建模维度为j，则优化步骤为：

参考目前常见的处理方法，将L2范数作为正则化项λ为正则超参，综上，目标函数为：

所述智能导读子系统采用的用户个性化模型、群体性意图与推荐算法：所述用户个性化模型、群体性意图与推荐算法通过混合推荐模型为学生提供阅读内容。混合模型包括基于内容的推荐算法、协同过滤算法以及基于模型的算法三种。

本实施例基于内容的推荐算法使用话题建模对学生的文本信息与欲推荐内容进行相似度度量。本方法不仅从不同粒度(个体、群体)并且针对不同粒度提出混合推荐算法，大大提高了推荐效果。话题建模采用自编码器，其中编解码均为一个神经网络。编码器第一层为全连接层、隐层单元数为9，则隐层 h₁(x)＝w₁x+b₁；第二层为全连接层、隐层单元数为3，即话题数量，则隐层h₂(x)＝w₂h₁+b₂；最后一层为softmax进行归一化，则最终：

本实施例基于协同过滤算法进行推荐，并通过基于图论的方法对该协同算法进行优化。具体步骤：首先将基于学生建模对学生样本构建近邻图G(u，w)，其中u代表学生样本点，参考目前常见的处理方法，sim代表样本点之间的皮尔森距离，r代表推荐内容：

则：

然后通过随机游走方法优化sim；重复至收敛。

根据G(u，sim)获取用户的近邻候选，并根据基于内容的推荐算法对其隐层向量表示做归一化得到：

根据h_col和推荐内容计算相似度得到余弦相似度最大的项。参考目前常见的处理方法，最后得到推荐内容r_x与学生的匹配程度：

本实施例中的群体性意图通过对学生样本进行k-means聚类从而得到簇的用户特征，再根据簇的用户特征通过上述混合推荐算法进行内容推荐。步骤如下：

通过k-means得到

对簇c_i的各个项求和平均：

然后对做上述基于内容的推荐算法即得到群体性意图

最后对合并的隐层向量，即主题并排序得到最优混合推荐内容，表示主题数量，则：

本方法首先从学生建模与群体建模上综合了个体与群体的信息；其次通过随机游走对协同过滤的个体关系进行了优化；针对个体或群体不同层次使用基于内容、基于协同过滤以及基于模型的混合推荐算法。本实施例通过以上方法从输入(个体、群体)以及处理(混合推荐算法)进行改进从而提高了推荐效果。

互动答疑子系统的信息处理方法：根据所获取的用户输入、数字助教数据，对其进行自然语言处理与机器学习，形成结构化的标记语料，采用基于标记语料的、由内容推荐、协同过滤、数据挖掘组合成的对话算法，输出匹配用户提问的解答。

数字助教的互动答疑功能，本质上是一种基于人工智能和自然语言处理技术的问答机器人；数字助教系统设计了语料库更新与维护功能，机器学习参数训练与更新功能；在教学内容及其关联资料语料化的基础上，构造带基自动微分系统的深度神经网络，对用户输入的问题进行自然语言理解，对理解的问题匹配出正确的答案，以符合人类思维的方式展示答案。

参考资料的语料化与知识构造方法。针对特定应用场景，以json结构整理出可能出现的问答交互过程，包含单轮与多轮交互。通过递归建图算法将 json结构化的文本信息在计算机内存中建立起一个对话状态图，图中每个节点代表了一个对话状态。

单个节点含三个元素：用户语句和数字助教语句、索引。其中用户语句指激活该对话状态用户发送给数字助教的信息；数字助教语句则指该状态被激活后数字助教返回给用户的信息；索引则记录了从当前对话状态可能激活的次轮会话状态的索引。

对话状态图有一个唯一的起点即根节点代表默认状态也即等待提问状态，其用户语句和数字助教语句均为空，而其下轮对话索引指向了所有知识库中已存在的对话开始的状态，用户通过从根节点到叶节点的搜索实现对话状态变更及追踪。

用户问题的自然语言理解算法。通过对会话文字进行向量化表达实现自然语言理解，通过语言检索实现问答匹配。第一步为预先训练词向量，采用 CBOW神经网络捕捉文档中词的上下文、语义和句法上与其他词的相似性关系，即根据当前词w推导出周围的C个词中某一个词在词典中的概率，进而将词含义的数学化的式表达，相近含义的词对应的词向量也相近，其余弦值也越大。

所述互动答疑子系统的信息处理方法采用了目前常见的处理方法：

CBOW神经网络输入层由one-hot编码的输入上下文{x1,…,xC}组成，其中窗口大小为C，词汇表大小为V。隐藏层是N维的向量。输出层是被one-hot 编码的输出单词y。被one-hot编码的输入向量通过一个V×N维的权重矩阵W 连接到隐藏层；隐层通过一个N×V的权重矩阵W′连接到输出层。

第一步就计算隐藏层h的输出：

第二部就是计算在输出层每个结点的输入：

最后计算输出层的输出：

通过反向传播算法及随机梯度下降来学习权重，在学习权重矩阵W与 W′过程中，我们给这些权重赋一个随机值来初始化。然后按序训练样本，逐个观察输出与真实值之间的误差，并计算这些误差的梯度。并在梯度方向纠正权重矩阵。损失函数是给定输入上下文的输出单词的条件概率再取对数：

E＝-logp(w_O|w_I)

对上面的概率求导得到输出权重矩阵W′的更新规则：

权重W的更新规则：

针对特定应用场景维系一份专用的停用词表，用于去除用户提问及知识库中无实际意义的词，去除相应的停用词后，余下问句则基本为关键词，当用户提出问题后，数字助教将对用户的问句进行分词、去停用词、向量化、向量相加操作，对得到的向量化的问题句子再知识库中进行相似度检索，如果相似度高于预先设定的阈值，则表明再知识库中检索到相关问题，即问答匹配成功，如果没有达到预先设定的阈值则证明问答匹配失败。

问题匹配与解答流程与算法。初始智能助教的状态为等待提问状态即位于对话状态图唯一的起点上，当用户向智能助教提出问题后，首先将用户的问题与其索引进行语义匹配，若匹配成功，则证明已有知识库中包含了用户的问题，对话状态改变，智能助教状态更改到索引节点中记录的状态，以此类推直到对话状态进行到交互式对话树的边缘节点即整个对话顺利结束。

若匹配失败，则提供给用户两个选择，一是使用搜索引擎直接再互联网上搜取答案返回给用户，二是进入智能导读模块，根据用户问题中出现的部分关键字与历史操作信息对其进行智能导读。

所述状态检测子系统的信息处理方法根据所获取的用户输入、数字助教数据，基于检测视频采集用户的人脸、活动、音频与周边情况，基于可穿戴设备数据采集生理信号，进行情感识别，结合学生情况、学习环境数据，基于学习态度、认知能力和违纪情况规则，计算并输出学习状态数据。

学习状态可以分为认知能力和学习态度，情绪能够有效反映认知和态度；所述互动答疑子系统通过情感识别的方法，对学习者的学习状态进行实时检测；对学习者多个维度的数据进行采集，实时采集学习者的人脸数据、音频数据和脑电信号数据，采用深度学习和公开情感数据集训练出的情感识别模型，对学习者的状态进行实时检测、分析；

所述互动答疑子系统通过深度可分离卷积神经网络训练人脸情感识别模型。人脸情感识别模型由9个卷积层，ReLU激活函数，批归一化层和全局平均池化层；采用深度可分离卷积结构减少参数数量，采取的模型包含4个深度可分离卷积结构，每个卷积结构后边接一个批归一层和ReLU激活函数，最后一层使用全局平均池化层和soft-max分类函数进行分类。本结构有大约60000 个参数，和最初的结构相比，减少了10倍，和传统CNN结构相比，减少了 80倍，增强了系统的实时性能。

所述互动答疑子系统通过基于CTC损失函数的双向LSTM网络训练语音情感识别模型。语音情感识别时，一句话可能包含几种不同的情绪，也可能存在大量的录音部分没有任何情绪，所以CTC适合语音情感识别任务。

实施例使用CTC损失函数来改善基于RNN的情感识别模型，步骤包括：首先对原始语音信号按帧提取34维声学特征，利用端到端RNN神经网络进行训练，利用CTC损失函数进行反向传播调整网络参数；RNN训练得到的分类序列一方面用于CTC损失层计算损失，另一方面通过CTC解码步骤得到最终的情感序列。

实施例CTC解码步骤：选用固定结构的RNN作为分类器空间F。RNN 的输入序列和输出序列长度一致。设想使用RNN作为从输入空间X到扩展标签集合L上可能的概率分布序列Y的映射:

Y＝f(X)∈[0；1]^(k+1)×T

是经过softmax的最终输出时，代表第t个时刻为第c个分类的概率。

对于每个输入X，定义路径π-它是L*的任意序列，长度为T。路径π的条件概率为：

由于最终输出序列不能包含NULL标签，需要对上述路径进一步处理。因此使用下述映射它包括两个步骤：

删除连续重复的标签。

删除所有的空标签。

考虑如下例子：M(-aa-b-b--ccc)＝M(abb---bc-)＝abbc。M是满射，利用M 可以将路径转换为标签。为了计算标签概率，需要将对应这个特定标签中的所有可能路径的概率相加：

目标函数为：

在得到所有标签的概率后，从中选取概率最大的标签作为输出：

语音情感识别中可以使用的谱相关特征主要包括三种：声学特征：比如波、信号、语调；韵律特征：比如词之间的停顿、韵律、声音大小等，但是这些特征的问题在于它会依赖于说话者；语义特征：指语音包含的语义信息，需要通过语音识别才可以使用语义特征。

实施例音频特征提取方法：用PyAudioAnalysis开源库提取声学特征，对客户端通过音频情感识别API上传的然后在每个帧上计算声学特征。得到的特征向量表示低维空间中的初始话语，并作为模型输入；

通过K最近邻算法训练脑电信号情感识别模型，对学习者的情感分类为：生气、愉快、放松、悲伤、中立；将脑电采集设备采集到的一定时长的脑电信号数据通过傅里叶转换从时域转换到频域，提取出五个频段脑波，对每个频段的脑波求出平均值、标准差，得到10个与情感有关的脑波特征；

采用K最近邻方法对学习者情感进行分类，情感识别过程如下：使用所述特征提取方法提取脑电采集设备采集的脑电信号；计算上述特征与效价训练集样本点的距离，并找出距离最近的3个点；如果这3个样本点是同一类数据，则新数据也是这一类；若不是，则求出第一个最近点距离通第2个最近点距离的比值，小于0.97则说明新数据同第一个最近点为一类数据；若大于0.97则需要求出这三个点中最多的类别，取出效价值作为新数据的效价值；使用同样方法预测输入特征的唤醒度值；根据所述情感模型得出最终的情感类别。

所述互动答疑子系统客户端基于C#和WPF开发，采集学习者的人脸、音频和脑电信号多个模态的数据，并且通过多线程技术和滑动窗口算法提高客户端采集学生数据的流畅性和平滑性；服务端采用Python的Flask框架开发，将多模态情感识别模型封装为RestfulAPI，通过echart将学习者的情感状态变化趋势转换为图表进行展示。

实施例使用了以下方法来优化系统的性能：(1)引入多线程技术。由于客户端需要同时处理三个模态的数据采集工作，单一线程必然无法处理所有数据。同时业务逻辑层需要同时处理特征提取、情感识别和数据存取等功能，因此需要引入多线程技术。多线程技术的引入使客户端三个模态的数据采集互不影响，等待情感识别结果返回时界面也不会卡死，同时服务端可以同时处理三个模态的特征提取和情感识别工作；(2)使用滑动窗口进行数据采集。由于应用层对音频和生理信号进行数据采集时，需要存储够一定数量的数据，才能通过通信层传输给业务逻辑层进行特征提取和情感识别。如果采用传统的方法，比如存储10s的音频数据后上传，接着开始下一个10s的音频录制工作，这样应用层只能每10s得到一个情感识别结果，采用滑动窗口的方法，每一秒删除此10s音频数据头1秒的数据，并在尾部加上当前秒的音频数据，从而得到新的10s音频数据，用于音频情感识别，使应用层每秒都可以获得对应的情感识别结果。

本发明提供的数字助教系统，是一种全新的助教模式；其他相关产品以教师为中心、定位于教师的助手，采集学习信息、状态信息作为教师教学参考，而本发明所述的数字助教，以学生为中心，以支持学生自主学习、师生互动为目标，为学生提供答疑、导读和警示；其他相关产品主要用于存在教师的学习环境，而本发明所述的数字助教系统，能够实现互联网以及无人值守学习环境下对学生进行资料导读、互动答疑、学习状态直观把控；本发明所述助教系统，针对特定教学对象、内容与场景，适用于在线教育以及无人值守的实验室、教室等环境，实现传统现场教学中由专业助教完成的工作。

助教是教学场景中不可或缺的角色，然而调查表明，针对互联网以及无人值守学习环境下的资料导读、互动答疑、学习状态直观把控等问题，也就是现场教学由助教完成的工作，还缺少针对性的数字化解决方案与工具。

检索到的相关产品与技术，和本发明所述的数字助教系统有以下不同：

(1)产品定位不同。现有相关产品均以教师或教育机构为中心，定位于教师的助手，采集学生的学习信息、状态信息，提供视频检测，分析学生兴趣，作为教师教学参考；而本项目研制的数字助教，以学生为中心，以支持学生自主学习、师生互动为目标，为学生提供答疑、导读和警示。

(2)应用场景不同。现有相关产品主要用于存在教师的学习环境，而本发明所述数字助教，是针对互联网以及无人值守学习环境下的资料导读、互动答疑、学习状态检测。

(3)技术参数不同。现有相关产品所提供的对话问答与状态检测，不针对特定教学环境、特定群体、特定学习内容，而本发明所述数字助教，针对特定教学环境、教学对象与学习内容。

(4)技术路线不同。现有相关产品主要提供独立的用户指南、机器对话与状态检测，而本发明所述数字助教，模拟人类助教、在系统上将这三项功能集成，在数据上将三项功能相关的数据集成，提高各功能的个性化与精准度，在技术上采用基于助教综合数据的关联分析、数据挖掘与组合推荐，提高各功能的深度与个性化。

因此，本发明公开的数字助教，是一种智能化、网络化、数字化助教系统，是一种全新的数字助教模式，针对特定教学对象、内容与场景，实现了传统现场教学中由专业助教完成的工作，理论上所有的在线教育平台以及无人值守的实验室、教室，都存在对数字助教的应用需求，拥有巨大的市场。

学生分析子系统的信息处理方法：根据所获取的用户输入、数字助教学生端数据，进行统计分析与数据挖掘，计算并输出用户学习大数据。

调用的数字助教学生端数据包括所述智能导读子系统的操作记录、互动答疑子系统的操作记录以及状态检测子系统输出的学生状态数据，以及学生情况，进行统计分析与数据挖掘，计算并输出用户学习大数据，包括学生信息、知识基础、学习兴趣、学习态度、认知能力与违纪情况。

学生信息内容：学生信息的主要包含学生的身份信息、知识基础信息、学习兴趣信息、学习态度信息、认知能力信息与违纪情况等信息。其中学生的基本信息内容由学生或者老师直接填写，学生的身份信息(如人脸识别信息)由老师统一组织录入系统，知识基础信息、学习兴趣信息、学习态度信息、认知能力信息与违纪情况等信息一般由学生分析子系统根据学生在学习过程中的表现大数据智能化分析并记录，以供数字助教系统通过推荐算法根据学生信息实时推荐个性化问答与指导。

知识基础类型与判断方法：基础知识掌握的程度类型：领会阶段、巩固阶段和应用阶段，领会、巩固、应用是知识掌握中的三个基本环节，而其中的直观、概括、具体化等认知动作和识记、保持等记忆动作是实现这三个环节的核心。研究表明，知识的领会是通过对教材的直观和概括来实现的，知识的巩固是通过对教材的识记与保持来实现的，而知识的应用则是通过具体化过程来完成的。

为识别学生的知识掌握的类型，给学生动态提示或提供适合学生现阶段学习的内容，所述的数字助教教师端学生分析子系统结合学生学习过程中阶段性成绩、提出的问题类型、操作的类型、决策的结果等主要指标的大数据挖掘，智能化给学生提供帮助。

学生分析子系统具体算法通过逻辑回归(Logistic regression)来大数据分析学生所处的基础知识类型，再根据推荐系统来实时给学生推荐需要学习的内容。

所述的学生分析子系统的样本是{x,y}，y是0或者1，表示正类或者负类，x是我们的m维的抽样的学生学习指标的特征向量。那么这个样本x属于正类，也就是y＝1的“概率”可以通过下面的逻辑函数来表示：

这里θ是模型参数，也就是回归系数，σ是sigmoid函数。实际上这个函数是由下面的对数几率(也就是x属于正类的可能性和负类的可能性的比值的对数)变换得到的：

得到的y值就是我们判断的关系变量，学生分析子系统根据模型判断的y 值来确定学生所处的知识掌握阶段。

学习兴趣类型与判断方法：学习兴趣一般分为个体兴趣与情境兴趣。一般认为，个体兴趣指的是随着时间的迁移而不断发展的、一种相对稳定持久且与某一特定主题或领域有关的动机取向、个人倾向或个人偏好，它与知识、价值观及积极感情相联。而情境兴趣则发生在环境中的某些条件刺激或特征具有吸引力并为个体所认识的那一刻。学生分析子系统智能化识别的学习兴趣类型一般意义上指的是情景兴趣，大数据分析学生在学习过程中所表现出来的行为、态度、表情等数据，确定不同类型的学生对不同领域的知识所表现出来的兴趣强度，为课堂中每位学生对不同的领域标注不同的兴趣类型，推荐系统依据不同学生的不同兴趣类型智能化推荐知识点解答、学习指导以及个性化训练。

学生对某一知识领域的学习兴趣可以分为厌恶、一般和喜欢三种类型，学习兴趣类型识别的机器学习判断方法与基础知识类型的识别方法一致，只是数据分析的特征指标不同，限于篇幅此处略去，具体可以参考上节方法。

学习态度类型与判断方法：学习态度是指学习者对学习较为持久的肯定或否定的行为倾向或内部反应的准备状态。它通常可以从学生对待学习的注意状况、情绪状况和意志状态等方面加以判定和说明。

学生的学习态度，具体又可包括对待课程学习的态度、对待学习材料的态度以及对待教师、学校的态度等。判断学生的学习态度主要有以下三个因素来分析：认识因素是指学生对学习活动或所学课程的一种带有评价意义的认识和理解，它反映着学生对学习的价值的认识，它是学习态度的基础。情感因素是指学生伴随认识而产生的情绪或情感体验，如对学习的喜欢或厌恶等，由于情感本身就反映出学生的学习态度，因此，情感因素是态度的核心。行为意向因素是指学生对学习的反应倾向，即行为的准备状态，准备对学习做出的某种反应。一般说来，学习态度的上述三种成分是相互协调一致的。

学生分析子系统主要依据学生在学习过程中的情感因素和行为因素来判断学生在每一个阶段每一个知识领域的学习态度类型，并及时给学生反馈，让学生及时知道自己学习态度的状态。学习状态按照学生的表现分为学习缺乏主动性、学习有主动性和学习主动性很强三个类型。情感识别子系统会实时识别学生在学习过程中的情感类型和行为动作，然后大数据朴素贝叶斯分类来标注学生不同的学习态度类型，最终使用可视化绘图工具echart绘制表格反馈给学生和老师。

认知能力类型与判断方法：认知能力是指人脑加工、储存和提取信息的能力，即人们对事物的构成、性能与他物的关系、发展的动力、发展方向以及基本规律的把握能力。它是人们成功的完成活动最重要的心理条件。知觉、记忆、注意、思维和想象的能力都被认为是认知能力。学生分析子系统会根据学生学习过程中的表现综合评判学生的记忆能力、注意力、思维能力和想象力的各个方面的认知能力，再根据大数据分析、挖掘学生的认知能力差异来智能化、差异化指导学生的学习。

违纪情况类型与判断方法：学生的违纪情况的判断与记录反映了课堂的纪律，特别是在无人值守的教室，违纪情况的判断不仅仅是老师对学生学习情况的了解，还涉及到教学的安全性问题。初步的沙盘教学环境下的违纪情况类型分为学习违纪情况类型(具体包含课堂远离沙盘、长时间无操作、闲聊攀谈等行为)和安全违纪情况类型(具体包含携带液体靠近沙盘、踩踏电源等危险行为)。

为了识别沙盘教学环境中的违纪情况的行为动作，学生分析子系统使用开源的OpenPose人体姿态估计机器学习模型，OpenPose是基于卷积神经网络和监督学习并以caffe为框架写成的开源库，可以实现人的面部表情、躯干和四肢甚至手指的跟踪，不仅适用于单人也适用于多人，同时具有较好的鲁棒性。可以称是世界上第一个基于深度学习的实时多人二维姿态估计，是人机交互上的一个里程碑，为机器理解人提供了一个高质量的信息维度。

第一步：输入一幅图像，经过卷积网络提取特征，得到一组特征图，然后分成两个岔路，分别使用卷积神经网络CNN提取部分置信度图Part Confidence Maps和部分亲和度字段PartAffinityFields；

第二步：得到这两个信息后，使用图论中的偶匹配Bipartite Matching求出部分关联度PartAssociation，将同一个人的关节点连接起来，由于部分亲和度字段PartAffinityFields自身的矢量性，使得生成的偶匹配很正确，最终合并为一个人的整体骨架；

第三步：最后基于部分亲和度字段Part Affinity Fields求多人解析 Multi-PersonParsing—>把多人解析Multi-personparsing问题转换成图论graphs 问题—>匈牙利算法HungarianAlgorithm。

该算法模型具有高鲁棒性、计算与画面中人物数量无关并且可以实现实时检测等优点。得到人体关节点后我们只需要计算各关节点间的几何位置关系就可以判断学生的当前行为是否有违纪的情况。检测到违纪行为后，系统可以将行为记录并及时反馈给相关的老师，防止危险情况的发生。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种数字助教系统，其特征在于，包括：数字助教学生端、智能导读子系统、互动答疑子系统、状态检测子系统和数字助教数据库；所述数字助教学生端分别与所述智能导读子系统、所述互动答疑子系统和所述状态检测子系统连接；所述数字助教数据库分别与所述智能导读子系统、所述互动答疑子系统和所述状态检测子系统连接；

所述数字助教学生端，用于采集学习者学习数据，与学习者进行交互，提供知识学习、问题答疑与学习状态警示；所述智能导读子系统，用于主动定位匹配学习者的资料；所述互动答疑子系统，用于与学习者对话，解答学习者提问；所述状态检测子系统，用于提供学习者的学习状态数据；所述数字助教数据库，用于保存所学科目的专业知识数据、学生情况数据与学习环境数据，为智能导读、互动答疑与状态检测提供数据支持。

2.根据权利要求1所述的数字助教系统，其特征在于，还包括：数字助教教师端和学生分析子系统，所述数字助教教师端和所述学生分析子系统连接，所述数字助教教师端与所述数字助教学生端连接；所述数字助教教师端用于与所述数字助教学生端交互，获取学生学习情况，与教师或管理机构交互；所述学生分析子系统，用于提供学生知识掌握情况与学习状态。

3.一种应用于权利要求1或2任意一项所述系统的信息交互方法，其特征在于，包括：

所述数字助教学生端采集学习者学习数据，与学习者进行交互，提供知识学习、问题答疑与学习状态警示；

所述智能导读子系统从所述数字助教学生端获取用户输入，调用所述数字助教数据库中的数据，输出与用户匹配的知识点位置；

所述互动答疑子系统从所述数字助教学生端获取用户输入，调用所述数字助教数据库中的数据，输出与用户问题匹配度最高的解答；

所述状态检测子系统从所述数字助教学生端获取用户输入，调用所述数字助教数据库中的数据，输出用户学习状态数据。

4.根据权利要求3所述的信息交互方法，其特征在于，还包括：

所述数字助教教师端调用所述数字助教学生端数据，与教师或管理机构交互，提供学生学习情况大数据。

5.根据权利要求3所述的信息交互方法，其特征在于，还包括：

所述学生分析子系统从所述数字助教学生端获取用户输入，调用所述数字助教数据库中的数据，输出用户学习大数据。

6.一种应用于权利要求1所述系统的信息处理方法，其特征在于，包括：

获取用户输入数据和数字助教数据库中的数据；

对所述数据进行自然语言处理与机器学习，形成结构化的标记语料；

根据所述结构化的标记语料输出适合学习者参考的专业知识文件以及知识点位置和匹配用户提问的解答；

根据所述数据采用情感识别方法及学习态度、认知能力和违纪情况规则判断法，输出学习状态数据。

7.根据权利要求6所述的信息处理方法，其特征在于，所述根据所述结构化的标记语料输出适合学习者参考的专业知识文件以及知识点位置和匹配用户提问的解答，具体包括：

根据所述结构化的标记语料采用基于标记语料、由内容推荐、协同过滤、数据挖掘组合成的推荐算法，输出适合学习者参考的专业知识文件以及知识点位置；

根据所述结构化的标记语料采用基于标记语料、由内容推荐、协同过滤、数据挖掘组合成的对话算法，输出匹配用户提问的解答。

8.根据权利要求6所述的信息处理方法，其特征在于，所述根据所述数据采用情感识别方法及学习态度、认知能力和违纪情况规则判断法，输出学习状态数据，具体包括：

根据所述数据，进行情感识别，结合学生情况、学习环境数据以及学习态度、认知能力和违纪情况规则，输出学习状态数据。