CN116521872A - 一种认知和情感的联合识别方法、系统及电子设备 - Google Patents
一种认知和情感的联合识别方法、系统及电子设备 Download PDFInfo
- Publication number
- CN116521872A CN116521872A CN202310501237.7A CN202310501237A CN116521872A CN 116521872 A CN116521872 A CN 116521872A CN 202310501237 A CN202310501237 A CN 202310501237A CN 116521872 A CN116521872 A CN 116521872A
- Authority
- CN
- China
- Prior art keywords
- cognitive
- category
- telepresence
- cognition
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 200
- 230000019771 cognition Effects 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000001149 cognitive effect Effects 0.000 claims abstract description 197
- 239000011159 matrix material Substances 0.000 claims abstract description 62
- 238000005096 rolling process Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000008909 emotion recognition Effects 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 230000003993 interaction Effects 0.000 description 15
- 238000003860 storage Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种认知和情感的联合识别方法、系统及电子设备，获取学习者关于课程讨论的文本；利用BERT模型提取文本的隐藏特征表示，基于隐藏特征表示获得多类认知临场感类别特征表示，并将文本第一个token作为情感极性特征表示；根据每类认知类别的样本数获取多类认知类别之间的初始内部关系矩阵；根据认知类别的样本数和给定的认知类别与其他不同认知临场感类别的情感极性对应的二元组的样本数获取认知与情感极性之间的关系矩阵；将多类认知类别特征表示、情感极性特征表示及上述两个关系矩阵输入到训练好的联合图卷积网络模型，预测文本对应的认知和情感极性。本发明利用认知与情感之间交互信息，实现对学习者认知与情感状态的准确识别。
Description
技术领域
本发明属于自然语言处理领域，更具体地，涉及一种认知和情感的联合识别方法、系统及电子设备。
背景技术
随着在线学习形式的普及，越来越多的学习者会在在线课程论坛中发表与课程和学习相关的讨论。这些论坛交流互动诱发了学习者的认知和情感状态，进而会影响最终的学习效果。通过识别学习者的认知和情感状态，有助于教师、平台管理人员、智能对话系统、学习同伴等利益相关方准确了解学习者的学习过程，并为其提供更加个性化的教学干预措施，进而提升学生的学习成效。
认知和情感作为影响在线学习成效的两个关键因素，他们之间存在着复杂的交互作用。然而，目前面向异步论坛文本的识别模型通过管道的方式依次识别文本中的认知或情感标签，这种简单的单任务组合方式无法利用认知与情感之间丰富的共现交互信息，导致了多任务过程中的错误传递，降低了模型识别精度。
因此，需要一种多任务的认知与情感联合识别方法，以利用任务之间的交互信息，实现学习者认知与情感状态的准确识别。该方法可作为学习分析和教育数据挖掘组件融合到现有的在线学习平台或者学习管理系统中，用于优化各类教学活动，例如教师监测教学过程和学习者自我反思，从而提升学习者的学习成效。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种认知和情感的联合识别方法、系统及电子设备，旨在解决目前面向异步论坛文本的识别模型通过管道的方式依次识别文本中的认知或情感标签，这种简单的单任务组合方式无法利用认知与情感之间丰富的共现交互信息，导致了多任务过程中的错误传递，模型识别精度较低的问题。
为实现上述目的，第一方面，本发明提供了一种认知和情感的联合识别方法，包括以下步骤：
获取学习者关于课程讨论的文本；
将所述文本输入到基于变换器的双向编码器表示(Bidirectional EncoderRepresentations from Transformer，BERT)模型，提取文本的隐藏特征表示，并将所述隐藏表示输入到多个自注意力子层，以获得所述文本对应的多类认知临场感类别特征表示，并将所述文本中第一个令牌token作为文本总体的情感极性特征表示；
根据每类认知临场感类别的样本数获取多类认知临场感类别之间的初始内部关系矩阵；
根据认知临场感类别的样本数和给定的认知临场感类别与其他不同认知临场感类别的情感极性对应的二元组的样本数获取认知临场感与情感极性之间的关系矩阵；
将所述多类认知临场感类别特征表示、文本总体的情感极性特征表示、多类认知临场感类别之间的初始内部关系矩阵及认知临场感与情感极性之间的关系矩阵输入到训练好的联合图卷积网络模型，预测所述文本对应的认知临场感和情感极性；其中，所述联合图卷积网络模型包括第一图卷积网络、第二图卷积网络及层次预测模块，所述第一图卷积网络用于基于所述初始内部关系矩阵进行图卷积操作，预测得到多个认知临场感类别表示，所述第二图卷积网络用于根据所述第一图卷积网络预测的多个认知临场感类别表示和文本总体的情感极性特征表示将认知临场感和情感极性特征连接，并基于认知临场感与情感极性之间的关系矩阵对前述连接后的特征进行图卷积操作，得到面向认知临场感类别的情感极性表示，所述层次预测模块用于根据第一图卷积网络预测的多个认知临场感类别表示和第二图卷积网络预测的面向认知类别的情感极性表示确定各类认知临场感类别的概率和认知临场感类别对应的情感极性概率，将概率最大的认知临场感类别和情感极性作为最终输出结果。
在一种可能的实现方式中，BERT模型提取文本的隐藏特征表示，具体为：
将所述文本中的每个单词转换为向量表示，并为每个单词分配一个相位向量和位置向量；
将所述向量表示、相位向量及位置向量拼接，作为输入向量；
将所述输入向量输入到多层变换编码器获取每个单词的隐藏特征表示；
将每个单词的隐藏特征表示组合得到文本的隐藏特征表示。
在一种可能的实现方式中，根据每类认知临场感类别的样本数获取多类认知临场感类别之间的初始内部关系矩阵Gc，具体为：
其中，表示认知临场感类别之间关系矩阵Gc的第i行第j列的元素，N(ci)表示第i类认知临场感类别的样本数，N(ci,cj)表示第i类认知临场感类别ci和第j类认知临场感类别cj对应二元组的样本数。
在一种可能的实现方式中，根据认知临场感类别的样本数和给定的认知临场感类别与其他不同认知临场感类别的情感极性对应的二元组的样本数获取认知临场感与情感极性之间的关系矩阵Gc,s，具体为：
其中，表示认知临场感与情感极性之间的关系矩阵Gc,s的第i行第j列的元素，(|j)表示文本中第j类认知临场感类别的情感极性，s表示情感极性，N(ci,(s|cj)表示第i类认知临场感类别ci和第j类认知临场感类别cj的情感极性对应二元组的样本数。
在一种可能的实现方式中，所述第一图卷积网络用于基于所述初始内部关系矩阵进行图卷积操作，预测得到多个认知临场感类别表示，具体为：
所述第一图卷积网络通过如下方式计算第l+1层的认知临场感类别表示节点Cl+1：
其中，GELU表示非线性激活函数，和/>表示第l层的线性变换权重和偏置，Hc表示认知临场感类别的特征表示，是第一图卷积网络的初始值；
所述第二图卷积网络通过如下步骤得到面向认知临场感类别的情感极性表示：
将认知临场感类别与情感极性特征进行连接，形成第二图卷积网络第l层的输入节点表示Ql，其计算公式如下：
其中，Tanh表示双曲正切函数，Hs表示情感极性的特征表示，表示按位异或操作，/>和/>分别表示权重和偏置；
对所述输入节点表示Ql进行图卷积操作，得到面向认知类别的情感特征表示S，其计算公式如下：
其中，表示第l层图卷积操作，max pooling表示池化操作，dense表示全连接层；ReLU表示非线性激活函数，/>表示第二图卷积网络的参数。
在一种可能的实现方式中，所述层次预测模块确定各类认知临场感类别的概率和认知临场感类别对应的情感极性概率，具体为：
通过如下公式确定第m类认知临场感类别的概率表示以及第m类认知临场感类别对应的情感极性概率表示/>
其中，T表示给定的课程讨论的文本，表示二分类问题概率函数sigmoid对第m类认知临场感类别表示的输出概率，/>表示多分类问题概率函数softmax对第m类认知临场感类别对应的情感极性表示的输出概率，Cm表示第m类认知临场感类别表示，Sm表示第m类认知临场感类别对应的情感极性表示，/>ws和bs表示层次预测模块的参数；
利用层次预测模块对文本的认知临场感类别和情感极性做最终预测，取概率最大的认知临场感类别和概率最大的情感极性/>对应的概率对/>作为最终输出结果，计算公式如下：
其中，arg max()表示和/>取得最大值时自变量的取值。
在一种可能的实现方式中，所述联合图卷积网络模型的训练过程包括以下步骤：
通过损失函数计算预测的认知临场感类别和情感极性与原有真实标签的差异，最后通过反向传播优化模型参数，直至模型损失值达到预设范围，得到训练完毕的模型；
所述损失函数loss计算公式如下：
loss＝lossc+osss
其中，第一图卷积网络模型的损失函数lossc和第二图卷积网络模型的损失函数losss的计算公式如下：
其中，表示第m类认知临场感类别的真实值，/>表示第m类认知临场感类别的第n类情感极性的真实值，M表示认知临场感类别的总数，N表示情感极性的类别总数。
第二方面，本发明提供了一种认知和情感的联合识别系统，包括：
文本获取单元，用于获取学习者关于课程讨论的文本；
特征提取单元，用于将所述文本输入到基于变换器的双向编码器表示BERT模型，提取文本的隐藏特征表示，并将所述隐藏表示输入到多个自注意力子层，以获得所述文本对应的多类认知临场感类别特征表示，并将所述文本中第一个令牌token作为文本总体的情感极性特征表示；
关系矩阵确定单元，根据每类认知临场感类别的样本数获取多类认知临场感类别之间的初始内部关系矩阵；以及根据认知临场感类别的样本数和给定的认知临场感类别与其他不同认知临场感类别的情感极性对应的二元组的样本数获取认知临场感与情感极性之间的关系矩阵；
认知和情感预测单元，用于将所述多类认知临场感类别特征表示、文本总体的情感极性特征表示、多类认知临场感类别之间的初始内部关系矩阵及认知临场感与情感极性之间的关系矩阵输入到训练好的联合图卷积网络模型，预测所述文本对应的认知临场感和情感极性；其中，所述联合图卷积网络模型包括第一图卷积网络、第二图卷积网络及层次预测模块，所述第一图卷积网络用于基于所述初始内部关系矩阵进行图卷积操作，预测得到多个认知临场感类别表示，所述第二图卷积网络用于根据所述第一图卷积网络预测的多个认知临场感类别表示和文本总体的情感极性特征表示将认知临场感和情感极性特征连接，并基于认知临场感与情感极性之间的关系矩阵对前述连接后的特征进行图卷积操作，得到面向认知临场感类别的情感极性表示，所述层次预测模块用于根据第一图卷积网络预测的多个认知临场感类别表示和第二图卷积网络预测的面向认知临场感类别的情感极性表示确定各类认知临场感类别的概率和认知临场感类别对应的情感极性概率，将概率最大的认知临场感类别和情感极性作为最终输出结果。
在一种可能的实现方式中，所述第一图卷积网络通过如下方式计算第l+1层的认知临场感类别表示节点Cl+1：其中，GELU表示非线性激活函数，/>和/>表示第l层的线性变换权重和偏置，Hc表示认知临场感类别的特征表示，是第一图卷积网络的初始值；Gc表示认知临场感类别之间关系矩阵；
所述第二图卷积网络将认知临场感类别与情感极性特征进行连接，形成第二图卷积网络第l层的输入节点表示Ql，其计算公式如下： 其中，Tanh表示双曲正切函数，Hs表示情感极性的特征表示，/>表示按位异或操作，/>和分别表示权重和偏置；对所述输入节点表示Ql进行图卷积操作，得到面向认知类别的情感特征表示S，其计算公式如下：
其中，/>表示第l层图卷积操作，max pooling表示池化操作，dense表示全连接层；ReLU表示非线性激活函数，/>表示第二图卷积网络的参数，Gc,s表示认知临场感与情感极性之间的关系矩阵。
第三方面，本发明提供一种电子设备，包括：至少一个存储器，用于存储程序；至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
第四方面，本发明提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
第五方面，本发明提供一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
本发明提出一种认知和情感的联合识别方法、系统及电子设备，利用认知与情感之间的交互信息，实现对学习者认知与情感状态的准确识别。该方法可作为学习分析和教育数据挖掘组件融合到现有的在线学习平台或者学习管理系统中，用于优化各类教学活动，例如教师监测教学过程和学习者自我反思，从而提升学习者的学习成效。
附图说明
图1本发明实施例提供的认知和情感联合识别方法的流程图；
图2是本发明实施例提供的认知与情感联合识别模型数据流示意图；
图3是本发明实施例提供的认知与情感联合识别模型的架构图；
图4是本发明实施例提供的认知和情感联合识别系统架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
图1本发明实施例提供的认知和情感联合识别方法的流程图；如图1所示，包括以下步骤：
S101，获取学习者关于课程讨论的文本；
S102，将所述文本输入到基于变换器的双向编码器表示BERT模型，提取文本的隐藏特征表示，并将所述隐藏表示输入到多个自注意力子层，以获得所述文本对应的多类认知临场感类别特征表示，并将所述文本中第一个令牌token作为文本总体的情感极性特征表示；
S103，根据每类认知临场感类别的样本数获取多类认知临场感类别之间的初始内部关系矩阵；
S104，根据认知临场感类别的样本数和给定的认知临场感类别与其他不同认知临场感类别的情感极性对应的二元组的样本数获取认知临场感与情感极性之间的关系矩阵；
S105，将所述多类认知临场感类别特征表示、文本总体的情感极性特征表示、多类认知临场感类别之间的初始内部关系矩阵及认知临场感与情感极性之间的关系矩阵输入到训练好的联合图卷积网络模型，预测所述文本对应的认知临场感和情感极性；其中，所述联合图卷积网络模型包括第一图卷积网络、第二图卷积网络及层次预测模块，所述第一图卷积网络用于基于所述初始内部关系矩阵进行图卷积操作，预测得到多个认知临场感类别表示，所述第二图卷积网络用于根据所述第一图卷积网络预测的多个认知临场感类别表示和文本总体的情感极性特征表示将认知临场感和情感极性特征连接，并基于认知临场感与情感极性之间的关系矩阵对前述连接后的特征进行图卷积操作，得到面向认知临场感类别的情感极性表示，所述层次预测模块用于根据第一图卷积网络预测的多个认知临场感类别表示和第二图卷积网络预测的面向认知类别的情感极性表示确定各类认知临场感类别的概率和认知临场感类别对应的情感极性概率，将概率最大的认知临场感类别和情感极性作为最终输出结果。
需要说明的是，以下以图2和图3为具体实施例对本发明方案进行展开介绍。
如图2所示，本发明实施例的一种面向异步讨论文本的认知与情感联合识别系统，包括以下步骤：
步骤1、采集和标注数据集：在采集在线课程论坛的数据；对采集到的在线课程论坛数据进行文本清洗、数据集划分为训练集和测试集等操作；根据认知临场感类别和情感极性编码框架，对在线课程论坛的数据集中的文本标注认知临场感标签和情感标签。
在一个具体的示例中，以认知临场感类别标签包括5类为例进行举例说明(触发、探索、总结、解决、其他)，其中“其他”类别用于表示没有表现出任何认知临场感阶段指标的信息，以情感极性标签包括8类进行举例说明(好奇、惊讶、享受、中性、沮丧、困惑、焦虑、无聊)。可以理解的是，本领域技术人员可根据实际需要扩展或缩减认知临场感和/或情感极性的类别，本发明对此并不做任何限定。
最终，获取的在线课程论坛数据集中包括学习者的课程论坛文本、以及文本对应的认知临场感类别标签和情感极性标签三类数据信息。
步骤2、特征编码和提取：所述在线课程论坛数据集中的文本作为BERT模型的输入，提取文本对应的隐藏表示Hidden layer(H)。根据H，提取文本对应的5类认知临场感的特征表示Hc和句子总体的情感特征表示Hs。
步骤2的具体方法包括以下子步骤：
步骤2.1、将数据集中文本句子T输入到BERT模型中提取句子T对应的隐藏表示Hidden layer(H)；
句子T对应的隐藏表示Hidden layer(H)的具体实现过程如下：
词嵌入Token embedding：输入含有e个单词的句子T＝[t1,t2,…,…,te]，将句子T中的每个单词转换为向量表示为E＝[[CLS],t1,t2,…,…,te,[SEP]]。
分段嵌入Segment embedding：为每个单词分配一个Segment embedding向量S’。
位置嵌入Position embedding：为每个单词分配一个Position embedding向量P。
变换编码器Transformer encoder：将向量E、S’、P拼接起来，作为输入向量。然后，输入向量经过多层变换编码器transformer encoder获得每个单词的隐藏表示h。最后获取句子对应的隐藏表示H＝{h1,h2,…,…,he}。
进一步地，步骤2.2的具体实现过程如下：
句子T的隐藏表示H经过5个不同的自注意力子层获得5类认知临场感类别表示Hc；并将句子中第一个token，即[CLS]，作为句子总体的情感特征表示Hs。
Hc的具体计算公式如下：
其中，αi,j表示第i个认知临场感类别与第j个认知临场感类别之间的注意力分数。wv表示认知临场感类别的权重矩阵。
Hs的具体计算公式如下：
Hs＝H[CLS]。
步骤3、如图3所示，获取模型初始值：根据5个认知临场感类别特征表示Hc，获取多个认知临场感类别之间的初始内部交互关系矩阵Gc。
根据5个认知临场感类别的表示Hc，获取认知临场感类别之间的初始内部关系矩阵Gc。
其中，表示认知临场感类别之间关系矩阵Gc的第i行第j列的元素，N(ci)表示第i类认知临场感类别的样本数，N(ci,cj)表示第i类认知临场感类别ci和第j类认知临场感类别cj对应二元组的样本数。
根据认知临场感类别的样本数和给定的认知临场感类别与其他不同认知临场感类别的情感极性对应的二元组的样本数获取认知临场感与情感极性之间的关系矩阵Gc,s，具体为：
其中，表示认知临场感与情感极性之间的关系矩阵Gc,s的第i行第j列的元素，(|j)表示文本中第j类认知临场感类别的情感极性，s表示情感极性，N(ci,(s|cj)表示第i类认知临场感类别ci和第j类认知临场感类别cj的情感极性对应二元组的样本数。
步骤4、构建认知-情感联合模型：将认知和情感联合识别任务建模为两层的认知-情感图卷积网络模型(Cognition-Sentiment Graph Convolutional Network，简称C-S-GCN)，也可简称为联合图卷积网络模型，其中包括两个层次模型：认知特征交互的GCN模型执行认知临场感类别标签检测任务，用于捕捉认知临场感类别之间的内部关系并获取每类认知临场感类别的表示C＝{C1,…,C5}。情感与认知特征交互的GCN模型执行面向认知临场感类别的情感极性分类任务，用于捕捉认知临场感与情感极性之间的关系矩阵Gc,s并获取面向认知临场感的情感表示S＝{S1,…,S8}。根据C和S计算每个认知临场感类别的概率pc及其对应的情感概率分布ps，利用层次预测模块对文本中的认知临场感类别和情感极性做最终预测。
步骤4的具体方法包括以下子步骤：
步骤4.1、认知特征交互的GCN模型执行认知标签检测任务，用于捕捉认知与认知之间的内部关系并形成每类认知临场感类别的表示C；
根据认知临场感类别内部关系矩阵Gc，认知特征交互的GCN模型进行标准图卷积操作。其中，第l+1层的认知临场感类别节点C计算方式如下：
其中，GELU表示非线性激活函数，和/>表示第l层的线性变换权重和偏置，Hc表示认知临场感类别的特征表示，是第一图卷积网络的初始值。
步骤4.2、情感与认知特征交互的GCN模型执行面向认知临场感类别的情感极性分类任务，用于捕捉认知临场感与情感极性之间的关系矩阵Gc-s并获取面向认知临场感的情感表示S。
根据输入情感与认知特征交互的GCN模型将认知临场感类别与情感极性特征进行连接，形成该GCN模型第l层的输入节点表示Q，其计算公式如下：
其中，Tanh表示双曲正切函数，Cl+1表示情感与认知特征交互的GCN模型第l+1层的输入，Hs表示情感极性的特征表示，表示连接两个向量的按位异或操作，/>和/>分别表示权重和偏置。
最后，情感与认知特征交互的GCN模型对节点进行标准图卷积操作，得到面向认知临场感类别的情感特征表示S，其计算公式如下：
其中，表示第k层标准图卷积操作，max pooling表示池化操作，dense表示全连接层。
其中，ReLU表示非线性激活函数，/>表示模型的可学习参数。
步骤4.3、根据C和S计算每个认知临场感类别的概率pc及其对应的情感概率分布ps，利用层次预测模块对认知临场感类别和情感做最终预测。
第m类认知临场感类别的概率表示为以及该类认知临场感类别对应的情感极性概率表示为/>计算公式如下：
其中，ws和bs表示情感分类任务中的参数。
利用层次预测模块对文本的认知临场感类别和情感极性做最终预测，计算公式如下：
步骤5、模型训练：通过损失函数计算预测的认知临场感类别和情感极性与原有真实标签的差异，最后通过反向传播优化模型参数，直至模型损失值达到预设范围，得到训练完毕的模型。
损失函数计算公式如下：
loss＝lossc+osss
其中，lossc和losss的计算公式如下：
其中，表示第m类认知临场感类别的真实值，/>表示第m类认知临场感类别的第n类情感极性的真实值，/>表示模型预测的第m类认知临场感类别的第n类情感极性的概率。
步骤6、模型输出：将待分类文本输入到训练好的模型进行认知与情感联合识别，最后概率最大的认知临场感类别和情感极性作为最终输出结果。
为了衡量模型性能，在在线课程论坛数据集上进行了对比实验。表1为对比实验的结果，与几个常用模型在指标上进行了对比，从表1中可以看出，本发明的C-E-GCN模型在大部分指标上取得了最好的效果，相较于传统方法在模型性能上有较大的提升。
表1对比不同模型的实验结果
图4是本发明实施例提供的认知和情感联合识别系统的架构图；如图4所示，包括：
文本获取单元410，用于获取学习者关于课程讨论的文本；
特征提取单元420，用于将所述文本输入到基于变换器的双向编码器表示BERT模型，提取文本的隐藏特征表示，并将所述隐藏表示输入到多个自注意力子层，以获得所述文本对应的多类认知临场感类别特征表示，并将所述文本中第一个令牌token作为文本总体的情感极性特征表示；
关系矩阵确定单元430，根据每类认知临场感类别的样本数获取多类认知临场感类别之间的初始内部关系矩阵；以及根据认知临场感类别的样本数和给定的认知临场感类别与其他不同认知临场感类别的情感极性对应的二元组的样本数获取认知临场感与情感极性之间的关系矩阵；
认知和情感预测单元440，用于将所述多类认知临场感类别特征表示、文本总体的情感极性特征表示、多类认知临场感类别之间的初始内部关系矩阵及认知临场感与情感极性之间的关系矩阵输入到训练好的联合图卷积网络模型，预测所述文本对应的认知临场感和情感极性；其中，所述联合图卷积网络模型包括第一图卷积网络、第二图卷积网络及层次预测模块，所述第一图卷积网络用于基于所述初始内部关系矩阵进行图卷积操作，预测得到多个认知临场感类别表示，所述第二图卷积网络用于根据所述第一图卷积网络预测的多个认知临场感类别表示和文本总体的情感极性特征表示将认知临场感和情感极性特征连接，并基于认知临场感与情感极性之间的关系矩阵对前述连接后的特征进行图卷积操作，得到面向认知临场感类别的情感极性表示，所述层次预测模块用于根据第一图卷积网络预测的多个认知临场感类别表示和第二图卷积网络预测的面向认知临场感类别的情感极性表示确定各类认知临场感类别的概率和认知临场感类别对应的情感极性概率，将概率最大的认知临场感类别和情感极性作为最终输出结果。
应当理解的是，上述系统用于执行上述实施例中的方法，系统中相应的程序模块，其实现原理和技术效果与上述方法中的描述类似，该系统的工作过程可参考上述方法中的对应过程，此处不再赘述。
基于上述实施例中的方法，本发明实施例提供了一种电子设备。该设备可以包括：至少一个用于存储程序的存储器和至少一个用于执行存储器存储的程序的处理器。其中，当存储器存储的程序被执行时，处理器用于执行上述实施例中所描述的方法。
基于上述实施例中的方法，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行上述实施例中的方法。
基于上述实施例中的方法，本发明实施例提供了一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行上述实施例中的方法。
可以理解的是，本发明的实施例中的处理器可以是中央处理单元(centralprocessing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。
本发明的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable rom，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
可以理解的是，在本发明的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本发明的实施例的范围。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种认知和情感的联合识别方法，其特征在于，包括以下步骤：
获取学习者关于课程讨论的文本；
将所述文本输入到基于变换器的双向编码器表示BERT模型，提取文本的隐藏特征表示，并将所述隐藏表示输入到多个自注意力子层，以获得所述文本对应的多类认知临场感类别特征表示，并将所述文本中第一个令牌token作为文本总体的情感极性特征表示；
根据每类认知临场感类别的样本数获取多类认知临场感类别之间的初始内部关系矩阵；
根据认知临场感类别的样本数和给定的认知临场感类别与其他不同认知临场感类别的情感极性对应的二元组的样本数获取认知临场感与情感极性之间的关系矩阵；
将所述多类认知临场感类别特征表示、文本总体的情感极性特征表示、多类认知临场感类别之间的初始内部关系矩阵及认知临场感与情感极性之间的关系矩阵输入到训练好的联合图卷积网络模型，预测所述文本对应的认知临场感和情感极性；其中，所述联合图卷积网络模型包括第一图卷积网络、第二图卷积网络及层次预测模块，所述第一图卷积网络用于基于所述初始内部关系矩阵进行图卷积操作，预测得到多个认知临场感类别表示，所述第二图卷积网络用于根据所述第一图卷积网络预测的多个认知临场感类别表示和文本总体的情感极性特征表示将认知临场感和情感极性特征连接，并基于认知临场感与情感极性之间的关系矩阵对前述连接后的特征进行图卷积操作，得到面向认知临场感类别的情感极性表示，所述层次预测模块用于根据第一图卷积网络预测的多个认知临场感类别表示和第二图卷积网络预测的面向认知临场感类别的情感极性表示确定各类认知临场感类别的概率和认知临场感类别对应的情感极性概率，将概率最大的认知临场感类别和情感极性作为最终输出结果。
2.根据权利要求1所述的方法，其特征在于，BERT模型提取文本的隐藏特征表示，具体为：
将所述文本中的每个单词转换为向量表示，并为每个单词分配一个相位向量和位置向量；
将所述向量表示、相位向量及位置向量拼接，作为输入向量；
将所述输入向量输入到多层变换编码器获取每个单词的隐藏特征表示；
将每个单词的隐藏特征表示组合得到文本的隐藏特征表示。
3.根据权利要求1或2所述的方法，其特征在于，根据每类认知临场感类别的样本数获取多类认知临场感类别之间的初始内部关系矩阵Gc，具体为：
其中，表示认知临场感类别之间关系矩阵Gc的第i行第j列的元素，N(ci)表示第i类认知临场感类别的样本数，N(ci,cj)表示第i类认知临场感类别ci和第j类认知临场感类别cj对应二元组的样本数。
4.根据权利要求3所述的方法，其特征在于，根据文本中认知临场感类别的样本数和给定认知临场感类别与其他不同认知临场感类别的情感极性对应的二元组的样本数获取认知临场感与情感极性之间的关系矩阵Gc,s，具体为：
其中，表示认知临场感与情感极性之间的关系矩阵Gc,s的第i行第j列的元素，(s|cj)表示文本中第j类认知临场感类别的情感极性，s表示情感极性，N(ci,(s|cj))表示第i类认知临场感类别ci与第j类认知临场感类别cj的情感极性对应二元组的样本数。
5.根据权利要求1或2所述的方法，其特征在于，所述第一图卷积网络用于基于所述初始内部关系矩阵进行图卷积操作，预测得到多个认知临场感类别表示，具体为：
所述第一图卷积网络通过如下方式计算第l+1层的认知临场感类别表示节点Cl+1：
其中，GELU表示非线性激活函数，和/>表示第l层的线性变换权重和偏置，Hc表示认知临场感类别的特征表示，是第一图卷积网络的初始值；
所述第二图卷积网络通过如下步骤得到面向认知临场感类别的情感极性表示：
将认知临场感类别与情感极性特征进行连接，形成第二图卷积网络第l层的输入节点表示Ql，其计算公式如下：
其中，Tanh表示双曲正切函数，Hs表示情感极性的特征表示，表示按位异或操作，和/>分别表示权重和偏置；
对所述输入节点表示Ql进行图卷积操作，得到面向认知类别的情感特征表示S，其计算公式如下：
其中，表示第l层图卷积操作，max pooling表示池化操作，dense表示全连接层；ReLU表示非线性激活函数，/>表示第二图卷积网络的参数。
6.根据权利要求5所述的方法，其特征在于，所述层次预测模块确定各类认知临场感类别的概率和认知临场感类别对应的情感极性概率，具体为：
通过如下公式确定第m类认知临场感类别的概率表示以及第m类认知临场感类别对应的情感极性概率表示/>
其中，T表示给定的课程讨论的文本，表示二分类问题概率函数sigmoid对第m类认知临场感类别表示的输出概率，/>表示多分类问题概率函数softmax对第m类认知临场感类别对应的情感极性表示的输出概率，Cm表示第m类认知临场感类别表示，Sm表示第m类认知临场感类别对应的情感极性表示，/>ws和bs表示层次预测模块的参数；
利用层次预测模块对文本的认知临场感类别和情感极性做最终预测，取概率最大的认知临场感类别和概率最大的情感极性/>对应的概率对/>作为最终输出结果，计算公式如下：
其中，arg max()表示和/>取得最大值时自变量的取值。
7.根据权利要求6所述的方法，其特征在于，所述联合图卷积网络模型的训练过程包括以下步骤：
通过损失函数计算预测的认知临场感类别和情感极性与原有真实标签的差异，最后通过反向传播优化模型参数，直至模型损失值达到预设范围，得到训练完毕的模型；
所述损失函数loss计算公式如下：
loss＝lossc+osss
其中，第一图卷积网络模型的损失函数lossc和第二图卷积网络模型的损失函数losss的计算公式如下：
其中，表示第m类认知临场感类别的真实值，/>表示第m类认知临场感类别的第n类情感极性的真实值，M表示认知临场感类别的总数，N表示情感极性的类别总数。
8.一种认知和情感的联合识别系统，其特征在于，包括：
文本获取单元，用于获取学习者关于课程讨论的文本；
特征提取单元，用于将所述文本输入到基于变换器的双向编码器表示BERT模型，提取文本的隐藏特征表示，并将所述隐藏表示输入到多个自注意力子层，以获得所述文本对应的多类认知临场感类别特征表示，并将所述文本中第一个令牌token作为文本总体的情感极性特征表示；
关系矩阵确定单元，根据每类认知临场感类别的样本数获取多类认知临场感类别之间的初始内部关系矩阵；以及根据认知临场感类别的样本数和给定的认知临场感类别与其他不同认知临场感类别的情感极性对应的二元组的样本数获取认知临场感与情感极性之间的关系矩阵；
认知和情感预测单元，用于将所述多类认知临场感类别特征表示、文本总体的情感极性特征表示、多类认知临场感类别之间的初始内部关系矩阵及认知临场感与情感极性之间的关系矩阵输入到训练好的联合图卷积网络模型，预测所述文本对应的认知临场感和情感极性；其中，所述联合图卷积网络模型包括第一图卷积网络、第二图卷积网络及层次预测模块，所述第一图卷积网络用于基于所述初始内部关系矩阵进行图卷积操作，预测得到多个认知临场感类别表示，所述第二图卷积网络用于根据所述第一图卷积网络预测的多个认知临场感类别表示和文本总体的情感极性特征表示将认知临场感和情感极性特征连接，并基于认知临场感与情感极性之间的关系矩阵对前述连接后的特征进行图卷积操作，得到面向认知临场感类别的情感极性表示，所述层次预测模块用于根据第一图卷积网络预测的多个认知临场感类别表示和第二图卷积网络预测的面向认知类别的情感极性表示确定各类认知临场感类别的概率和认知临场感类别对应的情感极性概率，将概率最大的认知临场感类别和情感极性作为最终输出结果。
9.根据权利要求8所述的系统，其特征在于，所述第一图卷积网络通过如下方式计算第l+1层的认知临场感类别表示节点Cl+1：其中，GELU表示非线性激活函数，/>和/>表示第l层的线性变换权重和偏置，Hc表示认知临场感类别的特征表示，是第一图卷积网络的初始值；Gc表示认知临场感类别之间关系矩阵；
所述第二图卷积网络将认知临场感类别与情感极性特征进行连接，形成第二图卷积网络第l层的输入节点表示Ql，其计算公式如下： 其中，Tanh表示双曲正切函数，Hs表示情感极性的特征表示，/>表示按位异或操作，/>和分别表示权重和偏置；对所述输入节点表示Ql进行图卷积操作，得到面向认知类别的情感特征表示S，其计算公式如下：
其中，/>表示第l层图卷积操作，max pooling表示池化操作，dense表示全连接层；ReLU表示非线性激活函数，/>表示第二图卷积网络的参数，Gc,s表示认知临场感与情感极性之间的关系矩阵。
10.一种电子设备，其特征在于，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行如权利要求1-7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310501237.7A CN116521872B (zh) | 2023-04-27 | 2023-04-27 | 一种认知和情感的联合识别方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310501237.7A CN116521872B (zh) | 2023-04-27 | 2023-04-27 | 一种认知和情感的联合识别方法、系统及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116521872A true CN116521872A (zh) | 2023-08-01 |
| CN116521872B CN116521872B (zh) | 2023-12-26 |
Family
ID=87402671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310501237.7A Active CN116521872B (zh) | 2023-04-27 | 2023-04-27 | 一种认知和情感的联合识别方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116521872B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117521813A (zh) * | 2023-11-20 | 2024-02-06 | 中诚华隆计算机技术有限公司 | 基于知识图谱的剧本生成方法、装置、设备及芯片 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622300A (zh) * | 2017-08-09 | 2018-01-23 | 北京光年无限科技有限公司 | 多模态虚拟机器人的认知决策方法和系统 |
| US20190259033A1 (en) * | 2015-06-20 | 2019-08-22 | Quantiply Corporation | System and method for using a data genome to identify suspicious financial transactions |
| CN111563164A (zh) * | 2020-05-07 | 2020-08-21 | 成都信息工程大学 | 一种基于图神经网络的特定目标情感分类方法 |
| CN113974627A (zh) * | 2021-10-26 | 2022-01-28 | 杭州电子科技大学 | 一种基于脑机生成对抗的情绪识别方法 |
| CN113987167A (zh) * | 2021-10-11 | 2022-01-28 | 山东师范大学 | 基于依赖感知图卷积网络的方面级情感分类方法及系统 |
| CN114239565A (zh) * | 2021-11-30 | 2022-03-25 | 华中师范大学 | 一种基于深度学习的情绪原因识别方法及系统 |
| CN114331123A (zh) * | 2021-12-28 | 2022-04-12 | 重庆邮电大学 | 一种融合认知迁移的教学评价情感分析方法 |
| CN114443844A (zh) * | 2022-01-18 | 2022-05-06 | 安徽大学 | 融合用户情感倾向的社交网络评论文本情感分析方法及系统 |
| US20230039900A1 (en) * | 2021-08-07 | 2023-02-09 | Fuzhou University | Method for realizing a multi-channel convolutional recurrent neural network eeg emotion recognition model using transfer learning |
| CN115796017A (zh) * | 2022-11-21 | 2023-03-14 | 湖南大学 | 一种基于模糊理论的可解释交通认知方法 |
| CN115905485A (zh) * | 2022-11-14 | 2023-04-04 | 复旦大学 | 基于常识自适应选择的共情对话方法及系统 |
-
2023
- 2023-04-27 CN CN202310501237.7A patent/CN116521872B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190259033A1 (en) * | 2015-06-20 | 2019-08-22 | Quantiply Corporation | System and method for using a data genome to identify suspicious financial transactions |
| CN107622300A (zh) * | 2017-08-09 | 2018-01-23 | 北京光年无限科技有限公司 | 多模态虚拟机器人的认知决策方法和系统 |
| CN111563164A (zh) * | 2020-05-07 | 2020-08-21 | 成都信息工程大学 | 一种基于图神经网络的特定目标情感分类方法 |
| US20230039900A1 (en) * | 2021-08-07 | 2023-02-09 | Fuzhou University | Method for realizing a multi-channel convolutional recurrent neural network eeg emotion recognition model using transfer learning |
| CN113987167A (zh) * | 2021-10-11 | 2022-01-28 | 山东师范大学 | 基于依赖感知图卷积网络的方面级情感分类方法及系统 |
| CN113974627A (zh) * | 2021-10-26 | 2022-01-28 | 杭州电子科技大学 | 一种基于脑机生成对抗的情绪识别方法 |
| CN114239565A (zh) * | 2021-11-30 | 2022-03-25 | 华中师范大学 | 一种基于深度学习的情绪原因识别方法及系统 |
| CN114331123A (zh) * | 2021-12-28 | 2022-04-12 | 重庆邮电大学 | 一种融合认知迁移的教学评价情感分析方法 |
| CN114443844A (zh) * | 2022-01-18 | 2022-05-06 | 安徽大学 | 融合用户情感倾向的社交网络评论文本情感分析方法及系统 |
| CN115905485A (zh) * | 2022-11-14 | 2023-04-04 | 复旦大学 | 基于常识自适应选择的共情对话方法及系统 |
| CN115796017A (zh) * | 2022-11-21 | 2023-03-14 | 湖南大学 | 一种基于模糊理论的可解释交通认知方法 |
Non-Patent Citations (2)
| Title |
|---|
| GAOCHANGYUAN等: "research on user experience evaluation system of information platform base on web environment", 《IEEE》, pages 558 - 562 * |
| 邓立明;魏晶晶;吴运兵;余小燕;廖祥文;: "基于知识图谱与循环注意力网络的视角级情感分析", 模式识别与人工智能, no. 06, pages 4 - 12 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117521813A (zh) * | 2023-11-20 | 2024-02-06 | 中诚华隆计算机技术有限公司 | 基于知识图谱的剧本生成方法、装置、设备及芯片 |
| CN117521813B (zh) * | 2023-11-20 | 2024-05-28 | 中诚华隆计算机技术有限公司 | 基于知识图谱的剧本生成方法、装置、设备及芯片 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116521872B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019153737A1 (zh) | 用于对评论进行评估的方法、装置、设备和存储介质 | |
| CN108376132B (zh) | 相似试题的判定方法及系统 | |
| KR102040400B1 (ko) | 머신러닝을 이용한 사용자 맞춤형 문제 제공 시스템 및 방법 | |
| CN110704576B (zh) | 一种基于文本的实体关系抽取方法及装置 | |
| CN112508334B (zh) | 融合认知特性及试题文本信息的个性化组卷方法及系统 | |
| CN108062388A (zh) | 人机对话的回复生成方法和装置 | |
| CN109214006B (zh) | 图像增强的层次化语义表示的自然语言推理方法 | |
| CN109726745B (zh) | 一种融入描述知识的基于目标的情感分类方法 | |
| CN112257966B (zh) | 模型处理方法、装置、电子设备及存储介质 | |
| CN109949637B (zh) | 一种客观题目的自动解答方法和装置 | |
| Rokade et al. | Automated grading system using natural language processing | |
| CN113722474A (zh) | 文本分类方法、装置、设备及存储介质 | |
| CN111460101A (zh) | 知识点类型的识别方法、装置及处理器 | |
| CN116521872B (zh) | 一种认知和情感的联合识别方法、系统及电子设备 | |
| CN114021722A (zh) | 一种融合认知刻画的注意力知识追踪方法 | |
| CN114254127A (zh) | 学生能力画像方法、学习资源推荐方法及装置 | |
| CN116258056A (zh) | 多模态知识水平评估与学习表现预测方法、系统及介质 | |
| CN110888989A (zh) | 一种智能学习平台及其构建方法 | |
| CN110852071B (zh) | 知识点检测方法、装置、设备及可读存储介质 | |
| Wang et al. | Utilizing artificial intelligence to support analyzing self-regulated learning: A preliminary mixed-methods evaluation from a human-centered perspective | |
| Terada et al. | Automatic generation of fill-in-the-blank programming problems | |
| CN111539207A (zh) | 文本识别方法、文本识别装置、存储介质和电子设备 | |
| Sharma et al. | Feature enhanced capsule networks for robust automatic essay scoring | |
| JP6913706B2 (ja) | 試験問題予測システム及び試験問題予測方法 | |
| Li | Emotion analysis method of teaching evaluation texts based on deep learning in big data environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |