CN112036146A - 一种评语生成方法、装置、终端设备及存储介质 - Google Patents
一种评语生成方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN112036146A CN112036146A CN202010866297.5A CN202010866297A CN112036146A CN 112036146 A CN112036146 A CN 112036146A CN 202010866297 A CN202010866297 A CN 202010866297A CN 112036146 A CN112036146 A CN 112036146A
- Authority
- CN
- China
- Prior art keywords
- comment
- comment text
- sample
- text
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 104
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 51
- 230000006870 function Effects 0.000 claims description 33
- 230000008451 emotion Effects 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000002787 reinforcement Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Abstract
本发明公开了一种评语生成方法、装置、终端设备及存储介质。方法包括：获取待处理点评项；将所述待处理点评项输入多任务学习模型中，得到与所述待处理点评项对应的评语文本和所述评语文本的检测结果，其中，所述检测结果包括：通顺或者不通顺，所述多任务学习模型根据样本点评项、样本评语文本和掩码处理后的样本评语文本训练得到；根据所述评语文本和所述评语文本的检测结果生成目标评语文本。利用该方法能够自动化地生成评语，并同时检验生成的评语的质量，对于不好的结果进行过滤，提升用户使用体验。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种评语生成方法、装置、终端设备及存储介质。
背景技术
评语生成是根据老师对学生在校表现情况的简单描述，自动生成学生评语。已有的方案包括：模板式评语和生成式评语。模板式评语是根据一定的规则构造特定的评语，生成式评语是根据已有数据由模型自动生成评语。生成式评语相对于模板式，得到的评语更加贴合学生实际，且更具多样性和个性化。
受限于数据的质量以及模型的能力，生成式评语得到的结果有时是不符合要求的，可能会得到一些不好的结果，如“你能快速整理书写端正，书写文明有礼，遵守纪律。”。像这样的结果，直接推送给家长，用户体验会非常差。所以在已有的方法中，模型生成评语后都需要老师做一遍检查，对有问题的结果进行修改或者删除。但是这样会增加很多人工检查的时间成本，没法做到评语生成的全自动化。
发明内容
本发明实施例提供了一种评语生成方法、装置、终端设备及存储介质，能够自动化地生成评语，并同时检验生成的评语的质量，对于不好的结果进行过滤，提升用户使用体验。
第一方面，本发明实施例提供了一种评语生成方法，包括：
获取待处理点评项；
将所述待处理点评项输入多任务学习模型中，得到与所述待处理点评项对应的评语文本和所述评语文本的检测结果，其中，所述检测结果包括：通顺或者不通顺，所述多任务学习模型根据样本点评项、样本评语文本和掩码处理后的样本评语文本训练得到；
根据所述评语文本和所述评语文本的检测结果生成目标评语文本。
进一步的，所述样本评语文本包括：第一样本评语文本和第二样本评语文本，所述第一样本评语文本为所述样本点评项对应的样本评语文本，所述第二样本评语文本包括：正样本评语文本和负样本评语文本，所述正样本评语文本携带通顺标签，所述负样本评语文本携带不通顺标签；
所述多任务学习模型的训练方法，包括：
获取样本点评项、第一样本评语文本、掩码处理后的第一样本评语文本和第二样本评语文本；
将所述样本点评项和掩码处理后的第一样本评语文本输入至待训练的多任务学习模型中，得到预测评语文本；
将所述第二样本评语文本输入待训练的多任务学习模型中，得到预测检测结果；
根据所述样本评语文本和所述预测评语文本形成的第一目标函数和根据所述预测检测结果和所述样本评语文本携带的标签形成的第二目标函数训练所述待训练的多任务学习模型的模型结构和模型参数；
返回执行将所述样本点评项和掩码处理后的第一样本评语文本输入至待训练的多任务学习模型中，得到预测评语文本，将所述第二样本评语文本输入待训练的多任务学习模型中，得到预测检测结果的操作，直至得到多任务学习模型。
进一步的，获取掩码处理后的第一样本评语文本，包括：
对所述第一样本评语文本进行分词处理；
对分词处理后的第一样本评语文本中的至少一个词进行掩码处理，得到掩码处理后的第一样本评语文本。
进一步的，获取负样本评语文本包括：
删除所述第一样本评语文本中的至少一个词和/或短语得到负样本评语文本；
和/或，
复制所述第一样本评语文本中的至少一个词和/或短语得到负样本评语文本。
进一步的，还包括：
获取所述检测结果的置信度；
若所述检测结果为通顺，且置信度小于设定置信度阈值，则将所述检测结果修改为不通顺。
进一步的，根据所述评语文本和所述评语文本的检测结果生成目标评语文本包括：
若所述检测结果为通顺，则所述目标评语文本和所述评语文本相同；
若所述检测结果为不通顺，则对所述评语文本进行调整得到目标评语文本。
进一步的，获取待处理点评项包括：
获取至少两个点评项；
对所述至少两个点评项进行分类处理；
将同一类点评项作为待处理点评项。
进一步的，还包括：
根据预设规则对至少两个评语文本进行拼接，其中，所述至少两个评语文本是根据至少两类点评项训练得到的评语文本，所述预设规则包括如下至少一种：舍弃长度小于第一长度阈值的评语文本；若当前评语文本和前一评语文本的长度小于第二长度阈值，则删除当前评语文本的主语，合并删除主语后的当前评语文本和前一评语文本；使用正则表达式过滤评语文本；识别评语文本的情感方向，将所述情感方向为偏正向的评语文本设置于所述情感方向为偏负向的评语文本之前。
第二方面，本发明实施例还提供了一种评语生成装置，包括：
获取模块，用于获取待处理点评项；
训练模块，用于将所述待处理点评项输入多任务学习模型中，得到与所述待处理点评项对应的评语文本和所述评语文本的检测结果，其中，所述检测结果包括：通顺或者不通顺，所述多任务学习模型根据样本点评项、样本评语文本和掩码处理后的样本评语文本训练得到；
生成模块，用于根据所述评语文本和所述评语文本的检测结果生成目标评语文本。
进一步的，所述样本评语文本包括：第一样本评语文本和第二样本评语文本，所述第一样本评语文本为所述样本点评项对应的样本评语文本，所述第二样本评语文本包括：正样本评语文本和负样本评语文本，所述正样本评语文本携带通顺标签，所述负样本评语文本携带不通顺标签；
训练模块具体用于：
获取样本点评项、第一样本评语文本、掩码处理后的第一样本评语文本和第二样本评语文本；
将所述样本点评项和掩码处理后的第一样本评语文本输入至待训练的多任务学习模型中，得到预测评语文本；
将所述第二样本评语文本输入待训练的多任务学习模型中，得到预测检测结果；
根据所述样本评语文本和所述预测评语文本形成的第一目标函数和根据所述预测检测结果和所述样本评语文本携带的标签形成的第二目标函数训练所述待训练的多任务学习模型的模型结构和模型参数；
返回执行将所述样本点评项和掩码处理后的第一样本评语文本输入至待训练的多任务学习模型中，得到预测评语文本，将所述第二样本评语文本输入待训练的多任务学习模型中，得到预测检测结果的操作，直至得到多任务学习模型。
进一步的，训练模块具体用于：
对所述第一样本评语文本进行分词处理；
对分词处理后的第一样本评语文本中的至少一个词进行掩码处理，得到掩码处理后的第一样本评语文本。
进一步的，训练模块具体用于：
删除所述第一样本评语文本中的至少一个词和/或短语得到负样本评语文本；
和/或，
复制所述第一样本评语文本中的至少一个词和/或短语得到负样本评语文本。
进一步的，训练模块具体用于：
获取所述检测结果的置信度；
若所述检测结果为通顺，且置信度小于设定置信度阈值，则将所述检测结果修改为不通顺。
进一步的，生成模块具体用于：
若所述检测结果为通顺，则所述目标评语文本和所述评语文本相同；
若所述检测结果为不通顺，则对所述评语文本进行调整得到目标评语文本。
进一步的，获取模块具体用于：
获取至少两个点评项；
对所述至少两个点评项进行分类处理；
将同一类点评项作为待处理点评项。
进一步的，还包括：
拼接模块，用于根据预设规则对至少两个评语文本进行拼接，其中，所述至少两个评语文本是根据至少两类点评项训练得到的评语文本，所述预设规则包括如下至少一种：舍弃长度小于第一长度阈值的评语文本；若当前评语文本和前一评语文本的长度小于第二长度阈值，则删除当前评语文本的主语，合并删除主语后的当前评语文本和前一评语文本；使用正则表达式过滤评语文本；识别评语文本的情感方向，将所述情感方向为偏正向的评语文本设置于所述情感方向为偏负向的评语文本之前。
第三方面，本发明实施例还提供了一种终端设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的评语生成方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的评语生成方法。
本发明实施例提供了一种评语生成方法、装置、终端设备及存储介质，获取待处理点评项；将所述待处理点评项输入多任务学习模型中，得到与所述待处理点评项对应的评语文本和所述评语文本的检测结果，其中，所述检测结果包括：通顺或者不通顺，所述多任务学习模型根据样本点评项、样本评语文本和掩码处理后的样本评语文本训练得到；根据所述评语文本和所述评语文本的检测结果生成目标评语文本。利用上述技术方案，能够自动化地生成评语，并同时检验生成的评语的质量，对于不好的结果进行过滤，避免传递到家长端，给家长带来不好的体验。整个过程完全自动化，不需要人工参与，可以最大化地降低教师的工作负担。
附图说明
图1为本发明实施例一提供的一种评语生成方法的流程示意图；
图1a为本发明实施例一提供的多任务学习模型预测阶示意图；
图1b为本发明实施例一提供的多任务学习模型的效果图；
图1c为本发明实施例一提供的多任务学习模型的训练示意图；
图2为本发明实施例二提供的一种评语生成装置的结构示意图；
图3为本发明实施例三提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
需要注意，本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分，并非用于限定顺序或者相互依存关系。
实施例一
图1为本发明实施例一提供的一种评语生成方法的流程示意图，该方法可适用于评语生成的情况，该方法可以由评语生成装置来执行，其中该评语生成装置可由软件和/或硬件实现，并一般集成在终端设备上，在本实施例中终端设备包括但不限于：电脑。
如图1所示，本发明实施例一提供的一种评语生成方法，包括如下步骤：
S110、获取待处理点评项；
其中，所述待处理点评项包括至少一个点评项。
具体的，获取待处理点评项的方式可以为预先获取同一学生的多个点评项，然后对点评项进行分类，获取其中一类点评项作为待处理点评项；还可以为预先获取一个班级的学生的点评项，点评项中携带标识，根据标识对点评项进行划分，得到针对同一学生的点评项，再对同一学生的点评项进分类，选取任一类点评项作为待处理点评项；还可以为直接获取同一学生的一类点评项作为待处理点评项，本发明实施例对此不进行限制。
S120、将所述待处理点评项输入多任务学习模型中，得到与所述待处理点评项对应的评语文本和所述评语文本的检测结果，其中，所述检测结果包括：通顺或者不通顺，所述多任务学习模型根据样本点评项、样本评语文本和掩码处理后的样本评语文本训练得到。
其中，所述样本点评项为一个集合，包括多个点评项。
其中，所述样本评语文本包括第一样本评语文本和第二样本评语文本，对第一样本评语文本进行掩码处理，得到掩码处理后的样本评语文本，第二样本评语文本包括正样本评语文本和负样本评语文本，所述正样本评语文本携带通顺标签，所述负样本评语文本携带不通顺标签。
具体的，所述多任务学习模型可以为多任务模型，还可以包括评语生成子模型和检测子模型。若所述多任务学习模型为多任务模型，则获取样本点评项、第一样本评语文本、掩码处理后的第一样本评语文本和第二样本评语文本；将样本点评项和掩码处理后的第一样本评语文本输入至待训练的多任务学习模型中，得到预测评语文本；将第二样本评语文本输入待训练的多任务学习模型中，得到预测检测结果；根据样本评语文本和预测评语文本形成的第一目标函数和根据预测检测结果和样本评语文本携带的标签形成的第二目标函数训练所述待训练的多任务学习模型的模型结构和模型参数；返回执行将样本点评项和掩码处理后的第一样本评语文本输入至待训练的多任务学习模型中，得到预测评语文本，将第二样本评语文本输入待训练的多任务学习模型中，得到预测检测结果的操作，直至得到多任务学习模型。若所述多任务学习模型包括评语生成子模型和检测子模型，则获取样本点评项、第一样本评语文本和掩码处理后的第一样本评语文本；将样本点评项和掩码处理后的第一样本评语文本输入至待训练的评语生成子模型中，得到预测评语文本；根据样本评语文本和预测评语文本形成的第一目标函数训练所述待训练的多任务学习模型的模型结构和模型参数；返回执行将样本点评项和掩码处理后的第一样本评语文本输入至待训练的评语生成模型中，得到预测评语文本的操作，直至得到评语生成子模型。获取第二样本评语文本，将第二样本评语文本输入待训练的检测子模型中，得到预测检测结果，根据所述预测检测结果和所述样本评语文本携带的标签形成的第二目标函数训练所述待训练的检测子模型的模型结构和模型参数；返回执行将所述第二样本评语文本输入待训练的检测子模型中，得到预测检测结果的操作，直至得到检测子模型。
具体的，将评语生成与评语结果验证结合为一体，一方面是可以简化流程，通过多任务学习模型可以解决两个任务，不需要设计两种模型；另一方面是可以减少算力消耗和训练时间，数据量的增大会使得计算成本和时间成本成倍增加，所以本发明实施例提出的方案可以在大数据量的情况下有效降低成本。
具体的，训练阶段，将学生点评项及对应的评语文本做掩码处理后作为模型的输入，使用多任务学习模型学习一个生成器，同时将学生点评项及评语文本作为模型的输入，使用多任务学习模型学习一个识别器，生成器和识别器同时输入模型中进行联合训练；预测阶段，先使用生成器得到评语结果，然后将该结果作为识别器的输入，判定是否通顺。通过上述方式，能够让模型同时具备生成能力和识别能力，生成评语结果的同时将不好的结果过滤掉，从而保证生成结果的有效性。
S130、根据所述评语文本和所述评语文本的检测结果生成目标评语文本。
具体的，所述评语文本和评语文本的检测结果生成目标评语文本的方式可以为，若评语文本的检测结果为通顺，则将评语文本作为目标评语文本；若评语文本的检测结果为不通顺，则将评语文本的顺序进行调整，并将调整通顺后的评语文本作为目标评语文本；若评语文本的检测结果为通顺，且检测结果的置信度小于设定置信度阈值，则确定评语文本不通顺，将评语文本的顺序进行调整，并将调整顺序后的评语文本作为目标评语文本；若评语文本的检测结果为通顺，且检测结果的置信度大于或者等于置信度阈值，则确定评语文本通顺，则将评语文本作为目标评语文本，本发明实施例对此不进行限制。
在一个具体的例子中，如图1a所示，预测阶段中，因为识别器的输入依赖于生成器的输出，所以预测阶段转换为串行执行，首先，输入学生点评项，使用生成器得到对应的评语文本；其次，将学生点评项与生成的评语文本联合作为识别器的输入，识别器判断生成结果是否通顺，如果不通顺，即舍弃该部分结果；如果识别为通顺，则进行下一步。
在评语生成的实际应用场景中，将生成的效果差的评语文本提供给老师，影响老师的使用体验。因此，本发明实施例中不仅根据识别器的结果判断生成的评语句子是否通顺，同时会根据检测结果的置信度来做进一步的过滤。当某个评语文本被评为通顺但相应的置信度小于0.9(该值不是绝对，根据实际数据效果决定)，说明模型对该结果把握不大，本发明实施例同样认为该评语文本不通顺。
在一个实施例中，所述样本评语文本包括：第一样本评语文本和第二样本评语文本，所述第一样本评语文本为所述样本点评项对应的样本评语文本，所述第二样本评语文本包括：正样本评语文本和负样本评语文本，所述正样本评语文本携带通顺标签，所述负样本评语文本携带不通顺标签；
所述多任务学习模型的训练方法，包括：
获取样本点评项、第一样本评语文本、掩码处理后的第一样本评语文本和第二样本评语文本；
将所述样本点评项和掩码处理后的第一样本评语文本输入至待训练的多任务学习模型中，得到预测评语文本；
将所述第二样本评语文本输入待训练的多任务学习模型中，得到预测检测结果；
根据所述样本评语文本和所述预测评语文本形成的第一目标函数和根据所述预测检测结果和所述样本评语文本携带的标签形成的第二目标函数训练所述待训练的多任务学习模型的模型结构和模型参数；
返回执行将所述样本点评项和掩码处理后的第一样本评语文本输入至待训练的多任务学习模型中，得到预测评语文本，将所述第二样本评语文本输入待训练的多任务学习模型中，得到预测检测结果的操作，直至得到多任务学习模型。
其中，所述第一目标函数为损失函数，所述第一目标函数可以为：
其中，C为点评项，yt∈Mask为被掩码处理掩盖的字符，y1为评语文本的第一个字符，yt-1为t时刻前一时刻的字符。
具体的，将样本点评项和掩码处理后的第一样本评语文本输入基于强化学习的unilm模型，得到预测评语文本，根据预测评语文本和第一样本评语文本形成第一目标函数，例如可以是，[SOS]积极思考、主动学习、上课积极、回答问题、注意力集中、上课认真[SEP]该生在学习上[MASK][MASK]主动，上课表现[MASK][MASK]，回答[MASK][MASK]也很积极。[EOS]，其中[SOS]与[SEP]之间的部分为样本点评项，[SEP]与[EOS]之间的部分为掩码处理后的第一样本评语文本，[MASK]部分为掩码处理掩盖的字符。
其中，所述掩码处理后的第一样本评语文本的获取方式可以为对第一样本评语进行分词处理，然后对任意分词进行掩码处理，得到掩码处理后的第一样本评语文本；也可以为对第一样本评语进行分词处理，然后对多个分词进行掩码处理，得到掩码处理后的第一样本评语文本，本发明实施例对此不进行限制。
其中，所述正样本评语文本可以和所述第一样本评语文本相同，为预先获取的通顺的评语文本，也可以为预先使用评语生成子模型生成的一批评语文本，对评语文本进行人工校对后得到的通顺的正样本评语文本，本发明实施例对此不进行限制。
其中，所述负样本评语文本的生成方式，可以为将正样本评语文本中的部分词或者短语随机删除得到的，还可以为将正样本评语文本中的部分词或者短语随机复制得到的，或者可以为预先使用评语生成子模型生成的一批评语文本，对评语文本进行人工校对后得到的不通顺的负样本评语文本，本发明实施例对此不进行限制。
其中，所述第二目标函数为损失函数，所述第二目标函数可以为：
其中，s为输入的评语文本，还可以包括点评项；
为评语文本携带的标签(通顺或者不通顺)，
取值为0或1，0表示句子不通顺，1表示句子通顺，ys为模型的预测结果(通顺或者不通顺)。例如可以是，[SOS]积极思考、主动学习、上课积极、回答问题、注意力集中、上课认真[SEP]该生在学习上积极主动，上课表现认真，回答问题也很积极。[EOS]，该评语文本通顺符合要求，此时
[SOS]积极思考、主动学习、上课积极、回答问题、注意力集中、上课认真[SEP]该生在学习上，上课表现认真认真，回答问题积极。[EOS]“，该评语文本逻辑不通，存在重复描述，此时
其中，所述根据所述样本评语文本和所述预测评语文本形成的第一目标函数和根据所述预测检测结果和所述样本评语文本携带的标签形成的第二目标函数训练所述待训练的多任务学习模型的模型结构和模型参数的实现方式可以为：将样本点评项和掩码处理后的第一样本评语文本输入unilm模型，损失函数为LM，将样本点评项和第二样本评语文本输入经过unilm模型，损失函数为LD，多任务学习模型的损失函数通过如下公式计算：L＝λLM+(1-λ)LD。其中λ可以自己根据经验设定，也可以作为一个可训练参数，让模型自主学习。在本发明中，设定λ＝0.5。还可以为了提升模型对于实际评语结果的拟合能力，引入了强化学习的方法，设计了一种新的损失计算方法，对贴近于目标评语结果的生成结果进行奖励，公式如下：
其中
表示在时刻t，对当前词的预测结果按概率采样作为该时刻的预测值，
表示在时刻t，对当前词的预测结果取概率最大的值作为该时刻的预测值。r(ys)表示按概率采样得到的预测序列与目标评语文本计算ROUGE值(评价指标值)，r(ym)表示对每个时刻取概率最大的值得到的预测序列与目标评语文本计算ROUGE值。当r(ys)小于等于r(ym)时，最大化按概率最大值获取预测评语文本的似然估计，当r(ys)大于r(ym)时，最大化按概率采样获取预测评语文本的似然估计。该方法能够对掩码处理后的样本评语文本经过生成模型后，生成结果更趋近于目标评语文本的过程进行奖励，让模型进行学习，一方面可以提升模型对于目标评语文本的拟合能力，另一方面，由于引入了概率采样方法，可以提升模型生成结果的多样性。
多任务学习模型的损失函数通过如下公式计算：L＝λ(LM+LRL)+(1-λ)LD。
需要说明的是，当前的文本生成算法，训练阶段与预测阶段所使用的评价指标不一样，训练阶段一般使用最大似然估计计算损失，预测阶段一般使用BLEU/ROUGE等做评价指标，因此造成了训练与预测阶段的偏差，导致生成效果不理想。为了解决这个问题，本发明实施例引入了强化学习的思想，设计了一个新的损失函数LRL，根据预测评语文本和目标评语文本计算ROUGE值，以此作为奖励反馈到模型中，提升模型对于目标评语文本的拟合能力。
具体的，“将所述样本点评项和掩码处理后的第一样本评语文本输入至待训练的多任务学习模型中，得到预测评语文本”这一步骤和“将所述第二样本评语文本输入待训练的多任务学习模型中，得到预测检测结果”这一步骤是同时发生的，并不存在先后顺序，通过上述方式能够同时进行训练，进而节省训练时间。
在一个实施例中，获取掩码处理后的第一样本评语文本，包括：
对所述第一样本评语文本进行分词处理；
对分词处理后的第一样本评语文本中的至少一个词进行掩码处理，得到掩码处理后的第一样本评语文本。
具体的，预先对样本评语文本进行分词处理，在进行分词处理后，将分词处理后的第一样本评语文本中的至少一个词进行掩码处理，得到掩码处理后的第一样本评语文本，例如可以是，样本评语文本为：该生在学习上积极主动，上课表现认真，回答问题也很积极。对其进行分词处理后，进行掩码处理，得到：该生在学习上[MASK][MASK]主动，上课表现[MASK][MASK]，回答[MASK][MASK]也很积极。其中，[MASK]表示掩码处理掩盖的字符。
在一个实施例中，获取负样本评语文本包括：
删除所述第一样本评语文本中的至少一个词和/或短语得到负样本评语文本；
和/或，
复制所述第一样本评语文本中的至少一个词和/或短语得到负样本评语文本。
具体的，还可以为删除正样本评语文本中的至少一个词和/或短语得到负样本评语文本，或者，复制正样本评语文本中的至少一个词和/或短语得到负样本评语文本。
例如可以是，第一样本评语文本为：该生在学习上积极主动，上课表现认真，回答问题也很积极；将学习删除，得到负样本评语文本：该生在上积极主动，上课表现认真，回答问题也很积极；或者，将表现复制，得到负样本评语文本：生在学习上积极主动，上课表现表现认真，回答问题也很积极。
在一个实施例中，还包括：
获取所述检测结果的置信度；
若所述检测结果为通顺，且置信度小于设定置信度阈值，则将所述检测结果修改为不通顺。
其中，所述设定置信度阈值可以根据需要进行设定，例如可以是，所述设定置信度阈值设置为0.9。
具体的，在获取到检测结果时，获取检测结果的置信度，若所述检测结果的置信度较低，则将所述检测结果修改为不通顺。
在一个实施例中，根据所述评语文本和所述评语文本的检测结果生成目标评语文本包括：
若所述检测结果为通顺，则所述目标评语文本和所述评语文本相同；
若所述检测结果为不通顺，则对所述评语文本进行调整得到目标评语文本。
其中，对所述评语文本进调整的方式可以为使用正则表达式过滤评语文本；也可以为对所述评语文本进行分析，得到容易造成不通顺的目标词，将所述目标词进行替换；或者可以为对评语文本进词性分析，根据句子的组成基本的词性顺序，对评语文本进行调整，本发明实施例对此不进行限制。
在一个实施例中，获取待处理点评项包括：
获取至少两个点评项；
对所述至少两个点评项进行分类处理；
将同一类点评项作为待处理点评项。
具体的，至少两个点评项可以为同一学生的至少两个点评项，对至少两个点评项进分类处理，然后将同一类点评项作为待处理点评项。
在一个实施例中，还包括：
根据预设规则对至少两个评语文本进行拼接，其中，所述至少两个评语文本是根据至少两类点评项训练得到的评语文本，所述预设规则包括如下至少一种：舍弃长度小于第一长度阈值的评语文本；若当前评语文本和前一评语文本的长度小于第二长度阈值，则删除当前评语文本的主语，合并删除主语后的当前评语文本和前一评语文本；使用正则表达式过滤评语文本；识别评语文本的情感方向，将所述情感方向为偏正向的评语文本设置于所述情感方向为偏负向的评语文本之前。
其中，所述至少两个评语文本是根据至少两类点评项训练得到的评语文本，，例如可以是，获取同一学生多个点评项，对点评项进行分类得到：A类点评项和B类点评项，将A类点评项输入多任务学习模型，得到A类点评项对应的评语文本，将B类点评项输入多任务学习模型，得到B类点评项对应的评语文本。
具体的，一个学生会生成多个评语文本，若前后两个评语文本长度较短(10个字以下)，则删除后一评语文本的主语，合并这两个评语文本；使用正则表达式过滤掉一些异常情况(如三字以上的叠字“开心心心”等)；获取评语文本对应的情感方向(比如偏正向或者偏负向)，先使用正向评语文本对学生的表现进行描述，如果存在负向评语，则使用负向评语文本描述学生表现不太好的地方，提醒学生改进。
在一个具体的例子中，添加强化学习方法后的对比效果如下表1所示：
表1
其中，unilm表示原始的unilm模型，unilm+RL表示基于强化学习的unilm模型，即本发明实施例中使用的模型。Rouge-1为常用的评价文本生成模型效果的评价指标，其中p,r,f分别表示准确率，召回率以及综合两者的F值。实验结果表明，本发明提出的方法对于生成结果的准确率有3.47％的提升，在F值方面也提升了0.9％。因此，本发明实施例提出的基于强化学习的unilm模型，对于生成结果有更强的拟合能力。
如图1b所示为多任务学习模型的效果图，第一列是学生点评项，第二列是多任务学习模型中的生成器生成的评语结果，第三列为识别器评判句子是否通顺的结果，第四列为识别器评判是否通顺的置信度，如第一行表示评语生成结果通顺的置信度为0.969。前三个例子通过了识别器的评判，因此会在最终的评语结果中显示；第4-6个例子都存在一定的问题，本发明的识别器能够捕捉到异常，因此将其判定为不通顺；最后两个例子虽然识别器误判为通顺，但是置信度都低于0.9，通过置信度过滤可以将其修正为不通顺。
使用多任务学习模型对评语句子进行预测的结果如表2所示：
使用多任务学习模型对1000个评语句子进行预测，在不经过识别器的前提下，对生成的结果进行人工验证，最终得到通顺句子835个，不通顺句子165个，则查准率为P＝835/1000＝83.5％.经过识别器预测后，得到的结果如表2所示：
表2
本发明实施例的目标是把不通顺的评语句子过滤掉，不呈现给家长。因此，需要让查准率越高越好，则在所有预测为正例中，实际正例的比例尽可能高。该识别器的查准率为P＝796/872＝91.28％，相比较于没有识别器的结果，查准率提升了7.78％。
具体的，使用多任务学习模型对评语句子进行预测且增加置信度过滤后的结果如表3所示：
表3
当使用多任务学习模型进行预测且增加置信度过滤后，查准率可以达到94.82％，大部分生成结果不好的评语句子都能被过滤掉。
在另一具体的例子中，如表4所示：
表4
老师在某段时间内给学生的点评项为“测试全对、学校获奖、注意力集中、考试优秀、数学课堂作业满分、上课表现突出、到校认真早读、遵守纪律、午睡静悄悄、身心健康、积极参加学校活动”，如表4第一列所示，第二列为将点评项输入模型后得到的评语文本，第三四列为对评语文本的检测结果及相应的置信度。可以看到，第一句中的“数学作业获奖”跟点评项相比，在逻辑上是行不通的，通过本发明的方案可以将其过滤掉。
同时对上述结果进行后处理后，得到的一段学生评语文本如下：“该生上课表现突出，遵守纪律。午睡时，你总是静悄悄地。同时你积极参加学校组织的各项运动。”
如图1c所示，将样本点评项和掩码处理后的第一样本评语文本输入unilm模型，得到预测样本评语文本，根据预测样本评语文本和第一样本评语文本形成生成器损失函数，将样本点评项和第二样本评语文本输入unilm模型，得到预测检测结果，根据所述预测检测结果和所述第二样本评语文本携带的标签形成识别器损失函数，其中，所述第二样本评语文本包括正样本评语文本和负样本评语文本。
本发明通过获取待处理点评项；将所述待处理点评项输入多任务学习模型中，得到与所述待处理点评项对应的评语文本和所述评语文本的检测结果，其中，所述检测结果包括：通顺或者不通顺，所述多任务学习模型根据样本点评项、样本评语文本和掩码处理后的样本评语文本训练得到；根据所述评语文本和所述评语文本的检测结果生成目标评语文本，能够自动化地生成评语，并同时检验生成的评语的质量，对于不好的结果进行过滤，避免传递到家长端，给家长带来不好的体验。整个过程完全自动化，不需要人工参与，可以最大化地降低教师的工作负担。
实施例二
图2为本发明实施例二提供的一种评语生成装置的结构示意图，该装置可适用于评语生成的情况，其中该评语生成装置可由软件和/或硬件实现，并一般集成在终端设备上。
如图2所示，该装置包括：获取模块21、训练模块22和生成模块23。
其中，获取模块21，用于获取待处理点评项；
训练模块22，用于将所述待处理点评项输入多任务学习模型中，得到与所述待处理点评项对应的评语文本和所述评语文本的检测结果，其中，所述检测结果包括：通顺或者不通顺，所述多任务学习模型根据样本点评项、样本评语文本和掩码处理后的样本评语文本训练得到；
生成模块23，用于根据所述评语文本和所述评语文本的检测结果生成目标评语文本。
可选的，所述样本评语文本包括：第一样本评语文本和第二样本评语文本，所述第一样本评语文本为所述样本点评项对应的样本评语文本，所述第二样本评语文本包括：正样本评语文本和负样本评语文本，所述正样本评语文本携带通顺标签，所述负样本评语文本携带不通顺标签；
训练模块22具体用于：
获取样本点评项、第一样本评语文本、掩码处理后的第一样本评语文本和第二样本评语文本；
将所述样本点评项和掩码处理后的第一样本评语文本输入至待训练的多任务学习模型中，得到预测评语文本；
将所述第二样本评语文本输入待训练的多任务学习模型中，得到预测检测结果；
根据所述样本评语文本和所述预测评语文本形成的第一目标函数和根据所述预测检测结果和所述样本评语文本携带的标签形成的第二目标函数训练所述待训练的多任务学习模型的模型结构和模型参数；
返回执行将所述样本点评项和掩码处理后的第一样本评语文本输入至待训练的多任务学习模型中，得到预测评语文本，将所述第二样本评语文本输入待训练的多任务学习模型中，得到预测检测结果的操作，直至得到多任务学习模型。
可选的，训练模块22具体用于：
对所述第一样本评语文本进行分词处理；
对分词处理后的第一样本评语文本中的至少一个词进行掩码处理，得到掩码处理后的第一样本评语文本。
可选的，训练模块22具体用于：
删除所述第一样本评语文本中的至少一个词和/或短语得到负样本评语文本；
和/或，
复制所述第一样本评语文本中的至少一个词和/或短语得到负样本评语文本。
可选的，训练模块22具体用于：
获取所述检测结果的置信度；
若所述检测结果为通顺，且置信度小于设定置信度阈值，则将所述检测结果修改为不通顺。
可选的，生成模块23具体用于：
若所述检测结果为通顺，则所述目标评语文本和所述评语文本相同；
若所述检测结果为不通顺，则对所述评语文本进行调整得到目标评语文本。
可选的，获取模块21具体用于：
获取至少两个点评项；
对所述至少两个点评项进行分类处理；
将同一类点评项作为待处理点评项。
可选的，还包括：
拼接模块，用于根据预设规则对至少两个评语文本进行拼接，其中，所述至少两个评语文本是根据至少两类点评项训练得到的评语文本，所述预设规则包括如下至少一种：舍弃长度小于第一长度阈值的评语文本；若当前评语文本和前一评语文本的长度小于第二长度阈值，则删除当前评语文本的主语，合并删除主语后的当前评语文本和前一评语文本；使用正则表达式过滤评语文本；识别评语文本的情感方向，将所述情感方向为偏正向的评语文本设置于所述情感方向为偏负向的评语文本之前。
上述评语生成装置可执行本发明任意实施例所提供的评语生成方法，具备执行方法相应的功能模块和有益效果。
实施例三
图3为本发明实施例三提供的一种终端设备的结构示意图。如图3所示，本发明实施例三提供的终端设备包括：一个或多个处理器31和存储装置32；该终端设备中的处理器31可以是一个或多个，图3中以一个处理器31为例；存储装置32用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器31执行，使得所述一个或多个处理器31实现如本发明实施例中任一项所述的评语生成方法。
所述终端设备还可以包括：输入装置33和输出装置34。
终端设备中的处理器31、存储装置32、输入装置33和输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。
该终端设备中的存储装置32作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一所提供评语生成方法对应的程序指令/模块(例如，附图2所示的评语生成装置中的模块，包括：获取模块21、训练模块22和生成模块23)。处理器31通过运行存储在存储装置32中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述方法实施例中评语生成方法。
存储装置32可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储装置32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置33可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。
并且，当上述终端设备所包括一个或者多个程序被所述一个或者多个处理器31执行时，程序进行如下操作：
获取待处理点评项；
将所述待处理点评项输入多任务学习模型中，得到与所述待处理点评项对应的评语文本和所述评语文本的检测结果，其中，所述检测结果包括：通顺或者不通顺，所述多任务学习模型根据样本点评项、样本评语文本和掩码处理后的样本评语文本训练得到；
根据所述评语文本和所述评语文本的检测结果生成目标评语文本。
实施例四
本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行评语生成方法，该方法包括：
获取待处理点评项；
将所述待处理点评项输入多任务学习模型中，得到与所述待处理点评项对应的评语文本和所述评语文本的检测结果，其中，所述检测结果包括：通顺或者不通顺，所述多任务学习模型根据样本点评项、样本评语文本和掩码处理后的样本评语文本训练得到；
根据所述评语文本和所述评语文本的检测结果生成目标评语文本。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的评语生成方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如python，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种评语生成方法，其特征在于，包括：
获取待处理点评项；
将所述待处理点评项输入多任务学习模型中，得到与所述待处理点评项对应的评语文本和所述评语文本的检测结果，其中，所述检测结果包括：通顺或者不通顺，所述多任务学习模型根据样本点评项、样本评语文本和掩码处理后的样本评语文本训练得到；
根据所述评语文本和所述评语文本的检测结果生成目标评语文本。
2.根据权利要求1所述的方法，其特征在于，所述样本评语文本包括：第一样本评语文本和第二样本评语文本，所述第一样本评语文本为所述样本点评项对应的样本评语文本，所述第二样本评语文本包括：正样本评语文本和负样本评语文本，所述正样本评语文本携带通顺标签，所述负样本评语文本携带不通顺标签；
所述多任务学习模型的训练方法，包括：
获取样本点评项、第一样本评语文本、掩码处理后的第一样本评语文本和第二样本评语文本；
将所述样本点评项和掩码处理后的第一样本评语文本输入至待训练的多任务学习模型中，得到预测评语文本；
将所述第二样本评语文本输入待训练的多任务学习模型中，得到预测检测结果；
根据所述样本评语文本和所述预测评语文本形成的第一目标函数和根据所述预测检测结果和所述样本评语文本携带的标签形成的第二目标函数训练所述待训练的多任务学习模型的模型结构和模型参数；
返回执行将所述样本点评项和掩码处理后的第一样本评语文本输入至待训练的多任务学习模型中，得到预测评语文本，将所述第二样本评语文本输入待训练的多任务学习模型中，得到预测检测结果的操作，直至得到多任务学习模型。
3.根据权利要求2所述的方法，其特征在于，获取掩码处理后的第一样本评语文本，包括：
对所述第一样本评语文本进行分词处理；
对分词处理后的第一样本评语文本中的至少一个词进行掩码处理，得到掩码处理后的第一样本评语文本。
4.根据权利要求2所述的方法，其特征在于，获取负样本评语文本包括：
删除所述第一样本评语文本中的至少一个词和/或短语得到负样本评语文本；
和/或，
复制所述第一样本评语文本中的至少一个词和/或短语得到负样本评语文本。
5.根据权利要求1所述的方法，其特征在于，还包括：
获取所述检测结果的置信度；
若所述检测结果为通顺，且置信度小于设定置信度阈值，则将所述检测结果修改为不通顺。
6.根据权利要求5所述的方法，其特征在于，根据所述评语文本和所述评语文本的检测结果生成目标评语文本包括：
若所述检测结果为通顺，则所述目标评语文本和所述评语文本相同；
若所述检测结果为不通顺，则对所述评语文本进行调整得到目标评语文本。
7.根据权利要求1所述的方法，其特征在于，获取待处理点评项包括：
获取至少两个点评项；
对所述至少两个点评项进行分类处理；
将同一类点评项作为待处理点评项。
8.根据权利要求7所述的方法，其特征在于，还包括：
根据预设规则对至少两个评语文本进行拼接，其中，所述至少两个评语文本是根据至少两类点评项训练得到的评语文本，所述预设规则包括如下至少一种：舍弃长度小于第一长度阈值的评语文本；若当前评语文本和前一评语文本的长度小于第二长度阈值，则删除当前评语文本的主语，合并删除主语后的当前评语文本和前一评语文本；使用正则表达式过滤评语文本；识别评语文本的情感方向，将所述情感方向为偏正向的评语文本设置于所述情感方向为偏负向的评语文本之前。
9.一种评语生成装置，其特征在于，包括：
获取模块，用于获取待处理点评项；
训练模块，用于将所述待处理点评项输入多任务学习模型中，得到与所述待处理点评项对应的评语文本和所述评语文本的检测结果，其中，所述检测结果包括：通顺或者不通顺，所述多任务学习模型根据样本点评项、样本评语文本和掩码处理后的样本评语文本训练得到；
生成模块，用于根据所述评语文本和所述评语文本的检测结果生成目标评语文本。
10.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010866297.5A CN112036146A (zh) | 2020-08-25 | 2020-08-25 | 一种评语生成方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010866297.5A CN112036146A (zh) | 2020-08-25 | 2020-08-25 | 一种评语生成方法、装置、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112036146A true CN112036146A (zh) | 2020-12-04 |
Family
ID=73580811
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010866297.5A Pending CN112036146A (zh) | 2020-08-25 | 2020-08-25 | 一种评语生成方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036146A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560443A (zh) * | 2020-12-29 | 2021-03-26 | 平安银行股份有限公司 | 选择题生成模型训练方法、选择题生成方法、设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108255857A (zh) * | 2016-12-29 | 2018-07-06 | 北京国双科技有限公司 | 一种语句检测方法及装置 |
| CN108984530A (zh) * | 2018-07-23 | 2018-12-11 | 北京信息科技大学 | 一种网络敏感内容的检测方法及检测系统 |
| CN109857862A (zh) * | 2019-01-04 | 2019-06-07 | 平安科技（深圳）有限公司 | 基于智能决策的文本分类方法、装置、服务器及介质 |
| CN110347839A (zh) * | 2019-07-18 | 2019-10-18 | 湖南数定智能科技有限公司 | 一种基于生成式多任务学习模型的文本分类方法 |
| CN110377727A (zh) * | 2019-06-06 | 2019-10-25 | 深思考人工智能机器人科技（北京）有限公司 | 一种基于多任务学习的多标签文本分类方法和装置 |
| CN110489755A (zh) * | 2019-08-21 | 2019-11-22 | 广州视源电子科技股份有限公司 | 文本生成方法和装置 |
| CN110782921A (zh) * | 2019-09-19 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 语音测评方法和装置、存储介质及电子装置 |
| CN110827085A (zh) * | 2019-11-06 | 2020-02-21 | 北京字节跳动网络技术有限公司 | 文本处理方法、装置及设备 |
| CN111209724A (zh) * | 2019-12-31 | 2020-05-29 | 智慧神州(北京)科技有限公司 | 文本的校验方法、装置、存储介质以及处理器 |
| US20200251100A1 (en) * | 2019-02-01 | 2020-08-06 | International Business Machines Corporation | Cross-domain multi-task learning for text classification |
-
2020
- 2020-08-25 CN CN202010866297.5A patent/CN112036146A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108255857A (zh) * | 2016-12-29 | 2018-07-06 | 北京国双科技有限公司 | 一种语句检测方法及装置 |
| CN108984530A (zh) * | 2018-07-23 | 2018-12-11 | 北京信息科技大学 | 一种网络敏感内容的检测方法及检测系统 |
| CN109857862A (zh) * | 2019-01-04 | 2019-06-07 | 平安科技（深圳）有限公司 | 基于智能决策的文本分类方法、装置、服务器及介质 |
| US20200251100A1 (en) * | 2019-02-01 | 2020-08-06 | International Business Machines Corporation | Cross-domain multi-task learning for text classification |
| CN110377727A (zh) * | 2019-06-06 | 2019-10-25 | 深思考人工智能机器人科技（北京）有限公司 | 一种基于多任务学习的多标签文本分类方法和装置 |
| CN110347839A (zh) * | 2019-07-18 | 2019-10-18 | 湖南数定智能科技有限公司 | 一种基于生成式多任务学习模型的文本分类方法 |
| CN110489755A (zh) * | 2019-08-21 | 2019-11-22 | 广州视源电子科技股份有限公司 | 文本生成方法和装置 |
| CN110782921A (zh) * | 2019-09-19 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 语音测评方法和装置、存储介质及电子装置 |
| CN110827085A (zh) * | 2019-11-06 | 2020-02-21 | 北京字节跳动网络技术有限公司 | 文本处理方法、装置及设备 |
| CN111209724A (zh) * | 2019-12-31 | 2020-05-29 | 智慧神州(北京)科技有限公司 | 文本的校验方法、装置、存储介质以及处理器 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560443A (zh) * | 2020-12-29 | 2021-03-26 | 平安银行股份有限公司 | 选择题生成模型训练方法、选择题生成方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108563780B (zh) | 课程内容推荐方法和装置 | |
| CN110728997A (zh) | 一种基于情景感知的多模态抑郁症检测方法和系统 | |
| Tchounikine et al. | Computer supported collaborative learning and intelligent tutoring systems | |
| CN111160569A (zh) | 基于机器学习模型的应用开发方法、装置及电子设备 | |
| Li et al. | Individual differences in second language acquisition: Theory, research, and practice | |
| CN111475627B (zh) | 解答推导题目的检查方法、装置、电子设备及存储介质 | |
| CN111783709B (zh) | 针对教育视频的信息预测方法及装置 | |
| US20210216939A1 (en) | Machine-learning models to assess coding skills and video performance | |
| JP2020047234A (ja) | データ評価方法、装置、機器及び読み取り可能な記憶媒体 | |
| CN114254127A (zh) | 学生能力画像方法、学习资源推荐方法及装置 | |
| CN112069781B (zh) | 一种评语生成方法、装置、终端设备及存储介质 | |
| CN111126610A (zh) | 题目分析方法、装置、电子设备和存储介质 | |
| Lee et al. | Multimodality of ai for education: Towards artificial general intelligence | |
| CN112596731A (zh) | 一种融合智能教育的编程教学系统及方法 | |
| Le Hoanh Su et al. | Development of an AI Chatbot to support admissions and career guidance for universities | |
| US10424217B1 (en) | Systems and methods for ability-appropriate text generation | |
| CN112036146A (zh) | 一种评语生成方法、装置、终端设备及存储介质 | |
| CN113505786A (zh) | 试题拍照评判方法、装置及电子设备 | |
| Baulé et al. | Automatic code generation from sketches of mobile applications in end-user development using Deep Learning | |
| CN113283488A (zh) | 一种基于学习行为的认知诊断方法及系统 | |
| CN114444448A (zh) | 一种视觉问答方法、装置、电子设备、介质及程序产品 | |
| CN113569112A (zh) | 基于题目的辅导策略提供方法、系统、装置及介质 | |
| CN112256743A (zh) | 一种自适应出题方法、设备及存储介质 | |
| Doboli et al. | Dynamic diagnosis of the progress and shortcomings of student learning using machine learning based on cognitive, social, and emotional features | |
| Liu et al. | Toward Artificial Intelligence-Human Paired Programming: A Review of the Educational Applications and Research on Artificial Intelligence Code-Generation Tools |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |