CN113378826B - 一种数据处理方法、装置、设备及存储介质 - Google Patents

一种数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113378826B
CN113378826B CN202110918706.6A CN202110918706A CN113378826B CN 113378826 B CN113378826 B CN 113378826B CN 202110918706 A CN202110918706 A CN 202110918706A CN 113378826 B CN113378826 B CN 113378826B
Authority
CN
China
Prior art keywords
bullet screen
target
training
text
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110918706.6A
Other languages
English (en)
Other versions
CN113378826A (zh
Inventor
司雪敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110918706.6A priority Critical patent/CN113378826B/zh
Publication of CN113378826A publication Critical patent/CN113378826A/zh
Application granted granted Critical
Publication of CN113378826B publication Critical patent/CN113378826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请实施例公开了一种人工智能领域的数据处理方法、装置、设备及存储介质，其中该方法包括：获取目标弹幕的目标文本；通过第一弹幕识别模型，根据目标文本确定目标弹幕的第一识别结果；第一弹幕识别模型是基于包括第一训练文本及其对应的弱标注结果的第一训练样本训练得到的，弱标注结果是根据播放第一训练文本所属的弹幕后弹幕播放功能是否被关闭确定的；通过第二弹幕识别模型，根据目标文本确定目标弹幕的第二识别结果；第二弹幕识别模型是基于包括第二训练文本及其对应的强标注结果的第二训练样本训练得到的；根据第一识别结果和第二识别结果，确定目标弹幕的目标识别结果。该方法能够取得较好的不良弹幕识别效果，并且降低模型训练成本。

Description

一种数据处理方法、装置、设备及存储介质
技术领域
本申请涉及人工智能（Artificial Intelligence，AI）技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
如今，很多网络视频播放平台均具有弹幕功能，即支持用户在观看视频的过程中编辑并发送其对于当前播放的视频的评论内容即弹幕，观看该视频的用户可以相应地看到其他用户发送的弹幕。在实际应用中，用户发送的弹幕良莠不齐，其中经常夹杂着包括不雅的内容、枯燥无聊的内容、令其他用户厌恶的内容等不良内容的弹幕，此类弹幕在业界又被称为不良弹幕；为了提高用户的视频观看体验，一些网络视频播放平台会识别用户发送的弹幕是否为不良弹幕，并对不良弹幕进行过滤处理，不向其他用户展示不良弹幕。
相关技术中，通常利用基于机器学习算法训练得到的不良弹幕识别模型，识别用户发送的弹幕是否为不良弹幕。若要通过该方法取得较好的不良弹幕识别效果，避免发生漏识别和误识别的情况，往往需要利用大量的标注样本训练不良弹幕识别模型，而这将耗费很高的标注成本，即模型训练成本较高。如何在保证不良弹幕识别效果的前提下降低模型训练成本，已成为目标亟待解决的问题。
发明内容
本申请实施例提供了一种数据处理方法、装置、设备及存储介质，能够在保证取得较好的不良弹幕识别效果的前提下，降低模型训练成本。
有鉴于此，本申请第一方面提供了一种数据处理方法，所述方法包括：
获取待识别的目标弹幕的文本，作为目标文本；
通过第一弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第一识别结果；所述第一弹幕识别模型是基于第一训练样本训练得到的，所述第一训练样本包括第一训练文本及其对应的弱标注结果，所述弱标注结果是根据播放所述第一训练文本所属的弹幕后弹幕播放功能是否被关闭确定的；
通过第二弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第二识别结果；所述第二弹幕识别模型是基于第二训练样本训练得到的，所述第二训练样本包括第二训练文本及其对应的强标注结果，所述强标注结果用于表征所述第二训练文本所属的弹幕的标准类型；
根据所述第一识别结果和所述第二识别结果，确定所述目标弹幕对应的目标识别结果；所述目标识别结果用于表征所述目标弹幕的类型。
本申请第二方面提供了一种数据处理装置，所述装置包括：
文本获取模块，用于获取待识别的目标弹幕的文本，作为目标文本；
第一识别模块，用于通过第一弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第一识别结果；所述第一弹幕识别模型是基于第一训练样本训练得到的，所述第一训练样本包括第一训练文本及其对应的弱标注结果，所述弱标注结果是根据播放所述第一训练文本所属的弹幕后弹幕播放功能是否被关闭确定的；
第二识别模块，用于通过第二弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第二识别结果；所述第二弹幕识别模型是基于第二训练样本训练得到的，所述第二训练样本包括第二训练文本及其对应的强标注结果，所述强标注结果用于表征所述第二训练文本所属的弹幕的标准类型；
类型确定模块，用于根据所述第一识别结果和所述第二识别结果，确定所述目标弹幕对应的目标识别结果；所述目标识别结果用于表征所述目标弹幕的类型。
本申请第三方面提供了一种设备，所述设备包括处理器以及存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序，执行如上述第一方面所述的数据处理方法的步骤。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面所述的数据处理方法的步骤。
本申请第五方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面所述的数据处理方法的步骤。
从以上技术方案可以看出，本申请实施例具有以下优点：
在本申请实施例提供的数据处理方法中，针对待识别的目标弹幕，先获取该目标弹幕的文本作为目标文本；然后，分别利用第一弹幕识别模型和第二弹幕识别模型，根据该目标文本，确定该目标弹幕对应的第一识别结果和第二识别结果；进而，综合考虑该目标弹幕对应的第一识别结果和第二识别结果，确定该目标弹幕是否属于不良弹幕。上述第一弹幕识别模型是基于通过弱标注方式标注的第一训练样本训练得到的，上述第二弹幕识别模型是基于通过强标注方式标注的第二训练样本训练得到的；弱标注方式指的是根据训练样本中训练文本所属的弹幕被播放后是否检测到用户关闭弹幕播放功能，来标注该训练文本所属的弹幕是否属于不良弹幕，相比强标注方式（如人工标注），通过弱标注方式标注训练样本所需耗费的成本更低，更易标注出大量的训练样本，因而可以在耗费较低成本的条件下训练出具有较优模型性能的第一弹幕识别模型。在使用第一弹幕识别模型辅助识别弹幕的类型的条件下，可以适当地降低对于第二弹幕识别模型的要求，即可以减少训练该第二弹幕识别模型时所使用的训练样本的数量，从而降低该第二弹幕识别模型的训练成本。如此，综合使用第一弹幕识别模型和第二弹幕识别模型识别不良弹幕，既不需要在模型训练阶段消耗较高的模型训练成本，又可以保证取得较好的识别效果。
附图说明
图1为本申请实施例提供的数据处理方法的应用场景示意图；
图2为本申请实施例提供的数据处理方法的流程示意图；
图3为本申请实施例提供的第一弹幕识别模型的工作原理示意图；
图4为本申请实施例提供的第二弹幕识别模型的工作原理示意图；
图5为本申请实施例提供的第一种弹幕识别模型训练方法的流程示意图；
图6为本申请实施例提供的第二种弹幕识别模型训练方法的流程示意图；
图7为本申请实施例提供的文本分类模型的工作原理示意图；
图8为本申请实施例提供的第三种弹幕识别模型训练方法的流程示意图；
图9为本申请实施例提供的语义特征提取模型的工作原理示意图；
图10为本申请实施例提供的第四种弹幕识别模型训练方法的流程示意图；
图11为本申请实施例提供的模型训练框架示意图；
图12为本申请实施例提供的数据处理装置的结构示意图；
图13为本申请实施例提供的终端设备的结构示意图；
图14为本申请实施例提供的服务器的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
自然语言处理（Nature Language processing，NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习（Machine Learning，ML）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例提供的方案涉及人工智能领域中的自然语言处理技术和机器学习技术，具体通过如下实施例进行说明：
相关技术中，使用弹幕识别模型识别用户发送的弹幕是否为不良弹幕时，为了保证弹幕识别模型确定的识别结果准确，通常需要利用大量人工标注的样本训练该弹幕识别模型，而这将耗费较高的标注成本，导致模型训练成本过高。
针对上述相关技术存在的问题，本申请实施例提供了一种数据处理方法，该方法可以在保证取得较好的弹幕识别效果的前提下，降低模型训练成本。
具体的，在本申请实施例提供的数据处理方法中，先获取待识别的目标弹幕的文本，作为目标文本。然后，分别通过第一弹幕识别模型和第二弹幕识别模型，根据该目标文本，确定目标弹幕对应的第一识别结果和第二识别结果；其中，第一弹幕识别模型是基于第一训练样本训练得到的，第一训练样本包括第一训练文本及其对应的弱标注结果，该弱标注结果是根据播放该第一训练文本所属的弹幕后弹幕播放功能是否被关闭确定的；第二弹幕识别模型是基于第二训练样本训练得到的，第二训练样本包括第二训练文本及其对应的强标注结果，该强标注结果用于表征该第二训练文本所属的弹幕的标准类型。进而，根据目标弹幕对应的第一识别结果和第二识别结果，确定该目标弹幕对应的目标识别结果，该目标识别结果用于表征该目标弹幕的类型。
上述数据处理方法，分别使用基于弱监督学习机制训练得到的第一弹幕识别模型和基于强监督学习机制训练得到的第二弹幕识别模型，对目标弹幕进行识别，最终综合考虑两个模型各自确定的识别结果，确定目标弹幕是否属于不良弹幕。其中，第一弹幕识别模型是基于通过弱标注方式标注的第一训练样本训练得到的，弱标注方式是指根据训练样本中训练文本所属的弹幕被播放后是否检测到用户关闭弹幕播放功能，来标注该训练文本所属的弹幕是否属于不良弹幕，相比强标注方式（如人工标注），通过该弱标注方式标注训练样本所需耗费的成本更低，更容易标注出大量的训练样本，因此可以在耗费较低成本的条件下训练出具有较优模型性能的第一弹幕识别模型。在使用第一弹幕识别模型辅助识别弹幕是否属于不良弹幕的情况下，可以适当地降低对于第二弹幕识别模型的要求，即可以减少训练该第二弹幕识别模型时所使用的训练样本的数量，从而降低该第二弹幕识别模型的训练成本。如此，综合使用第一弹幕识别模型和第二弹幕识别模型识别不良弹幕，既不需要在模型训练阶段消耗较高的模型训练成本，又可以保证获得准确的识别结果。
应理解，本申请实施例提供的数据处理方法可以应用于具备文本处理能力的设备，如终端设备或服务器。其中，终端设备具体可以为智能手机、计算机、平板电脑、个人数字助理（Personal Digital Assistant，PDA）、车载终端等；服务器具体可以为应用服务器或Web服务器，实际部署时，可以为独立服务器，也可以为集群服务器或云服务器。本申请实施例提供的数据处理方法涉及的相关数据（如弹幕文本、弹幕的识别结果等），可以保存于区块链上。
为了便于理解本申请实施例提供的数据处理方法，下面以该数据处理方法的执行主体为服务器为例，对该数据处理方法的应用场景进行示例性介绍。
参见图1，图1为本申请实施例提供的数据处理方法的应用场景示意图。如图1所示，该应用场景中包括终端设备110和服务器120；终端设备110与服务器120之间可以通过网络进行通信。其中，终端设备110上运行有视频播放应用程序（Application，APP），该视频播放APP支持用户在观看视频的过程中发送弹幕。服务器120可以为该视频播放APP的后台服务器，其用于执行本申请实施例提供的数据处理方法，以针对用户发送的弹幕识别其是否属于不良弹幕。
在实际应用中，用户通过终端设备110上运行的视频播放APP观看目标视频时，可以使用该视频播放APP提供的弹幕发送功能，编辑并发送对于该目标视频的评论内容，即弹幕。示例性的，视频播放APP的视频播放界面中包括弹幕编辑栏和弹幕发送控件，用户可以在该弹幕编辑栏中输入评论文本，并在确认完成评论文本的输入后，点击弹幕发送控件触发弹幕发送操作；终端设备110检测到用户触发弹幕发送操作后，将基于用户在弹幕编辑栏中输入的评论文本生成弹幕，进而通过网络向服务器120发送包括该弹幕。
服务器120接收到用户发送的弹幕后，可以将该弹幕视为待识别的目标弹幕，并获取该目标弹幕的文本（也即用户输入的评论文本）作为目标文本。进而，服务器120可以调用预先训练好的第一弹幕识别模型121和第二弹幕识别模型122，分别对该目标文本进行处理，以得到目标弹幕对应的第一识别结果和第二识别结果。
需要说明的是，第一弹幕识别模型121是采用弱监督学习机制、基于第一训练样本训练得到的模型，该第一训练样本中包括第一训练文本及其对应的弱标注结果，该弱标注结果是根据第一训练文本所属的弹幕被播放后是否检测到用户关闭弹幕播放功能确定的；例如，假设用户在观看某视频的过程中关闭了弹幕播放功能，那么在关闭弹幕播放功能前，在该视频中显示的弹幕均会被标注为不良弹幕。第二弹幕识别模型122是采用强监督学习机制、基于第二训练样本训练得到的模型，该第二训练样本中包括第二训练文本及其对应的强标注结果，该强标注结果用于准确地反映第二训练文本所属的弹幕是否属于不良弹幕。
服务器120通过第一弹幕识别模型121获得目标弹幕对应的第一识别结果，通过第二弹幕识别模型122获得目标弹幕对应的第二识别结果后，可以根据该第一识别结果和第二识别结果，确定该目标弹幕对应的目标识别结果，即确定该目标弹幕是否属于不良弹幕。
若服务器120通过上述操作确定该目标弹幕属于不良弹幕，则对该目标弹幕进行过滤处理，即丢弃该目标弹幕，不向目标视频的其他观看用户展示该目标弹幕。反之，若服务器120通过上述操作确定该目标弹幕不属于不良弹幕，则可以正常展示该目标弹幕，使得目标视频的其他观看用户可以正常看到该目标弹幕。
应理解，图1所示的应用场景仅为示例，在实际应用中，本申请实施例提供的数据处理方法还可以应用于其它场景；例如，也可以由终端设备110独立执行该数据处理方法，识别目标用户发送的弹幕是否为不良弹幕，对于被识别为不良弹幕的弹幕直接拦截发送。在此不对本申请实施例提供的数据处理方法的应用场景做任何限定。
下面通过方法实施例对本申请提供的数据处理方法进行详细介绍。
参见图2，图2为本申请实施例提供的数据处理方法的流程示意图。为了便于描述，下述实施例仍以该数据处理方法的执行主体为服务器为例进行介绍。如图2所示，该数据处理方法包括以下步骤：
步骤201：获取待识别的目标弹幕的文本，作为目标文本。
在实际应用中，用户通过视频播放应用程序或者视频播放网站观看视频时，可以使用该视频播放应用程序或者该视频播放网站提供的弹幕发送功能，触发弹幕编辑操作和弹幕发送操作。响应于用户触发的弹幕发送操作，支持该视频播放应用程序运行、或者与该视频播放网站建立通信连接的终端设备，会相应地将用户通过弹幕编辑操作编辑的弹幕，发送给该视频播放应用程序或者该视频播放网站的后台服务器。应理解，终端设备向服务器发送的弹幕中包括用户通过弹幕编辑操作编辑的弹幕文本；可选的，该弹幕中还可以包括用户通过弹幕编辑操作选择的弹幕样式（如弹幕文本字体、弹幕文本颜色、弹幕装饰挂件等等）。
服务器接收到终端设备发送的弹幕后，将该弹幕视为待识别的目标弹幕，并提取该目标弹幕中的文本作为目标文本。此处的目标文本是用户通过弹幕发送功能编辑并发送的弹幕文本，例如，假设用户通过视频播放应用程序提供的弹幕发送功能编辑并发送了目标弹幕“剧情太精彩了”，则服务器从该目标弹幕中提取出的目标文本即为“剧情太精彩了”。
应理解，在实际应用中，服务器也可以采用其它方式获取目标弹幕以及其中的目标文本；例如，服务器可以从用于存储用户发送的弹幕的数据库中，获取尚未播放的弹幕作为待识别的目标弹幕，并且从该目标弹幕中提取目标文本；本申请在此不对服务器获取目标弹幕及目标文本的方式做任何限定。
步骤202：通过第一弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第一识别结果；所述第一弹幕识别模型是基于第一训练样本训练得到的，所述第一训练样本包括第一训练文本及其对应的弱标注结果，所述弱标注结果是根据播放所述第一训练文本所属的弹幕后弹幕播放功能是否被关闭确定的。
服务器获取到目标文本后，可以将该目标文本，输入预先训练好的第一弹幕识别模型，该第一弹幕识别模型对该目标文本进行分析处理后，将相应地输出目标弹幕对应的第一识别结果，该第一识别结果示例性的可以为目标弹幕属于不良弹幕的概率。
需要说明的是，上述第一弹幕识别模型是采用弱监督学习机制、基于第一训练样本训练得到的。弱监督学习机制是机器学习任务中的一种学习机制，采用弱监督学习机制训练模型时，所使用的训练样本中的标注数据所提供的信息可能是不全面或者不精准的；在本申请实施例中，训练第一弹幕识别模型时使用的第一训练样本中的弱标注结果即是精准度不高的标注结果。上述第一训练样本中包括第一训练文本及其对应的弱标注结果；其中，第一训练文本可以是视频播放应用程序或者视频播放网站播放过的历史弹幕中的文本；第一训练文本对应的弱标注结果可以是根据该第一训练文本所属的历史弹幕被播放后、是否检测到用户关闭弹幕播放功能确定的。
示例性的，服务器可以通过以下方式确定第一训练样本中的弱标注结果：针对视频播放应用程序或视频播放网站提供的视频资源，收集其涉及的弹幕播放功能关闭操作，并且根据所收集的弹幕播放功能关闭操作，相应地确定视频资源中播放的弹幕对应的弱标注结果。例如，假设针对某视频资源，服务器检测到某用户在观看该视频资源的过程中将原本开启的弹幕播放功能关闭，则服务器可以收集在弹幕播放功能被关闭前在该视频资源中播放过的弹幕，并针对这些弹幕中的文本确定其对应的弱标注结果为属于不良弹幕；反之，若某视频资源对应的弹幕播放功能被开启后，服务器未检测到观看该视频资源的用户针对弹幕播放功能触发关闭操作，则服务器可以收集在弹幕播放功能被开启的时间区间内在该视频资源中播放过的弹幕，并针对这些弹幕中的文本确定其对应的弱标注结果为属于正常弹幕。
如此，通过上述方式根据视频资源涉及的弹幕播放功能关闭操作，针对视频资源中播放的弹幕确定其对应的弱标注结果，可以大大降低第一训练样本的标注成本，并且可以较容易地获取到大量的第一训练样本。
可选的，考虑到弹幕的显示时间与弹幕播放功能的关闭时间之间的距离，能够在一定程度上反映该弹幕是否真正属于不良弹幕，例如，若某弹幕的显示时间与弹幕播放功能的关闭时间之间间隔的时长较短，则该弹幕属于不良弹幕的可能性较高，反之，若某弹幕的显示时间与弹幕播放功能的关闭时间之间间隔的时长较长，则该弹幕属于不良弹幕的可能性较低。基于此，本申请实施例还可以在第一训练样本中增设特征—第一训练文本对应的功能关闭距离参数，该功能关闭距离参数用于反映该第一训练文本所属的弹幕的显示时间与弹幕播放功能的关闭时间之间的距离；从而在训练第一弹幕识别模型的过程中，使得该第一弹幕识别模型具备综合考虑弹幕文本和功能关闭距离参数识别弹幕是否属于不良弹幕的能力。
具体的，若播放第一训练文本所属的弹幕后，检测到用户关闭弹幕播放功能，则该第一训练文本对应的弱标注结果将相应地表征该第一训练文本所属的弹幕属于异常弹幕（即不良弹幕），该第一训练文本对应的功能关闭距离参数将相应地表征该第一训练文本所属的弹幕与参考弹幕之间的距离，此处的参考弹幕是弹幕播放功能被关闭前播放的最后一条弹幕。
示例性的，服务器在视频资源中播放弹幕前，会针对视频资源中的每条弹幕按照其对应的播放顺序相应地配置其对应的编号，播放顺序越靠前，所对应的编号越小，播放顺序越靠后，所对应的编号越大。服务器检测到用户针对某视频资源触发了弹幕播放功能关闭操作后，可以先确定弹幕播放功能被关闭前该视频资源中显示的最后一条弹幕（即所对应的编号最大的弹幕）作为参考弹幕，进而针对弹幕播放功能被关闭前视频资源中显示的每条弹幕，计算参考弹幕对应的编号与该条弹幕对应的编号的差值，作为该条弹幕对应的功能关闭距离参数，也即该条弹幕中的文本对应的功能关闭距离参数。
或者，服务器也可以在视频播放过程中，针对所播放的每条弹幕记录其对应的播放时间。服务器检测到用户针对某视频资源触发了弹幕播放功能关闭操作后，可以确定弹幕播放功能被关闭前在该视频资源中显示的最后一条弹幕作为参考弹幕，并确定该参考弹幕的播放时间作为参考播放时间，通常情况下参考播放时间与弹幕播放功能关闭的时间相同；进而，针对弹幕播放功能被关闭前视频资源中显示的每条弹幕，计算参考播放时间与该条弹幕的播放时间之间的时间差，作为该条弹幕对应的功能关闭距离参数，也即该条弹幕中的文本对应的功能关闭距离参数。
应理解，上述确定功能关闭距离参数的实现方式仅为示例，在实际应用中，服务器也可以在检测到用户关闭弹幕播放功能后，采用其它方式确定第一训练样本中的功能关闭距离参数，本申请在此不对功能关闭距离参数的确定方式做任何限定。
若播放第一训练文本所属的弹幕后，未检测到用户关闭弹幕播放功能，则该第一训练文本对应的弱标注结果将相应地表征该第一训练文本所属的弹幕属于正常弹幕（即并非不良弹幕）。此外，由于该第一训练文本所属的弹幕被播放后未检测到弹幕播放功能被关闭，则无法确定该第一训练文本对应的功能关闭距离参数，此时可以直接设置该第一训练文本对应的功能关闭距离参数为正常弹幕距离参考值；该正常弹幕距离参考值可以是服务器预先设定的距离参考值，也可以由服务器根据其它所包括的弱标注结果为属于不良弹幕的第一训练样本中的功能关闭距离参数来确定，例如，服务器可以获取所包括的弱标注结果为属于不良弹幕的所有第一训练样本，进而计算这些第一训练样本中包括的功能关闭距离参数的平均值，作为正常弹幕距离参考值，本申请在此不对该正常弹幕距离参考值的确定方式做任何限定。
如此，在用于训练第一弹幕识别模型的第一训练样本中增设功能关闭距离参数，可以使得第一弹幕识别模型具备综合考虑弹幕文本和功能关闭距离参数识别弹幕是否属于不良弹幕的能力，并且有助于提高该第一弹幕识别模型识别不良弹幕的准确度。
应理解，若训练第一弹幕识别模型使用的第一训练样本中包括功能关闭距离参数，那么应用该第一弹幕识别模型识别弹幕是否属于不良弹幕时，也应使该第一弹幕识别模型同时参考功能关闭距离参数和弹幕文本，执行弹幕识别任务。即在使用第一弹幕识别模型，确定目标弹幕对应的第一识别结果时，应获取参考功能关闭距离参数，该参考功能关闭距离参数可以根据训练该第一弹幕识别模型时使用的第一训练样本中的功能关闭距离参数来确定；进而，通过该第一弹幕识别模型，根据目标弹幕中的目标文本和该参考功能关闭距离参数，确定该目标弹幕对应的第一识别结果。
具体的，由于服务器识别的弹幕通常为尚未播放的弹幕，其不具有确切对应的功能关闭距离参数，因此服务器使用第一弹幕识别模型识别这些弹幕是否属于不良弹幕时，需要获取预先确定的参考功能关闭参数，进而，利用第一弹幕识别模型，根据该参考功能关闭参数和弹幕中的文本，确定该弹幕是否属于不良弹幕。
具体计算参考功能关闭参数时，服务器可以获取所有所包括的弱标注结果为属于不良弹幕的第一训练样本，进而计算这些第一训练样本中包括的功能关闭参数的平均值，作为参考功能关闭参数；或者，服务器也可以获取所有用于训练该第一弹幕识别模型的第一训练样本，进而计算这些第一训练样本中包括的功能关闭参数的平均值，作为参考功能关闭参数；当然，在实际应用中，服务器也可以采用其它方式计算参考功能关闭参数，本申请在此不对参考功能关闭参数的计算方式做任何限定。
如此，使得第一弹幕识别模型在应用阶段处理的数据与其训练阶段处理的数据相匹配，借助参考功能关闭参数，帮助第一弹幕识别模型准确地确定弹幕对应的第一识别结果。
在一种可能的实现方式中，上述第一弹幕识别模型中可以包括第一初级特征提取结构和第一分类结构，该第一弹幕识别模型具体工作时，可以先通过第一初级特征提取结构，提取目标文本中各分词各自的初级词特征向量；进而，通过第一分类结构，根据目标文本中各分词各自的初级词特征向量，确定目标弹幕对应的第一识别结果。
图3所示为本申请实施例提供的第一弹幕识别模型的工作原理示意图。如图3所示，该第一弹幕识别模型中包括第一初级特征提取结构301和第一分类结构302；示例性的，第一初级特征提取结构301中可以包括循环神经网络（Rerrent Neural Network，RNN）层和全联通层，该RNN层具体可以是门控循环单元（Gate Recurrent Unit，GRU）、或者长短期记忆（Long-Short Term Memory，LSTM）结构，第一分类结构302可以包括第一全联通层、卷积神经网络（Convolutional Neural Network，CNN）层、池化层和第二全联通层。
第一弹幕识别模型具体工作时，可以通过第一初级特征提取结构301中的RNN层，对输入的目标文本中包括各个分词进行特征提取处理，得到目标文本中各个分词各自的基础词特征向量，然后再通过第一初级特征提取结构301中的全联通层，对目标文本中各个分词各自的基础词特征向量进行处理，得到目标文本中各个分词各自的初级词特征向量。进而，通过第一分类结构302中的第一全联通层、CNN层、池化层和第二全联通层，对目标文本中各个分词各自的初级词特征向量进行逐级处理，得到目标弹幕对应的第一识别结果。
在第一弹幕识别模型的输入特征还包括参考功能关闭距离参数的情况下，第一弹幕识别模型中还包括功能关闭距离参数处理结构303；如图3所示，该功能关闭距离参数处理结构303可以包括全联通层和非线性层。将参考功能关闭距离参数输入第一弹幕识别模型中后，功能关闭距离参数处理结构303中的全联通层将对输入的参考功能关闭距离参数进行特征变换处理，然后，功能关闭距离参数处理结构303中的非线性层将对特征变换处理得到的数据再次进行处理；经上述处理得到的功能关闭距离特征，将被输入第一初级特征提取结构301中的全联通层。
应理解，图3所示的第一弹幕识别模型的结构仅为示例，在实际应用中，服务器也可以采用其它结构的第一弹幕识别模型，本申请在此不对该第一弹幕识别模型的结构做具体限定。
步骤203：通过第二弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第二识别结果；所述第二弹幕识别模型是基于第二训练样本训练得到的，所述第二训练样本包括第二训练文本及其对应的强标注结果，所述强标注结果用于表征所述第二训练文本所属的弹幕的标准类型。
服务器获取到目标文本后，还可以将该目标文本，输入预先训练好的第二弹幕识别模型，该第二弹幕识别模型对该目标文本进行分析处理后，将相应地输出目标弹幕对应的第二识别结果，该第二识别结果示例性的可以为目标弹幕属于不良弹幕的概率。
需要说明的是，上述第二弹幕识别模型是采用强监督学习机制、基于第二训练样本训练得到的。强监督学习机制是机器学习任务中的一种学习机制，采用强监督学习机制训练模型时，所使用的训练样本中的标注数据所提供的信息是全面且准确的；在本申请实施例中，训练第二弹幕识别模型时使用的第二训练样本中的强标注结果即是准确度较高的标注结果，其可以通过人工标注的方式获得。上述第二训练样本中包括第二训练文本及其对应的强标注结果，其中，第二训练文本可以是视频播放应用程序或者视频播放网站播放过的历史弹幕中的文本，也可以是人工构建的弹幕文本；第二训练文本对应的强标注结果可以是人工针对该第二训练文本所属的弹幕标注的，其可以表征该第二训练文本所属的弹幕的标准类型，即准确地表征该第二训练文本所属的弹幕是否属于不良弹幕。
在一种可能的实现方式中，上述第二弹幕识别模型中可以包括第二初级特征提取结构和第二分类结构，该第二弹幕识别模型具体工作时，可以先通过第二初级特征提取结构，提取目标文本中各分词各自的初级词特征向量；进而，通过第二分类结构，根据目标文本中各分词各自的初级词特征向量，确定目标弹幕对应的第二识别结果。
图4所示为本申请实施例提供的第二弹幕识别模型的工作原理示意图。如图4所示，该第二弹幕识别模型中包括第二初级特征提取结构401和第二分类结构402；示例性的，第二初级特征提取结构401中可以包括RNN层和全联通层，该RNN层具体可以是GRU或者LSTM结构，第二分类结构402可以包括第一全联通层、CNN层、池化层和第二全联通层。
第二弹幕识别模型具体工作时，可以通过第二初级特征提取结构401中的RNN层，对输入的目标文本中包括各个分词进行特征提取处理，得到目标文本中各个分词各自的基础词特征向量，然后再通过第二初级特征提取结构401中的全联通层，对目标文本中各个分词各自的基础词特征向量进行处理，得到目标文本中各个分词各自的初级词特征向量。进而，通过第二分类结构402中的第一全联通层、CNN层、池化层和第二全联通层，对目标文本中各个分词各自的初级词特征向量进行逐级处理，得到目标弹幕对应的第二识别结果。
应理解，图4所示的第二弹幕识别模型的结构仅为示例，在实际应用中，服务器也可以采用其它结构的第二弹幕识别模型，本申请在此不对该第二弹幕识别模型的结构做具体限定。
需要说明的是，在第一弹幕识别模型包括第一初级特征提取结构和第一分类结构、且第二弹幕识别模型包括第二初级特征提取结构和第二分类结构的情况下，为了提高第一弹幕识别模型和第二弹幕识别模型的训练效率，可以在第一初级提取特征结构和第二初级提取特征结构中均设置目标共享结构，训练第一弹幕识别模型和第二弹幕识别模型时，可以使这两个模型中包括的目标共享结构参数共享，即将第一弹幕识别模型中目标共享结构的参数赋予给第二弹幕识别模型中的目标共享结构，或者将第二弹幕识别模型中目标共享结构的参数赋予给第一弹幕识别模型中的目标共享结构，如此使得这两个模型的训练任务可以互相帮助，实现两个训练任务的协同训练，提高对于这两个弹幕识别模型的训练效率。下文将通过方法实施例，对协同训练这两个弹幕识别模型的实现方式进行具体介绍。
在第一弹幕识别模型的结构为图3所示的结构，第二弹幕识别模型的结构为图4所示的结构的情况下，上述目标共享结构可以包括以下至少一种：第一初级特征提取结构和第二初级特征提取结构中的RNN层、第一初级特征提取结构和第二初级特征提取结构中的全联通层。即在模型训练阶段，服务器可以使第一初级特征提取结构中的RNN层和第二初级特征提取结构中的RNN层进行参数共享，也可以使第一初级特征提取结构中的全联通层和第二初级特征提取结构中的全联通层进行参数共享，还可以使第一初级特征提取结构中的RNN层和全联通层与第二初级特征提取结构中的RNN层和全联通层分别进行参数共享。
应理解，在实际应用中，服务器可以先执行步骤202、后执行步骤203，也可以先执行步骤203、后执行步骤202，还可以同时执行步骤202和步骤203，本申请在此不对步骤202和步骤203的执行顺序做任何限定。
步骤204：根据所述第一识别结果和所述第二识别结果，确定所述目标弹幕对应的目标识别结果；所述目标识别结果用于表征所述目标弹幕的类型。
服务器通过步骤202得到目标弹幕对应的第一识别结果，通过步骤203得到目标弹幕对应的第二识别结果后，可以综合考虑该第一识别结果和第二识别结果，确定目标弹幕对应的目标识别结果，该目标识别结果用于表征该目标弹幕是否属于不良弹幕。
示例性的，在第一识别结果和第二识别结果均是目标弹幕属于不良弹幕的概率的情况下，服务器可以按照预设的权重，对第一识别结果和第二识别结果进行加权求和处理，得到的概率值即是目标弹幕对应的目标识别结果，若该概率值超过预设概率阈值，则可以确定该目标弹幕属于不良弹幕，反之，若该概率值未超过预设概率阈值，则可以确定该目标弹幕不属于不良弹幕。当然，在实际应用中，服务器也可以采用其它方式，根据第一识别结果和第二识别结果确定目标识别结果，本申请在此不对该目标识别结果的确定方式做任何限定。
上述数据处理方法，分别使用基于弱监督学习机制训练得到的第一弹幕识别模型和基于强监督学习机制训练得到的第二弹幕识别模型，对目标弹幕进行识别，最终综合考虑两个模型各自确定的识别结果，确定目标弹幕是否属于不良弹幕。其中，第一弹幕识别模型是基于通过弱标注方式标注的第一训练样本训练得到的，弱标注方式是指根据训练样本中训练文本所属的弹幕被播放后是否检测到用户关闭弹幕播放功能，来标注该训练文本所属的弹幕是否属于不良弹幕，相比强标注方式（如人工标注），通过该弱标注方式标注训练样本所需耗费的成本更低，更容易标注出大量的训练样本，因此可以在耗费较低成本的条件下训练出具有较优模型性能的第一弹幕识别模型。在使用第一弹幕识别模型辅助识别弹幕是否属于不良弹幕的情况下，可以适当地降低对于第二弹幕识别模型的要求，即可以减少训练该第二弹幕识别模型时所使用的训练样本的数量，从而降低该第二弹幕识别模型的训练成本。如此，综合使用第一弹幕识别模型和第二弹幕识别模型识别不良弹幕，既不需要在模型训练阶段消耗较高的模型训练成本，又可以保证获得准确的识别结果。
针对图2所示实施例中使用的第一弹幕识别模型和第二弹幕识别模型，本申请实施例还提供了几种示例性的用于协同训练上述第一弹幕识别模型和第二弹幕识别模型的弹幕识别模型训练方法，下面通过方法实施例分别介绍这几种弹幕识别模型训练方法。为了便于描述，下述方法实施例仍以执行主题为服务器为例进行介绍。
需要说明的是，协同训练第一弹幕识别模型和第二弹幕识别模型的实现基础是，第一弹幕识别模型和第二弹幕识别模型中包括参数共享的目标共享结构，图2所示实施例已对第一弹幕识别模型和第二弹幕识别模型中的目标共享结构进行了介绍，此处不再赘述。
参见图5，图5为本申请实施例提供的第一种弹幕识别模型训练方法的流程示意图。如图5所示，该弹幕识别模型训练方法包括以下步骤：
步骤501：通过第一初始弹幕识别模型，根据所述第一训练样本中的所述第一训练文本，确定第一预测结果；根据所述第一预测结果和所述第一训练样本中的所述弱标注结果，构建第一损失函数；并基于所述第一损失函数，训练所述第一初始弹幕识别模型。
在本申请实施例中，第一初始弹幕识别模型是第一弹幕识别模型的训练基础，本申请实施例旨在通过调整第一初始弹幕识别模型的模型参数，训练得到具有较优性能的、可以投入到实际应用中的第一弹幕识别模型。
训练第一初始弹幕识别模型之前，通常需要获取大量的第一训练样本，进而利用所获取的第一训练样本对该第一初始弹幕识别模型进行训练。第一训练样本中包括的内容、以及第一训练样本的构建方式已在图2所示实施例中介绍，详细可参见图2所示实施例中的相关内容，此处不再赘述。
当第一训练样本中包括第一训练文本及其对应的弱标注结果时，服务器可以将第一训练样本中的第一训练文本输入待训练的第一初始弹幕识别模型，该第一初始弹幕识别模型对输入的第一训练文本进行分析处理后，将相应地输出用于表征第一训练文本是否属于不良弹幕的识别结果，即第一预测结果。
当第一训练样本中包括第一训练文本及其对应的功能关闭距离参数和弱标注结果时，服务器可以将第一训练样本中的第一训练文本及其对应的功能关闭距离参数，输入待训练的第一初始弹幕识别模型，该第一初始弹幕识别模型对输入的第一训练文本及其对应的功能关闭距离参数进行分析处理后，将相应地输出用于表征第一训练文本是否属于不良弹幕的识别结果，即第一预测结果。
服务器获取到第一初始弹幕识别输出的第一预测结果后，可以根据该第一预测结果与第一训练样本中的弱标注结果之间的差距，构建第一损失函数；进而，以最小化该第一损失函数为目的，对第一初始弹幕识别模型的模型参数进行初步调整，实现对于该第一初始弹幕识别模型的初步训练。
步骤502：将所述第一初始弹幕识别模型中所述目标共享结构的参数，赋予给第二初始弹幕识别模型中的所述目标共享结构。
服务器完成对于第一初始弹幕识别模型的初步训练后，可以将该第一初始弹幕识别模型中目标共享结构的参数，赋予给待训练的第二初始弹幕识别模型中的目标共享结构。在本申请实施例中，上述第二初始弹幕识别模型是第二弹幕识别模型的训练基础，本申请实施例旨在通过调整第二初始弹幕识别模型的模型参数，训练得到具有较优性能的、可以投入到实际应用中的第二弹幕识别模型。
示例性的，假设第一初始弹幕识别模型中的目标共享结构为该第一初始弹幕识别模型包括的第一初级特征提取结构中的全联通层，第二初始弹幕识别模型中的目标共享结构为该第二初始弹幕识别模型包括的第二初级特征提取结构中的全联通层，则服务器可以在完成对于第一初始弹幕识别模型的初步训练后，将该第一初始弹幕识别模型包括的第一初级特征提取结构中全联通层的参数，赋予给第二初始弹幕识别模型包括的第二初级特征提取结构中的全联通层。
步骤503：通过所述第二初始弹幕识别模型，根据所述第二训练样本中的所述第二训练文本，确定第二预测结果；根据所述第二预测结果和所述第二训练样本中的所述强标注结果，构建第二损失函数；并基于所述第二损失函数，训练所述第二初始弹幕识别模型。
服务器将第一初始弹幕识别模型中目标共享结构的参数赋予给第二初始弹幕识别模型中的目标共享结构后，可以对该第二初始弹幕识别模型进行初步训练。应理解，训练该第二初始弹幕识别模型之前，服务器通常需要获取适量的第二训练样本，第二训练样本中包括的内容以及第二训练样本的构建方式已在图2所示实施例中介绍，详细可参见图2所示实施例中的相关内容，此处不再赘述。
具体对第二初始弹幕识别模型进行初步训练时，服务器可以将第二训练样本中的第二训练文本输入待训练的第二初始弹幕识别模型，该第二初始弹幕识别模型对输入的第二训练文本进行分析处理后，将相应地输出用于表征该第二训练文本是否属于不良弹幕的识别结果，即第二预测结果。然后，服务器可以根据该第二预测结果与第二训练样本包括的强标注结果之间的差距，构建第二损失函数；进而，以最小化该第二损失函数为目的，对该第二初始弹幕识别模型的模型参数进行初步调整，实现对于该第二初始弹幕识别模型的初步训练。
步骤504：将所述第二初始弹幕识别模型中所述目标共享结构的参数，赋予给所述第一初始弹幕识别模型中的所述目标共享结构。
服务器完成对于第二初始弹幕识别模型的初步训练后，可以将该第二初始弹幕识别模型中目标共享结构的参数，赋予给经步骤501训练得到的第一初始弹幕识别模型中的目标共享结构。
示例性的，仍假设第一初始弹幕识别模型中的目标共享结构为该第一初始弹幕识别模型包括的第一初级特征提取结构中的全联通层，第二初始弹幕识别模型中的目标共享结构为该第二初始弹幕识别模型包括的第二初级特征提取结构中的全联通层，则服务器可以在完成对于第二初始弹幕识别模型的初步训练后，将该第二初始弹幕识别模型包括的第二初级特征提取结构中全联通层的参数，赋予给第一初始弹幕识别模型包括的第一初级特征提取结构中的全联通层。
步骤505：根据所述第一损失函数和所述第二损失函数，构建目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型和所述第二初始弹幕识别模型。
服务器经步骤501和步骤503构建得到第一损失函数和第二损失函数后，可以进一步利用该第一损失函数和第二损失函数，构建目标损失函数。例如，服务器可以按照预设的权重，对第一损失函数和第二损失函数进行加权求和处理，得到目标损失函数。当然，在实际应用中，服务器也可以采用其它方式，根据第一损失函数和第二损失函数构建目标损失函数，本申请在此不对该目标损失函数的构建方式做任何限定。
进而，服务器可以以最小化该目标损失函数作为训练目的，对第一初始弹幕识别模型和第二初始弹幕识别模型中的模型参数进行调整，并在调整的过程中，保证第一初始弹幕识别模型和第二初始弹幕识别模型中的目标共享结构参数共享，即使得第一初始弹幕识别模型中的目标共享结构与第二初始弹幕识别模型中的目标共享结构的参数保持一致，实现对于第一初始弹幕识别模型和第二初始弹幕识别模型的协同训练。
服务器循环执行上述步骤501至步骤505，实现对于第一初始弹幕识别模型和第二初始弹幕识别模型的多轮协同训练，直至第一初始弹幕识别模型和第二初始弹幕识别模型均满足训练结束条件为止。满足训练结束条件的第一初始弹幕识别模型和第二初始弹幕识别模型，分别为图2所示实施例中投入实际应用的第一弹幕识别模型和第二弹幕识别模型。
示例性的，上述训练结束条件可以是第一初始弹幕识别模型和第二初始弹幕识别的模型性能均达到预设的性能要求，例如，第一初始弹幕识别模型的识别准确度达到预设的第一准确度阈值，第二初始弹幕识别模型的识别准确度达到预设的第二准确度阈值。上述训练结束调整还可以是对于第一初始弹幕识别模型的训练轮次达到预设的第一训练轮次，对于第二初始弹幕识别模型的训练轮次达到预设的第二训练轮次。当然，在实际应用中，还可以根据实际需求设置其它训练结束条件，本申请在此不对该训练结束条件做任何限定。
需要说明的是，图5所示实施例以在每轮协同训练第一初始弹幕识别模型和第二初始弹幕识别模型时，先训练第一初始弹幕识别模型、后训练第二初始弹幕识别模型为例，在实际应用中，服务器每轮协同训练第一初始弹幕识别模型和第二初始弹幕识别模型时，也可以先训练第二初始弹幕识别模型、后训练第一初始弹幕识别模型。即，服务器可以先利用第二训练样本对第二初始弹幕识别模型进行初步训练，并且将初步训练得到的第二初始弹幕识别模型中目标共享结构的参数赋予给第一初始弹幕识别模型中的目标共享结构，然后利用第一训练样本对该第一初始弹幕识别模型进行训练，并且将初步训练得到的第一初始弹幕识别模型中目标共享结构的参数赋予给第二初始弹幕识别模型中的目标共享结构，进而，协同训练第一初始弹幕识别模型和第二初始弹幕识别模型。本申请在此不对每轮训练中第一初始弹幕识别模型和第二初始弹幕识别模型的训练顺序做任何限定。
上述弹幕识别模型训练方法，采用弱监督学习机制对第一初始弹幕识别模型进行初步训练，采用强监督学习机制对第二初始弹幕识别模型进行初步训练，并在完成初步训练后，使第一初始弹幕识别模型与第二初始弹幕识别模型共享其中目标共享结构的参数；进而，利用在初步训练过程中构建的损失函数，对参数共享后的第一初始弹幕识别模型和第二初始弹幕识别模型进行协同训练。如此，在多任务训练框架下，通过共享第一初始弹幕识别模型和第二初始弹幕识别模型中目标共享结构的参数的方式，实现第一初始弹幕识别模型的训练任务与第二初始弹幕识别模型的训练任务之间的互相帮助；如此，一方面，有助于提高模型的训练效率，使第一初始弹幕识别模型和第二初始弹幕识别模型可以更快满足训练结束条件；另一方面，有助于提高模型的训练效果，使第一初始弹幕识别模型和第二初始弹幕识别模型可以具备更优的模型性能。
参见图6，图6为本申请实施例提供的第二种弹幕识别模型训练方法的流程示意图。如图6所示，该弹幕识别模型训练方法包括以下步骤：
步骤601：获取待训练的文本分类模型以及第三训练样本；所述文本分类模型用于执行通用的文本分类任务，所述文本分类模型包括所述目标共享结构；所述第三训练样本包括第三训练文本及其对应的标注结果，所述标注结果用于表征所述第三训练文本在所述文本分类任务中的标准类型。
本申请实施例旨在在图5所示的多任务训练框架的基础上，进一步增加对于通用的文本分类模型的训练任务，即实现对于文本分类模型、第一初始弹幕识别模型和第二初始弹幕识别模型的协同训练，使得对于文本分类模型的训练任务、对于第一初始弹幕识别模型的训练任务以及对于第二初始弹幕识别模型的训练任务这三者之间可以互相帮助。
具体实现时，服务器需要先获取待训练的文本分类模型、以及用于训练该文本分类模型的第三训练样本。
上述文本分类模型可以是用于执行通用的文本分类任务的模型；例如，可以是用于执行情感分类任务的文本分类模型，又例如，可以是用于执行主题分类任务的文本分类模型，本申请在此不对该文本分类模型所执行的文本分类任务做具体限定；虽然该文本分类模型执行的文本分类任务与弹幕识别模型执行的弹幕识别任务在功能上并不相关，但是文本分类模型与弹幕识别模型所执行的任务本质上均属于文本分类任务，训练好文本分类模型的模型性能对于提升弹幕识别模型的模型性能也有所帮助。
此外，由于该文本分类模型需要参与协同训练，因此该文本分类模型也应包括目标共享结构，即该文本分类模型应包括用于与第一初始弹幕识别模型和第二初始弹幕识别模型中的目标共享结构进行参数共享的结构。
示例性的，所要训练的文本分类模型的工作原理可以如图7所示，该文本分类模型可以包括第三初级特征提取结构701和第三分类结构702，其中，第三初级特征提取结构701中可以包括RNN层和全联通层，该RNN层具体可以是GRU或者LSTM结构，第三分类结构702可以包括第一全联通层、CNN层、池化层和第二全联通层。文本分类模型具体工作时，可以通过第三初级特征提取结构701中的RNN层，对输入的文本中包括各个分词进行特征提取处理，得到文本中各个分词各自的基础词特征向量，然后再通过第三初级特征提取结构701中的全联通层，对文本中各个分词各自的基础词特征向量进行处理，得到文本中各个分词各自的初级词特征向量；进而，通过第三分类结构702中的第一全联通层、CNN层、池化层和第二全联通层，对文本中各个分词各自的初级词特征向量进行逐级处理，得到该文本在该文本分类模型执行的文本分类任务下的类型，即文本分类结果。
在文本分类模型的结构为图7所示的结构的情况下，该文本分类模型中的目标共享结构具体可以是第三初级特征提取结构701中的RNN层，或者可以是第三初级特征提取结构701中的全联通层，又或者也可以是第三初级特征提取结构701中的RNN层和全联通层。
对于用于执行通用的文本分类任务的模型，学术界通常有公开的可用于训练此类模型的训练数据集，基于此，服务器可以从已公开的训练数据集中获取用于第三训练样本。通常情况下，第三训练样本中包括第三训练文本及其对应的标注结果，该标注结果能够表征该第三训练文本在该文本分类模型所执行的文本分类任务中的标准类型；例如，假设所要训练的文本分类模型为用于执行情感分类任务的模型，则服务器可以从已公开的训练数据集中获取第三训练样本，第三训练样本中包括第三训练文本、以及该第三训练文本所属的情感类别。
步骤602：通过所述文本分类模型，根据所述第三训练样本中的所述第三训练文本，确定第三预测结果；根据所述第三预测结果和所述第三训练样本中的标注结果，构建第三损失函数；并基于所述第三损失函数，训练所述文本分类模型。
服务器获取到文本分类模型和第三训练样本后，可以利用该第三训练样本对该文本分类模型进行初步训练。具体的，服务器可以将第三训练样本中的第三训练文本输入待训练的文本分类模型，该文本分类模型对输入的第三训练文本进行分析处理后，将相应地输出该第三训练文本对应的预测类型，即第三预测结果。然后，服务器可以根据该第三预测结果与第三训练样本包括的标注结果之间的差距，构建第三损失函数；进而，以最小化该第三损失函数为目的，对该文本分类模型的模型参数进行初步调整，实现对于该文本分类模型的初步训练。
步骤603：将所述文本分类模型中所述目标共享结构的参数，赋予给所述第一初始弹幕识别模型或者所述第二初始弹幕识别模型中的所述目标共享结构。
服务器完成对于文本分类模型的初步训练后，可以将该文本分类模型中目标共享结构的参数，赋予给待训练的第一初始弹幕识别模型中的目标共享结构、或者待训练的第二初始弹幕识别模型中的目标共享结构。
具体的，若服务器欲在完成对于文本分类模型的初步训练后，先训练第一初始弹幕识别模型，则服务器可以将该文本分类模型中目标共享结构的参数，赋予给第一初始弹幕识别模型中的目标共享结构；若服务器欲在完成对于文本分类模型的初步训练后，先训练第二初始弹幕识别模型，则服务器可以将该文本分类模型中目标共享结构的参数，赋予给第二初始弹幕识别模型中的目标共享结构。下文中以服务器在完成对于文本分类模型的初步训练后，先训练第一初始弹幕识别模型为例进行介绍。
示例性的，假设文本分类模型中的目标共享结构为该文本分类模型包括的第三初级特征提取结构中的全联通层，第一初始弹幕识别模型中的目标共享结构为该第一初始弹幕识别模型包括的第一初级特征提取结构中的全联通层，则服务器可以在完成对于文本分类模型的初步训练后，将该文本分类模型包括的第三初级特征提取结构中全联通层的参数，赋予给第一初始弹幕识别模型包括的第一初级特征提取结构中的全联通层。
步骤604：通过第一初始弹幕识别模型，根据所述第一训练样本中的所述第一训练文本，确定第一预测结果；根据所述第一预测结果和所述第一训练样本中的所述弱标注结果，构建第一损失函数；并基于所述第一损失函数，训练所述第一初始弹幕识别模型。
服务器将文本分类模型中目标共享结构的参数赋予给第一初始弹幕识别模型中的目标共享结构后，可以对该第一初始弹幕识别模型进行初步训练。具体训练方式与图5所示实施例中步骤501介绍的训练方式相同，详细可参见图5所示实施例中步骤501中的介绍内容，此处不再赘述。
步骤605：将所述第一初始弹幕识别模型中所述目标共享结构的参数，赋予给所述文本分类模型和第二初始弹幕识别模型中的所述目标共享结构。
服务器完成对于第一初始弹幕识别模型的初步训练后，可以将该第一初始弹幕识别模型中目标共享结构的参数，赋予给文本分类模型中的目标共享结构、以及待训练的第二初始弹幕识别模型中的目标共享结构。
步骤606：通过所述第二初始弹幕识别模型，根据所述第二训练样本中的所述第二训练文本，确定第二预测结果；根据所述第二预测结果和所述第二训练样本中的所述强标注结果，构建第二损失函数；并基于所述第二损失函数，训练所述第二初始弹幕识别模型。
服务器将第一初始弹幕识别模型中目标共享结构的参数赋予给第二初始弹幕识别模型中的目标共享结构后，可以对该第二初始弹幕识别模型进行初步训练。具体训练方式与图5所示实施例中步骤503介绍的训练方式相同，详细可参见图5所示实施例中步骤503中的介绍内容，此处不再赘述。
步骤607：将所述第二初始弹幕识别模型中所述目标共享结构的参数，赋予给所述文本分类模型和所述第一初始弹幕识别模型中的所述目标共享结构。
服务器完成对于第二初始弹幕识别模型的初步训练后，可以将该第二初始弹幕识别模型中目标共享结构的参数，赋予给文本分类模型中的目标共享结构、以及经步骤604训练得到的第一初始弹幕识别模型中的目标共享结构。
步骤608：根据所述第一损失函数、所述第二损失函数和所述第三损失函数，构建所述目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型、所述第二初始弹幕识别模型和所述文本分类模型。
服务器经步骤602、步骤604和步骤606，分别构建得到第三损失函数、第一损失函数和第二损失函数后，可以进一步利用该第三损失函数、第一损失函数和第二损失函数，构建目标损失函数。例如，服务器可以按照预设的权重，对第一损失函数、第二损失函数和第三损失函数进行加权求和处理，得到目标损失函数。当然，在实际应用中，服务器也可以采用其它方式，根据第一损失函数、第二损失函数和第三损失函数构建目标损失函数，本申请在此不对该目标损失函数的构建方式做任何限定。
进而，服务器可以以最小化该目标损失函数作为训练目的，对文本分类模型、第一初始弹幕识别模型和第二初始弹幕识别模型中的模型参数进行调整，并在调整的过程中，保证文本分类模型、第一初始弹幕识别模型和第二初始弹幕识别模型中的目标共享结构参数共享，即使得文本分类模型中的目标共享结构、第一初始弹幕识别模型中的目标共享结构与第二初始弹幕识别模型中的目标共享结构的参数保持一致，实现对于文本分类模型、第一初始弹幕识别模型和第二初始弹幕识别模型的协同训练。
服务器循环执行上述步骤601至步骤608，实现对于文本分类模型、第一初始弹幕识别模型和第二初始弹幕识别模型的多轮协同训练，直至文本分类模型、第一初始弹幕识别模型和第二初始弹幕识别模型均满足训练结束条件为止。满足训练结束条件的第一初始弹幕识别模型和第二初始弹幕识别模型，分别为图2所示实施例中投入实际应用的第一弹幕识别模型和第二弹幕识别模型。
示例性的，上述训练结束条件可以是文本分类模型、第一初始弹幕识别模型和第二初始弹幕识别的模型性能均达到预设的性能要求，例如，第一初始弹幕识别模型的识别准确度达到预设的第一准确度阈值，第二初始弹幕识别模型的识别准确度达到预设的第二准确度阈值，文本分类模型的识别准确度达到预设的第三准确度阈值。上述训练结束调整还可以是对于第一初始弹幕识别模型的训练轮次达到预设的第一训练轮次，对于第二初始弹幕识别模型的训练轮次达到预设的第二训练轮次，对于文本分类模型的训练轮次达到预设的第三训练轮次。当然，在实际应用中，还可以根据实际需求设置其它训练结束条件，本申请在此不对该训练结束条件做任何限定。
需要说明的是，图6所示实施例以在每轮协同训练第一初始弹幕识别模型、第二初始弹幕识别模型和文本分类模型时，先训练文本分类模型、再训练第一初始弹幕识别模型、最后训练第二初始弹幕识别模型为例，在实际应用中，服务器每轮协同训练第一初始弹幕识别模型、第二初始弹幕识别模型和文本分类模型时，也可以先训练第一初始弹幕识别模型、再训练第二初始弹幕识别模型、最后训练文本分类模型，还可以先训练第二初始弹幕识别模型、再训练第一初始弹幕识别模型、最后训练文本分类模型，本申请在此不对每轮训练中第一初始弹幕识别模型、第二初始弹幕识别模型和文本分类模型的训练顺序做任何限定。
上述弹幕识别模型训练方法，采用弱监督学习机制对第一初始弹幕识别模型进行初步训练，采用强监督学习机制对文本分类模型和第二初始弹幕识别模型进行初步训练，并在完成初步训练后，使第一初始弹幕识别模型、第二初始弹幕识别模型和文本分类模型共享其中目标共享结构的参数；进而，利用在初步训练过程中构建的损失函数，对参数共享后的第一初始弹幕识别模型、第二初始弹幕识别模型和文本分类模型进行协同训练。如此，在多任务训练框架下，通过共享第一初始弹幕识别模型、第二初始弹幕识别模型和文本分类模型中目标共享结构的参数的方式，实现第一初始弹幕识别模型的训练任务、第二初始弹幕识别模型的训练任务以及文本分类模型的训练任务之间的互相帮助；如此，更有助于提高模型的训练效率，使第一初始弹幕识别模型和第二初始弹幕识别模型可以更快满足训练结束条件；并且，也更有助于提高模型的训练效果，使第一初始弹幕识别模型和第二初始弹幕识别模型可以具备更优的模型性能。
参见图8，图8为本申请实施例提供的第三种弹幕识别模型训练方法的流程示意图。如图8所示，该弹幕识别模型训练方法包括以下步骤：
步骤801：获取待训练的语义特征提取模型以及第四训练样本；所述语义特征提取模型用于提取文本中各分词各自的词特征向量，所述语义特征提取模型包括所述目标共享结构；所述第四训练样本包括第四训练文本。
本申请实施例旨在在图5所示的多任务训练框架的基础上，进一步增加对于语义特征提取模型的训练任务，即实现对于语义特征提取模型、第一初始弹幕识别模型和第二初始弹幕识别模型的协同训练，使得对于语义特征提取模型的训练任务、对于第一初始弹幕识别模型的训练任务以及对于第二初始弹幕识别模型的训练任务这三者之间可以互相帮助。
具体实现时，服务器需要先获取待训练的语义特征提取模型、以及大量用于训练该语义特征提取模型的第四训练样本。上述语义特征提取模型可以是用于提取文本中各分词各自的词特征向量的模型。上述第四训练样本可以包括第四训练文本，该第四训练文本可以是通过任意方式获取的文本，例如，该第四训练文本可以是从网页上随机爬取的文本，也可以是人工构建的文本，等等，本申请在此不对该第四训练文本的获取方式做任何限定。
训练该语义特征提取模型时，可以利用该语义特征提取模型对第四训练文本进行处理，得到该第四训练文本中各分词各自的预测词特征向量。进而，基于语义相似的两个词的词特征向量之间应具有较高的相似度、而语义不相似的两个词的词特征向量之间应具有较低的相似度这一原理，针对第四训练文本中的分词，计算其预测词特征向量以及与其语义相似的词的预测词特征向量之间的相似度，并且计算其预测词特征向量与其语义不相似的词的预测词特征向量之间的相似度，最终利用计算得到的各相似度，对语义特征提取模型进行训练。
此外，由于该语义特征提取模型需要参与协同训练，因此该语义特征提取模型也应包括目标共享结构，即该语义特征提取模型应包括用于与第一初始弹幕识别模型和第二初始弹幕识别模型中的目标共享结构进行参数共享的结构。
示例性的，所要训练的语义特征提取模型的工作原理可以如图9所示，该语义特征提取模型可以包括第四初级特征提取结构901和深层特征提取结构902，其中，第四初级特征提取结构901中可以包括RNN层和全联通层，该RNN层具体可以是GRU或者LSTM结构，深层特征提取结构902可以包括另一全联通层。语义特征提取模型具体工作时，可以通过第四初级特征提取结构901中的RNN层，对输入的文本中包括各个分词进行特征提取处理，得到文本中各个分词各自的基础词特征向量，然后再通过第四初级特征提取结构901中的全联通层，对文本中各个分词各自的基础词特征向量进行处理，得到文本中各个分词各自的初级词特征向量；进而，通过深层特征提取结构902中的全联通层，对文本中各个分词各自的初级词特征向量进行处理，得到该文本中各分词各自的词特征向量。
在语义特征提取模型的结构为图9所示的结构的情况下，该语义特征提取模型中的目标共享结构具体可以是第四初级特征提取结构901中的RNN层，或者可以是第四初级特征提取结构901中的全联通层，又或者也可以是第四初级特征提取结构901中的RNN层和全联通层。
步骤802：通过所述语义特征提取模型，提取所述第四训练文本中各分词各自的预测词特征向量；针对所述第四训练文本中各目标分词确定其各自对应的正向相似词和反向相似词，根据所述第四训练文本中各所述目标分词各自的预测词特征向量、各所述目标分词各自对应的正向相似词的预测词特征向量、以及各所述目标分词各自对应的反向相似词的预测词特征向量，构建第四损失函数；并基于所述第四损失函数，训练所述语义特征提取模型。
服务器获取到语义特征提取模型和第四训练样本后，可以利用该第四训练样本对该语义特征提取模型进行初步训练。具体的，服务器可以将第四训练样本中的第四训练文本输入待训练的语义特征提取模型，该语义特征提取模型对该第四训练文本进行词特征提取处理后，将相应地输出该第四训练文本中各分词各自的预测词特征向量；进而，服务器可以针对第四训练文本中的各个目标分词，确定其各自对应的正向相似词和反向相似词，进而，根据该第四训练文本中各个目标分词各自的预测词特征向量、各个目标分词各自对应的正向相似词的预测词特征向量、以及各个目标分词各自对应的反向相似词的预测词特征向量，构建第四损失函数；并且基于该第四损失函数，对语义特征提取模型的模型参数进行初步调整，实现对于该语义特征提取模型的初步训练。
需要说明的是，第四训练文本中的目标分词是指该第四训练文本中具有实质含义的名词、动词和/或形容词。目标分词对应的正向相似词是与该目标分词语义相似的词，正向相似词的预测词特征向量是通过语义特征提取模型对该正向相似词所属的文本进行处理得到的。目标分词对应的反向相似词是与该目标分词语义不相似的词，反向相似词的预测词特征向量是通过语义特征提取模型对该反向相似词所属的文本进行处理得到的。
作为一种示例，服务器可以通过以下方式，针对第四训练文本中的目标分词确定其对应的正向相似词和反向相似词：针对第四训练文本中的每个目标分词，服务器可以确定该第四训练文本中除该目标分词自身外的其它目标分词，作为该目标分词对应的正向相似词；针对第四训练文本中的每个目标分词，服务器可以确定除该第四训练文本自身外的其它文本中的目标分词，作为该目标分词对应的反向相似词。
具体的，服务器可以基于所属于同一句话的词彼此间具有相同或相似的含义，而所属于不同句话的词彼此间的语义相似度较低这一假设，针对第四训练文本中的目标分词确定其对应的正向相似词和反向相似词；例如，在“学生在学校学习”这句话中，“学生”、“学校”以及“学习”这三个词之间具有相似的含义，而在“学生在学校学习”和“你今天吃饭了吗”这两句话中，“学校”和“今天”之间的语义相似度很低。基于上述假设针对第四训练文本中的目标分词确定其对应的正向相似词和反向相似词时，可以将该第四训练文本自身中除了该目标分词以外的其它目标分词，均作为该目标分词对应的正向相似词，可以从除该第四训练文本自身外的其它文本中包括的目标分词中，随机选取预设数目个目标分词，作为该目标分词对应的反向相似词。
如此，通过上述方式确定目标分词对应的正向相似词和反向相似词，可以快速高效地确定出目标分词对应的正向相似词和反向相似词，并且可以在一定程度上保证所确定的正向相似词和反向相似词的准确性。
服务器具体构建第四损失函数时，可以针对第四训练文本中的每个目标分词，利用该目标分词及其对应的正向相似词，组成该目标分词对应的正向组合，并且确定该正向组合中正向相似词的预测词特征向量与该目标分词的预测词特征向量之间的相似度，作为该正向组合对应的相似度；以及，利用该目标分词及其对应的反向相似词，组成该目标分词对应的反向组合，并且确定该反向组合中反向相似词的预测词特征向量与该目标分词的预测词特征向量之间的相似度，作为该反向组合对应的相似度。然后，针对该第四训练文本中的每个目标分词，根据该目标分词对应的各正向组合各自对应的相似度、以及该目标分词对应的各反向组合各自对应的相似度，确定该目标分词对应的损失值。进而，根据该第四训练文本中各目标分词各自对应的损失值，构建第四损失函数。
示例性的，服务器可以针对第四训练文本中的每个目标分词，构建该目标分词对应的各个正向组合和各个反向组合。假设目标分词对应的正向相似词包括m（m为大于或等于1的整数）个，则服务器可以相应地构建出m个该目标分词对应的正向组合，每个正向组合中包括不同的正向相似词；并且针对每个正向组合，服务器还可以确定该正向组合对应的相似度，例如，计算目标分词对应的预测词特征向量与该正向组合中包括的正向相似词的预测词特征向量之间的余弦相似度，作为该正向组合对应的相似度。假设目标分词对应的反向相似词包括n（n为大于或等于1的整数）个，则服务器可以相应地构建出n个该目标分词对应的反向组合，每个反向组合中包括不同的反向相似词；并且针对每个反向组合，服务器还可以确定该反向组合对应的相似度，例如，计算目标分词对应的预测词特征向量与该反向组合中包括的反向相似词的预测词特征向量之间的余弦相似度，作为该反向组合对应的相似度。预测词特征向量a与预测词特征向量b之间的余弦相似度计算公式如下：
Figure 889074DEST_PATH_IMAGE001
进而，服务器可以针对第四训练样本中的每个目标分词，确定其对应的损失值。具体的，服务器可以基于该目标分词对应的各正向组合和该目标分词对应的各反向组合，构建该目标分词对应的多个正反向组合，每个正反向组合中包括一个该目标分词对应的正向组合和一个该目标分词对应的反向组合，不同的正反向组合中包括的正向组合和反向组合存在至少一个不同；示例性的，服务器可以遍历两两组合目标分词对应的各正向组合和该目标分词对应的反向组合，得到该目标分词对应的多个正反向组合；然后，针对该目标分词对应的每个正反向组合，服务器可以计算该正反向组合中正向组合对应的相似度与反向组合对应的相似度的差值，作为该正反向组合对应的损失值；进而，服务器根据该目标分词对应的各个正反向组合各自对应的损失值，确定该目标分词对应的损失值，例如，服务器可以计算该目标分词对应的各个正反向组合各自对应的损失值的平均值，作为该目标分词对应的损失值。
服务器通过上述方式，针对第四训练文本中的各个目标分词确定出其各自对应的损失值后，可以根据该第四训练文本中各个目标分词各自对应的损失值，构建第四损失函数；例如，服务器可以对第四训练文本中各个目标分词各自对应的损失值进行求和处理，进而基于求和处理后得到的数值构建第四损失函数。
如此，通过上述方式构建第四损失函数，可以使得构建得到的第四损失函数更有利于训练语义特征提取模型，即基于该第四损失函数对语义特征提取模型进行训练，有助于更高效地提高该语义特征提取模型的模型性能。
应理解，在实际应用中，服务器也可以采用其它方式构建上述第四损失函数，本申请在此不对该第四损失函数的构建方式做任何限定。
步骤803：将所述语义特征提取模型中所述目标共享结构的参数，赋予给所述第一初始弹幕识别模型或者所述第二初始弹幕识别模型中的所述目标共享结构。
服务器完成对于语义特征提取模型的初步训练后，可以将该语义特征提取模型中目标共享结构的参数，赋予给待训练的第一初始弹幕识别模型中的目标共享结构、或者待训练的第二初始弹幕识别模型中的目标共享结构。
具体的，若服务器欲在完成对于语义特征提取模型的初步训练后，先训练第一初始弹幕识别模型，则服务器可以将该语义特征提取模型中目标共享结构的参数，赋予给第一初始弹幕识别模型中的目标共享结构；若服务器欲在完成对于语义特征提取模型的初步训练后，先训练第二初始弹幕识别模型，则服务器可以将该语义特征提取模型中目标共享结构的参数，赋予给第二初始弹幕识别模型中的目标共享结构。下文中以服务器在完成对于语义特征提取模型的初步训练后，先训练第一初始弹幕识别模型为例进行介绍。
示例性的，假设语义特征提取模型中的目标共享结构为该语义特征提取模型包括的第四初级特征提取结构中的全联通层，第一初始弹幕识别模型中的目标共享结构为该第一初始弹幕识别模型包括的第一初级特征提取结构中的全联通层，则服务器可以在完成对于语义特征提取模型的初步训练后，将该语义特征提取模型包括的第四初级特征提取结构中全联通层的参数，赋予给第一初始弹幕识别模型包括的第一初级特征提取结构中的全联通层。
步骤804：通过第一初始弹幕识别模型，根据所述第一训练样本中的所述第一训练文本，确定第一预测结果；根据所述第一预测结果和所述第一训练样本中的所述弱标注结果，构建第一损失函数；并基于所述第一损失函数，训练所述第一初始弹幕识别模型。
服务器将语义特征提取模型中目标共享结构的参数赋予给第一初始弹幕识别模型中的目标共享结构后，可以对该第一初始弹幕识别模型进行初步训练。具体训练方式与图5所示实施例中步骤501介绍的训练方式相同，详细可参见图5所示实施例中步骤501中的介绍内容，此处不再赘述。
步骤805：将所述第一初始弹幕识别模型中所述目标共享结构的参数，赋予给所述语义特征提取模型和第二初始弹幕识别模型中的所述目标共享结构。
服务器完成对于第一初始弹幕识别模型的初步训练后，可以将该第一初始弹幕识别模型中目标共享结构的参数，赋予给语义特征提取模型中的目标共享结构、以及待训练的第二初始弹幕识别模型中的目标共享结构。
步骤806：通过所述第二初始弹幕识别模型，根据所述第二训练样本中的所述第二训练文本，确定第二预测结果；根据所述第二预测结果和所述第二训练样本中的所述强标注结果，构建第二损失函数；并基于所述第二损失函数，训练所述第二初始弹幕识别模型。
服务器将第一初始弹幕识别模型中目标共享结构的参数赋予给第二初始弹幕识别模型中的目标共享结构后，可以对该第二初始弹幕识别模型进行初步训练。具体训练方式与图5所示实施例中步骤503介绍的训练方式相同，详细可参见图5所示实施例中步骤503中的介绍内容，此处不再赘述。
步骤807：将所述第二初始弹幕识别模型中所述目标共享结构的参数，赋予给所述语义特征提取模型和所述第一初始弹幕识别模型中的所述目标共享结构。
服务器完成对于第二初始弹幕识别模型的初步训练后，可以将该第二初始弹幕识别模型中目标共享结构的参数，赋予给语义特征提取模型中的目标共享结构、以及经步骤804训练得到的第一初始弹幕识别模型中的目标共享结构。
步骤808：根据所述第一损失函数、所述第二损失函数和所述第四损失函数，构建所述目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型、所述第二初始弹幕识别模型和所述语义特征提取模型。
服务器经步骤802、步骤804和步骤806，分别构建得到第四损失函数、第一损失函数和第二损失函数后，可以进一步利用该第四损失函数、第一损失函数和第二损失函数，构建目标损失函数。例如，服务器可以按照预设的权重，对第一损失函数、第二损失函数和第四损失函数进行加权求和处理，得到目标损失函数。当然，在实际应用中，服务器也可以采用其它方式，根据第一损失函数、第二损失函数和第四损失函数构建目标损失函数，本申请在此不对该目标损失函数的构建方式做任何限定。
进而，服务器可以以最小化该目标损失函数作为训练目的，对语义特征提取模型、第一初始弹幕识别模型和第二初始弹幕识别模型中的模型参数进行调整，并在调整的过程中，保证语义特征提取模型、第一初始弹幕识别模型和第二初始弹幕识别模型中的目标共享结构参数共享，即使得语义特征提取模型中的目标共享结构、第一初始弹幕识别模型中的目标共享结构与第二初始弹幕识别模型中的目标共享结构的参数保持一致，实现对于语义特征提取模型、第一初始弹幕识别模型和第二初始弹幕识别模型的协同训练。
服务器循环执行上述步骤801至步骤808，实现对于语义特征提取模型、第一初始弹幕识别模型和第二初始弹幕识别模型的多轮协同训练，直至语义特征提取模型、第一初始弹幕识别模型和第二初始弹幕识别模型均满足训练结束条件为止。满足训练结束条件的第一初始弹幕识别模型和第二初始弹幕识别模型，分别为图2所示实施例中投入实际应用的第一弹幕识别模型和第二弹幕识别模型。
示例性的，上述训练结束条件可以是语义特征提取模型、第一初始弹幕识别模型和第二初始弹幕识别的模型性能均达到预设的性能要求，例如，第一初始弹幕识别模型的识别准确度达到预设的第一准确度阈值，第二初始弹幕识别模型的识别准确度达到预设的第二准确度阈值，语义特征提取模型模型提取的词特征的准确度达到预设的第四准确度阈值。上述训练结束调整还可以是对于第一初始弹幕识别模型的训练轮次达到预设的第一训练轮次，对于第二初始弹幕识别模型的训练轮次达到预设的第二训练轮次，对于语义特征提取模型的训练轮次达到预设的第四训练轮次。当然，在实际应用中，还可以根据实际需求设置其它训练结束条件，本申请在此不对该训练结束条件做任何限定。
需要说明的是，图8所示实施例以在每轮协同训练第一初始弹幕识别模型、第二初始弹幕识别模型和语义特征提取模型时，先训练语义特征提取模型、再训练第一初始弹幕识别模型、最后训练第二初始弹幕识别模型为例，在实际应用中，服务器每轮协同训练第一初始弹幕识别模型、第二初始弹幕识别模型和语义特征提取模型时，也可以先训练第一初始弹幕识别模型、再训练第二初始弹幕识别模型、最后训练语义特征提取模型，还可以先训练第二初始弹幕识别模型、再训练第一初始弹幕识别模型、最后训练语义特征提取模型，本申请在此不对每轮训练中第一初始弹幕识别模型、第二初始弹幕识别模型和语义特征提取模型的训练顺序做任何限定。
上述弹幕识别模型训练方法，采用弱监督学习机制对第一初始弹幕识别模型和语义特征提取模型进行初步训练，采用强监督学习机制对第二初始弹幕识别模型进行初步训练，并在完成初步训练后，使第一初始弹幕识别模型、第二初始弹幕识别模型和语义特征提取模型共享其中目标共享结构的参数；进而，利用在初步训练过程中构建的损失函数，对参数共享后的第一初始弹幕识别模型、第二初始弹幕识别模型和语义特征提取模型进行协同训练。如此，在多任务训练框架下，通过共享第一初始弹幕识别模型、第二初始弹幕识别模型和语义特征提取模型中目标共享结构的参数的方式，实现第一初始弹幕识别模型的训练任务、第二初始弹幕识别模型的训练任务以及语义特征提取模型的训练任务之间的互相帮助；如此，更有助于提高模型的训练效率，使第一初始弹幕识别模型和第二初始弹幕识别模型可以更快满足训练结束条件；并且，也更有助于提高模型的训练效果，使第一初始弹幕识别模型和第二初始弹幕识别模型可以具备更优的模型性能。
参见图10，图10为本申请实施例提供的第四种弹幕识别模型训练方法的流程示意图。如图10所示，该弹幕识别模型训练方法包括以下步骤：
步骤1001：获取待训练的文本分类模型和语义特征提取模型、以及第三训练样本和第四训练样本；所述文本分类模型用于执行通用的文本分类任务，所述语义特征提取模型用于提取文本中各分词各自的词特征向量，所述文本分类模型和所述语义特征提取模型均包括所述目标共享结构；所述第三训练样本包括第三训练文本及其对应的标注结果，所述标注结果用于表征所述第三训练文本在所述文本分类任务中的标准类型；所述第四训练样本包括第四训练文本。
本申请实施例旨在在图5所示的多任务训练框架的基础上，进一步增加对于通用的文本分类模型的训练任务和对于语义特征提取模型的训练任务，即实现对于文本分类模型、语义特征提取模型、第一初始弹幕识别模型和第二初始弹幕识别模型的协同训练，使得对于文本分类模型的训练任务、对于语义特征提取模型的训练任务、对于第一初始弹幕识别模型的训练任务以及对于第二初始弹幕识别模型的训练任务这四者之间可以互相帮助。
其中，获取文本分类模型以及用于训练该文本分类模型的第三训练样本的实现方式，可参见图6所示实施例中步骤601的相关介绍内容，此处不再赘述；获取语义特征提取模型以及用于训练该语义特征提取模型的第四训练样本的实现方式，可参见图8所示实施例中步骤801的相关介绍内容，此处不再赘述。
步骤1002：通过所述文本分类模型，根据所述第三训练样本中的所述第三训练文本，确定第三预测结果；根据所述第三预测结果和所述第三训练样本中的标注结果，构建第三损失函数；并基于所述第三损失函数，训练所述文本分类模型。
服务器初步训练文本分类模型的实现方式，可参见图6所示实施例中步骤602的相关介绍内容，此处不再赘述。
步骤1003：将所述文本分类模型中所述目标共享结构的参数，赋予给所述语义特征提取模型中的所述目标共享结构。
服务器完成对于文本分类模型的初步训练后，可以将该文本分类模型中目标共享结构的参数，赋予给待训练的语义特征提取模型中的目标共享结构。
步骤1004：通过所述语义特征提取模型，提取所述第四训练文本中各分词各自的预测词特征向量；针对所述第四训练文本中各目标分词确定其各自对应的正向相似词和反向相似词，根据所述第四训练文本中各所述目标分词各自的预测词特征向量、各所述目标分词各自对应的正向相似词的预测词特征向量、以及各所述目标分词各自对应的反向相似词的预测词特征向量，构建第四损失函数；并基于所述第四损失函数，训练所述语义特征提取模型。
服务器将文本分类模型中目标共享结构的参数赋予给语义特征提取模型中的目标共享结构后，可以对该语义特征提取模型进行初步训练。服务器初步训练语义特征提取模型的实现方式，可参见图8所示实施例中步骤802的相关介绍内容，此处不再赘述。
步骤1005：将所述语义特征提取模型中所述目标共享结构的参数，赋予给所述文本分类模型中的目标共享结构，并且赋予给所述第一初始弹幕识别模型或者所述第二初始弹幕识别模型中的所述目标共享结构。
服务器完成对于语义特征提取模型的初步训练后，可以将该语义特征提取模型中目标共享结构的参数，赋予给通过步骤1002训练得到的文本分类模型中的目标共享结构，以及赋予给待训练的第一初始弹幕识别模型中的目标共享结构、或者待训练的第二初始弹幕识别模型中的目标共享结构。
具体的，若服务器欲在完成对于语义特征提取模型的初步训练后，先训练第一初始弹幕识别模型，则服务器可以将该语义特征提取模型中目标共享结构的参数，赋予给第一初始弹幕识别模型中的目标共享结构；若服务器欲在完成对于语义特征提取模型的初步训练后，先训练第二初始弹幕识别模型，则服务器可以将该语义特征提取模型中目标共享结构的参数，赋予给第二初始弹幕识别模型中的目标共享结构。下文中以服务器在完成对于语义特征提取模型的初步训练后，先训练第一初始弹幕识别模型为例进行介绍。
步骤1006：通过第一初始弹幕识别模型，根据所述第一训练样本中的所述第一训练文本，确定第一预测结果；根据所述第一预测结果和所述第一训练样本中的所述弱标注结果，构建第一损失函数；并基于所述第一损失函数，训练所述第一初始弹幕识别模型。
服务器将语义特征提取模型中目标共享结构的参数赋予给第一初始弹幕识别模型中的目标共享结构后，可以对该第一初始弹幕识别模型进行初步训练。具体训练方式与图5所示实施例中步骤501介绍的训练方式相同，详细可参见图5所示实施例中步骤501中的介绍内容，此处不再赘述。
步骤1007：将所述第一初始弹幕识别模型中所述目标共享结构的参数，赋予给所述文本分类模型、所述语义特征提取模型和第二初始弹幕识别模型中的所述目标共享结构。
服务器完成对于第一初始弹幕识别模型的初步训练后，可以将该第一初始弹幕识别模型中目标共享结构的参数，赋予给文本分类模型中的目标共享结构、语义特征提取模型中的目标共享结构、以及待训练的第二初始弹幕识别模型中的目标共享结构。
步骤1008：通过所述第二初始弹幕识别模型，根据所述第二训练样本中的所述第二训练文本，确定第二预测结果；根据所述第二预测结果和所述第二训练样本中的所述强标注结果，构建第二损失函数；并基于所述第二损失函数，训练所述第二初始弹幕识别模型。
服务器将第一初始弹幕识别模型中目标共享结构的参数赋予给第二初始弹幕识别模型中的目标共享结构后，可以对该第二初始弹幕识别模型进行初步训练。具体训练方式与图5所示实施例中步骤503介绍的训练方式相同，详细可参见图5所示实施例中步骤503中的介绍内容，此处不再赘述。
步骤1009：将所述第二初始弹幕识别模型中所述目标共享结构的参数，赋予给所述文本分类模型、所述语义特征提取模型和所述第一初始弹幕识别模型中的所述目标共享结构。
服务器完成对于第二初始弹幕识别模型的初步训练后，可以将该第二初始弹幕识别模型中目标共享结构的参数，赋予给文本分类模型中的目标共享结构、语义特征提取模型中的目标共享结构、以及第一初始弹幕识别模型中的目标共享结构。
步骤1010：根据所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数，构建所述目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型、所述第二初始弹幕识别模型、所述文本分类模型和所述语义特征提取模型。
服务器经步骤1002、步骤1004、步骤1006和步骤1008，分别构建得到第三损失函数、第四损失函数、第一损失函数和第二损失函数后，可以进一步利用该第三损失函数、第四损失函数、第一损失函数和第二损失函数，构建目标损失函数。例如，服务器可以按照预设的权重，对第一损失函数、第二损失函数、第三损失函数和第四损失函数进行加权求和处理，得到目标损失函数。当然，在实际应用中，服务器也可以采用其它方式，根据第一损失函数、第二损失函数、第三损失函数和第四损失函数构建目标损失函数，本申请在此不对该目标损失函数的构建方式做任何限定。
进而，服务器可以以最小化该目标损失函数作为训练目的，对文本分类模型、语义特征提取模型、第一初始弹幕识别模型和第二初始弹幕识别模型中的模型参数进行调整，并在调整的过程中，保证文本分类模型、语义特征提取模型、第一初始弹幕识别模型和第二初始弹幕识别模型中的目标共享结构参数共享，即使得文本分类模型中的目标共享结构、语义特征提取模型中的目标共享结构、第一初始弹幕识别模型中的目标共享结构与第二初始弹幕识别模型中的目标共享结构的参数保持一致，实现对于文本分类模型、语义特征提取模型、第一初始弹幕识别模型和第二初始弹幕识别模型的协同训练。
服务器循环执行上述步骤1001至步骤1010，实现对于文本分类模型、语义特征提取模型、第一初始弹幕识别模型和第二初始弹幕识别模型的多轮协同训练，直至文本分类模型、语义特征提取模型、第一初始弹幕识别模型和第二初始弹幕识别模型均满足训练结束条件为止。满足训练结束条件的第一初始弹幕识别模型和第二初始弹幕识别模型，分别为图2所示实施例中投入实际应用的第一弹幕识别模型和第二弹幕识别模型。
需要说明的是，图10所示实施例以在每轮协同训练第一初始弹幕识别模型、第二初始弹幕识别模型、文本分类模型和语义特征提取模型时，先训练文本分类模型，再训练语义特征提取模型、再训练第一初始弹幕识别模型、最后训练第二初始弹幕识别模型为例，在实际应用中，服务器每轮协同训练第一初始弹幕识别模型、第二初始弹幕识别模型、文本分类模型和语义特征提取模型时，也可以根据实际需求设置各个模型的训练顺序，本申请在此不对每轮训练中第一初始弹幕识别模型、第二初始弹幕识别模型、文本分类模型和语义特征提取模型的训练顺序做任何限定。
上述弹幕识别模型训练方法，采用弱监督学习机制对第一初始弹幕识别模型和语义特征提取模型进行初步训练，采用强监督学习机制对第二初始弹幕识别模型和文本分类模型进行初步训练，并在完成初步训练后，使第一初始弹幕识别模型、第二初始弹幕识别模型、文本分类模型和语义特征提取模型共享其中目标共享结构的参数；进而，利用在初步训练过程中构建的损失函数，对参数共享后的第一初始弹幕识别模型、第二初始弹幕识别模型、文本分类模型和语义特征提取模型进行协同训练。如此，在多任务训练框架下，通过共享第一初始弹幕识别模型、第二初始弹幕识别模型、文本分类模型和语义特征提取模型中目标共享结构的参数的方式，实现第一初始弹幕识别模型的训练任务、第二初始弹幕识别模型的训练任务、文本分类模型的训练任务以及语义特征提取模型的训练任务之间的互相帮助；如此，更有助于提高模型的训练效率，使第一初始弹幕识别模型和第二初始弹幕识别模型可以更快满足训练结束条件；并且，也更有助于提高模型的训练效果，使第一初始弹幕识别模型和第二初始弹幕识别模型可以具备更优的模型性能。
为了便于进一步理解本申请实施例提供的技术方案，下面以本申请实施例提供的数据处理方法应用在识别游戏直播中的弹幕是否属于不良弹幕的场景中为例，结合图11所示的模型训练框架示意图，对本申请实施例提供的数据处理方法的整体实现过程进行示例性介绍。本申请实施例提供的数据处理方法的整体实现过程主要分为以下几个模块：1、基于通用语料的训练文本分类模型；2、基于语义相似度训练语义特征提取模型；3、基于强监督学习机制训练第二弹幕识别模型；4、基于弱监督学习机制训练第一弹幕识别模型；5、整体训练。下面对这几个模块分别进行介绍。
1、基于通用语料的训练文本分类模型。
所训练的文本分类模型的具体结构可以如图7所示。图7所示的文本分类模型对输入的第三训练文本进行处理后，将输出该第三训练文本属于某种分类的概率；进而，可以基于第三训练文本中包括的标注结果该该文本分类模型输出的概率值，构建用于训练该文本分类模型的损失函数，并利用该损失函数对该文本分类模型进行初步训练。
训练该文本分类模型时，可以使用学术界公开的通用的文本分类数据作为第三训练样本，例如，可以使用情感分类任务、主题分类任务下的文本分类数据作为第三训练样本，虽然该文本分类模型执行的文本分类任务与弹幕识别模型执行的弹幕识别任务在功能上并不相关，但是文本分类模型与弹幕识别模型所执行的任务本质上均属于文本分类任务，训练好文本分类模型的模型性能对于提升弹幕识别模型的模型性能也有所帮助。
2、基于语义相似度训练语义特征提取模型
所训练的语义特征提取模型的具体结构可以如图9所示。在模型结构上，为了让所执行的多个训练任务更好地配合，本申请实施例中几个训练任务所训练的模型都是基于RNN的模型，即该语义特征提取模型与上文中提及的文本分类模型的模型结构相似，二者的区别具体在于所执行的任务。
通过该语义特征提取模型对第四训练样本中的第四训练文本进行处理，得到该第四训练文本中各分词各自的预测词特征向量后，可以使用语义相似度任务来指导该语义特征提取模型的训练。具体的，可以假设一句话中各个词具有相同或相似的含义，而不同句话中的词具有不同的含义，进而基于此，利用来自同一句话的不同的词组成正例，利用来自不同句话的词组成负例；例如，针对第四训练文本中的某个词，可以选择该第四训练文本中的其它词与该词组成正例，并计算该正例中两个词的余弦相似度，作为该正例对应的相似度，训练语义特征提取模型时，正例对应的相似度越高越好；针对第四训练文本中的某个词，可以随机从其它文本中选择k个词与该词组成负例，并计算该负例中两个词的余弦相似度，作为该负例对应的相似度，训练语义特征提取模型时，负例对应的相似度越低越好。此时可以利用某个词所属的正例对应的相似度减去该词所属的负例对应的相似度，得到该词对应的损失值，进而利用该第四训练文本中各个词各自对应的损失值，构建用于训练该语义特征提取模型的第四损失函数。
3、基于强监督学习机制训练第二弹幕识别模型
所训练的第二弹幕识别模型的具体结构可以如图4所示。具体的，可以人工构建用于训练该第二弹幕识别模型的第二训练样本，其中包括第二训练文本及其对应的准确的弹幕识别结果（用于表征第二训练文本所属的弹幕是否属于不良弹幕）；在识别游戏直播中的弹幕是否属于不良弹幕的场景中，可以基于游戏直播视频中的历史弹幕构建上述第二训练样本，例如，可以从游戏直播视频中获取若干条历史弹幕，进而针对所获取的历史弹幕人工标注其对应的弹幕识别结果，即人工标注所获取的历史弹幕是否属于不良弹幕。进而，基于通过上述方式构建的第二训练样本，对该第二弹幕识别模型进行训练。
4、基于弱监督学习机制训练第一弹幕识别模型
所训练的第一弹幕识别模型的具体结构可以如图3所示。与训练的第二弹幕识别模型不同的是，训练第一弹幕识别模型时基于弱标注的有监督训练任务，弱标注是指通过收集用户在视频播放平台上的反馈数据标注弹幕对应的识别结果，这种训练数据的获取难度低，容易获取到大量的训练数据，这种训练数据虽然可能无法直接反映所获取的弹幕是否真正属于不良弹幕，但是用户的行为对于判断弹幕是否属于不良弹幕是有很大帮助的。
此处本申请实施例可以收集“用户关闭弹幕播放功能”这一行为，如果用户在观看游戏直播的过程中关闭了弹幕播放功能，则可以记录在该弹幕播放功能被关闭前显示的每条弹幕作为不良弹幕，并且记录所显示的每条弹幕与用户关闭弹幕播放功能前显示的最后一条弹幕之间的距离，这个距离也会作为特征参与模型训练；其原因在于，弹幕与用户关闭弹幕播放功能前显示的最后一条弹幕越近，则该弹幕越有可能是不良弹幕，用户很可能的在看到该条弹幕后，才决定关闭弹幕播放功能的；也就是说，只要用户关闭了弹幕播放功能，那么在弹幕播放功能被关闭前显示的每条弹幕，都会被作为弱监督的不良弹幕，即正例。与之对应的是，如果用户观看视频时始终没有关闭弹幕播放功能，那么该视频中显示的所有弹幕均会被作为弱标注的正常弹幕，即负例。
按照上述方式构建出正例和负例后，可以利用所构建的正例和负例，对第一弹幕识别模型进行初步训练。如图3所示，该模型的右半部分与文本分类模型和第二弹幕识别模型完全一致，左半部分还需要输入“弹幕与用户关闭弹幕播放功能前显示的最后一条弹幕之间的距离”这一特征，即还需要输入功能关闭距离参数这一特征，该特征会通过一个全联通层进行特征变换，再通过非线性函数，其处理结果将输入到初级特征提取结构中的全联通层。
5、整体训练
文本分类模型、语义特征提取模型、第一弹幕识别模型和第二弹幕识别模型的整体训练框架如图11所示，这四个模型各自对应的训练任务可以共享初级特征提取结构中的全联通层；在实际训练过程中，服务器可以依次进行这四个训练任务，例如，利用一个第三训练样本进行一次对于文本分类模型的训练后，利用一个第四训练样本进行一次对于语义特征提取模型的训练，再利用一个第二训练样本进行一次对于第二弹幕识别模型的训练，最终再利用一个第一训练样本进行一次对于第一弹幕识别模型的训练，这四个训练任务各执行完一次后，再返回第一个训练任务重新执行上述流程。
协同训练文本分类模型、语义特征提取模型、第一弹幕识别模型和第二弹幕识别模型时，使用的损失函数是这四个训练任务中的损失函数的加权求和：即L=a*L1+b*L2+c*L3+d*L4，其中，a、b、c和d分别是针对四个损失函数配置的权重，可以根据实际需求调节，L1、L2、L3和L4分别是四个模型训练任务中的损失函数。
在实际的弹幕识别任务中，服务器可以只利用第一弹幕识别模型和第二弹幕识别模型执行弹幕识别任务，根据这两个弹幕识别模型的识别结果，确定所识别的弹幕是否属于不良弹幕。具体的，在识别用户在观看游戏直播的过程中发送的弹幕是否属于不良弹幕时，可以利用第一弹幕识别模型，根据用户发送的弹幕文本确定该弹幕属于不良弹幕的第一概率，以及利用第二弹幕识别模型，根据用户发送的弹幕文本确定该弹幕属于不良弹幕的第二概率；进而，对该第一概率和该第二概率进行加权求和处理，得到该弹幕属于不良弹幕的目标概率；若该目标概率高于预设概率阈值，则可以确定用户在观看游戏直播的过程中发送的该弹幕属于不良弹幕，因此可以过滤掉该弹幕，不向该游戏直播视频的其它观看用户显示该弹幕；若该目标概率不高于预设概率阈值，则可以确定用户在观看游戏直播的过程中发送的该弹幕不属于不良弹幕，可以正常向该游戏直播视频的其它观看用户显示该弹幕。
需要说明的是，本申请实施例提供的数据处理方法除了可以应用于识别游戏直播中的弹幕是否属于不良弹幕外，也可以应用于对其它直播视频流（如购物直播等）中的弹幕进行识别，还可以应用于对视频资源（如电视剧、电影、综艺等）中的弹幕进行识别，等等，本申请在此不对该数据处理方法的应用场景做任何限定。
针对上文描述的数据处理方法，本申请还提供了对应数据处理装置，以使上述数据处理方法在实际中得以应用及实现。
参见图12，图12是与上文图2所示的数据处理方法对应的一种数据处理装置1200的结构示意图。如图12所示，该数据处理装置1200包括：
文本获取模块1201，用于获取待识别的目标弹幕的文本，作为目标文本；
第一识别模块1202，用于通过第一弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第一识别结果；所述第一弹幕识别模型是基于第一训练样本训练得到的，所述第一训练样本包括第一训练文本及其对应的弱标注结果，所述弱标注结果是根据播放所述第一训练文本所属的弹幕后弹幕播放功能是否被关闭确定的；
第二识别模块1203，用于通过第二弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第二识别结果；所述第二弹幕识别模型是基于第二训练样本训练得到的，所述第二训练样本包括第二训练文本及其对应的强标注结果，所述强标注结果用于表征所述第二训练文本所属的弹幕的标准类型；
类型确定模块1204，用于根据所述第一识别结果和所述第二识别结果，确定所述目标弹幕对应的目标识别结果；所述目标识别结果用于表征所述目标弹幕的类型。
可选的，在图12所示的数据处理装置的基础上，所述第一训练样本还包括所述第一训练文本对应的功能关闭距离参数；
若播放所述第一训练文本所属的弹幕后检测到所述弹幕播放功能被关闭，则所述弱标注结果用于表征所述第一训练文本所属的弹幕属于异常弹幕，所述功能关闭距离参数用于表征所述第一训练文本所属的弹幕与参考弹幕之间的距离，所述参考弹幕是所述弹幕播放功能被关闭前播放的最后一条弹幕；
若播放所述第一训练文本所属的弹幕后未检测到所述弹幕播放功能被关闭，则所述弱标注结果用于表征所述第一训练文本所属的弹幕属于正常弹幕，所述功能关闭距离参数为正常弹幕距离参考值。
可选的，在图12所示的数据处理装置的基础上，所述第一识别模块1202具体用于：
获取参考功能关闭距离参数；所述参考功能关闭距离参数是根据训练所述第一弹幕识别模型时使用的所述第一训练样本中的所述功能关闭距离参数确定的；
通过所述第一弹幕识别模型，根据所述目标文本和所述参考功能关闭距离参数，确定所述第一识别结果。
可选的，在图12所示的数据处理装置的基础上，所述第一弹幕识别模型中包括第一初级特征提取结构和第一分类结构，所述第二弹幕识别模型中包括第二初级特征提取结构和第二分类结构；
则所述第一识别模块1202具体用于：
通过所述第一初级特征提取结构，提取所述目标文本中各分词各自的初级词特征向量；通过所述第一分类结构，根据所述目标文本中各分词各自的初级词特征向量，确定所述第一识别结果；
则所述第二识别模块1203具体用于：
通过所述第二初级特征提取结构，提取所述目标文本中各分词各自的初级词特征向量；通过所述第二分类结构，根据所述目标文本中各分词各自的初级词特征向量，确定所述第二识别结果。
可选的，在图12所示的数据处理装置的基础上，所述第一初级特征提取结构和所述第二初级特征提取结构中包括具有相同参数的目标共享结构；
所述目标共享结构包括以下至少一种：所述第一初级特征提取结构和所述第二初级特征提取结构中的循环神经网络层、所述第一初级特征提取结构和所述第二初级特征提取结构中的全联通层。
可选的，在图12所示的数据处理装置的基础上，所述第一弹幕识别模型和所述第二弹幕识别模型中包括参数共享的目标共享结构；所述装置还包括：模型训练模块；所述模型训练模块包括：
第一模型训练单元，用于通过第一初始弹幕识别模型，根据所述第一训练样本中的所述第一训练文本，确定第一预测结果；根据所述第一预测结果和所述第一训练样本中的所述弱标注结果，构建第一损失函数；并基于所述第一损失函数，训练所述第一初始弹幕识别模型；
第一共享单元，用于将所述第一初始弹幕识别模型中所述目标共享结构的参数，赋予给第二初始弹幕识别模型中的所述目标共享结构；
第二模型训练单元，用于通过所述第二初始弹幕识别模型，根据所述第二训练样本中的所述第二训练文本，确定第二预测结果；根据所述第二预测结果和所述第二训练样本中的所述强标注结果，构建第二损失函数；并基于所述第二损失函数，训练所述第二初始弹幕识别模型；
第二共享单元，用于将所述第二初始弹幕识别模型中所述目标共享结构的参数，赋予给所述第一初始弹幕识别模型中的所述目标共享结构；
目标模型训练单元，用于根据所述第一损失函数和所述第二损失函数，构建目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型和所述第二初始弹幕识别模型。
可选的，所述模型训练模块还包括：
第一数据获取单元，用于获取待训练的文本分类模型以及第三训练样本；所述文本分类模型用于执行通用的文本分类任务，所述文本分类模型包括所述目标共享结构；所述第三训练样本包括第三训练文本及其对应的标注结果，所述标注结果用于表征所述第三训练文本在所述文本分类任务中的标准类型；
第三模型训练单元，用于通过所述文本分类模型，根据所述第三训练样本中的所述第三训练文本，确定第三预测结果；根据所述第三预测结果和所述第三训练样本中的标注结果，构建第三损失函数；并基于所述第三损失函数，训练所述文本分类模型；
第三共享单元，用于将所述文本分类模型中所述目标共享结构的参数，赋予给所述第一初始弹幕识别模型或者所述第二初始弹幕识别模型中的所述目标共享结构；
则所述目标模型训练单元具体用于：
根据所述第一损失函数、所述第二损失函数和所述第三损失函数，构建所述目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型、所述第二初始弹幕识别模型和所述文本分类模型。
可选的，所述模型训练模块还包括：
第二数据获取单元，用于获取待训练的语义特征提取模型以及第四训练样本；所述语义特征提取模型用于提取文本中各分词各自的词特征向量，所述语义特征提取模型包括所述目标共享结构；所述第四训练样本包括第四训练文本；
第四模型训练单元，用于通过所述语义特征提取模型，提取所述第四训练文本中各分词各自的预测词特征向量；针对所述第四训练文本中各目标分词确定其各自对应的正向相似词和反向相似词，根据所述第四训练文本中各所述目标分词各自的预测词特征向量、各所述目标分词各自对应的正向相似词的预测词特征向量、以及各所述目标分词各自对应的反向相似词的预测词特征向量，构建第四损失函数；并基于所述第四损失函数，训练所述语义特征提取模型；
第四共享单元，用于将所述语义特征提取模型中所述目标共享结构的参数，赋予给所述第一初始弹幕识别模型或者所述第二初始弹幕识别模型中的所述目标共享结构；
则所述目标模型训练单元具体用于：
根据所述第一损失函数、所述第二损失函数和所述第四损失函数，构建所述目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型、所述第二初始弹幕识别模型和所述语义特征提取模型。
可选的，所述第四模型训练单元具体用于：
针对所述第四训练文本中每个目标分词，确定所述第四训练文本中除所述目标分词外的其它目标分词，作为所述目标分词对应的正向相似词；
针对所述第四训练文本中每个目标分词，确定除所述第四训练文本外的其它文本中的目标分词，作为所述目标分词对应的反向相似词。
可选的，所述第四模型训练单元具体用于：
针对所述第四训练文本中的每个目标分词，利用所述目标分词及其对应的正向相似词，组成所述目标分词对应的正向组合，并确定所述正向组合中所述正向相似词的预测词特征向量与所述目标分词的预测词特征向量之间的相似度，作为所述正向组合对应的相似度；以及，利用所述目标分词及其对应的反向相似词，组成所述目标分词对应的反向组合，并确定所述反向组合中所述反向相似词的预测词特征向量与所述目标分词的预测词特征向量之间的相似度，作为所述反向组合对应的相似度；
针对所述第四训练文本中的每个目标分词，根据所述目标分词对应的各正向组合各自对应的相似度、以及所述目标分词对应的各反向组合各自对应的相似度，确定所述目标分词对应的损失值；
根据所述第四训练文本中各目标分词各自对应的损失值，构建所述第四损失函数。
可选的，所述第四模型训练单元具体用于：
基于所述目标分词对应的各正向组合和所述目标分词对应的各反向组合，构建所述目标分词对应的多个正反向组合；每个所述正反向组合中包括一个所述正向组合和一个所述反向组合；
针对所述目标分词对应的每个正反向组合，计算所述正反向组合中正向组合对应的相似度与反向组合对应的相似度的差值，作为所述正反向组合对应的损失值；
根据所述目标分词对应的各个正反向组合各自对应的损失值，确定所述目标分词对应的损失值。
可选的，所述模型训练模块还包括：
第三数据获取单元，用于获取待训练的文本分类模型和语义特征提取模型、以及第三训练样本和第四训练样本；所述文本分类模型用于执行通用的文本分类任务，所述语义特征提取模型用于提取文本中各分词各自的词特征向量，所述文本分类模型和所述语义特征提取模型均包括所述目标共享结构；所述第三训练样本包括第三训练文本及其对应的标注结果，所述标注结果用于表征所述第三训练文本在所述文本分类任务中的标准类型；所述第四训练样本包括第四训练文本；
第三模型训练单元，用于通过所述文本分类模型，根据所述第三训练样本中的所述第三训练文本，确定第三预测结果；根据所述第三预测结果和所述第三训练样本中的标注结果，构建第三损失函数；并基于所述第三损失函数，训练所述文本分类模型；
第三共享单元，用于将所述文本分类模型中所述目标共享结构的参数，赋予给所述语义特征提取模型中的所述目标共享结构；
第四模型训练单元，用于通过所述语义特征提取模型，提取所述第四训练文本中各分词各自的预测词特征向量；针对所述第四训练文本中各目标分词确定其各自对应的正向相似词和反向相似词，根据所述第四训练文本中各所述目标分词各自的预测词特征向量、各所述目标分词各自对应的正向相似词的预测词特征向量、以及各所述目标分词各自对应的反向相似词的预测词特征向量，构建第四损失函数；并基于所述第四损失函数，训练所述语义特征提取模型；
第四共享单元，用于将所述语义特征提取模型中所述目标共享结构的参数，赋予给所述第一初始弹幕识别模型或者所述第二初始弹幕识别模型中的所述目标共享结构；
则所述目标模型训练单元具体用于：
根据所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数，构建所述目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型、所述第二初始弹幕识别模型、所述文本分类模型和所述语义特征提取模型。
上述数据处理装置，分别使用基于弱监督学习机制训练得到的第一弹幕识别模型和基于强监督学习机制训练得到的第二弹幕识别模型，对目标弹幕进行识别，最终综合考虑两个模型各自确定的识别结果，确定目标弹幕是否属于不良弹幕。其中，第一弹幕识别模型是基于通过弱标注方式标注的第一训练样本训练得到的，弱标注方式是指根据训练样本中训练文本所属的弹幕被播放后是否检测到用户关闭弹幕播放功能，来标注该训练文本所属的弹幕是否属于不良弹幕，相比强标注方式（如人工标注），通过该弱标注方式标注训练样本所需耗费的成本更低，更容易标注出大量的训练样本，因此可以在耗费较低成本的条件下训练出具有较优模型性能的第一弹幕识别模型。在使用第一弹幕识别模型辅助识别弹幕是否属于不良弹幕的情况下，可以适当地降低对于第二弹幕识别模型的要求，即可以减少训练该第二弹幕识别模型时所使用的训练样本的数量，从而降低该第二弹幕识别模型的训练成本。如此，综合使用第一弹幕识别模型和第二弹幕识别模型识别不良弹幕，既不需要在模型训练阶段消耗较高的模型训练成本，又可以保证获得准确的识别结果。
本申请实施例还提供了一种用于识别弹幕的设备，该设备具体可以是终端设备或者服务器，下面将从硬件实体化的角度对本申请实施例提供的终端设备和服务器进行介绍。
参见图13，图13是本申请实施例提供的终端设备的结构示意图。如图13所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理、销售终端（Point ofSales，POS）、车载电脑等任意终端设备，以终端为计算机为例：
图13示出的是与本申请实施例提供的终端相关的计算机的部分结构的框图。参考图13，计算机包括：射频（Radio Frequency，RF）电路1310、存储器1320、输入单元1330（其中包括触控面板1331和其他输入设备1332）、显示单元1340（其中包括显示面板1341）、传感器1350、音频电路1360（其可以连接扬声器1361和传声器1362）、无线保真（wirelessfidelity，WiFi）模块1370、处理器1380、以及电源1390等部件。本领域技术人员可以理解，图13中示出的计算机结构并不构成对计算机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
存储器1320可用于存储软件程序以及模块，处理器1380通过运行存储在存储器1320的软件程序以及模块，从而执行计算机的各种功能应用以及数据处理。存储器1320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据计算机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器1320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1380是计算机的控制中心，利用各种接口和线路连接整个计算机的各个部分，通过运行或执行存储在存储器1320内的软件程序和/或模块，以及调用存储在存储器1320内的数据，执行计算机的各种功能和处理数据，从而对计算机进行整体监控。可选的，处理器1380可包括一个或多个处理单元；优选的，处理器1380可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1380中。
在本申请实施例中，该终端所包括的处理器1380还具有以下功能：
获取待识别的目标弹幕的文本，作为目标文本；
通过第一弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第一识别结果；所述第一弹幕识别模型是基于第一训练样本训练得到的，所述第一训练样本包括第一训练文本及其对应的弱标注结果，所述弱标注结果是根据播放所述第一训练文本所属的弹幕后弹幕播放功能是否被关闭确定的；
通过第二弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第二识别结果；所述第二弹幕识别模型是基于第二训练样本训练得到的，所述第二训练样本包括第二训练文本及其对应的强标注结果，所述强标注结果用于表征所述第二训练文本所属的弹幕的标准类型；
根据所述第一识别结果和所述第二识别结果，确定所述目标弹幕对应的目标识别结果；所述目标识别结果用于表征所述目标弹幕的类型。
可选的，所述处理器1380还用于执行本申请实施例提供的数据处理方法的任意一种实现方式的步骤。
参见图14，图14为本申请实施例提供的一种服务器1400的结构示意图。该服务器1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（central processing units，CPU）1422（例如，一个或一个以上处理器）和存储器1432，一个或一个以上存储应用程序1442或数据1444的存储介质1430（例如一个或一个以上海量存储设备）。其中，存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1422可以设置为与存储介质1430通信，在服务器1400上执行存储介质1430中的一系列指令操作。
服务器1400还可以包括一个或一个以上电源1426，一个或一个以上有线或无线网络接口1450，一个或一个以上输入输出接口1458，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图14所示的服务器结构。
其中，CPU 1422用于执行如下步骤：
获取待识别的目标弹幕的文本，作为目标文本；
通过第一弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第一识别结果；所述第一弹幕识别模型是基于第一训练样本训练得到的，所述第一训练样本包括第一训练文本及其对应的弱标注结果，所述弱标注结果是根据播放所述第一训练文本所属的弹幕后弹幕播放功能是否被关闭确定的；
通过第二弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第二识别结果；所述第二弹幕识别模型是基于第二训练样本训练得到的，所述第二训练样本包括第二训练文本及其对应的强标注结果，所述强标注结果用于表征所述第二训练文本所属的弹幕的标准类型；
根据所述第一识别结果和所述第二识别结果，确定所述目标弹幕对应的目标识别结果；所述目标识别结果用于表征所述目标弹幕的类型。
可选的，CPU 1422还可以用于执行本申请实施例提供的数据处理方法的任意一种实现方式的步骤。
本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行前述各个实施例所述的一种数据处理方法中的任意一种实施方式。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述各个实施例所述的一种数据处理方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储计算机程序的介质。
应当理解，在本申请中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种数据处理方法，其特征在于，所述方法包括：
获取待识别的目标弹幕的文本，作为目标文本；
通过第一弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第一识别结果；所述第一弹幕识别模型是基于第一训练样本训练得到的，所述第一训练样本包括第一训练文本及其对应的弱标注结果，所述弱标注结果是根据播放所述第一训练文本所属的弹幕后弹幕播放功能是否被关闭确定的；
通过第二弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第二识别结果；所述第二弹幕识别模型是基于第二训练样本训练得到的，所述第二训练样本包括第二训练文本及其对应的强标注结果，所述强标注结果用于表征所述第二训练文本所属的弹幕的标准类型；
根据所述第一识别结果和所述第二识别结果，确定所述目标弹幕对应的目标识别结果；所述目标识别结果用于表征所述目标弹幕的类型；
所述第一训练样本还包括所述第一训练文本对应的功能关闭距离参数；
若播放所述第一训练文本所属的弹幕后检测到所述弹幕播放功能被关闭，则所述弱标注结果用于表征所述第一训练文本所属的弹幕属于异常弹幕，所述功能关闭距离参数用于表征所述第一训练文本所属的弹幕与参考弹幕之间的距离，所述参考弹幕是所述弹幕播放功能被关闭前播放的最后一条弹幕；
若播放所述第一训练文本所属的弹幕后未检测到所述弹幕播放功能被关闭，则所述弱标注结果用于表征所述第一训练文本所属的弹幕属于正常弹幕，所述功能关闭距离参数为正常弹幕距离参考值。
2.根据权利要求1所述的方法，其特征在于，所述通过第一弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第一识别结果，包括：
获取参考功能关闭距离参数；所述参考功能关闭距离参数是根据训练所述第一弹幕识别模型时使用的所述第一训练样本中的所述功能关闭距离参数确定的；
通过所述第一弹幕识别模型，根据所述目标文本和所述参考功能关闭距离参数，确定所述第一识别结果。
3.根据权利要求1所述的方法，其特征在于，所述第一弹幕识别模型中包括第一初级特征提取结构和第一分类结构，所述第二弹幕识别模型中包括第二初级特征提取结构和第二分类结构；
所述通过第一弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第一识别结果，包括：
通过所述第一初级特征提取结构，提取所述目标文本中各分词各自的初级词特征向量；通过所述第一分类结构，根据所述目标文本中各分词各自的初级词特征向量，确定所述第一识别结果；
所述通过第二弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第二识别结果，包括：
通过所述第二初级特征提取结构，提取所述目标文本中各分词各自的初级词特征向量；通过所述第二分类结构，根据所述目标文本中各分词各自的初级词特征向量，确定所述第二识别结果。
4.根据权利要求3所述的方法，其特征在于，所述第一初级特征提取结构和所述第二初级特征提取结构中包括具有相同参数的目标共享结构；
所述目标共享结构包括以下至少一种：所述第一初级特征提取结构和所述第二初级特征提取结构中的循环神经网络层、所述第一初级特征提取结构和所述第二初级特征提取结构中的全联通层。
5.根据权利要求1所述的方法，其特征在于，所述第一弹幕识别模型和所述第二弹幕识别模型中包括参数共享的目标共享结构；通过以下方式训练所述第一弹幕识别模型和所述第二弹幕识别模型：
通过第一初始弹幕识别模型，根据所述第一训练样本中的所述第一训练文本，确定第一预测结果；根据所述第一预测结果和所述第一训练样本中的所述弱标注结果，构建第一损失函数；并基于所述第一损失函数，训练所述第一初始弹幕识别模型；
将所述第一初始弹幕识别模型中所述目标共享结构的参数，赋予给第二初始弹幕识别模型中的所述目标共享结构；
通过所述第二初始弹幕识别模型，根据所述第二训练样本中的所述第二训练文本，确定第二预测结果；根据所述第二预测结果和所述第二训练样本中的所述强标注结果，构建第二损失函数；并基于所述第二损失函数，训练所述第二初始弹幕识别模型；
将所述第二初始弹幕识别模型中所述目标共享结构的参数，赋予给所述第一初始弹幕识别模型中的所述目标共享结构；
根据所述第一损失函数和所述第二损失函数，构建目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型和所述第二初始弹幕识别模型。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取待训练的文本分类模型以及第三训练样本；所述文本分类模型用于执行通用的文本分类任务，所述文本分类模型包括所述目标共享结构；所述第三训练样本包括第三训练文本及其对应的标注结果，所述标注结果用于表征所述第三训练文本在所述文本分类任务中的标准类型；
通过所述文本分类模型，根据所述第三训练样本中的所述第三训练文本，确定第三预测结果；根据所述第三预测结果和所述第三训练样本中的标注结果，构建第三损失函数；并基于所述第三损失函数，训练所述文本分类模型；
将所述文本分类模型中所述目标共享结构的参数，赋予给所述第一初始弹幕识别模型或者所述第二初始弹幕识别模型中的所述目标共享结构；
则所述根据所述第一损失函数和所述第二损失函数，构建目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型和所述第二初始弹幕识别模型，包括：
根据所述第一损失函数、所述第二损失函数和所述第三损失函数，构建所述目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型、所述第二初始弹幕识别模型和所述文本分类模型。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取待训练的语义特征提取模型以及第四训练样本；所述语义特征提取模型用于提取文本中各分词各自的词特征向量，所述语义特征提取模型包括所述目标共享结构；所述第四训练样本包括第四训练文本；
通过所述语义特征提取模型，提取所述第四训练文本中各分词各自的预测词特征向量；针对所述第四训练文本中各目标分词确定其各自对应的正向相似词和反向相似词，根据所述第四训练文本中各所述目标分词各自的预测词特征向量、各所述目标分词各自对应的正向相似词的预测词特征向量、以及各所述目标分词各自对应的反向相似词的预测词特征向量，构建第四损失函数；并基于所述第四损失函数，训练所述语义特征提取模型；
将所述语义特征提取模型中所述目标共享结构的参数，赋予给所述第一初始弹幕识别模型或者所述第二初始弹幕识别模型中的所述目标共享结构；
则所述根据所述第一损失函数和所述第二损失函数，构建目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型和所述第二初始弹幕识别模型，包括：
根据所述第一损失函数、所述第二损失函数和所述第四损失函数，构建所述目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型、所述第二初始弹幕识别模型和所述语义特征提取模型。
8.根据权利要求7所述的方法，其特征在于，所述针对所述第四训练文本中各目标分词确定其各自对应的正向相似词和反向相似词，包括：
针对所述第四训练文本中每个目标分词，确定所述第四训练文本中除所述目标分词外的其它目标分词，作为所述目标分词对应的正向相似词；
针对所述第四训练文本中每个目标分词，确定除所述第四训练文本外的其它文本中的目标分词，作为所述目标分词对应的反向相似词。
9.根据权利要求7所述的方法，其特征在于，所述根据所述第四训练文本中各所述目标分词各自的预测词特征向量、各所述目标分词各自对应的正向相似词的预测词特征向量、以及各所述目标分词各自对应的反向相似词的预测词特征向量，构建第四损失函数，包括：
针对所述第四训练文本中的每个目标分词，利用所述目标分词及其对应的正向相似词，组成所述目标分词对应的正向组合，并确定所述正向组合中所述正向相似词的预测词特征向量与所述目标分词的预测词特征向量之间的相似度，作为所述正向组合对应的相似度；以及，利用所述目标分词及其对应的反向相似词，组成所述目标分词对应的反向组合，并确定所述反向组合中所述反向相似词的预测词特征向量与所述目标分词的预测词特征向量之间的相似度，作为所述反向组合对应的相似度；
针对所述第四训练文本中的每个目标分词，根据所述目标分词对应的各正向组合各自对应的相似度、以及所述目标分词对应的各反向组合各自对应的相似度，确定所述目标分词对应的损失值；
根据所述第四训练文本中各目标分词各自对应的损失值，构建所述第四损失函数。
10.根据权利要求9所述的方法，其特征在于，所述根据所述目标分词对应的各正向组合各自对应的相似度、以及所述目标分词对应的各反向组合各自对应的相似度，确定所述目标分词对应的损失值，包括：
基于所述目标分词对应的各正向组合和所述目标分词对应的各反向组合，构建所述目标分词对应的多个正反向组合；每个所述正反向组合中包括一个所述正向组合和一个所述反向组合；
针对所述目标分词对应的每个所述正反向组合，计算所述正反向组合中正向组合对应的相似度与反向组合对应的相似度的差值，作为所述正反向组合对应的损失值；
根据所述目标分词对应的各个正反向组合各自对应的损失值，确定所述目标分词对应的损失值。
11.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取待训练的文本分类模型和语义特征提取模型、以及第三训练样本和第四训练样本；所述文本分类模型用于执行通用的文本分类任务，所述语义特征提取模型用于提取文本中各分词各自的词特征向量，所述文本分类模型和所述语义特征提取模型均包括所述目标共享结构；所述第三训练样本包括第三训练文本及其对应的标注结果，所述标注结果用于表征所述第三训练文本在所述文本分类任务中的标准类型；所述第四训练样本包括第四训练文本；
通过所述文本分类模型，根据所述第三训练样本中的所述第三训练文本，确定第三预测结果；根据所述第三预测结果和所述第三训练样本中的标注结果，构建第三损失函数；并基于所述第三损失函数，训练所述文本分类模型；
将所述文本分类模型中所述目标共享结构的参数，赋予给所述语义特征提取模型中的所述目标共享结构；
通过所述语义特征提取模型，提取所述第四训练文本中各分词各自的预测词特征向量；针对所述第四训练文本中各目标分词确定其各自对应的正向相似词和反向相似词，根据所述第四训练文本中各所述目标分词各自的预测词特征向量、各所述目标分词各自对应的正向相似词的预测词特征向量、以及各所述目标分词各自对应的反向相似词的预测词特征向量，构建第四损失函数；并基于所述第四损失函数，训练所述语义特征提取模型；
将所述语义特征提取模型中所述目标共享结构的参数，赋予给所述第一初始弹幕识别模型或者所述第二初始弹幕识别模型中的所述目标共享结构；
则所述根据所述第一损失函数和所述第二损失函数，构建目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型和所述第二初始弹幕识别模型，包括：
根据所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数，构建所述目标损失函数；基于所述目标损失函数，协同训练所述第一初始弹幕识别模型、所述第二初始弹幕识别模型、所述文本分类模型和所述语义特征提取模型。
12.一种数据处理装置，其特征在于，所述装置包括：
文本获取模块，用于获取待识别的目标弹幕的文本，作为目标文本；
第一识别模块，用于通过第一弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第一识别结果；所述第一弹幕识别模型是基于第一训练样本训练得到的，所述第一训练样本包括第一训练文本及其对应的弱标注结果，所述弱标注结果是根据播放所述第一训练文本所属的弹幕后弹幕播放功能是否被关闭确定的；
第二识别模块，用于通过第二弹幕识别模型，根据所述目标文本，确定所述目标弹幕对应的第二识别结果；所述第二弹幕识别模型是基于第二训练样本训练得到的，所述第二训练样本包括第二训练文本及其对应的强标注结果，所述强标注结果用于表征所述第二训练文本所属的弹幕的标准类型；
类型确定模块，用于根据所述第一识别结果和所述第二识别结果，确定所述目标弹幕对应的目标识别结果；所述目标识别结果用于表征所述目标弹幕的类型；
所述第一训练样本还包括所述第一训练文本对应的功能关闭距离参数；
若播放所述第一训练文本所属的弹幕后检测到所述弹幕播放功能被关闭，则所述弱标注结果用于表征所述第一训练文本所属的弹幕属于异常弹幕，所述功能关闭距离参数用于表征所述第一训练文本所属的弹幕与参考弹幕之间的距离，所述参考弹幕是所述弹幕播放功能被关闭前播放的最后一条弹幕；
若播放所述第一训练文本所属的弹幕后未检测到所述弹幕播放功能被关闭，则所述弱标注结果用于表征所述第一训练文本所属的弹幕属于正常弹幕，所述功能关闭距离参数为正常弹幕距离参考值。
13.一种电子设备，其特征在于，所述电子设备包括处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序执行权利要求1至11中任一项所述的数据处理方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至11中任一项所述的数据处理方法。
CN202110918706.6A 2021-08-11 2021-08-11 一种数据处理方法、装置、设备及存储介质 Active CN113378826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110918706.6A CN113378826B (zh) 2021-08-11 2021-08-11 一种数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110918706.6A CN113378826B (zh) 2021-08-11 2021-08-11 一种数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113378826A CN113378826A (zh) 2021-09-10
CN113378826B true CN113378826B (zh) 2021-12-07

Family

ID=77576739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110918706.6A Active CN113378826B (zh) 2021-08-11 2021-08-11 一种数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113378826B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109511000A (zh) * 2018-11-06 2019-03-22 武汉斗鱼网络科技有限公司 弹幕类别确定方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537176B (zh) * 2018-04-11 2021-07-30 武汉斗鱼网络科技有限公司 目标弹幕的识别方法、装置、终端及存储介质
CN109684478B (zh) * 2018-12-18 2023-04-07 腾讯科技（深圳）有限公司 分类模型训练方法、分类方法及装置、设备和介质
CN112883190A (zh) * 2021-01-28 2021-06-01 平安科技（深圳）有限公司 文本分类方法、装置、电子设备及存储介质
CN112966684B (zh) * 2021-03-15 2022-11-04 北湾科技(武汉)有限公司 一种注意力机制下的协同学习文字识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109511000A (zh) * 2018-11-06 2019-03-22 武汉斗鱼网络科技有限公司 弹幕类别确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113378826A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN110168535B (zh) 一种信息处理方法及终端、计算机存储介质
CN110717339A (zh) 语义表示模型的处理方法、装置、电子设备及存储介质
CN110427463A (zh) 搜索语句响应方法、装置及服务器和存储介质
CN108536681A (zh) 基于情感分析的智能问答方法、装置、设备及存储介质
CN108549658A (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统
CN111382231B (zh) 意图识别系统及方法
CN111858898A (zh) 基于人工智能的文本处理方法、装置及电子设备
CN112149632A (zh) 一种视频识别方法、装置及电子设备
CN109086351B (zh) 一种获取用户标签的方法及用户标签系统
CN113392179A (zh) 文本标注方法及装置、电子设备、存储介质
CN111027292A (zh) 一种限定采样文本序列生成方法及其系统
CN113590876A (zh) 一种视频标签设置方法、装置、计算机设备及存储介质
CN117076693A (zh) 一种数字人教师多模态大语言模型预训练学科语料库的构建方法
CN111242710A (zh) 业务的分类处理方法、装置、服务平台及存储介质
CN111046655B (zh) 一种数据处理方法、装置及计算机可读存储介质
CN110867225A (zh) 字符级临床概念提取命名实体识别方法及系统
CN113378826B (zh) 一种数据处理方法、装置、设备及存储介质
CN110491372A (zh) 一种反馈信息生成方法、装置、存储介质和智能设备
CN112052320B (zh) 一种信息处理方法、装置及计算机可读存储介质
CN113763934A (zh) 音频识别模型的训练方法、装置和存储介质及电子设备
CN115130453A (zh) 互动信息生成方法和装置
CN115114469A (zh) 一种图片识别方法、装置、设备及存储介质
CN112818084A (zh) 信息交互方法、相关装置、设备及计算机可读介质
CN113392221B (zh) 一种对薄实体的处理方法及相关装置
CN117540024B (zh) 一种分类模型的训练方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40050703

Country of ref document: HK