CN113761938B - 用于训练nlp模型的方法及装置、电子设备、存储介质 - Google Patents
用于训练nlp模型的方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN113761938B CN113761938B CN202111036774.6A CN202111036774A CN113761938B CN 113761938 B CN113761938 B CN 113761938B CN 202111036774 A CN202111036774 A CN 202111036774A CN 113761938 B CN113761938 B CN 113761938B
- Authority
- CN
- China
- Prior art keywords
- text
- label
- marked
- nlp model
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 47
- 230000004044 response Effects 0.000 claims abstract description 20
- 238000012216 screening Methods 0.000 claims description 17
- 238000002372 labelling Methods 0.000 abstract description 9
- 238000003058 natural language processing Methods 0.000 description 86
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及模型训练技术领域，公开一种用于训练NLP模型的方法，包括：获取待标记文本；将待标记文本输入预设的NLP模型，获得待标记文本对应的文本标签；将待标记文本及其对应的文本标签发送给预设的标签处理系统，并从标签处理系统获取修正标签，标签处理系统用于响应于用户的修正指令对文本标签进行修正，修正标签为对文本标签进行修正获得的标签；根据修正标签及修正标签对应的待标记文本对NLP模型进行训练，获得训练后的NLP模型。这样，通过修正标签和修正标签对应的待标记文本对NLP模型进行训练，以对NLP模型进行优化，从而提高了NLP模型标注文本标签的准确率。本申请还公开一种用于训练NLP模型的装置、电子设备、存储介质。
Description
技术领域
本申请涉及模型训练技术领域，例如涉及一种用于训练NLP模型的方法及装置、电子设备、存储介质。
背景技术
目前，随着人工智能的不断发展，利用各种模型代替人工处理也越来越常见，例如：使用NLP(Natural Language Processing，自然语言处理)模型识别文本，对文本进行标注，获得文本标签。但在NLP模型对文本进行标注时，可能存在获得的文本标签准确率较低的情况。
在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
现有的NLP模型进行数据标注后没有对NLP模型进行优化，导致NLP模型标注文本标签的准确率一直较低。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种用于训练NLP模型的方法及装置、电子设备、存储介质，以提高NLP模型标注文本标签的准确率。
在一些实施例中，用于训练NLP模型的方法，包括：获取待标记文本；将所述待标记文本输入预设的NLP模型，获得所述待标记文本对应的文本标签；将所述待标记文本及其对应的文本标签发送给预设的标签处理系统，并从所述标签处理系统获取修正标签，所述标签处理系统用于响应于用户的修正指令对文本标签进行修正，所述修正标签为对文本标签进行修正获得的标签；根据所述修正标签及所述修正标签对应的待标记文本对所述NLP模型进行训练，获得训练后的NLP模型。
在一些实施例中，用于训练NLP模型的装置，包括：第一获取模块，被配置为获取待标记文本；第二获取模块，被配置为将所述待标记文本输入预设的NLP模型，获得所述待标记文本对应的文本标签；修正模块，被配置为将所述待标记文本及其对应的文本标签发送给预设的标签处理系统，并从所述标签处理系统获取修正标签，所述标签处理系统用于响应于用户的修正指令对文本标签进行修正，所述修正标签为对文本标签进行修正获得的标签；训练模块，被配置为根据所述修正标签及所述修正标签对应的待标记文本对所述NLP模型进行训练，获得训练后的NLP模型。
在一些实施例中，用于训练NLP模型的装置，包括处理器和存储有程序指令的存储器，所述处理器被配置为在运行所述程序指令时，执行上述的用于训练NLP模型的方法。
在一些实施例中，电子设备包括上述的用于训练NLP模型的装置。
在一些实施例中，存储介质，存储有程序指令，所述程序指令在运行时，执行上述的用于训练NLP模型的方法。
本公开实施例提供的用于训练NLP模型的方法及装置、电子设备、存储介质，可以实现以下技术效果：通过将待标记文本输入预设的NLP模型，获得待标记文本对应的文本标签；将待标记文本及其对应的文本标签发送给响应于用户的修正指令对文本标签进行修正的标签处理系统，并从标签处理系统获取对文本标签进行修正后的修正标签；根据修正标签及修正标签对应的待标记文本对NLP模型进行训练，获得训练后的NLP模型。这样，将待标记文本及其对应的文本标签发送给标签处理系统进行修正，获得修正标签，并通过修正标签和修正标签对应的待标记文本对NLP模型进行训练，以对NLP模型进行优化，从而提高了NLP模型标注文本标签的准确率。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一个用于训练NLP模型的方法的示意图；
图2是本公开实施例提供的一个用于训练NLP模型的装置的示意图；
图3是本公开实施例提供的另一个用于训练NLP模型的装置的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。
结合图1所示，本公开实施例提供一种用于训练NLP模型的方法，包括：
步骤S101，获取待标记文本；
步骤S102，将待标记文本输入预设的NLP模型，获得待标记文本对应的文本标签；
步骤S103，将待标记文本及其对应的文本标签发送给预设的标签处理系统，并从标签处理系统获取修正标签，标签处理系统用于响应于用户的修正指令对文本标签进行修正，修正标签为对文本标签进行修正获得的标签；
步骤S104，根据修正标签及修正标签对应的待标记文本对NLP模型进行训练，获得训练后的NLP模型。
采用本公开实施例提供的用于训练NLP模型的方法，通过将待标记文本输入预设的NLP模型，获得待标记文本对应的文本标签；将待标记文本及其对应的文本标签发送给响应于用户的修正指令对文本标签进行修正的标签处理系统，并从标签处理系统获取对文本标签进行修正后的修正标签；根据修正标签及修正标签对应的待标记文本对NLP模型进行训练，获得训练后的NLP模型。这样，将待标记文本及其对应的文本标签发送给标签处理系统进行修正，获得修正标签，并通过修正标签和修正标签对应的待标记文本对NLP模型进行训练，以对NLP模型进行优化，从而提高了NLP模型标注文本标签的准确率。
在一些实施例中，获取录音设备的录音数据，对录音数据通过ASR(AutomaticSpeech Recognition，自动语音识别技术)语音转文本的技术转为文本数据，将该文本数据确定为待标记文本。
可选地，将待标记文本输入预设的NLP模型；NLP模型对待标记文本进行分词处理，获得分词结果；利用预设的关键词词库，对分词结果进行查表操作，确定分词结果对应的关键词，将该关键词确定为待标记文本对应的文本标签；预设的关键词词库中存储有分词结果与关键词之间的对应关系。
可选地，标签处理系统通过以下方式响应于用户的修正指令对文本标签进行修正：获取待标记文本对应的数据来源标签；响应于用户输入的数据来源筛选指令，在待标记文本中筛选出与数据来源筛选指令对应的数据来源标签所对应的备选待标记文本；响应于用户的修正指令对备选待标记文本的文本标签进行修正。
可选地，对备选待标记文本的文本标签进行修正，包括：获取备选待标记文本的语义信息，根据备选待标记文本的语义信息对备选待标记文本的文本标签进行修正。
可选地，根据备选待标记文本的语义信息对备选待标记文本的文本标签进行修正，包括：在备选待标记文本的语义信息与备选待标记文本的文本标签不匹配的情况下，确定备选待标记文本的文本标签错误，删除备选待标记文本的文本标签，根据备选待标记文本的语义信息确定备选标签，将备选标签确定为备选待标记文本的文本标签。
可选地，根据备选待标记文本的语义信息确定备选标签，包括：利用预设的备选标签数据库，对语义信息进行查表操作，确定语义信息对应的备选标签；预设的备选标签数据库中存储有语义信息与备选标签之间的对应关系。
可选地，根据备选待标记文本的语义信息对备选待标记文本的文本标签进行修正，包括：在备选待标记文本的语义信息与备选待标记文本的文本标签不匹配的情况下，确定备选待标记文本的文本标签错误，删除备选待标记文本的文本标签，为备选待标记文本添加预设的文本标签。
可选地，对备选待标记文本的文本标签进行修正，还包括：在备选待标记文本文本标签为空的情况下，为备选待标记文本添加预设的文本标签。
可选地，为备选待标记文本添加预设的文本标签，包括：获取用户输入的预设的文本标签。
可选地，数据来源标签包括时间标签、人员标签、门店标签和区域标签中的一种或多种。例如：时间标签为2021年4月21日12:52:04；人员标签为用户姓名、用户工号和用户职位等中的一种或多种；门店标签为美妆门店或餐饮门店等；区域标签为西南地区或东南地区等。
可选地，获取待标记文本对应的数据来源标签，包括：获取待标记文本对应的数据来源信息，数据来源信息包括时间信息和人员信息；利用预设的人员信息数据库，对人员信息进行查表操作，确定人员信息对应的门店信息和区域信息；将时间信息确定为时间标签，人员信息确定为人员标签，门店信息确定为门店标签，区域信息确定为区域标签；人员信息数据库中存储有人员信息、门店信息、区域信息三者之间的对应关系。
可选地，在待标记文本中筛选出与数据来源筛选指令对应的数据来源标签所对应的备选待标记文本，包括：利用预设的标签数据库，对数据来源筛选指令进行查表操作，确定出数据来源筛选指令对应的数据来源标签，将该数据来源标签对应的待标记文本确定为备选待标记文本。
在一些实施例中，数据来源筛选指令为美妆门店和餐饮门店，利用预设的标签数据库，对美妆门店和餐饮门店进行查表操作，确定出该数据来源筛选指令对应的数据来源标签为美妆门店和餐饮门店，将美妆门店和餐饮门店对应的待标记文本确定为备选待标记文本。
可选地，根据修正标签及修正标签对应的待标记文本对NLP模型进行训练，包括：将修正标签及修正标签对应的待标记文本输入NLP模型进行训练；或，从标签处理系统获取未修正的标签，将修正标签及修正标签对应的待标记文本，和，未修正的标签及未修正的标签对应的待标记文本都输入NLP模型进行训练。
由于线下零售的兴起，智能工牌作为销售人员与顾客互动的采集工具，能很好的收集双方的语音信息，通过ASR(Automatic Speech Recognition，自动语音识别技术)语音转文本的技术，结合NLP文本分析等技术，能够很好的为高层决策者提供有效的真实销售数据。但由于不同的行业或门店对同样的词语所表达的意义可能存在差异，进而导致使用NLP模型标注文本标签的准确率低。通过对筛选出的备选待标记文本对应的文本标签进行修正，将修正标签用于NLP模型训练，在数据能力技术领域进行了数据交换，进一步优化NLP模型，从而提高了NLP模型标注文本标签的准确率。
结合图2所示，本公开实施例提供一种用于训练NLP模型的装置，包括：第一获取模块201、第二获取模块202、修正模块203和训练模块204。第一获取模块201，被配置为获取待标记文本。第二获取模块202，被配置为将待标记文本输入预设的NLP模型，获得待标记文本对应的文本标签。修正模块203，被配置为将待标记文本及其对应的文本标签发送给预设的标签处理系统，并从标签处理系统获取修正标签，标签处理系统用于响应于用户的修正指令对文本标签进行修正，修正标签为对文本标签进行修正获得的标签。训练模块204，被配置为根据修正标签及修正标签对应的待标记文本对NLP模型进行训练，获得训练后的NLP模型。
采用本公开实施例提供的用于训练NLP模型的装置，通过将待标记文本输入预设的NLP模型，获得待标记文本对应的文本标签；将待标记文本及其对应的文本标签发送给响应于用户的修正指令对文本标签进行修正的标签处理系统，并从标签处理系统获取对文本标签进行修正后的修正标签；根据修正标签及修正标签对应的待标记文本对NLP模型进行训练，获得训练后的NLP模型。这样，将待标记文本及其对应的文本标签发送给标签处理系统进行修正，获得修正标签，并通过修正标签和修正标签对应的待标记文本对NLP模型进行训练，以对NLP模型进行优化，从而提高了NLP模型标注文本标签的准确率。
可选地，标签处理系统通过以下方式响应于用户的修正指令对文本标签进行修正：获取待标记文本对应的数据来源标签；响应于用户输入的数据来源筛选指令，在待标记文本中筛选出与数据来源筛选指令对应的数据来源标签所对应的备选待标记文本，及备选待标记文本的文本标签；响应于用户的修正指令对备选待标记文本的文本标签进行修正。
可选地，数据来源标签包括时间标签、人员标签、门店标签和区域标签中的一种或多种。
可选地，训练模块被配置为通过以下方式根据修正标签及修正标签对应的待标记文本对NLP模型进行训练：将修正标签及修正标签对应的待标记文本输入NLP模型进行训练；或，从标签处理系统获取未修正的标签，将修正标签及修正标签对应的待标记文本，和，未修正的标签及未修正的标签对应的待标记文本都输入NLP模型进行训练。
结合图3所示，本公开实施例提供一种用于训练NLP模型的装置，包括处理器(processor)300和存储器(memory)301。可选地，该装置还可以包括通信接口(Communication Interface)302和总线303。其中，处理器300、通信接口302、存储器301可以通过总线303完成相互间的通信。通信接口302可以用于信息传输。处理器300可以调用存储器301中的逻辑指令，以执行上述实施例的用于训练NLP模型的方法。
此外，上述的存储器301中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器301作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器300通过运行存储在存储器301中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于训练NLP模型的方法。
存储器301可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器301可以包括高速随机存取存储器，还可以包括非易失性存储器。
采用本公开实施例提供的用于训练NLP模型的装置，通过将待标记文本输入预设的NLP模型，获得待标记文本对应的文本标签；将待标记文本及其对应的文本标签发送给响应于用户的修正指令对文本标签进行修正的标签处理系统，并从标签处理系统获取对文本标签进行修正后的修正标签；根据修正标签及修正标签对应的待标记文本对NLP模型进行训练，获得训练后的NLP模型。这样，将待标记文本及其对应的文本标签发送给标签处理系统进行修正，获得修正标签，并通过修正标签和修正标签对应的待标记文本对NLP模型进行训练，以对NLP模型进行优化，从而提高了NLP模型标注文本标签的准确率。
本公开实施例提供了一种电子设备，包含上述的用于训练NLP模型的装置。
采用本公开实施例提供的电子设备，通过将待标记文本输入预设的NLP模型，获得待标记文本对应的文本标签；将待标记文本及其对应的文本标签发送给响应于用户的修正指令对文本标签进行修正的标签处理系统，并从标签处理系统获取对文本标签进行修正后的修正标签；根据修正标签及修正标签对应的待标记文本对NLP模型进行训练，获得训练后的NLP模型。这样，将待标记文本及其对应的文本标签发送给标签处理系统进行修正，获得修正标签，并通过修正标签和修正标签对应的待标记文本对NLP模型进行训练，以对NLP模型进行优化，从而提高了NLP模型标注文本标签的准确率。
可选地，电子设备为计算机、服务器等。
本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于训练NLP模型的方法。
本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述用于训练NLP模型的方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
Claims (8)
1.一种用于训练NLP模型的方法，其特征在于，包括：
获取待标记文本；
将所述待标记文本输入预设的NLP模型，获得所述待标记文本对应的文本标签；
将所述待标记文本及其对应的文本标签发送给预设的标签处理系统，并从所述标签处理系统获取修正标签，所述标签处理系统用于响应于用户的修正指令对文本标签进行修正，所述修正标签为对文本标签进行修正获得的标签；
根据所述修正标签及所述修正标签对应的待标记文本对所述NLP模型进行训练，获得训练后的NLP模型；
所述标签处理系统通过以下方式响应于用户的修正指令对文本标签进行修正：获取所述待标记文本对应的数据来源标签；响应于用户输入的数据来源筛选指令，在所述待标记文本中筛选出与数据来源筛选指令对应的数据来源标签所对应的备选待标记文本；响应于用户的修正指令对所述备选待标记文本的文本标签进行修正；
对备选待标记文本的文本标签进行修正，包括：获取备选待标记文本的语义信息，在备选待标记文本的语义信息与备选待标记文本的文本标签不匹配的情况下，确定备选待标记文本的文本标签错误，删除备选待标记文本的文本标签，根据备选待标记文本的语义信息确定备选标签，将备选标签确定为备选待标记文本的文本标签。
2.根据权利要求1所述的方法，其特征在于，所述数据来源标签包括时间标签、人员标签、门店标签和区域标签中的一种或多种。
3.根据权利要求1所述的方法，其特征在于，根据所述修正标签及所述修正标签对应的待标记文本对所述NLP模型进行训练，包括：
将所述修正标签及所述修正标签对应的待标记文本输入所述NLP模型进行训练；或，
从所述标签处理系统获取未修正的标签，将所述修正标签及所述修正标签对应的待标记文本，和，所述未修正的标签及所述未修正的标签对应的待标记文本都输入所述NLP模型进行训练。
4.一种用于训练NLP模型的装置，其特征在于，包括：
第一获取模块，被配置为获取待标记文本；
第二获取模块，被配置为将所述待标记文本输入预设的NLP模型，获得所述待标记文本对应的文本标签；
修正模块，被配置为将所述待标记文本及其对应的文本标签发送给预设的标签处理系统，并从所述标签处理系统获取修正标签，所述标签处理系统用于响应于用户的修正指令对文本标签进行修正，所述修正标签为对文本标签进行修正获得的标签；
训练模块，被配置为根据所述修正标签及所述修正标签对应的待标记文本对所述NLP模型进行训练，获得训练后的NLP模型；
所述标签处理系统通过以下方式响应于用户的修正指令对文本标签进行修正：获取所述待标记文本对应的数据来源标签；响应于用户输入的数据来源筛选指令，在所述待标记文本中筛选出与数据来源筛选指令对应的数据来源标签所对应的备选待标记文本，及所述备选待标记文本的文本标签；响应于用户的修正指令对所述备选待标记文本的文本标签进行修正；
对备选待标记文本的文本标签进行修正，包括：获取备选待标记文本的语义信息，在备选待标记文本的语义信息与备选待标记文本的文本标签不匹配的情况下，确定备选待标记文本的文本标签错误，删除备选待标记文本的文本标签，根据备选待标记文本的语义信息确定备选标签，将备选标签确定为备选待标记文本的文本标签。
5.根据权利要求4所述的装置，其特征在于，训练模块被配置为通过以下方式根据所述修正标签及所述修正标签对应的待标记文本对所述NLP模型进行训练：
将所述修正标签及所述修正标签对应的待标记文本输入所述NLP模型进行训练；或，
从所述标签处理系统获取未修正的标签，将所述修正标签及所述修正标签对应的待标记文本，和，所述未修正的标签及所述未修正的标签对应的待标记文本都输入所述NLP模型进行训练。
6.一种用于训练NLP模型的装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1至3任一项所述的用于训练NLP模型的方法。
7.一种电子设备，其特征在于，包括如权利要求6所述的用于训练NLP模型的装置。
8.一种存储介质，存储有程序指令，其特征在于，所述程序指令在运行时，执行如权利要求1至3任一项所述的用于训练NLP模型的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111036774.6A CN113761938B (zh) | 2021-09-06 | 2021-09-06 | 用于训练nlp模型的方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111036774.6A CN113761938B (zh) | 2021-09-06 | 2021-09-06 | 用于训练nlp模型的方法及装置、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113761938A CN113761938A (zh) | 2021-12-07 |
| CN113761938B true CN113761938B (zh) | 2023-12-08 |
Family
ID=78793131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111036774.6A Active CN113761938B (zh) | 2021-09-06 | 2021-09-06 | 用于训练nlp模型的方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113761938B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717039A (zh) * | 2019-09-17 | 2020-01-21 | 平安科技（深圳）有限公司 | 文本分类方法和装置、电子设备、计算机可读存储介质 |
| CN111651497A (zh) * | 2020-04-30 | 2020-09-11 | 北京大米科技有限公司 | 用户标签挖掘方法、装置、存储介质及电子设备 |
| CN111859872A (zh) * | 2020-07-07 | 2020-10-30 | 中国建设银行股份有限公司 | 一种文本标注方法和装置 |
| CN112906375A (zh) * | 2021-03-24 | 2021-06-04 | 平安科技（深圳）有限公司 | 文本数据标注方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3090015A1 (en) * | 2019-08-14 | 2021-02-14 | Royal Bank Of Canada | Generating and presenting user insights in association with user-to-user electronic communication |
-
2021
- 2021-09-06 CN CN202111036774.6A patent/CN113761938B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717039A (zh) * | 2019-09-17 | 2020-01-21 | 平安科技（深圳）有限公司 | 文本分类方法和装置、电子设备、计算机可读存储介质 |
| CN111651497A (zh) * | 2020-04-30 | 2020-09-11 | 北京大米科技有限公司 | 用户标签挖掘方法、装置、存储介质及电子设备 |
| CN111859872A (zh) * | 2020-07-07 | 2020-10-30 | 中国建设银行股份有限公司 | 一种文本标注方法和装置 |
| CN112906375A (zh) * | 2021-03-24 | 2021-06-04 | 平安科技（深圳）有限公司 | 文本数据标注方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113761938A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10417350B1 (en) | Artificial intelligence system for automated adaptation of text-based classification models for multiple languages | |
| CN106815192B (zh) | 模型训练方法及装置和语句情感识别方法及装置 | |
| CN111767716B (zh) | 企业多级行业信息的确定方法、装置及计算机设备 | |
| CN111428493A (zh) | 实体关系获取方法、装置、设备及存储介质 | |
| CN106815198A (zh) | 模型训练方法及装置和语句业务类型的识别方法及装置 | |
| CN109684441A (zh) | 对职位和简历进行匹配的方法、系统、设备和介质 | |
| CN111401065A (zh) | 实体识别方法、装置、设备及存储介质 | |
| CN114528845A (zh) | 异常日志的分析方法、装置及电子设备 | |
| CN113297379A (zh) | 一种文本数据多标签分类方法及装置 | |
| CN112948510B (zh) | 一种媒体行业知识图谱的构建方法 | |
| CN110738050A (zh) | 基于分词和命名实体识别的文本重组方法及装置、介质 | |
| CN114049174A (zh) | 用于商品推荐的方法及装置、电子设备、存储介质 | |
| CN110287495A (zh) | 一种电力营销专业词识别方法及系统 | |
| CN113761938B (zh) | 用于训练nlp模型的方法及装置、电子设备、存储介质 | |
| CN113420138B (zh) | 用于文本分类的方法及装置、电子设备、存储介质 | |
| CN113033178B (zh) | 用于商业计划书的文本评估方法、装置及计算机 | |
| CN112364169B (zh) | 基于nlp的wifi识别方法、电子设备和介质 | |
| CN111353291B (zh) | 一种基于投诉工单训练文本计算最佳标注集的方法及系统 | |
| CN115098657A (zh) | 自然语言转换数据库查询语句的方法、设备及介质 | |
| CN116484842A (zh) | 语句纠错的方法及装置、电子设备、存储介质 | |
| CN112560408A (zh) | 一种文本标注方法、装置、终端及存储介质 | |
| CN112700285A (zh) | 用于预测用户属性标签的方法及装置、设备 | |
| CN113837824A (zh) | 信息推送方法及其系统 | |
| CN111460766A (zh) | 一种矛盾语块边界识别的方法及装置 | |
| CN116795981A (zh) | 用于校验标注数据的方法及装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |