CN112989797B - 模型训练、文本扩展方法，装置，设备以及存储介质 - Google Patents
模型训练、文本扩展方法，装置，设备以及存储介质 Download PDFInfo
- Publication number
- CN112989797B CN112989797B CN202110261733.0A CN202110261733A CN112989797B CN 112989797 B CN112989797 B CN 112989797B CN 202110261733 A CN202110261733 A CN 202110261733A CN 112989797 B CN112989797 B CN 112989797B
- Authority
- CN
- China
- Prior art keywords
- text
- syntax tree
- subset
- target
- syntax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000012549 training Methods 0.000 title claims abstract description 69
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 230000015654 memory Effects 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了模型训练、文本扩展方法，装置，设备以及存储介质，涉及云计算、自然语言处理、深度学习技术领域。具体实现方案为：获取文本集合，文本集合包括多个文本子集，每个文本子集包括意图相同的多个文本；对于每个文本子集，对该文本子集中的各文本进行句法分析，确定各文本对应的句法树；分别对各文本以及各句法树进行编码；基于得到的编码结果以及文本集合，训练模型。本实现方式可以将文本与句法树结合，使得通过模型得到的扩展文本的句法与原文本的句法不同，从而丰富了扩展文本的形式。
Description
技术领域
本申请涉及计算机技术领域，具体涉及云计算、自然语言处理、深度学习技术领域，尤其涉及模型训练、文本扩展方法，装置，设备以及存储介质。
背景技术
在机器人对话系统中，需要识别用户的查询语句的意图。这需要通过标注人员对每个意图标注大量的数据，来训练意图模型达到的。每个意图往往需要标注人员想出上百条标注数据，才能提升模型对意图识别的准确率，对标注人员形成一个严峻的考验。
发明内容
提供了一种模型训练、文本扩展方法，装置，设备以及存储介质。
根据第一方面，提供了一种模型训练方法，包括：获取文本集合，文本集合包括多个文本子集，每个文本子集包括意图相同的多个文本；对于每个文本子集，对该文本子集中的各文本进行句法分析，确定各文本对应的句法树；分别对各文本以及各句法树进行编码；基于得到的编码结果以及文本集合，训练模型。
根据第二方面，提供了一种文本扩展方法，包括：获取目标文本；确定目标文本的目标句法树；根据目标句法树以及预先获取的句法树集合，确定至少一个候选句法树；分别对目标文本以及各候选句法树进行编码；根据目标文本的编码结果、各候选句法树的编码结果以及通过如第一方面所描述的模型训练方法训练得到的模型，确定目标文本的扩展文本。
根据第三方面，提供了一种模型训练装置，包括：文本集合获取单元，被配置成获取文本集合，文本集合包括多个文本子集，每个文本子集包括意图相同的多个文本；第一句法分析单元，被配置成对于每个文本子集，对该文本子集中的各文本进行句法分析，确定各文本对应的句法树；第一编码单元，被配置成分别对各文本以及各句法树进行编码；模型训练单元，被配置成基于得到的编码结果以及文本集合，训练模型。
根据第四方面，提供了一种文本扩展装置，包括：目标文本获取单元，被配置成获取目标文本；第二句法分析单元，被配置成确定目标文本的目标句法树；候选句法树确定单元，被配置成根据目标句法树以及预先获取的句法树集合，确定至少一个候选句法树；第二编码单元，被配置成分别对目标文本以及各候选句法树进行编码；文本扩展单元，被配置成根据目标文本的编码结果、各候选句法树的编码结果以及通过如第一方面所描述的模型训练方法训练得到的模型，确定目标文本的扩展文本。
根据第五方面，提供了一种执行模型训练方法的电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，上述指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所描述的方法。
根据第六方面，提供了一种执行文本扩展方法的电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，上述指令被至少一个处理器执行，以使至少一个处理器能够执行如第二方面所描述的方法。
根据第七方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如第一方面或第二方面所描述的方法。
根据第八方面，一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如第一方面或第二方面所描述的方法。
根据本申请的技术提供了一种模型训练方法和文本扩展方法，可以将文本与句法树结合，使得通过模型得到的扩展文本的句法与原文本的句法不同，从而丰富了扩展文本的形式。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的模型训练方法的一个实施例的流程图；
图3是根据本申请的模型训练方法的另一个实施例的流程图；
图4是根据本申请的文本扩展方法的一个实施例的流程图；
图5是根据本申请的文本扩展方法的另一个实施例的流程图；
图6是根据本申请的模型训练方法、文本扩展方法的一个应用场景的示意图；
图7是根据本申请的模型训练装置的一个实施例的结构示意图；
图8是根据本申请的文本扩展装置的一个实施例的结构示意图；
图9是用来实现本申请实施例的模型训练方法、文本扩展方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的模型训练方法、文本扩展方法、模型训练装置或文本扩展装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如搜索引擎类应用、浏览器类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103上提供模型的后台服务器。后台服务器可以利用训练样本对模型进行训练，得到训练好的模型。或者，后台服务器还可以接收用户通过终端设备101、102、103发送的目标文本，得到扩展文本，并基于扩展文本提供后续的服务。
需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的模型训练方法一般由服务器105执行，文本扩展方法可以由终端设备101、102、103执行，也可以由服务器105执行。相应地，模型训练装置一般设置于服务器105中，文本扩展装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的模型训练方法的一个实施例的流程200。本实施例的模型训练方法，包括以下步骤：
步骤201，获取文本集合。
本实施例中，模型训练方法的执行主体可以通过各种方式获取文本集合。例如，执行主体可以从用于存储文本的数据库或云端处获取文本集合。上述文本集合可以包括多个文本子集，每个文本子集对应一个意图，其中包括多个文本。多个文本的表述可以不同，但表达的意图相同。
步骤202，对于每个文本子集，对该文本子集中的各文本进行句法分析，确定各文本对应的句法树。
执行主体在获取到上述文本集合后，可以对其中的每个文本子集进行处理分析。具体的，执行主体可以对每个文本子集中的各文本进行句法分析，确定各文本对应的句法树。这里，执行主体可以利用现有的依存句法分析算法，得到每个文本中各词语的词性和依存关系。根据上述词性和依存关系，得到各文本对应的句法树。上述句法树中可以包括多个节点，每个节点包括一个词语，节点之间有连线，用于表示词语之间的依存关系。
步骤203，分别对各文本以及各句法树进行编码。
对于每个文本，执行主体可以利用现有的编码算法对该文本以及该文本对应的句法树进行编码，得到两个编码结果。具体的，执行主体可以利用第一编码算法对文本进行编码，得到第一编码结果。利用第二编码算法对句法树进行编码，得到第二编码结果。上述第一编码算法可以是LSTM(Long Short-Term Memory，长短期记忆人工神经网络)，第一编码算法可以是TreeLSTM(利用多个LSTM中的机器单元和门机制进行组合)。
步骤204，基于得到的编码结果以及上述文本集合，训练模型。
执行主体在得到上述编码结果后，可以结合上述文本集合，来训练模型。具体的，执行主体可以分别将第一编码结果和第二编码结果作为输入，将文本集合中的特定文本作为输出，训练模型。或者，执行主体可以将属于同一文本子集的各文本的编码结果进行加权，将该文本子集中的文本分别作为输出，训练模型。这里的模型可以是LSTM。模型的目标是对概率P(文本|文本的编码结果，句法树的编码结果)进行优化。LSTM在生成词典的概率分布的时候，可以利用指针(pointer-generator)网络的copying mechanism进行增强。
本申请的上述实施例提供的模型训练方法，可以利用文本集合和文本集合中的各文本对应的句法树来训练模型，使得得到的模型可以生成句法结构不同的文本。
参见图3，其示出了根据本申请的模型训练方法的另一个实施例的流程300。如图3所示，本实施例的方法可以包括以下步骤：
步骤301，从预设网站获取问题集合；确定问题集合中的相似问题；对相似问题进行意图标注，得到文本集合。
本实施例中，执行主体可以从预设网站获取问题集合。上述预设网站可以是用于供用户提问的网站，例如可以是各种论坛、作业交流网站、知道网站等等。在这些网站中可以提供各问题的相似问题。执行主体可以获取问题集合中各问题的相似问题。然后，执行主体可以对相似文题进行意图标注，得到文本集合。或者，执行主体可以将各相似问题输出给技术人员，以供技术人员对各相似问题进行意图标注，得到意图相同的多个文本。将意图相同的多个文本作为文本子集，从而得到文本集合。
步骤302，对于每个文本子集，对该文本子集中的各文本进行句法分析，确定各文本对应的句法树。
步骤303，分别对各文本以及各句法树进行编码。
步骤304，对于每个文本，将该文本的编码结果与该文本对应的句法树的编码结果进行合并；将合并后的编码结果作为输入，将与输入对应的文本所属的文本子集中的其它文本分别作为期望输出，训练模型。
本实施例中，执行主体可以将每个文本的编码结果与该文本对应的句法树的编码结果进行合并。这里的合并可以指将文本的第一编码结果与句法树对应的第二编码结果进行拼接，或者，将第一编码结果与第二编码结果进行加权。执行主体可以将合并后的编码结果作为输入，将与输入对应的文本所属的文本子集中的其它文本分别作为期望输出，训练模型。举例来说，文本子集中包括文本A1、A2、A3，对应的句法树分别为S1、S2、S3。文本的编码结果分别为B1、B2、B3，句法树对应的编码结果分别为C1、C2、C3。合并后的编码结果分别为D1(B1+C1)、D2(B2+C2)、D3(B3+C3)。执行主体可以将D1作为输入，将A2、A3分别作为期望输出；将D2作为输入，将A2、A3分别作为期望输出；将D3作为输入，将A1、A2分别作为期望输出，训练模型。
本申请的上述实施例提供的模型训练方法，可以利用预设网站的问题中的相似问题，减少了标注人员的工作量；可以利用句法树的编码结果和文本的编码结果以及意图相同的文本进行模型训练。
参见图4，其示出了根据本申请的文本扩展方法的一个实施例的流程400。如图4所示，本实施例的方法可以包括以下步骤：
步骤401，获取目标文本。
本实施例中，文本扩展方法的执行主体(例如图1所示的终端设备101、102、103或服务器105)可以获取目标文本。这里，目标文本可以是用户通过终端设备输入的文本。
步骤402，确定目标文本的目标句法树。
执行主体在获取目标文本后，可以对目标文本进行依存句法分析，得到目标句法树。
步骤403，根据目标句法树以及预先获取的句法树集合，确定至少一个候选句法树。
本实施例中，执行主体在确定目标句法树后，可以查询预先获取的句法树集合，确定与目标句法树关联的句法树作为候选句法树。具体的，上述句法树集合中可以包括关联的多个句法树。执行主体在得到目标句法树后，可以将与目标句法树关联的句法树作为候选句法树。或者，上述句法树集合中可以包括多个句法树子集，每个句法树子集对应的文本的意图相同。执行主体可以从多个句法树子集中确定出包括上述目标句法树的句法树子集。然后所确定的句法树子集中除目标句法树之外的其它句法树作为候选句法树。
步骤404，分别对目标文本以及各候选句法树进行编码。
执行主体可以利用现有的编码算法对该文本以及各候选句法树进行编码，得到多个编码结果。具体的，执行主体可以利用第一编码算法对文本进行编码，得到第一编码结果。利用第二编码算法对各候选句法树进行编码，得到各第二编码结果。上述第一编码算法可以是LSTM(Long Short-Term Memory，长短期记忆人工神经网络)，第一编码算法可以是TreeLSTM(利用多个LSTM中的机器单元和门机制进行组合)。
步骤405，根据目标文本的编码结果、各候选句法树的编码结果以及通过前述实施例所描述的模型训练方法训练得到的模型，确定目标文本的扩展文本。
执行主体可以将目标文本的编码结果、各候选句法树的编码结果作为通过前述实施例所描述的模型训练方法训练得到的模型的输入，得到目标文本的扩展文本。可以理解的是，上述扩展文本的句法树与目标文本的句法树不同。
本申请的上述实施例提供的文本扩展方法，可以通过训练好的模型得到与目标文本的句法树不同、但意图相同的扩展文本，从而实现文本的扩展。
继续参见图5，其示出了根据本申请的文本扩展方法的另一个实施例的流程500。如图5所示，本实施例的方法可以包括以下步骤：
步骤501，获取目标文本。
步骤502，确定目标文本的目标句法树。
步骤503，从句法树集合中的各句法树子集中确定出与目标句法树结构相同的至少一个句法树；对于确定出的每个句法树，将该句法树所属的句法树子集中的其它句法树作为候选句法树。
本实施例中，句法树集合中可以包括多个句法树子集，每个句法树子集对应的文本的意图相同。执行主体可以从多个句法树子集中确定出包括上述目标句法树的句法树子集。然后所确定的句法树子集中除目标句法树之外的其它句法树作为候选句法树。
步骤504，分别对目标文本以及各候选句法树进行编码。
步骤505，根据目标文本的编码结果、各候选句法树的编码结果以及通过前述实施例所描述的模型训练方法训练得到的模型，确定目标文本的扩展文本。
步骤506，对扩展文本进行筛选。
执行主体在得到目标文本的至少一个扩展文本后，还可以对扩展文本进行筛选。例如，可以将扩展文本中包括敏感字的文本去除。或者，执行主体可以利用现有的算法对扩展文本进行打分。分值用于评述扩展文本是否为病句。将分值小于预设阈值的扩展文本去除。
本申请的上述实施例提供的文本扩展方法，可以得到多个意图相同但句法结构不同的扩展文本，从而不需要技术人员花费大量精力生成扩展文本，降低了技术人员的工作量。
继续参见图6，其示出了根据本申请的模型训练方法和文本扩展方法的一个应用场景的示意图。在图6的应用场景中，服务器601从知道网站602获取多个问题，并获取了每个问题的相似问题。服务器601将各相似问题发送给技术人员603。技术人员603对各相似问题进行意图标注后，得到同一意图的文本子集，进而得到文本集合。服务器601对文本集合中的各文本进行句法分析，得到每个文本对应的句法树，进而得到与每个文本子集对应的句法树子集。服务器601可以对每个文本以及对应的句法树进行编码。并利用编码结果以及每个文本子集训练模型，得到文本扩展模型。
用户604通过终端设备605输入目标文本“查话费”。终端设备605将上述目标文本发送给服务器601，服务器601对目标文本进行句法分析后得到目标文本的目标句法树。然后从各句法树子集中确定出目标句法树的候选句法树。并对目标文本以及各候选句法树进行编码，然后将得到的编码结果输入上述文本扩展模型中，得到目标文本的扩展文本为“可以帮我查一下话费吗”。
进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种模型训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，本实施例的模型训练装置700包括：文本集合获取单元701、第一句法分析单元702、第一编码单元703和模型训练单元704。
文本集合获取单元701，被配置成获取文本集合。文本集合包括多个文本子集，每个文本子集包括意图相同的多个文本。
第一句法分析单元702，被配置成对于每个文本子集，对该文本子集中的各文本进行句法分析，确定各文本对应的句法树。。
第一编码单元703，被配置成分别对各文本以及各句法树进行编码。
模型训练单元704，被配置成基于得到的编码结果以及文本集合，训练模型。
在本实施例的一些可选的实现方式中，模型训练单元704可以进一步被配置成：对于每个文本，将该文本的编码结果与该文本对应的句法树的编码结果进行合并；将合并后的编码结果作为输入，将与输入对应的文本所属的文本子集中的其它文本分别作为期望输出，训练模型。
在本实施例的一些可选的实现方式中，文本集合获取单元701可以进一步被配置成：从预设网站获取问题集合；确定问题集合中的相似问题；对相似问题进行意图标注，得到文本集合。
应当理解，模型训练装置700中记载的单元701至单元704分别与参考图2中描述的方法中的各个步骤相对应。由此，上文针对模型训练方法描述的操作和特征同样适用于装置700及其中包含的单元，在此不再赘述。
进一步参考图8，作为对上述各图所示方法的实现，本申请提供了一种文本扩展装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图8所示，本实施例的模型训练装置800包括：目标文本获取单元801、第二句法分析单元802、候选句法树确定单元803、第二编码单元804和文本扩展单元805。
目标文本获取单元801，被配置成获取目标文本；
第二句法分析单元802，被配置成确定目标文本的目标句法树。。
候选句法树确定单元803，被配置成根据目标句法树以及预先获取的句法树集合，确定至少一个候选句法树。
第二编码单元804，被配置成分别对目标文本以及各候选句法树进行编码。
文本扩展单元805，被配置成根据目标文本的编码结果、各候选句法树的编码结果以及通过前述实施例所描述的模型训练方法训练得到的模型，确定目标文本的扩展文本。
在本实施例的一些可选的实现方式中，句法树集合包括多个句法树子集，各句法树子集与文本子集对应，每个文本子集中的各文本意图相同。候选句法树确定单元803可以进一步被配置成：从句法树集合中的各句法树子集中确定出与目标句法树结构相同的至少一个句法树；对于确定出的每个句法树，将该句法树所属的句法树子集中的其它句法树作为候选句法树。
在本实施例的一些可选的实现方式中，装置800还可以进一步包括图8中未示出的文本筛选单元，被配置成：对扩展文本进行筛选。
应当理解，文本扩展装置800中记载的单元801至单元805分别与参考图4中描述的方法中的各个步骤相对应。由此，上文针对文本扩展方法描述的操作和特征同样适用于装置800及其中包含的单元，在此不再赘述。
根据本申请的实施例，本申请还提供了还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了根据本申请实施例的执行模型训练方法、文本扩展方法的电子设备900的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，设备900包括处理器901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储器908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。处理器901、ROM 902以及RAM 903通过总线904彼此相连。I/O接口(输入/输出接口)905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储器908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器901可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器901执行上文所描述的各个方法和处理，例如模型训练方法、文本扩展方法。例如，在一些实施例中，模型训练方法、文本扩展方法可被实现为计算机软件程序，其被有形地包含于机器可读存储介质，例如存储器908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序加载到RAM 903并由处理器901执行时，可以执行上文描述的模型训练方法、文本扩展方法的一个或多个步骤。备选地，在其他实施例中，处理器901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型训练方法、文本扩展方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。上述程序代码可以封装成计算机程序产品。这些程序代码或计算机程序产品可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器901执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读存储介质可以是机器可读信号存储介质或机器可读存储介质。机器可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学存储设备、磁存储设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(“Virtual Private Server”，或简称“VPS”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以是分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请的保护范围之内。
Claims (11)
1.一种模型训练方法，包括：
获取文本集合，所述文本集合包括多个文本子集，每个文本子集包括意图相同的多个文本；
对于每个文本子集，对该文本子集中的各文本进行句法分析，确定各文本对应的句法树；
分别对各文本以及各句法树进行编码；
基于得到的编码结果以及所述文本集合，训练模型；
其中，所述基于得到的编码结果以及所述文本集合，训练模型，包括：
对于每个文本，将该文本的编码结果与该文本对应的句法树的编码结果进行合并；
将合并后的编码结果作为输入，将与输入对应的文本所属的文本子集中的其它文本分别作为期望输出，训练模型。
2.根据权利要求1所述的方法，其中，所述获取文本集合，包括：
从预设网站获取问题集合；
确定所述问题集合中的相似问题；
对相似问题进行意图标注，得到所述文本集合。
3.一种文本生成方法，包括：
获取目标文本；
确定所述目标文本的目标句法树；
根据所述目标句法树以及预先获取的句法树集合，确定至少一个候选句法树；
分别对所述目标文本以及所述各候选句法树进行编码；
根据所述目标文本的编码结果、各候选句法树的编码结果以及通过如权利要求1或2所述的模型训练方法训练得到的模型，确定所述目标文本的扩展文本；其中，所述句法树集合包括多个句法树子集，各句法树子集与文本子集对应，每个文本子集中的各文本意图相同；以及
所述根据所述目标句法树以及预先获取的句法树集合，确定至少一个候选句法树，包括：
从所述句法树集合中的各句法树子集中确定出与所述目标句法树结构相同的至少一个句法树；
对于确定出的每个句法树，将该句法树所属的句法树子集中的其它句法树作为候选句法树。
4.根据权利要求3所述的方法，其中，所述方法还包括：
对所述扩展文本进行筛选。
5.一种模型训练装置，包括：
文本集合获取单元，被配置成获取文本集合，所述文本集合包括多个文本子集，每个文本子集包括意图相同的多个文本；
第一句法分析单元，被配置成对于每个文本子集，对该文本子集中的各文本进行句法分析，确定各文本对应的句法树；
第一编码单元，被配置成分别对各文本以及各句法树进行编码；
模型训练单元，被配置成基于得到的编码结果以及所述文本集合，训练模型；其中，所述模型训练单元进一步被配置成：
对于每个文本，将该文本的编码结果与该文本对应的句法树的编码结果进行合并；
将合并后的编码结果作为输入，将与输入对应的文本所属的文本子集中的其它文本分别作为期望输出，训练模型。
6.根据权利要求5所述的装置，其中，所述文本集合获取单元进一步被配置成：
从预设网站获取问题集合；
确定所述问题集合中的相似问题；
对相似问题进行意图标注，得到所述文本集合。
7.一种文本扩展装置，包括：
目标文本获取单元，被配置成获取目标文本；
第二句法分析单元，被配置成确定所述目标文本的目标句法树；
候选句法树确定单元，被配置成根据所述目标句法树以及预先获取的句法树集合，确定至少一个候选句法树；
第二编码单元，被配置成分别对所述目标文本以及所述各候选句法树进行编码；
文本扩展单元，被配置成根据所述目标文本的编码结果、各候选句法树的编码结果以及通过如权利要求1或2所述的模型训练方法训练得到的模型，确定所述目标文本的扩展文本；其中，所述句法树集合包括多个句法树子集，各句法树子集与文本子集对应，每个文本子集中的各文本意图相同；以及
所述候选句法树确定单元进一步被配置成：
从所述句法树集合中的各句法树子集中确定出与所述目标句法树结构相同的至少一个句法树；
对于确定出的每个句法树，将该句法树所属的句法树子集中的其它句法树作为候选句法树。
8.根据权利要求7所述的装置，其中，所述装置还包括文本筛选单元，被配置成：
对所述扩展文本进行筛选。
9.一种执行模型训练方法的电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1或2所述的方法。
10.一种执行文本扩展方法的电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求3或4所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110261733.0A CN112989797B (zh) | 2021-03-10 | 2021-03-10 | 模型训练、文本扩展方法，装置，设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110261733.0A CN112989797B (zh) | 2021-03-10 | 2021-03-10 | 模型训练、文本扩展方法，装置，设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112989797A CN112989797A (zh) | 2021-06-18 |
| CN112989797B true CN112989797B (zh) | 2023-11-14 |
Family
ID=76334786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110261733.0A Active CN112989797B (zh) | 2021-03-10 | 2021-03-10 | 模型训练、文本扩展方法，装置，设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112989797B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114036907B (zh) * | 2021-11-18 | 2024-06-25 | 国网江苏省电力有限公司电力科学研究院 | 一种基于领域特征的文本数据扩增方法 |
| CN114548069A (zh) * | 2022-02-22 | 2022-05-27 | 北京京东尚科信息技术有限公司 | 扩展文本处理方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109582954A (zh) * | 2018-01-24 | 2019-04-05 | 广州数知科技有限公司 | 用于输出信息的方法和装置 |
| CN111737406A (zh) * | 2020-07-28 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 文本检索方法、装置及设备、文本检索模型的训练方法 |
| CN111783451A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 用于增强文本样本的方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2657173C2 (ru) * | 2016-07-28 | 2018-06-08 | Общество с ограниченной ответственностью "Аби Продакшн" | Сентиментный анализ на уровне аспектов с использованием методов машинного обучения |
| US11455494B2 (en) * | 2018-05-30 | 2022-09-27 | Oracle International Corporation | Automated building of expanded datasets for training of autonomous agents |
-
2021
- 2021-03-10 CN CN202110261733.0A patent/CN112989797B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109582954A (zh) * | 2018-01-24 | 2019-04-05 | 广州数知科技有限公司 | 用于输出信息的方法和装置 |
| CN111783451A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 用于增强文本样本的方法和装置 |
| CN111737406A (zh) * | 2020-07-28 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 文本检索方法、装置及设备、文本检索模型的训练方法 |
Non-Patent Citations (3)
| Title |
|---|
| Question Fine-grained Classification Based on Semantic Expansion and Attention Network;Xie Yufei等;Computer Engineering;全文 * |
| 利用深度去噪自编码器深度学习的指令意图理解方法;李瀚清;房宁;赵群飞;夏泽洋;;上海交通大学学报(07);全文 * |
| 用于语义相似度评估的基于句法树的神经网络研究;杨润琦;中国优秀硕士学位论文全文数据库;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112989797A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113705187B (zh) | 预训练语言模型的生成方法、装置、电子设备和存储介质 | |
| CN112560496B (zh) | 语义分析模型的训练方法、装置、电子设备及存储介质 | |
| US20230004721A1 (en) | Method for training semantic representation model, device and storage medium | |
| CN113836314B (zh) | 知识图谱构建方法、装置、设备以及存储介质 | |
| CN112989797B (zh) | 模型训练、文本扩展方法，装置，设备以及存储介质 | |
| CN112560481B (zh) | 语句处理方法、设备和存储介质 | |
| CN112528641A (zh) | 建立信息抽取模型的方法、装置、电子设备和可读存储介质 | |
| CN112906368B (zh) | 行业文本增量方法、相关装置及计算机程序产品 | |
| CN113641724A (zh) | 知识标签挖掘方法、装置、电子设备及存储介质 | |
| CN113360346B (zh) | 用于训练模型的方法和装置 | |
| CN116049370A (zh) | 信息查询方法和信息生成模型的训练方法、装置 | |
| CN113360672B (zh) | 用于生成知识图谱的方法、装置、设备、介质和产品 | |
| CN115510203A (zh) | 问题答案确定方法、装置、设备、存储介质及程序产品 | |
| CN114841172A (zh) | 文本匹配双塔模型的知识蒸馏方法、装置及程序产品 | |
| CN114385829A (zh) | 知识图谱创建方法、装置、设备以及存储介质 | |
| CN112541346A (zh) | 摘要生成方法、装置、电子设备及可读存储介质 | |
| CN116069914B (zh) | 训练数据的生成方法、模型训练方法以及装置 | |
| CN113240304B (zh) | 特征构建方法、装置、设备以及存储介质 | |
| CN113344405B (zh) | 基于知识图谱生成信息的方法、装置、设备、介质和产品 | |
| CN113342990B (zh) | 知识图谱的构建方法和装置 | |
| CN113360602B (zh) | 用于输出信息的方法、装置、设备以及存储介质 | |
| CN114818735A (zh) | 基于级联的文本匹配模型的知识蒸馏方法、装置及产品 | |
| CN114863215A (zh) | 基于深度学习框架生成静态图模型的方法及装置 | |
| CN116842941A (zh) | 一种数据生成方法、装置及电子设备 | |
| CN114706792A (zh) | 用于推荐测试用例的方法、装置、设备、介质和产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |