CN112818701B - 用于确定对话实体识别模型的方法、装置及设备 - Google Patents
用于确定对话实体识别模型的方法、装置及设备 Download PDFInfo
- Publication number
- CN112818701B CN112818701B CN202110136328.6A CN202110136328A CN112818701B CN 112818701 B CN112818701 B CN 112818701B CN 202110136328 A CN202110136328 A CN 202110136328A CN 112818701 B CN112818701 B CN 112818701B
- Authority
- CN
- China
- Prior art keywords
- model
- target value
- fitting target
- entity
- dialogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000003062 neural network model Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 18
- 238000003860 storage Methods 0.000 description 13
- 238000012512 characterization method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及深度学习技术领域，公开一种用于确定对话实体识别模型的方法，包括：获取对话文本；将对话文本输入备选对话实体识别模型进行训练；通过第一任务模型获取对话文本对应的隐藏表征；将隐藏表征输入第二任务模型，获取第二任务模型的第二拟合目标值；将隐藏表征输入第三任务模型，获取第三任务模型的第三拟合目标值；根据第二拟合目标值和第三拟合目标值获取备选对话实体识别模型的第一拟合目标值；在第一拟合目标值满足预设条件的情况下，停止训练备选对话实体识别模型，并将该备选对话实体识别模型确定为对话实体识别模型。能够提高对话实体识别模型的安全性能。本申请还公开一种用于确定对话实体识别模型的装置及设备。
Description
技术领域
本申请涉及深度学习技术领域，例如涉及一种用于确定对话实体识别模型的方法、装置及设备。
背景技术
命名实体识别(Named Entity Recognition，简称NER)，又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。在深度学习NLP(Natural Language Processing，自然语言处理)领域中，命名实体识别是一项基础任务。对话命名实体识别即从用户的聊天对话中，识别出预先制定类别的实体词，从而可以获取到用户本身想要表达的重要信息内容。
在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：采用现有技术的对话实体识别模型，在模型识别过程中生成的隐藏表征容易被窃取。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种确定对话实体识别模型的方法、装置及设备，能够为模型识别过程中生成的隐藏表征提供隐私保护，以提高对话实体识别模型的安全性能。
在一些实施例中，所述方法包括：获取对话文本；将所述对话文本输入备选对话实体识别模型进行训练；所述备选对话实体识别模型包括第一任务模型、第二任务模型和第三任务模型；通过所述第一任务模型获取所述对话文本对应的隐藏表征；将所述隐藏表征输入所述第二任务模型，获取所述第二任务模型对应的第二拟合目标值；将所述隐藏表征输入所述第三任务模型，获取所述第三任务模型对应的第三拟合目标值；根据所述第二拟合目标值和所述第三拟合目标值获取所述备选对话实体识别模型对应的第一拟合目标值；在第一拟合目标值满足预设条件的情况下，停止训练备选对话实体识别模型，并将停止训练后的备选对话实体识别模型确定为对话实体识别模型。
在一些实施例中，所述装置包括：处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行上述的用于确定对话识别模型的方法。
在一些实施例中，所述设备包括上述的用于确定对话识别模型的装置。
本公开实施例提供的用于确定对话实体识别模型的方法、装置及设备，可以实现以下技术效果：通过对话文本对备选对话实体识别模型进行训练，并通过备选对话实体识别模型的第一任务模型获取对话文本对应的隐藏表征，通过将隐藏表征分别输入备选对话实体识别模型的第二任务模型和第三任务模型，获取第二任务模型的第二拟合目标值和第三任务模型的第三拟合目标值，并根据第二拟合目标值和第三拟合目标值获取备选对话实体识别模型对应的第一拟合目标值，在第一拟合目标值满足预设条件的情况下，确定出对话实体识别模型。能够利用第二拟合目标值和第三拟合目标值对第一拟合目标值进行调整，通过控制第二拟合目标值在训练过程中增大，使第二拟合目标值对应的第二任务模型不易识别隐藏表征，使得确定出的对话实体识别模型能够为隐藏表征提供隐私保护，降低识别过程中生成的隐藏表征被窃取的可能性，从而减小通过窃取隐藏表征获取隐私数据的可能性，提高了对话实体识别模型的安全性能。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一个用于确定对话实体识别模型的方法的示意图；
图2是本公开实施例提供的一个用于确定对话实体识别模型的装置的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
结合图1所示，本公开实施例提供一种用于确定对话实体识别模型的方法，包括：
步骤S101，获取对话文本。
步骤S102，将对话文本输入备选对话实体识别模型进行训练；备选对话实体识别模型包括第一任务模型、第二任务模型和第三任务模型。
步骤S103，通过第一任务模型获取对话文本对应的隐藏表征。
步骤S104，将隐藏表征输入第二任务模型，获取第二任务模型对应的第二拟合目标值；将隐藏表征输入第三任务模型，获取第三任务模型对应的第三拟合目标值。
步骤S105，根据第二拟合目标值和第三拟合目标值获取备选对话实体识别模型对应的第一拟合目标值。
步骤S106，在第一拟合目标值满足预设条件的情况下，停止训练备选对话实体识别模型，并将停止训练后的备选对话实体识别模型确定为对话实体识别模型。
采用本公开实施例提供的用于确定对话实体识别模型的方法，通过对话文本对备选对话实体识别模型进行训练，并通过备选对话实体识别模型的第一任务模型获取对话文本对应的隐藏表征，通过将隐藏表征分别输入备选对话实体识别模型的第二任务模型和第三任务模型，获取第二任务模型的第二拟合目标值和第三任务模型的第三拟合目标值，并根据第二拟合目标值和第三拟合目标值获取备选对话实体识别模型对应的第一拟合目标值，在第一拟合目标值满足预设条件的情况下，确定出对话实体识别模型。能够利用第二拟合目标值和第三拟合目标值对第一拟合目标值进行调整，通过控制第二拟合目标值在训练过程中增大，使第二拟合目标值对应的第二任务模型不易识别隐藏表征，使得确定出的对话实体识别模型能够为隐藏表征提供隐私保护，降低识别过程中生成的隐藏表征被窃取的可能性，从而减小通过窃取隐藏表征获取隐私数据的可能性，提高了对话实体识别模型的安全性能。
可选地，获取对话文本后，还包括：将对话文本分配给第一预设个数的对话文本集，每个对话文本集分配第二预设个数的对话文本。可选地，将对话文本输入备选对话实体识别模型进行训练，包括：将对话文本分批输入备选对话实体识别模型进行训练。可选地，每一批对话文本为一个对话文本集中的对话文本。在一些实施例中，获取到共1000个对话文本，将1000个对话文本分配给10个对话文本集，每个对话文本集分配100个对话文本；将10个对话文本集分10批输入备选对话实体识别模型进行训练。
可选地，第一任务模型为双向长短期记忆神经网络模型，通过第一任务模型获取对话文本对应的隐藏表征，包括：获取对话文本所对应的词向量；通过双向长短期记忆神经网络模型对词向量进行编码，获得对话文本对应的隐藏表征。
可选地，获取对话文本所对应的词向量，包括：将对话文本经过word2voc编码，获得对话文本中各词组所对应的词向量。
在一些实施例中，将对话文本{w0,w1,w2,w3,w4}经过word2voc编码，获得词向量后送入双向长短期记忆神经网络模型对词向量进行编码，得到经过模型提取的隐藏表征。
可选地，第二任务模型为前馈神经网络模型，将隐藏表征输入第二任务模型，获取第二任务模型对应的第二拟合目标值，包括：将隐藏表征输入前馈神经网络模型，获得实体判定概率；利用实体判定概率获取前馈神经网络模型对应的第二拟合目标值。
可选地，将隐藏表征输入前馈神经网络模型，获得实体判定概率，包括：通过前馈神经网络模型对隐藏表征进行解码，并对解码后的隐藏表征的实体类别进行概率判断，获得实体判定概率。可选地，实体类别包括：person(姓名)、company(公司)、number(数字)、organization(组织)和location(位置)五种实体类别。
可选地，根据实体判定概率，利用sigmoid激活函数输出隐藏表征的各实体类别对应的二进制变量，通过二进制变量确定实体的类别。可选地，将五种实体类别映射为0或1的向量，向量的长度为5。可选地，在向量为1的情况下，确定有对应类别的实体；在向量为0的情况下，确定没有对应类别的实体。在一些实施例中，隐藏表征的实体类别为(实体1，实体2，实体3，实体4，实体5)，获得隐藏表征的实体判定概率为(0，0.5，0.5，0，0)，输出的二进制变量为(0，1，1，0，0)，说明在对该隐藏表征的实体类别进行预测时，预测出该隐藏表征包含实体2和实体3。
可选地，利用实体判定概率获取前馈神经网络模型对应的第二拟合目标值，包括：通过计算
获得第二拟合目标值；其中，Lossae(θae)为前馈神经网络模型对应的第二拟合目标值，zi为前馈神经网络模型预测的第i个隐藏表征的实体判定概率，xi为第i个隐藏表征的向量，θae为前馈神经网络模型的参数，i、n均为正整数。可选地，P(zi|xi；θae)为基于参数θae利用xi获取zi的概率，
在一些实施例中，第二拟合目标值越高，说明第二任务模型的识别准确率越低，即对隐藏表征的实体类别判定不准确，在对隐藏表征的实体类别判定不准确的情况下，隐藏表征不容易被窃取，从而实现对隐私数据的保护。这样，在备选对话实体识别模型训练过程中，通过获取第二拟合目标值判断第二任务模型的模型识别准确率，通过降低第二任务模型的识别准确率实现对隐藏表征的加密，从而确定备选对话实体识别模型训练优化的方向，使得备选对话实体识别模型朝着对隐藏表征的实体类别判定不准确的方向进行优化。
可选地，第三任务模型为命名实体识别模型，将隐藏表征输入第三任务模型，获取第三任务模型对应的第三拟合目标值，包括：将隐藏表征输入命名实体识别模型，获得实体序列；利用实体序列获取命名实体识别模型对应的第三拟合目标值。
可选地，将隐藏表征输入命名实体识别模型，获得实体序列，包括：对隐藏表征使用条件随机场模型进行解码，获得隐藏表征对应的实体序列。
可选地，利用实体序列获取命名实体识别模型对应的第三拟合目标值，包括：通过计算
Lossner(θner)＝-crf_log_likelihood(CRF(Hidden Representa tion),ae_seq,length)，获得第三拟合目标值；其中，Lossner(θner)为命名实体识别模型对应的第三拟合目标值，CRF(Hidden Representation)为隐藏表征对应的实体序列，θner为命名实体识别模型的参数，length为单句序列长度，ae_seq为隐藏表征对应的真实实体序列，crf_log_likelihood为基于条件随机场获取对数似然函数。
在一些实施例中，第三拟合目标值越低，说明第三任务模型的识别准确率越高。这样，通过获取第三拟合目标值判断第三任务模型的模型识别准确率，在对备选对话实体识别模型进行训练时，减少命名实体识别模型的任务损失。
可选地，根据第二拟合目标值和第三拟合目标值获取对话实体识别模型对应的第一拟合目标值，包括：通过计算Lossmulti(θner,θae)＝-αLossae(θae)+βLossner(θner)，获得第一拟合目标值；其中，Lossmulti(θner,θae)为对话实体识别模型对应的第一拟合目标值，Lossae(θae)为前馈神经网络模型对应的第二拟合目标值，Lossner(θner)为命名实体识别模型对应的第三拟合目标值，α为前馈神经网络模型的超参权重，β为命名实体识别模型的超参权重。
这样，通过超参权重调整第一拟合目标值的侧重，从而在对话实体识别模型的准确性提升的训练过程中，能够减少命名实体识别模型的任务损失。通过控制第二拟合目标值在训练过程中增大，使第二拟合目标值对应的第二任务模型不易识别隐藏表征，使得确定出的对话实体识别模型能够为隐藏表征提供隐私保护，降低识别过程中生成的隐藏表征被窃取的可能性，从而减小通过窃取隐藏表征获取隐私数据的可能性，提高了对话实体识别模型的安全性能。
可选地，在第一拟合目标值满足预设条件的情况下，停止训练备选对话实体识别模型，并将停止训练后的备选对话实体识别模型确定为对话实体识别模型，包括：在第一拟合目标值小于设定阈值的情况下，停止训练备选对话实体识别模型，并将停止训练后的备选对话实体识别模型确定为对话实体识别模型。
可选地，设定阈值为0.0012。
这样，结合了实体类别判定和命名实体识别两个任务，使得最后确定出的对话实体识别模型在保证命名实体识别模型的准确性的情况下，能够为隐藏表征提供隐私保护，减小了用户聊天过程中的重要信息被窃取的可能性。
结合图2所示，本公开实施例提供一种用于确定对话实体识别模型的装置，包括处理器(processor)100和存储有程序指令的存储器(memory)101。可选地，该装置还可以包括通信接口(Communication Interface)102和总线103。其中，处理器100、通信接口102、存储器101可以通过总线103完成相互间的通信。通信接口102可以用于信息传输。处理器100可以调用存储器101中的程序指令，以执行上述实施例的用于确定对话实体识别模型的方法。
此外，上述的存储器101中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器101作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器100通过运行存储在存储器101中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于确定对话实体识别模型的方法。
存储器101可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器101可以包括高速随机存取存储器，还可以包括非易失性存储器。
采用本公开实施例提供的用于确定对话实体识别模型的装置，能够利用第二拟合目标值和第三拟合目标值对第一拟合目标值进行调整，通过控制第二拟合目标值在训练过程中增大，使第二拟合目标值对应的第二任务模型不易识别隐藏表征，使得确定出的对话实体识别模型能够为隐藏表征提供隐私保护，降低识别过程中生成的隐藏表征被窃取的可能性，从而减小通过窃取隐藏表征获取隐私数据的可能性，提高了对话实体识别模型的安全性能。
本公开实施例提供了一种设备，包含上述的用于确定对话实体识别模型的装置。
可选地，设备包括：计算机、服务器等。
该设备能够利用第二拟合目标值和第三拟合目标值对第一拟合目标值进行调整，通过控制第二拟合目标值在训练过程中增大，使第二拟合目标值对应的第二任务模型不易识别隐藏表征，使得确定出的对话实体识别模型能够为隐藏表征提供隐私保护，降低识别过程中生成的隐藏表征被窃取的可能性，从而减小通过窃取隐藏表征获取隐私数据的可能性，提高了对话实体识别模型的安全性能。
本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于确定对话实体识别模型的方法。
本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述用于确定对话实体识别模型的方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
Claims (7)
1.一种用于确定对话实体识别模型的方法，其特征在于，包括：
获取对话文本；
将所述对话文本输入备选对话实体识别模型进行训练；所述备选对话实体识别模型包括第一任务模型、第二任务模型和第三任务模型；
通过所述第一任务模型获取所述对话文本对应的隐藏表征；所述隐藏表征为所述对话文本所对应的编码后的词向量；
将所述隐藏表征输入所述第二任务模型，获取所述第二任务模型对应的第二拟合目标值；将所述隐藏表征输入所述第三任务模型，获取所述第三任务模型对应的第三拟合目标值；
根据所述第二拟合目标值和所述第三拟合目标值获取所述备选对话实体识别模型对应的第一拟合目标值；
在第一拟合目标值满足预设条件的情况下，停止训练备选对话实体识别模型，并将停止训练后的备选对话实体识别模型确定为对话实体识别模型；
所述第二任务模型为前馈神经网络模型，将所述隐藏表征输入所述第二任务模型，获取所述第二任务模型对应的第二拟合目标值，包括：将所述隐藏表征输入所述前馈神经网络模型，获得实体判定概率；利用所述实体判定概率获取所述前馈神经网络模型对应的第二拟合目标值；
所述第三任务模型为命名实体识别模型，将所述隐藏表征输入所述第三任务模型，获取所述第三任务模型对应的第三拟合目标值，包括：将所述隐藏表征输入所述命名实体识别模型，获得实体序列；利用所述实体序列获取所述命名实体识别模型对应的第三拟合目标值；
根据所述第二拟合目标值和所述第三拟合目标值获取所述对话实体识别模型对应的第一拟合目标值，包括：
通过计算
，获得第一拟合目标值；其中，
为对话实体识别模型对应的第一拟合目标值，/>
为前馈神经网络模型对应的第二拟合目标值，/>
为命名实体识别模型对应的第三拟合目标值，/>
为前馈神经网络模型的超参权重，/>
为命名实体识别模型的超参权重。
2.根据权利要求1所述的方法，其特征在于，所述第一任务模型为双向长短期记忆神经网络模型，通过所述第一任务模型获取所述对话文本对应的隐藏表征，包括：
获取所述对话文本所对应的词向量；
通过所述双向长短期记忆神经网络模型对所述词向量进行编码，获得所述对话文本对应的隐藏表征。
3.根据权利要求1所述的方法，其特征在于，利用所述实体判定概率获取所述前馈神经网络模型对应的第二拟合目标值，包括：
通过计算
，获得第二拟合目标值；其中，/>
为前馈神经网络模型对应的第二拟合目标值，/>
为第i个隐藏表征对应的实体判定概率，/>
为第i个隐藏表征的向量，/>
为前馈神经网络模型的参数，i、n均为正整数。
4.根据权利要求1所述的方法，其特征在于，利用所述实体序列获取所述命名实体识别模型对应的第三拟合目标值，包括：
通过计算
，获得第三拟合目标值；其中，/>
为命名实体识别模型对应的第三拟合目标值，
为隐藏表征对应的实体序列，/>
为命名实体识别模型的参数，/>
为单句序列长度，/>
为隐藏表征对应的真实实体序列，/>
为基于条件随机场获取对数似然函数。
5.根据权利要求1至4任一项所述的方法，其特征在于，在第一拟合目标值满足预设条件的情况下，停止训练备选对话实体识别模型，并将停止训练后的备选对话实体识别模型确定为对话实体识别模型，包括：
在第一拟合目标值小于设定阈值的情况下，停止训练备选对话实体识别模型，并将停止训练后的备选对话实体识别模型确定为对话实体识别模型。
6.一种用于确定对话识别模型的装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至5任一项所述的用于确定对话识别模型的方法。
7.一种设备，其特征在于，包括如权利要求6所述的用于确定对话识别模型的装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110136328.6A CN112818701B (zh) | 2021-02-01 | 2021-02-01 | 用于确定对话实体识别模型的方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110136328.6A CN112818701B (zh) | 2021-02-01 | 2021-02-01 | 用于确定对话实体识别模型的方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112818701A CN112818701A (zh) | 2021-05-18 |
| CN112818701B true CN112818701B (zh) | 2023-07-04 |
Family
ID=75860910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110136328.6A Active CN112818701B (zh) | 2021-02-01 | 2021-02-01 | 用于确定对话实体识别模型的方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818701B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399616A (zh) * | 2019-07-31 | 2019-11-01 | 国信优易数据有限公司 | 命名实体检测方法、装置、电子设备及可读存储介质 |
| CN110458039A (zh) * | 2019-07-19 | 2019-11-15 | 华中科技大学 | 一种工业过程故障诊断模型的构建方法及其应用 |
| CN110969014A (zh) * | 2019-11-18 | 2020-04-07 | 南开大学 | 一种基于同步神经网络的意见二元组抽取方法 |
| CN111291181A (zh) * | 2018-12-10 | 2020-06-16 | 百度（美国）有限责任公司 | 经由主题稀疏自编码器和实体嵌入的用于输入分类的表示学习 |
| CN111563380A (zh) * | 2019-01-25 | 2020-08-21 | 浙江大学 | 一种命名实体识别方法及其装置 |
| CN111651989A (zh) * | 2020-04-13 | 2020-09-11 | 上海明略人工智能(集团)有限公司 | 命名实体识别方法和装置、存储介质及电子装置 |
| CN111737146A (zh) * | 2020-07-21 | 2020-10-02 | 中国人民解放军国防科技大学 | 一种用于对话系统评估的语句生成方法 |
| EP3767516A1 (en) * | 2019-07-18 | 2021-01-20 | Ricoh Company, Ltd. | Named entity recognition method, apparatus, and computer-readable recording medium |
-
2021
- 2021-02-01 CN CN202110136328.6A patent/CN112818701B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291181A (zh) * | 2018-12-10 | 2020-06-16 | 百度（美国）有限责任公司 | 经由主题稀疏自编码器和实体嵌入的用于输入分类的表示学习 |
| CN111563380A (zh) * | 2019-01-25 | 2020-08-21 | 浙江大学 | 一种命名实体识别方法及其装置 |
| EP3767516A1 (en) * | 2019-07-18 | 2021-01-20 | Ricoh Company, Ltd. | Named entity recognition method, apparatus, and computer-readable recording medium |
| CN110458039A (zh) * | 2019-07-19 | 2019-11-15 | 华中科技大学 | 一种工业过程故障诊断模型的构建方法及其应用 |
| CN110399616A (zh) * | 2019-07-31 | 2019-11-01 | 国信优易数据有限公司 | 命名实体检测方法、装置、电子设备及可读存储介质 |
| CN110969014A (zh) * | 2019-11-18 | 2020-04-07 | 南开大学 | 一种基于同步神经网络的意见二元组抽取方法 |
| CN111651989A (zh) * | 2020-04-13 | 2020-09-11 | 上海明略人工智能(集团)有限公司 | 命名实体识别方法和装置、存储介质及电子装置 |
| CN111737146A (zh) * | 2020-07-21 | 2020-10-02 | 中国人民解放军国防科技大学 | 一种用于对话系统评估的语句生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112818701A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263323B (zh) | 基于栅栏式长短时记忆神经网络的关键词抽取方法及系统 | |
| CN110298035B (zh) | 基于人工智能的字向量定义方法、装置、设备及存储介质 | |
| CN110825857B (zh) | 多轮问答识别方法、装置、计算机设备及存储介质 | |
| CN111858843B (zh) | 一种文本分类方法及装置 | |
| CN112560501A (zh) | 语义特征的生成方法、模型训练方法、装置、设备及介质 | |
| CN111091004B (zh) | 一种语句实体标注模型的训练方法、训练装置及电子设备 | |
| CN113282714B (zh) | 一种基于区分性词向量表示的事件检测方法 | |
| CN109885811B (zh) | 文章风格转换方法、装置、计算机设备及存储介质 | |
| CN110321430B (zh) | 域名识别和域名识别模型生成方法、装置及存储介质 | |
| CN113283238A (zh) | 文本数据处理的方法和装置、电子设备和存储介质 | |
| CN112464655A (zh) | 中文字符和拼音相结合的词向量表示方法、装置、介质 | |
| CN111966811A (zh) | 意图识别和槽填充方法、装置、可读存储介质及终端设备 | |
| CN112084779A (zh) | 用于语义识别的实体获取方法、装置、设备及存储介质 | |
| CN112149410A (zh) | 语义识别方法、装置、计算机设备和存储介质 | |
| CN114912142A (zh) | 一种数据脱敏方法、装置、电子设备及存储介质 | |
| CN111241843B (zh) | 基于复合神经网络的语义关系推断系统和方法 | |
| CN112818701B (zh) | 用于确定对话实体识别模型的方法、装置及设备 | |
| CN116702736A (zh) | 保险话术生成方法、装置、电子设备及存储介质 | |
| CN116432705A (zh) | 文本生成模型构建、文本生成方法和装置、设备及介质 | |
| CN115796156A (zh) | 文本纠错方法、装置、设备及介质 | |
| CN112507388B (zh) | 基于隐私保护的word2vec模型训练方法、装置及系统 | |
| CN115080745A (zh) | 基于人工智能的多场景文本分类方法、装置、设备及介质 | |
| CN114254108A (zh) | 一种中文文本对抗样本生成的方法、系统及介质 | |
| CN109710943B (zh) | 矛盾语句识别方法和系统及条款逻辑鉴别方法和系统 | |
| CN112989815A (zh) | 基于信息交互的文本相似度识别方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |