CN112800178A - 答案生成方法、装置、电子设备及可读存储介质 - Google Patents

答案生成方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN112800178A
CN112800178A CN202110124138.2A CN202110124138A CN112800178A CN 112800178 A CN112800178 A CN 112800178A CN 202110124138 A CN202110124138 A CN 202110124138A CN 112800178 A CN112800178 A CN 112800178A
Authority
CN
China
Prior art keywords
answer
model
question
corpus
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110124138.2A
Other languages
English (en)
Inventor
李雷来
王健宗
瞿晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110124138.2A priority Critical patent/CN112800178A/zh
Priority to PCT/CN2021/082863 priority patent/WO2022160442A1/zh
Publication of CN112800178A publication Critical patent/CN112800178A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及智能决策，揭露一种答案生成方法，包括：建立计算机集群，控制计算机集群基于第一语料对初始问答模型执行第一分布式训练，得到第一问答模型；控制计算机集群基于第二语料对第一问答模型执行第二分布式训练，得到第二问答模型；获取答案生成请求携带的目标问题，从第三数据库中获取目标问题对应的目标文本，将目标文本及目标问题输入第二问答模型，得到目标文本中每个词语是目标问题的答案起始词汇的概率及答案终点词汇的概率，基于答案起始词汇的概率及答案终点词汇的概率确定目标问题对应的目标答案。本发明还提供一种答案生成装置、电子设备及可读存储介质。本发明提高了答案生成准确度。

Description

答案生成方法、装置、电子设备及可读存储介质
技术领域
本发明涉及智能决策领域，尤其涉及一种答案生成方法、装置、电子设备及可读存储介质。
背景技术
随着信息化时代的到来，智能问答在人们生活中的应用越来越广泛，例如，某公司新研发了一款产品，当用户咨询该产品时，可通过智能问答模型从该产品的说明书中智能提取出用户问题对应的答案反馈给用户。
为了得到性能良好的智能问答模型，通常需要海量语料对参数量巨大的问答模型进行训练，然而训练过程中需要投入大量计算资源，且训练过程较为漫长，基于成本与时间的限制，人们通常对语料及模型结构进行缩减，然而这种方式使得训练得到的智能问答模型性能不够高，模型匹配出的答案准确度不高。因此，亟需一种答案生成方法，以提高答案生成准确度。
发明内容
鉴于以上内容，有必要提供一种答案生成方法，旨在提高答案生成准确度。
本发明提供的答案生成方法，包括：
建立计算机集群，从第一数据库中获取第一语料，控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，得到第一问答模型；
从第二数据库中获取第二语料，控制所述计算机集群基于所述第二语料对所述第一问答模型执行第二分布式训练，得到第二问答模型；
解析用户基于客户端发出的答案生成请求，获取所述请求携带的目标问题，对所述目标问题执行分词及实体识别处理，得到实体识别结果，从第三数据库中获取与所述实体识别结果匹配的目标文本；
将所述目标文本及目标问题输入所述第二问答模型，得到所述目标文本中每个词语是所述目标问题的答案起始词汇的概率及答案终点词汇的概率，基于所述答案起始词汇的概率及答案终点词汇的概率确定所述目标问题对应的目标答案。
可选的，所述控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，包括：
设置第一分布式训练的最大迭代轮次，对所述第一语料执行掩盖及标签化处理，得到携带标签的第三语料；
获取所述计算机集群中各个计算节点的硬件资源信息，基于所述硬件资源信息将所述第三语料拆分为多个子语料，将所述多个子语料分发给所述各个计算节点，以供所述各个计算节点基于所述子语料训练所述初始问答模型；
接收所述各个计算节点反馈的模型梯度，基于所述模型梯度更新所述初始问答模型的模型参数，将更新后的模型参数发送给所述各个计算节点，以供所述各个计算节点基于所述更新后的模型参数更新所述初始问答模型，并基于更新后的初始问答模型继续训练，当迭代到最大迭代轮数后，第一分布式训练结束。
可选的，所述基于所述模型梯度更新所述初始问答模型的模型参数，包括：
计算所述模型梯度的平均值，将所述平均值代入收敛参数计算公式计算得到所述初始问答模型的收敛参数，将所述平均值代入更新参数计算公式计算得到所述初始问答模型的更新参数；
将所述收敛参数及更新参数代入缩放率计算公式计算得到所述初始问答模型的缩放率，将所述初始问答模型的初始模型参数及初始学习率代入学习率计算公式计算得到所述初始问答模型的新学习率；
将所述初始模型参数、所述缩放率及所述新学习率代入模型参数计算公式计算得到所述初始问答模型的新模型参数。
可选的，所述对所述第一语料执行掩盖及标签化处理，得到携带标签的第三语料，包括：
从所述第一语料中抽取第一预设数量的第一文本，随机调整所述第一文本中句子的顺序，将调整后的文本作为第一样本，将所述第一文本中的句子顺序作为所述第一样本的标签，将携带标签的第一样本的集合作为第一样本集；
从所述第一语料中抽取第二预设数量的第二文本，随机将所述第二文本中第三预设数量的词语掩盖，将掩盖后的文本作为第二样本，将被掩盖的词语作为所述第二样本的标签，将携带标签的第二样本的集合作为第二样本集；
从所述第一语料中抽取第四预设数量的第三文本及第五预设数量的第四文本，随机将所述第四文本中第六预设数量的句子用从其他文本中抽取的句子替换，得到替换后的文本，将所述替换后的文本的标签设置为第一数值，将所述第三文本的标签设置为第二数值，将携带标签的替换后的文本及第三文本的集合作为第三样本集；
将所述第一样本集、所述第二样本集及所述第三样本集的集合作为所述第三语料。
可选的，所述将更新后的模型参数发送给各个计算节点，包括：
对所述更新后的模型参数执行量化和压缩处理，得到压缩后的模型参数；
计算所述压缩后的模型参数的标准信息摘要值；
从第四数据库中获取各个计算节点对应的公钥，采用所述公钥对所述压缩后的模型参数及标准信息摘要值进行加密，得到密文数据，将所述密文数据分发到对应的计算节点。
可选的，所述模型梯度的计算公式为：
Figure BDA0002922067110000031
其中，gti为第t轮迭代时计算机集群中第i个计算节点对应的模型梯度，Tti为第t轮迭代时计算机集群中第i个计算节点的子语料中参与训练的样本的总数量，xt(ij)为第t轮迭代时计算机集群中第i个计算节点的子语料中参与训练的第j个样本，st(ij)为第t轮迭代时计算机集群中第i个计算节点的子语料中参与训练的第j个样本的标签，l()为初始问答模型的输出。
为了解决上述问题，本发明还提供一种答案生成装置，所述装置包括：
第一训练模块，用于建立计算机集群，从第一数据库中获取第一语料，控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，得到第一问答模型；
第二训练模块，用于从第二数据库中获取第二语料，控制所述计算机集群基于所述第二语料对所述第一问答模型执行第二分布式训练，得到第二问答模型；
实体识别模块，用于解析用户基于客户端发出的答案生成请求，获取所述请求携带的目标问题，对所述目标问题执行分词及实体识别处理，得到实体识别结果，从第三数据库中获取与所述实体识别结果匹配的目标文本；
答案确定模块，用于将所述目标文本及目标问题输入所述第二问答模型，得到所述目标文本中每个词语是所述目标问题的答案起始词汇的概率及答案终点词汇的概率，基于所述答案起始词汇的概率及答案终点词汇的概率确定所述目标问题对应的目标答案。
可选的，所述控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，包括：
设置第一分布式训练的最大迭代轮次，对所述第一语料执行掩盖及标签化处理，得到携带标签的第三语料；
获取所述计算机集群中各个计算节点的硬件资源信息，基于所述硬件资源信息将所述第三语料拆分为多个子语料，将所述多个子语料分发给所述各个计算节点，以供所述各个计算节点基于所述子语料训练所述初始问答模型；
接收所述各个计算节点反馈的模型梯度，基于所述模型梯度更新所述初始问答模型的模型参数，将更新后的模型参数发送给所述各个计算节点，以供所述各个计算节点基于所述更新后的模型参数更新所述初始问答模型，并基于更新后的初始问答模型继续训练，当迭代到最大迭代轮数后，第一分布式训练结束。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的答案生成程序，所述答案生成程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述答案生成方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有答案生成程序，所述答案生成程序可被一个或者多个处理器执行，以实现上述答案生成方法。
相较现有技术，本发明首先建立计算机集群，从第一数据库中获取第一语料，控制计算机集群基于第一语料对初始问答模型执行第一分布式训练，得到第一问答模型；然后，从第二数据库中获取第二语料，控制计算机集群基于第二语料对第一问答模型执行第二分布式训练，得到第二问答模型；接着，获取答案生成请求携带的目标问题，对目标问题执行分词及实体识别处理，得到实体识别结果，从第三数据库中获取与实体识别结果匹配的目标文本；最后，将目标文本及目标问题输入第二问答模型，得到目标文本中每个词语是目标问题的答案起始词汇的概率及答案终点词汇的概率，基于答案起始词汇的概率及答案终点词汇的概率确定目标问题对应的目标答案。本方案通过计算机集群执行第一分布式训练、第二分布式训练，实现了较短时间内采用海量语料对参数量巨大的问答模型的训练，因未对语料及模型结构进行缩减，保证了训练得到的第二问答模型的高性能、第二问答模型生成的答案的高准确度。因此，本发明提高了答案生成准确度。
附图说明
图1为本发明一实施例提供的答案生成方法的流程示意图；
图2为本发明一实施例提供的答案生成装置的模块示意图；
图3为本发明一实施例提供的实现答案生成方法的电子设备的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提供一种答案生成方法。参照图1所示，为本发明一实施例提供的答案生成方法的流程示意图。该方法可以由一个电子设备执行，该电子设备可以由软件和/或硬件实现。
本实施例中，答案生成方法包括：
S1、建立计算机集群，从第一数据库中获取第一语料，控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，得到第一问答模型。
本实施例中，通过汇总多台计算机建立计算机集群，并采用虚拟化技术(例如，运用docker容器进行虚拟化处理)为计算机集群中的计算节点配置训练需要的环境，可实现分布式并行训练，有效提高训练效率。
为得到性能良好的问答模型，获取的第一语料的数据量较为庞大，第一语料包括从百度知道、百度百科等渠道获取的公开数据，还包括爬虫程序爬取到的特有领域的数据，例如医疗、金融和体育领域数据。
所述控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，包括步骤A11-A13：
A11、设置第一分布式训练的最大迭代轮次，对所述第一语料执行掩盖及标签化处理，得到携带标签的第三语料；
本实施例中，所述对所述第一语料执行掩盖及标签化处理，得到携带标签的第三语料，包括步骤B11-B14：
B11、从所述第一语料中抽取第一预设数量的第一文本，随机调整所述第一文本中句子的顺序，将调整后的文本作为第一样本，将所述第一文本中的句子顺序作为所述第一样本的标签，将携带标签的第一样本的集合作为第一样本集；
B12、从所述第一语料中抽取第二预设数量的第二文本，随机将所述第二文本中第三预设数量的词语掩盖，将掩盖后的文本作为第二样本，将被掩盖的词语作为所述第二样本的标签，将携带标签的第二样本的集合作为第二样本集；
B13、从所述第一语料中抽取第四预设数量的第三文本及第五预设数量的第四文本，随机将所述第四文本中第六预设数量的句子用从其他文本中抽取的句子替换，得到替换后的文本，将所述替换后的文本的标签设置为第一数值(例如，0)，将所述第三文本的标签设置为第二数值(例如，1)，将携带标签的替换后的文本及第三文本的集合作为第三样本集；
B14、将所述第一样本集、所述第二样本集及所述第三样本集的集合作为所述第三语料。
A12、获取所述计算机集群中各个计算节点的硬件资源信息，基于所述硬件资源信息将所述第三语料拆分为多个子语料，将所述多个子语料分发给所述各个计算节点，以供所述各个计算节点基于所述子语料训练所述初始问答模型；
本实施例中，可根据某一硬件资源(例如，显卡)的数量将第三语料分发给各个计算节点，也可以根据每个硬件资源的数量及其对应的权重计算各个计算节点的硬件资源总分值，基于总分值将第三语料分发给各个计算节点。
本实施例中，所述初始问答模型为bert模型，结构为12层叠加的transformer结构。
A13、接收所述各个计算节点反馈的模型梯度，基于所述模型梯度更新所述初始问答模型的模型参数，将更新后的模型参数发送给所述各个计算节点，以供所述各个计算节点基于所述更新后的模型参数更新所述初始问答模型，并基于更新后的初始问答模型继续训练，当迭代到最大迭代轮数后，第一分布式训练结束。
可选的，所述模型梯度的计算公式为：
Figure BDA0002922067110000071
其中，gti为第t轮迭代时计算机集群中第i个计算节点对应的模型梯度，Tti为第t轮迭代时计算机集群中第i个计算节点的子语料中参与训练的样本的总数量，xt(ij)为第t轮迭代时计算机集群中第i个计算节点的子语料中参与训练的第j个样本，st(ij)为第t轮迭代时计算机集群中第i个计算节点的子语料中参与训练的第j个样本的标签，l()为初始问答模型的输出。
所述基于所述模型梯度更新所述初始问答模型的模型参数，包括步骤C11-C13：
C11、计算所述模型梯度的平均值，将所述平均值代入收敛参数计算公式计算得到所述初始问答模型的收敛参数，将所述平均值代入更新参数计算公式计算得到所述初始问答模型的更新参数；
所述收敛参数计算公式为：
Figure BDA0002922067110000072
其中，mt为第t轮迭代时的收敛参数，α为数值已固定的第一平衡超参数(通常取值为0.9)，mt-1为第t-1轮迭代时的收敛参数，gt为第t轮迭代时模型梯度的平均值，αt为第t轮迭代时学习的第二平衡超参数。
所述更新参数计算公式为：
Figure BDA0002922067110000073
其中，vt为第t轮迭代时的更新参数，β为数值已固定的第三平衡超参数(通常取值为0.9)，vt-1为第t-1轮迭代时的更新参数，gt为第t轮迭代时模型梯度的平均值，βt为第t轮迭代时学习的第四平衡超参数。
本实施例引入收敛参数的目的在于在梯度变化小的位置/维度加快模型的收敛，引入更新参数的目的在于训练得到更好的模型参数。
C12、将所述收敛参数及更新参数代入缩放率计算公式计算得到所述初始问答模型的缩放率，将所述初始问答模型的初始模型参数及初始学习率代入学习率计算公式计算得到所述初始问答模型的新学习率；
所述缩放率计算公式为：
Figure BDA0002922067110000081
其中，rt为第t轮迭代时的缩放率，mt为第t轮迭代时的收敛参数，vt为第t轮迭代时的更新参数，∈为数值已固定的第五平衡超参数。
通过收敛参数及更新参数确定出来的缩放率用于调整模型参数的缩放比例。
所述学习率计算公式为：
Uti＝ut*min{max(‖pti‖,γ),δ}
其中，ut为第t轮迭代时初始问答模型的学习率，Uti为第t轮迭代时初始问答模型第i层参数的新学习率，pti为第t轮迭代时初始问答模型的第i层模型参数，γ为数值已固定的第六平衡超参数，δ为数值已固定的第七平衡超参数。
本实施例中，通过上述学习率计算公式实现了学习率随着模型当前层的参数自动调整，从而可训练得到更好的模型参数，最终得到的问答模型匹配出的答案准确性更高。
C13、将所述初始模型参数、所述缩放率及所述新学习率代入模型参数计算公式计算得到所述初始问答模型的新模型参数。
所述模型参数计算公式为：
Figure BDA0002922067110000082
其中，p(t+1)i为第t+1轮迭代时初始问答模型的第i层模型参数，pti为第t轮迭代时初始问答模型的第i层模型参数，Uti为第t轮迭代时初始问答模型第i层参数的新学习率，rt为第t轮迭代时的缩放率，λ为数值已固定的第八平衡超参数。
所述将更新后的模型参数发送给各个计算节点，包括步骤D11-D13：
D11、对所述更新后的模型参数执行量化和压缩处理，得到压缩后的模型参数；
因模型每一层的参数数量众多，整体参数数量巨大，即使在百兆的网络带宽下，将更新后的模型参数发送给各计算节点时需要花费较长的时间，本实施例通过对更新后的模型参数执行量化和压缩处理，以减少传输数据量，提高传输效率。
所述量化处理采用的是float16量化，针对一个浮点数，正常情况下需要4个字节标识，采用2个字节(16位)标识对于大批量训练的情况下模型的精度损失较少，然而网络传输速度可提高一倍。
所述压缩处理采用稀疏压缩存储的方法，将稀疏矩阵变为稠密矩阵，模型的参数大多是以2维或者3维矩阵的形式存在的，尤其在迭代少量的轮次后，矩阵往往是一个稀疏矩阵，即矩阵中存在大量的0元素，可采用稀疏行存储或者列存储处理，消除矩阵中的0元素。
D12、计算所述压缩后的模型参数的标准信息摘要值；
D13、从第四数据库中获取各个计算节点对应的公钥，采用所述公钥对所述压缩后的模型参数及标准信息摘要值进行加密，得到密文数据，将所述密文数据分发到对应的计算节点。
本实施例中，第四数据库中存储有各个计算节点对应的加密公钥，加密私钥由各个计算节点自己保存，通过对更新后的模型参数加密传输，保证了更新后的模型参数的安全性，同时还传输了更新后的模型参数的标准信息摘要值密文，各个计算节点用自己的私钥解密密文数据后，计算解密后的数据的信息摘要值，通过比对计算的信息摘要值与标准信息摘要值是否一致来确保密文数据未被篡改，进一步保证了更新后的模型参数的安全性。
S2、从第二数据库中获取第二语料，控制所述计算机集群基于所述第二语料对所述第一问答模型执行第二分布式训练，得到第二问答模型；
所述第二分布式训练与第一分布式训练的过程基本相同，仅训练样本及训练任务不同，所述训练样本为从第二语料中抽取的文本及基于抽取的文本设置的问题，训练样本的标签为预先为该问题设置的答案，训练任务为从抽取的文本中预测问题的答案，训练目标是预测的答案与标签中的答案相似度大于预设阈值。
S3、解析用户基于客户端发出的答案生成请求，获取所述请求携带的目标问题，对所述目标问题执行分词及实体识别处理，得到实体识别结果，从第三数据库中获取与所述实体识别结果匹配的目标文本。
例如，目标问题是“健康险的理赔期是多久”，对目标问题执行分词处理后得到的词语序列为{健康险，的，理赔期，是，多久}，通过实体识别模型对词语序列进行实体识别，识别得到实体名“健康险”，第三数据库中预先存储有各个实体名对应的文本(例如，各险种对应的说明书)，将第三数据库中健康险对应的说明书作为目标问题对应的目标文本。
S4、将所述目标文本及目标问题输入所述第二问答模型，得到所述目标文本中每个词语是所述目标问题的答案起始词汇的概率及答案终点词汇的概率，基于所述答案起始词汇的概率及答案终点词汇的概率确定所述目标问题对应的目标答案。
由上述实施例可知，本发明提出的答案生成方法，首先，建立计算机集群，从第一数据库中获取第一语料，控制计算机集群基于第一语料对初始问答模型执行第一分布式训练，得到第一问答模型；然后，从第二数据库中获取第二语料，控制计算机集群基于第二语料对第一问答模型执行第二分布式训练，得到第二问答模型；接着，获取答案生成请求携带的目标问题，对目标问题执行分词及实体识别处理，得到实体识别结果，从第三数据库中获取与实体识别结果匹配的目标文本；最后，将目标文本及目标问题输入第二问答模型，得到目标文本中每个词语是目标问题的答案起始词汇的概率及答案终点词汇的概率，基于答案起始词汇的概率及答案终点词汇的概率确定目标问题对应的目标答案。本方案通过计算机集群执行第一分布式训练、第二分布式训练，实现了较短时间内采用海量语料对参数量巨大的问答模型的训练，因未对语料及模型结构进行缩减，保证了训练得到的第二问答模型的高性能、第二问答模型生成的答案的高准确度。因此，本发明提高了答案生成准确度。
如图2所示，为本发明一实施例提供的答案生成装置的模块示意图。
本发明所述答案生成装置100可以安装于电子设备中。根据实现的功能，所述答案生成装置100可以包括第一训练模块110、第二训练模块120、实体识别模块130及答案确定模块140。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
第一训练模块110，用于建立计算机集群，从第一数据库中获取第一语料，控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，得到第一问答模型。
本实施例中，通过汇总多台计算机建立计算机集群，并采用虚拟化技术(例如，运用docker容器进行虚拟化处理)为计算机集群中的计算节点配置训练需要的环境，可实现分布式并行训练，有效提高训练效率。
为得到性能良好的问答模型，获取的第一语料的数据量较为庞大，第一语料包括从百度知道、百度百科等渠道获取的公开数据，还包括爬虫程序爬取到的特有领域的数据，例如医疗、金融和体育领域数据。
所述控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，包括步骤A21-A23：
A21、设置第一分布式训练的最大迭代轮次，对所述第一语料执行掩盖及标签化处理，得到携带标签的第三语料；
本实施例中，所述对所述第一语料执行掩盖及标签化处理，得到携带标签的第三语料，包括步骤B21-B24：
B21、从所述第一语料中抽取第一预设数量的第一文本，随机调整所述第一文本中句子的顺序，将调整后的文本作为第一样本，将所述第一文本中的句子顺序作为所述第一样本的标签，将携带标签的第一样本的集合作为第一样本集；
B22、从所述第一语料中抽取第二预设数量的第二文本，随机将所述第二文本中第三预设数量的词语掩盖，将掩盖后的文本作为第二样本，将被掩盖的词语作为所述第二样本的标签，将携带标签的第二样本的集合作为第二样本集；
B23、从所述第一语料中抽取第四预设数量的第三文本及第五预设数量的第四文本，随机将所述第四文本中第六预设数量的句子用从其他文本中抽取的句子替换，得到替换后的文本，将所述替换后的文本的标签设置为第一数值(例如，0)，将所述第三文本的标签设置为第二数值(例如，1)，将携带标签的替换后的文本及第三文本的集合作为第三样本集；
B24、将所述第一样本集、所述第二样本集及所述第三样本集的集合作为所述第三语料。
A22、获取所述计算机集群中各个计算节点的硬件资源信息，基于所述硬件资源信息将所述第三语料拆分为多个子语料，将所述多个子语料分发给所述各个计算节点，以供所述各个计算节点基于所述子语料训练所述初始问答模型；
本实施例中，可根据某一硬件资源(例如，显卡)的数量将第三语料分发给各个计算节点，也可以根据每个硬件资源的数量及其对应的权重计算各个计算节点的硬件资源总分值，基于总分值将第三语料分发给各个计算节点。
本实施例中，所述初始问答模型为bert模型，结构为12层叠加的transformer结构。
A23、接收所述各个计算节点反馈的模型梯度，基于所述模型梯度更新所述初始问答模型的模型参数，将更新后的模型参数发送给所述各个计算节点，以供所述各个计算节点基于所述更新后的模型参数更新所述初始问答模型，并基于更新后的初始问答模型继续训练，当迭代到最大迭代轮数后，第一分布式训练结束。
可选的，所述模型梯度的计算公式为：
Figure BDA0002922067110000121
其中，gti为第t轮迭代时计算机集群中第i个计算节点对应的模型梯度，Tyi为第t轮迭代时计算机集群中第i个计算节点的子语料中参与训练的样本的总数量，xt(ij)为第t轮迭代时计算机集群中第i个计算节点的子语料中参与训练的第j个样本，st(ij)为第t轮迭代时计算机集群中第i个计算节点的子语料中参与训练的第j个样本的标签，l()为初始问答模型的输出。
所述基于所述模型梯度更新所述初始问答模型的模型参数，包括步骤C21-C23：
C21、计算所述模型梯度的平均值，将所述平均值代入收敛参数计算公式计算得到所述初始问答模型的收敛参数，将所述平均值代入更新参数计算公式计算得到所述初始问答模型的更新参数；
所述收敛参数计算公式为：
Figure BDA0002922067110000122
其中，mt为第t轮迭代时的收敛参数，α为数值已固定的第一平衡超参数(通常取值为0.9)，mt-1为第t-1轮迭代时的收敛参数，gt为第t轮迭代时模型梯度的平均值，αt为第t轮迭代时学习的第二平衡超参数。
所述更新参数计算公式为：
Figure BDA0002922067110000123
其中，vt为第t轮迭代时的更新参数，β为数值已固定的第三平衡超参数(通常取值为0.9)，vt-1为第t-1轮迭代时的更新参数，gt为第t轮迭代时模型梯度的平均值，βt为第t轮迭代时学习的第四平衡超参数。
本实施例引入收敛参数的目的在于在梯度变化小的位置/维度加快模型的收敛，引入更新参数的目的在于训练得到更好的模型参数。
C22、将所述收敛参数及更新参数代入缩放率计算公式计算得到所述初始问答模型的缩放率，将基于所述初始问答模型的初始模型参数及初始学习率代入学习率计算公式计算得到所述初始问答模型的新学习率；
所述缩放率计算公式为：
Figure BDA0002922067110000131
其中，rt为第t轮迭代时的缩放率，mt为第t轮迭代时的收敛参数，vt为第t轮迭代时的更新参数，∈为数值已固定的第五平衡超参数。
通过收敛参数及更新参数确定出来的缩放率用于调整模型参数的缩放比例。
所述学习率计算公式为：
Uti＝ut*min{max(‖pti‖,γ),δ}
其中，ut为第t轮迭代时初始问答模型的学习率，Uti为第t轮迭代时初始问答模型第i层参数的新学习率，pti为第t轮迭代时初始问答模型的第i层模型参数，γ为数值已固定的第六平衡超参数，δ为数值已固定的第七平衡超参数。
本实施例中，通过上述学习率计算公式实现了学习率随着模型当前层的参数自动调整，从而可训练得到更好的模型参数，最终得到的问答模型匹配出的答案准确性更高。
C23、将所述初始模型参数、所述缩放率及所述新学习率代入模型参数计算公式计算得到所述初始问答模型的新模型参数。
所述模型参数计算公式为：
Figure BDA0002922067110000132
其中，p(t+1)i为第t+1轮迭代时初始问答模型的第i层模型参数，pti为第t轮迭代时初始问答模型的第i层模型参数，Uti为第t轮迭代时初始问答模型第i层参数的新学习率，rt为第t轮迭代时的缩放率，λ为数值已固定的第八平衡超参数。
所述将更新后的模型参数发送给各个计算节点，包括步骤D21-D23：
D21、对所述更新后的模型参数执行量化和压缩处理，得到压缩后的模型参数；
因模型每一层的参数数量众多，整体参数数量巨大，即使在百兆的网络带宽下，将更新后的模型参数发送给各计算节点时需要花费较长的时间，本实施例通过对更新后的模型参数执行量化和压缩处理，以减少传输数据量，提高传输效率。
所述量化处理采用的是float16量化，针对一个浮点数，正常情况下需要4个字节标识，采用2个字节(16位)标识对于大批量训练的情况下模型的精度损失较少，然而网络传输速度可提高一倍。
所述压缩处理采用稀疏压缩存储的方法，将稀疏矩阵变为稠密矩阵，模型的参数大多是以2维或者3维矩阵的形式存在的，尤其在迭代少量的轮次后，矩阵往往是一个稀疏矩阵，即矩阵中存在大量的0元素，可采用稀疏行存储或者列存储处理，消除矩阵中的0元素。
D22、计算所述压缩后的模型参数的标准信息摘要值；
D23、从第四数据库中获取各个计算节点对应的公钥，采用所述公钥对所述压缩后的模型参数及标准信息摘要值进行加密，得到密文数据，将所述密文数据分发到对应的计算节点。
本实施例中，第四数据库中存储有各个计算节点对应的加密公钥，加密私钥由各个计算节点自己保存，通过对更新后的模型参数加密传输，保证了更新后的模型参数的安全性，同时还传输了更新后的模型参数的标准信息摘要值密文，各个计算节点用自己的私钥解密密文数据后，计算解密后的数据的信息摘要值，通过比对计算的信息摘要值与标准信息摘要值是否一致来确保密文数据未被篡改，进一步保证了更新后的模型参数的安全性。
第二训练模块120，用于从第二数据库中获取第二语料，控制所述计算机集群基于所述第二语料对所述第一问答模型执行第二分布式训练，得到第二问答模型；
所述第二分布式训练与第一分布式训练的过程基本相同，仅训练样本及训练任务不同，所述训练样本为从第二语料中抽取的文本及基于抽取的文本设置的问题，训练样本的标签为预先为该问题设置的答案，训练任务为从抽取的文本中预测问题的答案，训练目标是预测的答案与标签中的答案相似度大于预设阈值。
实体识别模块130，用于解析用户基于客户端发出的答案生成请求，获取所述请求携带的目标问题，对所述目标问题执行分词及实体识别处理，得到实体识别结果，从第三数据库中获取与所述实体识别结果匹配的目标文本。
例如，目标问题是“健康险的理赔期是多久”，对目标问题执行分词处理后得到的词语序列为{健康险，的，理赔期，是，多久}，通过实体识别模型对词语序列进行实体识别，识别得到实体名“健康险”，第三数据库中预先存储有各个实体名对应的文本(例如，各险种对应的说明书)，将第三数据库中健康险对应的说明书作为目标问题对应的目标文本。
答案确定模块140，用于将所述目标文本及目标问题输入所述第二问答模型，得到所述目标文本中每个词语是所述目标问题的答案起始词汇的概率及答案终点词汇的概率，基于所述答案起始词汇的概率及答案终点词汇的概率确定所述目标问题对应的目标答案。
如图3所示，为本发明一实施例提供的实现答案生成方法的电子设备的结构示意图。
所述电子设备1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子设备1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
在本实施例中，电子设备1包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，该存储器11中存储有答案生成程序10，所述答案生成程序10可被所述处理器12执行。图3仅示出了具有组件11-13以及答案生成程序10的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
其中，存储器11包括内存及至少一种类型的可读存储介质。内存为电子设备1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子设备1的内部存储单元，例如该电子设备1的硬盘；在另一些实施例中，该非易失性存储介质也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于电子设备1的操作系统和各类应用软件，例如存储本发明一实施例中的答案生成程序10的代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行答案生成程序10等。
网络接口13可包括无线网络接口或有线网络接口，该网络接口13用于在所述电子设备1与客户端(图中未画出)之间建立通信连接。
可选的，所述电子设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的答案生成程序10是多个指令的组合，在所述处理器12中运行时，可以实现：
建立计算机集群，从第一数据库中获取第一语料，控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，得到第一问答模型；
从第二数据库中获取第二语料，控制所述计算机集群基于所述第二语料对所述第一问答模型执行第二分布式训练，得到第二问答模型；
解析用户基于客户端发出的答案生成请求，获取所述请求携带的目标问题，对所述目标问题执行分词及实体识别处理，得到实体识别结果，从第三数据库中获取与所述实体识别结果匹配的目标文本；
将所述目标文本及目标问题输入所述第二问答模型，得到所述目标文本中每个词语是所述目标问题的答案起始词汇的概率及答案终点词汇的概率，基于所述答案起始词汇的概率及答案终点词汇的概率确定所述目标问题对应的目标答案。
具体地，所述处理器12对上述答案生成程序10的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以是非易失性的，也可以是非易失性的。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
所述计算机可读存储介质上存储有答案生成程序10，所述答案生成程序10可被一个或者多个处理器执行，本发明计算机可读存储介质具体实施方式与上述答案生成方法各实施例基本相同，在此不作赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种答案生成方法，其特征在于，所述方法包括：
建立计算机集群，从第一数据库中获取第一语料，控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，得到第一问答模型；
从第二数据库中获取第二语料，控制所述计算机集群基于所述第二语料对所述第一问答模型执行第二分布式训练，得到第二问答模型；
解析用户基于客户端发出的答案生成请求，获取所述请求携带的目标问题，对所述目标问题执行分词及实体识别处理，得到实体识别结果，从第三数据库中获取与所述实体识别结果匹配的目标文本；
将所述目标文本及目标问题输入所述第二问答模型，得到所述目标文本中每个词语是所述目标问题的答案起始词汇的概率及答案终点词汇的概率，基于所述答案起始词汇的概率及答案终点词汇的概率确定所述目标问题对应的目标答案。
2.如权利要求1所述的答案生成方法，其特征在于，所述控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，包括：
设置第一分布式训练的最大迭代轮次，对所述第一语料执行掩盖及标签化处理，得到携带标签的第三语料；
获取所述计算机集群中各个计算节点的硬件资源信息，基于所述硬件资源信息将所述第三语料拆分为多个子语料，将所述多个子语料分发给所述各个计算节点，以供所述各个计算节点基于所述子语料训练所述初始问答模型；
接收所述各个计算节点反馈的模型梯度，基于所述模型梯度更新所述初始问答模型的模型参数，将更新后的模型参数发送给所述各个计算节点，以供所述各个计算节点基于所述更新后的模型参数更新所述初始问答模型，并基于更新后的初始问答模型继续训练，当迭代到最大迭代轮数后，第一分布式训练结束。
3.如权利要求2所述的答案生成方法，其特征在于，所述基于所述模型梯度更新所述初始问答模型的模型参数，包括：
计算所述模型梯度的平均值，将所述平均值代入收敛参数计算公式计算得到所述初始问答模型的收敛参数，将所述平均值代入更新参数计算公式计算得到所述初始问答模型的更新参数；
将所述收敛参数及更新参数代入缩放率计算公式计算得到所述初始问答模型的缩放率，将所述初始问答模型的初始模型参数及初始学习率代入学习率计算公式计算得到所述初始问答模型的新学习率；
将所述初始模型参数、所述缩放率及所述新学习率代入模型参数计算公式计算得到所述初始问答模型的新模型参数。
4.如权利要求2所述的答案生成方法，其特征在于，所述对所述第一语料执行掩盖及标签化处理，得到携带标签的第三语料，包括：
从所述第一语料中抽取第一预设数量的第一文本，随机调整所述第一文本中句子的顺序，将调整后的文本作为第一样本，将所述第一文本中的句子顺序作为所述第一样本的标签，将携带标签的第一样本的集合作为第一样本集；
从所述第一语料中抽取第二预设数量的第二文本，随机将所述第二文本中第三预设数量的词语掩盖，将掩盖后的文本作为第二样本，将被掩盖的词语作为所述第二样本的标签，将携带标签的第二样本的集合作为第二样本集；
从所述第一语料中抽取第四预设数量的第三文本及第五预设数量的第四文本，随机将所述第四文本中第六预设数量的句子用从其他文本中抽取的句子替换，得到替换后的文本，将所述替换后的文本的标签设置为第一数值，将所述第三文本的标签设置为第二数值，将携带标签的替换后的文本及第三文本的集合作为第三样本集；
将所述第一样本集、所述第二样本集及所述第三样本集的集合作为所述第三语料。
5.如权利要求2所述的答案生成方法，其特征在于，所述将更新后的模型参数发送给各个计算节点，包括：
对所述更新后的模型参数执行量化和压缩处理，得到压缩后的模型参数；
计算所述压缩后的模型参数的标准信息摘要值；
从第四数据库中获取各个计算节点对应的公钥，采用所述公钥对所述压缩后的模型参数及标准信息摘要值进行加密，得到密文数据，将所述密文数据分发到对应的计算节点。
6.如权利要求2所述的答案生成方法，其特征在于，所述模型梯度的计算公式为：
Figure FDA0002922067100000021
其中，gti为第t轮迭代时计算机集群中第i个计算节点对应的模型梯度，Tti为第t轮迭代时计算机集群中第i个计算节点的子语料中参与训练的样本的总数量，xt(ij)为第t轮迭代时计算机集群中第i个计算节点的子语料中参与训练的第j个样本，st(ij)为第t轮迭代时计算机集群中第i个计算节点的子语料中参与训练的第j个样本的标签，l()为初始问答模型的输出。
7.一种答案生成装置，其特征在于，所述装置包括：
第一训练模块，用于建立计算机集群，从第一数据库中获取第一语料，控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，得到第一问答模型；
第二训练模块，用于从第二数据库中获取第二语料，控制所述计算机集群基于所述第二语料对所述第一问答模型执行第二分布式训练，得到第二问答模型；
实体识别模块，用于解析用户基于客户端发出的答案生成请求，获取所述请求携带的目标问题，对所述目标问题执行分词及实体识别处理，得到实体识别结果，从第三数据库中获取与所述实体识别结果匹配的目标文本；
答案确定模块，用于将所述目标文本及目标问题输入所述第二问答模型，得到所述目标文本中每个词语是所述目标问题的答案起始词汇的概率及答案终点词汇的概率，基于所述答案起始词汇的概率及答案终点词汇的概率确定所述目标问题对应的目标答案。
8.如权利要求7所述的答案生成装置，其特征在于，所述控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，包括：
设置第一分布式训练的最大迭代轮次，对所述第一语料执行掩盖及标签化处理，得到携带标签的第三语料；
获取所述计算机集群中各个计算节点的硬件资源信息，基于所述硬件资源信息将所述第三语料拆分为多个子语料，将所述多个子语料分发给所述各个计算节点，以供所述各个计算节点基于所述子语料训练所述初始问答模型；
接收各个所述计算节点反馈的模型梯度，基于所述模型梯度更新所述初始问答模型的模型参数，将更新后的模型参数发送给所述各个计算节点，以供所述各个计算节点基于所述更新后的模型参数更新所述初始问答模型，并基于更新后的初始问答模型继续训练，当迭代到最大迭代轮数后，第一分布式训练结束。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的答案生成程序，所述答案生成程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一项所述的答案生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有答案生成程序，所述答案生成程序可被一个或者多个处理器执行，以实现如权利要求1至6任一项所述的答案生成方法。
CN202110124138.2A 2021-01-28 2021-01-28 答案生成方法、装置、电子设备及可读存储介质 Pending CN112800178A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110124138.2A CN112800178A (zh) 2021-01-28 2021-01-28 答案生成方法、装置、电子设备及可读存储介质
PCT/CN2021/082863 WO2022160442A1 (zh) 2021-01-28 2021-03-25 答案生成方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110124138.2A CN112800178A (zh) 2021-01-28 2021-01-28 答案生成方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN112800178A true CN112800178A (zh) 2021-05-14

Family

ID=75812753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110124138.2A Pending CN112800178A (zh) 2021-01-28 2021-01-28 答案生成方法、装置、电子设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN112800178A (zh)
WO (1) WO2022160442A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593557A (zh) * 2021-07-27 2021-11-02 中国平安人寿保险股份有限公司 分布式会话方法、装置、计算机设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115934922B (zh) * 2023-03-09 2024-01-30 杭州心识宇宙科技有限公司 一种对话业务执行方法、装置、存储介质及电子设备
CN116523031B (zh) * 2023-07-05 2024-05-10 深圳须弥云图空间科技有限公司 语言生成模型的训练方法、语言生成方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107957989A (zh) * 2017-10-23 2018-04-24 阿里巴巴集团控股有限公司 基于集群的词向量处理方法、装置以及设备
CN111241304A (zh) * 2020-01-16 2020-06-05 平安科技（深圳）有限公司 基于深度学习的答案生成方法、电子装置及可读存储介质
US20200202243A1 (en) * 2019-03-05 2020-06-25 Allegro Artificial Intelligence Ltd Balanced federated learning
CN111414457A (zh) * 2020-03-20 2020-07-14 深圳前海微众银行股份有限公司 基于联邦学习的智能问答方法、装置、设备及存储介质
CN111931950A (zh) * 2020-09-28 2020-11-13 支付宝(杭州)信息技术有限公司 一种基于联邦学习进行模型参数更新的方法及系统
CN112231756A (zh) * 2020-10-29 2021-01-15 湖南科技学院 一种fl-em-gmm的医疗用户隐私保护方法及系统
CN112257873A (zh) * 2020-11-11 2021-01-22 深圳前海微众银行股份有限公司 机器学习模型的训练方法、装置、系统、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595417A (zh) * 2018-04-03 2018-09-28 成都量子矩阵科技有限公司 基于Word2vector的分布式训练方法
WO2020133358A1 (zh) * 2018-12-29 2020-07-02 深圳市优必选科技有限公司 聊天语料的清洗方法、装置、计算机设备和存储介质
CN111400470A (zh) * 2020-03-13 2020-07-10 深圳市腾讯计算机系统有限公司 问题处理方法、装置、计算机设备和存储介质
CN112183091A (zh) * 2020-10-12 2021-01-05 深圳壹账通智能科技有限公司 问答对生成方法、装置、电子设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107957989A (zh) * 2017-10-23 2018-04-24 阿里巴巴集团控股有限公司 基于集群的词向量处理方法、装置以及设备
US20200202243A1 (en) * 2019-03-05 2020-06-25 Allegro Artificial Intelligence Ltd Balanced federated learning
CN111241304A (zh) * 2020-01-16 2020-06-05 平安科技（深圳）有限公司 基于深度学习的答案生成方法、电子装置及可读存储介质
CN111414457A (zh) * 2020-03-20 2020-07-14 深圳前海微众银行股份有限公司 基于联邦学习的智能问答方法、装置、设备及存储介质
CN111931950A (zh) * 2020-09-28 2020-11-13 支付宝(杭州)信息技术有限公司 一种基于联邦学习进行模型参数更新的方法及系统
CN112231756A (zh) * 2020-10-29 2021-01-15 湖南科技学院 一种fl-em-gmm的医疗用户隐私保护方法及系统
CN112257873A (zh) * 2020-11-11 2021-01-22 深圳前海微众银行股份有限公司 机器学习模型的训练方法、装置、系统、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VUKASIN FELBAB ET AL: "Optimization in Federated Learning", 《PROCEEDINGS OF THE 19TH CONFERENCE INFORMATION TECHNOLOGIES - APPLICATIONS AND THEORY(ITAT 2019)》, pages 58 - 65 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113593557A (zh) * 2021-07-27 2021-11-02 中国平安人寿保险股份有限公司 分布式会话方法、装置、计算机设备及存储介质
CN113593557B (zh) * 2021-07-27 2023-09-12 中国平安人寿保险股份有限公司 分布式会话方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2022160442A1 (zh) 2022-08-04

Similar Documents

Publication Publication Date Title
CN112800178A (zh) 答案生成方法、装置、电子设备及可读存储介质
CN112183091A (zh) 问答对生成方法、装置、电子设备及可读存储介质
CN111666415A (zh) 话题聚类方法、装置、电子设备及存储介质
CN112597135A (zh) 用户分类方法、装置、电子设备及可读存储介质
CN113327136A (zh) 归因分析方法、装置、电子设备及存储介质
CN113868529A (zh) 知识推荐方法、装置、电子设备及可读存储介质
CN114462412A (zh) 实体识别方法、装置、电子设备及存储介质
CN113706249B (zh) 数据推荐方法、装置、电子设备及存储介质
CN112651782B (zh) 基于缩放点积注意力的行为预测方法、装置、设备及介质
CN112052409B (zh) 地址解析方法、装置、设备及介质
CN111950707B (zh) 基于行为共现网络的行为预测方法、装置、设备及介质
CN113658002A (zh) 基于决策树的交易结果生成方法、装置、电子设备及介质
CN112395401A (zh) 自适应负样本对采样方法、装置、电子设备及存储介质
CN113706252B (zh) 产品推荐方法、装置、电子设备及存储介质
CN113688239B (zh) 少样本下的文本分类方法、装置、电子设备及存储介质
CN114281991A (zh) 文本分类方法、装置、电子设备及存储介质
CN115346095A (zh) 视觉问答方法、装置、设备及存储介质
CN114818685A (zh) 关键词提取方法、装置、电子设备及存储介质
CN114706985A (zh) 文本分类方法、装置、电子设备及存储介质
CN114139530A (zh) 同义词提取方法、装置、电子设备及存储介质
CN113705692A (zh) 基于人工智能的情感分类方法、装置、电子设备及介质
CN112528647A (zh) 相似文本生成方法、装置、电子设备及可读存储介质
CN113591881A (zh) 基于模型融合的意图识别方法、装置、电子设备及介质
CN111933241A (zh) 医疗数据解析方法、装置、电子设备及存储介质
CN114742423B (zh) 一种随机分组方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40045415

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination