CN111309883A - 基于人工智能的人机对话方法、模型训练方法及装置 - Google Patents

基于人工智能的人机对话方法、模型训练方法及装置 Download PDF

Info

Publication number
CN111309883A
CN111309883A CN202010091322.7A CN202010091322A CN111309883A CN 111309883 A CN111309883 A CN 111309883A CN 202010091322 A CN202010091322 A CN 202010091322A CN 111309883 A CN111309883 A CN 111309883A
Authority
CN
China
Prior art keywords
sample
information
dialogue
semantic
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010091322.7A
Other languages
English (en)
Other versions
CN111309883B (zh
Inventor
闭玮
杜嘉晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010091322.7A priority Critical patent/CN111309883B/zh
Publication of CN111309883A publication Critical patent/CN111309883A/zh
Application granted granted Critical
Publication of CN111309883B publication Critical patent/CN111309883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例公开了一种基于人工智能的人机对话方法、模型训练方法及装置，属于自然语言处理领域。该方法包括：获取历史对话信息和知识文本信息；通过对话生成模型，对历史对话信息和知识文本信息进行编码处理，得到第一语义特征和第二语义特征；将第一语义特征和第二语义特征进行融合处理，得到第三语义特征；对第三语义特征进行解码处理，得到对话回复信息。由于不仅考虑历史对话信息，还考虑与历史对话信息关联的知识文本信息，因此增加了生成对话回复信息时参考的信息量，从而提高生成对话回复信息的准确率，以及对话回复信息的多样性。并且，根据该第三语义特征生成的对话回复信息会更加流畅，进一步提高生成对话回复信息的准确率。

Description

基于人工智能的人机对话方法、模型训练方法及装置
技术领域
本申请实施例涉及自然语言处理领域，特别涉及一种基于人工智能的人机对话方法、模型训练方法及装置。
背景技术
随着自然语言处理技术的快速发展，通过人机对话系统或者智能机器人，可以根据用户提供的问题文本得到对话回复信息，由此实现用户与人机对话系统或者智能机器人的对话。
相关技术中，在对话过程中，每次输入一条问题文本，即可自动生成该问题文本对应的对话回复信息。并且为了提高准确率，在生成对话回复信息时不仅可以考虑该问题文本，还可以考虑在该问题文本之前的问题文本和对话回复信息。因此获取历史对话信息，历史对话信息至少包括历史问题文本、历史对话回复信息和本次输入的问题文本，对历史对话信息的向量进行解码，得到对话回复信息。
但是，上述方案仅是根据历史对话信息的向量进行解码来得到对话回复信息，方案较为简单，生成对话回复信息的准确率较低。
发明内容
本申请实施例提供了一种基于人工智能的人机对话方法、模型训练方法及装置，可以提高生成对话回复信息的准确率。所述技术方案如下：
一方面，提供了一种基于人工智能的人机对话方法，所述方法包括：
获取历史对话信息和与所述历史对话信息关联的知识文本信息；
通过对话生成模型对获取到的所述历史对话信息和所述历史对话信息关联的知识文本信息进行如下处理：
对所述历史对话信息进行编码处理，得到所述历史对话信息的第一特征向量；
对所述第一特征向量进行编码处理，得到所述第一语义特征；
对所述知识文本信息进行编码处理，得到所述知识文本信息的第二特征向量；
对所述第二特征向量进行编码处理，得到所述第二语义特征；
将所述第一语义特征和所述第二语义特征进行融合处理，得到第三语义特征；
对所述第三语义特征进行解码处理，得到并输出所述历史对话信息对应的对话回复信息。
另一方面，提供了一种模型训练方法，所述方法包括：
获取样本数据，所述样本数据包括样本历史对话信息、与所述样本历史对话信息关联的样本知识文本信息、所述样本历史对话信息对应的样本对话回复信息；
通过对话生成模型，对所述样本历史对话信息、所述样本知识文本信息和所述样本对话回复信息进行编码处理，得到第一融合语义特征和第二融合语义特征，所述第一融合语义特征表示所述样本历史对话信息和所述样本知识文本信息的语义特征，所述第二融合语义特征表示所述样本历史对话信息、所述样本知识文本信息和所述样本对话回复信息的语义特征；
根据所述第一融合语义特征和所述第二融合语义特征，训练所述对话生成模型。
另一方面，提供了一种基于人工智能的人机对话装置，所述装置包括：
信息获取模块，用于获取历史对话信息和与所述历史对话信息关联的知识文本信息；
信息处理模块，用于通过对话生成模型对获取到的所述历史对话信息和所述历史对话信息关联的知识文本信息进行如下处理：
对所述历史对话信息进行编码处理，得到所述历史对话信息的第一特征向量；
对所述第一特征向量进行编码处理，得到所述第一语义特征；
对所述知识文本信息进行编码处理，得到所述知识文本信息的第二特征向量；
对所述第二特征向量进行编码处理，得到所述第二语义特征；
将所述第一语义特征和所述第二语义特征进行融合处理，得到第三语义特征；
对所述第三语义特征进行解码处理，得到并输出所述历史对话信息对应的对话回复信息。
另一方面，提供了一种模型训练装置，所述装置包括：
样本数据获取模块，用于获取样本数据，所述样本数据包括样本历史对话信息、与所述样本历史对话信息关联的样本知识文本信息、所述样本历史对话信息对应的样本对话回复信息；
样本数据处理模块，用于通过所述对话生成模型，对所述样本历史对话信息、所述样本知识文本信息和所述样本对话回复信息进行编码处理，得到第一融合语义特征和第二融合语义特征，所述第一融合语义特征表示所述样本历史对话信息和所述样本知识文本信息的语义特征，所述第二融合语义特征表示所述样本历史对话信息、所述样本知识文本信息和所述样本对话回复信息的语义特征；
模型训练模块，用于根据所述第一融合语义特征和所述第二融合语义特征，训练所述对话生成模型。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现如所述基于人工智能的人机对话方法中所执行的操作，或者所述模型训练方法中所执行的操作。
再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如所述基于人工智能的人机对话方法中所执行的操作，或者所述模型训练方法中所执行的操作。
本申请实施例提供的方法及装置，获取历史对话信息和与历史对话信息关联的知识文本信息，通过对话生成模型，分别对历史对话信息和知识文本信息进行编码处理，得到历史对话信息的第一语义特征和知识文本信息的第二语义特征，将第一语义特征和第二语义特征进行融合处理，得到第三语义特征，对第三语义特征进行解码，得到历史对话信息对应的对话回复信息。由于不仅考虑了历史对话信息，还考虑了与历史对话信息关联的知识文本信息，因此增加了生成对话回复信息时所参考的信息量，从而能够提高生成对话回复信息的准确率，以及对话回复信息的多样性。并且，第三语义特征表示的是历史对话信息和知识文本信息进行语义融合后的语义特征，根据该第三语义特征生成的对话回复信息会更加流畅，进一步提高了生成对话回复信息的准确率。
并且，获取样本数据，通过对话生成模型，对样本历史对话信息、样本知识文本信息和样本对话回复信息进行编码，得到第一融合语义特征和第二融合语义特征，根据第一融合语义特征和第二融合语义特征，训练对话生成模型。由于不仅考虑了样本历史对话信息，还考虑了与样本历史对话信息关联的样本知识文本信息，因此增加了训练该对话生成模型所用的语义特征的信息量，从而能够提高训练该对话生成模型的准确率。
并且，对第一特征向量和第二特征向量进行融合，得到权重信息，根据权重信息，对第一语义特征和第二语义特征进行加权融合，得到第三语义特征。因此权重信息可以反映对话回复信息对历史对话信息和知识文本信息的利用率，通过调节第一权值网络，即可对应调整历史对话信息和知识文本信息的权重，提高了生成对话回复信息的可控性。
并且，根据历史对话信息查询知识数据库，得到与历史对话信息关联的多组知识文本信息，从多组知识文本信息中，选取与历史对话信息的相似度最大的一组知识文本信息，可以提高获取的知识文本信息与历史对话信息的关联度，从而能够提高生成对话回复信息的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图。
图2是本申请实施例提供的一种对话生成模型的结构示意图。
图3是本申请实施例提供的一种基于人工智能的人机对话方法的流程图。
图4是本申请实施例提供的一种获取对话回复信息的示意图。
图5是本申请实施例提供的另一种基于人工智能的人机对话方法的流程图。
图6是本申请实施例提供的另一种基于人工智能的人机对话方法的流程图。
图7是本申请实施例提供的一种模型训练方法的流程图。
图8是本申请实施例提供的另一种模型训练方法的流程图。
图9是本申请实施例提供的另一种模型训练方法的流程图。
图10是本申请实施例提供的一种基于人工智能的人机对话装置的结构示意图。
图11是本申请实施例提供的另一种基于人工智能的人机对话装置的结构示意图。
图12是本申请实施例提供的一种模型训练装置的结构示意图。
图13是本申请实施例提供的一种终端的示意图。
图14是本申请实施例提供的一种服务器的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一语义特征称为第二语义特征，且类似地，可将第二语义特征称为第一语义特征。
本申请所使用的术语“多个”和“每个”，多个包括两个或两个以上，而每个是指对应的多个中的每一个。举例来说，多个词语位置包括3个词语位置，而每个词语位置是指这3个词语位置中的每一个词语位置。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术包括自然语言处理技术和机器学习。
自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。以下将基于人工智能技术和自然语言处理技术，对本申请实施例提供的基于人工智能的人机对话方法进行说明。
本申请实施例提供了一种基于人工智能的人机对话方法，执行主体为计算机设备。在一种可能实现方式中，该计算机设备可以为终端，终端可以是手机、计算机、平板电脑、智能电视、智能音箱、导航机器人等多种类型的设备。终端通过对话生成模型，对获取到的历史对话信息和知识文本信息进行处理，得到历史对话信息对应的对话回复信息。
在另一种可能实现方式中，该计算机设备可以包括服务器和终端。图1是本申请实施例提供的一种实施环境的示意图，如图1所示，该实施环境包括终端101和服务器102。终端101与服务器102建立通信连接，通过建立的通信连接进行交互。其中，该终端101可以为手机、计算机、平板电脑、智能电视、智能音箱、导航机器人等多种类型的终端101。服务器102可以为一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务器中心。服务器102对对话生成模型进行训练，将训练后的对话生成模型发送至终端101，终端101通过该对话生成模型，对获取到的历史对话信息和知识文本信息进行处理，得到历史对话信息对应的对话回复信息。
在一种可能实现方式中，如图2所示，本申请实施例提供的对话生成模型21可以包括第一编码器2101、第二编码器2102、第三编码器2103、第四编码器2104、第五编码器2105、第六编码器2106、第七编码器2107、融合器2108和解码器2109。
其中，第一编码器2101分别与第二编码器2102和第六编码器2106连接，第五编码器2105分别与第六编码器2106和第七编码器2107连接，第三编码器2103分别与第四编码器2104和第七编码器2107连接，第二编码器2102、第四编码器2104、第六编码器2106、第七编码器2107分别与融合器2108连接，融合器2108与解码器2109连接。
其中，第一编码器2101、第三编码器2103和第五编码器2105用于根据输入的文本信息，得到文本信息的特征向量；第二编码器2102、第四编码器2104、第六编码器2106和第七编码器2107用于根据输入的特征向量，得到对应的文本信息的语义特征；融合器2108用于根据输入的语义特征进行融合，得到融合后的语义特征；解码器2109用于根据输入的语义特征进行解码，得到对应的对话回复信息。
本申请实施例提供的基于人工智能的人机对话方法，可应用于根据任一历史对话信息以及该历史对话信息关联的知识文本信息，生成对应的对话回复信息的场景下。例如，应用于网络购物应用中的客服系统中，用户在购物应用中输入问题文本，购物应用中的客服系统获取该问题文本的历史问题文本和历史对话回复信息，其中用户本次输入的问题文本、历史问题文本和历史对话回复信息即为历史对话信息，客服系统获取该历史对话信息关联的知识文本信息，如与历史对话信息关联的商品描述等，根据该历史对话信息和该知识文本信息，生成对应的对话回复信息，将对话回复信息提供给用户。例如，还可以应用于语音助理软件、公众号自动回复系统、FAQ(Frequently Asked Questions，常见问题解答)对话系统、闲聊对话系统等多种应用场景中。
图3是本申请实施例提供的一种基于人工智能的人机对话方法的流程图。应用于计算机设备中，参见图3，该方法包括：
301、获取历史对话信息和与历史对话信息关联的知识文本信息。
计算机设备在与用户进行对话的过程中，会将对话信息存储在对话记录中，因此计算机设备通过查询对话记录，可以获取对话记录中的历史对话信息，根据该历史对话信息，可以获取与历史对话信息关联的知识文本信息。
历史对话信息中至少包括历史问题文本、历史对话回复信息和本次输入的问题文本。问题文本是指由用户输入的文本，对话回复信息是指计算机设备根据用户输入的问题文本所输出的文本，问题文本和对话回复信息一一对应。其中，问题文本可以为用户直接输入的文本，或者可以为根据用户输入的语音信息转化得到的文本。历史问题文本是在本次输入的问题文本之前所输入的问题文本，历史对话回复信息是指历史问题文本对应的对话回复信息。
可选地，历史对话信息中可以包括预设数量的历史问题文本、该预设数量的历史问题文本对应的历史对话回复信息以及本次输入的一条问题文本。该预设数量由计算机设备默认设置，或者由技术人员设置，该预设数量可以为1条、2条、4条等。例如，预设数量为2条，则计算机设备获取在本次输入之前最近输入的2条历史问题文本，以及该2条历史问题文本对应的历史对话回复信息。
知识文本信息是指除历史对话信息之外的其他文本信息，且该知识文本信息与历史对话信息关联。其中，历史对话信息中包括某一知识文本信息中的实体，或者包括能够表示该实体的描述，则该知识文本信息与该历史对话信息关联。实体是指在文本中作为主语或者谓语的词语，还可以为其他词性为名词的词语等。
在一种可能实现方式中，计算机设备获取历史对话信息，根据该历史对话信息查询知识数据库，得到与历史对话信息关联的知识文本信息。
该知识数据库用于存储至少一条知识文本信息，该知识数据库可以是计算机设备预先创建的本地数据库，或者该知识数据库还可以是与网络连接的云存储数据库，能够通过网络对该知识数据库进行实时更新，本申请对此不做限定。
当计算机获取到历史对话信息，可以对历史对话信息中的文本进行句法分析，得到历史对话信息中的实体，根据该实体在知识数据库中进行查询，得到包括该实体或者描述该实体的知识文本信息，作为与历史对话信息关联的知识文本信息。或者，还可以采用其他方法查询知识数据库，获得关联的知识文本信息。
例如，历史对话信息中包括“神舟五号”，则知识数据库中对“神舟五号”进行解释的条目即为与该历史对话信息关联的知识文本信息；或者，历史对话信息中包括“中国的第一个载人航天飞船”，则知识数据库中对“中国的第一个载人航天飞船”和对“神舟五号”进行解释的条目均可以作为与该历史对话信息关联的知识文本信息。
在另一种可能实现方式中，计算机设备根据历史对话信息查询知识数据库，得到与历史对话信息关联的多组知识文本信息，每组知识文本信息中包括至少一条知识文本信息。该计算机设备从多组知识文本信息中，选取与历史对话信息的相似度最大的一组知识文本信息。
可选地，计算机设备对历史对话信息进行编码，得到历史对话信息的特征向量，对每组知识文本信息进行编码，得到每组知识文本信息的特征向量。分别获取该历史对话信息的特征向量与每组知识文本信息的特征向量的相似度，从多组知识文本信息中，选取相似度最大的一组知识文本信息。其中，获取特征向量的相似度可以采用余弦相似度计算方法，还可以采用其他任一相似度计算方法，本申请对此不做限定。
可选地，计算机设备还可以采用基于TF-IDF(Term Frequency–Inverse DocumentFrequency,词频-逆文本频率指数)的词频相似度计算方法，或者基于神经网络的文本相似度模型，来得到历史对话信息与知识文本信息的相似度。
其中，计算机设备按照不同的方式来根据历史对话信息查询知识数据库，每种查询方式分别得到至少一条知识文本信息，将每种查询方式对应的至少一条知识文本信息作为一组知识文本信息，因此每组知识文本信息分别对应一种查询方式。或者，还可以采用其他标准来划分每组知识文本信息。
或者，知识数据库中包括的多条知识文本信息具有不同的信息源，如知识文本信息可以来自不同的网站等。则计算机设备根据历史对话信息查询知识数据库，将查询到的相同信息源的知识文本信息作为一组，从而得到多组知识文本信息，每组知识文本信息分别对应一个信息源。
302、将历史对话信息和知识文本信息输入至对话生成模型。
当计算机设备获取到历史对话信息时，该计算机设备获取预先存储的对话生成模型，将该历史对话信息和知识文本信息输入至该对话生成模型中。
该对话生成模型用于根据输入的任一历史对话信息和与该历史对话信息关联的知识文本信息，生成与该历史对话信息对应的对话回复信息。其中，该对话生成模型中至少包括第一编码器、第二编码器、第三编码器、第四编码器、第一权重网络、融合器和解码器。该对话生成模型可以为基于贝叶斯深度学习模型的变分自编码机，或者该对话生成模型还可以为其他种类的模型，本申请实施例对此不做限定。
其中，该对话生成模型的具体结构可参见上述图2，对对话生成模型进行训练的具体过程可参见下述图7对应的实施例，在此暂不做说明。
303、通过对话生成模型中的第一编码器，对历史对话信息进行编码处理，得到历史对话信息的第一特征向量，通过对话生成模型中的第二编码器，对该第一特征向量进行编码处理，得到第一语义特征。
对话生成模型中的第一编码器与第二编码器连接，该第一编码器用于根据历史对话信息生成该历史对话信息的特征向量，该第二编码器用于根据第一编码器输出的特征向量生成语义特征。其中，该语义特征可以为特征向量对应的隐变量，该隐变量是一种多维向量，可用于表示文本的潜在信息，如语义、修辞、语法等。
计算机设备将历史对话信息输入对话生成模型中的第一编码器中，该第一编码器对历史对话信息中的每条文本进行编码，可以得到该历史对话信息的第一特征向量，计算机设备将第一编码器输出的第一特征向量输入至第二编码器中，第二编码器对该第一特征向量进行编码，可以得到该第一特征向量对应的第一语义特征，该第一语义特征即为历史对话信息的第一语义特征。
在一种可能实现方式中，计算机设备将第一特征向量输入至第二编码器中，第二编码器生成该第一特征向量中的多个元素的均值和方差，计算机设备根据该均值和方差确定高斯分布，并设置目标维数，采用Re-Parameterization(重参数化)方法根据该目标维数对该高斯分布进行采样，得到目标维数的多维向量，其中该多维向量即为历史对话信息的第一语义特征。
304、通过对话生成模型中的第三编码器，对知识文本信息进行编码处理，得到知识文本信息的第二特征向量，通过对话生成模型中的第四编码器，对该第二特征向量进行编码处理，得到第二语义特征。
对话生成模型中的第三编码器与第四编码器连接，该第三编码器用于根据知识文本信息生成该知识文本信息的特征向量，该第四编码器用于根据第三编码器输出的特征向量生成语义特征。
计算机设备将知识文本信息输入对话生成模型中的第三编码器中，该第三编码器对知识文本信息中的每条文本进行编码，可以得到该知识文本信息的第二特征向量，计算机设备将第三编码器输出的第二特征向量输入至第四编码器中，第四编码器对该第二特征向量进行编码，可以得到该第二特征向量对应的第二语义特征，该第二语义特征即为知识文本信息的第二语义特征。
在一种可能实现方式中，计算机设备将第二特征向量输入至第四编码器中，第四编码器生成该第二特征向量中的多个元素的均值和方差，计算机设备根据该均值和方差确定高斯分布，并设置目标维数，采用Re-Parameterization(重参数化)方法根据该目标维数对该高斯分布进行采样，得到目标维数的多维向量，其中该多维向量即为知识文本信息的第二语义特征。其中，得到第二语义特征时采样的目标维数，与上述步骤303中得到第一语义特征时采样的目标维数相同，以此保证得到的第一语义特征和第二语义特征的维数相同，便于后续对该第一语义特征和第二语义特征进行融合。
需要说明的是，通过上述步骤302-304，即可实现分别对历史对话信息和知识文本信息进行编码，得到历史对话信息的第一语义特征和知识文本信息的第二语义特征。本申请实施例仅说明了通过对话生成模型中的第一编码器、第二编码器、第三编码器和第四编码器，对历史对话信息和知识文本信息进行编码的过程，在另一实施例中，还可以采用其他方式对历史对话信息和知识文本信息进行编码，得到第一语义特征和第二语义特征。
需要说明的是，本申请实施例仅以先执行步骤303，再执行步骤304为例，对获得第一语义特征和第二语义特征进行说明，而在另一实施例中，还可以先执行步骤304再执行步骤303，或者同时执行步骤303和步骤304。
305、通过对话生成模型中的融合器，对第一语义特征和第二语义特征进行融合处理，得到第三语义特征。
计算机获取到第一语义特征和第二语义特征，而第一语义特征仅表示历史对话信息的语义特征，第二语义特征仅表示知识文本信息的语义特征，为了得到历史对话信息和知识文本信息融合后的语义特征，需要将第一语义特征和第二语义特征进行融合。因此计算机设备可以将第一语义特征和第二语义特征输入对话生成模型中的融合器中，该融合器对第一语义特征和第二语义特征进行融合，可以得到两个语义特征对应的第三语义特征，该第三语义特征即为历史对话信息和知识文本信息的语义特征。其中，该融合器与对话生成模型中的第二编码器和第四编码器连接，该融合器用于对第二编码器和第四编码器输出的语义特征进行融合，得到融合后的语义特征。
在一种可能实现方式中，计算机设备通过对话生成模型中的第一权值网络，对第一特征向量和第二特征向量进行融合，得到权重信息。计算机设备通过对话生成模型中的融合器，根据该权重信息，对第一语义特征和第二语义特征进行加权融合，得到第三语义特征。其中，该第一编码器和该第三编码器与该第一权值网络连接，该第一权值网络与该融合器连接。
计算机设备通过上述步骤303和步骤304，可以获取到历史对话信息的第一特征向量和知识文本信息的第二特征向量，计算机设备将该第一特征向量和第二特征向量输入至对话生成模型中的第一权值网络中，该第一权值网络对第一特征向量和第二特征向量进行融合，得到第一特征向量和第二特征向量对应的权重信息，该权重信息可用于指示历史对话信息和知识文本信息的权重，也即是可以指示在融合过程中，第一语义特征和第二语义特征的权重。则计算机设备将该权重信息与第一语义特征和第二语义特征输入至融合器，由融合器根据权重信息对第一语义特征和第二语义特征进行加权融合，得到第三语义特征。
可选地，计算机设备将第一特征向量和第二特征向量输入至第一权值网络中，第一权值网络生成该第一特征向量和第二特征向量对应的均值和方差，计算机设备根据该第二特征向量对应的均值和方差确定一个随机分布，采用Re-Parameterization方法对该高斯分布进行采样，得到第二语义特征的权重。其中，该随机分布为Logit-Normal(逻辑-常态)分布。或者，该随机分布还可以为Beta(贝塔)分布，Uniform(一致)分布等，本申请实施例对此不做限定。
其中，Logit-Normal分布是一种隐变量的概率分布，定义在[0,1]范围内，其概率分布形式可以用如下公式来表示：
Figure BDA0002383820830000121
其中，Z表示隐变量，z表示隐变量中的一维向量，μ表示隐变量的均值，σ表示隐变量的方差，p(z；μ,σ)表示该一维向量在隐变量中的概率，e是自然对数的底数，π是圆周率，logit(·)是一种逻辑回归函数。
其中，采样得到的权重的取值范围为0到1之间，该权重为知识文本信息的权重，也即是第二语义特征的权重；1与该权重的差值为历史对话信息的权重，也即是第一语义特征的权重。则融合器可以根据该权重实数，采用以下公式，来对第一语义特征和第二语义特征进行加权融合，得到第三语义特征。
Figure BDA0002383820830000122
其中，zpri表示第三语义特征，λpri表示权重实数，
Figure BDA0002383820830000131
表示第二语义特征，
Figure BDA0002383820830000132
表示第一语义特征。
通过上述公式获取第三语义特征的方法，又称为线性插值方法，该λpri即为插值系数。
需要说明的是，通过步骤305，即可实现根据第一语义特征和第二语义特征进行融合，得到第三语义特征。本申请实施例仅说明了通过对话生成模型中的融合器，对第一语义特征和第二语义特征进行融合的过程，在另一实施例中，还可以采用其他方式对第一语义特征和第二语义特征进行融合，得到第三语义特征。
306、通过对话生成模型中的解码器，对第三语义特征进行解码处理，得到历史对话信息对应的对话回复信息。
计算机设备获取到第三语义特征时，将该第三语义特征输入至对话生成模型中的解码器中，由解码器对该第三语义特征进行解码，可以得到根据历史对话信息和知识文本信息的语义特征生成的对话回复信息，该对话回复信息与历史对话信息对应。
其中，解码器与对话生成模型中的融合器连接，该解码器用于对融合器输出的语义特征进行解码，得到对话回复信息。
其中，可以通过解码器，采用Greedy Decoding(贪婪解码)方法、Beam Search(集束搜索)方法、Top-K(最值查找)抽样方法等生成对话回复信息，本申请实施例对此不做限定。
在一种可能实现方式中，计算机设备确定待生成的对话回复信息中的多个词语位置，通过解码器，对第三语义特征进行解码，得到多个预设词语在多个词语位置上的概率，将在每个词语位置上的概率最大的预设词语确定为每个词语位置上的目标词语，计算机设备将多个词语位置上的目标词语进行拼接，得到对话回复信息。
该解码器可以根据输入的语义特征，得到多个词语位置上的多个预设词语的概率，其中多个词语位置和多个预设词语均可以由计算机设备对解码器进行设置。解码器中包括隐藏层和输出层，隐藏层和输出层连接，隐藏层的输出可以作为输出层的输入。该隐藏层用于根据输入的隐状态输出下一个隐状态，且上一个输出的隐状态作为下一个输入的隐状态，本申请实施例中隐状态是指语义特征，输出层用于输出每个预设词语的概率，隐藏层输出的结果与输出层输出的结果一一对应。
通过该解码器对第三语义特征进行解码，得到对话回复信息的具体过程为：计算机设备将第三语义特征作为解码器的第0个隐状态，将该第0个隐状态输入至隐藏层中，该隐藏层根据第0个隐状态输出第1个隐状态，将第1个隐状态输入输出层，输出层根据第1个隐状态输出多个预设词语中每个预设词语在第1个词语位置上的概率，将概率最大的预设词语确定为第1个词语位置上的目标词语；计算机设备将第1个隐状态输入至隐藏层中，该隐藏层根据第1个隐状态输出第2个隐状态，将第2个隐状态输入输出层，输出层根据第2个隐状态输出多个预设词语中每个预设词语在第2个词语位置上的概率，将概率最大的预设词语确定为第2个词语位置上的目标词语；以此类推，直至确定预设的多个词语位置上的目标词语，将多个词语位置上的目标词语根据位置顺序进行拼接，得到对话回复信息。
如图4所示，相关技术中，获取历史对话信息的第一特征向量401和知识文本信息的第二特征向量402，将第一特征向量401和第二特征向量402同时输入至编码器中，得到历史对话信息和知识文本信息的第一语义特征403，根据该第一语义特征403解码生成第一对话回复信息404，后续还可以根据该第一对话回复信息404训练编码器使生成的语义特征更加准确。但是，上述方案仅是将第一特征向量401和第二特征向量402进行简单拼接后得到第一语义特征403，并没有对历史对话信息和知识文本信息进行语义融合，根据该第一语义特征403得到的对话回复信息缺乏流畅性。
而本申请实施例中，如图4所示，获取历史对话信息的第三特征向量405和知识文本信息的第四特征向量406，将第三特征向量405和第四特征向量406分别输入至编码器中，得到历史对话信息的第二语义特征407和知识文本信息的第三语义特征408，将第三特征向量405和第四特征向量406同时输入至权值网络中，得到历史对话信息和知识文本信息的权重信息409，根据权重信息409，对第二语义特征407和第三语义特征408进行融合，得到第四语义特征410，根据该第四语义特征410解码生成第二对话回复信息411，后续还可以根据该第二对话回复信息411训练编码器和权值网络使生成的语义特征以及权重信息409更加准确。因此，上述方案实现了对历史对话信息和知识文本信息的语义融合，根据融合后的第四语义特征410来生成第二对话回复信息411，该第二对话回复信息411会更加流畅。
图5是本申请实施例提供的另一种基于人工智能的人机对话方法的流程图，参见图5，计算机设备将历史对话信息输入第一编码器501中，得到第一特征向量，将第一特征向量输入第二编码器502中，得到第一语义特征；将知识文本信息输入第三编码器503中，得到第二特征向量，将第二特征向量输入第四编码器504中，得到第二语义特征；将第一特征向量和第二特征向量输入第一权值网络505中，得到权值信息；将权值信息、第一特征向量和第二特征向量输入融合器506中，得到第三语义特征；将第三语义特征输入解码器507中，得到对话回复信息。
可选地，参见图6所示的另一种基于人工智能的人机对话方法的流程图。计算机设备将历史对话信息输入上下文编码器601中，得到第一特征向量，将第一特征向量输入先验上下文编码器602中，得到第一语义特征；将知识文本信息输入外部知识编码器603中，得到第二特征向量，将第二特征向量输入先验知识编码器604中，得到第二语义特征；将第一特征向量和第二特征向量输入差值权重网络605中的先验网络中，得到权值信息；根据权值信息、第一特征向量和第二特征向量得到第三语义特征；将第三语义特征输入解码器606中，得到对话回复信息。
需要说明的是，通过步骤306，即可实现对第三语义特征进行解码，得到历史对话信息对应的对话回复信息。本申请实施例仅说明了通过对话生成模型中的解码器，对第三语义特征进行解码的过程，在另一实施例中，还可以采用其他方式对第三语义特征进行解码，得到对话回复信息。
需要说明的是，本申请实施例说明将历史对话信息和知识文本信息输入至对话生成模型，由对话生成模型对历史对话信息和知识文本信息进行处理的过程，而在另一实施例中，还可以直接调用对话生成模型对历史对话信息和知识文本信息进行处理。
需要说明的是，本申请实施例说明了通过对话生成模型中的第一编码器、第二编码器、第三编码器、第四编码器、融合器、解码器，来对历史对话信息和知识文本信息进行处理，得到历史对话信息对应的对话回复信息。而在另一实施例中，可以通过对话生成模型采用其他方式，来对历史对话信息和知识文本信息进行编码处理，得到第一语义特征和第二语义特征，根据第一语义特征和第二语义特征进行融合处理，得到第三语义特征，对第三语义特征进行解码处理，得到对话回复信息。
本申请实施例提供的方法，获取历史对话信息和与历史对话信息关联的知识文本信息，通过对话生成模型，分别对历史对话信息和知识文本信息进行编码处理，得到历史对话信息的第一语义特征和知识文本信息的第二语义特征，将第一语义特征和第二语义特征进行融合处理，得到第三语义特征，对第三语义特征进行解码处理，得到历史对话信息对应的对话回复信息。由于不仅考虑了历史对话信息，还考虑了与历史对话信息关联的知识文本信息，因此增加了生成对话回复信息时所参考的信息量，从而能够提高生成对话回复信息的准确率，以及对话回复信息的多样性。并且，第三语义特征表示的是历史对话信息和知识文本信息进行语义融合后的语义特征，根据该第三语义特征生成的对话回复信息会更加流畅，进一步提高了生成对话回复信息的准确率。
并且，通过对话生成模型来对历史对话信息和知识文本信息进行处理，仅需将历史对话信息和知识文本信息输入至对话生成模型中，即可得到对话回复信息，操作简便。
并且，通过第一权值网络对第一特征向量和第二特征向量进行融合，得到权重信息，根据权重信息，对第一语义特征和第二语义特征进行加权融合，得到第三语义特征。因此权重信息可以反映对话回复信息对历史对话信息和知识文本信息的利用率，通过调节第一权值网络，即可对应调整历史对话信息和知识文本信息的权重，提高了生成对话回复信息的可控性。
并且，根据历史对话信息查询知识数据库，得到与历史对话信息关联的多组知识文本信息，从多组知识文本信息中，选取与历史对话信息的相似度最大的一组知识文本信息，可以提高获取的知识文本信息与历史对话信息的关联度，从而能够提高生成对话回复信息的准确率。
图7是本申请实施例提供的一种模型训练方法的流程图。通过本申请实施例可训练对话生成模型，该对话生成模型可应用于上述图3对应的实施例中提供的基于人工智能的人机对话方法中。本申请实施例的执行主体为计算机设备，参见图7，该方法包括：
701、获取样本数据。
样本数据包括样本历史对话信息、与样本历史对话信息关联的样本知识文本信息、样本历史对话信息对应的样本对话回复信息。
其中，样本历史对话信息中至少包括样本历史问题文本、样本历史对话回复信息和本次输入的样本问题文本。该样本历史对话信息和样本知识文本信息，与上述步骤301中的历史对话信息和知识文本信息相似，在此不再赘述。样本历史对话信息对应的样本对话回复信息，是指样本历史对话信息中本次输入的样本问题文本对应的对话回复信息。
例如，计算机设备的对话记录中包括按时间顺序排列的问题文本1、对话回复信息2、问题文本3、对话回复信息4、问题文本5、对话回复信息6，其中问题文本1对应对话回复信息2，问题文本3对应对话回复信息4，问题文本5对应对话回复信息6。若将问题文本5作为本次输入的样本问题文本，则问题文本1和问题文本3均可以作为对应的样本历史问题文本，对话回复信息2和对话回复信息4均可以作为对应的样本历史对话回复信息，而对话回复信息6即为对应的样本对话回复信息；若将问题文本3作为本次输入的样本问题文本，则问题文本1可以作为对应的样本历史问题文本，对话回复信息2可以作为对应的样本历史对话回复信息，而对话回复信息4即为对应的样本对话回复信息。
702、将样本数据输入至对话生成模型。
当计算机设备获取到样本数据时，将该样本数据输入至该对话生成模型中。此时的对话生成模型可以为生成的初始模型，也可以为初始模型在经过一次或多次训练后得到的模型。
其中，该对话生成模型中至少包括第一编码器、第二编码器、第三编码器、第四编码器、第五编码器、第六编码器、第七编码器、第一权重网络、第二权重网络融合器和解码器。其中，该对话生成模型的具体结构可参见上述图2。
703、通过对话生成模型中的第一编码器，对样本历史对话信息进行编码处理，得到样本历史对话信息的第一样本特征向量，通过对话生成模型中的第二编码器，对该第一样本特征向量进行编码处理，得到第一样本语义特征。
704、通过对话生成模型中的第三编码器，对样本知识文本信息进行编码处理，得到样本知识文本信息的第二样本特征向量，通过对话生成模型中的第四编码器，对该第二样本特征向量进行编码处理，得到第二样本语义特征。
需要说明的是，本申请实施例仅以先执行步骤703，再执行步骤704为例，对获得第一样本语义特征和第二样本语义特征进行说明，而在另一实施例中，还可以先执行步骤704再执行步骤703，或者同时执行步骤703和步骤704。
705、通过对话生成模型中的融合器，对第一样本语义特征和第二样本语义特征进行融合处理，得到第一融合语义特征。
融合器与对话生成模型中的第二编码器和第四编码器连接，该融合器用于对第二编码器和第四编码器输出的语义特征进行融合，得到融合后的语义特征。在一种可能实现方式中，计算机设备通过对话生成模型中的第一权值网络，对第一样本特征向量和第二样本特征向量进行融合，得到第一样本权重信息，计算机设备通过对话生成模型中的融合器，根据该第一样本权重信息，对第一样本语义特征和第二样本语义特征进行加权融合，得到第一融合语义特征。
其中，该第一样本权重信息用于指示根据该样本历史对话信息和样本知识文本信息生成目标对话回复信息时两者的权重。第一融合语义特征表示样本历史对话信息和样本知识文本信息的语义特征。
可选地，计算机设备获取第一样本权重信息、第一样本语义特征和第二样本语义特征时，第一样本权重信息中包括第一样本权重实数，计算机设备通过融合器，可以根据该第一样本权重实数，采用以下公式，对第一样本语义特征和第二样本语义特征进行加权融合，得到第一融合语义特征。
Figure BDA0002383820830000181
其中，zpri表示第一融合语义特征，λpri表示第一样本权重实数，
Figure BDA0002383820830000182
表示第二样本语义特征，
Figure BDA0002383820830000183
表示第一样本语义特征。
其中，计算机设备通过该第一权值网络和融合器得到第二融合语义特征的过程，与上述步骤305中通过第一权值网络和融合器得到第三语义特征的具体过程类似，在此不再一一赘述。
706、通过对话生成模型中的第五编码器，对样本对话回复信息进行编码处理，得到样本对话回复信息的第三样本特征向量，通过对话生成模型中的第六编码器，对第一样本特征向量和第三样本特征向量进行编码处理，得到第三样本语义特征。
对话生成模型中的第五编码器与第六编码器连接，该第五编码器用于根据样本对话回复信息生成该样本对话回复信息的特征向量，该第六编码器还与第一编码器连接，该第六编码器用于根据第一编码器输出的特征向量和第五编码器输出的特征向量生成语义特征。
计算机设备将样本对话回复信息输入对话生成模型中的第五编码器中，该第五编码器对样本对话回复信息进行编码，可以得到该样本对话回复信息的第三样本特征向量。计算机设备将第一样本特征向量和第三样本特征向量输入至第六编码器中，第六编码器对该第一样本特征向量和第三样本特征向量进行编码，可以得到该第一样本特征向量和第三样本特征向量对应的第三样本语义特征，该第三样本语义特征即为样本历史对话信息和样本对话回复信息的语义特征。
707、通过对话生成模型中的第七编码器，对第二样本特征向量和第三样本特征向量进行编码处理，得到第四样本语义特征。
对话生成模型中的第七编码器分别第三编码器和第五编码器连接，该第七编码器用于根据第三编码器输出的特征向量和第五编码器输出的特征向量生成语义特征。
计算机设备将第二样本特征向量和第三样本特征向量输入至第七编码器中，第七编码器对该第二样本特征向量和第三样本特征向量进行编码，可以得到该第二样本特征向量和第三样本特征向量对应的第四样本语义特征，该第四样本语义特征即为样本知识文本信息和样本对话回复信息的语义特征。
需要说明的是，本申请实施例仅以先执行步骤706，再执行步骤707为例，对获得第三样本语义特征和第四样本语义特征进行说明，而在另一实施例中，还可以先执行步骤707再执行步骤706，或者同时执行步骤706和步骤707。
需要说明的是，上述步骤703、步骤704、步骤706和步骤707中，在对特征向量进行编码得到语义特征的过程中，均可以采用上述步骤303中的编码方法，也即是根据均值和方差对高斯分布进行采样来得到语义特征。并且，四个步骤中采样时所用到的目标维数均相同，以此保证得到的第一样本语义特征、第二样本语义特征、第三样本语义特征和第四样本语义特征的维数相同，从而得到的第一融合语义特征和第二融合语义特征的维数相同。
708、通过对话生成模型中的融合器，对第三样本语义特征和第四样本语义特征进行融合处理，得到第二融合语义特征。
融合器还与对话生成模型中的第六编码器和第七编码器连接，该融合器还用于对第六编码器和第七编码器输出的语义特征进行融合，得到融合后的语义特征。在一种可能实现方式中，计算机设备通过对话生成模型中的第二权值网络，对第一样本特征向量、第二样本特征向量和第三样本特征向量进行融合，得到第二样本权重信息，计算机设备通过对话生成模型中的融合器，根据该第二样本权重信息，对第三样本语义特征和第四样本语义特征进行加权融合，得到第二融合语义特征。
其中，第二融合语义特征表示样本历史对话信息、样本知识文本信息和样本对话回复信息的语义特征。
计算机设备获取到第二样本权重信息、第三样本语义特征和第四样本语义特征时，第二样本权重信息中包括第二样本权重实数，计算机设备通过融合器，可以根据该第二样本权重实数，采用以下公式，对第三样本语义特征和第四样本语义特征进行加权融合，得到第二融合语义特征。
Figure BDA0002383820830000201
其中，zpost表示第二融合语义特征，λpost表示第二样本权重实数，
Figure BDA0002383820830000202
表示第四样本语义特征，
Figure BDA0002383820830000203
表示第三样本语义特征。
其中，计算机设备通过该第二权值网络和融合器得到第二融合语义特征的过程，与上述步骤305中通过第一权值网络和融合器得到第三语义特征的具体过程类似，在此不再一一赘述。
通过上述步骤702-708，即可实现通过对话生成模型，对样本历史对话信息、样本知识文本信息和样本对话回复信息进行编码，得到第一融合语义特征和第二融合语义特征。
需要说明的是，本申请实施例仅以先执行步骤705，再执行步骤708为例，对获得第一融合语义特征和第二融合语义特征进行说明，而在另一实施例中，还可以先执行步骤708再执行步骤705，或者同时执行步骤708和步骤705，仅需保证步骤703和步骤704在步骤705之前执行，步骤706和步骤707在步骤708之前执行。
709、根据第一融合语义特征和第二融合语义特征，训练对话生成模型。
第一融合语义特征表示样本历史对话信息和样本知识文本信息的语义特征，第二融合语义特征表示样本历史对话信息、样本知识文本信息和样本对话回复信息的语义特征，该第二融合语义特征可以体现样本历史对话信息和样本知识文本信息与样本对话回复信息的语义的重叠情况，根据第一融合语义特征和第二融合语义，即可调整对话生成模型中的模型参数，来训练该对话生成模型。
在第一种可能实现方式中，计算机设备确定第一融合语义特征和第二融合语义特征之间的第一差异特征，根据第一差异特征，对对话生成模型中的模型参数进行调整。
可选地，计算机设备通过上述步骤，可以获取样本历史对话信息的第一样本语义特征的均值
Figure BDA0002383820830000211
和方差
Figure BDA0002383820830000212
样本历史对话信息的第三样本语义特征的均值
Figure BDA0002383820830000213
和方差
Figure BDA0002383820830000214
样本知识文本信息的第二样本语义特征的均值
Figure BDA0002383820830000215
和方差
Figure BDA0002383820830000216
样本知识文本信息的第四样本语义特征的均值
Figure BDA0002383820830000217
和方差
Figure BDA0002383820830000218
第一样本权重信息的均值
Figure BDA0002383820830000219
和方差
Figure BDA00023838208300002110
第二样本权重信息的均值
Figure BDA00023838208300002111
和方差
Figure BDA00023838208300002112
以及第二样本权重信息λpost。
通过以下公式，分别获取样本历史对话信息的KL散度(相对熵)、样本知识文本信息的KL散度以及样本权重信息的KL散度。
Figure BDA00023838208300002113
其中，n可以为1、2、3。
Figure BDA00023838208300002114
为样本历史对话信息的KL散度，
Figure BDA00023838208300002115
为样本知识文本信息的KL散度，
Figure BDA00023838208300002116
为样本权重信息的KL散度，log(·)为对数函数。
通过以下公式，对样本历史对话信息的KL散度、样本知识文本信息的KL散度以及样本权重信息的KL散度进行计算，获取第一融合语义特征和第二融合语义特征的KL散度，该KL散度即为第一融合语义特征和第二融合语义特征之间的第一差异特征。
Figure BDA00023838208300002117
其中，Lkl为第一融合语义特征和第二融合语义特征的KL散度。
在第二种可能实现方式中，计算机设备通过对话生成模型中的解码器，对第二融合语义特征进行解码，得到目标对话回复信息的每个词语位置的目标词语的第一概率，将目标对话回复信息与样本对话回复信息进行对比，确定样本对话回复信息中的每个词语位置上的样本词语的第二概率，确定第一概率和第二概率之间的第二差异特征，根据第二差异特征，对对话生成模型中的模型参数进行调整。
其中，第一概率的取值范围为[0,1]，第二概率的取值为0或者1。
计算机设备确定目标对话回复信息中的每个词语位置上的目标词语后，将样本对话回复信息中每个词语位置上的样本词语与对应词语位置上的目标词语进行对比，若样本词语与该目标词语相同，则该样本词语的第二概率为1，若样本词语与该目标词语不相同，则该样本词语的第二概率为0。
可选地，计算机设备确定第一概率和第二概率之后，可采用以下公式，获取第一概率和第二概率的交叉熵，该交叉熵即为第一概率和第二概率之间的第二差异特征。
Figure BDA0002383820830000221
其中，Lce表示第一概率和第二概率的交叉熵，i可以等于1、2、3……M，
Figure BDA0002383820830000222
表示第i个词语位置上的样本词语的第二概率，
Figure BDA0002383820830000223
表示第i个词语位置上的目标词语的第一概率，log(·)为对数函数。
在第三种可能实现方式中，通过第一种可能实现方式和第二种可能实现方式提供的方法，得到第一差异特征和第二差异特征，将第一差异特征和第二差异特征的和作为目标优化函数，根据该目标优化函数对对话生成模型中的模型参数进行调整，直至目标优化函数目标优化函数趋于收敛。
其中，本申请实施例中，该对话生成模型中的第二编码器和第四编码器可以为先验编码器，第一权值网络可以为先验网络，第六编码器和第七编码器可以为后验编码器，第二权值网络可以为后验网络。
图8是本申请实施例提供的另一种模型训练方法的流程图，参见图8，计算机设备将样本历史对话信息输入至第一编码器801中得到第一样本特征向量，将第一样本特征向量输入至第二编码器802中得到第一样本语义特征；将样本知识文本信息输入至第三编码器803中，得到第二样本特征向量，将第二样本特征向量输入至第四编码器804中得到第二样本语义特征；将样本对话回复信息输入至第五编码器805中，得到第三样本特征向量，将第一样本特征向量和第三样本特征向量输入至第六编码器806中得到第三样本语义特征，将第二样本特征向量和第三样本特征向量输入至第七编码器807中得到第四样本语义特征；将第一样本特征向量和第二样本特征向量输入至第一权值网络808中得到第一权值信息，将第一样本特征向量、第二样本特征向量和第三样本特征向量输入至第二权值网络809中得到第二权值信息；将第一权值信息、第一样本语义特征和第二样本语义特征输入至融合器810中得到第一融合语义特征，将第二权值信息、第三样本语义特征和第四样本语义特征输入至融合器810中得到第二融合语义特征，对第一融合语义特征和第二融合语义特征进行处理得到第一差异特征，将第二融合语义特征输入至解码器811中进行解码，确定第一概率和第二概率，对第一概率和第二概率进行处理，得到第二差异特征。根据第一差异特征和第二差异特征，即可对对话生成模型中的模型参数进行调整。
可选地，参见图9所示的另一种模型训练方法的流程图。计算机设备将样本历史对话信息输入至上下文编码器901中得到第一样本特征向量，将第一样本特征向量输入至先验上下文编码器902中得到第一样本语义特征；将样本知识文本信息输入至外部知识编码器903中，得到第二样本特征向量，将第二样本特征向量输入至先验知识编码器904中得到第二样本语义特征；将样本对话回复信息输入至回复编码器905中，得到第三样本特征向量，将第一样本特征向量和第三样本特征向量输入至后验对话编码器906中得到第三样本语义特征，将第二样本特征向量和第三样本特征向量输入至后验知识编码器907中得到第四样本语义特征；将第一样本特征向量和第二样本特征向量输入至插值权重网络908的先验网络中得到第一权值信息，将第一样本特征向量、第二样本特征向量和第三样本特征向量输入至插值权重网络908的后验网络中得到第二权值信息；根据第一权值信息、第一样本语义特征和第二样本语义特征得到第一融合语义特征，根据第二权值信息、第三样本语义特征和第四样本语义特征得到第二融合语义特征，对第一融合语义特征和第二融合语义特征进行处理得到相对熵，将第二融合语义特征输入至解码器909中进行解码，确定第一概率和第二概率，对第一概率和第二概率进行处理，得到交叉熵。根据相对熵和交叉熵，即可对对话生成模型中的模型参数进行调整。
通过上述步骤702-709，即可实现根据样本数据，训练对话生成模型。之后还可以采用类似的方式继续训练该对话生成模型，以提高该对话生成模型的准确率。
需要说明的是，本申请实施例说明将样本数据输入至对话生成模型，由对话生成模型对样本数据进行处理，而在另一实施例中，还可以直接调用对话生成模型对样本数据进行处理。
需要说明的是，本申请实施例说明了通过对话生成模型中的第一编码器、第二编码器、第三编码器、第四编码器、第五编码器、第六编码器、第七编码器、融合器和解码器，来对样本历史对话信息、样本知识文本信息和样本对话回复信息进行处理，得到第一融合语义特征和第二融合语义特征。而在另一实施例中，可以通过对话生成模型采用其他方式，来对样本历史对话信息、样本知识文本信息和样本对话回复信息进行处理，得到第一融合语义特征和第二融合语义特征，根据第一融合语义特征和第二融合语义特征训练对话生成模型。
本申请实施例提供的方法，获取样本数据，样本数据包括样本历史对话信息、与样本历史对话信息关联的样本知识文本信息、样本历史对话信息对应的样本对话回复信息，将样本数据输入至对话生成模型，通过对话生成模型，对样本历史对话信息、样本知识文本信息和样本对话回复信息进行编码，得到第一融合语义特征和第二融合语义特征，根据第一融合语义特征和第二融合语义特征，训练对话生成模型。由于不仅考虑样本历史对话信息，还考虑与样本历史对话信息关联的样本知识文本信息，因此增加了训练该对话生成模型所用的语义特征的信息量，从而能够提高训练该对话生成模型的准确率。
并且，通过对样本特征向量进行融合，得到样本权重信息，根据样本权重信息对样本语义特征进行加权融合，得到对应的融合语义特征。因此样本权重信息可反映样本对话回复信息或目标对话回复信息对样本历史对话信息和样本知识文本信息的利用率，通过调节第一权值网络和第二权值网络，即可对应调整样本历史对话信息和样本知识文本信息的权重，提高生成对话回复信息的可控性。
图10是本申请实施例提供的一种基于人工智能的人机对话装置的结构示意图。参见图10，该装置包括：
信息获取模块1001，用于获取历史对话信息和与历史对话信息关联的知识文本信息；
信息处理模块1002，用于通过对话生成模型对获取到的历史对话信息和历史对话信息关联的知识文本信息进行如下处理：
对历史对话信息进行编码处理，得到历史对话信息的第一特征向量；
对第一特征向量进行编码处理，得到第一语义特征；
对知识文本信息进行编码处理，得到知识文本信息的第二特征向量；
对第二特征向量进行编码处理，得到第二语义特征；
将第一语义特征和第二语义特征进行融合处理，得到第三语义特征；
对第三语义特征进行解码处理，得到并输出历史对话信息对应的对话回复信息。
可选地，参见图11，信息处理模块1002，包括：
输入单元1012，用于将历史对话信息和知识文本信息输入至对话生成模型；或者，
调用单元1022，用于直接调用对话生成模型对历史对话信息和知识文本信息进行处理。
可选地，参见图11，信息处理模块1002，包括：
第一编码单元1032，用于通过对话生成模型中的第一编码器，对历史对话信息进行编码处理，得到历史对话信息的第一特征向量；
第二编码单元1042，用于通过对话生成模型中的第二编码器，对第一特征向量进行编码处理，得到第一语义特征；
第三编码单元1052，用于通过对话生成模型中的第三编码器，对知识文本信息进行编码处理，得到知识文本信息的第二特征向量；
第四编码单元1062，用于通过对话生成模型中的第四编码器，对第二特征向量进行编码处理，得到第二语义特征。
可选地，参见图11，装置还包括：
样本数据获取模块1003，用于获取样本数据，样本数据包括样本历史对话信息、与样本历史对话信息关联的样本知识文本信息、样本历史对话信息对应的样本对话回复信息；
模型训练模块1004，用于根据样本数据，训练对话生成模型。
可选地，参见图11，模型训练模块1004，包括：
处理单元1014，用于通过对话生成模型，对样本历史对话信息、样本知识文本信息和样本对话回复信息进行编码处理，得到第一融合语义特征和第二融合语义特征，第一融合语义特征表示样本历史对话信息和样本知识文本信息的语义特征，第二融合语义特征表示样本历史对话信息、样本知识文本信息和样本对话回复信息的语义特征；
训练单元1024，用于根据第一融合语义特征和第二融合语义特征，训练对话生成模型。
可选地，参见图11，处理单元1014，还用于对样本历史对话信息进行编码处理，得到样本历史对话信息的第一样本特征向量；
处理单元1014，还用于对第一样本特征向量进行编码处理，得到第一样本语义特征；
处理单元1014，还用于对样本知识文本信息进行编码处理，得到样本知识文本信息的第二样本特征向量；
处理单元1014，还用于对第二样本特征向量进行编码处理，得到第二样本语义特征；
处理单元1014，还用于将第一样本语义特征和第二样本语义特征进行融合处理，得到第一融合语义特征。
可选地，参见图11，处理单元1014，还用于将第一样本特征向量和第二样本特征向量进行融合处理，得到第一样本权重信息，第一样本权重信息用于指示样本历史对话信息和样本知识文本信息的权重；
处理单元1014，还用于根据第一样本权重信息，将第一样本语义特征和第二样本语义特征进行加权融合处理，得到第一融合语义特征。
可选地，参见图11，处理单元1014，还用于对样本对话回复信息进行编码处理，得到样本对话回复信息的第三样本特征向量；
处理单元1014，还用于对第一样本特征向量和第三样本特征向量进行编码处理，得到第三样本语义特征；
处理单元1014，还用于对第二样本特征向量和第三样本特征向量进行编码处理，得到第四样本语义特征；
处理单元1014，还用于将第三样本语义特征和第四样本语义特征进行融合处理，得到第二融合语义特征。
可选地，参见图11，处理单元1014，还用于对第一样本特征向量、第二样本特征向量和第三样本特征向量进行融合处理，得到样本权重信息，样本权重信息用于指示样本历史对话信息和样本知识文本信息的权重；
处理单元1014，还用于根据样本权重信息，将第三样本语义特征和第四样本语义特征进行加权融合处理，得到第二融合语义特征。
可选地，参见图11，训练单元1024，还用于对第二融合语义特征进行解码处理，得到目标对话回复信息中的每个词语位置上的目标词语的第一概率；
训练单元1024，还用于将目标对话回复信息与样本对话回复信息进行对比，确定样本对话回复信息中的每个词语位置上的样本词语的第二概率；
训练单元1024，还用于确定第一概率和第二概率之间的第二差异特征；
训练单元1024，还用于根据第二差异特征，对对话生成模型中的模型参数进行调整。
需要说明的是：上述实施例提供的基于人工智能的人机对话装置在生成对话回复信息时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于人工智能的人机对话装置与基于人工智能的人机对话方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图12是本申请实施例提供的一种模型训练装置的结构示意图。参见图12，该装置包括：
样本数据获取模块1201，用于获取样本数据，样本数据包括样本历史对话信息、与样本历史对话信息关联的样本知识文本信息、样本历史对话信息对应的样本对话回复信息；
样本数据处理模块1202，用于通过对话生成模型，对样本历史对话信息、样本知识文本信息和样本对话回复信息进行编码处理，得到第一融合语义特征和第二融合语义特征，第一融合语义特征表示样本历史对话信息和样本知识文本信息的语义特征，第二融合语义特征表示样本历史对话信息、样本知识文本信息和样本对话回复信息的语义特征；
模型训练模块1203，用于根据第一融合语义特征和第二融合语义特征，训练对话生成模型。
需要说明的是：上述实施例提供的模型训练装置在训练模型时，仅以上述各功能模块的划分进行举例说明，实际应用中，可根据需要而将上述功能分配由不同功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或部分功能。另外上述实施例提供的模型训练装置与模型训练方法实施例属于同一构思，具体实现过程详见方法实施例，这里不再赘述。
图13示出了本申请一个示例性实施例提供的终端1300的结构示意图。该终端1300可用于执行上述方法实施例提供的基于人工智能的人机对话方法中计算机设备所执行的步骤。
通常，终端1300包括有：处理器1301和存储器1302。
处理器1301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1301可以在集成有GPU(Graphics Processing Unit，图像处理的交互器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1302中的非暂态的计算机可读存储介质用于存储至少一条程序代码，该至少一条程序代码用于被处理器1301所具有以实现本申请中方法实施例提供的基于人工智能的人机对话方法或模型训练方法。
在一些实施例中，设备1300还可选包括有：外围设备接口1303和至少一个外围设备。处理器1301、存储器1302和外围设备接口1303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1303相连。具体地，外围设备包括：射频电路1304、触摸显示屏1305、摄像头1306、音频电路1307、定位组件1308和电源1309中的至少一种。
外围设备接口1303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1301和存储器1302。在一些实施例中，处理器1301、存储器1302和外围设备接口1303被集成在同一芯片或电路板上；在一些其他实施例中，处理器1301、存储器1302和外围设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。
显示屏1305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1305是触摸显示屏时，显示屏1305还具有采集在显示屏1305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1301进行处理。此时，显示屏1305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。
音频电路1307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1301进行处理，或者输入至射频电路1304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1301或射频电路1304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1307还可以包括耳机插孔。
本领域技术人员可以理解，图13中示出的结构并不构成对终端1300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图14是本申请实施例提供的一种服务器的结构示意图，该服务器1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central ProcessingUnits，CPU)1401和一个或一个以上的存储器1402，其中，所述存储器1402中存储有至少一条程序代码，所述至少一条程序代码由所述处理器1401加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
服务器1400可以用于执行上述基于人工智能的人机对话方法或者模型训练方法中计算机设备所执行的步骤。
本申请实施例还提供了一种用于基于人工智能的人机对话或者训练模型的计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的基于人工智能的人机对话方法中所具有的操作，或者上述实施例的模型训练方法中所具有的操作。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的基于人工智能的人机对话方法中所具有的操作，或者上述实施例的模型训练方法中所具有的操作。
本申请实施例还提供了一种计算机程序，该计算机程序包括至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现上述实施例的基于人工智能的人机对话方法中所具有的操作，或者上述实施例的模型训练方法中所具有的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种基于人工智能的人机对话方法，其特征在于，所述方法包括：
获取历史对话信息和与所述历史对话信息关联的知识文本信息；
通过对话生成模型对获取到的所述历史对话信息和所述历史对话信息关联的知识文本信息进行如下处理：
对所述历史对话信息进行编码处理，得到所述历史对话信息的第一特征向量；
对所述第一特征向量进行编码处理，得到所述第一语义特征；
对所述知识文本信息进行编码处理，得到所述知识文本信息的第二特征向量；
对所述第二特征向量进行编码处理，得到所述第二语义特征；
将所述第一语义特征和所述第二语义特征进行融合处理，得到第三语义特征；
对所述第三语义特征进行解码处理，得到并输出所述历史对话信息对应的对话回复信息。
2.根据权利要求1所述的方法，其特征在于，所述通过对话生成模型对获取到的所述历史对话信息和所述历史对话信息关联的知识文本信息进行处理包括：
将所述历史对话信息和所述知识文本信息输入至所述对话生成模型；或者，
直接调用所述对话生成模型对所述历史对话信息和所述知识文本信息进行处理。
3.根据权利要求1所述的方法，其特征在于，所述通过对话生成模型对获取到的所述历史对话信息和所述历史对话信息关联的知识文本信息进行处理包括：
通过所述对话生成模型中的第一编码器，对所述历史对话信息进行编码处理，得到所述历史对话信息的第一特征向量；
通过所述对话生成模型中的第二编码器，对所述第一特征向量进行编码处理，得到所述第一语义特征；
通过所述对话生成模型中的第三编码器，对所述知识文本信息进行编码处理，得到所述知识文本信息的第二特征向量；
通过所述对话生成模型中的第四编码器，对所述第二特征向量进行编码处理，得到所述第二语义特征。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取样本数据，所述样本数据包括样本历史对话信息、与所述样本历史对话信息关联的样本知识文本信息、所述样本历史对话信息对应的样本对话回复信息；
根据所述样本数据，训练所述对话生成模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述样本数据，训练所述对话生成模型，包括：
通过所述对话生成模型，对所述样本历史对话信息、所述样本知识文本信息和所述样本对话回复信息进行编码处理，得到第一融合语义特征和第二融合语义特征，所述第一融合语义特征表示所述样本历史对话信息和所述样本知识文本信息的语义特征，所述第二融合语义特征表示所述样本历史对话信息、所述样本知识文本信息和所述样本对话回复信息的语义特征；
根据所述第一融合语义特征和所述第二融合语义特征，训练所述对话生成模型。
6.根据权利要求5所述的方法，其特征在于，所述通过所述对话生成模型，对所述样本历史对话信息、所述样本知识文本信息和所述样本对话回复信息进行编码处理，得到第一融合语义特征和第二融合语义特征，包括：
对所述样本历史对话信息进行编码处理，得到所述样本历史对话信息的第一样本特征向量；
对所述第一样本特征向量进行编码处理，得到第一样本语义特征；
对所述样本知识文本信息进行编码处理，得到所述样本知识文本信息的第二样本特征向量；
对所述第二样本特征向量进行编码处理，得到第二样本语义特征；
将所述第一样本语义特征和所述第二样本语义特征进行融合处理，得到所述第一融合语义特征。
7.根据权利要求6所述的方法，其特征在于，所述将所述第一样本语义特征和所述第二样本语义特征进行融合处理，得到所述第一融合语义特征，包括：
将所述第一样本特征向量和所述第二样本特征向量进行融合处理，得到第一样本权重信息，所述第一样本权重信息用于指示所述样本历史对话信息和所述样本知识文本信息的权重；
根据所述第一样本权重信息，将所述第一样本语义特征和所述第二样本语义特征进行加权融合处理，得到所述第一融合语义特征。
8.根据权利要求5所述的方法，其特征在于，所述通过所述对话生成模型，对所述样本历史对话信息、所述样本知识文本信息和所述样本对话回复信息进行编码处理，得到第一融合语义特征和第二融合语义特征，还包括：
对所述样本对话回复信息进行编码处理，得到所述样本对话回复信息的第三样本特征向量；
对所述第一样本特征向量和所述第三样本特征向量进行编码处理，得到第三样本语义特征；
对所述第二样本特征向量和所述第三样本特征向量进行编码处理，得到第四样本语义特征；
将所述第三样本语义特征和所述第四样本语义特征进行融合处理，得到所述第二融合语义特征。
9.根据权利要求8所述的方法，其特征在于，所述将所述第三样本语义特征和所述第四样本语义特征进行融合处理，得到所述第二融合语义特征，包括：
对所述第一样本特征向量、所述第二样本特征向量和所述第三样本特征向量进行融合处理，得到样本权重信息，所述样本权重信息用于指示所述样本历史对话信息和所述样本知识文本信息的权重；
根据所述样本权重信息，将所述第三样本语义特征和所述第四样本语义特征进行加权融合处理，得到所述第二融合语义特征。
10.根据权利要求5所述的方法，其特征在于，所述根据所述第一融合语义特征和所述第二融合语义特征，训练所述对话生成模型，包括：
对所述第二融合语义特征进行解码处理，得到目标对话回复信息中的每个词语位置上的目标词语的第一概率；
将所述目标对话回复信息与所述样本对话回复信息进行对比，确定所述样本对话回复信息中的每个词语位置上的样本词语的第二概率；
确定所述第一概率和所述第二概率之间的第二差异特征；
根据所述第二差异特征，对所述对话生成模型中的模型参数进行调整。
11.一种模型训练方法，其特征在于，所述方法包括：
获取样本数据，所述样本数据包括样本历史对话信息、与所述样本历史对话信息关联的样本知识文本信息、所述样本历史对话信息对应的样本对话回复信息；
通过对话生成模型，对所述样本历史对话信息、所述样本知识文本信息和所述样本对话回复信息进行编码处理，得到第一融合语义特征和第二融合语义特征，所述第一融合语义特征表示所述样本历史对话信息和所述样本知识文本信息的语义特征，所述第二融合语义特征表示所述样本历史对话信息、所述样本知识文本信息和所述样本对话回复信息的语义特征；
根据所述第一融合语义特征和所述第二融合语义特征，训练所述对话生成模型。
12.一种基于人工智能的人机对话装置，其特征在于，所述装置包括：
信息获取模块，用于获取历史对话信息和与所述历史对话信息关联的知识文本信息；
信息处理模块，用于通过对话生成模型对获取到的所述历史对话信息和所述历史对话信息关联的知识文本信息进行如下处理：
对所述历史对话信息进行编码处理，得到所述历史对话信息的第一特征向量；
对所述第一特征向量进行编码处理，得到所述第一语义特征；
对所述知识文本信息进行编码处理，得到所述知识文本信息的第二特征向量；
对所述第二特征向量进行编码处理，得到所述第二语义特征；
将所述第一语义特征和所述第二语义特征进行融合处理，得到第三语义特征；
对所述第三语义特征进行解码处理，得到并输出所述历史对话信息对应的对话回复信息。
13.一种模型训练装置，其特征在于，所述装置包括：
样本数据获取模块，用于获取样本数据，所述样本数据包括样本历史对话信息、与所述样本历史对话信息关联的样本知识文本信息、所述样本历史对话信息对应的样本对话回复信息；
样本数据处理模块，用于通过所述对话生成模型，对所述样本历史对话信息、所述样本知识文本信息和所述样本对话回复信息进行编码处理，得到第一融合语义特征和第二融合语义特征，所述第一融合语义特征表示所述样本历史对话信息和所述样本知识文本信息的语义特征，所述第二融合语义特征表示所述样本历史对话信息、所述样本知识文本信息和所述样本对话回复信息的语义特征；
模型训练模块，用于根据所述第一融合语义特征和所述第二融合语义特征，训练所述对话生成模型。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如权利要求1至10任一所述的基于人工智能的人机对话方法，或者如权利要求11所述的模型训练方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1至10任一所述的基于人工智能的人机对话方法，或者如权利要求11所述的模型训练方法。
CN202010091322.7A 2020-02-13 2020-02-13 基于人工智能的人机对话方法、模型训练方法及装置 Active CN111309883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010091322.7A CN111309883B (zh) 2020-02-13 2020-02-13 基于人工智能的人机对话方法、模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010091322.7A CN111309883B (zh) 2020-02-13 2020-02-13 基于人工智能的人机对话方法、模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN111309883A true CN111309883A (zh) 2020-06-19
CN111309883B CN111309883B (zh) 2023-08-08

Family

ID=71144973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010091322.7A Active CN111309883B (zh) 2020-02-13 2020-02-13 基于人工智能的人机对话方法、模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN111309883B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797220A (zh) * 2020-07-30 2020-10-20 腾讯科技（深圳）有限公司 对话生成方法、装置、计算机设备和存储介质
CN111897940A (zh) * 2020-08-12 2020-11-06 腾讯科技（深圳）有限公司 视觉对话方法、视觉对话模型的训练方法、装置及设备
CN111897943A (zh) * 2020-08-17 2020-11-06 腾讯科技（深圳）有限公司 会话记录搜索方法、装置、电子设备及存储介质
CN112035609A (zh) * 2020-08-20 2020-12-04 出门问问信息科技有限公司 一种智能对话方法、装置以及计算机可读存储介质
CN112100354A (zh) * 2020-09-16 2020-12-18 北京奇艺世纪科技有限公司 人机对话方法、装置、设备及存储介质
CN112163066A (zh) * 2020-09-08 2021-01-01 天讯瑞达通信技术有限公司 人工智能模型训练方法、知识点推送方法、装置和介质
CN112214591A (zh) * 2020-10-29 2021-01-12 腾讯科技（深圳）有限公司 一种对话预测的方法及装置
CN112256857A (zh) * 2020-11-17 2021-01-22 北京邮电大学 一种基于图注意力机制的对话历史建模方法
CN112258339A (zh) * 2020-09-29 2021-01-22 广东电力通信科技有限公司 一种基于电网系统技术的数据处理储备方法及系统
CN112559707A (zh) * 2020-12-16 2021-03-26 四川智仟科技有限公司 一种基于知识驱动的客服问答方法
CN112735374A (zh) * 2020-12-29 2021-04-30 北京三快在线科技有限公司 一种自动语音交互的方法及装置
CN113254597A (zh) * 2021-06-23 2021-08-13 腾讯科技（深圳）有限公司 模型训练方法、查询处理方法及相关设备
CN113656569A (zh) * 2021-08-24 2021-11-16 电子科技大学 一种基于上下文信息推理的生成式对话方法
CN113822080A (zh) * 2021-07-23 2021-12-21 腾讯科技（深圳）有限公司 翻译、对话翻译模型的处理方法、装置和计算机设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915386A (zh) * 2015-05-25 2015-09-16 中国科学院自动化研究所 一种基于深度语义特征学习的短文本聚类方法
CN106357942A (zh) * 2016-10-26 2017-01-25 广州佰聆数据股份有限公司 基于上下文对话语义识别的智能应答方法及系统
CN107330513A (zh) * 2017-06-28 2017-11-07 深圳爱拼信息科技有限公司 一种提取深度信念网络中隐含节点语义的方法
CN109492227A (zh) * 2018-11-16 2019-03-19 大连理工大学 一种基于多头注意力机制和动态迭代的机器阅读理解方法
CN110188167A (zh) * 2019-05-17 2019-08-30 北京邮电大学 一种融入外部知识的端到端对话方法及系统
CN110297895A (zh) * 2019-05-24 2019-10-01 山东大学 一种基于自由文本知识的对话方法及系统
CN110347813A (zh) * 2019-06-26 2019-10-18 北京大米科技有限公司 一种语料处理方法、装置、存储介质及电子设备
CN110413752A (zh) * 2019-07-22 2019-11-05 中国科学院自动化研究所 基于对话逻辑的多轮口语理解方法、系统、装置
WO2019220128A1 (en) * 2018-05-18 2019-11-21 Benevolentai Technology Limited Graph neutral networks with attention

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915386A (zh) * 2015-05-25 2015-09-16 中国科学院自动化研究所 一种基于深度语义特征学习的短文本聚类方法
CN106357942A (zh) * 2016-10-26 2017-01-25 广州佰聆数据股份有限公司 基于上下文对话语义识别的智能应答方法及系统
CN107330513A (zh) * 2017-06-28 2017-11-07 深圳爱拼信息科技有限公司 一种提取深度信念网络中隐含节点语义的方法
WO2019220128A1 (en) * 2018-05-18 2019-11-21 Benevolentai Technology Limited Graph neutral networks with attention
CN109492227A (zh) * 2018-11-16 2019-03-19 大连理工大学 一种基于多头注意力机制和动态迭代的机器阅读理解方法
CN110188167A (zh) * 2019-05-17 2019-08-30 北京邮电大学 一种融入外部知识的端到端对话方法及系统
CN110297895A (zh) * 2019-05-24 2019-10-01 山东大学 一种基于自由文本知识的对话方法及系统
CN110347813A (zh) * 2019-06-26 2019-10-18 北京大米科技有限公司 一种语料处理方法、装置、存储介质及电子设备
CN110413752A (zh) * 2019-07-22 2019-11-05 中国科学院自动化研究所 基于对话逻辑的多轮口语理解方法、系统、装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAOYU SHEN等: "Improving Variational Encoder-Decoders in Dialogue Generation", THIRTY-SECOND AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE, vol. 32, no. 1, pages 5456 - 5463 *
任陈俊: "基于机器视觉的场景目标检测与分类研究", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 4, pages 138 - 345 *
刘一诚: "垂直领域问答系统的研究与实现", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 8, pages 138 - 1506 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797220A (zh) * 2020-07-30 2020-10-20 腾讯科技（深圳）有限公司 对话生成方法、装置、计算机设备和存储介质
CN111797220B (zh) * 2020-07-30 2024-02-09 腾讯科技（深圳）有限公司 对话生成方法、装置、计算机设备和存储介质
CN111897940A (zh) * 2020-08-12 2020-11-06 腾讯科技（深圳）有限公司 视觉对话方法、视觉对话模型的训练方法、装置及设备
WO2022033208A1 (zh) * 2020-08-12 2022-02-17 腾讯科技（深圳）有限公司 视觉对话方法、模型训练方法、装置、电子设备及计算机可读存储介质
CN111897940B (zh) * 2020-08-12 2024-05-17 腾讯科技（深圳）有限公司 视觉对话方法、视觉对话模型的训练方法、装置及设备
CN111897943A (zh) * 2020-08-17 2020-11-06 腾讯科技（深圳）有限公司 会话记录搜索方法、装置、电子设备及存储介质
CN112035609A (zh) * 2020-08-20 2020-12-04 出门问问信息科技有限公司 一种智能对话方法、装置以及计算机可读存储介质
CN112035609B (zh) * 2020-08-20 2024-04-05 出门问问创新科技有限公司 一种智能对话方法、装置以及计算机可读存储介质
CN112163066B (zh) * 2020-09-08 2023-12-05 天讯瑞达通信技术有限公司 人工智能模型训练方法、知识点推送方法、装置和介质
CN112163066A (zh) * 2020-09-08 2021-01-01 天讯瑞达通信技术有限公司 人工智能模型训练方法、知识点推送方法、装置和介质
CN112100354A (zh) * 2020-09-16 2020-12-18 北京奇艺世纪科技有限公司 人机对话方法、装置、设备及存储介质
CN112258339A (zh) * 2020-09-29 2021-01-22 广东电力通信科技有限公司 一种基于电网系统技术的数据处理储备方法及系统
CN112214591A (zh) * 2020-10-29 2021-01-12 腾讯科技（深圳）有限公司 一种对话预测的方法及装置
CN112214591B (zh) * 2020-10-29 2023-11-07 腾讯科技（深圳）有限公司 一种对话预测的方法及装置
CN112256857A (zh) * 2020-11-17 2021-01-22 北京邮电大学 一种基于图注意力机制的对话历史建模方法
CN112256857B (zh) * 2020-11-17 2023-02-03 北京邮电大学 一种基于图注意力机制的对话历史建模方法
CN112559707A (zh) * 2020-12-16 2021-03-26 四川智仟科技有限公司 一种基于知识驱动的客服问答方法
CN112735374A (zh) * 2020-12-29 2021-04-30 北京三快在线科技有限公司 一种自动语音交互的方法及装置
CN112735374B (zh) * 2020-12-29 2023-01-06 北京三快在线科技有限公司 一种自动语音交互的方法及装置
CN113254597A (zh) * 2021-06-23 2021-08-13 腾讯科技（深圳）有限公司 模型训练方法、查询处理方法及相关设备
CN113822080A (zh) * 2021-07-23 2021-12-21 腾讯科技（深圳）有限公司 翻译、对话翻译模型的处理方法、装置和计算机设备
CN113656569B (zh) * 2021-08-24 2023-10-13 电子科技大学 一种基于上下文信息推理的生成式对话方法
CN113656569A (zh) * 2021-08-24 2021-11-16 电子科技大学 一种基于上下文信息推理的生成式对话方法

Also Published As

Publication number Publication date
CN111309883B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN111309883B (zh) 基于人工智能的人机对话方法、模型训练方法及装置
US11354512B2 (en) Method and device for generating dialog using trained dialog model
CN108319599B (zh) 一种人机对话的方法和装置
US20220165288A1 (en) Audio signal processing method and apparatus, electronic device, and storage medium
WO2020253060A1 (zh) 语音识别方法、模型的训练方法、装置、设备及存储介质
CN110457457B (zh) 对话生成模型的训练方法、对话生成方法及装置
US20190197121A1 (en) Method and apparatus with natural language generation
CN109977207A (zh) 对话生成方法、对话生成装置、电子设备及存储介质
CN110599557A (zh) 图像描述生成方法、模型训练方法、设备和存储介质
US11769018B2 (en) System and method for temporal attention behavioral analysis of multi-modal conversations in a question and answer system
CN112069309B (zh) 信息获取方法、装置、计算机设备及存储介质
US20240046955A1 (en) Voice extraction method and apparatus, and electronic device
US20220366312A1 (en) Method and apparatus for training item coding model
CN113822076A (zh) 文本生成方法、装置、计算机设备及存储介质
CN113591490A (zh) 信息处理方法、装置和电子设备
CN116737883A (zh) 人机交互方法、装置、设备及存储介质
CN111797220A (zh) 对话生成方法、装置、计算机设备和存储介质
CN115116458B (zh) 语音数据转换方法、装置、计算机设备及存储介质
CN113643706B (zh) 语音识别方法、装置、电子设备及存储介质
CN113486260B (zh) 互动信息的生成方法、装置、计算机设备及存储介质
CN114020908A (zh) 文本分类方法及装置、计算机可读存储介质及电子设备
CN114153953A (zh) 对话回复的生成方法、装置、设备及存储介质
CN113553413A (zh) 对话状态的生成方法、装置、电子设备和存储介质
CN112149426A (zh) 阅读任务处理方法及相关设备
CN117392379B (zh) 目标检测的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024239

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant