CN116384412A - 对话内容生成方法及装置、计算机可读存储介质、终端 - Google Patents
对话内容生成方法及装置、计算机可读存储介质、终端 Download PDFInfo
- Publication number
- CN116384412A CN116384412A CN202310172048.XA CN202310172048A CN116384412A CN 116384412 A CN116384412 A CN 116384412A CN 202310172048 A CN202310172048 A CN 202310172048A CN 116384412 A CN116384412 A CN 116384412A
- Authority
- CN
- China
- Prior art keywords
- preference data
- preset
- training
- dialogue
- reply
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 53
- 230000001149 cognitive effect Effects 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 16
- 230000006399 behavior Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 17
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000020785 dietary preference Nutrition 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
一种对话内容生成方法及装置、计算机可读存储介质、终端,所述方法包括:获取用户输入的当前话语;获取预设人物的多条偏好数据,所述多条偏好数据用于描述所述预设人物的行为偏好和/或认知偏好;根据所述多条偏好数据、所述当前话语和对话上下文历史,生成输入文本;将所述输入文本输入至预先训练得到的回复生成模型,得到所述回复生成模型输出的所述当前话语的回复内容。通过本申请提供的方案,能够在多轮对话中生成对话风格统一的回复内容。
Description
技术领域
本申请涉及人机交互技术领域,尤其涉及一种对话内容生成方法及装置、计算机可读存储介质、终端。
背景技术
对话系统,又称“聊天机器人”,是指能够使用人类语言与人进行交流的计算机程序。它通常使用自然语言处理技术来识别用户的输入,并根据识别结果做出相应的响应。这种技术在日常生活中有很多应用,例如在电子设备、智能家居和客服中心等都可能使用对话系统来提供服务。对话系统的研究成果将有助于机器更好地理解人类语言,进一步促进人机交互技术的发展,并为更多的领域提供有价值的应用。
对话系统可分为任务型对话系统和闲聊型对话系统。任务型对话系统主要目的是帮助用户完成特定的任务。任务型对话则是指由任务驱动的多轮对话,机器需要通过理解、主动询问、澄清等方式来确定用户的目标,调用相应的API查询后,返回正确结果,完成用户需求。这些任务可能包括查询信息、提供帮助或解决问题等。
闲聊型对话系统没有特定需要完成的任务,通常是与用户进行无目的、非正式的对话。闲聊型对话系统没有特定的目标或议题,而是为了娱乐或增进双方之间的了解而进行的。闲聊型对话过程通常包括多轮对话,现有方案中,在多轮对话中机器回复的内容容易出现对话风格不统一,甚至是前后矛盾的问题。
发明内容
本申请实施例提供一种对话内容生成方法及装置、计算机可读存储介质、终端,能够在多轮对话中生成对话风格统一的回复内容。
本申请实施例提供一种对话内容生成方法,包括:获取用户输入的当前话语;获取预设人物的多条偏好数据,所述多条偏好数据用于描述所述预设人物的行为偏好和/或认知偏好;根据所述多条偏好数据、所述当前话语和对话上下文历史,生成输入文本;将所述输入文本输入至预先训练得到的回复生成模型,得到所述回复生成模型输出的所述当前话语的回复内容。
可选的,所述多条偏好数据、所述当前话语和对话上下文历史,生成输入文本包括:对所述多条偏好数据、所述当前话语和对话上下文历史进行拼接,得到所述输入文本。
可选的,所述输入文本包括多条第一文本和第二文本,对所述多条偏好数据、所述当前话语和对话上下文历史进行拼接包括:将每条偏好数据和所述当前话语进行拼接,得到该条偏好数据对应的第一文本;将所述当前话语和所述对话上下文历史进行拼接,得到所述第二文本。
可选的,所述回复生成模型包括:多个第一编码器和第二编码器,将所述输入文本输入至预先训练得到的回复生成模型包括:将所述多条第一文本分别输入至所述多个第一编码器,其中,每个第一编码器的输入为单条第一文本;将所述第二文本输入至所述第二编码器中。
可选的,获取预设人物的多条偏好数据包括:从预设数据库读取所述预设人物的人格信息关联的多条预设偏好数据;如果所述预设偏好数据的数量大于M,则根据各条预设偏好数据和对话主题的相似度,从所述多条预设偏好数据中选取K条预设偏好数据,1<K≤M,K和M均为正整数,M为所述第一编码器的数量。
可选的,所述回复生成模型的训练方法包括:构建第一预设模型,所述第一预设模型包括多个编码器和解码器;加载预训练模型,所述预训练模型包括单个预训练编码器;在初始化过程中,将所述预训练编码器的权重复制到各个编码器;采用训练数据对初始化后的第一预设模型进行训练,直至满足预设的训练停止条件。
可选的,所述训练数据包括多条样本输入文本,每条样本输入文本具有标签数据,所述回复生成模型的训练方法还包括:获取多例对话样本,其中,每例对话样本包括样本话语和所述样本话语的真实回复;根据所述真实回复的说话者的人格信息,获取所述真实回复的说话者的多条偏好数据;对于每例对话样本,根据所述真实回复的说话者的多条偏好数据、样本话语和样本话语的上下文历史,生成该例对话样本对应的样本输入文本,所述样本输入文本的标签数据为该例对话样本中所述样本话语的真实回复。
本申请实施例还提供一种对话内容生成装置,包括:获取模块,用于获取用户输入的当前话语;偏好确定模块,用于获取预设人物的多条偏好数据,所述多条偏好数据用于描述所述预设人物的行为偏好和/或认知偏好;输入构建模块,用于根据所述多条偏好数据、所述当前话语和对话历史,生成输入文本;内容生成模块,用于将所述输入文本输入至预先训练得到的回复生成模型,得到所述回复生成模型输出的所述当前话语的回复内容。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时,执行上述的对话内容生成方法的步骤。
本申请实施例还提供一种终端,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述的对话内容生成方法的步骤。
与现有技术相比,本申请实施例的技术方案具有以下有益效果:
在本申请实施例的方案中,终端获取用户输入的当前话语,并获取预设人物的多条偏好数据,然后根据多条偏好数据、当前话语和对话上下文历史,生成输入文本。进一步将输入文本输入至预先训练得到的回复生成模型,得到回复生成模型输出的当前话语的回复内容。采用上述方案,回复内容的生成不仅依赖于当前话语和对话上下文历史,还依赖于预设人物的多条偏好数据,由于预设人物的多条偏好数据用于描述预设人物的行为偏好和/或认知偏好,因此,不同轮生成的回复内容均能够与预设人物的偏好相匹配,即使对话内容或主题发生变化,在预设人物的偏好数据的指导下,生成的回复内容的风格仍然与预设人物相匹配,由此在一次完整的多轮对话中机器的回复内容的风格能够尽可能保持一致,对话的可控性和稳定性也更好。
进一步地,本申请实施例的方案中,回复生成模型设置有多个编码器,生成回复内容之前,将每条偏好数据和当前话语进行拼接,得到该条偏好数据对应的第一文本,以及将当前话语和对话上下文历史进行拼接,得到第二文本,从而得到多条第一文本和单条第二文本,然后将多条第一文本和单条第二文本输入至多个编码器,其中,每个编码器的输入为单条文本。相较于回复生成模型仅包含单个编码器,采用上述方案不仅能够控制输入至编码器的文本长度,避免输入文本过程导致部分文本被丢弃的情况,还能够在训练阶段使编码器更好地学习当前话语语义和各条偏好数据之间的依赖关系,有利于更加准确地生成回复内容。
附图说明
图1是本申请实施例中一种对话内容生成方法的流程示意图;
图2是本申请实施例中一种回复生成模型的结构示意图;
图3是本申请实施例中一种对话内容生成装置的结构示意图。
具体实施方式
如背景技术所述,现有方案中,在多轮对话中机器回复的内容容易出现对话风格不统一,甚至是前后矛盾的问题。
闲聊型对话中的回复内容的生成方法可以有检索式方法和生成式方法等。其中,检索式方法是从预先准备好的回复库中搜索选择一条最合适的回复,而生成式方法则是采用自回归采样来逐个生成回复的词。因此,生成式方法通常具有更好的灵活性,不同轮对话中可以生成不同的内容,然而生成式方法也存在可控性较差的问题。例如,在与同一个用户的一次完整的多轮对话中,生成的回复内容的风格可能并不统一,甚至出现前后矛盾的情况。
有鉴于此,本申请实施例提供一种对话内容生成方法,在本申请实施例的方案中,终端获取用户输入的当前话语,并获取预设人物的多条偏好数据,然后根据多条偏好数据、当前话语和对话上下文历史,生成输入文本。进一步将输入文本输入至预先训练得到的回复生成模型,得到回复生成模型输出的当前话语的回复内容。采用上述方案,回复内容的生成不仅依赖于当前话语和对话上下文历史,还依赖于预设人物的多条偏好数据,由于预设人物的多条偏好数据用于描述预设人物的行为偏好和/或认知偏好,因此,不同轮生成的回复内容均能够与预设人物的偏好相匹配,即使对话内容或主题发生变化,在预设人物的偏好数据的指导下,生成的回复内容的风格仍然与预设人物相匹配,由此在一次完整的多轮对话中机器的回复内容的风格能够尽可能保持一致,对话的可控性和稳定性也更好。
为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
参照图1,图1是本申请实施例中一种对话内容生成方法的流程示意图。图1示出的方法可以是由终端执行,所述终端可以是现有的各种具有数据接收和数据处理能力的设备,例如,可以是手机、计算机、平板电脑、物联网设备和穿戴式设备等,本发明实施例对此并不进行限制。换言之,所述终端可以是各种适当的具有人机对话功能的设备。在本发明实施例的方案中,所述用户为进行人机对话的“人”,所述终端为进行人机对话的“机器”。本申请实施例提供的方案可以应用于各种人机交互的应用场景,例如虚拟助手、社交媒体平台等。图1示出的方法可以包括:
步骤S11:获取用户输入的当前话语;
步骤S12:获取预设人物的多条偏好数据,所述多条偏好数据用于描述所述预设人物的行为偏好和/或认知偏好;
步骤S13:根据所述多条偏好数据、所述当前话语和对话上下文历史,生成输入文本;
步骤S14:将所述输入文本输入至预先训练得到的回复生成模型,得到所述回复生成模型输出的所述当前话语的回复内容。
可以理解的是,在具体实施中,上述方法可以采用软件程序的方式实现,该软件程序运行于芯片或芯片模组内部集成的处理器中;或者,该方法可以采用硬件或者软硬结合的方式来实现,例如用专用的芯片或芯片模组来实现,或者,用专用的芯片或芯片模组结合软件程序来实现。
需要指出的是,本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
在步骤S11的具体实施中,在人机对话过程中,可以获取用户输入的当前话语。在一个具体的例子中,用户输入的当前话语可以是语音,也可以是文本,本申请实施例对于当前话语的形式并不进行限制。其中,用户输入的当前话语可以为用户提出的问题,也可以是用户针对上一轮的回复内容的回答,本实施例对于当前话语的内容也并不进行限制。
在步骤S12的具体实施中,可以获取预设人物的多条偏好数据,其中,多条偏好数据可以用于描述预设人物的行为偏好和/或认知偏好。换言之,多条偏好数据可以用于刻画预设人物的偏好。例如,行为偏好可以是消费偏好、阅读偏好、观影偏好、旅游偏好等,认知偏好可以是饮食偏好、音乐偏好、颜色偏好等。
本申请实施例的方案中,预设人物可以是指人机交互过程中机器关联的人物,所述机器关联的人物可以是指机器扮演的人物,本申请实施例的方案中期望机器输出的回复内容能够具有预设人物的风格。所述预设人物可以是虚拟人物,例如孙悟空、福尔摩斯等,所述预设人物也可以是真实人物,本实施例对此并不限制。
在本申请实施例的方案中,预设人物的偏好数据可以是根据预设人物的人格信息确定的。所述人格信息可以包括预设人物在多个人格维度的分值。例如,多个人格维度可以基于大五人格的5个人格维度,也即,多个人格维度可以分别是:开放性、责任性、外倾性、宜人性、神经质性。在其他实施例中,所述多个人格维度可以是其他能够用于刻画预设人物性格或行为或特点的维度。
进一步地,可以根据预设人物的人格信息,获取预设人物的多条偏好数据。
示例性的,在本申请实施例的方案中,可以预先设置有数据库,预设数据库可以包括多种人格信息关联的预设偏好数据。
以上述基于大五人格的5个人格维度为例,假设每个人格维度对应n个比特,预设人物在每个人格维度的分值可以通过该人格维度对应的n个比特的取值来表示,由此,预设人物的人格信息可以由(5n)个比特的取值来表示,每种(5n)个比特的取值可以用于指示一种人格信息,每种(5n)个比特的取值可以关联有一个偏好数据集合,n为正整数。例如,每个人格维度对应的1个比特,由此,人格信息可以由5个比特的取值来表示,每种取值可以关联有偏好数据集合,偏好数据集合可以包括多条预设偏好数据。
在第一个示例中,可以根据预设人物的人格信息,从预设数据库中读取预设人物的人格信息相关联的多条预设偏好数据,也即,多条预设偏好数据和预设人物相关联。进一步地,可以将多条预设偏好数据作为预设人物的偏好数据。换言之,预设人物的人格信息相关联的多条预设偏好数据均用于生成输入文本。在这种方案中,多轮对话中的偏好数据可以是保持不变的。
在具体实施中,预设人物的人格信息关联的多条预设偏好数据可以是预先从预设数据库中读取的。也即,可以在步骤S11之前从预设数据库中读取预设人物的人格信息关联的多条预设偏好数据。
在第二个示例中,可以结合对话主题,从预设人物的人格信息关联的多条预设偏好数据中筛选出用于生成输入文本的偏好数据。
具体地,可以先根据当前话语和/或对话上下文历史,确定本次与用户对话的对话主题,或者,根据当前话语确定本轮的对话主题。需要说明的是,确定对话主题的具体方法可以是现有的方法,本实施例对此并不限制。
进一步地,可以根据对话主题对预设人物的人格信息关联的多条预设偏好数据进行筛选,得到预设人物的多条偏好数据。
例如,可以计算对话主题和各条预设偏好数据之间的相似度,然后选取相似度最高的K条预设偏好数据,从而获得预设人物的K条偏好数据,也即,获得用于生成输入文本的K条偏好数据。其中,1<K≤M,K和M均为正整数,M为回复生成模型中第一编码器的数量。关于回复生成模型以及第一编码器的具体内容可以参见下文的具体描述。
在具体实施中,选取的K条偏好数据和对话主题的相似度大于或等于相似度阈值。在多轮对话中,对话主题可以是动态变化的,在这种情况下,根据对话主题选取的偏好数据的数量也可以是动态变化的,可以动态地调整相似度阈值,以使得K≤M。
相较于上述直接将偏好数据候选集合中的预设偏好数据全部作为用于生成输入文本的偏好数据的方案,上述方案一方面能够减少偏好数据的数量,提高回复内容的生成效率,另一方面,能够减少无关联的偏好数据对回复内容生成的影响,使得回复内容更加精准。
在一个非限制性的例子中,如果预设人物的人格信息关联的预设偏好数据的数量大于M,则可以根据对话主题对从多条预设偏好数据中选取K条预设偏好数据,作为预设人物的偏好数据;如果预设人物关联的预设偏好数据的数量小于或等于M,则可以将预设数据库中与预设人物相关联的所有的预设偏好数据均作为预设人物的偏好数据。
在步骤S13的具体实施中,可以根据多条偏好数据、当前话语和对话上下文历史,生成输入文本,所述输入文本是指输入至回复生成模型的文本。其中,对话上下文历史可以是指本次多轮对话中获取当前话语之前终端和用户进行的对话。
具体而言,可以将多条偏好数据、当前话语和对话上下文历史进行拼接,得到输入文本。
在输入文本中,可以通过特定的前缀符来赋予不同组成部分对应的语义含义。具体地,偏好数据之前具有第一前缀符,所述第一前缀符可以用于指示第一前缀符后的文本为偏好数据,当前话语之前具有第二前缀符,第二前缀符可以用于指示第二前缀符后的文本为当前话语,对话上下文历史之前具有第三前缀符,第三前缀符可以用于指示第三前缀符后的文本为对话上下文历史。
在一个示例中,可以依次将多条偏好数据、当前话语和对话上下文历史拼接为一个整体,该整体即为输入文本,在这种情况下,回复生成模型可以包括单个编码器,然后将该输入文本输入编码器。
在另一个示例中,可以将每条偏好数据分别和当前话语进行拼接,得到该条偏好数据对应的第一文本。换言之,单条第一文本包含单条偏好数据和当前话语。也即,第一文本和偏好数据可以是一一对应的,每条第一文本是由该条文本对应的偏好数据和当前话语拼接得到的。
此外,还可以将对话上下文历史和当前话语进行拼接,得到第二文本。其中,第二文本的数量可以为1条。如果本轮对话为第一轮对话,则对话上下文历史可以为空。
需要说明的是,在该示例中,得到多条第一文本和第二文本之后,并不需要继续将多条第一文本和第二文本继续拼接成一个整体。
在步骤S14中,将输入文本输入至预先训练得到的回复生成模型,并得到本轮的回复内容。
参照图2,图2是本申请实施例中一种回复生成模型的结构示意图,下面结合图2对本申请实施例中回复生成模型的结构、训练方法和使用方法进行详细描述。
如图2所示,回复生成模型20可以包括编码模块21、拼接模块22和解码模块23,其中,编码模块21可以包括多个编码器,具体地,编码模块21可以包括多个第一编码器和单个第二编码器。其中,第一编码器可以是用于对第一文本进行编码的编码器,第二编码器可以是用于对第二文本进行编码的编码器。
假设步骤S12中获取的偏好数据的数量为K,第一文本的数量也为K,第一编码器的数量为M,K和M均为大于1的正整数。在具体实施中,M≥K,图2中仅示出了所使用的K个第一编码器。
在步骤S14中,可以从M个第一编码器中选择K个第一编码器使用。例如,可以随机从编码模块21中的第一编码器中随机选择K个第一编码器,或者,也可以按照第一编码器的编号,选择K个第一编码器。例如,选择编号最小的K个第一编码器。
具体而言,对于K条第一文本,可以分别将K条第一文本输入至K个第一编码器,其中,每个第一编码器的输入为单条第一文本。此外,可以将第二文本输入至第二编码器。
需要说明的是,本申请实施例中的编码器可以是现有的适当的文本编码器,本申请实施例对于编码器的类型和内部结构等并不进行限制。
进一步地,每个第一编码器可以对输入的第一文本进行编码,得到该条第一文本的特征向量,记为第一特征向量,由此可以得到K条第一特征向量。此外,第二编码器可以对输入的第二文本进行编码,得到第二文本的特征向量,记为第二特征向量。
进一步地,可以将K条第一特征向量和单条第二特征向量输入至拼接模块22,拼接模块22可以用于将多条特征向量进行拼接。由此,拼接模块22可以对K条第一特征向量和单条第二特征向量进行拼接,得到第三特征向量。
需要说明的是,拼接模块22对多条特征向量进行拼接的方法可以是现有的拼接特征向量的方法,本申请实施例对此并不进行限制。
进一步地,可以将第三特征向量输入至解码模块23,解码模块23可以对输入的第三特征向量进行解码,得到本轮对话的回复内容。其中,解码模块23可以包括解码器,所述解码器可以是现有的解码器,本申请实施例对此并不限制。
下面对图2示出的回复生成模型的训练方法进行非限制性的说明。
在训练之前,可以先构建第一预设模型,关于第一预设模型的结构的具体内容可以参照上文关于回复生成模型的结构的相关描述,在此不再赘述。
进一步地,还可以加载预训练模型,其中,预训练模块可以包括单个预训练编码器,例如,所述预训练模型可以是双向自回归变压器(Bidirectional and Auto-Regressive Transformers,简称BART)模型等,但并不限于此。
进一步地,可以对第一预设模型进行初始化。在初始化过程中,可以将预训练模型中预训练编码器的权重复制到第一预设模型中的各个第一编码器和第二编码器,以作为各个编码器的初始权重。
进一步地,可以采用训练数据对初始化后的第一预设模型进行训练,直至满足预设的训练停止条件。
在具体实施中,训练数据可以是基于真人对话语料得到的。示例性的,所述真人对话语料可以选取自中国人格与情感对话数据集(Chinese Personalized and EmotionalDialogue Dataset,简称CPED)。
具体而言,上述真人对话语料可以包括:多例对话样本,其中,每例对话样本可以包括:样本话语和样本话语的真实回复,样本话语和样本话语的真实回复构成真人对话中的一轮对话。
此外,还可以获取每例对话样本中所述真实回复的说话者的多条偏好数据。关于获取所述真实回复的说话者的偏好数据的具体方法可以参照上文关于步骤S12的相关描述,在此不再赘述。
进一步地,对于每例对话样本,可以根据该例对话样本中的样本话语、真实回复的说话者的多条偏好数据和样本话语的对话上下文历史,生成该例对话样本对应的样本输入文本。关于生成样本输入文本的具体内容可以参照上文关于步骤S13的相关描述,在此不再赘述。
由此,可以得到训练数据,其中,训练数据可以包括多例对话样本对应的样本输入文本,其中,每例对话样本对应的样本输入文本的标签数据为该例对话样本中样本话语的真实回复。
在具体实施中,还可以将训练数据按照一定比例分割为训练集和验证集。
进一步地,以1例对话样本对应的样本输入文本为例,该样本输入文本可以包括多条第一样本文本和单条第二样本文本,然后可以将每条第一样本文本输入至第一编码器,将第二样本文本输入至第二编码器,由此获得解码模块23输出的预测回复内容。
进一步地,可以根据预测回复内容和样本话语的真实回复,计算损失值,并根据损失值反向更新第一预设模型。其中,损失值可以是交叉熵(cross-entropy)损失值等,但并不限于此。
更具体地,在训练过程中,每次迭代可以采用最小批的方式计算损失值并更新权重。
进一步地,当满足预设停止条件时,可以得到回复生成模型,并停止训练,保存模型参数。示例性的,预设停止条件可以是训练批次达到预设值,或者,在验证集上的正确率达到预设阈值等。
上述方案中,克服了传统方法中缺乏理论指导、人物信息稀疏、对话信息利用不充分的问题,能够训练得到生成风格统一稳定的回复内容的模型。
参照图3,图3是本申请实施例中一种对话内容生成装置的结构示意图。如图3所示,图3示出的对话内容生成装置可以包括:
获取模块31,用于获取用户输入的当前话语;
偏好确定模块32,用于获取预设人物的多条偏好数据,所述多条偏好数据用于描述所述预设人物的行为偏好和/或认知偏好;
输入构建模块33,用于根据所述多条偏好数据、所述当前话语和对话历史,生成输入文本;
内容生成模块34,用于将所述输入文本输入至预先训练得到的回复生成模型,得到所述回复生成模型输出的所述当前话语的回复内容。
关于本申请实施例中的对话内容生成装置的工作原理、工作方法和有益效果等更多内容,可以参照上文关于对话内容生成方法的相关描述,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时,执行上述方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
本申请实施例还提供一种终端,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。
应理解,本申请实施例中,所述处理器可以为中央处理单元(central processingunit,简称CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor,简称DSP)、专用集成电路(application specific integrated circuit,简称ASIC)、现成可编程门阵列(field programmable gate array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,简称ROM)、可编程只读存储器(programmable ROM,简称PROM)、可擦除可编程只读存储器(erasable PROM,简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM,简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory,简称RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random access memory,简称RAM)可用,例如静态随机存取存储器(staticRAM,简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM,简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,简称DR RAM)
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法、装置和系统,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的;例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式;例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。例如,对于应用于或集成于芯片的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于终端的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于终端内同一组件(例如,芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于终端内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。本申请实施例中出现的第一、第二等描述,仅作示意与区分描述对象之用,没有次序之分,也不表示本申请实施例中对设备个数的特别限定,不能构成对本申请实施例的任何限制。
虽然本申请披露如上,但本申请并非限定于此。任何本领域技术人员,在不脱离本申请的精神和范围内,均可作各种更动与修改,因此本申请的保护范围应当以权利要求所限定的范围为准。
Claims (10)
1.一种对话内容生成方法,其特征在于,包括:
获取用户输入的当前话语;
获取预设人物的多条偏好数据,所述多条偏好数据用于描述所述预设人物的行为偏好和/或认知偏好;
根据所述多条偏好数据、所述当前话语和对话上下文历史,生成输入文本;将所述输入文本输入至预先训练得到的回复生成模型,得到所述回复生成模型输出的所述当前话语的回复内容。
2.根据权利要求1所述的对话内容生成方法,其特征在于,所述多条偏好数据、所述当前话语和对话上下文历史,生成输入文本包括:
对所述多条偏好数据、所述当前话语和对话上下文历史进行拼接,得到所述输入文本。
3.根据权利要求2所述的对话内容生成方法,其特征在于,所述输入文本包括多条第一文本和第二文本,对所述多条偏好数据、所述当前话语和对话上下文历史进行拼接包括:
将每条偏好数据和所述当前话语进行拼接,得到该条偏好数据对应的第一文本;
将所述当前话语和所述对话上下文历史进行拼接,得到所述第二文本。
4.根据权利要求3所述的对话内容生成方法,其特征在于,所述回复生成模型包括:多个第一编码器和第二编码器,将所述输入文本输入至预先训练得到的回复生成模型包括:
将所述多条第一文本分别输入至所述多个第一编码器,其中,每个第一编码器的输入为单条第一文本;
将所述第二文本输入至所述第二编码器中。
5.根据权利要求4所述的对话内容生成方法,其特征在于,获取预设人物的多条偏好数据包括:
从预设数据库读取所述预设人物的人格信息关联的多条预设偏好数据;
如果所述预设偏好数据的数量大于M,则根据各条预设偏好数据和对话主题的相似度,从所述多条预设偏好数据中选取K条预设偏好数据,1<K≤M,K和M均为正整数,M为所述第一编码器的数量。
6.根据权利要求4所述的对话内容生成方法,其特征在于,所述回复生成模型的训练方法包括:
构建第一预设模型,所述第一预设模型包括多个编码器和解码器;
加载预训练模型,所述预训练模型包括单个预训练编码器;
在初始化过程中,将所述预训练编码器的权重复制到各个编码器;
采用训练数据对初始化后的第一预设模型进行训练,直至满足预设的训练停止条件。
7.根据权利要求6所述的对话内容生成方法,其特征在于,所述训练数据包括多条样本输入文本,每条样本输入文本具有标签数据,所述回复生成模型的训练方法还包括:
获取多例对话样本,其中,每例对话样本包括样本话语和所述样本话语的真实回复;
根据所述真实回复的说话者的人格信息,获取所述真实回复的说话者的多条偏好数据;
对于每例对话样本,根据所述真实回复的说话者的多条偏好数据、样本话语和样本话语的上下文历史,生成该例对话样本对应的样本输入文本,所述样本输入文本的标签数据为该例对话样本中所述样本话语的真实回复。
8.一种对话内容生成装置,其特征在于,包括:
获取模块,用于获取用户输入的当前话语;
偏好确定模块,用于获取预设人物的多条偏好数据,所述多条偏好数据用于描述所述预设人物的行为偏好和/或认知偏好;
输入构建模块,用于根据所述多条偏好数据、所述当前话语和对话历史,生成输入文本;
内容生成模块,用于将所述输入文本输入至预先训练得到的回复生成模型,得到所述回复生成模型输出的所述当前话语的回复内容。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时,执行权利要求1至7中任一项所述的对话内容生成方法的步骤。
10.一种终端,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时执行权利要求1至7中任一项所述的对话内容生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310172048.XA CN116384412B (zh) | 2023-02-24 | 2023-02-24 | 对话内容生成方法及装置、计算机可读存储介质、终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310172048.XA CN116384412B (zh) | 2023-02-24 | 2023-02-24 | 对话内容生成方法及装置、计算机可读存储介质、终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116384412A true CN116384412A (zh) | 2023-07-04 |
CN116384412B CN116384412B (zh) | 2024-03-29 |
Family
ID=86975841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310172048.XA Active CN116384412B (zh) | 2023-02-24 | 2023-02-24 | 对话内容生成方法及装置、计算机可读存储介质、终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116384412B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116932703A (zh) * | 2023-09-19 | 2023-10-24 | 苏州元脑智能科技有限公司 | 一种用户可控内容生成方法、装置、设备和介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111159368A (zh) * | 2019-12-12 | 2020-05-15 | 华南理工大学 | 一种个性化对话的回复生成方法 |
US20210375280A1 (en) * | 2020-06-01 | 2021-12-02 | Salesforce.Com, Inc. | Systems and methods for response selection in multi-party conversations with dynamic topic tracking |
CN114375449A (zh) * | 2019-09-12 | 2022-04-19 | 甲骨文国际公司 | 使用上下文数据进行对话处理的技术 |
CN114912020A (zh) * | 2022-04-21 | 2022-08-16 | 华东师范大学 | 一种基于用户偏好图的多子目标对话推荐方法 |
CN115470329A (zh) * | 2022-08-22 | 2022-12-13 | 北京字跳网络技术有限公司 | 一种对话生成方法、装置、计算机设备及存储介质 |
CN115630145A (zh) * | 2022-09-26 | 2023-01-20 | 中国科学院信息工程研究所 | 一种基于多粒度情感的对话推荐方法及系统 |
-
2023
- 2023-02-24 CN CN202310172048.XA patent/CN116384412B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114375449A (zh) * | 2019-09-12 | 2022-04-19 | 甲骨文国际公司 | 使用上下文数据进行对话处理的技术 |
CN111159368A (zh) * | 2019-12-12 | 2020-05-15 | 华南理工大学 | 一种个性化对话的回复生成方法 |
US20210375280A1 (en) * | 2020-06-01 | 2021-12-02 | Salesforce.Com, Inc. | Systems and methods for response selection in multi-party conversations with dynamic topic tracking |
CN114912020A (zh) * | 2022-04-21 | 2022-08-16 | 华东师范大学 | 一种基于用户偏好图的多子目标对话推荐方法 |
CN115470329A (zh) * | 2022-08-22 | 2022-12-13 | 北京字跳网络技术有限公司 | 一种对话生成方法、装置、计算机设备及存储介质 |
CN115630145A (zh) * | 2022-09-26 | 2023-01-20 | 中国科学院信息工程研究所 | 一种基于多粒度情感的对话推荐方法及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116932703A (zh) * | 2023-09-19 | 2023-10-24 | 苏州元脑智能科技有限公司 | 一种用户可控内容生成方法、装置、设备和介质 |
CN116932703B (zh) * | 2023-09-19 | 2024-01-23 | 苏州元脑智能科技有限公司 | 一种用户可控内容生成方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116384412B (zh) | 2024-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shum et al. | From Eliza to XiaoIce: challenges and opportunities with social chatbots | |
US11705096B2 (en) | Autonomous generation of melody | |
US20230084583A1 (en) | Response method in human-computer dialogue, dialogue system, and storage medium | |
CN110263150B (zh) | 文本生成方法、装置、计算机设备及存储介质 | |
CN110888966B (zh) | 自然语言问答 | |
US11823678B2 (en) | Proactive command framework | |
CN110795552B (zh) | 一种训练样本生成方法、装置、电子设备及存储介质 | |
KR20210146368A (ko) | 숫자 시퀀스에 대한 종단 간 자동 음성 인식 | |
US20190096402A1 (en) | Method and apparatus for extracting information | |
US10963819B1 (en) | Goal-oriented dialog systems and methods | |
CN112528637B (zh) | 文本处理模型训练方法、装置、计算机设备和存储介质 | |
CN111460115B (zh) | 智能人机对话模型训练方法、模型训练装置及电子设备 | |
US11586689B2 (en) | Electronic apparatus and controlling method thereof | |
CN108228576B (zh) | 文本翻译方法及装置 | |
CN115309877B (zh) | 对话生成方法、对话模型训练方法及装置 | |
US20190332668A1 (en) | Multi-models that understand natural language phrases | |
WO2022252904A1 (zh) | 基于人工智能的音频处理方法、装置、设备、存储介质及计算机程序产品 | |
CN116384412B (zh) | 对话内容生成方法及装置、计算机可读存储介质、终端 | |
US11797629B2 (en) | Content generation framework | |
CN111639162A (zh) | 信息交互方法和装置、电子设备和存储介质 | |
JP2021096847A (ja) | ユーザの発言に基づくマルチメディア推奨 | |
CN116561265A (zh) | 个性化对话生成方法和模型训练方法以及设备 | |
CN111508497B (zh) | 语音识别方法、装置、电子设备及存储介质 | |
CN117725163A (zh) | 智能问答方法、装置、设备及存储介质 | |
US11393454B1 (en) | Goal-oriented dialog generation using dialog template, API, and entity data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |