CN114625855A - 用于生成对话信息的方法及装置、设备和介质 - Google Patents

用于生成对话信息的方法及装置、设备和介质 Download PDF

Info

Publication number
CN114625855A
CN114625855A CN202210287981.7A CN202210287981A CN114625855A CN 114625855 A CN114625855 A CN 114625855A CN 202210287981 A CN202210287981 A CN 202210287981A CN 114625855 A CN114625855 A CN 114625855A
Authority
CN
China
Prior art keywords
dialog
target
scene
candidate
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210287981.7A
Other languages
English (en)
Inventor
董咨雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210287981.7A priority Critical patent/CN114625855A/zh
Publication of CN114625855A publication Critical patent/CN114625855A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295Named entity recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了一种用于生成对话信息的方法及装置、设备和介质,涉及人工智能领域,尤其涉及自然语言处理和深度学习技术领域。实现方案为:基于目标对话的对话数据,确定目标对话的对话意图标签;基于对话意图标签,从多个候选场景标签中确定与目标对话匹配的目标场景标签;以及基于目标场景标签对应的目标语料集,生成针对目标对话的对话信息。

Description

用于生成对话信息的方法及装置、设备和介质
技术领域
本公开涉及人工智能领域,尤其涉及自然语言处理和深度学习技术领域,具体涉及一种用于生成对话信息的方法、装置、电子设备、计算机可读存储介质、计算机程序产品和智能聊天系统。
背景技术
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
智能聊天系统是基于自然语言处理对对话或文字进行理解,并能够模拟人类对话的系统,普遍用于如客户服务或资讯获取等应用领域。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
本公开提供了一种用于生成对话信息的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
根据本公开的一方面,提供了一种用于生成对话信息的方法,包括:基于目标对话的对话数据,确定目标对话的对话意图标签;基于对话意图标签,从多个候选场景标签中确定与目标对话匹配的目标场景标签;以及基于目标场景标签对应的目标语料集,生成针对目标对话的对话信息。
根据本公开的另一方面,提供了一种用于生成对话信息的装置,包括:第一确定单元,被配置为基于目标对话的对话数据,确定目标对话的对话意图标签;第二确定单元,被配置为基于对话意图标签,从多个候选场景标签中确定与目标对话匹配的目标场景标签;以及生成单元,被配置为基于目标场景标签对应的目标语料集,生成针对目标对话的对话信息。
根据本公开的另一方面,提供了一种智能聊天系统,包括上述的用于生成对话信息的装置。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述用于生成对话信息的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行上述用于生成对话信息的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,其中,计算机程序在被处理器执行时能够实现上述用于生成对话信息的方法。
根据本公开的一个或多个实施例,能够基于目标对话的对话意图选择相应的对话场景,并基于相应对话场景的语料集生成符合场景需要的对话信息,从而给用户以回复信息的参考,提升用户体验。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似但不一定相同的要素。
图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图;
图2示出了根据本公开的实施例的用于生成对话信息的方法的流程图;
图3示出了根据本公开的实施例的获取对话场景语料库的方法的流程图;
图4示出了根据本公开的实施例的获取候选语料集的方法的流程图;
图5示出了根据本公开的实施例的获取候选语料集的方法的流程图;
图6示出了根据本公开的实施例的用于生成对话信息的装置的结构框图;
图7示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在本公开中,除非另有说明,否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系,这种术语只是用于将一个要素与另一要素区分开。在一些示例中,第一要素和第二要素可以指向该要素的同一实例,而在某些情况下,基于上下文的描述,它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的,而并非旨在进行限制。除非上下文另外明确地表明,如果不特意限定要素的数量,则该要素可以是一个也可以是多个。此外,本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
良好的沟通交流技巧是人们在生活和工作中的必备技能,很多人在与他人沟通的时候,会受情绪的影响说出并不是本意的话语甚至出口成脏,造成沟通交流上的障碍或不必要的误解。
因此,发明人旨在提供一种用于生成对话信息的方法,结合自然语言处理技术,通过分析用户与用户间的对话信息,为用户生成满足对话需求的同时,又具有良好沟通需求的回复语句,从而给用户以回复信息的参考,提升用户体验。
下面将结合附图详细描述本公开的实施例。
图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1,该系统100包括一个或多个客户端设备101、102、103、104、105和106、服务器120以及将一个或多个客户端设备耦接到服务器120的一个或多个通信网络110。客户端设备101、102、103、104、105和106可以被配置为执行一个或多个应用程序。
在本公开的实施例中,服务器120可以运行使得能够执行用于生成对话信息的方法的一个或多个服务或软件应用。
在某些实施例中,服务器120还可以提供可以包括非虚拟环境和虚拟环境的其他服务或软件应用。在某些实施例中,这些服务可以作为基于web的服务或云服务提供,例如在软件即服务(SaaS)模型下提供给客户端设备101、102、103、104、105和/或106的用户。
在图1所示的配置中,服务器120可以包括实现由服务器120执行的功能的一个或多个组件。这些组件可以包括可由一个或多个处理器执行的软件组件、硬件组件或其组合。操作客户端设备101、102、103、104、105和/或106的用户可以依次利用一个或多个客户端应用程序来与服务器120进行交互以利用这些组件提供的服务。应当理解,各种不同的系统配置是可能的,其可以与系统100不同。因此,图1是用于实施本文所描述的各种方法的系统的一个示例,并且不旨在进行限制。
用户可以使用客户端设备101、102、103、104、105和/或106来进行对话信息的输入。客户端设备可以提供使客户端设备的用户能够与客户端设备进行交互的接口。客户端设备还可以经由该接口向用户输出信息。尽管图1仅描绘了六种客户端设备,但是本领域技术人员将能够理解,本公开可以支持任何数量的客户端设备。
客户端设备101、102、103、104、105和/或106可以包括各种类型的计算机设备,例如便携式手持设备、通用计算机(诸如个人计算机和膝上型计算机)、工作站计算机、可穿戴设备、智能屏设备、自助服务终端设备、服务机器人、游戏系统、瘦客户端、各种消息收发设备、传感器或其他感测设备等。这些计算机设备可以运行各种类型和版本的软件应用程序和操作系统,例如MICROSOFT Windows、APPLE iOS、类UNIX操作系统、Linux或类Linux操作系统(例如GOOGLE Chrome OS);或包括各种移动操作系统,例如MICROSOFT WindowsMobile OS、iOS、Windows Phone、Android。便携式手持设备可以包括蜂窝电话、智能电话、平板电脑、个人数字助理(PDA)等。可穿戴设备可以包括头戴式显示器(诸如智能眼镜)和其他设备。游戏系统可以包括各种手持式游戏设备、支持互联网的游戏设备等。客户端设备能够执行各种不同的应用程序,例如各种与Internet相关的应用程序、通信应用程序(例如电子邮件应用程序)、短消息服务(SMS)应用程序,并且可以使用各种通信协议。
网络110可以是本领域技术人员熟知的任何类型的网络,其可以使用多种可用协议中的任何一种(包括但不限于TCP/IP、SNA、IPX等)来支持数据通信。仅作为示例,一个或多个网络110可以是局域网(LAN)、基于以太网的网络、令牌环、广域网(WAN)、因特网、虚拟网络、虚拟专用网络(VPN)、内部网、外部网、公共交换电话网(PSTN)、红外网络、无线网络(例如蓝牙、WIFI)和/或这些和/或其他网络的任意组合。
服务器120可以包括一个或多个通用计算机、专用服务器计算机(例如PC(个人计算机)服务器、UNIX服务器、中端服务器)、刀片式服务器、大型计算机、服务器群集或任何其他适当的布置和/或组合。服务器120可以包括运行虚拟操作系统的一个或多个虚拟机,或者涉及虚拟化的其他计算架构(例如可以被虚拟化以维护服务器的虚拟存储设备的逻辑存储设备的一个或多个灵活池)。在各种实施例中,服务器120可以运行提供下文所描述的功能的一个或多个服务或软件应用。
服务器120中的计算单元可以运行包括上述任何操作系统以及任何商业上可用的服务器操作系统的一个或多个操作系统。服务器120还可以运行各种附加服务器应用程序和/或中间层应用程序中的任何一个,包括HTTP服务器、FTP服务器、CGI服务器、JAVA服务器、数据库服务器等。
在一些实施方式中,服务器120可以包括一个或多个应用程序,以分析和合并从客户端设备101、102、103、104、105和/或106的用户接收的数据馈送和/或事件更新。服务器120还可以包括一个或多个应用程序,以经由客户端设备101、102、103、104、105和/或106的一个或多个显示设备来显示数据馈送和/或实时事件。
在一些实施方式中,服务器120可以为分布式系统的服务器,或者是结合了区块链的服务器。服务器120也可以是云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。云服务器是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS,Virtual Private Server)服务中存在的管理难度大、业务扩展性弱的缺陷。
系统100还可以包括一个或多个数据库130。在某些实施例中,这些数据库可以用于存储数据和其他信息。例如,数据库130中的一个或多个可用于存储诸如音频文件和视频文件的信息。数据库130可以驻留在各种位置。例如,由服务器120使用的数据库可以在服务器120本地,或者可以远离服务器120且可以经由基于网络或专用的连接与服务器120通信。数据库130可以是不同的类型。在某些实施例中,由服务器120使用的数据库例如可以是关系数据库。这些数据库中的一个或多个可以响应于命令而存储、更新和检索到数据库以及来自数据库的数据。
在某些实施例中,数据库130中的一个或多个还可以由应用程序使用来存储应用程序数据。由应用程序使用的数据库可以是不同类型的数据库,例如键值存储库,对象存储库或由文件系统支持的常规存储库。
图1的系统100可以以各种方式配置和操作,以使得能够应用根据本公开所描述的各种方法和装置。
根据本公开的实施例,如图2所示,提供了一种用于生成对话信息的方法200,包括:步骤S201、基于目标对话的对话数据,确定目标对话的对话意图标签;步骤S202、基于对话意图标签,从多个候选场景标签中确定与目标对话匹配的目标场景标签;以及步骤S203、基于目标场景标签对应的目标语料集,生成针对目标对话的对话信息。
由此,能够基于目标对话的对话意图选择相应的对话场景,并基于相应对话场景的语料集生成符合场景需要的对话信息,从而给用户以回复信息的参考,提升用户体验。
根据一些实施例,基于对话意图标签,从多个候选场景标签中确定与目标对话匹配的目标场景标签可以包括:基于对话意图标签,从对话场景语料库中获取与目标对话匹配的目标场景标签以及与目标场景标签对应的目标语料集,其中对话场景语料库包括多个候选场景标签和多个候选语料集之间的映射关系,所述对话意图标签和所述目标场景标签的语义相似度满足预设条件(例如语义相似度大于或等于预设阈值)。由此,能够构建融合沟通心理学知识以及沟通技巧的对话场景语料库,该对话场景语料库可以在生成对话信息时,提供丰富的语料以供选择,为生成符合用户需求的对话信息打下基础。
在一些实施例中,对话场景语料库可以包括分别具有不同候选场景标签的多个候选语料集,这些候选语料集中保存有适用于相应对话场景的词汇、短语以及句子模板等丰富的语料。每个候选场景标签可以是由一个或多个子场景标签组合而成,通过分别对应于不同场景维度的多个子场景标签,即可构成一个综合各种因素的较为复杂的对话场景。例如,不同的场景维度可以分别为“对话对象是否为年轻人”、“是否为休闲场景”、“处于何种娱乐场景”等,而相应的子场景标签可以分别为“对话对象为年轻人”、“休闲场景”、“游戏场景”,这三个子场景标签则构成了该综合性的候选场景标签“年轻人之间在休闲时进行游戏的场景”。
可以理解,每个候选场景标签中所包含的子场景标签的数量可以是不同的,不同维度的不同子场景标签可以相互组合,从而形成对应于不同的对话场景的海量的候选场景标签,而每个候选场景标签均对应于一个语料集,进而构成了一个具有丰富语料的语料库。
在一些实施例中,如图3所示,获取对话场景语料库的方法300可以包括:步骤S301、获取多个原始文本数据,多个原始文本数据至少来源于心理学领域的对话数据;步骤S302、将多个原始文本数据划分为分别对应于多个候选场景标签的多个文本数据集合;以及步骤S303、针对多个候选场景标签中的每个候选场景标签,基于该候选场景标签相应的文本数据集合,获取该候选场景标签相应的候选语料集。由此,所构建的对话场景语料库中的语料得以对应相应的候选场景标签保存在相应的候选语料集中,从而便于后续依据对话意图在多个候选场景标签中选择目标候选场景标签及相应的目标预料集,从而提高了语料选择的效率,进而提升了对话信息生成的效率。
在一些实施例中,由于构建的对话场景语料库更加注重于用户之间的沟通技巧与沟通的和谐度,因此用于构建语料库的原始资料可以是心理学和沟通技巧研究等领域的实验数据和专业资料。这些原始资料中包含了许多在不同场景下的对话数据,通过对这些数据进行处理和整理,即可获取包含了符合沟通技巧和心理学的对话语料的语料库。
在一些实施例中,上述至少来源于心理学领域的对话数据可以是文本、音频或视频。其中,对于音频对话数据,可以首先通过语音识别技术,将其转化为文本,以作为原始文本数据进行后续处理;对于视频对话数据,可以首先通过语音识别技术或文字识别技术,将视频中的语音或字幕提取出来并转化为文本,以作为原始文本数据进行后续处理。
在一些实施例中,将多个原始文本数据划分为分别对应于多个候选场景标签的多个文本数据集合包括:将每个原始文本数据输入多层卷积神经网络,以获取多层卷积神经网络所输出的该原始文本数据相应的候选场景标签;以及基于多个原始文本数据相应的候选场景标签,将多个原始文本数据划分为分别对应于多个候选场景标签的多个文本数据集合。由此,能够首先将无规律的多个原始文本数据划分为多个文本数据集合,进而对每个文本数据集合分别基于相应的候选场景标签进行语料的提取,从而提升了语料提取的效率。
在一些实施例中,每个原始文本数据可以是以句子为单位输入到多层卷积神经网络。多层卷积神经网络可以通过对每个原始文本数据进行多维度的分类,从而为每个原始文本数据打上一个或多个对应于不同场景维度的标签。
在一个示例中,将“关于你的提案文件,我有一些不同的看法,想同你分享一下”这一原始文本数据输入到上述多层卷积神经网络中,多层卷积神经网络可以对其进行多维度的分类,输出其标签可以为“工作”和“建议”这两个子场景标签,这两个子场景标签的组合即为其所对应的候选场景标签。
对所有原始文本数据通过上述方法进行分类,从而即可获得多个分别对应于不同候选场景标签的文本数据集合,每个文本数据集合均包含了多个适用于相应对话场景的原始文本数据。
在一些实施例中,对于上述多层卷积神经网络可以通过准备好的样本数据集进行训练,其中,样本数据集中的每个样本数据均是一个具有相应的一个或多个子场景标签的文本数据。通过样本数据集完成神经网络的训练后,可以对上述神经网络进行测试,通过将多个用于测试的文本数据分为多个批次输入该神经网络,并对每个批次输出的数据进行预设比例(例如以46%的比例)的抽样,对抽样所得的数据进行标签的校验及修正。可以将修正标签后的数据添加到样本数据集中,从而应用更新后的数据集进行模型的迭代训练,从而进一步提升模型性能,提高分类的准确度。
在一些实施例中,候选语料集包括多个语句模板和多个短语文本,在这种情况下,获取候选语料集的方法400如图4所示。具体的,参考图4,基于每个候选场景标签相应的文本数据集合,获取该候选场景标签相应的候选语料集可以包括:步骤S401、提取该文本数据集合中的每个原始文本数据所包括的至少一个第一短语文本;步骤S402、基于每个原始文本数据及其相应的至少一个第一短语文本,确定该原始文本数据相应的第一语句模板,其中,第一语句模板包括与至少一个第一短语文本位置对应的至少一个词槽;步骤S403、基于该文本数据集合所包括的原始文本数据相应的多个第一短语文本,确定候选语料集的多个短语文本;以及步骤S404、基于该文本数据集合所包括的原始文本数据相应的多个第一语句模板,确定候选语料集的多个语句模板。由此,通过将文本数据集合中的每个原始文本数据处理为能够自由组合的短语文本和语句模板,从而构建相应的语料集,从而能够为对话信息的生成提供更加丰富的语料;同时在选定相应的语句模板和短语文本后,可以无需进行额外的处理,即可应用该语句模板和短语文本直接生成对话信息,进一步提升了对话信息生成的效率。
在一些实施例中,对于一个文本数据集合中的每个原始文本数据,可以首先将其输入到句法依存分析模型中,以获取该原始文本数据中的每个分词短语及其相应的句法成分;随后,可以进一步将每个分词短语以及该原始文本数据输入到词汇重要性分析模型中,通过该模型获取每个分词短语在该原始文本数据中的重要性得分;基于上述得分,可以选择重要性得分最高的一个或多个分词短语提取出来,作为第一短语文本,同时将原始文本数据中的该分词短语对应的位置设置为词槽,从而生成第一语句模板,其中,每个词槽都可以标明相应的词性。
在一些实施例中,每个候选场景标签包括多个子场景标签,并且针对该候选场景标签相应的候选语料集,其所包括的每个语句模板中词槽的数量与多个子场景标签的数量相同。
由此,通过配置子场景标签的数量与语句模板中词槽的数量相同的这种对应关系,在基于子对话意图标签在该语料集中进行短语文本匹配时,能够匹配到与语句模板中的词槽的数量相适应的短语文本,从而无需进行后续的短语文本的进一步提取和匹配,提高短语文本召回及对话信息生成的效率。
在一个示例中,首先可以对原始文本数据“关于你的提案文件,我有一些不同的看法,想同你分享一下”进行句法依存分析,从而获取以下信息:“关于你的提案文件”为状语,其中,“关于”为介词,“你的”为定语,“提案文件”为介词引导的名词;“我”为主语,“有”和“想”为谓语,“一些”为量词,“不同的看法”为宾语,“同你”为状语,“分享一下”为补语。随后进一步对这些分词短语进行词汇重要性分析,从而获取重要性得分排名在先的为“不同的看法”、“提案文件”、“你的”等。而该原始文本数据所属的文本数据集合所对应的候选场景标签为“工作&建议”,其分别对应“工作”和“建议”这两个子场景标签。因此选择重要性得分排名前二的“不同的看法”、“提案文件”作为第一短语文本提取出来,同时在句子中用词槽替代,以形成相应的语句模板“关于你的[@名词],我有一些[@名词],想同你分享一下”。
在一些实施例中,对于一些更加复杂的句式,在进行词汇重要性分析后,还可以对上述分词短语进一步输入到词法分析模型中进行分析,从而输出每个分词短语对应的实体类型。其中,实体也即命名实体,包括人名、机构名、地名以及其他所有以名称为标识的实体。通过上述分析,可以首先在各分词短语中筛选特定实体类型的分词短语,进而再根据词汇重要性得分,选取得分最高的一个或多个分词短语作为第一短语文本。
基于上述方法,对每个原始文本数据进行相应的处理,分别提取其中的第一短语文本及第一语句模板,即可将该文本数据集合处理为相应的语料集。
在一些实施例中,基于该文本数据集合所包括的原始文本数据相应的多个第一短语文本,以及该文本数据集合所包括的原始文本数据相应的多个第一语句模板,的获取候选语料集的方法500如图5所示。其中,确定候选语料集的多个短语文本可以包括:步骤S503、基于该文本数据集合所包括的原始文本数据相应的多个第一短语文本,确定多个第二短语文本以及多个第二短语文本分别相应的多个第一统计概率;以及步骤S504、基于多个第二短语文本以及多个第二短语文本分别相应的多个第一统计概率,获取候选语料集的多个短语文本;并且其中确定候选语料集的多个语句模板可以包括:步骤S505、基于该文本数据集合所包括的原始文本数据相应的多个第一语句模板,确定多个第二语句模板以及多个第二语句模板分别相应的多个第二统计概率;以及步骤S506、基于多个第二语句模板以及多个第二语句模板分别相应的多个第二统计概率,获取候选语料集的多个语句模板。
其中,获取候选语料集的方法500中步骤S501与步骤S502的操作,与获取候选语料集的方法400中的步骤S401与步骤S402的操作类似,在此不做赘述。
由于一个语料集中的多个第一短语文本和多个第一语句模板中可能存在重复的短语文本和语句模板,因此可以对上述语料集中的第一短语文本和第一语句模板进行进一步的处理,从而去除重复语料。
在一些实施例中,可以对一个语料集中的多个第一短语文本和多个第一语句模板分别进行分布统计,将相同的短语文本以及相同或相近的语句模板进行合并,从而获取多个第二短语文本和第二语句模板,同时分别统计每个第二短语文本在该语料集中出现的次数,通过计算其在语料集中第一短语文本的总数中的占比,从而获取该第二短语文本在该语料集中的第一统计概率;相似的,同样对第二语句模板进行统计,从而获取每个第二语句模板在该语料集中的第二统计概率。
通过上述处理,能够进一步精炼语料集,并为后续语料的选择上提供例如统计概率等更多维度的参考信息,进一步提升语料选择的合理性,提升生成对话信息的效率和效果。
在一些实施例中,目标对话可以是用户正在进行中的当前对话。
在一些实施例中,目标对话的对话数据可以包括至少一个聊天记录文本。
在一个示例中,当目标对话是由用户的对话对象所发起的,则在该对话刚刚开始的时候,则仅具有该对话对象所发送的一条聊天记录文本,则该聊天记录文本则可以作为目标对话的对话数据,以进行后续分析。
在一个示例中,当用户与对话对象已经相互发送了多次信息,也即用户与对话对象已进行了多轮对话时,目标对话的对话数据可以是最近数条的聊天记录文本,例如,可以为最近5条聊天记录文本。
在一些实施例中,上述聊天记录文本也可以是由用户或其对话对象所发送的语音信息,可以首先通过语音识别技术对语音信息进行处理,从而获取上述聊天记录文本。
由此,通过对一条或多条聊天记录文本进行对话意图分析,能够在保证对话意图分析基本准确的同时,提升分析的效率。
在一些实施例中,获取目标对话的对话意图标签可以包括:对目标对话的对话数据进行语义信息提取,以获取多个分词以及与多个分词相应的多个句法成分标签;以及将多个分词、与多个分词相应的多个句法成分标签和历史对话状态信息输入对话意图分析模型,以获取对话意图分析模型所输出的对话意图标签。由此,通过自然语言理解技术与对话意图分析模型相结合的方式,能够高效且准确的获取目标对话的对话意图标签。
在一些实施例中,可以通过自然语言理解技术,对目标对话的对话数据进行语义信息提取。
在一个示例中,目标对话的对话数据可以为一个聊天记录文本“这个项目为什么还没有完成”,通过对这一聊天记录文本进行分词处理(例如应用N-gram分词),将句子切分为“这个项目”、“为什么”、“还”以及“没有完成”等多个分词;随后对每个分词进行句法依存分析及词性分析,从而获取每个分词的句法成分标签,例如“这个项目”为主语,“没有完成”为谓语,“为什么”和“还”均是用于修饰谓语的状语。
将上述信息输入到对话意图分析模型中,输出即为该目标对话的对话意图标签,例如可以分析出“疑问”标签、“不满”标签以及“任务型对话”标签等多个对话意图标签。
在一些实施例中,对话意图分析模型可以包括级联的对话行为识别模型、对话状态识别模型和对话策略学习模型,多个分词、与多个分词相应的多个句法成分标签和历史对话状态信息可以被输入至对话行为识别模型,对话策略学习模型的输出可以包括对话意图标签。
在一个示例中,可以首先将句子进行分词及句法依存分析后所得的“这个项目”、“为什么”、“还”以及“没有完成”等多个分词及其相应的句法成分输入到对话行为识别模型中,从而获得该目标对话的对话行为为疑问行为;进一步的,将上述信息与“疑问”这一对话行为标签输入到对话状态识别模型中,从而获取该目标对话的对话状态为“情绪稍微不满”;最后将上述信息同时输入到对话策略学习模型中,分析出该目标对话为任务型对话,需要回复疑问的对话策略,进而输出该目标对话的多个对话意图标签为“疑问”标签、“不满”标签以及“任务型对话”标签等。
由此,通过级联的多个模型,对目标对话中的信息进行多层次的提取和分析,进一步提升了对话意图分析的准确度。
在一些实施例中,目标对话的对话数据可以包括历史对话状态信息,历史对话状态信息包括目标对话的前序对话的对话文本信息、用户行为信息以及对话意图标签。
通常,用户在与对话对象进行对话的过程中,会进行多轮对话,因此在进行对话意图分析的时候,也会对每轮对话均进行分析。
在一个示例中,目标对话为第N轮对话,首先可以对第N轮对话的多条聊天记录文本分别进行分词和句法依存分析,从而获取多个分词和每个分词的句法成分信息。在将上述信息输入到对话意图分析模型中的同时,可以将第N-1轮对话的对话文本信息、用户行为信息以及对话意图标签一并输入到对话意图分析模型中,其中,对话文本信息即为在对第N-1轮对话进行分析时所提取的多个分词及其相应的句法成分信息,用户行为信息包括模型所识别的用户针对第N-1轮对话的行为反馈信息(例如用户回复“可以”,其用户行为可被识别为接受),第N-1轮的对话意图标签也即通过上述方法对该轮对话进行对话意图分析时所获得的多个对话意图标签。
由此,通过进一步结合历史对话状态信息进行分析,能够参考历史对话轮次中的信息,从而使所得到的对目标对话的对话意图分析结果更加精确。
在一些实施例中,目标对话的对话数据还可以包括用户输入对话框的待发送文本。由于实际对话中,用户之间的对话经常出现当前的回复是针对几轮对话之前的问题,或者由于一些突发情况,导致当前需回复的信息与当前轮次的对话的意图不一致。因此,通过将用户输入到对话框中的待发送文本与聊条记录文本、历史对话状态信息相结合,进行对话意图分析,能够获取到更加符合用户当前的真实意图的对话意图标签,从而进一步提升了对话意图分析的准确率。
在一些实施例中,当对话意图标签包括多个子对话意图标签,并且每个候选场景标签包括多个子场景标签时,基于对话意图标签,从多个候选场景标签中确定与目标对话匹配的目标场景标签包括:获取与每个子对话图标签匹配的至少一个子场景标签;基于与多个子对话意图标签匹配的多个子场景标签,从多个候选场景标签中确定目标场景标签。
在一些实施例中,可以通过计算每个子对话意图标签与每个子场景标签的语义相似度,从而召回与该子对话意图标签语义相似度最高的预设数量(例如5个)的子场景标签,或者召回与该子对话意图标签语义相似度高于预设阈值(例如语义相似度在86.6%以上)的至少一个子场景标签。
在一些实施例中,可以通过基于匹配函数学习(Match Function Learning)的深度学习模型对每个子对话意图标签分别召回相应的子场景标签。
可以理解的,基于子对话意图标签召回子场景标签的方法可以根据实际情况自行选择,在此不做限制。
在一些实施例中,对于每个子对话意图标签分别召回的多个子场景标签,可以分别选择其中语义相似度最高的子场景标签,并将其组合以获取相应的目标场景标签,进而获取该目标场景标签所对应的目标语料集。由此,通过对不同维度的子对话意图标签进行快速匹配和筛选,从而在获取到符合对话场景的语料集的同时,提升了选取语料库的效率。
在一些实施例中,当对话意图标签仅包括一个子对话意图标签时,可以通过上述方法中的一种,召回一个语义相似度最高的子场景标签。此时,该子场景标签也即目标场景标签。
在一些实施例中,多个子对话意图标签包括第一子对话意图标签和第二子对话意图标签,基于与多个子对话意图标签匹配的多个子场景标签,从多个候选场景标签中确定目标场景标签包括:针对与第一子对话意图标匹配的每个子场景标签,计算该子场景标签和与第二子对话意图标签匹配的多个子场景标签之间各自相应的相关系数;基于计算所得到的与第一子对话意图标签匹配的每个子场景标签和与第二子对话意图标签匹配的多个子场景标签之间各自相应的相关系数,从多个候选场景标签中确定目标场景标签。
在一个示例中,基于第一子对话意图标签召回了子场景标签A、子场景标签B这两个子场景标签,基于第二子对话意图标签召回了子场景标签C、子场景标签D这两个子场景标签。分别针对与第一子对话意图标匹配的子场景标签A、子场景标签B,计算每个子场景标签与子场景标签C、子场景标签D的相关系数,即可分别获取“A-C”、“A-D”、“B-C”、“B-D”这四个子场景标签组合之间的相关系数。进而选择其中相关系数最大的子场景标签组合作为目标场景标签,进而获取其对应的目标语料集。
在一些实施例中,上述相关系数可以应用皮尔逊相关系数进行计算。具体的,可以应用统计函数库pearsonr(x,y)函数来进行皮尔逊相关系数的计算。其中,以“A-C”子场景标签组合为例,上述函数的输入(x,y)可以分别为子场景标签A与第一子对话意图标签之间的语义相似度,以及子场景标签C与第二子对话意图标签之间的语义相似度。
在一个示例中,当对话意图标签中具有三个子对话意图标签时,对这三个子对话意图标签分别召回子场景标签A和B、子场景标签C和D以及子场景标签E和F。首先,可以通过上述方法分别计算“A-C”、“A-D”、“B-C”、“B-D”、“A-E”、“A-F”、“B-E”、“B-F”、“C-E”、“C-F”、“D-E”、“D-F”等子场景标签组合各自的相关系数。其中,相关系数最高的组合为“A-C”,则将其确定之后,分别基于子场景标签A和子场景标签C,在“A-E”、“A-F”、“C-E”、“C-F”中选择相关系数最高的组合,例如,其中“C-E”组合的相关系数最高,则可进一步确定最终的子场景标签组合为“A-C-E”。
由此,通过对子场景标签之间相关系数的计算,可以获取子场景标签关联更加紧密的优选组合,将该组合作为目标场景标签能够更加符合实际的对话场景,从而获取更加符合对话场景的语料,生成更加符合用户需求的对话信息。
在一些实施例中,当目标语料集包括多个短语文本以及该多个短语文本各自相应的第一统计概率时,生成针对目标对话的对话信息包括:计算每个子对话意图标签与目标语料集中的多个短语文本之间各自相应的相似度;基于每个子对话意图标签与目标语料集中的多个短语文本之间各自相应的相似度,以及多个短语文本各自相应的第一统计概率,从目标语料集的多个短语文本中确定多个目标短语文本。
在一些实施例中,当目标语料集还包括多个语句模板以及该多个语句模板各自相应的第二统计概率时,生成针对目标对话的对话信息包括:计算每个子对话意图标签与目标语料集中的多个语句模板之间各自相应的相似度;基于每个子对话意图标签与目标语料集中的多个语句模板之间各自相应的相似度,以及多个语句模板各自相应的第二统计概率,从目标语料集的多个语句中确定多个目标语句模板。
在一些实施例中,当通过一个或多个子对话意图标签确定了目标语料集之后,可以进一步通过每个子对话意图标签从目标语料集中分别召回一个或多个与该子对话意图标签语义相似度最高的预设数量(例如5个)的候选短语文本,或者召回与该子对话意图标签语义相似度高于预设阈值(例如语义相似度在86.6%以上)的至少一个候选短语文本。
在一些实施例中,可以基于每个子对话意图标签从目标语料集中分别召回一个与该子对话意图标签语义相似度最高的候选语句模板。
在一些实施例中,可以通过基于匹配函数学习(Match Function Learning)的深度学习模型对每个子对话意图标签分别召回相应的候选短语文本和候选语句模板。
在一些实施例中,可以通过对比语义相似度的大小,从而在每个子对话意图标签对应的至少一个候选短语文本中选择语义相似度最高的短语文本作为目标短语文本;在与至少一个子对话意图标签分别对应的至少一个候选语句模板中选择语义相似度最高的语句模板作为目标语句模板。
在一些实施例中,当目标语料集还包括多个短语文本各自相应的第一统计概率时,可以通过对比各自的第一统计概率的大小,以在每个子对话意图标签对应的至少一个候选短语文本中选择第一统计概率最高的短语文本作为目标短语文本。
在一些实施例中,当目标语料集还包括多个语句模板各自相应的第二统计概率时,可以通过对比各自的第二统计概率的大小,以在与至少一个子对话意图标签分别对应的至少一个候选语句模板中选择第二统计概率最高的语句模板作为目标语句模板。
由此,通过语义相似度和统计概率这两个维度的参考信息,从而获取目标语料集中最符合目标对话场景和对话意图的语句模板,基于此能够生成更加契合对话场景并且更加符合用户需求的对话信息。
在一些实施例中,在确定目标语句模板和目标短语文本之后,可以通过自然语言生成技术,将上述语料整合并生成一个完整的语句,也即所述目标对话的对话信息。
在一些实施例中,可以通过将目标语句模板和目标短语文本输入端到端的DNN神经网络中,从而输出所述目标对话的对话信息。
在一些实施例中,可以进一步对上述对话信息通过语音合成技术,将该对话信息转化为语音信息,供用户参考或应用。
在一些实施例中,当用户已经在对话框中输入了待发送文本时,可以首先对该待发送文本进行简单的识别分析。响应于检测到敏感用语(例如不文明用语等),可以直接输出智能提示信息(即利用本公开实施例中的方法所生成的对话信息),例如“这样说话会不妥”等,以提醒用户注意沟通技巧,避免冲突。
在一个示例中,目标对话的对话数据可以包括一个聊天记录文本“这个项目为什么还没有完成”,以及用户输入的待发送文本“这才几天怎么可能完成”。
在一些实施例中,响应于检测到用户所输入的待发送文本,可以首先基于自然语言理解技术,对该待发送文本进行分析,优选的,可以对文本中的情绪性词汇进行检测,从而获取该待发送文本中的情绪性词汇及其相应的情绪标签。例如,对于上述示例中的待发送文本进行分析,获取其中的情绪性词汇“才”和“怎么可能”及其相应的情绪标签“情绪较为不满”。
在一些实施例中,当待发送文本中存在不文明用语时,也可通过上述方法检测获得,该不文明用语的情绪标签可能为“情绪极度不满”、“愤怒”等。
响应于检测到待发送文本中的情绪性词汇的情绪标签属于预设标签(例如具有负面情绪的情绪标签)中的一种,即可利用本公开实施例中的方法生成相应的对话信息。具体的,对于上述示例,首先通过对话意图分析可以获取“工作场景”标签、“期限”标签等多个子对话意图标签,从而分别基于上述子对话意图标签在语料库中进行匹配,获取到“工作&期限”这一目标场景标签,并通过上述方法,获取该目标语料集中的语句模板“我们正在[@动词][@名词],相信很快就可以完成”,以及分别相应于两个子对话意图标签的两个短语文本“工作”、“加速推进”,进而通过自然语言生成技术,可以获取对话信息“我们正在加速推进工作,相信很快就可以完成”。通过将这条信息展现给用户,从而使用户可以注意沟通技巧,并且参考该对话信息,进行更加委婉、更加符合良好沟通需要的回复信息,从而避免人际交往中不必要的冲突。
根据一些实施例,如图6所示,还提供了一种用于生成对话信息的装置600,包括:第一确定单元610,被配置为基于目标对话的对话数据,确定目标对话的对话意图标签;第二确定单元620,被配置为基于对话意图标签,从多个候选场景标签中确定与目标对话匹配的目标场景标签;以及生成单元630,被配置为基于目标场景标签对应的目标语料集,生成针对目标对话的对话信息。
用于生成对话信息的装置600的单元610-单元630所执行的操作与用于生成对话信息的方法200中的步骤S201-步骤S203的操作类似,在此不做赘述。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,还提供了一种智能聊天系统,该智能聊天系统可以包括本公开的实施例的用于生成对话信息的装置。
根据本公开的实施例,还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
参考图7,现将描述可以作为本公开的服务器或客户端的电子设备700的结构框图,其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,电子设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM703中,还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
电子设备700中的多个部件连接至I/O接口705,包括:输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向电子设备700输入信息的任何类型的设备,输入单元706可以接收输入的数字或字符信息,以及产生与电子设备的用户设置和/或功能控制有关的键信号输入,并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元707可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元708可以包括但不限于磁盘、光盘。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙TM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如方法200。例如,在一些实施例中,方法200可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的方法200的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法200。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
虽然已经参照附图描述了本公开的实施例或示例,但应理解,上述的方法、系统和设备仅仅是示例性的实施例或示例,本发明的范围并不由这些实施例或示例限制,而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外,可以通过不同于本公开中描述的次序来执行各步骤。进一步地,可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进,在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (21)

1.一种用于生成对话信息的方法,包括:
基于目标对话的对话数据,确定所述目标对话的对话意图标签;
基于所述对话意图标签,从多个候选场景标签中确定与所述目标对话匹配的目标场景标签;以及
基于所述目标场景标签对应的目标语料集,生成针对所述目标对话的对话信息。
2.根据权利要求1所述的方法,其中,所述基于所述对话意图标签,从多个候选场景标签中确定与所述目标对话匹配的目标场景标签包括:
基于所述对话意图标签,从对话场景语料库中获取与所述目标对话匹配的目标场景标签以及与所述目标场景标签对应的目标语料集,其中所述对话场景语料库包括所述多个候选场景标签和多个候选语料集之间的映射关系,所述对话意图标签和所述目标场景标签的语义相似度满足预设条件。
3.根据权利要求2所述的方法,其中,所述对话场景语料库通过执行下述操作获取:
获取多个原始文本数据,所述多个原始文本数据至少来源于心理学领域的对话数据;
将所述多个原始文本数据划分为分别对应于所述多个候选场景标签的多个文本数据集合;以及
针对所述多个候选场景标签中的每个候选场景标签,基于该候选场景标签相应的文本数据集合,获取该候选场景标签相应的候选语料集。
4.根据权利要求3所述的方法,其中,所述候选语料集包括多个语句模板和多个短语文本,并且基于每个候选场景标签相应的文本数据集合,获取该候选场景标签相应的候选语料集包括:
提取该文本数据集合中的每个原始文本数据所包括的至少一个第一短语文本;
基于所述每个原始文本数据及其相应的至少一个第一短语文本,确定该原始文本数据相应的第一语句模板,其中,所述第一语句模板包括与所述至少一个第一短语文本位置对应的至少一个词槽;
基于该文本数据集合所包括的原始文本数据相应的多个第一短语文本,确定所述候选语料集的多个短语文本;以及
基于该文本数据集合所包括的原始文本数据相应的多个第一语句模板,确定所述候选语料集的多个语句模板。
5.根据权利要求4所述的方法,其中,基于该文本数据集合所包括的原始文本数据相应的多个第一短语文本,确定所述候选语料集的多个短语文本包括:
基于该文本数据集合所包括的原始文本数据相应的多个第一短语文本,确定多个第二短语文本以及所述多个第二短语文本分别相应的多个第一统计概率;以及
基于所述多个第二短语文本以及所述多个第二短语文本分别相应的多个第一统计概率,获取所述候选语料集的多个短语文本,
并且其中,基于该文本数据集合所包括的原始文本数据相应的多个第一语句模板,确定所述候选语料集的多个语句模板包括:
基于该文本数据集合所包括的原始文本数据相应的多个第一语句模板,确定多个第二语句模板以及所述多个第二语句模板分别相应的多个第二统计概率;以及
基于多个第二语句模板以及所述多个第二语句模板分别相应的多个第二统计概率,获取所述候选语料集的多个语句模板。
6.根据权利要求4或5所述的方法,其中,每个候选场景标签包括多个子场景标签,并且针对该候选场景标签相应的候选语料集,其所包括的每个语句模板中词槽的数量与所述多个子场景标签的数量相同。
7.根据权利要求3至6中任一项所述的方法,其中,所述将所述多个原始文本数据划分为分别对应于所述多个候选场景标签的多个文本数据集合包括:
将每个原始文本数据输入多层卷积神经网络,以获取所述多层卷积神经网络所输出的该原始文本数据相应的候选场景标签;以及
基于所述多个原始文本数据相应的候选场景标签,将所述多个原始文本数据划分为分别对应于所述多个候选场景标签的多个文本数据集合。
8.根据权利要求1至7中任一项所述的方法,其中,所述目标对话的对话数据包括至少一个聊天记录文本。
9.根据权利要求1至8中任一项所述的方法,其中,所述目标对话的对话数据包括历史对话状态信息,所述历史对话状态信息包括所述目标对话的前序对话的对话文本信息、用户行为信息以及对话意图标签。
10.根据权利要求9所述的方法,其中,所述目标对话的对话数据还包括用户输入对话框的待发送文本。
11.根据权利要求10所述的方法,其中,所述获取所述目标对话的对话意图标签包括:
对所述目标对话的对话数据进行语义信息提取,以获取多个分词以及与所述多个分词相应的多个句法成分标签;以及
将所述多个分词、与所述多个分词相应的多个句法成分标签和所述历史对话状态信息输入对话意图分析模型,以获取所述对话意图分析模型所输出的所述对话意图标签。
12.根据权利要求11所述的方法,其中,所述对话意图分析模型包括级联的对话行为识别模型、对话状态识别模型和对话策略学习模型,所述多个分词、与所述多个分词相应的多个句法成分标签和所述历史对话状态信息被输入至所述对话行为识别模型,所述对话策略学习模型的输出包括所述对话意图标签。
13.根据权利要求1至12中任一项所述的方法,其中,当所述对话意图标签包括多个子对话意图标签,并且每个候选场景标签包括多个子场景标签时,所述基于所述对话意图标签,从多个候选场景标签中确定与所述目标对话匹配的目标场景标签包括:
获取与每个子对话图标签匹配的至少一个子场景标签;
基于与所述多个子对话意图标签匹配的多个子场景标签,从所述多个候选场景标签中确定所述目标场景标签。
14.根据权利要求13所述的方法,其中,所述多个子对话意图标签包括第一子对话意图标签和第二子对话意图标签,所述基于与所述多个子对话意图标签匹配的多个子场景标签,从所述多个候选场景标签中确定所述目标场景标签包括:
针对与所述第一子对话意图标匹配的每个子场景标签,计算该子场景标签和与所述第二子对话意图标签匹配的多个子场景标签之间各自相应的相关系数;
基于计算所得到的与所述第一子对话意图标签匹配的每个子场景标签和与所述第二子对话意图标签匹配的多个子场景标签之间各自相应的相关系数,从所述多个候选场景标签中确定所述目标场景标签。
15.根据权利要求13或14所述的方法,其中,当所述目标语料集包括多个短语文本以及该多个短语文本各自相应的第一统计概率时,生成针对所述目标对话的对话信息包括:
计算所述每个子对话意图标签与所述目标语料集中的多个短语文本之间各自相应的相似度;
基于所述每个子对话意图标签与所述目标语料集中的多个短语文本之间各自相应的相似度,以及所述多个短语文本各自相应的第一统计概率,从所述目标语料集的多个短语文本中确定多个目标短语文本。
16.根据权利要求14所述的方法,其中,当所述目标语料集还包括多个语句模板以及该多个语句模板各自相应的第二统计概率时,生成针对所述目标对话的对话信息包括:
计算所述每个子对话意图标签与所述目标语料集中的多个语句模板之间各自相应的相似度;
基于所述每个子对话意图标签与所述目标语料集中的多个语句模板之间各自相应的相似度,以及所述多个语句模板各自相应的第二统计概率,从所述目标语料集的多个语句模板中确定多个目标语句模板。
17.一种用于生成对话信息的装置,包括:
第一确定单元,被配置为基于目标对话的对话数据,确定所述目标对话的对话意图标签;
第二确定单元,被配置为基于所述对话意图标签,从多个候选场景标签中确定与所述目标对话匹配的目标场景标签;以及
生成单元,被配置为基于所述目标场景标签对应的目标语料集,生成针对所述目标对话的对话信息。
18.一种智能聊天系统,包括权利要求17所述的用于生成对话信息的装置。
19.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-16中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-16中任一项所述的方法。
21.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现权利要求1-16中任一项所述的方法。
CN202210287981.7A 2022-03-22 2022-03-22 用于生成对话信息的方法及装置、设备和介质 Pending CN114625855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210287981.7A CN114625855A (zh) 2022-03-22 2022-03-22 用于生成对话信息的方法及装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210287981.7A CN114625855A (zh) 2022-03-22 2022-03-22 用于生成对话信息的方法及装置、设备和介质

Publications (1)

Publication Number Publication Date
CN114625855A true CN114625855A (zh) 2022-06-14

Family

ID=81904687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210287981.7A Pending CN114625855A (zh) 2022-03-22 2022-03-22 用于生成对话信息的方法及装置、设备和介质

Country Status (1)

Country Link
CN (1) CN114625855A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082602A (zh) * 2022-06-15 2022-09-20 北京百度网讯科技有限公司 生成数字人的方法、模型的训练方法、装置、设备和介质
CN115905490A (zh) * 2022-11-25 2023-04-04 北京百度网讯科技有限公司 人机交互对话方法、装置以及设备
CN116662503A (zh) * 2023-05-22 2023-08-29 深圳市新美网络科技有限公司 私域用户场景话术推荐方法及其系统
CN116843795A (zh) * 2023-07-03 2023-10-03 北京百度网讯科技有限公司 图像生成方法及装置、电子设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082602A (zh) * 2022-06-15 2022-09-20 北京百度网讯科技有限公司 生成数字人的方法、模型的训练方法、装置、设备和介质
WO2023240943A1 (zh) * 2022-06-15 2023-12-21 北京百度网讯科技有限公司 生成数字人的方法、模型的训练方法、装置、设备和介质
CN115905490A (zh) * 2022-11-25 2023-04-04 北京百度网讯科技有限公司 人机交互对话方法、装置以及设备
CN115905490B (zh) * 2022-11-25 2024-03-22 北京百度网讯科技有限公司 人机交互对话方法、装置以及设备
CN116662503A (zh) * 2023-05-22 2023-08-29 深圳市新美网络科技有限公司 私域用户场景话术推荐方法及其系统
CN116662503B (zh) * 2023-05-22 2023-12-29 深圳市新美网络科技有限公司 私域用户场景话术推荐方法及其系统
CN116843795A (zh) * 2023-07-03 2023-10-03 北京百度网讯科技有限公司 图像生成方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US11062270B2 (en) Generating enriched action items
US11693894B2 (en) Conversation oriented machine-user interaction
CN114625855A (zh) 用于生成对话信息的方法及装置、设备和介质
CN116521841B (zh) 用于生成回复信息的方法、装置、设备及介质
US11563852B1 (en) System and method for identifying complaints in interactive communications and providing feedback in real-time
CN115309877A (zh) 对话生成方法、对话模型训练方法及装置
CN114416943A (zh) 对话模型的训练方法、装置、电子设备及存储介质
CN115168545A (zh) 群组搜索方法、装置、电子设备及介质
CN116501960B (zh) 内容检索方法、装置、设备及介质
CN116541536B (zh) 知识增强的内容生成系统、数据生成方法、设备和介质
CN112860995A (zh) 交互方法、装置、客户端、服务器以及存储介质
CN114490986B (zh) 计算机实施的数据挖掘方法、装置、电子设备及存储介质
CN115862031A (zh) 文本处理方法、神经网络的训练方法、装置和设备
Surendran et al. Conversational AI-A retrieval based chatbot
JP7216627B2 (ja) 入力支援方法、入力支援システム、及びプログラム
CN114547270A (zh) 文本处理方法、文本处理模型的训练方法、装置和设备
CN112905752A (zh) 一种智能交互方法、装置、设备以及存储介质
CN112905743A (zh) 文本对象检测的方法、装置、电子设备和存储介质
CN112015989A (zh) 用于推送信息的方法和装置
US20230298615A1 (en) System and method for extracting hidden cues in interactive communications
CN112966085B (zh) 人机会话智能控制方法、装置、电子设备及存储介质
RU2762702C2 (ru) Система и способ автоматизированной оценки намерений и эмоций пользователей диалоговой системы
CN115952416A (zh) 生成训练数据的方法、装置、电子设备和介质
CN113887417A (zh) 文本匹配方法、装置、设备和介质
CN117312520A (zh) 表格处理方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination