CN116451700A - 目标语句生成方法、装置、设备及存储介质 - Google Patents

目标语句生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116451700A
CN116451700A CN202310216691.8A CN202310216691A CN116451700A CN 116451700 A CN116451700 A CN 116451700A CN 202310216691 A CN202310216691 A CN 202310216691A CN 116451700 A CN116451700 A CN 116451700A
Authority
CN
China
Prior art keywords
semantic
answer
sentence
question
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310216691.8A
Other languages
English (en)
Inventor
张振羽
陈蒙
宋阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202310216691.8A priority Critical patent/CN116451700A/zh
Publication of CN116451700A publication Critical patent/CN116451700A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了一种目标语句生成方法、装置、设备及存储介质，应用于人工智能和智能客服领域，该方法包括：对提问文本中的上文语句进行语义特征提取，得到上文语句语义特征；将上文语句语义特征、答案词编码、问题词编码输入至初始语义融合模型，得到文本语义融合特征；基于注意力机制，将文本语义融合特征分别融合至问题词编码和上文语句语义特征中，得到更新后的候选问题词编码特征和候选上文语句语义特征；将候选问题词编码特征、候选上文语句语义特征和答案词编码输入至E个语义融合模型，以便目标预测层输出目标预测结果；以及在目标预测结果表征待匹配答案语句与问题语句匹配相匹配的情况下，将待匹配答案语句确定为目标语句。

Description

目标语句生成方法、装置、设备及存储介质
技术领域
本公开涉及人工智能领域和智能客服领域，更具体地，涉及一种目标语句生成方法、装置、设备、存储介质和程序产品。
背景技术
随着人工智能技术的快速发展，基于神经网络算法等人工智能技术的智能对话技术在线上商品销售、产品售后服务、产品智能搜索等多种应用场景中得以广泛应用。智能对话技术可以对用户的语音、文字等信息进行处理后，自动生成与用户的信息对应的应答信息，从而实现与用户进行自动化信息交互，以解答用户的相关问题或查询到用户所需的信息。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：在产品售后服务、产品智能搜索能智能对话问答的应用场景中，生成的语音或文字信息较多，难以准确地预测用户的真实意图，导致自动生成的应答信息的准确率较低，难以满足用户的实际需求。
发明内容
有鉴于此，本公开提供了一种目标语句生成方法、装置、设备、存储介质和程序产品。
本公开的一个方面提供了一种目标语句生成方法，包括：
对提问文本中的上文语句进行语义特征提取，得到上文语句语义特征，其中，上述提问文本包括上述上文语句和问题语句，上述问题语句包含有问题词；
将上述上文语句语义特征、用于表征答案词的答案词编码、用于表征上述问题词的问题词编码输入至初始语义融合模型，得到文本语义融合特征，其中，上述答案词用于构成待匹配答案语句；
基于注意力机制，将上述文本语义融合特征分别融合至上述问题词编码和上述上文语句语义特征中，得到更新后的候选问题词编码特征和候选上文语句语义特征；
将上述候选问题词编码特征、上述候选上文语句语义特征和上述答案词编码输入至顺序连接的E个语义融合模型，以便与E个上述语义融合模型中的第e语义融合模型连接的目标预测层输出目标预测结果，其中，E为正整数；以及
在上述目标预测结果表征上述待匹配答案语句与上述问题语句匹配相匹配的情况下，将上述待匹配答案语句确定为目标语句。
根据本公开的实施例，上述初始语义融合模型包括初始上文答案语义融合层、初始问题答案语义融合层和初始残差归一化层；
其中，将上述上文语句语义特征、用于表征答案词的答案词编码、用于表征上述问题词的问题词编码输入至初始语义融合模型，得到文本语义融合特征包括：
将上述上文语句语义特征与上述答案词编码输入至上述初始上文答案语义融合层，以便基于注意力机制将上述上文语句语义特征融合至上述答案词编码中，输出初始上文答案语义特征；
将上述问题词编码与上述答案词编码输入至上述初始问题答案语义融合层，以便将上述问题词与上述答案词的进行语义特征融合，输出初始问题答案语义特征；以及
将上述初始上文答案语义特征、上述初始问题答案语义特征和上述答案词编码输入至上述初始残差归一化层，输出上述文本语义融合特征。
根据本公开的实施例，上述目标语句生成方法还包括：
将上述上文语句和上述问题词，以及上述答案词分别输入至注意力编码层，输出上文语句编码、上述问题词编码和上述答案词编码。
根据本公开的实施例，上述注意力编码层包括顺序连接的嵌入编码子层与自注意力子层；
将上述上文语句和上述问题词，以及上述答案词分别输入至注意力编码层，输出上文语句编码、上述问题词编码和上述答案词编码包括：
将上述上文语句、上述问题词和上述答案词分别输入至上述嵌入编码子层，输出初始上文语句编码、初始问题词编码和初始答案词编码；
利用上述自注意力子层分别处理上述初始上文语句编码、上述初始问题词编码和上述初始答案词编码，得到上述上文语句编码、上述问题词编码和上述答案词编码。
根据本公开的实施例，上述上文语句编码包含有用于表征上文词的分类预测结果的初始分类池化向量，上述上文词用于构成上述上文语句；
对提问文本中的上文语句进行语义特征提取，得到与上述上文语句对应的上文语句语义特征包括：
将上述上文语句编码分别输入至初始最大池化层和初始平均池化层，输出上文语句最大池化信息与上文语句平均池化信息；以及
拼接上述上文语句最大池化信息、上述上文语句平均池化信息和上述初始分类池化向量，得到上述上文语句语义特征。
根据本公开的实施例，上述初始语义融合模型包括基于注意力机制算法构建得到的初始问题语义更新层和初始上文语义更新层；
其中，基于注意力机制，将上述文本语义融合特征分别融合至上述问题词编码和上述上文语句语义特征中包括：
将上述文本语义融合特征和上述上文语句语义特征输入至上述初始上文语义更新层，输出上述候选上文语句语义特征；以及
将上述文本语义融合特征和上述问题词编码输入至上述初始问题语义更新层，输出上述候选问题词编码特征。
根据本公开的实施例，E个上述语义融合模型中的前e-1个语义融合模型与上述初始语义融合模型具有相同的模型结构；
其中，将上述候选问题词编码特征、上述候选上文语句语义特征和上述答案词编码输入至顺序连接的E个语义融合模型包括：
迭代地将当前的候选问题词编码特征、当前的候选上文语句语义特征和上述答案词编码输入至E个上述语义融合模型中的第f语义融合模型，以便第f语义融合模型输出第f候选问题词编码特征和第f候选上文语句语义特征；
利用E个上述语义融合模型中的第e语义融合模型处理第e-1语义融合模型输出的第e-1候选问题词编码特征和第e-1候选上文语句语义特征，以及上述答案词编码，输出目标文本语义融合特征；以及
将上述目标文本语义融合特征输入至上述目标预测层，输出上述目标预测结果，其中，E≥F≥1，且在E＝F＝1时，上述第e-1语义融合模型为上述初始语义融合模型。
根据本公开的实施例，上述目标预测层包括基于激活函数构建得到的神经网络层；或者
上述目标预测层包括基于全连接神经网络层。
根据本公开的实施例，上述目标语句生成方法还包括：
向目标客户端发送上述目标语句。
本公开的另一个方面提供了一种目标语句生成装置，包括：
第一语义特征提取模块，用于对提问文本中的上文语句进行语义特征提取，得到上文语句语义特征，其中，上述提问文本包括上述上文语句和问题语句，上述问题语句包含有问题词；
第一语义融合模块，用于将上述上文语句语义特征、用于表征答案词的答案词编码、用于表征上述问题词的问题词编码输入至初始语义融合模型，得到文本语义融合特征，其中，上述答案词用于构成待匹配答案语句；
第二语义融合模块，用于基于注意力机制，将上述文本语义融合特征分别融合至上述问题词编码和上述上文语句语义特征中，得到更新后的候选问题词编码特征和候选上文语句语义特征；
语义匹配预测模块，用于将上述候选问题词编码特征、上述候选上文语句语义特征和上述答案词编码输入至顺序连接的E个语义融合模型，以便与E个上述语义融合模型中的第e语义融合模型连接的目标预测层输出目标预测结果，其中，E为正整数；以及
目标语句确定模块，用于在上述目标预测结果表征上述待匹配答案语句与上述问题语句匹配相匹配的情况下，将上述待匹配答案语句确定为目标语句。
本公开的另一个方面提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的目标语句生成方法。
本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的目标语句生成方法。
本公开的另一方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上所述的目标语句生成方法。
根据本公开的实施例，由于采用提取上文语句语义特征，并将答案词、问题词以及上文语义特征进行语义特征融合的技术手段，可以使得到的文本语义融合特征充分地融合上文语句的语义信息，同时还可以融合问题语句和待匹配答案语句中的词的语义信息，再利用文本语义特征更新得到候选上文语句语义特征和候选问题词编码特征，可以进一步地使上文语句和问题词与答案词进行语义特征学习，从而至少部分客服了相关技术中难以充分理解用户在上文语句和问题语句中的提问意图的技术问题，进而根据顺序连接的E个语义融合模型来处理候选问题词编码特征、候选上文语句语义特征和答案词编码，可以至少部分提升预测用户在上文语句和问题语句中包含的真实意图的准确性，进而使后续匹配得到的目标语句可以准确地回答用户的问题，实现提升应答信息准确率的技术效果，以满足用户的实际需求。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的可以应用目标语句生成方法和装置的示例性系统架构；
图2示意性示出了根据本公开实施例的目标语句生成方法的流程图；
图3示意性示出了根据本公开实施例的将上文语句语义特征、用于表征答案词的答案词编码、用于表征问题词的问题词编码输入至初始语义融合模型，得到文本语义融合特征的流程图；
图4示意性示出了根据本公开实施例的目标语句生成方法的应用场景图；
图5示意性示出了根据本公开实施例的将候选问题词编码特征、候选上文语句语义特征和答案词编码输入至顺序连接的E个语义融合模型的流程图；
图6示意性示出了根据本公开另一实施例的目标语句生成方法的应用场景图；
图7示意性示出了根据本公开又一实施例的目标语句生成方法的应用场景图；
图8示意性示出了根据本公开的实施例的目标语句生成装置的框图；以及
图9示意性示出了根据本公开实施例的适于实现目标语句生成方法的电子设备的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
在基于人工智能算法执行智能客服问答、人工智能营销等应用场景中，通过与用户对话来回答用户的相关问题的能力是评价人工智能算法的应用水平的重要标准。相关技术中涉及智能应答的相关智能算法模型生成的应答信息(例如答案语句)往往与用户的提问意图相差较大，存在较多无关的噪音信息，以及算法模型的计算效率较低，难以满足与用户对话的时效性要求。
本公开的实施例提供了一种目标语句生成方法、装置、设备、存储介质和程序产品。该目标语句生成方法包括：
对提问文本中的上文语句进行语义特征提取，得到上文语句语义特征，其中，提问文本包括上文语句和问题语句，问题语句包含有问题词；将上文语句语义特征、用于表征答案词的答案词编码、用于表征问题词的问题词编码输入至初始语义融合模型，得到文本语义融合特征，其中，答案词用于构成待匹配答案语句；基于注意力机制，将文本语义融合特征分别融合至问题词编码和上文语句语义特征中，得到更新后的候选问题词编码特征和候选上文语句语义特征；将候选问题词编码特征、候选上文语句语义特征和答案词编码输入至顺序连接的E个语义融合模型，以便与E个语义融合模型中的第e语义融合模型连接的目标预测层输出目标预测结果，其中，E为正整数；以及在目标预测结果表征待匹配答案语句与问题语句匹配相匹配的情况下，将待匹配答案语句确定为目标语句。
根据本公开的实施例，由于通过提取上文语句语义特征，并将答案词、问题词以及上文语义特征进行语义特征融合，可以使得到的文本语义融合特征充分地融合上文语句的语义信息，同时还可以融合问题语句和待匹配答案语句中的词的语义信息，再利用文本语义特征更新得到候选上文语句语义特征和候选问题词编码特征，可以进一步地使上文语句和问题词与答案词进行语义特征学习，从而至少部分客服了相关技术中难以充分理解用户在上文语句和问题语句中的提问意图的技术问题，进而根据顺序连接的E个语义融合模型来处理候选问题词编码特征、候选上文语句语义特征和答案词编码，可以至少部分提升预测用户在上文语句和问题语句中包含的真实意图的准确性，进而使后续匹配得到的目标语句可以准确地回答用户的问题，实现提升应答信息准确率的技术效果，一满足用户的实际需求。
图1示意性示出了根据本公开实施例的可以应用目标语句生成方法和装置的示例性系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的目标语句生成方法一般可以由服务器105执行。相应地，本公开实施例所提供的目标语句生成装置一般可以设置于服务器105中。本公开实施例所提供的目标语句生成方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的目标语句生成装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本公开实施例所提供的目标语句生成方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的目标语句生成装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的目标语句生成方法的流程图。
如图2所示，该目标语句生成方法可以包括操作S210～S250。
在操作S210，对提问文本中的上文语句进行语义特征提取，得到上文语句语义特征，其中，提问文本包括上文语句和问题语句，问题语句包含有问题词。
根据本公开的实施例，提问文本可以包括用于在相关交互场景中，例如产品售后服务提问的交互场景中，接收到的来自用户一方发送的文本。
需要说明的是，该提问文本可以是以任意形式存储的信息，例如可以是以字符、编码等形式存储，本公开的实施例对提问文本的具体存储形式不做限定。
根据本公开的实施例，可以根据相关技术中的神经网络模型和/或语义特征提取工具来提取语义特征，例如可以基于循环神经网络、长短期记忆网络来提取上文语句中的语义特征。但不仅限于此，还可以基于BERT模型等基于注意力机制构建得到的神经网络模型来提取得到上文语句语义特征，本公开的实施例对提取得到上文语句语义特征的具体方法不做限定，本领域技术人员可以根据实际需求进行设计。
在操作S220，将上文语句语义特征、用于表征答案词的答案词编码、用于表征问题词的问题词编码输入至初始语义融合模型，得到文本语义融合特征，其中，答案词用于构成待匹配答案语句。
根据本公开的实施例，问题词编码可以包含有问题词中的语义特征，相应地，答案词编码也可以包含有答案词中的语义特征。通过将答案词编码、问题词编码和上文语句语义特征输入至初始语义融合模型，可以使上文语句的语句层级的语义特征，即上文语句语义特征，与待匹配答案语句和问题语句中各自的词层级的语义特征，即答案词编码和问题词编码，充分进行语义融合，同时还可以将问题语句和待匹配答案语句从词层级与上文语句进行语义融合，使文本语义融合特征可以细粒度地融合问题语句和待匹配答案语句中的语义信息，从而使输出的文本语义融合特征可以至少部分避免丢失提问文本和待匹配答案语句中的语义信息。
在操作S230，基于注意力机制，将文本语义融合特征分别融合至问题词编码和上文语句语义特征中，得到更新后的候选问题词编码特征和候选上文语句语义特征。
根据本公开的实施例，可以基于相关技术中基于注意力机制构建的神经网络算法模型来将文本语义融合特征分别融合至问题词编码和上文语句语义特征中，基于注意力机制构建的神经网络算法模型例如可以是BERT模型(BidirectionalEncoderRepresentations from Transformer，BERT)，但不仅限于此，还可以基于其他注意力机制算法来得到更新后的候选问题词编码特征和候选上文语句语义特征，本公开的实施例对得到更新后的候选问题词编码特征和候选上文语句语义特征的具体方式不做限定，本领域技术人员可以根据实际需求进行选择，只要满足基于注意力机制来将文本语义融合特征分别融合至问题词编码和上文语句语义特征中即可。
在操作S240，将候选问题词编码特征、候选上文语句语义特征和答案词编码输入至顺序连接的E个语义融合模型，以便与E个语义融合模型中的第e语义融合模型连接的目标预测层输出目标预测结果，其中，E为正整数。
根据本公开的实施例，语义融合模型可以包括与上述初始语义融合模型相同或相似的模型结构(即运算处理过程)，但是也可以与上述初始语义融合模型具有不同的模型结构，本公开的实施例对E个语义融合模型各自的模型结构不做限定，只要能够进行语义融合计算即可，本领域技术人员可以根据实际需求进行设计。
应该理解的是，本公开的实施例对E的数值不做限定，E的数量可以是一个或多个。与第e个语义融合模型连接的目标预测层可以包括相关技术中，神经网络模型结构的输出层，例如基于激活函数构建的输出层等。
在操作S250，在目标预测结果表征待匹配答案语句与问题语句匹配相匹配的情况下，将待匹配答案语句确定为目标语句。
根据本公开的实施例，由于通过提取上文语句语义特征，并将答案词、问题词以及上文语义特征进行语义特征融合，可以使得到的文本语义融合特征充分地融合上文语句的语义信息，同时还可以融合问题语句和待匹配答案语句中的词的语义信息，再利用文本语义特征更新得到候选上文语句语义特征和候选问题词编码特征，可以进一步地使上文语句和问题词与答案词进行语义特征学习，从而至少部分客服了相关技术中难以充分理解用户在上文语句和问题语句中的提问意图的技术问题，进而根据顺序连接的E个语义融合模型来处理候选问题词编码特征、候选上文语句语义特征和答案词编码，可以至少部分提升预测用户在上文语句和问题语句中包含的真实意图的准确性，进而使后续匹配得到的目标语句可以准确地回答用户的问题，实现提升应答信息准确率的技术效果，一满足用户的实际需求。
根据本公开的实施例，目标语句生成方法还可以包括如下操作：
将上文语句和问题词，以及答案词分别输入至注意力编码层，输出上文语句编码、问题词编码和答案词编码。
根据本公开的实施例，注意力编码层可以包括基于注意力机制算法构建得到的编码模型，例如可以包括BERT模型、Transformer模型等，本公开的实施例对注意力编码层的具体模型结构不做限定，本领域技术人员可以根据实际需求进行选择，只要能够满足保留上文语句、问题词和答案词各自的语义特征信息即可。
根据本公开的实施例，注意力编码层包括顺序连接的嵌入编码子层与自注意力子层。
将上文语句和问题词，以及答案词分别输入至注意力编码层，输出上文语句编码、问题词编码和答案词编码可以包括如下操作：
上文语句、问题词和答案词分别输入至嵌入编码子层，输出初始上文语句编码、初始问题词编码和初始答案词编码；以及利用自注意力子层分别处理初始上文语句编码、初始问题词编码和初始答案词编码，得到上文语句编码、问题词编码和答案词编码。
根据本公开的实施例，由于上文语句的数量通常可以包含有多个，且问题语句中的问题词，以及待匹配答案语句中的答案词也通常可以包含有多个，因此利用自注意力子层处理处理初始上文语句编码，可以使多个初始上文语句编码基于自注意力机制融合多个初始上文语句编码之间的语义特征，从而使得到的上文语句编码充分的融合提问文本中多个上文语句之间的语义信息，避免上文语句中的语义信息丢失。
相应地，问题词编码可以充分地融合问题语句中其他的问题词的语义信息，以及答案编码同样可以充分地融合待匹配答案语句中其他的答案词的语义信息，这样可以是得到的上文语句编码、问题词编码和答案词编码至少部分避免相关技术中的语义信息丢失问题，从而进一步提升后续匹配结果的准确性。
在本公开的一个实施例中，可以基于公式(1)至(3)表示上文语句、问题语句和待匹配答案语句。
公式(1)至(3)中，Ci表示上文语句，表示上文语句Ci中的上文词，Q表示问题语句，/>表示构成问题语句Q的问题词，A表示待匹配答案语句，/>表示构成待匹配答案语句A的答案词。
在本实施例中，上文语句的数量可以是m个，并预设上文语句Ci、问题语句Q和待匹配答案语句A各自包含有n个词。
可以基于相关技术中的embedding模型(嵌入编码模型)构建嵌入编码子层，基于self-attention(自注意力)模型来构建自注意力子层。因此，自注意力子层输出的编码向量可以表示为
其中，表示上文语句编码、HQ表示由一个或多个词编码构成的问题语句编码，HA表示由一个或多个答案词编码构成的待匹配答案语句编码。n可以表示每个句子的编码长度，d表示模型维度。
根据本公开的实施例，上文语句编码包含有用于表征上文词的分类预测结果的初始分类池化向量，上文词用于构成上文语句。
操作S210，对提问文本中的上文语句进行语义特征提取，得到与上文语句对应的上文语句语义特征可以包括如下操作：
将上文语句编码分别输入至初始最大池化层和初始平均池化层，输出上文语句最大池化信息与上文语句平均池化信息；以及拼接上文语句最大池化信息、上文语句平均池化信息和初始分类池化向量，得到上文语句语义特征。
根据本公开的实施例中，在将上文语句输入至注意力编码层之前，可以在上文语句前插入分类标识符(即token)，例如可以插入[CLS]，用以后续获取上文语句的初始分类池化向量。由于上文语句的语句数量较多，为了有效地抽取上文语句中的语义特征，可以基于公式(4)对上文语句编码进行处理，从而得到上文语句语义特征。
公式(4)中，max()表示对上文语句编码沿着句子长度维度(n)计算最大值池化结果，即上文语句最大池化信息，mean()表示对上文语句编码/>沿着句子长度维度计算平均池化结果，即上文语句平均池化信息，cls()表示上文语句编码/>沿着句子长度维度选取首个位置(即[CLS]特殊符号)的分类结果向量作为初始分类池化向量，/>表示上文语句语义特征。
应该理解的是，初始最大池化层和初始平均池化层可以分别基于函数max()和函数mean()构建得到，且对上文语句编码进行处理后，可以将n×d维的上文语句编码降维至3×d维的上文语句特征。
根据本公开的实施例，初始语义融合模型包括初始上文答案语义融合层、初始问题答案语义融合层和初始残差归一化层。
图3示意性示出了根据本公开实施例的将上文语句语义特征、用于表征答案词的答案词编码、用于表征问题词的问题词编码输入至初始语义融合模型，得到文本语义融合特征的流程图。
如图3所示，操作S220，将上文语句语义特征、用于表征答案词的答案词编码、用于表征问题词的问题词编码输入至初始语义融合模型，得到文本语义融合特征可以包括操作S310～操作S330。
在操作S310，将上文语句语义特征与答案词编码输入至初始上文答案语义融合层，以便基于注意力机制将上文语句语义特征融合至答案词编码中，输出初始上文答案语义特征。
在操作S320，将问题词编码与答案词编码输入至初始问题答案语义融合层，以便将问题词与答案词的进行语义特征融合，输出初始问题答案语义特征。
在操作S330，将初始上文答案语义特征、初始问题答案语义特征和答案词编码输入至初始残差归一化层，输出文本语义融合特征。
根据本公开的实施例，初始上文答案语义融合层和初始问题答案语义融合层均可以是基于注意力机制算法构建得到的算法模型层，基于注意力机制融合上文语句语义特征与答案词编码，且基于注意力机制融合问题词编码与答案词编码，可以将待匹配答案语句中的词层级的语义信息与上文语句和问题词充分进行语义融合，进一步减少上文语句与问题语句中的语义信息丢失，从而辅助提升后续针对问题语句与待匹配答案语句的匹配准确率。
根据本公开的实施例，初始上文答案语义融合层的处理过程可以参考如下公式(5)至公式(10)来表示，从而将上文语句特征和待匹配答案语句的词层级语义特征和语句层级的语义特征，分别进行语义融合。
公式(5)和(6)中，可以将上文语句特征和待匹配答案语句的词层级语义特征进行语义融合。
公式(5)和(6)中，表示上文语句语义特征，即上文语句的语句层级的语义特征，/> 表示答案词编码，sqrt()可以表示平方根计算函数，/>表示待匹配答案语句中第i个答案词编码与上文语句特征的语义融合结果，/> 因此，/>可以表示第一初始上文答案语义特征，即待匹配答案语句的词层级语义特征与上文语句语义特征的融合结果，/>表示公式(5)中的注意力权重参数。
公式(7)、(8)和(9)中，可以将上文语句特征和待匹配答案语句的语句层级语义特征进行语义融合。
/>
公式(7)、(8)和(9)中，表示公式(7)中的注意力权重参数，mean(HA)表示对待匹配答案语句的答案语句编码HA沿着句子长度维度计算平均池化结果，cls(HA)表示待匹配答案语句的答案语句编码HA沿着句子长度维度选取首个位置(即[CLS]特殊符号)的分类结果向量作为答案语句的分类池化向量，/>表示第二初始上文答案语义特征，即待匹配答案语句的语句级语义特征与上文语句语义特征的融合结果。
然后根据公式(10)融合第一初始上文答案语义特征和第二初始上文答案语义特征，得到初始上文答案语义特征HAC。
需要说明的是，上述公式(5)至公式(10)中，WQ，WK，WV∈Rd×d；WA∈R2d×d，bA∈Rd；WAC∈R2d×d，bAC∈Rd均为各自公式中的可学习参数(即初始上文答案语义融合层中的融合层模型参数)，该些可学习参数可以通过相关技术中的训练方法训练得到，本公开的实施例在此不再赘述。
根据本公开的实施例，初始问题答案语义融合层的处理过程可以通过公式(11)至公式(13)来表示。
HAQ＝{HAQ，1，HAQ，2，…，HAQ，n}；(13)
公式(11)至公式(13)中，表示答案词编码，/>表示问题词编码，HAQ，i表示答案词编码与问题词编码融合后的词层级的语义特征，HAQ表示初始问题答案语义特征，/>表示公式(11)的注意力权重参数。
根据本公开的实施例，可以通过公式(14)表示初始残差归一化层的处理过程.
HACQ＝layerNorm(WO(HAC+HAQ)+HA)；WO∈Rd×d (14)
公式(14)中，layerNorm()表示残差归一化函数，WO表示公式(14)中的可学习参数，HACQ表示文本语义融合特征。经过公式(14)的残差连接变换后，可以获得基于上文语句和问题语句中的语义信息感知的答案编码结果，即融合有上文语句中的语义特征，以及问题语句中的语义特征的文本语义融合特征HACQ∈Rn×d。
需要说明的是，本公开的实施例中，大写英文字母W与小写英文字母w各自具有不同的表示内容，即大写英文字母W表示可学习参数，小写英文字母w表示word的简称，即词层级的编码，或词层级的语义特征。
图4示意性示出了根据本公开实施例的目标语句生成方法的应用场景图。
如图4中(a)图所示，该实施例的应用场景中，可以将上文语句411、问题次412和答案词413分别输入至助理编码层420，然后输出上文语句编码431、问题词编码432和答案词编码433。
将上文语句编码431分别输入至初始最大池化层441和初始平均池化层442，可以输出上文语句最大池化信息和上文语句平均池化信息。然后将上文语句编码431中的初始分类池化向量，与上文语句最大池化信息和上文语句平均池化信息拼接后，可以得到上文语句语义特征451。
如图4中(b)图所示，上文语句语义特征451和答案词编码433输入至初始上文答案语义融合层461，可以输出初始上文答案语义特征。
问题词编码432与答案词编码433输入至初始问题答案语义融合层462，可以输出初始问题答案语义特征。将初始问题答案语义特征、初始上文答案语义特征和答案词编码433输入至初始残差归一化层463，可以得到文本语义融合特征470。
根据本公开的实施例，初始语义融合模型包括基于注意力机制算法构建得到的初始问题语义更新层和初始上文语义更新层。
操作S230，基于注意力机制，将文本语义融合特征分别融合至问题词编码和上文语句语义特征中可以包括如下操作：
将文本语义融合特征和上文语句语义特征输入至初始上文语义更新层，输出候选上文语句语义特征；以及将文本语义融合特征和问题词编码输入至初始问题语义更新层，输出候选问题词编码特征。
根据本公开的实施例初始问题语义更新层的处理过程可以通过公式(15)至公式(17)表示。
H″Q，i＝layerNorm(WOH′Q，i+HQ,i)；(17)
公式(15)至公式(17)中，H″Q表示候选问题词编码特征，H″Q＝{H″Q，1，H″Q，2,...，H″Q，n}，表示公式(15)中的注意力权重参数。
根据本公开的实施例，初始上文语义更新层的处理过程可以通过公式(18)至公式(20)表示。
H″Q，i＝layerNorm(WOH′C，i+HC,i)；(20)
公式(18)至公式(20)中，H″C表示候选上文语句语义特征，H″C＝{H″C,1，H″C,2,...，H″C,3*m}，表示公式(18)中的注意力权重参数。
需要说明的是，本公开实施例的公式中具有相同字母表示的可学习参数可以在不同的公式中共享，且均可以是经过相关训练算法迭代调整后得到的。
根据本公开的实施例，E个语义融合模型中的前e-1个语义融合模型与初始语义融合模型具有相同的模型结构。
图5示意性示出了根据本公开实施例的将候选问题词编码特征、候选上文语句语义特征和答案词编码输入至顺序连接的E个语义融合模型的流程图。
如图5所示，操作S240，将候选问题词编码特征、候选上文语句语义特征和答案词编码输入至顺序连接的E个语义融合模型可以包括操作S510～操作S530。
在操作S510，迭代地将当前的候选问题词编码特征、当前的候选上文语句语义特征和答案词编码输入至E个语义融合模型中的第f语义融合模型，以便第f语义融合模型输出第f候选问题词编码特征和第f候选上文语句语义特征。
在操作S520，利用E个语义融合模型中的第e语义融合模型处理第e-1语义融合模型输出的第e-1候选问题词编码特征和第e-1候选上文语句语义特征，以及答案词编码，输出目标文本语义融合特征。
在操作S530，将目标文本语义融合特征输入至目标预测层，输出目标预测结果，其中，E≥F≥1，且在E＝F＝1时，第e-1语义融合模型为初始语义融合模型。
根据本公开的实施例，可以基于一个或多个与初始语义融合模型具有相同的模型结构的语义融合模型，可以将待匹配答案语句中的词层级的语义特征与上文语句和答案语句多次进行语义融合，从而进一步避免目标文本语义融合特征中产生语义信息丢失。同时，基于注意力机制算法构建的语义融合模型输出的目标文本语义融合特征，可以增强针对上文语句、问题语句中与答案相关的语义信息的注意力程度，从而可以进一步提升后续目标预测结果的准确性。
图6示意性示出了根据本公开另一实施例的目标语句生成方法的应用场景图。
如图6所示，该应用场景中，第f语义融合模型610可以包括第f上文大难语义融合层611、第f问题答案语义融合层612、第f残差归一化层613、第f上文语义更新层614和第f问题语义更新层615。
由于第f语义融合模型610具有与上述实施例中初始语义融合模型相同的模型结构，因此，第f上文答案语义融合层611、第f问题答案语义融合层612、第f残差归一化层613、第f上文语义更新层614和第f问题语义更新层615各自的数据处理过程，可以分别对应参照初始上文答案语义融合层、初始问题答案语义融合层、初始残差归一化层、初始上文语义更新层和初始问题语义更新层各自的数据处理过程，本公开的实施例在此不再赘述。
当前的候选上文语句语义特征621、当前的候选问题词编码特征622可以是第f-1语义融合模型输出的特征信息。当前的候选上文语句语义特征621和答案词编码623可以输入至第f上文答案语义融合层611，当前的候选问题词编码特征622和答案词编码623输入至第f问题答案语义融合层612。第f上文答案语义融合层611和第f问题答案语义融合层612各自输出的编码特征可以输入至第f残差归一化层613，输出第f文本语义融合特征624。
第f文本语义融合特征624与候选上文语句语义特征621输入至第f上文语义更新层614，输出第f候选上文语句语义特征631。相应地，第f文本语义融合特征624与候选问题词编码特征622输入至第f问题语义更新层615，输出第f候选问题词编码特征。
图7示意性示出了根据本公开又一实施例的目标语句生成方法的应用场景图。
如图7所示，该应用场景中，语义融合模型的数量可以是3个，即E＝3。第三语义融合模型710可以包括第三上文答案语义融合层711、第三问题答案语义融合层712和第三残差与归一化层713。
第二语义融合模型可以输出第二候选问题词编码特征722和第二候选上文语句语义特征721。将第二候选上文语句语义特征721与答案词编码723输入至第三上文答案语义融合层711，并将第二候选问题词编码特征722和答案词编码723输入至第三问题答案语义融合层712。然后将第三上文答案语义融合层711和第三问题答案语义融合层712各自输出的编码特征输入至第三残差与归一化层713，输出目标文本语义融合特征724。
目标文本语义融合特征724输入至与第三语义融合模型710连接的目标预测层731，从而可以输出目标预测结果725。
需要说明的是，第三语义融合模型710中的第三上文答案语义融合层711、第三问题答案语义融合层712和第三残差与归一化层713各自的数据处理过程，可以参考上述实施例中的初始上文答案语义融合层、初始问题答案语义融合层和初始残差与归一化层各自的处理过程，本公开的实施例在此不再赘述。
根据本公开的实施例，可以结合图6与图7所示的语义融合模型的模型结构来构建E个语义融合模型，从而得到目标预测结果。
根据本公开的实施例，目标预测层包括基于激活函数构建得到的神经网络层。或者目标预测层包括基于全连接神经网络层。
在本公开的一个实施例中，目标预测层可以基于公式(21)来得到目标预测结果。
pred＝WmatchHACQe+bmatch；Wmatch∈Rd×2，bmatch∈R2；(21)
公式(21)中，pred表示目标预测结果，HACQe表示目标文本语义融合特征，Wmatch和bmatch表示可学习参数。
根据本公开的实施例，目标预测层可以输出二分类结果，即是否与待匹配答案语句匹配的二分类结果，从而可以预测待匹配答案语句是否可以作为问题语句的应答信息。在提升目标预测结果的准确性的情况下，将待匹配答案语句作为目标语句可以有效地理解用户的真实意图，快速准确地解答用户的疑问。
根据本公开的实施例，目标语句生成方法还可以包括如下操作：
向目标客户端发送目标语句。
根据本公开的实施例，可以在与用户的交互过程中获取包含有上文语句和问题语句的提问文本，并基于上述实施例提供的目标语句生成方法来处理提问文本和待匹配答案库中的待匹配答案语句，从而快速准确地预测出适用于对用户进行应答的目标语句，从而通过向目标客户端发送目标语句来及时地解决用户的疑问，提升用户满意度。
图8示意性示出了根据本公开的实施例的目标语句生成装置的框图。
如图8所示，目标语句生成装置800包括第一语义特征提取模块810、第一语义融合模块820、第二语义融合模块830、语义匹配预测模块840和目标语句确定模块850。
第一语义特征提取模块810用于对提问文本中的上文语句进行语义特征提取，得到上文语句语义特征，其中，提问文本包括上文语句和问题语句，问题语句包含有问题词。
第一语义融合模块820用于将上文语句语义特征、用于表征答案词的答案词编码、用于表征问题词的问题词编码输入至初始语义融合模型，得到文本语义融合特征，其中，答案词用于构成待匹配答案语句。
第二语义融合模块830用于基于注意力机制，将文本语义融合特征分别融合至问题词编码和上文语句语义特征中，得到更新后的候选问题词编码特征和候选上文语句语义特征。
语义匹配预测模块840用于将候选问题词编码特征、候选上文语句语义特征和答案词编码输入至顺序连接的E个语义融合模型，以便与E个语义融合模型中的第e语义融合模型连接的目标预测层输出目标预测结果，其中，E为正整数。
目标语句确定模块850用于在目标预测结果表征待匹配答案语句与问题语句匹配相匹配的情况下，将待匹配答案语句确定为目标语句。
根据本公开的实施例，初始语义融合模型包括初始上文答案语义融合层、初始问题答案语义融合层和初始残差归一化层。
第一语义融合模块包括：第一融合子模块、第二融合子模块和归一化子模块。
第一融合子模块用于将上文语句语义特征与答案词编码输入至初始上文答案语义融合层，以便基于注意力机制将上文语句语义特征融合至答案词编码中，输出初始上文答案语义特征。
第二融合子模块用于将问题词编码与答案词编码输入至初始问题答案语义融合层，以便将问题词与答案词的进行语义特征融合，输出初始问题答案语义特征。
归一化子模块用于将初始上文答案语义特征、初始问题答案语义特征和答案词编码输入至初始残差归一化层，输出文本语义融合特征。
根据本公开的实施例，目标语句生成装置还包括第一编码模块。
第一编码模块用于将上文语句和问题词，以及答案词分别输入至注意力编码层，输出上文语句编码、问题词编码和答案词编码。
根据本公开的实施例，注意力编码层包括顺序连接的嵌入编码子层与自注意力子层。
第一编码模块包括：第一编码子模块和第一自注意力编码子模块。
第一编码子模块用于将上文语句、问题词和答案词分别输入至嵌入编码子层，输出初始上文语句编码、初始问题词编码和初始答案词编码。
第一自注意力编码子模块用于利用自注意力子层分别处理初始上文语句编码、初始问题词编码和初始答案词编码，得到上文语句编码、问题词编码和答案词编码。
根据本公开的实施例，上文语句编码包含有用于表征上文词的分类预测结果的初始分类池化向量，上文词用于构成上文语句。
第一语义特征提取模块包括：池化处理子模块和拼接子模块。
池化处理子模块用于将上文语句编码分别输入至初始最大池化层和初始平均池化层，输出上文语句最大池化信息与上文语句平均池化信息。
拼接子模块用于拼接上文语句最大池化信息、上文语句平均池化信息和初始分类池化向量，得到上文语句语义特征。
根据本公开的实施例，初始语义融合模型包括基于注意力机制算法构建得到的初始问题语义更新层和初始上文语义更新层。
第二语义融合模块包括：第一语义更新子模块和第二语义更新子模块。
第一语义更新子模块用于将文本语义融合特征和上文语句语义特征输入至初始上文语义更新层，输出候选上文语句语义特征。
第二语义更新子模块用于将文本语义融合特征和问题词编码输入至初始问题语义更新层，输出候选问题词编码特征。
根据本公开的实施例，E个语义融合模型中的前e-1个语义融合模型与初始语义融合模型具有相同的模型结构。
语义匹配预测模块包括：第三语义更新子模块、目标文本语义融合子模块和预测子模块。
第三语义更新子模块用于迭代地将当前的候选问题词编码特征、当前的候选上文语句语义特征和答案词编码输入至E个语义融合模型中的第f语义融合模型，以便第f语义融合模型输出第f候选问题词编码特征和第f候选上文语句语义特征。
目标文本语义融合子模块用于利用E个语义融合模型中的第e语义融合模型处理第e-1语义融合模型输出的第e-1候选问题词编码特征和第e-1候选上文语句语义特征，以及答案词编码，输出目标文本语义融合特征。
预测子模块用于将目标文本语义融合特征输入至目标预测层，输出目标预测结果，其中，E≥F≥1，且在E＝F＝1时，第e-1语义融合模型为初始语义融合模型。
根据本公开的实施例，目标预测层包括基于激活函数构建得到的神经网络层；或者
目标预测层包括基于全连接神经网络层。
根据本公开的实施例，目标语句生成装置还包括发送模块。
发送模块用于向目标客户端发送目标语句。
根据本公开的实施例的模块、子模块、单元中的任意多个，或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一语义特征提取模块810、第一语义融合模块820、第二语义融合模块830、语义匹配预测模块840和目标语句确定模块850中的任意多个可以合并在一个模块/子模块/单元中实现，或者其中的任意一个模块/子模块/单元可以被拆分成多个模块/子模块/单元。或者，这些模块/子模块/单元中的一个或多个模块/子模块/单元的至少部分功能可以与其他模块/子模块/单元的至少部分功能相结合，并在一个模块/子模块/单元中实现。根据本公开的实施例，第一语义特征提取模块810、第一语义融合模块820、第二语义融合模块830、语义匹配预测模块840和目标语句确定模块850中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一语义特征提取模块810、第一语义融合模块820、第二语义融合模块830、语义匹配预测模块840和目标语句确定模块850中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
需要说明的是，本公开的实施例中目标语句生成装置部分与本公开的实施例中目标语句生成方法部分是相对应的，目标语句生成装置部分的描述具体参考目标语句生成方法部分，在此不再赘述。
图9示意性示出了根据本公开实施例的适于实现目标语句生成方法的电子设备的框图。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，根据本公开实施例的电子设备900包括处理器901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 903中，存储有电子设备900操作所需的各种程序和数据。处理器901、ROM902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，电子设备900还可以包括输入/输出(I/O)接口905，输入/输出(I/O)接口905也连接至总线904。系统900还可以包括连接至I/O接口905的以下部件中的一项或多项：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM902和/或RAM903和/或ROM902和RAM903以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的目标语句生成方法。
在该计算机程序被处理器901执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分909被下载和安装，和/或从可拆卸介质911被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (13)

1.一种目标语句生成方法，包括：
对提问文本中的上文语句进行语义特征提取，得到上文语句语义特征，其中，所述提问文本包括所述上文语句和问题语句，所述问题语句包含有问题词；
将所述上文语句语义特征、用于表征答案词的答案词编码、用于表征所述问题词的问题词编码输入至初始语义融合模型，得到文本语义融合特征，其中，所述答案词用于构成待匹配答案语句；
基于注意力机制，将所述文本语义融合特征分别融合至所述问题词编码和所述上文语句语义特征中，得到更新后的候选问题词编码特征和候选上文语句语义特征；
将所述候选问题词编码特征、所述候选上文语句语义特征和所述答案词编码输入至顺序连接的E个语义融合模型，以便与E个所述语义融合模型中的第e语义融合模型连接的目标预测层输出目标预测结果，其中，E为正整数；以及
在所述目标预测结果表征所述待匹配答案语句与所述问题语句匹配相匹配的情况下，将所述待匹配答案语句确定为目标语句。
2.根据权利要求1所述的方法，其中，所述初始语义融合模型包括初始上文答案语义融合层、初始问题答案语义融合层和初始残差归一化层；
其中，将所述上文语句语义特征、用于表征答案词的答案词编码、用于表征所述问题词的问题词编码输入至初始语义融合模型，得到文本语义融合特征包括：
将所述上文语句语义特征与所述答案词编码输入至所述初始上文答案语义融合层，以便基于注意力机制将所述上文语句语义特征融合至所述答案词编码中，输出初始上文答案语义特征；
将所述问题词编码与所述答案词编码输入至所述初始问题答案语义融合层，以便将所述问题词与所述答案词的进行语义特征融合，输出初始问题答案语义特征；以及
将所述初始上文答案语义特征、所述初始问题答案语义特征和所述答案词编码输入至所述初始残差归一化层，输出所述文本语义融合特征。
3.根据权利要求1所述的方法，还包括：
将所述上文语句和所述问题词，以及所述答案词分别输入至注意力编码层，输出上文语句编码、所述问题词编码和所述答案词编码。
4.根据权利要求3所述的方法，其中，所述注意力编码层包括顺序连接的嵌入编码子层与自注意力子层；
将所述上文语句和所述问题词，以及所述答案词分别输入至注意力编码层，输出上文语句编码、所述问题词编码和所述答案词编码包括：
将所述上文语句、所述问题词和所述答案词分别输入至所述嵌入编码子层，输出初始上文语句编码、初始问题词编码和初始答案词编码；
利用所述自注意力子层分别处理所述初始上文语句编码、所述初始问题词编码和所述初始答案词编码，得到所述上文语句编码、所述问题词编码和所述答案词编码。
5.根据权利要求3或4所述的方法，其中，所述上文语句编码包含有用于表征上文词的分类预测结果的初始分类池化向量，所述上文词用于构成所述上文语句；
对提问文本中的上文语句进行语义特征提取，得到与所述上文语句对应的上文语句语义特征包括：
将所述上文语句编码分别输入至初始最大池化层和初始平均池化层，输出上文语句最大池化信息与上文语句平均池化信息；以及
拼接所述上文语句最大池化信息、所述上文语句平均池化信息和所述初始分类池化向量，得到所述上文语句语义特征。
6.根据权利要求1所述的方法，其中，所述初始语义融合模型包括基于注意力机制算法构建得到的初始问题语义更新层和初始上文语义更新层；
其中，基于注意力机制，将所述文本语义融合特征分别融合至所述问题词编码和所述上文语句语义特征中包括：
将所述文本语义融合特征和所述上文语句语义特征输入至所述初始上文语义更新层，输出所述候选上文语句语义特征；以及
将所述文本语义融合特征和所述问题词编码输入至所述初始问题语义更新层，输出所述候选问题词编码特征。
7.根据权利要求6所述的方法，其中，E个所述语义融合模型中的前e-1个语义融合模型与所述初始语义融合模型具有相同的模型结构；
其中，将所述候选问题词编码特征、所述候选上文语句语义特征和所述答案词编码输入至顺序连接的E个语义融合模型包括：
迭代地将当前的候选问题词编码特征、当前的候选上文语句语义特征和所述答案词编码输入至E个所述语义融合模型中的第f语义融合模型，以便第f语义融合模型输出第f候选问题词编码特征和第f候选上文语句语义特征；
利用E个所述语义融合模型中的第e语义融合模型处理第e-1语义融合模型输出的第e-1候选问题词编码特征和第e-1候选上文语句语义特征，以及所述答案词编码，输出目标文本语义融合特征；以及
将所述目标文本语义融合特征输入至所述目标预测层，输出所述目标预测结果，其中，E≥F≥1，且在E＝F＝1时，所述第e-1语义融合模型为所述初始语义融合模型。
8.根据权利要求1所述的方法，其中，
所述目标预测层包括基于激活函数构建得到的神经网络层；或者
所述目标预测层包括基于全连接神经网络层。
9.根据权利要求1至4中任意一项所述的方法，还包括：
向目标客户端发送所述目标语句。
10.一种目标语句生成装置，包括：
第一语义特征提取模块，用于对提问文本中的上文语句进行语义特征提取，得到上文语句语义特征，其中，所述提问文本包括所述上文语句和问题语句，所述问题语句包含有问题词；
第一语义融合模块，用于将所述上文语句语义特征、用于表征答案词的答案词编码、用于表征所述问题词的问题词编码输入至初始语义融合模型，得到文本语义融合特征，其中，所述答案词用于构成待匹配答案语句；
第二语义融合模块，用于基于注意力机制，将所述文本语义融合特征分别融合至所述问题词编码和所述上文语句语义特征中，得到更新后的候选问题词编码特征和候选上文语句语义特征；
语义匹配预测模块，用于将所述候选问题词编码特征、所述候选上文语句语义特征和所述答案词编码输入至顺序连接的E个语义融合模型，以便与E个所述语义融合模型中的第e语义融合模型连接的目标预测层输出目标预测结果，其中，E为正整数；以及
目标语句确定模块，用于在所述目标预测结果表征所述待匹配答案语句与所述问题语句匹配相匹配的情况下，将所述待匹配答案语句确定为目标语句。
11.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至9中任一项所述的方法。
13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至9中任一项所述的方法。
CN202310216691.8A 2023-03-02 2023-03-02 目标语句生成方法、装置、设备及存储介质 Pending CN116451700A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310216691.8A CN116451700A (zh) 2023-03-02 2023-03-02 目标语句生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310216691.8A CN116451700A (zh) 2023-03-02 2023-03-02 目标语句生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116451700A true CN116451700A (zh) 2023-07-18

Family

ID=87134554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310216691.8A Pending CN116451700A (zh) 2023-03-02 2023-03-02 目标语句生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116451700A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117113993A (zh) * 2023-10-23 2023-11-24 腾讯科技（深圳）有限公司 实体链接方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117113993A (zh) * 2023-10-23 2023-11-24 腾讯科技（深圳）有限公司 实体链接方法、装置、电子设备及存储介质
CN117113993B (zh) * 2023-10-23 2024-01-09 腾讯科技（深圳）有限公司 实体链接方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11501187B2 (en) Opinion snippet detection for aspect-based sentiment analysis
US11188720B2 (en) Computing system including virtual agent bot providing semantic topic model-based response
CN111522958A (zh) 文本分类方法和装置
JP2023539532A (ja) テキスト分類モデルのトレーニング方法、テキスト分類方法、装置、機器、記憶媒体及びコンピュータプログラム
US20200250272A1 (en) Generating completed responses via primal networks trained with dual networks
US10902191B1 (en) Natural language processing techniques for generating a document summary
CN111198967B (zh) 基于关系图谱的用户分组方法、装置及电子设备
US20240078385A1 (en) Method and apparatus for generating text
CN110377733A (zh) 一种基于文本的情绪识别方法、终端设备及介质
CN116451700A (zh) 目标语句生成方法、装置、设备及存储介质
CN114579878A (zh) 虚假新闻判别模型的训练方法、虚假新闻判别方法及装置
US11861459B2 (en) Automatic determination of suitable hyper-local data sources and features for modeling
US20230177277A1 (en) Contextual dialogue framework over dynamic tables
US11922129B2 (en) Causal knowledge identification and extraction
CN115620726A (zh) 语音文本生成方法、语音文本生成模型的训练方法、装置
US20220245460A1 (en) Adaptive self-adversarial negative sampling for graph neural network training
US11734602B2 (en) Methods and systems for automated feature generation utilizing formula semantification
CN113806541A (zh) 情感分类的方法和情感分类模型的训练方法、装置
US20210089528A1 (en) Automated Validity Evaluation for Dynamic Amendment
CN110942306A (zh) 数据处理方法、装置及电子设备
CN114298004A (zh) 复述文本生成方法、装置、设备、介质和程序产品
US20230177077A1 (en) Enhancing input to conversational agents through feedback
CN116050427B (zh) 信息生成方法、训练方法、装置、电子设备以及存储介质
US11244525B2 (en) Authentication security
CN117436502A (zh) 深度学习模型的训练方法、文本数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination