CN113553415B - 问答匹配的方法、装置及电子设备 - Google Patents

问答匹配的方法、装置及电子设备 Download PDF

Info

Publication number
CN113553415B
CN113553415B CN202110738866.2A CN202110738866A CN113553415B CN 113553415 B CN113553415 B CN 113553415B CN 202110738866 A CN202110738866 A CN 202110738866A CN 113553415 B CN113553415 B CN 113553415B
Authority
CN
China
Prior art keywords
question
error
log
matching
answer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110738866.2A
Other languages
English (en)
Other versions
CN113553415A (zh
Inventor
焦振宇
古桂元
孙叔琦
常月
李婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110738866.2A priority Critical patent/CN113553415B/zh
Publication of CN113553415A publication Critical patent/CN113553415A/zh
Application granted granted Critical
Publication of CN113553415B publication Critical patent/CN113553415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本公开公开了一种问答匹配的方法、装置及电子设备，涉及人工智能领域，具体涉及自然语言识别领域。具体实现方案为：将用户问题输入问答匹配模型，获取所述用户问题对应的推荐匹配问题；根据所述推荐匹配问题获取推荐回复，并将所述推荐回复反馈给用户。本公开实施例可以实现根据用户问题获取知识库中的最佳匹配问题，并将恢复反馈给用户。本公开实施例可以避免问答匹配中的常见错误，提高问答匹配的准确率，系统的鲁棒性更好。

Description

问答匹配的方法、装置及电子设备
技术领域
本公开涉及人工智能技术领域，具体涉及问答系统领域，尤其涉及一种问答匹配的方法、装置及电子设备。
背景技术
人工智能问答系统是一种允许用户以自然语言进行查询，不需要把问题划分为关键词词组，系统结合相关自然与语言处理技术，通过对问题的理解检索到相应答案的新型智能检索系统。智能时代，人类期望有更简单自然的方式与机器进行交互。而其底层核心技术之一，即为自然语言问答系统。问答系统提供了自然语言形式的人与产品交互，降低了产品使用门槛，大幅提成用户体验。目前问答系统根据固定的数据集进行训练，智能化程度较低，对于用户多样化的描述识别不够准确。
发明内容
本公开提供了一种问答匹配的方法、装置、电子设备以及存储介质。
根据本公开的第一方面，提供了一种问答匹配的方法，包括：
获取错误反馈数据和请求日志；
根据所述错误反馈数据和请求日志生成训练数据集；
根据所述训练数据集训练问答匹配模型。
可选地，所述根据所述错误反馈数据和请求日志生成训练数据集，包括：
根据所述错误反馈数据生成错误问题对；
根据所述请求日志获取日志问题对；
根据所述错误问题对和所述日志问题对生成所述训练数据集。
可选地，所述根据所述错误反馈数据生成错误问题对，包括：
对所述错误反馈数据进行分类，以获取错误类型；
根据所述错误类型生成所述错误问题对，并获取所述错误问题对的匹配度。
可选地，所述根据所述请求日志获取日志问题对，包括：
获取请求日志，根据所述请求日志获取日志问题对，其中，所述日志问题对包括用户问题和推荐匹配问题；
获取所述日志问题对的匹配度。
可选地，所述根据所述错误反馈数据和请求日志生成训练数据集，包括：
将所述错误问题对匹配度作为所述错误问题对的标签，并将所述日志问题对匹配度作为所述日志问题对的标签，以获取所述训练数据集。
可选地，所述根据所述训练数据集训练问答匹配模型，包括：
根据所述训练数据集训练所述问答匹配模型，直至所述问答匹配模型收敛。
根据本公开的第二方面，提供了一种问答匹配的方法，包括：
获取根据所述第一方面训练的问答匹配模型；
将用户问题输入所述问答匹配模型，获取所述用户问题对应的推荐匹配问题；
根据所述推荐匹配问题获取推荐回复，并将所述推荐回复反馈给用户。
根据本公开的第三方面，提供了一种问答匹配的装置，包括：
接收模块，用于获取错误反馈数据和请求日志；
数据集生成模块，用于根据所述错误反馈数据和请求日志生成训练数据集；
训练模块，用于根据所述训练数据集训练问答匹配模型。
可选地，所述数据集生成模块，包括：
错误问题对生成子模块，用于根据所述错误反馈数据生成错误问题对；日志问题对获取子模块，用于根据所述请求日志获取日志问题对；
数据集生成子模块，用于根据所述错误问题对和所述日志问题对生成所述训练数据集。
可选地，所述错误问题对生成子模块，包括：
错误类型获取单元，用于对所述错误反馈数据进行分类，以获取错误类型；
错误问题对生成单元，用于根据所述错误类型生成所述错误问题对，并获取所述错误问题对的匹配度。
可选地，所述日志问题对获取子模块，包括：
日志问题获取单元，用于获取请求日志，根据所述请求日志获取日志问题对，其中，所述日志问题对包括用户问题和推荐匹配问题；
匹配度获取单元，用于匹配度获取单元获取所述日志问题对的匹配度。
可选地，所述数据集生成子模块，包括：
数据集生成单元，用于将所述错误问题对匹配度作为所述错误问题对的标签，并将所述日志问题对匹配度作为所述日志问题对的标签，以获取所述训练数据集。
可选地，所述训练模块，包括：
训练子模块，用于根据所述训练数据集训练所述问答匹配模型，直至所述问答匹配模型收敛。
根据本公开的第四方面，提供了一种问答匹配的装置，包括：
模型获取模块，用于获取根据所述第三方面训练的问答匹配模型；
问题匹配模块，用于将用户问题输入所述问答匹配模型，获取所述用户问题对应的推荐匹配问题；
推荐回复获取模块，用于根据所述推荐匹配问题获取推荐回复，并将所述推荐回复反馈给用户。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述第一方面中任一项所述的方法。
根据本公开的第六方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述第二方面中任一项所述的方法。
根据本公开的第七方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据所述第一方面中任一项所述的方法。
根据本公开的第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据所述第二方面中任一项所述的方法。
根据本公开的第九方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据所述第一方面中任一项所述的方法。
根据本公开的第十方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据所述第二方面中任一项所述的方法。
本公开具有以下有益效果：
根据用户提供的错误反馈数据迭代训练问答匹配模型，避免了一般问答匹配模型数据集灵活性差的问题，训练得到的问答匹配模型具备更好的泛化能力，提高了模型的鲁棒性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例提供的一种问答匹配方法的流程示意图；
图2是根据本公开实施例提供的一种问答匹配方法的流程示意图；
图3是根据本公开实施例提供的一种问答匹配方法的流程示意图；
图4是根据本公开实施例提供的一种问答匹配方法的流程示意图；
图5是根据本公开实施例提供的一种问答匹配方法的流程示意图；
图6是根据本公开实施例提供的一种问答匹配装置的结构示意图；
图7是根据本公开实施例提供的一种问答匹配装置的结构示意图；
图8是根据本公开实施例提供的一种问答匹配装置的结构示意图；
图9是根据本公开实施例提供的一种问答匹配装置的结构示意图；
图10是根据本公开实施例提供的一种问答匹配装置的结构示意图；
图11是根据本公开实施例提供的一种问答匹配装置的结构示意图；
图12是用来实现本公开实施例的问答匹配方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
人工智能问答系统是一种允许用户以自然语言进行查询，不需要把问题划分为关键词词组，系统结合相关自然与语言处理技术，通过对问题的理解检索到相应答案的新型智能检索系统。智能时代，人类期望有更简单自然的方式与机器进行交互。而其底层核心技术之一，即为自然语言问答系统。问答系统提供了自然语言形式的人与产品交互，降低了产品使用门槛，大幅提成用户体验。目前问答系统根据固定的数据集进行训练，智能化程度较低，对于用户多样化的描述识别不够准确。
在问答(Frequently Asked Questions，FAQ)系统中，问答系统构建人员会根据积累的问答数据配置问题和对应答案，以构建问答集。当问答系统的用户输入一个需要查询的问题时，问答系统需要根据FAQ问答集中问题和用户查询问题的匹配程度召回最相似的问题，进而展示出所述最相似问题对应的答案提供给用户。在FAQ问答系统实际应用中，问答系统构建人员会根据实际业务场景配置问题和对应答案来构建问答集，用户在使用时往往会使用丰富多样的表述，这些都会增加FAQ问答系统匹配到用户问题最相似问题的难度。常规的FAQ问答系统往往使用一个通用的匹配模型对匹配程度进行打分，当匹配打分出现错误时，通用模型难以对匹配错误的情况进行针对性解决。另外在实际FAQ问答系统应用场景中，往往会积累大量的日志，通用模型难以充分发挥这些日志数据的价值，提升整体效果。
针对以上问题，本公开提供了一种问答匹配的方法，图1是根据本公开实施例提供的一种问答匹配方法的流程示意图。
如图1所示，所述问答匹配方法包括：
步骤101：获取错误反馈数据和请求日志。
在实际FAQ问答系统的应用场景中，需要用户数据来对所述FAQ问答系统进行更新训练。所述用户数据包括两类，一类是用户反馈的错误数据，也即所述错误反馈数据。这类数据往往是通过客服等途径收集到的用户的真实反馈，在不同类型的应用场景上往往有较大区别而且是在公开数据集和标注数据集上难以直接获得的。
另外一类用户数据是用户请求日志，在真实的FAQ问答系统应用场景中，往往会积累大量的用户请求日志，包含用户的问题和现有的FAQ问答系统中问答集的匹配结果。
步骤102：根据所述错误反馈数据和请求日志生成训练数据集。
对于错误反馈数据我们首先采用总结归类的方法，抽象出若干种典型的错误类型，然后基于这些典型错误类型构造对应的错误问题对训练数据，所述错误问题对可以人工构建。用所述错误问题对来针对性提升所述问答匹配模型在这些典型错误类型上的区分能力。
对于请求日志这种最贴合用户使用的数据我们抽取出日志问题对数据。所述日志问题对数据包含用户问题和所述用户问题对应的匹配问题。所述匹配问题属于所述问答集。然后基于现有的问答匹配模型对这些问题对数据打上问答匹配模型分数，也即匹配度作为软标签构成后面易错模型训练的数据。
根据所述错误问题对和所述日志问题对即可构建出训练数据集，来训练所述问答匹配模型。
步骤103：根据所述训练数据集训练问答匹配模型。
在一种可能的实施方式中。所述训练过程为典型的神经网络的训练过程采用反向传播BP算法，使用两层transformer迁移结构的神经网络，以所述训练数据集训练所述问答匹配模型直到模型收敛。
在一种可能的实施方式中，训练所述问答匹配模型的损失函数为交叉熵损失函数。
图2是根据本公开实施例提供的一种问答匹配方法的流程示意图。
如图2所示，所述问答匹配方法包括：
步骤201：根据所述错误反馈数据生成错误问题对。
对于错误反馈数据我们首先采用总结归类的方法，抽象出若干种典型的错误类型，然后基于这些典型错误类型构造对应的错误问题对训练数据，所述错误问题对可以人工构建。用所述错误问题对来针对性提升所述问答匹配模型在这些典型错误类型上的区分能力。
步骤202：根据所述请求日志获取日志问题对。
对于请求日志这种最贴合用户使用的数据我们抽取出日志问题对数据。所述日志问题对数据包含用户问题和所述用户问题对应的匹配问题。所述匹配问题属于所述问答集。然后基于现有的问答匹配模型对这些问题对数据打上问答匹配模型分数，也即匹配度作为软标签构成后面易错模型训练的数据。
步骤203：根据所述错误问题对和所述日志问题对生成所述训练数据集。
所述错误问题对和所述日志问题对的数据格式是一样的。区别在于标注的来源不同，错误问题对是人为构造的，与问答集无关。所以所述错误问题对的标签可以人为是人为标注的。所述日志问题对的标签是通过所述问答匹配模型生成的。
图3是根据本公开实施例提供的一种问答匹配方法的流程示意图。
如图3所示，所述问答匹配方法包括：
步骤301：对所述错误反馈数据进行分类，以获取错误类型。
在一种可能的实施方式中，所述错误分类包括：极短易错问题、极短同义数据、前缀错误、间接同义、实体替换错误、其他易错。
步骤302：根据所述错误类型生成所述错误问题对，并获取所述错误问题对的匹配度。
在一种可能的实施方式中，所述错误分类包括：极短易错问题、极短同义数据、前缀错误、间接同义、实体替换错误、其他易错。可以根据所述错误分类构建所述错误问题对。例如[北京的面积是多少？，上海的面积是多少？]属于实体替换错误，匹配度为0。[北京的面积是多少？，中国首都的面积是多少？]属于间接同义，匹配度是1，一般问答匹配系统可能获取的匹配度较低。
图4是根据本公开实施例提供的一种问答匹配方法的流程示意图。
如图4所示，所述问答匹配方法包括：
步骤401：获取请求日志，根据所述请求日志获取日志问题对，其中，所述日志问题对包括用户问题和推荐匹配问题。
在真实的FAQ问答系统应用场景中，往往会积累大量的用户请求日志，包含用户的问题和现有的FAQ问答系统中问答集的匹配结果。从用户日志数据中，我们可以找到用户请求的问题，比如″世界上最高的山是哪座？″和匹配到的知识库里的问题，比如[世界第一高山是？，世界上最高的高原是？]。从而形成问题对。
我们将所述问题对输入问答匹配模型，可以得到对应的匹配度，将所述匹配度作为所述问题对的标签，以获取弱标注数据，比如[世界上最高的山是哪座？，世界第一高山是？]匹配度是0.9。[世界上最高的山是哪座？，世界第一高山是？]的匹配度是0.5。这些数据可以被用来作为训练数据。
步骤402：获取所述日志问题对的匹配度。
在一种可能的实施方式中，我们将所述问题对输入问答匹配模型，可以得到对应的匹配度，将所述匹配度作为所述问题对的标签，以获取弱标注数据，比如[世界上最高的山是哪座？，世界第一高山是？]匹配度是0.9。[世界上最高的山是哪座？，世界第一高山是？]的匹配度是0.5。这些数据可以被用来作为训练数据。
可选地，所述根据所述错误反馈数据和请求日志生成训练数据集，包括：
将所述错误问题对匹配度作为所述错误问题对的标签，并将所述日志问题对匹配度作为所述日志问题对的标签，以获取所述训练数据集。
在一种可能的实施方式中，我们将所述问题对输入问答匹配模型，可以得到对应的匹配度，将所述匹配度作为所述问题对的标签，以获取弱标注数据，比如[世界上最高的山是哪座？，世界第一高山是？]匹配度是0.9。[世界上最高的山是哪座？，世界第一高山是？]的匹配度是0.5。这些数据可以被用来作为训练数据。
可选地，所述根据所述训练数据集训练问答匹配模型，包括：
根据所述训练数据集训练所述问答匹配模型，直至所述问答匹配模型收敛。
在一种可能的实施方式中。所述训练过程为典型的神经网络的训练过程采用反向传播BP算法，使用两层transformer迁移结构的神经网络，以所述训练数据集训练所述问答匹配模型直到模型收敛。
图5是根据本公开实施例提供的一种问答匹配方法的流程示意图。
如图5所示，所述问答匹配方法包括：
步骤501：获取根据所述问答匹配方法训练的问答匹配模型。
在一种可能的实施方式中。所述训练过程为典型的神经网络的训练过程采用反向传播BP算法，使用两层transformer迁移结构的神经网络，以所述训练数据集训练所述问答匹配模型直到模型收敛。
步骤502：将用户问题输入所述问答匹配模型，获取所述用户问题对应的推荐匹配问题。
在一种可能的实施方式中。将所述用户问题数据所述问答匹配模型，由问答匹配模型获取所述用户问题和所述问答集中问题的匹配度，将所述匹配度最高的问题作为所述用户问题对应的推荐匹配问题。
步骤503：根据所述推荐匹配问题获取推荐回复，并将所述推荐回复反馈给用户。
在一种可能的实施方式中。将所述用户问题数据输入所述问答匹配模型，由问答匹配模型获取所述用户问题和所述问答集中问题的匹配度，将所述匹配度最高的问题作为所述用户问题对应的推荐匹配问题。所述问答集中包含问题的回答，根据所述推荐匹配问题可以获取对应的回复，即推荐回复。所述推荐回复即为所述用户问题的推荐回复。
根据用户提供的错误反馈数据迭代训练问答匹配模型，避免了一般问答匹配模型数据集灵活性差的问题，训练得到的问答匹配模型具备更好的泛化能力，提高了模型的鲁棒性。
本公开实施例还提供了一种问答匹配的装置，图6是根据本公开实施例提供的一种问答匹配装置的结构示意图。
如图6所示，所述问答匹配装置600包括：
接收模块610，用于获取错误反馈数据和请求日志。
在实际FAQ问答系统的应用场景中，需要用户数据来对所述FAQ问答系统进行更新训练。所述用户数据包括两类，一类是用户反馈的错误数据，也即所述错误反馈数据。这类数据往往是通过客服等途径收集到的用户的真实反馈，在不同类型的应用场景上往往有较大区别而且是在公开数据集和标注数据集上难以直接获得的。
另外一类用户数据是用户请求日志，在真实的FAQ问答系统应用场景中，往往会积累大量的用户请求日志，包含用户的问题和现有的FAQ问答系统中问答集的匹配结果。
本公开实施例采用所述接收模块来接收错误反馈数据和所述请求日志。
数据集生成模块620，用于根据所述错误反馈数据和请求日志生成训练数据集。
对于所述接收模块接收的所述错误反馈数据，我们首先采用总结归类的方法，抽象出若干种典型的错误类型，然后利用所述数据集生成模块，基于这些典型错误类型构造对应的错误问题对训练数据，所述错误问题对可以人工构建。用所述错误问题对来针对性提升所述问答匹配模型在这些典型错误类型上的区分能力。
对于所述接收模块接收的所述请求日志，这种最贴合用户使用的数据我们利用所述数据集生成模块抽取出日志问题对数据。所述日志问题对数据包含用户问题和所述用户问题对应的匹配问题。所述匹配问题属于所述问答集。然后基于现有的问答匹配模型对这些问题对数据打上问答匹配模型分数，也即匹配度作为软标签构成后面易错模型训练的数据。
根据所述错误问题对和所述日志问题对即可构建出训练数据集，来训练所述问答匹配模型。
训练模块，用于根据所述训练数据集训练问答匹配模型。
在一种可能的实施方式中。所述训练模块的训练过程为典型的神经网络的训练过程，采用反向传播BP算法，使用两层transformer迁移结构的神经网络，以所述训练数据集训练所述问答匹配模型直到模型收敛。
图7是根据本公开实施例提供的一种问答匹配装置的结构示意图。
如图7所示，所述问答匹配装置700包括：
错误问题对生成子模块710，用于根据所述错误反馈数据生成错误问题对。
对于错误反馈数据我们利用所述错误问题对生成子模块进行处理，首先采用总结归类的方法，抽象出若干种典型的错误类型，然后基于这些典型错误类型构造对应的错误问题对训练数据，所述错误问题对可以人工构建。用所述错误问题对来针对性提升所述问答匹配模型在这些典型错误类型上的区分能力。
日志问题对获取子模块720，用于根据所述请求日志获取日志问题对。
对于请求日志这种最贴合用户使用的数据我们利用所述日志问题对获取子模块进行处理，以抽取出日志问题对数据。所述日志问题对数据包含用户问题和所述用户问题对应的匹配问题。所述匹配问题属于所述问答集。然后基于现有的问答匹配模型对这些问题对数据打上问答匹配模型分数，也即匹配度作为软标签构成后面易错模型训练的数据。
数据集生成子模块730，用于根据所述错误问题对和所述日志问题对生成所述训练数据集。
本公开实施例利用所述数据集生成子模块获取训练数据集。所述错误问题对和所述日志问题对的数据格式是一样的。区别在于标注的来源不同，错误问题对是人为构造的，与问答集无关。所以所述错误问题对的标签可以人为是人为标注的。所述日志问题对的标签是通过所述问答匹配模型生成的。
图8是根据本公开实施例提供的一种问答匹配装置的结构示意图。
如图8所示，所述问答匹配装置800包括：
错误类型获取单元810，用于对所述错误反馈数据进行分类，以获取错误类型。
在一种可能的实施方式中，所述错误类型获取单元中，所述错误分类包括：极短易错问题、极短同义数据、前缀错误、间接同义、实体替换错误、其他易错。
错误问题对生成单元820，用于根据所述错误类型生成所述错误问题对，并获取所述错误问题对的匹配度。
在一种可能的实施方式中，所述错误问题对生成单元，其中，所述错误分类包括：极短易错问题、极短同义数据、前缀错误、间接同义、实体替换错误、其他易错。可以根据所述错误分类构建所述错误问题对。例如[北京的面积是多少？，上海的面积是多少？]属于实体替换错误，匹配度为0。[北京的面积是多少？，中国首都的面积是多少？]属于间接同义，匹配度是1，一般问答匹配系统可能获取的匹配度较低。
图9是根据本公开实施例提供的一种问答匹配装置的结构示意图。
如图9所示，所述问答匹配装置900包括：
日志问题获取单元910，用于获取请求日志，根据所述请求日志获取日志问题对，其中，所述日志问题对包括用户问题和推荐匹配问题。
在真实的FAQ问答系统应用场景中，往往会积累大量的用户请求日志，包含用户的问题和现有的FAQ问答系统中问答集的匹配结果。从用户日志数据中，我们可以找到用户请求的问题，比如″世界上最高的山是哪座？″和匹配到的知识库里的问题，比如[世界第一高山是？，世界上最高的高原是？]。从而形成问题对。
我们将所述问题对输入问答匹配模型，可以得到对应的匹配度，将所述匹配度作为所述问题对的标签，以获取弱标注数据，比如[世界上最高的山是哪座？，世界第一高山是？]匹配度是0.9。[世界上最高的山是哪座？，世界第一高山是？]的匹配度是0.5。这些数据可以被所述日志问题获取单元用来作为训练数据。
匹配度获取单元920，用于匹配度获取单元获取所述日志问题对的匹配度。
在一种可能的实施方式中，所述匹配度获取单元，用于将所述问题对输入问答匹配模型，可以得到对应的匹配度，将所述匹配度作为所述问题对的标签，以获取弱标注数据，比如[世界上最高的山是哪座？，世界第一高山是？]匹配度是0.9。[世界上最高的山是哪座？，世界第一高山是？]的匹配度是0.5。这些数据可以被用来作为训练数据。
可选地，所述数据集生成子模块，包括：
数据集生成单元，用于将所述错误问题对匹配度作为所述错误问题对的标签，并将所述日志问题对匹配度作为所述日志问题对的标签，以获取所述训练数据集。
在一种可能的实施方式中，所述数据集生成单元，用于将所述问题对输入问答匹配模型，可以得到对应的匹配度，将所述匹配度作为所述问题对的标签，以获取弱标注数据，比如[世界上最高的山是哪座？，世界第一高山是？]匹配度是0.9。[世界上最高的山是哪座？，世界第一高山是？]的匹配度是0.5。这些数据可以被用来作为训练数据。
可选地，所述训练模块，包括：
训练子模块，用于根据所述训练数据集训练所述问答匹配模型，直至所述问答匹配模型收敛。
在一种可能的实施方式中。所述训练子模块的训练过程为典型的神经网络的训练过程，采用反向传播BP算法，使用两层transformer迁移结构的神经网络，以所述训练数据集训练所述问答匹配模型直到模型收敛。
图10是根据本公开实施例提供的一种问答匹配装置的结构示意图。
如图10所示，所述问答匹配装置1000包括：
模型获取模块1010，用于获取根据所述问答匹配装置训练的问答匹配模型。
在一种可能的实施方式中。所述模型获取模块的训练过程为典型的神经网络的训练过程，采用反向传播BP算法，使用两层transformer迁移结构的神经网络，以所述训练数据集训练所述问答匹配模型直到模型收敛。
问题匹配模块1020，用于将用户问题输入所述问答匹配模型，获取所述用户问题对应的推荐匹配问题。
在一种可能的实施方式中。将所述用户问题数据所述问答匹配模型，由问答匹配模型获取所述用户问题和所述问答集中问题的匹配度，将所述匹配度最高的问题作为所述用户问题对应的推荐匹配问题。
推荐回复获取模块1030，用于根据所述推荐匹配问题获取推荐回复，并将所述推荐回复反馈给用户。
在一种可能的实施方式中，所述推荐回复获取模块，用于将所述用户问题数据输入所述问答匹配模型，由问答匹配模型获取所述用户问题和所述问答集中问题的匹配度，将所述匹配度最高的问题作为所述用户问题对应的推荐匹配问题。所述问答集中包含问题的回答，根据所述推荐匹配问题可以获取对应的回复，即推荐回复。所述推荐回复即为所述用户问题的推荐回复。
根据用户提供的错误反馈数据迭代训练问答匹配模型，避免了一般问答匹配模型数据集灵活性差的问题，训练得到的问答匹配模型具备更好的泛化能力，提高了模型的鲁棒性。
图11是根据本公开实施例提供的一种问答匹配装置的结构示意图。
如图11所示，所述问答匹配装置根据用户错误反馈数据采用总结归类的方法，抽象出若干种典型的错误类型，然后基于这些典型错误类型构造对应的错误问题对训练数据用于针对性提升模型在这些典型错误类型上的区分能力。同时根据所述请求日志获取抽取出日志问题对数据，然后基于现有的匹配模型对这些问题对数据打上匹配模型分数作为软标签构成后面易错模型训练的数据。
根据所述错误问题对和所述日志问题对构建训练数据集，利用所述训练数据集训练所述问答匹配模型，提高所述问答匹配模型对于错误问题的适应能力。提高了所述问答匹配模型的鲁棒性。
利用训练好的问答匹配模型检测用户问题，获取推荐匹配问题和推荐回复。经过一段时间的应用后，再根据所述错误反馈数据和所述用户日志对所述问答匹配模型进行训练。如此迭代训练下去，所述问答匹配模型的鲁棒性会越来越高。
在一种可能的实施方式中，也可以根据所述问答匹配模型的应用场景针对性地构建所述训练数据集。训练得到的问答匹配模型更适应指定的所述应用场景。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如所述问答匹配方法。例如，在一些实施例中，所述问答匹配方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的所述问答匹配方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行所述问答匹配方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种问答匹配的方法，应用于FAQ问答系统，包括：
获取错误反馈数据和请求日志；
根据所述错误反馈数据和请求日志生成训练数据集，包括：
对所述错误反馈数据进行分类，以获取错误类型；所述错误类型包括：极短易错问题、极短同义数据、前缀错误、间接同义和实体替换错误；
根据所述错误类型分类构造错误问题对，并标注所述错误问题对的匹配度；
获取请求日志，根据所述请求日志获取日志问题对，其中，所述日志问题对包括用户问题和推荐匹配问题；
获取所述日志问题对的匹配度；
将所述错误问题对匹配度作为所述错误问题对的标签，并将所述日志问题对匹配度作为所述日志问题对的标签，以获取所述训练数据集；
根据所述训练数据集训练问答匹配模型，包括：
采用反向传播BP算法，根据所述训练数据集训练所述问答匹配模型，直至所述问答匹配模型收敛，其中所述问答匹配模型采用两层transformer迁移结构的神经网络。
2.根据权利要求1所述的方法，所述根据所述错误反馈数据和请求日志生成训练数据集，包括：
根据所述错误反馈数据生成错误问题对；
根据所述请求日志获取日志问题对；
根据所述错误问题对和所述日志问题对生成所述训练数据集。
3.一种问答匹配的方法，包括：
获取如权利要求1－2训练的问答匹配模型；
将用户问题输入所述问答匹配模型，获取所述用户问题对应的推荐匹配问题；
根据所述推荐匹配问题获取推荐回复，并将所述推荐回复反馈给用户。
4.一种问答匹配的装置，应用于FAQ问答系统，包括：
接收模块，用于获取错误反馈数据和请求日志；
数据集生成模块，用于根据所述错误反馈数据和请求日志生成训练数据集；
训练模块，用于根据所述训练数据集训练问答匹配模型；
所述数据集生成模块包括错误问题对生成子模块，所述错误问题对生成子模块包括：
错误类型获取单元，用于对所述错误反馈数据进行分类，以获取错误类型；所述错误类型包括：极短易错问题、极短同义数据、前缀错误、间接同义和实体替换错误；
错误问题对生成单元，用于根据所述错误类型分类构造所述错误问题对，并标注所述错误问题对的匹配度；
所述训练模块，包括：
训练子模块，用于采用反向传播BP算法，根据所述训练数据集训练所述问答匹配模型，直至所述问答匹配模型收敛，其中所述问答匹配模型采用两层transformer迁移结构的神经网络；
所述数据集生成子模块，包括：
数据集生成单元，用于将所述错误问题对匹配度作为所述错误问题对的标签，并将所述日志问题对匹配度作为所述日志问题对的标签，以获取所述训练数据集；
所述数据集生成模块包括日志问题对获取子模块，所述日志问题对获取子模块包括：
日志问题获取单元，用于获取请求日志，根据所述请求日志获取日志问题对，其中，所述日志问题对包括用户问题和推荐匹配问题；
匹配度获取单元，用于匹配度获取单元获取所述日志问题对的匹配度。
5.根据权利要求4所述的装置，所述数据集生成模块，包括：
错误问题对生成子模块，用于根据所述错误反馈数据生成错误问题对；
日志问题对获取子模块，用于根据所述请求日志获取日志问题对；
数据集生成子模块，用于根据所述错误问题对和所述日志问题对生成所述训练数据集。
6.一种问答匹配的装置，包括：
模型获取模块，用于获取如权利要求4－5训练的问答匹配模型；
问题匹配模块，用于将用户问题输入所述问答匹配模型，获取所述用户问题对应的推荐匹配问题；
推荐回复获取模块，用于根据所述推荐匹配问题获取推荐回复，并将所述推荐回复反馈给用户。
7.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－2中任一项所述的方法。
8.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求3中所述的方法。
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1－2中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求3中所述的方法。
CN202110738866.2A 2021-06-30 2021-06-30 问答匹配的方法、装置及电子设备 Active CN113553415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110738866.2A CN113553415B (zh) 2021-06-30 2021-06-30 问答匹配的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110738866.2A CN113553415B (zh) 2021-06-30 2021-06-30 问答匹配的方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113553415A CN113553415A (zh) 2021-10-26
CN113553415B true CN113553415B (zh) 2023-06-02

Family

ID=78131182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110738866.2A Active CN113553415B (zh) 2021-06-30 2021-06-30 问答匹配的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113553415B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523031B (zh) * 2023-07-05 2024-05-10 深圳须弥云图空间科技有限公司 语言生成模型的训练方法、语言生成方法及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111198940A (zh) * 2019-12-27 2020-05-26 北京百度网讯科技有限公司 Faq方法、问答检索系统、电子设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220380A (zh) * 2017-06-27 2017-09-29 北京百度网讯科技有限公司 基于人工智能的问答推荐方法、装置和计算机设备
US11475067B2 (en) * 2019-11-27 2022-10-18 Amazon Technologies, Inc. Systems, apparatuses, and methods to generate synthetic queries from customer data for training of document querying machine learning models
CN111125335B (zh) * 2019-12-27 2021-04-06 北京百度网讯科技有限公司 问答处理方法、装置、电子设备和存储介质
CN111737424A (zh) * 2020-02-21 2020-10-02 北京沃东天骏信息技术有限公司 一种问题的匹配方法、装置、设备及存储介质
CN111625635B (zh) * 2020-05-27 2023-09-29 北京百度网讯科技有限公司 问答处理方法、装置、设备及存储介质
CN113051374B (zh) * 2021-06-02 2021-08-31 北京沃丰时代数据科技有限公司 一种文本匹配优化方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111198940A (zh) * 2019-12-27 2020-05-26 北京百度网讯科技有限公司 Faq方法、问答检索系统、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Shou, Linjun et al..Mining Implicit Relevance Feedback from User Behavior for Web Question Answering.《 KDD '20: PROCEEDINGS OF THE 26TH ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY & DATA MINING》.2020,第 2931–2941页. *
陶永芹.专业领域智能问答系统设计与实现.计算机应用与软件.2018,(05),第101-107页. *

Also Published As

Publication number Publication date
CN113553415A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
EP3913499A1 (en) Method and apparatus for processing dataset, electronic device and storage medium
US20180365209A1 (en) Artificial intelligence based method and apparatus for segmenting sentence
US20220318275A1 (en) Search method, electronic device and storage medium
CN112559631B (zh) 分布式图数据库的数据处理方法、装置以及电子设备
EP4123474A1 (en) Method for acquiring structured question-answering model, question-answering method and corresponding apparatus
CN112784589B (zh) 一种训练样本的生成方法、装置及电子设备
WO2023178965A1 (zh) 一种意图识别方法、装置、电子设备及存储介质
CN113657483A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN114841274B (zh) 语言模型的训练方法、装置、电子设备和存储介质
CN115099239B (zh) 一种资源识别方法、装置、设备以及存储介质
CN116303537A (zh) 数据查询方法及装置、电子设备、存储介质
CN113220835A (zh) 文本信息处理方法、装置、电子设备以及存储介质
CN115510212A (zh) 一种文本事件抽取方法、装置、设备及存储介质
CN114239559B (zh) 文本纠错和文本纠错模型的生成方法、装置、设备和介质
EP3992814A2 (en) Method and apparatus for generating user interest profile, electronic device and storage medium
CN114244795B (zh) 一种信息的推送方法、装置、设备及介质
CN113553415B (zh) 问答匹配的方法、装置及电子设备
CN113535916B (zh) 一种基于表格的问答方法、装置及计算机设备
WO2024152550A1 (zh) 图片处理方法、装置、电子设备及存储介质
CN111339314B (zh) 一种三元组数据的生成方法、装置和电子设备
CN117273117A (zh) 语言模型训练方法、奖励模型训练方法、装置及电子设备
CN117391067A (zh) 内容质检方法、装置、设备以及存储介质
CN112489790A (zh) 关键数据确定方法、装置、设备及存储介质
CN115292467B (zh) 信息处理与模型训练方法、装置、设备、介质及程序产品
CN114861639B (zh) 提问信息生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant