CN115186070A - 信息处理方法、装置、设备、存储介质及程序产品 - Google Patents

信息处理方法、装置、设备、存储介质及程序产品 Download PDF

Info

Publication number
CN115186070A
CN115186070A CN202210923755.3A CN202210923755A CN115186070A CN 115186070 A CN115186070 A CN 115186070A CN 202210923755 A CN202210923755 A CN 202210923755A CN 115186070 A CN115186070 A CN 115186070A
Authority
CN
China
Prior art keywords
information
reply
accurate
user
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210923755.3A
Other languages
English (en)
Inventor
李鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210923755.3A priority Critical patent/CN115186070A/zh
Publication of CN115186070A publication Critical patent/CN115186070A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/01Customer relationship services
    • G06Q30/012Providing warranty services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/01Customer relationship services
    • G06Q30/015Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016After-sales

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Accounting & Taxation (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供一种信息处理方法、装置、设备、存储介质及程序产品,其中方法包括:确定用户的输入信息对应的意图,并获取商家预先配置的、用于回复所述意图的答复信息;将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段;判断所述精准答复片段是否符合预设规则,以在向用户输出所述答复信息时突出展示符合预设规则的精准答复片段,从而可以提高输出答复信息的精准度,能够使用户在答复信息中快速定位到自己感兴趣的精准答复片段,节约用户查看答复信息的时间,提高用户体验度。

Description

信息处理方法、装置、设备、存储介质及程序产品
技术领域
本申请涉及人工智能技术领域,尤其涉及一种信息处理方法、装置、设备、存储介质及程序产品。
背景技术
随着人工智能的不断发展,智能客服作为一种典型的智能化服务产品,应用也越来越广泛。当前,对于智能客服来说,如何解决好用户的对话体验是个核心的技术问题。
在实际应用中,为了尽可能解决用户问到的问题,智能客服通常会针对用户的问题,回复较长的一段答案,导致答案冗长,用户往往要花费大量时间阅读答案,时间成本较高,用户体验较差。
发明内容
本申请实施例的主要目的在于提供一种信息处理方法、装置、设备、存储介质及程序产品,以在对话过程中向用户突出展示精准答复片段,提升用户体验。
第一方面,本申请实施例提供一种信息处理方法,包括:
确定用户的输入信息对应的意图,并获取商家预先配置的、用于回复所述意图的答复信息;
将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段;
判断所述精准答复片段是否符合预设规则,以在向用户输出所述答复信息时突出展示符合预设规则的精准答复片段。
可选的,所述方法还包括:
获取至少一个历史用户对应的对话记录,从所述对话记录中提取多个轮次的对话;其中,每一轮次的对话包括历史用户的历史输入信息,以及针对所述历史输入信息的历史答复信息;
根据所述多个轮次的对话,对自然语言模型进行预训练,并根据所述多个轮次的历史答复信息中标注出的精准答复片段,对预训练后的自然语言模型进行微调训练,得到所述机器阅读理解模型。
可选的,根据所述多个轮次的历史答复信息中标注出的精准答复片段,对预训练后的自然语言模型进行微调训练,包括:
将每一轮次的对话输入到判别模型,以判断所述轮次的历史答复信息中是否存在与输入信息相匹配的精准答复片段;
如果通过判别模型判断存在精准答复片段的对话,在所述对话的历史答复信息中标注出精准答复片段;
根据标注出的精准答复片段,对预训练后的自然语言模型进行微调训练。
可选的,将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段,包括:
将所述输入信息和所述答复信息输入到所述判别模型,以判断所述答复信息中是否存在与所述输入信息相匹配的精准答复片段;
若存在,则将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段。
可选的,判断所述精准答复片段是否符合预设规则,包括:
基于所述预训练后的自然语言模型,对所述精准答复片段是否符合预设规则进行评分;
根据评分结果确定所述精准答复片段是否符合预设规则。
可选的,所述方法还包括:
针对不符合预设规则的精准答复片段,确定对应的错误类型,其中,所述错误类型包括下述至少一项:标点冗余或标点缺失、实体截断、非实体内容缺失或冗余;
确定所述精准答复片段所在的目标语句以及所述目标语句的相邻语句;
将所述目标语句、相邻语句、所述目标语句中所述精准答复片段的起始位置和结束位置、以及所述错误类型输入到答复调整模型,以对所述精准答复片段的起始位置和/或结束位置进行调整,得到符合预设规则的精准答复片段,用于在向用户输出的所述答复信息中突出展示。
可选的,确定用户的输入信息对应的意图,并获取商家预先配置的、用于回复所述意图的答复信息,包括:
将用户的输入信息输入到意图识别模型,得到对应的意图;
根据所述意图和所述输入信息的上下文信息,从所述商家预先配置的知识库中,确定符合所述意图和上下文信息的答复信息;
其中,所述上下文信息包括用户交互的商品信息和/或页面信息。
第二方面,本申请实施例提供一种信息处理方法,包括:
确定用户的输入信息对应的意图,并获取预先配置的、所述意图对应的答复信息;其中,所述答复信息包括下述至少一种类型的信息:视频、音频、图像、文本;
根据所述输入信息,从所述答复信息中确定与所述输入信息相匹配的至少一个答复片段;
判断所述至少一个答复片段是否符合用户观看规律,以根据符合用户观看规律的答复片段回复所述用户。
第三方面,本申请实施例提供一种信息处理装置,包括:
第一确定模块,用于确定用户的输入信息对应的意图,并获取商家预先配置的、用于回复所述意图的答复信息;
第一筛选模型,用于将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段;
第一判断模块,用于判断所述精准答复片段是否符合预设规则,以在向用户输出所述答复信息时突出展示符合预设规则的精准答复片段。
第四方面,本申请实施例提供一种信息处理装置,包括:
第二确定模块,用于确定用户的输入信息对应的意图,并获取预先配置的、所述意图对应的答复信息;其中,所述答复信息包括下述至少一种类型的信息:视频、音频、图像、文本;
第二筛选模型,用于根据所述输入信息,从所述答复信息中确定与所述输入信息相匹配的至少一个答复片段;
第二判断模块,用于判断所述至少一个答复片段是否符合用户观看规律,以根据符合用户观看规律的答复片段回复所述用户。
第五方面,本申请实施例提供一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述电子设备执行上述任一方面所述的方法。
第六方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现上述任一方面所述的方法。
第七方面,本申请实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述任一方面所述的方法。
本申请实施例提供的信息处理方法、装置、设备、存储介质及程序产品,可以根据用户的输入信息对应的意图,获取商家预先配置的、用于回复所述意图的答复信息,将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段,并判断所述精准答复片段是否符合预设规则,以在所述答复信息中突出展示符合预设规则的精准答复片段,从而可以提高输出答复信息的精准度,能够使用户在答复信息中快速定位到自己感兴趣的精准答复片段,节约用户查看答复信息的时间,提高用户体验度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种应用场景示意图;
图2为本申请实施例提供的一种答复信息的展示示意图;
图3为本申请实施例提供的一种信息处理方法的流程示意图;
图4为本申请实施例提供的一种微调训练的示意图;
图5为本申请实施例提供的一种模型训练过程和在线咨询过程的流程示意图;
图6为本申请实施例提供的一种信息处理方法的原理示意图;
图7为本申请实施例提供的又一种信息处理方法的流程示意图;
图8为本申请实施例提供的一种展示视频答复片段的示意图;
图9为本申请实施例提供的一种电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。
首先对本申请所涉及的名词进行解释:
智能客服:一种基于自然语言处理技术,自动化解决用户问题的在线客服系统。
回复答案:智能客服中机器人回复用户的答案,可能是一段文本、图像、或者富文本答案。
精准答案标注:针对用户输入的query(询问),将最能回答用户query的一段精准答案识别并标注出来的方法。
单轮对话:指对于一次用户提问,机器人进行回答所产生的一轮对话内容。
在电子商务领域,智能客服可以帮助商家(卖家)快速、及时地回复用户(买家)输入的信息,提高响应速度,减轻商家的负担。但是,智能客服输出的答复信息的精准性依然有待提高。
图1为本申请实施例提供的一种应用场景示意图。如图1所示,商家可以使用自身的终端设备,针对不同的商品、不同的意图,配置对应的答复信息并上传到云端。用户在线咨询过程中,用户的终端设备获取到用户输入的问题后,可以将问题上传到云端,云端将问题输入到意图识别模型,得到对应的意图,并从商家预先配置的答复信息中,确定当前意图对应的答复信息。
受限于商家的时间及精力成本,意图的分类很难做到精细化,而由于用户输入的问题通常各式各样,因此,一项意图经常会涵盖各式各样的多个问题。为了尽可能地解决用户在该意图下提出的问题,商家通常会配置较长的一段答复信息。
示例性地,意图可以包括:商品功能、使用方法、优惠活动等。对于“商品功能”这一意图来说,商家可以配置一段答复信息以便能涵盖用户可能问到的各种功能问题。例如,商家为某一电饭煲的“商品功能”配置的答复信息可以为:“这款电饭煲功能丰富,可以做柴火饭、杂粮饭、煲仔饭、石锅饭,还能煮粥和煲汤,自带蒸笼支持蒸煮,还可以做饼干和蛋糕哦,另外还支持定时功能和预约功能,支持手机蓝牙智能控制,适合2-4人享用,快点带回家吧。”
假设用户输入的问题是:“这个电饭煲能煮粥吗”,对应的意图为“商品功能”,智能客服会将“商品功能”对应的上述答复信息输出给用户,导致用户需要从一大段文字中找到是否能煮粥的内容,需要花费大量的时间,用户体验不佳。
有鉴于此,在本申请实施例中,在确定意图对应的原始的答复信息后,可以将用户的问题和答复信息输入到机器阅读理解(Machine Reading Comprehension,MRC)模型,机器阅读理解模型能够从一段文档中确定问题对应的答案,本申请实施例将其应用于电子商务领域的智能客服,对原本要向用户输出的答复信息进一步进行处理,得到该答复信息中能够准确回复用户问题的精准答复片段,并做出重点标注。
将机器阅读理解模型应用于对答复信息进行进一步标注后,得到的精准答复片段可能会存在缺字少字、不够通顺等问题,对标注出的结果影响很大。虽然可以通过优化训练数据和模型结构来改善,但是成本非常高,而且效果并不明显。
因此,本申请实施例中,设置了对机器阅读理解模型输出的精准答复片段进行筛选的模型,该模型能够对精准答复片段进行评价,若符合预设规则如符合自然语言规律,则可以作为最终的精准答复片段。云端可以将用户的问题对应的答复信息以及其中的精准答复片段发送给用户的终端设备,由终端设备向用户展示所述答复信息,并突出其中的精准答复片段,从而解决原始的答复信息过于冗长、不够精准的问题。
图2为本申请实施例提供的一种答复信息的展示示意图。如图2所示,用户输入的问题“这个电饭煲能煮粥吗”后,智能客服可以输出对应的答复信息,并在其中突出显示“能煮粥”这一精准答复片段,方便用户根据突出显示后的精准答复片段,快速定位到能够解决自身问题的内容,即“能煮粥”三个字,无需花费大量时间查看智能客服的答复信息,能够提高输出答复信息的精准度,节约用户时间,提高用户体验度。
需要说明的是,以上场景只是示例,在实际应用中,可以根据实际需要调整,例如,机器阅读理解模型可以部署于用户的终端设备,用户在线咨询过程中,可以通过终端设备确定对应的精准答复片段,减少云端压力,提高对用户输入信息的响应速度。
下面结合附图,对本申请的一些实施方式作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
图3为本申请实施例提供的一种信息处理方法的流程示意图。本实施例中方法的执行主体可以应用于任意具有信息处理功能的设备或模块,例如云端或终端设备等。如图3所示,所述方法可以包括:
步骤301、确定用户的输入信息对应的意图,并获取商家预先配置的、用于回复所述意图的答复信息。
可选的,电子商务平台对应的应用程序(Application,APP)可以向用户提供商家的客服会话页面,用户可以在客服会话页面中实现与商家的智能客服的对话。所述输入信息可以为用户在客服会话页面输入的任意信息,可以是问题,也可以是陈述句或者词语等。智能客服可以针对用户输入的任意信息进行回复。
可选的,在获取到用户的输入信息后,可以将所述输入信息输入到预设的意图识别模型中,识别得到所述输入信息对应的意图。商家可以预先为每个意图配置答复信息,因此,用户在线咨询过程中,可以根据用户当前的意图,查找商家预先为该意图设置的答复信息。
步骤302、将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段。
可选的,所述答复信息可以是一段文本,通过机器阅读理解模型,可以从这段文本中找到用于回答用户输入信息的精准答复片段。
其中,所述精准答复片段,指的是在答复信息中与输入信息相匹配的部分内容。示例性地,用户的问题是“能煮粥吗”,则精准答复片段可以是答复信息中的“能煮粥”三个字。
在本实施例中,所述精准答复片段可以是通过机器阅读理解模型确定的,机器阅读理解模型能够从一段文本中找出能够回答问题的答案,但是,将机器学习模型应用于在答案中再进一步精选答案,难免会存在输出结果不合理的情况,因此,可以使用下面的步骤进行精准答案筛选。
步骤303、判断所述精准答复片段是否符合预设规则,以在向用户输出所述答复信息时突出展示符合预设规则的精准答复片段。
可选的,预设规则可以包括自然语言规律,符合自然语言规律可以是指符合一般人的说话习惯。可选的,可以通过一些判断条件,或者通过语言模型等方式,判断所述精准答复片段是否符合预设规则。
在一示例中,可以通过预设的判断条件来确定所述精准答复片段是否符合预设规则。例如,若以特定字符开始或结束,则认为是不符合预设规则的:如以标点符号或者“的”“了”等字开始,可以认为是不符合一般人说话习惯的。
在另一示例中,可以通过能够对文本进行评分的语言模型,判断所述精准答复片段是否符合预设规则。例如,将所述精准答复片段输入到语言模型,若得到的评分较高,则认为是符合预设规则的,反之则可以认为是不符合预设规则的。
若最终确定精准答复片段是符合预设规则的,则可以向用户透出所述精准答复片段。具体的,可以在客服会话页面,展示所述答复信息作为对用户输入信息的回复,并在答复信息中突出所述精准答复片段。
可选的,突出展示可以有多种实现方式,示例性地,可以包括下述至少一项:高亮、使用特殊字体、加粗、下划线、加框等,只要能够方便用户在一整段答复信息中快速定位到精准答复片段即可。
在实际应用中,为了实现对用户问题的快速响应,商家可以预先配置各种意图对应的答复信息,在用户在线咨询过程中,对于用户的每一条输入信息,均可以采用本实施例提供的方法,输出对应的答复信息并突出显示其中的精准答复片段,从而实现针对单轮对话的精准答案标注,提高用户在每一轮对话中的体验度。
此外,所述预设规则也可以包括其他规则。示例性地,可以由商家配置所述预设规则,该规则可以是符合商家风格的规则,商家风格可以包括:严肃、活泼、简洁等,以实现商家对预设规则的定制化。
综上,本实施例提供的信息处理方法,可以根据用户的输入信息对应的意图,获取商家预先配置的、用于回复所述意图的答复信息,将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段,并判断所述精准答复片段是否符合预设规则,以在所述答复信息中突出展示符合预设规则的精准答复片段,从而可以提高输出答复信息的精准度,能够使用户在答复信息中快速定位到自己感兴趣的精准答复片段,节约用户查看答复信息的时间,提高用户体验度。
在本申请的一个或多个实施例中,可选的,机器阅读理解模型可以通过历史用户与商家之间的对话记录来训练得到。
可选的,可以获取至少一个历史用户对应的对话记录,从所述对话记录中提取多个轮次的对话;其中,每一轮次的对话包括历史用户的历史输入信息,以及针对所述历史输入信息的历史答复信息;根据所述多个轮次的对话,对自然语言模型进行预训练(pretrain),并根据所述多个轮次的历史答复信息中标注出的精准答复片段,对预训练后的自然语言模型进行微调(finetune)训练,得到所述机器阅读理解模型。
其中,所述自然语言模型可以是任意的能够处理自然语言的模型,例如Bert等。对自然语言模型的处理过程可以包括预训练和微调两部分。在本实施例中,为了能使自然语言模型能够较好地拟合电商场景下的对话数据,可以利用历史用户的实际对话数据对自然语言模型进行预训练。
可选的,所述历史用户的对话记录,可以是历史用户与商家的对话记录,具体可以包括历史用户与商家的智能客服之间的对话记录,和/或,历史用户与商家的人工客服之间的对话记录。
可选的,预训练的过程可以包括:对于任一轮次,将该轮次的历史输入信息和历史答复信息进行拼接,得到该轮次对应的预训练数据;根据多个轮次的预训练数据,对自然语言模型进行预训练。
具体的,可以采用完形填空的方式对自然语言模型进行预训练:对于每一轮次对应的预训练数据,可以对该预训练数据进行随机掩码(mask),遮挡住该预训练数据中的一个或多个字词,再将遮挡后的预训练数据输入到自然语言模型,使自然语言模型预测被遮挡的字词,从而实现对自然语言模型的预训练。
在进行预训练时,将历史输入信息和历史答复信息拼接起来,一起作为自然语言模型的输入,能够使自然语言模型学习到历史输入信息和历史答复信息之间的关联,更加精准地提取对话的实际含义,提升预训练效果。
在实际应用中,考虑到模型后续要用于在线预测,对耗时比较敏感,所以可以采用较少层数的自然语言模型,例如,可以采用两层的Bert模型(tiny-bert)。在随机初始化自然语言模型后,可以按照上述方法,采集海量的对话数据并进行随机mask,得到处理好的预训练数据,最后使用处理好的预训练数据对随机初始化的自然语言模型进行预训练。
在预训练完成后,可以继续对自然语言模型进行微调训练。可选的,可以利用对每一对话的历史答复信息进行标注,得到其中的精准答复片段,并利用标注出的精准答复片段作为监督信号,对预训练后的自然语言模型进行微调训练,得到的模型可以用作在线预测的机器阅读理解模型。
综上,通过采集历史用户与商家的对话记录,并从中提取一问一答的内容构建预训练数据,对自然语言模型进行预训练,能够自然语言模型对电商场景下的实际对话进行学习,使自然语言模型对电商场景的对话有更好的拟合能力,提高的模型识别准确率,再根据对话中标注出的精准答复片段作为监督信号,对预训练后的自然语言模型进行微调训练,使得最终得到的模型能够快速、准确地实现精准答复片段的定位,提升模型训练的效率和得到的阅读理解模型的准确性。
在本申请的一个或多个实施例中,可选的,根据所述多个轮次的历史答复信息中标注出的精准答复片段,对预训练后的自然语言模型进行微调训练,可以包括:
将每一轮次的对话输入到判别模型中,以判断所述轮次的历史答复信息中是否存在与输入信息相匹配的精准答复片段;
如果通过判别模型判断存在精准答复片段的对话,在所述对话的历史答复信息中标注出精准答复片段;
根据标注出的精准答复片段,对预训练后的自然语言模型进行微调训练。
在实际训练过程中,高质量的有标数据对自然语言模型能否较好地拟合下游任务有重要影响,因此,本实施例重点对微调训练使用的训练数据的获取过程进行了设计。
通常的有标数据构造方法有自动化构造、人工标注等,由于答复信息标注的复杂性,比较适合于借助人工标注的方法。但在标注过程中,发现这样一个问题,在待标注的对话数据中,很多对话的答复信息中并没有输入信息对应的精准答复片段,这样通过人工标注花费大量时间后,只能获取到少量的训练数据,使得标注过程的效率非常低。
因此,本实施例设计了一种前置判断策略,利用问题答案相关性的判别模型,对海量的对话数据进行检测,判别模型输出的分数越高,说明答复信息可以回答输入信息的概率越大,其中存在精准答复片段的概率也越大,最后将获得高打分的对话数据,进行批量送标,以提升标注效果。
图4为本申请实施例提供的一种微调训练的示意图。如图4所示,可以获取多个轮次的对话,每一轮次的对话包括一问一答,即历史输入信息和历史答复信息,分别用Q和A表示,示例性地,图中示出了三轮对话,其中的历史输入信息分别为Q1、Q2、Q3,历史答复信息分别为A1、A2、A3。
对于每一轮次的对话,可以将该轮次的对话输入到判别模型中,判别模型可以确定该轮对话中的历史输入信息和历史答复信息之间的相关性,相关性越高,则认为历史输入信息和答复信息越匹配,历史答复信息中存在精准答复片段的概率越大。若相关性很低,说明这个历史答复信息可能不足以回答对应的历史输入信息,从中很难标注出精准答复片段。
这样,通过判别模型,可以对每一轮次的对话进行判断,并从中筛选出存在精准答复片段的对话。示例性地,根据判别模型,发现第一轮对话和第三轮对话中不存在精准答复片段,而第二轮对话中存在精准答复片段,因此,可以将第二轮对话中的Q2和A2展示给标注人员,由标注人员根据Q2,从A2中标注出精准答复片段。
在标注出的精准答复片段后,可以构建训练样本,训练样本可以包括一轮对话中的历史输入信息和历史答复信息,并将历史答复信息中的所述精准答复片段设置为标签,作为监督信号,对预训练后的自然语言模型进行微调训练。
可选的,判别模型可以通过如下方式训练得到:获取正样本组和负样本组,正样本组包括多个正样本,每一正样本包括相匹配的输入信息和答复信息,负样本组包括多个负样本,每一负样本包括不匹配的输入信息和答复信息;根据正样本组和负样本组训练判别模型,使得判别模型处理正样本时,输出的相关性尽可能地逼近1,处理负样本时,输出的相关性尽可能地接近0,从而使训练得到的判别模型能够判断任意一对历史输入信息和历史答复信息的相关性。
可以理解的是,若通过判别模型判断出历史输入信息和历史答复信息的相关性高于预设阈值,则可以认为历史答复信息中存在精准答复片段,将该历史答复信息送去人工标注,但是,在人工标注过程中,可能存在该历史答复信息中实际并没有精准答复片段的情况,若没有精准答复片段,则可以将对应的标签设置为空。在线预测过程中,若通过机器阅读理解模型对当前的答复信息进行处理,得到的结果为空,说明当前的答复信息中不存在精准答复片段,可以不针对答复信息中的内容进行突出显示。
可选的,在微调训练时,可以对训练样本中的信息进行文本建模。示例性地,可以利用预训练的自然语言模型的token(子词)词典,将训练样本中的文本信息进行字粒度的ID化表示。在输入节点上,可以将历史输入信息和历史答复信息进行拼接,并在两端和中间加入特殊分隔符。此外,有些自然语言模型可能会对输入的文本长度有限制,因此,可以对训练样本中的文本信息进行截断处理,得到长度满足要求的文本信息进行微调训练。
示例性地,假设自然语言模型的文本长度限制在512字,那么,将历史输入信息和历史输出信息拼接后,若得到的文本长度超过512字,则可以进行截断处理,得到512字的待输入文本,并通过token词典,将待输入文本中的每个字转换为对应的嵌入向量。以嵌入向量为1024维向量为例,可以将512字的待输入文本转换为512*1024维的向量,输入到自然语言模型中实现微调训练。
微调训练的监督信号为历史答复信息中的精准答复片段,可选的,模型输出结果的表现形式可以为精准答复片段在历史答复信息中的起始位置和结束位置,或者,可以为历史答复信息中每一个字是否属于精准答复片段。
综上,通过判别模型可以对海量的对话数据进行检测,判断每一对话的历史答复信息中是否存在能够回答输入信息的精准答复片段,若存在则送去人工标注,大大提高了待标注数据中的可用数据比例,有效提升标注效率,进而提升微调训练的整体效率。
在其它可选的实现方式中,也可以通过语义匹配等方式判断对话中的历史输入信息和历史答复信息的相关性,从而决定是否将对话送去人工标注。
在本申请的一个或多个实施例中,可选的,将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段,可以包括:将所述输入信息和所述答复信息输入到所述判别模型,以判断所述答复信息中是否存在与所述输入信息相匹配的精准答复片段;若存在,则将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段。
具体的,用户在线咨询过程中,在获取到用户的输入信息并确定对应的答复信息后,可以利用判别模型,先确定所述输入信息和所述答复信息的相关性是否满足要求,即,所述答复信息中是否存在与所述输入信息相匹配的精准答复片段,若通过判别模型判断存在精准答复片段,再通过机器阅读理解模型对所述输入信息和答复信息进行处理,进一步得到精准答复片段的位置。
综上,通过将用于辅助实现训练数据标注的判别模型应用于在咨询,能够有效地对在线咨询过程中产生的答复信息进行过滤,将存在精准答复片段的答复信息送至机器阅读理解模型进行精准定位,因为判别模型是用于定性判断,相对于机器阅读理解模型的精准定位识别来说,工作量更小,速度更快,因此可以有效减少整体的工作量,提升在线咨询的响应速度。
在本申请的一个或多个实施例中,可选的,判断所述精准答复片段是否符合预设规则,可以包括:基于所述预训练后的自然语言模型,对所述精准答复片段是否符合预设规则进行评分;根据评分结果确定所述精准答复片段是否符合预设规则。
考虑到直接使用机器阅读理解模型获得的精准答复片段,可能会存在边界识别错误等问题,而仅仅通过优化训练过程和模型结构,并不能很好地改善这一问题。因此,可以通过预训练的自然语言模型对精准答复片段进行评分。
对于一般的自然语言模型,例如Bert,已经提供了对文本进行评分的功能,只要直接使用模型的评分功能即可,评分结果越高,表明越符合自然语言规律,而不符合自然语言规律的错误答案片段,模型的评分会比较低。可以采用前述的预训练后的自然语言模型,即通过多个轮次的对话进行预训练后得到的自然语言模型,对精准答复片段进行评分。
在其它可选的实现方式中,若自然语言模型本身不带评分功能,则可以将评分作为一个下游任务,对预训练后的自然语言模型进行微调训练,得到能够实现评分功能的模型,利用该模型对机器阅读理解模型输出的精准答复片段进行评分。
通过模型评分,可以对机器阅读理解模型提取的精准答复片段进行过滤,如果评分结果比较高,可以向用户展示答复信息,并在其中突出显示精准答复片段,如果评分结果比较低,说明机器阅读理解模型输出的结果不太符合预设规则,不适合向用户透出,因此,可以直接展示答复信息,无需突出显示精准答复片段。
综上,本实施例中,让机器阅读理解模型和用于评分的自然语言模型,共用预训练操作,无需额外的工作量即可得到用于过滤精准答复片段的自然语言模型,并且预训练能够有效提高用于评分的自然语言模型对电商对话数据的处理效果,从而可以在节省工作量、提升效率的基础上,有效提高模型输出的准确性,提升答复信息的标注效果,进一步提升用户体验度。
图5为本申请实施例提供的一种模型训练过程和在线咨询过程的流程示意图。如图5所示,在模型训练过程中,可以基于历史用户与商家的对话,对自然语言模型进行预训练,预训练后的自然语言模型能够更好地对电商对话数据进行处理。此外,对于任一对话,可以将该对话输入到判别模型中,以确定该对话的答复信息与输入信息的相关性,若相关性较高,则可以对答复信息进行人工标注,得到精准答复片段作为监督信号,对预训练后的自然语言模型进行微调训练,得到机器阅读理解模型。
在线咨询过程中,获取到用户的输入信息并确定对应的意图后,可以获取该意图对应的答复信息,并通过判别模型,判断所述答复信息中是否存在精准答复片段,若存在,则通过机器阅读理解模型确定其中的精准答复片段,并判断精准答复片段是否符合预设规则,若符合,则在向用户展示答复信息时,突出显示精准答复片段。
若判断答复信息中不存在精准答复片段,或者,若通过机器阅读理解模型确定的精准答复片段不符合预设规则,则可以直接向用户正常展示答复信息,不进行突出显示。
其中,模型训练过程中涉及到的模型,与在线咨询过程中的某些步骤通过虚线相连,表示该模型可以应用于该步骤。
通过图5所示的方法,可以采用经过大规模无标对话语料对自然语言模型进行预训练,有效地学习电商客服场景下的对话数据,之后利用预训练好的自然语言模型,在训练师人工标注的有标语料上进行微调训练,从而使模型有效地对电商客服数据进行拟合,另外还加入了语言模型检验的方法,通过借助语言模型的能力,对不符合预设规则的边界识别错误问题进行过滤,解决传统机器阅读理解模型对长文本进行答案标注时可能出现的识别边界问题,提高模型的上线效果。
可选的,还可以针对不符合预设规则的精准答复片段,确定对应的错误类型,其中,所述错误类型包括下述至少一项:实体截断、非实体内容缺失或冗余、标点缺失或标点冗余或;根据所述错误类型对所述精准答复片段进行调整,得到符合预设规则的精准答复片段,用于在所述答复信息中突出展示。
可选的,错误类型可以通过具有分类功能的自然语言模型来识别,或者,可以通过训练样本训练一分类模型来识别错误类型。
示例性地,实体可以是文本中具有特定意义的词,例如人名、地名、专有名词等。若机器阅读理解模型识别出的精准答复片段中仅包含了某一实体的部分内容,则认为出现实体截断,例如,“电饭煲”作为一个实体,若精准答复片段中仅包含了其中一部分,如仅包含“电饭”或者“饭煲”,会导致精准答复片段不符合预设规则。
针对实体截断这一错误类型,可以通过实体识别模型识别出答复信息中的实体,并在精准答复片段出现实体截断时,将实体补充完整,例如,在精准答复片段中“电饭”调整为“电饭煲”。
非实体内容可以是指除实体以外的其它内容,例如,“的”、“了”等一般都属于非实体内容,若精准答复片段中多了某些非实体内容或者缺失了某些非实体内容,导致与常规的语言表述习惯不同,则认为出现了非实体内容缺失或冗余的错误类型。
针对这一错误类型,可以通过增加或减少对应的非实体内容来对原来的精准答复片段进行调整,得到符合预设规则的精准答复片段。
标点冗余或标点缺失可以是指,精准答复片段中多了标点或者少了标点,从而导致不符合一般用户的语言习惯,针对这一错误类型,可以通过增加或减少对应的标点来得到符合预设规则的精准答复片段。
可选的,根据所述错误类型对所述精准答复片段进行调整,得到符合预设规则的精准答复片段,包括:确定所述精准答复片段所在的目标语句以及所述目标语句的相邻语句;将所述目标语句、相邻语句、所述目标语句中所述精准答复片段的起始位置和结束位置、以及所述错误类型输入到答复调整模型,以对所述精准答复片段的起始位置和/或结束位置进行调整,得到符合预设规则的精准答复片段,用于在向用户输出的所述答复信息中突出展示。
示例性地,在答复信息中,语句可以使用逗号、句号、感叹号、问号、分号等符号分隔开,假设答复信息共有10句话,通过机器阅读理解模型确定的精准答复片段为第2、3句话中的全部或部分内容,则目标语句为第2、3句话,相邻语句为第1、4句话,可以将目标语句和相邻语句输入到答复调整模型,同时,在目标语句中标注精准答复片段所在的起始位置和结束位置,例如,起始位置为第50个字,结束位置为第60个字,或者,可以将答复信息中属于精准答复片段的字标为1,不属于精准答复片段的字标为0,从而表示出精准答复片段所在的位置。另外,还可以将错误类型输入到答复调整模型,使得答复调整模型可以根据错误类型,对原始的精准答复片段进行调整,增加或者减少目标语句和相邻语句中的部分字词,使得调整后的精准答复片段更加符合预设规则。例如,调整后的起始位置和结束位置分别为第51个字和第59个字。最后,根据调整后的起始位置和结束位置,可以确定调整后的精准答复片段,在向用户输出的答复信息中,突出展示的可以是调整后的精准答复片段。
答复调整模型可以采用如下方式实现训练:获取答复信息、对应的不符合预设规则的精准答复片段以及错误类型,并通过人工方式对获取到的精准答复片段进行调整,得到符合预设规则的精准答复片段作为监督信号,对答复调整模型进行训练。
综上,通过错误类型,可以有效对机器阅读理解模型识别的精准答复片段进行优化,得到符合预设规则的精准答复片段,并且,通过将目标语句、相邻语句输入到答复调整模型进行优化,能够减少精准答复片段优化过程中需要处理的文本量,提升优化的效率和准确性,从而快速、准确地向用户突出展示符合预设规则的精准答复片段,提升用户体验度。
在本申请的一个或多个实施例中,可选的,确定用户的输入信息对应的意图,并获取商家预先配置的、所述意图对应的答复信息,可以包括:
将用户的输入信息输入到意图识别模型,得到对应的意图;
根据所述意图和所述输入信息的上下文信息,从所述商家预先配置的知识库中,确定符合所述意图和上下文信息的答复信息;
其中,所述上下文信息包括用户交互的商品信息和/或页面信息。
可选的,所述知识库可以包括:上下文信息、意图以及答复信息的对应关系,具体可以为每一上下文信息在每一意图下的答复信息。
在一种可选的实现方式中,用户交互的商品信息和/或页面信息,可以是用户在客服会话页面发送的商品信息和/或页面信息,所述商品信息可以包括商品的链接或型号等任意能够对不同商品进行区分的信息,所述页面信息可以包括页面的链接或类型等任意能够对不同页面进行区分的信息。
示例性地,用户在输入信息“这个电饭煲能煮粥吗”之前或之后,可能发送了某一电饭煲的链接,根据这一链接,可以用户想要咨询的目标商品是哪一款电饭煲,从知识库中可以查找到商家为该电饭煲配置的、用于回复“商品功能”这一意图的答复信息。
另一示例中,用户在输入信息“在这个页面上具体怎么操作”之前或之后,发送了退款页面,说明用户可能想要咨询的是如何在退款页面上进行操作的问题,因此,结合页面信息和用户的输入信息,可以定位到对应的答复信息。
在另一种可选的实现方式中,用户交互的商品信息和/或页面信息,可以是用户在发送输入信息之前浏览的商品信息和/或页面信息,从而可以根据用户浏览的商品信息和/或页面信息,尽可能准确地确定用户想要咨询的问题对应的目标商品或者目标页面。
图6为本申请实施例提供的一种信息处理方法的原理示意图。如图6所示,用户进线提问,即,进入客服会话界面发送输入信息后,可以对用户的输入信息进行意图识别,再根据识别得到的意图进行答案召回,即确定该意图对应的答复信息。进行答案召回时,可以结合上下文信息,上下文信息中出现了商品A的链接,则可以找到商品A的该意图的答复信息。
在得到答复信息后,可以通过精准标注和基于语言模型的边界校验实现答案透出,其中,精准标注可以是指通过机器阅读理解模型确定答复信息中的精准答复片段,边界校验可以是指基于自然语言模型判断精准答复片段是否符合预设规则。精准标注和边界校验,可以通过下方的预训练语言模型、下游任务微调训练、人工标注、相关性校验等支撑,具体的实现原理和过程可以参见前述实施例。
综上,通过让商家预先为不同的意图和上下文信息配置对应的答复信息形成知识库,当用户在线咨询时,可以根据知识库确定对应的答复信息,能够有效提升确定答复信息的效率,并且,得到的答复信息更加符合上下文信息,贴合用户的实际需求,提升答复信息的准确性,进而可以得到更加准确的精准答复片段,提升用户体验。
图7为本申请实施例提供的又一种信息处理方法的流程示意图。如图7所示,所述方法包括:
步骤701、确定用户的输入信息对应的意图,并获取预先配置的、所述意图对应的答复信息。
其中,所述答复信息包括下述至少一种类型的信息:视频、音频、图像、文本。
可选的,在本实施例中,为意图配置的答复信息可以有至少一种模态。例如,可以是一段文本,也可以是一段视频或音频,还可以是一幅或多幅图像;或者,答复信息也可以是多种模态相结合的信息,例如,可以包括文本加图像,或者图像加音频等,从而能够更加全面地向用户展示答复信息。
步骤702、根据所述输入信息,从所述答复信息中确定与所述输入信息相匹配的至少一个答复片段。
示例性地,对于视频来说,答复片段可以是其中的一段视频片段,例如,意图对应的答复信息是1分钟的视频,其中与输入信息相匹配的可以是中间10秒视频片段。对于音频来说,答复片段可以是其中的一段音频片段。对于文本来说,答复片段可以是文本中的一部分内容。对于图像来说,答复片段可以是多幅图像中的一幅,或者是一幅图像中的部分内容,如其中的一个图像块。
可选的,可以通过多模态模型确定答复片段,多模态模型能够对多种模态的信息进行处理,得到对应的输出。
示例性地,用户的输入信息可以是文本,答复信息可以是视频,多模态模型能够对文本和视频进行融合,确定视频中与所述文本相匹配的视频片段。
可选的,所述多模态模型可以基于机器阅读理解的原理来实现。可以采用已有的具有多模态处理能力的模型,并对该模型进行相应领域的预训练和下游任务的训练,从而得到能够应用于本实施例的多模态模型。或者,可以针对具体领域自行设计结构合适的模型并初始化后,通过人工打标等方式确定监督信号,并完成对多模态模型的训练。
步骤703、判断所述至少一个答复片段是否符合用户观看规律,以根据符合用户观看规律的答复片段回复所述用户。
可选的,答复片段是否符合用户观看规律,可以通过答复片段是否存在边界错误等来确定。
示例性地,对于视频和音频来说,如果从视频或音频中的一句话中间截断,就会给用户观感较差,对图像来说,如果存在图像中的实体内容缺失或者冗余,也会给用户不好的观感,或者难以解决用户的实际问题。
可选的,可以通过神经网络模型来确定答复片段是否符合用户观看规律。该神经网络模型的训练过程可以包括:获取多个训练样本,训练样本可以包括视频、音频、文本、图像等,通过人工打标或自动打标的方式,确定训练样本是否符合用户观看规律,例如符合为1,不符合为0,并根据打标结果,对神经网络模型进行训练。在本步骤中,可以将答复片段输入到训练后的神经网络模型,从而判断答复片段是否符合用户观看规律。
可选的,可以根据是否符合用户观看规律来确定向用户具体输出的内容。
在一种可选的实现方式中,所述意图对应的答复信息可以为用于回复所述意图的答复信息,若答复信息中提取的答复片段符合用户观看规律,则可以向用户展示答复信息,并在答复信息中突出展示答复片段。
示例性地,用户询问“这个电饭煲怎么煮粥啊”,定位的意图为:使用方法,商家为该意图配置的答复信息为一段视频,视频中包含了电饭煲的使用方法,为了尽可能地说清楚使用方法,该视频中可能包含了制作多种食物的方法,例如蒸饭、煮粥、做面包等。通过本申请实施例中的方法,可以确定与用户输入信息相匹配的视频片段是煮粥的片段。
图8为本申请实施例提供的一种展示视频答复片段的示意图。如图8所示,可以将使用方法对应的整段视频发送给用户,并在用户点击视频后,在视频的进度条中显示煮粥所在的片段,用户可以直接在进度条中点击相应位置,观看煮粥方法,从而契合用户输入的问题“这个电饭煲怎么煮粥啊”,节省用户时间。
或者,在用户点击视频后,可以直接跳转到煮粥所在片段,并向用户提示:“已为您自动定位到煮粥所在的片段,点击这里从头观看”,从而可以直接定位到用户感兴趣的片段,减轻用户负担,为用户提供便利。
类似地,对于音频类的答复信息,可以在进度条中展示与输入信息相匹配的音频片段,供用户选择,或者,直接跳转到与输入信息相匹配的片段。对于图像类的答复信息,可以在图像中将与输入信息相匹配的片段通过方框、高亮等方式重点标注出来,方便用户查看。
在另一可选的实现方式中,也可以不输出完整的答复信息,而仅向用户输出答复片段,例如,只展示与输入信息相匹配的视频片段或文本片段等。
可选的,本实施例可以应用于任意需要与用户进行交互的领域。
一示例中,在电商领域,可以由商家配置意图对应的答复信息,答复片段即为前述实施例中的精准答复片段,符合预设规则相当于符合用户观看规律,具体的实现原理和过程可以参见前述实施例,此处不再赘述。
另一示例中,在文娱领域,可以由影视剧集的制作方或运营方配置意图对应的答复信息。意图可以包括但不限于:演职人员、剧情介绍、播出时间等。例如,用户咨询“这个电视剧中有演员A出演吗”,定位到的意图可以为演职人员,为其配置的答复信息中可以包括参加演出的多位演职人员的介绍,其中,与用户输入信息相匹配的内容可以是“有演员A出演”,因此,可以在答复信息中突出显示这一答复片段。
又一示例中,在出行领域,可以由运营人员或商家配置意图对应的答复信息。意图可以包括但不限于:导航、酒店、优惠活动等。例如,用户咨询“这个优惠活动可以用于酒店住宿减免费用吗”,定位到的意图可以为优惠活动,为其配置的答复信息中可以包括优惠活动的具体使用细则,其中,与用户输入信息相匹配的内容是“可以应用于酒店住宿费用减免”,因此可以向用户展示这一答复片段。
综上,本实施例提供的信息处理方法,可以确定用户的输入信息对应的意图,并获取预先配置的、所述意图对应的答复信息,其中,所述答复信息包括下述至少一种类型的信息:视频、音频、图像、文本,根据所述输入信息,从所述答复信息中确定与所述输入信息相匹配的至少一个答复片段,并判断所述至少一个答复片段是否符合用户观看规律,从而根据符合用户观看规律的答复片段回复所述用户,能够使用户快速查看自己感兴趣的答复片段,节约用户时间,提高用户体验度。
在上述实施例提供的技术方案的基础上,可选的,所述答复片段可以称为精准答复片段,所述方法还包括:
获取至少一个历史用户对应的对话记录,从所述对话记录中提取多个轮次的对话;其中,每一轮次的对话包括历史用户的历史输入信息,以及针对所述历史输入信息的历史答复信息;其中,所述历史输入信息和历史答复信息均可以为至少一种模态的信息。
根据所述多个轮次的对话,对多模态模型进行预训练,并根据所述多个轮次的历史答复信息中标注出的精准答复片段,对预训练后的多模态模型进行微调训练,以将当前用户对应的输入信息和答复信息输入到训练到的多模态模型,得到所述答复信息中确定与所述输入信息相匹配的精准答复片段。
可选的,根据所述多个轮次的历史答复信息中标注出的精准答复片段,对预训练后的多模态模型进行微调训练,包括:
将每一轮次的对话输入到判别模型,以判断所述轮次的历史答复信息中是否存在与输入信息相匹配的精准答复片段;
如果通过判别模型判断存在精准答复片段的对话,在所述对话的历史答复信息中标注出精准答复片段;
根据标注出的精准答复片段,对预训练后的多模态模型进行微调训练。
可选的,将当前用户对应的输入信息和答复信息输入到训练到的多模态模型,得到所述答复信息中确定与所述输入信息相匹配的精准答复片段,包括:
将所述输入信息和所述答复信息输入到所述判别模型,以判断所述答复信息中是否存在与所述输入信息相匹配的精准答复片段;
若存在,则将所述输入信息和所述答复信息输入到多模态模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段。
可选的,判断所述至少一个答复片段是否符合用户观看规律,包括:
基于所述预训练后的多模态模型,对所述精准答复片段是否符合用户观看规律进行评分;
根据评分结果确定所述精准答复片段是否符合用户观看规律。
可选的,所述方法还包括:
针对不符合用户观看规律的精准答复片段,确定对应的错误类型;
根据所述错误类型,对所述精准答复片段进行调整,
得到符合用户观看规律的精准答复片段,用于在向用户输出的所述答复信息中突出展示。
本申请实施例还提供一种信息处理方法,包括:确定用户的输入信息对应的意图,并获取商家预先配置的、用于回复所述意图的答复信息;将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段,以在根据所述精准答复片段回复用户。
可选的,在本实施例中,在得到精准答复片段后,可以直接根据该精准答复片段回复用户,也可以先判断该精准答复片段是否符合预设规则,若符合再根据该精准答复片段回复用户。
可选的,在根据精准答复片段回复用户时,可以直接向用户输出精准答复片段,也可以向用户输出答复信息,并突出展示其中的精准答复片段。
本实施例提供的信息处理方法的具体实现原理和效果可以参见前述实施例,此处不再赘述。
对应于上述信息处理方法,本申请实施例还提供一种信息处理装置,所述装置包括:
第一确定模块,用于确定用户的输入信息对应的意图,并获取商家预先配置的、用于回复所述意图的答复信息;
第一筛选模型,用于将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段;
第一判断模块,用于判断所述精准答复片段是否符合预设规则,以在向用户输出所述答复信息时突出展示符合预设规则的精准答复片段。
本申请实施例还提供另一种信息处理装置,所述装置包括:
第二确定模块,用于确定用户的输入信息对应的意图,并获取预先配置的、所述意图对应的答复信息;其中,所述答复信息包括下述至少一种类型的信息:视频、音频、图像、文本;
第二筛选模型,用于根据所述输入信息,从所述答复信息中确定与所述输入信息相匹配的至少一个答复片段;
第二判断模块,用于判断所述至少一个答复片段是否符合用户观看规律,以根据符合用户观看规律的答复片段回复所述用户。
本申请实施例提供的信息处理装置,可用于执行上述图1至图8所示实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
图9为本申请实施例提供的一种电子设备的结构示意图。如图9所示,本实施例的电子设备可以包括:
至少一个处理器901;以及
与所述至少一个处理器通信连接的存储器902;
其中,所述存储器902存储有可被所述至少一个处理器901执行的指令,所述指令被所述至少一个处理器901执行,以使所述电子设备执行如上述任一实施例所述的方法。
可选地,存储器902既可以是独立的,也可以跟处理器901集成在一起。
本实施例提供的电子设备的实现原理和技术效果可以参见前述各实施例,此处不再赘述。
本申请实施例中提到的方法,可以基于SaaS(Software as a Service,软件即服务)平台来实现。示例性地,SaaS平台可以从用户的终端设备获取用户的输入信息,并通过本申请实施例提供的方法,确定对应答复信息中的精准答复片段发送给终端设备,以使终端设备可以向用户展示精准答复片段。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现前述任一实施例所述的方法。
本申请实施例还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现前述任一实施例所述的方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的部分步骤。
应理解,上述处理器可以是中央处理单元(Central Processing Unit,简称CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本申请的技术方案中,所涉及的用户和商家的信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种信息处理方法,其特征在于,所述方法包括:
确定用户的输入信息对应的意图,并获取商家预先配置的、用于回复所述意图的答复信息;
将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段;
判断所述精准答复片段是否符合预设规则,以在向用户输出所述答复信息时突出展示符合所述预设规则的精准答复片段。
2.根据权利要求1所述的方法,其特征在于,还包括:
获取至少一个历史用户对应的对话记录,从所述对话记录中提取多个轮次的对话;其中,每一轮次的对话包括历史用户的历史输入信息,以及针对所述历史输入信息的历史答复信息;
根据所述多个轮次的对话,对自然语言模型进行预训练,并根据所述多个轮次的历史答复信息中标注出的精准答复片段,对预训练后的自然语言模型进行微调训练,得到所述机器阅读理解模型。
3.根据权利要求2所述的方法,其特征在于,根据所述多个轮次的历史答复信息中标注出的精准答复片段,对预训练后的自然语言模型进行微调训练,包括:
将每一轮次的对话输入到判别模型,以判断所述轮次的历史答复信息中是否存在与输入信息相匹配的精准答复片段;
如果通过判别模型判断存在精准答复片段的对话,在所述对话的历史答复信息中标注出精准答复片段;
根据标注出的精准答复片段,对预训练后的自然语言模型进行微调训练。
4.根据权利要求3所述的方法,其特征在于,将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段,包括:
将所述输入信息和所述答复信息输入到所述判别模型,以判断所述答复信息中是否存在与所述输入信息相匹配的精准答复片段;
若存在,则将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段。
5.根据权利要求2所述的方法,其特征在于,判断所述精准答复片段是否符合预设规则,包括:
基于所述预训练后的自然语言模型,对所述精准答复片段是否符合预设规则进行评分;
根据评分结果确定所述精准答复片段是否符合所述预设规则。
6.根据权利要求1-5任一项所述的方法,其特征在于,还包括:
针对不符合预设规则的精准答复片段,确定对应的错误类型,其中,所述错误类型包括下述至少一项:标点冗余或标点缺失、实体截断、非实体内容缺失或冗余;
确定所述精准答复片段所在的目标语句以及所述目标语句的相邻语句;
将所述目标语句、相邻语句、所述目标语句中所述精准答复片段的起始位置和结束位置、以及所述错误类型输入到答复调整模型,以对所述精准答复片段的起始位置和/或结束位置进行调整,得到符合预设规则的精准答复片段,用于在向用户输出的所述答复信息中突出展示。
7.根据权利要求1-5任一项所述的方法,其特征在于,确定用户的输入信息对应的意图,并获取商家预先配置的、用于回复所述意图的答复信息,包括:
将用户的输入信息输入到意图识别模型,得到对应的意图;
根据所述意图和所述输入信息的上下文信息,从所述商家预先配置的知识库中,确定符合所述意图和上下文信息的答复信息;
其中,所述上下文信息包括用户交互的商品信息和/或页面信息。
8.一种信息处理装置,其特征在于,包括:
第一确定模块,用于确定用户的输入信息对应的意图,并获取商家预先配置的、用于回复所述意图的答复信息;
第一筛选模型,用于将所述输入信息和所述答复信息输入到机器阅读理解模型,得到所述答复信息中与所述输入信息相匹配的精准答复片段;
第一判断模块,用于判断所述精准答复片段是否符合预设规则,以在向用户输出所述答复信息时突出展示符合预设规则的精准答复片段。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述电子设备执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1-7任一项所述的方法。
11.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
CN202210923755.3A 2022-08-02 2022-08-02 信息处理方法、装置、设备、存储介质及程序产品 Pending CN115186070A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210923755.3A CN115186070A (zh) 2022-08-02 2022-08-02 信息处理方法、装置、设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210923755.3A CN115186070A (zh) 2022-08-02 2022-08-02 信息处理方法、装置、设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN115186070A true CN115186070A (zh) 2022-10-14

Family

ID=83522059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210923755.3A Pending CN115186070A (zh) 2022-08-02 2022-08-02 信息处理方法、装置、设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN115186070A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117573848A (zh) * 2024-01-16 2024-02-20 北京数慧时空信息技术有限公司 对话方法、装置、电子设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117573848A (zh) * 2024-01-16 2024-02-20 北京数慧时空信息技术有限公司 对话方法、装置、电子设备及介质
CN117573848B (zh) * 2024-01-16 2024-04-02 北京数慧时空信息技术有限公司 对话方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
KR101386343B1 (ko) 동적인 검색 제안 및 카테고리 특정 완료
US20180157960A1 (en) Scalable curation system
US20220050661A1 (en) Analyzing graphical user interfaces to facilitate automatic interaction
CN111625632A (zh) 一种问答对推荐方法、装置、设备及存储介质
CN110597952A (zh) 信息处理方法、服务器及计算机存储介质
US20160148105A1 (en) Information providing system, information providing method, and non-transitory recording medium
CN111310440A (zh) 文本的纠错方法、装置和系统
US9959866B2 (en) Computer-implemented method for generating a response sentence by using a weight value of node
CN108874789B (zh) 语句的生成方法、装置、存储介质和电子装置
CN114757176A (zh) 一种获取目标意图识别模型的方法以及意图识别方法
US20160217704A1 (en) Information processing device, control method therefor, and computer program
JP2020135135A (ja) 対話コンテンツ作成支援方法およびシステム
JP2024064941A (ja) 表示方法、装置、ペン型電子辞書、電子機器及び記憶媒体
CN115186070A (zh) 信息处理方法、装置、设备、存储介质及程序产品
CN105164669A (zh) 信息处理设备、信息处理方法以及程序
US20230205832A1 (en) Generating diverse electronic summary documents for a landing page
CA3147341A1 (en) Category phrase recognition method, model training method, device and system
CN107908792B (zh) 信息推送方法和装置
CN115587244A (zh) 一种用户兴趣维度采集与推荐方法、装置、设备及存储介质
CN114550693A (zh) 一种多语种语音翻译方法及系统
CN113971581A (zh) 一种机器人的控制方法、装置、终端设备及存储介质
KR20220118703A (ko) 머신러닝 기반 온라인 쇼핑 리뷰 감정 예측 시스템 및 방법
JP6506839B2 (ja) 不満情報処理装置及びシステム
US20230186012A1 (en) Document Processing Method, and Information Processing Device
KR102353381B1 (ko) 작명을 지원하는 전자 장치, 방법, 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination