CN113553861A - 一种基于对话系统的信息处理方法、装置及存储介质 - Google Patents
一种基于对话系统的信息处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113553861A CN113553861A CN202110872713.7A CN202110872713A CN113553861A CN 113553861 A CN113553861 A CN 113553861A CN 202110872713 A CN202110872713 A CN 202110872713A CN 113553861 A CN113553861 A CN 113553861A
- Authority
- CN
- China
- Prior art keywords
- quality inspection
- quality
- inspection item
- item
- inspection object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 30
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000007689 inspection Methods 0.000 claims abstract description 408
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000003908 quality control method Methods 0.000 claims description 45
- 238000012372 quality testing Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 241001122315 Polites Species 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种基于对话系统的信息处理方法、装置及计算机可读存储介质。该方法包括:首先,将对话系统的对话记录作为系统输入,并从中提取每一语句的说话人、说话时间和说话内容等质检对象;之后,根据业务需求制定的质检项命中规则,对上述质检对象进行检测,如果命中,则说明质检对象存在服务质量问题,有待进一步评估;之后,则根据质检项评分规则对存在服务质量问题的质检对象进行质检评分,计算得到该对话记录的质检评分。由于本申请实施例提供的基于对话系统的信息处理方法、装置及存储介质是基于规则的,而这些规则可以根据不同业务需求的特点灵活制定,所需计算资源更少,更利于实际应用和推广。
Description
技术领域
本申请涉及信息处理领域,尤其涉及一种动基于对话系统的信息处理方法、装置及计算机可读存储介质。
背景技术
随着电话、在线客服的蓬勃发展,保证客服人员服务质量对提升用户体验、维护企业形象的也越来越重要。因此,需要对客服行为的语音、文本进行记录和质检,确保客服人员的行为符合规定。
但由于客服对话数量大、文本多、内容杂,导致人工质检费时费力,不得不采取抽检的方式;且由于质检业务的要求复杂,培训质检人员也需要投入大量资源。
因此,引入自动的对话质检,尽可能地充分覆盖全量数据,为人工复审提供可靠依据,就成为客服系统的一个迫切需求。目前,业内的对话质检解决方案往往需要针对案例单独进行软件开发,而质检系统面临的任务与业务关联性强,且非常易变,如果使用深度学习等依赖数据的人工智能方案,会使项目的实现成本大幅提升,阻碍了自动质检系统的应用和落地。
为此,如何简化自动化质检的实现,使其尽可能适应质检繁杂的业务需求就成为一个亟需解决的技术问题。
发明内容
本申请人创造性地提供一种基于对话系统的信息处理方法、装置及存储介质。
根据本申请实施例第一方面,一种基于对话系统的信息处理方法,该方法包括:从对话系统的对话记录中,提取每一语句对应的质检对象,质检对象包括说话人、说话时间和说话内容;根据质检项命中规则对每一质检对象进行质检项命中分析,得到带有质检项标签的质检对象集合,质检项命中规则包括至少一项质检项命中条件和至少一项质检项命中条件中的组合条件;根据质检项评分规则对带有质检项标签的质检对象集合进行质检评分,得到对话记录对应的质检分数,质检项评分规则包括每一质检项对应的分数。
根据本申请实施例一实施方式,在根据质检项命中规则对每一质检对象进行质检项命中分析之前,该方法还包括:根据对话记录所属的业务类型,获取与业务类型对应的质检项命中规则;相应地,在根据质检项评分规则对带有质检项标签的质检对象集合进行质检评分之前,方法还包括:根据对话记录所属的业务类型,获取与业务类型对应的质检项评分规则。
根据本申请实施例一实施方式,质检项命中规则基于自然语言,相应地,根据质检项命中规则对每一质检对象进行质检项命中分析,得到带有质检项标签的质检对象集合,包括:获取第一质检项;获取与第一质检项对应的第一质检项命中规则;对每一质检对象进行自然语言理解以判断相应的质检对象是否命中了第一质检项命中规则,若是,则将第一质检项记录在相应的质检对象上作为质检对象的质检项标签。
根据本申请实施例一实施方式,在得到带有质检项标签的质检对象集合之后,该方法还包括:对带有质检项标签的质检对象集合进行段落划分,得到至少一个质检段落;根据至少一个质检段落确定对话记录对应的实际流程,其中,每一质检段落对应实际流程中的一个步骤并根据质检段落在对话记录中的顺序确定相应步骤在实际流程的执行顺序;根据标准流程对实际流程进行流程质检,得到对话记录对应的流程质检结果。
根据本申请实施例一实施方式,对带有质检项标签的质检对象集合进行段落划分,包括:对带有质检项标签的质检对象集合,采用不同段落划分方式得到多种段落划分方案;根据对话上下文确定每一方案的违和度并选取违和度最低的方案对带有质检项标签的质检对象集合进行段落划分。
根据本申请实施例一实施方式,在根据标准流程所定义的步骤及步骤的执行顺序对实际流程进行流程质检之前,该方法还包括:根据对话记录所属的业务类型,获取与业务类型对应的标准流程,标准流程定义有步骤及步骤的执行顺序。
根据本申请实施例一实施方式,在得到至少一个质检段落之后,该方法还包括:对质检段落进行评分得到质检段落对应的质检分数。
根据本申请实施例一实施方式,质检段落包括第一质检项和第二质检项,其中,对第二质检项的评分依赖于第一质检项。
根据本申请实施例第二方面,提供一种基于对话系统的信息处理装置,其特征在于,装置包括:质检对象提取模块,用于从对话系统的对话记录中,提取每一语句对应的质检对象,质检对象包括说话人、说话时间和说话内容;质检项命中规则分析模块,用于根据质检项命中规则对每一质检对象进行质检项命中分析,得到带有质检项标签的质检对象集合;质检评分模块,用于根据质检项评分规则对带有质检项标签的质检对象集合进行质检评分,得到对话记录对应的质检分数。
根据本申请实施例第三方面,提供一种计算机可读存储介质,存储介质包括一组计算机可执行指令,当指令被执行时用于执行上述任一项的基于对话系统的信息处理方法。
本申请实施例提供一种基于对话系统的信息处理方法、装置即计算机可读存储介质。该方法包括:首先,将对话系统的对话记录作为系统输入,并从中提取每一语句的说话人、说话时间和说话内容等质检对象;之后,根据业务需求制定的质检项命中规则,对上述质检对象进行检测,如果命中,则说明质检对象存在服务质量问题,有待进一步评估;之后,则根据质检项评分规则对存在服务质量问题的质检对象进行质检评分,计算得到该对话记录的质检评分。由于本申请实施例提供的基于对话系统的信息处理方法、装置及存储介质是基于规则的,而这些规则可以根据不同业务需求的特点灵活制定,比起机器学习等模型方法实现起来更为简单,并通过优化规则和增减规则就能取得较为显著的改进,因此可大大简化自动化质检系统的研发成本。而且,由于规则计算比起及其学习模型计算所需计算资源更少,速度也较快,更利于实际应用和推广。
需要理解的是,本申请的实施并不需要实现上面的全部有益效果,而是特定的技术方案可以实现特定的技术效果,并且本申请的其他实施方式还能够实现上面未提到的有益效果。
附图说明
通过参考附图阅读下文的详细描述,本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本申请的若干实施方式,其中:
在附图中,相同或对应的标号表示相同或对应的部分。
图1为本申请实施例基于对话系统的信息处理方法的实现流程示意图;
图2为本申请实施例一应用基于对话系统的信息处理方法的具体实现流程示意图;
图3为本申请实施例基于对话系统的信息处理装置的组成结构示意图。
具体实施方式
为使本申请的目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
图1示出了本申请实施例基于生成对抗网络得文本信息分类方法的实现流程。参考图1,本申请实施例提供一种基于对话系统的信息处理方法,该方法包括:操作110,从对话系统的对话记录中,提取每一语句对应的质检对象,质检对象包括说话人、说话时间和说话内容;操作120,根据质检项命中规则对每一质检对象进行质检项命中分析,得到带有质检项标签的质检对象集合,质检项命中规则包括至少一项质检项命中条件和至少一项质检项命中条件中的组合条件;操作130,根据质检项评分规则对带有质检项标签的质检对象集合进行质检评分,得到对话记录对应的质检分数,质检项评分规则包括每一质检项对应的分数。
其中,在操作110中,对话系统可以是人机对话系统,也可以人与人的对话系统,例如,电话或线上服务系统。
对话系统的对话记录指对话过程中记录下的相关信息,可以是语音形式的通话录音;也可以是消息框中的文本对话记录;还可以是图片等多媒体形式的交互记录等。
通常,对话系统的对话记录都会是较为冗长的,且往往会包含一些与质检无关的信息。而从对话记录中提取的每一语句对应的质检对象,主要指:从每一语句对应的相关信息中筛选出质检所针对的内容,例如,说话人、说话时间和说话内容等,并以后续质检操作所接收的特定形式所构建的质检对象。如此,可移除对话系统对话记录中的无用信息或干扰信息,减少后续质检操作所要处理的信息量,进一步提高质检效率。
在通过操作110获得了质检对象之后,接下来就可以通过操作120对这些质检对象进行质检了。
在操作120中,对质检对象的质检是通过质检项命中规则来实现的。其中,质检项就是用于衡量质量好坏的一些评判标准和依据,例如,“有不礼貌用语”、“使用了欢迎语”、“提到了产品/服务的优势”或“语速过快”等等。
质检项命中规则指如何判断质检对象是否命中了质检项,例如,如何判断在言语中是否“有不礼貌用语”的规则,如果结论是“是”,则命中质检项“有不礼貌用语”;如果结论是“否”,则没有命中质检项“有不礼貌用语”。
质检项命中规则通常包括至少一项质检项命中条件和至少一项质检项命中条件中的组合条件。
其中,质检项条件,例如,言语中是否“有不礼貌用语”,是根据业务需求制定的,在对质检项条件进行检测时,可以使用独立的自然语言处理(NLP)方法或综合检测方法,例如关键词检测、情感识别、基于机器学习模型的意图识别、语速检测、词槽提取、实体提取等。
组合条件是组合质检项条件的检测结果的逻辑运算或信息处理。六日如,在简单情形下,组合条件可以是“AND”表示“满足以下全部条件”或“OR”表示“满足以下任意条件”;在复杂情形下,组合条件还可以是使用领域特定语言(DSL)进行描述的一系列信息处理操作以对多个质检项条件的检测结果进行加工和组合。
组合条件最终呈现的是一个布尔表达式,此表达式为true时视为质检对象命中质检项,反之则为不命中。
换句话说,根据质检项命中规则对每一质检对象进行质检项命中分析的过程,就是根据多个质检项检测结果及多个质检项检测结果的组合条件进行运算得到的布尔值,来判断质检对象是否命中了质检项。
在质检对象命中分析之后,如果对象是否命中了质检项即可将该质检项对应的质检项标签添加到质检对象上得到带有质检项标签的质检对象。
如果从对话系统的对话记录中提取了多个质检对象,则可以依次对每一质检对象进行质检项命中分析,就可以得到一个带有质检项标签的质检对象集合。
由于质检项命中规则是由至少一项质检项命中条件和至少一项质检项命中条件中的组合条件形成的,而不同的部门就可以根据本部门的业务需求制定不同的质检项条件和组合条件,根据本部门的实现条件采用不同的检测方法来对不同的质检项条件进行检测,并根据组合条件进行运算,只要能得到一个统一格式的输出结果(例如,一个布尔型的值,或带有布尔值的一个数据结构)即可。如此,可以大大提高对话系统质检方法的通用性和可扩展性。
在得到带有质检项标签的质检对象集合后,只能确定对话记录是否存在可以对其进行评价的质检项,并没有得到一个具体的质检结果。因此,还需要通过操作130进一步根据质检项进行评分,最终得到可以用于度量质量好坏程度的评价值。
在操作130中,可以根据业务需求设定质检项评分规则,例如,给出每一质检项对应的分数,以及如何对每一质检项对应的分数如何进行运算的规则,即可根据质检对象上标记的质检项标签对质检对象进行质检评分。其中,在设定每一质检项对应的分数时,可以将优质的质检项(例如,“使用欢迎用语”)的分数设为正数;将违规的质检项(例如,“出现不礼貌用语”)的分数设为负数;并根据程度设定相应的分值。如此,可更为准确地度量语句的服务质量。
在得到每一质检对象的质检评分后,可以对所有质检对象的质检评分进行运算(例如,求和)就得到了质检对象集合的质检分数,也就是对话记录对应的质检分数。得到了对话记录对应的质检分数,就可以明确地判断该对话记录所体现出的服务质量的好坏。
此外,在输出质检分数的同时,还可以输出质检对象集合所命中的质检项,这样还可以进一步提供质检分数的由来,对于服务人员进一步改进服务质量提供重要依据。
综上所述,本申请实施例提供的基于对话系统的信息处理方法、装置及存储介质是基于规则的(质检项命中规则和质检项评分规则),而这些规则可以根据不同业务需求灵活制定,比起机器学习等模型方法实现起来更为简单,可通过优化规则和增减规则就能取得较为显著的改进,因此可大大简化自动化质检系统的研发成本。
而且,由于规则计算比起及其学习模型计算所需计算资源更少,速度也较快,更利于实际应用和推广。
需要说明的是图1所示的实施例仅为本申请基于对话系统的信息处理方法最基本的一个基本实施例,实施者还可在其基础上进行进一步细化和扩展。
根据本申请实施例一实施方式,在根据质检项命中规则对每一质检对象进行质检项命中分析之前,该方法还包括:根据对话记录所属的业务类型,获取与业务类型对应的质检项命中规则;相应地,在根据质检项评分规则对带有质检项标签的质检对象集合进行质检评分之前,方法还包括:根据对话记录所属的业务类型,获取与业务类型对应的质检项评分规则。
在本实施方式中,可以根据不同业务需求灵活制定相应的质检项命中规则和质检项评分规则,如果可以预先建立业务类型与相应的质检项命中规则和质检项评分规则之间的对应关系,则可以根据对话记录所属的业务类型,获取与业务类型对应的质检项命中规则和质检项评分规则。如此,无需改变代码实现,就可以使用同一质检系统对多种业务类型的对话记录进行质检。
根据本申请实施例一实施方式,质检项命中规则基于自然语言,相应地,根据质检项命中规则对每一质检对象进行质检项命中分析,得到带有质检项标签的质检对象集合,包括:获取第一质检项;获取与第一质检项对应的第一质检项命中规则;对每一质检对象进行自然语言理解以判断相应的质检对象是否命中了第一质检项命中规则,若是,则将第一质检项记录在相应的质检对象上作为质检对象的质检项标签。
在本实施方式中,质检项命中规则基于自然语言。如此,可大大简化质检项命中规则的制定,并使质检项命中规则更易于理解和改进。
而在对每一质检对象进行质检项命中分析时,对每一质检对象逐一检测每个质检项,可确保质检的全面和准确。
根据本申请实施例一实施方式,在得到带有质检项标签的质检对象集合之后,该方法还包括:对带有质检项标签的质检对象集合进行段落划分,得到至少一个质检段落;根据至少一个质检段落确定对话记录对应的实际流程,其中,每一质检段落对应实际流程中的一个步骤并根据质检段落在对话记录中的顺序确定相应步骤在实际流程的执行顺序;根据标准流程对实际流程进行流程质检,得到对话记录对应的流程质检结果。
在某些情况下,对话记录进行质量不只需要对语言或语义本身(例如,“使用欢迎用语”)进行监测,还需要对业务对立流程进行检测。例如,在用户提出问题后是否进行了答复,答复之后是否请求用户对服务进行评价等等。
而这种流程的检测,是不能通过检测单一的质检对象来实现的。因此,在本实施方式中,除了会对每一质检对象进行质检项的检测之外,还会将对话记录中的语句划归为流程中的不同步骤或阶段相应地,将质检对象集合划分为不同步骤对应的子集,该质检对象子集就是本申请中所指的质检段落。
其中,在进行段落划分时,可以根据业务需要预先定义对话过程应该完成的步骤(其中每个步骤对应一个质检段落),以及为了从对话记录中识别出该步骤相关的质检段落而配置的段落特征,之后就可以根据段落特征和对话记录的上下文,将对话记录中的语句划分为不同的段落。
在将对话记录中的语句划分为不同的段落的过程中,对于对话记录中不符合任何段落特征的部分(例如突发的闲聊)可以独立成段,并将该质检段落类型指定为某一特定类型,例如,“其他”。
在将对话记录中的语句划分为不同的段落之后,还需要根据质检段落在对话记录中的排序确定与之对应的步骤在实际流程的执行顺序。一旦确定了段落以及段落的顺序,就可以确定实际步骤及步骤的执行顺序,得到对话记录对应的实际流程。
在确定了对话记录对应的实际流程之后,就可以与预先定义的标准流程进行比对,以判断对话是否按照指定的流程进行。
例如,根据身份核验对话的对话记录进行段落划分,得到“欢迎语”、“身份核验”和“告别语”三个段落,其中“身份核验”段落的段落结论是“通过”。
根据标准流程定义,欢迎语后进入身份核验流程,如果通过则进入广告播放;否则进入告别语流程。
与标准流程进行比对后,会发现“身份核验”之后的段落不应该是“告别语”而应该是“广告语”。此时,可以给出流程质检不通过的结果。
而上述比对过程,可通过有限状态机技术来实现,即根据标准流程设计有限状态机,将第一个质检段落作为初始状态,而将段落结论(无段落结论也视为一种结论)视为事件。当对话处于某个状态时,如果标准流程定义了此状态基于事件的跳转,则进入下一状态;否则视为流程质检不通过。
由此,通过本实施方式不仅可以进行用词是否规范的质量检测,还可以进行流程是否规范的质量检测。
根据本申请实施例一实施方式,对带有质检项标签的质检对象集合进行段落划分,包括:对带有质检项标签的质检对象集合,采用不同段落划分方式得到多种段落划分方案;根据对话上下文确定每一方案的违和度并选取违和度最低的方案对带有质检项标签的质检对象集合进行段落划分。
因为人实际的聊天非常随意,可能出现话题穿插的情况,而使用严格的段落特征进行段落划分时,有可能会将不属于本段落的大段语句包含进来。
例如,在对话记录中包含“身份认证”和“业务办理”两个质检段落。而由于询问人在开始“业务办理”之后,又提及了一个符合“身份认证”段落特征的语句,如果该语句出现在业务办理之后开始了较长的一段时间之后,就有可能会导致很多与“业务办理”相关的语句被划分到了“身份认证”段落中。
为了解决上述问题,在本实施方式中,会将在本段落中加入一些出现机率较大的相邻段落的段落特征,并设定每一段落特征的违和度值。其中,属于本段落的段落特征的违和度值较低,相邻段落的段落特征的违和度较高。
这样在得到一个段落之后,就可以获取该段落命中的所有段落特征值以及每一段落特征值的违和值,将所有的段落特征进行加和就可以得到该段落的违和度。
段落的违和度可以进一步反映段落划分的合理性,而从多种段落划分方案中选取违和度最低的方案,可以使段落划分更合理,避免出现将大量属于相邻段落的语句包含在本段落的情况。
根据本申请实施例一实施方式,在根据标准流程所定义的步骤及步骤的执行顺序对实际流程进行流程质检之前,该方法还包括:根据对话记录所属的业务类型,获取与业务类型对应的标准流程,标准流程定义有步骤及步骤的执行顺序。
在本实施方式中,可以根据不同业务需求灵活制定相应的标准流程,如果可以预先建立业务类型与标准流程之间的对应关系,则可以根据对话记录所属的业务类型,获取与业务类型对应的标准流程。如此,无需改变代码实现,就可以使用同一质检系统对多种业务类型的对话记录进行流程质检。
根据本申请实施例一实施方式,在得到至少一个质检段落之后,该方法还包括:对质检段落进行评分得到质检段落对应的质检分数。
在某些情况下,可能不同的步骤会由不同的服务人员执行,为了准确落实责任到人的原则,可能不仅需要得到整段对话记录的质检分数,还需要得到每一段落的质检分数。
在本实施方式中,还会根据质检项评分规则对质检段落(带有质检项标签的质检对象子集)进行质检评分得到质检段落对应的质检分数。
当对话记录中包含多个段落质检时,可以使用以质检段落标识为键质检分数为值的键值对作为段落质检结果。
根据本申请实施例一实施方式,质检段落包括第一质检项和第二质检项,其中,对第二质检项的评分依赖于第一质检项。
在进行段落质检的过程中,可能存在以下情况:当质检的句子之前出现某一质检项时,此质检项才可以出现。例如,在“询问地址所属城市”这一质检项之后,才会出现“继续询问地址所属区县”这一质检项。对此,可以定义第二质检项之间的依赖关系作为质检项条件,使对第二质检项的评分依赖于第一质检项。
如此,可使得对段落质检评分的结果更精确,避免出现漏评或错评的情况。
图2示出了本申请实施例一应用基于对话系统的信息处理方法的具体实现流程。
如图2所示,该实施例应用于针对雅思考试辅导的在线客服场景下,其获取的对话记录为在线客户与用户在对话框中输入的对话文本记录。对该对话文本记录的质检目标为:获取服务人员的服务质量评分和流程是否合规的结果。对该对话文本记录的质检过程主要包括:
步骤2010,从对话文本记录中的每一语句中提取说话人、说话时间和说话内容构建成三元组作为质检对象,形成质检对象集合;
步骤2020,判断质检对象集合中是否存在未检测的质检对象,若是,则继续步骤2030,若否,则继续步骤2090;
步骤2030,获取质检对象;
步骤2040,判断是否存在未检测的质检项,若是,则继续步骤2030,若否,则返回步骤2020;
步骤2050,获取质检项以及质检项对应的质检项条件;
假设此次获取的质检项为“过度承诺”,与之对应的质检项命中规则为:SPEAKER='service'and(A or B>6.5)。其中,A通过意图识别得到过度承诺的意图;B代表通过词槽提取获取到的雅思分数,B>6.5代表质检项条件二;SPEAKER='service'代表质检项条件三;组合条件“and”和“or”代表各个质检项条件之间的组合条件。
该质检项命中规则表示说话人为客服人员(service)且满足如下两个条件中的一个:命中过度承诺意图,或承诺雅思分数>6.5。
步骤2060,根据质检项条件判断质检对象是否命中质检项,若是,继续步骤2070,若否,则回到步骤2040检测是否有未检测的质检项;
步骤2070,将质检项记录到质检对象上;
步骤2080,根据质检项评分规则将质检项对应的分数累加到质检对象当前的质检评分中得到新的质检评分;
假设,质检项“过度承诺”的分值为“-1”,质检对象当前的质检得分为“10”,则在累加之后得到新的质检评分为“9”(10-1)。
步骤2090,对质检对象集合进行段落划分得到质检段落;
假设得到“业务办理”和“告别语句”两个质检段落。
步骤2100,根据质检段落确定实际处理流程;
假设在对话记录中“业务办理”在前,“告别语句”在后,则实际处理流程为“业务办理”->“告别语句”。
步骤2110,比对质检段落与标准流程确定流程质检结果;
假设标准流程为“欢迎语句”->“业务办理”->“告别语句”,比对发现缺少“欢迎语句”,则将流程质检结果设为“失败”,并将失败原因设置为“缺少欢迎语句”。
步骤2120,输出质检评分和流程质检结果。
需要说明的是,图2所示的实施例也仅为本申请基于对话系统的信息处理方法的一个示例性说明,并非对本申请实施例的实施方式或应用场景的限定,实施者可根据具体实施需要和实施条件采用任何适用的实施方式应用于任何适用的应用场景中。
进一步地,本申请实施例还提供一种基于对话系统的信息处理装置,如图3所示,该装置30包括:质检对象提取模块301,用于从对话系统的对话记录中,提取每一语句对应的质检对象,质检对象包括说话人、说话时间和说话内容;质检项命中规则分析模块302,用于根据质检项命中规则对每一质检对象进行质检项命中分析,得到带有质检项标签的质检对象集合;质检评分模块303,用于根据质检项评分规则对带有质检项标签的质检对象集合进行质检评分,得到对话记录对应的质检分数。
根据本申请实施例一实施方式,该装置30还包括:质检项命中规则获取模块,用于根据对话记录所属的业务类型,获取与业务类型对应的质检项命中规则;质检项评分规则获取模块,用于根据对话记录所属的业务类型,获取与业务类型对应的质检项评分规则。
根据本申请实施例一实施方式,质检项命中规则基于自然语言,相应地,质检项命中规则分析模块302包括:第一质检项获取子模块,用于获取第一质检项;获取与第一质检项对应的第一质检项命中规则;自然语言理解子模块,用于对每一质检对象进行自然语言理解以判断相应的质检对象是否命中了第一质检项命中规则;质检项标签记录子模块,用于将第一质检项记录在相应的质检对象上作为质检对象的质检项标签。
根据本申请实施例一实施方式,该装置30还包括:质检段落划分模块,用于对带有质检项标签的质检对象集合进行段落划分,得到至少一个质检段落;实际流程确定模块,用于根据至少一个质检段落确定对话记录对应的实际流程,其中,每一质检段落对应实际流程中的一个步骤并根据质检段落在对话记录中的顺序确定相应步骤在实际流程的执行顺序;流程质检模块,用于根据标准流程对实际流程进行流程质检,得到对话记录对应的流程质检结果。
根据本申请实施例一实施方式,质检段落划分模块包括:多种段落划分方案获取子模块,用语对带有质检项标签的质检对象集合,采用不同段落划分方式得到多种段落划分方案;段落划分方案确定模块,用于根据对话上下文确定每一方案的违和度并选取违和度最低的方案对带有质检项标签的质检对象集合进行段落划分。
根据本申请实施例一实施方式,该装置30还包括:标准流程获取模块,用于根据对话记录所属的业务类型,获取与业务类型对应的标准流程,标准流程定义有步骤及步骤的执行顺序。
根据本申请实施例一实施方式,该装置30还包括:质检段落评分模块,用于对质检段落进行评分得到质检段落对应的质检分数。
根据本申请实施例第三方面,提供一种计算机存储介质,存储介质包括一组计算机可执行指令,当指令被执行时用于执行上述任一项的基于对话系统的信息处理方法。
这里需要指出的是:以上针对基于对话系统的信息处理装置的描述和以上针对计算机存储介质实施例的描述,与前述方法实施例的描述是类似的,具有同前述方法实施例相似的有益效果,因此不做赘述。对于本申请对基于对话系统的信息处理装置实施例的描述和对计算机存储介质实施例的描述尚未披露的技术细节,请参照本申请前述方法实施例的描述而理解,为节约篇幅,因此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个装置,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以利用硬件的形式实现,也可以利用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储介质、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例方法的全部或部分。而前述的存储介质包括:移动存储介质、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于对话系统的信息处理方法,其特征在于,所述方法包括:
从对话系统的对话记录中,提取每一语句对应的质检对象,所述质检对象包括说话人、说话时间和说话内容;
根据质检项命中规则对每一质检对象进行质检项命中分析,得到带有质检项标签的质检对象集合,所述质检项命中规则包括至少一项质检项命中条件和所述至少一项质检项命中条件中的组合条件;
根据质检项评分规则对所述带有质检项标签的质检对象集合进行质检评分,得到所述对话记录对应的质检分数,所述质检项评分规则包括每一质检项对应的分数。
2.根据权利要求1所述的方法,其特征在于,在所述根据质检项命中规则对每一质检对象进行质检项命中分析之前,所述方法还包括:
根据所述对话记录所属的业务类型,获取与所述业务类型对应的质检项命中规则;
相应地,在所述根据质检项评分规则对所述带有质检项标签的质检对象集合进行质检评分之前,所述方法还包括:
根据所述对话记录所属的业务类型,获取与所述业务类型对应的质检项评分规则。
3.根据权利要求1所述的方法,其特征在于,所述质检项命中规则基于自然语言,相应地,
所述根据质检项命中规则对每一质检对象进行质检项命中分析,得到带有质检项标签的质检对象集合,包括:
获取第一质检项;
获取与所述第一质检项对应的第一质检项命中规则;
对每一质检对象进行自然语言理解以判断相应的质检对象是否命中了第一质检项命中规则,若是,则将所述第一质检项记录在相应的质检对象上作为质检对象的质检项标签。
4.根据权利要求1所述的方法,其特征在于,在所述得到带有质检项标签的质检对象集合之后,所述方法还包括:
对所述带有质检项标签的质检对象集合进行段落划分,得到至少一个质检段落;
根据所述至少一个质检段落确定所述对话记录对应的实际流程,其中,每一质检段落对应所述实际流程中的一个步骤并根据所述质检段落在所述对话记录中的顺序确定相应步骤在所述实际流程的执行顺序;
根据标准流程对所述实际流程进行流程质检,得到所述对话记录对应的流程质检结果。
5.根据权利要求4所述的方法,其特征在于,所述对所述带有质检项标签的质检对象集合进行段落划分,包括:
对所述带有质检项标签的质检对象集合,采用不同段落划分方式得到多种段落划分方案;
根据对话上下文确定每一方案的违和度并选取违和度最低的方案对所述带有质检项标签的质检对象集合进行段落划分。
6.根据权利要求4所述的方法,其特征在于,在根据标准流程所定义的步骤及步骤的执行顺序对所述实际流程进行流程质检之前,所述方法还包括:
根据所述对话记录所属的业务类型,获取与所述业务类型对应的标准流程,所述标准流程定义有步骤及步骤的执行顺序。
7.根据权利要求4所述的方法,其特征在于,在所述得到至少一个质检段落之后,所述方法还包括:
对所述质检段落进行质检项评分得到所述质检段落对应的质检分数。
8.根据权利要求7所述的方法,其特征在于,所述质检段落包括第一质检项和第二质检项,其中,对所述第二质检项的评分依赖于所述第一质检项。
9.一种基于对话系统的信息处理装置,其特征在于,所述装置包括:
质检对象提取模块,用于从对话系统的对话记录中,提取每一语句对应的质检对象,所述质检对象包括说话人、说话时间和说话内容;
质检项命中规则分析模块,用于根据质检项命中规则对每一质检对象进行质检项命中分析,得到带有质检项标签的质检对象集合;
质检评分模块,用于根据质检项评分规则对所述带有质检项标签的质检对象集合进行质检评分,得到所述对话记录对应的质检分数。
10.一种计算机可读存储介质,其特征在于,所述存储介质包括一组计算机可执行指令,当所述指令被执行时用于执行权利要求1至8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110872713.7A CN113553861B (zh) | 2021-07-30 | 2021-07-30 | 一种基于对话系统的信息处理方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110872713.7A CN113553861B (zh) | 2021-07-30 | 2021-07-30 | 一种基于对话系统的信息处理方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113553861A true CN113553861A (zh) | 2021-10-26 |
CN113553861B CN113553861B (zh) | 2023-11-14 |
Family
ID=78133409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110872713.7A Active CN113553861B (zh) | 2021-07-30 | 2021-07-30 | 一种基于对话系统的信息处理方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113553861B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110286584A1 (en) * | 2010-05-18 | 2011-11-24 | Albert Angel | Certified Communications System and Method |
CN110874405A (zh) * | 2019-11-19 | 2020-03-10 | 深圳前海微众银行股份有限公司 | 服务质检方法、装置、设备与计算机可读存储介质 |
CN110929011A (zh) * | 2019-11-28 | 2020-03-27 | 北京思特奇信息技术股份有限公司 | 一种对话分析方法、装置和设备 |
CN111010484A (zh) * | 2019-12-16 | 2020-04-14 | 科大国创软件股份有限公司 | 一种通话录音自动质检方法 |
CN112036188A (zh) * | 2020-08-07 | 2020-12-04 | 深圳前海微众银行股份有限公司 | 一种质检例句推荐的方法及装置 |
CN112804400A (zh) * | 2020-12-31 | 2021-05-14 | 中国工商银行股份有限公司 | 客服呼叫语音质检方法、装置、电子设备及存储介质 |
-
2021
- 2021-07-30 CN CN202110872713.7A patent/CN113553861B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110286584A1 (en) * | 2010-05-18 | 2011-11-24 | Albert Angel | Certified Communications System and Method |
CN110874405A (zh) * | 2019-11-19 | 2020-03-10 | 深圳前海微众银行股份有限公司 | 服务质检方法、装置、设备与计算机可读存储介质 |
CN110929011A (zh) * | 2019-11-28 | 2020-03-27 | 北京思特奇信息技术股份有限公司 | 一种对话分析方法、装置和设备 |
CN111010484A (zh) * | 2019-12-16 | 2020-04-14 | 科大国创软件股份有限公司 | 一种通话录音自动质检方法 |
CN112036188A (zh) * | 2020-08-07 | 2020-12-04 | 深圳前海微众银行股份有限公司 | 一种质检例句推荐的方法及装置 |
CN112804400A (zh) * | 2020-12-31 | 2021-05-14 | 中国工商银行股份有限公司 | 客服呼叫语音质检方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113553861B (zh) | 2023-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8750489B2 (en) | System and method for automatic call segmentation at call center | |
US10515156B2 (en) | Human-to-human conversation analysis | |
Ahmed et al. | Detecting opinion spams and fake news using text classification | |
US20160239500A1 (en) | System and methods for extracting facts from unstructured text | |
US20110208522A1 (en) | Method and apparatus for detection of sentiment in automated transcriptions | |
CN108829682B (zh) | 计算机可读存储介质、智能问答方法及智能问答装置 | |
CN102609406B (zh) | 学习装置、判断装置、学习方法和判断方法 | |
Tromp | Multilingual sentiment analysis on social media | |
US20150120379A1 (en) | Systems and Methods for Passage Selection for Language Proficiency Testing Using Automated Authentic Listening | |
US11630958B2 (en) | Determining topic labels for communication transcripts based on a trained generative summarization model | |
JPWO2010023938A1 (ja) | テキストマイニング装置、テキストマイニング方法、及びプログラム | |
US11797594B2 (en) | Systems and methods for generating labeled short text sequences | |
CN112036187A (zh) | 一种结合上下文语境的视频弹幕文本审核方法及系统 | |
CN102402717A (zh) | 数据分析设备和方法 | |
CN111079029A (zh) | 敏感账号的检测方法、存储介质和计算机设备 | |
US10380490B1 (en) | Systems and methods for scoring story narrations | |
JP6208794B2 (ja) | 会話分析装置、方法及びコンピュータプログラム | |
CN113626573A (zh) | 一种销售会话异议及应对提取方法及系统 | |
EP3005148A1 (en) | Entity extraction feedback | |
CN110610007A (zh) | 基于nlp的维保车况智能识别方法及装置 | |
JP5472641B2 (ja) | テキストマイニング装置、テキストマイニング方法、及びプログラム | |
CN112116181B (zh) | 课堂质量模型的训练方法、课堂质量评价方法及装置 | |
CN113553861A (zh) | 一种基于对话系统的信息处理方法、装置及存储介质 | |
CN116795978A (zh) | 一种投诉信息处理方法、装置、电子设备及介质 | |
CN111651987B (zh) | 身份判别方法及装置、计算机可读存储介质、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |