CN114418542A - 业务操作流程的检验方法、装置、设备及存储介质 - Google Patents

业务操作流程的检验方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114418542A
CN114418542A CN202210067108.7A CN202210067108A CN114418542A CN 114418542 A CN114418542 A CN 114418542A CN 202210067108 A CN202210067108 A CN 202210067108A CN 114418542 A CN114418542 A CN 114418542A
Authority
CN
China
Prior art keywords
session
identification text
checking
scene information
conversation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210067108.7A
Other languages
English (en)
Inventor
熊宗华
彭定邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202210067108.7A priority Critical patent/CN114418542A/zh
Publication of CN114418542A publication Critical patent/CN114418542A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种业务操作流程的检验方法、装置、设备及存储介质，包括：获取会话接待终止信号、会话识别文本和会话识别文本对应的会话业务参数；根据会话接待终止信号识别会话识别文本对应的待检验场景信息；根据待检验场景信息在场景目录中确定待检验场景信息对应的检验行为规则树；根据会话业务参数和检验行为规则树对会话识别文本中包含的业务操作流程进行检验，生成业务操作流程的检验结果。上述方案可以提取会话识别文本对应的场景信息，并匹配出场景信息下的检验行为规则树，通过检验行为规则树对会话识别文本中包含的业务操作流程进行检验，实现以自动化实时检验的方式保证对待检数据的全覆盖，有效解决现有技术中人工抽检方式的弊端。

Description

业务操作流程的检验方法、装置、设备及存储介质
技术领域
本申请实施例涉及数据处理领域，尤其涉及一种业务操作流程的检验方法、装置、设备及存储介质。
背景技术
在电商行业中，在线客服接待关于某工单的咨询业务后，需要创建相应的工单事件或对具体工单进行跟进，当工单事件完成或工单跟进完成，由在线客服执行关单操作后，需要对客服的关单流程进行检验，例如，关单流程是否合规、承诺工单业务跟进是否兑现等。目前，常见的关单操作规范检验以及承诺跟进检验主要是基于人工抽检的方式实现，例如，由质检人员依据不同的场景规范对对应的关闭工单、工单咨询会话等进行抽检。但这样的检验方式会导致大量工单数据被排除在检验范围外，无法保证检验的合规性。并且，在不同业务场景下，业务关单流程规范复杂、节点变化快，人工检验容易出现错误，而且人工抽检无法保证对关闭工单进行实时检验，极容易出现关单流程不规范、工单承诺未兑现等情况。
发明内容
本申请实施例提供了一种业务操作流程的检验方法、装置、设备及存储介质，能够实现以自动化实时检验的方式保证对待检数据的全覆盖，有效解决现有技术中人工抽检方式的弊端。
第一方面，本申请实施例还提供了一种业务操作流程的检验方法，该方法包括：
获取会话接待终止信号、会话识别文本和会话识别文本对应的会话业务参数；
根据会话接待终止信号识别会话识别文本对应的待检验场景信息；
根据待检验场景信息在场景目录中确定待检验场景信息对应的检验行为规则树；
根据会话业务参数和检验行为规则树对会话识别文本中包含的业务操作流程进行检验，生成业务操作流程的检验结果。
第二方面，本申请实施例还提供了一种业务操作流程的检验装置，该装置包括：
获取模块，用于获取会话接待终止信号、会话识别文本和会话识别文本对应的会话业务参数；
识别模块，用于根据会话接待终止信号识别会话识别文本对应的待检验场景信息；
确定模块，用于根据待检验场景信息在场景目录中确定待检验场景信息对应的检验行为规则树；
检验模块，用于根据会话业务参数和检验行为规则树对会话识别文本中包含的业务操作流程进行检验，生成业务操作流程的检验结果。
第三方面，本申请实施例还提供了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当处理器执行计算机程序时，实现如本申请任意实施例提供的业务操作流程的检验方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请任意实施例提供的业务操作流程的检验方法。
本申请实施例提供了一种业务操作流程的检验方法、装置、设备及存储介质，该方法可以应用于电商平台场景下，包括：获取会话接待终止信号、会话识别文本和会话识别文本对应的会话业务参数；根据会话接待终止信号识别会话识别文本对应的待检验场景信息；根据待检验场景信息在场景目录中确定待检验场景信息对应的检验行为规则树；根据会话业务参数和检验行为规则树对会话识别文本中包含的业务操作流程进行检验，生成业务操作流程的检验结果。通过上述方案，可以从会话识别文本中提取出场景信息，并基于场景信息匹配对应场景下的检验行为规则树，通过检验行为规则树包含的规则对会话识别文本中包含的业务操作流程进行检验，实现以自动化实时检验的方式保证对待检数据的全覆盖，有效解决现有技术中人工抽检方式的弊端。
附图说明
图1为本申请实施例中的一种业务操作流程的检验方法的流程图；
图2是本申请实施例中的检验行为规则树的示意图；
图3是本申请实施例中的一种业务操作流程的检验装置的结构示意图；
图4是本申请实施例中的另一种业务操作流程的检验装置的结构示意图；
图5是本申请实施例中的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
另外，在本申请实施例中，“可选地”或者“示例性地”等词用于表示作例子、例证或说明。本申请实施例中被描述为“可选地”或者“示例性地”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“可选地”或者“示例性地”等词旨在以具体方式呈现相关概念。
图1为本申请实施例提供的一种业务操作流程的检验方法的流程图，该方法可以应用于电商平台场景下，能够以自动化的方式实时对电商平台中在线客服的会话接待业务中涉及的各类操作流程或操作行为等进行质量检验，保证对各类待检验数据的全覆盖，有效克服现有人工抽检方式的弊端。该方法可以由本申请实施例提供的业务操作流程的检验装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在计算机设备中，计算机设备比如可以是服务器。以下实施例将以该装置集成在计算机设备中为例进行说明，如图1所示，该方法可以包括但不限于以下步骤：
S101、获取会话接待终止信号、会话识别文本和所述会话识别文本对应的会话业务参数。
本申请实施例中的会话接待可以理解为在电商平台场景下，在线客服以电话语音沟通、通过平台交流软件以文字形式进行在线聊天等方式对需要进行业务咨询的客户提供接待。
由于在电商平台场景下，会话接待有多种形式，那么在会话接待为通过文字形式进行在线聊天的情况下，可以获取会话文字信息，基于会话文字信息创建会话识别文本。若在会话接待为通过语音沟通的情况下，可以实时录制语音沟通过程中的会话语音信息，并将会话语音信息转化为文本信息，从而创建会话识别文本。例如，以在线客服与用户以文字形式进行在线聊天的场景为例，具体包括人工在线接待，以及平台系统向用户推送业务相关的各类问题选项，并基于用户选择的问题自动回复两种形式。若为人工在线接待，那么在会话结束后，可以由在线客服以系统工单模板为例，基于会话接待的内容手动创建关于该业务的工单。若为自动回复形式，那么在会话结束后，平台系统可以以系统工单模板为例，基于咨询过程中的相关内容，自动创建与咨询业务对应的工单。由于无论哪种形式的会话接待方式均有对应的工单或文本信息，那么在本申请实施例中将以文字形式存在的工单或文本信息统称为会话识别文本，且该会话识别文本中记录有会话接待过程中各问题对应的承诺解决方式、解决时间等等。
相应地，若某一会话识别文本对应业务的相关问题已解决，操作人员进行关单处理，例如，标记该会话识别文本处理完成时，则生成会话接待终止信号；或者，在某一会话识别文本对应业务的承诺解决时间到达时，也可以生成会话接待终止信号。
本申请实施例中的会话识别文本对应的会话业务参数可以包括该会话识别文本对应业务的相关参数，例如，物品的订单号、物流单号、物品编号等等。
S102、根据会话接待终止信号识别会话识别文本对应的待检验场景信息。
示例性地，在获取到会话接待终止信号，即表示会话识别文本中的承诺时间到，或者，会话识别文本中业务相关问题已解决，需要做关单处理，那么可以基于该会话接待终止信号识别会话识别文本对应的待检验场景信息。
示例性地，可以通过神经网络模型，例如，双向编码器(Bidirectional EncoderRepresentation from Transformers，BERT)模型对会话识别文本进行识别处理，以获取该会话识别文本对应的待检验场景信息。
可选地，在本申请实施例中，针对不同的内容可以采用不同的神经网络模型进行识别。例如，针对关单类的会话识别文本可以采用第一类BERT模型进行识别处理，针对承诺类的会话识别文本可以采用第二类BERT模型进行识别处理。需要说明的是，上述第一类BERT模型和第二类BERT模型具有相同的网络结构，仅是采用不同的样本进行训练，分别得到不同的网络参数，用于对特定的信息进行识别处理，以提高识别准确性。
例如，用各类关单对应的会话识别文本作为样本，训练第一类BERT模型，在确定某个会话识别文本被执行关单操作，并且生成了会话接待终止信号，那么基于该会话接待终止信号将训练后得到的第一类BERT模型用于对该会话识别文本进行识别处理。或者，用各类承诺类的会话识别文本作为训练样本，训练第二类BERT模型，在确定会话识别文本中记录的承诺时间到达时，基于生成的会话接待终止信号将训练后得到的第二类BERT模型用于对该会话识别文本进行识别处理。
当然，也可以用上述不同类型的会话识别文本对其他神经网络模型进行训练，并基于训练后的神经网络模型对多个不同类型的会话识别文本进行识别处理，以获取对应会话识别文本的待检验场景信息。
由于在会话接待过程中并不会区分场景，比如，售前场景、售后场景等，那么基于上述神经网络模型对会话识别文本进行识别处理时，可以进一步识别会话识别文本中记录的会话业务参数、承诺解决人员角色等信息，从而确定该会话识别文本对应的待检验场景信息。
S103、根据待检验场景信息在场景目录中确定待检验场景信息对应的检验行为规则树。
在本申请实施例中，可以对场景信息进行详细划分，例如，一级场景、一级场景下的二级场景，以及二级场景下的三级场景等。比如，假设售前场景和售后场景分别为一级场景，售后场景下进一步还可以包括退货场景、换货场景、保修场景等多个二级场景。当然，场景信息的详细划分可以根据实际情况进行调整，本申请实施例仅是进行示例性地说明，对此并不做详细限定。
该多个划分后的场景以及各场景之间的关系即可构成场景目录，即场景目录可以包括至少一个场景信息。进一步地，该任一场景不包括下级子场景信息的情况下，该任一场景信息上挂载与该场景信息对应的检验行为规则树。
例如，假设场景目录仅包括一级场景1a和一级场景1b，一级场景1a下仅包括二级场景2a和二级场景2b。由于一级场景1b、二级场景2a和二级场景2b均不包括下级子场景信息，那么一级场景1b、二级场景2a和二级场景2b上可以挂载与该场景信息对应的检验行为规则树。
相应地，在步骤S102中确定会话识别文本对应的待检验场景信息后，可以将该待检验场景信息与场景目录中包含的各场景信息进行匹配，以确定该待检验场景信息对应的检验行为规则树。
需要说明的是，在本申请实施例中，待检验场景信息为场景目录中不包含下级子场景信息的场景信息。例如，假设在识别处理过程中，确认会话识别文本对应的待检验场景信息为一级场景信息，而在场景目录中，该一级场景信息下还包括多个二级场景，那么可以基于神经网络模型对会话识别文本做进一步地识别处理，以更加精确地确定会话识别文件对应的待检验场景为该一级场景信息下的哪个二级场景信息，从而可以基于场景目录精确地确定出该待检验场景信息对应的检验行为规则树。
S104、根据会话业务参数和检验行为规则树对会话识别文本中包含的业务操作流程进行检验，生成业务操作流程的检验结果。
在本申请实施例中，检验行为规则树可以包括至少一个分支，任意一个分支包括检验结果节点和至少一个判断节点，该判断节点包含有用于检验会话业务参数的维度信息，检验结果节点用于记录该分支的分支检验结果。如图2所示，假设该检验行为规则树包括多个分支，每个分支包括不同信息的划分，进一步地，各分支中包括的判断节点(即图中标识有字母的圆圈)可以涵盖多个维度的信息。例如，假设图2中的判断节点A、B为运输分类(比如，自营物流和非自营物流)，节点A进一步细分为两个分支上的判断节点，即A1和A2，其中A1为品类(例如，手机、电脑等)，A2可以包括订单类型、订单状态、是否发货等多个维度的信息，即判断节点包含的维度信息可以为一个维度的信息，也可以为多个维度的信息。A1和A2分别连接两个检验结果节点，这两个检验结果节点分别用于记录A1所在分支和A2所在分支对应的分支检验结果。
在基于上述步骤确定会话识别文本对应待检验场景信息的检验行为规则树后，可以将该会话识别文本对应的会话业务参数作为输入信息，基于该检验行为规则树中包含的各判断节点进行匹配、判断，以对该会话识别文本中包含的业务操作流程进行检验，生成业务操作流程的检验结果。例如，根据会话业务参数在检验行为规则树中确定与会话业务参数对应的检验分支，基于会话业务参数和会话业务参数对应的检验分支确定会话业务参数对应的分支检验结果，并基于分支检验结果确定会话识别文本中包含的业务操作流程的检验结果。
需要说明的是，在会话识别文本对应的会话业务参数可以对应检验行为规则树中的多个分支时，可以基于该多个分支的分支检验结果确定会话识别文本中包含的业务操作流程的检验结果。在会话识别文本对应的会话业务参数仅对应检验行为规则树中的一个分支时，可以基于该一个分支的分支检验结果确定会话识别文本中包含的业务操作流程的检验结果。
本申请实施例提供了一种业务操作流程的检验方法，可以应用于电商平台场景下，该方法包括：获取会话接待终止信号、会话识别文本和会话识别文本对应的会话业务参数；根据会话接待终止信号识别会话识别文本对应的待检验场景信息；根据待检验场景信息在场景目录中确定待检验场景信息对应的检验行为规则树；根据会话业务参数和检验行为规则树对会话识别文本中包含的业务操作流程进行检验，生成业务操作流程的检验结果。通过上述方案，可以从会话识别文本中提取出场景信息，并基于场景信息匹配对应场景下的检验行为规则树，通过检验行为规则树包含的规则对会话识别文本中包含的业务操作流程进行检验，实现以自动化实时检验的方式保证对待检数据的全覆盖，有效解决现有技术中人工抽检方式的弊端。
在一种示例中，由于会话识别文本对应的会话业务参数可能会存在于检验行为规则树中的一个分支或多个分支，那么在获取会话识别文本中包含的业务操作流程的检验结果时，可以对一个分支或多个分支的检验结果进行判断。例如，在分支检验结果中存在至少一个检验不合规的情况下，确定会话识别文本中包含的业务操作流程的检验结果为检验不合规；在分支检验结果均为检验合规的情况下，确定会话识别文本中包含的业务操作流程的检验结果为检验合规。即会话业务参数对应的任一分支存在检验不合规的情况，则判断整个会话识别文本包含的业务操作流程不合规。相反，若会话业务参数对应的所有分支均属于检验合规，那么确定整个会话识别文本包含的业务操作流程合规。
在一种示例中，本申请实施例还提供了一种实现方式，包括：在根据会话业务参数和检验行为规则树对会话识别文本中包含的业务操作流程进行检验之前，根据会话业务参数和会话识别文本生成与会话识别文本对应的检验标识；该检验标识与会话识别文本中包含的业务操作流程的检验结果呈对应关系。
例如，假设在存在海量待检会话识别文本的情况下，可以基于会话识别文本和会话识别文本对应的会话业务参数生成会话识别文本对应检验标识，该检验标识具有唯一性，可以区分多个会话识别文本，那么在同时生成多个会话识别文本包含的业务操作流程的检验结果的情况下，可以基于该唯一的检验标识，区分多个检验结果，以基于检验标识与检验结果之间的对应关系准确确定多个会话识别文本各自包含的业务操作流程的检验结果。
图3为本申请实施例提供的一种业务操作流程的检验装置的结构示意图，该装置可以应用于电商平台场景下，如图3所示，该装置可以包括：获取模块301、识别模块302、确定模块303、检验模块304；
其中，获取模块，用于获取会话接待终止信号、会话识别文本和会话识别文本对应的会话业务参数；
识别模块，用于根据会话接待终止信号识别会话识别文本对应的待检验场景信息；
确定模块，用于根据待检验场景信息在场景目录中确定待检验场景信息对应的检验行为规则树；
检验模块，用于根据会话业务参数和检验行为规则树对会话识别文本中包含的业务操作流程进行检验，生成业务操作流程的检验结果。
在一种示例中，获取模块，用于获取会话语音信息，将会话语音信息转换为会话识别文本；
或者，获取会话文字信息，将会话文字信息生成会话识别文本。
在一种示例中，识别模块，用于根据会话接待终止信号采用神经网络模型对会话识别文本进行识别处理，获取与会话识别文本对应的待检验场景信息。
可选地，上述场景目录可以包括至少一个场景信息，在任一场景信息不包括下级子场景信息的情况下，任一场景信息上挂载与场景信息对应的检验行为规则树。
可选地，检验行为规则树可以包括至少一个分支，该分支包括检验结果节点和至少一个判断节点，判断节点包含有用于检验会话业务参数的维度信息，检验结果节点用于记录分支的分支检验结果。
在一种示例中，检验模块，用于根据会话业务参数在检验行为规则树中确定与会话业务参数对应的检验分支；基于会话业务参数和会话业务参数对应的检验分支确定会话业务参数对应的分支检验结果；以及，基于分支检验结果确定会话识别文本中包含的业务操作流程的检验结果。
进一步地，检验模块，还可以用于在分支检验结果中存在至少一个检验不合规的情况下，确定会话识别文本中包含的业务操作流程的检验结果为检验不合规；在分支检验结果均为检验合规的情况下，确定会话识别文本中包含的业务操作流程的检验结果为检验合规。
如图4所示，在一种示例中，上述装置还可以包括生成模块305；
生成模块，用于根据会话业务参数和会话识别文本生成与会话识别文本对应的检验标识；
其中，检验标识与会话识别文本中包含的业务操作流程的检验结果呈对应关系。
上述业务操作流程的检验装置可以执行图1所提供的业务操作流程的检验方法，具备该方法中相应的器件和有益效果。
图5为本发明实施例5提供的一种计算机设备的结构示意图，如图5所示，该计算机设备包括控制器501、存储器502、输入装置503、输出装置504；计算机设备中控制器501的数量可以是一个或多个，图5中以一个控制器501为例；计算机设备中的控制器501、存储器502、输入装置503和输出装置504可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器502作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如图1实施例中的业务操作流程的检验方法对应的程序指令/模块(例如，业务操作流程的检验装置中的获取模块301、识别模块302、确定模块303、检验模块304)。控制器501通过运行存储在存储器502中的软件程序、指令以及模块，从而执行计算机设备的各种功能以及数据处理，即实现上述的业务操作流程的检验方法。
存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器502可进一步包括相对于控制器501远程设置的存储器，这些远程存储器可以通过网络连接至终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置503可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置504可包括显示屏等显示装置。
本申请实施例还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机控制器执行时用于执行一种业务操作流程的检验方法，该方法包括图1所示的步骤。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
值得注意的是，上述业务操作流程的检验装置中所包括的模块只是按照功能逻辑进行划分，但并不局限于上述的划分方式，只要能够实现相应的功能即可，不用于限制本申请的保护范围。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (11)

1.一种业务操作流程的检验方法，其特征在于，包括：
获取会话接待终止信号、会话识别文本和所述会话识别文本对应的会话业务参数；
根据所述会话接待终止信号识别所述会话识别文本对应的待检验场景信息；
根据所述待检验场景信息在场景目录中确定所述待检验场景信息对应的检验行为规则树；
根据所述会话业务参数和所述检验行为规则树对所述会话识别文本中包含的业务操作流程进行检验，生成所述业务操作流程的检验结果。
2.根据权利要求1所述的方法，其特征在于，所述获取会话识别文本，包括：
获取会话语音信息，将所述会话语音信息转换为会话识别文本；
或者，获取会话文字信息，将所述会话文字信息生成会话识别文本。
3.根据权利要求1或2所述的方法，其特征在于，根据所述会话接待终止信号识别所述会话识别文本对应的待检验场景信息，包括：
根据所述会话接待终止信号采用神经网络模型对所述会话识别文本进行识别处理，获取与所述会话识别文本对应的待检验场景信息。
4.根据权利要求1所述的方法，其特征在于，所述场景目录包括至少一个场景信息，在任一所述场景信息不包括下级子场景信息的情况下，任一所述场景信息上挂载与所述场景信息对应的检验行为规则树。
5.根据权利要求1所述的方法，其特征在于，所述检验行为规则树包括至少一个分支，所述分支包括检验结果节点和至少一个判断节点，所述判断节点包含有用于检验所述会话业务参数的维度信息，所述检验结果节点用于记录所述分支的分支检验结果。
6.根据权利要求1或2或4或5所述的方法，其特征在于，所述根据会话业务参数和所述检验行为规则树对所述会话识别文本中包含的业务操作流程进行检验，生成所述业务操作流程的检验结果，包括：
根据所述会话业务参数在所述检验行为规则树中确定与所述会话业务参数对应的检验分支；
基于所述会话业务参数和所述会话业务参数对应的检验分支确定所述会话业务参数对应的分支检验结果；
基于所述分支检验结果确定所述会话识别文本中包含的业务操作流程的检验结果。
7.根据权利要求6所述的方法，其特征在于，所述基于所述分支检验结果确定所述会话识别文本中包含的业务操作流程的检验结果，包括：
在所述分支检验结果中存在至少一个检验不合规的情况下，确定所述会话识别文本中包含的业务操作流程的检验结果为检验不合规；
在所述分支检验结果均为检验合规的情况下，确定所述会话识别文本中包含的业务操作流程的检验结果为检验合规。
8.根据权利要求1所述的方法，其特征在于，在所述根据会话业务参数和所述检验行为规则树对所述会话识别文本中包含的业务操作流程进行检验之前，所述方法还包括：
根据所述会话业务参数和所述会话识别文本生成与所述会话识别文本对应的检验标识；
其中，所述检验标识与所述会话识别文本中包含的业务操作流程的检验结果呈对应关系。
9.一种业务操作流程的检验装置，应用于电商平台场景下，其特征在于，包括：
获取模块，用于获取会话接待终止信号、会话识别文本和所述会话识别文本对应的会话业务参数；
识别模块，用于根据所述会话接待终止信号识别所述会话识别文本对应的待检验场景信息；
确定模块，用于根据所述待检验场景信息在场景目录中确定所述待检验场景信息对应的检验行为规则树；
检验模块，用于根据所述会话业务参数和所述检验行为规则树对所述会话识别文本中包含的业务操作流程进行检验，生成所述业务操作流程的检验结果。
10.一种计算机设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-8任一项所述的业务操作流程的检验方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-8任一项所述的业务操作流程的检验方法。
CN202210067108.7A 2022-01-20 2022-01-20 业务操作流程的检验方法、装置、设备及存储介质 Pending CN114418542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210067108.7A CN114418542A (zh) 2022-01-20 2022-01-20 业务操作流程的检验方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210067108.7A CN114418542A (zh) 2022-01-20 2022-01-20 业务操作流程的检验方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114418542A true CN114418542A (zh) 2022-04-29

Family

ID=81274409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210067108.7A Pending CN114418542A (zh) 2022-01-20 2022-01-20 业务操作流程的检验方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114418542A (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167952A1 (en) * 2007-01-09 2008-07-10 Blair Christopher D Communication Session Assessment
WO2009033377A1 (fr) * 2007-09-13 2009-03-19 Huawei Technologies Co., Ltd. Procédé et système d'examen d'inspection de qualité
WO2010094186A1 (zh) * 2009-02-20 2010-08-26 华为技术有限公司 客户服务质检方法、装置及系统
WO2015007107A1 (zh) * 2013-07-18 2015-01-22 中兴通讯股份有限公司 一种对客服人员的服务质量进行质检的装置及方法
US20150172466A1 (en) * 2010-12-20 2015-06-18 Amazon Technologies, Inc. Quality review of contacts between customers and customer service agents
KR20190020204A (ko) * 2017-08-07 2019-02-28 김학태 클라이언트 서비스 지원 양방향 중개 시스템 및 방법
CN110083689A (zh) * 2019-03-20 2019-08-02 上海拍拍贷金融信息服务有限公司 客户服务质量检测方法及装置、可读存储介质
CN110147726A (zh) * 2019-04-12 2019-08-20 财付通支付科技有限公司 业务质检方法和装置、存储介质及电子装置
CN111010484A (zh) * 2019-12-16 2020-04-14 科大国创软件股份有限公司 一种通话录音自动质检方法
WO2020135124A1 (zh) * 2018-12-27 2020-07-02 阿里巴巴集团控股有限公司 会话质量评价方法、装置及电子设备
US20200293587A1 (en) * 2019-03-15 2020-09-17 ContactEngine Limited Digital content security and communications system using artificial intelligence (ai) based machine learning and predictive analysis
CN111917924A (zh) * 2020-07-29 2020-11-10 上海博泰悦臻电子设备制造有限公司 客服语音质检方法及相关设备
CN111984779A (zh) * 2020-09-10 2020-11-24 支付宝(杭州)信息技术有限公司 一种对话文本分析方法、装置、设备和可读介质
CN112507121A (zh) * 2020-12-01 2021-03-16 平安科技（深圳）有限公司 客服违规质检方法、装置、计算机设备及存储介质
WO2021056837A1 (zh) * 2019-09-25 2021-04-01 苏州思必驰信息科技有限公司 服务质量评测产品定制平台及方法
CN112804400A (zh) * 2020-12-31 2021-05-14 中国工商银行股份有限公司 客服呼叫语音质检方法、装置、电子设备及存储介质
CN113223532A (zh) * 2021-04-30 2021-08-06 平安科技（深圳）有限公司 客服通话的质检方法、装置、计算机设备及存储介质
CN113628627A (zh) * 2021-08-11 2021-11-09 广东电网有限责任公司广州供电局 一种基于结构化语音分析的电力行业客户服务质检系统
CN113657773A (zh) * 2021-08-19 2021-11-16 中国平安人寿保险股份有限公司 话术质检方法、装置、电子设备及存储介质
CN113849617A (zh) * 2021-09-23 2021-12-28 深圳追一科技有限公司 客服质检方法、装置、计算机设备及存储介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167952A1 (en) * 2007-01-09 2008-07-10 Blair Christopher D Communication Session Assessment
WO2009033377A1 (fr) * 2007-09-13 2009-03-19 Huawei Technologies Co., Ltd. Procédé et système d'examen d'inspection de qualité
WO2010094186A1 (zh) * 2009-02-20 2010-08-26 华为技术有限公司 客户服务质检方法、装置及系统
US20150172466A1 (en) * 2010-12-20 2015-06-18 Amazon Technologies, Inc. Quality review of contacts between customers and customer service agents
WO2015007107A1 (zh) * 2013-07-18 2015-01-22 中兴通讯股份有限公司 一种对客服人员的服务质量进行质检的装置及方法
KR20190020204A (ko) * 2017-08-07 2019-02-28 김학태 클라이언트 서비스 지원 양방향 중개 시스템 및 방법
WO2020135124A1 (zh) * 2018-12-27 2020-07-02 阿里巴巴集团控股有限公司 会话质量评价方法、装置及电子设备
US20200293587A1 (en) * 2019-03-15 2020-09-17 ContactEngine Limited Digital content security and communications system using artificial intelligence (ai) based machine learning and predictive analysis
CN110083689A (zh) * 2019-03-20 2019-08-02 上海拍拍贷金融信息服务有限公司 客户服务质量检测方法及装置、可读存储介质
CN110147726A (zh) * 2019-04-12 2019-08-20 财付通支付科技有限公司 业务质检方法和装置、存储介质及电子装置
WO2021056837A1 (zh) * 2019-09-25 2021-04-01 苏州思必驰信息科技有限公司 服务质量评测产品定制平台及方法
CN111010484A (zh) * 2019-12-16 2020-04-14 科大国创软件股份有限公司 一种通话录音自动质检方法
CN111917924A (zh) * 2020-07-29 2020-11-10 上海博泰悦臻电子设备制造有限公司 客服语音质检方法及相关设备
CN111984779A (zh) * 2020-09-10 2020-11-24 支付宝(杭州)信息技术有限公司 一种对话文本分析方法、装置、设备和可读介质
CN112507121A (zh) * 2020-12-01 2021-03-16 平安科技（深圳）有限公司 客服违规质检方法、装置、计算机设备及存储介质
CN112804400A (zh) * 2020-12-31 2021-05-14 中国工商银行股份有限公司 客服呼叫语音质检方法、装置、电子设备及存储介质
CN113223532A (zh) * 2021-04-30 2021-08-06 平安科技（深圳）有限公司 客服通话的质检方法、装置、计算机设备及存储介质
CN113628627A (zh) * 2021-08-11 2021-11-09 广东电网有限责任公司广州供电局 一种基于结构化语音分析的电力行业客户服务质检系统
CN113657773A (zh) * 2021-08-19 2021-11-16 中国平安人寿保险股份有限公司 话术质检方法、装置、电子设备及存储介质
CN113849617A (zh) * 2021-09-23 2021-12-28 深圳追一科技有限公司 客服质检方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN111984779B (zh) 一种对话文本分析方法、装置、设备和可读介质
CN111210842B (zh) 语音质检方法、装置、终端及计算机可读存储介质
CN111179935B (zh) 一种语音质检的方法和设备
CN111597818B (zh) 呼叫质检方法、装置、计算机设备和计算机可读存储介质
CN111260102A (zh) 一种用户满意度预测方法、装置、电子设备及存储介质
CN112256849B (zh) 模型训练方法、文本检测方法、装置、设备和存储介质
CN110929011A (zh) 一种对话分析方法、装置和设备
CN110955770A (zh) 一种智能对话系统
US20220327452A1 (en) Method for automatically updating unit cost of inspection by using comparison between inspection time and work time of crowdsourcing-based project for generating artificial intelligence training data
CN111104542B (zh) 零件识别管理方法及装置
CN112509561A (zh) 情绪识别方法、装置、设备及计算机可读存储介质
US20190095421A1 (en) Cognitive entity reference recognition
CN112925888A (zh) 一种问答响应及小样本文本匹配模型的训练方法和装置
CN114116801A (zh) 数据清单核查方法及装置
CN114049895A (zh) 一种基于asr的语音质检分析方法及系统
CN111414732A (zh) 文本风格转换方法、装置、电子设备及存储介质
CN112559369A (zh) 一种自动化测试方法、设备和存储介质
CN114418542A (zh) 业务操作流程的检验方法、装置、设备及存储介质
CN116431522A (zh) 一种低代码对象存储网关自动化测试方法及系统
CN116383710A (zh) 标签确定方法、装置、电子设备及存储介质
CN116127011A (zh) 意图识别方法、装置、电子设备及存储介质
CN113645357B (zh) 通话质检方法、装置、计算机设备和计算机可读存储介质
CN110443202B (zh) 论文字体工整度即时分析系统、方法及存储介质
KR102205810B1 (ko) 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 재작업 결과의 자동 반려 방법
CN110083807B (zh) 合同的修改影响自动预测方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination