CN111709630A - 语音质检方法、装置、设备及存储介质 - Google Patents
语音质检方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111709630A CN111709630A CN202010511784.XA CN202010511784A CN111709630A CN 111709630 A CN111709630 A CN 111709630A CN 202010511784 A CN202010511784 A CN 202010511784A CN 111709630 A CN111709630 A CN 111709630A
- Authority
- CN
- China
- Prior art keywords
- quality inspection
- detected
- inspection result
- voice
- text data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例公开了一种语音质检方法、装置、设备及存储介质，所述方法包括：获取待检测语音文本数据；将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果；将所述待检测语音文本数据输入第二深度学习模型以获取第二质检结果；根据所述第一质检结果和所述第二质检结果确定目标质检结果。本发明实施例结合了机器学习和深度学习的优点，既可以对客服语音服务内容进行多角度的质检类别识别，又可以对客服语音服务内容全文进行综合的语义理解，做到了全面、准确、快速的识别，提高了客服语音质检的准确性和效率，扩展了原有企业客服语音质检方法的广度和深度。
Description
技术领域
本发明实施例涉及人工智能技术领域，尤其涉及一种语音质检方法、装置、设备及存储介质。
背景技术
随着服务行业和互联网的不断发展，用户对在线客服质量要求越来越高，提升企业客服语音服务质量，将成为企业良好形象和长久发展的有力支撑。
要提升客服语音服务质量，则需要对客服语音进行检测。传统的客服语音检测方式是人工审核，客服语音质检专员对客服语音进行逐条检测，然后给出检测结果，这种检测方式得到的检测结果一般比较准确且详细，但是效率低下，且需要花费大量的人工成本，不适用于大中型企业。目前也有通过设置一定的规则提取客服语音中的关键字进行客服语音检测，这种检测方法的检测速度较快，企业容易部署，但是需要大量的人工标注数据，且只能识别关键字所指定的特定内容，灵活性差，容易漏检。
发明内容
本发明实施例提供一种语音质检方法、装置、设备及存储介质，以提高客服语音质检的准确性和效率。
第一方面，本发明实施例提供一种语音质检方法，包括：
获取待检测语音文本数据；
将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果；
将所述待检测语音文本数据输入第二深度学习模型以获取第二质检结果；
根据所述第一质检结果和所述第二质检结果确定目标质检结果。
进一步的，所述获取待检测语音文本数据包括：
获取待检测音频数据；
通过语音识别将所述待检测音频数据转换为待检测语音文本数据。
进一步的，获取待检测音频数据之后，还包括：
对所述待检测音频数据进行情感检测，以获取情感质检结果；
对所述待检测音频数据进行语速检测，以获取语速质检结果。
进一步的，所述待检测语音文本数据包括多个待检测文本语句，将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果，包括：
通过正则表达式确定当前待检测文本语句中是否包括预设关键字；
若当前待检测文本语句中包括预设关键字，则根据所述预设关键字的信息确定关键字质检结果；
若当前待检测文本语句中不包括预设关键字，则将所述当前待检测文本语句输入第一机器学习模型以获取模型质检结果；
遍历待检测文本数据中的所有待检测文本语句，根据所有关键字质检结果和模型质检结果确定第一质检结果。
进一步的，根据所述第一质检结果和所述第二质检结果确定目标质检结果，包括：
根据所述情感质检结果、所述语速质检结果、所述第一质检结果和所述第二质检结果确定目标质检结果。
进一步的，将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果之前，还包括：
对多个样本语音文本数据进行预处理以获取样本关键字的数学表达；
通过预设词向量模型将所述样本关键字表示为样本词向量；
根据所述样本关键字的数学表达和所述样本词向量生成训练词向量；
将所述训练词向量输入预设模型进行训练，通过网格搜索和交叉验证将训练好的预设模型作为第一机器学习模型。
进一步的，将所述待检测语音文本数据输入第二深度学习模型以获取第二质检结果之前，还包括：
根据预训练模型获取初始化参数；
根据所述初始化参数对预设深度学习模型进行训练，通过动态调参将训练好的预设深度学习模型作为第二深度学习模型。
第二方面，本发明实施例提供一种语音质检装置，包括：
文本数据获取模块，用于获取待检测语音文本数据；
第一质检结果获取模块，用于将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果；
第二质检结果获取模块，用于将所述待检测语音文本数据输入第二深度学习模型以获取第二质检结果；
目标质检结果获取模块，用于根据所述第一质检结果和所述第二质检结果确定目标质检结果。
第三方面，本发明实施例提供一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的语音质检方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的语音质检方法。
本发明实施例结合了机器学习和深度学习的优点，既可以对客服语音服务内容进行多角度的质检类别识别，又可以对客服语音服务内容全文进行综合的语义理解，做到了全面、准确、快速的识别，提高了客服语音质检的准确性和效率，扩展了原有企业客服语音质检方法的广度和深度。
附图说明
图1为本发明实施例一提供的一种语音质检方法的流程示意图；
图2为本发明实施例二提供的一种语音质检方法的流程示意图；
图3为本发明实施例三提供的一种语音质检装置的结构示意图；
图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”、“批量”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的一种语音质检方法的流程示意图，可适用于企业客服语音服务内容的质量检测。如图1所示，本发明实施例一提供的语音质检方法包括：
S110、获取待检测语音文本数据。
具体的，待检测语音文本数据是指需要进行质量检测的客服语音信息所转换成的文本语句信息，这其中仅包括客服人员的语音信息转换得到的文本信息，不包括与客服人员对话的用户的语音信息。
S120、将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果。
具体的，第一机器学习模型是指以有监督学习方法为主，通过人工构造有用特征而预先训练好的机器学习模型，如机器学习分类模型XGBoost、LightGBM、SVM(SupportVector Machine，支持向量机)等。第一机器学习模型中包含大量已经根据质检标准分类好的样本数据，将待检测语音文本数据输入到第一机器学习模型中，第一机器学习模型便可自动为待检测语音文本数据进行分类，并输出分类结果，即第一质检结果。第一机器学习模型的覆盖范围广，可以处理大量的待检测语音文本数据，从而使得语音质检的覆盖范围广，效率高。
进一步的，第一机器学习模型中样本数据对应的质检类别是指制定的质检标准的类型，通常质检类别包括多种，如质检类别包括：处理效率、服务态度、沟通能力、合规、服务规范和质检合格，处理效率表示客服人员在处理用户的业务查询需求所花费的时间、响应速度等是否符合要求，服务态度表示客服人员在于客户沟通时的语气、语音等是否符合要求，沟通能力表示客服人员在进行自我表达时的逻辑是否够清晰，合规表示客服人员在与用户的沟通过程中是否符合根据具体的业务要求所制定的规范准则，服务规范表示客服人员对用户的问候、称呼等是否符合要求，质检合格则表示客服人员的语音服务质量较好，没有产生不符合要求的问题，也可以认为当质检类别是否是处理效率、服务态度、沟通能力、合规和服务规范中的任意一种时，则将质检类别设为之间合格。
本实施例中，第一质检结果所输出的质检类别是指待检测语音文本数据内容对于该质检类别不达标。示例性的，将待检测语音文本数据输入第一机器学习模型，第一机器学习模型对待检测语音文本数据进行分析和分类，输出的第一质检结果为：处理效率、服务态度和沟通能力，这就表示待检测语音文本数据中的客服人员在与用户的沟通过程中，处理效率、服务态度和沟通能力均不符合要求。
S130、将所述待检测语音文本数据输入第二深度学习模型以获取第二质检结果。
具体的，第二深度学习模型是指预先在没有或只有少量特征工程的前提下，通过自主学习特征和端到端的形式训练而得到的神经网路模型。将待检测语音文本数据输入第二深度学习模型，第二深度学习模型对待检测语音文本数据进行分析和分类，并输出分类结果，即第二质检结果。第二深度学习模型可以对待检测语音文本数据中的上下文进行质检识别，即基于全文理解进行质检识别，从而提高了语音质检的准确性。其中，第二深度学习模型的质检类别及第二质检结果表示方式与第一机器学习模型的质检类别及第一质检结果表示方式相同，具体描述可参考步骤S120中的描述，在此不再赘述。
S140、根据所述第一质检结果和所述第二质检结果确定目标质检结果。
具体的，通过第一机器学习模型得到了第一质检结果，通过第二深度学习模型得到了第二质检结果，综合考虑第一质检结果和第二质检结果，便可以得到全面、准确的目标质检结果。示例性的，第一质检结果包括：处理效率、服务态度和沟通能力，第二质检结果包括处理效率和服务态度，那么可以认为，目标质检结果至少包括处理效率和服务态度，即客服的处理效率和服务态度均不达标，若设定至少两项不达标则视为质检不合格，则目标质检结果为不合格。
进一步的，可以将第一质检结果和第二质检结果以分数的形式表示，然后根据第一质检结果和第二质检结果的预设权重占比，将第一质检结果和第二质检结果的加权平均值作为目标质检结果。示例性的，设定一个总分(该总分表示质检合格的分数)，根据第一质检结果或第二质检结果中具体的质检类别，对相应的项目进行扣分，总分减去扣除的分数，即为最终的第一质检结果或第二质检结果的分数表示形式。示例性的，质检合格表示100分，处理效率、服务态度、沟通能力、合规和服务规范各占20分，示例性的，第一质检结果包括：处理效率、服务态度和沟通能力，那么第一质检结果表示为100-20-20-20＝40分，第二质检结果包括处理效率和服务态度，那么第二质检结果为100-20-20＝60分。若第一质检结果和第二质检结果的预设权重占比分别为50％，那么目标质检结果＝第一质检结果*50％+第二质检结果*50％＝40*50％+60*50％＝50分。若根据分数对客服语音服务质量进行划分，如小于50分表示客服语音服务质量极差，不小于50分但小于70分表示客服语音服务质量较差，不小于70分但小于80分表示客服语音服务质量一般，不小于80分但小于90分表示客服语音服务质量良好，不小于90分表示客服语音服务质量优秀，那么当目标质检结果为50分时，则确定客服语音服务质量较差。
需要说明的是，本实施例中的目标质检结果可以是具体的质检类别，也可以是经过换算得到的分数，还可以是对客服语音服务质量优劣的评价，更可以是其他的表现形式，本发明实施例不做限制，实际应用中可根据需要进行设置和调整。
本发明实施例一提供的语音质检方法通过获取待检测语音文本数据；将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果；将所述待检测语音文本数据输入第二深度学习模型以获取第二质检结果；根据所述第一质检结果和所述第二质检结果确定目标质检结果。结合了机器学习和深度学习的优点，既可以对客服语音服务内容进行多角度的质检类别识别，又可以对客服语音服务内容全文进行综合的语义理解，做到了全面、准确、快速的识别，提高了客服语音质检的准确性和效率，扩展了原有企业客服语音质检方法的广度和深度。
实施例二
图2为本发明实施例二提供的一种语音质检方法的流程示意图，本实施例是对上述实施例的进一步优化。如图2所示，本发明实施例二提供的语音质检方法包括：
S201、获取待检测音频数据。
具体的，待检测音频数据是指需要进行质量检测的客服语音信息。通常，客服为用户提供语音服务时会进行录音，录音文件通常包括客服语音信息和用户语音信息，故需要对录音文件进行处理，将录音文件中的客服语音信息提取出来形成待检测音频数据，优选的，通过声纹识别将客服语音信息从录音文件中提取出来，形成待检测音频数据。
S202、对所述待检测音频数据进行情感检测，以获取情感质检结果。
具体的，情感检测就是分析待检测音频数据中客服的通话情绪，可以通过语音情感分类模型来进行情感检测，语音情感分类模型是神经网络模型的一种。可选的，可以将待检测音频数据输入语音情感分类模型进行分析来获取情感质检结果，也可以先将待检测音频数据转换成待检测语音文本数据，然后对待检测语音文本数据进行分析获取情感质检结果，还可以综合考虑分析待检测音频数据和待检测语音文本数据得到情感质检结果。情感质检结果可以是具体的情感表现，如愤怒、喜悦、平和、悲伤等，也可以是简单分类，如正面情绪和负面情绪。示例性的，将情感质检结果以分数的形式表示，若情感检测为正面情绪，则情感质检结果计100分，若情感检测为负面情绪，则情感质检结果计50分。
S203、对所述待检测音频数据进行语速检测，以获取语速质检结果。
具体的，语速检测是分析客服说话时的语速是否在预设阈值范围内，语速质检结果可表示为语速合格和语速不合格，语速合格是指待检测音频数据中客服说话时的语速在预设阈值范围内，语速不合格则是指待检测音频数据中客服说话时的语速不在预设阈值范围内，即语速过快或过慢都视为语速不合格。示例性的，将语速质检结果以分数的形式表示，若语速检测为正面情绪，则语速质检结果计100分，若语速检测为负面情绪，则语速质检结果计50分。
S204、通过语音识别将所述待检测音频数据转换为待检测语音文本数据，所述待检测语音文本数据包括多个待检测文本语句。
具体的，待检测语音文本数据是指需要进行质量检测的客服语音信息所转换成的文本语句信息。在进行语音识别时，可以是对待检测音频数据进行识别后直接生成相应的文本语句信息，也可以是先通过声学模型将待检测音频数据转换为拼音信息，然后通过语言模型将拼音信息转换为文本语句信息。待检测语音文本数据中的一个句子就是一个待检测文本语句，待检测语音文本数据中必然包括多个待检测文本语句。
S205、通过正则表达式确定当前待检测文本语句中是否包括预设关键字。
具体的，正则表达式又称规则表达式，用于检索或替换那些符合某个模式或规则的文本。本实施例中，预先设定关键字，然后通过正则表达式就可以检索出当前待检测文本语句是否包括预设关键字。预设关键字可以是一个文字，也可以是一个词语，还可以是一个句子，本实施例中，预设关键字可以根据语音质检需要考核的质检类别进行设定。
S206、若当前待检测文本语句中包括预设关键字，则根据所述预设关键字的信息确定关键字质检结果。
具体的，若当前待检测文本语句中包括预设关键字，首先确定预设关键字的具体内容，以及该预设关键字在当前待检测文本语句中的位置，然后通过字典映射的方式，确定当前待检测文本语句的质检类别，即得到关键字质检结果。预设关键字的内容机器在待检测文本语句中的位置，与质检类别具有对应关系，它们之间的对应关系可以通过字典的形式来表示，根据预设关键字的内容机器在待检测文本语句中的位置确定待检测文本语句的质检类别就称为字典映射。
关键字质检结果可能包括的质检类别有：处理效率、服务态度、沟通能力、合规和服务规范，各质检类别的具体含义与上述实施例中的相同，在此不再赘述。通过预设关键字的匹配查询，可以精确地确定每一条待检测文本语句的质检类别，提高语音质检的精度。
S207、若当前待检测文本语句中不包括预设关键字，则将所述当前待检测文本语句输入第一机器学习模型以获取模型质检结果。
具体的，若当前待检测文本语句中不包括预设关键字，说明当前待检测文本语句的质检类别不能够通过预设关键字检测所得到，这种情况下，当前待检测文本语句的质检类别可能是质检合格，也可能是预设关键字检测中漏检的质检不合格的质检类别，因此，需要对其进一步的检测。当前待检测文本语句输入第一机器学习模型，第一机器学习模型对当前待检测文本语句进行分析和分类，得到当前待检测文本语句的模型质检结果。模型质检结果可能包括的质检类别有：处理效率、服务态度、沟通能力、合规、服务规范和质检合格，各质检类别的具体含义与上述实施例中的相同，在此不再赘述。
可选的，在将当前待检测文本语句输入第一机器学习模型以获取模型质检结果之前，还包括第一机器学习模型的构建过程，如步骤S2071～S2074(图中未示出)所述。
S2071、对多个样本语音文本数据进行预处理以获取样本关键字的数学表达。
具体的，对多个样本语音文本数据进行预处理是指，对多个样本语音文本数据运用TF-IDF(Term Frequency-Inverse Document Frequency，词频-逆向文件频率)算法，将样本语音文本数据中的样本关键字表示为数字的形式，即样本关键字的数学表达。TF(TermFrequency，词频)指的是某一个给定的词语在其对应的文章中出现的频率(一般是词频除以文章总词数)。TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。例如，样本关键字为“你好”，使用TF-IDF算法后，“你好”表示为3。通过TF-IDF获取样本关键字的数学表达，也可以称为通过TF-IDF对topK关键字进行提取，topK关键字是指前K个关键字。
S2072、通过预设词向量模型将所述样本关键字表示为样本词向量。
具体的，预设词向量模型为word2vec(word to vector)模型，词向量是指词的分布式表示方法，词向量使得词与词之间存在“距离”关系，且能够包含更多信息，有利于语言处理。例如，通过word2vec将样本关键字“你好”表示为词向量(0.1，0.02，0.3，0.1)。
S2073、根据所述样本关键字的数学表达和所述样本词向量生成训练词向量。
具体的，根据样本关键字的数学表达和样本词向量生成训练词向量，就是将样本关键字的数学表达和样本词向量相乘，得到的新的词向量就是训练词向量。例如，样本关键字“你好”的数学表达为3，样本词向量为(0.1，0.02，0.3，0.1)，那么训练词向量为3*(0.1，0.02，0.3，0.1)＝(0.3，0.06，0.9，0.3)。训练词向量可以进一步加强对质检影响重要的关键词的重要性。
S2074、将所述训练词向量输入预设模型进行训练，通过网格搜索和交叉验证将训练好的预设模型作为第一机器学习模型。
具体的，将训练词向量作为输入特征输入到预设模型中进行训练，预设模型会输出训练词向量所对应的质检类别，当预设模型的参数(如步长、深度等)未设置好时，进行训练输出的质检类别不准确，可以通过网格搜索和交叉验证来确定预设模型进行训练过程中的最优参数，使得训练输出的质检类别最准确，那么最优参数所对应的训练好的预设模型，就是实际使用的第一机器学习模型。优选的，预设模型为XGBoost模型。
S208、遍历待检测文本数据中的所有待检测文本语句，根据所有关键字质检结果和模型质检结果确定第一质检结果。
本实施例中，对待检测文本数据中的所有待检测文本语句进行了逐条质检，由此可以确定每一条待检测文本语句的关键字质检结果或模型质检结果，将所有关键字质检结果和模型质检结果进行综合考虑，便可以得到待检测文本数据对应的第一质检结果。
示例一，第一质检结果以分数的形式表示，总分为100分，处理效率、服务态度、沟通能力、合规和服务规范这5类质检类别各对应-3分(实际使用中也可以设置为不一样的分数)，即，当质检结果包括这5类质检类别中的任意一种，总分减去3分。若关键字质检结果为有2条待检测文本语句的质检类别都是服务态度，模型质检结果为有4条待检测文本语句的质检类别为处理效率，那么第一质检结果可以表示为：100-2*3-4*3＝82分。
实例二，第一质检结果以分数的形式表示，为各质检类别项目的分数之和，处理效率、服务态度、沟通能力、合规和服务规范这5类质检类别各占20分，当5类质检类别中的任意一项所包括的待检测文本语句的条数大于3条时，该项计0分，当5类质检类别中的任意一项所包括的待检测文本语句的条数不大于3条时，每一条待检测文本语句为-3分。若关键字质检结果为有2条待检测文本语句的质检类别都是服务态度，模型质检结果为有4条待检测文本语句的质检类别为处理效率，那么第一质检结果可以表示为：0+(20-2*3)+20+20+20＝84分。
S209、将所述待检测语音文本数据输入第二深度学习模型以获取第二质检结果。
具体的，将待检测语音文本数据输入第二深度学习模型，第二深度学习模型对全部业务能力文本数据进行分析和分类，并输出分类结果，即第二质检结果。优选的，本实施例中，第二质检结果仅对客服语音质检的重点项目进行考核，如对客服的业务能力进行考核，故第二深度学习模型对待检测语音文本数据进行的分类为二分类，即第二深度学习模型的分类仅存在两种情况：业务能力合格与业务能力不合格，第二质检结果为这两种情况中的一种。示例性的，将第二质检结果以分数的形式表示，若业务能力合格，则第二质检结果计100分，若业务能力不合格，则第二质检结果计50分。
通过使用第二深度学习模型对待检测语音文本数据进行二分类质检，既可以有效的解决使用关键字和第一机器学习模型质检对待检测文本数据中上下文理解的缺失问题，又可以避免直接使用第二深度学习模型对全部待检测文本数据进行多分类训练而造成的分类边界不清晰的问题。
进一步的，在将所述全部业务能力文本数据输入第二深度学习模型以获取第二质检结果之前，还包括第二深度学习模型的构建过程，具体如下：根据预训练模型获取初始化参数；根据所述初始化参数对预设深度学习模型进行训练，通过动态调参将训练好的预设深度学习模型作为第二深度学习模型。优选的，预设深度学习模型为XLNet模型，相应的预训练模型为XLNet-Base中文预训练模型，第二深度学习模型的构建过程具体包括：使用参数配置为12-layer，768-hidden，12-heads的XLNet-Base中文预训练模型进行训练得到初始化参数，根据XLNet-Base中文预训练模型提供的初始化参数对预设深度学习模型进行初始化，并对预设深度学习模型Fine-tuning训练，最终通过动态调整确定训练过程中XLNet模型的最优参数，最优参数下训练好的XLNet模型即使最终使用的第二深度学习模型。
受GPU内存的限制，当前大多数预训练模型不能处理长度超过512个字符的文本，而XLNet模型使用Transformer-XL引入了段与段之间的循环机制，使得当前段在建模的时候能够利用之前段的信息来解决长序列的问题，可以有效地捕获到质检文本更广泛的上下文信息。
S210、根据所述情感质检结果、所述语速质检结果、所述第一质检结果和所述第二质检结果确定目标质检结果。
具体的，可以根据情感质检结果、语速质检结果、第一质检结果和第二质检结果各自所占的权重，将四者的加权平均值作为目标质检结果。例如，情感质检结果、语速质检结果、第一质检结果和第二质检结果各自所占的权重依次为：10％、10％、40％和40％，若情感质检结果、语速质检结果、第一质检结果和第二质检结果各自得分为：100分、100分、82分和100分，则目标质检结果表示为：100*10％+100*10％+82*40％+100*40％＝92.8分。若根据分数对客服语音服务质量进行划分，如小于50分表示客服语音服务质量极差，不小于50分但小于70分表示客服语音服务质量较差，不小于70分但小于80分表示客服语音服务质量一般，不小于80分但小于90分表示客服语音服务质量良好，不小于90分表示客服语音服务质量优秀，那么当目标质检结果为92.8分时，则确定客服语音服务质量优秀。
本发明实施例二提供的语音质检方法通过关键字检测、第一机器学习模型检测和第二深度学习模型的结合实现了客服语音质检，结合了三者的各自的优点，既可以准确地对客服语音服务内容进行检测，又对客服语音服务内容进行多角度的质检类别识别，还可以对客服语音服务内容全文进行综合的语义理解，做到了全面、准确、快速的识别，提高了客服语音质检的准确性和效率，扩展了原有企业客服语音质检方法的广度和深度。
实施例三
图3为本发明实施例三提供的一种语音质检装置的结构示意图，可适用于企业客服语音服务内容的质量检测。本实施例提供的语音质检装置能够实现本发明任意实施例提供的语音质检方法，具备实现方法的相应功能结构和有益效果，本实施例中未详尽描述的内容，可参考本发明任意方法实施例的描述。
如图3所示，本发明实施例提供的一种语音质检装置包括：文本数据获取模块310、第一质检结果获取模块320、第二质检结果获取模块330和目标质检结果获取模块340，其中：
文本数据获取模块310用于获取待检测语音文本数据；
第一质检结果获取模块320用于将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果；
第二质检结果获取模块330用于将所述待检测语音文本数据输入第二深度学习模型以获取第二质检结果；
目标质检结果获取模块340用于根据所述第一质检结果和所述第二质检结果确定目标质检结果。
进一步的，文本数据获取模块310具体用于：
获取待检测音频数据；
通过语音识别将所述待检测音频数据转换为待检测语音文本数据。
进一步的，还包括：
情感检测模块，用于对所述待检测音频数据进行情感检测，以获取情感质检结果；
语速检测模块，用于对所述待检测音频数据进行语速检测，以获取语速质检结果。
进一步的，所述待检测语音文本数据包括多个待检测文本语句，第一质检结果获取模块320具体用于：
通过正则表达式确定当前待检测文本语句中是否包括预设关键字；
若当前待检测文本语句中包括预设关键字，则根据所述预设关键字的信息确定关键字质检结果；
若当前待检测文本语句中不包括预设关键字，则将所述当前待检测文本语句输入第一机器学习模型以获取模型质检结果；
遍历待检测文本数据中的所有待检测文本语句，根据所有关键字质检结果和模型质检结果确定第一质检结果。
进一步的，目标质检结果获取模块340具体用于：
根据所述情感质检结果、所述语速质检结果、所述第一质检结果和所述第二质检结果确定目标质检结果。
进一步的，还包括第一机器学习模型确定模块，所述第一机器学习模型确定模块具体用于：
对多个样本语音文本数据进行预处理以获取样本关键字的数学表达；
通过预设词向量模型将所述样本关键字表示为样本词向量；
根据所述样本关键字的数学表达和所述样本词向量生成训练词向量；
将所述训练词向量输入预设模型进行训练，通过网格搜索和交叉验证将训练好的预设模型作为第一机器学习模型。
进一步的，还包括第二深度学习模型确定模块，所述第二深度学习模型确定模块具体用于：
根据预训练模型获取初始化参数；
根据所述初始化参数对预设深度学习模型进行训练，通过动态调参将训练好的预设深度学习模型作为第二深度学习模型。
本发明实施例三提供的语音质检装置通过文本数据获取模块、第一质检结果获取模块、第二质检结果获取模块和目标质检结果获取模块，结合了机器学习和深度学习的优点，既可以对客服语音服务内容进行多角度的质检类别识别，又可以对客服语音服务内容全文进行综合的语义理解，做到了全面、准确、快速的识别，提高了客服语音质检的准确性和效率，扩展了原有企业客服语音质检方法的广度和深度。
实施例四
图4是本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备412(以下简称设备412)的框图。图4显示的设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，设备412以通用设备的形式表现。设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该设备412交互的终端通信，和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器420通过总线418与设备412的其它模块通信。应当明白，尽管图中未示出，可以结合设备412使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的语音质检方法，该方法可以包括：
获取待检测语音文本数据；
将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果；
将所述待检测语音文本数据输入第二深度学习模型以获取第二质检结果；
根据所述第一质检结果和所述第二质检结果确定目标质检结果。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的语音质检方法，该方法可以包括：
获取待检测语音文本数据；
将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果；
将所述待检测语音文本数据输入第二深度学习模型以获取第二质检结果；
根据所述第一质检结果和所述第二质检结果确定目标质检结果。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种语音质检方法，其特征在于，包括：
获取待检测语音文本数据；
将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果；
将所述待检测语音文本数据输入第二深度学习模型以获取第二质检结果；
根据所述第一质检结果和所述第二质检结果确定目标质检结果。
2.如权利要求1所述的方法，其特征在于，所述获取待检测语音文本数据包括：
获取待检测音频数据；
通过语音识别将所述待检测音频数据转换为待检测语音文本数据。
3.如权利要求2所述的方法，其特征在于，获取待检测音频数据之后，还包括：
对所述待检测音频数据进行情感检测，以获取情感质检结果；
对所述待检测音频数据进行语速检测，以获取语速质检结果。
4.如权利要求3所述的方法，其特征在于，所述待检测语音文本数据包括多个待检测文本语句，将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果，包括：
通过正则表达式确定当前待检测文本语句中是否包括预设关键字；
若当前待检测文本语句中包括预设关键字，则根据所述预设关键字的信息确定关键字质检结果；
若当前待检测文本语句中不包括预设关键字，则将所述当前待检测文本语句输入第一机器学习模型以获取模型质检结果；
遍历待检测文本数据中的所有待检测文本语句，根据所有关键字质检结果和模型质检结果确定第一质检结果。
5.如权利要求4所述的方法，其特征在于，根据所述第一质检结果和所述第二质检结果确定目标质检结果，包括：
根据所述情感质检结果、所述语速质检结果、所述第一质检结果和所述第二质检结果确定目标质检结果。
6.如权利要求1所述的方法，其特征在于，将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果之前，还包括：
对多个样本语音文本数据进行预处理以获取样本关键字的数学表达；
通过预设词向量模型将所述样本关键字表示为样本词向量；
根据所述样本关键字的数学表达和所述样本词向量生成训练词向量；
将所述训练词向量输入预设模型进行训练，通过网格搜索和交叉验证将训练好的预设模型作为第一机器学习模型。
7.如权利要求1所述的方法，其特征在于，将所述待检测语音文本数据输入第二深度学习模型以获取第二质检结果之前，还包括：
根据预训练模型获取初始化参数；
根据所述初始化参数对预设深度学习模型进行训练，通过动态调参将训练好的预设深度学习模型作为第二深度学习模型。
8.一种语音质检装置，其特征在于，包括：
文本数据获取模块，用于获取待检测语音文本数据；
第一质检结果获取模块，用于将所述待检测语音文本数据输入第一机器学习模型以获取第一质检结果；
第二质检结果获取模块，用于将所述待检测语音文本数据输入第二深度学习模型以获取第二质检结果；
目标质检结果获取模块，用于根据所述第一质检结果和所述第二质检结果确定目标质检结果。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的语音质检方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的语音质检方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010511784.XA CN111709630A (zh) | 2020-06-08 | 2020-06-08 | 语音质检方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010511784.XA CN111709630A (zh) | 2020-06-08 | 2020-06-08 | 语音质检方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111709630A true CN111709630A (zh) | 2020-09-25 |
Family
ID=72539450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010511784.XA Pending CN111709630A (zh) | 2020-06-08 | 2020-06-08 | 语音质检方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111709630A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112580367A (zh) * | 2020-12-23 | 2021-03-30 | 潍柴动力股份有限公司 | 一种话务质检方法及装置 |
| CN112671985A (zh) * | 2020-12-22 | 2021-04-16 | 平安普惠企业管理有限公司 | 基于深度学习的坐席质检方法、装置、设备及存储介质 |
| CN112966082A (zh) * | 2021-03-05 | 2021-06-15 | 北京百度网讯科技有限公司 | 音频质检方法、装置、设备以及存储介质 |
| CN113051381A (zh) * | 2021-03-23 | 2021-06-29 | 京东数字科技控股股份有限公司 | 信息质检方法、装置、计算机系统和计算机可读存储介质 |
| CN113065879A (zh) * | 2021-04-30 | 2021-07-02 | 中国工商银行股份有限公司 | 一种数据流质检方法及系统 |
| CN113064983A (zh) * | 2021-04-23 | 2021-07-02 | 深圳壹账通智能科技有限公司 | 语义检测方法、装置、计算机设备及存储介质 |
| CN113223532A (zh) * | 2021-04-30 | 2021-08-06 | 平安科技（深圳）有限公司 | 客服通话的质检方法、装置、计算机设备及存储介质 |
| CN113255361A (zh) * | 2021-05-19 | 2021-08-13 | 平安科技（深圳）有限公司 | 语音内容的自动检测方法、装置、设备以及存储介质 |
| CN113393844A (zh) * | 2021-06-24 | 2021-09-14 | 大唐融合通信股份有限公司 | 一种语音质检的方法、装置及网络设备 |
| CN114121016A (zh) * | 2021-11-22 | 2022-03-01 | 中国建设银行股份有限公司 | 语音质检方法、装置及电子设备 |
| WO2022135973A1 (en) * | 2020-12-22 | 2022-06-30 | Collibra Nv | Bespoke transformation and quality assessment for term definition |
| CN114936561A (zh) * | 2022-04-11 | 2022-08-23 | 阿里巴巴（中国）有限公司 | 语音文本的处理方法和装置、存储介质和处理器 |
| CN117495070A (zh) * | 2023-12-27 | 2024-02-02 | 中控技术股份有限公司 | 一种工业流水线的工艺参数推荐方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103811009A (zh) * | 2014-03-13 | 2014-05-21 | 华东理工大学 | 一种基于语音分析的智能电话客服系统 |
| CN108737243A (zh) * | 2018-04-20 | 2018-11-02 | 平安科技（深圳）有限公司 | 会话消息质检方法及装置 |
| US20190073996A1 (en) * | 2017-09-05 | 2019-03-07 | International Business Machines Corporation | Machine training for native language and fluency identification |
| CN109448730A (zh) * | 2018-11-27 | 2019-03-08 | 广州广电运通金融电子股份有限公司 | 一种自动语音质检方法、系统、装置及存储介质 |
| CN110689878A (zh) * | 2019-10-11 | 2020-01-14 | 浙江百应科技有限公司 | 一种基于XLNet的智能语音对话意图识别方法 |
| CN110717023A (zh) * | 2019-09-18 | 2020-01-21 | 平安科技（深圳）有限公司 | 面试回答文本的分类方法及装置、电子设备、存储介质 |
-
2020
- 2020-06-08 CN CN202010511784.XA patent/CN111709630A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103811009A (zh) * | 2014-03-13 | 2014-05-21 | 华东理工大学 | 一种基于语音分析的智能电话客服系统 |
| US20190073996A1 (en) * | 2017-09-05 | 2019-03-07 | International Business Machines Corporation | Machine training for native language and fluency identification |
| CN108737243A (zh) * | 2018-04-20 | 2018-11-02 | 平安科技（深圳）有限公司 | 会话消息质检方法及装置 |
| CN109448730A (zh) * | 2018-11-27 | 2019-03-08 | 广州广电运通金融电子股份有限公司 | 一种自动语音质检方法、系统、装置及存储介质 |
| CN110717023A (zh) * | 2019-09-18 | 2020-01-21 | 平安科技（深圳）有限公司 | 面试回答文本的分类方法及装置、电子设备、存储介质 |
| CN110689878A (zh) * | 2019-10-11 | 2020-01-14 | 浙江百应科技有限公司 | 一种基于XLNet的智能语音对话意图识别方法 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022135973A1 (en) * | 2020-12-22 | 2022-06-30 | Collibra Nv | Bespoke transformation and quality assessment for term definition |
| CN112671985A (zh) * | 2020-12-22 | 2021-04-16 | 平安普惠企业管理有限公司 | 基于深度学习的坐席质检方法、装置、设备及存储介质 |
| US11966696B2 (en) | 2020-12-22 | 2024-04-23 | Collibra Belgium Bv | Bespoke transformation and quality assessment for term definition |
| US11669682B2 (en) | 2020-12-22 | 2023-06-06 | Collibra Belgium Bv | Bespoke transformation and quality assessment for term definition |
| CN112580367A (zh) * | 2020-12-23 | 2021-03-30 | 潍柴动力股份有限公司 | 一种话务质检方法及装置 |
| CN112580367B (zh) * | 2020-12-23 | 2023-10-27 | 潍柴动力股份有限公司 | 一种话务质检方法及装置 |
| CN112966082A (zh) * | 2021-03-05 | 2021-06-15 | 北京百度网讯科技有限公司 | 音频质检方法、装置、设备以及存储介质 |
| CN113051381A (zh) * | 2021-03-23 | 2021-06-29 | 京东数字科技控股股份有限公司 | 信息质检方法、装置、计算机系统和计算机可读存储介质 |
| CN113051381B (zh) * | 2021-03-23 | 2024-03-08 | 京东科技控股股份有限公司 | 信息质检方法、装置、计算机系统和计算机可读存储介质 |
| CN113064983A (zh) * | 2021-04-23 | 2021-07-02 | 深圳壹账通智能科技有限公司 | 语义检测方法、装置、计算机设备及存储介质 |
| CN113064983B (zh) * | 2021-04-23 | 2024-04-26 | 深圳壹账通智能科技有限公司 | 语义检测方法、装置、计算机设备及存储介质 |
| CN113223532B (zh) * | 2021-04-30 | 2024-03-05 | 平安科技（深圳）有限公司 | 客服通话的质检方法、装置、计算机设备及存储介质 |
| CN113223532A (zh) * | 2021-04-30 | 2021-08-06 | 平安科技（深圳）有限公司 | 客服通话的质检方法、装置、计算机设备及存储介质 |
| CN113065879A (zh) * | 2021-04-30 | 2021-07-02 | 中国工商银行股份有限公司 | 一种数据流质检方法及系统 |
| CN113255361A (zh) * | 2021-05-19 | 2021-08-13 | 平安科技（深圳）有限公司 | 语音内容的自动检测方法、装置、设备以及存储介质 |
| CN113255361B (zh) * | 2021-05-19 | 2023-12-22 | 平安科技（深圳）有限公司 | 语音内容的自动检测方法、装置、设备以及存储介质 |
| CN113393844B (zh) * | 2021-06-24 | 2022-12-06 | 大唐融合通信股份有限公司 | 一种语音质检的方法、装置及网络设备 |
| CN113393844A (zh) * | 2021-06-24 | 2021-09-14 | 大唐融合通信股份有限公司 | 一种语音质检的方法、装置及网络设备 |
| CN114121016A (zh) * | 2021-11-22 | 2022-03-01 | 中国建设银行股份有限公司 | 语音质检方法、装置及电子设备 |
| CN114936561A (zh) * | 2022-04-11 | 2022-08-23 | 阿里巴巴（中国）有限公司 | 语音文本的处理方法和装置、存储介质和处理器 |
| CN117495070A (zh) * | 2023-12-27 | 2024-02-02 | 中控技术股份有限公司 | 一种工业流水线的工艺参数推荐方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709630A (zh) | 语音质检方法、装置、设备及存储介质 | |
| WO2021174757A1 (zh) | 语音情绪识别方法、装置、电子设备及计算机可读存储介质 | |
| CN110442718B (zh) | 语句处理方法、装置及服务器和存储介质 | |
| CN111428010B (zh) | 人机智能问答的方法和装置 | |
| US20070016399A1 (en) | Method and apparatus for detecting data anomalies in statistical natural language applications | |
| CN107437417B (zh) | 基于循环神经网络语音识别中语音数据增强方法及装置 | |
| CN112966082B (zh) | 音频质检方法、装置、设备以及存储介质 | |
| CN110245232B (zh) | 文本分类方法、装置、介质和计算设备 | |
| CN111177351B (zh) | 基于规则的自然语言表达意图获取方法、装置和系统 | |
| CN111177350A (zh) | 智能语音机器人的话术形成方法、装置和系统 | |
| CN114416943B (zh) | 对话模型的训练方法、装置、电子设备及存储介质 | |
| CN113434683B (zh) | 文本分类方法、装置、介质及电子设备 | |
| CN112347760A (zh) | 意图识别模型的训练方法及装置、意图识别方法及装置 | |
| CN112036705A (zh) | 一种质检结果数据获取方法、装置及设备 | |
| CN111414746A (zh) | 一种匹配语句确定方法、装置、设备及存储介质 | |
| CN112910761B (zh) | 即时通讯方法、装置、设备、存储介质以及程序产品 | |
| CN111651497A (zh) | 用户标签挖掘方法、装置、存储介质及电子设备 | |
| CN112100377A (zh) | 文本分类方法、装置、计算机设备和存储介质 | |
| CN112214595A (zh) | 类别确定方法、装置、设备及介质 | |
| CN110647613A (zh) | 一种课件构建方法、装置、服务器和存储介质 | |
| CN113312907B (zh) | 基于混合神经网络的远程监督关系抽取方法及装置 | |
| CN109101956B (zh) | 用于处理图像的方法和装置 | |
| Jia et al. | A deep learning system for sentiment analysis of service calls | |
| CN117789221A (zh) | 图文识别大模型的训练方法、装置、设备以及存储介质 | |
| CN115238077A (zh) | 基于人工智能的文本分析方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |