CN114038451A - 对话数据的质检方法、装置、计算机设备及存储介质 - Google Patents
对话数据的质检方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114038451A CN114038451A CN202111311075.8A CN202111311075A CN114038451A CN 114038451 A CN114038451 A CN 114038451A CN 202111311075 A CN202111311075 A CN 202111311075A CN 114038451 A CN114038451 A CN 114038451A
- Authority
- CN
- China
- Prior art keywords
- conversation
- voice
- data
- role
- dialect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000007689 inspection Methods 0.000 title claims abstract description 57
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000003908 quality control method Methods 0.000 claims 1
- 238000012216 screening Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 238000013441 quality evaluation Methods 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
- H04M3/5166—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing in combination with interactive voice response systems or voice portals, e.g. as front-ends
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Marketing (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及人工智能技术，公开了一种对话数据的质检方法，应用于数据处理领域，用于提高对对话内容的质检准确率。本发明提供的方法包括：将各对话角色对应的对话内容输入到所述对话角色对应的分类器进行关键词提取，得到关键词集合，针对每个所述对话角色，获取所述对话角色的对话内容对应的关键词集合中每个关键词对应的预设标签，作为目标标签，并将所述目标标签作为所述对话角色的对话特征，基于预设的评分方式，对所有所述对话特征进行特征计算，并将得到的特征值作为评分值，根据所述评分值，确定所述对话数据是否合规。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种对话数据的质检方法、装置、计算机设备及存储介质。
背景技术
随着时代的发展，在不同行业的各自对应的对话场景中，需要确定与客户之间的对话沟通是否告知客户所有需要告知的点。
现有方式是采用正则表达式的方法判断对话沟通中是否含有必需的关键词，但是这个方法往往缺乏一定的泛化能力，表现为精度低，而且在需要监管的必需关键词较多时，也即，需要采用到多种正则表达式时，多种正则表达式之间容易互相冲突，导致检测结果不准确。此外是使用机器学习/深度学习的方法直接进行分类，这个方法的缺点就是往往会存在训练语料不足，从而导致检测结果的准确率低的问题。
因此，现有技术在判断对话内容的质检中存在质检准确率低的问题。
发明内容
本发明实施例提供一种对话数据的质检方法、装置、计算机设备及存储介质，以提高对对话内容的质检准确率。
一种对话数据的质检方法，包括：
将各对话角色对应的对话内容输入到所述对话角色对应的分类器进行关键词提取，得到关键词集合；
获取所述对话内容对应的关键词集合中每个关键词对应的预设标签，作为目标标签，并将所述目标标签作为所述对话角色的对话特征；
基于预设的评分方式，对所有所述对话特征进行特征计算，并将得到的特征值作为评分值；
根据所述评分值，确定所述对话数据是否合规。
一种对话数据的质检装置，包括：
关键词提取模块，用于将各对话角色对应的对话内容输入到所述对话角色对应的分类器进行关键词提取，得到关键词集合；
对话特征获取模块，用于获取所述对话内容对应的关键词集合中每个关键词对应的预设标签，作为目标标签，并将所述目标标签作为所述对话角色的对话特征；
评分获取模块，用于基于预设的评分方式，对所有所述对话特征进行特征计算，并将得到的特征值作为评分值；
判断模块，用于根据所述评分值，确定所述对话数据是否合规。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述对话数据的质检方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述对话数据的质检方法的步骤。
本发明实施例提供的对话数据的质检方法、装置、计算机设备及存储介质，将各对话角色对应的对话内容输入到对话角色对应的分类器进行关键词提取，得到关键词集合，获取对话内容对应的关键词集合中每个关键词对应的预设标签，作为目标标签，并将目标标签作为对话角色的对话特征，基于预设的评分方式，对所有对话特征进行特征计算，并将得到的特征值作为评分值，根据评分值，确定对话数据是否合规。通过获取对话数据，选取对话数据中的关键词，并根据关键词确定标签，进一步确定对话特征，对话特征进行特征计算，并将得到的特征值作为评分值，能有效量化对对话内容的质量评价，从而对对话数据整体的效果进行评价，从而提升对对话数据进行质量检测的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中对话数据的质检方法的一应用环境示意图；
图2是本发明一实施例中对话数据的质检方法的一流程图；
图3是本发明一实施例中对话数据的质检装置的结构示意图；
图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的对话数据的质检方法，可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向
在一实施例中，如图2所示，提供一种对话数据的质检方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤S10至S40：
S10、将各对话角色对应的对话内容输入到对话角色对应的分类器进行关键词提取，得到关键词集合。
在步骤S10中，上述对话内容是指对话数据对应的文本数据。
上述对话角色是指在进行对话的人对应的身份，例如，在催收场景中，对话对话角色一般是催收员以及客户。确定上述对话内容对应的对话角色的方法包括但不限于对话角色关键词匹配、对话角色相似度计算。
上述分类器是指对不同场景中的不同对话角色中关键词进行提取的分类器。例如，在催收场景中，针对客户对话角色进行关键词提取的分类器，对客户所提及的与“是否承诺还款”，“联系本人”，“对还款利息有所异议”，“拒绝还款”等有关的关键词进行提取。在该分类器中可包括关键词表或者关键词映射关系。
上述关键词提取的实现方法包括但不限于关键词匹配、相似度计算等。上述关键词的来源包括但不限于专家经验、专用名词提取等。
通过将不同对话角色对应的对话内容输入到对话角色对应的分类器中进行关键词提取，能有效针对不同对话角色进行针对性关键词提取，避免了由于对话角色不同，在关键词之间造成了混淆的情况，在提高了质检模型的适应性的同时，提高了对对话数据进行质检的准确率。
S20、获取对话内容对应的关键词集合中每个关键词对应的预设标签，作为目标标签，并将目标标签作为对话角色的对话特征。
在步骤S30中，上述关键词与标签为多对一的关系。
上述对话特征是指将标签转换为计算机所能识别的特征。上述对话特征的获取方式包括映射、向量转换等。
由于关键词与标签为多对一的关系，基于关键词，可直接确定所述对话内容对应的标签。例如，当在催收场景中，客户对话内容中，出现“我不打算还了”，“不还了”，“我拒绝”等，关键词时，则可确认其标签均为客户“拒绝还款”。
通过关键词确定目标标签，并将目标标签作为对话特征，有利于将多样化回复的关键词转换成确定性特征，减少了对对话数据直接提取特征导致的误差，从而有效提高了对对话数据进行质检的准确率。
S30、基于预设的评分方式，对所有对话特征进行特征计算，并将得到的特征值作为评分值。
在步骤S30中，上述预设的评分方式是指基于预设的评分算法，对所述对话内容对应的对话特征进行评分计算的方法。其中，预设的评分方式包括但不限于TF-IDF算法，加权计算法，朴素贝叶斯法。
例如，可将每个对话内容与该对话内容对应的对话特征进行映射，在基于整个对话数据把对话内容与该对话内容对应的对话特征进行拼接，从而构建成了整个对话数据对应的对话特征，对每个对话特征进行计算，得到对应的特征值，并将其作为评分值。
针对对话特征进行特征计算，并将得到的特征值作为评分值，能有效量化对对话内容的质量评价，从而对对话数据整体的效果进行评价，从而提升对对话数据进行质量检测的准确率。
S40、根据评分值，确定对话数据是否合规。
在步骤S40中，其具体包括：将评分值与预设阈值进行比较，若评分值不小于预设阈值，则认为对话数据合规，若评分值小于预设阈值，则认为对话数据不合规。
例如，当预设阈值为0.6时，若一个对话数据对应的评分值为0.5，由于评分值0.5小于预设阈值0.6，则认为该对话数据不合规。若又一对话数据对应的评分值为0.9，由于评分值0.9大于预设阈值，则认为该对话数据合规。
通过评分值与预设阈值进行对比，实现了对对话数据的质量进行检测，提高了对对话数据进行检测的准确率。
本发明实施例提供的对话数据的质检方法，通过将各对话角色对应的对话内容输入到对话角色对应的分类器进行关键词提取，得到关键词集合，获取对话内容对应的关键词集合中每个关键词对应的预设标签，作为目标标签，并将目标标签作为对话角色的对话特征，基于预设的评分方式，对所有对话特征进行特征计算，并将得到的特征值作为评分值，根据评分值，确定对话数据是否合规。通过获取对话数据，选取对话数据中的关键词，并根据关键词确定标签，进一步确定对话特征，对话特征进行特征计算，并将得到的特征值作为评分值，能有效量化对对话内容的质量评价，从而对对话数据整体的效果进行评价，从而提升对对话数据进行质量检测的准确率。
在本实施例的一些可选的实现方式中，步骤S10之前，该对话数据的质检方法还包括如下步骤S01至步骤S03：
S01、接收客户端发送的外呼语音数据。
S02、将外呼语音数据输入到语音质检模型进行语音识别，得到语音信息。
S03、根据语音信息，确认对话数据。
在步骤S01中，上述外呼语音数据是指在外呼时进行语音沟通的数据，上述外呼语音数据的表现形式为音频数据。
在步骤S02中，上述语音信息包括语音文本，语音对象。
上述语音文本识别的方法包括但不限于基于声道模型和语音知识的方法、模板匹配的方法。优选地，采用基于声道模型和语音知识的方法进行语音文本识别。把外呼语音数据按时间分成离散的段，每段对应一个或几个语音基元的声学特性。然后根据相应声学特性对每个分段给出相近的语音标号，根据所得语音标号序列得到一个语音基元网格，从词典得到有效的词序列，从而生成语音文本，此外，也可结合句子的文法和语义同时进行语音文本生成。
上述语音对象识别的方法包括但不限于基于声道模型和语音知识的方法、模型法的方法。应理解，此处的声道切换法是指通过检测说话人切换点(Speaker Turn)，将语音信号切分成仅包含一个说话人发音的句子，再通过聚类方法将属于同一个人的句子聚成一类，模型法是指首先对每个说话人训练单独模型，再根据某一语音帧对每个模型的概率将该语音帧分到某个说话人模型。
在步骤S03中，上述对话数据包括对话内容和所述对话内容对应的对话角色，上述对话内容为语音信息中的语音文本，上述对话内容对应的对话角色为语音信息中的语音对象。确定语音信息中语音对象的对应的对话角色可通过预设的对话角色判断规则，上述预设的对话角色判断规则的实现方法包括但不限于关键词匹配、相似度计算。
通过获取外呼语音数据，并对外呼语音数据进行一系列处理，可将语音数据处理成为本申请中可进行质量检测的对话数据，通过上述方法，提高了将外呼语音数据转化为对话数据的准确率，从而进一步能提高对对话数据进行质量检测的准确率。
在本实施例的一些可选的实现方式中，在步骤S02之后，该对话数据的质检方法还包括如下步骤S021至步骤S024：
S021、基于声道切换法，检测外呼语音数据对应的声道切换点，得到语音信号。
S022、基于语音信号，将外呼语音数据切分成仅包含一个声道的至少两个语音数据。
S023、将所有声道相同的语音数据进行聚类，生成至少两个同声道语音信息。
S024、对同声道语音信息进行对话角色判断，确定同声道语音信息对应的对话角色。
在步骤S021中，上述声道切换法是指用来检测对话角色声道切换点的方法。上述语音信号是指声道切换点信号。
在步骤S023中，上述同声道语音信息是指一个说明人发音的句子的汇总信息。
在步骤S024中，上述对话角色判断的方法包括但不限于关键词匹配、相似度计算。
通过声道切换法，检测外呼语音数据中的声道切换点，基于声道切换点，能准确有效的识别出不同声道的语音数据，从而进行切分，将外呼语音数据分割成语音数据，再将同声道的语音进行聚类，作为同一个对话角色对应的对话内容，再针对不同对话角色的对话内容进行内容识别，可判断出对话内容对应的对话角色，有利于后续对不同对话角色对应的对话内容进行相应处理，从而提高了对对话数据进行质检的准确率。
在本实施例的一些可选的实现方式中，步骤S02进一步包括如下步骤S025至步骤S028：
S025、将外呼语音数据输入到语音质检模型的多方言混合语言语音识别模块。
S026、基于多方言混合语言语音识别模块，对外呼语音数据进行语种识别，确定外呼语音数据的语种类型。
S027、基于多方言混合语言语音识别模块，对外呼语音数据进行方言识别，确定外呼语音数据的方言类型。
S028、根据方言类型和语种类型，对外呼语音数据进行语音识别，得到语音信息。
在步骤S025中，上述多方言混合语言语音识别模块是用于识别外呼语音数据中是否不同方言，不同语种的语音数据的模块。
上述多方言混合语言语音识别模块的实现方法包括但不限于基于混合声学模型结合混合语言模型训练多方言混合语言语音识别模块、片段划分法。其中，上述基于混合声学模型结合混合语言模型训练多方言混合语言语音识别模块是指对方言和语种分别进行模型建立，同时结合混合词典以实现多方言混合语言语音识别。上述片段划分法是指对语音进行划分，针对划分得到的片段分别进行方言和语种识别以实现多方言混合语言语音识别。
在步骤S026中，上述语种类型包括但不限于中文、英文、意大利语。例如，当外呼语音数据中包括“ok，我帮忙催一下”这句话时，即中英混合，需要进行语种类型识别。
在步骤S027中，上述方言类型包括但不限于普通话、四川方言。例如，在外呼语音数据中，来自不同地域的人，分别用各自当地的方言进行对话时需要进行方言识别，以提高语音文本获取的准确率。
通过质检模型的多方言混合语言语音识别模块，确定了对话数据的语种类型和方言类型，使得本方案能应用在多方言混合语言的应用场景中，提高了适应性，以及对话数据识别的准确率。
在本实施例的一些可选的实现方式中，步骤S027进一步包括如下步骤S0271至步骤S0273：
S0271、将外呼语音数据作为目标方言数据，输入到语音质检模型的多方言混合语言语音识别模块，得到目标方言数据对应的多个不同相似度的语音文本。
S0272、基于多个不同相似度的语音文本，确定相似度最大的语音文本。
S0273、将相似度最大的语音文本作为所述外呼语音数据对应的方言类型。
在步骤S0271中，其具体是，提取目标方言数据的特征向量，将目标方言数据的特征向量作为输入信号输入到多方言混合语言语音识别模块的输入层，在多方言混合语言语音识别模块的多个隐藏层中，利用每个隐藏层对应的权值，对每个隐藏层的输入信号进行处理，获得每个隐藏层的输出信号，在多方言混合语言语音识别模块的输出层，对最上一隐藏层的输出信号进行处理，获得多个不同相似度的语音文本。
在步骤S0272中，对比语音文本的相似度，从中选取出相似度最大的语音文本。
通过上述多方言混合语言语音识别模块，对外呼语音数据进行方言识别，能有效确定方言类型，从而增强对外呼语音数据进行语音识别的准确率，提高对话数据识别的准确率。
在本实施例的一些可选的实现方式中，步骤S20进一步包括如下步骤S201至步骤S204：
S201、针对每个对话角色，将对话角色对应的对话内容输入到对话角色对应的分类器。
S202、基于对话角色对应的分类器，获取与分类器对应的关键词表。
S203、基于关键词表，对对话角色对应的对话内容进行关键词提取，得到至少一个关键词。
S204、将提取到的所有关键词组成关键词集合。
在步骤S201中，上述对话角色是指在特定应用场景中存在的对话用户对应的对话角色，例如，当为坐席催收对话时，对话角色有业务员、客户。
在步骤S202中，上述关键词表包括但不限于通过专家经验建立、该领域的专有名词。
下面以一具体实施例对步骤S201至S204进行举例说明，当为坐席催收对话时，对话角色有业务员、客户。
将业务员的对话内容输入到业务员对应的标签分类器中，定位业务员是提及到与业务有关的关键词，该与业务有关的关键词即业务员对应的标签分类器对应的关键词表中的数据。将提取到的与业务有关的所有关键词组成业务关键词集合。
将客户的对话内容输入到客户对应的分类器中，此时客户的主要关注点为是否进行了回复，则将客户对话内容中的回复信息作为客户对应的分类器的关键词，该与客户回复有关的关键词即客户对应的分类器对应的关键词表中的数据。将提取到的与客户回复有关的所有关键词组成客户关键词集合。
通过对不同对话角色的对话内容进行不同的关键词提取，提高了面向不同对话角色进行对话中的关键词的识别，从而实现多个维度对对话数据进行质量检测，进一步提高对对话数据进行质量检测的准确率。
在本实施例的一些可选的实现方式中，步骤S30进一步包括如下步骤S301至步骤S303：
S301、基于对话数据的顺序，将对话内容与对话内容对应的对话特征进行拼接，构建对话数据对应的对话特征矩阵，其中，对话特征矩阵包括多个对话特征。
S302、基于TF-IDF算法，对对话特征矩阵进行编码计算，得到编码矩阵。
S303、将编码矩阵输入朴素贝叶斯模型，得到编码矩阵对应的特征值，并将特征值作为评分值。
在步骤S301中，上述拼接为横向拼接，使得对话特征矩阵中按照对话数据的顺序将对话内容和对话内容的特征能够以列的形式全部呈现。
在步骤S302中，上述TF-IDF算法是指采用文本逆频率对对话特征矩阵进行加权并取取权值大的对话特征作为编码特征的方法。
在步骤S303中，上述朴素贝叶斯模型用于计算编码矩阵的准确率对应的模型。通过计算编码矩阵的准确率，得到编码矩阵对应的特征值，该特征值即为编码矩阵的准确率，并将特征值作为评分值以衡量外呼语音数据的整体效果。
通过上述步骤，有效量化对对话内容的质量评价，从而对对话数据整体的效果进行评价，从而提升对外呼语音数据进行质量检测的准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种对话数据的质检装置，该对话数据的质检装置与上述实施例中对话数据的质检方法一一对应。如图3所示，该对话数据的质检装置包括关键词提取模块11、对话特征获取模块12、评分获取模块13和判断模块14。各功能模块详细说明如下：
关键词提取模块11，用于针对每个对话角色，将对话角色对应的对话内容输入到对话角色对应的分类器进行关键词提取，得到关键词集合。
对话特征获取模块12，用于针对每个对话角色，获取对话角色的对话内容对应的关键词集合中每个关键词对应的预设标签，作为目标标签，并将目标标签作为对话角色的对话特征。
评分获取模块13，用于基于预设的评分方式，对所有对话特征进行计算，并将得到的特征值作为评分值。
判断模块14，用于根据评分值，确定对话数据是否合规。
在其中一个实施例中，关键词提取模块11之前，该对话数据的质检装置还包括：
外呼语音数据接收模块，用于接收客户端发送的外呼语音数据。
语音识别模块，用于将外呼语音数据输入到语音质检模型进行语音识别，得到语音信息。
对话数据确认模块，用于根据语音信息，确认对话数据。
在其中一个实施例中，语音识别模块之后，该对话数据的质检装置还包括：
语音信号获取模块，用于基于声道切换法，检测外呼语音数据对应的声道切换点，得到语音信号。
切分模块，用于基于语音信号，将外呼语音数据切分成仅包含一个声道的至少两个语音数据。
聚类模块，用于将所有声道相同的语音数据进行聚类，生成至少两个同声道语音信息。
对话角色确定模块，用于对同声道语音信息进行对话角色判断，确定同声道语音信息对应的对话角色。
在其中一个实施例中，语音识别模块进一步包括：
数据输入单元，用于将外呼语音数据输入到语音质检模型的多方言混合语言语音识别模块。
语种识别单元，用于基于多方言混合语言语音识别模块，对外呼语音数据进行语种识别，确定外呼语音数据的语种类型。
方言识别单元，用于基于多方言混合语言语音识别模块，对外呼语音数据进行方言识别，确定外呼语音数据的方言类型。
语音识别单元，用于根据方言类型和语种类型，对外呼语音数据进行语音识别，得到语音信息。
在其中一个实施例中，方言识别单元进一步包括：
相似度单元，用于将外呼语音数据作为目标方言数据，输入到语音质检模型的多方言混合语言语音识别模块，得到目标方言数据对应的多个不同相似度的语音文本。
语音文本获取单元，用于基于多个不同相似度的语音文本，确定相似度最大的语音文本。
方言类型确定单元，用于将相似度最大的语音文本作为所述外呼语音数据对应的方言类型。
在其中一个实施例中，关键词提取模块11进一步包括：
分类单元，用于针对每个对话角色，将对话角色对应的对话内容输入到对话角色对应的分类器。
关键词表获取单元，用于基于对话角色对应的分类器，获取与分类器对应的关键词表。
关键词提取单元，用于基于关键词表，对对话角色对应的对话内容进行关键词提取，得到至少一个关键词。
关键词集合获取单元，用于将提取到的所有关键词组成关键词集合。
在其中一个实施例中，评分获取模块13进一步包括：
对话特征获取单元，用于基于对话数据的顺序，将对话内容与对话内容对应的对话特征进行拼接，构建对话数据对应的对话特征矩阵，其中，对话特征矩阵包括多个对话特征。
编码矩阵获取单元，用于基于TF-IDF算法，对对话特征矩阵进行编码计算，得到编码矩阵。
评分单元，用于将编码矩阵输入朴素贝叶斯模型，得到编码矩阵对应的特征值，并将特征值作为评分值。
其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。
关于对话数据的质检装置的具体限定可以参见上文中对于对话数据的质检方法的限定，在此不再赘述。上述对话数据的质检装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储对话数据的质检方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对话数据的质检方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中对话数据的质检方法的步骤，例如图2所示的步骤S10至步骤S40及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中对话数据的质检装置的各模块/单元的功能，例如图3所示模块11至模块14的功能。为避免重复，这里不再赘述。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。
所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中对话数据的质检方法的步骤，例如图2所示的步骤S10至步骤S40及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中对话数据的质检装置的各模块/单元的功能，例如图3所示模块11至模块14的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种对话数据的质检方法，其特征在于，包括：
将各对话角色对应的对话内容输入到所述对话角色对应的分类器进行关键词提取，得到关键词集合；
获取所述对话内容中每个关键词对应的预设标签，作为目标标签，并将所述目标标签作为所述对话角色的对话特征；
基于预设的评分方式，对所有所述对话特征进行特征计算，并将得到的特征值作为评分值；
根据所述评分值，确定所述对话数据是否合规。
2.根据权利要求1所述的方法，其特征在于，所述将各对话角色对应的对话内容输入到所述对话角色对应的分类器进行关键词提取，得到关键词集合之前，所述方法还包括：
接收客户端发送的外呼语音数据；
将所述外呼语音数据输入到语音质检模型进行语音识别，得到语音信息；
根据所述语音信息，确认对话数据。
3.根据权利要求2所述的方法，其特征在于，所述将所述外呼语音数据输入到语音质检模型进行语音识别，得到语音信息之后，所述方法还包括：
基于声道切换法，检测所述外呼语音数据对应的声道切换点，得到语音信号；
基于所述语音信号，将所述外呼语音数据切分成仅包含一个声道的至少两个语音数据；
将所有声道相同的所述语音数据进行聚类，生成至少两个同声道语音信息；
对所述同声道语音信息进行对话角色判断，确定所述同声道语音信息对应的对话角色。
4.根据权利要求2所述的方法，其特征在于，所述将所述外呼语音数据输入到语音质检模型进行语音识别，得到语音信息的步骤包括：
将所述外呼语音数据输入到语音质检模型的多方言混合语言语音识别模块；
基于所述多方言混合语言语音识别模块，对所述外呼语音数据进行语种识别，确定所述外呼语音数据的语种类型；
基于所述多方言混合语言语音识别模块，对所述外呼语音数据进行方言识别，确定所述外呼语音数据的方言类型；
根据所述方言类型和所述语种类型，从所述语音质检模型筛选出与所述方言类型和所述语种类型匹配的语音识别模型，并基于所述语音识别模型对所述外呼语音数据进行语音识别，得到语音信息。
5.根据权利要求4所述的方法，其特征在于，所述基于所述多方言混合语言语音识别模块，对所述外呼语音数据进行方言识别，确定所述外呼语音数据的方言类型的步骤包括：
将所述外呼语音数据作为目标方言数据，输入到语音质检模型的多方言混合语言语音识别模块，得到所述目标方言数据对应的多个不同相似度的语音文本；
基于所述多个不同相似度的语音文本，确定相似度最大的语音文本；
将所述相似度最大的语音文本作为所述外呼语音数据对应的方言类型。
6.根据权利要求1所述的方法，其特征在于，所述将各对话角色对应的对话内容输入到所述对话角色对应的分类器进行关键词提取，得到关键词集合的步骤包括：
将各对话角色对应的对话内容输入到所述对话角色对应的分类器；
基于所述对话角色对应的分类器，获取与所述分类器对应的关键词表；
基于所述关键词表，对所述对话角色对应的对话内容进行关键词提取，得到至少一个关键词；
将提取到的所有关键词组成关键词集合。
7.根据权利要求1所述的方法，其特征在于，所述基于预设的评分方式，对所有所述对话特征进行特征计算，并将得到的特征值作为评分值的步骤包括：
基于对话数据的顺序，将对话内容与所述对话内容对应的对话特征进行拼接，构建所述对话数据对应的对话特征矩阵，其中，所述对话特征矩阵包括多个对话特征；
基于TF-IDF算法，对所述对话特征矩阵进行编码计算，得到编码矩阵；
将所述编码矩阵输入朴素贝叶斯模型，得到所述编码矩阵对应的特征值，并将所述特征值作为评分值。
8.一种对话数据的质检装置，其特征在于，包括：
关键词提取模块，用于将各对话角色对应的对话内容输入到所述对话角色对应的分类器进行关键词提取，得到关键词集合；
对话特征获取模块，用于获取所述对话内容对应的关键词集合中每个关键词对应的预设标签，作为目标标签，并将所述目标标签作为所述对话角色的对话特征；
评分获取模块，用于基于预设的评分方式，对所有所述对话特征进行特征计算，并将得到的特征值作为评分值；
判断模块，用于根据所述评分值，确定所述对话数据是否合规。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述对话数据的质检方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述对话数据的质检方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111311075.8A CN114038451A (zh) | 2021-11-08 | 2021-11-08 | 对话数据的质检方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111311075.8A CN114038451A (zh) | 2021-11-08 | 2021-11-08 | 对话数据的质检方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114038451A true CN114038451A (zh) | 2022-02-11 |
Family
ID=80136613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111311075.8A Pending CN114038451A (zh) | 2021-11-08 | 2021-11-08 | 对话数据的质检方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114038451A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116561259A (zh) * | 2023-07-07 | 2023-08-08 | 北京中关村科金技术有限公司 | 会话分割模型的测试方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160316059A1 (en) * | 2015-04-27 | 2016-10-27 | TalkIQ, Inc. | Methods and systems for determining conversation quality |
| CN109829166A (zh) * | 2019-02-15 | 2019-05-31 | 重庆师范大学 | 基于字符级卷积神经网络的民宿顾客意见挖掘方法 |
| CN111475633A (zh) * | 2020-04-10 | 2020-07-31 | 复旦大学 | 基于座席语音的话术支持系统 |
| CN111787167A (zh) * | 2020-06-28 | 2020-10-16 | 上海安录宇高数据技术有限公司 | 一种基于人工智能技术的语音识别打标分类方法 |
| CN113223532A (zh) * | 2021-04-30 | 2021-08-06 | 平安科技（深圳）有限公司 | 客服通话的质检方法、装置、计算机设备及存储介质 |
-
2021
- 2021-11-08 CN CN202111311075.8A patent/CN114038451A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160316059A1 (en) * | 2015-04-27 | 2016-10-27 | TalkIQ, Inc. | Methods and systems for determining conversation quality |
| CN109829166A (zh) * | 2019-02-15 | 2019-05-31 | 重庆师范大学 | 基于字符级卷积神经网络的民宿顾客意见挖掘方法 |
| CN111475633A (zh) * | 2020-04-10 | 2020-07-31 | 复旦大学 | 基于座席语音的话术支持系统 |
| CN111787167A (zh) * | 2020-06-28 | 2020-10-16 | 上海安录宇高数据技术有限公司 | 一种基于人工智能技术的语音识别打标分类方法 |
| CN113223532A (zh) * | 2021-04-30 | 2021-08-06 | 平安科技（深圳）有限公司 | 客服通话的质检方法、装置、计算机设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116561259A (zh) * | 2023-07-07 | 2023-08-08 | 北京中关村科金技术有限公司 | 会话分割模型的测试方法、装置、设备及介质 |
| CN116561259B (zh) * | 2023-07-07 | 2023-09-05 | 北京中关村科金技术有限公司 | 会话分割模型的测试方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10991366B2 (en) | Method of processing dialogue query priority based on dialog act information dependent on number of empty slots of the query | |
| WO2021042503A1 (zh) | 信息分类抽取方法、装置、计算机设备和存储介质 | |
| WO2021000497A1 (zh) | 检索方法、装置、计算机设备和存储介质 | |
| CN111046133A (zh) | 基于图谱化知识库的问答方法、设备、存储介质及装置 | |
| WO2020147395A1 (zh) | 基于情感的文本分类处理方法、装置和计算机设备 | |
| CN110334179B (zh) | 问答处理方法、装置、计算机设备和存储介质 | |
| CN113297366B (zh) | 多轮对话的情绪识别模型训练方法、装置、设备及介质 | |
| CN113254613B (zh) | 对话问答方法、装置、设备及存储介质 | |
| CN111223476B (zh) | 语音特征向量的提取方法、装置、计算机设备和存储介质 | |
| CN114220461A (zh) | 客服话术的引导方法、装置、设备及存储介质 | |
| CN111368066B (zh) | 获取对话摘要的方法、装置和计算机可读存储介质 | |
| CN115495553A (zh) | 查询文本排序方法、装置、计算机设备及存储介质 | |
| CN114038451A (zh) | 对话数据的质检方法、装置、计算机设备及存储介质 | |
| CN117668758A (zh) | 对话意图识别方法和装置、电子设备及存储介质 | |
| CN116796758A (zh) | 对话交互方法、对话交互装置、设备及存储介质 | |
| CN114528851B (zh) | 回复语句确定方法、装置、电子设备和存储介质 | |
| CN114218356B (zh) | 基于人工智能的语义识别方法、装置、设备及存储介质 | |
| CN113570404B (zh) | 一种目标用户定位的方法、装置及相关设备 | |
| CN115620726A (zh) | 语音文本生成方法、语音文本生成模型的训练方法、装置 | |
| CN115438655A (zh) | 人物性别识别方法、装置、电子设备及存储介质 | |
| CN114722817B (zh) | 事件处理方法及装置 | |
| CN114281969A (zh) | 答复语句推荐方法、装置、电子设备及存储介质 | |
| CN113724738A (zh) | 语音处理方法、决策树模型训练方法、装置、设备及存储介质 | |
| CN114398487A (zh) | 线上会话的参考信息输出方法、装置、设备及存储介质 | |
| CN113255368A (zh) | 针对文本数据进行情感分析的方法、装置及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |