CN113689861A - 一种单声道通话录音的智能分轨方法、装置和系统 - Google Patents

一种单声道通话录音的智能分轨方法、装置和系统 Download PDF

Info

Publication number
CN113689861A
CN113689861A CN202110915823.7A CN202110915823A CN113689861A CN 113689861 A CN113689861 A CN 113689861A CN 202110915823 A CN202110915823 A CN 202110915823A CN 113689861 A CN113689861 A CN 113689861A
Authority
CN
China
Prior art keywords
audio data
frame
track
voice
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110915823.7A
Other languages
English (en)
Other versions
CN113689861B (zh
Inventor
孔醍
郑渊中
朱小波
钟雨崎
叶峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qiyue Information Technology Co Ltd
Original Assignee
Shanghai Qiyue Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Qiyue Information Technology Co Ltd filed Critical Shanghai Qiyue Information Technology Co Ltd
Priority to CN202110915823.7A priority Critical patent/CN113689861B/zh
Publication of CN113689861A publication Critical patent/CN113689861A/zh
Application granted granted Critical
Publication of CN113689861B publication Critical patent/CN113689861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G10L15/05—Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Telephonic Communication Services (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种单声道通话录音的智能分轨方法、装置和系统，用于对单声道通话录音中多人语音进行分离，其中方法包括对通话录音的音频数据进行预备处理，得到预备处理后的音频数据；对预备处理后的音频数据进行帧属性检测，判断所述音频数据中每一帧的帧属性信息；根据所述音频数据中每一帧的帧属性信息确定所述音频数据中的语音起始点，删除语音起始点之前的音频数据得到纯语音音频数据；将所述纯语音音频数据输入分轨模型，得到所述纯语音音频数据的分轨信息。采用该技术方案先进行语音起始点检测，剔除干扰仅保留纯语音部分，然后分离出实际的各说话人角色，以供后续ASR正确识别。

Description

一种单声道通话录音的智能分轨方法、装置和系统
技术领域
本发明涉及计算机信息处理领域，具体而言，涉及一种单声道通话录音的智能分轨方法、装置和系统。
背景技术
对传统的电话进行通话录音时，通话录音通常为双声道，再进行内容还原时容易区分不同声道对应的人声角色。随着互联网技术的发展，网络电话、语音会议逐渐开始普及，再网络电话和语音会议中为了降低对网络速率的要求，提升通话质量，往往使用的是单声道，如果进行通话录音也以单声道的形式记录的。
如果将这样的单声道录音直接输入语音识别(ASR)系统，由于只有一个声道，无法从识别结果中还原出各话语的说话人，只是单纯地堆砌文本。而且通常情况下通话开始前还会有彩铃、播报音等等非通话内容的语音信息，会对识别过程造成干扰，降低识别准确率。
发明内容
本发明旨在解决现有网络电话、语音会议的通话录音通常是单声道通话录音，输入ASR系统无法区分说话人角色，而且识别准确率低的问题。
为了解决上述技术问题，本发明第一方面提出一种单声道通话录音的智能分轨方法，用于对单声道通话录音中多人语音进行分离，方法包括：
对通话录音的音频数据进行预备处理，得到预备处理后的音频数据；
对预备处理后的音频数据进行帧属性检测，得到所述音频数据中每一帧的帧属性信息；
根据所述音频数据中每一帧的帧属性信息确定所述音频数据中的语音起始点，删除语音起始点之前的音频数据得到纯语音音频数据；
将所述纯语音音频数据输入分轨模型，得到所述纯语音音频数据的分轨信息。
根据本发明的一种优选实施方式，所述对通话录音的音频数据进行预备处理具体包括：
对所述通话录音的音频数据进行格式转化；
对格式转化后的音频数据进行分帧处理；
将分帧处理后的音频数据输入声学特征提取模型提取音频数据中每一帧的声学特征。
根据本发明的一种优选实施方式，对预备处理后的音频数据进行帧属性检测具体包括：
将所述音频数据中每一帧的声学特征输入帧属性检测模型，得到所述音频数据中每一帧的帧属性信息，所述帧属性检测模型为基于深度学习的C-GRU神经网络模型。
根据本发明的一种优选实施方式，所述帧属性包括该帧为音乐帧的概率以及该帧为有声帧的概率。
根据本发明的一种优选实施方式，根据所述音频数据中每一帧的帧属性信息确定所述音频数据中的语音起始点具体包括：
预先设置音乐帧概率阈值Vm，有声帧概率阈值Vs，以及滑动窗口大小W；
若连续W个帧满足该帧的音乐帧概率大于Vm，并且该帧的有声帧概率大于Vs，则所述连续W个帧中的第一个帧为语音起始点。
根据本发明的一种优选实施方式，将所述纯语音音频数据输入分轨模型，得到所述纯语音音频数据的分轨信息具体包括：
预先训练分轨模型，所述分轨模型包括x-vector神经网络模型和PLDA模型；
将所述纯语音音频数据输入所述分轨模型，所述x-vector神经网络模型输出所述纯语音音频数据的x-vector向量；
所述PLDA模型根据x-vector向量得到所述纯语音音频数据的分轨信息。
根据本发明的一种优选实施方式，方法还包括：
将所述所述纯语音音频数据以及所述纯语音音频数据的分轨信息输入ASR系统，所述ASR系统根据所述分轨信息输出不同说话人的文本数据。
本发明第二方面提出一种单声道通话录音的智能分轨装置，用于对单声道通话录音中多人语音进行分离，装置包括：
预备处理模块，用于对通话录音的音频数据进行预备处理，得到预备处理后的音频数据；
帧属性检测模块，用于对预备处理后的音频数据进行帧属性检测，判断所述音频数据中每一帧的帧属性信息；
纯语音提取模块，用于根据所述音频数据中每一帧的帧属性信息确定所述音频数据中的语音起始点，删除语音起始点之前的音频数据得到纯语音音频数据；
分轨模块，用于将所述纯语音音频数据输入分轨模型，得到所述纯语音音频数据的分轨信息。
本发明第三方面提出一种单声道通话录音的智能分轨系统，包括：
存储单元，用于存储计算机可执行程序；
处理单元，用于读取所述存储单元中的计算机可执行程序，以执行所述的单声道通话录音的智能分轨方法。
本发明第四方面提出一种计算机可读介质，用于存储计算机可读程序，所述计算机可读程序用于执行所述的单声道通话录音的智能分轨方法。
采用该技术方案先进行语音起始点检测，寻找出实际通话内容的起始点，去除该点前的响铃、彩铃等，保留纯语音部分，然后再通过智能分轨模型，分离出实际的各说话人角色，以供后续ASR正确识别，并还原出通话录音的实际的对话顺序和内容。
附图说明
为了使本发明所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本发明的具体实施例。但需声明的是，下面描述的附图仅仅是本发明的示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。
图1是本发明实施例中单声道通话录音的智能分轨方法的流程示意图；
图2是本发明实施例中单声道通话录音的智能分轨装置的结构示意图；
图3是本发明实施例中单声道通话录音的智能分轨系统的结构框架示意图；
图4是本发明实施例中计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图来更加全面地描述本发明的示例性实施例，虽然各示例性实施例能够以多种具体的方式实施，但不应理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例是为了使本发明的内容更加完整，更加便于将发明构思全面地传达给本领域的技术人员。
在符合本发明的技术构思的前提下，在某个特定的实施例中描述的结构、性能、效果或者其他特征可以以任何合适的方式结合到一个或更多其他的实施例中。
在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。
各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
图1是本发明一种单声道通话录音的智能分轨方法的流程示意图，如图1所示。本发明正式为了解决现有网络电话、语音会议的通话录音通常是单声道通话录音，输入ASR系统无法区分说话人角色，而且识别准确率低的问题，本发明提供一种单声道通话录音的智能分轨方法，先进行语音起始点检测，寻找出实际通话内容的起始点，去除该点前的响铃、彩铃等，保留纯语音部分，然后再通过智能分轨模型，分离出实际的各说话人角色，方法包括：
S101、对通话录音的音频数据进行预备处理，得到预备处理后的音频数据。
在上述技术方案的基础上，进一步地，所述对通话录音的音频数据进行预备处理具体包括：
对所述通话录音的音频数据进行格式转化；
对格式转化后的音频数据进行分帧处理；
将分帧处理后的音频数据输入声学特征提取模型提取音频数据中每一帧的声学特征。
在本实施方式中，通常网络电话、语音会议的录音文件采用AMR或MP3格式，这两种文件的压缩比高，占用空间小，但并非是大多数语音分析模型所支持的格式，因此需要将录音文件的格式转化为标准的音频文件格式，比如PCM、WAV格式，在本实施方式中采用WAV格式。
在本实施方式中，为了便于后续模型的运算，还需要对输入的音频数据进行分帧处理，将录音分割成一个个等长的数十毫秒的时间片段。然后将分割好的时间片段输入声学特征提取模型，如mfcc、fbank特征。
S102、对预备处理后的音频数据进行帧属性检测，得到所述音频数据中每一帧的帧属性信息。
在上述技术方案的基础上，进一步地，对预备处理后的音频数据进行帧属性检测具体包括：
将所述音频数据中每一帧的声学特征输入帧属性检测模型，判断所述音频数据中每一帧的帧属性信息，所述帧属性检测模型为基于深度学习的C-GRU神经网络模型。
在上述技术方案的基础上，进一步地，所述帧属性包括该帧为音乐帧的概率以及该帧为有声帧的概率。
在本实施方式中，帧属性检测模型为基于深度学习的C-GRU神经网络模型。帧属性检测模型由历史音频数据训练实现，帧属性检测模型的输出数据如表1所示，数据内容为三列，第一列表示帧序号，第二列表示该帧为音乐帧的概率，第三列表示该帧为有声帧的概率。
序号 音乐帧概率 有声帧概率
0 0.422929 0.672528
1 0.510684 0.791399
2 0.615589 0.849162
3 0.662155 0.913233
4 0.516339 0.949133
5 0.719020 0.856103
6 0.753675 0.501254
表1帧属性检测模型输出数据
S103、根据所述音频数据中每一帧的帧属性信息确定所述音频数据中的语音起始点，删除语音起始点之前的音频数据得到纯语音音频数据。
在上述技术方案的基础上，进一步地，根据所述音频数据中每一帧的帧属性信息确定所述音频数据中的语音起始点具体包括：
预先设置音乐帧概率阈值Vm，有声帧概率阈值Vs，以及滑动窗口大小W；
若连续W个帧满足该帧的音乐帧概率大于Vm，并且该帧的有声帧概率大于Vs，则所述连续W个帧中的第一个帧为语音起始点。
在本实施方式中，通过滑动窗口的方式来确定那一帧为语音起始点。以表1的数据为例进行说明，设置滑动窗口W为3，音乐帧概率阈值Vm为0.5，有声帧概率阈值Vs为0.8。
由于W为3，起始时分别选取序号为0-2的3个帧进行判断，不满足条件。
窗口向下滑动一格，选取序号为1-3的3个帧进行判断，依然不满足条件。
窗口继续向下滑动一格，选取序号为2-4的3个帧进行判断，此时3个帧的音乐帧概率和有声帧概率都符合要求，因此该窗口中的第一个帧为语音起始点，即序号为2的帧为语音起始点。
确定好语音起始点后，删除该帧前面的数据得到纯语音音频数据，通过这种方式剔除了彩铃、播报音等等非通话内容，排除了干扰。
S104、将所述纯语音音频数据输入分轨模型，得到所述纯语音音频数据的分轨信息。
在上述技术方案的基础上，进一步地，将所述纯语音音频数据输入分轨模型，得到所述纯语音音频数据的分轨信息具体包括：
预先训练分轨模型，所述分轨模型包括x-vector神经网络模型和PLDA模型；
将所述纯语音音频数据输入所述分轨模型，所述x-vector神经网络模型输出所述纯语音音频数据的x-vector向量；
所述PLDA模型根据x-vector向量得到所述纯语音音频数据的分轨信息。
在本实施方式中，使用人工标引的历史的语音数据作为训练数据，训练x-vector神经网络模型和PLDA模型。对纯语音音频数据进行声学特征提取，比如mfcc特征，将提取的mfcc特征输入x-vector神经网络模型，得到x-vector向量。
在PLDA模型中，对x-vector向量与PLDA模型后端之间的成对相似性进行评分，通过无监督聚类分析获得说话人数以及不同说话人语音的起止时刻。
在上述技术方案的基础上，进一步地，方法还包括：
S105、将所述所述纯语音音频数据以及所述纯语音音频数据的分轨信息输入ASR系统，所述ASR系统根据所述分轨信息输出不同说话人的文本数据。
在本实施方式中，根据分轨信息，ASR系统可以清楚的确定不同说话人对应的音频数据位置，因此能够很好的输出说话人的文本数据。
图2是本发明实施例中单声道通话录音的智能分轨装置的结构示意图，如图2所示，本发明提供一种单声道通话录音的智能分轨装置200，包括：
预备处理模块201，用于对通话录音的音频数据进行预备处理，得到预备处理后的音频数据。
在上述技术方案的基础上，进一步地，所述预备处理模块201，具体用于对所述通话录音的音频数据进行格式转化；对格式转化后的音频数据进行分帧处理；将分帧处理后的音频数据输入声学特征提取模型提取音频数据中每一帧的声学特征。
在本实施方式中，通常网络电话、语音会议的录音文件采用AMR或MP3格式，这两种文件的压缩比高，占用空间小，但并非是大多数语音分析模型所支持的格式，因此需要将录音文件的格式转化为标准的音频文件格式，比如PCM、WAV格式，在本实施方式中采用WAV格式。
在本实施方式中，为了便于后续模型的运算，还需要对输入的音频数据进行分帧处理，将录音分割成一个个等长的数十毫秒的时间片段。然后将分割好的时间片段输入声学特征提取模型，如mfcc、fbank特征。
帧属性检测模块202，用于对预备处理后的音频数据进行帧属性检测，判断所述音频数据中每一帧的帧属性信息.
在上述技术方案的基础上，进一步地，帧属性检测模块202，具体用于将所述音频数据中每一帧的声学特征输入帧属性检测模型，判断所述音频数据中每一帧的帧属性信息，所述帧属性检测模型为基于深度学习的C-GRU神经网络模型。
在上述技术方案的基础上，进一步地，所述帧属性包括该帧为音乐帧的概率以及该帧为有声帧的概率。
在本实施方式中，帧属性检测模型为基于深度学习的C-GRU神经网络模型。帧属性检测模型由历史音频数据训练实现，帧属性检测模型的输出数据内容为三列，第一列表示帧序号，第二列表示该帧为音乐帧的概率，第三列表示该帧为有声帧的概率。
纯语音提取模块203，用于根据所述音频数据中每一帧的帧属性信息确定所述音频数据中的语音起始点，删除语音起始点之前的音频数据得到纯语音音频数据。
在上述技术方案的基础上，进一步地，所述纯语音提取模块203，具体用于预先设置音乐帧概率阈值Vm，有声帧概率阈值Vs，以及滑动窗口大小W；若连续W个帧满足该帧的音乐帧概率大于Vm，并且该帧的有声帧概率大于Vs，则确定所述连续W个帧中的第一个帧为语音起始点。
在本实施方式中，通过滑动窗口的方式来确定那一帧为语音起始点。以表1的数据为例进行说明，设置滑动窗口W为3，音乐帧概率阈值Vm为0.5，有声帧概率阈值Vs为0.8。
由于W为3，起始时分别选取序号为0-2的3个帧进行判断，不满足条件。
窗口向下滑动一格，选取序号为1-3的3个帧进行判断，依然不满足条件。
窗口继续向下滑动一格，选取序号为2-4的3个帧进行判断，此时3个帧的音乐帧概率和有声帧概率都符合要求，因此该窗口中的第一个帧为语音起始点，即序号为2的帧为语音起始点。
确定好语音起始点后，删除该帧前面的数据得到纯语音音频数据，通过这种方式剔除了彩铃、播报音等等非通话内容，排除了干扰。
分轨模块204，用于将所述纯语音音频数据输入分轨模型，得到所述纯语音音频数据的分轨信息。
在上述技术方案的基础上，进一步地，所述分轨模块204。具体用于预先训练分轨模型，所述分轨模型包括x-vector神经网络模型和PLDA模型；将所述纯语音音频数据输入所述分轨模型，所述x-vector神经网络模型输出所述纯语音音频数据的x-vector向量；所述PLDA模型根据x-vector向量得到所述纯语音音频数据的分轨信息。
在本实施方式中，使用人工标引的历史的语音数据作为训练数据，训练x-vector神经网络模型和PLDA模型。对纯语音音频数据进行声学特征提取，比如mfcc特征，将提取的mfcc特征输入x-vector神经网络模型，得到x-vector向量。
在PLDA模型中，对x-vector向量与PLDA模型后端之间的成对相似性进行评分，通过无监督聚类分析获得说话人数以及不同说话人语音的起止时刻。
在上述技术方案的基础上，进一步地，装置还包括：
角色还原模块205，将所述所述纯语音音频数据以及所述纯语音音频数据的分轨信息输入ASR系统，所述ASR系统根据所述分轨信息输出不同说话人的文本数据。
如图3所示，本发明的一个实施例中还公开一种单声道通话录音的智能分轨系统，图3显示的单声道通话录音的智能分轨系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
单声道通话录音的智能分轨系统300，包括存储单元320，用于存储计算机可执行程序；处理单元310，用于读取所述存储单元中的计算机可执行程序，以执行本发明各种实施方式的步骤。
在本实施方式中单声道通话录音的智能分轨系统300还包括，连接不同系统组件(包括存储单元320和处理单元310)的总线330、显示单元340等。
其中，所述存储单元320存储有计算机可读程序，其可以是源程序或都只读程序的代码。所述程序可以被处理单元310执行，使得所述处理单元310执行本发明各种实施方式的步骤。例如，所述处理单元310可以执行如图1所示的步骤。
所述存储单元320可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)3201和/或高速缓存存储单元3202，还可以进一步包括只读存储单元(ROM)3203。所述存储单元320还可以包括具有一组(至少一个)程序模块3205的程序/实用工具3204，这样的程序模块3205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线330可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
单声道通话录音的智能分轨系统300也可以与一个或多个外部设备370(例如键盘、显示器、网络设备、蓝牙设备等)通信，使得用户能经由这些外部设备370通过输入/输出(I/O)接口350进行与处理单元310进行交互，还可以通过网络适配器360与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)进行。网络适配器360可以通过总线330与单声道通话录音的智能分轨系统300的其它模块通信。应当明白，尽管图中未示出，基于机器学习的数字资源处理系统300中可使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
图4是本发明的一个计算机可读介质实施例的示意图。如图4所示，所述计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储单元(RAM)、只读存储单元(ROM)、可擦式可编程只读存储单元(EPROM或闪存)、光纤、便携式紧凑盘只读存储单元(CD-ROM)、光存储单元件、磁存储单元件、或者上述的任意合适的组合。当所述计算机程序被一个或多个数据处理设备执行时，使得该计算机可读介质能够实现本发明的上述方法，即：
S101、对通话录音的音频数据进行预备处理，得到预备处理后的音频数据；
S102、对预备处理后的音频数据进行帧属性检测，判断所述音频数据中每一帧的帧属性信息；
S103、根据所述音频数据中每一帧的帧属性信息确定所述音频数据中的语音起始点，删除语音起始点之前的音频数据得到纯语音音频数据；
S104、将所述纯语音音频数据输入分轨模型，得到所述纯语音音频数据的分轨信息。
通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台数据处理设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明可以执行计算机程序的方法、装置、电子设备或计算机可读介质来实现。可以在实践中使用微处理单元或者数字信号处理单元(DSP)等通用数据处理设备来实现本发明的一些或者全部功能。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种单声道通话录音的智能分轨方法，用于对单声道通话录音中多人语音进行分离，其特征在于，方法包括：
对通话录音的音频数据进行预备处理，得到预备处理后的音频数据；
对预备处理后的音频数据进行帧属性检测，得到所述音频数据中每一帧的帧属性信息；
根据所述音频数据中每一帧的帧属性信息确定所述音频数据中的语音起始点，删除语音起始点之前的音频数据得到纯语音音频数据；
将所述纯语音音频数据输入分轨模型，得到所述纯语音音频数据的分轨信息。
2.如权利要求1所述的智能分轨方法，其特征在于，所述对通话录音的音频数据进行预备处理具体包括：
对所述通话录音的音频数据进行格式转化；
对格式转化后的音频数据进行分帧处理；
将分帧处理后的音频数据输入声学特征提取模型提取音频数据中每一帧的声学特征。
3.如权利要求2所述的智能分轨方法，其特征在于，对预备处理后的音频数据进行帧属性检测具体包括：
将所述音频数据中每一帧的声学特征输入帧属性检测模型，得到所述音频数据中每一帧的帧属性信息，所述帧属性检测模型为基于深度学习的C-GRU神经网络模型。
4.如权利要求3所述的智能分轨方法，其特征在于，所述帧属性包括该帧为音乐帧的概率以及该帧为有声帧的概率。
5.如权利要求4所述的智能分轨方法，其特征在于，根据所述音频数据中每一帧的帧属性信息确定所述音频数据中的语音起始点具体包括：
预先设置音乐帧概率阈值Vm，有声帧概率阈值Vs，以及滑动窗口大小W；
若连续W个帧满足该帧的音乐帧概率大于Vm，并且该帧的有声帧概率大于Vs，则所述连续W个帧中的第一个帧为语音起始点。
6.如权利要求5所述的智能分轨方法，其特征在于，将所述纯语音音频数据输入分轨模型，得到所述纯语音音频数据的分轨信息具体包括：
预先训练分轨模型，所述分轨模型包括x-vector神经网络模型和PLDA模型；
将所述纯语音音频数据输入所述分轨模型，所述x-vector神经网络模型输出所述纯语音音频数据的x-vector向量；
所述PLDA模型根据x-vector向量得到所述纯语音音频数据的分轨信息。
7.如权利要求1所述的智能分轨方法，其特征在于，方法还包括：
将所述所述纯语音音频数据以及所述纯语音音频数据的分轨信息输入ASR系统，所述ASR系统根据所述分轨信息输出不同说话人的文本数据。
8.一种单声道通话录音的智能分轨装置，用于对单声道通话录音中多人语音进行分离，其特征在于，装置包括：
预备处理模块，用于对通话录音的音频数据进行预备处理，得到预备处理后的音频数据；
帧属性检测模块，用于对预备处理后的音频数据进行帧属性检测，判断所述音频数据中每一帧的帧属性信息；
纯语音提取模块，用于根据所述音频数据中每一帧的帧属性信息确定所述音频数据中的语音起始点，删除语音起始点之前的音频数据得到纯语音音频数据；
分轨模块，用于将所述纯语音音频数据输入分轨模型，得到所述纯语音音频数据的分轨信息。
9.一种单声道通话录音的智能分轨系统，其特征在于，包括：
存储单元，用于存储计算机可执行程序；
处理单元，用于读取所述存储单元中的计算机可执行程序，以执行权利要求1至7中任一项所述的单声道通话录音的智能分轨方法。
10.一种计算机可读介质，用于存储计算机可读程序，其特征在于，所述计算机可读程序用于执行权利要求1至7中任一项所述的单声道通话录音的智能分轨方法。
CN202110915823.7A 2021-08-10 2021-08-10 一种单声道通话录音的智能分轨方法、装置和系统 Active CN113689861B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110915823.7A CN113689861B (zh) 2021-08-10 2021-08-10 一种单声道通话录音的智能分轨方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110915823.7A CN113689861B (zh) 2021-08-10 2021-08-10 一种单声道通话录音的智能分轨方法、装置和系统

Publications (2)

Publication Number Publication Date
CN113689861A true CN113689861A (zh) 2021-11-23
CN113689861B CN113689861B (zh) 2024-02-27

Family

ID=78579575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110915823.7A Active CN113689861B (zh) 2021-08-10 2021-08-10 一种单声道通话录音的智能分轨方法、装置和系统

Country Status (1)

Country Link
CN (1) CN113689861B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104347067A (zh) * 2013-08-06 2015-02-11 华为技术有限公司 一种音频信号分类方法和装置
CN106356077A (zh) * 2016-08-29 2017-01-25 北京理工大学 一种笑声检测方法及装置
CN106653058A (zh) * 2016-10-28 2017-05-10 中国科学院计算技术研究所 基于双声道的脚步检测方法
WO2018048549A1 (en) * 2016-09-08 2018-03-15 Intel IP Corporation Method and system of automatic speech recognition using posterior confidence scores
CN109473102A (zh) * 2017-09-07 2019-03-15 上海新同惠自动化系统有限公司 一种机器人秘书智能会议记录方法及系统
CN110047504A (zh) * 2019-04-18 2019-07-23 东华大学 身份矢量x-vector线性变换下的说话人识别方法
US20190392859A1 (en) * 2018-12-05 2019-12-26 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for voice activity detection
CN112331216A (zh) * 2020-10-29 2021-02-05 同济大学 基于复合声学特征和低秩分解tdnn的说话人识别系统及方法
CN112735482A (zh) * 2020-12-04 2021-04-30 珠海亿智电子科技有限公司 基于联合深度神经网络的端点检测方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104347067A (zh) * 2013-08-06 2015-02-11 华为技术有限公司 一种音频信号分类方法和装置
CN106409313A (zh) * 2013-08-06 2017-02-15 华为技术有限公司 一种音频信号分类方法和装置
CN106356077A (zh) * 2016-08-29 2017-01-25 北京理工大学 一种笑声检测方法及装置
WO2018048549A1 (en) * 2016-09-08 2018-03-15 Intel IP Corporation Method and system of automatic speech recognition using posterior confidence scores
CN106653058A (zh) * 2016-10-28 2017-05-10 中国科学院计算技术研究所 基于双声道的脚步检测方法
CN109473102A (zh) * 2017-09-07 2019-03-15 上海新同惠自动化系统有限公司 一种机器人秘书智能会议记录方法及系统
US20190392859A1 (en) * 2018-12-05 2019-12-26 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for voice activity detection
CN110047504A (zh) * 2019-04-18 2019-07-23 东华大学 身份矢量x-vector线性变换下的说话人识别方法
CN112331216A (zh) * 2020-10-29 2021-02-05 同济大学 基于复合声学特征和低秩分解tdnn的说话人识别系统及方法
CN112735482A (zh) * 2020-12-04 2021-04-30 珠海亿智电子科技有限公司 基于联合深度神经网络的端点检测方法及系统

Also Published As

Publication number Publication date
CN113689861B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
US10789290B2 (en) Audio data processing method and apparatus, and computer storage medium
US11380333B2 (en) System and method of diarization and labeling of audio data
US10593333B2 (en) Method and device for processing voice message, terminal and storage medium
CN110211565B (zh) 方言识别方法、装置及计算机可读存储介质
CN111508498B (zh) 对话式语音识别方法、系统、电子设备和存储介质
CN110097870B (zh) 语音处理方法、装置、设备和存储介质
Zhang et al. Improving sequence-to-sequence voice conversion by adding text-supervision
CN109543021B (zh) 一种面向智能机器人的故事数据处理方法及系统
US20220238118A1 (en) Apparatus for processing an audio signal for the generation of a multimedia file with speech transcription
WO2023030235A1 (zh) 目标音频的输出方法及系统、可读存储介质、电子装置
KR20200027331A (ko) 음성 합성 장치
CN109460548B (zh) 一种面向智能机器人的故事数据处理方法及系统
US20240265908A1 (en) Methods for real-time accent conversion and systems thereof
CN113299272B (zh) 语音合成模型训练和语音合成方法、设备及存储介质
JP2023073393A (ja) 音声認識
CN111949778A (zh) 一种基于用户情绪的智能语音对话方法、装置及电子设备
Deshwal et al. A Structured Approach towards Robust Database Collection for Language Identification
Sasmal et al. Isolated words recognition of Adi, a low-resource indigenous language of Arunachal Pradesh
CN113689861B (zh) 一种单声道通话录音的智能分轨方法、装置和系统
JP5713782B2 (ja) 情報処理装置、情報処理方法及びプログラム
Kepuska et al. Speech corpus generation from DVDs of movies and tv series
Waghmare et al. A Comparative Study of the Various Emotional Speech Databases
CN113223513A (zh) 语音转换方法、装置、设备和存储介质
CN113505612B (zh) 多人对话语音实时翻译方法、装置、设备及存储介质
CN118116387A (zh) 多人交叉场景的单通道语音识别方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant