CN112599136A - 基于声纹识别的语音识别方法及装置、存储介质、终端 - Google Patents
基于声纹识别的语音识别方法及装置、存储介质、终端 Download PDFInfo
- Publication number
- CN112599136A CN112599136A CN202011478575.6A CN202011478575A CN112599136A CN 112599136 A CN112599136 A CN 112599136A CN 202011478575 A CN202011478575 A CN 202011478575A CN 112599136 A CN112599136 A CN 112599136A
- Authority
- CN
- China
- Prior art keywords
- voice
- user
- far
- data
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004422 calculation algorithm Methods 0.000 claims description 62
- 238000012545 processing Methods 0.000 claims description 34
- 230000009467 reduction Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000002105 tongue Anatomy 0.000 description 1
- 210000000515 tooth Anatomy 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于声纹识别的语音识别方法及装置、存储介质、终端，所述方法包括：确定用户的远场语音数据；对所述远场语音数据进行声纹识别，以得到所述用户的声纹信息；根据所述声纹信息，从多个客制化数据库中选择所述用户的客制化数据库；确定所述远场语音数据包含的各条待识别语音；针对每条待识别语音，分别在所述用户的客制化数据库中查找是否存在与所述待识别语音一致的预设语音，如果存在，则根据所述语义指示信息确定所述待识别语音的语义。本发明可以有效降低算力需求以及资源消耗，并提高对该用户的语音识别的准确率。
Description
技术领域
本发明涉及生物识别技术领域，尤其涉及一种基于声纹识别的语音识别方法及装置、存储介质、终端。
背景技术
目前的智能语音设备都是通过对用户的录音进行数据库比对的方式来进行识别，识别率随着现在数据库的完善和算力的提升越来越高。
然而，在现有的语音识别技术中，对资源的消耗也在成倍增长，对云端服务器的要求越来越高，同时支持用户的数量增长缓慢。
亟需一种语音识别方法，可以有效降低算力需求以及资源消耗，以及提高对该用户的语音识别的准确率。
发明内容
本发明解决的技术问题是提供一种基于声纹识别的语音识别方法及装置、存储介质、终端，可以有效降低算力需求以及资源消耗，并且有效地提高对该用户的语音识别的准确率。
为解决上述技术问题，本发明实施例提供一种基于声纹识别的语音识别方法，包括：确定用户的远场语音数据；对所述远场语音数据进行声纹识别，以得到所述用户的声纹信息；根据所述声纹信息，从多个客制化数据库中选择所述用户的客制化数据库，其中，每位用户有各自的客制化数据库，每个客制化数据库包含对应用户的声纹信息以及一条或多条语义指示信息，每条语义指示信息用于指示至少一条预设语音与该预设语音的语义之间的映射关系；确定所述远场语音数据包含的各条待识别语音；针对每条待识别语音，分别在所述用户的客制化数据库中查找是否存在与所述待识别语音一致的预设语音，如果存在，则根据所述语义指示信息确定所述待识别语音的语义。
可选的，确定用户的远场语音数据包括：采集用户的初始远场语音数据；对所述初始远场语音数据进行数据处理，以得到所述远场语音数据。
可选的，所述采集用户的初始远场语音数据包括：采用远场麦克风阵列远距离采集用户的语音数据，以得到所述用户的初始远场语音数据。
可选的，对所述初始远场语音数据进行数据处理包括：采用降噪算法和/或增强算法对所述初始远场语音数据进行数据处理，以得到所述远场语音数据。
可选的，采用降噪算法和/或增强算法对所述初始远场语音数据进行数据处理选自以下一项或多项：采用相位差降噪算法两位差对所述初始远场语音数据进行数据处理；采用多MIC高保真降噪算法对所述初始远场语音数据进行数据处理；采用多麦克远场增强算法对所述初始远场语音数据进行数据处理。
可选的，所述降噪算法和/或增强算法包含两种或两种以上算法；在采用降噪算法和/或增强算法对所述初始远场语音数据进行数据处理后，所述的基于声纹识别的语音识别方法还包括：对分别采用所述两种或两种以上算法处理后的数据进行数据合成。
可选的，所述的基于声纹识别的语音识别方法还包括：如果不存在与所述待识别语音一致的预设语音，则在确定所述待识别语音的语义后，对所述用户的客制化数据库进行更新，以增加所述待识别语音的语义指示信息。
为解决上述技术问题，本发明实施例提供一种基于声纹识别的语音识别装置，包括：数据确定模块，用于确定用户的远场语音数据；声纹识别模块，用于对所述远场语音数据进行声纹识别，以得到所述用户的声纹信息；数据块选择模块，用于根据所述声纹信息，从多个客制化数据库中选择所述用户的客制化数据库，其中，每位用户有各自的客制化数据库，每个客制化数据库包含对应用户的声纹信息以及一条或多条语义指示信息，每条语义指示信息用于指示至少一条预设语音与该预设语音的语义之间的映射关系；语音确定模块，用于确定所述远场语音数据包含的各条待识别语音；语义确定模块，用于针对每条待识别语音，分别在所述用户的客制化数据库中查找是否存在与所述待识别语音一致的预设语音，如果存在，则根据所述语义指示信息确定所述待识别语音的语义。
为解决上述技术问题，本发明实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述基于声纹识别的语音识别方法的步骤。
为解决上述技术问题，本发明实施例提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述基于声纹识别的语音识别方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
在本发明实施例中，通过设置包含有用户的声纹信息以及语义指示信息的客制化数据库，可以在得到所述用户的声纹信息后，根据声纹信息选择得到该用户的客制化数据库，进而基于客制化数据库中的语义指示信息确定待识别语音的语义。相比于现有技术中，需要基于存储量巨大的共用数据库对用户的语音进行比对，导致对算力的要求极大，资源消耗逐步增加，采用本发明实施例的方案，可以基于存储量很小的客制化数据库对用户的语音进行比对，有效降低算力需求以及资源消耗，并且由于客制化数据库中均为当前用户的信息，可以避免语音特征相近的其他用户的干扰，从而有效地提高对该用户的语音识别的准确率。
进一步，采用远场麦克风阵列远距离采集用户的语音数据，以得到所述用户的初始远场语音数据，相比于现有的声纹识别技术中，存在着采样要求高等问题，如需要声音足够清晰，背景噪音足够低，信噪比足够高等，难以在生活常态中使用，采用本发明实施例的方案，可以采用远场麦克风阵列远距离采集用户的初始远场语音数据，从而利用麦克风阵列的相位降噪功能和高保真功能，提高远场语音数据的数据有效性，从而有机会在降低采样要求的情况下，仍然实现对用户的声纹特征进行识别。
进一步，采用降噪算法和/或增强算法对所述初始远场语音数据进行数据处理，以得到处理后的远场语音数据，相比于现有的声纹识别技术中，存在着采样要求高等问题，如需要声音足够清晰，背景噪音足够低，信噪比足够高等，难以在生活常态中使用，采用本发明实施例的方案，可以采用降噪算法和/或增强算法对所述初始远场语音数据进行数据处理，以得到所述远场语音数据，从而实现在远距离采集用户语音并进行低损降噪，提高远场语音数据的数据有效性，从而有机会在降低采样要求的情况下，仍然实现对用户的声纹特征进行识别。
进一步，如果不存在与所述待识别语音一致的预设语音，则在确定所述待识别语音的语义后，对所述用户的客制化数据库进行更新，以增加所述待识别语音的语义指示信息，从而随着增加当前用户的输入信息，可以逐渐改良该用户的客制化数据库，增加越来越多的语义指示信息，有助于在后续语音识别的过程中，提高查找到一致的预设语音的可能性，也即提高对该用户的语音识别的识别效率。
附图说明
图1是本发明实施例中一种基于声纹识别的语音识别方法的流程图；
图2是图1中步骤S11的一种具体实施方式的流程图；
图3是本发明实施例中一种基于声纹识别的语音识别装置的结构示意图。
具体实施方式
如前所述，在现有的语音识别技术中，对资源的消耗也在成倍增长，对云端服务器的要求越来越高，同时支持用户的数量增长缓慢。
本发明的发明人经过研究发现，在现有技术中，需要基于存储量巨大的共用数据库对用户的语音进行比对，导致对算力的要求极大，资源消耗逐步增加，并且容易受到共用数据库中语音特征相近的其他用户的干扰，导致语音识别的准确率较低。
在本发明实施例中，通过设置包含有用户的声纹信息以及语义指示信息的客制化数据库，可以在得到所述用户的声纹信息后，根据声纹信息选择得到该用户的客制化数据库，进而基于客制化数据库中的语义指示信息确定待识别语音的语义。相比于现有技术中，需要基于存储量巨大的共用数据库对用户的语音进行比对，导致对算力的要求极大，资源消耗逐步增加，采用本发明实施例的方案，可以基于存储量很小的客制化数据库对用户的语音进行比对，有效降低算力需求以及资源消耗，并且由于客制化数据库中均为当前用户的信息，可以避免语音特征相近的其他用户的干扰，从而有效地提高对该用户的语音识别的准确率。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
参照图1，图1是本发明实施例中一种基于声纹识别的语音识别方法的流程图。所述基于声纹识别的语音识别方法可以包括步骤S11至步骤S15：
步骤S11：确定用户的远场语音数据；
步骤S12：对所述远场语音数据进行声纹识别，以得到所述用户的声纹信息；
步骤S13：根据所述声纹信息，从多个客制化数据库中选择所述用户的客制化数据库，其中，每位用户有各自的客制化数据库，每个客制化数据库包含对应用户的声纹信息以及一条或多条语义指示信息，每条语义指示信息用于指示至少一条预设语音与该预设语音的语义之间的映射关系；
步骤S14：确定所述远场语音数据包含的各条待识别语音；
步骤S15：针对每条待识别语音，分别在所述用户的客制化数据库中查找是否存在与所述待识别语音一致的预设语音，如果存在，则根据所述语义指示信息确定所述待识别语音的语义。
在步骤S11的具体实施中，所述用户的远场语音数据可以是从数据采集端直接采集得到的数据，还可以是经过数据处理之后的数据。
参照图2，图2是图1中步骤S11的一种具体实施方式的流程图。所述确定用户的远场语音数据的步骤可以包括步骤S21至步骤S22，以下对各个步骤进行说明。
在步骤S21中，采集用户的初始远场语音数据。
具体地，可以采用常规的声音传感器采集所述用户的初始远场语音数据。
进一步地，所述采集用户的初始远场语音数据的步骤可以包括：采用远场麦克风阵列(Microphone Array)远距离采集用户的语音数据，以得到所述用户的初始远场语音数据。
其中，所述远场麦克风阵列可以是由一定数目的声学传感器(如麦克风)组成，用于对声场的空间特性进行采样并处理的系统，尤其适用于远距离声音数据的采集。
在本发明实施例中，采用远场麦克风阵列远距离采集用户的语音数据，以得到所述用户的初始远场语音数据，相比于现有的声纹识别技术中，存在着采样要求高等问题，如需要声音足够清晰，背景噪音足够低，信噪比足够高等，难以在生活常态中使用，采用本发明实施例的方案，可以采用远场麦克风阵列远距离采集用户的初始远场语音数据，从而利用麦克风阵列的相位降噪功能和高保真功能，提高远场语音数据的数据有效性，从而有机会在降低采样要求的情况下，仍然实现对用户的声纹特征进行识别。
在步骤S22中，对所述初始远场语音数据进行数据处理，以得到所述远场语音数据。
进一步地，对所述初始远场语音数据进行数据处理的步骤可以包括：采用降噪算法和/或增强算法对所述初始远场语音数据进行数据处理，以得到所述远场语音数据。
更进一步地，采用降噪算法和/或增强算法对所述初始远场语音数据进行数据处理的步骤可以选自以下一项或多项：采用相位差降噪算法对所述初始远场语音数据进行数据处理；采用多麦克风(MIC)高保真降噪算法对所述初始远场语音数据进行数据处理；采用多麦克远场增强算法对所述初始远场语音数据进行数据处理。
具体地，所述相位差降噪算法可以是基于麦克风阵列中的两个或两个以上麦克风之间的相位的差值，进行语音增强以及降噪的算法。例如可以将麦克风阵列接收到的信号分帧，利用相邻的两个麦克风之间每帧带噪语音信号的相位差，构成该帧改变频率点幅度谱值的比例系数，对该帧待噪语音信号进行掩蔽增强处理，得到预处理信号；然后利用如固定波束形成，独立分量分析算法和后置滤波技术等，对预处理信号进一步处理，从而达到抑制噪声的效果。
所述多MIC高保真降噪算法可以包括基于自适应滤波的降噪算法，例如为递推最小二乘(Recursive Least Squares，RLS)算法或者基于最小均方(Least Mean Squares，LMS)算法。
所述多麦克远场增强算法可以包括后滤波语音增强算法，例如在噪声子空间上，利用条件概率估计出噪声功率谱，基于人耳的听觉掩蔽效应进行数据处理，达到增强语音的效果。
在本发明实施例中，采用降噪算法和/或增强算法对所述初始远场语音数据进行数据处理，以得到处理后的远场语音数据，相比于现有的声纹识别技术中，存在着采样要求高等问题，如需要声音足够清晰，背景噪音足够低，信噪比足够高等，难以在生活常态中使用，采用本发明实施例的方案，可以采用降噪算法和/或增强算法对所述初始远场语音数据进行数据处理，以得到所述远场语音数据，从而实现在远距离采集用户语音并进行低损降噪，提高远场语音数据的数据有效性，从而有机会在降低采样要求的情况下，仍然实现对用户的声纹特征进行识别。
进一步地，所述降噪算法和/或增强算法可以包含两种或两种以上算法，在采用降噪算法和/或增强算法对所述初始远场语音数据进行数据处理后，所述的基于声纹识别的语音识别方法还可以包括：对分别采用所述两种或两种以上算法处理后的数据进行数据合成。
例如可以采用上述三种算法，分别对所述初始远场语音数据进行数据处理，并分别得到三种处理后的数据，进而对所述三种处理后的数据进行数据合成。
在本发明实施例中，通过设置数据合成的步骤，可以采用多种算法对采集的初始远场语音数据进行处理，从而获得多种算法的降噪、增强效果，更大程度上提高远场语音数据的有效性。
继续参照图1，在步骤S12的具体实施中，对所述远场语音数据进行声纹识别，以得到所述用户的声纹信息。
其中，所谓声纹(Voiceprint)，可以是用电声学仪器显示的携带言语信息的声波频谱。人类语言的产生是人体语言中枢与发音器官之间复杂的生理物理过程，人在讲话时使用的发声器官--舌、牙齿、喉头、肺、鼻腔在尺寸和形态方面差异很大，所以任何两个人的声纹图谱都有差异。由于每个人的发音器官都不尽相同，因此声纹可以用于区分不同的人的声音或判断是否是同一人的声音。
进一步地，可以采用常规的声纹识别方式进行声纹识别，例如采用与常规的声纹识别方式一致的预设采样参数阈值，得到更佳的声纹识别效果；或者采用低于所述预设采样参数阈值的采样参数，得到与常规的声纹识别方式一致的声纹识别效果。
需要指出的是，传统的声纹识别技术存在着采样要求高的缺点，例如需要声音足够清晰、背景噪音足够低、信噪比足够高等要求，难以在生活常态中使用。
在本申请实施例中，由于采用了降噪算法和/或增强算法对所述初始远场语音数据进行数据处理，可以有效地提高远场语音数据的有效性，从而可以在采用常规的声纹识别方式进行声纹识别的情况下，得到更佳的声纹识别效果，更有助于提高其在生活常态中使用的可行性。
在步骤S13的具体实施中，根据所述声纹信息，可以从多个客制化数据库中选择所述用户的客制化数据库，其中，每位用户有各自的客制化数据库，每个客制化数据库包含对应用户的声纹信息以及一条或多条语义指示信息，每条语义指示信息用于指示至少一条预设语音与该预设语音的语义之间的映射关系。
具体的，由于客制化数据库与用户具有对应关系，例如为一一对应关系，且客制化数据库中包含有对应用户的声纹信息，因此根据在步骤S12中得到的声纹信息，可以确定该用户的客制化数据库。
可以理解的是，相比于存储量巨大的共用数据库，客制化数据库存储量很小，当采用客制化数据库对用户的语音进行比对，能够有效降低算力需求以及资源消耗，并且由于客制化数据库中均为当前用户的信息，可以避免语音特征相近的其他用户的干扰。
需要指出的是，所述语义指示信息可以是根据该用户的历史输入信息预存的，例如可以包括至少一条预设语音，以及对该预设语音进行有效识别后得到的语义信息。通过设置语义指示信息，可以得到至少一条预设语音与该预设语音的语义之间的映射关系。
在步骤S14的具体实施中，确定所述远场语音数据包含的各条待识别语音。
具体地，可以采用声音分割技术，根据用户的停顿等特征，将大段连续的远场语音数据分割为一条或多条待识别语音。其中，每条待识别语音可以对应于单个或多个语义。
在步骤S15的具体实施中，针对每条待识别语音，分别在所述用户的客制化数据库中查找是否存在与所述待识别语音一致的预设语音，如果存在，则根据所述语义指示信息确定所述待识别语音的语义。
在本发明实施例中，通过设置包含有用户的声纹信息以及语义指示信息的客制化数据库，可以在得到所述用户的声纹信息后，根据声纹信息选择得到该用户的客制化数据库，进而基于客制化数据库中的语义指示信息确定待识别语音的语义。相比于现有技术中，需要基于存储量巨大的共用数据库对用户的语音进行比对，导致对算力的要求极大，资源消耗逐步增加，采用本发明实施例的方案，可以基于存储量很小的客制化数据库对用户的语音进行比对，有效降低算力需求以及资源消耗，并且由于客制化数据库中均为当前用户的信息，可以避免语音特征相近的其他用户的干扰，从而有效地提高对该用户的语音识别的准确率。
进一步地，所述的基于声纹识别的语音识别方法还可以包括：如果不存在与所述待识别语音一致的预设语音，则在确定所述待识别语音的语义后，对所述用户的客制化数据库进行更新，以增加所述待识别语音的语义指示信息。
在本发明实施例中，如果不存在与所述待识别语音一致的预设语音，则在确定所述待识别语音的语义后，对所述用户的客制化数据库进行更新，以增加所述待识别语音的语义指示信息，从而随着增加当前用户的输入信息，可以逐渐改良该用户的客制化数据库，增加越来越多的语义指示信息，有助于在后续语音识别的过程中，提高查找到一致的预设语音的可能性，也即提高对该用户的语音识别的识别效率。
参照图3，图3是本发明实施例中一种基于声纹识别的语音识别装置的结构示意图。所述基于声纹识别的语音识别装置可以包括：
数据确定模块31，用于确定用户的远场语音数据；
声纹识别模块32，用于对所述远场语音数据进行声纹识别，以得到所述用户的声纹信息；
数据块选择模块33，用于根据所述声纹信息，从多个客制化数据库中选择所述用户的客制化数据库，其中，每位用户有各自的客制化数据库，每个客制化数据库包含对应用户的声纹信息以及一条或多条语义指示信息，每条语义指示信息用于指示至少一条预设语音与该预设语音的语义之间的映射关系；
语音确定模块34，用于确定所述远场语音数据包含的各条待识别语音；
语义确定模块35，用于针对每条待识别语音，分别在所述用户的客制化数据库中查找是否存在与所述待识别语音一致的预设语音，如果存在，则根据所述语义指示信息确定所述待识别语音的语义。
关于该基于声纹识别的语音识别装置的原理、具体实现和有益效果请参照前文描述的关于基于声纹识别的语音识别方法的相关描述，此处不再赘述。
本发明实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。所述存储介质可以是计算机可读存储介质，例如可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。
本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤。所述终端包括但不限于手机、计算机、平板电脑等终端设备。
在本发明实施例中，通过设置包含有用户的声纹信息以及语义指示信息的客制化数据库，可以在得到所述用户的声纹信息后，根据声纹信息选择得到该用户的客制化数据库，进而基于客制化数据库中的语义指示信息确定待识别语音的语义。相比于现有技术中，需要基于存储量巨大的共用数据库对用户的语音进行比对，导致对算力的要求极大，资源消耗逐步增加，采用本发明实施例的方案，可以基于存储量很小的客制化数据库对用户的语音进行比对，有效降低算力需求以及资源消耗，并且由于客制化数据库中均为当前用户的信息，可以避免语音特征相近的其他用户的干扰，从而有效地提高对该用户的语音识别的准确率。
应理解，上述的处理器可以是通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，还可以是系统芯片(system on chip，SoC)，还可以是中央处理器(central processor unit，CPU)，还可以是网络处理器(networkprocessor，NP)，还可以是数字信号处理电路(digital signal processor，DSP)，还可以是微控制器(micro controller unit，MCU)，还可以是可编程控制器(programmable logicdevice，PLD)或其他集成芯片。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
还应理解，本发明实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double datarate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (10)
1.一种基于声纹识别的语音识别方法，其特征在于，包括：
确定用户的远场语音数据；
对所述远场语音数据进行声纹识别，以得到所述用户的声纹信息；
根据所述声纹信息，从多个客制化数据库中选择所述用户的客制化数据库，其中，每位用户有各自的客制化数据库，每个客制化数据库包含对应用户的声纹信息以及一条或多条语义指示信息，每条语义指示信息用于指示至少一条预设语音与该预设语音的语义之间的映射关系；
确定所述远场语音数据包含的各条待识别语音；
针对每条待识别语音，分别在所述用户的客制化数据库中查找是否存在与所述待识别语音一致的预设语音，如果存在，则根据所述语义指示信息确定所述待识别语音的语义。
2.根据权利要求1所述的基于声纹识别的语音识别方法，其特征在于，确定用户的远场语音数据包括：
采集用户的初始远场语音数据；
对所述初始远场语音数据进行数据处理，以得到所述远场语音数据。
3.根据权利要求2所述的基于声纹识别的语音识别方法，其特征在于，所述采集用户的初始远场语音数据包括：
采用远场麦克风阵列远距离采集用户的语音数据，以得到所述用户的初始远场语音数据。
4.根据权利要求2所述的基于声纹识别的语音识别方法，其特征在于，对所述初始远场语音数据进行数据处理包括：
采用降噪算法和/或增强算法对所述初始远场语音数据进行数据处理，以得到所述远场语音数据。
5.根据权利要求4所述的基于声纹识别的语音识别方法，其特征在于，采用降噪算法和/或增强算法对所述初始远场语音数据进行数据处理选自以下一项或多项：
采用相位差降噪算法两位差对所述初始远场语音数据进行数据处理；
采用多MIC高保真降噪算法对所述初始远场语音数据进行数据处理；
采用多麦克远场增强算法对所述初始远场语音数据进行数据处理。
6.根据权利要求4所述的基于声纹识别的语音识别方法，其特征在于，所述降噪算法和/或增强算法包含两种或两种以上算法；
在采用降噪算法和/或增强算法对所述初始远场语音数据进行数据处理后，还包括：
对分别采用所述两种或两种以上算法处理后的数据进行数据合成。
7.根据权利要求1所述的基于声纹识别的语音识别方法，其特征在于，还包括：
如果不存在与所述待识别语音一致的预设语音，则在确定所述待识别语音的语义后，对所述用户的客制化数据库进行更新，以增加所述待识别语音的语义指示信息。
8.一种基于声纹识别的语音识别装置，其特征在于，包括：
数据确定模块，用于确定用户的远场语音数据；
声纹识别模块，用于对所述远场语音数据进行声纹识别，以得到所述用户的声纹信息；
数据块选择模块，用于根据所述声纹信息，从多个客制化数据库中选择所述用户的客制化数据库，其中，每位用户有各自的客制化数据库，每个客制化数据库包含对应用户的声纹信息以及一条或多条语义指示信息，每条语义指示信息用于指示至少一条预设语音与该预设语音的语义之间的映射关系；
语音确定模块，用于确定所述远场语音数据包含的各条待识别语音；
语义确定模块，用于针对每条待识别语音，分别在所述用户的客制化数据库中查找是否存在与所述待识别语音一致的预设语音，如果存在，则根据所述语义指示信息确定所述待识别语音的语义。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至7任一项所述基于声纹识别的语音识别方法的步骤。
10.一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至7任一项所述基于声纹识别的语音识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011478575.6A CN112599136A (zh) | 2020-12-15 | 2020-12-15 | 基于声纹识别的语音识别方法及装置、存储介质、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011478575.6A CN112599136A (zh) | 2020-12-15 | 2020-12-15 | 基于声纹识别的语音识别方法及装置、存储介质、终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112599136A true CN112599136A (zh) | 2021-04-02 |
Family
ID=75196061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011478575.6A Pending CN112599136A (zh) | 2020-12-15 | 2020-12-15 | 基于声纹识别的语音识别方法及装置、存储介质、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112599136A (zh) |
Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006036490A1 (en) * | 2004-09-28 | 2006-04-06 | Clarity Technologies, Inc. | Method of cascading noise reduction algorithms to avoid speech distortion |
| CN101777349A (zh) * | 2009-12-08 | 2010-07-14 | 中国科学院自动化研究所 | 基于听觉感知特性的信号子空间麦克风阵列语音增强方法 |
| CN102385619A (zh) * | 2011-10-19 | 2012-03-21 | 百度在线网络技术（北京）有限公司 | 一种根据语音输入信息提供访问建议的方法与设备 |
| US20120148069A1 (en) * | 2010-12-14 | 2012-06-14 | National Chiao Tung University | Microphone array structure able to reduce noise and improve speech quality and method thereof |
| CN103187053A (zh) * | 2011-12-31 | 2013-07-03 | 联想(北京)有限公司 | 输入方法和电子设备 |
| CN103730120A (zh) * | 2013-12-27 | 2014-04-16 | 深圳市亚略特生物识别科技有限公司 | 电子设备的语音控制方法及系统 |
| CN104778946A (zh) * | 2014-01-10 | 2015-07-15 | 中国电信股份有限公司 | 语音控制方法和系统 |
| CN105741849A (zh) * | 2016-03-06 | 2016-07-06 | 北京工业大学 | 数字助听器中融合相位估计与人耳听觉特性的语音增强方法 |
| CN105788607A (zh) * | 2016-05-20 | 2016-07-20 | 中国科学技术大学 | 应用于双麦克风阵列的语音增强方法 |
| CN105810200A (zh) * | 2016-02-04 | 2016-07-27 | 深圳前海勇艺达机器人有限公司 | 基于声纹识别的人机对话装置及其方法 |
| CN107017003A (zh) * | 2017-06-02 | 2017-08-04 | 厦门大学 | 一种麦克风阵列远场语音增强装置 |
| CN108447471A (zh) * | 2017-02-15 | 2018-08-24 | 腾讯科技（深圳）有限公司 | 语音识别方法及语音识别装置 |
| EP3396666A1 (en) * | 2017-04-28 | 2018-10-31 | Samsung Electronics Co., Ltd. | Electronic device for providing speech recognition service and method thereof |
| CN108766454A (zh) * | 2018-06-28 | 2018-11-06 | 浙江飞歌电子科技有限公司 | 一种语音噪声抑制方法及装置 |
| CN108922515A (zh) * | 2018-05-31 | 2018-11-30 | 平安科技（深圳）有限公司 | 语音模型训练方法、语音识别方法、装置、设备及介质 |
| CN109086455A (zh) * | 2018-08-30 | 2018-12-25 | 广东小天才科技有限公司 | 一种语音识别库的构建方法及学习设备 |
| CN109559742A (zh) * | 2018-11-07 | 2019-04-02 | 深圳市艾特智能科技有限公司 | 语音控制方法、系统、存储介质及计算机设备 |
| CN110473534A (zh) * | 2019-07-12 | 2019-11-19 | 南京邮电大学 | 一种基于深度神经网络的老年人看护对话系统 |
| US20190355377A1 (en) * | 2018-05-21 | 2019-11-21 | International Business Machines Corporation | Real-time assessment of call quality |
| CN110544486A (zh) * | 2019-09-02 | 2019-12-06 | 上海其高电子科技有限公司 | 基于麦克风阵列的语音增强方法及系统 |
| CN110858485A (zh) * | 2018-08-23 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 语音增强方法、装置、设备及存储介质 |
| WO2020231181A1 (en) * | 2019-05-16 | 2020-11-19 | Samsung Electronics Co., Ltd. | Method and device for providing voice recognition service |
-
2020
- 2020-12-15 CN CN202011478575.6A patent/CN112599136A/zh active Pending
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006036490A1 (en) * | 2004-09-28 | 2006-04-06 | Clarity Technologies, Inc. | Method of cascading noise reduction algorithms to avoid speech distortion |
| CN101777349A (zh) * | 2009-12-08 | 2010-07-14 | 中国科学院自动化研究所 | 基于听觉感知特性的信号子空间麦克风阵列语音增强方法 |
| US20120148069A1 (en) * | 2010-12-14 | 2012-06-14 | National Chiao Tung University | Microphone array structure able to reduce noise and improve speech quality and method thereof |
| CN102385619A (zh) * | 2011-10-19 | 2012-03-21 | 百度在线网络技术（北京）有限公司 | 一种根据语音输入信息提供访问建议的方法与设备 |
| CN103187053A (zh) * | 2011-12-31 | 2013-07-03 | 联想(北京)有限公司 | 输入方法和电子设备 |
| CN103730120A (zh) * | 2013-12-27 | 2014-04-16 | 深圳市亚略特生物识别科技有限公司 | 电子设备的语音控制方法及系统 |
| CN104778946A (zh) * | 2014-01-10 | 2015-07-15 | 中国电信股份有限公司 | 语音控制方法和系统 |
| CN105810200A (zh) * | 2016-02-04 | 2016-07-27 | 深圳前海勇艺达机器人有限公司 | 基于声纹识别的人机对话装置及其方法 |
| CN105741849A (zh) * | 2016-03-06 | 2016-07-06 | 北京工业大学 | 数字助听器中融合相位估计与人耳听觉特性的语音增强方法 |
| CN105788607A (zh) * | 2016-05-20 | 2016-07-20 | 中国科学技术大学 | 应用于双麦克风阵列的语音增强方法 |
| CN108447471A (zh) * | 2017-02-15 | 2018-08-24 | 腾讯科技（深圳）有限公司 | 语音识别方法及语音识别装置 |
| EP3396666A1 (en) * | 2017-04-28 | 2018-10-31 | Samsung Electronics Co., Ltd. | Electronic device for providing speech recognition service and method thereof |
| CN107017003A (zh) * | 2017-06-02 | 2017-08-04 | 厦门大学 | 一种麦克风阵列远场语音增强装置 |
| US20190355377A1 (en) * | 2018-05-21 | 2019-11-21 | International Business Machines Corporation | Real-time assessment of call quality |
| CN108922515A (zh) * | 2018-05-31 | 2018-11-30 | 平安科技（深圳）有限公司 | 语音模型训练方法、语音识别方法、装置、设备及介质 |
| CN108766454A (zh) * | 2018-06-28 | 2018-11-06 | 浙江飞歌电子科技有限公司 | 一种语音噪声抑制方法及装置 |
| CN110858485A (zh) * | 2018-08-23 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 语音增强方法、装置、设备及存储介质 |
| CN109086455A (zh) * | 2018-08-30 | 2018-12-25 | 广东小天才科技有限公司 | 一种语音识别库的构建方法及学习设备 |
| CN109559742A (zh) * | 2018-11-07 | 2019-04-02 | 深圳市艾特智能科技有限公司 | 语音控制方法、系统、存储介质及计算机设备 |
| WO2020231181A1 (en) * | 2019-05-16 | 2020-11-19 | Samsung Electronics Co., Ltd. | Method and device for providing voice recognition service |
| CN110473534A (zh) * | 2019-07-12 | 2019-11-19 | 南京邮电大学 | 一种基于深度神经网络的老年人看护对话系统 |
| CN110544486A (zh) * | 2019-09-02 | 2019-12-06 | 上海其高电子科技有限公司 | 基于麦克风阵列的语音增强方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 张涛: "《机器人概论》", vol. 1, 31 January 2020, 机械工业出版社, pages: 24 * |
| 马晓红;李瑞;殷福亮;: "基于信号相位差和后置滤波的语音增强方法", 电子学报, no. 09, 15 September 2009 (2009-09-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110600017B (zh) | 语音处理模型的训练方法、语音识别方法、系统及装置 | |
| CN109841226B (zh) | 一种基于卷积递归神经网络的单通道实时降噪方法 | |
| US10679612B2 (en) | Speech recognizing method and apparatus | |
| US9536540B2 (en) | Speech signal separation and synthesis based on auditory scene analysis and speech modeling | |
| Shah et al. | Time-frequency mask-based speech enhancement using convolutional generative adversarial network | |
| WO2019100500A1 (zh) | 语音信号降噪方法及设备 | |
| KR20220062598A (ko) | 오디오 신호 생성을 위한 시스템 및 방법 | |
| CN111868823B (zh) | 一种声源分离方法、装置及设备 | |
| CN109147798B (zh) | 语音识别方法、装置、电子设备及可读存储介质 | |
| CN110992967A (zh) | 一种语音信号处理方法、装置、助听器及存储介质 | |
| Poorjam et al. | Dominant distortion classification for pre-processing of vowels in remote biomedical voice analysis | |
| CN113205803A (zh) | 一种具有自适应降噪能力的语音识别方法及装置 | |
| Baby et al. | Biophysically-inspired features improve the generalizability of neural network-based speech enhancement systems | |
| Poorjam et al. | A parametric approach for classification of distortions in pathological voices | |
| JP6843701B2 (ja) | 音響信号処理のパラメータ予測装置及びパラメータ予測方法 | |
| Sehgal et al. | Utilization of two microphones for real-time low-latency audio smartphone apps | |
| CN112599136A (zh) | 基于声纹识别的语音识别方法及装置、存储介质、终端 | |
| TW202244898A (zh) | 用於音訊信號產生的系統和方法 | |
| CN112118511A (zh) | 耳机降噪方法、装置、耳机及计算机可读存储介质 | |
| Huq et al. | Speech enhancement using generative adversarial network (GAN) | |
| CN112397087A (zh) | 共振峰包络估计、语音处理方法及装置、存储介质、终端 | |
| Baby et al. | Machines hear better when they have ears | |
| CN115985347B (zh) | 基于深度学习的语音端点检测方法、装置和计算机设备 | |
| CN117334198B (zh) | 语音信号处理方法、装置、电子设备和计算机可读介质 | |
| CN115376494B (zh) | 一种语音检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |