CN111145751A - 音频信号处理方法、装置以及电子设备 - Google Patents
音频信号处理方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN111145751A CN111145751A CN201911418872.9A CN201911418872A CN111145751A CN 111145751 A CN111145751 A CN 111145751A CN 201911418872 A CN201911418872 A CN 201911418872A CN 111145751 A CN111145751 A CN 111145751A
- Authority
- CN
- China
- Prior art keywords
- audio
- thread
- voice
- processing
- audio information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 135
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 133
- 230000006870 function Effects 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000000694 effects Effects 0.000 claims abstract description 25
- 230000003993 interaction Effects 0.000 claims abstract description 20
- 230000005540 biological transmission Effects 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 15
- 239000000126 substance Substances 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 30
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 22
- 230000002452 interceptive effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 108091026890 Coding region Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/34—Adaptation of a single recogniser for parallel processing, e.g. by use of multiple processors or cloud computing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
- G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
Abstract
本申请公开了一种音频信号处理方法、装置以及电子设备，涉及语音处理领域。具体实现方案为：利用多个线程处理音频信号，得到各线程对应的音频信息，每个线程对应一个音频功能；将各线程对应的音频信息发送至各音频功能对应的应用程序中进行处理。利用多线程同时处理音频信号，可以并行执行多种音频功能，有利于提高在多种应用场景中的语音信号处理效果，进而提升了用户体验。在通话功能和语音交互功能同时启动情况下，可以提高用户在通话过程中的通话质量，并且提高语音识别率。
Description
技术领域
本申请涉及一种人工智能领域，尤其涉及语音处理领域。
背景技术
随着语音识别技术的发展，越来越多的硬件设备上不仅具备通讯功能，还具备语音交互功能。例如智能手机、车载装置、智能家电等。无论是语音交互功能或是通讯功能，硬件设备都需要对语音信号或通讯信号进行处理，达到降低降噪音，减少回声等效果。然而，目前的信号处理方式对各种交互语音或电话的通话进行处理后，噪音较大，语音识别和通话质量较差，硬件设备功耗较大。
发明内容
本申请实施例提供一种音频信号处理方法、装置以及电子设备，以解决现有技术中的一个或多个技术问题。
第一方面，本申请实施方式提供了一种音频信号处理方法，包括：
利用多个线程处理音频信号，得到各线程对应的音频信息，每个线程对应一个音频功能；
将各线程对应的音频信息发送至各音频功能对应的应用程序中进行处理。
本实施方式中，利用多线程同时处理音频信号，可以并行执行多种音频功能，有利于提高在多种应用场景中的语音信号处理效果，进而提升了用户体验。在通话功能和语音交互功能同时启动情况下，可以提高用户在通话过程中的通话质量，并且提高语音识别率，避免了只用一个线程对各种场景下接收的音频信号进行处理，或者在各种应用场景切换时，无法及时针对每个场景中的音频信号进行处理，导致用户在通话过程中噪音、回声较大，语音识别率较差等技术问题，最终导致用户体验较差。
在一种实施方式中，利用多个线程处理音频信号，得到各线程对应的音频信息，包括以下至少两种：
利用第一线程对音频信号执行语音识别信号处理算法，得到第一音频信息；
利用第二线程对音频信号执行通话语音信号处理算法，得到第二音频信息；
利用第三线程对音频信号执行唤醒语音信号处理算法，得到第三音频信息。
在本实施方式中，第一线程、第二线程以及第三线程中的至少两个处于运行状态，多线程同时处理音频信号，可以达到滤除不相干的非语音信号，提高信噪比，消除回声、混响等效果，提高用户的通话质量，和语音识别的识别率。
在一种实施方式中，将各线程对应的音频信息发送至各音频功能对应的应用程序中进行处理，包括：
将各线程对应的音频信息分别通过对应的传输接口发送至各音频功能对应的应用程序中进行处理。
在本实施方式中，通过在数字信号处理器上开设多个传输接口，使得各线程对应的音频信息能够通过对应的传输接口发送至控制器中，提高了信息传输效率，进而提高音频信号的处理效率。还避免了数字信号处理器和控制器之间通过控制信号确定需要传输的哪一个线程对应的音频信息，导致控制器的逻辑设计复杂的技术问题，有效简化了控制器的逻辑设计。
在一种实施方式中，音频功能包括语音交互功能、语音通话功能和语音唤醒功能中的至少两个。
在一种实施方式中，还包括：
对音频信号进行回声消除处理或语音活动检测。
在本实施方式中，通过对音频信号进行回声消除处理，提高信噪比，再进一步提高音频信号的语音识别率等。语音活性检测可以对音频信号中的唤醒词进行检测，提升了语音识别率。
在本实施方式中，提高音频信号的信噪比，以及语音识别率。
第二方面，本申请实施方式提供了一种音频信号处理装置，包括：
多线程处理模块，用于利用多个线程处理音频信号，得到各线程对应的音频信息，每个线程对应一个音频功能；
音频信息发送模块，用于将各线程对应的音频信息发送至各音频功能对应的应用程序中进行处理。
在一种实施方式中，多线程处理模块包括以下至少两种：
第一处理子模块，用于利用第一线程对音频信号执行语音识别信号处理算法，得到第一音频信息；
第二处理子模块，用于利用第二线程对音频信号执行通话语音信号处理算法，得到第二音频信息；
第三处理子模块，用于利用第三线程对音频信号执行唤醒语音信号处理算法，得到第三音频信息。
在一种实施方式中，音频信息发送模块包括：
音频信息发送子模块，用于将各线程对应的音频信息分别通过对应的传输接口发送至各音频功能对应的应用程序中进行处理。
在一种实施方式中，音频功能包括语音交互功能、语音通话功能和语音唤醒功能中的至少两个。
在一种实施方式中，还包括：
回声消除模块，用于对音频信号进行回声消除处理；
语音活动检测模块，用于对音频信号进行语音活动检测。
第三方面，本申请实施方式提供了一种电子设备，电子设备的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，电子设备的结构中包括处理器和存储器，存储器用于存储支持电子设备执行上述音频信号处理方法的程序，处理器被配置为用于执行存储器中存储的程序。电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
第四方面，本申请实施方式提供了一种存储有计算机指令的非瞬时计算机可读存储介质，用于存储电子设备及电子设备所用的计算机软件指令，其包括用于执行上述音频信号处理方法所涉及的程序。
上述申请中的一个实施例具有如下优点或有益效果：因为采用多线程同时处理音频信号，可以并行执行多种音频功能的技术手段，所以克服了在复杂场景中，在通话过程中的通话质量差，语音识别率低的技术问题，进而达到在复杂场景中，提高用户在通话过程中的通话质量，提高语音识别率的技术效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请一实施例提供的音频信号处理方法的示意图；
图2是根据本申请另一实施例提供的音频信号处理方法的示意图；
图3是根据本申请一实施例提供的音频信号处理方法场景图；
图4是根据本申请另一实施例提供的音频信号处理方法场景图；
图5是根据本申请一实施例提供的音频信号处理装置的结构框图；
图6是根据本申请另一实施例提供的音频信号处理装置的结构框图；
图7是用来实现本申请实施例的音频信号处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请实施例提供一种音频信号处理方法，图1为本申请的一种音频信号处理方法流程图，包括：
步骤S10：利用多个线程处理音频信号，得到各线程对应的音频信息，每个线程对应一个音频功能；
步骤S20：将各线程对应的音频信息发送至各音频功能对应的应用程序中进行处理。
在一种示例中，音频信号是麦克风阵列拾取声音，并对声音进行处理例如模数转换后输出的信号。麦克风阵列可以应用于多种应用场景，例如，麦克风阵列可以设置于手机、固定电话等多种通讯设备中。还可以设置于智能家电或智能车载装置等多种语音交互智能设备中，例如，智能音箱、智能电视、智能空调等智能家居，以及车载音箱、智能导航仪等。还可以设置于话筒等播放扩音设备中。
前述不同的应用场景中，麦克风阵列可以将输出的音频信号发送给ADC(模数转换器，Analog-to-Digital Converter)。模数转换器将模拟信号转换为数字信号，并将数字信号发送至数字信号处理器。数字信号处理器可以包括(DSP，Digital Signal Processing)或ASIC芯片(专用集成电路，Application Specific Integrated Circuit)等。
数字信号处理器中集成了多个线程。多线程是指从软件或者硬件上实现多个线程并发执行的技术，具有多线程能力的硬件设备能够在同一时间执行多于一个线程，进而提升整体处理性能。每个线程可以对应一个音频功能。音频功能可以是指利用信号处理算法对音频信号进行处理的功能。信号处理算法可以包括语音识别信号处理算法、通话语音信号处理算法以及唤醒语音信号处理算法等。数字信号处理器上电后，多个线程可以同时运行，并行处理音频信号，得到各线程对应的音频信息。
在通讯的应用场景中，用户在通话过程中的听觉感受很重要。为了不影响通话质量，通话过程中对消除回声的要求很高，需要尽量做到没有回声残留。在语音识别的应用场景中，对消除回声没有很苛刻，允许声音发生变形，但是对语音的识别要求较高。在演唱会、主持各种商业会议、联欢晚会等应用场景中，对降噪和消除回声的要求都很高。前述几种场景下，利用多个线程同时对各个应用场景的音频信号进行处理，达到对音频信号进行降噪，提高音频信号的信噪比，消除回声、混响，防叫啸，提高语音的识别率等技术效果。处理后，得到各线程对应的音频信息。
各个不同的应用场景可能发生交叉。例如，在用户对智能硬件设备发送语音时，突然有电话接入，用户接听电话并进行正常通话的复杂场景中，数字信号处理器先后接收了语音场景中的音频信号和通话场景中的音频信号。又如，在用户在打电话过程中，利用语音控制通话音量的大小，或者利用语音挂断电话的复杂场景中，数字信号处理器先后接收了通话场景中的音频信号和语音场景中的音频信号。又如，在用户在通话过程中，有另外的电话打进来，利用语音控制新的电话接入，之后进入电话会议的复杂场景中，数字信号处理器先后接收了第一次通话场景中的音频信号、语音场景中的音频信号，第二次通过场景中的音频信号。数字信号处理器也可以利用多个线程同时对复杂场景的音频信号进行处理，得到各线程对应的音频信息。达到对音频信号进行降噪，提高音频信号的信噪比，消除回声、混响，防叫啸，提高语音的识别率等技术效果。
数字信号处理器上可以设置多个传输接口，相应的，控制器上也设置有多个传输接口，控制器上的传输接口与数字信号处理器上的传输接口一一对应。每个传输接口与一个线程对应的音频信息具有对应关系，可以将各个线程对应的音频信息，通过对应的传输接口发送至控制器。控制器中设置有多种应用程序，控制器上的每个传输接口输出的音频信息，发送至对应的应用程序中进行处理。或者，还可以将各线程对应的音频信息合成一路信息，通过一个传输接口发送至控制器。
控制器中可以包括多种应用程序。应用程序可以包括语音识别SDK(软件开发工具包，Software Development Kit)、通信应用程序等。控制器利用语音识别SDK将第一个传输接口获取的音频信息，上传给云端语音识别服务器。语音识别服务器根据音频信息进行识别，例如，可以对语音交互的内容等进行识别。控制器还可以利用通信应用程序将从第二个传输接口获取的音频信息进行降采样压缩编码，得到编码序列，将编码序列发送网络交换机，进一步发送至对方通信终端解码器中进行解码，完成一次通话。
本实施方式中，利用多线程同时处理音频信号，可以并行执行多种音频功能，有利于提高在多种应用场景中的语音信号处理效果，进而提升用户体验。在通话功能和语音交互功能同时启动情况下，可以提高用户在通话过程中的通话质量，并且提高语音识别率，避免了只用一个线程对各种场景下接收的音频信号进行处理，或者在各种应用场景切换时，无法及时针对每个场景中的音频信号进行处理，导致用户在通话过程中噪音、回声较大，语音识别率较差等技术问题，最终导致用户体验较差。
在一种实施方式中，如图2所示，利用各线程执行音频信号，得到各线程对应的多个音频信息，包括以下至少两种：
步骤S101：利用第一线程对音频信号执行语音识别信号处理算法，得到第一音频信息；
步骤S102：利用第二线程对音频信号执行通话语音信号处理算法，得到第二音频信息；
步骤S103：利用第三线程对音频信号执行唤醒语音信号处理算法，得到第三音频信息。
在一种示例中，在智能硬件设备上电后，数字信号处理器处于工作模式，可以设置第一线程、第二线程以及第三线程中的至少两个处于运行状态，多线程同时处理音频信号。
语音识别的目的是将语音信号转化为文本。在开放性的真实环境中，语音识别需要结合音频信号处理来优化。第一线程执行的语音识别信号处理算法可以包括立体声回声消除算法，波束成形算法，盲源分离算法，去混响算法，动态范围控制算法，信号放大算法等。利用语音识别信号处理算法对音频信号进行处理，可以达到滤除不相干的非语音信号，提高信噪比，消除回声、混响等效果，提高语音识别的识别率。
第二线程执行的通话语音信号处理算法可以包括单麦麦克风回声消除算法，噪声抑制算法，去混响算法，动态范围控制算法，信号放大算法等。利用通话语音信号处理算法对音频信号进行处理，可以达到滤除不相干的非语音信号，提高信噪比，消除单麦麦克风的回声、混响等效果，提高用户的通话质量。
第三线程执行的唤醒语音信号处理算法可以包括噪声抑制算法，去混响算法，动态范围控制算法，信号放大算法等。利用唤醒语音信号处理算法对音频信号进行处理，可以达到滤除不相干的非语音信号，提高信噪比，消除麦克风的回声、混响等效果，提高唤醒语音的识别率。除此之外，将唤醒语音信号处理算法集成在数字信号处理器中，使得降噪等运算过程并不在控制器中，而是在数字信号处理器中。因此，可使用低运算量低成本的控制器，降低智能硬件设备的整体成本。控制器处于待机模式。在规定的时间段内无语音交互或通讯后，控制器再次进入待机模式。降低智能硬件主处理器的功耗，延长智能硬件寿命。
需要指出的是，数字信号处理器集成的算法包括但不限于唤醒语音信号处理算法、通话语音信号处理算法以及语音识别信号处理算法，还可以集成其它类型的信号处理算法。相应的，数字信号处理器中集成的线程也包括但不限于第一线程、第二线程以及第三线程。例如，数字信号处理器还可以集成播放语音信号处理算法，利用第四线程对音频信号执行播放语音信号处理算法，得到第四音频信息。将第四音频信息发送至对应的应用程序中进行处理。第四线程可以和第一线程、第二线程、第三线程同时并行执行，或者，第四线程可以和第一线程、第二线程、第三线程中的任意一个、两个或三个同时并行执行。线程的数量可以根据不同的应用场景做适应性调整，在本申请中不做具体限定。
在一种实施方式中，如图2所示，步骤S20，包括：
步骤S201：将各线程对应的音频信息分别通过对应的传输接口发送至各音频功能对应的应用程序中进行处理。
在一种示例中，在实际情况中，可以在数字信号处理器上开设多个传输接口，对各线程对应的音频信号同时传输至控制器中。例如，第一音频信息匹配第一传输接口，对第二音频信息匹配第二传输接口，对第三音频信息匹配对应的第三传输接口等，这些音频信息可以从各自的传输接口中同时发送至控制器中，有效提高信号传输效率。
此外，还可以利用一个传输接口传输所有音频信息。传输接口可以是可传输多路数据的接口，例如，SPI(串行外设接口，Serial Peripheral Interface)或者TDM(时分复用，Time-division multiplexing)。数字信号处理器可以将所有的音频信息合成一路总的音频信息，通过一个传输接口发送至控制器中。在控制器中将一路总的音频信息分拆成多路信息，分别利用各应用程序执行对应的音频任务，得到信号处理结果。
本实施方式中，传输接口的数量也可以进行适应性的调整，在本申请中不做具体限定。
本实施方式中，通过在数字信号处理器上开设多个传输接口，使得各线程对应的音频信息能够通过对应的传输接口发送至控制器中，提高了信息传输效率，进而提高音频信号的处理效率。还避免了数字信号处理器和控制器之间通过控制信号确定需要传输的哪一个线程对应的音频信息，导致控制器的逻辑设计复杂的技术问题，有效简化了控制器的逻辑设计。
在一种实施方式中，音频功能包括语音交互功能、语音通话功能和语音唤醒功能中的至少两个。
在一种示例中，音频功能包括但不限于语音交互功能、语音通话功能和语音唤醒功能，还可以包括语音播放功能。数字信号处理器还可以集成播放语音信号处理算法，利用第四线程对音频信号执行播放语音信号处理算法，得到第四音频信息。
在一种实施方式中，在步骤10之前，方法还包括：
对音频信号进行回声消除处理或语音活动检测。
在一种示例中，先对音频信号进行回声消除处理，再利用第一线程对处理后的音频信号执行语音识别信号处理算法，得到第一音频信息处理后的信号。并且，利用第二线程对处理后的音频信号执行通话语音信号处理算法，得到第二音频信息。
在一种示例中，先对音频信号进行语音活动检测，再利用第三线程对检测后的信号执行唤醒语音信号处理算法，得到第三音频信息。
通过对音频信号进行回声消除处理，提高信噪比，再进一步提高音频信号的语音识别率等。语音活性检测(Voice activity detection，VAD)，是一项用于语音处理的技术，目的是检测语音信号是否存在。VAD技术主要用于语音识别。它可以简化语音处理，也可用于在音频会话期间去除非语音片段，可以在电话应用中避免对静音数据包的编码和传输，节省计算时间和带宽。语音活性检测可以对音频信号中的唤醒词进行检测，提升了语音识别率。
在一种具体的实施方式中，如图3和图4所示，一种智能硬件设备包括：麦克风阵列、ADC(模数转换器)、DSP(数字信号处理器)、控制器、功率放大器以及播放器(喇叭)等。DSP中包括VAD(语音活动检测，Voice Activity Detection)和AEC(声学回声消除，Acoustic Echo Cancellation)。
多线程优化通讯与语音识别的流程如下：
在智能硬件设备上电后，控制器进入待机模式，DSP处于工作的模式，DSP中的唤醒语音信号处理算法、通话语音信号处理算法以及语音识别信号处理算法启动运行，可以随时处理音频信号。
麦克风阵列获取用户发送的唤醒语音，麦克风阵列可以对唤醒语音中的唤醒词进行识别。唤醒语音经过ADC的处理，得到唤醒语音对应的音频信号。ADC将唤醒语音对应的音频信号发送至DSP中。在DSP中，通过VAD对唤醒语音对应的音频信号中是否存在唤醒词进行检测，然后启动第三线程，利用低功耗的前端语音信号处理算法(例如，唤醒语音信号处理算法)，对检测后得到的音频信号进行处理，得到一组音频信息。然后，唤醒识别引擎根据这一组音频信息生成触发信息，根据触发信息唤醒GPIO(通用输入输出接口，General-purpose input/output)，将触发信息发送至控制器，使得控制器进入正常工作模式。在DSP中，唤醒语音对应的音频信号通过VAD的同时，还可以通过AEC进行处理，之后，启动第三线程的同时，还可以启动第一线程和第二线程，分别利用基于远场的前端通讯信号处理算法和基于远场的前端语音信号处理算法对经过AEC处理后的音频信号进行处理，得到另外的两组音频信息。
麦克风阵列获取用户发送的交互语音，交互语音经过ADC的处理，得到交互语音对应的音频信号。ADC对交互语音对应的音频信号发送至DSP中。在DSP中，AEC结合回声参考信号，将交互语音对应的音频信号进行回声消除，然后启动第二线程，利用基于远场的前端语音信号处理算法(例如，语音识别信号算法)，对回声消除后的音频信号进行处理，得到一组音频信息。然后，将这一组音频信息通过I2S(集成电路内置音频总线，Inter-IC Sound)接口或SPI(串行外设接口，Serial Peripheral Interface)接口传输到控制器中，这一组音频信息可以触发语音识别引擎，对交互语音进行识别，并将识别后的音频信息发送至云端语音识别服务器，进行语音交互应用。在DSP中，交互语音对应的音频信号通过VAD的同时，还可以通过VAD进行处理，启动第二线程的同时，还可以启动第一线程，进行相应的处理。将交互语音对应的音频信号进行回声消除之后，启动第二线程的同时，还可以启动第三线程，进行相应的处理。
当有通话呼入时，接通电话后，麦克风阵列获取通话语音。通话语音经过ADC的处理，得到通话语音对应的音频信号。ADC将通话语音对应的音频信号发送至DSP中。在DSP中，AEC结合回声参考信号，将通话语音对应的音频信号进行回声消除，然后启动第一线程，利用基于远场的前端通讯信号处理算法(例如，通话语音信号处理算法)，对回声消除后的音频信号进行处理，得到一组音频信息。然后，将这一组音频信息通过I2S接口传输到控制器中，进行通讯应用。通讯应用的过程中或完成后，用户可直接通过语音控制电话挂断或是通过语音调节音量等。在规定的时间段内，没有语音交互或通讯后，控制器进行待机模式，能够节省功耗。在DSP中，通话语音对应的音频信号通过AEC的同时，还可以通过VAD进行处理，之后，启动第一线程的同时，还可以启动第三线程，进行相应的处理。将交互语音对应的音频信号进行回声消除之后，启动第一线程的同时，还可以启动第三线程，进行相应的处理。
图4中的复位信号是当检测到数字信号处理器发生异常时，对其进行升级等处理。回采信号是做回声消除处理时的回声参考信号。
如图5所示，本申请实施方式提供了一种音频信号处理装置100，装置包括：
多线程处理模块110，用于利用多个线程处理音频信号，得到各线程对应的音频信息，每个线程对应一个音频功能；
音频信息发送模块120，用于将各线程对应的音频信息发送至各音频功能对应的应用程序中进行处理。
在一种实施方式中，如图6所示，本申请实施方式提供了一种音频信号处理装置200，多线程处理模块110，包括：
第一处理子模块111，用于利用第一线程对音频信号执行语音识别信号处理算法，得到第一音频信息；
第二处理子模块112，用于利用第二线程对音频信号执行通话语音信号处理算法，得到第二音频信息；
第三处理子模块113，用于利用第三线程对音频信号执行唤醒语音信号处理算法，得到第三音频信息。
在一种实施方式中，音频信息发送模块120包括：
音频信息发送子模块121，用于将各线程对应的音频信息分别通过对应的传输接口发送至各音频功能对应的应用程序中进行处理。
在一种实施方式中，音频功能包括语音交互功能、语音通话功能和语音唤醒功能中的至少两个。
在一种实施方式中，还包括：
回声消除模块101，用于对音频信号进行回声消除处理；
语音活动检测模块102，用于对音频信号进行语音活动检测。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图7所示，是根据本申请实施例的音频信号处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的音频信号处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的音频信号处理方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的音频信号处理方法对应的程序指令/模块(例如，附图5所示的多线程处理模块110、音频信息发送模块120)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的音频信号处理方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据音频信号处理方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至音频信号处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
音频信号处理方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与音频信号处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Cr7stal Displa7，LCD)、发光二极管(Light EmittingDiode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuits，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode Ray Tube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，利用多线程同时处理音频信号，有效提高了用户在通话过程中的通话质量，提高了语音识别率，进而提升了用户体验。避免了只用一个线程对各种场景下接收的音频信号进行处理，或者在各种应用场景切换时，无法及时针对每个场景中的音频信号进行处理，导致用户在通话过程中噪音、回声较大，语音识别率较差等技术问题，最终导致用户体验较差。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (12)
1.一种音频信号处理方法，其特征在于，包括：
利用多个线程处理音频信号，得到各所述线程对应的音频信息，每个线程对应一个音频功能；
将各所述线程对应的音频信息发送至各所述音频功能对应的应用程序中进行处理。
2.根据权利要求1所述的方法，其特征在于，利用多个线程处理音频信号，得到各所述线程对应的音频信息，包括以下至少两种：
利用第一线程对所述音频信号执行语音识别信号处理算法，得到第一音频信息；
利用第二线程对所述音频信号执行通话语音信号处理算法，得到第二音频信息；
利用第三线程对所述音频信号执行唤醒语音信号处理算法，得到第三音频信息。
3.根据权利要求1所述的方法，其特征在于，将各所述线程对应的音频信息发送至各所述音频功能对应的应用程序中进行处理，包括：
将各所述线程对应的音频信息分别通过对应的传输接口发送至各所述音频功能对应的应用程序中进行处理。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述音频功能包括语音交互功能、语音通话功能和语音唤醒功能中的至少两个。
5.根据权利要求1至3中任一项所述的方法，其特征在于，还包括：
对所述音频信号进行回声消除处理或语音活动检测。
6.一种音频信号处理装置，其特征在于，包括：
多线程处理模块，用于利用多个线程处理音频信号，得到各所述线程对应的音频信息，每个线程对应一个音频功能；
音频信息发送模块，用于将各所述线程对应的音频信息发送至各所述音频功能对应的应用程序中进行处理。
7.根据权利要求6所述的装置，其特征在于，所述多线程处理模块包括以下至少两种：
第一处理子模块，用于利用第一线程对所述音频信号执行语音识别信号处理算法，得到第一音频信息；
第二处理子模块，用于利用第二线程对所述音频信号执行通话语音信号处理算法，得到第二音频信息；
第三处理子模块，用于利用第三线程对所述音频信号执行唤醒语音信号处理算法，得到第三音频信息。
8.根据权利要求6所述的装置，其特征在于，所述音频信息发送模块包括：
音频信息发送子模块，用于将各所述线程对应的音频信息分别通过对应的传输接口发送至各所述音频功能对应的应用程序中进行处理。
9.根据权利要求6至8中任一项所述的装置，其特征在于，所述音频功能包括语音交互功能、语音通话功能和语音唤醒功能中的至少两个。
10.根据权利要求6至8中任一项所述的装置，其特征在于，还包括：
回声消除模块，用于对所述音频信号进行回声消除处理；
语音活动检测模块，用于对所述音频信号进行语音活动检测。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911418872.9A CN111145751A (zh) | 2019-12-31 | 2019-12-31 | 音频信号处理方法、装置以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911418872.9A CN111145751A (zh) | 2019-12-31 | 2019-12-31 | 音频信号处理方法、装置以及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111145751A true CN111145751A (zh) | 2020-05-12 |
Family
ID=70523064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911418872.9A Pending CN111145751A (zh) | 2019-12-31 | 2019-12-31 | 音频信号处理方法、装置以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111145751A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111899732A (zh) * | 2020-06-17 | 2020-11-06 | 北京百度网讯科技有限公司 | 语音输入方法、装置及电子设备 |
| CN112750452A (zh) * | 2020-12-29 | 2021-05-04 | 北京字节跳动网络技术有限公司 | 语音处理方法、装置、系统、智能终端以及电子设备 |
| CN114063969A (zh) * | 2021-11-15 | 2022-02-18 | 阿波罗智联(北京)科技有限公司 | 音频数据处理方法、装置、设备、存储介质及程序产品 |
| CN114220447A (zh) * | 2021-12-13 | 2022-03-22 | 北京百度网讯科技有限公司 | 音频信号处理方法、装置、电子设备以及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100030483A (ko) * | 2008-09-10 | 2010-03-18 | 엘지전자 주식회사 | 다중 스레드를 이용한 음성 인식 장치 및 그 방법 |
| CN103456305A (zh) * | 2013-09-16 | 2013-12-18 | 东莞宇龙通信科技有限公司 | 终端和基于多个声音采集单元的语音处理方法 |
| CN105957519A (zh) * | 2016-06-30 | 2016-09-21 | 广东美的制冷设备有限公司 | 多区域同时进行语音控制的方法和系统、服务器及麦克风 |
| CN107945792A (zh) * | 2017-11-06 | 2018-04-20 | 百度在线网络技术（北京）有限公司 | 语音处理方法和装置 |
| CN108447484A (zh) * | 2017-02-16 | 2018-08-24 | 山东浪潮商用系统有限公司 | 机顶盒控制的方法和装置 |
| CN109448708A (zh) * | 2018-10-15 | 2019-03-08 | 四川长虹电器股份有限公司 | 远场语音唤醒系统 |
| CN109634692A (zh) * | 2018-10-23 | 2019-04-16 | 蔚来汽车有限公司 | 车载对话系统及用于其的处理方法和系统 |
-
2019
- 2019-12-31 CN CN201911418872.9A patent/CN111145751A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100030483A (ko) * | 2008-09-10 | 2010-03-18 | 엘지전자 주식회사 | 다중 스레드를 이용한 음성 인식 장치 및 그 방법 |
| CN103456305A (zh) * | 2013-09-16 | 2013-12-18 | 东莞宇龙通信科技有限公司 | 终端和基于多个声音采集单元的语音处理方法 |
| CN105957519A (zh) * | 2016-06-30 | 2016-09-21 | 广东美的制冷设备有限公司 | 多区域同时进行语音控制的方法和系统、服务器及麦克风 |
| CN108447484A (zh) * | 2017-02-16 | 2018-08-24 | 山东浪潮商用系统有限公司 | 机顶盒控制的方法和装置 |
| CN107945792A (zh) * | 2017-11-06 | 2018-04-20 | 百度在线网络技术（北京）有限公司 | 语音处理方法和装置 |
| CN109448708A (zh) * | 2018-10-15 | 2019-03-08 | 四川长虹电器股份有限公司 | 远场语音唤醒系统 |
| CN109634692A (zh) * | 2018-10-23 | 2019-04-16 | 蔚来汽车有限公司 | 车载对话系统及用于其的处理方法和系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111899732A (zh) * | 2020-06-17 | 2020-11-06 | 北京百度网讯科技有限公司 | 语音输入方法、装置及电子设备 |
| CN112750452A (zh) * | 2020-12-29 | 2021-05-04 | 北京字节跳动网络技术有限公司 | 语音处理方法、装置、系统、智能终端以及电子设备 |
| WO2022142984A1 (zh) * | 2020-12-29 | 2022-07-07 | 北京字节跳动网络技术有限公司 | 语音处理方法、装置、系统、智能终端以及电子设备 |
| EP4243019A4 (en) * | 2020-12-29 | 2024-03-27 | Beijing Bytedance Network Tech Co Ltd | VOICE PROCESSING METHOD, APPARATUS AND SYSTEM, INTELLIGENT TERMINAL AND ELECTRONIC DEVICE |
| CN114063969A (zh) * | 2021-11-15 | 2022-02-18 | 阿波罗智联(北京)科技有限公司 | 音频数据处理方法、装置、设备、存储介质及程序产品 |
| CN114220447A (zh) * | 2021-12-13 | 2022-03-22 | 北京百度网讯科技有限公司 | 音频信号处理方法、装置、电子设备以及存储介质 |
| CN114220447B (zh) * | 2021-12-13 | 2023-03-17 | 北京百度网讯科技有限公司 | 音频信号处理方法、装置、电子设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145751A (zh) | 音频信号处理方法、装置以及电子设备 | |
| US10431211B2 (en) | Directional processing of far-field audio | |
| US20200294523A1 (en) | System and Method for Network Bandwidth Management for Adjusting Audio Quality | |
| CN107134286A (zh) | 基于语音交互的无线音频播放方法、音乐播放器及存储介质 | |
| US10567314B1 (en) | Programmable intelligent agents for human-chatbot communication | |
| US9799329B1 (en) | Removing recurring environmental sounds | |
| CN112669831B (zh) | 语音识别控制方法、装置、电子设备和可读存储介质 | |
| CN103141076A (zh) | 回波控制优化 | |
| CN111128201A (zh) | 交互方法、装置、系统、电子设备及存储介质 | |
| CN111755002A (zh) | 语音识别装置、电子设备和语音识别方法 | |
| US20160227025A1 (en) | System and method of multiple voice call handling | |
| JP7133055B2 (ja) | 信号処理方法、装置、電子機器及びコンピュータプログラム製品 | |
| KR20210038278A (ko) | 음성 제어 방법, 장치, 전자 기기 및 판독 가능 저장 매체 | |
| US10062386B1 (en) | Signaling voice-controlled devices | |
| CN112382281B (zh) | 一种语音识别方法、装置、电子设备和可读存储介质 | |
| EP4243019A1 (en) | Voice processing method, apparatus and system, smart terminal and electronic device | |
| CN111383632B (zh) | 电子设备 | |
| CN108305631B (zh) | 一种基于多核模块化构架的声学处理设备 | |
| CN112037794A (zh) | 语音交互方法、装置、设备以及存储介质 | |
| CN114237545B (zh) | 一种音频输入方法、装置、电子设备及存储介质 | |
| CN114221940B (zh) | 音频数据处理方法、系统、装置、设备以及存储介质 | |
| CN110351690A (zh) | 一种智能语音系统及其语音处理方法 | |
| US20240118862A1 (en) | Computer system and processing method thereof of sound signal | |
| CN112770222A (zh) | 音频处理方法和装置 | |
| CN111785297A (zh) | 一种语音激励控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |