CN108597533A - 一种增强智能终端的语音输入信号的方法和系统 - Google Patents

一种增强智能终端的语音输入信号的方法和系统 Download PDF

Info

Publication number
CN108597533A
CN108597533A CN201810316048.1A CN201810316048A CN108597533A CN 108597533 A CN108597533 A CN 108597533A CN 201810316048 A CN201810316048 A CN 201810316048A CN 108597533 A CN108597533 A CN 108597533A
Authority
CN
China
Prior art keywords
voice signal
modified
system delay
delay
primary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810316048.1A
Other languages
English (en)
Other versions
CN108597533B (zh
Inventor
代金良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinwt Science & Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810316048.1A priority Critical patent/CN108597533B/zh
Publication of CN108597533A publication Critical patent/CN108597533A/zh
Application granted granted Critical
Publication of CN108597533B publication Critical patent/CN108597533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开了一种增强智能终端的语音输入信号的方法和系统。该方法包括：步骤一，获取智能终端上原生麦克风采集的第一语音信号及第一语音信号的第一系统延迟和智能终端外部麦克风采集的第二语音信号及第二语音信号的第二系统延迟；步骤二，基于第一系统延迟和第二系统延迟，计算修正的系统延迟，并基于修正的系统延迟确定修正的第一语音信号和第二语音信号；步骤三，对修正的第一语音信号和修正的第二语音信号进行语音信号增强，获得增强的语音信号。采用本发明的方法和系统，能有效屏蔽室外环境中干扰噪声强烈的问题，大大改善室外直播或通话时的音频质量，提升用户体验。

Description

一种增强智能终端的语音输入信号的方法和系统
技术领域
本发明涉及语音处理技术领域，尤其涉及一种增强智能终端的语音输入信号的方法和系统。
背景技术
目前的智能终端，例如手机，都是在底部设置一颗麦克风以对用户的声音进行拾音。这种方式的最大缺点是受限于单通道信号增强算法的性能，无法有效屏蔽周围的环境噪声，从而影响用户的通话体验。近年来也有厂商尝试在手机上放置两颗麦克风以采用双通道语音增强的技术，但两颗麦克风位置都是在手机底部，相互位置非常靠近，双通道语音增强的效果也会大打折扣。
而目前很多手机的应用场景，例如视频的移动直播等场景对手机的语音增强技术提出了较高的要求。视频直播是一种广受人们欢迎的业务模式，但是通常是在室内、使用特制的麦克风作为声音输入的装备进行直播，尽管手机摄像头或者手机直播客户端均已支持直播业务的需求，但受限于手机现有麦克风不具备抵抗户外环境噪声的能力，所以随时随地的移动直播无法像室内直播那么流行。即使存在这种应用场景，因为户外的环境噪声往往非常大，会严重影响观看者的观看体验。
此外，手机用户在使用免提通话也需要有效屏蔽环境噪声对通话质量的影响。
因此，目前的智能终端，尤其是体积较小的智能终端，例如手机无法在嘈杂的环境下实现高效的定向采音。
发明内容
为了解决现有技术中智能终端高效定向采音的问题，提出了增强智能终端的语音输入信号的方法和系统。
根据本发明的一个方面，提供了一种增强智能终端的语音输入信号的方法，所述方法包括：
步骤一，获取智能终端上原生麦克风采集的第一语音信号及所述第一语音信号的第一系统延迟和所述智能终端外部麦克风采集的第二语音信号及所述第二语音信号的第二系统延迟；
步骤二，基于所述第一系统延迟和所述第二系统延迟，计算修正的系统延迟，并基于所述修正的系统延迟确定修正的第一语音信号和第二语音信号；
步骤三，对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强，获得增强的语音信号。
其中，所述步骤一包括通过下述方式中至少一种获取所述第一系统延迟和所述第二系统延迟：
方式一，所述智能终端上原生扬声器播放一设定语音信号，分别获取所述原生麦克风采集的所述第一语音信号和所述外部麦克风采集的所述第二语音信号；
获取所述原生扬声器与所述原生麦克风之间的第一距离和所述原生扬声器与所述外部麦克风之间的第二距离；
确定所述第一系统延迟为所述设定语音信号与所述第一语音信号之间的延迟减去所述第一距离产生的所述设定语音信号的延迟；
确定所述第二系统延迟为所述设定语音信号与所述第二语音信号之间的延迟减去所述第二距离产生的所述设定语音信号的延迟；
方式二，获取预存的原生麦克风采集的语音信号的系统延迟，将该系统延迟作为所述第一系统延迟；
获取预存的外部麦克风采集的语音信号的系统延迟，将该系统延迟作为所述第二系统延迟。
其中，所述步骤二包括通过下述方式计算修正的系统延迟：
修正的系统延迟＝C1*第一系统延迟+C2*第二系统延迟，
其中C1+C2＝1，0≤C1≤1，0≤C2≤1。
其中，所述步骤三包括：
基于所述修正的第一语音信号和所述修正的第二语音信号，获取声源方向，并基于所述声源方向，对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强。
其中，所述步骤三还包括：
基于所述修正的第一语音信号和所述修正的第二语音信号，使用波达方向估计法获取所述声源方向；
基于所述声源方向，通过波束成形算法对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强。
根据本发明的另一方面，还提供了一种增强智能终端的语音输入信号的系统，所述系统包括：
获取模块，用于获取智能终端上原生麦克风采集的第一语音信号及所述第一语音信号的第一系统延迟和所述智能终端外部麦克风采集的第二语音信号及所述第二语音信号的第二系统延迟；
修正模块，用于基于所述第一系统延迟和所述第二系统延迟，计算修正的系统延迟，并基于所述修正的系统延迟确定修正的第一语音信号和第二语音信号；
增强模块，用于对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强，获得增强的语音信号。
其中，所述获取模块还用于通过下述方式中至少一种获取所述第一系统延迟和所述第二系统延迟：
方式一，所述智能终端上原生扬声器播放一设定语音信号，分别获取所述原生麦克风采集的所述第一语音信号和所述外部麦克风采集的所述第二语音信号；
获取所述原生扬声器与所述原生麦克风之间的第一距离和所述原生扬声器与所述外部麦克风之间的第二距离；
确定所述第一系统延迟为所述设定语音信号与所述第一语音信号之间的延迟减去所述第一距离产生的所述设定语音信号的延迟；
确定所述第二系统延迟为所述设定语音信号与所述第二语音信号之间的延迟减去所述第二距离产生的所述设定语音信号的延迟；
方式二，获取预存的原生麦克风采集的语音信号的系统延迟，将该系统延迟作为所述第一系统延迟；
获取预存的外部麦克风采集的语音信号的系统延迟，将该系统延迟作为所述第二系统延迟。
其中，所述修正模块还用于基于下述公式修正系统延迟：
修正的系统延迟＝C1*第一系统延迟+C2*第二系统延迟，
其中C1+C2＝1，0≤C1≤1，0≤C2≤1。
其中，所述增强模块用于：
基于所述修正的第一语音信号和所述修正的第二语音信号，获取声源方向，并基于所述声源方向，对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强。
其中，所述增强模块还用于：
基于所述修正的第一语音信号和所述修正的第二语音信号，使用波达方向估计法获取所述声源方向；
基于所述声源方向，通过波束成形算法对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强。
本发明主要提供一种基于现有的智能设备(如手机、PAD等)扩展麦克风阵列的方法和装置，扩展后的智能设备可以使用基于麦克风阵列的波束成形技术来实现定向拾音的功能，从而能够有效降低环境噪声带来的干扰。具体地，本发明的方法和装置，通过声源定向和波束成形算法，获得强指向性拾音的效果，只有在指向范围内的声源才会进行拾音，这样就能有效屏蔽室外环境中干扰噪声强烈的问题，大大改善室外直播或通话时的音频质量，提升用户体验。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明的增强语音输入信号的方法的流程图；
图2是根据本发明的包括有原生麦克风和外部麦克风的智能终端的示意图；
图3是根据本发明的增强语音输入信号的系统的模块图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
本发明提供了一种增强智能终端的语音信号的方法，所述方法包括：
步骤101，获取智能终端上原生麦克风采集的第一语音信号及第一语音信号的第一系统延迟和智能终端外部麦克风采集的第二语音信号及第二语音信号的第二系统延迟；
步骤102，基于第一系统延迟和第二系统延迟，计算修正的系统延迟，并基于修正的系统延迟确定修正的第一语音信号和第二语音信号；
步骤103，对修正的第一语音信号和修正的第二语音信号进行语音信号增强，获得增强的语音信号。
这里，原生麦克风是指集成在智能终端上的麦克风，外部麦克风是设置在智能终端外部且通过连接设备(例如USB接口、音频接口)或无线连接(例如蓝牙连接)与智能终端相连接的麦克风。外部麦克风可以仅由一个麦克风组成，也可以是由多个(如两个)麦克风组成的麦克风阵列。
系统延迟是指运行在操作系统之上的应用层程序通过操作系统的API或者更低层的驱动接口从声卡或者其他数据接口读取麦克风采集的声音信号，相对于声音信号在物理世界中实际发生的时间的延迟。因为外部麦克风和原生麦克风可能是从两个不同的数据接口读入数据的，所以两者的系统延迟可能不同，因此就需要对两种不同的系统延迟进行修正，使其相等。这是因为后面进行处理时，需要外部麦克风采集的信号和原生麦克风采集的信号之间不存在系统延迟。
需要说明的是，外部麦克风可以包括一个麦克风或者多个麦克风。后续计算系统延迟、估计声源方向和信号增强对于一个麦克风或多个麦克风的操作来说，实质的方法都是相同的。计算系统延迟时，一个或多个外部麦克风都是通过一个接口与智能终端进行数据通信，所以系统延迟在几个外部麦克风之间是相同的。估计声源方向和信号增强时，当外部麦克风包括一个麦克风或多个麦克风时，只影响构成麦克风阵列的构型，因此，估计声源方向和使用波束成形进行信号增强时，只是算法细节可能不同，但是基础算法没有变化。
步骤101包括通过下述方式获取所述第一系统延迟和所述第二系统延迟：
所述智能终端上原生扬声器播放一设定语音信号，分别获取所述原生麦克风采集的所述第一语音信号和所述外部麦克风采集的所述第二语音信号；
获取所述原生扬声器与所述原生麦克风之间的第一距离和所述原生扬声器与所述外部麦克风之间的第二距离；
确定所述第一系统延迟为所述设定语音信号与所述第一语音信号之间的延迟减去所述第一距离产生的所述设定语音信号的延迟；
确定所述第二系统延迟为所述设定语音信号与所述第二语音信号之间的延迟减去所述第二距离产生的所述设定语音信号的延迟。
以计算原生麦克风的系统延迟例，在开始时，通过智能设备原生扬声器播放一段声音(如标准正弦波或者双音多频信号)，然后读取原生麦克风采集到的扬声器播放的声音，通过互相关法计算扬声器播放的原始信号和麦克风采集到的声音信号之间的延迟。另外，对于给定智能设备机型来说，其原生扬声器和原生麦克风之间的位置是已知的，声音信号从扬声器到麦克风的理论传输时间可以计算出来，从通过互相关法计算出的声音延迟中减去声音信号从扬声器到麦克风的理论传输时间导致的延迟即可得到原生麦克风的系统延迟。计算外部麦克风的系统延迟的方法类似。另外，在计算播放的设定语音信号与原生麦克风采集的语音信号以及播放的设定语音信号与外部麦克风采集的语音信号时，除采用互相关算法外，也可以采用其他的时延计算方法，在此不再赘述。
具体地，计算系统延迟时，可以采用下述公式计算：系统延迟＝估计出的总延迟-麦克风与扬声器之间距离/声速。因此，
第一系统延迟＝设定语音信号与第一语音信号的延迟-第一距离/声速；
第二系统延迟＝设定语音信号与第二语音信号的延迟-第二距离/声速。
需要说明的是，本发明实施例中，通过连接设备与智能终端相连接的外部麦克风与原生扬声器之间的距离是固定的，即保证使用时外部麦克风与原生扬声器之间的距离固定，即在使用过程中，上述第二距离是固定的。
另外，即使外部麦克风有两个或多个，但是由一套时钟控制，所以该两个或多个麦克风的系统延迟是一样的，任意选择(或者固定指定)该麦克风阵列中一个麦克风计算系统延迟即可，其余麦克风的系统延迟与选择的麦克风的系统延迟相同。从多个外部麦克风中选择一个麦克风的方法可以采用下述中之一：
方式一，可以固定采用多个外部麦克风中的某一个麦克风，如从左数第n个，n为麦克风序号。因为麦克风的位置是固定的，所以一旦选定某一个麦克风，如图2所示，选择外部麦克风M1，根据预先获取的，例如存储至云端或者内存中的手机机型的尺寸信息，可以得到下图中原生麦克风M0和扬声器S之间的距离，也可以得到选择的麦克风与原生麦克风之间的距离。该距离可以通过预先测量的方式获得，或者利用外部麦克风部件的长度和原生麦克风在手机上的位置通过计算的方法获得，这种计算可以采用几何方法进行，不再赘述。然后，通过几何方法即可得到选择的麦克风M1与扬声器S之间的距离，这个距离就是所述的第二距离，这个第二距离同样可以预先存储至云端或者内存中，从而无需每次都重新计算。
方式二，随机选择一个麦克风，预先把每个麦克风与原生麦克风的距离存储至云端或者手机内存中，随机选择某个麦克风后，根据所选择的麦克风的序号即可得到预存的该麦克风与原生麦克风之间的距离，进而结合原生麦克风和扬声器之间的距离，即可得到第二距离。
另外，还可以通过下述方法，即静态配置的方法得到系统延迟：获取预存的原生麦克风采集的语音信号的系统延迟，将该系统延迟作为第一系统延迟；获取预存的外部麦克风采集的语音信号的系统延迟，将该系统延迟作为第二系统延迟。
在智能设备机型已知的条件下，通过实测的办法获得该机型上原生麦克风采集的声音信号的系统延迟和该机型上本发明所述的外部麦克风采集的声音信号的系统延迟，把两者的延迟数据或者延迟差数据保存在某个位置(如机身存储器中、APP中或者云端)，在计算需要时从以上位置读取该数据，用作该机型的系统延迟数据。
步骤102包括通过下述方式计算修正的系统延迟：修正的系统延迟＝C1*第一系统延迟+C2*第二系统延迟，其中C1+C2＝1，0≤C1≤1，0≤C2≤1。
这里的对第一系统延迟和第二系统延迟进行修正，是指将第一系统延迟和第二系统延迟修正为相等的值。修正时，可以对延迟较小的声音信号加入额外的延迟(较大的系统延迟与较小的系统延迟的差值)，也可以对延迟较大的信号减去一定的延迟(该方式可以通过数学方法实现，但是从物理意义的角度，不可能让未来的事情提前发生，即在物理上是不可实现的。)，以使第一系统延迟与第二系统延迟相等，如上面的公式所描述的。例如，实际操作时，可以以第一系统延迟和第二系统延迟中较大的一个作为修正后的系统延迟，对两者中较小的一个加上一个额外的延迟值，从而使其中较小的系统修正后等于该较大的系统延迟。例如，第一系统延迟大于第二系统延迟，则在这种情况下，C1＝1，C2＝0。
在计算得到修正的系统延迟后，基于计算修正的系统延迟的方式，计算修正的第一语音信号和第二语音信号。其计算方法示例如下：
原生麦克风采集的第一语音信号为(xt,xt+1,xt+2,xt+3,xt+4,xt+5,xt+6,xt+7)，其中t表示时间，其第一系统延迟为2；
外部麦克风采集的第二语音信号为(yt,yt+1,yt+2,yt+3,yt+4,yt+5,yt+6,yt+7)，其中t表示时间，其第二系统延迟为3。
其中第二语音信号的系统延迟，即第二系统延迟较大，选择第二系统延迟为修正的系统延迟，即将第一系统延迟修正为3。因此，修正的第二语音信号即为原第二语音信号；修正的第一语音信号为原第一语音信号加上一个时间点的系统延迟，即为(xt-1,xt,xt+1,xt+2,xt+3,xt+4,xt+5,xt+6)。步骤103包括：基于所述修正的第一语音信号和所述修正的第二语音信号，获取声源方向，并基于所述声源方向，对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强。
因此，修正的第一语音信号是(xt-1,xt,xt+1,xt+2,xt+3,xt+4,xt+5,xt+6)，修正的第二语音信号是(yt,yt+1,yt+2,yt+3,yt+4,yt+5,yt+6,yt+7)(即为原第二语音信号)。
步骤103包括：基于所述修正的第一语音信号和所述修正的第二语音信号，获取声源方向，并基于所述声源方向，对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强。
这里，在获得声源方向后，基于该声源方向进行语音信号增强，可以获得更好的增强效果。
步骤103还包括：基于所述修正的第一语音信号和所述修正的第二语音信号，使用波达方向估计法获取声源方向；基于所述声源方向，通过波束成形算法对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强。
下面详细描述根据本发明的具体实施例。
步骤1，获取原生麦克风采集的第一语音信号(xt,xt+1,xt+2,xt+3,xt+4,xt+5,xt+6,xt+7)及其第一系统延迟2，以及外部麦克风采集的第二语音信号为(yt,yt+1,yt+2,yt+3,yt+4,yt+5,yt+6,yt+7)及其第二系统延迟3。
步骤2，选择第二系统延迟为修正的系统延迟，因此，修正的第一语音信号是(xt-1,xt,xt+1,xt+2,xt+3,xt+4,xt+5,xt+6)，修正的第二语音信号是(yt,yt+1,yt+2,yt+3,yt+4,yt+5,yt+6,yt+7)。
步骤3，基于修正的第一语音信号和第二语音信号采用波达方向估计法，获取声源方向。
步骤4，基于上述声源方向，通过波束成形算法对上述修正的第一语音信号和修正的第二语音信号进行语音信号增强，其中的波束成形算法可以采用延迟相加算法、最小方差畸变法(MVDR算法)、线性约束最小方差法(LCMV算法)等。
本发明还提供了一种增强智能终端的语音信号的系统，如图3所示，所述系统包括：
获取模块301，用于获取智能终端上原生麦克风采集的第一语音信号及所述第一语音信号的第一系统延迟和所述智能终端外部麦克风采集的第二语音信号及所述第二语音信号的第二系统延迟；
修正模块302，用于基于所述第一系统延迟和所述第二系统延迟，计算修正的系统延迟，并基于所述修正的系统延迟确定修正的第一语音信号和第二语音信号；
增强模块303，用于对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强，获得增强的语音信号。
其中，所述获取模块301还用于通过下述方式中至少一种获取所述第一系统延迟和所述第二系统延迟：
方式一，所述智能终端上原生扬声器播放一设定语音信号，分别获取所述原生麦克风采集的所述第一语音信号和所述外部麦克风采集的所述第二语音信号；
获取所述原生扬声器与所述原生麦克风之间的第一距离和所述原生扬声器与所述外部麦克风之间的第二距离；
确定所述第一系统延迟为所述设定语音信号与所述第一语音信号之间的延迟减去所述第一距离产生的所述设定语音信号的延迟；
确定所述第二系统延迟为所述设定语音信号与所述第二语音信号之间的延迟减去所述第二距离产生的所述设定语音信号的延迟；
方式二，获取预存的原生麦克风采集的语音信号的系统延迟，将该系统延迟作为所述第一系统延迟；
获取预存的外部麦克风采集的语音信号的系统延迟，将该系统延迟作为所述第二系统延迟。
其中，所述修正模块302还用于基于下述公式修正系统延迟：
修正的系统延迟＝C1*第一系统延迟+C2*第二系统延迟，
其中C1+C2＝1，0≤C1≤1，0≤C2≤1。
其中，所述增强模块303用于：
基于所述修正的第一语音信号和所述修正的第二语音信号，获取声源方向，并基于所述声源方向，对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强。
其中，所述增强模块303还用于：
基于所述修正的第一语音信号和所述修正的第二语音信号，使用波达方向估计法获取所述声源方向；
基于所述声源方向，通过波束成形算法对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强。
本发明主要提供一种基于现有的智能设备(如手机、PAD等)扩展麦克风阵列的方法和装置，扩展后的智能设备可以使用基于麦克风阵列的波束成形技术来实现定向拾音的功能，从而能够有效降低环境噪声带来的干扰。具体地，本发明的方法和装置，通过声源定向和波束成形算法，获得强指向性拾音的效果，只有在指向范围内的声源才会进行拾音，这样就能有效屏蔽室外环境中干扰噪声强烈的问题，大大改善室外直播或通话时的音频质量，提升用户体验。
上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种增强智能终端的语音输入信号的方法，其特征在于，所述方法包括：
步骤一，获取智能终端上原生麦克风采集的第一语音信号及所述第一语音信号的第一系统延迟和所述智能终端外部麦克风采集的第二语音信号及所述第二语音信号的第二系统延迟；
步骤二，基于所述第一系统延迟和所述第二系统延迟，计算修正的系统延迟，并基于所述修正的系统延迟确定修正的第一语音信号和第二语音信号；
步骤三，对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强，获得增强的语音信号。
2.如权利要求1所述的方法，其特征在于，所述步骤一包括通过下述方式中至少一种获取所述第一系统延迟和所述第二系统延迟：
方式一，所述智能终端上原生扬声器播放一设定语音信号，分别获取所述原生麦克风采集的所述第一语音信号和所述外部麦克风采集的所述第二语音信号；
获取所述原生扬声器与所述原生麦克风之间的第一距离和所述原生扬声器与所述外部麦克风之间的第二距离；
确定所述第一系统延迟为所述设定语音信号与所述第一语音信号之间的延迟减去所述第一距离产生的所述设定语音信号的延迟；
确定所述第二系统延迟为所述设定语音信号与所述第二语音信号之间的延迟减去所述第二距离产生的所述设定语音信号的延迟；
方式二，获取预存的原生麦克风采集的语音信号的系统延迟，将该系统延迟作为所述第一系统延迟；
获取预存的外部麦克风采集的语音信号的系统延迟，将该系统延迟作为所述第二系统延迟。
3.如权利要求1所述的方法，其特征在于，所述步骤二包括通过下述方式计算修正的系统延迟：
修正的系统延迟＝C1*第一系统延迟+C2*第二系统延迟，
其中C1+C2＝1，0≤C1≤1，0≤C2≤1。
4.如权利要求1所述的方法，其特征在于，所述步骤三包括：
基于所述修正的第一语音信号和所述修正的第二语音信号，获取声源方向，并基于所述声源方向，对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强。
5.如权利要求4所述的方法，其特征在于，所述步骤三还包括：
基于所述修正的第一语音信号和所述修正的第二语音信号，使用波达方向估计法获取所述声源方向；
基于所述声源方向，通过波束成形算法对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强。
6.一种增强智能终端的语音输入信号的系统，其特征在于，所述系统包括：
获取模块，用于获取智能终端上原生麦克风采集的第一语音信号及所述第一语音信号的第一系统延迟和所述智能终端外部麦克风采集的第二语音信号及所述第二语音信号的第二系统延迟；
修正模块，用于基于所述第一系统延迟和所述第二系统延迟，计算修正的系统延迟，并基于所述修正的系统延迟确定修正的第一语音信号和第二语音信号；
增强模块，用于对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强，获得增强的语音信号。
7.如权利要求6所述的方法，其特征在于，所述获取模块还用于通过下述方式中至少一种获取所述第一系统延迟和所述第二系统延迟：
方式一，所述智能终端上原生扬声器播放一设定语音信号，分别获取所述原生麦克风采集的所述第一语音信号和所述外部麦克风采集的所述第二语音信号；
获取所述原生扬声器与所述原生麦克风之间的第一距离和所述原生扬声器与所述外部麦克风之间的第二距离；
确定所述第一系统延迟为所述设定语音信号与所述第一语音信号之间的延迟减去所述第一距离产生的所述设定语音信号的延迟；
确定所述第二系统延迟为所述设定语音信号与所述第二语音信号之间的延迟减去所述第二距离产生的所述设定语音信号的延迟；
方式二，获取预存的原生麦克风采集的语音信号的系统延迟，将该系统延迟作为所述第一系统延迟；
获取预存的外部麦克风采集的语音信号的系统延迟，将该系统延迟作为所述第二系统延迟。
8.如权利要求6所述的方法，其特征在于，所述修正模块还用于基于下述公式修正系统延迟：
修正的系统延迟＝C1*第一系统延迟+C2*第二系统延迟，
其中C1+C2＝1，0≤C1≤1，0≤C2≤1。
9.如权利要求6所述的方法，其特征在于，所述增强模块用于：
基于所述修正的第一语音信号和所述修正的第二语音信号，获取声源方向，并基于所述声源方向，对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强。
10.如权利要求9所述的方法，其特征在于，所述增强模块还用于：
基于所述修正的第一语音信号和所述修正的第二语音信号，使用波达方向估计法获取所述声源方向；
基于所述声源方向，通过波束成形算法对所述修正的第一语音信号和所述修正的第二语音信号进行语音信号增强。
CN201810316048.1A 2018-04-10 2018-04-10 一种增强智能终端的语音输入信号的方法和系统 Active CN108597533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810316048.1A CN108597533B (zh) 2018-04-10 2018-04-10 一种增强智能终端的语音输入信号的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810316048.1A CN108597533B (zh) 2018-04-10 2018-04-10 一种增强智能终端的语音输入信号的方法和系统

Publications (2)

Publication Number Publication Date
CN108597533A true CN108597533A (zh) 2018-09-28
CN108597533B CN108597533B (zh) 2021-11-23

Family

ID=63621606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810316048.1A Active CN108597533B (zh) 2018-04-10 2018-04-10 一种增强智能终端的语音输入信号的方法和系统

Country Status (1)

Country Link
CN (1) CN108597533B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965801A (zh) * 2021-10-11 2022-01-21 Oppo广东移动通信有限公司 播放控制方法、装置以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140108018A1 (en) * 2012-10-17 2014-04-17 Nuance Communications, Inc. Subscription updates in multiple device language models
CN106157964A (zh) * 2016-07-14 2016-11-23 西安元智系统技术有限责任公司 一种确定回声消除中系统延时的方法
CN106230553A (zh) * 2016-07-27 2016-12-14 块互动（北京）科技有限公司 数据传输方法及接收方法、数据发送终端及接收终端
CN107636485A (zh) * 2015-04-02 2018-01-26 三星电子株式会社 用于测量距离和位置的装置和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140108018A1 (en) * 2012-10-17 2014-04-17 Nuance Communications, Inc. Subscription updates in multiple device language models
CN107636485A (zh) * 2015-04-02 2018-01-26 三星电子株式会社 用于测量距离和位置的装置和方法
CN106157964A (zh) * 2016-07-14 2016-11-23 西安元智系统技术有限责任公司 一种确定回声消除中系统延时的方法
CN106230553A (zh) * 2016-07-27 2016-12-14 块互动（北京）科技有限公司 数据传输方法及接收方法、数据发送终端及接收终端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VOVSAVE: "基于麦克风阵列的声源定位技术研究", 《道客巴巴HTTP：WWW.DOC88.COM/P-997286671951.HTML》 *
蒋刚等: "《工业机器人》", 31 January 2011, 西南交通大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965801A (zh) * 2021-10-11 2022-01-21 Oppo广东移动通信有限公司 播放控制方法、装置以及电子设备

Also Published As

Publication number Publication date
CN108597533B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN107367839B (zh) 穿戴式电子装置、虚拟实境系统以及控制方法
CN108777732B (zh) 多麦克风的音频捕获
CN108370471A (zh) 分布式音频捕获和混合
WO2014101429A1 (zh) 一种终端双麦克风降噪的方法及装置
JP2010206451A (ja) カメラ付きスピーカ、信号処理装置、およびａｖシステム
US10979846B2 (en) Audio signal rendering
US11122381B2 (en) Spatial audio signal processing
CN112599144B (zh) 音频数据处理方法、音频数据处理装置、介质与电子设备
CN113490089B (zh) 降噪控制方法、电子设备及计算机可读存储装置
KR20230009487A (ko) 능동 잡음 제거 방법 및 장치
CN110136733B (zh) 一种音频信号的解混响方法和装置
CN110010117B (zh) 一种语音主动降噪的方法及装置
JP7067146B2 (ja) 収音装置、プログラム及び方法
CN111145773A (zh) 声场还原方法和装置
CN110677781A (zh) 利用编码光线引导扬声器阵列和麦克风阵列的系统和方法
US20120064940A1 (en) Mobile communication device and communication method
CN108597533A (zh) 一种增强智能终端的语音输入信号的方法和系统
KR20140061256A (ko) 포켓용 디바이스의 개선된 스테레오 오디오 레코딩
US8422690B2 (en) Audio reproduction apparatus and control method for the same
KR101634494B1 (ko) 모바일 음향 기기의 소음 제거 방법 및 장치
CN105657607A (zh) 声音终端装置
CN111163411B (zh) 减少干扰音影响的方法及声音播放装置
WO2019174442A1 (zh) 拾音设备、声音输出方法、装置、存储介质及电子装置
TWI700004B (zh) 減少干擾音影響之方法及聲音播放裝置
WO2023088156A1 (zh) 一种声速矫正方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211028

Address after: 100176 kc015, 8th floor, building 3, No. 5, Rongchang East Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing (centralized office area)

Applicant after: BEIJING SINWT SCIENCE & TECHNOLOGY Co.,Ltd.

Address before: 100176 Unit 302, Building No. 16, Haizifu, No. 1 Sihai Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant before: Jin Liang Dai

GR01 Patent grant
GR01 Patent grant