CN111402914B - 噪声消除方法、装置、电子设备和存储介质 - Google Patents

噪声消除方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111402914B
CN111402914B CN202010167158.3A CN202010167158A CN111402914B CN 111402914 B CN111402914 B CN 111402914B CN 202010167158 A CN202010167158 A CN 202010167158A CN 111402914 B CN111402914 B CN 111402914B
Authority
CN
China
Prior art keywords
audio data
flow
preset
preset threshold
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010167158.3A
Other languages
English (en)
Other versions
CN111402914A (zh
Inventor
林荣俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202010167158.3A priority Critical patent/CN111402914B/zh
Publication of CN111402914A publication Critical patent/CN111402914A/zh
Application granted granted Critical
Publication of CN111402914B publication Critical patent/CN111402914B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Telephone Function (AREA)

Abstract

本发明实施例提供一种噪声消除方法、装置、电子设备和存储介质，涉及音频处理技术领域。本发明实施例提供的噪声消除方法、装置、电子设备和存储介质，通过周期性地检测获取得到的音频数据的流量，在检测到音频数据的流量小于预设阈值的持续时间达到第一预设时长时，将该音频数据当前输出音量设置为无声，如此，可有效消除在无语音时的噪声影响，提升用户体验。

Description

噪声消除方法、装置、电子设备和存储介质
技术领域
本发明涉及音频处理技术领域，具体而言，涉及一种噪声消除方法、装置、电子设备和存储介质。
背景技术
网页即时通信(Web Real-Time Communication，WebRTC)是一个支持网页浏览器进行实时语音对话或视频对话的应用程序接口(Application Programming Interface，API)。WebRTC实现了基于网页的视频会议，通过浏览器提供简单的javascript就可以达到实时通讯(Real-Time Communications，RTC)的能力。
由于WebRTC是浏览器封装好的接口，无法通过获取原始音频数据进行噪声过滤处理，使用WebRTC自带的噪声抑制功能也无法达到很好的噪声消除效果，因此，在无语音时，会有比较明显的环境噪声，严重影响体验。
发明内容
基于上述研究，本发明提供了噪声消除方法、装置、电子设备和存储介质，以改善上述问题。
本发明的实施例可以这样实现：
第一方面，实施例提供一种噪声消除方法，应用于电子设备，所述方法包括：
周期性地检测获取得到的音频数据的流量；
若检测到音频数据的流量小于预设阈值的持续时间达到第一预设时长，则将该音频数据当前输出音量设置为无声。
在可选的实施方式中，所述周期性地检测获取得到的音频数据的流量的步骤，包括:
以第二预设时长为周期，周期性地检测获取得到的音频数据的流量，其中，所述第二预设时长不大于所述第一预设时长。
在可选的实施方式中，所述方法还包括：
若检测到音频数据的流量小于所述预设阈值的持续时间未达到所述第一预设时长，则保持该音频数据原始输出音量。
在可选的实施方式中，所述第一预设时长为1s，所述第二预设时长为50ms。
在可选的实施方式中，所述预设阈值通过以下步骤得到：
基于浏览器的WebRTC接口，接收目标音频数据，对该目标音频数据进行过滤，并对过滤后的目标音频数据以设定编码码率进行编码，得到编码后的数据包；
测试所述数据包在所述第一预设时长内传输时的传输速率，根据所述传输速率获得所述数据包在相同周期的流量，将获得的流量作为所述预设阈值。
第二方面，实施例提供一种噪声消除装置，应用于电子设备，所述装置包括检测模块以及处理模块；
所述检测模块用于周期性地检测获取得到的音频数据的流量；
若检测到音频数据的流量小于预设阈值的持续时间达到第一预设时长，所述处理模块用于将该音频数据当前输出音量设置为无声。
在可选的实施方式中，所述检测模块用于：
以第二预设时长为周期，周期性地检测获取得到的音频数据的流量，其中，所述第二预设时长不大于所述第一预设时长。
在可选的实施方式中，所述处理模块用于：
若检测到音频数据的流量小于所述预设阈值的持续时间未达到所述第一预设时长，则保持该音频数据原始输出音量。
第三方面，实施例提供一种电子设备，包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述电子设备执行前述实施方式中任意一项所述的噪声消除方法。
第四方面，实施例提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被执行时实现执行前述实施方式中任意一项所述的噪声消除方法。
本发明实施例提供的噪声消除方法、装置、电子设备和存储介质，通过周期性地检测获取得到的音频数据的流量，在检测到音频数据的流量小于预设阈值的持续时间达到第一预设时长时，将该音频数据当前输出音量设置为无声，如此，可有效消除在无语音时的噪声影响，提升了用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例所提供的电子设备的一种方框示意图。
图2为本发明实施例所提供的噪声消除方法的一种流程示意图。
图3为本发明实施例所提供的噪声消除方法的又一种流程示意图。
图4为本发明实施例所提供的噪声消除装置的一种方框示意图。
图标：100-电子设备；10-噪声消除装置；11-检测模块；12-处理模块；20-存储器；30-处理器；40-通信单元。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，应当理解，示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
对于用户来说，在WebRTC出现之前想要进行实时通信就需要安装插件和客户端，这是一个非常复杂的过程。而现在，通过将WebRTC技术内置于浏览器中，就可不需要使用任何插件或者软件，只通过浏览器就能实现实时通信，便捷且易操作。
目前，在基于WEBRTC接口进行通信时，发现在通话过程中，如果停止说话，会有比较明显的噪声，严重影响用户体验。而目前对于噪声的过滤，大多是在获取原始音频数据后，对原始音频数据的时频进行分析，然后采用数字滤波技术滤除有用信号频带外的噪声，或者采用语音增强技术消除有用信号频带内的噪声，从而实现噪声的过滤。
由于WebRTC是浏览器封装好的接口，其通过使用WebRTC自带的噪声抑制功能进行噪声的过滤，但是也无法达到很好的噪声消除效果，在使用WebRTC接口获取音频的声音等级(audioLevel)时，虽然可以知道有语音时与无语音时的差别，但一旦修改音量，audioLevel也随之降低，从而影响真实判断。而发明人在研发基于WebRTC的网页端语音聊天工具时，通过大量统计分析，发现音频数据的流量在有语音时与无语音时有明显差异性，有语音时流量明显增多，无语音时流量明显减少，因此，本实施例提供一种噪声消除方法，可基于音频数据的流量检测是否有音频输入，对无音频输入时的噪声进行消除。
请参考图1，本实施例提供的噪声消除方法应用于图1所示的电子设备100，由图1所示的电子设备100执行本实施例所提供的噪声消除方法。如图1所示，本实施例所提供的电子设备100包括噪声消除装置10、存储器20、处理器30以及通信单元40。
所述存储器20、处理器30及通信单元40各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述噪声消除装置10包括至少一个可以软件或固件(firmware)的形式存储于所述存储器20中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器30用于执行所述存储器20中存储的可执行模块，例如所述噪声消除装置10所包括的软件功能模块及计算机程序等。
其中，所述存储器20可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器20用于存储程序或者数据。
所述处理器30可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述通信单元40用于通过网络建立所述电子设备100与其他电子设备之间的通信连接，并用于通过所述网络收发数据。
在一些实施例中，所述网络可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local Area Networks，WLAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、公共电话交换网(Public Switched Telephone Network，PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication,NFC)网络等，或其任意组合。
除此之外，本实施例所提供的电子设备100还可以安装多个客户端，例如浏览器(IE浏览器、UC浏览器、360浏览器及QQ浏览器等)以及其它应用程序等。
可以理解，图1所示的结构仅为示意，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
基于上述电子设备100的实现架构，请结合参阅图2，图2为本实施例所提供的噪声消除方法的流程示意图。下面对图2所示的流程示意图进行详细阐述。
步骤S10：周期性地检测获取得到的音频数据的流量。
步骤S20：判断检测到音频数据的流量小于预设阈值的持续时间是否达到第一预设时长。
若检测到音频数据的流量小于预设阈值的持续时间达到第一预设时长，执行步骤S30。
步骤S30：将该音频数据当前输出音量设置为无声。
在本实施例中，通过大量统计分析，发现音频数据的流量在有语音时与无语音时有明显差异性，有语音时流量明显增多，无语音时流量明显减少，因此，本实施例可基于音频数据的流量检测是否有音频输入，对无音频时的噪声进行消除。
具体地，对获取得到的音频数据的流量进行周期性检测，当检测到音频数据的流量小于预设阈值时，且小于预设阈值的持续时间达到第一预设时长，则判定无音频输入，将该音频数据当前输出音量设置为无声，即可将无语音聊天时的噪声进行消除。
本实施例所提供的噪声消除方法，通过周期性地检测获取得到的音频数据的流量，当音频数据的流量小于预设阈值的持续时间大于第一预设时长时，将音频数据的当前输出音量设置为无声，有效消除了噪声影响，提高了用户的体验。
本实施例所提供的噪声消除方法，当检测到音频数据的流量小于预设阈值时，且小于预设阈值的持续时间达到第一预设时长，则判定无音频输入，将音频数据的当前输出音量设置为无声，而若检测到音频数据的流量小于预设阈值的持续时间未达到第一预设时长，执行步骤S40。
步骤S40：保持该音频数据原始输出音量。
其中，当检测到音频数据的流量小于预设阈值，但是小于预设阈值的持续时间并未达到第一预设时长，则判定有音频的输入，保持该音频数据的原始输出音量，从而保证用户能正常听到声音。
需要说明的是，在本实施例中，检测到音频数据的流量小于预设阈值的持续时间未达到第一预设时长可包括两种情况，一是检测到的音频数据的流量小于预设阈值，但是小于预设阈值的持续时间并未达到第一时长阈值，二是检测到的音频数据的流量大于预设阈值，在这两种情况下，均判定有音频的输入，保持该音频数据的原始输出音量。
本实施例所提供的噪声消除方法，当检测到的音频数据的流量小于预设阈值的持续时间达到第一预设时长时，将该音频数据当前输出音量设置为无声，当检测到的音频数据的流量小于预设阈值的持续时间未达到第一预设时长时，保持该音频数据原始输出音量，一方面在无音频输入时，有效消除了噪声的影响，另一方面，在有音频输入时，保证用户能正常听到声音，大大提高了用户的体验性。
可选的，在本实施例中，从浏览器的WebRTC接口中获取音频数据的流量。
在本实施例中，在通过WebRTC接口对接收到的音频数据进行初步处理后，即可从WebRTC接口中获取音频数据的流量，然后对获取得到音频数据的流量进行检测，判断音频数据的流量是否小于预设阈值，且判断小于预设阈值的持续时长是否大于第一预设时长。
其中，通过WebRTC接口对音频数据进行处理的过程，包括对应用启动后音频数据的流量累计、对音频数据的编解码、加密、声音处理、声音输出、音量控制、音视频同步、网络传输与流控等过程。因此，在本实施例中，可基于WebRTC接口对应用启动后音频数据的流量累计获取音量数据的流量，在获取得到音频数据的流量后，对获取得到音频数据的流量进行检测，从而根据检测结果对音频数据的输出音量进行控制。
可选地，对音量数据的输出音量的控制可反映至对WebRTC接口的音量调节系数的设置，例如，若根据检测结果需要将音频数据当前输出音量设置为无声，则可将WebRTC接口的音量调节系数设置为0，若根据检测结果需要保持该音频数据原始输出音量，则可将WebRTC接口的音量调节系数恢复至原值。
基于WebRTC接口对音频数据的处理，可选的，请结合参阅图3，所述预设阈值通过步骤S50至步骤S60得到。
步骤S50：基于浏览器的WebRTC接口，接收目标音频数据，对该目标音频数据进行过滤，并对过滤后的目标音频数据以设定编码码率进行编码，得到编码后的数据包。
步骤S60：测试所述数据包在所述第一预设时长传输时的传输速率，根据所述传输速率获得所述数据包在相同周期的流量，将获得的流量作为所述预设阈值。
其中，目标音频数据是在正常有语音(有声)环境中获取得到的，例如，在语音通话的环境中获取得到的。在获取得到目标音频数据后，对目标音频数据进行过滤，以过滤目标音频数据中的噪音数据，得到过滤后的目标音频数据。
可选的，在本实施例中，采用活动语音检测算法(Voice Activity Detection，VAD)对目标音频数据进行过滤，通过VAD算法可过滤部分的噪声数据。
在对目标音频数据进行过滤后，即可对过滤后的目标音频数据进行编码，得到编码后的数据包。
在本实施例中，以设定编码码率对过滤后的音频数据进行编码，其编码码率可根据实际需求而设定，具体地不做限制，可选的，本实施例以32k的编码码率对过滤后的音频数据进行编码。
在本实施例中，基于WebRTC接口，对音频数据的编解码可采用opus、iLIBC、G.711pcm(a-law)、G.711pcm(u-law)、iSAC、G.722、PCM16等编解码技术。可选的，本实施例采用opus对音频数据进行编码，得到opus格式的数据。
在得到编码后的数据包后，通过测试数据包在第一预设时长内的传输速率，根据传输速率获取数据包在相同周期的流量。
其中，数据包在第一预设时长内的传输速率，可通过获取数据包在第一预设时长内传输所需要的流量，根据所需要的流量计算得到数据包的传输速率，例如，所需要的流量为A，则数据包的传输速率为A/第一预设时长。
本实施例通过对音频数据进行过滤，可过滤掉大部分的噪音数据，若该音频数据为有语音输入的音频数据，则在进行过滤后，仍保留有大部分音频数据，若该音频数据为无语音输入的音频数据，则在进行过滤后，只会保留小部分音频数据。因此，在对过滤后的音频数据进行编码时，对于有语音输入的音频数据和无语音输入的音频数据，其编码得到的数据包的数量不同，其中，有语音输入的音频数据编码得到的数据包的数量大于无语音输入的音频数据编码得到的数据包的数量。
数据包数量不同，传输时所需要的流量也不同，数据包越多，传输时所需要的流量也就越多，在同一时长内，传输速率也就越大，因此，在本实施例中，可通过测量目标音频数据编码后的数据包传输时所需要的流量得到数据包传输时的传输速率，基于数据包的传输速率设定预设阈值。
在获得数据包在传输时的传输速率后，根据该传输速率即可获得数据包在相同周期内的流量。例如，测试得到的数据包在第一预设时长内的传输速率为a，假设设定的周期为b，则预设阈值为a*b，在后续对音频数据的检测过程中，只需要检测每个周期的音频数据的流量值是否小于a*b，且小于a*b的持续时间达到第一预设时长。
在获得数据包在相同周期内的流量后，将获得的流量作为预设阈值，进而后续在对音频数据的检测过程中，只需要检测每个周期音频数据的流量是否小于预设阈值，以及小于预设阈值的持续时间是否大于第一预设时长，即可实现在无语音时对噪声的消除。
需要说明的是，由于WebRTC接口提供的是应用启动后的流量累计，因此，从WebRTC接口获取到音频数据的流量后，还需要进行作差计算，例如，第一个周期获得的音频数据的流量为A，第二个周期获得的音频数据的流量为B，则第二个周期的音频数据的流量为A-B。
作为一种可选的实施方式，在本实施例中，还可以上述所述的数据包的传输速率作为预设阈值，在从WebRTC接口获得音频数据的流量后，检测音频数据的流量是否小于预设阈值的过程中，需要进行数据的统一，即需要根据音频数据的流量获得音频数据的传输速率，将音频数据的传输速率与预设阈值(传输速率)进行比较。
例如，第一个周期获得的音频数据的流量为A，则第一个周期的音频数据的传输速率为A/周期的时长，第二个周期获得的音频数据的流量为B，则第二个周期的音频数据的传输速率为(B-A)/周期的时长。又例如，以具体数值进行举例说明，设定50ms为周期，在0ms时获取到的音频数据的流量为0，在第50ms获取到的音频数据的流量为是50，在第100ms获取到的音频数据的流量为100，则第一个周期，即0ms到第50ms的音频数据的传输速率＝(50-0)/50ms，第二个周期，即50ms到100ms的音频数据的传输速率＝(100-50)/50ms。以此类推，即可获得每个周期的音频数据的传输速率。在获得每个周期的音频数据的传输速率后，将每个周期的音频数据的传输速率与预设阈值进行比较，即可判断每个周期的音频数据的传输速率是否小于预设阈值，从而检测音频数据的流量是否小于预设阈值，且小于预设阈值的持续时间是否达到第一预设时长。
在具体地应用中，当用户在基于WebRTC进行语音通信时，WebRTC接口接收用户的音频数据，对应用启动后用户的音频数据的流量进行统计，然后周期性地对WebRTC接口统计的音频数据的流量进行检测，判断检测到音频数据的流量是否小于预设阈值，且小于预设阈值的持续时间是否达到第一预设时长，若检测到音频数据的流量小于预设阈值的持续时间达到第一预设时长，判定无语音(音频)输入，将WebRTC接口的音量调节系数设置为0，即将该音频数据当前输出音量设置为无声，若检测到的音频数据的流量小于预设阈值，但是小于预设阈值的持续时间并未达到第一时长阈值，或者检测到的音频数据的流量大于预设阈值，判定有语音(音频)的输入，将WebRTC接口的音量调节系数恢复至原值，即保持该音频数据原始输出音量。如此可有效地在无语音(音频)输入时，消除噪声的影响，且在有语音(音频)输入时，保证用户能正常听到声音。
在实际应用中，音频数据在传输过程，可能会发生数据的丢失，因此，在检测音频数据的过程中，若检测的周期太长，则可能会在丢失某个时间段的音频数据，导致检测结果准确不高。为了避免音频数据的丢失，在可选的实施方式中，所述周期性地检测接收到的音频数据的流量的步骤，包括:
以第二预设时长为周期，周期性地检测接收到的音频数据的流量。
其中，第二预设时长不大于第一预设时长，因此，本实施例以第二预设时长为周期，对接收到的音频数据的流量进行检测，则可避免在检测过程中，丢失数据，从而保证检测的准确性。
在本实施例中，以第二预设时长为周期，周期性地检测接收到的音频数据的流量，当在某个周期检测到音频数据的流量值小于预设阈值时，且从该周期起，检测到的音频数据的流量均小于预设阈值，且小于预设阈值的持续时长达到第一预设时长，则判定无音频输入，将音频数据的当前输出音量设置为无声。
需要说明的是，在进行周期性检测的时候，如果第二预设时长设置过短，检测频率过高，也可能会导致音频的不流畅，影响用户体验。
一方面为了避免检测周期过长，音频数据的丢失，造成检测结果的不准确，另一方面，为了避免检测周期过短，即检测频率过高，造成音频的不流畅，可选的，在本实施例中，所述第一预设时长为1s，所述第二预设时长为50ms。
在一种示例性的实施方式中，以第一预设时长为1s，第二预设时长为50ms进行举例说明。在WebRTC接口接收音频数据，并对音频数据的流量累计后，以50ms为周期对接收到的音频数据的流量进行检测，若在当前周期检测的音频数据的流量大于或等于预设阈值，则判定有音频输入，即存在语音通话，则保持音频数据原始输出音量，并继续以50ms为周期对接收到的音频数据的流量进行检测。若在当前周期检测的音频数据的流量小于预设阈值，且从该当前周期起，在之后1s内，每个周期所检测到的音频数据的流量均小于预设阈值，即在连续的1s内，所检测到的音频数据的流量均小于预设阈值，则判定无音频输入，即无语音通话，将音频数据当前输出音量设置为无声，并继续以50ms为周期对接收到的音频数据的流量进行检测。若在当前周期检测的音频数据的流量小于预设阈值，但从该当前周期起，在1s内的任一周期所检测到的音频数据的流量大于或等于预设阈值，则判定有音频输入，即存在语音通话，将音频数据当前输出音量恢复至原始音量，并继续以50ms为周期对接收到的音频数据的流量进行检测。如此，一方面则可保证在无音频输入时，能有效消除噪声的影响，在有音频输入时，保证用户能正常听到声音，另一方面，也避免了音频数据的丢失以及检测频率过高所造成音频的不流畅，大大提高了检测的准确性以及用户的体验性。
本实施例所提供的噪声消除方法，通过周期性地检测音频数据的流量，且在检测到的音频数据的流量小于预设阈值的持续时间达到第一预设时长时，将音频数据当前输出音量设置为无声，有效消除了在无音频输入时，噪声的影响，且以50ms为周期对音频数据的流量进行周期性检测，避免了音频数据的丢失以及检测频率过高所造成音频的不流畅，提高了检测的准确性。
在上述基础上，请结合参阅图4，本实施例提供一种噪声消除装置10，应用于电子设备，所述装置包括检测模块11以及处理模块12。
所述检测模块11用于周期性地检测获取得到的音频数据的流量。
若检测到音频数据的流量小于预设阈值的持续时间达到第一预设时长，所述处理模块12用于将该音频数据当前输出音量设置为无声。
在可选的实施方式中，所述检测模块11用于：
以第二预设时长为周期，周期性地检测获取得到的音频数据的流量，其中，所述第二预设时长不大于所述第一预设时长。
在可选的实施方式中，所述处理模块12用于：
若检测到音频数据的流量小于预设阈值的持续时间未达到所述第一预设时长，则保持该音频数据原始输出音量。
在可选的实施方式中，所述处理模块12还用于：
基于浏览器的WebRTC接口，接收目标音频数据，对该目标音频数据进行过滤，并对过滤后的目标音频数据以设定编码码率进行编码，得到该音频数据编码后的数据包。
测试所述数据包在所述第一预设时长传输时的传输速率，根据所述传输速率获得所述数据包在相同周期的流量，将获得的流量作为所述预设阈值。
由于本实施例中的噪声消除装置10解决问题的原理与本实施例上述噪声消除方法相似，因此噪声消除装置10的实施可以参见方法的实施，重复之处不再赘述。
上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或更多个单元。
在上述基础上，本实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被执行时实现执行前述实施方式中任意一项所述的噪声消除方法。
本实施例所提供的噪声消除方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的噪声消除方法的步骤，具体可参见上述方法实施例，在此不再赘述。
综上，本实施例提供的噪声消除方法、装置、电子设备和存储介质，通过周期性地检测获取得到的音频数据的流量，在检测到音频数据的流量小于预设阈值的持续时间达到第一预设时长时，将该音频数据当前输出音量设置为无声，如此，可有效消除WebRTC接口在无语音时的噪声影响，提升了用户体验。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备和装置的具体工作过程，可以参考方法实施例中的对应过程，本发明中不再赘述。在本发明所提供的几个实施例中，应该理解到，所揭露的电子设备、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种噪声消除方法，其特征在于，应用于电子设备，所述方法包括：
从浏览器的WebRTC接口中获取音频数据的流量，周期性地检测获取得到的音频数据的流量；
若检测到音频数据的流量小于预设阈值的持续时间达到第一预设时长，则将该音频数据当前输出音量设置为无声；
其中，所述预设阈值通过以下步骤得到：
基于浏览器的WebRTC接口，接收目标音频数据，对该目标音频数据进行过滤，并对过滤后的目标音频数据以设定编码码率进行编码，得到编码后的数据包；测试所述数据包在所述第一预设时长内传输时的传输速率，根据所述传输速率获得所述数据包在相同周期的流量，将获得的流量作为所述预设阈值。
2.根据权利要求1所述的噪声消除方法，其特征在于，所述周期性地检测获取得到的音频数据的流量的步骤，包括:
以第二预设时长为周期，周期性地检测获取得到的音频数据的流量，其中，所述第二预设时长不大于所述第一预设时长。
3.根据权利要求1所述的噪声消除方法，其特征在于，所述方法还包括：
若检测到音频数据的流量小于所述预设阈值的持续时间未达到所述第一预设时长，则保持该音频数据原始输出音量。
4.根据权利要求2所述的噪声消除方法，其特征在于，所述第一预设时长为1s，所述第二预设时长为50ms。
5.一种噪声消除装置，其特征在于，应用于电子设备，所述装置包括检测模块以及处理模块；
所述检测模块用于从浏览器的WebRTC接口中获取音频数据的流量，周期性地检测获取得到的音频数据的流量；
若检测到音频数据的流量小于预设阈值的持续时间达到第一预设时长，所述处理模块用于将该音频数据当前输出音量设置为无声；
所述处理模块还用于基于浏览器的WebRTC接口，接收目标音频数据，对该目标音频数据进行过滤，并对过滤后的目标音频数据以设定编码码率进行编码，得到编码后的数据包；测试所述数据包在所述第一预设时长内传输时的传输速率，根据所述传输速率获得所述数据包在相同周期的流量，将获得的流量作为所述预设阈值。
6.根据权利要求5所述的噪声消除装置，其特征在于，所述检测模块用于：
以第二预设时长为周期，周期性地检测获取得到的音频数据的流量，其中，所述第二预设时长不大于所述第一预设时长。
7.根据权利要求5所述的噪声消除装置，其特征在于，所述处理模块用于：
若检测到音频数据的流量小于所述预设阈值的持续时间未达到所述第一预设时长，则保持该音频数据原始输出音量。
8.一种电子设备，其特征在于，包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述电子设备执行权利要求1-4中任意一项所述的噪声消除方法。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-4中任意一项所述的噪声消除方法。
CN202010167158.3A 2020-03-11 2020-03-11 噪声消除方法、装置、电子设备和存储介质 Active CN111402914B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010167158.3A CN111402914B (zh) 2020-03-11 2020-03-11 噪声消除方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010167158.3A CN111402914B (zh) 2020-03-11 2020-03-11 噪声消除方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111402914A CN111402914A (zh) 2020-07-10
CN111402914B true CN111402914B (zh) 2023-12-12

Family

ID=71428733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010167158.3A Active CN111402914B (zh) 2020-03-11 2020-03-11 噪声消除方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111402914B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437339A (zh) * 2020-11-10 2021-03-02 深圳Tcl新技术有限公司 音频输出控制方法及装置、智能电视机、存储介质
CN112887857B (zh) * 2021-01-25 2023-04-07 湖南普奇水环境研究院有限公司 一种消除收音噪音的听力保护方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0884839B1 (en) * 1997-06-11 2005-06-29 Lg Electronics Inc. Method and apparatus for automatically compensating sound volume
JP2005266411A (ja) * 2004-03-19 2005-09-29 Matsushita Electric Ind Co Ltd 音声圧縮方法および電話器
KR101751620B1 (ko) * 2015-12-15 2017-07-11 라인 가부시키가이샤 시각적 또는 청각적 효과의 양방향 전달을 이용한 영상 통화 방법 및 시스템
CN108449496B (zh) * 2018-03-12 2019-12-10 Oppo广东移动通信有限公司 语音通话数据检测方法、装置、存储介质及移动终端
CN108920127A (zh) * 2018-06-26 2018-11-30 广州视源电子科技股份有限公司 目标音量阈值确定方法、装置、设备和存储介质
US11120795B2 (en) * 2018-08-24 2021-09-14 Dsp Group Ltd. Noise cancellation
CN109545246A (zh) * 2019-01-21 2019-03-29 维沃移动通信有限公司 一种声音处理方法及终端设备
CN110428853A (zh) * 2019-08-30 2019-11-08 北京太极华保科技股份有限公司 语音活性检测方法、语音活性检测装置以及电子设备
CN110620793B (zh) * 2019-10-31 2022-03-15 苏州浪潮智能科技有限公司 一种提高音频质量的方法、设备及介质

Also Published As

Publication number Publication date
CN111402914A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
US10832696B2 (en) Speech signal cascade processing method, terminal, and computer-readable storage medium
CN109644192B (zh) 具有语音检测周期持续时间补偿的音频传送方法和设备
CN111402914B (zh) 噪声消除方法、装置、电子设备和存储介质
JP4955696B2 (ja) エコー検出
EP3155795B1 (en) In-service monitoring of voice quality in teleconferencing
RU2009136562A (ru) Способ и устройство для управления сглаживанием стационарного фонового шума
JP4894368B2 (ja) エコーキャンセラ
CN104284018A (zh) 一种终端
CN112309414B (zh) 基于音频编解码的主动降噪方法、耳机及电子设备
US8886527B2 (en) Speech recognition system to evaluate speech signals, method thereof, and storage medium storing the program for speech recognition to evaluate speech signals
JP4551817B2 (ja) ノイズレベル推定方法及びその装置
EP2158753B1 (en) Selection of audio signals to be mixed in an audio conference
CN109981482B (zh) 音频处理方法及装置
US9674070B2 (en) Method and apparatus for detecting a set up signal used for data communication over a communication network
WO2022194011A1 (zh) 回声消除方法、装置、设备及存储介质
US6850616B2 (en) Frequency error detection methods and systems using the same
CN110189763B (zh) 一种声波配置方法、装置及终端设备
CN113014600A (zh) 终端控制方法、装置和电子设备
CN109151998B (zh) 一种终端语音呼叫方法和ue
JP2009182394A (ja) 迷惑電話検出方法、装置、システム、およびプログラム
CN115273901A (zh) 音频检测方法、装置、电子设备和存储介质
CN116612775A (zh) 一种杂音消除方法、装置、电子设备及介质
CN112687293A (zh) 一种基于机器学习及数据挖掘的智能坐席训练方法和系统
CN115988126A (zh) 通话设置方法、通话设置系统和存储介质
JP2016139848A (ja) 音声品質推定装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant