CN114255779A - 用于vr设备的音频降噪方法、电子设备和存储介质 - Google Patents
用于vr设备的音频降噪方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114255779A CN114255779A CN202111585429.8A CN202111585429A CN114255779A CN 114255779 A CN114255779 A CN 114255779A CN 202111585429 A CN202111585429 A CN 202111585429A CN 114255779 A CN114255779 A CN 114255779A
- Authority
- CN
- China
- Prior art keywords
- noise
- noise reduction
- external audio
- audio
- noise level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000003595 spectral effect Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000012805 post-processing Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007619 statistical method Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明公开一种用于VR设备的音频降噪方法、电子设备和存储介质,其中方法包括:基于所述VR设备获取外部音频,确定所述外部音频的第一噪声等级;至少根据所述第一噪声等级确定降噪策略,其中,不同的噪声等级对应不同的降噪策略;基于所述降噪策略控制所述VR设备进行降噪处理。本发明实施例通过确定外部音频的噪声等级,对不同的噪声等级使用不同的降噪策略,可以实现设备在不同的场景下自动切换不同的降噪策略,当在低噪声的场景使用时,设备自动切换为低等级的降噪策略,进一步降低了设备的使用功耗。
Description
技术领域
本发明属于声音降噪技术领域,尤其涉及一种用于VR设备的音频降噪方法及电子设备和存储介质。
背景技术
目前VR(Virtual Reality,虚拟现实)眼镜等VR设备越来越注重视听体验,以及通话功能等,其中各种环境噪声无疑对设备的体验大打折扣,因此需要根据不同的噪声场景来采用不同的算法或者策略来提升体验,或者定向增强,或者做语音降噪,或者发出噪音异常提醒等等,而首先要做的便是区分噪音的种类以及等级,以方便采取不同的策略,无论是融合到算法内部,或者抛出噪音等级分类结果以方便做后续处理。
1)降噪装置及虚拟设备:主要强调使用者与设备之间的交互,降噪后用于唤醒识别等。
2)基于虚拟现实VR场景的多用户语音交互方法以及装置:强调不同使用者之间的交互,主要做的是通话降噪。
目前市面上VR设备没有单独的做噪音等级检测,大部分只是直接针对不同场景降噪,而不够灵活,不能在不同场景下自适应切换不同的降噪算法,使得VR眼镜不能够自适应各种环境和场景。
发明人发现:现有的技术方案中均未对不同场景的噪声做特殊处理,而通常一套算法很难处理所有的噪声场景,根据噪声等级以及噪声类型,算法应该自适应的适配,因此这也限制了设备的使用场景。
发明内容
本发明实施例旨在至少解决上述技术问题之一。
第一方面,本发明实施例提供一种用于VR设备的音频降噪方法,包括:基于所述VR设备获取外部音频,确定所述外部音频的第一噪声等级;至少根据所述第一噪声等级确定降噪策略,其中,不同的噪声等级对应不同的降噪策略;基于所述降噪策略控制所述VR设备进行降噪处理。
第二方面,本发明实施例提供一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明上述任一项用于VR设备的音频降噪方法。
第三方面,本发明实施例提供一种存储介质,所述存储介质中存储有一个或多个包括执行指令的程序,所述执行指令能够被电子设备(包括但不限于计算机,服务器,或者网络设备等)读取并执行,以用于执行本发明上述任一项用于VR设备的音频降噪方法。
第四方面,本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述任一项用于VR设备的音频降噪方法。
本发明实施例通过确定外部音频的噪声等级,对不同的噪声等级使用不同的降噪策略,可以实现设备在不同的场景下自动切换不同的降噪策略,当在低噪声的场景使用时,设备自动切换为低等级的降噪策略,进一步降低了设备的使用功耗。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的用于VR设备的音频降噪方法的一实施例的流程图;
图2为本发明的用于VR设备的音频降噪方法的另一实施例的流程图;
图3为本发明的用于VR设备的音频降噪方法的又一实施例的流程图;
图4为本发明的用于VR设备的音频降噪方法的又一实施例的流程图;
图5为本发明一实施例提供的用于VR设备的音频降噪方法过程流程图;
图6为本发明一实施例提供的用于VR设备的音频降噪方法的实现结构流程图;
图7为本发明的电子设备的一实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本发明中,“模块”、“装置”、“系统”等指应用于计算机的相关实体,如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说,例如,元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有,运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中,并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间,并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号,例如,来自一个与本地系统、分布式系统中另一元件交互的,和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”,不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例提供一种用于VR设备的音频降噪方法,该方法可以应用于电子设备。电子设备可以是电脑、服务器或者其他电子产品等,本发明对此不作限定。
请参考图1,其示出了本发明一实施例提供的一种用于VR设备的音频降噪方法。
如图1所示,在步骤101中,基于所述VR设备获取外部音频,确定所述外部音频的第一噪声等级;
在步骤102中,至少根据所述第一噪声等级确定降噪策略,其中,不同的噪声等级对应不同的降噪策略;
在步骤103中,基于所述降噪策略控制所述VR设备进行降噪处理。
在本实施例中,对于步骤101,通过VR设备上的拾音装置获取外部的音频,确定外部音频的噪声等级,例如,VR设备上的拾音装置可以通过使用麦克风拾音,也可以使用其他设备进行拾取外部的音频,确认拾取到音频的噪声等级;之后,对于步骤102,根据确认的噪声等级来确定使用降噪策略根据不同的噪声等级来使用不同的降噪策略,例如,根据不同的噪声等级来使用不同的降噪方案,对噪声等级可以分别设置为50db以下为轻度噪声、50db-80db为中度噪声、80db以上就设置为重度噪声,根据不同的噪声等级来确定使用其对应的降噪策略,对于在轻度噪声的环境中,比如晚上在卧室内使用VR设备时,此时周围的环境噪声偏小,对于这种轻度的噪声也能接受,就不需要使用轻度的降噪策略,如果白天在室内使用VR设备时,噪声等级同样为轻度时,且噪声相对比晚上打一些,这时候就可以采用轻度的降噪策略。
对于步骤103,根据确定的降噪策略来对VR设备进行降噪处理,例如,当确定了外部的噪声等级为中度噪声时,就采用中度噪声的降噪策略来对VR设备进行降噪处理。
本申请实施例的方法通过确定外部音频的噪声等级,对不同的噪声等级使用不同的降噪策略,可以实现设备在不同的场景下自动切换不同的降噪策略,当在低噪声的场景使用时,设备自动切换为低等级的降噪策略,进一步降低了设备的使用功耗。进一步地,还可以在外部噪声场景变换时,让用户能够有比较稳定的降噪体验,不会感觉噪声忽大忽小,并且由于是针对外部音频的降噪,当外部音频噪声较小时,可能使用低级别的降噪就能对噪声有比较好的处理,也能在某种层面上节能。
在一些可选的实施例中,获取VR设备当前的使用场景,确定当前使用场景时要求的噪声等级,通过噪声等级的标准和当前使用场景时要求的噪声等级来确定降噪策略。使用VR设备的场景可以有很多,如轻便的VR设备如VR眼镜可以随身携带,那么周围环境可能是路边,地铁,公交站等等,由于场景的变化,比如有相对安静的场景,转到诸如公交站,地铁噪声较高的场景,则VR设备根据噪声等级自动选择降噪策略,而非便携的VR设备如头盔等则通常在室内,那么同样室内有诸如嘈杂的办公场所以及相对安静的家居场所,或者其他场所,同样的VR设备根据噪声等级自动选择降噪策略,由于VR设备会将噪声等级输出,VR设备厂商可以根据噪声等级来做其他的处理。
而用户也可以手动切换不同的降噪模式,以满足自己的需求。如用VR设备玩游戏对声音的要求特别高,对降噪要求特别高时,切换成了对声音要求相对较低的听音乐,从一个游戏的场景直接变成了一个听音乐的场景,该游戏场景对声音的要求较高,希望外部的噪声特别小,这时就可以使用噪声较高的降噪策略,当使用场景变成了听音乐时,听音乐对噪声的要求不那么高了,就可以根据外部噪声的实际噪声等级使用对应的降噪策略,可以是场景所要求的最低噪声标准,或者是用户自己设定的该场景的最低噪声标准,本申请在此没有限制。
本申请实施例的方法通过在使用VR设备时根据不同的场景环境来确定使用不同的降噪策略,可以实现在不同的环境中自动进行最佳的降噪策略。
请参考图2,其示出了本发明一实施例提供的另一种用于VR设备的音频降噪方法。该流程图主要是对流程图图1进一步限定的步骤的流程图。
如图2所示,在步骤201中,计算所述外部音频的功率谱密度;
在步骤202中,将所述功率谱密度与预设的噪声等级阈值进行比较,输出所述外部音频的第一噪声等级,其中,所述噪声等级阈值根据数据统计分析设定。
在本实施例中,对于步骤201,计算获取的外部音频的功率谱密度,对于步骤202,将外部音频的功率谱密度与预设的噪声等级阈值进行比较,确认外部音频的噪声等级,其中,噪声等级阈值根据数据统计分析设定,通过最小值控制的递归平均算法来计算噪声的功率谱密度,对不同等级的噪声做数据统计分析,划分频段及阈值,根据当前VR设备拾取的外部音频计算功率谱密度与统计的阈值进行比较,区分轻度,中度,重度噪声。
本申请实施例的方法通计算外部音频的功率谱密度与预设的噪声等级阈值进行比较,可以实现确定VR设备获取外部音频的噪声等级。
在一些可选的实施例中,对获取的外部音频进行预处理,其中,预处理包括分帧、加窗和快速傅里叶变换,VR设备在使用时对外部获取的音频进行分帧、加窗和快速傅里叶变换处理。
再请参考图3,其示出了本发明一实施例提供的另一种用于VR设备的音频降噪方法。
如图3所示,在步骤301中,根据划分频段及预设的阈值设定不同等级的噪声,其中,不同等级的噪声为轻度噪声、中度噪声以及重度噪声;
在步骤302中,根据所述噪声的功率谱密度与预设的阈值进行对比,判断所述噪声是否为轻度噪声或中度噪声还是重度噪声,将所述噪声对应的等级噪声进行输出。
在本实施例中,对于步骤301,根据划分频段及预设的阈值设定不同等级的噪声,其中,不同等级的噪声为轻度噪声、中度噪声以及重度噪声,例如,根据噪声的划分频段及预设的阈值设定不同等级的噪声。例如,当噪声为50db以下时可以设置为轻度噪声、当噪声达到50db-80db时可以设置为中度噪声、当噪声达到80db以上时就可以设置为重度噪声;对于步骤302,根据计算出的噪声的功率谱密度与预设的阈值进行对比,判断噪声等级是否为轻度噪声或中度噪声还是重度噪声,将判断出的噪声等级进行输出,例如,将获取外部音频计算出的功率谱密度与预设的阈值进行对比,确定VR设备获取的外部音频的噪声等级是轻度噪声还是中度噪声或者重度噪声。
本申请实施例的方法通过将计算出的外部音频的功率谱密度与预设的阈值进行对比来判断外部音频的噪声等级是轻度噪声还是中度噪声或者重度噪声。
再请参考图4,其示出了本发明一实施例提供的另一种用于VR设备的音频降噪方法。该流程图主要是对流程图图1中步骤102中“至少根据所述第一噪声等级确定降噪策略”进一步限定的步骤的流程图。
如图4所示,在步骤401中,当确认的噪声等级为轻度噪声时,采用后处理加动态增益控制的降噪方式;
在步骤402中,当确认的噪声等级为中度噪声时,采用波束成形和后处理以及动态增益控制的方式进行降噪;
在步骤403中,当确认的噪声等级为重度噪声时,则采用波束成形和后处理以及神经网络的方式进行降噪。
在本实施例中,对于步骤401,若确认外部的音频噪声等级为轻度噪声时,选择采用后处理加动态增益控制的降噪方式来进行降噪处理,对于步骤402,如果确认外部音频的噪声等级为中度噪声时,则采用波束成形和后处理以及动态增益控制的方式来进行降噪处理;对于步骤403,若确认外部音频的噪声等级为重度噪声时,则采用波束成形和后处理以及神经网络的方式进行降噪处理,例如,用户在使用VR设备过程中,根据自身所在的环境中,通过VR设备来获取外部的音频,确定外部音频的噪声等级,来使用与外部音频噪声等级对应的降噪方式。
本申请实施例的方法通过确定了外部音频的噪声等级,根据不同的噪声等级来使用不同的降噪方法。
在一些可选的实施例中,计算外部音频的功率谱密度的方法为利用最小值控制的递归平均算法来进行计算,也可以通过其他的方法来进行计算,本申请在此不作限定。
在一些可选的实施例中,对于预处理后的外部音频进行语音活动检测,检测所述预处理后的外部音频是否为有音频状态,例如,VR设备根据预处理后的外部音频进行语音活动检测,检测外部音频中是否有音频状态,当检测的结果为无音频状态时,直接结束降噪过程,当VR设备进入噪声偏大的场景时,自动开启从新进行检测和降噪处理;当检测预处理后的外部音频为有音频状态,则继续后续处理。
本申请实施例的方法通过检测所述预处理后的外部音频是否为有音频状态,可以实现在外部音频无音频状态时降低设备的使用功耗。
请参考图5,其出示了本发明的用于VR设备的音频降噪方法的实现流程图。
如图5所示,步骤1:录音采集
步骤2:预处理模块:主要为分帧加窗,以及做FFT(Fast Fourier Transform,快速傅里叶变换)处理
步骤3:VAD(Voice Activity Detection,语音活动检测)模块:检测是否有声音,声音检测模块主要用来过滤掉静音或者低噪声场景以节省算力和功耗,如果VAD不等于1,说明是静音或者低噪声场景,bypass过滤掉。
步骤4:利用MCRA估计噪声的PSD(功率谱密度),对不同等级的噪声做数据统计分析,划分频段及阈值,最后用当前输入音频估计出的PSD与统计的阈值进行比较,区分轻度,中度,重度噪声
步骤5:输出噪声等级,并根据划分得噪声种类动态加载对应的降噪算法,自适应的处理噪声,轻度噪声采用POST(后处理)加AGC(Automatic Gain Control,自动增益控制)的方案,中度噪声采用beamforming(波束成形)加POST以及AGC的方案,重度噪声则采用beamforming加POST以及神经网络NN的方案。
请参考图6,其出示了本发明的用于VR设备的音频降噪方法的实现结构流程图。
如图6所示,语音采集模块:麦克风语音采集
预处理模块:进行分帧加窗以及FFT变换等预处理
MCRA噪声监测模块:利用MCRA(Minimum Controlled Regressive Averaging,最小值控制的递归平均算法)估计噪声的PSD,对不同等级的噪声做数据统计分析,划分频段及阈值,最后用当前输入音频估计出的PSD与统计的阈值进行比较,区分轻度,中度,重度噪声
降噪算法策略输出:输出噪声等级,并根据区分的噪声等级来动态加载不同的降噪算法,对轻度噪声可以使用POST加AGC的策略,中度噪声则结合beamforming,对于重度噪声则要结合神经网络,动态加载算法可以使得资源占用更少。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作合并,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在一些实施例中,本发明实施例提供一种非易失性计算机可读存储介质,所述存储介质中存储有一个或多个包括执行指令的程序,所述执行指令能够被电子设备(包括但不限于计算机,服务器,或者网络设备等)读取并执行,以用于执行本发明上述任一项用于VR设备的音频降噪方法。
在一些实施例中,本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述任一用于VR设备的音频降噪方法。
在一些实施例中,本发明实施例还提供一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行用于VR设备的音频降噪方法。
图7是本申请另一实施例提供的执行用于VR设备的音频降噪方法的电子设备的硬件结构示意图,如图7所示,该设备包括:
一个或多个处理器710以及存储器720,图7中以一个处理器710为例。
执行用于VR设备的音频降噪方法的设备还可以包括:输入装置730和输出装置740。
处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接,图7中以通过总线连接为例。
存储器720作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的用于VR设备的音频降噪方法对应的程序指令/模块。处理器710通过运行存储在存储器720中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例用于VR设备的音频降噪方法。
存储器720可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据用于VR设备的音频降噪设备的使用所创建的数据等。此外,存储器720可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器720可选包括相对于处理器710远程设置的存储器,这些远程存储器可以通过网络连接至用于VR设备的音频降噪设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可接收输入的数字或字符信息,以及产生与用于VR设备的音频降噪设备的用户设置以及功能控制有关的信号。输出装置740可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器720中,当被所述一个或者多个处理器710执行时,执行上述任意方法实施例中的用于VR设备的音频降噪方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器,掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的机载电子装置,例如安装上车辆上的车机装置。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种用于VR设备的音频降噪方法,包括:
基于所述VR设备获取外部音频,确定所述外部音频的第一噪声等级;
至少根据所述第一噪声等级确定降噪策略,其中,不同的噪声等级对应不同的降噪策略;
基于所述降噪策略控制所述VR设备进行降噪处理。
2.根据权利要求1所述的方法,其中,所述外部声音通过所述VR设备采集,所述根据所述第一噪声等级确定降噪策略包括:
获取所述VR设备的当前使用场景;
确定所述当前使用场景所要求的第二噪声等级;
根据所述第一噪声等级和所述第二噪声等级确定降噪策略。
3.根据权利要求1或2所述的方法,其中,基于所述VR设备获取外部音频,确定所述外部音频的第一噪声等级包括:
计算所述外部音频的功率谱密度;
将所述功率谱密度与预设的噪声等级阈值进行比较,输出所述外部音频的第一噪声等级,其中,所述噪声等级阈值根据数据统计分析设定。
4.根据权利要求3所述的方法,其中,在计算所述外部音频的功率谱密度之前,所述方法还包括:
对所述外部音频进行预处理,其中,所述预处理包括分帧、加窗和快速傅里叶变换。
5.根据权利要求4所述的方法,其中,所述数据统计分析包括根据划分频段及预设的阈值设定不同等级的噪声,其中,不同等级的噪声为轻度噪声、中度噪声以及重度噪声;
所述将所述噪声的功率谱密度与预设的阈值进行比较,输出所述噪声等级包括:
根据所述噪声的功率谱密度与预设的阈值进行对比,判断所述噪声是否为轻度噪声或中度噪声还是重度噪声,将所述噪声对应的等级噪声进行输出。
6.根据权利要求1所述的方法,其中,所述至少根据所述第一噪声等级确定降噪策略包括:
当确认的噪声等级为轻度噪声时,采用后处理加动态增益控制的降噪方式;
当确认的噪声等级为中度噪声时,采用波束成形和后处理以及动态增益控制的方式进行降噪;
当确认的噪声等级为重度噪声时,则采用波束成形和后处理以及神经网络的方式进行降噪。
7.根据权利要求3所述的方法,其中,所述计算所述外部音频的功率谱密度包括:
利用最小值控制的递归平均算法来计算所述外部音频的功率谱密度。
8.根据权利要去4所述的方法,其中,在对所述外部音频进行预处理之后,所述方法还包括:
对预处理后的外部音频进行语音活动检测,检测所述预处理后的外部音频是否为有音频状态;
若检测为无音频状态,则直接结束;
若检测为有音频状态,则继续后续处理。
9.一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至8任一项所述方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111585429.8A CN114255779A (zh) | 2021-12-17 | 2021-12-17 | 用于vr设备的音频降噪方法、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111585429.8A CN114255779A (zh) | 2021-12-17 | 2021-12-17 | 用于vr设备的音频降噪方法、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114255779A true CN114255779A (zh) | 2022-03-29 |
Family
ID=80796942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111585429.8A Pending CN114255779A (zh) | 2021-12-17 | 2021-12-17 | 用于vr设备的音频降噪方法、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114255779A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116994599A (zh) * | 2023-09-13 | 2023-11-03 | 湖北星纪魅族科技有限公司 | 用于电子设备的音频降噪方法、电子设备及存储介质 |
-
2021
- 2021-12-17 CN CN202111585429.8A patent/CN114255779A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116994599A (zh) * | 2023-09-13 | 2023-11-03 | 湖北星纪魅族科技有限公司 | 用于电子设备的音频降噪方法、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109461449B (zh) | 用于智能设备的语音唤醒方法及系统 | |
CN104954555B (zh) | 一种音量调节方法及系统 | |
CN107910013B (zh) | 一种语音信号的输出处理方法及装置 | |
CN108922553B (zh) | 用于音箱设备的波达方向估计方法及系统 | |
US11068235B2 (en) | Volume adjustment method, terminal device, storage medium and electronic device | |
CN109036460B (zh) | 基于多模型神经网络的语音处理方法和装置 | |
CN112562742B (zh) | 语音处理方法和装置 | |
CN110931007B (zh) | 语音识别方法及系统 | |
CN110875045A (zh) | 一种语音识别方法、智能设备和智能电视 | |
CN110827858A (zh) | 语音端点检测方法及系统 | |
CN112581960A (zh) | 语音唤醒方法、装置、电子设备及可读存储介质 | |
CN115862657B (zh) | 随噪增益方法和装置、车载系统、电子设备及存储介质 | |
CN112435682A (zh) | 车辆降噪系统、方法、装置、车辆及存储介质 | |
CN114255779A (zh) | 用于vr设备的音频降噪方法、电子设备和存储介质 | |
CN111722696A (zh) | 用于低功耗设备的语音数据处理方法和装置 | |
CN113409800B (zh) | 一种监控音频的处理方法、装置、存储介质及电子设备 | |
CN110890104B (zh) | 语音端点检测方法及系统 | |
CN108899041B (zh) | 语音信号加噪方法、装置及存储介质 | |
CN112564655A (zh) | 一种音频信号增益控制方法、装置、设备及存储介质 | |
WO2022052691A1 (zh) | 基于多设备的语音处理方法、介质、电子设备及系统 | |
CN115410593A (zh) | 音频信道的选择方法、装置、设备及存储介质 | |
CN114220451A (zh) | 音频消噪方法、电子设备和存储介质 | |
CN111312244B (zh) | 用于沙盘的语音交互系统及方法 | |
CN109716432B (zh) | 增益处理方法及其装置、电子设备、信号采集方法及其系统 | |
CN106128474A (zh) | 一种音频处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |