CN111885459A - 一种音频处理方法、音频处理装置、智能耳机 - Google Patents

一种音频处理方法、音频处理装置、智能耳机 Download PDF

Info

Publication number
CN111885459A
CN111885459A CN202010725588.2A CN202010725588A CN111885459A CN 111885459 A CN111885459 A CN 111885459A CN 202010725588 A CN202010725588 A CN 202010725588A CN 111885459 A CN111885459 A CN 111885459A
Authority
CN
China
Prior art keywords
current
filter
environment
audio processing
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010725588.2A
Other languages
English (en)
Other versions
CN111885459B (zh
Inventor
尚家乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202010725588.2A priority Critical patent/CN111885459B/zh
Publication of CN111885459A publication Critical patent/CN111885459A/zh
Application granted granted Critical
Publication of CN111885459B publication Critical patent/CN111885459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)

Abstract

本申请提供一种音频处理方法、音频处理装置、智能耳机,该方法包括:获取传感器发送的环境数据,并根据环境数据得到当前环境特征向量;根据当前环境特征向量从映射关系中得到对应的当前滤波器参数,映射关系是环境特征向量和音频处理的滤波器参数的对应关系;根据当前滤波器参数控制对应的滤波器使能。本申请根据传感器发送的环境数据进行计算得到当前环境特征向量,在系统内建立起环境特征向量与音频处理过程中滤波器参数之间的映射关系,然后根据当前环境特征向量从映射关系中确定当前滤波器参数,然后使能滤波器实现音频处理,本申请在进行音频处理过程中考虑了环境特征对音频信号造成的影响,经过音频处理后音频质量极大地提高。

Description

一种音频处理方法、音频处理装置、智能耳机
技术领域
本申请涉及音频处理技术领域,特别涉及一种音频处理方法、音频处理 装置、智能耳机。
背景技术
在TWS耳机应用过程中,主动降噪以及回声消除功能已经成为高端TWS 耳机产品的必有功能,这两项功能对于提高音频质量,改善耳机使用感受有 着较大的促进作用,但目前传统主流的主动降噪或回声消除算法中,仅仅只 根据音频信号进行处理,忽视了环境特征对音频信号造成的影响,造成音频 质量低的问题。
因此,如何提供一种解决上述技术问题的方案是本领域技术人员目前需 要解决的问题。
发明内容
本申请的目的是提供一种音频处理方法、音频处理装置、智能耳机,在 进行音频处理过程中考虑了环境特征对音频信号造成的影响,经过音频处理 后音频质量极大地提高。其具体方案如下:
本申请提供一种音频处理方法,包括:
获取传感器发送的环境数据,并根据所述环境数据得到当前环境特征向 量;
根据所述当前环境特征向量从映射关系中得到对应的当前滤波器参数, 所述映射关系是环境特征向量和音频处理的滤波器参数的对应关系;
根据所述当前滤波器参数控制对应的滤波器使能。
可选的,所述根据所述环境数据得到当前环境特征向量,包括:
获取每一个所述传感器的所述环境数据在当前周期内的相对变化值;
根据所述相对变化值的大小确定每一个所述传感器对应的权重值;
根据所有的所述环境数据和对应的所述权重值进行计算,得到所述当前 环境特征向量。
可选的,所述根据所有的所述环境数据和对应的所述权重值进行计算, 得到所述当前环境特征向量,包括:
根据所述环境数据和对应的预设参考值进行二进制编码,得到子环境特 征向量,所述环境数据包括在多个采样点的采样数据;
根据所有的所述子环境特征向量和对应的所述权重值进行计算,得到所 述当前环境特征向量。
可选的,所述根据所述当前环境特征向量从映射关系中得到对应的当前 滤波器参数,包括:
计算所述当前环境特征向量与所述映射关系中的所述环境特征向量的相 似值;
从所有的所述相似值中得到最高相似值,并根据所述最高相似值对应的 所述环境特征向量从所述映射关系中得到所述当前滤波器参数。
可选的,还包括:
根据白噪声参数、特定回声环境参数,在不同的设定的环境参数的情况 下得到所述滤波器参数;
根据环境参数确定所述环境特征向量;
根据所述滤波器参数和所述环境特征向量得到所述映射关系。
可选的,根据所述当前滤波器参数控制对应的滤波器使能包括:
根据降噪滤波器参数控制主动降噪滤波器使能;
根据回声滤波器参数控制回声模拟滤波器使能。
可选的,所述获取传感器发送的环境数据,包括:
获取距离传感器、气压传感器、加速度传感器发送的三种所述环境数据。
可选的,所述根据所述当前滤波器参数控制对应的滤波器使能之后,还 包括:
获取麦克风采集到的耳道内的第一音频波形;
判断所述第一音频波形和参考音频波形的差值是否小于预设阈值;
若所述差值不小于所述预设阈值,则将所述当前滤波器参数、所述第一 音频波形、所述参考音频波形发送至计算设备,以使所述计算设备根据所述 当前滤波器参数、所述第一音频波形、所述参考音频波形进行监督式学习优 化,得到优化滤波器参数;
接收到所述优化滤波器参数,并根据所述优化滤波器参数控制对应的所 述滤波器使能;
判断所述第一音频波形和参考音频波形的差值是否小于预设阈值;
若所述耳道内的第二音频波形与所述参考音频波形的差值小于所述预设 阈值,则根据所述优化滤波器参数更新所述映射关系。
本申请提供一种音频处理装置,包括:
当前环境特征向量获得模块,用于获取传感器发送的环境数据,并根据 所述环境数据得到当前环境特征向量;
当前滤波器参数确定模块,用于根据所述当前环境特征向量从映射关系 中得到对应的当前滤波器参数,所述映射关系是环境特征向量和音频处理的 滤波器参数的对应关系;
控制模块,用于根据所述当前滤波器参数控制对应的滤波器使能。
本申请提供一种智能耳机,包括:
传感器,用于采集环境数据;
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述音频处理方法的步骤。
本申请提供一种音频处理方法,包括:获取传感器发送的环境数据,并 根据环境数据得到当前环境特征向量;根据当前环境特征向量从映射关系中 得到对应的当前滤波器参数,映射关系是环境特征向量和音频处理的滤波器 参数的对应关系;根据当前滤波器参数控制对应的滤波器使能。
可见,本申请根据传感器发送的环境数据进行计算得到当前环境特征向 量,在系统内建立起环境特征向量与音频处理过程中滤波器参数之间的映射 关系,然后根据当前环境特征向量从映射关系中确定当前滤波器参数,然后 使能滤波器实现音频处理,本申请在进行音频处理过程中考虑了环境特征对 音频信号造成的影响,经过音频处理后音频质量极大地提高。
本申请同时还提供了一种音频处理装置、智能耳机,均具有上述有益效 果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面 描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不 付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种音频处理方法的流程图;
图2为本申请实施例提供的一种环境数据的示意图;
图3为本申请实施例提供的一种回声示意图;
图4为本申请实施例提供的一种具体的音频处理流程;
图5为本申请实施例提供的一种音频处理装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申 请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述, 显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。根据 本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例,都属于本申请保护的范围。
在TWS耳机应用过程中,主动降噪以及回声消除功能已经成为高端TWS 耳机产品的必有功能,这两项功能对于提高音频质量,改善耳机使用感受有 着较大的促进作用,但目前传统主流的主动降噪或回声消除算法中,仅仅只 根据音频信号进行处理,忽视了环境特征对音频信号造成的影响,造成音频 质量低的问题。
根据上述技术问题,本实施例提供一种音频处理方法,在进行音频处理 过程中考虑了环境特征对音频信号造成的影响,经过音频处理后音频质量极 大地提高,具体请参考图1,图1为本申请实施例提供的一种音频处理方法的 流程图,具体包括:
S101、获取传感器发送的环境数据,并根据环境数据得到当前环境特征 向量;
本实施例中不对传感器的种类和数量进行限定,用户可自定义设置只要 是能够实现本实施例的目的即可。传感器包括但是不限定于距离传感器、气 压传感器、加速度传感器等中的一种或者多种,具体的,传感器是距离传感 器,或,传感器是距离传感器和气压传感器,或,传感器是距离传感器和加 速度传感器,或,传感器是距离传感器和加速度传感器和气压传感器,或, 传感器是气压传感器,或,传感器是加速度传感器,或,传感器是气压传感 器和加速度传感器。可以理解的是,传感器设置在智能耳机上,具体设置的 位置用户可根据实际情况进行确定,其中,距离传感器用于采集耳机端到耳 道的距离,气压传感器用于采集耳机所处环境的大气压力值,加速度传感器 用于采集使用耳机时的动态位姿数据。其中,环境数据可以是一个周期内的 数据,该数据中的采样点的数量用户可自定义设置,可以理解的是,采样点 针对的是所有的传感器,在一个采样点,所有传感器均采样。
进一步的,为了提高音频处理的精度,本实施例采用三种传感器,具体 的,获取传感器发送的环境数据,包括:获取距离传感器、气压传感器、加 速度传感器发送的三种环境数据。
针对根据环境数据得到当前环境特征向量进行进一步阐述。
本实施例不对当前环境特征向量的获取进行限定,用户可自定义设置。 在一种可实现的实施方式中,根据环境数据得到当前环境特征向量,包括: 获取每一个传感器的环境数据在当前周期内的相对变化值;根据相对变化值 的大小确定每一个传感器对应的权重值;根据所有的环境数据和对应的权重 值进行计算,得到当前环境特征向量。
其中,本实施例中传感器的数量至少大于1。相对变化值具体为在当前周 期内最后一个采样点的数值与第一采样点的数值的差值,差值与第一个采样 点的数值的比值的绝对值。本实施例中不对权重值的确定进行限定,可自定 义设置。
在一种可实现的实施方式中,确定传感器对应的相对变化值的大小,按 照系统设定的固定值来确定每一个传感器的权重值,例如,当传感器是传感 器1和传感器2,传感器1的相对变化值大于传感器2的相对变化值,系统内 设有权重值0.4和0.6,此时赋予传感器1权重值0.6,赋予传感器2权重值 0.4;当传感器是传感器1、传感器2和传感器3,传感器1的相对变化值最大, 传感器2的相对变化值次之,传感器3的相对变化值最小,系统内设有权重 值0.2、0.3和0.5,此时赋予传感器1权重值0.5,赋予传感器2权重值0.3, 赋予传感器3权重值0.2。
在另一种可实现的实施方式中,确定传感器对应的相对变化值,按照相 对变化值占所有的相对变化值的比例确定权重值。例如,当传感器是传感器1 和传感器2,传感器1的相对变化值为0.3,传感器2的相对变化值为0.2,则 传感器1的占比为0.3/(0.3+0.2)=0.6,传感器2的占比为0.2/(0.3+0.2)=0.4,对 应的,赋予传感器1权重值0.6,赋予传感器2权重值0.4。
当得到每一个传感器对应的权重值之后,根据环境数据和权重值进行计 算得到当前环境特征向量,本实施例不对当前环境特征向量的确定进行限定, 用户可自定义设置,只要是能够实现本实施例的目的即可。
在一种可实现的实施方式中,根据所有的环境数据和对应的权重值进行 计算,得到当前环境特征向量,包括:根据环境数据和对应的预设参考值进 行二进制编码,得到子环境特征向量,环境数据包括在多个采样点的采样数 据;根据所有的子环境特征向量和对应的权重值进行计算,得到当前环境特 征向量。
由于传感器类型的不同,对应的预设参考值也会不同。环境数据中包括 多个采样数据,将采样数据与预设参考值进行比较,可以将大于预设参考值 的采样数据对应的值确定为1,不大于预设参考值的采样数据对应的数值确定 为0,此时得到由多个数值组成的子环境特征向量。
例如,请参考图2,图2为本申请实施例提供的一种环境数据的示意图, 其中,传感器1对应的子环境特征向量是P1(1101),传感器2对应的子环 境特征向量是P2(0101),传感器3对应的子环境特征向量是P3(1111)。 若分别对应的权重值为β1、β2、β3,则当前环境特征向量为 P=(β1*P1,β2*P2,β3*P3)。
S102、根据当前环境特征向量从映射关系中得到对应的当前滤波器参数, 映射关系是环境特征向量和音频处理的滤波器参数的对应关系;
系统内存储有映射关系,本实施例不对存储的映射关系进行限定,可以 是环境特征与主动降噪和回声消除等音频处理过程中滤波器参数之间的映射 关系;可以是环境特征与主动降噪的降噪滤波器参数之间的映射关系;还可 以是环境特征与回声消除过程中的回声滤波器参数之间的映射关系。本实施 例映射关系的存储可以采用表格的形式,还可以采用键值对的形式。
本实施例不对从映射关系中确定当前滤波器参数的方式进行限定,用户 可自定义设置。
在一种可实现的实施方式中,根据当前环境特征向量从映射关系中得到 对应的当前滤波器参数,包括:计算当前环境特征向量与映射关系中的环境 特征向量的相似值;从所有的相似值中得到最高相似值,并根据最高相似值 对应的环境特征向量从映射关系中得到当前滤波器参数。本实施例中得到特 征向量后,会逐个与当前内存中所存储的环境特征向量进行汉明距离的计算, 以汉明距离的大小来衡量相似度,然后选出相似度最高的环境特征向量所映 射的滤波器参数进行使能,这样可以更加高效的进行滤波器参数选择。
进一步的,映射关系的建立包括:根据白噪声参数、特定回声环境参数, 在不同的设定的环境参数的情况下得到所述滤波器参数;根据环境参数确定 所述环境特征向量;根据滤波器参数和环境特征向量得到映射关系。可以理 解的是,根据滤波器参数和环境特征向量得到映射关系具体可以包括:将滤 波器参数和环境特征向量做成映射关系,此时,是在理想条件下训练得到的 参数,可以作为一个较好的初值,有利于节省计算资源。根据滤波器参数和 环境特征向量得到映射关系具体可以包括:将滤波器参数和环境特征向量做成初始映射关系,然后对所述初始映射关系进行更新,得到映射关系。
S103、根据当前滤波器参数控制对应的滤波器使能。
在一种可实现的实施方式中,若当前滤波器参数是降噪滤波器参数,则 根据降噪滤波器参数控制主动降噪滤波器使能;在另一种可实现的实施方式 中,若当前滤波器参数是回声滤波器参数,则根据回声滤波器参数控制回声 模拟滤波器使能;在另一种可实现的实施方式中,若当前滤波器参数是回声 滤波器参数和降噪滤波器参数,则根据降噪滤波器参数控制主动降噪滤波器 使能,根据回声滤波器参数控制回声模拟滤波器使能。
基于上述技术方案,本实施例根据传感器发送的环境数据进行计算得到 当前环境特征向量,在系统内建立起环境特征向量与音频处理过程中滤波器 参数之间的映射关系,然后根据当前环境特征向量从映射关系中确定当前滤 波器参数,然后使能滤波器实现音频处理,本申请在进行音频处理过程中考 虑了环境特征对音频信号造成的影响,经过音频处理后音频质量极大地提高。
进一步的,为了于节约计算资源,提高优化精度,根据当前滤波器参数 控制对应的滤波器使能之后,还包括:获取麦克风采集到的耳道内的第一音 频波形,判断第一音频波形和参考音频波形的差值是否小于预设阈值;若差 值不小于预设阈值,则将当前滤波器参数、第一音频波形、参考音频波形发 送至计算设备,以使计算设备根据当前滤波器参数、第一音频波形、参考音 频波形进行监督式学习优化,得到优化滤波器参数;接收到优化滤波器参数, 并根据优化滤波器参数控制对应的滤波器使能;判断第一音频波形和参考音频波形的差值是否小于预设阈值;若耳道内的第二音频波形与参考音频波形 的差值小于预设阈值,则根据优化滤波器参数更新映射关系。
本实施例中,采用自适应模式进行音频处理,具体是,在内存中提前存 储好在理想条件下训练得出的滤波器参数,这样可以提供一个较好的滤波器 参数的初值,有利于节约计算资源,提高优化精度,然后在降噪滤波器和回 声消除滤波器使能工作后,智能耳机中的后馈麦克风会采集耳道内的第一音 频波形,并和参考音频流进行比对处理,只有第一音频波形和参考音频波形 的差值不小于预设阈值,耳机端会通过SPP通道高效地将第一音频波形、参考 音频波形和当前滤波器参数等信息传送给计算设备(手机端或者云端等),然后利用计算设备的算力进行监督式的迭代优化,并将每一次的优化结果通 过spp回传给智能耳机端进行滤波器参数的更新再使能,当耳机端的降噪和去 回声的差值小于预设阈值时,将降噪滤波器和去回声滤波器的参数做最终的 更新,并与特征值建立映射关系后以键值的形式存入内存中。
可以理解的是,在本申请中还可以有快速应用模式中,也就是用户在进 行降噪和回声消除功能时,会基于已有的滤波器参数进行使能,这些参数是 基于最近的一次自适应监督优化后形成的参数而形成的。智能耳机中的传感 器在感知环境特征并按照上文中的方法计算出当前环境特征向量后,会逐个 与当前内存中所存储的环境特征向量进行汉明距离的计算,以汉明距离的大 小来衡量相似度,然后选出相似度最高的特征向量所映射的滤波器参数进行 使能,这样可以更加高效的进行滤波器参数选择,但丧失了第一种模式中的 自适应监督学习优化的特性。两种模式互相搭配,可以灵活的满足用户的高 性能降噪和回声消除需求。本实施例不对自适应监督学习优化进行限定,用 户可以根据实际情况进行设置,只要是能够实现本实施例的目的即可。
进一步的,本实施例中的音频处理可以包括自主降噪和回声消除。在监 督优化过程中,降噪部分优化目的主要是通过参考音频波形确定噪声声波后, 通过设定滤波器参数来播放出反噪声声波,通过相反的相位进行噪声抵消。
在回声消除的滤波器参数自适应监督优化中,优化目的主要是通过参考 音频波形确定回声后,通过设定滤波器参数来模拟出回声,并在最终的音频 中根据滤波器模拟出的音频剔除回声。请参考图3,图3为本申请实施例提供 的一种回声示意图。根据y(n)=x+f(x(n))(1), y(n)=x+a*x(n)+b*x(n-1)+c*x(n-2)+...(2), y(n)-a*x(n)+b*x(n-1)+c*x(n-2)+...=e(3),得到剔除回声后的音频流。
其中,上式中x为需要播放的音源流,x(n)为播放出来后形成的远端音频 流,y(n)为麦克风最终捕获的近端音频流,f(x(n))为用于模拟回声的多节滤波 器,e为当前估计出的剔除回声后的音频流,a、b、c为常数,n为变量值。其 中x(n)可能因为周围环境的多种多样,以及可能由于环境特征的不同(气压、 距离等)产生不同的反射情况,因此体现在公式上就有可能有不同的阶数, 本实施例中会提前在各种特征量的理想条件下进行预训练,也就是根据白噪 声参数、特定回声环境参数,在不同的设定的环境参数的情况下得到所述滤波器参数;根据环境参数确定所述环境特征向量;以滤波器参数和环境特征 向量作为初始映射关系,基于初始映射关系提供一个良好的初值(滤波器参 数),也可以初步确定一个合理的滤波器阶数,根据这些信息,利用公式(3) 作为代价函数,以x和后馈麦克风捕获的人声音频作为标签音频流,利用最陡 下降等方法进行监督式的学习优化,并在设定预设阈值后,得出相对当前环 境特征最优的滤波器参数值,从而优化滤波器性能。
基于上述任一实施例,本实施例提供一种具体的音频处理流程,请参考 图4,图4为本申请实施例提供的一种具体的音频处理流程。
智能耳机的距离传感器、加速度传感器和气压传感器可以同时在智能耳 机的使用过程中捕获使用环境的特征数据即环境数据,从而可以感知用户的 降噪及回声消除的需求发生时的环境因素,由于气压、距离位置和用户的位 姿状态对于降噪和回声消除过程有着重要的相关性,因此利用多传感器感知 这些类别的环境数据,并计算出相应的当前环境特征向量可以更加精确的调 整不同环境特征下的降噪和回声消除的滤波器参数。
具体的,在时间维度,将多传感器的感知过程分成不同的周期,然后在 以每个周期计算多传感器感知的数据的梯度信息(相对变化值),当某一类 别的传感器所计算出来的梯度信息较大时,则认为此时的使用环境中该传感 器所感知的特征对于用户的降噪和回声消除效果起到相对主导的影响,赋予 其较大的权重值。在计算特征向量时,对每一类传感器所捕获的数据采用预 设参考值进行二进制编码的方法进行子环境特征向量计算,最后将每一类传 感器的子环境特征向量通过整体的权重系数进行组合,形成最终的当前环境 特征向量。
如图4所示,本实施例设计了用户使用降噪和回声消除时的两种模式,其 中自适应模式可以让用户在当前的环境特征下不断调整降噪和回声消除时的 滤波器系数。在自适应模式使用前,智能耳机中在内存中提前存储好在理想 条件下训练得出的参数,这样可以提供一个较好的初值,有利于节约计算资 源,提高优化精度,然后在降噪滤波器和回声消除滤波器使能工作后,耳机 中的后馈mic会采集耳道内的第一音频波形,并和参考音频流(标签波形信息) 进行比对处理,耳机端会通过SPP通道高效地将初值、第一音频波形和参考音 频流等信息传送给手机端,然后利用手机端的算力进行监督式的迭代优化, 并将每一次的优化结果(优化滤波器参数)通过spp回传给耳机端进行滤波器 参数的更新再使能,当耳机端的降噪和去回声的代价值达到所设定的预设阈 值时,会将降噪滤波器和去回声滤波器的参数做最终的更新,并与特征值建 立映射关系后以键值的形式存入内存中。
在快速应用模式中,用户在进行降噪和回声消除功能时,会基于已有的 滤波器参数进行使能,这些参数是基于最近的一次自适应监督优化后形成的 参数而形成的。用户智能耳机中的多传感器在感知环境特征得到当前环境特 征向量后,会逐个与当前内存中所存储的环境特征向量进行汉明距离的计算, 以汉明距离的大小来衡量相似度,然后选出相似度最高的特征向量所映射的 滤波器参数进行使能,这样可以更加高效的进行滤波器参数选择,但丧失了 第一种模式中的自适应监督学习优化的特性。两种模式互相搭配,可以灵活 的满足用户的高性能降噪和回声消除需求。
本实施例将影响音频处理性能的环境因素进行表征和处理,使得主动降 噪和回声消除时的滤波器参数的选择更具有针对性和有效性,同时本实施例 设计了两种模式,充分利用了多传感器的环境感知能力,并通过可靠传输协 议进行了标签监督式学习的算力转移,提高了主动降噪和回声消除的性能。 并且,本专利利用耳机与手机,手机与云端的spp等可靠传输协议,较为稳定 高效进行算力成本的转移分布,从而应用监督式的深度学习方法,为tws耳机 的音频处理过程提供良好的参数优化路径。
下面对本申请实施例提供的一种音频处理装置进行介绍,下文描述的音 频处理装置与上文描述的音频处理方法可相互对应参照,参考图5,图5为本 申请实施例提供的一种音频处理装置的结构示意图,包括:
当前环境特征向量获得模块201,用于获取传感器发送的环境数据,并根 据环境数据得到当前环境特征向量;
当前滤波器参数确定模块202,用于根据当前环境特征向量从映射关系中 得到对应的当前滤波器参数,映射关系是环境特征向量和音频处理的滤波器 参数的对应关系;
控制模块203,用于根据当前滤波器参数控制对应的滤波器使能。
优选地,当前环境特征向量获得模块201,包括:
相对变化值获取单元,用于获取每一个传感器的环境数据在当前周期内 的相对变化值;
权重值确定单元,用于根据相对变化值的大小确定每一个传感器对应的 权重值;
计算单元,用于根据所有的环境数据和对应的权重值进行计算,得到当 前环境特征向量。
优选地,计算单元,包括:
子环境特征向量获取子单元,用于根据环境数据和对应的预设参考值进 行二进制编码,得到子环境特征向量,环境数据包括在多个采样点的采样数 据;
计算子单元,用于根据所有的子环境特征向量和对应的权重值进行计算, 得到当前环境特征向量。
进一步的,当前滤波器参数确定模块202,包括:
相似值计算单元,用于计算当前环境特征向量与映射关系中的环境特征 向量的相似值;
当前滤波器参数确定单元,用于从所有的相似值中得到最高相似值,并 根据最高相似值对应的环境特征向量从映射关系中得到当前滤波器参数。
进一步的,还包括:
滤波器参数获得模块,用于根据白噪声参数、特定回声环境参数,在不 同的设定的环境参数的情况下得到所述滤波器参数;
环境特征向量确定模块,用于根据环境参数确定所述环境特征向量;
映射关系获得模块,用于根据滤波器参数和环境特征向量得到映射关系。
优选地,控制模块203包括:
第一使能单元,用于根据降噪滤波器参数控制主动降噪滤波器使能;
第二使能单元,用于根据回声滤波器参数控制回声模拟滤波器使能。
优选地,当前环境特征向量获得模块201,包括:
环境数据获取单元,用于获取距离传感器、气压传感器、加速度传感器 发送的三种环境数据。
优选地,还包括:
第一音频波形获得模块,用于获取麦克风采集到的耳道内的第一音频波 形,
第一判断模块,用于判断第一音频波形和参考音频波形的差值是否小于 预设阈值;
发送模块,用于若差值不小于预设阈值,则将当前滤波器参数、第一音 频波形、参考音频波形发送至计算设备,以使计算设备根据当前滤波器参数、 第一音频波形、参考音频波形进行监督式学习优化,得到优化滤波器参数;
接收模块,用于接收到优化滤波器参数,并根据优化滤波器参数控制对 应的滤波器使能;
第二判断模块,用于判断第一音频波形和参考音频波形的差值是否小于 预设阈值;
更新模块,用于若耳道内的第二音频波形与参考音频波形的差值小于预 设阈值,则根据优化滤波器参数更新映射关系。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的 实施例请参见方法部分的实施例的描述,这里暂不赘述。
下面对本申请实施例提供的一种智能耳机进行介绍,下文描述的智能耳 机与上文描述的音频处理方法可相互对应参照。
本实施例提供一种智能耳机,包括:
传感器,用于采集环境数据;
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述音频处理方法的步骤。
由于智能耳机部分的实施例与音频处理方法部分的实施例相互对应,因 此智能耳机部分的实施例请参见音频处理方法部分的实施例的描述,这里暂 不赘述。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是 与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对 于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的 比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示 例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现, 为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性 地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行, 取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定 的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本 申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、 处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存 储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编 程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任 意其它形式的存储介质中。
以上对本申请提供的一种音频处理方法、音频处理装置、智能耳机进行 了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述, 以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出, 对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可 以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的 保护范围内。

Claims (10)

1.一种音频处理方法,其特征在于,包括:
获取传感器发送的环境数据,并根据所述环境数据得到当前环境特征向量;
根据所述当前环境特征向量从映射关系中得到对应的当前滤波器参数,所述映射关系是环境特征向量和音频处理的滤波器参数的对应关系;
根据所述当前滤波器参数控制对应的滤波器使能。
2.根据权利要求1所述的音频处理方法,其特征在于,所述根据所述环境数据得到当前环境特征向量,包括:
获取每一个所述传感器的所述环境数据在当前周期内的相对变化值;
根据所述相对变化值的大小确定每一个所述传感器对应的权重值;
根据所有的所述环境数据和对应的所述权重值进行计算,得到所述当前环境特征向量。
3.根据权利要求2所述的音频处理方法,其特征在于,所述根据所有的所述环境数据和对应的所述权重值进行计算,得到所述当前环境特征向量,包括:
根据所述环境数据和对应的预设参考值进行二进制编码,得到子环境特征向量,所述环境数据包括在多个采样点的采样数据;
根据所有的所述子环境特征向量和对应的所述权重值进行计算,得到所述当前环境特征向量。
4.根据权利要求1所述的音频处理方法,其特征在于,所述根据所述当前环境特征向量从映射关系中得到对应的当前滤波器参数,包括:
计算所述当前环境特征向量与所述映射关系中的所述环境特征向量的相似值;
从所有的所述相似值中得到最高相似值,并根据所述最高相似值对应的所述环境特征向量从所述映射关系中得到所述当前滤波器参数。
5.根据权利要求1所述的音频处理方法,其特征在于,还包括:
根据白噪声参数、特定回声环境参数,在不同的设定的环境参数的情况下得到所述滤波器参数;
根据环境参数确定所述环境特征向量;
根据所述滤波器参数和所述环境特征向量得到所述映射关系。
6.根据权利要求1所述的音频处理方法,其特征在于,根据所述当前滤波器参数控制对应的滤波器使能包括:
根据降噪滤波器参数控制主动降噪滤波器使能;
根据回声滤波器参数控制回声模拟滤波器使能。
7.根据权利要求1所述的音频处理方法,其特征在于,所述获取传感器发送的环境数据,包括:
获取距离传感器、气压传感器、加速度传感器发送的三种所述环境数据。
8.根据权利要求1至7任一项所述的音频处理方法,其特征在于,所述根据所述当前滤波器参数控制对应的滤波器使能之后,还包括:
获取麦克风采集到的耳道内的第一音频波形;
判断所述第一音频波形和参考音频波形的差值是否小于预设阈值;
若所述差值不小于所述预设阈值,则将所述当前滤波器参数、所述第一音频波形、所述参考音频波形发送至计算设备,以使所述计算设备根据所述当前滤波器参数、所述第一音频波形、所述参考音频波形进行监督式学习优化,得到优化滤波器参数;
接收到所述优化滤波器参数,并根据所述优化滤波器参数控制对应的所述滤波器使能;
判断所述第一音频波形和参考音频波形的差值是否小于预设阈值;
若所述耳道内的第二音频波形与所述参考音频波形的差值小于所述预设阈值,则根据所述优化滤波器参数更新所述映射关系。
9.一种音频处理装置,其特征在于,包括:
当前环境特征向量获得模块,用于获取传感器发送的环境数据,并根据所述环境数据得到当前环境特征向量;
当前滤波器参数确定模块,用于根据所述当前环境特征向量从映射关系中得到对应的当前滤波器参数,所述映射关系是环境特征向量和音频处理的滤波器参数的对应关系;
控制模块,用于根据所述当前滤波器参数控制对应的滤波器使能。
10.一种智能耳机,其特征在于,包括:
传感器,用于采集环境数据;
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至8任一项所述音频处理方法的步骤。
CN202010725588.2A 2020-07-24 2020-07-24 一种音频处理方法、音频处理装置、智能耳机 Active CN111885459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010725588.2A CN111885459B (zh) 2020-07-24 2020-07-24 一种音频处理方法、音频处理装置、智能耳机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010725588.2A CN111885459B (zh) 2020-07-24 2020-07-24 一种音频处理方法、音频处理装置、智能耳机

Publications (2)

Publication Number Publication Date
CN111885459A true CN111885459A (zh) 2020-11-03
CN111885459B CN111885459B (zh) 2021-12-03

Family

ID=73201399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010725588.2A Active CN111885459B (zh) 2020-07-24 2020-07-24 一种音频处理方法、音频处理装置、智能耳机

Country Status (1)

Country Link
CN (1) CN111885459B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112951195A (zh) * 2021-02-24 2021-06-11 辽宁省视讯技术研究有限公司 一种车载主动降噪动态调控方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0622779B1 (en) * 1993-04-27 2002-06-12 Raytheon Company Multiple adaptive filter active noise canceller
WO2005124487A1 (en) * 2004-06-22 2005-12-29 Rabit Joint Venture Limited Signal processing methods and apparatus
CN105321527A (zh) * 2014-06-26 2016-02-10 广东美的制冷设备有限公司 终端运行环境提示方法和系统
WO2016172591A1 (en) * 2015-04-24 2016-10-27 Dolby Laboratories Licensing Corporation Augmented hearing system
US20180182371A1 (en) * 2016-12-22 2018-06-28 Synaptics Incorporated Methods and systems for end-user tuning of an active noise cancelling audio device
CN108401204A (zh) * 2018-01-22 2018-08-14 广东思派康电子科技有限公司 一种新型主动降噪耳机
CN108495227A (zh) * 2018-05-25 2018-09-04 会听声学科技(北京)有限公司 主动降噪方法、主动降噪系统和耳机
WO2019000165A1 (zh) * 2017-06-26 2019-01-03 深圳市永恒丰科技有限公司 音频信息播放音量的控制方法
CN110521215A (zh) * 2017-04-20 2019-11-29 伯斯有限公司 压力自适应主动噪声消除的耳机系统和方法
US20200098346A1 (en) * 2017-11-01 2020-03-26 Bose Corporation Adaptive null forming and echo cancellation for selective audio pick-up
CN111128216A (zh) * 2019-12-26 2020-05-08 上海闻泰信息技术有限公司 一种音频信号的处理方法、处理装置及可读存储介质
CN111163391A (zh) * 2020-04-03 2020-05-15 恒玄科技(北京)有限公司 用于耳机降噪的方法和降噪耳机

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0622779B1 (en) * 1993-04-27 2002-06-12 Raytheon Company Multiple adaptive filter active noise canceller
WO2005124487A1 (en) * 2004-06-22 2005-12-29 Rabit Joint Venture Limited Signal processing methods and apparatus
CN105321527A (zh) * 2014-06-26 2016-02-10 广东美的制冷设备有限公司 终端运行环境提示方法和系统
WO2016172591A1 (en) * 2015-04-24 2016-10-27 Dolby Laboratories Licensing Corporation Augmented hearing system
US20180182371A1 (en) * 2016-12-22 2018-06-28 Synaptics Incorporated Methods and systems for end-user tuning of an active noise cancelling audio device
CN110521215A (zh) * 2017-04-20 2019-11-29 伯斯有限公司 压力自适应主动噪声消除的耳机系统和方法
WO2019000165A1 (zh) * 2017-06-26 2019-01-03 深圳市永恒丰科技有限公司 音频信息播放音量的控制方法
US20200098346A1 (en) * 2017-11-01 2020-03-26 Bose Corporation Adaptive null forming and echo cancellation for selective audio pick-up
CN108401204A (zh) * 2018-01-22 2018-08-14 广东思派康电子科技有限公司 一种新型主动降噪耳机
CN108495227A (zh) * 2018-05-25 2018-09-04 会听声学科技(北京)有限公司 主动降噪方法、主动降噪系统和耳机
CN111128216A (zh) * 2019-12-26 2020-05-08 上海闻泰信息技术有限公司 一种音频信号的处理方法、处理装置及可读存储介质
CN111163391A (zh) * 2020-04-03 2020-05-15 恒玄科技(北京)有限公司 用于耳机降噪的方法和降噪耳机

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAO SUN: "An Automated Hearing Test Equipment Based on Active Noise Control Technology", 《2019 IEEE INTERNATIONAL INSTRUMENTATION AND MEASUREMENT TECHNOLOGY CONFERENCE (I2MTC)》 *
无: "耳机Bose Noise Cancelling Headphones 700", 《设计》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112951195A (zh) * 2021-02-24 2021-06-11 辽宁省视讯技术研究有限公司 一种车载主动降噪动态调控方法及系统

Also Published As

Publication number Publication date
CN111885459B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN106782504B (zh) 语音识别方法和装置
US10848887B2 (en) Blocked microphone detection
CN102024457B (zh) 信息处理设备和信息处理方法
JP6572894B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8204241B2 (en) Sound outputting apparatus, sound outputting method, sound output processing program and sound outputting system
CN112185406A (zh) 声音处理方法、装置、电子设备和可读存储介质
CN112634923B (zh) 基于指挥调度系统的音频回声消除方法、设备、存储介质
CN113241085B (zh) 回声消除方法、装置、设备及可读存储介质
CN110519450A (zh) 超声波处理方法、装置、电子设备及计算机可读介质
CN111477243A (zh) 音频信号处理方法及电子设备
CN109104683A (zh) 一种双麦克风相位测量校正的方法及校正系统
CN111885459B (zh) 一种音频处理方法、音频处理装置、智能耳机
CN108696813A (zh) 用于运行听力设备的方法和听力设备
CN115474121A (zh) 主动降噪方法、装置、芯片、耳机及存储介质
WO2022256577A1 (en) A method of speech enhancement and a mobile computing device implementing the method
Berglund et al. Sound source localisation through active audition
CN108257617A (zh) 一种噪声场景识别系统及方法
CN113314121B (zh) 无声语音识别方法、装置、介质、耳机及电子设备
CN115119124A (zh) 具有传感器的助听器
EP4295359A1 (en) System and method for data augmentation and speech processing in dynamic acoustic environments
CN114302286A (zh) 一种通话语音降噪方法、装置、设备及存储介质
CN113660597A (zh) 无线耳机的入耳检测方法、装置及存储介质
CN115996349A (zh) 包括反馈控制系统的听力装置
CN115620739A (zh) 指定方向的语音增强方法及电子设备和存储介质
CN112291676B (zh) 抑制音频信号拖尾的方法及系统、芯片、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant