CN115250412A - 音频处理方法、装置、无线耳机及计算机可读介质 - Google Patents

音频处理方法、装置、无线耳机及计算机可读介质 Download PDF

Info

Publication number
CN115250412A
CN115250412A CN202110454299.8A CN202110454299A CN115250412A CN 115250412 A CN115250412 A CN 115250412A CN 202110454299 A CN202110454299 A CN 202110454299A CN 115250412 A CN115250412 A CN 115250412A
Authority
CN
China
Prior art keywords
sound
audio
parameter
signal
reverberant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110454299.8A
Other languages
English (en)
Inventor
练添富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110454299.8A priority Critical patent/CN115250412A/zh
Priority to PCT/CN2022/081575 priority patent/WO2022227921A1/zh
Priority to EP22794398.2A priority patent/EP4319195A1/en
Publication of CN115250412A publication Critical patent/CN115250412A/zh
Priority to US18/382,881 priority patent/US20240056762A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请公开了一种音频处理方法、装置、无线耳机及计算机可读介质，涉及耳机技术领域，该方法包括：基于声源设备发送的无线信号确定所述无线耳机的空间位置参数，所述空间位置参数用于指示所述无线耳机与所述声源设备之间的空间位置关系；基于所述空间位置参数确定所述无线耳机的空间音频参数，得到目标空间音频参数；根据所述目标空间音频参数和所述声源设备输出的音频信号确定待播放音频信号。本申请根据无线耳机和声源设备之间的无线信号确定二者之间的空间位置，相比图像传感器和运动传感器，不仅未在无线耳机内额外安装硬件设备，即未导致无线耳机的成本增加，而且，所确定的空间位置更加准确。

Description

音频处理方法、装置、无线耳机及计算机可读介质
技术领域
本申请涉及耳机技术领域，更具体地，涉及一种音频处理方法、装置、无线耳机及计算机可读介质。
背景技术
目前，用户在佩戴耳机的时候，结合头部跟踪技术和空间声渲染技术，能够使得用户在使用耳机的时候，感受到声源设备的位置和距离，实现更好的听觉效果。然而，目前的头部跟踪技术往往是采用图像传感器或安装在头部的运动传感器，效果不佳。
发明内容
本申请提出了一种音频处理方法、装置、无线耳机及计算机可读介质，以改善上述缺陷。
第一方面，本申请实施例提供了一种音频处理方法，应用于无线耳机，所述方法包括：基于声源设备发送的无线信号确定所述无线耳机的空间位置参数，所述空间位置参数用于指示所述无线耳机与所述声源设备之间的空间位置关系；基于所述空间位置参数确定所述无线耳机的空间音频参数，得到目标空间音频参数；根据所述目标空间音频参数和所述声源设备输出的音频信号确定待播放音频信号。
第二方面，本申请实施例还提供了一种音频处理装置，应用于无线耳机，所述装置包括：获取单元、确定单元和处理单元。获取单元，用于基于声源设备发送的无线信号确定所述无线耳机的空间位置参数，所述空间位置参数用于指示所述无线耳机与所述声源设备之间的空间位置关系声源设备。确定单元，用于基于所述空间位置参数确定所述无线耳机的空间音频参数，得到目标空间音频参数。处理单元，用于根据所述目标空间音频参数和所述声源设备输出的音频信号确定待播放音频信号。
第三方面，本申请实施例还提供了一种无线耳机，包括：音频处理模块和扬声器，所述无线通信模块与所述音频处理模块连接所述无线通信模块用于获取声源设备发送的无线信号；所述音频处理模块用于基于上述方法确定待播放音频信号。
第四方面，本申请实施例还提供了一种计算机可读介质，所述可读存储介质存储有处理器可执行的程序代码，所述程序代码被所述处理器执行时使所述处理器执行上述方法。
本申请提供的音频处理方法、装置、无线耳机及计算机可读介质，基于与所述声源设备之间的无线通信链路获取所述声源设备发送的音频信号，确定所述无线耳机与所述声源设备之间的空间位置参数，然后，基于所述空间位置参数确定所述无线耳机的空间音频参数，得到目标空间音频参数，从而能够无线耳机与所述声源设备之间的空间位置调整无线耳机的空间音频参数，再根据所述目标空间音频参数播放所述音频信号，使得无线耳机播放音频信号的时候，音频信号对应的音频特性能够与无线耳机与所述声源设备之间的空间位置相关，实现空间声渲染效果。并且，本申请根据无线耳机和声源设备之间的无线信号确定二者之间的空间位置，相比图像传感器和运动传感器，不仅未在无线耳机内额外安装硬件设备，即未导致无线耳机的成本增加，而且，所确定的空间位置更加准确。
本申请实施例的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的无线耳机的结构示意图；
图2示出了本申请实施例提供的无线耳机的音频电路的示意图；
图3示出了本申请一实施例提供的无线耳机的音频处理模块的示意图；
图4示出了本申请另一实施例提供的无线耳机的音频处理模块的示意图；
图5示出了本申请又一实施例提供的无线耳机的音频处理模块的示意图；
图6示出了本申请一实施例提供的音频处理方法的方法流程图；
图7示出了本申请实施例提供的声源设备的示意图；
图8示出了本申请另一实施例提供的音频处理方法的方法流程图；
图9示出了本申请实施例提供的声音到达左右耳的时间差的示意图；
图10示出了本申请又一实施例提供的音频处理方法的方法流程图；
图11示出了本申请实施例提供的到达角的示意图；
图12示出了本申请再一实施例提供的音频处理方法的方法流程图；
图13示出了本申请再又一实施例提供的音频处理方法的方法流程图；
图14示出了本申请实施例提供的混响声场的示意图；
图15示出了本申请实施例提供的音频处理装置的模块框图；
图16示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的音频处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
目前，用户在佩戴耳机的时候，结合头部跟踪技术和空间声渲染技术，能够使得用户在使用耳机的时候，感受到声源设备的位置和距离，实现更好的听觉效果。
例如，通过图像传感器实现头部跟踪并使用预先创建的头相关传递函数(HeadRelated Transfer Functions，HRTF)HRTF数据库和滤波器用于过滤3D音频源以进行更真实的音频渲染。再例如，在耳机上设置头部根据装置(例如，数字陀螺仪)，头部跟踪角度可根据从安装在头戴式耳机组件中的数字陀螺仪获得的传感器数据来确定，再选择预置的HRTF实现双耳空间声滤波器，以便呈现稳定的立体声像。
然而，发明人在研究中发现，目前的头部跟踪技术往往是采用图像传感器或安装在头部的运动传感器，效果不佳。具体地，采用电子设备的摄像头拍摄外围环境场景图像并获取头部位置及姿态信息的技术，首先，会增加电子设备的功耗降低续航时间；其次，头部转动方位识别准确度受摄像头清晰度与图像识别算法的影响，同时，仅通过摄像头配合方位识别算法无法计算音视频设备与耳机佩戴者的距离，以上几点因素导致渲染空间声效果变差，影响用户体验。
另外，采用运动传感器实现头部跟踪的方法，运动传感器主要包括加速度计、陀螺仪和磁力传感器等，这些传感器在运动跟踪和角度方向方面具有固有的缺点。例如，加速度计提供一个重力向量，而磁力计则是一个指南针，这两种传感器的信息可以用来计算设备的方向，然而这两个传感器的输出并不精确，包含了大量的噪音；而陀螺仪提供沿着三个轴旋转的角速度，提供的信息非常准确并且反应很快，但长时间会产生漂移误差，其原因在于需要对角速度进行积分来得到方向信息，而积分过程会导致微小数值误差，误差长时间的积累就形成了比较明显的漂移。
再者，使用耳机虚拟环绕声听音时，当头部旋转时，耳机里的虚拟环绕声会跟着头部旋转，导致人在现场听音乐的感觉不同，虚拟环绕声不能使用户感受到人与音视频播放设备的距离，空间声渲染不够真实。
因此，为了克服上述缺陷，本申请实施例提供了一种音频处理方法、装置、无线耳机及计算机可读介质，能够根据无线耳机和声源设备之间的无线信号确定二者之间的空间位置，相比图像传感器和运动传感器，不仅未在无线耳机内额外安装硬件设备，即未导致无线耳机的成本增加，而且，所确定的空间位置更加准确。
具体地，为便于描述本申请的方法实施例，首先介绍本申请实施例提供的无线耳机，该无线耳机能够确定无线耳机和声源设备之间的空间位置参数，还能够实现空间声渲染，以提供用户佩戴时与声源设备的角度和距离等空间位置不同的情况下，声音的变化。
请参阅图1，图1示出了本申请实施例提供的一种无线耳机10，该无线耳机10包括壳体100和位于所述壳体100的音频电路200和无线通信模块300。作为一种实施方式，该音频电路200和无线通信模块300设置于所述壳体100内，音频电路200用于基于待播放的音频数据发声，以播放该音频数据，无线通信模块300用于将无线耳机与其他的支持无线通信的电子设备建立无线通信链路，以便无线耳机通过该无线通信链路与其他电子设备交互数据。作为一种实施方式，该电子设备可以是智能手机、平板电脑、电子书等能够运行音频类应用程序的设备，则该电子设备可以是能够播放音频的设备。
作为一种实施方式，如图2所示，该音频电路200包括音频处理模块210、存储器230、扬声器240和供电电路220，存储器230、扬声器240和供电电路220均与音频处理模块210连接。
作为一种实施方式，该音频处理模块210用于设置音频参数以及控制扬声器240播放音频，该音频参数作为音频数据被播放时的参数，例如，该音频参数可以包括音量大小、音效参数等。具体地，该音频参数可以包括多个子参数，每个子参数对应待播放音频信号的一个组成部分，每个所述子参数对应一个声音生成模块；每个所述声音生成模块用于基于所述音频信号和该声音生成模块对应的子参数生成声音信号，每个所述声音生成模块生成的声音信号作为所述待播放音频信号。
在一些实施例中，待播放音频信号由直达声、反射声和混响声组成，则音频处理模块210可以包括直达声模块、反射声模块和混响声模块，直达声模块用于基于直达声音频参数输出直达声；所述反射声模块用于基于反射声音频参数输出反射声；所述混响声模块用于基于混响声音频参数输出混响声，直达声、反射声和混响声组成待播放音频信号。该音频处理模块210可以是无线耳机内的程序模块，则音频处理模块210的各个功能可以通过程序模块来实现，例如，该音频处理模块可以是无线耳机的存储器内的程序集合，该程序集合能够被无线耳机的处理器调用，以实现音频处理模块的功能，即实现本申请的方法实施例的功能。
在另一些实施例中，该音频处理模块210可以是无线耳机内的硬件模块，则该音频处理模块210内的各个功能都可以通过硬件电路来实现，例如，直达声模块、反射声模块和混响声模块以及后续的其他元件都可以是硬件电路。所述音频处理模块包括音频调整器和处理器，所述音频调整器与所述处理器连接；处理器用于基于所述无线通信模块接收的声源设备发送的无线信号确定所述无线耳机的空间位置参数，基于所述空间位置参数确定所述无线耳机的空间音频参数，得到目标空间音频参数；所述音频调整器用于基于根据所述目标空间音频参数和所述声源设备输出的音频信号确定待播放音频信号。
具体地，如图3所述，音频处理模块210包括：处理器211、直达声模块212、反射声模块213和混响声模块214，直达声模块212、反射声模块213和混响声模块214均与处理器211连接，处理器211用于输入直达声音频参数至直达声模块212、输入反射声音频参数至反射声模块213以及输入混响声音频参数至混响声模块214。直达声模块212用于基于直达声音频参数输出直达声；所述反射声模块213用于基于反射声音频参数输出反射声；所述混响声模块214用于基于混响声音频参数输出混响声。
作为一种实施方式，一个或多个应用程序可以被存储在存储器203中并被配置为由一个或多个处理器211执行，一个或多个程序配置用于执行本申请实施例所描述的方法，该方法的具体实施方式请参考后续实施例。
处理器211可以包括一个或者多个处理核。处理器211利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器203内的指令、程序、代码集或指令集，以及调用存储在存储器203内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器211可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器211可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器211中，单独通过一块通信芯片进行实现。
存储器203可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器203可用于存储指令、程序、代码、代码集或指令集。存储器203可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
作为一种实施方式，如图4所示，音频处理模块210还包括第一混合器215，该直达声模块212包括延时模块2121，延时模块2121分别与所述反射声模块213的输入端和所述第一混合器215的第一输入端连接，反射声模块213的输出端分别与所述混响声模块214的输入端和所述第一混合器215的第二输入端连接，所述混响声模块214的输出端与所述第一混合器215的第三输入端连接。
所述延时模块2121用于基于直达声音频参数将所述音频信号延时，得到直达声信号，从而模拟不同的距离下的直达声以及双耳的直达声区别；所述反射声模块213用于基于反射声音频参数对所述直达声信号的全频段部分进行音量调整和延时处理，得到反射声信号；所述混响声模块214用于基于混响声音频参数对所述反射声信号的指定频段部分进行音量调整和延时处理，得到混响声信号；所述第一混合器215用于混合所述直达声信号、反射声信号和混响声信号并输出混合后的空间音频信号。
如图5所示，反射声模块213包括第一滤波器组和第二混合器2132，第一滤波器包括N个并联的第一全通滤波器2131，每个所述第一全通滤波器2131与所述第二混合器2132的一个输入端连接，所述第二混合器2132的输出端分别与所述混响声模块214的输入端和所述第一混合器215的第二输入端连接，其中，N为正整数，第一滤波器组与所述延时模块2121连接。第一全通滤波器2131能够对输入的信号调整增益和延时等操作，从而能够模拟声源设备输出的信号被反射后的反射声，通过多个第一全通滤波器2131能够增加反射声的密度，即能够播放多个不同反射长度和角度的反射声。延时模块2121输出的直达声经过第一全通滤波器2131的音量调整和延时等操作之后，形成反射声，多个第一全通滤波器2131的输出的反射声经过第二混合器2132混合。
如图5所示，混响声模块214包括低通滤波器2142和第二滤波器组，第二滤波器组包括M个串联的第二全通滤波器2141，所述反射声模块213的输出端通过所述第二滤波器组与所述低通滤波器2142的输入端连接，所述低通滤波器2142的输出端与所述第一混合器215的第三输入端连接，其中，M为正整数。作为一种实施方式，第二混合器2132的输出端与第二全通滤波器2141的输入端连接，第二混合器2132输出的反射声输入第二滤波器组，第二滤波器组的第二全通滤波器2141用于形成混响声，低通滤波器模拟高频在空气中的衰减情况，即用于将声音信号中的高频部分的幅度降低，每个全通滤波器的延时、增益可根据情况设定，延时值在采样率为44100Hz的情况下，可设定为200-2000个样点，增益范围0<g<1；低通滤波器的延时一般为1个采样点，即1阶低通滤波器即可满足需求，增益范围0<g<1。
如图5所示，音频处理模块210还包括调幅模块216，第一混合器215的输出端与调幅模块216的输入端连接，该调幅模块216的输出端与扬声器连接，用于将声音信号输入扬声器，由扬声器播放该声音。
作为一种实施方式，该无线耳机可以为两个，即分别为第一耳机和第二耳机，例如，该第一耳机可以是用于被用户佩戴在左耳的耳机，第二耳机可以是用于被用户佩戴在右耳的耳机，则第一耳机和第二耳机均包括上述的硬件结构，处理器能够分别调整第一耳机和第二耳机的音频参数，即上述各硬件的参数，从而实现双耳空间声渲染效果，其中，延时模块2121用于模拟双耳时间，增益G用于模拟双耳声压。
具体地，上述无线耳机的实现原理请参考后续的方法实施例。
如图6所示，图6示出了一种音频处理方法，该方法应用于上述的无线耳机，作为一种实施方式，该方法的执行主体可以是上述的处理器，具体地，该方法包括：S601至S603。
S601：基于所述声源设备发送的无线信号确定所述无线耳机的空间位置参数。
其中，所述空间位置参数用于指示所述无线耳机与所述声源设备之间的空间位置关系。作为一种实施方式，该声源设备可以是音频播放设备，如图7所示，该音频播放设备可以是智能手机20，该智能手机20与无线耳机之间通过无线通信链路连接，智能手机20能够将音频信号通过该无线通信链路发送至无线耳机内，无线耳机将该音频信号播放，用户通过该无线耳机收听该音频信号。
作为另一种实施方式，该声源设备可以是一个虚拟音频播放设备。具体地，在世界坐标系内设置一个位置点，假设在该位置点上设置有一个音频播放设备，而实际上在该位置点上未真实存在一个音频播放设备，而是假象该位置处设置有音频播放设备，用户佩戴耳机的时候，通过本申请的方法能够感受到所听到的声音对应的声源设备位置在该位置点出。例如，在虚拟现实的场景内，基于用户的位置点建立真实世界坐标系，在该世界坐标系内确定一个位置点作为声源设备位置点。由于，虚拟现实的虚拟世界坐标系与真实世界坐标系之间存在映射关系，则根据声源设备位置点和虚拟世界坐标系与真实世界坐标系之间存在映射关系，能够确定虚拟世界坐标系内的声源设备的位置，使得用户在虚拟现实环境内，能够感受到声源设备的位置。则在此实施方式中，可以在声源设备位置点设置一个定位装置，该定位装置可以包括无线通信装置，无线耳机可以通过无线耳机内的无线通信装置与定位装置的无线通信装置连接，从而实现该无线耳机与定位装置之间的无线通信链路的建立。
需要说明的是，如果该声源设备为音频播放设备，则无线耳机与所述声源设备之间通过无线通信链路获取的所述声源设备发送的无线信号可以是音频信号，也可以是无线定位信号，则如果该无线信号是音频信号，则后期无线所播放的声音即为该音频信号，如图7所示，用户在佩戴耳机并且观看智能手机20播放的视频的时候，智能手机20通过与无线耳机之间的无线通信链路将该视频对应的音频信号发送至无线耳机，从而用户佩戴该无线耳机能够收听到该视频对应的音频内容，则该音频信号不仅作为无线耳机待播放的音频内容，还可以用于确定无线耳机与所述声源设备之间的空间位置参数。如果该无线信号是无线定位信号，则该无线定位信号可以是任意的无线信号，并不限于是音频信号。
作为一种实施方式，该空间位置参数可以包括距离参数和到达角的至少一种，无线信号从声源设备到达无线耳机的无线信号的强度与二者之间的距离相关，例如，距离越大，无线信号的强度越小。而到达角可以通过不同的无线通信装置(例如，天线)发射的无线信号之间的相位差和距离来确定，具体的获取方式可以参考后续实施例。
作为一种实施方式，无线耳机的无线通信装置可以是蓝牙装置，当然，也可以是wifi或其他的能够发送无线信号的装置，则该无线耳机与所述声源设备之间的无线通信链路为蓝牙通信链路。
S602：基于所述空间位置参数确定所述无线耳机的空间音频参数，得到目标空间音频参数。
作为一种实施方式，该空间音频参数包括增益参数和延时长度。其中，增益参数用于影响无线耳机播放音频内容时的播放音量，即无线耳机基于该增益参数控制无线耳机播放音频内容时的播放音量。作为一种实施方式，该空间音频参数可以是音量等级，即预先设置一定数量的音量等级，例如，分别为等级1、等级2、等级3、等级4等，等级越高，音量越高。作为另一种实施方式，该空间音频参数可以是音量百分比，音量百分比越高，音量越高，该音量百分比为最大音量的百分比，例如，80％表示最大音量的80％大小。作为又一种实施方式，该增益参数可以是声压级，声压级越大，音量越高。
该延时长度用于影响无线耳机播放音频内容的播放时刻，即无线耳机基于该延时长度确定等待播放的时间长度，从而在等待该延时长度之后，再控制无线耳机播放音频内容，则不同的延时长度对应的播放音频内容的播放时刻不同，延时长度越高，播放时刻越晚。
作为一种实施方式，该空间位置参数能够反应无线信号和声源设备之间的距离和角度关系，则该距离和角度关系能影响无线耳机播放音频的音量和播放时刻，例如，用户距离声源设备越远，所听到的声音越小并且越晚，则基于所述空间位置参数确定所述无线耳机的空间音频参数所使用的调整策略使得用户通过无线耳机所收听的音频内容，能够具有在声源设备发出的声音经过空间内的衰减和延时之后到达人耳的空间声的听觉效果，具体的调整方式请参考后续实施例。
S603：根据所述目标空间音频参数和所述声源设备输出的音频信号确定待播放音频信号。
作为一种实施方式，若声源设备为音频播放设备，则该待播放的音频信号可以是前述的声源设备发送的音频信号。若声源设备为定位装置，则该待播放的音频信号可以是无线耳机内预存的音频数据，也可以是其他的电子设备发送至无线耳机的音频数据，例如，在虚拟现实场景下，用户佩戴有头戴显示装置，该头戴显示装置包括无线耳机，且头戴显示装置外接终端或内部设置有视频渲染设备，则该头戴显示装置内可以存储有音频数据或者该头戴显示装置由终端获取到音频数据。则在虚拟现实对应的真实环境内设置有定位装置，无线耳机基于该无线耳机与定位装置之间的空间位置调整空间音频参数，基于该空间音频参数调整该音频信号得到待播放音频数据，则该音频数据作为待播放的音频信号，从而能够模拟出定位装置的位置处发出的声音经过空间的衰减、反射以及混响等操作形成的空间声到达人耳，被人耳收听。
因此，通过该空间位置参数确定所述无线耳机的空间音频参数，使得无线耳机播放音频信号的时候，音频信号对应的音频特性能够与无线耳机与所述声源设备之间的空间位置相关，实现空间声渲染效果。并且，本申请根据无线耳机和声源设备之间的无线信号确定二者之间的空间位置，相比图像传感器和运动传感器，不仅未在无线耳机内额外安装硬件设备，即未导致无线耳机的成本增加，而且，所确定的空间位置更加准确。
请参阅图8，图8示出了一种音频处理方法，该方法中，空间位置参数包括距离参数，空间音频参数包括增益参数和延时长度，作为一种实施方式，该方法的执行主体可以是上述的处理器，具体地，该方法包括：S801至S804。
S801：基于声源设备发送的无线信号确定所述无线耳机与所述声源设备之间的距离参数。
作为一种实施方式，获取无线信号的信号强度，基于该信号强度确定所述无线耳机与所述声源设备之间的距离参数，该距离参数可以是距离值。则该信号强度越高，无线耳机与所述声源设备之间的距离越小，信号强度越低，无线耳机与所述声源设备之间的距离越大，即信号强度与距离负相关。
作为一种实施方式，基于接收信号强度(Received Signal StrengthIndication，RSSI)值的多点定位算法，根据处理过后的RSSI值，以及信号衰减模型，通过数学关系计算出蓝牙信号发射端与接收端的距离，从而实现把信号强弱转化为距离的测算。具体地，根据以下公式得到距离参数：
Figure BDA0003040016890000091
其中，d为无线耳机与所述声源设备之间的距离值，单位为米，RSSI为无线信号的接收信号强度，abs(RSSI)为对RSSI求绝对值，A是与蓝牙发射端和接收端相隔1米时，接收端的接收信号强度，n为环境衰减因子，A和n通过反复试验与对照实际距离来求得，根据以上式(1)可得到声源设备与无线耳机(即人耳)的距离，以用于空间声渲染的延时和音量调整等处理。
S802：基于距离参数与增益参数的负相关关系确定所述增益参数，得到目标增益参数。
距离参数与增益参数的负相关关系是指距离参数与增益参数成反比，则该距离参数为距离值，增益参数为音量值，距离值越大，音量值越小，距离值越小，音量值越大。
作为一种实施方式，可以预先设置距离参数与增益参数的第一对应关系，则在该第一对应关系中，距离参数与增益参数为负相关关系。则在确定了无线耳机与所述声源设备之间的距离参数之后，将该距离参数作为目标距离参数，在该第一对应关系中查找与该目标距离参数对应的增益参数，得到目标增益参数。
作为另一种实施方式，还可以设置距离音量关系式来确定增益参数，则该关系式中，距离参数越大，则空间音频参数越小，即距离参数与增益参数负相关。作为一种实施方式，可以预先确定距离和增益之间的变化规律，该变化规律包括距离变化值与增益变化值之间的关系，例如，距离每增加D，增益减小g，基于该变化规律能够确定当前距离参数对应的增益参数。
为了避免距离过近的时候，音量过大，则可以设置距离阈值，若距离参数小于该距离阈值，则在基于该第一对应关系或上述距离音量关系式确定的增益参数，作为初始增益参数，然后，将该初始增益参数降低第一指定数值，得到目标增益参数，若距离参数大于该距离阈值，基于该第一对应关系或上述距离音量关系式确定增益参数，作为目标增益参数。其中，距离阈值可以根据经验而设定，若该距离参数小于该距离阈值，则表明无线耳机与声源设备的距离过近，从而能够模拟用户在靠近声源设备的时候，声源设备会降低音量的听觉效果，例如，两个用户在沟通的时候，往往二者的距离越近，讲话者的声音会自动降低。另外，也能够避免通过距离来调整增益参数的时候，使得增益参数随着距离降低增加过大，而导致用户体验过差。其中，第一指定数值可以是预先设定的经验值，另外，在距离参数小于距离阈值的情况下，距离越小，第一指定数值越大，即距离与第一指定数值负相关。
作为一种实施方式，该增益参数可以是上述的音频处理电路内的调幅模块的增益参数，当然，还可以包括上述的音频处理电路内的各个滤波器的增益参数，其中，该调幅模块的增益参数和全通滤波器的增益参数能够调整音频信号的整个频段的音量，低通滤波器的增益参数能够调整音频信号的高频部分的音量，例如，调节低通滤波器的增益值可改变低通滤波器的频响曲线，从而模拟高频声音在空气中衰减比低频快的情况，即高频衰减阻尼。
另外，反射声模块213和混响声模块214内的滤波器的增益还用于实现反射声和混响声的效果，具体地，在后续实施例介绍。
S803：基于所述距离参数与延时长度的正相关关系确定所述延时长度，得到目标延时长度。
距离参数与延时长度的正相关关系是指距离参数与延时长度成正比，则该距离参数为距离值，距离值越大，延时长度越大，距离值越小，延时长度越小。也就是说，距离越小，越早听到声音。
作为一种实施方式，可以预先设置距离参数与延时长度的第二对应关系，则在该第二对应关系中，距离参数与延时长度为正相关关系。则在确定了无线耳机与所述声源设备之间的距离参数之后，将该距离参数作为目标距离参数，在该第二对应关系中查找与该目标距离参数对应的延时长度。
作为另一种实施方式，还可以预设关系式确定延时长度。该预设关系式如下所示：
Figure BDA0003040016890000101
其中，M为延时长度，d为距离值，v为声音的传播速度340m/s，fs为信号处理采样率，d的计算可以参考前述内容，M的延时长度以采样点数量来衡量，例如，M为2，则表示2个采样点。
S804：根据所述目标空间音频参数播放待播放的音频信号。
则目标增益参数和目标延时长度作为目标空间音频参数。
作为一种实施方式，该无线耳机的数量可以是1个，则用户可以单耳佩戴无线耳机，无线耳机根据该距离参数调整所播放的音频信号的音量和播放时刻，由此，用户在单耳佩戴耳机的情况下，也能够感受到随着用户与声源设备的距离变化，所带来的音频信号的音量和延时的听觉效果。
作为另一种实施方式，该无线耳机的数量为两个，分别为第一耳机和第二耳机。无线耳机根据所述第一耳机对应的空间位置参数，调整所述第一耳机的空间音频参数，得到第一目标空间音频参数；根据所述第二耳机对应的空间位置参数，调整所述第一耳机的空间音频参数，得到第二目标空间音频参数；基于所述第一目标空间音频参数和第二目标空间音频参数对应控制第一耳机和第二耳机播放所述音频信号。因此，第一耳机和第二耳机不仅可以各自根据每个耳机的距离值调整每个耳机的音量和延时的听觉效果，而且，还能够实现双耳的时间差和音量差的双耳效果。
具体地，人们对声音方位的判断主要受时间差、声压差、人体滤波效应以及头部转动等因素影响，声音信号从声源设备处传播到双耳的综合滤波过程，该过程包括空气滤波、周围环境的混响和人体(躯干、头部、耳廓等)的散射、反射等滤波过程。
如图9所示，音频播放设备20与用户的左耳和右耳的距离不同，所以，音频播放设备20在公放的情况下，音频播放设备20发出的声音到达左耳和右耳的时间长度是不同的，右耳比左耳先听到声音，即根据声源设备与双耳距离的不同，声音到达左右耳的时间会有一个差值，这个差值就叫做时间差。并且，右耳比左耳距离音频播放设备20的距离更近，所以，右耳听到的声音的音量应当高于左耳听到的声音的音量。则假设无线耳机为两个，分别为第一耳机201和第二耳机202，用户将第一耳机201佩戴于左耳且将第二耳机202佩戴于右耳，声源设备与第一耳机201之间的距离参数，命名为第一距离值，将声源设备与第二耳机202之间的距离参数，命名为第二距离值，第一距离值大于第二距离值。第一距离值对应的第一目标空间音频参数包括第一增益参数和第一延时长度，第二距离值对应的第二目标空间音频参数包括第二增益参数和第二延时长度。其中，第一增益参数小于第二空间音频参数，因此，左耳听到的声音小于右耳听到的声音，从而形成双耳的音量差，即声级差。第一延时长度大于第二延时长度，右耳相比左耳优先听到声音，从而形成双耳的时间差。
请参阅图10，图10示出了一种音频处理方法，该方法中，空间位置参数包括到达角，空间音频参数包括增益参数和延时长度，作为一种实施方式，该方法的执行主体可以是上述的处理器，具体地，该方法包括：S1001至S1003。
S1001：基于声源设备发送的无线信号确定所述无线耳机与所述声源设备之间的到达角。
作为一种实施方式，无线耳机设置有第一无线通信装置，声源设备设置有第二无线通信装置，第一无线通信装置和第二无线通信装置之间的通信连接，能够建立无线耳机与所述声源设备之间的无线通信链路，进而实现无线耳机与所述声源设备之间的无线通信。其中，第一无线通信装置包括第一天线，第二无线通信装置包括第二天线，当第一天线为多个时，例如，该第一天线的数量为至少两个，第二天线发射的无线信号达到每个第一天线的距离不同，从而能够产生相位差，基于该相位差，能够计算得到声源设备到达无线耳机的到达角，即无线耳机与所述声源设备之间的到达角。
具体地，假设音频信号的数据向量为x(t)，假设信号要进行相移并按比例缩放正弦(窄带)信号，则可以得到下式：
x(t)＝a(θ)s(t)+n(t) (3)
a(θ)＝[1,ej2πd′sin(θ)/λ,...,ej2π(m-1)d′sin(θ)/λ] (4)
上式(3)和(4)中，a(θ)是天线阵列的数学模型，即所谓的阵列控制向量，s(t)是入射信号，n(t)是噪声信号，d’为天线阵列中相邻天线之间的距离，m为天线阵列中的天线数量。
通过下式(5)得到协方差矩阵：
Figure BDA0003040016890000121
使用a(θ)和协方差矩阵Rxx计算所谓的空间频谱，得到下式：
Figure BDA0003040016890000122
找到该空间频谱的最大峰，该最大峰对应的θ为到达角。
作为一种实施方式，该无线耳机内的第一天线为多个，从而通过多个第一天线能够形成天线阵列，基于声源设备的无线信号到达该天线阵列内的各个第一天线的相位差确定到达角。
另外，还可以是无线耳机内的第一天线为1个，而声源设备装置上的第二天线为多个，且声源设备上的多个第二天线之间的距离能够确定，因此，能够确定第一天线的无线信号传输至第二天线的到达角，进而根据几何原理能够确定声源设备的无线信号到达无线耳机的到达角。
S1002：基于到达角与增益参数的负相关关系确定所述增益参数，得到目标增益参数。
到达角与增益参数的负相关关系是指到达角与增益参数成反比，则该增益参数为音量值，到达角越大，音量值越小，到达角越小，音量值越大。如图11所示，θ1和θ2为声源设备的第二天线到达两个第一天线的到达角
在用户佩戴两个无线耳机的时候，例如，用户左耳佩戴第一耳机以及右耳佩戴第二耳机的时候，如果声源设备在用户的正前方，并且在中间位置的时候，声源设备与第一耳机和第二耳机之间的到达角相同。当用户朝向左耳的方向转动头部的时候，声源设备与第一耳机的到达角大于声源设备与第二耳机之间的到达角，当用户朝向右耳的方向转动头部的时候，声源设备与第一耳机的到达角小于声源设备与第二耳机之间的到达角。
作为一种实施方式，可以预先设置到达角与增益参数的第三对应关系，则在该第三对应关系中，到达角与增益参数为负相关关系。则在确定了无线耳机与所述声源设备之间的到达角之后，将该到达角作为目标到达角，在该第三对应关系中查找与该目标到达角对应的增益参数，得到目标增益参数。
作为另一种实施方式，还可以设置角度音量关系式来确定增益参数，则该关系式中，到达角越大，则空间音频参数越小，即到达角与增益参数负相关。具体地，增益参数和到达角的关系式如下：
Figure BDA0003040016890000131
其中，θ为到达角，g是修正增益因子，跟无线耳机声音系统的运放、喇叭灵敏度、音视频电子设备蓝牙发射端与耳机端蓝牙距离等参数相关，具体，可以根据使用需求确定即可。
作为一种实施方式，考虑到在一些角度下，用户的头部会对声源设备发射的声音造成较大的干扰，则可以设置角度阈值，若到达角小于该角度阈值，则在基于该第三对应关系或上述角度音量关系式确定的增益参数，作为初始增益参数，然后，将该初始增益参数降低第二指定数值，得到目标增益参数，若到达角大于该角度阈值，基于该第三对应关系或上述角度音量关系式确定的增益参数，作为目标增益参数。
声源设备
S1003：根据所述目标空间音频参数播放待播放的音频信号。
具体地，S1004的实施方式可以参考前述实施例，在此不再赘述。
请参阅图12，图12示出了一种音频处理方法，该方法中，空间位置参数包括距离参数和到达角，空间音频参数包括增益参数和延时长度，作为一种实施方式，该方法的执行主体可以是上述的处理器，具体地，该方法包括：S1201至S1204。
S1201：基于所述声源设备发送的无线信号确定所述无线耳机与所述声源设备之间的距离参数和到达角。
S1202：基于距离参数与增益参数的负相关关系以及到达角与增益参数的负相关关系，确定所述增益参数，得到目标增益参数。
作为一种实施方式，基于距离参数与增益参数的负相关关系确定所述增益参数，以得到第一增益参数，其中，确定第一增益参数的实施方式可以参考前述实施例，在此不再赘述。然后，基于到达角与增益参数的负相关关系确定所述增益参数，以得到第二增益参数，其中，确定第二增益参数的实施方式可以参考前述实施例，在此不再赘述。
基于第一增益参数和第二增益参数得到目标增益参数。作为一种实施方式，可以获取第一增益参数和第二增益参数的平均增益参数，作为目标增益参数，当然，也可以是将第一增益参数和第二增益参数加权求和的方式，得到目标增益参数。具体地，可以是设置第一权重和第二权重，获取第一权重和第一增益参数的第一乘积，以及第二权重和第二增益参数的第二乘积，获取第一乘积和第二乘积之和，作为目标增益参数。其中，第一权重和第二权重可以根据实际需求或经验而设定，且第一权重和第二权重之和为1。具体地，第一权重表征第一增益参数在目标增益参数中的占比，第二权重表征第二增益参数在目标增益参数中的占比。
作为一种实施方式，考虑到在距离比较远的情况下，距离的变化所带来的声音的音量衰减变化不会太大，因此，在获取到距离参数之后，判断该距离参数是否大于指定距离阈值，如果大于，则将第一权重设置为第一数值，如果距离参数小于或等于指定距离阈值，则将第一权重设置为第二数值，其中，第一数值小于第二数值，而第二权重为1与第一权重之差，即W2＝1-W1，其中，W2为第二权重，W1为第一权重，因此，第一权重降低，会使得第二权重增加，即在距离参数大于指定距离阈值的情况下，减少距离参数所确定的第一增益参数的占比，而增加到达角所确定的第二增益参数的占比。
作为另一种实施方式，考虑到到达角比较大的情况下，人的头部对声源设备发出的声音具有较大的遮挡，因此，则获取到达角之后，判断该到达角是否大于指定角度阈值，如果大于，则将第二权重设置为第三数值，否则，将第二权重设置为第四数值，其中，第三数值大于第四数值，同理，第一权重为1与第二权重之差，即W1＝1-W2，其中，W2为第二权重，W1为第一权重，因此，第二权重增加，会使得第一权重降低，即在到达角大于指定角度阈值的情况下，减少距离参数所确定的第一增益参数的占比，而增加到达角所确定的第二增益参数的占比，从而使得在角度较大的情况下，由到达角所确定的增益参数占比应当提高，因为，到达角对增益参数的影响更大。
S1203：基于所述距离参数与延时长度的正相关关系，确定所述延时长度，得到目标延时长度。
作为一种实施方式，基于距离参数与延时长度的正相关关系确定所述延时长度，的实施方式可以参考前述实施例，在此不再赘述。
声源设备S1204：根据所述目标空间音频参数播放待播放的音频信号。
作为一种实施方式，该无线耳机可以是两个，即第一耳机和第二耳机，并且第一耳机和第二耳机分别基于上述方法确定各自的目标空间音频参数，具体地，请参考前述实施例，在此不再赘述。
如图13所示，图13示出了一种音频处理方法，该方法应用于上述的无线耳机，作为一种实施方式，该方法的执行主体可以是上述的处理器，具体地，该方法包括：S1301至S1303。
S1301：基于与所述声源设备之间的无线通信链路获取所述声源设备发送的无线信号，确定所述无线耳机与所述声源设备之间的空间位置参数。
S1302：基于所述空间位置参数调整直达声空间音频参数、反射声空间音频参数和混响声空间音频参数，得到目标空间音频参数。
如图14所示，周围环境反射产生的混响声场有3个组成部分：直达声1401、早期反射声1402和混响声1403。人们对于声音的空间感主要是依据早期反射声和混响声来建立的，首先直达声与早期反射声之间的初始延时大小决定了用户对空间大小的感知，同时早期反射声会来自三维空间内各个方向，声音在空间中不断反射、衰减，形成了均匀、密集的混响声，混响的时间、密度反应出了整个空间的声学特性，与直达声、早期反射生声共同建立起室内声场，声音在空间传播以及形成的混响声场如下图14所示。通过混响声场，听音者感知到不同方向早期反射声不同的延时和响度，这有助于判断声源设备的位置和距离；另外，也能够让听音者在一定程度上感知到自己在空间中所处的位置。
作为一种实施方式，由于空间音频参数包括增益参数和延时长度，所以，直达声空间音频参数包括直达声增益参数和直达声延时长度，反射声空间音频参数包括反射声增益参数和反射声延时长度，混响声空间音频参数包括混响声增益参数和混响声延时长度。
作为一种实施方式，直达声空间音频参数、反射声空间音频参数和混响声空间音频参数均可以通过上述的方法，即根据空间位置参数来确定。作为另一种实施方式，如图14所示，由于直达声、反射声和混响声在空间内的传播速度和反射次数不同，因此，三者的声压级和到达人耳的时间长度不同，具体地，直达声、反射声和混响声的声压级依次降低，直达声、反射声和混响声的到达人耳的时间长度依次增大。因此，可以先确定直达声空间音频参数，然后再在直达声空间音频参数的基础上确定反射声空间音频参数，再然后，在反射声空间音频参数的基础上确定混响声空间音频参数。
作为一种实施方式，直达声空间音频参数可以直接根据上述的方法实施例确定，具体地，可以是根据距离参数确定，或根据到达角确定，或同时根据距离参数和到达角确定。如图5所示，根据直达声的延时长度设置延时模块2121的延时参数，即延时模块2121的信号延时输出的时间长度，从而能够设置直达声到达人耳的时间。如图5所示，调幅模块216是对直达声、反射声和混响声整体调节增益参数，从而能够在整体上对直达声、反射声和混响声的播放音量。当然，由于延时模块输出的声音可以看作是直达声，并且直达声依次被输入反射声模块和混响声模块，所以，也可以将调幅模块216设置在延时模块之后，且到这反射声模块、混响声模块以及调幅模块之前，具体地，可以是延时模块将音频信号延时之后，再基于直达声增益参数设置调幅模块216的增益参数，对音频信号调节增益，得到直达声信号。然后，再输入发射声模块和混响声模块。具体地，空间音频参数还包括指定增益参数，将所述直达声信号、反射声信号和混响声信号混合；基于所述指定增益参数对混合后的音频信号调幅，以得到待播放音频信号。
然后，再在直达声增益参数的基础上设置反射声增益参数，具体地，可以是将直达声增益参数降低第一指定增益参数，得到反射声增益参数，在直达声延时长度的基础上设置反射声延时长度，具体地，可以是将直达声延时长度增加第一指定延时长度，得到反射声延时长度。如图5所示，可以通过第一全通滤波器2131实现反射声，即基于所确定的反射声增益参数调整第一全通滤波器2131的参数，例如，该第一全通滤波器2131内的延时器的延时长度以及增益模块的增益值。针对不同的第一全通滤波器2131可以设置不同的空间音频参数，从而实现多种不同的反射声的叠加。
然后，再在反射声增益参数的基础上设置混响声增益参数，具体地，可以是将反射声增益参数降低第二指定增益参数，得到混响声增益参数，在反射声延时长度的基础上设置混响声延时长度，具体地，可以是将反射声延时长度增加第二指定延时长度，得到混响声延时长度。如图5所示，可以通过第二全通滤波器2141实现混响声，即基于所确定的混响声增益参数调整第二全通滤波器2141的参数，例如，该第二全通滤波器2141内的延时器的延时长度以及增益模块的增益值。通过多个第二全通滤波器2141的串联可以增加混响声的密度。另外，还可以设置低通滤波器2142的增益参数，以降低由多个串联的第二全通滤波器2141内的高频部分的声音的音量，从而模拟高频衰减阻尼。
S1303：根据所述直达声音频参数、反射声音频参数和混响声音频参数确定待播放音频信号。
具体地，基于所述直达声音频参数确定所述音频信号对应的直达声信号；基于所述反射声音频参数输出所述音频信号对应的反射声信号；基于所述混响声音频参数输出所述音频信号对应的混响声信号；将所述直达声信号、反射声信号和混响声信号混合后得到待播放音频信号。
如前述实施例所述，所述直达声模块用于基于直达声音频参数输出所述音频信号对应的直达声信号；所述反射声模块用于基于反射声音频参数输出所述音频信号对应的反射声信号；所述混响声模块用于基于混响声音频参数输出所述音频信号对应的混响声信号；所述第一混合器用于将所述直达声信号、反射声信号和混响声信号混合成待播放音频信号。
具体地，基于直达声音频参数设置直达声模块的参数，基于反射声音频参数设置反射声模块的参数，基于混响声音频参数设置混响声模块的参数，具体地，设置的参数可以包括模块的增益参数和延时参数，具体地，根据每个模块对应的空间音频参数而确定。
作为一种实施方式，直达声音频参数包括直达声延时长度，反射声音频参数包括反射声增益参数和反射声延时长度，混响声音频参数包括混响声增益参数和混响声延时长度。直达声模块基于所述直达声延时长度将所述音频信号延时，得到直达声信号，反射声模块基于所述反射声增益参数对所述直达声信号的全频段部分进行音量调整，以及基于所述反射声延时长度对所述直达声信号的全频段部分进行延时处理，以得到所述反射声信号，混响声模块基于所述混响声增益参数对所述反射声信号的指定频段部分进行音量调整，以及基于所述混响声延时长度对所述反射声信号的指定频段部分进行延时处理，以得到混响声信号。
具体地，如图5所示，将延时模块2121作为直达声模块，音频信号输入该延时模块2121，延时模块2121基于直达声延时长度对该音频信号延时，得到直达声信号，然后，直达声信号被分成四路分别被输入第一混合器215和三个第一全通滤波器2131，每个第一全通滤波器2131对所述直达声信号的全频段部分进行音量调整和延时处理，以得到反射声子信号，多个反射声子信号被第二混合器混合形成反射声信号。通过设置多个第一全通滤波器可以增加反射声的密度和复杂度。作为一种实施方式，每个第一全通滤波器的增益和延时参数可以不同，也可以相同，例如，可以都为反射声增益参数和反射声延时长度。基于所述混响声音频参数设置M个第二全通滤波器2141的增益和延时参数；基于低通滤波器滤除所述反射声信号中的高频部分，保留低频频段；基于M个所述第二全通滤波器依次对所述反射声信号中的低频部分的进行音量调整和延时处理，以得到混响声信号。
则第一混合器215将所述直达声信号、反射声信号和混响声信号混合后在输入调幅模块216，调幅模块216基于指定增益参数对混合后的音频信号调幅，以得到待播放音频信号。
作为一种实施方式，在确定无线耳机和声源设备之间的空间位置参数之后，基于前述实施方式确定指定增益参数和指定延时参数，将该指定延时参数作为直达声延时长度，即作为延时模块2121的延时参数，将指定增益参数作为调幅模块216的增益参数。
然后，基于直达声延时长度和指定增益参数确定反射声音频参数和混响声音频参数，其中，反射声增益参数和混响声增益参数均为在指定增益参数的基础上进一步减低增益，反射声延时长度和混响声延时长度均为在指定延时参数的基础上进一步延时。
具体地，反射声增益参数和混响声增益参数可以是均为负增益，所以，反射声和混响声在直达声的基础上进一步衰减。作为一种实施方式，混响声增益参数小于反射声增益参数，即混响声相比反射声衰减更严重。反射声延时长度和混响声延时长度均为正数，所以，反射声和混响声在直达声的基础上进一步延时，作为一种实施方式，混响声延时长度大于反射声延时长度，即混响声相比反射声延时更严重。具体地，反射声增益参数和混响声增益参数以及反射声延时长度和混响声延时长度的设置，可以根据耳机在实际使用时所处环境内的空间音频的变化和需求而设定，在此不做限定。
需要说明的是，上述方法未详细描述的部分，可以参考前述实施例，在此不再赘述。
请参阅图15，其示出了本申请实施例提供的一种音频处理装置的结构框图，该音频处理装置1500可以包括：获取单元1501、确定单元1502和播放单元1503。
获取单元1501，用于基于所述声源设备发送的无线信号确定所述无线耳机的空间位置参数，所述空间位置参数用于指示所述无线耳机与所述声源设备之间的空间位置关系。
确定单元1502，用于基于所述空间位置参数确定所述无线耳机的空间音频参数，得到目标空间音频参数。
作为一种实施方式，空间位置参数包括距离参数和到达角的至少一种，所述空间音频参数包括增益参数和延时长度。
进一步的，确定单元1502还用于基于距离参数与增益参数的负相关关系确定所述增益参数，得到目标增益参数；基于所述距离参数与延时长度的正相关关系确定所述延时长度，得到目标延时长度。
进一步的，确定单元1502还用于基于到达角与增益参数的负相关关系确定所述增益参数，得到目标增益参数。
进一步的，确定单元1502还用于基于距离参数与增益参数的负相关关系以及到达角与增益参数的负相关关系，确定所述增益参数，得到目标增益参数；基于所述距离参数与延时长度的正相关关系，确定所述延时长度，得到目标延时长度。
进一步的，确定单元1502还用于基于所述空间位置参数调整直达声空间音频参数、反射声空间音频参数和混响声空间音频参数，得到目标空间音频参数。
处理单元1503，用于根据所述目标空间音频参数和所述声源设备输出的音频信号确定待播放音频信号。
进一步的，所述无线耳机为两个，分别为第一耳机和第二耳机，确定单元1502还用于根据所述第一耳机对应的空间位置参数，调整所述第一耳机的空间音频参数，得到第一目标空间音频参数；根据所述第二耳机对应的空间位置参数，调整所述第一耳机的空间音频参数，得到第二目标空间音频参数。播放单元1503还用于基于所述第一目标空间音频参数和第二目标空间音频参数对应控制第一耳机和第二耳机播放所述音频信号。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参考图16，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1600中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质1600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1600包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1600具有执行上述方法中的任何方法步骤的程序代码1610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1610可以例如以适当形式进行压缩。
综上所示，本申请实施例提供的音频处理方法、装置、无线耳机及计算机可读介质，根据无线耳机和声源设备之间的无线信号确定二者之间的空间位置，相比图像传感器和运动传感器，不仅未在无线耳机内额外安装硬件设备，即未导致无线耳机的成本增加，而且，所确定的空间位置更加准确。
通过实时测算蓝牙信号发射端与接收端的距离、角度实现无线耳机与音源设备的定位并对从音源设备通过蓝牙传输过来的声信号进行双耳空间声渲染处理，从而模拟身临其境的沉浸式听觉体验效果。实时模拟空间声场景，每个用户都可以在不同位置体验到最好的听音位置从而带来最佳的沉浸式空间声体验；通过空间声渲染，可消除头中效应，提升耳机用户体验；节约无线耳机存储空间，本方案通过实时调整双耳空间声算法参数而不同于预置测量好的空间双耳脉冲响应(BRIR)，相比之下，可节约大量存储空间以及算法算力；节约成本及功耗，通过蓝牙定位功能实时改变双耳脉冲响应空间声渲染参数，不产生额外的硬件成本以及功耗，同时提升耳机续航时间。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (24)

1.一种音频处理方法，其特征在于，应用于无线耳机，所述方法包括：
基于声源设备发送的无线信号确定所述无线耳机的空间位置参数，所述空间位置参数用于指示所述无线耳机与所述声源设备之间的空间位置关系；
基于所述空间位置参数确定所述无线耳机的空间音频参数，得到目标空间音频参数；
根据所述目标空间音频参数和所述声源设备输出的音频信号确定待播放音频信号。
2.根据权利要求1所述的方法，其特征在于，所述空间位置参数包括距离参数和到达角参数的至少一种，所述空间音频参数包括增益参数和延时参数的至少一种。
3.根据权利要求2所述的方法，其特征在于，所述空间位置参数包括距离参数，所述基于所述空间位置参数确定所述无线耳机的空间音频参数，包括：
基于所述距离参数与所述增益参数的负相关关系确定所述增益参数，得到目标增益参数；
基于所述距离参数与延时长度的正相关关系确定所述延时长度，得到目标延时长度。
4.根据权利要求2所述的方法，其特征在于，所述空间位置参数包括到达角，所述基于所述空间位置参数确定所述无线耳机的空间音频参数，包括：
基于到达角与增益参数的负相关关系确定所述增益参数，得到目标增益参数。
5.根据权利要求2所述的方法，其特征在于，所述空间位置参数包括距离参数和到达角，所述基于所述空间位置参数确定所述无线耳机的空间音频参数，包括：
基于距离参数与增益参数的负相关关系以及到达角与增益参数的负相关关系，确定所述增益参数，得到目标增益参数；
基于所述距离参数与延时长度的正相关关系，确定所述延时长度，得到目标延时长度。
6.根据权利要求1所述的方法，其特征在于，所述空间音频参数包括直达声音频参数、反射声音频参数和混响声音频参数，根据所述目标音频参数和所述声源设备输出的音频信号确定待播放音频信号，包括：
基于所述直达声音频参数确定所述音频信号对应的直达声信号；
基于所述反射声音频参数输出所述音频信号对应的反射声信号；
基于所述混响声音频参数输出所述音频信号对应的混响声信号；
将所述直达声信号、反射声信号和混响声信号混合后得到待播放音频信号。
7.根据权利要求6所述的方法，其特征在于，所述直达声音频参数包括直达声延时长度，所述反射声音频参数包括反射声增益参数和反射声延时长度，所述混响声音频参数包括混响声增益参数和混响声延时长度；所述基于所述空间位置参数确定所述无线耳机的空间音频参数，得到目标空间音频参数，包括：
基于所述空间位置参数确定指定增益参数和指定延时参数；
将所述指定延时参数作为直达声音频参数；
基于所述指定增益参数得到反射声增益参数和混响声增益参数；
基于所述指定延时参数得到反射声延时长度和混响声延时长度。
8.根据权利要求6所述的方法，其特征在于，所述直达声音频参数包括直达声延时长度，所述基于所述直达声音频参数确定所述音频信号对应的直达声信号，包括：
基于所述直达声延时长度将所述音频信号延时，得到直达声信号。
9.根据权利要求8所述的方法，其特征在于，所述反射声音频参数包括反射声增益参数和反射声延时长度，所述基于所述反射声音频参数输出所述音频信号对应的反射声信号，包括：
基于所述反射声增益参数对所述直达声信号的全频段部分进行音量调整，以及基于所述反射声延时长度对所述直达声信号的全频段部分进行延时处理，以得到所述反射声信号。
10.根据权利要求9所述的方法，其特征在于，所述基于所述反射声增益参数对所述直达声信号的全频段部分进行音量调整，以及基于所述反射声延时长度对所述直达声信号的全频段部分进行延时处理，以得到所述反射声信号，包括：
基于所述反射声音频参数设置N个第一全通滤波器的增益和延时参数；
基于每个所述第一全通滤波器对所述直达声信号的全频段部分进行音量调整和延时处理，以得到反射声子信号；
将N个所述第一全通滤波器处理得到的反射声子信号混合得到所述反射声信号。
11.根据权利要求9所述的方法，其特征在于，所述混响声音频参数包括混响声增益参数和混响声延时长度，所述基于所述混响声音频参数输出所述音频信号对应的混响声信号，包括：
基于所述混响声增益参数对所述反射声信号的指定频段部分进行音量调整，以及基于所述混响声延时长度对所述反射声信号的指定频段部分进行延时处理，以得到混响声信号。
12.根据权利要求11所述的方法，其特征在于，所述基于所述混响声增益参数对所述反射声信号的指定频段部分进行音量调整，以及基于所述混响声延时长度对所述反射声信号的指定频段部分进行延时处理，以得到混响声信号，包括：
基于所述混响声音频参数设置M个第二全通滤波器的增益和延时参数；
基于低通滤波器滤除所述反射声信号中的指定频段之外的部分；
基于M个所述第二全通滤波器依次对所述反射声信号中的指定频段部分的进行音量调整和延时处理，以得到混响声信号。
13.根据权利要求12所述的方法，其特征在于，所述指定频段为低频频段。
14.根据权利要求11所述的方法，其特征在于，所述空间音频参数还包括指定增益参数，所述将所述直达声信号、反射声信号和混响声信号混合后播放，包括：
将所述直达声信号、反射声信号和混响声信号混合；
基于所述指定增益参数对混合后的音频信号调幅，以得到待播放音频信号。
15.根据权利要求1-14任一所述的方法，其特征在于，所述无线声源设备信号为蓝牙信号。
16.一种音频处理装置，其特征在于，应用于无线耳机，所述装置包括：
获取单元，用于基于声源设备发送的无线信号确定所述无线耳机的空间位置参数，所述空间位置参数用于指示所述无线耳机与所述声源设备之间的空间位置关系声源设备；
确定单元，用于基于所述空间位置参数确定所述无线耳机的空间音频参数，得到目标空间音频参数；
处理单元，用于根据所述目标空间音频参数和所述声源设备输出的音频信号确定待播放音频信号。
17.一种无线耳机，其特征在于，包括：音频处理模块和扬声器，所述无线通信模块与所述音频处理模块连接；
所述无线通信模块用于获取声源设备发送的无线信号；
所述音频处理模块用于基于如权利要求1-15任一项所述的方法确定待播放音频信号。
18.根据权利要求17所述的无线耳机，其特征在于，所述音频处理模块包括音频调整器和处理器，所述音频调整器与所述处理器连接；
处理器用于基于所述无线通信模块接收的声源设备发送的无线信号确定所述无线耳机的空间位置参数，基于所述空间位置参数确定所述无线耳机的空间音频参数，得到目标空间音频参数；
所述音频调整器用于基于根据所述目标空间音频参数和所述声源设备输出的音频信号确定待播放音频信号。
19.根据权利要求18所述的无线耳机，其特征在于，所述耳机还包括：第一混合器，直达声模块、反射声模块和混响声模块均与所述处理器和所述第一混合器连接，所述第一混合器与所述扬声器连接；所述空间音频参数包括直达声音频参数、反射声音频参数和混响声音频参数；
所述直达声模块用于基于直达声音频参数输出所述音频信号对应的直达声信号；
所述反射声模块用于基于反射声音频参数输出所述音频信号对应的反射声信号；
所述混响声模块用于基于混响声音频参数输出所述音频信号对应的混响声信号；
所述第一混合器用于将所述直达声信号、反射声信号和混响声信号混合成待播放音频信号。
20.根据权利要求19所述的无线耳机，其特征在于，所述直达声模块包括延时模块，所述延时模块分别与所述反射声模块的输入端和所述第一混合器的第一输入端连接；
所述延时模块用于基于直达声音频参数将所述音频信号延时，得到直达声信号；
所述反射声模块还用于基于反射声音频参数对所述直达声信号的全频段部分进行音量调整和延时处理，得到反射声信号；
所述混响声模块还用于基于混响声音频参数对所述反射声信号的指定频段部分进行音量调整和延时处理，得到混响声信号。
21.根据权利要求20所述的耳机，其特征在于，所述反射声模块包括第一滤波器组和第二混合器，所述第一滤波器组与所述延时模块连接，所述第一滤波器包括N个并联的第一全通滤波器，每个所述第一全通滤波器与所述第二混合器的一个输入端连接，所述第二混合器的输出端分别与所述混响声模块的输入端和所述第一混合器的第二输入端连接，其中，N为正整数；
每个所述第一全通滤波器用于基于反射声音频参数对所述直达声信号的全频段部分进行音量调整和延时处理，得到反射声子信号；
所述第二混合器用于将每个所述第一全通滤波器输出的反射声子信号混合得到反射声信号。
22.根据权利要求21所述的耳机，其特征在于，所述指定频段部分为低频部分，所述混响声模块包括低通滤波器和第二滤波器组，所述第二滤波器组包括M个串联的第二全通滤波器，所述反射声模块的输出端通过所述第二滤波器组与所述低通滤波器的输入端连接，所述低通滤波器的输出端与所述第一混合器的第三输入端连接，其中，M为正整数；
所述低通滤波器用于滤除所述反射声信号中的高频部分；
所述第二全通滤波器用于基于混响声音频参数对低通滤波器输出的低频部分的反射声信号进行音量调整和延时处理，得到混响声信号。
23.根据权利要求22所述的耳机，其特征在于，还包括调幅模块，所述第一混合器的输出端与所述调幅模块的输入端连接，所述调幅模块的输出端与所述扬声器连接。
24.一种计算机可读介质，其特征在于，所述计算机可读介质存储有处理器可执行的程序代码，所述程序代码被所述处理器执行时使所述处理器执行权利要求1-14任一项所述方法。
CN202110454299.8A 2021-04-26 2021-04-26 音频处理方法、装置、无线耳机及计算机可读介质 Pending CN115250412A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110454299.8A CN115250412A (zh) 2021-04-26 2021-04-26 音频处理方法、装置、无线耳机及计算机可读介质
PCT/CN2022/081575 WO2022227921A1 (zh) 2021-04-26 2022-03-18 音频处理方法、装置、无线耳机及计算机可读介质
EP22794398.2A EP4319195A1 (en) 2021-04-26 2022-03-18 Audio processing method and apparatus, wireless headset, and computer readable medium
US18/382,881 US20240056762A1 (en) 2021-04-26 2023-10-23 Audio processing method, wireless earphone, and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110454299.8A CN115250412A (zh) 2021-04-26 2021-04-26 音频处理方法、装置、无线耳机及计算机可读介质

Publications (1)

Publication Number Publication Date
CN115250412A true CN115250412A (zh) 2022-10-28

Family

ID=83696475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110454299.8A Pending CN115250412A (zh) 2021-04-26 2021-04-26 音频处理方法、装置、无线耳机及计算机可读介质

Country Status (4)

Country Link
US (1) US20240056762A1 (zh)
EP (1) EP4319195A1 (zh)
CN (1) CN115250412A (zh)
WO (1) WO2022227921A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006509413A (ja) * 2002-12-04 2006-03-16 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ イヤホン内にブルートゥーストランシーバを用いたステレオ信号通信
EP4002888A1 (en) * 2015-02-12 2022-05-25 Dolby Laboratories Licensing Corporation Headphone virtualization
US11906642B2 (en) * 2018-09-28 2024-02-20 Silicon Laboratories Inc. Systems and methods for modifying information of audio data based on one or more radio frequency (RF) signal reception and/or transmission characteristics
CN111385728B (zh) * 2018-12-29 2022-01-11 华为技术有限公司 一种音频信号处理方法及装置
US10674307B1 (en) * 2019-03-27 2020-06-02 Facebook Technologies, Llc Determination of acoustic parameters for a headset using a mapping server

Also Published As

Publication number Publication date
WO2022227921A1 (zh) 2022-11-03
US20240056762A1 (en) 2024-02-15
EP4319195A1 (en) 2024-02-07

Similar Documents

Publication Publication Date Title
US20210211829A1 (en) Calibrating listening devices
US8160265B2 (en) Method and apparatus for enhancing the generation of three-dimensional sound in headphone devices
US20200037091A1 (en) Audio signal processing method and device
KR101820224B1 (ko) 믹싱 데스크, 사운드 신호 생성기, 사운드 신호를 제공하기 위한 방법 및 컴퓨터 프로그램
US10165381B2 (en) Audio signal processing method and device
JP2019535216A (ja) 空間オーディオシステムにおける利得制御
US10341775B2 (en) Apparatus, method and computer program for rendering a spatial audio output signal
CN108781341B (zh) 音响处理方法及音响处理装置
US11140507B2 (en) Rendering of spatial audio content
US9769585B1 (en) Positioning surround sound for virtual acoustic presence
CN110677802B (zh) 用于处理音频的方法和装置
EP1266541A2 (en) System and method for optimization of three-dimensional audio
CN108391199B (zh) 基于个性化反射声阈值的虚拟声像合成方法、介质和终端
CN109246580B (zh) 3d音效处理方法及相关产品
US11337020B2 (en) Controlling rendering of a spatial audio scene
US11221821B2 (en) Audio scene processing
CN113553022A (zh) 设备调整方法、装置、移动终端及存储介质
CN108924705B (zh) 3d音效处理方法及相关产品
US20210343296A1 (en) Apparatus, Methods and Computer Programs for Controlling Band Limited Audio Objects
CN113115175B (zh) 3d音效处理方法及相关产品
CN115250412A (zh) 音频处理方法、装置、无线耳机及计算机可读介质
KR102519156B1 (ko) 무선 헤드셋을 사용해 휴대 기기 위치를 알려주는 방법 및 시스템
WO2024084998A1 (ja) 音響処理装置及び音響処理方法
WO2024084997A1 (ja) 音響処理装置及び音響処理方法
CN116249065A (zh) 音频信号处理方法与装置、音频播放设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination