CN117956373A - 音频处理方法、音频播放设备以及计算机可读存储介质 - Google Patents
音频处理方法、音频播放设备以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117956373A CN117956373A CN202211327883.8A CN202211327883A CN117956373A CN 117956373 A CN117956373 A CN 117956373A CN 202211327883 A CN202211327883 A CN 202211327883A CN 117956373 A CN117956373 A CN 117956373A
- Authority
- CN
- China
- Prior art keywords
- user
- audio
- audio playing
- playing device
- acceleration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 15
- 230000033001 locomotion Effects 0.000 claims abstract description 105
- 230000001133 acceleration Effects 0.000 claims abstract description 99
- 230000000694 effects Effects 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
本申请公开一种音频处理方法、音频播放设备及计算机可读存储介质。该方法包括：获取音频播放设备随着使用者的移动而移动的运动信息，运动信息至少包括使用者的运动轨迹、实时的运动速度、实时的加速度；根据所获取的使用者的运动轨迹、实时的运动速度、实时的加速度，及预设的音效函数，计算得到相对于使用者的至少两个虚拟扬声器各自的位置和角度信息；获取音频播放设备的待处理音频数据，并根据预设的音效函数，及所获取到的至少两个虚拟扬声器各自的位置和角度信息，计算得到处理后的空间音频数据；利用音频播放设备播放空间音频数据。本申请中，音频播放设备跟随使用者的运动信息调整音效函数中的位置参数，提高运动状态下音效跟随效果。
Description
技术领域
本申请涉及音频处理领域，特别是涉及音频处理方法、音频播放设备以及计算机可读存储介质。
背景技术
音效定位算法处理过的信号，可以虚拟出各种不同的空间听觉效果。虚拟扬声器即为经过音效函数处理后的虚拟音源，虚拟扬声器的位置为经过音效函数处理后虚拟音源位置。未经音效函数处理的音频则不表现出虚拟扬声器提供的空间音效，而是表现为头中音效，也即，听者感受到音频始终是在耳中演奏的效果。目前的音效处理不能根据使用者的运动而灵活调整。
发明内容
本申请主要提供一种音频处理方法、音频播放设备以及计算机可读存储介质，解决了现有技术中音效处理不能根据使用者的运动而灵活调整的问题。
为解决上述技术问题，本申请第一方面提供了一种音频处理方法，包括：获取音频播放设备随着使用者的移动而移动的运动信息，其中，所述运动信息至少包括所述使用者的运动轨迹、实时的运动速度、实时的加速度；根据所获取的所述使用者的运动轨迹、实时的运动速度、实时的加速度，以及预设的音效函数，计算得到相对于所述使用者的至少两个虚拟扬声器各自的位置和角度信息；获取所述音频播放设备的待处理音频数据，并根据所述预设的音效函数，以及所获取到的所述至少两个虚拟扬声器各自的位置和角度信息，计算得到处理后的空间音频数据；利用所述音频播放设备播放所述空间音频数据。
为解决上述技术问题，本申请第二方面提供了一种音频播放设备，所述音频播放设备包括相互耦接的处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如上述第一方面提供的音频处理方法的步骤。
为解决上述技术问题，本申请第三方面提供了一种计算机可读存储介质，计算机可读存储介质存储有程序数据，所述程序数据被处理器执行时，实现上述第一方面提供的音频处理方法。
本申请的有益效果是：区别于现有技术的情况，本申请首先获取音频播放设备随着使用者的移动而移动的运动信息，其中，运动信息至少包括使用者的运动轨迹、实时的运动速度、实时的加速度，然后根据所获取的使用者的运动轨迹、实时的运动速度、实时的加速度，以及预设的音效函数，计算得到相对于使用者的至少两个虚拟扬声器各自的位置和角度信息，获取音频播放设备的待处理音频数据，并根据预设的音效函数，以及所获取到的至少两个虚拟扬声器各自的位置和角度信息，计算得到处理后的空间音频数据，最后利用音频播放设备播放空间音频数据。上述方式利用音频播放设备跟随使用者移动的运动信息及预设的音效函数，计算得到至少两个虚拟扬声器的位置和角度信息，并利用这至少两个虚拟扬声器对音频播放设备的待处理音频数据进行音效处理得到空间音频数据，并在播放空间音频数据后实现了空间音效的播放效果，提高了运动状态下的音效跟随效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请音频处理方法一实施例的流程示意框图；
图2是本申请音频播放设备与虚拟扬声器一实施例的位置关系示意图；
图3是本申请音频播放设备与虚拟扬声器另一实施例的位置关系示意图；
图4是本申请音频播放设备与虚拟扬声器又一实施例的位置关系示意图；
图5是本申请加速直线移动过程中音频播放设备与虚拟扬声器一实施例的位置关系示意图；
图6是本申请减速直线移动过程中音频播放设备与虚拟扬声器一实施例的位置关系示意图；
图7是本申请确定转弯信息一实施例的流程示意框图；
图8是本申请转弯情况下音频播放设备移动方向与道路方向一实施例的示意图；
图9是本申请转弯情况下音频播放设备朝向变化一实施例的示意图；
图10是本申请加速转弯过程中音频播放设备与虚拟扬声器一实施例的位置关系示意图；
图11是本申请减速转弯过程中音频播放设备与虚拟扬声器一实施例的位置关系示意图；
图12是本申请使用者头部转动一实施例的位置关系示意图；
图13是本申请使用者头部转动另一实施例的位置关系示意图；
图14是本申请音频播放设备一实施例的结构示意框图；
图15是本申请音频播放设备另一实施例的结构示意框图；
图16是本申请计算机可读存储介质一实施例的结构示意框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解是，本文所描述的实施例可以与其他实施例结合。
请参阅图1，图1是本申请音频处理方法一实施例的流程示意框图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。本实施例包括以下步骤：
步骤S11：获取音频播放设备随着使用者的移动而移动的运动信息。
本文所指音频播放设备，包括但不限于有线耳机、无线可穿戴设备，如无线耳机(头戴式耳机、半入耳式耳机、入耳式耳机等)和无线音频眼镜等，音频播放设备可与音源设备建立有线或无线通信连接，以接收来自音源设备的待处理音频数据。
例如，音源设备可以是手机、平板电脑以及手表、手环等可穿戴音源设备，音源设备可存储有本地音频数据，或者可通过网络在应用程序或网页上获取音频数据作为待处理音频数据，待处理音频数据例如是音乐音频数据、电子读物音频数据等、电视/电影的音频等。
其中，音频播放设备跟随使用者的移动而移动。例如，在运动场景下，使用者佩戴音频播放设备，音频播放设备即被配置为与使用者的运动而一同移动。
在一种实施方式中，运动信息是利用定位装置、加速度传感器实时获取得到；定位装置、加速度传感器中的至少之一设置在音频播放设备上，或者是设置于与音频播放设备通信连接的智能移动设备上，比如是手机、手表等智能穿戴设备。
定位装置例如利用射频通信技术(UWB或蓝牙技术等)和GPS定位技术获取到使用者的角度、速度、加速度、轨迹等信息，实现该场景下的空间音频跟随。其中，UWB(UltraWide Band)技术利用TOF(飞行时差)的原理进行测距，UWB是一种超宽带技术，具有穿透力强、抗多径效果好、能提供精确定位精度等优点，适合应用于室内静止或者移动物体的定位跟踪与导航。
运动信息至少包括使用者的运动轨迹、实时的运动速度、实时的加速度；更具体地，例如是运动场景下的的加速与否、减速与否、加速或减速状态下的加速度、转弯信息等。
步骤S12：根据所获取的使用者的运动轨迹、实时的运动速度、实时的加速度，以及预设的音效函数，计算得到相对于使用者的至少两个虚拟扬声器各自的位置和角度信息。
虚拟扬声器即为经过音效函数处理后的虚拟音源，虚拟扬声器的位置为经过音效函数处理后虚拟音源位置，未经音效函数处理的音频则不表现出虚拟扬声器提供的音效，而是直接以原始音频呈现。
此处所提及的音效函数，例如是头相关传输函数(Head Related TransferFunctions，缩写：HRTF)，又称为ATF(anatomical transfer function)，是一种个性化空间音效算法。
具体来说，头相关传输函数描述了声波从声源到双耳的传输过程，其综合考虑声波从声源传播到双耳的时间差、声源不在中垂面时因头部对声波的阴影和散射作用造成的双耳声级差、人的生理结构(如头、耳廓以及躯干等)对声波的散射与衍射作用、声源在上下或前后镜像位置以及在中垂面上造成定位混淆的动态因素以及心理因素等。在实际应用中，利用耳机或扬声器重发用HRTF处理过的信号，可以虚拟出各种不同的空间听觉效果。
其中，位置信息至少包括音频播放设备与虚拟扬声器在水平方向上的距离，角度信息至少包括音频播放设备与虚拟扬声器在水平方向上的角度关系。
例如，头相关传输函数可简单表示为HRTF(L，θ1，θ2)，其中，θ1表示为使用者与虚拟扬声器在水平方向上的角度参数，θ2表示音频播放设备与虚拟扬声器的俯角/仰角(即音频播放设备与虚拟扬声器在竖直方向上的角度)，L为音频播放设备与虚拟扬声器之间的距离参数，其中，L、θ1、θ2可以是固定的，或者，可以根据虚拟扬声器相对于使用者的运动位置信息和角度信息而修改为不同的值。其中，每个虚拟扬声器可对应一个头相关传输函数。
本文所指角度参数，表征虚拟扬声器与音频播放设备正前方的角度。具体请参阅图2，图2是本申请音频播放设备与虚拟扬声器一实施例的位置关系示意图。本文图2-图4均为音频播放设备与虚拟扬声器的在俯视视角下的位置关系，本实施例的音频播放设备所在位置表示为O，可以理解的，音频播放设备被人佩戴并一同移动，O也可表示为使用者的位置，虚拟扬声器A、B分别位于音频播放设备O的两侧，本实施例以音频播放设备O为基准位置定义一x方向的坐标轴，x轴即为音频播放设备的正前方，y轴所指为音频播放设备的正右方，xOy平面为音频播放设备所在水平面。音频播放设备被使用者正确佩戴时，x轴方向即为使用者的正前方，音频播放设备的正前方向x轴与使用者的正前方中心轴线重合，则虚拟扬声器A与音频播放设备O之间的角度参数可以利用虚拟扬声器A与音频播放设备O之间连线，与x轴所成角度a表示，同样地，虚拟扬声器B与音频播放设备O之间的角度参数可以利用虚拟扬声器B与耳音频播放设备O之间连线，与x轴所成角度b表示。
步骤S13：获取音频播放设备的待处理音频数据，并根据预设的音效函数，以及所获取到的至少两个虚拟扬声器各自的位置和角度信息，计算得到处理后的空间音频数据。
待处理音频数据例如是从音源设备获取到的本地音频数据，或者通过网络在应用程序或网页上获取音频数据作为待处理音频数据，待处理音频数据例如是音乐音频数据、电子读物音频数据等、电视/电影的音频等。
本步骤可根据虚拟扬声器的位置和角度信息调整各自对应的音效函数中的位置参数L、θ1，得到新的音效函数，并利用新的音效函数处理待处理音频数据，得到处理后的空间音频数据。
在其中一实施场景中，当获取到的使用者的加速度大于0时(即表明音频播放设备跟随使用者加速移动)，则调整至少两个虚拟扬声器各自位于与音频播放设备的移动方向相反的方向上(即，虚拟扬声器与音频播放设备之间的连线，与音频播放设备的正前方所成的角度大于90度)；当获取到的使用者的加速度小于0时(即表明音频播放设备跟随使用者减速移动)，则调整至少两个虚拟扬声器各自位于与音频播放设备的移动方向相同的方向上(即，虚拟扬声器与音频播放设备之间的连线，与音频播放设备的正前方所成的角度小于90度)。
其中，音频播放设备的移动方向，即音频播放设备跟随使用者行进的方向。请结合参阅图2和图3，x轴方向为正前方，若使用者的行进方向为x轴方向，则在检测到加速移动时，则将虚拟扬声器调整到位于x所指的方向的相反方向上(即调整到使用者身后)，虚拟扬声器A、B分别与音频播放设备O之间的连线，与x轴方向所成的角度由初始的a调整为b，对于使用者而言，若使用者当前是面朝x所指的方向运动，即是将虚拟扬声器调整到使用者的身后，使得使用者产生“将虚拟音源甩到了身后”的听觉感受。
请结合参阅图2和图4，x轴方向为正前方，若使用者的行进方向为x轴方向，则在检测到减速移动时，则将虚拟扬声器调整到位于x所指的方向，虚拟扬声器A、B分别与音频播放设备O之间的连线，与x轴方向所成的角度由初始的a调整为c，对于使用者而言，若使用者当前是面朝x所指的方向运动，即是将虚拟扬声器调整到使用者的前面，使得使用者产生被虚拟音源“甩到了身后”的听觉感受，可以促使使用者加速追逐虚拟音源，增强运动中的音效互动。
在其中一实施例中，根据使用者的加速度调整虚拟扬声器相对于使用者的角度和距离信息，具体包括：
当获取到的使用者的加速度的绝对值等于0时，将至少两个虚拟扬声器各自的位置信息中的相对于使用者的距离设置为0，以及将至少两个虚拟扬声器各自的角度信息中的相对于使用者的角度设置为0，也即调整音效为回到耳边。
当获取到的使用者的加速度的绝对值大于预设的第一阈值时，将至少两个虚拟扬声器各自的位置信息中的相对于使用者的距离设置为预设的第二阈值，以及将至少两个虚拟扬声器各自的角度信息中相对于使用者的角度设置为预设的第三阈值。
当获取到的使用者的加速度的绝对值大于0且小于第一阈值时，将至少两个虚拟扬声器各自的位置信息中的相对于使用者的距离按照预设的第一线性关系进行调整，以及将至少两个虚拟扬声器各自的角度信息中的相对于使用者的角度按照预设的第二线性关系进行调整。
其中，可预先设定虚拟扬声器相对于使用者的距离与使用者加速度之间的第一线性关系，以及虚拟扬声器相对于使用者的角度与使用者加速度之间的第二线性关系，在检测到使用者的加速度的绝对值大于0且小于第一阈值时，则可根据第一线性关系和第二线性关系调整各虚拟扬声器相对于使用者的角度和距离；在另一实施方式中，可根据预先设定的第一线性关系和第二线性关系确定加速度与角度和距离之间的对应关系表，在确定当前加速度后，在对应关系表中查找对应于当前加速度的角度和距离，利用查找到的角度和距离调整音效函数中的角度和距离参数。加速度和角度、距离参数之间的对应关系表如下表所示，该表将加速度分为多个加速度范围，每个加速度值范围对应一个相应的角度和距离。将查找到的当前加速度落入的加速度范围对应的角度值和距离值作为音效函数中新的角度参数和距离参数，由此得到相对于音频播放设备的两个具有确定位置的虚拟扬声器。
可以理解地，本文各实施例双虚拟扬声器对称设置，因此在直行加速或减速移动情况下，虚拟扬声器相对于音频播放设备的移动方向为对称的，其角度和距离保持相同。本文各实施例以双声道音效为例进行说明，同样的方式亦可应用于多声道音源。受限于蓝牙传输协议，现在耳机能传输的音频都是立体声音频，业界可以用upmix上混的算法将音频文件从立体声构建成多声道(如5.1等)，另外还可以通过深度学习乐器分离的方法，可以把立体声的音乐文件拆解成涵盖不同乐器的多声道文件。可以理解地，多声道音源可对应两个以上的虚拟扬声器，此种方式亦可仿照上述方式按照实际需求设置各虚拟扬声器的角度与加速度之间的线性关系以及距离与加速度之间的线性关系，此处不过多限定。
其中，第一线性关系为第一阈值与第二阈值的比值等于当前获取到的使用者的加速度与虚拟扬声器相对于使用者的距离的比值。第二线性关系为第一阈值与第三阈值的比值等于当前获取到的使用者的加速度与虚拟扬声器相对于使用者的角度的比值。
加速移动时加速度与虚拟扬声器各自的位置信息中的相对于使用者的距离之间的第一线性关系大体上可表现为：在检测到音频播放设备减速移动且加速度增大时，虚拟扬声器绕到使用者身前，音频播放设备与虚拟扬声器之间的距离增大；在检测到音频播放设备加速移动且加速度减小时，音频播放设备与虚拟扬声器之间的距离减小；加速度为0时，虚拟扬声器回到耳边。减速移动时加速度与距离之间的第一线性关系大体上可表现为：在检测到音频播放设备减速移动且加速度增大时，虚拟扬声器绕到使用者身前，音频播放设备与虚拟扬声器之间的距离增大；在检测到音频播放设备减速移动且加速度减小时，音频播放设备与虚拟扬声器之间的距离减小；加速度为0时，虚拟扬声器回到耳边。
加速移动时加速度与虚拟扬声器各自的位置信息中的相对于使用者的角度之间的第二线性关系大体上可表现为：在检测到音频播放设备加速移动且加速度增大时，虚拟扬声器绕到使用者身后，音频播放设备与虚拟扬声器之间的连线与音频播放设备的正前方所成角度减小，但仍大于90度；在检测到音频播放设备加速移动且加速度减小时，音频播放设备与虚拟扬声器之间的连线与音频播放设备的正前方所成角度增大；加速度为0时，虚拟扬声器回到耳边。减速移动时加速度与虚拟扬声器各自的位置信息中的相对于使用者的角度之间的第二线性关系大体上可表现为：在检测到音频播放设备减速移动且加速度增大时，虚拟扬声器绕到使用者身前，音频播放设备与虚拟扬声器之间的连线与音频播放设备的正前方所成角度增大，但仍小于90度；在检测到音频播放设备减速移动且加速度减小时，音频播放设备与虚拟扬声器之间的连线与音频播放设备的正前方所成角度减小；加速度为0时，虚拟扬声器回到耳边。
请参阅图5，图5表示在音频播放设备从静止时刻t11到t12到t13到t14到t15时刻的完整的朝向x方向的加速运动过程中，音频播放设备和虚拟扬声器之间的位置关系变化，其中O表示音频播放设备的中心位置，A、B分别是双音源音效下的两个虚拟扬声器。在t11到t12到t13之间，速度v从0增加至v1，加速度a1从0增加至最大加速度a1max，虚拟扬声器从耳边移动到身后，虚拟扬声器A与音频播放设备O之间的连线与音频播放设备O的正前方所成角度、以及虚拟扬声器B与音频播放设备O之间的连线与音频播放设备的正前方所成角度均由大变小，但仍大于90度，同时，虚拟扬声器A、B与音频播放设备O之间的距离L由小变大到Lmax；在t13到t14到t15之间，速度从v1增加至vmax，加速度a1从最大加速度a1max减小到0，虚拟扬声器A与音频播放设备O之间的连线与音频播放设备O的正前方所成角度、以及虚拟扬声器B与音频播放设备O之间的连线与音频播放设备的正前方所成角度均由小增大，同时，虚拟扬声器A、B与音频播放设备O之间的距离L由Lmax变小，直到速度增加到最大速度vmax；加速度a1变为0时，虚拟扬声器回到耳边。
请参阅图6，图6表示在音频播放设备从静止时刻t21到t22到t23到t24到t25时刻朝向x方向的完整减速运动过程中，音频播放设备和虚拟扬声器之间的位置关系变化，其中O表示音频播放设备的中心位置，A、B分别是双音源音效下的两个虚拟扬声器。在t21到t22到t23之间，速度v从最大速度vmax减小至v2，加速度a2从0增加至最大加速度a2max，虚拟扬声器从耳边移动到身前，虚拟扬声器A与音频播放设备O之间的连线与音频播放设备O的正前方所成角度、以及虚拟扬声器B与音频播放设备O之间的连线与音频播放设备的正前方所成角度均由小变大，但仍小于90度；在t23到t24到t25之间，速度从v2减小至v3，加速度a2从最大加速度a2max减小到0，虚拟扬声器A与音频播放设备O之间的连线与音频播放设备O的正前方所成角度、以及虚拟扬声器B与音频播放设备O之间的连线与音频播放设备的正前方所成角度均由大减小，直到加速度a2变为0时，虚拟扬声器回到耳边。
请继续参阅图6，在t21到t22到t23之间，速度v从最大速度vmax减小至v2，加速度a2从0增加至最大加速度a2max，虚拟扬声器从耳边移动到身前，虚拟扬声器A、B分别与音频播放设备O之间的距离L由小变大到Lmax；在t23到t24到t25之间，速度从v2减小至v3，加速a2从最大加速度a2max减小到0，虚拟扬声器A、B分别与音频播放设备O之间的距离L由Lmax变小，直到加速度a2变为0时，虚拟扬声器回到耳边。
可选地，运动信息还可包括速度信息，上述各实施例中，使用者和与各虚拟扬声器之间的角度可与加速移动或减速移动时的加速度和速度呈设定的线性关系。使用者和与各虚拟扬声器之间的距离也可与减速移动或减速移动时的加速度和速度呈设定的线性关系，根据当前运动情况下的加速度、速度以及设定的线性关系即可确定相应的角度参数和距离参数，此处不再过多赘述。
在其他的实施场景中，运动轨迹包括加速转向移动和减速转向移动的轨迹信息。即，可同时获取音频播放设备的转弯信息、以及加速与否的信息和/或减速与否的信息。其中，转弯信息可根据GPS(Global Positioning System，全球定位系统)定位的地图识别当前音频播放设备的运动轨迹，根据音频播放设备当前所处路段的转弯信息确定音频播放设备的转弯信息；还可根据设置于音频播放设备或可随身携带并能够与音频播放设备通信连接的移动装置上的陀螺仪等传感器获取到转弯信息。
请参阅图7，图7为本申请确定转弯信息一实施例的流程示意框图。在前述实施例的基础上，本实施例还包括如下步骤：
步骤S21：确定音频播放设备的移动方向是否偏离。
其中，可利用GPS定位技术识别音频播放设备当前所在的道路，并确定道路延伸方向和音频播放设备当前移动方向之间的夹角，在夹角超过设定角度阈值时，确定音频播放设备的移动方向偏离，请参阅图8，x为音频播放设备当前移动方向，y为道路段R1的延伸方向，其间夹角可表示为γ；还可每隔设定间隔采集音频播放设备的朝向，在当前时刻音频播放设备的朝向与上一时刻朝向之间的夹角超过设定角度阈值时，确定音频播放设备的移动方向偏离，请参阅图9，上一时刻音频播放设备的朝向为w，上一时刻音频播放设备的朝向为v，夹角可表示为φ。
夹角未超过设定角度阈值时，确定没有偏离。
步骤S22：确定音频播放设备的移动偏离方向和偏离角度。
其中，偏离角度可根据上一步骤中的确定夹角的方式确定，此处不再赘述。
至于移动偏离方向，可根据音频播放设备当前移动方向相对于道路延伸方向的偏离方向确定音频播放设备的移动偏离方向。请参阅图8，若音频播放设备从x朝向变换为沿道路段R1行进，则可确定音频播放设备的移动偏离方向为向右偏离；若音频播放设备从x朝向变换为沿道路段R2行进，则可确定音频播放设备的移动偏离方向为向左偏离。或者，可根据当前时刻音频播放设备的朝向相对于上一时刻音频播放设备的朝向之间的偏离方向，请参阅图9，当前时刻音频播放设备的朝向v相对于当前时刻音频播放设备的朝向w向右偏离，确定音频播放设备的移动偏离方向为向右偏离。
其中，在音频播放设备跟随使用者转弯移动的情况下：
在运动轨迹为加速转向移动时，调整至少两个虚拟扬声器位于与音频播放设备移动方向相反的方向上且与转弯方向相反的一侧；在运动轨迹为减速转向移动时，调整至少两个虚拟扬声器位于与音频播放设备移动方相同的方向上且与转弯方向相反的一侧。例如，音频播放设备随使用者左转弯加速移动，则调整虚拟扬声器到音频播放设备的右后方；音频播放设备随使用者右转弯减速移动，则调整虚拟扬声器到音频播放设备的左前方。
具体请参阅图10-图11，图中O表示音频播放设备的中心位置，A、B分别是双音源音效下的两个虚拟扬声器。图10是加速转向移动情况下音频播放设备与虚拟扬声器之间相对位置的示意图，音频播放设备O在t31到t32到t33到t34时间内沿着转弯路径加速转弯，x为音频播放设备在各时刻的朝向，以x指向的方向作为音频播放设备O的前方，则在该加速移动过程中，音频播放设备O为左转弯加速，两个虚拟扬声器A、B位于音频播放设备O的后方(即两个虚拟扬声器A、B中至少有一个与音频播放设备O之间的连线与音频播放设备O正前方所成的角度大于90度)。图11是减速转向移动情况下音频播放设备与虚拟扬声器之间相对位置的示意图，音频播放设备O在t41到t42到t43到t44时间内沿着转弯路径减速转弯，x为音频播放设备在各时刻的朝向，以x指向的方向作为音频播放设备O的前方，则在该减速移动过程中，音频播放设备O为右转弯减速，两个虚拟扬声器A、B位于音频播放设备O的前方(即两个虚拟扬声器A、B中至少有一个与音频播放设备O之间的连线与音频播放设备O正前方所成的角度小于90度)。
其中，加速或减速转弯移动过程中，每个虚拟扬声器与音频播放设备之间的角度与加速度分别和偏离夹角也呈线性关系。可以理解地，每个虚拟扬声器与音频播放设备之间的角度与加速度分别和偏离夹角有不同的线性关系，在转弯过程中虚拟扬声器所形成的声场与使用者在左右方向上偏离。
可选地，当检测到所述使用者的头部在左右转动时，获取设置在所述音频播放设备上的头部跟踪装置实时检测到的头部转动角度信息；并根据获取到的所述头部转动角度信息，以及预设的头部转动角度调整机制，调整所述至少两个虚拟扬声器各自的角度信息。具体来说，在获取到所述使用者头部向左边转动时，调整所述使用者头部左边的虚拟扬声器和所述使用者的水平连线，与所述使用者正前方的角度减小，并调整所述使用者头部右边的虚拟扬声器和所述使用者的水平连线，与所述使用者正前方的角度增大；在获取到所述使用者头部向右边转动时，调整所述使用者头部右边的虚拟扬声器和所述使用者的水平连线，与所述使用者正前方的角度减小，并调整所述使用者头部左边的虚拟扬声器和所述使用者的水平连线，与所述使用者正前方的角度增大。
请参阅图12和图13，X1、X2、X3为使用者头部的正前方，O为音频播放设备和使用者的位置，在使用者头部转动之前，使用者头部的正前方为X1的方向。使用者头部向右转动至X2方向时，调整使用者头部右边的虚拟扬声器B和所述使用者O的水平连线，与使用者正前方X2方向之间的角度减小为a2，并调整使用者头部左边的虚拟扬声器A和使用者的水平连线，与所述使用者正前方X2的角度增大为a1；使用者头部向左转动至X3方向时，调整使用者头部右边的虚拟扬声器B和所述使用者O的水平连线，与使用者正前方X3方向之间的角度增大为a4，并调整使用者头部左边的虚拟扬声器A和使用者的水平连线，与所述使用者O正前方X3的角度减小为a3。
可以理解地，上述各实施例的角度参数还可以是两个或两个以上虚拟扬声器分别与使用者坐标中心的连线两两之间所成的角度，只要是能够调节虚拟扬声器与音频播放设备之间连线，和音频播放设备行进的正前方之间的角度的参数，均可视为是本申请角度参数的可替换方案，应视为落在本方案请求保护的范围内。
步骤S14：利用音频播放设备播放空间音频数据。
上一步骤对待处理音频数据进行处理，得到处理后的空间音频数据，本步骤利用音频设备播放空间音频数据，该空间音频数据是根据使用者的运动信息调整后的数据，具有相应的空间特征，在使用者持续的运动过程中，播放的音频空间特征根据运动状态的改变而发生相应的改变。
区别于现有技术，本实施例根据音频播放设备随着使用者运动而感知到的运动信息调整音效函数中的位置参数，进而调整虚拟扬声器与音频播放设备之间的角度和距离，也即调整虚拟扬声器相对于使用者的方位，最终起到调整音效的目的，音频播放效果随着运动信息的改变而动态改变，赋予音频更生动的表达效果，提高使用者的临场感，满足用户“音频伙伴”陪护的情感需求，有益于提升运动体验，并且能够引导用户更好地完成运动目标。
请参阅图14，图14是本申请音频播放设备一实施例的结构示意框图。
音频播放设备100包括获取模块110、参数调整模块120以及音频播放模块130，其中，获取模块110用于获取音频播放设备的待处理音频数据，以及获取所述音频播放设备跟随所述使用者的运动信息；参数调整模块120用于基于所述运动信息调整音效函数中音频播放设备与虚拟扬声器之间的位置参数；其中，所述位置参数至少包括所述音频播放设备与所述虚拟扬声器在水平方向上的角度参数，所述虚拟扬声器的位置为经过音效函数处理后虚拟音源位置；音频播放模块130用于利用调整后的音效函数将所述待处理音频数据转换为待播放数据，由所述音频播放设备输出所述待播放数据。
其中，音频播放设备100还可包括通信模块(图未示出)，通信模块用于与音源设备建立有线或无线通信连接，以接收来自音源设备的待处理音频数据。
例如，音源设备可以是手机、平板电脑以及手表手环等可穿戴音源设备，音源设备可存储有本地音频数据，或者可通过网络在应用程序或网页上获取音频数据作为待处理音频数据，待处理音频数据例如是音乐音频数据、电子读物音频数据等、电视/电影音频等。
关于各处理执行的各步骤的具体方式请参照上述本申请音频处理方法实施例的各步骤的描述，在此不再赘述。
请参阅图15，图15是本申请音频播放设备另一实施例的结构示意框图。该音频播放设备200包括相互耦接的处理器210和存储器220，存储器220中存储有计算机程序，处理器210用于执行计算机程序以实现上述各实施例所述的音频处理方法。
关于处理执行的各步骤的描述请参照上述本申请音频处理方法实施例的各步骤的描述，在此不再赘述。
存储器220可用于存储程序数据以及模块，处理器210通过运行存储在存储器220的程序数据以及模块，从而执行各种功能应用以及数据处理。存储器220可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如参数调整功能等)等；存储数据区可存储根据音频播放设备200的使用所创建的数据(比如待处理音频数据、运动信息数据等)等。此外，存储器220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器220还可以包括存储器控制器，以提供处理器210对存储器220的访问。
在本申请的各实施例中，所揭露的方法、装置，可以通过其它的方式实现。例如，以上所描述的音频播放设备200的各实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中。
参阅图16，图16为本申请计算机可读存储介质一实施例的结构示意框图，计算机可读存储介质300存储有程序数据310，程序数据310被执行时实现如上述音频处理方法各实施例的步骤。
关于处理执行的各步骤的描述请参照上述本申请音频处理方法实施例的各步骤的描述，在此不再赘述。
计算机可读存储介质300可以是U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种音频处理方法，其特征在于，所述方法包括：
获取音频播放设备随着使用者的移动而移动的运动信息，其中，所述运动信息至少包括所述使用者的运动轨迹、实时的运动速度、实时的加速度；
根据所获取的所述使用者的运动轨迹、实时的运动速度、实时的加速度，以及预设的音效函数，计算得到相对于所述使用者的至少两个虚拟扬声器各自的位置和角度信息；
获取所述音频播放设备的待处理音频数据，并根据所述预设的音效函数，以及所获取到的所述至少两个虚拟扬声器各自的位置和角度信息，计算得到处理后的空间音频数据；
利用所述音频播放设备播放所述空间音频数据。
2.根据权利要求1所述的方法，其特征在于，在所述计算得到相对于所述使用者的至少两个虚拟扬声器各自的位置和角度信息的过程中，所述方法还包括：
当检测到所述使用者的头部在左右转动时，获取设置在所述音频播放设备上的头部跟踪装置实时检测到的头部转动角度信息；
根据获取到的所述头部转动角度信息，以及预设的头部转动角度调整机制，调整所述至少两个虚拟扬声器各自的角度信息。
3.根据权利要求2所述的方法，其特征在于，所述头部转动角度调整机制包括：
在获取到所述使用者头部向左边转动时，调整所述使用者头部左边的虚拟扬声器和所述使用者的水平连线，与所述使用者正前方之间的角度减小，以及调整所述使用者头部右边的虚拟扬声器和所述使用者的水平连线，与所述使用者正前方之间的角度增大；
在获取到所述使用者头部向右边转动时，调整所述使用者头部右边的虚拟扬声器和所述使用者的水平连线，与所述使用者正前方之间的角度减小，以及调整所述使用者头部左边的虚拟扬声器和所述使用者的水平连线，与所述使用者正前方之间的角度增大。
4.根据权利要求1所述的方法，其特征在于，所述音效函数在执行时包括：
当获取到的所述使用者的加速度的绝对值大于预设的第一阈值时，将所述至少两个虚拟扬声器各自的位置信息中的相对于所述使用者的距离设置为预设的第二阈值，以及将所述至少两个虚拟扬声器各自的角度信息中相对于所述使用者的角度设置为预设的第三阈值；
当获取到的所述使用者的加速度的绝对值等于0时，将所述至少两个虚拟扬声器各自的位置信息中的相对于所述使用者的距离设置为0，以及将所述至少两个虚拟扬声器各自的角度信息中的相对于所述使用者的角度设置为0；
当获取到的所述使用者的加速度的绝对值大于0且小于所述第一阈值时，将所述至少两个虚拟扬声器各自的位置信息中的相对于所述使用者的距离按照预设的第一线性关系进行调整，以及将所述至少两个虚拟扬声器各自的角度信息中的相对于所述使用者的角度按照预设的第二线性关系进行调整。
5.根据权利要求4所述的方法，其特征在于，所述第一线性关系为所述第一阈值与所述第二阈值的比值等于当前获取到的所述使用者的加速度与所述虚拟扬声器相对于所述使用者的距离的比值，和/或，所述第二线性关系为所述第一阈值与所述第三阈值的比值等于当前获取到的所述使用者的加速度与所述虚拟扬声器相对于所述使用者的角度的比值。
6.根据权利要求1所述的方法，其特征在于，所述运动信息是利用定位装置、加速度传感器实时获取得到；所述定位装置、加速度传感器中的至少之一设置在所述音频播放设备上，或者是设置在与所述音频播放设备通信连接的智能移动设备上。
7.根据权利要求1所述的方法，其特征在于，当获取到的所述使用者的加速度大于0时，所述至少两个虚拟扬声器各自位于与所述音频播放设备的移动方向相反的方向上；
当获取到的所述使用者的加速度小于0时，所述至少两个虚拟扬声器各自位于与所述音频播放设备的移动方向相同的方向上。
8.根据权利要求1所述的方法，其特征在于，所述运动轨迹包括加速转向移动和减速转向移动；
在所述运动轨迹为加速转向移动时，所述至少两个虚拟扬声器位于与所述音频播放设备移动方向相反的方向上且与转弯方向相反的一侧；
在所述运动轨迹为减速转向移动时，所述至少两个虚拟扬声器位于与所述音频播放设备移动方相同的方向上且与转弯方向相反的一侧。
9.一种音频播放设备，其特征在于，所述音频播放设备包括相互耦接的处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序数据，所述程序数据被处理器执行时实现如权利要求1-8中任一项所述方法的步骤。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211327883.8A CN117956373A (zh) | 2022-10-27 | 2022-10-27 | 音频处理方法、音频播放设备以及计算机可读存储介质 |
| US18/384,047 US20240147181A1 (en) | 2022-10-27 | 2023-10-26 | Spatial Audio Effect Adjustment |
| JP2023184880A JP2024065098A (ja) | 2022-10-27 | 2023-10-27 | オーディオ処理方法、オーディオ再生機器及びコンピュータ可読記憶媒体 |
| EP23207277.7A EP4362503A1 (en) | 2022-10-27 | 2023-11-01 | Spatial audio effect adjustment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211327883.8A CN117956373A (zh) | 2022-10-27 | 2022-10-27 | 音频处理方法、音频播放设备以及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117956373A true CN117956373A (zh) | 2024-04-30 |
Family
ID=88647287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211327883.8A Pending CN117956373A (zh) | 2022-10-27 | 2022-10-27 | 音频处理方法、音频播放设备以及计算机可读存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240147181A1 (zh) |
| EP (1) | EP4362503A1 (zh) |
| JP (1) | JP2024065098A (zh) |
| CN (1) | CN117956373A (zh) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2523961C2 (ru) * | 2009-02-13 | 2014-07-27 | Конинклейке Филипс Электроникс Н.В. | Слежение за положением головы |
| JP2023514571A (ja) * | 2020-02-14 | 2023-04-06 | マジック リープ， インコーポレイテッド | 遅延オーディオ追従 |
-
2022
- 2022-10-27 CN CN202211327883.8A patent/CN117956373A/zh active Pending
-
2023
- 2023-10-26 US US18/384,047 patent/US20240147181A1/en active Pending
- 2023-10-27 JP JP2023184880A patent/JP2024065098A/ja active Pending
- 2023-11-01 EP EP23207277.7A patent/EP4362503A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024065098A (ja) | 2024-05-14 |
| US20240147181A1 (en) | 2024-05-02 |
| EP4362503A1 (en) | 2024-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101588040B1 (ko) | 이동 애플리케이션을 위한 헤드 트래킹 | |
| EP2700907B1 (en) | Acoustic Navigation Method | |
| US8472653B2 (en) | Sound processing apparatus, sound image localized position adjustment method, video processing apparatus, and video processing method | |
| ES2936834T3 (es) | Aparato de procesamiento de señales de audio y método para la reproducción biaural | |
| EP2200349B1 (en) | Information processing system and information processing method | |
| EP3354045A1 (en) | Differential headtracking apparatus | |
| US10542368B2 (en) | Audio content modification for playback audio | |
| KR20150003528A (ko) | 머리 움직임을 이용한 사용자 인터페이스 방법 및 장치 | |
| US9706329B2 (en) | Multiuser, geofixed acoustic simulations | |
| US10880669B2 (en) | Binaural sound source localization | |
| EP2589231A1 (en) | Facilitating communications using a portable communication device and directed sound output | |
| US9769585B1 (en) | Positioning surround sound for virtual acoustic presence | |
| WO1991011079A1 (fr) | Appareil de reproduction de signaux acoustiques | |
| CN112806030A (zh) | 空间音频处理 | |
| WO2019108255A1 (en) | Navigation spatial placement of sound | |
| US10667073B1 (en) | Audio navigation to a point of interest | |
| EP4214535A2 (en) | Methods and systems for determining position and orientation of a device using acoustic beacons | |
| US20210343296A1 (en) | Apparatus, Methods and Computer Programs for Controlling Band Limited Audio Objects | |
| CN115605944A (zh) | 基于活动的智能透明度 | |
| US10735885B1 (en) | Managing image audio sources in a virtual acoustic environment | |
| CN117956373A (zh) | 音频处理方法、音频播放设备以及计算机可读存储介质 | |
| CN117956372A (zh) | 音频处理方法、音频播放设备及计算机可读存储介质 | |
| US10659905B1 (en) | Method, system, and processing device for correcting energy distributions of audio signal | |
| CN113766397A (zh) | 立体声耳机的声音定位控制方法、立体声耳机及相关设备 | |
| KR20200054083A (ko) | 사운드 생성 방법 및 이를 수행하는 장치들 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |