CN111818441B - 音效实现方法、装置、存储介质及电子设备 - Google Patents

音效实现方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111818441B
CN111818441B CN202010646454.1A CN202010646454A CN111818441B CN 111818441 B CN111818441 B CN 111818441B CN 202010646454 A CN202010646454 A CN 202010646454A CN 111818441 B CN111818441 B CN 111818441B
Authority
CN
China
Prior art keywords
transfer function
sound effect
position information
audio
human ear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010646454.1A
Other languages
English (en)
Other versions
CN111818441A (zh
Inventor
杜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN202010646454.1A priority Critical patent/CN111818441B/zh
Publication of CN111818441A publication Critical patent/CN111818441A/zh
Application granted granted Critical
Publication of CN111818441B publication Critical patent/CN111818441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

本申请实施例公开了一种音效实现方法、装置、存储介质及电子设备,其中,方法包括:获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息,基于所述相对位置信息以及所述结构信息,确定所述扬声器对应的音频传递函数,控制所述扬声器输出所述音频传递函数对应的音效。采用本申请实施例,可以确定准确的音频传递函数,从而提高基于音频传递函数实现的音效效果。

Description

音效实现方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种音效实现方法、装置、存储介质及电子设备。
背景技术
随着计算机技术的发展,沉浸式音效体验可以为用户带来更好的视听体验,传统的基于多声道技术的音效技术(如三维音频呈现技术、环绕声技术)虽然具有较好的视听呈现效果,但由于需要多个扬声器进行配置,无法适用于便携式电子产品,如终端。
立体声和环绕声等音效实现方式中,由于人仅通过双耳即可辨别出空间中的声源方位,其原理在于人脑可以通过双耳间声音细微差异判别出声源的方位。而作为一种音频传递函数的头相关传递函数(Head Related Transfer Function, HRTF)可以描述声音由特定方位传递入人耳的过程中经过耳廓、躯干等人体部位反射、衍射而发生的改变。因此利用音频传递函数能够模拟出人双耳收听到的声音信息,从而呈现出逼真的音效效果(如三维立体声、环绕声、全景声),在实际使用中,终端的用户仅需使用普通的双声道耳机即可享受更好的视听体验。
目前,终端上的音频传递函数(如头相关传递函数),可以通过多次实验测试和建模得到的用户在日常使用时的常规情形,即在终端侧会设置一个默认的音频传递函数,终端基于音频传递函数对待播放的音频数据进行音频处理,从而输出音频数据对应的音效。
发明内容
本申请实施例提供了一种音效实现方法、装置、存储介质及电子设备,可以确定准确的音频传递函数,从而提高基于音频传递函数实现的音效效果。本申请实施例的技术方案如下:
第一方面,本申请实施例提供了一种音效实现方法,所述方法包括:
获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息;
基于所述相对位置信息以及所述结构信息,确定所述扬声器对应的音频传递函数;
控制所述扬声器输出所述音频传递函数对应的音效。
第二方面,本申请实施例提供了一种音效实现装置,所述装置包括:
信息获取模块,用于获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息;
传递函数确定模块,用于基于所述相对位置信息以及所述结构信息,确定所述扬声器对应的音频传递函数;
音效控制模块,用于控制所述扬声器输出所述音频传递函数对应的音效。
第三方面,本申请实施例提供一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
第四方面,本申请实施例提供一种电子设备,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括:
在本申请一个或多个实施例中,终端获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息,然后基于所述相对位置信息以及所述结构信息,确定所述扬声器对应的音频传递函数,并控制所述扬声器输出所述音频传递函数对应的音效。通过在实际使用时将人耳与扬声器间的相对位置关系以及不同用户人耳处的结构信息纳入对音频传递函数的参考,可以准确确定音频传递函数,从而契合当前用户的音效需求,可以输出契合当前用户优质的音效,提高了基于音频传递函数音效实现过程中的音效效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种音效实现方法的流程示意图;
图2是本申请实施例提供的音效实现方法涉及的一种测试环境下不同用户水平面竖直方向上的音频传递函数对应的频谱图;
图3是本申请实施例提供的音效实现方法涉及的一种音频数据处理的场景示意图;
图4是本申请实施例提供的另一种音效实现方法的流程示意图;
图5是本申请实施例提供的一种音效实现装置的结构示意图;
图6是本申请实施例提供的一种传递函数确定模块的结构示意图;
图7是本申请实施例提供的一种第一传递函数确定单元的结构示意图;
图8是本申请实施例提供的一种音效测试结果确定模块的结构示意图;
图9是本申请实施例提供的另一种音效实现装置的结构示意图;
图10是本申请实施例提供的一种电子设备的结构示意图;
图11是本申请实施例提供的操作系统和用户空间的结构示意图;
图12是图10中安卓操作系统的架构图;
图13是图10中IOS操作系统的架构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本申请的描述中,需要说明的是,除非另有明确的规定和限定,“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在 B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合具体的实施例对本申请进行详细说明。
在一个实施例中,如图1所示,特提出了一种音效实现方法,该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的音效实现装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。
具体的,该音效实现方法包括:
步骤S101:获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息。
实际应用中,终端在配置时可包含耳机,耳机可作为终端的一个模块或单元进行设置,耳机可以是内置的或者外置的;当耳机作为终端的外设模块进行配置时,作为外设模块的耳机与终端间可通过诸如通用串行总线、3.5mm接口、Typle-C接口、蓝牙连接等方式进行连接。
所述相对位置信息可以理解为终端在对用户人耳检测中,所述耳机的扬声器相对于用户人耳所在的位置、所占的地方或所处的方位,在实际应用中,所述相对位置信息通常可以是以经纬度、坐标、方向、方位等形式表征所述耳机的扬声器以所述用户的人耳为参照标准所在的位置、所占的地方或所处的方位。具体以何种方式进行表征,此处不做具体限定。
所述人耳的结构信息可以理解为人体形态学中影响音效实现(如影响音效效果)的人耳部分所对应的(人耳处)结构信息,其人耳的结构信息可以是以人体耳部形态学参数进行表征,包含但不限于头高、头宽、耳廓上偏移量、耳廓后偏移量、耳颈高、耳躯干厚度、耳甲腔高度、耳甲腔深度、耳甲腔宽度、耳高、耳宽,耳屏间切痕宽度、外耳张角、外耳旋转角等参数,也可以根据具体实施环境的音效实现的复杂度要求选取部分人体耳部形态学参数进行。
在本申请实施例中,所述音效可以是立体声音效、环绕声音效、全景声音效、3D音效等音效。随着音效技术的快速发展,传统的音效技术(如立体声音效)已经无法满足沉浸式声音体验的需求,传统的基于多声道技术的三维音频呈现技术虽然具有较好的三维声呈现效果,但由于需要多个扬声器进行配置,无法适用于小型移动设备(如手机、头戴式虚拟现实设备等)。
人仅通过双耳即可辨别出空间中的声源方位,其原理在于人脑可以通过双耳间声音细微差异判别出声源的方位。头相关传递函数(Head Related Transfer Function,HRTF)描述了声音由特定方位传递入人耳的过程中经过耳廓、躯干等人体部位反射、衍射而发生的改变。因此利用HRTF能够模拟出人双耳收听到的声音信息,从而呈现出逼真的音效效果。在一些实施例中,利用HRTF技术可以实现,用户仅需使用普通的双声道耳机即可享受诸如三维音频、全景声音效等音效效果。在一些实施例中,立体声、环绕声等音效的实现方式中,通常通过两个独立的立体声道,即在终端上配置左右两个扬声器,然后通过两个扬声器分别输出两个独立的音频,来控制左右扬声器对应的立体声道的发声进行控制,然后应用基于HRTF(与头部相关的传递函数)的过滤器,对相应的音频信号(如音频数据对应的音频信号)进行数字处理并控制扬声器发声,最后输出诸如环绕音效、立体音效等音效。
进一步的,由于HRTF反映的是声音受人体的影响情况,所以HRTF与个体密切相关,不同个体的HRTF有较大的差异,在相关技术中,终端中的HRTF 是通过多次实验测试和建模得到的用户在日常使用时的常规情形,即在终端侧会设置一个默认HRTF,所述默认HRTF与下述默认传递函数为同一概念。而在实际使用中,采用这种方式(设置一个默认HRTF)没有考虑到用户在实际使用时人耳与扬声器间的相对位置关系,如人耳的位置和角度,另外,也没有考虑到不同用户人耳处的结构信息,如人耳处对应的人头尺寸,人耳形状、人耳轮廓等。因此,在实际使用时,不同的人在不同的应用场景下使用立体环绕声可能会有不同的体验,在实际应用中,通常用户的头部、人耳的结构信息、相对位置距离分布在一个有限的集合中,如图2所示,图2是一种测试环境下不同用户水平面竖直方向上的音频传递函数对应的频谱图,从图2中可以分析出,有限的集合并不能代表所有人的人耳的结构信息分布以及相对位置信息分布,而这些特征通常对音频传递函数的函数误差影响较大,而在相关技术中,采用基于一个有限的集合设置一个默认HRTF,会存在默认音频传递函数难以覆盖到用户的音效实现需求,从而造成音效效果较差,无法让用户有较佳的音效体验。
在一种具体的实施场景中,在人耳佩戴耳机时,终端可以通过所述耳机的目标传感器对所述人耳进行检测,来确定所述目标传感器与所述人耳的第一相对位置信息以及所述人耳对应的人耳图像。
其中,所述目标传感器的数量可以是多个,所述目标传感器包括但不限于深度传感器、红外线传感器、图像传感器等相关传感器中的一种或多种的拟合。具体可根据实际应用场景确定目标传感器的种类。如,终端可以通过所述耳机的目标传感器对所述人耳进行检测之后,确定所述目标传感器与所述人耳的相对距离、相对方向、相对角度等第一相对位置信息。
具体的,终端获取预设的所述目标传感器与所述耳机的扬声器之间的第二相对位置信息,所述第二相对位置信息可以理解为所述耳机配置(如生产)时,所述目标传感器与所述耳机的扬声器之间的相对位置信息,如所述耳机的扬声器相对于目标传感器所在的位置、所占的地方或所处的方位,在实际应用中,所述耳机在诸如生产制造等配置过程中,通常会设置一个耳机所包含的各器件之间的内部标定参数,例如,耳机所包含的目标传感器与扬声器之间的距离以及相对角度。
具体的,终端可以基于所述第一相对位置信息以及所述第二相对位置信息,来确定所包含的扬声器与所述人耳的相对位置信息;实际应用中:终端可以基于所述第一相对位置信息以及所述第二相对位置信息,通过位置计算处理,可以计算得到扬声器与所述人耳的相对位置信息,如第一相对位置信息可以是扬声器与所述人耳的第一距离以及第一角度,第二相对位置信息可以是目标传感器与扬声器的第二距离以及第二角度,则通过位置计算处理可以得到扬声器与所述人耳的相对距离以及相对角度。
同时,终端可以基于所述人耳图像构建所述人耳的人耳模型,终端在获取到人耳图像之后,可以基于在实际环境下拍摄的人耳图像进行预处理,所述预处理包含数字化、几何变换、归一化、平滑、复原增强等处理过程,消除人耳图像中无关的信息(如与人耳图像无关的图像),并提取人耳图像中的音频传递特征,所述音频传递特征包括但不限于耳廓特征、耳颈特征、耳躯干特征、耳甲腔特征、耳屏间切痕特征、外耳特征、人耳所处的头部特征(如头宽),等等。基于提取的音频传递特征然后建立人耳模型,所述人耳模型用于反馈实际应用环境下人耳的结构信息,通过人耳模型的方式可以准确、形象的表征人耳的内部结构,进一步的,在建立的人耳模型的基础上可以通过人耳参数提取。来获取到所述人耳模型的结构信息,如耳廓上偏移量、耳廓后偏移量、耳颈高、耳躯干厚度、耳甲腔高度、耳甲腔深度、耳甲腔宽度、耳高、耳宽,耳屏间切痕宽度、外耳张角、外耳旋转角等参数对应的结构信息。
在一种具体的实施场景中,在人耳佩戴耳机时,终端可以通过所述耳机的扬声器以超声波的方式扫描所述人耳,具体可以是基于耳机所包含的扬声器向某一范围(如0度到180度)发射超声波,通过对超声波遇到障碍物(如人耳) 时反射信号的接收和处理,可以获得人耳处的图像 。常用的超声类型有多种:如A型(幅度调制型)是以波幅的高低表示反射信号的强弱,显示的是一种“回声图”。M型(光点扫描型)是以垂直方向代表从浅至深的空间位置,水平方向代表时间,显示为光点在不同时间的运动曲线图,等等,以及基于超声波的方式可以探测到人耳的诸如位置、距离、方位等相对位置信息,进一步的,终端在完成对所述人耳的超声波扫描之后可以获取到所述扬声器与所述人耳的相对位置信息,同时基于超声波扫描时的超声波图像可以对所述人耳构建人耳模型,然后提取到所述人耳模型的结构信息。
步骤S102:基于所述相对位置信息以及所述结构信息,确定所述扬声器对应的音频传递函数。
其中,声源(如耳机的扬声器)为声音信号信息的发出者,人耳鼓膜为信息的接收者,声传播途径的特性决定了声音信号从发出到接收过程中产生的一切变化。声音信号到达鼓膜处引起人的听觉可以看作是信号经过一个滤波器后在鼓膜处产生的响应。这个滤波器对声音的滤波特性即可以用音频传递函数表示,在本申请实施例中,音频传递函数的确定基于上述相对位置信息以及上述人耳的结构信息,可以理解的是音频传递函数作为以滤波器用来描述声音信号从声源处传播到双耳鼓膜处的整个过程。当声音信号经音频传递函数滤波后传送到听众的双耳,合成的具有相应音效的声音会使听众在一个虚拟空间位置上感受到声源的存在。与音频传递函数对应的时域函数也可称为为头相关冲激响应函数,其描述的是远场声音对人耳的听觉反应。在本申请实施例中,一种音频传递函数的表达方式参加如下:
Figure BDA0002573302610000081
其中,PL、PR是声源(如声音信号)在听音者左、右耳产生的复数声压;P0 是人头不存在时头中心处的复数声压。HRTF是声源的水平方位角θ、仰角φ、声源至人头中心的距离r和声波的角频率ω的函数,且与人耳处的结构信息а (如人头的大小)有关;d为人耳与扬声器之间的相对位置信息(如距离、方位、角度等)。
在实际应用中,可以预先建立基于音频传递函数的数据库,即音频传递函数库,在创建音频传递函数库时,可以采用仿真模拟的方式,如采用3D打印技术打印不同尺寸、不同标准的人耳模型,并在所述人耳模型的三维空间中放置声源(如所述耳机)对其进行测量并录制不同声源波段的不同类型的声音信号,从而可以得到完整的音频传递函数对应的参数;也可以采用音频传递函数对应的专业方法实测得到,如采用CAD/CNC的专业方法重建模拟人耳模型,使其更适合人工模拟头部模型,在所述人工模拟头部模型放入麦克风等音频设备。常见的音频设备可以是“Digital Ear”,从而可以测量到音频传递函数对应的各类参数,等等。其中,常用的测量方法可以是基于已测量数据的线性内插算法,如间隔为0经度、15纬度、基于PCA主元的内插算法、样条差值算法等等。
进一步,在本申请实施例中,为了覆盖不同尺寸、不同标准的人耳模型,可以采用电子设备集群的方式采集各自实际应用环境下的样本数据,如在用户使用过程中,电子设备(如终端)可以采集用户的所述人耳模型、所述相对位置信息以及相关音频传递函数对应的音频参数,然后将样本数据上报至服务器,服务器基于各电子设备发送的样本数据进行分析计算,对相应的样本数据(不太精准的音频传递函数对应的音频参数)进行滤除,然后对样本数据中的音频传递函数对应的音频参数进行音频加窗处理,如使用修正的汉宁(Hanning)窗来除去不精确的音频传递函数对应的数据中存在的其他声音信号(墙壁、噪声等的反射声音信号),这样就获得一个在自由声场环境下的音频传递函数对应的HRIR数据,所述HRIR数据可以是在一定时间间隔内(如4毫秒)在每个设定的计算位置处保存的指定数目的参数数据,从而可以完成音频传递函数库的创建以及优化。
具体的,终端在获取到所述相对位置信息以及所述结构信息之后,以所述相对位置信息以及所述结构信息为匹配基准,采用相应的匹配计算规则在音频传递函数库中确定所述相对位置信息以及所述结构信息共同对应的音频传递函数,如所述匹配计算规则可以是基于最小均方误差的匹配计算规则,从而在音频传递函数库中确定最佳匹配结果对应的音频传递函数。
步骤S103:控制所述扬声器输出所述音频传递函数对应的音效。
具体的,所述音频传递函数确定之后,通常可以基于终端的两个声道(左声道与右声道),对相应音效(如立体声)的音频数据进行音频解析,基于音频解析数据来控制多个音频传递函数对应的滤波器处理多个虚拟音频声道以便为收听者提供每个虚拟输入声道从特定方向出现的印象,从而实现相应的音效,如立体环绕声、全景声等等。如图3所示,图3是一种音频数据处理的场景示意图,图3显示了终端控制所述扬声器输出所述音频传递函数对应的音效的场景,终端基于相应音效(如立体声)的音频数据,确定音频数据的对应的两个声道(左声道以及右声道),由两个声道(左声道以及右声道)对所述音频数据进行处理,其中,所述音频数据通常包含相应剩余的空间位置参数(可以理解为某一时间点需要模拟的特定虚拟方位的音频音效),实际应用中,音效实现系统用于使用收听者佩戴的一对耳机进行相应音效的播放。每个声道通常被一对音频传递函数对应的滤波器处理;在实际实现中,一个滤波器针对通过收听者左耳的相应音效的播放,另一个针对通过收听者的右耳的相应音效的播放。因此音效的实现实则为:从第一个HRTF滤波器对直到第N个HRTF滤波器对相应音效的音频数据处理完成,需要说明的是左(右)声道HRTF滤波器通常对应的滤波器的数量为多个,而每个滤波器对通常包含作用于左耳的音频传递函数对应的左滤波器和作用于右耳的音频传递函数对应的右滤波器。针对通过收听者左耳音效实现的每个HRTF滤波器(从第一个滤波器对的左滤波器到最后一个滤波器对的左滤波器)的输出由第一加法器相加,而针对通过收听者右耳音效实现的每个HRTF滤波器(从第一个滤波器对的右滤波器到最后一个滤波器对的右滤波器)的输出由第二加法器相加。收听者感觉到的每个声道的入射方向通过被应用于该声道的HRTF滤波器对的选择来确定。而终端可以控制每个声道的HRTF滤波器对从内部存储空间或外部接口获取到音频数据中的空间位置参数,至少上述公式中的水平方位角以及垂直角度,并以此为基准确定音频传递函数对应的音频参数,最后利用音频参数对应的音频传递函数得到一组该声道的HRTF滤波器的HRTF数据。由HRTF滤波器对HRTF数据进行数据信号处理,以使得经由耳机为收听者提供的音频输入给收听者一种某一声道的声音是从某一空间虚拟位置处发出,如可以被表示为θ1的特定到达方位角入射到该收听者的印象。同样地,针对另外一个声道的HRTF滤波器对被设计以使得该声道的声音是从被表示为θ2的特定到达方位角入射到收听者,而针对第 N声道的HRTF滤波器对被设计以使得声道N的声音是从被表示为θN的特定到达方位角入射到收听者。各声道声音的叠加从而实现了对某一音频数据特定音效(如环绕声、立体声)的播放。
在本申请实施例中,终端获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息,然后基于所述相对位置信息以及所述结构信息,确定所述扬声器对应的音频传递函数,并控制所述扬声器输出所述音频传递函数对应的音效。通过在实际使用时将人耳与扬声器间的相对位置关系以及不同用户人耳处的结构信息纳入对音频传递函数的参考,可以准确确定音频传递函数,从而契合当前用户的音效需求,可以输出契合当前用户优质的音效,提高了基于音频传递函数音效实现过程中的音效效果。
请参见图2,图2是本申请提出的一种音效实现方法的另一种实施例的流程示意图。具体的:
步骤S201:获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息。
具体可参见步骤S101,此处不再赘述。
步骤S202:确定所述相对位置信息与所述参考位置信息匹配,且所述结构信息与所述参考结构信息匹配,将所述参考位置信息与所述参考结构信息共同对应的默认传递函数作为所述扬声器对应的音频传递函数。
具体的,终端获取到相对位置信息以及所述结构信息之后,可以基于预设的参考位置信息以及参考结构信息进行信息匹配,所述参考位置信息与所述相对位置信息相对应,所述参考结构信息与所述结构信息相对应,在实际应用中。所述耳机在配置时(如出厂时)会对应一个默认传递函数,该默认传递函数通过多次实验测试和建模得到的用户在日常使用时的常规情形,而在本申请实施开中,所述参考位置信息以及参考结构信息与所述默认传递函数相关联,可以理解的是,终端可以基于所述参考位置信息以及参考结构信息,与所述相对位置信息以及所述结构信息匹配,来评判所述默认传递函数是否适用于当前用户,以及能否满足用户的音效实现需求。
进一步的,所述相对位置信息可以对应多个相对位置参数,如相对坐标、相对方位、相对角度等等,所述结构信息包括多个耳部形态参数(即人体耳部形态学参数),如:耳廓后偏移量、耳颈高、耳躯干厚度、耳甲腔高度、耳甲腔深度、耳甲腔宽度等等。
具体终端判断各相对位置参数符合参考相对位置信息的预设条件,以及各耳部形态参数符合参考结构信息的预设条件,从而评判所述默认传递函数是否适用于当前用户。
其中,预设条件可以是针对至少一个参考相对位置信息对应的参考位置参数(参考位置、参考角度、参考坐标)设置,以及针对至少一个参考结构信息对应的参考结构参数(参考耳颈高、参考耳廓后偏移量、参考耳甲腔高度)设置;
一种预设条件可以是对各参数(参考位置参数以及参考结构参数)分别设置参数范围,当一个或多个参数落入到各自对应的参数范围内时,确定所述相对位置信息与所述参考位置信息匹配,且所述结构信息与所述参考结构信息匹配,此时默认传递函数适用于当前用户;当一个或多个参数未落入到各自对应的参数范围内时,确定所述相对位置信息与所述参考位置信息不匹配,和/或所述结构信息与所述参考结构信息不匹配,此时默认传递函数不适用于当前用户。
一种是设置参数阈值,对各参数(参考位置参数以及参考结构参数)分别设置参数阈值,当一个或多个参数达到参数阈值时,确定所述相对位置信息与所述参考位置信息匹配,且所述结构信息与所述参考结构信息匹配,此时默认传递函数适用于当前用户;当一个或多个参数未达到参数阈值时,确定所述相对位置信息与所述参考位置信息不匹配,和/或所述结构信息与所述参考结构信息不匹配,此时默认传递函数不适用于当前用户。
其中,参数达到参数阈值可以理解为:参数大于或等于参数阈值;或,通信参数小于或等于参数阈值。具体根据实际应用环境中所表征的默认传递函数评判指标而定。
在一种可行的实施方式中,终端可以通过对当前相对位置参数以及结构信息对应的各参数进行评测,根据各参数计算质量分,以通过质量分确定所述相对位置信息与所述参考位置信息是否匹配,且所述结构信息与所述参考结构信息是否匹配,所述参数可以是相对位置参数以及结构信息对应的各参数中的一个或多个,根据各参数来计算质量分,从而衡量默认传递函数是否适用于当前用户。
其中,终端设置有质量分阈值,所述质量分阈值通常在实际应用环境中,采集大量样本数据运用统计学方法得到。
1、当计算得到的所述质量分小于质量分阈值时,确定所述相对位置信息与所述参考位置信息匹配,且所述结构信息与所述参考结构信息匹配,此时默认传递函数适用于当前用户;
2、当计算得到的所述质量分小于质量分阈值时,确定所述相对位置信息与所述参考位置信息不匹配,和/或所述结构信息与所述参考结构信息不匹配,此时默认传递函数不适用于当前用户。需要说明的是,在本申请实施例中“所述相对位置信息与所述参考位置信息不匹配”、“所述结构信息与所述参考结构信息不匹配”以及“所述相对位置信息与所述参考位置信息不匹配,且所述结构信息与所述参考结构信息不匹配”均可以归结为默认传递函数不适用于当前用户。
其中,一种计算方法可以是对各参数设置不同或相同的权重值,基于各参数以及所述权重值进行加权计算,可以得到当前质量分;
其中,一种计算方法可以是对各通信参数设置参考参数特征(如参考位置、参考角度、参考指示距离等),将至少一个参数中各参数与其对应的参数特征计算差异特征信息(如差异参数值),根据差异特征信息进行评分,根据差异特征信息进行评分时,可以是设置评分等级,例如设置三个等级:等级A>等级 B>C,以上述参数包含两个参数为例进行释义:计算参数A1与参考指示值A的差异数值a,当差异数值a达到等级B对应的数值时,此时即将等级B对应的分数作为当前质量分。
在一种可行的实施方式中,终端可以将获取到的相对位置信息以及所述结构信息对应的各参数输入至训练好的评分确定模型中,输出当前的质量分。其中,通过获取实际应用环境中的样本数据(包含设置的参考位置信息和参考结构信息),提取特征信息,并对所述样本数据对应的分值进行标注,所述特征信息包含至少一个参数(耳廓后偏移量、耳颈高、耳躯干厚度、相对坐标、相对方向等),创建评分确定模型。如评分确定模型可以是基于卷积神经网络 (Convolutional Neural Network,CNN)模型,深度神经网络 (Deep NeuralNetwork,DNN)模型、循环神经网络(RecurrentNeuralNetworks, RNN)、模型、嵌入(embedding)模型、梯度提升决策树(Gradient Boosting Decision Tree,GBDT)模型、逻辑回归(LogisticRegression,LR) 模型中的至少一种实现的,基于已经标注分值的样本数据对评分确定模型进行训练,可以得到训练好的评分确定模型。
步骤S203:确定所述相对位置信息与参考位置信息不匹配,和/或所述结构信息与参考结构信息不匹配。
具体可参见步骤S202中的相关释义,此处不再赘述。
步骤S204:对所述参考位置信息与所述参考结构信息共同对应的默认传递函数进行优化处理,将优化处理后的所述默认传递函数作为所述扬声器对应的音频传递函数。
在一种具体的实施方式中,终端可以计算所述相对位置信息与参考位置信息的第一差异值,以及所述结构信息与参考结构信息的第二差异值。其中可以是相对位置信息对应的各参数与其对应的参考位置信息中参数特征计算差异特征信息(如差异参数值)之后确定的一个评分值,所述第二差异值可以是结构信息对应的各参数与其对应的参考结构信息中的参数特征计算差异特征信息 (如差异参数值)之后确定的一个评分值。基于第一差异值以及第二参异值来评判是否对所述默认传递函数进行优化。具体如下:
当所述第一差异值小于或者等于第一优化值,和/或所述第二差异值小于或者等于第二优化值时,确定所述相对位置信息与参考位置信息不匹配,和/或所述结构信息与参考结构信息不匹配。
其中,所述第一优化值可以理解为第一差异值的门限值,所述第二优化值可以理解为第二差异值的门限值。在本申请实施例中,当所述第一差异值大于第一优化值,和/或所述第二差异值大于第二优化值时,此时通常对默认传递函数进行优化难以满足用户的音效实现需求,需要重新确定所述扬声器对应的音频传递函数,具体终端可以执行步骤S205或步骤S207的方法。
进一步的,当所述第一差异值大于第一优化值,和/或所述第二差异值大于第二优化值时,终端基于所述第一差异值以及所述第二差异值,确定尺度优化因子。
所述尺度优化因子用于对默认传递函数中的传递参数进行调整,以使其更符合用户实际的音效实现需求。在实际应用中,可以认为不同听者音频传递函数所对应的频谱特征在频率变化方向上趋于稳定,以及不同听者的音频传递函数的差异可以通过对应生理参数的差异进行描述,如线性或非线性表征,基于此,在本申请实施例中,终端可以预先对音频传递函数库中的各音频传递函数所对应的参考参异信息(相对位置差异以及人耳结构差异)进行数理分析,基于实际使用中的用户的实际差异信息与参考差异信息匹配到相应的尺度优化因子。一种匹配方式是可以是:终端保存有“实际差异信息与参考差异信息”和尺度优化因子的映射关系,所述映射关系可以是数据链式表、数据集合等形式,在每一组“实际差异信息与参考差异信息”和尺度优化因子的映射中,终端通过采集实际环境中的大量样本数据,基于预先标注的参考优化因子,采用概率学的研究方式基于各参考优化因子为每一组映射确定一个最优的尺度优化因子,在实际应用中,终端可以基于实际差异信息与参考差异信息在所述映射关系中确定一个尺度优化因子。
具体的,终端可以根据所述尺度优化因子对所述默认传递函数中的传递参数进行频谱优化,得到频谱优化后的所述默认传递函数,在本申请实施例中,优选的基于第一差异值以及所述第二差异值来评判是否采用对默认音频传递函数进行优化的方法。
进一步的,对默认传递函数进行频域变换,采用频域变换的方式将默认传递函数的频谱特征(如峰谷、峰点)进行直观表征,这些频谱特征在时间轴上随着方位角(如仰角)等因素而改变,在实际应用中,通常相同方位的不同个体相关的音频传递函数的频谱特征具有相关性,通常不同对象的频谱特征(如峰谷、峰点)出现的位置不同,进一步的,可以理解的是在两个个体对应于同一方位的HRTF音频传递函数的频谱特征(如峰谷、峰点)个数相同,且存在特征频率点的差异,那么就可以基于个体的差异信息来对音频传递函数的频谱特征在频率轴上进行平移,在本申请实施例中,所述尺度优化因子即用于对齐音频传递函数的至少一个频谱特征(如峰谷、峰点),在一些实施例中,会存在音频传递函数的各频谱特征之间频率距离也相同的情况,如各峰谷点或峰点之间频率距离也相同,基于尺度优化因子对音频传递函数的至少一个频谱特征进行平移变换即可,另外,也可以采用频率轴放缩的方式来对齐频谱特征(如峰谷、峰点)。
在一种具体的实施方式中,对默认传递函数中的传递参数的实际处理,可以基于下述优化模型进行表征:
H`(k)=HB(K/a)
其中,H`(k)频谱优化后的频谱,HB为某个方位的默认HRTF音频传递函数的对数幅度谱,a即为尺度优化因子,将默认HRTF音频传递函数的频谱特征基于尺度优化因子进行频谱变化(即频谱缩放和/或平移)。k为一整数,取值区间为一对称的连续整数区间,K的取值基于a的取值范围和默认HRTF音频传递函数的冲激响应确定。
步骤S205:在预设的音频传递函数库中,查找所述相对位置信息以及所述结构信息共同对应的目标传递函数,将所述目标传递函数作为优化处理后的所述扬声器对应的音频传递函数。
在实际应用中,可以预先建立基于音频传递函数的数据库,即音频传递函数库,在创建音频传递函数库时,可以采用仿真模拟的方式,如采用3D打印技术打印不同尺寸、不同标准的人耳模型,并在所述人耳模型的三维空间中放置声源(如所述耳机)对其进行测量并录制不同声源波段的不同类型的声音信号,从而可以得到完整的音频传递函数对应的参数;也可以采用音频传递函数对应的专业方法实测得到,如采用CAD/CNC的专业方法重建模拟人耳模型,使其更适合人工模拟头部模型,在所述人工模拟头部模型放入麦克风等音频设备。常见的音频设备可以是“Digital Ear”,从而可以测量到音频传递函数对应的各类参数,等等。其中,常用的测量方法可以是基于已测量数据的线性内插算法,如间隔为0经度、15纬度、基于PCA主元的内插算法、样条差值算法等等。
进一步,在本申请实施例中,为了覆盖不同尺寸、不同标准的人耳模型,可以采用电子设备集群的方式采集各自实际应用环境下的样本数据,如在用户使用过程中,电子设备(如终端)可以采集用户的所述人耳模型、所述相对位置信息以及相关音频传递函数对应的音频参数,然后将样本数据上报至服务器,服务器基于各电子设备发送的样本数据进行分析计算,对相应的样本数据(不太精准的音频传递函数对应的音频参数)进行滤除,然后对样本数据中的音频传递函数对应的音频参数进行音频加窗处理,如使用修正的汉宁(Hanning)窗来除去不精确的音频传递函数对应的数据中存在的其他声音信号(墙壁、噪声等的反射声音信号),这样就获得一个在自由声场环境下的音频传递函数对应的HRIR数据,所述HRIR数据可以是在一定时间间隔内(如4毫秒)在每个设定的计算位置处保存的指定数目的参数数据,从而可以完成音频传递函数库的创建以及优化。
具体的,终端在获取到所述相对位置信息以及所述结构信息之后,以所述相对位置信息以及所述结构信息为匹配基准,采用相应的匹配计算规则在音频传递函数库中确定所述相对位置信息以及所述结构信息共同对应的音频传递函数,如所述匹配计算规则可以是基于最小均方误差的匹配计算规则,从而在音频传递函数库中确定最佳匹配结果对应的目标音频传递函数。
在一种具体的实施场景中,可以采用以下公式对实际用户的“相对位置信息以及所述结构信息”与音频传递函数库中某个测试者的音频传递函数对应的相关参数的相似性E进行度量。如下:
Figure BDA0002573302610000161
其中,
Figure BDA0002573302610000162
和dm分别为待测对象和音频传递函数库中某个聆听者对应的第m 个参数,
Figure BDA0002573302610000163
音频传递函数库中所有测试者同一参数的方差。
步骤S206:将所述相对位置信息与所述结构信息输入至音频传递模型中,输出所述扬声器对应的音频传递函数。
在实际应用中,音频传递函数对应的HRTF数据通常都是通过测量得到,基于测量的HRTF数据可以创建音频传递函数库,在一些实施例中,为了避免在采用高阶建模的方式在实际应用时需要较大的计算资源,在本申请实施例中,所述音频传递模型可以是一种滤波器模型(Finite Impulse Response,FIR),基于滤波器模型创建初始音频传递模型,并可以从已有的音频传递函数库中获取全部或部分样本数据(包含相对位置信息与结构信息),和/或获取采用电子设备对实际环境下采集的样本数据。通过获取大量样本数据,对所述样本数据进行预处理,所述预处理包含数字化、几何变换、归一化、滤波、复原增强等处理过程,消除样本数据中无关的信息,并提取音频传递特征,将所述音频传递特征输入至所述初始音频传递模型中进行训练,从而得到训练好的音频传递模型。
可选的,所述音频传递模型可以引入神经网络进行进一步的优化,也即所述音频传递模型可以是一种基于卷积神经网络(Convolutional Neural Network, CNN)模型,深度神经网络(Deep Neural Network,DNN)模型、循环神经网络(Recurrent NeuralNetworks,RNN)、模型、嵌入(embedding)模型、梯度提升决策树(Gradient BoostingDecision Tree,GBDT)模型、逻辑回归 (Logistic Regression,LR)模型等模型中的一种或多种的拟合实现的,同时在现有神经网络模型基础上引入误差反向传播算法进行优化,可以提高基于神经网络模型的初始音频传递模型的输出准确率。
在引入神经网络后的音频传递模型通常由输入层、隐层、输出层组成,如图2所示,所述输入层用于根据输入所述深度神经网络的音频传递特征计算输入至最底层的隐层单元的输出值,所述输入层通常包括多个输入单元,所述输入单元用于根据输入的音频传递特征计算输入至最底层的隐层单元的输出值。将所述音频传递特征输入至所述输入单元后,所述输入单元根据自身的加权值利用输入至所述输入单元的音频传递特征计算向最底层的隐层输出的输出值。
所述隐层通常为多个,每一层隐层包括多个隐层单元,所述隐层单元接收来自于下一隐层中的隐层单元的输入值。根据本层的加权值对来自于下一层隐层中的隐层单元的输入值进行加权求和,并将加权求和的结果作为输出至上一层隐层的隐层单元的输出值。
所述输出层包括多个输出单元,所述输出单元接收来自于最上层隐层中的隐层单元的输入值,在本申请实施例中,所述音频传递模型的输出层为10个神经元(即输出单元)的全连接层,也可以理解为输出层的激励函数(SOFTMAX) 为10维向量,其中向量的每一维代表一个分值的概率。然后根据本层的加权值对来自于隐层的隐层单元的输入值进行点积运算,根据点积运算的结果计算实际输出值。
其中,为了生成对图像质量的评价结果相对而言准确的音频传递模型,可以在对音频传递模型进行训练的过程中,基于期望输出值(预测音频传递函数的参数)、多个样本数据的实际输出值以及预设的损失函数,判断处于当前训练阶段的音频传递模型是否收敛。如果收敛,表明各预测评价结果与相应的评价结果标签之间的误差,均达到期望值,例如,预设的损失函数的输出小于预设阈值。此时的音频传递模型对音频传递函数的输出结果相对而言准确,如果未收敛,则表明各预测评价结果与相应的评价结果标签(已预测音频传递函数的参数)之间的误差,未达到期望值。此时,基于期望输出值与实际输出值的误差从输出层反向传播并沿输出路径调整各层连接权重值和阈值,从而完成对所述音频传递模型的训练过程。实际应用中,在所述音频传递模型训练完成后,将所述相对位置信息与所述结构信息输入至音频传递模型中,输出所述扬声器对应的音频传递函数。
步骤S207:基于所述音频传递函数控制所述扬声器进行音效测试,得到音效测试结果。
所述音效测试用于进一步对音频传递函数的参数进行个人化标定,如对相应音频传递函数的参数进行微调,以符合不同差异化用户的音效实现需求。
在一种具体的实施方式中,基于所述音频传递函数控制所述扬声器模拟指定空间角度上的测试音效,然后可以接收用户针对所述测试音效反馈的音效测试结果。
具体的,在确定扬声器对应的音频传递函数之后,然后针对当前用户进行音效测试,可以预先设定指定模拟空间角度上的各测试音效,指定模拟空间角度上所对应的空间方位包括俯仰角和方位角的标定。在俯仰面上,可以通过设置等间隔的角度间距,可表示为360/n,n为指定个数的采样点,如360/64=5.625 度,终端可以从-45度均匀采样到如230.625度,进一步的为了在用户的头部所对应的球面上获取足够数量的抽样密度,方位角可以在-80度、-65度、-55度、 -45度、55度、65度、80度上采样设置标定角,又例如可以分别选取-40°,0°, 40°,80°作为标定角;在每一个俯仰面相对应的方位角上,选取0°,60°,120°,180°,240°,300°作为标定角。
然后,终端基于所述音频传递函数控制所述扬声器逐个播放指定空间角度上的测试音效,如0°,60°,120°,180°,240°,300°标定角上的测试音效(如环绕声音效、立体声音效等等),然后利用音效测试交互系统获取听者的个人化标定角度信息,在逐个播放上述各点的测试音效,听者每辨识一指定空间角度上的测试音效对应的方位点就通过相应的测试反馈的方式将所认为的角度反馈至音效测试交互系统中,其中所述测试反馈的方式可以是用户语音反馈听到的一个测试角度、可以是用户通过手势操作表征某一特定的测试角度、可以是用户在终端上主动输入一个特定的测试角度,即音效测试结果。
在一种具体的实施方式中,基于所述音频传递函数控制所述扬声器模拟指定空间角度上的测试音效,进一步的,终端可以预先提供多个音效测试选项供用户进行参考从而筛选出合适的目标音效测试选项,如终端在每一次播放上述各点的测试音效之后,同时为用户输出至少一个音效测试选项,可以是以语音的形式、可以是在终端的当前显示界面上输出音效测试选项相应的提示信息(文字、图画、视频等),然后终端接收用户针对各所述音效测试选项反馈的目标音效测试选项,如用户通过手指触控的方式在多个音效测试选项选择一个目标音效测试选项,此时,终端即可基于所述目标音效测试选项确定相对应的音效测试结果,如输出的音效测试选项分别为“60°,120°,180°”,用户选择的目标音效测试选项为“120°”。
步骤S208:(并207)获取所述音效测试结果与参考音效结果的差异音效特征,基于所述差异音效特征对所述音频传递函数进行参数补偿,得到参数补偿后的所述音频传递函数。
所述差异音效特征基于音效测试类型确定,如音效测试类型为测试角度,则差异音效特征可以是所述音效测试结果与参考音效结果对应的角度差,如音效测试类型为测试方位,则差异音效特征可以是所述音效测试结果与参考音效结果对应的方位差。等等。
具体的,终端基于差异音效特征对所述音频传递函数进行参数补偿,具体可以是对音频传递函数对应的标准HRTF数据的参数进行参数映射和参数微调,实际应用中可以是即计算标定空间方位(即模拟的指定空间方位)和听者反馈方位的偏差值,利用偏差值对标准空间坐标系下音频传递函数的HTRF数据的参数进行参数映射,其中,所述参数映射的方式可以是对音频传递函数对应的至少一个参数添加一个修正值、可以是对音频传递函数对应的至少一个参数叉乘一个权重值、可以是对音频传递函数对应的至少一个参数进行参数替换,如以实际听者反馈方位对应的参数值进行替换,等等,从而获得个人化空间坐标系下的所述音频传递函数。
具体的,终端通过听者反馈的个人化HRTF(经上述映射后的音频传递函数) 和标准HRTF(确定的音频传递函数)的对比后,可以对个人化HRTF(经上述映射后的音频传递函数)进行微调。微调的方式包括但不限于:(1)改进相应(如 3D虚拟声音效)的方向和仰角的精度;(2)平衡左右耳的方位感知;(3)相同方位下左右耳音效均衡,(4)调整滤波器的参数(如相位)等等。
步骤S209:控制所述扬声器输出所述音频传递函数对应的音效。
具体可参见步骤S103,此处不再赘述。
在本申请实施例中,通过在实际使用时将人耳与扬声器间的相对位置关系以及不同用户人耳处的结构信息纳入对音频传递函数的参考,可以准确确定音频传递函数,从而契合当前用户的音效需求,可以输出契合当前用户优质的音效,提高了基于音频传递函数音效实现过程中的音效效果;以及,可以对默认传递函数进行优化、可以基于预设的音频传递函数库确定音频传递函数以及基于训练好的音频传递模型确定,丰富了确定音频传递函数的方式;以及,在确定音频传递函数,可以进一步进行音效测试来对音频传递函数进行参数补偿,进一步提高了音频传递函数的准确性。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参见图5,其示出了本申请一个示例性实施例提供的音效实现装置的结构示意图。该音效实现装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括信息获取模块11、传递函数确定模块12和音效控制模块13。
信息获取模块11,用于获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息;
传递函数确定模块12,用于基于所述相对位置信息以及所述结构信息,确定所述扬声器对应的音频传递函数;
音效控制模块13,用于控制所述扬声器输出所述音频传递函数对应的音效。
可选的,如图6所示,所述传递函数确定模块12,具体用于:
第一传递函数确定单元121,用于确定所述相对位置信息与参考位置信息不匹配,和/或所述结构信息与参考结构信息不匹配,生成所述扬声器对应的音频传递函数;
第二传递函数确定单元122,用于确定所述相对位置信息与所述参考位置信息匹配,且所述结构信息与所述参考结构信息匹配,将所述参考位置信息与所述参考结构信息共同对应的默认传递函数作为所述扬声器对应的音频传递函数。
可选的,如图7所示,所述第一传递函数确定单元121,包括:
差异值计算子单元1211,用于计算所述相对位置信息与参考位置信息的第一差异值,以及所述结构信息与参考结构信息的第二差异值;
传递函数确定子单元1212,用于当所述第一差异值小于或者等于第一优化值,和/或所述第二差异值小于或者等于第二优化值时,对所述参考位置信息与所述参考结构信息共同对应的默认传递函数进行优化处理,将优化处理后的所述默认传递函数作为所述扬声器对应的音频传递函数。
可选的,所述传递函数确定子单元1212,具体用于:
基于所述第一差异值以及所述第二差异值,确定尺度优化因子;
根据所述尺度优化因子对所述默认传递函数中的传递参数进行频谱优化,得到频谱优化后的所述默认传递函数。
可选的,如图7所示,所述第一传递函数确定单元121,包括:
目标函数查找子单元1213,用于在预设的音频传递函数库中,查找所述相对位置信息以及所述结构信息共同对应的目标传递函数;
所述传递函数确定子单元1212,还用于将所述目标传递函数作为优化处理后的所述扬声器对应的音频传递函数。
所述传递函数确定子单元1212,还用于将所述相对位置信息与所述结构信息输入至音频传递模型中,输出所述扬声器对应的音频传递函数。
可选的,如图9所示,所述装置1,包括:
音效测试结果确定模块14,用于基于所述音频传递函数控制所述扬声器进行音效测试,得到音效测试结果;
参数补偿模块15,用于获取所述音效测试结果与参考音效结果的差异音效特征,基于所述差异音效特征对所述音频传递函数进行参数补偿,得到参数补偿后的所述音频传递函数。
可选的,如图8所示,所述音效测试结果确定模块14,包括:
第一确定单元141,用于基于所述音频传递函数控制所述扬声器模拟指定空间角度上的测试音效,接收针对所述测试音效反馈的音效测试结果;
第二确定单元141,用于基于所述音频传递函数控制所述扬声器模拟指定空间角度上的测试音效,并输出至少一个音效测试选项,接收针对各所述音效测试选项反馈的目标音效测试选项,确定所述目标音效测试选项对应的音效测试结果。
可选的,所述信息获取模块11,具体用于:
在人耳佩戴耳机时,通过所述耳机的目标传感器对所述人耳进行检测,确定所述目标传感器与所述人耳的第一相对位置信息以及所述人耳对应的人耳图像;
获取预设的所述目标传感器与所述耳机的扬声器之间的第二相对位置信息,基于所述第一相对位置信息以及所述第二相对位置信息,确定所包含的扬声器与所述人耳的相对位置信息;
基于所述人耳图像构建所述人耳的人耳模型,提取所述人耳模型的结构信息。
可选的,所述信息获取模块11,具体用于:
在人耳佩戴耳机时,通过所述耳机的扬声器以超声波的方式扫描所述人耳;
获取所述扬声器与所述人耳的相对位置信息,以及对所述人耳构建人耳模型,提取所述人耳模型的结构信息。
需要说明的是,上述实施例提供的音效实现装置在执行音效实现方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的音效实现装置与音效实现方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请实施例中,通过在实际使用时将人耳与扬声器间的相对位置关系以及不同用户人耳处的结构信息纳入对音频传递函数的参考,可以准确确定音频传递函数,从而契合当前用户的音效需求,可以输出契合当前用户优质的音效,提高了基于音频传递函数音效实现过程中的音效效果;以及,可以对默认传递函数进行优化、可以基于预设的音频传递函数库确定音频传递函数以及基于训练好的音频传递模型确定,丰富了确定音频传递函数的方式;以及,在确定音频传递函数,可以进一步进行音效测试来对音频传递函数进行参数补偿,进一步提高了音频传递函数的准确性。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1-图4所示实施例的所述音效实现方法,具体执行过程可以参见图1-图4所示实施例的具体说明,在此不进行赘述。
本申请还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行如上述图1-图4所示实施例的所述音效实现方法,具体执行过程可以参见图1-图4所示实施例的具体说明,在此不进行赘述。
请参考图10,其示出了本申请一个示例性实施例提供的电子设备的结构方框图。本申请中的电子设备可以包括一个或多个如下部件:处理器110、存储器 120、输入装置130、输出装置140和总线150。处理器110、存储器120、输入装置130和输出装置140之间可以通过总线150连接。
处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个电子设备内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(digital signal processing,DSP)、现场可编程门阵列(field-programmable gate array,FPGA)、可编程逻辑阵列(programmable logicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(centralprocessing unit, CPU)、图像处理器(graphics processing unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU 用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(random Access Memory,RAM),也可以包括只读存储器(read-only memory,ROM)。可选地,该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等,该操作系统可以是安卓(Android)系统,包括基于Android系统深度开发的系统、苹果公司开发的IOS系统,包括基于IOS系统深度开发的系统或其它系统。存储数据区还可以存储电子设备在使用中所创建的数据比如电话本、音视频数据、聊天记录数据,等。
参见图11所示,存储器120可分为操作系统空间和用户空间,操作系统即运行于操作系统空间,原生及第三方应用程序即运行于用户空间。为了保证不同第三方应用程序均能够达到较好的运行效果,操作系统针对不同第三方应用程序为其分配相应的系统资源。然而,同一第三方应用程序中不同应用场景对系统资源的需求也存在差异,比如,在本地资源加载场景下,第三方应用程序对磁盘读取速度的要求较高;在动画渲染场景下,第三方应用程序则对GPU性能的要求较高。而操作系统与第三方应用程序之间相互独立,操作系统往往不能及时感知第三方应用程序当前的应用场景,导致操作系统无法根据第三方应用程序的具体应用场景进行针对性的系统资源适配。
为了使操作系统能够区分第三方应用程序的具体应用场景,需要打通第三方应用程序与操作系统之间的数据通信,使得操作系统能够随时获取第三方应用程序当前的场景信息,进而基于当前场景进行针对性的系统资源适配。
以操作系统为Android系统为例,存储器120中存储的程序和数据如图12 所示,存储器120中可存储有Linux内核层320、系统运行时库层340、应用框架层360和应用层380,其中,Linux内核层320、系统运行库层340和应用框架层360属于操作系统空间,应用层380属于用户空间。Linux内核层320为电子设备的各种硬件提供了底层的驱动,如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理等。系统运行库层340通过一些C/C++库来为 Android系统提供了主要的特性支持。如SQLite库提供了数据库的支持, OpenGL/ES库提供了3D绘图的支持,Webkit库提供了浏览器内核的支持等。在系统运行时库层340中还提供有安卓运行时库(Android runtime),它主要提供了一些核心库,能够允许开发者使用Java语言来编写Android应用。应用框架层360提供了构建应用程序时可能用到的各种API,开发者也可以通过使用这些 API来构建自己的应用程序,比如活动管理、窗口管理、视图管理、通知管理、内容提供者、包管理、通话管理、资源管理、定位管理。应用层380中运行有至少一个应用程序,这些应用程序可以是操作系统自带的原生应用程序,比如联系人程序、短信程序、时钟程序、相机应用等;也可以是第三方开发者所开发的第三方应用程序,比如游戏类应用程序、即时通信程序、相片美化程序、音效实现程序等。
以操作系统为IOS系统为例,存储器120中存储的程序和数据如图13所示, IOS系统包括:核心操作系统层420(Core OS layer)、核心服务层440(Core Services layer)、媒体层460(Media layer)、可触摸层480(Cocoa Touch Layer)。核心操作系统层420包括了操作系统内核、驱动程序以及底层程序框架,这些底层程序框架提供更接近硬件的功能,以供位于核心服务层440的程序框架所使用。核心服务层440提供给应用程序所需要的系统服务和/或程序框架,比如基础(Foundation)框架、账户框架、广告框架、数据存储框架、网络连接框架、地理位置框架、运动框架等等。媒体层460为应用程序提供有关视听方面的接口,如图形图像相关的接口、音频技术相关的接口、视频技术相关的接口、音视频传输技术的无线播放(AirPlay)接口等。可触摸层480为应用程序开发提供了各种常用的界面相关的框架,可触摸层480负责用户在电子设备上的触摸交互操作。比如本地通知服务、远程推送服务、广告框架、游戏工具框架、消息用户界面接口(User Interface,UI)框架、用户界面UIKit框架、地图框架等等。
在图13所示出的框架中,与大部分应用程序有关的框架包括但不限于:核心服务层440中的基础框架和可触摸层480中的UIKit框架。基础框架提供许多基本的对象类和数据类型,为所有应用程序提供最基本的系统服务,和UI无关。而UIKit框架提供的类是基础的UI类库,用于创建基于触摸的用户界面,iOS应用程序可以基于UIKit框架来提供UI,所以它提供了应用程序的基础架构,用于构建用户界面,绘图、处理和用户交互事件,响应手势等等。
其中,在IOS系统中实现第三方应用程序与操作系统数据通信的方式以及原理可参考Android系统,本申请在此不再赘述。
其中,输入装置130用于接收输入的指令或数据,输入装置130包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置140用于输出指令或数据,输出装置140包括但不限于显示设备和扬声器等。在一个示例中,输入装置130和输出装置140可以合设,输入装置130和输出装置140为触摸显示屏,该触摸显示屏用于接收用户使用手指、触摸笔等任何适合的物体在其上或附近的触摸操作,以及显示各个应用程序的用户界面。触摸显示屏通常设置在电子设备的前面板。触摸显示屏可被设计成为全面屏、曲面屏或异型屏。触摸显示屏还可被设计成为全面屏与曲面屏的结合,异型屏与曲面屏的结合,本申请实施例对此不加以限定。
除此之外,本领域技术人员可以理解,上述附图所示出的电子设备的结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。比如,电子设备中还包括射频电路、输入单元、传感器、音频电路、无线保真(wireless fidelity,WiFi)模块、电源、蓝牙模块等部件,在此不再赘述。
在本申请实施例中,各步骤的执行主体可以是上文介绍的电子设备。可选地,各步骤的执行主体为电子设备的操作系统。操作系统可以是安卓系统,也可以是IOS系统,或者其它操作系统,本申请实施例对此不作限定。
本申请实施例的电子设备,其上还可以安装有显示设备,显示设备可以是各种能实现显示功能的设备,例如:阴极射线管显示器(cathode ray tubedisplay,简称CR)、发光二极管显示器(light-emitting diode display,简称LED)、电子墨水屏、液晶显示屏(liquid crystal display,简称LCD)、等离子显示面板(plasma display panel,简称PDP)等。用户可以利用电子设备101上的显示设备,来查看显示的文字、图像、视频等信息。所述电子设备可以是智能手机、平板电脑、游戏设备、AR(Augmented Reality,增强现实)设备、汽车、数据存储装置、音频播放装置、视频播放装置、笔记本、桌面计算设备、可穿戴设备诸如电子手表、电子眼镜、电子头盔、电子手链、电子项链、电子衣物等设备。
在图10所示的电子设备中,其中电子设备可以是一种终端,处理器110可以用于调用存储器120中存储的音效实现应用程序,并具体执行以下操作:
获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息;
基于所述相对位置信息以及所述结构信息,确定所述扬声器对应的音频传递函数;
控制所述扬声器输出所述音频传递函数对应的音效。
在一个实施例中,所述处理器110在执行所述基于所述相对位置信息以及所述结构信息,确定所述扬声器对应的音频传递函数时,具体执行以下操作:
确定所述相对位置信息与参考位置信息不匹配,和/或所述结构信息与参考结构信息不匹配,生成所述扬声器对应的音频传递函数;
确定所述相对位置信息与所述参考位置信息匹配,且所述结构信息与所述参考结构信息匹配,将所述参考位置信息与所述参考结构信息共同对应的默认传递函数作为所述扬声器对应的音频传递函数。
在一个实施例中,所述处理器110在执行所述确定所述相对位置信息与参考位置信息不匹配,和/或所述结构信息与参考结构信息不匹配,生成所述扬声器对应的音频传递函数时,具体执行以下操作:
计算所述相对位置信息与参考位置信息的第一差异值,以及所述结构信息与参考结构信息的第二差异值;
当所述第一差异值小于或者等于第一优化值,和/或所述第二差异值小于或者等于第二优化值时,对所述参考位置信息与所述参考结构信息共同对应的默认传递函数进行优化处理,将优化处理后的所述默认传递函数作为所述扬声器对应的音频传递函数。
在一个实施例中,所述处理器110在执行所述对所述参考位置信息与所述参考结构信息共同对应的默认传递函数进行优化处理时,具体执行以下操作:
基于所述第一差异值以及所述第二差异值,确定尺度优化因子;
根据所述尺度优化因子对所述默认传递函数中的传递参数进行频谱优化,得到频谱优化后的所述默认传递函数。
在一个实施例中,所述处理器110在执行所述生成所述扬声器对应的音频传递函数时,具体执行以下操作:
在预设的音频传递函数库中,查找所述相对位置信息以及所述结构信息共同对应的目标传递函数;
将所述目标传递函数作为优化处理后的所述扬声器对应的音频传递函数。
在一个实施例中,所述处理器110在执行所述生成所述扬声器对应的音频传递函数时,还执行以下操作:
将所述相对位置信息与所述结构信息输入至音频传递模型中,输出所述扬声器对应的音频传递函数。
在一个实施例中,所述处理器110在执行所述确定所述扬声器对应的音频传递函数之后,还执行以下操作:
基于所述音频传递函数控制所述扬声器进行音效测试,得到音效测试结果;
获取所述音效测试结果与参考音效结果的差异音效特征,基于所述差异音效特征对所述音频传递函数进行参数补偿,得到参数补偿后的所述音频传递函数。
在一个实施例中,所述处理器110在执行所述基于所述音频传递函数控制所述扬声器进行音频测试,得到音效测试结果时,具体执行以下操作:
基于所述音频传递函数控制所述扬声器模拟指定空间角度上的测试音效,接收针对所述测试音效反馈的音效测试结果;或,
基于所述音频传递函数控制所述扬声器模拟指定空间角度上的测试音效,并输出至少一个音效测试选项,接收针对各所述音效测试选项反馈的目标音效测试选项,确定所述目标音效测试选项对应的音效测试结果。
在一个实施例中,所述处理器110在执行所述获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息时,具体执行以下操作:
在人耳佩戴耳机时,通过所述耳机的目标传感器对所述人耳进行检测,确定所述目标传感器与所述人耳的第一相对位置信息以及所述人耳对应的人耳图像;
获取预设的所述目标传感器与所述耳机的扬声器之间的第二相对位置信息,基于所述第一相对位置信息以及所述第二相对位置信息,确定所包含的扬声器与所述人耳的相对位置信息;
基于所述人耳图像构建所述人耳的人耳模型,提取所述人耳模型的结构信息。
在一个实施例中,所述处理器110在执行所述获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息时,具体执行以下操作:
在人耳佩戴耳机时,通过所述耳机的扬声器以超声波的方式扫描所述人耳;
获取所述扬声器与所述人耳的相对位置信息,以及对所述人耳构建人耳模型,提取所述人耳模型的结构信息。
在本申请实施例中,通过在实际使用时将人耳与扬声器间的相对位置关系以及不同用户人耳处的结构信息纳入对音频传递函数的参考,可以准确确定音频传递函数,从而契合当前用户的音效需求,可以输出契合当前用户优质的音效,提高了基于音频传递函数音效实现过程中的音效效果;以及,可以对默认传递函数进行优化、可以基于预设的音频传递函数库确定音频传递函数以及基于训练好的音频传递模型确定,丰富了确定音频传递函数的方式;以及,在确定音频传递函数,可以进一步进行音效测试来对音频传递函数进行参数补偿,进一步提高了音频传递函数的准确性。
本领域的技术人员可以清楚地了解到本申请的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件,其中硬件例如可以是现场可编程门阵列 (Field-ProgrammaBLE GateArray,FPGA)、集成电路(Integrated Circuit,IC) 等。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上所述者,仅为本公开的示例性实施例,不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰,皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的范围和精神由权利要求限定。

Claims (11)

1.一种音效实现方法,其特征在于,所述方法包括:
获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息;
基于所述相对位置信息以及所述结构信息,确定所述扬声器对应的音频传递函数;所述音频传递函数包括头相关传递函数;
控制所述扬声器输出所述音频传递函数对应的音效;
所述基于所述相对位置信息以及所述结构信息,确定所述扬声器对应的音频传递函数,包括:
计算所述相对位置信息与参考位置信息的第一差异值,以及所述结构信息与参考结构信息的第二差异值;
当所述第一差异值小于或者等于第一优化值,和/或所述第二差异值小于或者等于第二优化值时,对所述参考位置信息与所述参考结构信息共同对应的默认传递函数进行优化处理,将优化处理后的所述默认传递函数作为所述扬声器对应的音频传递函数。
2.根据权利要求1所述的方法,其特征在于,所述基于所述相对位置信息以及所述结构信息,确定所述扬声器对应的音频传递函数,包括:
确定所述相对位置信息与参考位置信息不匹配,和/或所述结构信息与参考结构信息不匹配,生成所述扬声器对应的音频传递函数;
确定所述相对位置信息与所述参考位置信息匹配,且所述结构信息与所述参考结构信息匹配,将所述参考位置信息与所述参考结构信息共同对应的默认传递函数作为所述扬声器对应的音频传递函数。
3.根据权利要求1所述的方法,其特征在于,所述对所述参考位置信息与所述参考结构信息共同对应的默认传递函数进行优化处理,包括:
基于所述第一差异值以及所述第二差异值,确定尺度优化因子;
根据所述尺度优化因子对所述默认传递函数中的传递参数进行频谱优化,得到频谱优化后的所述默认传递函数。
4.根据权利要求2所述的方法,其特征在于,所述生成所述扬声器对应的音频传递函数,包括:
在预设的音频传递函数库中,查找所述相对位置信息以及所述结构信息共同对应的目标传递函数;
将所述目标传递函数作为优化处理后的所述扬声器对应的音频传递函数。
5.根据权利要求2所述的方法,其特征在于,所述生成所述扬声器对应的音频传递函数,包括:
将所述相对位置信息与所述结构信息输入至音频传递模型中,输出所述扬声器对应的音频传递函数。
6.根据权利要求1所述的方法,其特征在于,所述确定所述扬声器对应的音频传递函数之后,还包括:
基于所述音频传递函数控制所述扬声器进行音效测试,得到音效测试结果;
获取所述音效测试结果与参考音效结果的差异音效特征,基于所述差异音效特征对所述音频传递函数进行参数补偿,得到参数补偿后的所述音频传递函数。
7.根据权利要求6所述的方法,其特征在于,所述基于所述音频传递函数控制所述扬声器进行音频测试,得到音效测试结果,包括:
基于所述音频传递函数控制所述扬声器模拟指定空间角度上的测试音效,接收针对所述测试音效反馈的音效测试结果;或,
基于所述音频传递函数控制所述扬声器模拟指定空间角度上的测试音效,并输出至少一个音效测试选项,接收针对各所述音效测试选项反馈的目标音效测试选项,确定所述目标音效测试选项对应的音效测试结果。
8.根据权利要求1所述的方法,其特征在于,所述获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息,包括:
在人耳佩戴耳机时,通过所述耳机的目标传感器对所述人耳进行检测,确定所述目标传感器与所述人耳的第一相对位置信息以及所述人耳对应的人耳图像;
获取预设的所述目标传感器与所述耳机的扬声器之间的第二相对位置信息,基于所述第一相对位置信息以及所述第二相对位置信息,确定所包含的扬声器与所述人耳的相对位置信息;
基于所述人耳图像构建所述人耳的人耳模型,提取所述人耳模型的结构信息。
9.根据权利要求1所述的方法,其特征在于,所述获取人耳在佩戴耳机时,所述耳机的扬声器与所述人耳的相对位置信息,以及获取所述人耳的结构信息,包括:
在人耳佩戴耳机时,通过所述耳机的扬声器以超声波的方式扫描所述人耳;
获取所述扬声器与所述人耳的相对位置信息,以及对所述人耳构建人耳模型,提取所述人耳模型的结构信息。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~9任意一项的方法步骤。
11.一种电子设备,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~9任意一项的方法步骤。
CN202010646454.1A 2020-07-07 2020-07-07 音效实现方法、装置、存储介质及电子设备 Active CN111818441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010646454.1A CN111818441B (zh) 2020-07-07 2020-07-07 音效实现方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010646454.1A CN111818441B (zh) 2020-07-07 2020-07-07 音效实现方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111818441A CN111818441A (zh) 2020-10-23
CN111818441B true CN111818441B (zh) 2022-01-11

Family

ID=72842587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010646454.1A Active CN111818441B (zh) 2020-07-07 2020-07-07 音效实现方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111818441B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113596673A (zh) * 2021-07-14 2021-11-02 宁波旗芯电子科技有限公司 Ar眼镜扬声器的定向发声方法、装置和发声设备
CN114189790B (zh) * 2021-10-26 2022-11-29 北京荣耀终端有限公司 音频信息的处理方法、电子设备、系统、产品及介质
CN114286274A (zh) * 2021-12-21 2022-04-05 北京百度网讯科技有限公司 音频处理方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455824A (zh) * 2011-12-30 2013-12-18 Gn瑞声达A/S 用于确定头相关传递函数的系统和方法
CN107113524A (zh) * 2014-12-04 2017-08-29 高迪音频实验室公司 反映个人特性的双耳音频信号处理方法和设备
CN107710784A (zh) * 2015-05-22 2018-02-16 微软技术许可有限责任公司 用于音频创建和传递的系统和方法
CN107996028A (zh) * 2015-03-10 2018-05-04 Ossic公司 校准听音装置
WO2018089956A1 (en) * 2016-11-13 2018-05-17 EmbodyVR, Inc. System and method to capture image of pinna and characterize human auditory anatomy using image of pinna
CN108154180A (zh) * 2017-12-25 2018-06-12 内蒙古科技大学 个性化头部传递函数的选择方法及装置
CN111372167A (zh) * 2020-02-24 2020-07-03 Oppo广东移动通信有限公司 音效优化方法及装置、电子设备、存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2005787B1 (en) * 2006-04-03 2012-01-25 Srs Labs, Inc. Audio signal processing
FI20165211A (fi) * 2016-03-15 2017-09-16 Ownsurround Ltd Järjestely HRTF-suodattimien valmistamiseksi
CN107566936B (zh) * 2017-07-12 2020-07-10 捷开通讯(深圳)有限公司 自动调整音频数据的耳机及其方法、存储介质
CN108803859A (zh) * 2018-05-28 2018-11-13 Oppo广东移动通信有限公司 信息处理方法、装置、终端、耳机及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455824A (zh) * 2011-12-30 2013-12-18 Gn瑞声达A/S 用于确定头相关传递函数的系统和方法
CN107113524A (zh) * 2014-12-04 2017-08-29 高迪音频实验室公司 反映个人特性的双耳音频信号处理方法和设备
CN107996028A (zh) * 2015-03-10 2018-05-04 Ossic公司 校准听音装置
CN107710784A (zh) * 2015-05-22 2018-02-16 微软技术许可有限责任公司 用于音频创建和传递的系统和方法
WO2018089956A1 (en) * 2016-11-13 2018-05-17 EmbodyVR, Inc. System and method to capture image of pinna and characterize human auditory anatomy using image of pinna
CN108154180A (zh) * 2017-12-25 2018-06-12 内蒙古科技大学 个性化头部传递函数的选择方法及装置
CN111372167A (zh) * 2020-02-24 2020-07-03 Oppo广东移动通信有限公司 音效优化方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN111818441A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
KR102642275B1 (ko) 증강 현실 헤드폰 환경 렌더링
CN111818441B (zh) 音效实现方法、装置、存储介质及电子设备
US9131305B2 (en) Configurable three-dimensional sound system
CN107996028A (zh) 校准听音装置
US11758347B1 (en) Dynamic speech directivity reproduction
US11412341B2 (en) Electronic apparatus and controlling method thereof
JP2021535632A (ja) オーディオ信号の処理用の方法及び装置
Geronazzo et al. The impact of an accurate vertical localization with HRTFs on short explorations of immersive virtual reality scenarios
US20220329966A1 (en) Electronic apparatus and controlling method thereof
JP2022130662A (ja) 頭部伝達関数を生成するシステム及び方法
CN108269460B (zh) 一种电子屏幕的阅读方法、系统及终端设备
US10390167B2 (en) Ear shape analysis device and ear shape analysis method
CN108038291B (zh) 一种基于人体参数适配算法的个性化头相关传递函数生成系统及方法
CN114339582B (zh) 双通道音频处理、方向感滤波器生成方法、装置以及介质
JP2018152834A (ja) 仮想聴覚環境において音声信号出力を制御する方法及び装置
CN114520950A (zh) 音频输出方法、装置、电子设备及可读存储介质
Lund et al. A method for evaluating audio-visual scene analysis in multi-talker environments
US11792581B2 (en) Using Bluetooth / wireless hearing aids for personalized HRTF creation
CN115604642B (zh) 一种空间音效的测试方法
WO2022227921A1 (zh) 音频处理方法、装置、无线耳机及计算机可读介质
WO2023173285A1 (zh) 音频处理方法、装置、电子设备及计算机可读存储介质
Nuora Introduction to sound design for virtual reality games: a look into 3D sound, spatializer plugins and their implementation in Unity game engine
CN115278468A (zh) 声音输出方法、装置、电子设备及计算机可读存储介质
CN116567517A (zh) 声源方向虚拟方法、装置、设备及介质
GB2600932A (en) Audio personalisation method and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant