CN114025287B - 一种音频输出控制方法、系统及相关组件 - Google Patents

一种音频输出控制方法、系统及相关组件 Download PDF

Info

Publication number
CN114025287B
CN114025287B CN202111276794.0A CN202111276794A CN114025287B CN 114025287 B CN114025287 B CN 114025287B CN 202111276794 A CN202111276794 A CN 202111276794A CN 114025287 B CN114025287 B CN 114025287B
Authority
CN
China
Prior art keywords
sound
head
image control
modulation parameter
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111276794.0A
Other languages
English (en)
Other versions
CN114025287A (zh
Inventor
于心月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202111276794.0A priority Critical patent/CN114025287B/zh
Priority to PCT/CN2021/131709 priority patent/WO2023070778A1/zh
Publication of CN114025287A publication Critical patent/CN114025287A/zh
Application granted granted Critical
Publication of CN114025287B publication Critical patent/CN114025287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control

Abstract

本申请公开了一种音频输出控制方法、系统,头戴设备及计算机可读存储介质,该音频输出控制方法包括:获取头戴设备所在的当前场景中的虚拟声源的初始音频信号;基于头戴设备的佩戴者的当前人头轮廓参数计算相位调制参数;基于虚拟声源相对于头戴设备的位置计算幅度调制参数;控制头戴设备的发声装置按幅度调制参数及相位调制参数对初始音频信号进行立体音效的调制并输出调制后的音频信号。本申请中采用幅度平移重构了水平面上的空间感,采用相位调制加强了竖直方向上的空间感,使佩戴者更好的感知声源的真实方位,避免产生声源头中定位效应,提升了头戴设备的声场空间感和用户体验。

Description

一种音频输出控制方法、系统及相关组件
技术领域
本申请涉及头戴设备领域,特别涉及一种音频输出控制方法、系统及相关组件。
背景技术
VR(Virtual Reality,虚拟现实)产品是利用计算机技术模拟三维虚拟世界,为使用者营造身临其境的体验感。VR产品有三个核心特征:沉浸感、交互性及想象力,沉浸感是VR产品最基本的特征,而音效是令VR产品具有完美沉浸感重要指标之一。目前市场上的VR产品多为双喇叭,两个喇叭在左、右耳边发声,对两个喇叭进行幅度平移分配,使两个喇叭按照分配的幅度发声,从而达到声像重构的目的,但是这种简单的幅度平移方案使得用户在使用时对声源方位的感知比较单一,容易产生声源头中定位效应,感受到的声场空间感较差,产品的声学沉浸感效果较差。
因此,如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种音频输出控制方法、系统,头戴设备及计算机可读存储介质,采用幅度平移重构了水平面上的空间感,采用相位调制加强了竖直方向上的空间感,使佩戴者更好的感知声源的真实方位,避免产生声源头中定位效应,提升了头戴设备的声场空间感和用户体验。
为解决上述技术问题,本申请提供了一种音频输出控制方法,包括:
获取头戴设备所在的当前场景中的虚拟声源的初始音频信号;
基于所述头戴设备的佩戴者的当前人头轮廓参数计算相位调制参数;
基于所述虚拟声源相对于所述头戴设备的位置计算幅度调制参数;
控制所述头戴设备的发声装置按所述幅度调制参数及所述相位调制参数对所述初始音频信号进行立体音效的调制并输出调制后的音频信号。
可选的,所述相位调制参数包括头相关传输函数。
可选的,所述头戴设备包括n个所述发声装置,n为大于2的整数;
该音频输出控制方法还包括:
基于所述虚拟声源相对于所述头戴设备的位置在所有所述发声装置中确定待工作发声装置;
所述控制所述头戴设备的发声装置按所述幅度调制参数及所述相位调制参数对所述初始音频信号进行立体音效的调制并输出调制后的音频信号的过程包括:
控制头戴设备中的所述待工作发声装置按所述幅度调制参数及所述相位调制参数对所述初始音频信号进行立体音效的调制并输出调制后的音频信号。
可选的,每两个相邻的所述发声装置重构一个声像控制区间;
所述基于所述虚拟声源相对于所述头戴设备的位置在所有所述发声装置中确定待工作发声装置的过程包括:
基于所述虚拟声源相对于所述头戴设备的位置得到所述虚拟声源的入射方向;
在所有所述声像控制区间中确定所述入射方向所在的目标声像控制区间;
在重构所述目标声像控制区间的所述发声装置中选择待工作发声装置。
可选的,n个所述发声装置位于同一水平面,n个所述发声装置与所述水平面上的人头中点位置的连线将所述水平面划分为n个所述声像控制区间;
所述在所有所述声像控制区间中确定所述入射方向所在的目标声像控制区间的过程包括:
获取所述入射方向在所述水平面上的投影;
将所述投影所在的所述声像控制区间确定为目标声像控制区间。
可选的,所述在重构所述目标声像控制区间的所述发声装置中选择待工作发声装置的过程包括:
判断所述投影是否处于划分所述声像控制区间的任一所述连线上;
若是,将重构所述目标声像控制区间的两个所述发声装置中,所述投影所处的所述连线对应的所述发声装置作为待工作发声装置;
若否,将重构所述目标声像控制区间的两个所述发声装置均作为所述待工作发声装置。
可选的,所述基于所述虚拟声源相对于所述头戴设备的位置计算幅度调制参数的过程包括:
基于所述人头中点位置确定重构所述目标声像控制区间的两个所述发声装置的夹角的等分线;
根据第一关系式计算两个所述发声装置各自的幅度调制参数,所述第一关系式为
Figure GDA0003832097250000031
其中,
Figure GDA0003832097250000032
为任意一个所述发声装置与所述人头中点位置的连线与所述等分线的夹角,
Figure GDA0003832097250000033
为所述投影与所述等分线的夹角,g1为第一个所述发声装置的幅度调制参数,g2为第二个所述发声装置的幅度调制参数。
为解决上述技术问题,本申请还提供了一种音频输出控制系统,包括:
获取模块,用于获取头戴设备所在的当前场景中的虚拟声源的初始音频信号;
第一计算模块,用于基于所述头戴设备的佩戴者的当前人头轮廓参数计算相位调制参数;
第二计算模块,用于基于所述虚拟声源相对于所述头戴设备的位置计算幅度调制参数;
输出控制模块,用于控制所述头戴设备的发声装置按所述幅度调制参数及所述相位调制参数对所述初始音频信号进行立体音效的调制并输出调制后的音频信号。
为解决上述技术问题,本申请还提供了一种头戴设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上文任意一项所述的音频输出控制方法的步骤。
为解决上述技术问题,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文任意一项所述的音频输出控制方法的步骤。
本申请提供了一种音频输出控制方法,根据虚拟声源相对于头戴设备的位置计算发声装置的幅度调制参数,同时获取头戴设备的佩戴者的当前人头轮廓参数,基于人头轮廓参数计算发声装置的相位调制参数,然后控制发声装置按照幅度调制参数和相位调制参数对虚拟声源的初始音频信号进行立体音效的调制然后再输出,本申请既考虑了发声装置输出的声音幅度的大小,重构虚拟声源在水平面上的空间感,还根据当前人头轮廓参数补充校正幅度平移的虚拟声源的相位,以此重构虚拟声源在竖直方向上的空间感,因此,本申请的发声装置输出的音频信号能够使佩戴者更好的感知声源的真实方位,避免产生声源头中定位效应,提升了头戴设备的声场空间感和用户体验。本申请还提供了一种音频输出控制系统,头戴设备及计算机可读存储介质,具有和上述音频输出控制方法相同的有益效果。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种音频输出控制方法的步骤流程图;
图2为本申请所提供的一种相位调制效果示意图;
图3为本申请所提供的一种头戴设备的结构示意图;
图4为本申请所提供的一种发声装置的布置示意图;
图5为本申请所提供的一种声像控制区间的示意图;
图6为本申请所提供的一种正切法则幅度平移原理图;
图7为本申请所提供的一种幅度平移双耳声强差效果对比图;
图8为本申请所提供的一种音频输出控制系统的结构示意图。
具体实施方式
本申请的核心是提供一种音频输出控制方法、系统,头戴设备及计算机可读存储介质,采用幅度平移重构了水平面上的空间感,采用相位调制加强了竖直方向上的空间感,使佩戴者更好的感知声源的真实方位,避免产生声源头中定位效应,提升了头戴设备的声场空间感和用户体验。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参照图1,图1为本申请所提供的一种音频输出控制方法的步骤流程图,该音频输出控制方法包括:
S101:获取头戴设备所在的当前场景中的虚拟声源的初始音频信号;
其中,头戴设备具体可以为头戴式VR设备,VR设备可以利用计算机模拟三维虚拟场景,用户可以通过该VR设备体验VR影片或VR游戏,在不同的VR影片或VR游戏中,都需要VR设备为用户提供对应的音效,以使用户能够沉浸在虚拟世界中。
具体的,本实例中的头戴设备中包括发声装置,用于输出当前三维虚拟场景中的虚拟声源的音频信号,以便为用户提供某一VR电影或某一VR游戏在当前场景的音效,发声装置具体可以为扬声器。发声装置在获取到虚拟声源的初始音频信号后,会根据设置的调制参数对该初始音频信号进行调制后再输出,这里的初始音频信号即未经处理的虚拟声源的音频信号。
可以理解的是,根据佩戴者在VR电影或VR游戏的当前场景中所处的位置,可以确定当前需要发声的虚拟声源,在一个场景中虚拟声源的个数可以为一个也可以为多个。
S102:基于头戴设备的佩戴者的当前人头轮廓参数计算相位调制参数;
考虑到目前为了使头戴设备带给用户的音效具有空间感,为用户提供相对较高的听觉体验,通常是对头戴设备中的两个发声装置采用幅度平移的方法进行声像重构,但是仅通过幅度平移不能准确重构声源在竖直方向上的空间感,因此本步骤还采集了头戴设备的佩戴者的当前人头轮廓参数,基于当前人头轮廓参数可以计算相位调制参数,这里的相位调制参数具体指佩戴者的头相关传输函数,通过头相关传输函数补充音频信号的相位调制,进一步增强空间音频的使用感。相位调制的效果如图2所示,可以看出经过相位调制的音频信号相位谱与发声装置原本发出的音频信号相位谱相比更接近原始声源的相位谱。
具体的,头戴设备上还设有用于采集佩戴者的当前人头轮廓参数的红外线扫描仪,红外线扫描仪可以设置两个,在人头两侧分别布置,头戴设备的结构示意图可以参照图3所示,图3仅示出人头一侧的红外线扫描仪①和发声装置②的布放图。当前人头轮廓参数包括头部轮廓参数和耳部轮廓参数。可以理解的是,考虑到头戴设备的佩戴者并不是固定的,因此,可在头戴设备每次使用时,对当前佩戴者的当前人头轮廓参数进行获取,从而得到当前佩戴者对应的头相关传输函数。
其中,头相关传输函数的关系式为
Figure GDA0003832097250000061
HL和HR分别代表当前佩戴者的左耳对应的头相关传输函数和右耳对应的头相关传输函数,pL和pR分别代表左耳接收到的音频信号和右耳接收到音频信号,p0表示人头不在时,人头中心位置的音频信号。一般情况下HL和HR是虚拟声源的水平方位角θ、仰角φ、虚拟声源到头中心的距离r以及声波参数f的函数。
S103:基于虚拟声源相对于头戴设备的位置计算幅度调制参数;
S104:控制头戴设备的发声装置按幅度调制参数及相位调制参数对初始音频信号进行立体音效的调制并输出调制后的音频信号。
具体的,在获取到虚拟声源相对于头戴设备的位置后,计算发声装置的幅度调制参数,控制发声装置按照S103计算得到的幅度调制参数对初始音频信号的幅度进行调制,并控制发声装置按照S102计算得到的相位调制参数对初始音频信号的相位进行调制,然后输出调制后的音频信号,使用户可以更好的感知虚拟声源的方位,提高发声设备的声学沉浸感。作为一种可选的实施例,可以先对初始音频信号的幅度进行调制,再对幅度调制后的音频信号的相位进行调制。可以理解的是,进行相位调制时,将对应的音频信号输入该头相关传输函数即可得到调制后的音频信号。本实施例在此对S101-S103的执行顺序不作限定。
可见,本实施例中,根据虚拟声源相对于头戴设备的位置计算发声装置的幅度调制参数,同时获取头戴设备的佩戴者的当前人头轮廓参数,基于人头轮廓参数计算发声装置的相位调制参数,然后控制发声装置按照幅度调制参数和相位调制参数对虚拟声源的初始音频信号进行立体音效的调制然后再输出,本申请既考虑了发声装置输出的声音幅度的大小,重构虚拟声源在水平面上的空间感,还根据当前人头轮廓参数补充校正幅度平移的虚拟声源的相位,以此重构虚拟声源在竖直方向上的空间感,因此,本申请的发声装置输出的音频信号能够使佩戴者更好的感知声源的真实方位,避免产生声源头中定位效应,提升了头戴设备的声场空间感和用户体验。
在上述实施例的基础上:
作为一种可选的实施例,头戴设备包括n个发声装置,n为大于2的整数;
该音频输出控制方法还包括:
基于虚拟声源相对于头戴设备的位置在所有发声装置中确定待工作发声装置;
控制头戴设备的发声装置按幅度调制参数及相位调制参数对初始音频信号进行立体音效的调制并输出调制后的音频信号的过程包括:
控制头戴设备中的待工作发声装置按幅度调制参数及相位调制参数对初始音频信号进行立体音效的调制并输出调制后的音频信号。
现有技术中,为了构造声场空间感,一般是在头戴设备上靠近两耳侧分别设置一个发声装置,在获取到虚拟声源对应的音频信号后,通过幅度平移的方式为两个发声装置设置调制参数,以便两个发声装置分别对各自接收到的音频信号进行调制并输出,以达到重构声像的目的。但是这种设置两个发声装置的方案,会使得用户在使用该头戴设备时,对于声音来源方向与位置的感知比较单一,容易产生声源头中定位效应,使得用户感受到的声场空间感较差。基于此,本实施例所提供的头戴设备中设置有至少3个用于重构声像的发声装置。为了进一步增强声场空间感,本实施例首先根据虚拟声源相对于头戴设备的位置对头戴设备中的待工作发声装置进行选择,由待工作发声装置按计算到的相位调制参数和幅度调制参数对虚拟声源的初始音频信号进行立体音效的调制,并输出调制后的音频信号,待工作发声装置重构的声像可以提高用户对虚拟声源方位的感知能力。其中,待工作发声装置可以为一个也可以为两个,根据虚拟声源相对于头戴设备的位置进行选择即可,本申请在此不作限定。
作为一种可选的实施例,每两个相邻的发声装置重构一个声像控制区间;
基于虚拟声源相对于头戴设备的位置在所有发声装置中确定待工作发声装置的过程包括:
基于虚拟声源相对于头戴设备的位置得到虚拟声源的入射方向;
在所有声像控制区间中确定入射方向所在的目标声像控制区间;
在重构目标声像控制区间的发声装置中选择待工作发声装置。
作为一种可选的实施例,n个发声装置位于同一水平面,n个发声装置与水平面上的人头中点位置的连线将水平面划分为n个声像控制区间;
在所有声像控制区间中确定入射方向所在的目标声像控制区间的过程包括:
获取入射方向在水平面上的投影;
将投影所在的声像控制区间确定为目标声像控制区间。
具体的,以设有6个发声装置的头戴设备为例,对本实施例进行说明。6个发声装置的发声点在人头两侧对称分布,为了进一步提高声像重构的准确性,本实施例中选择相邻的两个发声装置得到用于重构声像的控制区间,即声像控制区间。6个发声装置可以位于同一平面,也可以位于不同平面,为便于确定虚拟声源处于哪两个发声装置负责的控制区间,作为一种优选的实施例,可以将6个发声装置设置在同一个水平面上。在这个水平面上建立以人头中点位置为原点的坐标系,可以理解的是,6个发声装置与该坐标系原点的连线可以将水平面划分为6个声像控制区间,如图4所示,6个发声装置分别记为a、b、c、d、e、f,6个声像控制区间分别为标记为Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ、Ⅵ。
可以理解的是,基于虚拟声源相对于头戴设备的位置,可以确定虚拟声源的入射方向。假设在VR影片或VR游戏的当前场景中,有个虚拟声源,该虚拟声源的入射方向在水平面上的投影的位置如图5所示,该投影位于声像控制区间Ⅵ内,声像控制区间Ⅵ即为目标声像控制区间,从负责该声像控制区间Ⅵ的两个发声装置中确定待工作发声装置,即从发声装置a及发声装置d中选择待工作发声装置,以提高重构声像的准确性,从而提高头戴设备的声场空间感。
作为一种可选的实施例,在重构目标声像控制区间的发声装置中选择待工作发声装置的过程包括:
判断投影是否处于划分声像控制区间的任一连线上;
若是,将重构目标声像控制区间的两个发声装置中,投影所处的连线对应的发声装置作为待工作发声装置;
若否,将重构目标声像控制区间的两个发声装置均作为待工作发声装置。
具体的,在选择待工作发声装置时,需要先确定虚拟声源的方位,判断虚拟声源是在两个发声装置之间,还是和任一发声装置有重合,如果有重合,那么仅需要与虚拟声源重合的发声装置发声即可。具体的,可以对投影是否处于划分声像控制区间的任一连线上进行判断,如果投影处于划分声像控制区间的任一连线上,则将其所在连线对应的发声装置作为待工作发声装置,如果否,说明虚拟声源的方位在构成目标声像控制区间的两个发声装置之间,此时将这两个发声装置均作为待工作发声装置。
具体的,可以预先确定各发声装置与目标方向之间的角度,这里的目标方向可以为坐标轴的x轴正方向或x轴负方向或y轴正方向或y轴负方向等,在确定角度时所有发声装置均按顺时针方向或均按逆时针方向确定,假设均按顺时针方向确定各发声装置与y轴正方向之间的角度,即θa~θf。当确定虚拟声源的入射方向后,判断虚拟声源的入射方向在水平面上的投影按顺时针方向与y轴正方向之间的角度θr,判断θa~θf中是否存在与该θr相同的角度,假设θr和θa相同,那么发声装置a即为待工作发声装置,如果θd<θr<θa,那么发声装置d和发声装置a为待工作发声装置。
作为一种可选的实施例,所述基于所述虚拟声源相对于所述头戴设备的位置计算幅度调制参数的过程包括:
基于所述人头中点位置确定重构所述目标声像控制区间的两个所述发声装置的夹角的等分线;
根据第一关系式计算两个所述发声装置各自的幅度调制参数,所述第一关系式为
Figure GDA0003832097250000091
其中,
Figure GDA0003832097250000101
为任意一个所述发声装置与所述人头中点位置的连线与所述等分线的夹角,
Figure GDA0003832097250000102
为所述投影与所述等分线的夹角,g1为第一个所述发声装置的幅度调制参数,g2为第二个所述发声装置的幅度调制参数。
具体的,在确定目标声像区间对应的两个待工作发声装置后,可以通过幅度平移的方式对两个待工作发声装置的幅度调制参数进行分配,为了剔除正弦法则计算幅度平移时包含的头部转动的影响,本申请采用第一关系式计算两个待工作发声装置的幅度调制参数。参照图6所示,建立以人头为原点的坐标系,两个待工作发声装置均位于听音点(人头中点位置)为圆心的圆上,两个待工作发声装置的角度分别为
Figure GDA0003832097250000103
Figure GDA0003832097250000104
虚拟声源与两个发声装置的等分线的夹角为
Figure GDA0003832097250000105
本实施例中,将与虚拟声源距离更近的一个发声装置作为第一个发声装置,另一个发声装置作为第二发声装置。进一步的,分别计算出第一个发声装置的幅度调制参数g1和第二个发声装置的幅度调制参数g2后,第一个发声装置和第二发声装置分别根据g1、g2及头相关传输函数对虚拟声源的初始音频信号进行立体音效调制,并分别输出各自调制后的音频信号。
真实的声源从箭头方向发出被人耳接收到的双耳幅度差,传统VR在耳边播放声音被人耳接收到的双耳幅度差,以及根据多扬声器分配幅度输出声音被接收到的双耳幅度差对比结果如图7所示,不难看出经过幅度平移分配的声音双耳幅度差与原始声音的双耳幅度差更接近,用户人耳判断重构的虚拟声像的位置会比传统VR播放的情况下更接近真实方位。
综上所述,本申请在VR设备上增加发声装置的数量,以正切法则的幅度平移分配不同发声装置声音的幅度大小,并利用红外线扫描人头轮廓计算头传函数补充对扬声器的相位调制,来控制人耳对声源位置的感知,提升VR产品的声场空间感。
请参照图8,图8为本申请所提供的一种音频输出控制系统的结构示意图,该音频输出控制系统包括:
获取模块11,用于获取头戴设备所在的当前场景中的虚拟声源的初始音频信号;
第一计算模块12,用于基于头戴设备的佩戴者的当前人头轮廓参数计算相位调制参数;
第二计算模块13,用于基于虚拟声源相对于头戴设备的位置计算幅度调制参数;
输出控制模块14,用于控制头戴设备的发声装置按幅度调制参数及相位调制参数对初始音频信号进行立体音效的调制并输出调制后的音频信号。
可见,本实施例中,根据虚拟声源相对于头戴设备的位置计算发声装置的幅度调制参数,同时获取头戴设备的佩戴者的当前人头轮廓参数,基于人头轮廓参数计算发声装置的相位调制参数,然后控制发声装置按照幅度调制参数和相位调制参数对虚拟声源的初始音频信号进行立体音效的调制然后再输出,本申请既考虑了发声装置输出的声音幅度的大小,重构虚拟声源在水平面上的空间感,还根据当前人头轮廓参数补充校正幅度平移的虚拟声源的相位,以此重构虚拟声源在竖直方向上的空间感,因此,本申请的发声装置输出的音频信号能够使佩戴者更好的感知声源的真实方位,避免产生声源头中定位效应,提升了头戴设备的声场空间感和用户体验。
作为一种可选的实施例,相位调制参数包括头相关传输函数。
作为一种可选的实施例,头戴设备包括n个发声装置,n为大于12的整数;
该音频输出控制系统还包括:
确定模块,用于基于虚拟声源相对于头戴设备的位置在所有发声装置中确定待工作发声装置;
控制头戴设备的发声装置按幅度调制参数及相位调制参数对初始音频信号进行立体音效的调制并输出调制后的音频信号的过程包括:
控制头戴设备中的待工作发声装置按幅度调制参数及相位调制参数对初始音频信号进行立体音效的调制并输出调制后的音频信号。
作为一种可选的实施例,每两个相邻的发声装置重构一个声像控制区间;
基于虚拟声源相对于头戴设备的位置在所有发声装置中确定待工作发声装置的过程包括:
基于虚拟声源相对于头戴设备的位置得到虚拟声源的入射方向;
在所有声像控制区间中确定入射方向所在的目标声像控制区间;
在重构目标声像控制区间的发声装置中选择待工作发声装置。
作为一种可选的实施例,n个发声装置位于同一水平面,n个发声装置与水平面上的人头中点位置的连线将水平面划分为n个声像控制区间;
在所有声像控制区间中确定入射方向所在的目标声像控制区间的过程包括:
获取入射方向在水平面上的投影;
将投影所在的声像控制区间确定为目标声像控制区间。
作为一种可选的实施例,在重构目标声像控制区间的发声装置中选择待工作发声装置的过程包括:
判断投影是否处于划分声像控制区间的任一连线上;
若是,将重构目标声像控制区间的两个发声装置中,投影所处的连线对应的发声装置作为待工作发声装置;
若否,将重构目标声像控制区间的两个发声装置均作为待工作发声装置。
作为一种可选的实施例,所述基于所述虚拟声源相对于所述头戴设备的位置计算幅度调制参数的过程包括:
基于所述人头中点位置确定重构所述目标声像控制区间的两个所述发声装置的夹角的等分线;
根据第一关系式计算两个所述发声装置各自的幅度调制参数,所述第一关系式为
Figure GDA0003832097250000121
其中,
Figure GDA0003832097250000122
为任意一个所述发声装置与所述人头中点位置的连线与所述等分线的夹角,
Figure GDA0003832097250000123
为所述投影与所述等分线的夹角,g1为第一个所述发声装置的幅度调制参数,g2为第二个所述发声装置的幅度调制参数。
另外,本申请提供了一种头戴设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上文任意一个实施例所描述的音频输出控制方法的步骤。
具体的,存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令,该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器为头戴设备提供计算和控制能力,执行存储器中保存的计算机程序时,可以实现以下步骤:获取头戴设备所在的当前场景中的虚拟声源的初始音频信号;基于头戴设备的佩戴者的当前人头轮廓参数计算相位调制参数;基于虚拟声源相对于头戴设备的位置计算幅度调制参数;控制头戴设备的发声装置按幅度调制参数及相位调制参数对初始音频信号进行立体音效的调制并输出调制后的音频信号。
可见,本实施例中,根据虚拟声源相对于头戴设备的位置计算发声装置的幅度调制参数,同时获取头戴设备的佩戴者的当前人头轮廓参数,基于人头轮廓参数计算发声装置的相位调制参数,然后控制发声装置按照幅度调制参数和相位调制参数对虚拟声源的初始音频信号进行立体音效的调制然后再输出,本申请既考虑了发声装置输出的声音幅度的大小,重构虚拟声源在水平面上的空间感,还根据当前人头轮廓参数补充校正幅度平移的虚拟声源的相位,以此重构虚拟声源在竖直方向上的空间感,因此,本申请的发声装置输出的音频信号能够使佩戴者更好的感知声源的真实方位,避免产生声源头中定位效应,提升了头戴设备的声场空间感和用户体验。
作为一种可选的实施例,处理器执行存储器中保存的计算机子程序时,可以实现以下步骤:基于头戴设备的佩戴者的当前人头轮廓参数计算头相关传输函数,将头相关传输函数作为相位调制参数。
作为一种可选的实施例,处理器执行存储器中保存的计算机子程序时,可以实现以下步骤:基于虚拟声源相对于头戴设备的位置在所有发声装置中确定待工作发声装置;控制头戴设备的发声装置按幅度调制参数及相位调制参数对初始音频信号进行立体音效的调制并输出调制后的音频信号的过程包括:控制头戴设备中的待工作发声装置按幅度调制参数及相位调制参数对初始音频信号进行立体音效的调制并输出调制后的音频信号。
作为一种可选的实施例,处理器执行存储器中保存的计算机子程序时,可以实现以下步骤:基于虚拟声源相对于头戴设备的位置得到虚拟声源的入射方向;在所有声像控制区间中确定入射方向所在的目标声像控制区间,每两个相邻的发声装置重构一个声像控制区间;在重构目标声像控制区间的发声装置中选择待工作发声装置。
作为一种可选的实施例,处理器执行存储器中保存的计算机子程序时,可以实现以下步骤:获取入射方向在水平面上的投影;将投影所在的声像控制区间确定为目标声像控制区间。
作为一种可选的实施例,处理器执行存储器中保存的计算机子程序时,可以实现以下步骤:判断投影是否处于划分声像控制区间的任一连线上;若是,将重构目标声像控制区间的两个发声装置中,投影所处的连线对应的发声装置作为待工作发声装置;若否,将重构目标声像控制区间的两个发声装置均作为待工作发声装置。
作为一种可选的实施例,处理器执行存储器中保存的计算机子程序时,可以实现以下步骤:基于所述人头中点位置确定重构所述目标声像控制区间的两个所述发声装置的夹角的等分线;
根据第一关系式计算两个所述发声装置各自的幅度调制参数,所述第一关系式为
Figure GDA0003832097250000141
其中,
Figure GDA0003832097250000142
为任意一个所述发声装置与所述人头中点位置的连线与所述等分线的夹角,
Figure GDA0003832097250000143
为所述投影与所述等分线的夹角,g1为第一个所述发声装置的幅度调制参数,g2为第二个所述发声装置的幅度调制参数。
在上述实施例的基础上,作为优选实施方式,该头戴设备还包括:
输入接口,与处理器相连,用于获取外部导入的计算机程序、参数和指令,经处理器控制保存至存储器中。该输入接口可以与输入装置相连,接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层,也可以是终端外壳上设置的按键、轨迹球或触控板。
显示单元,与处理器相连,用于显示处理器发送的数据。该显示单元可以为液晶显示屏或者电子墨水显示屏等。
网络端口,与处理器相连,用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术,如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。
另一方面,本申请还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上文任意一个实施例所描述的音频输出控制方法的步骤。
具体的,计算机存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取头戴设备所在的当前场景中的虚拟声源的初始音频信号;基于头戴设备的佩戴者的当前人头轮廓参数计算相位调制参数;基于虚拟声源相对于头戴设备的位置计算幅度调制参数;控制头戴设备的发声装置按幅度调制参数及相位调制参数对初始音频信号进行立体音效的调制并输出调制后的音频信号。
可见,本实施例中,根据虚拟声源相对于头戴设备的位置计算发声装置的幅度调制参数,同时获取头戴设备的佩戴者的当前人头轮廓参数,基于人头轮廓参数计算发声装置的相位调制参数,然后控制发声装置按照幅度调制参数和相位调制参数对虚拟声源的初始音频信号进行立体音效的调制然后再输出,本申请既考虑了发声装置输出的声音幅度的大小,重构虚拟声源在水平面上的空间感,还根据当前人头轮廓参数补充校正幅度平移的虚拟声源的相位,以此重构虚拟声源在竖直方向上的空间感,因此,本申请的发声装置输出的音频信号能够使佩戴者更好的感知声源的真实方位,避免产生声源头中定位效应,提升了头戴设备的声场空间感和用户体验。
作为一种可选的实施例,计算机程序被处理器执行时实现以下步骤:基于头戴设备的佩戴者的当前人头轮廓参数计算头相关传输函数,将头相关传输函数作为相位调制参数。
作为一种可选的实施例,计算机程序被处理器执行时实现以下步骤:基于虚拟声源相对于头戴设备的位置在所有发声装置中确定待工作发声装置;控制头戴设备的发声装置按幅度调制参数及相位调制参数对初始音频信号进行立体音效的调制并输出调制后的音频信号的过程包括:控制头戴设备中的待工作发声装置按幅度调制参数及相位调制参数对初始音频信号进行立体音效的调制并输出调制后的音频信号。
作为一种可选的实施例,计算机程序被处理器执行时实现以下步骤:基于虚拟声源相对于头戴设备的位置得到虚拟声源的入射方向;在所有声像控制区间中确定入射方向所在的目标声像控制区间,每两个相邻的发声装置重构一个声像控制区间;在重构目标声像控制区间的发声装置中选择待工作发声装置。
作为一种可选的实施例,计算机程序被处理器执行时实现以下步骤:获取入射方向在水平面上的投影;将投影所在的声像控制区间确定为目标声像控制区间。
作为一种可选的实施例,计算机程序被处理器执行时实现以下步骤:判断投影是否处于划分声像控制区间的任一连线上;若是,将重构目标声像控制区间的两个发声装置中,投影所处的连线对应的发声装置作为待工作发声装置;若否,将重构目标声像控制区间的两个发声装置均作为待工作发声装置。
作为一种可选的实施例,计算机程序被处理器执行时实现以下步骤:基于人头中点位置确定两个待工作发声装置的夹角的等分线;基于所述人头中点位置确定重构所述目标声像控制区间的两个所述发声装置的夹角的等分线;根据第一关系式计算两个所述发声装置各自的幅度调制参数,所述第一关系式为
Figure GDA0003832097250000161
其中,
Figure GDA0003832097250000162
为任意一个所述发声装置与所述人头中点位置的连线与所述等分线的夹角,
Figure GDA0003832097250000163
为所述投影与所述等分线的夹角,g1为第一个所述发声装置的幅度调制参数,g2为第二个所述发声装置的幅度调制参数。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其他实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种音频输出控制方法,其特征在于,包括:
获取头戴设备所在的当前场景中的虚拟声源的初始音频信号;
基于所述头戴设备的佩戴者的当前人头轮廓参数计算相位调制参数,所述相位调制参数包括头相关传输函数;
基于所述虚拟声源相对于所述头戴设备的位置计算幅度调制参数;
控制所述头戴设备的发声装置按所述幅度调制参数及所述相位调制参数对所述初始音频信号进行立体音效的调制并输出调制后的音频信号;
所述头戴设备包括n个设于同一水平面上的所述发声装置,每两个相邻的所述发声装置重构一个声像控制区间,n为大于2的整数;
所述基于所述虚拟声源相对于所述头戴设备的位置计算幅度调制参数的过程包括:
基于虚拟声源相对于所述头戴设备的位置得到所述虚拟声源的入射方向;
在所有所述声像控制区间中确定所述入射方向所在的目标声像控制区间;基于所述人头中点位置确定重构所述目标声像控制区间的两个所述发声装置的夹角的等分线;
根据第一关系式计算两个所述发声装置各自的幅度调制参数,所述第一关系式为
Figure DEST_PATH_IMAGE002
其中,
Figure DEST_PATH_IMAGE004
为任意一个所述发声装置与所述人头中点位置的连线与所述等分线的夹角,
Figure DEST_PATH_IMAGE006
为所述入射方向在所述水平面上的投影与所述等分线的夹角,g1为第一个所述发声装置的幅度调制参数,g2为第二个所述发声装置的幅度调制参数。
2.根据权利要求1所述的音频输出控制方法,其特征在于,该音频输出控制方法还包括:
基于所述虚拟声源相对于所述头戴设备的位置在所有所述发声装置中确定待工作发声装置;
所述控制所述头戴设备的发声装置按所述幅度调制参数及所述相位调制参数对所述初始音频信号进行立体音效的调制并输出调制后的音频信号的过程包括:
控制头戴设备中的所述待工作发声装置按所述幅度调制参数及所述相位调制参数对所述初始音频信号进行立体音效的调制并输出调制后的音频信号。
3.根据权利要求2所述的音频输出控制方法,其特征在于,所述基于所述虚拟声源相对于所述头戴设备的位置在所有所述发声装置中确定待工作发声装置的过程包括:
在重构所述目标声像控制区间的所述发声装置中选择待工作发声装置。
4.根据权利要求1所述的音频输出控制方法,其特征在于,n个所述发声装置与所述水平面上的人头中点位置的连线将所述水平面划分为n个所述声像控制区间;
所述在所有所述声像控制区间中确定所述入射方向所在的目标声像控制区间的过程包括:
获取所述入射方向在所述水平面上的投影;
将所述投影所在的所述声像控制区间确定为目标声像控制区间。
5.根据权利要求3所述的音频输出控制方法,其特征在于,所述在重构所述目标声像控制区间的所述发声装置中选择待工作发声装置的过程包括:
判断所述投影是否处于划分所述声像控制区间的任一所述连线上;
若是,将重构所述目标声像控制区间的两个所述发声装置中,所述投影所处的所述连线对应的所述发声装置作为待工作发声装置;
若否,将重构所述目标声像控制区间的两个所述发声装置均作为所述待工作发声装置。
6.一种音频输出控制系统,其特征在于,包括:
获取模块,用于获取头戴设备所在的当前场景中的虚拟声源的初始音频信号;
第一计算模块,用于基于所述头戴设备的佩戴者的当前人头轮廓参数计算相位调制参数,所述相位调制参数包括头相关传输函数;
第二计算模块,用于基于所述虚拟声源相对于所述头戴设备的位置计算幅度调制参数;
输出控制模块,用于控制所述头戴设备的发声装置按所述幅度调制参数及所述相位调制参数对所述初始音频信号进行立体音效的调制并输出调制后的音频信号;
所述头戴设备包括n个设于同一水平面上的所述发声装置,每两个相邻的所述发声装置重构一个声像控制区间,n为大于2的整数;
所述基于所述虚拟声源相对于所述头戴设备的位置计算幅度调制参数的过程包括:
基于虚拟声源相对于所述头戴设备的位置得到所述虚拟声源的入射方向;
在所有所述声像控制区间中确定所述入射方向所在的目标声像控制区间;基于所述人头中点位置确定重构所述目标声像控制区间的两个所述发声装置的夹角的等分线;
根据第一关系式计算两个所述发声装置各自的幅度调制参数,所述第一关系式为
Figure DEST_PATH_IMAGE007
其中,
Figure DEST_PATH_IMAGE008
为任意一个所述发声装置与所述人头中点位置的连线与所述等分线的夹角,
Figure DEST_PATH_IMAGE009
为所述入射方向在所述水平面上的投影与所述等分线的夹角,g1为第一个所述发声装置的幅度调制参数,g2为第二个所述发声装置的幅度调制参数。
7.一种头戴设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1-5任意一项所述的音频输出控制方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-5任意一项所述的音频输出控制方法的步骤。
CN202111276794.0A 2021-10-29 2021-10-29 一种音频输出控制方法、系统及相关组件 Active CN114025287B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111276794.0A CN114025287B (zh) 2021-10-29 2021-10-29 一种音频输出控制方法、系统及相关组件
PCT/CN2021/131709 WO2023070778A1 (zh) 2021-10-29 2021-11-19 一种音频输出控制方法、系统及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111276794.0A CN114025287B (zh) 2021-10-29 2021-10-29 一种音频输出控制方法、系统及相关组件

Publications (2)

Publication Number Publication Date
CN114025287A CN114025287A (zh) 2022-02-08
CN114025287B true CN114025287B (zh) 2023-02-17

Family

ID=80059006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111276794.0A Active CN114025287B (zh) 2021-10-29 2021-10-29 一种音频输出控制方法、系统及相关组件

Country Status (2)

Country Link
CN (1) CN114025287B (zh)
WO (1) WO2023070778A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05336599A (ja) * 1992-06-03 1993-12-17 Fujitsu Ltd 音像定位ヘッドホン装置および、それを用いた仮想現実視聴覚装置
CN103618986A (zh) * 2013-11-19 2014-03-05 深圳市新一代信息技术研究院有限公司 一种3d空间中音源声像体的提取方法及装置
CN107168518A (zh) * 2017-04-05 2017-09-15 北京小鸟看看科技有限公司 一种用于头戴显示器的同步方法、装置及头戴显示器
JP2018110366A (ja) * 2017-01-04 2018-07-12 伊藤 和幸 3dサウンド映像音響機器
JP2018125784A (ja) * 2017-02-03 2018-08-09 Hoyaサービス株式会社 音声出力装置
CN108574925A (zh) * 2017-03-14 2018-09-25 株式会社东芝 虚拟听觉环境中控制音频信号输出的方法和装置
CN110267166A (zh) * 2019-07-16 2019-09-20 上海艺瓣文化传播有限公司 一种基于双耳效应的虚拟声场实时交互系统
CN112292872A (zh) * 2018-06-26 2021-01-29 索尼公司 声音信号处理装置、移动设备、方法和程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008106680A2 (en) * 2007-03-01 2008-09-04 Jerry Mahabub Audio spatialization and environment simulation
CN105910702B (zh) * 2016-04-18 2019-01-25 北京大学 一种基于相位补偿的异步头相关传输函数测量方法
US10278003B2 (en) * 2016-09-23 2019-04-30 Apple Inc. Coordinated tracking for binaural audio rendering
US20180115854A1 (en) * 2016-10-26 2018-04-26 Htc Corporation Sound-reproducing method and sound-reproducing system
EP3346729B1 (en) * 2017-01-04 2020-02-05 Harman Becker Automotive Systems GmbH Headphone for generating natural directional pinna cues
CN108966110B (zh) * 2017-05-19 2020-02-14 华为技术有限公司 声音信号处理方法、装置及系统、终端及存储介质
CN107480100B (zh) * 2017-07-04 2020-02-28 中国科学院自动化研究所 基于深层神经网络中间层特征的头相关传输函数建模系统
WO2019045622A1 (en) * 2017-08-31 2019-03-07 Terranet Ab HEADSET AND METHOD OF OPERATING THE HEADSET

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05336599A (ja) * 1992-06-03 1993-12-17 Fujitsu Ltd 音像定位ヘッドホン装置および、それを用いた仮想現実視聴覚装置
CN103618986A (zh) * 2013-11-19 2014-03-05 深圳市新一代信息技术研究院有限公司 一种3d空间中音源声像体的提取方法及装置
JP2018110366A (ja) * 2017-01-04 2018-07-12 伊藤 和幸 3dサウンド映像音響機器
JP2018125784A (ja) * 2017-02-03 2018-08-09 Hoyaサービス株式会社 音声出力装置
CN108574925A (zh) * 2017-03-14 2018-09-25 株式会社东芝 虚拟听觉环境中控制音频信号输出的方法和装置
CN107168518A (zh) * 2017-04-05 2017-09-15 北京小鸟看看科技有限公司 一种用于头戴显示器的同步方法、装置及头戴显示器
CN112292872A (zh) * 2018-06-26 2021-01-29 索尼公司 声音信号处理装置、移动设备、方法和程序
CN110267166A (zh) * 2019-07-16 2019-09-20 上海艺瓣文化传播有限公司 一种基于双耳效应的虚拟声场实时交互系统

Also Published As

Publication number Publication date
WO2023070778A1 (zh) 2023-05-04
CN114025287A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN109906616B (zh) 用于确定一或多个音频源的一或多个音频表示的方法、系统和设备
Schissler et al. Efficient HRTF-based spatial audio for area and volumetric sources
CN112205005B (zh) 使声学渲染适应基于图像的对象
US11082791B2 (en) Head-related impulse responses for area sound sources located in the near field
CN111466124B (zh) 用于渲染用户的视听记录的方法,处理器系统和计算机可读介质
EP3343349B1 (en) An apparatus and associated methods in the field of virtual reality
TWI786356B (zh) 再現空間擴展聲源的設備與方法、或從空間擴展聲源生成位元流的設備與方法
US8717423B2 (en) Modifying perspective of stereoscopic images based on changes in user viewpoint
JP7210602B2 (ja) オーディオ信号の処理用の方法及び装置
JP2020532914A (ja) 仮想オーディオのスイートスポット適応法
US11109177B2 (en) Methods and systems for simulating acoustics of an extended reality world
US20170186243A1 (en) Video Image Processing Method and Electronic Device Based on the Virtual Reality
US11223920B2 (en) Methods and systems for extended reality audio processing for near-field and far-field audio reproduction
WO2021143574A1 (zh) 增强现实眼镜、基于增强现实眼镜的ktv实现方法与介质
TW201923745A (zh) 用於電腦媒介實境系統之成像
CN114025287B (zh) 一种音频输出控制方法、系统及相关组件
US20190260930A1 (en) Aggregating images and audio data to generate content
Geronazzo et al. HOBA-VR: HRTF On Demand for Binaural Audio in immersive virtual reality environments
CN114630145A (zh) 一种多媒体数据合成方法、设备及存储介质
CN114173256A (zh) 一种还原声场空间及姿态追踪的方法、装置和设备
BR112021004835A2 (pt) sistema para controle de dispositivos conectados com capacidade de áudio em ambientes de realidade mista
Garg et al. Visually-Guided Audio Spatialization in Video with Geometry-Aware Multi-task Learning
CN111243020B (zh) 一种立体投影空间的音源位置的动态定位方法
CN116421971A (zh) 空间音频信号的生成方法及装置、存储介质、电子设备
Atbas Real-Time Immersive Audio Featuring Facial Recognition and Tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221121

Address after: No. 500 Songling Road, Laoshan District, Qingdao City, Shandong Province, 266100

Applicant after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 workshop 1, phase III, Geer Photoelectric Industrial Park, 3999 Huixian Road, Yongchun community, Qingchi street, Weifang High tech Zone, Weifang City, Shandong Province

Applicant before: GoerTek Optical Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant