CN115103293B - 一种面向目标的声重放方法及装置 - Google Patents

一种面向目标的声重放方法及装置 Download PDF

Info

Publication number
CN115103293B
CN115103293B CN202210678398.9A CN202210678398A CN115103293B CN 115103293 B CN115103293 B CN 115103293B CN 202210678398 A CN202210678398 A CN 202210678398A CN 115103293 B CN115103293 B CN 115103293B
Authority
CN
China
Prior art keywords
target
sound
spatial
target source
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210678398.9A
Other languages
English (en)
Other versions
CN115103293A (zh
Inventor
丁文杰
饶丹
朱俊
谢菠荪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210678398.9A priority Critical patent/CN115103293B/zh
Publication of CN115103293A publication Critical patent/CN115103293A/zh
Application granted granted Critical
Publication of CN115103293B publication Critical patent/CN115103293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一种面向目标的声重放方法及装置,其中方法包括:在声目标空间属性编辑软件中,对声重放所需的扬声器阵列进行设置;在JACK音频管理软件中,为每个重放的目标源提供所需的音频;在声目标空间属性编辑软件中,通过用户控制端口对每个目标源的渲染属性进行设置,通过传感器对目标源的空间位置属性进行设置;空间环绕声声效处理器对各个目标源的声信号进行渲染并重放。本发明采用面向目标的声重放方式,可以根据实际应用的需要,对某一个目标源单独控制,针对于不同的扬声器布置的情况下,由空间声声效处理器中对扬声器的位置信息进行更新即可,满足用户的需求。本发明可广泛应用于电声技术领域。

Description

一种面向目标的声重放方法及装置
技术领域
本发明涉及电声技术领域,尤其涉及一种面向目标的声重放方法及装置。
背景技术
国际上,空间声的研究一直是声频领域的热点之一,空间声通过捡拾、传输和重放声场空间信息,在听音区域内使倾听者产生特定的空间听觉事件或感知,包括包围感,方向、距离空间等感知。空间声发展于上世纪,在厅堂、影院、家庭以及近年发展便携设备、耳机重放上有广泛应用。其中厅堂和影院这种大尺度听音区域的声效重放一直是空间声重要的传统应用。
为了改善重放效果,厅堂和影院声重放系统的重放通路不断增加,重放方向从水平面拓展到三维空间,重放模式从面向通路发展到面向目标。空间环绕声明显增加了重放通路,采用传统基于通路结构不灵活,适应性差,效率低的缺点变得突出。当扬声器的位置信息发生改变时,所有声源信号需要重新进行计算,实时处理的效率较低。为了解决这一问题,声重放技术转向基于目标(objected based)的模式发展。由于合成的信号在重放阶段,基于目标模式适应于不同类型的重放原理,也适应于不同的重放扬声器数量和布置。
基于目标的声重放系统以声音目标(audio object)的形式传输一系列具有相同空间特性的声音,同时传输包括用于描述各声音目标的参数或边信息(side information,例如,瞬时位置和其他空间特性)的元数据(metadata),即描述数据的数据(data aboutdata)。重放时空间声效处理器根据元数据提供的声音目标空间信息和实际的扬声器布置信息,重新计算每一个扬声器的增益大小后,将渲染之后的声音信号按一定的法则分配给各扬声器重放。
目前面向目标重放系统的不足如下:
(1)目前部分面向目标声重放系统对扬声器器布置有较为严格的限制,尤其是在厅堂和影院方面,扬声器的布置不灵活,算法无法根据实际扬声器的位置实时进行调整。
(2)目前大部分面向目标的声重放系统在元数据的设计上较为繁杂,将声重放中某些不需要的信息进行传递,由前端到后端的数据传输量较大,影响传输效率。
(3)目前面向目标的声重放系统中,对目标源空间属性通常在声目标的空间编辑软件中由用户设置得到。这种目标源参数设置方式,在剧院等实时大型听音场所中,无法根据演员的位置实时对目标源的空间属性进行调整。
(4)各种不同的扬声器信号馈给方法,如经典的VBAP和Ambisonics,以及一些空间传声器布置检拾得到的信号都有可能用于不同扬声器布置的空间环绕声。这些信号馈给方法通常只适合于小尺度听音区域的中心倾听位置,而在影厅和家庭影院等大型非中心听音场所,听音效果不佳。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一,本发明的目的在于提供一种面向目标的声重放方法及装置。
本发明所采用的技术方案是:
一种面向目标的声重放方法,包括以下步骤:
开启空间环绕声声效处理器、声目标空间属性编辑软件以及JACK音频管理软件,并利用网络传输来实现空间环绕声声效处理器和声目标空间属性编辑软件之间的通信;
在声目标空间属性编辑软件中,对声重放所需的扬声器阵列进行设置;在JACK音频管理软件中,为每个重放的目标源提供所需的音频;
在声目标空间属性编辑软件中,通过用户控制端口对每个目标源的渲染属性进行设置,通过传感器对目标源的空间位置属性进行设置;
空间环绕声声效处理器对各个目标源的声信号进行渲染并重放;
其中,在重放过程中,用户可实时在声目标空间属性编辑软件上更改目标源的空间属性,空间环绕声声效处理器根据更改后的各个目标源的属性,将目标源声信号重复渲染并分配到不同的通路重放。
进一步地,所述利用网络传输来实现空间环绕声声效处理器和声目标空间属性编辑软件之间的通信,包括:
所述空间环绕声声效处理器和所述声目标空间属性编辑软件之间通过http网络传输协议进行通信;
所述JACK音频管理软件实现对音频流的链接和分配,在重放过程中,将目标音源信号导入到空间环绕声声效处理器中进行渲染,并将处理之后的信号传输到声卡的信号输出端口。
进一步地,所述利用网络传输来实现空间环绕声声效处理器和声目标空间属性编辑软件之间的通信,包括:
所述空间环绕声声效处理器和所述声目标空间属性编辑软件之间通过JSON文本格式的元数据进行数据传输。
进一步地,所述对声重放所需的扬声器阵列进行设置,包括:
扬声器的布置和目标源空间属性的预设值是以JSON文本的形式存储在预设文件夹中;
将预设文件夹中的数据导入到声目标空间属性编辑软件中,并以可视化的形式显示扬声器阵列和听音区域的相对位置关系。
进一步地,所述通过用户控制端口对每个目标源的渲染属性进行设置,包括两方面:
一方面是渲染目标源的定位信息;其中,对信号的馈给方式是在分立对-振幅算法的基础上,利用前方三通路信号振幅变化曲线对其进行修正,从而在大型听音场所更稳定地重放目标源;
另一方面是渲染声环境的综合感知效果;对于声源的渲染体现在对声源的展宽效果,采用的方法是将去相关算法和大型听音区振幅馈给算法相结合,从而实现目标源不同展宽宽度的调节。
进一步地,所述通过传感器对目标源的空间位置属性进行设置,包括三个方面:
第一个方面是目标源的位置信息,即目标源与坐标原点的相对位置关系;
第二个方面是目标源的展宽信息;
第三个方面是各目标源的附属信息,所述附属信息包括目标源所播放的音源信号和目标源初始增益。
进一步地,所述空间环绕声声效处理器对各个目标源的声信号进行渲染并重放,包括:
空间环绕声声效处理器将计算所得的,各个扬声器对于不同目标源的增益和播放该目标源所需扬声器的编号,发送到声目标空间属性编辑软件中;
声目标空间属性编辑软件将各个目标源目前的空间属性所对应的增益以列表的形式呈现,并将每个所用到的扬声器以三角形剖分的形式在预设的3D模型图像中呈现。
进一步地,目标源的空间属性信息既可以通过声目标空间属性编辑软件的控件进行编辑,也可以通过外置的位置传感器进行编辑;
目标源的定位信息在声目标空间属性编辑软件中的控件上以数值的方式显示,在预设的3D模型图像中以图形的方式显示。
进一步地,数据的传输和更新采用增量的模式,该模式的工作方式如下:
空间环绕声声效处理器预先将每个目标源的各种属性和计算所得的所有目标源对应的渲染参数记录成表;
声目标空间属性编辑软件将每个目标源更改的属性以增量形式记录在元数据中;
空间环绕声声效处理器根据从声目标空间属性编辑器传输过来的元数据,对目标源属性记录表中的数据进行更改,并将目标源属性记录表中有关于被修改的目标源的全部信息提取出来,对目标源的渲染参数重新进行计算,最后将计算的结果重新记录在增益计算表中。
本发明所采用的另一技术方案是:
一种面向目标的声重放装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上所述方法。
本发明的有益效果是:本发明采用面向目标的声重放方式,可以根据实际应用的需要,对某一个目标源单独控制,针对于不同的扬声器布置的情况下,只需将相关的扬声器布置的空间信息以Json文件的格式记录在特定的本地文件夹当中,再由声目标空间属性编辑软件发送到空间声声效处理器中,对扬声器的位置信息进行更新即可,满足用户的需求。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案,下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍,应当理解的是,下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例,对于本领域的技术人员而言,在无需付出创造性劳动的前提下,还可以根据这些附图获取到其他附图。
图1是本发明实施例中基于声目标空间属性实时编辑软件工作流程图;
图2是本发明实施例中声目标空间属性实时编辑软件中扬声器阵列设置界面示意图;
图3是本发明实施例中声目标空间属性实时编辑软件目标源属性设置界面示意图;
图4是本发明实施例中空间环绕声声效处理器说明图;
图5是本发明实施例中增量增改系统说明图;
图6是本发明实施例中面向目标系统的软件模块组成示意图;
图7是本发明实施例中一种面向目标的声重放方法的步骤流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参见图6,本实施例提供一种面向目标的声重放系统,该系统包括空间环绕声声效处理器、声目标空间属性编辑软件以及JACK音频管理软件,该系统的工作原理如下:在声目标空间属性编辑软件中,用户通过软件控件或传感器,对目标源的空间属性进行控制。元数据记录目标源属性的更改值,通过HTTP网络传输,以Json的格式从声目标空间属性编辑软件传输到空间环绕声声效处理器中。在空间环绕声声效处理器中同样以增量的形式,依据更改后的目标源的空间属性,对各个扬声器的信号馈给增益进行计算。JACK音频服务器将其他音频软件中的音源信号传输到空间环绕声声效处理器中,并将渲染后的音源信号发送给声卡的物理输出端口进行播放。
基于上述的一种面向目标的声重放系统,如图7所示,本实施例提供一种面向目标的声重放方法,包括以下步骤:
S1、将空间环绕声声效处理器,声目标空间属性编辑软件,JACK音频管理软件开启,并利用网络传输来实现空间环绕声声效处理器和声目标空间属性编辑软件之间的通信。
在一些可选的实施例中,空间环绕声声效处理器和声目标空间属性编辑软件之间通过http网络传输协议进行通信。JACK音频服务器实现对音频流的链接和分配,在重放过程中,将目标音源信号导入到空间环绕声声效处理器中进行渲染,并将处理之后的信号传输到声卡的信号输出端口。
其中,空间环绕声声效处理器和声目标空间属性编辑软件之间是通过JSON文本格式的元数据进行数据传输。
S2、在声目标空间属性编辑软件中,对声重放所需的扬声器阵列进行设置;在JACK音频管理软件中,为每个重放的目标源提供所需的音频。
在一些可选的实施例中,扬声器的布置和目标源空间属性的预设值是以JSON文本的形式存储在本地特定文件夹中,可经用户修改和选择后,导入到声目标空间属性编辑软件中,并以可视化的形式展现扬声器阵列和听音区域的相对位置关系。
S3、在声目标空间属性编辑软件中,可通过用户控制端口对每个目标源的属性进行设置,也可通过传感器对目标源的空间位置属性进行设置。
空间环绕声声效处理器对音源信号的处理分为两方面:一方面是渲染目标源的定位信息,本申请拟在歌剧院和影厅等大型听音场所使用,对信号的馈给方式是在分立对-振幅算法的基础上,利用贝尔实验室给出的前方三通路信号振幅变化曲线对其进行修正,从而在大型听音场所更稳定地重放目标源。另一方面是渲染声环境的综合感知效果,本申请拟在厅堂、影院等大型听音场所使用,对于声源的渲染体现在对声源的展宽效果,采用的方法是将去相关算法和大型听音区振幅馈给算法相结合,从而实现目标源不同展宽宽度的调节。
声目标空间属性编辑软件对目标源属性信息的编辑分为三个方面:第一个方面是目标源的位置信息,即目标源与坐标原点的相对位置关系。第二个方面是目标源的展宽信息。第三个方面是各目标源的附属信息,包括目标源所播放的音源信号和目标源初始增益。
S4、在声目标空间属性编辑软件中,启动“播放按钮”,空间环绕声声效处理器开始对各个目标源的声信号进行渲染并重放,按“停止按钮”,终止对声信号的重放;在重放过程中,用户可以实时在声目标空间属性编辑软件上更改目标源的空间属性,空间环绕声声效处理器根据更改后的各个目标源的属性,将目标源声信号重复渲染并分配到不同的通路重放。
在一些可选的实施例中,空间环绕声声效处理器将计算所得的各个扬声器对于不同目标源的增益和播放该目标源所需扬声器的编号发送到声目标空间属性编辑软件中。声目标空间属性编辑软件将各个目标源目前的空间属性所对应的增益以列表的形式呈现,并将每个所用到的扬声器以三角形剖分的形式在3D模型图像中呈现。
在一些可选的实施例中,目标源的空间属性信息既可以通过声目标空间属性编辑软件的控件进行编辑,也可以通过外置的位置传感器进行编辑。目标源的定位信息在声目标空间属性编辑软件中的控件上以数值的方式显示,在3D模型图像中以图形的方式显示。
在一些可选的实施例中,在面向目标的声重放系统结构中数据的传输和更新采用增量的模式。空间环绕声声效处理器预先将每个目标源的各种属性和计算所得的所有目标源对应的渲染参数记录成表。声目标空间属性编辑软件将每个目标源更改的属性以增量形式记录在元数据中。空间环绕声声效处理器根据从声目标空间属性编辑器传输过来的元数据,对目标源属性记录表中的数据进行更改,并将目标源属性记录表中有关于被修改的目标源的全部信息提取出来,对目标源的渲染参数重新进行计算,最后将计算的结果重新记录在增益计算表中。
以下结合附图及具体实施例对上述内容进行详细解释说明。
声目标空间属性编辑软件的具体工作流程如图1所示。声目标空间属性编辑软件作为一种交互的媒介,可以由用户对其控件进行调节,来实现对不同属性目标源的设置。声目标空间属性编辑软件根据不同的目标源,来编辑和打包发送元数据到空间音效处理器上。空间音效处理器将接收到的元数据和从其他软件处得到的未处理的音频数据,或其他的控制信息进行整合处理,来实现对音频信息的渲染。声目标空间属性编辑软件在启动之后,与空间声效处理器通过http网络协议通信。当声目标空间属性编辑软件与空间声效处理器建立链接之后,用户想要实现对多个目标源的渲染,首先需要设置用于合成虚拟源的扬声器布局,并由声目标空间属性编辑软件将扬声器布置的信息以Json文件的格式发送到空间声效处理器,若实际扬声器的布局发生更改,只需在声目标空间属性编辑软件上重新载入扬声器的布局文件即可。在将扬声器的布局设置完成后,用户可以使用声目标空间属性编辑软件主界面上的控件对目标源的属性进行设置,声目标空间属性编辑软件动态地将包含目标源信息的元数据利用HTTP网络协议发送到空间声效处理器,空间声效处理器通过对元数据的解析来确定目标源的状态和属性。
声目标空间属性编辑软件对于扬声器阵列设置的界面如图2所示,界面中包括3D图像显示窗口和扬声器阵列配置按钮。用户在配置扬声器时,需将配置扬声器位置的Json文件保存到指定本地文件夹位置,在点击载入按钮之后,扬声器的配置将显示在3D图像窗口上,同时客户端将扬声器位置的配置以Json文件的形式发送到服务器上。点击清除按钮,将清除之前的扬声器的配置。
图3表示的是音频控制算法客户端的主界面,用户将在此界面中对不同属性的目标源进行设置。‘object’控件实现对不同目标源之间的切换,选择‘port’的下拉框来设置当前目标源所采用的音源,用‘on’控件来设置是否使用此目标源,‘去相关’控件来设置该目标源是否展宽。在客户端软件中设置了多种转轮来对目标源的位置和宽度进行调整,并在3D图像中显示出来。3D图像窗口可以为用户提供直观的图像显示,辅助用户明确其设置的不同目标源的位置和展宽程度,设置更符合自己需求的目标源。
在基于目标的声重放项目中,空间声效处理器是整个信号馈给方法的核心,它接收来自声目标空间属性编辑软件的元数据,解析出不同目标源的信息,通过导入其他软件的音频数据和整合其他控制信息,对不同的音源信号进行处理,最后将渲染完成信号分配到不同的扬声器中播放。如图4所示,空间音效处理器的主要功能分为两个方面,一方面是通过对来自声目标空间属性编辑软件的元数据的解析,得到用户设置的目标源的属性,另一方面将解析出的信息,通过计算每个音源信号所需扬声器的增益和展宽所需的滤波器,合成不同属性的虚拟源。
用户在设置不同的目标源时,需要先导入扬声器的布置信息,这种信息由声目标空间属性编辑软件以Json的格式传输到空间声效处理器中。空间声效处理器将这种元数据进行解析,得到在笛卡尔坐标系和球坐标系下,扬声器的坐标位置,并利用解析的到的数据替换之前扬声器的布局信息,对于多个目标源的渲染都是在新的扬声器坐标的基础上实现的。
目标源的空间信息是以Json文件的格式由声目标空间属性编辑软件发送到空间声效处理器,其中的元数据被解析成不同目标源的属性和位置。空间声效处理器对应解析出的信息,逐步对实现对音源信号的处理。
首先根据元数据中记录的目标源的开启和关闭的状态,确定该目标源是否被合成,元数据中记录有多少目标源开启,决定着空间声效处理器合成虚拟源的个数。第二步,空间声效处理器根据元数据中记录的展宽程度,确定该目标源的展宽状态,对不同展宽状态下的目标源分情况处理,若目标源有一定宽度,空间声效处理器判断是否采用去相关算法,依据元数据中记录的该目标源展宽程度,设计该目标源信号所对应的滤波器和播放该目标源信号所需扬声器的增益;如果该目标源是非展宽状态的,则空间声效处理器会应用在大型听音区域内修正的信号馈给算法来合成虚拟源,计算合成该目标源所需扬声器的增益。
第三步,基于计算的结果对音频信号进行渲染并播放。空间声效处理器通过JACKAUDIO音频路由从其他软件中将音频信号导入至缓存中,在利用计算得到所有扬声器对应不同音源信号的增益和滤波器对音频信号进行处理之后,将渲染完成的音频信号再次通过JACK服务器发送到对应扬声器进行播放。
面向目标的声重放系统由声目标属性编辑软件和空间声效处理器组成。声目标编辑软件可实时控制目标元数据,并以Json格式传输到处理服务器。声效处理服务器以http协议接收并解析Json元数据及目标源音频流,处理生成通路信号。此部分直达声信号最后通过JACK本地音频路由。
在面向目标的声重放系统中,空间环绕声声效处理器和声目标空间属性编辑软件之间的元数据通信采用增量修改的形式,一方面可以节省数据传输的数据量,提高了音源实时播放的可靠性,另一方面在处理数据的过程中,避免了对未修改的目标源的重复运算,对于未来增加目标虚拟源的数目,采用更精确的方案来渲染声场提供了条件。
以数据增量的形式来实现目标源属性的更改可以以图5说明。用户可以通过声目标空间属性编辑软件来实现对各个目标源属性的更改,声目标空间属性编辑软件将某个目标源更改的内容单独记录下来,一方面在3维空间图像中实时呈现出该目标源修改后的状态,方便用户对目标源属性进行调整,另一方面将该目标源修改的属性以Json文本的格式,作为元数据发送到空间环绕声声效处理器。空间环绕声声效处理器中在进行信号处理时,事先创建一张包含所有目标源(在本实施例中,可以预设为最多12个目标源)各个空间属性的表,在接收元数据之后,空间环绕声声效处理器将元数据中记录的关于某些目标源更改后的属性,与预先创建的目标源属性表对照,即图五中“metadata map”,并将其中的相关内容进行更改。并将所有涉及修改的目标源的全部空间属性提取出,记录在目标源空间属性更新表中,即图5中的“updata map”。空间环绕声声效处理器通过“updata map”中涉及到的目标源的空间位置属性和空间感知属性,对目标源重新渲染后,即对各个扬声器的信号馈给增益和展宽所需要的滤波器进行计算,并根据计算后的结果在空间环绕声声效处理器中预先创建的“目标源增益表”中进行修改。在这一步的运算中,未修改空间属性的目标源不参与运算,与该目标源相关的各个扬声器的信号馈给增益和滤波器在“目标源增益表”的内容不会被修改,减少计算的复杂度。空间环绕声声效处理器根据“目标源增益表”中的内容,对各个目标源对应的通路信号进行渲染,并将处理之后的信号通过JACK服务器进行路由发送到物理输出端口,进行播放。
综上所述,本申请相对于现有技术,具有如下优点及有益效果:
(1)本发明采用面向目标的声重放方式,可以根据实际应用的需要,对某一个目标源单独控制。对于扬声器布置的要求并不严格,针对于不同的扬声器布置的情况下,只需将相关的扬声器布置的空间信息以Json文件的格式记录在特定的本地文件夹当中,再由声目标空间属性编辑软件发送到空间声声效处理器中对扬声器的位置信息进行更新即可。
(2)声目标空间属性编辑软件和空间声声效处理器之间的数据传输和记录采用增量的形式,只对用户在声目标空间属性编辑软件中修改的某一目标源的某一属性记录并传输,可以有效且高速的传输信息。空间声声效处理器接收元数据,依据元数据记录有关修改的内容,只对修改的目标源的渲染参数重新进行计算。
(3)面向目标的声重放系统结构实现中,对目标源的位置属性的更改可以采用位置传感器来实现。相关传感器的控制的声源的空间信息,一方面在声目标空间属性编辑器的控件上和3D模型图像上分别以数值和图形呈现,一方面以元数据的形式传输到空间声声效处理器中对目标源进行渲染。
(4)面向目标的声重放系统结构采用声效的处理算法与传统的家庭影院不同,主要的服务对象是各种厅堂,包括歌剧院、戏院等大型听音场所。采用适应于大型听音场所的相关信号渲染算法,当听音点不在中心位置处,同样有较准确的声目标定位效果。
(5)面向目标的声重放系统可以从两方面对目标源的属性进行控制,一方面实现对声源的方向定位和距离定位,另一方面实现对声源空间感的调节。对于声源空间感的调节,主要是通过控制目标源的宽度来实现。
(6)该面向目标的声重放系统采用可视化的方法,一方面在声目标空间属性编辑软件上设置3D模型图像,实时地将各个目标源的空间相对位置和声源的展宽程度呈现出来。另一方面,空间声声效处理器在计算得到各个目标源所需扬声器的编号和目标源对应的渲染参数之后,将其反馈到声目标空间属性编辑软件,并分别以三角剖分和列表的形式呈现。
(7)本发明可在多媒体计算机上通过算法语言(如VC++,python)编程实现,也可采用通用DSP硬件电路实现。
本实施例还提供一种面向目标的声重放装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如图7所示方法。
本实施例的一种面向目标的声重放装置,可执行本发明方法实施例所提供的一种面向目标的声重放方法,可执行方法实施例的任意组合实施步骤,具备该方法相应的功能和有益效果。
在本说明书的上述描述中,参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于上述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
本发明的研究得到国家重点研发计划(2018YFB1403800)的资助。

Claims (8)

1.一种面向目标的声重放方法,其特征在于,包括以下步骤:
开启空间环绕声声效处理器、声目标空间属性编辑软件以及JACK音频管理软件,并利用网络传输来实现空间环绕声声效处理器和声目标空间属性编辑软件之间的通信;
在声目标空间属性编辑软件中,对声重放所需的扬声器阵列进行设置;在JACK音频管理软件中,为每个重放的目标源提供所需的音频;
在声目标空间属性编辑软件中,通过用户控制端口对目标源的渲染属性进行设置,通过传感器对目标源的空间位置属性进行设置;
空间环绕声声效处理器对各个目标源的声信号进行渲染并重放;
其中,在重放过程中,用户可实时在声目标空间属性编辑软件上更改目标源的空间属性,空间环绕声声效处理器根据更改后的各个目标源的属性,将目标源声信号重复渲染并分配到不同的通路重放;
所述通过用户控制端口对目标源的渲染属性进行设置,包括两方面:
一方面是渲染目标源的定位信息;其中,对信号的馈给方式是在分立对-振幅算法的基础上,利用前方三通路信号振幅变化曲线对其进行修正,从而在大型听音场所更稳定地重放目标源;
另一方面是渲染声环境的综合感知效果;对于声源的渲染体现在对声源的展宽效果,采用的方法是将去相关算法和大型听音区振幅馈给算法相结合,从而实现目标源不同展宽宽度的调节;
所述通过传感器对目标源的空间位置属性进行设置,包括三个方面:
第一个方面是目标源的位置信息,即目标源与坐标原点的相对位置关系;
第二个方面是目标源的展宽信息;
第三个方面是各目标源的附属信息,所述附属信息包括目标源所播放的音源信号和目标源初始增益。
2.根据权利要求1所述的一种面向目标的声重放方法,其特征在于,所述利用网络传输来实现空间环绕声声效处理器和声目标空间属性编辑软件之间的通信,包括:
所述空间环绕声声效处理器和所述声目标空间属性编辑软件之间通过http网络传输协议进行通信;
所述JACK音频管理软件实现对音频流的链接和分配,在重放过程中,将目标音源信号导入到空间环绕声声效处理器中进行渲染,并将处理之后的信号传输到声卡的信号输出端口。
3.根据权利要求1所述的一种面向目标的声重放方法,其特征在于,所述利用网络传输来实现空间环绕声声效处理器和声目标空间属性编辑软件之间的通信,包括:
所述空间环绕声声效处理器和所述声目标空间属性编辑软件之间通过JSON文本格式的元数据进行数据传输。
4.根据权利要求1所述的一种面向目标的声重放方法,其特征在于,所述对声重放所需的扬声器阵列进行设置,包括:
扬声器的布置和目标源空间属性的预设值是以JSON文本的形式存储在预设文件夹中;
将预设文件夹中的数据导入到声目标空间属性编辑软件中,并以可视化的形式显示扬声器阵列和听音区域的相对位置关系。
5.根据权利要求1所述的一种面向目标的声重放方法,其特征在于,所述空间环绕声声效处理器对各个目标源的声信号进行渲染并重放,包括:
空间环绕声声效处理器将计算所得的,各个扬声器对于不同目标源的增益和播放该目标源所需扬声器的编号,发送到声目标空间属性编辑软件中;
声目标空间属性编辑软件将各个目标源目前的空间属性所对应的增益以列表的形式呈现,并将每个所用到的扬声器以三角形剖分的形式在预设的3D模型图像中呈现。
6.根据权利要求1所述的一种面向目标的声重放方法,其特征在于,在重放过程中,目标源的空间属性信息通过声目标空间属性编辑软件的控件进行编辑,或者通过外置的位置传感器进行编辑;
目标源的定位信息在声目标空间属性编辑软件中的控件上以数值的方式显示,在预设的3D模型图像中以图形的方式显示。
7.根据权利要求1所述的一种面向目标的声重放方法,其特征在于,数据的传输和更新采用增量的模式,该模式的工作方式如下:
空间环绕声声效处理器预先将每个目标源的各种属性和计算所得的所有目标源对应的渲染参数记录成表;
声目标空间属性编辑软件将每个目标源更改的属性以增量形式记录在元数据中;
空间环绕声声效处理器根据从声目标空间属性编辑器传输过来的元数据,对目标源属性记录表中的数据进行更改,并将目标源属性记录表中有关于被修改的目标源的全部信息提取出来,对目标源的渲染参数重新进行计算,最后将计算的结果重新记录在增益计算表中。
8.一种面向目标的声重放装置,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现权利要求1-7任一项所述方法。
CN202210678398.9A 2022-06-16 2022-06-16 一种面向目标的声重放方法及装置 Active CN115103293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210678398.9A CN115103293B (zh) 2022-06-16 2022-06-16 一种面向目标的声重放方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210678398.9A CN115103293B (zh) 2022-06-16 2022-06-16 一种面向目标的声重放方法及装置

Publications (2)

Publication Number Publication Date
CN115103293A CN115103293A (zh) 2022-09-23
CN115103293B true CN115103293B (zh) 2023-03-21

Family

ID=83290808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210678398.9A Active CN115103293B (zh) 2022-06-16 2022-06-16 一种面向目标的声重放方法及装置

Country Status (1)

Country Link
CN (1) CN115103293B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006094315A (ja) * 2004-09-27 2006-04-06 Hitachi Ltd 立体音響再生システム
CN104919822A (zh) * 2012-11-15 2015-09-16 弗兰霍菲尔运输应用研究公司 对不同重放扬声器组的空间音频信号的分段式调整
CN107465990A (zh) * 2013-03-28 2017-12-12 杜比实验室特许公司 用于创作和渲染音频再现数据的非暂态介质和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3145220A1 (en) * 2015-09-21 2017-03-22 Dolby Laboratories Licensing Corporation Rendering virtual audio sources using loudspeaker map deformation
CN109791193B (zh) * 2016-09-29 2023-11-10 杜比实验室特许公司 环绕声系统中扬声器位置的自动发现和定位

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006094315A (ja) * 2004-09-27 2006-04-06 Hitachi Ltd 立体音響再生システム
CN104919822A (zh) * 2012-11-15 2015-09-16 弗兰霍菲尔运输应用研究公司 对不同重放扬声器组的空间音频信号的分段式调整
CN107465990A (zh) * 2013-03-28 2017-12-12 杜比实验室特许公司 用于创作和渲染音频再现数据的非暂态介质和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
谢菠荪等.《重放自由场虚拟源距离信息的6 期动态双耳Amb i s o n i c s 方法》.2021,第第46卷卷(第第46卷期),1223-1233. *
饶丹等.《个性化与非个性化双耳房间脉冲响应的可听化差异》.2008,第第36卷卷(第第36卷期),123-127. *

Also Published As

Publication number Publication date
CN115103293A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
JP2007501553A (ja) オーディオシーンでのオーディオ表現を生成し、保存し、編集するための装置および方法
JP2000069600A (ja) 音楽的臨場感形成装置の制御装置及び制御方法
JP4780057B2 (ja) 音場形成装置
JPWO2019098022A1 (ja) 信号処理装置および方法、並びにプログラム
US20200401364A1 (en) Audio Scene Processing
CN111512648A (zh) 启用空间音频内容的渲染以用于由用户消费
CN115103293B (zh) 一种面向目标的声重放方法及装置
JP2956125B2 (ja) 音源情報制御装置
JP2005094271A (ja) 仮想空間音響再生プログラムおよび仮想空間音響再生装置
CN112585999A (zh) 信息处理设备、信息处理方法和程序
CN114339297B (zh) 音频处理方法、装置、电子设备和计算机可读存储介质
JPH1175151A (ja) 音声処理機能付き画像表示システム
WO2023087031A2 (en) Systems and methods for rendering spatial audio using spatialization shaders
WO2020209103A1 (ja) 情報処理装置および方法、再生装置および方法、並びにプログラム
CN113905321A (zh) 基于对象音频通道元数据和生成方法、设备及存储介质
Jot et al. Scene description model and rendering engine for interactive virtual acoustics
KR102058228B1 (ko) 입체 음향 컨텐츠 저작 방법 및 이를 위한 어플리케이션
Melchior et al. Emerging technology trends in spatial audio
KR102559015B1 (ko) 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템
JP2005086537A (ja) 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法
US20230005464A1 (en) Live data distribution method, live data distribution system, and live data distribution apparatus
US20230007421A1 (en) Live data distribution method, live data distribution system, and live data distribution apparatus
KR20190081163A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
JP7513020B2 (ja) 情報処理装置および方法、再生装置および方法、並びにプログラム
KR20160113036A (ko) 3차원 사운드를 편집 및 제공하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant