CN104270700A - 3d音频中移动音源的生成方法、装置及系统 - Google Patents

Abstract

本发明提供3D音频中移动音源的生成方法、装置及系统，生成过程包括输入3D音频系统扬声器配置信息，当用户在呈球面形状的触摸板上滑动手指时，按预定的时间间隔依次读取接触点在球面的坐标信息，得到运动轨迹，从运动轨迹的起点开始依次读取单个坐标信息并提取增益系数、产生虚拟音源，保存运动轨迹相应的增益系数矩阵，根据增益系数矩阵处理源文件，生成运动轨迹相应的离线多声道3D音频文件；装置主体呈球体形状，采用3/4球面设置触摸板，剩下的区域为操作区。本发明提供的技术方案适用于3D音频系统，装置结构简单、易于实现，可以简化相应处理过程，移动音源生成方法的效率高、实时性好。

Description

3D音频中移动音源的生成方法、装置及系统

技术领域

本装置及方法属于应用声学领域，涉及在三维立体声场中捕捉方位变化信息并实时进行发声反馈的技术方案。

背景技术

2009年3D电影《阿凡达》在全球上映，掀起了3D电影在全世界的流行与普及。到2014年上半年，市面上上映的影片中超过70％都采用了3D格式(包括普通3D、IMAX 3D、XLAND等)，与此同时，线上影院也基本完成了3D电影播放设备的硬件更新，电影行业由此进入了一个全新的“三维时代”。3D电影之所以能够取得这样辉煌的成绩，在于它所采用了全新的三维特效制作技术，其展现的绚丽画面与逼真声效使观众感到震撼。不仅如此，随着3D电影的流行与普及，它还将催生更多的相关影视、录音、播放方面的技术和标准。2010年1月在美国拉斯维加斯举行的国际消费电子产品展上，各彩电巨头纷纷亮出的电视新品带给了人们新的期待——三维已经成为全球各大彩电制造商竞争的新焦点。要想使得3D电影达到更好的视听体验，需要有与三维视频内容同步的三维声场听觉效果，才能真正达到身临其境的视听感受。

由于早期的三维音频系统(如Ambisonics系统)结构复杂，对采集和回放设备要求较高，难以推广实用。近年来日本NHK公司推出了22.2声道系统，能通过24个扬声器再现原来的三维声场。2011年MPEG着手制定三维音频的国际标准，在达到一定编码效率的同时希望能通过比较少的扬声器或耳机来还原三维声场，以便能将该技术推广到普通家庭用户中。由此可见三维音视频技术已成为多媒体技术领域的研究热点和进一步发展的重要方向。

传统音频技术在实现三维音频时主要采取两种方式：第一种是在声音采集时采用特定的设备，模仿扬声器发声的方位；第二种方法在声音采集上没有特殊要求，仅通过配置扬声器模型和处理音频文件来仿真虚拟音源。前者对拾音设备要求很高，而且很容易受环境因素的限制，后者则在音频文件的处理时相对较为复杂。

发明内容

本发明针对现有技术及设备的不足，提供了一种全新的在三维立体声场中捕捉方位变化信息的装置和生成实时三维音频的实现方法、系统。

本发明的技术方案提供一种3D音频中移动音源的生成方法，包括以下步骤：

步骤1，输入3D音频系统扬声器配置信息，包括3D音频系统中的扬声器数量以及方位信息、分组信息，各扬声器组的作用范围及选择条件；所述3D音频系统中的多个扬声器，每3个划分为一组，任意一组3个扬声器所围成的区域为该扬声器组的作用范围，各个扬声器组选择条件的确定方式为，将球面上的扬声器的位置参数转化为平面直角坐标系中的点坐标，扬声器组的作用范围在直角坐标系中则显示为以组中三个扬声器为顶点的三角形区域，当某点位于某扬声器组的作用范围内，则满足该扬声器组的选择条件；

步骤2，当用户在呈球面形状的触摸板上滑动手指时，按预定的时间间隔依次读取接触点在球面的坐标信息，得到运动轨迹，所述坐标信息包括接触点处的虚拟音源在3D声场中的水平角和垂直角；

步骤3，从运动轨迹的起点开始依次读取单个坐标信息，分别进行以下处理，

步骤3.1，设运动轨迹中的某点V的坐标信息为(α，β)，根据步骤1中的选择条件进行判断，确定V点选中扬声器组对应的扬声器分别为A(α₁，β₁)、B(α₂，β₂)、C(α₃，β₃)，计算扬声器A、B、C分别对应的增益系数g₁、g₂、g₃如下，

$\left[\begin{array}{ccc}{g}_1& g_2& g_3\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\α}& \cos \mathrm{\β}\sin \mathrm{\α}& \sin \mathrm{\β}\end{array}\right]\·{\left[\begin{array}{ccc}\cos {\mathrm{\β}}_1\cos {\mathrm{\α}}_1& \cos {\mathrm{\β}}_1\sin {\mathrm{\α}}_1& \sin {\mathrm{\β}}_1\\ \cos {\mathrm{\β}}_2\cos {\mathrm{\α}}_2& \cos {\mathrm{\β}}_2\sin {\mathrm{\α}}_2& \sin {\mathrm{\β}}_2\\ \cos {\mathrm{\β}}_3\cos {\mathrm{\α}}_3& \cos {\mathrm{\β}}_3\sin {\mathrm{\α}}_3& \sin {\mathrm{\β}}_3\end{array}\right]}^{-1}$

步骤3.2，根据步骤3.1所得增益系数g₁、g₂、g₃，设其他3D音频系统中其他扬声器增益系数均为0，根据所有扬声器的增益系数来缩放扬声器的音量，在V点产生虚拟音源；

步骤4，生成运动轨迹相应的离线多声道3D音频文件，包括以下子步骤，

步骤4.1，保存运动轨迹相应的增益系数矩阵，包括设3D音频系统中有N个声道，则预设一个N行的矩阵，矩阵的列数由运动轨迹所包含的点数确定，矩阵中的所有元素赋值0，假设运动轨迹中的第x点选中扬声器l、m、n，相应增益系数分别存放到矩阵中第x列的l、m、n行；

步骤4.2，根据增益系数矩阵处理源文件，得到运动轨迹相应的离线多声道3D音频文件。

而且，步骤4.2包括以下操作，

步骤4.2.1，令i＝1，

步骤4.2.2，将第i声道相应的单声道音频文件等比分割为J段，对J段音频文件分别按照增益系数矩阵Z中第i行的各元素Z[i，1]，Z[i，2]……Z[i，J]进行缩放，缩放完成后再组合成第i声道对应的音频文件，

步骤4.2.3，判断是否i＝I，若否令i＝i+1，返回重复步骤4.2.2，若是则输出I个独立的音频文件，分别对应3D音频系统中的各个声道。

而且，扬声器组的作用范围在直角坐标系中的三角形区域由三条直线围成，运动轨迹中的某点带入平面直角坐标系后，若满足某扬声器组相应的三个直线方程的不等式，则满足该扬声器组的选择条件。

本发明还提供一种用于上述3D音频中移动音源的生成方法的装置，主体呈球体形状，采用3/4球面设置触摸板，剩下的区域为操作区。

本发明还提供了相应一种3D音频中移动音源的生成系统，包括以下模块，

配置信息输入模块，用于输入3D音频系统扬声器配置信息，包括3D音频系统中的扬声器数量以及方位信息、分组信息，各扬声器组的作用范围及选择条件；所述3D音频系统中的多个扬声器，每3个划分为一组，任意一组3个扬声器所围成的区域为该扬声器组的作用范围，各个扬声器组选择条件的确定方式为，将球面上的扬声器的位置参数转化为平面直角坐标系中的点坐标，扬声器组的作用范围在直角坐标系中则显示为以组中三个扬声器为顶点的三角形区域，当某点位于某扬声器组的作用范围内，则满足该扬声器组的选择条件；

运动轨迹采集模块，用于当用户在呈球面形状的触摸板上滑动手指时，按预定的时间间隔依次读取接触点在球面的坐标信息，得到运动轨迹，所述坐标信息包括接触点处的虚拟音源在3D声场中的水平角和垂直角；

虚拟音源生成模块，用于从运动轨迹的起点开始依次读取单个坐标信息分别进行处理，包括以下子模块，

增益系数提取子模块，用于设运动轨迹中的某点V的坐标信息为(α，β)，根据配置信息输入模块中的选择条件进行判断，确定V点选中扬声器组对应的扬声器分别为A(α₁，β₁)、B(α₂，β₂)、C(α₃，β₃)，计算扬声器A、B、C分别对应的增益系数g₁、g₂、g₃如下，

$\left[\begin{array}{ccc}{g}_1& g_2& g_3\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\α}& \cos \mathrm{\β}\sin \mathrm{\α}& \sin \mathrm{\β}\end{array}\right]\·{\left[\begin{array}{ccc}\cos {\mathrm{\β}}_1\cos {\mathrm{\α}}_1& \cos {\mathrm{\β}}_1\sin {\mathrm{\α}}_1& \sin {\mathrm{\β}}_1\\ \cos {\mathrm{\β}}_2\cos {\mathrm{\α}}_2& \cos {\mathrm{\β}}_2\sin {\mathrm{\α}}_2& \sin {\mathrm{\β}}_2\\ \cos {\mathrm{\β}}_3\cos {\mathrm{\α}}_3& \cos {\mathrm{\β}}_3\sin {\mathrm{\α}}_3& \sin {\mathrm{\β}}_3\end{array}\right]}^{-1}$

增益调整子模块，用于根据增益系数提取子模块所得增益系数g₁、g₂、g₃，设其他3D音频系统中其他扬声器增益系数均为0，根据所有扬声器的增益系数来缩放扬声器的音量，在V点产生虚拟音源；

音频文件生成模块，用于生成运动轨迹相应的离线多声道3D音频文件，包括以下子模块，

增益系数矩阵子模块，用于保存运动轨迹相应的增益系数矩阵，包括设3D音频系统中有N个声道，则预设一个N行的矩阵，矩阵的列数由运动轨迹所包含的点数确定，矩阵中的所有元素赋值0，假设运动轨迹中的第x点选中扬声器l、m、n，相应增益系数分别存放到矩阵中第x列的l、m、n行；

源文件处理子模块，用于根据增益系数矩阵处理源文件，得到运动轨迹相应的离线多声道3D音频文件。

本发明提供的技术方案适用于3D音频系统，通过记录用户手指在设备上的滑动轨迹捕捉用户自定义的运动轨迹，利用VBAP原理在3D音频系统中实时的产生虚拟音源，极大的提高了3D音频的生成效率，突破性的在3D声场中实现了人机互动，不仅有助于进一步的理论研究，更为3D音频系统的科普和推广提供了硬件和方法支持。本发明的装置结构简单、易于实现，可以简化相应处理过程，移动音源生成方法实时性好，并为离线生成3D音频提供了支持。本发明不仅可以为3D音频的后期测试及验证提供素材，更重要的是将来可以运用在影视音频的后期制作过程中。在制作3D视觉特效的同时，将其音频文件同样处理成3D音频，在符合要求的影院进行播放时，可以全方位的还原电影中的场景，使观众真正的身临其境，获得视觉和听觉的双重感官体验，极大地提高现有3D影院的用户体验。

附图说明

图1为本发明实施例的装置整体设计图；

图2为本发明实施例的3D音频生成方法示意图；

图3为本发明实施例的22.2声道3D音频系统配置模型；

图4为本发明实施例的扬声器组区域分割示意图；

图5为本发明实施例的球面坐标向平面坐标转换示意图。

具体实施方式

以下结合附图对本发明技术方案进行说明。

实施例的装置主体采用球形，主要由一个3/4球面形状的触摸板构成，即球形装置表面3/4是触控区，当用户手指在该区域表面移动时，自动记录坐标信息并反馈给系统。触摸板(Touchpad)是一种在平滑的触控板上利用手指的滑动操作来移动游标的输入装置。当使用者的手指接近触摸板时会使电容量改变，触摸板自身会检测出电容改变量，转换成坐标，该坐标包括方位信息和按压力度。具体实施时，触摸板可采用现有技术，例如采用笔记本上的触摸板材料。本装置可使用蓝牙与电脑等智能设备进行连接，支持在电脑等智能设备上实时读取用户输入的坐标信息，该坐标信息通过水平角α、垂直角β、半径δ来表示。通常情况下，空间音源信号的位置参数标记为(α，β，δ)，α为虚拟音源在3D声场中的水平角，β为虚拟音源在3D声场中的垂直角，δ为虚拟音源在3D声场中距离中心的距离，通过这三个变量，可以3D声场所包含的球形区域内定位任意一点。

如图1所示，由于正常的听音区很少涉及到后下方(后下方区域经常会被座椅遮挡)，多数3D音频系统在配置时忽略该区域，因此触摸感应区域在设计时只取球形的3/4部分，剩下的区域为操作区，操作区不严格要求呈球面状，可以设置手执把手，方便用户一手抓住把手，另一手在触摸感应区域进行操作。触摸感应区表面覆盖触摸板，当手指在该区域滑动时，设备将坐标信息反馈给系统，进行记录和相关处理，坐标信息用(α，β，δ)进行表示。

具体实施时，生产厂家可根据需要自行设计操作区的面板，例如可在操作面板上设置多个开关，包括设备电源开关、模式选择开关、电源指示灯、连接指示灯和充电插孔等，可以在设备运行时由使用者通过模式选择开关进行相关初始化设置。充电插孔采用通用USB接口，方便进行充电。设备电源打开后电源指示灯亮起，当设备与电脑进行连接时，连接指示灯闪烁，正常连接后连接指示灯常亮。可通过模式选择开关提供两种模式选择，第一种模式带有按压力度感知的方式，操作时可以反馈按压力度，按压力度越大，表示对应虚拟音源距离中心的位置越近；第二种模式忽略力度感知数据，仅反馈球面坐标信息。现有的多数3D音频系统现在很少涉及距离参数，因此设备默认选择第二种方式，本发明就第二种方式展开研究，提供相应技术方案，坐标信息只需关注(α，β)，即接触点处的虚拟音源在3D声场中的水平角、垂直角。

具体实施时，可在电脑等智能设备上采用计算机软件技术自动运行流程，实现本发明所提供方法。本发明实施例提供对应的实时3D音频实现方法流程如图2所示，主要分为以下几个步骤：

步骤1，输入3D音频系统扬声器配置信息，包括3D音频系统中的扬声器数量以及方位信息、分组信息，各扬声器组的作用范围及选择中条件。

由于不同的系统扬声器数量和扬声器方位均不相同，因此针对3D音频系统，参数相差可能较大，但配置方式基本相同。具体实施时，本领域技术人员可以根据具体系统情况进行预先配置。实施例针对具体3D音频系统扬声器配置信息，进行以下几个子步骤：

步骤1.1，读取3D音频系统扬声器数量以及方位信息。拿现在较为流行的22.2声道3D音频系统(如图3)来举例，在对该配置模型进行读取时，其扬声器数量为22(“22.2”中，“22”代表有22个常规扬声器，“.2”代表有2个低音音箱)，假设该音频系统摆放在一个长宽均为4米、高3米的房间内，包括9个上层音响、10个中层音响、3个底层音响和2个低音音响。则该系统对应的扬声器方位信息如表1所示。

表1 22.2声道3D音频系统配置参数举例

编号	水平角	垂直角	编号	水平角	垂直角
						1	0	0	12	90	-45
2	45	0	13	135	-45
						3	70	0	14	0	45
4	90	0	15	45	45
						5	110	0	16	90	45
6	135	0	17	135	45
						7	180	0	18	180	45
8	225	0	19	225	45
						9	270	0	20	270	45
10	315	0	21	315	45
						11	45	-45	22	0	90

步骤1.2，输入扬声器的分组信息。对于3D音频系统中的多个扬声器，每3个划分为一组，任意一组3个扬声器所围成的区域为该扬声器组的作用范围。如图4所示，假设某3D音频系统中某区域内有11个扬声器，对其进行分组时，首先应该选择相邻较近的3个扬声器组成一组，使得扬声器组的作用范围尽量小，以此来保证精度；其次，划分结束后可进行整体调整，尽量保证各个扬声器组对应的区域大小相近，尤其应该注意的是各扬声器组对应的区域之间不能出现重叠，否则会产生杂音。具体实施时，本领域技术人员可根据3D音频系统预先进行分组设置。图4中，各顶点表示扬声器，连线框住的区域代表扬声器组的有效区域，11个扬声器每3个一组，得到12个扬声器组，相应有12个作用区域，参见图4中各扬声器组有效区域编号。

步骤1.3，输入扬声器组选择条件。3D音频系统所产生的标准声场为球形声场，在确定各个扬声器组选择条件时，为方便观察和计算，将球形声场展开到二维坐标系中。球形声场中的水平角对应X轴，垂直角对应Y轴，将球面上的扬声器的位置参数转化为平面直角坐标系中的点坐标，转换方式与地球展开成世界地图相同，扬声器组的作用范围在平面直角坐标系中则显示为以组中三个扬声器为顶点的三角形区域。对于一个扬声器组来说，其作用范围相应的三角形区域由三条直线围成，通过三个直线表达式进行判断，当某点位于作用范围内，即某点同时满足三个直线方程的不等式，则满足该扬声器组的选择条件，可选中该扬声器组。这样，对于系统提供的轨迹坐标，将其中的点带入平面直角坐标系中，通过三个条件判断式即可判断其所属区域并选中对应的扬声器组。如图5所示，(X，Y)表示平面直角坐标系中的点坐标，坐标系O-XY中扬声器A、B、C围成有效区域1，该区域由直线L₁、L₂、L₃围成。假设三个扬声器在平面直角坐标系中的相应点坐标为A(X₁，Y₁)、B(X₂，Y₂)、C(X₃，Y₃)，则三条直线的表达式分别为：

L₁:(Y₃-Y₂)·X-(X₃-X₂)·Y＝(Y₃-Y₂)·X₂-(X₃-X₂)·Y₂

L₂:(Y₂-Y₁)·X-(X₂-X₁)·Y＝(Y₂-Y₁)·X₁-(X₂-X₁)·Y₁

L₃:(Y₃-Y₁)·X-(X₃-X₁)·Y＝(Y₃-Y₁)·X₁-(X₃-X₁)·Y₁

带入某点坐标V(x0，y0)，当V点坐标满足表达式：

L₁:(Y₃-Y₂)·X₀-(X₃-X₂)·Y₀≥(Y₃-Y₂)·X₂-(X₃-X₂)·Y₂

L₂:(Y₂-Y₁)·X₀-(X₂-X₁)·Y₀≥(Y₂-Y₁)·X₁-(X₂-X₁)·Y₁

L₃:(Y₃-Y₁)·X₀-(X₃-X₁)·Y₀≤(Y₃-Y₁)·X₁-(X₃-X₁)·Y₁

则点V在直线L₁、L₂、L₃围成的区域内，即选中有效区域1对应的扬声器组。

步骤2，当用户在呈球面形状的触摸屏上滑动手指时，按预定的时间间隔依次读取接触点在球面的坐标信息，得到的坐标序列代表运动轨迹。这样可以输入运动轨迹，进行保存和显示。本发明中，硬件设备工作在模式二，当用户在触摸区滑动手指时，设备不断按预定的时间间隔依次采集坐标信息并反馈给电脑。例如当手指在触摸板上移动时，每隔0.1秒(采样时间间隔可以调节)读取一次坐标信息，将其反馈给电脑，为方便保存和读取，预设一个二维数组，对接收到的坐标信息进行保存，这样仅通过一个二维数组就可以简单直观的表示虚拟音源的运动轨迹。接收到轨迹信息后，可在球形声场表面对其运动路线进行绘制，通过该图像可以实现对输入轨迹的观察和矫正。

步骤3，从运动轨迹的起点开始到结尾依次读取单个坐标信息，重复进行运算和处理。可以在输入运动轨迹完成后进行相应运算处理，也可以在输入轨迹的同时同步读取轨迹信息，无延迟(保存和读取的时间间隔极小，可忽略不计)的对输入轨迹中当前接触点进行回应。从第一个坐标点开始进行运算和处理。对每个坐标点处理过程包括以下几个步骤：

步骤3.1，假设运动轨迹中的某点V的坐标信息为(α，β)，根据步骤1.3中的选择条件进行判断，确定V点选中扬声器组对应的扬声器分别为A(α₁，β₁)、B(α₂，β₂)、C(α₃，β₃)，根据VBAP(基于幅度的矢量平移)原理计算扬声器A、B、C分别对应的增益系数。从运动轨迹的起点开始到终点，对每个坐标点进行运算，可以得出运动轨迹的增益系数矩阵。

增益系数的计算实现说明如下：

设3D声场所包含的球形区域半径为单位1，那么3D声场中各个扬声器和虚拟音源到球心的距离都为单位1。把虚拟音源V、扬声器A、扬声器B、扬声器C的位置信息在三维直角坐标系中进行表示，如公式(1)中V(x y z)、A(x₁ y₁ z₁)、B(x₂ y₂ z₂)、C(x₃ y₃ z₃)。

A(x₁ y₁ z₁)＝(cosβ₁cosα₁ cosβ₁sinα₁ sinβ₁)

B(x₂ y₂ z₂)＝(cosβ₂cosα₂ cosβ₂sinα₂ sinβ₂)

                                                         (1)

C(x₃ y₃ z₃)＝(cosβ₃cosα₃ cosβ₃sinα₃ sinβ₃)

V(x y z)＝(cosβcosα cosβsinα sinβ)

根据VBAP的原理，可以由A、B、C三点为基础坐标建立坐标系，V点位于坐标系的第一象限内，将V点用A、B、C表示出来，A、B、C对应的因数即扬声器A、B、C的增益系数分别为g₁、g₂、g₃，表达式如公式(2)，展开后可以得到公式(3)。

V＝g₁·A+g₂·B+g₃·C                       (2)

g₁cosβ₁cosα₁+g₂cosβ₂cosα₂+g₃cosβ₃cosα₃＝cosβcosα＝x

g₁cosβ₁sinα₁+g₂cosβ₂sinα₂+g₃cosβ₃sinα₃＝cosβsinα＝y        (3)

g₁sinβ₁+g₂sinβ₂+g₃sinβ₃＝sinβ＝z

为了方便的进行化简和后续运算，将(3)中三个等式转换为矩阵相乘的方式，如公式(4)，进一步运算有公式(5)。现有的很多科学运算工具都可以方便的对矩阵进行多种处理，因此对于公式(5)没有必要进行后续的人工化简和计算。

$\left[\begin{array}{ccc}{g}_1& g_2& g_3\end{array}\right]\·\left[\begin{array}{ccc}\cos {\mathrm{\β}}_1\cos {\mathrm{\α}}_1& \cos {\mathrm{\β}}_1\sin {\mathrm{\α}}_1& \sin {\mathrm{\β}}_1\\ \cos {\mathrm{\β}}_2\cos {\mathrm{\α}}_2& \cos {\mathrm{\β}}_2\sin {\mathrm{\α}}_2& \sin {\mathrm{\β}}_2\\ \cos {\mathrm{\β}}_3\cos {\mathrm{\α}}_3& \cos {\mathrm{\β}}_3\sin {\mathrm{\α}}_3& \sin {\mathrm{\β}}_3\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\α}& \cos \mathrm{\β}\sin \mathrm{\α}& \sin \mathrm{\β}\end{array}\right]---\left(4\right)$

$\left[\begin{array}{ccc}{g}_1& g_2& g_3\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\α}& \cos \mathrm{\β}\sin \mathrm{\α}& \sin \mathrm{\β}\end{array}\right]\·{\left[\begin{array}{ccc}\cos {\mathrm{\β}}_1\cos {\mathrm{\α}}_1& \cos {\mathrm{\β}}_1\sin {\mathrm{\α}}_1& \sin {\mathrm{\β}}_1\\ \cos {\mathrm{\β}}_2\cos {\mathrm{\α}}_2& \cos {\mathrm{\β}}_2\sin {\mathrm{\α}}_2& \sin {\mathrm{\β}}_2\\ \cos {\mathrm{\β}}_3\cos {\mathrm{\α}}_3& \cos {\mathrm{\β}}_3\sin {\mathrm{\α}}_3& \sin {\mathrm{\β}}_3\end{array}\right]}^{-1}---\left(5\right)$

具体实施时，可从(5)中结果中提取出g₁、g₂、g₃，分别对应扬声器A、B、C的增益系数。

步骤3.2，根据增益系数进行播放。步骤3.1中产生了扬声器对应的增益系数，此时3D音频系统中其他扬声器(除低音音箱外)增益系数均为0，根据所有扬声器的增益系数来缩放扬声器的音量，同步播放音频文件，即可在V点产生虚拟音源。

具体实施时，步骤3可设计为循环处理：读取运动轨迹中某点坐标，判断其所属扬声器组并计算对应扬声器增益系数，读取音频文件，根据增益系数同步扬声器音量；然后判断能否读取下一个坐标信息，能则继续同样的操作，不能则对该运动轨迹相应步骤3运行结束。

采用同步处理的方式进行步骤2和步骤3的采集和处理过程，即可在3D声场中实时产生平滑的移动效果良好的虚拟音源。

步骤4，生成离线多声道3D音频文件。为了方便后期的观察和进一步处理，在产生实时3D虚拟移动音源之后，可以对其进行保存，产生多声道的3D音频文件。主要处理过程细化为以下步骤。

步骤4.1，保存运动轨迹相应的增益系数矩阵。对于步骤3中产生的增益系数，预设一个矩阵对其进行保存，假设3D音频系统中有N＝22个声道，则预设一个22行的矩阵，矩阵的列数由运动轨迹所包含的点数确定，矩阵中的所有元素赋值0。假设运动轨迹中的第x点选中扬声器l、m、n，根据步骤3计算其对应增益系数分别为g₁、g₂、g₃，那么增益系数会被分别存放到矩阵中第x列的l、m、n行。重复上述过程，最后会得到一个增益系数矩阵。表2为22声道的3D音频系统中一个运动轨迹对应的部分增益系数矩阵。

表2部分增益系数列举

表中提供了轨迹中第261～273点的相应扬声器的增益系数。

步骤4.2，根据增益系数矩阵处理源文件。在步骤4.1中已经得到了完整的增益系数矩阵，其中基本包括了移动音源的所有信息：矩阵行数表示了3D音频系统的扬声器数量，矩阵列数表示了移动音源运动轨迹所包含的点数，矩阵中的各个元素表示了各个时刻对应的各个声道的增益系数。首先读取一段原始单声道音频文件(一般为WAV格式)，按照移动音源轨迹所包含的点数进行等比划分，接着按照增益系数矩阵等比缩放各段音频文件，最后再进行合成，即得到输出的音频文件。拿一段音频文件举例，假设增益系数矩阵Z为I行J列矩阵，则进行以下操作，

步骤4.2.1，令i＝1，

步骤4.2.2，将第i声道相应的单声道音频文件等比分割为J段，对J段音频文件分别按照增益系数矩阵Z中第i行的各元素Z[i，1]，Z[i，2]……Z[i，J]进行缩放，缩放完成后再组合成第i声道对应的音频文件，

步骤4.2.3，判断是否i＝I，若否令i＝i+1，返回重复步骤4.2.2，若是则输出I个独立的音频文件，分别对应3D音频系统中的各个声道。

通过步骤4，生成了离线的3D音频文件，实现了对实时3D音频的还原，方便后期使用、观察和进行进一步研究。

通过以上技术方案，本发明支持在3D音频研究领域中自定义虚拟音源运动轨迹，操作时测试人员位于3D声场的中心位置(该位置为听音效果最好的区域)，通过本发明设计的方位信息捕捉装置即可实现与3D音频系统的互动：当手指在触摸区滑动时，系统产生的虚拟音源相应的改变位置，跟随手指滑动的轨迹进行运动，不仅如此，系统生成的离线文件还可以方便的进行分析和处理。

本发明还相应提供了一种3D音频中移动音源的生成系统，包括以下模块，

配置信息输入模块，用于输入3D音频系统扬声器配置信息，包括3D音频系统中的扬声器数量以及方位信息、分组信息，各扬声器组的作用范围及选择条件；所述3D音频系统中的多个扬声器，每3个划分为一组，任意一组3个扬声器所围成的区域为该扬声器组的作用范围，各个扬声器组选择条件的确定方式为，将球面上的扬声器的位置参数转化为平面直角坐标系中的点坐标，扬声器组的作用范围在直角坐标系中则显示为以组中三个扬声器为顶点的三角形区域，当某点位于某扬声器组的作用范围内，则满足该扬声器组的选择条件；

运动轨迹采集模块，用于当用户在呈球面形状的触摸板上滑动手指时，按预定的时间间隔依次读取接触点在球面的坐标信息，得到运动轨迹，所述坐标信息包括接触点处的虚拟音源在3D声场中的水平角和垂直角；

虚拟音源生成模块，用于从运动轨迹的起点开始依次读取单个坐标信息分别进行处理，包括以下子模块，

增益系数提取子模块，用于设运动轨迹中的某点V的坐标信息为(α，β)，根据配置信息输入模块中的选择条件进行判断，确定V点选中扬声器组对应的扬声器分别为A(α₁，β₁)、B(α₂，β₂)、C(α₃，β₃)，计算扬声器A、B、C分别对应的增益系数g₁、g₂、g₃如下，

$\left[\begin{array}{ccc}{g}_1& g_2& g_3\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\α}& \cos \mathrm{\β}\sin \mathrm{\α}& \sin \mathrm{\β}\end{array}\right]\·{\left[\begin{array}{ccc}\cos {\mathrm{\β}}_1\cos {\mathrm{\α}}_1& \cos {\mathrm{\β}}_1\sin {\mathrm{\α}}_1& \sin {\mathrm{\β}}_1\\ \cos {\mathrm{\β}}_2\cos {\mathrm{\α}}_2& \cos {\mathrm{\β}}_2\sin {\mathrm{\α}}_2& \sin {\mathrm{\β}}_2\\ \cos {\mathrm{\β}}_3\cos {\mathrm{\α}}_3& \cos {\mathrm{\β}}_3\sin {\mathrm{\α}}_3& \sin {\mathrm{\β}}_3\end{array}\right]}^{-1}$

增益调整子模块，用于根据增益系数提取子模块所得增益系数g₁、g₂、g₃，设其他3D音频系统中其他扬声器增益系数均为0，根据所有扬声器的增益系数来缩放扬声器的音量，在V点产生虚拟音源；

音频文件生成模块，用于生成运动轨迹相应的离线多声道3D音频文件，包括以下子模块，

增益系数矩阵子模块，用于保存运动轨迹相应的增益系数矩阵，包括设3D音频系统中有N个声道，则预设一个N行的矩阵，矩阵的列数由运动轨迹所包含的点数确定，矩阵中的所有元素赋值0，假设运动轨迹中的第x点选中扬声器l、m、n，相应增益系数分别存放到矩阵中第x列的l、m、n行；

源文件处理子模块，用于根据增益系数矩阵处理源文件，得到运动轨迹相应的离线多声道3D音频文件。

具体实施时，各模块实现与方法步骤相应，本发明不予赘述。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种3D音频中移动音源的生成方法，其特征在于，包括以下步骤：

步骤1，输入3D音频系统扬声器配置信息，包括3D音频系统中的扬声器数量以及方位信息、分组信息，各扬声器组的作用范围及选择条件；所述3D音频系统中的多个扬声器，每3个划分为一组，任意一组3个扬声器所围成的区域为该扬声器组的作用范围，各个扬声器组选择条件的确定方式为，将球面上的扬声器的位置参数转化为平面直角坐标系中的点坐标，扬声器组的作用范围在直角坐标系中则显示为以组中三个扬声器为顶点的三角形区域，当某点位于某扬声器组的作用范围内，则满足该扬声器组的选择条件；

步骤2，当用户在呈球面形状的触摸板上滑动手指时，按预定的时间间隔依次读取接触点在球面的坐标信息，得到运动轨迹，所述坐标信息包括接触点处的虚拟音源在3D声场中的水平角和垂直角；

步骤3，从运动轨迹的起点开始依次读取单个坐标信息，分别进行以下处理，

步骤3.1，设运动轨迹中的某点V的坐标信息为(α，β)，根据步骤1中的选择条件进行判断，确定V点选中扬声器组对应的扬声器分别为A(α₁，β₁)、B(α₂，β₂)、C(α₃，β₃)，计算扬声器A、B、C分别对应的增益系数g₁、g₂、g₃如下，

$\left[\begin{array}{ccc}{g}_1& g_2& g_3\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\α}& \cos \mathrm{\β}\sin \mathrm{\α}& \sin \mathrm{\β}\end{array}\right]\·{\left[\begin{array}{ccc}\cos {\mathrm{\β}}_1\cos {\mathrm{\α}}_1& \cos {\mathrm{\β}}_1\sin {\mathrm{\α}}_1& \sin {\mathrm{\β}}_1\\ \cos {\mathrm{\β}}_2\cos {\mathrm{\α}}_2& \cos {\mathrm{\β}}_2\sin {\mathrm{\α}}_2& \sin {\mathrm{\β}}_2\\ \cos {\mathrm{\β}}_3\cos {\mathrm{\α}}_3& \cos {\mathrm{\β}}_3\sin {\mathrm{\α}}_3& \sin {\mathrm{\β}}_3\end{array}\right]}^{-1}$

步骤3.2，根据步骤3.1所得增益系数g₁、g₂、g₃，设其他3D音频系统中其他扬声器增益系数均为0，根据所有扬声器的增益系数来缩放扬声器的音量，在V点产生虚拟音源；

步骤4，生成运动轨迹相应的离线多声道3D音频文件，包括以下子步骤，

步骤4.1，保存运动轨迹相应的增益系数矩阵，包括设3D音频系统中有N个声道，则预设一个N行的矩阵，矩阵的列数由运动轨迹所包含的点数确定，矩阵中的所有元素赋值0，假设运动轨迹中的第x点选中扬声器l、m、n，相应增益系数分别存放到矩阵中第x列的l、m、n行；

步骤4.2，根据增益系数矩阵处理源文件，得到运动轨迹相应的离线多声道3D音频文件。

2.如权利要求1所述3D音频中移动音源的生成方法，其特征在于：步骤4.2包括以下操作，步骤4.2.1，令i＝1，

步骤4.2.2，将第i声道相应的单声道音频文件等比分割为J段，对J段音频文件分别按照增益系数矩阵Z中第i行的各元素Z[i，1]，Z[i，2]……Z[i，J]进行缩放，缩放完成后再组合成第i声道对应的音频文件，

步骤4.2.3，判断是否i＝I，若否令i＝i+1，返回重复步骤4.2.2，若是则输出I个独立的音频文件，分别对应3D音频系统中的各个声道，得到运动轨迹相应的离线多声道3D音频文件。

3.如权利要求2所述3D音频中移动音源的生成方法，其特征在于：扬声器组的作用范围在直角坐标系中的三角形区域由三条直线围成，运动轨迹中的某点带入平面直角坐标系后，若满足某扬声器组相应的三个直线方程的不等式，则满足该扬声器组的选择条件。

4.一种用于权利要求1或2或3所述3D音频中移动音源的生成方法的装置，其特征在于：主体呈球体形状，采用3/4球面设置触摸板，剩下的区域为操作区。

5.一种3D音频中移动音源的生成系统，其特征在于：包括以下模块，

配置信息输入模块，用于输入3D音频系统扬声器配置信息，包括3D音频系统中的扬声器数量以及方位信息、分组信息，各扬声器组的作用范围及选择条件；所述3D音频系统中的多个扬声器，每3个划分为一组，任意一组3个扬声器所围成的区域为该扬声器组的作用范围，各个扬声器组选择条件的确定方式为，将球面上的扬声器的位置参数转化为平面直角坐标系中的点坐标，扬声器组的作用范围在直角坐标系中则显示为以组中三个扬声器为顶点的三角形区域，当某点位于某扬声器组的作用范围内，则满足该扬声器组的选择条件；

运动轨迹采集模块，用于当用户在呈球面形状的触摸板上滑动手指时，按预定的时间间隔依次读取接触点在球面的坐标信息，得到运动轨迹，所述坐标信息包括接触点处的虚拟音源在3D声场中的水平角和垂直角；

虚拟音源生成模块，用于从运动轨迹的起点开始依次读取单个坐标信息分别进行处理，包括以下子模块，

增益系数提取子模块，用于设运动轨迹中的某点V的坐标信息为(α，β)，根据配置信息输入模块中的选择条件进行判断，确定V点选中扬声器组对应的扬声器分别为A(α₁，β₁)、B(α₂，β₂)、C(α₃，β₃)，计算扬声器A、B、C分别对应的增益系数g₁、g₂、g₃如下，

$\left[\begin{array}{ccc}{g}_1& g_2& g_3\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\α}& \cos \mathrm{\β}\sin \mathrm{\α}& \sin \mathrm{\β}\end{array}\right]{\·\left[\begin{array}{ccc}\cos {\mathrm{\β}}_1\cos {\mathrm{\α}}_1& \cos {\mathrm{\β}}_1\sin {\mathrm{\α}}_1& \sin {\mathrm{\β}}_1\\ \cos {\mathrm{\β}}_2\cos {\mathrm{\α}}_2& \cos {\mathrm{\β}}_2\sin {\mathrm{\α}}_2& \sin {\mathrm{\β}}_2\\ \cos {\mathrm{\β}}_3\cos {\mathrm{\α}}_3& \cos {\mathrm{\β}}_3\sin {\mathrm{\α}}_3& \sin {\mathrm{\β}}_3\end{array}\right]}^{-1}$

增益调整子模块，用于根据增益系数提取子模块所得增益系数g₁、g₂、g₃，设其他3D音频系统中其他扬声器增益系数均为0，根据所有扬声器的增益系数来缩放扬声器的音量，在V点产生虚拟音源；

音频文件生成模块，用于生成运动轨迹相应的离线多声道3D音频文件，包括以下子模块，

增益系数矩阵子模块，用于保存运动轨迹相应的增益系数矩阵，包括设3D音频系统中有N个声道，则预设一个N行的矩阵，矩阵的列数由运动轨迹所包含的点数确定，矩阵中的所有元素赋值0，假设运动轨迹中的第x点选中扬声器l、m、n，相应增益系数分别存放到矩阵中第x列的l、m、n行；

源文件处理子模块，用于根据增益系数矩阵处理源文件，得到运动轨迹相应的离线多声道3D音频文件。