CN105120406B - 三维音频精简方法及系统 - Google Patents
三维音频精简方法及系统 Download PDFInfo
- Publication number
- CN105120406B CN105120406B CN201510397336.0A CN201510397336A CN105120406B CN 105120406 B CN105120406 B CN 105120406B CN 201510397336 A CN201510397336 A CN 201510397336A CN 105120406 B CN105120406 B CN 105120406B
- Authority
- CN
- China
- Prior art keywords
- speaker
- gamma
- phi
- theta
- cos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
一种三维音频精简方法及系统,包括采集原始三维多声道音频系统中L个扬声器的空间位置信息和人头特征的空间位置信息,将L个扬声器的输入时域信号变换得到对应的频域信号;计算L个扬声器所播放的声音信号在左耳、右耳、人头中心处的声压和;从当前的待精简扬声器集合中,寻找一个使原始声场失真最小的扬声器将其精简剔除;对新的当前待精简扬声器集合继续进行精简,直到得到M通道系统的扬声器最优空间位置排布;将M通道系统的对应扬声器上的频域信号经过傅立叶逆变换转换为时域信号。该技术方案能够利用较少的扬声器重建人头区域的3D空间声场,使其应用于家庭等环境。
Description
技术领域
本发明属于声学设备领域,尤其涉及一种基于双耳声压低失真的三维多声道音频系统扬声器精简技术方案。
背景技术
随着3D电影的稳步发展,3D电视的发展也较为迅速。根据英国未来咨询公司研究报告,适用于家庭中的3D电视销量预计将于2017年增加到1.577亿台,约占全球售出电视总量的58%。由此可见,3D影视视听体验不仅走入了影院,更是逐渐走入了千家万户。对于现在的多媒体行业来说,“3D”已成为新的标志,3D音视频技术能带来更好的沉浸视听享受,已成为多媒体领域的研究热点。然而,当前家庭影院系统仍以3D电视+立体声/5.1声道音响为主,难以重建声音的高度感和距离感。3D音频能够实现声源水平、高度和距离的精确重现,已成为未来3D视听系统中音频系统的发展趋势,是当前多媒体领域的重要研究方向。
三维多声道音频技术听音区域范围较大,适用范围较广,全球先进的国家科研单位机构和主要的多媒体标准化组织纷纷开展三维多声道音频的相关研究工作。牛津大学数学研究院于1973年提出了Ambisonics技术,从数学方面分析声场,对声场谐波进行分解和重构,但随着谐波分解的阶数的增加,声场准确重构的同时需要的扬声器数目可达上千个。荷兰代尔夫特理工大学在1993年给出了波场合成技术(Wave Field Synthesis,WFS),声音录制和重放时无需数据处理,减小了复杂度,但理想的WFS重建需要扬声器摆放间隔较小,扬声器数目也需多达几百个。2009年,杜比公司(Dolby)推出了带有高置声道的ProLogicIIz多声道三维音频回放系统[2],以及后续的杜比全景声系统,利用64个扬声器,将原始二维空间音效增加到三维,使声音更有空间包围感。2008年日本广播协会(NHK)科学技术研究实验室研发出了22.2多声道音频系统,结构简单,并能兼容5.1环绕立体声[3]。动态图像专家组(Moving Pictures Experts Group,MPEG)于2011年启动了3D音频技术标准的制订和提案征集工作,在保证编码效率的情况下期望可以通过较少数目的扬声器重建声音的三维空间信息,使3D音频技术能够应用到普通家庭。2012年,我国的国家自然科学基金委员会专门发布了“三维音频基础理论和关键技术研究”重点研究项目指南,重点支持3D音频技术的研究。
但是目前现有的三维多声道音频系统所需扬声器数目较多,往往达到数十甚至上千个,难以应用于家庭环境。针对当前3D多声道系统扬声器数目过多的问题,2012年,MPEG发布了新的3D音频需求(N12610),正式启动了3D音频技术提案的征集工作,要求在NHK22.2系统基础上通过扬声器精简支持面向家庭电视直播等应用。其中,扬声器精简技术是通过将原始扬声器数目较多的多声道系统中的声道信号重新分配到较少数目的扬声器上,并同时保持原有的听音效果不变,精简过程通常包括扬声器排布和声音信号分配两部分。为能将三维音频系统更方便地适应于家庭应用环境,需要设计一种方法既能精简原多声道系统扬声器组,又能保证重建声场与原声场误差最小。
发明内容
本发明针对现有技术的不足,提供一种基于双耳声压低失真的三维多声道音频系统扬声器精简技术方案,用于将原始三维多声道音频系统中L个扬声器精简为M个扬声器,以获得精简后的M声道系统中扬声器组最优空间位置信息。
本发明提供一种三维音频精简方法,包括以下步骤:
步骤1,设原始三维多声道音频系统有L个扬声器,分别采集原始三维多声道音频系统中L个扬声器的空间位置信息,初始化待精简扬声器集合为包括原始三维多声道音频系统中L个扬声器;空间位置信息采集实现方式如下,
设L个扬声器排布在与听音区域中心点o之间距离为ρ的球面上,以听音区域中心点o为顶点构造三维空间直角坐标系XYZ,扬声器在平面XOY上的投影与X轴所成的角度记为θ,扬声器与Z轴的夹角记为则扬声器的空间位置简化标记为
步骤2,采集人头特征的空间位置信息,实现方式如下,
设人头被看作是半径为R的标准球,人头中心位于坐标原点处,人的两耳关于YOZ平面对称;则人的左耳所在的位置Left=(R,0,0),人的右耳所在的位置为Right=(R,π,0),人头中心所在的位置为o=(0,0,0);
步骤3,将L个扬声器l1,…,lL的输入时域信号经傅里叶变换得到对应的频域信号
步骤4,计算原始三维多声道音频系统的L个扬声器l1,…,lL所播放的声音信号在左耳处产生的声压和P(Left)、在右耳处产生的声压和P(Right),以及在人头中心o处的声压和P(o);
步骤5,从当前的待精简扬声器集合中,寻找一个使原始声场失真最小的扬声器将其精简剔除,包括以下子步骤,
步骤5.1,从当前的待精简扬声器集合的L个扬声器中选取一个扬声器,将其预删除,得到剩余的(L-1)通道系统,剩余的(L-1)个扬声器用表示;
步骤5.2,计算预删除扬声器lJ后,剩余(L-1)个扬声器所发出的声音在左、右耳处的声压与
步骤5.3,计算预删除扬声器lJ后,剩余(L-1)个扬声器所发出的声音在双耳处的声压与原L个扬声器所发出声音在双耳处声压的失真值εJ,并将失真值保存到失真数组ERROR中,
步骤5.4,预删除扬声器lJ的选择条件判断,实现如下,
将预删除的扬声器编号J的值加1,即J=J+1;判断J>L是否成立,若判断条件不成立,则返回步骤5.1;若判断条件成立,则结束循环操作,执行步骤5.5;
步骤5.5,精简剔除声场失真最小的扬声器,实现如下,
从失真数组ERROR中找到最小的双耳处声压失真值εmin=εj,其中εj表示删除扬声器lj后双耳声压失真值,将扬声器lj真正执行剔除操作;剩余(L-1)个扬声器频域信号分别记为
步骤5.6,精简剔除扬声器lj后,将剩余(L-1)个扬声器的频域信号 值赋给保留剩余(L-1)个扬声器的空间位置信息和频域信号然后将L个扬声器数目减1,得到新的L个待精简的扬声器所构成的待精简扬声器集合l1,…,lL,进入步骤6;
步骤6,进行精简迭代条件判断如下,
判断当前待精简扬声器数L是否大于M,若是则返回步骤5,对新的当前待精简扬声器集合继续进行精简,否则结束迭代,取出当前剩余的扬声器空间位置信息,得到M通道系统的扬声器最优空间位置排布;
步骤7,将M通道系统的对应扬声器上的频域信号经过傅立叶逆变换转换为时域信号。
而且,步骤4实现方式如下,
设第J个扬声器lJ播放的声音频率为f,则声音传播的波数为c为声速;扬声器lJ播放的声音在任意听音点x处产生的声压为其中|lJ-x|为扬声器lJ到听音点x的距离,为扬声器lJ的频域信号,G为比例因子;
将声音信号划分为α个频带,设α个频带的中心频率为f1、…、fα,对应的波数分别为
扬声器l1,…,lL所播放的声音信号在左耳、右耳和人头中心处产生的声压的和P(Left)、P(Right)与P(o)分别为
其中,kI表示第I个临界频带的中心频率对应的波数,I=1、…、α。
而且,步骤5.1包括以下子步骤,
步骤5.1.1,根据扬声器和lJ相应空间位置,计算当扬声器lJ预删除后,剩余(L-1)个扬声器上所分配到的权值矩阵aJ=[aJ(1) ... aJ(L-1)]T如下,
首先,已知(L-1)个扬声器所摆放的空间位置以及扬声器lJ所摆放的空间位置根据以下公式计算参数Γ和b,
其中,
中间参数 表示不超过该数的最大的整数;
为连带勒让德多项式如下,
变量n、m满足n=1,...,N,-n≤m≤n;
然后,当预删除扬声器lJ后,剩余(L-1)个扬声器上所分配到的权值矩阵aJ=[aJ(1) ... aJ(L-1)]T根据公式aJ=Γ-1b计算得到;
步骤5.1.2,当扬声器lJ被预删除后,剩余(L-1)个扬声器的频域信号按照以下公式计算得到
其中,为剩余(L-1)个扬声器的频域信号。
而且,步骤5.2实现如下,
计算当预删除扬声器lJ后,剩余(L-1)个扬声器所发出声音在左、右耳处产生的声压和为与
其中,分别表示某扬声器到左、右耳的距离;表示扬声器lJ被预删除后,剩余某扬声器的频域信号;分别表示扬声器lJ被预删除后,剩余某扬声器在左、右耳处产生的声压。
而且,步骤5.3实现如下,
根据步骤4中左、右耳、人头中心处声压和P(Left)、P(Right)、P(o)以及步骤5.2中预删除扬声器lJ后,左、右耳处声压和则剩余(L-1)个扬声器所发出声音在双耳处产生的声压失真εJ定义为,
根据以上声压失真公式,计算当预删除扬声器lJ后,剩余(L-1)个扬声器所发出声音在双耳处产生的声压失真εJ,并将声压失真εJ保存到失真数组ERROR中相应数组元素ERROR[J]中。
本发明还相应提供一种三维音频精简系统,包括以下模块,
原始扬声器空间位置信息采集模块,用于设原始三维多声道音频系统有L个扬声器,分别采集原始三维多声道音频系统中L个扬声器的空间位置信息,初始化待精简扬声器集合为包括原始三维多声道音频系统中L个扬声器;空间位置信息采集实现方式如下,
设L个扬声器排布在与听音区域中心点o之间距离为ρ的球面上,以听音区域中心点o为顶点构造三维空间直角坐标系XYZ,扬声器在平面XOY上的投影与X轴所成的角度记为θ,扬声器与Z轴的夹角记为则扬声器的空间位置简化标记为
人头特征空间位置信息采集模块,用于采集人头特征的空间位置信息,实现方式如下,设人头被看作是半径为R的标准球,人头中心位于坐标原点处,人的两耳关于YOZ平面对称;则人的左耳所在的位置Left=(R,0,0),人的右耳所在的位置为Right=(R,π,0),人头中心所在的位置为o=(0,0,0);
时频变换模块,用于将L个扬声器l1,…,lL的输入时域信号经傅里叶变换得到对应的频域信号
初始声压和采集模块,用于计算原始三维多声道音频系统的L个扬声器l1,…,lL所播放的声音信号在左耳处产生的声压和P(Left)、在右耳处产生的声压和P(Right),以及在人头中心o处的声压和P(o);
单个扬声器精简模块,用于从当前的待精简扬声器集合中,寻找一个使原始声场失真最小的扬声器将其精简剔除,包括以下子模块,
预删除子模块,用于从当前的待精简扬声器集合的L个扬声器中选取一个扬声器,将其预删除,得到剩余的(L-1)通道系统,剩余的(L-1)个扬声器用表示;
预删除声压计算子模块,用于计算预删除扬声器lJ后,剩余(L-1)个扬声器所发出的声音在左、右耳处的声压与
预删除失真估计子模块,用于计算预删除扬声器lJ后,剩余(L-1)个扬声器所发出的声音在双耳处的声压与原L个扬声器所发出声音在双耳处声压的失真值εJ,并将失真值保存到失真数组ERROR中;
遍历判断子模块,用于预删除扬声器lJ的选择条件判断,实现如下,
将预删除的扬声器编号J的值加1,即J=J+1;判断J>L是否成立,若判断条件不成立,则命令预删除子模块工作;若判断条件成立,则结束循环操作,命令精简剔除子模块工作;精简剔除子模块,用于精简剔除声场失真最小的扬声器,实现如下,
从失真数组ERROR中找到最小的双耳处声压失真值εmin=εj,其中εj表示删除扬声器lj后双耳声压失真值,将扬声器lj真正执行剔除操作;剩余(L-1)个扬声器频域信号分别记为
单个扬声器精简结果子模块,用于精简剔除扬声器lj后,将剩余(L-1)个扬声器的频域信号值赋给保留剩余(L-1)个扬声器的空间位置信息和频域信号然后将L个扬声器数目减1,得到新的L个待精简的扬声器所构成的待精简扬声器集合l1,…,lL,进入精简迭代判断模块;
精简迭代判断模块,用于进行精简迭代条件判断如下,
判断当前待精简扬声器数L是否大于M,若是则命令单个扬声器精简模块工作,对新的当前待精简扬声器集合继续进行精简,否则结束迭代,取出当前剩余的扬声器空间位置信息,得到M通道系统的扬声器最优空间位置排布;
逆时频变换模块,用于将M通道系统的对应扬声器上的频域信号经过傅立叶逆变换转换为时域信号。
而且,初始声压和采集模块实现方式如下,
设第J个扬声器lJ播放的声音频率为f,则声音传播的波数为c为声速;扬声器lJ播放的声音在任意听音点x处产生的声压为其中|lJ-x|为扬声器lJ到听音点x的距离,为扬声器lJ的频域信号,G为比例因子;
将声音信号划分为α个频带,设α个频带的中心频率为f1、…、fα,对应的波数分别为
扬声器l1,…,lL所播放的声音信号在左耳、右耳和人头中心处产生的声压的和P(Left)、P(Right)与P(o)分别为
其中,kI表示第I个临界频带的中心频率对应的波数,I=1、…、α。
而且,预删除子模块包括以下单元,
权值矩阵计算单元,用于根据扬声器和lJ相应空间位置,计算当扬声器lJ预删除后,剩余(L-1)个扬声器上所分配到的权值矩阵aJ=[aJ(1) ... aJ(L-1)]T如下,
首先,已知(L-1)个扬声器所摆放的空间位置以及扬声器lJ所摆放的空间位置根据以下公式计算参数Γ和b,
其中,
中间参数 表示不超过该数的最大的整数;
为连带勒让德多项式如下,
变量n、m满足n=1,...,N,-n≤m≤n;
然后,当预删除扬声器lJ后,剩余(L-1)个扬声器上所分配到的权值矩阵aJ=[aJ(1) ... aJ(L-1)]T根据公式aJ=Γ-1b计算得到;
信号分配单元,当扬声器lJ被预删除后,剩余(L-1)个扬声器的频域信号按照以下公式计算得到,
其中,为剩余(L-1)个扬声器的频域信号。
而且,预删除声压计算子模块实现如下,
计算当预删除扬声器lJ后,剩余(L-1)个扬声器所发出声音在左、右耳处产生的声压和为与
其中,分别表示某扬声器到左、右耳的距离;表示扬声器lJ被预删除后,剩余某扬声器的频域信号;分别表示扬声器lJ被预删除后,剩余某扬声器在左、右耳处产生的声压。
而且,预删除失真估计子模块实现如下,
根据初始声压和采集模块中左、右耳、人头中心处声压和P(Left)、P(Right)、P(o)以及预删除声压计算子模块中预删除扬声器lJ后,左、右耳处声压和则剩余(L-1)个扬声器所发出声音在双耳处产生的声压失真εJ定义为,
根据以上声压失真公式,计算当预删除扬声器lJ后,剩余(L-1)个扬声器所发出声音在双耳处产生的声压失真εJ,并将声压失真εJ保存到失真数组ERROR中相应数组元素ERROR[J]中。
本发明基于有限阶数球谐函数级数展开下声场的近似重建提出了一种多通道音频系统精简技术方案,通过不断迭代进行一个通道的精简来实现多通道音频系统由L通道到M通道的精简。该技术方案能够利用较少的扬声器重建人头区域的3D空间声场,使其应用于家庭等环境。
附图说明
图1为本发明实施例的扬声器组精简方法流程图。
具体实施方式
本发明的技术方案为一种基于双耳低失真的三维多声道音频系统扬声器精简方法,用于将原始三维多声道音频系统中L个扬声器精简为M个扬声器,构成三维M声道音频系统,其中M<L。具体实施时,本领域技术人员可自行设定M的取值。
具体实施时,本发明技术方案可由本领域技术人员采用计算机软件技术实现自动运行流程。参见图1,实施例的流程包含以下步骤:
步骤1,设原始三维多声道音频系统有L个扬声器,分别采集原始三维多声道音频系统中L个扬声器的空间位置信息,初始化待精简扬声器集合为包括原始三维多声道音频系统中L个扬声器。实现方式如下:
假设在三维多通道音频系统扬声器精简过程中,L个扬声器排布在与中心点之间距离为ρ的球面上,以听音区域中心点o为顶点构造三维空间直角坐标系XYZ,扬声器在平面XOY上的投影与X轴所成的角度记为θ,扬声器与Z轴的夹角记为则扬声器的空间位置简化为实施例中设ρ的值为2米。因为精简前扬声器与中心点之间距离与精简后扬声器与中心点之间距离相等,所以在实施例中采集精简前音频系统中扬声器空间位置参数简化标记为
步骤2,采集人头特征的空间位置信息。
假设人头被看作是半径为R的标准球,人头中心位于听音区域中心点o所在坐标原点处,人的两耳关于YOZ平面对称。则人的左耳所在的位置Left=(R,0,0),人的右耳所在的位置为Right=(R,π,0),人头中心所在的位置为o=(0,0,0)。实施例中人头半径R=8.5cm,则人的左耳所在的位置Left=(8.5,0,0),人的右耳所在的位置为Right=(8.5,π,0),人头中心所在的位置为o=(0,0,0)。
步骤3,将L个扬声器l1,…,lL的输入时域信号经傅立叶变换得到对应的频域信号其中,t代表时间,ω代表频率。
步骤4,计算原始三维多声道音频系统的L个扬声器l1,…,lL所播放的声音信号在左耳处产生的声压和P(Left)、在右耳处产生的声压和P(Right),以及在人头中心o处的声压和P(o)。
设第J个扬声器lJ播放的声音频率为f,则声音传播的波数为(其中,声速c一般为340米/s)。所以,第J个扬声器lJ播放的声音在任意听音点x处产生的声压为即其中|lJ-x|为扬声器lJ到听音点x的距离,为扬声器lJ的频域信号,i为虚数单位,e为数学常数,G为比例因子。因为后续计算会约掉G,具体实施时可以无需给出具体数值。
实施例中,根据心理声学模型将声音信号按临界频带划分为25个临界频带(bark带),即α=25,则25个bark带的中心频率f1、f2、…、f25表示为:
f1=50 f6=570 f11=1370 f16=2900 f21=700
f2=150 f7=700 f12=1600 f17=3400 f22=8500
f3=250 f8=840 f13=1850 f18=4000 f23=10500
f4=350, f9=1000 f14=2150 f19=4800 f24=13500
f5=450 f10=1175 f15=2500 f20=5800 f25=19500
则对应的波数分别为:
因此,扬声器l1,…,lL所播放的声音在左耳处产生的声压的和P(Left)为:
同理,L个扬声器所播放的声音在右耳和人头中心处产生的声压的和P(Right)与P(o)分别为:
其中,kI表示第I个临界频带的中心频率对应的波数,I=1、…、25。
步骤5,从当前的待精简扬声器集合中,寻找一个使原始声场失真最小的扬声器将其精简剔除。第一次执行步骤5时,待精简扬声器集合为初始化结果,即包括原始三维多声道音频系统中的L个扬声器;后续执行步骤5时,待精简扬声器集合为上一次精简后剩余的扬声器集合。为符合流程设计习惯,将L作为变量,每执行一次精简剔除后L的值减1(即每次精简后L=L-1)。
实施例中本步骤的实现包括以下子步骤:
步骤5.1,从当前的待精简扬声器集合的L个扬声器中选取一个扬声器lJ(J=1,2,…,L),将其预删除后得到剩余的(L-1)通道系统。
为能从L个扬声器中遍历预删除每一个扬声器lJ,设预删除的扬声器编号J会从1递增到L(即对当前的L个扬声器处理中第一次执行步骤5.1时,令J=1,之后J逐次递增)。当预删除扬声器lJ后,剩余的(L-1)个扬声器用表示(其中不包括预删除的扬声器lJ)。为了将预删除的扬声器lJ的频域信号分配给剩余的(L-1)个扬声器同时避免声场恢复出现明显损失,本发明进一步提供扬声器组替代方法,实施例包括以下子步骤:
步骤5.1.1,根据扬声器和lJ所摆放的空间位置,计算当扬声器lJ预删除后,剩余(L-1)个扬声器上所分配到的权值矩阵aJ=[aJ(1) ... aJ(L-1)]T。
首先,已知(L-1)个扬声器所摆放的空间位置以及扬声器lJ所摆放的空间位置根据以下公式计算参数Γ和b。
其中,(1)中间参数 表示不超过该数的最大的整数;(2)为连带勒让德多项式(变量n、m满足n=1,...,N,-n≤m≤n),其表达式为:
然后,当预删除扬声器lJ后,剩余(L-1)个扬声器上所分配到的权值矩阵aJ=[aJ(1) ... aJ(L-1)]T可根据公式aJ=Γ-1b(其中Γ-1为Γ的逆矩阵)计算得到。
步骤5.1.2,按照相应权值aJ(1)...aJ(L-1),计算预删除扬声器lJ后剩余(L-1)个扬声器的频域信号
当删除扬声器lJ被预删除后,剩余(L-1)个扬声器的频域信号 可以按照以下公式计算得到:
步骤5.2,计算预删除扬声器lJ后,剩余(L-1)个扬声器所发出的声音在双耳处的声压与具体实现方式如下:
根据步骤4中的L个扬声器所播放的声音在左、右耳处产生的声压和的计算方法,计算当预删除扬声器lJ后,剩余(L-1)个扬声器所发出声音在左、右耳处产生的声压和为与具体实施例中,将声音信号按步骤4中的方式划分为25个临界,
其中,分别表示某扬声器到左、右耳的距离;表示扬声器lJ被预删除后,剩余某扬声器的频域信号;分别表示扬声器lJ被预删除后,剩余某扬声器在左、右耳处产生的声压。
步骤5.3,计算预删除扬声器lJ后剩余(L-1)个扬声器所发出的声音在双耳处的声压与原L个扬声器所发出声音在双耳处声压的失真值εJ,并将失真值保存到失真数组ERROR相应元素中,即第J个元素ERROR[J]=εJ,具体实现方式如下:
根据步骤4中左、右耳、人头中心处声压和P(Left)、P(Right)、P(o)以及步骤5.2中预删除扬声器lJ后,左、右耳处声压和则剩余(L-1)个扬声器所发出声音在双耳处产生的声压失真εJ定义为:
根据以上声压失真公式,计算当预删除扬声器lJ后,剩余(L-1)个扬声器所发出声音在双耳处产生的声压失真εJ,并将声压失真εJ保存到数组元素ERROR[J]中。
步骤5.4,预删除扬声器lJ选择的循环条件判断
将预删除的扬声器编号J的值加1,即J=J+1。判断J>L是否成立,若判断条件不成立,则返回步骤5.1,对下一个扬声器重复步骤5.1~5.4;若判断条件成立,则表示当前L个扬声器全部执行完一次预删除操作,并得到失真数组ERROR=[ε1,ε2,...,εL],此时结束循环操作,执行步骤5.5。
步骤5.5,进行精简剔除。
从失真数组ERROR中找到最小的双耳处声压失真εmin=εj(其中εj表示删除扬声器lj后双耳失真值),即扬声器lj执行预删除后(L-1)个扬声器发出的声音在双耳处产生的声压失真最小,说明可以将扬声器lj真正执行剔除操作。因此,剩余(L-1)个扬声器频域信号分别记为
步骤5.6,整理精简剔除后,剩余(L-1)个扬声器的空间位置信息和频域信号然后将L个扬声器数目减1即L=L-1,得到新的L个待精简的扬声器所构成的待精简扬声器集合l1,…,lL,进入步骤6。
具体实施时,当精简剔除扬声器lj后,将剩余(L-1)个扬声器的频域信号值赋给即
步骤6,精简迭代条件判断
实施例判断当前待精简扬声器数L是否大于M,若L>M条件成立,则返回步骤5,对新的待精简扬声器集合继续进行精简,否则结束迭代,取出当前剩余的扬声器空间位置信息(即步骤5.6得到的剩余(L-1)个扬声器的空间位置信息),得到M通道系统的扬声器最优空间位置排布。
步骤7,将M通道系统的对应扬声器上的频域信号经过傅立叶逆变换转换为时域信号。
具体实施时,输入的时域信号可以从输入音频文件中得到,输出的时域信号形成新的输出音频文件。
可见,本发明基于有限阶数球谐函数级数展开下声场的近似重建提出了一种多通道音频系统精简方法。该方法能够利用较少的扬声器保持双耳处失真最小。通过不断迭代L通道到L-1通道的精简来实现多通道音频系统由原始L通道到M通道的精简。
具体实施时,还可以采用模块化方式提供相应系统。本发明实施例还相应提供一种三维音频精简系统,包括以下模块,
原始扬声器空间位置信息采集模块,用于设原始三维多声道音频系统有L个扬声器,分别采集原始三维多声道音频系统中L个扬声器的空间位置信息,初始化待精简扬声器集合为包括原始三维多声道音频系统中L个扬声器;空间位置信息采集实现方式如下,
设L个扬声器排布在与听音区域中心点o之间距离为ρ的球面上,以听音区域中心点o为顶点构造三维空间直角坐标系XYZ,扬声器在平面XOY上的投影与X轴所成的角度记为θ,扬声器与Z轴的夹角记为则扬声器的空间位置简化标记为
人头特征空间位置信息采集模块,用于采集人头特征的空间位置信息,实现方式如下,设人头被看作是半径为R的标准球,人头中心位于坐标原点处,人的两耳关于YOZ平面对称;则人的左耳所在的位置Left=(R,0,0),人的右耳所在的位置为Right=(R,π,0),人头中心所在的位置为o=(0,0,0);
时频变换模块,用于将L个扬声器l1,…,lL的输入时域信号经傅里叶变换得到对应的频域信号
初始声压和采集模块,用于计算原始三维多声道音频系统的L个扬声器l1,…,lL所播放的声音信号在左耳处产生的声压和P(Left)、在右耳处产生的声压和P(Right),以及在人头中心o处的声压和P(o);
单个扬声器精简模块,用于从当前的待精简扬声器集合中,寻找一个使原始声场失真最小的扬声器将其精简剔除,包括以下子模块,
预删除子模块,用于从当前的待精简扬声器集合的L个扬声器中选取一个扬声器,将其预删除,得到剩余的(L-1)通道系统,剩余的(L-1)个扬声器用表示;
预删除声压计算子模块,用于计算预删除扬声器lJ后,剩余(L-1)个扬声器所发出的声音在左、右耳处的声压与
预删除失真估计子模块,用于计算预删除扬声器lJ后,剩余(L-1)个扬声器所发出的声音在双耳处的声压与原L个扬声器所发出声音在双耳处声压的失真值εJ,并将失真值保存到失真数组ERROR中;
遍历判断子模块,用于预删除扬声器lJ的选择条件判断,实现如下,
将预删除的扬声器编号J的值加1,即J=J+1;判断J>L是否成立,若判断条件不成立,则命令预删除子模块工作;若判断条件成立,则结束循环操作,命令精简剔除子模块工作;精简剔除子模块,用于精简剔除声场失真最小的扬声器,实现如下,
从失真数组ERROR中找到最小的双耳处声压失真值εmin=εj,其中εj表示删除扬声器lj后双耳声压失真值,将扬声器lj真正执行剔除操作;剩余(L-1)个扬声器频域信号分别记为
单个扬声器精简结果子模块,用于精简剔除扬声器lj后,将剩余(L-1)个扬声器的频域信号值赋给保留剩余(L-1)个扬声器的空间位置信息和频域信号然后将L个扬声器数目减1,得到新的L个待精简的扬声器所构成的待精简扬声器集合l1,…,lL,进入精简迭代判断模块;
精简迭代判断模块,用于进行精简迭代条件判断如下,
判断当前待精简扬声器数L是否大于M,若是则命令单个扬声器精简模块工作,对新的当前待精简扬声器集合继续进行精简,否则结束迭代,取出当前剩余的扬声器空间位置信息,得到M通道系统的扬声器最优空间位置排布;
逆时频变换模块,用于将M通道系统的对应扬声器上的频域信号经过傅立叶逆变换转换为时域信号。
各模块具体实现可参见相应步骤,本发明不予赘述。
本文中所描述的具体实施例仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种三维音频精简方法,其特征在于,包括以下步骤:
步骤1,设原始三维多声道音频系统有L个扬声器,分别采集原始三维多声道音频系统中L个扬声器的空间位置信息,初始化待精简扬声器集合为包括原始三维多声道音频系统中L个扬声器;空间位置信息采集实现方式如下,
设L个扬声器排布在与听音区域中心点o之间距离为ρ的球面上,以听音区域中心点o为顶点构造三维空间直角坐标系XYZ,扬声器在平面XOY上的投影与X轴所成的角度记为θ,扬声器与Z轴的夹角记为则扬声器的空间位置简化标记为
步骤2,采集人头特征的空间位置信息,实现方式如下,
设人头被看作是半径为R的标准球,人头中心位于坐标原点处,人的两耳关于YOZ平面对称;则人的左耳所在的位置Left=(R,0,0),人的右耳所在的位置为Right=(R,π,0),人头中心所在的位置为o=(0,0,0);
步骤3,将L个扬声器l1,…,lL的输入时域信号经傅里叶变换得到对应的频域信号
步骤4,计算原始三维多声道音频系统的L个扬声器l1,…,lL所播放的声音信号在左耳处产生的声压和P(Left)、在右耳处产生的声压和P(Right),以及在人头中心o处的声压和P(o);
步骤5,从当前的待精简扬声器集合中,寻找一个使原始声场失真最小的扬声器将其精简剔除,包括以下子步骤,
步骤5.1,从当前的待精简扬声器集合的L个扬声器中选取一个扬声器,将其预删除,得到剩余的(L-1)通道系统,剩余的(L-1)个扬声器用表示;
步骤5.2,计算预删除扬声器lJ后,剩余(L-1)个扬声器所发出的声音在左、右耳处的声压与
步骤5.3,计算预删除扬声器lJ后,剩余(L-1)个扬声器所发出的声音在双耳处的声压与原L个扬声器所发出声音在双耳处声压的失真值εJ,并将失真值保存到失真数组ERROR中;
步骤5.4,预删除扬声器lJ的选择条件判断,实现如下,
将预删除的扬声器编号J的值加1,即J=J+1;判断J>L是否成立,若判断条件不成立,则返回步骤5.1;若判断条件成立,则结束循环操作,执行步骤5.5;
步骤5.5,精简剔除声场失真最小的扬声器,实现如下,
从失真数组ERROR中找到最小的双耳处声压失真值εmin=εj,其中εj表示删除扬声器lj后双耳声压失真值,将扬声器lj真正执行剔除操作;剩余(L-1)个扬声器频域信号分别记为
步骤5.6,精简剔除扬声器lj后,将剩余(L-1)个扬声器的频域信号 值赋给保留剩余(L-1)个扬声器的空间位置信息和频域信号然后将L个扬声器数目减1,得到新的L个待精简的扬声器所构成的待精简扬声器集合l1,…,lL,进入步骤6;
步骤6,进行精简迭代条件判断如下,
判断当前待精简扬声器数L是否大于M,若是则返回步骤5,对新的当前待精简扬声器集合继续进行精简,否则结束迭代,取出当前剩余的扬声器空间位置信息,得到M通道系统的扬声器最优空间位置排布;
步骤7,将M通道系统的对应扬声器上的频域信号经过傅立叶逆变换转换为时域信号。
2.如权利要求1所述三维音频精简方法,其特征在于:步骤4实现方式如下,
设第J个扬声器lJ播放的声音频率为f,则声音传播的波数为c为声速;扬声器lJ播放的声音在任意听音点x处产生的声压为 其中|lJ-x|为扬声器lJ到听音点x的距离,为扬声器lJ的频域信号,G为比例因子;
将声音信号划分为α个频带,设α个频带的中心频率为f1、…、fα,对应的波数分别为
扬声器l1,…,lL所播放的声音信号在左耳、右耳和人头中心处产生的声压的和P(Left)、P(Right)与P(o)分别为
其中,kI表示第I个临界频带的中心频率对应的波数,I=1、…、α。
3.如权利要求2所述三维音频精简方法,其特征在于:步骤5.1包括以下子步骤,
步骤5.1.1,根据扬声器和lJ相应空间位置,计算当扬声器lJ预删除后,剩余(L-1)个扬声器上所分配到的权值矩阵aJ=[aJ(1) ... aJ(L-1)]T如下,
首先,已知(L-1)个扬声器所摆放的空间位置以及扬声器lJ所摆放的空间位置根据以下公式计算参数Γ和b,
其中,
中间参数 表示不超过该数的最大的整数;
为连带勒让德多项式如下,
变量n、m满足n=1,...,N,-n≤m≤n;
然后,当预删除扬声器lJ后,剩余(L-1)个扬声器上所分配到的权值矩阵aJ=[aJ(1) ... aJ(L-1)]T根据公式aJ=Γ-1b计算得到;
步骤5.1.2,当扬声器lJ被预删除后,剩余(L-1)个扬声器的频域信号按照以下公式计算得到,
其中,为剩余(L-1)个扬声器的频域信号。
4.如权利要求3所述三维音频精简方法,其特征在于:步骤5.2实现如下,
计算当预删除扬声器lJ后,剩余(L-1)个扬声器所发出声音在左、右耳处产生的声压和为与
其中,分别表示某扬声器到左、右耳的距离;表示扬声器lJ被预删除后,剩余某扬声器的频域信号;分别表示扬声器lJ被预删除后,剩余某扬声器在左、右耳处产生的声压。
5.如权利要求4所述三维音频精简方法,其特征在于:步骤5.3实现如下,
根据步骤4中左、右耳、人头中心处声压和P(Left)、P(Right)、P(o)以及步骤5.2中预删除扬声器lJ后,左、右耳处声压和则剩余(L-1)个扬声器所发出声音在双耳处产生的声压失真εJ定义为,
根据以上声压失真公式,计算当预删除扬声器lJ后,剩余(L-1)个扬声器所发出声音在双耳处产生的声压失真εJ,并将声压失真εJ保存到失真数组ERROR中相应数组元素ERROR[J]中。
6.一种三维音频精简系统,其特征在于,包括以下模块:
原始扬声器空间位置信息采集模块,用于设原始三维多声道音频系统有L个扬声器,分别采集原始三维多声道音频系统中L个扬声器的空间位置信息,初始化待精简扬声器集合为包括原始三维多声道音频系统中L个扬声器;空间位置信息采集实现方式如下,
设L个扬声器排布在与听音区域中心点o之间距离为ρ的球面上,以听音区域中心点o为顶点构造三维空间直角坐标系XYZ,扬声器在平面XOY上的投影与X轴所成的角度记为θ,扬声器与Z轴的夹角记为则扬声器的空间位置简化标记为
人头特征空间位置信息采集模块,用于采集人头特征的空间位置信息,实现方式如下,设人头被看作是半径为R的标准球,人头中心位于坐标原点处,人的两耳关于YOZ平面对称;则人的左耳所在的位置Left=(R,0,0),人的右耳所在的位置为Right=(R,π,0),人头中心所在的位置为o=(0,0,0);
时频变换模块,用于将L个扬声器l1,…,lL的输入时域信号经傅里叶变换得到对应的频域信号
初始声压和采集模块,用于计算原始三维多声道音频系统的L个扬声器l1,…,lL所播放的声音信号在左耳处产生的声压和P(Left)、在右耳处产生的声压和P(Right),以及在人头中心o处的声压和P(o);
单个扬声器精简模块,用于从当前的待精简扬声器集合中,寻找一个使原始声场失真最小的扬声器将其精简剔除,包括以下子模块,
预删除子模块,用于从当前的待精简扬声器集合的L个扬声器中选取一个扬声器,将其预删除,得到剩余的(L-1)通道系统,剩余的(L-1)个扬声器用表示;
预删除声压计算子模块,用于计算预删除扬声器lJ后,剩余(L-1)个扬声器所发出的声音在左、右耳处的声压与
预删除失真估计子模块,用于计算预删除扬声器lJ后,剩余(L-1)个扬声器所发出的声音在双耳处的声压与原L个扬声器所发出声音在双耳处声压的失真值εJ,并将失真值保存到失真数组ERROR中;
遍历判断子模块,用于预删除扬声器lJ的选择条件判断,实现如下,
将预删除的扬声器编号J的值加1,即J=J+1;判断J>L是否成立,若判断条件不成立,则命令预删除子模块工作;若判断条件成立,则结束循环操作,命令精简剔除子模块工作;精简剔除子模块,用于精简剔除声场失真最小的扬声器,实现如下,
从失真数组ERROR中找到最小的双耳处声压失真值εmin=εj,其中εj表示删除扬声器lj后双耳声压失真值,将扬声器lj真正执行剔除操作;剩余(L-1)个扬声器频域信号分别记为
单个扬声器精简结果子模块,用于精简剔除扬声器lj后,将剩余(L-1)个扬声器的频域信号值赋给保留剩余(L-1)个扬声器的空间位置信息和频域信号然后将L个扬声器数目减1,得到新的L个待精简的扬声器所构成的待精简扬声器集合l1,…,lL,进入精简迭代判断模块;
精简迭代判断模块,用于进行精简迭代条件判断如下,
判断当前待精简扬声器数L是否大于M,若是则命令单个扬声器精简模块工作,对新的当前待精简扬声器集合继续进行精简,否则结束迭代,取出当前剩余的扬声器空间位置信息,得到M通道系统的扬声器最优空间位置排布;
逆时频变换模块,用于将M通道系统的对应扬声器上的频域信号经过傅立叶逆变换转换为时域信号。
7.如权利要求6所述三维音频精简系统,其特征在于:初始声压和采集模块实现方式如下,设第J个扬声器lJ播放的声音频率为f,则声音传播的波数为c为声速;扬声器lJ播放的声音在任意听音点x处产生的声压为 其中|lJ-x|为扬声器lJ到听音点x的距离,为扬声器lJ的频域信号,G为比例因子;
将声音信号划分为α个频带,设α个频带的中心频率为f1、…、fα,对应的波数分别为
扬声器l1,…,lL所播放的声音信号在左耳、右耳和人头中心处产生的声压的和P(Left)、P(Right)与P(o)分别为
其中,kI表示第I个临界频带的中心频率对应的波数,I=1、…、α。
8.如权利要求7所述三维音频精简系统,其特征在于:预删除子模块包括以下单元,
权值矩阵计算单元,用于根据扬声器和lJ相应空间位置,计算当扬声器lJ预删除后,剩余(L-1)个扬声器上所分配到的权值矩阵aJ=[aJ(1) ... aJ(L-1)]T如下,
首先,已知(L-1)个扬声器所摆放的空间位置以及扬声器lJ所摆放的空间位置根据以下公式计算参数Γ和b,
其中,
中间参数 表示不超过该数的最大的整数;
为连带勒让德多项式如下,
变量n、m满足n=1,...,N,-n≤m≤n;
然后,当预删除扬声器lJ后,剩余(L-1)个扬声器上所分配到的权值矩阵
aJ=[aJ(1) ... aJ(L-1)]T根据公式aJ=Γ-1b计算得到;
信号分配单元,当扬声器lJ被预删除后,剩余(L-1)个扬声器的频域信号按照以下公式计算得到,
其中,为剩余(L-1)个扬声器的频域信号。
9.如权利要求8所述三维音频精简系统,其特征在于:预删除声压计算子模块实现如下,
计算当预删除扬声器lJ后,剩余(L-1)个扬声器所发出声音在左、右耳处产生的声压和为与
其中,分别表示某扬声器到左、右耳的距离;表示扬声器lJ被预删除后,剩余某扬声器的频域信号;分别表示扬声器lJ被预删除后,剩余某扬声器在左、右耳处产生的声压。
10.如权利要求9所述三维音频精简系统,其特征在于:预删除失真估计子模块实现如下,
根据初始声压和采集模块中左、右耳、人头中心处声压和P(Left)、P(Right)、P(o)以及预删除声压计算子模块中预删除扬声器lJ后,左、右耳处声压和则剩余(L-1)个扬声器所发出声音在双耳处产生的声压失真εJ定义为,
根据以上声压失真公式,计算当预删除扬声器lJ后,剩余(L-1)个扬声器所发出声音在双耳处产生的声压失真εJ,并将声压失真εJ保存到失真数组ERROR中相应数组元素ERROR[J]中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510397336.0A CN105120406B (zh) | 2015-07-07 | 2015-07-07 | 三维音频精简方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510397336.0A CN105120406B (zh) | 2015-07-07 | 2015-07-07 | 三维音频精简方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105120406A CN105120406A (zh) | 2015-12-02 |
CN105120406B true CN105120406B (zh) | 2017-03-01 |
Family
ID=54668247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510397336.0A Active CN105120406B (zh) | 2015-07-07 | 2015-07-07 | 三维音频精简方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105120406B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050094225A (ko) * | 2004-03-22 | 2005-09-27 | 엘지전자 주식회사 | 3 차원 사운드 출력 장치 및 그 구동방법 |
CN102883246A (zh) * | 2012-10-24 | 2013-01-16 | 武汉大学 | 一种三维多声道音频系统扬声器组精简布设方法 |
CN103021414A (zh) * | 2012-12-04 | 2013-04-03 | 武汉大学 | 一种三维音频系统距离调制方法 |
CN103220601A (zh) * | 2013-04-22 | 2013-07-24 | 武汉大学 | 一种三维多声道音频系统扬声器组折半精简方法 |
CN103888889A (zh) * | 2014-04-07 | 2014-06-25 | 北京工业大学 | 一种基于球谐展开的多声道转换方法 |
CN104023304A (zh) * | 2014-06-24 | 2014-09-03 | 武汉大学 | 一种五扬声器系统精简为四扬声器系统的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101292206B1 (ko) * | 2007-10-01 | 2013-08-01 | 삼성전자주식회사 | 어레이 스피커 시스템 및 그 구현 방법 |
-
2015
- 2015-07-07 CN CN201510397336.0A patent/CN105120406B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050094225A (ko) * | 2004-03-22 | 2005-09-27 | 엘지전자 주식회사 | 3 차원 사운드 출력 장치 및 그 구동방법 |
CN102883246A (zh) * | 2012-10-24 | 2013-01-16 | 武汉大学 | 一种三维多声道音频系统扬声器组精简布设方法 |
CN103021414A (zh) * | 2012-12-04 | 2013-04-03 | 武汉大学 | 一种三维音频系统距离调制方法 |
CN103220601A (zh) * | 2013-04-22 | 2013-07-24 | 武汉大学 | 一种三维多声道音频系统扬声器组折半精简方法 |
CN103888889A (zh) * | 2014-04-07 | 2014-06-25 | 北京工业大学 | 一种基于球谐展开的多声道转换方法 |
CN104023304A (zh) * | 2014-06-24 | 2014-09-03 | 武汉大学 | 一种五扬声器系统精简为四扬声器系统的方法 |
Non-Patent Citations (1)
Title |
---|
三维音频技术综述;胡瑞敏,等;《数据采集与处理》;20140915;第29卷(第5期);第661-676页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105120406A (zh) | 2015-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI684978B (zh) | 用於生成增強聲場描述的裝置及方法與其計算機程式及記錄媒體、和生成修改聲場描述的裝置及方法與其計算機程式 | |
CN103826194B (zh) | 一种多声道系统中声源方向和距离重建的方法与装置 | |
CN106454685A (zh) | 一种声场重建方法及系统 | |
TW201909657A (zh) | 使用多點聲場描述生成增強的聲場描述或修改的聲場描述的概念 | |
ES2636808T3 (es) | Codificación de escenas de audio | |
CN106971738A (zh) | 压缩和解压缩高阶高保真度立体声响复制信号表示的方法及装置 | |
CN105723453A (zh) | 用于对降混合矩阵进行解码及编码的方法、用于呈现音频内容的方法、用于降混合矩阵的编码器及解码器、音频编码器及音频解码器 | |
CN105264914B (zh) | 音频再生装置以及方法 | |
CN103021414B (zh) | 一种三维音频系统距离调制方法 | |
Amatriain et al. | The allosphere: Immersive multimedia for scientific discovery and artistic exploration | |
CN106797527A (zh) | Hoa内容的显示屏相关调适 | |
TW201909170A (zh) | 使用多層描述生成增強的聲場描述或修改的聲場描述的概念 | |
US11089428B2 (en) | Selecting audio streams based on motion | |
CN102883246B (zh) | 一种三维多声道音频系统扬声器组精简布设方法 | |
US20210006976A1 (en) | Privacy restrictions for audio rendering | |
Parida et al. | Beyond mono to binaural: Generating binaural audio from mono audio with depth and cross modal attention | |
CN104363555A (zh) | 一种5.1多声道声源方向重建方法与装置 | |
CN106303843B (zh) | 一种多区域不同语音声源的2.5d重放方法 | |
CN105120406B (zh) | 三维音频精简方法及系统 | |
US20230298601A1 (en) | Audio encoding and decoding method and apparatus | |
TW201325268A (zh) | 虛擬實境音源定位裝置 | |
CN103347245B (zh) | 一种立体声系统中恢复声源方位信息的方法与装置 | |
CN102802111A (zh) | 一种输出环绕声的方法和系统 | |
WO2022110723A1 (zh) | 一种音频编解码方法和装置 | |
Geronazzo et al. | A modular framework for the analysis and synthesis of head-related transfer functions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |