CN106373582A - 多声道音频的处理方法和装置 - Google Patents
多声道音频的处理方法和装置 Download PDFInfo
- Publication number
- CN106373582A CN106373582A CN201610741233.6A CN201610741233A CN106373582A CN 106373582 A CN106373582 A CN 106373582A CN 201610741233 A CN201610741233 A CN 201610741233A CN 106373582 A CN106373582 A CN 106373582A
- Authority
- CN
- China
- Prior art keywords
- data
- channel
- channel data
- output
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012937 correction Methods 0.000 claims description 68
- 238000001228 spectrum Methods 0.000 claims description 24
- 239000013589 supplement Substances 0.000 claims description 10
- 230000001502 supplementing effect Effects 0.000 abstract description 3
- 230000015654 memory Effects 0.000 description 18
- 230000009467 reduction Effects 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 239000000047 product Substances 0.000 description 5
- 238000002592 echocardiography Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 3
- 230000003278 mimic effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000003454 tympanic membrane Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Abstract
本发明公开了一种多声道音频的处理方法和装置。其中,该方法包括:确定待输出的多声道音频的输出通道;在所述输出通道的数量小于所述多声道音频的声道数量的情况下,获取所述多声道音频的多个声道数据和多个声道数据对应于输出通道的方位数据;对所述方位数据进行修正,得到修正数据,以补充所述方位数据中丢失的数据;基于所述修正数据和所述多个声道数据确定所述输出通道的输出数据。本发明解决了对多声道音频文件进行降通道处理存在信息丢失的技术问题。
Description
技术领域
本发明涉及音频处理领域,具体而言,涉及一种多声道音频的处理方法和装置。
背景技术
现有技术中的音频文件有很多是多声道音频文件,多声道音频文件一般是通过多声道音频播放系统来播放,通常情况下,多声道音频指的是多于两个声道的音频。例如,5.1多声道音频指的是具备五个基本声道(包括左声道、中置声道、右声道、左环绕声道和右环绕声道)和一个超低音LFE声道的环绕声音系统。
但是现有技术中有些播放器没有多声道设备,这些没有没多声道设备的播放器在播放多声道音频时,通常采用下述两种方式进行降通道:采用ITU标准的Down Mix;采用HRTF虚拟音箱技术。以下以5.1声道为例进行说明:
在采用ITU标准Down Mix技术时,采用如下计算公式:Lt=1.0*L+0.707*C+0.707*LS,Rt=1.0*R+0.707*C+0.707*RS。
其中,Lt为左声道输出,Rt为右声道输出,L为左前声道输入,R为右前声道输入,C为中置声道输入,LS为左环绕声道输入,RS为右环绕声道输入。从公式中可以看出,ITU标准的Down Mix技术方案只是对声道的输入数据进行简单的加权处理,并且在处理的过程中完全忽略了LFE声道的影响。特别是当用户使用耳机进行声音回放的时候,左声道完全没有右声道的环绕数据,右声道同样没有左声道的环绕数据,而且输入的各个声道数据的位置信息没有得到保留。
而采用HRTF虚拟音箱技术,考虑到了多个声道对声道输出的头相关函数影响,在该虚拟音箱技术中,将固定的权值转换成了带有空间和时间特性的HRTF系数,但是由于HRTF函数的系数的测量是在严格的消音室中完成,采用该系数,会导致频谱缺失。
针对上述对多声道音频文件进行降通道处理存在信息丢失的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种多声道音频的处理方法和装置,以至少解决对多声道音频文件进行降通道处理存在信息丢失的技术问题。
根据本发明实施例的一个方面,提供了一种多声道音频的处理方法,该方法包括:确定待输出的多声道音频的输出通道;在所述输出通道的数量小于所述多声道音频的声道数量的情况下,获取所述多声道音频的多个声道数据和多个声道数据对应于输出通道的方位数据;对所述方位数据进行修正,得到修正数据,以补充所述方位数据中丢失的数据;基于所述修正数据和所述多个声道数据确定所述输出通道的输出数据。
根据本发明实施例的另一方面,还提供了一种多声道音频的处理装置,该装置包括:第一确定单元,用于确定待输出的多声道音频的输出通道;获取单元,用于在所述输出通道的数量小于所述多声道音频的声道数量的情况下,获取所述多声道音频的多个声道数据和多个声道数据对应于输出通道的方位数据;修正单元,用于对所述方位数据进行修正,得到修正数据,以补充所述方位数据中丢失的数据;第二确定单元,用于基于所述修正数据和所述多个声道数据确定所述输出通道的输出数据。
在本发明实施例中,在多声道音频的输出通道的数量小于多声道音频的声道数量的情况下,也即,在需对多声道音频进行降通道处理的情况下,获取多声道音频的多个声道数据与输出通道对应的方位数据,补充方位数据中丢失的数据,基于修正后的数据和多个声道数据确定输出。在该方案中在对多声道音频文件进行降通道处理时使用多个声道信息的完整方位信息,从而可以准确确定两个通道的输出数据,解决了现有技术中对多声道音频文件进行降通道处理存在信息丢失的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的多声道音频的处理方法的硬件环境的示意图;
图2是根据本发明实施例的一种可选的多声道音频的处理方法的流程图;
图3是根据本发明实施例的另一种可选的多声道音频的处理方法的流程图;
图4是根据本发明实施例的一种可选的多声道音频的虚拟音箱摆放位置的示意图;
图5是根据本发明实施例的一种可选的多声道音频的处理装置的示意图;
图6是根据本发明实施例的另一种可选的多声道音频的处理装置的示意图;以及
图7是根据本发明实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本发明实施例进行描述的过程中出现的部分名词或者术语适用于如下解释:
HRTF(Head Related Transfer Function):头相关变换函数,是一种音效定位算法。
ITU标准是国际电信联盟标准(International Telecommunication Union,简称ITU),遵循ITU标准的各种多媒体应用产品可以保证其互操作的兼容性。
Down mix:减少混合或者混合后信号减小。
实施例1
根据本发明实施例,提供了一种多声道音频的处理方法的方法实施例。
可选地,在本实施例中,上述多声道音频的处理方法可以应用于如图1所示的由服务器102和终端104所构成的硬件环境中。如图1所示,服务器102通过网络与终端104进行连接,上述网络包括但不限于:广域网、城域网或局域网,终端104并不限定于PC、手机、平板电脑等。本发明实施例的多声道音频的处理方法可以由服务器102来执行,也可以由终端104来执行,还可以是由服务器102和终端104共同执行。其中,终端104执行本发明实施例的多声道音频的处理方法也可以是由安装在其上的客户端来执行。
图2是根据本发明实施例的一种可选的多声道音频的处理方法的流程图,如图2所示,该方法可以包括以下步骤:
步骤S202,确定待输出的多声道音频的输出通道;
步骤S204,在输出通道的数量小于多声道音频的声道数量的情况下,获取多声道音频的多个声道数据和多个声道数据对应于输出通道的方位数据;
步骤S206,对方位数据进行修正,得到修正数据,以补充方位数据中丢失的数据;
步骤S208,基于修正数据和多个声道数据确定输出通道的输出数据。
通过上述步骤S202至步骤S208,在多声道音频的输出通道的数量小于多声道音频的声道数量的情况下,也即,在需对多声道音频进行降通道处理的情况下,获取多声道音频的多个声道数据与输出通道对应的方位数据,补充方位数据中丢失的数据,基于修正后的数据和多个声道数据确定输出。在该方案中在对多声道音频文件进行降通道处理时使用多个声道信息的完整方位信息,从而可以准确确定两个通道的输出数据,解决了现有技术中对多声道音频文件进行降通道处理存在信息丢失的技术问题。
本发明上述实施例中的终端可以为移动终端,该移动终端上安装有用于播放音频的播放器,该播放器可以为能够播放音频的播放器,如音频播放器,视频播放器中用于播放音频的处理单元也在本申请的保护范围之内。
可选地,移动终端包括智能手机、平板电脑等手持设备,还可以包括可穿戴设备等,本申请对此不做限定。
其中,上述实施例中的播放器的播放通道小于多声道音频的声道数量,如,该播放器的播放通道为两个播放通道,如,输出通道包括第一通道和第二通道,其中,第一通道可以为左通道,第二通道可以为右通道。可选地,该方案可以应用在耳机回放多声道音频的场景中,左通道的输出为耳机左通道的输出,右通道的输出耳机右通道的输出。
在步骤S202提供的技术方案中,终端的处理器可以检测用于播放多声道音频的播放器的播放通道,该播放器的播放通道的数量即为多声道音频的输出通道的数量。
如,在播放器的输出为音响的情况下检测音响的数量,音响的数量即为播放器的输出通道的数量;在播放器的输出为耳机的情况下,播放器的输出通道的数量为两个。
可选地,处理器还可以检测播放器的能够正常工作的播放通道的数量,将能够正常工作的播放器的输出通道的数量确定为多声道音频的输出通道。
在步骤S204提供的技术方案中,终端的存储器中可以存储多声道音频,在处理器接收到用于播放多声道音频的播放请求之后,从存储器中获取请求播放的多声道音频,并比较检测到的多声道音频的输出通道的数量与多声道音频的声道数量的大小,若多声道音频的输出通道的数量小于或等于多声道音频的声道数量,则可以直接通过该输出通道输出多声道音频,或者,按照输出通道的属性调整多声道音频的各个声道的数据,并通过输出通道输出,以使得各个声道的数据在输出通道中无损失的输出。
若多声道音频的输出通道的数量大于多声道音频的声道数量,则确定该多声道音频输出时需要降通道,则获取该多声道音频的多个声道数据和多个声道数据对应输出通道的方位数据。
可选地,多声道音频中可以包括该多声道音频的声道数量信息,可以根据该声道数量信息确定多声道音频的声道的数量。
在获取多个声道数据对应输出通道的方位数据时,可以获取每个声道数据对应输出通道的方位数据,例如,输出通道为1个,声道数据为n个,则可以获取n个方位数据。
例如,输出通道为两个,则获取多个声道数据对应第一通道的第一方位数据和多个声道数据对应第二通道的第二方位数据,若声道数据为n个,则可以获取2n个方位数据。
在步骤S206提供的技术方案中,在获取方位数据之后,可以对其进行修正,由于获取到的方位数据中可能存在缺失,在该技术方案中,可以将方位数据中丢失的数据补充上,从而在确定输出数据时,可以基于没有缺失的数据准确确定各个输出通道的输出数据。
在该技术方案中,可以分别对每个声道数据对应每个输出通道的方位数据进行修正,例如,输出通道为两个,可以对多个声道数据的第一方位数据进行修正得到第一修正数据,和对多个声道数据的第二方位数据进行修正得到第二修正数据,以补充第一方位数据和第二方位数据丢失的方位数据。
在获取修正后的数据之后,利用该修正后的数据确定各个通道的输出数据,例如,输出通道为两个,基于第一修正数据和多个声道数据确定第一通道的输出数据,并基于第二修正数据和多个声道数据确定第二通道的输出数据。
在输出通道为两个的情况下,获取多个声道数据对应第一通道的第一方位数据和多个声道数据对应第二通道的第二方位数据之后,对第一方位数据和第二方位数据进行修正,以补充第一方位数据和第二方位数据丢失的方位数据,并基于修正后的数据确定两个通道的输出数据。在上述方案中,基于多声道音频数据的多个声道数据确定两个通道的方位数据,并且对获取到的方位数据所丢失的数据进行了补充,在该方案中在对多声道音频文件进行降通道处理时使用多个声道信息的完整方位信息,从而可以准确确定两个通道的输出数据,解决了现有技术中对多声道音频文件进行降通道处理存在信息丢失的技术问题。
需要说明的是,多声道音频的输出通道的数量可以为一个或多个,本申请对此不作限定,若多声道音频的输出通道的数量小于多声道音频的声道数量,则可以采用上述的降通道方案,以获取更加准确、无失真的输出。
根据本发明的上述实施例,多个声道数据至少包括低音声道数据和至少两个基本声道数据,获取多个声道数据对应于输出通道的方位数据可以包括:将低音声道数据叠加至该至少两个基本声道数据,得到叠加后的基本声道数据;获取叠加后的基本声道数据对应输出通道的方位数据。
为了减少对方位数据进行处理的数据量,可以将低音声道数据叠加到基本声道数据中,这样在处理数据时,可以不用处理低音声道数据,而对叠加后的基本声道数据进行处理即可。
具体地,将低音声道数据叠加至至少两个基本声道数据可以包括:将低音声道数据叠加至至少两个基本声道数据中的左前声道数据和右前声道数据。
可选地,按照如下公式将低音声道数据叠加至至少两个基本声道数据中的左前声道数据和右前声道数据:
L'=L+LFE*gain1,其中,L'表示叠加后的左前声道数据,L表示至少两个基本声道数据中的左前声道数据,LFE表示低音声道数据,gain1表示低音声道数据对应左前声道数据的混音增益;
R'=R+LFE*gain2,其中,R'表示叠加后的右前声道数据,R表示至少两个基本声道数据中的右前声道数据,gain2表示低音声道数据对应右前声道数据的混音增益。
可选地,上述实施例中的方位数据可以为HRTF数据,HRTF数据可以通过测量得到,具体地,可以制作一个头部模型,并安装一支麦克风到耳膜的位置;从固定的位置发出声音,分析从麦克风中得到声音并被模型改变的具体数据,设置音频过滤器来模仿那个效果,当需要模仿某个位置发出的声音时就可以使用上述的过滤器来模仿即可。过滤器的回应就被认为是一个HRTF数据。
根据本发明的上述实施例,对方位数据进行修正,得到修正数据可以包括:对多个声道数据的方位数据进行频谱修正,得到频谱修正数据;对频谱修正数据进行混响处理,得到修正数据。
由于直接使用方位数据HRTF数据会存在一些频谱缺失,通过上述方案可以将缺失掉的频谱补足。具体地,HRTF被假设成为一个线性时不变系统,系数即为FIR滤波器系数,那么只需将这段FIR滤波器系数进行修正即可实现频带补足。
进一步地,使用音箱在室内进行音频播放时,会有室内各种反射面的反射回声,这些回声不断叠加形成了混响,在进行对多声道音频进行降通道处理时,可以对多声道音频进行一定的混响处理,以减小声音干涩效果。如上分析,HRTF被假设成为一个线性时不变系统,系数即为FIR滤波器系数,那么只需将这段FIR滤波器系数进行修正即可实现。
根据本发明的上述实施例,基于修正数据和多个声道数据确定输出通道的输出数据可以包括:对修正数据和多个声道数据进行卷积叠加,得到输出通道的输出数据。
具体地,输出通道包括第一通道和第二通道,其中,对修正数据和多个声道数据进行卷积叠加,得到输出通道的输出数据包括:
利用如下公式确定第一通道的输出数据:其中,Lt表示第一通道的输出数据,AxL表示第x个声道数据的第一修正数据,X表示第x个声道数据;
利用如下公式确定第二通道的输出数据:其中,Rt表示第一通道的输出数据,AxR表示第x个声道数据的第一修正数据,X表示第x个声道数据。
上述实施例中,将每个声道数据和对应的修正数据进行卷积处理,并将所有的声道数据进行叠加,可以得到失真较少的输出。
下面以多声道音频为5.1声道音频为例,在示例中,输出通道为左通道和右通道,具体地,可以通过如下方案确定左通道的输出和右通道的输出:
其中,为卷积运算符,AxL为输入声道序号x对左声道输出的卷积参数,AxR为输入声道序号x对右声道输出的卷积参数,公式中的L'和R'分别为变换之后(即叠加有LFE声道数据的)的输入左、右声道,变换公式如下:
L'=L+LFE*gain1,其中,L'表示叠加后的左前声道数据,L表示至少两个基本声道数据中的左前声道数据,LFE表示低音声道数据,gain1表示低音声道数据对应左前声道数据的混音增益,这里的gain1可以为预先设置的值,用户可以对该值进行调整。
利用低音声道数据和混音增益的乘积叠加到右前声道数据上,R'=R+LFE*gain2,其中,R'表示叠加后的右前声道数据,R表示至少两个基本声道数据中的右前声道数据,gain2表示低音声道数据对应右前声道数据的混音增益,这里的gain1可以为预先设置的值,用户可以对该值进行调整。
下面以图3所示的步骤详述本申请实施例。
步骤S301:低音声道增益控制。
具体地,可以将低音声道数据叠加至左前声道数据和右前声道数据。在将低音声道数据进行叠加时,利用低音声道数据和混音增益的乘积叠加到左前声道数据上,如,L'=L+LFE*gain1,其中,L'表示叠加后的左前声道数据,L表示至少两个基本声道数据中的左前声道数据,LFE表示低音声道数据,gain1表示低音声道数据对应左前声道数据的混音增益,这里的gain1可以为预先设置的值,用户可以对该值进行调整。
利用低音声道数据和混音增益的乘积叠加到右前声道数据上,R'=R+LFE*gain2,其中,R'表示叠加后的右前声道数据,R表示至少两个基本声道数据中的右前声道数据,gain2表示低音声道数据对应右前声道数据的混音增益,这里的gain1可以为预先设置的值,用户可以对该值进行调整。
本方案中,增加了LFE增益控制模块,使得用户可以按照自己的喜好设置增益值,默认值设置为1,这样能够保证和实际使用影院级音箱获得较为接近的低音。每个人对超重低音的感知程度以及喜好程度不相同,如果按照固定增益设置可能会造成不舒适,因此,设置有增益调节单元,如该增益调节单元可以为增益调节滑动块或者输入框,用户可以使用滑动块或者输入框调节低音声道的混音增益。
在该实施例中,LEF对于左通道和右通道的混音增益可以为不同的增益值。
步骤S302:低音声道位置控制。
可选地,在利用5.1声道设备播放5.1声道音频时,LFE音箱(低音音箱)通常和中置声道C音箱重叠摆放。在本方案中,LFE虚拟音箱位置摆放原则为:存在前置左声道或者前置右声道,则将LFE和这两个声道重叠摆放,否者将其和中置声道重叠摆放。
具体地,将LFE和左前声道(和/或右前声道)重叠摆放,或者将其和中置声道重叠摆放,在进行降通道处理时,可以将LFE叠加到基本声道中,虚拟的C音箱摆放在人头内部,LFE虚拟音箱需要摆放在人头的正前方,而正前方的位置可以通过利用对称性,即左前和右前声道叠加即可合成为正前声道的系数值。这样,不仅能保证效果和标准摆放位置相同,而且减少了一次卷积运算。
步骤S303:对方位数据进行频谱修正,以补足方位数据丢失的频带。
经过前两个步骤,个性化处理好了LFE虚拟音箱后,将其余5个虚拟音箱按照标准位置摆放,标准位置参见图4所示,这样结合HRTF技术则可以利用耳机虚拟出声道的位置信息(即上述实施例中的方位数据)。
如图4所示,设置中心点O,中置声道C、左声道L、右声道R、左环绕声道LS和右环绕声道RS都设置在以中心点O为圆心,以D为半径的圆周上,其中,以中置声道C设置的位置为基准(将其作为中心),将中置声道设置点与中心点的连线作为基准线,左声道的音响中心与中心点的连线与基准线形成夹角∠A,右声道的音响中心与中心点的连线与基准线形成夹角∠B,左环绕声道的音响中心与中心点的连线与基准线形成夹角∠C,右环绕声道的音响中心与中心点的连线与基准线形成夹角∠D。
其中,∠A和∠B角度可以相同,如为60°,∠C和∠D角度可以相同,如为120°。
由于直接使用HRTF数据会存在一些频谱缺失,可以通过该步骤的技术方案将缺失掉的频谱补足。在上述实施例中,HRTF被假设成为一个线性时不变系统,系数即为FIR滤波器系数,那么只需将这段FIR滤波器系数进行修正即可实现频带补足,具体操作为:设HRTF系数矩阵为Ahrtf(即上述实施例中的方位数据),获取缺失频带系数矩阵Amadct,则利用线性时不变系统的叠加性质可有拓展修正之后的系数矩阵(即上述实施例中的频谱修正数据)为Arevise=Ahrtf+Amadct。
获取缺失频带系数矩阵Amadct具体可以通过如下方案实现:
(1)在虚拟空间中设置发声源和识音器,具体地,可以制作一个头部模型,并安装一支麦克风到耳膜的位置;从固定的位置发出声音,分析从麦克风中得到声音并被模型改变的具体数据,设置音频过滤器来模仿那个效果,当需要模仿某个位置发出的声音时就可以使用上述的过滤器来模仿,通过识音器采集过滤器的回应参数。
(2)建立矩阵确定模型,该模型中可以对输入信号进行滤波、传递以及衰减等仿真操作,得到输出的信号,基于输出的信号确定缺失频带系数矩阵。
(3)结合(1)和(2)推演得到缺失频带系数矩阵。
步骤S304:对频谱修正数据进行混响操作得到修正后的数据。
具体地,使用音箱在室内进行音频播放时,会有室内各种反射面的反射回声,这些回声不断叠加形成了混响,因此在进行使用耳机进行回放的时候,需要对音频进行一定的混响处理,以减小声音干涩效果。具体操作为:为了计算的方便和统一性,这里采用了卷积混响,获取混响系数矩阵Areverb,通过上述技术方案已经获得了修正系数矩阵Arevise,然后利用卷积的分配结合性质可以得到最终的系数矩阵(即上述实施例中的修正数据)为Ax=Arevise+Areverb。
步骤S305:基于修正后的数据和声道数据确定双通道的输出。
具体地,将最终得到对应通道的修正数据Ax分别与对应通道的声道数据进行卷积,并将多个声道数据的卷积结果进行叠加,获得最终的双通道数据。
通过本发明上述实施例,利用普通双通道耳机回放多声道音频,保持音频的方位信息、增强声音的饱满程度。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例,还提供了一种用于实施上述多声道音频的处理方法的处理装置。图5是根据本发明实施例的一种可选的多声道音频的处理装置的示意图,图6是根据本发明实施例的另一种可选的多声道音频的处理装置的示意图,如图5和图6所示,该装置可以包括:
第一确定单元51,用于确定多声道音频的输出通道;
获取单元53,用于在输出通道的数量小于多声道音频的声道数量的情况下,获取多声道音频的多个声道数据和多个声道数据对应于输出通道的方位数据;
修正单元55,用于对方位数据进行修正,得到修正数据,以补充方位数据中丢失的数据;
第二确定单元57,用于基于修正数据和多个声道数据确定输出通道的输出数据。
通过上述方案,在多声道音频的输出通道的数量小于多声道音频的声道数量的情况下,也即,在需对多声道音频进行降通道处理的情况下,获取多声道音频的多个声道数据与输出通道对应的方位数据,补充方位数据中丢失的数据,基于修正后的数据和多个声道数据确定输出。在该方案中在对多声道音频文件进行降通道处理时使用多个声道信息的完整方位信息,从而可以准确确定两个通道的输出数据,解决了现有技术中对多声道音频文件进行降通道处理存在信息丢失的技术问题。
本发明上述实施例中的终端可以为移动终端,该移动终端上安装有用于播放音频的播放器,该播放器可以为能够播放音频的播放器,如音频播放器,视频播放器中用于播放音频的处理单元也在本申请的保护范围之内。
可选地,移动终端包括智能手机、平板电脑等手持设备,还可以包括可穿戴设备等,本申请对此不做限定。
其中,上述实施例中的播放器的播放通道小于多声道音频的声道数量,如,该播放器的播放通道为两个播放通道,如,输出通道包括第一通道和第二通道,其中,第一通道可以为左通道,第二通道可以为右通道。可选地,该方案可以应用在耳机回放多声道音频的场景中,左通道的输出为耳机左通道的输出,右通道的输出耳机右通道的输出。
上述实施例中,终端的处理器可以检测用于播放多声道音频的播放器的播放通道,该播放器的播放通道的数量即为多声道音频的输出通道的数量。
如,在播放器的输出为音响的情况下检测音响的数量,音响的数量即为播放器的输出通道的数量;在播放器的输出为耳机的情况下,播放器的输出通道的数量为两个。
可选地,处理器还可以检测播放器的能够正常工作的播放通道的数量,将能够正常工作的播放器的输出通道的数量确定为多声道音频的输出通道。
根据上述实施例,终端的存储器中可以存储多声道音频,在处理器接收到用于播放多声道音频的播放请求之后,从存储器中获取请求播放的多声道音频,并比较检测到的多声道音频的输出通道的数量与多声道音频的声道数量的大小,若多声道音频的输出通道的数量小于或等于多声道音频的声道数量,则可以直接通过该输出通道输出多声道音频,或者,按照输出通道的属性调整多声道音频的各个声道的数据,并通过输出通道输出,以使得各个声道的数据在输出通道中无损失的输出。
若多声道音频的输出通道的数量大于多声道音频的声道数量,则确定该多声道音频输出时需要降通道,则获取该多声道音频的多个声道数据和多个声道数据对应输出通道的方位数据。
可选地,多声道音频中可以包括该多声道音频的声道数量信息,可以根据该声道数量信息确定多声道音频的声道的数量。
在获取多个声道数据对应输出通道的方位数据时,可以获取每个声道数据对应输出通道的方位数据,例如,输出通道为1个,声道数据为n个,则可以获取n个方位数据。
例如,输出通道为两个,则获取多个声道数据对应第一通道的第一方位数据和多个声道数据对应第二通道的第二方位数据,若声道数据为n个,则可以获取2n个方位数据。
在上述技术方案中,在获取方位数据之后,可以对其进行修正,由于获取到的方位数据中可能存在缺失,在该技术方案中,可以将方位数据中丢失的数据补充上,从而在确定输出数据时,可以基于没有缺失的数据准确确定各个输出通道的输出数据。
在该技术方案中,可以分别对每个声道数据对应每个输出通道的方位数据进行修正,例如,输出通道为两个,可以对多个声道数据的第一方位数据进行修正得到第一修正数据,和对多个声道数据的第二方位数据进行修正得到第二修正数据,以补充第一方位数据和第二方位数据丢失的方位数据。
在获取修正后的数据之后,利用该修正后的数据确定各个通道的输出数据,例如,输出通道为两个,基于第一修正数据和多个声道数据确定第一通道的输出数据,并基于第二修正数据和多个声道数据确定第二通道的输出数据。
在输出通道为两个的情况下,获取多个声道数据对应第一通道的第一方位数据和多个声道数据对应第二通道的第二方位数据之后,对第一方位数据和第二方位数据进行修正,以补充第一方位数据和第二方位数据丢失的方位数据,并基于修正后的数据确定两个通道的输出数据。在上述方案中,基于多声道音频数据的多个声道数据确定两个通道的方位数据,并且对获取到的方位数据所丢失的数据进行了补充,在该方案中在对多声道音频文件进行降通道处理时使用多个声道信息的完整方位信息,从而可以准确确定两个通道的输出数据,解决了现有技术中对多声道音频文件进行降通道处理存在信息丢失的技术问题。
根据本发明的上述实施例,多个声道数据至少包括低音声道数据和至少两个基本声道数据,如图6所示,获取单元53包括:
叠加模块531,用于将低音声道数据叠加至该至少两个基本声道数据,得到叠加后的基本声道数据;获取模块533,用于获取叠加后的基本声道数据对应输出通道的方位数据。
具体地,叠加模块可以包括:叠加子模块,用于将低音声道数据叠加至至少两个基本声道数据中的左前声道数据和右前声道数据。
其中,叠加子模块具体用于:
按照如下公式将低音声道数据叠加至至少两个基本声道数据中的左前声道数据和右前声道数据:
L'=L+LFE*gain1,其中,L'表示叠加后的左前声道数据,L表示至少两个基本声道数据中的左前声道数据,LFE表示低音声道数据,gain1表示低音声道数据对应左前声道数据的混音增益;
R'=R+LFE*gain2,其中,R'表示叠加后的右前声道数据,R表示至少两个基本声道数据中的右前声道数据,gain2表示低音声道数据对应右前声道数据的混音增益。
根据本发明的上述实施例,如图6所示,修正单元55可以包括:第一修正模块551,用于对多个声道数据的第一方位数据进行频谱修正,得到频谱修正数据;第二修正模块553,用于对频谱修正数据进行混响修正,得到第一修正数据。
在一个可选的实施例中,第二确定单元可以包括:确定子单元,用于对修正数据和多个声道数据进行卷积叠加,得到输出通道的输出数据。
可选地,输出通道包括第一通道和第二通道,其中,确定子单元具体用于:
利用如下公式确定第一通道的输出数据:其中,Lt表示第一通道的输出数据,AxL表示第x个声道数据的第一修正数据,X表示第x个声道数据;
利用如下公式确定第二通道的输出数据:其中,Rt表示第一通道的输出数据,AxR表示第x个声道数据的第一修正数据,X表示第x个声道数据。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图1所示的硬件环境中,可以通过软件实现,也可以通过硬件实现。
实施例3
根据本发明实施例,还提供了一种用于实施上述多声道音频的处理方法的服务器或终端。
图7是根据本发明实施例的一种终端的结构框图,如图7所示,该终端可以包括:一个或多个(图中仅示出一个)处理器201、存储器203、以及传输装置205(如上述实施例中的发送装置),如图7所示,该终端还可以包括输入输出设备207。
其中,存储器203可用于存储软件程序以及模块,如本发明实施例中的多声道音频的处理方法和装置对应的程序指令/模块,处理器201通过运行存储在存储器203内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的多声道音频的处理方法。存储器203可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器203可进一步包括相对于处理器201远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置205用于经由一个网络接收或者发送数据,还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置205包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置205为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
其中,具体地,存储器203用于存储应用程序和多声道音频。
处理器201可以通过传输装置205调用存储器203存储的应用程序,以执行下述步骤:
确定待输出的多声道音频的输出通道;在输出通道的数量小于多声道音频的声道数量的情况下,获取多声道音频的多个声道数据和多个声道数据对应于输出通道的方位数据;对方位数据进行修正,得到修正数据,以补充方位数据中丢失的数据;基于修正数据和多个声道数据确定输出通道的输出数据。
处理器201还用于执行下述步骤:多个声道数据至少包括低音声道数据和至少两个基本声道数据,将低音声道数据叠加至至少两个基本声道数据,得到叠加后的基本声道数据;获取叠加后的基本声道数据对应输出通道的方位数据。
处理器201还用于执行下述步骤:将低音声道数据叠加至至少两个基本声道数据中的左前声道数据和右前声道数据。
处理器201还用于执行下述步骤:按照如下公式将低音声道数据叠加至至少两个基本声道数据中的左前声道数据和右前声道数据:
L'=L+LFE*gain1,其中,L'表示叠加后的左前声道数据,L表示至少两个基本声道数据中的左前声道数据,LFE表示低音声道数据,gain1表示低音声道数据对应左前声道数据的混音增益;
R'=R+LFE*gain2,其中,R'表示叠加后的右前声道数据,R表示至少两个基本声道数据中的右前声道数据,gain2表示低音声道数据对应右前声道数据的混音增益。
处理器201还用于执行下述步骤:对多个声道数据的方位数据进行频谱修正,得到频谱修正数据;对频谱修正数据进行混响处理,得到修正数据。
处理器201还用于执行下述步骤:对修正数据和多个声道数据进行卷积叠加,得到输出通道的输出数据。
处理器201还用于执行下述步骤:利用如下公式确定第一通道的输出数据:其中,Lt表示第一通道的输出数据,AxL表示第x个声道数据的第一修正数据,X表示第x个声道数据;
利用如下公式确定第二通道的输出数据:其中,Rt表示第一通道的输出数据,AxR表示第x个声道数据的第一修正数据,X表示第x个声道数据,其中,输出通道包括第一通道和第二通道。
在多声道音频的输出通道的数量小于多声道音频的声道数量的情况下,也即,在需对多声道音频进行降通道处理的情况下,获取多声道音频的多个声道数据与输出通道对应的方位数据,补充方位数据中丢失的数据,基于修正后的数据和多个声道数据确定输出。在该方案中在对多声道音频文件进行降通道处理时使用多个声道信息的完整方位信息,从而可以准确确定两个通道的输出数据,解决了现有技术中对多声道音频文件进行降通道处理存在信息丢失的技术问题。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图7所示的结构仅为示意,终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices,MID)、PAD等终端设备。图7其并不对上述电子装置的结构造成限定。例如,终端还可包括比图7中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图7所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例4
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行多声道音频的处理方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:确定待输出的多声道音频的输出通道;在输出通道的数量小于多声道音频的声道数量的情况下,获取多声道音频的多个声道数据和多个声道数据对应于输出通道的方位数据;对方位数据进行修正,得到修正数据,以补充方位数据中丢失的数据;基于修正数据和多个声道数据确定输出通道的输出数据。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:多个声道数据至少包括低音声道数据和至少两个基本声道数据,将低音声道数据叠加至该至少两个基本声道数据,得到叠加后的基本声道数据;获取叠加后的基本声道数据对应输出通道的方位数据。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:将低音声道数据叠加至至少两个基本声道数据中的左前声道数据和右前声道数据。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:按照如下公式将低音声道数据叠加至至少两个基本声道数据中的左前声道数据和右前声道数据:
L'=L+LFE*gain1,其中,L'表示叠加后的左前声道数据,L表示至少两个基本声道数据中的左前声道数据,LFE表示低音声道数据,gain1表示低音声道数据对应左前声道数据的混音增益;
R'=R+LFE*gain2,其中,R'表示叠加后的右前声道数据,R表示至少两个基本声道数据中的右前声道数据,gain2表示低音声道数据对应右前声道数据的混音增益。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:对多个声道数据的方位数据进行频谱修正,得到频谱修正数据;
对频谱修正数据进行混响处理,得到修正数据。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:对修正数据和多个声道数据进行卷积叠加,得到输出通道的输出数据。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:利用如下公式确定第一通道的输出数据:其中,Lt表示第一通道的输出数据,AxL表示第x个声道数据的第一修正数据,X表示第x个声道数据;
利用如下公式确定第二通道的输出数据:其中,Rt表示第一通道的输出数据,AxR表示第x个声道数据的第一修正数据,X表示第x个声道数据,其中,输出通道包括第一通道和第二通道。
在多声道音频的输出通道的数量小于多声道音频的声道数量的情况下,也即,在需对多声道音频进行降通道处理的情况下,获取多声道音频的多个声道数据与输出通道对应的方位数据,补充方位数据中丢失的数据,基于修正后的数据和多个声道数据确定输出。在该方案中在对多声道音频文件进行降通道处理时使用多个声道信息的完整方位信息,从而可以准确确定两个通道的输出数据,解决了现有技术中对多声道音频文件进行降通道处理存在信息丢失的技术问题。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (14)
1.一种多声道音频的处理方法,其特征在于,包括:
确定待输出的多声道音频的输出通道;
在所述输出通道的数量小于所述多声道音频的声道数量的情况下,获取所述多声道音频的多个声道数据和所述多个声道数据对应于输出通道的方位数据;
对所述方位数据进行修正,得到修正数据,以补充所述方位数据中丢失的数据;
基于所述修正数据和所述多个声道数据确定所述输出通道的输出数据。
2.根据权利要求1所述的方法,其特征在于,所述多个声道数据至少包括低音声道数据和至少两个基本声道数据,获取所述多个声道数据对应于输出通道的方位数据包括:
将所述低音声道数据叠加至所述至少两个基本声道数据,得到叠加后的基本声道数据;
获取所述叠加后的基本声道数据对应所述输出通道的方位数据。
3.根据权利要求2所述的方法,其特征在于,将所述低音声道数据叠加至所述至少两个基本声道数据包括:
将所述低音声道数据叠加至所述至少两个基本声道数据中的左前声道数据和右前声道数据。
4.根据权利要求3所述的方法,其特征在于,将所述低音声道数据叠加至所述至少两个基本声道数据中的左前声道数据和右前声道数据包括:
按照如下公式将所述低音声道数据叠加至所述至少两个基本声道数据中的左前声道数据和右前声道数据:
L'=L+LFE*gain1,其中,L'表示叠加后的左前声道数据,L表示所述至少两个基本声道数据中的左前声道数据,LFE表示所述低音声道数据,gain1表示所述低音声道数据对应所述左前声道数据的混音增益;
R'=R+LFE*gain2,其中,R'表示叠加后的右前声道数据,R表示所述至少两个基本声道数据中的右前声道数据,gain2表示所述低音声道数据对应所述右前声道数据的混音增益。
5.根据权利要求1所述的方法,其特征在于,对所述方位数据进行修正,得到修正数据包括:
对所述多个声道数据的方位数据进行频谱修正,得到频谱修正数据;
对所述频谱修正数据进行混响处理,得到所述修正数据。
6.根据权利要求1所述的方法,其特征在于,基于所述修正数据和所述多个声道数据确定所述输出通道的输出数据包括:
对所述修正数据和所述多个声道数据进行卷积叠加,得到所述输出通道的输出数据。
7.根据权利要求6所述的方法,其特征在于,所述输出通道包括第一通道和第二通道,其中,对所述修正数据和所述多个声道数据进行卷积叠加,得到所述输出通道的输出数据包括:
利用如下公式确定所述第一通道的输出数据:其中,Lt表示所述第一通道的输出数据,AxL表示第x个声道数据的第一修正数据,X表示第x个声道数据;
利用如下公式确定所述第二通道的输出数据:其中,Rt表示所述第一通道的输出数据,AxR表示第x个声道数据的第一修正数据,X表示第x个声道数据。
8.一种多声道音频的处理装置,其特征在于,包括:
第一确定单元,用于确定待输出的多声道音频的输出通道;
获取单元,用于在所述输出通道的数量小于所述多声道音频的声道数量的情况下,获取所述多声道音频的多个声道数据和所述多个声道数据对应于输出通道的方位数据;
修正单元,用于对所述方位数据进行修正,得到修正数据,以补充所述方位数据中丢失的数据;
第二确定单元,用于基于所述修正数据和所述多个声道数据确定所述输出通道的输出数据。
9.根据权利要求8所述的装置,其特征在于,所述多个声道数据至少包括低音声道数据和至少两个基本声道数据,所述获取单元包括:
叠加模块,用于将所述低音声道数据叠加至所述至少两个基本声道数据,得到叠加后的基本声道数据;
获取模块,用于获取所述叠加后的基本声道数据对应所述输出通道的方位数据。
10.根据权利要求9所述的装置,其特征在于,所述叠加模块包括:
叠加子模块,用于将所述低音声道数据叠加至所述至少两个基本声道数据中的左前声道数据和右前声道数据。
11.根据权利要求10所述的装置,其特征在于,所述叠加子模块具体用于:
按照如下公式将所述低音声道数据叠加至所述至少两个基本声道数据中的左前声道数据和右前声道数据:
L'=L+LFE*gain1,其中,L'表示叠加后的左前声道数据,L表示所述至少两个基本声道数据中的左前声道数据,LFE表示所述低音声道数据,gain1表示所述低音声道数据对应所述左前声道数据的混音增益;
R'=R+LFE*gain2,其中,R'表示叠加后的右前声道数据,R表示所述至少两个基本声道数据中的右前声道数据,gain2表示所述低音声道数据对应所述右前声道数据的混音增益。
12.根据权利要求8所述的装置,其特征在于,所述修正单元包括:
第一修正模块,用于对所述多个声道数据的第一方位数据进行频谱修正,得到频谱修正数据;
第二修正模块,用于对所述频谱修正数据进行混响修正,得到所述第一修正数据。
13.根据权利要求8所述的装置,其特征在于,所述第二确定单元包括:
确定子单元,用于对所述修正数据和所述多个声道数据进行卷积叠加,得到所述输出通道的输出数据。
14.根据权利要求13所述的装置,其特征在于,所述输出通道包括第一通道和第二通道,其中,所述确定子单元具体用于:
利用如下公式确定所述第一通道的输出数据:其中,Lt表示所述第一通道的输出数据,AxL表示第x个声道数据的第一修正数据,X表示第x个声道数据;
利用如下公式确定所述第二通道的输出数据:其中,Rt表示所述第一通道的输出数据,AxR表示第x个声道数据的第一修正数据,X表示第x个声道数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610741233.6A CN106373582B (zh) | 2016-08-26 | 2016-08-26 | 多声道音频的处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610741233.6A CN106373582B (zh) | 2016-08-26 | 2016-08-26 | 多声道音频的处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106373582A true CN106373582A (zh) | 2017-02-01 |
CN106373582B CN106373582B (zh) | 2020-08-04 |
Family
ID=57904218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610741233.6A Active CN106373582B (zh) | 2016-08-26 | 2016-08-26 | 多声道音频的处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106373582B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107749299A (zh) * | 2017-09-28 | 2018-03-02 | 福州瑞芯微电子股份有限公司 | 一种多音频输出方法和装置 |
CN108235052A (zh) * | 2018-01-09 | 2018-06-29 | 安徽小马创意科技股份有限公司 | 基于ios可选择多音频通道硬件混音、采集及播放的方法 |
CN108962272A (zh) * | 2018-06-21 | 2018-12-07 | 湖南优浪语音科技有限公司 | 拾音方法和系统 |
CN113473219A (zh) * | 2021-06-22 | 2021-10-01 | 四川长虹电器股份有限公司 | 实现原生多声道音频数据输出方法、装置及智能电视 |
CN113873421A (zh) * | 2021-12-01 | 2021-12-31 | 杭州当贝网络科技有限公司 | 一种基于投屏设备实现天空声音效的方法和系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1179074A (zh) * | 1996-10-08 | 1998-04-15 | 三星电子株式会社 | 利用两个扬声器再现多声道声音的装置及其方法 |
CN1244084A (zh) * | 1998-07-30 | 2000-02-09 | 财团法人资讯工业策进会 | 多声道信号的模拟装置及方法 |
CN101433099A (zh) * | 2006-01-05 | 2009-05-13 | 艾利森电话股份有限公司 | 多声道环绕声的个性化解码 |
US20120092566A1 (en) * | 2010-10-19 | 2012-04-19 | Samsung Electronics Co., Ltd. | Image processing apparatus, sound processing method used for image processing apparatus, and sound processing apparatus |
CN102802112A (zh) * | 2011-05-24 | 2012-11-28 | 鸿富锦精密工业(深圳)有限公司 | 具有音频文件格式转换功能的电子装置 |
CN104284286A (zh) * | 2013-07-04 | 2015-01-14 | Gn瑞声达A/S | 个体hrtf的确定 |
CN104396279A (zh) * | 2012-03-05 | 2015-03-04 | 无线电广播技术研究所有限公司 | 用于多声道音频信号的下混合的方法和设备 |
-
2016
- 2016-08-26 CN CN201610741233.6A patent/CN106373582B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1179074A (zh) * | 1996-10-08 | 1998-04-15 | 三星电子株式会社 | 利用两个扬声器再现多声道声音的装置及其方法 |
CN1244084A (zh) * | 1998-07-30 | 2000-02-09 | 财团法人资讯工业策进会 | 多声道信号的模拟装置及方法 |
CN101433099A (zh) * | 2006-01-05 | 2009-05-13 | 艾利森电话股份有限公司 | 多声道环绕声的个性化解码 |
US20120092566A1 (en) * | 2010-10-19 | 2012-04-19 | Samsung Electronics Co., Ltd. | Image processing apparatus, sound processing method used for image processing apparatus, and sound processing apparatus |
CN102802112A (zh) * | 2011-05-24 | 2012-11-28 | 鸿富锦精密工业(深圳)有限公司 | 具有音频文件格式转换功能的电子装置 |
CN104396279A (zh) * | 2012-03-05 | 2015-03-04 | 无线电广播技术研究所有限公司 | 用于多声道音频信号的下混合的方法和设备 |
CN104284286A (zh) * | 2013-07-04 | 2015-01-14 | Gn瑞声达A/S | 个体hrtf的确定 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107749299A (zh) * | 2017-09-28 | 2018-03-02 | 福州瑞芯微电子股份有限公司 | 一种多音频输出方法和装置 |
CN107749299B (zh) * | 2017-09-28 | 2021-07-09 | 瑞芯微电子股份有限公司 | 一种多音频输出方法和装置 |
CN108235052A (zh) * | 2018-01-09 | 2018-06-29 | 安徽小马创意科技股份有限公司 | 基于ios可选择多音频通道硬件混音、采集及播放的方法 |
CN108962272A (zh) * | 2018-06-21 | 2018-12-07 | 湖南优浪语音科技有限公司 | 拾音方法和系统 |
CN113473219A (zh) * | 2021-06-22 | 2021-10-01 | 四川长虹电器股份有限公司 | 实现原生多声道音频数据输出方法、装置及智能电视 |
CN113873421A (zh) * | 2021-12-01 | 2021-12-31 | 杭州当贝网络科技有限公司 | 一种基于投屏设备实现天空声音效的方法和系统 |
CN113873421B (zh) * | 2021-12-01 | 2022-03-22 | 杭州当贝网络科技有限公司 | 一种基于投屏设备实现天空声音效的方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106373582B (zh) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7502377B2 (ja) | 没入型オーディオ再生システム | |
CN106373582B (zh) | 多声道音频的处理方法和装置 | |
US10757529B2 (en) | Binaural audio reproduction | |
CN106576203B (zh) | 确定和使用房间优化传输函数 | |
US10313814B2 (en) | Apparatus and method for sound stage enhancement | |
JP6824155B2 (ja) | 音声再生システム及び方法 | |
US10341799B2 (en) | Impedance matching filters and equalization for headphone surround rendering | |
US20170325045A1 (en) | Apparatus and method for processing audio signal to perform binaural rendering | |
US10652686B2 (en) | Method of improving localization of surround sound | |
US10397730B2 (en) | Methods and systems for providing virtual surround sound on headphones | |
WO2006067893A1 (ja) | 音像定位装置 | |
US20180324541A1 (en) | Audio Signal Processing Apparatus and Method | |
US9560464B2 (en) | System and method for producing head-externalized 3D audio through headphones | |
JP6947936B2 (ja) | カンファレンスのためのサブバンド空間処理およびクロストークキャンセルシステム | |
JP6161706B2 (ja) | 音響処理装置、音響処理方法、及び音響処理プログラム | |
WO2011039413A1 (en) | An apparatus | |
US9510124B2 (en) | Parametric binaural headphone rendering | |
WO2018151858A1 (en) | Apparatus and method for downmixing multichannel audio signals | |
JP7384162B2 (ja) | 信号処理装置、信号処理方法、およびプログラム | |
CN108769864A (zh) | 音频均衡处理方法、装置以及电子设备 | |
EP4264963A1 (en) | Binaural signal post-processing | |
US6999590B2 (en) | Stereo sound circuit device for providing three-dimensional surrounding effect | |
US11665498B2 (en) | Object-based audio spatializer | |
US20230132774A1 (en) | Object-based Audio Spatializer | |
CN118301536A (zh) | 音频的虚拟环绕处理方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |