CN101065797B - 动态下混频的系统 - Google Patents

动态下混频的系统 Download PDF

Info

Publication number
CN101065797B
CN101065797B CN2005800406705A CN200580040670A CN101065797B CN 101065797 B CN101065797 B CN 101065797B CN 2005800406705 A CN2005800406705 A CN 2005800406705A CN 200580040670 A CN200580040670 A CN 200580040670A CN 101065797 B CN101065797 B CN 101065797B
Authority
CN
China
Prior art keywords
sound channel
subband
channel
voice data
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2005800406705A
Other languages
English (en)
Other versions
CN101065797A (zh
Inventor
罗伯特·W·里姆斯
杰弗里·K·托姆普森
阿伦·瓦尔纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DTS BVI AZ Research Ltd
Original Assignee
DTS BVI Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/975,841 external-priority patent/US7929708B2/en
Application filed by DTS BVI Ltd filed Critical DTS BVI Ltd
Publication of CN101065797A publication Critical patent/CN101065797A/zh
Application granted granted Critical
Publication of CN101065797B publication Critical patent/CN101065797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

提供了一种用于在音频数据的不同格式之间进行转换的音频空间环境引擎。音频空间环境引擎(100)允许在N声道数据和M声道数据之间进行灵活转换，并且允许从M声道数据转换回N’声道数据，其中，N、M和N’为整数，并且N不必等于N’。例如，这样的系统能够在整个为立体声数据设计的基础设施或网络上传输或存储环绕声音数据。音频空间环境引擎由于先进的动态下混频单元(102)和高分辨率频带上混频单元(104)而在不同的空间环境之间提供了改进和灵活的转换。动态下混频单元包括智能分析和校正环(108，110)，其能够校正许多下混频方法所共有的频谱、时间和空间的不准确性。上混频单元利用在整个高分辨率频带上提取并分析重要的声道间的空间提示来得到不同频率元素的空间布置。当下混频和上混频单元单独或作为系统使用时，提供了改进的声音质量和空间区别。

Description

动态下混频的系统
相关申请
本申请要求2004年10月28日提交的名称为“2-to-N Rendering”的美国临时申请60/622,922、2004年10月28日提交的名称为“AudioSpatial Environment Engine”的美国专利申请10/975,841、同此提交的名称为“Audio Spatial Environment Down-Mixer”的美国专利申请11/261,100(代理人案号13646.0014)、以及同此提交的名称为“AudioSpatial Environment Up-Mixer”的美国专利申请11/262,029(代理人案号13646.0012)的优先权，其中的每一个都被共同拥有并为了全部的目的而通过引用结合于此。
技术领域
本发明涉及音频数据处理领域，并且尤其涉及一种用于在音频数据的不同格式之间进行转换的系统和方法。
背景技术
用于处理音频数据的系统和方法在现有技术中是已知的。大多数这样的系统和方法用于处理已知音频环境的音频数据，该已知音频环境诸如双声道立体声环境、四声道立体声环境、五声道环绕声环境(也被称为5.1声道环境)或其它适当的格式或环境。
格式或环境数目增加引发的一个问题是：在第一环境中为了最佳音频质量而处理的音频数据通常不能够容易地在第二音频环境中使用。这个问题的一个例子是在整个为立体声数据设计的基础设施或网络上传输或存储环绕声音数据。因为用于立体双声道传输或存储的基础设施可能不支持环绕声格式的音频数据的附加声道，所以难以或者不可能用现有的基础设施传输或利用环绕声格式的数据。
发明内容
根据本发明，提供了一种用于音频空间环境引擎的系统和方法，其通过在空间音频环境之间进行转换而克服了已知的问题。
具体地，提供了一种用于音频空间环境引擎的系统和方法，其允许在N声道数据和M声道数据之间进行转换，并且允许从M声道数据转换返回N’声道数据，其中，N、M和N’为整数，并且N不必等于N’。
根据本发明示范性的实施例，提供了一种音频空间环境引擎，用于从N声道音频系统转换到M声道音频系统并回到N’声道音频系统，其中，N、M和N’为整数，并且N不必等于N’。音频空间环境引擎包括动态下混频器，其接收N个声道的音频数据并将N个声道的音频数据转换成M个声道的音频数据。音频空间环境引擎还包括上混频器，其接收M个声道的音频数据并将M个声道的音频数据转换成N’个声道的音频数据，其中N不必等于N’。这个系统的一个示范性应用是在整个为立体声数据设计的基础设施或网络上传输或存储环绕声音数据。动态下混频单元将环绕声音数据转换成立体声音数据以用于传输或存储，并且上混频单元将立体声音数据恢复成环绕声音数据以用于回放、处理或某些其它适当的用途。
本发明提供了许多重要的技术优点。本发明的一个重要技术优点是这样一种系统，其由于先进的动态下混频单元和高分辨率频带上混频单元而在不同的空间环境之间提供了改进和灵活的转换。动态下混频单元包括智能分析与校正环，用于校正许多下混频方法所共有的频谱、时间和空间的不准确性。上混频单元利用对整个高分辨率频带提取并分析重要的声道间的空间提示(cue)，来得到不同频率元素的空间布置。下混频和上混频单元当单独或作为系统使用时，提供了改进的声音质量和空间区别。
本领域技术人员在结合附图阅读随后的详细说明时，会进一步意识到本发明的优点和优越特征以及其它的重要方面。
附图说明
图1是根据本发明的示范性实施例的利用分析和校正环进行动态下混频的系统的示图；
图2是根据本发明的示范性实施例的用于从N个声道向M个声道进行下混频数据的系统的示图；
图3是根据本发明的示范性实施例的用于从5个声道向2个声道进行下混频数据的系统的示图；
图4是根据本发明的示范性实施例的子带(sub-band)矢量计算系统的示图；
图5是根据本发明的示范性实施例的子带校正系统的示图；
图6是根据本发明的示范性实施例的用于从M个声道向N个声道进行上混频数据的系统的示图；
图7是根据本发明的示范性实施例的用于从2个声道向5个声道进行上混频数据的系统的示图；
图8是根据本发明的示范性实施例的用于从2个声道向7个声道进行上混频数据的系统的示图；
图9是根据本发明的示范性实施例的用于提取声道间空间提示并产生用于频域应用的空间声道滤波的方法的示图；
图10A是根据本发明的示范性实施例的示范性左前声道滤波图的示图；
图10B是示范性右前声道滤波图的示图；
图10C是示范性中心声道滤波图的示图；
图10D是示范性左环绕声道滤波图的示图；以及
图10E是示范性右环绕声道滤波图的示图。
具体实施方式
在随后的说明中，贯穿本说明书和附图用相同的附图标记来标志相同的部分。附图可能没有按比例，并且某些组成部分能够以概括或示意性的形式显示，而且为了清楚和简明起见用商品名称来标识。
图1是根据本发明的示范性实施例的利用分析与校正环从N声道音频格式向M声道音频格式进行动态下混频的系统100的示图。系统100使用5.1声道声音(即，N＝5)，并且将5.1声道声音转换成立体声(即，M＝2)，但是其它适当数目的输入和输出声道也能够或代替地被使用。
使用基准下混频102、基准上混频104、子带矢量计算系统106和108以及子带校正系统110来实现系统100的动态下混频过程。通过基准上混频104、子带矢量计算系统106和108以及子带校正系统110实现分析和校正环，其中，基准上混频104模拟上混频过程，子带矢量计算系统106和108计算模拟的上混频和原始信号的每一频带的能量和位置矢量，以及子带校正系统110比较模拟的上混频和原始信号的能量和位置矢量，并且调整下混频信号的声道间空间提示以对任何不一致进行校正。
系统100包括静态基准下混频102，其将接收到的N声道音频转换成M声道音频。静态基准下混频102接收5.1声音声道左L(T)、右R(T)、中心C(T)、左环绕LS(T)和右环绕RS(T)，并且将5.1声道信号转换成立体声声道信号左水印LW’(T)和右水印RW’(T)。
左水印LW’(T)和右水印RW’(T)立体声道信号随后被提供给基准上混频104，其将立体声声道转换成5.1声音声道。基准上混频104输出5.1声音声道左L’(T)、右’R(T)、中心C’(T)、左环绕LS’(T)和右环绕RS’(T)。
从基准上混频104输出的上混频的5.1声道声音信号然后被提供给子带矢量计算系统106。来自子带矢量计算系统106的输出是用于上混频的5.1声道信号L’(T)、R’(T)、C’(T)、LS’(T)和RS’(T)的多个频带的上混频能量和图像位置数据。同样地，原始5.1声道的声音信号被提供给子带矢量计算系统108。来自子带矢量计算系统108输出的是用于原始5.1声道信号L(T)、R(T)、C(T)、LS(T)和RS(T)的多个频带的源能量和图像位置数据。子带矢量计算系统106和108计算的能量和位置矢量包括对于每一频带的总能量测量和2维矢量，其指示在理想收听条件下对于收听者的给定频率元素的感觉强度和源位置。例如，使用适当的滤波器组能够将音频信号从时域转换到频域，该滤波器组诸如有限脉冲响应(FIR)滤波器组、正交镜像滤波器(QMF)组、离散傅立叶变换(DFT)、时域混叠消除(TDAC)滤波器组或其它适当的滤波器组。滤波器组输出被进一步处理以确定每一频带的总能量和每一频带的标准化图像位置矢量。
从子带矢量计算系统106和108输出的能量和位置矢量值被提供给子带校正系统110，其分析用于原始5.1声道声音的源能量和位置与当从左水印LW’(T)和右水印RW’(T)立体声道信号生成时用于5.1声道声音的上混频能量和位置。然后，在产生LW(T)和RW(T)的左水印LW’(T)和右水印RW’(T)上对每一子带识别和校正源和上混频的能量与位置矢量之间的差，以便提供更加准确的下混频的立体声道信号，并且当立体声道信号随后被上混频时提供更加准确的5.1再现。校正的左水印LW(T)和右水印RW(T)信号被输出用于传输、由立体声接收机接收、由具有上混频功能的接收机接收或者用于其它适当的用途。
在工作中，通过包括整个下混频/上混频系统的模拟、分析和校正的智能分析和校正环，系统100将5.1声道声音动态地下混频到立体声声音。这种方法通过以下步骤完成，即，生成静态下混频立体声信号LW’(T)和RW’(T)；模拟随后的上混频信号L’(T)、R’(T)、C’(T)、LS’(T)和RS’(T)；以及分析那些信号与原始5.1声道信号以在子带的基础上识别和校正任何能量或位置矢量差，其能够影响左水印LW’(T)和右水印RW’(T)立体声信号或随后上混频的环绕声道信号的质量。产生左水印LW(T)和右水印RW(T)立体声信号的子带校正处理被执行，以便当LW(T)和RW(T)被上混频时，作为结果而得到的5.1声道声音以改进的准确性匹配原始输入的5.1声道声音。同样地，附加处理能够被执行，以便允许任何适当数目的输入声道被转换成适当数目的水印输出声道，诸如7.1声道声音转换成水印立体声、7.1声道声音转换成水印5.1声道声音、定制声音声道(诸如用于汽车音响系统或电影院之类)转换成立体声或者其它适当的转换。
图2是根据本发明的示范性实施例的静态基准下混频200的示图。静态基准下混频200能够作为图1的基准下混频102或者以其它适当的方式使用。
基准下混频200将N声道音频转换成M声道音频，其中，N和M为整数，并且N大于M。基准下混频200接收输入信号X1(T)、X2(T)到XN(T)。对于每个输入声道i，输入信号Xi(T)被提供给希尔伯特(Hilbert)变换单元202到206，其引入90°相移信号。诸如实现90°相移的希尔伯特滤波器或全通滤波器网络之类的其它处理也能够或代替地被使用而代替希尔伯特变换单元。对于每个输入声道i，希尔伯特变换信号和原始输入信号然后通过第一级乘法器208到218分别与预定比例常数Ci11和Ci12相乘，其中，第一个下标表示输入声道号i，第二个下标表示第一级乘法器，而第三个下标表示每级的乘法器号。乘法器208到218的输出然后被加法器220到224求和，生成分数希尔伯特信号X’i(T)。相对于相应的输入信号Xi(T)，从乘法器220到224输出的分数希尔伯特信号X’i(T)具有可变数量的相移。相移量取决于比例常数Ci11和Ci12，其中，0°相移可以对应于Ci11＝0和Ci12＝1，而±90°相移可以对应于Ci11＝±1和Ci12＝0。使用Ci11和Ci12的适当值，任何中间量的相移都是可能的。
用于每个输入声道i的每个信号X’i(T)然后通过第二级乘法器226到242与预定比例常数Ci2j相乘，其中，第一个下标表示输入声道号i，第二下标表示第二级乘法器，而第三个下标表示输出声道号j。乘法器226到242的输出然后被加法器244到248适当求和以生成用于每个输出声道j的相应输出信号Yj(T)。通过每个输入声道i和输出声道j的空间位置确定用于每个输入声道i和输出声道j的比例常数Ci2j。例如，用于左输入声道i和右输出声道j的比例常数Ci2j能够被设置为近似零以保持空间区别。同样地，用于前输入声道i和前输出声道j的比例常数Ci2j能够被设置为近似1以保持空间布置。
在工作中，在接收机接收输出信号时，基准下混频200以允许输入信号中的空间关系被任意管理和提取的方式将N个声道组合成M个声道。进而，如所示的N声道声音的组合生成M声道声音，其对于在M声道音频环境中收听的收听者是可接受的质量。因此，基准下混频200能够被用于将N声道声音转换成M声道声音，其能够被M声道接收机、具有适当上混频器的N声道接收机或其它适当接收机使用。
图3是根据本发明的示范性实施例的静态基准下混频300的示图。如图3所示，静态基准下混频300是图2的静态基准下混频200的实现，其将5.1声道时域数据转换成立体声道时域数据。静态基准下混频300能够作为图1的基准下混频102或以其它适当的方式使用。
基准下混频300包括希尔伯特变换302，其接收源5.1声道声音的左声道信号L(T)，并且对时间信号执行希尔伯特变换。希尔伯特变换引入信号的90°相移，然后其通过乘法器310与预定比例常数CL1相乘。诸如实现90°相移的希尔伯特滤波器或全通滤波器网络之类的其它处理也能够或代替地被使用而代替希尔伯特变换单元。原始左声道信号L(T)通过乘法器312与预定比例常数CL2相乘。乘法器310和312的输出被加法器320求和，以生成分数希尔伯特信号L’(T)。同样地，来自源5.1声道声音的右声道信号R(T)由希尔伯特变换304处理，并且通过乘法器314与预定比例常数CR1相乘。原始右声道信号R(T)通过乘法器316与预定比例常数CR2相乘。乘法器314和316的输出被加法器322求和，以生成分数希尔伯特信号R’(T)。相对于相应的输入信号L(T)和R(T)，从乘法器320和322输出的分数希尔伯特信号L’(T)和R’(T)分别具有可变量的相移。相移量取决于比例常数CL1、CL2、CR1和CR2，其中，0°相移可对应于CL1＝0，CL2＝1，CR1＝0和CR2＝1，而±90°相移可对应于CL1＝±1，CL2＝0，CR1＝±1和CR2＝0。使用CL1、CL2、CR1和CR2的适当值，任何中间量的相移都是可能的。来自源5.1声道声音的中心声道输入被提供给乘法器318作为分数希尔伯特信号C’(T)，意味着没有对中心声道输入信号进行相移。乘法器318使C’(T)与预定比例常数C3相乘，如衰减3分贝。加法器320和322以及乘法器318的输出被适当地求和成左水印声道LW’(T)和右水印声道RW’(T)。
来自源5.1声道声音的左环绕声道LS(T)被提供给希尔伯特变换306，而来自源5.1声道声音的右环绕声道RS(T)被提供给希尔伯特变换308。希尔伯特变换306和308的输出是分数希尔伯特信号LS’(T)和RS’(T)，意味着在LS(T)和LS’(T)信号对以及RS(T)和RS’(T)信号对之间存在满90°相移。LS’(T)然后通过乘法器324和326分别与预定比例常数CLS1和CLS2相乘。同样地，RS’(T)通过乘法器328和330分别与预定比例常数CRS1和CRS2相乘。乘法器324到330的输出被适当地提供给左水印声道LW’(T)和右水印声道RW’(T)。
加法器332接收从加法器320输出的左声道信号、从乘法器318输出的中心声道信号、从乘法器324输出的左环绕声道信号以及从乘法器328输出的右环绕声道信号，并且相加这些信号以形成左水印声道LW’(T)。同样地，加法器334接收从乘法器318输出的中心声道信号、从加法器322输出的右声道信号、从乘法器326输出的左环绕声道信号以及从乘法器330输出的右环绕声道信号，并且相加这些信号以形成右水印声道RW’(T)。
在工作中，在接收机接收左水印声道和右水印声道立体声信号时，基准下混频300以允许5.1输入声道中的空间关系被维持和提取的方式组合源5.1声道。进而，如所示的5.1声道声音的组合生成立体声声音，其对于使用没有进行环绕声上混频的立体声接收机的收听者是可接受的质量。因此，基准下混频300能够被用于将5.1声道声音转换成立体声的声音，其能够被立体声接收机、具有适当上混频器的5.1声道接收机、具有适当上混频器的7.1声道接收机或其它适当接收机使用。
图4是根据本发明示范性实施例的子带矢量计算系统400的示图。子带矢量计算系统400提供用于多个频带的能量和位置矢量数据，并且能够用作图1的子带矢量计算系统106和108。尽管示出了5.1声道声音，但是能够使用其它适当的声道配置。
子带矢量计算系统400包括时间-频率分析单元402到410。5.1时域声道L(T)、R(T)、C(T)、LS(T)和RS(T)分别被提供给时间-频率分析单元402到410，其将时域信号转换成频域信号。这些时间-频率分析单元能够是适当的滤波器组，诸如有限脉冲响应(FIR)滤波器组、正交镜像滤波器(QMF)组、离散傅立叶变换(DFT)、时域混叠消除(TDAC)滤波器组或其它适当的滤波器组。对于L(F)、R(F)、C(F)、LS(F)和RS(F)，从时间-频率分析单元402到410输出每一频带的幅度或能量值。这些幅度/能量值包括对每个相应声道的每个频带分量的幅度/能量测量。幅度/能量测量被加法器412求和，该加法器412输出T(F)，其中，T(F)是每一频带的输入信号的总能量。这个值然后被除法单元414到422分成声道幅度/能量值中的每一个，以生成相应的标准化声道间级差(ICLD)信号ML(F)、MR(F)、MC(F)、MLS(F)和MRS(F)，其中，这些ICLD信号能够被视为对每个声道的标准化子带能量估计。
5.1声道声音被映射到标准化位置矢量，如用由横轴和纵轴组成的2维平面上的示范性定位所示。如图所示，用于(XLS，YLS)的定位值被分配到原点，(XRS，YRS)的值被分配到(0，1)，(XL，YL)的值被分配到(0，1-C)，其中，C是1和0之间的值，表示左右扬声器离房间后面的退后距离。同样地，(XR，YR)的值为(1，1-C)。最后，用于(XC，YC)的值为(0.5，1)。这些坐标是示范性的，并且能够被改变以反映扬声器相对于彼此的实际标准化定位或配置，如扬声器坐标基于房间的大小、房间的形状或其它因素而不同。例如，在使用7.1声音或其它适当声道配置时，能够提供附加的坐标值，其反映扬声器在房间周围的定位。同样地，这样的扬声器定位能够基于扬声器在汽车、房间、礼堂、剧场或如其它适当地方中的实际分布来定制。
估计的图像位置矢量P(F)能够以如下矢量方程中阐述的那样对每一子带来计算：
P(F)＝ML(F)＊(XL，YL)+MR(F)＊(XR，YR)+MC(F)＊(XC，YC)+i.MLS(F)＊(XLS，YLS)+MRS(F)＊(XRS，YRS)
因此，对于每个频带，提供总能量T(F)的输出和位置矢量P(F)，它们被用来为该频带限定视在频率源的感觉强度和位置。以这种方式，频率分量的空间图像能够被定位，诸如用于子带校正系统110或用于其它适当的目的。
图5是根据本发明示范性实施例的子带校正系统的示图。子带校正系统能够用作图1的子带校正系统110或用于其它适当的目的。子带校正系统接收左水印LW’(T)和右水印RW’(T)立体声道信号，并且对水印信号进行能量和图像校正，以便为每个频带补偿作为基准下混频或其它适当方法的结果而可能产生的信号不准确性。子带校正系统对每个频带接收并利用源的总能量信号TSOURCE(F)和随后的上混频信号的总能量信号TUMIX(F)以及用于源的位置矢量PSOURCR(F)和随后的上混频信号的位置矢量PUMIX(F)，诸如图1的子带矢量计算系统106和108生成的那些。这些总能量信号和位置矢量用于确定将要进行的适当校正和补偿。
子带校正系统包括位置校正系统500和频谱能量校正系统502。位置校正系统500接收用于左水印立体声道LW’(T)和右水印立体声道RW’(T)的时域信号，其分别由时间-频率分析单元504和506从时域转换成频域。这些时间-频率分析单元能够是适当的滤波器组，诸如有限脉冲响应(FIR)滤波器组、正交镜像滤波器(QMF)组、离散傅立叶变换(DFT)、时域混叠消除(TDAC)滤波器组或其它适当的滤波器组。
时间-频率分析单元504和506的输出是频域子带信号LW’(F)和RW’(F)。在信号LW’(F)和RW’(F)中对于每一子带调整声道间级差(ICLD)和声道间相干性(ICC)的相关空间提示。例如，这些提示能够通过操纵LW’(F)和RW’(F)的幅度或能量(所示为LW’(F)和RW’(F)的绝对值)以及LW’(F)和RW’(F)的相角来调整。通过由乘法器508将LW’(F)的幅度/能量值与以下方程所生成的值相乘来进行ICLD的校正：
[XMAX-PX，SOURCE(F)]/[XMAX-PX，UMIX(F)]
其中
XMAX＝最大X坐标边界
PX，SOURCE(F)＝相对于源矢量的估计的子带X位置坐标
PX，UMIX(F)＝相对于随后上混频矢量的估计的子带X位置坐标
同样地，用于RW’(F)的幅度/能量通过乘法器510与以下方程所生成的值相乘：
[PX，SOURCE(F)-XMIN]/[PX，UMIX(F)-XMIN]
其中
XMIN＝最小X坐标边界
通过由加法器512将用于LW’(F)的相角与以下方程所生成的值相加来进行ICC的校正：
+/-∏＊[PY，SOURCE(F)-PY，UMrX(F)]/[YMAX-YMIN]
其中
PY，SOURCE(F)＝相对于源矢量的估计的子带Y位置坐标
PY，UMIX(F)＝相对于随后上混频矢量的估计的子带Y位置坐标
YMAX＝最大Y坐标边界
YMIN＝最小Y坐标边界
同样地，用于RW’(F)的相角通过加法器514与以下方程所生成的值相加：
-/+∏＊[PY，SOURCE(F)-PY，UMIX(F)]/[YMAX-YMIN]
注意，相加到LW’(F)和RW’(F)的角分量具有相等的值但具有相反的极性，其中，作为结果的极性由LW’(F)和RW’(F)之间的超前相角来确定。
校正的LW’(F)幅度/能量和LW’(F)相角被加法器516重新组合以形成用于每个子带的复值LW(F)，然后通过频率-时间综合单元520转换成左水印时域信号LW(T)。同样地，校正的RW’(F)幅度/能量和RW’(F)相角被加法器518重新组合以形成用于每个子带的复值RW(F)，然后通过频率-时间综合单元522转换成右水印时域信号RW(T)。频率-时间综合单元520和522能够是能将频域信号转换回时域信号的适当综合滤波器组。
如这个示范性实施例所示，通过使用适当调整ICLD和ICC空间提示的位置校正500，能够校正用于水印左和右声道信号的每个频谱分量的声道间空间提示。
频谱能量校正系统502能够用于确保下混频信号的总频谱平衡与原始5.1信号的总频谱平衡相一致，因此，例如就补偿了由梳状滤波造成的频谱偏移。分别使用时间-频率分析单元524和526来将左水印时域信号LW’(T)和右水印时域信号RW’(T)从时域转换到频域。这些时间-频率分析单元能够是适当的滤波器组，诸如有限脉冲响应(FIR)滤波器组、正交镜像滤波器(QMF)组、离散傅立叶变换(DFT)、时域混叠消除(TDAC)滤波器组或其它适当的滤波器组。从时间-频率分析单元524和526输出的是LW’(F)和RW’(F)频率子带信号，其通过乘法器528和530与TSOURCE(F)/TUMIX(F)相乘，其中
TSOURCE(F)＝|L(F)|+|R(F)|+|C(F)|+|LS(F)|+|RS(F)|
TUMIX(F)＝|LUMIX(F)|+|RUMIX(F)|+|CUMIX(F)|+|LSUMIX(F)|+|RSUMIX(F)|
来自乘法器528和530的输出然后被频率-时间综合单元532和534从频域转换回时域以生成LW(T)和RW(T)。频率-时间综合单元可以是能够将频域信号转换回时域信号的适当综合滤波器组。以这种方式，位置和能量校正能够被施加到下混频立体声道信号LW’(T)和RW’(T)，以便产生忠实于原始5.1信号的左和右水印声道信号LW(T)和RW(T)。LW(T)和RW(T)能够以立体声回放或上混频回到5.1声道或其它适当数目的声道，而不显著改变原始5.1声道声音中存在的任意内容元素的频谱分量位置或能量。
图6是根据本发明示范性实施例的用于从M个声道向N个声道上混频数据的系统600的示图。系统600将立体声时域数据转换成N声道时域数据。
系统600包括时间-频率分析单元602和604、滤波生成单元606、平滑单元608以及频率-时间综合单元634到638。通过允许高分辨率频带处理的可伸缩频域结构，并且通过提取并分析每频带的重要声道间的空间提示以得到上混频N声道信号中频率元素的空间布置的滤波生成方法，系统600在上混频过程中提供了改进的空间区别和稳定性。
系统600在将时域信号转换成频域信号的时间-频率分析单元602和604处接收左声道立体声信号L(T)和右声道立体声信号R(T)。这些时间-频率分析单元能够是适当的滤波器组，诸如有限脉冲响应(FIR)滤波器组、正交镜像滤波器(QMF)组、离散傅立叶变换(DFT)、时域混叠消除(TDAC)滤波器组或其它适当的滤波器组。从时间-频率分析单元602和604输出的是一组频域值，覆盖了人类听觉系统的充分的频率范围，如0到20kHz的频率范围，其中分析滤波器组子带带宽能够被处理以逼近心理声学的临界频带、等效矩形带宽或某种其它知觉特性。同样地，能够使用其它适当数目的频带和范围。
来自时间-频率分析单元602和604的输出被提供给滤波生成单元606。在一个示范性实施例中，滤波生成单元606能够接收关于应当为给定的环境而输出的声道数目的外部选择。例如，能够选择有两前和两后扬声器的4.1声道，能够选择有两前、两后和一个前中心扬声器的5.1音响系统，能够选择有两前、两侧、两后和一个前中心扬声器的7.1音响系统，或者能够选择其它适当的音响系统。滤波生成单元606在频带的基础上提取并分析诸如声道间级差(ICLD)和声道间相干性(ICC)之类的声道间空间提示。那些相关的空间提示然后用作参数以生成适应的声道滤波，其控制上混频声场中频带元素的空间布置。通过平滑单元608在整个时间和频率上均使声道滤波平滑以限制滤波可变性，所述滤波可变性如果被允许变化太迅速的话，能够造成讨厌的波动效应。在图6显示的示范性实施例中，左和右声道L(F)和R(F)频域信号被提供给滤波生成单元606，其产生N个声道滤波信号H1(F)、H2(F)到HN(F)，它们被提供给平滑单元608。
平滑单元608在整个时间和频率维数上为N个声道滤波中的每个声道平均化频域分量。在整个时间和频率上的平滑有助于控制声道滤波信号中的快速波动，因此就减少了能够令收听者讨厌的抖动赝象(jitterartifact)和不稳定性。在一个示范性实施例中，通过对根据当前帧的每个频带和根据以前帧的相应频带应用一阶低通滤波，能够实现时间平滑。这具有逐帧减少每个频带的可变性的效果。在另一个示范性实施例中，能够对整个频率槽(bin)的组进行频谱平滑，所述频率槽被模拟成近似人类听觉系统的临界频带间隔。例如，如果使用具有均匀间隔的频率槽的分析滤波器组，则对于频谱的不同分区能够对不同数目的频率槽分组和平均化。例如，从0到5kHz，能够平均化5个频率槽，从5kHz到10kHz，能够平均化7个频率槽，并且从10kHz到20kHz，能够平均化9个频率槽，或者能够选择其它适当数目的频率槽和带宽范围。从平滑单元608输出H1(F)、H2(F)到HN(F)的平滑值。
用于N个输出声道中的每一个的源信号X1(F)、X2(F)到XN(F)被生成为M个输入声道的适应组合。在图6显示的示范性实施例中，对于给定的输出声道i，从加法器614、620和626输出的声道源信号Xi(F)被生成为L(F)乘以适应的缩放信号Gi(F)和R(F)乘以适应缩放信号1-Gi(F)之和。乘法器610、612、616、618、622和624所使用的适应缩放信号Gi(F)是通过输出声道i的预期空间位置和每一频带的L(F)和R(F)的动态声道间相干性估计来确定的。同样地，被提供给加法器614、620和626的信号的极性通过输出声道i的预期空间位置来确定。例如，在加法器614、620和626处的适应缩放信号Gi(F)和极性能够被设计来为前中心声道提供L(F)+R(F)组合，为左声道提供L(F)，为右声道提供R(F)，以及为后声道提供L(F)-R(F)，如传统矩阵上混频方法中通用的那样。适应缩放信号Gi(F)能够进一步提供一方法以动态调整输出声道对之间的相互关系，无论它们是横向还是纵向的声道对。
声道源信号X1(F)、X2(F)到XN(F)分别通过乘法器628到632与平滑的声道滤波H1(F)、H2(F)到HN(F)相乘。
来自乘法器628到632的输出然后被频率-时间综合单元634到638从频域转换到时域以生成输出声道Y1(T)、Y2(T)到YN(T)。以这种方式，左和右立体声信号被上混频到N个声道信号，其中，自然存在的或者如通过图1的下混频水印过程或其它适当过程那样的被有意编码到左和右立体声信号中的声道间空间提示，能够用于控制系统600产生的N声道声场之内的频率元素的空间布置。同样地，能够使用输入和输出的其它适当组合，诸如立体声到7.1声音、5.1到7.1声音或者其它适当的组合。
图7是根据本发明的示范性实施例的用于从M个声道向N个声道上混频数据的系统700的示图。系统700将立体声时域数据转换成5.1声道时域数据。
系统700包括时间-频率分析单元702和704、滤波生成单元706、平滑单元708以及频率-时间综合单元738到746。通过允许高分辨率频带处理的可伸缩频域结构的使用，并且通过提取并分析每一频带的重要声道间的空间提示以得到上混频5.1声道信号中频率元素的空间布置的滤波生成方法，系统700在上混频过程中提供了改进的空间区别和稳定性。
系统700在将时域信号转换成频域信号的时间-频率分析单元702和704处接收左声道立体声信号L(T)和右声道立体声信号R(T)。这些时间-频率分析单元能够是适当的滤波器组，诸如有限脉冲响应(FIR)滤波器组、正交镜像滤波器(QMF)组、离散傅立叶变换(DFT)、时域混叠消除(TDAC)滤波器组或其它适当的滤波器组。从时间-频率分析单元702和704输出的是一组频域值，覆盖了人类听觉系统的充分的频率范围，如0到20kHz的频率范围，其中分析滤波器组子带带宽能够被处理以近似心理声学的临界频带、等效矩形带宽或某种其它知觉特性。同样地，能够使用其它适当数目的频带和范围。
来自时间-频率分析单元702和704的输出被提供给滤波生成单元706。在一个示范性实施例中，关于应当为给定环境而输出的声道数目，滤波生成单元706能够接收外部选择，诸如能够选择有两前和两后扬声器的4.1声道，能够选择有两前、两后和一个前中心扬声器的5.1音响系统，能够选择有两前和一个前中心扬声器的3.1音响系统，或者能够选择其它适当的音响系统。滤波生成单元706在频带的基础上提取并分析诸如声道间级差(ICLD)和声道间相干性(ICC)之类的声道间空间提示。那些相关的空间提示然后用作参数以生成适应的声道滤波，其控制上混频声场中频带元素的空间布置。通过平滑单元708在整个时间和频率上使声道滤波平滑以限制滤波可变性，所述滤波可变性如果被允许变化太迅速的话，能够造成讨厌的波动效应。在图7显示的示范性实施例中，左和右声道L(F)和R(F)频域信号被提供给滤波生成单元706，其产生5.1声道滤波信号HL(F)、HR(F)、HC(F)、HLS(F)和HRS(F)，它们被提供给平滑单元708。
平滑单元708在整个时间和频率维数上为5.1声道滤波中的每个声道平均化频域分量。在整个时间和频率上的平滑有助于控制声道滤波信号中的快速波动，因此，减少了能够令收听者讨厌的抖动赝象和不稳定性。在一个示范性实施例中，通过对根据当前帧的每个频带和根据先前帧的相应频带应用一阶低通滤波能够实现时间平滑。这具有逐帧减少每个频带的可变性的效果。在一个示范性实施例中，能够对整个频率槽组进行频谱平滑，所述频率槽被模拟成近似人类听觉系统的临界频带间隔。例如，如果使用具有均匀间隔的频率槽的分析滤波器组，则对于频谱的不同分区能够分组和平均化不同数目的频率槽。在这个示范性实施例中，从0到5kHz能够平均化5个频率槽，从5kHz到10kHz能够平均化7个频率槽，并且从10kHz到20kHz能够平均化9个频率槽，或者能够选择其它适当数目的频率槽和带宽范围。从平滑单元708输出HL(F)、HR(F)、HC(F)、HLS(F)和HRS(F)的平滑值。
用于5.1输出声道中的每一个的源信号XL(F)、XR(F)、XC(F)、XLS(F)和XRS(F)被生成为立体声输入声道的适应组合。在图7所示的示范性实施例中，XL(F)被简单地提供为L(F)，意味着对于全部频带都有GL(F)＝1。同样地，XR(F)被简单地提供为R(F)，意味着对于全部频带都有GR(F)＝0。作为从加法器714输出的XC(F)被计算为信号L(F)乘以适应缩放信号GC(F)与R(F)乘以适应缩放信号1-GC(F)的和。作为从加法器720输出的XLS(F)被计算为信号L(F)乘以适应缩放信号GLS(F)与R(F)乘以适应缩放信号1-GLS(F)的和。同样地，作为从加法器726输出的XRS(F)被计算为信号L(F)乘以适应缩放信号GRS(F)与R(F)乘以适应缩放信号1-GRS(F)的和。注意，如果对于全部频带都有GC(F)＝0.5、GLS(F)＝0.5，以及GRS(F)＝0.5，那么前中心声道源自L(F)+R(F)组合，并且环绕声道源自经缩放的L(F)-R(F)组合，如传统矩阵上混频方法中通用的那样。适应缩放信号GC(F)、GLS(F)和GRS(F)能够进一步提供一方法以动态调整相邻输出声道对之间的相关性，无论它们是横向还是纵向的声道对。声道源信号XL(F)、XR(F)、XC(F)、XLS(F)和XRS(F)分别通过乘法器728到736与平滑的声道滤波HL(F)、HR(F)、HC(F)、HLS(F)和HRS(F)相乘。
来自乘法器728到736的输出然后被频率-时间综合单元738到746从频域转换到时域以生成输出声道YL(T)、YR(T)、YC(F)、YLS(F)和YRS(T)。以这种方式，左和右立体声信号被上混频到5.1声道信号，其中，自然存在的或者如通过图1的下混频水印过程或其它适当过程那样的被有意编码到左和右立体声信号的声道间空间提示，能够用于控制系统700产生的5.1声道声场之内的频率元素的空间布置。同样地，能够使用输入和输出的其它适当组合，诸如立体声到4.1声音、4.1到5.1声音或者其它适当的组合。
图8是根据本发明的示范性实施例的用于从M个声道向N个声道上混频数据的系统800的示图。系统800将立体声时域数据转换成7.1声道时域数据。
系统800包括时间-频率分析单元802和804、滤波生成单元806、平滑单元808以及频率-时间综合单元854到866。通过允许高分辨率频带处理的可伸缩频域结构，并且通过提取并分析每一频带的重要声道间的空间提示以得到上混频7.1声道信号中频率元素的空间布置的滤波生成方法，系统800在上混频过程中提供了改进的空间区别和稳定性。
系统800在将时域信号转换成频域信号的时间-频率分析单元802和804处接收左声道立体声信号L(T)和右声道立体声信号R(T)。这些时间-频率分析单元能够是适当的滤波器组，诸如有限脉冲响应(FIR)滤波器组、正交镜像滤波器(QMF)组、离散傅立叶变换(DFT)、时域混叠消除(TDAC)滤波器组或其它适当的滤波器组。从时间-频率分析单元802和804输出的是一组频域值，其覆盖了人类听觉系统的充分的频率范围，如0到20kHz的频率范围，其中分析滤波器组子带带宽能够被处理成近似心理声学的临界频带、等效矩形带宽或某种其它知觉特性。同样地，能够使用其它适当数目的频带和范围。
来自时间-频率分析单元802和804的输出被提供给滤波生成单元806。在一个示范性实施例中，关于应当为给定的环境而输出的声道数目，滤波生成单元806能够接收外部选择。例如，能够选择有两前和两后扬声器的4.1声道，能够选择有两前、两后和一个前中心扬声器的5.1音响系统，能够选择有两前、两侧、两后和一个前中心扬声器的7.1音响系统，或者能够选择其它适当的音响系统。滤波生成单元806在频带的基础上提取并分析诸如声道间级差(ICLD)和声道间相干性(ICC)之类的声道间空间提示。那些相关的空间提示然后用作参数以生成适应的声道滤波，其控制上混频声场中频带元素的空间布置。通过平滑单元808在整个时间和频率上使声道滤波平滑以限制滤波可变性，所述滤波可变性如果被允许变化太迅速的话，能造成讨厌的波动效应。在图8所示的示范性实施例中，左和右声道L(F)和R(F)频域信号被提供给滤波生成单元806，其产生7.1声道滤波信号HL(F)、HR(F)、HC(F)、HLS(F)、HRS(F)、HLB(F)和HRB(F)，它们被提供给平滑单元808。
平滑单元808在整个时间和频率维数上为7.1声道滤波的每个声道平均化频域分量。在整个时间和频率上的平滑有助于控制声道滤波信号中的快速波动，因此，减少了能够令收听者讨厌的抖动赝象和不稳定性。在一个示范性实施例中，通过对根据当前帧的每个频带和根据先前帧的相应频带应用一阶低通滤波，能够实现时间平滑。这具有逐帧减少每个频带的可变性的效果。在一个示范性实施例中，能够在整个频率槽的组上进行频谱平滑，所述频率槽被模拟成近似人类听觉系统的临界频带间隔。例如，如果使用具有均匀间隔的频率槽的分析滤波器组，则对于频谱的不同分区能够分组和平均化不同数目的频率槽。在这个示范性实施例中，从0到5kHz能够平均化5个频率槽，从5kHz到10kHz能够平均化7个频率槽，并且从10kHz到20kHz能够平均化9个频率槽，或者能够选择其它适当数目的频率槽和带宽范围。从平滑单元808输出HL(F)、HR(F)、HC(F)、HLS(F)、HRS(F)、HLB(F)和HRB(F)的平滑值。
用于7.1输出声道中的每一个的源信号XL(F)、XR(F)、XC(F)、XLS(F)、XRS(F)、XLB(F)和XRB(F)被生成为立体声输入声道的适应组合。在图8显示的示范性实施例中，XL(F)被简单地提供为L(F)，意味着对于全部频带都有GL(F)＝1。同样地，XR(F)被简单地提供为R(F)，意味着对于全部频带都有GR(F)＝0。作为从加法器814输出的XC(F)被计算为信号L(F)乘以适应缩放信号GC(F)与R(F)乘以适应缩放信号1-GC(F)的和。作为从加法器820输出的XLS(F)被计算为信号L(F)乘以适应缩放信号GLS(F)与R(F)乘以适应缩放信号1-GLS(F)的和。同样地，作为从加法器826输出的XRS(F)被计算为信号L(F)乘以适应缩放信号GRS(F)与R(F)乘以适应缩放信号1-GRS(F)的和。同样地，作为从加法器832输出的XLB(F)被计算为信号L(F)乘以适应缩放信号GLB(F)与R(F)乘以适应缩放信号1-GLB(F)的和。同样地，作为从加法器838输出的XRB(F)被计算为信号L(F)乘以适应缩放信号GRB(F)与R(F)乘以适应缩放信号1-GRB(F)的和。注意，如果对于全部频带都有GC(F)＝0.5、GLS(F)＝0.5、GRS(F)＝0.5、GLB(F)＝0.5和GRB(F)＝0.5，那么前中心声道源自L(F)+R(F)组合，并且侧和后声道源自成比例的L(F)-R(F)组合，如传统矩阵上混频方法中通用的那样。适应缩放信号GC(F)、GLS(F)、GRS(F)、GLB(F)和GRB(F)能够进一步提供一方法以动态调整相邻输出声道对之间的相关性，无论它们是横向还是纵向的声道对。声道源信号XL(F)、XR(F)、XC(F)、XLS(F)、XRS(F)、XLB(F)和XRB(F)分别通过乘法器840到852与平滑的声道滤波HL(F)、HR(F)、HC(F)、HLS(F)、HRS(F)、HLB(F)和HRB(F)相乘。
来自乘法器840到852的输出然后被频率-时间综合单元854到866从频域转换到时域以生成输出声道YL(T)、YR(T)、YC(F)、YLS(F)、YRS(T)、YLB(T)和YRB(T)。以这种方式，左和右立体声信号被上混频到7.1声道信号，其中，自然存在的或者如通过图1的下混频水印过程或其它适当过程那样的被有意编码到左和右立体声信号的声道间空间提示，能够用于控制系统800产生的7.1声道声场内的频率元素的空间布置。同样地，能够使用输入和输出的其它适当组合，诸如立体声到5.1声音、5.1到7.1声音或者其它适当的组合。
图9是根据本发明示范性实施例的用于生成用于频域应用的滤波的系统900的示图。滤波生成过程使用M声道输入信号的频域分析和处理。为M声道输入信号的每个频带提取相关声道间空间提示，并且为每个频带生成空间位置矢量。对于理想收听条件下的收听者，这个空间位置矢量被解释为用于该频带的感觉源定位。然后生成每个声道滤波，以便用于上混频N声道输出信号中的该频率元素的作为结果的空间位置与声道间提示一致地再生。声道间级差(ICLD)和声道间相干性(ICC)的估计用作声道间提示以产生空间位置矢量。
在系统900中所示的示范性实施例中，子带幅度或能量分量被用于估计声道间级差，并且子带相角分量用于估计声道间相干性。左和右频域输入L(F)和R(F)被转换成幅度或能量分量和相角分量，其中，幅度/能量分量被提供给加法器902，其计算总能量信号T(F)，T(F)然后被用于通过除法器904和906分别为每个频带标准化左ML(F)和右声道MR(F)的幅度/能量值。然后，根据ML(F)和MR(F)计算标准化的横向坐标信号LAT(F)，其中，用于频带的标准化横向坐标被计算为：
LAT(F)＝ML(F)＊XMIN+MR(F)＊XMAX
同样地，标准化深度坐标根据输入的相角分量而被计算为：
DEP(F)＝YMAX-0.5＊(YMAX-YMIN)＊sqrt([COS(/L(F))-COS(/R(F))]^2+[SIN(/L(F))-SIN(/R(F))]^2)
标准化深度坐标基本上根据相角分量/L(F)和/R(F)之间的经缩放的和移位的距离测量结果来计算。当相角/L(F)和/R(F)在单位圆上相互接近时，DEP(F)的值接近1，并且当相角/L(F)和/R(F)接近单位圆的相对侧时，DEP(F)接近0。对于每个频带，标准化的横向坐标和深度坐标形成2维矢量(LAT(F)，DEP(F))，其被输入到2维声道图中，如以下图10A到10E中所示的那样，以产生用于每个声道i的滤波值Hi(F)。从诸如图6的滤波生成单元606、图7的滤波生成单元706和图8的滤波生成单元806之类的滤波生成单元输出这些用于每个声道i的声道滤波Hi(F)。
图10A是根据本发明示范性实施例的用于左前信号的滤波图的示图。在图10A中，滤波图1000接受从0到1范围的标准化横向坐标和从0到1范围的标准化深度坐标，并且输出从0到1范围的标准化滤波值。灰度阴影用于指示幅度从最大1到最小0的变化，如通过滤波图1000的右手侧的标度所示。对于这个示范性的左前滤波图1000，接近(0，1)的标准化横和深度坐标将输出接近1.0的最高滤波值，而从近似(0.6，Y)到(1.0，Y)范围的坐标，其中Y为0和1之间的数，将基本上输出0的滤波值。
图10B是示范性右前滤波图1002的示图。滤波图1002接受与滤波图1000相同的标准化横向坐标和标准化深度坐标，但是输出的滤波值偏向标准化布局的右前部。
图10C是示范性中心滤波图1004的示图。在这个示范性实施例中，用于中心滤波图1004的最大滤波值发生在标准化布局的中心，随着坐标从布局的前部中心离开朝向布局的后部移动，幅度显著下降。
图10D是示范性左环绕滤波图1006的示图。在这个示范性实施例中，用于左环绕滤波图1006的最大滤波值发生在标准化布局的后左坐标附近，并且随着坐标向布局的前右侧移动而幅度下降。
图10E是示范性右环绕滤波图1008的示图。在这个示范性实施例中，用于右环绕滤波图1008的最大滤波值发生在标准化布局的后右坐标附近，并且随着坐标向布局的前左侧移动而幅度下降。
同样地，如果使用其它的扬声器布局或配置，那么能够调整现有的滤波图，并且能够生成对应于新的扬声器定位的新的滤波图，以反映新的收听环境的变化。在一个示范性实施例中，7.1系统将包括两个另外的滤波图，其具有在深度坐标维度上向上移动的左环绕和右环绕，并且具有左后和右后定位，具有分别类似于滤波图1006和1008的滤波图。能够改变滤波因数下降的速率以适应不同数目的扬声器。
尽管在此已详细地描述了本发明的系统和方法的示范性实施例，但是本领域技术人员还会认识到，能够对系统和方法进行各种替换和修改，而不背离附加权利要求的范围和精神。

Claims (8)

1.一种用于从N声道音频系统向M声道音频系统转换的动态下混频的系统，其中，M和N为整数，并且，N大于M，包括：
基准下混频器，其接收N个声道的音频数据并将所述N个声道的音频数据转换成M个声道的音频数据；
基准上混频器，其接收所述M个声道的音频数据并将所述M个声道的音频数据转换成N’个声道的音频数据，其中，N’为整数；以及
校正系统，其接收所述M个声道的音频数据、所述N个声道的音频数据和所述N’个声道的音频数据，并且基于所述N个声道的音频数据和所述N’个声道的音频数据之间的差来校正所述M个声道的音频数据，
其中，所述校正系统进一步包括：
第一子带矢量校准单元，其接收所述N个声道的音频数据，并且生成第一多个子带的音频空间图像数据；
第二子带矢量校准单元，其接收所述N’个声道的音频数据，并且生成第二多个子带的音频空间图像数据；以及
所述校正系统接收所述第一多个子带的音频空间图像数据和所述第二多个子带的音频空间图像数据，并且基于所述第一多个子带的音频空间图像数据和所述第二多个子带的音频空间图像数据之间的差来校正所述M个声道的音频数据。
2.如权利要求1所述的动态下混频的系统，其中，所述第一多个子带的音频空间图像数据和所述第二多个子带的音频空间图像数据中的每一个具有相关的能量值和位置值。
3.如权利要求2所述的动态下混频的系统，其中，所述位置值中的每一个表示二维空间中音频空间图像数据的相关子带的中心的视在定位，其中所述中心的坐标由与N个扬声器中的每一个相关能量值和所述N个扬声器中的每一个的坐标的矢量和确定。
4.如权利要求1所述的动态下混频的系统，其中，所述基准下混频器进一步包括多个分数希尔伯特级，其中每个接收所述N个声道的音频数据中的一个，并且向相关声道的音频数据施加预定的相移。
5.如权利要求4所述的动态下混频的系统，其中，所述基准下混频器进一步包括多个求和级，其被耦合到所述多个分数希尔伯特级，并且以预定方式组合来自所述希尔伯特级的输出以生成所述M个声道的音频数据。
6.如权利要求1所述的动态下混频的系统，其中，所述基准上混频器进一步包括：
时域到频域转换级，其接收所述M个声道的音频数据，并且生成多个子带的音频空间图像数据；
滤波发生器，其接收所述M个声道的多个子带的音频空间图像数据，并且生成N’个声道的多个子带的音频空间图像数据；
平滑级，其接收所述N’个声道的所述多个子带的音频空间图像数据，并且平均化每个子带与一个或多个相邻子带；
求和级，其被耦合到所述平滑级，并且接收所述M个声道的多个子带的音频空间图像数据和所平滑的N’个声道的所述多个子带的音频空间图像数据，并且生成经缩放的N’个声道的所述多个子带的音频空间图像数据；以及
频域到时域转换级，其接收所述缩放的N’个声道的所述多个子带的音频空间图像数据，并且生成所述N’个声道的音频数据。
7.如权利要求1所述的动态下混频的系统，其中，所述第一子带矢量校准单元进一步包括：
时域到频域转换级，其接收所述N个声道的音频数据，并且生成所述第一多个子带的音频空间图像数据；
第一子带能量级，其接收所述第一多个子带的音频空间图像数据，并且生成用于每个子带的第一能量值；以及
第一子带位置级，其接收所述第一多个子带的音频空间图像数据，并且生成用于每个子带的第一位置矢量。
8.如权利要求7所述的动态下混频的系统，其中，所述第二子带矢量校准单元进一步包括：
第二子带能量级，其接收所述第二多个子带的音频空间图像数据，并且生成用于每个子带的第二能量值；以及
第二子带位置级，其接收所述第二多个子带的音频空间图像数据，并且生成用于每个子带的第二位置矢量。
CN2005800406705A 2004-10-28 2005-10-28 动态下混频的系统 Active CN101065797B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US62292204P 2004-10-28 2004-10-28
US10/975,841 US7929708B2 (en) 2004-01-12 2004-10-28 Audio spatial environment engine
US10/975,841 2004-10-28
US60/622,922 2004-10-28
PCT/US2005/038961 WO2006050112A2 (en) 2004-10-28 2005-10-28 Audio spatial environment engine

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201110064948XA Division CN102117617B (zh) 2004-10-28 2005-10-28 音频空间环境引擎
CN201210254387.4A Division CN102833665B (zh) 2004-10-28 2005-10-28 音频空间环境引擎

Publications (2)

Publication Number Publication Date
CN101065797A CN101065797A (zh) 2007-10-31
CN101065797B true CN101065797B (zh) 2011-07-27

Family

ID=36090916

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2005800406705A Active CN101065797B (zh) 2004-10-28 2005-10-28 动态下混频的系统
CN201110064948XA Active CN102117617B (zh) 2004-10-28 2005-10-28 音频空间环境引擎
CN201210254387.4A Active CN102833665B (zh) 2004-10-28 2005-10-28 音频空间环境引擎

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201110064948XA Active CN102117617B (zh) 2004-10-28 2005-10-28 音频空间环境引擎
CN201210254387.4A Active CN102833665B (zh) 2004-10-28 2005-10-28 音频空间环境引擎

Country Status (8)

Country Link
US (1) US20070297519A1 (zh)
EP (1) EP1810280B1 (zh)
JP (1) JP4917039B2 (zh)
KR (3) KR101283741B1 (zh)
CN (3) CN101065797B (zh)
HK (1) HK1158805A1 (zh)
PL (1) PL1810280T3 (zh)
WO (1) WO2006050112A2 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI396188B (zh) * 2005-08-02 2013-05-11 Dolby Lab Licensing Corp 依聆聽事件之函數控制空間音訊編碼參數的技術
WO2007083957A1 (en) * 2006-01-19 2007-07-26 Lg Electronics Inc. Method and apparatus for decoding a signal
US20080191172A1 (en) * 2006-12-29 2008-08-14 Che-Hsiung Hsu High work-function and high conductivity compositions of electrically conducting polymers
US8107631B2 (en) * 2007-10-04 2012-01-31 Creative Technology Ltd Correlation-based method for ambience extraction from two-channel audio signals
US8126172B2 (en) * 2007-12-06 2012-02-28 Harman International Industries, Incorporated Spatial processing stereo system
WO2009084920A1 (en) 2008-01-01 2009-07-09 Lg Electronics Inc. A method and an apparatus for processing a signal
KR20110049863A (ko) * 2008-08-14 2011-05-12 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 신호 트랜스포맷팅
US8000485B2 (en) * 2009-06-01 2011-08-16 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
JP5267362B2 (ja) * 2009-07-03 2013-08-21 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムならびに映像伝送装置
CN102550048B (zh) * 2009-09-30 2015-03-25 诺基亚公司 一种用于处理音频信号的方法和装置
US9111528B2 (en) 2009-12-10 2015-08-18 Reality Ip Pty Ltd Matrix decoder for surround sound
CN102656627B (zh) * 2009-12-16 2014-04-30 诺基亚公司 多信道音频处理方法和装置
EP2464146A1 (en) * 2010-12-10 2012-06-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decomposing an input signal using a pre-calculated reference curve
CN103000180A (zh) * 2012-11-20 2013-03-27 上海中科高等研究院 环绕声矩阵编解码系统及其实现方法
CN108806706B (zh) * 2013-01-15 2022-11-15 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
US9093064B2 (en) 2013-03-11 2015-07-28 The Nielsen Company (Us), Llc Down-mixing compensation for audio watermarking
JP6216553B2 (ja) * 2013-06-27 2017-10-18 クラリオン株式会社 伝搬遅延補正装置及び伝搬遅延補正方法
US9560449B2 (en) 2014-01-17 2017-01-31 Sony Corporation Distributed wireless speaker system
US9402145B2 (en) 2014-01-24 2016-07-26 Sony Corporation Wireless speaker system with distributed low (bass) frequency
US9426551B2 (en) 2014-01-24 2016-08-23 Sony Corporation Distributed wireless speaker system with light show
US9369801B2 (en) 2014-01-24 2016-06-14 Sony Corporation Wireless speaker system with noise cancelation
US9866986B2 (en) 2014-01-24 2018-01-09 Sony Corporation Audio speaker system with virtual music performance
US9232335B2 (en) 2014-03-06 2016-01-05 Sony Corporation Networked speaker system with follow me
JP6520937B2 (ja) * 2014-06-06 2019-05-29 ソニー株式会社 オーディオ信号処理装置および方法、符号化装置および方法、並びにプログラム
US9774974B2 (en) * 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
KR101993348B1 (ko) * 2014-09-24 2019-06-26 한국전자통신연구원 동적 포맷 변환을 지원하는 오디오 메타데이터 제공 장치 및 오디오 데이터 재생 장치, 상기 장치가 수행하는 방법 그리고 상기 동적 포맷 변환들이 기록된 컴퓨터에서 판독 가능한 기록매체
US9852744B2 (en) * 2014-12-16 2017-12-26 Psyx Research, Inc. System and method for dynamic recovery of audio data
US20160294484A1 (en) * 2015-03-31 2016-10-06 Qualcomm Technologies International, Ltd. Embedding codes in an audio signal
CN105101039B (zh) * 2015-08-31 2018-12-18 广州酷狗计算机科技有限公司 立体声还原方法及装置
US9693168B1 (en) 2016-02-08 2017-06-27 Sony Corporation Ultrasonic speaker assembly for audio spatial effect
US9826332B2 (en) 2016-02-09 2017-11-21 Sony Corporation Centralized wireless speaker system
US9924291B2 (en) 2016-02-16 2018-03-20 Sony Corporation Distributed wireless speaker system
US9826330B2 (en) 2016-03-14 2017-11-21 Sony Corporation Gimbal-mounted linear ultrasonic speaker assembly
US9693169B1 (en) 2016-03-16 2017-06-27 Sony Corporation Ultrasonic speaker assembly with ultrasonic room mapping
US9794724B1 (en) 2016-07-20 2017-10-17 Sony Corporation Ultrasonic speaker assembly using variable carrier frequency to establish third dimension sound locating
US10075791B2 (en) 2016-10-20 2018-09-11 Sony Corporation Networked speaker system with LED-based wireless communication and room mapping
US9854362B1 (en) 2016-10-20 2017-12-26 Sony Corporation Networked speaker system with LED-based wireless communication and object detection
US9924286B1 (en) 2016-10-20 2018-03-20 Sony Corporation Networked speaker system with LED-based wireless communication and personal identifier
ES2913204T3 (es) * 2017-02-06 2022-06-01 Savant Systems Inc Arquitectura de interconexión de A/V que incluye un punto final de A/V transmisor de mezcla descendente de audio y amplificación de canal distribuida
US10616684B2 (en) 2018-05-15 2020-04-07 Sony Corporation Environmental sensing for a unique portable speaker listening experience
WO2019229199A1 (en) * 2018-06-01 2019-12-05 Sony Corporation Adaptive remixing of audio content
US10292000B1 (en) 2018-07-02 2019-05-14 Sony Corporation Frequency sweep for a unique portable speaker listening experience
US10567871B1 (en) 2018-09-06 2020-02-18 Sony Corporation Automatically movable speaker to track listener or optimize sound performance
US10623859B1 (en) 2018-10-23 2020-04-14 Sony Corporation Networked speaker system with combined power over Ethernet and audio delivery
US11599329B2 (en) 2018-10-30 2023-03-07 Sony Corporation Capacitive environmental sensing for a unique portable speaker listening experience
KR20220013630A (ko) * 2020-07-27 2022-02-04 삼성전자주식회사 오디오의 채널의 수를 변환하는 전자 장치 및 전자 장치의 동작 방법
KR102529400B1 (ko) * 2021-02-19 2023-05-10 한국전자통신연구원 오디오 메타데이터 제공 장치 및 방법, 오디오 데이터 제공 장치 및 방법, 오디오 데이터 재생 장치 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1175182A (zh) * 1996-08-14 1998-03-04 德国汤姆逊-布朗特公司 由单声道信号产生多声道信号的方法和装置
US5796844A (en) * 1996-07-19 1998-08-18 Lexicon Multichannel active matrix sound reproduction with maximum lateral separation
CN1264533A (zh) * 1997-07-16 2000-08-23 多尔拜实验特许公司 多声道低比特率编码解码方法和设备
US20020071574A1 (en) * 2000-12-12 2002-06-13 Aylward J. Richard Phase shifting audio signal combining
CN1391782A (zh) * 1999-12-03 2003-01-15 多尔拜实验特许公司 从两路输入音频信号中导出至少三路音频信号的方法
US20040105550A1 (en) * 2002-12-03 2004-06-03 Aylward J. Richard Directional electroacoustical transducing
CN1524399A (zh) * 2001-02-07 2004-08-25 ʵ 声道转换
CN1998046A (zh) * 2004-11-02 2007-07-11 编码技术股份公司 改善基于预测的多声道重构的性能的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3732370A (en) * 1971-02-24 1973-05-08 United Recording Electronic In Equalizer utilizing a comb of spectral frequencies as the test signal
US4458362A (en) * 1982-05-13 1984-07-03 Teledyne Industries, Inc. Automatic time domain equalization of audio signals
US4748669A (en) * 1986-03-27 1988-05-31 Hughes Aircraft Company Stereo enhancement system
US4866774A (en) * 1988-11-02 1989-09-12 Hughes Aircraft Company Stero enhancement and directivity servo
US5434948A (en) * 1989-06-15 1995-07-18 British Telecommunications Public Limited Company Polyphonic coding
US5481615A (en) * 1993-04-01 1996-01-02 Noise Cancellation Technologies, Inc. Audio reproduction system
KR100287494B1 (ko) * 1993-06-30 2001-04-16 이데이 노부유끼 디지탈신호의부호화방법및장치,복호화방법및장치와부호화시킨신호의기록매체
DE4409368A1 (de) 1994-03-18 1995-09-21 Fraunhofer Ges Forschung Verfahren zum Codieren mehrerer Audiosignale
US6173061B1 (en) * 1997-06-23 2001-01-09 Harman International Industries, Inc. Steering of monaural sources of sound using head related transfer functions
TW390104B (en) * 1998-08-10 2000-05-11 Acer Labs Inc Method and device for down mixing of multi-sound-track compression audio frequency bit stream
US6839675B2 (en) * 2001-02-27 2005-01-04 Euphonix, Inc. Real-time monitoring system for codec-effect sampling during digital processing of a sound source
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
CA2354858A1 (en) * 2001-08-08 2003-02-08 Dspfactory Ltd. Subband directional audio signal processing using an oversampled filterbank
EP1502361B1 (en) * 2002-05-03 2015-01-14 Harman International Industries Incorporated Multi-channel downmixing device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796844A (en) * 1996-07-19 1998-08-18 Lexicon Multichannel active matrix sound reproduction with maximum lateral separation
CN1175182A (zh) * 1996-08-14 1998-03-04 德国汤姆逊-布朗特公司 由单声道信号产生多声道信号的方法和装置
CN1264533A (zh) * 1997-07-16 2000-08-23 多尔拜实验特许公司 多声道低比特率编码解码方法和设备
CN1391782A (zh) * 1999-12-03 2003-01-15 多尔拜实验特许公司 从两路输入音频信号中导出至少三路音频信号的方法
US20020071574A1 (en) * 2000-12-12 2002-06-13 Aylward J. Richard Phase shifting audio signal combining
CN1524399A (zh) * 2001-02-07 2004-08-25 ʵ 声道转换
US20040105550A1 (en) * 2002-12-03 2004-06-03 Aylward J. Richard Directional electroacoustical transducing
CN1998046A (zh) * 2004-11-02 2007-07-11 编码技术股份公司 改善基于预测的多声道重构的性能的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Carlos Avendano, et. al..ambience extraction and synthesis from stereo signals for multi-channel audio up-mix..《ACOUSTIC, SPEECH, AND SIGNAL PROCESSING, 2002. PROCEEDINGS. IEEE INTERNATIONAL CONFERENCE ON》.2002,第2卷 *
Tomohiro Mouri, et. al..Surround Sound Reproducing System With Two Front Speakers.《Consumer Electronics, 1997. Digest of Technical Papers. ICCE., International Conference on》.1997, *

Also Published As

Publication number Publication date
CN102117617A (zh) 2011-07-06
EP1810280B1 (en) 2017-08-02
WO2006050112A8 (en) 2006-12-21
CN102833665B (zh) 2015-03-04
US20070297519A1 (en) 2007-12-27
CN101065797A (zh) 2007-10-31
KR20120064134A (ko) 2012-06-18
CN102117617B (zh) 2013-01-30
KR20070084552A (ko) 2007-08-24
EP1810280A2 (en) 2007-07-25
WO2006050112A2 (en) 2006-05-11
HK1158805A1 (en) 2012-07-20
JP2008519491A (ja) 2008-06-05
WO2006050112A3 (en) 2006-07-27
JP4917039B2 (ja) 2012-04-18
KR20120062027A (ko) 2012-06-13
KR101177677B1 (ko) 2012-08-27
WO2006050112A9 (en) 2006-11-09
PL1810280T3 (pl) 2018-01-31
CN102833665A (zh) 2012-12-19
KR101210797B1 (ko) 2012-12-10
KR101283741B1 (ko) 2013-07-08

Similar Documents

Publication Publication Date Title
CN101065797B (zh) 动态下混频的系统
US7853022B2 (en) Audio spatial environment engine
US20060106620A1 (en) Audio spatial environment down-mixer
CN106165454B (zh) 音频信号处理方法和设备
CN101263741B (zh) 产生和处理表示hrtf的参数的方法和设备
US20070223740A1 (en) Audio spatial environment engine using a single fine structure
US8180062B2 (en) Spatial sound zooming
CN103348703B (zh) 用以利用预先算出的参考曲线来分解输入信号的装置和方法
CN101853660B (zh) 用于双声道提示码编码方案和类似方案的散射声音整形
CN101669167A (zh) 用于在多声道音频格式之间进行转换的方法和设备
Faller Parametric multichannel audio coding: synthesis of coherence cues
US20060093164A1 (en) Audio spatial environment engine
CN106796792A (zh) 用于增强音频信号的装置和方法、声音增强系统
CN105578379A (zh) 用于产生具有至少两个输出通道的输出信号的装置和方法
CN101816192A (zh) 用于头戴耳机再现的方法、头戴耳机再现系统、计算机程序产品
CN109036441A (zh) 对高阶高保真立体声信号应用动态范围压缩的方法和设备
WO2017055485A1 (en) Method and apparatus for generating 3d audio content from two-channel stereo content
Kraft et al. Low-complexity stereo signal decomposition and source separation for application in stereo to 3D upmixing
AU2012252490A1 (en) Apparatus and method for generating an output signal employing a decomposer

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: DTS (BRITISH VIRGIN ISLANDS) LIMITED

Free format text: FORMER OWNER: NEURAL AUDIO CO.,LTD.

Effective date: 20090821

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090821

Address after: The British Virgin Islands of Tortola

Applicant after: DTS BVI Az Res Ltd.

Address before: Washington State

Applicant before: Neural Audio Inc.

C14 Grant of patent or utility model
GR01 Patent grant