CN102144405A - 耳间时间延迟恢复系统和方法 - Google Patents

耳间时间延迟恢复系统和方法 Download PDF

Info

Publication number
CN102144405A
CN102144405A CN200980134440.3A CN200980134440A CN102144405A CN 102144405 A CN102144405 A CN 102144405A CN 200980134440 A CN200980134440 A CN 200980134440A CN 102144405 A CN102144405 A CN 102144405A
Authority
CN
China
Prior art keywords
correction coefficient
time delay
voice data
passage
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200980134440.3A
Other languages
English (en)
Other versions
CN102144405B (zh
Inventor
J·D·约翰斯顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DTS BVI Ltd
Original Assignee
DTS BVI Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DTS BVI Ltd filed Critical DTS BVI Ltd
Publication of CN102144405A publication Critical patent/CN102144405A/zh
Application granted granted Critical
Publication of CN102144405B publication Critical patent/CN102144405B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07Synergistic effects of band splitting and sub-band processing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

一种用于处理音频数据的设备,包括:耳间时间延迟校正系数单元,用于接收多个音频数据通道并生成耳间时间延迟校正系数。耳间时间延迟校正系数插入单元,用于根据所述耳间时间延迟校正系数,修改所述多个音频数据通道。

Description

耳间时间延迟恢复系统和方法
技术领域
本发明涉及用于处理音频数据的系统,更具体地涉及用于恢复立体声或其它多通道音频数据的耳间时间延迟(interaural time delay)的系统和方法。
背景技术
当音频数据被处理以生成合成音频时,通常使用混音器来混合这样的音频数据,混音器利用声像电位器(panning potentiometer)或模拟声像电位器功能的其它系统或装置。声像电位器可以用于将单个输入通道分配至两个或更多个输出通道,例如左和右立体声输出,从而模拟在相对于听众的最左位置和最右位置之间的空间位置。然而,这样的声像电位器通常不会加入在现场表演中通常存在的耳间时间差。
发明内容
根据本发明,提供了用于耳间时间延迟恢复的系统和方法,其基于两个或更多个音频数据通道的相对幅度,在这些音频数据通道之间加入与所估计的耳间延迟相对应的时间延迟。
根据本发明的示例性实施例,提供了用于处理音频数据的设备。该设备包括耳间时间延迟校正系数单元,用于接收多个音频数据通道并生成耳间时间延迟校正系数,诸如在这多个音频数据通道包括不具有相关联的耳间时间延迟的声像数据的情况下。耳间时间延迟校正系数插入单元根据耳间时间延迟校正系数修改这多个音频数据通道,以便加入所估计的耳间时间延迟来改善音频质量。
本领域的技术人员在阅读下面结合附图的具体描述之后,将进一步理解本发明的优点和优越特征,以及其它重要方面。
附图说明
图1是根据本发明的示例性实施例的用于耳间时间校正的系统的示意图;
图2是根据本发明的示例性实施例的用于检测特定频带的左通道音频数据和右通道音频数据的峰值差的系统的示意图;
图3是根据本发明的示例性实施例的用于平滑耳间时间差和水平(level)差的系统的示意图;
图4是根据本发明的示例性实施例的用于处理音频数据以引入耳间时间或水平差的方法的示意图;
图5是根据本发明的示例性实施例的用于耳间时间延迟校正的系统的示意图;以及
图6是根据本发明的示例性实施例的用于控制与声像控制设置相关联的耳间时间延迟的方法的流程图。
具体实施方式
在下面的描述中,整个说明书和附图中相同的部件分别用相同的参考标号来标注。绘制的附图可能不是成比例的,并且为了简洁清楚,某些部件可能被示出为概括或示例性形式,并可能用商业代号来标识。
图1是根据本发明的示例性实施例的用于耳间时间校正的系统100的示意图。系统100可以由硬件、软件、或硬件和软件的适当组合来实现,并且可以是运行在数字信号处理平台上的一个或多个软件系统。如在此所使用的,“硬件”可以包括分立器件的组合、集成电路、专用集成电路、现场可编程门阵列、或其它适当硬件。如在此所使用的,“软件”可以包括一个或多个对象、代理、线程、代码行、子例程、单独的软件应用程序、以两个或更多个软件应用程序运行或在两个或更多个处理器上运行的两行或更多行代码或其它适当软件结构、或其它适当软件结构。在一个示例性实施例中,软件可以包括以通用软件应用程序运行的一行或多行代码或其它适当软件结构,诸如操作系统,以及以专用软件应用程序运行的一行或多行代码或其它适当软件结构。
系统100包括低延迟滤波器组102和104,其分别接收左通道音频时间信号和右通道音频时间信号。在一个示例性实施例中,低延迟滤波器组102和104能够以采样频率接收音频数据的一系列采样,以及能够基于预定数量的采样来处理采样到的音频数据。低延迟滤波器组102和104被用来确定在一个时间段期间多个频带的峰值幅度之间的时间延迟。在一个示例性实施例中,频带的数量可能与bark数量、等效矩形带宽(ERB)或其它适当的音频数据心理声学频带有关,因此低延迟滤波器组102和104的总输出数量等于每个输入采样的bark数量或ERB数量。类似地,过采样可以被用来减少产生音频伪像(audio artifacts)的可能性,例如通过使用多个滤波器,其中每个滤波器用于每个频带的多个相应子带之一(从而为每个相关联的频带产生多个子带),或者以其它适当的方式。
通道延迟检测器106从低延迟滤波器组102和104接收输入,并且确定用于多个频带中每个频带的差校正系数。在一个示例性实施例中,通道延迟检测器106可以生成要添加到频域信号的相位差的量,以便例如在左通道和右通道之间产生时间差,从而将耳间时间延迟插入到已经使用了声像但是不包括相关联的时间延迟的信号中。在一个示例性实施例中,音频数据可以使用声像电位器来混音,以使得输入通道具有在立体声数据的最左通道和最右通道之间的明显的空间位置,或者可以使用其它适当方式,包括存在两个以上通道的情况。尽管这样的声像定位可以被用来模拟空间位置、移动或其它效果,但是与现场音频数据相关联的耳间时间延迟无法通过这样的声像定位来重建。例如,当声音源位于听众的左侧时,在听众的左耳接收到来自该源的音频信号的时间与听众的右耳接收到该音频信号的时间之间将存在时间延迟。同样地,当声音源从听众的左侧移动到听众的右侧时,相关联的时间延迟在声音源位于听众正前方时将降低为零,然后将相对于右耳增加。使用简单的声像电位器来模拟空间位置或移动不能创建这些相关联的时间延迟,而这样的相关联的时间延迟可以使用通道延迟检测器106来建模并插入到立体声或其它多通道音频信号中。
类似地,通道延迟检测器106也可以用于校正耳间水平差,诸如在左通道和右通道之间存在时间延迟但是不存在相关联的幅度差的情况下。例如,音频处理可能使得与进行过声像定位的音频信号相关联的水平改变,从而已经准确记录有左通道和右通道之间的相关联的时间延迟的音频信号仍然会使得左通道声音水平和右通道声音水平不反映现场音频信号。通道延迟检测器106还可以或可作为替换地被用于建模并将相关联的水平校正系数插入到立体声或其它多通道音频信号中。
通道延迟检测器106输出多个M校正系数,其被用于将耳间时间差或水平差插入多个音频数据通道中。校正系数的数量可以小于利用过采样来平滑感知频带中的变化的低延迟滤波器组102或104的输出的数量。在一个示例性实施例中,感知频带以三倍于带宽的频率被采样,N将等于M的三倍。
系统100包括延迟108和110,其接收左和右时变音频通道信号,并且将这些信号延迟一定量,该量对应于经过低延迟滤波器组102和104和通道延迟检测器106的延迟减去由补零Hann窗(zero-padded Hann window)112和114以及快速傅里叶变换器116和118产生的延迟。
补零Hann窗112和114用一定量来修改左和右通道的时变音频信号,从而产生Hann窗修改信号。补零Hann窗112和114可以被用于防止在所处理的信号中产生不连续,这种不连续可能生成相移变化,导致在所处理的音频数据中生成音频伪像。可以另外使用或可替换地使用其它类型的Hann窗或其它适当处理来防止不连续。
快速傅里叶变换器116和118将时域左和右通道音频数据转换为频域数据。在一个示例性实施例中,快速傅里叶变换器116和118接收时域信号的预定数量的时间采样(其被补零Hann窗112和114修改以增加采样的数量),并且生成该时域信号的相应数量的频率分量。
相移插入120接收来自快速傅里叶变换器116和118的快速傅里叶变换数据,并基于从通道延迟检测器106接收到的校正系数来在信号中插入相移,例如通过修改单个频率窗口(frequency bin)或频率窗口组的傅里叶变换数据的实部和虚部分量而不修改每个窗口或窗口组的相关联的幅度。在一个示例性实施例中,相移可以与由通道延迟检测器106确定的电子通道之间的角度差相关,从而主通道的相位提前该角度差的一半,而次通道的相位滞后该角度差的一半。
快速傅里叶逆变换器122和124接收来自相移插入120的相移后的频域信号,并对该信号执行快速傅里叶逆变换以生成时变信号。左和右通道时变信号然后被分别提供至重叠相加(overlap add)126和128,其对信号执行重叠相加操作以解释(account for)补零Hann窗112和114的处理。重叠相加126和128输出信号至移位相加寄存器130和132,其输出移位的时间信号Lidc(t)和Ridc(t)。
在操作中,系统100使得包括不具有相关联的耳间时间差的声像的信号能够被补偿,从而插入耳间时间差。因此,系统100恢复通常会出现在音频信号中的耳间时间差,从而改进音频质量。
图2是根据本发明的示例性实施例的用于检测特定频带的左和右通道音频数据的峰值差的系统200的示意图。系统200可以被用于检测音频数据的各个单独频带的左通道数据和右通道数据之间的峰值,并且为每个频带生成校正系数。
系统200包括Hilbert包络(Hilbert envelope)202和204,其接收左和右时域信号并生成这些信号的预定频带的Hilbert包络。在一个示例性实施例中,与系统100的快速傅里叶变换器116和118所处理的相比,Hilbert包络202可以对较少数量的时域采样进行操作,因此使得系统200能够迅速生成校正系数,并且避免可能由于将时间通道时域数据转换到频域以生成相关联的校正系数而引起的额外延迟。
峰值检测器206和208分别接收左和右通道Hilbert包络,并且确定每个信号的峰值幅度和该峰值幅度的相关联的时间。峰值和时间数据然后被提供给幅度和时间差检测器210,其确定对于相应的峰值幅度,是否存在时间差。如果幅度和时间差检测器210确定在峰值幅度时间之间不存在相应的差,则可以使用耳间时间差校正214,以便通过比较左和右通道峰值幅度的幅度值来确定要插入到频域音频数据中的校正系数角TCOR。在一个示例性实施例中,校正系数角TCOR可以通过确定atan2(左通道幅度,右通道幅度)减去45度的角来确定。类似地,其它适当的处理可以被用来确定校正系数角。适当的阈值也可以被应用,以使得当峰值幅度值之间存在小的时间差时能够生成校正系数角。
在左和右通道数据的峰值之间存在时间差但幅度相等的情况下,可以使用耳间水平差校正212。在该示例性实施例中,幅度可以通过校正系数LCOR来调节,从而给予具有领先的音频峰值的通道较高的值,以及给予具有落后的音频峰值的通道较低的值,例如,通过从滞后通道减去LCOR,增加0.5*LCOR至领先通道并且从滞后通道减去0.5*LCOR,或者以其它适当方式。耳间水平差校正212还可以使用阈值,以便确立当高于其值时则施加水平校正的阈值时间差,以及当低于其值时不施加水平校正的阈值时间差。
在操作中,可以利用系统200生成左和右信号的时间和水平差校正系数,从而为具有左或右声像但是没有相关联的时间差的信号生成耳间时间差校正系数,以及为存在耳间时间差但是不存在相关联的声像幅度的信号生成水平校正。
图3是根据本发明的示例性实施例的用于平滑耳间时间和水平差的系统300的示意图。系统300包括耳间时间和水平差校正单元302至306,其分别生成用于不同频带的耳间时间和/或水平差校正系数。在一个示例性实施例中,所述频带可以是bark、ERB或其它适当心理声学的频带的一些部分,从而系统300可以被用于基于心理声学频带的子分量生成用于该心理声学频带的单个校正系数。
时间平滑单元308至312被用于分别对来自耳间时间或水平差校正系统302至306的输出进行时间平滑。在一个示例性实施例中,时间平滑单元308至312可以接收来自耳间时间和水平差校正单元302至306的输出序列,并且可以存储该序列的预定数量的采样,从而使得连续采样之间的变化能够被平均,或以其它方式被平滑。
频带平滑单元314接收来自耳间时间或水平差校正单元302至306的每个耳间时间或水平差校正系数,并且对这些耳间时间或水平差校正系数进行平滑。在一个示例性实施例中,在bark或ERB频带已经被分成三个的情况下,频带平滑314可以平均该相关联的频带的三个频率校正系数,可以确定加权平均,可以使用时间上被平滑的系数,或者可以执行其它适当的平滑处理。频带平滑314为每个频带生成单个相位校正系数。
在操作中,系统300基于时间、频率、时间和频率、或其它适当基础,为耳间时间或水平差校正系数执行平滑,其中,通过分析左和右通道音频数据以检测不具有相关联的水平或时间差的声像设置,从而生成耳间时间或水平差校正系数。因此,系统300通过确保耳间时间或水平差校正系数之间的变化不会迅速地改变,来帮助避免产生音频伪像。
图4是根据本发明的示例性实施例的用于处理音频数据以引入耳间时间或水平差的方法400的示意图。方法400在402开始,确定左和右幅度包络。在一个示例性实施例中,Hilbert包络检测器或其它适当系统可以被用于确定频带的峰值的幅度、与该峰值相关联的时间、以及其它适当数据。方法然后进行到404。
在404,检测幅度包络中的峰值以及峰值的相关联的时间。在一个示例性实施例中,诸如幅度检测器之类的简单的峰值检测器可以被用于检测出现峰值处的相关联的时间间隔。方法进行到406。
在406,确定在左和右通道数据的峰值之间是否存在时间差。在一个示例性实施例中,时间差可以包括相关联的缓冲,从而,如果峰值之间的时间小于预定量,则确定不存在时间差。如果确定存在时间差,从而不需要耳间时间延迟恢复,则方法进行到408,确定在两个信号的幅度之间是否存在水平差。如果确定存在水平差,则方法进行到410。否则,方法进行到412,校正左和右通道音频数据之间的水平。在一个示例性实施例中,领先的通道幅度可以被保留不改变,而落后的通道幅度被减小与领先和落后通道之间的差相关的系数,或者可以使用其它适当处理。
如果确定在左和右通道峰值幅度值之间不存在时间差,则方法进行到414,在此,水平差被转换为相位校正角。在一个示例性实施例中,相位校正角可以通过从atan2(左通道幅度,右通道幅度)减去45度来确定,或者可以使用其它适当关系。方法然后进行到416,相位差被分配至左和右通道。在一个示例性实施例中,该分配可以通过等分该相位差来执行,从而使这些通道提前和滞后相同量。另外,在适当时,可以使用加权差,或者可以使用其它适当处理。方法然后进行到418。
在418,平滑左和右通道相位校正角之间的差。在一个示例性实施例中,该差可以按时间平滑、基于邻近通道的相位校正角来平滑、或以其它适当方式来平滑。方法然后进行到420。
在420,差校正系数被应用于音频信号。在一个示例性实施例中,可以在频域中加上与时间差相对应的相位差,例如使用周知的通过在频域中加上或减去相关联的相移来在时间信号中加上或减去时间差的方法。类似地,也可以使用其它的适当处理。
在操作中,方法400使得耳间相位或幅度校正系数能够被确定并应用于多个音频数据通道。尽管示出了两个示例性通道,但是在适当时,更多音频数据通道也可以被处理,诸如在5.1音响系统、7.1音响系统或其它适当音响系统中,增加耳间相位或幅度校正系数至音频数据。
图5是根据本发明的示例性实施例的用于耳间时间延迟校正的系统500的示意图。系统500使得耳间时间延迟能够在混音之前被补偿,从而生成更准确反映与在相关联的物理位置处产生的声源相关联的耳间时间延迟的声像控制输出。
系统500包括左通道可变延迟502、右通道可变延迟504以及声像控制506,其每一个都可以以硬件、软件、或硬件和软件的适当组合来实现,并且可以是在数字信号处理平台上运行的一个或多个软件系统。声像控制506允许用户选择声像设置以将时变的音频数据输入分配给左通道信号和右通道信号。在一个示例性实施例中,声像控制506可以包括针对虚拟左位置和虚拟右位置之间的多个相关联的位置设置中每一个的相关联的时间延迟值。在该示例性实施例中,声像控制506可以在最左、中心或最右位置被选择的情况下,禁用可变延迟控制,因为对于这些设置不需要延迟。对于在声像控制506的最左、中心或最右之间的设置,可以生成与为位于相关联的位置的声源生成的耳间时间延迟相对应的延迟值。
声像控制506也可以包括活动(active)声像调整特征,其使得用户能够选择活动声像调整,例如在用户打算从左向右或从右向左调整声像时。在该示例性实施例中,可以为最左或最右声像控制506设置提供时间延迟,从而使得用户在声像控制506设置从最左或最右设置移开时能够调整音频输入的声像而不生成音频伪像,否则,时间延迟将从用于最左或最右设置的零延迟跳到用于邻近最左或最右设置的声像控制506设置的最大延迟值。
左通道可变延迟502和右通道可变延迟504可以使用系统100的耳间时间延迟校正系数插入单元或以其它适当方式来实现。
在操作中,系统500使得当音频通道在两个输出通道(例如,左通道和右通道、或其它适当通道)之间调整声像时能够加入耳间时间延迟。系统500在不需要时间延迟的情况下能够禁用设置的时间延迟。
图6是根据本发明的示例性实施例的用于控制与声像控制设置相关联的耳间时间延迟的方法600的流程图。方法600在602开始,接收诸如用户所选择的通道的时域音频通道数据。该方法然后进行到604,检测声像控制设置。声像控制可以是电位器、虚拟声像控制、或其它适当控制。方法然后进行到606。
在606,确定是否需要声像延迟设置。在一个示例性实施例中,可以禁用预定声像控制位置的声像延迟,所述预定声像控制位置诸如最左、最右、或中心位置。在另一示例性实施例中,可以为最左或最右位置生成声像延迟,例如在用户已选择了声像控制设置以允许用户在最左和最右位置之间活动地调整声像的情况下,从而避免当声像控制从最右或最左位置离开时在生成时间延迟中的不连续性。如果确定不需要声像延迟,方法进行到612,否则方法进行到608。
在608,基于声像控制设置计算延迟量。在一个示例性实施例中,可以在声像控制处于最左或最右位置时生成最大时间延迟,例如在已选择了活动声像调整的情况下。类似地,在已经选择了固定声像设置时,对于最左或最右设置不需要时间延迟(因为没有为相对的通道生成相关联的信号)。对于最右和最左位置设置之间的声像控制设置,与它们之间的位置处的时间延迟相对应的时间延迟被计算,该时间延迟随着声像控制位置接近中心位置而减小。方法然后进行到610。
在610,计算出的延迟被应用到一个或多个可变延迟。在一个示例性实施例中,延迟被加到左通道或右通道之一,或者可以使用其它适当的延迟设置。在另一示例性实施例中,可以使用系统100的耳间时间延迟校正系数插入单元或以其它适当方式加入延迟。方法然后进行到612。
在612,确定是否有其它音频通道数据需要处理,例如,通过确定在数据缓冲器中是否存在其它数据采样,或通过其它适当方式。如果需要其它的数据处理,方法返回至602,否则方法进行到614并结束。
在操作中,方法600允许基于声像控制设置生成耳间时间延迟。方法600通过使用声像控制使得声音位置能够以比没有进行时间校正的在左通道和右通道之间的简单声像定位更接近实际声音源位置的方式被模拟。
尽管在此已经描述了本发明的系统和方法的示例性实施例,但是本领域的技术人员还应该理解,在不背离所附权利要求的范围和精神的情况下,能够对该系统和方法进行各种替换和修改。
权利要求书(按照条约第19条的修改)
1.一种用于处理音频数据的设备,包括:
耳间时间延迟校正系数单元,用于接收左通道音频数据和右通道音频数据,并生成耳间时间延迟校正系数;以及
耳间时间延迟校正系数插入单元,用于根据所述耳间时间延迟校正系数,修改所述左通道音频数据和右通道音频数据,以生成修改后的左通道音频数据和修改后的右通道音频数据。
2.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数单元包括低延迟滤波器组,用于接收左通道音频数据和右通道音频数据之一,并为预定的频带生成作为时间的函数的幅度包络。
3.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数单元包括峰值检测器,用于接收左通道音频数据和右通道音频数据之一,并为预定的频带生成峰值幅度值和相关联的时间。
4.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数单元包括时间差检测器,用于接收预定频带的左通道音频数据和右通道音频数据中每一个的峰值幅度值和相关联的时间,并生成耳间差校正数据。
5.根据权利要求4所述的设备,其中所述耳间时间延迟校正系数单元包括耳间时间差校正单元,用于接收所述耳间差校正数据,并生成用于所述耳间时间延迟校正系数插入单元的时间校正系数。
6.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数插入单元包括延迟单元,用于将左通道音频数据和右通道音频数据之一延迟与所述耳间时间延迟校正系数单元的延迟相关的量。
7.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数插入单元包括Hann窗单元,用于接收左通道音频数据和右通道音频数据之一,并将Hann窗应用到该音频数据通道。
8.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数插入单元包括相移插入单元,用于在多个频域音频通道信号中插入相移。
9.一种用于处理音频数据的方法,包括:
确定左通道音频数据和右通道音频数据中每一个的峰值幅度;
检测与所述峰值幅度相关联的延迟;以及
如果检测到的延迟小于阈值,在左通道音频数据和右通道音频数据之间插入延迟。
10.根据权利要求9所述的方法,其中确定左通道音频数据和右通道音频数据中每一个的幅度包络包括:确定左通道音频数据和右通道音频数据中每一个的预定频带的幅度包络。
11.根据权利要求9所述的方法,其中确定左通道音频数据和右通道音频数据中每一个的幅度包络包括:用Hilbert包络单元处理左通道音频数据和右通道音频数据中每一个的预定频带。
12.根据权利要求9所述的方法,其中检测与每个幅度包络的峰值相关联的延迟包括:将和一个通道的峰值幅度相关联的时间与和第二通道的峰值幅度相关联的时间进行比较。
13.根据权利要求9所述的方法,还包括基于峰值幅度生成所插入的延迟。
14.根据权利要求9所述的方法,还包括基于峰值幅度生成所插入的延迟,其包括通过确定atan2(peak1,peak2)减去45度来生成所插入的延迟,其中atan2是两变量反正切函数,得到角度输出,peak1是第一峰值幅度的值,peak2是第二峰值幅度的值。
15.根据权利要求9所述的方法,其中如果检测到的延迟小于阈值,则在左通道音频数据和右通道音频数据之间插入延迟包括:
将所述音频数据通道从时域转换到频域;
将所插入的延迟转换为相移值;
在频域中,将所述相移值的第一部分加到第一音频数据通道;以及
在频域中,从第二音频数据通道中减去所述相移值的第二部分。
16.一种用于处理音频数据的设备,包括:
用于接收左通道音频数据和右通道音频数据并生成耳间时间延迟校正系数的装置;以及
耳间时间延迟校正系数插入单元,用于根据所述耳间时间延迟校正系数,修改所述左通道音频数据和右通道音频数据。
17.根据权利要求16所述的设备,其中所述耳间时间延迟校正系数插入单元包括:用于根据所述耳间时间延迟校正系数,修改所述左通道音频数据和右通道音频数据的装置。
18.根据权利要求16所述的设备,其中所述耳间时间延迟校正系数插入单元包括:用于将左通道音频数据和右通道音频数据之一延迟与所述耳间时间延迟校正系数单元的延迟相关的量的装置。
19.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数插入单元包括:用于接收左通道音频数据和右通道音频数据之一并将Hann窗应用到该通道的音频数据的装置。
20.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数插入单元包括:用于在多个频域音频通道信号中插入相移的装置。

Claims (20)

1.一种用于处理音频数据的设备,包括:
耳间时间延迟校正系数单元,用于接收多个音频数据通道并生成耳间时间延迟校正系数;以及
耳间时间延迟校正系数插入单元,用于根据所述耳间时间延迟校正系数,修改所述多个音频数据通道。
2.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数单元包括低延迟滤波器组,用于接收音频数据通道并为预定的频带生成作为时间的函数的幅度包络。
3.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数单元包括峰值检测器,用于接收音频数据通道并为预定的频带生成峰值幅度值和相关联的时间。
4.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数单元包括时间差检测器,用于接收预定频带的多个通道中每个通道的峰值幅度值和相关联的时间,并生成耳间差校正数据。
5.根据权利要求4所述的设备,其中所述耳间时间延迟校正系数单元包括耳间时间差校正单元,用于接收所述耳间差校正数据,并生成用于所述耳间时间延迟校正系数插入单元的时间校正系数。
6.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数插入单元包括延迟单元,用于将音频数据通道延迟与所述耳间时间延迟校正系数单元的延迟相关的量。
7.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数插入单元包括Hann窗单元,用于接收音频数据通道并将Hann窗应用到所述音频数据通道。
8.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数插入单元包括相移插入单元,用于在多个频域音频通道信号中插入相移。
9.一种用于处理音频数据的方法,包括:
确定多个音频数据通道中每个通道的峰值幅度;
检测与所述峰值幅度相关联的延迟;以及
如果检测到的延迟小于阈值,在两个或更多个音频数据通道之间插入延迟。
10.根据权利要求9所述的方法,其中确定多个音频数据通道中每个通道的幅度包络包括:确定所述多个音频数据通道中每个通道的预定频带的幅度包络。
11.根据权利要求9所述的方法,其中确定多个音频数据通道中每个通道的幅度包络包括:用Hilbert包络单元处理所述多个音频数据通道中每个通道的预定频带。
12.根据权利要求9所述的方法,其中检测与每个幅度包络的峰值相关联的延迟包括:将和一个通道的峰值幅度相关联的时间与和第二通道的峰值幅度相关联的时间进行比较。
13.根据权利要求9所述的方法,还包括基于峰值幅度生成所插入的延迟。
14.根据权利要求9所述的方法,还包括基于峰值幅度生成所插入的延迟,其包括通过确定atan2(peak1,peak2)减去45度来生成所插入的延迟,其中atan2是两变量反正切函数,得到角度输出,peak1是第一峰值幅度的值,peak2是第二峰值幅度的值。
15.根据权利要求9所述的方法,其中如果检测到的延迟小于阈值,则在两个或更多个音频数据通道之间插入延迟包括:
将所述音频数据通道从时域转换到频域;
将所插入的延迟转换为相移值;
在频域中,将所述相移值的第一部分加到第一音频数据通道;以及
在频域中,从第二音频数据通道中减去所述相移值的第二部分。
16.一种用于处理音频数据的设备,包括:
用于接收多个音频数据通道并生成耳间时间延迟校正系数的装置;以及
耳间时间延迟校正系数插入单元,用于根据所述耳间时间延迟校正系数,修改所述多个音频数据通道。
17.根据权利要求16所述的设备,其中所述耳间时间延迟校正系数插入单元包括:用于根据所述耳间时间延迟校正系数,修改所述多个音频数据通道的装置。
18.根据权利要求16所述的设备,其中所述耳间时间延迟校正系数插入单元包括:用于将音频数据通道延迟与所述耳间时间延迟校正系数单元的延迟相关的量的装置。
19.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数插入单元包括:用于接收音频数据通道并将Hann窗应用到所述音频数据通道的装置。
20.根据权利要求1所述的设备,其中所述耳间时间延迟校正系数插入单元包括:用于在多个频域音频通道信号中插入相移的装置。
CN200980134440.3A 2008-09-04 2009-08-14 耳间时间延迟恢复系统和方法 Expired - Fee Related CN102144405B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/204,471 2008-09-04
US12/204,471 US8233629B2 (en) 2008-09-04 2008-09-04 Interaural time delay restoration system and method
PCT/US2009/004673 WO2010027403A1 (en) 2008-09-04 2009-08-14 Interaural time delay restoration system and method

Publications (2)

Publication Number Publication Date
CN102144405A true CN102144405A (zh) 2011-08-03
CN102144405B CN102144405B (zh) 2014-12-31

Family

ID=41725480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980134440.3A Expired - Fee Related CN102144405B (zh) 2008-09-04 2009-08-14 耳间时间延迟恢复系统和方法

Country Status (8)

Country Link
US (1) US8233629B2 (zh)
EP (1) EP2321977B1 (zh)
JP (1) JP5662318B2 (zh)
KR (1) KR101636592B1 (zh)
CN (1) CN102144405B (zh)
HK (1) HK1156171A1 (zh)
TW (1) TWI533718B (zh)
WO (1) WO2010027403A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103796150A (zh) * 2012-10-30 2014-05-14 华为技术有限公司 音频信号的处理方法、装置及系统
CN105325012A (zh) * 2013-06-27 2016-02-10 歌拉利旺株式会社 传播延迟校正设备以及传播延迟校正方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971551B2 (en) * 2009-09-18 2015-03-03 Dolby International Ab Virtual bass synthesis using harmonic transposition
EP2476113B1 (en) * 2009-09-11 2014-08-13 Nokia Corporation Method, apparatus and computer program product for audio coding
US8571232B2 (en) * 2009-09-11 2013-10-29 Barry Stephen Goldfarb Apparatus and method for a complete audio signal
WO2011129655A2 (en) * 2010-04-16 2011-10-20 Jeong-Hun Seo Method, apparatus, and program-containing medium for assessment of audio quality
FR2966634A1 (fr) * 2010-10-22 2012-04-27 France Telecom Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase
CA2931105C (en) 2013-09-05 2022-01-04 George William Daly Systems and methods for acoustic processing of recorded sounds
US9693155B2 (en) 2014-12-03 2017-06-27 Med-El Elektromedizinische Geraete Gmbh Hearing implant bilateral matching of ILD based on measured ITD
CN108877815B (zh) * 2017-05-16 2021-02-23 华为技术有限公司 一种立体声信号处理方法及装置
TWI689708B (zh) * 2018-12-24 2020-04-01 財團法人工業技術研究院 具監測功能的振動感測器及其振動訊號監測方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136650A (en) * 1991-01-09 1992-08-04 Lexicon, Inc. Sound reproduction
US5652770A (en) * 1992-09-21 1997-07-29 Noise Cancellation Technologies, Inc. Sampled-data filter with low delay
US6424939B1 (en) * 1997-07-14 2002-07-23 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method for coding an audio signal
CN1647157A (zh) * 2002-04-22 2005-07-27 皇家飞利浦电子股份有限公司 信号合成
US7027601B1 (en) * 1999-09-28 2006-04-11 At&T Corp. Perceptual speaker directivity
CN1810015A (zh) * 2003-03-10 2006-07-26 坦德伯格电信公司 处理能力要求降低的回波消除器
CN101002505A (zh) * 2004-08-03 2007-07-18 杜比实验室特许公司 利用听觉场景分析组合音频信号
CN101093661A (zh) * 2006-06-23 2007-12-26 凌阳科技股份有限公司 一种音高跟踪和播放方法及其系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4890065A (en) 1987-03-26 1989-12-26 Howe Technologies Corporation Relative time delay correction system utilizing window of zero correction
JPH0522798A (ja) * 1991-07-10 1993-01-29 Toshiba Corp 位相補正装置
JP2973764B2 (ja) * 1992-04-03 1999-11-08 ヤマハ株式会社 音像定位制御装置
JP2893563B2 (ja) * 1992-12-11 1999-05-24 松下電器産業株式会社 音像定位係数算出装置
JP2900985B2 (ja) * 1994-05-31 1999-06-02 日本ビクター株式会社 ヘッドホン再生装置
JP3276528B2 (ja) * 1994-08-24 2002-04-22 シャープ株式会社 音像拡大装置
US5796844A (en) * 1996-07-19 1998-08-18 Lexicon Multichannel active matrix sound reproduction with maximum lateral separation
JPH10126898A (ja) * 1996-10-22 1998-05-15 Kawai Musical Instr Mfg Co Ltd 音像定位装置及び音像定位方法
JP4463905B2 (ja) * 1999-09-28 2010-05-19 隆行 荒井 音声処理方法、装置及び拡声システム
JP4021124B2 (ja) * 2000-05-30 2007-12-12 株式会社リコー デジタル音響信号符号化装置、方法及び記録媒体
EP1500083B1 (en) * 2002-04-22 2006-06-28 Koninklijke Philips Electronics N.V. Parametric multi-channel audio representation
RU2551797C2 (ru) * 2006-09-29 2015-05-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136650A (en) * 1991-01-09 1992-08-04 Lexicon, Inc. Sound reproduction
US5652770A (en) * 1992-09-21 1997-07-29 Noise Cancellation Technologies, Inc. Sampled-data filter with low delay
US6424939B1 (en) * 1997-07-14 2002-07-23 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method for coding an audio signal
US7027601B1 (en) * 1999-09-28 2006-04-11 At&T Corp. Perceptual speaker directivity
CN1647157A (zh) * 2002-04-22 2005-07-27 皇家飞利浦电子股份有限公司 信号合成
CN1810015A (zh) * 2003-03-10 2006-07-26 坦德伯格电信公司 处理能力要求降低的回波消除器
CN101002505A (zh) * 2004-08-03 2007-07-18 杜比实验室特许公司 利用听觉场景分析组合音频信号
CN101093661A (zh) * 2006-06-23 2007-12-26 凌阳科技股份有限公司 一种音高跟踪和播放方法及其系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103796150A (zh) * 2012-10-30 2014-05-14 华为技术有限公司 音频信号的处理方法、装置及系统
CN103796150B (zh) * 2012-10-30 2017-02-15 华为技术有限公司 音频信号的处理方法、装置及系统
CN105325012A (zh) * 2013-06-27 2016-02-10 歌拉利旺株式会社 传播延迟校正设备以及传播延迟校正方法
CN105325012B (zh) * 2013-06-27 2019-06-11 歌拉利旺株式会社 传播延迟校正设备以及传播延迟校正方法
US10375500B2 (en) 2013-06-27 2019-08-06 Clarion Co., Ltd. Propagation delay correction apparatus and propagation delay correction method

Also Published As

Publication number Publication date
EP2321977A4 (en) 2013-10-09
HK1156171A1 (zh) 2012-06-01
TWI533718B (zh) 2016-05-11
EP2321977A1 (en) 2011-05-18
US8233629B2 (en) 2012-07-31
KR20110063807A (ko) 2011-06-14
CN102144405B (zh) 2014-12-31
TW201014372A (en) 2010-04-01
JP5662318B2 (ja) 2015-01-28
US20100054482A1 (en) 2010-03-04
JP2012502550A (ja) 2012-01-26
WO2010027403A1 (en) 2010-03-11
WO2010027403A8 (en) 2011-01-06
KR101636592B1 (ko) 2016-07-05
EP2321977B1 (en) 2017-10-04

Similar Documents

Publication Publication Date Title
CN102144405A (zh) 耳间时间延迟恢复系统和方法
EP1810280B1 (en) Audio spatial environment engine
CA2566992C (en) Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
US7853022B2 (en) Audio spatial environment engine
EP1787495B1 (en) Combining audio signals using auditory scene analysis
CN106165454B (zh) 音频信号处理方法和设备
TWI527473B (zh) 用以獲得環繞音效音訊頻道之方法、適於執行該方法之裝置、及相關電腦程式
EP2946572B1 (en) Binaural audio processing
AU2012296895A1 (en) Optimal mixing matrices and usage of decorrelators in spatial audio processing
US20070223740A1 (en) Audio spatial environment engine using a single fine structure
EP2899997A1 (en) Sound system calibration
US20060093164A1 (en) Audio spatial environment engine
Colonel et al. Reverse engineering of a recording mix with differentiable digital signal processing
EP2523472A1 (en) Apparatus and method and computer program for generating a stereo output signal for providing additional output channels
CN102934164B (zh) 改变回放速度或音调时处理音频信号中瞬态声音事件的设备和方法
CN117223057A (zh) 空间音频对象的动态范围调整
KR20030085597A (ko) 오디오 신호의 고품질 타임 스케일링 및 피치 스케일링

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1156171

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1156171

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141231

Termination date: 20200814