CN107077849B - 用于恢复音频信号的方法和设备 - Google Patents

用于恢复音频信号的方法和设备 Download PDF

Info

Publication number
CN107077849B
CN107077849B CN201580060240.3A CN201580060240A CN107077849B CN 107077849 B CN107077849 B CN 107077849B CN 201580060240 A CN201580060240 A CN 201580060240A CN 107077849 B CN107077849 B CN 107077849B
Authority
CN
China
Prior art keywords
frequency
audio signal
value
frequency band
lossy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580060240.3A
Other languages
English (en)
Other versions
CN107077849A (zh
Inventor
田相培
金善民
李允宰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107077849A publication Critical patent/CN107077849A/zh
Application granted granted Critical
Publication of CN107077849B publication Critical patent/CN107077849B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Abstract

提供一种重建音频信号的方法,该方法包括:基于音频信号的频率中的每个的能量值来检测有损频带;基于有损频带来获得截止频率;以及基于截止频率来重建有损频带的音频信号。

Description

用于恢复音频信号的方法和设备
技术领域
本发明涉及用于重建一些频带数据有损的音频信号的方法和设备。
背景技术
在压缩或传输音频信号时,一些频带的音频信号可以有损地压缩或传输,以便有效压缩或传输。与损耗之前的音频信号相比,一些频带数据有损的音频信号可具有下降的音质或音调。
因此,为了以高音质接近原声地再现包含有损频带的音频信号,需要有效地重建有损频带的音频信号。
发明内容
技术解决方案
本发明涉及用于重建一些频带有损的音频信号的方法和设备。更具体地讲,本发明涉及用于基于每个频率的能量值来检测和重建一些频带有损的音频信号的方法和设备。
有益效果
根据实施例,通过重建音频信号的有损频带可以提高音频信号的音质。
附图说明
图1是示出根据实施例的重建音频信号的方法的流程图。
图2示出根据实施例的截止频率的示例。
图3是示出根据实施例的重建音频信号的方法的流程图。
图4是示出根据实施例的重建有损频带的幅度的方法的流程图。
图5示出根据实施例的音频信号的频谱被重建的示例。
图6是示出根据实施例的调整有损频带的相位的方法的流程图。
图7示出根据实施例的音频信号的相位值被调整的示例。
图8是示出根据实施例的用于重建音频信号的设备的内部结构的框图。
最佳实施方式
根据实施例,提供重建音频信号的方法,该方法包括:基于音频信号的频率中的每个的能量值来检测有损频带;基于有损频带来获得截止频率;以及基于截止频率来重建有损频带的音频信号。
检测可以包括:将音频信号转换成频域中的信号;从频域中的音频信号中检测出一频带,其中频带中的能量减少的量等于或大于第一参考值;以及基于检测出的频带将能量值等于或小于第二参考值的部分检测为有损频带。
重建可以包括:基于截止频率将音频信号中的一频带设置为将在重建中使用的频带;以及通过使用所设置的频带的音频信号来重建有损频带的音频信号。
重建可以包括:分析所设置的频带的信号特征;基于分析的信号特征来估计有损频带的信号特征;以及基于估计的信号特征来调整有损频带的幅度。
重建可以包括:获得在重建有损频带当中的至少一个频率的音频信号中使用的音频信号的频率值;获得相对于所获得的频率值的预设时间单元内的相移量;以及基于相移量,相对于至少一个频率的值来调整相位。
调整相位可以包括:获得所获得的频率值与至少一个频率的值之间的比值;基于所获得的比值和相移量,相对于至少一个频率的值来估计相移量;以及基于估计的相移量,相对于至少一个频率的值来调整相位。
可以在预设时间单元内确定截止频率,并且基于截止频率,可以在预设时间单元内重建有损频带的音频信号。
当存在基于所检测的频带而确定的多个截止频率时,获得截止频率可以包括将所确定的截止频率之中的最大值确定为截止频率。
根据实施例,提供用于重建音频信号的设备,该设备包括:接收器,其被配置成获取音频信号;控制器,其被配置成基于音频信号的频率中的每个的能量值来检测有损频带、基于有损频带来获取截止频率,并且基于截止频率来重建有损频带的音频信号;以及扬声器,其被配置成输出所重建的音频信号。
根据实施例,提供扩展音频信号的带宽的方法,该方法包括:将第一带宽的音频信号扩展到第二带宽的音频信号;检测第一带宽的音频信号的相移量;以及通过使用相移量来补偿扩展到第二带宽的音频信号的相位。
本发明的实施方式
在下文中,参考附图详细地描述本发明的实施例。在以下描述和附图中,没有详细地描述众所周知的功能或构造,因为它们会不必要地模糊本发明。另外,附图中的相同附图标记指示说明书中的相同或类似元件。
以下描述中使用的术语或词语不应被解释为限于常见或一般含义,而是根据本发明人可以适当定义术语以便最好地描述他/她自己的发明的原则,应被解释为充分满足本发明的概念。因此,说明书和附图所示的配置中描述的实施例仅仅是本发明的示例,而不代表本发明的所有技术概念,并且本发明可以包括申请时的实施例的所有修订、等效物或替换。
在附图中,可以放大、省略或大致示出一些元件,并且每个元件的尺寸并不精确地对应于每个元件的实际尺寸。本发明不限于附图中示出的相对尺寸或间隙。
在本发明中,当部件“包含”或“包括”元件时,除非有相反的特定描述,否则该部件还可以包括其他元件,即不排除其他元件。另外,当元件被称为“连接到”另一元件或“与另一元件耦合”时,它可以“直接连接到”该另一元件或与该另一元件“直接耦合”,或者可以通过具有介于其间的中介元件而“电连接到”该另一元件或与该另一元件“电耦合”。
除非有相反的特定描述,否则单数形式可以包括复数形式。诸如“包括”等术语用来指定存在所列举的形式、数字、过程、操作、部件和/或它们的组,而不排除存在一个或多个其它所列举的形式、一个或多个其他数字、一个或多个其他过程、一个或多个其他操作、一个或多个其他部件和/或它们的组。
说明书中使用的术语“单元”是指诸如FPGA或ASIC的软件部件或硬件部件,并且执行具体功能。然而,术语“单元”不限于软件或硬件。“单元”可以形成为在可寻址存储介质中,或者可以形成为操作一个或多个处理器。因此,例如,术语“单元”可以包括部件,诸如,软件部件、面向对象的软件部件、类别部件和任务部件,并且可以包括过程、功能、属性、程序、子例程、程序代码片段、驱动器、固件、微码、电路、数据、数据库、数据结构、表格、阵列或变量。由部件和“单元”提供的功能可以与较少数量的部件和“单元”相关联,或者可以分成额外的部件和“单元”。
尽管使用术语“第一”和“第二”来描述各种部件,但明显地是部件并不限于术语“第一”和“第二”。术语“第一”和“第二”仅用来区分每个部件。
现在将参考附图更全面地描述本发明,附图中示出本发明的示例性实施例。然而,本发明可通过许多不同的形式进行实施,且不应被解释为限于本文中所列出的实施例。在以下描述中,没有详细地描述众所周知的功能或构造,因为它们将不必要地模糊本发明,并且附图中的相同附图标记指示说明书中的相同或类似元件。
在下文中,将参考附图描述本发明的示例性实施例。
图1是示出根据实施例的重建音频信号的方法的流程图。
参考图1的操作S110,用于重建音频信号的设备可以基于频率中的每个的能量值来检测有损频带。
根据实施例的可以重建的音频信号可以包括各种类型的信号。例如,音频信号可以包括音乐信号、语音信号或者音乐和语音混合的声学信号。除了上述示例外,音频信号可以包括可存在有损频带的各种类型的信号。
音频信号可以具有因各种原因而有损的频带。例如,高频带的音频数据可以因压缩而有损。当音频信号采用诸如MPEG-1音频层3(MP3)、高级音频编码(AAC)等有损压缩方法进行压缩时,在压缩的音频信号数据当中,排除可听频带外的高频带音频数据可以是有损的。因此,在音频信号采用有损压缩方进行压缩的情况下,高频带音频数据有损,使得音频信号的音调或音质下降。
作为另一示例,一些频带的音频数据可以在音频数据的传输或存储期间有损。一些高频带的音频数据可以被确定为相对没有低频带的音频数据那么重要。因此,在数据的传输或存储期间,可以传输或可以存储音频信号,而漏掉一些高频带的音频信号。一些频带的音频数据有损的音频信号的音调可以被改变,或者音频信号的音质可以下降。除了上述示例外,根据实施例的包括有损频带的音频信号可以包括因各种原因的有损频带。
设备可以基于音频信号的频率中的每个的能量值来检测音频信号的有损频带。设备可以对时域中的音频信号执行频率转换,从而获得包括音频信号的每个频率的能量值的音频频谱。例如,设备可以对属于一个帧的时间域中的音频信号执行频率转换。
每个频率的能量值可以表示为音频频谱中的分贝(dB)值。每个频率的能量值可以采用多种单位表示,不限于上述描述。音频频谱中包括的每个频率的能量值可以指的是功率、规范值、强度、幅度等。
在没有发生损耗的频带中,能量值可以朝向高频带缓缓地减少。另一方面,在一些频域因诸如压缩等各种原因而有损的音频信号中,高频带的能量值相对于预设频率值而突然减少,致使减少的能量值在预设频带中可以具有0或者接近0的值。压缩的音频数据可以只包括一些频带的音频信号。由于高频域中的音频信号相对于预设频率值可以是有损的,因此,有损高频带的能量值可以具有值0或者接近0的值。另外,由于相对没有那么重要的高频带的音频数据在数据的传输期间是有损的,因此,相对于预设频率值的高频带的能量值可以具有0或者接近0的值。
高频带的音频信号可以被确定为相对没有低频带的音频数据那么重要。因此,高频带的音频数据可以因各种原因而有损,诸如,压缩、数据传输等。
不限于高频带,音频信号的能量值可以在一些频带中突然减少,因此,可以具有0或接近0的值。设备可以检测能量值突然减少且因此具有0或者接近0的值的一些频带,作为有损频域。
例如,设备可以从频域中的音频信号中检测相邻频带之间能量减少的量等于或大于第一参考值的频带。随后,设备可以基于检测的频带来检测能量值等于或小于第二参考值的部分,作为有损频带。
此外,设备可以根据有关音频信号的压缩信息来检测有损频带。压缩信息可以包括有关可在压缩期间损耗的频域的信息。然而,由于设备能够基于音频信号的频率中的每个的能量值来检测有损频带,因此,与通过只考虑有关音频信号的压缩信息来检测有损频域的方法相比,设备还可以正确地检测音频信号的有损频域。
在操作S120中,设备可以基于在操作S110中检测到的频带来获得截止频率。截止频率可以是在预定义频带的音频数据有损时作为参考的频率。例如,截止频率可以是在压缩期间有损的高频带的最小频率。
可以相对于在操作S110中检测到的频带来获得截止频率。例如,可以将截止频率确定为有损频带的频率,其中相邻频带之间的能量减少的量等于或大于第一参考值,并且减少的能量值等于或小于第二参考值
在操作S130中,设备可以基于在操作S120中获得的截止频率来重建有损频带的音频信号。设备可以基于截止频率、通过使用无损频带的音频信号来重建有损频带的音频信号。
设备可以通过使用无损频带的幅度来重建有损频带的幅度,以使有损频带的幅度不突然减少。频带的幅度可以是音频频谱中的能量值。例如,在表示音频信号的能量的音频频谱中,设备可以通过使用无损频带中的分量来重建有损频带的分量。另外,设备可以通过使用无损频带的相位信息来调整有损频带的相位值,以解决有损频带的相位的不连续性。
当不连续值包括在有损频带的分量被重建的音频频谱中或者包括在时域中的音频信号中时,音质在再现期间会下降。当音频信号被重建时,将相对于截止频率的预定义频带的音频信号复制到音频数据有损的频带,致使可存在不连续值。因此,设备可以调整值,以便允许音频信号的频带的幅度值和相位信息具有连续的值。
下文将参考图3到图7详细地描述根据实施例的重建音频信号的方法。
图2示出根据实施例的截止频率的示例。
可以基于音频频谱的能量是否突然减少以及减少的能量值是否具有0或者接近0的值来获得截止频率。
参考图2,相邻频带之间的能量减少的量在截止频率点处突然增加,并且相对于截止频率的高频带的频率能量值具有接近0的值。因此,设备可以获得图2中示出的截止频率点处的值,作为截止频率。
根据压缩信息或数据传输信息,设备可以根据被估计成包括截止频率的部分中的频率的能量值来获得截止频率。压缩信息可以包括有关可在压缩期间有损的频带的信息。数据传输信息可以包括有关可在数据传输期间有损的频带的信息。设备可以基于包括有关有损频带的信息的各种类型的信息(不限于上述示例)来获得截止频率。
图3是示出根据实施例的重建音频信号的方法的流程图。
参考图3,在操作S310中,用于重建音频信号的设备可以获得当前帧的频率中的每个的能量值。相对于当前帧,设备可以获得表示每个频率的能量值的音频频谱。设备可以在各种时间单位中获得每个频率的能量值,不限于当前帧。在下文中,为便于描述,描述了在帧单元中获得每个频率的能量值。设备可以对当前帧中所包括的时域中的音频信号执行频率转换,并且可以获得表示每个频率的能量值的音频频谱。
在操作S320中,设备可以确定是否存在有损频带。设备可以确定下列频域的存在,其中能量减少的量等于或大于第一参考值,并且相对于能量减少的量等于或大于第一参考值的频率点,在预定义部分的高频带中能量值等于或小于第二参考值。或者,设备可以确定下列频域的存在,其中相对于能量减少的量等于或大于第一参考值的频率点,在预定义部分的高频带中能量值的代表值等于或小于第二参考值。代表值可以包括平均值、中间值等,所述平均值、中间值等指示预定义部分中包括的能量值的特征。例如,如果存在能量突然减少的域,那么设备可以检测能量值的代表值具有0或接近0的值的预定义频率部分,作为有损频域。
在操作S320中,当设备确定不存在有损频域时,不需要对当前帧的音频信号执行重建,因此,在操作S330中设备可以移动到下一帧。设备可以对下一帧的音频信号执行操作S310到S360的重建过程。
在操作S340中,设备可以基于在操作S320中检测到的有损频域来获得截止频率。根据所检测的有损频域,可以检测到至少一个截止频率。
相对于包括因压缩而有损的频域的音频信号,设备可以获得多个截止频率之中的最大值,作为截止频率。当高频带音频数据因压缩而变得有损时,高频带中的相对于一个频率值的音频数据可以有损。因此,设备可以相对于包括因压缩而有损的频域的音频信号,只确定一个截止频率。不限于此,设备可以相对于包括因压缩而有损的频带的音频信号来确定多个截止频率。
在操作S350中,设备可以基于在操作S340中获得的截止频率来重建有损频带的幅度。设备可以基于截止频率、通过使用无损频带的音频数据来重建有损频带的音频数据。例如,设备可以通过将无损频带的音频数据复制到有损频带来重建有损频带的音频信号。下文将参考图4到图5详细地描述重建有损频带的幅度的方法。
在操作S360中,设备可以调整有损频带的音频信号的相位值。在操作S350中,在每个帧中重建频域中的音频信号,因此,如果执行基于复制的重建,那么会在时域中的每个帧中生成不连续相位值。因此,设备可以通过使用在操作S350的重建中使用的无损频带中的音频信号的相位信息来调整有损频带音频信号的相位值,以防止生成不连续值。
例如,设备可以通过使用在操作S350的复制中使用的无损频带中的音频信号的相位信息和频率值来补偿相位值。设备可以使用频率处于无损频带中的音频信号的相位信息和频率值,其中该频率对应于有损频带中包括的频率值。设备可以调整相位值,以使对应于有损频带的相位值可以具有连续值。
在调整音频信号的相位之后,在操作S370中,设备可以确定是否存在下一帧。当存在下一帧时,在操作S330中,设备可以移动到下一帧。设备可以对下一帧的音频信号执行操作S310到S360的重建过程。
下文将参考图6到图7详细地描述调整有损频带的相位值的方法。
图4是示出根据实施例的重建有损频带的幅度的方法的流程图。
参考图4,在操作S410中,用于重建音频信号的设备可以将相对于当前帧中的截止频率的频带设置为在重建中使用的频带。截止频率可已经在图1的操作S120或图3的操作340中获得。例如,设备可以将预定义部分的相对于截止频率的低频带设置为在重建中使用的无损频带。
在操作S420中,设备可以通过使用在操作S410中设置的无损频带的音频信号来重建有损频带的音频信号。有损频带可以包含于在图1的操作S110或图3的操作320中检测到的频带中。设备可以将所设置的频带的幅度复制到有损频带,因此,可以重建有损频带的音频数据。
设备可以使用将所设置的频带的音频信号不变地移位且因此进行复制的移位方法,或者可以使用将所设置的频带的音频信号旋转180度且因此进行复制的折叠方法。设备可以通过使用移位方法或折叠方法来将所设置的频带的音频信号复制到有损频带。
例如,设备可以在有损频带的每个预定义部分中重复地执行复制。作为另一示例,设备可以通过所设置的频带的幅度在有损频带的部分上执行复制,并且可以基于所复制的部分的音频信号在剩余部分上执行估计。
在操作S430中,设备可以分析在操作S410中设置的频带的信号特征。由于在执行复制的频带的每个中可发生不连续性,因此,设备可以分析在操作S410中设置的频带的信号特征,以解决所重建的频带的不连续性问题。例如,设备可以分析在操作S410中设置的低频带的包络特征。频带的包络特征可以是指频谱的包络的特征,例如,诸如频谱的包络的形状、斜率等特征。频谱中的包络可以形成为接触重复地出现的一组直线或曲线的恒定曲线,并且可以根据频率变化而缓慢地变化。因此,设备可以通过使用低频带的包络特征来去除执行复制所针对的频带的不连续性。
在操作S440中,设备可以基于在操作S430中分析的低频带的信号特征来估计高频带的信号特征。例如,设备可以基于在频谱中分析的低频带的包络特征来估计高频带的包络特征。
在操作S450中,设备可以根据在操作S440中估计的信号特征来补偿高频带的频谱。频谱可以是,但不限于,表示每个频率的能量值的能量频谱,并且可以包括各种类型的频域的音频数据。
例如,设备可以根据基于低频带的包络特征而估计的高频带的包络特征来确定将应用于每个频率值的频谱的权值。设备可以通过将所确定的权值应用于高频带的频谱来补偿高频带的频谱。
图5示出根据实施例的音频信号的频谱被重建的示例。
参考图5的510,根据频带的频谱相对于截止频率旋转180度且因此进行复制的折叠方法,可以重建有损频带的频谱。另外参考520,根据频带的幅度相对于截止频率不变地移位且因此进行复制的移位方法,可以重建有损频带的频谱。
设备可以在根据510和520中的折叠或移位方法重建了幅度的频带上执行图4的上述操作S430到S450,因此,可以解决在截止频率点处出现的不连续性。设备可以基于截止频率、根据低频带的包络特征来估计高频带的包络特征,并且可以根据所估计的包络特征来补偿高频带的频谱。设备可以通过根据所估计的包络特征来补偿高频带的频谱而解决在截止频率点处出现的不连续性问题。
参考510和520,由于不连续点因相对于截止频率的复制而存在于频谱上,因此,设备可以根据低频带的包络特征来估计高频带的包络特征。例如,设备可以根据低频带的包络的斜率值来估计高频带的包络的斜率值。另外,设备可以补偿高频带的频谱,以使截止频率点处的包络具有连续值。
下文将参考图6到图7详细地描述调整有损频带的相位值的方法。
图6是示出根据实施例的调整有损频带的相位的方法的流程图。
参考图6,在操作S610中,用于重建音频信号的设备可以获得在重建有损频带中包括的频率中的每个的幅度值中使用的频率值。设备可以获得在图4或者图3中的操作S350中的重建有损频带的幅度中使用的频率值。
当在图4的操作S420中执行复制时,所复制的频带信号的相位值等于复制中使用的频带信号的相位值。然而,用于复制的低频分量帧之间的相移量与所复制的高频分量帧之间的相移量可以彼此不同。因此,在重建之后,当将音频信号重新转换成时域信号时,可以发生帧之间的不连续性。因此,为了解决不连续性,设备可以通过使用复制中所用的频率值来调整所重建的频带中包括的频率的相位值。可以对所重建的频带中包括的频率中的每个执行相位值的调整。
例如,在下文中,将详细描述将无损频带中的频率值当中的5kHz的音频信号重建成有损频带中的频率值当中的10kHz的音频信号的情况。
在操作S620中,设备可以获得相对于操作S610中获得的频率值的预设时间单元内的相移量。例如,设备可以获得相对于5kHz的帧单元内的相移量。在相对于5kHz的当前帧与前一帧之间的相移量是π时,设备可以获得π作为相对于5kHz的相移量。
在操作S630中,设备可以获得在操作S610中获得的频率值与所重建的频率值之比。由于周期可以根据频率值而改变,因此,相位值也可以改变。因此,设备可以考虑到频率值来调整所重建的频带的相位值。例如,设备可以获得2,作为5kHz与10kHz之间的频率值比。
在操作S640中,设备可以基于在操作S620和S630中获得的相移量和比值来估计所重建的频率值的相移量。例如,设备可以将每帧2π值(通过将相移量乘以所述比值而获得的值)估计成所重建的频率值10kHz的相移量。
在操作S650中,设备可以基于在操作S640中估计的相移量来调整所重建的频率值的相位。在相位调整之前,所重建的频率值10kHz的每帧相移量是π值,等于5kHz的每帧相移量,然而,由于相位被调整,因此,所重建的频率值10kHz的每帧相移量可以改变成2π。设备可以根据所重建的频率值与用于重建的频率值之比来调整所重建的频率的相位,以使设备可以防止音质因所重建频率的相位不连续性而下降。
图7示出根据实施例的音频信号的相位值被调整的示例。在该示例中,所重建的频率值是10kHz,并且在重建中使用的频率值是5kHz。
图7的710是示出相对于在重建中使用的频率值的相位图,其中相对于5kHz的频率,一个帧中的相移量是π。
图7的720是示出相对于所重建的频率值的相位图,并且由于相对于5kHz频率的相位不变地复制到相对于10kHz频率的相位,因此,一个帧中的相移量可以示为π,与5kHz相同。因此,在相对于所重建的频率值的相位的情况下,可以以帧为单位出现不连续性。
730是示出相对于根据频率值之比调整的所重建的频率值的相位图。设备可以将每帧2π值(通过将相移量乘以比值而获得的值)估计为所重建的频率值10kHz的相移量,并且可以根据估计的相移量来调整所重建的频率值的相位。因此,所重建的频率值10kHz的每帧相移量可以改变成2π。
在下文中,参考图8,将详细描述用于重建音频信号的设备的内部结构。
图8是示出根据实施例的用于重建音频信号的设备的内部结构的框图。
根据实施例的设备800可以包括,但不限于:语音通信专用终端,包括电话、移动电话等;广播或音乐专用设备,包括TV、MP3播放器等;或者语音通信专用终端和广播或音乐专用设备的融合终端设备。另外,设备800可以用作客户端、服务器或者设置在客户端与服务器之间的转换器。
参考图8,设备800可以包括接收器810、控制器820和扬声器830。
接收器810可以接收将要重建的音频信号。音频信号可以是时域中的脉冲编码调制(PCM)信号。编码的音频信号可以进行解码,因此,可以转换成PCM信号。
接收器810可以被配置成经由无线网络(诸如,无线互联网、无线内联网、无线电话网络、无线LAN、Wi-Fi、Wi-Fi直连(WFD)、第三代(3G)、第四代(4G)、蓝牙、红外线数据协会(IrDA)、射频识别(RFID)、超宽带(UWB)、ZigBee或近场通信(NFC)等)或者有线网络(诸如,有线电话网络、有线互联网等)与外部装置发送和接收数据。
控制器820可以重建接收器810接收的音频信号。控制器820可以将时域中的音频信号转换成频域中的信号,并且可以基于频率的能量值来检测有损频带。控制器820可以基于有损频带来确定截止频率,并且可以基于截止频率来重建有损频带的音频信号。
控制器820可以基于截止频率、通过使用无损频带的音频信号来重建有损频带的音频信号。控制器820可以通过使用诸如移位方法或折叠方法等复制方法来重建有损频带的幅度。另外,为了解决相位的不连续性,控制器820可以基于在重建中使用的频带的音频信号来调整所重建的频率值的相位值。
扬声器830可以外部输出控制器820重建的音频信号。
同时,在设备800是移动电话的情况下,尽管未示出,但设备800还可以包括用户输入单元(诸如,小键盘)、被配置成显示用户界面或移动电话中处理的信息的显示单元,以及被配置成控制移动电话的通用功能的处理器。此外,移动电话还可以包括具有图像捕获功能的相机单元,以及被配置成执行移动电话所需要的功能的一个或多个元件。
当设备800是TV时,尽管未示出,设备800还可以包括用户输入单元(诸如,小键盘)、被配置成显示所接收的广播信息的显示单元,以及被配置成控制TV的通用功能的处理器。此外,TV还可以包括被配置成执行TV所需要的功能的一个或多个元件。
根据实施例,重建音频信号的有损频域,以便可以提高音频信号的音质。
根据一些实施例的方法可以体现为将要在各种计算机构件中执行的编程命令,并且随后可以记录到计算机可读记录介质。计算机可读记录介质可以包括编程命令、数据文件、数据结构等中的一个或多个。记录到计算机可读记录介质的编程命令可以针对本发明特别设计或配置,或者可以是本领域的一般技术人员众所周知的。计算机可读记录介质的示例包括:磁性介质,包括硬盘、磁带和软盘;光学介质,包括CD-ROM和DVD;磁光介质,包括软式光盘;以及被设计成存储和执行ROM、RAM、闪存等中的编程命令的硬件设备。编程命令的示例不仅包括由编译程序生成的机器代码,而且包括将通过使用解译程序在计算机中运行的出色的代码。
尽管已经参考本发明的不明显特征特别描述了详细描述部分,但本领域的一般技术人员将理解,在不脱离所附权利要求书的精神和范围的情况下,可以对上述设备和方法的形式和细节做出各种删除、替换和变化。因此,本发明的范围并不由本发明的详细描述限定,而是由所附权利要求限定,并且该范围内的所有差异都将被解释为包括在本发明中。

Claims (9)

1.一种重建音频信号的方法,所述方法包括:
基于所述音频信号的频率中的每个的能量值来检测有损频带;
基于所述有损频带来获得截止频率;
基于所述截止频率来确定待在重建所述音频信号中使用的频带;以及
通过使用确定出的频带的音频信号来重建所述有损频带的所述音频信号,
其中,所述重建包括:
在基于所述确定出的频带中的第一频率值的音频信号重建所述有损频带中包括的第二频率值的音频信号的情况下,确定所述第一频率值与所述第二频率值之间的比值;
基于确定出的比值,确定相对于所述第二频率值的预设时间单元内的相移量;以及
基于确定出的相移量,相对于所述第二频率值来调整相位,使得在被重建的所述第二频率值的音频信号的相位为不连续的区域中,所述音频信号的相位是连续的。
2.根据权利要求1所述的方法,其中所述检测包括:
将所述音频信号转换成频域中的信号;
从所述频域中的所述音频信号中检测一频带,其中所述频带中的能量减少的量等于或大于第一参考值;以及
基于检测出的频带,将能量值等于或小于第二参考值的部分检测为所述有损频带。
3.根据权利要求1所述的方法,其中所述重建包括:
分析所述确定出的频带的信号特征;
基于分析的信号特征来估计所述有损频带的信号特征;以及
基于估计的信号特征来调整所述有损频带的幅度。
4.根据权利要求1所述的方法,其中在预设时间单元内确定所述截止频率,以及
其中基于所述截止频率在所述预设单位时间内重建所述有损频带的所述音频信号。
5.根据权利要求1所述的方法,其中当存在基于检测的频带而确定的多个截止频率时,获得所述截止频率包括将确定的截止频率之中的最大值确定为所述截止频率。
6.一种用于重建音频信号的设备,所述设备包括:
接收器,配置成获取所述音频信号;
控制器,配置成基于所述音频信号的频率中的每个的能量值来检测有损频带、基于所述有损频带来获取截止频率、基于所述截止频率来确定待在重建所述音频信号中使用的频带,并且通过使用确定出的频带的音频信号来重建所述有损频带的所述音频信号;以及
扬声器,配置成输出重建的音频信号,
其中,所述控制器进一步配置为:
在基于所述确定出的频带中的第一频率值的音频信号重建所述有损频带中包括的第二频率值的音频信号的情况下,确定所述第一频率值与所述第二频率值之间的比值;
基于确定出的比值,确定相对于所述第二频率值的预设时间单元内的相移量;以及
基于确定出的相移量,相对于所述第二频率值来调整相位,使得在被重建的所述第二频率值的音频信号的相位为不连续的区域中,所述音频信号的相位是连续的。
7.根据权利要求6所述的设备,其中所述控制器还被配置成:将所述音频信号转换成频域中的信号;从所述频域中的所述音频信号中检测一频带,其中所述频带中的能量减少的量等于或大于第一参考值;以及基于检测出的频带将能量值等于或小于第二参考值的部分检测为所述有损频带。
8.根据权利要求6所述的设备,其中当存在基于检测的频带而确定的多个截止频率时,所述控制器还被配置成:将确定的截止频率之中的最大值确定为所述截止频率。
9.一种计算机可读记录介质,存储有用于执行根据权利要求1-5所述的方法的程序。
CN201580060240.3A 2014-11-07 2015-10-08 用于恢复音频信号的方法和设备 Expired - Fee Related CN107077849B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462076727P 2014-11-07 2014-11-07
US62/076,727 2014-11-07
PCT/KR2015/010665 WO2016072628A1 (ko) 2014-11-07 2015-10-08 오디오 신호를 복원하는 방법 및 장치

Publications (2)

Publication Number Publication Date
CN107077849A CN107077849A (zh) 2017-08-18
CN107077849B true CN107077849B (zh) 2020-09-08

Family

ID=55909318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580060240.3A Expired - Fee Related CN107077849B (zh) 2014-11-07 2015-10-08 用于恢复音频信号的方法和设备

Country Status (4)

Country Link
US (1) US10460736B2 (zh)
KR (1) KR102033603B1 (zh)
CN (1) CN107077849B (zh)
WO (1) WO2016072628A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077849B (zh) * 2014-11-07 2020-09-08 三星电子株式会社 用于恢复音频信号的方法和设备
KR20180056032A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 신호 처리 프로세서 및 신호 처리 프로세서의 제어 방법
US10733998B2 (en) 2017-10-25 2020-08-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to identify sources of network streaming services
US10629213B2 (en) 2017-10-25 2020-04-21 The Nielsen Company (Us), Llc Methods and apparatus to perform windowed sliding transforms
KR102648122B1 (ko) * 2017-10-25 2024-03-19 삼성전자주식회사 전자 장치 및 그 제어 방법
US10726852B2 (en) 2018-02-19 2020-07-28 The Nielsen Company (Us), Llc Methods and apparatus to perform windowed sliding transforms
US11049507B2 (en) 2017-10-25 2021-06-29 Gracenote, Inc. Methods, apparatus, and articles of manufacture to identify sources of network streaming services
CN107863095A (zh) 2017-11-21 2018-03-30 广州酷狗计算机科技有限公司 音频信号处理方法、装置和存储介质
CN108156575B (zh) 2017-12-26 2019-09-27 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端
CN108156561B (zh) 2017-12-26 2020-08-04 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端
CN109147805B (zh) * 2018-06-05 2021-03-02 安克创新科技股份有限公司 基于深度学习的音频音质增强
CN109036457B (zh) * 2018-09-10 2021-10-08 广州酷狗计算机科技有限公司 恢复音频信号的方法和装置
CN109887515B (zh) * 2019-01-29 2021-07-09 北京市商汤科技开发有限公司 音频处理方法及装置、电子设备和存储介质
WO2024085551A1 (ko) * 2022-10-16 2024-04-25 삼성전자주식회사 패킷 손실 은닉을 위한 전자 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101160725A (zh) * 2005-04-13 2008-04-09 弗劳恩霍夫应用研究促进协会 确保最大比特率的无损信息编码
CN101223576A (zh) * 2005-07-15 2008-07-16 三星电子株式会社 从音频信号提取重要频谱分量的方法和设备以及使用其的低比特率音频信号编码和/或解码方法和设备
CN104011792A (zh) * 2011-08-19 2014-08-27 亚历山大·日尔科夫 多结构的、多级信息形式化和结构化方法和相关联的装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704711B2 (en) 2000-01-28 2004-03-09 Telefonaktiebolaget Lm Ericsson (Publ) System and method for modifying speech signals
US20020016698A1 (en) * 2000-06-26 2002-02-07 Toshimichi Tokuda Device and method for audio frequency range expansion
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
KR100608062B1 (ko) * 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
EP1686565B1 (en) * 2005-01-31 2007-05-02 Harman Becker Automotive Systems GmbH Bandwidth extension of bandlimited speech data
JP2007043295A (ja) * 2005-08-01 2007-02-15 D & M Holdings Inc 増幅装置及び振幅周波数特性調整方法
KR100663379B1 (ko) * 2005-08-29 2007-01-02 주식회사 레인콤 멀티미디어용 휴대기기 오디오의 음질 향상 시스템 및 그향상 방법
KR100717058B1 (ko) * 2005-11-28 2007-05-14 삼성전자주식회사 고주파 성분 복원 방법 및 그 장치
US8295507B2 (en) * 2006-11-09 2012-10-23 Sony Corporation Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
JP2008122597A (ja) 2006-11-10 2008-05-29 Sanyo Electric Co Ltd オーディオ信号処理装置及びオーディオ信号処理方法
US7761290B2 (en) * 2007-06-15 2010-07-20 Microsoft Corporation Flexible frequency and time partitioning in perceptual transform coding of audio
WO2009110751A2 (ko) * 2008-03-04 2009-09-11 Lg Electronics Inc. 오디오 신호 처리 방법 및 장치
JP5715514B2 (ja) * 2011-07-04 2015-05-07 日本放送協会 オーディオ信号ミキシング装置およびそのプログラム、ならびに、オーディオ信号復元装置およびそのプログラム
JP5737077B2 (ja) * 2011-08-30 2015-06-17 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
KR101897455B1 (ko) * 2012-04-16 2018-10-04 삼성전자주식회사 음질 향상 장치 및 방법
CN102833037B (zh) 2012-07-18 2015-04-29 华为技术有限公司 一种语音数据丢包的补偿方法及装置
WO2014185569A1 (ko) * 2013-05-15 2014-11-20 삼성전자 주식회사 오디오 신호의 부호화, 복호화 방법 및 장치
JP6157926B2 (ja) * 2013-05-24 2017-07-05 株式会社東芝 音声処理装置、方法およびプログラム
WO2015077641A1 (en) * 2013-11-22 2015-05-28 Qualcomm Incorporated Selective phase compensation in high band coding
CN107077849B (zh) * 2014-11-07 2020-09-08 三星电子株式会社 用于恢复音频信号的方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101160725A (zh) * 2005-04-13 2008-04-09 弗劳恩霍夫应用研究促进协会 确保最大比特率的无损信息编码
CN101223576A (zh) * 2005-07-15 2008-07-16 三星电子株式会社 从音频信号提取重要频谱分量的方法和设备以及使用其的低比特率音频信号编码和/或解码方法和设备
CN104011792A (zh) * 2011-08-19 2014-08-27 亚历山大·日尔科夫 多结构的、多级信息形式化和结构化方法和相关联的装置

Also Published As

Publication number Publication date
US20170337926A1 (en) 2017-11-23
WO2016072628A1 (ko) 2016-05-12
CN107077849A (zh) 2017-08-18
KR102033603B1 (ko) 2019-10-17
KR20170065545A (ko) 2017-06-13
US10460736B2 (en) 2019-10-29

Similar Documents

Publication Publication Date Title
CN107077849B (zh) 用于恢复音频信号的方法和设备
TWI693596B (zh) 用於音訊帶寬選擇之器件及裝置、操作一解碼器之方法及電腦可讀儲存器件
JP5763212B2 (ja) 制約付きのラウドスピーカ・エクスカーションを用いたラウドネスの最大化
US11380338B2 (en) Signal processing methods and apparatuses for enhancing sound quality
JP2018528479A (ja) スーパー広帯域音楽のための適応雑音抑圧
JP6073456B2 (ja) 音声強調装置
US20240105188A1 (en) Downmixed signal calculation method and apparatus
US20210343302A1 (en) High resolution audio coding
JP6160072B2 (ja) オーディオ信号符号化装置および方法、オーディオ信号伝送システムおよび方法、オーディオ信号復号装置
EP2849341A1 (en) Loudness control at audio rendering of an audio signal
CN113302684B (zh) 高分辨率音频编解码
WO2020149227A1 (ja) 復号装置、復号方法、及びプログラム
JP7262593B2 (ja) ハイレゾリューションオーディオ符号化
US11715478B2 (en) High resolution audio coding
JP7266689B2 (ja) ハイレゾリューションオーディオ符号化
KR102664768B1 (ko) 고해상도 오디오 코딩
RU2800626C2 (ru) Кодирование звука высокого разрешения
JP2010158044A (ja) 信号処理装置および信号処理方法
JP2010160496A (ja) 信号処理装置および信号処理方法
JP2015227912A (ja) オーディオ符号化装置、および方法
JP2009103974A (ja) マスキングレベル算出装置、符号化装置、マスキングレベル算出方法およびマスキングレベル算出プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200908