用于以高质量的可变速度播放视听媒体的系统和方法
技术领域
本发明涉及视听(A/V)媒体的解码和播放。
背景技术
传统用于播放视听(A/V)媒体的系统包括模拟系统(例如录像机(VCR))、以及诸如DVD播放器、个人视频记录器(PVR)、机顶盒与个人电脑(PC)的数字系统。许多传统系统包括有使用户以快进或慢移播放模式播放A/V媒体的图像部分功能。在这些模式的操作过程中,音频部分通常完全关闭。换言之,在快进或慢移播放模式中,允许用户看到快进或慢移播放的图像部分,但是完全不能听到音频部分。从用户角度看这是不合需求的,因为用户可能期望在快速或慢速播放期间听到A/V媒体的音频部分。
现在将参考图1和2示出这一原理。图1是所示为用于播放A/V媒体的传统系统如何操作以在正常速度进行播放的功能框图100。如在本文中使用的,“正常”表示A/V媒体不是在快进或慢移播放模式。图2是所示为传统系统如何在快进或慢移模式下操作的功能框图200。图1和图2普遍适用于表述模拟和数字系统,以及表述处理单信道音频信号和多信道音频信号的系统。
如图1所示,正常速度的播放涉及功能块102、104、106和108。在块102,传统系统接收编码的A/V信号并将其拆分为编码的图像信号和编码的音频信号。在块104,传统系统以正常速度将编码的图像信号解码,以生成解码的图像信号。在块106,传统系统以正常速度将编码的音频信号解码,以生成解码的音频信号。在块108,传统系统将解码的图像信号和音频信号相互同步,并最终将他它们以正常速度播放。
如图2所示,快速或慢速播放仅涉及功能块202、204和206。在块202,传统系统接收编码的A/V信号并从中析取编码的图像信号。在块204,传统系统以正常速度的X倍对编码的图像信号进行解码,其中X为正常解码/播放的预定义的乘数。当想要快速播放时,X大于1;而想要慢速播放时,X小于1。因此,例如X=0.5时,将使播放速度降低一半;而当X=2时,播放速度为正常速度的2倍。在块206,传统系统然后以期望的速度倍数X播放解码的图像信号。
如图2所示,传统系统中的快进或慢移播放通常不提供任何音频播放。这可能因为在快进模式中,必须使数据解码的速率相对于快进功能的速度而增长。这样,如果播放速度提高1倍,则图像和音频数据的解码速率必须加倍;如果播放速度提高2倍,则图像和音频数据的解码速率必须变为原正常速度的3倍;依此类推。因此,必须使用额外的处理功率以满足这些增加的解码需求。当音频信号为多信道编码音频(诸如杜比数字(Dolby Digital)(AC-3)或MPEG多信道音频)时,系统必须包括大量的额外处理功率以提供所有音频信道的加速的处理。这些用于处理功率的增加的需求导致了实施播放A/V媒体系统的成本增加。
试图在快进或慢移模式中播放音频中出现的另一难点是在仍获得高质量音频播放效果的情况下将音频信号与图像信号同步。例如,简单地增加或降低音频部分的播放速度以匹配图像部分的播放速度将影响音频的音色和音调,从而使人类语音在快进模式可具有高音调的类似“花栗鼠”的音调,而在慢移模式具有低音调的类似“沉睡巨人”的音调。
因此期望提供一种播放A/V媒体的系统,该系统中在快进或慢移模式时可使音频部分随同图像部分一起播放。还期望提供这样的系统,其中在快进或慢移模式中的音频部分具有高质量,从而不改变人类语音的音色和音调。还期望提供这样的系统,其中在快进或慢速播放模式时将对音频信号解码以及进行其它处理所需的处理功率最小化,并最好不超过在正常播放速度时处理音频信号所需的处理功率。
发明内容
本发明涉及一种用于高质量可变速率播放A/V媒体的系统和方法。本发明的一个实施例使A/V媒体的音频部分在快进或慢移模式下与A/V媒体的图像部分一同播放。在一个实施例中,使用了时标修正以确保在快进或慢速移动模式下播放的音频部分具有高质量。在进一步的实施例中,仅对编码的音频信号的部分进行解码,以将快进或慢移期间对音频信号解码以及进行其它处理所需的处理功率最小化。在又一个实施例中,在快进或慢移模式期间对音频信号解码以及进行其它处理所需的处理功率不超过以正常播放速度处理音频信号所需的功率。
特别地,本发明的一个实施例提供了一种用于处理以预定播放速度播放的A/V媒体的方法。根据该方法,编码的图像信号被接收,而编码的音频信号也被接收。编码的音频信号包括对应于多个音频信道的信息。编码的图像信号被解码以生成解码的图像信号。编码的音频信号被解码以生成解码的音频信号,其中将编码的音频信号解码包括仅将对应于多个音频信道的子集的信息解码。然后将解码的音频信号进行时标修正,以生成时标修正音频信号。最后,将解码的图像信号以及时标修正的音频信号同步,从而在预定的播放速度播放。
在本发明的一个替换实施例中,提供了一种用于处理以预定播放速度播放的A/V媒体的方法。根据该方法,编码的图像信号被接收,而编码的音频信号也被接收。编码的音频信号包括对应于多个频率部分的信息。将编码的图像信号解码以生成解码的图像信号。将编码的音频信号解码以生成解码的音频信号,其中将编码的音频信号解码包括仅将对应于多个频率部分的子集的编码音频信号中的信息解码。然后将解码的音频信号进行时标修正,以生成时标修正音频信号。最后,将解码的图像信号以及时标修正的音频信号同步,从而在预定的播放速度播放。
在本发明的另一替换实施例中,提供了一种用于处理以预定播放速度播放的A/V媒体的方法。根据该方法,编码的图像信号被接收,而编码的音频信号也被接收。将编码的图像信号解码以生成解码的图像信号。将编码的音频信号解码以生成解码的音频信号。然后将解码的音频信号进行时标修正以生成时标修正的音频信号。最后,将解码的图像信号以及时标修正的音频信号同步,从而在预定的播放速度播放。
在本发明的另一替换实施例中,提供了一种用于处理以预定播放速度播放的A/V媒体的方法。根据该方法,编码的图像信号被接收,而编码的音频信号也被接收。将编码的图像信号解码以生成解码的图像信号。将编码的音频信号解码并进行时标修正以生成时标修正的音频信号。最后,将解码的图像信号以及时标修正的音频信号同步,从而在预定的播放速度播放。
本发明的一个实施例提供了一种用于处理以预定播放速度播放的A/V媒体的系统。该系统包括接收编码的图像信号的装置和接收编码的音频信号的装置。编码的音频信号包括对应于多个音频信道的信息。该系统还包括将编码的图像信号解码以生成解码的图像信号的装置,以及将编码的音频信号解码以生成解码的音频信号的装置,其中将编码的音频信号解码的装置包括仅将对应于多个音频信道的子集的编码音频信号中的信息解码的装置。该系统进一步包括将解码的音频信号进行时标修正以生成时标修正音频信号的装置,以及将解码的图像信号以及时标修正的音频信号同步从而在预定的播放速度播放的装置。
在本发明的替换实施例中,还提供了一种用于处理以预定播放速度播放的A/V媒体的系统。该系统包括接收编码的图像信号的装置和接收编码的音频信号的装置。编码的音频信号包括对应于多个频率部分的信息。该系统还包括将编码的图像信号解码以生成解码的图像信号的装置,以及将编码的音频信号解码以生成解码的音频信号的装置,其中将编码的音频信号解码的装置包括仅将对应于多个频率部分的子集的编码音频信号中的信息解码的装置。该系统进一步包括将解码的音频信号进行时标修正以生成时标修正音频信号的装置,以及将解码的图像信号以及时标修正的音频信号同步从而在预定的播放速度播放的装置。
在本发明的另一替换实施例中,还提供了一种用于处理以预定播放速度播放的A/V媒体的系统。该系统包括接收编码的图像信号的装置和接收编码的音频信号的装置。该系统还包括将编码的图像信号解码以生成解码的图像信号的装置,以及将编码的音频信号解码以生成解码的音频信号的装置。该系统进一步包括将解码的音频信号进行时标修正以生成时标修正音频信号的装置,以及将解码的图像信号以及时标修正的音频信号同步从而在预定的播放速度播放的装置。
在本发明的另一替换实施例中,还提供了一种用于处理以预定播放速度播放的A/N媒体的系统。该系统包括接收编码的图像信号的装置和接收编码的音频信号的装置。该系统还包括将编码的图像信号解码以生成解码的图像信号的装置,以及将音频信号解码并进行时标修正以生成时标修正音频信号的装置。该系统进一步包括将解码的图像信号以及时标修正的音频信号同步从而在预定的播放速度播放的装置。
根据本发明的一个方面,提供了一种用于处理以预定播放速度播放的A/V媒体的方法,包括:
接收编码的图像信号;
接收编码的音频信号;该编码的音频信号包括对应于多个音频信道的信息;
将编码的图像信号解码以生成解码的图像信号;
将编码的音频信号解码以生成解码的音频信号,其中将编码的音频信号解码包括仅将对应于部分音频信道的编码的音频信号中的信息解码;
将解码的音频信号进行时标修正,以生成时标修正音频信号;
以及将解码的图像信号与时标修正的音频信号同步,从而在预定的播放速度播放。
优选地,该方法进一步包括:
接收合并的编码音频-图像信号;
以及将合并的编码音频-图像信号拆分为编码的图像信号和编码的音频信号。
优选地,该编码的图像和音频信号为数字信号。
优选地,该编码的图像和音频信号为模拟信号。
优选地,该方法还包括将编码的音频信号从模拟信号转换为数字信号。
优选地,多个音频信道的子集中的信道的数量基于预定的播放速度确定。
优选地,对应于多个音频信道的信息包括对应于多个音频信道中的每个信道的多个频率部分的信息,其中将编码的音频信号解码以生成解码的音频信号包括仅将对应于多个音频信道的每个子集信道中的频率部分的子集的信息进行解码。
根据本发明的一个方面,提供了一种用于处理以预定播放速度播放的A/V媒体的方法,包括:
接收编码的图像信号;
接收编码的音频信号,该编码的音频信号包括对应于多个频率部分的信息;
将编码的图像信号解码以生成解码的图像信号;
将编码的音频信号解码以生成解码的音频信号,其中将编码的音频信号解码包括仅将对应于部分频率的编码音频信号中的信息解码;
将解码的音频信号进行时标修正,以生成时标修正音频信号;
以及将解码的图像信号与时标修正的音频信号同步,从而在预定的播放速度播放。
优选地,该方法进一步包括:
接收合并的编码音频-图像信号;
以及将合并的编码音频-图像信号拆分为编码的图像信号和编码的音频信号。
优选地,该编码的图像和音频信号为数字信号。
优选地,该编码的图像和音频信号为模拟信号。
优选地,该方法还包括将编码的音频信号从模拟信号转换为数字信号。
优选地,多个频率部分的子集中的频率部分数量基于预定的播放速度确定。
根据本发明的一个方面,提供了一种用于处理以预定播放速度播放的A/V媒体的方法,包括:
接收编码的图像信号;
接收编码的音频信号;
将编码的图像信号解码以生成解码的图像信号;
将编码的音频信号部分解码以生成解码的音频信号;
将解码的音频信号进行时标修正以生成时标修正的音频信号;
以及将解码的图像信号与时标修正的音频信号同步,从而在预定的播放速度播放。
根据本发明的一个方面,提供了一种用于处理以预定播放速度播放的A/V媒体的方法,包括:
接收编码的图像信号;
接收编码的音频信号;
将编码的图像信号解码以生成解码的图像信号;
将编码的音频信号部分解码并进行时标修正以生成时标修正的音频信号;
以及将解码的图像信号与时标修正的音频信号同步,从而在预定的播放速度播放。
根据本发明的一个方面,提供了一种用于处理以预定播放速度播放的A/V媒体的系统,该系统包括:
接收编码的图像信号的装置;
接收编码的音频信号的装置,编码的音频信号包括对应于多个音频信道的信息;
将编码的图像信号解码以生成解码的图像信号的装置;
将编码的音频信号解码以生成解码的音频信号的装置,其中将编码的音频信号解码以生成解码的音频信号的装置包括仅将对应于部分音频信道的编码音频信号中的信息解码的装置;
将解码的音频信号进行时标修正以生成时标修正音频信号的装置;
以及将解码的图像信号与时标修正的音频信号同步从而在预定的播放速度播放的装置。
优选地,该系统还包括:
接收合并的编码音频-图像信号的装置;
以及将合并的编码音频-图像信号拆分为编码的图像信号和编码的音频信号的装置。
优选地,该编码的图像和音频信号为数字信号。
优选地,该编码的图像和音频信号为模拟信号。
优选地,该系统还包括将编码的音频信号从模拟信号转换为数字信号的装置。
优选地,多个音频信道的子集中的信道的数量基于预定的播放速度确定。
优选地,对应于多个音频信道的信息包括对应于多个音频信道中的每个信道的多个频率部分的信息,其中将编码的音频信号解码以生成解码的音频信号包括仅将对应于多个音频信道的每个子集信道中的频率部分的子集的信息进行解码。
根据本发明的一个方面,还提供了一种用于处理以预定播放速度播放的A/V媒体的系统,包括:
接收编码的图像信号的装置;
接收编码的音频信号的装置,编码的音频信号包括对应于多个频率部分的信息;
将编码的图像信号解码以生成解码的图像信号的装置;
将编码的音频信号解码以生成解码的音频信号的装置,其中将编码的音频信号解码以生成解码的音频信号的装置包括仅将对应于部分频率的编码音频信号中的信息解码的装置;
将解码的音频信号进行时标修正以生成时标修正音频信号的装置;
以及将解码的图像信号与时标修正的音频信号同步从而在预定的播放速度播放的装置。
优选地,该系统还包括:
接收合并的编码音频-图像信号的装置;
以及将合并的编码音频-图像信号拆分为编码的图像信号和编码的音频信号的装置。
优选地,该编码的图像和音频信号为数字信号。
优选地,该编码的图像和音频信号为模拟信号。
优选地,该系统还包括将编码的音频信号从模拟信号转换为数字信号的装置。
优选地,多个频率部分的子集中的频率部分的数量基于预定的播放速度确定。
根据本发明的一个方面,还提供了一种用于处理以预定播放速度播放的A/V媒体的系统,包括:
接收编码的图像信号的装置;
接收编码的音频信号的装置;
将编码的图像信号解码以生成解码的图像信号的装置;
将编码的音频信号部分解码以生成解码的音频信号的装置;
将解码的音频信号进行时标修正以生成时标修正音频信号的装置;
以及将解码的图像信号与时标修正的音频信号同步从而在预定的播放速度播放的装置。
根据本发明的一个发面,还提供了一种用于处理以预定播放速度播放的A/V媒体的系统,包括:
接收编码的图像信号的装置;
接收编码的音频信号的装置;
将编码的图像信号解码以生成解码的图像信号的装置;
将音频信号部分解码并进行时标修正以生成时标修正音频信号的装置;
以及将解码的图像信号与时标修正的音频信号同步从而在预定的播放速度播放的装置。
本发明的进一步特征和优点,以及本发明的各实施例的结构和操作将参考附图在以下详细描述。应注意,本发明并不限于此处描述的特定实施例。这些实施例在此处仅用于示例目的。本领域技术人员在基于此处的教授后将清楚本发明的其他实施例。
附图说明
此处结合并作为说明书一部分的附图示出了本发明,并且与描述一起进一步说明了本发明的原理,从而使本领域的技术人员可实践和使用本发明。
图1是功能框图,示出了传统的用于播放A/V媒体的系统如何实现正常速度播放。
图2是功能框图,示出了传统的用于播放A/V媒体的系统如何在快进或慢移期间操作。
图3是根据本发明的第一实施例的用于在快进或慢移模式中播放A/V媒体的系统的功能框图。
图4是根据本发明的第二实施例的用于在快进或慢移模式中播放A/V媒体的系统的功能框图。
通过以下结合附图的详细描述,本发明的特征和优点将变得更加清楚,在附图中相同的引用特征表示所有对应的部件。在图中,相同引用编号通常表示功能类似和/或结构类似的部件。部件第一次出现的图由对应引用编号最左侧的数字表示。
具体实施方式
A.根据本发明的一个实施例的A/V媒体的快进/慢移播放
图3是根据本发明的第一实施例的用于在快进或慢移模式中播放A/V媒体的系统的功能框图300。如本领域技术人员可基于此处提供的教授理解的是,图300的每一个功能模块都可容易地由硬件、软件或硬件和软件的结合来实现。还应注意,图300中功能模块的排列和定义旨在传达概念,而不意味本发明限制于特定的实施方式。参考图3描述的实施例可作为任何播放A/V媒体的设备或装置(包括但不限于VCR、DVD播放器、PVR、机顶盒、或个人电脑)的组成部分而实施。
如图3所示,流程开始于块302,系统接收编码的A/V信号并将其拆分为编码的图像信号和编码的音频信号。编码的A/V信号可从本地存储媒体(例如VHS磁带、DVD、或硬盘驱动器)中读取,或者通过网络(例如线缆和/或光纤宽带通讯网络)从远端位置接收。
在块304,系统以X倍速度将编码的图像信号解码以生成X倍速度的解码图像信号,其中X为正常解码/播放速率的预定乘数。当期望快速播放时,X大于1;当需要慢速播放时,X小于1。针对快速或慢速播放解码编码的图像信号的技术是本领域的公知技术,任意适当的技术可用于实现块304的功能。例如,在一些针对快速播放而处理编码的图像信号技术中,图像帧被丢弃。如另一实例,在一些针对慢速播放而处理编码的图像信号技术中,相同数量的图像帧被解码以播放,但它们播放较长的一段时间。然而,应注意,本发明并不限于任何特定的针对快速或慢速播放而对编码的图像信号进行解码的技术。
在块306,系统为编码的音频信号提供正常解码。如本文中使用的,“正常”表示所采用的编码的音频信号解码方式与正常播放A/V媒体的速度相同(即不是快进和慢移播放)。
根据本发明的实施例,编码的音频信号可包括模拟信号或数字信号。编码的音频信号还可包括单一(单)信道音频信号和多信道音频信号。根据本发明的实施例,可以支持的单信道音频格式的示例包括但不限于具有单音频的VHS录像带。根据本发明的实施例,可以支持的多信道音频格式的示例包括但不限于高保真立体声VHS录像带、杜比环绕、杜比数字5.1、杜比数字EX、DTS数字环绕、DTS ES6.1或MPEG多信道音频。
在步骤308,系统对正常解码的音频信号进行时标修正以匹配音频信号的X倍播放速度。时标修正指在保留信号本地频率内容时用于改变音频信号持续时长的各种技术。时标修正的目的是提高或降低记录的音频信号的感知播放速率,而对原始信号的音色、音调或逼真度没有明显影响。有很多种已知的时标修正技术,且为一个给定的应用选择适当的运算法则涉及设计选择。应注意,本发明并不限于任何特定的时标修正技术。
在步骤310,实现时标修正之后,系统将解码的图像信号和时标修正的音频信号同步,并将它们以X倍速度播放。这样,根据本发明的一个实施例,在快进或慢移模式观看A/V媒体的用户将还可听到高质量、时标修正的音频,其中音频与加速或减速播放的图像信号同步。
相对于传统播放A/V媒体的系统(通常在这些操作模式下完全省略音频部分的播放),本发明以上描述的实施例在快进或慢移模式期间播放时标修正的音频部分,具有显著的优点。但是应注意,参考图3描述的实施例相对于现有系统或许需要额外的处理功率,以在快进或慢移播放模式期间将音频信号解码和进行时标修正。这些增加的处理功率的需求转化为播放A/V媒体系统实现时的成本的增加。
B.根据本发明的一个实施例的使用部分音频解码来快进/慢移播放A/V媒体
图4是根据本发明的第二实施例的用于在快进或慢移模式中播放A/V媒体的系统的功能框图400。该第二实施例意图在快进或慢移模式期间,对音频信号解码和进行其它处理时,最小化所需的处理功率。事实上,该实施例可用于将在快进或慢移模式期间处理音频信号的处理功率最小化,从而使所需的处理功率不超过以正常播放速度解码音频所需的功率。如将在以下详细描述的,图4的实施例通过仅解码部分编码的音频信号而节省处理功率。
如本技术领域人员基于此处提供的教授可理解的,图400的每一功能块可容易地通过硬件、软件或硬件和软件的结合来实现。还应注意,图400中功能块的排列和定义旨在传达概念,而不意味将本发明限制于特定的实施方式。参考图4描述的实施例可作为任何播放A/V媒体的设备或装置(包括但不限于VCR、DVD播放器、PVR、机顶盒、或个人电脑)的组成部分而实施。
如图4所示,流程开始于块402,系统接收编码的A/V信号并将其拆分为编码的图像信号和编码的音频信号。在块404,系统以X倍速度将编码的图像信号解码以生成X倍速度的解码图像信号,其中X为正常解码/播放速率的预定乘数。当期望快速播放时,X大于1;当需要慢速播放时,X小于1。针对快速或慢速播放而解码编码的图像信号的技术是本领域的公知技术,任意适当的技术可用于实现块404的功能。应注意,本发明并不限于任何特定的针对快速或慢速播放而对编码的图像信号进行解码的技术。
在步骤406,仅部分解码编码的音频信号。根据本发明的实施例,部分解码包括:(1)部分信道解码,其中仅多信道编码音频信号中的多个信道的子集被解码;(2)部分带宽解码,其中仅编码音频信号中的多个频率部分的子集被解码;或者(3)部分信道/带宽解码,其中仅多信道编码音频信号的多个信道的子集被解码,以及仅这些信道内的频率部分的子集被解码。然而,这些例子并不意图限制本发明,而本发明可包括部分解码编码的音频信号的其他方法。
部分信道解码具有如下优点:尽管提供了多信道音频,仅需要对这些信道的子集进行解码,以在快进或慢移模式期间将适当的音频播放提供给用户。这样,例如,编码的音频信号为总共具有5个音频信道的杜比数字5.0信号时,对于快进或慢移模式期间的播放,可仅对两个音频信道进行解码。例如,仅对右前和左前信道解码。尽管用户在快进或慢移期间不能收听到所有5个音频信道,但他或她仍可听到音频部分,而通过仅解码音频信道的子集可显著节省处理功率。
例如,可以预料,在2倍速快进模式中仅解码5信道音频信号中的2个信道,需要的处理功率与在正常播放模式中解码四音频信道所需的功率相当。这意味着,在具有足够处理功率以在正常播放模式中解码5音频信道的系统中,在2倍快进模式期间实际上是节省了等于解码一个音频信道的处理功率。所节省的处理功率可用于对部分解码的音频信号进行时标修正,如将在以下更详细讨论的。
如另一个例子,5信道音频信号中仅一个信道可在4倍快进模式中解码。例如,仅中央信道可被解码。可以预料的是,在正常播放模式具有解码5音频信道的足够处理功率的系统中,这也可节省等于用于解码系统中一个音频信道的处理功率。再次地,所节省的处理功率可被用于对部分解码的音频信号进行时标修正。
部分带宽解码具有以下优点:许多传统音频编码器使用频率域方法处理全频段的音频信号(一般来说是20Hz到20KHz),该频率域方法将信号转换为频率域,然后将转换后的信号编码为多个不同的频率部分。然而,仅需要解码这些频率部分的子集,以在快进或慢移模式期间为用户提供合适的音频播放。例如,本发明的一个实施例仅解码低于10KHz的频率部分而忽略任何高于10KHz部分,而不是解码从20Hz到20KHz的所有频率部分。可以预料,忽略高于10KHz频率部分对用户的听觉影响将最小化;然而,却可显著节省处理功率。因此根据本发明的典型实施例,仅将编码音频信号的基带或低波段频率部分解码以在快进或慢移模式下播放。
部分信道/带宽解码将部分信道解码和部分带宽解码结合,以节省更多的处理功率。根据部分信道/带宽解码,仅解码多信道编码音频信号中多个信道的子集,然后仅解码每一子集信道中多个频率部分的子集。
在一个实施例中,待解码的编码音频信号的信道和/或频率部分的数量取决于期望的播放速率。例如,在一个实施例中,在2倍速快进模式被解码的信道和/或频率部分比在4倍速快进模式被解码的信道和/频率部分多。该例子的前提是在2倍速快进模式解码音频信号所需处理功率比在4倍速快进模式界面所需功率少。因此,在2倍速快进模式可以得到更多处理功率以解码额外的信道和/或频率部分。
在编码的音频信号被部分解码后,系统以X倍速度对部分解码的音频信号进行时标修正,如块408所示。如参考图3所讨论的,时标修正指在保留信号本地频率内容时用于改变音频信号持续时长的各种技术,其目的是提高或降低记录的音频信号的感知播放速率,而对原始信号的音色、音调或逼真度没有明显影响。有很多种已知的时标修正技术,且为一个给定的应用选择适当的运算法则涉及设计选择。应注意,本发明并不限于任何特定的时标修正技术。
根据本发明的一个实施例,由于通过部分解码编码的音频信号节省了处理功率,在慢移或快进模式实现部分解码和时标修正音频信号所需的合并的处理功率,可实际地小于或等于在正常播放模式实现所有编码的音频信号的解码所需的处理功率。
在步骤410,在对部分解码的音频信号进行时标修正后,系统将解码的图像信号和时标修正的音频信号进行同步,并将它们以X倍速度播放。因此,根据本发明的一个实施例,以快进或慢移模式观看A/V媒体的用户也将听到高质量、时标修正的音频,其中音频与加速或减速播放的图像信号同步。然而,通过仅部分解码编码的音频信号节省了大量的处理功率。这使得播放A/V媒体的系统的制造商保留了处理功率的需求,而所需成本与正常的全信道、全带宽解码处于相同级别。
C.其他设计考虑
以上描述的实施例使用时标修正来匹配正常或部分编码音频信号用以快速或慢速播放。时标修正被认为较其他方法更适合,因其产生了高质量的音频输出。例如匹配快进播放的解码音频信号可由周期性丢弃音频帧(例如仅每隔一帧解码音频信号)实现。然而,可以预料该方法将导致较差质量的音频,因为音频信号通常不以补偿这样的遗失帧的方式编码。在另一实施例中,匹配慢移播放的解码音频信号可由重复音频帧实现。然而,可以预料的是该方法将导致质量很差的音频。此外,如在上述背景技术部分指出的,简单地提高或降低音频部分的播放速度以匹配图像部分的速度将影响音频的音色和音调,将使人类的语音在快进模式具有高音调的类似“花栗鼠”的音调,而在慢移模式具有低音调的类似“沉睡巨人”的音调。
如果即使采用部分解码处理功率约束还存在,则可使用较低复杂度的时标修正算法。如上所提的,本领域的技术人员了解很多不同的时标修正算法。
大多数传统的时标修正技术使用数字信号处理实现。然而,如上指出的,参考图3和图4的实施例可适用于模拟系统(例如VCR)和数字系统(例如DVD播放器)两者。因此,当系统为模拟系统且使用数字信号处理来实现时标修正时,假定在时标修正之前在音频处理路径中提供模拟到数字转换功能。例如,可提供A/D转换作为解码功能的一部分,或者作为完全独立的操作,尽管概念上差异较大。
在快进功能应用到模拟信号源的实施例中,对模拟音频信号进行数字化处理将得到采样率比“正常(1倍)”速率大的数字音频信号。假定时标修正算法期望输入具有正常速率的数字音频信号,则必须在应用时标修正之前改变采样速率。
这可通过许多方式实现。在一个实施例中,A/D转换功能以增大的采样速率对音频信号采样,然后将数字化的信号当作具有正常的采用速率的信号一样处理。例如,假定用于数字音频的正常采样速率为48KHz,而使用了2倍速快进功能。在一个实施例中,在A/D转换期间,模拟信号以96KHz的采样率进行数字化,但在其数字化之后,将音频信号当作48KHz的信号一样处理。结果,它将以2倍的时间完成播放,从而在它流入时标修正算法之前,从2倍速模拟信号回复到正常的1倍速数字域。如果期望1.5倍速,则乘以1.5后的48KHz采样率(即72KHz)可用于将模拟音频信号数字化。
在一个替换实施例中,A/D转换功能以正常采样率采样,然后根据实际播放速度,将其当作具有不同采样率的数字化的信号一样处理。因此,例如,在A/D转换期间,将模拟信号在48KHz(正常采样率)数字化;然后,对于2倍速快进功能,将它当作24KHz采样信号一样处理,或对于1.5倍速快进功能,将它当作32KHz采样信号一样处理。对于2倍速慢移,模拟信号可在48KHz数字化,然后将其当作96KHz采样信号一样处理。
以下将对参考图3和图4中描述实施例中的音频处理方法作进一步讨论。在那些实施例中,为了表述清楚,解码功能和时标修正功能显示为分离的操作。然而在一些实施例中,这些函数可合并为一个单个操作。
语音的一个典型模型为“语音编码器模型”。根据该模型,包括有元音声的有声语音在时间域中呈现为周期性波形,其中周期即为音调或音调周期。音调周期的倒数为音调频率。无声语音(unvoiced speech)呈现为随机噪音,但为频谱形状。通过将白噪音(white noise)经过一些滤波器而使其具有一些频谱波峰和波谷,能够很好地模拟无声语音。另外,还有一些过渡段。
时标修正可在保存信号的本地频率内容时改变音频信号持续时间。如何实现时标修正可采用不同的技术,但是在多数情况下,如果要保持音调,则元音波形不能改变。例如,假定100毫秒(ms)语音信号包括10个特定元音声的音调周期。如果想要以2倍速快进播放该信号,则可丢弃5音调周期,而剩下具有相同周期长度和音调频率的5音调周期。
对于无声语音,这可被模仿为经过滤波器的白噪音,其中滤波器可改变。假定想要将无声语音提速一倍,则可将滤波器特性变为两倍(即一半的时间),并仍然保持噪音激发。
在参考图3和图4描述的实施例中,音频信号的解码和时标修正描述为分离的操作步骤。然而,基于以前的原理,这两个步骤可合并为单个步骤,而仍然保持本发明的精神和范围。
例如,假定期望采用2倍速快进功能,且编码的音频信号为简单脉冲编码调制(PCM)信号,其中每一数字样本通过相互独立滤波的代码字表示。在这样的系统中,解码和时标修正步骤可容易地合并到一个操作中。例如,执行2倍速快进功能,在解码期间每隔一个声音语音周期可跳过。因此如果声音语音为8个周期长,在解码期间每隔一个周期跳过,将生成4个周期长的声音语音信号以及两倍的速度因子。对于无声语音,可在解码期间跳过一定数量的采样,然后可将剩余部分连接到一起。或者,为了将信号减慢一半,可在解码期间重复每一音调周期,或者重复声音波形的代码片断。
因此,如上所述,根据本发明的一个实施例,音频信号的解码和时标修正可合并为单个操作步骤。
D.结论
尽管本发明的实施例已表述如上,可理解的是,它们仅用于例示本发明,而非限制。本领域技术人员可理解的是,在不脱离本发明的权利要求的精神和范围内可对此处描述的细节做各种改变。因此,本发明的宽度和范围不应由上述任一典型实施例来限制,而应根据权利要求和它们的等效来定义。