CN104717544A - 用于音频内容的加速恢复的方法以及相关联的装置 - Google Patents

用于音频内容的加速恢复的方法以及相关联的装置 Download PDF

Info

Publication number
CN104717544A
CN104717544A CN201410784249.6A CN201410784249A CN104717544A CN 104717544 A CN104717544 A CN 104717544A CN 201410784249 A CN201410784249 A CN 201410784249A CN 104717544 A CN104717544 A CN 104717544A
Authority
CN
China
Prior art keywords
audio
sample
frame
audio sample
type information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410784249.6A
Other languages
English (en)
Inventor
C.昆奎斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=50780558&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN104717544(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN104717544A publication Critical patent/CN104717544A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G10L21/043—Time compression or expansion by changing speed
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及音频和/或视听内容的接收器(PVR)中的音频内容恢复方法，所述接收器(PVR)适用于所述音频内容的恢复，被编码的所述音频内容被接收并且包含一连串的音频样本(SAn)的帧(Fn)和关于所述帧(Fn)的音频样本(SAn)的至少一个部分的指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)。根据具体实施例，所述音频内容恢复方法包括：从所述帧(Fn)选择音频样本，根据所述指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)标识所选择的音频样本；只恢复所选择的样本。

Description

用于音频内容的加速恢复的方法以及相关联的装置
技术领域
本公开涉及视听内容项目的恢复领域，具体涉及以加快的速度恢复音频成分。
背景技术
用于接收和恢复视听内容的许多装置被配置成使得能够进行对视听内容的本地记录以及其随后在接收时的恢复。这些装置经常配备有诸如硬盘驱动器等记录模块或者以相当于硬盘驱动器存储单元的那些读和写功能的读和写功能为特征的闪速存储器模块。
然后，这样的装置的用户可以在他们愿意并有时间时的任何时间观看所记录的视听内容项目。
有时，用户认为他有时间观看视听内容项目，开始观看它，然后，如果没有足够的时间，则想要以加速的方式观看它。
存在允许以加速的方式观看内容而不会降低恢复质量的方法，也就是说，用户不会感觉到加速的显示效果，并且音频成分不会在比其原本的持续时间更短的时间段内因恢复而形变。
这些技术关于视频去除在时间上巧妙地分布的某些图像，并且关于音频使用特定于加速的音频恢复的技术。
当今，利用某些接收、记录和恢复设备，例如可以在40分钟内观看一小时的视听内容。
关于音频的快速恢复(也就是说，在比其额定持续时间更短的持续时间内)，可以将所使用的技术分类为三种操作方式。
第一种技术包括以与视频成分相同的速度读取内容的音频成分，这会生成相对于编码的音频成分的音调失真。加速将音频恢复移位到更高的音调。
从商业观点来看，此第一种技术被认为是无法接受的，因为其导致过度降低的恢复质量。
第二种技术包括对编码的音频成分施加处理，使得在快速恢复过程中，音调没有改变。这是例如当更快速地恢复音频成分并对音频样本应用频率调换时的情况。
就音频恢复质量而言，此第二种技术产生可接受的结果，但是由于要执行所有处理，其需要大量的处理器和存储器资源，从系统负载的观点来看是不利的，特别是在实时多任务处理环境中。
第三种技术包括加速音频恢复，同时去除构成音频成分的若干音频帧。此方法对应于例如使用WSOLA(“基于波形相似度的同步的交叠相加”)算法的已知处理。
此第三种技术获得令人满意的结果，但是，与前一技术一样，其仍需要大量的资源，此时，接收和恢复设备工作在其处理器和存储器资源的极限。
发明内容
本公开通过提出用于加速视听内容项目的恢复(也就是说，在比其额定持续时间更短的时间内)的方法来改进现有技术，具体提出了一种执行在编码级别而并非在接收和恢复设备中所需的某些处理的加速的音频恢复方法。
值得注意的是，本公开涉及音频和/或视听内容的接收器(PVR)中的音频内容恢复方法，所述接收器适用于所述音频内容的恢复，被编码的的所述音频内容被接收并且包含一连串的音频样本的帧的序列和关于所述帧的音频样本的至少一个部分的指针类型信息。
根据一个具体实施例，所述方法包括：
-从所述帧选择音频样本，根据所述指针类型信息标识所选择的音频样本；
-只恢复所选择的样本。
取决于实施例，这可以是恢复存储在包括接收器装置外部的存储器(例如，诸如数字音频或视频驱动器等)的介质上的音频或视听内容项目，或者在来自通信网络的流中接收到的音频或视频内容。
根据一个具体实施例，所述接收器适用于以额定恢复速度以及大于所述额定恢复速度的至少一个恢复速度来恢复所述音频内容，并且利用大于所述额定值的所述至少一个恢复速度中的一个来执行只对所选择的样本的所述恢复。
在下面的段落中，指针类型信息或指针被理解为表示对标识多个项目之中的一个项目有用的任何信息。因此，指针还对应于术语“标记”，并且可以是排序、位置、索引、地址或者时间参考，对此不做限制。
术语“相对于额定恢复持续时间的加速的恢复持续时间”在这里表示根据本公开的恢复方法的某些实施例，音频内容恢复的总时间比音频内容的原本恢复速度短。因此，根据本公开的恢复方法的某些实施例，例如可以在40到50秒内恢复一分钟的音频内容。
有利地，这使得能够减少音频或视听内容项目的恢复持续时间，同时保持原始音调。因此，用户可以观看根据该方法在比其额定持续时间更少的时间内恢复的所接收到的视听内容项目，完全不会注意到音调的形变，诸如例如向更高音域的移动等。
根据一个具体实施例，所述指针类型信息被包含在标头包中，所述标头包中的每一个都与所述帧中的一个相关联。
根据一个具体实施例，所述指针类型信息包含标识要被恢复或截断的样本的系列的开始的信息和/或标识要被恢复或截断的样本的系列的结束的信息。
根据一个具体实施例，恢复方法进一步包括至少一个第一音频样本与至少一个第二音频样本的混合，所述至少一个第一音频样本和所述至少一个第二音频样本是根据关于音频样本的所述指针类型信息来选择的。
根据一个具体实施例，第一和第二样本的所述混合是通过计算所述第一和第二样本的平均值来执行的。
根据一个具体实施例，关于音频样本的所述指针类型信息包括涉及要被恢复或截断的样本的指针和涉及要被混合的所选择的样本的指针。
根据一个具体实施例，所述指针类型信息包含标识要被混合的样本的系列的开始的信息和/或标识要被混合的样本的系列的结束的信息。
根据一个具体实施例，每个所述标头包都包含指针类型信息的若干集合，所述集合中的每一个都分别与大于所述额定恢复速度的所述恢复速度的一个可能的值相关联。
根据一个具体实施例，恢复方法使用基于WSOLA方法来修改一连串的音频样本的算法。
虽然未明确地描述，但是所呈现的实施例可以使用任何组合或子组合来实现。例如，每个标头包都包括分别与大于额定恢复速度的若干可能的恢复速度值相关联的若干条指针类型信息的恢复方法的一个实施例可以与恢复方法包括在至少一个第一音频样本处混合至少一个第二音频样本的实施例相结合，至少一个第一音频样本和至少一个第二音频样本是根据关于音频样本的指针类型信息来选择的。
本领域的技术人员可以通过阅读本描述而容易地想到的其他实施例也包括在本公开的范围内。
具体而言，本公开不限于一连串的基于WSOLA方法编码的音频样本的恢复。
根据又一个方面，本公开还涉及视听和/或音频内容的接收器-解码器，所述接收器-解码器包括被配置用于恢复音频内容项目的至少一个处理器，被编码的音频内容被接收并且包括一连串的音频样本的帧和关于所述帧的音频样本的至少一个部分的指针类型信息。
根据一个具体实施例，所述至少一个处理器被配置用于：
-从所述帧选择音频样本，根据所述指针类型信息标识所选择的音频样本；
-只恢复所选择的样本。
虽然未明确地描述，但是所述接收器-解码器可以被配置成将本公开的恢复方法实现为其实施例中的任何一个。
根据又一个方面，本公开还涉及用于对音频内容进行编码的方法，所编码的音频内容包括一连串的音频样本的帧和关于所述帧的音频样本的至少一个部分的指针类型信息。
根据一个具体实施例，用于编码的所述方法包括：选择要被恢复的音频样本；以及，通过所述指针类型信息标识所选择的音频样本。
根据本发明的一个实施例，用于编码的方法使用基于WSOLA方法来修改一连串的音频样本的算法。
虽然未明确地描述，但是所述编码方法可以实现为与上述恢复方法的实施例中的至少一个相兼容的实施例。
根据又一个方面，本公开还涉及音频和/或视听内容的编码器，编码器包括被配置用于对音频内容进行编码的至少一个处理器，所编码的音频内容包括一连串的音频样本的帧和关于所述帧的音频样本的至少一个部分的指针类型信息。根据一个具体实施例，所述至少一个处理器被配置用于选择要被恢复的音频样本，以及用于通过所述指针类型信息标识所选择的音频样本。
虽然未明确地描述，但是所述编码器可以被配置成将本公开的编码方法实现为其实施例中的任何一个。
根据又一个方面，本公开涉及包括用于当程序由计算机执行时以前述的实施例中的任何一个执行上述恢复方法的程序代码指令的计算机程序产品。
根据又一个方面，本公开涉及包括用于当所述程序由计算机执行时以前述的实施例中的任何一个执行上述编码方法的程序代码指令的计算机程序产品。
根据又一个方面，本公开涉及携带包括一连串的音频样本的帧和关于所述帧的音频样本的至少一个部分的指针类型信息的流的信号。根据一个具体实施例，所述信号包含根据作为本公开的主题的编码方法的具体实施例中的一个被编码的数据。
根据又一个方面，本公开涉及一种在其上面保存了计算机程序的计算机可读取的存储介质，所述计算机程序包括用于当程序由计算机执行时以它们的前述实施例中的任何一个执行本发明的恢复方法或者执行本发明的编码方法的程序代码指令。
这样的计算机可读取的存储介质可以采取被加载到包括计算机可读取的和计算机可执行的程序代码指令的至少一个计算机可读取的存储介质上的计算机程序产品的形式。
因此，在本专利申请中，计算机可读取的存储介质被视为具有存储信息的实质能力和允许恢复其存储的信息的实质能力的非暂时性的存储介质。
计算机可读取的存储介质例如可以是(但不仅仅是)由半导体制成的电子、磁性、光学、电磁或红外的、或者实现前面所提及的技术的组合的系统、装置或设备制品。应该强调的是，如本领域的技术人员将容易地解释的那样，提供可以应用本公开的原理的计算机可读取的存储介质的更加具体的示例的下列元件基本上是为了说明性目的而提及的，决不构成详细清单：便携式计算机磁盘、硬件盘、ROM(只读存储器)型的存储器、EPROM(可擦除可编程的只读存储器)型的可擦除的存储器或闪速存储器、包含ROM存储器的便携式压缩盘(CD ROM)、光存储设备制品、磁存储设备制品、前述的元件的任何适合的组合。
如本领域的技术人员可容易地理解的那样，根据变型，本发明的各方面可以通过装置、方法或者计算机可读取的存储介质来实现。因此，在某些实施例中，本发明的各方面可以完全以硬件组件(例如，电子组件或配备有组件的电子卡)的形式或者完全以软件组件(例如包括固件组件、“常驻”软件程序微代码等)的形式来实现。其他实施例可以实现硬件组件和软件组件两者。此外，这些硬件或软件组件还可以在设备的同一物理制品中实现。
在本文档中，术语“模块”一般将表示可以对应于硬件组件或对应于软件组件的组件。此外，本发明的各方面可以以计算机可读取的存储介质的形式来实现。可以使用一个或多个计算机可读取的存储介质的任何组合。
附图说明
通过阅读下面的描述，将更好地理解本发明，其他具体的特征和优点将出现，该描述参考附图，附图中：
图1示出用于在实现根据一个具体实施例的编码方法的编码器和实现根据一个具体实施例的恢复方法的接收器-记录器装置之间传输视听内容的系统；
图2示出要由图1中的接收器-记录器装置使用根据一个具体实施例的恢复方法恢复的编码的一连串的音频帧；
图3示出根据一个具体实施例的图1中的接收器-记录器装置所实现的恢复方法所使用的音频帧及其标头；
图4示出根据一个具体实施例的编码和/或恢复方法所使用的音频帧及其标头的变型；
图5是示出按照根据一个具体实施例的音频内容项目的恢复方法选择样本中的步骤的图；
图6是示出根据一个具体实施例的音频内容项目的编码方法的某些步骤的图。
具体实施方式
在图1到6中，所示出的模块是可以对应于或可以不对应于在物理上可区别的单元的功能单元。例如，这些模块或它们中的某些被一起分组在单一组件中，或由相同软件的功能构成。相反，根据其他实施例，某些模块由单独的物理实体构成。
图1示出了用于在实现根据本公开的一个具体且非限制性的实施例的编码方法的编码器E与实现根据本公开的一个具体且非限制性的实施例的恢复方法的接收器-记录器装置PVR之间传输视听内容的系统。
根据本公开的一个实施例，编码器E从一个或多个视听源接收信号，并且对通过传输链路L1传输到服务器S的一个或多个数字流中接收到的信号进行编码。对应于一个或多个视听内容项目的数字流以文件的形式存储在视听内容服务器S上。
在其他实施例中，被编码的流可以存储在诸如USB驱动器、外部硬盘驱动器或压缩盘(CD)之类的外部介质上。视听内容接收器-记录器装置PVR通过宽带网络BN连接到服务器S。接收器-记录器PVR被配置成能够在用户的控制下选择并接收在服务器S上可用的视听内容。接收器-记录器PVR还通过链路L2连接到恢复装置D。恢复装置D被配置成允许视听内容项目的视频成分的显示以及视听内容项目的音频成分的音频恢复。装置D例如是电视机。链路L2例如是用于连接设备的、与标准HDMI(“高清晰度多媒体接口”)兼容的数字传输链路。接收器-解码器装置PVR包括适用于从服务器S接收到的一个或多个视听内容项目的本地存储的存储单元，允许用户在内容被接收到之后观看接收到的内容。接收器-记录器装置PVR包括实现特定于一块接收器-解码器-记录器装置(通常也称为TV解码器、TV记录器或机顶盒)的接收、去复用、缓冲、处理、解码以及恢复功能的全部模块。值得注意的是，装置PVR包括被配置成经由一块调制解调器-路由器设备连接到宽带网络的通信接口、多路分解器模块、存储器模块、包括处理器的控制单元、随机存取存储器、非易失性存储器、解码模块和用于解码之后的视听内容恢复模块以及本领域的技术人员所公知的所有有关模块和装置。这里未详细描述这些各种模块，它们的描述对本发明的理解不是十分有用。根据实施例的变型，恢复装置D可以被包括在接收器-记录器装置PVR中。装置PVR和D两者都可以例如以台式计算机、膝上型计算机、带有记录器的电视机、带有显示屏幕的接收器、无线电接收器、高保真回放信道或者智能电话等形式实例化。
图2示出了要由图1中的接收器-记录器装置使用根据本公开的恢复方法恢复的一连串的编码的音频帧。根据本公开的优选实施例，在视听内容服务器S上可用的视听内容包括至少一个音频成分和一个视频成分。音频成分包含构成音频流S1的一连串的样本SA1、SA2、SA3、……、SAn、SAn+1、SAn+2、……SAn+i等。音频流S1在帧模式下被编码，这便于对音频样本SA1、SA2、SA3、……、SAn、SAn+1、SAn+2、……SAn+i进行传送和处理，具体而言，使得能够逐个帧地进行连续的处理。由编码器E对流执行帧模式下的编码，使得音频样本SA1、SA2、SA3、……、SAn、SAn+1、SAn+2、……SAn+j被包括在连续的帧F1、F2、F3、……、Fn、Fn+1、Fn+2、……Fn+j中。帧F1、F2、F3、……、Fn、Fn+1、Fn+2、……Fn+j中的每一个都包括标头，作为示例，标头包含诸如例如帧标识符、由流S1携带的视听节目的标识符、用于检测传输错误的连续性计数器、包括在帧中的音频样本的数量的指示器等对处理帧有用的信息，、诸如例如音频采样频率、受流影响的音频路由(信道)的数量、基于音频信道的帧中的样本数量的布局等涉及流的编码的信息。
根据本公开的一个实施例，例如根据AC3Dolby、MPEG-1层2或AAC格式或者它们的后继之一，对在插入与由编码器E进行的样本选择有关的信息之前的本地流S1进行编码。
在某些实施例中，指针类型信息可以由应该与音频流同时恢复的视频流的帧携带。在其他实施例中，如在所示实施例中，它们可以由音频帧本身携带。
如此，巧妙地，在所示实施例中，每个标头本身都包含关于当前帧和下一帧的一些音频样本的指针类型信息，使接收器-记录器装置PVR能够只选择用于恢复对应于音频流S1的音频成分的样本的子集。
根据本公开的实施例，关于某些音频样本的某些指针用于界定要从由帧携带的全部样本中选择的样本的系列，而其他指针用于界定要在它们之间混合的样本的系列。
有利地，在所示实施例中，选择对应于音频样本的一部分的省略的音频样本的子集减少了要通过截断被编码的样本的开始和结束来恢复的样本的数量。通过重叠和混合，拼接至少部分的然后由截断所产生的帧，重叠和混合一起使得由这些操作所产生的在音频内容的恢复过程中的截断的效果平滑化。
由截断和在截断的帧中选择的样本的拼接所产生的音频流的恢复(以对应于在其创建期间流的采样频率的恢复频率)使得能够在比其额定持续时间更少的时间内恢复音频内容。额定持续时间被理解为表示在没有样本的子集的选择的情况下的流的恢复。
巧妙地，接收到的流以关于某些样本的指针的形式包括对要保留的样本和要混合的样本的选择有用的信息。指针存在于帧的标头中，并且相对于加速的恢复速度来定义。
有利地，在被编码的流S1中存在该信息，使得对于接收器-记录器装置PVR中的样本的选择能够在不需要相当数量的资源的情况下实行。事实上，选择用于内容项目的加速恢复的样本的算法的实现方式(诸如例如通过根据WSOLA算法的方法实现的)需要大量的系统资源，并且常常构成诸如设备PVR之类的接收器-记录器装置的控制和处理单元的主要过载。
根据本公开的优选实施例，图2所示的帧Fn的标头包含关于帧Fn和Fn+1的样本的指针字段。根据图2中所示的具体实施例，这些指针包括要被省略的样本的系列中的第一样本的帧中的位置和下一帧Fn+1中的要被省略的样本的系列中的最后的样本的位置。这些指针分别称为PtrBn和PtrEn。由于截断，并且为了使得在帧Fn的最后剩余元素和帧Fn+1的最初剩余元素之间出现的不连续性平滑化，某些剩余元素被混合在一起。对基于本领域的技术人员所知的算法(例如，诸如WSOLA算法等)定义的若干元素执行混合。这里没有描述用于定义界定截断区域和混合区域的元素的方法，因为其对于理解本公开不是必需的。因此，根据图2中所示的具体实施例，包括在帧Fn的标头中的指针PtrMBn和PtrMEn分别指出需要被混合以使得不连续性平滑化并改善以加速的速度进行的恢复的质量的所选择的元素(因此由PtrBn和PtrEn界定的、要被省略的样本的系列的外部)。
因此，根据图2中所示的具体实施例，来自分别由指针PtrMBn和PtrBn界定的帧Fn的样本将成对地与来自由指针PtrEn和PtrMEn界定的帧Fn+1的所选择的样本混合。因而，由样本的选择所产生的音频流包括较少的样本，因为PtrBn和PtrEn指针之间的连续的样本被省略。有利地，等于采样频率的频率的恢复允许在比其额定持续时间更少的时间内恢复音频内容。额定持续时间是在没有选择(省略)的情况下对于帧中的所有样本的以采样频率的恢复持续时间。
根据图2的所示的实施例，要被省略的音频样本的系列在当前帧Fn中开始，并在下一帧Fn+1中结束。在其他实施例中，帧可以包括在该帧中开始和结束的要被省略的音频样本的一个或若干系列。帧也可以不包括要被省略的音频样本，或者可以包括在该帧中开始和结束的要被省略的音频样本的一个或若干系列以及在该帧中开始但不结束的(或者在该帧中结束但不开始的)要被省略的音频样本的系列。在这样的实施例中，指针类型信息(涉及要被省略或混合的样本)可以包括帧的数量，帧包含所指出的音频样本和所指出的音频样本在其所属的帧中的位置。
分别由指针指出的样本的位置取决于所期望的恢复速度。因此，加速的恢复速度相对于额定恢复速度越大(相应地，恢复持续时间越低)，并且因此额定持续时间，所选择的样本的数量就越少(相应地，越大)，并且被省略的样本的数量就越大(相应地，越低)。对于多于额定速度达到20％的恢复时间的增大，就恢复质量而言，可以获得令人满意的结果。
根据本公开的一个实施例，帧中的每一个都包含分别与恢复速度的若干指标(加速因子)相关联的若干组如上所述的指针。因此，帧标头可以包含例如带有因子x 1.1的加快的速度的截断和混合指针的列表，然后带有因子x1.2的加快的速度的截断和混合指针的列表，对于因子x 1.3、x 1.4等，以此类推。如果在帧标头中存在多组指针，则操作对样本进行选择的接收器-记录器PVR的控制单元考虑对应于所期望的加速因子的指针集合，并且使用对应于由用户请求的所期望的恢复的指针集合来执行样本的选择。
取决于本公开的实施例，当接收到排序为n+1的帧Fn+1时，在接收到排序为n的帧之后，接收器-记录器PVR的控制单元具体地通过读取标识分别位于帧Fn和Fn+1中的要省略的样本的系列的极限的指针PtrBn和PtrEn以及标识必须被混合以便最佳地限制由于样本的帧的截断而导致的不连续性的效果的样本的系列的极限的指针PtrMBn和PtrMEn，来分析排序为n的帧Fn的标头内容。
在接收到帧Fn和Fn+1之后，并且根据本公开的具体的非限制性的实施例，来自帧Fn的从指针PtrEn-1到指针PtrBn的样本被重新复制到恢复缓冲器(缓冲存储器)，然后，例如通过取得样本的平均值将位于指针PtrMBn和PtrBn之间的样本与位于指针PtrEn和PtrMEn之间的样本连续地进行混合，混合所产生的值在先前重新复制的值(样本)之后被写入到恢复缓冲器。当到达要混合的样本的系列的极限时，样本的重新复制在指针PtrMEn处开始，并持续到下一帧的指针PtrBn+1。与此选择操作相并行地，恢复过程仍在装置PVR的控制单元的控制下扫描恢复缓冲器，以便将输入馈送到音频解码模块，并恢复由样本的选择所产生的音频流。当然，如果帧的标头包含对应于若干可能的恢复速度的若干组指针，则控制单元读取与定义的恢复速度相对应的指针。此速度由试图观看对应于音频流S1的视听内容的用户来选择，通过被配置成做这件事的用户界面来进行。
图3示出根据本公开的具体的非限制性的实施例的接收器-记录器装置PVR所实现的恢复方法所使用的音频帧Fn及其标头Hn。标头Hn包含使得能够标识帧的排序n(即，其在音频流S1中的位置)的信息字段FID。标头Hn还包含标识所期望的恢复速度SPD的字段。除了用于定义加速的恢复速度和额定速度之间的关系的标识符之外，该字段本身还包含用于定义是否在编码时定义单一加速的恢复速度并因此定义在标头中只有指针的单个集合还是在标头中有指针的多个连续集合的字段。图3示出了定义了单一加快的速度并且指针的单个集合定义要被省略的样本的系列和要被混合的样本的系列的情况。
图4示出了由根据本公开的恢复方法所使用的音频帧Fn及其标头Hn的变型，其中在编码时支持两个加速的恢复速度。在此情况下，除了涉及额定恢复速度和第一加快的速度之间的速度比的信息之外，第一速度标识字段SP1还包含指出编码的加快的速度的数量是二以及在标头中跟着两组用于截断和混合样本的指针的信息。这样，在图4中，在标头Hn中，宣告两组指针并对与第一组相对应的恢复速度进行编码的字段SP1跟着第一组指针，分别为Ptr1Bn、Ptr1En、Ptr1MBn以及Ptr1MEn，然后是宣告第二组指针并对对应速度进行编码的字段SP2，继之以第二组指针Ptr2Bn、Ptr2En、Ptr2MBn以及Ptr2MEn。接收被编码的流的接收器-记录器装置PVR适用于根据由操作员选取的恢复速度来选择样本，该恢复速度要么是额定速度(恢复的全部接收到的样本)，要么是由字段SP1或由字段SP2指出的速度。如果所期望的恢复速度是SP1，则使用指针Ptr1Bn、Ptr1En、Ptr1MBn、以及Ptr1MEn来执行对用于流S1所携带的音频内容的恢复的样本的选择。类似地，如果所期望的恢复速度是SP2，则用于样本的选择的指针是Ptr2Bn、Ptr2En、Ptr2MBn以及Ptr2MEn。
图5是示出按照根据本公开的一个具体且非限制性的实施例的音频内容项目的恢复方法选择样本中的步骤的图。
步骤S0对应于系统的初始化，在此期间，接收器-记录器装置PVR被配置为额定操作模式，其中，用户可以开始观看先前从服务器S接收并由编码器E编码的视听内容。视听内容以包含视频流和音频流的文件的形式存储在装置PVR的存储单元(诸如硬盘)上。音频流是图2所示的流S1。
在步骤S01期间，从装置PVR的存储单元读取所记录的流S1，在对传入的流进行多路分解之后，通过控制单元进行分析，具体地分离音频和视频成份。
在步骤S2期间，连续地读取并分析流S1的连续的帧Fn和Fn+1，并且在S3期间，控制单元基于在步骤S2期间读取的指针PtrBn、PtrEn、PtrMBn以及PtrMEn来选择样本SAn的子集。当需要样本混合时，控制单元将所选择的样本重新复制到恢复缓冲器，并且在那写入混合操作的结果。在步骤S4期间，递增帧计数器，关于后面的帧，重复样本选择过程，在此期间，与选择过程相并行地，恢复过程通过将样本发送到包含音频解码模块的恢复模块来清空恢复缓冲器。恢复缓冲器由控制单元作为环形缓冲器来管理。根据该实施例，排序为n的帧的标头使用指针来指出要从排序为n和排序为n+1的帧中的那些样本中选择样本。因此，在所示的具体实施例中，需要接收至少两个帧，以便执行选择，并且将所选择的样本复制(如有必要，在混合之后)到恢复缓冲器，其中样本的系列通过指针来界定。
换言之，并根据所描述的实施例，根据一个方面，本公开包括适用于以额定恢复速度和大于额定恢复速度的至少一个恢复速度来恢复视听内容的音频节目接收器PVR中的音频内容恢复方法。接收在传送流S1中被编码的音频内容。在通过编码器E进行编码的情况下，传送流S1包含一连串的音频样本SAn的帧Fn和关于帧Fn的音频样本的至少一部分的指针类型信息PtrMBn、PtrBn、PtrEn以及PtrMEn。用于流S1的恢复方法包括：
-在恢复操作之前，从帧Fn选择音频样本，从指针类型信息PtrMBn、PtrBn、PtrEn以及PtrMEn所选择的音频样本；
-只恢复所选择的并被写入到恢复缓冲器的样本，使得那些样本的恢复持续时间小于在没有选择的情况下的完整的帧的恢复持续时间。
选择并写入到恢复缓冲器的操作包括在截断区域之前和之后混合音频样本。如此，其位置由指针PtrMBn定义的来自排序为n的帧的样本与其位置由指针PtrEn定义的来自排序为n+1的帧样本混合。
接收器-记录器PVR适用于通过实现所描述的加速恢复的方法来恢复对应于被编码的音频流S1的音频内容。其控制单元在将混合的结果写入到恢复缓冲器之前，通过将要被处理的样本复制到恢复缓冲器来选择它们以及要混合的样本，整个期间同时读取恢复缓冲器以便恢复由选择和混合过程所产生的音频流。
编码器E实现对原本的音频内容项目进行编码的方法，并通过插入S7一连串的音频样本的帧和有关音频样本的指针类型信息，如图6所示那样地创建音频传送流，使得所描述的过程在接收器-记录器PVR中是可行的。编码方法使用例如基于WSOLA方法的算法，并且包括选择S5要被恢复的样本，以及根据指针类型信息，标识S6要截断的样本和要混合的样本。
在所示实施例中，编码器E将关于样本的指针插入在音频流S1的帧Fn的标头字段中，因而允许接收器-记录器PVR只选择根据插入的指针标识的音频样本的子集，以便实现加速恢复。
本公开还涉及以包含一连串的音频样本的帧和例如被插入到每个帧中的指针类型信息的音频流的形式的被编码的音频信号，允许此信号的接收器标识要被截断的音频样本的一个或多个系列以及最后要被混合的音频样本的一个或多个系列，所有都被接收器用于在不使音调失真的情况下实现音频信号的加速恢复。
本公开不仅涉及上文所描述的实施例，还涉及任何如下方法：该方法旨在允许音频帧的接收器基于通过编码被插入到音频流中的信息来只选择音频样本的子集，然后允许在比其额定持续时间更短的持续时间内恢复音频内容(例如，在不会显著改变音频音调的情况下)，使得编码中的定义的持续时间的内容项目可以由接收和恢复装置在更短的持续时间内恢复。
根据本公开的实施例的变型，关于要选择的音频样本的指针被编码器E插入到音频流中，并由装置PVR使用水印方法来提取。

Claims (19)

1.一种音频和/或视听内容的接收器(PVR)中的音频内容恢复方法，所述接收器(PVR)适用于所述音频内容的恢复，被编码的所述音频内容被接收并且包含一连串的音频样本(SAn)的帧(Fn)和关于所述帧(Fn)的音频样本(SAn)的至少一个部分的指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)，所述方法的特征在于，其包括：
从所述帧(Fn)选择音频样本，根据所述指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)标识所选择的音频样本；以及
只恢复所选择的样本。
2.根据权利要求1所述的恢复方法，其特征在于，所述接收器(PVR)适用于以额定恢复速度以及大于所述额定恢复速度的至少一个恢复速度来恢复所述音频内容，并且利用大于所述额定值的所述至少一个恢复速度中的一个来执行只对所选择的样本的所述恢复。
3.根据权利要求1所述的恢复方法，其特征在于，所述指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)被包含在标头包(Hn)中，所述标头包(Hn)中的每一个都与所述帧(Fn)中的一个相关联。
4.根据权利要求1所述的恢复方法，其特征在于，所述指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)包含标识要被恢复或截断的样本的系列的开始的信息和/或标识要被恢复或截断的样本的系列的结束的信息。
5.根据权利要求1所述的恢复方法，其特征在于，其进一步包括至少一个第一音频样本与至少一个第二音频样本的混合，所述至少一个第一音频样本和所述至少一个第二音频样本是根据关于音频样本的所述指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)来选择的。
6.根据权利要求5所述的恢复方法，其特征在于，第一和第二样本的所述混合是通过计算所述第一和第二样本的平均值来执行的。
7.根据权利要求5所述的恢复方法，其特征在于，关于音频样本的所述指针类型信息包括涉及要被恢复或截断的样本的指针(PtrBn，PtrEn)和涉及要被混合的所选择的样本的指针(PtrMBn，PTRMEn)。
8.根据权利要求5所述的恢复方法，其特征在于，所述指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)包含标识要被混合的样本的系列的开始的信息和/或标识要被混合的样本的系列的结束的信息。
9.根据权利要求2所述的恢复方法，其特征在于，每个所述标头包都包含指针类型信息的若干集合，所述集合中的每一个都分别与大于所述额定恢复速度的所述恢复速度的一个可能的值(SP1，SP2)相关联。
10.根据权利要求1所述的恢复方法，其特征在于，其使用基于WSOLA方法来修改一连串的音频样本的算法。
11.一种视听和/或音频内容的接收器-解码器(PVR)包括被配置用于恢复音频内容项目的至少一个处理器，被编码的所述音频内容被接收并且包括一连串的音频样本(SAn)的帧(Fn)和关于所述帧(Fn)的所述音频样本(SAn)的至少一个部分的指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)，所述至少一个处理器的特征在于，其被配置用于：
从所述帧(Fn)选择音频样本，根据所述指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)标识所选择的音频样本；以及
只恢复所选择的样本。
12.一种用于对音频内容进行编码的方法，所编码的音频内容包括一连串的音频样本的帧(Fn)和关于所述帧(Fn)的所述音频样本(SAn)的至少一个部分的指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)，所述编码方法的特征在于，其包括：选择要被恢复的音频样本；以及，通过所述指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)标识所选择的音频样本。
13.根据权利要求12所述的用于对音频内容进行编码的方法，其特征在于，其使用基于WSOLA方法来修改一连串的音频样本的算法。
14.一种计算机程序产品，其特征在于，其包括用于当程序由计算机执行时执行根据权利要求1所述的恢复方法的程序代码指令。
15.一种在其上面保存了计算机程序的计算机可读取的存储介质，所述计算机程序包括用于当程序由计算机执行时执行根据权利要求1所述的恢复方法的程序代码指令。
16.一种计算机程序产品，其特征在于，其包括用于当程序由计算机执行时执行根据权利要求12所述的编码方法的程序代码指令。
17.一种在其上面保存了计算机程序的计算机可读取的存储介质，所述计算机程序包括用于当程序由计算机执行时执行根据权利要求12所述的编码方法的程序代码指令。
18.一种音频和/或视听内容的编码器，包括被配置用于对音频内容进行编码的至少一个处理器，所编码的音频内容包括一连串的音频样本的帧(Fn)和关于所述帧(Fn)的音频样本(SAn)的至少一个部分的指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)，所述至少一个处理器的特征在于，其被配置用于选择要被恢复的音频样本，以及用于通过所述指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)标识所选择的音频样本。
19.一种携带包括音频样本的帧(Fn)和关于所述帧(Fn)的音频样本(SAn)的至少一个部分的指针类型信息(PtrBn，PtrEn，PtrMBn以及PTRMEn)的流的信号，所述信号的特征在于，其包括按照根据权利要求12所述的用于编码的方法被编码的数据。
CN201410784249.6A 2013-12-16 2014-12-16 用于音频内容的加速恢复的方法以及相关联的装置 Pending CN104717544A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1362639 2013-12-16
FR1362639 2013-12-16

Publications (1)

Publication Number Publication Date
CN104717544A true CN104717544A (zh) 2015-06-17

Family

ID=50780558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410784249.6A Pending CN104717544A (zh) 2013-12-16 2014-12-16 用于音频内容的加速恢复的方法以及相关联的装置

Country Status (6)

Country Link
US (1) US9813689B2 (zh)
EP (1) EP2899723A1 (zh)
JP (1) JP2015132819A (zh)
KR (1) KR20150070039A (zh)
CN (1) CN104717544A (zh)
TW (1) TWI630603B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1451153A (zh) * 2000-02-18 2003-10-22 第一国际数字公司 对具有同步数据的音频序列进行编码并输出的方法和系统
US20040267524A1 (en) * 2003-06-27 2004-12-30 Motorola, Inc. Psychoacoustic method and system to impose a preferred talking rate through auditory feedback rate adjustment
US20050086703A1 (en) * 1999-07-08 2005-04-21 Microsoft Corporation Skimming continuous multimedia content
US7069092B2 (en) * 1997-11-07 2006-06-27 Microsoft Corporation Digital audio signal filtering mechanism and method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5623344A (en) * 1992-09-01 1997-04-22 Hitachi America, Ltd. Digital video recording device with trick play capability
US6324337B1 (en) 1997-08-01 2001-11-27 Eric P Goldwasser Audio speed search
AU6131899A (en) 1998-08-31 2000-03-21 Digital Video Express, L.P. Watermarking system and methodology for digital multimedia content
US6252919B1 (en) * 1998-12-17 2001-06-26 Neomagic Corp. Re-synchronization of independently-clocked audio streams by fading-in with a fractional sample over multiple periods for sample-rate conversion
US6185527B1 (en) * 1999-01-19 2001-02-06 International Business Machines Corporation System and method for automatic audio content analysis for word spotting, indexing, classification and retrieval
US6868224B1 (en) 1999-05-05 2005-03-15 Ati International Srl Method and apparatus for providing multimedia playback
JP2002073093A (ja) * 2000-09-05 2002-03-12 Nippon Telegr & Teleph Corp <Ntt> オーディオ信号符号化方法、復号化方法及びそれらの方法を実行するプログラム記憶媒体
US7464028B2 (en) 2004-03-18 2008-12-09 Broadcom Corporation System and method for frequency domain audio speed up or slow down, while maintaining pitch
US20080131075A1 (en) 2006-12-01 2008-06-05 The Directv Group, Inc. Trick play dvr with audio pitch correction
US8428443B2 (en) 2007-03-12 2013-04-23 At&T Intellectual Property I, L.P. Systems and methods of providing modified media content
US8891946B2 (en) 2009-09-09 2014-11-18 Netflix, Inc. Accelerated playback of streaming media
US9749676B2 (en) 2010-06-08 2017-08-29 Microsoft Technology Licensing, Llc Virtual playback speed modification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7069092B2 (en) * 1997-11-07 2006-06-27 Microsoft Corporation Digital audio signal filtering mechanism and method
US20050086703A1 (en) * 1999-07-08 2005-04-21 Microsoft Corporation Skimming continuous multimedia content
CN1451153A (zh) * 2000-02-18 2003-10-22 第一国际数字公司 对具有同步数据的音频序列进行编码并输出的方法和系统
US20040267524A1 (en) * 2003-06-27 2004-12-30 Motorola, Inc. Psychoacoustic method and system to impose a preferred talking rate through auditory feedback rate adjustment

Also Published As

Publication number Publication date
JP2015132819A (ja) 2015-07-23
US9813689B2 (en) 2017-11-07
KR20150070039A (ko) 2015-06-24
TW201535357A (zh) 2015-09-16
EP2899723A1 (en) 2015-07-29
US20150181190A1 (en) 2015-06-25
TWI630603B (zh) 2018-07-21

Similar Documents

Publication Publication Date Title
CN100382577C (zh) 用于分析一个图象中的字幕的方法和设备
SG178356A1 (en) Systems, methods, and program applications for selectively restricting the placeshifting of copy protected digital media content
CN108429924B (zh) 用于播放替换用广告的显示装置及其控制方法
US11785195B2 (en) Method and apparatus for processing three-dimensional video, readable storage medium and electronic device
RU2630261C2 (ru) Передающее устройство, способ обработки информации, программа, приемное устройство и система взаимодействия приложения
CN111930973A (zh) 多媒体数据的播放方法、装置、电子设备及存储介质
CN112165652A (zh) 视频处理方法、装置、设备及计算机可读存储介质
CN110944197A (zh) 一种图像、音频编码的方法和装置
EP3419281A1 (en) Image processing device, image processing method, and program
CN117036827A (zh) 多模态分类模型训练、视频分类方法、装置、介质及设备
US20130151972A1 (en) Media processing comparison system and techniques
CN110536077B (zh) 一种视频合成和播放方法、装置及设备
EP3193335A1 (en) Information processing device, information processing method, program, and recording medium
CN104717544A (zh) 用于音频内容的加速恢复的方法以及相关联的装置
WO2012143596A1 (en) Detection of graphics added to a video signal
US20160100173A1 (en) Enhanced Video Streaming
CN110140357B (zh) 用于播放代用广告的电子装置及其控制方法
US8213778B2 (en) Recording device, reproducing device, recording medium, recording method, and LSI
CZ200287A3 (cs) Zařízení a způsob pro testování softwarových aplikací
TW201215099A (en) Method for performing display management, and associated video display system
Trojahn et al. A Media Processing Implementation Using Libvlc for the Ginga Middleware
CN111246313A (zh) 一种视频关联方法、装置，服务器、终端设备及存储介质
WO2023030402A1 (zh) 视频的处理方法、装置及系统
Rome et al. Multimedia on symbian OS: Inside the convergence device
CN106797502A (zh) 视频参数技术

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150617