CN101911634A - 分组生成器 - Google Patents

分组生成器 Download PDF

Info

Publication number
CN101911634A
CN101911634A CN2007801020956A CN200780102095A CN101911634A CN 101911634 A CN101911634 A CN 101911634A CN 2007801020956 A CN2007801020956 A CN 2007801020956A CN 200780102095 A CN200780102095 A CN 200780102095A CN 101911634 A CN101911634 A CN 101911634A
Authority
CN
China
Prior art keywords
signal
grouping
designator
code
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2007801020956A
Other languages
English (en)
Inventor
P·奥加拉
A·拉卡尼米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101911634A publication Critical patent/CN101911634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

一种用于从输入信号生成分组的分组生成器，所述分组生成器被配置以便：生成取决于所述输入信号的至少一个第一信号，所述第一信号包括第一相对时间值；生成取决于所述输入信号并且与所述至少一个第一信号相关联的至少一个第二信号；以及生成与所述至少一个第二信号中的每个信号相关联的至少一个指示符，每个指示符取决于所述第一相对时间值。

Description

分组生成器
技术领域
本发明涉及媒体传输，并且特别地但不是排他地，涉及编码语音、音频或视频信号的传输。
背景技术
对音频信号(像语音或音乐)进行编码，例如用于使得能够有效地传输或存储该音频信号。
使用音频编码器和解码器来表示基于音频的信号，诸如音乐和背景噪声。这些类型的编码器通常并不使用用于编码过程的语音模型，而是使用用于表示包括语音在内的所有类型的音频信号的过程。
语音编码器和解码器(编解码器)通常被优化用于语音信号，并且可以以固定比特速率或者以可变比特速率进行操作。
音频编解码器还可以被配置以便以变化的比特速率进行操作。在较低的比特速率处，这样的音频编解码器可以以等同于纯语音编解码器的编码速率在语音信号的情况下工作。在较高的比特速率处，音频编解码器可以在较高的质量和性能的情况下，对包括音乐、背景噪声和语音在内的任何信号进行编码。
在一些音频编解码器中，输入信号被划分成有限数目的频带。每个频带信号均可以被量化。根据心理声学理论可知，感觉上频谱中的高频没有低频重要。这在一些音频编解码器中通过比特分配来反映，其中，高频信号比低频信号被分配更少的比特。
媒体编码领域中的一个新兴趋势是所谓的分层编解码器，例如ITU-T嵌入式可变比特速率(EV-VBR)语音/音频编解码器和ITU-T可扩缩视频编解码器(SVC)。可扩缩媒体数据由核心层以及一个或若干个增强层构成，所述核心层对于能在接收端进行重构来说一直是需要的，所述一个或若干个增强层可被用于向重构的媒体提供附加价值(例如，针对传输错误而增强的稳健性或改进的媒体质量，等等)。
这些编解码器的可扩缩性可用于传输级中，例如，用于控制网络容量或形成多播媒体流，以便促进与不同带宽的接入链路背后的参与者的操作。在应用级中，可扩缩性可用于控制如计算复杂性、编码延迟或期望的质量水平这样的变量。要注意，虽然在一些情形中可扩缩性可被应用于传输端点处，但是也存在一些操作情形，其中，居间网络单元能够实现扩缩是更适合的。
例如，可以在电话技术中采用这种对音频编码的可扩缩层操作。例如，在通常为基于IP的语音(VoIP)所采用的分组交换网络传输协议中，使用根据实时传输协议(RTP)所传送的分组，音频信号被进行了分层编码，按照用户数据报协议(UDP)进行封装，并且进一步按照因特网协议(IP)进行封装。
在这样的媒体传输布置中，可以以两种方式中的一种来处理可扩缩编解码器。在第一种布置中，可以在与核心层数据相同的分组中(即，在相同的RTP会话中)传送增强层。
在单个分组中携带(媒体帧的)所有层的方法提供了低开销和容易的跨层同步，因为接收机解码器知道特定媒体帧的所有信息被携带在相同分组中，这也隐含地提供了跨层媒体同步。然而，这种方法的缺陷在于：执行扩缩操作的任何居间网络单元需要了解分组的细节以及媒体内容结构，并且然后通过读取、解析以及随后修改分组内容来执行过滤操作。
第二种方法是：可以在与核心层数据分离的分组流中传送增强层(或者增强层的子集)。该第二种方法还要求信令机制，所述信令机制可用来对携带了相同媒体源的各层的分离的分组数据流进行同步。
然而，对各层(或各层的子集)采用分离数据流的第二种方法提供了更容易的扩缩机会，因为可以通过丢弃一些数据流的分组来实现扩缩操作，并且因此不要求修改分组。
这种方法因此不要求深入了解分组结构，而是可以基于与数据流之间的关系有关的信息来实现扩缩操作。
多个数据流使用多个RTP会话是在RTP框架内传送分层媒体数据的常规方式(这种方法经常被称为可扩缩多播)。
当接收机使用跨多个RTP会话分布的各层来重构媒体帧时，多个数据流的同步明显是个问题。
可以使用RTP报头中所包括的时间戳(TS)信息来重构RTP分组中所接收到的媒体流的时间线。RTP TS提供关于与相同RTP会话中所传送的其它RTP分组相比的时间差的信息，这使得能够将所接收的每个媒体帧放置到它在时间线中的正确位置。
然而，RTP会话的RTP TS的初始值是随机值。因而，RTP TS并不指示绝对时间(即，“挂钟时间”)，而仅仅是RTP会话内的相对时间或定时参考。要注意，这种“随机性”可被视为针对绝对时间的未知偏移。该未知偏移可以并且很可能在每个RTP会话中是不同的。
因而，两个或更多RTP会话不能仅基于它们的RTP TS值来进行同步，这对于被用来携带分层编码的各层(或各层的子集)的分离的RTP会话是有效的。
用于同步多个RTP会话的现有技术机制是使用与传输协议相关联的控制协议来发送附加信息。因而，在现有技术中，可以在每个会话内传送实时控制协议(RTCP)报告。这些RTCP报告的发射机在根据指定模式传送的RTCP发送方报告(SR)内的RTP TS域中包括发送时刻以及定时参考(NTP)这二者。此外，RTCP分组还包括标识符(SSRC)，所述标识符(SSRC)被用于将RTCP分组映射到RTP分组的正确的流。
在接收到控制协议分组时，接收机可以使用在定时参考和RTP时间戳内的这些控制协议分组，以便计算针对它所接收的每个RTP会话的定时参考(NTP)的RTP TS偏移。这些偏移值然后可以用于匹配在分离的RTP会话中所接收的媒体数据的定时。因此，例如，接收机可以组合在多个RTP会话中所接收的媒体帧的各层。
然而，与这种系统相关联的问题在于：在可以执行对媒体帧的任何全部重构之前，它要求要接收到每个RTP会话的RTCP SR。在实际中的分层媒体的情况下，这意味着直到同步信息可用为止，即，直到接收到(每个会话上的)第一RTCP分组为止，任何分层编码方案中只有核心层可用。
一种不那么复杂的方法(其不依赖于与传输协议相关联的控制协议)已在传送端点中跨RTP会话预先同步RTP TS。换言之，RTP TS的“随机”初始值被设置成用于每个RTP会话的相同值。
尽管这可以提供简单的跨会话同步机制，而不需要传送附加数据，但它与RTP规范不符，并且现有的RTP实施方式因此可能不支持它。
此外，这种方法将在RTP(报头)级提供同步，但仅用于被预先同步的RTP有效载荷的子集。在处理多个有效载荷类型的系统中，这种在RTP级的取决于有效载荷类型的处理可被视为非期望的特征。
进一步的现有技术方案已对每个所传送的数据单元(例如，分层编码传输中的媒体帧的层)附设了附加信息，该附加信息指示其在呈现时间线中的时间位置。这种附加信息可以例如是跨层序号或附加的时间戳信息值，可以在接收机/居间网络单元处使用所述跨层序号或附加的时间戳信息值来重构媒体帧内的各层以及这些帧的呈现顺序。
该附加信息对每个分组添加了附加开销，尽管有可能使用具有小于RTP序号(SN)和RTP TS(分别是16比特和32比特)的数据字段的信息，然而，被添加到每个分组的任何信息仍将对每个被传送的层引入附加的开销。例如，在短小的(10-20字节量级的)语音/音频数据段的情况中，即使每层一个附加字节的开销也会对整体系统性能有着重大影响。
发明内容
本申请提出一种机制，所述机制促进了在最小开销情况下进行有效的跨层同步，其中，使用多个RTP会话。
本发明的实施例旨在解决以上问题。
根据本发明的第一方面，提供了一种用于从输入信号生成分组的分组生成器，所述分组生成器被配置以便：生成取决于所述输入信号的至少一个第一信号，所述第一信号包括第一相对时间值；生成取决于所述输入信号并且与所述至少一个第一信号相关联的至少一个第二信号；生成与所述至少一个第二信号中的每个信号相关联的至少一个指示符，每个指示符取决于所述第一相对时间值。
所述第一信号可以包括核心层编码信号。
所述至少一个第二信号中的每个信号可以包括增强层。
所述指示符可以包括标识了对应的第一信号的标识符。
所述第一相对时间值可以包括实时传输协议时间戳，并且其中，所述标识符可以包括第一编码信号的实时传输协议时间戳。
每个第二信号可以包括相关联的第二相对时间值。
所述指示符可以包括在第一相对时间值与相关联的第二相对时间值之间的差。
所述第一信号可以进一步包括序号；并且其中，每个指示符可以包括序号值。
所述第一信号可以进一步包括取决于所述第一相对时间值的第一标识符值。
每个指示符可以包括第一标识符值。
每个指示符可以包括至少一个第二标识符值，第二标识符值优选地取决于第一标识符值和所述至少一个第二信号。
用于从输入信号生成分组的所述分组生成器可以进一步被配置以便：确定是否已经到达同步点。
所述分组生成器优选地被配置以便：仅当已经到达同步点时，生成所述指示符。
优选地，取决于接收到同步请求，确定所述同步点。
所述至少第一信号可以包括多个分组，并且其中，优选地，取决于检测到预定数目的分组中的任何一个分组，确定所述同步点，其中，所述预定数目的分组可以包括以下中的至少一个：所述多个分组中第一预定数目的分组；所述预定数目的分组中与所述预定数目的分组的第二个分组隔开第二预定数目分组的至少一个分组；所述预定数目的分组中与所述预定数目的分组的第二个分组隔开预定时间段的至少一个分组。
所述至少第一信号可以包括多个分组，并且其中，优选地取决于检测到分组流中的不连续性来确定所述同步点。
所述至少第一信号可以包括多个分组，并且其中，优选地取决于检测到第一和第二信号中的至少一个信号的配置的改变来确定所述同步点。
所述至少第一信号可以包括多个分组，并且其中，优选地取决于检测到话音突发或会话的重新开始来确定所述同步点。
所述第一信号可以包括以下中的至少一个：代数码激励线性预测信号；可变速率多速率编码信号；以及ITU-T G729核心层信号。
所述分组生成器优选地被进一步配置以便：对输入流进行编码，从而生成所述第一信号和所述第二信号。
所述输入流优选地包括以下中的至少一个：音频数据；视频数据；MIDI数据；动画图形数据；以及文本数据。
根据本发明的第二方面，提供了一种用于同步编码信号的分组同步器，所述分组同步器被配置以便：接收编码信号，所述编码信号包括含有第一相对时间值的至少一个第一编码信号、含有第二相对时间值的至少一个第二编码信号，以及与所述至少一个第二编码信号中的每个编码信号相关联的至少一个指示符；取决于相关联的至少一个指示符第一相对时间值，将所述至少一个第二编码信号中的每个编码信号与至少一个第一编码信号中的至少一个编码信号同步。
用于同步编码信号的所述分组同步器可以进一步被配置以便：对于与第一编码信号中的所述至少一个编码信号同步的所述至少一个第二编码信号中的每个编码信号进行解码，从而生成解码信号。
所述至少一个第一编码信号可以包括至少一个核心层音频编码信号，并且所述至少一个第二编码信号可以包括至少一个增强层音频编码信号。
所述指示符可以包括标识了所述至少一个第一编码信号中的一个编码信号的标识符。
每个第一相对时间值可以包括第一时间戳值，并且所述指示符可以包括针对与第二编码信号之一相关联的一个第一编码信号的第一时间戳值。
每个第二相对时间值可以包括第二时间戳值，并且所述解码器优选地被进一步配置以便：确定在第一时间戳值和相关联的一个第二编码信号的第二时间戳值之间的时间偏移值。
所述指示符可以包括在第一相对时间值和相关联的第二相对时间值之间的差。
所述第一编码信号可以进一步包括序号；并且其中，每个指示符可以包括相关联的第一编码信号的序号值。
所述第一编码信号可以进一步包括取决于第一相对时间值的第一标识符值。
每个指示符可以包括所述第一标识符值。
每个指示符可以包括至少一个第二标识符值，所述第二标识符值可以取决于所述第一标识符值和所述至少一个第二编码信号。
根据本发明的第三方面，提供了一种用于从输入信号生成分组的方法，所述方法包括：生成取决于所述输入信号的至少一个第一信号，所述第一信号包括第一相对时间值；生成取决于所述输入信号并且与所述至少一个第一信号相关联的至少一个第二信号；生成与所述至少一个第二信号中的每个信号相关联的至少一个指示符，每个指示符取决于所述第一相对时间值。
所述第一信号可以包括核心层编码信号。
所述至少一个第二信号中的每个信号可以包括增强层。
所述指示符可以包括标识了对应的第一信号的标识符。
所述第一相对时间值可以包括实时传输协议时间戳，并且其中，所述标识符包括第一编码信号的实时传输协议时间戳。
每个第二信号可以包括相关联的第二相对时间值。
所述指示符可以包括在第一相对时间值与相关联的第二相对时间值之间的差。
所述第一信号可以进一步包括序号；并且其中，每个指示符包括序号值。
所述第一信号可以进一步包括取决于所述第一相对时间值的第一标识符值。
每个指示符可以包括所述第一标识符值。
每个指示符可以包括至少一个第二标识符值，所述第二标识符值可以取决于所述第一标识符值和所述至少一个第二信号。
用于从输入信号生成分组的所述方法可以进一步包括：确定是否已经到达同步点。
用于从输入信号生成分组的所述方法可以进一步包括：仅当已经到达同步点时，生成所述指示符。
优选地，取决于接收到同步请求，确定所述同步点。
所述至少第一信号优选地包括多个分组，并且其中，优选地取决于检测到预定数目的分组中的任何一个分组来确定所述同步点，其中，所述预定数目的分组可以包括以下中的至少一个：所述多个分组中第一预定数目的分组；所述预定数目的分组中与所述预定数目的分组的第二个分组隔开第二预定数目分组的至少一个分组；所述预定数目的分组中与所述预定数目的分组的第二个分组隔开预定时间段的至少一个分组。
所述至少第一信号可以包括多个分组，并且其中，优选地取决于检测到分组流中的不连续性来确定所述同步点。
所述至少第一信号可以包括多个分组，并且其中，优选地取决于检测到第一和第二信号中的至少一个信号的配置的改变来确定所述同步点。
所述至少第一信号可以包括多个分组，并且其中，优选地取决于检测到话音突发或会话的重新开始来确定所述同步点。
所述第一信号可以包括以下中的至少一个：代数码激励线性预测信号；可变速率多速率编码信号；以及ITU-T G729核心层信号。
所述方法可以进一步包括：对所述输入流进行编码，以便生成所述第一信号和所述第二信号。
所述输入流可以进一步包括以下中的至少一个：音频数据；视频数据；MIDI数据；动画图形数据；以及文本数据。
根据本发明的第四方面，提供了一种用于同步编码信号的方法，所述方法包括：接收编码信号，所述编码信号包括含有第一相对时间值的至少一个第一编码信号、含有第二相对时间值的至少一个第二编码信号，以及与所述至少一个第二编码信号中的每个编码信号相关联的至少一个指示符；以及取决于相关联的至少一个指示符第一相对时间值，将所述至少一个第二编码信号中的每个编码信号与至少一个第一编码信号中的至少一个编码信号同步。
用于同步编码信号的所述方法可以进一步包括：对于与第一编码信号中的所述至少一个编码信号同步的至少一个第二编码信号中的每个编码信号进行解码，以便生成解码信号。
所述至少一个第一编码信号可以包括至少一个核心层编码信号，并且所述至少一个第二编码信号可以包括至少一个增强层编码信号。
所述指示符可以包括标识了所述至少一个第一编码信号中的一个编码信号的标识符。
每个第一相对时间值可以包括第一时间戳值，并且所述指示符可以包括针对与第二编码信号之一相关联的一个第一编码信号的第一时间戳值。
每个第二相对时间值可以包括第二时间戳值，并且所述方法可以进一步包括：确定在第一时间戳值和相关联的一个第二编码信号的第二时间戳值之间的时间偏移值。
所述指示符可以包括在第一相对时间值和相关联的第二相对时间值之间的差。
所述第一编码信号可以进一步包括序号；并且其中，每个指示符包括相关联的第一编码信号的序号值。
所述第一编码信号可以进一步包括取决于第一相对时间值的第一标识符值。
每个指示符可以包括所述第一标识符值。
每个指示符可以包括至少一个第二标识符值，所述第二标识符值可以取决于所述第一标识符值和所述至少一个第二编码信号。
一种装置，其可以包括如以上特征所述的编码器。
一种装置，其可以包括如以上特征所述的解码器。
一种电子设备，其可以包括如以上特征所述的编码器。
一种电子设备，其可以包括如以上特征所述的解码器。
一种芯片集，其可以包括如以上特征所述的编码器。
一种芯片集，其可以包括如以上特征所述的解码器。
根据本发明的第五方面，提供了一种计算机程序产品，所述计算机程序产品被配置以便实施用于从输入信号生成分组的方法，所述方法包括：生成取决于所述输入信号的至少一个第一信号，所述第一信号包括第一相对时间值；生成取决于所述输入信号并且与所述至少一个第一信号相关联的至少一个第二信号；生成与所述至少一个第二信号中的每个信号相关联的至少一个指示符，每个指示符取决于所述第一相对时间值。
根据本发明的第六方面，提供了一种计算机程序产品，所述计算机程序产品被配置以便实施用于同步编码信号的方法，所述方法包括：接收编码信号，所述编码信号包括含有第一相对时间值的至少一个第一编码信号、含有第二相对时间值的至少一个第二编码信号，以及与所述至少一个第二编码信号中的每个编码信号相关联的至少一个指示符；以及取决于相关联的至少一个指示符第一相对时间值，将所述至少一个第二编码信号中的每个编码信号与至少一个第一编码信号中的至少一个编码信号同步。
根据本发明的第七方面，提供了一种用于从输入信号生成分组的分组生成器，所述分组生成器包括：第一处理装置，用于生成取决于所述输入信号的至少一个第一信号，所述第一信号包括第一相对时间值；第二处理装置，用于生成取决于所述输入信号并且与所述至少一个第一信号相关联的至少一个第二信号；以及第三处理装置，用于生成与所述至少一个第二信号中的每个信号相关联的至少一个指示符，每个指示符取决于所述第一相对时间值。
根据本发明的第八方面，提供了一种用于同步分组的分组同步器，所述分组同步器包括：接收装置，用于接收编码信号，所述编码信号包括含有第一相对时间值的至少一个第一编码信号、含有第二相对时间值的至少一个第二编码信号，以及与所述至少一个第二编码信号中的每个编码信号相关联的至少一个指示符；信号处理装置，用于取决于相关联的至少一个指示符第一相对时间值，将所述至少一个第二编码信号中的每个编码信号与至少一个第一编码信号中的至少一个编码信号同步。
附图说明
为了更好地理解本发明，现在将以示例方式参考附图，在附图中：
图1示意性地示出了采用本发明实施例的电子设备；
图2示意性地示出了采用本发明实施例的音频编解码器系统；
图3示意性地示出了图2中所示出的音频编解码器系统的编码器部分；
图4示意性地示出了根据本发明的流程图，其说明了图3中所示出的音频编码器的实施例的操作；
图5示意性地示出了在本发明的实施例中使用的传输块；
图6示意性地示出了图2中所示出的音频编解码器系统的解码器部分；以及
图7示出了根据本发明的流程图，其说明了图6中所示出的音频解码器的实施例的操作。
具体实施方式
尽管下文关于使用RTP会话的音频编码和解码描述了示例和实施例，然而本领域的技术人员有可能将相同或相似的操作应用于在非分层编码的其它类型关系情况下同步携带了媒体流的RTP会话。例如，相同方法可被应用于构成了用于多描述编码的数据的一组媒体流。此外，下文描述的机制还可以应用于在分离的RTP会话中传送的任何不同类型的媒体成分，例如，音频和视频编码。
下文较为详细地描述了用于提供可扩缩音频编码系统的可行机制。在该方面，首先参考图1，其示出了示例性电子设备10的示意性框图，该电子设备10可以并入根据本发明实施例的编解码器。
电子设备10可以例如是无线通信系统的移动终端或用户设备。
电子设备10包括经由模拟-数字转换器14被链接到处理器21的传声器11。处理器21进一步经由数字-模拟转换器32被链接到扩音器33。处理器21被进一步链接到收发器(TX/RX)13、用户接口(UI)15和存储器22。
处理器21可被配置以便执行各种程序代码。所实现的程序代码包括用于对组合音频信号进行编码的音频编码代码，以及用于提取并编码涉及多个通道的空间信息的边信息(side information)的代码。所实现的程序代码23进一步包括音频解码代码。所实现的程序代码23可以被存储在例如存储器22中，用于由处理器21在需要时进行检索。存储器22可以进一步提供用于存储数据的部件24，例如存储已根据本发明被编码的数据。
可以以硬件或固件在本发明的实施例中实现所述编码和解码代码。
用户接口15使得用户能够例如经由键板向电子设备10输入命令，和/或例如经由显示器从电子设备10获得信息。收发器13使得能够例如经由无线通信网络与其它电子设备通信。
再次，要理解，可以以多种方式补充和改变电子设备10的结构。
电子设备10的用户可以使用用于输入语音的传声器11，所述语音要被传送到特定的其它电子设备，或者要被存储在存储器22的数据部件24中。为此，已由用户经由用户接口15激活了对应的应用。该应用可以由处理器21运行，促使处理器21执行存储器22中存储的编码代码。
模拟-数字转换器14将输入的模拟音频信号转换成数字音频信号，并且向处理器21提供该数字音频信号。
处理器21然后可以按照参考图2和图3所描述的相同方式来处理该数字音频信号。
所得到的比特流被提供给收发器13用于传送到另一电子设备。可选地，编码数据可以被存储在存储器22的数据部件24中，例如用于由同一电子设备10在随后传输或随后呈现。
电子设备10还可以经由其收发器13从另一电子设备接收具有对应编码数据的比特流。在这种情况下，处理器21可以执行存储器22中存储的解码程序代码。处理器21解码所接收的数据，并且将所解码的数据提供给数字-模拟转换器32。数字-模拟转换器32将数字解码数据转换成模拟音频数据并且经由扩音器33输出它们。执行解码程序代码也可以由用户已经由用户接口15调用的应用来触发。
所接收的编码数据还可以被存储在存储器22的数据部件24中，而不是经由扩音器33立即呈现，例如，用于使得能够随后向另一电子设备呈现或向另一电子设备转发。
可以理解，图2、图3、图5和图6中描述的示意结构以及图4和图7中的方法步骤仅代表在图1所示的电子设备中示例性示出所实现的完整音频编解码器的操作的一部分。
在图2中示出了如本发明实施例所采用的音频编解码器的一般操作。一般的音频编码/解码系统由编码器和解码器构成，如图2中所示意性示出的。所示出的是具有编码器104、存储或媒体通道106，以及解码器108的系统102。
编码器104压缩输入音频信号110，产生比特流112，所述比特流112被存储或者通过媒体通道106被传送。可以在解码器108内接收比特流112。解码器108解压缩比特流112，并且产生输出音频信号114。比特流112的比特速率和与输入信号110相关的输出音频信号114的质量是定义编码系统102的性能的主要特征。
图3示意性地示出了根据本发明示例性实施例的编码器104。编码器104包括被布置成接收音频信号的输入203。
音频信号输入203被连接到层编解码器处理器205。层编解码器处理器205的输出被传递到核心层RTP会话生成器209以及增强层RTP会话生成器211的输入。
核心层RTP会话生成器209被配置以便具有被连接到网络接口213的输入的一个输出，以及被连接到增强层RTP会话生成器211的另一输入的另一输出。增强层RTP会话生成器211被配置以便具有被连接到网络接口213的另一输入的输出。
网络接口213然后可以被布置成经由输出206来输出RTP分组流112。
参考示出了编码器104的操作的图4的流程图，较为详细地描述这些组件的操作。
音频信号由编码器104接收。在本发明的第一实施例中，音频信号是数字采样信号。在本发明的其它实施例中，音频输入可以是例如来自传声器6的模拟音频信号，其被进行模拟到数字(A/D)转换。在本发明的进一步实施例中，将音频输入从脉冲编码调制数字信号转换成幅度调制数字信号。图4中通过步骤301示出了对音频信号的接收。
层编解码器处理器205接收待编码的音频信号，并且输出代表核心级编码信号的编码参数。此外，层编解码器处理器205生成用于内部使用的合成音频信号(换言之，音频信号被编码成参数，然后使用互逆过程对所述参数进行解码以产生合成音频信号)。
层编解码器处理器205可以使用任何适当的编码技术来生成核心层。
在本发明的第一实施例中，层编解码器处理器205使用嵌入式可变比特速率编解码器(EV-VBR)来生成核心层。
在本发明的其它实施例中，核心层可以是代数码激励线性预测编码(ACELP)，并且被配置以便输出典型ACELP参数的比特流。
要理解，本发明的实施例同样可以使用任何基于音频或语音的编解码器来表示核心层。
图4中通过步骤303示出了核心层编码信号的生成。
层编解码器处理器205使用合成音频信号(换言之，音频信号首先被编码成诸如以上描述的那些参数，然后在相同的核心层编解码器内被解码回音频信号)。该合成信号在层编解码器处理器205内被用来生成增强层。
在本发明的一个实施例中，合成信号和音频信号被变换到频域中，并且两个频域信号之间的差然后被编码以产生增强层数据。
在本发明的其它实施例中，可以生成ITU-T嵌入式可变比特速率(EV-VBR)语音/音频编解码器增强层和ITU-T可扩缩视频编解码器(SVC)增强层。
进一步的实施例可以包括但不限于：可变多速率宽带(VMR-WB)、ITU-T G.729、ITU-T G.729.1、自适应多速率宽带(AMR-WB)和扩展的自适应多速率宽带(AMR-WB+)。
在本发明的其它实施例中，任何适当的增强层编解码器均可以被用来提取在合成信号与原始音频信号之间的相关性，以便生成增强层数据信号。
图4中通过步骤305示出了增强数据的生成。
核心层RTP会话生成器209接收核心层信号数据，并且被配置以便生成与核心层信号数据相关联的RTP会话数据。RTP会话数据典型地将包括具有报头的分组，所述报头包括时间戳值(TSC)，所述时间戳值(TSC)如上所述标记了相对时间，所述相对时间使得RTP会话的分组当已经在接收机处被接收时能够以正确的顺序被重新组装。
图4中通过步骤307示出了核心层RTP会话分组的生成。
增强层RTP会话生成器211接收增强层数据信号，并且初始生成增强层RTP会话分组。增强层RTP分组还将包括报头，所述报头包括时间戳值(TSE)，所述时间戳值(TSE)标记针对增强层的相对时间，所述相对时间将使得接收机能够重构所接收的增强层RTP分组的顺序。
图4中通过步骤309示出了增强层RTP会话分组的生成。
此外，增强层RTP会话生成器检查正在生成的当前分组是否处在同步点。
在本发明的第一实施例中，同步点是处在会话生成的开始处的第一分组。换言之，增强层RTP会话生成器确定该增强层会话分组是否是待传送的第一个分组。
在本发明的其它实施例中，同步点不仅针对处在所生成的会话的开始处的第一分组，而且还针对预定数目的后续分组。在该实施例中，在附加的分组上添加同步信息允许了较大的错误率，其中，可能没有接收到一个或多个分组，但同步信息仍可被接收机接收。
在本发明的进一步实施例中，同步点被取作每个第n分组。换言之，在已经传送了预定数目的分组之后确定同步点。例如，在每100个分组之后确定同步点。可以取决于从发射机到接收机的比特或分组错误率来选择该预定数目。
在本发明的进一步实施例中，同步点被取作在预定的有规律间隔之后所生成或传送的分组。可以取决于从发射机到接收机的比特或分组错误率来选择该预定的有规律间隔，以便优化接收机接收同步信息的能力(如下文针对传送同步信息的开销要求所公开的)。
在所述信息的一些实施例中，可以存在从解码器/接收机108到编码器/发射机104的反馈环，其中编码器/发射机104被配置以便从解码器/接收机108接收对同步信息的请求。在接收到该请求时，增强层RTP会话生成器可以被配置以便确定是否已经到达同步点。同步点可以被确定为停留在从解码器/接收机接收到对预定数目的分组的请求之后。
在本发明的一些实施例中，增强层RTP会话生成器211可以被配置以便确定：每当编码器/发射机104需要在所传送的分组流中引入不连续性时，便已到达同步点。例如，当编码器需要基于媒体特征来添加新的增强层时。例如，通过包括增强层来实现从单声道切换到立体声的音频流，所述增强层含有立体声比特流作为分离的RTP会话。另外，可用的计算资源在偶尔允许造成不连续性的更高比特速率编码的编码终端中可以变化。此外，呼叫保持功能在编码中造成不连续性。
此外，在本发明的一些实施例中，增强层RTP会话生成器211可以被配置以便确定：每当所传送的层配置变成包括更高数目的层时，便已到达同步点。
此外，在本发明的一些实施例中，增强层RTP会话生成器211可以被配置以便确定：每当(在语音会话中)开始话音突发时，便已到达同步点。
在本发明的一些实施例中，增强层RTP会话生成器211可以被配置以便确定：每当在非活动时间段之后会话被重新开始时，便已到达同步点。
图4中通过步骤311示出了对同步点的检测。
如果确定已经到达同步点，那么该过程插入同步元素。
增强层RTP会话生成器211在步骤309所生成的增强层RTP会话分组中插入同步元素。
在本发明的第一实施例中，增强层RTP会话生成器211在当前的增强层RTP会话分组中插入携带了对应的核心层数据的RTP会话的RTP TS的当前值作为同步元素。换言之，在同步数据需要被提供用于接收机的情况下，TSC的值被插入到携带了增强层数据的(每个)RTP会话的分组中。
如下所述，这将使得解码器/接收机能够计算在核心层RTP TS(TSC)与携带了增强层数据的每个RTP的RTP TS(TSE)之间的偏移。其中，在本发明的实施例中，存在多个增强层(图3中未示出)，每个增强层RTP会话生成器可以插入与增强层信号的帧相关联的核心层RTP TS值，并且因此每个会话可以类似地使用TSC值来在解码器/接收机108处同步每一层。
在本发明的进一步实施例中，每个增强层RTP会话生成器接收核心层RTP会话TS(TSC)，并且生成在核心层RTP TS值与携带了增强层数据的(每个)RTP会话的分组中的增强层RTP TS值之间的差的偏移值。增强层RTP会话生成器211然后将TS偏移值作为同步元素插入到携带了对应的核心层数据的各层的每个RTP会话处的增强层RTP会话分组中。
在另一实施例中，RTP会话生成器包括公共定时参考的值作为携带了相同媒体帧的各层的每个RTP会话的分组中的同步元素。这样的公共定时参考的例子是NTP时间戳，所述NTP时间戳也被携带在RTCP发送方和接收方报告中。
在本发明的进一步实施例中，增强层RTP会话生成器211在携带了来自相同媒体帧的增强层数据的(每个)RTP会话的分组中插入携带了核心层数据的RTP会话的RTP序号(SN)值作为同步元素。如下所述，这将使得解码器/接收机108能够找到对应的RTP TS值，并且计算跨会话同步所要求的TS偏移。
在本发明的进一步实施例中，增强层RTP会话生成器211在代表相同媒体帧的一层或多层的每个RTP会话处的分组中插入具有相同值的标识符作为同步元素。
在本发明的一些实施例中，标识符值可以根据预定模式逐层(从RTP会话到RTP会话)改变。
关于图5，可以示出两种格式的具有插入的同步元素的RTP分组。
如本领域已知的，所提出的EV-VBR编解码器RTP有效载荷引入了传输块的概念，传输块携带来自一个或几个编码音频帧的一层或几层。每每个传输块是独立的，其包括：指示了传输块中所携带的层配置的层标识(L-ID)值、关于传输块中所包括的帧的数目的信息，以及实际的编码音频数据。因而，解码器/接收机108可以使用L-ID值来唯一地标识在所接收到的传输块中的每个传输块中所携带的各层。
在本发明的实施例中，分配L-ID值来指示携带了所插入的跨层同步元素而不是编码音频数据的传输块。携带了同步元素的传输块可以与携带了实际的EV-VBR音频数据的传输块一起被传送。
因而，由图5(a)中可知，RTP会话生成器209/211可以输出传输块401，根据本发明的这种实施例，传输块401包括含有RTP报头信息的RTP报头403、具有指示了音频数据的存在的“x”值的第一层标识值(L-ID＝x)405、用于一层或多层的一帧或多帧的音频数据407、含有指示封装了尾随而来的同步元素的标识符的第二层标识值(L-ID＝y)409，以及同步元素411。
图5(a)中的例子示出了这样一种实施例，其中，可以在相同分组中传送同步元素，其仅有含有音频数据的单个传输块。该分组还可以含有若干个携带了音频数据的传输块。
在本发明的进一步实施例中，同步元素被包括作为数据流的一部分，但作为它自己的RTP分组。如图5(b)中可知，RTP会话生成器209/211可以输出第一RTP分组451，其包括含有RTP报头信息的RTP报头461、具有指示了音频数据的存在的“x”值的第一层标识值(L-ID＝x)463，以及用于一层或多层的一帧或多帧的音频数据465。复用器213还输出第二相关RTP分组453，其包括含有RTP报头信息的第二分组RTP报头467、具有“y”值的第二层标识值(L-ID＝y)469，以及同步元素471。
在两种情况下，根据本发明的实施例，均通过携带了跨层同步元素的分组的RTP TS来定义与同步元素相关联的定时(可选地，该定时还可以被指定成是使用预定义方法根据(RTP)分组报头信息来计算的一例如，该定时可以被指定成具有与在它之前/之后的音频数据块相同的定时)。
典型地，同步元素所需要的信息量与实际媒体数据的尺寸相比是小的。然而，在严格的带宽限制的情况中，尤其是在要求包括同步元素的实施例中，只有在传递增强层数据的RTP会话上，才有可能在所需要的那几帧中完全将增强层音频数据替换成同步元素。这不会妨碍在接收机中的媒体呈递，因为对核心层音频数据的接收确保了成功解码，尽管音频质量可能会暂时恶化。
此外，在所有实施例中，均有可能在非活动的源信号期间发送同步元素(如果可行的话)。例如，在使用EV-VBR编解码器的实施例中，可以在非语音时间段期间并且当从应用角度而言可行时，传送同步元素，以便防止在语音时间段期间使用附加带宽。
增强层RTP会话生成器然后可以向网络接口213传递所生成的增强层RTP分组。
涉及从核心层RTP会话生成器209和增强层RTP会话生成器211接收分组的网络接口213输出或存储RTP分组。
为了进一步有助于理解本发明，针对图6中示意性示出的解码器和图7中示出了解码器的操作的流程图来说明关于本发明实施例的解码器108的操作。
该解码器包括输入502，可以从该输入502接收被编码的分组流112。输入502被连接到分组接收机501。
该分组接收机被配置以便将所接收到的分组流112作为至少两个分离的分组流来进行转发。来自接收机的第一分组流被传递到核心层处理器503。
图7中通过步骤601示出了该拆包过程。
核心层处理器503接收核心层分组，并且被配置以便向核心层解码器507传递核心层数据以及与核心层数据相关联的核心层定时元素。
图7中通过步骤603示出了核心层数据和定时元素TSC的提取。
增强层处理器505接收增强层分组，并且被配置以便向增强层解码器509传递增强层数据以及与增强层数据相关联的增强层定时元素TSE。
图7中通过步骤605示出了增强层数据和定时元素TSE的提取。
此外，增强层处理器505检测增强层分组内是否存在同步元素或者是否存在与所述分组相关联的同步元素。
如果没有同步元素，则该方法进行解码步骤611/613。
如果增强层分组内存在同步元素或者存在与所述分组相关联的同步元素，那么增强层处理器505从层分组中提取同步元素。
图7中通过步骤607示出了对同步元素的提取。
涉及提取同步元素的增强层处理器然后确定在核心层与增强层之间的偏移。
如上所述，在核心层RTP分组TS TSC被插入到增强分组的本发明实施例中，可以通过简单相减来确定偏移。例如：
假设有三个RTP会话，一个携带核心层数据(RTP1)，并且其它两个当中的一个携带增强层1(RTP2)而第二个携带增强层2(RTP3)。在时间t，编码器/发射机104在具有标准时间戳值TSt1的RTP1中发送编码帧n的核心层。为了提供用于增强层的同步信息，含有RTP1中对应的时间戳值(即，TSt1)的同步元素被包括在携带了用于编码帧n的增强层1(在RTP2中)和2(在RTP3中)的有效载荷中。要注意，这些分组本身将在其RTP报头中分别具有标准的RTP时间戳值TSt2和TSt3。
在接收到同步元素时，通过将核心层数据的RTP TS与包括了在增强层有效载荷内所传送的核心层时间戳的同步信息进行比较，解码器/接收机108现在可以找到对应于任何给定核心层数据的所有增强层。最重要的是，通过TSo2＝TSt1-TSt2，解码器/接收机108可以确定在核心层TS与增强层1TS之间的偏移。这将提供跨层同步所要求的信息：用于编码帧n的增强层1具有时间戳TSt2，并且用于同一编码帧的核心层具有时间戳值TSt2+TSo2。或者换言之，通过向在RTP2分组的RTP报头中所接收到的TS值增加TSo2，可以将RTP2的任何后续的时间戳带到RTP1时间线。
按照类似方式，可以通过TSo3＝TSt1-TSt3来计算在核心层TS与增强层2TS之间的偏移，并且通过添加TSo3将后续的时间戳转变成与RTP1时间戳相匹配。
类似地，在本发明的其它实施例中，通过检查同步元素(诸如读取偏移值，或者通过将同步元素中所接收的序号与所接收的核心层分组的序号进行比较，或者通过将增强层分组上的标识符与核心层分组进行比较)，可以确定偏移。
图7中通过步骤609示出了对偏移的确定。
层解码器507实施对于由核心层编解码器处理器205关于核心层数据所实施的操作的补充操作，以便为核心层生成合成音频信号。此外，核心层合成信号在内部被用来生成增强层。
图7中通过步骤611示出了对核心层的解码。
此外，层解码器507实施对于由层编解码器处理器205所实施的操作的补充操作，以便生成合成增强层信号。
在本发明的实施例(其中，对合成增强层信号进行解码要求来自合成核心层信号的数据)中，使用从增强层处理器传递的偏移信息来同步来自增强层处理器的增强层信号。
图7中通过步骤613示出了对增强层的同步和解码。
然后，将合成增强层信号与合成核心层信号组合到一起，以便在输出506上生成合成音频信号。
在不共享与解码过程相关的公共时间关键数据的本发明一些实施例中，可以在解码了增强层之后使用偏移信息来执行对合成信号的同步。
要理解，即使已针对核心层和单个增强层示例性地描述了本发明，本发明也可以应用于另外的增强层。
上述本发明的实施例针对分离的编码器104和解码器108装置描述了编解码器，以便帮助理解所涉及的过程。然而，要理解，所述装置、结构和操作可以被实现为单个的编码器-解码器装置/结构/操作。此外，在本发明的一些实施例中，编码器和解码器可以共享一些和/或全部公共元件。
如之前所提到的，尽管以上过程描述了单个核心音频编码信号和单个增强层音频编码信号，然而，使用相同或类似的分组传输协议，可以应用相同的方法来同步两个媒体流。
尽管以上例子描述了在电子设备610内的编解码器内操作的本发明实施例，然而可以理解，本发明可以如下文所述被实现为任何可变速率/自适应速率音频(或语音)编解码器的一部分。因而，例如，在可以通过固定或有线通信路径上实现音频编码的音频编解码器中可以实现本发明的实施例。
因而，用户设备可以包括诸如以上在本发明的实施例中描述的那些音频编解码器。
应当理解，术语“用户设备”旨在涵盖任何适当类型的无线用户设备，诸如移动电话、便携式数据处理设备或便携式Web浏览器。
此外，公共陆地移动网络(PLMN)的元件也可以包括如上所述的音频编解码器。
一般地，可以在硬件或专用电路、软件、逻辑或其任何组合中实现本发明的各种实施例。例如，可以在硬件中实现一些方面，而在固件或可被控制器、微处理器或其它计算设备执行的软件中实现其它方面，尽管本发明不限于此。虽然本发明的各方面可以被示出和描述为框图、流程图或使用一些其它的图形表示，但是很好理解的是，作为非限制性例子，可以在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备或其特定组合中实现文中所描述的这些框块、装置、系统、技术或方法。
例如，本发明的实施例可以被实现为芯片集，换言之，彼此间进行通信的一系列集成电路。所述芯片集可以包括被布置成运行代码的微处理器、专用集成电路(ASICs)或用于实施上文所述的操作的可编程数字信号处理器。
可以通过可由移动设备的数据处理器执行的计算机软件来实现本发明的实施例，诸如在处理器实体中，或者通过硬件，或者通过软件和硬件的组合。进一步地，在该方面，应当注意，附图中的任何逻辑流框块均可以表示程序步骤，或者互连的逻辑电路、框块和功能，或者程序步骤和逻辑电路、框块以及功能的组合。
存储器可以具有适合于本地技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，诸如基于半导体的存储设备、磁存储设备和系统、光存储设备和系统、固定存储器和可装卸存储器。作为非限制性例子，数据处理器可以具有适合于本地技术环境的任何类型，并且可以包括以下中的一个或多个：通用计算机、专用计算机、微处理器、数字信号处理器(DSPs)和基于多核处理器架构的处理器。
可以在诸如集成电路模块的各种组件中实践本发明的实施例。集成电路的设计大体上是高度自动化的过程。复杂而强有力的软件工具可用于将逻辑级设计转换成易于在半导体基底上蚀刻和成形的半导体电路设计。
诸如由California的Mountain View的Synopsys公司和California的San Jose的Cadence Design公司提供的那些程序自动地对导体布线并且使用既定的设计规则以及预先存储的设计模块库在半导体芯片上定位组件。一旦半导体电路的设计已完成，具有标准化电子格式(例如，Opus、GDSII等等)的所得到的设计便可以被传送到半导体制造设施或“制造厂”用于制造。
通过示例性和非限制性示例的方式提供了以上说明书，并举例说明了对本发明的示例性实施例的完整和有信息量的描述。然而，对相关领域的技术人员显而易见的是，当结合附图和所附权利要求阅读以上说明书时，可以作出各种修改和调适。然而，对本发明的教导的所有这样的和类似的修改仍将落入如所附权利要求中所定义的本发明的范围内。

Claims (74)

1.一种用于从输入信号生成分组的分组生成器，所述分组生成器被配置以便：
生成取决于所述输入信号的至少一个第一信号，所述第一信号包括第一相对时间值；
生成取决于所述输入信号并且与所述至少一个第一信号相关联的至少一个第二信号；
生成与所述至少一个第二信号中的每个信号相关联的至少一个指示符，每个指示符取决于所述第一相对时间值。
2.根据权利要求1所述的用于从输入信号生成分组的分组生成器，其中，所述第一信号包括核心层编码信号。
3.根据权利要求2所述的用于从输入信号生成分组的分组生成器，其中，所述至少一个第二信号中的每个信号包括增强层。
4.根据权利要求1至3所述的用于从输入信号生成分组的分组生成器，其中，所述指示符包括标识了对应的第一信号的标识符。
5.根据权利要求4所述的用于从输入信号生成分组的分组生成器，其中，所述第一相对时间值包括实时传输协议时间戳，并且其中，所述标识符包括第一编码信号的实时传输协议时间戳。
6.根据权利要求1至5所述的用于从输入信号生成分组的分组生成器，其中，每个第二信号包括相关联的第二相对时间值。
7.根据权利要求6所述的用于从输入信号生成分组的分组生成器，其中，所述指示符包括在第一相对时间值与相关联的第二相对时间值之间的差。
8.根据权利要求1至7所述的用于从输入信号生成分组的分组生成器，其中，所述第一信号进一步包括序号；并且其中，每个指示符包括序号值。
9.根据权利要求1至8所述的用于从输入信号生成分组的分组生成器，其中，所述第一信号进一步包括取决于第一相对时间值的第一标识符值。
10.根据权利要求9所述的用于从输入信号生成分组的分组生成器，其中，每个指示符包括第一标识符值。
11.根据权利要求9所述的用于从输入信号生成分组的分组生成器，其中，每个指示符包括至少一个第二标识符值，所述第二标识符值取决于第一标识符值和所述至少一个第二信号。
12.根据权利要求1至11所述的用于从输入信号生成分组的分组生成器，其进一步被配置以便：
确定是否已经到达同步点。
13.根据权利要求12所述的用于从输入信号生成分组的分组生成器，其中，所述分组生成器被配置以便：仅当已经到达同步点时，生成所述指示符。
14.根据权利要求12和13所述的用于从输入信号生成分组的分组生成器，其中，取决于接收到同步请求来确定所述同步点。
15.根据权利要求12至13所述的用于从输入信号生成分组的分组生成器，其中，所述至少第一信号包括多个分组，并且其中，取决于检测到预定数目的分组中的任何一个分组来确定所述同步点，其中，所述预定数目的分组包括以下中的至少一个：
所述多个分组中第一预定数目的分组；
所述预定数目的分组中与所述预定数目的分组的第二个分组隔开第二预定数目分组的至少一个分组；
所述预定数目的分组中与所述预定数目的分组的第二个分组隔开预定时间段的至少一个分组。
16.根据权利要求12至13所述的用于从输入信号生成分组的分组生成器，其中，所述至少第一信号包括多个分组，并且其中，取决于检测到分组流中的不连续性来确定所述同步点。
17.根据权利要求12至13所述的用于从输入信号生成分组的分组生成器，其中，所述至少第一信号包括多个分组，并且其中，取决于检测到第一和第二信号中的至少一个信号的配置的改变来确定所述同步点。
18.根据权利要求12至13所述的用于从输入信号生成分组的分组生成器，其中，所述至少第一信号包括多个分组，并且其中，取决于检测到话音突发或会话的重新开始来确定所述同步点。
19.根据权利要求2所述的分组生成器，其中，所述第一信号包括以下中的至少一个：
代数码激励线性预测信号；
可变速率多速率编码信号；以及
ITU-T G729核心层信号。
20.根据权利要求1至19所述的分组生成器，其中，所述分组生成器进一步被配置以便：对输入流进行编码，从而生成所述第一信号和所述第二信号。
21.根据权利要求1至20所述的分组生成器，其中，所述输入流包括以下中的至少一个：
音频数据；
视频数据；
MIDI数据；
动画图形数据；以及
文本数据。
22.一种用于同步编码信号的分组同步器，所述分组同步器被配置以便：
接收编码信号，所述编码信号包括：含有第一相对时间值的至少一个第一编码信号、含有第二相对时间值的至少一个第二编码信号，以及与所述至少一个第二编码信号中的每个编码信号相关联的至少一个指示符；
取决于相关联的至少一个指示符第一相对时间值，将所述至少一个第二编码信号中的每个编码信号与至少一个第一编码信号中的至少一个编码信号同步。
23.根据权利要求22所述的用于同步编码信号的分组同步器，其进一步被配置以便：对于与第一编码信号中的所述至少一个编码信号同步的所述至少一个第二编码信号中的每个编码信号进行解码，从而生成解码信号。
24.根据权利要求22和23所述的用于同步编码信号的分组同步器，其中，所述至少一个第一编码信号包括至少一个核心层编码信号，并且所述至少一个第二编码信号包括至少一个增强层音频编码信号。
25.根据权利要求22至24所述的用于同步编码信号的分组同步器，其中，所述指示符包括标识了所述至少一个第一编码信号之一的标识符。
26.根据权利要求25所述的用于同步编码信号的分组同步器，其中，每个第一相对时间值包括第一时间戳值，并且所述指示符包括针对与第二编码信号之一相关联的一个第一编码信号的第一时间戳值。
27.根据权利要求26所述的用于同步编码信号的分组同步器，其中，每个第二相对时间值包括第二时间戳值，并且所述解码器进一步被配置以便：确定在第一时间戳值和相关联的一个第二编码信号的第二时间戳值之间的时间偏移值。
28.根据权利要求25所述的用于同步编码信号的分组同步器，其中，所述指示符包括在第一相对时间值和相关联的第二相对时间值之间的差。
29.根据权利要求25所述的用于同步编码信号的分组同步器，其中，所述第一编码信号进一步包括序号；并且其中，每个指示符包括相关联的第一编码信号的序号值。
30.根据权利要求25所述的用于同步编码信号的分组同步器，其中，所述第一编码信号进一步包括取决于所述第一相对时间值的第一标识符值。
31.根据权利要求30所述的用于同步编码信号的分组同步器，其中，每个指示符包括所述第一标识符值。
32.根据权利要求31所述的用于同步编码信号的分组同步器，其中，每个指示符包括至少一个第二标识符值，所述第二标识符值取决于所述第一标识符值和所述至少一个第二编码信号。
33.一种用于从输入信号生成分组的方法，所述方法包括：
生成取决于所述输入信号的至少一个第一信号，所述第一信号包括第一相对时间值；
生成取决于所述输入信号并且与所述至少一个第一信号相关联的至少一个第二信号；
生成与所述至少一个第二信号中的每个信号相关联的至少一个指示符，每个指示符取决于所述第一相对时间值。
34.根据权利要求33所述的用于从输入信号生成分组的方法，其中，所述第一信号包括核心层编码信号。
35.根据权利要求34所述的用于从输入信号生成分组的方法，其中，所述至少一个第二信号中的每个信号包括增强层。
36.根据权利要求33至35所述的用于从输入信号生成分组的方法，其中，所述指示符包括标识了对应的第一信号的标识符。
37.根据权利要求36所述的用于从输入信号生成分组的方法，其中，所述第一相对时间值包括实时传输协议时间戳，并且其中，所述标识符包括第一编码信号的实时传输协议时间戳。
38.根据权利要求33至37所述的用于从输入信号生成分组的方法，其中，每个第二信号包括相关联的第二相对时间值。
39.根据权利要求38所述的用于从输入信号生成分组的方法，其中，所述指示符包括在第一相对时间值与相关联的第二相对时间值之间的差。
40.根据权利要求33至39所述的用于从输入信号生成分组的方法，其中，所述第一信号进一步包括序号；并且其中，每个指示符包括序号值。
41.根据权利要求33至40所述的用于从输入信号生成分组的方法，其中，所述第一信号进一步包括取决于所述第一相对时间值的第一标识符值。
42.根据权利要求41所述的用于从输入信号生成分组的方法，其中，每个指示符包括所述第一标识符值。
43.根据权利要求41所述的用于从输入信号生成分组的方法，其中，每个指示符包括至少一个第二标识符值，所述第二标识符值取决于所述第一标识符值和所述至少一个第二信号。
44.根据权利要求33至43所述的用于从输入信号生成分组的方法，其进一步包括：
确定是否已经到达同步点。
45.根据权利要求44所述的用于从输入信号生成分组的方法，其进一步包括：仅当已经到达同步点时生成所述指示符。
46.根据权利要求44和45所述的用于从输入信号生成分组的方法，其中，取决于接收到同步请求来确定所述同步点。
47.根据权利要求44至45所述的用于从输入信号生成分组的方法，其中，所述至少第一信号包括多个分组，并且其中，取决于检测到预定数目的分组中的任何一个分组来确定所述同步点，其中，所述预定数目的分组包括以下中的至少一个：
所述多个分组中第一预定数目的分组；
所述预定数目的分组中与所述预定数目的分组的第二个分组隔开第二预定数目分组的至少一个分组；
所述预定数目的分组中与所述预定数目的分组的第二个分组隔开预定时间段的至少一个分组。
48.根据权利要求44至45所述的用于从输入信号生成分组的方法，其中，所述至少第一信号包括多个分组，并且其中，取决于检测到分组流中的不连续性来确定所述同步点。
49.根据权利要求44至45所述的用于从输入信号生成分组的方法，其中，所述至少第一信号包括多个分组，并且其中，取决于检测到第一和第二信号中的至少一个信号的配置的改变来确定所述同步点。
50.根据权利要求44至45所述的用于从输入信号生成分组的方法，其中，所述至少第一信号包括多个分组，并且其中，取决于检测到话音突发或会话的重新开始来确定所述同步点。
51.根据权利要求34所述的用于从输入信号生成分组的方法，其中，所述第一信号包括以下中的至少一个：
代数码激励线性预测信号；
可变速率多速率编码信号；以及
ITU-T G729核心层信号。
52.根据权利要求33至51所述的用于从输入信号生成分组的方法，其中，所述方法进一步包括：对输入流进行编码，以便生成所述第一信号和所述第二信号。
53.根据权利要求33至52所述的用于从输入信号生成分组的方法，其中，所述输入流包括以下中的至少一个：
音频数据；
视频数据；
MIDI数据；
动画图形数据；以及
文本数据。
54.一种用于同步编码信号的方法，所述方法包括：
接收编码信号，所述编码信号包括：含有第一相对时间值的至少一个第一编码信号、含有第二相对时间值的至少一个第二编码信号，以及与所述至少一个第二编码信号中的每个编码信号相关联的至少一个指示符；以及
取决于相关联的至少一个指示符第一相对时间值，将所述至少一个第二编码信号中的每个编码信号与至少一个第一编码信号中的至少一个编码信号同步。
55.根据权利要求54所述的用于同步编码信号的方法，其进一步包括：对于与第一编码信号中的所述至少一个编码信号同步的所述至少一个第二编码信号中的每个编码信号进行解码，以便生成解码信号。
56.根据权利要求54和55所述的用于同步编码信号的方法，其中，所述至少一个第一编码信号包括至少一个核心层编码信号，并且所述至少一个第二编码信号包括至少一个增强层编码信号。
57.根据权利要求54至56所述的用于同步编码信号的方法，其中，所述指示符包括标识了所述至少一个第一编码信号之一的标识符。
58.根据权利要求57所述的用于同步编码信号的方法，其中，每个第一相对时间值包括第一时间戳值，并且所述指示符包括针对与第二编码信号之一相关联的一个第一编码信号的第一时间戳值。
59.根据权利要求58所述的用于同步编码信号的方法，其中，每个第二相对时间值包括第二时间戳值，并且所述方法进一步包括：确定在第一时间戳值和相关联的一个第二编码信号的第二时间戳值之间的时间偏移值。
60.根据权利要求57所述的用于同步编码信号的方法，其中，所述指示符包括在第一相对时间值和相关联的第二相对时间值之间的差。
61.根据权利要求57所述的用于同步编码信号的方法，其中，所述第一编码信号进一步包括序号；并且其中，每个指示符包括相关联的第一编码信号的序号值。
62.根据权利要求57所述的用于同步编码信号的方法，其中，所述第一编码信号进一步包括取决于所述第一相对时间值的第一标识符值。
63.根据权利要求62所述的用于同步编码信号的方法，其中，每个指示符包括所述第一标识符值。
64.根据权利要求63所述的用于同步编码信号的方法，其中，每个指示符包括至少一个第二标识符值，所述第二标识符值取决于所述第一标识符值和所述至少一个第二编码信号。
65.一种包括根据权利要求1至21中所述的编码器的装置。
66.一种包括根据权利要求22至32中所述的解码器的装置。
67.一种包括根据权利要求1至21中所述的编码器的电子设备。
68.一种包括根据权利要求22至32中所述的解码器的电子设备。
69.一种包括根据权利要求1至21中所述的编码器的芯片集。
70.一种包括根据权利要求22至32中所述的解码器的芯片集。
71.一种计算机程序产品，所述计算机程序产品被配置以便实施用于从输入信号生成分组的方法，所述方法包括：
生成取决于所述输入信号的至少一个第一信号，所述第一信号包括第一相对时间值；
生成取决于所述输入信号并且与所述至少一个第一信号相关联的至少一个第二信号；
生成与所述至少一个第二信号中的每个信号相关联的至少一个指示符，每个指示符取决于所述第一相对时间值。
72.一种计算机程序产品，所述计算机程序产品被配置以便实施用于同步编码信号的方法，所述方法包括：
接收编码信号，所述编码信号包括：含有第一相对时间值的至少一个第一编码信号、含有第二相对时间值的至少一个第二编码信号，以及与所述至少一个第二编码信号中的每个编码信号相关联的至少一个指示符；以及
取决于相关联的至少一个指示符第一相对时间值，将所述至少一个第二编码信号中的每个编码信号与至少一个第一编码信号中的至少一个编码信号同步。
73.一种用于从输入信号生成分组的分组生成器，包括：
第一处理装置，用于生成取决于所述输入信号的至少一个第一信号，所述第一信号包括第一相对时间值；
第二处理装置，用于生成取决于所述输入信号并且与所述至少一个第一信号相关联的至少一个第二信号；以及
第三处理装置，用于生成与所述至少一个第二信号中的每个信号相关联的至少一个指示符，每个指示符取决于所述第一相对时间值。
74.一种用于同步分组的分组同步器，包括：
接收装置，用于接收编码信号，所述编码信号包括：含有第一相对时间值的至少一个第一编码信号、含有第二相对时间值的至少一个第二编码信号，以及与所述至少一个第二编码信号中的每个编码信号相关联的至少一个指示符；
信号处理装置，用于取决于相关联的至少一个指示符第一相对时间值，将所述至少一个第二编码信号中的每个编码信号与至少一个第一编码信号中的至少一个编码信号同步。
CN2007801020956A 2007-12-03 2007-12-03 分组生成器 Pending CN101911634A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2007/063202 WO2009071115A1 (en) 2007-12-03 2007-12-03 A packet generator

Publications (1)

Publication Number Publication Date
CN101911634A true CN101911634A (zh) 2010-12-08

Family

ID=39777131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007801020956A Pending CN101911634A (zh) 2007-12-03 2007-12-03 分组生成器

Country Status (5)

Country Link
US (1) US8566108B2 (zh)
EP (1) EP2215797A1 (zh)
KR (1) KR20100096220A (zh)
CN (1) CN101911634A (zh)
WO (1) WO2009071115A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105188075A (zh) * 2014-06-17 2015-12-23 中国移动通信集团公司 语音质量优化方法及装置、终端

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515767B2 (en) * 2007-11-04 2013-08-20 Qualcomm Incorporated Technique for encoding/decoding of codebook indices for quantized MDCT spectrum in scalable speech and audio codecs
KR101001024B1 (ko) * 2007-12-18 2010-12-14 한국전자통신연구원 비디오 멀티캐스팅 서비스에서 정보 보안 유지 방법 및장치
FR2927208B1 (fr) * 2008-01-31 2010-02-12 Airbus France Procede et dispositif de mesure de la derive temporelle d'un equipement electronique relie a un reseau
US20120144056A1 (en) * 2009-08-12 2012-06-07 Nederlandse Organisatie Voor Toegepast- Natuurwetenschappelijk Onderzoek Tno Dynamic RTCP Relay
US8811299B2 (en) * 2009-09-15 2014-08-19 Intel Corporation Techniques for requesting bandwidth allocation
CA2849974C (en) * 2011-09-26 2021-04-13 Sirius Xm Radio Inc. System and method for increasing transmission bandwidth efficiency ("ebt2")
KR101761812B1 (ko) 2015-06-16 2017-07-26 주식회사 구버넷 비균등 오류정정 기법을 이용한 심볼의 패킷 생성 방법
GB2547442B (en) * 2016-02-17 2022-01-12 V Nova Int Ltd Physical adapter, signal processing equipment, methods and computer programs
US11250867B1 (en) * 2019-10-08 2022-02-15 Rockwell Collins, Inc. Incorporating data into a voice signal with zero overhead

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5486864A (en) * 1993-05-13 1996-01-23 Rca Thomson Licensing Corporation Differential time code method and apparatus as for a compressed video signal
US6510553B1 (en) * 1998-10-26 2003-01-21 Intel Corporation Method of streaming video from multiple sources over a network
US7161931B1 (en) * 1999-09-20 2007-01-09 Broadcom Corporation Voice and data exchange over a packet based network
US7221660B1 (en) * 2000-08-08 2007-05-22 E.F. Johnson Company System and method for multicast communications using real time transport protocol (RTP)
US7133449B2 (en) * 2000-09-18 2006-11-07 Broadcom Corporation Apparatus and method for conserving memory in a fine granularity scalability coding system
US20020191625A1 (en) * 2001-05-25 2002-12-19 Patrick Kelly Table-based correlation of base and enhancement layer frames
JP2006508562A (ja) * 2002-07-18 2006-03-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 優先付けされた伝送パケットの適応的ドロップ
AU2003303166A1 (en) * 2002-12-20 2004-07-14 Koninklijke Philips Electronics N.V. Method and apparatus for handling layered media data
US20050036557A1 (en) 2003-08-13 2005-02-17 Jeyendran Balakrishnan Method and system for time synchronized forwarding of ancillary information in stream processed MPEG-2 systems streams
US20050058150A1 (en) * 2003-09-16 2005-03-17 Boles Glenn M. Method and apparatus for enhancing packet communication
WO2005043178A2 (en) * 2003-10-29 2005-05-12 University Of Pittsburgh Of The Commonwealth System Of Higher Education Optimizing packetization for minimal end-to-end delay in voip networks
KR100662350B1 (ko) * 2004-08-23 2007-01-02 엘지전자 주식회사 영상 전송 장치 및 방법
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
DE102005014477A1 (de) 2005-03-30 2006-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und zum Erzeugen einer Multikanal-Darstellung
US7843974B2 (en) * 2005-06-30 2010-11-30 Nokia Corporation Audio and video synchronization
US8879856B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US7764713B2 (en) * 2005-09-28 2010-07-27 Avaya Inc. Synchronization watermarking in multimedia streams
US8358704B2 (en) * 2006-04-04 2013-01-22 Qualcomm Incorporated Frame level multimedia decoding with frame information table

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105188075A (zh) * 2014-06-17 2015-12-23 中国移动通信集团公司 语音质量优化方法及装置、终端
CN105188075B (zh) * 2014-06-17 2018-10-12 中国移动通信集团公司 语音质量优化方法及装置、终端

Also Published As

Publication number Publication date
EP2215797A1 (en) 2010-08-11
KR20100096220A (ko) 2010-09-01
WO2009071115A1 (en) 2009-06-11
US8566108B2 (en) 2013-10-22
US20100280832A1 (en) 2010-11-04

Similar Documents

Publication Publication Date Title
CN101911634A (zh) 分组生成器
CN102160378B (zh) 对被高度压缩的增强层数据进行同步的方法和装置
US10068581B2 (en) Method and arrangement for providing a backwards compatible payload format
US7397411B2 (en) Method, apparatus, system, and program for code conversion transmission and code conversion reception of audio data
RU2408158C2 (ru) Синхронизация звука и видео
CN103460288B (zh) 用于生成可由实施不同解码协议的解码器解码的统一比特流的音频编码方法及系统
CN101803263A (zh) 用于分组交换传输的可伸缩检错和交叉会话定时同步
KR101235494B1 (ko) 신호 소스와 연관된 적어도 하나의 오디오 신호 파라미터를 인코딩하는 오디오 신호 인코딩 장치 및 방법, 및 통신 디바이스
US20100284281A1 (en) Apparatus and Method for Transmitting a Sequence of Data Packets and Decoder and Apparatus for Decoding a Sequence of Data Packets
JP4944250B2 (ja) Ａｍｒ−ｗｂｄｔｘ同期化を提供するためのシステムおよび方法
CN101366082B (zh) 可变帧偏移编解码方法、编解码器及无线电通信设备
CN101115011A (zh) 一种流媒体回放方法、装置及系统
JP2008197660A (ja) 圧縮された情報信号全体にわたって散在させられたデジタル・メッセージの伝送
US9967306B1 (en) Prioritized transmission of redundancy data for packetized voice communication
US20090059806A1 (en) Method, system and apparatus for providing signal based packet loss concealment for memoryless codecs
TWI394398B (zh) 用於傳輸資料分組序列的設備和方法以及用於對資料分組序列進行解碼的解碼器和設備
JP5834851B2 (ja) 通信システム、装置及びプログラム
Ye et al. Distributed subframe interleaving: A new solution for packet loss resilient speech coding
JP2017044935A (ja) 音声信号通信システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101208

WD01 Invention patent application deemed withdrawn after publication