CN102792372B - 基于通信链路质量和信源编码延迟的信源编码自适应 - Google Patents

基于通信链路质量和信源编码延迟的信源编码自适应 Download PDF

Info

Publication number
CN102792372B
CN102792372B CN201080065006.7A CN201080065006A CN102792372B CN 102792372 B CN102792372 B CN 102792372B CN 201080065006 A CN201080065006 A CN 201080065006A CN 102792372 B CN102792372 B CN 102792372B
Authority
CN
China
Prior art keywords
information source
source coding
communication link
delay
codec
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080065006.7A
Other languages
English (en)
Other versions
CN102792372A (zh
Inventor
斯蒂芬·布鲁恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN102792372A publication Critical patent/CN102792372A/zh
Application granted granted Critical
Publication of CN102792372B publication Critical patent/CN102792372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/22Mode decision, i.e. based on audio signal content versus external parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M7/00Arrangements for interconnection between switching centres
    • H04M7/006Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer
    • H04M7/0072Speech codec negotiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

提供了一种网络节点中的方法和装置,该方法和装置用于使信源编码的性能适应于通信系统中分组交换会话服务的通信链路的质量。该方法包括获取(404)与通信链路的质量有关的信息。该方法还包括基于已获取信息及相关信源编码延迟,选择(406)具有相关信源编码延迟的信源编码模式。该已选信源编码模式是从具有至少两个与不同信源编码延迟相关联的信源编码模式的集合中选择的,并且当在通信链路上传输信源编码话音数据时,将使用该已选信源编码模式。

Description

基于通信链路质量和信源编码延迟的信源编码自适应
技术领域
本发明涉及通信系统中对话服务的话音数据的信源编码,并且特别地,涉及由信源编解码器引入的延迟。
背景技术
端对端延迟在会话应用(例如电话)中有有限时间预算。超过特定限制的端对端延迟将对会话质量有负面影响。因此,希望将端对端延迟维持在所述特定限制以内。
端对端延迟是与端对端通信链路的不同部分相关联的多个不同延迟的总和。例如,除了实际媒体中的传播之外,端对端通信链路典型地还包括不同连续元素,例如信源编码、数据打包、信道编码、交织、重传和抖动缓冲。这些元素中的每一个在其处理时需要一些处理时间,以便完成各元素的合理操作,例如良好信源编码效率或仅有少数传输错误或帧/分组丢失的通信链路上的可靠传输。因为端对端延迟是有限资源,仅有能够在端对端通信链路的不同元素间分配的有限时间。
在通信链路上传输话音数据之前,对该话音数据进行信源编码。典型地,为了压缩数据序列而执行信源编码,以使之需要例如更少的传输带宽。话音数据的信源编码引入会话服务中端对端延迟的信源编码延迟分量。信源编码延迟长度取决于所使用的信源编解码器的种类,并且典型地在20毫秒(例如在GSM EFR(全球移动通信系统)(增强型全速率)中)到大约50毫秒(例如在ITU-T标准G.718(国际电信联盟电信标准化部)中)的范围内。
经常用于电路交换(CS)和分组交换(PS)传输的一种信源编码是AMR(自适应多速率)多模式编解码器。该AMR多模式编解码器引入25毫秒的编码延迟,其中5毫秒是意在启用更多有效信源编码的“先行区(lookahead)”。因此,AMR多模式编解码器使用25毫秒的可用端对端延迟。图1示出了示例性AMR编解码器中的先行区。每一个时隙代表5毫秒。在这个AMR编解码器示例中,包括要编码的语音数据的每帧106和108代表4*5毫秒=20毫秒。在该编码器的信号分析中,使用30毫秒窗口帧102和104。窗口帧104有5毫秒伸展到下一个语音数据帧中,这5毫秒组成了所谓的先行区110。
传输延迟(即花费在通信系统中的实际传输上的可用端对端延迟的部分,该实际传输包括例如无线电接入网中的传输和核心网中的传输)主要取决于所使用的接入技术和网络配置。典型地,关于传输延迟,CS传输和PS传输之间存在明显的不同。在CS传输中,传输延迟定义明确并且针对每一个传输帧在整个连接中是固定的。另一方面,在PS传输中,每个分组独立传输并且因此与独立传输延迟相关,这导致众所周知的PS传输中的分组延迟抖动(即变化)。换言之,PS传输的分组以不同延迟到达接收机,有些会早到达,有些会晚到达。对于CS传输,使用诸如3GPP(第三代合作计划)GSM/Geran(GSM EDGE无线电接入网,其中EDGE代表增强型数据速率GSM演进技术)或UTRAN(UMTS陆地无线电接入网,其中UMTS代表通用移动通信系统)的接入技术。对于PS传输,可使用例如UTRAN PS承载,例如HSPA(高速分组接入技术)和LTE(长期演进技术)。因特网中的网络电话同样是PS传输的例子。
虽然有大量接入和传输技术可用,通常而言,在已确定传输成本的情况下,扩展可用传输延迟预算将使传输更可靠。换句话说,通过扩展可用传输延迟的方式,传输容量可以显著提高。例如,在LTE接入网中,取决于有关于延迟和容量的操作点,少到5毫秒的可用或允许传输延迟的提高,将带来多达15%的容量提高,该容量提高是关于小区中能够容纳的话音呼叫的数量而言的。这在图2中示出,图2示出了该示例,示出了在操作点P1处x毫秒的传输延迟增长怎么带来每个小区ΔC1个用户的容量提高。然而在另一操作点P2处传输延迟的相同提高带来比ΔC1小相当多的每个小区ΔC2个用户的容量提高。因此,可用传输时间的缺乏会对传输容量起到极大限制作用。
因此,认为由于可用传输时间缺乏带来的传输容量的限制是一个问题。
发明内容
希望在会话服务中提高传输效率。本发明的目的在于能够实现会话服务中传输容量的提高。进一步,本发明的目的在于提供一种方法和装置,用于扩展会话服务中可用端对端延迟预算中能够用于传输的部分。
根据一个方面,提供了一种网络节点中的方法,该方法用于使信源编码的性能适应于通信系统中分组交换会话服务的通信链路的质量。在该方法中,获取与所述通信链路的质量有关的信息。基于已获取信息及相关信源编码延迟,选择具有相关信源编码延迟的信源编码模式。例如,存在许多具有相同特性(例如编码率)的可选信源编码模式,但这些模式与不同编码延迟相关联。当在通信链路上传输信源编码话音数据时,使用已选信源编码模式,并且该信源编码模式是从与不同信源编码延迟相关联的信源编码模式集合中选择的。
根据另一方面,提供了一种网络节点中的装置,该装置适于使信源编码的性能适应于通信系统中分组交换会话服务的通信链路的质量。该装置包括适于获取与通信链路的质量有关信息的功能单元。该装置还包括功能单元,该功能单元适于基于已获取信息及相关信源编码延迟,选择具有相关信源编码延迟的信源编码模式。当在通信链路上传输信源编码话音数据时,使用已选信源编码模式,并且该信源编码模式是从与不同信源编码延迟相关联的信源编码模式集合中选择的。
当需要时,可以使用上述方法和装置,用以通过增加时间在分组交换会话服务中扩展可用传输延迟预算,通过在对话音数据信源编码时选择与已降低编码延迟相关联的信源编码模式获得该时间。
可以在不同实施例中实施以上方法和装置。在一些实施例中,网络节点是移动终端或其他端节点,并且在一些实施例中,网络节点是中央控制节点。在以上两种情况中,可以向一个或多个其他网络节点提供已选信源编码模式的指示。当网络节点是端节点时,可以在网络节点中使用已选信源编码模式来编码在通信链路上传输的话音数据。
在一些实施例中,不同可选信源编码模式可以与一个信源编解码器相关联,而在其他实施例中,一些不同可选信源编码模式可以与不同信源编解码器分别相关联。
在一些实施例中,不同可选信源编码模式中的至少一种可以与提供至少一种低延迟模式的适应性多速率(AMR)信源编解码器相关联,其中可以不等待有效采样填满先行区就开始该至少一种低延迟模式的编码过程。可以通过修改IPC分析窗口形状和/或在时间上移动IPC分析窗口来提供该至少一种低延迟模式。
在一些实施例中,不同可选信源编码模式中的至少一种可以与可伸缩编解码器相关联,该可伸缩编解码器具有有核心编码层和至少一个增强编码层,其中不同编码层与不同固有延迟相关联。当同与更高固有延迟相关联的层有关的信号的传输暂停时,可以避免延迟同与低固有延迟相关联的层有关的信号,而为了使该信号同步于同与更高固有延迟相关联的层有关的信号,通常会执行延迟。
在一些实施例中,可以基于以下因素确定不同参数:已选信源编码模式,例如可用于通信链路上的重传的时间间隔持续时间;通信链路上允许的重传次数和/或通信链路上传输的信号的接收机中使用的抖动缓冲区大小。这些备选是能够怎样使得从信源编码获得的“延迟预算”可用于传输的示例。
在一些实施例中,已获取的与通信链路的质量有关的信息与以下参数中的至少一个有关:在通信链路上重传花费的时间;通信链路上分组的重传数量;在通信链路上的传输中丢失的分组的数量;在通信链路上接收的损坏的或无用的分组数量以及以上列出的参数之一的预定变化。
在一些实施例中,可以在确定通信链路的质量差时选择与相对低信源编码延迟相关联的信源编码模式,并且在确定通信链路的质量好时选择与相对高信源编码延迟相关联的信源编码模式。
已经根据行为基本描述以上能够并入不同实施例的特征。然而,所述装置允许对应实施例,其中不同功能单元适于执行上述特征和行为。
附图说明
通过用示例性实施例并参考附图,现在将更详细描述本发明,其中,
图1是示出了根据现有技术的AMR编解码器中的先行区的示意图。
图2是示出了根据现有技术的随LTE空口延迟变化的LTE系统容量的示意图。
图3a-c是示出了根据实施例的使信源编码延迟适应于信道环境的示意图。
图4是示出了根据实施例的过程步骤的流程图。
图5是示出了无线电传输实体中的装置的实施例的框图。
图6a-c是示出了与不同编码延迟相关联的可选编解码器模式的不同示例性实施例的示意图。
具体实施方式
简而言之,提供了一种方法和装置,能够使用该方法和装置,通过增加时间在分组交换会话服务中扩展可用传输延迟预算,通过降低用于话音数据信源编码的延迟而获得该时间。通过以下方式降低信源编码延迟:提供与不同编码延迟相关联的可选信源编码模式集合,并适应性选择与编码延迟相关联的信源编码模式,该编码延迟在给定特定估计信道质量的情况下优化信源编码效率和传输效率之间的权衡。目的在于在给定话音服务质量平均等级时能够实现传输容量增强,或者在给定传输容量等级时能够实现话音服务质量增强,或两者。
一些定义:本文件中,当讨论使信源编码的性能适应于通信链路的质量的过程时,将使用一些表达,将在这里简单定义其中一些表达。
术语“信源编码延迟”指代针对例如话音数据等的信源编码算法的执行所需的时间。该算法信源编码延迟是从输入采样送入编码器到解码器再现该采样的时间,其中排除需要用于在编码器和解码器之间的传已编码语音信号的计算或传输的时间。该延迟可能是编码器在缓冲编码算法执行所需的部分输入信号时引起的。该延迟还可能是解码器在例如能够重建语音采样之前缓冲已编码语音数据时引起的。
这里术语“传输延迟”大体上指代信源编码和信源解码之间的时间,即花费在例如打包、信道编码、交织、重传和抖动缓冲上的时间。
大体上,当指代允许的延迟(例如信源编码延迟或传输延迟)量时,使用术语“延迟预算”。
术语“编解码器”按照通常具有的含义使用,即指代编码器和/或解码器。
信道状态被称作“好”或“差”。没有“好”或“差”信道的严格定义,因为它取决于例如希望或能够接收什么样的质量等级。典型地,信道状态涉及传输信道质量,可以通过例如分组或帧擦除率、分组延迟抖动量、误码率、载频与干扰或噪声比等描述该传输信道质量。因此,“好信道”可以被解释为具有特定希望或可接受质量的信道,而“差信道”可以被解释为具有不希望(即太低)或不可接受质量的信道。
在本发明示例性实施例中,如图3a-c示出,信源编码延迟304a适应于308信道状态,并与传输延迟预算306a对立。当确定信道状态好时,不扩展传输延迟预算306b就能够达到可靠传输。因此,在好信道状态期间,如图3b所示出,为了提高数据压缩率,最好在信源编解码器上花费延迟。另一方面,当确定信道状态差时,如图3c所示出,通过在传输上花费更多可用端对端延迟预算302,能够获得相对更多增益,例如通过在H-ARQ(混合自动重传请求)协议中增加允许重传次数、通过增加抖动缓冲长度或通过使用更长或更有效信道编码或更长交织,用在信源编解码器中花费更少延迟作交换,所有这些都是以仅轻微牺牲信源编码效率为代价。
假定接收机部署补偿已接收语音数据分组的时延抖动的抖动缓冲区。重要的是抖动缓冲区同样非常适合补偿信源编码延迟的变化。如果经过合适度量,抖动缓冲区能够执行语音编码延迟改变而不造成重建语音信号的不连续。可以考虑互联网工程任务小组(IEIF)实时传输协议(RTP),RFC3550(注释请求),它典型地用于PS会话话音传输。该协议为每个分组打上时间戳,该时间戳指示通过该分组传输的第一个话音采样的采样时刻。因此,不管延迟是花费在信源编码上还是传输上,该时间戳信息提供关于由其他传输分组代表的话音部分的已重建话音部分的准确时间位置。只要抖动缓冲区足够深以致没有缓冲区上溢或下溢发生,那么像传输引起的任意其他延迟抖动一样,简单地处理编码延迟的变化。
与本发明相关的一项观察结果是虽然模式中的一个(MR122)不针对信源编码使用所有25毫秒,PS环境中AMR多模式编解码器针对所有编解码器模式为端对端延迟做出同样25毫秒贡献。虽然如图1中示出,模式MR10.2及以下(即更低编码率)针对更有效信源编码使用5毫秒先行区,模式MR122将没有使用的先行区留给信源压缩。在模式MR122中,仅为VAD(声音活动检测)使用5毫秒的先行区。因此,在当前在模式122中使用的AMR编解码器中,直到先行区填满有效语音采样,才处理输入信号帧。在针对CS语音传输的AMR应用中激发该等待,其中限制传输时间时刻每20毫秒定期发生,并且其中在AMR模式间的模式切换仅能够在任意20毫秒界限发生。然而,PS传输不工作在同样限制下。在PS传输中,如上所述,每一个话音分组与一个时间戳相关联。因此,不需要和CS系统中做法一样等待且仅在预定时间发送分组。而是一旦要以分组发送的已编码话音数据可用时,就能够发送该数据。因此,能够比包含用其他AMR模式编码的话音数据的话音分组早5毫秒发送用AMR模式MR122编码的已编码话音数据。
延迟是有效传输的重要属性,并且能够用于更有效信源编码(即更好压缩效率)或用于如前所述的传输错误的增强恢复力。如在当前语音传输系统中的情况,能够次优选地考虑将作为端对端延迟分量的信源编码延迟在所有传输状态下保持为固定。由于许多应用响应于传输系统配置和状态而适应信道编码延迟的事实,应该看到这种情况。
能够在两个传统编解码器(例如AMR编解码器)中应用本发明的思想,并能够在新编解码器开发中应用本发明的思想。
在本发明的一个与AMR相关的实施例中,当足够量的输入信号采样可用时,立即开始输入信号语音帧的处理。针对编码模式MR122,这意味着不等待先行区填满有效采样就开始编码过程,即编码过程开始和结束比传统使用情况早5毫秒。因此,能够比传统使用情况早5毫秒开始传输。因此,能够以许多方式使用从信源编码获得的5毫秒,在涉及PS语音传输的实时应用中提高传输效率。应注意的是,该方法可能需要AMR编解码器中VAD算法的修改,然而这并不与本发明大体思路相冲突。
在涉及不同于AMR编解码器的新编解码器或传统编解码器的一个实施例中,提供具有至少两种模式的话音编解码器。这些模式中的一个是具有20毫秒延迟的低延迟模式,它典型地在低比特率(例如8kbps)下工作。给定低速率和延迟,此模式提供相当好的但不是杰出的话音质量。该至少两种模式中的第二种是高速率高质量模式,具有例如40毫秒编码延迟,在例如16或24kbps比特率下工作。每当估计信道状态好时,不需要扩展传输延迟预算,并且可用延迟最好花费在与较高编码延迟相关联的高质量编解码器模式。然而,当信道状态降低时,最好切换到低速率编解码器模式,由于较低编码延迟,该低速率编解码器模式允许在传输中花费更多延迟,这继而使传输更可靠和更有效。
在一个实施例中,完全不修改传输链剩余部分(即在信源编解码以后)。在此实施例中,从唯一事实(更多时间可用于向接收机传输语音分组)中,将获得传输增益。由于可用传输时间增加,晚丢失(即当语音分组到达接收机太晚以至于不能用于解码)的可能性将减少,并因此在不花费任何更多传输资源的情况下将提高语音质量。
在应用重传协议(例如使用增加的冗余进行重传的HARQ协议)的系统的实施例中,能够使用额外毫秒量的传输时间(例如与AMR相关的5毫秒)来增加重传延迟预算,并因此允许增加重传次数。这种增加在给定同样传输资源使用(例如带宽)情况下将带来更可靠传输。备选地,能够降低传输资源使用,同时仍然保持相同传输可靠性(例如QoS(服务质量)等级)。因此,能够为增强语音质量或为增加传输系统容量或两者,使用额外毫秒量。值得指出的是,不增加计算复杂度而实现质量和/或容量增益。
进一步,除了在编码过程中使用先行区的传统模式,能在语音编解码器中提供备选的不使用先行区的低延迟编码器操作模式。在AMR编解码器中,能够通过更改IPC(线性预测编码)分析窗口,使得在编码过程中将使用更少或完全不使用先行区,来实现现有AMR模式(例如MR10.2)的低延迟变体。是使用常规的还是使用低延迟的编码器变体的选择能要么是固定的(即针对有些模式,使用低延迟变体)要么是自适应的。一个自适应可能性是在呼叫建立时确定使用哪种模式变体,这是例如基于无线电接入网的容量或负载统计。在高业务负载有可能发生的情况下,为了有助于最大化系统容量,可以选择低延迟变体。另一自适应可能性是允许在呼叫期间,基于从该无线电网络接收端或一些控制实体中获得的实际信道状态估计,在模式的低延迟变体和原始版本之间在线切换。如上概述,则可以将低延迟操作模式备选用于差信道状态下的更有效传输。将缩短IPC分析窗口,这是以稍微降低相应低延迟(例如AMR编解码模式)模式的固有质量为代价。然而,这种质量的降低将通过质量增益得到补偿,该质量增益是由于为了处理差信道状态而增加的容量得到的。
为了保证在几乎所有时间达到最优可能语音质量,应该使信源编码延迟(即信源编解码器模式的选择)适应于当前信道状态。例如,当确定信道状态相对好并且当不需要用于传输增强的额外延迟时,信源编解码器可以使用编码器先行区,运行在常规模式下。然而,当确定信道状态相对差并且当确定从获得用于传输的额外时间所获取的增益由于例如IPC分析窗口降低而超过指定质量损失时,选择低延迟信源编码模式。这样的适应性将需要从接收端到发送端自适应数据的传输。该自适应数据可以包括信道测量数据(例如分组丢失率)和/或可以包括指定编解码器模式的请求。在低分组丢失率的情况下,能够选择和/或要求具有先行区的常规编码模式。在高分组丢失率的情况下,能够选择和/或要求低延迟编码模式。
进一步,能够直接响应于已选编码延迟或与特定编码延迟相关联的已选编码模式,适应HARQ重传允许次数。例如,当信源编解码器在“低延迟”模式中运行时,优选地设定HARQ协议允许重传最大次数为比该编码器运行在“高延迟”模式下时更大的数。这样的HAQR协议直接控制并不总是可能的或希望的,因为它需要MAC(媒体接入控制)层接收编码器使用哪个层或模式的指示。然而,在从移动电话到网络上行链路传输情况中,其中在相同物理移动电话设备中实现IP栈时,这样直接控制HARQ上行协议是明显可行的。能够基于使用的编解码器模式或通过RTP分组时间戳的检查,促进编码延迟检测,在RTP分组中容易检测编码延迟改变。在用于下行链路传输的HARQ协议情况下,这种基于层间通信的适应性方法同样是可能的,虽然认为这是涉及不恰当努力并因此是不希望的。
然而,可以通过使用从接收端到编码端的反馈来避免这样的层间通信。例如,使信源编解码器模式适应于信道状态将保证在好信道状态期间在信源编解码器中使用具有先行区的原始“高延迟”模式。进一步,当信道状态良好时,由HARQ重传引起的延迟较短。那么,当信道状态恶化时,由HARQ重传引起的延迟增加,接收机能够检测到该延迟。因此,可以使用花费在重传上的时间的某种检测到的增加,和/或接收到重传的数量,和/或丢失分组数量的某种检测到的增加,作为决定使用不具有先行区的低延迟编码器模式的标准。开始,例如在会话建立时,可以将HARQ协议允许重传次数设置为较高数,该较高数与低延迟信源编码相匹配。指定为RFC 3550部分的IETF RTP控制协议(RTCP)提供必需的协议组成部分,该协议组成部分促进反馈信息从接收端到编码端的传输。
相似的编解码器延迟自适应策略可用固有多于一个编码延迟选项的编解码器实现。这种编解码器的例子是可伸缩编解码器,例如具有ACELP(代数码激励线性预测)核心层和MDCT(改进的离散余弦变换)增强层的G.718。典型地,ACELP层需要比MDCT增强层更少的编码延迟。为了同步这些层,在解码器中延迟ACELP层信号,这样该ACELP层信号与重建的MDCT增强层信号将有相同延迟。可以将这样为了同步层而引入额外延迟看作和AMR模式MR122未使用的先行区延迟相似的延迟预算的浪费部分。如果使该延迟可用于增加传输延迟预算,它将被更好地使用。根据一个实施例,以上描述的编解码器和相似编解码器种类可以适用于以下情况:
当确定信道状态好时,对语音进行信源编码以使用核心和增强层来传输。接着,使用使用原始高延迟语音解码器模式在接收端执行信源解码,该高延迟语音解码器模式延迟ACEIP核心层信号以使该CEIP核心层信号与增强层重建信号同步。当确定信道状态差时,暂停增强信息(例如与MDCT相关的信息)的传输并且仅发送核心层信息。因此,当确定信道状态差时,不是延迟解码器中已解码ACEIP层信号(这是现有的情况),而是可以起而代之,例如在HARQ协议中使用传统用于层同步的时间,用来实现其他重传,或者在接收机抖动缓冲区中使用传统用于层同步的时间,使该抖动缓冲区长度相应增加。能够在例如建立时确定何时使用不同解码延迟的配置,或者能够在会话期间自适应地改变何时使用不同编码延迟的配置。
应该指出,同样能够将已描述的自适应推广到互不关联的完全不同的信源编解码器之间的切换,该已描述的自适应是在好信道状态下具有更长延迟和对应更短传输延迟的信源编码与在差信道状态下具有更短延迟和对应更长传输延迟的信源编码之间的自适应。例如,当确定信道状态好时能够使用与长编码延迟相关联的音频编解码器,并且当确定信道状态差时能够使用与相对较短编码延迟相关联的语音编解码器。接着,能够使该编码延迟差异可用于当确定信道状态差时的信道编码,或者如以上实施例所述,可用于HAQR协议中以实现进一步重传,或者可用于接收机抖动缓冲区,使缓冲区长度相应增加。
现在将参考图4描述使信源编码性能适应于通信链路的质量的过程的实施例。起初,在步骤402中接收数据。取决于是在端节点还是在中央控制节点中应用该过程,已接收数据是传输前将信源编码的话音数据或与将信源编码的话音数据有关的信息。
在步骤404获取与通信链路的质量有关的信息。能够例如通过对从通信链路上接收到的传输的测量、从另一网络实体接收到通信链路质量报告或者通过使用任意其他合适方法,获取信息。接着,在步骤406中,基于在步骤404中获取的信息,从至少两个信源编码模式的集合中选择一种信源编码模式。能够通过比较表示在步骤404中获取的质量信息的值和预定阈值,进行以上步骤。当该值低于阈值时,选择低延迟编解码器模式,否则,选择另一模式。该集合中不同信源编码模式与不同信源编码延迟相关联,并且从该集合中选择信源编码模式涉及为了匹配通信链路的质量,则选择期望的信源编码延迟。当在用来编码已接收话音数据的端节点中应用该过程时,在步骤408中使用已选信源编码模式来编码已接收话音数据,并且接着在步骤410中,向另一网络节点传输该已信源编码的话音数据。当在中央控制节点或例如用来在通信链路上传输之后接收已编码数据的端节点)中应用该过程时,在步骤410中向一个或多个其他网络节点提供已选信源编码模式的指示。
该过程可以该包括步骤407,该步骤基于已选信源编码模式,确定例如可用于重传的时间间隔持续时间、和/或当使用已选信源编码模式时通信链路上允许的重传次数、和/或在通信链路上传输的信号的接收机中将使用的抖动缓冲区大小。接着向涉及的网络节点提供已确定参数,该参数用来在会话服务的通信链路上的话音传输期间使用,该话音已用已选信源编码模式信源编码了。
以下将参考图5描述示例性装置500,该装置适于能够在网络实体中执行以上描述的过程。该装置500包括接收单元502,该单元适于接收从其他网络实体传输的信号和/或以声波形式到达网络实体的信号,这取决于是在端节点还是在中央控制节点提供装置500。装置500还包括质量单元504,该单元适于获取与通信链路的估计质量有关的信息。该信息能够例如源自对从通信链路接收的传输的测量,或者源自从另一网络实体接收的通信链路质量报告,或者通过使用任意其他合适方法获得。装置500还包括选择单元506,该单元适于基于在质量单元504中获取的信息,从与不同编码延迟相关联的至少包含两个信源编码模式的集合中选择一个信源编码模式。当在端节点中提供该装置时,该装置还包括信源编码单元508,该单元适于使用通过选择单元506选择的信源编码模式来对已接收话音数据进行信源编码。信源编码单元508能够包括例如一个或多个信源编解码器或者具有以上不同编解码器模式(具有不同延迟)的一个编解码器。装置500还包括传输单元510。在端节点中,该传输单元510适于在通信链路上传输已编码话音数据和/或向一个或多个其他网络节点提供已选信源编码模式的指示。在中央控制节点中,该传输单元510适于向一个或多个其他网络节点提供已选信源编码模式的指示。
装置500可以还包括确定单元507,该单元适于基于已选信源编码模式,确定例如以下中的至少一项:可用于通信链路上的重传的时间间隔持续时间;通信链路上允许的重传次数;通信链路上传输的信号的接收机中的抖动缓冲区大小。接着向涉及的网络节点或功能单元提供已确定参数,这是通过从单元507起的虚线箭头示意性示出的。
图5还示出了计算机程序产品(CPP)514,该产品包括指令516,当通过处理器512或类似组件执行该指令时,该指令将使单元504-510根据已描述过程的实施例执行它们的任务。通过从512起的虚线箭头示意性示出了处理器512和单元504-510之间的连接。
应该注意的是,图5仅逻辑地示出了装置500的各种功能单元。然而,技术人员可以使用任意合适软件和/或硬件装置(例如ASIC(专用集成电路)、FPGA(现场可编程门阵列)和DSP(数字信号处理器))在实际中自由实现这些功能。因此,本发明通常并不限于装置500示出的结构。
在图6a-c中示出可选编解码器模式分量的不同示例性实施例。图6a示出了根据一个实施例的编解码器,该编解码器的每个编码率有多于一个编解码模式,至少一个编码率与高编码延迟相关联,至少一个编码率与低编码延迟相关联。图6b示出根据一个实施例的编解码器,其中每个编解码器模式与不同编码率和不同编码延迟相关联。图6c示出一个实施例,其中不同编码延迟与不同编解码器相关联,每个编解码器具有不同编码率模式。备选地,能够以不同方式改变和/或合并所述实施例。可能的可选编码延迟数量显然不限于这里为了简洁而使用的两个备选“高”和“低”。
以上实施例的示例性优点是能够用信源编码延迟换取传输延迟,这使得低质量信道上的传输比当今可能效果更加可靠,这可以导致系统容量增加。
尽管已经参考特定示例实施例描述本发明,本说明书大体上仅意在阐述本发明概念并且本说明书不应该用于限于本发明的范围。可以根据需求、要求或偏好以不同方式合并上面示例性实施例的不同特征。大体上通过所附独立权利要求限定本发明。

Claims (30)

1.一种网络节点中的方法,该方法用于使信源编码的性能适应于通信系统中分组交换会话服务的通信链路的质量,该方法包括以下步骤:
获取(404)与所述通信链路的质量有关的信息,
基于已获取信息及相关信源编码延迟,选择(406)具有相关信源编码延迟的信源编码模式,
其中,当在通信链路上传输信源编码话音数据时,使用已选信源编码模式,其中所述信源编码模式是从与不同信源编码延迟相关联的信源编码模式集合中选择的。
2.根据权利要求1所述的方法,其中所述网络节点是移动终端或会话中的其他端节点。
3.根据权利要求1所述的方法,其中所述网络节点是中央控制节点。
4.根据权利要求2所述的方法,还包括:
使用已选信源编码模式来编码(408)将在通信链路上传输的话音数据。
5.根据权利要求1-4中任意一项所述的方法,还包括:
向一个或多个其他网络节点提供已选信源编码模式的指示。
6.根据权利要求1-4中任意一项所述的方法,其中不同可选信源编码模式与一个信源编解码器相关联,和/或分别与不同信源编解码器相关联。
7.根据权利要求1-4中任意一项所述的方法,其中不同可选信源编码模式中的至少一个与自适应多速率AMR信源编解码器相关联,该AMR信源编解码器具有至少一种低延迟模式。
8.根据权利要求7所述的方法,其中不等待先行缓冲区充满有效采样,就启动所述至少一种低延迟模式的编码过程。
9.根据权利要求7所述的方法,其中通过修改IPC分析窗口形状和在时间上移动IPC分析窗口中的至少一种方法,来提供所述至少一种低延迟模式。
10.根据权利要求1-4中任意一项所述的方法,其中不同可选信源编码模式中的至少一种与可伸缩编解码器相关联,该可伸缩编解码器具有核心编码层和至少一个增强编码层,其中不同编码层与不同固有延迟相关联。
11.根据权利要求10所述的方法,其中当与一层有关的信号的传输暂停、且该层是与更高固有延迟相关联的层时,不延迟与另一层有关的信号、所述另一个层是与低固有延迟相关联的层,使与所述另一层有关的信号同步于与所述一层有关的信号。
12.根据权利要求1-4中任意一项所述的方法,还包括:
基于已选信源编码模式,确定以下信息中的至少一个:
可用于通信链路上的重传的时间间隔持续时间,
通信链路上允许的重传次数,以及
通信链路上传输的信号的接收机中使用的抖动缓冲区大小。
13.根据权利要求1-4中任意一项所述的方法,其中已获取的与通信链路的质量有关的信息与以下参数中的至少一个有关:
在通信链路上重传花费的时间,
通信链路上分组的重传数量,
在通信链路上的传输中丢失的分组的数量,
在通信链路上接收的损坏的或无用的分组的数量,
以上列出的参数之一的预定变化。
14.根据权利要求1-4中任意一项所述的方法,其中当确定通信链路的质量差时,选择与相对低信源编码延迟相关联的信源编码模式。
15.根据权利要求1-4中任意一项所述的方法,其中当确定通信链路的质量好时,选择与相对高信源编码延迟相关联的信源编码模式。
16.一种网络节点中的装置,该装置适于使信源编码性能适应于通信系统中分组交换会话服务的通信链路的质量,该装置包括:
适于获取与通信链路的质量有关的信息的质量单元(502),
选择单元(506),适于基于已获取信息及相关信源编码延迟,选择具有相关信源编码延迟的信源编码模式,
其中,当在通信链路上传输信源编码话音数据时,使用已选信源编码模式,其中所述信源编码模式是从与不同信源编码延迟相关联的信源编码模式集合中选择的。
17.根据权利要求16所述的装置,其中所述网络节点是移动终端或其他端节点。
18.根据权利要求16所述的装置,其中所述网络节点是中央控制节点。
19.根据权利要求17所述的装置,还包括:
信源编码单元(508),适于使用已选信源编码模式来编码将在通信链路上传输的话音数据。
20.根据权利要求16—19中任意一项所述的装置,还适于向一个或多个其他网络节点提供已选信源编码模式的指示。
21.根据权利要求16—19中任意一项所述的装置,其中不同可选信源编码模式与一个信源编解码器相关联,和/或分别与不同信源编解码器相关联。
22.根据权利要求16—19中任意一项所述的装置,其中不同可选信源编码模式中的至少一个与自适应多速率AMR信源编解码器相关联,该AMR信源编解码器具有至少一种低延迟模式。
23.根据权利要求22所述的装置,其中AMR信源编解码器适于不等待先行缓冲区充满有效采样,就启动所述至少一种低延迟模式的编码过程。
24.根据权利要求22所述的装置,其中通过修改IPC分析窗口形状和在时间上移动IPC分析窗口中的至少一种方法,来提供所述至少一种低延迟模式。
25.根据权利要求16—19中任意一项所述的装置,其中不同可选信源编码模式中的至少一种与可伸缩编解码器相关联,该可伸缩编解码器具有核心编码层和至少一个增强编码层,其中不同编码层与不同固有延迟相关联。
26.根据权利要求25所述的装置,其中可伸缩编解码器适于:当与一层有关的信号的传输暂停、且该层是与更高固有延迟相关联的层时,避免延迟与另一层有关的信号、所述另一个层是与低固有延迟相关联的层,使与所述另一层有关的信号同步于与所述一层有关的信号。
27.根据权利要求16—19中任意一项所述的装置,还包括:
确定单元(507),适于基于已选信源编码模式,确定以下信息中的至少一个:
可用于通信链路上的重传的时间间隔持续时间,
通信链路上允许的重传次数,以及
通信链路上传输的信号的接收机中使用的抖动缓冲区大小。
28.根据权利要求16—19中任意一项所述的装置,其中所述质量单元适于获取与以下参数中的至少一个有关的信息:
在通信链路上重传花费的时间,
通信链路上分组的重传数量,
在通信链路上的传输中丢失的分组数量,
在通信链路上接收的损坏的或无用的分组的数量,
以上列出的参数之一的预定变化。
29.根据权利要求16—19中任意一项所述的装置,其中所述选择单元适于:当确定通信链路的质量差时,选择与相对低信源编码延迟相关联的信源编码模式。
30.根据权利要求16-19中任意一项所述的装置,其中所述选择单元适于:当确定通信链路的质量好时,选择与相对高信源编码延迟相关联的信源编码模式。
CN201080065006.7A 2010-03-02 2010-03-02 基于通信链路质量和信源编码延迟的信源编码自适应 Active CN102792372B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2010/050241 WO2011108964A1 (en) 2010-03-02 2010-03-02 Source code adaption based on communication link quality and source coding delay.

Publications (2)

Publication Number Publication Date
CN102792372A CN102792372A (zh) 2012-11-21
CN102792372B true CN102792372B (zh) 2014-07-09

Family

ID=44542429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080065006.7A Active CN102792372B (zh) 2010-03-02 2010-03-02 基于通信链路质量和信源编码延迟的信源编码自适应

Country Status (4)

Country Link
US (1) US8898060B2 (zh)
EP (1) EP2543039B1 (zh)
CN (1) CN102792372B (zh)
WO (1) WO2011108964A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012231445A (ja) * 2011-04-11 2012-11-22 Toshiba Corp パケット配信装置およびパケット配信方法
CN103915100B (zh) * 2013-01-07 2019-02-15 中兴通讯股份有限公司 一种编码模式切换方法和装置、解码模式切换方法和装置
ES2656343T3 (es) * 2013-03-25 2018-02-26 Altiostar Networks, Inc. Sistemas y procedimientos para la planificación de paquetes de datos en base a la tolerancia al retardo de las aplicaciones
US9437205B2 (en) * 2013-05-10 2016-09-06 Tencent Technology (Shenzhen) Company Limited Method, application, and device for audio signal transmission
CA3036576C (en) * 2016-10-12 2022-03-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for transmitting data, receiving-end device, and transmitting-end device
CN110351201B (zh) * 2018-04-04 2021-09-14 华为技术有限公司 一种数据处理方法及装置
US20210051737A1 (en) * 2019-08-16 2021-02-18 Qualcomm Incorporated Communication resource selection in sidelink communication
CN114765831A (zh) * 2021-01-12 2022-07-19 华为技术有限公司 上行资源预申请的方法及相关设备
US20220383881A1 (en) * 2021-05-27 2022-12-01 Qualcomm Incorporated Audio encoding based on link data
CN115549762B (zh) * 2022-09-23 2023-09-01 广州爱浦路网络技术有限公司 卫星通信会话处理方法、计算机装置及存储介质
CN117155844B (zh) * 2023-10-27 2024-01-09 北京华翔联信科技股份有限公司 一种通信链路选择方法、系统、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1059782A2 (en) * 1999-06-10 2000-12-13 Lucent Technologies Inc. Method and apparatus for dynamically allocating bandwidth utilization in a packet telephony network
CN1649421A (zh) * 2004-11-11 2005-08-03 向为 话音的自适应多速率编码和传输方法
US7002992B1 (en) * 2001-03-07 2006-02-21 Cisco Technology, Inc. Codec selection to improve media communication

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3849210B2 (ja) * 1996-09-24 2006-11-22 ヤマハ株式会社 音声符号化復号方式
US6216107B1 (en) * 1998-10-16 2001-04-10 Ericsson Inc. High-performance half-rate encoding apparatus and method for a TDM system
WO2001078430A1 (en) 2000-04-11 2001-10-18 Nokia Corporation Application of rtp and rtcp in the amr transport in voice over ip networks
SE0102849D0 (sv) * 2001-08-22 2001-08-22 Ericsson Telefon Ab L M Methods and arrangements in a telecommunicaton system
FI20011715A (fi) * 2001-08-27 2003-02-28 Nokia Corp Koodekin toiminnallisen moodin valinta
AU2002249746A1 (en) * 2002-04-03 2003-10-13 Telefonaktiebolaget L M Ericsson (Publ) Power control in mobile communication system
US7289451B2 (en) * 2002-10-25 2007-10-30 Telefonaktiebolaget Lm Ericsson (Publ) Delay trading between communication links
US8842555B2 (en) * 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems
US20080103765A1 (en) * 2006-11-01 2008-05-01 Nokia Corporation Encoder Delay Adjustment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1059782A2 (en) * 1999-06-10 2000-12-13 Lucent Technologies Inc. Method and apparatus for dynamically allocating bandwidth utilization in a packet telephony network
US7002992B1 (en) * 2001-03-07 2006-02-21 Cisco Technology, Inc. Codec selection to improve media communication
CN1649421A (zh) * 2004-11-11 2005-08-03 向为 话音的自适应多速率编码和传输方法

Also Published As

Publication number Publication date
CN102792372A (zh) 2012-11-21
EP2543039A1 (en) 2013-01-09
EP2543039A4 (en) 2017-03-15
US20120323568A1 (en) 2012-12-20
WO2011108964A1 (en) 2011-09-09
EP2543039B1 (en) 2018-11-28
US8898060B2 (en) 2014-11-25

Similar Documents

Publication Publication Date Title
CN102792372B (zh) 基于通信链路质量和信源编码延迟的信源编码自适应
JP4287429B2 (ja) 階層型通信シナリオにおける複数の通信層の動作を制御する装置および方法
JP4287430B2 (ja) 複数の通信層の動作を制御する装置及び方法
TWI405445B (zh) 處理一傳輸時間間隔集束模式的方法及通訊裝置
Xu et al. CMT-NC: improving the concurrent multipath transfer performance using network coding in wireless networks
TWI446754B (zh) 封包交換無線通信中用於即時資訊之適配編碼之方法及裝置
US8811211B2 (en) Multicast scheduling and link adaptation
US6757256B1 (en) Process of sending packets of real-time information
CN107534969A (zh) 增强编解码引擎控制
CN103999393A (zh) 用于基于分组丢失率的编解码器自适应的方法和设备
EP2719110A1 (en) Controlling retransmissions
TW201826829A (zh) 接收器、發射器、通訊網路、資料訊號及改善通訊網路中重發程序的方法
Migliorini et al. Performance evaluation of H. 264/SVC video streaming over mobile WiMAX
JP2013532923A (ja) Lte基地局送信側のビットワイズスループットの増加方法及びその装置
Suherman et al. Increasing uplink broadband video streaming protocol performance in WiMAX network
Botta et al. IP packet interleaving for UDP bursty losses
Lamy-Bergot et al. Optimisation of multimedia over wireless IP links via X-layer design: an end-to-end transmission chain simulator
Baguena et al. RCDP: Raptor-based content delivery protocol for unicast communication in wireless networks for ITS
Tran et al. Link adaptation for wireless systems
Go et al. Application-aware MCS level selection method for cross-layered retransmission scheme
Huang et al. Adaptive forward error correction with cognitive technology mechanism for video streaming over wireless networks
Dehury et al. Impact of HARQ Retransmission on VoLTE Call Blocking in Cellular LTE
WO2011012009A1 (zh) 无线视频通讯系统中差错控制的方法、装置及系统
Oh et al. Application-aware retransmission design for VoIP services in BWA networks
JP2003018207A (ja) 無線通信システムにおける下りトラフィックチャネル送信遅延時間の改善方法ならびに基地局送信装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant