CN1132877A - 采用语音多路系统的数字音频编码器 - Google Patents

采用语音多路系统的数字音频编码器 Download PDF

Info

Publication number
CN1132877A
CN1132877A CN95109688A CN95109688A CN1132877A CN 1132877 A CN1132877 A CN 1132877A CN 95109688 A CN95109688 A CN 95109688A CN 95109688 A CN95109688 A CN 95109688A CN 1132877 A CN1132877 A CN 1132877A
Authority
CN
China
Prior art keywords
data
voice
window
mdct
mdst
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN95109688A
Other languages
English (en)
Other versions
CN1083591C (zh
Inventor
朴成完
尹政植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
Hyundai Electronics Industries Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Electronics Industries Co Ltd filed Critical Hyundai Electronics Industries Co Ltd
Publication of CN1132877A publication Critical patent/CN1132877A/zh
Application granted granted Critical
Publication of CN1083591C publication Critical patent/CN1083591C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86Arrangements characterised by the broadcast information itself
    • H04H20/88Stereophonic broadcast systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

在本发明的数字音频编码器中,对立体声音频数据和音频多路数据进行采样和定标,调整信号的范围。之后,将窗口放到数据上。通过窗口,邻接的块被覆盖以消除块之间的噪音。对信号执行MDCT和MDST操作,使其具有和窗口同样的大小,以提取并规范化MDCT系数和MDST系数,它们分别表示指数和尾数。之后,完成量化。格式化的执行,依据是否存在语音多路数据而定。如果没有语音多路数据,一帧处理512个单位的数据。如果有语音多路数据,一帧处理2倍于512个单位的数据。

Description

采用语音多路系统的数字音频编码器
本发明涉及一个采用语音多路系统的数字音频编码器,它完成音频的数字信号处理和语音多路数据的编码。详细地说,本发明中,语音多路数据加入到一个应用于广播系统的数字音频编码器中。该广播系统在数字音频数据的传输端和接收端需要语音多路。
传统的数字音频编码器是一个双通道的数字音频系统。它在接收和发送数据时,采用简单的算法来保持高质量的声音。双通道的数字音频系统可以改装成多通道的数字音频编码器。然而,这种多通道数字音频编码器很复杂也很昂贵。另外,双通道的数字音频系统可以处理立体声音频数据,却不能处理音频多路数据。
本发明的目的是要提供一种音频多路系统所适用的数字音频编码器,它可以通过使用一个结构相对简单的双通道数字音频系统来编码立体声音频数据和音频多路数据。
根据本发明,在数字音频编码器中,立体声音频数据和音频多路数据被采样和定标,以调整信号的范围。之后,将窗口放在数据上。通过这个窗口,邻接的块被覆盖,这样就消除了块之间的噪音。为了提取和规范化MDCT系数和MDST系数,执行MDCT和MDST操作,使它和窗口有同样大小,MDCT和MDST系数分别表示指数和尾数。尾数包括固定位数据和可变位数据。
为了产生固定位数据,首先,通过每个子带分配几位而分配固定位项。为了产生不变位数据,从低频带开始,剩下的各位依次被分配给每个子带。然后,执行量化。
根据语音多路数据的存在执行格式化。如果没有语音多路数据,那么一帧处理512个单位的数据。如果有语音多路数据,那么一帧处理2倍于512个单位的数据。也就是1024个单位的数据。
相应地,本发明的数字音频编码器的整体数据位速率和一帧处理512个单位数据的双通道编码系统之间没多少差别。因此,本发明的数字音频编码器具有简单的结构并且保持很高的语音质量。
本发明的其它目的和优点将在结合附图阅读以下描述后更加明显。
图1是本发明中数字音频编码器的方块图
图2是图1的音频数据编码部分和语音多路编码部分的方块图。
图3是当没有语音多路数据输入时,从本发明的数字音频编码器输出的数据的格式。
图4是当有语音多路数据输入时,从本发明的数字音频编码器输出的数据的格式。
参照附图,本发明的数字音频编码器包括,第一采样部分10,采样两路立体声音频数据(L,R);第二采样部分(20)采样两路语音多路数据(S1,S2);一个音频数据编码部分(30),根据是否存在由第一采样部分(10)采样的采样数据(L1,R1)确定窗口和MDCT/MDST的大小;一个语音多路数据编码部分40,根据是否存在由第二采样部分20采样的采样数据(S1’,S2’)确定窗口和MDCT/MDST大小;一个格式化部分50,格式化从音频数据编码部分30和语音多路数据编码部分40输出的数据,并产生位流。
音频数据编码部分30和语音多路数据编码部分40具有同样的结构。如图2所示,音频数据编码部分30和语音多路数据编码部分40包括一个定标部分31,调整分别由第一采样部分10和第二采样部分20采样得到的数据(L1,R1)、(S1’,S2’)的范围;一个语音数据存在鉴别/块大小选择部分32,根据定标部分31的输出数据鉴别语音数据是否存在并确定块的大小;一个窗口迭盖部分33,根据语音数据存在鉴别/块大小选择部分32的输出信号确定窗口的大小,迭盖其范围已由定标部分31调整过的数据的邻接块,并且将重迭加窗口放到被迭盖的块上以消除块之间的噪音;MDCT/MDST部分34,通过对窗口迭盖部分33的输出信号执行MDCT/MDST操作提取MDCT/MDST系数;一个子带块处理部分35,规范化MDCT/MDST的系数,并且将每个系数分别表示为一个指数和一个尾数;一个可变位分配部分36,在已由子带块处理部分35表示的尾数中分配一个可变位项;一个自适应量化部分37,用于量化可变位分配部分36的可变位数据和尾数的固定位数据,以及指数,并且将量化的数据用于格式化部分50。
详细地说,在本发明的数字音频编码器中,两路立体声音频数据(L,R)和两路语音多路数据(S1,S2)分别输入到第一采样部分10和第二采样部分20并被它们采样。
立体声音频数据(L,R)的频率一般不大于20KHz,所以32KHz、44.1KHz、或48KHz用作第一采样部分10的采样频率。语音多路数据(S1,S2)的频率一般小于4KHz,所以将第一采样部分10的采样频率的一半用作第二采样部分20的采样频率。
分别由第一采样部分10和第二采样部分20采样的数据(L1,R1)和(S1’,S2’)输入到音频数据编码部分30和语音多路数据编码部分40的定标部分31。
比如,音频数据编码部分30详述如下。
定标部分31对输入数据(L1,R1)进行定标并调整输入数据(L1,R1)的信号范围。由定标部分31调整过信号范围的数据输入到语音数据存在鉴别/块大小选择部分32和窗口迭盖部分33。
窗口迭盖部分33将窗口放到数据输入上。此窗口是重迭加窗口,它通过迭盖邻接块消除块之间的噪音。
放到窗口迭盖部分33的输入数据上的窗口的大小根据块的大小变化。块的大小由语音数据存在鉴别/块大小选择部分32确定。语音数据存在鉴别/块大小选择部分32鉴别语音数据是否已从定标部分31输入并且确定块的大小。也就是说,当语音数据输入到语音数据存在鉴别/块大小选择部分32时,语音数据成了主数据,这样窗口大小定为1024,是512的两倍。
通常,在处理立体声音频数据时,一帧处理512个单位的数据。然而,当语音数据输入时,窗口大小应为512的两倍即1024,因为输入的语音数据应与立体声音频数据同时处理。
已经通过窗口迭盖部分33的数据,在MDCT/MDST部分34执行MDCT/MDST操作,提取MDCT系数和MDST系数。MDCT/MDST的大小被确定为与已在上面确定的窗口大小相同。
由MDCT/MDST部分34提取出来的MDCT系数和MDST系数由子带块处理部分35和可变位分配部分36进行规范化。这两个系数分别指示指数和尾数。
指数有4位,最多可以表示15位。尾数由固定位数据和可变位数据组成。对每个子带进行固定位数据的位分配。频率越低,分配的位越多。频率越高,分配的位越少。由可变位分配部分35通过从低频带开始,将固定位项剩下的每位分配给每个子带,将可变位项分配给每个子带。
由子带块处理部分35和可变位分配部分36处理的尾数的可变位数据和固定数据以及指数由自适应量化部分37量化并且输入到格式化部分50。
同音频数据编码部分30一样,由第二采样部分20采样的数据(S1’,S2’)输入到语音多路数据编码部分40。在语音多路数据编码部分30,获得MDCT系数和MDST系数并进行规范化。获得指数、尾数、固定位项和可变位项,并进行位分配。不同于其它音频语音,语音多路的语音不是顺序输入的,因此,为了确定一个信号是不是语音信号,应在执行位分配之前测量信号电平。
为了鉴别每块的语音信号,数据帧有标志作为指示。用编码器来辨别标志位,以确定语音数据是否要被编码。
在语音数据被辨别后,音频数据编码部分30和语音多路数据编码部分40在它们各自的语音数据存在鉴别/块大小选择部分32中将窗口大小确定为1024。
相应地,MDCT/MDST定为“1024”。如上所述,在第一采样部分10的采样数据(L1,R1)和第二采样部分20的采样数据(S1’,S2’)通过音频数据编码部分30和语音多路数据编码部分40后,就能得到尾数的可变位数据和固定位数据以及变换系数的指数。获得的变换系数的指数以及尾数的固定位数据和可变位数据输入到格式化部分50并进行格式化。
如图3和图4所示,由格式化部分50完成数据的格式化。图3所示的是,当没有语音多路数据输入时,由音频数据编码部分30所产生的数据的格式化。图4所示的是,与此同时,当有语音多路数据输入时,由音频数据编码部分30和语音多路数据编码部分40所产生数据的格式化。
如图3所示,当没有语音多路数据时,一个表示同步数据和语音多路数据存在与否的标志数据(a)位于第一块。子带指数数据(b)、固定位数据(c)和可变位数据(d)依次位于余下的块中。指数数据(b)插入到固定位数据(c)和标志数据(a)之间以最小化传输过程中产生的错误所带来的影响。
如图4所示,当有语音多路数据时,一个表示同步数据和语音多路数据存在与否的标志数据(a)位于第一块。音频数据编码部分30的指数(b),音频数据编码部分30的固定位数据(c),语音多路数据编码部分40的指数(d),语音多路数据编码部分40的固定位数据(e),音频数据编码部分30的可变位数据(f)和语音多路数据编码部分40的可变位数据(g),依次位于余下的块中。
在没有语音多路数据时,一帧处理512个单位的数据,而在有语音多路数据时,一帧处理两倍于512个单位的数据,也即1024个单位的数据,因此,本发明的数字音频编码器的整体数据位速率和一帧处理512个单位数据的双通道编码系统的整体数据位速率相差无几。
如上所述,通过加入在传输系统中得到广泛应用的语音多路系统并且利用可以保持高语音质量。并具有简单结构的双通道数字编码器,本发明的数字音频编码器结构并不复杂也不昂贵。
在下面描述和附图中提出的问题,作简单说明并不作为限制。本发明的实际范围是基于现有技术的合适的观点由权利要求所限定。

Claims (5)

1.一种采用了语音多路系统的数字音频编码器,包括:
第一采样部分(10),采样两路立体声数据(L,R);
第二采样部分(20),采样两路语音多路数据(S1,S2);
一个音频数据编码部分(30),根据是否存在由第一采样部分(10)采样的采样数据(L1,R1),确定窗口和MDCT/MDST的大小;
一个语音多路数据编码部分(40),根据是否存在由第二采样部分(20)采样的数据(S1’,S2’)确定窗口和MDCT/MDST的大小,以及
一个格式化部分(50),格式化从音频数据编码部分(30)和语音多路数据编码部分(40)输出的数据并产生位流。
2.根据权利要求1的采用语音多路系统的数字音频编码器,其中第二采样部分(20)的采样频率是第一采样部分(10)的采样频率的一半。
3.根据权利要求1的采用语音多路系统的数字音频编码器,其中音频数据编码部分(30)和语音多路数据编码部分(40)中的每一个包括:
一个定标部分(31),调整分别由第一采样部分(10)和第二采样部分(20)采样的采样数据(L’,R’)和(S1’,S2’)的范围;
一个语音数据存在鉴别/块大小选择部分(32),根据定标部分(31)的输出数据鉴别是否存在语音数据并确定块的大小;
一个窗口迭盖部分(33),根据语音数据存在鉴别/块大小选择部分(32)的输出信号确定窗口大小,迭盖由定标部分(31)调整过范围的邻接块数据,并且将重迭加窗口放到被迭盖的块上以消除块之间的噪音;
一个MDCT/MDST部分(34),通过对窗口迭盖部分(33)的输出信号执行MDCT/MDST操作,以提取MDCT/MDST系数;
一个子带块处理部分,规范化MDCT/MDST的系数并将每个系数表示成一个指数和一个尾数;
一个可变位分配部分(36),在已由子带块处理部分(35)表示的尾数中分配一个可变位项;
一个自适应量化部分(37),量化可变位分配部分(36)的可变位数据和尾数的固定位数据以及指数,并且将量化后的数据输出到格式化部分(50)。
4.根据权利要求3的采用语音多路系统的数字音频编码器,其中语音数据存在鉴别/块大小选择部分(32)鉴别是否已输入语音多路数据,并且当有语音多路数据时,确定窗口和MDCT/MDST的大小为1024。
5.根据权利要求3的采用语音多路系统的数字音频编码,其中当有语音多路数据时,格式化部分(50)顺序地定位表示同步数据和语音多路数据是否存在的标志数据(a)、音频数据编码部分(30)的指数(b)、音频数据编码部分(30)的固定位数据(c)、语音多路数据编码部分(40)的指数(d)、语音多路数据编码部分(40)的固定位数据(e)、音频数据编码部分(30)的可变位数据(f)和语音多路数据编码部分(40)的可变位数据(g)。
CN95109688A 1995-04-01 1995-07-31 采用语音多路系统的数字音频编码器 Expired - Fee Related CN1083591C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019950007648A KR0154387B1 (ko) 1995-04-01 1995-04-01 음성다중 시스템을 적용한 디지탈 오디오 부호화기
KR7648/95 1995-04-01

Publications (2)

Publication Number Publication Date
CN1132877A true CN1132877A (zh) 1996-10-09
CN1083591C CN1083591C (zh) 2002-04-24

Family

ID=19411397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN95109688A Expired - Fee Related CN1083591C (zh) 1995-04-01 1995-07-31 采用语音多路系统的数字音频编码器

Country Status (3)

Country Link
US (1) US5732386A (zh)
KR (1) KR0154387B1 (zh)
CN (1) CN1083591C (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521012B (zh) * 2009-04-08 2011-12-28 武汉大学 Mdct域信号能量与相位补偿方法及其装置
CN101147122B (zh) * 2004-12-13 2012-07-18 弗劳恩霍夫应用研究促进协会 用于创建对线性依赖于值平方的计算结果的表示的方法
CN103229235A (zh) * 2010-11-24 2013-07-31 Lg电子株式会社 语音信号编码方法和语音信号解码方法
CN1802639B (zh) * 2003-06-13 2013-09-18 苹果公司 通过接口从计算机到客户端的音频和视频数据的同步传输

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW429700B (en) * 1997-02-26 2001-04-11 Sony Corp Information encoding method and apparatus, information decoding method and apparatus and information recording medium
WO1999053479A1 (en) * 1998-04-15 1999-10-21 Sgs-Thomson Microelectronics Asia Pacific (Pte) Ltd. Fast frame optimisation in an audio encoder
DE19901228A1 (de) * 1999-01-14 2000-07-27 Uwe Ras Verfahren und Gerät zur adaptiven Merkmalsänderung bei eindimensionalen Signalen
EP1087557A3 (en) * 1999-09-22 2005-01-19 Matsushita Electric Industrial Co., Ltd. Apparatus for transmitting digital audio data and receiving apparatus for receiving the digital audio data
KR100467617B1 (ko) * 2002-10-30 2005-01-24 삼성전자주식회사 개선된 심리 음향 모델을 이용한 디지털 오디오 부호화방법과그 장치
US20050214674A1 (en) * 2004-03-25 2005-09-29 Yu Sui Positive-working photoimageable bottom antireflective coating
US7881939B2 (en) * 2005-05-31 2011-02-01 Honeywell International Inc. Monitoring system with speech recognition
KR101281814B1 (ko) * 2006-10-11 2013-07-04 삼성전자주식회사 입체음향 기록이 가능한 촬영장치 및 그 방법
KR101649376B1 (ko) 2008-10-13 2016-08-31 한국전자통신연구원 Mdct 기반 음성/오디오 통합 부호화기의 lpc 잔차신호 부호화/복호화 장치
WO2010044593A2 (ko) 2008-10-13 2010-04-22 한국전자통신연구원 Mdct 기반 음성/오디오 통합 부호화기의 lpc 잔차신호 부호화/복호화 장치
CN101552006B (zh) * 2009-05-12 2011-12-28 武汉大学 加窗信号mdct域的能量及相位调整方法及其装置
FR2973551A1 (fr) * 2011-03-29 2012-10-05 France Telecom Allocation par sous-bandes de bits de quantification de parametres d'information spatiale pour un codage parametrique
CA2900437C (en) 2013-02-20 2020-07-21 Christian Helmrich Apparatus and method for encoding or decoding an audio signal using a transient-location dependent overlap
KR101498113B1 (ko) * 2013-10-23 2015-03-04 광주과학기술원 사운드 신호의 대역폭 확장 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3895555A (en) * 1973-10-03 1975-07-22 Richard H Peterson Teaching instrument for keyboard music instruction
DE3045875A1 (de) * 1980-12-05 1982-09-09 Licentia Patent-Verwaltungs-Gmbh, 6000 Frankfurt Dienstintegriertes, digitales uebertragungssystem
DE3047045A1 (de) * 1980-12-13 1982-07-29 Licentia Patent-Verwaltungs-Gmbh, 6000 Frankfurt Dienstintegriertes uebertragungssystem
US5038402A (en) * 1988-12-06 1991-08-06 General Instrument Corporation Apparatus and method for providing digital audio in the FM broadcast band
US5297236A (en) * 1989-01-27 1994-03-22 Dolby Laboratories Licensing Corporation Low computational-complexity digital filter bank for encoder, decoder, and encoder/decoder
US5195087A (en) * 1990-08-31 1993-03-16 At&T Bell Laboratories Telephone system with monitor on hold feature
WO1992012607A1 (en) * 1991-01-08 1992-07-23 Dolby Laboratories Licensing Corporation Encoder/decoder for multidimensional sound fields
JP3186315B2 (ja) * 1993-02-27 2001-07-11 ソニー株式会社 信号圧縮装置、信号伸張装置、信号送信装置、信号受信装置及び信号送受信装置
DE69328176T2 (de) * 1993-08-26 2000-12-21 Hewlett-Packard Co., Palo Alto Übertragungssystem

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1802639B (zh) * 2003-06-13 2013-09-18 苹果公司 通过接口从计算机到客户端的音频和视频数据的同步传输
CN101147122B (zh) * 2004-12-13 2012-07-18 弗劳恩霍夫应用研究促进协会 用于创建对线性依赖于值平方的计算结果的表示的方法
CN101521012B (zh) * 2009-04-08 2011-12-28 武汉大学 Mdct域信号能量与相位补偿方法及其装置
CN103229235A (zh) * 2010-11-24 2013-07-31 Lg电子株式会社 语音信号编码方法和语音信号解码方法
US9177562B2 (en) 2010-11-24 2015-11-03 Lg Electronics Inc. Speech signal encoding method and speech signal decoding method
CN103229235B (zh) * 2010-11-24 2015-12-09 Lg电子株式会社 语音信号编码方法和语音信号解码方法

Also Published As

Publication number Publication date
CN1083591C (zh) 2002-04-24
KR0154387B1 (ko) 1998-11-16
KR960039979A (ko) 1996-11-25
US5732386A (en) 1998-03-24

Similar Documents

Publication Publication Date Title
CN1083591C (zh) 采用语音多路系统的数字音频编码器
EP1210712B1 (en) Scalable coding method for high quality audio
CN1926608B (zh) 多声道信号处理设备和方法
AU677856B2 (en) Hybrid adaptive allocation for audio encoder and decoder
EP2850613B1 (en) Efficient encoding and decoding of multi-channel audio signal with multiple substreams
JP3926399B2 (ja) オーディオ信号コーディング中にノイズ置換を信号で知らせる方法
EP1808851B1 (en) System and method for low power stereo perceptual audio coding using adaptive masking threshold
CN1822508B (zh) 对数字信号进行编码和解码的方法和设备
JP3428024B2 (ja) 信号符号化方法及び装置,信号復号化方法及び装置,記録媒体,並びに信号伝送装置
US20020010577A1 (en) Apparatus and method for encoding a signal as well as apparatus and method for decoding a signal
EP2372706B1 (en) Method and apparatus for encoding excitation patterns from which the masking levels for an audio signal encoding are determined
ATE85481T1 (de) System zur teilbandkodierung eines digitalen audiosignals.
CN1938758A (zh) 确定估计值的方法和装置
EP1341160A1 (en) Method and apparatus for encoding and for decoding a digital information signal
CN102063905A (zh) 一种用于音频解码的盲噪声填充方法及其装置
EP0725492A2 (en) Perceptual stereo audio encoder
Schroeder et al. 'MSC': Stereo Audio Coding With CD-Quality and 256 kBit/Sec
KR100287861B1 (ko) 디지탈 오디오 스테레오 모드에서의 각 채널 비균등 비트할당 장치 및 방법
CA2194199C (en) Encoding system and decoding system for audio signals
EP1076295A1 (en) Method and encoder for bit-rate saving encoding of audio signals
Hu et al. An efficient low complexity encoder for MPEG advanced audio coding
KR100355383B1 (ko) 광대역 음성 신호 압축을 위한 선택적 부호화 장치 및 그방법
EP1398760B1 (en) Signaling of window switchings in a MPEG layer 3 audio data stream
EP1076297A1 (en) Method for fast Fourier transformation of audio signals
Lei et al. Wavelet Packet Transform for Scalable Audio Encoder

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee