CN1463550A - 多通道运动图象数据压缩方法和装置 - Google Patents

多通道运动图象数据压缩方法和装置 Download PDF

Info

Publication number
CN1463550A
CN1463550A CN02802085A CN02802085A CN1463550A CN 1463550 A CN1463550 A CN 1463550A CN 02802085 A CN02802085 A CN 02802085A CN 02802085 A CN02802085 A CN 02802085A CN 1463550 A CN1463550 A CN 1463550A
Authority
CN
China
Prior art keywords
video
passage
frame
data
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN02802085A
Other languages
English (en)
Other versions
CN1210957C (zh
Inventor
林燐建
张铁镇
金道渊
李东烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUNG JIN C&C CORP
Sungjin C and C Ltd
Original Assignee
SUNG JIN C&C CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SUNG JIN C&C CORP filed Critical SUNG JIN C&C CORP
Publication of CN1463550A publication Critical patent/CN1463550A/zh
Application granted granted Critical
Publication of CN1210957C publication Critical patent/CN1210957C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种对安全和监视系统的多通道数字录像机的运动图象的视频图象的数据量进行压缩的方法和装置。

Description

多通道运动图象数据压缩方法和装置
技术领域
本发明涉及多通道运动图象数据压缩技术,具体涉及多通道数字录像机捕获的和从其发送的运动图象的高效数据存储系统。
背景技术
用于安全和监视系统的数字录像机(DVR)应该既具有对捕获的图象进行数据压缩,用于存储,又具有解压缩压缩的数据的功能。数据压缩既可以通过软件来实现,也可以通过硬件来实现。
软件方法所依赖的方案包括以下步骤:将照相机捕获的模拟图象解码成为数字视频信号;压缩解码的数字视频信号,以减小数据量。
上述的软件方法在某种意义上有这样的缺点:每秒处理的帧数(fps)受中央处理器(CPU)的数据处理能力的限制。
已经提出了若干种方法来克服上述已有技术的缺点。一种方法是硬件方法,包括JPEG,小波,MPEG,和H.263,用于数字视频信号的数据压缩。
JPEG和小波技术涉及静止图象的数据压缩方案,并且依靠简单地设置每幅静止图象的压缩数据的算法。
因此,按照JPEG或者小波来对每幅静止图象压缩的数据彼此之间没有相关性,并且具有独立于前面的图象压缩每幅静止图象的特征。
同时,基于MPEG(运动图象专家组)的数据压缩技术通过估计连续的两个相邻帧的差值来使用连续的两个相邻帧之间的相关。
换句话说,由于MPEG方案所依赖的方法是仅仅考虑连续的图象帧和参考帧之间的差,所以只要得到前面帧的图象数据,就能够恢复连续的图象。
但是,基于传统MPEG方案的的运动图象数据压缩技术具有不能应用在多通道DVR系统中的局限性,这是因为数据压缩率变差。
更具体地,在仅当使用一个MPEG压缩芯片时,由于参考前面第(n-1)通道在时刻(t-1)的帧来压缩在时刻t第n通道的帧,对于多通道运动图象,数据压缩的效率不可避免地变差。
换句话说,由于每个MPEG芯片仅具有一个用于视频输入的终端并且通过估计连续的相邻帧之间的差来压缩视频数据,所以,如果不可避免地连续应用来自不同通道的相机的一列不相关视频图象时,无法期望正常的MPEG操作。
因此,由于连续的图象帧的相关未足够高到对来自不同通道的DVR相机的数据进行有效压缩事实造成数据压缩率变差。
因此,在为安全和监视系统采用多通道监视器时,已有技术的MPEG方案丧失了它的优点,并且变得像JPEG一样,因为连续帧之间较差的相关性造成数据压缩不存在。
此外,为多通道DVR装备与通道数目一样多的MPEG芯片也是低效率的,因为这样造成了制造成本的增加。
发明内容
因此,本发明的一个目的是提供一种对多通道运动图象进行视频图象压缩的装置和方法。
本发明的又一个目的是提供一种使用单个MPEG处理器对多通道运动图象进行最大压缩率的视频图象压缩的装置和方法。
本发明的另一目的是提供一种使用单个PMEG处理器对多通道运动图象进行数据压缩的装置和方法,该处理器多路复用每个通道,用于估计连续的帧之间的相关性。
本发明的又一目的是提供一种使用多路复用每个通道的单个MPEG处理器来对安全和监视系统的多个DVR相机发送的多通道运动图象进行视频图象压缩的装置和方法。
根据本发明的主要方面,提供一种用于运动图象的多通道图象压缩单元,包括:视频开关,它在控制逻辑的控制下获取多个通道的运动图象帧;视频解码器,将通过所述的视频开关从多个通道多路复用的运动图象帧转换成数字视频信号;控制逻辑,控制施加到所述视频开关的运动图象帧的输入序列、帧选择和每秒施加到MPEG处理器输入端的帧数;视频存储器,存储从多通道多路复用的运动图象帧MPEG处理器,在控制逻辑的控制下从所述视频存储器获取关于每秒的预定帧数(fps)的指令,通过从所述控制逻辑接收每个帧的视频通道信息,比较运动图象和与通道有关的参考帧来压缩图象;第一存储器,存储每个通道的参考帧;和第二存储器,为每个视频通道的每个运动图象的数据压缩存储帧参数。
附图说明
下面联系本发明优选实施例的附图对用于多通道DVR系统的视频数据压缩的方法和装置的描述将使本发明的其它特征更加清楚,但是,采用这些附图,并非要限制本发明,而仅仅是出于解释和理解的目的。
在附图中:
图1示出了作为根据本发明优选实施例的多通道运动图象数据压缩的构成单元的示意图。
图2示出了用于根据本发明的参考图象的缓冲存储器的结构示意图。
图3示出了根据本发明的视频图象捕获存储器的结构的示意图。
具体实施方式
下面将参考附图对本发明进行详细说明。
图1示出了作为根据本发明优选实施例的多通道运动图象数据压缩的构成单元的示意图。参考图1,应该准备与视频图象输入端数目一样多的视频开关100,以便有选择地从多个通道获取视频信号。
视频开关100在控制逻辑110的控制下多路复用多通道模拟运动图象的帧,然后,将来自多个通道的多路复用的图象帧施加到视频解码器120的输入端。
作为根据本发明的优选实施例,控制逻辑110用该能够推导出输入到视频解码器120的输入端的当前图象帧输入来自哪个通道。
较为可取的是,可以采用两个视频解码器120,以便即使多路复用了来自多个通道的每个帧,都可以维持MPEG处理器140的最大压缩率(30fpc)。
作为本发明的优选实施例,视频图象的输入序列和/或帧选择可以由控制逻辑110来控制,并且可以通过采用保证30fps视频数据的视频存储器130来确保最大的性能。
作为压缩运动图象的处理器140的优选实施例,可以使用MPEG芯片。在下面,将利用作为实施例的MPEG芯片来说明本发明的主题。
已经指出,如果混合来自不同通道的视频图象,则通过MPEG算法来压缩视频数据的效率是非常低的。
因此,根据本发明的控制逻辑110为压缩处理器140提供关于与每个帧相对应的帧参数的信息。压缩处理器140然后能够区分每个通道并且使用每个通道的正确参考帧来压缩帧。
此后,当每个通道的压缩图象数据被传输到主处理器(未示出)时,也给出通道信息,以能够分别存储每个通道的压缩数据。
本发明公开了一种方案,其中,为了多通道视频图象的数据压缩,仅采用一个MPEG芯片140,同时以独立的方式准备与通道的数量一样多的、用于存储参考图象和帧参数的存储器150和160。
图2是示出了参考图象的缓冲存储器结构的示意图。参考图2,参考图象150的缓冲存储器具有与通道数目一样多的存储器组200,所述缓冲存储器在权利要求1中也被称为第一存储器。
此外,为每个通道分配重建缓冲器和前向重建缓冲器,以便处理每个通道的MPEG数据流。在这种情况下,为了处理B帧,需要后向重建缓冲器。
图3示出了作为根据本发明的实施例的用于视频图象的捕获存储器的结构示意图。参考图3,应该指出,不向每个通道分配捕获存储器。
可替换地,仅仅准备一定数量的捕获存储器(例如,三个),并且将它们用作公共捕获缓冲器,公共捕获缓冲器可以在时间顺序上被用作一种类型的环形缓冲器,以努力使对存储器的需求最小。
再次参考图1,运动图象压缩处理器140在获取图象帧期间从控制逻辑110获取当前视频图象帧的通道信息,并且从而识别捕获缓冲器的图象通道信息。
此外,压缩处理器140在MPEG编码处理时刻参考每个通道的存储器组150,160来处理MPEG流。
此外,在运动图象压缩处理器140的请求之后,将MPEG编码的数据转移到主处理器,其中,可以事先为空闲状态的MPEG编码数据识别通道信息或者伴随的帧参数。
在此之后,处理MPEG编码的数据,并且为每个通道将其存储。作为根据本发明的优选实施例,考虑到数据压缩速度和系统的其它处理能力,可以采用一个或者多个缓冲存储器用于MPEG编码数据缓冲器。
尽管已经针对本发明的示例性实施例进行了说明,但是本领域的技术人员可以认识到各种变化和增删,而不偏离本发明的精神和范围。
因此,本发明不应该被理解成为上述的具体实施例,而是包括关于所附的权利要求确定的范围或者等同物中体现的所有可能的实施例。
工业实用性
本发明能仅用一个MPEG芯片来实现最大数据压缩率下的多通道数字录像机,以及,如果需要,也可以实现超过2个至32个通道。
由于安全和监视系统的DVR需要有效处理多个相机,而非为每个相机维持30fps,仅用单个MPEG芯片来处理多至8个相机时,每个相机减少的每秒帧数(例如,3.5fps)是可接受的。
此外,由于本发明的运动图象数据压缩技术能够调节每个相机的每秒帧数,因此能够为重要的位置或情形维持30fps,同时为其它的维持15fps,以提高效率。
此外,本发明能够处理多个相机并且能够实现低成本的DVR系统,该系统可以根据特定的通道来调节压缩率。

Claims (8)

1.一种压缩多通道数字录像机(DVR)的运动图象的数据量的装置,包括:
视频开关,它在控制逻辑的控制下有选择地获取来自多通道的每个通道的运动图象的图象帧;
视频解码器,通过多路复用来自通道的运动图象的图象帧将来自所述的视频开关的输出端的图象帧转换成数字视频信号;
控制逻辑,控制所述视频开关的运动图象输入序列、帧选择和运动图象压缩处理器的每秒的帧数;
视频存储器,存储为多通道多路复用和混合的运动图象的图象帧;
用于运动图象的压缩处理器,在所述控制逻辑的控制下从所述视频存储器获取预定的每秒帧数,通过将当前帧与和通道有关的参考帧以及从所述控制逻辑提取的通道信息相比较来压缩视频数据;
第一存储器,存储所述与通道有关的参考帧,用于压缩每个通道的视频数据;和
第二存储器,存储每个通道的运动图象的帧参数。
2.根据权利要求1所述的装置,其特征在于所述第一存储器包括为每个通道分派的用于MPEG处理的重建缓冲器和前向重建缓冲器。
3.根据权利要求1所述的装置,其特征在于不为每个通道分派所述视频存储器,并且所述的视频存储器实现为在时间顺序上共享的环形缓存器。
4.根据权利要求1所述的装置,其特征在于以将每秒帧数维持在预定数值上的方式来使用多个单元实现所述视频解码器。
5.根据权利要求1所述的装置,其特征在于所述压缩处理器包括通过MPEG算法来压缩视频数据的压缩处理器。
6.一种压缩多通道数字录像机的运动图象的数据量的方法,包括以下步骤:
(a)多路复用通过视频开关从多个通道的每个通道传输的运动图象的图象帧,并且将图象帧解码成为数字视频信号;
(b)在视频存储器通过存取与预定的每秒帧数相对应的数字视频数据来读出每个图象帧的通道信息,所述的视频存储器存储了在步骤(a)解码的数据;
(c)按照通道信息和带有帧参数的与通道有关的参考信息,通过处理从视频存储器存取的数字视频数据独立于每个通道压缩视频数据。
7.根据权利要求6所述的方法,其特征在于所述步骤(c)包括步骤:通过存取为每个通道分配的重建缓冲器和前向重建缓冲器,为每个通道估计当前帧和与通道有关的参考帧之间的相关性来压缩视频图象帧。
8.一种使用单个压缩处理器来压缩多通道运动图象的数据量的方法,包括以下步骤:
(a)通过有选择地转换开关,多路复用来自多个通道的每个通道的一系列图象帧,将运动图象的每个图象帧解码成为数字视频信号;
(b)在视频存储器存储步骤(a)解码的数据;
(c)向视频解码器请求传输预定量的每秒帧数,并且读取与传输的图象帧相对应的通道信息;
(d)通过在第一存储器存取通道参考帧和在第二存储器存取参数信息,根据当前图象帧和与当前图象帧的通道相对应的参考帧之间的相关性来压缩图象数据。
CNB028020855A 2001-06-15 2002-06-14 压缩多通道运动图像的数据量的方法和装置 Expired - Fee Related CN1210957C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR033887/2001 2001-06-15
KR10-2001-0033887A KR100395396B1 (ko) 2001-06-15 2001-06-15 다채널 동영상 압축 방법 및 장치

Publications (2)

Publication Number Publication Date
CN1463550A true CN1463550A (zh) 2003-12-24
CN1210957C CN1210957C (zh) 2005-07-13

Family

ID=19710877

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028020855A Expired - Fee Related CN1210957C (zh) 2001-06-15 2002-06-14 压缩多通道运动图像的数据量的方法和装置

Country Status (6)

Country Link
US (1) US20030190154A1 (zh)
EP (1) EP1400123A4 (zh)
JP (1) JP3632028B2 (zh)
KR (1) KR100395396B1 (zh)
CN (1) CN1210957C (zh)
WO (1) WO2002104035A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1728628B (zh) * 2004-07-30 2010-05-12 迈普通信技术股份有限公司 安全代理通道复用方法和安全代理通道复用服务器
CN102238384A (zh) * 2011-04-08 2011-11-09 金诗科技有限公司 多通道视频解码器
CN104735384A (zh) * 2015-04-03 2015-06-24 华为技术有限公司 分配编码通道内存的方法和装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100484452B1 (ko) * 2002-11-11 2005-04-20 엘지전자 주식회사 감시용 디지털 비디오 레코더에서의 채널별 녹화 속도제어방법
KR100415838B1 (ko) * 2003-09-19 2004-01-31 (주)유디피 캡쳐 불능 기간을 정확히 결정하여 캡쳐 효율을 향상시킨다채널 영상 신호 캡쳐 시스템 및 캡쳐 방법
US7623675B2 (en) * 2005-09-19 2009-11-24 International Business Machines Corporation Video data management using encapsulation assets
KR100623710B1 (ko) * 2006-05-19 2006-09-13 윈포시스(주) 하드웨어 리소스를 공유하여 복수의 동영상 콘텐츠를처리하는 방법
US20090244404A1 (en) * 2008-03-31 2009-10-01 Sang-Yeol Park Digital video recorder-integrated display device with picture-in-picture function
TWM422688U (en) * 2011-08-26 2012-02-11 Jetcom Technology Inc Ltd Application improvement for multi-channel external image compression card

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2528789B2 (ja) * 1985-06-26 1996-08-28 中央電子 株式会社 映像情報管理装置
US5351129A (en) * 1992-03-24 1994-09-27 Rgb Technology D/B/A Rgb Spectrum Video multiplexor-encoder and decoder-converter
NL9301358A (nl) * 1993-08-04 1995-03-01 Nederland Ptt Transcodeerinrichting.
JP3058028B2 (ja) * 1994-10-31 2000-07-04 三菱電機株式会社 画像符号化データ再符号化装置
KR100599017B1 (ko) * 1996-12-12 2006-12-13 소니 가부시끼 가이샤 영상 데이터 압축 장치 및 그 방법
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
KR100309695B1 (ko) * 1998-06-01 2001-12-28 구자홍 간헐영상의압축기록방법및압축간헐영상의재생방법
JP2000050253A (ja) * 1998-07-30 2000-02-18 Matsushita Electric Ind Co Ltd フレームスイッチャー装置
TWI230547B (en) * 2004-02-04 2005-04-01 Ind Tech Res Inst Low-complexity spatial downscaling video transcoder and method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1728628B (zh) * 2004-07-30 2010-05-12 迈普通信技术股份有限公司 安全代理通道复用方法和安全代理通道复用服务器
CN102238384A (zh) * 2011-04-08 2011-11-09 金诗科技有限公司 多通道视频解码器
CN104735384A (zh) * 2015-04-03 2015-06-24 华为技术有限公司 分配编码通道内存的方法和装置
CN104735384B (zh) * 2015-04-03 2017-12-08 华为技术有限公司 分配编码通道内存的方法和装置

Also Published As

Publication number Publication date
WO2002104035A1 (en) 2002-12-27
KR100395396B1 (ko) 2003-08-21
EP1400123A1 (en) 2004-03-24
JP2004522366A (ja) 2004-07-22
KR20020095709A (ko) 2002-12-28
EP1400123A4 (en) 2005-03-16
JP3632028B2 (ja) 2005-03-23
CN1210957C (zh) 2005-07-13
US20030190154A1 (en) 2003-10-09

Similar Documents

Publication Publication Date Title
JP4898589B2 (ja) 画像圧縮方法、および、画像処理装置
JP3336754B2 (ja) デジタルビデオ信号の記録方法及び記録装置
JP3244629B2 (ja) シーン変化点検出方法
US6148031A (en) Image processing apparatus and method
US6473558B1 (en) System and method for MPEG reverse play through dynamic assignment of anchor frames
JP2952196B2 (ja) 映像信号符号化装置及び方法
CN101060624A (zh) 视频数据的处理方法及存储设备
AU2005306799A1 (en) Apparatus and method of storing video data
CN1210957C (zh) 压缩多通道运动图像的数据量的方法和装置
US20070258009A1 (en) Image Processing Device, Image Processing Method, and Image Processing Program
US7432960B2 (en) Image generating apparatus and image generating method
US7889934B2 (en) Image processing apparatus and processing method thereof
JP2001346165A (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
CN1226063A (zh) 视频记录设备、视频播放设备和视频记录/播放设备
JP3221785B2 (ja) 撮像装置
US7362905B2 (en) Methods and systems for DV encoding and decoding
CN1574929A (zh) 移动图像处理装置
US20070127571A1 (en) Image processing apparatus and method
EP1259073A1 (en) Image reproducing method and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods
CN1293751C (zh) 使用虚拟双向预测图像的快速运动特技模式
JP3312597B2 (ja) 可変長符号化方法
JP3206386B2 (ja) ビデオ記録装置
JP4365941B2 (ja) 符号化装置、画像処理装置、カメラ一体型画像記録装置、画像処理システム、符号化方法、及び記憶媒体
KR100316794B1 (ko) 보안감시시스템의영상신호처리방법
JP3902824B2 (ja) 画像処理装置及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee