CN1233150C - 可远端监控的数字摄影系统及其图像数据传输方法 - Google Patents
可远端监控的数字摄影系统及其图像数据传输方法 Download PDFInfo
- Publication number
- CN1233150C CN1233150C CN 02103066 CN02103066A CN1233150C CN 1233150 C CN1233150 C CN 1233150C CN 02103066 CN02103066 CN 02103066 CN 02103066 A CN02103066 A CN 02103066A CN 1233150 C CN1233150 C CN 1233150C
- Authority
- CN
- China
- Prior art keywords
- view data
- digital photography
- remote monitoring
- programmable logic
- logic element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
本发明有关一种可远端监控的数字摄影系统及其图像数据传输方法。该数字摄影系统包括一数字摄影机组件、一可编程序的逻辑元件、一缓冲存储器及一中央处理单元。数字摄影机组件的图像数据是传送至可编程序的逻辑元件，再储存于缓冲存储器。中央处理单元是通过可编程序的逻辑元件读取储存于缓冲存储器的图像数据，再通过一通讯网路将图像数据传输至一远端监控中心。
Description
(1)技术领域
本发明是有关于一种数字摄影系统，特别是有关于一种可远端监控的数字图像系统。
(2)背景技术
一般的数字摄影机是将其数字图像数据储存于一快闪存储器或一外接的存储卡(external memory card)，并通过一连接的周边显示装置，例如电视或个人电脑，让使用者可通过电视或电脑显示屏幕观看储存于数字摄影机存储器的各种图像画面。若欲将图像画面印出，储存于数字摄影机存储器的图像数据可传送至个人电脑，经个人电脑的应用软件将图像数据输出至一打印机。
当欲传送数字摄影机的图像数据至一远端连接装置时，数字摄影机需要将撷取的图像数据传送至一具有通讯界面的中央处理器，再通过通讯界面通过一有线通讯网络或一无线通讯网络传输至远端连接装置。然而，数字摄影机的硬件运作规格不相容于中央处理器的硬件运作规格，数字摄影机撷取的图像数据仅能被快闪存储器或外接的存储卡接收，而不能直接传送至中央处理器。因此，若欲通过一通讯网络将数字摄影机的图像数据传输至一远端连接装置，以增加使用者的便利性，则须于数字摄影机与中央处理器之间加装一信号转换电路，使数字摄影机撷取的图像数据可通过此信号转换电路传送至中央处理器。
据此，亟待提供一种改良的数字摄影系统，以解决现有数字摄影机通过通讯网络传输图像数据及进行通讯所面临的问题。
(3)发明内容
本发明的主要目的是提供一种可远端监控的数字摄影系统，其可以无线传输方式将此数字摄影系统撷取的图像数据传送至一远端监控中心，以增加使用此数字摄影系统的便利性及节省大量人力布线成本。
本发明的另一目的是提供一种可远端监控的数字摄影系统，它可通过一通讯网络将此数字摄影系统撷取的图像数据传送至一远端监控中心，并通过此通讯网络，此远端监控中心可同时监控多部摄影系统。
本发明的又一目的是提供一种可远端监控的数字摄影系统，它可支援IEEE802.11b规格无线网络的通讯功能。
为实现上述目的，本发明的可远端监控的数字摄影系统，其特点是，包括：一数字摄影机组件；一可编程序的逻辑元件，其包括一状态处理单元及一标准化联合图像专家小组规范(JPEG)档案格式压缩图像数据单元；一缓冲存储器；及一中央处理单元；其中该数字摄影机组件的图像数据是传送至该可编程序的逻辑元件，再储存于该缓冲存储器，及该中央处理单元是通过该可编程序的逻辑元件读取储存于该缓冲存储器的该图像数据，再通过一通讯网路将该图像数据传输至一远端监控中心，而状态处理单元是用以接收、判断及处理该可编程序的逻辑元件与该数字摄影机组件、该缓冲存储器及该中央处理单元之间的通讯信号，该标准化JPEG档案格式压缩图像数据单元是用以将来自该缓冲存储器的该图像数据补偿成标准的JPEG档案格式压缩图像数据。
采用本发明的数字摄影系统，其撷取的图像数据可以无线传输方式传送至一远端监控中心。通过无线传输方式，此远端监控中心可同时监控多部数字摄影系统。
为进一步说明本发明的目的、结构特点和效果，以下将结合附图对本发明进行详细的描述。
(4)附图说明
图1是本发明一较佳具体实施例的结构方块图；
图2是本发明较佳具体实施例的可编程序的逻辑元件的结构方块图；
图3是本发明较佳具体实施例的可编程序的逻辑元件的图像数据写入/读取流程图；
图4A是数字摄影机组件的图像数据写入静态随机存取存储器4的时序图；及
图4B是中央处理单元读取储存于静态随机存取存储器的图像数据的时序图。
(5)具体实施方式
本发明的可远端监控的数字摄影系统包括一数字摄影机组件、一可编程序的逻辑元件(programmable logic device，PLD)、一缓冲存储器及一中央处理单元。数字摄影机组件包括一图像数据撷取单元及一图像数据处理/传输单元，其中图像数据撷取单元是用于撷取一物件的图像数据并送至图像数据处理/传输单元，通过图像数据处理/传输单元转成压缩的数字图像数据后，再传送至可编程序的逻辑元件。须注意的是，经图像数据处理/传输单元转成的压缩数字图像数据并非完全标准压缩档案格式的图像数据。
可编程序的逻辑元件是供作数字摄影机组件、缓冲存储器及中央处理单元之间的通讯媒介(communication medium)。数字摄影机组件送出的图像数据是先传送至可编程序的逻辑元件，并由可编程序的逻辑元件控制缓冲存储器储存此图像数据。待数字摄影机组件将图像数据传送完毕后，中央处理单元再通过可编程序的逻辑元件读取储存于缓冲存储器的图像数据。
中央处理单元为一具备通讯功能的中央处理器，其可通过有线传输方式，例如是乙太网络，将读取的图像数据传送至一远端监控中心，如一部远端连接的电脑。同时，可通过这部电脑通过有线传输方式监控本发明的数字摄影系统。另一方面，中央处理单元可通过一无线通讯界面与一无线通讯网络进行各种信号通讯。这样，中央处理单元可通过无线传输方式将读取的图像数据传送至一远端监控中心。同时通过无线传输方式，此远端监控中心可同时监控多部数字摄影系统。
根据本发明可远端监控的数字摄影系统，一远端的监控中心可通过一有线通讯网络或一无线通讯网络经中央处理单元监控数字摄影机组件的各种设定，例如图像的亮度、摄影机组件所执行的图像压缩量及摄影机的焦距、光圈、白色平衡度(white balance)以及其它操作参数。此外，本发明可远端监控的数字摄影系统可使用于一般大楼作为监控录影系统，以提高大楼的居住安全。
以下就一较佳具体实施例详细说明本发明可远端监控的数字摄影系统及其图像数据传输方法。
参照图1，是根据本发明一较佳具体实施例的可远端监控的数字摄影系统1的结构方块图，图中同时显示本发明可远端监控的数字摄影系统1采用有线通讯方式及无线通讯方式的结构示意图。在此较佳具体实施例中，可远端监控的数字摄影系统1是包括一数字摄影机组件2、一可编程序的逻辑元件(PLD)3、一静态随机存取存储(static random access memory，SRAM)4及一中央处理单元5。数字摄影机组件2包括一图像数据撷取单元20及一图像数据处理/传输单元22，其中图像数据处理/传输单元22可为一整合的摄影机晶片(integrated camera chip)。图像数据撷取单元20是用于撷取一物件的图像数据，并送至图像数据处理/传输单元22，再通过图像数据处理/传输单元22将图像数据转成压缩的数字图像数据，例如是联合图像专家小组规范(JPEG)(Joint Photographic Experts Group)档案格式的压缩图像数据。但此时压缩的图像数据并非完全标准JPEG档案格式的压缩图像数据。
参照图2，是此较佳具体实施例中可编程序的逻辑元件3的结构方块图，它包括一状态处理单元(state machine)30、一静态随机存取存储器地址计数器(SRAM address counter)32及一标准化JPEG档案格式压缩图像数据单元(JPEG stuff)34。数字摄影机组件2所撷取的图像数据转成压缩的数字图像数据后，会先传送至可编程序的逻辑元件3，并由可编程序的逻辑元件3控制供做一缓冲存储器的静态随机存取存储器4储存此数字图像数据。待数字摄影机组件2的图像数据传送完毕或静态随机存取存储器4的存储器空间被占满了，中央处理单元5即以直接存储器存取方式(direct memory access，DMA)通过可编程序的逻辑元件3读取储存于静态随机存取存储器4的图像数据，直至储存于静态随机存取存储器4的图像数据被读取完毕。
在此较佳具体实施例中，可编程序的逻辑元件3至少具有三种功能：接收由数字摄影机组件2所传入的图像数据、控制静态随机存取存储器4储存图像数据，及提供直接存储器存取(DMA)的功用，将图像数据从静态随机存取存储器4以直接存储器存取方式传入中央处理单元5。
在此较佳具体实施例中，可编程序的逻辑元件3是模拟一标准的与非门快闪存储器(NAND flash memory)的数据写入方式，写入数字摄影机组件2所传入的图像数据。参照图1，可编程序的逻辑元件3提供8个接脚P[0..7]连接于数字摄影机组件2，此8个接脚P[0..7]于可编程序的逻辑元件3与数字摄影机组件2之间是供传输地址(address)、数据(data)及指令(command)等信号。此8个接脚同时可传输静态随机存取存储器4储存的图像数据至可编程序的逻辑元件3。
参照图2，可编程序的逻辑元件3的状态处理单元(state machine)30是用于接收、判断及处理可编程序的逻辑元件3与数字摄影机组件2、静态随机存取存储器4、中央处理单元5及其它周边装置如一电源供应端10之间的通讯信号(communication signal)。当本发明数字摄影系统1一开机后，电源供应端10即送出一回位信号(reset signal)至可编程序的逻辑元件3的状态处理单元30。当可编程序的逻辑元件3模拟一标准的与非门快闪存储器(NAND flash memory)的数据写入方式，写入数字摄影机组件2传入的图像数据时，标准的与非门快闪存储器的数据写入动作的各种起动信号(enablesignal)包括写入指令起动信号(FMCLA)、地址起动信号(FMALE)及写入起动信号(FMWENN)等是由数字摄影机组件2传输至状态处理单元30，再由状态处理单元30送出写入起动信号(SWE)至静态随机存取存储器4，通知静态随机存取存储器4写入来自状态处理单元30的图像数据。当静态随机存取存储器4每写入一笔图像数据于一被选择地址时，静态随机存取存储器地址计数器(SRAM address counter)32即加一。待数字摄影机组件2传送的图像数据完全写入静态随机存取存储器4或静态随机存取存储器4的存储器空间被占满后，状态处理单元30即送出直接存储器存取信号(DREQ)至中央处理单元5，通知中央处理单元5读取储存于静态随机存取存储器4的图像数据。中央处理单元5即送出一直接存储器存取通知(direct memory access acknowledge)(DACK)至状态处理单元30。接着，由标准化JPEG档案格式压缩图像数据单元34送出一输出起动信号(SOE)至随机存取存储器4。图像数据P[0..7]从随机存取存储器4传送至标准化JPEG档案格式压缩图像数据单元34，通过标准化JPEG档案格式压缩图像数据单元34将图像数据补偿成标准的JPEG档案格式压缩图像数据D[0..7]后，再传送至中央处理单元5。
本发明此较佳具体实施例的可编程序的逻辑元件3的图像数据写入/读取流程图是参照图3。图4A代表可编程序的逻辑元件3模拟一标准的与非门快闪存储器数据写入方式，将图像数据从数字摄影机组件2通过可编程序的逻辑元件3写入静态随机存取存储器4的时序图。图4B代表中央处理单元5以直接存储器存取方式通过可编程序的逻辑元件3读取储存于静态随机存取存储器4的图像数据的时序图。
首先参照图3及图4A，在步骤300，数字摄影机组件2送出图像数据写入指令(写入指令1)至可编程序的逻辑元件3的状态处理单元30，此时数字摄影机组件2通过可编程序的逻辑元件3的8个接脚P[0..7]送至状态处理单元30的指令起动信号(FMCLE)、写入起动信号(FMWENN)、地址起动信号(FMALE)、写入指令(指令1)、被选择地址及写入的图像数据的时序关系图是如图4A所示。接着，在步骤301，可编程序的逻辑元件3写入数字摄影机组件2送出的图像数据后，将它储存于静态随机存取存储器4。此时由状态处理单元30送出一写入起动信号(SWE)至静态随机存取存储器4。当静态随机存取存储器4每写入一笔图像数据至所选择地址(地址0、1、2……)时，静态随机存取存储器地址计数器32即加一。图像数据写入静态随机存取存储器4的时序关系是如图4A所示。在步骤302，待数字摄影机组件2传送的图像数据完全写入静态随机存取存储器4后，数字摄影机组件2通过接脚P[0..7]的一送出一写入动作完毕指令(指令2)至可编程序的逻辑元件3的状态处理单元30。
接着，在步骤303，参照图3及图4B，状态处理单元30送出一要求直接存储器存取信号(direct memory access request，DMA)(DREQ)至中央处理单元5。中央处理单元5即送出一直接存储器存取通知信号(DMAacknowledge)(DACK)至状态处理单元30，同时送出一输出起动信号(DOE)至状态处理单元30。中央处理单元5同时可送出一晶片选择信号(chipselection)(CS)予状态处理单元30，以选定可编程序的逻辑元件3进行图像数据读取动作。这样，除了可编程序的逻辑元件3外，中央处理单元5亦可接收、处理其它周边设备传送的数据。状态处理单元30接着控制标准化JPEG档案格式压缩图像数据单元34送出一输出起动信号(SOE)至静态随机存取存储器4。静态随机存取存储器4即通过8个接脚P[0..7]将图像数据传送至标准化JPEG档案格式压缩图像数据单元34，经标准化JPEG档案格式压缩图像数据单元34将图像数据补偿成完全标准化的JPEG档案格式压缩图像数据D[0..7]，再传送至中央处理单元5。中央处理单元5即通过可编程序的逻辑元件3以直接存储器存取方式读取储存于静态随机存取存储器4的图像数据直至读取完毕。中央处理单元5读取储存于静态随机存取存储器4的图像数据的时序关系如图4B所示。
之后，在步骤304，状态处理单元30送出图像数据读取完毕信号(FMRDY)至数字摄影机组件2。接着，在步骤305，数字摄影机组件2送出状态查询指令至可编程序的逻辑元件3的状态处理单元30。在步骤306，状态处理单元30即送出一状态值至数字摄影机组件2，通知其是否继续传送图像数据。若是，重复步骤300至306。
再参照图1，中央处理单元5由静态随机存取存储器4读取的图像数据可通过乙太网络6，以有线传输方式传送至一远端的连接装置7，进行图像数据后续处理。另一方面，中央处理单元5由静态随机存取存储器4读取的图像数据可通过一无线通讯界面，例如一个人计算机存储卡国际联合会(PCMCIA)(personal computer memory card international association)界面8，将图像数据通过一无线通讯网络9，如IEEE802.11b规格无线通讯网络，传送至一远端监控中心，例如是一部远端连接的电脑。这样使用者可即时监看摄影画面，并通过无线通讯网络9控制本发明的数字摄影系统1。本发明可远端监控的数字摄影系统1亦可提供预警回朔录影、自动识别录影、触发预录及使用浏览器同时监控多部摄影系统等功能。
当然，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明权利要求书的范围内。
Claims (16)
1.一种可远端监控的数字摄影系统，其特征在于，包括：
一数字摄影机组件；
一可编程序的逻辑元件，其包括一状态处理单元及一标准化联合图像专家小组规范(JPEG)档案格式压缩图像数据单元；
一缓冲存储器；及
一中央处理单元；
其中该数字摄影机组件的图像数据是传送至该可编程序的逻辑元件，再储存于该缓冲存储器，及该中央处理单元是通过该可编程序的逻辑元件读取储存于该缓冲存储器的该图像数据，再通过一通讯网路将该图像数据传输至一远端监控中心，而状态处理单元是用以接收、判断及处理该可编程序的逻辑元件与该数字摄影机组件、该缓冲存储器及该中央处理单元之间的通讯信号，该标准化JPEG档案格式压缩图像数据单元是用以将来自该缓冲存储器的该图像数据补偿成标准的JPEG档案格式压缩图像数据。
2.如权利要求1所述的可远端监控的数字摄影系统，其特征在于，所述的数字摄影机组件包括一图像数据撷取单元及一图像数据处理/传输单元，其中该图像数据撷取单元是用于撷取一物件的图像数据，及该图像数据处理/传输单元是用于将该图像数据转成压缩数字图像数据并传送至该可编程序的逻辑元件。
3.如权利要求1所述的可远端监控的数字摄影系统，其特征在于，所述的可编程序的逻辑元件是根据一与非门快闪存储器的数据写入方式，以写入由该数字摄影机组件传入的该图像数据。
4.如权利要求1所述的可远端监控的数字摄影系统，其特征在于，所述的缓冲存储器是为一静态随机存取存储器。
5.如权利要求1所述的可远端监控的数字摄影系统，其特征在于，所述的中央处理单元读取的该图像数据是通过一乙太网络传输至该远端监控中心。
6.如权利要求1所述的可远端监控的数字摄影系统，其特征在于，所述的中央处理单元读取的该图像数据是通过一无线通讯网络传输至该远端监控中心。
7.如权利要求6所述的可远端监控的数字摄影系统，其特征在于，所述的中央处理单元是通过一个人计算机存储卡国际联合会界面将读取的该图像数据通过一无线通讯网络传输至该远端监控中心。
8.如权利要求6所述的可远端监控的数字摄影系统，其特征在于，所述的中央处理单元读取的该图像数据是通过一IEEE802.11b规格无线通讯网络传输至该远端监控中心。
9.如权利要求6所述的可远端监控的数字摄影系统，其特征在于，所述的中央处理单元是通过一个人计算机存储卡国际联合会界面将读取的该图像数据通过一IEEE802..11b规格无线通讯网络传输至该远端监控中心。
10.一种可远端监控的数字摄影系统的图像数据传输方法，其特征在于，该数字摄影系统包括一数字摄影机组件、一可编程序的逻辑元件、一缓冲存储器及一中央处理单元，而该数字摄影机组件包括一图像数据撷取单元及一图像数据处理/传输单元，该可编程序的逻辑元件包括一状态处理单元及一标准化联合图像专家小组规范(JPEG)档案格式压缩图像数据单元，该图像数据传输方法包括：
借由该图像数据撷取单元撷取一物件的图像数据；
借由该图像数据处理/传输单元将该图像数据转成压缩数字图像数据并传送至该可编程序的逻辑元件；
该可编程序的逻辑元件写入该数字摄影机组件传入的图像数据并储存于该缓冲存储器，直至该可编程序的逻辑元件完成图像数据写入动作；
借由该标准化联合图像专家小组规范(JPEG)档案格式压缩图像数据单元将来自该缓冲存储器的图像数据补偿成标准的JPEG档案格式压缩图像数据；
该中央处理单元通过该可编程序的逻辑元件读取储存于该缓冲存储器的该图像数据；及
该中央处理单元通过一通讯网络传输读取的该图像数据。
11.如权利要求10所述的可远端监控的数字摄影系统的图像数据传输方法，其特征在于，所述的可编程序的逻辑元件是根据一与非门快闪存储器的数据写入方式，写入由该数字摄影机组件传入的该图像数据。
12.如权利要求10所述的可远端监控的数字摄影系统的图像数据传输方法，其特征在于，所述的中央处理单元是以直接存储器存取方式通过该可编程序的逻辑元件读取储存于该缓冲存储器的该图像数据。
13.如权利要求10所述的可远端监控的数字摄影系统的图像数据传输方法，其特征在于，所述的中央处理单元是通过一有线通讯网络传输读取的该图像数据。
14.如权利要求13所述的可远端监控的数字摄影系统的图像数据传输方法，其特征在于，所述的中央处理单元是通过一乙太网络传输读取的该图像数据。
15.如权利要求10所述的可远端监控的数字摄影系统的图像数据传输方法，其特征在于，所述的中央处理单元是通过一无线通讯网络传输读取的该图像数据。
16.如权利要求15所述的可远端监控的数字摄影系统的图像数据传输方法，其特征在于，所述的中央处理单元是通过一IEEE802.11b规格无线通讯网络传输读取的该图像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 02103066 CN1233150C (zh) | 2002-02-06 | 2002-02-06 | 可远端监控的数字摄影系统及其图像数据传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 02103066 CN1233150C (zh) | 2002-02-06 | 2002-02-06 | 可远端监控的数字摄影系统及其图像数据传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1437391A CN1437391A (zh) | 2003-08-20 |
| CN1233150C true CN1233150C (zh) | 2005-12-21 |
Family
ID=27627732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 02103066 Expired - Fee Related CN1233150C (zh) | 2002-02-06 | 2002-02-06 | 可远端监控的数字摄影系统及其图像数据传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1233150C (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1926869A (zh) * | 2004-03-30 | 2007-03-07 | Ut斯达康通讯有限公司 | 对无线基站进行远程图象监控的方法、装置和系统 |
-
2002
- 2002-02-06 CN CN 02103066 patent/CN1233150C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN1437391A (zh) | 2003-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020063505A1 (zh) | 图像处理方法、系统及计算机可读存储介质 | |
| US5754227A (en) | Digital electronic camera having an external input/output interface through which the camera is monitored and controlled | |
| US6300976B1 (en) | Digital image capturing device having an input/output interface through which the device is controlled | |
| JP3542653B2 (ja) | 電子スチルカメラにおける画像データ伝送システム | |
| US6897891B2 (en) | Computer system using a digital camera that is capable of inputting moving picture or still picture data | |
| US8085310B2 (en) | Image capturing apparatus and power supply control method therefor | |
| WO2020063506A1 (zh) | 智能终端、图像处理方法及计算机可读存储介质 | |
| US7589779B2 (en) | Imaging module, interface, and method handling multiple simultaneous data types | |
| WO2024074012A1 (zh) | 视频传输控制方法、装置、设备及非易失性可读存储介质 | |
| CN102724395A (zh) | 一种采用双核控制的网络摄像机 | |
| JP2001238190A (ja) | 画像処理装置及びその制御処理方法 | |
| CN1937696A (zh) | 图像信号处理设备及方法 | |
| CN106454023A (zh) | Usb3.0cmos线阵工业相机 | |
| US20030146976A1 (en) | Digital camera system enabling remote monitoring | |
| CN102256105A (zh) | 一种嵌入式平台上使用多个摄像头捕捉图像的方法 | |
| CN1233150C (zh) | 可远端监控的数字摄影系统及其图像数据传输方法 | |
| US6473527B1 (en) | Module and method for interfacing analog/digital converting means and JPEG compression means | |
| CN110996032B (zh) | 基于以太网和srio的数据记录与回放方法 | |
| CN1852439A (zh) | 一种摄像头和数据处理装置 | |
| EP1141842A1 (en) | Digital media frame | |
| JP4266477B2 (ja) | 情報処理装置及びその制御方法 | |
| CN1130617C (zh) | Jpeg接口模块与方法 | |
| CN110996031B (zh) | 基于以太网和srio的数据记录与回放装置 | |
| CN104683764B (zh) | 基于fpga图像压缩技术的3g远程传输网络摄像头 | |
| KR100529216B1 (ko) | 디지털 카메라용 동영상 모듈 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C19 | Lapse of patent right due to non-payment of the annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |