CN108259795A - 一种针对隔列转移型ccd的图像缓冲方法 - Google Patents

一种针对隔列转移型ccd的图像缓冲方法 Download PDF

Info

Publication number
CN108259795A
CN108259795A CN201810045412.5A CN201810045412A CN108259795A CN 108259795 A CN108259795 A CN 108259795A CN 201810045412 A CN201810045412 A CN 201810045412A CN 108259795 A CN108259795 A CN 108259795A
Authority
CN
China
Prior art keywords
row
ccd
module
type ccd
jump type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810045412.5A
Other languages
English (en)
Other versions
CN108259795B (zh
Inventor
宋伟铭
张强
罗松彬
周中亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING IMAGE VISION TECHNOLOGY BRANCH CHINA DAHENG (GROUP) Co Ltd
BEIJING DAHENG IMAGE VISION Co Ltd
Original Assignee
BEIJING IMAGE VISION TECHNOLOGY BRANCH CHINA DAHENG (GROUP) Co Ltd
BEIJING DAHENG IMAGE VISION Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING IMAGE VISION TECHNOLOGY BRANCH CHINA DAHENG (GROUP) Co Ltd, BEIJING DAHENG IMAGE VISION Co Ltd filed Critical BEIJING IMAGE VISION TECHNOLOGY BRANCH CHINA DAHENG (GROUP) Co Ltd
Priority to CN201810045412.5A priority Critical patent/CN108259795B/zh
Publication of CN108259795A publication Critical patent/CN108259795A/zh
Application granted granted Critical
Publication of CN108259795B publication Critical patent/CN108259795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Abstract

本发明公开了一种针对隔列转移型CCD的图像缓冲方法，所述方法用于对具有隔列转移型CCD的工业相机进行输出缓冲，所述工业相机内具有行缓存模块，所述隔列转移型CCD经由所述行缓存模块对外输出。本发明实现了低成本工业相机在数据传输发生阻塞时，不借助外部存储器直接进行数据缓冲存储，就可以避免由于瞬时传输带宽下降造成的图像数据丢失。相比传统的帧缓冲器方式，本发明的图像缓冲方法由于发现了隔列转移型CCD的自身特有性质，通过时序控制完成由于瞬时有效带宽下降造成的数据阻塞问题，节约了电路硬件成本，电路设计的复杂程度，节约产品的电路板空间。

Description

一种针对隔列转移型CCD的图像缓冲方法
技术领域
本发明涉及一种图像采集领域，具体涉及一种利用CCD(Charge-coupled Device)自身结构特性，实现低成本工业相机在数据传输发生阻塞时，不借助外部存储器直接进行数据缓冲存储，就可以避免由于瞬时传输带宽下降造成的图像数据丢失的图像缓冲方法。
背景技术
在工业相机的传输系统中，由于主机操作系统的时间分配、外设驱动的性能以及多台工业相机共用接口带宽等问题，会导致数据传输瞬时带宽下降，造成瞬时阻塞，阻塞时间一般不超过1ms。为了保证在发生传输阻塞时图像数据不丢失，工业相机内部需要对图像数据进行缓冲处理。
现有工业相机进行图像缓冲的方法主要是利用外部帧缓冲器来实现，外部缓冲器可以存储大量的图像数据。外部缓冲器一般由控制器和存储器组成，控制器一般由FPGA(Field－Programmable Gate Array)通过编程来实现；常见的存储器分为静态随机存储器(SRAM，Static Random Access Memory)和动态随机存储器(DRM，Dynamic Random AccessMemory)，SRAM价格高，速度慢，但控制器逻辑简单，易于实现；DRAM价格低，速度快，但控制逻辑相对较为复杂，需要占用较多的FPGA资源。
使用外部缓冲器不但会导致硬件成本和焊接费用的增加，提高系统设计的复杂度，而且还会占用PCB(Printed Circuit Board)的空间资源，不利于低成本工业相机的小型化设计。
发明内容
本发明针对现有工业相机需要设计单独的外部缓冲器的问题，提出了一种针对使用隔列转移型CCD(Interline CCD)低成本工业相机的图像缓冲方法。
发明原理
本申请的发明人注意到，现有的CCD工业相机中大部分采用的是隔列转移型CCD。现有技术中对于采用各种CCD的工业相机避免阻塞的方式都是采用外部缓冲器，CCD先将整幅的图像传输给外部缓冲器，再由外部缓冲器对外输出，以保证图像采集过程的完整，避免图像数据丢失。
本领域技术人员在使用CCD时，从未考虑过要对CCD本身的读出过程进行干预，这是因为，CCD相机在读出过程中，若突然停止，会打断CCD的工作过程，导致采集数据丢失。但是，申请人在对隔列转移型CCD相机进行研究时却发现，并不是任何时刻对CCD相机进行打断都会造成数据的丢失，若是能够在两行数据读取的间隙对CCD相机进行中断并不会造成数据的丢失。
隔列转移型CCD的数据读出并非像本领域技术人员通常理解的那样是一帧图像、一帧图像的读出，而是分成三步。隔列转型性CCD在图像完成曝光后，通过以下步骤从CCD中读出图像数据：第一步，像敏区到垂直移位寄存器的转移，图像的转移一次完成，实现CCD的整帧曝光，即每一行像素单元将其所采集到的像素的RGB值传输给垂直移位寄存器；第二步，垂直移位寄存器到水平移位寄存器的转移，每次转移一行，发生在行正程期间，即垂直移位寄存器逐行将各行像素的RGB值传输给水平寄存器；第三步，水平移位寄存器的读出。每次转移一个像素，发生在行正程期间，即，水平寄存器将各行像素的RGB值逐个对外输出，直到完成一帧输出。
现有技术中对于工业相机中避免阻塞的方式都是采用外部缓冲器，CCD先将整幅的图像传输给外部缓冲器，再由外部缓冲器对外输出，以保证图像采集过程的完整，避免图像数据丢失。
本申请的发明人发现，CCD在一帧图像读取过程中并非是不可打断的，只要保证在CCD数据读取过程中，其第二步的执行不被打断，就不会影响CCD的正常使用，即不会影响图像质量。因此，本申请的发明人利用隔列转移型CCD的结构特点，当外部数据传输发生瞬时阻塞时，通过在一帧图像之内暂停读出时序的方法，使得未读出的图像数据缓存在CCD中，当阻塞时间在ms级别时，并不会对图像质量造成影响，从而解决无外部帧缓冲器的低成本工业相机由于数据传输瞬时阻塞造成的图像数据丢失问题。
具体而言，本发明提供一种针对隔列转移型CCD的图像缓冲方法，其特征在于，所述方法用于对具有隔列转移型CCD的工业相机进行输出缓冲，所述工业相机内具有行缓存模块，所述隔列转移型CCD经由所述行缓存模块对外输出，所述方法包括：在所述工业相机对外输出阻塞时，首先对隔列转移型CCD的读出状态进行判断，并基于隔列转移型CCD的读出状态进行(1)继续读取并利用行缓存模块缓存或(2)中断读取的判断。
进一步地，所述方法包括下述步骤：
步骤S1、以预定时间间隔判断所述工业相机的对外输出过程是否发生阻塞；
步骤S2、若所述工业相机的对外输出过程发生阻塞，则控制所述行缓存模块暂停数据的对外输出，由所述行缓存模块继续接收所述隔列转移型CCD的数据输出，否则继续执行步骤S1；
步骤S3、监测所述行缓存模块的缓存量是否达到预定阈值以上；
步骤S4、若所述行缓存模块的缓存量达到预定阈值以上，则进一步判断所述隔列转移型CCD是否完成当前行的数据传输，否则，继续执行步骤S3；
步骤S5、若所述隔列转移型CCD完成当前行的数据传输，则控制所述隔列转移型CCD停止数据读出，否则继续执行步骤S4；
步骤S6、判断所述工业相机对外输出的阻塞是否解除；
步骤S7、若阻塞解除，控制所述行缓存模块继续数据的对外输出，否则继续执行步骤S6；
步骤S8、判断所述行缓存模块的缓存量是否低于预定阈值；
步骤S9、若所述行缓存模块的缓存量低于预定阈值，则控制所述隔列转移型CCD继续进行下一行的数据读出。进一步地，所述行缓存模块的缓存量的预定阈值为所述行缓存模块总数据存储量的50％。
进一步地，所述隔列转移型CCD包括像敏区、多个行寄存器和用于对外输出的列寄存器，所述像敏区采集图像的RGB数据并输出给相应行寄存器，所述行寄存器逐行将各行中的数据输出给所述列寄存器。
进一步地，所述行缓存模块的总大小为隔列转移型CCD所采集单行数据量的2倍。
进一步地，所述行缓存模块在FPGA中实现。
另一方面，本发明提供一种执行所述图像缓冲方法的图像数据采集装置，所述图像数据采集装置包括模数转换模块、行缓冲模块、CCD时序发生模块、外部接口模块。该采集装置指的是工业相机中除CCD意外的部分。
技术效果
相比传统的帧缓冲器方式，本发明的图像缓冲方法，由于发现并充分利用了CCD自身的特有性质，通过时序控制完成由于瞬时有效带宽下降造成的数据阻塞问题，节约了电路硬件成本，电路设计的复杂程度，节约产品的电路板空间。
附图说明
图1为：隔列转移型CCD进行数据读取时的读出过程示意图；
图2为：用于执行本发明方法的工业相机的一种实现方式的内部系统结构；
图3为：CCD钳位示意图；
图4为：无帧存USB2.0/USB3.0接口小型工业CCD相机系统结构；
图5为：无帧存GigE接口小型工业CCD相机系统结构。
具体实施方式
以下结合附图及其实施例对本发明进行详细说明，但并不因此将本发明的保护范围限制在实施例描述的范围之中。
图1示出了本发明方法所针对的隔列转移型CCD的读出结构。
如图1所示，其中1、2、3分别代表CCD读出过程的一个步骤。1为像敏区到垂直移位寄存器(或称行寄存器)的转移，2为垂直移位寄存器到水平移位寄存器(或称列寄存器)的转移，3为水平移位寄存器的读出。
用于执行本发明方法的工业相机的系统结构如图2所示，其包括数模转换(AD)模块、行缓冲模块、外部接口模块以及CCD时序发生模块。当然，本领域技术人员可以采用其他的工业相机来实现本发明的方法，只要其能够实现本发明方法中所限定的功能即可。
数模转换(AD)模块用于完成CCD信号的数模转换以及黑电平钳位操作；行缓冲模块的大小为两行像素数据的深度，用来暂存CCD的读出数据；外部接口模块是工业相机的外部输出接口，与图像采集主机或者中间设备互联，传输图像数据。
CCD时序发生模块，用来产生CCD读出时序，完成图1所示三个步骤1、2、3中的图像读出。
阻塞缓冲方法
在图像数据的采集和输出过程中，主要通过外部接口模块进行数据输出。外部接口模块要实时地或者以一定时钟频率地对数据的传输情况进行监测并反馈，将反馈结果输出给行缓冲模块以及/或者CCD时序发生模块。
一旦外部接口模块测得工业相机的对外输出过程发生阻塞，则控制行缓存模块暂停图像数据从行缓存模块从外部接口模块对外输出。但是此时，CCD与行缓存模块之间的数据传输不能停止，若突然停止，会打断CCD的工作过程，如果停止时CCD相机未完成一行数据的读出，将会导致CCD采集数据丢失。这是因为在隔列转移型CCD的相机结构中，AD进行钳位的位置一般是由内部计数器根据行场信号的起始来确定的，在每行读出过程中立即停止读出会导致钳位位置的改变，进而影响图像质量，如图3所示。
所以，在发生外部阻塞时，由行缓存模块继续接收隔列转移型CCD的数据输出，数据开始在行缓冲模块累积，直到完成一行数据的读出。
接下来，判断行缓存模块的缓存量是否达到半满状态。若行缓存模块的缓存量达到半满状态，则判断隔列转移型CCD是否完成当前行的数据传输，否则继续进行数据缓存并持续判断。
若隔列转移型CCD完成当前行的数据传输，则控制隔列转移型CCD停止数据读出。即暂停CCD相机对AD的数据输出。
返回图1，我们可以了解到，此时CCD相机中的数据已经由像敏区转移到垂直移位寄存器中，而垂直移位寄存器中的数据正在逐行向水平移位寄存器转移，并经由水平移位寄存器对外输出。若CCD相机接收到CCD时序发生模块暂停数据读取的信号，此时，CCD相机已经发送完某一行的数据，CCD相机内的其余行寄存器内的像素值各自保留在各自的寄存器内，不对外输出。CCD时序发生模块继续实时检测行缓冲模块的半满状态。
此外，外部数据接口实时判断工业相机对外输出的阻塞是否解除，当系统阻塞恢复时，外部接口模块的阻塞反馈解除，行缓冲模块继续对外发送图像数据。
随之其半满信号解除，CCD时序发生模块开始新一行数据读出。
本发明中，CCD时序发生模块收到半满通知时，并不立即停止读出时序，而是把一行内的所有图像数据从水平移位寄存器读出之后再停止，可以保证每行数据钳位的位置不受影响。为了不立即打断当前的读出，本发明在FPGA中设置了大小为两行的行缓冲区，以分辨率为1920*1080的图像为例，需要4K的行缓冲区，对于FPGA来说非常容易实现。
图4示出了无帧存USB2.0/USB3.0接口小型工业CCD相机的结构。
如图所示，USB2.0/USB3.0小型工业CCD相机由数模转换(AD)模块、行缓冲模块、USB2.0或者USB3.0接口模块以及CCD时序发生模块组成。当系统发生传输阻塞时，USB2.0或者USB3.0接口模块会发出反馈信号给行缓冲模块，数据缓冲模块暂停数据的发送，数据开始在行缓冲模块累积。当行缓冲模块达到半满状态时，向CCD时序发生模块发出通知，当CCD时序发生模块读出当前行数据后，停止读出时序，并实时检测行缓冲模块的半满状态。当系统阻塞恢复时，USB2.0或者USB3.0接口模块的阻塞反馈解除，行缓冲模块继续发送图像数据，随之其半满信号解除，CCD时序发生模块开始新一行数据读出。
图5示出了无帧存GigE接口小型工业CCD相机。
如图所示，GigE小型工业CCD相机由数模转换(AD)模块、行缓冲模块、GigE链路层接口模块以及CCD时序发生模块组成。当系统发生传输阻塞时，GigE链路层接口模块会发出反馈信号给行缓冲模块，数据缓冲模块暂停数据的发送，数据开始在行缓冲模块累积。当行缓冲模块达到半满状态时，向CCD时序发生模块发出通知，当CCD时序发生模块读出当前行数据后，停止读出时序，并实时检测行缓冲模块的半满状态。当系统阻塞恢复时，GigE链路层接口模块的阻塞反馈解除，行缓冲模块继续发送图像数据，随之其半满信号解除，CCD时序发生模块开始新一行数据读出。
目前，工业相机的研发利用还是割裂开来的，CCD的生产厂商专注于CCD的自身阵列构造的研究，而工业相机的应用方或者外围厂商则专注于CCD外部控制电路的研发。这就造成了CCD最直接的应用者对CCD自身的内部特性并不了解。导致本领域技术人员在CCD相机的应用过程中，从来不会考虑到CCD相机自身内部的时序，更不会对其时序进行干扰。
而本发明破天荒的提出了在工业相机的应用过程中，对CCD自身的时序进行参与，却意外收获了巨大的成本效益，具有重大的经济价值和社会价值。
以上所述仅为本发明的较佳实施例，并非对本发明做任何形式上的限制，凡在本发明的精神和原则之内，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明的保护范围之内。
虽然上面结合本发明的优选实施例对本发明的原理进行了详细的描述，本领域技术人员应该理解，上述实施例仅仅是对本发明的示意性实现方式的解释，并非对本发明包含范围的限定。实施例中的细节并不构成对本发明范围的限制，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案的等效变换、简单替换等显而易见的改变，均落在本发明保护范围之内。

Claims (6)

1.一种针对隔列转移型CCD的图像缓冲方法，其特征在于，所述方法用于对具有隔列转移型CCD的工业相机进行输出缓冲，所述工业相机内具有行缓存模块，所述隔列转移型CCD经由所述行缓存模块对外输出，所述方法包括：在所述工业相机对外输出阻塞时，首先对隔列转移型CCD的读出状态进行判断，并基于隔列转移型CCD的读出状态进行(1)继续读取并利用行缓存模块缓存或(2)中断读取的判断。
2.根据权利要求1所述的针对隔列转移型CCD的图像缓冲方法，其特征在于，所述行缓存模块的缓存量的预定阈值为所述行缓存模块总数据存储量的50％。
3.根据权利要求1所述的针对隔列转移型CCD的图像缓冲方法，其特征在于，所述隔列转移型CCD包括像敏区、多个行寄存器和用于对外输出的列寄存器，所述像敏区采集图像的RGB数据并输出给相应行寄存器，所述行寄存器逐行将各行中的数据输出给所述列寄存器。
4.根据权利要求1所述的针对隔列转移型CCD的图像缓冲方法，其特征在于，所述行缓存模块的总大小为隔列转移型CCD所采集单行数据量的2倍以上。
5.根据权利要求1所述的针对隔列转移型CCD的图像缓冲方法，其特征在于，所述行缓存模块在FPGA中实现，优选地，所述行缓存模块在用于对CCD进行读取的FPGA电路板中实现。
6.一种执行权利要求1-5所述图像缓冲方法的图像数据采集装置，所述图像数据采集装置包括模数转换模块、行缓冲模块、CCD时序发生模块、外部接口模块。
CN201810045412.5A 2018-01-17 2018-01-17 一种针对隔列转移型ccd的图像缓冲方法 Active CN108259795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810045412.5A CN108259795B (zh) 2018-01-17 2018-01-17 一种针对隔列转移型ccd的图像缓冲方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810045412.5A CN108259795B (zh) 2018-01-17 2018-01-17 一种针对隔列转移型ccd的图像缓冲方法

Publications (2)

Publication Number Publication Date
CN108259795A true CN108259795A (zh) 2018-07-06
CN108259795B CN108259795B (zh) 2020-08-11

Family

ID=62741240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810045412.5A Active CN108259795B (zh) 2018-01-17 2018-01-17 一种针对隔列转移型ccd的图像缓冲方法

Country Status (1)

Country Link
CN (1) CN108259795B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020039139A1 (en) * 1999-06-30 2002-04-04 Logitech Europe S.A. Video camera with major functions implemented in host software
CN1738356A (zh) * 2005-09-02 2006-02-22 中国科学院上海光学精密机械研究所 提高ccd图象采集系统帧速率的方法
CN1838726A (zh) * 2005-03-25 2006-09-27 索尼公司 图像传感装置的驱动控制方法以及成像装置
CN101715644A (zh) * 2007-06-15 2010-05-26 普廷数码影像控股公司 具有高速数字帧转移及帧处理的成像器
CN101883282A (zh) * 2007-05-17 2010-11-10 索尼株式会社 信息处理设备和方法
CN102316283A (zh) * 2011-09-15 2012-01-11 中国科学院长春光学精密机械与物理研究所 空间行间转移面阵ccd相机漏光现象实时消除装置
CN102413289A (zh) * 2010-09-21 2012-04-11 致茂电子(苏州)有限公司 拖曳亮影现象补正方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020039139A1 (en) * 1999-06-30 2002-04-04 Logitech Europe S.A. Video camera with major functions implemented in host software
CN1838726A (zh) * 2005-03-25 2006-09-27 索尼公司 图像传感装置的驱动控制方法以及成像装置
CN1738356A (zh) * 2005-09-02 2006-02-22 中国科学院上海光学精密机械研究所 提高ccd图象采集系统帧速率的方法
CN101883282A (zh) * 2007-05-17 2010-11-10 索尼株式会社 信息处理设备和方法
CN101715644A (zh) * 2007-06-15 2010-05-26 普廷数码影像控股公司 具有高速数字帧转移及帧处理的成像器
CN102413289A (zh) * 2010-09-21 2012-04-11 致茂电子(苏州)有限公司 拖曳亮影现象补正方法
CN102316283A (zh) * 2011-09-15 2012-01-11 中国科学院长春光学精密机械与物理研究所 空间行间转移面阵ccd相机漏光现象实时消除装置

Also Published As

Publication number Publication date
CN108259795B (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN103377030B (zh) 图像旋转控制方法及装置
EP0401340B1 (en) Method and apparatus for handling high speed data
EP4160680A1 (en) Image sensor with wide dynamic range
CN1520579A (zh) 利用具有时间分配器的图形渲染引擎的装置、方法和系统
CN104268113B (zh) Dpi接口的lcd控制器以及其自适应带宽的方法
TW347524B (en) Method and apparatus for resizing block ordered video image frames with reduced on-chip cache
CN102768819A (zh) Oled实时显示驱动控制系统及其控制方法
CN108228490A (zh) 一种基于pcie卡高速数据传输的驱动方法
CN108234909A (zh) 一种基于隔列转移型ccd的工业相机
CN102082901B (zh) 图像摄像装置
JP6210743B2 (ja) データ処理装置およびデータ転送制御装置
CN108259795A (zh) 一种针对隔列转移型ccd的图像缓冲方法
CN105488753B (zh) 一种对图像进行二维傅立叶变换或反变换的方法及装置
CN105654419A (zh) 一种图像的运算处理系统及运算处理方法
CN102831872A (zh) 基于fpga的lcd信号转vga信号的实现方法
CN110060643A (zh) 数据存储方法及数据存储系统
CN110248102B (zh) 一种工业相机缓冲方法
CN108388529A (zh) 一种外设主动实现与cpu间数据交换的方法
CN102112983A (zh) Simd并行处理器架构
CN106708457B (zh) 用于dmd动态选区的fpga处理模块及其方法
CN109803065A (zh) 一种数据处理方法及系统
CN101296303A (zh) 一种高分辨率图像处理方法及装置
CN201191888Y (zh) 一种图像传输装置
CN209593615U (zh) 一种用于视频去隔行的帧场图像缓存及访问电路
CN113794849A (zh) 用于图像数据同步的装置、方法及图像采集系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant