CN110740228B - 多路cmos的成像同步控制系统 - Google Patents

多路cmos的成像同步控制系统 Download PDF

Info

Publication number
CN110740228B
CN110740228B CN201911126344.6A CN201911126344A CN110740228B CN 110740228 B CN110740228 B CN 110740228B CN 201911126344 A CN201911126344 A CN 201911126344A CN 110740228 B CN110740228 B CN 110740228B
Authority
CN
China
Prior art keywords
data
imaging
level
module
auxiliary data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911126344.6A
Other languages
English (en)
Other versions
CN110740228A (zh
Inventor
余达
刘金国
徐东
陈佳豫
赵莹
刘鑫
王冶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201911126344.6A priority Critical patent/CN110740228B/zh
Publication of CN110740228A publication Critical patent/CN110740228A/zh
Application granted granted Critical
Publication of CN110740228B publication Critical patent/CN110740228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

多路CMOS的成像同步控制系统，涉及多路CMOS的成像同步控制系统，解决现有CMOS驱动时序控制时钟的频率和串行422的波特率8倍非整数倍关系，导致不能使用相关的时钟来进行控制；对于多组成像控制器的应用，存在各成像控制器之间的摄像同步困难等问题。每组成像组输出独立的行周期信号进行摄像的同步控制；422串行通信控制模块接收相机控制器发送的422命令；时序驱动控制模块产生满足电压和电流要求的时序和驱动信号；成像焦平面模块用于进行光电转换，同时产生探测器所需的电压和偏置信号；数据整及发送模块将多通道的串行数据调理后，输出满足数传接口协议的数据；数传接口模块输出数传接口协议规定的信号；本发明可最大限度地保证各组的摄像同步性。

Description

多路CMOS的成像同步控制系统
技术领域
本发明涉及多路CMOS的成像同步控制系统，具体涉及针对使用菊花链结构串行总线控制的多路CMOS的成像同步控制方法。
背景技术
串行传输的波特率和2倍像素时钟频率并非整数倍关系；对于时序驱动模块，由于多数FPGA内部的ISERDES模块即使级联，也不能实现1:12的转换，因此在1:6转换的基础上，还需要额外进行一次1:2的转换，因此时序驱动模块的时钟频率为像素时钟频率的2倍。而对于串行通信，当传输的波特率较高，多点连接时，为保证可靠传输，控制时钟频率通常为波特率8倍的整数倍；这就可能出现时序驱动模块的时钟频率和串行通信的控制时钟频率不一致。
对于多组成像控制器的应用，各组成像控制器之间的摄像同步性主要靠检测各组输入的行周期信号的上升沿来实现；各组的最大偏差为像素时钟周期，为了不进一步增大各组的摄像同步性，每行的摄像启动信号采用时序驱动模块对行周期的上升沿进行检测，而外部输入行周期信号的有效性及行周期长度的具体值，采用串行通信模块来实现。
综上，CMOS成像控制过程中，存在两点问题，(1)CMOS驱动时序控制时钟的频率和串行422的波特率8倍非整数倍关系，不能使用相关的时钟来进行控制；(2)对于多组成像控制器的应用，由于外部的控制器相对各组成像控制器为异步系统，各成像控制器之间的摄像同步难以保证。
发明内容
本发明为解决现有CMOS驱动时序控制时钟的频率和串行422的波特率8倍非整数倍关系，导致不能使用相关的时钟来进行控制；对于多组成像控制器的应用，存在各成像控制器之间的摄像同步困难等问题。提供一种多路CMOS的成像同步控制系统。
多路CMOS的成像同步控制系统，包括相机控制器和n组成像组；
所述相机控制器通过菊花链结构的RS422总线对各成像组进行控制；对于每个成像组，输出独立的行周期信号进行摄像的同步控制；每组成像组均包括数传接口模块，成像焦平面模块，数据整合及发送模块，时序驱动模块和422串行通信控制模块；所述422串行通信控制模块接收相机控制器发送的命令，并返回相应的信息；所述时序驱动控制模块产生满足电压和电流要求的时序和驱动信号；成像焦平面模块用于进行光电转换，同时产生探测器所需的电压和偏置信号；所述数据整及发送模块将多通道的串行数据调理后，输出满足数传接口协议的数据；数传接口模块输出数传接口协议规定的信号；
所述数据整合及发送模块中的辅助数据的处理方式为：辅助数据按照单谱段q行循环1次的方式进行发送，所述发送的辅助数据采用最新的辅助数据；
q行辅助数据的首行为重复a次的包头EB9001或包头EB9002，上电默认为包头EB9001，当成像参数发生改变时，进行包头EB9001和包头EB9002的切换；
采用乒乓结构的存储区A和存储区B进行数据缓存，存储区A存储包头EB9001，存储区B存储包头EB9002；默认存储区A读存储区B写，出现新的辅助数据或者参数后切换为存储区A写存储区B读。
本发明的有益效果：本发明所述的多路CMOS成像同步控制系统，满足多种波特率的应用需求；本发明可最大限度地保证各组的摄像同步性；本发明通过标识，可快速发现成像工作参数或成像工作状态的变化。
附图说明
图1为本发明所述的多路CMOS的成像同步控制系统的结构框图；
图2为本发明所述的多路CMOS的成像同步控制系统中辅助数据的三级缓存方法流程图；
图3为本发明所述的多路CMOS的成像同步控制系统中外部输入的行周期相位图。
具体实施方式
具体实施方式一、结合图1至图3说明本实施方式，多路CMOS的成像同步控制系统，包括相机控制器和n组成像组；所述相机控制器通过菊花链结构的RS422总线对各成像组进行控制；对于每个成像组，输出独立的行周期信号进行摄像的同步控制；
每组成像组内包含数传接口模块，成像焦平面模块，数据整合及发送模块，时序驱动模块和422串行通信控制模块；所述422串行通信控制模块接收相机控制器发送的422命令，并返回相应的信息；所述时序驱动控制模块产生满足电压和电流要求的时序和驱动信号；成像焦平面模块用于进行光电转换，同时产生探测器所需的电压和偏置信号；
所述数据整及发送模块将多通道的串行数据调理后，输出满足数传接口协议的数据；数传接口模块输出数传接口协议规定的信号；
本实施方式中，时序驱动模块的时钟频率fcontrol和串行通信的控制时钟频率f422不一致；422串行通信控制模块的频率也设置为像素时钟频率的整数倍。fcontrol＝2fpixel，f422＝pfpixel；式中p为大于0的正整数，fpixel为像素时钟频率。
本实施方式中，数据整合及发送模块中的辅助数据的处理方式为：
(1)辅助数据按照单谱段q行(q＝16)1次循环的方式进行发送，也就是把各参数、数据分散到16行的24byte辅助数据中。具体为：对于全色2711通道，输出32个谱段行实现1次循环；对于多光谱2711通道，输出128个谱段行实现1次循环。
(2)16行辅助数据的首行为重复a(a＝8)次的EB9001或EB9002，上电默认为EB9001，只有当参数发生改变的时候才会进行EB9001和EB9002的切换。
(3)发送的辅助数据都是最新的，不能存在有接收到的完整的新辅助数据还在使用旧数据的情况；
(4)为了保证16行中的辅助数据不会出现参数更新不完整或者输出不完整的16行：
首先，使用乒乓结构的A和B两个存储区来进行数据缓存，存储区A存储包头EB9001，存储区B存储包头EB9002。也就是默认A读B写，有新的辅助数据或者参数后切换为A写B读；
所述A和B两个存储区切换的条件是：当前读存储区中第16行的数据(对于全色2711通道，已经输出了完整的32个谱段行；对于多光谱2711通道，已经输出了完整的128个行)已经读出完毕，且接收到新的成像参数、新的辅助数据或者当前工作的行周期发生了变化；为了保证摄像开始的首行就使用最新的辅助数据，在接收到摄像开始命令后，先启动1次数据更新，然后再产生摄像开始的相关工作时序；在摄像开始后，每谱在第16行的末尾方可进行更新。
当接收到新的成像参数、新的辅助数据或者当前工作的行周期发生了变化，将标志置位高电平，而在切换后将标志置低；
所述A和B存储区的地址分配：地址0～23初始化为8个重复的EB9001或EB9002(对应首行的前24个byte)；地址24～271为248byte的姿控星敏数据；地址272～319为48byte的姿控陀螺数据；地址320～349为30byte的GPS数据；地址350～356为7byte的相机本体数据。24×16＝384；
本实施方式中，由于星敏、陀螺、GPS和相机的本体数据对于两片探测器10个谱段都是相同的，因此仅设置乒乓两个缓冲区；对于不同谱段的成像参数，使用寄存器方式根据对应的谱段直接进行对应位置赋值。
结合图2说明本实施方式，为了确保发送的辅助数据是最新的，采用三级数据缓存；由于全色和多光谱属于两个独立的2711通道，而且操作的时钟频率不同，可能存在同时读取操作的冲突；全色和多光谱2711通道的辅助数据的更新周期也不同，因此从最后一级缓存中读出的数据同时写入全色和多光谱的FIFO中的方案也不可行；因此采用四级数据缓存。对于422接收辅助数据缓存，根据数据帧的标识判断接收数据的累加和与原始数据累加和(伴随接收数据发送的，在接收数据末端)是否相等，若不相等，认为数据错误，丢弃；若数据没错，根据帧标识将对应的新数据标识信号置为高电平，启动以频率ffu写入辅助数据0级缓存RAM的地址区域中。对于辅助数据0级缓存，接收到新的辅助数据后，将0级缓存的内容整体快速以频率ffu写入到1级缓存中。接收到新的辅助数据后，将1级缓存的内容整体快速以频率ffu同时写入四个2级缓存中；每次接收到新的辅助数据、成像参数或者检测到行周期改变，而且读出行数为16行的末端时，则进行读出乒乓的切换，即：进行辅助数据EB9001和EB9002的切换，也就是从2级到3级读出操作的切换；若行数不到16行，则不能切换；接收到摄像开始指令，先启动一次从2级到3级的转移操作，然后再产生摄像开始的相关时序，保证输出的首行已经开始使用最新的数据。对于全色和多光谱，分别以422串行通信控制模块输出的读出行启动信号data_SYN_OUT信号作为读操的启动信号，分别以频率fqs和fmul读出。
本实施方式中，对于积分级数、增益、偏置这些成像参数和行周期改变对应的行号与行周期长度值等，不同的谱段不同，采用根据输出的行号(对应谱段号)直接使用寄存器赋值；为了保证摄像开始的首行就使用最新的数据，在接收到摄像开始命令后，先启动1次数据更新，然后再产生摄像开始的相关工作时序；在摄像开始后，每谱在第16行的末尾方可进行更新。
本实施方式中所述的同步控制系统，在轨行周期实时改变的数据接收方法为：在时序驱动模块中，以多光谱输出数据的同步信号SYNC_B和全色输出数据的同步信号SYNC_P的脉冲作为参考时钟，进行固定位置的延时。每次开始摄像的前两行信号设置为无效信号。也就是输出的行有效信号LVALB和LVALp分别为SYNC_B和SYNC_P的脉冲的固定延时，而且在摄像开始的前两行LVALB和LVALp为低电平，在后续行才开始为高低的脉冲信号。
本实施方式所述的相机控制器输出的各组的行周期信号上升沿位置的最大偏差Δt和像素时钟频率fpixel的关系是，式中tset为建立时间，thold为保持时间。
Figure BDA0002276944580000051
本实施方式中，成像焦平面模块为长光辰芯公司的CMOS图像传感器；数传接口模块采用TI公司的TLK2711；422串行通信控制模块、时序驱动控制模块和数据整合及发送模块采用Xilinx公司的Virtex 5FPGA。

Claims (7)

1.多路CMOS的成像同步控制系统，包括相机控制器和n组成像组；
所述相机控制器通过菊花链结构的RS422总线对各成像组进行控制；对于每个成像组，输出独立的行周期信号进行摄像的同步控制；其特征是：
每组成像组均包括数传接口模块，成像焦平面模块，数据整合及发送模块，时序驱动控制模块和422串行通信控制模块；所述422串行通信控制模块接收相机控制器发送的命令，并返回相应的信息；所述时序驱动控制模块产生满足电压和电流要求的时序和驱动信号；成像焦平面模块用于进行光电转换，同时产生探测器所需的电压和偏置信号；所述数据整合及发送模块将多通道的串行数据调理后，输出满足数传接口协议的数据；数传接口模块输出数传接口协议规定的信号；
所述数据整合及发送模块中的辅助数据的处理方式为：
辅助数据按照单谱段q行循环1次的方式进行发送，所述发送的辅助数据采用最新的辅助数据；
q行辅助数据的首行为重复a次的包头EB9001或包头EB9002，上电默认为包头EB9001，当成像参数发生改变时，进行包头EB9001和包头EB9002的切换；
采用乒乓结构的存储区A和存储区B进行数据缓存，存储区A存储包头EB9001，存储区B存储包头EB9002；默认存储区A读存储区B写，出现新的辅助数据或者参数后切换为存储区A写存储区B读。
2.根据权利要求1所述的多路CMOS的成像同步控制系统，其特征在于：所述最新的辅助数据采用四级缓存的方法，具体过程为：
所述数据整合及发送模块根据数据帧的标识判断接收数据的累加和与原始数据累加和是否相等，若不相等，则判定数据错误，丢弃；若相等，则根据帧标识将对应的新数据标识信号置为高电平；
写入辅助数据0级缓存RAM的地址区域中；所述辅助数据0级缓存接收到新的辅助数据后，将所述0级缓存的接收的新的辅助数据写入到一级缓存中；所述一级缓存接收的新的辅助数据后，将一级缓存接收的新的辅助数据同时写入四个二级缓存中；
每次接收到新的辅助数据、成像参数或者检测到行周期改变，而且读出行数为q行的末端时，则进行2级到3级读出操作的切换；
当接收到相机控制器发送的摄像开始指令时，首先启动一次从2级缓存到3级缓存的读操作，然后再产生摄像开始的相关时序，使输出的首行采用最新的数据；
对于全色谱段和多光谱谱段，分别以422串行通信控制模块输出的读出行启动信号data_SYN_OUT作为读操的启动信号，分别以频率fqs和频率fmul读出。
3.根据权利要求1所述的多路CMOS的成像同步控制系统，其特征在于：
所述存储区A和存储区B切换的条件为：当前读存储区中第q行的数据已经读出完毕，且接收到新的成像参数、新的辅助数据或者当前工作的行周期发生了变化；则进行存储区A和存储区B切换；并将标志位置为高电平，在切换后将标志位置为低电平。
4.根据权利要求1所述的多路CMOS的成像同步控制系统，其特征在于：存储区A和存储区B的地址分配：地址0～(3a-1)初始化为a个重复的EB9001或EB9002，对应首行的前3a个byte；地址3a～(3a+b-1)为b byte的姿控星敏数据；地址(3a+b)～(3a+b+c-1)为c byte的姿控陀螺数据；地址(3a+b+c)～(3a+b+c+d-1)为d byte的GPS数据；地址(3a+b+c+d)～(3a+b+c+d+e-1)为e byte的相机本体数据，a、b、c、d、e和q为大于1的正整数。
5.根据权利要求1所述的多路CMOS的成像同步控制系统，其特征在于：所述时序驱动控制模块的时钟频率fcontrol和串行通信的控制时钟频率f422不一致；422串行通信控制模块的频率也设置为像素时钟频率的整数倍；
fcontrol＝2fpixel，f422＝pfpixel；
式中，p为大于0的正整数，fpixel为像素时钟频率。
6.根据权利要求1所述的多路CMOS的成像同步控制系统，其特征在于：在时序驱动控制模块中，将多光谱输出数据的同步信号SYNC_B和全色输出数据的同步信号SYNC_P作为参考时钟，进行固定位置的延时；每次开始摄像的前两行信号设置为无效信号，即：输出的行有效信号LVALB和LVALp分别为SYNC_B和SYNC_P的脉冲的固定延时，且在摄像开始的前两行有效信号LVALB和有效信号LVALp为低电平，在后续行开始输出高低电平变化的脉冲信号。
7.根据权利要求1所述的多路CMOS的成像同步控制系统，其特征在于：所述相机控制器输出的各组的行周期信号上升沿位置的最大偏差Δt和像素时钟频率fpixel的关系用下式表示为：
Figure FDA0003019298700000031
式中，tset为建立时间，thold为保持时间。
CN201911126344.6A 2019-11-18 2019-11-18 多路cmos的成像同步控制系统 Active CN110740228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911126344.6A CN110740228B (zh) 2019-11-18 2019-11-18 多路cmos的成像同步控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911126344.6A CN110740228B (zh) 2019-11-18 2019-11-18 多路cmos的成像同步控制系统

Publications (2)

Publication Number Publication Date
CN110740228A CN110740228A (zh) 2020-01-31
CN110740228B true CN110740228B (zh) 2021-06-11

Family

ID=69273049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911126344.6A Active CN110740228B (zh) 2019-11-18 2019-11-18 多路cmos的成像同步控制系统

Country Status (1)

Country Link
CN (1) CN110740228B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535615B (zh) * 2020-04-14 2024-08-13 京东方科技集团股份有限公司 同步信号的复位方法、装置、设备及计算机可读存储介质
CN111491161B (zh) * 2020-04-27 2021-03-16 中国科学院长春光学精密机械与物理研究所 一种成像系统的调试方法
CN112055157B (zh) * 2020-09-21 2021-06-29 中国科学院长春光学精密机械与物理研究所 多组tdi成像的摄像同步性控制系统
CN112104811B (zh) * 2020-09-21 2021-06-29 中国科学院长春光学精密机械与物理研究所 低潜通的多组成像的控制系统
CN113364933B (zh) * 2021-06-29 2022-05-10 中国科学院长春光学精密机械与物理研究所 高摄像同步性和精细像移补偿的tdicmos成像系统
CN113535619A (zh) * 2021-06-30 2021-10-22 北京航天时代光电科技有限公司 一种基于Virtex-5系列FPGA和TLK2711的星用高速串行接口
CN115033519B (zh) * 2022-06-30 2023-07-25 中国科学院长春光学精密机械与物理研究所 长时间工作的探测器spi寄存器的预防打翻方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101459490A (zh) * 2007-12-13 2009-06-17 中兴通讯股份有限公司 一种数据传输方法及装置
CN104680138A (zh) * 2015-02-09 2015-06-03 北京空间飞行器总体设计部 基于特性参数相关性的卫星图像自动判读系统和方法
CN105760337A (zh) * 2014-12-17 2016-07-13 联芯科技有限公司 数据传输方法及其系统、终端
CN106231162A (zh) * 2016-07-27 2016-12-14 中国科学院长春光学精密机械与物理研究所 可重构大视场无缝拼接成像系统
CN109905701A (zh) * 2019-03-26 2019-06-18 中国科学院长春光学精密机械与物理研究所 时间同步精度的检测系统
CN209046794U (zh) * 2018-12-29 2019-06-28 厦门福信光电集成有限公司 一种实时图像采集系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101237318B (zh) * 2007-01-29 2011-12-28 中兴通讯股份有限公司 一种多通道数据传输的同步装置
US8009212B2 (en) * 2008-09-25 2011-08-30 United Microelectronics Corp. Image processing system with a 4-T pixel and method thereof capable of reducing fixed pattern noise
US10095408B2 (en) * 2017-03-10 2018-10-09 Microsoft Technology Licensing, Llc Reducing negative effects of insufficient data throughput for real-time processing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101459490A (zh) * 2007-12-13 2009-06-17 中兴通讯股份有限公司 一种数据传输方法及装置
CN105760337A (zh) * 2014-12-17 2016-07-13 联芯科技有限公司 数据传输方法及其系统、终端
CN104680138A (zh) * 2015-02-09 2015-06-03 北京空间飞行器总体设计部 基于特性参数相关性的卫星图像自动判读系统和方法
CN106231162A (zh) * 2016-07-27 2016-12-14 中国科学院长春光学精密机械与物理研究所 可重构大视场无缝拼接成像系统
CN209046794U (zh) * 2018-12-29 2019-06-28 厦门福信光电集成有限公司 一种实时图像采集系统
CN109905701A (zh) * 2019-03-26 2019-06-18 中国科学院长春光学精密机械与物理研究所 时间同步精度的检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Design of Serial Image Acquisition System Based on Camera Link;Zhiyue XU et al;《2012 7th IEEE Conference on Industrial Electronics and Applications》;20121126;全文 *
多路高速短消隐期线阵CCD图像数据存储设计;余达等;《液晶与显示》;20130228;全文 *

Also Published As

Publication number Publication date
CN110740228A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN110740228B (zh) 多路cmos的成像同步控制系统
US9681045B2 (en) Systems and methods for generating a panoramic image
US7084914B2 (en) Variable pixel clock electronic shutter control
CN110418060A (zh) 一种高速相机的图像校正方法及系统
CN112055157B (zh) 多组tdi成像的摄像同步性控制系统
JP2012043152A (ja) 情報処理装置、情報処理方法、およびプログラム
CN102638649A (zh) 一种usb3.0高速高清工业摄像机
CN108737809B (zh) 一种远程同步图像采集方法
TW200808049A (en) Delay circuit for reading out S/H arrays
US20230269112A1 (en) Direct Encapsulation of Sensor Data Over Ethernet
CN113193931B (zh) 一种arinc818节点时间确定性传输装置及方法
CN102497514B (zh) 一种三通道视频转发设备和转发方法
CN113794849B (zh) 用于图像数据同步的装置、方法及图像采集系统
KR101230397B1 (ko) 영상 데이터 고속 송/수신 방법 및 장치
CN102237943B (zh) 一种光传输帧开销的处理方法及装置
JP5423071B2 (ja) データ転送装置及び撮像装置
CN114390210B (zh) 一种图像处理方法、系统、电子设备及存储介质
US6798922B1 (en) Image transmission method and image transmission device for realizing the same
US20010024238A1 (en) Frame shuttering scheme for increased frame rate
EP0705030A2 (en) An image system having a serial I/O link between image channels
JP6482320B2 (ja) データ処理装置、並びに、制御装置およびその方法
JP2006033300A (ja) データ転送方式
US11995012B2 (en) High speed interface for multi image sensor device
CN116471473A (zh) 多探测器图像数据传输方法
JP2009193337A (ja) ページメモリコントローラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant