CN113364933A - 高摄像同步性和精细像移补偿的tdicmos成像系统 - Google Patents
高摄像同步性和精细像移补偿的tdicmos成像系统 Download PDFInfo
- Publication number
- CN113364933A CN113364933A CN202110727832.3A CN202110727832A CN113364933A CN 113364933 A CN113364933 A CN 113364933A CN 202110727832 A CN202110727832 A CN 202110727832A CN 113364933 A CN113364933 A CN 113364933A
- Authority
- CN
- China
- Prior art keywords
- multispectral
- panchromatic
- signal
- row
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
高摄像同步性和精细像移补偿的TDICMOS成像系统,涉及TDICMOS的动态行周期成像系统,解决现有技术存在电荷转移错误,出现异常图像的问题,本发明包括成像控制器和相机成像单元;相机成像单元包括驱动及电平转换电路、探测器、2711模块和成像FPGA;相机成像单元内部的成像FPGA包括行周期处理模块、时序驱动模块和数据训练及整合模块;为节约成本,将成像控制器和成像单元设置为异步系统,成像控制器提供统一的外部硬行周期信号;多光谱行周期采用相邻四行全色行周期累加而非四倍的形式;采取在电荷转移信号的更新位置设置保护区,同时修改电荷转移信号输出判断条件,可以在任意行周期的大小步距跳变下工作。
Description
技术领域
本发明涉及一种高摄像同步性和精细像移补偿的TDICMOS的动态行周期成像系统,具体涉及在异步硬行周期应用环境下高摄像同步性和精细像移补偿的TDICMOS的动态行周期成像系统。
背景技术
测绘相机应用,要求所有探测器的全色谱段摄像同步性偏差不超过1个像素时钟;所有探测器多光谱谱段的摄像同步性偏差不超过1个像素时钟;所有的全色和多光谱之间的摄像同步性在固定时间延迟基础上,偏差不超过1个像素时钟。对于串行图像数据输出的CMOS探测器应用,其工作频率为像素时钟频率的整数倍,对抖动要求高,采用普通电缆传输容易出现训练失败问题;对于5谱段合一的探测器应用,要求多光谱行周期长度为全色长度的四倍关系,在行周期长度变化的过程中,可能出现驱动信号跳变沿突变的情况。传统的信号高低电平描述方法,限定了必须先进行上升沿或者下降沿进行检测,而当输入信号的跳变沿位置发生突变时,则可能在当前行周期内错过跳变沿的检测,导致在该行周期内未出现信号的跳变沿,变为一个恒定的电平,从而导致电荷转移错误,出现异常图像。
发明内容
本发明为解决现有技术存在电荷转移错误,出现异常图像的问题,提供一种高摄像同步性和精细像移补偿的TDICMOS的成像系统。
高摄像同步性和精细像移补偿的TDICMOS的成像系统,包括成像控制器和相机成像单元;所述相机成像单元包括驱动及电平转换电路、探测器、2711模块和成像FPGA;所述相机成像单元内部的成像FPGA包括行周期处理模块、时序驱动模块和数据训练及整合模块;所述成像控制器和相机成像单元之间为异步系统;
所述成像控制器输出主份行周期信号、备份行周期信号和主备标识信号到相机成像单元;所述行周期处理模块根据接收的主备标识信号,选择使用主份行周期信号或备份行周期信号来产生时序驱动模块所需全色行启动脉冲、多光谱行启动脉冲、全色行周期长度数据和多光谱行周期长度数据;
设定所述全色行启动脉冲的周期长度与全色行周期信号长度相同,全色行周期信号长度与根据主备标识信号选择的主份行周期信号长度或备份行周期信号长度相同,所述全色行启动脉冲的宽度等于或大于1个像素时钟周期,所述全色行启动脉冲的上升沿位置时刻滞后所述全色行周期长度数据更新时刻;
所述多光谱行启动脉冲的周期长度与多光谱行周期信号长度相同,多光谱行周期信号长度与根据主备标识信号选择的四个相邻主份行周期信号长度的累加值或四个相邻备份行周期信号长度的累加值相同;
所述多光谱行启动脉冲的宽度等于或大于1个像素时钟周期,其上升沿位置时刻滞后所述多光谱行周期长度数据更新时刻;
所述时序驱动模块输出的转移及控制电平信号,经驱动及电平转换电路,转换为转移及控制驱动信号后送入探测器;
所述探测器输出的串行图像数据,经数据训练及整合模块输出并行图像数据到2711模块,最终经数传接口输出。
本发明的有益效果:
1、本发明中,所述成像控制器和相机成像单元之间为异步系统,成像单元采用本地的晶体产生相关的工作时序和进行探测的训练,抖动小,不会因为传输路径上的时钟抖动过大而导致锁相环失锁或者训练失败;也不需要使用昂贵的传输电缆如微同轴连接器,可以降低系统的设计成本,降低体积和重量。
2、本发明中,成像单元根据成像控制器输出的硬行周期信号上升沿产生全色行启动脉冲,每间隔四次产生一个多光谱行启动脉冲;成像单元通过量测成像控制器输出的硬行周期信号上升沿的间隔时间形成全色的行周期长度,每间隔四行全色行周期长度的累加作为多光谱的行周期长度,这样能保证所有探测器的全色谱段摄像同步性偏差不超过1个像素时钟;所有探测器多光谱谱段的摄像同步性偏差不超过1个像素时钟;所有的全色和多光谱之间的摄像同步性在固定时间延迟基础上,偏差不超过1个像素时钟。
3、本发明中,各驱动控制信号的跳变沿位置根据当前输入的全色p和多光谱行周期B1长度进行计算,全色可用的跳变沿位置区域为(3,p),多光谱可用的跳变沿位置区域为(3,B1-3);根据驱动控制信号的跳变沿位置进行信号电平的描述方法:根据上升和下降沿的相对位置关系的比较结果,选择位置更小的跳变沿位置优先描述;而对信号的描述并非进行沿位置的检测,而是输出高电平或者低电平持续时间范围的描述,这样即使出现驱动控制信号的跳变沿位置出现突变,探测器也能正常工作,而且能实现高动态传递函数成像。
附图说明
图1为本发明所述的高摄像同步性和精细像移补偿的TDICMOS的动态行周期成像系统的原理框图。
具体实施方式
结合图1说明本实施方式,高摄像同步性和精细像移补偿的TDICMOS的成像系统,包括成像控制器和相机成像单元;所述相机成像单元包括驱动及电平转换电路、探测器、2711模块和成像FPGA;所述相机成像单元内部的成像FPGA包括行周期处理模块、时序驱动模块和数据训练及整合模块;所述成像控制器和相机成像单元之间为异步系统;
所述成像控制器输出主份行周期信号、备份行周期信号和主备标识信号到相机成像单元。行周期处理模块根据接收到的主备标识信号,选择使用主份行周期信号或备份行周期信号来产生时序驱动模块所需全色行启动脉冲、多光谱行启动脉冲、全色行周期长度数据和多光谱行周期长度数据。时序驱动模块输出的转移及控制电平信号,经外部的驱动及电平转换电路,转换为转移及控制驱动信号后送给探测器进行正常的工作。输出的探测器的工作时序是在时序驱动模块中产生的,工作时主要依据从行周期模块输入的全色和多光谱行启动脉冲及对应的行周期长度数据。从探测器输出的串行图像数据,经数据训练及整合模块输出顺序并行图像数据到2711模块,最终经数传接口输出。
本实施方式中,多光谱行周期信号长度B1存在两种取值;当全色行周期信号长度为恒定值时,多光谱行周期信号长度为B1=4p;当全色行周期为不同值时,多光谱行周期信号长度B1=p1+p2+p3+p4;
p1、p2、p3、p4分别为相邻四个全色行周期信号长度,p为恒定的全色行周期信号长度。
所述全色行启动脉冲、多光谱行启动脉冲分别对时序驱动模块内的全色时序计数器和多光谱时序计数器进行复位;全色各驱动控制信号的跳变沿更新时刻为全色时序计数器的计数值为0的时刻;多光谱各驱动控制信号的跳变沿更新时刻为多光谱时序计数器的计数值为0的时刻。
本实施方式中,所述驱动及电平转换电路输出的各转移及控制驱动信号的跳变沿位置根据当前输入的全色行周期长度p和多光谱行周期长度B1进行计算,全色转移及控制驱动信号可用的跳变沿位置区域为(3,p),多光谱转移及控制驱动信号可用的跳变沿位置区域为(3,B1-3);当计算获得的全色的跳变沿位置处于0~3时,则将跳变沿位置设置为3;当计算获得的全色的跳变沿位置处于p-3~p-1时,则将跳变沿位置设置为p-3;
当计算获得的多光谱转移及控制驱动信号的跳变沿位置处于0~3时,则将跳变沿位置设置为3;当计算获得的多光谱转移及控制驱动信号的跳变沿位置处于B1-3~B1-1时,则将跳变沿位置设置为B1-3。
本实施方式中,根据驱动及电平转换电路输出的各转移及控制驱动信号的跳变沿位置进行电平信号的描述方法:根据上升和下降沿的相对位置关系的比较结果,选择位置更小的跳变沿位置优先描述;而对信号的描述并非进行沿位置的检测,而是输出高电平或者低电平持续时间范围的描述。
(1)当上升沿位置cntrising小于下降沿位置cntfalling,则进行高电平区域范围的描述,即:当全色的时序计数器的计数值在(cntrising,cntfalling)之间,全色的转移及控制电平信号输出高电平,否则输出低电平;当多光谱的时序计数器的计数值在(cntrising,cntfalling)之间,多光谱的转移及控制电平信号输出高电平,否则输出低电平。
(2)当上升沿位置cntrising大于下降沿位置cntfalling,则进行低电平区域范围的描述,即:当全色的时序计数器的计数值在(cntfalling,cntrising)之间,全色的转移及控制电平信号输出低电平,否则输出高电平;当多光谱的时序计数器的计数值在(cntfalling,cntrising)之间,多光谱的转移及控制电平信号输出低电平,否则输出高电平。
本实施方式中,成像控制器和相机成像单元之间为异步系统,也就是二者各自使用自身的晶体进行工作,而非使用同源时钟;成像单元根据成像控制器输出的硬行周期信号上升沿产生全色行启动脉冲,每间隔四次产生一个多光谱行启动脉冲;成像单元通过量测成像控制器输出的硬行周期信号上升沿的间隔时间形成全色行周期信号长度,每间隔四行全色行周期信号长度的累加作为多光谱的行周期长度。
本实施方式中,探测器采用长光辰芯公司的TDICMOS探测器;2711模块采用TLK2711芯片;驱动及电平转换电路主要基于电平转换芯片ISL7457;成像控制器主要采用上海复旦微电子公司的FPGA和刷新芯片;成像FPGA采用Xilinx公司的XQ5VFX100T。
Claims (6)
1.高摄像同步性和精细像移补偿的TDICMOS成像系统,包括成像控制器和相机成像单元;所述相机成像单元包括驱动及电平转换电路、探测器、2711模块和成像FPGA;所述相机成像单元内部的成像FPGA包括行周期处理模块、时序驱动模块和数据训练及整合模块;其特征是:所述成像控制器和相机成像单元之间为异步系统;
所述成像控制器输出主份行周期信号、备份行周期信号和主备标识信号到相机成像单元;所述行周期处理模块根据接收的主备标识信号,选择使用主份行周期信号或备份行周期信号来产生时序驱动模块所需全色行启动脉冲、多光谱行启动脉冲、全色行周期长度数据和多光谱行周期长度数据;
设定所述全色行启动脉冲的周期长度与全色行周期信号长度相同,全色行周期信号长度与根据主备标识信号选择的主份行周期信号长度或备份行周期信号长度相同,所述全色行启动脉冲的宽度等于或大于1个像素时钟周期,所述全色行启动脉冲的上升沿位置时刻滞后所述全色行周期长度数据更新时刻;
所述多光谱行启动脉冲的周期长度与多光谱行周期信号长度相同,多光谱行周期信号长度与根据主备标识信号选择的四个相邻主份行周期信号长度的累加值或四个相邻备份行周期信号长度的累加值相同;
所述多光谱行启动脉冲的宽度等于或大于1个像素时钟周期,其上升沿位置时刻滞后所述多光谱行周期长度数据更新时刻;
所述时序驱动模块输出的转移及控制电平信号,经驱动及电平转换电路,转换为转移及控制驱动信号后送入探测器;
所述探测器输出的串行图像数据,经数据训练及整合模块输出并行图像数据到2711模块,最终经数传接口输出。
2.根据权利要求1所述的高摄像同步性和精细像移补偿的TDICMOS成像系统,其特征在于:
所述滞后时刻大于或等于1个像素时钟周期,小于20个像素时钟周期。
3.根据权利要求1所述的高摄像同步性和精细像移补偿的TDICMOS成像系统,其特征在于:
多光谱行周期信号长度B1存在两种取值;当全色行周期信号长度为恒定值时,多光谱行周期信号长度为B1=4p;当全色行周期为不同值时,多光谱行周期信号长度B1=p1+p2+p3+p4;
p1、p2、p3、p4分别为相邻四个全色行周期信号长度,p为恒定的全色行周期信号长度。
4.根据权利要求1所述的高摄像同步性和精细像移补偿的TDICMOS成像系统,其特征在于:
所述全色行启动脉冲、多光谱行启动脉冲分别对时序驱动模块内的全色时序计数器和多光谱时序计数器进行复位;全色各驱动控制信号的跳变沿更新时刻为全色时序计数器的计数值为0的时刻;多光谱各驱动控制信号的跳变沿更新时刻为多光谱时序计数器的计数值为0的时刻。
5.根据权利要求1所述的高摄像同步性和精细像移补偿的TDICMOS成像系统,其特征在于:
所述驱动及电平转换电路输出的各转移及控制驱动信号的跳变沿位置根据当前输入的全色行周期长度p和多光谱行周期长度B1进行计算,全色转移及控制驱动信号可用的跳变沿位置区域为(3,p),多光谱转移及控制驱动信号可用的跳变沿位置区域为(3,B1-3);当计算获得的全色的跳变沿位置处于0~3时,则将跳变沿位置设置为3;当计算获得的全色的跳变沿位置处于p-3~p-1时,则将跳变沿位置设置为p-3;
当计算获得的多光谱转移及控制驱动信号的跳变沿位置处于0~3时,则将跳变沿位置设置为3;当计算获得的多光谱转移及控制驱动信号的跳变沿位置处于B1-3~B1-1时,则将跳变沿位置设置为B1-3。
6.根据权利要求1所述的高摄像同步性和精细像移补偿的TDICMOS成像系统,其特征在于:
将所述驱动及电平转换电路输出的各转移及控制驱动信号的跳变沿位置采用电平信号的描述方式,具体为:
当上升沿位置cntrising小于下降沿位置cntfalling,则进行高电平区域范围的描述,即:当全色的时序计数器的计数值在(cntrising,cntfalling)之间,全色的转移及控制电平信号输出高电平,否则输出低电平;当多光谱的时序计数器的计数值在(cntrising,cntfalling)之间,多光谱的转移及控制电平信号输出高电平,否则输出低电平;
当上升沿位置cntrising大于下降沿位置cntfalling,则进行低电平区域范围的描述,即:当全色的时序计数器的计数值在(cntfalling,cntrising)之间,全色的转移及控制电平信号输出低电平,否则输出高电平;当多光谱的时序计数器的计数值在(cntfalling,cntrising)之间,多光谱的转移及控制电平信号输出低电平,否则输出高电平。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110727832.3A CN113364933B (zh) | 2021-06-29 | 2021-06-29 | 高摄像同步性和精细像移补偿的tdicmos成像系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110727832.3A CN113364933B (zh) | 2021-06-29 | 2021-06-29 | 高摄像同步性和精细像移补偿的tdicmos成像系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113364933A true CN113364933A (zh) | 2021-09-07 |
CN113364933B CN113364933B (zh) | 2022-05-10 |
Family
ID=77537074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110727832.3A Active CN113364933B (zh) | 2021-06-29 | 2021-06-29 | 高摄像同步性和精细像移补偿的tdicmos成像系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113364933B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113361134A (zh) * | 2021-06-29 | 2021-09-07 | 中国科学院长春光学精密机械与物理研究所 | 均匀电荷转移动态行周期成像的仿真验证方法 |
CN114095724A (zh) * | 2021-11-30 | 2022-02-25 | 中国科学院长春光学精密机械与物理研究所 | Tdicmos的滚动行周期的实现和检测方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101949715A (zh) * | 2010-08-10 | 2011-01-19 | 武汉武大卓越科技有限责任公司 | 高精度时空数据获取的多传感器集成同步控制方法和系统 |
CN102170345A (zh) * | 2011-04-27 | 2011-08-31 | 浙江大华技术股份有限公司 | 一种高清摄像机自适应数字化外同步的方法 |
US20120300064A1 (en) * | 2011-04-25 | 2012-11-29 | Skybox Imaging, Inc. | Systems and methods for overhead imaging and video |
CN109640008A (zh) * | 2018-12-05 | 2019-04-16 | 中国科学院长春光学精密机械与物理研究所 | 一种多光谱tdi数据处理方法及装置 |
CN110475062A (zh) * | 2019-07-24 | 2019-11-19 | 北京空间机电研究所 | 一种敏捷成像遥感相机深度待机及快速重启方法和系统 |
CN110740228A (zh) * | 2019-11-18 | 2020-01-31 | 中国科学院长春光学精密机械与物理研究所 | 多路cmos的成像同步控制系统 |
CN111491161A (zh) * | 2020-04-27 | 2020-08-04 | 中国科学院长春光学精密机械与物理研究所 | 一种成像系统的调试方法 |
CN112055157A (zh) * | 2020-09-21 | 2020-12-08 | 中国科学院长春光学精密机械与物理研究所 | 多组tdi成像的摄像同步性控制系统 |
US20200400566A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Image synchronization without input clock and data transmission clock in a pulsed laser mapping imaging system |
US20200400823A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Wide dynamic range using a monochrome image sensor for laser mapping imaging |
-
2021
- 2021-06-29 CN CN202110727832.3A patent/CN113364933B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101949715A (zh) * | 2010-08-10 | 2011-01-19 | 武汉武大卓越科技有限责任公司 | 高精度时空数据获取的多传感器集成同步控制方法和系统 |
US20120300064A1 (en) * | 2011-04-25 | 2012-11-29 | Skybox Imaging, Inc. | Systems and methods for overhead imaging and video |
CN102170345A (zh) * | 2011-04-27 | 2011-08-31 | 浙江大华技术股份有限公司 | 一种高清摄像机自适应数字化外同步的方法 |
CN109640008A (zh) * | 2018-12-05 | 2019-04-16 | 中国科学院长春光学精密机械与物理研究所 | 一种多光谱tdi数据处理方法及装置 |
US20200400566A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Image synchronization without input clock and data transmission clock in a pulsed laser mapping imaging system |
US20200400823A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Wide dynamic range using a monochrome image sensor for laser mapping imaging |
CN110475062A (zh) * | 2019-07-24 | 2019-11-19 | 北京空间机电研究所 | 一种敏捷成像遥感相机深度待机及快速重启方法和系统 |
CN110740228A (zh) * | 2019-11-18 | 2020-01-31 | 中国科学院长春光学精密机械与物理研究所 | 多路cmos的成像同步控制系统 |
CN111491161A (zh) * | 2020-04-27 | 2020-08-04 | 中国科学院长春光学精密机械与物理研究所 | 一种成像系统的调试方法 |
CN112055157A (zh) * | 2020-09-21 | 2020-12-08 | 中国科学院长春光学精密机械与物理研究所 | 多组tdi成像的摄像同步性控制系统 |
Non-Patent Citations (1)
Title |
---|
胡君等: "空间光学遥感器的多光谱TDI CCD信号检测与生成", 《光学精密工程》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113361134A (zh) * | 2021-06-29 | 2021-09-07 | 中国科学院长春光学精密机械与物理研究所 | 均匀电荷转移动态行周期成像的仿真验证方法 |
CN113361134B (zh) * | 2021-06-29 | 2022-11-01 | 中国科学院长春光学精密机械与物理研究所 | 均匀电荷转移动态行周期成像的仿真验证方法 |
CN114095724A (zh) * | 2021-11-30 | 2022-02-25 | 中国科学院长春光学精密机械与物理研究所 | Tdicmos的滚动行周期的实现和检测方法 |
CN114095724B (zh) * | 2021-11-30 | 2023-10-17 | 中国科学院长春光学精密机械与物理研究所 | Tdicmos的滚动行周期的实现和检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113364933B (zh) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113364933B (zh) | 高摄像同步性和精细像移补偿的tdicmos成像系统 | |
US7756232B2 (en) | Clock and data recovery circuit | |
US8090064B2 (en) | Single loop frequency and phase detection | |
CN113452939B (zh) | Tdicmos滚动行周期下成像效果评估方法 | |
TW200408195A (en) | Data recovery circuit, phase detection circuit and method for detecting and correcting phase conditions | |
JP2006203448A (ja) | 車載ステレオカメラ装置 | |
US10051158B2 (en) | Control apparatus for image pickup apparatus | |
EP1246368B1 (en) | Semiconductor device | |
CN108881718B (zh) | 多组tdi cmos成像系统的同步控制方法 | |
US8462268B2 (en) | Video processor timing generation | |
US8390614B2 (en) | Timing controller and clock signal detection circuit thereof | |
JP6049554B2 (ja) | 画像処理装置 | |
TW201830190A (zh) | 無參考時脈互補式金氧半影像感測器 | |
US8345160B2 (en) | Synchronous signal conversion circuit, signal processing system including it, and synchronous signal conversion method | |
US9252940B2 (en) | Phase tracking for a sampling clock | |
US10057524B2 (en) | Image capturing apparatus | |
CN113361134B (zh) | 均匀电荷转移动态行周期成像的仿真验证方法 | |
US11184530B2 (en) | Drive substrate for camera and broadcast camera | |
TWI400596B (zh) | 同步接收電路及方法 | |
US20060008011A1 (en) | Method for synchronizing video signals | |
JP6563250B2 (ja) | 半導体装置、表示システム及び信号監視方法 | |
JP2015015540A5 (zh) | ||
US20090167452A1 (en) | Transmission characteristic adjustment device, circuit substrate, and transmission characteristic adjustment method | |
JP2002112067A (ja) | 同期信号発生回路 | |
JP6836722B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |