CN104135625B - 一种交会测量相机曝光时间的调整方法 - Google Patents

一种交会测量相机曝光时间的调整方法 Download PDF

Info

Publication number
CN104135625B
CN104135625B CN201410354430.3A CN201410354430A CN104135625B CN 104135625 B CN104135625 B CN 104135625B CN 201410354430 A CN201410354430 A CN 201410354430A CN 104135625 B CN104135625 B CN 104135625B
Authority
CN
China
Prior art keywords
time
measurement camera
exposure
intersection measurement
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410354430.3A
Other languages
English (en)
Other versions
CN104135625A (zh
Inventor
赵春晖
郭绍刚
刘鲁
刘启海
华宝成
龚德铸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Control Engineering
Original Assignee
Beijing Institute of Control Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Control Engineering filed Critical Beijing Institute of Control Engineering
Priority to CN201410354430.3A priority Critical patent/CN104135625B/zh
Publication of CN104135625A publication Critical patent/CN104135625A/zh
Application granted granted Critical
Publication of CN104135625B publication Critical patent/CN104135625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种交会测量相机曝光时间的调整方法,主要应用于空间交会测量相机的曝光时间调整技术领域。本发明的方法确定滞环转捩距离后,引入滞环防抖技术,根据先验测量距离变化关系,构成防抖闭环系统,即根据先验测量距离的变化特征判断目标是接近还是撤离状态,将当前帧距离减去前一帧距离获得帧间移动量,如果连续5帧帧间移动量之和大于零即表示目标为撤离状态否则即为接近状态,设定对应的滞环防抖波动余量,当连续5帧帧间移动量之和大于防抖波动余量时将进行对应积分时间调整,以此状态实现积分时间稳定过渡避免积分时间抖动。

Description

一种交会测量相机曝光时间的调整方法
技术领域
本发明涉及一种交会测量相机曝光时间的调整方法,主要应用于空间交会测量相机的曝光时间调整技术领域。
背景技术
随着航天任务数量和种类的日益增多,尤其是在轨抓捕、释放以及修复技术等空间操作任务的迫切需求,使得航天器交会对接技术取得快速进步。交会测量相机是追踪飞行器与目标飞行器交会对接的近距离光学测量设备。
交会测量相机安装在追踪飞行器上,由角反射器组成的目标标志器安装在目标飞行器上。其功能是在追踪飞行器与目标飞行器交会对接时规定测量范围内,通过交会测量相机对目标标志器成像,运用图像处理算法可以得到相机坐标系相对于目标标志器坐标系的相对位置和相对姿态角。
交会测量相机研制难点之一是要求在1m到20m距离范围内具有较高的位置和姿态测量精度,同时要求具有较高的数据更新率和较短的数据延迟时间,需要通过照明光源对目标标志器照明获得稳定而快速的图像数据。
因此如何获得稳定而快速的图像数据以实现高精度、高数据更新率的测量目标,是交会测量相机研制过程中的技术难题。通常方法主要通过对全视场多目标点成像,利用图像处理算法计算各个目标灰度水平,根据测量算法需求的灰度水平调整对应的积分时间,但是这种方法只能保证目标回光辐射亮度均匀稳定的主动发光目标获得较好的图像,而对于辐射亮度随测量距离不断变化的被动发光目标并不能保证获得稳定的目标图像,本发明的方法提出解决了对于 辐射亮度随测量距离不断变化的被动发光目标无法获得稳定测量图像的技术难题。
文献如下:
[1]王锐,邵晓鹏,徐军等,基于定标积分时间法提高红外成像系统动态范围的研究,红外技术,2009年第31卷第7期
[2]王茹,王翠亚,李金霞,基于CPLD的TCD1501D型线阵CCD自适应驱动电路设计,光学学报,2008年1期
[3]Elizabeth Tanner,Stephen Granade,and Charles A,Whitehead,Autonomous rendezvous and docking sensor suite,Proceedings of SPIE Vol.5086(2003)
文献情况:
文献[1]通过把探测到的目标或场景的信息作为反馈量自适应地调节曝光时间,实现对系统动态范围的自动调整,从而获得一个较宽的动态范围;
文献[2]将传统的阈值分割和曝光时间自适应技术结合,根据CCD应用现场图像二值图评估光照强度浮动,调整积分时间;
文献[3]通过分析图像灰度水平,调整光源发光强度和积分时间,获得稳定的测量图像。
文献[1-3]中曝光时间调整方法需要经过多次积分时间调节才能达到比较合适的状态,而且对于不断变化的目标,调节积分时间的次数不能确定,最终导致图像输出的帧频也比较低。
交会测量相机为点光源成像,从最远距离25m至最近距离1m由于测量距离跨度较大而导致目标图像无法稳定在一定的灰度水平范围。目标亮度过强会导致目标图像溢出甚至产生拖尾;目标亮度过弱会导致目标无法识别,从而影响后续目标标志器特征识别算法的正常工作。
发明内容
本发明的目的是为了克服上述现有技术的不足,提出一种交会测量相机曝光时间的调整方法。
本发明的目的是通过以下技术方案实现的。
本发明的一种交会测量相机曝光时间的调整方法,该方法的步骤为:
1)根据交会测量相机上的曝光时间等级N和测量距离范围Lmin-Lmax,计算滞环转捩距离Lm=(Lmax/Lmin)m/N×Lmin;m=1,2,3…N-1;
2)根据交会测量相机的最大运动速度Vmax和数据更新率Κ(赫兹),计算滞环防抖波动余量ΔL,ΔL=a×Vmax/K;a为整数,4≤a≤12;
3)一档曝光时间与二档曝光时间切换策略如下:
ⅰ当交会测量相机的运动距离L满足Lmin<L<L1,不进行曝光时间切换,维持1档曝光时间;
ⅱ当交会测量相机的运动距离L满足L1L<L<L2,不进行曝光时间切换,维持2档曝光时间;
ⅲ当交会测量相机的运动距离L满足L1≤L≤L1L,交会测量相机开始记录以后a帧数据并定义为z1,z2,z3,…,za,当z2+z3+…+za-(a-1)×z1>0时,确定当前工作状态为后退,在确定工作状态后,判断当前交会测量相机的运动距离za>L1L,曝光时间等级由1档更改为2档;
ⅳ当交会测量相机的运动距离L满足L1≤L≤L1+ΔL时,交会测量相机开始记录以后a帧数据并定义为z1,z2,z3,…,za,当z2+z3+…+za-(a-1)×z1<0时确定当前工作状态为前进,在确定工作状态后,判断当前交会测量相机的运动距离za<L1时,曝光时间等级由2档更改为1档;
ⅴ当交会测量相机的运动距离L满足L1≤L≤L1+ΔL时,交会测量相机开始记录以后a帧数据并定义为z1,z2,z3,…,za,当z2+z3+…+za-(a-1)×z1>0时,确定当前工作状态为后退,在确定工作状态后,判断当前交会测量相机的运动距离za≤L1L,不进行曝光时间调整;
ⅵ当交会测量相机的运动距离L满足L1≤L≤L1+ΔL时,交会测量相机开始记录以后a帧数据并定义为z1,z2,z3,…,za,当z2+z3+…+za-(a-1)×z1<0时确定当前工作状态为前进,在确定工作状态后,判断当前交会测量相机的运动距离za≥L1,不进行曝光时间调整;
4)m档曝光时间与m+1档曝光时间切换策略同步骤3)中一档曝光时间与二档曝光时间切换策略。
有益效果
本发明设计了以曝光时间等级变换和滞环防抖工作机理为基础,通过考虑目标图像在不同测量距离的能量差异即能量变化和距离平方成反比,从而有效地将密特触发器原理和分段积分时间策略结合起来,有效地解决了目标图像能量随测量距离变化而影响交会测量子系统正常测量的问题,增强交会测量子系统在大范围复杂环境下的工作能力。文献[1-3]中曝光时间调整方法需要经过多次积分时间调节才能达到比较合适的状态,而且对于不断变化的目标,调节积分时间的次数不能确定,最终导致图像输出的帧频也比较低。因为本发明提出的曝光时间调整方法较文献[1-3]中的曝光时间处理算法在复杂空间环境下的适应能力上有明显提高,并极大地降低了曝光时间调整周期和硬件系统复杂度。
本发明设计了基于滞环防抖原理的相机曝光时间调整方法,同时能够降低复杂空间操作过程对积分时间的影响,增强交会测量相机在复杂操作工况下的工作能力。
本发明的方法可以有效降低发光系统的硬件设计和积分时间调整复杂度,使用于场景复杂的空间应用,考虑了目标图像在不同测量距离之间的物理特征差异,通过积分时间调整将目标图像灰度水平稳定在相机测量系统能够稳定工作的范围之内,有效地解决了目标能量过强或过弱的问题,从而为准确的光点提取奠定基础。
本发明的方法为高鲁棒性、高刷新率交会测量相机的研制具有重要工程使用价值。
本发明的方法充分考虑了目标图像在不同测量距离之间的物理特征差异,通过积分时间调整将目标图像灰度水平稳定在相机测量系统能够稳定工作的范围之内,有效地解决了目标能量过强或过弱的问题,从而为准确的光点提取奠定基础。
本发明的方法确定滞环转捩距离后,引入滞环防抖技术,根据先验测量距离变化关系,构成防抖闭环系统,即根据先验测量距离的变化特征判断目标是接近还是撤离状态,将当前帧距离减去前一帧距离获得帧间移动量,如果连续5帧帧间移动量之和大于零即表示目标为撤离状态否则即为接近状态,设定对应的滞环防抖波动余量,当连续5帧帧间移动量之和大于防抖波动余量时将进行对应积分时间调整,以此状态实现积分时间稳定过渡避免积分时间抖动。
完成积分转捩距离等比数列和滞环防抖技术应用策略结合,在连续跟踪过程中,完成积分时间动态调整,实现全测量距离内积分时间稳定调整。
附图说明
图1为实施例中曝光时间切换图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
实施例
如图1所示,
1)根据交会测量相机上的曝光时间等级N=3和测量距离范围Lmin=1m,Lmax=20m,计算滞环转捩距离L1=2.71m、L2=7.37m。
2)根据交会测量相机的最大运动速度Vmax=0.3m/s和数据更新率Κ(赫兹)=5Hz,计算滞环防抖波动余量ΔL,ΔL=a×Vmax/K=0.36(m);其中a取值为6;
3)一档曝光时间与二档曝光时间切换策略如下:
ⅰ当交会测量相机的运动距离L满足1m<L<2.71m时,不进行曝光时间切换,维持1档曝光时间;例如L=1.5m,不进行曝光时间切换,维持1档曝光时间;
ⅱ当交会测量相机的运动距离L满足3.07m<L<7.37m时,不进行曝光时间切换,维持2档曝光时间;例如L=5.5m,不进行曝光时间切换,维持2档曝光时间;
ⅲ当交会测量相机的运动距离L满足2.71≤L≤3.07时,交会测量相机开始记录以后6帧数据并定义为z1,z2,z3,…,z6,当z2+z3+…+z6-5×z1>0时,确定当前工作状态为后退,在确定工作状态后,判断当前交会测量相机的运动距离z6>3.07,曝光时间等级由1档更改为2档;例如L=2.96m,z1=2.98,z2=3.00,z3=3.01,z4=3.02,z5=3.05,z6=3.08,满足z2+z3+…+z6-5×z1>0且z6>3.07,将曝光时间由1档更改为2档;
ⅳ当交会测量相机的运动距离L满足2.71≤L≤3.07时,交会测量相机开始记录以后6帧数据并定义为z1,z2,z3,…,z6,当z2+z3+…+z6-5×z1<0时确定当前 工作状态为前进,在确定工作状态后,判断当前交会测量相机的运动距离z6<2.71时,曝光时间等级由2档更改为1档;例如L=2.80,z1=2.78,z2=2.77,z3=2.76,z4=2.74,z5=2.72,z6=2.69,满足z2+z3+…+z6-5×z1<0且z6<2.71,将曝光时间由2档更改为1档;
ⅴ当运动距离2.71≤L≤3.07时,交会测量相机开始记录以后6帧数据并定义为z1,z2,z3,…,z6,当z2+z3+…+z6-5×z1>0时,确定当前工作状态为后退,在确定工作状态后,判断当前交会测量相机的运动距离z6≤3.07,不进行曝光时间调整;例如L=2.94m,z1=2.96,z2=2.98,z3=2.99,z4=3.00,z5=3.03,z6=3.06,满足z2+z3+…+z6-5×z1>0且z6<3.07,不进行曝光时间调整;
ⅵ当运动距离2.71≤L≤3.07时,交会测量相机开始记录以后6帧数据并定义为z1,z2,z3,…,z6,当z2+z3+…+z6-5×z1<0时确定当前工作状态为前进,在确定工作状态后,判断当前交会测量相机的运动距离z6≥2.71,不进行曝光时间调整;例如L=2.84,z1=2.82,z2=2.81,z3=2.80,z4=2.78,z5=2.76,z6=2.73,满足z2+z3+…+z6-5×z1<0且z6>2.71,不进行曝光时间调整;
4)二档曝光时间与三档曝光时间切换策略如下:
ⅰ当交会测量相机的运动距离L满足3.07m<L<7.37m时,不进行曝光时间切换,维持2档曝光时间;例如L=5.5m,不进行曝光时间切换,维持2档曝光时间;
ⅱ当交会测量相机的运动距离L满足7.73m<L<20m时,不进行曝光时间切换,维持3档曝光时间;例如L=10m,不进行曝光时间切换,维持3档曝光时间;
ⅲ当交会测量相机的运动距离L满足7.37m≤L≤7.73m时,交会测量相机开始记录以后6帧数据并定义为z1,z2,z3,…,z6,当z2+z3+…+z6-5×z1>0时,确定当前工作状态为后退,在确定工作状态后,判断当前交会测量相机的运动距 离z6>7.73m,曝光时间等级由2档更改为3档;例如L=7.60m,z1=7.62m,z2=7.65m,z3=7.68m,z4=7.70m,z5=7.72m,z6=7.75m,满足z2+z3+…+z6-5×z1>0且z6>7.73m,将曝光时间由2档更改为3档;
ⅳ当交会测量相机的运动距离L满足7.37m≤L≤7.73m时,交会测量相机开始记录以后6帧数据并定义为z1,z2,z3,…,z6,当z2+z3+…+z6-5×z1<0时确定当前工作状态为前进,在确定工作状态后,判断当前交会测量相机的运动距离z6<7.37m时,曝光时间等级由3档更改为2档;例如L=7.52m,z1=7.51m,z2=7.49m,z3=7.46m,z4=7.43m,z5=7.39m,z6=7.35m,满足z2+z3+…+z6-5×z1<0且z6<7.37m,将曝光时间由3档更改为2档;
ⅴ当运动距离7.37m≤L≤7.73m时,交会测量相机开始记录以后6帧数据并定义为z1,z2,z3,…,z6,当z2+z3+…+z6-5×z1>0时,确定当前工作状态为后退,在确定工作状态后,判断当前交会测量相机的运动距离z6≤7.73m,不进行曝光时间调整;例如L=7.57m,z1=7.59m,z2=7.62m,z3=7.65m,z4=7.67m,z5=7.69m,z6=7.72m,满足z2+z3+…+z6-5×z1>0且z6<7.73m,不进行曝光时间调整;
ⅵ当运动距离7.37m≤L≤7.73m时,交会测量相机开始记录以后6帧数据并定义为z1,z2,z3,…,z6,当z2+z3+…+z6-5×z1<0时确定当前工作状态为前进,在确定工作状态后,判断当前交会测量相机的运动距离z6≥7.37m,不进行曝光时间调整;例如L=7.55m,z1=7.54m,z2=7.52m,z3=7.49m,z4=7.46m,z5=7.42m,z6=7.38m,满足z2+z3+…+z6-5×z1<0且z6>7.37m,不进行曝光时间调整。
本发明以曝光时间等级变换和滞环防抖工作机理为基础,通过考虑目标图像在不同测量距离的能量差异,从而有效地将滞环防抖技术和分段积分时间策略结合起来,有效地解决了目标图像能量随测量距离变化而影响交会测量子系统正常测量的问题,增强交会测量子系统在大范围复杂环境下的工作能力。相 对传统曝光时间调整方法需要经过多次积分时间调节才能达到比较合适的状态且普遍采用单点切换,图像输出的帧频也比较低且存在因为单点驻停时测量数据抖动而导致曝光时间频繁切换的问题。因为本发明通过设置滞环防抖切换区且多帧数据判断运动状态等技术有效地解决了系统驻停时测量数据抖动而导致曝光时间频繁切换的问题。为交会测量系统高帧频图像输出的提供了技术基础,同时能够降低了复杂空间操作过程对积分时间的影响,增强交会测量相机在复杂操作工况下的工作能力。

Claims (1)

1.一种交会测量相机曝光时间的调整方法其特征在于步骤为:
1)根据交会测量相机上的曝光时间等级N和测量距离范围Lmin-Lmax,计算滞环转捩距离Lm=(Lmax/Lmin)m/N×Lmin;m=1,2,3…N-1;
2)根据交会测量相机的最大运动速度Vmax和数据更新率K赫兹,计算滞环防抖波动余量ΔL,ΔL=a×Vmax/K;a为整数,4≤a≤12;
3)一档曝光时间与二档曝光时间切换策略如下:
ⅰ当交会测量相机的运动距离Lmin<L<L1,不进行曝光时间切换,维持1档曝光时间;
ⅱ当交会测量相机的运动距离L1+ΔL<L<L2,不进行曝光时间切换,维持2档曝光时间;
ⅲ当交会测量相机的运动距离L1≤L≤L1+ΔL,交会测量相机开始记录以后a帧数据并定义为z1,z2,z3,…,za,当z2+z3+…+za-(a-1)×z1>0时,确定当前工作状态为后退,在确定工作状态后,判断当前交会测量相机的运动距离za>L1+ΔL,曝光时间等级由一档更改为二档;
ⅳ当运动距离L1≤L≤L1+ΔL时,交会测量相机开始记录以后a帧数据并定义为z1,z2,z3,…,za,当z2+z3+…+za-(a-1)×z1<0时确定当前工作状态为前进,在确定工作状态后,判断当前交会测量相机的运动距离za<L1时,曝光时间等级由二档更改为一档;
ⅴ当运动距离L1≤L≤L1+ΔL时,交会测量相机开始记录以后a帧数据并定义为z1,z2,z3,…,za,当z2+z3+…+za-(a-1)×z1>0时,确定当前工作状态为后退,在确定工作状态后,判断当前交会测量相机的运动距离za≤L1+ΔL,不进行曝光时间调整;
ⅵ当运动距离L1≤L≤L1+ΔL时,交会测量相机开始记录以后a帧数据并定义为z1,z2,z3,…,za,当z2+z3+…+za-(a-1)×z1<0时确定当前工作状态为前进,在确定工作状态后,判断当前交会测量相机的运动距离za≥L1,不进行曝光时间调整;
4)m档曝光时间与m+1档曝光时间切换策略同步骤3)中一档曝光时间与二档曝光时间切换策略;
其中,Lmin为交会测量相机能够测量的最近距离,Lmax为交会测量相机能够测量的最远距离,L1为交会测量相机曝光时间1档对应的距离,L2为交会测量相机曝光时间2档对应的距离。
CN201410354430.3A 2014-07-23 2014-07-23 一种交会测量相机曝光时间的调整方法 Active CN104135625B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410354430.3A CN104135625B (zh) 2014-07-23 2014-07-23 一种交会测量相机曝光时间的调整方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410354430.3A CN104135625B (zh) 2014-07-23 2014-07-23 一种交会测量相机曝光时间的调整方法

Publications (2)

Publication Number Publication Date
CN104135625A CN104135625A (zh) 2014-11-05
CN104135625B true CN104135625B (zh) 2017-06-13

Family

ID=51808138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410354430.3A Active CN104135625B (zh) 2014-07-23 2014-07-23 一种交会测量相机曝光时间的调整方法

Country Status (1)

Country Link
CN (1) CN104135625B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111780948B (zh) * 2020-06-10 2022-01-04 北京临近空间飞行器系统工程研究所 一种高超声速飞行试验中飞行器边界层转捩过程特性的测量方法
CN112911172B (zh) * 2021-01-25 2022-11-01 中国人民解放军陆军工程大学 基于InGaAs相机的目标场景距离提取装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101171833A (zh) * 2005-05-11 2008-04-30 索尼爱立信移动通讯股份有限公司 具有三角测量自动聚焦系统的数字照相机以及相关方法
CN101909150A (zh) * 2009-06-03 2010-12-08 索尼公司 成像设备和成像控制方法
CN102314044A (zh) * 2010-07-02 2012-01-11 原相科技股份有限公司 距离测量系统及其方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4492724B2 (ja) * 2008-03-25 2010-06-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5653076B2 (ja) * 2010-05-27 2015-01-14 キヤノン株式会社 撮像装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101171833A (zh) * 2005-05-11 2008-04-30 索尼爱立信移动通讯股份有限公司 具有三角测量自动聚焦系统的数字照相机以及相关方法
CN101909150A (zh) * 2009-06-03 2010-12-08 索尼公司 成像设备和成像控制方法
CN102314044A (zh) * 2010-07-02 2012-01-11 原相科技股份有限公司 距离测量系统及其方法

Also Published As

Publication number Publication date
CN104135625A (zh) 2014-11-05

Similar Documents

Publication Publication Date Title
WO2018161758A1 (zh) 曝光控制方法、曝光控制装置及电子装置
US20080314878A1 (en) Apparatus and method for controlling a machining system
EP1763227B1 (en) Method of exposure control for an imaging system
US20160205376A1 (en) Information processing apparatus, control method for the same and storage medium
CN104184958A (zh) 一种适用于空间探测成像的基于fpga的自动曝光控制方法及其装置
CN104184957A (zh) 一种适用于空间探测成像的基于自适应预期图像平均亮度的自动曝光控制方法
CN101961698B (zh) 一种嵌入式喷枪位姿实时测量装置及方法
JP4433046B2 (ja) 露出制御装置及び露出制御プログラム
WO2016020970A1 (ja) 自己位置算出装置及び自己位置算出方法
WO2022105381A1 (zh) 一种曝光参数调节方法及装置
CN105451012A (zh) 三维成像系统和三维成像方法
CN105516589A (zh) 基于人脸识别的智能曝光方法及系统
JP2009157087A (ja) 露出制御装置及び露出制御プログラム
CN104023177A (zh) 摄像机控制方法、装置及摄像机
JP2009157085A (ja) 露出制御装置及び露出制御プログラム
CN104135625B (zh) 一种交会测量相机曝光时间的调整方法
US10462378B2 (en) Imaging apparatus
US20230005239A1 (en) Image capturing method and device, apparatus, and storage medium
CN103954216A (zh) 基于球面光源的强镜面反射工件细窄坡口检测装置及方法
WO2019183809A1 (zh) 控制方法与装置、云台系统、无人机和计算机可读存储介质
CN108347577B (zh) 一种成像系统和方法
CN104159042A (zh) 高动态范围成像的dmd快速调光方法
CN104270575B (zh) 成像光谱仪自适应调整曝光时间的方法及装置
TWI538511B (zh) 適應性補光裝置與方法
CN111684784A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant