CN104359406B - 一种准分布式结构位移光学测量方法 - Google Patents
一种准分布式结构位移光学测量方法 Download PDFInfo
- Publication number
- CN104359406B CN104359406B CN201410548424.1A CN201410548424A CN104359406B CN 104359406 B CN104359406 B CN 104359406B CN 201410548424 A CN201410548424 A CN 201410548424A CN 104359406 B CN104359406 B CN 104359406B
- Authority
- CN
- China
- Prior art keywords
- quasi
- measuring point
- displacement
- image
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种准分布式结构位移光学测量方法,实施流程如下:A.搭建测量装置与初步调试准备;B.图像像素与实际距离的标定;C.准分布测点图像模板制定与匹配优化;D.准分布式结构位移自动测量和存储。
Description
技术领域
本发明涉及光学、图像处理技术和结构参数识别技术,具体涉及到使用相机进行结构的准分布式动态位移测量。
背景技术
桥梁变形测量是对被测桥梁结构的位移进行跟踪识别,以确定其空间位置随时间的变化特征。桥梁变形测量利用工程测量原理、方法以及精密量测技术,测量桥梁变位控制点的坐标,通过对各次测量所得的桥梁变位控制点坐标进行比较和结构计算分析,绘制相应的位移变形影响线(面),结合荷载、抗力等基本结构指标,可以宏观判断桥梁结构的安全性能,从而提出相应的处理措施或荷载控制建议,进而达到结构安全预警的目的。
对于大型桥梁,虽然结构的位移已成为其安全监测的一个重要指标,但有效的位移测量方法以及稳定的动态位移测量手段对于科研工作者与工程技术人员仍然是一个很大的挑战。目前的位移测量方法主要有接触式传感器位移测量系统和非接触式传感器位移测量系统两大类。以下针对其分类进行相关评述。
1、基于加速度传感器的接触式位移测量系统。该系统位移测量思路是将加速度传感器安装到桥梁结构的被测位置处,采集被测点处的加速度,通过对加速度信号进行二次积分得到相应的位移。但是在这种对时域进行多重积分的数字信号处理过程中,存在失真的可能从而导致潜在的误差。
2、基于线性可变差分变压器的接触式位移测量系统。线性可变差分变压器对结构的位移测量是在被测结构上选取某一点,利用连通管的原理进行液位测量进而换算出相应的位移变化。尽管能满足结构位移测量的分辨率,但这种传感器要求一个静态平台作为测量参考点,而且这个平台必须和被测结构相对较近,如果遇到跨海或跨河大桥要建立这种平台将十分困难和成本昂贵。并且由于液体压强与液体的液柱高度较大关系。而在结构位移发生变化的过程中,由于液体内部粘滞阻力及液体与管壁的摩阻等原因,液柱的变化相对迟缓,从而出现位移滞后现象,从而不能完成可靠的动态测量。
3、基于倾角测试的接触式位移测量系统。将倾角测试装置安装在被测点处,测量出所在位置的倾角变化。根据位移与倾角的关系计算出被测点处的位移。这种测试系统的弊端跟基于加速度的位移测量类似,在从倾角到位移的换算过程中需要积分,由此将造成累积误差。并且在从倾角到位移的换算过程中会有一些力学假定的加入,这些假定必然会带来额外的误差,影响测量精度。
4、激光多普勒振动计非接触式位移测量系统。激光多普勒振动计作为一种非接触式无损测量工具为桥梁的振动和变形测量提供精确的位移测量结果,但其测量成本非常高,较难大规模推广应用。并且是基于单目标的位移动态测量方法,若要进行多个目标点的位移测量,则需多台激光仪,成本必然随着位移目标测点的数量的增多不断增加。
5、GPS非接触式位移测量系统。GPS对于复杂大型结构的位移测量拥有众多优点,如毫米级的定位精度、较高的测量频率、实时性和远程测量。但其固有的弱点也决定了它应用的局限性,如GPS易受电磁噪声干扰,对于恶劣的天气等也没有很强的抵抗力,较高的精度和采样率则要求非常昂贵的费用。由于受到成本效益的限制,GPS桥梁位移测量系统的测点一般也不会太多,而要用这些有限的测点数据来做结构的整体或者局部力学分析则相当困难。
6、利用相机进行拍摄的非接触式位移测量系统。这种位移测量方法是利用光学成像原理,对相机拍摄到的目标点进行数字图像处理,制定模板,并以此为基准对目标点进行跟踪模板匹配,通过标定得到实际位移与模板移动像素的关系,从而进行被测点位移的测量。
对利用相机进行拍摄的位移测量系统目前尚处研究当中。这些研究机构主要集中在:澳大利亚Curtin大学、东京城市大学、韩国世宗大学、美国南加利福尼亚大学、香港科技大学、香港理工大学、天津大学、清华大学、苏州大学和浙江大学等。目前国内外对于此方法的研究多集中在单个相机对单个测点进行位移测量。也就是说,使用一套系统仅能够对桥梁结构的一个目标位移测点进行跟踪测量。并且需要在被测构件位置处安装能提供光源设施,将人工安装的光源作为测量的标识物。由于模板的建立对光源的依赖性较强,模板匹配则完全依赖于有光源的模板。当遇到大雾、下雨或者其他的恶劣天气时,该系统的测量精度将难以保证。由于需要在被测处人为安装光源,测量过程将出现众多弊端。比如人们不方便触及到的地方就很难去人为安装光源,测量过程会变得相当麻烦。而且如果要进行多个目标点的位移测量,则需要同时布置多台测量系统(相机、采集控制系统、计算机和光源等)。另一方面,目前的研究多集中在近距离的位移测量,对远距离(1km以外)的位移测量的研究则相对较少。
以上几种方法因为各自的缺陷不能有效可靠地用于结构准分布式位移测量,并且对于动态位移测量也不稳定,对于像激光位移测量、GPS位移测量以及利用相机拍摄进行位移测量等方法在进行准分布式位移测量的时候需要布置多个位移测量装置,成本较高。而且目前通常所说的非接触式测量,比如前述三种都需要事先在被测目标处安装标识物或者特定的信号发射源,在一些特定的场合将难以实现,增加了测量困难。
发明内容
本发明要克服目前的结构动态位移测量方法的不足,提出一种准分布式的结构位移光学测量方法,这种光学测量方法是利用光学摄像系统及数字图像处理技术对结构位移进行准分布式测量。测量装置包括工业相机、多倍变焦镜头、计算机等。本发明要解决以下几个方面的问题:
一是利用一台相机就能实现结构的准分布式位移测量,所谓准分布式测量就是使用一台相机可以同时测量被测结构上的多个测点的位移,实现位移测点的准分布式布置;
二是实现无人工光源化,即不需要在被测结构处人工安装光源或者其他信号发射装置,而是利用结构表面自身的光学特征,比如特殊的纹理、图案背景等作为标识物,进行识别和测量,实现真正意义上的非接触式位移测量;
三是解决由于天气原因造成的测量失准问题,比如大雾、下雨或者其他光线变化等原因会引发相机不能有效可靠地对被测目标测点识别,进而造成测量结果失准;
本发明所述的一种准分布式结构位移光学测量方法,具体实施流程如下:
A.搭建测量装置与初步调试准备。
A1.选择适当的位置,安装并连接工业数码相机、镜头及计算机等设备,检查好线路,启动系统;
A2.反复调整相机镜头的朝向、仰角,调整焦距、快门速度、光圈大小等参数,使得被测结构准分布测点出现在镜头的合适位置;
A3.调整相机参数(曝光度、增益值),并寻找准分布式测点的标识物,这里的准分布测点标识物为结构自身表面的特殊识别物,比如特殊的纹理、图案背景等。建立相机、测点、标识物之间的关系,直到获得准分布测点标识物在系统可识别范围内的清晰图像。
B.图像像素与实际距离的标定。
B1.对拍摄到的准分布测区标识物图像进行数字化处理;
B2.通过几何计算确定准分布式测点间的实际距离;
B3.确定系统采集到的图像中准分布测点的像素点数;
B4.通过比较准分布测点间的实际距离与图像中准分布测点间像素数的关系进行标定。
C.准分布测点图像模板制定与匹配优化。
C1.图像中准分布测点区域划分;
C2.对划分区域进行模板制定,并通过图像处理算法对模板进行匹配;
C3.进行模板匹配学习训练,并用优化算法对准分布测区进行自适应优化,直至模板匹配满足测量要求;
C4.得到准分布式测点在图像中的模板坐标。
D.准分布式结构位移自动测量和存储。
D1.制定位移测量的采集和存储策略,连续采集需要确定采样频率,间隔采集则需要确定间隔采样时间,并确定采集时长,使得准分布式位移测量在采集和存储方面有序进行,数据准确归档;
D2.按照采集策略进行图像采集,并进行存储,存取下来的包括视频信息及视频中图像的灰度信息;
D3.准分布式测区搜索与模板匹配;
D4.计算图像中匹配到的准分布测点的位置与模板初始位置的坐标差值,利用B4中的标定结果确定准分布测点位移值,包括水平和竖直两个方向的位移,并将位移序列进行存储;
D5.检查是否完成测量策略中制定的任务,完成则采集结束,未完成则继续重复D2至D5,直至完成测量策略中制定的任务,系统测量结束。
上述步骤中所提到的工业相机将采集到的视频信息利用千兆以太网进行传输,保存在计算机硬盘当中。
在像素标定中,运用其他测量手段确定出准分布测区的几个标识物与其在拍摄到图像当中对应像素区域的关系,即确定出图像中的一个像素代表实际的距离,标定过程中的实际距离的确定考虑了相机镜头的朝向与仰角问题。
在模板匹配过程中需要对拍摄到的图像进行多次匹配学习和训练,通过优化算法使得准分布测区的标识物图像与模板达到自适应的要求。
模板匹配是指从初始拍摄图像中找出要跟踪的图像区块,以此时的图像区块信息作为基本信息,也就是模板基本信息,在后期跟踪过程中,与拍摄到的图像进行相关匹配计算。相关匹配计算的主旨是为了找出后期跟踪拍摄到的图像中,哪一块区域与模板最为相似,用数学的语言来讲就是哪一块区域的基本信息与模板基本信息相关性大于阈值。在自适应优化算法中加入阈值自动调整算法,即根据天气等光线的变化调整阈值,使得模板匹配具有自适应性。
本发明中除了前述提到的工业相机、镜头和计算机等,还提供了一套存储在计算机当中的准分布式位移测量模板匹配模块。
与现有的技术相比,本技术有几下几个优点:
1、实现仅利用一台相机就能实现结构的准分布式位移测量,所谓准分布式测量就是使用一台相机可以同时测量被测结构上的多个测点位移,实现位移测点的准分布式布置;
2、不需要在被测结构处人工安装光源或者其他信号发射装置,而是利用结构表面自身的标识物进行识别和测量,实现真正意义上的远距离非接触式位移测量;
3、解决了由于天气原因造成的位移测量失准问题,比如大雾、下雨或者其他光线变化等原因会引发相机不能有效可靠地对被测目标测点识别,进而造成测量失准;
4、由于采用高速千兆以太网将相机采集到的图像信息传输到计算机,后期在处理数据的过程中可以将图像视频结合位移时程图像一起处理,实现事件全信息回放;
5、系统的采样频率比GPS、压力变送器等高出许多,完全能够实现结构准分布式动态位移测量以及进一步的结构动力分析;
6、相较于其他测量方法,测量同样的测点精度高、成本低、操作简单、携带方便。
附图说明
图1本发明的装置示意图。
图2本发明的测量流程图。
图例说明:图1中的代号分别表示:
1——计算机,
2——工业相机,
3——变焦镜头,
4——三脚支撑架,
5——被测结构自身标识物,
6——镜头拍摄区域,
7——系统拍摄到的图像视野区,
8——图像视野区中的被测结构自身标识物
具体实施方式
以下结合图1中所示的案例和图2中所示的工作流程进一步阐述本发明。
参见图1和图2,本发明中所举案例为利用一台准分布式结构位移光学测量系统测量一个大型斜拉桥上多个测点的位移,对其实现准分布式测量,具体的实施步骤如下:
A.搭建测量装置与初步调试准备。
A1.选择适当的位置,架设三角支撑架4,安装并连接工业相机2、镜头3及计算机1等设备,检查好线路,启动系统;
A2.反复调整相机2和镜头3的朝向、仰角,调整焦距、快门速度、光圈大小等,使得被测结构所有准分布测点出现在镜头的合适位置,之后进行A3步;
A3.调整相机参数(曝光度、增益值)等,并寻找准分布式测点的标识物5,这里的准分布测点标识物为结构自身表面的特殊识别物,比如特殊的纹理、图案背景等,建立相机2、测点、标识物5之间的关系。直到得到准分布测点标识物5在系统可视范围6内的清晰图像,调整完毕之后,进行B步所述内容。这里的标识物5为前述利用结构表面自身的光学特征,比如特殊的纹理、图案背景等作为标识物5。
B.图像像素与实际距离的标定。
B1.对拍摄到的准分布测区标识物5的图像8进行数字化处理;
B2.通过几何计算确定准分布式测点间的实际距离;
B3.确定系统采集到的图像中准分布测点的像素点数;
B4.通过比较准分布测点间的实际距离与图像中准分布测点间像素数的关系,并进行标定。
C.准分布测点图像模板制定与匹配优化。
C1.图像中准分布测点区域8划分;
C2.对划分区域8进行模板制定,并通过图像处理算法对模板进行匹配;
C3.进行模板匹配学习训练,并用优化算法对准分布测区进行自适应优化,直至模板匹配满足测量要求;
C4.得到准分布式测点8在图像中的模板坐标。
D.准分布式结构位移自动测量和存储。
D1.制定位移测量的采集和存储策略,连续采集需要确定采样频率,间隔采集则需要确定间隔采样时间,并确定采集时长,使得准分布式位移测量在采集和存储方面有序进行,数据准确归档;
D2.按照采集策略进行图像采集,并存储,存取下来的包括视频信息及视频中图像的灰度信息;
D3.准分布式测区搜索与模板匹配;
D4.计算图像中匹配到的准分布测点8的位置与模板初始位置的坐标差值,利用B4中的标定结果确定准分布测点位移值,包括水平和竖直两个方向的位移(x,y),并将位移序列(xi,yi)进行存储;
D5.检查是否完成测量策略中制定的任务,完成则采集结束,未完成则继续重复D2至D5,直至完成测量策略中制定的任务,系统测量结束。
上述步骤中所提到的工业相机2将采集到的视频信息利用千兆以太网进行传输,保存在计算机1硬盘当中。
在像素标定中,运用其他测量手段确定出准分布测区的几个标识物5与其在拍摄到图像8当中对应像素区域的关系,即确定出图像中的一个像素代表实际的距离,标定过程中的实际距离的确定考虑了相机镜头的朝向与仰角问题。
在模板匹配过程中需要对拍摄到的图像进行多次匹配学习和训练,通过优化算法使得准分布测区的标识物图像与模板达到自适应的要求。
在实际结构位移确定过程中,需要进行两个步骤。流程D4中已经提出。视频拍摄到的首先是图像中准分布测点标识物的像素移动量,而经过带入标定结果,也就是用像素移动量乘以之前标定的每个像素移动代表实际的位移量。
模板匹配是指从初始拍摄图像中找出要跟踪的图像区块,以此时的图像区块信息作为基本信息,也就是模板基本信息,在后期跟踪过程中,与拍摄到的图像进行相关匹配计算。相关匹配计算的主旨时候找出后期跟踪拍摄到的图像中,哪一块区域与模板最为相似,用数学的语言来讲就是哪一块区域的基本信息与模板基本信息相关性大于阈值。这里在自适应优化算法中加入了阈值自动调整算法,即根据天气等光线的变化调整阈值,使得模板匹配具有自适应性。
本说明书实施案例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施案例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (1)
1.一种准分布式结构位移光学测量方法,具体实施流程如下:
A.搭建测量装置与初步调试准备;
A1.选择适当的位置,安装并连接工业数码相机、镜头及计算机等设备,检查好线路,启动系统;
A2.反复调整相机镜头的朝向、仰角,调整焦距、快门速度、光圈大小等参数,使得被测结构准分布测点出现在镜头的合适位置;
A3.调整相机参数的曝光度、增益值,并寻找准分布式测点的标识物,这里的准分布测点标识物为结构自身表面的特殊识别物;建立相机、测点、标识物之间的关系,直到获得准分布测点标识物在系统可识别范围内的清晰图像;
B.图像像素与实际距离的标定;
B1.对拍摄到的准分布测区标识物图像进行数字化处理;
B2.通过几何计算确定准分布式测点间的实际距离;
B3.确定系统采集到的图像中准分布测点的像素点数;
B4.通过比较准分布测点间的实际距离与图像中准分布测点间像素数的关系进行标定;
C.准分布测点图像模板制定与匹配优化;
C1.图像中准分布测点区域划分;
C2.对划分区域进行模板制定,并通过图像处理算法对模板进行匹配;
C3.进行模板匹配学习训练,并用优化算法对准分布测区进行自适应优化,直至模板匹配满足测量要求;
C4.得到准分布式测点在图像中的模板坐标;
D.准分布式结构位移自动测量和存储;
D1.制定位移测量的采集和存储策略,连续采集需要确定采样频率,间隔采集则需要确定间隔采样时间,并确定采集时长,使得准分布式位移测量在采集和存储方面有序进行,数据准确归档;
D2.按照采集策略进行图像采集,并进行存储,存取下来的包括视频信息及视频中图像的灰度信息;
D3.准分布式测区搜索与模板匹配;
D4.计算图像中匹配到的准分布测点的位置与模板初始位置的坐标差值,利用B4中的标定结果确定准分布测点位移值,包括水平和竖直两个方向的位移,并将位移序列进行存储;
D5.检查是否完成测量策略中制定的任务,完成则采集结束,未完成则继续重复D2至D5,直至完成测量策略中制定的任务,系统测量结束。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410548424.1A CN104359406B (zh) | 2014-10-16 | 2014-10-16 | 一种准分布式结构位移光学测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410548424.1A CN104359406B (zh) | 2014-10-16 | 2014-10-16 | 一种准分布式结构位移光学测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104359406A CN104359406A (zh) | 2015-02-18 |
CN104359406B true CN104359406B (zh) | 2016-09-21 |
Family
ID=52526691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410548424.1A Active CN104359406B (zh) | 2014-10-16 | 2014-10-16 | 一种准分布式结构位移光学测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104359406B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6308962B2 (ja) * | 2015-03-19 | 2018-04-11 | 株式会社安藤・間 | 変位又はひずみ算出プログラム、及び変位又はひずみ測定方法 |
CN105865735B (zh) * | 2016-04-29 | 2018-05-08 | 浙江大学 | 一种基于视频监控的桥梁振动测试与动力特性识别方法 |
CN106225708A (zh) * | 2016-08-30 | 2016-12-14 | 北京航空航天大学 | 一种对环境光不敏感的通用视频挠度测量系统 |
CN110411408A (zh) * | 2019-07-11 | 2019-11-05 | 浙江大学 | 一种基于计算机视觉的地表沉降监测方法 |
CN110705433A (zh) * | 2019-09-26 | 2020-01-17 | 杭州鲁尔物联科技有限公司 | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 |
CN111351436B (zh) * | 2020-03-06 | 2021-06-18 | 大连理工大学 | 一种验证结构平面位移视觉测量系统精度的方法 |
CN111707667A (zh) * | 2020-05-06 | 2020-09-25 | 慧泉智能科技(苏州)有限公司 | 一种模切产品检测方法及软件 |
CN112146575B (zh) * | 2020-09-15 | 2021-11-09 | 中铁第五勘察设计院集团有限公司 | 架桥机落梁偏位监测系统及方法 |
CN112637553B (zh) * | 2020-11-25 | 2021-11-23 | 浙江大学 | 一种基于监控视频的桥梁结构模态分析方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050030067A (ko) * | 2003-09-24 | 2005-03-29 | 이제선 | 구조물의 변위측정 시스템 |
CN102589523A (zh) * | 2011-01-11 | 2012-07-18 | 香港理工大学深圳研究院 | 远距离监测建筑物位移的方法和所用装备 |
CN103940344A (zh) * | 2014-04-11 | 2014-07-23 | 西安敏文电子科技有限公司 | 一种高精度远程位移传感器 |
CN104061876A (zh) * | 2014-07-17 | 2014-09-24 | 宏峰集团(福建)有限公司 | 基于数字图像测量原理的建筑模板施工监测系统 |
-
2014
- 2014-10-16 CN CN201410548424.1A patent/CN104359406B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050030067A (ko) * | 2003-09-24 | 2005-03-29 | 이제선 | 구조물의 변위측정 시스템 |
CN102589523A (zh) * | 2011-01-11 | 2012-07-18 | 香港理工大学深圳研究院 | 远距离监测建筑物位移的方法和所用装备 |
CN103940344A (zh) * | 2014-04-11 | 2014-07-23 | 西安敏文电子科技有限公司 | 一种高精度远程位移传感器 |
CN104061876A (zh) * | 2014-07-17 | 2014-09-24 | 宏峰集团(福建)有限公司 | 基于数字图像测量原理的建筑模板施工监测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104359406A (zh) | 2015-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104359406B (zh) | 一种准分布式结构位移光学测量方法 | |
US11519724B2 (en) | Method for monitoring ground settlement based on computer vision | |
WO2022206978A1 (zh) | 一种基于车载定位装置的路侧毫米波雷达校准方法 | |
CN102262092B (zh) | 能见度测量系统及方法 | |
CN105547635B (zh) | 一种用于风洞试验的非接触式结构动力响应测量方法 | |
CN105203023B (zh) | 一种车载三维激光扫描系统安置参数的一站式标定方法 | |
CN107085852B (zh) | 一种基于无人机航拍的河道表面流场测试方法 | |
CN105865735A (zh) | 一种基于视频监控的桥梁振动测试与动力特性识别方法 | |
CN106092059B (zh) | 一种基于多点拟合的结构物平面位移监测方法 | |
CN103487033B (zh) | 一种基于变高单应的河流水面摄影测量方法 | |
CN106197292A (zh) | 一种建筑物位移监测方法 | |
CN103727961A (zh) | 光电经纬仪动态误差修正方法 | |
CN103940590A (zh) | 大口径光学镜头畸变的标定方法 | |
CN106403900A (zh) | 飞行物追踪定位系统及方法 | |
CN104535078B (zh) | 一种基于标志点的光电设备对飞行目标的测量方法 | |
CN108154535B (zh) | 基于平行光管的摄像机标定方法 | |
CN110702343B (zh) | 一种基于立体视觉的挠度测量系统及方法 | |
CN105627916B (zh) | 一种建立跟踪仪地理坐标系及六自由度测量的方法 | |
CN103674058A (zh) | 一种摆镜角跟踪精度室内检测方法 | |
CN104251994B (zh) | 长基线激光测距实现无控制点卫星精确定位系统及方法 | |
CN103234462A (zh) | 一种结构位移逆向摄像测量方法 | |
CN104344834A (zh) | 一种零飞试验仪指标定量测试方法 | |
CN109443211A (zh) | 一种空间三维位置测量装置 | |
CN205138429U (zh) | 一种光电式滑坡体动态在线监测一体机 | |
CN207501952U (zh) | 一种基于图像处理技术的靶标校准系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |