CN109767426B - 一种基于图像特征识别的盾构隧道渗漏水检测方法 - Google Patents
一种基于图像特征识别的盾构隧道渗漏水检测方法 Download PDFInfo
- Publication number
- CN109767426B CN109767426B CN201811528692.1A CN201811528692A CN109767426B CN 109767426 B CN109767426 B CN 109767426B CN 201811528692 A CN201811528692 A CN 201811528692A CN 109767426 B CN109767426 B CN 109767426B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- area
- water
- tunnel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明涉及一种基于图像特征识别的盾构隧道渗漏水检测方法,包括:步骤S1:通过隧道表面灰度图像统计确定隧道中各特征物的识别规则;步骤S2:基于确定的各特征物的识别规则,识别待识别图像中的特征物,并将识别得到的特征物的区域以灰度值255覆盖以去除特征物;步骤S3:对于去除了特征物的待识别图像,进行渗漏水识别并确定渗漏水的位置和面积。与现有技术相比,本发明在渗漏水检测前,先对图像进行详细的预处理工作,即通过先确定隧道特征物识别规则,然后逐一识别隧道特征物,在特征物全部剔除之后,再进行渗漏水的检测,此方法充分考虑了隧道特征物实际情况,可以大幅度减少渗漏水检测的错别识率。
Description
技术领域
本发明涉及一种渗漏水检测方法,尤其是涉及一种基于图像特征识别的盾构隧道渗漏水检测方法。
背景技术
渗漏水病害是盾构隧道的常见病害之一,由于渗漏水病害会导致钢筋和螺栓锈蚀,引起衬砌强度降低,严重的渗漏水会引起土体流失,降低地层抗力,加剧隧道的变形,因此渗漏水病害是隧道日常检测的重要内容。目前渗漏水检测主要依靠手段为人工巡检,即通过检测人员目测寻找渗漏水,记录渗漏水位置,类型,严重程度等信息。这种方法需要依靠检测人员的个人经验,不同检测员对渗漏水严重程度的判断也不相同,因此主观性较强,同时,由于人工巡检不能准确测量渗漏水面积,因此这种检测方法仅仅是定性描述。
近年来利用图像识别技术进行渗漏水识别已取得较大进展。中国专利CN102679914B提出一种盾构隧道衬砌管片渗漏水面积的测量方法及装置,该方法利用数码相机采集隧道图像,并对渗漏水区域通过阈值分割、Blob分析、形态学修正获得渗漏水面积。有关文献提出的盾构隧道渗漏水自动检测系统,其中图像处理部分包括灰度化、腐蚀,漏水识别包括二值分割和边缘检测,可用于盾构隧道的定期检测,但未考虑隧道特征物对渗漏水识别的影响;也有学者针对隧道内表面展开图像展开渗漏水研究,基于平面拟合以及中值滤波方法去除隧道附属物和污染物的干扰,该方法将螺栓孔、管线等干扰物作为噪声数据处理,特征物去除不全面且缺乏相应的规则。
综上所述,之前学者研究的重点均在渗漏水本身的识别上,未结合特征物自身特点考虑隧道内其他特征物对渗漏水识别造成干扰的情况。因此上述的识别方法一个共性的问题就是易将与渗漏水类似的隧道特征物识别为渗漏水,从而增大了错识别率。
因此,提出一种可以考虑实际隧道复杂特征物可能对渗漏水识别造成干扰的渗漏水识别方法十分必要,也是实际隧道运营迫切需要的一种定量描述渗漏水的方法。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于图像特征识别的盾构隧道渗漏水检测方法。
本发明的目的可以通过以下技术方案来实现:
一种基于图像特征识别的盾构隧道渗漏水检测方法,包括:
步骤S1:通过隧道表面灰度图像统计确定隧道中各特征物的识别规则;
步骤S2:基于确定的各特征物的识别规则,识别待识别图像中的特征物,并将识别得到的特征物的区域以灰度值255覆盖以去除特征物;
步骤S3:对于去除了特征物的待识别图像,进行渗漏水识别,并在识别到渗漏水后确定渗漏水的位置和面积。
所述图像为隧道内表面展开图像。
所述步骤S1具体包括:
步骤S11:将所有样本图像,即隧道内表面展开图像转换为灰度图像;
步骤S12:针对渗漏水和不同的特征物,根据其位置,基于样本图像,获取并统计其特征信息;
步骤S13:基于统计的各特征物的特征信息确定隧道中各特征物及渗漏水的识别规则。
渗漏水的特征信息包括灰度,面积最小值和松散程度;
各特征物的特征信息如下:
接缝:纵缝像素宽度最大值,纵缝像素长度最小值,环缝像素宽度最大值,环缝像素长度最小值;
消防管:纵坐标位置,像素宽度,灰度;
电线:纵坐标位置,灰度;
注浆孔:像素长度,像素宽度,灰度,面积,椭圆度;
螺栓孔:像素长度,像素宽度,灰度;
电箱:像素长度,像素宽度,灰度。
所述步骤S2具体包括:
步骤S21:分别利用灰度梯度图像和灰度对线状特征物和块状特征物进行分割;
步骤S22:按照八连通判断,通过判断将分割后的像素聚合为独立的单元;
步骤S23:针对每个单元,计算其特征信息;
步骤S24:根据各单元的特征信息,基于确定的各特征物的识别规则识别特征物识别其中的特征物,其中:每识别完一种特征物,以灰度值255对该区域进行灰度重置以去除特征物。
特征物逐一识别剔除的过程中,按照特征物的长宽比大小排序,先识别长宽比大的线状特征物,再识别长宽比小的块状特征物;当特征物长宽比之差小于阈值时,按照特征物出现频率高低进行,先识别隧道中出现频率高的特征物,再识别出现频率低的特征物。
所述步骤S21中对于线状特征物的分割过程具体包括:
步骤S211:基于横向和纵向运算进行卷积运算;
Gx=A*G Gy=B*G
其中:Gx,Gy分别为经横向和纵向边缘检测后的图像,G为原始图像,A为横向的sobel算子,B为纵向的sobel算子;
步骤S212:计算出灰度图像的梯度大小和梯度方向:
其中:TG为灰度图像的梯度大小,Θ为梯度方向;
步骤S213:对得到的灰度梯度图像进行阈值分割,可以得到细线状物的边缘,进而得到线状物区域。
所述步骤S3具体包括:
步骤S31:对去除了特征物的灰度图像根据渗漏水的灰度最大值和最小值,进行分割;
步骤S32:将图像分割后得到的所有符合要求的像素,按照连通性形成块状单元,并计算每个单元的特征信息;
步骤S33:根据每个单元的特征信息,基于渗漏水的识别规则进行识别;
步骤S34:根据识别得到的渗漏水区域,对渗漏水区域进行开运算,去除区域的空洞和毛刺,再对区域进行闭运算填补渗漏水识别区域的孔洞;
步骤S35:运用闭运算连接遮挡完成形态学修复;
步骤S36:根据修正后每个渗漏水的像素面积,依照图像的像素与实际距离的换算关系,获得实际的渗漏水面积。
所述步骤S33具体包括:
步骤S331:剔除面积小于设定阈值的区域;
步骤S332:计算区域松散程度e.com:
其中,e.true_length为单元实际的轮廓长度,e.circle_length为单元所有像素组合为近圆形时其轮廓长度;
步骤S333:将灰度,面积和松散程度符合渗漏水识别规则的区域识别为渗漏水区域。
所述开运算为先腐蚀后膨胀,所述闭运算为先膨胀后腐蚀;
所述腐蚀运算为:
所述膨胀运算为:
其中:C为被处理图像,D为结构元素,x为图像C的单元横坐标,y为图像C的单元纵坐标。
与现有技术相比,本发明具有以下有益效果:
1)在渗漏水检测前,先对图像进行详细的预处理工作,即通过先对隧道特征物识别规则进行确定,然后逐一识别隧道特征物,在特征物全部剔除之后,再进行渗漏水的检测,此方法可以大幅度减少渗漏水检测的错识别率。
2)图像为隧道内表面展开图像,而不是局部图像,每个像素代表的实际面积确定,整张图片上隧道特征物在空间位置上有一定的规律性,可以准确检测渗漏位置。
3)针对不同的特征物给出了不同的特征信息,可以提高特征物的识别准确率。
4)每识别完一种特征物,以灰度值255对该区域进行灰度重置以去除特征物,可以提高识别准确度。
5)在渗透水识别时,综合面积大小和松散程度,可以去除杂声,并且区分渗透水和油渍。
附图说明
图1为本发明的流程示意图;
图2为本发明实施例中的流程示意图;
图3为本发明处理的原始图像示例;
图4为剔除隧道特征物后的图像;
图5(a)~(d)为渗漏水遮挡修复的闭运算示意图;
图6为渗漏水识别结果示例示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
一种基于图像特征识别的盾构隧道渗漏水检测方法,如图1和图2所示,包括:
步骤S1:通过隧道表面灰度图像统计确定隧道中各特征物的识别规则,所用隧道图像为灰度图像,是如图3所示的隧道内表面展开图像而不是局部隧道照片,此类图像可以来自于激光扫描仪或由局部照片经校正后拼接而成,其特点是每个像素代表的实际面积确定,整张图片上隧道特征物在空间位置上有一定的规律性,如图2所示,图像像素尺寸为5000×3136,实际环数为42环,总长度为50m,每个像素的实际面积为1cm2,具体包括:
步骤S11:将所有样本图像,即隧道内表面展开图像转换为灰度图像;;
步骤S12:针对渗漏水和不同的特征物,根据其位置,基于样本图像,获取并统计其特征信息;
步骤S13:基于统计的各特征物的特征信息确定隧道中各特征物及渗漏水的识别规则。
渗漏水的特征信息包括灰度,面积最小值和松散程度,本实施例中灰度值20到60,面积最小值200pixel2,松散程度<1.6;
各特征物的特征信息如下:
接缝:纵缝像素宽度最大值50像素,纵缝像素长度最小值100像素,环缝像素宽度最大值50像素,环缝像素长度最小值100像素;
消防管:纵坐标位置2380至2520,像素宽度40,像素长度3136像素,灰度值;
电线:纵坐标位置:0到760和2000至2330,灰度值0到35;
注浆孔:像素长度15像素,像素宽度15像素,灰度值30到80,面积>200pixel2,椭圆度1到1.5;
螺栓孔:像素长度40像素,像素宽度40像素,灰度30到80;
另外特征物大体可以分为细线状物,粗线状物和块状物,细线状物如接缝,粗线状物如消防管、电线,块状物如螺栓孔、注浆孔等。
步骤S2:基于确定的各特征物的识别规则,识别待识别图像中的特征物,并将识别得到的特征物的区域以灰度值255覆盖以去除特征物,具体包括:
步骤S21:分别利用灰度梯度图像和灰度对线状特征物和块状特征物进行分割;
步骤S22:按照八连通判断,通过判断将分割后的像素聚合为独立的单元;
步骤S23:针对每个单元,计算其特征信息,包括:位置、单元像素长度、单元像素宽度、面积、椭圆度等等,需要计算的属性根据具体隧道特征物确定;
步骤S24:根据各单元的特征信息,基于确定的各特征物的识别规则识别特征物识别其中的特征物,其中:每识别完一种特征物,以灰度值255对该区域进行灰度重置以去除特征物。
特征物逐一识别剔除的过程中,按照特征物的长宽比大小排序,先识别长宽比大的线状特征物,再识别长宽比小的块状特征物;对于长宽比较小的块状特征物,按照特征物出现频率高低进行,先识别隧道中出现频率高的特征物,再识别出现频率低的特征物。本实施例中顺序为:消防管、电线、接缝、螺栓孔、注浆孔。
步骤S21中对于线状特征物的分割过程具体包括:
步骤S211:基于横向和纵向运算进行卷积运算;
Gx=A*G Gy=B*G
其中:Gx,Gy分别为横向和纵向边缘检测后的图像,G为原始图像,A为横向的sobel算子,B为纵向的sobel算子;
两个算子具体为:
步骤S212:计算出灰度图像的梯度大小和梯度方向:
其中:TG为灰度图像的梯度大小,Θ为梯度方向;
梯度运算的实质是边缘检测,上述运算与本方法的图像适用,因此可以得到灰度梯度图像,再对灰度梯度图像进行阈值分割,分割梯度范围为大于1.5或小于-1.5,可以得到线状物的边缘,进而得到线状物区域。
步骤S213:对得到的灰度梯度图像进行阈值分割,可以得到细线状物的边缘,进而得到线状物区域。
步骤S3:对于去除了特征物的待识别图像,进行渗漏水识别,并在识别到渗漏水后确定渗漏水的位置和面积,其中进行渗漏水识别时所用的灰度图像,为剔除了所有隧道特征物后的图像,对剔除所有隧道特征物后的图像进行灰度分割时,根据常规方法确定渗漏水灰度分割的最大值为50,最小值为0。
该步骤具体包括:
步骤S31:对如图4所示的去除了特征物的灰度图像根据渗漏水的灰度最大值和最小值,进行分割;
步骤S32:将图像分割后得到的所有符合要求的像素,按照连通性形成块状单元,并计算每个单元的特征信息;
步骤S33:根据每个单元的特征信息,基于渗漏水的识别规则进行识别,具体包括:
步骤S331:剔除面积小于设定阈值的区域;
步骤S332:计算区域松散程度e.com:
其中,e.true_length为单元实际的轮廓长度,e.circle_length为单元所有像素组合为近圆形时其轮廓长度;
步骤S333:将灰度,面积和松散程度符合渗漏水的识别规则的区域识别为渗漏水区域。
开运算为先腐蚀后膨胀,闭运算为先膨胀后腐蚀;
腐蚀运算为:
其中:C为被处理图像,D为结构元素,x为图像C的单元横坐标,y为图像C的单元纵坐标;
该式表明用结构元素B腐蚀图像A,当B的原点沿着A的像元(x,y)移动时,如果B在像元(x,y)处,完全被包含在图像A重叠的区域(B中为1的元素位置上对应的A图像值也均为1),则将输出图像对应的像元(x,y)赋值为1,否则赋值为0。
膨胀运算为:
该式表示用结构元素B膨胀图像A,当B的原点沿着A的像元(x,y)移动时,如果B在像元(x,y)处与A的交集不为空(B中为1的元素位置上对应A的图像值至少有一个为1),则输出图像对应的像元(x,y)赋值为1,否则赋值为0。
步骤S34:根据识别得到的渗漏水区域,对渗漏水区域进行开运算,去除区域的空洞和毛刺,再对区域进行闭运算填补渗漏水识别区域的孔洞;
步骤S35:如图5所示,运用闭运算连接遮挡完成形态学修复;
其中,为了保证渗漏水识别的面积准确,形态学修复第一步和第二步中的膨胀腐蚀选取不同的结构元素进行;第一步选取常规的结构元素,第二步中根据渗漏水在隧道中实际形态(纵向条带状)此处用到纵向宽度为1像素宽度,长度大于管线长度的结构元素。
步骤S36:根据修正后每个渗漏水的像素面积,依照图像的像素与实际距离的换算关系,获得实际的渗漏水面积,最终获得71个渗漏水区域,结果如图6所示。
Claims (5)
1.一种基于图像特征识别的盾构隧道渗漏水检测方法,其特征在于,可以大幅度减少渗漏水检测的错识别率,所述方法包括:
步骤S1:通过隧道表面灰度图像统计确定隧道中各特征物的识别规则,
步骤S2:基于确定的各特征物识别规则,识别待识别图像中的特征物,并将识别得到的特征物的区域以灰度值255覆盖以去除特征物,
步骤S3:对于去除了特征物的待识别图像,进行渗漏水识别,并确定渗漏水的位置和面积;
所述图像为隧道内表面展开图像,隧道呈线状分布;
所述步骤S1具体包括:步骤S11:将所有样本图像转换为灰度图像,步骤S12:针对渗漏水和不同的特征物,根据其位置,基于样本图像,获取并统计其特征信息,步骤S13:基于统计的各特征物的特征信息确定隧道中各特征物及渗漏水的识别规则;
渗漏水的特征信息包括灰度,面积最小值和松散程度,各特征物的特征信息如下:接缝:纵缝像素宽度最大值,纵缝像素长度最小值,环缝像素宽度最大值,环缝像素长度最小值;消防管:纵坐标位置,像素宽度,灰度;电线:纵坐标位置,灰度;注浆孔:像素长度,像素宽度,灰度,面积,椭圆度;螺栓孔:像素长度,像素宽度,灰度;电箱:像素长度,像素宽度,灰度;
所述步骤S2具体包括:步骤S21:分别利用灰度梯度图像和灰度对线状特征物和块状特征物进行分割;步骤S22:按照八连通判断,通过判断将分割后的像素聚合为独立的单元;步骤S23:针对每个单元,计算其特征信息;步骤S24:根据各单元的特征信息,基于确定的各特征物的识别规则识别特征物识别图像中的特征物,其中:每识别完一种特征物,以灰度值255对该区域进行灰度重置以去除特征物;
特征物逐一识别剔除的过程中,按照特征物的长宽比大小排序,先识别长宽比大的线状特征物,再识别长宽比小的块状特征物;对于长宽比较小的块状特征物,按照特征物出现频率高低进行,先识别隧道中出现频率高的特征物,再识别出现频率低的特征物。
3.根据权利要求1所述的一种基于图像特征识别的盾构隧道渗漏水检测方法,其特征在于,所述步骤S3具体包括:
步骤S31:对去除了特征物的灰度图像根据渗漏水的灰度最大值和最小值,进行分割;
步骤S32:将图像分割后得到的所有符合要求的像素,按照连通性形成块状单元,并计算每个单元的特征信息;
步骤S33:根据每个单元的特征信息,基于渗漏水的识别规则进行识别;
步骤S34:根据识别得到的渗漏水区域,对渗漏水区域进行开运算,去除区域的空洞和毛刺,再对区域进行闭运算填补渗漏水识别区域的孔洞;
步骤S35:运用闭运算连接遮挡完成形态学修复;
步骤S36:根据修正后每个渗漏水的像素面积,依照图像的像素与实际距离的换算关系,获得实际的渗漏水面积。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811528692.1A CN109767426B (zh) | 2018-12-13 | 2018-12-13 | 一种基于图像特征识别的盾构隧道渗漏水检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811528692.1A CN109767426B (zh) | 2018-12-13 | 2018-12-13 | 一种基于图像特征识别的盾构隧道渗漏水检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109767426A CN109767426A (zh) | 2019-05-17 |
CN109767426B true CN109767426B (zh) | 2021-11-09 |
Family
ID=66450630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811528692.1A Active CN109767426B (zh) | 2018-12-13 | 2018-12-13 | 一种基于图像特征识别的盾构隧道渗漏水检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109767426B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111507971A (zh) * | 2020-04-20 | 2020-08-07 | 南京航空航天大学 | 一种隧道表面缺陷检测方法 |
CN111767815A (zh) * | 2020-06-22 | 2020-10-13 | 浙江省机电设计研究院有限公司 | 一种隧道渗漏水识别方法 |
CN117392126B (zh) * | 2023-12-08 | 2024-03-15 | 四川省水利科学研究院 | 一种水工隧洞缺陷检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102297660A (zh) * | 2011-05-20 | 2011-12-28 | 同济大学 | 一种盾构隧道衬砌管片接缝张开宽度的测量方法及装置 |
CN102679914A (zh) * | 2012-05-14 | 2012-09-19 | 同济大学 | 一种盾构隧道衬砌管片渗漏水面积的测量方法及装置 |
CN105387801A (zh) * | 2015-10-03 | 2016-03-09 | 上海大学 | 一种地铁隧道管片错台量检测方法 |
GB2542118A (en) * | 2015-09-04 | 2017-03-15 | Toshiba Res Europe Ltd | A method, apparatus, system, and computer readable medium for detecting change to a structure |
CN108230344A (zh) * | 2018-01-24 | 2018-06-29 | 上海岩土工程勘察设计研究院有限公司 | 一种隧道渗漏水病害自动识别方法 |
-
2018
- 2018-12-13 CN CN201811528692.1A patent/CN109767426B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102297660A (zh) * | 2011-05-20 | 2011-12-28 | 同济大学 | 一种盾构隧道衬砌管片接缝张开宽度的测量方法及装置 |
CN102679914A (zh) * | 2012-05-14 | 2012-09-19 | 同济大学 | 一种盾构隧道衬砌管片渗漏水面积的测量方法及装置 |
GB2542118A (en) * | 2015-09-04 | 2017-03-15 | Toshiba Res Europe Ltd | A method, apparatus, system, and computer readable medium for detecting change to a structure |
CN105387801A (zh) * | 2015-10-03 | 2016-03-09 | 上海大学 | 一种地铁隧道管片错台量检测方法 |
CN108230344A (zh) * | 2018-01-24 | 2018-06-29 | 上海岩土工程勘察设计研究院有限公司 | 一种隧道渗漏水病害自动识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109767426A (zh) | 2019-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102008973B1 (ko) | 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법 | |
CN105976352B (zh) | 一种基于灰度图像形态学的焊缝表面缺陷特征提取方法 | |
KR102121958B1 (ko) | 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램 | |
CN109767426B (zh) | 一种基于图像特征识别的盾构隧道渗漏水检测方法 | |
JP6029870B2 (ja) | コンクリート表面の変状検出方法及び装置 | |
CN105547602B (zh) | 一种地铁隧道管片渗漏水的远距离测量方法 | |
Schmugge et al. | Crack segmentation by leveraging multiple frames of varying illumination | |
CN107798293A (zh) | 一种道路裂缝检测装置 | |
CN111667470B (zh) | 一种基于数字图像的工业管道探伤内壁检测方法 | |
CN111507971A (zh) | 一种隧道表面缺陷检测方法 | |
CN111539927B (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 | |
Shahrokhinasab et al. | Performance of image-based crack detection systems in concrete structures | |
CN105387801A (zh) | 一种地铁隧道管片错台量检测方法 | |
CN111784645B (zh) | 一种充填管道裂纹检测方法 | |
CN111524154B (zh) | 一种基于影像的隧道管片自动化分割方法 | |
Heo et al. | Crack automatic detection of CCTV video of sewer inspection with low resolution | |
CN115272336A (zh) | 基于梯度向量的金属零件缺陷精准检测方法 | |
CN113962951B (zh) | 检测分割模型的训练方法及装置、目标检测方法及装置 | |
Hashmi et al. | Computer-vision based visual inspection and crack detection of railroad tracks | |
CN113763363A (zh) | 一种排水管道破裂缺陷检测及等级评定方法 | |
Saranya et al. | Comparison of segmentation techniques for detection of defects in non-destructive testing images | |
CN115841449B (zh) | 排水管道结构性缺陷纵向定位的单目测距方法及存储介质 | |
CN116381053A (zh) | 一种用于金属材料焊接的超声波检测方法及系统 | |
KR101944604B1 (ko) | 다양한 단면 형상을 가진 객체의 생산 수량 검수 자동화를 위한 장치 및 방법 | |
CN109544513A (zh) | 一种钢管端面缺陷提取识别的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |