CN113447536B - 一种混凝土介电常数反演与病害识别方法及系统 - Google Patents
一种混凝土介电常数反演与病害识别方法及系统 Download PDFInfo
- Publication number
- CN113447536B CN113447536B CN202110706142.XA CN202110706142A CN113447536B CN 113447536 B CN113447536 B CN 113447536B CN 202110706142 A CN202110706142 A CN 202110706142A CN 113447536 B CN113447536 B CN 113447536B
- Authority
- CN
- China
- Prior art keywords
- geological radar
- inversion
- dielectric constant
- identification
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
- G01N27/02—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance
- G01N27/22—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance by investigating capacitance
- G01N27/221—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance by investigating capacitance by investigating the dielectric properties
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/885—Radar or analogous systems specially adapted for specific applications for ground probing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Evolutionary Computation (AREA)
- Electromagnetism (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Electrochemistry (AREA)
- Biochemistry (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Geophysics And Detection Of Objects (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供了一种混凝土介电常数反演与病害识别方法及系统,对不同应用场景的地质雷达设备提取实际发射子波信号,将其作为仿真建模源子波信号进行正演,生成相应的地质雷达剖面图,其同建立的介电常数分布图和目标类别标签形成数据对,构成仿真训练数据集;构建地质雷达智能反演与识别模型,基于仿真训练数据集,训练所述地质雷达智能反演与识别模型;建立真实训练数据集,基于真实训练数据集和迁移学习方法微调所述地质雷达智能反演与识别模型;利用微调后的地质雷达智能反演与识别模型对真实雷达检测数据进行介电常数反演和病害识别。本发明解决了拼接位置病害形态与介电常数数值的不连续问题,适用于任意长度连续测线地质雷达数据处理。
Description
技术领域
本发明属于无损检测技术领域,具体涉及一种混凝土介电常数反演与病害识别方法及系统,尤其涉及一种用于任意长度连续测线地质雷达数据的混凝土介电常数反演与病害识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
涵闸、道路、桥梁、隧道等基础设施建设中会使用大量的混凝土结构,随着这些基础设施陆续建成并投入运营,在其长期服役过程中,大量混凝土结构存在开裂、钢筋锈涨、内部脱空、渗漏水等隐蔽病害,上述病害直接导致结构性能劣化与基础设施寿命折减,甚至引发安全事故,威胁人身财产安全,并造成恶劣的社会影响。
对混凝土内部病害的检测与识别是保障结构安全的有效手段,在诸多无损检测技术中,地质雷达以其精度高、探测效率高、现场工作灵活、方便等优点,已成为广泛应用的主流检测方法,其利用高频短脉冲向被测混凝土介质发射电磁波,经混凝土内部目标体(病害或界面)反射至接收天线,随着发射天线与接收天线沿着被测区域移动,“边走边测”,形成“移动位置(时间)-探测深度”剖面图(或B-Scan)。对于地质雷达探测剖面图的解释是识别诊断混凝土内部病害类型、位置、轮廓及属性的关键步骤。目前,工程上对这类图像的解释大多依赖检测人员的主观经验,时间长、人力成本高、自动化水平低。
近年来,伴随着新一代信息技术的快速发展,国内外将信号处理、图像处理、人工智能等技术用于地质雷达图像的自动解释,以实现基于地质雷达剖面图的目标自动识别、成像与介电属性反演。研究主要围绕基于地质雷达图像的目标识别与基于地质雷达数据的介电属性反演或成像两个方面。目前,传统的自动解释地质雷达数据的方法,主要是包括目前现有算法主要是包括对目标体的位置的识别和映射结构物性分布的反演。识别方法包括霍夫变换、小波变换、支持向量机、聚类、卷积神经网络等方法,可以定位目标体的大致位置并不能估计目标体的准确形态,但其普遍依赖双曲线特征的完整性,会根据双曲线顶点定位目标体位置,并且上述研究未曾考虑过双曲线特征不完整的现象。反演方法包括逆时偏移方法、层析成像方法以及全波形反演方法、卷积神经网络等方法,可以对地下结构进行成像,但是依赖于参数设定,并且时间成本较高,而且不能精准的重建分布。并且,上述所说的所有方法普遍考虑的是整条测线的信息,计算成本过高,也未将算法拓展到截断地质雷达B-Scan剖面。例如:中国铁建重工集团在其申请的专利文献“一种衬砌结构病害检测方法、装置及介质”(专利申请号:202110275113.2,申请日:2021.03.15,申请公布号CN112684443A)中提出了一种基于深度学习技术的地质雷达图像识别方法来进行隧道衬砌结构病害检测,利用二分类识别模型自动判断地质雷达图像中是否包含病害,若存在病害则根据第一检测模型判断病害类型和位置;深圳航天科技创新研究院在其申请的专利文献“基于探地地质雷达数据的后向投影成像方法、系统及存储介质”(专利申请号:202010976172.8,申请日:2020.09.16,申请公布号CN112213724A)中提出一种基于探地地质雷达数据的后向投影成像方法,围绕“时延-求和”的核心思想的优化经典的后向投影算法,提高了地质雷达数据的成像精度,实现了基于地质雷达数据的目标点成像。
由于地质雷达采用“边走边测”的工作模式,从数据获取方面,可以实现任意长度测线的探测。然而,从图像识别或反演成像方面,难以直接对任意长度测线进行反演或识别,特别是当测线长度较长是,数据量大,计算成本高,且对不同测线长度的数据难以通用。当前的做法是首先将地质雷达数据裁减成固定长度的数据段,形成局部短测线B-Scan,进而采用各种识别或反演成像方法对裁减后的局部短测线B-Scan数据进行处理,得到局部短测线B-Scan所对应的介电常数分布图或病害识别结果。在此基础上将介电常数图或病害识别结果直接拼接,以拼接后的结果作为长测线地质雷达数据所对应的识别或反演结果。
然而,采用上述方法进行反演与识别均存在以下问题:(1)地质雷达通常采用“边走边测”工作模式形成一条长测线地质雷达数据,而在地质雷达数据中,地下结构内部的目标体的反射呈现近似双曲线特性,同一目标体反射的双曲线波形不仅仅与目标体所对应空间位置的地质雷达数据有关,而且和其周围的地质雷达数据相关。当对数据进行裁剪后分成短测线B-Scan后,某一目标体特别是位于裁剪边界位置的目标体,其反射波形极可能被截断,导致在局部短测线B-Scan中目标体反射波形不完整或存在干扰。在此情况下对短测线B-Scan结果进行处理进而拼接,会导致连续测线的目标体成像结果的不连续或反演的数值不连续,难以处理任意长度连续测线的地质雷达数据。(2)现有方法将介电常数的反演与病害识别过程割裂,不能同时实现介电常数反演与病害类型识别。而实际上,基于同一组地质雷达数据既可以实现混凝土介电常数的反演,也可以完成对病害的准确识别,并且二者存在一定相关性。但现有方法没有充分考虑两个任务之间的关联关系,仅实现反演或者识别单一任务,无法充分挖掘其相互促进关系,同时实现反演与识别两个任务。例如:山东大学在在其申请的专利文献“一种基于深度学习的探地雷达智能反演方法”(专利申请号:202010723091.7,申请日:2020.01.08,申请公布号CN111781576A)中提出的一种基于深度学习的探地雷达智能反演方法,可以利用地质雷达数据端到端地重建地下介电常数分布。但是该方法适用于处理固定长度的短测线地质雷达数据,在连续长测线雷达数据反演过程中容易造成连续测线的目标体反演的数值不连续和形状错位。而且该方法也用于实现了基于探地雷达数据反演介电常数这一单一功能,没有在实现介电常数反演的同时对目标体的类型进行识别。
发明内容
本发明为了解决上述问题,提出了一种混凝土介电常数反演与病害识别方法及系统,本发明采用卷积神经网络与递归神经网络相结合进行上下文特征提取与交互,充分利用连续测线不同位置局部短测线B-Scan数据之间关联关系提升拼接处病害特征的一致性,解决了拼接位置病害形态与介电常数数值的不连续问题,适用于任意长度连续测线地质雷达数据处理。进而充分挖掘反演与识别任务的相互依赖关系,采用反演与识别多分支重建模块,同时实现了介电模型反演与病害的识别。
根据一些实施例,本发明采用如下技术方案:
一种混凝土介电常数反演与病害识别方法,包括以下步骤:
对不同应用场景的地质雷达设备提取实际发射子波信号,将其作为仿真建模源子波信号进行正演,生成相应的地质雷达剖面图,其同建立的介电常数分布图和目标类别标签形成数据对,构成仿真训练数据集;
构建地质雷达智能反演与识别模型,基于仿真训练数据集,训练所述地质雷达智能反演与识别模型;
建立真实训练数据集,基于真实训练数据集和迁移学习方法微调所述地质雷达智能反演与识别模型;
利用微调后的地质雷达智能反演与识别模型对真实雷达检测数据进行介电常数反演和病害识别。
作为可选择的实施方式,对不同应用场景的地质雷达设备提取实际发射子波信号,将其作为仿真建模源子波信号进行正演,具体过程包括:对不同应用场景确定地质雷达设备,提取该地质雷达设备的空采直达波作为子波,采用与该地质雷达设备子波频率和相位一致的雷克子波作为建模的源子波,每一副介电常数分布图进行正演,生成相应的地质雷达剖面图。
作为可选择的实施方式,地质雷达剖面图同建立的介电常数分布图和目标类别标签形成数据对的具体过程包括:将不同应用场景测量所得的背景噪声随机叠加到仿真雷达检测数据中,得到背景与子波接近真实的仿真数据;建立混凝土结构介电常数分布图和目标类别标签两种标签,得到“地质雷达剖面图-介电常数分布图与/或目标类别标签”数据对。
作为可选择的实施方式,所述地质雷达智能反演与识别模型包括级联的局部短测线空间特征提取结构、长测线时空特征交互结构和介电常数反演与目标识别双任务结构。
作为进一步的限定,所述局部短测线空间特征提取结构,采用多个并行的全卷积网络结构,每个全卷积网络结构用于单独处理从任意长度连续测线中不同位置提取的各个局部短测线B-Scan剖面,对其进行空间上下文特征提取,形成任意长度连续测线地质雷达检测数据的特征序列。
作为进一步的限定,所述长测线时空特征交互结构,采用一层Bi-ConvLSTM结构,用于实现局部短测线B-Scan剖面特征序列中的双向时空信息融合,通过地质雷达探测方向的正向和地质雷达探测方向的反向的局部短测线B-Scan特征的自适应信息融合,生成包含局部短测线B-Scan剖面之间的空间上下文信息的增强特征序列,以实现反演或识别具有连续形状、类别和介电常数值的混凝土内部目标。
作为进一步的限定,所述介电常数反演与目标识别双任务结构,采用多个并行的两分支卷积网络结构,每个并行的两分支卷积网络结构用于单独处理每个局部短测线B-Scan剖面经长测线时空特征交互结构提取的增强特征,同时重建混凝土介电常数分布和识别病害类型、位置及轮廓。
作为可选择的实施方式,建立真实训练数据集的具体过程包括:对地质雷达实际探测的连续测线地质雷达剖面数据、依据实际现场建立的介电常数模型以及目标类型标签进行对应的水平方向的随机裁剪和双线性插值以进行数据增强,建立真实训练数据集。
一种混凝土介电常数反演与病害识别系统,包括:
仿真训练数据构建模块,被配置为对不同应用场景的地质雷达设备提取实际发射子波信号,将其作为仿真建模源子波信号进行正演,生成相应的地质雷达剖面图,其同建立的介电常数分布图和目标类别标签形成数据对,构成仿真训练数据集;
模型构建训练模块,被配置为构建地质雷达智能反演与识别模型,基于仿真训练数据集,训练所述地质雷达智能反演与识别模型;
模型迁移学习模块,被配置为建立真实训练数据集,基于真实训练数据集和迁移学习方法微调所述地质雷达智能反演与识别模型;
反演与识别模块,被配置为利用微调后的地质雷达智能反演与识别模型对真实雷达检测数据进行介电常数反演和病害识别。
一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成上述方法中的步骤。
一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成上述方法中的步骤。
与现有技术相比,本发明的有益效果为:
本发明创新性提供了一种用于任意长度连续测线地质雷达数据的混凝土介电常数反演和病害识别方法,利用深度神经网络模型对任意长度连续测线的地质雷达检测数据实现自动化反演和识别。该方法采用卷积神经网络与递归神经网络相结合进行上下文特征提取与交互,充分利用连续测线不同位置局部短测线B-Scan数据之间关联关系提升拼接处病害特征的一致性,解决了拼接位置病害形态与介电常数数值的不连续问题,适用于任意长度连续测线地质雷达数据处理。
本发明充分挖掘地质雷达反演与识别任务的相互依赖关系,利用一个网络结构同时实现了同时实现了介电特性反演与病害类型、位置及形状的准确识别,实现了地质雷达反演任务和识别任务的特征共享,提升了模型泛化能力。
本发明通过模拟仿真方式获取“地质雷达剖面图-介电常数分布图&目标类别标签”数据对,通过采用多种背景介质和病害填充介质进行组合,能够得到充分的介电常数分布图和目标类别标签训练数据;采用与实际地质雷达子波频率和相位一致的雷克子波作为仿真数据正演的源子波,并对仿真数据进行预处理,使得仿真地质雷达检测数据更贴近真实地质雷达检测数据,为后续模型在真实地质雷达检测数据上的泛化能力提供了保障。
本发明还获取了任意长度连续测线的真实地质雷达检测数据,利用数据增强技术构建了真实地质雷达数据训练数据集。并采用了迁移学习方法,利用真实训练数据集微调基于仿真数据训练的智能反演与识别训练网络模型,使得智能反演与识别网络模型学习到真实地质雷达检测数据分布,能够更准确的识别真实混凝土结构病害。
本发明提出的方法能够用于混凝土无损检测、道路病害检测、工程地质勘察等领域,实现基于任意长度连续测线探测的结构内部介电特性的精细反演与病害类型、位置及形状的准确识别。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为根据实施例一所示的任意长度连续测线地质雷达数据的混凝土介电常数反演与病害识别方法的流程图;
图2为根据实施例一所示的任意长度连续测线地质雷达智能反演与识别网络结构示意图;
图3为根据实施例一所示的基于DenseUnet的局部短测线空间特征提取结构示意图;
图4为根据实施例一所示的长测线时空特征交互结构示意图
图5为根据实施例一所示的仿真地质雷达检测数据;
图6为根据实施例一所示的仿真介电常数分布图;
图7为根据实施例一所示的仿真目标类别标签;
图8为根据实施例一所示的任意长度连续测线地质雷达智能反演与识别预测的介电常数分布图。
图9为根据实施例一所示的任意长度连续测线地质雷达智能反演与识别网络预测的目标类别标签。
具体实施方式:
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例公开了一种用于任意长度连续测线地质雷达数据的混凝土介电常数反演和病害识别方法,包括如下步骤:
步骤S1:建立仿真训练数据集。
针对隧道衬砌病害结构检测问题,建立相应仿真数据集。所述步骤S1具体包括:
步骤S101:构建多种长度的隧道衬砌结构介电常数分布图和目标类别标签。
具体地,对背景介质、病害内部介质、病害数量及病害位置等随机组合,根据每一种组合方式均生成一幅衬砌结构剖面的介电常数分布图。对于每一幅剖面介电常数分布图,根据其包含的各目标体类别,生成与剖面介电常数分布图对应的一副目标类别标签。
其中,隧道衬砌结构模型包含长度为5m、10m、15m等长度的衬砌模型,以模拟出符合实际的多种连续测线长度。
所述背景介质包括素混凝土、钢筋混凝土等多种背景介质,所述病害包括空洞、不密实、裂缝、脱空、断层、溶洞等,病害内部介质为水、空气、泥、岩石等介质。
所述目标体类别依据介电常数模型中的目标进一步分为:钢筋、背景、无水空洞、无水不密实、无水裂缝、无水脱空、无水断层、无水溶洞、含水空洞、含水不密实、含水裂缝、含水脱空、含水断层、含水溶洞等,以更好地识别隧道衬砌内目标体类别。
步骤S102:采用与实际地质雷达子波频率和相位一致的雷克子波作为仿真数据建模的源子波,来对每一介电常数分布图进行正演,生成相应的地质雷达剖面图,并采用直达波去除、增益调整、噪声添加等方法对其进行预处理,来提高真实数据的适应性。
其中,所述正演采用FDTD方法。
所述直达波去除是用获得的仿真地质雷达数据减去其没有病害波形所在道的数据;所述增益调整是通过对比生成仿真地质雷达数据所用的雷克子波和地质雷达设备对着空气采集的空采直达波的幅值水平,对仿真数据的增益进行调整,使其处于同一维度;所述噪声添加是通过对不同现场的背景介质的地质雷达数据进行采集,并从0-1之间随机选择不同的比例将其添加到仿真地质雷达数据中。
步骤S103:通过获得的相应处理后的地质雷达剖面图(如图5),相应的介电常数分布图(如图6)和目标类别标签(如图7),得到多组“地质雷达剖面图-介电常数分布图&目标类别标签”数据对,将每组数据对中的介电常数分布图和目标类别标签数据作为地质雷达剖面图的标签,建立仿真训练数据集。
步骤S2:构建并训练任意长度连续测线地质雷达智能反演与识别网络模型
所述步骤S2具体包括:
步骤S201:构建任意长度连续测线地质雷达智能反演与识别网络结构
所述任意长度连续测线地质雷达智能反演与识别网络结构采用“局部短测线空间特征提取结构→长测线时空特征交互结构→介电常数反演与目标识别双任务结构”相级联的实现方式。如图2所示,所述任意长度连续测线地质雷达智能反演与识别网络结构以任意长度连续测线地质雷达检测数据Dn(n∈[1,N](N是数据集中全部连续测线地质雷达检测数据的数量)为输入,首先采用步长为S1的滑动窗口将Dn顺序切割为局部短测线B-Scan剖面序列(K为Dn被切割后的固定大小的局部短测线B-Scan剖面个数)。然后,局部短测线空间特征提取结构并行地对每个局部短测线B-Scan剖面进行空间上下文特征提取,得到特征序列接着,长测线时空特征交互结构以为输入,通过特征序列内的双向时空信息融合,提取包含具有相对稳定的目标特征(包括形状、类别和介电常数)的增强特征序列然后,介电常数反演与目标识别双任务结构并行处理每一个局部短测线B-Scan剖面的增强特征重建对应的介电常数分布图和识别目标类别标签最后,通过步长为S2的滑动窗口将和顺序拼接在一起,重叠位置取平均值,以获得整条连续测线的介电常数图Pn和目标类别标签In。
具体包括三个结构:
(1)局部短测线空间特征提取结构,采用多个并行的全卷积网络结构实现。每个全卷积网络结构单独处理从任意长度连续测线中不同位置提取的各个局部短测线B-Scan剖面对其进行空间上下文特征提取,形成任意长度连续测线地质雷达检测数据的特征序列
作为一种实现方式,所述全卷积网络结构利用DenseUnet网络实现。如图3所示,所述DenseUnet结构由一个一个编码路径和一个解码路径组成,编码路径中包含4个卷积层、4个最大池化层和4个密集块结构,解码路径包含4个卷积层、4个转置卷积层和4个密集块结构,编解码路径之间采用一个卷积层连接。所述编码路径通过逐步下采样将地质雷达检测数据压缩为高级抽象特征,解码路径通过逐步上采样操作获得隧道衬砌内部空间结构的初步表征。所述卷积层结构卷积核大小为3*3,步长为1,通道数为64,以提取地质雷达探测数据中的空间特征。编码路径每个密集块后连接最大池化层,最大池化层内核大小为2*2,步长为2,下采样后的输出被送入下一个编码路径密集块。解码路径的每个转置卷积层连接密集块前,转置卷积过滤器大小为4*4大小,步长为2,通道数为64,。上采样后的输出与来自相应编码路径密集块进行通道维度的拼接,然后送入下一个解码路径密集块。所述密集块结构包含3个串联的卷积层结构,卷积层卷积核大小为3*3,步长为1,通道数为64,每个卷积层将之前所有卷积层的输出信息添加到自身输出,用于促进梯度的流动,更好的学习地质雷达数据的表征。同时,编码路径和解码路径中相应的密集块结构间采用跳层连接,可以将编码过程中的空间信息传递到隧道衬砌内部结构的解码过程。
所述局部短测线空间特征提取结构对任意长度连续测线中提取的不同位置的各个局部短测线B-Scan剖面数据进行空间上下文特征提取,形成地质雷达剖面数据至混凝土内部结构空间信息的初步映射。
(2)长测线时空特征交互结构,采用一层的Bi-ConvLSTM结构实现。所述Bi-ConvLSTM实现局部短测线B-Scan剖面特征序列中的双向时空信息融合,通过前向(地质雷达探测方向的正向)和后向(地质雷达探测方向的反向)局部短测线B-Scan特征的自适应信息融合,生成包含局部短测线B-Scan剖面之间的空间上下文信息的增强特征序列以用于反演或识别具有连续形状、类别和介电常数值的隧道衬砌内部目标。
作为一种实现方式,如图4所示,所述长测线时空特征交互结构包括一层Bi-ConvLSTM结构。所述Bi-ConvLSTM包含一个前向ConvLSTM层,一个反向ConvLSTM层以及一个卷积层。所述Bi-ConvLSTM以局部短测线空间特征提取结构所提取的地质雷达数据特征序列为输入,前向ConvLSTM层在每个局部短测线B-Scan剖面之间沿着地质雷达探测方向向前传递隐藏状态和记忆细胞后向ConvLSTM层在每个局部短测线B-Scan剖面之间沿着地质雷达探测方向的反向向后传递隐藏状态和记忆细胞对于每一个输入的局部短测线剖面特征Bi-ConvLSTM单元将对应的前向隐藏状态和后向隐藏状态在通道维度上连接,然后通过一个卷积层得到最终的包含局部短测线B-Scan剖面空间上下文信息的增强特征。所述ConvLSTM内卷积结构及卷积层卷积结构均采用3*3大小卷积核,步长为1,通道数为64。
所述长测线时空特征交互结构融合任意长度连续测线中提取的不同位置的局部短测线B-Scan数据特征之间的双向时空信息,保证连续测线隧道衬砌结构介电常数反演结果和目标体识别结果的连续性与准确性。
(2)介电常数反演与目标识别双任务结构,采用多个并行的两分支卷积网络结构实现,每个并行的两分支卷积网络结构单独处理每个局部短测线B-Scan剖面经长测线时空特征交互结构提取的增强特征同时重建隧道衬砌结构介电常数分布和识别病害类型、位置及轮廓。
作为一种实现方式,所述两分支卷积网络结构宝包括反演任务分支和识别任务分支,每个分支包括1个卷积层和1个激活函数。其中,反演任务分支首先采用1层卷积层以降低输入特征维度,卷积核大小为1*1,步长为1,通道数为1。识别任务分支首先采用1层卷积层以降低输入特征维度,卷积核大小为1*1,步长为1,通道数为9。最后,在反演分支的尾部连接一个sigmoid激活函数以回归介电常数分布图,识别分支连接一个softmax函数以分类目标类别。
所述介电常数反演与目标识别双任务结构同时重建混凝土结构介电常数分布和识别病害类型、位置及轮廓,实现地质雷达反演任务和识别任务的特征共享,增强模型泛化能力。
步骤S202:基于仿真训练数据集,训练任意长度连续测线地质雷达智能反演与识别网络模型
基于仿真训练数据集,采用均方误差(MAE)、结构相似性指数(SSIM)与Lovasz_Softmax相结合的损失函数,利用ADAM优化算法对任意长度连续测线地质雷达智能反演与识别网络模型进行优化,训练得到任意长度连续测线地质雷达智能反演与识别网络模型。
步骤S3:建立真实训练数据集,并采用迁移学习方法得到适用于地质雷达实际探测数据的任意长度连续测线地质雷达智能反演与识别网络模型。
所述步骤S3具体包括:
步骤S301:建立真实训练数据集
对地质雷达实际探测的连续测线地质雷达剖面数据、依据实际现场建立的介电常数模型以及目标类型标签进行对应的水平方向的随机裁剪和双线性插值以进行数据增强,建立真实训练数据集。
步骤S302:基于真实训练数据集,采用迁移学习方法得到适用于地质雷达实际探测数据的任意长度连续测线地质雷达智能反演与识别网络模型。
利用真实训练数据集微调基于仿真数据训练的智能反演与识别训练网络模型,使得任意长度连续测线智能反演与识别网络模型学习到真实地质雷达检测数据分布,能够更准确的识别真实衬砌结构的病害。
步骤S4:利用任意长度连续测线地质雷达智能反演与识别网络模型对实际采集到的连续测线地质雷达检测数据进行介电常数反演和病害识别,得到相应的介电常数分布图和目标类型标签。
将训练好的适用于实际数据的智能反演与识别模型参数代入到构建的智能反演和识别网络中,即可得到可以进行实际应用的预测模型。然后,利用Pyqt界面开发工具进行了图形界面的开发,生成可供用户使用的界面,用户可以任意选择采集到的连续测线地质雷达检测数据输入图形界面,然后所述预测模型就会对所述地质雷达检测数据进行反演和识别,生成介电常数分布图和目标类别标签,如图8和图9所示,生成的介电常数分布图和目标类别的存储位置可以由用户自行选择。
根据介电常数分布图和目标类别标签能够还原连续测线测得的衬砌结构的背景介质、病害形态、病害中的填充介质以及病害类别,从而达到病害检测的目的。
当然,上述实施例中,参数的设计、网络的架构等都可以根据具体工况、场景进行更改,这是本领域技术人员容易想到的,理应属于本发明的保护范围,在此不再赘述。
实施例二:
一种混凝土介电常数反演与病害识别系统,包括:
仿真训练数据构建模块,被配置为对不同应用场景的地质雷达设备提取实际发射子波信号,将其作为仿真建模源子波信号进行正演,生成相应的地质雷达剖面图,其同建立的介电常数分布图和目标类别标签形成数据对,构成仿真训练数据集;
模型构建训练模块,被配置为构建地质雷达智能反演与识别模型,基于仿真训练数据集,训练所述地质雷达智能反演与识别模型;
模型迁移学习模块,被配置为建立真实训练数据集,基于真实训练数据集和迁移学习方法微调所述地质雷达智能反演与识别模型;
反演与识别模块,被配置为利用微调后的地质雷达智能反演与识别模型对真实雷达检测数据进行介电常数反演和病害识别。
实施例三:
一种电子设备,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成实施例一中提供的方法中的步骤。
实施例四:
一种计算机可读存储介质,用于存储计算机指令,所述计算机指令被处理器执行时,完成实施例一中提供的方法中的步骤。
以上一个或多个实施例具有以下技术效果:
利用深度神经网络模型对任意长度连续测线的地质雷达检测数据实现自动化反演和识别。该方法采用卷积神经网络与递归神经网络相结合进行上下文特征提取与交互,充分利用连续测线不同位置局部短测线B-Scan数据之间关联关系提升拼接处病害特征的一致性,解决了拼接位置病害形态与介电常数数值的不连续问题,适用于任意长度连续测线地质雷达数据处理。
充分挖掘地质雷达反演与识别任务的相互依赖关系,利用一个网络结构同时实现了介电特性反演与病害类型、位置及形状的准确识别,实现了地质雷达反演任务和识别任务的特征共享,提升了模型泛化能力。
通过模拟仿真方式获取“地质雷达剖面图-介电常数分布图&目标类别标签”数据对,通过采用多种背景介质和病害填充介质进行组合,能够得到充分的介电常数分布图和目标类别标签训练数据;采用与实际地质雷达子波频率和相位一致的雷克子波作为仿真数据正演的源子波,并对仿真数据进行预处理,使得仿真地质雷达检测数据更贴近真实地质雷达检测数据,为后续模型在真实地质雷达检测数据上的泛化能力提供了保障。
获取了任意长度连续测线的真实地质雷达检测数据,利用数据增强技术构建了真实地质雷达数据训练数据集。并采用了迁移学习方法,利用真实训练数据集微调基于仿真数据训练的智能反演与识别训练网络模型,使得智能反演与识别网络模型学习到真实地质雷达检测数据分布,能够更准确的识别真实混凝土结构病害。
能够用于混凝土无损检测、道路病害检测、工程地质勘察等领域,实现基于任意长度连续测线探测的结构内部介电特性的精细反演与病害类型、位置及形状的准确识别。
可基于仿真数据训练并推广应用于实际数据中,为解决隧道、桥梁、堤坝、道路等工程的真实数据反演问题。
本实施例方法呈现方式直观,可在电脑端或移动端显示数据反演结果并保存,方便高效,具有推广价值。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (6)
1.一种混凝土介电常数反演与病害识别方法,其特征是:包括以下步骤:
对不同应用场景的地质雷达设备提取实际发射子波信号,将其作为仿真建模源子波信号进行正演,生成相应的地质雷达剖面图,其同建立的介电常数分布图和目标类别标签形成数据对,构成仿真训练数据集;
构建地质雷达智能反演与识别模型,基于仿真训练数据集,训练所述地质雷达智能反演与识别模型;
建立真实训练数据集,基于真实训练数据集和迁移学习方法微调所述地质雷达智能反演与识别模型;
利用微调后的地质雷达智能反演与识别模型对真实雷达检测数据进行介电常数反演和病害识别;
所述地质雷达智能反演与识别模型包括级联的局部短测线空间特征提取结构、长测线时空特征交互结构和介电常数反演与目标识别双任务结构;
所述局部短测线空间特征提取结构,采用多个并行的全卷积网络结构,每个全卷积网络结构用于单独处理从任意长度连续测线中不同位置提取的各个局部短测线B-Scan剖面,对其进行空间上下文特征提取,形成任意长度连续测线地质雷达检测数据的特征序列;
所述长测线时空特征交互结构,采用一层Bi-ConvLSTM结构,用于实现局部短测线B-Scan剖面特征序列中的双向时空信息融合,通过地质雷达探测方向的正向和地质雷达探测方向的反向的局部短测线B-Scan特征的自适应信息融合,生成包含局部短测线B-Scan剖面之间的空间上下文信息的增强特征序列,以实现反演或识别具有连续形状、类别和介电常数值的混凝土内部目标;
所述介电常数反演与目标识别双任务结构,采用多个并行的两分支卷积网络结构,每个并行的两分支卷积网络结构用于单独处理每个局部短测线B-Scan剖面经长测线时空特征交互结构提取的增强特征,同时重建混凝土介电常数分布和识别病害类型、位置及轮廓。
2.如权利要求1所述的一种混凝土介电常数反演与病害识别方法,其特征是:对不同应用场景的地质雷达设备提取实际发射子波信号,将其作为仿真建模源子波信号进行正演,进行正演的具体过程包括:对不同应用场景确定地质雷达设备,提取该地质雷达设备的空采直达波作为子波,采用与该地质雷达设备子波频率和相位一致的雷克子波作为建模的源子波,对每一副介电常数分布图进行正演,生成相应的地质雷达剖面图。
3.如权利要求1所述的一种混凝土介电常数反演与病害识别方法,其特征是:地质雷达剖面图同建立的介电常数分布图和目标类别标签形成数据对的具体过程包括:将不同应用场景测量所得的背景噪声随机叠加到仿真雷达检测数据中,得到背景与子波接近真实的仿真数据;建立混凝土结构介电常数分布图和目标类别标签两种标签,得到“地质雷达剖面图-介电常数分布图与/或目标类别标签”数据对。
4.如权利要求1所述的一种混凝土介电常数反演与病害识别方法,其特征是:作为可选择的实施方式,建立真实训练数据集的具体过程包括:对地质雷达实际探测的连续测线地质雷达剖面数据、依据实际现场建立的介电常数模型以及目标类型标签进行对应的水平方向的随机裁剪和双线性插值以进行数据增强,建立真实训练数据集。
5.一种混凝土介电常数反演与病害识别系统,其特征是:包括:
仿真训练数据构建模块,被配置为对不同应用场景的地质雷达设备提取实际发射子波信号,将其作为仿真建模源子波信号进行正演,生成相应的地质雷达剖面图,其同建立的介电常数分布图和目标类别标签形成数据对,构成仿真训练数据集;
模型构建训练模块,被配置为构建地质雷达智能反演与识别模型,基于仿真训练数据集,训练所述地质雷达智能反演与识别模型;
模型迁移学习模块,被配置为建立真实训练数据集,基于真实训练数据集和迁移学习方法微调所述地质雷达智能反演与识别模型;
反演与识别模块,被配置为利用微调后的地质雷达智能反演与识别模型对真实雷达检测数据进行介电常数反演和病害识别;
所述地质雷达智能反演与识别模型包括级联的局部短测线空间特征提取结构、长测线时空特征交互结构和介电常数反演与目标识别双任务结构;
所述局部短测线空间特征提取结构,采用多个并行的全卷积网络结构,每个全卷积网络结构用于单独处理从任意长度连续测线中不同位置提取的各个局部短测线B-Scan剖面,对其进行空间上下文特征提取,形成任意长度连续测线地质雷达检测数据的特征序列;
所述长测线时空特征交互结构,采用一层Bi-ConvLSTM结构,用于实现局部短测线B-Scan剖面特征序列中的双向时空信息融合,通过地质雷达探测方向的正向和地质雷达探测方向的反向的局部短测线B-Scan特征的自适应信息融合,生成包含局部短测线B-Scan剖面之间的空间上下文信息的增强特征序列,以实现反演或识别具有连续形状、类别和介电常数值的混凝土内部目标;
所述介电常数反演与目标识别双任务结构,采用多个并行的两分支卷积网络结构,每个并行的两分支卷积网络结构用于单独处理每个局部短测线B-Scan剖面经长测线时空特征交互结构提取的增强特征,同时重建混凝土介电常数分布和识别病害类型、位置及轮廓。
6.一种计算机可读存储介质,其特征是:用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1-4中任一项所述的方法中的步骤。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110706142.XA CN113447536B (zh) | 2021-06-24 | 2021-06-24 | 一种混凝土介电常数反演与病害识别方法及系统 |
PCT/CN2021/111595 WO2022156192A1 (zh) | 2021-01-19 | 2021-08-09 | 用于涵闸隐蔽缺陷快速无损检测的爬壁机器人系统及方法 |
US17/765,215 US20240068951A1 (en) | 2021-01-19 | 2021-08-09 | Wall-climbing robot system and method for rapid nondestructive inspection of hidden defects in culverts and sluices |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110706142.XA CN113447536B (zh) | 2021-06-24 | 2021-06-24 | 一种混凝土介电常数反演与病害识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113447536A CN113447536A (zh) | 2021-09-28 |
CN113447536B true CN113447536B (zh) | 2022-09-30 |
Family
ID=77812497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110706142.XA Active CN113447536B (zh) | 2021-01-19 | 2021-06-24 | 一种混凝土介电常数反演与病害识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113447536B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114547745A (zh) * | 2022-02-24 | 2022-05-27 | 中国华西企业股份有限公司 | 一种钢管柱混凝土脱空缺陷定量预测方法 |
CN115343685A (zh) * | 2022-08-29 | 2022-11-15 | 北京国电经纬工程技术有限公司 | 应用于病害识别的多维度探地雷达检测方法、装置、设备 |
CN115902863A (zh) * | 2022-12-05 | 2023-04-04 | 中公高科养护科技股份有限公司 | 一种确定病害实际尺寸的方法、装置及设备 |
CN115856882B (zh) * | 2023-02-15 | 2023-05-16 | 山东大学 | 一种多极化地质雷达数据智能反演与成像方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875211A (zh) * | 2018-06-19 | 2018-11-23 | 中南大学 | 一种基于fetd与fdtd耦合的二维模型的探地雷达正演方法 |
CN109488384A (zh) * | 2018-12-28 | 2019-03-19 | 山东大学 | 一种适用于隧道衬砌自动检测系统及方法 |
CN111123374A (zh) * | 2019-12-25 | 2020-05-08 | 常州工学院 | 一种基于匹配滤波的探地雷达全波形反演方法 |
CN111323764A (zh) * | 2020-01-21 | 2020-06-23 | 山东大学 | 一种基于探地雷达的地下工程目标体智能识别方法及系统 |
CN111395125A (zh) * | 2020-04-24 | 2020-07-10 | 徐州徐工养护机械有限公司 | 道路检测车辆及信息处理方法 |
CN111781576A (zh) * | 2019-10-09 | 2020-10-16 | 山东大学 | 一种基于深度学习的探地雷达智能反演方法 |
CN112149502A (zh) * | 2020-08-19 | 2020-12-29 | 中国地质大学(武汉) | 一种基于卷积神经网络的不良地质定位预报方法 |
CN112462346A (zh) * | 2020-11-26 | 2021-03-09 | 西安交通大学 | 一种基于卷积神经网络的探地雷达路基病害目标检测方法 |
CN112731377A (zh) * | 2020-12-15 | 2021-04-30 | 郑州大学 | 一种介电常数反演方法、路基检测方法和检测系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102184278B1 (ko) * | 2018-11-21 | 2020-11-30 | 한국과학기술원 | 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템 |
CN112446852B (zh) * | 2019-08-30 | 2023-12-15 | 成都唐源电气股份有限公司 | 一种隧道成像平面展示方法及缺陷智能识别系统 |
CN112948952B (zh) * | 2021-04-08 | 2023-05-23 | 郑州航空工业管理学院 | 一种盾构隧道衬砌背后空洞的演化预测方法 |
-
2021
- 2021-06-24 CN CN202110706142.XA patent/CN113447536B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875211A (zh) * | 2018-06-19 | 2018-11-23 | 中南大学 | 一种基于fetd与fdtd耦合的二维模型的探地雷达正演方法 |
CN109488384A (zh) * | 2018-12-28 | 2019-03-19 | 山东大学 | 一种适用于隧道衬砌自动检测系统及方法 |
CN111781576A (zh) * | 2019-10-09 | 2020-10-16 | 山东大学 | 一种基于深度学习的探地雷达智能反演方法 |
CN111123374A (zh) * | 2019-12-25 | 2020-05-08 | 常州工学院 | 一种基于匹配滤波的探地雷达全波形反演方法 |
CN111323764A (zh) * | 2020-01-21 | 2020-06-23 | 山东大学 | 一种基于探地雷达的地下工程目标体智能识别方法及系统 |
CN111395125A (zh) * | 2020-04-24 | 2020-07-10 | 徐州徐工养护机械有限公司 | 道路检测车辆及信息处理方法 |
CN112149502A (zh) * | 2020-08-19 | 2020-12-29 | 中国地质大学(武汉) | 一种基于卷积神经网络的不良地质定位预报方法 |
CN112462346A (zh) * | 2020-11-26 | 2021-03-09 | 西安交通大学 | 一种基于卷积神经网络的探地雷达路基病害目标检测方法 |
CN112731377A (zh) * | 2020-12-15 | 2021-04-30 | 郑州大学 | 一种介电常数反演方法、路基检测方法和检测系统 |
Non-Patent Citations (2)
Title |
---|
Alex Hanson.Bidirectional convolutional LSTM for the detection of violence in videos.《ECCV 2018 Workshops,LNCS11130》.2019, * |
李姝凡.《基于探地雷达的确切内下病害识别方法研究》.《中国优秀高级论文全文数据库 工程科技II辑》.2020, * |
Also Published As
Publication number | Publication date |
---|---|
CN113447536A (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113447536B (zh) | 一种混凝土介电常数反演与病害识别方法及系统 | |
Huang et al. | BIM, machine learning and computer vision techniques in underground construction: Current status and future perspectives | |
CN111781576A (zh) | 一种基于深度学习的探地雷达智能反演方法 | |
CN113256562B (zh) | 基于雷达图像和人工智能的道路地下隐患检测方法和系统 | |
CN113204824B (zh) | 多模型融合的盾构施工沉降预测方法及系统 | |
CN111323764B (zh) | 一种基于探地雷达的地下工程目标体智能识别方法及系统 | |
Zong et al. | A deep learning approach for urban underground objects detection from vehicle-borne ground penetrating radar data in real-time | |
Wei et al. | Web-based visualisation for look-ahead ground imaging in tunnel boring machines | |
CN114035228B (zh) | 一种基于深度学习的隧道地震波速反演方法及系统 | |
CN112731522B (zh) | 地震地层智能识别方法、装置、设备及存储介质 | |
CN112231974B (zh) | 基于深度学习的tbm破岩震源地震波场特征恢复方法及系统 | |
CN110827406A (zh) | 一种实现大水网隧洞快速三维重构方法 | |
CN115980745A (zh) | 地下开采沉陷区智能识别方法、装置、电子设备及存储介质 | |
Chen et al. | A novel image-based approach for interactive characterization of rock fracture spacing in a tunnel face | |
CN115081719A (zh) | 一种基于自注意力机制与u型结构结合的地震相自动化识别方法 | |
Zeng et al. | Measuring annular thickness of backfill grouting behind shield tunnel lining based on GPR monitoring and data mining | |
Zhu et al. | TunGPR: Enhancing data-driven maintenance for tunnel linings through synthetic datasets, deep learning and BIM | |
Yue et al. | Automatic recognition of defects behind railway tunnel linings in GPR images using transfer learning | |
Pan et al. | Intelligent rock fracture identification based on image semantic segmentation: methodology and application | |
Wang et al. | Data-driven analysis of soil consolidation with prefabricated vertical drains considering stratigraphic variation | |
CN116256722B (zh) | 探地雷达B-scan图像的多次波干扰抑制方法及装置 | |
CN115236606B (zh) | 雷达信号特征提取方法和复数域卷积网络系统 | |
Guo et al. | Research on tunnel lining image target recognition method based on YOLOv3 | |
Su et al. | A Review of Deep Learning Applications in Tunneling and Underground Engineering in China | |
Abrão Zeni et al. | Semiautomatic determination of the geological strength index using SfM and ANN techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |