CN111152182B - 一种用于运营期隧道衬砌检测及病害诊断的多臂机器人 - Google Patents

一种用于运营期隧道衬砌检测及病害诊断的多臂机器人 Download PDF

Info

Publication number
CN111152182B
CN111152182B CN202010019203.0A CN202010019203A CN111152182B CN 111152182 B CN111152182 B CN 111152182B CN 202010019203 A CN202010019203 A CN 202010019203A CN 111152182 B CN111152182 B CN 111152182B
Authority
CN
China
Prior art keywords
arm
detection device
mobile platform
detection
disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010019203.0A
Other languages
English (en)
Other versions
CN111152182A (zh
Inventor
王正方
王静
刘斌
蒋鹏
隋青美
康文强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010723091.7A priority Critical patent/CN111781576A/zh
Publication of CN111152182A publication Critical patent/CN111152182A/zh
Priority to US17/289,280 priority patent/US12031922B2/en
Priority to PCT/CN2020/119578 priority patent/WO2021068846A1/zh
Application granted granted Critical
Publication of CN111152182B publication Critical patent/CN111152182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414Discriminating targets with respect to background clutter
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/881Radar or analogous systems specially adapted for specific applications for robotics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/885Radar or analogous systems specially adapted for specific applications for ground probing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种用于运营期隧道衬砌检测及病害诊断的多臂机器人,包括:移动平台,所述移动平台上设有环境探测装置和病害检测装置,其中,病害检测装置通过多自由度机械臂设于移动平台上,每个多自由度机械臂上均设置姿态检测模块;控制器接收环境探测装置和姿态检测模块感测的环境数据和机械臂姿态数据,根据环境数据向移动平台和多自由度机械臂发送控制指令,实现机器人的运动;控制器接收病害检测装置感测的隧道衬砌结构数据,进行病害诊断。本发明能够实现隧道衬砌表面和内部的全面自动检测。

Description

一种用于运营期隧道衬砌检测及病害诊断的多臂机器人
技术领域
本发明属于隧道病害检测领域,尤其涉及一种用于运营期隧道衬砌检测及病害诊断的多臂机器人。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
随着隧道工程的大量建设并陆续投入运营,其安全运营的重要性尤为重要。在其长期服役过程中,在自然环境及气候变化及行车等周期性疲劳荷载等多种因素作用下,大量运营期隧道结构存在诸如衬砌开裂、钢筋锈涨、内部脱空、渗水漏泥等结构隐蔽病害,上述病害极易造成隧道衬砌结构性能退化,导致隧道寿命折减,甚至引发安全事故,影响行车安全,威胁人民人身财产安全,并造成恶劣的社会影响。
目前对隧道结构内部病害检测仍然以人工巡检为主,且对病害的诊断多依赖检测人员的主观经验,易漏检误报,且检测时间长、人力成本高、智能化水平低。现有的隧道综合检测车需要借助车辆作为移动载体,难以实现隧道环境的自主进行与自主检测。随着信息技术与自动化技术的发展,巡检机器人以其高效、智能、可用于危险环境等特点,近年来逐渐应用于桥梁、大坝等大型基础设施检测。在隧道等地下工程领域,现有的巡检机器人大多针对电缆隧道等固定检测线路,机器人以导轨式为主,需在隧道中安装机器人专用的行进轨道,难以适用于公路、铁路及地铁隧道。新兴的用于隧道病害检测的爬墙式、飞行式、足式机器人负载小,远远无法满足对体积且质量较大的精密无损检测设备的载重需求。
已有的用于地铁隧道等有轨隧道的巡检机器人多搭载线扫或面扫高清相机、红外成像仪、激光三维扫描仪等表面检测设备,存在以下问题:1)面扫高清相机、红外成像设备获取的表面检测图像拼接后极易发生畸变,严重影响检测效果;2)激光三维扫描仪够获取绝对位移的图像,图像无畸变,但扫描速度慢,导致检测速度慢;3)线扫相机成像速度快、图像畸变小,但成像效果受光源与相机焦距变化影响严重,在无固定运行轨道的公路隧道中,易受车辆运行轨迹偏移等影响,现有方法需固定焦距或针对不同隧道洞径重新调节,难以在公路隧道中应用推广;4)上述检测设备仅能对隧道结构表面的裂缝、脱落及渗漏水病害进行检测,无法满足对结构内部损伤检测的迫切需求。
发明内容
为克服上述现有技术的不足,本发明提供了一种用于运营期隧道衬砌检测及病害诊断的多臂机器人,可对隧道结构进行自动化快速巡检,并对毫米级损伤进行精细检测与智能诊断,可极大提高衬砌病害检测和诊断的便捷性、快速性与准确性。
为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:
一种用于运营期隧道衬砌检测及病害诊断的多臂机器人,包括:移动平台,所述移动平台上设有环境探测装置和病害检测装置,其中,病害检测装置通过多自由度机械臂设于移动平台上,每个多自由度机械臂上均设置姿态检测模块;
控制器接收环境探测装置和姿态检测模块感测的环境数据和机械臂姿态数据,根据环境数据向移动平台和多自由度机械臂发送控制指令,实现机器人的运动;
控制器接收病害检测装置感测的隧道衬砌结构数据,进行病害诊断。
进一步地,所述病害检测装置包括宽频段空气耦合雷达和/或X光背散射检测装置;所述环境探测装置包括线阵照相机阵列、近红外双目立体成像相机和外热成像装置中的一个或多个。
进一步地,所述宽频段空气耦合雷达通过可折叠机械臂设于移动平台上;所述机械臂的第一节臂固定于移动平台上,最后一节臂连接可折叠支撑结构;所述可折叠支撑结构包括多段相互铰接的支撑杆,且其中一个支撑杆与最后一节臂呈垂直角度固定连接;每个支撑杆上均设有一个宽频段空气耦合雷达。
进一步地,每个支撑杆均通过可调节支架与宽频段空气耦合雷达连接;所述可调节支架包括弧形导轨、伸缩杆和撑开杆,其中,伸缩杆和撑开杆交叉旋转连接,且二者的端部均与弧形轨道滑动连接;伸缩杆的另一个端部连接于支撑杆上;宽频段空气耦合雷达通过滑动云台设于弧形轨道上。
进一步地,所述伸缩杆与撑开杆的交叉连接处设有齿轮,与步进电机连接,撑开杆的轴向上设有滑道结构,滑道内壁设有齿条,与伸缩杆上的齿轮相啮合;控制器通过步进电机控制齿轮旋转。
进一步地,所述X光背散射检测装置通过负载机械臂设于移动平台上,所述负载机械臂为三节机械臂结构;其中,第一节臂固定与移动平台上,第二节臂内置供电及水冷散热系统,第三节臂末端通过辐射屏蔽部件连接X光背散射检测装置,所述辐射屏蔽部件内置射线源及单光子探测器阵列。
进一步地,还包括液压系统,液压系统一端与移动平台连接,另一端与第二、三节臂关节处连接。
进一步地,移动平台底部设置吸附式载重平衡组件,所述吸附式载重平衡组件采用多腔负压吸附结构,当负载机械臂工作时,通过真空补气迅速产生负压吸附于地表。
进一步地,移动平台底部还设有动力及充电模块。
进一步地,移动平台的移动机构为探出式轨道轮。
以上一个或多个技术方案存在以下有益效果:
(1)本发明的移动机器人能够自主行进,并在行进过程中,基于人工智能进行衬砌病害检测。
(2)采用轮轨复合式移动平台可在公路、铁路、地铁等不同领域的隧道中行进,且具有一定的越障能力;并且将测量设备与大负载机械臂一体化,解决现有机器人负载能力的问题,并且提高了机器人的稳定性。
(3)采用非接触式X光背散射系统代替常规的锤击、超声、冲击回波等接触式无损检测系统,提高内部裂缝等病害的检测精度,且提高检测效率。
(4)机器人的检测端采用可折叠支撑结构,用于安装宽频段空气耦合雷达,灵活性高,且探测范围大。
(5)大负载测量臂的端部、可折叠支撑结构端部安装激光测距仪,保证了对检测设备与被测隧道壁距离进行实时动态调控,在机器人高速运动的同时保证测量图像不发生畸变,同时保证了检测设备与隧道壁不直接接触,从而保护了检测设备。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明实施例中所述机器人整体结构图;
图2为本发明实施例中可折叠测量臂结构图;
图3为根据本发明实施例所示的深度学习网络结构示意图;
图4为根据本发明实施例所示的仿真雷达检测数据;
图5为根据本发明实施例所示的仿真介电模型图;
图6为根据本发明实施例所示的深度学习网络预测图。
其中,1.轮轨复合式移动平台,2.可折叠测量臂,3.大负载机械测量臂,4.吸附式载重平衡组件,5.线扫相机基座,6.机器人控制系统,7.动力及充电模块,8.诊断服务器,9.轮式移动结构,10.可探出式轨道轮,11.结构光双目立体成像相机,12.线阵照相机阵列,13.红外热成像装置,14.X射线背散射系统,15.GHz/THZ宽频带空气耦合雷达,16.液压系统,17.X光背散射检测装置供电及水冷散热系统,18.辐射屏蔽部件,19.射线源,20.单光子探测器阵列,21.大负载机械臂姿态精密控制单元,22.弧形导轨,23.伸缩杆,24.撑开杆,25.滑动云台,26.齿条,27.惯导模块,28.激光测距仪。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
所使用术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系,只是为了便于叙述本发明各部件或元件结构关系而确定的关系词,并非特指本发明中任一部件或元件,不能理解为对本发明的限制。本申请中,术语如“固接”、“相连”、“连接”等应做广义理解,表示可以是固定连接,也可以是一体地连接或可拆卸连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员,可以根据具体情况确定上述术语在本发明中的具体含义,不能理解为对本发明的限制。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例公开了一种用于运营期隧道衬砌快速精细检测及病害智能诊断的多臂机器人,包括:一个轮轨复合式移动平台1,移动平台1上设置有多条可折叠测量臂2、检测设备内置式大负载机械测量臂3、线扫相机基座5、机器人控制器6。所述线扫相机基座5上设有线阵照相机阵列12;机器人控制器6上设有近红外结构光双目立体成像相机11和红外热成像装置13;可折叠测量臂2上设有宽频段空气耦合雷达15,大负载机械测量臂3上设有X光背散射检测装置14。
其中,线阵照相机阵列12用于表面病害检测;近红外双目立体成像相机11用于对光照不均匀的隧道环境进行定位及构图;外热成像装置13用于对隧道壁面的线管、通风系统、供电设施等进行避障;宽频段空气耦合雷达15和X光背散射检测装置14均用于对隧道衬砌结构内部的裂缝及孔洞进行检测,其中,X光背散射检测装置14均用于检测2m范围内的厘米级裂缝及空洞进行检测。
进一步地,每个所述可折叠测量臂2均为多节机械臂结构,各节机械臂之间旋转连接;所述机械臂的第一节臂固定于移动平台1上,最后一节臂连接可折叠支撑结构;所述可折叠支撑结构包括多段相互铰接的支撑杆,且其中一个支撑杆与最后一节臂呈垂直角度固定连接;每个支撑杆上均设有宽频段空气耦合雷达15。本实施例中,测量臂2为三节机械臂结构,可折叠支撑结构包括三段支撑杆,第三节臂与中间一段支撑杆呈垂直角度固定连接。
每个支撑杆和相应的宽频段空气耦合雷达15之间均通过可调节支架连接。所述可调节支架包括弧形导轨22、伸缩杆23和撑开杆24。其中,伸缩杆23和撑开杆24交叉旋转设置,且二者的端部均与弧形轨道滑动连接,当二者的交叉角度改变时,端部沿轨道相应的滑动。伸缩杆的另一个端部与支撑杆连接。
本实施例中,伸缩杆23和撑开杆24端部都设有套件,套接在弧形轨道上。所述伸缩杆23为两级伸缩杆,包括内杆件和外杆件,内杆件通过连接件与支撑杆连接,并且,内杆件与连接件转动连接,支撑件可沿支撑杆轴向滑动。外杆件端部与弧形导轨22的一端连接,弧形导轨22另一端连接撑开杆24,且外杆件与撑开杆交叉连接。所述外杆件上与撑开杆的交叉处设有齿轮,撑开杆的轴向上设有滑道结构,滑道内壁设有齿条26,与外杆件上的齿轮相啮合。控制器通过步进电机控制齿轮旋转即可调整撑开杆的张开角度。调节外杆件与撑开杆之间的交叉角度可使撑开杆沿导轨移动,使得弧形导轨的长度改变。伸缩杆23伸缩可以在一定范围内调节与被测结构面距离。
弧形导轨上设有滑动云台25,可沿弧形导轨表面滑动。宽频段空气耦合雷达15设于滑动云台25上。
弧形导轨上的滑动云台25上还设有惯导模块27与激光测距仪28,在行进过程中实时测算折叠臂姿态角度及距离隧道表面距离信息,该信息反馈至机器人控制器,快速控制可折叠测量臂张开角度与距离,使搭载于测量臂的雷达与隧道表面距离基本保持恒定。
本领域技术人员可以理解,机械臂的节数、可折叠支撑结构包含的支撑杆数量,以及伸缩杆的节数,均可以根据需求进行改变,在此不做限定。
所述检测装置内置式大负载测量臂3采用三节机械臂结构,其中,第一节臂3固定与移动平台1上,第三节臂末端通过辐射屏蔽部件18连接X光背散射检测装置14,第二节臂17内置供电及水冷散热系统,用于为X光背散射检测装置14供电和散热。其中,为减轻第三节臂顶端负重,辐射屏蔽部件18为圆柱形结构,与圆筒形前臂紧密贴合,内置射线源19及单光子探测器阵列20,第三节臂单独设置大负载机械臂姿态精密控制单元21,以控制该测量臂完成伸缩及旋转等多角度精细动作,并对隧道壁面的线管、通风系统、供电设施等进行避障。为提升大负载测量臂的负载能力,还设置液压系统16,液压系统16一端与移动平台1连接,一端与第二、三节臂关节处连接。所述X光背散射检测装置14用于对隧道衬砌结构内部毫米级内部裂缝损伤进行检测。第三节臂前端还设有惯导模块27与激光测距仪28。
具体地,移动平台1上,前端为大负载测量臂3,其后为两条可折叠测量臂2置于移动平台1上,且左右对称分布。
所述轮轨复合式平台前端设有惯导模块与环形布设的激光测距仪,在行进过程中实时测算姿态角度及距离隧道表面距离信息,该信息反馈至机器人控制器,快速控制四条可折叠测量臂张开角度与距离,使搭载于测量臂的相机及雷达与隧道表面距离基本保持恒定,保证在快速行进中获取的表面图像及雷达信息不发生畸变。
轮轨复合式移动平台1底部设置吸附式载重平衡组件4,所述吸附式载重平衡组件4采用多腔负压吸附结构,置于轮轨复合式移动平台1底部的,当大负载机械臂工作时,通过真空补气迅速产生负压吸附于地表,快速保持机器人稳定,避免采用传统液压支架结构而导致系统撑开时间长的问题,提高工作效率。
轮轨复合式移动平台1底部还设有动力及充电模块7,驱动机器人行进并为检测系统提供电源,包括蓄电池充电及无线充电系统两套充电装置,可通过无线及有线充电方式给电池模块充电。
轮轨复合式移动平台1为轮轨复合式,轮式移动结构9用于在公路隧道行进,同时,平台前后设置有可探出式轨道轮10,可行进于铁路及地铁等带轨道隧道,轨道轮在一定程度可撑起,保证机器人在不平整路面行进的越障能力。
所述机器人控制器6内置有诊断服务器8,控制器6接收近红外结构光双目立体成像相机11获取的数据,对光照不均匀的隧道环境进行定位及构图,控制机器人自主行进,同时通过诊断服务器8内置深度学习算法对病害进行智能诊断。
所述的多功能无损检测结构病害系统包括结构光深度相机11、线阵照相机阵列12、红外热成像装置13等表面病害检测仪器;以及X射线背散射系统14、GHz/THZ宽频带空气耦合雷达15等内部病害检测装置。
其中,本实施例公开了一种基于深度学习的探地雷达智能反演方法,包括如下步骤:
步骤S1:建立仿真训练数据集,所述仿真训练数据集包括多组雷达剖面图-介电常数分布图数据对。
针对隧道衬砌病害结构检测问题,建立相应仿真数据集。所述步骤S1具体包括:
步骤S101:对背景介质和病害内部介质随机组合,对于每一种组合方式均生成一幅衬砌剖面的介电常数分布图。具体地,拟合衬砌剖面上各层背景介质之间的层间界面以及病害轮廓,根据各类介质对应的介电常数,生成多幅介电常数分布图。
其中,所述背景介质类型包括素混凝土、钢筋混凝土、岩石、土体等多种背景介质,所述病害类型包括空洞、不密实、裂缝、脱空、断层、溶洞等,病害内部介质为水、空气、泥、岩石等介质。
所述各层背景介质之间的层间界面采用二次样条曲线拟合。所述病害轮廓采用不规则复杂双曲线拟合。从而能够模拟出符合实际的层间界面和不同病害类型对应的各种复杂形状。
步骤S102:对于每一介电常数分布图均进行正演,生成相应的雷达剖面图,从而得到多组雷达剖面图-介电常数分布图数据对。
其中,所述正演采用FDTD方法。
步骤S103:将每组数据对中的介电常数分布图数据作为雷达剖面图的标签,得到仿真训练数据集。
步骤S2:构建雷达反演深度学习网络模型架构。
所述雷达反演深度学习网络模型采用“多层卷积→多层感知机→多层反卷积”相级联的实现方式,网络卷积方式、具体网络层数及各层所用卷积核大小,均根据雷达检测数据与介电常数模型的数据维度来确定。具体包括两个结构:
(1)道对道的编码结构,采用多层卷积与多层感知机实现。其中,多层卷积结构用于利用邻域信息增强雷达单道数据;多层感知机结构用于对增强后的每一道雷达单道数据进行压缩和重组,按照顺序进行拼接,实现邻域信息的充分提取以及数据对间的空间特征信息对应。
作为一种实现方式,所述多层卷积结构包括5层卷积层,感知机结构为6层,卷积层卷积核大小为5*5,以实现邻域信息的充分提取以及数据对的空间特征信息对应。
作为另一种实现方式,所述多层卷积结构包括多层卷积层和空洞空间金字塔池化结构,具体地,所述多层卷积结构中的第2-4层中任一层可替换为空洞空间金字塔池化结构,所述空洞空间金字塔池化结构由4种不同分辨率(分辨率为1、3、5、7)的空洞卷积并联而成,卷积核大小确定为3*3大小,用于扩张感受野及提取多尺度特征,充分利用原始数据中的有效信息,实现原始信息的邻域增强。
通过多层感知机结构用于对单道特征压缩操作,去除无关和冗余特征,实现数据中有效信息的“重组”。为有效实现对单道雷达数据的特征压缩,确定感知机层数不少于6层,各层维度依据单道数据特征与介电常数模型比例确定。
如图4所示,横坐标上每一个探测距离值对应一道雷达检测数据,如图5所示,病害相应的雷达检测数据与介电常数所对应的探测距离范围不一致,或者说空间特征信息并不完全对应,且病害相应的雷达检测数据所对应的探测距离范围更大。为了使特征在雷达检测数据图与介电常数分布图中更准确的对应。本实施例通过多层卷积结构对每一单道雷达数据进行增强,融合相邻道的特征信息,使得单道雷达数据特征信息更为丰富,与介电常数所对应的探测距离范围对应性更好,从而保证了后续模型的准确性。
(2)相对介电常数模型解码结构,获取雷达检测数据特征,依据提取数据特征维度与介电常数模型维度比例,确定反卷积层数及卷积方式,采用3*3大小卷积核,确定不少于8层的卷积结构,实现介电常数分布图的重建。
作为一种实现方式,所述相对介电常数模型解码结构包括9层卷积结构,第1-2层为反卷积层,实现特征图到模型的扩张,并加入dropout操作提升模型泛化能力;第3层为上采样层,采用双线性插值方式实现数据到模型的维度对应;第4层为空洞空间金字塔池化结构,由4种不同分辨率(分辨率为1、3、5、7)的空洞卷积并联而成,用于扩张感受野;第5-9层利用5层卷积进行数据特征融合,重建介电常数分布图。
所述相对介电常数模型解码结构首先利用多层反卷积实现特征图到模型的扩张,接着利用双线性插值方式实现雷达检测数据到介电常数模型的维度对应,利用不同分辨率的空洞卷积形成空洞空间组成金字塔池化结构扩张感受野,最后利用卷积神经网络进行数据特征融合,实现单道特征重建相应位置下的信息,重建介电常数模型。采用多层反卷积及空洞卷积结构在扩张数据维度的同时,充分融合编码器所提取的雷达数据特征,实现利用单道雷达数据特征重建介电常数分布图相应位置下的信息,预测生成介电常数分布图。
步骤S3:获取真实探测得到的没有病害的雷达背景噪声数据剖面图,将其与仿真训练数据集中的雷达剖面图进行融合,形成“伪真实”数据,得到用于模型训练的训练数据集,训练雷达反演深度学习网络模型,得到模型参数。
将雷达背景噪声数据剖面图与雷达剖面图通过强度归一化融合。通过真实探测获得的雷达背景噪声剖面图能够反映衬砌剖面的真实背景情况,与仿真训练数据集中的雷达剖面图进行相加,得到新的训练数据集训练雷达反演模型,能够更准确的识别衬砌结构的病害。
采用均方误差(MSE)与多尺度结构相似性指数(MS_SSIM)相结合的loss函数,利用ADAM优化算法对雷达反演深度学习网络的误差梯度进行优化,训练构造雷达智能反演模型。
步骤S4:根据雷达反演深度学习网络模型,对实时采集到的雷达检测数据进行反演,得到相应的介电常数分布图。
将深度学习模型参数代入到初始的深度学习模型中,即可得到可以进行实际应用的预测模型。然后使用pyinstaller将所述预测模型打包成EXE应用程序,生成可供用户使用的界面,用户可以对采集到的雷达检测数据进行输入,然后所述预测模型就会对所述雷达检测数据进行反演,生成介电常数分布图,生成的介电常数分布图的存储位置可以由用户自行选择。
根据介电常数分布图能够还原衬砌被测剖面的背景介质和病害形态和病害中的填充介质,从而达到病害检测的目的。
上述反演方法通过深度学习方法充分学习雷达检测数据信息,可对复杂雷达检测数据实现自动化反演,该方法同时实现了较高的检测精度和较快的处理速度,保证了雷达数据处理的实时性。通过模拟仿真方式获取雷达检测图-介电常数分布图数据对,通过采用多种背景介质和病害填充介质进行组合,能够得到充分的介电常数分布图训练数据;通过对介质间的界面曲线和病害轮廓进行模拟,使得介电常数分布图更为真实,为后续模型的泛化能力提供了保障。还获取了无病害的真实雷达探测数据,将其作为背景加入仿真训练数据集,使得训练数据集中的雷达检测数据与真实更为接近。所采用的深度学习网络在对雷达检测数据进行特征学习时,首先以单道检测数据为对象,采用邻域数据进行特征增强,再将增强后的各单道检测数据进行合并,解决了雷达数据与介电模型空间位置不对应问题。
以上一个或多个实施例具有以下技术效果:
(1)本发明的移动机器人能够自主行进,并在行进过程中,基于人工智能进行衬砌病害检测。
(2)采用轮轨复合式移动平台可在公路、铁路、地铁等不同领域的隧道中行进,且具有一定的越障能力;并且将测量设备与大负载机械臂一体化,解决现有机器人负载能力的问题,并且提高了机器人的稳定性。
(3)采用非接触式X光背散射系统代替常规的锤击、超声、冲击回波等接触式无损检测系统,提高内部裂缝等病害的检测精度,且提高检测效率。
(4)机器人的检测端采用可折叠支撑结构,用于安装宽频段空气耦合雷达,灵活性高,且探测范围大。
(5)大负载测量臂的端部、可折叠支撑结构端部安装激光测距仪,保证了对检测设备与被测隧道壁距离进行实时动态调控,在机器人高速运动的同时保证测量图像不发生畸变,同时保证了检测设备与隧道壁不直接接触,从而保护了检测设备。
本领域技术人员应该明白,上述本发明的各模块或各步骤可以用通用的计算机装置来实现,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种用于运营期隧道衬砌检测及病害诊断的多臂机器人,其特征在于,包括:移动平台,所述的移动平台为轮轨式复合移动平台,轮式结构可用于公路隧道行进,移动平台的前后设置可探出式轨道轮,可行进于带轨道的隧道,所述移动平台上设有环境探测装置和病害检测装置,其中,病害检测装置通过多自由度机械臂设于移动平台上,每个多自由度机械臂上均设置姿态检测模块;
控制器接收环境探测装置和姿态检测模块感测的环境数据和机械臂姿态数据,根据环境数据向移动平台和多自由度机械臂发送控制指令,实现机器人的运动;所述控制器上设置有近红外结构光双目立体成像相机,所述控制器接收近红外结构光双目立体成像相机获取的数据,对光照不均匀的隧道环境进行定位及构图,控制机器人自主行进;所述病害检测装置包括宽频段空气耦合雷达,所述宽频段空气耦合雷达通过可折叠机械臂设于移动平台上;所述机械臂的第一节臂固定于移动平台上,最后一节臂连接可折叠支撑结构;所述可折叠支撑结构包括多段相互铰接的支撑杆,且其中一个支撑杆与最后一节臂呈垂直角度固定连接;每个支撑杆上均设有一个宽频段空气耦合雷达;
控制器接收病害检测装置感测的隧道衬砌结构数据,进行病害诊断。
2.如权利要求1所述的用于运营期隧道衬砌检测及病害诊断的多臂机器人,其特征在于,所述的病害检测装置还包括X光背散射检测装置;所述环境探测装置包括线阵照相机阵列、近红外双目立体成像相机和外热成像装置中的一个或多个。
3.如权利要求1所述的用于运营期隧道衬砌检测及病害诊断的多臂机器人,其特征在于,每个支撑杆均通过可调节支架与宽频段空气耦合雷达连接;所述可调节支架包括弧形导轨、伸缩杆和撑开杆,其中,伸缩杆和撑开杆交叉旋转连接,且二者的端部均与弧形轨道滑动连接;伸缩杆的另一个端部连接于支撑杆上;宽频段空气耦合雷达通过滑动云台设于弧形轨道上。
4.如权利要求3所述的用于运营期隧道衬砌检测及病害诊断的多臂机器人,其特征在于,所述伸缩杆与撑开杆的交叉连接处设有齿轮,与步进电机连接,撑开杆的轴向上设有滑道结构,滑道内壁设有齿条,与伸缩杆上的齿轮相啮合;控制器通过步进电机控制齿轮旋转。
5.如权利要求2所述的用于运营期隧道衬砌检测及病害诊断的多臂机器人,其特征在于,所述X光背散射检测装置通过负载机械臂设于移动平台上,所述负载机械臂为三节机械臂结构;其中,第一节臂固定与移动平台上,第二节臂内置供电及水冷散热系统,第三节臂末端通过辐射屏蔽部件连接X光背散射检测装置,所述辐射屏蔽部件内置射线源及单光子探测器阵列。
6.如权利要求5所述的用于运营期隧道衬砌检测及病害诊断的多臂机器人,其特征在于,还包括液压系统,液压系统一端与移动平台连接,另一端与第二、三节臂关节处连接。
7.如权利要求1所述的用于运营期隧道衬砌检测及病害诊断的多臂机器人,其特征在于,移动平台底部设置吸附式载重平衡组件,所述吸附式载重平衡组件采用多腔负压吸附结构,当负载机械臂工作时,通过真空补气迅速产生负压吸附于地表。
8.如权利要求1所述的用于运营期隧道衬砌检测及病害诊断的多臂机器人,其特征在于,移动平台底部还设有动力及充电模块。
9.如权利要求1所述的用于运营期隧道衬砌检测及病害诊断的多臂机器人,其特征在于,移动平台的移动机构为探出式轨道轮。
CN202010019203.0A 2019-10-09 2020-01-08 一种用于运营期隧道衬砌检测及病害诊断的多臂机器人 Active CN111152182B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010723091.7A CN111781576A (zh) 2019-10-09 2020-01-08 一种基于深度学习的探地雷达智能反演方法
US17/289,280 US12031922B2 (en) 2019-10-09 2020-09-30 Multi-arm robot used for tunnel lining inspection and defect diagnosis in operation period
PCT/CN2020/119578 WO2021068846A1 (zh) 2019-10-09 2020-09-30 一种用于运营期隧道衬砌检测及病害诊断的多臂机器人

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910955353X 2019-10-09
CN201910955353 2019-10-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010723091.7A Division CN111781576A (zh) 2019-10-09 2020-01-08 一种基于深度学习的探地雷达智能反演方法

Publications (2)

Publication Number Publication Date
CN111152182A CN111152182A (zh) 2020-05-15
CN111152182B true CN111152182B (zh) 2022-02-08

Family

ID=70562361

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010723091.7A Pending CN111781576A (zh) 2019-10-09 2020-01-08 一种基于深度学习的探地雷达智能反演方法
CN202010019203.0A Active CN111152182B (zh) 2019-10-09 2020-01-08 一种用于运营期隧道衬砌检测及病害诊断的多臂机器人

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010723091.7A Pending CN111781576A (zh) 2019-10-09 2020-01-08 一种基于深度学习的探地雷达智能反演方法

Country Status (1)

Country Link
CN (2) CN111781576A (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862378A (zh) * 2020-06-24 2020-10-30 北京中煤矿山工程有限公司 基于负压吸附技术的煤矿井筒施工智能安全巡检系统
CN111967398B (zh) * 2020-08-18 2022-08-09 创新奇智(合肥)科技有限公司 隧道检测方法、装置、电子设备及可读存储介质
CN112060104A (zh) * 2020-08-21 2020-12-11 北京全路通信信号研究设计院集团有限公司 一种双轮巡检机器人
CN112282787B (zh) * 2020-09-11 2021-09-24 山东大学 一种隧道自动化维护多臂机器人及其控制方法
CN114248249B (zh) * 2020-09-24 2023-06-27 长安大学 一种复杂岩壁石质文物智能探测机器人
CN112360508B (zh) * 2020-09-30 2022-05-24 山东大学 一种用于地下工程的自动检测标记和修复装置及方法
CN112731376A (zh) * 2020-12-15 2021-04-30 郑州大学 多算法联合获取介电常数方法、雷达检测方法和系统
CN112731378B (zh) * 2020-12-15 2024-03-26 郑州大学 蚁群遗传联合获取介电常数方法、雷达检测方法和系统
CN112731377B (zh) * 2020-12-15 2024-03-26 郑州大学 一种介电常数反演方法、路基检测方法和检测系统
CN112729111B (zh) * 2020-12-23 2022-04-12 南京康泰建筑灌浆科技有限公司 一种公路隧道病害集成检测车
CN113447536B (zh) * 2021-06-24 2022-09-30 山东大学 一种混凝土介电常数反演与病害识别方法及系统
US20240068951A1 (en) * 2021-01-19 2024-02-29 Shandong University Wall-climbing robot system and method for rapid nondestructive inspection of hidden defects in culverts and sluices
CN112829776A (zh) * 2021-02-08 2021-05-25 惠州市信虹达智能科技有限公司 一种电动机驱动的地铁轨道巡逻小车
CN113222017A (zh) * 2021-05-12 2021-08-06 中国科学院空天信息创新研究院 探地雷达数据生成方法、控制装置、系统及存储介质
CN113250752B (zh) * 2021-06-16 2022-12-13 清华大学 一种用于隧道的自动检修系统
CN114021422B (zh) * 2021-09-23 2024-04-26 大连理工大学 一种基于跨孔雷达和深度学习的地下结构内部缺陷识别方法
CN114035228B (zh) * 2021-11-19 2023-03-10 山东大学 一种基于深度学习的隧道地震波速反演方法及系统
CN114137074B (zh) * 2021-11-24 2023-12-19 苏州市建设工程质量检测中心有限公司 一种基于仿生爬壁机器人的玻璃幕墙检测装置
CN114371218A (zh) * 2021-12-02 2022-04-19 山东大学 基于弹性波法的盾构隧道运营期管片巡检装备及方法
CN114474005B (zh) * 2021-12-07 2023-09-15 江苏集萃智能制造技术研究所有限公司 一种受限空间的巡检机器人
CN115060769B (zh) * 2022-06-07 2024-04-02 深圳大学 一种基于智能反演的隧道围岩裂隙及松动检测方法、系统
CN115856882B (zh) * 2023-02-15 2023-05-16 山东大学 一种多极化地质雷达数据智能反演与成像方法
CN116593478A (zh) * 2023-06-20 2023-08-15 石家庄铁道大学 服役铁路隧道衬砌缺陷快速检测装置及使用方法
CN116910457B (zh) * 2023-09-13 2023-12-08 北京师范大学 一种基于区域的污染物反演方法和装置
CN116990772B (zh) * 2023-09-26 2024-01-02 北京大学 基于多尺度卷积网络的探地雷达双参数实时反演方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4629369A (en) * 1983-11-08 1986-12-16 Canadian Patents And Development Limited Manipulator transporter
CN105459153A (zh) * 2015-12-25 2016-04-06 中铁岩锋成都科技有限公司 铁路隧道衬砌质量无损检测臂架及其检测方法
CN205353351U (zh) * 2015-12-25 2016-06-29 中铁岩锋成都科技有限公司 隧道衬砌质量无损检测设备
CN106054180A (zh) * 2016-08-22 2016-10-26 中铁十九局集团第七工程有限公司 隧道衬砌无损检测台车及其工作方法
CN106080626A (zh) * 2016-06-16 2016-11-09 王春洋 一种便携式全自动轨道、隧道移动检测车
CN108407829A (zh) * 2018-02-06 2018-08-17 中车工业研究院有限公司 一种铁路智能检测救援设备
CN108657223A (zh) * 2018-07-23 2018-10-16 中国安全生产科学研究院 一种城市轨道交通自动巡检系统及隧道形变检测方法
CN207991581U (zh) * 2018-01-29 2018-10-19 成都知联汇科技有限公司 一种隧道检测装置
CN108732546A (zh) * 2018-06-06 2018-11-02 招商局重庆交通科研设计院有限公司 远距离非接触式隧道检测距离补偿装置及方法
CN108732565A (zh) * 2018-06-06 2018-11-02 招商局重庆交通科研设计院有限公司 非接触式公路隧道衬砌结构病害检查车载系统
CN108828589A (zh) * 2018-06-19 2018-11-16 西安交通大学 地铁盾构隧道衬砌质量高精度快速车载检测方法与装置
CN109333495A (zh) * 2018-11-16 2019-02-15 苏州科斯曼照明工程有限公司 一种隧道照明工程施工用高精准调节辅助工具及使用方法
CN208736365U (zh) * 2018-07-19 2019-04-12 汪俊 动态三维隧道断面形变检测及分析系统
CN208993434U (zh) * 2018-09-30 2019-06-18 山东交通学院 带有惰轮机构的公铁车
CN209063827U (zh) * 2018-09-26 2019-07-05 陕西海嵘工程试验检测股份有限公司 一种公铁两用滑箱式特种车
CN209132427U (zh) * 2018-11-11 2019-07-19 山西省交通科学研究院 一种隧道地质雷达快速检测机器人装置
CN209141990U (zh) * 2018-11-07 2019-07-23 中国铁道科学研究院集团有限公司铁道建筑研究所 一种铁路隧道检测车
CN110161043A (zh) * 2019-05-10 2019-08-23 同济大学 一种地铁隧道结构综合检测车
CN209394657U (zh) * 2019-01-09 2019-09-17 山东大学 一种面向地铁隧道巡检工作的小型全向机器人移动平台

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108759648A (zh) * 2018-04-09 2018-11-06 中国科学院电子学研究所 基于机器学习的探地雷达检测方法

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4629369A (en) * 1983-11-08 1986-12-16 Canadian Patents And Development Limited Manipulator transporter
CN105459153A (zh) * 2015-12-25 2016-04-06 中铁岩锋成都科技有限公司 铁路隧道衬砌质量无损检测臂架及其检测方法
CN205353351U (zh) * 2015-12-25 2016-06-29 中铁岩锋成都科技有限公司 隧道衬砌质量无损检测设备
CN106080626A (zh) * 2016-06-16 2016-11-09 王春洋 一种便携式全自动轨道、隧道移动检测车
CN106054180A (zh) * 2016-08-22 2016-10-26 中铁十九局集团第七工程有限公司 隧道衬砌无损检测台车及其工作方法
CN207991581U (zh) * 2018-01-29 2018-10-19 成都知联汇科技有限公司 一种隧道检测装置
CN108407829A (zh) * 2018-02-06 2018-08-17 中车工业研究院有限公司 一种铁路智能检测救援设备
CN108732546A (zh) * 2018-06-06 2018-11-02 招商局重庆交通科研设计院有限公司 远距离非接触式隧道检测距离补偿装置及方法
CN108732565A (zh) * 2018-06-06 2018-11-02 招商局重庆交通科研设计院有限公司 非接触式公路隧道衬砌结构病害检查车载系统
CN108828589A (zh) * 2018-06-19 2018-11-16 西安交通大学 地铁盾构隧道衬砌质量高精度快速车载检测方法与装置
CN208736365U (zh) * 2018-07-19 2019-04-12 汪俊 动态三维隧道断面形变检测及分析系统
CN108657223A (zh) * 2018-07-23 2018-10-16 中国安全生产科学研究院 一种城市轨道交通自动巡检系统及隧道形变检测方法
CN209063827U (zh) * 2018-09-26 2019-07-05 陕西海嵘工程试验检测股份有限公司 一种公铁两用滑箱式特种车
CN208993434U (zh) * 2018-09-30 2019-06-18 山东交通学院 带有惰轮机构的公铁车
CN209141990U (zh) * 2018-11-07 2019-07-23 中国铁道科学研究院集团有限公司铁道建筑研究所 一种铁路隧道检测车
CN209132427U (zh) * 2018-11-11 2019-07-19 山西省交通科学研究院 一种隧道地质雷达快速检测机器人装置
CN109333495A (zh) * 2018-11-16 2019-02-15 苏州科斯曼照明工程有限公司 一种隧道照明工程施工用高精准调节辅助工具及使用方法
CN209394657U (zh) * 2019-01-09 2019-09-17 山东大学 一种面向地铁隧道巡检工作的小型全向机器人移动平台
CN110161043A (zh) * 2019-05-10 2019-08-23 同济大学 一种地铁隧道结构综合检测车

Also Published As

Publication number Publication date
CN111781576A (zh) 2020-10-16
CN111152182A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111152182B (zh) 一种用于运营期隧道衬砌检测及病害诊断的多臂机器人
WO2021068846A1 (zh) 一种用于运营期隧道衬砌检测及病害诊断的多臂机器人
WO2021068848A1 (zh) 隧道结构病害多尺度检测与智能诊断系统及方法
US11673587B2 (en) Comprehensive inspection vehicle for subway tunnel
WO2021135157A1 (zh) 岩体结构探测及危石探测系统及方法
CN104482934B (zh) 一种多传感器融合的超近距离自主导航装置与方法
CN102012217B (zh) 一种基于双目视觉的大形貌物体三维几何外形测量方法
CN105913410A (zh) 一种基于机器视觉的远距离运动物体高度测量的装置与方法
CN110849331B (zh) 基于三维点云数据库模型的单目视觉测量与地面试验方法
CN110926417B (zh) 基于机器视觉的车载铁路隧道检测系统
Luo et al. 3D deformation monitoring method for temporary structures based on multi-thread LiDAR point cloud
Shim et al. Remote robotic system for 3D measurement of concrete damage in tunnel with ground vehicle and manipulator
CN103257033A (zh) 基于子孔径拼接干涉检测的窗口玻璃透射波前检测方法
Qin et al. Development and application of an intelligent robot for rock mass structure detection: A case study of Letuan tunnel in Shandong, China
CN115009310B (zh) 自走行铁路隧道评估检修平台及方法
CN116183613A (zh) 一种电缆隧道衬砌渗漏水检测装置及轮廓建模方法
CN210638686U (zh) 一种犯罪现场三维建模车
US12031922B2 (en) Multi-arm robot used for tunnel lining inspection and defect diagnosis in operation period
CN215420409U (zh) 一种可拓展式结构表观平面扫描单元及装置
Bramante et al. The Mars Terrain Simulator: A high level measurement facility in support to the ExoMars mission
Shi et al. Rail transit shield tunnel deformation detection method based on cloth simulation filtering with point cloud cylindrical projection
Liao et al. Unmanned aerial vehicle surveying and mapping trajectory scheduling and autonomous control for landslide monitoring
CN210618302U (zh) 一种犯罪现场勘查三维建模车
CN112113605A (zh) 基于激光slam与视觉的电缆损坏检测方法及装置
Hao et al. A method for reconstructing the pose of hydraulic support group based on point cloud and digital twin

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant