CN113428374A - 桥梁结构检测数据收集方法和无人机系统 - Google Patents
桥梁结构检测数据收集方法和无人机系统 Download PDFInfo
- Publication number
- CN113428374A CN113428374A CN202110863148.8A CN202110863148A CN113428374A CN 113428374 A CN113428374 A CN 113428374A CN 202110863148 A CN202110863148 A CN 202110863148A CN 113428374 A CN113428374 A CN 113428374A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- data
- image acquisition
- bridge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013480 data collection Methods 0.000 title claims abstract description 26
- 230000005540 biological transmission Effects 0.000 claims abstract description 10
- 230000009471 action Effects 0.000 claims description 10
- 230000005611 electricity Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 4
- 230000036541 health Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000035882 stress Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000000178 monomer Substances 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 244000235659 Rubus idaeus Species 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004643 material aging Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及桥梁检测技术领域，具体而言，涉及一种桥梁结构检测数据收集方法和无人机系统。桥梁结构检测数据收集方法包括：根据桥梁结构检测的要求规划数据接收点和图像采集点，控制无人机按规划的飞行路径飞行；在无人机飞行至其中一个图像采集点的情况下，获取图像采集点的图像数据；在无人机飞行至其中一个数据接收点的情况下，控制无人机悬停，控制数据采集器与数据接收点的传感器建立无线连接，以使数据采集器接收来自传感器的数据流；数据传输完毕的情况下，控制数据采集器与传感器断开无线连接；桥梁结构检测数据收集方法扩展了无人机所能采集的用于桥梁检测的数据类别；有助于提升桥梁结构健康状态评估的准确性。
Description
技术领域
本发明涉及桥梁检测技术领域，具体而言，涉及一种桥梁结构检测数据收集方法和无人机系统。
背景技术
桥梁结构作为一种大型的土木工程结构，因荷载作用、疲劳锈蚀、材料老化、缺乏及时维修及交通量过大等原因，在使用期内不可避免产生损伤，影响使用寿命，甚至导致突发的灾难。桥梁结构检测/监测旨在通过定期/持续测量桥梁结构的运营状态数据，据此提取表征结构性能的指标，实现病害诊断和安全评估，以便及时采取措施达到防止桥梁坍塌或局部破坏，以及保障和延长桥梁使用寿命的目的。一般来讲，桥梁结构检测/监测需要收集的数据主要包括能够反应桥梁表面裂缝、混凝土剥落和部件损坏情况等损伤的桥梁结构外观数据和能够反应桥梁结构力学性能的数据，如静动态应力应变、静动态变形和位移、振动加速度和速度等。
桥梁的外观检测主要依赖于桥梁检测工程师通过肉眼观察桥梁结构表面来进行判断。对于某些难以到达的部位(如桥的两侧和桥底等)，需要借助桥梁检测车、吊车、梯子或绳索等将桥梁检测员送到相应的位置进行检查。这样的桥梁检查方式不仅效率低、难度大、危险系数高，而且在桥梁检测期间需要封闭道路，影响交通的正常运行。
近年来随着无人机技术的日益成熟，搭载摄像头的无人机凭借其效率高、成本低和安全性高等优点逐渐被应用到桥梁的日常检测中来。然而，目前无人机桥梁检测在数据采集过程中仍需要较多的人工参与和控制，很难保证数据的质量和效率。
桥梁结构力学性能的检测则通过在桥梁的关键部位布设相应的传感器，分析桥梁结构在静动荷载作用下的响应来评估桥梁的力学性能。然而，受限于桥梁现场的供电情况及无线传输技术，很难长期收集并传输高频率高质量的检测数据。
发明内容
本发明的目的包括，例如，提供了一种桥梁结构检测数据收集方法和无人机系统，其不仅能够用于收集桥梁外观检测的结构表面损伤数据，而且可以收集用于桥梁内部力学性能损伤检测的结构力学性能数据，扩展了无人机所能采集的用于桥梁检测的数据类别；而且能够节省无人机桥梁检测的人力成本和数据采集时间，提升无人机采集到的桥梁外观数据的质量，从而能够用于桥梁结构表面损伤(如裂纹、混凝土掉块、露筋等)的识别、定位及测量，有助于提升桥梁结构健康状态评估的准确性。
本发明的实施例可以这样实现：
第一方面，本发明提供一种桥梁结构检测数据收集方法，桥梁结构检测数据收集方法包括：
根据桥梁结构检测的要求规划数据接收点和图像采集点，以及规划经过所有的数据接收点和所有的图像采集点的飞行路径，并创建无人机飞行任务；
控制无人机按规划的飞行路径飞行；
在无人机飞行至其中一个图像采集点的情况下，获取图像采集点的图像数据；
在无人机飞行至其中一个数据接收点的情况下，控制无人机悬停；
控制数据采集器与数据接收点的传感器建立无线连接，以使数据采集器接收来自传感器的数据流；且在数据传输完毕的情况下，控制数据采集器与传感器断开无线连接；
直至无人机按飞行路径完成飞行。
在可选的实施方式中，根据桥梁结构检测的要求规划数据接收点和图像采集点，以及规划经过所有的数据接收点和所有的图像采集点的飞行路径，并创建无人机飞行任务的步骤包括：
创建桥梁结构的三维模型；
定义桥梁外观检测所需图片的空间分辨率和重叠度；
计算无人机的工作距离和相邻的图像采集点的距离；
规划桥梁外观检测所需图片的图像采集点的位置；
规划接收桥梁现场布设的传感器的数据的数据接收点的位置；
生成无人机的飞行任务以及规划无人机的飞行路径。
在可选的实施方式中，创建桥梁结构的三维模型的步骤包括：
根据桥梁的图纸或根据桥梁的BIM模型，以桥梁结构的外侧轮廓尺寸创建桥梁结构的三维模型。
在可选的实施方式中，桥梁外观检测所需图片的空间分辨率1mm/pixel；照片重叠度67％。
在可选的实施方式中，计算无人机的工作距离和相邻的图像采集点的距离的步骤包括：
计算无人机距离桥梁结构表面的工作距离可根据以下公式进行计算：
其中，R表示无人机的工作距离(mm)，GSD表示图像的空间分辨率(mm/pixel)，f表示相机的焦距(mm)；
航向和旁向的相邻的图像采集点之间的距离可根据以下公式进行计算：
其中，Dlength和Dwidth分别表示航向和旁向相邻图像采集点之间的距离(mm)，SSlength和SSwidth分别表示相机的CMOS传感器的长度和宽度(mm)。
在可选的实施方式中，规划桥梁外观检测所需图片的图像采集点的位置的步骤包括：
对桥梁的每个外表面和每条边设置图像采集点，以使所有的图像采集点能够完整地覆盖桥梁的所有的结构表面，并确保图像之间有足够的重叠度；
先将桥梁的外表面分成等距的网格，网格的间隔分别设置为航向和旁向相邻图像采集点之间的距离，每个网格的中心点的位置便是图像采集点投射的位置，以此位置为基准，向外表面的外侧偏移的无人机的工作距离即可得到图像采集点的位置；
根据每条边所在的夹角大小设置图像采集点的数量和投射角度，当夹角分别为0-60°、60-90°、90-120°或120-360°时，每一个截面应额外增加5个、3个、2个或1个图像采集点，且所有的边的图像采集点距离边的距离均为无人机的工作距离，方向均指向边本身。
在可选的实施方式中，规划接收桥梁现场布设的传感器的数据的数据接收点的位置的步骤包括：
对已知的传感器的位置的基础上，偏移5-10m得到所需的数据接收点的位置。
在可选的实施方式中，生成无人机的飞行任务以及规划无人机的飞行路径的步骤包括：
在获得所有的数据接收点和所有的图像采集点的位置之后，根据空间位置将所有的数据接收点和所有的图像采集点进行远近排列，再定义无人机由近至远飞到各个数据接收点和图像采集点时的动作即可生成无人机的飞行任务及飞行路径；
对于图像采集点，无人机的动作定义为控制无人机搭载的相机进行拍摄照片；对于数据接收点，无人机的动作定义为控制数据接收器接收周围的传感器中保存的数据。
第二方面，本发明提供一种无人机系统，无人机系统包括无人机、上置云台、下置云台、多传感器摄像头、彩色相机、数据接收器以及用于执行上述的桥梁结构检测数据收集方法的控制器；
上置云台及下置云台分别与无人机的上部及下部连接，彩色相机与位于上置云台连接；多传感器摄像头与位于下置云台连接；数据接收器与无人机连接；
其中，上置云台、下置云台、多传感器摄像头、彩色相机及数据接收器均与无人机电连接。
在可选的实施方式中，下置云台包括第一单体云台及第二单体云台；
无人机系统还包括聚光灯；多传感器摄像头及聚光灯分别与第一单体云台及第二单体云台连接。
本发明实施例的有益效果包括：
该桥梁结构检测数据收集方法的步骤包括：根据桥梁结构检测的要求规划数据接收点和图像采集点，以及规划经过所有的数据接收点和所有的图像采集点的飞行路径，并创建无人机飞行任务；控制无人机按规划的飞行路径飞行至其中一个图像采集点时，获取图像采集点的图像数据；控制无人机按规划的飞行路径飞行至其中一个数据接收点时，控制无人机悬停，控制数据采集器与数据接收点的传感器建立无线连接，数据采集器接收来自传感器的数据流；数据传输完毕时，数据采集器与传感器断开无线连接；直至无人机按飞行路径完成飞行。
该桥梁结构检测数据收集方法是通过根据桥梁结构检测的要求规划数据接收点和图像采集点，从而控制无人机按经过所有的数据接收点和所有的图像采集点的飞行路径进行飞行，进而能够对桥梁结构进行检测数据的采集，并提升无人机采集到的桥梁外观数据的质量，从而降低了目前无人机桥梁结构检测中对于人工的依赖，能够节省无人机桥梁检测的人力成本和数据采集时间，某种程度上也节省了桥梁检测费用。
而且在采集桥梁检测数据的过程中，能够根据规划的数据接收点和图像采集点，采集桥梁外观检测的结构表面损伤数据，以及桥梁内部力学性能损伤检测的结构力学性能数据，从而扩展了无人机所能采集的用于桥梁检测的数据类别。
并且，该桥梁结构检测数据收集方法采集到的桥梁外观检测的结构表面损伤数据，以及桥梁内部力学性能损伤检测的结构力学性能数据能够用于桥梁结构表面损伤(如裂纹、混凝土掉块、露筋等)的识别、定位及测量，还有助于提升桥梁结构健康状态评估的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中桥梁结构检测数据收集方法的步骤图；
图2为本发明实施例中对桥梁的外表面设置图像采集点的示意图；
图3为本发明实施例中对桥梁的外表面设置图像采集点的示意图；
图4为本发明实施例中边所在的夹角为0-60°时设置图像采集点的示意图；
图5为本发明实施例中边所在的夹角为60-90°时设置图像采集点的示意图；
图6为本发明实施例中边所在的夹角为90-120时设置图像采集点的示意图；
图7为本发明实施例中边所在的夹角为120-360°时设置图像采集点的示意图；
图8为本发明实施例中无人机系统的结构示意图。
图标：200-无人机系统；210-无人机；220-上置云台；230-下置云台；240-多传感器摄像头；250-彩色相机；260-数据接收器；231-第一单体云台；232-第二单体云台；270-聚光灯。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
请参考图1-图8，本实施例提供了一种桥梁结构检测数据收集方法，桥梁结构检测数据收集方法包括：
S1：根据桥梁结构检测的要求规划数据接收点和图像采集点，以及规划经过所有的数据接收点和所有的图像采集点的飞行路径，并创建无人机210飞行任务；
S2：控制无人机210按规划的飞行路径飞行；
S3：在无人机210飞行至其中一个图像采集点的情况下，获取图像采集点的图像数据；
S4：在无人机210飞行至其中一个数据接收点的情况下，控制无人机210悬停；
S5：控制数据采集器与数据接收点的传感器建立无线连接，以使数据采集器接收来自传感器的数据流；且在数据传输完毕的情况下，控制数据采集器与传感器断开无线连接；
S6：直至无人机210按飞行路径完成飞行。
需要说明的是，在进行采集之前，需要在桥梁结构上布置多个传感器(如应力应变传感器、位移传感器、加速度传感器等)，多个传感器用于对桥梁内部力学性能进行损伤检测，并收集结构力学性能数据，而每个数据接收点则对应每个传感器的位置，以收集每个传感器中的结构力学性能数据。
其外，为实现无人机210能够接收预先布置在桥梁结构上的传感器采集的桥梁力学性能数据，是通过在无人机210上搭载一个数据接收器260，其能够实现无人机210靠近传感器时自动无线接收传感器发来的数据，并将其存在存储卡上。
还需要说明的是，在桥梁结构检测数据收集方法实施的过程中，由于无人机210始终与控制端保持通讯连接，故在此过程中，无人机210可以采用实时传输数据组控制端的方式，也可以采用将数据存储于无人机210中的数据存储模块中，待返航后进行上传。
该桥梁结构检测数据收集方法的工作原理是：
该桥梁结构检测数据收集方法的步骤包括：根据桥梁结构检测的要求规划数据接收点和图像采集点，以及规划经过所有的数据接收点和所有的图像采集点的飞行路径，并创建无人机210飞行任务；控制无人机210按规划的飞行路径飞行至其中一个图像采集点时，获取图像采集点的图像数据；控制无人机210按规划的飞行路径飞行至其中一个数据接收点时，控制无人机210悬停，控制数据采集器与数据接收点的传感器建立无线连接，数据采集器接收来自传感器的数据流；数据传输完毕时，数据采集器与传感器断开无线连接；直至无人机210按飞行路径完成飞行。
该桥梁结构检测数据收集方法是通过根据桥梁结构检测的要求规划数据接收点和图像采集点，从而控制无人机210按经过所有的数据接收点和所有的图像采集点的飞行路径进行飞行，进而能够对桥梁结构进行检测数据的采集，并提升无人机210采集到的桥梁外观数据的质量，从而降低了目前无人机210桥梁结构检测中对于人工的依赖，能够节省无人机210桥梁检测的人力成本和数据采集时间，某种程度上也节省了桥梁检测费用。
而且在采集桥梁检测数据的过程中，能够根据规划的数据接收点和图像采集点，采集桥梁外观检测的结构表面损伤数据，以及桥梁内部力学性能损伤检测的结构力学性能数据，从而扩展了无人机210所能采集的用于桥梁检测的数据类别。
并且，该桥梁结构检测数据收集方法采集到的桥梁外观检测的结构表面损伤数据，以及桥梁内部力学性能损伤检测的结构力学性能数据能够用于桥梁结构表面损伤(如裂纹、混凝土掉块、露筋等)的识别、定位及测量，还有助于提升桥梁结构健康状态评估的准确性。
进一步地，在本实施例中，根据桥梁结构检测的要求规划数据接收点和图像采集点，以及规划经过所有的数据接收点和所有的图像采集点的飞行路径，并创建无人机210飞行任务的步骤包括：
创建桥梁结构的三维模型；
定义桥梁外观检测所需图片的空间分辨率和重叠度；
计算无人机210的工作距离和相邻的图像采集点的距离；
规划桥梁外观检测所需图片的图像采集点的位置；
规划接收桥梁现场布设的传感器的数据的数据接收点的位置；
生成无人机210的飞行任务以及规划无人机210的飞行路径。
这样的规划方式，其目的是实现无人机210自动采集完整的和高质量的桥梁外观数据，并根据具体的桥梁检测要求，提前进行无人机210飞行路径规划，生成合适的无人机210飞行路径，以完成数据采集任务，使无人机210能够自动的采集高质量的桥梁外观数据。
具体的，在本实施例中，创建桥梁结构的三维模型的步骤包括：
根据桥梁的图纸或根据桥梁的BIM模型，以桥梁结构的外侧轮廓尺寸创建桥梁结构的三维模型。
在可选的实施方式中，桥梁外观检测所需图片的空间分辨率1mm/pixel；照片重叠度67％。
进一步地，在本实施例中，计算无人机210的工作距离和相邻的图像采集点的距离的步骤包括：
计算无人机210距离桥梁结构表面的工作距离可根据以下公式进行计算：
其中，R表示无人机210的工作距离(mm)，GSD表示图像的空间分辨率(mm/pixel)，f表示相机的焦距(mm)；
航向和旁向的相邻的图像采集点之间的距离可根据以下公式进行计算：
其中，Dlength和Dwidth分别表示航向和旁向相邻图像采集点之间的距离(mm)，SSlength和SSwidth分别表示相机的CMOS传感器的长度和宽度(mm)。
请参照图2-图7，在本实施例中，规划桥梁外观检测所需图片的图像采集点的位置的步骤包括：
对桥梁的每个外表面和每条边设置图像采集点，以使所有的图像采集点能够完整地覆盖桥梁的所有的结构表面，并确保图像之间有足够的重叠度；
请参照图2及图3，先将桥梁的外表面分成等距的网格，网格的间隔分别设置为航向和旁向相邻图像采集点之间的距离，每个网格的中心点的位置便是图像采集点投射的位置，以此位置为基准，向外表面的外侧偏移的无人机210的工作距离即可得到图像采集点的位置；
请参照图4-图7，根据每条边所在的夹角大小设置图像采集点的数量和投射角度，当夹角分别为0-60°(如图4所示，图4中A为边所在的夹角，B为图像采集点)、60-90°(如图5所示，图4中A为边所在的夹角，B为图像采集点)、90-120°(如图6所示，图4中A为边所在的夹角，B为图像采集点)或120-360°(如图7所示，图4中A为边所在的夹角，B为图像采集点)时，每一个截面应额外增加5个、3个、2个或1个图像采集点，且所有的边的图像采集点距离边的距离均为无人机210的工作距离，方向均指向边本身。
在本实施例中，规划接收桥梁现场布设的传感器的数据的数据接收点的位置的步骤包括：
对已知的传感器的位置的基础上，偏移5-10m得到所需的数据接收点的位置。
在本实施例中，生成无人机210的飞行任务以及规划无人机210的飞行路径的步骤包括：
在获得所有的数据接收点和所有的图像采集点的位置之后，根据空间位置将所有的数据接收点和所有的图像采集点进行远近排列，再定义无人机210由近至远飞到各个数据接收点和图像采集点时的动作即可生成无人机210的飞行任务及飞行路径；
对于图像采集点，无人机210的动作定义为控制无人机210搭载的相机进行拍摄照片；对于数据接收点，无人机210的动作定义为控制数据接收器260接收周围的传感器中保存的数据。
需要说明的是，在规划无人机210的飞行路径中的各个数据接收点时，由于多个传感器是在进行采集之前，布置于桥梁结构上，故在规划各个数据接收点时需要考虑到传感器的位置，以减少无人机210的飞行路径，即，需要根据传感器的布置位置合理规划无人机210的飞行路径；其次，在规划图像采集点时，需要将桥梁结构本身与传感器的位置结合进行考虑，以合理规划无人机210的飞行路径。
基于上述内容，请参照图8，本发明还提供一种无人机系统200，该无人机系统200用于通过无人机210按规划的飞行路径自动飞行，并收集桥梁结构的外观数据以及桥梁现场的传感器采集的桥梁结构的力学性能数据，用于桥梁表面损伤的分析和评估，以及对桥梁内部结构损伤进行的分析和评估。
具体的，该无人机系统200包括无人机210、上置云台220、下置云台230、多传感器摄像头240、彩色相机250、数据接收器260以及用于执行上述的桥梁结构检测数据收集方法的控制器；
多传感器摄像头240及彩色相机250用于收集桥梁结构的外观数据，以对桥梁表面损伤进行分析和评估；而数据接收器260用于收集布置于桥梁现场的传感器(如应力应变传感器、位移传感器、加速度传感器等)采集的桥梁结构的力学性能数据，用于桥梁内部结构损伤的分析和评估；
上置云台220及下置云台230分别与无人机210的上部及下部连接，彩色相机250与位于上置云台220连接；多传感器摄像头240与位于下置云台230连接；数据接收器260与无人机210连接；
其中，上置云台220、下置云台230、多传感器摄像头240、彩色相机250及数据接收器260均与无人机210电连接。而在本实施例中，下置云台230包括第一单体云台231及第二单体云台232；无人机系统200还包括聚光灯270；多传感器摄像头240及聚光灯270分别与第一单体云台231及第二单体云台232连接。
需要说明的是，在本实施例中，上置云台220及下置云台230均用于相对于无人机210运动，以调整多传感器摄像头240及彩色相机250相对于无人机210的位置。
综上，该无人机系统200的工作过程如下：
控制无人机210按规划的飞行路径飞行，并按飞行路径依次经过所有的数据接收点和图像采集点；
当无人机210按规划的飞行路径飞行至其中一个图像采集点时，通过上置云台220及下置云台230控制多传感器摄像头240、彩色相机250及聚光灯270的位置，以对图像采集点进行图像采集工作，当图像采集工作完成后，按规划的飞行路径向相邻的数据接收点或图像采集点飞行；
当无人机210按规划的飞行路径飞行至其中一个数据接收点时，无人机210悬停，无人机210上的数据采集器与数据接收点对应的传感器建立无线连接，数据采集器接收来自传感器的数据流；数据传输完毕时，数据采集器与传感器断开无线连接；当数据接收工作完成后，按规划的飞行路径向相邻的数据接收点或图像采集点飞行；
直至无人机210按飞行路径完成飞行并返航。
基于上述内容，在本实施例中，该无人机系统200可以选用深圳大疆创新科技有限公司(简称DJI)发布的Matrice 300RTK型无人机210以及对应的远程遥控器。该无人机210是一款标准的四旋翼无人机210，最大飞行高度5km，单次飞行时间可达55分钟。支持RTK模式，RTK定位精度为1cm，RTK工作时悬停精度可达0.1m，正常工作温度为-20℃～50℃，可实现上下左右前后六向定位避障。
多传感器摄像头240则可以采用H20T多传感器摄像头240，该多传感器摄像头240是一款混合型多传感器摄像头240，同时集成1个2000万像素的普通摄像头，1个1200万像素的广角摄像头，1个640×512的辐射式热成像摄像头，以及1个激光测距仪；该多传感器摄像头240可以从3米到1200米的范围内进行扫描，可以同时采集结构表面的普通彩色图像、红外图像以及结构的空间点云数据。该多传感器摄像头240通过下置云台230同无人机210机身连接。需要说明的是，该多传感器摄像头240可直接通过云台与无人机210通讯连接。
而彩色相机250则可以采用Zenmuse P1彩色相机250，该彩色相机250是一个全画幅航空摄影云台相机，图像传感器(CMOS)尺寸达到35.9mm×24mm，有效分辨率为45MP，图片分辨率为8192×5460，可用于收集结构表面的普通彩色图像数据。该彩色相机250通过上置单云台同无人机210机身相连，且该彩色相机250可直接通过云台与无人机210通讯连接。
聚光灯270可以选用Wingsland Z15聚光灯270，该聚光灯270是一个三轴稳定的高功率万向聚光灯270，其额定功率为48W，有效照明距离可达150米，可用于阴天或桥底等自然光不足的情况。该聚光灯270通过下置云台230同无人机210相连，且该聚光灯270可直接通过下置云台230与无人机210机身通讯连接。
而数据接收器260可以由Raspberry Pi Zero W和Wi-Fi天线组成，RaspberryPiZero W是树莓派发布的一款微型计算机，搭载1GHz单核CPU，512MB RAM，Mini-HDMI接口，Micro-USB On-The-Go接口，Micro-USB电源接口，支持802.11n无线网络；Wi-Fi天线直接固定Raspberry Pi Zero W上，用于增强Raspberry Pi Zero W的无线连接质量；数据接收器260同无人机210通过UART Cable(USB-TTL)相连，可将数据传输的实时状态发送给无人机210存储或发送至无人机210的控制端。
需要说明的是，该收集桥梁结构检测数据中与无人机210通讯的远程遥控器可以是DJI Matrice 300RTK无人机210配套的远程遥控器，通过OcuSync技术与无人机210进行无线通讯，用于实时接收无人机210的飞行状态以及给无人机210发送飞行控制指令，其在无障碍无干扰的情况下无线传输距离可达15km。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种桥梁结构检测数据收集方法，其特征在于，所述桥梁结构检测数据收集方法包括：
根据桥梁结构检测的要求规划数据接收点和图像采集点，以及规划经过所有的所述数据接收点和所有的所述图像采集点的飞行路径，并创建无人机飞行任务；
控制所述无人机按规划的所述飞行路径飞行；
在所述无人机飞行至其中一个所述图像采集点的情况下，获取所述图像采集点的图像数据；
在所述无人机飞行至其中一个数据接收点的情况下，控制所述无人机悬停；
控制数据采集器与所述数据接收点的传感器建立无线连接，以使所述数据采集器接收来自所述传感器的数据流；且在数据传输完毕的情况下，控制所述数据采集器与所述传感器断开无线连接；
直至所述无人机按所述飞行路径完成飞行。
2.根据权利要求1所述的桥梁结构检测数据收集方法，其特征在于：
所述根据桥梁结构检测的要求规划数据接收点和图像采集点，以及规划经过所有的所述数据接收点和所有的所述图像采集点的飞行路径，并创建无人机飞行任务的步骤包括：
创建桥梁结构的三维模型；
定义桥梁外观检测所需图片的空间分辨率和重叠度；
计算所述无人机的工作距离和相邻的所述图像采集点的距离；
规划桥梁外观检测所需图片的所述图像采集点的位置；
规划接收桥梁现场布设的所述传感器的数据的所述数据接收点的位置；
生成所述无人机的飞行任务以及规划所述无人机的飞行路径。
3.根据权利要求2所述的桥梁结构检测数据收集方法，其特征在于：
所述创建桥梁结构的三维模型的步骤包括：
根据桥梁的图纸或根据桥梁的BIM模型，以桥梁结构的外侧轮廓尺寸创建桥梁结构的三维模型。
4.根据权利要求2所述的桥梁结构检测数据收集方法，其特征在于：
桥梁外观检测所需图片的空间分辨率1mm/pixel；照片重叠度67％。
5.根据权利要求2所述的桥梁结构检测数据收集方法，其特征在于：
所述计算所述无人机的工作距离和相邻的所述图像采集点的距离的步骤包括：
计算所述无人机距离桥梁结构表面的工作距离可根据以下公式进行计算：
其中，R表示无人机的工作距离(mm)，GSD表示图像的空间分辨率(mm/pixel)，f表示相机的焦距(mm)；
航向和旁向的相邻的所述图像采集点之间的距离可根据以下公式进行计算：
其中，Dlength和Dwidth分别表示航向和旁向相邻图像采集点之间的距离(mm)，SSlength和SSwidth分别表示相机的CMOS传感器的长度和宽度(mm)。
6.根据权利要求2所述的桥梁结构检测数据收集方法，其特征在于：
所述规划桥梁外观检测所需图片的所述图像采集点的位置的步骤包括：
对桥梁的每个外表面和每条边设置所述图像采集点，以使所有的所述图像采集点能够完整地覆盖桥梁的所有的结构表面，并确保图像之间有足够的重叠度；
先将桥梁的外表面分成等距的网格，网格的间隔分别设置为航向和旁向相邻所述图像采集点之间的距离，每个网格的中心点的位置便是所述图像采集点投射的位置，以此位置为基准，向外表面的外侧偏移的所述无人机的工作距离即可得到所述图像采集点的位置；
根据每条边所在的夹角大小设置所述图像采集点的数量和投射角度，当夹角分别为0-60°、60-90°、90-120°或120-360°时，每一个截面应额外增加5个、3个、2个或1个所述图像采集点，且所有的边的所述图像采集点距离边的距离均为无人机的工作距离，方向均指向边本身。
7.根据权利要求2所述的桥梁结构检测数据收集方法，其特征在于：
所述规划接收桥梁现场布设的所述传感器的数据的所述数据接收点的位置的步骤包括：
对已知的所述传感器的位置的基础上，偏移5-10m得到所需的所述数据接收点的位置。
8.根据权利要求2所述的桥梁结构检测数据收集方法，其特征在于：
所述生成所述无人机的飞行任务以及规划所述无人机的飞行路径的步骤包括：
在获得所有的所述数据接收点和所有的所述图像采集点的位置之后，根据空间位置将所有的所述数据接收点和所有的所述图像采集点进行远近排列，再定义所述无人机由近至远飞到各个所述数据接收点和所述图像采集点时的动作即可生成所述无人机的飞行任务及飞行路径；
对于所述图像采集点，无人机的动作定义为控制所述无人机搭载的相机进行拍摄照片；对于所述数据接收点，所述无人机的动作定义为控制数据接收器接收周围的所述传感器中保存的数据。
9.一种无人机系统，其特征在于：
所述无人机系统包括无人机、上置云台、下置云台、多传感器摄像头、彩色相机、数据接收器以及用于执行如权利要求1-8中任意一项所述的桥梁结构检测数据收集方法的控制器；
所述上置云台及所述下置云台分别与所述无人机的上部及下部连接，所述彩色相机与位于所述上置云台连接；所述多传感器摄像头与位于所述下置云台连接；所述数据接收器与所述无人机连接；
其中，所述上置云台、所述下置云台、所述多传感器摄像头、所述彩色相机及所述数据接收器均与所述无人机电连接。
10.根据权利要求9所述的无人机系统，其特征在于：
所述下置云台包括第一单体云台及第二单体云台；
所述无人机系统还包括聚光灯；所述多传感器摄像头及所述聚光灯分别与所述第一单体云台及所述第二单体云台连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110863148.8A CN113428374B (zh) | 2021-07-29 | 2021-07-29 | 桥梁结构检测数据收集方法和无人机系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110863148.8A CN113428374B (zh) | 2021-07-29 | 2021-07-29 | 桥梁结构检测数据收集方法和无人机系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113428374A true CN113428374A (zh) | 2021-09-24 |
| CN113428374B CN113428374B (zh) | 2023-04-18 |
Family
ID=77762092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110863148.8A Active CN113428374B (zh) | 2021-07-29 | 2021-07-29 | 桥梁结构检测数据收集方法和无人机系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113428374B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793367A (zh) * | 2021-11-17 | 2021-12-14 | 西南交通大学 | 一种工程结构转角位移视觉测量及动力识别系统及方法 |
| CN114755693A (zh) * | 2022-06-15 | 2022-07-15 | 天津大学四川创新研究院 | 基于多旋翼无人机的基建设施测量系统和方法 |
| CN114771837A (zh) * | 2022-05-18 | 2022-07-22 | 李进都 | 一种悬浮稳定的飞行式桥梁检测数据收集器 |
| CN116360485A (zh) * | 2023-03-06 | 2023-06-30 | 广州天勤数字科技有限公司 | 一种应用于桥梁巡检的无人机避障方法及无人机 |
Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016111414A (ja) * | 2014-12-03 | 2016-06-20 | コニカミノルタ株式会社 | 飛行体の位置検出システム及び飛行体 |
| JP6039050B1 (ja) * | 2015-12-25 | 2016-12-07 | 俊雄 小泉 | 無人機を用いた構造物等の検査方法 |
| CN106873625A (zh) * | 2017-03-28 | 2017-06-20 | 上海双微导航技术有限公司 | 桥梁检测系统 |
| CN106931944A (zh) * | 2017-03-21 | 2017-07-07 | 苏州光之翼智能科技有限公司 | 一种无人机实时三维地理测绘系统 |
| CN107329487A (zh) * | 2017-08-31 | 2017-11-07 | 西南交通大学 | 一种无人机与机器人空中联动作业平台 |
| CN206772257U (zh) * | 2017-06-08 | 2017-12-19 | 三峡大学 | 一种基于高性能无人机的桥梁结构检测系统 |
| CN108537885A (zh) * | 2018-04-19 | 2018-09-14 | 天津市测绘院 | 山体创面三维地形数据的获取方法 |
| US20180267561A1 (en) * | 2016-09-12 | 2018-09-20 | Andrew Archer Trench | Autonomous control of unmanned aircraft |
| CN108701373A (zh) * | 2017-11-07 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 基于无人机航拍的三维重建方法、系统及装置 |
| US20180321692A1 (en) * | 2017-05-05 | 2018-11-08 | General Electric Company | Three-dimensional robotic inspection system |
| CN109060281A (zh) * | 2018-09-18 | 2018-12-21 | 山东理工大学 | 基于无人机的一体化桥梁检测系统 |
| JP2019020952A (ja) * | 2017-07-14 | 2019-02-07 | 日本電信電話株式会社 | 画像処理装置、方法、及びプログラム |
| US20190049293A1 (en) * | 2016-03-31 | 2019-02-14 | United States Of America As Represented By The Administrator Of Nasa | Ultraviolet Sensing Apparatus with Mirror Amplification |
| US20190130768A1 (en) * | 2017-11-01 | 2019-05-02 | Kespry, Inc. | Aerial vehicle inspection path planning |
| US10282902B1 (en) * | 2016-06-24 | 2019-05-07 | Amazon Technologies, Inc. | Real-time textured 3D models |
| CN109885098A (zh) * | 2019-04-11 | 2019-06-14 | 株洲时代电子技术有限公司 | 一种桥梁边栏巡检航线规划方法 |
| CN110736447A (zh) * | 2019-09-25 | 2020-01-31 | 武汉大学 | 一种集成式图像采集设备竖直方向水平位置检校方法 |
| CN111959758A (zh) * | 2020-08-14 | 2020-11-20 | 安徽省高速公路试验检测科研中心有限公司 | 一种桥梁裂缝无人机检测装置及其图像处理方法 |
| CN112164015A (zh) * | 2020-11-30 | 2021-01-01 | 中国电力科学研究院有限公司 | 单目视觉自主巡检图像采集方法、装置及电力巡检无人机 |
| CN112348034A (zh) * | 2020-10-21 | 2021-02-09 | 中电鸿信信息科技有限公司 | 基于无人机图像识别的起重机缺陷检测系统和工作方法 |
| CN112666963A (zh) * | 2020-12-18 | 2021-04-16 | 浙江师范大学 | 基于四轴无人机的公路路面裂缝检测系统及其检测方法 |
| US20210158009A1 (en) * | 2019-11-21 | 2021-05-27 | Beihang University | UAV Real-Time Path Planning Method for Urban Scene Reconstruction |
-
2021
- 2021-07-29 CN CN202110863148.8A patent/CN113428374B/zh active Active
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016111414A (ja) * | 2014-12-03 | 2016-06-20 | コニカミノルタ株式会社 | 飛行体の位置検出システム及び飛行体 |
| JP6039050B1 (ja) * | 2015-12-25 | 2016-12-07 | 俊雄 小泉 | 無人機を用いた構造物等の検査方法 |
| US20190049293A1 (en) * | 2016-03-31 | 2019-02-14 | United States Of America As Represented By The Administrator Of Nasa | Ultraviolet Sensing Apparatus with Mirror Amplification |
| US10282902B1 (en) * | 2016-06-24 | 2019-05-07 | Amazon Technologies, Inc. | Real-time textured 3D models |
| US20180267561A1 (en) * | 2016-09-12 | 2018-09-20 | Andrew Archer Trench | Autonomous control of unmanned aircraft |
| CN106931944A (zh) * | 2017-03-21 | 2017-07-07 | 苏州光之翼智能科技有限公司 | 一种无人机实时三维地理测绘系统 |
| CN106873625A (zh) * | 2017-03-28 | 2017-06-20 | 上海双微导航技术有限公司 | 桥梁检测系统 |
| US20180321692A1 (en) * | 2017-05-05 | 2018-11-08 | General Electric Company | Three-dimensional robotic inspection system |
| CN206772257U (zh) * | 2017-06-08 | 2017-12-19 | 三峡大学 | 一种基于高性能无人机的桥梁结构检测系统 |
| JP2019020952A (ja) * | 2017-07-14 | 2019-02-07 | 日本電信電話株式会社 | 画像処理装置、方法、及びプログラム |
| CN107329487A (zh) * | 2017-08-31 | 2017-11-07 | 西南交通大学 | 一种无人机与机器人空中联动作业平台 |
| US20190130768A1 (en) * | 2017-11-01 | 2019-05-02 | Kespry, Inc. | Aerial vehicle inspection path planning |
| CN108701373A (zh) * | 2017-11-07 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 基于无人机航拍的三维重建方法、系统及装置 |
| CN108537885A (zh) * | 2018-04-19 | 2018-09-14 | 天津市测绘院 | 山体创面三维地形数据的获取方法 |
| CN109060281A (zh) * | 2018-09-18 | 2018-12-21 | 山东理工大学 | 基于无人机的一体化桥梁检测系统 |
| CN109885098A (zh) * | 2019-04-11 | 2019-06-14 | 株洲时代电子技术有限公司 | 一种桥梁边栏巡检航线规划方法 |
| CN110736447A (zh) * | 2019-09-25 | 2020-01-31 | 武汉大学 | 一种集成式图像采集设备竖直方向水平位置检校方法 |
| US20210158009A1 (en) * | 2019-11-21 | 2021-05-27 | Beihang University | UAV Real-Time Path Planning Method for Urban Scene Reconstruction |
| CN111959758A (zh) * | 2020-08-14 | 2020-11-20 | 安徽省高速公路试验检测科研中心有限公司 | 一种桥梁裂缝无人机检测装置及其图像处理方法 |
| CN112348034A (zh) * | 2020-10-21 | 2021-02-09 | 中电鸿信信息科技有限公司 | 基于无人机图像识别的起重机缺陷检测系统和工作方法 |
| CN112164015A (zh) * | 2020-11-30 | 2021-01-01 | 中国电力科学研究院有限公司 | 单目视觉自主巡检图像采集方法、装置及电力巡检无人机 |
| CN112666963A (zh) * | 2020-12-18 | 2021-04-16 | 浙江师范大学 | 基于四轴无人机的公路路面裂缝检测系统及其检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 占玉林: "钢桁-混凝土连续刚构协作体系桥梁顶推效应研究", 《桥梁建设》 * |
| 苏琦等: "基于多旋翼无人机的桥梁外观检测技术及工程应用研究", 《预应力技术》 * |
| 陈金桥等: "无人机在桥梁检测中的应用初探", 《交通世界》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113793367A (zh) * | 2021-11-17 | 2021-12-14 | 西南交通大学 | 一种工程结构转角位移视觉测量及动力识别系统及方法 |
| CN113793367B (zh) * | 2021-11-17 | 2022-02-15 | 西南交通大学 | 一种工程结构转角位移视觉测量及动力识别系统及方法 |
| CN114771837A (zh) * | 2022-05-18 | 2022-07-22 | 李进都 | 一种悬浮稳定的飞行式桥梁检测数据收集器 |
| CN114755693A (zh) * | 2022-06-15 | 2022-07-15 | 天津大学四川创新研究院 | 基于多旋翼无人机的基建设施测量系统和方法 |
| CN114755693B (zh) * | 2022-06-15 | 2022-09-16 | 天津大学四川创新研究院 | 基于多旋翼无人机的基建设施测量系统和方法 |
| CN116360485A (zh) * | 2023-03-06 | 2023-06-30 | 广州天勤数字科技有限公司 | 一种应用于桥梁巡检的无人机避障方法及无人机 |
| CN116360485B (zh) * | 2023-03-06 | 2024-02-27 | 广州天勤数字科技有限公司 | 一种应用于桥梁巡检的无人机避障方法及无人机 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113428374B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113428374B (zh) | 桥梁结构检测数据收集方法和无人机系统 | |
| JP7310972B2 (ja) | 飛行情報制御方法、情報処理装置及びコンピュータプログラム | |
| JP6795073B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| US10187806B2 (en) | Systems and methods for obtaining accurate 3D modeling data using multiple cameras | |
| US10192354B2 (en) | Systems and methods for obtaining accurate 3D modeling data using UAVS for cell sites | |
| JP6387782B2 (ja) | 制御装置、制御方法及びコンピュータプログラム | |
| US9881416B2 (en) | Obtaining 3D modeling data using UAVs for cell sites | |
| US9988140B2 (en) | Counterbalancing unmanned aerial vehicles during operations associated with cell towers | |
| US10311565B2 (en) | Cell site equipment verification using 3D modeling comparisons | |
| US10475239B1 (en) | Systems and methods for obtaining accurate 3D modeling data with a multiple camera apparatus | |
| US20170142596A1 (en) | 3d modeling of cell sites and cell towers with unmanned aerial vehicles | |
| CN111522360A (zh) | 一种基于电力铁塔的带状倾斜摄影自动航线规划方法 | |
| CN106320173B (zh) | 车载无人机桥梁日常安全检测系统及检测方法 | |
| Figuli et al. | Recent developments on inspection procedures for infrastructure using UAVs | |
| CN113780086B (zh) | 一种基于无人机的远程自然资源动态监测方法 | |
| KR102575000B1 (ko) | 플랜트 크랙 진단을 위한 인공지능 드론 플랫폼 시스템 | |
| CN208313292U (zh) | 一种适用于小扰动环境的摄影测量系统 | |
| KR102654542B1 (ko) | 풍력 타워 점검 시스템 및 방법, 풍력 타워 점검용 드론, 유선 지원 장치 | |
| JP2018174002A (ja) | 移動体 | |
| JP2020201850A (ja) | 飛行体の制御方法 | |
| KR102594016B1 (ko) | 유인 감시용 시설물 및 무인 감시용 시설물의 실측 상태평가 시스템 | |
| CN118190307A (zh) | 一种应急情况下的桥梁检测系统及其检测方法 | |
| CN110595439A (zh) | 一种适用于小扰动环境的摄影测量系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |