CN114840014B - 一种桥梁全息巡检的无人机协同路径规划方法及系统 - Google Patents

一种桥梁全息巡检的无人机协同路径规划方法及系统 Download PDF

Info

Publication number
CN114840014B
CN114840014B CN202210257555.9A CN202210257555A CN114840014B CN 114840014 B CN114840014 B CN 114840014B CN 202210257555 A CN202210257555 A CN 202210257555A CN 114840014 B CN114840014 B CN 114840014B
Authority
CN
China
Prior art keywords
bridge
unmanned aerial
points
inspection
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210257555.9A
Other languages
English (en)
Other versions
CN114840014A (zh
Inventor
涂伟
周连杰
邢道伟
张亮
李清泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210257555.9A priority Critical patent/CN114840014B/zh
Publication of CN114840014A publication Critical patent/CN114840014A/zh
Application granted granted Critical
Publication of CN114840014B publication Critical patent/CN114840014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及桥梁巡检技术领域，具体是涉及一种桥梁全息巡检的无人机协同路径规划方法及系统。计算待巡检桥梁所对应的角点，所述角点与所述待巡检桥梁上的相邻边部的交点所对应；依据所述角点，得到像主点，所述像主点用于表征各个无人机实现全息巡检时所在的位置；依据所述像主点，规划各个所述无人机之间的协同路径。通过本发明的路径规划方法去控制无人机航行，能够将复杂桥梁巡检简化为多个无人机协同巡检的问题，从而提高了检测效率。

Description

一种桥梁全息巡检的无人机协同路径规划方法及系统
技术领域
本发明涉及桥梁巡检技术领域，具体是涉及一种桥梁全息巡检的无人机协同路径规划方法及系统。
背景技术
现有的桥梁检测工作主要以人工结合桥梁检查设备的方法为主。桥梁检查人员借助桥梁检查车深入到桥底，利用肉眼，钢尺，裂缝测量仪，相机等工具获取桥梁底部真实状态。这种桥梁检测方式不仅效率低下，费用高昂，而且因工作过程中需要限制交通和桥检车挂篮作业空间有限，导致巨大安全隐患，桥检车作业范围有限，作业盲区大，高塔和高敦等纵向延伸大的结构不能到达，部分桥梁病害需要人工进行判断，检查结果主观性大。而采用无人机采集桥梁图像，再对图像进行分析以获得桥梁因病害而导致的损坏信息，因无需人工到达桥梁上就可以实现上述作业，因此能够保证作业人员的安全。但是现有的无人机采集桥梁图像时，依靠操作无人机的操作人员手动控制无人机航行路径，从而导致无人机难以实现对桥梁的全面巡检，或者导致无人机对桥梁的同一个位置进行了重复巡检，上述两种情况都会降低无人机对桥梁的巡检效率。
综上所述，无人机基于现有的路径规划进行航行会降低对桥梁的巡检效率。
因此，现有技术还有待改进和提高。
发明内容
为解决上述技术问题，本发明提供了一种桥梁全息巡检的无人机协同路径规划方法及系统，解决了无人机基于现有的路径规划进行航行会降低对桥梁的巡检效率的问题。
为实现上述目的，本发明采用了以下技术方案：
第一方面，本发明提供一种桥梁全息巡检的无人机协同路径规划方法，其中，包括：
依据待巡检桥梁上的相邻边部，得到所述待巡检桥梁的角点；
依据所述角点，得到像主点，所述像主点用于表征各个无人机实现全息巡检时所在的位置；
依据所述像主点，规划各个所述无人机之间的协同路径。
在一种实现方式中，所述依据所述角点，得到像主点，所述像主点用于表征各个无人机实现全息巡检时所在的位置，包括：
获取各个所述无人机所采集的单幅图像尺寸；
依据所述角点，得到所述角点所覆盖的平面区域；
依据所述平面区域和所述单幅图像尺寸，得到所述像主点。
在一种实现方式中，所述依据所述平面区域和所述单幅图像尺寸，得到所述像主点，包括：
获取设定的各个所述无人机之间的巡检重叠率；
将所述巡检重叠率和所述单幅图像尺寸相乘，得到乘积结果；
依据所述平面区域，得到所述平面区域所对应的在平面坐标系中的长度尺寸和宽度尺寸；
将所述长度尺寸除以所述乘积结果，得到在所述平面区域内长度方向上的点数量；
将所述宽度尺寸除以所述乘积结果，得到在所述平面区域内宽度方向上的点数量；
依据长度方向上的所述点数量、宽度方向上的所述点数量、所述角点，得到像主点。
在一种实现方式中，所述依据长度方向上的所述点数量、宽度方向上的所述点数量、所述角点，得到像主点，之后还包括：
对所述像主点应用密集内插算法，得到像主内插点。
在一种实现方式中，所述依据所述像主点，规划各个所述无人机之间的协同路径,包括：
获取各个所述无人机到所述待巡检桥梁之间的梁机设定距离；
将所述像主点沿着远离所述待巡检桥梁的方向移动所述梁机设定距离，得到移动之后的所述像主点；
依据移动之后的所述像主点，得到航点，所述航点为所述待巡检桥梁的各个截面所对应的移动之后的所述像主点之和；
依据所述航点，规划各个所述无人机之间的协同路径。
在一种实现方式中，所述依据所述航点，规划各个所述无人机之间的协同路径，包括：
按照设定顺序依次连接各个所述航点，得到由各个所述航点所构成的航线；
以各个所述无人机的飞行速度、各个所述无人机的巡检时间为自变量建立目标函数；
计算所述目标函数的最小值；
依据所述目标函数的最小值，得到全息巡检所述待巡检桥梁所需的所述无人机的数量；
依据所述航线和所述无人机的数量，规划各个所述无人机之间的协同路径。
在一种实现方式中，所述依据所述目标函数的最小值，得到全息巡检所述待巡检桥梁所需的所述无人机的数量，包括：
依据所述待巡检桥梁，得到所述待巡检桥梁所包含的桥梁主梁和桥墩；
依据所述航点，得到所述航点所包含的与所述桥梁主梁所对应的航点数量和与所述桥墩所对应的航点数量；
获取所述桥梁主梁的高度和所述桥墩的高度；
依据所述所述目标函数的最小值、所述桥梁主梁所对应的航点数量、所述桥墩所对应的航点数量、所述桥梁主梁的高度、所述桥墩的高度，得到全息巡检所述待巡检桥梁所需的所述无人机的数量。
第二方面，本发明实施例还提供一种桥梁全息巡检的无人机协同路径规划系统，其中，所述系统包括如下组成部分：
角点计算模块，用于计算待巡检桥梁所对应的角点，所述角点与所述待巡检桥梁上的相邻边部的交点所对应；
像主点计算模块，用于依据所述角点，得到像主点，所述像主点用于表征各个无人机实现全息巡检时所在的位置；
路径规划模块，用于依据所述像主点，规划各个所述无人机之间的协同路径。
第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的桥梁全息巡检的无人机协同路径规划程序，所述处理器执行所述桥梁全息巡检的无人机协同路径规划程序时，实现上述所述的桥梁全息巡检的无人机协同路径规划方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有桥梁全息巡检的无人机协同路径规划程序，所述桥梁全息巡检的无人机协同路径规划程序被处理器执行时，实现上述所述的桥梁全息巡检的无人机协同路径规划方法的步骤。
有益效果：本发明先计算待巡检桥梁的角点(角点即待巡检桥梁各个边部之间的交点)，然后根据角点所在的平面区域内去寻找能够使得无人机实现全息巡检的位置(该位置即像主点)，最后通过像主点去规划各个无人机之间的协同路径。通过上述分析，本发明在规划无人机路径时，考虑了角点这一因素，由于角点即是桥梁向外突出的部分，因此本发明在规划路径时考虑了角点，能够避免无人机在飞行巡检时撞到桥梁上。另外，本发明的无人机沿着各个像主点进行航行巡检能够采集到桥梁的各个位置处的图像，从而实现了对桥梁的全息巡检，因而提高了对桥梁的巡检效率。
附图说明
图1为本发明的整体流程图；
图2为本发明的桥梁结构示意图；
图3为本发明的旋转之前的像主点位置；
图4为本发明的旋转之后的像主点位置；
图5为本发明的扩展像主点；
图6为本发明的逆旋转示意图；
图7为本发明的主桥梁上的航点；
图8为本发明的桥墩上的航点；
图9为针对主桥梁所设计的航线；
图10为针对桥墩所设计的航线；
图11为本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
以下结合实施例和说明书附图，对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的桥梁检测工作主要以人工结合桥梁检查设备的方法为主。桥梁检查人员借助桥梁检查车深入到桥底，利用肉眼，钢尺，裂缝测量仪，相机等工具获取桥梁底部真实状态。这种桥梁检测方式不仅效率低下，费用高昂，而且因工作过程中需要限制交通和桥检车挂篮作业空间有限，导致巨大安全隐患，桥检车作业范围有限，作业盲区大，高塔和高敦等纵向延伸大的结构不能到达，部分桥梁病害需要人工进行判断，检查结果主观性大。而采用无人机采集桥梁图像，再对图像进行分析以获得桥梁因病害而导致的损坏信息，因无需人工到达桥梁上就可以实现上述作业，因此能够保证作业人员的安全。但是现有的无人机采集桥梁图像时，依靠操作无人机的操作人员手动控制无人机航行路径，从而导致无人机难以实现对桥梁的全面巡检，或者导致无人机对桥梁的同一个位置进行了重复巡检，上述两种情况都会降低无人机对桥梁的巡检效率。
为解决上述技术问题，本发明提供了一种桥梁全息巡检的无人机协同路径规划方法及系统，解决了无人机基于现有的路径规划进行航行会降低对桥梁的巡检效率的问题。具体实施时，计算待巡检桥梁所对应的角点，所述角点与所述待巡检桥梁上的相邻边部的交点所对应；依据所述角点，得到像主点，所述像主点用于表征各个无人机实现全息巡检时所在的位置；依据所述像主点，规划各个所述无人机之间的协同路径。本实施例的无人机沿着各个像主点进行航行巡检能够采集到桥梁的各个位置处的图像，从而实现了对桥梁的全息巡检，因而提高了对桥梁的巡检效率。
举例说明，待巡检桥梁为横跨在河两岸的方体(呈矩形状的方体)桥梁，方体桥梁的八个顶点就是角点所在的位置处，本实施例中的角点可以就是八个顶点，也可以是八个顶点向外延伸的点。知道角点的位置处之后，然后再在相邻两个角点之间确定对应数量的像主点，无人机沿着这些像主点航行时，能够对桥梁进行全面拍摄，从而实现了全息巡检。
示例性方法
本实施例的一种桥梁全息巡检的无人机协同路径规划方法可应用于终端设备中，所述终端设备可为具有飞行功能的终端产品，比如无人机等。在本实施例中，如图1中所示，所述桥梁全息巡检的无人机协同路径规划方法具体包括如下步骤：
S100，依据待巡检桥梁上的相邻边部，得到所述待巡检桥梁的角点。
角点就是待巡检桥梁上的边部交点，或者角点是待巡检桥梁上凸边的交点。
本实施例首先获取待巡检桥梁所对应的点云，所谓点云就是构成待巡检桥梁的点集合，获取点云的方法为现有技术。获取到点云之后，对点云进行凸包运算，得到位于凸包上的点，再根据凸包上的点，得到角点。步骤S100包括如下的具体步骤S101、S102、S103：
S101，使用Graham扫描法对桥梁点云进行凸包运算。
进行凸包运算就是找到位于待检测桥梁拐点，步骤S101包括如下的步骤S1011、S1012、S1013、S1014、S1015、S1016、S1017、S1018：
S1011，把待检测桥梁所包含的所有点放在二维坐标系中，则纵坐标最小的点一定是凸包上的点，将该点记为P0。
S1012，把步骤S1011中的所有点的进行平移，直至P0位于坐标原点上。
S1013，计算各个点相对于P0的幅角α(α为待检测点与P0进行连线，得到一条直线；P0与y轴进行连线，得到另外一条直线，两条直线的夹角就是幅角α)，按幅角α从小到大的顺序对各个点排序。当幅角α相同时，距离P0比较近的排在前面。比如待检测桥梁包含了P0、P1、P2、P3、P4、P5、P6、P7、P8这九个点，依据点P0对另外八个点进行排序就可以得到P1、P2、P3、P4、P5、P6、P7、P8这样的排列顺序。由几何知识可以知道，结果中第一个点P1和最后一个点P8一定是凸包上的点，由于P8也是凸包上的点，因此需要统计P8，以便于最后进栈。
S1014，通过上述步骤得到了位于凸包上的第一个点P0和第二个点P1，之后把第一个点P0和第二个点P1放在栈里面。现在从步骤S1-1-3求得的那个结果里，把P1后面的那个点拿出来做当前点，即P2。之后通过P2找寻第三个位于凸包上的点。
S1015，连接P1和栈顶(P0)的那个点，得到直线L。看当前点是在直线L的右边还是左边(如果当前点的幅角是正值，当前点就在直线L的右边；如果当前点的幅角是负值，当前点就在直线L的左边)。如果在直线L的右边就执行步骤S1015；如果在直线L上，或者在直线L的左边就执行步骤S1016。
S1016，如果在右边，则栈顶的那个元素不是凸包上的点，把栈顶元素出栈。执行步骤S1-1-4。
S1017，当前点是凸包上的点，把它压入栈，执行步骤S1017。
S1018，检查当前的点P是不是步骤S1013那个结果的最后一个元素。是最后一个元素就结束。如果不是就把P2后面那个点做当前点，返回步骤S1014。
S102，对窗口(窗口即整个凸包上的所有点的集合)内的每个像素的x方向上的梯度与y方向上的梯度进行统计分析窗口。当发生[u,v]移动时，那么滑动前与滑动后对应的窗口中的像素点灰度变化描述，由泰勒级数展开，及一阶偏导近似，得到：
Figure GDA0003722667130000081
Figure GDA0003722667130000082
目标因变量是像窗口内整体素值变化，自变量为：窗口向水平方向移动的像素距离(u)，窗口向水平方向移动的像素距离(v)，x和y的范围是窗口的长和宽，I(x,y)表示窗口内处的像素值，I(x+u,y+u)表示原窗口中(x,y)处像素在窗口移动后对应位置的像素值，w(x,y)表示(x,y)窗口处的位置权重。
S103，利用M的特征值λ1和λ2来分类图像中的平坦、边缘和角点(即利用特征值λ1和λ2来划分待检测桥梁的哪一部分是平坦的，哪些位置是待检测桥梁的边缘，哪些点是待检测桥梁的角点)。其中，当λ1<λ2，则在E任何方向都在增加的点为角点。
S200，依据所述角点，得到像主点，所述像主点用于表征各个无人机实现全息巡检时所在的位置。
本实施例中的像主点是用于构建无人机路径的，当无人机沿着像主点所在的路径进行巡检时，能够对待检测桥梁进行全面的拍摄。
步骤S200包括如下的步骤S201、S202、S203、S204、S205、S206、S207、S208、S209：
S201，获取各个所述无人机所采集的单幅图像尺寸。
无人机在对待检测桥梁进行巡检时会拍摄桥梁的图像，无人机上安装的摄像头不同拍摄出来的一张图像的尺寸就不同。
S202，依据所述角点，得到所述角点所覆盖的平面区域。
比如一个长方体的主桥梁，角点就是长方体的八个顶点，角点所覆盖的平面区域包括两个平面区域，分别是其中四个顶点所在的截面。
S203，获取设定的各个所述无人机之间的巡检重叠率。
巡检重叠率就是用于表征无人机拍摄的待检测桥梁的一张图像和另一张图像中重叠部分的大小。无人机之所以要对待检测桥梁的同一个部分重复拍摄以让两张图像中都有该部分，是为了完成后续的图像拼接，通过每一张图像进行拼接，以获取待检测桥梁所对应的完整图像。只有获取待检测桥梁所对应的完整图像才能通过图像对桥梁进行方面的检查。
S204，将所述巡检重叠率和所述单幅图像尺寸相乘，得到乘积结果。
S205，依据所述平面区域，得到所述平面区域所对应的在平面坐标系中的长度尺寸和宽度尺寸。
S206，将所述长度尺寸除以所述乘积结果，得到在所述平面区域内长度方向上的点数量。
S207，将所述宽度尺寸除以所述乘积结果，得到在所述平面区域内宽度方向上的点数量。
以如图2中长方体主桥梁为例，说明步骤S201-步骤S207的详细过程：
主桥梁上长方体的一个侧面上的四个角点D1、D2、D3、D4，通过这四个角点计算出要在D1至D4所在的方向(或D2至D3方向)上设置多少个像主点，在D1至D2所在的方向(或D3至D4方向)上设置多少个像主点。通过如下公式计算出像主点的数量：
Figure GDA0003722667130000091
Figure GDA0003722667130000092
其中，x1为D1的横坐标，y1为D1的纵坐标，x4为D4的横坐标，y4为D4的纵坐标，x4-x1为边D1D4的长度(即平面区域在平面坐标系中的长度尺寸)，y4-y1为边D1D2的长度(即平面区域在平面坐标系中的宽度尺寸)，Nx为在D1D4上应该设置的像主点的数量，Ny在D1D2上应该设置的像主点的数量，
Figure GDA0003722667130000093
为巡检重叠率，R为单幅图像尺寸。本实施例中，
Figure GDA0003722667130000094
为70％。
S208，依据长度方向上的所述点数量、宽度方向上的所述点数量、所述角点，得到像主点。
按照步骤S206和S207得到的点数量，将像主点均匀分布在边D1D4、边D2D3、边D1D2、边D3D4上。边D1D4、边D3D4、边D2D3、边D1D2的直线方程分别是公式(5)、(6)、(7)、(8)：
Figure GDA0003722667130000101
Figure GDA0003722667130000102
Figure GDA0003722667130000103
Figure GDA0003722667130000104
其中，b为常数，k1,k2,k3,k4是边D1D4、边D2D3、边D1D2、边D3D4的斜率，
Figure GDA0003722667130000105
为巡检重叠率，R为单幅图像尺寸，xk，yk是内插的点的横坐标、纵坐标。b1，b2，b3，b4是D1D4、边D2D3、边D1D2、边D3D4的截距。
S209，对所述像主点应用密集内插算法，得到像主内插点。
S300，依据所述像主点，规划各个所述无人机之间的协同路径。
本实施例是将各个像主点沿着一定的方向连接起来，形成无人机航行路径，然后再将各个无人机平均分配在路径上。
步骤S300包括如下的步骤S301、S302、S303、S304、S305、S306、S307、S308、S309、S3010、S3011：
S301，获取各个所述无人机到所述待巡检桥梁之间的梁机设定距离。
无人机在对桥梁进行巡检之前会提前规定无人机距离桥梁多远，一方面能够防止无人机近距离接近桥梁而撞毁无人机，另一方面也能够扩大无人机的拍摄范围。
S302，将所述像主点沿着远离所述待巡检桥梁的方向移动所述梁机设定距离，得到移动之后的所述像主点。
本实施例在对像主点进行移动之前，先旋转各个像主点，使得像主点所在的相邻桥梁边部平行于x轴和y轴，以方便后续的移动。
旋转的具体过程如下：
将所有航点按一定的角度进行旋转，旋转过程如图3至图4所示，调整矩形和航点的姿态，使矩形的两个邻边平行于直角坐标系的x轴和y轴，旋转矩阵为：
Figure GDA0003722667130000111
像主点绕x坐标轴的旋转矩阵，式中x’,y’,z’为航点旋转后的坐标值，x,y,z为航点旋转前坐标值，θ为旋转角度。
S303，依据移动之后的所述像主点，得到航点，所述航点为所述待巡检桥梁的各个截面所对应的移动之后的所述像主点之和
无人机与桥墩面之间的距离为一定值，如图5所示，在矩形对边上的航点分别增加或减少该定值即可得到扩展后的像主点坐标，再沿着如图6所示的方向逆旋转矩阵就可以恢复到原始姿态，完成对像主点的横向扩展，得到航点。
当本实施例的桥梁为如图7所示的主桥梁时，航点就是图7中的各个点，当本实施例的桥梁为如图8所示的桥墩时，航点就是图8中的各个点。
S304，按照设定顺序依次连接各个所述航点，得到由各个所述航点所构成的航线。
当待检测桥梁为主桥梁时，生成的航线如图9所示；当待检测桥梁为桥墩时，生成的航线如图10所示。
S305，以各个所述无人机的飞行速度、各个所述无人机的巡检时间为自变量建立目标函数。
S306，计算所述目标函数的最小值。
S307，依据所述待巡检桥梁，得到所述待巡检桥梁所包含的桥梁主梁和桥墩。
S308，依据所述航点，得到所述航点所包含的与所述桥梁主梁所对应的航点数量和与所述桥墩所对应的航点数量。
S309，获取所述桥梁主梁的高度和所述桥墩的高度。
S3010，依据所述所述目标函数的最小值、所述桥梁主梁所对应的航点数量、所述桥墩所对应的航点数量、所述桥梁主梁的高度、所述桥墩的高度，得到全息巡检所述待巡检桥梁所需的所述无人机的数量。
步骤S305-S3010的详细过程如下：
设定无人机群中单个无人机的起飞tstart，降落时间tland和总续航时间tall，计算出多无人机的巡检时间tInspection，为1乘以N的一维数组。
tInspection＝tall-tstart-tland (10)
ε为完成桥梁巡检所需要的无人机的数量，建立ε的目标函数如下：
Figure GDA0003722667130000121
nbridgex和nbridgey是桥梁主梁x轴和y轴上的航点数量(两者之和即为桥梁主梁所对应的航点数量)。nx和ny是桥墩x轴和y轴上的航点数量(两者之和即为桥墩所对应的航点数量)。vUAV是无人机的飞行速度。fmax是桥墩的集合，根据桥梁的结构来确定其数量。H为桥墩或者桥梁的高度。P为常数。该目标函数求解的条件是ε最小整数,ε最小整数即为所需的无人机数量。
S3011，依据所述航线和所述无人机的数量，规划各个所述无人机之间的协同路径。
根据总巡检路线长度(航线的长度)和无人机数量，进行飞行路线均等分配，将巡检路线下发至无人机，控制无人机进行桥梁病害巡检。
综上，本发明先计算待巡检桥梁的角点(角点即待巡检桥梁各个边部之间的交点)，然后根据角点所在的平面区域内去寻找能够使得无人机实现全息巡检的位置(该位置即像主点)，最后通过像主点去规划各个无人机之间的协同路径。通过上述分析，本发明在规划无人机路径时，考虑了角点这一因素，由于角点即是桥梁向外突出的部分，因此本发明在规划路径时考虑了角点，能够避免无人机在飞行巡检时撞到桥梁上。另外，本发明的无人机沿着各个像主点进行航行巡检能够采集到桥梁的各个位置处的图像，从而实现了对桥梁的全息巡检，因而提高了对桥梁的巡检效率。
另外，本发明的方法利用面向桥梁的Harris方法识别桥墩、梁体的特征点，先对桥梁三维模型进行凸包运算，将梁式桥梁简化为特征点集合，然后利用插值法求出直线上的航点，对直线上的航点需要往外扩展，调整矩形和航点的姿态，为每一个航点添加高度元素后再纵向扩展航点，连接航点生成无人机自主巡检航线。本发明根据桥梁特征点内插出无人机主摄点，为桥梁检测提供密集观测相对，为构建精细化的三维桥梁模型以及桥梁精细病害损伤检测提供数据基础。本发明通过单个无人机的巡检时间，总巡检路径，设置目标函数来计算所需要最少的无人机数量。从而将复杂桥梁巡检简化为多个无人机协同巡检的问题。
示例性系统
本实施例还提供一种桥梁全息巡检的无人机协同路径规划系统，所述系统包括如下组成部分：
角点计算模块，用于计算待巡检桥梁所对应的角点，所述角点为所述待巡检桥梁上的相邻边部的交点；
像主点计算模块，用于依据所述角点，得到像主点，所述像主点用于表征各个无人机实现全息巡检时所在的位置；
路径规划模块，用于依据所述像主点，规划各个所述无人机之间的协同路径。
基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图11所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种桥梁全息巡检的无人机协同路径规划方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图11中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的桥梁全息巡检的无人机协同路径规划程序，处理器执行桥梁全息巡检的无人机协同路径规划程序时，实现如下操作指令：
计算待巡检桥梁所对应的角点，所述角点与所述待巡检桥梁上的相邻边部的交点所对应；
依据所述角点，得到像主点，所述像主点用于表征各个无人机实现全息巡检时所在的位置；
依据所述像主点，规划各个所述无人机之间的协同路径。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上，本发明公开了一种桥梁全息巡检的无人机协同路径规划方法及系统，所述方法包括：计算待巡检桥梁所对应的角点，所述角点与所述待巡检桥梁上的相邻边部的交点所对应；
依据所述角点，得到像主点，所述像主点用于表征各个无人机实现全息巡检时所在的位置；
依据所述像主点，规划各个所述无人机之间的协同路径。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种桥梁全息巡检的无人机协同路径规划方法，其特征在于，包括：
依据待巡检桥梁上的相邻边部，得到所述待巡检桥梁的角点；
依据所述角点，得到像主点，所述像主点用于表征各个无人机实现全息巡检时所在的位置；
依据所述像主点，规划各个所述无人机之间的协同路径；
所述依据所述角点，得到像主点，所述像主点用于表征各个无人机实现全息巡检时所在的位置，包括：
获取各个所述无人机所采集的单幅图像尺寸；
依据所述角点，得到所述角点所覆盖的平面区域；
获取设定的各个所述无人机之间的巡检重叠率；
将所述巡检重叠率和所述单幅图像尺寸相乘，得到乘积结果；
依据所述平面区域，得到所述平面区域所对应的在平面坐标系中的长度尺寸和宽度尺寸；
将所述长度尺寸除以所述乘积结果，得到在所述平面区域内长度方向上的点数量；
将所述宽度尺寸除以所述乘积结果，得到在所述平面区域内宽度方向上的点数量；
依据长度方向上的所述点数量、宽度方向上的所述点数量、所述角点，得到像主点；
所述依据所述像主点，规划各个所述无人机之间的协同路径，包括：
获取各个所述无人机到所述待巡检桥梁之间的梁机设定距离；
将所述像主点沿着远离所述待巡检桥梁的方向移动所述梁机设定距离，得到移动之后的所述像主点；
依据移动之后的所述像主点，得到航点，所述航点为所述待巡检桥梁的各个截面所对应的移动之后的所述像主点之和；
按照设定顺序依次连接各个所述航点，得到由各个所述航点所构成的航线；
以各个所述无人机的飞行速度、各个所述无人机的巡检时间为自变量建立目标函数；
计算所述目标函数的最小值；
依据所述目标函数的最小值，得到全息巡检所述待巡检桥梁所需的所述无人机的数量；
依据所述航线和所述无人机的数量，规划各个所述无人机之间的协同路径。
2.如权利要求1所述的桥梁全息巡检的无人机协同路径规划方法，其特征在于，所述依据长度方向上的所述点数量、宽度方向上的所述点数量、所述角点，得到像主点，之后还包括：
对所述像主点应用密集内插算法，得到像主内插点。
3.如权利要求1所述的桥梁全息巡检的无人机协同路径规划方法，其特征在于，所述依据所述目标函数的最小值，得到全息巡检所述待巡检桥梁所需的所述无人机的数量，包括：
依据所述待巡检桥梁，得到所述待巡检桥梁所包含的桥梁主梁和桥墩；
依据所述航点，得到所述航点所包含的与所述桥梁主梁所对应的航点数量和与所述桥墩所对应的航点数量；
获取所述桥梁主梁的高度和所述桥墩的高度；
依据所述所述目标函数的最小值、所述桥梁主梁所对应的航点数量、所述桥墩所对应的航点数量、所述桥梁主梁的高度、所述桥墩的高度，得到全息巡检所述待巡检桥梁所需的所述无人机的数量。
4.一种桥梁全息巡检的无人机协同路径规划系统，其特征在于，所述系统包括如下组成部分：
角点计算模块，用于计算待巡检桥梁所对应的角点，所述角点与所述待巡检桥梁上的相邻边部的交点所对应；
像主点计算模块，用于依据所述角点，得到像主点，所述像主点用于表征各个无人机实现全息巡检时所在的位置；
路径规划模块，用于依据所述像主点，规划各个所述无人机之间的协同路径；
所述依据所述角点，得到像主点，所述像主点用于表征各个无人机实现全息巡检时所在的位置，包括：
获取各个所述无人机所采集的单幅图像尺寸；
依据所述角点，得到所述角点所覆盖的平面区域；
获取设定的各个所述无人机之间的巡检重叠率；
将所述巡检重叠率和所述单幅图像尺寸相乘，得到乘积结果；
依据所述平面区域，得到所述平面区域所对应的在平面坐标系中的长度尺寸和宽度尺寸；
将所述长度尺寸除以所述乘积结果，得到在所述平面区域内长度方向上的点数量；
将所述宽度尺寸除以所述乘积结果，得到在所述平面区域内宽度方向上的点数量；
依据长度方向上的所述点数量、宽度方向上的所述点数量、所述角点，得到像主点；
所述依据所述像主点，规划各个所述无人机之间的协同路径，包括：
获取各个所述无人机到所述待巡检桥梁之间的梁机设定距离；
将所述像主点沿着远离所述待巡检桥梁的方向移动所述梁机设定距离，得到移动之后的所述像主点；
依据移动之后的所述像主点，得到航点，所述航点为所述待巡检桥梁的各个截面所对应的移动之后的所述像主点之和；
按照设定顺序依次连接各个所述航点，得到由各个所述航点所构成的航线；
以各个所述无人机的飞行速度、各个所述无人机的巡检时间为自变量建立目标函数；
计算所述目标函数的最小值；
依据所述目标函数的最小值，得到全息巡检所述待巡检桥梁所需的所述无人机的数量；
依据所述航线和所述无人机的数量，规划各个所述无人机之间的协同路径。
5.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的桥梁全息巡检的无人机协同路径规划程序，所述处理器执行所述桥梁全息巡检的无人机协同路径规划程序时，实现如权利要求1-3任一项所述的桥梁全息巡检的无人机协同路径规划方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有桥梁全息巡检的无人机协同路径规划程序，所述桥梁全息巡检的无人机协同路径规划程序被处理器执行时，实现如权利要求1-3任一项所述的桥梁全息巡检的无人机协同路径规划方法的步骤。
CN202210257555.9A 2022-03-16 2022-03-16 一种桥梁全息巡检的无人机协同路径规划方法及系统 Active CN114840014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210257555.9A CN114840014B (zh) 2022-03-16 2022-03-16 一种桥梁全息巡检的无人机协同路径规划方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210257555.9A CN114840014B (zh) 2022-03-16 2022-03-16 一种桥梁全息巡检的无人机协同路径规划方法及系统

Publications (2)

Publication Number Publication Date
CN114840014A CN114840014A (zh) 2022-08-02
CN114840014B true CN114840014B (zh) 2022-11-29

Family

ID=82562990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210257555.9A Active CN114840014B (zh) 2022-03-16 2022-03-16 一种桥梁全息巡检的无人机协同路径规划方法及系统

Country Status (1)

Country Link
CN (1) CN114840014B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272276A (zh) * 2022-08-12 2022-11-01 东南大学 基于红外光摄像的悬索桥主缆亚表面病害识别方法、装置
CN115185290B (zh) * 2022-08-12 2024-05-14 东南大学 一种无人机悬索桥主缆巡检路径规划的方法及装置
CN115454148B (zh) * 2022-11-08 2023-02-17 四川腾盾科技有限公司 固定翼集群无人机区域覆盖路径规划方法、介质及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111566583A (zh) * 2019-10-04 2020-08-21 香港应用科技研究院有限公司 自适应路径规划的系统和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1052828A (zh) * 1963-04-29
CN109376952B (zh) * 2018-11-21 2022-10-18 深圳大学 一种基于轨迹大数据的众包物流配送路径规划方法及系统
CN109960280A (zh) * 2019-04-11 2019-07-02 株洲时代电子技术有限公司 一种桥梁墩身巡检航线规划方法
CN109945874B (zh) * 2019-04-11 2023-04-28 株洲时代电子技术有限公司 一种桥梁巡检航线规划方法
CN111999298A (zh) * 2020-06-30 2020-11-27 南京林业大学 一种基于5g技术的无人机快速巡检桥梁系统
CN114035613A (zh) * 2021-12-03 2022-02-11 西北工业大学 一种大跨度桥梁检测无人机全覆盖路径规划方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111566583A (zh) * 2019-10-04 2020-08-21 香港应用科技研究院有限公司 自适应路径规划的系统和方法

Also Published As

Publication number Publication date
CN114840014A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN114840014B (zh) 一种桥梁全息巡检的无人机协同路径规划方法及系统
Morgenthal et al. Framework for automated UAS-based structural condition assessment of bridges
Bolourian et al. LiDAR-equipped UAV path planning considering potential locations of defects for bridge inspection
Phung et al. Enhanced discrete particle swarm optimization path planning for UAV vision-based surface inspection
Fawzy 3D laser scanning and close-range photogrammetry for buildings documentation: A hybrid technique towards a better accuracy
Duque et al. Bridge deterioration quantification protocol using UAV
Shang et al. A co-optimal coverage path planning method for aerial scanning of complex structures
CN106645205A (zh) 一种无人机桥梁底面裂纹检测方法及系统
CN106127683B (zh) 一种无人机载sar图像实时拼接方法
WO2018143263A1 (ja) 撮影制御装置、撮影制御方法及びプログラム
Bolourian et al. High level framework for bridge inspection using LiDAR-equipped UAV
CN115147723A (zh) 一种内河船舶识别与测距方法、系统、介质、设备及终端
DE102022128884A1 (de) Sensoroptimierung
CN115439469B (zh) 基于无人机的建筑缺陷检测方法、装置及电子设备
Kersten et al. Potentials of autonomous UAS and automated image analysis for structural health monitoring
Nenchoo et al. Real-Time 3D UAV pose estimation by visualization
CN116433865B (zh) 一种基于场景可重建性分析的空地协同采集路径规划方法
CN113111787A (zh) 目标检测方法、装置、设备以及存储介质
KR100516395B1 (ko) 자율주행 용접로봇을 위한 센서 시스템 및 환경 모델링 방법
CN115330726B (zh) 一种钢筋保护层质量及墙体质量快速评定系统
CN115166686B (zh) 卫星拒止环境下多无人机分布式协同定位与建图方法
CN116934976A (zh) 一种基于rgbd的轻量化古建筑场景扫描与重建方法
Peng et al. Autonomous UAV-Based Structural Damage Exploration Platform for Post-Disaster Reconnaissance
Chen et al. CV-based Registration of UAV-captured façade inspection images to 3D building point cloud models
CN110188682A (zh) 基于几何结构双路卷积网络的光学遥感图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant