CN117079162A - 一种基于无人机的管道泄露识别方法及无人机 - Google Patents
一种基于无人机的管道泄露识别方法及无人机 Download PDFInfo
- Publication number
- CN117079162A CN117079162A CN202311061884.7A CN202311061884A CN117079162A CN 117079162 A CN117079162 A CN 117079162A CN 202311061884 A CN202311061884 A CN 202311061884A CN 117079162 A CN117079162 A CN 117079162A
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- visible light
- feature
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000007547 defect Effects 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0409—Adaptive resonance theory [ART] networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于无人机的管道泄露识别方法及无人机，将获取的无人机采集的可见光图像和红外图像进行处理后得到大小相同的可见光处理图像和红外处理图像，来保证后续的处理能准确且高效地进行；针对将可见光处理图像和红外处理图像进行融合后得到的融合图像，采用预先训练好的缺陷识别神经网络进行管道缺陷检测，避免了误判、错判和漏判的情况，使得管道泄露识别结果更加准确、可靠。
Description
技术领域
本发明涉及飞行巡逻机器人管道检测技术领域，具体涉及一种基于无人机的管道泄露识别方法及无人机。
背景技术
管道运输是现代化大型工厂和普通民生上常用的运输方式，以水资源的运输为例，水管是生产生活中常见的运输工具，良好的水管通道提高了人民的卫生条件与生活质量，然而管道在各个环节之中会受到不同自然或者人为的损害导致水资源的泄漏，每年水管泄漏导致的生产损失与环境损失巨大，所以定期的巡检是十分必要的，由于无人机技术可以追踪管道的路径从而识别管道的各个部位是否发生泄漏，因此利用无人机进行管道定期巡检变得越来越普遍。
现有的无人机红外图像识别系统通常分为无人机和基站，如图1所示，无人机负责图像采集和图像运输模块，无人机利用网络将拍摄图像至基站，基站则负责接收无人机采集的图像并做图像识别与分析，现有无人机采集图像主要是利用两个相机来做拍摄，一个是超高清主摄相机，另一个是红外摄像机，无人机可以同时拍摄可见光图像与红外图像，然而在后续的图像处理中，目前的大多数算法只会针对红外图像做缺陷检测，这是由于泄露液体具有吸收红外线的特性，在红外图像中很容易可以辨别液体是否泄漏，而由于环境颜色的影响，在可见光图像中辨别管道泄漏会存在较大的漏判可能性，但是红外图像也不是完美的，红外图像也容易受到环境液体干扰导致管道泄露的误判错判，徒增维修的工作量。
发明内容
本发明提供的方法提高了基于无人机的管道泄露识别的准确率与可靠性。
第一方面，本发明一实施例中提供一种基于无人机的管道泄露识别方法,包括：获取无人机采集的管道图像，所述管道图像包括可见光图像和红外图像；分别对同一时刻的所述可见光图像和所述红外图像进行预处理，以得到大小相同的可见光处理图像和红外处理图像；将所述可见光处理图像和所述红外处理图像进行融合处理，以得到融合图像；针对所述融合图像，采用预先训练好的缺陷识别神经网络进行管道缺陷检测，以得到管道泄露检测结果。
一些实施例中，所述分别对同一时刻的所述可见光处理图像和所述红外处理图像进行预处理，包括：分别对同一时刻的所述可见光处理图像和所述红外处理图像进行图像优化，以得到第一可见光图像和第一红外图像；对所述第一红外图像进行视差消除，以得到第二红外图像；将所述第一可见光图像和所述第二红外图像对齐后取预设图形裁剪，并将裁剪后的图像重采样到固定大小，以得到相同大小的所述可见光处理图像和所述红外处理图像。
一些实施例中，所述将所述可见光处理图像和所述红外处理图像进行融合处理，包括：根据所述可见光处理图像，得到亮度图像；利用所述亮度图像和所述红外处理图像进行融合，以得到新的亮度图像；将所述新的亮度图像进行逆变换以得到融合图像，所述融合图像为三通道图像。
一些实施例中，所述缺陷识别神经网络包括：主干特征提取模块，用于对所述融合图像进行特征提取，以得到第一特征图；多尺度特征融合模块，用于对所述第一特征图进行特征融合，以得到第二特征图；目标检测任务头模块，用于基于第二特征图做注意力引导，以得到缺陷检测结果。
一些实施例中，所述多尺度特征融合模块包括：聚合特征指导子模块，用于将所述第一特征图做基于其他尺度特征图的注意力引导，以得到三幅不同尺度注意力引导的第三特征图；特征融合子模块，用于将三幅不同尺度注意力引导的第三特征图进行特征交互与融合，以得到所述第二特征图。
一些实施例中，所述缺陷识别神经网络的训练方法包括：采用基于交并比的损失函数在预先划分好的数据集上训练所述缺陷识别神经网络；所述损失函数可通过以下方式表示：其中，LIoU为损失函数，Bpre为预测框，Bgt为真实框。
一些实施例中，所述缺陷识别神经网络采用领域自适应组件做目标域自适应学习。
第二方面，本发明另一实施例中提供一种无人机，所述无人机包括：一个或多个处理器；存储装置，用于存储一个或多个程序；机载传感器，用于实时采集所述无人机的各项测量传感数据，所述测量传感数据包括管道图像；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如前述的方法。
一些实施例中，还包括：缺陷定位装置，用于根据所述管道泄露检测结果进行缺陷位置定位。
第三方面，本发明另一实施例中提供一种计算机存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如前述的方法。
据上述实施例的方法，将获取的无人机采集的可见光图像和红外图像进行处理后得到大小相同的可见光处理图像和红外处理图像，来保证后续的处理能准确且高效地进行；针对将可见光处理图像和红外处理图像进行融合后得到的融合图像，采用预先训练好的缺陷识别神经网络进行管道缺陷检测，避免了误判、错判和漏判的情况，使得管道泄露识别结果更加准确、可靠。
附图说明
图1为本发明提供的基于无人机的管道泄露识别方法的流程图；
图2为一种实施例的对同一时刻的可见光处理图像和红外处理图像进行预处理的流程图；
图3为一种实施例的将可见光处理图像和红外处理图像进行融合处理的流程图；
图4为一种实施例的缺陷识别神经网络的结构图；
图5为一种实施例的多尺度特征融合模块的结构图；
图6为本发明提供的无人机的结构图；
图7为本发明提供的计算机存储介质的结构图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
请参考图1，本发明一实施例提供一种基于无人机的管道泄露识别方法,包括：
S10:获取无人机采集的管道图像，管道图像包括可见光图像和红外图像。
S20:分别对同一时刻的可见光图像和红外图像进行预处理，以得到大小相同的可见光处理图像和红外处理图像。
应用时，为了保证后续的管道泄露识别能够准确且高效地进行，需要先对可见光图像和红外图像进行预处理，一些实施例中，分别对同一时刻的可见光处理图像和红外处理图像进行预处理，如图2所示，包括：
S21:分别对同一时刻的可见光处理图像和红外处理图像进行图像优化，以得到第一可见光图像和第一红外图像，图像优化包括图像去噪、增强和平滑等操作。
S22:对第一红外图像进行视差消除，以得到第二红外图像。
一些实施例中，通过无人机机载的可见光相机和红外相机采集管道图像，由于红外相机和可见光相机距离相对于景象来说较小，而且双相机距离相对固定，视差相对较少时可以将第一可见光图像设定为源图像，因此使用仿射变换方式对将第一红外图像配准到第一可见光图像中，实现对第一红外图像的视差消除，以得到第二红外图像。
一些实施例中，仿射变换方式可通过以下方式表示：
其中，x′为第二红外图像中每个像素点的X轴坐标，y′为第二红外图像中每个像素点的Y轴坐标，x为第一红外图像中像素点的X轴坐标，y为第二红外图像中像素点的Y轴坐标，为预设的仿射变换的平移参数矩阵，a11、a12、a21、a22、tx、ty为预设的平移参数。
S23:将第二红外图像和第一可见光图像对齐后取预设图形裁剪，并将裁剪后的图像重采样到固定大小，以得到相同大小的可见光处理图像和红外处理图像。
一些实施例中，将第二红外图像和第一可见光图像对齐后取最大范围正方形裁剪，并将裁剪后的图像重采样到256*256，以得到相同大小的可见光处理图像和红外处理图像，方便后续的图像融合和管道泄露识别。
S30:将可见光处理图像和红外处理图像进行融合处理，以得到融合图像。
预处理后得到的可见光处理图像是一个RGB三通道彩色图像，而红外处理图像可近似为单通道灰度图像，为了做两者的融合图像，由于彩色图像亮度信息与灰度图像对应，首先要将三通道的可见光图像进行通道分离，再使用合适的融合规则融合为新的亮度信息，逆变换为新的RGB三通道图像，一些实施例中，将可见光处理图像和红外处理图像进行融合处理，如图3所示，包括：
S31:根据可见光处理图像，得到亮度图像。
一些实施例中，利用YUV色彩模型对可见光处理图像进行分离处理以得到亮度图像，YUV色彩模型可通过以下方式表示：
其中，Y1为亮度图像的亮度信号，U1和V1为亮度图像的色度信号，R1、G1和B1分别为可见光图像的红、绿、蓝三个通道，为预设的分离参数矩阵；
S32:利用亮度图像和红外处理图像进行融合，以得到新的亮度图像。
一些实施例中，对亮度图像和红外处理图像进行融合可通过以下方式表示：
IYF＝αIY+(1-α)IIR
其中，IYF为新的亮度图像，IY为亮度图像，IIR为红外处理图像，α为预设的融合参数。
S33:将新的亮度图像进行逆变换以得到融合图像，融合图像为三通道图像。
一些实施例中，对新的亮度图像进行逆变换可通过以下方式表示：
其中，R2、G2和B2分别为融合图像的红、绿、蓝三个通道，为预设的逆变换参数，YF为新的亮度图像的亮度信号，U2和V2为新的亮度图像的色度信号。
S40:针对融合图像，采用预先训练好的缺陷识别神经网络进行管道缺陷检测，以得到管道泄露检测结果。
一些实施例中，如图4所示，缺陷识别神经网络包括：主干特征提取模块100，用于对融合图像进行特征提取，以得到第一特征图；多尺度特征融合模块200，用于对第一特征图进行特征融合，以得到第二特征图；目标检测任务头300，用于基于第二特征图做注意力引导，以得到缺陷检测结果。
一些实施例中，如图5所示，多尺度特征融合模块200包括：聚合特征指导子模块210，用于将第一特征图做基于其他尺度特征图的注意力引导，以得到三幅不同尺度注意力引导的第三特征图；特征融合子模块220，用于将三幅不同尺度注意力引导的第三特征图进行特征交互与融合，以得到第二特征图。
一些实施例中，聚合特征指导子模块210将第一特征图分别做基于1/2、1/4、1/8、1/16和1/32尺度特征图的注意力引导(即下采样成五层特征图)，利用得到的1/8、1/16和1/32尺度注意力引导的第三特征图做下游任务；特征融合子模块220对尺度比较小的第三特征图上采样，然后和尺度比较大的第三特征图拼接，以得到第二特征图；然后目标检测任务头300采用第二特征图再做一次SE注意力引导得到缺陷检测结果。
本发明提出的缺陷识别神经网络是对YOLOv3网络的改进，不仅继承了YOLOv3网络的单阶段目标检测框架，通过解决微小目标的信息丢失以及检测头的感受野与目标尺寸不匹配的问题，提高了整体缺陷检测效果；还改进了YOLOv3网络中的单向大尺度到小尺度融合的网络结构，对于三幅不同尺度的第三特征图提出了一种双向融合的策略，丰富了多尺度特征的信息，目标检测任务头300采用融合特征图再做一次SE注意力引导预测输出，进一步提高了整体缺陷检测的准确率与可靠性，尤其是有效地提高了对微小缺陷的检测效果。
一些实施例中，缺陷识别神经网络的训练方法包括：
采用基于交并比的损失函数在预先划分好的数据集上训练所述缺陷识别神经网络PLI-Net；
所述损失函数可通过以下方式表示：
其中，LIoU为损失函数，Bpre为预测框，Bgt为真实框。
一些实施例中，为了训练缺陷识别神经网络，需要收集大量(大于10000)例数据，融合可见光图像和红外图像之后，使用label Img开源标注工具将融合图像中的缺陷部位打检测框并命名为“object”，生成标注XML文件，再使用7:1:2的比例将所有数据划分为训练集，验证集及测试集，用于后续的缺陷识别神经网络训练与验证。
一些实施例中，通过一系列的消融实验确定最佳的缺陷识别神经网络的模块选择并确定缺陷识别神经网络超参数选择，利用缺陷识别神经网络权重与缺陷识别神经网络结构检测新的管道图像并可视化结果，即在无人机采集的管道图像中显示检测框。
本发明所提出的缺陷识别神经网络在多个数据集上进行了广泛的实验，比较不同的检测性能指标，实验结果表明与传统方法相比，本专利所提出的缺陷识别神经网络取得了有竞争力的结果，此外，缺陷识别神经网络的高效率使其更适用于实时性要求高的场景，而管道泄露巡检比较符合这一任务条件，但当我们将改进的目标检测方法直接训练或者采用预训练加微调训练好的模型应用到一块新的场地管道时，缺陷检测中出现了许多漏检错检的问题，网络的泛化能力下降幅度较大，经分析，这是由于训练样本中缺陷目标前景对比背景的复杂度差距较大，当背景转换之后网络泛化性能下降，为了解决这个问题，一些实施例中采用了领域自适应组件做目标域域自适应，该组件基于H-散度理论，并且通过以对抗训练的方式学习领域分类器来实现，通过一致性正则化进一步增强不同级别的域分类器以学习最终的在目标域上的缺陷识别神经网络。
本发明另一实施例提供一种无人机，如图6所示无人机包括：一个或多个处理器500；存储装置600，用于存储一个或多个程序；机载传感器700，用于实时采集所述无人机的各项测量传感数据，所述测量传感数据包括管道图像；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器500实现如前述的方法。
一些实施例中，无人机还包括：缺陷定位装置400，用于根据所述管道泄露检测结果进行缺陷位置定位。
一些实施例中，缺陷定位装置400为红外信标定位结构，在识别出管道泄漏部位后，该结构可以精准定位缺陷位置方向与距离、缺陷类型、数量、分布等信息，配合无人机自身的定位结构，可以准确的定位管道泄漏的部位并发送给维修人员，以便制定后续的维护计划和措施对缺陷部位进行维修，同时无人机的处理器还可以执行存储器上存有的对巡检结果进行分析和统计的程序来记录管道维修的整个过程。
本发明另一实施例提供一种计算机存储介质，如图7所示，介质800上存储有程序，程序能够被处理器500执行以实现如前述的方法。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (10)
1.一种基于无人机的管道泄露识别方法,其特征在于，包括：
获取无人机采集的管道图像，所述管道图像包括可见光图像和红外图像；
分别对同一时刻的所述可见光图像和所述红外图像进行预处理，以得到大小相同的可见光处理图像和红外处理图像；
将所述可见光处理图像和所述红外处理图像进行融合处理，以得到融合图像；
针对所述融合图像，采用预先训练好的缺陷识别神经网络进行管道缺陷检测，以得到管道泄露检测结果。
2.如专利要求1所述的方法，其特征在于，所述分别对同一时刻的所述可见光处理图像和所述红外处理图像进行预处理，包括：
分别对同一时刻的所述可见光处理图像和所述红外处理图像进行图像优化，以得到第一可见光图像和第一红外图像；
对所述第一红外图像进行视差消除，以得到第二红外图像；
将所述第一可见光图像和所述第二红外图像对齐后取预设图形裁剪，并将裁剪后的图像重采样到固定大小，以得到相同大小的所述可见光处理图像和所述红外处理图像。
3.如专利要求2所述的方法，其特征在于，所述将所述可见光处理图像和所述红外处理图像进行融合处理，包括：
根据所述可见光处理图像，得到亮度图像；
利用所述亮度图像和所述红外处理图像进行融合，以得到新的亮度图像；
将所述新的亮度图像进行逆变换以得到融合图像，所述融合图像为三通道图像。
4.如专利要求3所述的方法，其特征在于，所述缺陷识别神经网络包括：
主干特征提取模块，用于对所述融合图像进行特征提取，以得到第一特征图；
多尺度特征融合模块，用于对所述第一特征图进行特征融合，以得到第二特征图；
目标检测任务头模块，用于基于第二特征图做注意力引导，以得到缺陷检测结果。
5.如专利要求4所述的方法，其特征在于，所述多尺度特征融合模块包括：
聚合特征指导子模块，用于将所述第一特征图做基于其他尺度特征图的注意力引导，以得到三幅不同尺度注意力引导的第三特征图；
特征融合子模块，用于将三幅不同尺度注意力引导的第三特征图进行特征交互与融合，以得到所述第二特征图。
6.如专利要求4所述的方法，其特征在于，所述缺陷识别神经网络的训练方法包括：
采用基于交并比的损失函数在预先划分好的数据集上训练所述缺陷识别神经网络；
所述损失函数可通过以下方式表示：
其中，LIoU为损失函数，Bpre为预测框，Bgt为真实框。
7.如专利要求1所述的方法，其特征在于，所述缺陷识别神经网络采用领域自适应组件做目标域自适应学习。
8.一种无人机，其特征在于，所述无人机包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
机载传感器，用于实时采集所述无人机的各项测量传感数据，所述测量传感数据包括管道图像；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如专利要求1-7中任一所述的方法。
9.如专利要求8所述的无人机，其特征在于，还包括：缺陷定位装置，用于根据所述管道泄露检测结果进行缺陷位置定位。
10.一种计算机存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如专利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311061884.7A CN117079162A (zh) | 2023-08-21 | 2023-08-21 | 一种基于无人机的管道泄露识别方法及无人机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311061884.7A CN117079162A (zh) | 2023-08-21 | 2023-08-21 | 一种基于无人机的管道泄露识别方法及无人机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117079162A true CN117079162A (zh) | 2023-11-17 |
Family
ID=88701876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311061884.7A Pending CN117079162A (zh) | 2023-08-21 | 2023-08-21 | 一种基于无人机的管道泄露识别方法及无人机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117079162A (zh) |
-
2023
- 2023-08-21 CN CN202311061884.7A patent/CN117079162A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105913093B (zh) | 一种用于文字识别处理的模板匹配方法 | |
| CN114399672A (zh) | 一种基于深度学习的铁路货车闸瓦故障检测方法 | |
| US8885048B2 (en) | Computer vision and radio frequency identification technology based book enrolment management apparatus | |
| TWI716012B (zh) | 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置 | |
| CN108734143A (zh) | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 | |
| CN107886080A (zh) | 一种泊车位检测方法 | |
| CN111507976B (zh) | 基于多角度成像的缺陷检测方法及系统 | |
| Maniat et al. | Deep learning-based visual crack detection using Google Street View images | |
| CN111368690A (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
| CN109685075A (zh) | 一种基于图像的电力设备识别方法、装置及系统 | |
| CN107948586B (zh) | 基于视频拼接的跨区域运动目标检测方法和装置 | |
| CN102706274A (zh) | 工业结构化场景中机器视觉精确定位机械零件的系统 | |
| CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控系统及存储介质 | |
| CN110186375A (zh) | 智能化高铁白车身焊接装配特征检测装置及检测方法 | |
| CN102879404A (zh) | 工业结构化场景中医用胶囊缺陷自动检测的系统 | |
| CN115995058A (zh) | 基于人工智能的输电通道安全在线监测方法 | |
| CN114441452B (zh) | 一种光纤尾纤检测方法 | |
| CN116993681A (zh) | 一种变电站巡检缺陷检测方法及系统 | |
| CN114863311A (zh) | 一种变电站机器人巡检目标自动跟踪方法及系统 | |
| CN112861867A (zh) | 指针式仪表盘识别方法、系统及存储介质 | |
| CN117423077A (zh) | Bev感知模型、构建方法、装置、设备、车辆及存储介质 | |
| CN117197789A (zh) | 基于多尺度边界特征融合的幕墙框识别方法及系统 | |
| CN117274967A (zh) | 一种基于卷积神经网络多模态融合车牌识别算法 | |
| CN117079162A (zh) | 一种基于无人机的管道泄露识别方法及无人机 | |
| CN111898427A (zh) | 一种基于特征融合深度神经网络的多光谱行人检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |