CN113256668A - 图像分割方法以及装置 - Google Patents

图像分割方法以及装置 Download PDF

Info

Publication number
CN113256668A
CN113256668A CN202110659700.1A CN202110659700A CN113256668A CN 113256668 A CN113256668 A CN 113256668A CN 202110659700 A CN202110659700 A CN 202110659700A CN 113256668 A CN113256668 A CN 113256668A
Authority
CN
China
Prior art keywords
image
segmentation
data
aerial
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110659700.1A
Other languages
English (en)
Inventor
杜仁鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Yunshang Nanjing Intelligent Technology Co ltd
Original Assignee
Zhongke Yunshang Nanjing Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Yunshang Nanjing Intelligent Technology Co ltd filed Critical Zhongke Yunshang Nanjing Intelligent Technology Co ltd
Priority to CN202110659700.1A priority Critical patent/CN113256668A/zh
Publication of CN113256668A publication Critical patent/CN113256668A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像分割方法以及装置。该方法包括基于无人机获取对风机的航拍图像；通过预先训练的图像分割模型，得到所述航拍图像的分割结果，其中，所述图像分割模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签；根据所述分割结果，确定所述风机的叶片图像。本申请解决了采用无人机对风力发电机的叶片时由于定位或航线误差影响拍摄画面的技术问题。通过本申请实现了精确的叶片分割，并且有效地降低故障检测和航线规划的难度。

Description

图像分割方法以及装置
技术领域
本申请涉及图像处理领域，具体而言，涉及一种图像分割方法以及装置。
背景技术
在风力发电机在长期运行过程中叶片的表面会呈现出各种损伤，例如叶片保护膜损伤、叶片掉漆、叶片结冰、叶片裂纹以及叶片油污等。
对风力发电机的叶片表面进行损伤检测时，通常采用人工爬上风力发电机进行检测，不仅会花费大量的人力，而且在人工爬上风力发电的进行检测的时候需要高空作业，作业人员的安全具有一定的风险。因此通过无人机装载摄像头进行风机检测，能够很好的代替人工进行检测。
针对相关技术中采用无人机对风力发电机的叶片时由于定位或航线误差影响拍摄画面的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种图像分割方法以及装置，以解决采用无人机对风力发电机的叶片时由于定位或航线误差影响拍摄画面的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种图像分割方法。
根据本申请的图像分割方法包括：基于无人机获取对风机的航拍图像；通过预先训练的图像分割模型，得到所述航拍图像的分割结果，其中，所述图像分割模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签；根据所述分割结果，确定所述风机的叶片图像。
进一步地，所述多组数据中的每组数据包括：使用在线数据进行所述样本图像的数据增强，其中，所述在线数据包括预设的航拍场景，并采用不同版本的无人机进行实际航拍场景采集。
进一步地，所述多组数据中的每组数据包括：使用注意力机制融合所述图像分割模型中不同特征层的图像信息。
进一步地，所述根据所述分割结果，确定所述风机的叶片图像之后，还包括：根据所述分割结果以及所述航拍图像，进行图像质量评估；根据所述图像质量评估结果校正所述无人机中相机模块的曝光参数；根据调整后所述曝光参数，用以重新基于无人机获取对风机的航拍图像。
进一步地，所述根据所述分割结果以及所述航拍图像，进行图像质量评估包括：将所述分割结果中的图像与所述航拍图像中的可见光图像进行通道合并；将合并结果得到的图像输入至预设的轻量级神经网络中进行分类，并根据分类结果对所述无人机中的所述相机模块进行自动曝光调整；其中所述对所述无人机中的所述相机模块进行自动曝光调整包括：高曝光、低曝光、正常输出三种分类输出结果；在分类输出类别是低曝光的情况下，增加所述相机模块的曝光参数；在分类输出类别是高曝光的情况下，降低所述相机模块的曝光参数。
进一步地，所述根据所述分割结果以及所述航拍图像，进行图像质量评估包括：使用轻量级的mobilenetv3网络进行图像质量评估。
进一步地，所述通过预先训练的图像分割模型，得到所述航拍图像的分割结果，其中，所述图像分割模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签，包括：根据预设自适应阈值，获取所述图像分割模型输出的所述航拍图像的分割结果，其中所述预设自适应阈值由机器学习训练到的。
进一步地，所述通所述过预先训练的图像分割模型，得到所述航拍图像的分割结果，包括：基于预设的unet网络作为所述图像分割模型的主干网络，其中所述unet网络至少包括卷积部分和上采样部分，所述卷积层主要用于获取图像的语义信息，所述上采样层基于注意力机制融合浅层边缘信息与深层语义信息，取图像的多尺度信息。
进一步地，通所述过预先训练的图像分割模型，得到所述航拍图像的分割结果之前，还包括：采用高斯模糊、高斯噪声、上采样下采样、自适应直方图均衡化、随机亮度增强、随机rgb偏移、基于yolov5的cutmix增强中的任一一种或多种数据增强方式对所述多组数据进行样本数据增强。
为了实现上述目的，根据本申请的另一方面，提供了一种图像分割装置。
根据本申请的图像分割装置包括：图像获取模块，用于基于无人机获取对风机的航拍图像；图像分割模块，用于通过预先训练的图像分割模型，得到所述航拍图像的分割结果，其中，所述图像分割模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签；确定模块，用于根据所述分割结果，确定所述风机的叶片图像。
在本申请实施例中图像分割方法以及装置，采用基于无人机获取对风机的航拍图像的方式，通过预先训练的图像分割模型，得到所述航拍图像的分割结果，其中，所述图像分割模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签，达到了根据所述分割结果，确定所述风机的叶片图像的目的，从而实现了精确的叶片分割以及有效地降低故障检测、航线规划的难度的技术效果，进而解决了采用无人机对风力发电机的叶片时由于定位或航线误差影响拍摄画面的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的图像分割方法所实施的系统结构示意图；
图2是根据本申请实施例的图像分割方法流程示意图；
图3是根据本申请实施例的图像分割装置结构示意图；
图4是根据本申请实施例的图像分割方法的流程示意图；
图5是根据本申请实施例的图像分割方法的流程示意图；
图6是根据本申请实施例的图像分割方法的实现原理流程示意图；
图7是根据本申请实施例的图像分割方法的实现原理流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
发明人发现，在无人机装载摄像头进行工作时，通常会采用GPS进行定位，然而GPS定位存在误差且在生成飞行路线时也存在一定的误差，从而无法保证风机叶片一直处于摄像头拍摄画面的中心,甚至出现偏离出拍摄画面的情况，因此需要人工智能算法对风机图片进行分割。
利用经过图像分割处理后的风机图片进行迎风角以及叶片角度计算，并根据角度信息进行航线规划。分割好的风机图像也可以帮助相机进行聚焦，能够清楚拍摄到缺陷位置，从而辅助进行缺陷检测。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，包括：无人机100、风力发电机200。风力发电机200是将风能转换为机械功，机械功带动转子旋转,最终输出交流电的电。所述风力发电机200一般有叶片、发电机、调向器、塔架、限速安全机构和储能装置等构件组成。由于在风力发电机的长期运行过程中叶片的表面会呈现出各种损伤，例如叶片保护膜损伤、叶片掉漆、叶片结冰、叶片裂纹以及叶片油污等。所以需要通过无人机100装载摄像头进行风机检测，能够很好的代替人工进行检测.
如图2所示，本申请实施例中的图像分割方法包括如下的步骤S201至步骤S203：
步骤S201，基于无人机获取对风机的航拍图像；
步骤S202，通过预先训练的图像分割模型，得到所述航拍图像的分割结果，其中，所述图像分割模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签；
步骤S203，根据所述分割结果，确定所述风机的叶片图像。
采用基于无人机获取对风机的航拍图像的方式，通过预先训练的图像分割模型，得到所述航拍图像的分割结果，其中，所述图像分割模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签，达到了根据所述分割结果，确定所述风机的叶片图像的目的，从而实现了精确的叶片分割以及有效的降低故障检测、航线规划的难度的技术效果，进而解决了采用无人机对风力发电机的叶片时由于定位或航线误差影响拍摄画面的技术问题。
上述步骤S201中基于无人机获取对风机的航拍图像，并作为训练集。
在数据预处理阶段，整理可能涵盖的场景，并使用当前主流不同版本无人机进行实际场景采集，将已有的数据分为训练集、验证集。
作为本实施例中的优选，所述多组数据中的每组数据包括：使用在线数据进行所述样本图像的数据增强，其中，所述在线数据包括预设的航拍场景，并采用不同版本的无人机进行实际航拍场景采集。
作为本实施例中的优选，所述多组数据中的每组数据包括：使用注意力机制融合所述图像分割模型中不同特征层的图像信息。
上述步骤S202中通过预先训练的图像分割模型，得到所述航拍图像的分割结。即采用机器学习训练得到所述图像分割模型，在所述图像分割模型的训练集中包括样本图像和所述样本图像的类别标签。
作为一种可选地实施方式，针对已有数据集进行训练，包括使用在线数据增强增加模型鲁棒性，使得训练图像可以涵盖所有的位置场景，提高模型的泛化性能。
作为一种优选地实施方式，对所述图像分割模型使用注意力机制融合不同特征层信息，丰富特征的表达能力，进行分割训练。
上述步骤S203中根据所述分割结果，确定所述风机的叶片图像。
具体实施时，结合叶片图像分割结果图与可见光图像进行通道合并，并根据分类结果进行质量评估，根据评估结果判断是否进行曝光调整。
作为一种可选地实施方式，如果需要调整，则可以调整无人机拍摄模块的曝光参数。
作为一种优选地实施方式，根据通道合并结果图进行图像质量评估，当评估结果为高曝光降低相机曝光，当评估结果显示低曝光则增加相机曝光。
作为本实施例中的优选，所述根据所述分割结果，确定所述风机的叶片图像之后，还包括：根据所述分割结果以及所述航拍图像，进行图像质量评估；根据所述图像质量评估结果校正所述无人机中相机模块的曝光参数；根据调整后所述曝光参数，用以重新基于无人机获取对风机的航拍图像。
作为本实施例中的优选，所述根据所述分割结果以及所述航拍图像，进行图像质量评估包括：将所述分割结果中的图像与所述航拍图像中的可见光图像进行通道合并；将合并结果得到的图像输入至预设的轻量级神经网络中进行分类，并根据分类结果对所述无人机中的所述相机模块进行自动曝光调整；其中所述对所述无人机中的所述相机模块进行自动曝光调整包括：高曝光、低曝光、正常输出三种分类输出结果；在分类输出类别是低曝光的情况下，增加所述相机模块的曝光参数；在分类输出类别是高曝光的情况下，降低所述相机模块的曝光参数。
具体实施时，因为在不同场景不同光照条件下，无人机相机模块的曝光需要不断地调整以使可以获得清晰的风机图像。使用轻量级的mobilenetv3网络进行图像质量评估，首先将分割结果图与可见光图像进行通道合并，将合并结果图送到轻量级的mobilenetv3网络中进行分类，根据分类结果进行自动曝光调整。输出类别为低曝光则增加相机曝光，输出类别为高曝光则降低相机曝光。
作为本实施例中的优选，所述根据所述分割结果以及所述航拍图像，进行图像质量评估包括：使用轻量级的mobilenetv3网络进行图像质量评估。
具体实施时，图像分割模型中的Backbone直接采用mobilenetv3网络。先通用NAS算法，优化每一个block，得到大体的网络结构，然后使用NetAdapt算法来确定每个filter的channel的数量。优选地，在此任务在最后一层卷积层之后添加linear，输出3类别，分别为高曝光，低曝光，正常输出。
作为本实施例中的优选，所述通过预先训练的图像分割模型，得到所述航拍图像的分割结果，其中，所述图像分割模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签，包括：根据预设自适应阈值，获取所述图像分割模型输出的所述航拍图像的分割结果，其中所述预设自适应阈值由机器学习训练到的。
作为本实施例中的优选，所述通所述过预先训练的图像分割模型，得到所述航拍图像的分割结果，包括：基于预设的unet网络作为所述图像分割模型的主干网络，其中所述unet网络至少包括卷积部分和上采样部分，所述卷积层主要用于获取图像的语义信息，所述上采样层基于注意力机制融合浅层边缘信息与深层语义信息，取图像的多尺度信息。
具体实施时，本文中，对每一个像素点进行自适应二值化，二值化阈值由网络学习得到，彻底将二值化这一步骤加入到网络里一起训练，这样最终的输出图对于阈值就会非常鲁棒。
作为本实施例中的优选，通所述过预先训练的图像分割模型，得到所述航拍图像的分割结果之前，还包括：采用高斯模糊、高斯噪声、上采样下采样、自适应直方图均衡化、随机亮度增强、随机rgb偏移、基于yolov5的cutmix增强中的任一一种或多种数据增强方式对所述多组数据进行样本数据增强。
具体实施时，在数据送入网络之前，为了防止模型欠拟合，使用在线增强技术丰富数据集，包括使用高斯模糊、高斯噪声、上采样下采样，这是为了防止无人机距离风机远近差异导致图像清晰度的差异；使用自适应直方图均衡化、随机亮度增强、随机RGB偏移是为了方式光照的影响并降低相机曝光的影响；使用yolov5中提出的cutmix增强，使用不同的背景在原始图像上做贴图，这样可以防止各种复杂背景的干扰。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述方法的图像分割装置，如图3所示，该装置包括：
图像获取模块31，用于基于无人机获取对风机的航拍图像；
图像分割模块32，用于通过预先训练的图像分割模型，得到所述航拍图像的分割结果，其中，所述图像分割模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签；
确定模块33，用于根据所述分割结果，确定所述风机的叶片图像
本申请实施例中的图像获取模块31中基于无人机获取对风机的航拍图像，并作为训练集。
在数据预处理阶段，整理可能涵盖的场景，并使用当前主流不同版本无人机进行实际场景采集，将已有的数据分为训练集、验证集。
作为本实施例中的优选，所述多组数据中的每组数据包括：使用在线数据进行所述样本图像的数据增强，其中，所述在线数据包括预设的航拍场景，并采用不同版本的无人机进行实际航拍场景采集。
作为本实施例中的优选，所述多组数据中的每组数据包括：使用注意力机制融合所述图像分割模型中不同特征层的图像信息。
本申请实施例中的图像分割模块32中通过预先训练的图像分割模型，得到所述航拍图像的分割结。即采用机器学习训练得到所述图像分割模型，在所述图像分割模型的训练集中包括样本图像和所述样本图像的类别标签。
作为一种可选地实施方式，针对已有数据集进行训练，包括使用在线数据增强增加模型鲁棒性，使得训练图像可以涵盖所有的位置场景，提高模型的泛化性能。
作为一种优选地实施方式，对所述图像分割模型使用注意力机制融合不同特征层信息，丰富特征的表达能力，进行分割训练。
本申请实施例中的确定模块33中根据所述分割结果，确定所述风机的叶片图像。
具体实施时，结合叶片图像分割结果图与可见光图像进行通道合并，并根据分类结果进行质量评估，根据评估结果判断是否进行曝光调整。
作为一种可选地实施方式，如果需要调整，则可以调整无人机拍摄模块的曝光参数。
作为一种优选地实施方式，根据通道合并结果图进行图像质量评估，当评估结果为高曝光降低相机曝光，当评估结果显示低曝光则增加相机曝光。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
为了更好的理解上述图像分割方法流程，以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本申请实施例的技术方案。
如图4所示，是根据本申请实施例的图像分割方法实现原理流程示意图，其具体包括如下步骤：
步骤S401，输入分割网络。
步骤S402，mask输出。
步骤S403，通道合并。
步骤S404，获取类别。
步骤S405，获取mask。
步骤S406，调整曝光。
在一些实施例中，如图4所示，在每一个航点处在获取mask之后，首先进行图像质量评估获取曝光类别，若曝光异常调整相机曝光值，之后重新采集原始图像获取mask。在一系列优化策略之后可以获得更加精确的分割图像。提高后续的路径规划的准确度并且降低风机缺陷检测难度。
具体而言，本申请中图像分割的流程如图5、图6以及图7所示。
首先，基于当前主流不同版本无人机进行风机图像采集，并通道分割模型进行风机图像的分割。其次，结合分割结果图与可见光图像进行通道合并，并根据分类结果进行质量评估，根据评估结果判断是否进行曝光调整。
本申请实施例中的图像分割任务包含以下步骤：
S1，模型训练过程首先使用采用在线数据增强技术，使得训练图像可以涵盖所有的位置场景，提高模型的泛化性能。
S2，增强后的图像通过分割网络进行运算获取模型前向结果，结合前向输出结果与标注的ground_truth进行loss计算，通过反向传输进行迭代。
S3，将mask输出计算步骤融合到训练过程中，对每一个像素点进行自适应二值化，二值化阈值由网络学习得到，彻底将二值化这一步骤加入到网络里一起训练，这样最终的输出图对于阈值就会非常鲁棒。
S4，根据分割结果以及输入图像在对应的航点进行自适应曝光调整，进一步提高分割结果准确度。这里会通过分割图与可见光图像进行通道合并在送到mobilenetv3轻量级网络中进行分类，根据分类结果进行曝光调整。
具体而言，分割模型中采用改进的unet分割网络，在数据送入网络之前，为了防止模型欠拟合，使用在线增强技术丰富数据集，包括使用高斯模糊、高斯噪声、上采样下采样，这是为了防止无人机距离风机远近差异导致图像清晰度的差异；使用自适应直方图均衡化、随机亮度增强、随机rgb偏移是为了方式光照的影响并降低相机曝光的影响；使用yolov5中提出的cutmix增强，使用不同的背景在原始图像上做贴图，这样可以防止各种复杂背景的干扰。
进一步，前向网络使用改进的unet网络，unet包括卷积和上采样部分，卷积层主要是获取图像的语义信息，5层cnn网络深度，宽度最高1024，本文为了提高模型的计算速度，卷积层使用4层cnn，最高网络宽度512，降低了模型的计算量，上采样层使用attention机制融合浅层边缘信息与深层语义信息，并将attention的输出层与前一层进行concat作为后一层的输入，之后继续将cancat之后的输出与更浅层卷积输出层使用attention机制进行融合，获取图像的多尺度信息，提高了模型的表征能力。
最后经过网络输出时。在unet分割的模型中，最终的二值化map都是使用的固定阈值来获取，并且阈值不同对性能影响较大。本文中，对每一个像素点进行自适应二值化，二值化阈值由网络学习得到，彻底将二值化这一步骤加入到网络里一起训练，这样最终的输出图对于阈值就会非常鲁棒。
在一些实施例中，需要进行自适应曝光调整更新。因为在不同场景不同光照条件下，无人机相机模块的曝光需要不断地调整以使可以获得清晰的风机图像。使用轻量级的mobilenetv3网络进行图像质量评估，首先将分割结果图与可见光图像进行通道合并，将合并结果图送到轻量级的mobilenetv3网络中进行分类，根据分类结果进行自动曝光调整。输出类别为低曝光则增加相机曝光，输出类别为高曝光则降低相机曝光。
在一些实施例中，调整mobilenetv3网络，Backbone直接采用mobilenetv3网络。先通用NAS算法，优化每一个block，得到大体的网络结构，然后使用NetAdapt算法来确定每个filter的channel的数量。此任务在最后一层卷积层之后添加linear，输出三类别分别为：高曝光，低曝光，正常输出。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像分割方法，其特征在于，包括：
基于无人机获取对风机的航拍图像；
通过预先训练的图像分割模型，得到所述航拍图像的分割结果，其中，所述图像分割模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签；
根据所述分割结果，确定所述风机的叶片图像。
2.根据权利要求1所述的方法，其特征在于，所述多组数据中的每组数据包括：使用在线数据进行所述样本图像的数据增强，
其中，所述在线数据包括预设的航拍场景，并采用不同版本的无人机进行实际航拍场景采集。
3.根据权利要求2所述的方法，其特征在于，所述多组数据中的每组数据包括：使用注意力机制融合所述图像分割模型中不同特征层的图像信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述分割结果，确定所述风机的叶片图像之后，还包括：
根据所述分割结果以及所述航拍图像，进行图像质量评估；
根据所述图像质量评估结果校正所述无人机中相机模块的曝光参数；
根据调整后所述曝光参数，用以重新基于无人机获取对风机的航拍图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述分割结果以及所述航拍图像，进行图像质量评估包括：
将所述分割结果中的图像与所述航拍图像中的可见光图像进行通道合并；
将合并结果得到的图像输入至预设的轻量级神经网络中进行分类，并根据分类结果对所述无人机中的所述相机模块进行自动曝光调整；
其中所述对所述无人机中的所述相机模块进行自动曝光调整包括：高曝光、低曝光、正常输出三种分类输出结果；
在分类输出类别是低曝光的情况下，增加所述相机模块的曝光参数；
在分类输出类别是高曝光的情况下，降低所述相机模块的曝光参数。
6.根据权利要求4所述的方法，其特征在于，所述根据所述分割结果以及所述航拍图像，进行图像质量评估包括：
使用轻量级的mobilenetv3网络进行图像质量评估。
7.根据权利要求1所述的方法，其特征在于，所述通过预先训练的图像分割模型，得到所述航拍图像的分割结果，其中，所述图像分割模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签，包括：
根据预设自适应阈值，获取所述图像分割模型输出的所述航拍图像的分割结果，其中所述预设自适应阈值由机器学习训练到的。
8.根据权利要求1所述的方法，其特征在于，所述通所述过预先训练的图像分割模型，得到所述航拍图像的分割结果，包括：
基于预设的unet网络作为所述图像分割模型的主干网络，其中所述unet网络至少包括卷积部分和上采样部分，所述卷积层主要用于获取图像的语义信息，所述上采样层基于注意力机制融合浅层边缘信息与深层语义信息，取图像的多尺度信息。
9.根据权利要求1所述的方法，其特征在于，通所述过预先训练的图像分割模型，得到所述航拍图像的分割结果之前，还包括：采用高斯模糊、高斯噪声、上采样下采样、自适应直方图均衡化、随机亮度增强、随机rgb偏移、基于yolov5的cutmix增强中的任一一种或多种数据增强方式对所述多组数据进行样本数据增强。
10.一种图像分割装置，其特征在于，包括：
图像获取模块，用于基于无人机获取对风机的航拍图像；
图像分割模块，用于通过预先训练的图像分割模型，得到所述航拍图像的分割结果，其中，所述图像分割模型为使用多组数据通过机器学习训练得出的，多组数据中的每组数据均包括：样本图像和所述样本图像的类别标签；
确定模块，用于根据所述分割结果，确定所述风机的叶片图像。
CN202110659700.1A 2021-06-13 2021-06-13 图像分割方法以及装置 Pending CN113256668A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110659700.1A CN113256668A (zh) 2021-06-13 2021-06-13 图像分割方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110659700.1A CN113256668A (zh) 2021-06-13 2021-06-13 图像分割方法以及装置

Publications (1)

Publication Number Publication Date
CN113256668A true CN113256668A (zh) 2021-08-13

Family

ID=77187978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110659700.1A Pending CN113256668A (zh) 2021-06-13 2021-06-13 图像分割方法以及装置

Country Status (1)

Country Link
CN (1) CN113256668A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188470A (zh) * 2023-04-28 2023-05-30 成都航空职业技术学院 一种基于无人机航拍识别的故障定位方法和系统
CN116844143A (zh) * 2023-09-01 2023-10-03 武汉互创联合科技有限公司 基于边缘增强的胚胎发育阶段预测与质量评估系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188470A (zh) * 2023-04-28 2023-05-30 成都航空职业技术学院 一种基于无人机航拍识别的故障定位方法和系统
CN116844143A (zh) * 2023-09-01 2023-10-03 武汉互创联合科技有限公司 基于边缘增强的胚胎发育阶段预测与质量评估系统
CN116844143B (zh) * 2023-09-01 2023-12-05 武汉互创联合科技有限公司 基于边缘增强的胚胎发育阶段预测与质量评估系统

Similar Documents

Publication Publication Date Title
CN113469953B (zh) 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法
CN110070530B (zh) 一种基于深度神经网络的输电线路覆冰检测方法
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN109344753A (zh) 一种基于深度学习的航拍图像输电线路细小金具识别方法
CN113256668A (zh) 图像分割方法以及装置
CN112950634B (zh) 基于无人机巡检的风力机叶片损伤识别方法、设备和系统
CN109190631A (zh) 图片的目标对象标注方法及装置
CN108596883B (zh) 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法
CN106909886B (zh) 一种基于深度学习的高精度交通标志检测方法及系统
KR20200033822A (ko) 풍력 발전기 블레이드 결함 인식/분석 장치 및 방법
CN111723654A (zh) 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置
CN110022422B (zh) 一种基于密集连接网络的视频帧序列生成方法
CN114743119A (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN113822844A (zh) 风电机组叶片无人机巡检缺陷检测方法、装置和存储介质
CN114494908A (zh) 一种基于改进的YOLOv5输电线路航拍图像缺陷检测方法
CN115294483A (zh) 输电线路复杂场景的小目标识别方法及系统
Hao et al. Detection of bird nests on power line patrol using single shot detector
CN115546664A (zh) 一种基于级联网络的绝缘子自爆检测方法及系统
CN114428518B (zh) 一种用于无人机风机叶片自动巡检的风机定向方法
CN114627074A (zh) 一种基于深度学习的地面拍摄风机叶片实时监测方法
CN117409083B (zh) 一种基于红外图像和改进yolov5的电缆终端识别方法及装置
CN114359286A (zh) 一种基于人工智能的绝缘子缺陷识别方法、设备及介质
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法
CN116385758A (zh) 基于YOLOv5网络对传送带表面损伤的检测方法
CN115713696A (zh) 一种基于无人机采集图像的反光膜识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination