CN111046950B - 一种图像处理方法、装置、存储介质和电子装置 - Google Patents

一种图像处理方法、装置、存储介质和电子装置 Download PDF

Info

Publication number
CN111046950B
CN111046950B CN201911263036.8A CN201911263036A CN111046950B CN 111046950 B CN111046950 B CN 111046950B CN 201911263036 A CN201911263036 A CN 201911263036A CN 111046950 B CN111046950 B CN 111046950B
Authority
CN
China
Prior art keywords
mask
target object
image
rectangle
minimum circumscribed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911263036.8A
Other languages
English (en)
Other versions
CN111046950A (zh
Inventor
钱文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201911263036.8A priority Critical patent/CN111046950B/zh
Publication of CN111046950A publication Critical patent/CN111046950A/zh
Application granted granted Critical
Publication of CN111046950B publication Critical patent/CN111046950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置。所述图像处理方法包括：将包含目标对象的原始图片输入预设图像分割模型,确定所述目标对象的多个片段分别对应的多个第一掩膜；对所述多个第一掩膜进行融合处理，确定所述目标对象对应的第二掩膜；根据所述第二掩膜，从所述原始图片中获取包括所述目标对象的局部图像。本发明的技术方案可以有效提高从原始图片中分割出超长目标对象的局部图像的准确性和完整性。

Description

一种图像处理方法、装置、存储介质和电子装置
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、存储介质和电子装置。
背景技术
在图像处理领域中，经常需要从采集到的图片中检测出较长的目标对象，由于采集的原始图片往往背景复杂，而待检测的目标对象有远有近、大小尺寸差异较大，因此现有的图像处理方法不能实现对超长目标对象的准确检测。
例如，设置在架空线路上的绝缘子，由于长期处于室外，受强电场、机械张力及自然环境的影响，很容易出现自爆等缺陷。具有缺陷的绝缘子若不及时更换，将会影响电力系统的安全运行。因此，需要定期对绝缘子进行检查，以便及时发现绝缘子的缺陷，及时维修维护。而电力塔杆大多架设在野外，而且安装位置较高，因此人工巡检不够现实。目前，已出现通过无人机采集图像，再通过机器检测这些图像中的绝缘子，以确定绝缘子是否存在缺陷。但是，由于无人机采集到图像的背景复杂多变、绝缘子远近不同和绝缘子在原始图片中所占面积较小等原因，目前的图像处理方法，普遍存在无法从无人机拍摄的图像中准确识别绝缘子的技术问题，特别是对超长绝缘子进行检测时，容易误检、漏检。
发明内容
为在一定程度上解决上述技术问题的至少一个方面，本发明提供一种图像处理方法、装置、存储介质和终端。
所述图像处理方法包括以下步骤：
将包含目标对象的原始图片输入预设图像分割模型,确定所述目标对象的多个片段分别对应的多个第一掩膜；
对所述多个第一掩膜进行融合处理，确定所述目标对象对应的第二掩膜；
根据所述第二掩膜，从所述原始图片中获取包括所述目标对象的局部图像。
可选地，所述对所述多个第一掩膜进行融合处理，确定所述目标对象对应的第二掩膜，具体包括：
分别确定所述多个第一掩膜的第一最小外接矩形；
当多个所述第一最小外接矩形中的任意两个第一最小外接矩形满足融合条件时，对所述任意两个第一最小外接矩形分别对应的两个第一掩膜进行合并，直至得到所述第二掩膜。
可选地，所述当多个所述第一最小外接矩形中的任意两个第一最小外接矩形满足融合条件时，对所述任意两个第一最小外接矩形分别对应的两个第一掩膜进行合并，直至得到所述第二掩膜，包括：
当所述两个第一最小外接矩形满足下面三个融合条件中的至少一个时，对所述两个第一最小外接矩形分别对应的两个第一掩膜进行合并，直到得到所述第二掩膜；
所述三个融合条件分别为：
所述两个第一最小外接矩形中心点之间的距离小于所述两个第一最小外接矩形长边之和的一半；
所述两个第一最小外接矩形短边的比值小于第一阈值；
所述两个第一最小外接矩形在预设方向上的夹角小于预设角度。
可选地，所述根据所述第二掩膜，从所述原始图片中获取包括所述目标对象的局部图像，具体包括：
根据所述第二掩膜的正外接矩形和所述第二掩膜的第二最小外接矩形，对所述原始图片进行裁切，得到包括所述目标对象的局部图像。
可选地，所述根据所述第二掩膜的正外接矩形和所述第二掩膜的第二最小外接矩形，对所述原始图片进行裁切，得到包括所述目标对象的局部图像，包括：
确定所述第二掩膜的正外接矩形，并根据所述正外接矩形的对角线长度，将所述正外接矩形扩充为正方形；
根据所述第二最小外接矩形的位置，将所述正方形旋转特定角度；
对旋转后的所述正方形对应的图像区域进行裁切，得到包括所述目标对象的局部图像。
可选地，所述特定角度为所述第二掩膜的第二最小外接矩形的主轴与所述原始图片任一边界的夹角。
可选地，所述确定所述第二掩膜的正外接矩形，并根据所述正外接矩形的对角线长度，将所述正外接矩形扩充为正方形，包括：
确定所述第二掩膜的正外接矩形；
计算所述正外接矩形的对角线长度，以所述对角线长度作为边长将所述正外接矩形扩充为正方形。
可选地，所述以所述对角线长度作为边长将所述正外接矩形扩充为正方形，还包括：
当所述正方形超出所述原始图片边界时，将所述正方形中超出所述原始图片边界的像素区域设为预设像素值。
可选地，所述对旋转后的所述正方形对应的图像区域进行裁切，得到包括所述目标对象的局部图像，包括：
根据所述第二掩膜的中心位置以及所述第二最小外接矩形的顶点位置，对旋转后的所述正方形对应的图像区域进行裁切，得到包括所述目标对象的局部图像。
可选地，所述图像处理方法还包括：将包括所述目标对象的局部图像输入分类模型，得到所述目标对象所属的类别。
可选地，所述图像处理方法还包括：通过训练样本对神经网络进行训练，得到所述预设图像分割模型，其中，通过对所述训练样本中满足预设条件的多个样本目标对象进行合并标注得到所述训练样本。
可选地，所述预设条件包括：所述多个样本目标对象平行；和/或，所述多个样本目标对象之间的距离小于第二阈值。
可选地，所述预设图像分割模型为级联Mask R-CNN网络，所述级联Mask R-CNN网络包括输出层，所述输出层包括至少一个输出分支，所述输出分支包括分类预测输出、边界框位置回归输出和掩膜输出。
可选地，所述级联Mask R-CNN网络还包括图像输入层、与所述图像输入层连接的共享卷积层以及与所述共享卷积层连接的并行的多个池化操作分支，每个所述池化操作分支均连接一个所述输出分支，其中上一级所述输出分支中的所述边界框位置回归输出作为下一级所述池化操作分支的输入。
可选地，每级所述输出分支的所述边界框位置回归输出均是同级的所述掩膜输出的输入，用于限制所述掩膜位于所述边界框回归得到的检测框中。
所述图像处理装置包括：
图像分割模块，用于将包含目标对象的原始图片输入预设图像分割模型,确定所述目标对象的多个片段分别对应的多个第一掩膜；
融合模块，用于对所述多个第一掩膜进行融合处理，确定所述目标对象对应的第二掩膜；
输出模块，用于根据所述第二掩膜，从所述原始图片中获取包括所述目标对象的局部图像。
本发明的另一目的在于提供一种存储介质，所述存储介质上存储计算机程序，所述计算机程序运行时，执行上述图像处理方法的步骤。
本发明的又一目的在于提供一种电子设备，包括处理器和存储器，所述存储器中存储计算机程序，所述计算机程序被所述处理器执行时实现上述图像处理方法的步骤。
相较于现有技术，本发明提供的图像处理方法至少具有以下有益效果：
1、通过将多个不完整掩膜进行融合，得到完整掩膜，有效解决了超长目标对象检测的问题，能够实现对超长目标对象的局部图像的完整、准确分割。2、采用级联Mask R-CNN网络，提高了从原始图片中抠取目标对象局部图像的准确性。3、通过将多个满足预设条件的样本目标对象合并标注，有效解决了平行或较近的目标对象漏检的问题。
附图说明
图1为本发明实施例的图像处理方法的流程示意图；
图2为本发明以绝缘子为目标对象的实施例的第一掩膜的示意图；
图3为本发明以绝缘子为目标对象的实施例的第二掩膜的效果示意图；
图4为本发明以绝缘子为目标对象的实施例的从原始图片中分割出的绝缘子局部图像的示意图；
图5为本发明以绝缘子为目标对象的实施例的从原始图片中分割出的两个平行绝缘子局部图像的示意图；
图6为本发明实施例的级联Mask R-CNN网络基本框架示意图；
图7为本发明又一实施例的图像处理方法的流程示意图；
图8为本发明实施例的图像处理装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
在实际应用中，经常需要从采集到的原始图片中将目标对象的局部图像分割出来，以进行目标对象的进一步检测等。但是，现有的图像处理方法，在对较长的目标对象进行图像分割时，普遍存在分割不完整、不准确的技术问题，导致得到的目标对象的局部图像不满足实际要求。有鉴于此，本发明提供了一种图像处理方法，以解决上述技术问题。
为便于对本发明的理解，本说明以电力设备中的绝缘子作为目标对象，无人机采集到的包括绝缘子的图片为原始图片，实际中，需要从原始图片中检测出绝缘子的局部图像，再在绝缘子局部图像上检测绝缘子是否存在缺陷。由于无人机采集的图片较大，且背景复杂，并且一般绝缘子串较长，因此以绝缘子串为目标对象具有代表性。本发明实施例的图像处理方法至少可用于从该原始图片中分割出绝缘子串的局部图像。
如图1-图4所示，本实施例提供一种图像处理方法，用于从采集到的原始图片中将目标对象的局部图像分割出来。具体包括以下步骤：
S1：将包含目标对象的原始图片输入预设图像分割模型,确定所述目标对象的多个片段分别对应的多个第一掩膜。
本步骤的原始图片可以为采集直接得到的，也可以是对采集得到的图片进行简单预处理后的图片，对此我们不做区分，统称为原始图片。原始图片中包括一个或者多个绝缘子串。由于一个绝缘子串通常较长，因此，一个绝缘子串可能被预设图像分割模型检测出多个第一掩膜(mask)，每个第一掩膜对应该绝缘子串的一个片段，参考图2所示。示例地，本步骤所述预设图像分割模型可以为卷积神经网络，需要注意的是，这里所述的卷积神经网络是一个较宽泛的概念，可以包括任何关于卷积神经网络的变形、修改或者拓展。例如，可以为Mask R-CNN网络、Faster R-CNN网络等。
S2：对所述多个第一掩膜进行融合处理，确定所述目标对象对应的第二掩膜。显然，根据第一掩膜从原始图片是不能得到一个完整的绝缘子的局部图像的，因此，我们采用了对多个第一掩膜进行融合处理的方法。将一个绝缘子对应的多个第一掩膜进行融合，得到第二掩膜，第二掩膜是对应一个完整绝缘子的完整掩膜，参考图3所示。
由于实际中的绝缘子串可能会较长，经过步骤S1生成的绝缘子图像的第一掩膜受到参考框(anchor)的大小和尺寸限制，没有办法兼顾到feature map上所有的像素点,所以单独的绝缘子串就会被分割成多段。如果用这样的绝缘子图像去进行绝缘子缺陷的检测，就会造成绝缘子缺陷的漏检和误检。
S3：根据所述第二掩膜，从所述原始图片中获取包括所述目标对象的局部图像。每个第二掩膜对应原始图片上的一个完整的绝缘子，因此在得到绝缘子的第二掩膜的基础上，可以根据每个第二掩膜，从原始图片中分割得到一个包含完整绝缘子的局部图像。
由于绝缘子图像的掩膜的形状是固定的类似于长方形的,而不同的掩膜之间也存在着交叠的部分。因此，本实施例采用将预设图像分割模型输出的多个不完整的第一掩膜进行融合得到第二掩膜的方法，可以将多段不完整的绝缘子片段融合成完整的绝缘子串，有效的解决了一个超长绝缘子串被割裂为多段的问题。
较佳地，步骤S2具体包括：
S21：分别确定所述多个第一掩膜的第一最小外接矩形；
S22：当多个所述第一最小外接矩形中的任意两个第一最小外接矩形满足融合条件时，对所述任意两个第一最小外接矩形分别对应的两个第一掩膜进行合并，直至得到所述第二掩膜。
具体地，首先对所有第一掩膜选取第一最小外接矩形。这里的第一最小外接矩形指的是常规意义上的最小外接矩形，为便于区分第一掩膜的最小外接矩形和第二掩膜的最小外接矩形，定义第一掩膜对应的最小外接矩形为第一最小外接矩形，定义第二掩膜对应的最小外接矩形为第二外接矩形。
然后，判断多个第一最小外接矩形中的任意两个第一最小外接矩形是否满足融合条件，若满足融合条件则将所述两个第一最小外接矩形对应的第一掩膜合并。需要注意的是，由于一个绝缘子会存在多个第一掩膜，因此在融合完两个第一掩膜后，会继续对剩下的掩膜进行是否融合的判断，直到没有可以合并的掩膜为止，我们认为得到了第二掩膜。
例如，一个绝缘子对应四个第一掩膜，则先对其中任意两个第一掩膜融合，再将融合后的第一掩膜与第三个第一掩膜融合，得到又一个第一掩膜，最后将融合得到的第一掩膜与第四个第一掩膜融合，最终得到对应完整绝缘子的第二掩膜。
步骤S22中，所述融合条件包括以下三个：
所述两个第一最小外接矩形中心点之间的距离小于所述两个第一最小外接矩形长边之和的一半；
所述两个第一最小外接矩形短边的比值小于第一阈值；
所述两个第一最小外接矩形在预设方向上的夹角小于预设角度。
当所述两个第一最小外接矩形满足上面三个融合条件中的至少一个时，对所述两个第一最小外接矩形分别对应的两个第一掩膜进行合并，直到得到所述第二掩膜；
示例地：
比较两个第一最小外接矩形中心点之间的距离是否小于两个第一最小外接矩形长边之和的一半。第一最小外接矩形的中心点为第一最小外接矩形的两个对角线的交点。为后面描述方便，这里设两个第一最小外接矩形的中心点之间的距离为L，两个第一最小外接矩形的长边分别为a1和a2。
比较两个第一最小外接矩形短边的比值中的较大值是否小于第一阈值。为后面描述方便，这里设第一阈值为A。设其中一个第一最小外接矩形的短边长为b1，另一个第一最小外接矩形的短边长为b2。设b1大于等于b2，则两个第一最小外接矩形短边的比值中的较大值是b1/b2。
比较两个第一最小外接矩形主轴的夹角是否小于预设角度，为描述方便，预设角度设为θ。其中，第一最小外接矩形的主轴为过第一最小外接矩形的中心点并平行于第一最小外接矩形的长边的直线，或者第一最小外接矩形的主轴为过第一最小外接矩形的中心点并平行于第一最小外接矩形的短边的直线，或者还可以为其他预设的直线段，本申请实施例对此不作限定。
通过比较以上三个条件，若两个第一最小外接矩形中心点之间的距离小于两个所述第一最小外接矩形长边之和的一半，且两个所述第一最小外接矩形短边的比值中的较大值小于第一阈值，且两个所述第一最小矩形主轴的夹角小于预设角度，则判定两个最小外接矩形满足融合条件。即，若：L＜(a1+a2)/2,且b1/b2＜A，且两个第一最小矩形主轴的夹角＜θ，则判定两个最小外接矩形满足融合条件。需要说明的是，本实施例不对以上三个条件的判定顺序做出限定。
当判定两个第一掩膜对应的第一最小外接矩形满足融合条件后，则将两个第一掩膜合并为一个面积较大的掩膜。
较佳地，第一阈值A介于2到3之间。即，A的取值范围为：2≤A≤3。较佳地，A＝3。预设角度θ的值介于10°到20°之间。即，θ的取值范围为：10°≤θ≤20°。较佳地，θ取值为15°。
较佳地，步骤S3包括：
根据所述第二掩膜的正外接矩形和所述第二掩膜的第二最小外接矩形，对所述原始图片进行裁切，得到包括所述目标对象的局部图像。
在得到绝缘子串对应的第二掩膜之后，需要从原始图片中将单个绝缘子图像抠出来。在一实施例中，可以直接根据第二掩膜从原始图片中直接抠取绝缘子图像。但是，第二掩膜大多数情况下相对于原始图片的边界是倾斜的，这时候如果直接抠取绝缘子图像，会导致时间复杂度很高，严重影响绝缘子图像的检测效率。在另一实施例中，我们根据第二掩膜的正外接矩形和第二掩膜的第二最小外接矩形，可以获知第二掩膜相对于原始图片的位置，再对所述原始图片进行裁切，可以得到包括目标对象的局部图像。
步骤S3具体包括：
S31：确定所述第二掩膜的正外接矩形，并根据所述正外接矩形的对角线长度，将所述正外接矩形扩充为正方形。
这里的正外接矩形的长边/短边和绝对坐标系的横轴或纵轴平行，其中绝对坐标系为根据原始图片建立的坐标系。
此处，我们根据所述正外接矩形的对角线长度，将所述正外接矩形扩充为正方形的具体方法是：计算正外接矩形的对角线长度，以对角线长度作为边长将所述正外接矩形扩充为正方形。当然，以任何大于上述对角线长度的值最为边长值对正外接矩形扩充为正方形也是可行的。
当所述正方形超出所述原始图片边界时，将所述正方形中超出所述原始图片边界的像素区域设为预设像素值。
示例地，设正外接矩形的长边和短边分别为e和f，正外接矩形的对角线长度为G。则正外接矩形的两个长边的边沿分别向外扩展(G-e)/2,两个短边的边沿分别向外扩展(G-f)/2。我们知道，第二掩模的正外接矩形是落入原始图片边界内的。但是，当以正外接矩形的对角线长度为边长对正外接矩形的长边和短边分别扩充后，则扩充后的正方形可能有部分区域会超出原始图片的边界之外。为保障正方形的图片完整性，我们对位于正方形内且位于原始图片的边界之外的像素区域补充预设的像素值。示例地，我们补充的预设像素值为零，即RGB的值为(0,0,0)，使位于正方形内且原始图片边界之外的区域显示黑色，便于后续操作。
S32：根据所述第二最小外接矩形的位置，将所述正方形旋转特定角度。所述特定角度为第二掩膜的第二最小外接矩形的主轴与绝对坐标系的横轴或者纵轴的夹角。第二最小外接矩形的主轴，指的是第二最小外接矩形短边的中垂线。
在步骤S32之前，我们已经计算得到第二掩膜的中心位置(在绝对坐标系中的坐标)以及第二掩膜的第二最小外接矩形的长、宽和四个顶点与所述正方形的相对位置。
对该正方形对应的图像区域围绕第二掩膜的中心旋转，将绝缘子图像旋转至与绝对坐标系的坐标轴平行，即，绝缘子的轴心与坐标系的坐标轴平行，方便后面进行绝缘子缺陷的检测，特别是便于检测绝缘子的自爆缺陷。
S33：对旋转后的所述正方形对应的图像区域进行裁切，得到包括所述目标对象的局部图像。
此处我们根据第二掩膜的中心位置以及第二最小外接矩形的顶点位置，对旋转后的所述正方形对应的图像区域进行裁切，得到包括所述目标对象的局部图像。第二掩膜的中心以及第二最小外接矩形的四个顶点与扩充后正方形的相对位置，可以采用第二掩膜的中心以及第二最小外接矩形的四个顶点与扩充后正方形中心的坐标偏移量描述或表征。
将扩充后得到的正方形映射回原始图片，得到正方形对应的区域图像，即原始图片上与正方形对应的包含绝缘子图像的正方形图像。再利用第二掩膜第二最小外接矩形长、宽和相对于正方形的位置信息，从旋转后的正方形图像中获得绝缘子的局部图像，参考图4所示。
较佳地，通过训练样本对神经网络进行训练，得到预设图像分割模型，其中，通过对所述训练样本中满足预设条件的多个样本目标对象进行合并标注得到所述训练样本。注意，这里的合并不是将其中一串绝缘子剔除。
示例地，两串平行的样本绝缘子合并标注的方式可以是将两个平行样本绝缘子的边界框(Banding Box,bbox)合并，用以实现将包含两个绝缘子的绝缘子图像一次性检测出来，避免其中任意一个绝缘子被漏检。
很多情况下，两串绝缘子会靠的比较近，特别是平行紧挨的两串绝缘子。而在检测绝缘子图像时，一串绝缘子也不可避免的会检出很多bbox。为了删除冗余的bbox，我们进行NMS(非极大值抑制non-maximum suppression)操作，将统一目标的bbox按照IOU阈值做筛选，剔除冗余地、低置信度的bbox。面对倾斜度较大且距离较近的两串平行绝缘子的时候,他们的IOU就会很大，这就很容易漏检其中一串绝缘子。因此，本实施例中，提出将两串平行的样本绝缘子图像合并标注。
具体地，所述预设条件包括：所述多个样本目标对象平行；和/或，所述多个样本目标对象之间的距离小于第二阈值。
首先，判断两串样本绝缘子是否平行。可以通过判断两串绝缘子的最小外接矩形的主轴是否平行来确定两串绝缘子是否平行。
然后，判断所述两串绝缘子之间的距离是否小于第二阈值。可选地，可以通过判断两个绝缘子图像对应的最小外接矩形的平行主轴之间的距离是否小于第二阈值。
若所述两串绝缘子平行，并且所述两串绝缘子之间的距离小于第二阈值，则将所述两串样本绝缘子图像合并标注。
如图5所示，为以绝缘子为目标对象的本实施例的从原始图片中分割出的两个平行绝缘子局部图像的示意图。本实施例较好的解决了现有技术中相邻平行绝缘子漏检的问题。
在一实施例中，上述预设图像分割模型可以为现有的图像分割模型，还可以为如图6所示的级联Mask R-CNN网络，本申请实施例对此不作限定。原始图片经过预处理后，被送入到级联Mask R-CNN网络(Cascade Mask R-CNN)中，网络输出识别出的一个或者多个第一掩膜(mask)或者第二掩膜，因为对于不太长的绝缘子，级联Mask R-CNN网络也可以得到该类绝缘子对应的完整掩膜。
本实施例的级联Mask R-CNN网络的网络框架，在典型的级联R-CNN框架的基础上进行了改进，得到级联Mask R-CNN网络。级联Mask R-CNN网络包括图像输入层和输出层，输出层包括至少一个输出分支，每个输出分支包括并行输出的分类预测输出、边界框位置回归输出和掩膜输出。图像输入层连接共享卷积层的输入端，共享卷积层的输出端连接并行的池化(Pool)操作层。池化(Pool)操作层可以包括并行的多个池化操作分支。每个池化操作分支连接输出层的一个输出分支。
每个输出分支均包括三个并行分支，三个并行分支分别为分类预测输出(即对bbox分类的预测)、边界框位置回归输出(即对bbox的位置回归)以及掩膜(mask)输出。
同时，上一级输出分支的边界框位置回归输出作为池化操作层中下一级池化操作分支的一个输入。图6中所示的级联Mask R-CNN网络基本框架示意图中，I代表图像输入层中输入的图片,conv代表公共卷积层,pool代表池化操作层中每个池化操作分支,Hi分别代表第i次级联分支上的卷积操作,Ci则代表输出层中第i级输出分支对于bbox分类的预测,Bi代表对bbox位置的回归。
独立的Mask R-CNN网络(Mask，掩膜；R-CNN，Regions with CNN features)的思路是通过添加一个与边界框识别分支并行的，用于预测目标掩膜的分支来扩展Faster R-CNN，这个掩膜分支与分类预测分支和边界框位置回归分支并行。掩膜分支是作用于每个感兴趣区域(RoI)的小全卷积神经网络(FCN),以像素到像素的方式预测分割掩膜。
在Mask R-CNN网络中，为了给每一个RoI输出一个二进制掩膜，我们在掩膜预测中使用RoIAlign层。传统的RoIPooling(ROI池化操作)是从每个RoI提取特征图。RoIPool首先将浮点数表示的RoI量化到与特征图匹配的粒度，然后将量化后的RoI分块，最后汇总每个块覆盖的区域的特征值(通常使用最大池化)。这些量化操作使RoI与提取的特征错位，这直接导致特征图RoI映射回原图RoI时空间不对齐明显，造成误差。
使用RoIAlign层，有效消除了对RoIPool的粗糙量化，并将提取的特征与输入精准的对齐。为了避免对RoI边界或块进行量化。我们选取每个RoI分块中的四个常规位置，使用双线性插值来计算每个位置的精确值，并将结果汇总(使用最大或平均池化)，完成像素级的对齐。
进一步地，级联Mask R-CNN网络在每一级(即，每个池化操作分支和与之对应的输出分支)设置不同的IOU阈值界定样本训练模型，前一个检测模型的输出是后一个检测模型的输入，IOU阈值一直上升。使用不同的IOU阈值划分正负样本，让每一级的检测器(detector)都专注于检测IOU在某一范围内的proposal，因为输出IOU普遍大于输入IOU，因此检测效果会越来越好。
本实施例中，级联Mask R-CNN网络相较于典型的级联R-CNN框架，掩膜分支只增加了一个小的计算开销，但极大的提高了网络性能。
较佳地，每级输出的边界框位置回归输出分别是同级输出分支的掩膜输出的输入，以此使得掩膜位于边界框位置回归后得到的bbox范围中。相当于做了掩膜和边界框的匹配或拟合。
如图7所示，较佳地，步骤S3之后还包括步骤S4：将包括目标对象的局部图像输入分类模型，得到所述目标对象所属的类别。
示例地，将包括绝缘子的局部图像输入分类模型，用以检测绝缘子的局部图像中的绝缘子是否存在自爆等缺陷。示例地，分类模型可以为现有的神经网络分类模型，还可以为自主设计的神经网络分类模型，本申请实施例对此不作限定。
相比较于对原始图片直接进行绝缘子缺陷的检测方式，本实施例中将包括绝缘子的局部图像抠出来后，再进行绝缘子缺陷的检测可以极大的降低检测难度，提高绝缘子缺陷的检测精度。
示例地，分类模型可以为ResNet50网络(深度为50层的残差网络(ResNet，Residual network))。本实施例中，主要进行绝缘子自爆缺陷的检测，因此ResNet50网络采用带有自爆缺陷的图像进行训练。相较于直接采用ResNet50网络从原始图片(指无人机采集到的图像或经过简单预处理的图片)直接检测绝缘子缺陷的设计，本实施例中ResNet50网络的输入为经过按照以上各实施例的步骤获取的绝缘子图像，可有效提高绝缘子自爆的检测精度。
示例地，分类模型还可以为ResNext101网络(101层的ResNext网络)，即将所述绝缘子图像送入ResNext101网络检测绝缘子缺陷。在对绝缘子自爆缺陷的检测中，ResNext101可以在不增加参数复杂度的情况下，提高准确率。
在以上实施例的基础上，本实施例各实验组采用相同的训练集对预设图片分割模型进行训练；采用相同的测试集，并使用训练好的预设图像分割模型从原始图片中识别绝缘子图像，得到的试验数据如下：
表1进行掩膜融合和不进行掩膜融合的检测结果对比
试验组 测试指标 测试结果
第一实验组 MAP 92.3％
第二实验组 MAP 86％
注：第一实验组采用Cascade Mask R-CNN网络模型进行掩膜识别后，没有进行掩膜融合；第二实验组表示采用Cascade Mask R-CNN模型进行掩膜识别后，进行了掩膜融合。MAP表示对绝缘子局部图像分割的平均准确率。
我们知道，准确识别出绝缘子是进行绝缘子缺陷检测的前提。从表1中可见，增加掩膜融合的过程，使得从原始图片中检测出绝缘子图像的平均准确率提高了超过6个百分点。
表2采用Cascade Mask R-CNN网络模型并经过掩膜融合后，再应用ResNet50网络进行绝缘子缺陷检测的实验数据
缺陷检测网络 试验指标 测试效果
ResNet50 自爆ACC 96.6％
ResNet50 非自爆ACC 94.36％
注：ACC表示检测的准确率。
由表2可见，在采用Cascade Mask R-CNN网络模型并经过掩膜融合后，应用ResNet50进行绝缘子缺陷检测的实验中，对于绝缘子自爆缺陷检测的准确率可以达到96.6％；对没有自爆缺陷的绝缘子经过检测，准确率也可以达到94.36％。也就是说，采用Cascade Mask R-CNN网络模型并使用掩膜融合后，应用ResNet50进行绝缘子缺陷检测的实验中，误检和漏检率均不到8％。
如图8所示，本发明实施例的一种图像处理装置，包括：
图像分割模块，用于将包含目标对象的原始图片输入预设图像分割模型,确定所述目标对象的多个片段分别对应的多个第一掩膜；
融合模块，用于对所述多个第一掩膜进行融合处理，确定所述目标对象对应的第二掩膜；
输出模块，用于根据所述第二掩膜，从所述原始图片中获取包括所述目标对象的局部图像。
可选地，所述融合模块具体用于：
分别确定所述多个第一掩膜的第一最小外接矩形；
当多个所述第一最小外接矩形中的任意两个第一最小外接矩形满足融合条件时，对所述任意两个第一最小外接矩形分别对应的两个第一掩膜进行合并，直至得到所述第二掩膜。
可选地，所述融合模块具体用于：
当所述两个第一最小外接矩形满足下面三个融合条件中的至少一个时，对所述两个第一最小外接矩形分别对应的两个第一掩膜进行合并，直到得到所述第二掩膜；
所述三个融合条件分别为：
所述两个第一最小外接矩形中心点之间的距离小于所述两个第一最小外接矩形长边之和的一半；
所述两个第一最小外接矩形短边的比值小于第一阈值；
所述两个第一最小外接矩形在预设方向上的夹角小于预设角度。
可选地，所述输出模块具体用于：根据所述第二掩膜的正外接矩形和所述第二掩膜的第二最小外接矩形，对所述原始图片进行裁切，得到包括所述目标对象的局部图像。
可选地，所述输出模块具体用于：
确定所述第二掩膜的正外接矩形，并根据所述正外接矩形的对角线长度，将所述正外接矩形扩充为正方形。示例地，确定所述第二掩膜的正外接矩形，计算所述正外接矩形的对角线长度，以所述对角线长度作为边长将所述正外接矩形扩充为正方形。当所述正方形超出所述原始图片边界时，将所述正方形中超出所述原始图片边界的像素区域设为预设像素值。
根据所述第二最小外接矩形的位置，将所述正方形旋转特定角度。示例地，所述特定角度为所述第二掩膜的第二最小外接矩形的主轴与所述原始图片任一边界的夹角。
对旋转后的所述正方形对应的图像区域进行裁切，得到包括所述目标对象的局部图像。示例地，根据所述第二掩膜的中心位置以及所述第二最小外接矩形的顶点位置，对旋转后的所述正方形对应的图像区域进行裁切，得到包括所述目标对象的局部图像。
可选地，所述图像处理装置还包括分类模块，所述分类模块用于将包括所述目标对象的局部图像输入分类模型，得到所述目标对象所属的类别。
可选地，通过训练样本对神经网络进行训练，得到所述预设图像分割模型，其中，通过对所述训练样本中满足预设条件的多个样本目标对象进行合并标注得到所述训练样本。
示例地，所述预设条件包括：所述多个样本目标对象平行；和/或，所述多个样本目标对象之间的距离小于第二阈值。
可选地，所述预设图像分割模型为级联Mask R-CNN网络，所述级联Mask R-CNN网络包括输出层，所述输出层包括至少一个输出分支，所述输出分支包括分类预测输出、边界框位置回归输出和掩膜输出。
示例地，所述级联Mask R-CNN网络还包括图像输入层、与所述图像输入层连接的共享卷积层以及与所述共享卷积层连接的并行的多个池化操作分支，每个所述池化操作分支均连接一个所述输出分支，其中上一级所述输出分支中的所述边界框位置回归输出作为下一级所述池化操作分支的输入。
示例地，每级所述输出分支的所述边界框位置回归输出均是同级的所述掩膜输出的输入，用于限制所述掩膜位于所述边界框回归得到的检测框中。
另外，本发明公开的至少一个实施例，提供了一种存储介质，该存储介质可以是计算机可执行的非易失性存储介质。所述存储介质上存储计算机程序，所述计算机程序运行时，执行上述实施例所述的图像处理方法的步骤。
此外，本发明公开的至少另一个实施例，提供了一种电子设备，包括处理器和存储器，所述存储器中存储计算机程序，所述计算机程序被所述处理器执行时实现上述图像处理方法的步骤。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (16)

1.一种图像处理方法，其特征在于，包括：
将包含目标对象的原始图片输入预设图像分割模型,确定所述目标对象的多个片段分别对应的多个第一掩膜；
对所述多个第一掩膜进行融合处理，确定所述目标对象对应的第二掩膜；
所述对所述多个第一掩膜进行融合处理，确定所述目标对象对应的第二掩膜，具体包括：
分别确定所述多个第一掩膜的第一最小外接矩形；
当多个所述第一最小外接矩形中的任意两个第一最小外接矩形满足融合条件时，对所述任意两个第一最小外接矩形分别对应的两个第一掩膜进行合并，直至得到所述第二掩膜；
所述融合条件包括：
所述两个第一最小外接矩形中心点之间的距离小于所述两个第一最小外接矩形长边之和的一半；
所述两个第一最小外接矩形短边的比值小于第一阈值；
所述两个第一最小外接矩形在预设方向上的夹角小于预设角度；
根据所述第二掩膜，从所述原始图片中获取包括所述目标对象的局部图像；
所述根据所述第二掩膜，从所述原始图片中获取包括所述目标对象的局部图像，具体包括：
根据所述第二掩膜的正外接矩形和所述第二掩膜的第二最小外接矩形，对所述原始图片进行裁切，得到包括所述目标对象的局部图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述当多个所述第一最小外接矩形中的任意两个第一最小外接矩形满足融合条件时，对所述任意两个第一最小外接矩形分别对应的两个第一掩膜进行合并，直到得到所述第二掩膜，包括：
当所述两个第一最小外接矩形满足所述融合条件中的至少一个时，对所述两个第一最小外接矩形分别对应的两个第一掩膜进行合并，直到得到所述第二掩膜。
3.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第二掩膜的正外接矩形和所述第二掩膜的第二最小外接矩形，对所述原始图片进行裁切，得到包括所述目标对象的局部图像，包括：
确定所述第二掩膜的正外接矩形，并根据所述正外接矩形的对角线长度，将所述正外接矩形扩充为正方形；
根据所述第二最小外接矩形的位置，将所述正方形旋转特定角度；
对旋转后的所述正方形对应的图像区域进行裁切，得到包括所述目标对象的局部图像。
4.根据权利要求3所述的图像处理方法，其特征在于，所述特定角度为所述第二掩膜的第二最小外接矩形的主轴与所述原始图片任一边界的夹角。
5.根据权利要求3所述的图像处理方法，其特征在于，所述确定所述第二掩膜的正外接矩形，并根据所述正外接矩形的对角线长度，将所述正外接矩形扩充为正方形，包括：
确定所述第二掩膜的正外接矩形；
计算所述正外接矩形的对角线长度，以所述对角线长度作为边长将所述正外接矩形扩充为正方形。
6.根据权利要求5所述的图像处理方法，其特征在于，所述以所述对角线长度作为边长将所述正外接矩形扩充为正方形，还包括：
当所述正方形超出所述原始图片边界时，将所述正方形中超出所述原始图片边界的像素区域设为预设像素值。
7.根据权利要求3所述的图像处理方法，其特征在于，所述对旋转后的所述正方形对应的图像区域进行裁切，得到包括所述目标对象的局部图像，包括：
根据所述第二掩膜的中心位置以及所述第二最小外接矩形的顶点位置，对旋转后的所述正方形对应的图像区域进行裁切，得到包括所述目标对象的局部图像。
8.根据权利要求2任一项所述的图像处理方法，其特征在于，还包括：
将包括所述目标对象的局部图像输入分类模型，得到所述目标对象所属的类别。
9.根据权利要求1所述的图像处理方法，其特征在于，还包括：通过训练样本对神经网络进行训练，得到所述预设图像分割模型，其中，通过对所述训练样本中满足预设条件的多个样本目标对象进行合并标注得到所述训练样本。
10.根据权利要求9所述的图像处理方法，其特征在于，所述预设条件包括：
所述多个样本目标对象平行；和/或，所述多个样本目标对象之间的距离小于第二阈值。
11.根据权利要求1、9或10所述的图像处理方法，其特征在于，所述预设图像分割模型为级联Mask R-CNN网络，所述级联Mask R-CNN网络包括输出层，所述输出层包括至少一个输出分支，所述输出分支包括分类预测输出、边界框位置回归输出和掩膜输出。
12.根据权利要求11所述的图像处理方法，其特征在于，所述级联Mask R-CNN网络还包括图像输入层、与所述图像输入层连接的共享卷积层以及与所述共享卷积层连接的并行的多个池化操作分支，每个所述池化操作分支均连接一个所述输出分支，其中上一级所述输出分支中的所述边界框位置回归输出作为下一级所述池化操作分支的输入。
13.根据权利要求12所述的图像处理方法，其特征在于，每级所述输出分支的所述边界框位置回归输出均是同级的所述掩膜输出的输入，用于限制所述掩膜位于所述边界框回归得到的检测框中。
14.一种图像处理装置，其特征在于，包括：
图像分割模块，用于将包含目标对象的原始图片输入预设图像分割模型,确定所述目标对象的多个片段分别对应的多个第一掩膜；
融合模块，用于对所述多个第一掩膜进行融合处理，确定所述目标对象对应的第二掩膜；
所述对所述多个第一掩膜进行融合处理，确定所述目标对象对应的第二掩膜，具体包括：
分别确定所述多个第一掩膜的第一最小外接矩形；
当多个所述第一最小外接矩形中的任意两个第一最小外接矩形满足融合条件时，对所述任意两个第一最小外接矩形分别对应的两个第一掩膜进行合并，直至得到所述第二掩膜；
所述融合条件包括：
所述两个第一最小外接矩形中心点之间的距离小于所述两个第一最小外接矩形长边之和的一半；
所述两个第一最小外接矩形短边的比值小于第一阈值；
所述两个第一最小外接矩形在预设方向上的夹角小于预设角度；
输出模块，用于根据所述第二掩膜，从所述原始图片中获取包括所述目标对象的局部图像；
所述根据所述第二掩膜，从所述原始图片中获取包括所述目标对象的局部图像，具体包括：
根据所述第二掩膜的正外接矩形和所述第二掩膜的第二最小外接矩形，对所述原始图片进行裁切，得到包括所述目标对象的局部图像。
15.一种存储介质，其特征在于，所述存储介质上存储计算机程序，所述计算机程序运行时，执行权利要求1-13任一项所述的图像处理方法。
16.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储计算机程序，所述计算机程序被所述处理器执行时实现权利要求1-13中任一项所述的图像处理方法。
CN201911263036.8A 2019-12-11 2019-12-11 一种图像处理方法、装置、存储介质和电子装置 Active CN111046950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911263036.8A CN111046950B (zh) 2019-12-11 2019-12-11 一种图像处理方法、装置、存储介质和电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911263036.8A CN111046950B (zh) 2019-12-11 2019-12-11 一种图像处理方法、装置、存储介质和电子装置

Publications (2)

Publication Number Publication Date
CN111046950A CN111046950A (zh) 2020-04-21
CN111046950B true CN111046950B (zh) 2023-09-22

Family

ID=70235562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911263036.8A Active CN111046950B (zh) 2019-12-11 2019-12-11 一种图像处理方法、装置、存储介质和电子装置

Country Status (1)

Country Link
CN (1) CN111046950B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111812096B (zh) * 2020-06-02 2023-07-07 国网浙江嘉善县供电有限公司 一种绝缘子电弧烧伤的快速定位智能图像检测方法
CN111832398B (zh) * 2020-06-02 2022-07-01 国网浙江嘉善县供电有限公司 一种无人机影像的配电线路杆塔导地线断股图像检测方法
CN112183629B (zh) * 2020-09-28 2024-05-28 海尔优家智能科技（北京）有限公司 一种图像标识方法、装置、存储介质及电子设备
CN113102266A (zh) * 2021-03-16 2021-07-13 四川九通智路科技有限公司 一种多维度垃圾识别分类系统
CN116342625B (zh) * 2023-03-30 2023-10-03 广东思沃激光科技有限公司 用于LDI曝光设备的gds图形分割方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备
CN108898567A (zh) * 2018-09-20 2018-11-27 北京旷视科技有限公司 图像降噪方法、装置及系统
CN108898610A (zh) * 2018-07-20 2018-11-27 电子科技大学 一种基于mask-RCNN的物体轮廓提取方法
CN109800631A (zh) * 2018-12-07 2019-05-24 天津大学 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法
CN109886179A (zh) * 2019-02-18 2019-06-14 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN109949316A (zh) * 2019-03-01 2019-06-28 东南大学 一种基于rgb-t融合的电网设备图像弱监督实例分割方法
CN110059577A (zh) * 2019-03-26 2019-07-26 北京迈格威科技有限公司 行人属性信息提取方法及装置
CN110152938A (zh) * 2019-04-02 2019-08-23 华中科技大学 一种元器件点胶轨迹提取方法及自动控制机器人系统
CN110502654A (zh) * 2019-08-26 2019-11-26 长光卫星技术有限公司 一种适用于多源异构遥感数据的目标库生成系统
CN110555122A (zh) * 2019-07-19 2019-12-10 中国地质大学（武汉） 一种基于分段矩形的建筑平面图墙体矢量化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018128741A1 (en) * 2017-01-06 2018-07-12 Board Of Regents, The University Of Texas System Segmenting generic foreground objects in images and videos
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备
CN108898610A (zh) * 2018-07-20 2018-11-27 电子科技大学 一种基于mask-RCNN的物体轮廓提取方法
CN108898567A (zh) * 2018-09-20 2018-11-27 北京旷视科技有限公司 图像降噪方法、装置及系统
CN109800631A (zh) * 2018-12-07 2019-05-24 天津大学 基于掩膜区域卷积神经网络的荧光编码微球图像检测方法
CN109886179A (zh) * 2019-02-18 2019-06-14 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN109949316A (zh) * 2019-03-01 2019-06-28 东南大学 一种基于rgb-t融合的电网设备图像弱监督实例分割方法
CN110059577A (zh) * 2019-03-26 2019-07-26 北京迈格威科技有限公司 行人属性信息提取方法及装置
CN110152938A (zh) * 2019-04-02 2019-08-23 华中科技大学 一种元器件点胶轨迹提取方法及自动控制机器人系统
CN110555122A (zh) * 2019-07-19 2019-12-10 中国地质大学（武汉） 一种基于分段矩形的建筑平面图墙体矢量化方法
CN110502654A (zh) * 2019-08-26 2019-11-26 长光卫星技术有限公司 一种适用于多源异构遥感数据的目标库生成系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴金亮 ; 王港 ; 梁硕 ; 陈金勇 ; 高峰 ; .基于Mask R-CNN的舰船目标检测研究.无线电工程.2018,(11),第947-952页. *

Also Published As

Publication number Publication date
CN111046950A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111046950B (zh) 一种图像处理方法、装置、存储介质和电子装置
Wei et al. Toward automatic building footprint delineation from aerial images using CNN and regularization
Hou et al. Inspection of surface defects on stay cables using a robot and transfer learning
CN106290388B (zh) 一种绝缘子故障自动检测方法
Akagic et al. Pothole detection: An efficient vision based method using rgb color space image segmentation
CN109712071B (zh) 基于航迹约束的无人机图像拼接与定位方法
CN110610483A (zh) 裂纹图像获取、检测方法、计算机设备及可读存储介质
CN111862013A (zh) 基于深度卷积神经网络的绝缘子检测方法、装置及设备
CN110910360B (zh) 电网图像的定位方法和图像定位模型的训练方法
CN110751619A (zh) 一种绝缘子缺陷检测方法
US11587299B2 (en) Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques
CN111667470A (zh) 一种基于数字图像的工业管道探伤内壁检测方法
CN114283343B (zh) 基于遥感卫星图像的地图更新方法、训练方法和设备
CN105528790A (zh) 一种输电线路小型部件识别方法
CN116958837A (zh) 基于无人机的市政设施故障检测系统
CN111369515A (zh) 一种基于计算机视觉的隧道水渍检测系统及方法
CN116206326A (zh) 缺失检测模型的训练方法、导流区的缺失检测方法及装置
Zan et al. Defect Identification of Power Line Insulators Based on a MobileViT‐Yolo Deep Learning Algorithm
CN114418968A (zh) 一种基于深度学习的输电线路小目标缺陷检测方法
Tian et al. Road crack detection algorithm based on YOLOv3
Chen et al. All-in-one YOLO architecture for safety hazard detection of environment along high-speed railway
CN112861952B (zh) 一种局部放电图像匹配深度学习方法
CN113378918B (zh) 一种基于度量学习的绝缘子绑扎线状态检测方法
CN113989604B (zh) 基于端到端深度学习的轮胎dot信息识别方法
Sui et al. A boundary aware neural network for road extraction from high-resolution remote sensing imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant