CN112365399B - 基于深度学习的风机叶片图像全景拼接方法和系统 - Google Patents
基于深度学习的风机叶片图像全景拼接方法和系统 Download PDFInfo
- Publication number
- CN112365399B CN112365399B CN202011074143.9A CN202011074143A CN112365399B CN 112365399 B CN112365399 B CN 112365399B CN 202011074143 A CN202011074143 A CN 202011074143A CN 112365399 B CN112365399 B CN 112365399B
- Authority
- CN
- China
- Prior art keywords
- picture
- fan blade
- pictures
- neural network
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 60
- 101100534231 Xenopus laevis src-b gene Proteins 0.000 claims description 47
- 238000011176 pooling Methods 0.000 claims description 25
- 238000002372 labelling Methods 0.000 claims description 11
- 101100534229 Caenorhabditis elegans src-2 gene Proteins 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的风机叶片图像全景拼接方法和系统，所述方法包括：构建卷积神经网络；利用预先获取的大量风机叶片图片进行位置标注，生成训练标签；利用所述训练标签对所述卷积神经网络进行训练，获得经训练的卷积神经网络模型；将待拼接的原始风机叶片图片输入所述经训练的卷积神经网络模型，获得所述原始风机叶片图片的位置关系数据并对所述原始风机叶片图片进行拼接。该风机叶片图像全景拼接方法和系统使用深度学习卷积神经网络，能够在图像信息量较少及关键点较少的情况下完成自动化拼图，实现风力发电机叶片的全景拼接，方便后续定位风力发电机叶片上的缺陷位置。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于深度学习的风机叶片图像全景拼接方法和系统。
背景技术
风力发电机叶片长度普遍在20米以上，为了保证风力发电机的正常运转，需要定时使用无人机进行巡检，利用无人机的高清摄像头在距离风力发电机叶片较近的距离拍摄图片，然后处理这些图片，检查叶片是否损坏。风力发电机共有3个叶片，每个叶片有4个面，为了检查叶片是否有损坏，需要依次拍摄所有叶片的所有表面，同时必须保证损坏的部分有足够的清晰度，也就是说必须有足够多的像素数量。无人机的摄像头分辨率有限，为了保证能够清晰地拍摄到叶片的细节，每个叶片的每个面需要按从叶根到叶尖或从叶尖到叶根的顺序依次拍摄约50张高清照片。为了更直观地判断损坏出现在叶片的位置，需要把每一个叶片的每一个面拼接成一张完整的全景图像，这就需要把无人机拍摄的约50张细节图拼合成1张。
现有的图像拼接方法主要包括基于关键点匹配的图像拼接方法和基于直方图匹配的图像拼接方法。基于关键点匹配的图像拼接方法主要基于传统的图像处理方法，提取图像本身的关键点信息，比如图像的角点、特征点等，再利用这些关键点的关系进行拼接。该方法非常依赖关键点的数量和质量。在画面纯粹、纹理较少的情况下，关键点数量也相对较少，导致无法计算出变换矩阵，进而导致不能拼合图像。此外，风机叶片形状不规则，有两个面宽度较窄，在拍摄的时候难免会拍摄到背景。使用关键点匹配技术时大部分关键点都位于背景上，而不是风机叶片上。算法无法识别到风机叶片上用于拼接的有用信息，导致拼接出现错误。此外，关键点检测和匹配过程需要大量计算，耗时相对较多，在拼接图像尺寸较大、数量较多时，拼接效率较低。
基于直方图匹配的图像拼接方法主要利用图像的直方图信息进行匹配运算。该方法精度较差，当图片关键点较少，但颜色、亮度等信息区域性差异较大的情况下较为适用，而当需要拼接的图像在颜色、亮度等信息变化较小的情况下，该方法不具备实用价值。在拼接风力发电机叶片的情况下，前景是风力发电机的叶片，整体颜色变化范围较小，亮度几乎没有变化，因此该方法无法使用。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于深度学习的风机叶片图像全景拼接方法和系统。本发明要解决的技术问题通过以下技术方案实现：
本发明的一个方面提供了一种基于深度学习的风机叶片图像全景拼接方法，包括：
S1：构建卷积神经网络；
S2：利用预先获取的大量风机叶片图片进行位置标注，生成训练标签；
S3：利用所述训练标签对所述卷积神经网络进行训练，获得经训练的卷积神经网络模型；
S4：将待拼接的原始风机叶片图片输入所述经训练的卷积神经网络模型，获得所述原始风机叶片图片的位置关系数据并对所述原始风机叶片图片进行拼接。
在本发明的一个实施例中，所述S1包括：
利用回归网络构建所述卷积神经网络，所述卷积神经网络包括依次连接的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层、第五卷积层、第六卷积层、第三最大池化层、第七卷积层、第八卷积层、第一全连接层和第二全连接层。
在本发明的一个实施例中，所述S2包括：
S21：从预先获取的大量风机叶片图片中选取两张可拼接图片并获得所述两张可拼接图片的相对位置关系数据；
S22：构建文本文档并在所述文本文档中存储所述两张可拼接图片的相对位置关系数据，生成训练标签；
S23：重复步骤S21和步骤S22，生成包括多个训练标签的训练标签集。
在本发明的一个实施例中，所述S21包括：
S211：从所述大量风机叶片图片中选取两张可拼接图片src1和src2；
S212：分别获得图片src1和图片src2的相对位置坐标x、y以及相对尺寸关系dx、dy：
x＝(x2-x1)*1.0/Width1
y＝(y2-y1)*1.0/Height1
dx＝(Width2*1.0)/Width1
dy＝(Height2*1.0)/Height1
其中，(x1，y1)表示图片src1的左上顶点的坐标，Width1表示图片src1的宽度，Height1表示图片src1的高度，(x2，y2)表示图片src2的左上顶点的坐标，Width2表示图片src2的宽度，Height2表示图片src2的高度；
S213：获得图片src1和图片src2的相对转动角度关系rx、ry、rz，其中，rx、ry、rz分别代表图片src2在x、y、z三个坐标轴上相对于图片src2的旋转角度。
在本发明的一个实施例中，所述S3包括：
S31：将来自训练数据集的可拼接图片对输入至构建的所述卷积神经网络中，其中，所述训练数据集包括大量可拼接图片对，所述可拼接图像对中包括可拼接在一起的至少两张图片；
S32：通过所述卷积神经网络进行前向传播计算并获得输出结果；
S33：利用所述输出结果与当前可拼接图片对相应的训练标签计算出误差并进行反向传播，以更新所述卷积神经网络的特性；
S34：重复步骤S31至步骤S33以进行迭代更新，生成最终经训练的卷积神经网络模型。
本发明的另一方面提供了一种基于深度学习的风机叶片图像全景拼接系统，用于执行上述实施例中任一项所述的风机叶片图像全景拼接方法，其特征在于，所述系统包括：
图像标注模块，利用预先获取的大量风机叶片图片进行位置标注，获得多个可拼接图片对的相对位置关系数据；
图像数据存储模块，用于存储所述多个可拼接图片对的相对位置关系数据以作为训练标签集；
深度学习模块，包括卷积神经网络模型，用于获取待拼接的原始风机叶片图片的位置关系数据并对所述待拼接的原始风机叶片图片进行拼接，其中，所述卷积神经网络模型是由构建的卷积神经网络经过所述训练标签集训练获得的。
在本发明的一个实施例中，所述卷积神经网络包括依次连接的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层、第五卷积层、第六卷积层、第三最大池化层、第七卷积层、第八卷积层、第一全连接层和第二全连接层。
在本发明的一个实施例中，所述图像标注模块具体用于：
从预先获取的大量风机叶片图片中选取两张可拼接图片src1和src2；
分别获得图片src1和图片src2的相对位置坐标x、y以及相对尺寸关系dx、dy：
x＝(x2-x1)*1.0/Width1
y＝(y2-y1)*1.0/Height1
dx＝(Width2*1.0)/Width1
dy＝(Height2*1.0)/Height1
其中，(x1，y1)表示图片src1的左上顶点的坐标，Width1表示图片src1的宽度，Height1表示图片src1的高度，(x2，y2)表示图片src2的左上顶点的坐标，Width2表示图片src2的宽度，Height2表示图片src2的高度；
获得图片src1和图片src2的相对转动角度关系rx、ry、rz，其中，rx、ry、rz分别代表图片src2在x、y、z三个坐标轴上相对于图片src2的旋转角度；
重复获得多个可拼接图像对的相对位置关系数据。
与现有技术相比，本发明的有益效果在于：
1、本发明的风机叶片图像全景拼接方法和系统使用深度学习卷积神经网络，能够在图像信息量较少及关键点较少的情况下完成自动化拼图，实现风力发电机叶片的全景拼接，方便后续定位风力发电机叶片上的缺陷位置。
2、本发明的风机叶片图像全景拼接方法和系统采用预标注的方式，通过预先标注的多个可拼接图片对的相对位置关系数据作为训练标签集，对深度学习卷积神经网络进行训练和优化，可以有效提升风机叶片图像的拼接效果。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明实施例提供的一种基于深度学习的风机叶片图像全景拼接方法的流程图；
图2是本发明实施例提供的一种卷积神经网络的结构示意图；
图3是两张可拼接图片src1和src2的相关参数示意图；
图4是本发明实施例提供的一种卷积神经网络的输出图像的示意图；
图5是本发明实施例提供的一种基于深度学习的风机叶片图像全景拼接系统的模块图。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于深度学习的风机叶片图像全景拼接方法和系统进行详细说明。
有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
实施例一
请参见图1，图1是本发明实施例提供的一种基于深度学习的风机叶片图像全景拼接方法的流程图。该方法包括：
S1：构建卷积神经网络。
具体地，请参见图2，图2是本发明实施例提供的一种卷积神经网络的结构示意图。利用HomographyNet回归网络构建本实施例的卷积神经网络，如图所示，该卷积神经网络包括依次连接的第一卷积层conv1、第二卷积层conv2、第一最大池化层Max pooling 1、第三卷积层conv3、第四卷积层conv4、第二最大池化层Max pooling 2、第五卷积层conv5、第六卷积层conv6、第三最大池化层Max pooling 1、第七卷积层conv7、第八卷积层conv8、第一全连接层FC1和第二全连接层FC2。
具体地，第一卷积层conv1的参数为h*w*c＝128*128*64，第二卷积层conv2的参数为h*w*c＝128*128*64，第三卷积层conv3的参数为h*w*c＝64*64*64，第四卷积层conv4的参数为h*w*c＝64*64*64，第五卷积层conv5的参数为h*w*c＝32*32*128，第六卷积层conv6的参数为h*w*c＝32*32*128，第七卷积层conv7的参数为h*w*c＝16*16*128，第八卷积层conv8的参数为h*w*c＝16*16*128，其中，h表示卷积层的长度，w表示卷积层的宽度，c表示卷积核。第一全连接层FC1的神经元个数为1024，第二全连接层FC2的神经元个数为8，也就是说，第二全连接层FC2在实际运行过程中最终会输出8个值。
S2：利用预先获取的大量风机叶片图片进行位置标注，生成训练标签；
进一步地，所述S2包括：
S21：从预先获取的大量风机叶片图片中选取两张可拼接图片并获得所述两张可拼接图片的相对位置关系数据；
本步骤为图像数据标注过程，具体地，请参见图3，图3是两张可拼接图片src1和src2的相关参数示意图。从大量风机叶片图片中选取两张可拼接图片，命名为src1和src2，分别获得图片src1和图片src2的相对位置坐标x、y以及相对尺寸关系dx、dy：
x＝(x2-x1)*1.0/Width1
y＝(y2-y1)*1.0/Height1
dx＝(Width2*1.0)/Width1
dy＝(Height2*1.0)/Height1
其中，(x1，y1)表示图片src1的左上顶点的坐标，Width1表示图片src1的宽度，Height1表示图片src1的高度，(x2，y2)表示图片src2的左上顶点的坐标，Width2表示图片src2的宽度，Height2表示图片src2的高度；随后，获得图片src1和图片src2的相对转动角度关系rx、ry、rz，其中，rx、ry、rz分别代表图片src2在x、y、z三个坐标轴上相对于图片src2的旋转角度。在本实施例中，x轴和y轴为图片所在平面，z轴为垂直图片向上，所述旋转角度归一到顺时针旋转的角度，区间在(0，2*3.1416)，结果保留四位小数。
这样通过相对坐标关系标记图片src1和图片src2的位置，可以准确地表示两张图片的位置关系，并且不依赖于任何一张图的尺寸大小。
S22：构建文本文档并在所述文本文档中存储所述两张可拼接图片的相对位置关系数据，生成训练标签；
具体地，构建一个以预定规则命名的文本文档(例如以这两张图片命名的文本文档)，在该文本文档中储存图片src1、图片src2的图片名称以及x、y、dx、dy、rx、ry、rz这些参数值，作为一个训练标签。
S23：重复步骤S21和步骤S22，生成包括多个训练标签的训练标签集。
具体地，预先获取大量风机叶片图片，其中包括大量可相互拼接的图片对，对这些可相互拼接的图片对分别通过上述步骤进行标注，获得并保存大量的上述训练标签，每个训练标签均包括两个可相互拼接的图片的图像数据以及它们之间的x、y、dx、dy、rx、ry、rz这些参数值，从而形成一个包括多个训练标签的训练标签集。
S3：利用所述训练标签对所述卷积神经网络进行训练，获得经训练的卷积神经网络模型；
进一步地，步骤S3包括：
S31：将来自训练数据集的可拼接图片对输入至构建的所述卷积神经网络中，其中，所述训练数据集包括大量可拼接图片对，所述可拼接图像对中包括可拼接在一起的至少两张图片；
具体地，请参见图4，图4是本发明实施例提供的一种卷积神经网络的输出图像的示意图。本实施例的卷积神经网络输入的图像为一张正方形图片，h*w＝128*128，其中，该正方形图片的上半部分为可拼接图片对中的一个图片，例如图片src1，下半部分为可拼接图片对中对应的另一个图片，例如图片src2。
S32：通过所述卷积神经网络进行前向传播计算并获得输出结果；
S33：利用所述输出结果与当前可拼接图片对相应的训练标签计算出误差并进行反向传播，以更新所述卷积神经网络的特性；
S34：重复步骤S31至步骤S33以进行迭代更新，生成最终经训练的卷积神经网络模型。
卷积神经网络训练的目的是通过卷积神经网络的深度学习，获得这张输入的图片，得到可拼接图片对中两个图片的位置关系，并与上述标注得到的训练标签进行比较，以更新所述卷积神经网络的特性，最终得到可以进行风机叶片图像全景拼接的神经网络模型。
本实施例使用HomographyNet回归网络进行训练，HomographyNet回归网络可以学习两幅相关图像的单应性，学习两张图的相对变换关系，直接学习几何变换以对齐两个图像，而不是将深度学习的使用限于特征提取。这样的网络结构可以提取出上述7个值，即x、y、dx、dy、rx、ry、rz用于变换图像。
S4：将待拼接的原始风机叶片图片输入所述经训练的卷积神经网络模型，获得所述原始风机叶片图片的位置关系数据并对所述原始风机叶片图片进行拼接。
本实施例的风机叶片图像全景拼接方法使用深度学习卷积神经网络，能够在图像信息量较少及关键点较少的情况下完成自动化拼图，实现风力发电机叶片的全景拼接，方便后续定位风力发电机叶片上的缺陷位置。该风机叶片图像全景拼接方法和系统采用预标注的方式，通过预先标注的多个可拼接图片对的相对位置关系数据以作为训练标签集，对深度学习卷积神经网络进行训练和优化，可以有效优化风机叶片图像的拼接效果。
实施例二
在上述实施例的基础上，本实施例提供了一种基于深度学习的风机叶片图像全景拼接系统，用于执行上述实施例中任一项所述的风机叶片图像全景拼接方法。请参见图5，图5是本发明实施例提供的一种基于深度学习的风机叶片图像全景拼接系统的模块图。本实施例的风机叶片图像全景拼接系统包括图像标注模块1、图像数据存储模块2和深度学习模块3。图像标注模块1利用预先获取的大量风机叶片图片进行位置标注，获得多个可拼接图片对的相对位置关系数据。
进一步地，图像标注模块1具体用于：
从预先获取的大量风机叶片图片中选取两张可拼接图片src1和src2；
分别获得图片src1和图片src2的相对位置坐标x、y以及相对尺寸关系dx、dy：
x＝(x2-x1)*1.0/Width1
y＝(y2-y1)*1.0/Height1
dx＝(Width2*1.0)/Width1
dy＝(Height2*1.0)/Height1
其中，(x1，y1)表示图片src1的左上顶点的坐标，Width1表示图片src1的宽度，Height1表示图片src1的高度，(x2，y2)表示图片src2的左上顶点的坐标，Width2表示图片src2的宽度，Height2表示图片src2的高度；
获得图片src1和图片src2的相对转动角度关系rx、ry、rz，其中，rx、ry、rz分别代表图片src2在x、y、z三个坐标轴上相对于图片src2的旋转角度；
重复获得多个可拼接图像对的相对位置关系数据。
图像数据存储模块2用于存储所述多个可拼接图片对的相对位置关系数据以作为训练标签集。具体地，构建一个以预定规则命名的文本文档(例如以这两张图片命名的文本文档)，在该文本文档中储存图片src1、图片src2的图片名称以及x、y、dx、dy、rx、ry、rz这些参数值，作为一个训练标签，将该文本文档存储在图像数据存储模块2中。类似地，以上述方式构建大量文本文档，已存储对应的图片标注信息。
深度学习模块3包括卷积神经网络模型，用于获取待拼接的原始风机叶片图片的位置关系数据并对所述待拼接的原始风机叶片图片进行拼接，其中，所述卷积神经网络模型是由构建的卷积神经网络经过所述训练标签集训练获得的。
进一步地，该卷积神经网络依次连接的第一卷积层conv1、第二卷积层conv2、第一最大池化层Max pooling 1、第三卷积层conv3、第四卷积层conv4、第二最大池化层Maxpooling 2、第五卷积层conv5、第六卷积层conv6、第三最大池化层Max pooling 1、第七卷积层conv7、第八卷积层conv8、第一全连接层FC1和第二全连接层FC2。
具体地，第一卷积层conv1的参数为h*w*c＝128*128*64，第二卷积层conv2的参数为h*w*c＝128*128*64，第三卷积层conv3的参数为h*w*c＝64*64*64，第四卷积层conv4的参数为h*w*c＝64*64*64，第五卷积层conv5的参数为h*w*c＝32*32*128，第六卷积层conv6的参数为h*w*c＝32*32*128，第七卷积层conv7的参数为h*w*c＝16*16*128，第八卷积层conv8的参数为h*w*c＝16*16*128，其中，h表示卷积层的长度，w表示卷积层的宽度，c表示卷积核。第一全连接层FC1的神经元个数为1024，第二全连接层FC2的神经元个数为8，也就是说，第二全连接层FC2在实际运行过程中最终会输出8个值。卷积层、最大池化层和全连接层的工作原理这里不再赘述。
卷积神经网络训练的目的是通过卷积神经网络的深度学习，获得这张输入的图片，得到可拼接图片对中两个图片的位置关系，并与上述标注得到的训练标签进行比较，以更新所述卷积神经网络的特性，最终得到可以进行风机叶片图像全景拼接的神经网络模型。
将待拼接的原始风机叶片图片输入到经训练的卷积神经网络模型，即可获得原始风机叶片图片的位置关系数据，即x、y、dx、dy、rx、ry、rz，并利用x、y、dx、dy、rx、ry、rz参数值对所述原始风机叶片图片进行拼接。
本实施例的风机叶片图像全景拼接系统使用深度学习卷积神经网络，能够在图像信息量较少及关键点较少的情况下完成自动化拼图，实现风力发电机叶片的全景拼接，方便后续定位风力发电机叶片上的缺陷位置。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (5)
1.一种基于深度学习的风机叶片图像全景拼接方法，其特征在于，包括：
S1：构建卷积神经网络；
S2：利用预先获取的大量风机叶片图片进行位置标注，生成训练标签；
S3：利用所述训练标签对所述卷积神经网络进行训练，获得经训练的卷积神经网络模型；
S4：将待拼接的原始风机叶片图片输入所述经训练的卷积神经网络模型，获得所述原始风机叶片图片的位置关系数据并对所述原始风机叶片图片进行拼接；
所述S2包括：
S21：从预先获取的大量风机叶片图片中选取两张可拼接图片并获得所述两张可拼接图片的相对位置关系数据；
S22：构建文本文档并在所述文本文档中存储所述两张可拼接图片的相对位置关系数据，生成训练标签；
S23：重复步骤S21和步骤S22，生成包括多个训练标签的训练标签集；
所述S21包括：
S211：从所述大量风机叶片图片中选取两张可拼接图片src1和src2；
S212：分别获得图片src1和图片src2的相对位置坐标x、y以及相对尺寸关系dx、dy：
其中，(x1，y1)表示图片src1的左上顶点的坐标，Width1表示图片src1的宽度，Height1表示图片src1的高度，(x2，y2)表示图片src2的左上顶点的坐标，Width2表示图片src2的宽度，Height2表示图片src2的高度；
S213：获得图片src1和图片src2的相对转动角度关系rx、ry、rz，其中，rx、ry、rz分别代表图片src2在x、y、z三个坐标轴上相对于图片src2的旋转角度。
2.根据权利要求1所述的基于深度学习的风机叶片图像全景拼接方法，其特征在于，所述S1包括：
利用回归网络构建所述卷积神经网络，所述卷积神经网络包括依次连接的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层、第五卷积层、第六卷积层、第三最大池化层、第七卷积层、第八卷积层、第一全连接层和第二全连接层。
3.根据权利要求1所述的基于深度学习的风机叶片图像全景拼接方法，其特征在于，所述S3包括：
S31：将来自训练数据集的可拼接图片对输入至构建的所述卷积神经网络中，其中，所述训练数据集包括大量可拼接图片对，所述可拼接图片对中包括可拼接在一起的至少两张图片；
S32：通过所述卷积神经网络进行前向传播计算并获得输出结果；
S33：利用所述输出结果与当前可拼接图片对相应的训练标签计算出误差并进行反向传播，以更新所述卷积神经网络的特性；
S34：重复步骤S31至步骤S33以进行迭代更新，生成最终经训练的卷积神经网络模型。
4.一种基于深度学习的风机叶片图像全景拼接系统，用于执行权利要求1至3中任一项所述的风机叶片图像全景拼接方法，其特征在于，所述系统包括：
图像标注模块，利用预先获取的大量风机叶片图片进行位置标注，获得多个可拼接图片对的相对位置关系数据；
图像数据存储模块，用于存储所述多个可拼接图片对的相对位置关系数据以作为训练标签集；
深度学习模块，包括卷积神经网络模型，用于获取待拼接的原始风机叶片图片的位置关系数据并对所述待拼接的原始风机叶片图片进行拼接，其中，所述卷积神经网络模型是由构建的卷积神经网络经过所述训练标签集训练获得的；
所述图像标注模块具体用于：
从预先获取的大量风机叶片图片中选取两张可拼接图片src1和src2；
分别获得图片src1和图片src2的相对位置坐标x、y以及相对尺寸关系dx、dy：
其中，(x1，y1)表示图片src1的左上顶点的坐标，Width1表示图片src1的宽度，Height1表示图片src1的高度，(x2，y2) 表示图片src2的左上顶点的坐标，Width2表示图片src2的宽度，Height2表示图片src2的高度；
获得图片src1和图片src2的相对转动角度关系rx、ry、rz，其中，rx、ry、rz分别代表图片src2在x、y、z三个坐标轴上相对于图片src2的旋转角度；
重复获得多个可拼接图像对的相对位置关系数据。
5.根据权利要求4所述的基于深度学习的风机叶片图像全景拼接系统，其特征在于，所述卷积神经网络包括依次连接的第一卷积层、第二卷积层、第一最大池化层、第三卷积层、第四卷积层、第二最大池化层、第五卷积层、第六卷积层、第三最大池化层、第七卷积层、第八卷积层、第一全连接层和第二全连接层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011074143.9A CN112365399B (zh) | 2020-10-09 | 2020-10-09 | 基于深度学习的风机叶片图像全景拼接方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011074143.9A CN112365399B (zh) | 2020-10-09 | 2020-10-09 | 基于深度学习的风机叶片图像全景拼接方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112365399A CN112365399A (zh) | 2021-02-12 |
| CN112365399B true CN112365399B (zh) | 2024-05-03 |
Family
ID=74506714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011074143.9A Active CN112365399B (zh) | 2020-10-09 | 2020-10-09 | 基于深度学习的风机叶片图像全景拼接方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112365399B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115187461A (zh) * | 2022-07-28 | 2022-10-14 | 中国华能集团清洁能源技术研究院有限公司 | 基于单应性和重建网络的风机叶片图像拼接方法及设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023305A (zh) * | 2016-05-10 | 2016-10-12 | 曹屹 | 三维空间的建模方法和装置 |
| CN106920215A (zh) * | 2017-03-06 | 2017-07-04 | 长沙全度影像科技有限公司 | 一种全景图像配准效果的检测方法 |
| CN107590260A (zh) * | 2017-09-21 | 2018-01-16 | 北京星闪世图科技有限公司 | 点云数据实时检索方法及其系统 |
| CN107679127A (zh) * | 2017-09-21 | 2018-02-09 | 北京星闪世图科技有限公司 | 基于地理位置的点云信息并行提取方法及其系统 |
| CN108133186A (zh) * | 2017-12-21 | 2018-06-08 | 东北林业大学 | 一种基于深度学习的植物叶片识别方法 |
| CN109185074A (zh) * | 2018-09-29 | 2019-01-11 | 智富明珠科技（大连）有限公司 | 风力发电机组叶片损伤在线检测方法 |
| CN109961398A (zh) * | 2019-02-18 | 2019-07-02 | 鲁能新能源(集团)有限公司 | 风机叶片图像分割与网格优化拼接方法 |
| CN110111328A (zh) * | 2019-05-16 | 2019-08-09 | 上海中认尚科新能源技术有限公司 | 一种基于卷积神经网络的风力发电机叶片裂纹检测方法 |
| CN110426415A (zh) * | 2019-07-15 | 2019-11-08 | 武汉大学 | 基于深度卷积神经网络和图像分割的油浸式变压器内部热故障诊断方法 |
| CN110569747A (zh) * | 2019-08-20 | 2019-12-13 | 南京农业大学 | 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法 |
| CN111080804A (zh) * | 2019-10-23 | 2020-04-28 | 贝壳技术有限公司 | 三维图像生成方法及装置 |
| CN111696075A (zh) * | 2020-04-30 | 2020-09-22 | 航天图景（北京）科技有限公司 | 一种基于双光谱图像的风机叶片缺陷智能检测方法 |
| CN111709190A (zh) * | 2020-06-24 | 2020-09-25 | 国电联合动力技术有限公司 | 风电机组运行数据图像识别方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10621717B2 (en) * | 2018-03-30 | 2020-04-14 | General Electric Compnay | System and method for image-based target object inspection |
| CN112116646B (zh) * | 2020-09-23 | 2023-11-24 | 南京工程学院 | 一种基于深度卷积神经网络的光场图像深度估计方法 |
-
2020
- 2020-10-09 CN CN202011074143.9A patent/CN112365399B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106023305A (zh) * | 2016-05-10 | 2016-10-12 | 曹屹 | 三维空间的建模方法和装置 |
| CN106920215A (zh) * | 2017-03-06 | 2017-07-04 | 长沙全度影像科技有限公司 | 一种全景图像配准效果的检测方法 |
| CN107590260A (zh) * | 2017-09-21 | 2018-01-16 | 北京星闪世图科技有限公司 | 点云数据实时检索方法及其系统 |
| CN107679127A (zh) * | 2017-09-21 | 2018-02-09 | 北京星闪世图科技有限公司 | 基于地理位置的点云信息并行提取方法及其系统 |
| CN108133186A (zh) * | 2017-12-21 | 2018-06-08 | 东北林业大学 | 一种基于深度学习的植物叶片识别方法 |
| CN109185074A (zh) * | 2018-09-29 | 2019-01-11 | 智富明珠科技（大连）有限公司 | 风力发电机组叶片损伤在线检测方法 |
| CN109961398A (zh) * | 2019-02-18 | 2019-07-02 | 鲁能新能源(集团)有限公司 | 风机叶片图像分割与网格优化拼接方法 |
| CN110111328A (zh) * | 2019-05-16 | 2019-08-09 | 上海中认尚科新能源技术有限公司 | 一种基于卷积神经网络的风力发电机叶片裂纹检测方法 |
| CN110426415A (zh) * | 2019-07-15 | 2019-11-08 | 武汉大学 | 基于深度卷积神经网络和图像分割的油浸式变压器内部热故障诊断方法 |
| CN110569747A (zh) * | 2019-08-20 | 2019-12-13 | 南京农业大学 | 一种利用图像金字塔与Faster-RCNN快速统计大田水稻稻穗数的方法 |
| CN111080804A (zh) * | 2019-10-23 | 2020-04-28 | 贝壳技术有限公司 | 三维图像生成方法及装置 |
| CN111696075A (zh) * | 2020-04-30 | 2020-09-22 | 航天图景（北京）科技有限公司 | 一种基于双光谱图像的风机叶片缺陷智能检测方法 |
| CN111709190A (zh) * | 2020-06-24 | 2020-09-25 | 国电联合动力技术有限公司 | 风电机组运行数据图像识别方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| Real-time middle wave infrared aerial image capturing and stitching system for vegetation observation;Chun-Fu Lin;《2015 IEEE International Instrumentation and Measurement Technology Conference (I2MTC) Proceedings》;20150606;全文 * |
| Weed detection in rice fields using aerial images and neural networks;Oscar Barrero;《2016 XXI Symposium on Signal Processing, Images and Artificial Vision (STSIVA)》;20161117;全文 * |
| 基于计算机视觉的风机叶片表面损伤检测研究;仇梓峰;《中国优秀硕士论文全文数据库》;20200115;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112365399A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110008956B (zh) | 发票关键信息定位方法、装置、计算机设备及存储介质 | |
| CN110838086B (zh) | 一种基于相关性模板匹配的室外图像拼接方法 | |
| CN113178080B (zh) | 一种车辆vin码检测采集系统及其采集方法 | |
| WO2022021782A1 (zh) | 六维姿态数据集自动生成方法、系统、终端以及存储介质 | |
| CN115359239A (zh) | 风电叶片缺陷检测定位方法、装置、存储介质和电子设备 | |
| CN110084743A (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
| CN112365399B (zh) | 基于深度学习的风机叶片图像全景拼接方法和系统 | |
| CN112950528A (zh) | 证件姿态确定方法、模型训练方法、装置、服务器及介质 | |
| CN115456870A (zh) | 基于外参估计的多图像拼接方法 | |
| CN106204507B (zh) | 一种无人机图像拼接方法 | |
| CN115035032A (zh) | 神经网络训练方法、相关方法、设备、终端及存储介质 | |
| CN106845555A (zh) | 基于Bayer格式的图像匹配方法及图像匹配装置 | |
| CN114693782A (zh) | 用于确定三维场景模型坐标系和物理坐标系的转换关系的方法及装置 | |
| CN113298871A (zh) | 地图生成方法、定位方法及其系统、计算机可读存储介质 | |
| CN112712032A (zh) | 一种半自动物体姿态标注方案 | |
| Zhang et al. | Achieving widely distributed feature matches using flattened-affine-SIFT algorithm for fisheye images | |
| CN116452655A (zh) | 一种应用于mpis工控主板的贴合定位方法、装置、设备及介质 | |
| CN116188573A (zh) | 物体姿态识别方法、装置、计算机设备、存储介质和产品 | |
| CN111652226B (zh) | 基于图片的目标识别方法、装置及可读存储介质 | |
| WO2022056876A1 (zh) | 一种电机铭牌的识别方法、装置和计算机可读存储介质 | |
| CN114494354A (zh) | 一种基于注意力多模态特征融合的无监督rgb-t目标跟踪方法 | |
| CN114119780A (zh) | 一种图像标注方法、装置及电子设备 | |
| CN113361544B (zh) | 图像采集设备及其外参修正方法、装置及存储介质 | |
| CN118154417B (zh) | 基于sift与深度学习联合优化的铁塔天线全景图像拼接方法 | |
| CN113643181B (zh) | 一种原位阵列式根系表型监测系统及其工作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Room 2904, No. 41 Coastal City, Wuxi Economic Development Zone, Wuxi City, Jiangsu Province, 214000 Applicant after: Jiangsu Xingshan Shitu Technology (Group) Co.,Ltd. Address before: 102206 308-8, 3 / F, building 1, yard 1, Nengyuan East Road, Shahe Town, Changping District, Beijing Applicant before: BEIJING XINGGUANG SHITU TECHNOLOGY CO.,LTD. Country or region before: China |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |