CN110675358A - 长形物体的图像拼接方法、系统、设备和存储介质 - Google Patents

长形物体的图像拼接方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN110675358A
CN110675358A CN201910940744.4A CN201910940744A CN110675358A CN 110675358 A CN110675358 A CN 110675358A CN 201910940744 A CN201910940744 A CN 201910940744A CN 110675358 A CN110675358 A CN 110675358A
Authority
CN
China
Prior art keywords
images
image
projection images
long object
stitching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910940744.4A
Other languages
English (en)
Other versions
CN110675358B (zh
Inventor
刘迅
柯严
陈小明
严治庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Expand Intelligent Technology Co Ltd
Original Assignee
Shanghai Expand Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Expand Intelligent Technology Co Ltd filed Critical Shanghai Expand Intelligent Technology Co Ltd
Priority to CN201910940744.4A priority Critical patent/CN110675358B/zh
Publication of CN110675358A publication Critical patent/CN110675358A/zh
Application granted granted Critical
Publication of CN110675358B publication Critical patent/CN110675358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及图像处理技术领域，特别涉及一种长形物体的图像拼接方法、系统、设备和存储介质。所述长形物体的图像拼接方法，其特征在于，包括如下步骤：获取长形物体对应的多张图像的空间坐标信息；依据所述空间坐标信息，将所述图像投影到同一平面上，得到沿所述长形物体延伸方向顺次排列的多张投影图像；提取并重叠相邻两个所述投影图像之间的相同的特征点，得到反映长形物体的拼接图像。在本公开提供的长形物体的图像拼接方法、系统、设备和存储介质中，通过获取图像的空间坐标，将图像投影在同一个平面上,可以快速将长形物体集中在一个平面，进而可以在同一个平面上进行图像调整，最终实现图像精确拼接的目的。

Description

长形物体的图像拼接方法、系统、设备和存储介质
技术领域
本公开涉及图像处理技术领域，特别涉及一种长形物体的图像拼接方法、系统、设备和存储介质。
背景技术
风力发电机是将风能转换为机械功，机械功带动转子旋转，最终输出交流电的电力设备。风力发电机的主要部件是伸展数米长的叶片。叶片的转动带动风力发电机内部的电机转动，最终将风能转换为电能输出。叶片的正常运转是风力发电机保持电能平稳有效输出的关键。因此叶片的“健康”对于风力发电机来说至关重要。
为了保证叶片始终处于最佳的状态，叶片巡检成为了风力发电机配套运营的常态。例如，通过无人机对叶片进行巡视拍照，然后将这些照片最终进行拼接合成，以展现一个完整的叶片。最终可以利用拼接出的具有完整叶片的图像来观察叶片是否存缺陷，以便及时采取必要的维修措施。
发明内容
本公开的一方面提供了一种图像拼接方法。所述图像拼接方法包括如下步骤：
获取长形物体对应的多张图像的空间坐标信息；
依据所述空间坐标信息，将所述图像投影到同一平面上，得到沿所述长形物体延伸方向顺次排列的多张投影图像；
提取并重叠相邻两个所述投影图像之间的相同的特征点，得到反映长形物体的拼接图像。
在一实施例中，所述的依据空间坐标信息，将所述图像投影到同一平面上，得到沿所述长形物体延伸方向顺次排列的多张投影图像包括：
依据空间坐标信息，将所述图像投影到同一平面上，得到初步排列图像；
对所述初步排列图像进行线性拟合，以得到沿所述长形物体延伸方向顺次排列的所述多张投影图像。
在一实施例中，所述拼接方法还包括：
当相邻两个所述投影图像之间无相同的特征点时，执行如下步骤：
对每个所述投影图像进行边缘检测，以确定每个所述投影图像中长形物体的区域；
对进行边缘检测后的相邻的所述投影图像进行形状匹配，并将形状匹配一致的部分进行重叠，以得到反映所述长形物体的所述拼接图像。
在一实施例中，
构建第一损失函数；
获取所述第一损失函数的最小值，以约束相邻两个投影图像之间的拼接位置；其中，
所述第一损失函数AE如下：
在一实施例中，所述拼接方法还包括：
对相邻的两个所述投影图像进行形状匹配后，执行如下步骤：
获取所述长形物体在投影图像中的拼接长度；
对所述投影图像进行等比例缩放，以得到所述拼接长度与所述长形物体的实际长度一致的所述拼接图像。
在一实施例中，所述拼接方法还包括：
对所述投影图像进行等比例缩放后，执行如下步骤：
判断相邻的两个所述投影图像之间的间距是否符合设定值；
当所述间距超出所述设定值时，对所有的所述投影图像之间的间距按照设定值进行调整，以得到相邻的两个所述投影图像之间的间距符合所述设定值的拼接图像。
在一实施例中，
构建第二损失函数；
获取所述第二损失函数的最小值，以约束相邻两个所述投影图像之间的拼接位置；其中，
所述第二损失函数L2如下：
Figure BDA0002222806390000031
本公开的另一方面是提供了一种长形物体的图像拼接系统。所述长形物体的图像拼接系统用于实现如前所述的长形物体的图像拼接方法的步骤。所述长形物体的图像拼接系统包括：
数据获取模块，获取物体对应的多张图像的空间坐标信息；
图像投影模块，依据所述空间坐标信息，将所述图像投影到同一平面上，得到沿所述长形物体延伸方向顺次排列的多张投影图像；
图像处理模块，提取并重叠相邻两个所述投影图像之间的相同的特征点，得到反映长形物体的拼接图像。
本公开的再一方面还提供了一种长形物体的图像拼接设备。所述长形物体的图像拼接设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如本公开前一方面所述的长形物体的图像拼接方法的步骤。
本公开的最后一方面则是提供了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的长形物体的图像拼接方法的步骤。
在本公开提供的长形物体的图像拼接方法、系统、设备和存储介质中，通过获取图像的空间坐标，将图像投影在同一个平面上,可以快速将长形物体集中在一个平面上，进而可以在同一个平面上进行图像调整，最终实现图像精确拼接的目的。
另一方面，本公开还通过线性拟合的方式，将投影在同一平面上的图像进行进一步的调整，从而提高了图像拼接的精确度。
再一方面，本公开还通过对图像进行边缘检测，以利用形状匹配的方式进一步提高图像拼接的精确度。
最后，本公开还分别通过长度约束和间距调整，实现了拼接图像的平滑过渡，进而更加提高了图像拼接的精度。
附图说明
附图示例性地示出了实施例并且构成说明书地一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于示例的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1是本公开一实施例所展示的叶片的图像拼接方法的步骤流程图；
图2是本公开一实施例提供的调整图像位置的方法的步骤流程图；
图3是本公开一实施例提供的优选的叶片的图像拼接方法步骤流程图；
图4和图5是本公开一实施例提供的利用形状匹配的方法进行图像拼接的示意图；
图6是本公开一实施例提供的优选的图像拼接方法步骤流程图；
图7是本公开一实施例提供的优选的图像拼接方法步骤流程图；
图8是本公开一实施例提供的叶片的图像拼接系统模块连接示意图；
图9是本公开一实施例提供的叶片的图像拼接设备的结构示意图；
图10是本公开一实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
通过上述说明可知，叶片是风力发电机的重要组成部分，叶片的“健康”对于风力发电机来说至关重要。
为了保持叶片始终处于最佳状态，叶片巡检工作成为了风力发电机配套运营的常态。对于叶片巡检工作来说，其目的是观察叶片上是否存在诸如“保护膜损伤”、“掉漆”、“裂纹”、“油污”等不利于叶片稳定运行的缺陷。以便及时对叶片进行维修，减少叶片在工作过程中的风险因素。
现有技术中的叶片巡检主要存在两种方式，一种是通过人工直接对叶片进行观察，来发现叶片上是否存在缺陷。这种方式需要人工爬行至风力发电机的顶部，对叶片进行观察；或者将叶片卸载到地面，待检测完毕后再吊装至风力发电机的安装位置。采用这样的方式巡检叶片即耗时耗力，而且还给工作人员带来了巨大的安全风险。
为了辅助人工叶片巡检工作，继而产生了另一种方式，即利用无人机对叶片进行巡检。通过无人机对叶片巡检时，无人机上的相机会对叶片按照次序拍照，以保证这些照片在拼接后能够呈现出完整的叶片。然而尽管能够利用无人机能够快速得到上述这些反映叶片的照片(图像)，但是得到的这些图像却因为多种因素(无人机的转动、相机的偏转、GPS定位的偏差)导致在最终拼接过程中出现较大的误差，仅仅按照传统的定位数据进行拼接，难以达到理想的拼接精度，进而难以准确识别拼接处的叶片上的缺陷。
为了解决现有技术存在的问题，提高相机获取图像后的拼接精度和质量，发明人通过创造性的劳动提出了一种风力发电机叶片的图像拼接方法、系统、设备和存储介质。值得说明的是，本公开提供的图像拼接方法，不仅能够用于叶片的图像的拼接，而且还适用于与风力发电机的叶片类似的长形物体(长边的边缘线非平行)的图像的拼接。通过提供的长形物体的图像拼接方法能够快速的将获取的图片进行排列调整，并提高图像拼接的精确度。
以下结合附图和具体实施例对本公开提出的风力发电机叶片的图像拼接方法、系统、设备及存储介质作进一步详细说明。根据权利要求书和下面说明，本公开的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本公开实施例的目的。
应当理解的内容是，说明书中的用辞仅用于描述特定的实施例，并不旨在限定本公开。说明书使用的所有术语(包括技术术语和科学术语)除非另有定义，均具有本领域技术人员通常理解的含义。为简明和/或清楚起见，公知的功能或结构不再详细说明。
关于风力发电机的叶片的图像拼接方法的示例说明
请参阅图1，其展示了本公开一实施例中的叶片的图像拼接方法的步骤流程图。
在这个实施例的步骤S1中，获取叶片对应的多张图像的空间坐标信息。
这里的叶片就像本公开已经说明的一样，它也可以是与风力发电机叶片相类似的物体。也因此可以说明，本公开提供的图像拼接方法，是一种充分利用了长形物体自身特点来达到拼接目的的方法。
另外，步骤S1中涉及的空间坐标信息，可以通过读取用来拍照的设备上的参数获得，例如利用无人机上的相机对风力发电机的叶片进行拍照时，可以读取无人机上的GPS信息，以及控制相机的云台数据等等。也就是说，反映长形物体的图像的空间坐标信息本领域技术人员能够通过现有的技术手段来获取。
在步骤S2中，依据所述空间坐标信息，将多张图像投影到同一平面上，得到沿所述叶片延伸方向顺次排列的多张投影图像。
对于步骤S2来说，在经历了步骤S1的获取多张图像的空间坐标信息后，利用这些信息将图像投影到同一个平面上，可以将这些因拍摄位置而产生的比例不一致的问题得到有效解决，并且还能够将这些图像按照拼接成叶片的实际顺序排列，方便了后续对投影图像的调整工作，提高了拼接的效率。
在步骤S3中，提取并重叠相邻两个所述投影图像之间的相同的特征点，得到反映叶片的拼接图像(通常能够叶片的长度方向，将叶片面对相机的面完整的展现出来)。
鉴于本公开为了实现图像拼接的目的，因此，在获得投影图像后，还需要执行步骤S3，以将相邻的两张投影图像中的相同的部分进行恰当的重叠，以完成拼接工作。在进行相同的特征点的重叠操作时，可以计算出分别位于两个投影图像上的两个相同的特征点的距离，然后再将相邻的两张投影图像按照计算得出的距离进行移动(可以按照一定的方向，例如沿叶片头部到叶片根部方向，移动相邻两张投影图像中远离叶片根部的那一张)，便可以完成重叠操作。
可见，本公开通过上述实施例实施的叶片的图像的拼接方法，通过获取图像的空间坐标，将图像投影在同一个平面上,可以快速将风力发电机的叶片集中在一个平面，进而可以在同一个平面上进行图像调整，最终实现图像精确拼接的目的。
在本公开的一实施例中，还说明了关于“进一步调整图像之间位置”的优选实施方案。在图2中，展示了该实施例提供的调整图像位置的方法的步骤流程图。
在这个实施例的步骤S21中，依据空间坐标信息，将多张图像投影到同一平面上，得到初步排列图像。
在步骤S22中，对初步排列图像进行线性拟合，以得到沿叶片长度方向顺次排列的所述多张投影图像。
容易理解，通过线性拟合，可以实现多张投影图像在其中一个轴线上的排列，例如可以选择叶片的延伸方向作为轴线，将多张投影图像调整分布在轴线上，进而实现图像的有序排列，方便后续的图像拼接工作。在进行线性拟合时，可以利用MATLAB(MatrixLaboratory，矩阵工厂)等工具来实现。
在本公开的一实施例中，还进一步说明了关于“叶片的图像拼接方法”的优选方案。在图3中，展示了优选的叶片的图像拼接方法步骤流程图。
在步骤S4中，判断相邻两个投影图像之间是否存在相同的特征点，有相同的特征点时，可以继续依据特征点将相邻的两张投影图像进行重叠拼接。值得说明的是，在实际获取的图像(不论是相机拍摄的原始图形还是经过投影的投影图像)很有可能会出现两张相邻的图像中没有相同的特征点的现象，此时的图像拼接仍然只能采用读取的参数坐标来实现拼接，导致图像拼接的精确度不能得到进一步的提高。
正是由于存在相邻两张图像之间缺少相同特征点的现象，因此为了进一步提高图像拼接的精确度，在图3所示的内容中，本实施例还提供了当相邻两个投影图像之间无相同的特征点时的优选的图像拼接方案。
在步骤S5中，对每个所述投影图像进行边缘检测，以确定每个所述投影图像中叶片的区域。
在步骤S6中，对边缘检测后的相邻的投影图像进行形状匹配，并将形状匹配一致的部分进行重叠，以得到完整反映叶片的拼接图像。
可见本实施例提供的图像拼接的方式是在前述图像拼接的基础上，继续采用形状匹配的方式进一步提高图像拼接的精确度。当然，这里的形状匹配，是指在形状描述(边缘检测)的基础上，依据预定的判定准则，计算两个形状的相似度或非相似度。
还有，两个形状之间的匹配结果可以用一个数值表示，这一数值称为形状相似度。通常形状相似度越大，表示两个形状越相似。之所以利用形状匹配的方式来进行图像拼接，是因为叶片在每张图像中都会占有一定的区域，并且由于拍摄的图像总是按照一定的间隔进行拍摄，因此相邻的两张图像之间也会存在相同(能够完全重合)部分，所以只需要将这些相同部分找出来，并加以重叠，便可以精确地将投影图像进行拼接。
仍需要说明的是，尽管上述内容介绍了可以利用相邻两个投影图像中的相同的特征点进行拼接，但这并不限制即使存在相同特征点时，也可以利用本实施例中对投影图像进行形状匹配后，进行重叠操作的拼接方式。
请参考图4和图5，图4和图5是本公开提供的利用形状匹配的方法进行图像拼接的示意图，其中按照图像拍摄顺序得到的相邻的两张图中，分别在图中表示为前一张401和后一张402。
接着，在上述公开的内容中，提到了形状相似度的概念，如果找到相邻两张投影图像中最相似的部分，并加以重叠，拼接出的图像无疑是更加精确的。因此在本公开的一实施例中，还构建了一个损失数，用来约束相邻两个投影图像之间的拼接位置，即找到相邻两个投影图像中形状最相似的部分来进行重叠。以较大限度地提高图像拼接的精确度。针对上述的形状匹配过程，构建的第一损失函数如下：
Figure BDA0002222806390000081
其中，
AI是相邻两个投影图像中前景叶片(投影图像中叶片所在的区域)重叠区域的面积大小；
AU1表示相邻两个投影图像中按照拍摄时序排列的前一张投影图像与后一张投影图像中前景叶片重叠区域的面积大小；
AU2表示相邻两个投影图像中按照拍摄时序排列的前一张投影图像中前景叶片与后一张投影图像重叠区域的面积大小；
通过上述构建的损失函数，并利用梯度下降的方式，对其进行优化处理，逐步找到损失函数的最小值，以得到最佳的重叠区域。
在图6中，展示了本公开一实施例提供的优选的图像拼接方法步骤流程图。
由于图像中的叶片在进行拼接时，难免会因为拍摄角度、拼接位置等因素出现不等同于实际长度的问题，因此为了将投影图像中的叶片的拼接长度与叶片的实际长度(通常实际长度是可以预先测量得到的)保持一致，以便于后续的缺陷标记、识别等工作。为此，在利用形状匹配完成拼接之后，正如本实施例的步骤S7和步骤S8中分别记载的：首先获取叶片在图像中的拼接长度，然后对投影图像(显然这里的投影图像是指能够拼接出完整的叶片的多张图像)进行等比例缩放，以得到拼接长度与叶片实际长度一致的拼接图像。
在本公开的一个实施例中，还说明了解决相邻两个投影图像之间间距偏差较大这个问题的具体方式。如图7所示，图7是本实施例提供的优选的图像拼接方法步骤流程图。
等比例缩放之后，在步骤S9中，首先是要判断相邻的两个投影图像之间的间距是否符合设定值。值得说明的是，这里的设定值并非具有统一的确定数值，它可以根据实际的拼接情况或经验值而得出，目的是为了使拼接出的图像更加平滑完整。接着，在步骤S10中，对于不符合设定值的相邻的投影图像可以依据设定值的大小进行调整，以得到相邻的两个投影图像之间的间距符合设定值的拼接图像。
本公开的一实施例中，还进一步提供了一个能够反映更多拼接要求的损失函数，以更大限度地提高图像拼接的精确度。本实施例构建的第二损失函数如下：
Figure BDA0002222806390000101
其中，
W1、W2、W3、W4、W5、W6分别表示各子损失函数在总损失函数中的权重，其具体数值可以为了达到更好的拼接效果，而根据实际拼接情况合理确定，以突出或削弱某些损失函数的调节力度与强度，还可以根据不同的拼接需求进行合理的确定。例如，在叶片拼接应用场景中，我们采用的权重分别为1.0，1.0，1.0，500.0，2.0，1.0。
SEi表示按照拍摄时序排列的第i张投影图像调整后的缩放大小。
其中，i表示按照拍摄时序排列的投影图像的第几张图象，显然，其取值是正整数。
S′i表示与初始投影(经过调整前的投影图像)的缩放大小Si的误差，而
SEi＝max(S′i,Si)/min(S′i,Si)-1；
REi表示按照拍摄时序排列的第i张投影图像调整后的旋转角度R′i与初始投影(经过调整前的投影图像)的旋转角度Ri的误差:
REi＝|R′i-Ri|；
LEi表示第i张投影图像前景叶片中心点坐标Pi与全部投影图像前景叶片中心点拟合的直线L的距离误差:
而Ppi是坐标Pi到拟合直线L的垂直投影。本领域技术人员容易理解，Pi.x表示坐标点Pi在x轴上的坐标值，Pi.y表示坐标点Pi在y轴上的坐标值；Ppi.x、Ppi.y同理，在此不再赘述。
AEi表示第i张投影图像前景叶片与按照拍摄时序排列的前一张投影图像前景叶片的形状匹配误差.如第一损失函数所述。
DEi表示第i张投影图像前景叶片与按照拍摄时序排列的前一张投影图像前景叶片的特征点匹配后的距离误差:
其中，N表示投影图像的数量，而j表示匹配的特征点，当j＝1时，表示第1个匹配的特征点。
OEi表示第i张投影图像与按照拍摄时序排列的前一张投影图像面积交并比例值Oi与全部投影图像之间相邻的面积交并比例值的平均值OT之间的误差:
OEi＝|Oi-OT|；
其中:
Oi＝2Ii/(Ai+Ai-1)；
Ii＝Ai∩Ai-1；
这里,Ai是第i张投影图像的面积大小，Ii第i张投影图像与第i-1张投影图像之间的重叠区域的面积。显然，所有投影图像的排序均是按照拍摄时序依次排列的。
基于上述的公开内容，可知，本公开提供的长形物体尤其是风力发电机叶片的图像拼接方法、系统、设备和存储介质中，通过获取图像的空间坐标，将图像投影在同一个平面上，可以快速将叶片的图像集中在一个平面，进而可以在同一个平面上进行图像调整，最终实现图像精确拼接的目的。
关于风力发电机叶片的图像拼接系统的示例说明
本公开的一实施例中还提供了一种叶片的图像拼接系统。在图8中，展示了本公开一实施例提供的叶片的图像拼接系统模块连接示意图。该系统能够实现本公开中说明的叶片的图像拼接方法。为了实现本公开说明的叶片的图像拼接方法，该系统包括：
数据获取模块501，获取物体对应的多张图像的空间坐标信息；
图像投影模块502，依据所述空间坐标信息，将所述图像投影到同一平面上，得到沿所述长形物体延伸方向顺次排列的多张投影图像；
图像处理模块503，提取并重叠相邻两个所述投影图像之间的相同的特征点，得到反映长形物体的拼接图像。
关于风力发电机叶片的图像拼接设备的示例说明
本公开的一实施例中还提供了一种叶片的图像拼接设备。所述图像拼接设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现本公开中说明的叶片的图像拼接方法的步骤。
本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图9是本公开一实施例提供的叶片的图像拼接设备的结构示意图。下面参照图9来详细描述根据本实施例中的实施方式实施的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本公开任何实施例的功能和使用范围带来任何限制。
如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组建可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本实施例中上述图像拼接方法部分中描述的根据本实施例中的实施步骤。例如，处理单元610可以执行如图1、图2、图3、图6和图7中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取单元(RAM)和/或高速缓存存储单元，可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图像加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可以与一个或者多个使得用户与该电子设备600交互的设备通信，和/或与使得该电子设备能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其他模块通信。应当明白，尽管图9中未示出，可以结合电子设备600使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
关于可读存储介质的示例说明
本公开的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时能够实现上述公开中长形物体的图像拼接方法的步骤。尽管本实施例未详尽地列举其他具体的实施方式，但在一些可能的实施方式中，本公开说明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本公开中图像拼接方法部分中描述的根据本公开各种实施例中实施方式的步骤。
如上说明之内容，该实施例提供的计算机可读存储介质中存储的计算机程序被执行时，通过提供的图像拼接方法将图像投影在同一个平面上,可以快速将长形物体集中在一个平面，进而可以在同一个平面上进行图像调整，最终实现图像精确拼接的目的。
图10是本公开一实施例提供的计算机可读存储介质的结构示意图。如图10所示，其中描述了根据本公开的实施方式中用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。当然，依据本实施例产生的程序产品不限于此，在本公开中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，在本公开提供的风力发电机的叶片的图像拼接方法、系统、设备和存储介质中，通过获取图像的空间坐标，将图像投影在同一个平面上,可以快速将叶片等长形物体集中在一个平面，进而可以在同一个平面上进行图像调整，最终实现图像精确拼接的目的。
另一方面，本公开还通过线性拟合的方式，将投影在同一平面上的图像进行进一步的调整，从而提高了图像拼接的精确度。
再一方面，本公开还通过对图像进行边缘检测，以利用形状匹配的方式进一步提高图像拼接的精确度。
最后，本公开还分别通过长度约束和间距调整，实现了拼接图像的平滑过渡，进而更加提高了图像拼接的精度。
上述描述仅是对本公开较佳实施例的描述，并非对本公开范围的任何限定，本公开领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (10)

1.一种长形物体的图像拼接方法，其特征在于，包括如下步骤：
获取长形物体对应的多张图像的空间坐标信息；
依据所述空间坐标信息，将所述图像投影到同一平面上，得到沿所述长形物体延伸方向顺次排列的多张投影图像；
提取并重叠相邻两个所述投影图像之间的相同的特征点，得到反映长形物体的拼接图像。
2.如权利要求1所述的长形物体的图像拼接方法，其特征在于，所述的依据空间坐标信息，将所述图像投影到同一平面上，得到沿所述长形物体延伸方向顺次排列的多张投影图像包括：
依据空间坐标信息，将所述图像投影到同一平面上，得到初步排列图像；
对所述初步排列图像进行线性拟合，以得到沿所述长形物体延伸方向顺次排列的所述多张投影图像。
3.如权利要求1所述的长形物体的图像拼接方法，其特征在于，所述拼接方法还包括：
当相邻两个所述投影图像之间无相同的特征点时，执行如下步骤：
对每个所述投影图像进行边缘检测，以确定每个所述投影图像中长形物体的区域；
对进行边缘检测后的相邻的所述投影图像进行形状匹配，并将形状匹配一致的部分进行重叠，以得到反映所述长形物体的所述拼接图像。
4.如权利要求3所述的长形物体的图像拼接方法，其特征在于，
构建第一损失函数；
获取所述第一损失函数的最小值，以约束相邻两个投影图像之间的拼接位置；其中，
所述第一损失函数AE如下：
Figure FDA0002222806380000011
5.如权利要求3所述的长形物体的图像拼接方法，其特征在于，所述拼接方法还包括：
对相邻的两个所述投影图像进行形状匹配后，执行如下步骤：
获取所述长形物体在投影图像中的拼接长度；
对所述投影图像进行等比例缩放，以得到所述拼接长度与所述长形物体的实际长度一致的所述拼接图像。
6.如权利要求5所述的长形物体的图像拼接方法，其特征在于，所述拼接方法还包括：
对所述投影图像进行等比例缩放后，执行如下步骤：
判断相邻的两个所述投影图像之间的间距是否符合设定值；
当所述间距超出所述设定值时，对所有的所述投影图像之间的间距按照设定值进行调整，以得到相邻的两个所述投影图像之间的间距符合所述设定值的拼接图像。
7.如权利要求6所述的长形物体的图像拼接方法，其特征在于，
构建第二损失函数；
获取所述第二损失函数的最小值，以约束相邻两个所述投影图像之间的拼接位置；其中，
所述第二损失函数L2如下：
8.一种长形物体的图像拼接系统，用于实现权利要求1至7中任一项所述的长形物体的图像拼接方法的步骤，其特征在于，所述系统包括：
数据获取模块，获取物体对应的多张图像的空间坐标信息；
图像投影模块，依据所述空间坐标信息，将所述图像投影到同一平面上，得到沿所述长形物体延伸方向顺次排列的多张投影图像；
图像处理模块，提取并重叠相邻两个所述投影图像之间的相同的特征点，得到反映长形物体的拼接图像。
9.一种长形物体的图像拼接设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7中任一项所述的长形物体的图像拼接方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的长形物体的图像拼接方法的步骤。
CN201910940744.4A 2019-09-30 2019-09-30 长形物体的图像拼接方法、系统、设备和存储介质 Active CN110675358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910940744.4A CN110675358B (zh) 2019-09-30 2019-09-30 长形物体的图像拼接方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910940744.4A CN110675358B (zh) 2019-09-30 2019-09-30 长形物体的图像拼接方法、系统、设备和存储介质

Publications (2)

Publication Number Publication Date
CN110675358A true CN110675358A (zh) 2020-01-10
CN110675358B CN110675358B (zh) 2023-05-16

Family

ID=69080532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910940744.4A Active CN110675358B (zh) 2019-09-30 2019-09-30 长形物体的图像拼接方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN110675358B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798374A (zh) * 2020-06-24 2020-10-20 浙江大华技术股份有限公司 一种图像拼接方法、装置、设备及介质
CN111852753A (zh) * 2020-07-21 2020-10-30 上海扩博智能技术有限公司 风机叶片表面轮廓线拟合方法、系统、设备和存储介质
CN111882488A (zh) * 2020-07-22 2020-11-03 浙江大学 一种室内管线位置记录及投影方法
CN113379668A (zh) * 2021-08-12 2021-09-10 浙江华睿科技股份有限公司 光伏板拼接方法及装置、电子设备及存储介质
CN115797164A (zh) * 2021-09-09 2023-03-14 同方威视技术股份有限公司 固定视场中的图像拼接方法、装置、系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886979A (zh) * 2017-03-30 2017-06-23 深圳市未来媒体技术研究院 一种图像拼接装置及图像拼接方法
CN107403409A (zh) * 2017-07-21 2017-11-28 苏州科达科技股份有限公司 图像拼接前的图像处理方法、装置及图像拼接方法及装置
CN109584157A (zh) * 2018-10-19 2019-04-05 苏州优纳科技有限公司 物体平面度测量方法及装置、存储介质、电子测量设备
CN109741238A (zh) * 2018-11-23 2019-05-10 上海扩博智能技术有限公司 风机叶片图像拼接方法、系统、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886979A (zh) * 2017-03-30 2017-06-23 深圳市未来媒体技术研究院 一种图像拼接装置及图像拼接方法
CN107403409A (zh) * 2017-07-21 2017-11-28 苏州科达科技股份有限公司 图像拼接前的图像处理方法、装置及图像拼接方法及装置
CN109584157A (zh) * 2018-10-19 2019-04-05 苏州优纳科技有限公司 物体平面度测量方法及装置、存储介质、电子测量设备
CN109741238A (zh) * 2018-11-23 2019-05-10 上海扩博智能技术有限公司 风机叶片图像拼接方法、系统、设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798374A (zh) * 2020-06-24 2020-10-20 浙江大华技术股份有限公司 一种图像拼接方法、装置、设备及介质
CN111852753A (zh) * 2020-07-21 2020-10-30 上海扩博智能技术有限公司 风机叶片表面轮廓线拟合方法、系统、设备和存储介质
CN111882488A (zh) * 2020-07-22 2020-11-03 浙江大学 一种室内管线位置记录及投影方法
CN111882488B (zh) * 2020-07-22 2022-07-19 浙江大学 一种室内管线位置记录及投影方法
CN113379668A (zh) * 2021-08-12 2021-09-10 浙江华睿科技股份有限公司 光伏板拼接方法及装置、电子设备及存储介质
CN115797164A (zh) * 2021-09-09 2023-03-14 同方威视技术股份有限公司 固定视场中的图像拼接方法、装置、系统
CN115797164B (zh) * 2021-09-09 2023-12-12 同方威视技术股份有限公司 固定视场中的图像拼接方法、装置、系统

Also Published As

Publication number Publication date
CN110675358B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN110675358A (zh) 长形物体的图像拼接方法、系统、设备和存储介质
US11466666B2 (en) Method and device for stitching wind turbine blade images, and storage medium
US11069048B2 (en) System and method for facilitating efficient damage assessments
US20190370999A1 (en) Method, system and equipment for automatically detecting and tracking blade
CN110826549A (zh) 基于计算机视觉的巡检机器人仪表图像识别方法及系统
CN113610749B (zh) 基于神经网络的风机叶片缺陷检测方法
US20220026572A1 (en) Fan blade surface profile curve fitting method, system, device, and storage medium
CN110969719A (zh) 一种自动巡检方法、系统、终端设备及存储介质
CN112558632B (zh) 无人机巡检路径转换方法、系统、设备和存储介质
US20140161318A1 (en) Assessment of rotor blades
CN108961276B (zh) 基于视觉伺服的配电线路巡检数据自动采集方法及系统
CN116501091B (zh) 基于无人机自动调整航线的风机巡检控制方法和装置
CN114757454B (zh) 一种风力发电机的无人机巡检航线生成方法、装置及设备
CN105157564B (zh) 一种网架单元拼装精度快速自动化摄影测量方法
CN115442532A (zh) 风机不停机巡检的方法、系统、设备及存储介质
CN115761532A (zh) 一种用于输电线路航巡影像的自动检测系统
CN111852753A (zh) 风机叶片表面轮廓线拟合方法、系统、设备和存储介质
CN112096566A (zh) 风机停机状态参数的获取方法、系统、设备和介质
CN112730422A (zh) 一种核电站安全壳缺陷检测方法及系统
CN109712076B (zh) 图像拼接方法、装置、设备和存储介质
CN112132786A (zh) 风机停机状态参数的计算方法、系统、设备和介质
CN113205458A (zh) 弱纹理叶片拼接方法、系统、设备及介质
CN114723184A (zh) 一种基于视觉感知的风力发电机测量方法、装置以及设备
CN112053401B (zh) 一种芯片拼接方法、装置、设备及存储介质
CN110634136B (zh) 一种管道壁破损检测方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant