CN116152068A - 一种可用于太阳能板图像的拼接方法 - Google Patents
一种可用于太阳能板图像的拼接方法 Download PDFInfo
- Publication number
- CN116152068A CN116152068A CN202310143660.4A CN202310143660A CN116152068A CN 116152068 A CN116152068 A CN 116152068A CN 202310143660 A CN202310143660 A CN 202310143660A CN 116152068 A CN116152068 A CN 116152068A
- Authority
- CN
- China
- Prior art keywords
- image
- solar panel
- sub
- coordinates
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 230000009466 transformation Effects 0.000 claims abstract description 40
- 239000011159 matrix material Substances 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种可用于太阳能板图像的拼接方法：在太阳能板子图像中用模板匹配法，确定内角点初始搜索区域；使用直线亚像素边缘坐标定位法确定内角点坐标；在内角点附近提取的感兴趣区域内使用直线亚像素边缘坐标定位法确定外角点坐标；遍历所有太阳能板子图像，选择最接近矩形的一组外角点构成的四边形为参考矩形；基于参考矩形修正外角点坐标；计算外角点平面映射到修正后外角点平面的透视变换矩阵，并将其应用于整幅图像；提取有效拼接区域内的图像至全景图像中对应位置；对所有太阳能板子图像处理得到太阳能板全景图像。该方法能够准确计算并提取有效拼接区域至指定位置，得到的太阳能板全景图像具有更好的拼接效果。
Description
技术领域
本发明属于图像拼接技术，尤其涉及一种可用于太阳能板图像的拼接方法。
背景技术
在大场景拍摄领域单个相机往往无法满足覆盖场景中所有图像信息的要求，解决该问题最常用的方式就是图像拼接技术。图像拼接的关键技术就是在若干幅图像中，提取可以表征当前场景中局部的图像信息，最终组合为一幅大的全景图像。
一般来说，图像拼接的过程包括以下步骤：1)图像预处理，包括图像处理的基本操作、建立图像的匹配模板以及对图像进行某种变换等操作；2)图像配准，采用一定的匹配策略，找出待拼接图像中的模板或特征点在参考图像中对应的位置；3)建立变换模型，根据模板或图像特征点之间的对应关系，建立两幅图像的数学变换模型；4)统一坐标变换，根据建立的数字变换模型，将待拼接图像转换到参考图像的坐标系中；5)融合重构，将待拼接区域进行融合得到拼接重构的平滑无缝的全景图像。目前图像拼接技术可以分为以下两种类型：1)基于区域相关的图像拼接方法。基于待拼接区域的灰度值，对待配准图像中的一块区域与参考图像中相同大小的区域使用最小二乘法或其他数学方法计算灰度值，根据计算结果的差异对比两块区域的相似度，从而确定待拼接图像的范围和位置。也可以通过傅里叶变换等将图像变换到频域再进行计算。如公开号CN112132751A的中国专利公开了一种基于频域变换的视频流车身全景图像拼接方法，对车侧图像进行频域变换得到频谱图，在频域内使用前景匹配模板进行匹配，进而将不同帧图像的车侧部分进行拼接；2)基于特征配准的图像拼接，即利用图像的明显特征来估计图像之间的变换，而不是利用图像的全部信息，这些明显的特征包括图像的特征点(角点或关键点)、轮廓和一些不变矩等。首先从两幅图像中提取灰度变化明显的点、线、区域等特征，然后在两幅图像的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。特征匹配算法包括自动角点检测算法、基于轮廓特征的算法、基于尺度不变特征变换算法等。如公开号为CN114998106A的中国专利公开了一种显微子图像拼接方法及其大批量图像的拼接方法，通过提取两幅图像检测到的角点作为特征点及特征点所对应的特征向量，实现图像配准和图像拼接。
现有图像拼接方法对于太阳能板图像拼接应用场景来说，具有：1)拍摄的太阳能板子图像之间重叠区域小且图像之间相似的信息过多，使用特征点配准的方法容易出现误匹配的情况，配准难度大；2)拍摄的太阳能板子图像可以获得拍摄顺序和大致的场景范围，如果忽略这些信息而使用泛式的图像拼接方法会增加算法的复杂度和计算量，影响拼接的运算速度和鲁棒性。
鉴于目前方法存在的以上问题，有必要发明一种可用于太阳能板图像的拼接方法，充分利用场景信息和图像特点，更准确地计算出太阳能板子图像的有效拼接区域，提高算法的鲁棒性。
发明内容
本发明的目的在于提供一种可用于太阳能板图像的拼接方法，该方法充分利用太阳能板子图像特点提取有价值的图像信息，准确计算并提取有效拼接区域至指定位置，最终得到的太阳能板全景图像具有更好的拼接效果。
一种可用于太阳能板图像的拼接方法，所述图像拼接方法包括以下步骤：
(1)在太阳能板子图像中应用模板匹配法，确定内角点的初始搜索区域；
(2)基于内角点初始搜索区域，使用曲线拟合的直线亚像素边缘坐标定位法，确定内角点坐标；
(3)在太阳能板子图像的每个内角点附近提取矩形感兴趣区域，在矩形感兴趣区域内使用曲线拟合的直线亚像素边缘坐标定位法，确定外角点坐标；
(4)找到最接近于矩形的一组外角点构成的四边形，作为参考矩形；
(5)以参考矩形为标准修正外角点坐标，构成修正后的外角点平面；
(6)计算太阳能板子图像外角点平面映射到修正后的外角点平面的透视变换矩阵，并将透视变换矩阵作用于整幅太阳能板子图像，得到透视变换后的太阳能板子图像；
(7)对透视变换后的太阳能板子图像根据外角点坐标、图像索引确定有效区域，提取有效区域内的图像数据拼接到全景图像中正确位置；
(8)提取和拼接所有太阳能板子图像的有效区域，最终得到一幅完整的太阳能板全景图像。
在步骤(1)中，在太阳能板子图像中采用的模板匹配法确定内角点初始搜索区域的方法，需要预先制备角点图像作为模板图像，在太阳能板子图像上滑动模板图像，计算模板图像与太阳能板子图像滑动窗口的相似度。
模板匹配法用归一化系数作为模板匹配法的相似度衡量标准，其公式可表示为：
其中，T(x′,y′)为模板图像；I(x,y)为原图像；R(x,y)为计算结果，范围0-1，当模板与图像滑动窗口完全匹配时为数值为1。
假设模板尺寸为M×N，太阳能板子图像尺寸为W×H，那么会得到(W-N+1)×(H-N+1)个计算结果，从中获取相似度最高的位置作为太阳能板角点初始搜索区域的坐标。
在步骤(2)中，使用曲线拟合的直线亚像素边缘坐标定位法，得到太阳能板子图像中直线的边缘坐标来确定内角点坐标，具体步骤为：对于水平(垂直)的直线，首先计算直线图像一阶垂直(水平)差分图像，找到每一列(行)的最大值和最小值，两者分布对应直线的两侧边缘；利用最大值和最小值附近的三个差分值进行二次曲线拟合，即高斯曲线的近似拟合；拟合后的曲线最值对应的坐标就是直线边缘的亚像素坐标。
由于这种曲线拟合定位直线边缘坐标的方法，要求直线是水平或垂直的，对于本发明的太阳能板图像的拼接方法可以有效适用。
在步骤(3)中，确定太阳能板子图像外角点坐标的方法为：在内角点附近提取矩形感兴趣区域，在矩形感兴趣区域内使用直线亚像素边缘坐标定位法，得到直线的边缘坐标，由直线两侧边缘坐标计算得到直线宽度，外角点坐标等于内角点坐标加或减二分之一直线宽度。
在步骤(4)中，遍历所有太阳能板子图像，针对每幅太阳能板子图像中由外角点构成的四边形，找到最接近于矩形的一组外角点构成的四边形，作为参考矩形，找到参考矩形的方法为：计算其两条对角线的长度，由长边除以短边得到两者比值，比值最接近于1的一组外角点构成的四边形作为参考矩形。
在步骤(5)中，太阳能板子图像的外角点坐标的修正方法包括：使用太阳能板子图像原外角点中的一点为固定点，同时在参考矩形中找到对应的点；以参考矩形中的固定点和其他点的坐标关系为标准，确定太阳能板子图像其他外角点的坐标。
在步骤(6)中，透视变换用公式可表示为：
其中，X、Y、Z表示透射变换后的三维坐标，x、y、z表示透射变换前的三维坐标，aij表示透视变换矩阵第i行第j列的矩阵元素，i为1-3，j为1-3。
在本发明中，通过计算太阳能板子图像的外角点平面映射到修正后的外角点平面的透视变换矩阵，并将其作用于太阳能板子图像的步骤，可以消除太阳能板子图像在拍摄过程中引入的坐标偏差，确保所有太阳能板子图像都可近似地看作是在同一个视差最小的观察角度所拍摄。
在步骤(7)中，透视变换后的太阳能板子图像根据外角点坐标、图像索引确定有效区域的方法中，有效区域为太阳能板子图像修正后的外角点组成的四边形区域，拼接的正确位置由图像索引决定。
在步骤(8)中，提取和拼接所有太阳能板子图像的有效区域，太阳能板子图像信息的集合可以覆盖整个场景，最终得到一幅完整太阳能板全景图像。
在本发明中，太阳能板全景图像可用于太阳能板生产链中光伏组件主栅线的露白、崩边、污渍等外观缺陷视觉检测以及焊点、焊线、线距等尺寸的高精度测量和统计；石油、海洋、气象和光伏电站等太阳能板关键应用领域在使用过程中的非接触式质量监控。
与现有技术相比，本发明避免泛式地提取图像信息，而充分利用了太阳能板子图像的特征，有针对性地提取有价值的信息，更准确地计算出太阳能板子图像的有效拼接区域。使用符合太阳能板角点特征的模板图像进行模板匹配法，可快速准确定位到内角点的初始搜索区域；在初始搜索范围附近提取固定大小的矩形感兴趣区域内使用曲线拟合的直线亚像素边缘坐标定位法，提取速度快且不容易受到图像其他部分的影响；在所有太阳能子图像的外角点构成的四边形中找到最接近于矩形的结果作为参考矩形，修正外角点坐标，有效消除相机于不同视角拍摄带来的坐标偏差；最终将所有太阳能板子图像的有效区域拼接到指定位置，即可得到一幅完整的太阳能板的全景图像，获得理想效果，能够切实解决实际问题。
附图说明
图1为实施例中用于太阳能板图像的拼接方法的流程框架图；
图2为实施例中所有太阳能板子图像；
图3为实施例中用于太阳能板图像的拼接方法流程图；
图4为实施例中太阳能板子图像透视矩阵变换对比图；
图5为实施例中拼接获得的一幅太阳能板全景图像。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供的可用于太阳能板图像的拼接方法使用相机组依次拍摄N幅尺寸相同的太阳能板子图像，将太阳能板划分为m×n个区域，且m×n＝N，在拍摄过程中需要确保所拍摄的太阳能板子图像可以覆盖整个太阳能板的全部图像信息，另外本发明提供的拼接方法虽可消除拍摄视角不同带来的偏差，但拍摄时尽可能使相机垂直于太阳能板拍摄可以保留原图像更多信息；每幅太阳能板子图像经本发明所述的方法计算出有效区域；将所有太阳能板子图像的有效区域拼接到全景图像中的指定位置即可获得最终结果。
为了说明本发明的技术方案，下面对部分用词进行解释，以便于本领域技术人员理解：
图像拼接：是指将同一场景的多个重叠图像(可能是不同时间、不同视角或者不同传感器获得的)拼接成一幅无缝的全景图或高分辨率图像的技术。
角点：图像区域中的极值点，即在某方面属性特别突出的点。角点可以是两条线的交叉处，也可以是位于相邻的两个主要方向不同的事物上的点。
模板匹配法：模板就是一幅已知的小图像，而模板匹配法就是在一幅大图像中搜寻与模板一致的对象。已知大图像中有要找的目标，且该目标同模板有相同的尺寸、方向和图像元素，则使用模板匹配法可以在图中找到目标，确定其坐标位置。
亚像素边缘定位法：亚像素是指将像素这个基本单位再进行细分，它是比像素还小的单位，从而提高了图像分辨率。通常亚像素边缘点存在于图像中逐渐发生过渡变化的区域，可以利用多项式拟合等多种方法获得边缘点的亚像素位置。亚像素边缘定位法可以理解为在摄像系统硬件条件不变的情况下，用软件算法来提高边缘检测精度的方法，或者说是一种可以使分辨率小于一个像素的图像处理技术。
感兴趣区域：是指在需要处理的图像中以矩形、圆或不规则多边形等方式提取出的要处理的区域。
透视变换：也叫投影变换，是指将图像投影到一个新的视平面的线性变换。
透视变换矩阵：透视变换可以表示为一种易于计算的一致形式，透视变换矩阵用于表示把原图像经透视变换映射到新图像的变换。
全景图像：表示包含整个场景全部图像信息的图像。
子图像：表示包含整个场景局部图像信息或在局部场景下所拍摄的图像。
为了说明本发明提供的技术方案，下面通过具体实施例进行说明。
作为本发明一种可能实施例：使用4台分辨率为2044×1536的相机依次拍摄太阳能板子图像，将整个太阳能板划分为4×3个区域，即共得到12张太阳能板子图像，同时确保所拍摄的太阳能板子图像可以覆盖整个太阳能板的全部图像信息，如图2所示，将这些太阳能板子图像记为I1，…，Ix，…，I12。
在本实施例中，可用于太阳能板图像的拼接方法的流程如图3所示，包括以下步骤：
S1、确定内角点初始搜索区域
首先准备好4张尺寸为15×15角点图像作为模板图像，分别代表左上角、右上角、左下角和右下角的角点；在太阳能板子图像Ix中使用模板匹配法，以像素为单位滑动模板图像，计算模板图像与太阳能板子图像滑动窗口的相似度。模板匹配法用归一化系数作为模板匹配法的相似度衡量的标准，其公式可表示为：
其中，T(x′,y′)为模板图像；I(x,y)为原图像；R(x,y)为计算结果，范围0-1，当模板与图像滑动窗口完全匹配时为数值为1。
已知模板尺寸为15×15，太阳能板子图像尺寸为2044×1536，首先在太阳能板子图像的四个角提取一块尺寸为408×307的矩形感兴趣区域进行计算，则在每个感兴趣区域能够计算得到394×293个相似度计算结果，从中获取相似度最高的位置作为该太阳能板子图像当前内角点初始搜索区域的坐标。最终计算出本实施例中太阳能板子图像I1至I12的内角点初始搜索区域的像素坐标，如表1所示。
表1太阳能板子图像内角点初始搜索区域像素坐标
| 太阳能板子图像 | 左上 | 右上 | 左下 | 右下 |
| I1 | (199,278) | (1864,281) | (204,1392) | (1863,1388) |
| I2 | (188,228) | (1856,239) | (181,1341) | (1847,1358) |
| I3 | (193,183) | (1859,201) | (183,1303) | (1854,1314) |
| I4 | (167,218) | (1835,224) | (171,1335) | (1833,1331) |
| I5 | (199,277) | (1865,280) | (204,1391) | (1862,1389) |
| I6 | (149,35) | (1855,240) | (181,1341) | (1845,1358) |
| I7 | (174,233) | (1842,229) | (179,1349) | (1846,1344) |
| I8 | (167,218) | (1833,222) | (171,1335) | (1833,1328) |
| I9 | (200,272) | (1867,272) | (204,1386) | (1865,1381) |
| I10 | (149,36) | (1858,231) | (182,1332) | (1849,1350) |
| I11 | (174,224) | (1844,219) | (180,1341) | (1849,1337) |
| I12 | (166,208) | (1836,211) | (171,1328) | (1837,1321) |
S2、确定内角点坐标
采用曲线拟合的方法获得边缘点的亚像素位置：这种曲线拟合定位直线边缘坐标的方法，要求直线是水平或垂直的，对于本发明的太阳能板图像的拼接方法可以有效适用。
S2.1、对于水平(垂直)的直线，首先计算直线图像一阶垂直(水平)差分图像，找到每一列(行)的最大值和最小值，两者分布对应直线的两侧边缘；
S2.2、利用最大值和最小值附近的三个差分值进行二次曲线拟合，即进行高斯曲线的近似拟合；
S2.3、拟合后的曲线最值对应的坐标就是直线边缘的亚像素坐标。
S2.4、根据直线边缘的亚像素坐标，最终计算出本实施例中太阳能板子图像I1至I12的内角点的亚像素坐标如表2所示。
表2太阳能板子图像内角点坐标
| 太阳能板子图像 | 左上 | 右上 | 左下 | 右下 |
| I1 | (199.27,279.02) | (1866.22,281.64) | (205.08,1393.08) | (1864.96,1389.78) |
| I2 | (187.95,229.14) | (1857.11,240.08) | (181.30,1341.28) | (1848.31,1358.24) |
| I3 | (192.15,184.80) | (1861.25,201.95) | (183.10,1303.37) | (1855.92,1314.04) |
| I4 | (166.69,219.17) | (1835.19,224.73) | (170.57,1335.45) | (1834.17,1331.94) |
| I5 | (199.96,278.27) | (1866.78,281.32) | (205.02,1392.00) | (1863.72,1389.15) |
| I6 | (147.90,27.27) | (1857.78,240.93) | (181.09 1341.67) | (1847.34,1357.82) |
| I7 | (173.11,234.73) | (1843.47,229.94) | (178.73 1349.56) | (1847.15,1344.66) |
| I8 | (167.27,218.94) | (1834.66,222.14) | (171.38,1335.18) | (1833.94,1329.25) |
| I9 | (200.14,272.89) | (1869.15,273.60) | (204.20,1387.95) | (1867.51,1382.22) |
| I10 | (149.98,33.31) | (1859.89,231.58) | (181.74,1333.02) | (1850.89,1350.21) |
| I11 | (173.13,224.94) | (1846.72,220.75) | (179.69,1341.94) | (1851.12,1338.32) |
| I12 | (166.07,209.12) | (1837.04,211.00) | (169.89,1328.02) | (1838.24,1322.21) |
S3、确定外角点坐标
以每幅太阳能板子图像的每个内角点为中心，提取一个固定大小为31×31的矩形感兴趣区域，在矩形感兴趣区域内使用直线亚像素边缘坐标定位法，得到直线的边缘坐标，由直线两侧边缘坐标计算得到直线宽度。
以太阳能板子图像I1的左上角的角点横坐标作为代表性的数据介绍，使用直线亚像素边缘坐标定位法得到其图像感兴趣区域在每一行上左右两侧边缘的坐标数据，如表3所示。用xmin和xmax的均值作为竖直线两侧的边缘坐标，两值相减得到该竖直线的宽度为6.754。其中计算的均值对应一维最小二乘法的解。
表3太阳能板子图像I1的左上角的角点直线两侧边缘坐标
最终根据外角点坐标等于内角点坐标加或减二分之一直线宽度的规则，计算出本实施例中太阳能板子图像I1至I12的内角点坐标如表4所示。
表4太阳能板子图像外角点坐标
| 太阳能板子图像 | 左上 | 右上 | 左下 | 右下 |
| I1 | (195.89,273.17) | (1869.60,276.51) | (201.62,1398.91) | (1868.42,1394.91) |
| I2 | (184.54,223.53) | (1860.33,234.23) | (177.77,1346.88) | (1851.54,1364.09) |
| I3 | (188.99,179.72) | (1864.66,196.90) | (179.93,1308.44) | (1858.98,1319.09) |
| I4 | (163.48,213.40) | (1838.40,219.63) | (167.28,1341.22) | (1837.45,1337.04) |
| I5 | (196.84,272.40) | (1869.90,276.11) | (201.58,1399.10) | (1867.16,1394.11) |
| I6 | (137.47,23.94) | (1860.91,235.00) | (177.59,1346.74) | (1850.38,1362.83) |
| I7 | (169.99,228.37) | (1847.59,223.95) | (175.64,1354.26) | (1850.74,1350.16) |
| I8 | (163.18,213.02) | (1838.74,217.05) | (167.83,1340.01) | (1837.49,1333.96) |
| I9 | (197.07,265.71) | (1872.22,268.46) | (200.83,1395.13) | (1870.88,1387.36) |
| I10 | (140.07,21.41) | (1863.05,226.52) | (178.33,1344.91) | (1854.08,1355.27) |
| I11 | (170.00,220.12) | (1849.86,215.22) | (176.55,1346.76) | (1854.13,1343.85) |
| I12 | (162.83,204.28) | (1840.28,206.12) | (166.94,1332.85) | (1841.20,1327.08) |
S4、计算参考矩形
遍历所有太阳能板子图像，针对每幅太阳能板子图像中由外角点构成的四边形，计算其两条对角线的长度，由长边除以短边得到两者比值，比值最接近于1的一组外角点构成的四边形作为参考矩形，尺寸为1674×1130。
S5、修正外角点坐标
太阳能板子图像的外角点坐标的修正方法包括：使用太阳能板子图像原外角点中的右下角点为固定点，同时在参考矩形中找到对应的点；以参考矩形中的固定点和其他点的坐标关系为标准，确定太阳能板子图像其他外角点的坐标。修正后的外角点坐标如表5所示。
表5太阳能板子图像修正后的外角点坐标
S6、图像透视变换
具体的实施方式为：计算太阳能板子图像的外角点平面映射到修正后的外角点平面的透视变换矩阵，并将其作用于太阳能板子图像的步骤，可以消除太阳能板子图像在拍摄过程中引入的坐标偏差，确保所有太阳能板子图像都可近似地看作是在同一个视差最小的观察角度所拍摄。以不同相机于不同视角拍摄的太阳能板子图像I1和I6作为代表性的数据介绍，得到的透视变换矩阵T1和T6分别为：
透视矩阵变换前后的太阳能板子图像如图4所示，图像I1和I6经过矩阵变换后基本可认为处于一致且视差较小的拍摄场景中。
S7、提取和有效拼接区域
透视变换后的太阳能板子图像根据外角点坐标、图像索引确定有效区域的方法中，有效区域为太阳能板子图像修正后的外角点组成的四边形区域，拼接的正确位置由图像索引决定，如I6提取矩形{(176.38,232.83),1674×1130}内的数据拼接至全景图像中第二行第二个位置。
S8、获得太阳能板全景图像
提取和拼接所有太阳能板子图像的有效区域，最终得到一幅完整太阳能板全景图像，如图5所示。从太阳能板全景图像可以看出，拼接结果可以覆盖整个太阳能板拍摄场景信息，且极大程度地保留了太阳能板子图像的细节，符合后续进一步分析和尺寸测量的要求；太阳能板焊线和边缘线基本处于同一直线，不存在拼接错位的现象；太阳能板子图像之间过渡均匀，无明显拼接痕迹。
综上所述，本发明针对可用于太阳能板图像的拼接场景，充分利用了太阳能板子图像的特征，在太阳能板子图像中有针对性地提取有价值的信息，更准确地计算有效拼接区域，将所有有效区域提取并拼接到指定位置，最终可得到一幅完整的太阳能板的全景图像，获得理想效果，有利于切实解决实际问题。
以上所述仅为本发明的较佳实施例而己，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种可用于太阳能板图像的拼接方法，其特征在于，所述可用于太阳能板图像的拼接方法包括以下步骤：
(1)在太阳能板子图像中应用模板匹配法，确定内角点的初始搜索区域；
(2)基于内角点初始搜索区域，使用曲线拟合的直线亚像素边缘坐标定位法，确定内角点坐标；
(3)在太阳能板子图像的每个内角点附近提取矩形感兴趣区域，在矩形感兴趣区域内使用曲线拟合的直线亚像素边缘坐标定位法，确定外角点坐标；
(4)找到最接近于矩形的一组外角点构成的四边形，作为参考矩形；
(5)以参考矩形为标准修正外角点坐标，构成修正后的外角点平面；
(6)计算太阳能板子图像外角点平面映射到修正后的外角点平面的透视变换矩阵，并将透视变换矩阵作用于整幅太阳能板子图像，得到透视变换后的太阳能板子图像；
(7)对透视变换后的太阳能板子图像根据外角点坐标、图像索引确定有效区域，提取有效区域内的图像数据拼接到全景图像中正确位置；
(8)提取和拼接所有太阳能板子图像的有效区域，最终得到一幅完整的太阳能板全景图像。
2.根据权利要求1所述的可用于太阳能板图像的拼接方法，其特征在于，在步骤(1)中，所述在太阳能板子图像中采用的模板匹配法确定内角点初始搜索区域的方法为：用预先制备角点图像作为模板图像，在太阳能板子图像上滑动模板图像，计算模板图像与太阳能板子图像滑动窗口的相似度；模板匹配法用归一化系数作为模板匹配法的相似度衡量标准，其公式表示为：
其中，T(x′,y′)为模板图像；I(x,y)为原图像；R(x,y)为计算结果，范围0-1，当模板与图像滑动窗口完全匹配时数值为1。
3.根据权利要求1所述的可用于太阳能板图像的拼接方法，其特征在于，在步骤(2)中，使用曲线拟合的直线亚像素边缘坐标定位法，得到太阳能板子图像中直线的边缘坐标来确定内角点坐标，具体步骤为：
(2-1)对于水平/垂直的直线，首先计算直线图像一阶垂直/水平差分图像，找到每一列/行的最大值和最小值，两者分别对应直线的两侧边缘；
(2-2)利用最大值和最小值附近的三个差分值进行二次曲线拟合，即高斯曲线的近似拟合；
(2-3)拟合后的曲线最值对应的坐标就是直线边缘的亚像素坐标。
4.根据权利要求1所述的可用于太阳能板图像的拼接方法，其特征在于，在步骤(3)中，所述确定太阳能板子图像外角点坐标的方法为：在内角点附近提取矩形感兴趣区域，在矩形感兴趣区域内使用直线亚像素边缘坐标定位法，得到直线的边缘坐标，由直线两侧边缘坐标计算得到直线宽度，外角点坐标等于内角点坐标加或减二分之一直线宽度。
5.根据权利要求1所述的可用于太阳能板图像的拼接方法，其特征在于，在步骤(4)中，遍历所有太阳能板子图像，针对每幅太阳能板子图像中由外角点构成的四边形，找到最接近于矩形的一组外角点构成的四边形，作为参考矩形：其中，通过计算其两条对角线的长度，由长边除以短边得到两者比值，比值最接近于1的一组外角点构成的四边形作为参考矩形。
6.根据权利要求1所述的可用于太阳能板图像的拼接方法，其特征在于，在步骤(5)中，所述以参考矩形为标准修正外角点坐标的方法包括：使用太阳能板子图像原外角点中的一点为固定点，同时在参考矩形中找到对应的点；以参考矩形中的固定点和其他点的坐标关系为标准，确定太阳能板子图像其他外角点的坐标。
7.根据权利要求1所述的可用于太阳能板图像的拼接方法，其特征在于，在步骤(6)中，透视变换用公式表示为：
其中，X、Y、Z表示透射变换后的三维坐标，x、y、z表示透射变换前的三维坐标，aij表示透视变换矩阵第i行第j列的矩阵元素，i为1-3，j为1-3。
8.根据权利要求1所述的可用于太阳能板图像的拼接方法，其特征在于，在步骤(7)中，所述透视变换后的太阳能板子图像根据外角点坐标、图像索引确定有效区域的方法中，有效区域为太阳能板子图像修正后的外角点组成的四边形区域，拼接的正确位置由图像索引决定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310143660.4A CN116152068A (zh) | 2023-02-21 | 2023-02-21 | 一种可用于太阳能板图像的拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310143660.4A CN116152068A (zh) | 2023-02-21 | 2023-02-21 | 一种可用于太阳能板图像的拼接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116152068A true CN116152068A (zh) | 2023-05-23 |
Family
ID=86361520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310143660.4A Pending CN116152068A (zh) | 2023-02-21 | 2023-02-21 | 一种可用于太阳能板图像的拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152068A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132460A (zh) * | 2023-09-12 | 2023-11-28 | 上海世禹精密设备股份有限公司 | 视觉检测标准图的生成方法、装置、电子设备及存储介质 |
-
2023
- 2023-02-21 CN CN202310143660.4A patent/CN116152068A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132460A (zh) * | 2023-09-12 | 2023-11-28 | 上海世禹精密设备股份有限公司 | 视觉检测标准图的生成方法、装置、电子设备及存储介质 |
| CN117132460B (zh) * | 2023-09-12 | 2024-02-27 | 上海世禹精密设备股份有限公司 | 视觉检测标准图的生成方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| WO2021196294A1 (zh) | 一种跨视频人员定位追踪方法、系统及设备 | |
| CN109785291B (zh) | 一种车道线自适应检测方法 | |
| CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
| CN106447601B (zh) | 一种基于投影-相似变换的无人机遥感影像拼接方法 | |
| CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
| CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
| CN104200461B (zh) | 基于互信息图像选块和sift特征的遥感图像配准方法 | |
| CN106485751B (zh) | 应用于基桩检测中的无人机摄影成像及数据处理方法及系统 | |
| US20220092819A1 (en) | Method and system for calibrating extrinsic parameters between depth camera and visible light camera | |
| CN110569861B (zh) | 一种基于点特征和轮廓特征融合的图像匹配定位方法 | |
| CN111723801B (zh) | 鱼眼相机图片中目标检测矫正的方法与系统 | |
| CN111311679A (zh) | 一种基于深度相机的自由漂浮目标位姿估计方法 | |
| CN109859137B (zh) | 一种广角相机非规则畸变全域校正方法 | |
| CN108181319A (zh) | 一种基于立体视觉的积尘检测装置及方法 | |
| CN106952262B (zh) | 一种基于立体视觉的船板加工精度分析方法 | |
| CN112946679B (zh) | 一种基于人工智能的无人机测绘果冻效应检测方法及系统 | |
| CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
| CN112163995A (zh) | 一种超大航拍条带图像的拼接生成方法及装置 | |
| CN116152068A (zh) | 一种可用于太阳能板图像的拼接方法 | |
| CN112862683A (zh) | 一种基于弹性配准和网格优化的邻接图像拼接方法 | |
| CN110084743A (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
| CN114998448A (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
| CN107330856B (zh) | 一种基于投影变换和薄板样条的全景成像方法 | |
| CN113642397A (zh) | 一种基于手机视频的物体长度测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |