CN107464214B - 生成太阳能电站全景图的方法 - Google Patents

生成太阳能电站全景图的方法 Download PDF

Info

Publication number
CN107464214B
CN107464214B CN201710458666.5A CN201710458666A CN107464214B CN 107464214 B CN107464214 B CN 107464214B CN 201710458666 A CN201710458666 A CN 201710458666A CN 107464214 B CN107464214 B CN 107464214B
Authority
CN
China
Prior art keywords
panel
images
image
power station
panels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710458666.5A
Other languages
English (en)
Other versions
CN107464214A (zh
Inventor
张观良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Software Research Center Beijing Co Ltd
Original Assignee
Ricoh Software Research Center Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Software Research Center Beijing Co Ltd filed Critical Ricoh Software Research Center Beijing Co Ltd
Priority to CN201710458666.5A priority Critical patent/CN107464214B/zh
Publication of CN107464214A publication Critical patent/CN107464214A/zh
Application granted granted Critical
Publication of CN107464214B publication Critical patent/CN107464214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种生成太阳能电站全景图的拼接方法，包括飞行控制系统，还包括以下步骤：创建的掩膜；提取水平线作为面板的候选边界线，提取面板区域内每行面板，在后续图形序列中进行追踪；纠正图像透视畸变；使用特征提取算法，以地面为图像的基准点，利用面板的结构提取交叉点为特征点，进行匹配；利用交叉点计算相邻两张图像之间的变换矩阵，根据评价函数确定用于拼接的图像，通过变换矩阵对同一行的面板图像进行拼接，并计算局部单应行矩阵来修正畸变；对拼接后每一行面板进行对齐，再从各个拼接图像中检测太阳能面板组，对齐并缩放到统一大小，本发明通过纠正这种透视畸变或误差，通过局部变换矩阵对每行面板进行拼接，得到电站全景图。

Description

生成太阳能电站全景图的方法
技术领域
本发明涉及与图像处理，图像识别与物体追踪有关。
背景技术
本发明主要涉及的技术背景为无人机进行电站巡检时，生成电站的全景图，无人机的飞行信息来确定相邻图像，同时拼接时保证各图像有连通性。此外拍摄视角基本与地面垂直。
在图像拼接方面，市场与专利调研显示大部分方法集中在拼接没有较大视差变化的图像上。但为了能够获取较好的红外数据，镜头视角需要尽可能与面板垂直，这也导致了透视畸变与在相机不平稳时的较大视差。单一的全局变换矩阵在平面场景或者非视差相机运动时有较好效果。但这些条件在实际应用中都难以满足，这也导致了由于误匹配而引起的鬼影和图像结构错误。
研究还发现，为了解决上述问题，最近的学者提出了空间变化变换模型。该模型使用局部变换模型，根据不同位置的约束对局部变换矩阵进行调整从而得到较好效果。但当两张图之间的匹配特征点有一定偏移时，则不能有效地对图像进行对齐，不能维持场景的结构。对于人造物体时，则会出现明显的结构破坏，例如直线被断开，纹理模糊等。而在太阳能电站中，普通的特征点提取算法会使得大部分特征点集中在地面，使得太阳能面板的结构更加无法维持。此外，由于透视变换的影响，每行面板之间的大小也不相同。
发明内容
本发明要解决的技术问题是提供一种生成太阳能电站全景图的方法，特别在相机视角与地面不垂直致使电站图片都会有透视畸变时，亦或当相机不平稳时，相比视角垂直于地面，相邻两张图像会有较大视差。本发明通过纠正这种透视畸变或误差，通过局部变换矩阵对每行面板进行拼接，最后通过每行面板之间的对齐，得到电站全景图。
为了解决上述技术问题，本发明提供了一种生成太阳能电站全景图的拼接方法，包括飞行控制系统，所述生成太阳能电站全景图的拼接方法还包括以下步骤：
(1)、创建能确定太阳能面板位置的掩膜；
(2)、根据步骤(1)的掩膜，提取水平线作为面板的候选边界线，提取面板区域内每行面板，并且在后续图形序列中进行追踪；
(3)、根据所得到的面板区域的轮廓，纠正相机拍摄过程中由于视角导致的图像透视畸变；利用面板的结构特征提取交叉点作为特征点，该特征点通过距离进行匹配；
(4)、利用交叉点计算相邻两张图像之间的变换矩阵，根据评价函数确定用于拼接的图像，通过变换矩阵对同一行的面板图像进行拼接，并计算局部单应行矩阵来修正畸变；
(5)、对拼接后每一行面板进行对齐，再从各个拼接图像中检测太阳能面板组，之后对这些面板组进行对齐并缩放到统一大小，最后构造出整个全景图。
进一步，所述步骤(1)中，创建掩膜的方法包括：生成图像的边缘图，并对边缘图进行加强，并根据设定的高宽比的封闭轮廓进行填充，通过开运算去除噪声和无用像素。
进一步，所述步骤(2)中，在所述候选边界线的上下区域内，计算非零像素数目，确定直线上下部分是否为面板。
进一步，所述步骤(3)中，所述纠正的具体步骤为：在面板上获取交叉点，之后尽可能得到较大的四边形能够覆盖整行面板，然后对该四边形的四个角重新定位并计算对应的透视矩阵。
进一步，在获取四边形时，四边形端点需要相互处于面板直线上，在获取交叉点位于面板上的竖直和水平向后，基于这些直线对交叉点进行聚类，使得交叉点都在对应直线上，最后就可以取得较大的四边形。
进一步，所述步骤(4)中，所述评价函数为：
D＝pe+Idb/(exp(xi-xj)/sdb)+Mrb*(1-Nin/Nori)+Mn*(1-min(1,Nin/smn))；
其中，函数中pe是两张图像中映射误差,Idb是两张图像的索引距离惩罚系数，xi和xj是两张图像的索引，sdb是比例系数，Mrb是匹配数目的惩罚系数,Nin和Nori是匹配数目和特征点数目，Mn是匹配比例的惩罚系数，smn是最小的匹配数目。
进一步，使用该评价函数确定两张图像的映射误差时，同时利用贪婪策略，选择每次映射误差最小的图像，并根据该图像寻找下一张合适的图像。
本发明的技术效果在于：发明的目标是提供一种方法来生成电站全景图，特别在相机视角与地面不垂直的时候。在这种情况下，电站图片都会有透视畸变，从而导致不同行之间太阳能面板大小不相同。此外，当相机不平稳时，相比视角垂直于地面，相邻两张图像会有较大视差。这些都会导致全景图生成困难，因为单一全局变换矩阵无法适应整张图像。由于误匹配而导致的图像结构破裂在太阳能面板上非常明显。本发明可以纠正这种透视畸变，并利用局部变换矩阵对每行面板进行拼接，最后通过每行面板之间的对齐，得到电站全景图。
附图说明
图1是本发明生成太阳能电站全景图所对应的系统流程图；
图2是本发明生成太阳能面板掩膜的流程图；
图3是本发明生成太阳能面板掩膜的示例图；
图4(a)～(b)是本发明提取每行面板的示例图；
图5是本发明对每行面板进行透视畸变纠正的流程图；
图6(a)～(b)是对本发明每行面板进行透视畸变纠正的示例图；
图7(a)～(b)是本发明提取特征点的示例图；
图8是本发明选择拼接图像的示例图；
图9(a)～(b)是本发明拼接图像畸变纠正的示例图；
图10(a)～(d)是本发明拼接图像对齐的示例图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明根据面板分布对图像进行拆分，每个部分包含一行面板。另外一个是从相邻图像中提取特征点并进行匹配。
如图1所示，本发明一种生成太阳能电站全景图的拼接方法，包括飞行控制系统，对彩色图像的处理包括以下步骤：
S11：提取交叉点。使用特征提取算法，以地面为图像的基准点，利用面板的结构特征提取交叉点作为特征点；
S12：交叉点匹配。S11得到的特征点能够通过距离进行匹配；
S13：创建面板掩膜。创建能确定太阳能面板位置的掩膜；
S14:检测水平直线并提取每行面板。提取水平线作为面板的候选边界线，提取面板区域内每行面板，并且在后续图形序列中进行追踪；
S15：纠正透视畸变。根据所得到的面板区域的轮廓，纠正相机拍摄过程中由于视角导致的图像透视畸变；
S16：拼接面板并纠正畸变。利用交叉点计算相邻两张图像之间的变换矩阵，根据评价函数确定用于拼接的图像，通过变换矩阵对同一行的面板图像进行拼接，并计算局部单应行矩阵来修正畸变；
S17：每行面板对齐生成全景图。对拼接后每一行面板进行对齐，再从各个拼接图像中检测太阳能面板组，之后对这些面板组进行对齐并缩放到统一大小，最后构造出整个全景图。
如图2所示，为掩膜生成步骤S13，由于电站的复杂背景，基于颜色阈值的分割算法无法处理各种光照条件。因此使用太阳能面板的重复结构，包括以下步骤：S131：生成边缘图，并对边缘图进行加强S131；S132：根据预设高宽比对封闭轮廓进行填充；S133：通过开运算去除无用像素S133。
具体的方案为：
分割与纠正
1.如图3所示，在步骤S14中,对面板掩膜进行处理，去除噪声和没用的部分后，从掩膜中提取水平直线作为面板的候选边界线。在候选边界线的上下区域内，计算非零像素数目，确定直线上下部分是否为面板。如图4(a)虚线框所示。如图4(b)所示，直线1和2的状态分别是(0,1)和(1,0)。状态(0,1)表示直线上部分不是面板，而下部分是面板，同理(1,0)。因此，如果有两条相邻的直线其状态分别是(0,1)和(1,0)，那么这两条直线之间所夹的部分是太阳能面板。
但是，由于相机视角不是与地面垂直，所以会导致图像有透视畸变现象，透视畸变使得每行面板大小不一样。在拍摄过程中，假如相机有一定晃动，相邻两张图片还会出现较大视差。为解决这种问题，需要对图像进行纠正。在步骤S15中，利用步骤S14得到的面板区域，纠正步骤如图5所示，步骤S151：在面板上获取交叉点，如图6(a)所示。步骤S152：如图6(b)所示，在获取交叉点和面板上的竖直和水平直后，基于这些直线对交叉点进行聚类，使得交叉点都在对应直线上，最后就可以取得较大的四边形。步骤S153：之后尽可能得到较大的四边形，使其覆盖整行面板。步骤S154：最后对四边形的四个角重新定位，计算对应的透视矩阵，完成对图像的透视畸变纠正。在获取四边形时，四个端点需要相互处于面板直线上。
提取和匹配特征点
2.如步骤S11提取交叉点和步骤S12交叉点匹配，利用特征提取算法(SIFT或者ORB)，大部分的特征点都来在于地面，使得图像的对准主要是基于地面而不是太阳能面板，无法完成太阳能面板的对齐，如图7(a)所示，因此利用太阳能面板的结构，提取交叉点作为特征点，如图7(b)所示，该特征点通过距离可以进行匹配。
拼接图像和修正畸变
两张图像的单应性矩阵基于匹配点进行计算，但可以用全景图生成的图像较多，使得重合区域过大。在步骤S16中，本发明定义了一个评价函数，考虑到映射误差，匹配数目，两张图像的索引距离和匹配点数目比例。
D＝pe+Idb/(exp(xi-xj)/sdb)+Mrb*(1-Nin/Nori)+Mn*(1-min(1,Nin/smn))
函数中pe是两张图像中映射误差,Idb是两张图像的索引距离惩罚系数,xi和xj是两张图像的索引,sdb是比例系数,Mrb是匹配数目的惩罚系数,Nin和Nori是匹配数目和特征点数目,Mn是匹配比例的惩罚系数,smn是最小的匹配数目。该函数的第二部分鼓励两个图像的索引距离尽可能大，减少拼接图像数目。第三部分鼓励匹配点数目尽可能多，避免函数选择两张相差太大的图像。最后一个部分，假如匹配点数目大于smn,则没有任何惩罚。
如图8所示，假如图像0与图像2的评价分数最小，则计算图像2与之后图像的评价分数。最终在这10张图像中，选择0、2、7和9用于拼接。通过该评价函数，可以减少图像的处理数目，同时选择的图像在拼接中更容易进行匹配。
如图9(a)中，由于使用单应性矩阵进行图像拼接，因此边缘部分的畸变较大。通过对交叉点进行重定位，计算局部单应性矩阵来修正畸变，如图9(b)所示。
对齐和组合
在步骤S7中，从各个拼接图像中检测太阳能面板组，之后对这些检测的面板组进行对齐并缩放到统一大小，最后放在全景图中，如图10所示。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (7)

1.一种生成太阳能电站全景图的拼接方法，其特征在于，所述生成太阳能电站全景图的拼接方法还包括以下步骤：
(1)、创建能确定太阳能面板位置的掩膜；
(2)、根据步骤(1)的掩膜，提取水平线作为面板的候选边界线，提取面板区域内每行面板，并且在后续图形序列中进行追踪；
(3)、根据所得到的面板区域的轮廓，纠正相机拍摄过程中由于视角导致的图像透视畸变；利用面板的结构特征提取交叉点作为特征点，该特征点通过距离进行匹配；
(4)、利用交叉点计算相邻两张图像之间的变换矩阵，根据评价函数确定用于拼接的图像，通过变换矩阵对同一行的面板图像进行拼接，并计算局部单应行矩阵来修正畸变；
(5)、对拼接后每一行面板进行对齐，再从各个拼接图像中检测太阳能面板组，之后对这些面板组进行对齐并缩放到统一大小，最后构造出整个全景图。
2.根据权利要求1所述的生成太阳能电站全景图的拼接方法，其特征在于，所述步骤(1)中，创建掩膜的方法包括：生成图像的边缘图，并对边缘图进行加强，并根据设定的高宽比的封闭轮廓进行填充，通过开运算去除噪声和无用像素。
3.根据权利要求1所述的生成太阳能电站全景图的拼接方法，其特征在于，所述步骤(2)中，在所述候选边界线的上下区域内，计算非零像素数目，确定直线上下部分是否为面板。
4.根据权利要求1所述的生成太阳能电站全景图的拼接方法，其特征在于，所述步骤(3)中，所述纠正的具体步骤为：在面板上获取交叉点，之后尽可能得到较大的四边形能够覆盖整行面板，然后对该四边形的四个角重新定位并计算对应的透视矩阵。
5.根据权利要求4所述的生成太阳能电站全景图的拼接方法，其特征在于，在获取四边形时，四边形端点需要相互处于面板直线上，在获取交叉点位于面板上的竖直和水平向后，基于这些直线对交叉点进行聚类，使得交叉点都在对应直线上，最后就可以取得较大的四边形。
6.根据权利要求1所述的生成太阳能电站全景图的拼接方法，其特征在于，所述步骤(4)中，所述评价函数为：
D＝pe+Idb/(exp(xi-xj)/sdb)+Mrb*(1-Nin/Nori)+Mn*(1-min(1,Nin/smn))；
其中，函数中pe是两张图像中映射误差,Idb是两张图像的索引距离惩罚系数，xi和xj是两张图像的索引，sdb是比例系数，Mrb是匹配数目的惩罚系数,Nin和Nori是匹配数目和特征点数目，Mn是匹配比例的惩罚系数，smn是最小的匹配数目。
7.根据权利要求6所述的生成太阳能电站全景图的拼接方法，其特征在于，使用该评价函数确定两张图像的映射误差时，同时利用贪婪策略，选择每次映射误差最小的图像，并根据该图像寻找下一张合适的图像。
CN201710458666.5A 2017-06-16 2017-06-16 生成太阳能电站全景图的方法 Active CN107464214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710458666.5A CN107464214B (zh) 2017-06-16 2017-06-16 生成太阳能电站全景图的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710458666.5A CN107464214B (zh) 2017-06-16 2017-06-16 生成太阳能电站全景图的方法

Publications (2)

Publication Number Publication Date
CN107464214A CN107464214A (zh) 2017-12-12
CN107464214B true CN107464214B (zh) 2020-09-25

Family

ID=60543785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710458666.5A Active CN107464214B (zh) 2017-06-16 2017-06-16 生成太阳能电站全景图的方法

Country Status (1)

Country Link
CN (1) CN107464214B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555804B (zh) * 2018-05-31 2022-04-15 清华大学 高分遥感数据的纠正方法、装置、计算机设备及可读存储介质
CN110738599B (zh) * 2019-10-14 2023-04-25 北京百度网讯科技有限公司 图像拼接方法、装置、电子设备及存储介质
US20220077820A1 (en) * 2020-09-04 2022-03-10 Mgit Method and system for soar photovoltaic power station monitoring

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279939A (zh) * 2013-04-27 2013-09-04 北京工业大学 一种图像拼接处理系统
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN103716595A (zh) * 2014-01-08 2014-04-09 深圳英飞拓科技股份有限公司 全景拼接摄像机和球机联动控制方法及装置
CN105263000A (zh) * 2015-10-16 2016-01-20 广西大学 基于无人机载双相机的大型光伏电站巡检装置
CN105389787A (zh) * 2015-09-30 2016-03-09 华为技术有限公司 一种全景图像拼接方法及装置
CN105447850A (zh) * 2015-11-12 2016-03-30 浙江大学 一种基于多视点图像的全景图拼接合成方法
CN105516584A (zh) * 2015-11-24 2016-04-20 中国科学院生态环境研究中心 全景影像采集系统、基于其的测量天际线的装置和方法
CN106815838A (zh) * 2017-01-22 2017-06-09 晶科电力有限公司 一种光伏组件热斑检测的方法以及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5740241B2 (ja) * 2011-08-03 2015-06-24 株式会社東芝 車両検出装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279939A (zh) * 2013-04-27 2013-09-04 北京工业大学 一种图像拼接处理系统
CN103617606A (zh) * 2013-11-26 2014-03-05 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN103716595A (zh) * 2014-01-08 2014-04-09 深圳英飞拓科技股份有限公司 全景拼接摄像机和球机联动控制方法及装置
CN105389787A (zh) * 2015-09-30 2016-03-09 华为技术有限公司 一种全景图像拼接方法及装置
CN105263000A (zh) * 2015-10-16 2016-01-20 广西大学 基于无人机载双相机的大型光伏电站巡检装置
CN105447850A (zh) * 2015-11-12 2016-03-30 浙江大学 一种基于多视点图像的全景图拼接合成方法
CN105516584A (zh) * 2015-11-24 2016-04-20 中国科学院生态环境研究中心 全景影像采集系统、基于其的测量天际线的装置和方法
CN106815838A (zh) * 2017-01-22 2017-06-09 晶科电力有限公司 一种光伏组件热斑检测的方法以及系统

Also Published As

Publication number Publication date
CN107464214A (zh) 2017-12-12

Similar Documents

Publication Publication Date Title
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
CN104732482B (zh) 一种基于控制点的多分辨率图像拼接方法
CN112767542A (zh) 一种多目相机的三维重建方法、vr相机和全景相机
CN109389555B (zh) 一种全景图像拼接方法及装置
CN107578376B (zh) 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN108447022B (zh) 基于单个固定摄像头图像序列的运动目标拼接方法
US8711141B2 (en) 3D image generating method, 3D animation generating method, and both 3D image generating module and 3D animation generating module thereof
CN110799921A (zh) 拍摄方法、装置和无人机
CN106060493A (zh) 多源投影无缝边缘拼接方法及系统
CN102982524B (zh) 玉米果穗有序图像的拼接方法
CN107464214B (zh) 生成太阳能电站全景图的方法
CN105303615A (zh) 一种图像二维拼接与三维表面重建的组合方法
CN106447602A (zh) 一种图像拼接方法及装置
Nguyen et al. 3D scanning system for automatic high-resolution plant phenotyping
CN107767339B (zh) 一种双目立体图像拼接方法
CN113160053B (zh) 一种基于位姿信息的水下视频图像复原与拼接方法
CN106886976B (zh) 一种基于内参数修正鱼眼像机的图像生成方法
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
JP2006350553A (ja) 対応点探索方法、相互標定方法、３次元画像計測方法、対応点探索装置、相互標定装置、３次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体
Bellavia et al. Image orientation with a hybrid pipeline robust to rotations and wide-baselines
CN114897676A (zh) 一种无人机遥感多光谱图像拼接方法、设备及介质
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN111508067A (zh) 一种基于垂直平面和垂直线的轻量级室内建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant