CN112258395A - 一种无人机拍摄的影像拼接方法及装置 - Google Patents
一种无人机拍摄的影像拼接方法及装置 Download PDFInfo
- Publication number
- CN112258395A CN112258395A CN202011263226.2A CN202011263226A CN112258395A CN 112258395 A CN112258395 A CN 112258395A CN 202011263226 A CN202011263226 A CN 202011263226A CN 112258395 A CN112258395 A CN 112258395A
- Authority
- CN
- China
- Prior art keywords
- image
- spliced
- overlapping area
- images
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012937 correction Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 21
- 230000000903 blocking effect Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 11
- 238000000638 solvent extraction Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 239000004576 sand Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种无人机拍摄的影像拼接方法及装置，该方法包括：获取影像；对所述影像进行预处理；根据所述几何纠正之后的参考影像与所述几何纠正后的待拼接影像进行计算得到所述重叠区域；提取所述重叠区域的关键特征点；确定所述参考影像中的重叠区域的第一方位角和所述待拼接影像中重叠区域的第二方位角；利用所述关键特征点、所述第一方位角和所述第二方位角将所述参考影像和所述待拼接影像进行拼接。本发明通过对图像进行预处理消除影像的几何形变等问题，通过重叠区域得到关键特征点、第一方位角和第二方位角来进行影像拼接，以消除拼接失败或者拼接变形等情况，从而提高了参考影像与待拼接影像进行拼接的准确性。
Description
技术领域
本发明涉及影像匹配拼接领域，具体涉及一种无人机拍摄的影像拼接方法及装置。
背景技术
无人机低空平台具有机动灵活、响应快、使用成本低等优点，已成为快速获取区域空间数据的一种重要手段。影像匹配作为图像处理的关键技术，其目的在于从不同时间、不同角度或者不同传感器拍摄的同一区域的两幅或者多幅影像中获取同名点，其结果可用于影像拼接、制作正射影像、以及建立三维模型等，直接影响后续应用的精度。然而，其飞行平台轻小型化，飞行高度低，在飞行过程中容易受气流等因素影响，平台稳定性差，拍摄影像时容易出现较大俯仰角、翻滚角和旋偏角的现象，使得航带内以及航带间的影像重叠区域不规则，同名地物之间几何变形大，灰度差异明显，误匹配率高，增加了匹配的困难性。现有的影像匹配或影像拼接技术皆是简单的重叠区域、特征点或灰度值单独进行计算得到待匹配或带拼接影像的结果，简单的匹配无法消除无人机拍摄的影像存在的影像几何畸变等各种影响，且根据单一匹配或拼接导致误匹配或误拼接率高。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中对无人机拍摄的影像无法进行准确匹配的问题，从而提供一种无人机拍摄的影像拼接方法及装置。
根据第一方面，本发明提供了一种无人机拍摄的影像拼接方法，包括以下步骤：
获取影像，所述影像包括参考影像和待拼接影像；对所述影像进行预处理，所述预处理为对所述影像进行几何纠正；根据所述几何纠正之后的参考影像与所述几何纠正后的待拼接影像进行计算得到所述重叠区域，所述重叠区域表示所述参考影像和所述待拼接影像中相同场景图像的区域；提取所述重叠区域的关键特征点；确定所述参考影像中的重叠区域的第一方位角和所述待拼接影像中重叠区域的第二方位角；利用所述关键特征点、所述第一方位角和所述第二方位角将所述参考影像和所述待拼接影像进行拼接。
本发明实施例提供的无人机拍摄的影像拼接方法，通过对所述影像进行几何纠正，以消除所述无人机拍摄影像本身存在的几何形变以及尺度和旋转差异对所述影像拼接的影像，提高了所述影像拼接的准确性。再根据几何纠正后的参考影像和几何纠正后的待拼接影像的重叠区域；根据重叠区域提取重叠区域的关键特征点，以及参考影像中的重叠区域的第一方位角和待拼接影像中的第二方位角；利用关键特征点、第一方位角和第二方位角能够对参考影像和待拼接影像进行准确的拼接。
结合第一方面，在第一方面第一实施方式中，对所述无人机拍摄的影像进行几何校正的步骤包括：对所述影像进行降采样处理；根据SIFT算法对所述经过降采样处理的影像提取特征点，再对所述特征点进行拼接；根据RANSAC算法剔除所述根据SIFT算法提取和拼接特征点中的错误拼接点，获得拼接种子点；根据所述拼接种子点估算所述影像间的几何关系，并基于所述几何关系对所述影像进行纠正。
本发明实施例提供的无人机拍摄的影像拼接方法，通过对无人机拍摄影像进行降采样，再根据SIFT算法提取经过降采样处理之后的参考影像和经过降采样处理之后的待拼接影像特征点。参考影像的特征点和待拼接影像的特征点进行拼接；再根据RANSAC算法剔除参考影像的特征点与待拼接影像中的错误拼接点，获得拼接种子点；根据参考影像中的拼接种子点和待拼接种子点所携带的信息估算参考影像与待拼接影像之间的几何关系，最后再根据所述的几何关系对影像进行纠正，以消除无人机影像本身的几何畸变和旋转差异对影像拼接结果的影响。
结合第一方面，在第一方面第二实施方式中，在计算所述重叠区域时根据三个参数对所述重叠区域进行定义，所述三个参数分别为：长度H0、宽度W0以及所述重叠区域在参考影像上的原点坐标O0＝(Ou,Ov)；
其中，所述重叠区域的长度H0和宽度W0及所述重叠区域的原点坐标O0＝(Ou,Ov)的计算公式分别如下：
其中，H、W分别为所述参考影像的长和宽,(P1u，P1v)为所述参考影像的中心点坐标，(P1u,P1v)＝(H/2,W/2)，(P'2u,P'2v)为所述影像的待拼接影像的中点坐标。
结合第一方面，在第一方面第三实施方式中，提取所述重叠区域的关键特征点，包括以下步骤：对所述重叠区域进行分块处理，通过计算得到搜索区域；对所述搜索区域进行特征的提取，得到初始关键特征点；利用粗差检测方法剔除所述初始关键特征点中的错误点对，得到所述关键特征点。
本发明实施例提供的无人机拍的摄影像拼接方法，通过对重叠区域进行分块处理，通过计算得到搜索区域，减少了需要搜索的范围，从而提高了初始关键特征点提取的速度；再通过对从搜索区域提取的初始关键特征点利用粗差检测方法剔除初始关键特征点的错误点对，从而保证了得到的重叠区域的关键特征点的准确性。
结合第一方面第三实施方式，在第一方面第四实施方式中，所述搜索区域的计算包括以下步骤：将所述参考影像上的重叠区域进行分块；根据进行分块之后的所述重叠区域利用所述影像间的几何映射关系计算得到所述进行分块后的重叠区域在待拼接影像上的区域范围；根据所述影像间的几何变换关系，计算得到所述进行分块后的重叠区域块的四个角点坐标作为所述待拼接影像上的坐标；根据所述四个角点坐标连接的多边形的外接矩形作为搜索区域。
本发明实施例提供的无人机拍摄的影像拼接方法，对参考影像的重叠区域和待拼接影像的重叠区域进行分块处理，再根据参考影像与待拼接影像的几何映射关系计算进行分块之后的重叠区域在待拼接影像上的区域范围；再根据参考影像和待拼接影像间的几何变换关系，计算得到所述进行分块后的重叠区域块的四个角点坐标作为所述待拼接影像上的坐标；根据所述四个角点坐标连接的多边形的外接矩形作为搜索区域，从而提高了拼接的速度和准确度。在本发明实施例中，参考影像与待拼接影像之间的几何映射关系主要是由无人机拍摄参考影像和待拼接影像时的拍摄角度、旋转角度和无人机离地面的高度等信息确定。
结合第一方面第四实施方式，在第一方面第五实施方式中，所述四个角点根据所述重叠区域块的大小Hs和Ws以及原点坐标Oi＝{Ou+Ws×i,Ov+Hs×j}，其中i和j分别表示所述重叠区域块在所述重叠区域的第i行和第j列。
结合第一方面第一实施方式，在第一方面第六实施方式中，根据SIFT算法对所述经过降采样处理的影像提取的特征点基于双向映射进行拼接，得到拼接种子点。
本发明实施例提供的无人机拍的摄影像拼接方法，通过预处理模块对影像进行几何纠正以消除无人机在拍摄时因其飞行平台轻小型化，飞行高度低，在飞行过程中容易受气流等因素影响，平台稳定性差，拍摄影像时容易出现较大俯仰角、翻滚角和旋偏角的问。在对影像进行预处理时对影像进行降采样处理，再利用SIFT算法对经过降采样处理的影像提取特征点，对特征点进行拼接；再根据RANSAC算法剔除所述根据SIFT算法提取和拼接特征点中的错误匹配点，获得拼接种子点；根据所述拼接种子点估算所述影像间的几何关系，并基于所述几何关系对所述影像进行纠正，用以消除无人机拍摄的影像存在的几何畸变等问题。再根据参考影像和待拼接影像确定重叠区域，再对重叠区域进行分块确定搜索区域，再根据搜索区域得到关键特征点，从而提高了关键特征点的准确性。最后根据重叠区域确定参考影像的中重叠区域的第一方位角和待拼接影像中重叠区域的第二方位角。最后利用关键特征点、第一方位角和第二方位角对参考影像和待拼接影像进行拼接，以消除直接利用参考影像的重叠区域与带拼接影像的重叠区域之间进行拼接导致拼接失败或者拼接变形，从而提高了参考影像与待拼接影像进行拼接的准确性。
根据第二方面，本发明提供了一种无人机拍摄的影像的拼接装置，包括：
获取模块，用于获取无人机拍摄的影像，所述影像包括参考影像和待拼接影像；
预处理模块，用于对所述影像进行几何纠正；
计算模块，用于计算几何纠正之后参考与所述几何纠正后的待拼接影像的重叠区域；
提取模块，用于提取所述重叠区域的关键特征点；
确定模块，用于确定所述参考影像中的重叠区域的第一方位角和所述待拼接影像中重叠区域的第二方位角；
拼接模块，用于对所述参考影像和所述待拼接影像进行拼接。
本发明实施例提供的无人机拍摄的影像拼接装置，通过预处理模块对影像进行几何纠正以消除无人机在拍摄时因其飞行平台轻小型化，飞行高度低，在飞行过程中容易受气流等因素影响，平台稳定性差，拍摄影像时容易出现较大俯仰角、翻滚角和旋偏角的问。在对影像进行预处理时对影像进行降采样处理，再利用SIFT算法对经过降采样处理的影像提取特征点，对特征点进行拼接；再根据RANSAC算法剔除所述根据SIFT算法提取和拼接特征点中的错误匹配点，获得拼接种子点；根据所述拼接种子点估算所述影像间的几何关系，并基于所述几何关系对所述影像进行纠正，用以消除无人机拍摄的影像存在的几何畸变等问题。再根据参考影像和待拼接影像确定重叠区域，再对重叠区域进行分块确定搜索区域，再根据搜索区域得到关键特征点，从而提高了关键特征点的准确性。最后根据重叠区域确定参考影像的中重叠区域的第一方位角和待拼接影像中重叠区域的第二方位角。最后利用关键特征点、第一方位角和第二方位角对参考影像和待拼接影像进行拼接，以消除直接利用参考影像的重叠区域与带拼接影像的重叠区域之间进行拼接导致拼接失败或者拼接变形，从而提高了参考影像与待拼接影像进行拼接的准确性。
根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的无人机拍摄的影像拼接方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的无人机拍摄的影像拼接方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种无人机拍摄的影像拼接方法的流程图；
图2为本发明实施例1中对无人机影像进行几何纠正的流程图；
图3为本发明实施例1中提取重叠区域的关键特征点的流程图；
图4为本发明实施例1中计算搜索区域的流程图；
图5为本发明实施例2提供的一种无人机拍摄的影像拼接装置的示意图；
图6为本发明实施例3提供的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供了一种无人机拍摄的影像拼接方法，如图1所示，包括以下步骤：
S1，获取参考影像和待拼接影像；
在本发明实施例中，参考影像和待拼接影像皆为无人机拍摄的影像。
S2，对所述参考影像和所述待拼接影像进行几何纠正；
在本发明实施例中，通过对参考影像和待拼接影像进行降采样处理，再利用SIFT算法提取经过降采样处理够的影像的特征点，对参考影像和待拼接影像的特征点进行拼接，再根据RANSAC算法剔除拼接错误的特征点，得到拼接种子点，再根据拼接种子点估算影像间的几何关系对影像进行几何纠正，用以消除无人机拍摄的影像本身所具有的几何变形、旋转角度大等问题。
S3，根据所述几何纠正之后的参考影像与所述几何纠正后的待拼接影像进行计算得到所述重叠区域；
在本发明实施例中，重叠区域的计算主要是通过SIFT算法提取经过降采样处理够的影像的特征点，进行拼接来判断拼接成功的特征点的位置，然后再以拼接成功的特征点在参考影像和待拼接影像中的位置分别选取第一局部影像和第二局部影像，再对选取的第一局部影像和第二局部影像进行特征点匹配，确定出其含有的所有拼接成功的特征点区域，作为参考影像与待拼接影像的重叠区域。
S4，提取所述重叠区域的关键特征点；
S5，确定所述参考影像中的重叠区域的第一方位角和所述待拼接影像中重叠区域的第二方位角；
其中，第一方位角可以是指重叠区域关键特征的相对方位，第二方位可以是指待拼接影像中重叠区域的相同关键特征的相对方位，例如，对于重叠区域中的房屋，在进行图像拼接时，需要保证该房屋的对齐，也即是参考影像和待拼接影像中该房屋应该完全重叠，因此，需要将第一方位角和第二方位角的调成一致。
在本发明实施例中，在参考影像的重叠区域与待拼接影像的重叠区域进行影像拼接时，需保证重叠区域中的所含有的特征点的重叠数量不小于重叠区域所含有的全部特征点的99.00％。
S6，利用所述关键特征点、所述第一方位角和所述第二方位角将所述参考影像和所述待拼接影像进行拼接。
在本发明实施例中，利用关键特征点、第一方位角和第二方位角对参考影像和待拼接影像进行拼接，以消除直接利用参考影像的重叠区域与带拼接影像的重叠区域之间进行拼接导致拼接失败或者拼接变形，从而提高了参考影像与待拼接影像进行拼接的准确性。
可选地，如图2所示，对所述影像进行几何纠正的步骤包括：
S11，对所述影像进行降采样处理；
S12，根据SIFT算法对所述经过降采样处理的影像提取特征点，再对所述特征点进行拼接；
S13，根据RANSAC算法剔除所述根据SIFT算法提取和拼接特征点中的错误匹配点，获得拼接种子点；
S14，根据所述拼接种子点估算所述影像间的几何关系，并基于所述几何关系对所述影像进行纠正。
具体地，在本发明实施例中，通过对无人机拍摄影像进行降采样，再根据SIFT算法提取经过降采样处理之后的参考影像和经过降采样处理之后的待拼接影像特征点。参考影像的特征点和待拼接影像的特征点进行拼接；再根据RANSAC算法剔除参考影像的特征点与待拼接影像中的错误拼接点，获得拼接种子点；根据参考影像中的拼接种子点和待拼接种子点所携带的信息估算参考影像与待拼接影像之间的几何关系，最后再根据所述的几何关系对影像进行纠正，以消除无人机影像本身的几何畸变和旋转差异对影像拼接结果的影响。
可选地，在计算所述重叠区域时根据三个参数对所述重叠区域进行定义，所述三个参数分别为：长度H0、宽度W0以及所述重叠区域在参考影像上的原点坐标O0＝(Ou,Ov)；
其中，所述重叠区域的长度H0和宽度W0及所述重叠区域的原点坐标O0＝(Ou,Ov)的计算公式分别如下：
其中，H、W分别为所述参考影像的长和宽,(P1u，P1v)为所述参考影像的中心点坐标，(P1u,P1v)＝(H/2,W/2)，(P'2u,P'2v)为所述待拼接影像的中点坐标。
可选地，如图3所示，提取所述重叠区域的关键特征点的步骤包括：
S101，对所述重叠区域进行分块处理，通过计算得到搜索区域；
S102，对所述搜索区域进行特征的提取，得到初始关键特征点；
S103，利用粗差检测方法剔除所述初始关键特征点中的错误点对，得到所述关键特征点。
具体地，在本发明实施例中，对重叠区域进行分块处理，通过计算得到搜索区域，减少了需要搜索的范围，从而提高了初始关键特征点提取的速度；再通过对从搜索区域提取的初始关键特征点利用粗差检测方法剔除初始关键特征点的错误点对，从而保证了得到的重叠区域的关键特征点的准确性。
可选地，如图4所示，所述搜索区域的计算包括以下步骤：
S201，将所述参考影像上的重叠区域进行分块；
S202，根据进行分块之后的所述重叠区域利用所述影像间的几何映射关系计算得到所述进行分块后的重叠区域在待拼接影像上的区域范围；
S203，根据所述影像间的几何变换关系，计算得到所述进行分块后的重叠区域块的四个角点坐标作为所述待拼接影像上的坐标；
S204，根据所述四个角点坐标连接的多边形的外接矩形作为搜索区域。
具体地，在本发明实施例中，对参考影像的重叠区域和待拼接影像的重叠区域进行分块处理，再根据参考影像与待拼接影像的几何映射关系计算进行分块之后的重叠区域在待拼接影像上的区域范围；再根据参考影像和待拼接影像间的几何变换关系，计算得到所述进行分块后的重叠区域块的四个角点坐标作为所述待拼接影像上的坐标；根据所述四个角点坐标连接的多边形的外接矩形作为搜索区域，从而提高了拼接的速度和准确度。在本发明实施例中，参考影像与待拼接影像之间的几何映射关系主要是由无人机拍摄参考影像和待拼接影像时的拍摄角度、旋转角度和无人机离地面的高度等信息确定。
可选地，所述四个角点根据所述重叠区域块的大小Hs和Ws以及原点坐标Oi＝{Ou+Ws×i,Ov+Hs×j}，其中i和j分别表示所述重叠区域块在所述重叠区域的第i行和第j列。
可选地，采用SIFT特征提取算子对所述根据所述搜索区域进行特征的提取，根据所述提取的特征基于双向映射进行拼接，得到初始拼接结果。
具体地，在本发明实施例中，根据基于SIFT算法对重叠区域的搜索区域提取的特征点建立两个特征点集，分别是参考影像的第一特征点集和待拼接影像的第二特征点集，再进行双向映射的拼接。在进行影像拼接时，参考影像上的特征点P对应待拼接影像的特征点为P’，相应的待拼接影像上的特征点P’在参考影像上唯一对应的特征点是P，以保证参考影像与待拼接影像之间的对应关系稳定，从而提高影像匹配的准确性。
在本发明实施例中，通过预处理模块对影像进行几何纠正以消除无人机在拍摄时因其飞行平台轻小型化，飞行高度低，在飞行过程中容易受气流等因素影响，平台稳定性差，拍摄影像时容易出现较大俯仰角、翻滚角和旋偏角的问。在对影像进行预处理时对影像进行降采样处理，再利用SIFT算法对经过降采样处理的影像提取特征点，对特征点进行拼接；再根据RANSAC算法剔除所述根据SIFT算法提取和拼接特征点中的错误匹配点，获得拼接种子点；根据所述拼接种子点估算所述影像间的几何关系，并基于所述几何关系对所述影像进行纠正，用以消除无人机拍摄的影像存在的几何畸变等问题。再根据参考影像和待拼接影像确定重叠区域，再对重叠区域进行分块确定搜索区域，再根据搜索区域得到关键特征点，从而提高了关键特征点的准确性。最后根据重叠区域确定参考影像的中重叠区域的第一方位角和待拼接影像中重叠区域的第二方位角。最后利用关键特征点、第一方位角和第二方位角对参考影像和待拼接影像进行拼接，以消除直接利用参考影像的重叠区域与带拼接影像的重叠区域之间进行拼接导致拼接失败或者拼接变形，从而提高了参考影像与待拼接影像进行拼接的准确性。
实施例2
本实施例提供一种无人机拍摄的影像拼接装置装置，如图5所示，包括：
获取模块10，用于获取无人机拍摄的影像，所述影像包括参考影像和待拼接影像；
预处理模块20，用于对所述影像进行几何纠正；
具体地，在本发明实施例中，预处理模块20通过对参考影像和待拼接影像进行降采样处理，再利用SIFT算法提取经过降采样处理够的影像的特征点，对参考影像和待拼接影像的特征点进行拼接，再根据RANSAC算法剔除拼接错误的特征点，得到拼接种子点，再根据拼接种子点估算影像间的几何关系对影像进行几何纠正，用以消除无人机拍摄的影像本身所具有的几何变形、旋转角度大等问题。
计算模块30，用于计算几何纠正之后参考与所述几何纠正后的待拼接影像的重叠区域；
具体地，在本发明实施例中，重叠区域的计算主要是通过SIFT算法提取经过降采样处理够的影像的特征点，进行拼接来判断拼接成功的特征点的位置，然后再以拼接成功的特征点在参考影像和待拼接影像中的位置分别选取第一局部影像和第二局部影像，再对选取的第一局部影像和第二局部影像进行特征点匹配，确定出其含有的所有拼接成功的特征点区域，作为参考影像与待拼接影像的重叠区域。
提取模块40，用于提取所述重叠区域的关键特征点；
具体地，在本发明实施例中，通过对重叠区域进行分块处理，通过计算得到搜索区域，减少了需要搜索的范围，从而提高了初始关键特征点提取的速度；再通过对从搜索区域提取的初始关键特征点利用粗差检测方法剔除初始关键特征点的错误点对，从而保证了得到的重叠区域的关键特征点的准确性。
确定模块50，用于确定所述参考影像中的重叠区域的第一方位角和所述待拼接影像中重叠区域的第二方位角；
具体地，在本发明实施例中，其中，第一方位角可以是指重叠区域关键特征的相对方位，第二方位可以是指待拼接影像中重叠区域的相同关键特征的相对方位，例如，对于重叠区域中的房屋，在进行图像拼接时，需要保证该房屋的对齐，也即是参考影像和待拼接影像中该房屋应该完全重叠，因此，需要将第一方位角和第二方位角的调成一致。在本发明实施例中，在参考影像的重叠区域与待拼接影像的重叠区域进行影像拼接时，需保证重叠区域中的所含有的特征点的重叠数量不小于重叠区域所含有的全部特征点的99.00％。
拼接模块60，用于对所述参考影像和所述待拼接影像进行拼接。
具体地，在本发明实施例中，在参考影像的重叠区域与待拼接影像的重叠区域进行影像拼接时，需保证重叠区域中的所含有的特征点的重叠数量不小于重叠区域所含有的全部特征点的99.00％
本发明实施例提供的无人机拍摄的影像拼接装置，通过预处理模块对影像进行几何纠正以消除无人机在拍摄时因其飞行平台轻小型化，飞行高度低，在飞行过程中容易受气流等因素影响，平台稳定性差，拍摄影像时容易出现较大俯仰角、翻滚角和旋偏角的问。在对影像进行预处理时对影像进行降采样处理，再利用SIFT算法对经过降采样处理的影像提取特征点，对特征点进行拼接；再根据RANSAC算法剔除所述根据SIFT算法提取和拼接特征点中的错误匹配点，获得拼接种子点；根据所述拼接种子点估算所述影像间的几何关系，并基于所述几何关系对所述影像进行纠正，用以消除无人机拍摄的影像存在的几何畸变等问题。再根据参考影像和待拼接影像确定重叠区域，再对重叠区域进行分块确定搜索区域，再根据搜索区域得到关键特征点，从而提高了关键特征点的准确性。最后根据重叠区域确定参考影像的中重叠区域的第一方位角和待拼接影像中重叠区域的第二方位角。最后利用关键特征点、第一方位角和第二方位角对参考影像和待拼接影像进行拼接，以消除直接利用参考影像的重叠区域与带拼接影像的重叠区域之间进行拼接导致拼接失败或者拼接变形，从而提高了参考影像与待拼接影像进行拼接的准确性。
实施例3
本发明实施例提供了一种电子设备，如图6所示，该电子设备包括处理器21和存储器22，其中处理器21和存储器22可以通过总线或者其他方式连接，图6中以通过总线连接为例。
处理器21可以为中央处理器(CPU)。处理器21还可以为其它通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器22作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中遥感影像重叠区域计算方法对应的程序指令/模块。处理器21通过运行存储在存储器22中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中无人机拍摄的影像拼接方法。
存储器22还可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器21所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或者其他非暂态固态存储器件。在一些实施例中，存储器22可选包括相对于处理器21远程设置的存储器，这些远程存储器可以通过网络连接至处理器21。上述网络的实施例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述存储器22中存储一个或者多个模块，当被所述处理器21执行时，执行如图1-4所示实施实例中的无人机拍摄的影像拼接方法。
上述电子设备具体细节可以对应参阅图1至图4所示的实施例中对应的相关描述和效果进行理解。此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种无人机拍摄的影像拼接方法，其特征在于，包括如下步骤：
获取影像，所述影像包括参考影像和待拼接影像；
对所述影像进行预处理，所述预处理为对所述影像进行几何纠正；
根据所述几何纠正之后的参考影像与所述几何纠正后的待拼接影像进行计算得到重叠区域，所述重叠区域表示所述参考影像和所述待拼接影像中相同场景图像的区域；
提取所述重叠区域的关键特征点；
确定所述参考影像中的重叠区域的第一方位角和所述待拼接影像中重叠区域的第二方位角；
利用所述关键特征点、所述第一方位角和所述第二方位角将所述参考影像和所述待拼接影像进行拼接。
2.根据权利要求1所述的一种无人机拍摄的影像拼接方法，其特征在于，所述几何纠正的步骤包括：
对所述影像进行降采样处理；
根据SIFT算法对经过降采样处理的影像提取特征点，再对所述特征点进行拼接；
根据RANSAC算法剔除所述根据SIFT算法提取和拼接特征点中的错误拼接点，获得拼接种子点；
根据所述拼接种子点估算所述影像间的几何关系，并基于所述几何关系对所述影像进行纠正。
3.根据权利要求1所述的一种无人机拍摄的影像拼接方法，其特征在于，在计算所述重叠区域时根据三个参数对所述重叠区域进行定义，所述三个参数分别为：长度H0、宽度W0以及所述重叠区域在参考影像上的原点坐标O0＝(Ou,Ov)；
其中，所述重叠区域的长度H0和宽度W0及所述重叠区域的原点坐标O0＝(Ou,Ov)的计算公式分别如下：
其中，H、W分别为所述参考影像的长和宽,(P1u，P1v)为所述参考影像的中心点坐标，(P1u,P1v)＝(H/2,W/2)，(P′2u,P′2v)为所述影像的待拼接影像的中点坐标。
4.根据权利要求1所述的一种无人机拍摄的影像拼接方法，其特征在于，所述提取所述重叠区域的关键特征点，包括：
对所述重叠区域进行分块处理，通过计算得到搜索区域；
对所述搜索区域进行特征的提取，得到初始关键特征点；
利用粗差检测方法剔除所述初始关键特征点中的错误点对，得到所述关键特征点。
5.根据权利要求4所述的一种无人机拍摄的影像拼接方法，其特征在于，所述搜索区域的计算包括以下步骤：
将所述参考影像上的重叠区域进行分块；
根据进行分块之后的所述重叠区域利用所述影像间的几何映射关系计算得到所述进行分块后的重叠区域在待拼接影像上的区域范围；
根据所述影像间的几何变换关系，计算得到所述进行分块后的重叠区域块的四个角点坐标作为所述待拼接影像上的坐标；
根据所述四个角点坐标连接的多边形的外接矩形作为搜索区域。
6.根据权利要求5所述的一种无人机拍摄的影像拼接方法，其特征在于，所述四个角点根据所述重叠区域块的大小Hs和Ws以及原点坐标Oi＝{Ou+Ws×i,Ov+Hs×j}，其中i和j分别表示所述重叠区域块在所述重叠区域的第i行和第j列。
7.根据权利要求1所述的一种无人机拍摄的影像拼接方法，其特征在于，根据SIFT算法对经过降采样处理的影像提取的特征点基于双向映射进行拼接，得到拼接种子点。
8.一种无人机拍摄的影像拼接装置，其特征在于，包括：
获取模块，用于获取无人机拍摄的影像，所述影像包括参考影像和待拼接影像；
预处理模块，用于对所述影像进行几何纠正；
计算模块，用于计算几何纠正之后参考与所述几何纠正后的待拼接影像的重叠区域；
提取模块，用于提取所述重叠区域的关键特征点；
确定模块，用于确定所述参考影像中的重叠区域的第一方位角和所述待拼接影像中重叠区域的第二方位角；
拼接模块，用于对所述参考影像和所述待拼接影像进行拼接。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7任一项所述的一种无人机拍摄的影像拼接方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任一项所述的一种无人机拍摄的影像拼接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011263226.2A CN112258395A (zh) | 2020-11-12 | 2020-11-12 | 一种无人机拍摄的影像拼接方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011263226.2A CN112258395A (zh) | 2020-11-12 | 2020-11-12 | 一种无人机拍摄的影像拼接方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112258395A true CN112258395A (zh) | 2021-01-22 |
Family
ID=74265732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011263226.2A Pending CN112258395A (zh) | 2020-11-12 | 2020-11-12 | 一种无人机拍摄的影像拼接方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258395A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897684A (zh) * | 2022-04-25 | 2022-08-12 | 深圳信路通智能技术有限公司 | 车辆图像的拼接方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130208997A1 (en) * | 2010-11-02 | 2013-08-15 | Zte Corporation | Method and Apparatus for Combining Panoramic Image |
| CN104966270A (zh) * | 2015-06-26 | 2015-10-07 | 浙江大学 | 一种多图像拼接方法 |
| CN108460727A (zh) * | 2018-03-28 | 2018-08-28 | 中南大学 | 一种基于投影几何与sift特征的图像拼接方法 |
| CN110969145A (zh) * | 2019-12-19 | 2020-04-07 | 珠海大横琴科技发展有限公司 | 一种遥感图像匹配优化方法、装置、电子设备及存储介质 |
| CN111899179A (zh) * | 2019-12-04 | 2020-11-06 | 华南农业大学 | 基于Harris-SURF的无人机影像拼接方法及装置 |
-
2020
- 2020-11-12 CN CN202011263226.2A patent/CN112258395A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130208997A1 (en) * | 2010-11-02 | 2013-08-15 | Zte Corporation | Method and Apparatus for Combining Panoramic Image |
| CN104966270A (zh) * | 2015-06-26 | 2015-10-07 | 浙江大学 | 一种多图像拼接方法 |
| CN108460727A (zh) * | 2018-03-28 | 2018-08-28 | 中南大学 | 一种基于投影几何与sift特征的图像拼接方法 |
| CN111899179A (zh) * | 2019-12-04 | 2020-11-06 | 华南农业大学 | 基于Harris-SURF的无人机影像拼接方法及装置 |
| CN110969145A (zh) * | 2019-12-19 | 2020-04-07 | 珠海大横琴科技发展有限公司 | 一种遥感图像匹配优化方法、装置、电子设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897684A (zh) * | 2022-04-25 | 2022-08-12 | 深圳信路通智能技术有限公司 | 车辆图像的拼接方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210141378A1 (en) | Imaging method and device, and unmanned aerial vehicle | |
| US9270891B2 (en) | Estimation of panoramic camera orientation relative to a vehicle coordinate frame | |
| WO2020253842A1 (zh) | 一种车辆位姿确定方法、装置及电子设备 | |
| US10789719B2 (en) | Method and apparatus for detection of false alarm obstacle | |
| CN110969145B (zh) | 一种遥感图像匹配优化方法、装置、电子设备及存储介质 | |
| JP2016224953A (ja) | ナビゲーション調整のためのクロススペクトル特徴相関 | |
| CN114280582A (zh) | 激光雷达的标定校准方法、装置、存储介质及电子设备 | |
| CN114730472A (zh) | 车载相机的外部参数的标定方法及相关装置 | |
| CN108253940B (zh) | 定位方法及装置 | |
| CN112258395A (zh) | 一种无人机拍摄的影像拼接方法及装置 | |
| CN109658451B (zh) | 一种深度感知方法，装置和深度感知设备 | |
| CN113673288B (zh) | 空闲车位检测方法、装置、计算机设备及存储介质 | |
| CN111582296B (zh) | 一种遥感图像综合匹配方法、装置、电子设备及存储介质 | |
| CN112330727A (zh) | 图像匹配方法、装置、计算机设备及存储介质 | |
| CN109902695B (zh) | 一种面向像对直线特征匹配的线特征矫正与提纯方法 | |
| CN110503604B (zh) | 一种基于高精度pos的航空面阵影像实时正射拼接方法 | |
| CN115908729A (zh) | 三维实景构建方法、装置、设备及计算机可读存储介质 | |
| CN112802112B (zh) | 视觉定位方法、装置、服务器及存储介质 | |
| CN112163562A (zh) | 一种影像重叠区域计算方法、装置、电子设备及存储介质 | |
| CN113888642A (zh) | 一种环视系统外参数在线修正方法、系统、设备及介质 | |
| CN114863096A (zh) | 室内停车场的语义地图构建及定位方法和装置 | |
| CN112233020A (zh) | 无人机图像拼接方法、装置、计算机设备及存储介质 | |
| CN112258549B (zh) | 一种基于背景消除的船只目标跟踪方法及装置 | |
| CN117044478B (zh) | 割草机控制方法、装置、割草机、电子设备及存储介质 | |
| CN116363185B (zh) | 地理配准方法、装置、电子设备和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210122 |