CN111583119B - 一种正射影像拼接方法、设备以及计算机可读介质 - Google Patents
一种正射影像拼接方法、设备以及计算机可读介质 Download PDFInfo
- Publication number
- CN111583119B CN111583119B CN202010422763.0A CN202010422763A CN111583119B CN 111583119 B CN111583119 B CN 111583119B CN 202010422763 A CN202010422763 A CN 202010422763A CN 111583119 B CN111583119 B CN 111583119B
- Authority
- CN
- China
- Prior art keywords
- image
- corrected
- images
- splicing
- ortho
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012937 correction Methods 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000010845 search algorithm Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 12
- 230000008859 change Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种正射影像拼接方法、设备以及计算机可读介质，本申请实施例通过读取目标对象选取的待拼接的多张图像和拍摄所述图像的地形参数；对所述待拼接的多张图像进行校正处理，得到多张校正后的图像；根据所述地形参数确定图像拼接策略；基于所述拼接策略对多张所述校正后的图像进行拼接，得到拼接图像；根据目标对象对所述拼接图像的编辑结果确定正射影像，本申请能够根据地形参数的变化制定合适的拼接策略，适用于不同场景拍摄的图像拼接，减少拼接后正射影像出现畸变或者错位拼接的情况，使图像拼接算法具备更强的普适性。
Description
技术领域
本申请涉及遥感勘测技术领域，尤其涉及一种正射影像拼接方法、设备以及计算机可读介质。
背景技术
正射影像制作是将中心投影的航摄像片转换为正射投影的过程，经过几何纠正得到数字正射影像，并广泛应用于国土、测绘、水利、林业、道路、桥梁等各项社会生产。
目前，正射影像制作过程只要是通过记录原始遥感影像因成像时受传感器内部状态变化（光学系统畸变、扫描系统非线性等）、外部状态（如姿态变化）及地表状况（如地球曲率、地形起伏）的影响，然后再对遥感影像逐一进行几何处理，并按正确的几何关系对影像灰度进行重新采样，最后拼接形成新的正射影像。
发明人在研究过程中发现，现有技术中在对原始遥感图像进行校正处理后，往往只采用单一的拼接算法拼接得到正射影像，但是由于拍摄地形多变等客观因素，使得正射影像出现畸变或者错位拼接的情况，不具备普适性。
发明内容
为了解决上述现有技术中由于拍摄地形多变等客观因素，使得正射影像出现畸变或者错位拼接的情况，不具备普适性的技术问题，本申请提供了一种正射影像拼接方法、设备以及计算机可读介质。
第一方面，本申请提供了一种正射影像拼接方法，所述方法包括：
读取目标对象选取的待拼接的多张图像和拍摄所述图像的地形参数；
对所述待拼接的多张图像进行校正处理，得到多张校正后的图像；
根据所述地形参数确定图像拼接策略；
基于所述拼接策略对多张所述校正后的图像进行拼接，得到拼接图像；
根据目标对象对所述拼接图像的编辑结果确定正射影像。
可选地，所述拼接策略包括：权重拼接法，基于所述拼接策略对多张所述校正后的图像进行拼接，得到拼接图像的步骤包括：
根据多张所述校正后的图像的尺寸计算拼接后的正射影像的参考框和局部信息，所述局部信息用于表示校正后的图像在所述拼接后的正射影像中的位置；
获取每张所述校正后的图像的权重值，其中，所述每张所述校正后的图像的权重值包括每个像素点的权重值，且多个像素点的权重值均大于0；
根据所述局部信息和所述校正后的图像的权重值将所述校正后的图像镶嵌到所述正射影像的参考框中，得到所述拼接图像。
可选地，根据所述局部信息和所述校正后的图像的权重值将所述校正后的图像镶嵌到所述正射影像的参考框中，得到所述拼接图像的步骤，包括：
从多张所述校正后的图像中随机选取一张所述校正后的图像，根据所述局部信息将所述校正后的图像嵌入所述正射影像的参考框中；
在剩余的多张所述校正后的图像中，针对每张待嵌入正射影像的参考框的校正后的图像，根据所述局部信息判断所述校正后的图像是否与已嵌入所述正射影像的参考框中的校正后的图像重叠；
若根据所述局部信息确定所述校正后未与已嵌入所述正射影像的参考框中的校正后的图像重叠，根据所述局部信息将所述校正后的图像嵌入到所述正射影像的参考框内；
或者，若根据所述局部信息确定所述校正后的图像与已嵌入所述正射影像的参考框中的校正后的图像存在重叠部分，确定每张所述校正后的图像的正射影像权重图，所述正射影像权重图包含多个像素点的权重值；
逐像素点判断所述重叠部分中待嵌入正射影像的参考框的校正后的图像的权重值是否大于已嵌入所述正射影像的参考框中的校正后的图像的权重值；
若所述待嵌入正射影像的参考框的校正后的图像的权重值大于已嵌入所述正射影像的参考框中的校正后的图像的权重值，则用待嵌入正射影像的参考框的校正后的图像的像素点替换已嵌入所述正射影像的参考框中的校正后的图像的像素点；
重复执行在剩余的多张所述校正后的图像中，针对每张待嵌入正射影像的参考框的校正后的图像，根据所述局部信息判断所述校正后的图像是否与已嵌入所述正射影像的参考框中的校正后的图像重叠的步骤，直至多张所述校正后的图像全部嵌入到所述正射影像的参考框中，得到所述拼接图像。
可选地，确定每张所述校正后的图像的正射影像权重图的步骤，包括：
以所述校正后的图像的像底点为中心，根据校正后的图像的像素点到所述中心的距离设置像素点的权重值，以使距离所述中心短的像素点的权重值大于距离所述中心远的像素点的权重值；
根据相机参数确定相机的曝光点；
根据所述位姿信息计算经过亮度校正后的图像中每个像素点的高程位置；
针对每个所述像素点，计算每个像素点的所述高程位置与曝光点的连接线和垂直方向上的垂线，并计算所述连接线与所述垂线的夹角；
在所述中心到图像边界的射线上，若距离所述中心远的像素点的夹角小于距离所述中心近的像素点的夹角的最大值，将距离所述中心远的像素点的权重值设置为0；
重复执行针对每个所述像素点，计算每个像素点的所述高程位置与曝光点的连接线和垂直方向上的垂线，并计算所述连接线与所述垂线的夹角的步骤，直至得到所述校正后的图像中的全部像素点的权重值，得到正射影像权重图。
可选地，所述拼接策略包括：镶嵌法，基于所述拼接策略对多张所述校正后的图像进行拼接，得到拼接图像的步骤包括：
根据多张所述校正后的图像的尺寸计算拼接后的正射影像的范围框和位置信息，所述位置信息用于表示校正后的图像在所述拼接后的正射影像中的位置；
从多张所述校正后的图像中随机选取一张所述校正后的图像，根据所述位置信息将所述校正后的图像嵌入所述正射影像的范围框中；
在剩余的多张所述校正后的图像中，针对每张待嵌入正射影像的参考框的校正后的图像，根据所述位置信息判断所述校正后的图像是否与已嵌入所述正射影像的范围框中的校正后的图像重叠；
若根据所述位置信息确定所述校正后的图像与已嵌入所述正射影像的范围框中的校正后的图像存在拼接重叠部分，在所述拼接重叠部分中确定最优拼接线；
根据所述最优拼接线将所述校正后的图像嵌入到所述正射影像的范围框中；
重复执行在剩余的多张所述校正后的图像中，针对每张待嵌入正射影像的参考框的校正后的图像，根据所述位置信息判断所述校正后的图像是否与已嵌入所述正射影像的范围框中的校正后的图像重叠的步骤，直至多张所述校正后的图像全部嵌入到所述正射影像的范围框中，得到所述拼接图像。
可选地，在所述拼接重叠部分中确定最优拼接线的步骤，包括：
计算所述重叠部分中所述校正后的图像的第一梯度图和已嵌入所述正射影像的范围框中的校正后的图像的第二梯度图；
计算第一梯度图中的梯度与第二梯度图中的梯度差，得到差值能量图；
根据所述重叠部分计算归一化交叉互相关系数；
根据所述归一化交叉互相关系数和所述差值能量图计算初始化能量图，所述初始化能量图是以像素为节点，相邻像素值的和为边的无向图；
对所述初始化能量图进行降采样处理，并利用图割法在降采样处理后的初始化能量图中确定分割线；
将所述降采样处理后的初始化能量图的分辨率调整至初始分辨率，得到包含若干个不连续的拼接线的初始化能量图；
利用形态学方法将若干个所述拼接线膨胀到带状区域，并在带状区域中利用路径搜索算法连接若干个所述拼接线，得到所述最优拼接线。
可选地，对所述待拼接的多张图像进行校正处理，得到多张校正后的图像的步骤包括：
获取拍摄所述图像的相机参数和用于表示每张所述图像在拍摄时的位姿信息；
根据所述相机参数对多张所述图像进行畸变校正，得到多张畸变校正后的图像；
针对每张所述畸变校正后的图像，根据与所述畸变校正后的图像前后相邻的N张畸变校正后的图像的亮度值计算目标亮度值；
将所述畸变校正后的图像的亮度值调整至所述目标亮度值，得到多张亮度校正后的图像；
针对每张所述亮度校正后的图像，根据所述位姿信息对所述亮度校正后的图像进行正射纠正，得到多张所述校正后的图像。
可选地，针对每张所述亮度校正后的图像，根据所述图像在拍摄时的位姿信息对所述图像进行正射纠正，得到多张所述校正后的图像步骤，包括：
针对每张所述亮度校正后的图像，根据位姿信息计算经过亮度校正后的图像在投影坐标系中的包围盒和包围盒坐标；
根据所述相机参数和所述包围盒坐标计算相机矩阵；
基于所述相机矩阵将所述亮度校正后的图像中的像素点逐一提取到所述包围盒中，得到所述校正后的图像；
在剩余的待处理的多张所述亮度校正后的图像中，重复执行针对每张所述亮度校正后的图像，根据位姿信息计算经过亮度校正后的图像在投影坐标系中的包围盒和包围盒坐标的步骤，直至得到多张所述校正后的图像。
第二方面，本申请提供了一种正射影像拼接设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第三方面，本申请提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行第一方面任一所述方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例通过读取目标对象选取的待拼接的多张图像和拍摄图像的地形参数；对所述待拼接的多张图像进行校正处理，得到多张校正后的图像；根据所述地形参数确定图像拼接策略；基于所述拼接策略对多张所述校正后的图像进行拼接，得到拼接图像；根据目标对象对所述拼接图像的编辑结果确定正射影像，本申请能够根据地形参数的变化制定合适的拼接策略，适用于不同场景拍摄的图像拼接，减少拼接后正射影像出现畸变或者错位拼接的情况，使图像拼接算法具备更强的普适性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种正射影像拼接方法的流程图;
图2为本申请实施例提供的图1中步骤S104的流程图;
图3为本申请实施例提供的图2中步骤S203的流程图;
图4为本申请实施例提供的图1中步骤S104的流程图;
图5为本申请实施例提供的遮挡检测原理示意图；
图6为本申请实施例提供的图1中步骤S104的流程图;
图7为本申请实施例提供的图6中步骤S604的流程图;
图8为本申请实施例提供的图1中步骤S103的流程图;
图9为本申请实施例提供的图8中步骤S805的流程图；
图10为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在实际应用中，由于拍摄的像片不是完全正射，例如：图像中地物存在遮挡，导致在生成的正射影像上存在鬼影，并且现有技术中的拼接算法效果较差，拼接后正射影像上仍然存在一些接缝线，部分智能拼接算法不稳定，得到的拼接线具有一定随机性，质量难以保证，基于此，本发明提供了一种正射影像拼接方法，如图1所示，所述方法包括：
步骤S101，读取目标对象选取的待拼接的多张图像和拍摄所述图像的地形参数；
在本发明实施例中，目标对象是指操作人员，待拼接的多张图像可以是一次航拍任务拍摄的全部图片，或者其他由于不能一次性拍摄全景而采用局部拍摄方法得到的图像。
其中，地形参数可以拍摄任务执行时记录的，例如地形参数包括读取拍摄地形的数字表面模型DSM或者数字高程模型DEM，其中DSM、DEM可通过图像匹配的密集点云计算得到，也可以是从LiDAR点云数据内插得到，具体可以根据实际情况而定。
步骤S102，对所述待拼接的多张图像进行校正处理，得到多张校正后的图像；
在本发明实施例中，对所述待拼接的多张图像进行校正处理的具体实施方式可以根据实际情况而定，例如：采用平均值法计算与待处理的图像相邻的若干在图像的平均亮度，然后更新该图像的亮度值，达到校正处理的目的，可以使拼接后的图像亮度更加均匀；再例如：根据预先计算好的校正矩阵，将图像映射到标准的平面上，从而得到标准的图像，具体选用的方法可以根据实际情况而定。
步骤S103，根据所述地形参数确定图像拼接策略；
在本发明实施例中，由于拍摄图像时，由于拍摄角度或者地形因素，无法保证通过拼接图像即可得到完整清晰的正射影响，所以发明实施例通过获取拍摄记录的地形参数确定对图像使用的拼接策略，以达到降低算法复杂度的同时，能够提高拼接得到的正射影像的质量。
步骤S104，基于所述拼接策略对多张所述校正后的图像进行拼接，得到拼接图像；
在本发明实施例中，在根据地形参数确定拼接策略以后，即可利用该拼接策略将多张校正后的图像进行拼接，得到一副完整的正射图像，在该步骤中，具体的拼接策略可以根据实际情况而定，例如：在实际应用中，采集建筑物的图像，由于实际空间中采集对象的高程错误（高程指的是某点沿铅垂线方向到绝对基面的距离，称绝对高程，简称高程。某点沿铅垂线方向到某假定水准基面的距离，称假定高程），会导致拼接后的图像在视觉上存在较大的错位或者鬼影，所以针对于将采集到的建筑物航拍图像进行拼接的应用场景，一般采用使用DSM（Digital Surface Model，DSM是指包含了地表建筑物、桥梁和树木等高度的地面高程模型），目的在于能够有效的实现从多张图像重叠区域中确定最优解；再例如：采用DEM（（Digital Elevation Model)，简称DEM，是通过有限的地形高程数据实现对地面地形的数字化模拟（即地形表面形态的数字化表达））进行正射纠正时，得到的正射影像中部分地物比如建筑容易产生倾斜，对于地势平坦的区域，采用直接权重拼接法能得到不错的效果，但是对于存在起伏，地物高差较大的区域，则拼接的结果容易产生错位。此时，需要通过智能镶嵌法寻找一条最优拼接线，使得拼接缝不可见，最大化提升视觉效果。
步骤S105，根据目标对象对所述拼接图像的编辑结果确定正射影像。
在本发明实施例中，目标对象可以是操作人员，在初步拼接工作完成后，操作人员还可以针对局部区域修复，以得到更好的结果，当操作人员编辑完成后，即可确定正射影像。本发明实施例提供了简便快捷的编辑方法，减少操作人员后续修补的繁琐操作，提升图像拼接的效率。
本发明实施例根据地形参数的变化制定合适的拼接策略，适用于不同场景拍摄的图像拼接，减少拼接后正射影像出现畸变或者错位拼接的情况，使图像拼接算法具备更强的普适性。
针对于拍摄点建筑容易倾斜，地势平坦的区域采集到的图像拼接策略，在本发明的提供的又一实施例中，所述拼接策略包括：权重拼接法，如图2所示，步骤S104，基于所述拼接策略对多张所述校正后的图像进行拼接，得到拼接图像的步骤包括：
步骤S201，根据多张所述校正后的图像的尺寸计算拼接后的正射影像的参考框和局部信息；
在本发明实施例中，局部信息用于表示校正后的图像在所述拼接后的正射影像中的位置，正射影像的参考框是根据多张所述校正后的图像的尺寸计算的拼接后的范围，然后再根据分辨率即可计算出正射影像的估计宽高，得到正射影像的参考框。
步骤S202，获取每张所述校正后的图像的权重值；
在本发明实施例中，每张所述校正后的图像的权重值包括每个像素点的权重值，且多个像素点的权重值均大于0；每张所述校正后的图像的权重值可以是在拍摄时就预先计算完成的，权重值用于反映校正后的图像用于拼接的可能性，。
步骤S203，根据所述局部信息和所述校正后的图像的权重值将所述校正后的图像镶嵌到所述正射影像的参考框中，得到所述拼接图像。
该步骤的具体应用中，例如：图像A的权重值为0.2，图像B与图像A为同一地点的采集图像，图像B的权重值为0.5，则采用图像B中的全部像素点对图像A中的全部像素点进行覆盖，具体的权重值的计算方式可以根据实际情况而定，本发明实施例对此不作具体限定。
在本发明实施例，还提供了该步骤的具体实施方式，如图3所示，步骤S203，根据所述局部信息和所述校正后的图像的权重值将所述校正后的图像镶嵌到所述正射影像的参考框中，得到所述拼接图像的步骤，包括：
步骤S301，从多张所述校正后的图像中随机选取一张所述校正后的图像，根据所述局部信息将所述校正后的图像嵌入所述正射影像的参考框中；
在剩余的多张所述校正后的图像中，针对每张待嵌入正射影像的参考框的校正后的图像，执行步骤S302，根据所述局部信息判断所述校正后的图像是否与已嵌入所述正射影像的参考框中的校正后的图像重叠；
若否，步骤S303，根据所述局部信息将所述校正后的图像嵌入到所述正射影像的参考框内；
在本发明实施例中，针对校正后的图像均未发生重叠的理想情况，直接对多张校正后的图像进行拼接即可。首先，从多张所述校正后的图像中随机选取一张所述校正后的图像，根据局部信息可以确定校正后的图像在射影像的参考框中的位置，由于在正射影像的参考框中还未有嵌入的校正后的图像，所以可以直接将第一张选取的校正后的图像嵌入正射影像的参考框中，然后，依次遍历剩余的待嵌入的校正后的图像，若待嵌入的校正后的图像未与已嵌入所述正射影像的参考框中的校正后的图像重叠，则可以直接根据局部信息可以确定校正后的图像在射影像的参考框中的位置，并嵌入到所述正射影像的参考框中。
或者，若是，步骤S304，确定每张所述校正后的图像的正射影像权重图，所述正射影像权重图包含多个像素点的权重值；
在本发明实施例中，确定每张所述校正后的图像的正射影像权重图的方式具体可以选用遮挡检测算法，进而在拼接过程中可以有限选取没有被遮挡的部分（重叠部分中权重值大的像素点）如图4所示，步骤S304，确定每张所述校正后的图像的正射影像权重图，所述正射影像权重图包含多个像素点的权重值的步骤，包括：
步骤S401，以所述校正后的图像的像底点为中心，根据校正后的图像的像素点到所述中心的距离设置像素点的权重值；
在本发明实施例中，以所述校正后的图像的像底点为中心，根据校正后的图像的像素点到所述中心的距离设置像素点的权重值以使距离所述中心短的像素点的权重值大于距离所述中心远的像素点的权重值。
像底点是相机光学中心与图像平面的垂线交点，像底点是位于图像上的点，在实际应用中越靠近像底点的像素越清晰，所以可以设置像底点处的像素点的权重值为1，离像底点越远的像素权重越小，权重是像素距离的倒数。
步骤S402，根据相机参数确定相机的曝光点；
在实际应用中，航拍时需要借助飞行装置搭载摄像机，所以一般曝光点的位置会位于图像上方，但不仅限于完全正射。
步骤S403，根据所述位姿信息计算所述校正后的图像中每个像素点的高程位置；
在本发明实施例中，根据所述位姿信息信息可以确定校正后的图像中每个像素点的高程位置，但是由于地形的跌宕起伏，可能在采集的图像中出现遮挡问题，所以本发明实施例首先需要确定每个像素点的高程位置，进而可以在该高程位置选取出权重大（清晰度高）的像素点。
步骤S404，针对每个所述像素点，计算每个像素点的所述高程位置与曝光点的连接线和垂直方向上的垂线，并计算所述连接线与所述垂线的夹角；
步骤S405，若在所述中心到图像边界的射线上，若距离所述中心远的像素点的夹角小于距离所述中心近的像素点的夹角的最大值，将距离所述中心远的像素点的权重值设置为0；
步骤S406，重复执行针对每个所述像素点，计算每个像素点的所述高程位置与曝光点的连接线和垂直方向上的垂线，并计算所述连接线与所述垂线的夹角的步骤，直至得到所述校正后的图像中的全部像素点的权重值，得到正射影像权重图。
在本发明实施例中，利用遮挡检测可以进一步筛选出被遮挡的区域，然后通过设置该区域（或者像素点）的权重值设置为0，在后续图像拼接的过程中，即可采用清晰度高（权重大）的像素点进行拼接。
具体地，如图5所示，根据所述像素点到所述中心由近及远的顺序，若距离所述中心远的像素点的夹角小于距离所述中心近的像素点的夹角，则说明距离所述中心远的像素点是被遮挡，图5中正常情况下B点没有被A′点遮挡，B点与H的夹角大于A′点与H的夹角，但是由于实际位置为A点（即实际高程位置），B点被A点遮挡，此时A点相较于B点虽然距离像底点更近，但是B点与H的夹角小于A点与H的夹角。
在实际应用中，像底点是相机光学中心与图像平面的垂线交点，根据所述相机参数先确定曝光点，然后再根据位姿信息计算经过亮度校正后的图像中每个像素点的高程位置（即计算出拍摄时像片的像底点位置像素坐标，然后以像底点像素坐标为中心，像底点到相机的高度为H，从中心向正射影像边界每一像素形成一条射线），然后从中心往外开始逐个像素计算该像素高程位置与相机曝光位置连线与曝光位置垂线的夹角，若后续计算的像素点的夹角小于前方所有像素的最大夹角，则该前方像素被遮挡，反之，则像素可见，是有效的。在检测的过程中，生成一个与原始正射影像大小一致的掩模权重影像，以相底点权重为1，沿着射线到正射影像边界逐渐减小，实现将遮挡区域权重设置为0（在拼接图像时，权重值小的区域（被遮挡）会被权重值大的区域覆盖（未被遮挡））。
步骤S305，逐像素点判断所述重叠部分中待嵌入正射影像的参考框的校正后的图像的权重值是否大于已嵌入所述正射影像的参考框中的校正后的图像的权重值；
若所述待嵌入正射影像的参考框的校正后的图像的权重值大于已嵌入所述正射影像的参考框中的校正后的图像的权重值，执行步骤S306，用待嵌入正射影像的参考框的校正后的图像的像素点替换已嵌入所述正射影像的参考框中的校正后的图像的像素点；
步骤S307，重复执行步骤S302，直至多张所述校正后的图像全部嵌入到所述正射影像的参考框中，得到所述拼接图像。
在本发明实施例中，将像素点嵌入正射影像的参考框的过程可以采用分块处理的方法，即根据正射影像的参考框的长宽比例划分成网格，然后在嵌入过程中，每次单独处理每一个网格，对每一个网格内的影像进行拼接处理（逐个像素点比较权重并嵌入），而网格内的相邻正射影像间接缝线色彩采用金字塔融合方案消除差异，在分块的网格间采用羽化方法进行处理，按照离网格线的距离加权计算像素颜色值，即便实际采集的场景较大，拍摄的像片数量很大达到几千甚至上万张的时候，通过分块处理的方式依旧可以保证计算效率。
在本发明实施例中，针对待嵌入正射影像的参考框的校正后的图像与已嵌入所述正射影像的参考框中的校正后的图像存在重叠部分的情况，本发明实施例通过比较权重值的方式进一步确定在重叠部分中采用那张校正后的图像，例如：在实际应用中，初次比较的时候，正射影像的参考框中权重值为0（即参考框中还没有嵌入任何一张图像，所以均为无效区域），那么一比较后，校正后的图像权重值大，所以就将该校正后的图像全部像素值更新到该正射影像的参考框中，下一次在比较的时候，如果待嵌入正射影像的参考框的校正后的图像与已嵌入所述正射影像的参考框中的校正后的图像存在重叠部分，那么就比较两张校正后的图像的大小，如果待嵌入的校正后的图像权重更大，那么重叠部分就待嵌入的校正后的图像对应部分的像素值更新，如果小，则不用对正射影像的参考框进行更新，重复执行上述步骤，逐步把所有的权重值较大的区域更新到了正射影像的参考框，实现筛选掉遮挡区域，消除拼接后鬼影的目的。
但是，发明人在实际应用过程中发现，在平坦地区，某些森林、植被较多的场景中，使用DSM拼接利用权重拼接法容易出现拉花现象，基于此，在本发明的提供的又一实施例中，还提供了一种基于DEM基础的镶嵌法，如图6所示，步骤S104，基于所述拼接策略对多张所述校正后的图像进行拼接，得到拼接图像的步骤包括：
步骤S601，根据多张所述校正后的图像的尺寸计算拼接后的正射影像的范围框和位置信息；
在本发明实施例中，所述位置信息用于表示校正后的图像在所述拼接后的正射影像中的位置，正射影像的范围框是根据多张所述校正后的图像的尺寸计算的拼接后的范围，然后再根据分辨率即可计算出正射影像的估计宽高，得到正射影像的范围框。
步骤S602，从多张所述校正后的图像中随机选取一张所述校正后的图像，根据所述位置信息将所述校正后的图像嵌入所述正射影像的范围框中；
在本发明实施例中，从多张所述校正后的图像中随机选取一张所述校正后的图像，根据局部信息可以确定校正后的图像在射影像的范围框中的位置，由于在正射影像的范围框中还未有嵌入的校正后的图像，所以可以直接将第一张选取的校正后的图像嵌入正射影像的范围框中。
步骤S603，在剩余的多张所述校正后的图像中，针对每张待嵌入正射影像的参考框的校正后的图像，根据所述位置信息判断所述校正后的图像是否与已嵌入所述正射影像的范围框中的校正后的图像重叠；
步骤S604，若根据所述位置信息确定所述校正后的图像与已嵌入所述正射影像的范围框中的校正后的图像存在拼接重叠部分，在所述拼接重叠部分中确定最优拼接线；
在本发明实施例中，针对校正后的图像与已嵌入所述正射影像的范围框中的校正后的图像存在拼接重叠部分的情况，可以采用确定最优拼接线的方式，具体确定分割边界，进一步地，在本发明实施例中，如图7所示，步骤S604中，在所述拼接重叠部分中确定最优拼接线的步骤，包括：
步骤S701，计算所述重叠部分中所述校正后的图像的第一梯度图和已嵌入所述正射影像的范围框中的校正后的图像的第二梯度图；
在本发明实施例中，梯度图是根据图像中的像素值计算得到用于表示像素值梯度分布的图像，梯度图中包含有各个方向上像素值的梯度。
步骤S702，计算第一梯度图中的梯度与第二梯度图中的梯度差，得到差值能量图；
在本发明实施例中计算所述重叠部分中所述校正后的图像的第一梯度图和已嵌入所述正射影像的范围框中的校正后的图像的第二梯度图，然后计算第一梯度图中的梯度与第二梯度图中相应方向上的梯度相减（横向与横向比较，纵向与纵向比较），即可得到差值能量图。
步骤S703，根据所述重叠部分计算归一化交叉互相关系数；
在本发明实施例中，归一化交叉互相关系数是用于判断两幅图像是否相关，例如：两幅进行匹配计算的图像中的小图像为g,大小为m×n,大图像为S，大小为M×N，用S（x,y）表示S中以（x,y)为左上角点与g大小相同的子块，利用归一化交叉互相关系数计算实时图和基准图之间的相关系数，得到相关系数矩阵ρ(x,y),通过对相关系数矩阵的分析。
步骤S704，根据所述归一化交叉互相关系数和所述差值能量图计算初始化能量图；
步骤S705，对所述初始化能量图进行降采样处理，并利用图割法在降采样处理后的初始化能量图中确定分割线；
在本发明实施例中，在对所述初始化能量图进行降采样处理后，初始化能量的分辨率降低，即可基于图割法的原理构建连同的无向图，其中，初始化能量图是以像素为节点，相邻像素值的和为边的无向图，然后即可采用Graph Cut图割的方法，遍历每个节点，通过比较相邻边的值，从而在整个初始化能量图中确定分割线。
步骤S706，将所述降采样处理后的初始化能量图的分辨率调整至初始分辨率，得到包含若干个不连续的拼接线的初始化能量图；
在该步骤中，在初始化能量图中确定分割线之后，需要将初始化能量图的当前分辨率（低分辨率）调整至初始分辨率（未进行降采样处理前的分辨率），此时连续的分割线则断开，得到若干个不连续的拼接线。
步骤S707，利用形态学方法将若干个所述拼接线膨胀到带状区域，并在带状区域中利用路径搜索算法连接若干个所述拼接线，得到所述最优拼接线。
在本发明实施例中，利用形态学方法将若干个所述分割线膨胀到带状区域的方式具体可以先连接各个节点，然后再利用形态学方法将拼接线膨胀得到一个带状区域，最后在带状区域内使用Dijkstra（迪杰斯特拉）路径搜索算法调整原始初始拼接线得到一条最终优化的拼接线，由于图割算法和迪杰斯特拉算法都是高复杂度的算法，所以计算效率不高，而本发明实施例通过对初始化能量图进行降采样，再使用图割法的方式能够很大程度的减少计算量，但是利用图割法在降采样处理后的初始化能量图中确定分割线的效果并不能达到预期精度，所以本发明实施例再通过路径搜索算法，优选的可以采用Dijkstra（迪杰斯特拉）路径搜索算法进一步提升确定最优拼接线的精确度。
步骤S605，根据所述最优拼接线将所述校正后的图像嵌入到所述正射影像的范围框中；
步骤S606，重复执行步骤S603的步骤，直至多张所述校正后的图像全部嵌入到所述正射影像的范围框中，得到所述拼接图像。
在本发明实施例中，当校正后的图像与已嵌入所述正射影像的范围框中的校正后的图像存在拼接重叠部分时，采用确定最优拼接线的方式，具体确定分割边界，将校正后的图像与已嵌入所述正射影像的范围框中的校正后的图像进行重新拼接，在剩余待嵌入所述正射影像的范围框中的校正后的图像重复上述过程，直至多张所述校正后的图像全部嵌入到所述正射影像的范围框中，得到所述拼接图像，实现确定重叠区的拼接线，进而实现寻找一条最优拼接线，使得拼接缝不可见，最大化提升视觉效果。
在本发明的又一实施例中，还提供了一种对待拼接的多张图像进行初步校正处理的具体实施方式，如图8所示，步骤S103，对所述待拼接的多张图像进行校正处理，得到多张校正后的图像的步骤包括：
步骤S801，获取拍摄所述图像的相机参数和用于表示每张所述图像在拍摄时的位姿信息；
步骤S802，根据所述相机参数对多张所述图像进行畸变校正，得到多张畸变校正后的图像；
在本发明实施例中所述位姿信息可以是由无人机上的姿态测量系统记录得到，所述相机参数中可以包括拍摄图像时的位置（经度、纬度、高程）以及姿态信息（横滚角、俯仰角以及航向角），其中，准确的位置和姿态数据可以是经过影像匹配、平差解算得到，也可以是从硬件POS系统获取的高精度位置姿态。
相机参数可以是指拍摄图像使用的针孔相机模型，以用于对发生畸变的图像进行畸变校正，其中，在对发生畸变的图像进行畸变校正的步骤中，可以采用畸变图像矩阵与预设的校正矩阵相乘的方式得到校正后的图像，具体实施方式可以根据实际情况而定，本发明对此不作具体限定。
步骤S803，针对每张所述畸变校正后的图像，根据与所述畸变校正后的图像前后相邻的N张畸变校正后的图像的亮度值计算目标亮度值；
步骤S804，将所述畸变校正后的图像的亮度值调整至所述目标亮度值，得到多张亮度校正后的图像；
发明人在实际应用过程中发现，在采集影像时，影像间色彩差异不大，往往是亮度存在较大的差异，有的很亮，有的则很暗，需要进行调整，通过算法降低过度曝光的影像的亮度，同时提升灰暗的影像的亮度，基于此，在本发明实施例中，通过根据与所述畸变校正后的图像前后相邻的N张畸变校正后的图像的亮度值计算目标亮度值，以调节每张图像的亮度值。
例如：首先读取并计算每一张图像的平均亮度，然后利用周围最邻近的N张照片的亮度按照距离加权平均计算每一张图像的新的亮度值，并设定上下界阈值。加权的方式可选择最邻近的几张求平均值或者按照反距离加权计算，离当前照片位置越远的则权重越小，反之越大，最后采用平均相机响应曲线将图像亮度拉伸至新的目标亮度值，从而所有的图像被整体调整而且充分利用了邻近重叠图像的信息，使得图像曝光在合理的范围且整体一致性较好。
本发明实施例提供的亮度调节方法考虑了局部相邻图像的亮度同时又在整体上进行融合处理，使得最终得到的图像具有良好的一致性。该算法计算复杂度很低，快速高效。
步骤S805，针对每张所述亮度校正后的图像，根据所述位姿信息对所述亮度校正后的图像进行正射纠正，得到多张所述校正后的图像。
在本发明实施例中，根据所述位姿信息对所述亮度校正后的图像进行正射纠正的步骤具体根据位姿信息中包含的参数而定，例如位姿信息中包含有DEM和DSM数据中的一种或两种，则利用相应的方法对所述图像进行正射纠正，进一步地，如图9所示，步骤S805，针对每张所述亮度校正后的图像，根据所述图像在拍摄时的位姿信息对所述图像进行正射纠正，得到多张所述校正后的图像步骤，包括：
步骤S901，针对每张所述亮度校正后的图像，根据位姿信息计算经过亮度校正后的图像在投影坐标系中的包围盒和包围盒坐标；
在实际应用过程中，根据像片的位置和姿态确定对应的正射影像范围，得到一个投影坐标系下的位置包围盒，根据给定的分辨率大小，便可计算出包围盒（估计的正射影像）的宽高，计算正射影像的范围可利用共线方程计算得到对应的世界坐标，然后根据实际坐标确定范围，共线方程（反算）表示为如下：
式中 
为像点坐标，像点对应的物方坐标为
，
为焦距，由姿态角构成的旋转矩阵
表示为：
具体估计范围时可以通过迭代计算，首先将图像划分网格，例如4x4的大小，然后将网格边界提取出来，得到用于估算范围的像素点坐标（16个）。然后根据DSM初步提取出物点的Z坐标，将最大和最小值带入到共线方程反算公式，这样便计算得到一组平面坐标，总共32个。在这一组平面坐标中求取最大最小值
，
，
，
，便得到更准确的坐标范围。最后在更为准确的范围内提取DSM中Z坐标，重复以上步骤，直到最后的最大最小值与上一次结果的差值小于一定的阈值即可。
在确定正射影像范围后，正射影像的宽（W）和高（H）可通过以下公式计算：
步骤S902，根据所述相机参数和所述包围盒坐标计算相机矩阵；
在实际应用中，在得到包围盒的范围后，那么此时正射影像像素的物方平面坐标可以根据像素的行列号计算出来，例如根据物方平面坐标便可从DSM中提取出高程值，这样便得到物方坐标
，带入到共线方程（正算）中得到像素位置
，采用双线性插值从畸变校正后的影像中提取像素值到待计算的正射影像中（即确定相机矩阵的步骤），共线方程（正算）计算公式如下：
公式中符号含义与反算公式相同，此处便不再赘述。
步骤S903，基于所述相机矩阵将所述亮度校正后的图像中的像素点逐一提取到所述包围盒中，得到所述校正后的图像；
在本发明实施例中，基于所述相机矩阵将所述亮度校正后的图像中的像素点逐一提取到所述包围盒中的步骤可以采用矩阵乘法，在实际应用中，由于拍摄的像片不是完全正射，像片中地物存在遮挡，导致在生成的正射影像上存在鬼影，此时需要将遮挡的区域标记并利用周边邻近的影像将鬼影区域补充，
步骤S904，在剩余的待处理的多张所述亮度校正后的图像中，重复执行步骤S901，直至得到多张所述校正后的图像。
本发明实施例提供的亮度调节方法考虑了局部相邻图像的亮度同时又在整体上进行融合处理，使得最终得到的图像具有良好的一致性。该算法计算复杂度很低，快速高效，并且对单张图像进行校正处理的方式，可适用于大场景范围的拼接，不会受限于影像数量，因为分块处理，对计算机内存要求降低，普通计算机配置便可完成大规模影像拼接。
在本发明的又一实施例中，还提供一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现方法实施例所述的通道方法。
本发明实施例提供的电子设备，处理器通过执行存储器上所存放的程序实现了通过读取目标对象选取的待拼接的多张图像和拍摄所述图像的地形参数；对所述待拼接的多张图像进行校正处理，得到多张校正后的图像；根据所述地形参数确定图像拼接策略；基于所述拼接策略对多张所述校正后的图像进行拼接，得到拼接图像；根据目标对象对所述拼接图像的编辑结果确定正射影像，能够根据地形参数的变化制定合适的拼接策略，适用于不同场景拍摄的图像拼接，减少拼接后正射影像出现畸变或者错位拼接的情况，使图像拼接算法具备更强的普适性。
上述电子设备提到的通信总线1140可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口1120用于上述电子设备与其他设备之间的通信。
存储器1130可以包括随机存取存储器(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器1110可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明的又一实施例中，还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输方法的程序，所述信息传输方法的程序被处理器执行时实现方法实施例所述的信息传输方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种正射影像拼接方法，其特征在于，所述方法包括：
读取目标对象选取的待拼接的多张图像和拍摄所述图像的地形参数；
对所述待拼接的多张图像进行校正处理，得到多张校正后的图像；
根据所述地形参数确定图像拼接策略；
基于所述拼接策略对多张所述校正后的图像进行拼接，得到拼接图像；
根据目标对象对所述拼接图像的编辑结果确定正射影像；
对所述待拼接的多张图像进行校正处理，得到多张校正后的图像的步骤包括：
获取拍摄所述图像的相机参数和用于表示每张所述图像在拍摄时的位姿信息；根据所述相机参数对多张所述图像进行畸变校正，得到多张畸变校正后的图像；
针对每张所述畸变校正后的图像，根据与所述畸变校正后的图像前后相邻的N张畸变校正后的图像的亮度值计算目标亮度值；
将所述畸变校正后的图像的亮度值调整至所述目标亮度值，得到多张亮度校正后的图像；
针对每张所述亮度校正后的图像，根据所述位姿信息对所述亮度校正后的图像进行正射纠正，得到多张所述校正后的图像。
2.根据权利要求1所述的正射影像拼接方法，其特征在于，所述拼接策略包括：权重拼接法，基于所述拼接策略对多张所述校正后的图像进行拼接，得到拼接图像的步骤包括：
根据多张所述校正后的图像的尺寸计算拼接后的正射影像的参考框和局部信息，所述局部信息用于表示校正后的图像在所述拼接后的正射影像中的位置；
获取每张所述校正后的图像的权重值，其中，所述每张所述校正后的图像的权重值包括每个像素点的权重值，且多个像素点的权重值均大于0；
根据所述局部信息和所述校正后的图像的权重值将所述校正后的图像镶嵌到所述正射影像的参考框中，得到所述拼接图像。
3.根据权利要求2所述的正射影像拼接方法，其特征在于，根据所述局部信息和所述校正后的图像的权重值将所述校正后的图像镶嵌到所述正射影像的参考框中，得到所述拼接图像的步骤，包括：
从多张所述校正后的图像中随机选取一张所述校正后的图像，根据所述局部信息将所述校正后的图像嵌入所述正射影像的参考框中；
在剩余的多张所述校正后的图像中，针对每张待嵌入正射影像的参考框的校正后的图像，根据所述局部信息判断所述校正后的图像是否与已嵌入所述正射影像的参考框中的校正后的图像重叠；
若根据所述局部信息确定所述校正后未与已嵌入所述正射影像的参考框中的校正后的图像重叠，根据所述局部信息将所述校正后的图像嵌入到所述正射影像的参考框内；或者，若根据所述局部信息确定所述校正后的图像与已嵌入所述正射影像的参考框中的校正后的图像存在重叠部分，确定每张所述校正后的图像的正射影像权重图，所述正射影像权重图包含多个像素点的权重值；
逐像素点判断所述重叠部分中待嵌入正射影像的参考框的校正后的图像的权重值是否大于已嵌入所述正射影像的参考框中的校正后的图像的权重值；
若所述待嵌入正射影像的参考框的校正后的图像的权重值大于已嵌入所述正射影像的参考框中的校正后的图像的权重值，则用待嵌入正射影像的参考框的校正后的图像的像素点替换已嵌入所述正射影像的参考框中的校正后的图像的像素点；
重复执行在剩余的多张所述校正后的图像中，针对每张待嵌入正射影像的参考框的校正后的图像，根据所述局部信息判断所述校正后的图像是否与已嵌入所述正射影像的参考框中的校正后的图像重叠的步骤，直至多张所述校正后的图像全部嵌入到所述正射影像的参考框中，得到所述拼接图像。
4.根据权利要求3所述的正射影像拼接方法，其特征在于，确定每张所述校正后的图像的正射影像权重图的步骤，包括：
以所述校正后的图像的像底点为中心，根据校正后的图像的像素点到所述中心的距离设置像素点的权重值，以使距离所述中心短的像素点的权重值大于距离所述中心远的像素点的权重值；
根据相机参数确定相机的曝光点；根据位姿信息计算经过亮度校正后的图像中每个像素点的高程位置；针对每个所述像素点，计算每个像素点的所述高程位置与曝光点的连接线和垂直方向上的垂线，并计算所述连接线与所述垂线的夹角；
在所述中心到图像边界的射线上，若距离所述中心远的像素点的夹角小于距离所述中心近的像素点的夹角的最大值，将距离所述中心远的像素点的权重值设置为0；重复执行针对每个所述像素点，计算每个像素点的所述高程位置与曝光点的连接线和垂直方向上的垂线，并计算所述连接线与所述垂线的夹角的步骤，直至得到所述校正后的图像中的全部像素点的权重值，得到正射影像权重图。
5.根据权利要求1所述的正射影像拼接方法，其特征在于，所述拼接策略包括：镶嵌法，基于所述拼接策略对多张所述校正后的图像进行拼接，得到拼接图像的步骤包括：
根据多张所述校正后的图像的尺寸计算拼接后的正射影像的范围框和位置信息，所述位置信息用于表示校正后的图像在所述拼接后的正射影像中的位置；
从多张所述校正后的图像中随机选取一张所述校正后的图像，根据所述位置信息将所述校正后的图像嵌入所述正射影像的范围框中；
在剩余的多张所述校正后的图像中，针对每张待嵌入正射影像的参考框的校正后的图像，根据所述位置信息判断所述校正后的图像是否与已嵌入所述正射影像的范围框中的校正后的图像重叠；
若根据所述位置信息确定所述校正后的图像与已嵌入所述正射影像的范围框中的校正后的图像存在拼接重叠部分，在所述拼接重叠部分中确定最优拼接线；
根据所述最优拼接线将所述校正后的图像嵌入到所述正射影像的范围框中；
重复执行在剩余的多张所述校正后的图像中，针对每张待嵌入正射影像的参考框的校正后的图像，根据所述位置信息判断所述校正后的图像是否与已嵌入所述正射影像的范围框中的校正后的图像重叠的步骤，直至多张所述校正后的图像全部嵌入到所述正射影像的范围框中，得到所述拼接图像。
6.根据权利要求5所述的正射影像拼接方法，其特征在于，在所述拼接重叠部分中确定最优拼接线的步骤，包括：
计算所述重叠部分中所述校正后的图像的第一梯度图和已嵌入所述正射影像的范围框中的校正后的图像的第二梯度图；
计算第一梯度图中的梯度与第二梯度图中的梯度差，得到差值能量图；
根据所述重叠部分计算归一化交叉互相关系数；
根据所述归一化交叉互相关系数和所述差值能量图计算初始化能量图，所述初始化能量图是以像素为节点，相邻像素值的和为边的无向图；
对所述初始化能量图进行降采样处理，并利用图割法在降采样处理后的初始化能量图中确定分割线；将所述降采样处理后的初始化能量图的分辨率调整至初始分辨率，得到包含若干个不连续的拼接线的初始化能量图；
利用形态学方法将若干个所述拼接线膨胀到带状区域，并在带状区域中利用路径搜索算法连接若干个所述拼接线，得到所述最优拼接线。
7.根据权利要求1所述的正射影像拼接方法，其特征在于，针对每张所述亮度校正后的图像，根据所述图像在拍摄时的位姿信息对所述图像进行正射纠正，得到多张所述校正后的图像步骤，包括：
针对每张所述亮度校正后的图像，根据位姿信息计算经过亮度校正后的图像在投影坐标系中的包围盒和包围盒坐标；
根据所述相机参数和所述包围盒坐标计算相机矩阵；
基于所述相机矩阵将所述亮度校正后的图像中的像素点逐一提取到所述包围盒中，得到所述校正后的图像；
在剩余的待处理的多张所述亮度校正后的图像中，重复执行针对每张所述亮度校正后的图像，根据位姿信息计算经过亮度校正后的图像在投影坐标系中的包围盒和包围盒坐标的步骤，直至得到多张所述校正后的图像。
8.一种正射影像拼接设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。
9.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至7任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010422763.0A CN111583119B (zh) | 2020-05-19 | 2020-05-19 | 一种正射影像拼接方法、设备以及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010422763.0A CN111583119B (zh) | 2020-05-19 | 2020-05-19 | 一种正射影像拼接方法、设备以及计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111583119A CN111583119A (zh) | 2020-08-25 |
| CN111583119B true CN111583119B (zh) | 2021-07-09 |
Family
ID=72111041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010422763.0A Active CN111583119B (zh) | 2020-05-19 | 2020-05-19 | 一种正射影像拼接方法、设备以及计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583119B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418086B (zh) * | 2020-11-23 | 2024-08-02 | 浙江大华技术股份有限公司 | 一种规则框校正方法、装置、电子设备及存储介质 |
| CN112785600A (zh) * | 2020-12-30 | 2021-05-11 | 广州极飞科技股份有限公司 | 正射影像的生成方法、装置、电子设备及存储介质 |
| CN112734630B (zh) * | 2020-12-30 | 2022-09-13 | 广州极飞科技股份有限公司 | 正射影像处理方法、装置、设备及存储介质 |
| CN112365406B (zh) * | 2021-01-13 | 2021-06-25 | 芯视界（北京）科技有限公司 | 图像处理方法、装置以及可读存储介质 |
| CN113392833B (zh) * | 2021-06-10 | 2024-06-28 | 沈阳派得林科技有限责任公司 | 一种工业射线底片图像铅字编号识别方法 |
| CN115628735A (zh) * | 2022-11-11 | 2023-01-20 | 苏州空天信息研究院 | 一种基于无人机和终端设备的区域地图更新系统及方法 |
| CN117237192B (zh) * | 2023-09-25 | 2024-05-31 | 中国人民解放军61540部队 | 视场分割集成面阵相机的全幅影像拼合方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106447602A (zh) * | 2016-08-31 | 2017-02-22 | 浙江大华技术股份有限公司 | 一种图像拼接方法及装置 |
| CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
| CN110390639A (zh) * | 2019-07-22 | 2019-10-29 | 广州欧科信息技术股份有限公司 | 正射影像的处理拼接方法、装置、设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102073874B (zh) * | 2010-12-29 | 2013-04-24 | 中国资源卫星应用中心 | 附加几何约束的航天三线阵ccd相机多影像立体匹配方法 |
| CN102506824B (zh) * | 2011-10-14 | 2014-08-27 | 航天恒星科技有限公司 | 一种城市低空无人机系统生成数字正射影像图的方法 |
| CN108765298A (zh) * | 2018-06-15 | 2018-11-06 | 中国科学院遥感与数字地球研究所 | 基于三维重建的无人机图像拼接方法和系统 |
| CN110503604B (zh) * | 2019-07-31 | 2022-04-29 | 武汉大学 | 一种基于高精度pos的航空面阵影像实时正射拼接方法 |
| CN110675450B (zh) * | 2019-09-06 | 2020-09-29 | 武汉九州位讯科技有限公司 | 基于slam技术的正射影像实时生成方法及系统 |
-
2020
- 2020-05-19 CN CN202010422763.0A patent/CN111583119B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106447602A (zh) * | 2016-08-31 | 2017-02-22 | 浙江大华技术股份有限公司 | 一种图像拼接方法及装置 |
| CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
| CN110390639A (zh) * | 2019-07-22 | 2019-10-29 | 广州欧科信息技术股份有限公司 | 正射影像的处理拼接方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111583119A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583119B (zh) | 一种正射影像拼接方法、设备以及计算机可读介质 | |
| CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN112434709B (zh) | 基于无人机实时稠密三维点云和dsm的航测方法及系统 | |
| CN108765328B (zh) | 一种高精度多特征平面模板及其畸变优化和标定方法 | |
| KR101643607B1 (ko) | 영상 데이터 생성 방법 및 장치 | |
| US20210201570A1 (en) | Method and apparatus for generating digital surface model using satellite imagery | |
| CN111415310B (zh) | 一种图像处理方法及装置、存储介质 | |
| CN109523585B (zh) | 一种基于方向相位一致性的多源遥感影像特征匹配方法 | |
| CN105721853A (zh) | 用于深度图生成的数码相机的配置设置 | |
| CN112444242A (zh) | 一种位姿优化方法及装置 | |
| US20110267485A1 (en) | Range measurement using a coded aperture | |
| CN114143528B (zh) | 多视频流融合方法、电子设备、存储介质 | |
| CN108364279B (zh) | 确定静止轨道遥感卫星指向偏差的方法 | |
| CN112580561A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN113566793A (zh) | 基于无人机倾斜影像的真正射影像生成方法和装置 | |
| CN112287824A (zh) | 基于双目视觉的三维目标检测方法、装置及系统 | |
| US20240338922A1 (en) | Fusion positioning method based on multi-type map and electronic device | |
| US10154241B2 (en) | Depth map based perspective correction in digital photos | |
| CN116563384A (zh) | 一种图像采集装置标定方法、设备及计算机设备 | |
| CN117635875B (zh) | 一种三维重建方法、装置及终端 | |
| CN117409149A (zh) | 基于立体约束的光束法平差方程的三维建模方法及系统 | |
| CN113282695A (zh) | 一种基于遥感影像的矢量地理信息采集方法和装置 | |
| CN114445583A (zh) | 数据处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211117 Address after: 518101 809, building 1, Xinyi Lingyu R & D center, No. 30, Honglang North Second Road, Xingdong community, Xin'an street, Bao'an District, Shenzhen, Guangdong Province Patentee after: Shenzhen lvtuzhi New Technology Co.,Ltd. Address before: Room 2301-2308, floor 3, building 2, incubator, Dongbeiwang Software Park, Haidian District, Beijing 100094 Patentee before: BEIJING GREENVALLEY TECHNOLOGY Co.,Ltd. Patentee before: Shenzhen lvtu Intelligent Technology Co., Ltd |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220113 Address after: Room 2301-2308, third floor, building 2, incubator, Zhongguancun Software Park, Dongbeiwang, Haidian District, Beijing 100094 Patentee after: BEIJING GREENVALLEY TECHNOLOGY Co.,Ltd. Patentee after: Shenzhen lvtuzhi New Technology Co., Ltd; Address before: 518101 809, building 1, Xinyi Lingyu R & D center, No. 30, Honglang North Second Road, Xingdong community, Xin'an street, Bao'an District, Shenzhen, Guangdong Province Patentee before: Shenzhen lvtuzhi New Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 2301-2308, third floor, building 2, incubator, Zhongguancun Software Park, Dongbeiwang, Haidian District, Beijing 100094 Patentee after: Beijing Digital Green Earth Technology Co.,Ltd. Patentee after: Shenzhen lvtuzhi New Technology Co., Ltd Address before: Room 2301-2308, third floor, building 2, incubator, Zhongguancun Software Park, Dongbeiwang, Haidian District, Beijing 100094 Patentee before: BEIJING GREENVALLEY TECHNOLOGY Co.,Ltd. Patentee before: Shenzhen lvtuzhi New Technology Co., Ltd |
|
| CP01 | Change in the name or title of a patent holder |