CN107507132A - 一种无人机航摄影像的实时拼接方法 - Google Patents
一种无人机航摄影像的实时拼接方法 Download PDFInfo
- Publication number
- CN107507132A CN107507132A CN201710817912.1A CN201710817912A CN107507132A CN 107507132 A CN107507132 A CN 107507132A CN 201710817912 A CN201710817912 A CN 201710817912A CN 107507132 A CN107507132 A CN 107507132A
- Authority
- CN
- China
- Prior art keywords
- key frame
- characteristic point
- image
- frame
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 80
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 11
- 101100121125 Drosophila melanogaster RasGAP1 gene Proteins 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 101100282111 Caenorhabditis elegans gap-2 gene Proteins 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 abstract description 6
- 238000009432 framing Methods 0.000 abstract 1
- 239000000284 extract Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 230000007812 deficiency Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004064 recycling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理领域，具体而言，涉及无人机航摄影像的实时拼接方法。本发明提供的无人机航摄影像拼接方法，根据相邻待拼接航摄影像的重叠率，实时调整提取关键航摄影像的帧间间隔；并根据相邻两帧同名点的匹配关系得到相邻两帧的变换矩阵，将序列航摄影像变换到参考影像的坐标系；根据设置的参考帧调整判决条件，实时调整参考帧，以将航摄影像变换到参考帧坐标系过程中产生的累积误差分散到各帧影像，避免误差累积导致后续影像的严重扭曲变形。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种无人机航摄影像的实时拼接方法。
背景技术
近年来无人机因其高效，灵活，低成本等特性，已被广泛应用于勘探，应急，救灾等领域。无人机航空摄影测量技术大大降低了传统航空摄影测量技术的工作周期和人力，财力的投入，使得航空摄影测量技术在应急救灾等具有更加现实的意义。一方面可以通过搭载的视频捕捉设备通过图像远程传输技术实施观察航拍区域的现状；另一方面可以待航摄飞行任务完成后，利用航摄影像拼接技术对航摄影像进行拼接，以得到航摄区域的整体影像。在摄影测量领域，典型的航摄影像拼接方法包括：以满足一定重叠率和时间间隔的航摄影像为数据源；并根据航摄影像的像空间坐标系和物空间坐标系的姿态数据，对航摄影像进行正射校正；然后通过特征点提取与匹配技术得到航摄影像中特征点对的匹配关系；利用航摄影像间特征点对的匹配关系，实现航摄影像的拼接。但是，在上述无人机航空摄影测量技术存在以下问题：若实时观察航摄影像，则存在视场窄，观察范围小的问题；若利用航摄影像拼接拓展视场，则存在需待航摄任务完成后再对航摄影像进行拼接的问题，即不能实时的问题。
由此可知，在现有的航摄影像拼接的过程中，初始关键帧提取间隔是固定不变的，不会随着时间的推移而实时的调整，随着无人机姿态等的变化，为了使相邻关键帧影像的重叠率满足拼接要求，现有技术一般设置固定的帧间间隔提取关键帧，且一般设置的帧间提取间隔较小。主要是因为无人机作业过程中姿态等的变化会影响相邻关键帧影像的重叠率，为了避免上述因素导致相邻关键帧影像的重叠率不满足拼接要求，故而设置的帧间间隔较小。.现有技术中较小帧间间隔并不能满足摄影测量学中对于拼接影像重叠率的要求，重叠率过高增加了算法的计算量，导致航摄影像实时性受到影响；重叠率过低，不能满足拼接要求。
发明内容
本发明所要解决的技术问题是避免了相邻两幅关键帧重叠率过高而导致的计算量过高，而导致的航摄影像实时性差，目的在于提供一种无人机航摄影像的实时拼接方法，随着无人机姿态等的变化，根据当前帧间间隔的关系实时调整后续关键帧影像的提取间隔，以确保各个相邻两幅关键帧的重叠区域及重叠率满足拼接影像的要求，同时也避免了相邻两幅关键帧重叠率过高而导致的计算量过高的问题，最终实现航射影像的实时拼接。
本发明通过下述技术方案实现：
一种无人机航摄影像的实时拼接方法，包括如下步骤：
步骤A)设置初始参考帧R1及初始关键帧提取的帧间间隔Gap0，帧间间隔Gap0根据航摄影像重叠率要求设置；
步骤B)根据初始关键帧提取的帧间间隔Gap0，从序列航摄影像中得到关键帧R2；
步骤C)从初始参考帧R1中提取特征点序列S1，并提取关键帧R2的特征点序列S2，利用KD树算法得到特征点序列S1和特征点序列S2中匹配特征点对的坐标匹配关系；
步骤D)根据特征点序列S1与S2中匹配特征点对的坐标匹配关系和直接线性变换算法得到关键帧R2相对于参考帧R1的变换矩阵并利用变换矩阵H1，将关键帧R2变换到参考帧R1的坐标平面内；
步骤E)根据关键帧R2与参考帧R1的变换关系H1，得到相邻两个关键帧之间的重叠率OverLap1；并根据相邻两个关键帧的重叠率OverLap1，得到提取后续关键帧的帧间间隔Gap1；
步骤F)根据上述得到的帧间间隔Gap1，提取后续关键帧R3；同理，提取关键帧R3中的特征点序列S3；同时，利用关键帧R2中的特征点序列S2和关键帧R3中的特征点序列S3得到二者的变换关系H2，利用变换矩阵H2，将关键帧R3变换到以关键帧R2为参考帧的坐标系中；并且可以利用变换矩阵H2得到关键帧R2和关键帧R3的重叠率OverLap2，以此调整后续提取关键帧的帧间间隔Gap2；以此类推通过不断调整帧间间隔得到后续关键帧及相邻关键帧的变换关系；
步骤G)利用关键帧R2与关键帧R1的变换关系H1，关键帧R3与关键帧R2的变换关系H2，以此类推，关键帧Rn与关键帧Rn-1的变换关系Hn-1，n为正整数，将关键帧影像变换到拼接过程中动态选取的参考帧影像的坐标系中，进而实现多幅图像的拼接。
为了确保关键帧影像间的重叠率满足航摄影像拼接重叠率的要求，现有技术设置的时间间隔较小，进而导致关键帧影像的重叠率出现冗余。为了克服现有技术的不足，本发明通过实时计算关键帧影像间的重叠率，然后根据当前重叠率与摄影测量学中所规定的拼接影像重叠率的比例关系，及当前帧间间隔，实现实时调整后续关键帧提取的帧间间隔。具体而言，在上述航摄影像关键帧的提取过程中根据相邻两幅关键帧的变换关系得到相邻两幅航摄影像的重叠率，当计算出的重叠率没有在拼接重叠率要求的范围内时，则调整帧间间隔，使得重叠率位于拼接重叠率要求的范围为止，此时再利用调整后的帧间间隔计算下一个关键帧，以此类推，向后计算。根据相邻两幅关键帧的重叠率与摄影测量学中所要求的拼接影像重叠率之间的比例关系及当前帧间间隔的关系实时调整后续关键帧影像的提取间隔，以确保各个相邻两幅关键帧的重叠区域及重叠率满足拼接影像的要求，以降低航摄影像拼接的冗余计算量，避免了相邻两幅关键帧重叠率过高而导致的计算量过高的问题。
本发明不仅确保了相邻关键帧影像的重叠率满足拼接要求，而且避免了相邻关键帧影像的重叠率过高，达到了降低计算量，提高算法效率的效果,并利用相邻两幅关键帧影像的变换关系实现了无人机作业过程中航摄影像的实时拼接。
优选的，步骤F)根据相邻关键帧影像的变换关系，计算相邻关键帧影像间的重叠率，然后根据当前重叠率与摄影测量学中所规定的拼接影像重叠率的比例关系，及当前帧间间隔，实现实时调整后续关键帧提取的帧间间隔。
优选的，步骤G)在拼接过程中不断动态调整参考帧，然后利用相邻关键帧影像的变换关系H1，H2，...Hn-1,n为正整数，得到各个关键帧影像相对于动态选取的参考帧的变换关系，然后利用此变换关系将各个关键帧影像变换到动态选取的参考帧所在的坐标平面中，实现多幅影像的拼接。
现有技术一般通过设定较小的固定时间间隔提取关键帧影像，随着拼接的进行，后续影像依次变换到同一参考帧影像所在坐标系过程中,会出现拼接误差的累积及无人机姿态变化的影像，拼接影像易出现严重变形及拼接错位。针对拼接过程中航摄影像的扭曲变形问题，现有技术通过引入飞机的姿态数据，利用飞机的姿态数据对航摄影像进行校正，以降低拼接过程的扭曲变形。但是在无人机作业过程中，实时拼接航摄影像，若引入飞机的姿态数据，一方面增加计算量，导致拼接效率降低，无法满足实时拼接要求；另一方面无法确保关键帧影像与飞机姿态数据的一一对应，导致无法有效克服扭曲形变。
本发明为了克服此问题，在图像拼接过程中实时调整参考帧，参考帧不再像现有技术中那样是固定不变的,并利用已知的变换关系将各个航拍影像变换到新的不同的参考坐标系中，一方面截断误差的累积导致后续影像的严重扭曲变形；另一方面降低了无人机姿态变化的影响，可以提高拼接精度，避免拼接错位，降低拼接过程中图像形变过大的问题。并且，由于本发明未引入无人机的姿态数据，避免了关键帧影像与飞机姿态数据的不对应引起的拼接误差，降低了算法的计算量，确保航摄影像的实时拼接。关键帧影像间的重叠率是航摄影像拼接成功的关键因素。
在满足航摄影像拼接重叠率的前提下，上述算法通过实时调整相邻两帧之间的帧间间隔和变换参考帧实现了航摄影像的实时拼接。
在上述求变换矩阵H1的过程中，特征点序列S1和特征点序列S2是粗匹配关系即匹配特征点对中存在误匹配的匹配特征点对，导致直接线性变换算法所求得的变换矩阵H1的精度不足。为了提高上述变换矩阵H1的精度，根据现有变换关系H1，反向计算每一个匹配特征点对的误差，即在步骤D)完成后，还需要利用得到的坐标匹配关系反向剔除匹配误差不满足要求的匹配特征点对，得到误差满足要求的新的特征点序列S1和S2，然后根据筛选后的新的特征点序列S1和S2，重新求解变换矩阵H1，并利用此重新求解的变换矩阵H1，将关键帧R2变换到参考帧R1的坐标平面内。
优选的，利用得到的坐标匹配关系反向剔除匹配误差不满足要求的匹配特征点对的方法为：根据已得到的变换关系H1，反向计算每一个匹配特征点对的误差误差其中和分别表示特征点序列S1中匹配特征点坐标及其在特征点序列S2中所对应的匹配特征点坐标，为上述所求变换矩阵H1的逆矩阵，利用匹配特征点对的欧式距离作为误差的判断条件，若则保留此匹配特征点对，否则剔除此匹配特征点对。利用此变换关系及对上述关键帧影像的匹配特征点剔除误差较大的匹配特征点对，提高上述匹配特征点对的精度。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明不仅确保了相邻关键帧影像的重叠率满足拼接要求，而且避免了相邻关键帧影像的重叠率过高，达到了降低计算量，提高算法效率的效果,并利用相邻两幅关键帧影像的变换关系实现了无人机作业过程中航摄影像的实时拼接。
2、本发明在图像拼接过程中实时调整参考帧，参考帧不再像现有技术中那样是固定不变的,并利用已知的变换关系将各个航拍影像变换到新的不同的参考坐标系中，一方面截断误差的累积导致后续影像的严重扭曲变形；另一方面降低了无人机姿态变化的影响，可以提高拼接精度，避免拼接错位，降低拼接过程中图像形变过大的问题。
3、本发明未引入无人机的姿态数据，避免了关键帧影像与飞机姿态数据的不对应引起的拼接误差，降低了算法的计算量，确保航摄影像的实时拼接。
4、本发明通过变换关系及对关键帧影像的匹配特征点剔除误差较大的匹配特征点对，提高上述匹配特征点对的精度。
5、本发明在满足航摄影像拼接重叠率的前提下，通过实时调整相邻两帧之间的帧间间隔和变换参考帧实现了航摄影像的实时拼接。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1：
如图1所示，本发明包括一种无人机航摄影像的实时拼接方法，包括如下步骤：
步骤A)设置初始参考帧R1及初始关键帧提取的帧间间隔Gap0，帧间间隔Gap0根据航摄影像重叠率要求设置；航摄影像重叠率要求有具体的规定。重叠率是指相邻关键帧影像中后一关键帧影像重叠前一关键帧影像部分所占的比率，该定义为现有技术。
步骤B)根据初始关键帧提取的帧间间隔Gap0，从序列航摄影像中得到关键帧R2；在现有的航摄影像序列中，相邻航摄影像的重叠率很高，若逐帧影像拼接，将导致计算冗余，并且影响航摄影像拼接的实时性。针对此问题，设置帧间间隔Gap0，从航摄影像序列中隔帧提取影像，并将所提取的影像记为关键帧影像，通过隔帧提取影像，对原始航摄影像序列进行帧间稀疏，以降低计算冗余，实现拼接实时性。
步骤C)从初始参考帧R1中提取特征点序列S1，并提取关键帧R2的特征点序列S2，利用KD树算法得到特征点序列S1和特征点序列S2中匹配特征点对的坐标匹配关系；KD树算法是指一种分割k维数据空间的数据结构的算法为现有技术。
步骤D)根据特征点序列S1与S2中匹配特征点对的坐标匹配关系和直接线性变换算法得到关键帧R2相对于参考帧R1的变换矩阵并利用变换矩阵H1，将关键帧R2变换到参考帧R1的坐标平面内；
步骤E)根据关键帧R2与参考帧R1的变换关系H1，得到相邻两个关键帧之间的重叠率OverLap1；并根据相邻两个关键帧的重叠率OverLap1，得到提取后续关键帧的帧间间隔Gap1；现有技术，在提取关键帧影像时将关键帧影像的提取设为满足拼接要求的固定值或设置为间隔固定时间拍摄航摄影像，但是随着无人机姿态的变化，导致实际关键帧影像的重叠率与期望值有差异，重叠率过高，增加计算量，重叠率低，满足不了拼接要求。与现有技术相比，根据重叠率实时调整后续提取关键帧的帧间间隔，一方面确保所提取的相邻关键帧影像的重叠率满足拼接影像重叠的要求；另一方面避免了因重叠率过高导致的计算冗余，由于计算量的降低，确保拼接算法满足实时拼接的需求。
步骤F)根据上述得到的帧间间隔Gap1，提取后续关键帧R3；同理，提取关键帧R3中的特征点序列S3；同时，利用关键帧R2中的特征点序列S2和关键帧R3中的特征点序列S3得到二者的变换关系H2，利用变换矩阵H2，将关键帧R3变换到以关键帧R2为参考帧的坐标系中；并且可以利用变换矩阵H2得到关键帧R2和关键帧R3的重叠率OverLap2，以此调整后续提取关键帧的帧间间隔Gap2；以此类推通过不断调整帧间间隔得到后续关键帧及相邻关键帧的变换关系；
在航摄影像关键帧的提取中，关键帧提取的帧间间隔根据前面两幅相邻航摄影像关键帧的变换关系及拼接重叠率要求实时调整，当计算出的重叠率没有在拼接重叠率要求的范围内时，则调整帧间间隔，使得重叠率位于拼接重叠率要求的范围为止，此时再利用调整后的帧间间隔计算下一个关键帧，以此类推，以降低航摄影像拼接的冗余计算量，实现航摄影像的实时拼接。
步骤G)利用关键帧R2与关键帧R1的变换关系H1，关键帧R3与关键帧R2的变换关系H2，以此类推，关键帧Rn与关键帧Rn-1的变换关系Hn-1，n为正整数，将关键帧影像变换到拼接过程中动态选取的参考帧影像的坐标系中，进而实现多幅图像的拼接。
本发明首先提取初始关键帧影像R1，然后根据航摄影像重叠率要求设置初始关键帧影像提取间隔，利用初始关键帧影像提取间隔从航摄影像中提取关键帧影像R2。对上述提取的关键帧影像R1和关键帧影像R2，利用关键帧影像的重叠区域分别提取二者的特征点，并利用特征点匹配方法得到相邻两帧关键帧影像的匹配点对。然后利用相邻两帧关键帧影像的匹配点对，得到两幅相邻关键帧影像的初始变化关系。依据高精度的匹配点对得到相邻两幅关键帧影像的变换关系，利用此变换关系，将其中一幅关键帧影像变换到另一幅关键帧影像的参考坐标系中，以实现相邻两幅关键帧影像的拼接。同理，利用关键帧影像提取间隔从航摄影像中提取出航摄影像关键帧序列，与关键帧影像R1和关键帧影像R2相同，可以得到航摄影像关键帧序列中相邻关键帧影像间的变换关系。根据所述相邻关键帧的变换关系，选取序列航摄影像中的某一帧作为关键帧实现序列航摄影像的拼接。由于序列航摄影像拼接的过程中，随着无人机姿态等的变化，初始关键帧提取间隔使得相邻关键帧影像的重叠率并不能满足摄影测量学中对于拼接影像重叠率的要求(航向重叠率一般要求为60％～65％，最小不得小于53％；旁向重叠率要求为30％～40％，最小不得小于15％)。重叠率过高增加了算法的计算量，导致航摄影像实时性受到影响；重叠率过低，不能满足拼接要求。
为了确保关键帧影像间的重叠率满足航摄影像拼接重叠率的要求，现有技术设置的时间间隔较小，进而导致关键帧影像的重叠率出现冗余。为了克服现有技术的不足，本发明通过实时计算关键帧影像间的重叠率，然后根据当前重叠率与摄影测量学中所规定的拼接影像重叠率的比例关系，及当前帧间间隔，实现实时调整后续关键帧提取的帧间间隔。具体而言，在上述航摄影像关键帧的提取过程中根据相邻两幅关键帧的变换关系得到相邻两幅航摄影像的重叠率，当计算出的重叠率没有在拼接重叠率要求的范围内时，则调整帧间间隔，使得重叠率位于拼接重叠率要求的范围为止，此时再利用调整后的帧间间隔计算下一个关键帧，以此类推，向后计算。根据相邻两幅关键帧的重叠率与摄影测量学中所要求的拼接影像重叠率之间的比例关系及当前帧间间隔的关系实时调整后续关键帧影像的提取间隔，以确保各个相邻两幅关键帧的重叠区域及重叠率满足拼接影像的要求，以降低航摄影像拼接的冗余计算量，避免了相邻两幅关键帧重叠率过高而导致的计算量过高的问题。
本发明不仅确保了相邻关键帧影像的重叠率满足拼接要求，而且避免了相邻关键帧影像的重叠率过高，达到了降低计算量，提高算法效率的效果,并利用相邻两幅关键帧影像的变换关系实现了无人机作业过程中航摄影像的实时拼接。
实施例2：
本实施例在上述实施例的基础上优选如下：步骤F)根据相邻关键帧影像的变换关系，计算相邻关键帧影像间的重叠率，然后根据当前重叠率与摄影测量学中所规定的拼接影像重叠率的比例关系，及当前帧间间隔，实现实时调整后续关键帧提取的帧间间隔。
步骤G)在拼接过程中不断动态调整参考帧，然后利用相邻关键帧影像的变换关系H1，H2，...Hn-1,n为正整数，得到各个关键帧影像相对于动态选取的参考帧的变换关系，然后利用此变换关系将各个关键帧影像变换到动态选取的参考帧所在的坐标平面中，实现多幅影像的拼接。
现有技术一般通过设定较小的固定时间间隔提取关键帧影像，随着拼接的进行，后续影像依次变换到同一参考帧影像所在坐标系过程中,会出现拼接误差的累积及无人机姿态变化的影像，拼接影像易出现严重变形及拼接错位。针对拼接过程中航摄影像的扭曲变形问题，现有技术通过引入飞机的姿态数据，利用飞机的姿态数据对航摄影像进行校正，以降低拼接过程的扭曲变形。但是在无人机作业过程中，实时拼接航摄影像，若引入飞机的姿态数据，一方面增加计算量，导致拼接效率降低，无法满足实时拼接要求；另一方面无法确保关键帧影像与飞机姿态数据的一一对应，导致无法有效克服扭曲形变。
本发明为了克服此问题，在图像拼接过程中实时调整参考帧，参考帧不再像现有技术中那样是固定不变的,并利用已知的变换关系将各个航拍影像变换到新的不同的参考坐标系中，一方面截断误差的累积导致后续影像的严重扭曲变形；另一方面降低了无人机姿态变化的影响，可以提高拼接精度，避免拼接错位，降低拼接过程中图像形变过大的问题。并且，由于本发明未引入无人机的姿态数据，避免了关键帧影像与飞机姿态数据的不对应引起的拼接误差，降低了算法的计算量，确保航摄影像的实时拼接。关键帧影像间的重叠率是航摄影像拼接成功的关键因素。
在满足航摄影像拼接重叠率的前提下，上述算法通过实时调整相邻两帧之间的帧间间隔和变换参考帧实现了航摄影像的实时拼接。
实施例3：
本实施例在上述实施例的基础上优选如下：在上述求变换矩阵H1的过程中，特征点序列S1和特征点序列S2是粗匹配关系即匹配特征点对中存在误匹配的匹配特征点对，导致直接线性变换算法所求得的变换矩阵H1的精度不足。为了提高上述变换矩阵H1的精度，根据现有变换关系H1，反向计算每一个匹配特征点对的误差，即在步骤D)完成后，还需要利用得到的坐标匹配关系反向剔除匹配误差不满足要求的匹配特征点对，得到误差满足要求的新的特征点序列S1和S2，然后根据筛选后的新的特征点序列S1和S2，重新求解变换矩阵H1，通过此步骤的不断迭代，可求得高精度的变换矩阵H1,并利用此重新求解的变换矩阵H1，将关键帧R2变换到参考帧R1的坐标平面内，得到较高精度的拼接影像。
利用得到的坐标匹配关系反向剔除匹配误差不满足要求的匹配特征点对的方法为：根据已得到的变换关系H1，反向计算每一个匹配特征点对的误差误差其中和分别表示特征点序列S1中匹配特征点坐标及其在特征点序列S2中所对应的匹配特征点坐标，为上述所求变换矩阵H1的逆矩阵，利用匹配特征点对的欧式距离作为误差的判断条件，若则保留此匹配特征点对，否则剔除此匹配特征点对。
利用此变换关系及对上述关键帧影像的匹配特征点剔除误差较大的匹配特征点对，提高上述匹配特征点对的精度。
重叠率包括航向重叠率和旁向重叠率，航向重叠率的值要求在53％-65％之间，旁向重叠率的值要求在15％-40％之间。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种无人机航摄影像的实时拼接方法，其特征在于，包括如下步骤：
步骤A)设置初始参考帧R1及初始关键帧提取的帧间间隔Gap0，帧间间隔Gap0根据航摄影像重叠率要求设置；
步骤B)根据初始关键帧提取的帧间间隔Gap0，从序列航摄影像中得到关键帧R2；
步骤C)从初始参考帧R1中提取特征点序列S1，并提取关键帧R2的特征点序列S2，利用KD树算法得到特征点序列S1和特征点序列S2中匹配特征点对的坐标匹配关系；
步骤D)根据特征点序列S1与S2中匹配特征点对的坐标匹配关系和直接线性变换算法得到关键帧R2相对于参考帧R1的变换矩阵并利用变换矩阵H1，将关键帧R2变换到参考帧R1的坐标平面内；
步骤E)根据关键帧R2与参考帧R1的变换关系H1，得到相邻两个关键帧之间的重叠率OverLap1；并根据相邻两个关键帧的重叠率OverLap1，得到提取后续关键帧的帧间间隔Gap1；
步骤F)根据上述得到的帧间间隔Gap1，提取后续关键帧R3；同理，提取关键帧R3中的特征点序列S3；同时，利用关键帧R2中的特征点序列S2和关键帧R3中的特征点序列S3得到二者的变换关系H2，利用变换矩阵H2，将关键帧R3变换到以关键帧R2为参考帧的坐标系中；并且可以利用变换矩阵H2得到关键帧R2和关键帧R3的重叠率OverLap2，以此调整后续提取关键帧的帧间间隔Gap2；以此类推通过不断调整帧间间隔得到后续关键帧及相邻关键帧的变换关系；
步骤G)利用关键帧R2与关键帧R1的变换关系H1，关键帧R3与关键帧R2的变换关系H2，以此类推，关键帧Rn与关键帧Rn-1的变换关系Hn-1，n为正整数，将关键帧影像变换到拼接过程中动态选取的参考帧影像的坐标系中，进而实现多幅图像的拼接。
2.根据权利要求1所述的一种无人机航摄影像的实时拼接方法，其特征在于，步骤F)根据相邻关键帧影像的变换关系，计算相邻关键帧影像间的重叠率，然后根据当前重叠率与摄影测量学中所规定的拼接影像重叠率的比例关系，及当前帧间间隔，实现实时调整后续关键帧提取的帧间间隔。
3.根据权利要求1所述的一种无人机航摄影像的实时拼接方法，其特征在于，步骤G)在拼接过程中不断动态调整参考帧，然后利用相邻关键帧影像的变换关系H1，H2，...Hn-1,n为正整数，得到各个关键帧影像相对于动态选取的参考帧的变换关系，然后利用此变换关系将各个关键帧影像变换到动态选取的参考帧所在的坐标平面中，实现多幅影像的拼接。
4.根据权利要求1或2所述的一种无人机航摄影像的实时拼接方法，其特征在于，步骤D)完成后，还需要利用得到的坐标匹配关系反向剔除匹配误差不满足要求的匹配特征点对，得到误差满足要求的新的特征点序列S1和S2，然后根据筛选后的新的特征点序列S1和S2，重新求解变换矩阵H1，并利用此重新求解的变换矩阵H1，将关键帧R2变换到参考帧R1的坐标平面内。
5.根据权利要求4所述的一种无人机航摄影像的实时拼接方法，其特征在于，利用得到的坐标匹配关系反向剔除匹配误差不满足要求的匹配特征点对的方法为：根据已得到的变换关系H1，反向计算每一个匹配特征点对的误差误差其中和分别表示特征点序列S1中匹配特征点坐标及其在特征点序列S2中所对应的匹配特征点坐标，为上述所求变换矩阵H1的逆矩阵，利用匹配特征点对的欧式距离作为误差的判断条件，若则保留此匹配特征点对，否则剔除此匹配特征点对。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710817912.1A CN107507132B (zh) | 2017-09-12 | 2017-09-12 | 一种无人机航摄影像的实时拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710817912.1A CN107507132B (zh) | 2017-09-12 | 2017-09-12 | 一种无人机航摄影像的实时拼接方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107507132A true CN107507132A (zh) | 2017-12-22 |
| CN107507132B CN107507132B (zh) | 2021-01-26 |
Family
ID=60696440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710817912.1A Active CN107507132B (zh) | 2017-09-12 | 2017-09-12 | 一种无人机航摄影像的实时拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107507132B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035313A (zh) * | 2018-07-26 | 2018-12-18 | 中国人民解放军陆军工程大学 | 无人机异源影像平差方法 |
| CN110097498A (zh) * | 2019-01-25 | 2019-08-06 | 电子科技大学 | 基于无人机航迹约束的多航带图像拼接与定位方法 |
| CN110889818A (zh) * | 2019-11-22 | 2020-03-17 | 华南农业大学 | 低空无人机影像拼接方法、系统、计算机设备及存储介质 |
| CN111161154A (zh) * | 2019-12-31 | 2020-05-15 | 航天图景（北京）科技有限公司 | 一种无人机视频实时快速正射拼接系统及其拼接方法 |
| WO2021051407A1 (zh) * | 2019-09-20 | 2021-03-25 | 深圳市大疆创新科技有限公司 | 一种点云显示方法、设备、可移动平台及存储介质 |
| CN113703465A (zh) * | 2020-05-22 | 2021-11-26 | 中国科学院长春光学精密机械与物理研究所 | 大倾角高空对地成像的航向重叠率控制方法、装置及载机 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101827264A (zh) * | 2009-03-06 | 2010-09-08 | 刘永 | 分层式自适应的视频帧采样方法 |
| CN102088569A (zh) * | 2010-10-13 | 2011-06-08 | 首都师范大学 | 低空无人飞行器序列图像拼接方法和系统 |
| US8559757B1 (en) * | 2010-03-23 | 2013-10-15 | Exelis, Inc. | Photogrammetric method and system for stitching and stabilizing camera images |
| CN105957017A (zh) * | 2016-06-24 | 2016-09-21 | 电子科技大学 | 一种基于自适应关键帧采样的视频拼接方法 |
| CN106447607A (zh) * | 2016-08-25 | 2017-02-22 | 中国科学院长春光学精密机械与物理研究所 | 一种图像拼接方法及装置 |
-
2017
- 2017-09-12 CN CN201710817912.1A patent/CN107507132B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101827264A (zh) * | 2009-03-06 | 2010-09-08 | 刘永 | 分层式自适应的视频帧采样方法 |
| US8559757B1 (en) * | 2010-03-23 | 2013-10-15 | Exelis, Inc. | Photogrammetric method and system for stitching and stabilizing camera images |
| CN102088569A (zh) * | 2010-10-13 | 2011-06-08 | 首都师范大学 | 低空无人飞行器序列图像拼接方法和系统 |
| CN105957017A (zh) * | 2016-06-24 | 2016-09-21 | 电子科技大学 | 一种基于自适应关键帧采样的视频拼接方法 |
| CN106447607A (zh) * | 2016-08-25 | 2017-02-22 | 中国科学院长春光学精密机械与物理研究所 | 一种图像拼接方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 史露 等: "《基于SIFT和SURF图像拼接算法的改进算法》", 《计算机应用与软件》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109035313A (zh) * | 2018-07-26 | 2018-12-18 | 中国人民解放军陆军工程大学 | 无人机异源影像平差方法 |
| CN109035313B (zh) * | 2018-07-26 | 2021-07-06 | 中国人民解放军陆军工程大学 | 无人机异源影像平差方法 |
| CN110097498A (zh) * | 2019-01-25 | 2019-08-06 | 电子科技大学 | 基于无人机航迹约束的多航带图像拼接与定位方法 |
| CN110097498B (zh) * | 2019-01-25 | 2023-03-31 | 电子科技大学 | 基于无人机航迹约束的多航带图像拼接与定位方法 |
| WO2021051407A1 (zh) * | 2019-09-20 | 2021-03-25 | 深圳市大疆创新科技有限公司 | 一种点云显示方法、设备、可移动平台及存储介质 |
| CN110889818A (zh) * | 2019-11-22 | 2020-03-17 | 华南农业大学 | 低空无人机影像拼接方法、系统、计算机设备及存储介质 |
| CN111161154A (zh) * | 2019-12-31 | 2020-05-15 | 航天图景（北京）科技有限公司 | 一种无人机视频实时快速正射拼接系统及其拼接方法 |
| CN113703465A (zh) * | 2020-05-22 | 2021-11-26 | 中国科学院长春光学精密机械与物理研究所 | 大倾角高空对地成像的航向重叠率控制方法、装置及载机 |
| CN113703465B (zh) * | 2020-05-22 | 2023-02-10 | 中国科学院长春光学精密机械与物理研究所 | 大倾角高空对地成像的航向重叠率控制方法、装置及载机 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107507132B (zh) | 2021-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107507132A (zh) | 一种无人机航摄影像的实时拼接方法 | |
| CN110570371B (zh) | 一种基于多尺度残差学习的图像去雾方法 | |
| WO2021057027A1 (zh) | 人体检测方法、装置、计算机设备及存储介质 | |
| CN102156969B (zh) | 图像纠偏处理方法 | |
| CN110717527B (zh) | 结合空洞空间金字塔结构的目标检测模型确定方法 | |
| US4276570A (en) | Method and apparatus for producing an image of a person's face at a different age | |
| US20220084163A1 (en) | Target image generation method and apparatus, server, and storage medium | |
| CN110738161A (zh) | 一种基于改进生成式对抗网络的人脸图像矫正方法 | |
| CN111428575A (zh) | 一种基于孪生网络的针对模糊目标的跟踪方法 | |
| CN101916455A (zh) | 一种高动态范围纹理三维模型的重构方法及装置 | |
| CN107833186A (zh) | 一种基于Encoder‑Decoder深度学习模型的单透镜空间变化图像复原方法 | |
| CN206819048U (zh) | 一种球幕投影系统 | |
| CN107194380A (zh) | 一种复杂场景下人脸识别的深度卷积网络及学习方法 | |
| CN110097498A (zh) | 基于无人机航迹约束的多航带图像拼接与定位方法 | |
| CN110930306A (zh) | 一种基于非局部感知的深度图超分辨率重建网络构建方法 | |
| CN110580726A (zh) | 基于动态卷积网络的自然场景下人脸素描生成模型及方法 | |
| CN108109118B (zh) | 一种无控制点的航拍图像几何校正方法 | |
| CN109788270A (zh) | 3d-360度全景图像生成方法及装置 | |
| CN116596815A (zh) | 一种基于多阶段对齐网络的图像拼接方法 | |
| CN108053376A (zh) | 一种语义分割信息指导深度学习鱼眼图像校正方法 | |
| CN109345470B (zh) | 人脸图像融合方法和系统 | |
| CN113284249B (zh) | 一种基于图神经网络的多视角三维人体重建方法及系统 | |
| CN112927304B (zh) | 一种基于卷积神经网络的鱼眼镜头标定方法 | |
| CN112489128A (zh) | 基于无监督深度学习的rgb-d室内无人机定位实现方法 | |
| CN109859263B (zh) | 一种基于鱼眼镜头的宽视角定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 801-805, 8th floor, Building A, No. 200, Tianfu Wujie, Chengdu High-tech Zone, Sichuan Province, 610000 Applicant after: CHENGDU JOUAV AUTOMATION TECHNOLOGY Co.,Ltd. Address before: 610000 No. 1, Tianfu Road, Chengdu hi tech Zone, Sichuan, China Applicant before: CHENGDU JOUAV AUTOMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 7 / F, area a, building 6, No. 200, Tianfu 5th Street, high tech Zone, Chengdu, Sichuan 610000 Patentee after: CHENGDU JOUAV AUTOMATION TECHNOLOGY Co.,Ltd. Country or region after: China Address before: Room 801-805, 8th floor, Building A, No. 200, Tianfu Wujie, Chengdu High-tech Zone, Sichuan Province, 610000 Patentee before: CHENGDU JOUAV AUTOMATION TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |