CN115049547A - 一种航拍图像实时增量拼接方法及系统及装置及介质 - Google Patents
一种航拍图像实时增量拼接方法及系统及装置及介质 Download PDFInfo
- Publication number
- CN115049547A CN115049547A CN202210981341.6A CN202210981341A CN115049547A CN 115049547 A CN115049547 A CN 115049547A CN 202210981341 A CN202210981341 A CN 202210981341A CN 115049547 A CN115049547 A CN 115049547A
- Authority
- CN
- China
- Prior art keywords
- image data
- image
- data
- real
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 3
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 239000000126 substance Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明公开了一种航拍图像实时增量拼接方法及系统及装置及介质，涉及遥感影像处理领域，本发明提供的航拍图像实时增量拼接方法及系统及装置及介质能够将无人机实时传回的影像数据拼接于全景图中，从而能够满足应急场景下对于航测所采集的若干环境影像数据图像进行实时成图的需求；同时，本发明所提供的航拍图像实时增量拼接方法不同于传统根据获取影像的顺序对影像进行处理，本发明通过实时对获得的图像进行优化，并将已拼接的全景图数据作为整体，在全景图的基础上进行图像的实时拼接，消除了图像拼接的累计误差，获得的结果更准确。
Description
技术领域
本发明涉及遥感影像处理领域，具体地，涉及一种航拍图像实时增量拼接方法及系统及装置及介质。
背景技术
目前，通过航测采集环境信息的技术在灾害检测、林业监控等行业得到了广泛的应用，航测采集到的环境信息能够为上述工作提供重要的基础数据，通过无人机等小型飞行器获得遥感影像信息相较于遥感卫星具有实时性、机动性的特点，能够有效弥补遥感卫星难以获得遮挡的地物信息以及获取图像时效性低的缺陷。目前的航测主要通过无人机航拍外业获得影像、内业离线生产成果的方式处理数据，获得整体环境信息。然而，内业与外业分离的方式需要大量的数据处理时间，一般而言，对于超过一千张的影像数据，传统内业与外业分离的方式需要20个小时以上的处理时间才能获得结果，其工作流程复杂，自动化程度低，无法满足应急救援等有快速响应需求的应用场景下的需要。
发明内容
为了满足应急场景下对于航测所采集的若干环境影像数据图像进行实时成图的需求，本发明提供了一种航拍图像实时增量拼接方法，所述航拍图像实时增量拼接方法包括：
步骤1：获得飞行器传回的第一影像数据和对应的定位测姿数据；
步骤2：根据所述定位测姿数据进行计算获得第一相似变换矩阵，根据所述第一相似变换矩阵对所述第一影像数据进行矫正，获得第二影像数据；
步骤3：计算所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率；
步骤4：判断是否存在全景图，若无则根据所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率计算行列数据，根据所述行列数据创建全景图，并执行步骤6，若有则执行步骤5；
步骤5：根据所述全景图和所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率更新所述全景图的行列数据，并执行步骤6；
步骤6：根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置，并返回执行步骤1。
其中，本发明原理为：获得飞行器实时传回的影像数据及对应的定位测姿数据，根据所述定位测姿数据对由于飞行器采集所述影像数据时由于飞行高度以及翻滚角度等因素对所述影像数据带来的畸变进行校正后，再根据校正后的影像数据创建相应尺寸的全景图，将所述影像数据嵌入所述全景图中，并继续获得飞行器实时传回的影像数据；当飞行器传回新的影像数据及新的影像数据对应的定位测姿数据时，同样对所述新的影像数据进行矫正后，先根据已有的全景图和所述新的影像数据更新所述全景图的行列信息，再将所述新的影像数据嵌入更新后的全景图中，所述全景图即为根据飞行器实时传回的影像数据进行实时拼接所获得的结果，满足了应急场景下对于航测所采集的若干环境影像数据图像进行实时成图的需求。其中，由于飞行器传回的影像数据可能会与全景图中已有的影像数据重叠，而飞行器每次采集所获得的影像数据对应的地理范围数据可能存在偏差，因此，仅根据飞行器当前传回的影像数据对应的地理范围数据将当前影像数据嵌入全景图中可能导致当前影像数据与全景图中已有的影像数据中重叠部分产生重映射误差，通过计算当前影像数据与全景图中已有的影像数据中重叠部分的相互关系，对当前影像数据对应的地理范围数据进行调整，能够实现通过消除图像间重映射误差的方式对当前影像数据对应的地理范围数据可能存在的偏差的优化，因此，所述步骤6还包括：
步骤6.1：根据所述第二影像数据对应的地理范围数据判断所述全景图中是否存在与所述第二影像数据重叠的影像，若有则执行步骤6.2，若无则执行步骤6.3；
步骤6.2：获得若干与所述第二影像数据重叠的重叠影像，分别将所述重叠影像与所述第二影像数据进行特征匹配，计算所述第二影像数据与重叠影像之间的若干第二相似变换矩阵；
步骤6.3：根据所述若干第二相似变换矩阵对所述第二影像数据进行计算，获得第三影像数据，根据所述第三影像数据对应的地理范围数据将所述第三影像数据嵌入所述全景图的对应位置。
进一步的，由于对传回的影像数据和已有的数据中的重叠影像进行特征匹配的过程中可能存在误匹配的情况，图像间的误匹配即在特征匹配中找到错误的特征点，导致获得错误的当前影像数据与重叠影像间的对应关系，从而影响凭借后的图像质量，因此所述步骤6.2中将所述重叠影像与所述第二影像数据进行特征匹配后，先通过算法剔除误匹配，再计算所述第二影像数据与重叠影像之间的若干相似变换矩阵。
进一步的，若当前影像与所述重叠影像重叠度较小，则无法通过特征匹配获得足够的同名点对，从而不便于计算相似变换矩阵，因此，所述步骤6.1中，当所述全景图中的图像与所述第二影像数据重叠度达到一定阈值时执行步骤6.2，否则执行步骤6.3。
进一步的，由于飞行器每次采集所获得的影像数据对应的地理定位数据可能会存在偏差，可以理解，通过上述特征匹配的方式消除当前影像数据与所述重叠影像间的重映射误差后，可以根据所述第三影像数据和所述第二影像数据的差异优化影像数据对应的地理范围数据的误差，因此，所述步骤6.3中，获得第三影像数据后，先根据所述若干第二相似变换矩阵更新所述第三影像数据对应的地理范围数据，再将所述第三影像数据嵌入所述全景图的对应位置。
其中，当拼接次数增加时，所获得的全景图可能存在较大的累计误差，为了消除所述累计误差，修安排在每次拼接完成后对已拼接的全景图进行优化，使已有的全景图更新并作为后续收到的影像数据拼接的基础，从而消除图像拼接的累计误差，因此，所述步骤6中，根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置后，先根据所述全景图和所述定位测姿数据对所述全景图进行优化，再执行所述步骤1。
其中，由于若干影像数据间会因为不同的拍摄角度、拍摄高度以及图像分辨率产生较大的差异，为了消除图像间由于采集时带来的差异，便于将若干影像数据拼接于全景图中，所述定位测姿数据包括地理定位数据、拍摄相对航高、拍摄翻滚角、拍摄俯仰角和拍摄偏航角。
其中，由于所述影像数据经矫正后不一定是标准的矩形，因此，为了准确的确定矫正后的影像数据对应的地理范围，所述地理范围数据包括所述第二影像数据四个角点对应的地理坐标。
为了实现上述目的，本发明提供了一种航拍图像实时增量拼接系统，所述系统包括：
图像获得单元，用于获得航拍采集的第一影像数据和对应的定位测姿数据；
图像矫正单元，用于根据所述定位测姿数据对所述第一影像数据进行矫正，获得第二影像数据；
图像处理单元，用于计算所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率，并创建和/或更新对应的全景图；
图像优化单元，用于优化所述第二影像数据和/或所述全景图；
图像嵌入单元，用于根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置。
为了实现上述目的，本发明提供了一种航拍图像实时增量拼接装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述航拍图像实时增量拼接方法的步骤。
为了实现上述目的，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述航拍图像实时增量拼接方法的步骤。
本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：本发明提供的航拍图像实时增量拼接方法及系统及装置及介质能够将无人机实时传回的影像数据拼接于全景图中，从而能够满足应急场景下对于航测所采集的若干环境影像数据图像进行实时成图的需求；同时，本发明所提供的航拍图像实时增量拼接方法不同于传统根据获取影像的顺序对影像进行处理，本发明通过实时对获得的图像进行优化，并将已拼接的全景图数据作为整体，在全景图的基础上进行图像的实时拼接，消除了图像拼接的累计误差，获得的结果更准确。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；
图1是本发明中航拍图像实时增量拼接方法流程示意图；
图2是本发明中航拍图像实时增量拼接系统示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
请参考图1，本发明实施例一提供了一种航拍图像实时增量拼接方法，所述航拍图像实时增量拼接方包括：
步骤1：获得飞行器传回的第一影像数据和对应的定位测姿数据，所述定位测姿数据包括地理定位数据、拍摄相对航高、拍摄翻滚角、拍摄俯仰角和拍摄偏航角，记所述第一影像数据为
则所述第一影像数据中心为
；
其中，j表示第j个获得的第一影像数据，w表示图像的宽度，h表示图像的高度；
步骤2：根据所述定位测姿数据进行计算获得第一相似变换矩阵
，根据所述第一相似变换矩阵
对所述第一影像数据
进行矫正，获得第二影像数据，记为
，其中，所述第一相似变换矩阵
表示第j个获得的第一影像数据
与其对应的第二影像数据
间的对应关系，记第二影像数据中心为
，可以理解，由于所述第二影像数据
为经过矫正后的数据，其图像坐标即为对应的地理坐标，所述第二影像数据中心
即为所述第一影像数据中心
对应的地理坐标；
步骤3：计算所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率GSD，其中，所述地理范围数据包括所述第二影像数据四个角点对应的地理坐标数据；
步骤4：判断是否存在全景图，若无则根据所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率计算行列数据，根据所述行列数据创建全景图，并执行步骤6，若有则执行步骤5；
步骤5：根据所述全景图和所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率更新所述全景图的行列数据，并执行步骤6；
步骤6：根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置，并返回执行步骤1。
其中，在本实施例中，为了消除飞行器传回的影像数据与全景图中已有的影像数据间的重映射误差，所述步骤6还包括：
步骤6.1：根据所述第二影像数据
对应的地理范围数据判断所述全景图中是否存在与所述第二影像数据
重叠的影像，若有则执行步骤6.2，若无则执行步骤6.3；
步骤6.2：获得若干与所述第二影像数据
重叠的重叠影像，分别将所述重叠影像与所述第二影像数据
进行特征匹配，获得所述第二影像数据
与重叠影像的同名点对
和
；
其中，
为所述第二影像数据
中的点，
为所述重叠影像中的点，
和
相互对应，n用于表示当前影像与重叠影像的若干同名点对；
计算所述第二影像数据
与重叠影像之间的若干第二相似变换矩阵
，其中，
表示所述第二影像数据
与获得的第i张所述重叠影像间同名点对的对应关系；
步骤6.3：根据所述若干第二相似变换矩阵
对所述第二影像数据
进行计算，获得第三影像数据
，根据所述第三影像数据对应的地理范围数据将所述第三影像数据
嵌入所述全景图的对应位置。
进一步的，所述步骤6.1中，当所述全景图中的图像与所述第二影像数据
重叠度达到一定阈值时执行步骤6.2，否则执行步骤6.3。
其中，所述根据所述若干第二相似变换矩阵
对所述第二影像数据
进行计算，获得第三影像数据具体方式为：
对于所述第二影像数据
创建维度为3×3的单位矩阵作为初始优化矩阵
，则所述第二影像数据
与所述重叠影像之间的同名点对之间的对应关系为：
所述第二影像数据
与所述重叠影像之间的重映射误差为：
其中，e表示重映射误差；
对于获得的若干与所述第二影像数据
重叠的重叠影像，设所述重叠影像有m幅，则m幅重叠影像的重映射误差之和
为：
其中，
表示m幅重叠影像的重映射误差之和。
可以理解，可以通过求解所述初始优化矩阵
使所述m幅重叠影像的重映射误差之和
最小，从而消除重映射误差，在通过LM算法迭代求解出
后，对所述第二影像数据
进行变换，获得第三影像数据
。
其中，当所述全景图中的图像与所述第二影像数据重叠度较小时，对获得的重叠影像与所述第二影像数据进行特征匹配时无法获得足够的同名点对，从而无法构建相似变换矩阵，因此，所述阈值优选为30%。
进一步的，所述步骤6.2中将所述重叠影像与所述第二影像数据进行特征匹配后，先通过算法剔除误匹配，再计算所述第二影像数据与重叠影像之间的若干相似变换矩阵，其中，所述特征匹配以及误匹配的剔除均通过特征匹配算法实现，所述特征匹配算法包括汉明距离算法、FLANN算法、Lowers算法、RANSAC算法以及LMEDS算法等，由于需要对所述重叠影像与所述第二影像数据进行特征匹配，并在特征匹配所获得的结果中进一步剔除误匹配项，且计算数据量较大，因此，本实施例优选计算效率高的FLANN算法实现对所述重叠影像与所述第二影像数据的特征匹配，优选可以设定阈值对匹配结果进行筛选的RANSAC算法实现对误匹配项的筛除。
进一步的，为了进一步优化影像数据的地理位置信息，所述步骤6.3中，获得第三影像数据后，先根据所述若干第二相似变换矩阵更新所述第三影像数据对应的地理范围数据，再将所述第三影像数据嵌入所述全景图的对应位置。
其中，所述根据所述若干第二相似变换矩阵更新所述第三影像数据对应的地理范围数据的具体计算方式为：
记所述第三影像数据
中心为
，则有：
易知，若所述第二影像数据
中的特征点
在所述第三影像数据
中记为
，则有：
其中，
为所述第三影像数据
中的特征点；
根据所述第三影像数据
中心
及其对应的地理坐标
和地面分辨率GSD计算所述第三影像数据
上的特征点
对应的地理坐标
：
同理，可以计算所述重叠影像上同名点
对应的地理坐标
：
理论上
与
相等，但由于图像对应的地理范围数据存在一定的误差，导致
和
存在一定偏移量，此时所述第三影像数据的偏移误差
为：
其中，
表示所述第三影像数据
的偏移误差，通过LM算法进行迭代求解获得优化后的地理坐标
和地理分辨率GSD，根据所述优化后的地理坐标
和所述地理分辨率GSD进行计算，即可实现更新所述第三影像数据
对应的地理范围数据。
其中，在本实施例中，所述步骤6中，根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置后，先根据所述全景图和所述定位测姿数据对所述全景图进行优化，再执行所述步骤1。
其中，所述根据所述全景图和所述定位测姿数据对所述全景图进行优化的具体方式为：
根据所述全景图的左上角点的地理坐标
和图像分辨率GSD将已镶嵌进入所述全景图的
幅影像的中心点的地理坐标转换为在全景图中的像素坐标
，当全景图左上角地理坐标
和GSD改变时，全景图中各镶嵌影像的像素坐标不会变化，各影像中心新的地理坐标
为：
而所述全景图存在的误差为：
其中，
表示所述全景图地理位置的误差，
表示飞行器传回的第j个影像数据对应的地理定位数据，
表示所述全景图的左上角点的地理坐标，
表示已镶嵌进入所述全景图的
幅影像的中心点在所述全景图中对应的像素坐标，根据LM算法迭代求解获得优化后的
和GSD后，更新所述全景图对应的地理位置信息，从而能够实现对所述全景图的优化。
其中，所述
还可以是所述全景图左下角、右上角、右下角、中心点或所述全景图中任意一个特征点对应的地理坐标，本实施例在此不做具体限定。
实施例二
请参考图2，本发明实施例二提供了一种航拍图像实时增量拼接系统，所述系统包括：
图像获得单元，用于获得航拍采集的第一影像数据和对应的定位测姿数据；
图像矫正单元，用于根据所述定位测姿数据对所述第一影像数据进行矫正，获得第二影像数据；
图像处理单元，用于计算所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率，并创建和/或更新对应的全景图；
图像优化单元，用于优化所述第二影像数据和/或所述全景图；
图像嵌入单元，用于根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置。
实施例三
本发明实施例三提供了一种航拍图像实时增量拼接装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述航拍图像实时增量拼接方法的步骤。
实施例四
本发明实施例四提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述航拍图像实时增量拼接方法的步骤。
其中，所述处理器可以是中央处理器（CPU，Central Processing Unit），还可以是其他通用处理器、数字信号处理器（digital signal processor）、专用集成电路（Application Specific Integrated Circuit）、现成可编程门阵列（Field programmablegate array）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器也可以是任何常规的处理器。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中航拍图像实时增量拼接装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述航拍图像实时增量拼接装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序存储于一个计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
本发明已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (11)
1.一种航拍图像实时增量拼接方法，其特征在于，所述航拍图像实时增量拼接方包括：
步骤1：获得飞行器传回的第一影像数据和对应的定位测姿数据；
步骤2：根据所述定位测姿数据进行计算获得第一相似变换矩阵，根据所述第一相似变换矩阵对所述第一影像数据进行矫正，获得第二影像数据；
步骤3：计算所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率；
步骤4：判断是否存在全景图，若无则根据所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率计算行列数据，根据所述行列数据创建全景图，并执行步骤6，若有则执行步骤5；
步骤5：根据所述全景图和所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率更新所述全景图的行列数据，并执行步骤6；
步骤6：根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置，并返回执行步骤1。
2.根据权利要求1所述的一种航拍图像实时增量拼接方法，其特征在于，所述步骤6还包括：
根据所述第二影像数据对应的地理范围数据判断所述全景图中是否存在与所述第二影像数据重叠的影像，若有则执行步骤6.2，若无则执行步骤6.3；
步骤6.2：获得若干与所述第二影像数据重叠的重叠影像，分别将所述重叠影像与所述第二影像数据进行特征匹配，计算所述第二影像数据与重叠影像之间的若干相似变换矩阵；
步骤6.3：根据所述若干第二相似变换矩阵对所述第二影像数据进行计算，获得第三影像数据，根据所述第三影像数据对应的地理范围数据将所述第三影像数据嵌入所述全景图的对应位置。
3.根据权利要求2所述的一种航拍图像实时增量拼接方法，其特征在于，所述步骤6.2中将所述重叠影像与所述第二影像数据进行特征匹配后，先通过算法剔除误匹配，再计算所述第二影像数据与重叠影像之间的若干相似变换矩阵。
4.根据权利要求2所述的一种航拍图像实时增量拼接方法，其特征在于，所述步骤6.1中，当所述全景图中的图像与所述第二影像数据重叠度达到一定阈值时执行步骤6.2，否则执行步骤6.3。
5.根据权利要求2所述的一种航拍图像实时增量拼接方法，其特征在于，所述步骤6.3中，获得第三影像数据后，先根据所述若干第二相似变换矩阵更新所述第三影像数据对应的地理范围数据，再将所述第三影像数据嵌入所述全景图的对应位置。
6.根据权利要求1所述的一种航拍图像实时增量拼接方法，其特征在于，所述步骤6中，根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置后，先根据所述全景图和所述定位测姿数据对所述全景图进行优化，再执行所述步骤1。
7.根据权利要求1-6中任意一个所述的一种航拍图像实时增量拼接方法，其特征在于，所述定位测姿数据包括地理定位数据、拍摄相对航高、拍摄翻滚角、拍摄俯仰角和拍摄偏航角。
8.根据权利要求1-6中任意一个所述的一种航拍图像实时增量拼接方法，其特征在于，所述地理范围数据包括所述第二影像数据四个角点对应的地理坐标。
9.一种航拍图像实时增量拼接系统，其特征在于，所述系统包括：
图像获得单元，用于获得航拍采集的第一影像数据和对应的定位测姿数据；
图像矫正单元，用于根据所述定位测姿数据对所述第一影像数据进行矫正，获得第二影像数据；
图像处理单元，用于计算所述第二影像数据对应的地理范围数据和所述第二影像数据对应的地面分辨率，并创建和/或更新对应的全景图；
图像优化单元，用于优化所述第二影像数据和/或所述全景图；
图像嵌入单元，用于根据所述第二影像数据对应的地理范围数据将所述第二影像数据嵌入所述全景图的对应位置。
10.一种航拍图像实时增量拼接装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任意一个所述航拍图像实时增量拼接方法的步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任意一个所述航拍图像实时增量拼接方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210981341.6A CN115049547B (zh) | 2022-08-16 | 2022-08-16 | 一种航拍图像实时增量拼接方法及系统及装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210981341.6A CN115049547B (zh) | 2022-08-16 | 2022-08-16 | 一种航拍图像实时增量拼接方法及系统及装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115049547A true CN115049547A (zh) | 2022-09-13 |
| CN115049547B CN115049547B (zh) | 2022-10-21 |
Family
ID=83167481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210981341.6A Active CN115049547B (zh) | 2022-08-16 | 2022-08-16 | 一种航拍图像实时增量拼接方法及系统及装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115049547B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110141227A1 (en) * | 2009-12-11 | 2011-06-16 | Petronel Bigioi | Stereoscopic (3d) panorama creation on handheld device |
| US8805091B1 (en) * | 2012-08-17 | 2014-08-12 | Google Inc. | Incremental image processing pipeline for matching multiple photos based on image overlap |
| US20150363952A1 (en) * | 2014-06-12 | 2015-12-17 | Hisense Electric Co., Ltd. | Image Obtaining Method, Photographing Apparatus And Storage Medium |
| WO2017193372A1 (zh) * | 2016-05-13 | 2017-11-16 | 深圳市赛亿科技开发有限公司 | 一种实现全景图像拼接的方法及系统 |
| CN110246082A (zh) * | 2019-05-07 | 2019-09-17 | 华中科技大学 | 一种遥感全景图像拼接方法 |
| CN112288634A (zh) * | 2020-10-29 | 2021-01-29 | 江苏理工学院 | 一种多无人机航拍图像的拼接方法及装置 |
| CN114359300A (zh) * | 2022-03-18 | 2022-04-15 | 成都数之联科技股份有限公司 | 一种图像分割模型的优化方法、装置、系统及存储介质 |
| CN114529561A (zh) * | 2022-02-22 | 2022-05-24 | 成都数之联科技股份有限公司 | 线路图像与背景板图像的分割方法及系统及装置及介质 |
-
2022
- 2022-08-16 CN CN202210981341.6A patent/CN115049547B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110141227A1 (en) * | 2009-12-11 | 2011-06-16 | Petronel Bigioi | Stereoscopic (3d) panorama creation on handheld device |
| US8805091B1 (en) * | 2012-08-17 | 2014-08-12 | Google Inc. | Incremental image processing pipeline for matching multiple photos based on image overlap |
| US20150363952A1 (en) * | 2014-06-12 | 2015-12-17 | Hisense Electric Co., Ltd. | Image Obtaining Method, Photographing Apparatus And Storage Medium |
| WO2017193372A1 (zh) * | 2016-05-13 | 2017-11-16 | 深圳市赛亿科技开发有限公司 | 一种实现全景图像拼接的方法及系统 |
| CN110246082A (zh) * | 2019-05-07 | 2019-09-17 | 华中科技大学 | 一种遥感全景图像拼接方法 |
| CN112288634A (zh) * | 2020-10-29 | 2021-01-29 | 江苏理工学院 | 一种多无人机航拍图像的拼接方法及装置 |
| CN114529561A (zh) * | 2022-02-22 | 2022-05-24 | 成都数之联科技股份有限公司 | 线路图像与背景板图像的分割方法及系统及装置及介质 |
| CN114359300A (zh) * | 2022-03-18 | 2022-04-15 | 成都数之联科技股份有限公司 | 一种图像分割模型的优化方法、装置、系统及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| YANLI WAN 等: "Automatic panorama image mosaic and ghost eliminating", 《ICME 2008》 * |
| 李岩山 等: "一种新的无人机航拍序列图像快速拼接方法", 《电子学报》 * |
| 杨春德 等: "基于拼接缝自适应消除和全景图矫直的快速图像拼接算法", 《计算机应用》 * |
| 王书民 等: "基于无人飞艇数字摄影测量系统及航拍序列图像拼接", 《测绘科学》 * |
| 高翔 等: "位姿信息的小型无人机影像拼接方法", 《测绘科学》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115049547B (zh) | 2022-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9270891B2 (en) | Estimation of panoramic camera orientation relative to a vehicle coordinate frame | |
| CN111583110B (zh) | 一种航拍图像的拼接方法 | |
| US11288525B2 (en) | Object detection for distorted images | |
| CN110717861B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| CN110648283A (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| CN111507901B (zh) | 基于航带gps及尺度不变约束的航拍图像拼接定位方法 | |
| CN112396640B (zh) | 图像配准方法、装置、电子设备及存储介质 | |
| CN108230235B (zh) | 一种视差图生成系统、方法及存储介质 | |
| CN114936971A (zh) | 一种面向水域的无人机遥感多光谱图像拼接方法及系统 | |
| CN115187798A (zh) | 一种多无人机高精度匹配定位方法 | |
| US10157497B2 (en) | Textured digital elevation model generation | |
| KR20110082903A (ko) | 항공사진의 정사보정 및 최적화된 정사영상 제작 방법 | |
| JP7220785B2 (ja) | 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体 | |
| CN113222820A (zh) | 一种位姿信息辅助的航空遥感图像拼接方法 | |
| CN113297958A (zh) | 一种自动化标注方法、装置、电子设备和存储介质 | |
| CN114897676A (zh) | 一种无人机遥感多光谱图像拼接方法、设备及介质 | |
| CN114881931A (zh) | 基于双光融合的光伏面板缺陷检测方法、系统、设备和计算机可读存储介质 | |
| JP7220784B2 (ja) | 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体 | |
| CN112750075A (zh) | 一种低空遥感影像拼接方法以及装置 | |
| CN110310243A (zh) | 一种无人机摄影测量的图像校正方法、系统和存储介质 | |
| CN115049547B (zh) | 一种航拍图像实时增量拼接方法及系统及装置及介质 | |
| CN112132029A (zh) | 一种面向地震应急响应的无人机遥感影像快速定位方法 | |
| CN117351053B (zh) | 光伏电站图像配准方法、存储介质和电子设备 | |
| CN116823616A (zh) | 一种无人机图像实时拼接方法、系统、设备及存储介质 | |
| US20240062501A1 (en) | Image stitching method using image masking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |