CN112017115A - 遥感影像拼接方法、装置、设备及存储介质 - Google Patents
遥感影像拼接方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112017115A CN112017115A CN202010658547.6A CN202010658547A CN112017115A CN 112017115 A CN112017115 A CN 112017115A CN 202010658547 A CN202010658547 A CN 202010658547A CN 112017115 A CN112017115 A CN 112017115A
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic
- splicing
- distance
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000012216 screening Methods 0.000 claims description 40
- 238000010606 normalization Methods 0.000 claims description 18
- 238000012935 Averaging Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供遥感影像拼接方法、装置、设备及存储介质。在本申请的一些实施例中，遥感影像拼接方法包括：获取待拼接的第一图像和第二图像；确定所述第一图像和所述第二图像中对应特征点；基于所述对应特征点，构建至少三组特征点对；根据所述至少三组特征点对分别对应的距离特征和方向特征，对所述第一图像和所述第二图像进行拼接处理。通过上述方案，根据遥感影像的特点，利用特征点对的距离特征和方向特征对特征点进行筛选，从而得到匹配的特征点实现对第一图像和第二图像的拼接处理，能够获得更加准确的拼接效果，提高拼接效率。
Description
技术领域
本申请人工智能技术领域，尤其涉及遥感影像拼接方法、装置、设备及存储介质。
背景技术
随着遥感成像技术的发展，越来越多的行业使用遥感成像技术，比如农业作物监控、地形地貌勘察、抗震救灾图像采集等等。
在实际应用中，遥感拍摄设备通常会从不同的位置拍摄多张图像，各个图像中的内容不完全相同。将拍摄获得多张图像进行拼接处理，才能够生成完整的目标图像。在进行图像拼接的时候，往往基于待拼接的两张图像中指定特征进行拼接，比如，第一图像和第二图像中都含有相同的特征点，则基于该特征点对第一图像和第二图像进行拼接处理。
发明内容
本申请的多个方面提供遥感影像拼接方法、装置、设备及存储介质，用以实现对遥感影像进行拼接处理。
第一方面，本申请实施例提供一种遥感影像拼接方法，所述方法包括：
获取待拼接的第一图像和第二图像；
确定所述第一图像和所述第二图像中对应特征点；
基于所述对应特征点，构建至少三组特征点对；
根据所述至少三组特征点对分别对应的距离特征和方向特征，对所述第一图像和所述第二图像进行拼接处理。
可选地，获取在第一拍摄位置拍摄的所述第一图像；
获取在第二拍摄位置拍摄的所述第二图像。
可选地，针对所述第一图像和所述第二图像做归一化处理；
基于归一化处理结果，确定所述第一图像和所述第二图像中对应特征点。
可选地，确定所述第一图像和所述第二图像中包含的相同目标对象；
基于所述相同目标对象，确定至少三组对应特征点。
可选地，构建所述特征点对对应的特征点连线；
基于所述至少三组特征点对对应的特征点连线，确定所述至少三组特征点对分别对应的两个特征点之间的距离特征；
确定至少三组特征点连线相对水平方向偏移的方向特征。
可选地，基于所述距离特征和所述方向特征，筛选所述对应特征点；
根据所述筛选结果，确定拼接特征点；
基于所述拼接特征点，对所述第一图像和所述第二图像进行拼接处理。
可选地，若所述对应特征点的所述距离特征小于第一阈值，且所述方向特征小于第二阈值，则确定所述对应特征点为拼接特征点。
可选地，对至少三组距离特征进行均值化处理，得到距离特征均值；
对至少三组方向特征进行均值化处理，得到方向特征均值；
若所述距离特征与所述距离特征均值之间的差值小于第一阈值，且所述方向特征与所述方向特征均值之间的差值小于第二阈值，则对应的特征点为拼接特征点。
第二方面，本申请实施例提供一种遥感影像拼接装置，所述装置包括：
获取模块，用于获取待拼接的第一图像和第二图像；
确定模块，用于确定所述第一图像和所述第二图像中对应特征点；
构建模块，用于基于所述对应特征点，构建至少三组特征点对；
拼接模块，用于根据所述至少三组特征点对分别对应的距离特征和方向特征，对所述第一图像和所述第二图像进行拼接处理。
第三方面，本申请实施例提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行包括以下的动作：
获取待拼接的第一图像和第二图像；
确定所述第一图像和所述第二图像中对应特征点；
基于所述对应特征点，构建至少三组特征点对；
根据所述至少三组特征点对分别对应的距离特征和方向特征，对所述第一图像和所述第二图像进行拼接处理。
第四方面，本申请实施例提供一种航拍设备，包括：
机体；
动力系统，设置于所述机体上，用于为所述机体提供动力；
第二方面所述的遥感影像拼接装置，所述装置设置于所述机体上。
在本申请的一些实施例中，利用遥感拍摄设备拍摄得到第一图像和第二图像，从第一图像和第二图像中分别确定对应特征点，进而构建至少三组特征点对。进一步确定至少三组特征点对的距离特征和方向特征，进而基于距离特征和方向特征对多组特征点对进行筛选，从而根据筛选得到的多组特征点对实现第一图像和第二图像的拼接处理。通过上述方案，根据遥感影像的特点，利用特征点对的距离特征和方向特征对特征点进行筛选，从而得到匹配的特征点实现对第一图像和第二图像的拼接处理，能够获得更加准确的拼接效果，提高拼接效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种遥感影像拼接方法的流程示意图；
图2为本申请实施例提供的确定特征信息的示意图；
图3a为本申请实施例提供的一种对应特征点筛选进行拼接处理方法的流程示意图；
图3b为本申请实施例提供的另一种对应特征点筛选进行拼接处理方法的流程示意图；
图4为本申请实施例提供的一种对特征点进行初步筛选的示意图；
图5为本申请实施例提供的一种遥感影像拼接装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种遥感影像拼接方法。如图1为本申请实施例提供的一种遥感影像拼接方法的流程示意图，用于满足快速、精准的遥感影像拼接需求。主要包括如下步骤：
101：获取待拼接的第一图像和第二图像。
102：确定所述第一图像和所述第二图像中对应特征点。
103：基于所述对应特征点，构建至少三组特征点对。
104：根据所述至少三组特征点对分别对应的距离特征和方向特征，对所述第一图像和所述第二图像进行拼接处理。
在利用遥感拍摄设备对指定目标或者指定区域进行航拍的时候，由于拍摄设备的视角范围有限，需要针对同一区域进行多次拍摄，得到多个第一图像和多个第二图像，然后对拍摄得到的第一图像和第二图像进行拼接处理，进而生成一张包含指定区域或指定目标的完整图像。因此，图像的获取过程以及利用第一图像和第二图像拼接过程中所采用的拼接方法将直接影响到拼接效果的好坏。下面分别对遥感影响拍摄过程和拼接过程进行展开说明。
在确定好待拍摄区域之后，预先定义好拍摄航线、拍摄速度、拍摄高度、拍摄角度等等。根据图像所在航线关系，可以将重叠度分为航向重叠度和旁向重叠度。在同一航线上的第一图像和第二图像之间的重叠度可以为航向重叠度，一般来说，航向重叠度至少要大于50％，一般在60％左右。需要说明的是，如果重叠度过大，将会对成像设备造成过度的消耗，影响遥感影像成像效率；若重叠度过小，则会因为过分利用影像边缘作业而降低解译和拼接精度。因此，在获取遥感影像的时候，保证第一图像和第二图像具有合适的重叠度即可。
例如，控制遥感拍摄设备沿着航线移动，并在航线上标记出各个拍摄位置。比如，在第一拍摄位置拍摄得到第一图像，然后沿着同一航线平移，在第二拍摄位置拍摄得到第二图像。第一拍摄位置和第二拍摄位置之间的距离，根据所要拍摄的第一图像和第二图像重叠度确定的。拍摄第一图像和第二图像的时候，遥感拍摄设备采用相同的俯视角和视场角等拍摄参数。在拍摄过程中，通过预先在航线上标记拍摄位置，能够控制遥感拍摄设备按需拍摄，避免频繁拍摄，降低拍摄功耗，避免因为获取过多无用图像导致浪费存储空间。
这里所说的对应特征点可以理解为，在第一图像和第二图像中表示同一目标对象的像素点。一般来说，在进行图像拼接的时候，需要从第一图像和第二图像中选择出多组特征点对。根据多组特征点对之间的匹配度，实现对第一图像和第二图像的拼接。若特征点不匹配，或者特征点数量不够，则将重新筛选图像完成匹配工作。
在实际应用中，遥感拍摄设备距离被拍摄目标比较远，容易受到光线等环境因素影响。因此，在拍摄得到第一图像和第二图像之后，需要对第一图像和第二图像做归一化处理，并基于归一化处理结果，从第一图像和第二图像中确定对应特征点。对第一图像和第二图像进行归一化处理的方式可以有多种，比如，进行全局对比度归一化处理、局部对比度归一化处理等等。经过归一化处理后，能够更加精准的从第一图像和第二图像中找到多组待选对应特征点，为后续对应特征点筛选提供更多参考点，从而获得准确的拼接效果。
具体来说，全局对比度归一化处理可以理解为从图像中针对每个像素减去该图像的像素平均值，然后重新缩放使得其像素上的标准差等于某个常数，从而消除较大对比度问题。局部对比度归一化是对图像中每个小窗口进行归一化处理，而不是对整张图像进行归一化处理。利用局部对比度归一化处理通常使用可分离卷积来计算特征映射的局部平均值和局部标准差，然后在不同的特征映射上使用逐元素的减法和除法。
对于第一图像和第二图像的亮度归一化处理，可以采用直方图均衡化方式。
如前文所述可知，在进行图像拼接的时候，需要从第一图像和第二图像中分别获取多组特征点对，然后提取这些特征点的特征信息。如图2为本申请实施例提供的确定特征信息的示意图。在图2中可以看到，第一图像中包括目标对象从左到右依次是圆形、三角形、矩形，第二图像中包括目标对象从左到右依次是三角形、矩形、梯形，从图中可以看出，第一图像和第二图像具的重叠度大于50％。然后，将第一图像和第二图像中重叠部门包含的目标对象三角形、矩形作为对应特征点。基于不同图像中重叠部分所包含的相同目标对象更容易确定对应特征点，提高特征点选取的效率。
对第一图像和第二图像中的三角形和矩形中对应特征点分别进行连线，可以得到三角形连线a1、a2、a3，以及矩形连线b1、b2、b3、b4。进而，获取到各个连线的线长作为对应特征点的距离特征。同时，将各个连线相对于水平线的偏移作为方向特征。例如，如图2所示，a1的距离为sa1，与水平线的夹角为ca1。依次类推，可以得到第一图像和第二图像中所有对应特征点的距离特征和方向特征。
容易理解的是，在获取遥感影像的时候，由于物距比较远，若拍摄角度发生微小偏差，可能会导致所得到的图像发生很大偏差。因此，在确定第一图像和第二图像中对应特征点的时候，可以建立第一图像中特征点与第二图像中特征点之间的对应关系，根据对应关系生成多组特征点对，然后，在确定各组对应特征点的距离特征和方向特征。如果获取到的第一图像和第二图像中多个对应特征点中，有一部分特征点偏差比较明显，这些对应特征点将不能用于进行图像拼接。具体地，可以利用距离特征和方向特征对多组特征点对进行筛选，将偏差比较大的对应特征点剔除，筛选并保留偏差小或者没有偏差的对应特征点作为拼接特征点。进而，基于拼接特征点，对第一图像和第二图像进行拼接处理。
本方案不同于传统的分别对各个待拼接图像中特征点进行筛选，而是通过建立特征点对，进一步的根据需要建立特征点对之间的连线。对待拼接图像中的特征点成对筛选，筛选效率更高，得到的特征点更能符合拼接需求。
此外，在进行特征点对的筛选的时候，并不是单独使用距离特征或者方向特征进行筛选，而是将距离特征和方向特征同时作为筛选条件。因为，若仅用方向特征作为筛选条件，当特征点在同一条直线上的时候，都具有相同的方向特征，则无法进行特征点对的筛选。同理，若仅有距离特征，一条直线旋转过程中，有多种情况能够满足距离特征筛选条件。因此，将距离特征和方向特征作为特征点对的筛选条件，能够更加精准的筛选出符合拼接需求的特征点。
如图3a为本申请实施例提供的一种对应特征点筛选进行拼接处理方法的流程示意图。该方法主要包括以下步骤：
301：基于所述距离特征和所述方向特征，筛选所述对应特征点；
302：根据所述筛选结果，确定拼接特征点。具体来说，若所述对应特征点的所述距离特征小于第一阈值，且所述方向特征小于第二阈值，则确定所述对应特征点为拼接特征点。
303：基于所述拼接特征点，对所述第一图像和所述第二图像进行拼接处理。
对应特征点筛选的方式可以有多种，一种方式是可以采用预设阈值的方式对特征点进行筛选。例如，用户根据实验结果或者根据经验预定义用于判断距离特征的第一阈值S，和用于判断方向特征的第二阈值C。然后，将a1、a2、a3、b1、b2、b3、b4分别对应的长度sa1、sa2、sa3、sb1、sb2、sb3、sb4分别与S进行对比，若大于S，则认为对应特征点不能满足拼接需求。将a1、a2、a3、b1、b2、b3、b4与水平方向的夹角ca1、ca2、ca3、cb1、cb2、cb3、cb4与第二阈值C进行比较，若某个夹角超过第二阈值C，则认为该特征点不满足拼接需求。若某组对应特征点的距离特征小于第一阈值S，且方向特征小于第二阈值C，则认为该组对应特征点可以用于进行拼接处理。需要说明的是，在进行对应特征点筛选的时候，需要距离特征和方向特征均满足才被保留下，若仅距离特征或者仅方向特征满足，则该组对应特征点仍不能作为用于拼接的特征点。
如图3b为本申请实施例提供的另一种对应特征点筛选进行拼接处理方法的流程示意图。该方法主要包括以下步骤：
401：对至少三组距离特征进行均值化处理，得到距离特征均值。
402：对至少三组方向特征进行均值化处理，得到方向特征均值。
403：若所述距离特征与所述距离特征均值之间的差值小于第一阈值，且所述方向特征与所述方向特征均值之间的差值小于第二阈值，则对应的特征点为拼接特征点。
具体来说，可以通过对第一图像和第二图像中得到的多组特征点对分别对应的距离特征进行均值化处理，然后再根据距离特征对特征点进行筛选。例如，假设，a1、a2、a3、b1、b2、b3、b4分别对应的长度sa1、sa2、sa3、sb1、sb2、sb3、sb4，通过对sa1、sa2、sa3、sb1、sb2、sb3、sb4求平均，得到待拼接的第一图像和第二图像中所有对应特征点的距离均值S，然后，将sa1、sa2、sa3、sb1、sb2、sb3、sb4再分别与S进行比较，若sa1、sa2、sa3、sb1、sb2、sb3、sb4中某个距离与S之间的差值大于第一阈值m，则认为该距离特征不满足拼接需求。采用同样的方式，假设，a1、a2、a3、b1、b2、b3、b4与水平方向的夹角ca1、ca2、ca3、cb1、cb2、cb3、cb4。通过对a1、a2、a3、b1、b2、b3、b4分别对应的与水平方向的夹角求平均值，得到角度平均值C，然后将ca1、ca2、ca3、cb1、cb2、cb3、cb4与C进行比较，若ca1、ca2、ca3、cb1、cb2、cb3、cb4中某个夹角与C之间的差值大于第二阈值n，则认为该方向特征不满足拼接需求。需要说明的是，在进行对应特征点筛选的时候，需要距离特征和方向特征均满足才被保留下，若仅距离特征或者仅方向特征满足，则该组对应特征点仍不能作为用于拼接的特征点。容易理解的是，若第一图像和第二图像中选择到的所有对应特征点都不能作为拼接特征点，则表示这两个待拼接图像中至少一个无法满足拼接需求，需要重新选择待拼接图像。
通过对第一图像和第二图像中所包含的多组特征点对的筛选，能够避免不合格特征点对拼接过程的干扰，得到一致性更好的用于拼接的对应特征点。并且，在筛选的时候，按照特征点对进行筛选，而不是单独针对单个特征点筛选，从而能够获得符合拼接需求的特征点。
如图4为本申请实施例提供的一种对特征点进行初步筛选的示意图。在利用距离特征和方向特征对特征点对进行筛选之前，可以先对特征点进行初步的基础筛选。比如，可以利用RANSAC算法进行初步筛选。RANSAC算法的具体描述是：给定N个数据点组成的集合P，假设集合中大多数的点都是可以通过一个模型来产生的，且最少通过n个点(n<N)可以拟合出模型的参数。具体过程如下：
1)如图4a在两张影像的特征点对中随机选取R组特征点对(这里取R＝4，即散点图上任意两点)，采用直接线性变换(DLT)方法计算他们之间的的单应矩阵。由于散点图每个点都是由两个匹配点对构成，所以就是图上两点之间的连线。
2)如图4b将应用在其他所有散点上，将所有近似满足的点(到直线的欧氏距离小于阈值)标记为内点，反之就是外点(实线之间标记为内点，其余点标记为外点)。
3)如图4c用所有假设的局内点去重新估计模型(使用最小二乘法)，并将新的估计结果当作这部分内点所对应的单应性矩阵。
4)如图4d重复上述步骤500次，记录每次迭代得到的和。最终选取内点数量最多并且数量满足一定阈值(本次研究定为20)的作为本次影像匹配的单应性矩阵的估计，且保留其对应的内点作为正确匹配点。
在实际应用中，利用本方案对特征点进行筛选之前，可以先通过RANSAC进行筛选，利用影像间的单应性关系，找到最可能的单应性矩阵，并由这个单应性关系剔除掉明显不满足这一对应关系的特征点。
基于上述实施例可知，利用遥感拍摄设备拍摄得到第一图像和第二图像，从第一图像和第二图像中分别确定对应特征点，进而构建至少三组特征点对。进一步确定至少三组特征点对的距离特征和方向特征，进而基于距离特征和方向特征对多组特征点对进行筛选，从而根据筛选得到的多组特征点对实现第一图像和第二图像的拼接处理。通过上述方案，根据遥感影像的特点，利用特征点对的距离特征和方向特征对特征点进行筛选，从而得到匹配的特征点实现对第一图像和第二图像的拼接处理，能够获得更加准确的拼接效果，提高拼接效率。
需要说明的是，有的拼接算法，需要至少4组特征点才能实现解算出拼接参数。为了确保拼接算法稳定，能够得到准确的拼接结果，作为一优选方案，设置至少20组特征点，基于20组特征点完成图像拼接。
图5为本申请实施例提供的一种遥感影像拼接装置的结构示意图。该装置包括：获取模块51，用于获取待拼接的第一图像和第二图像。确定模块52，用于确定所述第一图像和所述第二图像中对应特征点。构建模块53，用于基于所述对应特征点，构建至少三组特征点对。拼接模块54，用于根据所述至少三组特征点对分别对应的距离特征和方向特征，对所述第一图像和所述第二图像进行拼接处理。
可选地，获取模块51，用于获取在第一拍摄位置拍摄的所述第一图像；获取在第二拍摄位置拍摄的所述第二图像。
可选地，确定模块52，用于针对所述第一图像和所述第二图像做归一化处理；基于归一化处理结果，确定所述第一图像和所述第二图像中对应特征点。
可选地，确定模块52，用于确定所述第一图像和所述第二图像中包含的相同目标对象；基于所述相同目标对象，确定至少三组对应特征点。
可选地，构建模块53，用于构建所述特征点对对应的特征点连线；基于所述至少三组特征点对对应的特征点连线，确定所述至少三组特征点对分别对应的两个特征点之间的距离特征；确定至少三组特征点连线相对水平方向偏移的方向特征。
可选地，拼接模块54，用于基于所述距离特征和所述方向特征，筛选所述对应特征点；根据所述筛选结果，确定拼接特征点；基于所述拼接特征点，对所述第一图像和所述第二图像进行拼接处理。
可选地，拼接模块54，用于若所述对应特征点的所述距离特征小于第一阈值，且所述方向特征小于第二阈值，则确定所述对应特征点为拼接特征点。
可选地，拼接模块54，用于对至少三组距离特征进行均值化处理，得到距离特征均值；对至少三组方向特征进行均值化处理，得到方向特征均值；若所述距离特征与所述距离特征均值之间的差值小于第一阈值，且所述方向特征与所述方向特征均值之间的差值小于第二阈值，则对应的特征点为拼接特征点。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行包括以下的动作：
获取待拼接的第一图像和第二图像；
确定所述第一图像和所述第二图像中对应特征点；
基于所述对应特征点，构建至少三组特征点对；
根据所述至少三组特征点对分别对应的距离特征和方向特征，对所述第一图像和所述第二图像进行拼接处理。
可选地，所述一个或多个处理器还用于：获取在第一拍摄位置拍摄的所述第一图像；
获取在第二拍摄位置拍摄的所述第二图像。
可选地，所述一个或多个处理器还用于：针对所述第一图像和所述第二图像做归一化处理；
基于归一化处理结果，确定所述第一图像和所述第二图像中对应特征点。
可选地，所述一个或多个处理器还用于：确定所述第一图像和所述第二图像中包含的相同目标对象；
基于所述相同目标对象，确定至少三组对应特征点。
可选地，所述一个或多个处理器还用于：构建所述特征点对对应的特征点连线；
基于所述至少三组特征点对对应的特征点连线，确定所述至少三组特征点对分别对应的两个特征点之间的距离特征；
确定至少三组特征点连线相对水平方向偏移的方向特征。
可选地，所述一个或多个处理器还用于：基于所述距离特征和所述方向特征，筛选所述对应特征点；
根据所述筛选结果，确定拼接特征点；
基于所述拼接特征点，对所述第一图像和所述第二图像进行拼接处理。
可选地，所述一个或多个处理器还用于：若所述对应特征点的所述距离特征小于第一阈值，且所述方向特征小于第二阈值，则确定所述对应特征点为拼接特征点。
可选地，所述一个或多个处理器还用于：对至少三组距离特征进行均值化处理，得到距离特征均值；
对至少三组方向特征进行均值化处理，得到方向特征均值；
若所述距离特征与所述距离特征均值之间的差值小于第一阈值，且所述方向特征与所述方向特征均值之间的差值小于第二阈值，则对应的特征点为拼接特征点。
本申请实施例提供一种航拍设备，该设备包括：机体；动力系统，设置于机体上，用于为所述机体提供动力；还设置有遥感影像拼接装置，该装置设置于机体上。
通过上述实施例可知，利用遥感拍摄设备拍摄得到第一图像和第二图像，从第一图像和第二图像中分别确定对应特征点，进而构建至少三组特征点对。进一步确定至少三组特征点对的距离特征和方向特征，进而基于距离特征和方向特征对多组特征点对进行筛选，从而根据筛选得到的多组特征点对实现第一图像和第二图像的拼接处理。通过上述方案，根据遥感影像的特点，利用特征点对的距离特征和方向特征对特征点进行筛选，从而得到匹配的特征点实现对第一图像和第二图像的拼接处理，能够获得更加准确的拼接效果，提高拼接效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪存储体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (11)
1.一种遥感影像拼接方法，其特征在于，所述方法包括：
获取待拼接的第一图像和第二图像；
确定所述第一图像和所述第二图像中对应特征点；
基于所述对应特征点，构建至少三组特征点对；
根据所述至少三组特征点对分别对应的距离特征和方向特征，对所述第一图像和所述第二图像进行拼接处理。
2.根据权利要求1所述的方法，其特征在于，所述获取待拼接的第一图像和第二图像，包括：
获取在第一拍摄位置拍摄的所述第一图像；
获取在第二拍摄位置拍摄的所述第二图像。
3.根据权利要求1所述的方法，其特征在于，所述确定所述第一图像和所述第二图像中对应特征点，包括：
针对所述第一图像和所述第二图像做归一化处理；
基于归一化处理结果，确定所述第一图像和所述第二图像中对应特征点。
4.根据权利要求3所述的方法，其特征在于，所述确定所述第一图像和所述第二图像中对应特征点，包括：
确定所述第一图像和所述第二图像中包含的相同目标对象；
基于所述相同目标对象，确定至少三组对应特征点。
5.根据权利要求1所述的方法，其特征在于，基于所述对应特征点的特征点信息，构建至少三组特征点对之后，还包括：
构建所述特征点对对应的特征点连线；
基于所述至少三组特征点对对应的特征点连线，确定所述至少三组特征点对分别对应的两个特征点之间的距离特征；
确定至少三组特征点连线相对水平方向偏移的方向特征。
6.根据权利要求1所述的方法，其特征在于，所述根据所述至少三组特征点对的距离特征和方向特征，对所述第一图像和所述第二图像进行拼接处理，包括：
基于所述距离特征和所述方向特征，筛选所述对应特征点；
根据所述筛选结果，确定拼接特征点；
基于所述拼接特征点，对所述第一图像和所述第二图像进行拼接处理。
7.根据权利要求6所述的方法，其特征在于，所述根据所述筛选结果，确定拼接特征点，包括：
若所述对应特征点的所述距离特征小于第一阈值，且所述方向特征小于第二阈值，则确定所述对应特征点为拼接特征点。
8.根据权利要求6所述的方法，其特征在于，所述基于所述距离特征和所述方向特征，筛选所述对应特征点，包括：
对至少三组距离特征进行均值化处理，得到距离特征均值；
对至少三组方向特征进行均值化处理，得到方向特征均值；
若所述距离特征与所述距离特征均值之间的差值小于第一阈值，且所述方向特征与所述方向特征均值之间的差值小于第二阈值，则对应的特征点为拼接特征点。
9.一种遥感影像拼接装置，其特征在于，所述装置包括：
获取模块，用于获取待拼接的第一图像和第二图像；
确定模块，用于确定所述第一图像和所述第二图像中对应特征点；
构建模块，用于基于所述对应特征点，构建至少三组特征点对；
拼接模块，用于根据所述至少三组特征点对分别对应的距离特征和方向特征，对所述第一图像和所述第二图像进行拼接处理。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器执行包括以下的动作：
获取待拼接的第一图像和第二图像；
确定所述第一图像和所述第二图像中对应特征点；
基于所述对应特征点，构建至少三组特征点对；
根据所述至少三组特征点对分别对应的距离特征和方向特征，对所述第一图像和所述第二图像进行拼接处理。
11.一种航拍设备，其特征在于，包括：
机体；
动力系统，设置于所述机体上，用于为所述机体提供动力；
权利要求9中任意一项所述的遥感影像拼接装置，所述装置设置于所述机体上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010658547.6A CN112017115A (zh) | 2020-07-09 | 2020-07-09 | 遥感影像拼接方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010658547.6A CN112017115A (zh) | 2020-07-09 | 2020-07-09 | 遥感影像拼接方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112017115A true CN112017115A (zh) | 2020-12-01 |
Family
ID=73498717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010658547.6A Pending CN112017115A (zh) | 2020-07-09 | 2020-07-09 | 遥感影像拼接方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017115A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521814A (zh) * | 2011-10-20 | 2012-06-27 | 华南理工大学 | 基于多聚焦融合和图像拼接的无线传感网络图像融合方法 |
| CN105844587A (zh) * | 2016-03-17 | 2016-08-10 | 河南理工大学 | 一种低空无人机载高光谱遥感影像自动拼接方法 |
| CN107563964A (zh) * | 2017-08-22 | 2018-01-09 | 长光卫星技术有限公司 | 大面阵亚米级夜景遥感影像的快速拼接方法 |
| CN108022228A (zh) * | 2016-10-31 | 2018-05-11 | 天津工业大学 | 基于SIFT变换和Otsu匹配的彩色眼底图像拼接方法 |
| CN110120010A (zh) * | 2019-04-12 | 2019-08-13 | 嘉兴恒创电力集团有限公司博创物资分公司 | 一种基于相机图像拼接的立体货架视觉盘点方法和系统 |
| CN110660023A (zh) * | 2019-09-12 | 2020-01-07 | 中国测绘科学研究院 | 一种基于图像语义分割的视频拼接方法 |
-
2020
- 2020-07-09 CN CN202010658547.6A patent/CN112017115A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521814A (zh) * | 2011-10-20 | 2012-06-27 | 华南理工大学 | 基于多聚焦融合和图像拼接的无线传感网络图像融合方法 |
| CN105844587A (zh) * | 2016-03-17 | 2016-08-10 | 河南理工大学 | 一种低空无人机载高光谱遥感影像自动拼接方法 |
| CN108022228A (zh) * | 2016-10-31 | 2018-05-11 | 天津工业大学 | 基于SIFT变换和Otsu匹配的彩色眼底图像拼接方法 |
| CN107563964A (zh) * | 2017-08-22 | 2018-01-09 | 长光卫星技术有限公司 | 大面阵亚米级夜景遥感影像的快速拼接方法 |
| CN110120010A (zh) * | 2019-04-12 | 2019-08-13 | 嘉兴恒创电力集团有限公司博创物资分公司 | 一种基于相机图像拼接的立体货架视觉盘点方法和系统 |
| CN110660023A (zh) * | 2019-09-12 | 2020-01-07 | 中国测绘科学研究院 | 一种基于图像语义分割的视频拼接方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111915483B (zh) | 图像拼接方法、装置、计算机设备和存储介质 | |
| CN112511767B (zh) | 一种视频拼接方法及设备、存储介质 | |
| CN110458940B (zh) | 动作捕捉的处理方法和处理装置 | |
| CN111583118B (zh) | 图像拼接方法、装置、存储介质及电子设备 | |
| CN109447902B (zh) | 一种图像拼接方法、装置、储存介质及设备 | |
| CN114782412A (zh) | 图像检测方法、目标检测模型的训练方法及装置 | |
| CN114529566B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112102141A (zh) | 水印的检测方法、装置、存储介质以及电子设备 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN114418861A (zh) | 一种摄像头图像拼接处理方法和系统 | |
| US8218823B2 (en) | Determining main objects using range information | |
| CN114842446A (zh) | 车位检测方法、装置及计算机存储介质 | |
| CN110223320B (zh) | 物体检测跟踪方法和检测跟踪装置 | |
| CN113066173B (zh) | 三维模型构建方法、装置和电子设备 | |
| CN112116068A (zh) | 一种环视图像拼接方法、设备及介质 | |
| CN111640109B (zh) | 模型检测方法及系统 | |
| CN110930437B (zh) | 目标跟踪方法和装置 | |
| CN111292331B (zh) | 图像处理的方法与装置 | |
| CN113298867A (zh) | 基于线匹配的地物目标位置精准定位方法、装置及存储介质 | |
| CN110399823B (zh) | 主体跟踪方法和装置、电子设备、计算机可读存储介质 | |
| CN112017115A (zh) | 遥感影像拼接方法、装置、设备及存储介质 | |
| CN105467741A (zh) | 一种全景拍照方法及终端 | |
| CN111246203A (zh) | 相机模糊检测方法及装置 | |
| CN116311135A (zh) | 语义信息的数据降维方法、数据降维系统及控制器 | |
| CN116543014A (zh) | 一种融合全景的教师自动跟踪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |