CN110390639A - 正射影像的处理拼接方法、装置、设备及存储介质 - Google Patents
正射影像的处理拼接方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110390639A CN110390639A CN201910663143.3A CN201910663143A CN110390639A CN 110390639 A CN110390639 A CN 110390639A CN 201910663143 A CN201910663143 A CN 201910663143A CN 110390639 A CN110390639 A CN 110390639A
- Authority
- CN
- China
- Prior art keywords
- orthography
- image
- overlapping
- processing
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims description 40
- 230000015654 memory Effects 0.000 claims description 22
- 241001269238 Data Species 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 5
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 12
- 238000005259 measurement Methods 0.000 abstract description 11
- 230000008859 change Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 239000004020 conductor Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种正射影像的处理拼接方法、装置、电子设备及存储介质。本申请实施例提供的技术方案，通过对确立为关联影像的重叠区域进行去粗差处理，以减少测量误差，又通过平差处理得到控制点平面坐标以生成DTM文件，DTM文件转换为正射影像，最终将各个正射影像进行拼接得到对应整个拍摄区域的正射影像。通过去粗差处理及平差处理，以减少控制点的测量误差，减少平面坐标生成的误差，进而优化正射影像的拼接效果；同时通过选取同一点位处两张正射影像像素点亮度变化最小的点作为接缝点，使两张正射影像的拼接效果更好，又通过对接缝区域进行色调调整处理能够消除两张正射影像拼接时的色调差异，使影像色调统一。
Description
技术领域
本申请实施例涉及正射影像处理技术领域，尤其涉及一种正射影像的处理拼接方法、装置、设备及存储介质。
背景技术
目前，在摄影测量的应用中，对正射影像的处理采用单片正射纠正，然后将多张单片正射影像镶嵌(拼接)为整个区域的正射影像。其中，对单张正射影像进行拼接的时候，需要准确地找到合适的拼接线，以避免影像接缝偏移、地质界线延伸、影像错位等问题，进而影响正射影像的拼接效果。为此，现有的选择拼接线的方法，通过在两张影像重叠区域的中心线附近确定中心点，采用贪心算法进行局部路径点的选择，每次搜索前方的5个像素作为待选像素，其中灰度最小的一个被选为下一路径点，最终以选择的路径点形成的最优路径作为最佳拼接线，以最佳拼接线进行正射影像的拼接。但是，这种正射影像的拼接方法，由于前期影像点位数据没有较好的采集与处理，影像拼接容易产生误差，其拼接效果较差。
发明内容
本申请实施例提供一种正射影像的处理拼接方法、装置、电子设备及存储介质，能够较好的处理影像重叠区域的测量粗差，优化正射影像的拼接效果。
在第一方面，本申请实施例提供了一种正射影像的处理拼接方法，包括：
接收若干个影像数据，根据影像之间的重叠区域进行重叠度分析，基于重叠度分析结果确立关联影像；
对所述关联影像对应重叠区域内的影像数据进行粗差分析，根据粗差分析结果进行去粗差处理；
基于所述关联影像间预设控制点对所述影像数据进行平差处理，生成对应的DTM文件；
将所述DTM文件转换为正射影像，在所述重叠区域内完成所述正射影像的拼接。
进一步的，所述接收若干个影像数据，根据影像之间的重叠区域进行重叠度分析，基于重叠度分析结果确立关联影像，包括：
获取若干个影像数据，根据局部灰度信息确定影像之间的同名点，基于所述同名点对所述影像数据进行相关性匹配，确定对应一张影像存在相关性的若干张影像；
基于一张影像取若干张存在相关性的影像进行重叠区域识别，所述重叠区域根据两张影像之间的特征信息匹配确定；
对所述重叠区域进行重叠度计算，若两张影像的重叠度满足重叠度阈值，则对应两张影像确立为关联影像；
基于关联影像关系对所述影像数据分别按横向相关和纵向相关进行关联编号。
进一步的，所述重叠度阈值根据相机拍摄的相邻两张影像对应拍摄区域的理想重叠度进行预设置。
进一步的，所述粗差分析结果包括起算数据误差、户外观测记录误差及计算机的人工输入误差；
所述根据粗差分析结果进行去粗差处理中，根据所述粗差分析得到粗差原因为起算数据误差、户外观测记录误差及计算机的人工输入误差中的任意一种，基于对应的粗差原因利用时间序列对所述重叠区域进行相应的去粗差处理。
进一步的，在所述基于所述关联影像间预设控制点对所述影像数据进行平差处理中，采用坐标法对所述影像数据进行近似平差处理。
进一步的，在所述生成对应的DTM文件中，根据实际拍摄区域预定义点云分类，生成基于所述点云分类的DTM文件。
进一步的，所述将所述DTM文件转换为正射影像，在所述重叠区域内完成所述正射影像的拼接，包括：
取两张正射影像，在对应重叠区域处逐行或逐列选取接缝点，所述接缝点为一行或一列中，根据每一点在两张所述正射影像对应像素点的亮度值绝对差，取最小亮度值绝对差对应的点作为接缝点；
将所述重叠区域中各行或各列的接缝点进行连线得到接缝线，基于所述接缝线拼接两张正射影像，得到对应整个拍摄区域的正射影像；
对任意两张拼接完成的正射影像进行接缝区域的色调调整。
在第二方面，本申请实施例提供了一种正射影像的处理拼接装置，包括：
关联模块，用于接收若干个影像数据，根据影像之间的重叠区域进行重叠度分析，基于重叠度分析结果确立关联影像；
去粗差模块，用于对所述关联影像对应重叠区域内的影像数据进行粗差分析，根据粗差分析结果进行去粗差处理；
平差模块，用于基于所述关联影像间预设控制点对所述影像数据进行平差处理，生成对应的DTM文件；
拼接模块，用于将所述DTM文件转换为正射影像，在所述重叠区域内完成所述正射影像的拼接
在第三方面，本申请实施例提供了一种电子设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的正射影像的处理拼接方法。
在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的正射影像的处理拼接方法。
本申请实施例通过对确立为关联影像的重叠区域进行去粗差处理，以减少点位测量误差，又通过平差处理得到控制点平面坐标以生成DTM文件，DTM文件转换为正射影像，最终将各个正射影像进行拼接得到对应整个拍摄区域的正射影像。通过去粗差处理及平差处理，以减少控制点的测量误差，减少平面坐标生成的误差，进而优化正射影像的拼接效果；
不仅如此，本申请实施例通过选取同一点位处两张正射影像像素点亮度变化最小的点作为接缝点，将接缝点连接得到两张正射影像的接缝线，以此进行正射影像拼接能够使两张正射影像的拼接效果更好；同时通过对接缝区域进行色调调整处理能够消除两张正射影像拼接时的色调差异，使影像色调统一。
附图说明
图1是本申请实施例一提供的一种正射影像的处理拼接方法的流程图；
图2是本申请实施例一中的影像关联流程图；
图3是相机焦距与拍摄范围角度关系示意图；
图4是本申请实施例一中关联影像重叠度示意图；
图5是本申请实施例一中的正射影像拼接流程图；
图6是本申请实施例一中的正射影像重叠示意图；
图7是本申请实施例一中的两张正射影像拼接示意图；
图8是本申请实施例一中的两张正射影像的色调调整示意图；
图9是本申请实施例二提供的一种正射影像的处理拼接装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的正射影像拼接处理方法，旨在通过前期对影像数据分别进行重叠区域去粗差处理及近似平差处理，以减少控制点的测量误差及平面坐标生成误差，使得经推算的各个测点的平面坐标更加的准确，进而使得经DTM文件转化生成的正射影像更为准确，通过这些正射影像拼接而成的对应区域的正射影像效果更好。
实施一：
图1给出了本申请实施例一提供的一种正射影像的处理拼接方法的流程图，本实施例中提供的正射影像的处理拼接方法可以由正射影像的处理拼接设备执行，该正射影像的处理拼接设备可以通过软件和/或硬件的方式实现，该正射影像的处理拼接设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该正射影像的处理拼接设备可以是计算机。
下述以正射影像的处理拼接设备为执行正射影像的处理拼接方法的设备为例，进行描述。参照图1，该正射影像的处理拼接方法具体包括：
S110、接收若干个影像数据，根据影像之间的重叠区域进行重叠度分析，基于重叠度分析结果确立关联影像。
示例性的，在一些文化遗产数据采集保护应用场景中，对应一个区域进行正射影像的构建具有一定的保护意义。正射影像的生成需要分别得到对应保护区域低空拍摄的实景影像及数字地形模型(DTM)，根据实景影像在数字地形模型上映射得到正射影像。使用相机进行实景影像拍摄，每一张实景影像对应保护区域的一部分，摄像机沿横向、纵向拍摄保护区域，在横向、纵向方向上需保证相邻两张影像存在重叠区域，用于后续正射影像的拼接。在接收到摄像机拍摄的若干张影像后，需要对横向、纵向相邻的两张影像进行关联，用于后续对建立关联关系的影像进行重叠区域的处理。通过预设置一个重叠度阈值，当影像之间的重叠区域满足重叠度阈值，则认为两者是相邻的影像，确立两者为关联影像。通过对每一张实景影像都分别与其余影像配对进行重叠度分析，最终根据计算得到的重叠度的值，比对预设的重叠度阈值，即可确定对应一张影像的关联影像。
具体的，参照图2，影像关联的具体流程包括：
S1101、获取若干个影像数据，根据局部灰度信息确定影像之间的同名点，基于所述同名点对所述影像数据进行相关性匹配，确定对应一张影像存在相关性的若干张影像。
S1102、基于一张影像取若干张存在相关性的影像进行重叠区域识别，所述重叠区域根据两张影像之间的特征信息匹配确定。
S1103、对所述重叠区域进行重叠度计算，若两张影像的重叠度满足重叠度阈值，则对应两张影像确立为关联影像。
S1104、基于关联影像关系对所述影像数据分别按横向相关和纵向相关进行关联编号。
示例性的，影像进行关联时，首先需要确定存在相关的影像。通过确定影像之间存在同一物点(同名点)来确定影像之间的相关性。对于相机上传的若干个影像，将每张实景影像都进行影像数字化处理，得到对应各张实景影像的数字影像，基于数字影像进行影像之间的相关性匹配，以确定与一张影像存在重叠区域的若干张影像。在进行相关性匹配时，利用待相关点所在的一个小区域内的影像灰度信息来寻找左右像片同名点。例如，对应A、B两张待相关的数字影像，取A数字影像的一个目标点，以该目标点周围n×n个像素组成目标区。对应在B数字影像根据目标点的坐标估计其在B数字影像上的近似点位，以近似点位为中心取周围l×m个影像灰度序列组成搜索区，搜索区有若干个与目标区等大的区域。最终，根据灰度相关性系数计算，确定相关的目标区，进而确定B数字影像中对应目标点的同名点。
此外，在影像相关的一些实施例中，还可以基于数字影像特征进行影像相关，通过提取影像中的特征(点、线、面)，然后对提取的特征进行参数描述，最后以特征的参数值为依据进行同名特征的搜索，进而获得同名点。
在确定影像之间的同名点之后，依据数字影像之间存在的同名点，对所有影像进行相关性匹配，确定对应一张影像存在相关性的若干张影像。由于一张影像存在相关性的影像可能有多张，需要在多张相关影像中找到与对应影像纵向、横向上相邻的影像。
在低空拍摄保护区域时，相机拍摄的影像长宽比为4:3，拍摄高度为h＝3.5m，使用24mm定焦镜头拍摄，短边横向移动0.5m拍摄一张，长边纵向移动1.8m拍摄一张，相机焦距与拍摄范围角度关系如图3所示，则拍摄范围角度为84°。那么假设相机拍摄区域的长边设为X，短边设为Y，则X:Y＝4:3，根据三角函数关系：
Tan(84°/2)＝X/2h＝X/7≈0.9
则X＝6.3m，Y＝4.7m，拍摄面积为：6.3×4.7＝29.61㎡。
那么，参照图4，横向方向相邻两张影像的重叠度为：
(4.7-0.5)×6.3÷29.61×100％＝89.36％
纵向方向相邻两张影像的重叠度为：
(6.3-1.8)×4.7÷29.61×100％＝71.43％
基于上述得到的两个重叠度值，即可根据影像之间的重叠区域识别计算，确定影像间存在纵向、横向相邻的影像。由于上述得到的两个重叠度值，是根据相邻两张影像对应拍摄区域计算得到的理想重叠度，在实际重叠区域特征匹配时，重叠区域的识别多少会有误差。因此，本实施例不以这两个重叠度值作为重叠度阈值，而是根据误差值允许的范围，并基于上述计算得到的重叠度值设定重叠度阈值。
之后，对应一张影像，通过逐一获取每一张存在相关性的影像的特征信息，截取出影像边沿特定区间内的特征信息，将影像与影像之间进行特征信息匹配，分别识别出与对方影像特征信息相同的区域，形成叠加区域，并计算其重叠度，当重叠度达到预设置的重叠度阈值时，则确立两张影像为关联影像，认为对应这两张影像在纵向或横向上相邻。
对确认为相邻关系的关联影像，需按照横向相关及纵向相关建立关联匹配，将各影像进行排列，以使各影像与保护区域的部分对应。建立关联匹配时，将确认为相邻影像后的各个影像进行关联标识，例如：对影像进行关联序号标签，根据相邻关系，对横向方向相邻的A、B、C、D四张影像进行关联序号标签为0011，0012，0013，0014；分别对应A、B、C、D影像纵向相邻且彼此横向相邻的E、F、G、H影像进行关联序号标签为0021，0022，0023，0024。此外，在建立关联匹配过程中，对应一张影像若各个存在相关性的影像重叠度不满足预设阈值的话，则生成重叠度不足的报警信息，报警信息可包括引起重叠度高度不满足的影像编码，名称，序号，采集位置(坐标)、采集时间等信息，以提示操作者及时更换对应的、满足高重叠度的影像。
示例性的，在影像匹配关联过程中，可能存在对应一张影像的各个存在相关性的影像重叠度不满足预设阈值的情况。因此需要重新选取重叠度较优的影像。由于在拍摄过程中，相机航线和飞行速度是预设定的，但是由于拍摄现场环境的影响，会导致影像间的重叠度存在异常复杂的变化。无法根据预设的影像提取帧提取规律进行关键帧提取。为此，需要确定航线偏离情况与相邻帧影像重叠度的变化规律，根据这一变化关系进行曲线拟合得到拟合结果。基于曲线拟合结果进行关键帧的提取，采用多项式曲线拟合，通过数学运算使得选取重叠度最优的关键帧，使得影像重叠度满足影像匹配关联的需求。
S120、对所述关联影像对应重叠区域内的影像数据进行粗差分析，根据粗差分析结果进行去粗差处理。
在确定关联影像之间的重叠区域之后，需要对重叠区域处进行粗差分析，以确保重叠区域处基于各个控制点的测量数据准确，避免粗差而导致平面坐标测算误差，进而导致对应控制点生成的平面坐标不准确。
具体的，一般情况下导致粗差的原因包括：起算数据误差、户外观测记录误差及计算机的人工输入误差。那么根据这些粗差原因则需要采取对应的方法去除粗差。
其中，对于起算数据导致的粗差，需要重新确定输入的起始数据是否符合标准。如设置的控制点是否足够，整个测区控制的基础数据是否满足精度要求。对不满足精度要求的数据进行提取以重新更换起算数据，通过检查并针对粗差输入正确起算数据以解决粗差问题。
对于户外观测记录时导致的粗差，需将重叠区域内设置的各个控制点(导线点)形成的导线网分割为若干个单导线，将单导线进行平差处理，处理前记录单导线原先的点的坐标，把平差通不过的剔除。完成平差处理后，计算平差后控制点的坐标，利用相邻导线平差后的近似坐标，按照原路线制作一条支导线，与原坐标或平差后的坐标比较，得出增量△X、△Y。通过不合导线的走向分析，以及增量△X、△Y值的大小的比较，确定不合导线的粗差是角度还是距离导致的粗差。例如：不合导线为东西走向，△X值大，△Y值小，则确定粗差的原因是角度数据错误。△X值小，△Y值大，即可确定是边长数据错误产生的粗差；若不合导线为南北走向，△X值大，△Y值小，则确定是边长数据错误产生的粗差。△X值小，△Y值大，则确定粗差的原因是角度数据错误导致的。不合导线南北走向确定粗差原因的方式与东西走向的正好相反。最后，如确定粗差是角度数据错误导致的，则可找出与不合导线两边相邻的点做为已知起算数据，分别从两边做两条支导线，这样即可得到不合导线点的两组坐标。这两组坐标中数据相近的点，即为粗差所在点。如确定是边长数据错误导致粗差的，则需在户外进行边长数据重测。
另一方面，对于重叠区域内各控制点形成的导线网无法分割为单导线的，则将其分割为多个环，计算其方位角闭合差，把闭合差大的剔除。与相邻的环重组计算方位角闭合差，进行比较，找出出现粗差的部分段，再利用相邻导线平差后的近似坐标，进行支导线的平差计算比较，确定产生粗差的原因及粗差点所在点位。
示例性的，在实际应用中进行单一导线按次逐个输入操作，发现G528-G457这段导线不合，存在较大的粗差，经平差处理并剔除平差后，得到了与点G528和点G457相邻的点N37和点N49的近似平差坐标，然后以G528做起始点，N37做定向点做支导线，计算得出的G457的坐标与其真值的增量是△X＝-1.009、△Y＝+4.459。由于从G528点到G457点大致为南北走向，根据△X、△Y值的大小确定了该粗差是角度数据错误导致的。随后再以G457做起始点，N49做定向点，利用原观测数据做支导线的平差计算。计算发现点N40的两组坐标相近。则可以确定N40点有粗差。再利用增量△X＝-1.009、△Y＝+4.459得到绝对误差4.572m。此误差与N40到GPS457两点间的路线距离“521.471m”之比，用反正切函数反算得到的角度为0°30′9″。随后通过户外观测检测点N40，即可确定角度为179°46′23″，而不是179°16′23″。
对于计算机人工输入导致的粗差，则对应错误输入的数据，提示操作人员重新进行人工输入。
之后，根据确定的粗差原因，粗差点所在的点位，利用时间序列拟合工具，在起算数据原有的时间节点的基础上，设置几秒、几分、几时等跟踪参数，根据跟踪参数对应调整粗差数据以解决粗差。
S130、基于所述关联影像间预设控制点对所述影像数据进行平差处理，生成对应的DTM文件。
在另一方面，需要基于控制点进行测算，得到各个控制点的平面坐标，以生成对应的DTM文件。需要预先查找对应相机拍摄的影像数据上的预设控制点，控制点对应保护区域进行预设置。首先基于Google Earth软件进行控制点标定，并采集对应保护区域的大地坐标，将对应控制点的大地坐标导入到手持GPS中。之后，借助野外数字化刺点硬件设备进行控制点位的实时导航，选定对应的控制点位，获取该点位的地面坐标，并将该点位的地面坐标、像点坐标进行存储，完成对应控制点的设置。控制点设置采用的数字刺点方法为现有较成熟技术，不作为本实施例的主要改进点，这里不多赘述。
对于预设置的保护区域处的控制点，进行测算得到对应控制点的平面坐标时，通过近似平差法(近似坐标测量法)计算控制点的平面坐标。示例性的，在坐标法近似平差的实施场景中，假设导线起点A，起始方位角为α0，终点B，终点方位角为αN，左角观测值为β1、β2…βN，边长观测值S1、S2…SN-1。
则角度闭合差及其分配：
fβ＝α0+∑β-N*180-α0
Vβ＝fβ/N
计算改正方位角：
αi＝αi-1+βi+Vβ-180；i＝1…N
坐标增量计算：
ΔXi＝cosαi*Si；i＝1…N
ΔYi＝sinαi*Si；i＝1…N
坐标闭合差计算及精度评定：
fX＝XA+∑ΔX-XB
fy＝YA+∑ΔY-YB
k＝fS/∑S
坐标增量改正数计算：
最终，计算得到导线点(控制点)坐标：
相对于传统的近似平差方法，本申请实施例采用坐标法进行导线近似平差，直接在已经测得导线点的坐标上进行改正，其方法简单，易于掌握，避免了传统近似平差法的方位角的推算和改正，以及坐标增量的计算和改正，能大大提高工作效率，而且不易出错。同时，传统导线测量需要两条已知边作为方位角的核验条件。而直接坐标法只需要一条已知边和一个已知点即可，使导线的布网更加灵活。
之后，根据计算得到的各个预设控制点的平面坐标，即可对应生成DTM文件。在生成DTM文件时，可以根据保护区域预先设定的点云分类，基于预设定的点云类别生成DTM文件。
S140、将所述DTM文件转换为正射影像，在所述重叠区域内完成所述正射影像的拼接。
示例性的，基于保护区域各个部分拍摄的实景影像生成的DTM文件，将实景影像的纹理数据与DTM进行融合生成对应各个实景影像的正射影像。将生成的正射影像进行拼接得到对应整个保护区域的正射影像。各个正射影像根据此前确立的关联关系并进行关联标识的关联序号标签依序进行拼接。拼接时，对应任意两张关联影像的正射影像，在其重叠区域处寻找拼接线进行拼接。
具体的，参照图5，各个正射影像的拼接流程包括：
S1401、取两张正射影像，在对应重叠区域处逐行或逐列选取接缝点，所述接缝点为一行或一列中，根据每一点在两张所述正射影像对应像素点的亮度值绝对差，取最小亮度值绝对差对应的点作为接缝点。
S1402、将所述重叠区域中各行或各列的接缝点进行连线得到接缝线，基于所述接缝线拼接两张正射影像，得到对应整个拍摄区域的正射影像。
S1403、对任意两张拼接完成的正射影像进行接缝区域的色调调整。
示例性的，对应两张关联影像的正射影像进行拼接时，根据上述确定的影像之间的重叠区域，寻找正射影像拼接的接缝线。具体的，接缝线根据逐个确定的接缝点连接而成。接缝线要求曲线两侧的像素点亮度变化不显著乃至变化最小。参照图6，取横向相邻的A、B两张正射影像，其重叠区域为L，在L中进行接缝线的寻找。对应L区域进行逐行寻找接缝点。逐行寻找接缝点时，利用一个一维窗口，窗口的大小等于一个像素点，窗口对应在重叠区域的一行内进行逐点滑动，计算出一个点位在A、B两张正射影像对应像素点的亮度值的绝对差，取绝对差最小的点位作为重叠区域处对应该行的接缝点。此处A、B两张正射影像对应像素点的亮度值的绝对差最小的即为亮度变化最小的点位。以此类推，进行逐行的接缝点查找，最终将各个接缝点连接则得到对应A、B两张正射影像重叠区域处的接缝线，基于该接缝线拼接A、B两张正射影像。需要注意的是，对应拼接纵向相邻的两张正射影像，则需要在重叠区域处逐列寻找接缝点。
在实际的正射影像拼接过程中，参照图7，两张正射影像进行拼接后，在两者的接缝处还是存在色调上的差异，因此需要对接缝区域进行色调调整，调整重叠区域的亮度值。例如，参照图8，对应纵向相邻的影像E和H，设重叠区行数为L行，E幅影像的重叠部分为第K行到L+K-1行，H幅影像的重叠部分为第1行到L行，gE(i,j)和gH(i,j)分别表示E和H的亮度值，g(i,j)为重叠区域亮度调整后的亮度值，其行数为1到L。此时重叠区域亮度值的计算要以列(对应横向相邻的正射影像则需要以行为单位)为单位进行。
下面以第j列的亮度值确定为例，提供三种重叠区域亮度调整后的亮度值计算方法。其中，把两幅影像对应像素点的平均值作为重叠区像素点的亮度值，则：
取两幅影像对应像素点亮度值的线性加权和，则：
把两幅影像中亮度值最大的亮度值作为重叠区像素点的亮度值，则：
g(i,j)＝max[gE(i+K-1,j),gH(i,j)] i＝1,2,....,L
最终根据计算得到的重叠区域亮度调整后的亮度值对应进行重叠区域色调调整。以此，通过上述正射影像拼接及色调调整方法，最终得到对应整个保护区域的正射影像。
此外，在正射影像拼接的一些应用场景中，也可基于影像重叠区域的像素匹配进行正射影像拼接。对于没有地理编码的两张影像进行拼接时，图像间存在平移、旋转以及尺寸放大等操作，需进行重叠区内影像控制点的配准，而后根据控制点之间的映射关系，将一副影像映射到另一张影像的像素坐标空间，形成待拼接影像。之后，对待拼接影像进行预处理，首先通过对待拼接的影像统一坐标系，并进行几何纠正。再对待拼接影像进行灰度调整，采用交互式的图像拉伸，进行图像直方图的规定化(匹配)。完成预处理后，进行拼接操作。对应待拼接影像是否有羽化处理，若有羽化，则重复部分的影像的灰度值由两个图像的灰度值确定；若无羽化，则将经上述图像灰度调整得到的图像灰度值代替重复部分的灰度值，以此完成正射影像的拼接。
上述，通过对确立为关联影像的重叠区域进行去粗差处理，以减少测量误差，又通过平差处理得到控制点平面坐标以生成DTM文件，DTM文件转换为正射影像，最终将各个正射影像进行拼接得到对应整个拍摄区域的正射影像。通过去粗差处理及平差处理，以减少控制点的测量误差，减少平面坐标生成的误差，进而优化正射影像的拼接效果。
不仅如此，本申请实施例通过选取同一点位处两张正射影像像素点亮度变化最小的点作为接缝点，将接缝点连接得到两张正射影像的接缝线，以此进行正射影像拼接能够使两张正射影像的拼接效果更好；同时通过对接缝区域进行色调调整处理能够消除两张正射影像拼接时的色调差异，使影像色调统一。
实施例二：
在上述实施例的基础上，图9为本申请实施例二提供的一种正射影像的处理拼接装置的结构示意图。参考图9，本实施例提供的正射影像的处理拼接装置具体包括：关联模块21、去粗差模块22、平差模块23及拼接模块24。
其中，关联模块21用于接收若干个影像数据，根据影像之间的重叠区域进行重叠度分析，基于重叠度分析结果确立关联影像；
去粗差模块22用于对所述关联影像对应重叠区域内的影像数据进行粗差分析，根据粗差分析结果进行去粗差处理；
平差模块23用于基于所述关联影像间预设控制点对所述影像数据进行平差处理，生成对应的DTM文件；
拼接模块24用于将所述DTM文件转换为正射影像，在所述重叠区域内完成所述正射影像的拼接。
上述，对确立为关联影像的重叠区域进行去粗差处理，以减少测量误差，又通过平差处理得到控制点平面坐标以生成DTM文件，DTM文件转换为正射影像，最终将各个正射影像进行拼接得到对应整个拍摄区域的正射影像。通过去粗差处理及平差处理，以减少控制点的测量误差，减少平面坐标生成的误差，进而优化正射影像的拼接效果。此外，通过色调调整，减少正射影像拼接区域的亮度差异，进一步优化正射影像拼接效果。
具体的，关联模块21包括获取单元，用于获取若干个影像数据，根据局部灰度信息确定影像之间的同名点，基于所述同名点对所述影像数据进行相关性匹配，确定对应一张影像存在相关性的若干张影像；匹配单元，用于基于一张影像取若干张存在相关性的影像进行重叠区域识别，所述重叠区域根据两张影像之间的特征信息匹配确定；关联单元，用于对所述重叠区域进行重叠度计算，若两张影像的重叠度满足重叠度阈值，则对应两张影像确立为关联影像；编号单元，用于基于关联影像关系对所述影像数据分别按横向相关和纵向相关进行关联编号。
具体的，拼接模块24包括取点单元，用于获取两张正射影像，在对应重叠区域处逐行或逐列选取接缝点，所述接缝点为一行或一列中，根据每一点在两张所述正射影像对应像素点的亮度值绝对差，取最小亮度值绝对差对应的点作为接缝点；拼接单元，用于将所述重叠区域中各行或各列的接缝点进行连线得到接缝线，基于所述接缝线拼接两张正射影像，得到对应整个拍摄区域的正射影像；调整单元，用于对任意两张拼接完成的正射影像进行接缝区域的色调调整。本申请实施例二提供的正射影像的处理拼接装置可以用于执行上述实施例一提供的正射影像的处理拼接方法，具备相应的功能和有益效果。
实施例三：
本申请实施例三提供了一种电子设备，该电子设备包括：处理器、存储器、通信模块。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块可以通过总线或者其他方式连接。
存储器作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的正射影像的处理拼接方法对应的程序指令/模块(例如，正射影像的处理拼接装置中的关联模块、去粗差模块、平差模块及拼接模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块用于进行数据传输。
处理器通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的正射影像的处理拼接方法。
上述提供的电子设备可用于执行上述实施例一提供的正射影像的处理拼接方法，具备相应的功能和有益效果。
实施例四：
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种正射影像的处理拼接方法，该正射影像的处理拼接方法包括：接收若干个影像数据，根据影像之间的重叠区域进行重叠度分析，基于重叠度分析结果确立关联影像；对所述关联影像对应重叠区域内的影像数据进行粗差分析，根据粗差分析结果进行去粗差处理；基于所述关联影像间预设控制点对所述影像数据进行平差处理，生成对应的DTM文件；将所述DTM文件转换为正射影像，在所述重叠区域内完成所述正射影像的拼接。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的正射影像的处理拼接方法，还可以执行本申请任意实施例所提供的正射影像的处理拼接方法中的相关操作。
上述实施例中提供的正射影像的处理拼接装置、存储介质及电子设备可执行本申请任意实施例所提供的正射影像的处理拼接方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的正射影像的处理拼接方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。
Claims (10)
1.一种正射影像的处理拼接方法，其特征在于，包括：
接收若干个影像数据，根据影像之间的重叠区域进行重叠度分析，基于重叠度分析结果确立关联影像；
对所述关联影像对应重叠区域内的影像数据进行粗差分析，根据粗差分析结果进行去粗差处理；
基于所述关联影像间预设控制点对所述影像数据进行平差处理，生成对应的DTM文件；
将所述DTM文件转换为正射影像，在所述重叠区域内完成所述正射影像的拼接。
2.根据权利要求1所述的正射影像的处理拼接方法，其特征在于，所述接收若干个影像数据，根据影像之间的重叠区域进行重叠度分析，基于重叠度分析结果确立关联影像，包括：
获取若干个影像数据，根据局部灰度信息确定影像之间的同名点，基于所述同名点对所述影像数据进行相关性匹配，确定对应一张影像存在相关性的若干张影像；
基于一张影像取若干张存在相关性的影像进行重叠区域识别，所述重叠区域根据两张影像之间的特征信息匹配确定；
对所述重叠区域进行重叠度计算，若两张影像的重叠度满足重叠度阈值，则对应两张影像确立为关联影像；
基于关联影像关系对所述影像数据分别按横向相关和纵向相关进行关联编号。
3.根据权利要求2所述的正射影像的处理拼接方法，其特征在于，所述重叠度阈值根据相机拍摄的相邻两张影像对应拍摄区域的理想重叠度进行预设置。
4.根据权利要求1所述的正射影像的处理拼接方法，其特征在于，所述粗差分析结果包括起算数据误差、户外观测记录误差及计算机的人工输入误差；
所述根据粗差分析结果进行去粗差处理中，根据所述粗差分析得到粗差原因为起算数据误差、户外观测记录误差及计算机的人工输入误差中的任意一种，基于对应的粗差原因利用时间序列对所述重叠区域进行相应的去粗差处理。
5.根据权利要求1所述的正射影像的处理拼接方法，其特征在于，在所述基于所述关联影像间预设控制点对所述影像数据进行平差处理中，采用坐标法对所述影像数据进行近似平差处理。
6.根据权利要求1所述的正射影像的处理拼接方法，其特征在于，在所述生成对应的DTM文件中，根据实际拍摄区域预定义点云分类，生成基于所述点云分类的DTM文件。
7.根据权利要求1所述的正射影像的处理拼接方法，其特征在于，所述将所述DTM文件转换为正射影像，在所述重叠区域内完成所述正射影像的拼接，包括：
取两张正射影像，在对应重叠区域处逐行或逐列选取接缝点，所述接缝点为一行或一列中，根据每一点在两张所述正射影像对应像素点的亮度值绝对差，取最小亮度值绝对差对应的点作为接缝点；
将所述重叠区域中各行或各列的接缝点进行连线得到接缝线，基于所述接缝线拼接两张正射影像，得到对应整个拍摄区域的正射影像；
对任意两张拼接完成的正射影像进行接缝区域的色调调整。
8.一种正射影像的处理拼接装置，其特征在于，包括：
关联模块，用于接收若干个影像数据，根据影像之间的重叠区域进行重叠度分析，基于重叠度分析结果确立关联影像；
去粗差模块，用于对所述关联影像对应重叠区域内的影像数据进行粗差分析，根据粗差分析结果进行去粗差处理；
平差模块，用于基于所述关联影像间预设控制点对所述影像数据进行平差处理，生成对应的DTM文件；
拼接模块，用于将所述DTM文件转换为正射影像，在所述重叠区域内完成所述正射影像的拼接。
9.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的正射影像的处理拼接方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的正射影像的处理拼接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910663143.3A CN110390639A (zh) | 2019-07-22 | 2019-07-22 | 正射影像的处理拼接方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910663143.3A CN110390639A (zh) | 2019-07-22 | 2019-07-22 | 正射影像的处理拼接方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110390639A true CN110390639A (zh) | 2019-10-29 |
Family
ID=68286951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910663143.3A Withdrawn CN110390639A (zh) | 2019-07-22 | 2019-07-22 | 正射影像的处理拼接方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110390639A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110837839A (zh) * | 2019-11-04 | 2020-02-25 | 嘉兴职业技术学院 | 一种高精度无人机正射影像制作及数据采集方法 |
| CN111127474A (zh) * | 2019-11-08 | 2020-05-08 | 武汉大学 | 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及系统 |
| CN111210379A (zh) * | 2020-01-09 | 2020-05-29 | 珠海博明视觉科技有限公司 | 一种提高2d测量效率的图像采集和拼接优化方案 |
| CN111583119A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 一种正射影像拼接方法、设备以及计算机可读介质 |
| CN118505709A (zh) * | 2024-07-22 | 2024-08-16 | 航天宏图信息技术股份有限公司 | 正射影像间相对精度质检方法、装置、设备及介质 |
-
2019
- 2019-07-22 CN CN201910663143.3A patent/CN110390639A/zh not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110837839A (zh) * | 2019-11-04 | 2020-02-25 | 嘉兴职业技术学院 | 一种高精度无人机正射影像制作及数据采集方法 |
| CN110837839B (zh) * | 2019-11-04 | 2023-09-26 | 嘉兴职业技术学院 | 一种高精度无人机正射影像制作及数据采集方法 |
| CN111127474A (zh) * | 2019-11-08 | 2020-05-08 | 武汉大学 | 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及系统 |
| CN111127474B (zh) * | 2019-11-08 | 2022-08-05 | 武汉大学 | 机载LiDAR点云辅助的正射影像镶嵌线自动选取方法及系统 |
| CN111210379A (zh) * | 2020-01-09 | 2020-05-29 | 珠海博明视觉科技有限公司 | 一种提高2d测量效率的图像采集和拼接优化方案 |
| CN111210379B (zh) * | 2020-01-09 | 2023-05-02 | 珠海博明视觉科技有限公司 | 一种提高2d测量效率的图像采集和拼接优化方法 |
| CN111583119A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 一种正射影像拼接方法、设备以及计算机可读介质 |
| CN111583119B (zh) * | 2020-05-19 | 2021-07-09 | 北京数字绿土科技有限公司 | 一种正射影像拼接方法、设备以及计算机可读介质 |
| CN118505709A (zh) * | 2024-07-22 | 2024-08-16 | 航天宏图信息技术股份有限公司 | 正射影像间相对精度质检方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390639A (zh) | 正射影像的处理拼接方法、装置、设备及存储介质 | |
| US11887273B2 (en) | Post capture imagery processing and deployment systems | |
| EP3368859B1 (en) | Method of solving initial azimuth for survey instruments, cameras, and other devices with position and tilt information | |
| US11042998B2 (en) | Synthetic image generation from 3D-point cloud | |
| US20090110267A1 (en) | Automated texture mapping system for 3D models | |
| CN109863547B (zh) | 用于使用机器学习和图像处理来构建地图的设备 | |
| CN104484648A (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
| WO2022052567A1 (zh) | 一种车辆定位的方法及装置、车辆、存储介质 | |
| CN112015187B (zh) | 一种用于智能移动机器人的语义地图构建方法及系统 | |
| JP2022541977A (ja) | 画像のラベリング方法、装置、電子機器及び記憶媒体 | |
| CN107808395A (zh) | 一种基于slam的室内定位方法 | |
| CN116086411B (zh) | 数字地形图生成方法、装置、设备和可读存储介质 | |
| CN113340277A (zh) | 一种基于无人机倾斜摄影的高精度定位方法 | |
| US8509522B2 (en) | Camera translation using rotation from device | |
| CN114332232B (zh) | 基于空间点线面特征混合建模的智能手机室内定位方法 | |
| US11568642B2 (en) | Large-scale outdoor augmented reality scenes using camera pose based on learned descriptors | |
| CN116499453A (zh) | 一种电子地图生成方法、装置、移动机器人及存储介质 | |
| US20190272426A1 (en) | Localization system and method and computer readable storage medium | |
| CN115468568A (zh) | 室内导航方法、装置及系统、服务器设备及存储介质 | |
| CN108109171A (zh) | 无人机航片旋偏角的检测方法、装置、设备和存储介质 | |
| CN114255457A (zh) | 基于机载LiDAR点云辅助的同机影像直接地理定位方法及系统 | |
| CN115019167A (zh) | 基于移动终端的融合定位方法、系统、设备及存储介质 | |
| CN109509208A (zh) | 一种高精度三维点云获取方法、系统、装置及存储介质 | |
| CN118331474B (zh) | 基于三维模型解算相机外方位元素的可交互式方法 | |
| JPH02255990A (ja) | 画像マッチング方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20191029 |